Pig-Min 트래픽 초과가 잦았습니다. 그동안 수많은 고생을 했는데 이걸로 해결되지 않을까 짐작합니다. 그동안 많은 도움을 준 비공식 기술 지원 나유령(iamGhost)님께 무한한 감사. 참고로 Pig-Min이 사용하는 서비스의 1일 트래픽은 2G로써, 텍스트 위주의 개인 홈페이지에서는 당연히 사용 가능한 숫자입니다.

트래픽 분석을 위해 웹로그 분석기를 호스팅 업체에 요청했었습니다. 처음에는 '큰 파일에 대한 외부 핫링크 접근' 등이 문제였을거라 생각하고 .htaccess로 막았었습니다. 그걸로 전혀 개선되지 않았습니다. 그래서 웹로그에서 파일 접근 등을 들여다봤는데 GET POST HEAD만 출력해주고 있었습니다. 해당 웹로그 분석기인 webalizer의 공식 홈페이지 샘플에서는 멀쩡히 제공되고 있기 때문에 호스팅 업체가 그 옵션을 가린채 안주고 있던 걸로 여겨집니다.

대신 상위 10 / 27069 사이트 By KBytes, 즉 접속한 곳에서 가져간 용량별로 봤을때는 ip 분석을 해볼 때 google bot이 우세했습니다. access log 파일을 따로 요청해서 받아 봤는데 8만행 넘는 처음부터 google bot이 우수수 쏟아져 나왔습니다. 구글 봇의 검색이 너무 꼼꼼해서 그쪽 트래픽이 꽤 많이 나갔던것 같습니다. 지금도 궁금한 것은, 그렇다면 '구글 봇 접속이 많습니다. robot.txt에서 disallow를 하던지 gzip을 써보세요' 같은 한마디만 하면 되는걸 왜 굳이 말하지 않았냐는 겁니다. 진짜 필요한 정보는 주지 않고 알아서 찾아보라던 이유는 지금도 궁금합니다. 어차피 저렴한 호스팅이기 때문에 트래픽을 올려도 1년 비용에 큰 차이가 있지도 않고, 작은 사이트 하나의 트래픽이 늘어봤자 이득될것도 없는데 말입니다. (설마 리셋 상품권?)

구글 봇의 경우 웹마스터 도구 등을 통해 크롤링 빈도를 조절할 수 있다는데 거기까진 해보지 않았으니 이번 글에서 생략합니다. (빈도 조절은 아닌 듯. google 공식 문서.gzip이라는 것으로 압축해 구글 봇이 가져가는 용량을 엄청나게 줄일 수 있다고 합니다. 이 기법을 써보았습니다. 정말로 트래픽이 현격히 줄어들지는 좀 더 두고봐야곘지만, 현재로써는 줄거라고 추정됩니다. Pig-Min은 5년 된 오래된 사이트고 글의 숫자와 링크도 많기 때문에, 정말 접속해 다 가져가면 굉장히 큰 용량의 트래픽을 차지하기 때문입니다. (구글이 아닌 다른 검색엔진 봇에도 잘 되는지는 알지 못합니다.)

직접 설치할 수도 있다는데 저는 도아님이 만든 텍스트큐브의 압축 전송 플러그인 TransferGzipPlugin1.1.1을 설치했습니다. 태터툴즈 1.1.1. RC 2 이상에서 사용 가능하다고 합니다. 자세한 설명은 이 분이 자신의 블로그에 쓰신 글을 참조해주세요. 글씨가 많은 설치형 블로그에서는 실제 전송량을 약 1/3 내지 1/4까지 줄일 수 있다고 합니다.  그 외에도 텍스트큐브 gzip 전체 적용시키기 라는 글도 보시길.

이 절약 비율은 옛날 기준이라 지금은 다를 수 있곘죠. 그래서 http://www.whatsmyip.org/http-compression-test/ 에서 http://pig-min.com/tt 를 넣어 검사해본 결과 84.01%를 절약할 수 있다고 나오네요. 그림 1장 들어간 http://pig-min.com/tt/3898 도 83.02% 절약이라고 나오네요. 다른 페이지도 비슷하게 압축될것 같습니다.

혹시라도 여러분들도 비슷한 현상을 겪어 고민하다 검색해 방문하신 것이라면 gzip을 조사해보시길. '구글 봇 방문이 많은 트래픽을 발생시킨다'는 얘기를 호스팅 업체에서 못 들을 수 있으니까요.
이 글의 관련글



Trackback URL : 이 글에는 트랙백을 보낼 수 없습니다

Comments List

  1. rein 2012/01/21 17:18 # M/D Reply Permalink

    .htaccess 를 수정할 수 있는 상황이면 그냥 mod_deflate수정하는게 좋을 것 같은데요. 제 블로그는 사진이 거의없고 html css js위주라 전송량이 원래의 30%수준으로 떨어졌습니다. 로그 분석결과에 따라 다르지만 봇은 오지만 방문객은 없는 검색엔진 (야후나 빙?)을 통채로 차단하는 것도 적당할 듯 합니다.

    1. mrkwang 2012/01/21 17:55 # M/D Permalink

      rein> 조사 해보도록 하겠습니다. 감사합니다.

    2. 유우령 2012/01/21 20:10 # M/D Permalink

      피그민 비공식 기술지원 나유령입니다.

      현재 피그민이 얹혀있는 호스팅이 mod_deflate 지원이 안 되어서 어쩔 수 없이 텍스트큐브 플러그인을 쓰고 있습니다.

      로그를 바탕으로 한 결과 구글봇의 트래픽이 엄청나서 고민하다 찾은게 gzip 압축입니다.

      추후 트래픽 개선이 더 필요하다면 다른 엔진을 차단하는것도 적용해 보겠습니다. 감사합니다.

: 1 : ... 1627 : 1628 : 1629 : 1630 : 1631 : 1632 : 1633 : 1634 : 1635 : ... 5430 :


게임 드립니다.
Pig-Min Agency
추가 모집

Pig-Min English

한국 만화영화
비디오 판매



해외 캐주얼 / 인디 시장
게임(제품)컨설팅


Welcome to Indie Gaming.

운영 : mrkwang
기술 : 나유령

About PIG-MIN
Contact us

Pig-Min Agency
Pig-Min의 저작권 관련
인디게임 FAQ

따라갈만한 트위터


아케이드 : 액션 : 플래포머
슈팅 : FPS
어드벤쳐 : 퍼즐 : RPG
전략 : 시물레이션
시리어스 게임

Pig-Min 추천
한글화

전체 태그 : 태그 분류


Archives

Categories

전체 (5430)
뉴스 (2379)
리뷰 (1041)
프리뷰 (248)
다녀왔습니다 (67)
칼럼 (876)
웹툰 (32)
Interview-한국어 (65)
Interview-English (33)
링크 (10)
여러분들의 말씀 (4)
제작자분들 공간 (1)
Tip & Hint (8)
공지사항 (663)

Email Newsletters & Email Marketing by YMLP.com

    트위터에서 따라오기
    http://file.tattermedia.com/media/image/plugin/tnm_badge_white.gif
    관리자 입장
    메일 로그인