무슨 말씀인지 난해해서...

이해하기가 힘드네요...  -..-;;

웃길려고 한말 아닌데... -..-;;

저 한테는 가급적이면 쉽게 한국어를 사용해서 말씀해 주셔야 제가 이해합니다.

일상적인 말도, 가끔 구글 온라인 사전에서 찾아봐야 한다눈.... OTL

블로그에 글을 쓰려는데, 사이트 로딩이 너무 느려서 호스팅에 연락을 했더니 트래픽이 몰린다고  해당 IP 를 알려주더군요.

DDOS attack 인지 알아봐 주겠다고 하더니 복사기 crawler 때문이라고...

-..-;;

짜증이 나서 잠시 사이트를 닫아 놨습니다.

subdirectory 들은 패스워스 달아야 될듯.... -..-;;

개인 홈피에서 뭘 가져 갈게 있다고 복사기를 돌리는지 나 원참.....

복사기 방지 robot.txt 는 별 소용이 없다네요...  robot.txt 를 개무시하는 crawler 들이라서... OTL....

아 감사합니다...만...

복사기가 xx트랙 그거 한종류가 아니구요 (xx트랙은 10년전에 쓰던거고 요즘은 그거 잘 안쓸거에요.  xx트랙 방지해놓은 사이트들이 많아서), 요즘은 빨대족들이 조낸 악날한 복사기를 돌립니다.

crawler 몇마리가 동시에 돌아다니면서 서버에 있는 파일까지 긁어요... OTL

복사기가 아니라 거의 해킹툴 수준이라는.....

한국분들이 복사기 툴사용이 미숙해서 그런건지, 해당 페이지만 긁어가면 이런 문제가 없는데, 무턱대고 사이트 url 을 통째로 적어 넣어서 사이트 전체를 crawl 하게 만드는..... -..-;;

복사기 방지 태그 하나 올립니다.  큰 도움은 안되겠지만 xx트랙 같은 한국 사람들이 주로 쓰는, 인터넷에 알려진 복사기들은 막을 수 있습니다.

혹시 모르시는 분들이 계실까봐 .htaccess 파일에 아래 내용만 ctrl+c, v 해주시면 됩니다.

Options +FollowSymlinks
RewriteEngine On
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:*** 개인정보보호를 위한 이메일주소 노출방지 *** [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus

요즘 IP 를 수시로 바꿀수 있는 방법 (proxy IP 말고) 실제 IP 를 쉽게 바꿀수 있는 방법이 있습니다.  쿨럭.

그리고 누가 복사기를 언제 돌릴 줄 알고, 그 아이피를 미리 예상해서 block 하나요?
ㅎㅎㅎ

계속 사이트 지켜보고 있다가 복사기가 돌아가기 시작하면 그때 IP 를 block 하면 되는건가요? ㅋㅋㅋ 

해결방법은 아니죠.

그냥 subdirectory 다 패스워드 걸어 놓는게 가장 확실한 방법 같네요.

http://web.archive.org

제 게시물이요?  제 홈피 블로그에는 제가 비공개로 쓰는 일기 밖에 없는데요? ㅋㅋㅋ

누가 제 일기를 훔쳐보고 싶었던 걸까요?

게시물 같은건 있지도 않고, css 하고 js 습작해놓은 페이지들만 있는데..... -..-;;

음...  하.....  음.....

네. crawler 가 여러마리 돌아다니면서 자료들을 긁기 시작하면 내용물이 많은 사이트 일수록 그 traffic spike 을 견딜수가 없습니다.

자료가 얼마 없으면 누가 복사기를 돌리는지 알수도 없어요.  그냥 평범한 그누보드 하나 올려져 있는 사이트다, 이러면 사이트 로딩이 심각하게 느려지거나 그러지 않습니다.

그런데 HTML5 로 만든 영화나 스케일이 좀 되는 HTML5 게임 은 사이즈가 평균적으로 그누보드 전체 파일크기의 10배 ~ 50배가 넘습니다.  이런게 3~4개만 서버에 올려져 있는 상태라면....

짐작이 가시나요?