http
Bļin! Pietiek vienu dienu atstāt ieslēgtu http serveri, lai to jau apstaigātu kādi trīs searcheri.
Pie manis bija:
"Mozilla/5.0 (compatible; Yahoo! Slurp;
http://help.yahoo.com/help/us/ysearch/slurp)"
"Googlebot/2.1 (+
http://www.google.com/bot.html)"
"Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)"
"SietsCrawler/0.1"
Kā viņi mani atrod?
(Lasīt komentārus)
Nopūsties: