Jakimi nazwami agentów identyfikują się popularne serwisy i wyszukiwarki?

Pierwszym pytaniem, które możesz zadać jest to, czy i po co potrzebujesz takiej informacji. Wiedza tego typu jest ważna chociażby w sytuacji gdy notujesz na swojej stronie wzmożony ruch, jednak ten nie nosi znamion ataku i co za tym idzie jest przepuszczany przez systemy bezpieczeństwa.

Częstą sytuacją jest, że strona WWW jest odwiedzana przez tzw. bota indeksującego z jednego z popularnych serwisów jak Facebook czy wyszukiwarek jak Google. Celem oraz metodą działania takiego bota jest przeklikanie się przez Twoją stronę WWW i zapisanie informacji co na poszczególnych stronach się znajduje tak, aby później dane te mogły zostać zaprezentowane chociażby w wynikach wyszukiwania.

Jeśli chcesz zweryfikować czy wzmożony ruch jest spowodowany faktycznie botem indeksującym, możesz sprawdzić logi swojej strony WWW. Informację jak do nich dotrzeć znajdziesz w artykule pomocy dostępnym TUTAJ. Poszukując śladów po botach indeksujących warto jest opierać się o tzw. nazwę agenta czyli przykładowo: Googlebot

Lista popularnych serwisów oraz nazw agentów, którymi identyfikują się boty indeksujące

Google – GoogleBot

Skrócona nazwa agenta

Googlebot

Pełna nazwa agenta

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Bing – Bingbot

Skrócona nazwa agenta

Bingbot

Pełna nazwa agenta

Mozilla/5.0 (compatible; Bingbot/2.0; +http://www.bing.com/bingbot.htm)

Yahoo – Slurp Bot

Skrócona nazwa agenta

Slurp

Pełna nazwa agenta

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

DuckDuckGo – DuckDuckBot

Skrócona nazwa agenta

DuckDuckBot

Pełna nazwa agenta

DuckDuckBot/1.0; (+http://duckduckgo.com/duckduckbot.html)

Baidu – Baiduspider

Skrócona nazwa agenta

Baiduspider

Pełna nazwa agenta

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Yandex – Yandex Bot

Skrócona nazwa agenta

YandexBot

Pełna nazwa agenta

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

Sogou – Sogou Spider

Pełna nazwa agenta

Sogou Pic Spider/3.0( http://www.sogou.com/docs/help/webmasters.htm#07)
Sogou head spider/3.0( http://www.sogou.com/docs/help/webmasters.htm#07)
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Sogou Orion spider/3.0( http://www.sogou.com/docs/help/webmasters.htm#07)
Sogou-Test-Spider/4.0 (compatible; MSIE 5.5; Windows 98)

ExaLead – Exabot

Skrócona nazwa agenta

Exabot

Pełna nazwa agenta

Mozilla/5.0 (compatible; Konqueror/3.5; Linux) KHTML/3.5.5 (like Gecko) (Exabot-Thumbnails)
Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)

Facebook – Facebook external hit

Skrócona nazwa agenta

facebook

Pełna nazwa agenta

facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)

Alexa – Alexa crawler

Skrócona nazwa agenta

ia_archiver

Pełna nazwa agenta

ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)

Nie masz pewności?

Jeśli nie masz pewności czy bot, którego obecność zwróciłeś uwagę w logach, powinien mieć możliwość odwiedzania Twojej strony WWW i czy nie podszywa się on pod jeden z popularnych botów, jednym z serwisów, gdzie możesz dokonać weryfikacji  jest https://seoapi.com/googlebot/#utm_source=botreports.com