Поисковый робот

Поисковый робот – название специализированного ПО браузерного направления, используемого поисковыми системами для внесения в базу новых или обновленных интернет-страниц. В автоматическом режиме такая программа просматривает миллионы сайтов в сети, проводя индексацию их содержимого: текстов, мультимедийных и графических материалов. Поисковый робот еще называют пауком, ботом, краулером.

У каждой системы собственный робот, как и механизмы его деятельности. Практически каждый сайт отдельно для поисковых роботов имеет файл, содержащий специальную информацию для ботов, на основе которой и происходит индексация. Эти файлы увеличивают шансы посещения ресурса поисковыми роботами. Среди разновидностей последних различают:

  • зеркальные (работают с дубликатами сайтов);
  • быстрого действия (направлены на просмотр обновлений);
  • мобильные (для мобильных версий сайтов);
  • ссылочные (ведут учет ссылок);
  • «дятлы» (проверяют актуальность ресурсов);
  • «шпионские» (поиск страниц, не отображенных в системе поиска);
  • национальные (для работы с веб-ресурсами домена конкретной страны);
  • глобальные (охватывают все национальные сайты).