Поисковый робот – название специализированного ПО браузерного направления, используемого поисковыми системами для внесения в базу новых или обновленных интернет-страниц. В автоматическом режиме такая программа просматривает миллионы сайтов в сети, проводя индексацию их содержимого: текстов, мультимедийных и графических материалов. Поисковый робот еще называют пауком, ботом, краулером.
У каждой системы собственный робот, как и механизмы его деятельности. Практически каждый сайт отдельно для поисковых роботов имеет файл, содержащий специальную информацию для ботов, на основе которой и происходит индексация. Эти файлы увеличивают шансы посещения ресурса поисковыми роботами. Среди разновидностей последних различают:
- зеркальные (работают с дубликатами сайтов);
- быстрого действия (направлены на просмотр обновлений);
- мобильные (для мобильных версий сайтов);
- ссылочные (ведут учет ссылок);
- «дятлы» (проверяют актуальность ресурсов);
- «шпионские» (поиск страниц, не отображенных в системе поиска);
- национальные (для работы с веб-ресурсами домена конкретной страны);
- глобальные (охватывают все национальные сайты).