Краулер – программа поисковых систем (робот). Ее функция – индексирование сайтов. Содержимое страницы изучается, новый контент заносится в память системы; считывается графическая информация, осуществляется поиск «зеркальных» ресурсов и т.д. У крупных поисковых систем, как правило, действует несколько ботов, каждый из которых выполняет определенные действия. Все необходимые шаги краулера контролируют веб-разработчики. Поисковые работы чаще посещают те сайты, которые регулярно обновляют информацию.
