Поисковый робот / краулер

Поисковый робот, краулер – программа, которая осуществляет сканирование контента на разных сайтах и заносит их в общую БД. Краулер продвигается по страницам сайта при помощи системы навигации. Лимиты, установленные поисковыми сервисами на объём и глубину текста, могут стать причиной неполной индексации.

Робот работает по принципу перехода от одной страницы к другой по ссылкам, которые он находит внутри предыдущих.

Если хорошо продумать перелинковку, сделать разумным ограничение уровня вложенности и оптимальным количество текста, то работа краулера ускорится.

Для ускорения индексации можно зайти в специализированные сервисы

Google Search Console или Яндекс.Вебмастер. Чтобы запретить сканирование сайта – необходимо вписать код в robots.txt.