Иногда полезно посмотреть сколько раз заходил и какие страницы загружал поисковый бот. Например так я мониторю индексацию своих доров. Список доменов можно указать в файле domains.txt, либо скрипт сам найдёт все логи в папке. Для firstvds работать будет сразу, для других vds возможно придётся указать другую папку с логами. $domains – фаил с доменами. $ua [...]
Filed under: Php, apache, doorways, logs, Seo, дорвеи, дорген, доры, парсер |