banner

Парсер google через ajax search api

Простейший парсер google через api. Кому надо, тот сам доведёт до ума, с меня только идея . Позволяет парсить примерно 60к ссылок без бана и капчи с 1 Ip, для большей работоспособности без бана можно попробовать добавить задержку. Все файлы должны быть в utf-8. # coding:utf-8 # author: Rushter # site: http://klipner.ru import urllib2,random,re,time,json,urllib ff [...]

Парсер логов apache

Иногда полезно посмотреть сколько раз заходил и какие страницы загружал поисковый бот. Например так я мониторю индексацию своих доров. Список доменов можно указать в файле domains.txt, либо скрипт сам найдёт все логи в папке. Для firstvds работать будет сразу, для других vds возможно придётся указать другую папку с логами. $domains – фаил с доменами. $ua [...]