08.05Парсер логов apache
Иногда полезно посмотреть сколько раз заходил и какие страницы загружал поисковый бот. Например так я мониторю индексацию своих доров. Список доменов можно указать в файле domains.txt, либо скрипт сам найдёт все логи в папке. Для firstvds работать будет сразу, для других vds возможно придётся указать другую папку с логами.
$domains – фаил с доменами.
$ua – фаил с user агентами которые нужно парсить.
< ?php # coding: utf-8 # author: Rushter # site: http://klipner.ru $domains = 'domains.txt'; $ua = file('ua.txt'); $ld = ('../../../logs/'); if (file_exists($domains)) { $tr = 1; $domains = file('domains.txt'); } else { $domains = glob($ld . "*.access.log"); } foreach ($domains as $dom) { if (@$tr == 1) { $logs = file($ld . trim($dom) . ".access.log"); } else { $logs = file($dom); } echo "<font color=\"Red\"><b>$dom</b><br />"; echo "<ul>"; foreach ($logs as $lg) { foreach ($ua as $uas) { if (preg_match("#.*".trim($uas).".*#", $lg)) { echo "<li type='1'>" . $lg . "</li>"; } } } echo "</ul>"; } ?>
Отлично. Только он парсит тока основного индексирующего бота яши. Надо дописать чтоб список ботов брал тож из текстовика, тогда можно будет добавить нужных ботов по мере необходимости.
Август 6th, 2009 at 11:30
кстати у тебя шаб я вижу из бесплатных. почисти код шаблона от левых ссылок.
Вот тут: Категория: Php, apache, logs, Seo, парсер – в двоеточии после слова «Категория» стоит неприкрытый бэк на wpthemes.ru
Август 6th, 2009 at 11:32
Убрано всё уже давно,посмотрел ,что-то не нашёл ничего.
Скрипт дополнил.
Август 6th, 2009 at 13:06
Кстати псих правду пишет, точно в дветочии такое идет:
Категория
поищи по ссылке в исходном коде
Август 6th, 2009 at 21:48
Нашёл,не там совсем искал.
Спасибо.
Август 6th, 2009 at 21:57
Да не за что. поставь SEO bar для оперы и такую хрень будешь сразу видеть.
Август 7th, 2009 at 08:53
нах та опера, мозилла рулит!)
Август 7th, 2009 at 13:17
Юзаю opera 10,обсуждению не подлежит
.
Август 8th, 2009 at 00:21
А если access.log более гига? По-моему не очень круто сразу вот так вот читать все file-ом. Подходит только для небольшой посещаемости.
Январь 29th, 2010 at 17:15
Ну это для небольших файлов изначально предполагалось.
Январь 29th, 2010 at 18:29