Блог RushteR

В свободное время разрабатываю динамический дорген, который бы отвечал всем современным требованиям :). Кстати, его кодовое название «WhaleMore» ;).
Пока что функционал, который разрабатывается или уже разработан планируется такой:

1. Один воркер обрабатывает множество доменов. Т.е. скрипт ставится на vps/vds и сразу обрабатывает сотни доменов.
2. Поддержка парсинга всех современных социальных сетей, поисковых систем.
3. Встроенная tds с возможностью подсчёта посетителей на дорах
4. Автоматическая перелинковка в приделах одного дора или множества, на основе собирающейся статистики по поисковым запросам с поддержкой хлебных крошек.
5. Автоматическое пополнение базы ключей по тематикам.
6. Многопоточный парсинг данных для запрашиваемой страницы на лету с задержкой не больше 2 сек. Все данные парсятся один раз и в дальнейшем кэшируются в базе.
7. В качестве веб сервера nginx, бэкенд — tornado.
8. Хранение данных — mysql, postgresql или mongodb.
9. Промежуточные данные хранятся в redis.
10. Хранение тасков — celery+ rabbitmq.
11. Асинхроный парсинг — celery+eventlet.
12. Автоматическая уникализация шаблонов.
13. Автоматический расчет веса перелинковки.
14. Ротация способов слива и рекламных блоков.
15. Частичное обновление контента по запросу.
16. Возможность размещения на фрихостингах с помощью php скрипта.
17. Автоматическая очистка не дающих трафик или забаненных дорвеев
18. Встроенная статистика по индексации
19. Хранение всей возможной статистики для определения средней температуры по больнице. (Скорость индексации, время жизни, трафик и т.д.)

А какие вам ещё нужны функции в доргене?