Парсинг поисковой выдачи Яндекса в Yahoo Pipes + новый скрипт для автопостинга в сплоги на blogger.com

Опубликовано в (Yahoo Pipes, Контент, Сплоги) | автор splogmaster | 17-02-2009

Тэги: , , , , , , , , ,

Выкладываю свою рабочую трубу для парсинга результатов поиска Яндекса по нужному ключевому запросу. Yahoo Pipes не дружит с URL-ми, где в значении передаваемых параметров присутствуют русские буквы - это скорее глюк, чем особенность. Пэтому делать сложные трубы для генерации русскоязычного контента практически невозможно. Максимум, что можно сделать, это простую трубу, которая по нужному запросу тянет контент с нужного сайта: это может быть выдача любого поисковика, поиск картинок и т.д.

Собственно, вот сама труба, генерирующая с результатов поисковой выдачи Яндекса 1 пост для сплога:

yahoo-pipes-yandex-parser

На входе 2 параметра: key - ключевой запрогс и page - номер страницы выдачи.

Затем с помощью URL Builder “строим” URL, по которому открывается нужная нам страница результатов поисковой выдачи по …

Сплоги на blogger.com: Подведение итогов

Опубликовано в (Сплоги) | автор splogmaster | 28-11-2008

Тэги: , , , , , ,

Я прекращаю свои эксперименты со сплогами на blogger.com - с помощью описанных мной скриптов и инструментов можно без проблем создать 10000 сплогов за полдня, однако нерешаемой остается проблема автопостинга в такое огромное количество сплогов.

Как я писал в Создание сплогов на blogger.com (blogspot.com) автопостинг осуществляется путем выполнения скрипта в cron по расписанию с интервалом 1-2 часа - скрипт отсылает электронное письмо на специальный адрес в blogger.com, в теле письма прописывается заголовок поста, в теле письма - содержимое поста. В самом начале эксперимента появилась проблема неспособности обычного хостинга справиться с выполнением огромного количества cron-заданий - изначально письма отсылались выполнением php-функции mail(), что влекло сильную нагрузку на веб-сервер. Неполным решением этой проблемы стал переход от использования функции mail() …

Отправка e-mail через PHP socket (сокеты)

Опубликовано в (Техническое отступление) | автор splogmaster | 05-11-2008

Тэги: , , , , , , , , , ,

Я возвращаюсь к теме создание сплогов на blogger.com, а конкретно к вопросу 10000 и более сплогов на blogger.com. Как было сказано, автопостинг в сплог на blogger.com происходит путем отправки e-mail на специальный адрес электронной почты, который вы выбираете в настройках блоггерского блога, затем вы создаете задание cron с выполнением скрипта по отправке письма - все, автопостинг настроен. НО. При создании большого количества сплогов нужно подумать об оптимизации скрипта для автопостинга, поскольку справится с сотнями заданий cron  и с тысячными отправками писем сможет только выделенный сервер.

В посте создание сплогов на blogger.com я выкладывал сриптк для автопостинга, который основывается на использовании PHP функции mail() - на каждый вызов этой функции создается …