RSS с полным текстом новостей в Yahoo Pipes

Опубликовано в (Yahoo Pipes, Контент) | автор splogmaster | 12-12-2008

Тэги: , , , ,

Как известно, большинство RSS-лент содержат лишь анонсы новостей длиной в пару строчек - делать сплог на базе анонсов невыгодно, контента мало, к тому же эта RSS-лента скорей всего транслируется в куче RSS-каталогов, т.е. контент на таком сплоге будет очень неуникальным. Куда лучше делать сплог с полными текстами новостей - конечно же, это будет чистое заимствование контента с сайта-донора, но, поскольку брать контент с авторских сайтов и блогов в большинстве случаев мы не собираемся, то сайтами-донорами будут выступать сайты, которые в свою очередь сами заимствуют контент - поэтому без всяких зазрений совести можно педелывать RSS-ленты с анонсами новостей в RSS-ленты с полным текстом новостей.

Информацию об используемых модулях Yahoo Pipes можете получить в Описание модулей Yahoo Pipes

Для решения данной …

Основы парсинга html-страниц в Yahoo Pipes

Опубликовано в (Yahoo Pipes) | автор splogmaster | 09-12-2008

Тэги: , , , ,

Сразу определимся с терминологией: под парсингом html-страницы в Yahoo Pipes я понимаю граббинг (от слова grabber, т.е. схватить и утащить) всей html-страницы или ее части с последующим, по мере необходимости, преобразованием "схваченного".

В общих чертах для задач парсинга в Yahoo Pipes нам нужны только 2 модуля: Fetch Page для граббинга и модуль Regex для преобразований с помощью регулярных выражений.

Модуль Fetch Page группы Source:

Модуль Fetch Page

Поле URL - сюда вбивается адрес веб-страницы, которую мы собрались сграбить/спарсить; Поле Cut content from - если нам …

Мысли о генераторе контента на основе Yahoo Pipes

Опубликовано в (Yahoo Pipes, Контент) | автор splogmaster | 10-11-2008

Тэги: , , , , ,

Мысли у меня есть. Есть и частичные реализации. Пока что поделюсь только мыслями, попозже будут и реализации.

Под контентом я понимаю некое целое, составными частями которого являются текст, картинки и видео, - для буржуев возможно еще и подкасты, - вот таким я вижу контент для сплогов. Под генерацией контента я понимаю "найти все составные части и собрать их в единое целое".
И так, нам нужно сделать 3 вспомогательных параметрических трубы, каждая из которых будет выполнять свою определенную часть работы: первая труба будет на выходе выдавать нам картинку, вторая - видео, и третья - текст. В качестве входного параметра будет использоваться ключевой запрос, по которому нам нужен контент. Результирующая главная труба будет объединять результаты работы 3-х вспомогательных труб и на выходе выдавать RSS-фид со сгенерированным по нужному …