Рабочая схема и пример граббера всего сайта в Yahoo Pipes

Опубликовано в (Yahoo Pipes, Контент) | автор splogmaster | 22-03-2009

Тэги: , ,

Продолжаю демонстрировать широчайшие возможности Yahoo Pipes в сплогостроительстве.

Сегодня я покажу алгоритм-схему трубы-граббера целиком всего сайта, будет конечно же и рабочий пример. И так, допустим, есть некий сайт-источник, весь контент с которого мы хотим позаимствовать для своего сплога. Обычно, создается труба, которая следит за обновлениями на сайте-источниками посредством мониторинга его RSS-ленты и дергает полные тексты новых постов, затем эти посты появляются на нашем сплоге, ну т.е. труба, которая из обычной RSS-ленты делает RSS-ленту с полными текстами новостей . Но остается актуальной задача полного граббинга всего сайта, не олько полседних постов, а всего начиная с амомго первого поста - в этом случае RSS-лента сайта-источника нам не поможет, ведь в ней нет информации обо всех постах на сайте, там …

YQL - новый модуль Yahoo Pipes

Опубликовано в (Yahoo Pipes) | автор splogmaster | 03-02-2009

Тэги: , , ,

Сайт дня: семинар по google analytics

Yahoo Pipes расширяет свой функционал добавлением нового модуля в свой и без того мощный арсенал: YQL , что расшифровывается как Yahoo! Query Language . Модуль относится к группе модулей Sources и, следовательно, предназначен для работы с источниками данных. Ну а конкретно этот модуль позволяет выполнять SQL-запросы SELECT для выборки данных. Пока я не могу привести достойных примеров использования нового модуля, но чую, что модуль этот очень и очень полезный. Базовый пример использования модуля YQL .

Ну и простейший пример от меня:

Описание модулей Yahoo Pipes

Опубликовано в (Yahoo Pipes) | автор splogmaster | 08-12-2008

Тэги: , , , , , ,

Это будет второй вводный в Yahoo Pipes пост (первым был Практическое знакомство с Yahoo Pipes), после чего я буду писать о решении в Yahoo Pipes конкретных, имеющих непосредственное отношение к сплоггерству, задач.

В этом посте я хочу кратко, своими словами исходя из опыта работы с Yahoo Pipes дать описание функциональным модулям, с помощью которых собираются трубы. Модули в Yahoo Pipes сгруппированы по "объекту приложения", т.е. одни модули предназначены для работы с потоком данных, другие для работы со строками и т.д. На рабочем столе модули, разбитые по группам, расположены в левой его части:

Рабочий стол Yahoo Pipes

И так, группы …