Основы парсинга html-страниц в Yahoo Pipes

Опубликовано в (Yahoo Pipes) | автор splogmaster | 09-12-2008

Тэги: , , , ,

Сразу определимся с терминологией: под парсингом html-страницы в Yahoo Pipes я понимаю граббинг (от слова grabber, т.е. схватить и утащить) всей html-страницы или ее части с последующим, по мере необходимости, преобразованием "схваченного".

В общих чертах для задач парсинга в Yahoo Pipes нам нужны только 2 модуля: Fetch Page для граббинга и модуль Regex для преобразований с помощью регулярных выражений.

Модуль Fetch Page группы Source:

Модуль Fetch Page

Поле URL - сюда вбивается адрес веб-страницы, которую мы собрались сграбить/спарсить; Поле Cut content from - если нам …

Описание модулей Yahoo Pipes

Опубликовано в (Yahoo Pipes) | автор splogmaster | 08-12-2008

Тэги: , , , , , ,

Это будет второй вводный в Yahoo Pipes пост (первым был Практическое знакомство с Yahoo Pipes), после чего я буду писать о решении в Yahoo Pipes конкретных, имеющих непосредственное отношение к сплоггерству, задач.

В этом посте я хочу кратко, своими словами исходя из опыта работы с Yahoo Pipes дать описание функциональным модулям, с помощью которых собираются трубы. Модули в Yahoo Pipes сгруппированы по "объекту приложения", т.е. одни модули предназначены для работы с потоком данных, другие для работы со строками и т.д. На рабочем столе модули, разбитые по группам, расположены в левой его части:

Рабочий стол Yahoo Pipes

И так, группы …

Практическое знакомство с Yahoo Pipes

Опубликовано в (Yahoo Pipes) | автор splogmaster | 03-12-2008

Тэги: , , , , ,

Пишу для тех, кто сам боиться познакомиться с этим удивительным инструментом.

Yahoo Pipes - они же просто трубы. Почему именно трубы? Посмотрим на рабочий стол Yahoo Pipes:

 yahoo-pipes-1

Слева мы видим подобие панели инструментов, где по группам расположены эти самые инструменты (они же модули), каждый модуль выполняет некую функцию. Чтобы использовать какой-нибудь модуль нам нужно его перетащить на рабочий стол. Связывать модули между собой нужно линиями связи, которые визуально напоминают собой синие трубы. Таким образом, создание трубы сводится к использованию модулей и к прокладке труб (связей) между используемыми модулями - все это очень похоже на конструктор, где из частей (кубиков) собирается нечто цельное путем связывания частей между собой трубами. Так же …