Объединение нескольких RSS-лент в одну с помощью Yahoo Pipes

Опубликовано в (Yahoo Pipes) | автор splogmaster | 17-12-2008

Тэги: , ,

Буду набивать количество постов на блоге:)

Задача: есть несколько RSS-лент, нам нужно объединить эти ленты в одну ленту - такую функцию выполняют различные читалки, грябалки, агрегаторы RSS-лент. Я рассмотрю 2 варианта возникновения и решения задачи по объединения RSS-лент в Yahoo Pipes:

  1. Простое объединение RSS-лент без каких-либо манипуляций с каждой из лент - для решения этой задачи нам вообще ничего не нужно, кроме стандартного модуля для получения данных с RSS-фида Fetch Feed: yahoo-pipes-union_rss-1
  2. Объединение RSS-лент, которые нуждаются в предварительной обработке, т.е. сначала мы ленты по одной загрузили, поработали с каждой из них, а потом уже объединяем их в общий выходной поток. Для этого нам понадобится модуль Union из группы Operators: yahoo-pipes-union_rss-2

Поскольку объединение происходит последовательно, т.е. сначала берутся все элементы первой RSS-ленты, затем все элементы второй, затем третьей, то сожно немного расширить функциональность объединения RSS-лент в Yahoo Pipes применением сортировки по дате создания новости/поста и применением фильтра на уникальность Заголовка и Ссылки на источник. Для сортировки по дате создания (чтобы новые посты были вначале фида) нам понадобится модуль Sort группы Operators с параметрами Sort by: item.pubDate in: descending. Для фильтрации уникальных постов по Заголовку и Ссылке на источник нам понадобится 2 раза применить модуль Unique группы Operators c параметром Filter non-unique items based on: item.title и item.link:

yahoo-pipes-union_rss-3

Получилась у нас симпатичная труба для объединения, сортировки и фильтрации на уникальность нескольких RSS-лент .

Сайт дня: Форум о поисковых системах





Комментарии:

Оставить комментарий