Объединение нескольких RSS-лент в одну с помощью Yahoo Pipes
Опубликовано в (Yahoo Pipes) | автор splogmaster | 17-12-2008
Тэги: rss, агрегатор, труба
Буду набивать количество постов на блоге:)
Задача: есть несколько RSS-лент, нам нужно объединить эти ленты в одну ленту - такую функцию выполняют различные читалки, грябалки, агрегаторы RSS-лент. Я рассмотрю 2 варианта возникновения и решения задачи по объединения RSS-лент в Yahoo Pipes:
- Простое объединение RSS-лент без каких-либо манипуляций с каждой из лент - для решения этой задачи нам вообще ничего не нужно, кроме стандартного модуля для получения данных с RSS-фида Fetch Feed:
- Объединение RSS-лент, которые нуждаются в предварительной обработке, т.е. сначала мы ленты по одной загрузили, поработали с каждой из них, а потом уже объединяем их в общий выходной поток. Для этого нам понадобится модуль Union из группы Operators:
Поскольку объединение происходит последовательно, т.е. сначала берутся все элементы первой RSS-ленты, затем все элементы второй, затем третьей, то сожно немного расширить функциональность объединения RSS-лент в Yahoo Pipes применением сортировки по дате создания новости/поста и применением фильтра на уникальность Заголовка и Ссылки на источник. Для сортировки по дате создания (чтобы новые посты были вначале фида) нам понадобится модуль Sort группы Operators с параметрами Sort by: item.pubDate in: descending. Для фильтрации уникальных постов по Заголовку и Ссылке на источник нам понадобится 2 раза применить модуль Unique группы Operators c параметром Filter non-unique items based on: item.title и item.link:
Получилась у нас симпатичная труба для объединения, сортировки и фильтрации на уникальность нескольких RSS-лент .
Сайт дня: Форум о поисковых системах
а как убрать из URL-ов в получившейся ленте выражение news.yandex.ru/yandsearch?cl4url=
подскажите ?
не получается что то Regex настроить
Такой вариант:
in “item.link” replace “http.*?=” with “http://”
у меня что то не изменилось ничего ((
если для тебя это очень важно, то свяжись со мной в аське, разберемся в реальном времени
Я у Жука подобный пост видел, как создать трубу.
Там у него ещё есть труба блогов с открытов индексацией комментариев
[...] rss несколько новостей в одну ссылку [...]