Рабочая схема и пример граббера всего сайта в Yahoo Pipes

Опубликовано в (Yahoo Pipes, Контент) | автор splogmaster | 22-03-2009

Тэги: , ,

Продолжаю демонстрировать широчайшие возможности Yahoo Pipes в сплогостроительстве.

Сегодня я покажу алгоритм-схему трубы-граббера целиком всего сайта, будет конечно же и рабочий пример. И так, допустим, есть некий сайт-источник, весь контент с которого мы хотим позаимствовать для своего сплога. Обычно, создается труба, которая следит за обновлениями на сайте-источниками посредством мониторинга его RSS-ленты и дергает полные тексты новых постов, затем эти посты появляются на нашем сплоге, ну т.е. труба, которая из обычной RSS-ленты делает RSS-ленту с полными текстами новостей . Но остается актуальной задача полного граббинга всего сайта, не олько полседних постов, а всего начиная с амомго первого поста - в этом случае RSS-лента сайта-источника нам не поможет, ведь в ней нет информации обо всех постах на сайте, там …

Перевод web-страниц через Google Translate в Yahoo Pipes, или переводной контент для сплога с любого блога

Опубликовано в (Yahoo Pipes, Контент, Сплоги) | автор splogmaster | 10-03-2009

Тэги: , , ,

Свершилось. Я закончил, а точнее вчера начал с нуля и сегодня закончил супер-мега Yahoo Pipes трубу для автоматического перевода web-страниц (не просто текст, а HTML-код страницы) через сервис-переводчик Google Translate . Используя эту трубу можно сделать сплог на базе переводного контента с любого блога, а блогов хотя бы только на английском языке немерено. Можно делать перевод не только на русский язык, и не только с английского, например, перевод с украинского на русский будет выглядеть очень человекописным и в тоже время текст в большей мере получится уникальным, либо перевод с француского на английский так же будет очень близок к человекописному. К сожалению, полностью сохранить HTML-разметку контента не получается, поскольку сначала приходится разбивать контент на маленькие кусочки, а потом собирать его по кускам, …

Google Hot Trends + Google Blog Search + YouTube + Flickr = генератор "горячего" контента в Yahoo Pipes

Опубликовано в (Yahoo Pipes, Горячие запросы, Контент) | автор splogmaster | 09-03-2009

Тэги: , , , , ,

Все наверное знают, что такое Google Hot Trends - для меня это мониторинг поисковых запросов в гугле. Google Hot Trends дает статистическую информацию о том,  что искали пользователи в определенный промежуток времени. Google Hot Trends это “горячие запросы” в поисковике google.com. Запросы эти не конкуретные, в целом низкочастотные, поэтому попасть на первую страницу выдачи и даже в первые ее позиции не сложно, достаточно просто дождаться индексации страницы, заточенной под конкретный “горячий” запрос. По-умолчанию Google Hot Trends выдают 100 самых популярных запросов за прошедший час, можно просмотреть и за другие временные интервалы, например, за определенный месяц. В данном посте я буду говорить только о часовых трендах - думаю для сплогов это наилучший вариант.

И так, мы тупо будем создавать контент под “горячие” запросы. Естественно, рабочим инструментом будет …