Опубликовано в (Yahoo Pipes, Контент) | автор splogmaster | 12-12-2008
Как известно, большинство RSS-лент содержат лишь анонсы новостей длиной в пару строчек - делать сплог на базе анонсов невыгодно, контента мало, к тому же эта RSS-лента скорей всего транслируется в куче RSS-каталогов, т.е. контент на таком сплоге будет очень неуникальным. Куда лучше делать сплог с полными текстами новостей - конечно же, это будет чистое заимствование контента с сайта-донора, но, поскольку брать контент с авторских сайтов и блогов в большинстве случаев мы не собираемся, то сайтами-донорами будут выступать сайты, которые в свою очередь сами заимствуют контент - поэтому без всяких зазрений совести можно педелывать RSS-ленты с анонсами новостей в RSS-ленты с полным текстом новостей.
Информацию об используемых модулях Yahoo Pipes можете получить в Описание модулей Yahoo Pipes
Для решения данной …
Опубликовано в (Yahoo Pipes) | автор splogmaster | 09-12-2008
Сразу определимся с терминологией: под парсингом html-страницы в Yahoo Pipes я понимаю граббинг (от слова grabber, т.е. схватить и утащить) всей html-страницы или ее части с последующим, по мере необходимости, преобразованием "схваченного".
В общих чертах для задач парсинга в Yahoo Pipes нам нужны только 2 модуля: Fetch Page для граббинга и модуль Regex для преобразований с помощью регулярных выражений.
Модуль Fetch Page группы Source:
Поле URL - сюда вбивается адрес веб-страницы, которую мы собрались сграбить/спарсить; Поле Cut content from - если нам …
Опубликовано в (Yahoo Pipes) | автор splogmaster | 08-12-2008
Это будет второй вводный в Yahoo Pipes пост (первым был Практическое знакомство с Yahoo Pipes), после чего я буду писать о решении в Yahoo Pipes конкретных, имеющих непосредственное отношение к сплоггерству, задач.
В этом посте я хочу кратко, своими словами исходя из опыта работы с Yahoo Pipes дать описание функциональным модулям, с помощью которых собираются трубы. Модули в Yahoo Pipes сгруппированы по "объекту приложения", т.е. одни модули предназначены для работы с потоком данных, другие для работы со строками и т.д. На рабочем столе модули, разбитые по группам, расположены в левой его части:
И так, группы …
