Информация: Модератором данной темы является: Rattto, при возникновении каких-либо вопросов обращайтесь к нему.

Мониторинг обновлений web-сайтов

Если вам нравится определённый сайт, но при этом он не поддерживает RSS ленты, а вы хотите следить за актуальными новостями вы можете создать собственные парсеры с помощью систем мониторинга.
  1. Тема Оффлайн
    Первое что я предлагаю рассмотреть - сооствествующая тема на руборде:
    http://forum.ru-board.com/topic.cgi?forum=...ic=2822&start=0
    Там вы найдете приложения для мониторинга за обновлением на сайтах.

    Ну, а самое интересное это конечно дальше, я научу вас как через замечательный сервис http://feed43.com/
    создать RSS монитор обновлений свежих объявлений на авито. Минус бесплатного аккаунта feed43 в том что лента будет обновляться с периодичностью 6 часов, но нам этого вполне достаточно, т.к мониторить будем узконаправленные тематики.

    В целях уменьшения веса и облегчения сбора данных первым делом перейдем в мобильную версию:
    http://m.avito.ru/moskva/tovary_dlya_kompyutera
    Смотрим исходный код страницы, а именно там где объявления, выглядит он вот так, и пока ничего интересного нам не дает:
    
    <article class="b-item ">
    <div class="item-img"> <span class="img pseudo-img" style="background-image: url('http://53.img.avito.st/100x75/703018853.jpg'); background-image: -webkit-image-set(url('http://53.img.avito.st/100x75/703018853.jpg') 1x, url('http://53.img.avito.st/140x105/703018853.jpg') 2x);"></span> </div>
    
    <h3 class="item-header">Телевизор thomson</h3>
    <div class="item-price ">
     1 000 р.
    </div>
    
    <div class="item-info">
    <div class="info-date info-text">
     Вчера, 20:14 </div> </div>
    <a href="http://m.avito.ru/syktyvkar/audio_i_video/televizor_thomson_293626837" class="item-link"></a> </article>
    


    Теперь на проекте feed43 создадим свой канал, указав урл категории за которой вы хотите следить.
    FEED43 предлагает простой синтаксис регулярных выражений:
    {%} - Забрать данные
    {*} - Пропустить данные


    В поле шаг 2 пропишите следующую информацию:
    Шаг 2. Задайте правила извлечения данных
    <section class="b-content-main">{%}</section>


    Далее в поле:
    Шаблон поиска новостей (повторяющийся)*: [?]
    <article class="b-item ">
    {*}"background-image: url('{%}');{*}
    "item-header">{%}</h3>{*}
    "item-price ">{%}</div>{*}
    "info-date info-text">{%}</div>{*}
    http://m.avito.ru/{%}"{*}
    </article>


    Вот и всё практически готово, осталось только оформить вывод данных:
    Шаблон заголовка новости*: [?]
    {%2} (Цена: {%3})
    
    Шаблон ссылки новости*: [?]
    http://avito.ru/{%5}
    
    Шаблон тела новости*: [?]
    [img]{%1}[/img]<br/>
    [b]{%2} (Цена: {%3})[/b]<br/>
    [i]Добавлено: {%4}[/i]


    Результат полученной ленты в любом RSS ридере:
    Мониторинг обновлений web-сайтов


    Аналоги FEED43:
    http://www.rssdog.com/
    http://www.rsspect.com/index.php
    http://www.skyur.ru/
    http://www.balluche.fr/html2rss.php
    http://rss.bloople.net/
    http://www.html2rss.com/

    ---

    Мониторинг обновлений web-сайтов

    Есть ещё одна софтина-монстр для мониторинга: WebSite-Watcher Основным назначением программы является наблюдение за web-сайтами. В перечень функции входит слежение за текстовыми элементами на страницах любого типа, включая и защищенные паролем. Можно контролировать любые темы в форумах или непосредственно сами форумы, присутствует и поддержка RSS для унифицированности и удобства использования. Возможно наблюдение за новостными группами, а также файлами как удаленными, так и локальными. Для большей точности присутствует система фильтров, которая может быть легко настроена при помощи мастера, либо же вручную. Для обнаруженных изменений используется подсветка содержимого на страницах (как, например, это делает поисковая система Google при поиске избранных слов на странице). Проверка и мониторинг может осуществляться как в ручном, так и в автоматическом режимах с использованием планировщика заданий, который поддерживает собственный язык для программирования. При желании можно воспользоваться средствами резервного копирования и архивирования, если возникает необходимость хранить несколько копий полученных данных. Интерфейс программы переведен на множество языков, включая и русский, все они поставляются в едином комплекте с инсталлятором.

    http://nnm-club.me/forum/viewtopic.php?t=756662
    http://forum.ru-board.com/topic.cgi?forum=...0383&start=1640
    Сообщение отредактировал ®at 11 марта 2014 - 01:30
    11 марта 2014 - 01:14 / #1

Статистика форума, пользователей онлайн: 3 (за последние 15 минут)

123456, Yandex Bot, Google Bot

Администраторы | Главные редакторы | Журналисты | Посетители

Создано тем
521
Всего сообщений
1831
Пользователей
73076
Новый участник
Svetlrhj
Модераторы форума: Crims, zorroxuz2008, Rattto, L00KeRnd, BrUn0