Страница 3 из 3 ПерваяПервая 123
Показано с 21 по 29 из 29
  1. #21
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    Видео урок: Создание JS парсеров. Работа с SQLite

    Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео показано, как работать с базой данных SQLite в JS парсере.



    В этом уроке рассмотрены:
    - Знакомство с языком запросов SQL
    - Создание простейшей базы данных SQLite при работе с JS-парсером
    - Получение и запись данных в базу SQLite при работе с JS-парсером

    Ссылки:
    - http://www.sql-tutorial.ru/ru/content.html - учебник по SQL
    - http://samoychiteli.ru/document29118.html - тоже учебник по SQL
    - https://finance.i.ua/converter/ - сайт, который использовался в качестве примера
    - https://a-parser.com/resources/276/ - статья и готовый парсер

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

  2. #22
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    1.2.270 - новый парсер Rank::Curlie, множество доработок в Node.js функционале



    Улучшения
    • Добавлен новый парсер Rank::Curlie
    • В HTML::LinkExtractor улучшена обработка портов по умолчанию, теперь ссылки с портом приводятся к каноническому виду
    • Оптимизирована работа SE::Yandex::WordStat
    • Улучшена работа с сессиями в SE::Yandex
    • Улучшена обработка некорректных ответов в SE::Yandex SE::Google::Suggest

    Исправления в связи с изменениями в выдаче

    Исправления
    • Исправлена проблема с запуском на некоторых linux дистрибутивах
    • Исправлена загрузка node.js модулей в редких случаях на Windows
    • JS парсеры: добавлена поддержка dns.lookup и улучшена совместимость с модулем mysql2
    • JS парсеры: исправлен util.promisify
    • Исправлена работа некоторых Node.js модулей
    • В SE::Google::Modern и SE::Bing $totalcount при 0 результатов теперь возвращает 0
    • Исправлено логгирование в режиме foreground

  3. #23
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    25-й сборник рецептов
    25-й сборник рецептов. В нем будет показан способ периодического парсинга с дозаписью результатов в таблицу, рассмотрен парсинг с помощью Node.js модуля Cheerio без использования регулярных выражений, а также показан парсер первой мобильной поисковой системы в Китае - Shenma. Поехали!

    Периодическая проверка обратных ссылок с дозаписью результатов в таблицу
    Пример решения одной из наиболее запрашиваемых задач - дозапись периодически получаемых результатов в одну и ту же таблицу. В качестве хранилища данных используется SQLite, при каждом запуске данные добавляются и выводятся в таблицу. Готовый пресет с комментариями - по ссылке выше.


    Парсер поисковой системы Haosou
    Как известно, в основе почти любого парсера используются регулярные выражения, реже - XPath. Работа с этими методами требует определенных знаний, что в свою очередь может вызывать некоторые сложности. Поэтому существуют и другие методы. Использование одного из них на примере парсинга популярного в Китае поисковика Haosou, показано по ссылке выше.


    Парсер китайского поисковика Shenma
    Еще один китайский поисковик в этом сборнике - Shenma. Это первая мобильная поисковая система в Китае, ориентирована в первую очередь на мобильные сайты. Пресет - по ссылке выше.


    Еще больше различных рецептов в нашем Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Предыдущие сборники рецептов:

  4. #24
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    Видео урок: Создание JS парсеров. Реализация подстановки запросов и их многопоточной обработки.
    Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео будет показано, как "на лету" добавлять запросы в задание и многопоточно их обрабатывать.

    В одной из наших статей мы рассмотрели способ разработки парсера, который собирает ТОП 10 из выдачи поисковика, а затем по очереди парсит нужные данные по полученным ссылкам. Вроде все неплохо, но если у вас не 10 запросов, несколько тысяч? Задание будет выполняться очень долго, а время это самый драгоценный и не восполняемый ресурс.
    К счастью в A-Parser есть такая замечательная вещь, как многоуровневый парсинг, который позволяет многократно увеличить скорость парсинга, и в этом видео мы рассмотрим как этой возможностью пользоваться.

    В этом уроке рассмотрено:
    • Реализация раздельных процедур парсинга в зависимости от внешних условий, а именно - уровня парсинга
    • Подстановка запросов в задание "на лету"
    • Использование стандартных парсеров в кастомных JavaScript парсерах

    Ссылки:

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

  5. #25
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    1.2.292 - новый парсер Яндекс ИКС, улучшения в работе с кодировками, оптимизации встроенных парсеров

    Улучшения
    • Добавлен парсер SE::Yandex::SQI - парсер Индекса качества сайта (Яндекс ИКС)
    • Оптимизирована работа Очереди заданий
    • Добавлена поддержка множества экзотических кодировок китайского языка
    • Добавлена опция Save as UTF-8 with BOM, которая решает проблему определения кодировки при открытии сформированного CSV в Excel
    • SE::Youtube полностью переписан с использованием современного юзерагента
    • SE::AOL::Suggest оптимизирован и переписан на JavaScript
    • Улучшена работа SE::Google,SE::Google::Modern, Rank::MajesticSEO,SE::Bing,Shop::Amazon

    Исправления в связи с изменениями в выдаче

    Исправления
    • Исправлена работа Net::Whois для некоторых доменных зон
    • Исправлена ошибка, при которой не импортировался пресет, если не установлены модули, используемые в нем
    • Исправлена кодировка при использовании fs.readdirSync в JS парсерах

  6. #26
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    Сборник статей #5: собственный канал в Telegram и массовое добавление товаров в OpenCart
    В 5-м сборнике статей на реальном примере будет показано, как создать свой канал в Телеграме и полностью автоматизировать его наполнение контентом. Также мы продолжаем цикл статей по работе с OpenCart и во 2-й части будет рассмотрен вопрос массового добавления товаров. Как обычно, в каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

    Полноценный Telegram канал на базе A-Parser
    В этой статье будет описан способ создания полноценного канала в Telegram c автоматизированным сбором контента и постингом сообщений через заданные интервалы. И конечно, все это на базе A-Parser. Все подробности, а также готовые пресеты - по ссылке выше.


    Работаем с OpenCart. Часть 2. Массовое добавление товаров
    Мы продолжаем цикл статей о заливке товаров в интернет-магазин на базе OpenCart. Во второй части будет рассмотрено массовое добавление товара. Подробности, а также пример готового парсера - по ссылке выше.


    Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

    Предыдущие сборники статей

  7. #27
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    Видео урок: Массовое добавление товаров в OpenCart
    Данный парсер является примером для разработки парсера работающего с OpenCart. Решение демонстрирует возможность сбора данных о товарах из стороннего сайта и заливку их на собственный сайт на базе OpenCart через API.

    В этом уроке рассмотрены:
    • парсинг товаров из интернет-магазина
    • авторизация в OpenCart
    • работа с API OpenCart для публикации товаров


    Статья и готовый пресет опубликованы в нашем Каталоге: https://a-parser.com/resources/302/

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

  8. #28
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    1.2.319 - новый парсер подсказок Youtube, поддержка модуля MySQL2, множество улучшений и оптимизаций

    Улучшения
    • Добавлен новый парсер SE::Youtube::Suggest
    • Добавлена совместимость с модулем mysql2 в JavaScript парсерах
    • В Util::ReCaptcha2 добавлена поддержка сервиса R.I.P.captcha
    • В SE::Bing::Suggest добавлена возможность выбора страны
    • Уменьшено потребление оперативной памяти, а также оптимизирована начальная загрузка, интерфейс теперь открывается быстрее
    • База регионов в SE::Yandex обновлена и значительно увеличена
    • Для всех стандартных парсеров, кроме тех, которые работают на основе Net::HTTP, из настроек убраны Max body size и Use gzip
    • Улучшен Shop::Amazon

    Исправления в связи с изменениями в выдаче

    Исправления
    • Исправлена работа с прокси при получении каптчи в SE::Yandex::Register
    • В очень редких случаях в SE::Yandex могла возникать ошибка Content mismatch
    • Исправлен Net::Whois при работе с .eu доменами

  9. #29
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    Видео урок: Полноценный Telegram канал на базе A-Parser
    Это видео демонстрирует возможность создания полноценного Telegram канала на базе A-Parser. Парсер периодически и без вмешательства пользователя будет собирать контент и публиковать его на канале.

    В уроке рассмотрены:
    • Регистрация и настройка канала в Телеграм.
    • Последовательное выполнение нескольких заданий.
    • Сохранение промежуточных данных в базу SQLite с последующим чтением.
    • Настройка пресета для постинга сообщений в Telegram-канал.

    Статья с подробным описанием процесса создания: https://a-parser.com/resources/300/
    Ссылки на готовые пресеты:
    https://a-parser.com/resources/38/
    https://a-parser.com/resources/298/
    https://a-parser.com/resources/299/
    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Страница 3 из 3 ПерваяПервая 123

Информация о теме

Пользователи, просматривающие эту тему

Эту тему просматривают: 1 (пользователей: 0 , гостей: 1)

Похожие темы

  1. Бесплатный коврик для мышки
    от Reno в разделе Реклама.
    Ответов: 0
    Последнее сообщение: 31.01.2015, 00:48
  2. Ответов: 0
    Последнее сообщение: 09.07.2013, 19:36
  3. Ответов: 0
    Последнее сообщение: 16.06.2013, 23:39
  4. Нет доступа в статистику по поисковым фразам
    от lis3009 в разделе Вопросы рекламодателей.
    Ответов: 1
    Последнее сообщение: 18.12.2012, 00:21
  5. Всем рекламодателям возвращаем 5% !!!
    от Popunder в разделе Новогодние Акции 2012!(завершены)
    Ответов: 0
    Последнее сообщение: 26.11.2012, 19:08

Метки этой темы

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
  •