Страница 1 из 3 123 ПоследняяПоследняя
Показано с 1 по 10 из 29
  1. #1
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).


    Репутация: 10

    Exclamation A-Parser - многопоточный парсер поисковых систем

    A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, email, телефоны, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 70 парсеров

    На сегодняшний день A-Parser развился в невероятный SEO комбаин, позволяющий покрыть огромное число задач для SEO-специалистов и вебмастеров любого уровня подготовки:
    • Используйте встроенные парсеры чтобы с легкостью получать и анализировать любые данные
    • Воспользуйтесь нашим каталогом парсеров и пресетов для расширения возможностей A-Parser и решения нестандартных задач
    • Если вы продвинутый пользователь - создавайте свои собственные парсеры на основе регулярных выражений или XPath
    • Владеете JavaScript? Тогда A-Parser предлагает вам беспрецедентную возможность программировать свои собственные парсеры, используя всю мощь возможностей A-Parser!
    • Для автоматизации мы предлагаем API позволяющий легко встроить A-Parser в ваши бизнес процессы, а также для создания сервисов любого уровня сложности на базе нашего парсера



    Кроме этого мы предоставляем услуги по составлению заданий и написанию парсеров под ваши задачи, в кратчайшие сроки и по демократичной цене. Хотите спарсить целиком интернет магазин(Ozon, Amazon, AliExpress)? Проверить 100 миллионов сайтов по вашим признакам? Получить данные с любого сайта в структурированном виде(CSV, JSON, XML, SQL)? В решении этих задач поможет наша дополнительная платная поддержка

    A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:
    • SEO-оптимизация сайтов и Web-аналитика
      • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
      • Оценка сайтов и доменов по множеству параметров
      • Мониторинг позиции любых сайтов в поисковых системах
      • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
      • Отслеживание обратных ссылок
      • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
      • Сбор и оценка ключевых слов
      • Сбор списка обратных ссылок
      • И многое другое
    • Web-безопасность
      • Сбор и фильтрация баз ссылок по признакам
      • Определение CMS сайтов
      • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
    • Сетевое администрирование
      • Работа с DNS службой - резолвинг доменов в IP адреса
      • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера


    A-Parser обладает следующими преимуществами:
    • Колоссальная производительность
      • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
      • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
      • Множественные оптимизации сложных операций
      • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
    • Промышленные масштабы
      • Парсер разрабатывался с учетом работы с неограниченным размером данных
      • Способен обрабатывать сотни миллионов и миллиардов запросов
      • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
    • Автономность
      • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
      • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
      • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
    • Поддержка более 70 парсеров
    • Создание собственных пресетов
      • Использование регулярных выражений
      • Поддержка XPath
      • Поддержка многостраничного парсинга
      • Проверка контента и наличия следующей страницы
    • Создание собственных парсеров
      • Быстрая разработка на JavaScript
      • Многопоточность и работу с прокси обеспечивает A-Parser
    • Распознавание каптчи
      • Поддержка множества сервисов: антигейт, cheap-captcha.com, rucaptcha.com и любых других на основе AntiGate API
      • Поддержка CapMonster и XEvil
    • Мощные инструменты для формирования запросов и результатов
      • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
      • Подстановки для запросов: из файла; перебор слов, символов и цифр
      • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
      • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
      • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, json, sql, произвольный формат)
    • Гибкость настроек
      • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
      • Настроить можно все - никаких рамок и ограничений
      • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
    • Сетевые возможности
      • Поддержка HTTP/1.1, HTTP/2 и HTTPS(TLS)
      • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
      • Полностью асинхронная работа с сетью, включая работу с DNS
    • API
      • Возможность интегрировать и управлять парсером из своих программ и скриптов
      • Полная автоматизация бизнес-процессов
      • Клиенты для PHP, Perl, Python и NodeJS
    • Постоянные улучшения и исправления
      • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
      • С тех пор было выпущено более 100 новых версий, включающих множество улучшений и исправлений
      • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
    • Техническая поддержка
      • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
      • Создана подробная документация по A-Parser'у, открыт форум для пользователей
      • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
      • Разработчики A-Parser'а готовы ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера

    Более подробно ознакомится с возможностями парсера можно в полноценной документации

    A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:



    Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
    Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.
    Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку

  2. #2
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    1.2.78 - поддержка сессий в JS парсерах, улучшение SE::Google::Modern, правки в интерфейсе



    Улучшения

    • Добавлена поддержка сессий в JavaScript парсерах
    • В SE::Google::Modern добавлена поддержка сессий и улучшена производительность за счет уменьшения частоты появления каптч/рекаптч
    • Добавлена переменная $query.prev - показывает запрос, который использовался на предыдущем уровне
    • Для JS парсеров добавлен метод this.logger.putHTML, который позволяет вывести в лог HTML код
    • В Lite версию добавленSE::Google::Modern и Util::ReCaptcha2
    • В x86 версиях добавлено предложение перейти на x64
    • Добавлена возможность переименовывания пресетов
    • В окне выбора пресета для папок реализована "память на сворачивание"
    • Изменены иконки для JS парсеров
    • Исправлены ошибки с переводом в интерфейсе
    • Исправлено отображение HTML тегов в логах
    • Исправлен баг при импорте с вложенным парсером
    • Исправлен баг с прокруткой при сохранении JS парсеров и пресетов
    • Доработан Конструктор регулярных выражений
    • Другие мелкие правки в интерфейсе, направленные на улучшение общей работы


    Исправления в связи с изменениями в выдаче

    • В SE::Google::Modern исправлен парсинг сниппетов и рекламы, а также мобильной выдачи
    • В SE::Google::Suggest исправлен парсинг подсказок, а также добавлена опция Remove HTML tags, позволяющая получать подсказки с или без html тегов
    • Исправлен парсинг анкоров и сниппетов в SE :: DuckDuckGo
    • SE::Ask, SE :: Dogpile, Rank::Mustat


    Исправления

    • Исправлен баг с перемещением заданий в очереди
    • В SE::Google::Modern исправлен баг с кодировкой
    • Исправлена работа параметров Request delay и Extra query string во всех JS парсерах
    • Исправлен выбор файлов запросов
    • Исправлено отображение иконок для JS парсеров

  3. #3
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    Видео урок: Создание JS парсеров. Получение результатов от стандартного парсера

    Это видео начинает цикл уроков по созданию JavaScript парсеров. Здесь рассказано о том, как начать писать собственные парсеры, используя функционал JS парсеров в А-Парсере.



    В уроке рассмотрено:
    • Создание кастомного JS парсера
    • Использование встроенного парсера внутри JS парсера
    • Парсинг выдачи поисковой системы с фильтрацией результатов по заданному условию

    Полезные ссылки:

    Статья и готовый парсер: https://a-parser.com/resources/254/

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

  4. #4
    Новичок Репутация: 10 Аватар для Monika
    Регистрация
    02.10.2017
    Сообщений
    21
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    Много хорошего от вебмастеров слышала про этот парсер, хороший помощник в автоматизации процессов. Осталось насобирать не много денюжек, чтобы прикупить.

  5. #5
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    Видео урок: Создание JS парсеров. Парсинг сайта с проходом по страницах

    Второе видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать несложный парсер сайта, который будет "листать" страницы, используя функционал JS парсеров в А-Парсере.



    В уроке рассмотрено:
    • Создание кастомного JavaScript парсера без использования встроенных парсеров
    • Парсинг контента сайта постранично с использованием регулярных выражений
    • Реализация прохода по страницам ("пагинации") в JS парсере

    Статья и готовый парсер: https://a-parser.com/resources/255/

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

  6. #6
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    1.2.138 - поддержка Node.js модулей, обработка ReCaptcha2 во всех парсерах Google, парсер AliExpress



    В A-Parser 1.2.138 добавлена эмуляция node версии 8.9.x с поддержкой загрузки модулей и частичной реализацией fs и net модулей. Это дает возможность обращаться из JavaScript парсеров напрямую к файловой системе, а также использовать подключение по TCP из модулей к другим сервисам(например mysql, redis, chrome...).

    Все это позволило загружать и использовать node модули из каталога npm, в котором собраны множество полезных библиотек для обработки данных, коннекторы к базам данных и множество других интересных вещей. На данный момент протестированы следующие модули: md5, async-redis, jsdom, puppeter.
    Улучшения
    • Добавлена поддержка Node.js модулей в JavaScript парсерах
    • SE::Google:: Position, SE::Google::Compromised и SE::Google::TrustCheck полностью переписаны, добавлена поддержка ReCaptcha2
    • Улучшена работы SE::Google::Modern в целом
    • В SE::Youtube добавлен выбор языка, а также реализована возможность включать/отключать Безопасный режим
    • Добавлен Shop::AliExpress
    • Улучшена проверка создаваемых переменных в пресетах
    • Улучшена работа сессий
    • Исправлено отображение имени файла запроса на карточке задания
    • Улучшена работа скрола в Тестовом парсинге
    • Добавлено удаление переносов из сниппетов в SE::Google::Modern
    • Картинка каптчи в парсере SE::Yandex::Register теперь скачивается через прокси
    • Множество мелких улучшений в интерфейсе

    Исправления в связи с изменениями в выдаче

    Исправления
    • Исправлена работа Конструктора регулярных выражений
    • Исправлена работа с кодировками в парсерах переводчиков и JS парсерах
    • Исправлена работа SE::Google:: Position
    • Исправлен выбор региона в SE::Yandex:: Direct
    • Исправлена работа опции Location в SE::Google::Modern
    • Исправлена работа сессий в SE::Google::Modern при переопределенном домене
    • Исправлена ошибка при совместном использовании опций Перезаписи файла, Начального и Конечного текстов
    • Исправлено отображение вкладок в Тесте задания
    • Исправлено отображение списка пресетов в поле Запустить по завершению
    • Исправлена работа this.proxy.set в JS парсерах
    • Исправлена передача дополнительных параметров в JS парсерах
    • Исправлена ошибка, из-за которой через API нельзя было указать Начальный и Конечный тексты
    • Исправлен экспорт пресетов

  7. #7
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    Использование Xevil совместно A-Parser для разгадывания ReCaptcha2


    Как известно, сейчас Google при парсинге очень часто выдает рекаптчу, что значительно усложняет и замедляет сбор данных.
    В A-Parser есть возможность обходить данную проблему, разгадывая рекаптчу с помощью сторонних сервисов. Поддерживаются различные онлайн сервисы, а также программные решения.

    Одним из таких решений есть XEvil. Его использование дает хороший прирост в скорости, а также значительно удешевляет парсинг, ведь здесь нету оплаты за количество разгаданных каптч/рекаптч, как в онлайн сервисах. Кроме этого, XEvil умеет разгадывать практически любые обычные каптчи (в виде картинки) и данная возможность также поддерживается в A-Parser.



    На данный момент использовать разгадывание рекаптчи с помощью XEvil можно в таких парсерах:


    В видео показано:
    • подключение Xevil к A-Parser для работы с ReCaptcha2
    • проверка работы и демонстрация работы в SE::Google::Modern


    Ознакомиться более детально с возможностями XEvil можно по ссылкам:


    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

  8. #8
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb

    21-й сборник рецептов. В нем мы научимся отправлять сообщения в Telegram прямо из A-Parser, изучим работу с модулями Node.js в JS парсерах на примере решения задачи фильтрации по множеству признаков, а также спарсим весь IMDb. Поехали!

    Уведомления в Telegram из A-Parser

    Telegram является одним из самых популярных мессенджеров благодаря своей простоте, и в то же время большому функционалу. Среди прочего, в Телеграме можно создавать ботов, с помощью которых можно делать чаты более интерактивными. Взаимодействие с ботом на на стороне сервера происходит через Telegram Bot API. Используя эти возможности, можно легко и буквально за несколько минут настроить уведомления себе в Telegram прямо из парсера. О том, как это сделать, а также несколько реальных примеров - по ссылке выше.




    Фильтрация по множеству признаков

    Как известно, для фильтрации в А-Парсере используется встроенный функционал фильтров. Но бывают ситуации, когда список признаков, наличие которых нужно проверять, очень большой и его сложно вписать в строку стандартного фильтра.
    Начиная с версии 1.2.127 в A-Parser добавлена поддержка модулей Node.js. Благодаря этому появилась возможность читать список признаков из файла и использовать его для проверки страниц. О том, как это сделать, а также готовый парсер с мультифильтром - по ссылке выше.



    Парсинг рекомендаций фильмов из IMDb

    Пример решения задачи по сбору данных о фильмах и их рекомендаций на IMDb. Данная статья показывает, как можно решать задачи, которые на первый взгляд требуют много времени и ресурсов, буквально за несколько часов. Узнать о том, как спарсить весь IMDb за 1,5 часа, а также посмотреть пресет и забрать готовую базу можно по ссылке выше.



    Еще больше различных рецептов в нашем обновленном Каталоге!
    Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

    Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.



    Сборники статей:

  9. #9
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    1.2.160 - поддержка SQLite, проверка доменов на клей, Parse all results в SE::Yahoo


    Улучшения
    • Добавлена поддержка SQLite в JavaScript парсерах и шаблонизаторе, пример использования здесь
    • Добавлена защита от случайного закрытия окна парсера
    • В SE::Yahoo добавлены Parse all results и Parse related to level
    • SE::Yandex::TIC полностью переписан, добавлена возможность проверять домены на клей
    • В Rank::MegaIndex добавлена поддержка ReCaptcha2
    • Улучшен парсинг сниппетов в SE:: DuckDuckGo
    • Улучшен сбор почт в HTML::EmailExtractor

    Исправления в связи с изменениями в выдаче
    • Обновлен алгоритм Bypass Cloudflare
    • SE::Bing::Translator почти полностью переписан в связи с изменением логики работы переводчика Bing
    • Исправлена работа SE::Seznam с некоторыми видами запросов
    • Исправлен парсинг related keywords, а также мобильной выдачи в SE::Google::Modern
    • Исправлен парсинг related keywords в SE::Bing
    • Исправлена работа SE::IxQuick при работе с русскоязычными запросами
    • SE::Yandex:: Direct, SE::Google::ByImage, SE::Yandex::WordStat

    Исправления
    • Исправлена работа SE::Google::Modern на IPv6 прокси
    • Исправлена ошибка, из-за которой SE::Google::Modern собирал ссылки с пометкой опасных сайтов в общий массив ссылок
    • Исправлена работа с оператором поиска + в SE::Bing
    • Исправлен парсинг запросов со спецсимволами в SE:: DuckDuckGo
    • Исправлена работа Rank::MajesticSEO
    • Исправлен баг с overrideOpts в JS парсерах
    • Исправлена работа с переменными при их создании в Parse custom results, а также при использовании нижнего подчеркивания в именах в Конструкторе результатов
    • Исправлена работа tools.js, баг появился в одной из предыдущих версий
    • Исправлен баг, из-за которого А-Парсер падал на некоторых ОС, появился в одной из предыдущих версий

  10. #10
    Новичок Репутация: 10 Аватар для A-Parser Support
    Регистрация
    21.12.2016
    Сообщений
    28
    Поблагодарил(а)
    0
    Получено благодарностей: 0 (сообщений: 0).
    Открыл эту тему


    Репутация: 10

    Re: A-Parser - многопоточный парсер поисковых систем

    Видео урок: Создание JS парсеров. Работа с CAPTCHA

    Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.



    В уроке рассмотрено:
    • Создание JS-парсера для разгадывания капчи
    • Работа с объектом this.captcha внутри JavaScript кода
    • Описание процесса разгадывания каптчи, реализованного в A-Parser

    Статья и готовый парсер: https://a-parser.com/resources/257/

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Страница 1 из 3 123 ПоследняяПоследняя

Информация о теме

Пользователи, просматривающие эту тему

Эту тему просматривают: 1 (пользователей: 0 , гостей: 1)

Похожие темы

  1. Бесплатный коврик для мышки
    от Reno в разделе Реклама.
    Ответов: 0
    Последнее сообщение: 31.01.2015, 00:48
  2. Ответов: 0
    Последнее сообщение: 09.07.2013, 19:36
  3. Ответов: 0
    Последнее сообщение: 16.06.2013, 23:39
  4. Нет доступа в статистику по поисковым фразам
    от lis3009 в разделе Вопросы рекламодателей.
    Ответов: 1
    Последнее сообщение: 18.12.2012, 00:21
  5. Всем рекламодателям возвращаем 5% !!!
    от Popunder в разделе Новогодние Акции 2012!(завершены)
    Ответов: 0
    Последнее сообщение: 26.11.2012, 19:08

Метки этой темы

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
  •