Часто задаваемые вопросы
Global Parsing
Законность парсинга
Парсинг - это поиск информации из открытых источников, который можно сделать и самостоятельно вручную. То есть парсинг это лишь автоматизация и ускорение данного процесса, а не хакерская программа.
Заниматься автоматизированным сбором информации через парсинг это законно при соблюдении ряда условий:
· Данные собираются законным способом
· При сборе данных не нарушается работа сайтов и приложений
· Данные должны быть в открытом доступе без защиты авторских и смежных прав
Таким образом, автоматизированный парсинг общедоступной информации при без негативного влияния на источники сбора является законным и удобным способом для работы с онлайн данными.
Есть ли предел по объему данных парсинга?
Таких ограничений нет. На сегодня мы ежедневно парсим сотни миллионов страниц данных, система легко масштабируется под нужный объем сбора и хранения данных.
Можете ли вы настроить парсинг индивидуально под наши задачи?
Да, мы настраиваем парсеры под любые ваши задачи. Всегда рады сложным и интересным задачам.
Сколько времени занимает запуск парсинга?
В среднем запуск парсинга занимает от 1-2 дней до 1 недели в зависимости от готовности сайтов и мобильных приложений в парсинге и требований к сбору данных.
Можно ли парсить данные по моему списку сайтов?
Да, настроим и запустим парсинг по вашему списку сайтов. Это могут быть десятки и сотни сайтов одновременно с любой географией.
Какая скорость парсинга?
Исходя из нашего опыта средняя скорость сбора данных от нескольких минут до нескольких часов в зависимости от объема собираемых данных и набора сайтов.
Можно ли автоматизировать передачу данных парсинга?
Да, мы выдаем данные любым автоматизированным способом - API, облачные хранилища Google, Yandex, FTP, отправка на Email.
Умеете ли вы обходить защиту от парсинга и блокировки?
Да, применяем разные программные методы обхода защиты и блокировок чтобы собрать нужные данные. Все методы относятся исключительно к законным способам и не нарушают работу сайтов.
Делаете ли вы сопоставление (матчинг) товаров?
Да, делаем ручной, автоматический и гибридный (ручной+автоматический) матчинг в зависимости от объема матчинга, необходимой степени точности сопоставления или бюджета заказчика.
Как долго вы храните исторические данные?
У нас нет жесткого ограничения на сроки хранения данных, но если требуется гарантировать хранение данных в течение определенного периода, то это нужно оговорить перед запуском проекта. Как правило такие вопросы возникают для проектов с регулярным парсингом больших объемов данных.
Парсите ли вы зарубежные сайты?
Да, не важно где находится сайт, мы его спарсим
Какая частота парсинга данных?
Зависит от вашей бизнес задачи - от ежеминутного парсинга, до одного раза в несколько месяцев. Например, парсинг цен конкурентов требуется от 1 до нескольких раз в неделю, парсинг ассортимента конкурентов и объявлений по недвижимости можно делать 1 раза в месяц.
Парсите ли вы контактные данные?
Нет, мы не парсим любые персональные данные во избежание нарушения законодательства.
Парсите ли вы изображения с товарных карточек?
Да, мы парсим любые текстовые и графические данные из карточки товара или услуги.
Можете ли вы делать скриншот страницы?
Да, делаем подтверждающие скриншоты и выдаем в виде ссылок.
Можете ли вы спарсить рекламу?
Да, парсим различные рекламные форматы - баннеры, рекламные полки, сториз, специальные предложения, акции, рекламу в поиске.
Что вы умеете делать со спарсенными данными?
Можем настроить аналитику по собранным данным:
· отчеты с агрегированными и структурированными данными,
· аналитика по метрикам на базе собранных данных
· онлайн дашборды с аналитикой в красивом графическом представлении
Как быстро вы перенастраиваете парсинг при изменениях на сайте источнике?
В зависимости от глубины изменений, процесс занимает от нескольких часов до 1 дня. В редких случаях может занять несколько дней.
Умеете ли вы парсить сайты с аутентификацией?
Да, работаем с любыми способами аутентификации.
Как вы агрегируете данные с разных сайтов в один отчет?
Как правило объединение данных в один отчет происходит с однотипных сайтов (интернет магазины, сайты объявлений итд). Все однотипные поля (например, пол, размер, цвет) сопоставляются между всеми сайтами и в отчетах попадают в одно поле. Соответственно, заказчик получает агрегированный отчет по набору сайтов, где может анализировать данные нескольких источников одновременно.
Умеете ли вы парсить данные с мобильных приложений?
Да, парсим любые приложения IOS, Andriod.
Как вы гарантируете точность собранных данных?
Применяем несколько уровней контроля сбора данных - автоматические методы контроля и выборочную ручную проверку специалистами по анализу данных. Таким образом, выдаем заказчику гарантированно качественные данные.
Какие регионы и города вы можете парсить?
География и детализация может быть любая в зависимости от задачи и возможностей сайта - страна, регион, город, адрес.
Делаете ли вы тестовый парсинг данных перед началом полного
Да, мы гибко подходим к сотрудничеству и часто сначала проводим тест чтобы убедиться что требуемые заказчику данные можно собрать и работать с ними.
Как вы работаете с картинками и файлами?
Если в проекте требуется сохранять скриншоты страниц, изображения, или файлы, то мы храним их на сервере и выдаем URL-адреса для скачивания.
Используете ли вы готовые программы для парсингов сайтов?
Нет. Несмотря на большое количество готовых инструментов для парсинга, большинство из них по функционалу не подходит под реальные задачи, особенно в проектах со сложной логикой парсинга. Поэтому мы используем свои наработки, которые быстрее и проще настраиваются и дорабатываются под задачи клиента.
В каком виде я могу получать получу данные и как их использовать?
Мы выдаем данные в любом удобном заказчику формате - Excel, CSV, JSON, отправка или выдача по API для прямой загрузки в систему клиента, выгрузка в облачные хранилища Google, Яндекс. Если у вас самописная система, то можем подстроиться под нее.
Чем ваш парсинг отличается от парсинга фрилансеров?
Если более менее простой и разовый парсинг зачастую дешевле заказать у фрилансеров, то когда, например, требуются большие объемы (сотни тысяч и миллионы строк данных), регулярность сбора (ежечасно, ежедневно, еженедельно итд), высокая точность данных, обширная география, широкий набор сайтов и мобильных приложений, обход защиты от парсинга, то в этом случае решение задачи требует профессионального подхода и гарантий качества. Наша компания обладает нужными компетенциями и опытом, что дает клиенту гарантию качества и постоянства работы, что является крайне важным в подобных задачах.