Парсинг сайтов: что это, законно ли и чем парсить

Парсинг сайтов это автоматический сбор данных со страниц: программа открывает страницы, находит нужные поля (название, цену, наличие, характеристики) и складывает их в таблицу или базу. Сам по себе сбор открытых данных законом не запрещён, но границы есть: нельзя без разрешения извлекать существенную часть чужой базы данных и использовать её дальше, нельзя собирать персональные данные без законного основания, нельзя обходить защиту и перегружать чужой сервер. Парсить можно облачным сервисом, программой на компьютере, скриптом на Python или заказать сбор у разработчика: выбор зависит от объёма, частоты и того, насколько часто сайты-источники меняются.

Ниже разберём, как устроен парсинг, для каких задач он нужен бизнесу, что говорят о нём Гражданский кодекс и закон о персональных данных, чем парсить в разных ситуациях, почему сбор ломается и как посчитать, окупится ли мониторинг цен.

Что такое парсинг простыми словами

Представьте сотрудника, который каждое утро открывает сайты конкурентов, ищет нужные товары и переписывает цены в таблицу. Парсер делает то же самое, только быстрее и без усталости. Слово пришло от английского parse, «разбирать»: программа разбирает код страницы и достаёт из него нужные кусочки.

Любой парсер проходит пять шагов:

1. Список адресов. Какие страницы открывать: каталог, карточки товаров, результаты поиска.
2. Загрузка страниц. Запрос к сайту с паузами между запросами, чтобы не создавать нагрузку.
3. Извлечение полей. Программа находит на странице название, цену, наличие по заранее заданным правилам.
4. Проверка и очистка. Убрать пустые и странные значения, привести цены к числу, отметить дату сбора.
5. Выгрузка. Таблица, база, CRM или дашборд с мониторингом цен.

Рядом с парсингом часто стоит слово «API». Если у сайта или поставщика есть API или готовый файл выгрузки (например, фид товаров в формате YML или CSV), берите данные оттуда: это законный, стабильный и быстрый способ, который не ломается от смены дизайна.

Для чего бизнесу парсинг

Парсинг нужен там, где данные открыто лежат на чужих сайтах, а собирать их руками долго. Самые частые задачи:

Задача	Какие данные	Как часто обычно собирают
Мониторинг цен конкурентов	Цена, скидка, наличие по вашим позициям	Раз в сутки или реже, ходовые позиции чаще
Каталоги поставщиков	Новые товары, характеристики, остатки	По графику обновления поставщика
SEO-аудит своего сайта	Заголовки, ответы сервера, битые ссылки, дубли	Перед запуском и после крупных изменений
Анализ ассортимента рынка	Какие товары и услуги есть у конкурентов	Раз в месяц или квартал
Отзывы о своей компании	Тексты, оценки, даты на площадках	Раз в день или неделю

Частота стоит денег: чем чаще собираете, тем больше запросов, блокировок и поддержки. Как выбрать частоту для мониторинга цен и не платить за лишнее, подробно разобрано в статье почему парсинг цен работает нестабильно.

Законно ли парсить сайты

Короткий ответ: сбор открытых данных сам по себе не запрещён, но законность зависит от того, что именно вы собираете, в каком объёме и как используете. Ниже то, что прямо написано в законах. Это не юридическая консультация: если задача касается чужой базы целиком или данных о людях, покажите её юристу до запуска.

Права изготовителя базы данных: статья 1334 ГК РФ

Тот, кто вложил существенные затраты в создание базы данных, получает исключительное право извлекать из неё материалы и использовать их. По статье 1334 Гражданского кодекса никто не вправе без разрешения правообладателя извлекать из такой базы материалы и осуществлять их последующее использование. Извлечением закон называет перенос всего содержания базы или существенной части её материалов на другой носитель любыми техническими средствами. Если в базе не меньше десяти тысяч самостоятельных элементов, затраты на её создание считаются существенными, пока не доказано иное.

Каталог крупного интернет-магазина или доски объявлений легко попадает под это описание. Поэтому риск выше, когда вы копируете чужой каталог целиком или большую его часть и публикуете у себя, и ниже, когда собираете цены по своим позициям для внутреннего анализа.

Персональные данные: статья 10.1 закона 152-ФЗ

Имена, телефоны, профили людей это персональные данные, даже если они видны всем. Статья 10.1 закона о персональных данных говорит: если данные стали общедоступными без согласия человека на их распространение, обязанность доказать законность распространения или иной обработки лежит на каждом, кто их распространил или обработал. Для бизнеса вывод простой: не собирайте данные о людях парсером, если у вас нет понятного законного основания.

Правила сайта, robots.txt и нагрузка

Файл robots.txt описывает, какие разделы владелец сайта просит не обходить роботам. Стандарт RFC 9309 прямо говорит, что эти правила не являются механизмом авторизации доступа, то есть технически они ничего не запрещают. Но это ясно выраженная воля владельца, и её стоит соблюдать, как и пользовательское соглашение сайта. Отдельно про нагрузку: частые запросы без пауз мешают работе чужого сайта, а обход капчи, авторизации и других защит выходит за рамки сбора открытых данных. Когда данные нужно переносить через окна программ, помогают программные роботы, они разобраны в статье RPA: что это.

Если парсинг нужен для автоматической реакции на цены конкурентов, есть ещё и антимонопольная сторона вопроса. Она разобрана в статье о мониторинге цен конкурентов и контроле человека.

Чем парсить: четыре варианта

Инструмент выбирают по трём вопросам: сколько страниц, как часто и кто будет чинить сбор, когда сайт-источник поменяется. Переключайте вкладки.

Ситуация	Что подойдёт
Разово собрать данные с одного простого сайта	Облачный сервис или расширение браузера
Проверить свой сайт перед запуском	Программа-краулер для SEO-аудита
Регулярно собирать цены с 5–20 сайтов	Скрипт на Python у своего разработчика или заказной парсер
Данные нужны в CRM, учёте или дашборде каждый день	Заказная разработка с проверками и журналом

Почему парсинг ломается и как сделать его устойчивым

Парсер зависит от чужого сайта, который не обещал вам ничего не менять. Основные причины сбоев:

• Сменилась вёрстка. Цена переехала в другой блок, и парсер молча собирает пустоту.
• Блокировки. Сайт отвечает кодом 429 «слишком много запросов» или показывает проверку на робота.
• Данные подгружаются скриптом. В исходном коде страницы цены нет, она появляется после выполнения JavaScript.
• Разные карточки. У части товаров другая разметка, варианты, цена «от».

Устойчивость дают не хитрые обходы, а проверки: сколько страниц собрано из запланированных, у каждой цены дата сбора, резкий скачок цены перепроверяется, пауза после ответа 429. Сложность сбора сильно зависит от типа сайта-источника, ниже пример оценки.

Что делать с собранными данными

Собрать цены мало, нужно, чтобы ими пользовались. Сырые данные парсера почти всегда требуют трёх доработок:

• Сопоставление товаров. «Дрель X 800 Вт» у конкурента и «Дрель X-800» у вас это одна позиция или нет. Надёжнее всего сопоставлять по артикулу производителя или штрихкоду, а спорные пары подтверждать вручную один раз и хранить в таблице соответствий.
• История. Храните не только текущую цену, но и все прошлые значения с датой сбора. Без истории нельзя понять, это акция на два дня или новая постоянная цена.
• Адресат. Решите заранее, кто смотрит данные и что делает при изменении: категорийный менеджер, закупщик, руководитель продаж. Отчёт, который никто не открывает, это расходы без пользы.

Удобный формат для ежедневной работы: короткая сводка «что изменилось со вчера» по вашим ключевым позициям и экран с историей цен для разбора. Полный дамп каталога конкурента в таблице на десять тысяч строк обычно никто не читает.

Окупится ли мониторинг цен

Парсинг цен окупается, если быстрая реакция на цену конкурента реально удерживает заказы. Проверьте это на своих цифрах: какая доля заказов зависит от цены и какую часть из них вы теряете, когда узнаёте об изменении слишком поздно.

Как заказать парсинг и что прописать в задании

Хорошее задание на парсинг помещается на одну страницу и отвечает на вопросы:

1. Какие сайты и разделы, примеры адресов страниц.
2. Какие поля собирать и в каком виде: цена с учётом скидки или без, наличие, единица измерения.
3. Как сопоставлять товары с вашими: по артикулу, штрихкоду или вручную подтверждённым парам.
4. Как часто собирать и к какому часу данные должны быть готовы.
5. Куда выгружать: таблица, база, CRM, дашборд.
6. Какие проверки обязательны: полнота сбора, дата у каждой записи, оповещение при сбое.
7. Правила: паузы между запросами, соблюдение robots.txt и условий сайтов, без персональных данных.
8. Кто и в какой срок чинит сбор, когда сайт-источник меняется.

Последний пункт самый важный: парсер без поддержки перестаёт работать при первом редизайне источника. Если не хотите держать эту задачу у себя, посмотрите, как устроены услуги парсинга с проверками и дашбордами. Когда собранные данные нужно автоматически передавать в CRM, учёт или на сайт, это уже задача интеграции через API.

Что сделать на этой неделе

• Выпишите, какие данные сотрудники сейчас собирают с чужих сайтов руками и сколько времени на это уходит.
• Проверьте, нет ли у источника API или файла выгрузки: это лучше любого парсера.
• Уберите из задачи всё, что касается данных о людях.
• Для мониторинга цен выберите 50 главных позиций и посчитайте окупаемость на них, прежде чем собирать весь каталог.