Устойчивые пайплайны сбора, которые проводят записи сквозь современные анти-бот стены — Kasada, Akamai, hCaptcha — и превращают их в чистые, дедуплицированные структурированные данные, пригодные для бизнеса.
Ценные данные спрятаны за стенами: телефоны открываются только по клику, Kasada проверяет отпечаток браузера ещё до выдачи контента, есть жёсткие лимиты на IP и hCaptcha посреди процесса. Обычный скрипт ловится за секунды — а если и зайдёт, с одного IP можно вытащить лишь немного, дальше сайт начинает прятать данные.
Клиентам нужны были сотни-тысячи свежих записей в день, сразу из нескольких источников, чистых и без дубликатов — а не штучно собранных руками.
Устойчивый пайплайн сбора: зайти незаметно, вытащить в объёме, выйти чистыми структурированными данными.
Обычный Selenium палится мгновенно. Я управляю браузером с настоящим отпечатком через AdsPower (по API) или перекомпилированным Chromedriver с шумом отпечатка и ротацией User-Agent — чтобы Kasada и прочие видели обычного посетителя, а не автоматизацию.
Сайты ограничивают объём с одного IP (например, ~70 показов телефона в сутки). Счётчик следит за лимитом и прямо перед ним поднимает новый браузер, IP и отпечаток — и работа продолжается, сайт не успевает начать прятать данные.
Когда появляется пазл, собственный модуль смотрит на картинку и вычисляет точный сдвиг в пикселях — ~90% точности, квадратные и круглые версии. Готовые сервисы были медленные и дорогие на объёме; позже это легло в основу моего open-source ReadyCaptcha.
Два прохода (дешёвый обход каталога, затем точечный сбор деталей), слой нормализации (чистые цены, коды стран, даты) и трёхуровневая дедупликация — автослияние, слияние с сохранением уникальных полей, ручная разметка для спорного. Записи уходят пакетами прямо в хранилище клиента: Airtable или боевую базу на AWS.
Что я вынесВсе кейсы →Две вещи теперь переношу в каждый проект по сбору данных: дедупликация — это полноценная работа, заложенная с первого дня, а не уборка в конце; и рецепт «невидимого браузера» (настоящий отпечаток + перекомпилированный драйвер + ротация прокси) — мой стандарт для любого сайта с современной защитой.