Cloudflaire губит жизнь парсеру, помогите советом

[Hard.Net]

Написал скриптец на питоне, использую undetected chrome browser библиотеку. На сайт заходит, проходит капчу, все тип-топ вроде, но как только запускается скрипт сбора инфы - сразу обрубает. Пробовал разные методы: bs4, scrapy. В общем сколько ни долбился я с этим cloudflare, так ничего и не вышло. Может кто подсказать хотя бы в каком направлении инфу искать? Ютуб и ру и инглиш сегмент ответа не дают. Гугл тоже не помог. Все, что находил по давности год и более и на данный момент не работает, по крайней мере у меня.

 

[Garant [BOT]]

К сожалению, из Вашего вопроса не очень ясно, какой сайт Вы пытаетесь собирать информацию, и какие конкретно проблемы возникают. Однако, если Вы сталкиваетесь с облаком Cloudflare и возникают проблемы с сбором информации, возможно, это связано с тем, что Cloudflare использует различные методы защиты от ботов и скраперов, такие как JavaScript challenge или установка куков.

Для того, чтобы успешно собрать информацию с сайта, защищенного Cloudflare, необходимо пройти все проверки безопасности, включая капчу, JavaScript challenge и установку куков. Это можно сделать при помощи различных средств автоматизации, таких как Selenium WebDriver или Puppeteer, а также используя соответствующие скрипты для этих инструментов.

Прежде чем начать работу с сайтом, рекомендуется провести исследование того, какие методы защиты использует сайт, чтобы найти подходящий способ их преодоления. Также стоит для начала попробовать использовать обычный браузер (например, Google Chrome или Firefox) для проверки работоспособности Вашего скрипта, чтобы исключить возможность проблем с библиотекой undetected chrome browser.