Питхон Веб Сцрапинг у 2026: хттпк + БеаутифулСоуп + Драматург — Када користити који
Већина туторијала „Питхон веб сцрапинг“ из 2018. и даље препоручује захтеви + БеаутифулСоуп. Део са захтевима је у реду, али сада постоје боље подразумеване вредности, а половина модерног веба приказује садржај у ЈаваСцрипт-у, тако да класични стек нечујно враћа празне странице.
Овај водич покрива стабло одлучивања за 2026.: када је хттпк + БеаутифулСоуп у праву (и даље 90%+ сајтова), када треба посегнути за Плаивригхт-ом, како да избегнете блокирање и два правила која држе ваш скрапер и легалним и етичким.
Стабло одлучивања у једној слици
То је то. Деведесет посто задатака сцрапинга је статички ХТМЛ — класични стек (преименован) је прави алат. Осталима је потребно ЈС извршење и Драмски писац је модеран одговор.
Корак 1: хттпк + БеаутифулСоуп (90% случаја)
хттпк је допунска замена за захтеве. Исти АПИ, плус ХТТП/2 подршка и изворна асинхронизација. БеаутифулСоуп је непромењен у односу на 2015 — избор парсера је битан (лкмл је 5к бржи од подразумеваног).
Кључни избори:
- `хеадерс={"Усер-Агент": ...}` — увек поставите прави УА (адреса за контакт је љубазна). Подразумевани
хттпкУА је често блокиран. - `тимеоут=10` — никада не постављајте неограничен захтев; дескриптори датотека цурења везаних веза.
- `раисе_фор_статус()` — повећава на 4кк/5кк тако да су кварови гласни, а не тихи.
- `"лкмл"` парсер — 5к бржи од подразумеваног
хтмл.парсер, и више опрашта са неисправним ХТМЛ-ом. - `соуп.селецт("цсс-селецтор")` — третирајте стругање као "претварајте се да користите ЈаваСцрипт-ов
доцумент.куериСелецторАлл". ЦСС селектори су обично оно што желите, а не АПИ за ходање по дрвећу.
Корак 2: Драмски писац (када ЈС приказује садржај)
Многи модерни СПА-ови (Реацт, Вуе, Ангулар) испоручују празан <див ид="роот"> и хидрирају све на страни клијента. хттпк.гет вам даје празну љуску — подаци које желите се учитавају преко фетцх након учитавања странице.
Тест: хттпк.гет(урл).тект — потражите податке које желите. Ако га нема, сајту је потребно ЈС извршење.
Инсталирај: пип инсталл плаивригхт && плаивригхт инсталл цхромиум (преузимање претраживача је ~150МБ — вреди једном, болно при сваком покретању ЦИ без кеширања).
Цена: Плаивригхт је 10-50 пута спорији од хттпк (учитавање странице + извршавање ЈС-а + трошкови прегледача). Посегните за њим само када подаци нису у статичком ХТМЛ-у.
Четири начина да будете блокирани
Већина система против стругања прати ова четири отиска прста:
1. Недостаје / очигледан кориснички агент
2. Нема кашњења између захтева
Необрађени секвенцијални захтеви ударају на сервер. Додајте кашњење пропорционално њиховом времену одговора — ако страници треба 500 мс да се прикаже, сачекајте 500-2000 мс између захтева. асинцио.слееп(рандом.униформ(0.5, 2.0)).
3. Захтевање /роботс.ткт недозвољених путања
Неки сајтови користе роботс.ткт за легитимне сигнале стопе — проверите пре него што кренете:
4. ТЛС / неподударање отиска прста претраживача
Напредни анти-сцрапинг (Цлоудфларе, ДатаДоме) отисак прста вашег ТЛС руковања и ЈС окружења. хттпк не личи на Цхроме на ТЛС слоју. Опције:
цурл_цффи— библиотека заснована на цурл-имперсонате која имитира прави ТЛС претраживача.- Драматург — прави ТЛС претраживач по дефиницији.
- Ротирајте стамбене проксије — нуклеарна опција.
За 99% случајева коришћења (не-непријатељске локације, умерени обим, није потребна пријава), довољно је поштовање хттпк + прави УА + кашњење + роботс.ткт. Ако скупљате сајтове заштићене Цлоудфлареом, потребни су вам прави претраживачи или плаћени сервиси за деблокирање.
Ограничите себе (семафор + образац спавања)
За масовно сцрапинг, комбинујте „асинцио.Семапхоре“ (макс. истовремено) са „асинцио.слееп“ (кашњење по захтеву):
Ограничавање на 5-10 истовремено + 500мс-2с кашњења по захтеву држи вас знатно испод онога што покреће аларме за ограничење брзине на већини сајтова.
Правна + етичка правила
1. Прочитајте Услове коришћења услуге на сајту. Многи потпуно забрањују скрапинг — и даље то можете да урадите (ТоС је уговорно право, а не кривично право у већини јурисдикција), али преузимате правни ризик. ЛинкедИн против хиК (2022) утврдио је да стругање јавно видљивих података није кршење ЦАФА у САД, али ношење дуксерице вас не чини невидљивим.
2. Не бриши личне податке. ГДПР / ЦЦПА / све остало кажњава прикупљање личних података без сагласности. Ако правите скуп података „запослених у компанији Кс“, престаните.
Етичке додатке сви заборављају:
- Пошаљите праву контакт адресу у своју УА. Ако ваш бот прави проблеме, власник сајта би требало да може да вам пошаље е-пошту.
- Ако кеширате податке сајта, кеширајте агресивно — немојте ударати њихове сервере при сваком покретању.
– Преферирајте јавне АПИ-је чак и ако су плаћени. Јефтиније од правног ризика.
Резиме алата за 2026
| Задатак | Посегните за |
|---|---|
| Статичне ХТМЛ странице | хттпк + БеаутифулСоуп(хтмл, "лкмл") |
| ЈС-рендеред СПА | Плаивригхт (Цхромиум без главе) |
| Цлоудфларе / анти-бот | цурл_цффи или драматург + стамбени прокси |
| Сцрапинг великог обима | хттпк.АсинцЦлиент + Семафор + спавање |
| Структурирани АПИ подаци | хттпк.гет + .јсон() — није потребна супа |
Скрапинг веба у 2026. је 90% и даље хттпк + БеаутифулСоуп, плус знање када треба да се пређе на прави претраживач. Савладајте навике љубазног стругања (прави УА, семафор, спавање, роботс.ткт) и изградићете трајне цевоводе података без блокирања или тужбе.
Следећи корак: Дата Сциенце трацк има 15 лекција о сцрапингу, ЕТЛ-у и пандама — изградићете прави цевовод од краја до краја од ХТТП преузимања до ДатаФраме-а до ЦСВ извоза.