Masowy Scraping CEIDG - jak wyciągnąć wszystkie firmy z danej miejscowości? API?

Cześć! Potrzebowałbym masowo przecrawlować Centralną Ewidencję i Informację o Działalności Gospodarczej i wyciągnąć z niej firmy z wybranej miejscowości. Chodzi mi o większą liczbę rekordów, a nie ręczne przeklikiwanie wyszukiwarki CEIDG.

Najlepiej chciałbym pobrać podstawowe dane firm, takie jak nazwa, adres, miejscowość, NIP, REGON, status działalności czy PKD, a później zapisać wszystko np. do CSV albo bazy danych. Zależy mi głównie na możliwości filtrowania po konkretnej miejscowości i automatycznego pobierania kolejnych wyników.

Szukałem jakiegoś oficjalnego API CEIDG, ale informacje na ten temat są dość skąpe i nie mogę znaleźć konkretnej dokumentacji, z której wynikałoby, jak zrobić takie masowe zapytania. Nie wiem też, czy obecnie jest jakieś API dostępne publicznie, czy trzeba najpierw uzyskać dostęp albo założyć jakieś konto dla integratorów.

Jeżeli ktoś już robił coś podobnego, np. pobierał listę firm z CEIDG według miejscowości albo automatycznie budował bazę firm na podstawie danych z rejestru, to będę wdzięczny za wskazówki. Może jest jakieś oficjalne rozwiązanie, o którym po prostu nie trafiłem na odpowiednią dokumentację.

Jeżeli chodzi o większą liczbę rekordów, to zamiast crawlowania samej wyszukiwarki CEIDG poszedłbym w stronę oficjalnego API albo udostępnianych przez CEIDG zbiorów danych. Scraping wyników wyszukiwarki może być bardziej problematyczny, szczególnie jeżeli potrzebujesz regularnie pobierać większe partie danych.

Przy takim zastosowaniu najlepiej sprawdzić możliwość uzyskania dostępu do API dla integratorów. Z tego co kojarzę, można pobierać dane rejestrowe firm i później filtrować je już po swojej stronie, np. po miejscowości, PKD czy statusie działalności. Przy większej bazie zdecydowanie wygodniej będzie zapisać wynik do CSV albo SQL niż za każdym razem odpalać wyszukiwarkę CEIDG.

Jeżeli ktoś ma aktualną dokumentację albo korzystał z API CEIDG w praktyce, też chętnie zobaczę, jak wygląda obecnie kwestia dostępu i limitów.

Cześć @WDK

O ile nie znajdziesz gotowca, to idealnym do tej pracy będzie @Paweł

Gość potrafi wszystko zautomatyzować. Z czystym sumieniem polecam! Tylko nie wygłupiaj się i nie rzucaj budżetu 100-200 zł

Pozdrawiam serdecznie

Jakieś API jest - https://dane.gov.pl/media/resources/20170221/OpisAPINew.pdf

Ale wydaje mi się ze ludzie raczej przez webscrapery to pobierają. 

No ciekawe czy autor tematu nadal potrzebuje tego scrapera po ponad dwóch latach od utworzenia tematu...

2 godziny temu, Ciamciaj napisał:

Jakieś API jest - https://dane.gov.pl/media/resources/20170221/OpisAPINew.pdf

Ale wydaje mi się ze ludzie raczej przez webscrapery to pobierają. 

tyle ze api zezwala na pobrania ale bez maili  u mnie dochodzi mail + tel + www

53 minuty temu, wojci napisał:

No ciekawe czy autor tematu nadal potrzebuje tego scrapera po ponad dwóch latach od utworzenia tematu...

Nawet na date nie popatrzyłem!  Jednak fajnie wyszło, bo popatrz jak po 2 latach ile postów. Na bank komuś się to przyda

CEIDG wprowadzilo limit na jedno API - 100-300 maili badz tel na 24h , uzywajac proxy mozna to obejsc , jednakze czesto zdarzalo sie ze ludzia blokowali token z urzedowego potw. 

Może pomoże? [emoji848] Zamiast scrapować CEIDG....

https://www.leadscrape.com/

https://appsumo.com/products/lead-scrape/

[emoji846]

Dzięki! Po dwóch latach widzę, że można to było zrobić w dużo łatwiejszy sposób  

Ja robiłem coś podobnego, ale nie crawlowałem bezpośrednio wyszukiwarki CEIDG. Przy większej liczbie firm scraping strony jest moim zdaniem średnim rozwiązaniem, bo wystarczy zmiana wyszukiwarki albo jakieś zabezpieczenie i cały skrypt przestaje działać.

Jeżeli potrzebujesz tylko bazy firm z konkretnej miejscowości, to najpierw sprawdziłbym oficjalne źródła danych CEIDG i możliwość pobrania większego zakresu danych. Potem filtrowanie po miejscowości można już zrobić lokalnie, np. prostym skryptem w Pythonie. CSV przy takim zastosowaniu ogarnia temat bez problemu.

Odświeżam temat czy ma ktoś takie narzędzie które scrapuje CDEiG?

Do samego crawlowania wyszukiwarki bym się nie zabierał, jeśli mówimy o dziesiątkach czy setkach tysięcy rekordów. Szkoda czasu na obchodzenie limitów i pilnowanie, żeby scraper się nie wysypał.

CEIDG niby ma rozwiązania do udostępniania danych i możliwe, że właśnie to działa. Jeżeli API nie pozwala filtrować bezpośrednio po miejscowości, można pobrać dane i zrobić filtr już w swojej bazie.

Najwygodniej pewnie zapisywać wszystko do SQL, a dopiero na końcu generować CSV z wybranymi rekordami. Przy większej liczbie firm jest to dużo wygodniejsze niż operowanie bezpośrednio na pliku.