Jeżeli chodzi o większą liczbę rekordów, to zamiast crawlowania samej wyszukiwarki CEIDG poszedłbym w stronę oficjalnego API albo udostępnianych przez CEIDG zbiorów danych. Scraping wyników wyszukiwarki może być bardziej problematyczny, szczególnie jeżeli potrzebujesz regularnie pobierać większe partie danych.
Przy takim zastosowaniu najlepiej sprawdzić możliwość uzyskania dostępu do API dla integratorów. Z tego co kojarzę, można pobierać dane rejestrowe firm i później filtrować je już po swojej stronie, np. po miejscowości, PKD czy statusie działalności. Przy większej bazie zdecydowanie wygodniej będzie zapisać wynik do CSV albo SQL niż za każdym razem odpalać wyszukiwarkę CEIDG.
Jeżeli ktoś ma aktualną dokumentację albo korzystał z API CEIDG w praktyce, też chętnie zobaczę, jak wygląda obecnie kwestia dostępu i limitów.