Pytanie GScraper - mała prędkość

Cześć, korzystam z GScrapera i mam bardzo małą predkość zbierana URL - max 100 na minutę. Ktoś wie jak ją poprawić?

Poczytaj sobie na pio w wątku o gscraperze. Nie wiem czy nawet nowe wersje przypadkiem nie harwestują tylko yahoo. Poza tym jeżeli masz małą prędkość winę upatrywałbym w proxy. Google mocno przycisnęło już śrubę na publiczne. Trzeba ich naprawdę duuuużo. Jakie masz ustawienia? Ile proxy ile wątków?

Poczytaj sobie na pio w wątku o gscraperze. Nie wiem czy nawet nowe wersje przypadkiem nie harwestują tylko yahoo. Poza tym jeżeli masz małą prędkość winę upatrywałbym w proxy. Google mocno przycisnęło już śrubę na publiczne. Trzeba ich naprawdę duuuużo. Jakie masz ustawienia? Ile proxy ile wątków?

50 proxy z proxymarket, 70 wątków

To nie są dobre ustawienia. Najlepiej stosunek 3:1.(Np. chcesz 50 wątków, dajesz 150 proxy). Na 50 proxy nie da się już skutecznie harwestować, szczególnie z proxożernymi footrpintami typu inurl. 100-150 to jest takie kompletne minimum.

Bardzo dużo zależy od footprintów jakich używasz, jezeli będziesz miał footprinty z operatorami wyszukiwania to prędkość spada bardzo mocno. Ta sama sytuacja z proxy, trzeba naprawdę dobrze wybrać do Gscrapera bo szybko idzie je zajechać. Najlepiej taki serwis, który automatycznie co jakiś czas będzie Ci wrzucał do scrapera nowe proxy bo jeżeli będziesz miał ciągle stałe to życzę powodzenia bo spalisz je w chwilę. Ja miałem zmieniane co godzinę, dwie a i tak czasami mialem przestój oczekując na nowe.

Dokładnie jak napisał gelmen. Dużo zależy od footprintów i dobranych keywordów. Zdarzało mi się mieć przy źle dobranych ustawieniach po 50urli/minutę.

Zdecydowanie za mało proxy na taką ilość wątków. A jakich footów uzywasz? Bo to też ma znaczenie