Znajdź zawartość

Witam, zescrapowałem własną listę articles do GSA, ale nie mam pojęcia jak ją przefiltrować, tak żeby wyrzucić domeny najbardziej zaspamowane. Starałem się rozgryźć jak bulkiem rozpoznać za pomocą różnych statystyk domenę niezaspamowaną, ale efekty mizerne. Głównie porównywałem między sobą domeny zaspamowane i nie zaspamowane i patrzyłem np na: liczbe zaindeksowanych stron, liczbe świeżo zaindeksowanych stron, linki przychodzące i wychodzące, TF, CF i sporo innych. Wiadomo, że łatwo to można zrobić po anchorach, tyle że ręcznie... Jakieś tipy? Może po bad words, trafficu albo czymś jeszcze innym?

Witam Znacie może jakiś prosty programik do usuwania duplikatów domen z listy? Zazwyczaj robię to SB, ale przy częstych harwestech na róznych vps mało wygodne staje się przenoszenie listy tylko dla usinięcia duplikatów domen. bedę wdzieczny za pomoc