A method and system for retrieving web-site based information by a spider engine at a target bandwidth is described. A target band width is received from the spider engine. A wait time is calculated by a timing module. Data retrieval from a web site is delayed by the calculated wait time so that data is retrieved at the desired target bandwidth.

Eine Methode und ein System für das Zurückholen der Web site gegründeten Informationen durch eine Spinne Maschine an einer Zielbandbreite wird beschrieben. Eine Zielbandbreite wird von der Spinne Maschine empfangen. Eine Wartezeitzeit wird durch ein TIMING-Modul errechnet. Datenwiederherstellung von einer Web site wird bis zum der errechneten Wartezeitzeit verzögert, damit Daten an der gewünschten Zielbandbreite zurückgeholt werden.