A system and a method for performing partitioned scanning of a dataset for
malware in a distributed computing environment is disclosed. A dataset is
maintained in a plurality of structured databases in the distributed
computing environment. Each database stores a plurality of data item
groups which each include a plurality of individual data items. Each such
data item is uniquely identified within the dataset by a data item
identifier. A set of indices is stored in a centralized database. The set
of indices includes a list of scanned data item identifiers for each data
item within the dataset scanned for malware and a list of last entry
numbers for each data item group stored in each database. Each last entry
number corresponds to one such data item within the data item group last
scanned for malware. A plurality of malware scanners are executed in
substantial concurrency. For each malware scanner, one such database and
each such data item group within the selected database having data items
not appearing in the list of last entry numbers are selected. Each such
data item having a data item identifier not appearing in the list of
scanned data item identifiers is obtained. Each such obtained data item is
scanned for malware.
Ein System und eine Methode für das Durchführen der verteilten Abtastung eines Datensatzes für malware in einem Distributed Computing Environment wird freigegeben. Ein Datensatz wird in einer Mehrzahl der strukturierten Datenbanken im Distributed Computing Environment beibehalten. Jede Datenbank speichert eine Mehrzahl der Datenelementgruppen, denen jede eine Mehrzahl der einzelnen Datenelemente einschließen. Jedes solche Datenelement wird einzigartig innerhalb des Datensatzes durch einen Datenelementbezeichner gekennzeichnet. Ein Satz Indizes wird in einer zentralisierten Datenbank gespeichert. Der Satz von Indizes schließt eine Liste der abgelichteten Datenelementbezeichner für jedes Datenelement innerhalb des Datensatzes ein, der auf malware abgelichtet wird und eine Liste der letzten Eintragung Zahlen für jede Datenelementgruppe, die in jeder Datenbank gespeichert wird. Jede letzte Eintragung Zahl entspricht einem solchen Datenelement innerhalb der Datenelementgruppe, die zuletzt auf malware abgelichtet wird. Eine Mehrzahl der malware Scanner werden in der erheblichen Parallelität durchgeführt. Für jeden malware Scanner werden eine solche Datenbank und jede solche Datenelementgruppe innerhalb der vorgewählten Datenbank, die Datenelemente nicht hat zu erscheinen in der Liste der letzten Eintragung Zahlen, vorgewählt. Jedes solche Datenelement, das einen Datenelementbezeichner nicht hat zu erscheinen in der Liste der abgelichteten Datenelementbezeichner, wird erhalten. Jedes solche erhaltene Datenelement wird auf malware abgelichtet.
