Method and apparatus with data partitioning and parallel processing for transporting data for data warehousing applications

   
   

A method and apparatus for transporting data for a data warehouse application is described. The data from an operational data store (the source database) is organized in non-overlapping data partitions. Separate execution threads read the data from the operational data store concurrently. This is followed by concurrent transformation of the data in multiple execution threads. Finally, the data is loaded into the target data warehouse concurrently using multiple execution threads. By using multiple execution threads, the data contention is reduced. Thereby the apparatus and method of the present invention achieves increased throughput.

Μια μέθοδος και μια συσκευή για τα στοιχεία για μια εφαρμογή αποθηκών εμπορευμάτων στοιχείων περιγράφονται. Το στοιχείο από ένα λειτουργικό κατάστημα στοιχείων (η βάση δεδομένων πηγής) οργανώνεται στα μη-επικαλύπτοντας χωρίσματα στοιχείων. Τα χωριστά νήματα εκτέλεσης διαβάζουν τα στοιχεία από το λειτουργικό κατάστημα στοιχείων ταυτόχρονα. Αυτό ακολουθείται από τον ταυτόχρονο μετασχηματισμό των στοιχείων στα πολλαπλάσια νήματα εκτέλεσης. Τέλος, το στοιχείο φορτώνεται στην αποθήκη εμπορευμάτων στοιχείων στόχων χρησιμοποιώντας ταυτόχρονα τα πολλαπλάσια νήματα εκτέλεσης. Με τη χρησιμοποίηση των πολλαπλάσιων νημάτων εκτέλεσης, ο ισχυρισμός στοιχείων μειώνεται. Με αυτόν τον τρόπο η συσκευή και η μέθοδος της παρούσας εφεύρεσης επιτυγχάνουν την αυξανόμενη ρυθμοαπόδοση.

 
Web www.patentalert.com

< Method and apparatus to facilitate testing of garbage collection implementations

< Method and system for caching virus-free file certificates

> Method and system for modifying mail rules

> Preemptive memory-block splitting

~ 00161