Described herein is a data collection and warehousing system that collects
log files from a plurality of servers, and that transforms the entries of
the log files prior to using them to populate a database. Nightly, the
system provides a pre-processing program to each of the servers. The
servers executing the pre-processing component to filter the logged data
before sending it on to the data collection and warehousing system. The
data collection and warehousing system pre-parses each received log file
to create dimension and fact tables. During this process, strings are
replaced by keys. These keys are calculated on-the-fly by taking a hash of
each string. The resulting tables are then further parsed to create
further dimension and fact tables that correspond to each of the dimension
and fact tables of a relational database schema. After further processing,
these tables are loaded into a data warehousing system.
Описаны здесь собрание данных и warehousing система собирают архивы журнала от множественности серверов, и которая преобразовывает входы архивов журнала перед использование их заселить базу данных. Nightly, система снабубежит программу препроцессирования каждый из серверов. Серверы исполняя компонент препроцессирования для того чтобы фильтровать внесенные в журнал данные перед посылать его дальше к собранию данных и warehousing системе. Собрание данных и warehousing система пре-pre-parses каждый полученный архив журнала для того чтобы создать таблицы размера и факта. Во время этого процесса, шнуры заменены ключами. Эти ключи высчитаны on-the-fly путем принимать хэш каждого шнура. Приводя к таблицы после этого дальнейшие parsed к создают более дальнейшие таблицы размера и факта соответствуют к каждой из таблиц размера и факта схимы реляционной базы данных. После дальнейшей обработки, эти таблицы нагружены в систему данных warehousing.
