Olá pessoal, espero que estejam todos bem!
Hoje vou dar continuidade ao post da semana passada. Vou falar, um pouco mais a fundo, sobre Data Warehouse ou DW.
O Data Warehouse é um sistema de computação que inclui um banco de dados de super-capacidade de armazenamento, de Tera Bytes. Projetado para o processamento de sistema OLAP ele pode armazenar anos e anos de dados que são sumarizados, consolidados, periodicamente atualizados e descritivos. Esses dados não sofrem alteração, pois utilizam um sistema OLAP que como o próprio nome diz, é analítico e as transações de inserção ou exclusão de dados não são possíveis deixando-os somente para leitura.
O DW possibilita o a análise de um grande volume de dados retirados ou importados de um sistema transacional (OLTP).
O armazenamento dos dados é feito em um repositório único e de rápido acesso. Esse repositório pode armazenar dados históricos em sistemas como ERPs (http://pt.wikipedia.org/wiki/ERP) ou CRMs(http://pt.wikipedia.org/wiki/Customer_relationship_management). Quanto mais dados do histórico das operações da empresa, melhor para que a analise das informações reflita o momento da empresa.
A figura abaixo ilustra o ambiente do DW:
Uma parte muito importante de um DW são os metadados, são descritos como “dados sobre dados”. Metadados são informações adicionais necessárias para que os dados se tornem úteis, um conjunto de características sobre os dados que não estão normalmente incluídas nos dados.
Os metadados possuem três diferentes camadas:
· Operacionais
· Centrais
· Nível de Usuário
E três diferentes componentes:
· Mapeamento que descreve como os dados dos sistemas operacionais são transformados antes de entrarem no DW.
· Histórico que descreva as regras a serem utilizadas nos dados corrigindo-os quando as regras de negócio mudam.
· Algoritmos de Sumarização que mostram a relação entre diferentes níveis de detalhes dos dados, indicando também qual nível de sumarização é mais indicado para um dado objeto.
As fontes de metadados podem ser Repositórios de Ferramentas CASE, Documentação de Desenvolvimento de Sistemas Operacionais, Código Fonte do Sistema Operacional, Entrevistas e até o próprio Data Warehouse em informações como frequência de acesso ou tempo de resposta de cada consulta.
Característica de um Data Warehouse:
· Orientação por Assunto
· Integração
· Variação no Tempo
· Não volátil
Orientação por Assunto:
Um DW sempre armazena as informações de acordo com um assunto ou tema para que cada setor da empresa possa consultá-lo obtendo somente as informações importantes para aquele determinado negócio.
Por exemplo, se uma empresa trabalha com vendas de produtos e deseja saber o perfil dos compradores ou clientes, então o DW será voltado para quem compra e não para seus produtos em si.
Integração:
A integração deve ser feita para evitarmos que um mesmo elemento em tabelas diferentes tenha nomes distintos. No DW esses dados precisam estar na mesma escala, ou nomenclatura.
Variação no Tempo:
Os dados em um DW dizem respeito a um período específico no
tempo e não podem ser alterados. De fato caso haja algum dado que necessite de
alteração é feita uma nova entrada de dados para que a alteração, que foi
efetuada no banco de dados fonte operacional, seja registrada.
Não volatilidade:
Após a integração, transformação e inserção dos dados o DW os organiza em blocos para facilitar o acesso.
Arquitetura de um Data Warehouse:
O DW possui algumas arquiteturas e camadas das quais fazem parte as seguintes:
A camada de aquisição de informação é responsável por reunir, refinar, limpar e agregar os dados dos sistemas de produção. O dado deve estar correto e prover um único significado para a tomada de decisão, a camada de armazenamento da informação provê o armazém da informação enquanto a camada de disponibilização da informação suporta o conjunto de ferramentas de apresentação e analise.
Existe uma arquitetura, de Cahaudhuri, que possui dois componentes
o Componente de Back End e o Componente de Front End.
· Componente de Back End: É o conjunto de aplicações responsáveis por extrair, filtrar, transformar, integrar e carregar os dados de diferentes origens.
· Componente de Fronte End: É o conjunto de aplicações responsável por disponibilizar aos usuários finais acesso ao DW.
Fluxo mais comum:
E é isso, o básico sobre um DW. Obrigado por visitarem o blog e até o próximo post.
Bibliografia:
Nenhum comentário:
Postar um comentário