A Caracterização das fontes de dados na escolha de abordagens de integração em ambientes big data

Abstract

A era do Big Data é a consequência inevitável de nossa capacidade de gerar e coletar dados. Por consequência, as fontes de dados apresentam um comportamento mais dinâmico. Neste novo ambiente, o desafio de gerenciar o processo de integração de dados e o tráfego de rede entre as fontes de dados e os sistemas consumidores foi exacerbado pela quantidade de fontes e pelo volume de seu conteúdo, pela variedade de suas estruturas e de seus formatos e pela velocidade de surgimento de novas fontes para consumo. Para enfrentá-los, uma sistemática de escolha e adaptação de abordagens de integração é desenvolvida, utilizando para isso a caracterização das fontes de dados, com o objetivo de minimizar a intervenção humana no processo de integração e reduzir o tráfego nas redes de comunicação que conectam os entes integrados. Esta sistemática é comparada com uma abordagem de materialização das fontes de dados no sistema de integração, utilizando um procedimento inspirado pelo TPC-DI como base para medição.