Comece rapidamente a usar modelos no Azure Data Factory

Conheça os anúncios da Microsoft para o Azure Data Factory:

A integração de dados em nuvem ajuda as organizações a integrar dados de várias formas e unificar processos complexos em um ambiente de dados híbrido. Muitas vezes, organizações diferentes têm necessidades de integração de dados semelhantes e exigem processos de negócios repetidos. Os engenheiros de dados ou desenvolvedores de dados nessas organizações desejam começar rapidamente a criar soluções de integração de dados e evitar criar os mesmos fluxos de trabalho repetidamente.

Pipelines no Azure Data Factory

A Microsoft anunciou o suporte para modelos no Azure Data Factory (ADF) para começar rapidamente a criar pipelines de data factory e melhorar a produtividade do desenvolvedor, além de reduzir o tempo de desenvolvimento para processos repetidos. O recurso de modelo permite uma ‘galeria de modelos’ para nossos clientes que contém modelos baseados em casos de uso, modelos de movimentação de dados, modelos SSIS ou modelos de transformação que você pode usar para praticar a construção de seus pipelines de fábrica de dados. Basta clicar em Create pipeline from template na página Overview ou clicar em +-> Pipeline from template na página Author em seu data factory UX para começar.

Selecione qualquer modelo da galeria e forneça as entradas necessárias para usar o modelo. Você também pode ler a descrição detalhada sobre o modelo ou visualizar o pipeline de fábrica de dados de ponta a ponta.

Você também pode criar novas conexões com seu armazenamento de dados ou computação enquanto fornece as entradas do modelo.

Depois de clicar em Usar este modelo, você será direcionado para a saída de validação do modelo. Isso orienta você a preencher as propriedades necessárias para publicar e executar o pipeline criado a partir do modelo.

Além de usar modelos prontos da galeria de modelos, você também pode querer salvar seus pipelines existentes como modelos. Isso pode ser necessário se diferentes unidades de negócios dentro de sua organização quiserem usar o mesmo pipeline, mas com entradas diferentes. O recurso de modelos na fábrica de dados também permite que você salve seus pipelines existentes como modelos.

A capacidade de salvar seu pipeline como um modelo exige que você habilite a integração do GIT (Azure Dev Ops GIT ou GitHub) em seu data factory.

O modelo é salvo em seu repositório GIT na pasta de modelos.

O modelo agora está visível para qualquer pessoa que tenha acesso ao seu repositório GIT. Este modelo pode ser visto na seção Modelos do explorador de recursos.

Você também pode ver o modelo na seção Meus modelos na galeria de modelos.

Salvar o modelo no repositório Git gera dois arquivos. Ele gera um modelo ARM junto com um arquivo de manifesto que é salvo em seu repositório Git. O modelo ARM contém todas as informações sobre seu pipeline de fábrica de dados, incluindo atividades de pipeline, serviços vinculados, conjuntos de dados, etc. O arquivo de manifesto contém informações sobre a descrição do modelo, autor do modelo, ícones de bloco de modelo e outros metadados sobre o modelo.

Todos os modelos ARM e arquivos de manifesto para os modelos oficiais prontos para uso fornecidos na Galeria de modelos podem ser vistos no local oficial do GitHub do data factory. No futuro, trabalharemos com nossos parceiros para criar um processo de certificação em que qualquer pessoa pode enviar um modelo que deseja habilitar na Galeria de modelos. A equipe de data factory certificará se a solicitação correspondente ao modelo enviado e disponibilizará o modelo enviado na galeria de modelos.

Comece hoje

O objetivo da Microsoft é continuar adicionando recursos para melhorar a usabilidade das ferramentas do Data Factory. Comece a criar pipelines com facilidade e rapidez usando o Azure Data Factory.

E se precisar de ajudar, fale com os especialistas Arbit nós estamos aqui para apoiá-lo ao longo de sua jornada!