CI/CD com Warehouses no Microsoft Fabric
A Microsoft anunciou o suporte de pipelines de integração e implantação do Fabric Git para data warehouse no Microsoft Fabric! O Warehouse no Microsoft Fabric, construído na evolução do SQL Server, já oferece experiências locais de CI/CD hoje. Este artigo se concentrará em como você pode aproveitar os recursos de CI/CD diretamente na web, bem como integrações opcionais com suas ferramentas favoritas.
A maioria das organizações trabalha em equipes para criar soluções analíticas. Ter uma equipe de desenvolvedores colaborando no mesmo ambiente pode ser desafiador. Desafios como conflitos de código, desvio de esquema, ambientes inconsistentes e erros de implantação podem surgir, impactando a confiabilidade da infraestrutura de dados. Com a introdução desses recursos, os desenvolvedores agora podem criar e manter soluções de armazenamento de forma eficiente de ponta a ponta com controle de origem em uma experiência baseada na web.
Gerenciamento de ciclo de vida de warehouse de ponta a ponta no Microsoft Fabric
Vamos explorar como criar soluções de armazenamento – da integração de código à implantação de código – inteiramente na web, no Microsoft Fabric.
Integração Git para Warehouse (Integração Contínua)
A integração do Git no Microsoft Fabric capacita os desenvolvedores a integrar perfeitamente seus processos de desenvolvimento, ferramentas e melhores práticas diretamente no espaço de trabalho do Microsoft Fabric. Começar é tão fácil quanto alguns cliques. Configure o repositório Git e os detalhes do branch nas configurações do espaço de trabalho para configurar uma conexão.
Isso permite que os desenvolvedores que colaboram em um warehouse:
- Faça backup e versione seu trabalho.
- Retorne aos estágios anteriores conforme necessário.
- Colabore com outras pessoas ou trabalhe sozinho usando branches do Git.
Após confirmar um warehouse em um repositório Git remoto, o esquema do warehouse será exportado em seu formato nativo, representado como um projeto de banco de dados SQL. Como uma experiência SaaS, extraímos e criamos automaticamente um projeto SQL para garantir que seu esquema de warehouse seja expressável em um formato padronizado, acessível, implementável e com código primeiro. Cada objeto no warehouse é representado no Git como um arquivo .sql, mostrado abaixo.
Pipelines de implantação para Warehouse (implantação contínua)
Falamos sobre integrar código, agora vamos discutir como é fácil disponibilizar esse código para usuários finais em produção. Após as alterações de código terem sido finalizadas em ambientes de desenvolvimento, os pipelines de implantação do Fabric permitem que os desenvolvedores de banco de dados automatizem a implantação de alterações de esquema em diferentes estágios, como teste e produção. Isso permite que os desenvolvedores:
- Garanta que o warehouse esteja sempre sincronizado com o código-fonte.
- Verifique e implante alterações de código de forma rápida e confiável.
- Compare esquemas de warehouse em diferentes ambientes.
- Reduza o risco de erros e conflitos que podem surgir de intervenções manuais ou configurações inconsistentes.
Os pipelines de implantação capacitam as equipes a produzir atualizações em ciclos curtos com alta velocidade, frequência e consistência. Alterações de código podem ser promovidas a qualquer momento com um único clique.
Amarrando tudo junto…
Os pipelines de integração e implantação do Git são dois recursos poderosos que trabalham juntos para fornecer integração e entrega contínuas (CI/CD), tudo em uma experiência baseada na Web, para armazéns no Fabric.
- A integração com o Git permite que os desenvolvedores colaborem livremente sem atrapalhar o trabalho de outros membros da equipe usando recursos de controle de versão e ramificação.
- Os pipelines de implantação permitem que os desenvolvedores acelerem e padronizem a entrega do código do warehouse para diferentes estágios, como teste e produção, com intervenção manual mínima
Usar esses recursos juntos permite que os desenvolvedores sincronizem e entreguem seu código de warehouse em diferentes ambientes com facilidade e confiança. Esses recursos se estendem para além do warehouse também, incluindo suporte para outros itens como pipelines, notebooks, relatórios e muito mais.
Automatizando CI/CD com APIs
Levando isso um passo adiante, com APIs, os desenvolvedores podem criar fluxos de trabalho e pipelines automatizados que garantem qualidade, confiabilidade e produtividade para projetos de dados. Amarrando todas as experiências mencionadas acima, aproveite:
- APIs CRUD de warehouse para criar, ler e excluir warehouses.
- SQLPackage para extrair e publicar esquemas de warehouse.
- APIs de integração do Git para conectar, confirmar e atualizar espaços de trabalho de/para o repositório Git remoto.
- APIs de pipelines de implantação para enviar alterações de código para ambientes de desenvolvimento mais avançados, como preparação ou produção.
Usando o controle de origem com ferramentas
Discutimos como ir de ponta a ponta – do check-in do código à implantação do código na produção – em uma experiência baseada na web, mas e quanto ao desenvolvimento em aplicativos clientes?
Sabemos que os desenvolvedores são mais produtivos quando capacitados com a familiaridade e os recursos de suas ferramentas favoritas. Os recursos de controle de origem para o warehouse não estão confinados apenas à experiência da web do Fabric, mas também são integrados em suas ferramentas favoritas. Os desenvolvedores são capacitados com a flexibilidade e os recursos de suas ferramentas enquanto trabalham em seus projetos do Fabric. Vamos mergulhar.
Projetos de banco de dados SQL
Com o suporte do SQL Projects para Warehouse no Microsoft Fabric – disponível dentro do Visual Studio Code e do Azure Data Studio – desenvolver esquemas de warehouse em ferramentas nunca foi tão fácil. Usando o Source Control com o Git no Visual Studio Code , os desenvolvedores podem se conectar ao mesmo repositório Git do workspace do Fabric para:
- Acesse o projeto do banco de dados
- Desenvolver em um ambiente local
- Alterações no código push
dbt com Fabric Warehouse
O dbt também é profundamente integrado com warehouses no Microsoft Fabric. O dbt é uma estrutura de código aberto que simplifica a transformação de dados e a engenharia analítica para seu data warehouse. Os recursos de controle de origem podem ser aproveitados com o dbt usando qualquer provedor Git também. Para usar o dbt com controle de origem, basta conectar seu projeto dbt a um repositório Git remoto . Essa integração permite que você mantenha um histórico bem documentado e versionado dos arquivos do seu projeto.
Arbit: Especialista em Transformar Tecnologia em Valor!
Pode não ser parecer fácil gerar valor para seus dados, mas a Arbit, pode ajudá-lo. Há 25 anos atuando com inteligência de dados, a Arbit possui especialistas para implementar as melhores soluções ao seu ambiente de negócios. Fale conosco agora mesmo
