Migração do SQL para o Microsoft Fabric: estratégias amigáveis ​​para iniciantes para uma transição suave

Procurando desbloquear análises no seu SQL Server e integrá-lo perfeitamente com o Power BI para relatórios e insights ricos? Descubra estratégias neste post para migrar seu banco de dados SQL para o Microsoft Fabric, uma plataforma unificada que reúne seus dados e análises sem esforço.

Anteriormente, vários métodos para integração de banco de dados SQL com o Microsoft Fabric foram explorados em detalhes. Para referência, confira estas postagens:

• Microsoft Fabric: Espelhando SQLDB no Fabric
• Exportação de dados e criação de Lakehouse com o Microsoft Fabric
• Copiando dados da instância gerenciada do Azure SQL para o Microsoft Fabric DW usando CETAS por Jovan Popovic
• Um vídeo do YouTube de Guy in a Cube com Bob Ward , que aborda o suporte do SQL 2022 para virtualização de dados.

Para opções de streaming, explore a documentação do Microsoft Fabric Event Streams .

Esses recursos servem como base para esta postagem enquanto nos aprofundamos nas opções disponíveis:

1. Cadernos e Pipelines – Azure SQL DB:

Esta é uma das opções mais básicas e nativas para migrar dados dentro do Fabric. Quanto aos Pipelines, é tão fácil que você pode até usar o Assistant para fazer isso.

No Copy Assistant, por exemplo, você só precisa selecionar SQL Server Database como mostra a Fig 1 – SQL:

No Portal da Microsoft, copie os detalhes do seu Banco de Dados SQL do Azure, conforme mostrado na Fig. 2 – Portal do Azure:

Defina o banco de dados que você irá copiar, dadas as permissões corretas para conectar você deve ter algo como isto, Fig 3 – Conector:

Próximos passos você definirá o destino dentro do Fabric e as tabelas que serão copiadas. Se você estiver tentando copiar todas as tabelas de uma vez (considere o tamanho da tabela em latência antes disso), você tem as opções para copiar tudo e sobrescrever. Se você quiser fazer uma cópia incremental, você anexará os dados e em vez de copiar a tabela inteira. Você precisa definir uma lógica para isso. Como por exemplo, habilite CDC ( O que é captura de dados de alteração (CDC)? – SQL Server | Microsoft Learn ), CDT ( Trabalhar com rastreamento de alterações – SQL Server | Microsoft Learn ) ou algo personalizado que permita rastrear alterações em uma consulta. Observe que, quanto aos Pipelines, você pode usar a opção Consulta, Tabela ou Procedimento Armazenado para fazer a cópia dos seus dados, Fig 4 – Copiar.

Quanto ao notebook o script está aqui ( Data Export and Lakehouse Creation with Microsoft Fabric ), o resultado será um arquivo em formato parquet como mostra a Fig 5 – Arquivo:

No caso de qualquer opção que você escolher para cópias incrementais, você precisará fazer algum trabalho personalizado adicional para rastrear as alterações e enviá-las pelo Fabric.

Observação: se você precisar se conectar ao SQL Server local usando o Microsoft Fabric e Pipelines, consulte este link: Como acessar fontes de dados locais no Data Factory – Microsoft Fabric | Microsoft Learn

2. – CETAS – SQL MI, Synapse (Serveless e DW):

O CETAS é uma maneira bastante prática e fácil de migrar dados para o Microsoft Fabric. Ele será retransmitido no atalho para o ADLS Gen2 como a origem da migração de dados.

Observação: quanto à migração do Synapse, você pode acessar esses links para obter mais informações: microsoft/fabric-migration: scripts e ferramentas para migrar cargas de trabalho do DW e do Spark para o Fabric. (github.com)

Migrando do Azure Synapse Spark para o Fabric – Microsoft Fabric | Microsoft Learn

Como mencionei, você tem este link aqui para referência: Copiando dados da instância gerenciada do Azure SQL para o Microsoft Fabric DW usando CETA

Esta é uma referência sobre como recriar CETAS em um ambiente sem servidor: Como usar CETAS em um pool SQL sem servidor para melhorar o desempenho e recriá-lo automaticamente – Microsoft Community Hub

Aqui está o exemplo simples, este CETAS criado usando o Synapse Serveless, em cima da conta ADLS Gen2, como mostra a Fig. 6 – Serveless:

3 – Espelhar Azure SQL DB

Mencionado aqui neste post: Microsoft Fabric: Espelhando SQLDB no Fabric . É uma das maneiras mais fáceis de migrar os dados com a vantagem de cuidar das alterações incrementais para você, como mostra a Fig. 7 – Espelhamento. Contando com o recurso Change Data Capture para rastreamento, mas sem persistir os dados nas tabelas CDC, é bem fácil de configurar e só tem suporte neste momento para Bancos de Dados SQL do Azure no mesmo locatário do Microsoft Fabric. Também ainda em versão prévia quando este post foi escrito.

4 – Streaming do SQL Server (Azure SQL Database, SQL VM, SQL MI e diferentes opções são suportadas)

Esta é uma opção empolgante e eficaz para transferir dados de fontes como o Azure SQL Database para o Microsoft Fabric. No entanto, não se limita apenas ao Azure SQL — aqui está uma lista de opções atualmente suportadas (em visualização). Visão geral dos fluxos de eventos do Microsoft Fabric – Microsoft Fabric | Microsoft Learn :

Esta opção também depende do CDC; no entanto, você precisará habilitar o CDC você mesmo. Uma vez habilitadas, as tabelas do CDC são criadas, e essas tabelas serão usadas para enviar alterações de dados para o Microsoft Fabric.

De acordo com a documentação ( Adicionar origem do CDC do Banco de Dados SQL do Azure a um fluxo de eventos – Microsoft Fabric | Microsoft Learn ), habilite o CDC em seu ambiente do Banco de Dados SQL do Azure conforme a Fig. 8 – CDC:

Uma vez habilitado, use a opção de visualização para criar o fluxo de eventos no Microsoft Fabric, como mostra a Fig. 9 – EventPreview (Microsoft Fabric Workspace -> Novo item -> Fluxo de eventos):

Conecte-se à Fonte de Dados Externa e aponte para o Azure SQL DB, conforme mostrado na Fig. 10 – AzureSQLDB:

Em seguida, insira o nome da tabela que você habilitou anteriormente o CDC no seu Banco de Dados SQL do Azure, conforme mostra a Fig. 11 – Config:

Após concluir essa configuração, seu SQL Server deve estar conectado ao fluxo com o formato escolhido. Usei JSON e depois o formatei usando Transform Events. Configurei as colunas presentes no payload JSON da seguinte forma, Fig 12 – Format e a Fig 13 – Transform events, mostram:

Depois disso, defina seu destino, você pode até mesmo criar uma nova tabela para armazenar esses dados. Fig 14 – Destinos, mostra:

Publique este evento e verifique os resultados. Mais detalhes aqui: Edite e publique Microsoft Fabric eventstreams – Microsoft Fabric | Microsoft Learn . Fig 15 – Resultados:

Arbit: 25 anos transformando tecnologia em valor

Pode não ser parecer fácil gerar valor para seus dados, mas a Arbit, pode ajudá-lo. Há 25 anos atuando com inteligência de dados, a Arbit possui especialistas para implementar as melhores soluções ao seu ambiente de negócios.  Fale conosco agora mesmo

Fonte: Microsoft