Migração do SQL para o Microsoft Fabric: estratégias amigáveis para iniciantes para uma transição suave
Procurando desbloquear análises no seu SQL Server e integrá-lo perfeitamente com o Power BI para relatórios e insights ricos? Descubra estratégias neste post para migrar seu banco de dados SQL para o Microsoft Fabric, uma plataforma unificada que reúne seus dados e análises sem esforço.
Anteriormente, vários métodos para integração de banco de dados SQL com o Microsoft Fabric foram explorados em detalhes. Para referência, confira estas postagens:
- Microsoft Fabric: Espelhando SQLDB no Fabric
- Exportação de dados e criação de Lakehouse com o Microsoft Fabric
- Copiando dados da instância gerenciada do Azure SQL para o Microsoft Fabric DW usando CETAS por Jovan Popovic
- Um vídeo do YouTube de Guy in a Cube com Bob Ward , que aborda o suporte do SQL 2022 para virtualização de dados.
Para opções de streaming, explore a documentação do Microsoft Fabric Event Streams .
Esses recursos servem como base para esta postagem enquanto nos aprofundamos nas opções disponíveis:
- Cadernos e Pipelines – Azure SQL DB:
Esta é uma das opções mais básicas e nativas para migrar dados dentro do Fabric. Quanto aos Pipelines, é tão fácil que você pode até usar o Assistant para fazer isso.
No Copy Assistant, por exemplo, você só precisa selecionar SQL Server Database como mostra a Fig 1 – SQL:
No Portal da Microsoft, copie os detalhes do seu Banco de Dados SQL do Azure, conforme mostrado na Fig. 2 – Portal do Azure:
Defina o banco de dados que você irá copiar, dadas as permissões corretas para conectar você deve ter algo como isto, Fig 3 – Conector:
Próximos passos você definirá o destino dentro do Fabric e as tabelas que serão copiadas. Se você estiver tentando copiar todas as tabelas de uma vez (considere o tamanho da tabela em latência antes disso), você tem as opções para copiar tudo e sobrescrever. Se você quiser fazer uma cópia incremental, você anexará os dados e em vez de copiar a tabela inteira. Você precisa definir uma lógica para isso. Como por exemplo, habilite CDC ( O que é captura de dados de alteração (CDC)? – SQL Server | Microsoft Learn ), CDT ( Trabalhar com rastreamento de alterações – SQL Server | Microsoft Learn ) ou algo personalizado que permita rastrear alterações em uma consulta. Observe que, quanto aos Pipelines, você pode usar a opção Consulta, Tabela ou Procedimento Armazenado para fazer a cópia dos seus dados, Fig 4 – Copiar.
Quanto ao notebook o script está aqui ( Data Export and Lakehouse Creation with Microsoft Fabric ), o resultado será um arquivo em formato parquet como mostra a Fig 5 – Arquivo:
No caso de qualquer opção que você escolher para cópias incrementais, você precisará fazer algum trabalho personalizado adicional para rastrear as alterações e enviá-las pelo Fabric.
Observação: se você precisar se conectar ao SQL Server local usando o Microsoft Fabric e Pipelines, consulte este link: Como acessar fontes de dados locais no Data Factory – Microsoft Fabric | Microsoft Learn
2. – CETAS – SQL MI, Synapse (Serveless e DW):
O CETAS é uma maneira bastante prática e fácil de migrar dados para o Microsoft Fabric. Ele será retransmitido no atalho para o ADLS Gen2 como a origem da migração de dados.
Observação: quanto à migração do Synapse, você pode acessar esses links para obter mais informações: microsoft/fabric-migration: scripts e ferramentas para migrar cargas de trabalho do DW e do Spark para o Fabric. (github.com)
Migrando do Azure Synapse Spark para o Fabric – Microsoft Fabric | Microsoft Learn
Como mencionei, você tem este link aqui para referência: Copiando dados da instância gerenciada do Azure SQL para o Microsoft Fabric DW usando CETA
Esta é uma referência sobre como recriar CETAS em um ambiente sem servidor: Como usar CETAS em um pool SQL sem servidor para melhorar o desempenho e recriá-lo automaticamente – Microsoft Community Hub
Aqui está o exemplo simples, este CETAS criado usando o Synapse Serveless, em cima da conta ADLS Gen2, como mostra a Fig. 6 – Serveless:
3 – Espelhar Azure SQL DB
Mencionado aqui neste post: Microsoft Fabric: Espelhando SQLDB no Fabric . É uma das maneiras mais fáceis de migrar os dados com a vantagem de cuidar das alterações incrementais para você, como mostra a Fig. 7 – Espelhamento. Contando com o recurso Change Data Capture para rastreamento, mas sem persistir os dados nas tabelas CDC, é bem fácil de configurar e só tem suporte neste momento para Bancos de Dados SQL do Azure no mesmo locatário do Microsoft Fabric. Também ainda em versão prévia quando este post foi escrito.
4 – Streaming do SQL Server (Azure SQL Database, SQL VM, SQL MI e diferentes opções são suportadas)
Esta é uma opção empolgante e eficaz para transferir dados de fontes como o Azure SQL Database para o Microsoft Fabric. No entanto, não se limita apenas ao Azure SQL — aqui está uma lista de opções atualmente suportadas (em visualização). Visão geral dos fluxos de eventos do Microsoft Fabric – Microsoft Fabric | Microsoft Learn :
Esta opção também depende do CDC; no entanto, você precisará habilitar o CDC você mesmo. Uma vez habilitadas, as tabelas do CDC são criadas, e essas tabelas serão usadas para enviar alterações de dados para o Microsoft Fabric.
De acordo com a documentação ( Adicionar origem do CDC do Banco de Dados SQL do Azure a um fluxo de eventos – Microsoft Fabric | Microsoft Learn ), habilite o CDC em seu ambiente do Banco de Dados SQL do Azure conforme a Fig. 8 – CDC:
Uma vez habilitado, use a opção de visualização para criar o fluxo de eventos no Microsoft Fabric, como mostra a Fig. 9 – EventPreview (Microsoft Fabric Workspace -> Novo item -> Fluxo de eventos):
Conecte-se à Fonte de Dados Externa e aponte para o Azure SQL DB, conforme mostrado na Fig. 10 – AzureSQLDB:
Em seguida, insira o nome da tabela que você habilitou anteriormente o CDC no seu Banco de Dados SQL do Azure, conforme mostra a Fig. 11 – Config:
Após concluir essa configuração, seu SQL Server deve estar conectado ao fluxo com o formato escolhido. Usei JSON e depois o formatei usando Transform Events. Configurei as colunas presentes no payload JSON da seguinte forma, Fig 12 – Format e a Fig 13 – Transform events, mostram:
Depois disso, defina seu destino, você pode até mesmo criar uma nova tabela para armazenar esses dados. Fig 14 – Destinos, mostra:
Publique este evento e verifique os resultados. Mais detalhes aqui: Edite e publique Microsoft Fabric eventstreams – Microsoft Fabric | Microsoft Learn . Fig 15 – Resultados:
Arbit: 25 anos transformando tecnologia em valor
Pode não ser parecer fácil gerar valor para seus dados, mas a Arbit, pode ajudá-lo. Há 25 anos atuando com inteligência de dados, a Arbit possui especialistas para implementar as melhores soluções ao seu ambiente de negócios. Fale conosco agora mesmo
Fonte: Microsoft
