Dataflows: Oito anos de Gen1 — e por que Gen2 é o futuro.
- O Dataflow Gen1 continua sendo suportado , mas está em um estado legado e não receberá inovações futuras . Entendemos que muitos clientes desenvolveram soluções importantes e críticas para seus negócios com base no Gen1, e essas cargas de trabalho existentes podem continuar sendo executadas enquanto os investimentos futuros são planejados para o Dataflow Gen2.
- Chamada principal à ação para clientes Premium : Para clientes Premium que já têm acesso ao Fabric, o Dataflow Gen2 é o caminho recomendado para aproveitar as melhorias mais recentes em funcionalidade, produtividade, desempenho, preço, escalabilidade, confiabilidade e muito mais. Muitas equipes consideram útil começar avaliando o Gen2 para cargas de trabalho novas ou em evolução, onde esses benefícios podem ser percebidos rapidamente.
- Orientações para clientes Pro e Premium por Usuário (PPU) : Muitos clientes já utilizam o Dataflow Gen1 nos planos Pro/PPU, e ele pode continuar sendo a escolha certa, dependendo do cenário. Se o Gen1 melhor se adequa ao seu caso de uso atual, ele continuará sendo suportado e as cargas de trabalho existentes poderão continuar sendo executadas normalmente. À medida que introduzirmos novas opções para o Dataflow Gen2 nos cenários Pro/PPU, compartilharemos orientações claras e etapas recomendadas para ajudar em uma transição tranquila.
- Suporte a GCC para clientes Premium : Para clientes que utilizam Dataflows Gen1 em ambientes GCC no plano Premium, o suporte a Dataflow Gen2 em GCC estará disponível antes de quaisquer marcos de transição futuros , garantindo um caminho de atualização com suporte.
Controles de Fabric mais granulares : Os clientes solicitaram uma habilitação mais granular do que a atual configuração ” tudo ounada ” do Fabric. Estamos trabalhando para fornecer controles administrativos mais granulares , incluindo a capacidade de habilitar apenas o Dataflow Gen2 , para que os recursos possam ser implementados incrementalmente com a governança adequada.
Por mais de oito anos, os clientes têm confiado nos Fluxos de Dados do Power BI (Gen1) como parte essencial de suas soluções de análise. A Microsoft agradecce a confiança que depositaram na experiência do Power Query para criar pipelines de preparação de dados reutilizáveis e com pouco código, que impulsionam relatórios, modelos semânticos e análises subsequentes.
Agora, estamos compartilhando uma atualização sobre o futuro dos Dataflows.
O Dataflows Gen2 baseia-se em tudo o que você já conhece do Gen1 — preservando a familiar experiência de criação do Power Query — e, ao mesmo tempo, oferece melhorias significativas em escalabilidade, flexibilidade, custo-benefício e gerenciamento. Daqui para frente, todas as novas inovações do Dataflow estarão disponíveis apenas no Dataflows Gen2 .
O futuro do Dataflows Gen1
O Power BI Dataflows Gen1 chegou ao fim de sua fase de inovação ativa e está entrando em um estado legado :
- Os fluxos de dados Gen1 existentes continuarão funcionando por tempo indeterminado. No entanto, as datas específicas de desativação do Gen1 ainda estão sendo definidas e compartilharemos os detalhes conforme o planejamento avançar. Para clientes que utilizam o Gen1 com capacidade Premium , avisaremos com pelo menos 12 meses de antecedência sobre a desativação do Dataflow Gen1. (Se você utiliza o Gen1 nos planos Pro ou Premium-Peruser , ainda recomendamos fortemente que planeje a migração para o Dataflow Gen2 para aproveitar os recursos mais recentes.)
- Entretanto, os artefatos de primeira geração continuarão disponíveis e serão claramente identificados como “Legado” nas experiências do produto, incluindo o menu “Novo Artefato” .
- Não há novos recursos planejados para o Dataflows Gen1. O suporte será limitado a um conjunto restrito de problemas de alto impacto, nos quais as alterações podem ser implementadas com segurança dentro da arquitetura existente. Muitas das limitações restantes do Gen1 exigiriam mudanças significativas na arquitetura e são melhor resolvidas com a migração para o Dataflows Gen2, que foi projetado para solucionar esses cenários de forma mais abrangente.
As afirmações anteriores aplicam-se a todos os Dataflows Gen1 — incluindo a utilização nas licenças Pro, PPU e Premium .
O que há de novo no Dataflows Gen2?
O Dataflows Gen2 mantém a experiência familiar do Power Query, ao mesmo tempo que introduz melhorias substanciais a nível da plataforma em termos de escalabilidade, desempenho, governança e eficiência de custos. As atualizações seguintes fornecem detalhes adicionais sobre cada área de benefício para ajudar os clientes a compreender o âmbito total das melhorias do Gen2.
Destinos mais flexíveis
O Dataflows Gen2 suporta uma gama significativamente mais ampla de destinos de saída, permitindo o alinhamento com diversas arquiteturas de dados em cenários de negócios, departamentais e corporativos.
- O SharePoint e o OneDrive são ideais para usuários corporativos que precisam de arquivos atualizados (CSV, Excel) para fluxos de trabalho subsequentes, automação do Office ou integrações com o Power Automate e o Teams.
- O Azure Data Lake Storage é uma ótima opção para clientes que estão criando pipelines de ingestão escaláveis para ciência de dados, aprendizado de máquina ou cenários de data lake.
- O Banco de Dados SQL do Azure / SQL MI permite a geração de relatórios operacionais, o armazenamento relacional padronizado e cenários de análise híbrida.
- Os endpoints de análise do Microsoft Fabric Lakehouse/Warehouse/SQL são a opção de destino mais integrada para clientes que se alinham à visão do Fabric. A segunda geração (Gen2) integra-se profundamente aos runtimes do Fabric, proporcionando melhor desempenho, semântica mais consistente e alinhamento de governança.
- O Snowflake e outros bancos de dados em nuvem oferecem suporte a arquiteturas multicloud e reduzem a fricção para clientes corporativos que já padronizaram o uso de diversas tecnologias de armazenamento de dados.
Essa gama mais ampla de destinos permite que as equipes usem fluxos de dados como uma camada de ingestão e transformação de dados de baixo código e de uso geral , possibilitando muito mais cenários nunca antes suportados pelo Dataflow Gen1.
Desempenho e escala aprimorados
O Dataflows Gen2 é construído sobre o runtime do Fabric e um mecanismo de execução modernizado que oferece uma mudança radical em desempenho, confiabilidade e escalabilidade.
- A avaliação moderna de consultas aproveita a camada de computação elástica do Fabric para gerenciar automaticamente o comportamento de escalabilidade, minimizando a necessidade de otimização manual ou ajuste de carga de trabalho.
- A tecnologia Fast Copy suporta a ingestão de alto rendimento em destinos Fabric, permitindo a movimentação contínua de dados medida em gigabytes por minuto.
- A execução paralela permite que várias partições e etapas de transformação sejam processadas simultaneamente, reduzindo significativamente os tempos de atualização em comparação com a Geração 1.
- O suporte aprimorado para grandes conjuntos de dados inclui melhorias no gerenciamento de memória, processamento de dados de alta cardinalidade e padrões de ingestão ilimitados.
- O comportamento de atualização previsível garante um desempenho mais consistente sob diferentes condições de carga de trabalho.
Em conjunto, essas melhorias estabelecem um mecanismo mais robusto e de alto desempenho para preparação de dados, especialmente em ambientes corporativos que dependem de fluxos de dados grandes ou frequentemente atualizados.
Assistência de IA integrada
O Dataflows Gen2 introduz recursos integrados de IA projetados para acelerar o desenvolvimento, melhorar a qualidade e reduzir a curva de aprendizado para usuários que trabalham com transformações complexas.
- A criação assistida por copiloto converte instruções em linguagem natural em lógica do Power Query, melhorando a produtividade e reduzindo as barreiras de entrada para usuários com conhecimento limitado em M.
- Os recursos de explicação de código traduzem scripts M complexos ou legados em descrições em linguagem natural fáceis de entender, melhorando a manutenção e simplificando a integração de novos usuários.
- Recomendações automatizadas de desempenho e compatibilidade ajudam os usuários a alinhar as transformações a padrões de dobragem, resultando em tempos de carregamento mais rápidos e menor consumo de poder computacional.
- As análises de qualidade de dados baseadas em IA auxiliam na identificação de tipos semânticos, valores discrepantes e chaves de junção, além de detectar problemas comuns nos dados logo no início do processo.
Essas funcionalidades oferecem orientação consistente ao longo de todo o ciclo de criação e dão suporte a organizações com diversos níveis de habilidade.
Diagnósticos mais completos
A segunda geração (Gen2) introduz um conjunto mais abrangente de diagnósticos, projetado para melhorar a rastreabilidade, a resolução de problemas e a confiabilidade operacional.
- O histórico detalhado de atualizações agora inclui informações de tempo detalhadas para esclarecer onde o tempo é gasto durante a execução.
- O registro e a instrumentação expandidos proporcionam visibilidade às decisões de dobrabilidade, aos comportamentos dos conectores, aos fluxos de autenticação e às operações de rede.
- Uma semântica de atualização mais consistente em todos os destinos garante um comportamento uniforme, independentemente do sistema de armazenamento de destino.
- Uma maior transparência operacional facilita a análise da causa raiz e reduz o tempo necessário para identificar e resolver falhas.
Essas melhorias no diagnóstico ajudam as equipes a gerenciar fluxos de dados com mais eficiência e a manter níveis mais altos de prontidão operacional.
Preços escalonados e potencial redução de custos
A introdução de um modelo de preços escalonado é uma grande vantagem para os clientes que estão migrando da Geração 1.
- A Gen2 desacopla a execução de Dataflows do consumo de capacidade Premium, alinhando o uso de computação com a arquitetura baseada em unidades de capacidade (CU) do Fabric.
- Este modelo permite que os clientes paguem apenas pelos recursos de computação necessários, em vez de manter uma capacidade Premium sempre ativa para cargas de trabalho que podem ser intermitentes ou variáveis.
- O dimensionamento elástico garante que cargas de trabalho de alto volume ou com picos de demanda possam consumir proporcionalmente mais poder computacional durante os horários de pico, enquanto cargas de trabalho mais leves incorrem em custos menores.
- Organizações com padrões de atualização imprevisíveis ou sazonais podem observar reduções significativas de custos em comparação com a Geração 1 operando com capacidade Premium.
Este modelo de custos flexível proporciona uma utilização de recursos mais previsível e eficiente, especialmente para empresas com padrões de atualização de dados diversos ou em rápida evolução.
Nossa recomendação: Comece a planejar sua atualização.
Se você estiver iniciando um novo projeto, recomendamos fortemente o uso do Dataflows Gen2 . Ele oferece melhor desempenho, diagnósticos mais completos, IA integrada, suporte a uma gama maior de destinos e um modelo de custos mais flexível.
Para fluxos de dados Gen1 existentes, agora é o momento certo para começar a planejar sua atualização :
- Use a opção Salvar como Fluxo de Dados Gen2 para atualizações rápidas e fáceis de fluxos de dados individuais.
- Para cenários de migração em larga escala, a API “Salvar como” permite a migração em massa e a automação , com suporte a fluxos de trabalho de CI/CD.
- Para atualizações programáticas ou em larga escala, consulte o guia Migrar para o Dataflow Gen2 (CI/CD) .
Começar agora permite que você modernize gradualmente, começando com um subconjunto do seu portfólio, mantendo todas as suas habilidades em Power Query totalmente transferíveis.
Arbit: 27 anos transformando tecnologia em valor
Pode não ser parecer fácil gerar valor para seus dados, mas a Arbit, pode ajudá-lo. Há 27 anos atuando com inteligência de dados, a Arbit possui especialistas para implementar as melhores soluções ao seu ambiente de negócios. Fale conosco agora mesmo

