Overview

Este curso abrangente guia você pelo mundo do Change Data Capture (CDC) utilizando PySpark no ambiente Databricks. Começamos construindo as fundações com a criação de classes CDC personalizadas, permitindo que você capture e processe mudanças em seus dados de forma eficiente. Em seguida, evoluímos para a integração com Delta Lake, explorando como esta tecnologia potencializa suas implementações CDC com recursos avançados de controle de versão, transações ACID e otimização de consultas.Ao longo da jornada, você aprenderá a projetar, implementar e migrar soluções CDC robustas, transformando seus pipelines de dados em sistemas escaláveis e confiáveis. Este curso é ideal para engenheiros de dados e desenvolvedores que buscam dominar técnicas modernas de captura e processamento de mudanças em ambientes distribuídos.Além disso, o conteúdo aborda boas práticas de engenharia de dados, como a criação de estruturas modulares, tratamento de dados históricos, automação de rotinas e monitoramento de fluxos CDC em tempo real. Com exemplos práticos e aplicações do mundo real, você estará apto a aplicar os conhecimentos adquiridos em diversos contextos corporativos. Ao final do curso, você terá construído uma base sólida para lidar com desafios complexos relacionados à ingestão e transformação contínua de dados. Espero que com este curso, você possa aprender o conceito completo de CDC

Skills

Reviews