Overview

¡Master en Azure Databricks & Spark para Data Engineers [A-Z]!Este curso de Azure Databricks está diseñado para profesionales de datos, ingenieros y analistas que desean aprender a procesar, transformar y analizar grandes volúmenes de datos en la nube de Microsoft Azure. A lo largo del curso, los participantes explorarán la arquitectura de Databricks, su integración con otros servicios de Azure y las mejores prácticas para el manejo de datos a gran escala utilizando Apache Spark.Durante el curso, los estudiantes aprenderán:Introducción a Azure DatabricksFundamentos de Apache Spark y su arquitectura distribuida.Creación y configuración de clusters en Azure Databricks.Uso de notebooks colaborativos con Python (PySpark), SQL, Scala y R.Procesamiento y Almacenamiento de Datos con Delta LakeConceptos de Delta Lake y su importancia en la gestión de datos transaccionales.Creación de tablas Delta para mejorar la confiabilidad y el rendimiento de las consultas.Implementación de Time Travel y optimización con comandos como OPTIMIZE y VACUUM.Gestión de Datos con Unity CatalogIntroducción a Unity Catalog para la gobernanza centralizada de datos.Control de acceso basado en roles (RBAC) y auditoría de datos.Organización y administración de metadatos en entornos multi-workspace.Integración con Azure Storage Account y Azure Data LakeConfiguración de Azure Storage Account para almacenar y acceder a datos desde Databricks.Integración con Azure Data Lake Gen2 para manejar grandes volúmenes de datos estructurados y no estructurados.Implementación de estrategias de particionado y compresión para mejorar el rendimiento.Orquestación de Pipelines con Azure Data FactoryAutomatización de flujos de datos mediante Azure Data Factory (ADF).Creación de pipelines para la ingesta, transformación y carga de datos en Databricks.Uso de conectores para integrar Databricks con diversas fuentes de datos.Optimización y Buenas PrácticasEstrategias de optimización de código y ejecución en Databricks.Uso de caché, particiones y distribución de datos en Spark.Monitoreo y depuración de trabajos en Databricks.Los temás que aprenderá en el curso son:Crear una cuenta en AzureAzure DatabricksDatabricks ClusterDatabricks NotebooksAcceder a Azure Data Lake Storage desde DatabricksSeguridad de Acceso a Azure Data Lake StorageDatabricks File System(DBFS)Montaje de Contenedores Data Lakes en DatabricksExplicación Proyecto "Movie"Apache SparkTrabajar con archivos CSVTrabajar con archivos JSONTrabajar con Múltiples ArchivosDatabricks WorkflowsTransformaciones de "Filter" y "Joins"Agregaciones(Aggregations)Vistas en SparkSpark SQL - Database / Table / ViewSpark SQL - Filter / Join / AggregationSpark SQL - AnalysisIncremental Load(Carga Incremental)Delta LakeAzure Data Factory(ADF)Conectar Databricks con PowerBISubir Proyecto al RepositorioIntroducción - Unity CatalogProyecto - Unity CatalogEste curso es práctico y aprenderás escribiendo código/comandos. Trabajaras con una variedad de Datos a los largo de todo el curso, también se vas a poder realizar cuestionarios para poder reforzas tus conocimientos que vas a ir adquieriendo a lo largo del curso y podrás realizar ejercicios que se plantean en cada sección.Este curso es ideal para tí sin importar el conocimiento o perfil profesional que estes desarrollando, sin duda te ayudará a obtener nuevos conocimientos y crecer profesionalmente.¡Así que te espero en este curso, un fuerte abrazo!

Skills

Reviews