| Programa |
La aparición de nuevos conceptos relacionados con la digitalización y la búsqueda del conocimiento a lo largo de estos últimos años hace que muchos equipos de desarrollo etiqueten equivocadamente su necesidad, lo que conduce a construir sistemas que no van a cumplir con las expectativas.
Nos encontramos casos en los que no se pueden aplicar técnicas de aprendizaje automático porque falta digitalizar los procesos (de negocio, de fabricación, etc.). A veces se desea digitalizar toda una planta cuando una extracción de datos históricos con unos pocos sensores en un cubo multidimensional es suficiente. Hay escenarios que requieren almacenar grandes cantidades de datos. Otros requieren desarrollar herramientas auxiliares que capturen métricas para poder aplicar técnicas de aprendizaje automático. Hay mucha heterogeneidad y no hay una solución única.
En este primer módulo introductorio se presentarán los conceptos clave del dominio y de los proyectos de Big Data Analytics. Se hablará sobre objetivos y expectativas, así como de la evaluación del riesgo asociado a la ejecución del mismo. También se considerarán aspectos transversales como el cambio de cultura en la organización que supone aplicar estas técnicas, el data governance.
- Introducción a Big Data Analytics
- Motivaciones
- Nuevos conceptos: IoT, BI, IA, Machine Learning, Deep Learning, Data Engineering, Data Science, Data Analytics, Data Governance
- ¿Qué problema resuelvo con Big Data?
- Escenarios y retos
- Tecnologías Big Data
- Fundamentos técnicos
- La era Hadoop
- Apache Hive
- La era Spark
- Módulo 2. Estrategia de implantación Big Data
El objetivo de este módulo es resolver las principales dudas con las que se enfrentan los equipos de dirección técnica a la hora de implantar una estrategia de Big Data en su empresa. Así, se cubre desde un vistazo casos prácticos en materia de diseño de infraestructuras Big Data, explotación y analítica de datos, pasando por una revisión de las principales tecnologías que hoy en día pueblan el horizonte de Big Data (para ingesta masiva, consulta, análisis, visualización…), hasta un roadmap para la adopción de dichas técnicas y tecnologías en nuestras empresas.
- Quiero ser arquitecto Big Data
- Ecosistema Hadoop
- Nuestra pila de servicios
- Por dónde empezar
- Despliegue de modelos de Machine Learning
- Herramientas disponibles
- Data Engineer
- Data Scientist
- Data Analyst
- Casos prácticos
- La infraestructura de UBER
- Graph Analytics
- Procesamiento de Lenguaje Natural
- Detección de Anomalías
- Forecasting
- Definiendo una estrategia Big Data
- El equipo Big Data
- De los datos a las aplicaciones
- Puesta en marcha
- Módulo 3. Adquisición y estructuración de los datos
La aplicación de modelos requiere corpus de entrenamiento de calidad que se extraen de las redes de sensores y los sistemas transaccionales.
Se describirán posibles soluciones para capturar, obtener y almacenar la información, en función de la dimensión de los datos y su disponibilidad. Además, se explicarán técnicas de transformación de los datos, prestando especial atención al concepto de calidad del dato.
- Ciclo de vida del dato
- Digitalización del entorno
- Instrumentación industrial
- Sensorización IoT
- Extracción de datos
- Diversidad de orígenes: No SQL, BBDD, ficheros, web, etc.
- Ingesta/Almacenamiento de los datos
- Data Warehouse, Data Lake, Lakehouse
- Entendimiento de los datos
- Análisis Inicial de los Datos (IDA)
- Técnicas de formateo
- Técnicas de limpieza (normalización, estandarización, fusión,...)
- Adaptación de los datos (imputación de datos faltantes)
- Taller: Adquisición y preparación de datos
- Módulo 4. Modelos predictivos
La construcción de los modelos que permiten realizar diagnósticos, pronósticos, simulaciones o prescripciones sobre los datos pasa por tres etapas claramente diferenciadas: diagnóstico y análisis exploratorio de datos, construcción y entrenamiento del modelo, y empaquetado para ser consumidos como servicio desde aplicaciones de usuario y cuadros de mando.
En este módulo se presentan las técnicas utilizadas en cada una de las etapas.
- Análisis de modelos predictivos
- Análisis Exploratorio de Datos (EDA)
- Pre-Procesado de datos
- Entrenamiento y evaluación de modelos predictivos
- Despliegue de modelos
- Taller: Realización de un EDA, entrenamiento y evaluación de un modelo predictivo
- Módulo 5. Generación de conocimiento
La explotación de los resultados de los modelos es un punto fundamental en los proyectos tanto de BI, como de Data Analytics, dado que permite transformar los datos de entrada y los resultados de los modelos en información y potencialmente en conocimiento para el apoyo a la toma de decisiones. Por ese motivo, en este módulo se mostrarán distintas formas de generación de cuadros de mando para la monitorización en tiempo real de los datos y la explotación de los modelos predictivos.
- Automatización de los mecanismos de captura, limpieza e integración de las fuentes de datos
- Soluciones de usuario para el análisis de datos
- Integración de modelos predictivos en cuadros de mandos
- Taller: Generación de conocimiento
|
