13° Bootcamp Data Engineering com AWS & Cia

Na era digital, a Engenharia de Dados está em alta e se destaca como uma das carreiras mais promissoras. Seu papel fundamental é guiar as organizações na tomada de decisões estratégicas, baseadas em dados confiáveis e ágeis.

A demanda por profissionais de dados está em constante crescimento em todos os setores da indústria de tecnologia. Apenas no LinkedIn, existem mais de 1.200 vagas abertas para cargos como Data Engineer e Engenheiro de Dados, onde a média salarial para profissionais de nível pleno na área varia entre R$ 7.625 e R$ 11.125, de acordo com o Data Report - Intera. (fonte: https://byintera.com/materiais/download-data-report-2021/)

Não perca tempo! Esta é uma ótima oportunidade para colocar a sua carreira num próximo nível de classe mundial, +600 Profissionais de Tecnologia e de Empresas como: Itaú, Matera, Iugu, Pic Pay, Porto Seguro, BTG Pactual, Dataside, Cognizant, Sicoob, Latam, Claro, First Decision, Furukawa, Vivo, Avanade, Sonda, Nestle, Aramis, Autoglass, Wheaton, Unimed, Grupo GPS, já fizeram isso, pois apesar do uso de nuvem no Brasil já ser uma realidade há algum tempo, o uso de tecnologias e serviços voltados ao desenvolvimento de uma moderna plataforma de dados, ainda está em estágios iniciais, porém já é algo bastante utilizado em empresas lá fora e que a demanda só cresce por aqui e já pagando ótimos salários.

Neste bootcamp o participante do desenvolvimento completo e do ABSOLUTO ZERO de uma solução para Serverless Data Lakehouse, que reúne o melhor de 2 mundos, o Data Lake e o Data Warehouse, através de uma série de laboratórios (+50) totalmente práticos desenvolvidos ao vivo pelo instrutor do treinamento que abordará a construção de um moderno pipeline de dados para um Data Lake em S3 com arquitetura medallion, usando duas das mais promissoras tecnologias do ecossistema Apache: Apache Iceberg, padrão de design de formato de tabelas, criado pela Netflix (doado em 2018 a Apache Software Fundation) para superar as limitações dos seus data lakes tradicionais, baseados em tabelas Hive, que cuidará da camada ACID para o nosso Data Lakehouse e o Apache Hop, ferramenta de transformação de dados, baseada no fork do Pentaho Data Integration (doado em 2020 a Apache Software Fundation) para o desenvolvimento dos pipelines e workflows de transformação de dados de forma visual, sem codificação e em conjunto com a utilização de inúmeros serviços da AWS e tecnologias Open Source, como: VPC, IAM, CloudWatch Log, EventBridge Scheduler, CloudFormation, SES, CLI, Secrets Manager, EC2, RDS, DMS, Glue Data Catalog, Athena, ECS, ECR, Fargate, Apache Parquet, Docker, Git, Github, Github Actions e Dbeaver, responsáveis pela criação de uma camada de sustentação de dados para Analytics, o Data Warehouse, onde através do serviço AWS QuickSight, sejam entregues as informações aos usuários de negócios num ambiente mais ágil, moderno, robusto e escalável.

Imagem ilustrativa da arquitetura a ser desenvolvida

Todo o desenvolvimento da arquitetura da imagem acima, será feito através do conceito IaC (Infrastructure as Code ou Infraestrutura como Código) em conjunto com o conceito CI/CD que vem permeando a cultura DevOps nas empresas, e ter essas duas práticas dentro do dia a dia de um profissional de engenharia de dados é fundamental.

Objetivos da aprendizagem

• Capacitar os participantes a trabalharem com uma pilha tecnológica moderna e multidisciplinar;

• Criar toda a infraestrutura via IaC e CI/CD;

• Gerar conhecimento aos participantes para além da criação de uma solução desta, do zero, mas também podendo usar o conhecimento para migrar soluções on-premise para cloud;

• Criar um ambiente de Data Lake apoiado pela arquitetura medallion para apoiar entregas organizadas para Analytics;

• Utilizar as principais ferramentas da AWS para Analytics;

• Estruturar um Data Warehouse interno, dentro do Data Lake, o Data Lakehouse;

• Utilizar o Apache Iceberg como formato de tabela para o nosso Data Lake, suportando transações ACID; 

• Desenvolver processos de ingestão baseados em CDC com baixo impacto transacional;

• Estruturar uma camada de processamento short lived com Apache Hop em containers gerenciados AWS para transformação de dados com mais produtividade, sem a necessidade de codificação (no-code/low-code);

• Conectar ferramenta de Data Viz nessa moderna arquitetura de dados para entregar BI; e 

• Utilizar as melhores práticas (best practices) para ter um consumo mais econômico e seguro na AWS.

     - Guardrails para usuários IAM acessarem recursos específicos;

     - Lifecycles para objetos em S3;

     - Armazenamento seguro de credenciais de acesso;

     - Compressão, formatação colunar, sumarização, particionamento e organização de dados;

     - Otimizações para melhora do desempenho das consultas e redução do custo de armazenamento; e

     - Limpeza de arquivos de dados e metadados desnecessários, otimizando o armazenamento e melhorando a performance da leitura das tabelas. 

AQUI...Tecnologias utilizadas

• AWS VPC; (saiba +)

• AWS CloudFormation; (saiba +)

• AWS IAM; (saiba +)

• AWS CloudWatch Log; (saiba +)

• AWS RDS (PostgreSQL); (saiba +)

• AWS DMS; (saiba +)

• AWS S3; (saiba +)

• AWS Glue Data Catalog; (saiba +)

• AWS Athena; (saiba +)

• AWS ECS; (saiba +)

• AWS ECR; (saiba +)

• AWS Fargate; (saiba +)

• AWS EventBridge Scheduler; (saiba +)

• AWS QuickSight; (saiba +)

• AWS CLI; (saiba +)

• Apache Hop; (saiba +)

• Apache Iceberg; (saiba +)

• Apache Parquet; (saiba +)

• Docker; (saiba +)

• Git; (saiba +)

• Github; e (saiba +)

• Github Actions. (saiba +)

Requisitos

• Ser um profissional da área de tecnologia ou formado em áreas ligadas a TI; e

• Não há necessidade de conhecimento prévio em nenhuma tecnologia ou serviço que iremos utilizar.

Pré-requisitos

• Criar uma conta nova (necessário ter cartão de crédito) na AWS para poder usufruir de alguns dos serviços necessários ao bootcamp na modalidade gratuita e

• Ter conta Gmail para acesso as aulas através do Youtube.

Público Alvo

• Profissionais iniciando na carreira de Engenharia de Dados;

• Profissionais envolvidos em projetos de Desenvolvimento de Software com interesse em Engenharia de Dados; e

• Profissionais já envolvidos em projetos de Desenvolvimento de Data Lake, Data Warehouse, Data Viz, Data Science, Machine Learning, IA e Business Intelligence.

Benefícios da aprendizagem

• O participante terá o entendimento completo para atuar como Engenheiro de Dados e construir via AWS, Apache Hop & Cia, pipelines de dados, a partir do zero, uma moderna arquitetura de dados para Analytics, apoiada por uma solução de Data Lakehouse;

• É parte integrante desta proposta, o acesso as aulas gravadas dos encontros em nosso canal no Youtube por 365 dias, liberadas já no dia seguinte aos encontros;

• Integra também esta proposta a participação vitalícia do participante em nossa comunidade Data Engineering com AWS & Cia no WhatsApp, onde poderá realizar networking e participar de encontros virtuais com outros membros da comunidade; e

• No grupo do WhatsApp também poderá obter suporte técnico referente ao conteúdo do bootcamp e mentoria sobre outras possibilidades de uso.

Idioma

• Ministrado em português e Material didático em formato eletrônico em português (Brasil).

Conteúdo Programático

• Abertura do treinamento com instruções;

• O escopo do desafio;

• O que é uma solução de Data Lakehouse;

• Ambiente de desenvolvimento em EC2;

• Repositórios para versionamento e deploy para o curso - DevOps com Git e Github;

• Amazon CloudFormation (AWS CloudFormation) para criar e gerenciar a infraestrutura da arquitetura com IaC (Infraestrutura como código);

• Amazon Virtual Private Cloud (AWS VPC) via CloudFormation para segmentar a rede do ambiente produtivo;

• AWS IAM para o gerenciamento de identidade e acesso ao Data Lake e ao Data Viz;

• Github Actions para deployar (CI/CD) a infraestrutura do curso;

• Templates CloudFormation deployados em Github Actions para:

- os buckets em S3 para a arquitetura medallion;

- o banco de dados OLTP PostgreSQL em RDS;

- do cofre de segredos no AWS Secrets Manager; 

- as tasks DMS que realizarão a ingestão CDC no Data Lake;

- os catálogos de dados das tabelas dos bancos ODS e Data Warehouse no Glue Data Catalog;

- o serviço de query do Athena que permitirá executar queries nos ODS e Data Warehouse;

- o usuário AWS IAM de acesso aos recursos do Data Lake; e

- o ambiente Linux em AWS EC2 para o desenvolvimento e publicação da imagem docker para as execuções short-lived.

• Instalando e configurando o AWS CLI para acesso programático aos dados;

• Configurando utilitários (S3 Browser e Dbeaver) para acesso aos dados;

• Modelagem de dados com suporte ACID usando o formato de tabela Apache Iceberg;

• Configuração do ambiente Apache Hop para o desenvolvimento dos workflows/pipelines;

- Repositório do projeto;

- Variáveis de ambiente;

- Ferramentas Apache Hop;

- Credencial AWS;

- Arquivos em formato aberto Parquet;

- Carga de dados em tabelas Iceberg com suporte a insert, update, delete e particionamento;

- Resgate de credencial Secrets key do AWS Secrets Manager;

- Conexões com o bancos postgreSQL e Athena; e

- Desenvolvimento dos processos (workflows/pipelines) ETL de transformação dos dados na arquitetura medallion do Data Lake com o Apache Hop sem a necessidade de codificação.

• Utilizando Docker para as execuções short-lived de workflows/pipelines através do Apaxche Hop;

• Orquestrando e executando workflows/pipelines em containers gerenciados; e

- Elaborando o template CloudFormation para o serviço ECR, deployado via Github Actions;

- Registrando a imagem docker local no repositório do ECR;

- Elaborando o template CloudFormation para o serviço ECS e deployado via Github Actions; e

- Executando e agendando à execução da task definition no cluster ECS via AWS CLI e EventBridge Scheduler.

• Configurando e conectando o AWS QuickSight para acesso ao banco de dados do Data Warehouse.

Cronograma previsto

Dia 08/03 (Sábado) das 9h às 17h

- Abertura do treinamento com instruções

- O escopo do desafio

- O que é uma solução de Data Lakehouse

- VPC Default como rede para o ambiente de desenvolvimento em EC2

- Repositórios para versionamento e deploy para o curso - DevOps com Git e Github

- Amazon CloudFormation (AWS CloudFormation) para criar e gerenciar a infraestrutura da arquitetura com IaC (Infraestrutura como código)

- Amazon Virtual Private Cloud (AWS VPC) via CloudFormation para segmentar a rede do ambiente produtivo

- AWS IAM para o gerenciamento de identidade e acesso ao Data Lake e ao Data Viz

- Github Actions para deployar (CI/CD) a infraestrutura do curso

- Implementando via template do AWS CloudFormation e deployados com Actions

    - os Buckets da Arquitetura Medallion

    - o banco de dados OLTP PostgreSQL em RDS

    - o cofre de segredos no AWS Secrets Manager

Dia 15/03 (Sábado) das 9h às 17h

- Implementando via template do AWS CloudFormation e deployados com Actions

    - as Tasks do CDC com AWS DMS

    - o catálogo de dados para os bancos ODS e DWH com o AWS Glue

    - o motor de query para consultas aos bancos ODS e DWH com o AWS Athena e

    - o usuário AWS IAM de acesso aos recursos do Data Lake

- Instalando e configurando o AWS CLI para acesso programático aos dados

- Configurando utilitários (S3 Browser e Dbeaver) para acesso aos dados

- Modelagem de dados com suporte ACID usando o formato de tabela Apache Iceberg

- Configuração do ambiente Apache Hop para o desenvolvimento dos workflows/pipelines

    - Repositório do projeto

    - Variáveis de ambiente

    - Ferramentas Apache Hop

    - Credencial AWS

    - Arquivos em formato aberto Parquet

    - Carga de dados em tabelas Iceberg com suporte a insert, update, delete e particionamento

    - Resgate de credencial Secrets key do AWS Secrets Manager

    - Conexões com o bancos postgreSQL e Athena e

    - Desenvolvimento dos processos (workflows/pipelines) ETL de transformação dos dados na arquitetura medallion do Data Lake com o Apache Hop

Dia 22/03 (Sábado) das 9h às 17h

- Continuação: Desenvolvimento dos workflows/pipelines com Apache Hop

- Utilizando Docker via EC2 Linux para as execuções short-lived de workflows/pipelines através do Apaxche Hop

- Orquestrando, executando e agendando workflows/pipelines em containers gerenciados na AWS

- Configurando, conectando e desenvolvendo com AWS QuickSight

Conteúdos extras: Autorais e Curados 

A proposta desse tópico é trazer mais conhecimento associado ao conteúdo principal que será ministrado ao vivo aos alunos, com o objetivo de potencializar o aprendizado dos mesmos. Tudo em Português, com mais de 13 horas de conteúdo.

Autorais

• Introdução ao treinamento

• Fundamentos AWS

• Criando sua conta na AWS

• Criando um orçamento financeiro para não ser surpreendido

• Criando um usuário admin para uso no lugar do usuário root

• Usando Ec2 para o ambiente de desenvolvimento

• Apache Iceberg: Entendendo os metadados e as otimizações básicas do dia a dia

Curados

• Infraestrutura como código na AWS

• Fundamentos de redes AWS

• DevOps com Git e GitHub

• Construindo um data lake com S3 na AWS (best practices)

• Estratégia de otimização de custos para EC2

• Novos lançamento, features e serviços relacionados a instâncias EC2, containers e serverless 

• Aprofundamento em instâncias EC2

• Introdução ao Github Actions

• Introdução ao AWS IAM

• Introdução ao AWS RDS

• Introdução ao AWS S3

• Introdução ao AWS DMS

• Introdução ao AWS Athena

• Introdução ao Apache Hop

• Introdução ao AWS QuickSight

• Introdução ao AWS Containers

• Git Branches - O que são? Como funcionam?

• Modelagem Star schema ou One Big Table

• Apache Iceberg integrado ao AWS Athena

Depoimento de ex-participantes

Curso top com excelente conteúdo e um instrutor que manja muito do assunto... 

Por Alessandro Gomes, do IBOPE

Excelente curso, Ricardo Gouvêa parabéns pelo trabalho, ótimo conteúdo abordado, obrigado... 

Por Bruno Bizerra, do UOL

Mais um curso concluído, a busca por conhecimento nunca é demais... 

Por Deivisson Sedrez, da Saque e Pague

O melhor treinamento que já participei... 

Por Maycon Oleczinski, da Inside Sistemas

It was a tough week, going to sleep after 3:00 am, but it worthed. I've learned a lot... 

Por Samuel Pinto, da Normática

Foram dois finais de semana de muito conhecimento... 

Por Fabrizio Machado, da Unesc

Curso espetacular, com muitas quebras de paradigma! Melhores práticas para Data... 

Por Carlos Migliavacca, da Consultiline

Apresentação de forma simples, de coisas complexas...poucos treinamentos me deram tanta clareza. 

Por Danilo Gallo, do Unibanco Itaú

Novos conhecimentos adquiridos...com maestria... 

Por Adilson Moralles, da Fototica

Excelente conteúdo e condução!... 

Por Rodrigo Marcelino, da Claro iMusic

Dinâmica do evento

Durante os encontros online ao vivo para o desenvolvimento, que acontecerão nos dias 08, 15 e 22 de março de 2025, das 9h às 17h, com duração de 6 horas no formato Online ao Vivo via ferramenta Zoom, o participante acompanhará o desenvolvimento dos labs pelo instrutor e nos momentos pós aula, apoiando-se no conteúdo absorvido durante os encontros de desenvolvimento ao vivo, na gravação das aulas liberadas no canal da Openin no Youtube e utilizando o grupo de apoio no WhatsApp, desenvolverá os seus próprios labs alcançando desta forma um aprendizado mais eficaz. ATENÇÃO: O acesso a plataforma EaD para o consumo dos conteúdos curados só será liberado 30 dias antes do início do mesmo na data combinada acima, antes disso não será possível se conectar ao curso, pois não há conteúdo liberado.

Material

Os slides utilizados durante o bootcamp serão entregues aos participantes em formato eletrônico, após o encerramento do mesmo. O material cedido para o bootcamp é de propriedade intelectual da Openin Big Data. Nenhuma parte deste material e tão pouco a gravação, como também o acesso ao EaD, poderão ser cedido, emprestado ou comercializado para terceiros, nem utilizados para treinamentos e capacitações de terceiros sob quaisquer hipóteses, salvo sob autorização expressa da Openin Big Data. Caso seja identificado atitudes relatadas neste parágrafo, ações legais contra perdas e danos serão providenciadas pela Openin Big Data.

Certificado de participação

Os inscritos no bootcamp receberão certificado de participação em formato eletrônico emitido pela Openin Big Data ao final do evento.

Profissional com mais de 20 anos dedicados ao desenvolvimento de projetos de Data Warehouse, Business Intelligence e Data Lake, trabalhou no principal parceiro da Business Objects (a SAP Company) no Brasil, passou pela americana Sagent (a Pitney Bowes company) como consultor pre-venda LATAM e desenvolveu ao longo deste período inúmeros projetos em empresas como Porto Seguro, Intermédica, Pfizer, Secretaria de Edução de SP, USP, Unibanco, Ambev e Grupo GPS. Atualmente é Sócio Diretor da Openin Big Data, Engenheiro de Dados AWS, Apache Hop Committer e Instrutor.

• Profissionais iniciando na carreira de Engenharia de Dados;
• Profissionais envolvidos em projetos de Desenvolvimento de Software com interesse em Engenharia de Dados; e
• Profissionais já envolvidos em projetos de Desenvolvimento de Data Lake, Data Warehouse, Data Viz, Data Science, Machine Learning, IA e Business Intelligence.