Data Engineering com AWS, Apache Hop & Cia

Na era digital, a Engenharia de Dados está em alta e se destaca como uma das carreiras mais promissoras. Seu papel fundamental é guiar as organizações na tomada de decisões estratégicas, baseadas em dados confiáveis e ágeis.

Explore o vasto mercado digital: A demanda por profissionais de dados está em constante crescimento em todos os setores da indústria de tecnologia. Mercado aquecido e repleto de oportunidades: Apenas no LinkedIn, existem mais de 6000 vagas abertas para cargos como Data Engineer e Engenheiro de Dados. Desfrute de uma excelente remuneração: A média salarial para profissionais de nível pleno na área varia entre R$ 7.625 e R$ 11.125, de acordo com o Data Report - Intera.

Não perca tempo! Invista em uma carreira promissora e lucrativa na Engenharia de Dados. Esta é uma ótima oportunidade para colocar a sua carreira num próximo nível de classe mundial, +350 Profissionais de Tecnologia e de Empresas como: Itaú, Matera, Iugu, Pic Pay, Porto Seguro, BTG Pactual, Dataside, Cognizant, Sicoob, Latam, Claro, First Decision, Furukawa, Vivo, Avanade, Sonda, Nestle, Aramis, Autoglass, Wheaton, Unimed, Grupo GPS, dentre outras, já fizeram isso, pois apesar do uso de nuvem no Brasil já ser uma realidade há algum tempo, o uso de tecnologias e serviços voltados ao desenvolvimento de uma moderna plataforma de dados, ainda está em estágios iniciais, porém já é algo bastante utilizado em empresas lá fora e que a demanda só cresce por aqui e já pagando ótimos salários.

Neste bootcamp o participante acompanhará o desenvolvimento completo e do ABSOLUTO ZERO de uma solução para Data Lakehouse, que reúne o melhor de 2 mundos, o Data Lake e o Data Warehouse, através de uma série de laboratórios totalmente práticos desenvolvidos pelo facilitador que abordará o desenvolvimento de um moderno pipeline de dados para um Data Lake em S3 usando uma das mais promissoras ferramentas do guarda-chuva Apache, o Apache Hop para o desenvolvimento dos pipelines de transformação de dados de forma visual, sem codificação e em conjunto com a utilização dos serviços AWS: IAM, CloudWatch, EventBridge, Cloudformation, VPC, RDS, DMS, Glue, Athena, Redshift, ECS, ECR, Fargate para a criação de uma camada de sustentação de dados para Analytics, o Data Warehouse, onde através de ferramentas de BI, como o Power BI e AWS QuickSight, sejam entregues as informações aos usuários de negócios num ambiente mais ágil, moderno, robusto e escalável.

Imagem ilustrativa da arquitetura a ser desenvolvida

Todo o desenvolvimento da arquitetura da imagem acima, será feito através do conceito IaC (Infrastructure as Code ou Infraestrutura como Código) em conjunto com o conceito CI/CD que vem permeando a cultura DevOps nas empresas, e ter essas duas práticas dentro do dia a dia de um engenheiro de dados é fundamental.

Objetivos da aprendizagem

• Capacitar os participantes a trabalharem com uma pilha tecnológica moderna;

• Criar toda a infraestrutura via IaC e CI/CD;

• Gerar conhecimento aos participantes para além da criação de uma solução desta, do zero, mas também podendo migrar soluções on-premises para  cloud;

• Criar um ambiente de Data Lake segmentado por contextos para apoiar entregas de Analytics;

• Utilizar as principais ferramentas da AWS para Analytics;

• Estruturar um Data Warehouse interno, dentro do Data Lake;

• Utilizar uma modelagem de dados que permita o upsert em arquivos S3;

• Desenvolver processos de ingestão baseados em CDC e transformação de dados com mais produtividade, sem a necessidade de codificação (no-code/low-code);

• Utilizar das melhores práticas para ter um consumo mais econômico e seguro na AWS; e

• Conectar ferramentas de Data Viz nessa moderna arquitetura de dados.

Ferramentas e serviços utilizados

• AWS VPC;

• AWS Cloudformation;

• AWS IAM;

• AWS CloudWatch;

• AWS RDS (PostgreSQL);

• AWS DMS;

• AWS S3;

• AWS Glue;

• AWS Athena;

• AWS Redshift Spectrum;

• AWS ECS;

• AWS ECR;

• AWS Fargate;

• AWS EventBridge;

• AWS QuickSight;

• AWS CLI;

• Apache Hop;

• Docker;

• Github;

• Github Actions; e

• Power BI Desktop.

Requisitos

• Ser um profissional da área de tecnologia ou formado em áreas ligadas a TI; e

• Não há necessidade de conhecimento prévio em nenhuma tecnologia ou serviço que iremos utilizar.

Pré-requisitos

• Criar uma conta nova (necessário ter cartão de crédito) na AWS para poder usufruir de alguns dos serviços necessários ao bootcamp na modalidade gratuita e

• Ter conta Gmail para acesso as aulas através do Youtube.

Público Alvo

• Profissionais iniciando na carreira de Engenharia de Dados;

• Profissionais envolvidos em projetos de Desenvolvimento de Software com interesse em Engenharia de Dados; e

• Profissionais já envolvidos em projetos de Desenvolvimento de Data Lake, Data Warehouse, Data Viz, Data Science e Business Intelligence.

Casos de sucesso

• A OLX reduziu custos e tempo de acesso ao mercado por meio da implantação do Athena em toda a organização

• A Atlassian criou um data lake de autoatendimento usando o Amazon Athena e outros serviços do AWS Analytics

• Como FINRA opera análises em escala de PB em data lakes com o Amazon Athena (AWS re:Invent 2020) 

Benefícios da aprendizagem

• O participante terá o entendimento completo para atuar como Engenheiro de Dados e construir via AWS, Apache Hop & Cia, um pipeline de dados, a partir do zero para uma moderna arquitetura de dados para Analytics, apoiada por um Data Warehouse dentro do Data Lake em S3, solução esta conhecida como Data Lakehouse;

• É parte integrante desta proposta, o acesso as aulas gravadas dos encontros em nosso canal no Youtube por 365 dias, liberadas já no dia seguinte aos encontros;

• Integra também esta proposta a participação vitalícia do participante em nossa comunidade Data Engineering for Analytics com AWS & Cia no Telegram que já conta com +150 membros onde poderá realizar networking e participar de encontros virtuais com outros membros da comunidade; e

• No grupo do Telegram também poderá obter suporte técnico referente ao conteúdo do bootcamp e mentoria sobre outras possibilidades de uso.

Idioma

• Ministrado em português e Material didático em formato eletrônico em português (Brasil).

Conteúdo Programático

• O escopo do desafio;

• Requisitos que norteiam uma solução de Big Data;

• O que é uma solução de Data Lakehouse;

• Fundamentos AWS;

• Criando o repositório para versionamento e deploy para o curso - DevOps com Git e Github;

• Usando Amazon Cloudformation (AWS Cloudformation) para criar e gerenciar a infraestrutura da arquitetura com IaC (Infraestrutura como código);

• Usando Amazon Virtual Private Cloud (AWS VPC) via Cloudformation para segmentar a rede do ambiente do treinamento;

• Configuração e uso do IAM para o gerenciamento de identidade e acesso ao Data Lake e ao Data Viz;

• Usando o Github Actions para deployar (CI/CD) a infraestrutura do curso;

• Elaborando o template Cloudformation para:

? a base de dados PostgreSQL em RDS, deployada via Github Actions;

? os buckets em S3,  deployados via Github Actions;

? as tasks DMS que realizarão a ingestão no Data Lake via CDC, deployadas via Github Actions;

? o catálogo de dados das tabelas dos bancos ODS e Data Warehouse no Glue, deployado via Github Actions;

? o serviço de query do Athena que permitirá executar queries nos bancos do Glue, deployado via Github Actions;

• Configuração do ambiente Apache Hop para o desenvolvimento dos workflows/pipelines;

? Repositório do projeto;

? Variáveis de ambiente;

? Ferramentas Apache Hop;

? Credencial AWS;

? Arquivos em formato aberto Parquet;

? Modelagem de dados contemplando o Table Format (upserts em S3);

? Conexões com o banco postgreSQL e  Athena;

? Desenvolvimento dos processos (workflows/pipelines) ETL de transformação dos dados nas áreas segmentadas do Data Lake com o Apache Hop sem a necessidade de codificação;

• Configurando e conectando o Power BI e o AWS QuickSight para acesso ao banco de dados do Data Warehouse;

• Elaborando o template Cloudformation para o cluster Redshift com a funcionalidade Spectrum para acesso aos banco de dados no Glue, deployando via Github Actions;

• Utilizando Docker para as execuções short-lived de workflows/pipelines através do Hop-Run;

• Orquestrando e executando workflows/pipelines em containers gerenciados;

? Elaborando o template Cloudformation para o serviço ECR, deployado via Github Actions;

? Registrando a imagem docker local no repositório do ECR;

? Elaborando o template Cloudformation para o serviço ECS e deployado via Github Actions; e

? Executando e agendando à execução da task definition no cluster ECS via AWS CLI e EventBridge.

Conteúdo Curado 

A proposta desse tópico é trazer mais conhecimento associado ao conteúdo principal que será ministrado ao vivo aos alunos, com o objetivo de potencializar o aprendizado dos mesmos. Tudo em Português, com quase 10 horas de conteúdo.

• Fundamentos de redes AWS

• Estratégia de otimização de custos para EC2

• Usando Amazon Elastic Compute Cloud (AWS EC2) para o ambiente de desenvolvimento;

• Novos lançamento, features e serviços relacionados a instâncias EC2, containers e serverless 

• Aprofundamento em instâncias EC2

• DevOps com Git e GitHub

• Git Branches - O que são? Como funcionam?

• Infraestrutura como código na AWS

• Introdução ao AWS IAM

• Introdução ao Github Actions

• Introdução ao AWS RDS

• Introdução ao AWS S3

• Melhores práticas para construir um data lake utilizando S3 na AWS

• Introdução ao AWS DMS

• Introdução ao AWS Glue

• Introdução ao AWS Athena

• Introdução ao Apache Hop

• Introdução ao AWS QuickSight

• Introdução ao AWS Redshift

• Introdução ao AWS Containers

• Modelagem Star schema ou One Big Table

Depoimento de ex-participantes

Curso top com excelente conteúdo e um instrutor que manja muito do assunto... 

Por Alessandro Gomes, do IBOPE

Excelente curso, Ricardo Gouvêa parabéns pelo trabalho, ótimo conteúdo abordado, obrigado... 

Por Bruno Bizerra, do UOL

Mais um curso concluído, a busca por conhecimento nunca é demais... 

Por Deivisson Sedrez, da Saque e Pague

O melhor treinamento que já participei... 

Por Maycon Oleczinski, da Inside Sistemas

It was a tough week, going to sleep after 3:00 am, but it worthed. I've learned a lot... 

Por Samuel Pinto, da Normática

Foram dois finais de semana de muito conhecimento... 

Por Fabrizio Machado, da Unesc

Curso espetacular, com muitas quebras de paradigma! Melhores práticas para Data... 

Por Carlos Migliavacca, da Consultiline

Apresentação de forma simples, de coisas complexas...poucos treinamentos me deram tanta clareza. 

Por Danilo Gallo, do Unibanco Itaú

Novos conhecimentos adquiridos...com maestria... 

Por Adilson Moralles, da Fototica

Excelente conteúdo e condução!... 

Por Rodrigo Marcelino, da Claro iMusic

Dinâmica do evento

Durante os encontros online ao vivo, que acontecerão nos dias 12, 14, 19, 21, 26 e 28 de Setembro de 2023, a partir das 19h e com duração de 2 à 3 horas no formato Online ao Vivo via Zoom, o participante acompanhará o desenvolvimento dos labs pelo facilitador e nos momentos pós aula, apoiando-se no conteúdo absorvido durante os encontros ao vivo, na gravação das aulas liberadas no canal da Openin no Youtube e utilizando o grupo de apoio no Telegram, desenvolverá os seus próprios labs alcançando desta forma um aprendizado mais eficaz. ATENÇÃO: O acesso a plataforma EaD para o consumo dos conteúdos curados só será liberado 30 dias antes do início do mesmo na data combinada acima, antes disso não será possível se conectar ao curso, pois não há conteúdo liberado.

Material

Os slides utilizados durante o bootcamp serão entregues aos participantes em formato eletrônico, após o encerramento do mesmo. O material cedido para o bootcamp é de propriedade intelectual da Openin Big Data. Nenhuma parte deste material e tão pouco a gravação, como também o acesso ao EaD, poderão ser cedido, emprestado ou comercializado para terceiros, nem utilizados para treinamentos e capacitações de terceiros sob quaisquer hipóteses, salvo sob autorização expressa da Openin Big Data. Caso seja identificado atitudes relatadas neste parágrafo, ações legais contra perdas e danos serão providenciadas pela Openin Big Data.

Certificado de participação

Os inscritos no bootcamp receberão certificado de participação em formato eletrônico emitido pela Openin Big Data ao final do evento.

? Profissionais iniciando na carreira de Engenharia de Dados;

? Profissionais envolvidos em projetos de Desenvolvimento de Software com interesse em Engenharia de Dados; e

? Profissionais já envolvidos em projetos de Desenvolvimento de Data Lake, Data Warehouse, Data Viz, Data Science e Business Intelligence.