fbpx

AMAZONCODE

Carreira Engenharia de Dados Cloud Google Big Query + DataBricks + Python

Aprenda a trabalhar com dados em Nuvem com as tecnologias mais utilizadas do mercado: SQL com Google Big Query + Spark com DataBricks + Python conexão com vários Bancos de Dados

Reproduzir vídeo

Para quem é a Formação?

É para Desenvolvedores e Analistas de Dados que desejam aprofundar seus conhecimentos em Engenharia de Dados na Nuvem, ou profissionais em transição de carreira que buscam posições em análise de dados, tecnologia e arquitetura de dados.

É para quem quer aprender sobre engenharia de dados com um curso confiável e de alta qualidade, com conteúdo prático e acessível, ministrado por um profissional com ampla experiência no setor e uma trajetória notável no mercado.

É para quem deseja se especializar em tecnologias como Google BigQuery, Databricks, Python, Data Lakes, Pipelines de Dados, SQL, Apache Spark, Integração de Dados em Nuvem, e outras ferramentas essenciais para o universo da Engenharia de Dados em Cloud.

Conteúdo Programático

O programa é composto por 5 cursos completos. São mais de 490 videoaulas e 90h conteúdo que juntos darão uma visão ampla e completa sobre as diversas etapas do processo de desenvolvimento.

Reproduzir vídeo

SQL Completo com Google BigQuery Para Análise de Dados

Aprenda tudo sobre Google BigQuery consultas SQL Para Analise de Dados em Nuvem

Reproduzir vídeo

Python - ETL Avançado Com Google BigQuery Cloud + GitHub

Aprenda Tudo sobre Extração , Tratamento e Carga de Dados ultilizando programação com Python para Análise de Dadoss

Reproduzir vídeo

Engenharia de Dados com Python e Bancos de Dados SQL e NoSQL

Domine a Engenharia de Dados inicie sua Preparação para a Profissão da Área de Tecnologia que mais Cresce no mundo!

Reproduzir vídeo

Databricks Developer SQL e Python Para Análise de Dados

Aprenda do Básico ao Avançado a Manipular Databricks com linguagem SQL, Python PySpark Para Análise de Dados Cloud

Reproduzir vídeo

Power BI Projetos Práticos +Designer Personalizado Com Figma

Saia do básico e aprenda as principais funções do power Bi para seus primeiros projetos

Ementas & Videoaulas

01 - SQL Completo com Google BigQuery Para Análise de Dados

Introdução

  • Introdução 04:39
  • Recomendações Sobre o Curso 03:36

Material para Download

  • Download 00:53

Estrutura e Primeiros Comandos

  • Criando Conta Gratuita 05:24
  • Conhecendo A Estrutura 06:35
  • Criando Data Set (Conjunto De Dados) 10:48
  • Importando Arquivo Excel 08:47
  • Conhecendo Tabelas Do Curso 09:19
  • Primeira Consulta (Select *) 10:10
  • Selecionar Dados Distintos (Select Distinct) 08:33
  • Alterando Nomes De Coluna E Salvando Como Tabela 09:49
  • Salvando Consultas Como Tabela E Consulta Personalizada 10:07
  • Renomeando Tabelas Na Consulta 08:42

Funções de Restrições

  • Funções De Restrições Where + In – Not In 13:09
  • Where Is Null – Is Not Null (Excluindo Linhas Em Branco) 13:37
  • Dados Maior Que E Menor Que (Funções Matemáticas) 11:23
  • Função Between – Entre – (Dados Entre 2 Valores) 10:34
  • Função Case (Caso Quando) Criando Nova Coluna Condicional 09:16
  • Função Case (Caso Quando) Criando Nova Coluna Condicional Com Vários Critérios 10:56
  • Função Case (Caso Quando) Criando Coluna Condicional Região Por Estado 12:37
  • Função Case (Caso Quando) Coluna Condicional Com Números 11:34
  • Função Case (Caso Quando) Coluna Condicional Exemplo Prático 08:15

Função JOIN – Junção de Tabelas

  • Join – Resolvendo Erro De Importação -String_Fild 10:11
  • Primeiro Join – Relacionamento De Tabelas 09:27
  • Join – Relacionamento De Tabelas Exemplo Prático 16:18
  • Join – Relacionamento De Tabelas Fixando 08:24
  • Join – Relacionamento De Várias Tabelas 11:54

Relacionamentos no Power BI

  • Importando Tabelas Do Google Big Query Para O Power BI 11:41
  • Relacionamento no Power BI 13:59
  • Importando Dados SQL Para O Power BI 13:04

Funções de Agregação Básicas

  • Group By – Agrupando Dados Da Consulta 14:36
  • Order By – Ordenando Dados Da Consulta 13:38
  • Count – Format_Timestamp Extração De Data 12:50
  • Count + Case – Contar Se 10:28
  • Função Máximo 16:16
  • Função Mínimo 09:51
  • Função Média (Avg) 10:22

Funções Matemáticas

  • ABS – Eliminando Número Negativo 02:51
  • Rand – Aleatório 07:54
  • SQRT Raiz Quadrada 02:24
  • Round Média 06:29
    Pow Potenciação 03:27

Funções de String (Texto)

  • Starts_With Começa Com 06:09
  • Split Extração De Texto 04:03
  • Lower E Upper Maiúsculo E Minúsculo 04:42
  • Trim Extrair Parte Do Texto 03:02
  • Agendamento Logístico Funções Date and Time 21:07

Módulo Bônus – Dica e Orientação

  • Continue sua trajetória na área de Dados 04:12
  • Tudo sobre a Trilha de Engenharia de dados 35:26
02 - Python - ETL Avançado Com Google BigQuery Cloud + GitHub

Introdução

  • Apresentação do Curso 05:27
  • Recomendações Avaliação do Curso 02:53
  • Material Para Download
    Criando Conta – Google BigQuery 10:57
  • Criando Projeto e Banco de Dados no BigQuery 10:29
  • Estrutura básica de projeto Google BigQuery 21:27

Orientações e Instalações

  • Tudo sobre os Scripts-Material para Download 03:17
  • Sobre versões do Python 02:20
  • Download Baixando Python, Anaconda e VS Code 05:02
  • Instalando Python, Anaconda e VS Code 07:41
  • Primeiras configurações e instalando extensões, VS Code 10:59
  • Resolvendo erro O sistema não pode encontrar o arquivo especificado 11:52
  • Primeiros comandos Python Jupyter Nootebook 20:43
  • Instalando Bibliotecas de Conexão 07:19
  • Configurando Credencias de Acesso ao Google BigQuery 08:48

Credenciais Google BigQuery

  • Extraindo Dados do Google BigQuery com Python 15:30
  • Extraindo Dados do Google BigQuery com Python infos de Credenciais 05:43
  • Sobre página Web do Gov 01:57
  • Como achar e criar Dados fictícios na Web 14:32

Comandos Básicos Python

  • Sobre os próximos Módulos 02:10
  • Tipos de Dados Python 07:11
  • Criando e Localizando itens de Lista Python 10:55
  • Editando itens de Lista Python 06:05
  • Criando um Ambiente virtual 11:46

Manipulando arquivos Excel/CSV/TXT

  • Importando e manipulando Arquivo Excel em Python Módulo Pandas 23:23
  • Importando Arquivo CSV Dicas de Programação via Python Módulo Pandas 19:46
  • Tratando Nulos e Substituindo Valores DataFrame Python (fillna e replace) 23:25

Tratamento de Dados

  • Consolidando vários arquivos em Python 21:18
  • Formas de salvar arquivos Consolidando 10:45
  • Conectando Python com Power BI 15:10
  • Conversão de dados Módulo Pandas 13:58
  • Conversão de Datas Módulo Pandas 21:06
  • Adicionando Novas Colunas em DataFrame 22:25

Tratamento de Dados Avançado

  • Arquivo em Excel com Várias Abas no Python 35:39
  • Selecionando apenas Algumas colunas de um DataFrame 06:58
  • Removendo duplicatas (Drop Duplicates) Módulo Pandas 16:57
  • Classificando dados de forma crescente e decrescente 09:20
  • Renomeando Colunas Python Pandas 11:18

Funções Avançadas BigQuery

  • Ativando conta de Faturamento 08:07
  • Carregando Dados para o Google BigQuery com Python 15:13
  • Carregando Dados para o Google BigQuery com Python #2 07:43
  • Carregando vários Arquivos de um projeto BigQuery Com Python 22:11
  • Extraindo vários Arquivos de um projeto BigQuery Com Python 39:44
  • Executar comando de exclusão antes da carga (função Data Google Bigquery) 13:54
  • Executar comando de exclusão antes da carga Com Python 17:49
  • Mantendo histórico de Base Google BigQuery com Python 28:22

Merge – Junção de Tabelas

  • Mesclando – Juntando Varias Tabelas em Python 19:49
  • Método Concat – Juntando Dados 15:39

Automação de execução

  • Orientação para executáveis Python 02:19
  • Transformando arquivo Python em Executável 20:45
  • Transformando arquivo Python em Executavel – usando interface gráfica 08:48
  • Executar script Python automaticamente – Agendador de tarefas schedule 22:52
  • Rodar script Python automaticamente – Agendador de tarefas do Windows 24:18

Diferentes Tipos de Arquivos

  • Diferentes arquivos (CSV, Json, Parquet e ZIP) Dados Públicos do Governo 07:19
  • Salvando Dataframe em Formatos diferentes 12:27
  • Importando Arquivo Parquet no Power BI – Python e Power BI 13:48
  • Manipulando Arquivo Zip em Python 11:40

Outras Tratativas de Dados

  • Consulta SQL avançado em Data Flame Python 24:05
  • Consulta SQL avançado de Datas em Data Flame Python 19:55
  • Configurando API Google Drive e Google sheets para importar dados no Python 14:03
  • Importando Dados do Google Planilhas on-line google sheets com Python 17:06
  • Conexão Google BigQuery com Google Planilhas – Google Sheets 16:47
  • Ajustando erro automação Web – Chrome Driver – Selenium 11:08
  • Configuação Automação Web – Chrome Driver – Selenium 16:34
  • Instalando ChromeDriver Automaticamente em Script Python 07:37
  • Localizando Elementos WEB – Preenchimento de dados automáticos 24:15
  • Criando Formulário Grátis do Google 14:20
  • Preenchendo Formulário Automático Python automação 26:31
  • Preenchendo Formulário Origem Excel automático Python automação 22:51
  • Selecionando pasta específica para download e deixando navegador oculto 16:15
  • Como baixar Vídeo e Áudio do Youtube 10:35
    Continuando Estudos –
  • Trilha Análise de Dados 05:45
  • Links de Acessos a Outros Cursos – Trilha Análise de Dados 00:13
  • Apresentação GitHub 03:46
  • Criando Conta no Github Grátis e Baixando Arquivos 08:26
  • Como Instalar GitHub Descktop e GitBash 05:32
  • Como importar e compartilhar arquivos no GitHub 18:03
  • Criando Repositório e importando Arquivos via GitHub Desktop sem usar scripts 19:18
  • Clonando Repositórios e projetos Web 02:23
  • Aprendendo comandos básicos GitHub e GitBash 19:13
  • Resolvendo Erro remote: Repository not found. 08:17
  • Importando dados para git via VS Code 12:20
  • Ignorando Arquivos com Gitignore GitHub – VS Code 13:31
  • Clonando Arquivos e projetos GitHub VS Code 04:51

Módulo Bônus – Dica e Orientação

  • Continue sua trajetória na área de Dados 04:12
  • Tudo sobre a Trilha de Engenharia de dados 35:26
03 - Engenharia de Dados com Python e Bancos de Dados SQL e NoSQL

Introdução

  • Introdução 05:10

Orientações e Instalações

  • Recomendações do Curso 02:18
  • Tudo sobre os Scripts-Material para Download 06:48
  • Download Scripts 00:01
  • Download Arquivos de Origem e Apoio 00:06
  • Sobre versões do Python 02:20
  • Download Baixando Python, Anaconda e VS Code 05:02
  • Instalando Python, Anaconda e VS Code 07:41
  • Primeiras configurações e instalando extensões VS Code 10:59

Python Conexão com PostgreSQL

  • Download e instalação PostgreSQL 07:01
  • Ambiente PGADMIN PostgreSQL 13:39
  • Configurando ambiente virtual VS Code 11:41
  • Instalando Bibliotecas Padrões 05:58
  • Sobre página Web do Gov 01:57
  • Localizando Dados Públicos Para Treino kaggle 05:13
  • Localizando Dados Públicos Para Treino ANAC 05:16
  • Padrão Conexão PostgreSQL com Python 12:28
  • Manipulando arquivo json em Python 18:54
  • Entendendo sobre o projeto ANAC 04:17
  • Importando e preparando dados DataFrame 09:42
  • Inserindo dados em Banco de Dados PostgreSQL 26:36
  • Configurando script python para deletar dados antes de Carga para Banco 07:15
  • Refatorando código python e salvando no Formato Py 11:49
  • Mapeando Colunas diferentes com as do Banco de Dados 16:58
  • Conectando PostgreSQL com Python usando avançado com sqlalchemy 19:24
  • Carga incremental de ano com Python e sqlalchemy 26:41
  • Carga incremental de ano com Python e sqlalchemy (Refatorando Código) 07:58
  • Carga incremental 3 últimos meses com Python e sqlalchemy 28:44
  • Importando Consulta SQL para Python 12:46
    Salvando Dataframe em vários Formatos (Json, CSV, Parquet, Excel) 28:17
  • Lendo Arquivos de vários Formatos (Json, CSV, Parquet, Excel) 22:05
  • DBeaver Conexão com vários Bancos de Dados 07:01
  • DBeaver Conexão com vários Bancos de Dados Primeiro contato 07:14
  • DBeaver Conexão com Bancos de Dados PostgreSQL 09:39
  • Extensão VS Code para conectar PostgreSQL 05:36
  • Extensão VS Code para conectar Banco de dados – Database Client 06:13

Python Conexão com MySql

  • Instalação e Configuração do MySQL [Atualizado] 08:22
  • Resolvendo erro instalação MySQL Windows não reconhece 06:27
  • Conhecendo ambiente Ambiente MySQL 14:49
  • Documentação Python MySQL 04:34
  • Configurando ambiente virtual VS Code – MySQL 03:43
  • Instalando Bibliotecas Padrões – MySQL 03:26
  • Padrão Conexão MySQL com Python mysql-connector-python 09:14
  • Padrão Conexão MySQL com Python mysql-connector-python parâmetro2 04:05
  • Importando Dados do MySQL para Python (Rodando Query) 10:33
  • Comandos básicos MySQL CREATE e DROP DATABASE-TABLE 10:29
  • Executando comando MySQL em Python 09:07
  • Sobre as próximas Aulas Documentação API do IBGE e Diagrama de banco de dados 03:35
  • Conhecendo Projeto Diagramas banco de dados MySQL 03:55
  • Ambiente Diagrama Workbench MySQL 06:01
  • Criando Primeiras Tabelas Diagrama Workbench MySQL 09:47
  • Criando primeiro Relacionamento de tabelas 06:23
  • Criando tabela de Clientes Workbench MySQL 04:57
  • Criando tabela de Ordens e Lojas Workbench MySQL 12:55
  • Criando Tabela Auxiliar (Relacionamento Muitos para Muitos) 08:13
  • Criando Script e gerando tabelas do Diagrama Workbench MySQL 08:25
  • Importando dados de categoria 06:08
  • Inserindo Dados de Dataframe Python no MySQL 13:59
  • Validando Dados Chave Primaria antes de realizar a carga 14:14
  • Organizando Código e Criando Funções em Python 12:14
  • Carga Tabela de Lojas Funções avançadas Python MySQL 20:08
  • Carga Tabela Clientes Funções avançadas Python MySQL 14:46
  • Script completo com carga de 6 Tabelas – Resolvendo Erros 08:46
  • DBeaver Conexão com Bancos de Dados MySQL 07:01
  • Extensão VS Code para conectar MySQL 09:14
    Conexão
  • MySQLsqlalchemy 14:47
  • Conexão Mysql sqlalchemy enviando dados para o MySQL – Avançado 19:42
  • Migração de Bancos de dados diferentes PostgreSQL – MySQL 17:30
  • Refatorando código Migração PostgreSQL – MySQL 04:08
  • Migração de Bancos de dados diferentes MySQL – PostgreSQL 08:03

SQLite + Projeto Prático

  • Conhecendo SQLITE e instalado SQLiteStudio 07:04
  • Resolvendo Erro executar SQLite Studio 02:40
  • Conhecendo Projeto do módulo SQLite 01:33
  • Preparando ambiente VS Code – SQLite 03:20
  • Criando primeiro banco e primeira tabela SQLite 09:17
  • Inserindo primeiros dados no SQLite – SQLite Studio 06:24
  • Primeiros Comandos SQLite em Python 22:08
  • Passos do Projeto Cadastro de Produtos 03:31
  • Criando estrutura Banco de dados SQLITE 05:45
  • Criando interface gráfica Python com tkinter – Comandos básicos 10:14
  • Interface gráfica Python com tkinter – Criando Varias Opções 10:33
  • Crianto botões Tkinter 04:45
  • Criando interação Código com Interface gráfica Python 19:19
  • Interação Código com Interface gráfica Python (Limpando resultados e criando mês) 09:42
  • Finalizando Projeto Interface gráfica Python (SQLite) 11:08
  • Validação de número no projeto SQLITE 03:34
  • DBeaver Conexão com Bancos de Dados SQLite 04:04

ETL Básico com Pandas

  • Sobre o Módulo ETL 01:03
  • Importando e manipulando Arquivo Excel em Python Módulo Pandas 23:23
  • Importando Arquivo CSV Dicas de ProgramaçãoVia Python Módulo Pandas 19:46
  • Tratando Nulos e Substituindo Valores Dataframe Python (fillna e replace) 23:25
  • Consolidando vários arquivos em Python 21:18
  • Formas de salvar arquivos Consolidados 10:45
  • Conectando Python com Power BI 15:10
  • Conversão de dados Módulo Pandas 13:58
  • Conversão de Datas Módulo Pandas 21:06
  • Adicionando Novas Colunas em Dataframe 22:25
  • Arquivo em Excel com Várias Abas no Python 35:39
  • Selecionando apenas Algumas colunas de um Dataframe 06:58
  • Removendo duplicatas (Drop Duplicates) Módulo Pandas 16:57
  • Classificando dados de forma crescente e decrescente 09:20
  • Renomeando Colunas Python Pandas 11:18

Conexão Python com SQL Server

  • Material Para Download 01:06
  • Instalando Programas- SQL server – SSMS Sql Management 12:18
  • Preparando Banco de Dados 09:52
  • Inserindo Banco De Dados – SQL Server 09:47
  • Localizando dados públicos da Microsoft 10:16
  • Conhecendo Banco de Dados e Fazendo Primeira consulta (Select) 11:57
  • Agilidade e ganho de produtividade ao pesquisar colunas em tabela 14:47
  • Selecionar dados distintos (Select distinct) 03:55
  • Função de Restrição WHERE 13:08
  • Função de Restrição WHERE Not IN 09:30
  • Dados Maior que e Menor que (Funções Matemáticas) 14:31
  • Função de Restrição WHERE entre valores 05:34
  • Função between -Entre- (Dados entre 2 valores) 09:49
  • Where is Null – Is Not Null ( Excluindo linhas em Branco) 11:01
  • Order By – ordenar avançado 11:03
  • Função IN restrigindo consulta 08:22
  • Função Like – buscar textos em consultas 09:05
  • Conectando Python com Banco de Dados SQL Server 28:35
  • Carga Tabela Categoria 13:11
  • Carga Tabela Items 17:12
  • Carga tabela de Ordens 07:39
  • Carga tabela de Clientes Tratando erro CSV 22:11
  • Carga de Vários Data Flames em banco de dados 18:15
  • Executando Querys sql Server em Python 12:43
  • Executando Query Avançada Server em Python 22:56
  • Mesclando – Juntando Varias Tabelas em Python 19:49
  • Método Concat – Juntando Dados 15:39
  • Extraindo informações de Banco de Dados Diferentes 18:25
  • Transformando arquivo Python em Executavel 20:45
  • Transformando arquivo Python em Executavel – usando interface gráfica 08:48
  • Como fazer para Executar script Python automaticamente – Agendador de tarefas 22:52
  • Como fazer para rodar scrypt Python automaticamente – Tarefas Windows 24:18
  • Conexão SQL Server Alschemy extração de Dados 12:38
  • Python SQLAlchemy SQL Server enviando dados para Banco 16:14
  • Executando comando transact-SQL em Python 13:29
  • DBeaver Conexão com Bancos de Dados SQL Server (Resolvendo Erro) 09:51

API IBGE

  • Sobre API Com Python 02:44
  • Primeira conexão com Api 13:54
  • Transformando dados de API IBGE em DataFrame 06:08
  • Tratativas de dados avançados API formato Json 12:10
  • Comandos avançados API json 14:41
  • Query Builder – API IBGE 04:02

Google BigQuery – Plataforma Cloud

  • Material para Download – Google Bigquery 01:27
  • Criando Conta Gratuita – Google BigQuery Grátis -m Google Cloud 10:57
  • Criando Projeto e Banco de Dados no BigQuery 10:29
  • Estrutura básica de projeto Google Bigquery 21:27
  • Instalando Bibliotecas de Conexão 07:19
  • Configurando Credencias de Acesso ao Google BigQuery 08:48
  • Extraindo Dados do Google BigQuery com Python 15:30
  • Extraindo Dados do Google BigQuery com Python infos de Credenciais 05:43
  • Como achar e criar Dados fictícios na Web 14:32
  • Ativando conta de Faturamento – Google Cloud Gratuito – Google BigQuery Gratuit 08:07
  • Carregando Dados para o Google BigQuery Com Python 15:13
  • Carregando Dados para o Google BigQuery Com Python #2 07:43
  • Carregando vários Arquivos de um projeto BigQuery Com Python 22:11
  • Extraindo Vários Arquivos de um projeto BigQuery Com Python 39:44
  • Executar comando de exclusão antes da carga (função Data Google BigQuery) 13:54
  • Executar comando de exclusão antes da carga Com Python 17:49
  • Mantendo histórico de Base Google BigQuery com Python 28:22
  • Consulta SQL avançado em Data Flame python 24:05
  • Consulta SQL avançado de Datas em Data Flame python 19:55
  • Configurando API Google Drive e Google sheets para importar dados no Python 14:03
  • Importando Dados do Google Planilhas on-line google sheets com python 17:06
  • Conexão Google BigQuery com Google Planilhas – Google Sheets 16:47

MongoDB – Banco de dados NoSQL – Não estruturados

  • Sobre MongoDB 12:58
    Baixando e instalando MongoDB Community e Compass – Grátis 06:00
  • MongoDb Resolvendo Erro no Windows 05:04
  • Primeiro Contato com MongoDB Compass 08:49
  • Criando Conta MongoDB Online Grátis 15:32
  • Resolvendo erro de acesso MongoDB Online 03:30
  • Instalando extensão MongoDB no Vscode e configurando Conexão 07:24
  • Primeiras configurações VS Code extensão MongoDB 09:03
  • Primeiro insert mongoDB com InsertOne e insertMany 13:13
  • Consultas em MongoDB 12:32
  • Query MongoDb Usando inteligencia artificial 09:15
  • Selecionando apenas algumas Colunas 05:04
  • Estruturas dos dados Json aninhados e array 13:47
  • Localizando Dados Públicos Para Treino ANAC 05:16
  • Extensão Json Para VS Code 02:48
  • Importando Arquivo Json para MongoDB 03:53
  • Primeira Conexão MongoDB – Python 14:03
  • Selecionando Colunas Filtros Avançados MongoDB 12:51
  • Transformando dados MongoDB em um DataFrame Python 09:21
  • Tratando dados com Objetos Aninhados – Comando avançados 15:21
  • Tratando dados com Objetos Aninhados Tabela Única 09:41

Módulo Bônus – Dica e Orientação

  • Continue sua trajetória na área de Dados 04:12
  • Tudo sobre a Trilha de Engenharia de dados 35:26
04 - Databricks Developer SQL e Python Para Análise de Dados

Introdução

  • Introdução 11:31
  • Recomendações Sobre o Curso – Importante 03:56

Primeiras Configurações e Cadastros

  • Criando Conta Gratuitas – Databricks 06:32
  • Conhecendo os Menus Databricks 05:34
  • Documentação do Databricks 05:50
  • Criando e configurando Primeiro Cluster Máquina Virtual grátis 06:49

Primeiros Comandos Manipulação de Arquivos

  • Material para Download 13:41
  • Atualização Catalog 05:14
  • Importando Scripts e Notbooks para o Databricks 09:43
  • Manipulação de Dados Databricks dbutils 24:49
  • Manipulando DataFrame Databricks 19:19
  • Localizando Dados Públicos Para Treino databricks-datasets + kaggle.com 11:38

Comandos SQL

  • Criando Banco de Dados e importando Tabelas para Databricks 27:54
  • Salvando Consulta SQL em um Dataframe Do Databricks 12:57
  • Salvando Dados em diferentes Formatos 27:03

Tipos de Dados PySpark – Databricks

  • Baixando Dados Públicos do Governo – CSV 04:22
  • Formato CSV avançado PySpark Databricks 15:33
  • Salvando e Lendo Arquivo CSV Compactados 13:28
  • Baixando Dados Públicos do Governo – Json 05:58
  • Manipulando Arquivo no Formato Json 10:58
  • Manipulando Arquivo Parquet e comparação com Json e Csv 17:40
  • Arquivos Parquet Particionado Exemplo Prático 16:45
  • Sistema interno de Arquivo 13:38

Databricks no Power BI

  • Conectando Databricks Com Power BI 13:18
  • Construindo Query Personalizada 19:01
  • Importando Tabela com dados Completos para Power BI 08:10
  • Importado Dados de Origem para formato Delta no Databricks 11:03
  • Importando Dados Databricks Para Power BI (Resolvendo Erro) 15:57

Filtros Avançados de Dados

  • Filtros de textos no Databricks (Método Filter) 08:11
  • Filtro composto em DataFrame 12:57
  • Filtro avançado Método where 06:12
  • Comandos SQL 12:05
  • Funções avançadas Spark (índices e Variaveis) 18:42
  • Corrigindo erro de maiúsculas e minúsculas 08:25
  • Como Eliminar Espaços Excessivos em Seus Textos 15:00
  • Substituindo Dados avançados funções translate, lower e trim 19:20
  • Função Like, achando trechos de textos 08:04
  • Filtro de Valores 19:24

Manipulação de Colunas

  • Schema de Dados (Verificando tipo de da dados) 08:15
  • Selecionando apenas algumas colunas do Dataframe 10:11
  • Criando uma nova Coluna 15:54
  • Criando Coluna Condicional 11:59
  • Criando Coluna Condicional de Valor 12:41
  • Criando Coluna Condicional entre Valores 14:24
  • Comando Sql Criando Coluna condicional 14:17
  • Comando Sql Criando Coluna condicional entre Valores 14:52

Conversão de Dados

  • Renomeando Colunas withColumnRenamed e Alias 08:27
  • Conversão de Dados método cast + withColumn 12:26
  • Conversões numéricas Avançadas 11:22
  • Arredondamento de Números 09:05

Trabalhando com Data e Hora

  • Trabalhando com Datas DataFrame 15:53
  • Comandos e Formatos de Datas avançado 10:58
  • Calcular Diferença entre Datas adição e Subtração 19:19
  • Trabalhando com Datas avançadas em SQL Databricks 18:21

Tratando Dados Nulos

  • Tratando dados nulos com Método dropna e seus parametros 17:20
    Filtrando dados nulos 12:10
  • Substituindo dados nulos 15:55
  • Tratando nulos Databricks em SQL 11:34

Funções de agregações

  • Agregações no Databricks Contagem, média, mínimo e máximo 08:35
  • Agregações no Databricks Contagem, média, mínimo e máximo em SQL 20:12
  • Databricks Delta Lake Transações e Controle de Dados
    O que é Delta Lake e seus benefícios 11:38
  • Tudo sobre Logs de Tabelas Delta Databricks 15:51
  • Restaurando Dados usando tabelas tipo Delta Databricks 09:46
  • Otimização de Dados Salvando em modo particionado 09:20
  • Otimização de Dados Funções avançadas 09:09

Conta na Microsoft Azure Cloud

  • Material Para Download Miniprojeto 00:00
  • Orientações antes da criação de conta 05:19
  • Custos do projeto 04:06
  • Criando conta na Microsoft Azure 08:44
  • Definindo alerta de Gastos 06:26
  • Arquitetura Básica do Projeto Azure 05:24

GitHub

  • Dica plus Sobre GitHub integrado com Databricks 02:19
  • Recomendações sobre aulas GitHub 01:56
  • Criando Conta no Github Grátis e Baixando Arquivos 08:26
  • Como Instalar GitHub Desktop e GitBash 05:32
  • Como importar e compartilhar arquivos no GitHub 18:03
  • Criando Repositório e importando Arquivos via GitHub Descktop sem usar scripts 19:18
  • Clonando Repositórios e projetos Web 02:23
  • Aprendendo comandos Básicos GitHub e GitBash 19:13

Preparando Ambiente Azure

  • Criando Grupo de Recurso 03:52
  • Criando Conta de Armazenamento Gen2 06:54
  • Estruturando Data Lake Camadas de armazenamento Bronze, Prata e Ouro 08:36
  • Criando Autenticação e autorização 07:44
  • Atribuindo permissões ao Data Lake do projeto 10:44
  • Azure Storage Explorer 13:13

Preparando Ambiente Azure Databricks

  • Criando Conta Azure Databricks 06:26
  • Conhecendo o Ambiente Azure Databricks 08:59
  • Conectando Databricks Com GitHub 14:32
  • Configurando Cluster (Maquina Virtual de execução) – Tudo sobre valores 18:34
  • Importando e Exportando Notebook para o Azure Databricks – GitHub 09:45
  • Configurando Acesso Databricks com Azure Data Lake 11:25

Projeto Prático Azure Databricks

  • Transformando Dados da Camada Bronze Para a Silver 24:53
  • Descrição do projeto Gold 04:11
  • Transformando Dados da Camada Silver Para a Gold 22:25
  • Refaturando Notebook Gold 05:58
  • Organizando Área de trabalho e Ropositório Github 10:25
  • Criando job de execução autoimática Databricks – Pipeline 15:33
  • Criando recurso Data Factory 04:53
  • Configurando Data factory no GitHUb 04:00
  • Criando Conexão Pipeline Azure com Databricks 11:53
  • Testando e Configurando Pipeline para rodar automaticamente 10:42
  • Deletando Recursos do projeto 08:14

Módulo Bônus – Dica e Orientação

  • Continue sua trajetória na área de Dados 04:12
  • Tudo sobre a Trilha de Engenharia de dados 35:26
05 - Power BI Projetos Práticos +Designer Personalizado Com Figma

Introdução

  • Apresentação do Curso 08:01

Introdução Power BI

  • Por que escolher Power BI? 04:44
  • Material para Download 02:55
  • Instalando o Power BI 06:00
  • Conhecendo Ambiente do Power BI 06:42
  • Power query o que é? 05:19
  • Documentação Power BI 03:02

Power BI – Projeto Bikes

  • Sobre primeiro Projeto 01:53
  • Importando base do Projeto 05:15
  • Transformação de dados 06:19
  • Primeiros Visuais 10:09
  • Parâmetros e gráficos 09:35
  • Baixando Figma – Editor de imagem 05:43
  • Comandos Básicos Figma 07:21
  • Criando Background personalizado 08:14
  • Elementos personalizados no Figma 10:04
  • Barra de Menu e Páginas Personalizadas 12:35
  • Salvando Background e Importando paraPower BI 12:15
  • Finalizando Projeto 05:35

Mini Projeto – Base de dados

  • Sobre projeto 2 inspiração 04:34
  • Localizando Dados Públicos Para Treino kaggle 05:13
  • Localizando Dados Públicos Para Treino ANAC 05:16
  • Conhecendo base de dados 04:14
  • Importando base do Projeto 09:29

Modelagem de Dados

  • O que é linguagem Dax e M 07:27
  • Ajuste coluna de Estado 01:14
  • Tratativas de Texto – Power Query 09:34
  • Alterando Fonte de Dados 03:26
  • Tratativas de Data- Power Query 08:30
  • Tipos de Dados no Power Query 07:18
  • Modelagem de dados 13:59
  • Criando Medidas 13:54
  • Dax Básico 11:03

Ferramentas de Visualização

  • Cartões do Power Bi 15:43
  • Gráficos de Linhas 13:22
  • Cartões do Personalizados 06:03
  • Gráficos de Barras e Linhas 05:18
  • Gráficos de Barras 08:50
  • Gráficos de Pizza e Rosca 12:59
  • Melhorando o Layout de Treino 09:31
  • Interações e Gráfico e Filtros 08:21
  • Dicas Sobre Gráfico de Pizza 03:33
  • Tudo sobre Tabelas 11:44
  • Tabela Matriz 08:21
  • Recurso de Parâmetros 21:51
  • Dicas de Parâmetros 03:36
  • Gráfico de hierarquia 06:24
  • Mapa em power BI 13:56
  • Tipos de Mapas Power BI 05:56
  • Mapa de Forma 13:11
  • Formatação Condicional 12:17
  • Tudo sobre Filtros 17:06

Figma – Projeto Personalizado

  • Plugins Figma – Removendo Fundo de Imagem 14:24
  • Plugins Figma – Cortando Visuais personalizados 04:51
  • Figma – Cores Personalizadas 06:43
  • Figma – Captura de Cores no Navegador 05:37
  • Figma – Grids – Grades de referências 12:43
  • Figma Referências de imagens e icones 09:56
  • Distribuindo Layouts 07:13
  • Construindo Background 11:04
  • Configurando Páginas 05:14
  • Criando Layout Modo Claro 11:43
  • Configurando Páginas Claras 06:01
  • Finalizando Projeto 06:02

Módulo Bônus – Dica e Orientação

  • Continue sua trajetória na área de Dados 04:12
  • Tudo sobre a Trilha de Engenharia de dados 35:26

6650+
ALUNOS

Já são mais de 6650 alunos em nossa plataforma. Você estará conectado com nosso instrutor e alunos de toda parte do mundo.

+490 aulas liberadas

Acesso completo e ilimitado

Oferta exclusiva para alunos Amazoncode!

Descubra a jornada que irá impulsionar sua carreira na Engenharia de Dados. Com mais de 490 aulas abrangentes, nossos 5 cursos são projetados para transformar você em um Engenheiro de Dados especialista, pronto para enfrentar os desafios do mundo de Big Data. Aprofunde seus conhecimentos em ferramentas e tecnologias essenciais, como SQL, Python, Hadoop e Spark, e domine a criação e gestão de pipelines de dados eficientes.  O Prof. Edmilson tornará está jornada dinâmica e estimulante. Ao final da formação, você estará preparado para criar soluções robustas de engenharia de dados que atendam às demandas das empresas modernas. Inscreva-se hoje mesmo e inicie sua transformação profissional!

Suporte em até 24h

Garantimos um compromisso real de suporte, proporcionando atendimento rápido para esclarecer todas as dúvidas dos alunos em até 24h. O Prof. Edmilson está comprometido com o sucesso dos seus alunos.

Sobre o professor

Edmilson Alves dos Santos é Analista de BI, Engenheiro de Dados, Consultor e Instrutor em automação ETL e pipelines de dados, com MBA em Ciência de Dados e Big Data pela PUC Minas. Possui sólida experiência em processos de ETL e manipulação de dados, abrangendo diversas bases de dados para análise, extração e modelagem. Ele desenvolve projetos completos de Business Intelligence, desde a coleta e estruturação de dados até a criação de dashboards personalizados, utilizando ferramentas como Python, Databricks, SSIS, Apache Spark, Power BI, SQL Server, MySQL, PostgreSQL, Google BigQuery, MongoDB e Google Looker Studio. Também é entusiasta em compartilhar conhecimento, ministrando treinamentos e cursos para capacitar novos profissionais da área de dados. Suas formações incluem, além do MBA em Ciência de Dados, MBA em Logística e Gestão de Marketing, além de especializações em Engenharia de Produção e Supply Chain Management.


+ 5 cursos completos
+ 5 certificados (um por curso)
+ 1 Ebook
+ Mais de 50 Projetos 50 Projetos

VOCÊ PAGARIA

R$ 990,00

De R$ 990,00

Por apenas
12x de R$ 12,48

ou R$ 147,00 à vista

Pagamento Único

Avaliação 4,9
4.9/5

Feedbacks dos Alunos

Prints de feedbacks espontâneos em nossa plataforma

Perguntas Frequentes

Quais são os projetos desenvolvidos?
  • Projetos Práticos com Python
  • Construir pipelines ETL utilizando Apache Spark SQL e Python.
  • Criar conta no BigQuery e realizar consultas nos bancos de dados com SQL, do BÁSICO AO AVANÇADO
O programa tem certificado de conclusão?

Sim, ao finalizar cada curso, você receberá um certificado comprovando suas habilidades técnicas.

Qual a carga horária dos cursos?

São mais de 94 horas de videoaulas, além do tempo necessário para as atividades práticas e projetos.

Por quanto tempo terei acesso ao curso?

Mesmo com pagamento único, seu acesso é vitalício, garantindo flexibilidade em seu aprendizado.

Como tenho acesso aos 05 cursos?

Após confirmação do pagamento, você receberá por e-mail os links de acesso aos cursos para fazer a sua inscrição.

Quais as formas de pagamento?

Aceitamos cartão de crédito, cartão de débito Elo, boleto bancário ou PIX, proporcionando segurança via MercadoPago.

Como posso obter ajuda/suporte caso necessite?

Em caso de dúvidas ou necessidade de suporte, estamos aqui para ajudar. Cada um dos nove cursos dispõe de um fórum dedicado, onde os alunos podem fazer perguntas a qualquer momento. O Prof. Edmilson se compromete a responder a todas as dúvidas em um prazo máximo de 24 horas.

Ambiente seguro

Amazoncode EPP Ltda
CNPJ 50.712.398/0001-67