Data Warehousing with BigQuery: Storage Design, Query Optimization, and Administration
Neste curso, você aprenderá sobre os aspectos internos do BigQuery e as práticas recomendadas para projetar, otimizar e administrar seu data warehouse. Por meio de uma combinação de palestras, demonstrações e laboratórios, você aprenderá sobre a arquitetura do BigQuery e como projetar armazenamento e esquemas ideais para ingestão e alterações de dados. Em seguida, você aprenderá técnicas para melhorar o desempenho de leitura, otimizar consultas, gerenciar cargas de trabalho e usar ferramentas de registro e monitoramento. Você também aprenderá sobre os diferentes modelos de preços. Por fim, você aprenderá vários métodos para proteger dados, automatizar cargas de trabalho e criar modelos de machine learning com o BigQuery ML.
Visão Geral do Treinamento
Neste curso, você aprenderá sobre os aspectos internos do BigQuery e as práticas recomendadas para projetar, otimizar e administrar seu data warehouse. Por meio de uma combinação de palestras, demonstrações e laboratórios, você aprenderá sobre a arquitetura do BigQuery e como projetar armazenamento e esquemas ideais para ingestão e alterações de dados. Em seguida, você aprenderá técnicas para melhorar o desempenho de leitura, otimizar consultas, gerenciar cargas de trabalho e usar ferramentas de registro e monitoramento. Você também aprenderá sobre os diferentes modelos de preços. Por fim, você aprenderá vários métodos para proteger dados, automatizar cargas de trabalho e criar modelos de machine learning com o BigQuery ML.
O que sua equipe vai aprender
- Descrever os fundamentos da arquitetura do BigQuery.
- Implementar padrões de design de armazenamento e esquema para melhorar o desempenho.
- Use DML e agende transferências de dados para ingerir dados.
- Aplique as melhores práticas para melhorar a eficiência de leitura e otimizar o desempenho da consulta.
- Gerencie a capacidade e automatize as cargas de trabalho.
- Entenda padrões e antipadrões para otimizar consultas e melhorar o desempenho de leitura.
- Use ferramentas de registro e monitoramento para entender e otimizar os padrões de uso.
- Aplicar as melhores práticas de segurança para governar dados e recursos.
- Crie e implante diversas categorias de modelos de aprendizado de máquina com o BigQuery ML.
Público-Alvo
- Analistas de dados
- cientistas de dados
- engenheiros de dados e desenvolvedores que realizam trabalhos em uma escala que exige conhecimento avançado dos componentes internos do BigQuery para otimizar o desempenho.
Conteúdo Programático
- Explique os benefícios do armazenamento em colunas.
- Entenda como o BigQuery processa dados.
- Explore os conceitos básicos do serviço de embaralhamento do BigQuery para melhorar a eficiência das consultas.
- Compare o desempenho de diferentes esquemas (floco de neve, desnormalizado, campos aninhados e repetidos).
- Particione e agrupe dados para melhor desempenho.
- Melhore o design do esquema usando campos aninhados e repetidos.
- Descreva práticas recomendadas adicionais, como expiração de tabela e partição.
- Ingerir dados em lote e streaming.
- Consultar fontes de dados externas.
- Agendar transferências de dados.
- Entenda como usar a API de gravação de armazenamento.
- Escrever instruções DML.
- Resolver problemas comuns de desempenho e gargalos do DML.
- Identifique dimensões de mudança lenta (SCD) em seus dados e faça atualizações.
- Explore o cache do BigQuery.
- Crie visualizações materializadas.
- Trabalhe com o BI Engine para acelerar suas consultas SQL.
- Use a API de leitura de armazenamento para acesso rápido ao armazenamento gerenciado pelo BigQuery.
- Explique as ressalvas ao usar fontes de dados externas.
- Interpretar detalhes de execução do BigQuery e o plano de consulta.
- Otimize o desempenho da consulta usando métodos sugeridos para instruções e cláusulas SQL.
- Demonstrar melhores práticas para funções em casos de uso empresarial.
- Defina um slot do BigQuery.
- Explicar modelos de preços e estimativas de preços (interface de usuário do BigQuery, bq dry_run, API de trabalhos).
- Entenda reservas de slots, compromissos e atribuições.
- Identificar melhores práticas para controlar custos.
- Use o Cloud Monitoring para visualizar métricas do BigQuery.
- Explore o painel de administração do BigQuery.
- Use logs de auditoria da nuvem.
- Trabalhe com tabelas INFORMATION_SCHEMA para obter insights para suas entidades do BigQuery.
- Explore a descoberta de dados usando o Data Catalog.
- Discuta a governança de dados usando a API DLP e o Catálogo de Dados.
- Crie políticas de IAM (por exemplo, visualizações autorizadas) para proteger recursos.
- Proteja dados com classificações (por exemplo, políticas em nível de linha).
- Entenda como o BigQuery usa criptografia.
- Agendar consultas.
- Use scripts e procedimentos armazenados para criar transformações personalizadas.
- Descreva como integrar cargas de trabalho do BigQuery com outros produtos de big data do Google Cloud.
- Descreva algumas das diferentes aplicações do BigQuery ML.
- Crie e implante diversas categorias de modelos de aprendizado de máquina com o BigQuery ML.
- Use o AutoML Tables para resolver problemas comerciais de alto valor.
Solicitar Turma In-Company
Treinamento exclusivo para a sua equipe, com laboratórios práticos sob medida e condições corporativas.
- Datas e horários flexíveis para sua equipe
- Laboratórios práticos em ambiente oficial Google Cloud
- Emissão de certificados oficiais de conclusão
Acelere a Transformação em Nuvem da Sua Equipe
Converse com nossos especialistas de currículo para desenhar uma trilha personalizada para sua empresa.