Arki1 - Google Cloud Authorized Training Partner
Data & Analytics

Data Warehousing with BigQuery: Storage Design, Query Optimization, and Administration

Neste curso, você aprenderá sobre os aspectos internos do BigQuery e as práticas recomendadas para projetar, otimizar e administrar seu data warehouse. Por meio de uma combinação de palestras, demonstrações e laboratórios, você aprenderá sobre a arquitetura do BigQuery e como projetar armazenamento e esquemas ideais para ingestão e alterações de dados. Em seguida, você aprenderá técnicas para melhorar o desempenho de leitura, otimizar consultas, gerenciar cargas de trabalho e usar ferramentas de registro e monitoramento. Você também aprenderá sobre os diferentes modelos de preços. Por fim, você aprenderá vários métodos para proteger dados, automatizar cargas de trabalho e criar modelos de machine learning com o BigQuery ML.

Duração 24h
Nível Intermediário
Modalidade In-Company / Online ao Vivo
Instrutor Homologado Google Cloud

Visão Geral do Treinamento

Neste curso, você aprenderá sobre os aspectos internos do BigQuery e as práticas recomendadas para projetar, otimizar e administrar seu data warehouse. Por meio de uma combinação de palestras, demonstrações e laboratórios, você aprenderá sobre a arquitetura do BigQuery e como projetar armazenamento e esquemas ideais para ingestão e alterações de dados. Em seguida, você aprenderá técnicas para melhorar o desempenho de leitura, otimizar consultas, gerenciar cargas de trabalho e usar ferramentas de registro e monitoramento. Você também aprenderá sobre os diferentes modelos de preços. Por fim, você aprenderá vários métodos para proteger dados, automatizar cargas de trabalho e criar modelos de machine learning com o BigQuery ML.

O que sua equipe vai aprender

  • Descrever os fundamentos da arquitetura do BigQuery.
  • Implementar padrões de design de armazenamento e esquema para melhorar o desempenho.
  • Use DML e agende transferências de dados para ingerir dados.
  • Aplique as melhores práticas para melhorar a eficiência de leitura e otimizar o desempenho da consulta.
  • Gerencie a capacidade e automatize as cargas de trabalho.
  • Entenda padrões e antipadrões para otimizar consultas e melhorar o desempenho de leitura.
  • Use ferramentas de registro e monitoramento para entender e otimizar os padrões de uso.
  • Aplicar as melhores práticas de segurança para governar dados e recursos.
  • Crie e implante diversas categorias de modelos de aprendizado de máquina com o BigQuery ML.

Público-Alvo

  • Analistas de dados
  • cientistas de dados
  • engenheiros de dados e desenvolvedores que realizam trabalhos em uma escala que exige conhecimento avançado dos componentes internos do BigQuery para otimizar o desempenho.

Conteúdo Programático

Módulo 1: Fundamentos da arquitetura do BigQuery Módulo 1
  • Explique os benefícios do armazenamento em colunas.
  • Entenda como o BigQuery processa dados.
  • Explore os conceitos básicos do serviço de embaralhamento do BigQuery para melhorar a eficiência das consultas.
Módulo 2: Otimizações de armazenamento e esquema Módulo 2
  • Compare o desempenho de diferentes esquemas (floco de neve, desnormalizado, campos aninhados e repetidos).
  • Particione e agrupe dados para melhor desempenho.
  • Melhore o design do esquema usando campos aninhados e repetidos.
  • Descreva práticas recomendadas adicionais, como expiração de tabela e partição.
Módulo 3: Ingestão de dados Módulo 3
  • Ingerir dados em lote e streaming.
  • Consultar fontes de dados externas.
  • Agendar transferências de dados.
  • Entenda como usar a API de gravação de armazenamento.
Módulo 4: Alterando Dados Módulo 4
  • Escrever instruções DML.
  • Resolver problemas comuns de desempenho e gargalos do DML.
  • Identifique dimensões de mudança lenta (SCD) em seus dados e faça atualizações.
Módulo 5: Melhorando o desempenho de leitura Módulo 5
  • Explore o cache do BigQuery.
  • Crie visualizações materializadas.
  • Trabalhe com o BI Engine para acelerar suas consultas SQL.
  • Use a API de leitura de armazenamento para acesso rápido ao armazenamento gerenciado pelo BigQuery.
  • Explique as ressalvas ao usar fontes de dados externas.
Módulo 6: Otimizando e solucionando problemas de consultas Módulo 6
  • Interpretar detalhes de execução do BigQuery e o plano de consulta.
  • Otimize o desempenho da consulta usando métodos sugeridos para instruções e cláusulas SQL.
  • Demonstrar melhores práticas para funções em casos de uso empresarial.
Módulo 7: Gestão de Carga de Trabalho e Precificação Módulo 7
  • Defina um slot do BigQuery.
  • Explicar modelos de preços e estimativas de preços (interface de usuário do BigQuery, bq dry_run, API de trabalhos).
  • Entenda reservas de slots, compromissos e atribuições.
  • Identificar melhores práticas para controlar custos.
Módulo 8: Registro e monitoramento Módulo 8
  • Use o Cloud Monitoring para visualizar métricas do BigQuery.
  • Explore o painel de administração do BigQuery.
  • Use logs de auditoria da nuvem.
  • Trabalhe com tabelas INFORMATION_SCHEMA para obter insights para suas entidades do BigQuery.
Módulo 9: Segurança no BigQuery Módulo 9
  • Explore a descoberta de dados usando o Data Catalog.
  • Discuta a governança de dados usando a API DLP e o Catálogo de Dados.
  • Crie políticas de IAM (por exemplo, visualizações autorizadas) para proteger recursos.
  • Proteja dados com classificações (por exemplo, políticas em nível de linha).
  • Entenda como o BigQuery usa criptografia.
Módulo 10: Automatizando Cargas de Trabalho Módulo 10
  • Agendar consultas.
  • Use scripts e procedimentos armazenados para criar transformações personalizadas.
  • Descreva como integrar cargas de trabalho do BigQuery com outros produtos de big data do Google Cloud.
Módulo 11: Aprendizado de máquina no BigQuery Módulo 11
  • Descreva algumas das diferentes aplicações do BigQuery ML.
  • Crie e implante diversas categorias de modelos de aprendizado de máquina com o BigQuery ML.
  • Use o AutoML Tables para resolver problemas comerciais de alto valor.
Atendimento Corporativo

Solicitar Turma In-Company

Treinamento exclusivo para a sua equipe, com laboratórios práticos sob medida e condições corporativas.

  • Datas e horários flexíveis para sua equipe
  • Laboratórios práticos em ambiente oficial Google Cloud
  • Emissão de certificados oficiais de conclusão
Solicitar Proposta In-Company
Capacitação Corporativa

Acelere a Transformação em Nuvem da Sua Equipe

Converse com nossos especialistas de currículo para desenhar uma trilha personalizada para sua empresa.