DataLakes Falar com engenharia
DATALAKES Engenharia de dados e infraestrutura

Dados confiáveis. Arquitetura sustentável. Decisões melhores.

Existem duas camadas entre a operação e a decisão. A camada física, que carrega o dado, e a plataforma, que transforma esse dado em número. Quando cada uma é de um fornecedor, o problema fica sem dono. Nós projetamos e operamos as duas.

Data lake e lakehouseCamadas bronze, prata e ouro com contrato de dado e linhagem.
Arquitetura e engenhariaModelagem dimensional, ingestão, orquestração e qualidade.
Power BI e Power AutomatePainel que abre rápido e processo que anda sozinho.
Cabeamento e sala técnicaProjeto, lançamento, certificação de link e as built.
O que entregamos

Seis frentes, uma engenharia só.

Não separamos o time que puxa o cabo do time que modela o dado. É a mesma casa que responde pelo caminho inteiro, do ponto de rede até a medida que aparece no painel.

01

Data lake e lakehouse

Um lugar só para o dado bruto, o dado tratado e o dado pronto para uso, com controle de quem lê o quê e histórico do que mudou.

  • Camadas bronze, prata e ouro em Delta ou Iceberg
  • Catálogo, linhagem e controle de acesso por domínio
  • Particionamento e compactação com custo previsível
02

Engenharia de dados

Pipelines que rodam sozinhos, avisam quando quebram e não deixam número sumir no meio do caminho.

  • Ingestão em lote, CDC e streaming
  • Orquestração com retentativa, alerta e reprocesso
  • Conferência de contagem e soma ponta a ponta
03

Arquitetura de dados

Modelo dimensional de verdade, com um fato por processo e dimensões compartilhadas, para o filtro de uma área mover todas as áreas juntas.

  • Modelagem estrela, floco e Data Vault quando cabe
  • Dicionário, contrato de dado e regra de negócio versionada
  • Desenho as is, to be e plano de transição
04

BI e analytics

Painel construído sobre a camada ouro, com medida escrita uma vez e reaproveitada, que abre em segundos e não pede que ninguém confira na planilha depois.

  • Power BI com modelo importado, DirectQuery ou composto
  • Segurança em nível de linha por gerência, canal ou filial
  • Também em Grafana, Looker, Metabase, Qlik ou Tableau
05

Automação de processo

O que hoje é planilha passada por e mail vira fluxo com aprovação, prazo, registro de quem aprovou e aviso quando estoura.

  • Power Automate, Power Apps e Dataverse com governança
  • Integração com SAP, Protheus, RM, ERP próprio e APIs
  • Trilha de auditoria e reprocesso de exceção
06

Infraestrutura e cabeamento

Projeto executivo, lançamento, identificação, certificação de cada link e documentação que continua servindo três anos depois.

  • Cabeamento estruturado metálico e óptico, backbone e horizontal
  • Sala técnica, racks, energia, climatização e aterramento
  • Certificação com relatório por ponto e as built entregue
Construção

Uma arquitetura sendo construída,
peça por peça.

Noventa e seis segundos, sem áudio e sem slide. A plataforma aparece na ordem em que é montada de verdade, do primeiro sistema de origem até o painel que a diretoria abre, com a decisão que existe atrás de cada peça.

Capítulos

Cada peça entra por um motivo

Nada aparece porque é bonito no desenho. A fila existe porque a origem não espera, a quarentena existe porque a linha ruim não pode virar número.

A camada física vem antes

Painel que trava às oito da manhã costuma ser uplink saturado ou link fora da norma, e não modelo mal escrito. O desenho começa no cabo.

O ouro é o contrato

Painel, aplicação e modelo estatístico leem a mesma camada. Quando a regra muda, ela muda em um lugar e todos os três acompanham.

O que sobra é a operação

Terminada a construção, fica um sistema que roda sozinho, avisa quando quebra e registra o que fez. Isso é o que entregamos.

Animação técnica autoral, gravada quadro a quadro. Sem banco de imagem e sem trilha. 1920×1080 · 30 fps · sem áudio

Arquiteturas de referência

Os cinco desenhos que a gente
repete e adapta.

Não começamos do zero em cada projeto. São padrões testados, que a gente ajusta ao seu volume, à sua regulação e ao que você já tem instalado. Passe o olho: se um deles parece o seu cenário, já temos por onde começar a conversa.

Arraste o diagrama para o lado para ver a arquitetura inteira.

Orquestração e observabilidade agendamento retentativa alerta linhagem custo por carga ORIGENS ERP SAP, Protheus, RM CRM e atendimento chamados e contratos Planilhas e arquivos CSV, XLSX, posicional Chão de fábrica OPC UA e sensores APIs de parceiro REST, SFTP, EDI toda origem entra pelo mesmo contrato de dado INGESTÃO Carga em lote janela diária CDC contínuo log do banco Streaming evento a evento Contrato e validação esquema, chave, tipo quarentena correções a linha que não passa não vira número, vira registro LAKEHOUSE GOVERNADO Bronze bruto, como chegou cópia fiel da origem carimbo de carga nada é descartado Prata limpo e conformado chave e duplicidade de para de domínio histórico preservado Ouro pronto para consumo fatos e dimensões regra de negócio medida escrita uma vez Tabelas versionadas, viagem no tempo e evolução de esquema Delta Lake ou Iceberg sobre ADLS, S3 ou GCS catálogo linhagem acesso por domínio retenção compactação A camada ouro é a única que o negócio consulta. As duas anteriores existem para reconstruir qualquer número e provar de onde ele veio. CONSUMO Power BI modelo compartilhado Aplicações e APIs leitura governada Ciência de dados features e modelos Exportação trilha de quem baixou Governança e segurança identidade única mascaramento segregação por área auditoria de acesso LGPD
bronze, dado bruto prata, dado conformado ouro, dado de negócio movimentação e rede orquestração e processo governança e ligação rejeito e contingência
Em movimento

Quatro coisas que a gente
prefere mostrar do que explicar.

Animações curtas, em repetição, feitas aqui dentro. Cada uma leva menos de dez segundos e resolve uma pergunta que aparece em toda primeira reunião.

01 · ingestão

Onde o dado entra

Três origens com ritmos diferentes chegando na mesma camada bruta, sem uma atropelar a outra. GIF

02 · medalhão

O que muda de camada para camada

A linha suja entra no bronze, é conformada no prata e vira medida no ouro, sem apagar o rastro. GIF

03 · automação

A planilha que virou fluxo

Pedido, alçada, aprovação e escrita de volta no sistema, com prazo contado e histórico gravado. GIF

04 · certificação

Certificar não é testar continuidade

Perda de inserção, diafonia, retorno e atraso, medidos porta a porta, com laudo por ponto. GIF

Camada física

O painel só é rápido se o
caminho até ele for.

Boa parte do que chega como problema de BI termina em cabo mal lançado, uplink saturado, link fora da norma ou rack sem energia redundante. É por isso que a DataLakes não terceiriza a camada física: quem desenha a plataforma é quem responde pelo caminho.

Fazemos o projeto executivo antes do primeiro metro, lançamos com identificação nas duas pontas, certificamos cada ponto com equipamento de campo e entregamos o relatório junto com a planta as built. Se um ano depois alguém precisar achar a porta do ponto 3F 214, a documentação responde.

ABNT NBR 14565Projeto de cabeamento estruturado para edifícios comerciais
ANSI/TIA 568Desempenho de componente e de link permanente
Cat6A e OM4/OS2Metálico até 10 Gb e óptico para backbone e distância
Laudo por pontoArquivo do certificador, não declaração em papel timbrado

Ver a topologia física completa

patch panel 3F · 48 portascertificado
aprovado refeito e reaprovado reserva técnica
perda_insercao_max18,7 dB
next_pior_par41,2 dB
lance_permanente_max87,4 m
pontos_com_laudo44 / 44

Painel ilustrativo, com valores de exemplo. O relatório real sai do certificador de campo, por ponto, e vai anexo à entrega.

Como trabalhamos

Cinco etapas, cada uma
com uma entrega que se lê.

Nenhuma etapa termina em reunião. Termina em documento, código ou laudo que fica com você e continua servindo depois que a gente sai.

ETAPA 01

Diagnóstico

Levantamento do que existe: sistemas, volumes, rede, sala técnica, rotinas e quem depende de cada número.

Sai daqui: desenho as is e lista de riscos ordenada por impacto.
ETAPA 02

Projeto

Arquitetura alvo, escolha de tecnologia com justificativa, estimativa de custo mensal e plano de transição por onda.

Sai daqui: arquitetura to be, memorial e orçamento por etapa.
ETAPA 03

Construção

Execução em entregas curtas, com ambiente separado para desenvolvimento, homologação e produção desde o primeiro dia.

Sai daqui: pipeline versionado, painel publicado e link certificado.
ETAPA 04

Operação

Monitoramento de carga, alerta com dono, janela de manutenção combinada e fila de melhoria revisada todo mês.

Sai daqui: acordo de nível de serviço e relatório mensal do que rodou.
ETAPA 05

Transferência

Treinamento do seu time na plataforma que ele vai operar, com a documentação viva e o código no repositório da sua empresa.

Sai daqui: seu time autônomo, sem depender de nós para respirar.
0camadas sob o mesmo contrato, a física e a de dados
0frentes de entrega, do cabeamento ao painel
0arquiteturas de referência prontas para adaptar
0%dos pontos entregues com laudo de certificação anexado
Ferramental

Trabalhamos com o que você já tem.

A escolha de ferramenta vem depois do problema, nunca antes. Se o seu ambiente já é Microsoft, não vamos empurrar uma migração para justificar horas.

Azurenuvem
AWSnuvem
Google Cloudnuvem
Databrickslakehouse
Microsoft Fabricplataforma
Snowflakewarehouse
Delta Lakeformato
Apache Icebergformato
Airfloworquestração
dbttransformação
Kafkaeventos
Sparkprocessamento
Power BIanálise
Power Automateautomação
Power Appsaplicação
Dataversedados de processo
Grafanaobservação
Python e SQLbase de tudo
Terraforminfraestrutura
Zabbixmonitoramento
Cat6Acabeamento
Fibra OM4 e OS2backbone
Fortinet e Mikrotikborda
Ubiquiti e Arubaacesso
Dúvidas frequentes

O que costumam perguntar
na primeira conversa.

Vocês fazem só a parte de dados ou também a infraestrutura?

As duas, e é justamente esse o ponto. Dá para contratar só a plataforma de dados ou só o cabeamento, mas o maior ganho aparece quando a mesma engenharia responde pelo caminho inteiro. Quando o painel demora a abrir, ninguém fica empurrando a culpa entre fornecedores.

Precisamos migrar tudo para a nuvem para começar?

Não. Boa parte dos projetos começa híbrido e fica híbrido de propósito. O que tem razão para permanecer na sua casa permanece, seja por latência, licença, contrato ou regulação. A ligação entre os dois lados é parte do projeto, não um detalhe deixado para depois.

Já temos Power BI, mas cada área apresenta um número diferente. Isso tem conserto?

Tem, e quase nunca é um problema de Power BI. Números divergentes costumam vir de cada área ter construído a sua própria versão da mesma medida, sobre extrações diferentes. A correção é definir a camada ouro como fonte única, escrever a medida uma vez e publicar como modelo compartilhado. Os relatórios existentes passam a apontar para lá.

Como vocês garantem que nenhum registro se perde no caminho?

Ao final de cada carga o pipeline compara contagem e soma antes e depois do modelo. Se não bater, ele aponta quantas linhas se perderam e em qual junção, e a carga não é promovida. Linha que não passa na validação de entrada vai para quarentena com endereço exato: arquivo, linha e coluna.

O que exatamente fica documentado no final de uma obra de cabeamento?

Planta as built com a rota real, planilha de identificação relacionando ponto, painel e porta, laudo de certificação de cada link no arquivo do próprio certificador e a carta de garantia do sistema, emitida pelo fabricante do cabo. Sem isso a obra não é considerada encerrada.

Vocês assumem um ambiente que outra empresa construiu?

Sim. Começa por um diagnóstico honesto, que às vezes conclui que o que existe está bom e só precisa de operação. Quando não está, o parecer diz o que dá para aproveitar, o que precisa ser refeito e em que ordem, com custo por etapa.

Depois do projeto ficamos presos a vocês?

O código fica no repositório da sua empresa, a documentação é entregue viva e o treinamento do seu time faz parte do escopo, não é um extra. Continuar conosco precisa ser uma escolha, não uma consequência de não haver alternativa.

Contato

Descreva o cenário.
A gente responde com desenho.

Conte o que está travando hoje, mesmo que ainda não esteja claro se é dado, processo ou rede. Na primeira resposta você já recebe um esboço de arquitetura e as perguntas que faltam, sem compromisso.

E-mailcontato@datalakes.tech WhatsAppAbrir conversa
AtendimentoSegunda a sexta, 8h às 18h
EscopoProjeto, obra, plataforma e sustentação

A mensagem vai direto para a nossa equipe. Não usamos os seus dados para outra coisa.