DataFlow
Responsible data profiling, cleaning and statistical evidence for tabular datasets.
Pipeline analítico
O fluxo completo de processamento de ponta a ponta que valida e transforma dados brutos em diagnóstico de confiança.
Ingestão & Parsing
Leitura do arquivo bruto, detecção de delimitadores e validação estrutural.
Schema Mapping
Mapeamento automático de tipos de dados e cardinalidade de colunas.
Data Cleaning
Tratamento de nulos, deduplicação de registros e normalização.
Data Profiling
Cálculo de completude e identificação de padrões inconsistentes.
Health Score Engine
Cálculo de pontuação de integridade explicável com base em penalidades.
Statistical Evidence
Testes inferenciais (Welch, ANOVA, Qui-quadrado) com correção de Bonferroni.
Responsible Analytics
Mascaramento de dados sensíveis (LGPD) e governança de permissões.
Executive Dashboard
Visualização interativa das métricas de qualidade e cockpit operacional.
Executive Report PDF
Relatório executivo exportável para apresentações de negócios.
O problema
Bases tabulares reais raramente chegam prontas para análise. Elas trazem duplicatas, nulos, e-mails inválidos, outliers, formatos inconsistentes, baixa rastreabilidade e risco de exposição de dados sensíveis. O problema não é apenas visualizar dados, mas saber se eles são confiáveis o suficiente para sustentar uma decisão.
A solução
O DataFlow cria uma camada analítica responsável entre o dado bruto e a decisão. Ele processa CSVs, executa validações, aplica limpeza, calcula Health Score explicável, registra problemas de qualidade, apresenta evidência estatística exploratória, mascara dados pessoais e gera relatório executivo.
Antes e Depois da Limpeza
Demonstração prática de como a base de dados é transformada de um estado inconsistente e inseguro para uma base qualificada e LGPD-aware.
- ✕Exposição de PII: Nomes completos, e-mails e dados pessoais expostos livremente no código e logs (Infração LGPD).
- ✕Falsos Positivos: Testes de hipóteses aplicados em massa sem ajuste estatístico de Bonferroni, gerando correlações fantasmas.
- ✕Nulos Silenciosos: Valores vazios e inconsistências textuais sem qualquer indicador unificado de integridade da base.
- ✕Processamento Cego: Análise exploratória inicial rodando diretamente sobre dados contendo outliers extremos e ruído operacional.
- ✓Pseudo-anonimização Local: Mascaramento do nome e truncamento de e-mails em nível de client-side (zero vazamento de PII).
- ✓Rigor Bonferroni-aware: Correção automática de nível de significância inferencial para cruzamento de hipóteses simultâneas.
- ✓Health Score Transparente: Métrica explicável baseada em pesos de penalização no Quality Issues Register.
- ✓Sanitização Completa: Tratamento automático de outliers via IQR e validação de tipos, pronto para dashboards.
Principais telas
Executive Briefing — leitura executiva inicial com Health Score, status da base e alertas de governança.
Quality Cockpit — análise de integridade com waterfall de qualidade, missingness matrix e indicadores de completude.
Quality Issues Register — registro de inconsistências com severidade, impacto e ação recomendada.
Funnel & Channels — leitura operacional de funil, canais e distribuição de scores.
Statistical Evidence Center — testes inferenciais, tamanhos de efeito e interpretação Bonferroni-aware.
Responsible Analytics Center — limites de uso, colunas sensíveis, usos permitidos e usos proibidos.
Records & Auditability — tabela auditável com dados mascarados, filtros e exportação.
Executive PDF Report — relatório executivo consolidado para apresentação.
Ao realizar múltiplos testes de hipóteses estatísticas simultaneamente (por exemplo, cruzando múltiplos canais de aquisição com etapas do funil de conversão), a probabilidade de cometer pelo menos um erro do Tipo I (falso positivo) cresce exponencialmente.
Fórmula de Ajuste de Alpha (α)
αajustado = αglobal / m
Onde m = número total de hipóteses simultâneas
No DataFlow, se temos um nível de significância global de 5% (α = 0.05) e o motor calcula 10 comparações simultâneas, o threshold de p-value para declarar significância cai automaticamente para 0.005. Isso blinda as conclusões de produto contra ruídos aleatórios.
Para assegurar conformidade com a LGPD e privacidade desde o design, implementamos um motor de pseudo-anonimização local que processa o arquivo diretamente no navegador (client-side) antes de enviar qualquer relatório ou log.
// Pseudo-anonimização local no Browser
const maskName = (name, index) => `CAN-${String(index).padStart(4, '0')}`;
const hashEmail = async (email) => {
const encoder = new TextEncoder();
const data = encoder.encode(email.toLowerCase().trim());
const buffer = await crypto.subtle.digest('SHA-256', data);
const wrapper = Array.from(new Uint8Array(buffer));
return wrapper.map(b => b.toString(16).padStart(2, '0')).join('').substring(0, 12) + '...';
};
Dessa forma, e-mails de candidatos do dataset de recrutamento de demonstração são truncados e criptografados localmente em hashes parciais de 12 caracteres, prevenindo vazamentos acidentais.
Diferenciais técnicos
Responsible Analytics
O DataFlow foi desenhado para análise agregada e auditoria de processo. Ele não ranqueia pessoas, não aprova ou reprova candidatos, não substitui revisão humana e não deve ser usado para decisões automatizadas sobre indivíduos. Dados pessoais são mascarados e variáveis sensíveis são tratadas com avisos explícitos de governança.
Usos permitidos
- Diagnóstico de qualidade de base
- Análise agregada
- Auditoria de processo
- Identificação de problemas de dados
- Geração de relatório executivo
Usos proibidos
- ✕Ranquear candidatos
- ✕Aprovar/reprovar pessoas
- ✕Decisão automatizada individual
- ✕Uso de variáveis sensíveis para seleção
- ✕Substituir revisão humana
Decisões técnicas
Health Score
O score parte de 100 e aplica penalizações proporcionais por nulos relevantes, duplicatas, formatos inválidos, outliers e colunas constantes — tornando a qualidade da base explicável e auditável.
Bonferroni (Significância de Produto)
Ao testar várias hipóteses simultaneamente, a chance de encontrar falsos positivos aumenta. A correção de Bonferroni ajusta a régua estatística para garantir que as diferenças de canais e funis apontadas no painel sejam reais e acionáveis pelo produto, e não fruto do acaso.
LGPD Masking (Mascaramento Local)
Garante total conformidade regulatória ao mascarar dados pessoais identificáveis (PII) diretamente no navegador (client-side) antes de trafegar as informações. Nomes viram códigos CAN-XXXX e e-mails são anonimizados localmente.
PDF Executivo
O relatório consolida o Health Score, os registros de inconsistência, as conclusões dos testes de hipóteses e as permissões de governança em um documento exportável de alta fidelidade para apresentações executivas.
Evidência sobre IA
O DataFlow não usa IA para decisões individuais porque o objetivo é auditoria e diagnóstico agregado, não automação de seleção.
Limitações visíveis
Mostrar incertezas, limitações e riscos de interpretação é uma decisão de design — o usuário não deve superconfiar nos números.
Frontend
Backend / Data
Analytics
Valor para recrutadores
O DataFlow demonstra capacidade de transformar um problema de dados real em produto apresentável: pipeline analítico, UX executiva, estatística aplicada, governança, documentação e comunicação clara. Ele combina pensamento de produto, analytics engineering, ciência de dados aplicada e responsabilidade no uso de dados sensíveis.
Limitações e próximos passos
Limitações atuais
- • Dataset demo sintético
- • Suporte inicial para CSV
- • Sem persistência relacional avançada
- • Análises estatísticas são exploratórias
- • Não substitui revisão humana
Próximos passos
- • Suporte a XLSX
- • Mais perfis de datasets
- • Histórico de execuções
- • Persistência PostgreSQL
- • Exportação avançada
- • Modo demo público