Sem teoria genérica. Método de operação, decisões de arquitetura e os erros que custaram caro em coleta em órgãos públicos, RPA, integrações e engenharia de dados.
24 artigos publicados4 categoriasLeitura técnica e de decisão
Um artigo para cada etapa do serviço, na mesma ordem em que elas acontecem: o que é o modelo, o que muda em relação à consulta manual, como a esteira roda, como o dado chega no seu sistema, quem paga a manutenção e de onde vêm as fontes.
Existe uma classe de fonte pública que devolve um protocolo e entrega o documento depois, em minutos ou em dias. Isso muda quando a consulta é cobrada, o que a tela pode prometer e o que o relatório tem direito de afirmar. As três decisões que a fonte assíncrona obriga a tomar, a cadência que evita 1.400 chamadas por documento e as duas armadilhas de quando o dado finalmente chega.
Coletar a mesma fonte todo dia não é monitorar, é repetir a coleta. As três camadas de uma mudança (ruído de apresentação, mudança real não acionável e mudança acionável), como escrever a regra sem gerar fadiga de alerta, a cadência certa por tipo de fonte e por que ausência de resposta nunca pode ser lida como "nada mudou".
CND conjunta da Receita e da PGFN, CRF do FGTS, CNDT, certidões estaduais e municipais, falência e recuperação judicial, CEIS e CNEP. Como trocar o e-mail com anexo vencido por coleta automática na fonte, com o PDF oficial do órgão, código de verificação guardado e reemissão disparada por vencimento.
"É público, então pode" é a resposta errada mais comum sobre LGPD no Brasil. Por que dispensa de consentimento não é dispensa de base legal, como a finalidade que justificou a divulgação limita o uso, o que muda quando o projeto cruza fontes, a diferença entre controlador e operador e o checklist que costuma destravar a aprovação no jurídico.
Dados como Serviço é a terceirização do ciclo inteiro de um dado externo: encontrar a fonte, coletar, normalizar, monitorar a mudança e entregar no destino, com a manutenção correndo por conta de quem opera. O que está sendo comprado, o que o modelo não é (não é bureau, não é antecedentes, não é licença de RPA), quando faz sentido e as cinco perguntas que separam fornecedor de revendedor.
O endereço é o campo mais requisitado e o menos confiável de qualquer coleta pública: abreviado, sem CEP, com complemento no meio do logradouro. As quatro etapas entre o texto e a coordenada, por que precisão não é sim ou não (número, logradouro, CEP, bairro, município) e por que coordenada errada custa mais que coordenada ausente.
A mesma tarefa, dois modos de operar. Comparativo linha a linha entre consultar portal público na mão e coletar por automação: custo de hora, custo de erro silencioso, defasagem do dado, captcha, emissão do documento oficial e auditoria. Inclui os três padrões de erro manual que só aparecem depois e o que a automação não resolve.
A esteira completa, etapa por etapa: o contrato de escopo (fonte, campos, frequência, destino), a execução do robô com autenticação, normalização e comparação com a coleta anterior, e a entrega com metadados de lote e log de auditoria. Inclui os quatro modos de falha que precisam estar previstos antes do primeiro robô subir.
Coletar o dado é metade do trabalho. Os três modos de entrega (tempo real, em lote e por gatilho), quando usar cada um e o que cada um cobra em complexidade. Mais as cinco regras que evitam retrabalho na integração com Protheus, Omie, Sankhya, Salesforce, HubSpot e RD Station: idempotência, confirmação explícita e metadados de lote.
Fonte pública troca de layout, adiciona captcha e migra de sistema sem changelog e sem aviso. A pergunta que decide o modelo de contratação é de quem é essa conta. Os três modos de quebra e o que cada um exige, o que o time de segurança vai perguntar (origem, credencial, TLS, auditoria, LGPD) e as quatro perguntas que separam fornecedor de revendedor.
De onde vêm os dados é a primeira pergunta de qualquer área jurídica, e a resposta certa nunca é da nossa base. O mapa das fontes públicas oficiais coletadas por RPA: Receita Federal, PGFN, Banco Central, CVM, CGU, TCU, IBAMA, CNJ, TRF1 a TRF6, TST e TRTs, TJs estaduais, MPF, TSE, INTERPOL e OFAC, mais Diários Oficiais, juntas comerciais e prefeituras.
Todo dado financeiro vivia trancado dentro do ERP (a Omie), e cada produto tinha que consultar a API na frente do cliente, esbarrando em limites de uso, bloqueios temporários e status de pagamento com nomes diferentes a cada fornecedor. Colocamos um único módulo financeiro entre o ERP e os produtos: integração centralizada e resiliente, dado já organizado em PostgreSQL e produtos consultando o banco local por CPF ou CNPJ. A instabilidade do ERP fica isolada, longe do cliente.
Cliente precisava enriquecer 1.2 milhão de registros de veículos com dados oficiais da FIPE. Sistema antigo: 58% de precisão, 30% de falhas na API e infra cara. Reconstruímos a pipeline com técnicas combinadas: 94.7% de precisão, 15x mais rápido e 75% menos custo de infraestrutura. Pipeline rodando 24/7 em produção desde janeiro de 2025.
SaaS B2B gastava 4h/dia gerando 30.000 PDFs com 6 servidores e equipe de DevOps apagando incêndios. Reduzimos para 15 minutos com infraestrutura 95% mais barata, taxa de sucesso de 99.7% e zero perdas em 6 meses. ROI: US$ 76.000/ano economizados e 3h45min/dia liberados para a equipe financeira fechar o mês mais cedo.
Vários sistemas que não se conversam. CRM, ERP, jurídico e financeiro operando em silos. Construímos um hub de identidade com PostgreSQL (RDS), FastAPI (ECS), SNS para fan-out de eventos e SQS como buffer de segurança. Regras de negócio em YAML, histórico imutável e workers independentes. Do clique ao CRM em menos de 2 segundos.
Candidatos a franqueados espalhados em 5+ sistemas, sem ninguém saber o estágio real de cada um. Criamos um Hub de Identidade Digital que centraliza pessoas, empresas e vínculos, com regras configuráveis em YAML, arquitetura orientada a eventos e conformidade LGPD by design. Resultado: zero retrabalho, integração em horas e auditoria imutável.
Cliente gastava 3 dias/mês reconciliando 50.000 transações Cielo manualmente. Planilhas Excel, erros de digitação, divergências não explicadas. Implementamos automação que reduziu o processo para 15 minutos com zero erros. ROI: R$ 18.000/ano economizados em horas de trabalho + eliminação de 100% das divergências em auditorias.
Conciliar pagamentos com arquivos EDI da Cielo é complexo: formatos CIELO03/04/09/15/16 (inclui Pix), parsing manual propenso a erros, validação trabalhosa. Como criamos uma biblioteca Python open-source com Pydantic v2, streaming para arquivos grandes e validação automática. Publicada no PyPI com 5 tipos de arquivo suportados.
Converter HTML em PDF parece trivial até você precisar fazer isso em escala. No mundo real, você enfrenta timeouts, falhas em cascata e perda de jobs. Como uma arquitetura desacoplada com Go + NATS JetStream + Playwright processou 200 PDFs/min com 99.7% de sucesso e economia de $76k/ano.
Ao processar 1M+ de veículos para enriquecimento FIPE, o matching exato falhou em 78%. Fuzzy tradicional? 42% de falsos positivos. Como três técnicas avançadas elevaram a precisão para 94.7%: Hybrid Fuzzy com RapidFuzz, Cache Multinível PostgreSQL e Retry Assíncrono com Playwright.
Um problema comum: servidor Windows rodando 24/7 só para executar Power Automate. A stack: Windows Server + interface gráfica obrigatória. Com engenharia reversa, é possível eliminar toda dependência de UI.
Um problema comum: 15-20k/mês em infra de dados. A stack: Cluster Spark (EMR) + Airflow para orquestração. Parecia "enterprise". Funcionava. Mas o custo não fazia sentido para o volume processado...
SparkOtimizaçãoDeCustosAWSPythonArquitetura
29 de dezembro de 20253 min de leituraLer o artigo
Uma demanda que parece simples: enriquecimento de dados em larga escala, processando 1 milhão de registros. O problema? 3 milhões de requisições contra fonte protegida por Cloudflare. Taxa de sucesso: 97,8%. Zero bloqueios.
