RPA & AutomaçãoEngenharia de DadosLeitura 6 min

Monitoramento Contínuo de Fontes Públicas: Como Definir o Que É Uma Mudança Relevante

Coleta repetida não é monitoramento. Como definir o que conta como mudança, evitar fadiga de alerta, escolher a cadência por tipo de fonte e transformar diferença em evento acionável.

Jonas HamerskiData Engineer | RPA/Web Scraping | Backend Python8 de agosto de 20266 min

Coletar a mesma fonte todo dia não é monitorar. É repetir a coleta.

A diferença é a comparação. Monitoramento existe quando o retorno de hoje é confrontado com o de ontem e o sistema sabe dizer, sozinho, o que mudou e se aquilo importa. Sem isso você tem uma pilha de fotos e ninguém olhando.

Este artigo é sobre a parte que dá trabalho de verdade: decidir o que conta como mudança.


Por Que Isso É Um Problema de Definição, Não de Tecnologia

Comparar dois textos é trivial. O problema é que quase toda comparação crua devolve diferença.

Uma fonte pública muda o dado sem mudar o fato:

  • O portal passa a escrever "ATIVA" onde escrevia "Ativa".
  • A data vai de 05/08/2026 para 2026-08-05.
  • O nome do sócio ganha ou perde um espaço duplo.
  • O campo de observação recebe um carimbo de data de emissão que muda a cada consulta.

Se qualquer diferença virar alerta, na primeira semana o time desliga a notificação. Isso é fadiga de alerta, e é o modo mais comum de um projeto de monitoramento morrer: não por falha técnica, mas porque ninguém confia mais no aviso.


As Três Camadas de Uma Mudança

Separar essas camadas antes de escrever qualquer regra economiza meses.

Camada 1: ruído de apresentação

Diferença que existe no texto e não existe no fato. Maiúscula, acento, espaço, formato de data, ordem de campos, carimbo de emissão.

Tratamento: morre na normalização, antes da comparação. Se ruído de apresentação chega na etapa de comparação, o desenho está errado. Não se resolve com regra de alerta, se resolve normalizando melhor.

Camada 2: mudança real, mas não acionável

O fato mudou e ninguém vai fazer nada com isso. Um novo protocolo interno, uma reclassificação administrativa, um andamento processual de trâmite.

Tratamento: entra no histórico, não gera evento. Continua auditável, continua consultável, mas não acorda ninguém.

Camada 3: mudança acionável

O fato mudou e existe uma ação do outro lado. Situação cadastral saiu de regular, apareceu publicação nova no Diário Oficial para aquele CNPJ, certidão que era negativa virou positiva, processo novo distribuído.

Tratamento: vira evento, com o antes e o depois, e sai para o destino.

A pergunta que separa a camada 2 da 3 é sempre a mesma: alguém faz alguma coisa quando isso acontece? Se a resposta é não, não é alerta. É registro.


Como Escrever a Regra Sem Encher o Time de Aviso

Monitore campos, não documentos

"Avise quando a certidão mudar" é uma regra ruim: o PDF muda a cada emissão. "Avise quando o campo situação sair de regular" é uma regra boa.

Monitoramento se escreve sobre campos normalizados, com domínio conhecido. É por isso que a normalização vem antes. Sem vocabulário estável não existe regra estável.

Defina a direção da mudança

Nem toda transição importa igual. Sair de regular para irregular costuma ser urgente; voltar de irregular para regular costuma ser informativo. Regra que ignora direção gera o dobro de alerta com metade do valor.

Defina o que fazer com o primeiro registro

A primeira coleta de uma chave não é mudança, é criação. Se o sistema tratar criação como alteração, todo carregamento inicial vira uma enxurrada de alertas, e é exatamente nesse dia que o time forma a opinião sobre a ferramenta.

Deduplique antes de alertar

A mesma publicação capturada por dois caminhos (busca por CNPJ e varredura do caderno) não pode gerar dois eventos. Deduplicação por chave estável, não por texto.


Cadência: A Fonte Dita o Ritmo, Não a Ansiedade

Errar a cadência custa dos dois lados: rápido demais é bloqueio e custo sem retorno; devagar demais é a defasagem que o monitoramento existia para eliminar.

Tipo de fonteRitmo real de atualizaçãoCadência que faz sentido
Diário OficialPublicação diária, em horário previsívelDiária, logo após a publicação
Situação cadastralMuda de forma esparsa e imprevisívelDiária ou semanal, conforme o risco
Consulta processualAndamentos ao longo do dia útilDiária, dias úteis
Certidão com validadeVence em prazo conhecidoPor vencimento, não por calendário
Base cadastral com carga periódicaSemanal ou mensal na origemEspelhar a origem

A última linha é a mais desperdiçada na prática: monitorar de hora em hora uma base que a origem atualiza uma vez por semana gasta requisição, aumenta risco de bloqueio e não antecipa nada.

E existe um caso que não é calendário nenhum: certidão com validade. Ali a regra certa não é "consulte toda segunda", é "reemita antes de vencer".


Ausência Também É Informação

O ponto que quase todo projeto esquece.

Se a fonte não respondeu, isso não é "nada mudou". São estados diferentes e precisam de tratamento diferente:

Coletou e está igual. Silêncio, registro no log.
Coletou e mudou. Avalia a camada e decide se alerta.
Não coletou. Reprocessa. Se estourar a política de tentativa, alerta operacional, e não alerta de negócio.

Confundir o terceiro caso com o primeiro é o defeito mais perigoso de um monitor: o sistema fica em silêncio, o time entende que está tudo estável, e na verdade ninguém está olhando aquela fonte há três semanas.

Por isso um monitor honesto precisa expor a própria saúde: última coleta bem-sucedida por fonte, taxa de sucesso e fila de reprocessamento. Monitor que não se monitora é um ponto cego com cara de tranquilidade.


O Que Entregar Junto Com o Alerta

Um evento de mudança útil carrega:

  • A chave do registro (o CNPJ, o número do processo, o identificador da fonte).
  • O campo que mudou, com valor anterior e valor novo.
  • A fonte e o instante exato da coleta que detectou.
  • O identificador da coleta, para reconciliar com o log de auditoria.
  • Quando a fonte emite, o documento oficial correspondente.

Alerta que diz apenas "houve alteração" transfere o trabalho de volta para a pessoa, que vai abrir o portal na mão para descobrir o quê. Isso anula o serviço inteiro.


Como Saber Se o Monitoramento Está Bom

Três números, medidos ao longo do tempo:

  • Taxa de alerta acionado. Dos eventos enviados, quantos geraram ação? Abaixo de um patamar razoável, a regra está larga demais.
  • Defasagem de detecção. Entre a mudança acontecer na fonte e o evento sair, quanto tempo passou?
  • Cobertura viva. Quantas fontes tiveram coleta bem-sucedida nas últimas 24h sobre o total contratado.

O terceiro é o que pega o problema silencioso. Os dois primeiros ajustam a régua.


Por onde começar

Se você já coleta e ainda decide na mão o que mudou, o passo seguinte não é aumentar a frequência da coleta. É escrever, campo a campo, o que conta como mudança e o que só vai para o histórico.

Para desenhar essa régua nas suas fontes, comece listando, para cada campo monitorado, qual ação existe do outro lado. Campo sem ação não é alerta.


"Se ninguém faz nada quando o campo muda, aquilo não é alerta. É registro."
Assuntos
MonitoramentoRPAAlertasDiarioOficialCadênciaFontesPúblicasDeduplicaçãoObservabilidade
Tem um caso parecido?

A gente coleta o dado na fonte e entrega dentro do seu sistema

Fale direto com quem constrói o robô. A conversa começa pela fonte, pelo volume e pelo destino do dado, não por proposta.