Detectar imagens duplicadas por hash perceptual

Você envia uma entrada por imagem — um nome e o seu hash, como string hexadecimal ou como sequência literal de bits 0/1 — além de uma distância máxima de Hamming em bits. Todo par de hashes dentro dessa distância é conectado, e os pares conectados são fundidos em grupos ligados, de modo que uma cadeia de quase duplicatas colapsa em um único cluster em vez de pares sobrepostos. O resultado lista cada grupo com os seus membros, as distâncias internas entre pares e a maior distância dentro do grupo, junto com os totais: quantas imagens são duplicatas e quantas permanecem únicas. Nada é enviado para servidores: os hashes que você já possui são toda a entrada necessária.

De uma lista de hashes a grupos de duplicatas

Um hash perceptual, como um pHash de 64 bits, codifica a aparência de uma imagem, de modo que duas fotos que diferem apenas em compressão, tamanho ou marca d'água geram hashes que diferem em poucos bits. Comparar esses hashes dois a dois é fácil; a parte trabalhosa é o que vem depois. A imagem A corresponde a B, e B corresponde a C, mas A não corresponde exatamente a C — elas formam um conjunto de duplicatas ou dois? Esta capacidade resolve essa questão da forma padrão: trata cada imagem como um nó, cria uma aresta entre dois hashes cuja distância de Hamming seja no máximo o limite que você escolher e devolve os componentes conectados como os grupos de duplicatas. Você recebe uma entrada por grupo com os nomes dos membros, cada par dentro do limite e a sua distância exata, além da maior distância interna do grupo, para poder auditar por que duas imagens ficaram juntas. Como o agrupamento é por transitividade, uma cadeia de regravações que muda um bit por vez ainda cai em um único cluster, que é exatamente o comportamento esperado da detecção de quase duplicatas em bibliotecas de fotos reais.

Escolhendo o limite e o formato do hash

O limite é uma distância máxima de Hamming em bits e o valor padrão é 5, um ponto de partida comum para hashes de 64 bits: imagens idênticas resultam em 0, e recodificações visualmente indistinguíveis costumam ficar abaixo de 5. Reduza o valor na direção de 0 quando quiser apenas correspondências exatas ou quase exatas; aumente com cautela quando o seu pipeline redimensiona de forma agressiva ou corta bordas, pois cada bit extra de tolerância multiplica a chance de falsos positivos em coleções grandes. Os hashes são aceitos em dois formatos: strings hexadecimais, decodificadas a quatro bits por caractere, ou sequências literais de bits 0/1. A única regra rígida é a consistência — todos os hashes de uma requisição devem usar o mesmo formato e decodificar para o mesmo comprimento em bits; caso contrário, a distância entre eles não faria sentido e a requisição é rejeitada com um erro claro. Um limite negativo também é rejeitado como entrada inválida. Você pode calcular os próprios hashes com a capacidade irmã image.phash, que produz exatamente as strings hexadecimais de 16 caracteres que este endpoint espera.

Saída determinística que você pode comparar e armazenar

A resposta foi projetada para ser guardada ao lado do seu catálogo e comparada ao longo do tempo. Os grupos são ordenados pela posição do seu membro mais antigo na lista de entrada, os membros mantêm a ordem de entrada e os pares internos são listados com os dois nomes e a distância exata, de modo que duas execuções sobre a mesma lista produzem saída idêntica byte a byte e regressões aparecem como diffs limpos. Junto com os grupos, você recebe as contagens de que os painéis precisam: total de imagens processadas, o comprimento em bits dos hashes, o número de grupos de duplicatas, quantas imagens caem dentro de algum grupo e quantas permanecem únicas. Não há aleatoriedade, relógio nem rede envolvidos: a mesma entrada sempre gera a mesma resposta, na API e no executor gratuito do navegador nesta página, que executa exatamente o mesmo código. Isso torna seguro usar em pipelines de CI que reprovam um build quando novas duplicatas entram em um repositório de assets, e em rotinas agendadas de limpeza que enviam um relatório de deduplicação por e-mail.