🚀 Por que NÃO usamos LLMs como Gemma ou GPT para Reconhecimento Facial em Portarias — E o que a Engenharia Séria Utiliza

Nas últimas semanas liderei um projeto de engenharia para controle de acesso autônomo com biometria facial, hardware aberto (ESP32/Arduino) e câmeras flexíveis (Webcam, CFTV IP e Infravermelho).

A primeira dúvida que muitos desenvolvedores têm: “Posso usar uma LLM ou modelo de visão multimodal para comparar o rosto da câmera com a foto do morador?”

A resposta técnica é categórica: NÃO. E os motivos são cruciais para quem opera sistemas reais de missão crítica:

1. 1️⃣ Latência: Uma LLM/VLM leva de 800ms a 3.000ms para responder via prompt textual. Em portaria ou catraca, a pessoa não pode esperar. O tempo de liberação exige entre 15ms e 40ms.
2. 2️⃣ Falta de Rigor Métrico: LLMs trabalham com probabilidades linguísticas e sofrem de alucinações (falsos positivos inaceitáveis para segurança). Segurança biométrica exige espaço vetorial euclidiano puro e distância angular calibrada.
3. 3️⃣ Escala 1:N Inviável: Comparar um visitante com 500 ou 5.000 moradores via LLM exigiria centenas de chamadas com custo proibitivo de tokens e atraso de rede. Na arquitetura vetorial correta, 10.000 faces são comparadas em menos de 1 milissegundo.

🏛️ O que a indústria de alta segurança (Intelbras, Hikvision, Apple) realmente usa?

Construímos a nossa solução baseada estritamente no estado da arte da visão computacional determinística na borda (Edge Computing):

• ✅ Embeddings Biométricos (ArcFace / InsightFace): Extração de vetores numéricos normalizados de 512 dimensões. A validação é matemática pura por similaridade de cosseno (produto escalar sub-milissegundo).
• ✅ RAG Vetorial Local sem LLM: Busca instantânea via SQLite com índice vetorial nativo rodando 100% offline. Custo zero de tokens e privacidade total (em estrita conformidade com a LGPD).
• ✅ Anti-Spoofing & 2º Fator Vocal (Inspirado no padrão Verisure): Desafio dinâmico de voz (“Diga 8421”) com STT local. Se houver discrepância natural de luz ou barba, o 2º fator valida a identidade e auto-atualiza o cache progressivo da face sem necessidade de recadastro manual.
• ✅ Hardware Aberto & Multi-Câmeras: O software recebe streams de qualquer câmera IP via RTSP (CFTV externa) ou USB, acionando eletroímãs e portões via ESP32 (REST API autenticada) ou Arduino Serial com Watchdog em hardware.
• ✅ Proteção Comercial: Licenciamento HMAC com chave de expiração temporal e arquitetura compilada em CPython nativo via Nuitka (.pyd com ofuscação).

⚖️ Comparativo das Três Abordagens Técnicas

Abaixo confrontamos a abordagem tradicional de terminais de prateleira, a hipótese incorreta com LLM/Nuvem e a nossa arquitetura de engenharia:

📊 Benchmark de Mercado: Brasil vs. Importação Direta (China)

Comparamos também o ecossistema pronto no Brasil com a importação direta da China, mapeando custos, homologação Anatel e integrações:

A Lição de Segurança Física: A grande vulnerabilidade dos terminais comerciais *all-in-one* de mercado é manter o relé eletromecânico dentro do próprio leitor fixado na calçada ou fachada. Um invasor que quebre ou puxe o leitor da parede tem acesso aos fios do relé e destranca o portão em segundos com um curto-circuito. Em nossa engenharia de hardware aberto, a câmera fica na rua, mas o relé microcontrolado fica fisicamente protegido dentro do prédio.

🔍 Detalhamento Técnico dos Pilares

1. Pipeline Matemático ArcFace & Alinhamento Afim

O pipeline visual opera em três passos determinísticos com garantia invariante:

• Alinhamento Afim 2×3: Detecção de 5 pontos fiduciais centrais (olho esquerdo, olho direito, nariz, canto esquerdo e canto direito da boca). O ângulo de inclinação da cabeça é calculado por θ = arctan((y2 - y1) / (x2 - x1)) e a imagem é normalizada por transformação afim em 112×112 pixels (canal BGR entre -1.0 e 1.0).
• Additive Angular Margin Loss: Diferente de classificadores convencionais, o ArcFace adiciona uma margem angular m sobre a hiperesfera dimensional, maximizando a distância entre pessoas diferentes e minimizando a dispersão intra-classe. O vetor resultante possui 512 floats unitários.
• Comparação Vetorial por Produto Escalar: Como os vetores de características são estritamente unitários (norma euclidiana = 1), a similaridade equivale ao produto interno:
  • Score ≥ 0.65: Identidade confirmada — abertura imediata.
  • 0.45 ≤ Score < 0.65: Faixa de incerteza (iluminação desfavorável, novo ângulo) — ativação do segundo fator dinâmico.
  • Score < 0.45: Pessoa desconhecida ou não cadastrada — acesso recusado.

2. RAG Vetorial Local & Privacidade LGPD

O armazenamento e indexação vetorial são executados inteiramente dentro de banco SQLite local com modo WAL (Write-Ahead Logging). Não há envio de fotos ou métricas faciais para serviços externos de terceiros. A infraestrutura atende em conformidade máxima às exigências da Lei Geral de Proteção de Dados (LGPD) para dados biométricos sensíveis, garantindo funcionamento ininterrupto mesmo em caso de rompimento de link de internet.

3. Anti-Spoofing & 2º Fator Vocal Dinâmico com Cache Progressivo

Inspirado no modelo de validação da Verisure, resolvemos o maior gargalo operacional de condomínios: o morador que corta a barba, troca de óculos ou chega com luz solar rasante e fica travado na catraca.

1. Desafio Dinâmico: O sistema gera uma sequência aleatória de 4 dígitos ou palavras (ex: “Diga 8421”).
2. STT Local Offline: O morador fala e um modelo local de conversão de voz em texto (Whisper STT / Vosk) transcreve e valida o código em tempo real.
3. Auto-Atualização do Cache (Aprendizado Adaptativo): Validada a voz, o acesso é liberado e a foto daquele momento é automaticamente convertida em novo vetor biométrico e gravada no histórico do morador. O sistema aprende a nova aparência do morador organicamente, sem necessidade de recadastro manual na administração.

4. Hardware Aberto: ESP32 REST & Arduino Serial

O acionamento das portas é totalmente modular e desacoplado do software de visão computacional:

• Câmeras Flexíveis: Ingestão universal via RTSP (câmeras de CFTV já existentes na portaria) ou USB local (Webcams e câmeras com filtro infravermelho para verificação de liveness sob iluminação 850nm).
• ESP32 Wi-Fi / Ethernet: Servidor HTTP REST API embarcado, recebendo comandos de pulso autenticados com Bearer Token e monitorando o fechamento físico da porta através de sensor Reed Switch magnético.
• Arduino Serial com Watchdog: Para conexões cabeadas via USB direto no servidor local, com protocolo serial (OPEN:3000\n) e temporizador watchdog em hardware — garantindo que mesmo se o servidor travar ou cair a energia, o relé fecha automaticamente por segurança.

5. Proteção Comercial HMAC & Compilação CPython

Para distribuição comercial do produto, o sistema conta com:

• Licenciamento HMAC-SHA256: Payload com CNPJ da empresa compradora, limite de portas, limite de usuários cadastrados e timestamp de expiração Unix Epoch assinado com chave mestra privada.
• Compilação Nativa Nuitka (.pyd): O código-fonte crítico é transformado em extensões CPython compiladas diretamente em código de máquina, impedindo descompilação ou engenharia reversa por clientes finais.

🗄️ Modelo Relacional Multi-Tenant: Flexibilidade para Grandes Complexos

Diferente de sistemas convencionais que vinculam rigidamente uma pessoa a um único apartamento, nossa modelagem relacional suporta cenários complexos do mundo real através de 8 entidades principais:

• Empresas / Complexos: Suporte multi-tenant para gerenciar diferentes condomínios ou sedes corporativas no mesmo servidor.
• Blocos & Unidades: Mapeamento hierárquico de torres, blocos comerciais, garagens e áreas comuns.
• Pessoas: Cadastro unificado de moradores, funcionários, prestadores e visitantes.
• Vínculo N:N (pessoa_unidades): Permite que um proprietário tenha acesso ao Apto 101, vaga de garagem no Bloco B e permissão de inquilino em outra unidade, com perfis independentes.
• Biometrias Faciais: Tabela histórica de embeddings de 512 floats, permitindo múltiplos templates progressivos por pessoa com registro de origem (cadastro inicial ou auto-atualização por voz).
• Gestão de Hardwares: Catálogo de câmeras IP, leitores USB, controladores ESP32 e portas seriais com monitoramento de heartbeat e relés vinculados.
• Logs de Auditoria: Histórico forense detalhado com data/hora, hardware acionado, pessoa identificada, score biométrico e método de liberação (facial direto, facial + voz ou senha).

🔒 Código-fonte e Repositório Git Privado

O projeto integral — englobando os firmwares dos microcontroladores em C++, o esquema de banco relacional, os controladores de hardware e a interface web responsiva de monitoramento — está estruturado e versionado em nosso servidor Git próprio:

git clone https://git.programandosolucoes.com.br/git/repos/sistema-portaria-facial.git

Nota de Segurança: O repositório possui controle de acesso restrito (Basic Auth / SSH). O download de fontes e pacotes é bloqueado para o público geral, sendo acessível exclusivamente mediante credencial e chave de homologação autorizada.