Arquitetura em produção
O que acontece antes e depois de gerar a resposta
O back-end é o limite de segurança oficial para pedidos de texto e prompts de geração de imagem no iOS, Android e na web. As verificações do cliente impedem o envio de entradas claramente inválidas, mas o servidor não confia nelas e executa ele mesmo as verificações de segurança. Fotos enviadas e conversas de voz seguem caminhos separados, descritos mais adiante.
Validação de entrada do cliente
Todos os clientes restringem a entrada antes de enviar: iOS, Android e web rejeitam entrada vazia e respeitam o mesmo limite de comprimento. Nenhum deles decide se o conteúdo é seguro. A filtragem em várias camadas da Askie roda no servidor em cada pedido de texto e prompt de geração de imagem, seja qual for o cliente que o enviou.
Verificações autenticadas no servidor
As solicitações passam por autenticação, limites de uso, validação do intervalo da idade informada, verificações da estrutura do conteúdo e detecção de injeção de prompt antes de o filtro de segurança da Askie avaliar o texto. Quando há um ID de criança, o servidor confirma que o perfil pertence à conta autenticada.
Controles do modelo por idade
A idade enviada com a solicitação seleciona as instruções, as regras de palavras-chave e as configurações de segurança do provedor. Os aplicativos da Askie normalmente usam a idade do perfil de criança selecionado. O servidor valida o intervalo, mas atualmente não substitui esse valor pela idade salva no perfil.
Filtragem da resposta em texto
Os controles do provedor podem interromper a geração enquanto o texto é transmitido. O filtro da Askie após a geração verifica a resposta completa com regras adequadas à idade e retorna um erro amigável para a criança quando ela não passa. Como o chat envia trechos do texto continuamente, eles podem aparecer antes da verificação da resposta completa.
Segurança de imagem
Os prompts para gerar imagens passam pelas verificações gerais de entrada e por uma lista de bloqueio dedicada. As recusas e classificações de segurança do Gemini são tratadas como gerações bloqueadas, sem serem mostradas à criança. Fotos enviadas são verificadas quanto ao formato aceito, presença e tamanho; depois, o Gemini analisa o conteúdo visual. A Askie não faz uma verificação separada dos pixels dessas fotos no servidor.
Registro que protege os dados pessoais
Alguns caminhos de registro do servidor usam utilitários que mascaram e-mails, IDs de usuário, tokens, endereços IP, números de telefone, links, identificadores sociais, endereços e códigos postais em campos estruturados e de texto livre selecionados. O filtro de segurança de texto e o validador de pedidos de imagem registram, cada um, um breve campo contentPreview do conteúdo que bloqueiam, e essas prévias não passam atualmente pelo redator de PII de texto livre.
Segurança na conversa por voz
Uma conversa por voz acontece por uma conexão em tempo real com o agente de voz da Askie, e não pelo caminho dos pedidos de texto, por isso tem camadas de segurança próprias: as instruções de segurança infantil conforme a idade que o back-end monta para cada sessão, uma redação que orienta o modelo a tratar o tema e o texto de conversa retomado como dados e não como instruções, os controles em tempo real do provedor e, onde o recurso de alerta está ativado, uma revisão da transcrição depois que a chamada termina. As imagens pedidas durante uma chamada continuam sendo geradas pelo back-end, então passam pelas mesmas verificações de imagem.