Architettura in produzione
Cosa succede prima e dopo la generazione
Il backend è il confine di sicurezza di riferimento per le richieste scritte e per i prompt di generazione di immagini su iOS, Android e web. I controlli nell'app evitano l'invio di input chiaramente non validi, ma il server non si fida di loro ed esegue da sé i controlli di sicurezza. Le foto caricate e le conversazioni vocali seguono percorsi separati, descritti di seguito.
Convalida dell'input nell'app
Tutte le app limitano l'input prima di inviarlo: iOS, Android e web rifiutano gli input vuoti e applicano lo stesso limite di lunghezza del prompt. Nessuna di esse decide se un contenuto è sicuro. Il filtraggio multilivello di Askie viene eseguito sul server per ogni richiesta scritta e ogni prompt di generazione di immagini, qualunque sia l'app che l'ha inviato.
Middleware backend autenticato
Prima che il filtro di sicurezza di Askie valuti il testo, le richieste passano per autenticazione, limiti di frequenza, controlli sull'intervallo dell'età indicata, controlli sulla struttura dei contenuti e verifica contro la prompt injection. Quando è presente l'ID di un bambino, il backend verifica che il profilo appartenga all'account autenticato.
Controlli del modello in base all'età
L'età inviata con la richiesta determina le istruzioni del prompt, le regole sulle parole chiave e le impostazioni di sicurezza del fornitore. Di solito le app di Askie la prendono dal profilo del bambino selezionato. Il server ne verifica l'intervallo, ma al momento non la sostituisce con l'età salvata nel profilo.
Filtraggio delle risposte di testo
I controlli del fornitore possono interrompere la generazione mentre è in streaming. Il filtro di Askie applicato dopo la generazione, in base all'età, controlla il testo completo e, se non lo supera, restituisce un messaggio di errore adatto ai bambini. Poiché la chat di testo invia le risposte all'app a pezzi, questi possono comparire prima del controllo sulla risposta completa.
Sicurezza delle immagini
I prompt per generare immagini passano i controlli generali sugli input e una lista nera dedicata alle immagini. I rifiuti e le valutazioni di sicurezza di Gemini vengono trattati come generazioni bloccate, invece di essere mostrati al bambino. Delle foto caricate si controllano il tipo supportato, la presenza e la dimensione, poi Gemini gestisce l'input visivo; Askie non esegue una scansione separata lato server del contenuto delle immagini su quelle foto.
Log che tutelano i dati personali
Alcuni percorsi di log sul server usano strumenti che mascherano email, ID utente, token, indirizzi IP, numeri di telefono, link, nomi utente social, indirizzi stradali e codici postali in alcuni campi strutturati e di testo libero. Il filtro di sicurezza del testo e il validatore dei prompt per immagini registrano ciascuno una breve contentPreview dei contenuti che bloccano, e al momento queste anteprime non passano dallo strumento di oscuramento dei dati personali nel testo libero.
Sicurezza della voce dal vivo
Una conversazione vocale passa da una connessione in tempo reale con l'agente vocale di Askie invece che dal percorso delle richieste di testo, quindi ha i propri livelli di sicurezza: le istruzioni per la sicurezza dei bambini in base all'età che il backend prepara per ogni sessione, indicazioni che dicono al modello di trattare l'argomento e il testo della chat riproposto come dati e non come istruzioni, i controlli in tempo reale del fornitore e, dove la funzione di avvisi è attiva, una revisione della trascrizione della sessione al termine della chiamata. Le immagini richieste durante una chiamata vengono comunque generate dal backend, quindi passano gli stessi controlli sulle immagini.