DfE-Standards für generative KI: Checkliste für Schulen

Die Generative AI: product safety standards des Department for Education (DfE) legen 13 Bereiche fest, die ein in englischen Schulen eingesetztes KI-Produkt erfüllen sollte, von Filterung und Überwachung bis zu psychischer Gesundheit und Manipulation. Sie richten sich an Anbieter, doch KCSIE 2026 verweist Schulen darauf, wenn es darum geht, wie Filterung und Überwachung für KI gelten. Dieser Leitfaden fasst jeden Standard zusammen und macht daraus eine Frage, die Ihre Kinderschutzbeauftragte bzw. Ihr Kinderschutzbeauftragter (Designated Safeguarding Lead, DSL) jedem Anbieter stellen kann.

Was sich geändert hat, und wann

Drei Dokumente prägen heute den Kinderschutz rund um KI in England:

Das DfE schreibt, die Standards „richten sich an Edtech-Entwickler und Anbieter für Schulen und Colleges“, Schulen könnten sie aber „auch hilfreich finden, um zu beurteilen, welche KI-Produkte für den Einsatz im Bildungsbereich sicher sind“. In der Praxis sind sie die nützlichste Checkliste zur Sorgfaltsprüfung, die eine Schule hat.

Was KCSIE 2026 zu KI sagt

KCSIE 2026 schafft keine eigene KI-Pflicht. Es verwebt KI mit bestehenden Pflichten:

• Risiken der Online-Sicherheit (Absatz 165). Das Risiko „Kontakt“ umfasst jetzt „schädliche Online-Interaktion mit anderen Nutzern oder mit generativen KI-Anwendungen, die dies simulieren“. Das Risiko „Verhalten“ umfasst explizite Bilder, die „mit KI erzeugt“ wurden.
• Hinweise zur Nutzung (Absätze 167 bis 168). Schulen, die generative KI einsetzen, ob für Lehrkräfte oder für Schüler, werden auf die DfE-Leitlinien zu generativer KI und auf kostenlose Begleitmaterialien verwiesen, die mit dem Chiltern Learning Trust und dem Chartered College of Teaching entstanden sind. Modul 3 behandelt Kinderschutz, Ethik, Datenschutz und geistiges Eigentum.
• Filterung und Überwachung. Neben der bestehenden Pflicht, Filterung und Überwachung mindestens einmal pro Schuljahr zu überprüfen, nennt KCSIE das Produktsicherheitsdokument des DfE, um zu erklären, „wie die Anforderungen an Filterung und Überwachung für den Einsatz generativer KI im Bildungsbereich gelten“.

Die praktische Folge: Ein KI-Tool, das Schüler nutzen, gehört zu Ihrem Gesamtbild von Filterung und Überwachung, und Ihre jährliche Überprüfung sollte es ausdrücklich nennen.

Die 13 Sicherheitsstandards für generative KI als Checkliste

Zu jedem Standard unten: eine einzeilige Zusammenfassung aus dem DfE-Dokument und dann die Frage, die Sie stellen sollten. Verlangen Sie Belege (Screenshots, Richtlinien, Testergebnisse), nicht nur ein Ja.

1. Erklärter Zweck

Produkte sollten ihren beabsichtigten Zweck, ihre Zielgruppe und ihren Lernschwerpunkt nennen und „die Wirkung oder die Fähigkeiten ihrer Tools nicht übertreiben“.

Fragen Sie: Für welche Altersgruppen und Bedürfnisse ist das gebaut, und welche Belege stützen Ihre Aussagen zur Wirkung?

2. Einsatzzwecke im Bildungsbereich

Der beabsichtigte Einsatzzweck sollte „für alle Nutzer, Lehrkräfte und Einkäufer klar“ sein.

Fragen Sie: Ist das ein Tool für Schüler, für Lehrkräfte oder für beide? Welche Funktionen gehören wozu?

3. Filterung (für Schüler)

Produkte „müssen wirksam und zuverlässig verhindern, dass Nutzer auf schädliche oder unangemessene Inhalte zugreifen“, über das gesamte Gespräch hinweg, in allen Sprachen und Bildern und auf privaten Geräten.

Fragen Sie: Wie wird gefiltert: einmal oder bei jeder Antwort? Sind Bilder und andere Sprachen abgedeckt? Gilt die Filterung auch, wenn ein Schüler das Tool zu Hause nutzt?

4. Überwachung und Meldung (für Schüler)

Produkte sollten Eingaben und Antworten protokollieren, Aufsichtspersonen bei schädlichen Inhalten oder Versuchen, darauf zuzugreifen, benachrichtigen, Schülern in altersgerechter Sprache mitteilen, wenn etwas blockiert wird, und Warnungen mit hohem Risiko an die DSL weiterleiten.

Fragen Sie: Kann eine Lehrkraft den vollständigen Gesprächsverlauf lesen? Wer wird benachrichtigt, wenn etwas Besorgniserregendes passiert, und wie schnell? Wo hinterlegen wir die Kontaktdaten der DSL?

5. Sicherheit

Produkte sollten Jailbreak-Versuchen standhalten, Administratoren Berechtigungsstufen festlegen lassen, eine robuste Authentifizierung nutzen und neue Versionen vor der Veröffentlichung auf Sicherheit testen.

Fragen Sie: Wie testen Sie gegen Jailbreak-Versuche? Wie melden sich Schüler an, und worauf kann ein Schülerkonto zugreifen?

6. Privatsphäre und Datenschutz

Klare, altersgerechte Datenschutzhinweise; eine Datenschutz-Folgenabschätzung über den gesamten Lebenszyklus des Produkts; keine kommerzielle Nutzung personenbezogener Daten, auch nicht zum Modelltraining, ohne geeignete Rechtsgrundlage.

Fragen Sie: Können wir Ihre Datenschutz-Folgenabschätzung und Ihre Vereinbarung zur Auftragsverarbeitung sehen? Werden Schülerdaten zum Training von Modellen genutzt? Wer sind Ihre Unterauftragsverarbeiter?

7. Geistiges Eigentum

Arbeiten von Schülern und Lehrkräften dürfen nicht ohne Erlaubnis (bei unter 18-Jährigen von den Eltern) gespeichert, gesammelt oder kommerziell genutzt werden, auch nicht zum Training.

Fragen Sie: Nutzen Sie die Arbeiten von Schülern, um Ihre Modelle zu trainieren oder zu verbessern?

8. Gestaltung und Tests

Produkte sollten Transparenz und Kindersicherheit Vorrang geben und mit vielfältigen, realistischen Nutzern getestet werden, einschließlich Kindern.

Fragen Sie: Mit wem haben Sie getestet? Wie prüfen Sie, dass das Produkt für Schüler mit sonderpädagogischem Förderbedarf oder mit Englisch als Zweitsprache fair funktioniert?

9. Governance

Eine klare Risikobewertung, ein formaler Beschwerdeweg für Sicherheitsfragen und öffentliche Richtlinien zu Entscheidungen über KI-Sicherheit.

Fragen Sie: Wie eskalieren wir ein Sicherheitsanliegen, und wer reagiert darauf?

10. Kognitive Entwicklung (neu 2026)

Anbieter sollten „alles tun, um das Risiko einer kognitiven Dequalifizierung zu verringern“, mit schrittweisen Hinweisen statt standardmäßig vollständiger Antworten.

Fragen Sie: Erklärt und leitet das Tool an, oder liefert es einfach Antworten? Kann eine Lehrkraft sehen, ob Schüler das Denken auslagern?

11. Emotionale und soziale Entwicklung (neu 2026)

Produkte sollten sich nicht als Mensch ausgeben, Aussagen wie „Du kannst mir vertrauen“ vermeiden, Zeitlimits unterstützen und auf emotionale Abhängigkeit achten.

Fragen Sie: Wie beschreibt das Tool gegenüber Schülern, was es ist? Welche Zeitlimits kann eine Lehrkraft festlegen? Wie erkennen Sie ungesunde Abhängigkeit?

12. Psychische Gesundheit (neu 2026)

Produkte sollten Anzeichen von Belastung erkennen, abgestuft reagieren, vom Hinweis auf Hilfsangebote bis zur Kinderschutzmeldung, Schüler immer an menschliche Hilfe verweisen und niemals zur Geheimhaltung ermutigen.

Fragen Sie: Was passiert Schritt für Schritt, wenn ein Schüler etwas schreibt, das auf eine Gefährdung hindeutet? Können wir das Protokoll sehen?

13. Manipulation (neu 2026)

Keine Schmeichelei, keine falsche Gewissheit, keine Schuldgefühle oder Druck; keine Gestaltung, die die Nutzung verlängert, kostenpflichtige Optionen aufdrängt oder Werbung einmischt.

Fragen Sie: Gibt es in der Schüleransicht Werbung, Serien (Streaks) oder Belohnungen? Sehen Schüler jemals Upgrade-Hinweise?

So erledigen Sie die Prüfung an einem Nachmittag

1. Listen Sie jedes KI-Tool auf, das Schüler erreichen können. Dazu gehören KI-Funktionen in Tools, die Sie bereits nutzen, nicht nur eigenständige Chatbots.
2. Schicken Sie die 13 Fragen an jeden Anbieter. Ein seriöser Anbieter sollte die meisten davon innerhalb einer Woche schriftlich beantworten können.
3. Testen Sie die Schüleransicht selbst. Melden Sie sich als Schüler an und probieren Sie, was ein neugieriges 10-jähriges Kind ausprobieren würde. Halten Sie fest, was passiert.
4. Bewerten Sie jedes Tool mit Grün (Belege vorgelegt), Gelb (Antwort, aber ohne Belege) oder Rot (keine Antwort).
5. Dokumentieren Sie das Ergebnis in Ihrer Überprüfung von Filterung und Überwachung, abgezeichnet von DSL und IT-Verantwortlichen, wie KCSIE es für die jährliche Überprüfung erwartet.
6. Informieren Sie die Eltern. Ein kurzer Elternbrief zu KI im Unterricht schließt den Kreis.

Ihre KI-Richtlinie für die Schule sollte dann die freigegebenen Tools nennen und festlegen, wer sie überprüft.

Wo Askie for Schools steht

Uns ist es lieber, dass Sie uns an den Standards messen, als uns einfach zu glauben. Deshalb hier, was Askie for Schools heute leistet, in den Begriffen von oben:

• Zweck: ein KI-Begleiter für Schüler von 4 bis 15 Jahren, der Fragen beantwortet und Konzepte erklärt, mit Antworten, die an das Alter jedes Schülers angepasst sind.
• Filterung: Jede Antwort durchläuft mehrere Sicherheitsebenen, bevor sie einen Schüler erreicht.
• Überwachung: Lehrkräfte und Administratoren können Gesprächsverläufe und Nutzungsberichte einsehen.
• Anmeldung: Die Lehrkraft legt jeden Schüler an, und jeder Schüler bekommt einen privaten Zugangscode. Klassenlisten können über Wonde aus Ihrem Schulverwaltungssystem, aus Google Classroom oder aus einer eingefügten Liste kommen.
• Daten: Die Schule bleibt Verantwortliche für die Daten, Schülerdaten sind nach Lehrkraft getrennt, eine Vereinbarung zur Auftragsverarbeitung ist auf Anfrage erhältlich, und Askie verkauft niemals Daten und zeigt keine Werbung. Ein Wonde-Import fragt zwölf Felder ab und keine Daten zu Förderbedarf, Gesundheit oder pastoraler Betreuung.

Stellen Sie uns die übrigen Fragen direkt unter askie@kidsai.app; die Antworten gehören in Ihre Unterlagen, nicht in unser Marketing. Sie können mit dem kostenlosen Tarif mit bis zu 20 Schülern starten und die Schüleransicht testen, bevor sich ein Kind anmeldet.

Häufig gestellte Fragen

Sind die DfE-Sicherheitsstandards für generative KI verpflichtend?

Sie richten sich an Anbieter und sind keine gesetzliche Pflicht für Schulen. Aber KCSIE 2026, das verbindlich ist, verweist Schulen für Filterung und Überwachung darauf. In der Praxis sollte eine Schule also zeigen können, dass sie sie berücksichtigt hat.

Heißt es „expectations“ oder „standards“?

Beide Namen bezeichnen dasselbe Dokument. Es wurde im Januar 2025 als Generative AI: product safety expectations veröffentlicht und heißt jetzt Generative AI: product safety standards; die letzte Aktualisierung erfolgte im Januar 2026. KCSIE 2026 verwendet noch den früheren Namen.

Gilt das auch für KI-Tools nur für Lehrkräfte?

Einige Standards (Sicherheit, Datenschutz, geistiges Eigentum, Gestaltung, Governance, Manipulation) gelten auch für Tools für Lehrkräfte. Die Standards zu Filterung, Überwachung, kognitiver und emotionaler Entwicklung sowie psychischer Gesundheit betreffen Produkte für Schüler.

Wer in der Schule sollte dafür verantwortlich sein?

Das Mitglied der Schulleitung, das für Filterung und Überwachung zuständig ist, gemeinsam mit der DSL und dem IT-Support, wie KCSIE es für die jährliche Überprüfung vorsieht. Zur breiteren Einführung siehe KI sicher in Schulen einsetzen.