英国教育部生成式 AI 产品安全标准:学校检核清单
英国教育部(DfE)发布的《Generative AI: product safety standards》(生成式 AI:产品安全标准),列出英格兰学校使用的 AI 产品应该符合的 13 个面向,从过滤与监控,到心理健康和操弄行为都涵盖在内。这份标准是写给供应商的,但 KCSIE 2026(英国法定指引《保障教育中的儿童安全》)在说明过滤与监控如何适用于 AI 时,会指引学校参考它。本文逐一整理每项标准,并把它转换成学校的指定安全保护负责人(DSL)可以拿去问任何供应商的问题。
改了什么,什么时候改的
现在有三份官方指引,共同形塑英格兰的 AI 儿童保护:
| 指引 | 状态 | 用途 |
|---|---|---|
| Generative AI: product safety standards | 2025年1月22日首次以“产品安全期望”(product safety expectations)的名称发布;2026年1月19日更新 | 列出 AI 产品要被视为可安全用于教育,应该具备哪些能力。2026 年的更新添加了认知发展、情绪与社交发展、心理健康和操弄行为等标准 |
| Keeping children safe in education 2026 | 法定指引,2026年9月1日起生效 | 把 AI 纳入网络安全风险类别,并在过滤与监控章节中指引学校参考产品安全标准 |
| Generative AI in education | 英国教育部政策文书,最近一次更新为 2025年8月 | 涵盖资料保护、知识产权,以及教职员和学生如何安全使用 |
英国教育部表示,这些标准“是给教育科技开发商,以及学校和学院的供应商使用的”,而学校“也可能发现它们有助于评估哪些 AI 产品可以安全用于教育”。实务上,这是学校手上最实用的尽职调查检核清单。
KCSIE 2026 怎么谈 AI
KCSIE 2026 并没有另外订出一项 AI 义务,而是把 AI 融入既有的义务里:
- 网络安全风险(第 165 段):“接触”风险现在包括“与其他用户,或模拟这类交互的生成式 AI 应用程序之间的有害在线交互”。“行为”风险则包括“使用 AI 生成”的露骨图片。
- 使用指引(第 167-168 段):选择使用生成式 AI 的学校,不论是给老师用还是给学生用,都会被指引去参考英国教育部的生成式 AI 指引,以及与 Chiltern Learning Trust 和 Chartered College of Teaching 合作制作的免费辅助教材。其中第 3 单元涵盖儿童保护、伦理、资料保护和知识产权。
- 过滤与监控:除了原本规定每个学年至少检讨一次过滤与监控之外,KCSIE 也列出英国教育部的产品安全标准,说明“过滤与监控的要求如何适用于教育中的生成式 AI”。
实际上的意思是:给学生使用的 AI 工具,是你过滤与监控全貌的一部分,年度检讨时应该把它列进去。
把 13 项生成式 AI 产品安全标准变成检核清单
以下每一项标准,都先用一句话摘要英国教育部的原文,再列出该问的问题。请向供应商索取证据(截屏、政策、测试结果),而不是光听一句“有”。
1. 明确的用途
产品应该说明预期用途、目标学习者和学习重点,而且“不应夸大工具的影响或能力”。
要问:这是为哪些年龄和需求设计的?你们宣称的成效有什么证据佐证?
2. 教育使用情境
预期的使用情境应该“让所有用户、教育工作者和采购者都清楚明白”。
要问:这是给学生用的工具、给老师用的工具,还是两者都是?哪些功能属于哪一种?
3. 过滤(给学生使用的产品)
产品“必须有效且可靠地防止用户接触有害或不当内容”,而且要涵盖整段对话、各种语言和图片,在个人设备上也一样有效。
要问:过滤是做一次就结束,还是每一轮对话都会做?有涵盖图片和其他语言吗?学生在家使用时也还有效吗?
4. 监控与通报(给学生使用的产品)
产品应该记录提示词和回应,在出现有害内容或有人试图取得这类内容时通知监督者,用适合年龄的语言告诉学生某些内容被挡下了,并把高风险警示转给 DSL。
要问:老师能读到完整的对话记录吗?发生令人担心的状况时会通知谁?多快通知?DSL 的联系信息要在哪里填写?
5. 信息安全
产品应该能抵挡“越狱”攻击,让管理员设置访问层级,使用可靠的身份验证,并在新版本上线前做安全测试。
要问:你们怎么测试越狱攻击?学生怎么登录?学生账号能访问哪些东西?
6. 隐私与资料保护
清楚、适合年龄的隐私权告知;在产品整个生命周期中做资料保护影响评估(DPIA);没有适当的合法依据,就不能把个人资料用于商业用途,包括模型训练。
要问:可以看你们的 DPIA 和资料处理协议吗?有没有任何学生资料被用来训练模型?你们的次处理者有哪些?
7. 知识产权
没有取得同意(未满 18 岁要由家长同意),就不能保存、收集学生和老师的作品,或把它们用于商业用途,包括训练模型。
要问:你们会用学生的作品来训练或改进模型吗?
8. 设计与测试
产品应该优先重视透明度和儿童安全,并找多元、真实的用户测试,其中包括儿童。
要问:你们找了谁来测试?你们怎么确认产品对有特殊教育需求(SEND)或以英语为附加语言的学生也一样公平?
9. 治理
明确的风险评估、正式的安全问题申诉管道,以及公开说明 AI 安全决策的政策。
要问:我们要怎么反映安全疑虑?由谁回应?
10. 认知发展(2026 年添加)
供应商应该“尽一切努力降低造成认知能力退化的可能性”,默认提供循序渐进的提示,而不是直接给出完整答案。
要问:这个工具是在讲解和引导,还是直接把答案交出去?老师看得出学生是不是把思考都丢给 AI 吗?
11. 情绪与社交发展(2026 年添加)
产品不应假装自己是人,应避免“你可以信任我”这类说法,应支持使用时间限制,并留意学生是否出现情感依赖。
要问:这个工具怎么向学生介绍自己是什么?老师可以设置哪些时间限制?你们怎么检测不健康的依赖?
12. 心理健康(2026 年添加)
产品应该检测学生的痛苦征兆,依程度分层回应,从提供求助资源到发出儿童保护警示,永远引导学生去找真人帮忙,而且绝不鼓励学生保守秘密。
要问:学生写下显示自己可能有危险的内容时,会一步一步发生什么事?我们可以看看你们的处理流程吗?
13. 操弄行为(2026 年添加)
不奉承、不假装有把握、不让人有罪恶感或压力;不使用延长使用时间、推销付费选项或夹带广告的设计。
要问:学生使用的界面中有没有广告、连续天数或奖励机制?学生会不会看到升级提示?
一个下午就能完成的检核步骤
- 列出学生能接触到的所有 AI 工具:包括你们已经在用的工具里内置的 AI 功能,不只是独立的聊天机器人。
- 把这 13 个问题发给每一家供应商:可靠的供应商,应该能在一周内以书面回答大部分问题。
- 亲自测试学生端画面:用学生账号登录,试试看一个好奇的 10 岁孩子会试的东西,并记录结果。
- 替每个工具评分:绿灯(有提供证据)、黄灯(有回答但没有证据)或红灯(没有回答)。
- 把结果写进过滤与监控的年度检讨:并由 DSL 和信息负责人签核,这正是 KCSIE 对年度检讨的期待。
- 告诉家长:一封简短的致家长信:说明课堂中的 AI,就能让整件事有始有终。
接着,你们的学校 AI 政策应该列出核准使用的工具,以及由谁负责检讨。
Askie 学校版的定位
我们宁可你拿这些标准来检验我们,也不要只听我们自己说。所以以下用上面的标准,说明 Askie 学校版目前做到的事:
- 用途:给 4 到 15 岁孩子使用的学生端 AI 伙伴,负责回答问题、讲解概念,回答会依照每位学生的年龄调整。
- 过滤:每一则回应在送到学生面前之前,都会经过多层安全防护。
- 监控:老师和管理员可以看到对话记录和使用报告。
- 登录:由老师创建每位学生,每位学生会拿到一组专属的访问码。学生名单可以通过 Wonde 从学校的 MIS 系统导入,也可以从 Google Classroom 导入,或直接粘贴名单。
- 资料:学校始终是资料控管者,学生资料依老师分开存放,可应要求提供资料处理协议,而且 Askie 绝不出售资料,也不放广告。通过 Wonde 导入时只会要求 12 个字段,不包含特殊教育需求、医疗或辅导资料。
其他问题,欢迎直接发邮件到 askie@kidsai.app 问我们;这些答案应该留在你们的记录里,而不是我们的营销文案里。你可以先从免费方案开始,最多 20 位学生,在任何孩子登录之前就能先预览学生端画面。
常见问题
英国教育部的生成式 AI 产品安全标准是强制性的吗?
这份标准是写给供应商的,并不是学校的法定义务。但具有法定效力的 KCSIE 2026 在过滤与监控的部分会指引学校参考它,所以实务上,学校应该要能证明自己有考虑过这些标准。
到底叫“期望”还是“标准”?
两个名称指的是同一份指引。它在 2025年1月以《Generative AI: product safety expectations》的名称发布,现在的标题是《Generative AI: product safety standards》;最近一次更新是在 2026年1月。KCSIE 2026 仍然沿用旧名称。
只给老师用的 AI 工具也适用吗?
部分标准(信息安全、隐私、知识产权、设计、治理、操弄行为)也适用于给老师用的工具。过滤、监控、认知、情绪和心理健康等标准,则是针对给学生使用的产品。
学校里应该由谁负责?
由负责过滤与监控的资深主管,与 DSL 和信息支持人员一起负责,这也是 KCSIE 对年度检讨的规定。想了解更全面的推行方式,请看如何在学校安全使用 AI。
让你的安全保护负责人亲自评估 Askie
Askie 学校版让老师看得到对话记录,回答依学生年龄调整,并有多层过滤。学校始终是资料控管者。最多 20 位学生可免费开始。