- 创新
生成式人工智能（AI）工具为许多行业带来了激动人心的改进的同时，也带来了捉摸不定的变数，对全球测评界来说也不例外。
早在 2021 年 7 月，国际考试业协会（ATP）就发布了一份名为《人工智能和考试行业：入门指南》的白皮书，深入探讨了人工智能在认证领域的一系列潜在应用，以及“如何恰当且负责任地使用人工智能”1。
时至今日，人工智能正在占据世界各地媒体的头条。越来越多的考试出题人开始积极探索如何利用前沿人工智能技术为一系列测评开发考试题目。
2024 年，国际驾驶考试团体在国际驾驶员测试委员会第 56 届年度大会以“让驾驶员做好智能出行的准备”为主题，自然地引发了人们对人工智能相关问题的大量思考，包括：
- 在未来的考试题目开发中，人工智能编写的题目与人工编写的题目，我们能看到哪些质量上的差异？
- 在编写题目过程中集成人工智能，需要考虑哪些道德操守或法律影响?
- 将人工智能纳入现有编写过程的潜在成本是什么? 鉴于准确度很大程度上取决于数据的质量和数量，那么优化和改进人工智能生成式内容所需的人力成本是多少?
生成式人工智能允许出题人提交指定任务的书面文本（提示）。
这可能包括编写选择题，设计在各种困难条件下驾驶的场景，建议看似合理但不正确的回答选项，或者根据风格指南编辑现有文本。人工智能是可以做到这样，但显而易见的问题是“人工智能可以做到多好？”，以及“这将如何适应我们现有的考试开发过程？”
对于自动生成题目的潜力，无论是使用人工智能还是其他方法，比如以模板为基础的方法等，全球测评领域意见大相径庭。简单的题目编写请求既可能生成破绽百出的相对“低级”内容，也可能生成条理清晰的内容。
在编写题目时，须针对一系列认知水平，给出正确提示。传统题目编写过程中要告知人工出题人格式、结构、干扰选项及其他题目元素等说明，生成式人工智能项目开发也一样，这些说明必不可少。让专家参与题目开发到评估的整个过程十分关键，这也是井然有序且科学地了解生成的结果的方法。
2023 年，我们展开了多项研究深入调查了热门的免费人工智能平台所生成的考题的质量和特征。
我们根据题目编写指南（包括认知水平的综合说明和示例、示例题目格式及风格指南）创建了一系列提示。
separator
1 《人工智能和考试行业：入门指南》，ATP 特种文献，由 ATP 安全委员会下属的国际隐私委员会撰写，2021 年 7 月 6 日，第 3 页