- イノベーション
生成人工知能 (AI) ツールは多くの業界で興奮と疑念の両方を巻き起こしており、グローバルアセスメントの分野も例外ではありません。
2021年7月、ATP (Association of Test Publishers) は、資格認定の分野におけるさまざまなAI活用の可能性と、「責任ある適切なAI使用」について考察した『Artificial Intelligence and the Testing Industry: A Primer』(人工知能と試験業界：入門) と題するホワイトペーパーを公開しました。 (*1)。
そして今日では、AIに関する話題が世界中のメディアのトップ記事を独占する勢いです。試験コンテンツ作成者の間では、さまざまなアセスメントの試験問題の作成に最先端のAIテクノロジーをどのように活用できるのか積極的に調査する動きも増えています。
第56回 CIECA Congress 2024 で運転試験の国際的な団体がドライバーに対し、「スマートモビリティへの対応」を促したとおり、AI はあらゆる人に多くを考えさせる存在となっています。例えば以下のような問いが挙げられます。
- 問題を作成する場合、AIと人では品質にどのような差があるのか？
- 問題作成でAIを活用する場合、倫理面や法律面でどのような影響を考慮すべきなのか？
- 既存のプロセスにAI活用することで、潜在的なコストはどの程度発生するのか？データの質や量によって精度が大きく左右されるため、生成されたコンテンツの改善・改訂に必要な人的コストはどの程度になるのか？
生成AI では、指定したテキスト(プロンプト) でタスクを実行します。
多肢選択式問題の作成、難しい状況での運転シナリオの作成、正しいように見えて間違っている解答例の提案、スタイルガイドに沿った既存の記述内容の書き直しなどができます。AI ではこのような作業が可能ですが、同時に「どの程度できるのか？」「どのようにして既存の問題作成プロセスに活用できるのか？」という疑問が当然湧いてきます。
グローバルアセスメントの分野では、AI の活用やテンプレートベースのその他の方法など、問題の自動作成の可能性に関するさまざまな意見があります。問題の作成でシンプルな指示をした場合、不備があったり、比較的「低レベル」なコンテンツになる可能性がある一方、指示によって優れたコンテンツになることもあります。
適切な指示 (プロンプト) を使うことで、さまざまなレベルの認知能力を測れる問題を作成できます。生成 AI による問題作成では、フォーマット、構成、不正解の選択肢などの要素について、従来のプロセスと同様に人間の作成者と同じような指示を提供することが必要です。問題の作成と評価の専門家をプロセス全体を通して配置すること、そして、生成されたコンテンツを理解するための組織的かつ科学的なアプローチが重要です。
当社は有名な無料 AI プラットフォームで作成される問題の質や特徴を 2023 年に数回にわたって調査しました。
当社の問題作成ガイドラインに基づいて一連のプロンプトを作成し、プロンプトには包括的な説明や認知レベルの例、問題のサンプルフォーマット、スタイルガイドも加えました。
separator
*1『Artificial Intelligence and the Testing Industry: A Primer』- A Special Publication from ATP, Authored by the International Privacy Subcommittee of the ATP Security Committee July 6, 2021, p.3