- 혁신
생성형 인공지능(AI) 도구는 많은 산업 분야에서 흥분과 불확실성을 동시에 일으켰으며 글로벌 평가 환경도 예외는 아닙니다.
2021년 7월, ATP(Association of Test Publishers)는 '인공지능과 시험 산업: 입문서'라는 제목의 백서를 발표하여 자격 증명 분야에서 AI의 다양한 잠재적 응용 분야와 'AI의 적절하고 책임 있는 사용'1에 대해 탐구했습니다.
오늘날, AI는 전 세계적으로 미디어 헤드라인을 장식하고 있습니다. 점점 더 많은 시험 콘텐츠 제작자들이 최첨단 AI 기술을 사용하여 다양한 평가를 위한 시험 항목을 개발하는 방법을 적극적으로 모색하기 시작했습니다.
제56회 CIECA Congress 2024에서 국제 운전 시험 커뮤니티가 '스마트 모빌리티를 위한 운전자를 준비'함에 따라 AI는 다음을 포함하여 모든 사람에게 많은 생각거리를 주고 있습니다.
- 향후 문항 개발에서 AI와 인간 주도 문항 품질 간 어떤 차이를 볼 수 있는가?
- 문항 작성 과정에서 AI가 통합됨에 따라 어떤 윤리적 또는 법적 의미를 고려해야 하는가?
- 기존 프로세스에 AI를 통합하는 데 드는 잠재적 비용은 얼마인가? 데이터의 품질과 양에 따라 정확도 수준이 크게 달라지는 상황에서 생성된 콘텐츠를 정제 및 개선하는 데 필요한 인적 노력 비용은 얼마인가?
생성형 AI를 사용하면 사용자는 작업을 지정하는 서면 텍스트(프롬프트)를 제출할 수 있습니다.
여기에는 객관식 항목 작성, 어려운 조건에서의 주행 시나리오 작성, 그럴듯하지만 잘못된 응답 옵션 제안, 또는 스타일 지침에 따라 기존 텍스트 편집 등이 포함될 수 있습니다. AI가 이러한 것들을 할 수 있지만, 분명한 질문은 "얼마나 잘하는가?"이고 그다음이 "이것이 우리의 기존 시험 개발 프로세스에 어떻게 부합할까?"입니다.
AI를 사용하든 템플릿 기반 접근 방식과 같은 다른 방법을 사용하든, 글로벌 평가 환경 전반에 걸쳐 의견은 자동 문항 생성 가능성에 따라 매우 다양합니다. 간단한 문항 요청의 경우 결함이 있고 상대적으로 '낮은 수준의' 콘텐츠가 생성될 수 있지만, 반면에 잘 구성될 수 있습니다.
적절한 프롬프트를 사용하여 문항이 다양한 인지 수준에 걸칩니다. 인간 문항 작성자에게 제공되는 형식, 구조, 정답 이외 선택지 및 기타 문항 요소에 관한 동일한 지침을 통합하는 것은 일반적인 문항 작성 프로세스와 마찬가지로 생성형 AI 문항 개발에도 필요합니다. 전체 프로세스에 걸쳐 문항 개발 및 평가에 대한 전문가를 포함시키는 것이 핵심이며, 생성된 결과를 이해하기 위한 체계적이고 과학적인 접근 방식도 마찬가지로 중요합니다.
2023년, 우리는 대중적이고 무료로 사용할 수 있는 AI 플랫폼에서 생성된 문항의 품질과 특성을 조사하는 몇 가지 연구를 수행했습니다.
문항 작성 가이드라인을 기반으로 일련의 프롬프트를 만들었는데, 여기에는 인지 수준, 샘플 문항 형식 및 스타일 가이드라인에 대한 포괄적인 지침과 예가 포함되어 있습니다.
separator
1 '인공지능과 시험 산업: 입문서'- ATP 보안 위원회의 국제 개인 정보 소위원회가 작성한 ATP의 특별 간행물, 2021년 7월 6일, 3쪽