AI가 온라인 시험의 보안, 신뢰성 및 공정성을 향상시키는 5가지 방법

  • AI Insights
  • 혁신

글: Greg Birzes, Pearson Professional Assessments 최고기술책임자

온라인 시험 사용이 증가하면서 일부 자격증 취득 기회가 확대되었지만, 시험의 공정성을 유지하는 데 새로운 과제도 발생했습니다. 기존의 부정행위 방식이 더 정교하고 기술 중심적인 접근 방식으로 진화함에 따라 AI는 종종 문제의 일부로 여겨지지만, 책임감 있게 설계하고 배포한다면 AI는 강력한 해결책이 될 수 있습니다. 그러나 온라인 감독 시스템이 모든 사용 사례에 적합한 것은 아니라는 점을 인지하는 것이 중요합니다. 

Greg Birzes
Pearson Professional Assessments 최고기술책임자

다음은 AI가 온라인 시험의 보안, 신뢰성 및 공정성을 향상시키는 다섯 가지 방법입니다.

  • 온라인 시험에서 AI는 하나의 도구가 아니라, 지능형 검증을 위한 계층화된 시스템입니다. 
    온라인 시험 감독은 물리적 및 디지털 시험 환경 전반에 걸쳐 (얼굴 인식뿐만 아니라) 여러 AI 센서가 함께 작동합니다.

  • AI는 인간의 판단을 대체하는 것이 아니라 강화합니다. 
    AI는 이상 징후를 감지하지만, 공정성과 책임성을 유지하기 위해 최종 결정은 인간(감독관)이 내립니다.

  • 가장 큰 발전은 AI 센서 자체가 아니라 센서에서 수집된 데이터를 해석하는 방식에 있습니다. 
    AI는 모든 경고를 개별적인 사건으로 처리하는 대신, 시간이 지남에 따라 의심스러운 행동 패턴을 분석합니다.

  • 강화된 보안은 응시자에게 더 많은 스트레스를 주는 것이 아니라, 자격증의 가치를 높이고 응시 경험을 개선할 수 있습니다. 
    자동화는 응시자 체크인을 신속하게 처리하고 전반적인 시험 경험을 간소화할 수 있습니다.

  • 온라인 감독 시스템은 진화하는 위협에 앞서 나가기 위해 지속적인 투자가 필요합니다. 
    시험 보안 유지는 AI와 더불어 지속적인 조정, 평가 및 인간의 감독이 필요한 지속적인 프로세스입니다.

1. 온라인 시험 감독에 사용되는 AI는 하나의 도구가 아니라, 지능형 검증 시스템의 계층 구조입니다.

흔히 오해하는 점은 AI 기반 온라인 시험 감독이 단순히 응시자의 신원을 확인하기 위한 얼굴 인식 기술이라는 것입니다. 하지만 실제로는 얼굴 인식은 훨씬 더 정교한 시스템의 한 구성 요소일 뿐입니다. 보안을 강화하기 위해 여러 기술이 복합적으로 작동하는 시스템입니다.

사실, 단 하나의 데이터만으로는 결코 충분하지 않습니다. 그렇기 때문에 효과적인 온라인 시험 감독은 응시자의 신원 및 자격부터 물리적 및 디지털 시험 환경의 보안에 이르기까지 다양한 요소를 분석하는 AI 기반 센서의 계층 구조 시스템에 의존합니다.

하지만 항상 이랬던 것은 아닙니다. 업계 전반에 걸쳐 초기 AI 기반 온라인 시험 감독 시스템은 한계가 있었고, 경우에 따라 오탐(false positive)이 발생하기 쉬웠습니다. 해결책은 개별 시스템에서 통합 시스템으로 전환하는 것이었습니다. 오늘날의 차세대 센서는 이러한 노력의 결과물입니다. 더 정확하고 집중적이며, 서로 연동되도록 설계되었습니다.

이러한 계층형 모델은 전체적인 상황을 파악하도록 설계되었습니다. 여러 신호를 지능적으로 결합하여 보안 위협을 확인하고, 효과적으로 노이즈를 제거하여 단일 데이터 포인트가 아닌 더 광범위하고 신뢰할 수 있는 지능형 신호 세트를 기반으로 보안 결정을 내릴 수 있도록 합니다.

2. AI는 인간의 판단력을 대체하는 것이 아니라 강화합니다.

시험 부정행위 여부를 AI가 결정한다는 것은 잘못된 통념입니다. 

응시자들은 "AI에 의해 플래그"되었다는 이야기를 자주 하는데, 이는 마치 자동으로 부정행위 판정을 받은 것처럼 받아들여집니다. 우리는 온라인 감독을 그런 방식으로 접근하지 않습니다. Pearson Professional Assessments에서는 시험 보안과 관련된 모든 중요한 결정의 중심에 사람이 있습니다. AI는 실제 시험 감독을 담당하는 훈련된 평가 전문가(감독관)를 지원하는 데 사용될 뿐, 대체하는 것이 아닙니다. AI의 역할은 여러 신호를 동시에 모니터링하고 비정상적인 눈 움직임이나 배경 소음과 같은 잠재적인 이상 징후나 행동을 감지하는 것입니다.

AI는 마치 두 번째 눈처럼, 감독관이 여러 시험 세션을 동시에 더 많이, 더 일관되게 볼 수 있도록 도와줍니다. AI가 원격 시험 과정에서 보안 문제를 제기하더라도, 공정성, 책임성, 그리고 중요한 평가에 대한 신뢰를 유지하기 위해서는 인간의 개입이 필수적입니다. 

시험이 끝났다고 해서 우리의 경계가 끝나는 것은 아닙니다. 최종 응답이 기록된 후에도 부정행위의 증거를 계속해서 찾습니다. 이는 광범위한 조사 과정에서 며칠 또는 몇 주 후에 세부 사항이 드러나는 경우가 많기 때문입니다.

3. 가장 큰 발전은 AI 센서 자체가 아니라, 센서에서 얻은 데이터를 해석하는 방식입니다.

AI 센서를 추가한다고 해서 보안이 자동으로 향상되는 것은 아닙니다. 중요한 것은 센서에서 얻은 정보를 어떻게 해석하고 활용하는가입니다. 예를 들어, 응시자가 시험 환경에서 잠시 시선을 돌리거나, 스트레칭을 하거나, 짧게 소음을 내는 경우 일반적으로 심각도가 낮은 플래그가 생성되거나 아예 생성되지 않습니다. 문제는 반복적이거나 복합적인 행동이 규칙 위반 가능성을 시사할 때만 발생합니다.

개별적인 이벤트는 때때로 오해를 불러일으킬 수 있습니다. 시간이 지남에 따라 나타나는 패턴은 훨씬 더 의미가 있습니다. AI는 신호를 종합적으로 분석하여 무해한 활동과 진정으로 의심스러운 활동을 구분하는 데 도움을 주어 불필요한 방해 요소를 줄이고 감독을 강화합니다.

이러한 원칙을 바탕으로 당사는 이상 징후 및 부정행위 탐지를 위한 지능형 센서 아키텍처를 개발했습니다. 이는 온라인 시험 과정 전반에 걸쳐 방대한 양의 정보를 종합하는 고급 인텔리전스 엔진입니다. 이 엔진은 개별 경고만 감지하는 것이 아니라, 모든 신호에서 패턴을 분석하여 실제 위협과 오경보를 구분함으로써 경고 간의 연결 고리를 파악합니다. 모든 잠재적 위험 요소를 나열한 단순한 목록을 감독관에게 제공하는 대신, 데이터를 분류하여 가장 중요한 위험 영역에 집중할 수 있도록 지원함으로써 감독관이 최대한 효과적으로 감독할 수 있도록 합니다.

4. 강화된 보안은 응시자에게 더 많은 스트레스를 주는 것이 아니라, 자격증의 가치를 높이고 시험 경험을 개선할 수 있습니다.

중요한 시험에서 보안과 편의성은 종종 상반되는 요소로 오해되지만, 반드시 그럴 필요는 없습니다.

인공지능(AI)은 온라인 시험 체크인 과정의 많은 부분을 간소화했습니다. 응시자가 일련의 초기 자동화 검사를 통과하면 시험 세션으로 더 빠르게 이동하여 감독관 대기열에 바로 들어갈 수 있습니다.

이는 스트레스를 줄이고 응시자가 가장 중요한 것, 즉 시험 성적에 집중할 수 있도록 해줍니다. 동시에 추가적인 검토가 필요할 때 언제든지 사람이 직접 감독할 수 있습니다.

잘 설계된 보안 조치는 시험의 공정성을 높이고 응시자 경험을 개선하는 데 기여할 수 있으며, 이것이 바로 AI 기술 발전이 이 분야에 혁신적인 변화를 가져온 이유입니다. 또한 보안이 강화된 시험은 부정행위를 예방하는 데 더 효과적입니다. 이는 자격증의 가치를 높여줍니다.

5. 온라인 시험 감독 시스템은 진화하는 위협에 앞서 나가기 위해 지속적인 투자가 필요합니다.

인공지능(AI)과 온라인 시험 감독에 대해 가장 중요한 점은 이것이 일회성 구현이 아니라는 사실입니다. 온라인 시험 감독은 시험 시행 모델로서 정확성과 공정성을 유지하기 위해 지속적인 투자와 기능의 지속적인 개선이 필요합니다.  핵심적인 모범 사례는 AI와 협력하여 시스템 성능을 분석하는 전담 인력팀이 감독하는 보안 시스템에 대한 지속적이고 실시간 평가입니다. 

AI는 공정하고 신뢰할 수 있는 온라인 평가를 만드는 데 유용한 도구가 될 수 있지만, 책임감 있게 설계되고 인간의 감독이 뒷받침될 때만 그렇습니다. 이러한 접근 방식은 자격증의 가치를 보호하고 모든 응시자에게 성공의 기회를 제공하는 신뢰할 수 있고 통제된 환경을 구축하는 데 핵심입니다.

인간의 개입을 유지하는 것

온라인 시험에서 AI의 목표는 모든 응시자에게 공정성과 투명성을 높이는 것입니다.

이는 모든 것을 감시하는 단일 알고리즘이 아니라, 인간의 판단을 대체하는 것이 아니라 보완하는 여러 계층의 스마트 AI 센서 시스템을 통해 달성됩니다. 이러한 인간 중심적 접근 방식은 보안을 강화하는 동시에 응시자에게 더 간편하고 스트레스 없는 시험 경험을 제공합니다.

ISAAC으로 강화된 시험 보안

컴퓨터‑ 기반 시험에서 부정행위 및 이상 징후를 탐지하는 지능형 센서 아키텍처

ISAAC

정상행위 및 부정행위 탐지를 위한 지능형 센서 아키텍처

분석

센서를 사용하여 부정행위 또는 의심스러운 행동 패턴을 식별합니다.

경고

부정행위 또는 의심스러운 행동 패턴이 감지되면 해당자에게 경고합니다.

위험도 평가

부정행위 또는 행동에 가중치를 부여하여 시험 세션의 위험도를 ‑평가합니다.maly and Cheat detection in computer‑based tests