"심리 측정은 평가를 뒷받침하는 과학이다"- Pearson VUE 호주 및 동남아시아 부문 수석 계량 심리학자 Edward Feng Li 박사와의 대담

Li 박사님, 본인에 대해 좀 말씀해 주시겠어요? 박사 학위를 취득하시게 된 배경을 알고 싶습니다.

저는 심리학과 정량적 방법에 중점을 둔 교육학 박사 학위를 취득했습니다.

이 기술 부문의 많은 분야에서 깊이 있는 지식을 공유해 주신 학술 교수진의 폭넓은 전문 지식의 덕을 보았죠. 나아가 질적 연구 방법에 대한 교육을 받아 연구자로서의 기술 역량을 더욱 넓혔습니다. 이런 지식을 박사 과정 연구 프로젝트를 위한 평가 도구를 개발하는 데 적용할 수 있어서 즐거웠어요.

제 경우는 학업 덕분에 강력한 분석 체계를 갖추고 학업 및 직업 모두에서 측정 과학과 관련된 복잡성과 그 적용 과정을 포괄적으로 이해할 수 있었어요.

최근 Pearson VUE에서 수석 계량 심리학자라는 새로운 역할을 맡으셨는데, 정확히 어떤 역할인가요?

Pearson VUE의 수석 계량 심리학자로서 제 역할은 다방면에 걸쳐 있습니다. 그래도 늘 평가 솔루션의 유효성과 신뢰성을 보장하고 다양한 고객 요구 사항을 충족하도록 맞춤화할 방법을 제공하는 데 중점을 두고 있다고 생각해요. 이제 '수석'이라는 완장을 차고 나니, 팀의 다른 구성원을 관리하는 것뿐만 아니라 일상적인 업무는 물론 보다 전략적인 고려 사항에 초점을 맞춰야 한다는 큰 책임감을 느낍니다. 지금은 Pearson VUE의 기술 및 제품 개발과 같은 다른 부서 그룹 간의 협업에 더 많이 참여하여 시험 서비스의 전체 기능을 한층 강화하고 있어요. Pearson VUE는 업계 표준을 따를 뿐만 아니라, 사고 리더로서 평가의 모범 사례를 정의하는 혁신적인 접근 방식을 개척하며 남들과 다른 행보를 보이죠.

일상은 어떤 모습인가요?

하루하루가 달라요. 어느 날에는 데이터 분석을 수행하고, 또 다른 날에는 주관사를 위한 평가 솔루션을 제작하고, 어떤 때는 다른 Pearson 팀과 협력하기도 하죠. 장기적으로 보면 전략 계획, 팀 협업 및 실무 분석이 섞여 있습니다. 그리고 심리 측정 방법과 기술의 최신 발전, 특히 생성형 AI를 따라잡고자 많은 시간을 투자하기도 하죠.

평가를 개발할 때 내외부에서 다양한 이해관계자와 협력할 것 같은데요. 이 과정을 간단히 설명해 주시겠어요?

협업은 효과적인 평가를 개발하기 위한 핵심입니다. 외부적으로는 주관사의 고유한 요구와 과제를 이해하고자 협력하는데, '교과서적 스타일' 관행이 적합하지 않은 주관사도 있기에 이 부분이 아주 중요하죠. 주관사는 깊이 있는 지식을 가지고 있지 않은 경우가 많아서, 보통 일반인이 이해할 수 있는 방법으로 주요 원칙을 설명할 방법을 찾아야 합니다. 그래야 부담을 갖지 않아요. 강력하고 전략적인 계획은 모두가 같은 생각을 할 때만 세울 수 있습니다. 내부적으로는 비즈니스 개발 팀과 긴밀히 협력하여 고객의 요구 사항에 대한 초기 평가를 수행한 후 프로그램 관리, 콘텐츠 개발, 시험 퍼블리싱 팀의 처리를 거쳐 평가가 잘 계획되고 효과적으로 개발되며 주관사에 원활하게 제공되는지 확인하곤 합니다. 이런 협업 프로세스를 통해 효과적이고 실용적인 솔루션을 맞춤 제공할 수 있죠.

개인적으로 고도로 숙련된 심리 측정 팀의 중요성/가치는 무엇이라고 생각하시나요?

심리 측정은 평가를 뒷받침하는 과학입니다. 고도로 숙련된 심리 측정 팀은 평가가 공정하고 유효하게 이루어지고 평가를 신뢰할 수 있도록 시험 개발에 비판적인 시각을 제공합니다. 팀의 전문성을 통해 다양한 모집단에서 잠재 구조를 정확하게 측정하는 복잡한 과정을 헤쳐 나갈 수 있어요. 여기에는 평가가 필요한 구조를 정의하고 시험 항목이 해당 구조에 대한 응시자의 이해를 효과적으로 평가하도록 보장하는 작업이 포함되죠. Pearson VUE에서는 기술적인 역량 외에도 심리 측정 팀에서 요구하는 '소프트' 스킬도 강조합니다. 가령, 훌륭한 커뮤니케이션 스킬을 갖고 있으면 저희는 주관사의 구체적인 요구를 파악하고 주관사가 당사의 기술 솔루션이 평가를 개선할 방법을 이해하도록 도울 수 있죠. 강력한 커뮤니케이션 스킬은 고객과의 장기적이고 지속적인 관계를 발전시킵니다. 게다가 소프트 스킬은 시험 개발 프로세스에도 매우 중요한데, 평가를 준비하는 요소는 사람의 상호작용을 많이 수반하기 때문이죠. 표준 설정 및 직업 작업 분석 워크샵을 용이하게 하는 것을 예로 들 수 있겠네요.

높은 자격 증명 기준을 유지하려고 노력하는 시험 주관사/클라이언트에게 조언을 한마디 한다면요?

주제와 심리 측정 실무 모두에서 최신 변화를 반영하기 위해 정기적으로 평가를 검토하고 업데이트해야 합니다. 주관사가 적절한 행동 과정을 확신하지 못한다면 먼저 계량 심리학자와 상담하는 것이 중요해요. 때로는 교과서적 평가를 시행하는 데 엄청난 노력과 자원이 필요한 듯 보일지도 모르지만, 완벽함이 선의 적이 되지 않도록 해야죠. 사소한 개선도 중요합니다!

동남아시아는 저희 사업의 핵심 시장이며 몇 가지 흥미로운 신규 출시를 앞두고 있습니다. 이 역동적인 지역에서 심리 측정 서비스를 가장 많이 필요로 하는 부분은 어디라고 생각하시나요?

호주 멜버른에 본사를 둔 계량 심리학자로서, 저는 최근 몇 년 동안, 이 지역의 빠른 성장을 목격했습니다. 인증 응시자의 역량을 보장하고 인증 프로그램의 신뢰성을 보호하고자 강력한 평가 방법을 요구하는 조직이 점차 늘고 있어요. 이 지역에서 시험 프로그램이 성장하고 확장될수록 Pearson VUE의 컴퓨터 기반 시험 전문 지식과 전 세계적 영향력은 지역 내 많은 주관사의 관심을 받겠죠.

AI의 열풍이 불고 있는 요즘, 앞으로 몇 년간 측정 방법론이 어떻게 발전하리라 보시나요?

전문가라도 미래를 잘못 예측하는 경우가 많아서, 까다로운 질문이네요. 제 생각에 AI를 심리 측정에 통합하는 것은 새로운 일이 아닙니다. 예를 들어, 이미 기계 학습을 통해 부정행위를 감지하고 악성 항목을 식별하고 있잖아요. 현재 AI에 가장 중점을 두고 개발 및 구현을 주도하는 부문은 대규모 언어 모델(LLM)입니다. LLM은 번역, 요약, 텍스트 생성 등의 텍스트 기반 활동에서 코딩과 그림 생성에 이르는 다양한 작업을 성공적으로 관리할 수 있는 것으로 입증되었죠. 최근 Sora(OpenAI 도구)는 텍스트 프롬프트를 기반으로 고품질의 짧은 동영상을 생성하기도 했고요.

하지만 저는 LLM이 사람의 요구를 더 잘 이해하고 그에 따라 상호작용할 수 있다는 점에서 사람과 기계 사이를 잇는 중개자가 아닐까 생각할 때도 있습니다. 가령, 숫자를 계산할 때는 계산기가 LLM보다 더 믿음직하죠. 디스크 운영 체제(DOS) 명령을 통해 컴퓨터와 상호작용하던 방식이나 Microsoft Windows와 같은 그래픽 사용자 인터페이스(GUI) 기반 운영 체제를 사용하여 컴퓨터 사용 방식을 단순화했던 방법을 떠올려보세요. 이제 LLM을 통해 자연어를 바탕으로 컴퓨터나 소프트웨어에 복잡한 작업을 수행하도록 지시할 수 있는 시대에 들어섰고, 덕분에 기술을 더 쉽고 직관적으로 사용할 수 있게 되었습니다. 이런 기능으로 인해 시뮬레이션 기반 시험이 평가 툴킷을 구성하는 더 실용적인 부분이 되어 이전에는 구현하기 어려웠던 방식으로 기술과 능력을 측정할 새로운 가능성이 열리게 되리라 생각합니다.