KR102186641B1 - 인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법 - Google Patents

Abstract

컴퓨터에 의하여 수행되는 방법에 있어서, 문제를 출제하는 단계, 상기 문제에 대한 응답을 포함하는 지원자의 음성을 획득하는 단계, 상기 음성을 텍스트로 변환하는 단계, 상기 문제에 대한 채점기준을 획득하는 단계 및 상기 변환된 텍스트가 상기 채점기준에 부합하는지 여부를 결정하는 단계를 포함하는, 인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법이 개시된다.

Description

인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법 {METHOD FOR EXAMINING APPLICANT THROUGH AUTOMATED SCORING OF SPOKEN ANSWER BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법에 관한 것이다.

기존에는 면접을 포함하는 다양한 평가들이 오프라인에 기반하여 수행되어 왔지만, 최근에는 온라인을 통해 평가를 수행하는 경향성이 대두되고 있다. 특히 온라인 면접 및 인공지능 기반 면접을 통해 지원자의 얼굴을 분석하는 방식의 면접이 활성화되고 있다.

또한, 기존의 인공지능 기반 면접의 경우 지원자의 얼굴 표정과 단어 선택을 통해 평가하는 방식을 취하고 있는 반면, 문제풀이형 면접의 경우 음성이나 영상만으로 평가를 수행하는 기능은 제공되고 있지 못한 실정이다.

온라인 및 인공지능 기반의 면접을 제공하는 기술은 지원자 선별을 위한 1차 평가에 주로 활용될 수 있으며, 이를 통해 면접평가에 소요되는 비용과 시간을 크게 절감할 수 있는 바 다양한 형태의 온라인 및 인공지능 면접을 가능케 하는 기술의 개발이 요구되고 있다.

한국공개특허 제10-2005-0107750호(2005.11.15)

본 발명이 해결하고자 하는 과제는 인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법은, 문제를 출제하는 단계, 상기 문제에 대한 응답을 포함하는 지원자의 음성을 획득하는 단계, 상기 음성을 텍스트로 변환하는 단계, 상기 문제에 대한 채점기준을 획득하는 단계 및 상기 변환된 텍스트가 상기 채점기준에 부합하는지 여부를 결정하는 단계를 포함한다.

또한, 상기 채점기준을 획득하는 단계는, 하나 이상의 평가기준을 획득하는 단계를 포함하고, 상기 채점기준에 부합하는지 여부를 결정하는 단계는, 상기 변환된 텍스트에서 제1 평가기준에 대응하는 제1 답변 텍스트를 획득하는 단계 및 상기 제1 평가기준과 상기 제1 답변 텍스트를 비교하여, 상기 제1 평가기준에 대한 점수를 결정하는 단계를 더 포함할 수 있다.

또한, 상기 점수를 결정하는 단계는, 상기 하나 이상의 평가기준 각각에 대한 점수를 합산하여 상기 문제의 점수를 결정하는 단계 및 상기 지원자에게 출제된 문제의 점수를 합산하여 상기 지원자의 점수를 결정하는 단계를 더 포함할 수 있다.

또한, 상기 점수를 결정하는 단계는, 상기 제1 평가기준 및 상기 제1 답변 텍스트를 기 학습된 인공지능 모델에 입력하는 단계, 상기 인공지능 모델의 출력에 기반하여 상기 제1 답변 텍스트가 상기 제1 평가기준에 부합하는지 여부를 결정하는 단계 및 상기 결정된 부합여부 및 상기 제1 평가기준에 대한 배점에 기초하여, 상기 제1 평가기준의 점수를 결정하는 단계를 더 포함할 수 있다.

또한, 예시 평가기준, 상기 예시 평가기준에 대응하는 예시 답변 텍스트 및 상기 예시 답변 텍스트에 대한 상기 예시 평가기준 만족여부를 포함하는 복수의 학습 데이터를 획득하는 단계 및 상기 복수의 학습 데이터를 이용하여 상기 인공지능 모델을 학습시키는 단계를 더 포함하고, 상기 인공지능 모델은, 평가기준 및 답변 텍스트를 입력으로 하고, 답변 텍스트의 평가기준 만족여부를 출력으로 할 수 있다.

또한, 상기 복수의 학습 데이터를 획득하는 단계는, 상기 복수의 학습 데이터를 증강하는 단계를 더 포함하고, 상기 증강하는 단계는, 제1 학습 데이터에 포함된 제1 예시 답변 텍스트를 변형하여 하나 이상의 변형된 예시 답변 텍스트를 생성하는 단계, 상기 하나 이상의 변형된 예시 답변 텍스트 각각에 대하여, 상기 제1 학습 데이터의 제1 예시 평가기준을 만족하는지 여부를 결정하는 단계 및 상기 제1 예시 평가기준, 상기 하나 이상의 변형된 예시 답변 텍스트 및 상기 하나 이상의 변형된 예시 답변 텍스트의 상기 제1 예시 평가기준 만족여부에 대한 정보를 각각 포함하는 하나 이상의 증강된 학습 데이터를 획득하는 단계를 포함할 수 있다.

또한, 예시 평가기준, 상기 예시 평가기준에 대응하는 예시 답변 텍스트, 상기 예시 답변 텍스트에 대한 상기 예시 평가기준 만족여부 및 상기 예시 답변 텍스트의 언어사용 적절성 여부를 포함하는 복수의 학습 데이터를 획득하는 단계 및 상기 복수의 학습 데이터를 이용하여 상기 인공지능 모델을 학습시키는 단계를 더 포함하고, 상기 인공지능 모델은, 평가기준 및 답변 텍스트를 입력으로 하고, 답변 텍스트의 평가기준 만족여부 및 답변 텍스트의 언어사용 적절성 여부를 출력으로 할 수 있다.

또한, 상기 복수의 학습 데이터를 획득하는 단계는, 상기 복수의 학습 데이터를 증강하는 단계를 더 포함하고, 상기 증강하는 단계는, 제1 학습 데이터에 포함된 제1 예시 답변 텍스트를 변형하여 하나 이상의 변형된 예시 답변 텍스트를 생성하는 단계, 상기 하나 이상의 변형된 예시 답변 텍스트 각각에 대하여, 상기 제1 학습 데이터의 제1 예시 평가기준을 만족하는지 여부 및 언어사용 적절성 여부를 결정하는 단계 및 상기 제1 예시 평가기준, 상기 하나 이상의 변형된 예시 답변 텍스트, 상기 하나 이상의 변형된 예시 답변 텍스트의 상기 제1 예시 평가기준 만족여부에 대한 정보 및 언어사용 적절성 여부를 각각 포함하는 하나 이상의 증강된 학습 데이터를 획득하는 단계를 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 인공지능 기반 음성 답변 자동채점을 통한 지원자 평가장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 개시된 실시 예에 따른 방법을 수행한다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 인공지능 기반 음성 답변 자동채점을 통한 지원자 평가프로그램은, 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따른 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

개시된 실시 예에 따르면, 문제풀이형 면접을 음성에 기반하여 수행하고, 인공지능 모델을 이용하여 이를 자동으로 평가하도록 함으로써 신뢰도 높은 자동화된 면접평가 수단을 제공할 수 있는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시 예에 따른 시스템을 도시한 도면이다.
도 2는 일 실시 예에 따른 인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법을 도시한 흐름도이다.
도 3은 일 실시 예에 따른 온라인 면접 및 이에 따른 지원자 평가방법의 전체 프로세스를 도시한 흐름도이다.
도 4는 일 실시 예에 따른 컴퓨터를 기능적으로 도시한 구성도이다.
도 5는 일 실시 예에 따른 채점기준표를 도시한 도면이다.
도 6은 일 실시 예에 따른 인공지능 모델 및 그 학습을 위한 학습 데이터를 도시한 도면이다.
도 7은 학습된 인공지능 모델을 이용하여 점수를 결정하는 방법을 도시한 도면이다.
도 8은 일 실시 예에 따라 학습 데이터를 증강하는 방법을 도시한 도면이다.
도 9는 학습 데이터에 추가 항목을 부여하는 학습 데이터 증강의 일 예를 도시한 도면이다.
도 10은 일 실시 예에 따라 언어사용능력을 평가할 수 있는 인공지능 모델의 학습방법을 도시한 도면이다.
도 11은 일 실시 예에 따라 학습된 인공지능 모델을 이용하여 평가를 수행하는 방법을 도시한 도면이다.
도 12는 일 실시 예에 따른 장치의 구성도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.

도 1은 일 실시 예에 따른 시스템을 도시한 도면이다.

도 1을 참조하면, 서버(100), 관리자 단말(200) 및 사용자 단말(300)을 포함하는 시스템이 도시되어 있다.

일 실시 예에서, 서버(100), 관리자 단말(200) 및 사용자 단말(300)은 상술한 컴퓨터의 일종일 수 있으나, 이에 제한되는 것은 아니다.

개시된 실시 예에서, 서버(100)는 인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법을 수행할 수 있다. 서버(100)에 의하여 수행되는 구체적인 평가방법에 대해서는 이하에서 도면을 참조하여 구체적으로 설명힌다.

일 실시 예에서, 관리자 단말(200)은 서버(100)에 의하여 제공되는 온라인 면접의 내용과 결과를 관리할 수 있다. 예를 들어, 관리자 단말(200)은 온라인 면접을 실시하는 주체로서, 온라인 면접을 통해 수집되는 지원자에 대한 정보 및 면접 결과에 대한 정보를 획득하여 특정 지원자를 선발할 수 있다.

일 실시 예에서, 사용자 단말(300)은 서버(100)를 통하여 제공되는 온라인 면접에 응하는 지원자가 이용하는 단말을 의미할 수 있다. 지원자는 사용자 단말(300)을 통하여 온라인 면접을 수행하며, 사용자 단말(300)을 통하여 지원자의 음성 또는 영상이 서버(100)에 전달된다.

이하에서는, 도면을 참조하여 개시된 실시 예에 따른 인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법에 대하여 구체적으로 설명한다.

도 2는 일 실시 예에 따른 인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법을 도시한 흐름도이다.

도 2에 도시된 각 단계들을 수행하는 주체는 도 1에 도시된 서버(100)일 수 있으나, 이에 제한되는 것은 아니며, 도 2에 도시된 단계들의 적어도 일부 또는 전부가 다른 주체에 의하여 수행될 수도 있다.

단계 S110에서, 컴퓨터는 문제를 출제한다.

출제되는 문제가 제공되는 방법은 제한되지 않으나, 예를 들어 문제는 텍스트, 음성 및 영상 중 적어도 하나의 방법에 의하여 지원자에게 전달될 수 있다.

단계 S120에서, 컴퓨터는 상기 문제에 대한 응답을 포함하는 지원자의 음성을 획득한다.

일 실시 예에서, 컴퓨터는 지원자의 음성을 획득하며, 실시 예에 따라 문제에 대한 응답을 수행하는 지원자의 영상을 함께 획득할 수도 있다.

단계 S130에서, 컴퓨터는 상기 음성을 텍스트로 변환한다.

컴퓨터가 음성을 텍스트로 변환하는 방법은 제한되지 않으며, 당 기술분야에서 알려진 다양한 종류의 변환방법이 이용될 수 있다. 음성을 텍스트로 변환하는 방법에 대한 구체적인 예시에 대해서는 후술한다.

단계 S140에서, 컴퓨터는 상기 문제에 대한 채점기준을 획득한다.

일 실시 예에서, 컴퓨터는 기 저장된 데이터베이스로부터 출제된 문제에 대한 채점기준을 획득할 수 있다. 채점기준은 하나 이상의 세부 채점기준 및 이에 따른 평가항목을 포함할 수 있다.

단계 S150에서, 컴퓨터는 상기 변환된 텍스트가 상기 채점기준에 부합하는지 여부를 결정한다.

일 실시 예에서, 채점기준에 변환된 텍스트가 부합하는지 여부에 따라 지원자의 응답에 대한 점수를 결정할 수 있다.

도 3은 일 실시 예에 따른 온라인 면접 및 이에 따른 지원자 평가방법의 전체 프로세스를 도시한 흐름도이다.

단계 S210에서, 컴퓨터는 지원자로부터 전문분야 정보를 획득할 수 있다.

일 실시 예에서, 전문분야는 대분류 및 소분류로 구분될 수 있으나, 이에 제한되는 것은 아니다.

예를 들어, “딥러닝” 대분류의 하위에 속하는 소분류들은 아래와 같이 구분될 수 있으며, 이에 제한되는 것은 아니다.

[자연어 처리]

ex) NLU, NLG, Language modeling, machine translation, QA, Sentiment analysis, NER

[컴퓨터 비전]

ex) Generative model, Object / Text Detection, Text Recognition(OCR), Semantic Segmentation, Pose Estimation, Super Resolution, Denoising, Image Captioning, Classification, Image Retrieval, Action Recognition

[음성 처리]

ex) Speech recognition, Speaker verification

[오디오, 음향 처리]

ex) Audio/Music generation, Audio classification

[기반 기술 (Low level)] -> 머신러닝 포함

ex) Model Compression, Policy Gradient Methods, Representation Learning, Transfer Learning, Multi-Task Learning, Domain Adaptation, Data Augmentation, Zero-Shot Learning, AutoML, Meta-Learning, Dimensionality Reduction, Feature Engineering, Quantization, Feature Selection, Model Selection, Bayesian Neural Network

단계 S210에서, 컴퓨터는 응시자의 분야에 맞는 문항을 출제할 수 있다.

예를 들어, 컴퓨터는 문제은행에 기반하여 문항을 출제할 수 있다. 도 4를 참조하면, 컴퓨터(400)에서 이용되는 문제은행 데이터베이스(410)의 일 예가 도시되어 있다. 실시 예에 따라서, 문제은행 데이터베이스(410)는 컴퓨터(400)에 저장될 수도 있고, 컴퓨터(400) 외부의 단말, 서버 혹은 클라우드 등에 저장될 수도 있으며, 이에 제한되지 않는다.

예를 들어, 문제은행 데이터베이스(410)는 상술한 바와 같이 하나 이상의 대분류(412) 및 각각의 대분류에 속하는 하나 이상의 소분류(414)를 포함할 수 있다.

문제은행 데이터베이스(410)는 각 전문분야별로 여러 문항들을 보유하며, 실시 예에 따라 각각의 문항들을 채점하기 위한 채점기준 데이터베이스(416) 또한 보유한다.

예를 들어, 채점기준 데이터베이스(416)는 문항 출제자가 응답에 포함되기를 기대하는 내용(즉, 채점의 기준) 및 각 기준별 배점이 명시된 채점 기준표(도 5의 500)를 포함할 수 있다.

채점기준표(500)를 참조하면, 채점 기준별 배점은 백분율로 표기될 수 있으며, 기준별 배점의 총계는 100%로 설정될 수 있으나, 이에 제한되는 것은 아니다.

또한, 각각의 기준별로 하위 기준이 구성될 수 있으며, 하위 기준이 구성될 경우 하위 기준별로 배점이 할당될 수 있다.

지원자의 응답이 특정 기준의 여러 개의 하위 기준을 동시에 포괄할 경우, 그 중 가장 배점이 높은 하위 기준에 대한 점수만이 할당될 수 있으나, 이에 제한되는 것은 아니다.

단계 S230에서, 컴퓨터는 지원자로부터 출제된 문항에 대한 음성 응답을 획득할 수 있다.

단계 S240에서, 컴퓨터는 지원자의 음성 응답을 녹음하여 저장할 수 있다.

예를 들어, 녹음되는 파일의 형식은 wav file(Sampling Rate: 16kHz)일 수 있으나, 이에 제한되는 것은 아니다.

단계 S250에서, 컴퓨터는 녹음된 음성 응답을 전처리할 수 있다.

예를 들어, 컴퓨터는 녹음된 wav file을 Log Mel Spectogram으로 변환할 수 있으나, 이에 제한되는 것은 아니며, 음성 인식 분야에서 관용되는 모든 종류의 전처리 기법이 적용될 수 있다.

Log Mel Spectogram은 Raw wave를 작은 시간 단위로 분할한 뒤 푸리에 변환을 통해 시간에 대한 주파수 정보로 변환하고, 해당 데이터에 '달팽이관은 낮은 주파수 대역에 민감하다'는 정보에 기초하는 필터를 적용하여 획득할 수 있다. 이는 인간의 인지 과정을 반영한 특성 추출을 통해 음성 인식 성능을 저해하지 않으면서도 연산량을 줄일 수 있는 장점이 있다.

단계 S260에서, 컴퓨터는 음성 인식 모델을 이용하여 음성 응답을 텍스트 응답으로 변환할 수 있다.

도 4를 참조하면, 컴퓨터(400)에서 이용되는 인공지능 모델(420)의 일부로서 STT(Speech To Text)를 수행하는 모델(422)이 도시되어 있다.

단, 인공지능 모델(420) 및 STT 모델(422)은 컴퓨터(400)에 저장되어 이용될 수도 있고, 컴퓨터(400)의 외부 단말, 서버 및 클라우드 등에 저장되어 이용될 수도 있다.

예를 들어, 음성 녹음 데이터 및 전사 데이터를 기반으로 Transformer seq2sep 모델을 학습시킴으로써 음성 인식 모델이 구축될 수 있으나, 이에 제한되는 것은 아니며, 음성 인식 및 텍스트 변환과 관련하여 관용되는 모든 종류의 모델 및 그 학습방법이 활용될 수 있다.

예를 들어, 음성 인식 모델에 대한 입력(input)은 상술한 방법에 의하여 전처리된 음성 응답이며, 이는 Log Mel Spectogram으로서 3~4차원의 텐서 형태로 구성될 수 있다.

또한, 음성 인식 모델에 대한 출력(output)은 입력에 대응하는 텍스트 응답일 수 있다.

예를 들어, 음성 인식 모델의 구조는 Transformer 딥러닝 모델과 Byte Pair Encoding(BPE)을 사용한 종단간 음성 인식 모델일 수 있으나, 이에 제한되는 것은 아니다.

실시 예에 따라서, 컴퓨터는 지원자가 음성 답변 중에 발화하지 않는 시간에 대한 정보를 측정하여 해당 데이터를 평가에 반영할 수 있다. 예를 들어, 지원자가 답변을 빠르게 하지 못하고 고민을 하는 경우, 해당 시간만큼 평가결과에는 감점이 부여될 수도 있다.

다른 실시 예에서, 컴퓨터는 지원자가 답변 중에 발화하지 않는 시간이 있는 경우, 기 설정된 시간 단위마다 답변 텍스트에 무의미한 글자(예를 들어, 자음 'ㅇ' 등)를 삽입할 수 있다. 이후, 이하에서 설명되는 학습 과정에서 무의미한 글자가 상대적으로 많이 삽입된 학습 데이터일수록 평가기준의 만족도를 낮게 평가하여 레이블링하는 방식(예를 들어, 동일한 답변 텍스트에 대하여, 무의미한 글자가 기 설정된 기준 개수 이하 포함된 경우 평가기준을 만족하는 것으로 레이블링하고, 무의미한 글자가 기 설정된 기준개수 이상 포함된 경우 평가기준을 만족하지 않는 것으로 레이블링하는 등)으로, 지원자가 발화하지 않는 시간이 길수록 평가기준 만족여부 판단에 불리하도록 인공지능 모델을 학습시킬 수도 있다.

단계 S270에서, 컴퓨터는 출제된 질문에 대한 채점 기준표를 바탕으로 텍스트 응답을 자동으로 채점할 수 있다.

일 실시 예에서, 컴퓨터는 상술한 채점 기준표에서 평가 기준을 추출하여 평가 기준들의 만족 여부를 판단한다. 하위 기준이 없는 기준의 경우 '기준’이 평가 기준으로 추출되며, 하위 기준이 있는 경우 '하위 기준’들이 평가 기준으로 추출된다.

즉, 컴퓨터는 하나 이상의 평가기준을 획득하고, 음성으로부터 변환된 텍스트에서 제1 평가기준에 대응하는 제1 답변 텍스트를 획득할 수 있다.

예를 들어, 특정 질문에 대하여 하나 이상의 평가기준이 마련될 수 있고, 해당 질문에 대한 답변 텍스트에는 하나 이상의 평가기준에 각각 대응하는 텍스트들이 포함될 수 있다.

컴퓨터는 우선적으로 제1 평가기준에 대응하는 제1 답변 텍스트를 추출하여 획득할 수 있으며, 실시 예에 따라 제1 답변 텍스트는 변환된 답변 텍스트 전체가 될 수도 있다.

일 실시 예에서, 컴퓨터는 상기 제1 평가기준과 상기 제1 답변 텍스트를 비교하여, 상기 제1 평가기준에 대한 점수를 결정할 수 있다.

일 실시 예에서, 컴퓨터는 제1 평가기준에 대응하는 하나 이상의 키워드를 답변 텍스트로부터 탐색하고, 키워드가 탐색된 위치로부터 소정의 범위(예를 들어, 글자수, 단어수 혹은 문장수 등) 내에 속하는 텍스트를 제1 답변 텍스트로서 추출할 수 있다.

다른 실시 예에서, 컴퓨터는 답변 텍스트를 문단 혹은 기 설정된 글자, 단어 혹은 문장수에 기초하여 복수의 부분으로 분할하고, 분할된 부분들 각각을 제1 답변 텍스트로서 제1 평가기준의 만족여부를 평가하는 방식을 적용할 수도 있다.

일 실시 예에서, 컴퓨터는 분할된 부분들 중 제1 평가기준을 만족하는 부분이 있는 경우 답변 텍스트가 제1 평가기준을 만족하는 것으로 판단할 수 있다.

실시 예에 따라서, 제1 답변 텍스트의 제1 평가기준 만족여부는 소정의 확률로서 평가될 수 있다. 이 경우, 컴퓨터는 분할된 부분들 중 제1 평가기준을 만족하는 것으로 판단되도록 기 설정된 확률에는 미달하지만 기 설정된 기준값 이상의 확률을 갖는 부분이 있는 경우, 해당 부분 및 해당 부분의 전후에 포함된 텍스트들에 기반하여 새로운 부분들을 생성하고, 생성된 부분들에 대하여 제1 평가기준의 만족여부를 재평가할 수도 있다.

실시 예에 따라서, 제1 평가기준에 대응하는 답변 텍스트가 2 이상의 부분으로 분할되어, 답변 텍스트 내에서 서로 이격되어 위치할 수도 있다.

예를 들어, 2 이상의 부분으로 분할된 제1-1 답변 텍스트 및 제1-2 답변 텍스트는 상술한 키워드 기반 검색을 통해 획득될 수 있다. 다른 예로, 2 이상의 부분으로 분할된 제1-1 답변 텍스트 및 제1-2 답변 텍스트는 상술한 바와 같이 답변 텍스트를 분할한 부분들 중에서 제1 평가기준을 만족하는 것으로 판단되도록 기 설정된 확률에는 미달하지만 기 설정된 기준값 이상의 확률을 갖는 부분으로서 획득될 수도 있다.

이 경우, 컴퓨터는 제1-1 답변 텍스트 및 제1-2 답변 텍스트를 병합하여 제1 답변 텍스트를 획득하고, 획득된 제1 답변 텍스트와 제1 평가기준을 비교하여 그 만족여부를 평가할 수도 있다.

일 실시 예에서, 제1 답변 텍스트가 제1 평가기준을 만족하는 경우 제1 평가기준에 할당된 배점에 해당하는 점수가 부여될 수 있고, 제1 답변 텍스트가 제1 평가기준을 만족하지 못하는 경우 제1 평가기준에 할당된 배점을 획득하지 못할 수 있다.

일 실시 예에서, 평가기준에 대한 만족여부는 이진적으로 결정될 수 있지만, 실시 예에 따라 평가기준에 대한 만족도를 연속적으로, 혹은 복수의 단계에 기초하여 결정함으로써 해당 평가기준에 할당된 배점에 대한 부분점수가 획득될 수도 있다.

일 실시 예에서, 컴퓨터는 제1 답변 텍스트에 포함된 불필요한 텍스트를 제거할 수 있다.

예를 들어, 제1 답변 텍스트에는 무의미한 언어(“음-“과 같이 생각하는 중에 내는 소리, 탄식, 한숨, 웃음, 명확한 내용이 없는 횡설수설하는 발언 등), 잘못된 내용의 발화 및 이에 대한 정정, 말 더듬기, 평가기준과 무관하거나, 다른 평가기준과 연관된 내용들이 포함될 수도 있다. 이 경우, 컴퓨터는 해당 내용을 제거하고, 해당 내용이 제거된 제1 답변 텍스트에 기초하여 다시 제1 평가기준의 만족여부를 평가할 수도 있다.

일 예로, 컴퓨터는 제1 답변 텍스트가 제1 평가기준을 만족하지 못하는 경우, 제1 답변 텍스트에 포함된 불필요한 텍스트들을 제거한 후 다시 제1 평가기준의 만족여부를 평가하는 방식을 통해 제1 답변 텍스트에 포함된 불필요한 텍스트로 인하여 평가결과가 잘못 획득되는 것을 방지할 수 있다.

다른 예로, 컴퓨터는 제1 답변 텍스트가 제1 평가기준을 만족하는 것으로 판단된 경우에도 제1 답변 텍스트에 포함된 불필요한 텍스트들을 제거한 후 다시 제1 평가기준의 만족여부를 평가하는 방식을 통해 제1 답변 텍스트에 포함된 불필요한 텍스트로 인하여 평가결과가 잘못 획득되는 것을 방지할 수도 있다.

다른 예로, 컴퓨터는 무의미한 것으로 판단되는 언어에 해당하는 텍스트를 특정 텍스트로 통일(예를 들어, 'ㅇ')하여 치환할 수도 있다. 이후, 인공지능 모델의 학습 과정에서 무의미한 글자가 상대적으로 많이 삽입된 학습 데이터일수록 평가기준의 만족도를 낮게 평가하여 레이블링하는 방식(예를 들어, 동일한 답변 텍스트에 대하여, 무의미한 글자가 기 설정된 기준 개수 이하 포함된 경우 평가기준을 만족하는 것으로 레이블링하고, 무의미한 글자가 기 설정된 기준개수 이상 포함된 경우 평가기준을 만족하지 않는 것으로 레이블링하는 등)으로, 답변 텍스트에 무의미한 언어에 해당하는 텍스트가 많을수록 평가기준 만족여부 판단에 불리하도록 인공지능 모델을 학습시킬 수도 있다.

일 실시 예에서, 지원자는 구두로 음성 답변을 입력하는 중에 잘못 발화한 내용을 정정하고자 할 수 있다. 서면 답변(혹은 텍스트 기반 답변)의 경우 해당 내용을 삭제하거나 삭제 표시를 할 수 있지만, 구두 답변의 경우 이를 정정하기가 어렵다. 이를 위하여, 컴퓨터는 제1 답변 텍스트에 포함된 내용을 순차적으로 분석하되, 제1 답변 텍스트에 포함된 내용의 일관성을 평가할 수 있다. 내용의 일관성은 제1 평가기준과의 연관성이나 키워드가 속하는 기술분야에 기초하여 평가될 수 있으나, 이에 제한되는 것은 아니다.

컴퓨터는 내용의 일관성이 기 설정된 기준을 벗어나는 경우 해당 시점을 기록하고, 분석을 계속하되 지원자의 발화내용에서 발화내용을 정정하는 부정어구(예를 들어, “아니”, “다시” 또는 “잘못” 등)가 획득되는 경우, 기록된 시점에서부터 부정어구가 획득된 시점의 내용을 제거할 수 있다.

다른 실시 예에서, 컴퓨터는 지원자의 발화내용에서 발화내용을 정정하는 부정어구가 획득되는 경우, 이로부터 소정의 범위(예를 들어, 시간, 글자수, 단어수 등)의 답변내용을 제거할 수도 있다.

일 실시 예에서, 컴퓨터는 상기 하나 이상의 평가기준 각각에 대한 점수를 합산하여 상기 문제의 점수를 결정하고, 나아가 상기 지원자에게 출제된 하나 이상의 문제의 점수를 합산하여 상기 지원자의 점수를 결정할 수 있다.

즉, 컴퓨터는 각각의 문제에 대한 점수를 결정하기 위하여 해당 문제에 대응하는 채점기준표로부터 획득된 하나 이상의 평가기준을 이용하고, 하나 이상의 평가기준 각각에 대한 점수를 합산하여 해당 문제에 대한 점수를 결정할 수 있다. 또한, 컴퓨터는 지원자에게 출제된 하나 이상의 질문에 대한 점수를 합산하여, 해당 지원자에 대한 최종 점수를 결정할 수 있다.

이하에서는, 인공지능 모델에 기반하여 지원자의 응답을 평가하는 방법에 대하여 도면을 참조하여 구체적으로 설명한다.

도 4를 참조하면, 컴퓨터(400) 및 컴퓨터(400)에서 이용되는 인공지능 모델(420)이 도시되어 있다. 특히, 지원자의 응답을 평가하는 평가 모델(424) 및 해당 평가 모델(424)의 학습에 이용되는 학습 데이터 데이터베이스(430)가 도 4에 도시되어 있으며, 이하에서는 이와 관련된 실시 예들을 설명한다.

도 6은 일 실시 예에 따른 인공지능 모델 및 그 학습을 위한 학습 데이터를 도시한 도면이다.

도 6을 참조하면, 하나 이상의 학습 데이터(610)를 포함하는 학습 데이터 집합(600)과, 이에 기반하여 학습되는 인공지능 모델(700)이 도시되어 있다.

일 예로, 인공지능 모델(700)의 학습을 위하여 딥러닝에 기반한 자연어처리 학습방법이 활용될 수 있다. 그 방법으로서, 언어 모델에 대량의 말뭉치(corpus)를 자가지도학습(self-supervised learning)에 기반하여 학습시킴으로써 특정 언어의 어휘, 어법, 문법 및 독해 등을 익히도록 할 수 있다.

이 과정을 사전 학습(pre-train)이라 하고, 사전 학습된 언어 모델에 특정 작업에 특화된 학습 과정을 거치도록 함으로써 목적하는 작업을 수행할 수 있는 언어 모델을 획득할 수 있으며, 이 과정을 미세 조정(fine-tuning)이라 한다.

개시된 실시 예에서, IT 분야의 지원자 평가를 위한 언어 모델을 획득할 수 있도록 IT 기술 분야를 포함하는 대량의 말뭉치로 언어 모델을 사전 학습시킬 수 있다. 이 경우 언어 모델로서 transformer의 encoder를 사용하고, 사전 학습 방식으로서 masked LM 방식을 사용할 수 있으나, 이에 제한되는 것은 아니다. Masked LM 방식은 말뭉치에 임의의 빈칸을 만들어 두고 해당 빈칸을 예측하도록 언어 모델을 학습시키는 기법이다.

이와 같이 사전 학습된 언어 모델에 채점 작업을 위한 미세 조정 과정이 수행될 수 있다.

일 실시 예에서, 컴퓨터는 예시 평가기준, 상기 예시 평가기준에 대응하는 예시 답변 텍스트 및 상기 예시 답변 텍스트에 대한 상기 예시 평가기준 만족여부를 포함하는 복수의 학습 데이터(610)를 획득할 수 있다. 예를 들어, 학습 데이터는 수천 개 규모로 구축될 수 있으나, 이에 제한되지 않는다.

일 실시 예에서, 컴퓨터는 상기 복수의 학습 데이터(610)를 이용하여 상기 인공지능 모델(700)을 학습(즉, 미세 조정)시킬 수 있다.

일 실시 예에서, 상기 인공지능 모델(700)은, 평가기준 및 답변 텍스트를 입력으로 하고, 답변 텍스트의 평가기준 만족여부를 출력으로 할 수 있다.

인공지능 모델(700)의 학습에 사용되는 방법은 제한되지 않으며, 관용되는 다양한 인공지능 학습방법이 활용될 수 있다.

예를 들어, 학습 데이터(610)는 상기한 도 5의 채점 기준표에 기초하여 아래와 같이 설정될 수 있다.

평가 기준: 토크나이저의 OOV를 고려한다.

텍스트 응답: (전략) 해당 데이터가 구어체임을 고려했을 때, 일반적인 품사 태거를 사용하면 OOV가 많이 발생할 것으로 예상된다. 이러한 점을 고려하면 BPE tokenizer를 사용하는 것이 합리적이라고 생각한다. (후략)

평가 기준 만족 여부: 만족

도 7은 학습된 인공지능 모델을 이용하여 점수를 결정하는 방법을 도시한 도면이다.

일 실시 예에서, 컴퓨터는 채점기준 데이터베이스(416)로부터 획득된 평가기준(820) 및 음성 답변(810)으로부터 획득된 답변 텍스트(830)를 기 학습된 인공지능 모델(700)에 입력할 수 있다.

컴퓨터는 상기 인공지능 모델(700)의 출력에 기반하여 상기 답변 텍스트(830)가 상기 평가기준(820)에 부합하는지 여부(840)를 결정할 수 있다.

컴퓨터는 상기 결정된 부합여부(840) 및 상기 평가기준(820)에 대한 배점에 기초하여, 상기 평가기준(820)의 점수를 결정할 수 있다. 예를 들어, 컴퓨터는 답변 텍스트(830)가 평가기준(820)을 만족하는 경우, 평가기준(820)에 대하여 부여된 배점을 평가기준(820)의 점수로 결정할 수 있다.

실시 예에 따라, 인공지능 모델(700)은 답변 텍스트(830)의 평가기준(820)에 대한 만족여부를 소정의 확률로 출력할 수도 있다. 이 경우, 컴퓨터는 출력되는 확률이 기 설정된 기준값 이상(혹은 초과)인 경우 만족하는 것으로, 기준값 이하(혹은 미만)인 경우 만족하지 않는 것으로 결정할 수 있다. 다른 예로, 컴퓨터는 출력되는 확률에 평가기준(820)에 할당된 배점을 곱하여 평가기준(820)에 대한 점수를 결정할 수도 있다.

컴퓨터는 상술한 방법을 이용하여 각각의 평가기준에 대한 점수를 순차적으로 결정하고, 각각의 평가기준에 대하여 결정된 점수를 합산하여 문제에 대한 최종 점수를 결정할 수 있다. 단, 상술한 바와 같이 평가기준(820)이 하위 채점기준에 대응하는 경우, 상위 채점기준에 속하는 하위 채점기준들 중 최고점이 상위 채점기준에 반영되어 전체 점수에 합산될 수도 있다.

일 실시 예에서, 문제에 대한 채점을 수행하는 모델이 및 획득될 수도 있다. 해당 모델은 채점 기준표와 답변 텍스트 전체를 입력으로 하고, 해당 문제에 대한 채점 결과를 출력할 수 있다. 해당 모델은 채점 기준표로부터 평가 기준을 추출하고, 답변 텍스트의 평가기준 만족여부에 기초하여 배점을 부여하고, 부여된 배점을 합산하여 문제에 대한 최종 점수를 결정할 수 있으며, 실시 예에 따라 평가 기준별 점수 및 그 합산내역을 함께 출력할 수도 있다.

도 8은 일 실시 예에 따라 학습 데이터를 증강하는 방법을 도시한 도면이다.

일 실시 예에서, 컴퓨터는 획득된 복수의 학습 데이터를 증강하여 학습 데이터의 양을 늘릴 뿐 아니라, 더욱 다양한 학습을 수행하도록 할 수 있다.

일 실시 예에서, 컴퓨터는 학습 데이터(610)에 포함된 예시 답변 텍스트를 변형하여 하나 이상의 변형된 예시 답변 텍스트를 생성하고, 상기 하나 이상의 변형된 예시 답변 텍스트 각각에 대하여, 상기 학습 데이터(610)의 예시 평가기준을 만족하는지 여부를 결정할 수 있다.

컴퓨터는 상기 학습 데이터(610)의 예시 평가기준, 상기 하나 이상의 변형된 예시 답변 텍스트 및 상기 하나 이상의 변형된 예시 답변 텍스트의 상기 학습 데이터(610)의 예시 평가기준 만족여부에 대한 정보를 각각 포함하는 하나 이상의 증강된 학습 데이터(620)를 획득할 수 있다.

도 8을 참조하면, 변형된 n개의 예시 답변 텍스트를 각각 포함하는 학습 데이터(622 및 624)가 도시되어 있다.

일 실시 예에서, 컴퓨터는 다양한 기준에 기초하여 예시 답변 텍스트를 변형할 수 있다.

예를 들어, 컴퓨터는 기 설정된 예시 답변 텍스트에 포함된 어휘들을 동의어 및 유의어로 치환함으로써 예시 답변 텍스트를 변형할 수 있다.

또한, 컴퓨터는 예시 답변 텍스트에 포함된 전문용어를 약어나 풀 네임, 번역된 용어 등으로 치환하거나, 전문용어를 그 정의 혹은 이에 대한 설명내용으로 치환할 수도 있다.

또한, 컴퓨터는 예시 답변 텍스트에 포함될 수 있는 다양한 오류 및 노이즈들을 추가하는 방식으로 예시 답변 텍스트를 변형할 수도 있다.

예를 들어, 컴퓨터는 예시 답변 텍스트에 포함된 내용에 대한 철자나 어휘선택과 같은, 텍스트 기반의 답변에서도 발생할 수 있는 오류에서부터, 발음, 무의미한 언어(“음-“과 같이 생각하는 중에 내는 소리, 탄식, 한숨, 웃음, 명확한 내용이 없는 횡설수설하는 발언 등), 잘못된 내용의 발화 및 이에 대한 정정, 말 더듬기, 평가기준과 무관하거나, 다른 평가기준과 연관된 내용들의 삽입 등과 같이 음성 기반 답변에서 발생할 수 있는 다양한 오류 패턴들을 반영하여 예시 답변 텍스트를 다양하게 변형할 수 있다.

일 실시 예에서, 컴퓨터는 상술한 바와 같이 다양하게 변형된 답변 텍스트들에 대한 평가기준 만족여부를 결정할 수 있으며, 이는 사용자의 레이블링에 기초하여 결정될 수도 있으며, 실시 예에 따라 컴퓨터가 기 학습된 인공지능 모델을 이용하여 결정할 수도 있다.

실시 예에 따라서, 사용자가 발음이 나쁘거나 해당 언어에 대한 구사능력이 다소 떨어짐에 따라 발생하는 오류가 있을 수 있고, 사용자가 해당 분야에 대한 전문지식이 부족해서 발생하는 오류가 있을 수 있다.

이에 따라, 이를 구분하기 위하여 도 9에서는 학습 데이터에 추가 항목을 부여하는 학습 데이터 증강의 일 예를 도시하고 있다.

개시된 실시 예에서는, 음성 기반의 온라인 면접을 수행함에 따라 텍스트 기반의 면접보다 더 구체적으로 사용자의 언어구사 능력을 평가할 수 있다. 경우에 따라, 특정 질문은 전문지식보다는 해당 지원자의 언어구사 능력을 평가하기 위해서도 제공될 수 있다.

이에 따라, 도 9를 참조하면, 학습 데이터(610)의 증강에 따라 획득되는 학습 데이터 집합(630)에는 평가기준, 답변 텍스트, 평가기준 만족여부에 더하여 언어사용 적절성 여부에 대한 정보를 추가적으로 포함하는 학습 데이터들(632, 634)이 도시되어 있다.

예를 들어, 답변 텍스트에 대하여 오류가 추가되는 방식으로 변형된 답변 텍스트가 획득되었을 때, 변형된 답변 텍스트가 추가된 오류에도 불구하고 평가기준을 만족하는 것으로 판단될 수도 있고, 추가된 오류에 의해 평가기준을 만족하지 않는 것으로 판단될 수도 있다.

또한, 경우에 따라 추가된 오류가 사소한 것이거나, 평가기준과 관련성이 낮은 것이어서 변형된 답변 텍스트가 추가된 오류에도 불구하고 평가기준을 만족하는 것으로 판단될 수 있다. 반면, 추가된 오류는 해당 지원자의 언어사용능력 부족으로 인한 것이며, 해당 지원자의 전문지식이나 능력과는 관련성이 낮은 것으로 판단되는 경우에도 변형된 답변 텍스트가 평가기준을 만족하는 것으로 판단될 수도 있다.

이러한 경우의 수를 세분화하여 평가하기 위해, 학습 데이터에 평가기준 만족여부에 더하여 답변 텍스트의 언어사용 적절성에 대한 항목이 추가될 수 있다.

예를 들어, 특정한 변형된 답변 텍스트는 평가기준을 만족하고, 언어사용 또한 적절한 것으로 판단될 수 있지만, 변형된 답변 텍스트가 평가기준을 만족하지만, 언어사용은 적절하지 않은 것으로 판단될 수도 있다.

평가기준을 만족하는 경우 및 언어사용이 적절한 경우를 1, 반대의 경우를 0이라 할 경우, 평가기준 만족여부 및 언어사용 적절성 여부의 쌍은 (1, 1), (1, 0), (0, 1), (0, 0)의 값으로 결정될 수 있으나, 이에 제한되는 것은 아니다. 다른 예로, 평가기준 만족여부 및 언어사용 적절성 여부의 쌍은 이진수 11, 10, 01, 00 과 같이 결정될 수도 있으며, 마찬가지로 이에 제한되지 않는다.

도 10은 일 실시 예에 따라 언어사용능력을 평가할 수 있는 인공지능 모델의 학습방법을 도시한 도면이다.

일 실시 예에서, 컴퓨터는 예시 평가기준, 상기 예시 평가기준에 대응하는 예시 답변 텍스트, 상기 예시 답변 텍스트에 대한 상기 예시 평가기준 만족여부 및 상기 예시 답변 텍스트의 언어사용 적절성 여부를 포함하는 복수의 학습 데이터(900)를 획득할 수 있다.

컴퓨터는 상기 복수의 학습 데이터(900)를 이용하여 인공지능 모델(1000)을 학습시킬 수 있다.

일 실시 예에서, 인공지능 모델(1000)은, 평가기준 및 답변 텍스트를 입력으로 하고, 답변 텍스트의 평가기준 만족여부 및 답변 텍스트의 언어사용 적절성 여부를 출력으로 할 수 있다.

인공지능 모델의 학습방법은 상술한 미세 조정 방법이 적용될 수 있으나, 이에 제한되는 것은 아니다.

실시 예에 따라서, 학습 데이터는 해당 언어를 모국어로 하는 지원자의 학습 데이터와, 해당 언어를 모국어로 하지 않는 지원자의 학습 데이터로 분류되고, 분류된 데이터에 기초하여 각각 미세 조정을 수행함으로써 2가지의 학습된 인공지능 모델을 획득할 수도 있다.

이를 통하여, 해당 언어를 모국어로 하는 지원자와, 해당 언어를 모국어로 하지 않는 지원자의 어휘 능력을 서로 다른 모델에 기반하여 판단하도록 하여, 더욱 정확한 언어능력 판단을 도모할 수도 있다.

도 11은 일 실시 예에 따라 학습된 인공지능 모델을 이용하여 평가를 수행하는 방법을 도시한 도면이다.

일 실시 예에서, 컴퓨터는 채점기준 데이터베이스(416)로부터 획득된 평가기준(1120) 및 음성 답변(1110)으로부터 획득된 답변 텍스트(1130)를 기 학습된 인공지능 모델(1000)에 입력할 수 있다.

컴퓨터는 상기 인공지능 모델(1000)의 출력에 기반하여 상기 답변 텍스트(1130)가 상기 평가기준(1120)에 부합하는지 여부(1140)를 결정할 수 있다.

컴퓨터는 상기 결정된 평가기준 부합여부(1140)에 기초하여 평가기준(1120)에 대한 점수, 즉 전문분야 점수(1150)를 결정할 수 있다.

또한, 컴퓨터는 인공지능 모델(1000)의 출력에 기반하여 상기 답변 텍스트(1130)의 언어사용 적절성(1160)에 대한 정보를 획득할 수 있으며, 이에 기반하여 답변 텍스트(1130)에 기초하여 지원자의 언어능력 점수(1170)를 결정할 수 있다.

컴퓨터는 획득된 전문분야 점수(1150) 및 언어능력 점수(1170)에 기초하여 해당 문제에 대한 점수를 획득하며, 나아가 해당 지원자에 대한 점수를 결정할 수 있다.

일 실시 예에서, 전문분야 점수와 언어능력 점수는 별도로 집계될 수도 있고, 전문분야 점수를 산출한 후 언어능력 점수에 기반한 소정의 감점이나 가점이 부여될 수도 있다.

예를 들어, 답변 텍스트(1130)에 대하여 평가기준(1120)을 만족하여 전문분야 점수(1150)가 획득된 반면 언어사용 적절성(1160)을 만족하지 못하는 경우, 80%의 언어능력 점수(1170)에 기반한 가중치가 획득되고, 이에 따라 전문분야 점수(1150)에 80%만이 지원자의 점수에 반영될 수도 있다.

도 12는 일 실시 예에 따른 장치의 구성도이다.

프로세서(102)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.

일 실시예에 따른 프로세서(102)는 메모리(104)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 11과 관련하여 설명된 방법을 수행한다.

한편, 프로세서(102)는 프로세서(102) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(102)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.

메모리(104)에는 프로세서(102)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(104)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

1. 컴퓨터에 의하여 수행되는 방법에 있어서,
   데이터베이스에 기 저장된 복수의 문제 중 어느 하나 이상의 문제를 지원자 단말로 제공하는 단계;
   상기 지원자 단말로부터 상기 문제에 대한 응답을 포함하는 지원자의 음성을 획득하는 단계;
   음성 인식 모델을 이용하여 상기 음성을 텍스트로 변환하는 단계;
   상기 데이터베이스로부터 상기 문제에 대하여 하나 이상의 평가기준을 포함하는 채점기준을 획득하는 단계; 및
   상기 변환된 텍스트가 상기 채점기준에 부합하는지 여부를 결정하는 단계; 를 포함하며,
   상기 채점기준에 부합하는지 여부를 결정하는 단계는,
   상기 변환된 텍스트에서 제1 평가기준에 대응하는 제1 답변 텍스트를 획득하고, 상기 제1 평가기준과 상기 제1 답변 텍스트를 비교하여 상기 제1 평가기준에 대한 점수를 결정하는 단계; 를 포함하고,
   상기 음성을 텍스트로 변환하는 단계는,
   상기 지원자의 음성 중 발화하지 않는 시간이 기준 시간을 초과하는 구간에 대하여, 기 설정된 단위 시간마다 기 설정된 텍스트를 삽입하는 단계를 포함하며,
   상기 제1 평가기준에 대한 점수를 결정하는 단계는,
   상기 기 설정된 텍스트가 삽입된 개수에 기초하여 상기 결정된 제1 평가기준에 대한 점수에 감점을 부여하는 단계를 포함하며,
   상기 채점기준에 부합하는지 여부를 결정하는 단계는,
   상기 변환된 텍스트를 문단, 기 설정된 글자, 단어 및 문장수 중 적어도 하나에 기초하여 복수의 부분으로 분할하고, 상기 분할된 복수의 부분 각각을 답변 텍스트로 하여 생성되는 복수의 답변 텍스트가 상기 제1 평가기준에 만족하는지 여부를 평가하는 단계를 더 포함하며,
   상기 복수의 답변 텍스트가 상기 제1 평가기준에 만족하는지 여부를 평가하는 단계는,
   상기 복수의 답변 텍스트의 상기 제1 평가기준에 만족하는지 여부를 소정의 확률로 평가하되, 상기 복수의 답변 텍스트 각각에 대하여 평가된 확률이 상기 제1 평가기준에 만족하는 것으로 판단되는 기준인, 기 설정된 확률 값에는 미달하나, 기 설정된 기준값 이상의 확률 값을 가지는 하나 이상의 답변 텍스트에 대하여, 상기 하나 이상의 답변 텍스트의 전후에 포함된 답변 텍스트들에 기반하여 신규 답변 텍스트를 생성하고, 상기 신규 답변 텍스트가 상기 제1 평가기준에 만족하는지 여부를 재평가하는 단계를 포함하며,
   상기 제1 평가기준과 상기 제1 답변 텍스트를 비교하여 상기 제1 평가기준에 대한 점수를 결정하는 단계는,
   상기 제1 평가기준에 대응하는 상기 제1 답변 텍스트가 2 이상의 부분으로 분할되어 상기 변환된 텍스트 내에서 서로 이격되어 위치하는 경우, 상기 이격되어 위치하는 상기 2 이상의 부분을 하나의 답변 텍스트로 병합하고, 상기 병합된 하나의 답변 텍스트가 상기 제1 평가기준에 만족하는지 여부를 판단하는 단계를 포함하는,
   인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법.
2. 삭제
3. 제1 항에 있어서,
   상기 점수를 결정하는 단계는,
   상기 하나 이상의 평가기준 각각에 대한 점수를 합산하여 상기 문제의 점수를 결정하는 단계; 및
   상기 지원자에게 출제된 문제의 점수를 합산하여 상기 지원자의 점수를 결정하는 단계; 를 더 포함하는,
   인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법.
4. 제1 항에 있어서,
   상기 점수를 결정하는 단계는,
   상기 제1 평가기준 및 상기 제1 답변 텍스트를 기 학습된 인공지능 모델에 입력하는 단계;
   상기 인공지능 모델의 출력에 기반하여 상기 제1 답변 텍스트가 상기 제1 평가기준에 부합하는지 여부를 결정하는 단계; 및
   상기 결정된 부합여부 및 상기 제1 평가기준에 대한 배점에 기초하여, 상기 제1 평가기준의 점수를 결정하는 단계; 를 더 포함하는,
   인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법.
5. 제4 항에 있어서,
   예시 평가기준, 상기 예시 평가기준에 대응하는 예시 답변 텍스트 및 상기 예시 답변 텍스트에 대한 상기 예시 평가기준 만족여부를 포함하는 복수의 학습 데이터를 획득하는 단계; 및
   상기 복수의 학습 데이터를 이용하여 상기 인공지능 모델을 학습시키는 단계; 를 더 포함하고,
   상기 인공지능 모델은,
   평가기준 및 답변 텍스트를 입력으로 하고, 답변 텍스트의 평가기준 만족여부를 출력으로 하는,
   인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법.
6. 제5 항에 있어서,
   상기 복수의 학습 데이터를 획득하는 단계는,
   상기 복수의 학습 데이터를 증강하는 단계; 를 더 포함하고,
   상기 증강하는 단계는,
   제1 학습 데이터에 포함된 제1 예시 답변 텍스트를 변형하여 하나 이상의 변형된 예시 답변 텍스트를 생성하는 단계;
   상기 하나 이상의 변형된 예시 답변 텍스트 각각에 대하여, 상기 제1 학습 데이터의 제1 예시 평가기준을 만족하는지 여부를 결정하는 단계; 및
   상기 제1 예시 평가기준, 상기 하나 이상의 변형된 예시 답변 텍스트 및 상기 하나 이상의 변형된 예시 답변 텍스트의 상기 제1 예시 평가기준 만족여부에 대한 정보를 각각 포함하는 하나 이상의 증강된 학습 데이터를 획득하는 단계; 를 포함하는,
   인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법.
7. 제4 항에 있어서,
   예시 평가기준, 상기 예시 평가기준에 대응하는 예시 답변 텍스트, 상기 예시 답변 텍스트에 대한 상기 예시 평가기준 만족여부 및 상기 예시 답변 텍스트의 언어사용 적절성 여부를 포함하는 복수의 학습 데이터를 획득하는 단계; 및
   상기 복수의 학습 데이터를 이용하여 상기 인공지능 모델을 학습시키는 단계; 를 더 포함하고,
   상기 인공지능 모델은,
   평가기준 및 답변 텍스트를 입력으로 하고, 답변 텍스트의 평가기준 만족여부 및 답변 텍스트의 언어사용 적절성 여부를 출력으로 하는,
   인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법.
8. 제7 항에 있어서,
   상기 복수의 학습 데이터를 획득하는 단계는,
   상기 복수의 학습 데이터를 증강하는 단계; 를 더 포함하고,
   상기 증강하는 단계는,
   제1 학습 데이터에 포함된 제1 예시 답변 텍스트를 변형하여 하나 이상의 변형된 예시 답변 텍스트를 생성하는 단계;
   상기 하나 이상의 변형된 예시 답변 텍스트 각각에 대하여, 상기 제1 학습 데이터의 제1 예시 평가기준을 만족하는지 여부 및 언어사용 적절성 여부를 결정하는 단계; 및
   상기 제1 예시 평가기준, 상기 하나 이상의 변형된 예시 답변 텍스트, 상기 하나 이상의 변형된 예시 답변 텍스트의 상기 제1 예시 평가기준 만족여부에 대한 정보 및 언어사용 적절성 여부를 각각 포함하는 하나 이상의 증강된 학습 데이터를 획득하는 단계; 를 포함하는,
   인공지능 기반 음성 답변 자동채점을 통한 지원자 평가방법.
9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
   상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
   상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
   제1 항의 방법을 수행하는, 장치.
10. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.

Images