KR20220031857A

KR20220031857A - 성어 괄호넣기문제의 답안 선택방법, 장치와 컴퓨터장비

Info

Publication number: KR20220031857A
Application number: KR1020217036693A
Authority: KR
Inventors: 시앙 리우; 시우링 천
Original assignee: 핑 안 테크놀로지 (썬전) 컴퍼니 리미티드
Priority date: 2020-09-04
Filing date: 2020-11-30
Publication date: 2022-03-14
Also published as: SG11202112291SA; US12008319B2; US20220261546A1; CN112069815A; KR102688187B1; JP7418704B2; CN112069815B; JP2022530689A; WO2021159816A1; EP4209956A1

Abstract

본 출원은 인공 지능 기술분야에 관한 것으로, 성어 괄호넣기문제의 답안 선택방법, 장치, 컴퓨터장비와 저장 매체를 제공하며, 성어 괄호넣기문제의 문제 텍스트를 획득하며; 여기에서, 문제 텍스트는 괄호넣기 텍스트와 n개의 후보 성어를 포함하고, 괄호넣기 텍스트 중에는 후보 성어를 기입할 m개의 괄호를 포함하는 단계 (S1); 모든 후보 성어의 해석 텍스트를 획득하는 단계 (S2); 괄호넣기 텍스트와 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기 모델 중에 입력하고, 각각의 후보 성어가 각각의 괄호에 기입되는 신뢰도를 얻는 단계 (S3); n개의 후보 성어 중에서 m개의 성어를 선택해 다수 개 그룹의 답안을 구성하는 단계 (S4); 각 그룹의 답안 중 후보 성어가 괄호에 기입되는 신뢰도의 총합을 계산하는 단계 (S5); 신뢰도 총합이 최고인 1개 그룹의 답안을 획득해 목표 답안으로 삼고, 성어 괄호넣기문제의 답안으로 출력하는 단계 (S6);를 포함한다. 해당 방안은 인공 지능의 방식을 이용해 높은 효율과 정확율로 성어 괄호넣기문제의 답안을 얻는다. 해당 방안은 지혜 교육 분야에 응용해 지혜 도시의 건설을 추진할 수도 있다.

Description

성어 괄호넣기문제의 답안 선택방법, 장치와 컴퓨터장비

본 출원은 인공 지능 기술분야에 관한 것으로, 특히, 성어 괄호넣기문제의 답안 선택방법, 장치, 컴퓨터장비와 저장 매체에 관한 것이다.

성어는 중국어에서 장기간 습관적으로 사용되고 있는 형식이 간결하고 의미가 다양하며 역사가 유구한 고정된 단어 결합이며, 이는 중국 전통 문화의 축소판으로서, 출처가 다양하다. 성어 자체는 구조가 복잡하여 다년간 줄곧 언어 교육의 중점이자 어려움으로 알려져 왔다. 성어를 완성하는 괄호 넣기는 중학교와 초등학교의 국문 학습에서 중점적으로 터득해야 하는 하나의 지식 포인트이고 전통적인 시험문제이다. 하지만, 성어를 선택해 괄호에 넣는 유형의 문제에 관해, 종래기술은 줄곧 인간 두뇌의 지능을 이용해 답을 얻었다. 부모님들은 자녀의 숙제를 지도할 때, 자신의 지식에 의해 성어 괄호 넣기와 같이 아주 어려운 문제를 지도하려면 늘 무력감을 느껴 다양한 app 소프트웨어와 인터넷 검색에 의해 답안을 찾았었다. 하지만, 발명자는 현재 존재하고 있는 app 소프트웨어와 인터넷 검색에서 성어 괄호 넣기 유형의 문제는 모두 인력에 의해 답안을 수집하므로, 스마트화 방법을 통해 답안을 자동으로 판정할 수 없다는 것을 인식하였다. 인력으로 수집한 문제는 수량이 완전하지 않아 부모님들 또는 학생이 오랫동안 검색해도 여전히 답안을 찾을 수 없는 경우가 늘 나타난다.

본 출원은 2020년 9월 4일에 중국 특허국에게 제출하였고 출원번호가 202010923909.X이고 발명 명칭이“성어 괄호넣기문제의 답안 선택방법, 장치와 컴퓨터장비”인 중국 특허 출원에 대한 우선권을 청구하며, 그 전부 내용은 인용을 통해 본 출원 중에 결합된다.

본 출원의 목적은, 현재 인력으로 수집한 문제의 수량이 완전하지 않아 성어 괄호넣기문제 답안을 제공할 수 없는 결함을 해결하는 성어 괄호넣기문제의 답안 선택방법, 장치, 컴퓨터장비와 저장 매체를 제공하는 데 있다.

상기 목적에 달성하기 위해, 본 출원은 성어 괄호넣기문제의 답안선택방법을 제공하며, 이는

성어 괄호넣기문제의 문제 텍스트를 획득하며; 여기에서, 상기 문제 텍스트는 괄호넣기 텍스트와 n개의 후보 성어를 포함하고, 상기 괄호넣기 텍스트 중에는 상기 후보 성어를 기입할 m개의 괄호를 포함하는 단계;

모든 상기 후보 성어의 해석 텍스트를 획득하는 단계;

상기 괄호넣기 텍스트와 상기 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기 모델 중에 입력하고, 각각의 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 얻는 단계;

n개의 상기 후보 성어 중에서 m개의 성어를 선택해 무작위로 배열하여 m개의 상기 괄호 중에 기입하고, 다수 개 그룹의 답안을 구성하며; 여기에서, 각 그룹의 답안 중 상기 후보 성어는 최대 한번만 선택되어 상기 괄호에 기입할 수 있는 단계;

각각의 상기 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도에 근거하고, KM 알고리즘에 기반하여, 각 그룹의 답안 중 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하는 단계;

신뢰도 총합이 최고인 1개 그룹의 답안을 획득해 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는 단계;를 포함한다.

본 출원은 성어 괄호넣기문제의 답안선택장치를 더 제공하며, 이는,

성어 괄호넣기문제의 문제 텍스트를 획득하는 데 사용하며; 여기에서, 상기 문제 텍스트는 괄호넣기 텍스트와 n개의 후보 성어를 포함하고, 상기 괄호넣기 텍스트 중에는 상기 후보 성어를 기입할 m개의 괄호를 포함하는 제1 획득유닛;

모든 상기 후보 성어의 해석 텍스트를 획득하는 데 사용하는 제2획득유닛;

상기 괄호넣기 텍스트와 상기 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기 모델 중에 입력하고, 각각의 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 얻는 데 사용하는 제1 출력유닛;

n개의 상기 후보 성어 중에서 m개의 성어를 선택해 무작위로 배열하여 m개의 상기 괄호 중에 기입하고, 다수 개 그룹의 답안을 구성하는 데 사용하며; 여기에서, 각 그룹의 답안 중 상기 후보 성어는 최대 한번만 선택되어 상기 괄호에 기입할 수 있는 선택유닛;

각각의 상기 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도에 근거하고, KM 알고리즘에 기반하여, 각 그룹의 답안 중 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하는 데 사용하는 계산유닛;

신뢰도 총합이 최고인 1개 그룹의 답안을 획득해 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는데 사용하는 제2 출력유닛;을 포함한다.

본 출원은 컴퓨터장비를 더 제공하며, 이는 기억장치와 프로세서를 포함하고, 상기 기억장치에는 컴퓨터 프로그램이 저장되고, 상기 프로세서는 상기 컴퓨터 프로그램을 실행할 때 성어 괄호넣기문제의 답안선택방법을 구현하고, 이는,

모든 상기 후보 성어의 해석 텍스트를 획득하는 단계;

본 출원은 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 이에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때 성어 괄호넣기문제의 답안선택방법을 구현하고, 이는,

모든 상기 후보 성어의 해석 텍스트를 획득하는 단계;

n개의 상기 후보 성어 중에서 m개의 성어를 선택해 무작위로 배열하여 m개의 상기 괄호 중에 기입하고, 다수 개 그룹의 답안을 구성하며; 여기에서, 각 그룹의 답안 중 상기 후보 성어는 최대 한번만 선택되어 상기 괄호에 기입할 수 단계;

본 출원이 제공하는 성어 괄호넣기문제의 답안 선택 방법, 장치, 컴퓨터장비와 저장 매체는 성어 괄호넣기문제의 문제 텍스트를 획득하며; 여기에서, 상기 문제 텍스트는 괄호넣기 텍스트와 n개의 후보 성어를 포함하고, 상기 괄호넣기 텍스트 중에는 상기 후보 성어를 기입할 m개의 괄호를 포함하며; 모든 상기 후보 성어의 해석 텍스트를 획득하며; 상기 괄호넣기 텍스트와 상기 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기 모델 중에 입력하고, 각각의 후보 성어를 각각의 상기 괄호에 기입하는 신뢰도를 얻으며; n개의 상기 후보 성어 중에서 m개의 성어를 선택해 무작위 배열하여 m개의 상기 괄호 중에 기입하고, 다수 개 그룹의 답안을 구성하며;각각의 상기 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도에 근거하여 각 그룹의 답안 중 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하며; 신뢰도 총합이 최고인 1개 그룹의 답안을 획득해 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력한다. 본 출원은 인공 지능의 방식을 이용해 각 그룹의 답안 중 후보 성어가 괄호 중에 기입되는 신뢰도의 총합을 얻어 신뢰도 총합이 최고인 1개 그룹의 답안을 목표 답안으로 삼으며; 높은 효율과 정확율로 성어 괄호넣기의 답안을 얻는 데 편리하다.

도 1은 본 출원의 일 실시예에 따른 성어 괄호넣기문제 답안선택방법의 단계 설명도이고;
도 2는 본 출원의 일 실시예에 따른 성어 괄호넣기문제 답안선택장치의 구조 블록도이고;
도 3은 본 출원의 일 실시예에 따른 컴퓨터장비의 구조 설명 블록도이다.
본 출원의 목적 구현, 기능 특징과 장점은 실시예와 결합하고 도면을 참조해 진일보 설명한다.

도 1을 참조하면 알 수 있다시피, 본 출원의 일 실시예는 성어 괄호넣기문제의 답안선택방법을 제공하며, 이는,

성어 괄호넣기문제의 문제 텍스트를 획득하며; 여기에서, 상기 문제 텍스트는 괄호넣기 텍스트와 n개의 후보 성어를 포함하고, 상기 괄호넣기 텍스트 중에는 상기 후보 성어를 기입할 m개의 괄호를 포함하는 단계 S1;

모든 상기 후보 성어의 해석 텍스트를 획득하는 단계 S2;

상기 괄호넣기 텍스트와 상기 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기 모델 중에 입력하고, 각각의 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 얻는 단계 S3;

n개의 상기 후보 성어 중에서 m개의 성어를 선택해 무작위로 배열하여 m개의 상기 괄호 중에 기입하고, 다수 개 그룹의 답안을 구성하며; 여기에서, 각 그룹의 답안 중 상기 후보 성어는 최대 한번만 선택되어 상기 괄호에 기입할 수 있는 단계 S4;

각각의 상기 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도에 근거하고, KM 알고리즘에 기반하여, 각 그룹의 답안 중 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하는 단계 S5;

신뢰도 총합이 최고인 1개 그룹의 답안을 획득해 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는 단계 S6;를 포함한다.

본 실시예에서, 상기 방법은 성어 괄호넣기문제의 답안을 출력하는 환경에 응용되고, 인공 지능을 이용해 높은 효율과 정확율로 성어 괄호넣기문제의 답안을 출력한다. 본 출원 중의 방안은 지혜 교육 분야에 응용해 지혜 도시의 건설을 추진할 수도 있다.

상기 단계 S1에 기재된 바와 같이, 상기 성어 괄호넣기문제의 문제 텍스트는 통상적으로 학생 시험문제 중의 전자 텍스트이고, 상기 문제 텍스트 중에는 다수 개의 어구로 구성된 괄호넣기 텍스트와 다수 개의 후보 성어(즉, 후보 답안)를 포함하고, 학생은 상기 후보 성어 중에서 선택해 상기 괄호넣기 텍스트의 괄호 중에 기입한다.

상기 단계 S2에 기재된 바와 같이, 데이터 베이스(예를 들어, 성어 사전) 중에는 모든 성어의 해석 텍스트(즉, 성어의 의미를 해석하는 텍스트)가 저장되고, 상기 데이터 베이스에서 모든 후보 성어의 해석 텍스트를 획득할 수 있다.

상기 단계 S3에 기재된 바와 같이, 1개의 성어가 미리 트레이닝되어 괄호넣기모델을 선택하고, 해당 성어 선택 괄호넣기모델은 bert 언어 모델에 기반하는 자연어 신경 네트워크 트레이닝으로 얻고, 상기 성어 선택 괄호넣기모델은 각각의 성어가 성어 괄호넣기문제 중에 정확한 답안으로 기입되는 신뢰도를 예측하는 데 사용한다. 성어 괄호넣기문제 중에 기입하는 성어가 정확한 답안인지 여부를 판단하는 방식은 상기 성어 선택 괄호넣기모델에 기반하여 상기 성어의 해석 텍스트와 성어 괄호넣기문제 중 어구의 의미 연관도를 계산하여 대응되는 신뢰도를 확정하는 것이다.

상기 단계 S4에 기재된 바와 같이, n개의 상기 후보 성어 중에서 m개의 성어를 선택해 무작위로 배열하여 m개의 상기 괄호 중에 기입하고, 다수 개 그룹의 답안을 구성한다. 본 실시예에서, 수학 중의 무작위 배열 방식을 이용해 n개의 상기 후보 성어에서 m개의 성어를 선택해 다수 개 그룹의 조합으로 무작위로 배열하고, 각 그룹의 조합은 상기 성어 괄호넣기문제 중에 기입하는 미리 선택한 답안으로 삼는다. 상기 조합의 수량이 n*(n-1)*(n-2)*...*(n-m+1)인 것으로 이해할 수 있다.

상기 단계 S5에 기재된 바와 같이, 상기 단계 S3에서 이미 모든 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 계산하였으므로, 각 그룹의 답안 중의 상기 후보 성어는 상기 괄호에 기입되는 신뢰도의 총합을 계산할 수 있다. 본 실시예에서는 KM 알고리즘에 기반하여 상기 신뢰도 총합에 대한 계산을 진행하고, 여기에서, KM 알고리즘은 통용 알고리즘이며, 여기에서는 더 반복해 기재하지 않는다.

상기 단계 S6에 기재된 바와 같이, 신뢰도 총합이 최고인 1개 그룹의 답안을 획득하고, 이를 목표 답안으로 삼으며, 상기 신뢰도는 괄호 중에 기입된 후보 성어가 정확하다고 신뢰하는 정도를 표시하고, 물론, 그 신뢰도가 높을 수록 정확한 답안에 더 근접한다는 것은 이해할 수 있을 것이다. 따라서, 상기 신뢰도 총합이 최고인 경우, 대응되는 목표 답안도 정확한 답안에 가장 근접하고, 최종적으로는 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력한다. 본 실시예에서는 인공지능에 기반하는 딥러닝 트레이닝으로 얻은 성어가 괄호넣기모델을 선택하여, 각각의 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 얻을 수 있고, 더 나아가, 신뢰도에 근거해 높은 효율과 정확율로 멤버의 괄호넣기문제에 대한 목표 답안을 출력한다. 이 과정에서, 인공으로 답안을 검색할 필요가 없고, 사용자가 전문적인 성어 지식을 구비할 필요도 없으며, 대응되는 목표 답안을 자동으로 출력할 수 있어 답안을 찾는 효율과 정확율을 향상시킬 뿐만 아니라, 인건비를 줄일 수 있다.

일 실시예에서 상술한 바와 같이, 상기 괄호넣기 텍스트와 상기 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기모델 중에 입력해 각각의 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 얻는 단계 S3 전에,

트레이닝 샘플을 획득하며, 여기에서, 상기 트레이닝 샘플은 이미 답안이 선택된 다수 개의 성어 괄호넣기문제의 언어 자료 텍스트와 성어베이스 중의 모든 성어의 해석 텍스트를 포함하는 단계 S01；

상기 트레이닝 샘플을 bert 언어 모델에 기반하는 자연어 신경 네트워크 중에 입력해 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻으며; 여기에서, 상기 자연어 신경 네트워크는 네트워크 출력층과 콘볼루션층을 포함하고, 상기 콘볼루션층은 다수 개의 콘볼루션 네트워크가 차례대로 쌓여 형성되고, 그 다음의 상기 콘볼루션 네트워크의 입력층은 그 전의 모든 콘볼루션 네트워크의 출력층과 연결하고, 각각의 상기 콘볼루션 네트워크의 출력층은 모두 상기 bert 언어 모델의 출력층과 연결하고, 마지막 층의 상기 콘볼루션 네트워크의 출력층은 상기 네트워크 출력층과 연결하는 단계 S02;를 포함한다. 여기에서 알 수 있다시피, 상기 bert 언어 모델의 출력층이 출력한 특징 매트릭스는 각 층의 상기 콘볼루션 네트워크에 각각 출력하고, 이와 동시에, 각 층의 콘볼루션 네트워크의 출력층도 모두 그 후의 모든 콘볼루션 네트워크의 입력층과 연결한다. 본 실시예에서는 모델 구조 면에서 상술한 바와 같은 개선을 진행하여 신경 네트워크의 심도를 증가시킴으로써, 그가 특징 추출 면에서 더 강한 추출 능력을 구비하도록 한다.

본 실시예에서 상술한 바와 같이, 상기 트레이닝 샘플을 bert 언어 모델에 기반하는 자연어 신경 네트워크 중에 입력해 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻는 단계 S02는 상세하게,

a. 상기 트레이닝 샘플을 상기 bert 언어 모델 중에 입력하고, 상기 bert 언어 모델에 기반하여 상기 트레이닝 샘플의 특징 매트릭스를 추출하는 단계;

b. 상기 특징 매트릭스를 상기 자연어 신경 네트워크 중에 입력해 반복 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻는 단계;를 포함한다.

일 실시예에서, 상기 bert 언어 모델은 수많은 언어 자료의 기초 상에서 자가 감독 학습방법을 작동시켜 얻는 것으로, 이를 단어로 삼아 배웠으면 1개의 우수한 특징의 벡터로 표시하며; 여기에서, 상기 자가 감독 학습은 인력으로 표기하지 않는 데어터 상에서 작동되는 감독 학습을 가리킨다.

다른 일 실시예에서, 상기 bert 언어 모델은 2개의 무감독 예측 태스크를 이용해 미리 트레이닝을 진행하고, 2개의 무감독 예측 태스크은 각각 Masked LM와 Next Sentence Prediction이다.

상기 bert 언어 모델의 네트워크 아키텍처가 사용하는 것은 다층 Transformer 구조이고, 이의 가장 큰 특징은 종래의 RNN과 CNN를 포기하고 Attention 메커니즘을 통해 임의의 위치의 2개 단어의 거리를 1로 전환시키고, NLP 중에서 해결하기 어려운 장기적 의존 문제를 효과적으로 해결한 데 있다. Transformer의 구조는 NLP 분야에서 이미 광범위하게 응용되었으며, 여기에서는 더 반복해 기재하지 않는다.

NLP(자연어 식별) 태스크에서는 직접 bert 언어 모델이 출력한 특징 매트릭스의 벡터를 이용해 NLP 태스크의 단어로 삽입되는 특징을 표시할 수 있다. bert 언어 모델이 제공하는 것은 기타 태스크 이전 학습에 제공되는 모델이고, 상기 bert 언어 모델은 태스크에 의해 미세 조정 또는 고정된 후에 특징 추출기로 삼을 수 있다.

일 실시예에서는 상술한 바와 같이, 각각의 상기 후보 성어는 각각의 상기 괄호에 기입되는 신뢰도에 근거하고, KM 알고리즘에 기반하여, 각 그룹의 답안 중의 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하는 단계 S5 전에,

각 그룹의 답안 중에 상기 괄호에 기입되는 신뢰도가 제1 임계값보다 작은 상기 후보 성어가 적어도 하나가 존재하는지 여부를 각각 판단하는 단계 S51;

존재하는 경우, 대응되는 답안을 삭제하고, 삭제된 상기 답안 중 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하지 않는 단계 S52;를 포함한다.

본 실시예에서, 상술한 바와 같이 구성된 답안의 수량이 n*(n-1)*(n-2)*...*(n-m+1)이므로, 상기 n와 m가 비교적 큰 경우, 구성된 답안의 수량도 비교적 많으며, 각 그룹의 답안이 모두 신뢰도 총합을 별도로 계산하는 경우에는 계산량이 커져 계산 효율에 영향을 미치게 된다. 상술한 바와 같이 구성된 답안 중에서, 일부 답안이 뚜렷하게 정확한 것이 명확하다는 것을 이해할 수 있을 것이다. 예를 들어, 어느 1개 그룹의 답안 중에서, 괄호 중에 기입된 어느 후보 성어가 명확하게 부합되지 않는 경우에는, 해당 그룹의 답안이 완전히 정학한 답안이 아니라는 것으로 판정할 수 있다. 따라서, 각각의 답안 중에 명확하게 부합되지 않는 후보 성어를 갖는지 여부만 각각 판단하고, 더 나아가, 해당 그룹의 답안을 삭제하고, 신뢰도 총합에 대한 계산을 진행하지만 않으면 연산량을 뚜렷하게 줄일 수 있다. 본 실시예에서, 이미 각각의 후보 성어가 각각의 괄호에 기입되는 신뢰도를 획득한 경우에는 신뢰도의 값이 너무 낮은지 여부(신뢰도가 1개의 임계값, 즉, 제1 임계값보다 작음)에 근거해 어느 후보 성어가 어느 괄호에 기입된 것이 분명히 잘못된 것인가를 판단할 수 있다.

일 실시예에서, 상술한 바와 같이, 신뢰도 총합이 최고인 1개 그룹의 답안을 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는 단계 S6 후에,

상기 목표 답안을 상기 괄호넣기 텍스트 중에 기입해 답안 텍스트를 얻는 단계 S7;

상기 답안 텍스트에 대한 사용자의 평점을 획득하고, 상기 평점이 제2 임계값보다 큰지 여부를 판단하며; 여기에서, 상기 사용자가 표준 답안에 기반하여 상기 답안 텍스트에 대해 평점을 진행하는 단계 S8;

상기 평점이 제2 임계값보다 높은 경우, 상기 답안 텍스트와 상기 목표 답안 중 모든 후보 성어의 해석 텍스트를 트레이닝 세트(training set)로 구성하고, 상기 트레이닝 세트를 상기 성어 선택 괄호넣기모델 중에 입력해 재트레이닝(retraining)을 진행하는 단계 S9;

재트레이닝을 진행한 후의 상기 성어 선택 괄호넣기모델을 블록체인 중에 저장하는 단계 S10;를 더 포함한다.

본 실시예에서는 상기 성어 괄호넣기문제의 문제 유형에 변화가 발생하고, 그 문제 텍스트의 구체적인 텍스트 내용도 원래 트레이닝 샘플 중의 언어 자료와 다르므로, 상기 성어 선택 괄호넣기모델이 이후 기타 환경에서의 계산 정확율을 높이고 모델의 일반화 능력을 향상시킬 수 있도록 하기 위해, 상기 성어 선택 괄호넣기모델은 재트레이닝을 계속 진행해야 한다. 하지만, 재트레이닝을 진행하기 전에 상기 목표 답안이 최대한도의 정확한 답안인 것을 확인해야 하므로, 사용자(교원 등)는 표준 답안에 기반해 상기 답안 텍스트에 대한 평점을 진행하여 상기 답안 텍스트에 대한 평점을 획득하고, 더 나아가, 상기 평점이 제2 임계값보다 큰지 여부를 판단하며; 임계값보다 큰 경우에는 상기 성어 선택 괄호넣기모델이 출력한 목표 답안의 정확율이 높은 것으로 판정할 수 있고, 이 경우에는 대응되는 답안 텍스트와 상기 목표 답안 중 모든 후보 성어의 해석 텍스트를 이용해 트레이닝 세트를 구성하고, 상기 트레이닝 세트를 상기 성어 선택 괄호넣기모델 중에 입력해 재트레이닝을 진행할 수 있다. 기타 실시예에서는 교원 사용자로부터 표준 답안을 획득할 수 있을 경우, 표준 답안을 이용해 성어 선택 괄호넣기모델에 대한 재트레이닝을 진행할 수 있다.

상기 성어 선택 괄호넣기모델의 안전성을 강화하기 위하여, 상기 재트레이닝을 진행한 후의 성어 선택 괄호넣기모델을 블록체인 중에 저장한다. 여기에서, 블록체인은 분포식 데이터 저장, 점대점(Point to Point) 전송, 합의 메커니즘, 암호화 알고리즘 등 컴퓨터 기술의 신형 응용방식이다. 블록체인(block chain)은 실질적으로는 하나의 탈 집중화의 데이터 베이스로서, 암호화가 방법의 사용과 서로 관련되게 생성되는 일련의 데이터 블록이고, 각가가의 데이터 블록 중에는 1회분의 인터넷 거래의 정보를 포함하고, 그 정보의 유효성(위조방지)에 대한 검증과 다음 블록을 생성하는 데 사용한다. 블록체인은 블록체인 바닥층 플랫폼, 플랫폼 제품 서비스층과 응용 서비스층을 포함할 수 있다.

일 실시예에서, 상기 성어 괄호넣기문제는 학생들을 테스트하는 데 사용하며;

상술한 바와 같이, 신뢰도 총합이 최고인 1개 그룹의 답안을 획득해 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는 단계 S6 후에,

학생이 위치한 단말로부터 업로드한 테스트 텍스트를 획득하며; 여기에서, 테스트 텍스트는 상기 학생이 상기 성어 괄호넣기문제의 괄호넣기 텍스트 중에 기입한 학생 답안의 텍스트이며; 상기 학생이 위치한 단말로부터 상기 테스트 텍스트를 업로드하는 경우, 상기 학생이 상기 성어괄호넣기문제에 기입한 학생 답안을 차례대로 이어 맞추어 제1 성어 조합을 얻고, 블록체인에 기반해 상기 제1 성어 조합에 대한 해시 계산을 진행하여 대응되는 해시 값을 얻고, 상기 해시 값을 식별 코드로 삼아 상기 테스트 텍스트 중에 추가하는 단계 S7a;

상기 테스트 텍스트 중의 모든 학생 답안을 추출하고, 차례대로 이어 맞추어 제2 성어 조합을 얻는 단계 S8a;

블록체인에 기반해 상기 제2 성어 조합에 대한 해시 계산을 진행하여 대응되는 검증 해시 값을 얻는 단계 S9a;

상기 테스트 텍스트 중의 식별 코드를 식별해 내고, 상기 검증 해시 값이 상기 식별 코드와 일치하는지 여부를 검증하는 단계 S10a;

일치할 경우, 상기 학생 답안을 상기 목표 답안과 일일이 대조하여 상기 학생 답안의 정확율을 획득하는 단계 S11a; 를 더 포함한다.

본 실시예에서, 상기 방법은 학생 테스트 환경에 응용하며, 학생들의 진실한 성어 수준을 테스트하기 위해, 학생들이 제출하는 학생 답안이 오류가 없고 왜곡되지 않도록 보장해야 하며; 따라서, 학생이 상기 성어 괄호넣기문제의 괄호넣기 텍스트 중에 학생 답안을 기입한 후, 단말을 통해 학생 답안을 구비하는 테스트 텍스트를 제출하는 경우, 상기 단말은 상기 학생이 상기 성어 괄호넣기문제 중에 기입한 학생 답안을 차례대로 이어 맞추어 제1 성어 조합을 얻고, 제1 성어 조합에 대해 해시 계산을 진행하여 대응되는 해시 값을 얻고, 해시 값을 식별 코드로 삼아 상기 테스트 텍스트 중에 추가하며; 해시 계산은 상기 제1 성어 조합을 길이가 고정된 해시 값으로 변환시키고, 상기 과정은 불가역적이고, 해시 값을 상기 제1 성어 조합으로 변환시켜 기타 사용자가 상기 해시 값을 획득한 후, 그에 대한 역추적을 진행해 상기 학생 답안을 획득하는 것을 피한다. 상술한 바와 같이, 테스트 텍스트 중에 추가되는 식별 코드는 상기 테스트 텍스트가 왜곡된 여부를 검증하는 근거로 삼는다.

상기 학생이 위치한 단말로부터 업로드한 테스트 텍스트를 획득한 경우에는, 학생 답안을 추출해 내고, 동일 과정에 의해 이를 조합하고 해시 계산을 진행하여 1개의 검증 해시 값을 얻어 검증 해시 값이 상기 식별 코드와 일치하는지 여부를 판단하고, 일치할 경우에는 학생의 테스트 텍스트가 왜곡되지 않았다는 것을 표시하고, 그 학생 답안은 유효하다. 이 경우에는 다시 학생 답안을 목표 답안과 대조하여 상기 학생 답안의 정확율을 획득한다.

도 2를 참조하면 알 수 있다시피, 본 출원의 일 실시예는 성어 괄호넣기문제의 답안선택장치를 더 제공하며, 이는,

성어 괄호넣기문제의 문제 텍스트를 획득하는 데 사용하며; 여기에서, 상기 문제 텍스트는 괄호넣기 텍스트와 n개의 후보 성어를 포함하고, 상기 괄호넣기 텍스트 중에는 상기 후보 성어를 기입할 m개의 괄호를 포함하는 제1 획득유닛(10);

모든 상기 후보 성어의 해석 텍스트를 획득하는 데 사용하는 제2 획득유닛(20);

상기 괄호넣기 텍스트와 상기 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기 모델 중에 입력하고, 각각의 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 얻는 데 사용하는 제1 출력유닛(30);

n개의 상기 후보 성어 중에서 m개의 성어를 선택해 무작위로 배열하여 m개의 상기 괄호 중에 기입하고, 다수 개 그룹의 답안을 구성하는 데 사용하며; 여기에서, 각 그룹의 답안 중 상기 후보 성어는 최대 한번만 선택되어 상기 괄호에 기입할 수 있는 선택유닛(40);

각각의 상기 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도에 근거하고, KM 알고리즘에 기반하여, 각 그룹의 답안 중 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하는 데 사용하는 계산유닛(50);

신뢰도 총합이 최고인 1개 그룹의 답안을 획득해 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는데 사용하는 제2 출력유닛(60); 을 포함한다.

일 실시예에서,

트레이닝 샘플을 획득하는 데 사용하며, 여기에서, 상기 트레이닝 샘플은 이미 답안이 선택된 다수 개의 성어 괄호넣기문제의 언어 자료 텍스트와 성어베이스 중의 모든 성어의 해석 텍스트를 포함하는 제3 획득유닛;

상기 트레이닝 샘플을 bert 언어 모델에 기반하는 자연어 신경 네트워크 중에 입력해 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻는 데 사용하며; 여기에서, 상기 자연어 신경 네트워크는 네트워크 출력층과 콘볼루션층을 포함하고, 상기 콘볼루션층은 다수 개의 콘볼루션 네트워크가 차례대로 쌓여 형성되고, 그 다음의 상기 콘볼루션 네트워크의 입력층은 그 전의 모든 콘볼루션 네트워크의 출력층과 연결하고, 각각의 상기 콘볼루션 네트워크의 출력층은 모두 상기 bert 언어 모델의 출력층과 연결하고, 마지막 층의 상기 콘볼루션 네트워크의 출력층은 상기 네트워크 출력층과 연결하는 트레이닝 유닛;을 더 포함한다.

일 실시예에서, 상기 트레이닝 유닛은 상세하게,

상기 트레이닝 샘플을 상기 bert 언어 모델 중에 입력하고, 상기 bert 언어 모델에 기반하여 상기 트레이닝 샘플의 특징 매트릭스를 추출하며;

상기 특징 매트릭스를 상기 자연어 신경 네트워크 중에 입력해 반복 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻는데 사용한다.

일 실시예에서, 상기 장치는,

각 그룹의 답안 중에 상기 괄호에 기입되는 신뢰도가 제1 임계값보다 작은 상기 후보 성어가 적어도 1개가 존재하는지 여부를 각각 판단하는 데 사용하는 제1 판단유닛;

존재하는 경우에 대응되는 답안을 삭제하고, 삭제된 상기 답안 중의 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하지 않는 데 사용하는 삭제유닛; 을 더 포함한다.

일 실시예에서, 상기 장치는,

상기 목표 답안을 상기 괄호넣기 텍스트 중에 기입해 답안 텍스트를 얻는 데 사용하는 기입유닛;

상기 답안 텍스트에 대한 사용자의 평점을 획득하고, 상기 평점이 제2 임계값보다 큰지 여부를 판단하는 데 사용하며; 여기에서, 상기 사용자가 표준 답안에 기반하여 상기 답안 텍스트에 대해 평점을 진행하는 제2 판단유닛;

상기 평점이 제2 임계값보다 높은 경우, 상기 답안 텍스트와 상기 목표 답안 중 모든 후보 성어의 해석 텍스트를 트레이닝 세트로 구성하고, 상기 트레이닝 세트를 상기 성어 선택 괄호넣기모델 중에 입력해 재트레이닝을 진행하는 데 사용하는 재트레이닝유닛(retraining unit);

재트레이닝을 진행한 후의 상기 성어 선택 괄호넣기모델을 블록체인 중에 저장하는 데 사용하는 저장유닛;을 더 포함한다.

일 실시예에서, 상기 성어 괄호넣기문제는 학생을 테스트하는 데 사용하며, 상기 장치는,

학생이 위치한 단말로부터 업로드한 테스트 텍스트를 획득하는 데 사용하며; 여기에서, 테스트 텍스트는 상기 학생이 상기 성어 괄호넣기문제의 괄호넣기 텍스트 중에 기입한 학생 답안의 텍스트이며; 상기 학생이 위치한 단말로부터 상기 테스트 텍스트를 업로드하는 경우, 상기 학생이 상기 성어괄호넣기문제에 기입한 학생 답안을 차례대로 이어 맞추어 제1 성어 조합을 얻고, 상기 제1 성어 조합에 대한 해시 계산을 진행하여 대응되는 해시 값을 얻고, 상기 해시 값은 식별 코드로 삼아 상기 테스트 텍스트 중에 추가되는 제4 획득유닛;

상기 테스트 텍스트 중의 모든 학생 답안을 추출하고, 차례대로 이어 맞추어 제2 성어 조합을 얻는 데 사용하는 추출유닛;

블록체인에 기반해 상기 제2 성어 조합에 대한 해시 계산을 진행하여 대응되는 검증 해시 값을 얻는 데 사용하는 해시계산유닛;

상기 테스트 텍스트 중의 식별 코드를 식별해 내고, 상기 검증 해시 값이 상기 식별 코드와 일치하는지 여부를 검증하는 데 사용하는 검증유닛;

일치할 경우, 상기 학생 답안을 상기 목표 답안과 일일이 대조하여 상기 학생 답안의 정확율을 획득하는 데 사용하는 대조유닛;을 더 포함한다.

본 실시예에서, 상기 장치 실시예 중 각 유닛의 구체 구현은 상기 방법의 실시예에 기재된 내용을 참조하며, 여기에서는 더 반복해 기재하지 않는다.

도 3에서 도시하는 바와 같이, 본 출원의 실시예는 컴퓨터장비를 더 제공하며, 해당 컴퓨터장비는 서버일 수 있고, 그 내부 구조는 도 3에서 도시한 바와 같을 수 있다. 해당 컴퓨터장비는 시스템 버스를 통해 연결하는 프로세서, 기억장치, 네트워크 인터페이스와 데이터 베이스를 포함한다. 여기에서, 해당 컴퓨터에 설계된 프로세서는 계산과 제어 능력을 제공하는 데 사용한다. 해당 컴퓨터장비의 기억장치는 비휘발성 저장 매체와 내장 기억장치를 포함한다. 해당 비휘발성 저장 매체는 운영시스템, 컴퓨터 프로그램과 데이터 베이스가 저장된다. 해당 내장 기억장치는 비휘발성 저장 매체 중의 운영시스템과 컴퓨터 프로그램의 운영을 위해 환경을 제공한다. 해당 컴퓨터장비의 데이터 베이스는 성어 괄호넣기문제 등을 저장하는 데 사용한다. 해당 컴퓨터장비의 네트워크 인터페이스는 외부의 단말과 네트워크를 통해 연결되어 통신하는 데 사용한다. 해당 컴퓨터 프로그램은 프로세서에 의해 의해 실행될 때 성어 괄호넣기문제의 답안선택방법을 구현하고, 이는,

모든 상기 후보 성어의 해석 텍스트를 획득하는 단계;

본 기술분야의 기술자들은 도 3에서 도시된 구조가 본 출원의 방안과 관련된 일부 구조의 블록도에 불과하며, 본 출원의 방안이 그에게 응용되는 컴퓨터장비를 한정하지 않는다는 것을 이해할 수 있을 것이다.

본 출원의 일 실시예는 컴퓨터 판독이 가능한 저장 매체를 더 제공하고, 그에게는 컴퓨터 프로그램이 저장되며, 컴퓨터 프로그램은 프로세서에 의해 실행될 때 성어 괄호넣기문제의 답안 선택방법을 구현하고, 이는,

모든 상기 후보 성어의 해석 텍스트를 획득하는 단계;

n개의 상기 후보 성어 중에서 m개의 성어를 선택해 무작위 배열하여 m개의 상기 괄호 중에 기입하고, 다수 개 그룹의 답안을 구성하며; 여기에서, 각 그룹의 답안 중 상기 후보 성어는 최대 한번만 선택되어 상기 괄호에 기입할 수 있는 단계;

본 실시예 중의 컴퓨터 판독이 가능한 저장 매체는 휘발성 판독 가능 저장 매체일 수 있고, 비휘발성 판독 가능 저장 매체일 수도 있다.

총체적으로, 본 출원의 실시예가 제공하는 성어 괄호넣기문제의 답안 선택 방법, 장치, 컴퓨터장비와 저장 매체는, 성어 괄호넣기문제의 문제 텍스트를 획득하며; 여기에서, 상기 문제 텍스트는 괄호넣기 텍스트와 n개의 후보 성어를 포함하고, 상기 괄호넣기 텍스트 중에는 상기 후보 성어를 기입할 m개의 괄호를 포함하며; 모든 상기 후보 성어의 해석 텍스트를 획득하며; 상기 괄호넣기 텍스트와 상기 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기 모델 중에 입력하고, 각각의 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 얻으며; n개의 상기 후보 성어 중에서 m개의 성어를 선택해 무작위로 배열하여 m개의 상기 괄호 중에 기입하고, 다수 개 그룹의 답안을 구성하며; 각각의 상기 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도에 근거하고, KM 알고리즘에 기반하여, 각 그룹의 답안 중 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하며; 신뢰도 총합이 최고인 1개 그룹의 답안을 획득해 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는 것을 포함한다. 본 출원은 인공 지능의 방식을 이용해 각 그룹의 답안 중 후보 성어가 괄호 중에 기입되는 신뢰도의 총합을 얻어 신뢰도 총합이 최고인 1개 그룹의 답안을 목표 답안으로 삼으며; 높은 효율과 정확율로 성어 괄호넣기의 답안을 얻는 데 편리하다.

Claims

성어 괄호넣기문제의 답안선택방법에 있어서,
이하의 단계,
성어 괄호넣기문제의 문제 텍스트를 획득하며; 여기에서, 상기 문제 텍스트는 괄호넣기 텍스트와 n개의 후보 성어를 포함하고, 상기 괄호넣기 텍스트 중에는 상기 후보 성어를 기입할 m개의 괄호를 포함하는 단계;
모든 상기 후보 성어의 해석 텍스트를 획득하는 단계;
상기 괄호넣기 텍스트와 상기 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기 모델 중에 입력하고, 각각의 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 얻는 단계;
n개의 상기 후보 성어 중에서 m개의 성어를 선택해 무작위로 배열하여 m개의 상기 괄호 중에 기입하고, 다수 개 그룹의 답안을 구성하며; 여기에서, 각 그룹의 답안 중 상기 후보 성어는 최대 한번만 선택되어 상기 괄호에 기입할 수 있는 단계;
각각의 상기 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도에 근거하고, KM 알고리즘에 기반하여, 각 그룹의 답안 중 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하는 단계;
신뢰도 총합이 최고인 1개 그룹의 답안을 획득해 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는 단계;를 포함하는 것을 특징으로 하는 성어 괄호넣기문제의 답안선택방법.
제1항에 있어서,
여기에서, 상기 괄호넣기 텍스트와 상기 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기모델 중에 입력해 각각의 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 얻는 단계 전에,
트레이닝 샘플을 획득하며, 여기에서, 상기 트레이닝 샘플은 이미 답안이 선택된 다수 개의 성어 괄호넣기문제의 언어 자료 텍스트와 성어베이스 중의 모든 성어의 해석 텍스트를 포함하는 단계；
상기 트레이닝 샘플을 bert 언어 모델에 기반하는 자연어 신경 네트워크 중에 입력해 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻으며; 여기에서, 상기 자연어 신경 네트워크는 네트워크 출력층과 콘볼루션층을 포함하고, 상기 콘볼루션층은 다수 개의 콘볼루션 네트워크가 차례대로 쌓여 형성되고, 그 다음의 상기 콘볼루션 네트워크의 입력층은 그 전의 모든 콘볼루션 네트워크의 출력층과 연결하고, 각각의 상기 콘볼루션 네트워크의 출력층은 모두 상기 bert 언어 모델의 출력층과 연결하고, 마지막 층의 상기 콘볼루션 네트워크의 출력층은 상기 네트워크 출력층과 연결하는 단계;를 포함하는 것을 특징으로 하는 성어 괄호넣기문제의 답안 선택 방법.
제2항에 있어서,
여기에서, 상기 트레이닝 샘플을 bert 언어 모델에 기반하는 자연어 신경 네트워크 중에 입력해 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻는 단계는,
상기 트레이닝 샘플을 상기 bert 언어 모델 중에 입력하고, 상기 bert 언어 모델에 기반하여 상기 트레이닝 샘플의 특징 매트릭스를 추출하는 단계;
상기 특징 매트릭스를 상기 자연어 신경 네트워크 중에 입력해 반복 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻는 단계;를 포함하는 것을 특징으로 하는 성어 괄호넣기문제의 답안 선택 방법.
제1항에 있어서,
여기에서, 각각의 상기 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도에 근거하고, KM 알고리즘에 기반하여, 각 그룹의 답안 중의 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하는 단계 전에,
각 그룹의 답안 중에 상기 괄호에 기입되는 신뢰도가 제1 임계값보다 작은 상기 후보 성어가 적어도 1개 존재하는지 여부를 각각 판단하는 단계;
존재하는 경우에 대응되는 답안을 삭제하고, 삭제된 상기 답안 중의 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하지 않는 단계;를 포함하는 것을 특징으로 하는 성어 괄호넣기문제의 답안 선택 방법.
제1항에 있어서,
여기에서, 신뢰도 총합이 최고인 1개 그룹의 답안을 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는 단계 후에,
상기 목표 답안을 상기 괄호넣기 텍스트 중에 기입해 답안 텍스트를 얻는 단계;
상기 답안 텍스트에 대한 사용자의 평점을 획득하고, 상기 평점이 제2 임계값보다 큰지 여부를 판단하며; 여기에서, 상기 사용자가 표준 답안에 기반하여 상기 답안 텍스트에 대해 평점을 진행하는 단계;
상기 평점이 제2 임계값보다 높은 경우, 상기 답안 텍스트와 상기 목표 답안 중 모든 후보 성어의 해석 텍스트를 트레이닝 세트(training set)로 구성하고, 상기 트레이닝 세트를 상기 성어 선택 괄호넣기모델 중에 입력해 재트레이닝(retraining)을 진행하는 단계;
재트레이닝을 진행한 후의 상기 성어 선택 괄호넣기모델을 블록체인 중에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 성어 괄호넣기문제의 답안 선택 방법.
제1항에 있어서,
여기에서, 상기 성어 괄호넣기문제는 학생을 테스트하는 데 사용하며;
신뢰도 총합이 최고인 1개 그룹의 답안을 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는 단계 후에,
학생이 위치한 단말로부터 업로드한 테스트 텍스트를 획득하며; 여기에서, 테스트 텍스트는 상기 학생이 상기 성어 괄호넣기문제의 괄호넣기 텍스트 중에 기입한 학생 답안의 텍스트이며; 상기 학생이 위치한 단말로부터 상기 테스트 텍스트를 업로드하는 경우, 상기 학생이 상기 성어괄호넣기문제에 기입한 학생 답안을 차례대로 이어 맞추어 제1 성어 조합을 얻고, 블록체인에 기반해 상기 제1 성어 조합에 대한 해시(hash) 계산을 진행하여 대응되는 해시 값을 얻고, 상기 해시 값을 식별 코드로 삼아 상기 테스트 텍스트 중에 추가하는 단계;
상기 테스트 텍스트 중의 모든 학생 답안을 추출하고, 차례대로 이어 맞추어 제2 성어 조합을 얻는 단계;
블록체인에 기반해 상기 제2 성어 조합에 대한 해시 계산을 진행하여 대응되는 검증 해시 값을 얻는 단계;
상기 테스트 텍스트 중의 식별 코드를 식별해 내고, 상기 검증 해시 값이 상기 식별 코드와 일치하는지 여부를 검증하는 단계;
일치할 경우, 상기 학생 답안을 상기 목표 답안과 일일이 대조하여 상기 학생 답안의 정확율을 획득하는 단계;를 더 포함하는 것을 특징으로 하는 성어 괄호넣기문제의 답안 선택 방법.
성어 괄호넣기문제의 답안 선택 장치에 있어서,
성어 괄호넣기문제의 문제 텍스트를 획득하는 데 사용하며; 여기에서, 상기 문제 텍스트는 괄호넣기 텍스트와 n개의 후보 성어를 포함하고, 상기 괄호넣기 텍스트 중에는 상기 후보 성어를 기입할 m개의 괄호를 포함하는 제1 획득유닛;
모든 상기 후보 성어의 해석 텍스트를 획득하는 데 사용하는 제2획득유닛;
상기 괄호넣기 텍스트와 상기 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기 모델 중에 입력하고, 각각의 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 얻는 데 사용하는 제1 출력유닛;
n개의 상기 후보 성어 중에서 m개의 성어를 선택해 무작위 배열하여 m개의 상기 괄호 중에 기입하고, 다수 개 그룹의 답안을 구성하는 데 사용하며; 여기에서, 각 그룹의 답안 중 상기 후보 성어는 최대 한번만 선택되어 상기 괄호에 기입할 수 있는 선택유닛;
각각의 상기 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도에 근거하고, KM 알고리즘에 기반하여, 각 그룹의 답안 중 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하는 데 사용하는 계산유닛;
신뢰도 총합이 최고인 1개 그룹의 답안을 획득해 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는데 사용하는 제2 출력유닛;을 포함하는 것을 특징으로 하는 성어 괄호넣기문제의 답안 선택 장치.
제7항에 있어서,
트레이닝 샘플을 획득하는 데 사용하며, 여기에서, 상기 트레이닝 샘플은 이미 답안이 선택된 다수 개의 성어 괄호넣기문제의 언어 자료 텍스트와 성어베이스 중의 모든 성어의 해석 텍스트를 포함하는 제3 획득유닛;
상기 트레이닝 샘플을 bert 언어 모델에 기반하는 자연어 신경 네트워크 중에 입력해 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻는 데 사용하며; 여기에서, 상기 자연어 신경 네트워크는 네트워크 출력층과 콘볼루션층을 포함하고, 상기 콘볼루션층은 다수 개의 콘볼루션 네트워크가 차례대로 쌓여 형성되고, 그 다음의 상기 콘볼루션 네트워크의 입력층은 그 전의 모든 콘볼루션 네트워크의 출력층과 연결하고, 각각의 상기 콘볼루션 네트워크의 출력층은 모두 상기 bert 언어 모델의 출력층과 연결하고, 마지막 층의 상기 콘볼루션 네트워크의 출력층은 상기 네트워크 출력층과 연결하는 트레이닝 유닛;을 더 포함하는 것을 특징으로 하는 성어 괄호넣기문제의 답안 선택 장치.
컴퓨터장비에 있어서,
기억장치와 프로세서를 포함하고, 상기 기억장치에는 컴퓨터 프로그램이 저장되고, 상기 프로세서는 상기 컴퓨터 프로그램을 실행할 때 성어 괄호넣기문제의 답안선택방법을 구현하며, 여기에서, 이하의 단계,
성어 괄호넣기문제의 문제 텍스트를 획득하며; 여기에서, 상기 문제 텍스트는 괄호넣기 텍스트와 n개의 후보 성어를 포함하고, 상기 괄호넣기 텍스트 중에는 상기 후보 성어를 기입할 m개의 괄호를 포함하는 단계;
모든 상기 후보 성어의 해석 텍스트를 획득하는 단계;
상기 괄호넣기 텍스트와 상기 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기 모델 중에 입력하고, 각각의 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 얻는 단계;
n개의 상기 후보 성어 중에서 m개의 성어를 선택해 무작위로 배열하여 m개의 상기 괄호 중에 기입하고, 다수 개 그룹의 답안을 구성하며; 여기에서, 각 그룹의 답안 중 상기 후보 성어는 최대 한번만 선택되어 상기 괄호에 기입할 수 단계;
각각의 상기 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도에 근거하고, KM 알고리즘에 기반하여, 각 그룹의 답안 중 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하는 단계;
신뢰도 총합이 최고인 1개 그룹의 답안을 획득해 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터장비.
제9항에 있어서,
상기 괄호넣기 텍스트와 상기 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기모델 중에 입력해, 각각의 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 얻는 단계 전에,
트레이닝 샘플을 획득하며, 여기에서, 상기 트레이닝 샘플은 이미 답안이 선택된 다수 개의 성어 괄호넣기문제의 언어 자료 텍스트와 성어베이스 중의 모든 성어의 해석 텍스트를 포함하는 단계；
상기 트레이닝 샘플을 bert 언어 모델에 기반하는 자연어 신경 네트워크 중에 입력해 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻으며; 여기에서, 상기 자연어 신경 네트워크는 네트워크 출력층과 콘볼루션층을 포함하고, 상기 콘볼루션층은 다수 개의 콘볼루션 네트워크가 차례대로 쌓여 형성되고, 그 다음의 상기 콘볼루션 네트워크의 입력층은 그 전의 모든 콘볼루션 네트워크의 출력층과 연결하고, 각각의 상기 콘볼루션 네트워크의 출력층은 모두 상기 bert 언어 모델의 출력층과 연결하고, 마지막 층의 상기 콘볼루션 네트워크의 출력층은 상기 네트워크 출력층과 연결하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터장비.
제10항에 있어서,
상기 트레이닝 샘플을 bert 언어 모델에 기반하는 자연어 신경 네트워크 중에 입력해 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻는 단계는,
상기 트레이닝 샘플을 상기 bert 언어 모델 중에 입력하고, 상기 bert 언어 모델에 기반하여 상기 트레이닝 샘플의 특징 매트릭스를 추출하는 단계;
상기 특징 매트릭스를 상기 자연어 신경 네트워크 중에 입력해 반복 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻는 단계;를 포함하는 것을 특징으로 하는 컴퓨터장비.
제9항에 있어서,
각각의 상기 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도에 근거하고, KM 알고리즘에 기반하여, 각 그룹의 답안 중의 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하는 단계 전에,
각 그룹의 답안 중에 상기 괄호에 기입되는 신뢰도가 제1 임계값보다 작은 상기 후보 성어가 적어도 1개가 존재하는지 여부를 각각 판단하는 단계;
존재하는 경우에 대응되는 답안을 삭제하고, 삭제된 상기 답안 중의 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하지 않는 단계;를 포함하는 것을 특징으로 하는 컴퓨터장비.
제9항에 있어서,
신뢰도 총합이 최고인 1개 그룹의 답안을 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는 단계 후에,
상기 목표 답안을 상기 괄호넣기 텍스트 중에 기입해 답안 텍스트를 얻는 단계;
상기 답안 텍스트에 대한 사용자의 평점을 획득하고, 상기 평점이 제2 임계값보다 큰지 여부를 판단하며; 여기에서, 상기 사용자가 표준 답안에 기반하여 상기 답안 텍스트에 대해 평점을 진행하는 단계;
상기 평점이 제2 임계값보다 높은 경우, 상기 답안 텍스트와 상기 목표 답안 중 모든 후보 성어의 해석 텍스트를 트레이닝 세트로 구성하고, 상기 트레이닝 세트를 상기 성어 선택 괄호넣기모델 중에 입력해 재트레이닝을 진행하는 단계;
재트레이닝을 진행한 후의 상기 성어 선택 괄호넣기모델을 블록체인 중에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 컴퓨터장비.
제9항에 있어서,
여기에서, 상기 성어 괄호넣기문제는 학생을 테스트하는 데 사용하며;
신뢰도 총합이 최고인 1개 그룹의 답안을 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는 단계 후에,
학생이 위치한 단말로부터 업로드한 테스트 텍스트를 획득하며; 여기에서, 테스트 텍스트는 상기 학생이 상기 성어 괄호넣기문제의 괄호넣기 텍스트 중에 기입한 학생 답안의 텍스트이며; 상기 학생이 위치한 단말로부터 상기 테스트 텍스트를 업로드하는 경우, 상기 학생이 상기 성어괄호넣기문제에 기입한 학생 답안을 차례대로 이어 맞추어 제1 성어 조합을 얻고, 블록체인에 기반해 상기 제1 성어 조합에 대한 해시(hash) 계산을 진행하여 대응되는 해시 값을 얻고, 상기 해시 값을 식별 코드로 삼아 상기 테스트 텍스트 중에 추가하는 단계;
상기 테스트 텍스트 중의 모든 학생 답안을 추출하고, 차례대로 이어 맞추어 제2 성어 조합을 얻는 단계;
블록체인에 기반해 상기 제2 성어 조합에 대한 해시 계산을 진행하여 대응되는 검증 해시 값을 얻는 단계;
상기 테스트 텍스트 중의 식별 코드를 식별해 내고, 상기 검증 해시 값이 상기 식별 코드와 일치하는지 여부를 검증하는 단계;
일치할 경우, 상기 학생 답안을 상기 목표 답안과 일일이 대조하여 상기 학생 답안의 정확율을 획득하는 단계;를 더 포함하는 것을 특징으로 하는 컴퓨터장비.
컴퓨터 판독 가능한 저장 매체에 있어서,
컴퓨터 프로그램이 저장되며, 여기에서, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때 성어 괄호넣기문제의 답안선택방법을 구현하며, 여기에서, 이하의 단계,
성어 괄호넣기문제의 문제 텍스트를 획득하며; 여기에서, 상기 문제 텍스트는 괄호넣기 텍스트와 n개의 후보 성어를 포함하고, 상기 괄호넣기 텍스트 중에는 상기 후보 성어를 기입할 m개의 괄호를 포함하는 단계;
모든 상기 후보 성어의 해석 텍스트를 획득하는 단계;
상기 괄호넣기 텍스트와 상기 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기 모델 중에 입력하고, 각각의 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 얻는 단계;
n개의 상기 후보 성어 중에서 m개의 성어를 선택해 무작위로 배열하여 m개의 상기 괄호 중에 기입하고, 다수 개 그룹의 답안을 구성하며; 여기에서, 각 그룹의 답안 중 상기 후보 성어는 최대 한번만 선택되어 상기 괄호에 기입할 수 있는 단계;
각각의 상기 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도에 근거하고, KM 알고리즘에 기반하여, 각 그룹의 답안 중 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하는 단계;
신뢰도 총합이 최고인 1개 그룹의 답안을 획득해 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
제15항에 있어서,
상기 괄호넣기 텍스트와 상기 해석 텍스트를 미리 트레이닝해 얻은 성어 선택 괄호넣기모델 중에 입력해, 각각의 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도를 얻는 단계 전에,
트레이닝 샘플을 획득하며, 여기에서, 상기 트레이닝 샘플은 이미 답안이 선택된 다수 개의 성어 괄호넣기문제의 언어 자료 텍스트와 성어베이스 중의 모든 성어의 해석 텍스트를 포함하는 단계；
상기 트레이닝 샘플을 bert 언어 모델에 기반하는 자연어 신경 네트워크 중에 입력해 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻으며; 여기에서, 상기 자연어 신경 네트워크는 네트워크 출력층과 콘볼루션층을 포함하고, 상기 콘볼루션층은 다수 개의 콘볼루션 네트워크가 차례대로 쌓여 형성되고, 그 다음의 상기 콘볼루션 네트워크의 입력층은 그 전의 모든 콘볼루션 네트워크의 출력층과 연결하고, 각각의 상기 콘볼루션 네트워크의 출력층은 모두 상기 bert 언어 모델의 출력층과 연결하고, 마지막 층의 상기 콘볼루션 네트워크의 출력층은 상기 네트워크 출력층과 연결하는 단계;를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
제16항에 있어서,
상기 트레이닝 샘플을 bert 언어 모델에 기반하는 자연어 신경 네트워크 중에 입력해 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻는 단계는,
상기 트레이닝 샘플을 상기 bert 언어 모델 중에 입력하고, 상기 bert 언어 모델에 기반하여 상기 트레이닝 샘플의 특징 매트릭스를 추출하는 단계;
상기 특징 매트릭스를 상기 자연어 신경 네트워크 중에 입력해 반복 트레이닝을 진행하고, 상기 성어 선택 괄호넣기모델을 얻는 단계;를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
제15항에 있어서,
각각의 상기 후보 성어가 각각의 상기 괄호에 기입되는 신뢰도에 근거하고, KM 알고리즘에 기반하여, 각 그룹의 답안 중의 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하는 단계 전에,
각 그룹의 답안 중에 상기 괄호에 기입되는 신뢰도가 제1 임계값보다 작은 상기 후보 성어가 적어도 1개가 존재하는지 여부를 각각 판단하는 단계;
존재하는 경우에 대응되는 답안을 삭제하고, 삭제된 상기 답안 중의 상기 후보 성어가 상기 괄호에 기입되는 신뢰도의 총합을 계산하지 않는 단계;를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
제15항에 있어서,
신뢰도 총합이 최고인 1개 그룹의 답안을 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는 단계 후에,
상기 목표 답안을 상기 괄호넣기 텍스트 중에 기입해 답안 텍스트를 얻는 단계;
상기 답안 텍스트에 대한 사용자의 평점을 획득하고, 상기 평점이 제2 임계값보다 큰지 여부를 판단하며; 여기에서, 상기 사용자가 표준 답안에 기반하여 상기 답안 텍스트에 대해 평점을 진행하는 단계;
상기 평점이 제2 임계값보다 높은 경우, 상기 답안 텍스트와 상기 목표 답안 중 모든 후보 성어의 해석 텍스트를 트레이닝 세트로 구성하고, 상기 트레이닝 세트를 상기 성어 선택 괄호넣기모델 중에 입력해 재트레이닝을 진행하는 단계;
재트레이닝을 진행한 후의 상기 성어 선택 괄호넣기모델을 블록체인 중에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
제15항에 있어서,
여기에서, 상기 성어 괄호넣기문제는 학생을 테스트하는 데 사용하며;
신뢰도 총합이 최고인 1개 그룹의 답안을 목표 답안으로 삼고, 상기 목표 답안을 상기 성어 괄호넣기문제의 답안으로 출력하는 단계 후에,
학생이 위치한 단말로부터 업로드한 테스트 텍스트를 획득하며; 여기에서, 테스트 텍스트는 상기 학생이 상기 성어 괄호넣기문제의 괄호넣기 텍스트 중에 기입한 학생 답안의 텍스트이며; 상기 학생이 위치한 단말로부터 상기 테스트 텍스트를 업로드하는 경우, 상기 학생이 상기 성어괄호넣기문제에 기입한 학생 답안을 차례대로 이어 맞추어 제1 성어 조합을 얻고, 블록체인에 기반해 상기 제1 성어 조합에 대한 해시 계산을 진행하여 대응되는 해시 값을 얻고, 상기 해시 값을 식별 코드로 삼아 상기 테스트 텍스트 중에 추가하는 단계;
상기 테스트 텍스트 중의 모든 학생 답안을 추출하고, 차례대로 이어 맞추어 제2 성어 조합을 얻는 단계;
블록체인에 기반해 상기 제2 성어 조합에 대한 해시 계산을 진행하여 대응되는 검증 해시 값을 얻는 단계;
상기 테스트 텍스트 중의 식별 코드를 식별해 내고, 상기 검증 해시 값이 상기 식별 코드와 일치하는지 여부를 검증하는 단계;
일치할 경우, 상기 학생 답안을 상기 목표 답안과 일일이 대조하여 상기 학생 답안의 정확율을 획득하는 단계;를 더 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.