KR20210067201A - 발달 장애인 음성 인식 점수 산출 장치 및 그 방법 - Google Patents

발달 장애인 음성 인식 점수 산출 장치 및 그 방법 Download PDF

Info

Publication number
KR20210067201A
KR20210067201A KR1020190156569A KR20190156569A KR20210067201A KR 20210067201 A KR20210067201 A KR 20210067201A KR 1020190156569 A KR1020190156569 A KR 1020190156569A KR 20190156569 A KR20190156569 A KR 20190156569A KR 20210067201 A KR20210067201 A KR 20210067201A
Authority
KR
South Korea
Prior art keywords
text
score
correct
corrected
speech recognition
Prior art date
Application number
KR1020190156569A
Other languages
English (en)
Other versions
KR102358087B1 (ko
Inventor
박찬일
박연지
오수영
최규정
고은수
정유진
최진솔
손채봉
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020190156569A priority Critical patent/KR102358087B1/ko
Publication of KR20210067201A publication Critical patent/KR20210067201A/ko
Application granted granted Critical
Publication of KR102358087B1 publication Critical patent/KR102358087B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Abstract

본 발명은 AI방식을 이용한 발달 장애인 음성 인식 점수 산출 장치 및 그 방법에 대한 것이다.
본 발명에 따르면, 발달 장애인의 육성에 의해 생성된 음성 데이터를 수신받는 수신부, 상기 수신된 음성 데이터를 블록 단위로 샘플링 한 다음, 언어 인식 모델에 입력하여 음성 데이터를 텍스트로 변환하고, 변환된 텍스트를 이용하여 컨피던스 점수를 획득하는 텍스트 변환부, 상기 변환된 텍스트와 정답 텍스트를 기 구축된 딥러닝 모듈에 입력하여 보정 텍스트를 획득하는 보정 텍스트 추출부, 그리고 상기 획득한 보정 텍스트와 정답 텍스트를 비교하여 유사 여부를 판단하고, 판단된 결과에 따른 평가 점수를 산출하는 제어부를 포함한다.
이와 같이 본 발명에 따르면, 사용자의 음성을 텍스트로 변환, 및 사용자의 의도에 부합하도록 수정하는 과정을 통해 사용자의 화용 능력 향상 효과를 도모할 수 있고, 정답 문장과 보정된 문장 사이의 점수를 매김으로써 사용자의 언어 능력을 실시간으로 확인하여 언어 구사 및 활용 능력에 도움을 줄 수 있다.

Description

발달 장애인 음성 인식 점수 산출 장치 및 그 방법{Calculation apparatus of speech recognition score for the developmental disability and method thereof}
본 발명은 AI 방식을 이용한 발달 장애인 음성 인식 점수 산출 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 발달 장애인의 음성을 딥러닝을 이용해서 인식한 후 말하고자 하는 문장과 유사한 정도 및 정확도를 점수로 산출하는 발달 장애인 음성 인식 점수 산출 장치 및 그 방법에 관한 것이다.
발달 장애인들은 뇌성마비, 구순구개열, 정신지체와 같은 특정 문제가 있어 부정확하거나 알아듣기 어려운 말소리를 내는데 이를 조음장애라고 한다. 보통 말소리는 입술, 치아, 혀, 입천장 등과 같은 부분을 통해 만들어진다. 하지만 이 과정에서 발생된 조음장애로 인해 다른 사람들은 발달 장애인들의 말을 알아듣기 어려운 상황이 빈번하게 발생된다.
따라서, 본 발명은 발달 장애인들의 음성을 올바르게 인식해서 말하고자 하는 바를 얼마나 정확하게 표현했는지에 대한 결과를 점수로 측정한 후 시각화하는 방법을 제공한다.
대한민국 특허청 공개특허공보 제10-2000-0030906호(2000.06.05.공개)
본 발명이 이루고자 하는 기술적 과제는, 딥러닝을 이용해서 발달 장애인의 음성을 인식한 후 말하고자 하는 문장과 유사한 정도 및 정확도를 점수로 산출하는 발달 장애인 음성 인식 점수 산출 장치 및 그 방법을 제공하는데 목적이 있다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, AI방식을 이용한 발달 장애인 음성 인식 점수 산출 장치에 있어서, 발달 장애인의 육성에 의해 생성된 음성 데이터를 수신하는 수신부, 상기 수신된 음성 데이터를 블록 단위로 샘플링 한 다음, 언어 인식 모델에 입력하여 음성 데이터를 텍스트로 변환하고, 변환된 텍스트를 이용하여 컨피던스 점수를 획득하는 텍스트 변환부, 상기 변환된 텍스트와 정답 텍스트를 기 구축된 딥러닝 모듈에 입력하여 보정 텍스트를 획득하는 보정 텍스트 추출부, 그리고 상기 획득한 보정 텍스트와 정답 텍스트를 비교하여 유사 여부를 판단하고, 판단된 결과에 따른 평가 점수를 산출하는 제어부를 포함한다.
상기 수신부는, 상기 발달 장애인이 정답 텍스트를 읽음으로써 발생된 음성 데이터를 수신하고, 수신된 음성 데이터에 포함되어 있는 잡음을 처리하여 음성 특징을 추출할 수 있다.
상기 보정 텍스트 추출부는, 오디오 신호와 언어의 음성 단위 간의 관계를 학습한 음향모델과, 문법체계를 통계적으로 학습한 언어 모델을 기 구축하고, 상기 구축된 음향 모델 및 언어 모델에 수신된 음성 데이터를 입력하여 보정된 텍스트를 획득할 수 있다.
상기 제어부는, 차이 발견 알고리즘을 이용하여 보정된 텍스트와 정답 텍스트 사이의 동일한 부분과 다른 부분을 추출하고, 추출된 동일한 부분만을 선별하여 1행 n열의 행렬을 생성할 수 있다.
상기 제어부는, 상기 생성된 행렬을 하기의 수학식에 적용하여 보정된 텍스트와 정답 텍스트 사이의 유사도 점수를 산출할 수 있다.
Figure pat00001
여기서, A는 정답 텍스트이고, R은 보정된 텍스트이고, D는 행렬이고, AL은 정답 텍스트의 길이이고, RL은 보정된 텍스트의 길이이고, DL은 행렬에 포함된 열의 크기를 나타낸다.
상기 제어부는, 상기 산출된 유사도 점수와 컨피던스 점수를 하기의 수학식에 적용하여 평가 점수를 산출할 수 있다.
Figure pat00002
여기서, sim(A, R)은 유사도 점수이고, conf는 컨피던스 점수이며, A’,R’은 정답 텍스트와 보정된 텍스트에서 명사와 동사같이 유의미한 단어들만 추출하여 재구성한 문장을 나타낸다.
본 발명의 다른 실시예에 따르면, 발달 장애인 음성 인식 점수 산출 장치를 이용한 발달 장애인 음성 인식 점수 산출 방법에 있어서, 발달 장애인의 육성에 의해 생성된 음성 데이터를 수신받는 단계, 상기 수신된 음성 데이터를 블록 단위로 샘플링 한 다음, 언어 인식 모델에 입력하여 음성 데이터를 텍스트로 변환하고, 변환된 텍스트를 이용하여 컨피던스 점수를 획득하는 단계, 상기 변환된 텍스트와 정답 텍스트를 기 구축된 딥러닝 모듈에 입력하여 보정 텍스트를 획득하는 단계, 그리고 상기 획득한 보정 텍스트와 정답 텍스트를 비교하여 유사 여부를 판단하고, 판단된 결과에 따른 평가 점수를 산출하는 단계를 포함한다.
이와 같이 본 발명에 따르면, 사용자의 음성을 텍스트로 변환, 및 사용자의 의도에 부합하도록 수정하는 과정을 통해 사용자의 화용 능력 향상 효과를 도모할 수 있고, 정답 문장과 보정된 문장 사이의 점수를 매김으로써 사용자의 언어 능력을 실시간으로 확인하여 언어 구사 및 활용 능력에 도움을 줄 수 있다.
도 1은 본 발명의 실시예에 따른 발달 장애인 음성 인식 점수 산출 장치를 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 발달 장애인 음성 인식 점수 산출 장치를 이용한 평가점수를 산출하는 방법을 설명하기 위한 순서도이다.
도 3은 도 2에 도시된 S220단계에서 STT에서 출력된 결과물을 나타내는 예시도이다.
도 4는 도 2에 도시된 S260단계에서 평가 점수를 산출하는 예를 설명하기 위한 도면이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에서는 도 1을 이용하여 발달 장애인 음성 인식 점수 산출 장치에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 발달 장애인 음성 인식 점수 산출 장치를 설명하기 위한 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예 따르면 발달 장애인 음성 인식 점수 산출 장치(100)는 수신부(110), 텍스트 변환부(120), 보정 텍스트 추출부(130), 제어부(140) 및 음성 데이터베이스(150)을 포함한다.
먼저, 수신부(110)는 음성데이터를 수신한다. 부연하자면, 발달 장애인은 마이크에 대고 제공받은 정답 텍스트를 읽는다. 그 결과, 수신부(110)는 마이크를 통해 송출된 음성데이터를 수신한다. 이때, 수신된 음성데이터에는 잡음이 포함되어 있으므로, 수신부(110)는 수신된 음성 데이터에 포함된 잡음을 제거한 다음, 음성 특징을 추출한다.
텍스트 변환부(120)는 수신된 음성 데이터를 텍스트로 변환시킨다. 이를 다시 설명하면, 텍스트 변환부는 STT(Speech To Text)에서 지원하는 협대역 언어 모델(ko-KR_Narrow band Model)에 음성 데이터를 입력한다. 그러면, 협대역 언어 모델은 입력받은 음성 데이터를 json형태의 결과물로 출력한다. 이때, 출력된 결과물에는 변환된 텍스트와 컨피던스 점수를 포함한다.
보정 텍스트 추출부(130)는 변환된 텍스트를 기 구축된 딥러닝 모델에 입력하여 보정된 텍스트를 획득한다. 부연하자면, STT(Speech To Text)는 비장애인의 언어 또한 정확하게 텍스트로 변환하지 못하는 한계가 발생할 수 있다. 따라서, 보정 텍스트 추출부(130)는 STT(Speech To Text)를 통해 변환된 텍스트를 음향 모델 및 언어모델을 이용하여 보정 텍스트를 추출한다.
그리고, 제어부(140)는 추출된 보정 텍스트와 정답 텍스트를 비교하여 발달장애인의 언어 능력에 대한 평가점수를 산출한다.
이를 다시 설명하면, 제어부(140)는 보정 텍스트와 정답 텍스트를 이용하여 유사도 점수를 산출한다. 그 다음, 제어부(140)는 산출된 유사도 점수와 앞서 획득한 컨피던스 점수를 이용하여 평가점수를 산출한다.
마지막으로 음성 데이터베이스(150)는 기 구축된 음향 모델을 학습하기 위하여 오디오 녹음 및 음성의 텍스트에 대한 정보를 수집하고 저장한다.
이하에서는 도 2 내지 도 4를 통해 발달 장애인 음성 인식 점수 산출 장치를 이용하여 평가점수를 산출하는 방법에 대해 더욱 상세하게 설명한다.
도 2는 본 발명의 실시예에 따른 발달 장애인 음성 인식 점수 산출 장치를 이용한 평가점수를 산출하는 방법을 설명하기 위한 순서도이고, 도 3은 도 2에 도시된 S220단계에서 STT에서 출력된 결과물을 나타내는 예시도이고, 도 4는 도 2에 도시된 S260단계에서 평가 점수를 산출하는 예를 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 발달 장애인은 사용자 인터페이스를 통해 출력된 정답 텍스트를 읽는다. 그러면, 수신부(110)는 마이크를 통해 음성 데이터를 수신 한다(S210).
수신부(110)는 실시간으로 음성 데이터를 입력받으며, 그 때마다 오디오 데이터 컨테이너인 오디오 클립에서 받아진 음성 데이터를 블록 단위로 샘플링을 한다.
그 다음, 텍스트 변환부(120)는 수신된 음성데이터를 IBM Watson의 STT(Speech To Text)에서 지원하는 협대역 언어 모델(ko-KR_Narrow band Model)에 입력하여 텍스트로 변환시킨다(S220).
부연하면, 텍스트 변환부(120)는 샘플링된 음성데이터를 IBM Watson 서버로 전송한다. 이때, 텍스트 변환부(120)는 변환율을 높이기 위하여 샘플링 속도를 8kHz로 설정하고, 빠른 반응 속도를 위해서 오디오 클립의 길이를 1초로 설정한다. 그 다음, 텍스트 변환부(120)는 샘플링 속도 8kHz 및 샘플 당 16비트를 사용하여 초당 128kbps의 데이터 비트 수만큼 데이터를 웹 소켓을 통해 IBM Watson 서버로 전송한다. 텍스트 변환부(120)는 일정 기간 동안 사용자의 음성 입력이 없을 때까지 지속적으로 샘플링된 음성 데이터를 전송한다. 그러면, IBM Watson 서버는 수신된 음성 데이터에 대하여 json 형태의 결과를 출력한다.
도 3에 도시된 바와 같이, json 형태의 결과물은 변환된 텍스트와 컨피던스 점수를 포함한다.
S220단계가 완료되면, 보정 텍스트 추출부(130)는 기 구축된 음향 모델 및 언어모델을 이용하여 보정 텍스트를 추출한다(S230).
부연하자면, 보정 텍스트 추출부(130)는 음성의 통계적인 특성을 나타내기 위하여 음향모델(Acoustic Model)과 언어 모델(Language Model) 및 어휘/발음사전을 구축하여 학습시킨다.
먼저, 음향모델은 음성 신호와 음소 또는 음성을 구성하는 다른 언어 단위간의 관계를 나타낸다. 그러므로 음향 모델은 음성 데이터베이스(150)에 저장된 오디오 녹음 및 음성 텍스트를 이용하여 학습한다. 그러면, 음향모델은 오디오 신호와 언어의 음성 단위 간의 관계를 모델링한다.
그 다음, 언어 모델은 어휘 선택, 문장 단위 구문 구조 등 해당 언어의 사용성 문제에 대해 문법 체계를 통계적으로 학습한다.
또한, 발음 사전 구축을 위해서는 텍스트를 소리 나는 대로 변환하는 음소 변환(G2P; Grapheme-to-Phoneme)구현 과정이 필요하며, 표준 발음을 대상으로 하는 발음 변환 규칙만으로는 사용자의 발화 습관과 어투에 따른 다양한 패턴을 반영하기 어려운 경우가 있어 별도의 사전 구축이 필요하다. 따라서, 보정 텍스트 추출부(130)는 사용자의 발음을 이용하여 어휘/발음사전을 구축한다.
그러므로, 보정 텍스트 추출부(130)는 STT과정에서 변환된 텍스트와 정답 텍스트를 음향 모델 및 언어모델에 입력하여 보정된 텍스트를 추출한다.
S230단계가 완료되면, 제어부(140)는 보정된 텍스트와 정답 텍스트를 비교하여 유사도 점수를 산출한다(S240).
부연하면, 제어부(140)는 diff 알고리즘을 이용하여 보정된 텍스트와 정답 텍스트 사이의 동일 부분과 다른 부분을 각각 추출한다.
이 후, 제어부(140)는 동일 부분만을 선별하여 행렬(D)을 생성한다. 여기서 행렬은 1행 n열을 가지며, n은 보정된 텍스트와 정답 텍스트 사이의 공통인 부분에 대한 총 개수를 나타낸다. 한편 각 행렬에는 공통인 텍스트의 길이를 포함한다.
그 다음 제어부(140)는 생성된 행렬(D)을 하기의 수학식 1에 적용하여 유사도 점수(Sim(A, R))를 산출한다.
Figure pat00003
여기서, A는 정답 텍스트이고, R은 보정된 텍스트이고, D는 행렬이고, AL은 정답 텍스트의 길이이고, RL은 보정된 텍스트의 길이이고, DL은 행렬에 포함된 열의 크기를 나타낸다.
그 다음 제어부(140)는 보정된 텍스트와 정답 텍스트의 형태소를 분석하여 동사, 명사와 같이 유의미한 단어들을 추가적으로 추출하고, 추출된 단어들을 이용하여 유사도 점수를 재 산출한다(S250).
그리고, 제어부(140)는 추출된 유의미한 단어들을 이용하여 유사도 점수를 재 추출한다. S240단계에서 산출된 유사도 점수와 S250 단계에서 산출된 유사도 점수의 평균 점수를 이용하여 최종적인 유사도 점수를 산출한다.
S250 단계가 완료되면, 제어부(140)는 산출된 유사도 점수와 S220단계에서 획득한 컨피던스 점수를 이용하여 평가 점수를 산출한다(S260).
평가 점수는 하기의 수학식 2를 통해 산출된다.
Figure pat00004
여기서, sim(A, R)은 유사도 점수이고, conf는 컨피던스 점수이며, A’,R’은 정답 텍스트와 보정된 텍스트에서 명사와 동사같이 유의미한 단어들만 추출하여 재구성한 문장을 나타낸다.
도 4에 도시된 바와 같이, 예를 들어 설명하면, 정답 텍스트가 “카드와 영수증입니다”라고 가정한다. 사용자로부터 음성데이터를 획득한 수신부(110)는 음성데이터를 텍스트 변환부(120)에 전달한다. 그 결과 텍스트 변환부(120)는 STT를 통해 “눠아둘 영수증 닭” 및 컨피던스 점수 “0.4”를 획득한다.
그 다음, 보정 텍스트 추출부(130)는 변환된 텍스트 즉, “눠아둘 영수증 닭”을 기 구축된 음향모델 및 언어모델에 입력하여 “카드랑 영수증입니다”라는 보정된 텍스트를 추출한다.
그리고, 제어부(140)는 “카드랑 영수증입니다”라는 보정된 텍스트와 “카드와 영수증입니다”라는 정답 텍스트를 비교하여 “0.9”에 대한 유사도 점수를 획득한다. 또한, 제어부(140)는 유의미한 단어를 이용하여 유사도 점수를 재산출한다. 여기서 유의미한 단어는 “카드 영수증 이”가 해당된다.
그리고, 재 산출된 유사도 점수는 1.0이 된다. 따라서, 첫 번째 유사도 점수인 0.9와 두 번째 유사도 점수인 1.0을 이용하여 평균값을 산출한다.
마지막으로, 제어부(140)는 앞서 산출된 컨피던스 점수인 0.4와 유사도 평균점수인 0.95를 상기의 수학식 2에 적용하여 0.675에 대한 점수를 획득한다.
본 발명의 실시예에 있어서, 문장 전체의 유사도 점수만을 사용 하지 않고 재구성한 문장의 유사도를 같이 사용한 이유는 의도를 올바르게 표현했는지에 대해 판단하기 위해서이며, 컨피던스 점수를 추가한 이유는 올바르게 발음을 했는지 판단하기 위해서이다.
이와 같이 본 발명에 따르면, 사용자의 음성을 텍스트로 변환, 및 사용자의 의도에 부합하도록 수정하는 과정을 통해 사용자의 화용 능력 향상 효과를 도모할 수 있고, 정답 문장과 보정된 문장 사이의 점수를 매김으로써 사용자의 언어 능력을 실시간으로 확인하여 언어 구사 및 활용 능력에 도움을 줄 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 발달 장애인 음성 인식 점수 산출 장치
110 : 수신부
120 :　텍스트 변환부
130　： 보정 텍스트 추출부
140　：제어부
150　：음성 데이터베이스

Claims (12)

  1. AI방식을 이용한 발달 장애인 음성 인식 점수 산출 장치에 있어서,
    발달 장애인의 육성에 의해 생성된 음성 데이터를 수신받는 수신부,
    상기 수신된 음성 데이터를 블록 단위로 샘플링 한 다음, 언어 인식 모델에 입력하여 음성 데이터를 텍스트로 변환하고, 변환된 텍스트를 이용하여 컨피던스 점수를 획득하는 텍스트 변환부,
    상기 변환된 텍스트와 정답 텍스트를 기 구축된 딥러닝 모듈에 입력하여 보정 텍스트를 획득하는 보정 텍스트 추출부, 그리고
    상기 획득한 보정 텍스트와 정답 텍스트를 비교하여 유사 여부를 판단하고, 판단된 결과에 따른 평가 점수를 산출하는 제어부를 포함하는 발달 장애인 음성 인식 점수 산출 장치.
  2. 제1항에 있어서,
    상기 수신부는,
    상기 발달 장애인이 정답 텍스트를 읽음으로서 발생된 음성 데이터를 수신하고, 수신된 음성 데이터에 포함되어 있는 잡음을 처리하여 음성 특징을 추출하는 발달 장애인 음성 인식 점수 산출 장치.
  3. 제2항에 있어서,
    상기 보정 텍스트 추출부는,
    오디오 신호와 언어의 음성 단위 간의 관계를 학습한 음향모델과, 문법체계를 통계적으로 학습한 언어 모델을 기 구축하고,
    상기 구축된 음향 모델 및 언어 모델에 수신된 음성 데이터를 입력하여 봉정 텍스트를 획득하는 발달 장애인 음성 인식 점수 산출 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    차이 발견 알고리즘을 이용하여 보정된 텍스트와 정답 텍스트 사이의 동일한 부분과 다른 부분을 추출하고, 추출된 동일한 부분만을 선별하여 1행 n열의 행렬을 생성하는 발달 장애인 음성 인식 점수 산출 장치.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 생성된 행렬을 하기의 수학식에 적용하여 보정된 텍스트와 정답 텍스트 사이의 유사도 점수를 산출하는 발달 장애인 음성 인식 점수 산출 장치:
    Figure pat00005

    여기서, A는 정답 텍스트이고, R은 보정된 텍스트이고, D는 행렬이고, AL은 정답 텍스트의 길이이고, RL은 보정된 텍스트의 길이이고, DL은 행렬에 포함된 열의 크기를 나타낸다.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 산출된 유사도 점수와 컨피던스 점수를 하기의 수학식에 적용하여 평가 점수를 산출하는 발달 장애인 음성 인식 점수 산출 장치:
    Figure pat00006

    여기서, sim(A, R)은 유사도 점수이고, conf는 컨피던스 점수이며, A’,R’은 정답 텍스트와 보정된 텍스트에서 명사와 동사같이 유의미한 단어들만 추출하여 재구성한 문장을 나타낸다.
  7. 발달 장애인 음성 인식 점수 산출 장치를 이용한 발달 장애인 음성 인식 점수 산출 방법에 있어서,
    발달 장애인의 육성에 의해 생성된 음성 데이터를 수신받는 단계,
    상기 수신된 음성 데이터를 블록 단위로 샘플링 한 다음, 언어 인식 모델에 입력하여 음성 데이터를 텍스트로 변환하고, 변환된 텍스트를 이용하여 컨피던스 점수를 획득하는 단계,
    상기 변환된 텍스트와 정답 텍스트를 기 구축된 딥러닝 모듈에 입력하여 보정 텍스트를 획득하는 단계, 그리고
    상기 획득한 보정 텍스트와 정답 텍스트를 비교하여 유사 여부를 판단하고, 판단된 결과에 따른 평균 점수를 산출하는 단계를 포함하는 발달 장애인 음성 인식 점수 산출 방법.
  8. 제7항에 있어서,
    상기 음성 데이터를 수신받는 단계는,
    상기 발달 장애인이 정답 텍스트를 읽음으로서 발생된 음성 데이터를 수신하고, 수신된 음성 데이터에 포함되어 있는 잡음을 처리하여 음성 특징을 추출하는 발달 장애인 음성 인식 점수 산출 방법.
  9. 제8항에 있어서,
    상기 보정 텍스트를 획득하는 단계는,
    오디오 신호와 언어의 음성 단위 간의 관계를 학습한 음향모델과, 문법체계를 통계적으로 학습한 언어 모델을 기 구축하고,
    상기 구축된 음향 모델 및 언어 모델에 수신된 음성 데이터를 입력하여 봉정 텍스트를 획득하는 발달 장애인 음성 인식 점수 산출 방법.
  10. 제9항에 있어서,
    상기 평균 점수를 산출하는 단계는,
    차이 발견 알고리즘을 이용하여 보정된 텍스트와 정답 텍스트 사이의 동일한 부분과 다른 부분을 추출하고, 추출된 동일한 부분만을 선별하여 1행 n열의 행렬을 생성하는 발달 장애인 음성 인식 점수 산출 방법.
  11. 제10항에 있어서,
    상기 평균 점수를 산출하는 단계는,
    상기 생성된 행렬을 하기의 수학식에 적용하여 보정된 텍스트와 정답 텍스트 사이의 유사도 점수를 산출하는 발달 장애인 음성 인식 점수 산출 방법:
    Figure pat00007

    여기서, A는 정답 텍스트이고, R은 보정된 텍스트이고, D는 행렬이고, AL은 정답 텍스트의 길이이고, RL은 보정된 텍스트의 길이이고, DL은 행렬에 포함된 열의 크기를 나타낸다.
  12. 제11항에 있어서,
    상기 평균 점수를 산출하는 단계는,
    상기 산출된 유사도 점수와 컨피던스 점수를 하기의 수학식에 적용하여 평가점수를 산출하는 발달 장애인 음성 인식 점수 산출 방법:
    Figure pat00008

    여기서, sim(A, R)은 유사도 점수이고, conf는 컨피던스 점수이며, A’,R’은 정답 텍스트와 보정된 텍스트에서 명사와 동사같이 유의미한 단어들만 추출하여 재구성한 문장을 나타낸다.
KR1020190156569A 2019-11-29 2019-11-29 발달 장애인 음성 인식 점수 산출 장치 및 그 방법 KR102358087B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190156569A KR102358087B1 (ko) 2019-11-29 2019-11-29 발달 장애인 음성 인식 점수 산출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190156569A KR102358087B1 (ko) 2019-11-29 2019-11-29 발달 장애인 음성 인식 점수 산출 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210067201A true KR20210067201A (ko) 2021-06-08
KR102358087B1 KR102358087B1 (ko) 2022-02-03

Family

ID=76399727

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190156569A KR102358087B1 (ko) 2019-11-29 2019-11-29 발달 장애인 음성 인식 점수 산출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102358087B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000030906A (ko) 2000-03-29 2000-06-05 백종관 음성 인식과 음성 합성을 이용한 컴퓨터에서의 명령 실행방법 및 어플리케이션 프로그램에서의 선택된 텍스트를음성으로 변환하여 출력하기 위한 방법
KR20050101694A (ko) * 2004-04-19 2005-10-25 대한민국(전남대학교총장) 문법적 제약을 갖는 통계적인 음성 인식 시스템 및 그 방법
KR20080033070A (ko) * 2006-10-12 2008-04-16 큐엔엑스 소프트웨어 시스템즈 (웨이브마커스) 인코포레이티드 자동 음성 인식 시스템용 적응형 콘텍스트
JP2008262120A (ja) * 2007-04-13 2008-10-30 Nippon Hoso Kyokai <Nhk> 発話評価装置及び発話評価プログラム
KR20120046627A (ko) * 2010-11-02 2012-05-10 삼성전자주식회사 화자 적응 방법 및 장치
KR101562222B1 (ko) * 2014-07-22 2015-10-23 조광호 발음의 정확도 평가 장치 및 그 방법
KR20170022445A (ko) * 2015-08-20 2017-03-02 삼성전자주식회사 통합 모델 기반의 음성 인식 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000030906A (ko) 2000-03-29 2000-06-05 백종관 음성 인식과 음성 합성을 이용한 컴퓨터에서의 명령 실행방법 및 어플리케이션 프로그램에서의 선택된 텍스트를음성으로 변환하여 출력하기 위한 방법
KR20050101694A (ko) * 2004-04-19 2005-10-25 대한민국(전남대학교총장) 문법적 제약을 갖는 통계적인 음성 인식 시스템 및 그 방법
KR20080033070A (ko) * 2006-10-12 2008-04-16 큐엔엑스 소프트웨어 시스템즈 (웨이브마커스) 인코포레이티드 자동 음성 인식 시스템용 적응형 콘텍스트
JP2008262120A (ja) * 2007-04-13 2008-10-30 Nippon Hoso Kyokai <Nhk> 発話評価装置及び発話評価プログラム
KR20120046627A (ko) * 2010-11-02 2012-05-10 삼성전자주식회사 화자 적응 방법 및 장치
KR101562222B1 (ko) * 2014-07-22 2015-10-23 조광호 발음의 정확도 평가 장치 및 그 방법
KR20170022445A (ko) * 2015-08-20 2017-03-02 삼성전자주식회사 통합 모델 기반의 음성 인식 장치 및 방법

Also Published As

Publication number Publication date
KR102358087B1 (ko) 2022-02-03

Similar Documents

Publication Publication Date Title
CN108447486B (zh) 一种语音翻译方法及装置
KR102191425B1 (ko) 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법
KR101211796B1 (ko) 외국어 학습 장치 및 그 제공 방법
JP6251958B2 (ja) 発話解析装置、音声対話制御装置、方法、及びプログラム
WO2018192424A1 (zh) 统计参数模型建立方法、语音合成方法、服务器和存储介质
CN106782603B (zh) 智能语音评测方法及系统
JP2017058674A (ja) 音声認識のための装置及び方法、変換パラメータ学習のための装置及び方法、コンピュータプログラム並びに電子機器
JPH0850498A (ja) 音声をテキストに変換するための方法および装置
JPH0922297A (ja) 音声‐テキスト変換のための方法および装置
US11810471B2 (en) Computer implemented method and apparatus for recognition of speech patterns and feedback
KR102062524B1 (ko) 음성 인식과 번역 방법 및 그를 위한 단말 장치와 서버
WO2006083020A1 (ja) 抽出された音声データを用いて応答音声を生成する音声認識システム
JP2024508033A (ja) 対話中のテキスト－音声の瞬時学習
KR20180033875A (ko) 음성 신호를 번역하는 방법 및 그에 따른 전자 디바이스
KR20180025559A (ko) 발음 사전 학습 방법 및 장치
JP2010197644A (ja) 音声認識システム
KR102358087B1 (ko) 발달 장애인 음성 인식 점수 산출 장치 및 그 방법
Zahariev et al. An approach to speech ambiguities eliminating using semantically-acoustical analysis
KR20150014235A (ko) 자동 통역 장치 및 방법
CN111128181B (zh) 背诵题评测方法、装置以及设备
US11043212B2 (en) Speech signal processing and evaluation
Tits et al. Flowchase: a Mobile Application for Pronunciation Training
JP2003162524A (ja) 言語処理装置
US11817079B1 (en) GAN-based speech synthesis model and training method
JP7012935B1 (ja) プログラム、情報処理装置、方法

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant