KR102570908B1 - 음성의 끝점 검출 장치, 프로그램 및 그것의 제어 방법 - Google Patents

음성의 끝점 검출 장치, 프로그램 및 그것의 제어 방법 Download PDF

Info

Publication number
KR102570908B1
KR102570908B1 KR1020210047808A KR20210047808A KR102570908B1 KR 102570908 B1 KR102570908 B1 KR 102570908B1 KR 1020210047808 A KR1020210047808 A KR 1020210047808A KR 20210047808 A KR20210047808 A KR 20210047808A KR 102570908 B1 KR102570908 B1 KR 102570908B1
Authority
KR
South Korea
Prior art keywords
phrase
processor
detected
frame
recognition model
Prior art date
Application number
KR1020210047808A
Other languages
English (en)
Other versions
KR20220141554A (ko
Inventor
김준태
이윤한
김도현
박진우
Original Assignee
주식회사 카카오
주식회사 카카오엔터프라이즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카카오, 주식회사 카카오엔터프라이즈 filed Critical 주식회사 카카오
Priority to KR1020210047808A priority Critical patent/KR102570908B1/ko
Publication of KR20220141554A publication Critical patent/KR20220141554A/ko
Application granted granted Critical
Publication of KR102570908B1 publication Critical patent/KR102570908B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G10L15/05—Word boundary detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 음성 인식에 있어서 화자의 발화 끝점을 정확하게 인식하기 위한 기술에 관한 것이다. 보다 구체적으로 본 발명은, 음성 인식 모델에 기초하여 시계열적으로 입력되는 오디오 신호에 포함되어 있는 어구를 검출하고, 상기 어구 검출 결과에 기초하여, 상기 오디오 신호에 포함되는 복수 개의 프레임 중에서 묵음 프레임을 검출하며, 연속되는 묵음 프레임의 개수인 묵음 카운트값을 산출하고, 상기 묵음 카운트값이 제 1 값을 초과할 경우 끝점으로 판단하고, 상기 묵음 카운트값이 제 2 값을 초과하는 경우, 초기화부가 상기 음성 인식 모델을 초기화 시키는 기술에 관한 것이다.

Description

음성의 끝점 검출 장치, 프로그램 및 그것의 제어 방법{SPEECH END POINT DETECTION APPARATUS, PROGRAM AND CONTROL METHOD THEREOF}
본 발명은 음성의 끝점을 인식하는 장치, 프로그램 및 그것의 제어 방법에 관한 것으로, 보다 구체적으로는 종단간 음성 인식 기술을 이용하여 장문의 음성 입력에 대하여 끝점을 보다 정확하게 인식하기 위한 끝점 검출 장치, 프로그램 및 그것의 제어 방법에 관한 것이다.
음성 인식 기술은 인간이 의사 소통을 위하여 말하는 음성 언어를 컴퓨터가 해석하여 문자 데이터로 전환하는 기술로서, 편리함을 원하는 사용자들의 요구에 따라 빠르게 발전하고 있다.
마이크를 통해 아날로그 신호인 음성 신호를 수신하고, ASR(Automatic Speech Recognition) 모델(음성 인식 모델)을 이용하여 음성 부분을 컴퓨터로 판독 가능한 텍스트로 변환할 수 있다. 음성 인식 모델은 인공지능 모델일 수 있다. 인공지능 모델은 인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링한 것으로, 인간이 가지고 있는 학습이라는 능력을 모방한 알고리즘을 이용한다.
인공지능 모델은 학습된 결과에 기초하여 학습에 이용되지 않았던 입력 패턴에 대하여 비교적 올바른 출력을 생성할 수 있는 일반화 능력을 가진다. 이러한 일반화 능력이 가지는 장점으로 인하여 뉴럴 네트워크가 음성 인식 기술 분야에 널리 이용되고 있다.
음성의 끝점 검출이란, 음성인식의 전 단계로써 음성 발화의 끝점을 검출하여 사용자가 발화한 만큼만 인식기를 작동시키기 위한 단계를 말한다. 음성을 인식하기 위한 음성 인식 모델과는 별도로 끝점 검출을 위한 추가 리소스가 할당되어, 끝점을 추론하기 위한 별도의 추가 프로세스가 이루어진다.
이러한 끝점 검출 방식은, 음성의 에너지적인 특징을 이용하기 때문에 잡음이 심한 환경에서 정확도가 떨어질 수밖에 없다는 문제점이 존재한다.
이에 따라, 잡음 상황에서도 정확한 끝점 검출을 위해 에너지 특징과 언어적 문맥을 활용한 종단간 음성인식 기술 기반의 음성 끝점을 추론하기 위한 기술에 대한 연구가 요구되는 실정이다.
본 발명이 해결하고자 하는 과제는 음성의 에너지 특징과 함께 언어적 특징을 같이 활용하여 높은 정확도로 음성 발화의 끝점을 검출하는 장치, 방법 및 프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 추가적인 리소스 활용 없이도 음성 발화의 끝점을 검출하는 장치, 방법 및 프로그램을 제공하는 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 또는 다른 과제를 해결하기 위해 본 발명의 일 측면에 따르면, 명령어들을 저장하는 메모리와 상기 저장된 명령어들을 실행하도록 설정된 프로세서를 포함하는 음성의 끝점 검출 장치에 있어서, 상기 프로세서가 시계열적으로 입력되는 오디오 신호에 포함되어 있는 어구를 검출하는 단계; 상기 프로세서가 상기 어구 검출 결과에 기초하여, 상기 오디오 신호에 포함되는 복수 개의 프레임 중에서 묵음 프레임을 검출하는 단계; 상기 프로세서가 연속되는 묵음 프레임의 개수인 묵음 카운트값을 산출하는 단계; 상기 묵음 카운트값이 제 1 값을 초과할 경우 상기 프로세서가 끝점으로 판단하는 단계; 및 상기 묵음 카운트값이 제 2 값을 초과하는 경우, 상기 프로세서가 상기 음성 인식 모델을 초기화 시키는 단계를 포함하는, 음성의 끝점 검출 장치의 제어 방법을 제공한다.
상기 어구가 검출되면 상기 프로세서가 상기 산출된 묵음 카운트값을 초기화하는 단계를 더 포함할 수 있다.
상기 묵음 프레임을 검출하는 단계는, 상기 프로세서가 상기 오디오 신호에 포함되는 복수 개의 프레임 중에서, 상기 검출된 어구에 대응되지 않는 프레임을 묵음 프레임으로 검출할 수 있다.
상기 음성 인식 모델은, 과거 인식 결과가 현재 음성 인식에 반영되는 순환 인공 신경망(RNN, Recurrent neural network)에 기초한 음성 인식 모델일 수 있다.
상기 묵음 카운트값이 제 2 값을 초과하는 경우 상기 프로세서가 상기 순환 신경망을 초기화 시킬 수 있다.
상기 음성 인식 모델의 초기화는, 상기 음성 인식 모델을 구성하는 적어도 하나의 파라미터를 초기 상태로 복구하는 것을 포함할 수 있다.
상기 또는 다른 과제를 해결하기 위해 본 발명의 다른 측면에 따르면, 명령어들을 저장하는 메모리; 및 상기 저장된 명령어들을 실행하도록 설정된 프로세서를 포함하고, 상기 프로세서는: 음성 인식 모델에 기초하여 시계열적으로 입력되는 오디오 신호에 포함되어 있는 어구를 검출하고, 상기 어구 검출 결과에 기초하여, 상기 오디오 신호에 포함되는 복수 개의 프레임 중에서 묵음 프레임을 검출하며, 연속되는 묵음 프레임의 개수인 묵음 카운트값을 산출하고, 상기 묵음 카운트값이 제 1 값을 초과할 경우 끝점으로 판단하고, 상기 묵음 카운트값이 제 2 값을 초과하는 경우 상기 음성 인식 모델을 초기화시키는, 음성의 끝점 검출 장치를 제공한다.
상기 프로세서는, 상기 어구가 검출되면 상기 산출된 묵음 카운트값을 초기화할 수 있다.
상기 프로세서는 상기 묵음 프레임을 검출하는데 있어서, 상기 오디오 신호에 포함되는 복수 개의 프레임 중에서, 상기 검출된 어구에 대응되지 않는 프레임을 묵음 프레임으로 검출할 수 있다.
상기 음성 인식 모델은, 과거 인식 결과가 현재 음성 인식에 반영되는 순환 신경망(RNN, Recurrent neural network)에 기초한 음성 인식 모델일 수 있다.
상기 프로세서는, 상기 묵음 카운트값이 제 2 값을 초과하는 경우 상기 순환 신경망을 초기화 시킬 수 있다.
상기 음성 인식 모델의 초기화는, 상기 음성 인식 모델을 구성하는 적어도 하나의 파라미터를 초기 상태로 복구하는 것을 포함할 수 있다.
본 발명에 따른 끝점 검출 장치, 프로그램 및 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 기존 끝점 검출 장치 대비 더 높은 정확도로 끝점을 검출할 수있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 끝점 검출을 위한 별도의 리소스가 요구되지 않기 때문에 효율적인 리소스 활용이 가능하다는 장점이 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명의 일실시예에 따른 끝점 검출 장치(100)의 블록도를 도시하는 도면이다.
도 2는 RNN의 구성을 간략하게 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 묵음 프레임을 검출하기 위한 개념도를 도시한다.
도 4는 본 발명의 일실시예에 따른 종단간 음성 인식 모델(101')의 일예시를 도시하는 도면이다.
도 5는 본 발명의 일실시예에 따른 끝점 검출 장치(100)의 제어 순서도를 도시하는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 끝점 검출 장치(100)의 제어 순서도를 도시하는 도면이다.
도 7은 본 발명의 일실시예에 따라 복수 프레임을 함께 고려하여 어구 검출 여부를 판단하는 제어 방법을 도시한다.
도 8은 본 발명의 일실시예에 따라 복수 프레임을 함께 고려하여 어구 검출 여부를 판단하는 제어 방법을 설명하기 위한 개념도를 도시한다.
도 9는 일 실시예에 따른 끝점 검출 장치(100)의 구성을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일실시예에 따른 끝점 검출 장치(100)의 블록도를 도시하는 도면이다.
본 발명의 일 실시예에 따르면, 끝점 검출 장치(100)는 모바일 폰, 셀룰러 폰, 스마트 폰, 퍼스널 컴퓨터, 랩탑, 노트북, 넷북 또는 태블릿, 휴대 정보 단말기(personal digital assistant; PDA), 디지털 카메라, 게임 콘솔, MP3 플레이어, 퍼스널 멀티미디어 플레이어(personal multimedia player; PMP), 전자 북(E-Book), 네비게이션, 디스크 플레이어, 셋톱박스, 가정용 전자기기(home appliance), 통신 장치, 디스플레이 장치, 또는 다른 전자기기에 내장되거나 또는 이것들과 상호 동작할 수 있다. 또한, 끝점 검출 장치(100)는 스마트 가전 기기, 지능형 차량, 자율 주행 장치, 스마트 홈 환경, 스마트 빌딩 환경, 스마트 오피스 환경, 스마트 전자 보안 시스템 등에 내장되거나 또는 이것들과 상호 동작할 수 있다. 또한, 끝점 검출 장치(100)는 사용자의 신체에 착용되는 웨어러블 기기(wearable device)에 포함되어 동작하거나 이것과 상호 동작할 수 있다. 웨어러블 기기는 예를 들어, 반지, 시계, 안경, 팔찌, 벨트, 밴드, 목걸이, 귀걸이, 헬멧 또는 옷의 형태를 가질 수 있다.
구체적으로 끝점 검출 장치(100)는, 음성 인식 모델(101), 묵음 프레임 검출부(102), 카운트부(103), 초기화부(104) 및 끝점 판단부(105)를 포함하도록 구성될 수 있다. 도 1에 도시된 구성요소들은 끝점 검출 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 끝점 검출 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
음성 인식 모델(101)은, 시계열적으로 입력되는 오디오 신호에 포함되는 음성을 인식한다. 그리고 음성 인식 모델(101)은 인식된 음성에 포함되어 있는 어구를 검출할 수 있다. 음성 인식 모델(101)은, 과거 인식 결과가 현재 음성 인식에 반영되는 순환 인공 신경망(RNN, Recurrent neural network)에 기초한 음성 인식 모델일 수 있다.
RNN은 순환 구조를 가지는 인공 신경망의 한 종류로서, 음성이나 문자와 같이 순차적으로 구성되는 데이터의 처리에 적합한 모델이다. 이하 도 2를 참조하여, 순환 인공 신경망의 개념에 대해서 후술한다.
묵음 프레임 검출부(102)는, 시계열적으로 입력되는 오디오 신호에 포함되어 있는 프레임 중에서, 묵음 프레임을 검출하기 위한 구성이다. 묵음 프레임이란, 묵음에 대응되는 프레임으로서, 인식된 음성과 무관한 프레임을 의미할 수 있다. 묵음 프레임의 검출에 대해서는 이하 도 4를 참조하여 보다 상세히 설명한다.
카운트부(103)는 상기 묵음 프레임 검출부(102)에 의해서 검출되는 묵음 프레임이 연속되는 개수를 카운트하고, 이를 묵음 카운트값으로 산출하기 위한 구성이다.
초기화부(104)는 상기 음성 인식 모델(101)을 초기화시키기 위한 구성이다.
끝점 판단부(105)는 상기 카운트부(103)가 산출한 묵음 카운트값에 기초하여, 발화의 끝점을 판단하기 위한 구성이다.
도 2는 RNN의 구성을 간략하게 도시한 도면이다.
도 2를 참조하여 RNN의 기본적인 구성에 대하여 살펴보면, xt는 시간 스텝 t에서의 입력 값이며, ht는 시간 스텝 t에서의 'hidden state'로서, 이전 시간 스텝에서의 'hidden state' 값과 현재 시간 스텝의 입력 값에 의해 계산된다. 그리고, yt는 시간 스텝 t에서의 출력 값이다. 즉, 도 2에 도시된 바와 같은 인공 신경망에 따르면, 과거의 데이터가 현재의 출력에 영향을 미칠 수 있다.
예를 들어, '사과는'이라는 문자열을 인식할 때, '는'이라는 문자열은 먼저 인식된 '사과'라는 과거 데이터를 고려하여 인식된다. '은'과 '는'인지 여부가 불명확할 때, 과거 데이터인 '사과'를 고려하여 '는'으로 인식할 수 있을 것이다.
도 3은 본 발명의 일실시예에 따른 묵음 프레임을 검출하기 위한 개념도를 도시한다.
도 3을 참조하면, '사과는'이라는 음성이 포함된 오디오 신호(300)가 프레임 단위로 구분된다. 음성 인식 모델(101)은 상기 오디오 신호(300)를 인식하여 '사과는'이라는 어구(310, 문자열)를 검출할 수 있다.
본 발명의 일실시예에 따른 묵음 프레임 검출부(102)는, 검출된 어구(310)에 기초하여 묵음 프레임과 비묵음 프레임을 판단하도록 제안한다. 즉, 묵음 프레임 검출부(102)는 검출된 어구(310)에 대응되는 프레임은 비묵음 프레임(301-1)으로 판단하고, 검출된 어구(310)에 대응되지 않는 프레임은 묵음 프레임(301-2)로 판단하여 검출할 수 있다.
묵음 프레임 검출부(102)가 검출된 어구(310)에 기초하여 묵음 프레임(301-2)과 비묵음 프레임(301-1)을 구분하는 이유는, 잡음 환경에서 보다 정확하게 끝점을 검출해 내기 위해서이다. 아무런 음성이 입력되지 않았지만, 주변 잡음 환경에 의해서 발화가 끝나지 않은 것으로 잘못 판단하는 오류를 최소화 시킬 수 있다.
도 3에 도시된 도면에서 역시, '사과는'이라는 음성이 검출되기 전 묵음 프레임(301-2)에서도 역시 오디오 파형이 검출되고 있다는 것을 확인할 수 있다. 이러한 오디오 파형은 주변 잡음 환경에 의한 파형일 가능성이 높을 것이다. 만약, 단순히 오디오 파형만으로 묵음이 아니라고 판단할 경우, 끝점을 판단하는 정확도는 낮아질 수 밖에 없다.
본 발명의 일실시예에 따른 음성 인식 모델(101)은, 종단간 음성 인식(end-to-end Automatic Speech Recognition) 모델일 수 있다.
종래의 음성 인식 시스템은 일반적으로, 음향 특징을 추출하고 음소와 같은 sub-word unit을 예측하는 AM(Acoustic Model), 음소 시퀀스를 단어에 매핑하는 PM(Pronunciation Model), 단어 시퀀스에 확률을 지정하는 LM(Language Model)을 포함한다. 그리고 종래의 음성 인식 시스템에서는 AM, PM 및 LM이 서로 다른 데이터 세트에서 독립적으로 학습되는 것이 일반적이었다. 그런데, 근래에는 AM, PM 및 LM의 구성요소를 단일 신경망으로 결합하는 방식인 종단간 음성 인식 모델이 개발되었다.
종단간(end-to-end) 음성인식이란 입력 음성으로부터 하나의 통합 신경망을 거쳐 문자열 혹은 단어열을 인식하는 음성인식 방법을 말한다. 앞서 설명한 전통적인 종래의 음성 인식 시스템에서는 훈련을 위해 별도로 발음 사전을 준비해야 하고, 프레임의 정답 음소를 만들기 위한 여러 단계를 거쳐 음향 모델을 훈련시킨다. 또한 음향 모델과 발음 사전 그리고 별도로 훈련된 언어 모델을 결합하기 위해 weighted finite-state transducers(WFST)를 사용하여 가장 확률이 높은 경로를 찾아 최종적으로 음성을 인식하게 된다.
이러한 과정은 번거로울 뿐 아니라 각각의 역할을 이해하기 위해 음성 인식에 대한 사전 지식을 필요로 한다. 최근 심층신경망 기술의 발전에 따라 이와 같은 단점을 해결한 간단한 구조의 종단간 음성인식 모델이 제안되었다.
대표적인 종단간 음성인식 모델로 connectionist temporal classification(CTC) 방식이 존재한다. 이 방법은 재귀신경 망을 이용해 음성 특징으로부터 바로 문자열을 추론해낸다. HMM과 유사하게 매 프레임마다 문자 사후확률을 추정하고, 이렇게 추정된 문자열이 최적의 경로를 갖도록 작동한다.
CTC 방식과는 다른 모델로, sequence-to-sequence(seq2seq) 모델을 기반으로 한 음성인식 'Attention Based Model'이 제안되었다. 이 모델은 재귀신경망으로 된 인코더(encoder)와 디코더(decoder)로 이루어져 있고, 입력 음성 특징으로부터 인코더가 매 프레임에 대하여 출력을 계산한다. 디코더는 어떤 프레임에 대한 인코더 출력에 주목(attention)할지 계산하여 주목도에 따라 인코더 값을 입력으로 사용하여 최종 문자열을 추정해낸다.
종단간 음성 인식 모델에 따르면, 음소 단위에서 단어로 매핑하기 위한 별도의 발음 사전(pronunciation dictionary, pronunciation lexicon)을 필요로 하지 않는다는 점에서, 음성 인식 프로세스를 단순화할 수 있다는 장점이 존재한다. 이하 도 4를 통하여 상술한 모델 중 'Attention Based Model'을 좀 더 상세히 설명한다.
도 4는 본 발명의 일실시예에 따른 종단간 음성 인식 모델(101')의 일예시를 도시하는 도면이다. 도 4에서는 종단간 음성 인식 모델에 대한 하나의 예시로 'Attention Based Model'을 들고 있으나, 이에 한정되지 않고 다양한 종단간 음성 인식 모델이 본 발명의 실시예에 적용될 수 있음은 자명하다.
도 4에 도시된 바와 같이, 종단간 음성 인식 모델(101')은 인코더(401), 어텐션부(402), 디코더(403)를 포함할 수 있다. 그리고, 인코더(401) 및 디코더(403) 중 적어도 하나는 RNN으로 구현될 수 있다.
인코더(401)는 사용자 음성 x를 입력 받고 x의 음향 특징을 고차원의 음향 특징(higher order feature representation) h로 매핑시킨다. 고차원의 음향 특징인 h가 어텐션부(402)로 전달되면, 어텐션부(402)은 출력 y를 예측하기 위하여 음향 특징 x에서 어떠한 부분을 중요하게 고려하여야 하는지를 결정하고, 어텐션 컨텍스트(attention contex) c를 디코더(403)로 전달한다. 어텐션 턴텍스트 c가 디코더(403)로 전달되면, 디코더(403)는 어텐션 컨텍스트 c와 이전 예측의 임베딩에 해당하는 yi-1를 입력 받아, 확률 분포 P를 생성하고 문자(열)인 출력 yi를 예측한다.
상술한 바와 같은 종단간 음성 인식 모델(101')에 따르면, 사용자 음성을 입력 값으로 하고 사용자 음성에 대응되는 문자(열)을 출력 값으로 하는 모델이 구현될 수 있다. 그리고, 입력되는 데이터의 크기 및 입력 데이터에 대한 인공 신경망의 훈련에 따라, 사용자 음성에 보다 정확하게 대응되는 문자(열)이 식별될 수 있다.
도 4에 도시된 바와 같은 구성은 예시적인 것일 뿐이며, 본 발명의 목적을 달성할 수 있는 범위 내에서, 다양한 형태의 종단간 음성 인식 모델이 적용될 수 있음은 물론이다.
도 5 및 도 6의 순서도를 참조하여, 본 발명의 일실시예에 따른 끝점 검출 장치의 제어 방법에 대하여 설명한다.
도 5는 본 발명의 일실시예에 따른 끝점 검출 장치(100)의 제어 순서도를 도시하는 도면이다.
S501 단계에서 끝점 검출 장치(100)는 입력된 오디오 신호를 일정 기준으로 분할한다. 특히 본 발명의 일실시예에서 일정 기준은, 프레임 단위일 수 있다. 이하에서는 프레임 단위로 분할한 경우를 예시로 들어 설명하나, 본 발명의 실시예들이 반드시 이에 한정되는 것은 아닐 것이다. 끝점 검출 장치(100)는 음성 인식 모델(101)에 첫 번째 프레임을 입력(S502)한다.
음성 인식 모델(101)은 입력된 프레임을 분석(S503)한다. S504 단계에서 끝점 검출 장치(100)는 S503 단계에서의 분석 결과 묵음 프레임이 검출되는 경우 S505 단계로 진행하고, 어구(또는 음소)가 검출되는 경우 S508 단계로 진행한다.
S505 단계에서 카운트부(103)는 묵음 카운트값을 단위값(예를 들어 '1')만큼 증가(S505)시킬 수 있다. 반대로, 어구(또는 음소)가 검출되는 경우 카운트부(103)는, 해당 프레임을 비묵음 프레임으로 판단하고 묵음 카운트값을 초기화(S508) 시킨다.
즉 S504, S505 및 S508 단계에 따르면, 카운트부(103)는 묵음 프레임이 검출될 때마다 묵음 카운트값을 증가시키고, 비묵음 프레임이 검출될 경우 S508 단계에서 묵음 카운트값을 초기화 시킴으로써 연속되는 묵음 프레임의 개수를 산출할 수 있다.
도 5의 순서도를 다시 참조하면, 끝점 판단부(105)는 상기 묵음 카운트값이 제 1 값을 초과하는지 여부를 판단(S506)하고, 제 1 값을 초과한 경우 입력된 프레임을 발화의 끝점으로 판단(S507)할 수 있다.
만약 제 1 값을 초과하지 않는다면, S510 단계로 진행하여 다음 프레임을 입력 받을 수 있다.
S504 단계에서 어구나 음소가 검출되면, 상술한 바와 같이 카운트부(103)는 묵음 카운트값을 초기화(S508) 시킨다. 그리고 끝점 검출 장치(100)는, 검출된 어구 또는 음소를 사용자에게 출력(S509)할 수 있다. 이어서, S510 단계로 진행하여 다음 프레임을 음성 인식 모델(101)에 입력(S510)하고, 상술한 S503 ~ S510 단계를 반복적으로 수행할 수 있을 것이다.
도 6은 본 발명의 다른 실시예에 따른 끝점 검출 장치(100)의 제어 순서도를 도시하는 도면이다.
S601 단계에서 끝점 검출 장치(100)는 입력된 오디오 신호를 일정 기준으로 분할한다. 도 5의 실시예에서와 마찬가지로 도 6의 실시예에서는 프레임 단위로 분할한 경우를 예시로 들어 설명한다.
끝점 검출 장치(100)는 음성 인식 모델(101)에 첫 번째 프레임을 입력(S602)한다.
음성 인식 모델(101)은 입력된 프레임을 분석(S603)한다. S604 단계에서 끝점 검출 장치(100)는 S603 단계에서의 분석 결과 묵음 프레임이 검출되는 경우 S605 단계로 진행하고, 어구(또는 음소)가 검출되는 경우 S611 단계로 진행한다.
S605 단계에서 카운트부(103)는 묵음 카운트값을 단위값(예를 들어 '1')만큼 증가시킬 수 있다. 반대로, 어구(또는 음소)가 검출되는 경우 카운트부(103)는, 해당 프레임을 비묵음 프레임으로 판단하고 묵음 카운트값을 초기화(S611, S612) 시킨다.
즉 S604, S605 및 S612 단계에 따르면, 카운트부(103)는 묵음 프레임이 검출될 때마다 묵음 카운트값을 증가시키고, 비묵음 프레임이 검출(어구 검출)될 경우 S611 단계에서 묵음 카운트값을 초기화 시킴으로써 연속되는 묵음 프레임의 개수를 산출할 수 있다.
S606 단계에서 끝점 판단부(105)는 묵음 카운트값이 제 2 값을 초과하는지 여부를 판단한다.
S606 단계에서 묵음 카운트값이 제 2 값을 초과하지 않는 경우, S610 단계로 바로 진행할 수 있다. S610 단계에서 끝점 검출 장치(100)는 음성 인식 모델(101)에 다음 프레임을 입력하고 S603 단계로 복귀한다.
만약 S606 단계에서 묵음 카운트값이 제 2 값을 초과하는 경우, 초기화부(104)는 음성 인식 모델(101)을 초기화(S607)시키고, S608 단계로 진행할 수 있다.
음성 인식 모델(101)의 초기화란, 이전에 입력된 오디오 신호나 인식 결과를 고려하지 않고, 첫 오디오 신호가 입력되는 상태로 돌아가는 것을 의미할 수 있다. 음성 인식 모델(101)의 초기화는, 음성 인식 모델(101)을 구성하는 적어도 하나의 파라미터를 초기 상태로 복구하는 것을 포함할 수 있다.
S607 단계에 이어서 끝점 판단부(105)는 상기 묵음 카운트값이 제 1 값을 초과하는지 여부를 판단(S608)하고, 초과하는 경우 S609 단계로 진행한다. S609 단계에서 끝점 판단부(105)는 해당 프레임을 끝점으로 판단하고 종료할 수 있다.
S608 단계에서 묵음 카운트값이 제 1 값을 초과하지 않는 경우, S610 단계로 진행한다. 상술한 바와 같이 S610 단계에서 끝점 검출 장치(100)는 음성 인식 모델(101)에 다음 프레임을 입력하고 S603 단계로 복귀한다.
S604 단계에서 어구 또는 음소가 검출되면, 끝점 검출 장치(100)는 S611 단계로 진행한다. S611 단계에서 끝점 검출 장치(100)는 어구 또는 음소 검출 결과를 출력한다. 이어서 카운트부(103)는 묵음 카운트를 초기화(S612)시킨다. 그리고 다음 프레임을 입력하는 S610 단계를 통하여 S603 단계로 복귀할 수 있다.
도 5 및 도 6의 제어 순서는 서로 개별적으로 설명되었지만, 두 방법이 조합될 수 있음은 자명할 것이다.
한편, 도 5 및 도 6에서와 함께 상술한 실시예에서, 현재 입력된 단일 프레임만으로는 어구나 음소가 검출되는지 여부를 판단하지 못하는 경우가 존재할 수 있다. 즉, 후속되어 입력되는 프레임을 함께 확인해야만 정확한 어구나 음소의 검출 여부를 판단 가능한 경우를 의미한다. 따라서, 본 발명의 일실시예에 따른 어구 검출 여부의 판단은, 후속되는 적어도 하나의 프레임을 함께 고려하여 수행될 수도 있을 것이다. 이와 같은 실시예에 대해서 도 7을 참조하여 좀 더 상세히 살펴본다.
도 7은 본 발명의 일실시예에 따라 복수 프레임을 함께 고려하여 어구 검출 여부를 판단하는 제어 방법을 도시한다.
도 8은 본 발명의 일실시예에 따라 복수 프레임을 함께 고려하여 어구 검출 여부를 판단하는 제어 방법을 설명하기 위한 개념도를 도시한다.
이하 도 7 및 도 8을 함께 참조하여 설명한다.
S701 단계에서 끝점 검출 장치(100)는 입력된 오디오 신호를 일정 기준으로 분할한다. 도 5 및 도 7의 실시예에서와 마찬가지로 도 7의 실시예에서는 프레임 단위로 분할한 경우를 예시로 들어 설명한다.
끝점 검출 장치(100)는 음성 인식 모델(101)에 첫 번째 프레임을 입력(S702)한다.
음성 인식 모델(101)은 입력된 프레임을 분석(S703)한다. S704 단계에서 끝점 검출 장치(100)는 S703 단계에서의 어구(또는 음소)가 검출되지 않는 경우 S709 단계로 진행하고, 검출되는 경우 S705 단계로 진행한다.
S704 단계에서 어구가 검출되면, 끝점 검출 장치(100)는 검출된 어구와 직전 검출 어구와의 프레임 차이를 계산(S705)한다.
도 8을 참조하면, '맛있다'라는 제 1 어구(801)가 검출되고, '다음에'라는 제 2 어구(802)가 현재 입력된 프레임 기준으로 검출되었다. 즉 상기 제 2 어구(802)는 현재 입력된 프레임 기준으로 검출된 어구이고, 제 1 어구(801)는 직전에 검출된 어구일 것이다.
프레임 차이를 계산하는 제 1 예시에 있어서 끝점 검출 장치(100)는 제 2 어구(802)의 직전 프레임(811)과 상기 제 1 어구(801)의 직후 프레임(810)을 판단하고, 상기 제 1 어구(801)의 직후 프레임(810)과 제 2 어구(802)의 직전 프레임(811) 사이에 존재하는 프레임의 개수를 판단하여 S704 단계의 프레임 차이(800)를 계산(S705)할 수 있을 것이다.
프레임 차이를 계산하는 제 2 예시에 있어서 끝점 검출 장치(100)는, 제 1 어구(801)에 대응되는 제 1 비묵음 프레임(801')과 제 2 어구(802)에 대응되는 제 2 비묵음 프레임(802')를 구분할 수 있다. 그리고, 상기 제 1 비묵음 프레임(801') 및 제 2 비묵음 프레임(802') 사이에 존재하는 묵음 프레임(812)의 개수를 카운트하는 방법을 통하여 S704 단계의 프레임 차이(800)를 계산(S705)할 수 있을 것이다.
이어서 끝점 판단부(105)는 상기 S705 단계에서 계산된 차이가 제 1 값을 초과하는지 판단(S706)한다.
끝점 판단부(105)는 S705 단계에서 계산된 차이가 제 1 값을 초과한다면 S707 단계로 진행하여 끝점으로 판단하고, 종료할 수 있다.
S705 단계에서 계산된 차이가 제 1 값을 초과하지 않는다면, 끝점 검출 장치(100)는 S708 단계로 진행하여 음성 입력 모델(101)에 다음 프레임을 입력할 수 있다.
S704 단계에서 어구가 검출되지 않는 것으로 판단되면, S709 단계로 진행한다.
S709 단계에서 카운트부(103)는, 묵음 카운트값을 단위값(예를 들어 '1') 만큼 증가시킨다.
S710 단계에서 초기화부(104)는 묵음 카운트값이 제 2 값을 초과하는지 판단한다. 만약 S710 단계에서 묵음 카운트값이 제 2 값을 초과하는 경우, S711 단계로 진행하고, 초과하지 않는 경우에는 S708 단계로 진행하여 다음 프레임에 대한 과정을 반복(S703 ~ S711)할 수 있을 것이다.
S711 단계에서 초기화부(104)는, 음성 인식 모델(101)을 초기화 시킨다.
음성 인식 모델(101)의 초기화는 상술한 실시예에서와 같이, 음성 인식 모델(101)을 구성하는 적어도 하나의 파라미터를 초기 상태로 복구하는 것을 포함할 수 있다.
도 9는 일 실시예에 따른 끝점 검출 장치(100)의 구성을 도시한 도면이다.
도 9를 참조하면, 끝점 검출 장치(100)는 메모리(192) 및 프로세서(191)를 포함한다. 메모리(192)는 프로세서(191)에 의해 실행 가능한 하나 이상의 명령어를 저장한다. 프로세서(191)는 메모리(192)에 저장된 하나 이상의 명령어를 실행한다. 프로세서(191)는 명령어를 실행하는 것에 의해 도 1 내지 도 8과 관련하여 위에서 설명된 하나 이상의 동작을 실행할 수 있다.
메모리(192)는 종단간 음성 인식 모델(101')이 구현된 소프트웨어를 포함할 수 있다. 그리고, 프로세서(191)는 메모리(192)에 저장된 소프트웨어를 실행하고, 종단간 음성 인식 모델에 오디오 신호를 입력하여, 오디오 신호에 포함되어 있는 발화 음성에 대한 문자열을 식별할 수 있다.
한편, 종단간 음성 인식 모델(101')은 소프트웨어로 구현되어 메모리(192)에 저장될 수 있을 뿐만 아니라, 종단간 음성 인식 모델은 종단간 음성 인식 모델(101')의 알고리즘을 수행할 수 있는 전용 칩으로 구현되어 프로세서(191)에 포함될 수도 있다.
또한 도 1과 함께 상술한 본 발명의 구성은 프로세서(191)에 의해서 실행되는 명령어에 의해서 구현되는 구성일 수 있을 것이다.
이상으로 본 발명에 따른 끝점 검출 장치 및 이를 이용한 제어 방법의 실시예를 설시하였으나 이는 적어도 하나의 실시예로서 설명되는 것이며, 이에 의하여 본 발명의 기술적 사상과 그 구성 및 작용이 제한되지는 아니하는 것으로, 본 발명의 기술적 사상의 범위가 도면 또는 도면을 참조한 설명에 의해 한정／제한되지는 아니하는 것이다. 또한 본 발명에서 제시된 발명의 개념과 실시예가 본 발명의 동일 목적을 수행하기 위하여 다른 구조로 수정하거나 설계하기 위한 기초로써 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에 의해 사용되어질 수 있을 것인데, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에 의한 수정 또는 변경된 등가 구조는 청구범위에서 기술되는 본 발명의 기술적 범위에 구속되는 것으로서, 청구범위에서 기술한 발명의 사상이나 범위를 벗어나지 않는 한도 내에서 다양한 변화, 치환 및 변경이 가능한 것이다.

Claims (21)

  1. 명령어들을 저장하는 메모리와 상기 저장된 명령어들을 실행하도록 설정된 프로세서를 포함하는 음성의 끝점 검출 장치에 있어서,
    상기 프로세서에 의해 실행되는 음성 인식 모델이 시계열적으로 입력되는 오디오 신호에 포함되어 있는 어구를 검출하는 단계;
    상기 프로세서가 상기 어구 검출 결과에 기초하여, 상기 오디오 신호에 포함되는 복수 개의 프레임 중에서 묵음 프레임을 검출하는 단계;
    상기 프로세서가 연속되는 묵음 프레임의 개수인 묵음 카운트값을 산출하는 단계;
    상기 묵음 카운트값이 제 1 값을 초과할 경우 상기 프로세서가 끝점으로 판단하는 단계; 및
    상기 묵음 카운트값이 제 2 값을 초과하는 경우, 상기 프로세서가 상기 음성 인식 모델을 초기화 시키는 단계를 포함하되,
    상기 음성 인식 모델은 종단간 음성 인식 모델인,
    음성의 끝점 검출 장치의 제어 방법.
  2. 제 1 항에 있어서,
    상기 제 1 값은 상기 제 2 값보다 크도록 설정되는,
    음성의 끝점 검출 장치의 제어 방법.
  3. 제 1 항에 있어서,
    상기 묵음 프레임을 검출하는 단계는,
    상기 오디오 신호에 포함되는 복수 개의 프레임 중에서, 상기 프로세서가 상기 검출된 어구에 대응되지 않는 프레임을 묵음 프레임으로 검출하는,
    음성의 끝점 검출 장치의 제어 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 음성 인식 모델의 초기화는,
    상기 프로세서가 상기 음성 인식 모델을 구성하는 적어도 하나의 파라미터를 초기 상태로 복구하는 것을 포함하는,
    음성의 끝점 검출 장치의 제어 방법.
  6. 명령어들을 저장하는 메모리; 및
    상기 저장된 명령어들을 실행하도록 설정된 프로세서를 포함하고, 상기 프로세서는:
    음성 인식 모델에 기초하여 시계열적으로 입력되는 오디오 신호에 포함되어 있는 어구를 검출하고,
    상기 어구 검출 결과에 기초하여, 상기 오디오 신호에 포함되는 복수 개의 프레임 중에서 묵음 프레임을 검출하며,
    연속되는 묵음 프레임의 개수인 묵음 카운트값을 산출하고,
    상기 묵음 카운트값이 제 1 값을 초과할 경우 끝점으로 판단하고,
    상기 묵음 카운트값이 제 2 값을 초과하는 경우 상기 음성 인식 모델을 초기화시키되,
    상기 음성 인식 모델은 종단간 음성 인식 모델인,
    음성의 끝점 검출 장치.
  7. 제 6 항에 있어서, 상기 프로세서는,
    상기 어구가 검출되면 상기 산출된 묵음 카운트값을 초기화하는,
    음성의 끝점 검출 장치.
  8. 제 6 항에 있어서, 상기 프로세서는 상기 묵음 프레임을 검출하는데 있어서,
    상기 오디오 신호에 포함되는 복수 개의 프레임 중에서, 상기 검출된 어구에 대응되지 않는 프레임을 묵음 프레임으로 검출하는,
    음성의 끝점 검출 장치.
  9. 삭제
  10. 제 6 항에 있어서,
    상기 음성 인식 모델의 초기화는,
    상기 음성 인식 모델을 구성하는 적어도 하나의 파라미터를 초기 상태로 복구하는 것을 포함하는,
    음성의 끝점 검출 장치.
  11. 명령어들을 저장하는 메모리와 상기 저장된 명령어들을 실행하도록 설정된 프로세서를 포함하는 음성의 끝점 검출 장치에 있어서,
    상기 프로세서가 음성 인식 모델에 기초하여 시계열적으로 입력되는 오디오 신호에 포함되어 있는 어구를 검출하는 단계;
    상기 어구가 검출되면, 상기 프로세서가 직전에 검출된 어구와 상기 검출된 어구 간의 프레임 차이를 계산하는 단계;
    상기 프레임 차이가 제 1 값을 초과하는 경우, 상기 프로세서가 끝점으로 판단하는 단계;
    상기 어구가 검출되지 않으면, 상기 프로세서가 연속되는 묵음 프레임의 개수인 묵음 카운트값을 증가시키는 단계;
    상기 프로세서가 상기 묵음 카운트값이 제 2 값을 초과하는지 여부를 판단하는 단계; 및
    상기 제 2 값을 초과하는 경우, 상기 프로세서가 상기 음성 인식 모델을 초기화 시키는 단계를 포함하되,
    상기 음성 인식 모델은 종단간 음성 인식 모델인,
    음성의 끝점 검출 장치의 제어 방법.
  12. 제 11 항에 있어서,
    상기 차이를 계산하는 단계는,
    상기 프로세서가 상기 검출된 어구의 직전 프레임을 특정하는 단계;
    상기 프로세서가 상기 직전에 검출된 어구의 직후 프레임을 특정하는 단계; 및
    상기 프로세서가 상기 검출된 어구의 직전 프레임과 상기 직전에 검출된 어구의 직후 프레임 간의 프레임 위치 차이를 계산하는 단계를 포함하는,
    음성의 끝점 검출 장치의 제어 방법.
  13. 제 11 항에 있어서,
    상기 차이를 계산하는 단계는,
    상기 프로세서가 상기 검출된 어구에 대응되는 제 1 비묵음 프레임을 특정하는 단계;
    상기 프로세서가 상기 직전에 검출된 어구에 대응되는 제 2 비묵음 프레임을 특정하는 단계; 및
    상기 프로세서가 상기 제 1 및 제 2 비묵음 프레임 사이에 존재하는 묵음 프레임의 개수로 차이를 계산하는 단계를 포함하는,
    음성의 끝점 검출 장치의 제어 방법.
  14. 삭제
  15. 삭제
  16. 명령어들을 저장하는 메모리; 및
    상기 저장된 명령어들을 실행하도록 설정된 프로세서를 포함하고, 상기 프로세서는:
    음성 인식 모델에 기초하여 시계열적으로 입력되는 오디오 신호에 포함되어 있는 어구를 검출하고,
    상기 어구가 검출되면, 직전에 검출된 어구와 상기 검출된 어구 간의 프레임 차이를 계산하며,
    상기 프레임 차이가 제 1 값을 초과하는 경우, 끝점으로 판단하고,
    상기 어구가 검출되지 않으면, 연속되는 묵음 프레임의 개수인 묵음 카운트값을 증가시키며,
    상기 어구가 검출되지 않으면, 상기 묵음 카운트값이 제 2 값을 초과하는지 여부를 판단하고,
    상기 제 2 값을 초과하는 경우, 상기 음성 인식 모델을 초기화 시키는,
    음성의 끝점 검출 장치.
  17. 제 16 항에 있어서,
    상기 프로세서는 상기 차이를 계산하는데 있어서,
    상기 검출된 어구의 직전 프레임을 판단하고,
    상기 직전에 검출된 어구의 직후 프레임을 판단하며,
    상기 검출된 어구의 직전 프레임과 상기 직전에 검출된 어구의 직후 프레임 간의 차이를 계산하는,
    음성의 끝점 검출 장치.
  18. 제 16 항에 있어서,
    상기 프로세서는 상기 차이를 계산하는데 있어서,
    상기 검출된 어구에 대응되는 제 1 비묵음 프레임을 판단하고,
    상기 직전에 검출된 어구에 대응되는 제 2 비묵음 프레임을 판단하며,
    상기 제 1 및 제 2 비묵음 프레임 사이에 존재하는 묵음 프레임의 개수로 차이를 계산하는,
    음성의 끝점 검출 장치.
  19. 삭제
  20. 삭제
  21. 하드웨어와 결합되어 제 1 항, 제 2 항, 제 3항 및 제 5 항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
KR1020210047808A 2021-04-13 2021-04-13 음성의 끝점 검출 장치, 프로그램 및 그것의 제어 방법 KR102570908B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210047808A KR102570908B1 (ko) 2021-04-13 2021-04-13 음성의 끝점 검출 장치, 프로그램 및 그것의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210047808A KR102570908B1 (ko) 2021-04-13 2021-04-13 음성의 끝점 검출 장치, 프로그램 및 그것의 제어 방법

Publications (2)

Publication Number Publication Date
KR20220141554A KR20220141554A (ko) 2022-10-20
KR102570908B1 true KR102570908B1 (ko) 2023-08-28

Family

ID=83805041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210047808A KR102570908B1 (ko) 2021-04-13 2021-04-13 음성의 끝점 검출 장치, 프로그램 및 그것의 제어 방법

Country Status (1)

Country Link
KR (1) KR102570908B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017003903A1 (en) * 2015-06-29 2017-01-05 Amazon Technologies, Inc. Language model speech endpointing
US10593352B2 (en) 2017-06-06 2020-03-17 Google Llc End of query detection

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140147587A (ko) * 2013-06-20 2014-12-30 한국전자통신연구원 Ｗｆｓｔ를 이용한 음성 끝점 검출 장치 및 방법
KR20150092587A (ko) * 2014-02-05 2015-08-13 한국전자통신연구원 연속된 짧은 펄스로 구성된 소리를 인식하는 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017003903A1 (en) * 2015-06-29 2017-01-05 Amazon Technologies, Inc. Language model speech endpointing
US10593352B2 (en) 2017-06-06 2020-03-17 Google Llc End of query detection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chang, Shuo-Yiin, et al. "Joint endpointing and decoding with end-to-end models." ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2019.
Shannon, Matt, et al. "Improved End-of-Query Detection for Streaming Speech Recognition." Interspeech. 2017.

Also Published As

Publication number Publication date
KR20220141554A (ko) 2022-10-20

Similar Documents

Publication Publication Date Title
KR102550932B1 (ko) 음성 인식 모델의 개인화 방법 및 장치
KR102167719B1 (ko) 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치
KR102134201B1 (ko) 숫자 음성 인식에 있어서 음성 복호화 네트워크를 구성하기 위한 방법, 장치, 및 저장 매체
US10235994B2 (en) Modular deep learning model
US8930196B2 (en) System for detecting speech interval and recognizing continuous speech in a noisy environment through real-time recognition of call commands
KR20180071029A (ko) 음성 인식 방법 및 장치
KR20200059703A (ko) 음성 인식 방법 및 음성 인식 장치
KR20160066441A (ko) 음성 인식 방법 및 음성 인식 장치
KR102577589B1 (ko) 음성 인식 방법 및 음성 인식 장치
JP2012502325A (ja) デバイスインターフェイシングのための多重モード調音統合
Leem et al. Multitask learning of deep neural network-based keyword spotting for IoT devices
KR20200044388A (ko) 음성을 인식하는 장치 및 방법, 음성 인식 모델을 트레이닝하는 장치 및 방법
JP2020086436A (ja) 人工神経網における復号化方法、音声認識装置及び音声認識システム
JP2020042257A (ja) 音声認識方法及び装置
KR20210014949A (ko) 음성 인식을 위한 인공신경망에서의 디코딩 방법 및 장치
Salam et al. Malay isolated speech recognition using neural network: a work in finding number of hidden nodes and learning parameters.
Cardona et al. Online phoneme recognition using multi-layer perceptron networks combined with recurrent non-linear autoregressive neural networks with exogenous inputs
JP2021184087A (ja) サウンド特徴に対する音響モデル条件付け
Sen et al. Speech processing and recognition system
Sharma Speaker recognition using machine learning techniques
KR102570908B1 (ko) 음성의 끝점 검출 장치, 프로그램 및 그것의 제어 방법
KR102292921B1 (ko) 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치
Kaur et al. Integrated speaker and speech recognition for wheel chair movement using artificial intelligence
Dudhrejia et al. Speech recognition using neural networks
JP7291099B2 (ja) 音声認識方法及び装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant