KR20200117826A - 음성 인식 방법 및 장치 - Google Patents

음성 인식 방법 및 장치 Download PDF

Info

Publication number
KR20200117826A
KR20200117826A KR1020190141750A KR20190141750A KR20200117826A KR 20200117826 A KR20200117826 A KR 20200117826A KR 1020190141750 A KR1020190141750 A KR 1020190141750A KR 20190141750 A KR20190141750 A KR 20190141750A KR 20200117826 A KR20200117826 A KR 20200117826A
Authority
KR
South Korea
Prior art keywords
sequence
special
input
speech recognition
neural network
Prior art date
Application number
KR1020190141750A
Other languages
English (en)
Inventor
이민중
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/787,701 priority Critical patent/US11501761B2/en
Priority to CN202010186974.9A priority patent/CN111816164A/zh
Priority to EP20165895.2A priority patent/EP3719797B1/en
Priority to JP2020067912A priority patent/JP7291099B2/ja
Publication of KR20200117826A publication Critical patent/KR20200117826A/ko
Priority to US17/986,000 priority patent/US20230076073A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0018—Speech coding using phonetic or linguistical decoding of the source; Reconstruction using text-to-speech synthesis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)

Abstract

아래 실시예들은 음성 인식 방법 및 장치가 제공된다. 일 실시예에 따른 음성 인식 방법은 화자의 입력 음성에 대응하는 입력 시퀀스의 전단에 미리 정해진 특수 시퀀스를 부가하는 단계, 특수 시퀀스 및 입력 시퀀스를 인식하는 단계, 및 특수 시퀀스 및 음성 인식 결과에 기초하여, 입력 시퀀스를 인식하는 단계를 포함한다.

Description

음성 인식 방법 및 장치{METHOD AND APPARATUS FOR SPEECH RECOGNITION}
아래 실시예들은 음성 인식 방법 및 장치에 관한 것이다. 보다 자세하게는, 단대단(End-to-End) 인공신경망 음성 인식 시스템에서 노이즈 아웃풋 억제 및 주 화자 음성 집중 인식 방법 기술에 관한 것이다.
음성 인식(speech recognition) 기술이란 인간이 발화한 음성과 같은 음향학적 신호(acoustic speech signal)를 컴퓨팅 장치의 분석을 통해 인식 또는 이해하는 기술을 의미한다. 종래에는, 음성 데이터에서 추출된 주파수 특징 등을 이용하여 음성을 인식하는 방식이 주로 이용되었고, 여기에 은닉 마르코프 모델(Hidden Markov Model; HMM)이 주로 이용되었다. 이러한 HMM 기반의 음성 인식 방식은 음성 데이터로부터 발음을 분석하고, 분석된 발음에 기초하여 단어나 문장을 조합하는 과정을 통해 음성을 인식하게 된다.
최근에는, 딥 러닝(deep learning) 기반의 기계 학습(machine learning) 기술이 성숙됨에 따라, 인공 신경망(artificial neural network)으로 구성된 음향 모델을 이용하여, 음성 데이터로부터 발음을 분석하는 과정을 거치지 않고 음성 데이터에서 단어나 문장 등의 텍스트를 직접 인식하는 단대단(End-to-End) 음성 인식 기술에 대한 연구가 활발하게 진행되고 있다.
하지만, 단대단 인공신경망 음성 인식 시스템은 음소 단위로 실시간 디코딩을 수행하기 때문에 사용자의 발화가 없는 화이트 노이즈 구간에서도 강제적 음성인식으로 인하여 예기치 않은 텍스트가 출력되는 문제가 있다.
일 실시예에 따른 음성 인식 방법은 화자의 입력 음성에 대응하는 입력 시퀀스의 전단에 미리 정해진 특수 시퀀스를 부가하는 단계; 인공 신경망을 이용하여 상기 특수 시퀀스 및 상기 입력 시퀀스를 인식하는 단계; 및 상기 특수 시퀀스 및 상기 인식 결과에 기초하여, 상기 입력 시퀀스를 인식하는 단계를 포함한다.
상기 입력 시퀀스는 상기 입력 음성; 또는 상기 입력 음성으로부터 추출된 벡터들을 포함할 수 있다.
상기 특수 시퀀스는 상기 화자의 미리 정해진 음성; 또는 상기 미리 정해진 음성으로부터 추출된 적어도 하나의 벡터를 포함할 수 있다.
상기 특수 시퀀스는 임의의 화자의 미리 정해진 음성일 수 있다.
상기 특수 시퀀스는 hi일 수 있다.
상기 특수 시퀀스 및 상기 입력 시퀀스를 인식하는 단계는 상기 특수 시퀀스 및 상기 입력 시퀀스를 인코딩하여 인코딩된 특징을 생성하는 단계; 상기 인코딩된 특징에 기초하여 상기 특수 시퀀스에 대응되는 특수 토큰을 출력하는 단계; 및 상기 인코딩된 특징 및 상기 특수 토큰에 기초하여 상기 입력 시퀀스에 대응되는 하나 이상의 출력 토큰을 결정하는 단계를 포함할 수 있다.
상기 특수 토큰은 상기 화자의 미리 정해진 음성에 대응하는 텍스트를 포함할 수 있다.
상기 특수 시퀀스 및 상기 입력 시퀀스를 인식하는 단계는 상기 특수 시퀀스 및 상기 입력 시퀀스를 인코딩하여 인코딩된 특징을 생성하는 단계; 및 상기 인코딩된 특징 및 상기 특수 시퀀스에 대응되는 특수 토큰에 기초하여 상기 입력 시퀀스에 대응되는 하나 이상의 출력 토큰을 결정하는 단계를 포함할 수 있다.
상기 특수 시퀀스 및 상기 입력 시퀀스를 인식하는 단계는 상기 특수 시퀀스 및 상기 입력 시퀀스를 인코더-디코더 구조의 단대단(End-to-End) 인공신경망에 입력하여, 상기 특수 시퀀스 및 상기 입력 시퀀스에 대응되는 음성 인식 결과를 출력하는 단계를 포함할 수 있다.
상기 인코더-디코더 구조의 댄대단 인공신경망의 디코더는 매 스텝 인코더로부터 계산된 정보를 바탕으로 이전 스텝들의 음성 인식 결과에 종속되어 상기 음성 인식 결과를 출력할 수 있다.
상기 인공신경망은 순환 신경망(RNN; Recurrent Neural Network), 합성곱 신경망(CNN; Convolutional Neural Network) 및 셀프 어텐션 신경망(SANN; Self-Attention Neural Network) 중 적어도 하나를 포함할 수 있다.
상기 입력 시퀀스를 인식하는 단계는 상기 특수 시퀀스 및 상기 입력 시퀀스에 대응되는 음성 인식 결과에서, 상기 특수 시퀀스에 대응되는 음성 인식 결과를 제외하는 단계를 포함할 수 있다.
상기 특수 시퀀스는 상기 화자의 미리 정해진 음성 중 일부로부터 추출된 적어도 하나의 특징 벡터를 포함하고, 상기 특수 시퀀스 및 상기 입력 시퀀스를 인식하는 단계는 상기 특수 시퀀스 및 상기 입력 시퀀스를 인코더-디코더 구조의 단대단(End-to-End) 인공신경망의 인코더에 입력하여 인코딩된 특징을 생성하는 단계; 상기 인코딩된 특징에 기초하여 상기 특징 벡터에 대응되는 특수 토큰을 출력하는 단계를 포함하고, 상기 인공신경망은 상기 특징 벡터를 입력 받으면 상기 특수 토큰을 출력하도록 학습될 수 있다.
일 실시예에 따른 음성 인식 방법은 상기 입력 시퀀스에 노이즈만 포함된 경우, 상기 특수 시퀀스 이후 상기 입력 시퀀스를 EOS 토큰으로 인식하는 단계를 더 포함할 수 있다.
일 실시예에 따른 음성 인식 장치는 화자의 입력 음성에 대응하는 입력 시퀀스의 전단에 미리 정해진 특수 시퀀스를 부가하고, 인공 신경망을 이용하여 상기 특수 시퀀스 및 상기 입력 시퀀스를 인식하고, 상기 특수 시퀀스 및 상기 인식 결과에 기초하여, 상기 입력 시퀀스를 인식하는 프로세서를 포함한다.
상기 입력 시퀀스는 상기 입력 음성; 또는 상기 입력 음성으로부터 추출된 벡터들을 포함할 수 있다.
상기 특수 시퀀스는 상기 화자의 미리 정해진 음성; 또는 상기 미리 정해진 음성으로부터 추출된 적어도 하나의 벡터를 포함할 수 있다.
상기 프로세서는 상기 특수 시퀀스 및 상기 입력 시퀀스를 인코딩하여 인코딩된 특징을 생성하고, 상기 인코딩된 특징에 기초하여 상기 특수 시퀀스에 대응되는 특수 토큰을 출력하고, 상기 인코딩된 특징 및 상기 특수 토큰에 기초하여 상기 입력 시퀀스에 대응되는 하나 이상의 출력 토큰을 결정할 수 있다.
상기 특수 토큰은 상기 화자의 미리 정해진 음성에 대응하는 텍스트를 포함할 수 있다.
상기 프로세서는 상기 특수 시퀀스 및 상기 입력 시퀀스를 인코딩하여 인코딩된 특징을 생성하고, 상기 인코딩된 특징 및 상기 특수 시퀀스에 대응되는 특수 토큰에 기초하여 상기 입력 시퀀스에 대응되는 하나 이상의 출력 토큰을 결정할 수 있다.
상기 프로세서는 상기 특수 시퀀스 및 상기 입력 시퀀스를 인코더-디코더 구조의 단대단(End-to-End) 인공신경망에 입력하여, 상기 특수 시퀀스 및 상기 입력 시퀀스에 대응되는 음성 인식 결과를 출력할 수 있다.
상기 인코더-디코더 구조의 댄대단 인공신경망의 디코더는 매 스텝 인코더로부터 계산된 정보를 바탕으로 이전 스텝들의 음성 인식 결과에 종속되어 상기 음성 인식 결과를 출력할 수 있다.
상기 인공신경망은 순환 신경망(RNN; Recurrent Neural Network), 합성곱 신경망(CNN; Convolutional Neural Network) 및 셀프 어텐션 신경망(SANN; Self-Attention Neural Network) 중 적어도 하나를 포함할 수 있다.
상기 프로세서는 상기 특수 시퀀스 및 상기 입력 시퀀스에 대응되는 음성 인식 결과에서, 상기 특수 시퀀스에 대응되는 음성 인식 결과를 제외할 수 있다.
상기 특수 시퀀스는 상기 화자의 미리 정해진 음성 중 일부로부터 추출된 적어도 하나의 특징 벡터를 포함하고, 상기 프로세서는 상기 특수 시퀀스 및 상기 입력 시퀀스를 인코더-디코더 구조의 단대단(End-to-End) 인공신경망의 인코더에 입력하여 인코딩된 특징을 생성하고, 상기 인코딩된 특징에 기초하여 상기 특징 벡터에 대응되는 특수 토큰을 출력하고, 상기 인공신경망은 상기 특징 벡터를 입력 받으면 상기 특수 토큰을 출력하도록 학습될 수 있다.
상기 프로세서는 상기 입력 시퀀스에 노이즈만 포함된 경우 상기 특수 시퀀스 이후 상기 입력 시퀀스를 EOS 토큰으로 인식할 수 있다.
도 1은 일 실시예에 따른 음성 인식 시스템의 구성도이다.
도 2는 일 실시예에 따른 발화가 없는 구간에서 노이즈 출력을 방지하는 방법을 설명하기 위한 도면이다.
도 3a는 일 실시예에 따른 음성 인식 장치의 블록도이다.
도 3b는 일 실시예의 타 측에 따른 음성 인식 장치의 블록도이다.
도 3c는 다른 실시예에 따른 음성 인식 장치의 블록도이다.
도 4는 일 실시예에 따른 인코더-디코더 구조의 단대단 인공신경망을 갖는 음성 인식 장치의 동작을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 음성 인식 장치의 주 화자 집중 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 음성 인식 장치의 노이즈 제거 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 음성 인식 방법을 설명하기 위한 순서도이다.
도 8은 또 다른 실시예에 따른 음성 인식 장치의 하드웨어 구성도이다.
본 명세서에 개시되어 있는 특정한 구조적 또는 기능적 내용들은 단지 설명하기 위한 목적으로 예시된 것으로서, 다양한 다른 형태로 실시될 수 있다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 “~사이에”와 “바로~사이에” 또는 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 음성 인식 시스템의 구성도이다.
도 1을 참조하면, 음성 인식 시스템은 사용자 단말(110) 및 음성 인식 장치(120)를 포함할 수 있다. 도 1에 도시된 음성 인식 시스템의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 적어도 하나의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있다. 예를 들어, 도 1에는 음성 인식 장치(120)가 일종의 서버 장치인 것으로 도시되어 있으나, 실시예에 따라 음성 인식 장치(120)의 각 기능은 사용자 단말(110)에 내장되는 형태로 구현될 수 있다.
음성 인식 시스템에서, 사용자 단말(110)은 사용자로부터 음성 시퀀스(130)를 입력 받아 입력 시퀀스(130)을 음성 인식 장치(120)에 전달하고, 음성 인식 장치(120)에 의해 인식된 인식 결과(140)를 사용자에게 제공하는 단말일 수 있다. 도 1에서, 사용자 단말(110)은 스마트 폰인 것으로 도시되어 있으나, 어떠한 장치로 구현되더라도 무방하다.
음성 인식 시스템에서, 음성 인식 장치(120)는 화자의 입력 시퀀스(130)를 입력 받고 인식 결과(140)를 제공하는 컴퓨팅 장치이다. 입력 시퀀스(130)는 입력 음성과 입력 음성으로부터 추출된 입력 음성 특징 벡터를 포함할 수 있다. 입력 음성은 화자의 입력 음성 신호를 웨이브(wave) 형태로 나타낸 웨이브 파일 웨이브 파일을 주파수 형태로 나타낸 스펙트로그램(spectrogram), MFCC(Mel-Frequency Cepstral Coefficient) 등을 모두 포함하는 포괄적인 의미일 수 있다. 또한, 컴퓨팅 장치는, 노트북, 데스크톱(desktop), 랩탑(laptop), 스마트폰(smart phone) 등이 될 수 있으나, 이에 국한되는 것은 아니며 연산 수단이 구비된 모든 종류의 장치를 포함할 수 있다.
음성 인식 장치(120)는 단대단 음성 인식을 제공할 수 있다. 종래에는 음성 인식을 위해 은닉 마르코프 모델(HMM : Hidden Markov Model)을 주로 사용하였다. 이러한 HMM 기반의 음성 인식 방식은 음성 데이터로부터 발음을 분석하고, 분석된 발음에 기초하여 단어나 문장을 조합하는 과정을 거치게 된다. 발음은 발화자, 언어의 종류 등에 따라 달라질 수 있으므로, 발음을 분석하여 음성을 인식하는 데에는 많은 시행 착오를 통한 교정 작업이 수반될 수 밖에 없다. 또한, HMM 기반의 음성 인식 방식은 발음에 기초하여 음성을 인식한다는 점에서 주변 잡음에 취약한 문제점이 있다.
단대단 인공신경망 음성 인식 시스템에서는 기존 음성 인식 구현을 위해 필요한 신호처리, 발음변환, 언어모델, 디코딩 단계에 전문적인 지식이 개입하는 것을 최소화하면서 이 부분의 모델링을 신경망이 학습하게 함으로써 뛰어난 성능을 보이고 있다.
단대단 음성 인식을 제공하기 위해, 음성 인식 장치(120)는 인공 신경망으로 구성된 음향 모델을 구축하고, 구축된 음향 모델을 이용하여 입력 시퀀스(130)에 대한 인식 결과(140)를 제공할 수 있다. 인공 신경망은 예를 들어 순환 신경망(RNN; Recurrent Neural Network), 합성곱 신경망(CNN; Convolutional Neural Network), 셀프 어텐션 신경망(SANN; Self-Attention Neural Network), BRNN(Bi-directional RNN), LSTM(Long Short Term Memory), BLSTM(Bi-directional LSTM), GRU(Gated Recurrent Unit), BGRU(Bi-directional GRU) 등이 될 수 있으나, 이에 한정되는 것은 아니다.
또한, 음성 인식 장치(120)는 화자의 입력 음성에 대응하는 입력 시퀀스(130)의 전단에 화자에 대응하여 미리 정해진 특수 시퀀스를 부가하여 음성 인식을 수행할 수 있다. 나아가, 음성 인식 장치(120)는 정해지지 않은 길이의 출력을 인공신경망으로 계산하기 위해서 한 시퀀스를 구성하는 단위인 토큰(token)별로 인공 신경망의 이전의 출력을 입력으로 다음 출력을 계속 출력해 나가는 오토 리그레시브(auto-regressive) 디코딩을 수행하여, 노이즈 출력을 억제하고 주 화자 음성에 집중할 수 있다. 이에 대한 자세한 설명은 아래 도 2 내지 도 10을 참조하여 상세히 설명된다. 먼저, 이해의 편의를 제공하기 위해, 음성 인식 장치(120)의 입력 및 출력 데이터의 예에 대하여 도 2를 참조하여 간단하게 살펴보도록 한다.
도 2는 일 실시예에 따른 발화가 없는 구간에서 노이즈 출력을 방지하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 음성 인식 방법을 설명하기에 앞서, 도면(210)을 참조하여 일반적인 단대단 인공신경망 음성 인식 방법을 간략하게 설명한다. 화자의 입력 시퀀스는 0.3s~0.4s 사이의 한 지점부터 화자의 발화(예를 들어, "where are you")를 포함할 수 있다. 0~0.3s 구간은 화자의 발화가 없는 구간으로, 음성 인식 장치는 해당 구간에서 음성이 없음을 출력해야 하지만, 일반적인 단대단 인공신경망 음성 인식 시스템은 음소 단위로 실시간 디코딩을 수행하기 때문에 사용자의 발화가 없는 노이즈 구간에서도 강제적 음성 인식을 수행하고, 이로 인하여 예기치 않은 텍스트를 출력할 수 있다.
실제 발화가 없고 잡음만 있는 경우에 일반적인 단대단 인공신경망은 음성이 없음을 출력하지 못하고 잡음의 특성과 가장 비슷한 인식 결과, 예를 들어, 0~0.1s 구간에서는 "hi bixby"를, 0~0.2s 구간에서는 "hi galaxy"를, 0~0.3s 구간에서는 "turn on"를 출력할 수 있다.
위 문제를 해결하기 위해, 노이즈 데이터를 학습하는 방법이 제안되었으나, 노이즈 데이터가 추가로 필요하고, 모든 노이즈를 학습할 수 없다는 한계가 있을 수 있다.
도면(220)을 참조하면, 일 실시예에 따른 음성 인식 장치는 화자의 입력 시퀀스 전단에 미리 정해진 특수 시퀀스를 부가하여 음성 인식을 수행할 수 있고, 이전 출력 토큰이 다음 출력 토큰 결정에 영향을 미치는 오토 리그레시브(auto-regressive) 디코딩 특성 상, 노이즈 출력을 억제하고 주 화자 음성에 집중할 수 있다. 음성 인식 장치는 화자의 입력 시퀀스, 예를 들어 "Where are you" 음성 전단에 화자에 대응하여 미리 정해진 특수 시퀀스, 예를 들어 "hi"에 대응하는 화자의 음성을 부가할 수 있다. 특수 시퀀스는 화자가 실제로 발화하는 입력 음성과 달리, 음성 인식 시 입력 음성 전단에 강제로 부가되는 시퀀스로 음성 인식 장치가 명확하게 인식할 수 있는 미리 획득되어진 화자의 특수 음성 또는 미리 획득되어진 화자의 특수 음성으로부터 추출된 특수 특징 벡터를 포함할 수 있다. 예를 들어, 음성 인식 방법은 등록 단계와 테스트 단계로 구분될 수 있고, 특수 시퀀스는 등록 단계에서 미리 획득되어지고, 테스트 단계에서 자동으로 화자의 입력 음성 전단에 부가될 수 있다.
테스트 단계에서, 음성 인식 장치는 특수 시퀀스를 입력 받아 인식 결과 "hi"를 출력할 수 있다. 음성 인식 장치는 오토 리그레시브 디코딩에 따르기 때문에, 특수 시퀀스에 대한 인식 결과인 "hi"가 이후 출력에 영향을 주고 이후 출력은 "hi"를 발화한 화자의 음성에 집중될 수 있다. 따라서, 화자의 음성 특징을 갖는 토큰만이 출력될 수 있다. 디코딩 방법은 아래에서 도면 4, 5를 참조하여 상세히 설명된다.
화자의 발화가 없는 0~0.3s 구간에서 음성이 없음을 출력하지 못하고 잡음의 특성과 가장 비슷한 인식 결과를 출력한 일반적인 단대단 음성 인식 방법과는 달리, 도면(220)를 참조하면, 일 실시예에 따른 음성 인식 장치는 특수 시퀀스에 대한 인식 결과인 "hi"가 이후 출력에 영향을 주기 때문에, "hi" 이후 입력 시퀀스 내 노이즈 구간의 출력을 별도로 인식하지 않을 수 있다. 이후, 음성 인식 장치는 인식 결과인 "hi where are you"에서 "hi"를 제거하여, 최종적으로 "where are you"만을 출력할 수 있다. 이렇듯, 음성 인식 장치는 특수 시퀀스를 이용하여 간단하게 노이즈 출력을 억제하고, 주 화자 음성에 집중할 수 있다.
이상, 화자에 대응하는 특수 시퀀스를 설명하였으나, 특수 시퀀스가 반드시 화자의 특수 음성이어야 하는 것은 아니다. 예를 들어, 특수 시퀀스 "hi"에 대응하는 음성을 화자의 것이 아닌 평균적인 "hi" 음성 또는 임의의 "hi" 음성으로 대체하는 것도 가능하다. 앞서 언급한 주 화자 음성 집중의 효과는 다소 감소될 수 있으나, 노이즈 구간의 출력을 별도로 인식하지 않는 효과는 화자의 것이 아닌 특수 시퀀스를 사용하여도 획득될 수 있다.
도 3a는 일 실시예에 따른 음성 인식 장치의 블록도이다.
도 3을 참조하면, 일 실시예에 따른 음성 인식 장치는 인공신경망(310), 특징 벡터 추출 모듈(320) 및 특수 토큰 제거 모듈(330)을 포함할 수 있다. 다만, 도 3a에는 실시예와 관련 있는 구성요소들만이 도시되어 있으며, 다른 범용적인 구성 요소들이 더 포함될 수 있다. 또한, 도3a에 도시된 음성 인식 장치의 각각의 구성 요소들은 기능 및 논리적으로 분리될 수 있음을 나타나기 위해 별도로 도면에 표시한 것이며, 물리적으로 반드시 별도의 구성요소이거나 별도의 코드로 구현되는 것을 의미하는 것은 아니고, 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다. 이하, 음성 인식 장치의 각 구성 요소에 대하여 설명한다.
음성 인식 장치는 화자의 입력 음성을 수신하면, 화자의 입력 음성 전단에 미리 정해진 특수 음성을 부가할 수 있다. 특수 음성은 음성 인식 시 입력 음성 전단에 강제로 부가되는 음성으로 음성 인식 장치가 명확하게 인식할 수 있는 미리 획득되어진 화자의 음성일 수 있으며, 등록 단계에서 미리 획득될 수 있다. 이와 달리, 미리 정해진 특수 음성은 화자의 특수 음성이 아니여도 무방하다.
특징 벡터 추출 모듈(320)은 화자로부터 수신한 입력 음성으로부터 입력 특징 벡터를, 특수 음성으로부터 특수 특징 벡터를 추출할 수 있다. 음성은 복수의 프레임들 별로 정보를 포함하는 음성 신호이고, 특징 벡터는 적어도 하나의 프레임 단위로 추출된 정보의 시퀀스일 수 있으며, 다차원의 벡터로 표현될 수 있다.
인공신경망(310)은 특징 벡터 추출 모듈(320)로부터 입력 특징 벡터와 특수 특징 벡터를 입력 받고, 이에 대응하는 인식 결과를 출력할 수 있다. 인공신경망(310)은 인코더(311)와 디코더(312)를 포함하는 인코더(311)-디코더(312) 구조의 단대단 인공신경망일 수 있다. 인공 신경망은 예를 들어 순환 신경망(RNN; Recurrent Neural Network), 합성곱 신경망(CNN; Convolutional Neural Network), 셀프 어텐션 신경망(SANN; Self-Attention Neural Network), BRNN(Bi-directional RNN), LSTM(Long Short Term Memory), BLSTM(Bi-directional LSTM), GRU(Gated Recurrent Unit), BGRU(Bi-directional GRU) 등으로 구현 될 수 있으나, 이에 한정되는 것은 아니다. 인공신경망 내 레이어들의 노드들은 비선형적으로 서로 영향을 주는 관계일 수 있으며, 각 노드들로부터 출력되는 값들, 노드들 사이의 관계들 등 인공신경망의 파라미터들은 학습에 의해 최적화될 수 있다.
단대단 인코더(311)-디코더(312)는 인코더(311)와 디코더(312)가 통합된 네트워크 구조로서, 입력 특징 벡터 및 특수 특징 벡터를 입력 받아, 인식 결과의 시퀀스를 생성할 수 있다. 예를 들어, 단대단 구조로 구현된 인코더(311)와 디코더(312)는 입력 음성으로부터 입력 음성에 대응하는 인식 결과를 직접 생성할 수 있다. 인코더(311)와 디코더(312)는 입력 받은 특징 벡터로부터 인식 결과의 시퀀스를 생성하도록 미리 학습될 수 있다. 예를 들어, 인코더(311)와 디코더(312)는 입력 음성에 대응하는 정답 텍스트 쌍의 시퀀스로부터 인식 결과의 시퀀스를 생성하도록 미리 학습될 수 있다.
인코더(311)는 입력 받은 특징 벡터(입력 특징 벡터 및 특수 특징 벡터)를 인코딩하여 인코딩된 특징을 생성할 수 있다. 인코더(311)는 특징 벡터로부터 특징을 추출하여, 인코딩된 정보를 생성할 수 있다. 예를 들어, 인코더(311)는 특징 벡터의 차원(dimension)을 변환시켜, 인코딩된 정보를 생성할 수 있다.
인코딩된 특징은 디코더(312)로 인가될 수 있다. 디코더(312)는 인코딩된 특징에 기초하여 인식 결과를 생성할 수 있다. 인코딩된 특징을 수신한 디코더(312)는 토큰 단위로 인식 결과를 출력하며, 토큰은 단어, 부분단어(subword), 단일글자(character), 혹은 단일글자를 이루는 단위(한글에서 초 중 종성 등)가 될 수 있다.
디코더(312)는 매 스텝 인코더(311)로부터 계산된 정보를 바탕으로 출력 토큰을 구하는데, 이때 이전 스텝까지 선택되었던 입력 토큰들에 종속되어 구할 수 있다. 오토 리그레시브 디코딩을 수행하는 단대단 인공신경망 모델에서 출력 토큰으로 선택된 토큰이 다음 입력 토큰으로 결정될 수 있다. 디코더(312)는 각각의 단계에서 다음 토큰을 출력할 때 이전에 출력된 출력 토큰을 이용할 수 있다. 예를 들어, “저는 사람입니다.”라는 문장에서 ‘사람입니다’를 인식할 때, ‘저는’ 이라는 출력을 이용할 수 있다. 이런 특성을 오토 리그레시브 하다고 할 수 있다.
보다 구체적으로, 디코더(312)는 입력 토큰인 시작 토큰 및 인코딩된 특징에 기초하여, 특수 음성에 대응되는 하나 이상의 특수 토큰을 출력할 수 있다. 하나 이상의 특수 토큰은 특수 음성에 대응하는 텍스트일 수 있다.
특수 토큰을 출력한 디코더(312)는 특수 토큰에 기초하여 다음 출력 토큰의 후보들의 확률들을 예측할 수 있다. 스텝 i 에서 토큰 ti의 조건부 확률은 수학식1과 같이 표현 할 수 있다.
Figure pat00001
He는 인코더의 히든 리프리젠테이션(hidden representation)으로 인코딩된 특징에 해당할 수 있다. t1 내지 ti-1은 지금까지 선택되었던 입력 토큰들이고, 특히 t1은 특수 토큰일 수 있다. 수학식1과 같이, 디코더(312)는 특수 토큰에 기초하여 다음 출력 토큰을 결정하기 때문에 추후 출력 토큰들은 화자의 음성에 바이어스가 걸리게 되고, 그 결과로 주 화자 음성에 집중할 수 있다. 노이즈 출력 억제 또한 특수 토큰의 영향을 받으며, 이 결과는 특수 토큰이 화자의 음성이 아니더라도 획득 가능하다.
특수 토큰 제거 모듈(330)은 특수 음성을 포함하는 인식 결과에서 특수 토큰을 제거하여, 최종적으로 입력 음성에 대응하는 인식 결과만을 출력할 수 있다.
도 3b는 일 실시예의 타 측에 따른 음성 인식 장치의 블록도이다.
도 3b를 참조하면, 일 실시예에 따른 음성 인식 장치는 인공신경망(310), 특징 벡터 추출 모듈(321) 및 특수 토큰 제거 모듈(330)을 포함할 수 있다. 도 3a의 설명은 도 3b에도 적용 가능하므로, 중복되는 내용의 설명은 생략한다.
음성 인식 장치는 화자의 입력 음성에 특수 음성을 부가하는 대신, 입력 특징 벡터에 미리 구비된 특수 특징 벡터를 부가할 수 있다. 구체적으로, 특징 벡터 추출 모듈(321)은 화자로부터 수신한 입력 음성으로부터 입력 특징 벡터를 추출할 수 있다. 음성 인식 장치는 추출된 입력 특징 벡터에 미리 구비된 특수 특징 벡터를 부가할 수 있다. 특수 특징 벡터는 등록 단계에서 미리 획득될 수 있다. 특수 특징 벡터는 화자의 음성 특징을 포함할 수 있다.
인공신경망(310)은 특징 벡터 추출 모듈(320)로부터 입력 특징 벡터와 특수 특징 벡터를 입력 받고, 이에 대응하는 인식 결과를 출력할 수 있다.
도 3c는 다른 실시예에 따른 음성 인식 장치의 블록도이다.
도 3c를 참조하면, 일 실시예에 따른 음성 인식 장치는 인공신경망(315), 입력 특징 벡터 추출 모듈(322), 특수 특징 벡터 추출 모듈(323), 특수 토큰 제거 모듈(330) 및 출력 제어 모듈(340)을 포함할 수 있다.
음성 인식 장치는 입력 음성과 특수 음성에 각기 다른 특징 벡터 추출 모듈을 사용할 수 있다. 예를 들어, 입력 특징 벡터 추출 모듈(322)은 입력 음성으로부터 입력 특징 벡터를 추출할 수 있고, 특수 특징 벡터 추출 모듈(323)은 특수 음성으로부터 특수 특징 벡터를 추출할 수 있다. 나아가, 계산의 효율성 증대와 같은 이유로 특수 특징 벡터 추출 모듈(323)은 도 3a의 특징 벡터 추출 모듈(320)과 다른 방식으로 특징 벡터를 추출할 수 있다. 예를 들어, 특수 특징 벡터 추출 모듈(323)은 특수 음성의 일부로부터 특수 특징 벡터를 추출할 수도 있다.
인공신경망(315)은 인코더(316)와 디코더(317)를 포함하는 인코더(316)-디코더(317) 구조의 단대단 인공신경망일 수 있다. 인코더(316)는 입력 받은 특징 벡터(입력 특징 벡터 및 특수 특징 벡터)를 인코딩하여 인코딩된 특징을 생성하여 디코더(317)에 인가하고, 디코더(317)는 인코딩된 특징에 기초하여 인식 결과를 생성할 수 있다.
보다 구체적으로, 인공신경망(315)은 특수 특징 벡터를 입력 받으면 특수 토큰을 출력하도록 학습될 수 있다. 도 3a, b를 참조하여 설명한 특수 토큰은 특수 음성에 대응되는 텍스트를 의미하는 반면에, 디코더(317)가 출력하는 특수 토큰은 화자 정보만을 포함할 뿐, 특수 음성에 대응되는 텍스트를 출력하지 않을 수 있다. 예를 들어, 도 3a의 인공신경망(310)은 입력 음성에 대응하는 정답 텍스트 쌍의 시퀀스로부터 인식 결과의 시퀀스를 생성하도록 미리 학습되어 있기 때문에, 특수 음성에 대응되는 특수 토큰을 별도로 학습할 필요가 없을 수 있다. 하지만, 인공신경망(315)는 도 3a의 인공신경망(310)에서 학습되지 않은 형태의 특수 특징 벡터를 입력 받기 때문에, 인공신경망(315)은 특수 특징 벡터를 입력 받으면 그에 대응되는 특수 토큰을 출력하도록 학습되어야 할 수 있다. 이하에서, 특수 특징 벡터와 이에 대응되는 특수 토큰을 도 3a, b에서 설명한 특수 특징 벡터, 특수 토큰과 구분하기 위해 각각 보이스 아이디 특징 벡터, 보이스 아이디 토큰이라 지칭한다.
보이스 아이디 특징 벡터를 입력 받은 인공신경망(315)는 보이스 아이디 토큰을 출력할 수 있다. 출력 제어 모듈(340)은 보이스 아이디 토큰이 출력되면 해당 토큰에 화자 정보에 대한 바이어스를 걸어줄 수 있다. 디코더(317)는 화자 정보가 바이어스된 보이스 아이디 토큰에 기초하여 다음 출력 토큰의 후보들의 확률들을 예측할 수 있다. 디코더(317)는 보이스 아이디 토큰에 기초하여 다음 출력 토큰의 후보들의 확률들을 예측하기 때문에 추후 출력 토큰들은 화자의 음성에 바이어스가 걸리게 되고, 그 결과로 음성 인식 장치는 노이즈 출력을 억제하고, 주 화자 음성에 집중할 수 있다.
특수 토큰 제거 모듈(330)은 특수 음성을 포함하는 인식 결과에서 특수 토큰을 제거하여, 최종적으로 입력 음성에 대응하는 인식 결과만을 출력할 수 있다.
도 4는 일 실시예에 따른 인코더-디코더 구조의 단대단 인공신경망을 갖는 음성 인식 장치의 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 일 실시예에 따른 인공신경망(400)은 인코더(410) 및 디코더(420)를 포함할 수 있다.
인공신경망(400)은 인코더(410)-디코더(420) 구조의 단대단 인공신경망으로, 모델의 모든 매개변수가 하나의 손실함수에 대해 동시에 훈련되는 경로가 가능하기 때문에, 인코더(410)와 디코더(420)가 동시에 학습될 수 있다. 인공신경망(400)은 한쪽 끝에서 입력을 받고 다른 쪽 끝에서 출력을 생성하는데, 입력 및 출력을 직접 고려하여 네트워크 가중치를 최적화할 수 있다.
음성 인식 장치는 음성(411)으로부터 특징 벡터(412)를 추출할 수 있다. 음성(411)은 입력 음성과 특수 음성을 포함하고, 특징 벡터(412)는 입력 음성 벡터와 특수 특징 벡터를 포함할 수 있다. 이하, 설명의 편의를 위하여 특수 음성이 "hi"인 경우의 실시예를 설명한다.
인코더(410)는 특징 벡터(412)를 인코딩하여 인코딩된 특징(413)을 생성할 수 있다. 인코더(410)는 음성 특징(413)의 차원(dimension)을 변환시켜, 인코딩된 정보를 생성할 수 있다. 인코딩된 특징(413)은 인공신경망의 디코더(420)로 인가될 수 있다. 디코더(420)는 토큰 단위로, 인코딩된 특징(413)과 이전에 결정된 인식 결과 기초하여 출력 토큰을 결정할 수 있다.
보다 구체적으로, 인공신경망(400)의 디코더(420)는 입력 토큰인 시작 토큰 및 인코딩된 특징(413)을 디코딩하여 특수 음성에 대응되는 하나 이상의 특수 토큰 "hi"를 출력할 수 있다. "hi"를 출력한 디코더(420)는 특수 토큰 "hi"에 기초하여 다음 출력 토큰의 후보들의 확률들을 예측할 수 있고, 확률이 가장 높은 후보 토큰을 다음 출력 토큰으로 결정할 수 있다. 예를 들어, "hi"를 출력 토큰으로 결정한 디코더(420)는 "hi"를 다음 입력 토큰으로 결정할 수 있다.
인공신경망(450)의 디코더(421)는 디코더(420)과 달리, 시작 토큰 및 인코딩된 특징(413)을 디코딩하여 특수 음성에 대응되는 하나 이상의 특수 토큰 "hi"를 출력하는 단계를 생략할 수 있다. 디코더(421)는 디코딩을 통해 특수 토큰을 따로 출력하지 않고, 특수 토큰을 미리 구비하여 다음 입력 토큰으로 입력할 수 있다. 일 실시예에 따른 음성 인식 장치는 특수 토큰을 추후 입력 토큰으로 사용하는 것이 목적이기 때문에, 디코더(421)와 같이 미리 구비된 특수 토큰을 다음 입력 토큰으로 직접 입력하여도 디코더(420)와 동일하게 출력하면서, 계산의 효율성을 증대 시킬 수 있다. 도 3a의 인공신경망(310)과 도 3c의 인공신경망(350)은 인공신경망(400) 뿐만 아니라 인공신경망(450)도 포함할 수 있다.
도 5는 일 실시예에 따른 음성 인식 장치의 주 화자 집중 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 일 실시예에 따른 음성 인식 장치는 주 화자의 입력 음성 뿐만 아니라 다른 화자의 입력 음성도 수신하는 경우가 있을 수 있다. 다른 화자를 주 화자와 구별하기 위하여 부 화자라고 지칭할 수 있고, 부 화자는 하나 이상일 수 있다. 예를 들어, 텔레비전 소리가 나오는 환경에서 음성 인식을 하는 경우, 의도치 않게 텔레비전 소리가 음성 인식 장치에 입력될 수 있고, 이 경우 텔레비전 소리가 부 화자일 수 있다. 이하에서, 설명의 편의를 위해 주 화자의 입력 음성은 "where are you"이고, 부 화자의 입력 음성은 "braking news today prime mini.." 인 경우의 실시예를 설명한다.
도면(510)은 일반적인 음성 인식 장치의 인식 결과를 도시한 것으로, 부 화자 입력 음성이 주 화자 입력 음성보다 먼저 입력되는 경우, 부 화자 입력 음성에 바이어스가 걸려 부 화자 입력 음성에 대응되는 텍스트 "braking news today prime mini.."가 출력될 수 있다.
도면(520)은 일 실시예에 따른 음성 인식 장치의 인식 결과를 도시한 것으로, 부 화자 입력 음성이 주 화자 입력 음성보다 먼저 입력되지만, 음성 인식 장치는 부 화자 입력 음성이 입력되기 전에 주 화자에 대응하는 특수 음성을 부가하여 주 화자 입력 음성에 대응되는 텍스트를 출력할 수 있다. 일 실시예에 따른 음성 인식 장치는 부 화자 입력 음성 전단에 주 화자에 대응하는 특수 음성을 부가하였기 때문에 특수 음성에 대응되는 인식 결과 "hi"를 출력하며, 이 후 "hi"에 기초하여 다음 출력 토큰의 후보들의 확률들을 예측할 수 있다. 이에, 추후 출력 토큰들은 주 화자의 음성에 바이어스가 걸리게 되고, 그 결과로 음성 인식 장치는 주 화자 음성에 집중하게 되고, 주 화자 입력 음성에 대응되는 텍스트 "where are you"를 출력할 수 있다.
도 6은 일 실시예에 따른 음성 인식 장치의 노이즈 제거 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 일 실시예에 따른 음성 인식 장치는 노이즈 음성(611)이 포함된 입력 음성(610)을 수신할 수 있다. 음성 인식 장치는 입력 특징 벡터(630) 전단에 특수 특징 벡터(620)를 부가할 수 있다. 입력 특징 벡터(630)는 노이즈 음성(611)에 대응되는 특징 벡터 부분(631)을 포함할 수 있다.
음성 인식 장치는 특수 특징 벡터(620)에 대응되는 특수 토큰을 출력할 수 있고, 오토 리그레시브한 특성에 따라 화자의 음성에 집중하게 되어, 노이즈 음성(611)은 무시되어 노이즈 음성(611)에 대응하는 텍스트는 출력되지 않을 수 있다. 이는 셀프 어텐션 가중치(640)에서도 알 수 있다. 전체 셀프 어텐션 가중치(640)에서 노이즈 음성(611)에 대응되는 셀프 어텐션 가중치(641)는 0일 수 있다.
도 7은 일 실시예에 따른 음성 인식 방법을 설명하기 위한 순서도이다.
도 7를 참조하면, 단계들(710 내지 730)은 도 1 내지 도 6을 참조하여 전술된 음성 인식 장치에 의해 수행된다. 음성 인식 장치는 하나 또는 그 이상의 하드웨어 모듈, 하나 또는 그 이상의 소프트웨어 모듈, 또는 이들의 다양한 조합에 의하여 구현될 수 있다.
단계(710)에서, 음성 인식 장치는 화자의 입력 음성에 대응하는 입력 시퀀스의 전단에 미리 정해진 특수 시퀀스를 부가한다. 입력 시퀀스는 입력 음성 또는 입력 음성으로부터 추출된 벡터들을 포함할 수 있고, 특수 시퀀스는 화자의 미리 정해진 음성 또는 상기 미리 정해진 음성으로부터 추출된 적어도 하나의 벡터를 포함할 수 있다.
단계(720)에서, 음성 인식 장치는 특수 시퀀스 및 입력 시퀀스를 인식한다. 음성 인식 장치는 특수 시퀀스 및 입력 시퀀스를 인코딩하여 인코딩된 특징을 생성할 수 있고, 인코딩된 특징에 기초하여 특수 시퀀스에 대응되는 하나 이상의 특수 토큰을 출력할 수 있고, 인코딩된 특징 및 특수 토큰에 기초하여 입력 시퀀스에 대응되는 하나 이상의 출력 토큰을 결정할 수 있다. 특수 토큰은 화자의 미리 정해진 음성에 대응하는 텍스트를 포함할 수 있다.
음성 인식 장치는 특수 시퀀스 및 입력 시퀀스를 인코딩하여 인코딩된 특징을 생성할 수 있고, 인코딩된 특징 및 특수 시퀀스에 대응되는 특수 토큰에 기초하여 입력 시퀀스에 대응되는 하나 이상의 출력 토큰을 결정할 수 있다.
음성 인식 장치는 특수 시퀀스 및 입력 시퀀스를 인코더-디코더 구조의 단대단 인공신경망에 입력하여, 특수 시퀀스 및 입력 시퀀스에 대응되는 음성 인식 결과를 출력할 수 있다. 인공신경망은 매 스텝 인코더로부터 계산된 정보를 바탕으로 이전 스텝들의 음성 인식 결과에 종속되어 음성 인식 결과를 출력할 수 있다.
단계(730)에서, 음성 인식 장치는 특수 시퀀스 및 음성 인식 결과에 기초하여, 입력 시퀀스를 인식한다. 음성 인식 장치는 특수 시퀀스 및 입력 시퀀스에 대응되는 음성 인식 결과에서, 특수 시퀀스에 대응되는 음성 인식 결과를 제외하여 입력 시퀀스 인식 결과를 출력할 수 있다.
도 8은 또 다른 실시예에 따른 음성 인식 장치의 하드웨어 구성도이다.
도 8을 참조하면, 음성 인식 장치는 하나 이상의 프로세서(810), 버스(840), 네트워크 인터페이스(850), 프로세서(810)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(820)와, 음성 인식 소프트웨어(830)를 저장하는 스토리지(860)를 포함할 수 있다.
프로세서(810)는 음성 인식 장치의 각 구성의 전반적인 동작을 제어한다. 프로세서(810)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 해당 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(810)는 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 음성 인식 장치는 하나 이상의 프로세서를 구비할 수 있다.
메모리(820)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(820)는 실시예들에 따른 음성 인식 방법을 실행하기 위하여 스토리지(860)로부터 음성 인식 소프트웨어(830)를 로드할 수 있다. 도 8에서 메모리(820)의 예시로 RAM이 도시되었다.
버스(840)는 음성 인식 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(840)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
네트워크 인터페이스(850)는 음성 인식 장치의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(850)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 네트워크 인터페이스(850)는 해당 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.
스토리지(860)는 음성 인식 소프트웨어(830)를 비임시적으로 저장할 수 있다.
스토리지(860)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 해당 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
음성 인식 소프트웨어(830)는 실시예에 따른 음성 인식 방법을 수행하여 인공신경망 기반의 음향 모델을 구축하고, 음향 모델을 이용하여 인식 대상 음성 데이터에 대한 최종 텍스트를 출력할 수 있다.
구체적으로, 음성 인식 소프트웨어(830)는 메모리(820)에 로드되어, 하나 이상의 프로세서(810)에 의해, 화자의 입력 음성에 대응하는 입력 시퀀스의 전단에 미리 정해진 특수 시퀀스를 부가하고, 특수 시퀀스 및 입력 시퀀스를 인식하고, 특수 시퀀스 및 음성 인식 결과에 기초하여, 입력 시퀀스를 인식할 수 있다. 또한, 프로세서(810)는 특수 시퀀스 및 입력 시퀀스를 인코딩하여 인코딩된 특징을 생성하고, 인코딩된 특징에 기초하여 특수 시퀀스에 대응되는 특수 토큰을 출력하고, 인코딩된 특징 및 특수 토큰에 기초하여 입력 시퀀스에 대응되는 하나 이상의 출력 토큰을 결정할 수 있다. 또한, 프로세서는 특수 시퀀스 및 입력 시퀀스를 인코딩하여 인코딩된 특징을 생성하고, 인코딩된 특징 및 특수 시퀀스에 대응되는 특수 토큰에 기초하여 입력 시퀀스에 대응되는 하나 이상의 출력 토큰을 결정할 수 있다. 또한, 프로세서는 특수 시퀀스 및 입력 시퀀스를 인코더-디코더 구조의 단대단(End-to-End) 인공신경망에 입력하여, 특수 시퀀스 및 입력 시퀀스에 대응되는 음성 인식 결과를 출력할 수 있다. 또한 프로세서는 특수 시퀀스 및 입력 시퀀스에 대응되는 음성 인식 결과에서, 특수 시퀀스에 대응되는 음성 인식 결과를 제외할 수 있다. 또한, 프로세서는 특수 시퀀스 이후 입력 시퀀스 구간은 EOS 토큰으로 인식할 수 있다. 일 예로, 입력 시퀀스에 노이즈만 있는 경우 특수 시퀀스의 이후 부분(예를 들어, 도 2의 실시예에서 노이즈만 포함하는 0~0.3s 구간)을 EOS 토큰으로 인식할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (27)

  1. 화자의 입력 음성에 대응하는 입력 시퀀스의 전단에 미리 정해진 특수 시퀀스를 부가하는 단계;
    인공 신경망을 이용하여 상기 특수 시퀀스 및 상기 입력 시퀀스를 인식하는 단계; 및
    상기 특수 시퀀스 및 상기 인식 결과에 기초하여, 상기 입력 시퀀스를 인식하는 단계
    를 포함하는 음성 인식 방법.
  2. 제1항에 있어서,
    상기 입력 시퀀스는
    상기 입력 음성 또는 상기 입력 음성으로부터 추출된 벡터들을 포함하는, 음성 인식 방법.
  3. 제1항에 있어서,
    상기 특수 시퀀스는
    상기 화자의 미리 정해진 음성 또는 상기 미리 정해진 음성으로부터 추출된 적어도 하나의 벡터를 포함하는, 음성 인식 방법.
  4. 제1항에 있어서,
    상기 특수 시퀀스는 임의의 화자의 미리 정해진 음성인, 음성 인식 방법.
  5. 제1항에 있어서,
    상기 특수 시퀀스는 hi인, 음성 인식 방법.
  6. 제1항에 있어서,
    상기 특수 시퀀스 및 상기 입력 시퀀스를 인식하는 단계는
    상기 특수 시퀀스 및 상기 입력 시퀀스를 인코딩하여 인코딩된 특징을 생성하는 단계;
    상기 인코딩된 특징에 기초하여 상기 특수 시퀀스에 대응되는 하나 이상의 특수 토큰을 출력하는 단계; 및
    상기 인코딩된 특징 및 상기 특수 토큰에 기초하여 상기 입력 시퀀스에 대응되는 하나 이상의 출력 토큰을 결정하는 단계
    를 포함하는, 음성 인식 방법.
  7. 제6항에 있어서,
    상기 특수 토큰은
    상기 화자의 미리 정해진 음성에 대응하는 텍스트를 포함하는, 음성 인식 방법.
  8. 제1항에 있어서,
    상기 특수 시퀀스 및 상기 입력 시퀀스를 인식하는 단계는
    상기 특수 시퀀스 및 상기 입력 시퀀스를 인코딩하여 인코딩된 특징을 생성하는 단계; 및
    상기 인코딩된 특징 및 상기 특수 시퀀스에 대응되는 특수 토큰에 기초하여 상기 입력 시퀀스에 대응되는 하나 이상의 출력 토큰을 결정하는 단계
    를 포함하는, 음성 인식 방법.
  9. 제1항에 있어서,
    상기 특수 시퀀스 및 상기 입력 시퀀스를 인식하는 단계는
    상기 특수 시퀀스 및 상기 입력 시퀀스를 인코더-디코더 구조의 단대단(End-to-End) 인공신경망에 입력하여, 상기 특수 시퀀스 및 상기 입력 시퀀스에 대응되는 음성 인식 결과를 출력하는 단계
    를 포함하는, 음성 인식 방법.
  10. 제9항에 있어서,
    상기 인코더-디코더 구조의 댄대단 인공신경망의 디코더는
    매 스텝 인코더로부터 계산된 정보를 바탕으로 이전 스텝들의 음성 인식 결과에 종속되어 상기 음성 인식 결과를 출력하는, 음성 인식 방법.
  11. 제9항에 있어서,
    상기 인공신경망은
    순환 신경망(RNN; Recurrent Neural Network), 합성곱 신경망(CNN; Convolutional Neural Network) 및 셀프 어텐션 신경망(SANN; Self-Attention Neural Network) 중 적어도 하나를 포함하는, 음성 인식 방법.
  12. 제1항에 있어서,
    상기 입력 시퀀스를 인식하는 단계는
    상기 특수 시퀀스 및 상기 입력 시퀀스에 대응되는 음성 인식 결과에서, 상기 특수 시퀀스에 대응되는 음성 인식 결과를 제외하는 단계
    를 포함하는, 음성 인식 방법.
  13. 제1항에 있어서,
    상기 특수 시퀀스는
    상기 화자의 미리 정해진 음성 중 일부로부터 추출된 적어도 하나의 특징 벡터를 포함하고,
    상기 특수 시퀀스 및 상기 입력 시퀀스를 인식하는 단계는
    상기 특수 시퀀스 및 상기 입력 시퀀스를 인코더-디코더 구조의 단대단(End-to-End) 인공신경망의 인코더에 입력하여 인코딩된 특징을 생성하는 단계;
    상기 인코딩된 특징에 기초하여 상기 특징 벡터에 대응되는 특수 토큰을 출력하는 단계
    를 포함하고,
    상기 인공신경망은
    상기 특징 벡터를 입력 받으면 상기 특수 토큰을 출력하도록 학습되는, 음성 인식 방법.
  14. 제1항에 있어서,
    상기 입력 시퀀스에 노이즈만 포함된 경우
    상기 특수 시퀀스 이후 상기 입력 시퀀스를 EOS 토큰으로 인식하는 단계
    를 더 포함하는, 음성 인식 방법.
  15. 하드웨어와 결합되어 제1항 내지 제14항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  16. 화자의 입력 음성에 대응하는 입력 시퀀스의 전단에 미리 정해진 특수 시퀀스를 부가하고, 인공 신경망을 이용하여 상기 특수 시퀀스 및 상기 입력 시퀀스를 인식하고, 상기 특수 시퀀스 및 상기 인식 결과에 기초하여, 상기 입력 시퀀스를 인식하는 프로세서
    를 포함하는 음성 인식 장치.
  17. 제16항에 있어서,
    상기 입력 시퀀스는
    상기 입력 음성; 또는 상기 입력 음성으로부터 추출된 벡터들을 포함하는, 음성 인식 방법.
  18. 제16항에 있어서,
    상기 특수 시퀀스는
    상기 화자의 미리 정해진 음성; 또는 상기 미리 정해진 음성으로부터 추출된 적어도 하나의 벡터를 포함하는, 음성 인식 방법.
  19. 제16항에 있어서,
    상기 프로세서는
    상기 특수 시퀀스 및 상기 입력 시퀀스를 인코딩하여 인코딩된 특징을 생성하고, 상기 인코딩된 특징에 기초하여 상기 특수 시퀀스에 대응되는 특수 토큰을 출력하고, 상기 인코딩된 특징 및 상기 특수 토큰에 기초하여 상기 입력 시퀀스에 대응되는 하나 이상의 출력 토큰을 결정하는, 음성 인식 장치.
  20. 제16항에 있어서,
    상기 특수 토큰은
    상기 화자의 미리 정해진 음성에 대응하는 텍스트를 포함하는, 음성 인식 장치.
  21. 제16항에 있어서,
    상기 프로세서는
    상기 특수 시퀀스 및 상기 입력 시퀀스를 인코딩하여 인코딩된 특징을 생성하고, 상기 인코딩된 특징 및 상기 특수 시퀀스에 대응되는 특수 토큰에 기초하여 상기 입력 시퀀스에 대응되는 하나 이상의 출력 토큰을 결정하는, 음성 인식 장치.
  22. 제16항에 있어서,
    상기 프로세서는
    상기 특수 시퀀스 및 상기 입력 시퀀스를 인코더-디코더 구조의 단대단(End-to-End) 인공신경망에 입력하여, 상기 특수 시퀀스 및 상기 입력 시퀀스에 대응되는 음성 인식 결과를 출력하는, 음성 인식 장치.
  23. 제22항에 있어서,
    상기 인코더-디코더 구조의 댄대단 인공신경망의 디코더는
    매 스텝 인코더로부터 계산된 정보를 바탕으로 이전 스텝들의 음성 인식 결과에 종속되어 상기 음성 인식 결과를 출력하는, 음성 인식 장치.
  24. 제22항에 있어서,
    상기 인공신경망은
    순환 신경망(RNN; Recurrent Neural Network), 합성곱 신경망(CNN; Convolutional Neural Network) 및 셀프 어텐션 신경망(SANN; Self-Attention Neural Network) 중 적어도 하나를 포함하는, 음성 인식 장치.
  25. 제16항에 있어서,
    상기 프로세서는
    상기 특수 시퀀스 및 상기 입력 시퀀스에 대응되는 음성 인식 결과에서, 상기 특수 시퀀스에 대응되는 음성 인식 결과를 제외하는, 음성 인식 장치.
  26. 제16항에 있어서,
    상기 특수 시퀀스는
    상기 화자의 미리 정해진 음성 중 일부로부터 추출된 적어도 하나의 특징 벡터를 포함하고,
    상기 프로세서는
    상기 특수 시퀀스 및 상기 입력 시퀀스를 인코더-디코더 구조의 단대단(End-to-End) 인공신경망의 인코더에 입력하여 인코딩된 특징을 생성하고, 상기 인코딩된 특징에 기초하여 상기 특징 벡터에 대응되는 특수 토큰을 출력하고,
    상기 인공신경망은
    상기 특징 벡터를 입력 받으면 상기 특수 토큰을 출력하도록 학습되는, 음성 인식 장치.
  27. 제22항에 있어서,
    상기 프로세서는
    상기 입력 시퀀스에 노이즈만 포함된 경우,
    상기 특수 시퀀스 이후 상기 입력 시퀀스를 EOS 토큰으로 인식하는, 음성 인식 장치.
KR1020190141750A 2019-04-05 2019-11-07 음성 인식 방법 및 장치 KR20200117826A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/787,701 US11501761B2 (en) 2019-04-05 2020-02-11 Method and apparatus for speech recognition
CN202010186974.9A CN111816164A (zh) 2019-04-05 2020-03-17 用于语音识别的方法及设备
EP20165895.2A EP3719797B1 (en) 2019-04-05 2020-03-26 Method and apparatus for speech recognition
JP2020067912A JP7291099B2 (ja) 2019-04-05 2020-04-03 音声認識方法及び装置
US17/986,000 US20230076073A1 (en) 2019-04-05 2022-11-14 Method and apparatus for speech recognition

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190040120 2019-04-05
KR20190040120 2019-04-05

Publications (1)

Publication Number Publication Date
KR20200117826A true KR20200117826A (ko) 2020-10-14

Family

ID=72847287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190141750A KR20200117826A (ko) 2019-04-05 2019-11-07 음성 인식 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20200117826A (ko)
CN (1) CN111816164A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110970031B (zh) * 2019-12-16 2022-06-24 思必驰科技股份有限公司 语音识别系统及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10170114B2 (en) * 2013-05-30 2019-01-01 Promptu Systems Corporation Systems and methods for adaptive proper name entity recognition and understanding
KR20140147587A (ko) * 2013-06-20 2014-12-30 한국전자통신연구원 Ｗｆｓｔ를 이용한 음성 끝점 검출 장치 및 방법
US10438581B2 (en) * 2013-07-31 2019-10-08 Google Llc Speech recognition using neural networks
US9378735B1 (en) * 2013-12-19 2016-06-28 Amazon Technologies, Inc. Estimating speaker-specific affine transforms for neural network based speech recognition systems
US11080591B2 (en) * 2016-09-06 2021-08-03 Deepmind Technologies Limited Processing sequences using convolutional neural networks
US20180174576A1 (en) * 2016-12-21 2018-06-21 Google Llc Acoustic-to-word neural network speech recognizer
US11164570B2 (en) * 2017-01-17 2021-11-02 Ford Global Technologies, Llc Voice assistant tracking and activation
JP6812843B2 (ja) * 2017-02-23 2021-01-13 富士通株式会社 音声認識用コンピュータプログラム、音声認識装置及び音声認識方法
CN107054144B (zh) * 2017-04-28 2020-03-06 北京新能源汽车股份有限公司 一种电动汽车的控制方法、装置及电动汽车
US10170112B2 (en) * 2017-05-11 2019-01-01 Google Llc Detecting and suppressing voice queries
CN107180632A (zh) * 2017-06-19 2017-09-19 微鲸科技有限公司 语音控制方法、装置及可读存储介质
US10770094B2 (en) * 2018-01-09 2020-09-08 Intel IP Corporation Routing audio streams based on semantically generated result sets

Also Published As

Publication number Publication date
CN111816164A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
US10741170B2 (en) Speech recognition method and apparatus
JP6980119B2 (ja) 音声認識方法、並びにその装置、デバイス、記憶媒体及びプログラム
US11158305B2 (en) Online verification of custom wake word
US10319373B2 (en) Information processing device, information processing method, computer program product, and recognition system
KR20190002812A (ko) 음성 인식 방법 및 그 장치
KR102443087B1 (ko) 전자 기기 및 그의 음성 인식 방법
JP3459712B2 (ja) 音声認識方法及び装置及びコンピュータ制御装置
CN112102815A (zh) 语音识别方法、装置、计算机设备和存储介质
KR102094935B1 (ko) 음성 인식 시스템 및 방법
JP2023545988A (ja) トランスフォーマトランスデューサ：ストリーミング音声認識と非ストリーミング音声認識を統合する１つのモデル
KR20210014949A (ko) 음성 인식을 위한 인공신경망에서의 디코딩 방법 및 장치
KR20170007107A (ko) 음성인식 시스템 및 방법
KR20220130565A (ko) 키워드 검출 방법 및 장치
JP2020042257A (ja) 音声認識方法及び装置
WO2019126881A1 (en) System and method for tone recognition in spoken languages
US11295733B2 (en) Dialogue system, dialogue processing method, translating apparatus, and method of translation
CN113674733A (zh) 用于说话时间估计的方法和设备
US20230076073A1 (en) Method and apparatus for speech recognition
KR20200117826A (ko) 음성 인식 방법 및 장치
US20220301578A1 (en) Method and apparatus with decoding in neural network for speech recognition
US20180025723A1 (en) Generation device, recognition system, and generation method for generating finite state transducer
KR20210052563A (ko) 문맥 기반의 음성인식 서비스를 제공하기 위한 방법 및 장치
JP2003271180A (ja) 音声処理装置および音声処理方法、並びにプログラムおよび記録媒体
KR20140051519A (ko) 연속어 음성인식 방법 및 연속어 음성인식 장치
WO2022226782A1 (en) Keyword spotting method based on neural network

Legal Events

Date Code Title Description
A201 Request for examination