KR20150134993A - 디바이스 정보를 이용하는 음성인식 방법 및 장치 - Google Patents
디바이스 정보를 이용하는 음성인식 방법 및 장치 Download PDFInfo
- Publication number
- KR20150134993A KR20150134993A KR1020140062586A KR20140062586A KR20150134993A KR 20150134993 A KR20150134993 A KR 20150134993A KR 1020140062586 A KR1020140062586 A KR 1020140062586A KR 20140062586 A KR20140062586 A KR 20140062586A KR 20150134993 A KR20150134993 A KR 20150134993A
- Authority
- KR
- South Korea
- Prior art keywords
- acoustic model
- voice
- voice data
- data
- recognition
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 230000006978 adaptation Effects 0.000 claims description 106
- 230000003044 adaptive effect Effects 0.000 claims description 57
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Telephonic Communication Services (AREA)
Abstract
적어도 하나 이상의 음향 모델을 저장하고, 외부의 디바이스로부터 상기 디바이스를 식별할 수 있는 디바이스 ID를 획득하고, 상기 디바이스로부터 음성 데이터를 획득하고, 상기 디바이스 ID에 기초하여 음향 모델을 선택하고, 상기 선택된 음향 모델, 문법적 모델인 언어 모델, 및 발음에 관한 사전을 이용하여 상기 음성 데이터에 대하여 음성인식을 수행하고, 상기 음성인식의 결과를 출력하는, 디바이스 정보를 이용하는 음성인식 방법이 개시된다.
Description
본 발명의 실시예들은 음성인식 방법 및 장치에 관한 것으로, 디바이스 정보를 이용하여 해당 디바이스에 적합한 음향 모델을 적응 기법을 이용하여 생성하고, 생성된 음향 모델을 사용하여 음성인식을 행하는 음성인식 방법 및 장치에 관한 것이다.
음성인식은 사용자의 음성을 입력받아 자동으로 문자로 변환하여 인식하는 기술이다. 근래에 들어 스마트폰이나 TV 등에서 키보드 입력을 대체하기 위한 인터페이스 기술로써 음성인식이 사용되고 있다.
음성인식 시스템은 음성 신호를 입력받는 부분인 클라이언트(Client)와 음성 신호로부터 음성인식을 수행하는 부분인 ASR 엔진(Automatic Speech Recognition engine)으로 나눌 수 있는데, 이 두 개의 구성은 서로 떨어져서 디자인될 수 있다. 이 경우, 스마트폰이나 TV 등은 클라이언트, ASR 엔진은 서버 형태로 구성이 가능하다.
음성인식 시스템은 일반적으로 음향 모델(Acoustic Model, AM)과 언어 모델(Language Model, LM)로 구성된다. 음향 모델은 음성신호의 모델로 구성되며 많은 양의 음성 데이터를 수집하여 통계적인 방법을 통하여 모델을 생성하게 된다. 언어 모델은 사용자 발화에 대한 문법적 모델로서 이 또한 많은 양의 텍스트 데이터를 수집하여 통계적 학습을 통하여 얻어진다.
음향 모델과 언어 모델의 성능을 보장하기 위해서는 많은 양의 데이터 수집이 필요하며, 이렇게 불특정 다수의 발화로부터 모델을 구성하는 경우에 화자 독립(Speaker independent) 모델을 구성하였다고 말한다. 반대로 특정한 화자로부터 데이터를 수집하여 모델을 구성하는 경우에 화자 종속(Speaker dependent) 모델을 구성할 수 있고, 충분한 데이터를 수집할 수 있다면 화자 종속 모델은 화자 독립 모델에 비해 더 높은 성능을 가지게 된다.
특정 화자에 대한 성능을 보장할 수 있을 만큼의 충분한 데이터를 수집하는 것은 현실적으로 어려운 점이 많이 있기에 적절한 양의 데이터를 이용하여 기존에 생성된 화자 독립 음향 모델을 효율적으로 변경하는 방법이 고안되었다. 이러한 방법을 음향 모델의 화자 적응(Speaker adaptation)이라고 한다.
음향 모델의 화자 적응을 적용하기 위해서는 특정 화자의 데이터를 수집하는 과정이 필요하다. 종래의 기술은 이를 위하여 특정 화자의 등록 과정을 통한 데이터 수집 과정을 채용해 왔다.
일 예를 들면 최초 사용자는 음성인식 서비스를 이용하기 위하여 자신의 계정을 생성하고 사용자 등록 프로세스를 진행하는 방식이다. 사용자 등록 프로세스는 사용자로 하여금 알려진 문장을 읽도록 하는 방식이 있을 수 있으며, 이 경우 정확한 데이터를 얻을 수 있으나 사용자 편의와는 무관한 요구를 사용자에게 함으로써 불편함을 초래할 수 있다.
다른 방법으로는 최초 사용자 계정이 생성된 후에 바로 음성인식을 할 수 있게 하고, 이때 얻은 데이터를 이용하여 화자 적응을 수행하는 방법이다. 이 경우 최초 사용자의 두 번째 발화부터 화자 적응이 시작되거나, 이후 두 번째 서비스 접속부터 화자 적응 모델이 적용된다.
본 발명의 실시예들은, 서버-클라이언트 음성인식 환경에서 사용할 수 있는 새로운 음향 모델 적응 기법을 제시하기 위한 것이다.
본 발명의 일 실시예의 일 측면에 따르면, 음성인식 서버는, 적어도 하나 이상의 음향 모델을 저장하는 음향 모델 데이터베이스, 문법적 모델인 언어 모델과 발음에 관한 사전을 저장하는 언어 모델 및 사전, 외부의 디바이스로부터 상기 디바이스를 식별할 수 있는 디바이스 ID 및 음성 데이터를 수신하는 수신부, 및 상기 디바이스 ID에 기초하여 음향 모델을 선택하고, 상기 선택된 음향 모델, 상기 언어 모델 및 사전을 이용하여 상기 음성 데이터에 대하여 음성인식을 수행하고, 상기 음성인식의 결과를 출력하는 음성인식부를 포함할 수 있다.
상기 음성인식 서버의 상기 음향 모델 데이터베이스는, 일반 음향 모델(general acoustic model)과 적어도 하나 이상의 디바이스 적응 음향 모델(device adapted acoustic model)을 저장하고, 상기 음성인식부는, 상기 디바이스 ID에 대응되는 디바이스 적응 음향 모델이 상기 음향 모델 데이터베이스에 저장되어 있는 경우, 상기 디바이스 적응 음향 모델을 이용하여 상기 음성 데이터에 대하여 음성인식을 수행하고, 상기 디바이스 ID에 대응되는 상기 디바이스 적응 음향 모델이 상기 음향 모델 데이터베이스에 저장되어 있지 않은 경우, 상기 일반 음향 모델을 이용하여 상기 음성 데이터에 대하여 음성인식을 수행할 수 있다.
상기 음성인식 서버는, 상기 음성인식의 결과 및 해당 음성 데이터를 포함하는 사용 로그를 저장하는 사용 로그 데이터베이스, 상기 사용 로그 데이터베이스를 감시하여 적응이 필요한 디바이스 ID를 선택하는 로그 모니터, 상기 선택된 디바이스 ID에 대응되는 상기 사용 로그의 음성 데이터를 이용하여 상기 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성하는 음향 모델 적응부를 더 포함할 수 있다.
본 발명의 일 실시예의 다른 측면에 따르면, 음성인식 방법은, 적어도 하나 이상의 음향 모델을 저장하는 단계; 외부의 디바이스로부터 상기 디바이스를 식별할 수 있는 디바이스 ID를 획득하는 단계; 상기 디바이스로부터 음성 데이터를 획득하는 단계; 상기 디바이스 ID에 기초하여 음향 모델을 선택하는 단계; 상기 선택된 음향 모델, 문법적 모델인 언어 모델, 및 발음에 관한 사전을 이용하여 상기 음성 데이터에 대하여 음성인식을 수행하는 단계; 및, 상기 음성인식의 결과를 출력하는 단계를 포함할 수 있다.
상기 음성인식 방법은, 상기 음향 모델을 저장하는 단계는, 일반 음향 모델과 적어도 하나 이상의 디바이스 적응 음향 모델을 저장하는 단계를 포함하고, 상기 음향 모델을 선택하는 단계는, 상기 디바이스 ID에 대응되는 디바이스 적응 음향 모델이 존재하는지 여부를 판단하는 단계; 및 상기 디바이스 ID에 대응되는 상기 디바이스 적응 음향 모델이 존재하는 경우, 상기 디바이스 적응 음향 모델을 선택하고, 상기 디바이스 ID에 대응되는 상기 디바이스 적응 음향 모델이 존재하지 않는 경우, 상기 일반 음향 모델을 선택하는 단계를 포함할 수 있다.
상기 음성인식 방법은, 상기 음성인식의 결과 및 해당 음성 데이터를 포함하는 사용 로그를 사용 로그 데이터베이스에 저장하는 단계; 상기 사용 로그 데이터베이스를 감시하여 적응이 필요한 디바이스 ID를 선택하는 단계; 및 상기 선택된 디바이스 ID에 대응되는 상기 사용 로그의 음성 데이터를 이용하여 상기 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예의 다른 측면에 따르면, 디바이스는, 디바이스를 식별하기 위한 디바이스 ID를 저장하는 메모리, 음성인식을 위한 음성을 입력받는 입력부, 상기 음성을 처리하여 음성 데이터를 생성하는 프로세서, 상기 디바이스 ID 및 상기 음성 데이터를 음성인식 서버에 송신하는 송신부, 및 상기 음성인식 서버로부터 상기 음성 데이터에 대한 음성인식의 결과를 수신하는 수신부를 포함할 수 있다.
상기 디바이스의 상기 프로세서는, 상기 음성인식을 위해 필요한 데이터를 음성 데이터로서 추출할 수 있다.
상기 디바이스는, 복수의 디바이스 ID를 가질 수 있다.
상기 디바이스는, 각각의 상기 디바이스 ID 별로 상기 디바이스의 설정을 다르게 설정할 수 있다.
상기 디바이스의 상기 송신부는, 상기 디바이스의 위치 정보를 송신하는 것을 특징으로 하는 디바이스.
본 발명의 일 실시예의 다른 측면에 따르면, 음성인식 방법은, 디바이스를 식별하기 위한 디바이스 ID를 저장하는 단계; 음성인식을 위한 음성을 입력받는 단계; 상기 음성을 처리하여 음성 데이터를 생성하는 단계; 상기 디바이스 ID 및 상기 음성 데이터를 음성인식 서버에 송신하는 단계; 및 상기 음성인식 서버로부터 상기 음성 데이터에 대한 음성인식의 결과를 수신하는 단계를 포함할 수 있다.
상기 음성인식 방법은, 상기 음성 데이터를 생성하는 단계는, 상기 음성인식을 위해 필요한 데이터를 음성 데이터로서 추출하는 단계를 포함할 수 있다.
상기 음성인식 방법은, 상기 디바이스는 복수의 디바이스 ID를 가질 수 있다.
상기 음성인식 방법은, 각각의 상기 디바이스 ID 별로 상기 디바이스의 설정을 다르게 설정하는 단계를 더 포함할 수 있다.
상기 음성인식 방법은, 상기 송신하는 단계는, 상기 디바이스의 위치 정보를 더 송신할 수 있다.
본 발명의 일 실시예의 다른 측면에 따르면, 적응 서버는, 디바이스 ID, 상기 디바이스 ID에 의해 식별되는 디바이스의 음성 데이터, 및 상기 음성 데이터에 대한 음성인식의 결과를 포함하는 사용 로그를 수신하는 수신부, 상기 사용 로그를 저장하는 사용 로그 데이터베이스, 상기 사용 로그 데이터베이스를 감시하여 적응이 필요한 디바이스 ID를 선택하는 로그 모니터, 상기 선택된 디바이스 ID에 대응되는 상기 사용 로그의 음성 데이터를 이용하여 상기 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성하는 음향 모델 적응부를 포함할 수 있다.
상기 적응 서버는, 상기 선택된 디바이스 ID에 대응되는 상기 사용 로그로부터 적응에 불필요한 음성 데이터를 제거하는 로그 데이터 필터를 더 포함하고, 상기 음향 모델 적응부는, 상기 불필요한 음성 데이터가 제거된 상기 사용 로그의 음성 데이터를 이용하여 상기 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성할 수 있다.
상기 적응 서버는, 상기 로그 모니터는 적응 모델 생성 기록, 사용 기록, 및 신규 데이터 수집 기록 중 적어도 하나 이상을 상기 사용 로그 데이터베이스의 분석에 사용할 수 있다.
상기 적응 서버는, 상기 로그 데이터 필터는 상기 불필요한 음성 데이터를 제거하기 위하여 음성 데이터의 적정성, 인식 결과의 적정성, 및 인식 결과의 수정 기록 중 적어도 하나 이상을 분석에 사용할 수 있다.
본 발명의 일 실시예의 다른 측면에 따르면, 음향 모델 적응 방법은, 디바이스 ID, 상기 디바이스 ID에 의해 식별되는 디바이스의 음성 데이터, 및 상기 음성 데이터에 대한 음성인식의 결과를 포함하는 사용 로그를 수신하는 단계; 상기 사용 로그를 사용 로그 데이터베이스에 저장하는 단계; 상기 사용 로그 데이터베이스를 감시하여 적응이 필요한 디바이스 ID를 선택하는 단계; 및 상기 선택된 디바이스 ID에 대응되는 상기 사용 로그의 음성 데이터를 이용하여 상기 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성하는 단계를 포함할 수 있다.
상기 음향 모델 적응 방법은, 상기 선택된 디바이스 ID에 대응되는 상기 사용 로그로부터 적응에 불필요한 음성 데이터를 제거하는 단계를 더 포함하고, 상기 디바이스 적응 음향 모델을 생성하는 단계는, 상기 불필요한 음성 데이터가 제거된 상기 사용 로그의 음성 데이터를 이용하여 상기 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성하는 단계를 포함할 수 있다.
상기 음향 모델 적응 방법은, 상기 디바이스 ID를 선택하는 단계는, 적응 모델 생성 기록, 사용 기록, 및 신규 데이터 수집 기록 중 적어도 하나 이상을 사용하여 상기 사용 로그 데이터베이스를 분석하는 단계를 포함할 수 있다.
상기 음향 모델 적응 방법은, 상기 적응에 불필요한 음성 데이터를 제거하는 단계는, 상기 불필요한 음성 데이터를 제거하기 위하여 음성 데이터의 적정성, 인식 결과의 적정성, 및 인식 결과의 수정 기록 중 적어도 하나 이상을 사용하여 분석하는 단계를 포함할 수 있다.
본 발명의 일 실시예의 다른 측면에 따르면, 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체는 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체일 수 있다.
본 발명의 일 실시예의 다른 측면에 따르면, 디바이스, 음성인식 서버, 및 적응 서버를 포함하는 음성인식 시스템에 있어서, 상기 디바이스는, 디바이스를 식별하기 위한 디바이스 ID 및 음성 데이터를 상기 음성인식 서버에 송신하고, 상기 음성인식 서버는, 상기 디바이스로부터 상기 디바이스를 식별할 수 있는 디바이스 ID 및 음성 데이터를 수신하여, 상기 디바이스 ID에 기초하여 음향 모델을 선택하고, 상기 선택된 음향 모델, 문법적 모델인 언어 모델, 및 발음에 관한 사전을 이용하여 상기 음성 데이터에 대하여 음성인식을 수행하고, 상기 음성인식의 결과를 출력하고, 상기 적응 서버는, 상기 음성인식 서버로부터 디바이스 ID, 상기 디바이스 ID에 의해 식별되는 디바이스의 음성 데이터, 및 상기 음성 데이터에 대한 음성인식의 결과를 포함하는 사용 로그를 수신하여, 상기 디바이스 ID에 대응되는 상기 사용 로그의 음성 데이터를 이용하여 상기 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디바이스 적응을 이용하는 음성인식 시스템의 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 디바이스(100)를 나타낸 도면이다.
도 3a는 본 발명의 일 실시예에 따른 음성인식 서버(150)를 나타낸 도면이다.
도 3b는 본 발명의 다른 실시예에 따른 음성인식 서버(150)를 나타낸 도면이다.
도 3c는 본 발명의 또다른 실시예에 따른 음성인식 서버(150)를 나타낸 도면이다.
도 4a는 본 발명의 일 실시예에 따른 적응 서버(180)를 나타낸 도면이다.
도 4b는 본 발명의 다른 실시예에 따른 적응 서버(180)를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 음성 인식 및 음향 모델 적응 시스템을 설명하기 위한 블록도이다.
도 6a는 본 발명의 일 실시예에 따른 음성인식 방법의 흐름도이다.
도 6b는 본 발명의 다른 실시예에 따른 음성인식 방법의 흐름도이다.
도 7a는 본 발명의 일 실시예에 따른 음성인식 방법의 흐름도이다.
도 7b는 본 발명의 다른 실시예에 따른 음성인식 방법의 흐름도이다.
도 8a는 본 발명의 일 실시예에 따른 음향 모델 적응 방법의 흐름도이다.
도 8b는 본 발명의 다른 실시예에 따른 음향 모델 적응 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 디바이스(100)를 나타낸 도면이다.
도 3a는 본 발명의 일 실시예에 따른 음성인식 서버(150)를 나타낸 도면이다.
도 3b는 본 발명의 다른 실시예에 따른 음성인식 서버(150)를 나타낸 도면이다.
도 3c는 본 발명의 또다른 실시예에 따른 음성인식 서버(150)를 나타낸 도면이다.
도 4a는 본 발명의 일 실시예에 따른 적응 서버(180)를 나타낸 도면이다.
도 4b는 본 발명의 다른 실시예에 따른 적응 서버(180)를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 음성 인식 및 음향 모델 적응 시스템을 설명하기 위한 블록도이다.
도 6a는 본 발명의 일 실시예에 따른 음성인식 방법의 흐름도이다.
도 6b는 본 발명의 다른 실시예에 따른 음성인식 방법의 흐름도이다.
도 7a는 본 발명의 일 실시예에 따른 음성인식 방법의 흐름도이다.
도 7b는 본 발명의 다른 실시예에 따른 음성인식 방법의 흐름도이다.
도 8a는 본 발명의 일 실시예에 따른 음향 모델 적응 방법의 흐름도이다.
도 8b는 본 발명의 다른 실시예에 따른 음향 모델 적응 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 본 발명의 일 실시예에 따른 디바이스 적응을 이용하는 음성인식 시스템의 개략적인 블록도이다.
도 1을 참조하면, 디바이스 적응을 이용하는 음성인식 시스템은 클라이언트 장치인 디바이스(100), 음성인식 서버 (ASR:Automatic Speech Recognition Server, 150), 및 적응 서버 (Adaptation Server, 180)를 포함한다. 도 1에서는 음성인식 서버(150)와 적응 서버(180)가 별개의 장치인 것으로 도시하고 있으나, 이는 하나의 실시예로서 설명하는 것이며, 음성인식 서버(150) 내에 적응 서버(180)가 포함되는 것과 같이 하나의 장치로 구성될 수 있다. 또한, 도면들과 후술되어 있는 실시예에서, 음성인식 서버(150)와 적응 서버(180)에 포함되어 있는 개개의 구성 요소는 물리적 형태 또는 논리적 형태로 분산되어 배치될 수도 있고, 통합될 수도 있다.
디바이스(100)는, 디바이스(100)를 식별하기 위한 디바이스 ID 및 음성 데이터를 상기 음성인식 서버(150)에 송신한다.
음성인식 서버(150)는, 상기 디바이스(100)로부터 상기 디바이스(100)를 식별할 수 있는 디바이스 ID 및 음성 데이터를 수신하여, 상기 디바이스 ID에 기초하여 음향 모델을 선택한다. 음성인식 서버(150)는, 상기 선택된 음향 모델, 문법적 모델인 언어 모델, 및 발음에 관한 사전을 이용하여 상기 음성 데이터에 대하여 음성인식을 수행하고, 상기 음성인식의 결과를 출력한다.
적응 서버(180)는, 상기 음성인식 서버(150)로부터 디바이스 ID, 상기 디바이스 ID에 의해 식별되는 디바이스(100)의 음성 데이터, 및 상기 음성 데이터에 대한 음성인식의 결과를 포함하는 사용 로그를 수신한다. 적응 서버(180는, 상기 디바이스 ID에 대응되는 상기 사용 로그의 음성 데이터를 이용하여 상기 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성한다.
디바이스(100), 음성인식 서버(150), 적응 서버(180)를 포함하는 각 구성 요소는 통신망을 통해 혹은 로컬(Local) 접속의 형태로 연결된다. 예컨대, 인터넷, LAN, WAN, 전화 연결망, LTE 등의 무선 데이터 통신망, 적외선 통신 등의 유무선 통신을 사용할 수 있다. 따라서, 본 발명의 실시예들은 무선 단말망, 인터넷 망 혹은 기타 통신의 형태로 연결될 수 있는 다양한 기기에 적용될 수 있다. 예컨대, 무선 단말이나 인터넷에 접속이 가능한 TV가 있다. 구체적으로는 전화, PDA, 스마트폰, 태블릿, 전자책, 손목시계(스마트 워치), 안경(스마트 글래스), 차량용 내비게이션, 차량용 오디오, 차량용 비디오, 차량용 통합 미디어 시스템, 텔레매틱스, 노트북 등의 휴대용 단말이나 텔레비젼(TV), 개인용 컴퓨터(Personal Computer), 지능형 로봇 등에 적용될 수 있다.
도 2는 도 1의 디바이스(100)를 나타낸 도면이다.
디바이스(100)는 메모리(102), 입력부(104), 프로세서(106), 송신부(108), 수신부(110)를 포함한다. 디바이스(100)는 디스플레이, 스피커 등의 출력부와 터치스크린, 터치패널, 키패드, 터치펜, 마우스, 키보드 등의 입력부 등을 더 포함할 수 있다.
메모리(102)는 디바이스 ID를 저장한다. 메모리(102)는 프로그램, 애플리케이션, 데이터 등을 더 저장할 수 있다.
입력부(104)는 사용자로부터 음성인식을 위한 음성을 입력받는다. 입력부(104)는 예컨대, 마이크를 통한 사용자의 음성을 사용할 수도 있고, 다른 디바이스, 서버 등으로부터 네트워크를 통하여 전송된 음성이나, 저장 매체 등을 통하여 전달받은 음성 파일, 전화 통화를 통하여 전송된 상대방의 음성 등을 입력으로 사용할 수도 있다.
프로세서(106)는 음성을 처리하여 음성 데이터를 생성한다. 프로세서(106)는 음성에 아날로그/디지털 변환, 필터링, 압축, 암호화 등의 신호 처리를 행하여 음성 데이터를 생성한다. 프로세서(106)는 프로그램, 애플리케이션 등의 실행과 디바이스(100)의 제어를 포함하는 처리를 더 행할 수 있다.
송신부(108)는 디바이스 ID 및 음성을 처리한 음성 데이터를 음성인식 서버(150)에 송신한다. 송신부(108)는 네트워크로의 데이터 송신, 유무선 통화의 송신 등을 더 행할 수 있다.
수신부(110)는 음성인식 서버(150)로부터 음성 데이터에 대한 음성인식의 결과를 수신한다. 수신부(110)는 네트워크로부터의 데이터 수신, 유무선 통화의 수신 등을 더 행할 수 있다.
디바이스(100)는 음성인식에 있어서 사용자의 음성 데이터를 입력받아서 처리하는 역할, 및, 음성인식 서버(150)로부터 음성인식 결과 혹은 음성인식 결과에 기초하여 추가로 처리 가공된 결과를 받아 사용자에게 전달하는 역할을 수행한다. 여기서 추가로 처리 가공된 결과로는, 예컨대, 음성인식된 단어에 기초한 인터넷 검색 결과 제공, 음성인식된 단어에 기초한 명령 수행, 예컨대, 음성인식된 내용으로 메시지 전송, 음성인식된 약속의 입력 등 일정 관리, 음성인식된 타이틀의 오디오/비디오 재생 등이 될 수 있다. 디바이스(100)를 통해 입력된 음성 데이터는 특별한 처리 없이 음성인식 서버(150)로 보내지거나, 혹은 음성인식을 위해 필요한 데이터, 즉, 음성인식에 유용한 신호만을 추출하여 음성인식 서버(150)로 보내어 질 수 있다. 음성인식에 유용한 신호로는 예를 들어, 잡음이 제거된 신호 등이 될 수 있다. 또한, 음성인식에 유용한 신호로는 예를 들어, 아날로그/디지털 변환 처리된 신호, 필터 처리된 신호, 보안을 위하여 암호화된 신호 등이 될 수 있다.
디바이스(100)는 자신의 고유 디바이스 ID 를 가지고 있다. 디바이스가 음성인식 서버(150)에 접속하는 경우에 음성인식 서버(150)가 각각의 디바이스(100)를 식별할 수 있도록 디바이스 ID는 음성인식 서버(150)로 제공된다. 디바이스 ID는 1 개 이상을 가질 수 있으며, 이 경우에 디바이스(100)의 다양한 세팅을 각각의 고유 디바이스 ID로 할당할 수 있다. 예를 들면, 스마트폰에 설치되어 있는 애플리케이션 중 어린이용 애플리케이션에 대해서는 별도의 디바이스 ID를 할당할 수 있다. 일반적인 애플리케이션에 대해서는 스마트폰의 주사용자가 음성인식을 사용할 것이므로 기본 디바이스 ID를 할당하지만, 어린이용 애플리케이션의 경우, 주사용자가 사용을 허락한 보조 사용자인 어린이가 음성인식을 사용할 가능성이 높으므로, 별도의 디바이스 ID를 할당하는 것에 의해 음성인식 결과의 정확도를 높일 수 있다.
디바이스 ID가 아닌 사용자 ID를 사용할 경우 등의, 화자(speaker) 적응 기법은 다음과 같은 몇 가지 문제점을 가지고 있다. 우선 화자의 등록 과정이 사용자에게 많은 불편함을 초래하는 점이다. 정확한 ID를 얻기 위하여 특정 계정을 생성하는 절차는 까다롭고 많은 시간이 소모된다. 다른 방법으로는 음성 신호를 처리하여 특정 화자의 유무를 판단하는 화자 인식(Speaker recognition) 방법이 있지만 화자 인식 오류에 의하여 화자 적응의 성능 저하가 일어날 수 있다. 또한, 화자 등록을 통해 계정을 생성하는 경우에 사용자 ID 정보를 서버에서 직접 관리해야 하며, 이 경우 개인 정보 보호가 문제가 될 가능성이 있다.
디바이스 ID를 사용함에 의해, 사용자 ID 획득을 위한 별도의 등록 과정을 사용하지 않음으로써, 사용자 ID의 등록과정에서 오는 불편함을 해소하고, 등록된 사용자 ID를 저장 및 관리하는 대신에 클라이언트 디바이스의 디바이스 ID를 저장하고, 클라이언트 디바이스에 적합한 음향 모델을 적응을 통해 생성할 수 있다.
도 3a는 도 1의 음성인식 서버(150)의 일 실시예를 나타낸 도면이고, 도 3b는 음성인식 서버(150)의 다른 실시예를 나타낸 도면이고, 도 3c는 음성인식 서버(150)의 또다른 실시예를 나타낸 도면이다.
도 3a를 참조하면, 음성인식 서버(150)는 음향 모델 데이터베이스(152), 수신부(158), 음성인식부(160), 언어 모델 및 사전(170)을 포함한다. 음성인식 서버(150)는 디스플레이, 스피커 등의 출력부, 마우스, 키보드 등의 입력부, 네트워크 통신 등이 가능한 송신부 등을 더 포함할 수 있다.
음향 모델 데이터베이스(152)는 적어도 하나 이상의 음향 모델을 저장할 수 있다.
수신부(158)는 외부의 디바이스(100)로부터 상기 디바이스(100)를 식별할 수 있는 디바이스 ID 및 음성 데이터를 수신한다. 수신부(158)는 네트워크로부터의 데이터 수신, 유무선 통화의 수신 등을 더 행할 수 있다.
음성인식 서버(ASR Server, 150)는 실제 음성인식을 수행하는 음성인식부(160), 예를 들어 ASR 엔진(ASR engine)과 여기에 사용되는 모델로 구성된다. 모델은 음향모델(Acoustic Model, AM), 언어모델(Language Model, LM), 발음사전(Dictionary) 등을 포함한다.
음성인식부(160)는 디바이스(100)로부터 수신된 디바이스 ID에 기초하여 음향 모델 데이터베이스(152)로부터 음향 모델을 선택하고, 상기 선택된 음향 모델과 언어 모델 및 사전(170)을 이용하여 디바이스(100)로부터 수신된 음성 데이터를 처리하여 음성인식 결과를 출력한다.
언어 모델 및 사전(170)은 음성인식부(160)에서 음성 인식 처리 시에 이용하는 사용자 발화에 대한 문법적 모델인 언어 모델과 발음에 관한 사전을 저장할 수 있다. 사용자의 국적이나 거주 지역, 연령대, 언어 습관 등에 따라 사용 언어, 사용 방언, 문법 구조, 단어 등이 달라질 수 있다. 따라서, 다양한 언어 사용 형태의 변화에 대응할 수 있도록, 언어 모델 및 사전(170)은 하나 이상의 언어 모델 및 하나 이상의 사전을 포함할 수 있다.
도 3b는 음성인식 서버(150)의 다른 실시예에 의한 블록도를 도시한다. 도 3b의 음성인식 서버(150)는 도 3a의 음성인식 서버(150)의 기능 및 역할을 포함한다.
도 3b를 참조하면, 음향 모델 데이터베이스(152)는 일반 음향 모델(general acoustic model, 154)과 적어도 하나 이상의 디바이스 적응 음향 모델(device adapted acoustic model, 156)을 포함할 수 있다.
적응된 음향 모델이 제공되는 음성인식부(160)는 두 가지의 음향 모델이 로딩될 수 있다. 일반 음향 모델(154)은 디바이스 적응 음향 모델(156)이 생성되지 않은 디바이스(100)에 적용되는 음향 모델이다. 디바이스 적응 음향 모델(156)은 특정 디바이스 ID 와 연결된 고유의 음향 모델로서, 특정 디바이스에 적응된 음향 모델이다. 디바이스 적응 음향 모델(156)을 모아 놓은 음향 모델 데이터베이스(152)가 존재한다. 음향 모델 데이터베이스(152)는 일반 음향 모델(154)을 포함할 수 있다. 또한, 도 3b와 같이 음향 모델 데이터베이스(152)에 복수 개의 디바이스 적응 음향 모델(156)이 포함될 수 있다.
도 3c는 음성인식 서버(150)의 또다른 실시예에 의한 블록도를 도시한다. 도 3c의 음성인식 서버(150)는 도 3a의 음성인식 서버(150)의 기능 및 역할을 포함한다.
도 3c를 참조하면, 음성인식 서버(150)는 사용 로그 데이터베이스(184), 로그 모니터(186), 음향 모델 적용부(190)를 포함할 수 있다. 또한, 도면에는 도시하지 않았으나, 이후 적응 서버(180)와 관련하여 설명하는 로그 데이터 필터(188)도 음성인식 서버(150)에 포함될 수 있다.
음성인식부(160)는 음성인식의 결과를 출력함과 함께 음성인식 작업에 관련된 정보를 담은 사용 로그(Usage Data)를 생성한다. 생성된 음성인식의 결과를 포함하는 사용 로그는 사용 로그 데이터베이스(184)에 저장된다. 사용 로그에는 음향 모델 적응에 필요한 다양한 정보, 예를 들어 인식 작업의 날짜 및 시간, 인식 결과, 결과에 대한 스코어, 디바이스 ID, 사용자의 수정 여부 및 수정된 결과 등이 저장된다. 디바이스 ID를 사용하므로, 사용자 ID를 서버에서 보관하지 않아 개인 정보 보호의 문제가 발생하지 않는다.
로그 모니터(186)는 사용 로그 데이터베이스(184)의 사용 로그를 지속적으로 감시하여 적응이 필요한 디바이스 ID를 선택한다.
음향 모델 적응부(190)는 로그 모니터(186)에 의해 선택된 디바이스 ID에 대응되는 사용 로그의 음성 데이터를 이용하여 선택된 디바이스 ID에 해당하는 디바이스 적응 음향 모델을 생성하며, 생성된 디바이스 적응 음향 모델은 음향 모델 데이터베이스(152)에 저장된다.
로그 모니터(186)와 음향 모델 적응부(190)에 대해서는 이후 적응 서버(180)와 관련하여 보다 상세히 설명한다.
도 4a는 도 1의 적응 서버(180)의 일 실시예를 나타낸 도면이고, 도 4b는 적응 서버(180)의 다른 실시예를 나타낸 도면이다.
적응 서버(180)는 사용 로그로부터 특정 디바이스 ID 에 해당하는 음향 모델의 적응을 수행한다. 도 4a를 참조하면, 적응 서버(180)는 수신부(182), 사용 로그 데이터베이스(184), 사용 로그를 지속적으로 감시하는 로그 모니터(186), 및 디바이스 적응 음향 모델의 적응을 수행하는 음향 모델 적응부(190)를 포함한다. 적응 서버(150)는 디스플레이, 스피커 등의 출력부, 마우스, 키보드 등의 입력부, 네트워크 통신 등이 가능한 송신부 등을 더 포함할 수 있다.
수신부(182)는 디바이스 ID, 상기 디바이스 ID에 의해 식별되는 디바이스의 음성 데이터, 및 상기 음성 데이터에 대한 음성인식의 결과를 포함하는 사용 로그를 수신한다. 수신부(182)는 네트워크로부터의 데이터 수신, 유무선 통화의 수신 등을 더 행할 수 있다.
수신된 음성인식의 결과를 포함하는 사용 로그는 사용 로그 데이터베이스(184)에 저장된다. 사용 로그에는 음향 모델 적응에 필요한 다양한 정보, 예를 들어 인식 작업의 날짜 및 시간, 인식 결과, 결과에 대한 스코어, 디바이스 ID, 사용자의 수정 여부 및 수정된 결과 등이 저장된다.
로그 모니터(186)는 사용 로그 데이터베이스(184)의 사용 로그를 지속적으로 감시하여 적응이 필요한 디바이스 ID를 선택한다.
음향 모델 적응부(190)는 로그 모니터(186)에 의해 선택된 디바이스 ID에 대응되는 사용 로그의 음성 데이터를 이용하여 선택된 디바이스 ID에 해당하는 디바이스 적응 음향 모델을 생성하며, 생성된 디바이스 적응 음향 모델은 음향 모델 데이터베이스(152)에 저장된다. 본 실시예에서는 음향 모델 데이터베이스(152)가 음성인식 서버(150)에 설치되어 있으나, 음향 모델 데이터베이스(152)는 적응 서버(180)에 설치될 수도 있고, 별도의 장치에 설치될 수도 있다.
도 4b는 적응 서버(180)의 다른 실시예에 의한 블록도를 도시한다. 도 4b의 적응 서버(180)는 도 4a의 적응 서버(180)의 기능 및 역할을 포함한다.
도 4b를 참조하면, 적응 서버(180)는 로그 모니터(186)를 통해서 선택된 사용 로그에서 불필요한 데이터를 걸러주는 로그 데이터 필터(Log Data Filter, 188)를 더 포함할 수 있다.
로그 데이터 필터(188)는 로그 모니터(186)에 의해 선택된 디바이스 ID에 대응되는 사용 로그로부터 적응에 불필요한 음성 데이터를 제거한다. 음향 모델 적응부(190)는, 상기 불필요한 음성 데이터가 제거된 사용 로그의 음성 데이터를 이용하여 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성한다.
도 5는 본 발명의 실시예에 따른 음성 인식 및 음향 모델 적응 시스템을 설명하기 위한 블록도이다.
도 5의 음성 인식 및 음향 모델 적응 시스템을 참조하여, 본 발명의 실시예에 따른 음향 모델 적응 방법을 설명한다. 음향 모델 적응 방법은 음성인식 및 적응 모델 적용 과정과 디바이스 적응 모델 생성 과정의 두 개의 과정을 포함한다.
도 5를 참조하여 음성인식 및 적응 모델 적용 과정을 설명한다.
음성인식 서비스를 이용하기 위해 디바이스(100)가 음성인식 서버(150)에 접속한다. 이 때, 디바이스(100)의 고유 디바이스 ID가 음성인식 서버(150)로 전달되고, 음성인식 서버(150)는 디바이스 ID를 얻는다. 이 과정은 디바이스 ID가 저장된 데이터베이스의 검색 및 보안을 위하여 디바이스 ID가 암호화된 경우 디바이스 ID의 복호화 과정을 포함한다.
디바이스 ID는 사용자의 개입을 필요로 하지 않고 전달될 수 있으므로, 사용자 ID를 명시적으로 등록하는 과정이 제거되어 편의성이 향상된다.
음성인식 과정은 크게 디바이스 ID 확인, 음향 모델 로딩, 음성인식 수행 및 인식 결과 저장 순으로 일어난다.
얻어진 디바이스 ID를 이용하여 해당 디바이스(100)의 디바이스 적응 음향 모델(156)이 존재하는지 여부를 확인한다.
음성인식 서버(150)는 디바이스 적응 음향 모델(156)이 존재하는 경우에는 디바이스 적응 음향 모델(156)을 로딩한다.
음성인식 서버(150)는 디바이스 적응 음향 모델(156)이 없는 경우에는 일반 음향 모델(154)을 로딩한다. 디바이스(100)의 최초 접속에서는 디바이스 적응 음향 모델(156)이 존재하지 않으므로 일반 음향 모델(154)이 음성인식을 위하여 로딩이 된다.
음향 모델을 로딩할 때에 필요한 기타 모델(170), 예컨대, 언어모델, 발음사전 등도 같이 로딩하여 음성인식을 준비한다.
모델 로딩 후에 음성인식부(160)는 인식 준비를 알리고, 디바이스(100)는 사용자의 입력 음성 데이터를 전송한다.
음성인식 서버(150)는 입력 음성 데이터를 받아서 음성인식을 수행하고 음성인식 결과를 디바이스(100)를 통해서 사용자에게 알려 준다. 이 때, 인식 작업에 관련된 정보를 모은 사용 로그는 사용 로그 데이터베이스(184)로 전송되어 디바이스 ID와 함께 저장된다.
도 5를 참조하여 디바이스 적응 모델 생성 과정을 설명한다.
디바이스 적응 음향 모델 생성은 적응 서버(180)를 통하여 사용 로그 모니터링, 적응 데이터 선정, 모델 생성 및 업데이트 순으로 이루어진다.
로그 모니터(186)는 음성인식 사용 로그를 실시간으로 모니터링 및 분석하여 디바이스 적응 음향 모델 생성이 필요한 디바이스 ID의 목록을 지속적으로 생성한다. 이를 위하여 로그 모니터(186)는 각 디바이스(100)에 대해서 일정 기간 동안의 사용 기록 정보 (Usage history), 적응 모델 생성 기록 (Update record) 및 이전 적응 모델 생성 이후에 얻어진 신규 데이터 (Fresh log data) 수집 기록 등을 모니터링할 수 있다. 로그 모니터(186)에서 기록들은 아래와 같이 활용될 수 있다.
- 신규 데이터 수집 기록: 신규 적응 모델 생성에 필요한 데이터가 충분히 수집되었는지 검사한다.
- 적응 모델 생성 기록: 기존에 생성되었던 적응 모델이 너무 오래되지 않았는지 검사한다.
- 사용 기록 정보: 적응 모델 생성 이후에 스코어의 향상이 있는지, 사용 빈도에 변화가 있는지 여부를 검사한다.
로그 모니터(186)에 의해 모델 생성이 필요한 것으로 판단된 디바이스 ID는 사용 로그 데이터로부터 신규 적응에 사용될 디바이스 음성 데이터를 선정하는 필터링 과정을 거친다. 데이터 필터링 과정에서는 아래와 같은 정보들을 활용하여 디바이스 적응 과정에 불필요하다고 판단되는 데이터는 버리는 과정을 거친다.
- 음성 데이터의 적정성: 음성 데이터가 정상적인 음성의 특성을 갖고 있는지 여부를 검사한다. 잡음 신호이거나 데이터 집합 내의 다수의 음성 데이터와 다른 특성을 가지는 음성 데이터를 이후의 음향 모델 적응 과정에서 제외한다. 이 과정을 통하여 디바이스의 주 사용자가 바뀌는 경우 혹은 주요 사용 환경이 바뀌는 경우에 새로운 사용자나 새로운 사용 환경에 적합한 데이터를 사용하여 음향 모델이 자동적으로 적응될 수 있도록 한다. 구체적으로, 사용자 혹은 사용 환경이 바뀌는 경우, 초기에는 새로운 사용자나 새로운 사용 환경에 적합한 데이터는 소수의 데이터일 것이므로 음향 모델 적응 과정에서 제외되고, 다수의 데이터, 즉, 기존의 사용자 혹은 기존 사용 환경에 적합한 데이터가 사용된다. 이후, 디바이스가 새로운 사용자 혹은 새로운 사용 환경에서 사용되는 횟수가 누적됨에 따라, 점차로 새로운 유형의 데이터가 많아지게 되고, 새로운 사용자가 주요 사용자로, 혹은 새로운 사용 환경이 주요 사용 환경으로 될 수 있다. 그러면, 새로운 사용자 혹은 새로운 사용 환경에 적합한 데이터를 사용하여 디바이스 적응 음향 모델이 생성되고, 디바이스 적응 음향 모델은 자동적, 연속적으로 변경될 수 있다. 사용자 ID를 명시적으로 등록하는 대신에 디바이스 ID 및 로그 데이터 필터링 과정을 통하여 디바이스의 사용자의 변경 혹은 사용 환경의 변경이 자동으로 반영될 수 있다.
- 인식 결과의 적정성: 음성 데이터의 인식 결과가 적응 과정에 사용될 수 있을 만큼 신뢰할 수 있는지 여부를 검사한다.
- 인식 결과의 수정: 기존의 음성인식 결과와 비교하여 사용자의 수정된 결과 입력 등 더욱 신뢰할 만한 결과가 존재하는 경우 인식 결과를 수정한다. 또는 신뢰할 만한 인식 결과를 얻기 위해 추가적인 음성인식을 수행할 수 있다. 이때 필요한 경우에 기존의 디바이스 적응 음향 모델이 입력으로 사용될 수 있다.
데이터 필터링을 통해 선정된 음성데이터 및 인식 결과 정보는 음향 모델 적응 알고리즘의 입력으로 적용한다. 여기에는 다양한 음향 모델 적응 알고리즘 중에 적절한 것, 예컨대, MAP(Maximum A Posteriori), MLLR(Maximum Likelihood Linear Regression)이 일 예가 될 수 있고, 그 외의 음향 모델 적응 알고리즘을 선택하거나 이것들의 조합의 형태가 적용 가능하다. 적응 알고리즘의 출력으로 새로운 적응 음향 모델 혹은 기존의 음향 모델을 적응 음향 모델로 변환하는데 필요한 통계 정보 등의 변환 모델을 얻게 된다.
생성된 새로운 적응 음향 모델(혹은 변환 모델)은 기존의 적응 음향 모델을 대체하거나, 최초로 생성되는 경우에는 해당 디바이스 ID에 연관되어 디바이스 적응 음향 모델 데이터베이스(158)에 저장된다.
디바이스 ID에 대응되는 디바이스 적응 음향 모델을 사용함으로써, 적응 기법은 단순히 특정 화자에만 적용되는 것뿐만 아니라, 특정한 디바이스가 사용되는 환경이나, 디바이스의 환경 세팅, 디바이스를 사용하는 사용자 그룹(Group)에도 적용될 수 있다.
음향 모델의 적응기법을 적용하게 되는 경우에 특정 디바이스를 사용하는 화자나 그룹의 발음 습관이나 억양을 반영하거나, 디바이스 사용환경에 대한 고유의 음향적 특징을 음향 모델에 반영하는 것이 가능하게 되며 이는 성능 향상을 가져오는 요인이 된다. 예컨대, 디바이스의 ID를 기초로 하여 해당 디바이스의 위치 정보(GPS 정보, 네트워크 접속 위치 정보 등)를 추출하여 음향 모델의 지역적 특성(방언, 억양, 외국어 등)을 반영할 수도 있다.
디바이스 ID가 아닌 사용자 ID를 사용할 경우 등에는, 사용자 등록을 음성인식과 연동하여 음성인식 결과를 바로 이용하는 경우에도 최초 사용자 음성을 이용하여 화자 적응 모델을 생성하므로 많은 경우에 부정확한 모델을 생성하게 된다. 좋은 화자 적응 모델을 생성하기 위해서는 충분한 사용 발화를 수집하는 것이 중요하지만 최초 등록 과정에서 충분한 양의 데이터를 얻는 것은 힘들기 때문이다.
디바이스 ID와 디바이스 ID에 대응되는 사용 로그를 사용하는 적응 서버(180)에 의하여 디바이스 적응 음향 모델을 생성하므로, 사용자 등록을 하지 않는 대신에 음성인식의 결과물을 활용하여 각 디바이스에 적합한 음향모델을 적응기법을 이용하여 생성하도록 하고, 음향 모델의 생성은 최초 디바이스 ID가 획득되었을 때 적용하지 않고 음성인식 서비스의 이용 로그 정보를 활용하여 효율적이고 지속적인 적응 음향 모델을 얻을 수 있다. 음성인식 서버 또는 적응 서버는 사용 로그를 저장하고 지속적으로 음향 모델을 업데이트하기 때문에 최신의 적응 음향 모델을 적용하여 성능을 지속적으로 개선해 나갈 수 있다.
이하 도 6a 및 도 6b를 통해 본 발명에 의한 음성인식 방법의 실시예들을 설명한다.
도 6a는 본 발명의 일 실시예에 따른 음성인식 방법의 흐름도를 도시한다.
단계 602에서, 디바이스를 식별하기 위한 디바이스 ID를 저장한다.
단계 606에서, 사용자로부터 음성인식을 위한 음성을 입력받는다.
단계 608에서, 단계 606에서 입력받은 음성을 처리하여 음성 데이터를 생성한다.
단계 610에서, 디바이스 ID 및 단계 608에서 생성한 음성 데이터를 음성인식 서버에 송신한다.
단계 614에서, 음성인식 서버로부터 상기 음성 데이터에 대한 음성인식의 결과를 수신한다.
도 6b는 본 발명의 다른 실시예에 따른 음성인식 방법의 흐름도를 도시한다.
단계 602에서, 디바이스에는 디바이스를 식별하기 위한 디바이스 ID로서, 복수의 디바이스 ID를 저장할 수 있다.
단계 604에서, 단계 602에서 저장한 디바이스 ID 별로 디바이스의 다양한 세팅을 다르게 설정할 수 있고, 디바이스 ID를 선택한다.
단계 606에서, 사용자로부터 음성인식을 위한 음성을 입력받는다.
단계 608에서, 단계 606에서 입력받은 음성을 처리하여 음성 데이터를 생성한다.
단계 610에서, 단계 604에서 선택한 디바이스 ID 및 단계 608에서 생성한 음성 데이터를 음성인식 서버에 송신한다.
단계 612에서, 디바이스의 위치 정보를 음성인식 서버에 더 송신할 수 있다. 디바이스의 ID를 기초로 하여 해당 디바이스의 위치 정보(GPS 정보, 네트워크 접속 위치 정보 등)를 추출하여 음향 모델의 지역적 특성(방언, 억양, 외국어 등)을 반영할 수도 있다.
단계 614에서, 음성인식 서버로부터 상기 음성 데이터에 대한 음성인식의 결과를 수신한다.
이하 도 7a 및 도 7b를 통해 본 발명에 의한 음성인식 방법의 실시예들을 설명한다.
도 7a는 본 발명의 일 실시예에 따른 음성인식 방법의 흐름도를 도시한다.
단계 302에서, 적어도 하나 이상의 음향 모델을 저장한다.
단계 704에서, 외부의 디바이스로부터 상기 디바이스를 식별할 수 있는 디바이스 ID를 획득한다.
단계 706에서, 상기 디바이스로부터 음성 데이터를 획득한다.
단계 708에서, 단계 704에서 획득한 상기 디바이스 ID에 기초하여 음향 모델을 선택한다.
단계 716에서, 단계 708에서 선택된 음향 모델, 문법적 모델인 언어 모델, 및 발음에 관한 사전을 이용하여 단계 706에서 획득한 상기 음성 데이터에 대하여 음성인식을 수행한다.
단계 718에서, 단계 716에서 수행한 음성인식의 결과를 출력한다.
도 7b는 본 발명의 다른 실시예에 따른 음성인식 방법의 흐름도를 도시한다.
단계 702에서, 일반 음향 모델과 적어도 하나 이상의 디바이스 적응 음향 모델을 저장한다.
단계 704에서, 외부의 디바이스로부터 상기 디바이스를 식별할 수 있는 디바이스 ID를 획득한다.
단계 706에서, 상기 디바이스로부터 음성 데이터를 획득한다.
단계 710에서, 단계 704에서 획득한 상기 디바이스 ID에 대응되는 디바이스 적응 음향 모델이 존재하는지 여부를 판단한다.
단계 710의 판단 결과, 상기 디바이스 ID에 대응되는 상기 디바이스 적응 음향 모델이 존재하는 경우(단계 710의 '예'), 단계 712에서 해당 디바이스 적응 음향 모델을 선택한다.
단계 710의 판단 결과, 상기 디바이스 ID에 대응되는 상기 디바이스 적응 음향 모델이 존재하지 않는 경우(단계 710의 '아니오'), 단계 714에서 일반 음향 모델을 선택한다.
단계 716에서, 단계 712 또는 단계 714에서 선택된 음향 모델, 문법적 모델인 언어 모델, 및 발음에 관한 사전을 이용하여 단계 706에서 획득한 상기 음성 데이터에 대하여 음성인식을 수행한다.
단계 718에서, 단계 716에서 수행한 음성인식의 결과를 출력한다.
단계 720에서, 단계 716에서 수행한 음성인식의 결과 및 해당 음성 데이터를 포함하는 사용 로그를 사용 로그 데이터베이스에 저장한다.
단계 722에서, 상기 사용 로그 데이터베이스를 감시하여 적응이 필요한 디바이스 ID를 선택한다.
단계 724에서, 단계 722에서 선택된 디바이스 ID에 대응되는 상기 사용 로그의 음성 데이터를 이용하여 상기 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성한다.
이하 도 8a 및 도 8b를 통해 본 발명에 의한 음향 모델 적응 방법의 실시예들을 설명한다.
도 8a는 본 발명의 일 실시예에 따른 음향 모델 적응 방법의 흐름도를 도시한다.
단계 802에서, 디바이스 ID, 상기 디바이스 ID에 의해 식별되는 디바이스의 음성 데이터, 및 상기 음성 데이터에 대한 음성인식의 결과를 포함하는 사용 로그를 수신한다.
단계 804에서, 단계 802에서 수신한 상기 사용 로그를 사용 로그 데이터베이스에 저장한다.
단계 808에서, 상기 사용 로그 데이터베이스를 감시하여 적응이 필요한 디바이스 ID를 선택한다.
단계 814에서, 단계 808에서 선택된 디바이스 ID에 대응되는 상기 사용 로그의 음성 데이터를 이용하여 상기 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성한다.
도 8b는 본 발명의 다른 실시예에 따른 음향 모델 적응 방법의 흐름도를 도시한다.
단계 802에서, 디바이스 ID, 상기 디바이스 ID에 의해 식별되는 디바이스의 음성 데이터, 및 상기 음성 데이터에 대한 음성인식의 결과를 포함하는 사용 로그를 수신한다.
단계 804에서, 단계 802에서 수신한 상기 사용 로그를 사용 로그 데이터베이스에 저장한다.
단계 806에서, 적응 모델 생성 기록, 사용 기록, 또는 신규 데이터 수집 기록 중 적어도 하나 이상을 사용하여 상기 사용 로그 데이터베이스를 분석한다.
단계 808에서, 단계 806의 분석의 결과에 기초하여 상기 사용 로그 데이터베이스를 감시하여 적응이 필요한 디바이스 ID를 선택한다.
단계 810에서, 불필요한 음성 데이터를 제거하기 위하여 음성 데이터의 적정성, 인식 결과의 적정성, 또는 인식 결과의 수정 기록 중 적어도 하나 이상을 사용하여 음성 데이터를 분석한다.
단계 812에서, 단계 808에서 선택된 디바이스 ID에 대응되는 상기 사용 로그로부터, 단계 810의 분석 결과에 기초하여 적응에 불필요한 음성 데이터를 제거한다.
단계 814에서, 단계 812에서 불필요한 음성 데이터가 제거된 사용 로그의 음성 데이터를 이용하여 단계 808에서 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성한다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
100 : 디바이스
102 : 메모리
104 : 입력부
106 : 프로세서
108 : 송신부
110 : 수신부
150 : 음성인식 서버
152 : 음향 모델 데이터베이스
154 : 일반 음향 모델
156 : 디바이스 적응 음향 모델
158 : 수신부
160 : 음성인식부
180 : 적응 서버
182 : 수신부
184 : 사용 로그 데이터베이스
186 : 로그 모니터
188 : 로그 데이터 필터
190 : 음향 모델 적응부
102 : 메모리
104 : 입력부
106 : 프로세서
108 : 송신부
110 : 수신부
150 : 음성인식 서버
152 : 음향 모델 데이터베이스
154 : 일반 음향 모델
156 : 디바이스 적응 음향 모델
158 : 수신부
160 : 음성인식부
180 : 적응 서버
182 : 수신부
184 : 사용 로그 데이터베이스
186 : 로그 모니터
188 : 로그 데이터 필터
190 : 음향 모델 적응부
Claims (26)
- 적어도 하나 이상의 음향 모델을 저장하는 음향 모델 데이터베이스,
문법적 모델인 언어 모델과 발음에 관한 사전을 저장하는 언어 모델 및 사전,
외부의 디바이스로부터 상기 디바이스를 식별할 수 있는 디바이스 ID 및 음성 데이터를 수신하는 수신부, 및
상기 디바이스 ID에 기초하여 음향 모델을 선택하고, 상기 선택된 음향 모델, 상기 언어 모델 및 사전을 이용하여 상기 음성 데이터에 대하여 음성인식을 수행하고, 상기 음성인식의 결과를 출력하는 음성인식부를 포함하는 음성인식 서버. - 제 1 항에 있어서,
상기 음향 모델 데이터베이스는, 일반 음향 모델(general acoustic model)과 적어도 하나 이상의 디바이스 적응 음향 모델(device adapted acoustic model)을 저장하고,
상기 음성인식부는, 상기 디바이스 ID에 대응되는 디바이스 적응 음향 모델이 상기 음향 모델 데이터베이스에 저장되어 있는 경우, 상기 디바이스 적응 음향 모델을 이용하여 상기 음성 데이터에 대하여 음성인식을 수행하고, 상기 디바이스 ID에 대응되는 상기 디바이스 적응 음향 모델이 상기 음향 모델 데이터베이스에 저장되어 있지 않은 경우, 상기 일반 음향 모델을 이용하여 상기 음성 데이터에 대하여 음성인식을 수행하는 것을 특징으로 하는 음성인식 서버. - 제 1 항에 있어서,
상기 음성인식의 결과 및 해당 음성 데이터를 포함하는 사용 로그를 저장하는 사용 로그 데이터베이스,
상기 사용 로그 데이터베이스를 감시하여 적응이 필요한 디바이스 ID를 선택하는 로그 모니터,
상기 선택된 디바이스 ID에 대응되는 상기 사용 로그의 음성 데이터를 이용하여 상기 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성하는 음향 모델 적응부를 더 포함하는 음성인식 서버. - 적어도 하나 이상의 음향 모델을 저장하는 단계;
외부의 디바이스로부터 상기 디바이스를 식별할 수 있는 디바이스 ID를 획득하는 단계;
상기 디바이스로부터 음성 데이터를 획득하는 단계;
상기 디바이스 ID에 기초하여 음향 모델을 선택하는 단계;
상기 선택된 음향 모델, 문법적 모델인 언어 모델, 및 발음에 관한 사전을 이용하여 상기 음성 데이터에 대하여 음성인식을 수행하는 단계; 및,
상기 음성인식의 결과를 출력하는 단계를 포함하는 음성인식 방법. - 제 4 항에 있어서,
상기 음향 모델을 저장하는 단계는, 일반 음향 모델과 적어도 하나 이상의 디바이스 적응 음향 모델을 저장하는 단계를 포함하고,
상기 음향 모델을 선택하는 단계는, 상기 디바이스 ID에 대응되는 디바이스 적응 음향 모델이 존재하는지 여부를 판단하는 단계; 및
상기 디바이스 ID에 대응되는 상기 디바이스 적응 음향 모델이 존재하는 경우, 상기 디바이스 적응 음향 모델을 선택하고, 상기 디바이스 ID에 대응되는 상기 디바이스 적응 음향 모델이 존재하지 않는 경우, 상기 일반 음향 모델을 선택하는 단계를 포함하는 것을 특징으로 하는 음성인식 방법. - 제 4 항에 있어서,
상기 음성인식의 결과 및 해당 음성 데이터를 포함하는 사용 로그를 사용 로그 데이터베이스에 저장하는 단계;
상기 사용 로그 데이터베이스를 감시하여 적응이 필요한 디바이스 ID를 선택하는 단계; 및
상기 선택된 디바이스 ID에 대응되는 상기 사용 로그의 음성 데이터를 이용하여 상기 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성하는 단계를 더 포함하는 것을 특징으로 하는 음성인식 방법. - 디바이스를 식별하기 위한 디바이스 ID를 저장하는 메모리,
음성인식을 위한 음성을 입력받는 입력부,
상기 음성을 처리하여 음성 데이터를 생성하는 프로세서,
상기 디바이스 ID 및 상기 음성 데이터를 음성인식 서버에 송신하는 송신부, 및
상기 음성인식 서버로부터 상기 음성 데이터에 대한 음성인식의 결과를 수신하는 수신부를 포함하는 디바이스. - 제 7 항에 있어서,
상기 프로세서는, 상기 음성인식을 위해 필요한 데이터를 음성 데이터로서 추출하는 것을 특징으로 하는 디바이스. - 제 7 항에 있어서,
상기 디바이스는 복수의 디바이스 ID를 갖는 것을 특징으로 하는 디바이스. - 제 9 항에 있어서,
각각의 상기 디바이스 ID 별로 상기 디바이스의 설정을 다르게 설정하는 것을 특징으로 하는 디바이스. - 제 7 항에 있어서,
상기 송신부는 상기 디바이스의 위치 정보를 송신하는 것을 특징으로 하는 디바이스. - 디바이스를 식별하기 위한 디바이스 ID를 저장하는 단계;
음성인식을 위한 음성을 입력받는 단계;
상기 음성을 처리하여 음성 데이터를 생성하는 단계;
상기 디바이스 ID 및 상기 음성 데이터를 음성인식 서버에 송신하는 단계; 및
상기 음성인식 서버로부터 상기 음성 데이터에 대한 음성인식의 결과를 수신하는 단계를 포함하는 음성인식 방법. - 제 12 항에 있어서,
상기 음성 데이터를 생성하는 단계는, 상기 음성인식을 위해 필요한 데이터를 음성 데이터로서 추출하는 단계를 포함하는 것을 특징으로 하는 음성인식 방법. - 제 12 항에 있어서,
상기 디바이스는 복수의 디바이스 ID를 갖는 것을 특징으로 하는 음성인식 방법. - 제 14 항에 있어서,
각각의 상기 디바이스 ID 별로 상기 디바이스의 설정을 다르게 설정하는 단계를 더 포함하는 것을 특징으로 하는 음성인식 방법. - 제 12 항에 있어서,
상기 송신하는 단계는, 상기 디바이스의 위치 정보를 더 송신하는 것을 특징으로 하는 음성인식 방법. - 디바이스 ID, 상기 디바이스 ID에 의해 식별되는 디바이스의 음성 데이터, 및 상기 음성 데이터에 대한 음성인식의 결과를 포함하는 사용 로그를 수신하는 수신부,
상기 사용 로그를 저장하는 사용 로그 데이터베이스,
상기 사용 로그 데이터베이스를 감시하여 적응이 필요한 디바이스 ID를 선택하는 로그 모니터,
상기 선택된 디바이스 ID에 대응되는 상기 사용 로그의 음성 데이터를 이용하여 상기 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성하는 음향 모델 적응부를 포함하는 적응 서버. - 제 17 항에 있어서,
상기 선택된 디바이스 ID에 대응되는 상기 사용 로그로부터 적응에 불필요한 음성 데이터를 제거하는 로그 데이터 필터를 더 포함하고,
상기 음향 모델 적응부는, 상기 불필요한 음성 데이터가 제거된 상기 사용 로그의 음성 데이터를 이용하여 상기 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성하는 것을 특징으로 하는 적응 서버. - 제 17 항에 있어서,
상기 로그 모니터는 적응 모델 생성 기록, 사용 기록, 및 신규 데이터 수집 기록 중 적어도 하나 이상을 상기 사용 로그 데이터베이스의 분석에 사용하는 것을 특징으로 하는 적응 서버. - 제 18 항에 있어서,
상기 로그 데이터 필터는 상기 불필요한 음성 데이터를 제거하기 위하여 음성 데이터의 적정성, 인식 결과의 적정성, 및 인식 결과의 수정 기록 중 적어도 하나 이상을 분석에 사용하는 것을 특징으로 하는 적응 서버. - 디바이스 ID, 상기 디바이스 ID에 의해 식별되는 디바이스의 음성 데이터, 및 상기 음성 데이터에 대한 음성인식의 결과를 포함하는 사용 로그를 수신하는 단계;
상기 사용 로그를 사용 로그 데이터베이스에 저장하는 단계;
상기 사용 로그 데이터베이스를 감시하여 적응이 필요한 디바이스 ID를 선택하는 단계; 및
상기 선택된 디바이스 ID에 대응되는 상기 사용 로그의 음성 데이터를 이용하여 상기 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성하는 단계를 포함하는 음향 모델 적응 방법. - 제 21 항에 있어서,
상기 선택된 디바이스 ID에 대응되는 상기 사용 로그로부터 적응에 불필요한 음성 데이터를 제거하는 단계를 더 포함하고,
상기 디바이스 적응 음향 모델을 생성하는 단계는, 상기 불필요한 음성 데이터가 제거된 상기 사용 로그의 음성 데이터를 이용하여 상기 선택된 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 음향 모델 적응 방법. - 제 21 항에 있어서,
상기 디바이스 ID를 선택하는 단계는, 적응 모델 생성 기록, 사용 기록, 및 신규 데이터 수집 기록 중 적어도 하나 이상을 사용하여 상기 사용 로그 데이터베이스를 분석하는 단계를 포함하는 것을 특징으로 하는 음향 모델 적응 방법. - 제 22 항에 있어서,
상기 적응에 불필요한 음성 데이터를 제거하는 단계는, 상기 불필요한 음성 데이터를 제거하기 위하여 음성 데이터의 적정성, 인식 결과의 적정성, 및 인식 결과의 수정 기록 중 적어도 하나 이상을 사용하여 분석하는 단계를 포함하는 것을 특징으로 하는 음향 모델 적응 방법. - 제 4 항 내지 제 6 항, 제 12 항 내지 제 16 항, 및 제 21 항 내지 제 24 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
- 디바이스, 음성인식 서버, 및 적응 서버를 포함하는 음성인식 시스템에 있어서,
상기 디바이스는,
디바이스를 식별하기 위한 디바이스 ID 및 음성 데이터를 상기 음성인식 서버에 송신하고,
상기 음성인식 서버는,
상기 디바이스로부터 상기 디바이스를 식별할 수 있는 디바이스 ID 및 음성 데이터를 수신하여,
상기 디바이스 ID에 기초하여 음향 모델을 선택하고, 상기 선택된 음향 모델, 문법적 모델인 언어 모델, 및 발음에 관한 사전을 이용하여 상기 음성 데이터에 대하여 음성인식을 수행하고, 상기 음성인식의 결과를 출력하고,
상기 적응 서버는,
상기 음성인식 서버로부터 디바이스 ID, 상기 디바이스 ID에 의해 식별되는 디바이스의 음성 데이터, 및 상기 음성 데이터에 대한 음성인식의 결과를 포함하는 사용 로그를 수신하여,
상기 디바이스 ID에 대응되는 상기 사용 로그의 음성 데이터를 이용하여 상기 디바이스 ID에 대응되는 디바이스 적응 음향 모델을 생성하는 음성인식 시스템.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140062586A KR102225404B1 (ko) | 2014-05-23 | 2014-05-23 | 디바이스 정보를 이용하는 음성인식 방법 및 장치 |
| PCT/KR2015/004504 WO2015178600A1 (en) | 2014-05-23 | 2015-05-06 | Speech recognition method and apparatus using device information |
| US15/313,660 US10643620B2 (en) | 2014-05-23 | 2015-05-06 | Speech recognition method and apparatus using device information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140062586A KR102225404B1 (ko) | 2014-05-23 | 2014-05-23 | 디바이스 정보를 이용하는 음성인식 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150134993A true KR20150134993A (ko) | 2015-12-02 |
| KR102225404B1 KR102225404B1 (ko) | 2021-03-09 |
Family
ID=54554224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140062586A KR102225404B1 (ko) | 2014-05-23 | 2014-05-23 | 디바이스 정보를 이용하는 음성인식 방법 및 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10643620B2 (ko) |
| KR (1) | KR102225404B1 (ko) |
| WO (1) | WO2015178600A1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101700099B1 (ko) * | 2016-10-11 | 2017-01-31 | 미디어젠(주) | 하이브리드 음성인식 복합 성능 자동 평가시스템 |
| KR20190031785A (ko) * | 2017-09-18 | 2019-03-27 | 삼성전자주식회사 | 복수의 사용자 각각에 대응하는 개인화 레이어를 이용하여 복수의 사용자 각각의 음성 신호를 인식하는 음성 신호 인식 시스템 |
| WO2020145545A1 (en) * | 2019-01-08 | 2020-07-16 | Samsung Electronics Co., Ltd. | Method and system for performing speech recognition in an electronic device |
| KR20200132693A (ko) * | 2020-04-27 | 2020-11-25 | 군산대학교산학협력단 | 로봇 및 자율이동체 정밀 모션 제어를 위한 단독형 음성인식 기반 에이전트 모듈 |
| KR20200132694A (ko) * | 2020-04-27 | 2020-11-25 | 군산대학교산학협력단 | 로봇 및 자율이동체 정밀 모션 제어를 위한 단독형 음성인식 기반 에이전트 모듈의 작동방법 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10147423B2 (en) * | 2016-09-29 | 2018-12-04 | Intel IP Corporation | Context-aware query recognition for electronic devices |
| SE542151C2 (en) * | 2017-06-13 | 2020-03-03 | Minut Ab | Methods and devices for obtaining an event designation based on audio data and non-audio data |
| US10381008B1 (en) * | 2017-11-18 | 2019-08-13 | Tp Lab, Inc. | Voice-based interactive network monitor |
| CN108762851A (zh) * | 2018-06-04 | 2018-11-06 | 联想(北京)有限公司 | 电子设备的操作方法和电子设备 |
| CN108962217B (zh) * | 2018-07-28 | 2021-07-16 | 华为技术有限公司 | 语音合成方法及相关设备 |
| KR20200052612A (ko) * | 2018-11-07 | 2020-05-15 | 삼성전자주식회사 | 사용자 발화를 처리하는 전자 장치, 및 그 전자 장치의 제어 방법 |
| CN109949797B (zh) * | 2019-03-11 | 2021-11-12 | 北京百度网讯科技有限公司 | 一种训练语料的生成方法、装置、设备及存储介质 |
| CN111540359A (zh) * | 2020-05-07 | 2020-08-14 | 上海语识信息技术有限公司 | 一种语音识别方法、装置和存储介质 |
| CN111711523B (zh) * | 2020-05-22 | 2022-10-04 | 平安科技（深圳）有限公司 | 事项办理权限授权方法、装置、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002091477A (ja) * | 2000-09-14 | 2002-03-27 | Mitsubishi Electric Corp | 音声認識システム、音声認識装置、音響モデル管理サーバ、言語モデル管理サーバ、音声認識方法及び音声認識プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| KR20060058726A (ko) * | 2001-04-27 | 2006-05-30 | 액센츄어 엘엘피 | 광고 컨텐트 작성 방법, 비즈니스 목록 작성의 관리 방법, 광고 컨텐트 편집 방법, 비즈니스 목록 컨텐트 편집 방법 및 이들을 위한 통신 네트워크 |
| US20100195806A1 (en) * | 2009-01-30 | 2010-08-05 | Ntt Docomo, Inc. | Voice recognition server, telephone equipment, voice recognition system, and voice recognition method |
| KR20130067848A (ko) * | 2011-12-14 | 2013-06-25 | 한국전자통신연구원 | 음성인식서버 및 음성인식방법 |
Family Cites Families (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2323693B (en) * | 1997-03-27 | 2001-09-26 | Forum Technology Ltd | Speech to text conversion |
| DE69822296T2 (de) * | 1997-10-20 | 2005-02-24 | Koninklijke Philips Electronics N.V. | Mustererkennungsregistrierung in einem verteilten system |
| US6434526B1 (en) * | 1998-06-29 | 2002-08-13 | International Business Machines Corporation | Network application software services containing a speech recognition capability |
| DE69829187T2 (de) * | 1998-12-17 | 2005-12-29 | Sony International (Europe) Gmbh | Halbüberwachte Sprecheradaptation |
| US6766295B1 (en) * | 1999-05-10 | 2004-07-20 | Nuance Communications | Adaptation of a speech recognition system across multiple remote sessions with a speaker |
| US6532446B1 (en) * | 1999-11-24 | 2003-03-11 | Openwave Systems Inc. | Server based speech recognition user interface for wireless devices |
| FR2820872B1 (fr) | 2001-02-13 | 2003-05-16 | Thomson Multimedia Sa | Procede, module, dispositif et serveur de reconnaissance vocale |
| US6944760B2 (en) * | 2001-05-24 | 2005-09-13 | Openwave Systems Inc. | Method and apparatus for protecting identities of mobile devices on a wireless network |
| US7668718B2 (en) * | 2001-07-17 | 2010-02-23 | Custom Speech Usa, Inc. | Synchronized pattern recognition source data processed by manual or automatic means for creation of shared speaker-dependent speech user profile |
| US7174298B2 (en) * | 2002-06-24 | 2007-02-06 | Intel Corporation | Method and apparatus to improve accuracy of mobile speech-enabled services |
| US7457745B2 (en) * | 2002-12-03 | 2008-11-25 | Hrl Laboratories, Llc | Method and apparatus for fast on-line automatic speaker/environment adaptation for speech/speaker recognition in the presence of changing environments |
| DE602004020527D1 (de) * | 2003-10-03 | 2009-05-20 | Asahi Chemical Ind | Datenverarbeitungseinheit, -verfahren und -programm |
| US7231019B2 (en) * | 2004-02-12 | 2007-06-12 | Microsoft Corporation | Automatic identification of telephone callers based on voice characteristics |
| KR101073908B1 (ko) * | 2005-01-18 | 2011-10-17 | 엘지전자 주식회사 | 이동통신 단말기의 음성 스케줄 관리 장치 및 방법 |
| US7574358B2 (en) * | 2005-02-28 | 2009-08-11 | International Business Machines Corporation | Natural language system and method based on unisolated performance metric |
| US8825482B2 (en) * | 2005-09-15 | 2014-09-02 | Sony Computer Entertainment Inc. | Audio, video, simulation, and user interface paradigms |
| US9026444B2 (en) * | 2009-09-16 | 2015-05-05 | At&T Intellectual Property I, L.P. | System and method for personalization of acoustic models for automatic speech recognition |
| US8468012B2 (en) * | 2010-05-26 | 2013-06-18 | Google Inc. | Acoustic model adaptation using geographic information |
| US9263034B1 (en) * | 2010-07-13 | 2016-02-16 | Google Inc. | Adapting enhanced acoustic models |
| GB2489489B (en) * | 2011-03-30 | 2013-08-21 | Toshiba Res Europ Ltd | A speech processing system and method |
| US9614678B2 (en) * | 2011-06-10 | 2017-04-04 | Dell Products, Lp | System and method for extracting device uniqueness to assign a license to the device |
| US20160372116A1 (en) * | 2012-01-24 | 2016-12-22 | Auraya Pty Ltd | Voice authentication and speech recognition system and method |
| GB2514943A (en) * | 2012-01-24 | 2014-12-10 | Auraya Pty Ltd | Voice authentication and speech recognition system and method |
| US9001976B2 (en) * | 2012-05-03 | 2015-04-07 | Nexidia, Inc. | Speaker adaptation |
| TWI466101B (zh) * | 2012-05-18 | 2014-12-21 | Asustek Comp Inc | 語音識別方法及系統 |
| US8571859B1 (en) * | 2012-05-31 | 2013-10-29 | Google Inc. | Multi-stage speaker adaptation |
| US9786281B1 (en) * | 2012-08-02 | 2017-10-10 | Amazon Technologies, Inc. | Household agent learning |
| US9401140B1 (en) * | 2012-08-22 | 2016-07-26 | Amazon Technologies, Inc. | Unsupervised acoustic model training |
| JP5972121B2 (ja) * | 2012-09-07 | 2016-08-17 | キヤノン株式会社 | アプリケーション管理システム、管理装置、アプリケーション実行端末、アプリケーション管理方法、アプリケーション実行端末の制御方法及びプログラム |
| KR101330671B1 (ko) * | 2012-09-28 | 2013-11-15 | 삼성전자주식회사 | 전자장치, 서버 및 그 제어방법 |
| US9159315B1 (en) * | 2013-01-07 | 2015-10-13 | Google Inc. | Environmentally aware speech recognition |
| US9269368B2 (en) * | 2013-03-15 | 2016-02-23 | Broadcom Corporation | Speaker-identification-assisted uplink speech processing systems and methods |
| US9208781B2 (en) * | 2013-04-05 | 2015-12-08 | International Business Machines Corporation | Adapting speech recognition acoustic models with environmental and social cues |
| US9218806B1 (en) * | 2013-05-10 | 2015-12-22 | Amazon Technologies, Inc. | Generation and use of multiple speech processing transforms |
| KR20150031984A (ko) * | 2013-09-17 | 2015-03-25 | 한국전자통신연구원 | 디바이스 구분 음향모델 누적 적응을 이용한 음성인식 시스템 및 방법 |
| US9443527B1 (en) * | 2013-09-27 | 2016-09-13 | Amazon Technologies, Inc. | Speech recognition capability generation and control |
| US9530416B2 (en) * | 2013-10-28 | 2016-12-27 | At&T Intellectual Property I, L.P. | System and method for managing models for embedded speech and language processing |
| US9870500B2 (en) * | 2014-06-11 | 2018-01-16 | At&T Intellectual Property I, L.P. | Sensor enhanced speech recognition |
| MX2018001996A (es) * | 2015-08-24 | 2018-06-06 | Ford Global Tech Llc | Modelo acustico dinamico para un vehículo. |
-
2014
- 2014-05-23 KR KR1020140062586A patent/KR102225404B1/ko active IP Right Grant
-
2015
- 2015-05-06 WO PCT/KR2015/004504 patent/WO2015178600A1/en active Application Filing
- 2015-05-06 US US15/313,660 patent/US10643620B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002091477A (ja) * | 2000-09-14 | 2002-03-27 | Mitsubishi Electric Corp | 音声認識システム、音声認識装置、音響モデル管理サーバ、言語モデル管理サーバ、音声認識方法及び音声認識プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| KR20060058726A (ko) * | 2001-04-27 | 2006-05-30 | 액센츄어 엘엘피 | 광고 컨텐트 작성 방법, 비즈니스 목록 작성의 관리 방법, 광고 컨텐트 편집 방법, 비즈니스 목록 컨텐트 편집 방법 및 이들을 위한 통신 네트워크 |
| US20100195806A1 (en) * | 2009-01-30 | 2010-08-05 | Ntt Docomo, Inc. | Voice recognition server, telephone equipment, voice recognition system, and voice recognition method |
| KR20130067848A (ko) * | 2011-12-14 | 2013-06-25 | 한국전자통신연구원 | 음성인식서버 및 음성인식방법 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101700099B1 (ko) * | 2016-10-11 | 2017-01-31 | 미디어젠(주) | 하이브리드 음성인식 복합 성능 자동 평가시스템 |
| WO2018070668A1 (ko) * | 2016-10-11 | 2018-04-19 | 미디어젠 주식회사 | 하이브리드 음성인식 복합 성능 자동 평가시스템 |
| US10643605B2 (en) | 2016-10-11 | 2020-05-05 | Mediazen, Inc. | Automatic multi-performance evaluation system for hybrid speech recognition |
| KR20190031785A (ko) * | 2017-09-18 | 2019-03-27 | 삼성전자주식회사 | 복수의 사용자 각각에 대응하는 개인화 레이어를 이용하여 복수의 사용자 각각의 음성 신호를 인식하는 음성 신호 인식 시스템 |
| WO2020145545A1 (en) * | 2019-01-08 | 2020-07-16 | Samsung Electronics Co., Ltd. | Method and system for performing speech recognition in an electronic device |
| US11967318B2 (en) | 2019-01-08 | 2024-04-23 | Samsung Electronics Co., Ltd. | Method and system for performing speech recognition in an electronic device |
| KR20200132693A (ko) * | 2020-04-27 | 2020-11-25 | 군산대학교산학협력단 | 로봇 및 자율이동체 정밀 모션 제어를 위한 단독형 음성인식 기반 에이전트 모듈 |
| KR20200132694A (ko) * | 2020-04-27 | 2020-11-25 | 군산대학교산학협력단 | 로봇 및 자율이동체 정밀 모션 제어를 위한 단독형 음성인식 기반 에이전트 모듈의 작동방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102225404B1 (ko) | 2021-03-09 |
| US10643620B2 (en) | 2020-05-05 |
| US20170206903A1 (en) | 2017-07-20 |
| WO2015178600A1 (en) | 2015-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102225404B1 (ko) | 디바이스 정보를 이용하는 음성인식 방법 및 장치 | |
| US10902043B2 (en) | Responding to remote media classification queries using classifier models and context parameters | |
| JP2019079034A (ja) | 自己学習自然言語理解を伴うダイアログ・システム | |
| KR101622111B1 (ko) | 대화 시스템 및 그의 대화 방법 | |
| CN110047481B (zh) | 用于语音识别的方法和装置 | |
| KR101330328B1 (ko) | 음성 인식 방법 및 이를 위한 시스템 | |
| US11494434B2 (en) | Systems and methods for managing voice queries using pronunciation information | |
| US20130144618A1 (en) | Methods and electronic devices for speech recognition | |
| CN109256136A (zh) | 一种语音识别方法和装置 | |
| CN111919249A (zh) | 词语的连续检测和相关的用户体验 | |
| JP7230806B2 (ja) | 情報処理装置、及び情報処理方法 | |
| US11164584B2 (en) | System and method for uninterrupted application awakening and speech recognition | |
| CN104142831B (zh) | 应用程序搜索方法及装置 | |
| JP2018045001A (ja) | 音声認識システム、情報処理装置、プログラム、音声認識方法 | |
| KR20080052279A (ko) | 실생활 정보제공 대화형 ｔｖ 에이전트 서비스 방법 및장치 | |
| US20210034662A1 (en) | Systems and methods for managing voice queries using pronunciation information | |
| KR20130108173A (ko) | 유무선 통신 네트워크를 이용한 음성인식 질의응답 시스템 및 그 운용방법 | |
| CN107170447B (zh) | 声音处理系统以及声音处理方法 | |
| US11410656B2 (en) | Systems and methods for managing voice queries using pronunciation information | |
| JP6233867B2 (ja) | 音声認識用辞書登録システム、音声認識システム、音声認識サービスシステム、方法およびプログラム | |
| CN110099332B (zh) | 一种音频环境展示方法及装置 | |
| JP6347939B2 (ja) | 発話内重要語抽出装置とその装置を用いた発話内重要語抽出システムと、それらの方法とプログラム | |
| KR20120083025A (ko) | 서로 다른 적어도 2개 이상의 데이터베이스를 이용하여 음성 인식 서비스를 제공하는 멀티미디어 디바이스 및 그 제어 방법 | |
| CN116186258A (zh) | 基于多模态知识图谱的文本分类方法、设备及存储介质 | |
| CN113486208A (zh) | 一种基于人工智能的语音搜索设备及其搜索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |