KR20120066523A - 음성 인식 방법 및 이를 위한 시스템 - Google Patents

음성 인식 방법 및 이를 위한 시스템 Download PDF

Info

Publication number
KR20120066523A
KR20120066523A KR1020100127898A KR20100127898A KR20120066523A KR 20120066523 A KR20120066523 A KR 20120066523A KR 1020100127898 A KR1020100127898 A KR 1020100127898A KR 20100127898 A KR20100127898 A KR 20100127898A KR 20120066523 A KR20120066523 A KR 20120066523A
Authority
KR
South Korea
Prior art keywords
user
unit
voice recognition
speech
model
Prior art date
Application number
KR1020100127898A
Other languages
English (en)
Other versions
KR101330328B1 (ko
Inventor
송화전
강병옥
이윤근
박전규
정훈
이성주
정호영
박기영
강점자
정의석
전형배
김종진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100127898A priority Critical patent/KR101330328B1/ko
Publication of KR20120066523A publication Critical patent/KR20120066523A/ko
Application granted granted Critical
Publication of KR101330328B1 publication Critical patent/KR101330328B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G10L15/07—Adaptation to the speaker
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Telephonic Communication Services (AREA)

Abstract

개인 맞춤형 자연어 연속어 음성 인식 방법 및 이를 위한 시스템이 개시된다. 클라이언트로부터 통신망을 통해 사용자 발화 수신하고, 사용자 발화에 따른 음성 인식 결과를 상기 사용자에게 송신하고, 사용자가 음성 인식 결과를 확인함에 따라 사용자 확인을 수신하는 입/출력 관리 유닛, 사용자 발화를 인식하여 음성 인식 결과를 출력하는 음성 인식 유닛, 미리 결정된 모델을 기초로 하여 사용자에 해당하는 개인 맞춤형 모델을 구성하는 서비스 처리 유닛 및 사용자의 정보를 이용하여 사용자가 등록된 사용자라고 판단한 경우 개인 맞춤형 모델이 음성 인식 유닛에 제공되도록 제어하고, 사용자가 등록되지 않은 사용자라고 판단한 경우 개인 맞춤형 모델이 상기 음성 인식 유닛에 제공되지 않도록 제어하고, 사용자 확인을 이용하여 사용자가 음성 인식 결과에 동의한다고 판단한 경우 사용자 발화 및 음성 인식 결과가 서비스 처리 유닛에 업데이트 되도록 제어하는 제어 유닛을 포함하는 서버를 포함하여 구성될 수 있다. 따라서, 현재 웹 서비스 중에 휴대 단말 환경 기반 음성 검색 서비스의 성능을 최대한 높이기 위해 개인 맞춤형 서비스를 제공할 수 있다.

Description

음성 인식 방법 및 이를 위한 시스템{METHOD OF RECOGNIZING VOICE AND SYSTEM FOR THE SAME}
본 발명은 음성 인식 방법 및 이를 위한 시스템에 관한 것으로, 더욱 상세하게는 개인 맞춤형 자연어 연속어 음성 인식 방법 및 이를 위한 시스템에 관한 것이다.
최근 스마트폰 등 휴대 단말의 사용이 폭발적으로 증가하고 있으며, 이런 사용자 환경의 변화에 발맞추어 포탈 서비스 업체 등에서 클라우드 컴퓨팅 방식 도입 등 새로운 모바일 생태계를 구축하려 하고 있으며, 이를 통해 기존에 웹 상에서 서비스 하기 어려웠던 분야에 대한 서비스를 스마트폰 등으로 쉽게 수행이 가능하도록 서비스 산업을 진화시키려고 한다. 이러한 서비스 변화에 대한 대표적인 예로 음성 검색 서비스를 들 수 있다. 즉, 음성 인식의 경우에도 클라우드 컴퓨팅 환경으로 인해 거의 무제한 어휘 인식이 가능해 졌으며, 웹검색뿐만 아니라 예약, 일정관리, 이메일 작성 등과 같은 음성인식 응용 시스템이 거의 실용화 단계에 접어 들고 있다.
휴대 단말의 경우는 개인 사용자 자신이 선호하는 응용프로그램 및 인터넷 서비스를 주로 사용하므로 휴대 단말을 개인의 사용 성향에 따라 개인 맞춤형 서비스를 제공한다면 휴대 단말의 활용성을 극대화할 수 있다. 따라서, 음성 인식의 경우에도 개별 사용자의 발화 특성 및 자주 사용하는 단어와 문장 또는 관심 분야 등에 대한 선호도를 반영하여 개인 맞춤형 서비스를 제공하는 시스템을 구축함으로써 개별 사용자 각각에 대한 음성 인식의 성능을 극대화 할 수 있다.
또한 자연어 연속어 음성 인식의 경우에는 활용할 수 있는 분야가 무궁무진하며, 이중 실용화 가능성이 가장 높고 사용자들이 가장 선호할 수 있는 기술로서 일정관리, 예약, 이메일 작성, 외국어 학습 시스템, 자동 통역, 지능로봇 음성 인터페이스 등이 될 것이다. 그러나, 자연어 연속어 음성 인식의 경우 자연어 특성이 반영된 다양한 형태의 발화가 가능하므로 모든 사용자들의 패턴을 수집, 분석 및 반영하여 수준 높은 범용 음성인식 서비스를 제공하는 것은 어렵다는 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 제 1 목적은, 개인 맞춤형 자연어 연속어 음성 인식 시스템을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 제 2 목적은, 개인 맞춤형 자연어 연속어 음성 인식 방법 및 이를 위한 방법을 제공하는데 있다.
상기한 본 발명의 제 1 목적을 달성하기 위한 본 발명의 일 실시예에 따른 음성 인식 시스템은, 클라이언트로부터 통신망을 통해 사용자 발화 수신하고, 사용자 발화에 따른 음성 인식 결과를 상기 사용자에게 송신하고, 사용자가 음성 인식 결과를 확인함에 따라 사용자 확인을 수신하는 입/출력 관리 유닛, 상기 사용자 발화를 인식하여 음성 인식 결과를 출력하는 음성 인식 유닛, 미리 결정된 모델을 기초로 하여 상기 사용자에 해당하는 개인 맞춤형 모델을 구성하는 서비스 처리 유닛, 상기 사용자의 정보를 이용하여 사용자가 등록된 사용자라고 판단한 경우 상기 개인 맞춤형 모델이 상기 음성 인식 유닛에 제공되도록 제어하고, 상기 사용자가 등록되지 않은 사용자라고 판단한 경우 상기 개인 맞춤형 모델이 상기 음성 인식 유닛에 제공되지 않도록 제어하고, 상기 사용자 확인을 이용하여 사용자가 음성 인식 결과에 동의한다고 판단한 경우 상기 사용자 발화 및 음성 인식 결과가 상기 서비스 처리 유닛에 업데이트 되도록 제어하는 제어 유닛을 포함하는 서버를 포함하여 구성될 수 있다.
본 발명의 제 2 목적을 달성하기 위한 본 발명의 일 실시예에 따른 음성 인식 방법은, 음성 인식 시스템에 로그인한 사용자의 정보를 수신하는 단계, 수신된 사용자 정보를 이용하여 음성 인식 시스템에 로그인한 사용자가 등록된 사용자라고 판단한 경우 개인 맞춤형 모델을 기초로 하여 사용자 발화를 인식하는 단계, 사용자로부터 수신된 사용자 발화의 인식에 따른 음성 인식 결과에 대한 확인을 이용하여 사용자가 음성 인식 결과에 동의하였다고 판단한 경우, 사용자 발화 및 음성 인식 결과를 개인 맞춤형 모델에 업데이트하는 단계를 포함하여 구성될 수 있다.
상기와 같은 본 발명에 따른 개인 맞춤형 자연어 연속어 음성 인식 방법 및 이를 위한 시스템을 이용할 경우에는 현재 웹 서비스 중에 휴대 단말 환경 기반 음성 검색 서비스의 성능을 최대한 높이기 위해 개인 맞춤형 서비스를 제공할 수 있으며, 특히 자연어 발성을 통한 다양한 음성 인식 서비스를 창출할 수 있으며, 예약, 일정관리, 이메일 작성, 외국어 교육 시스템이나 자동 통역 등이 그 대표적인 예이다. 또한 향후 지속적으로 클라우드 컴퓨팅 환경이 성숙하고 또한 다양한 형태의 개인 맞춤형 웹 서비스 산업이 급속하게 창출될 것이며, 이러한 새로운 모바일 플랫폼 기반의 에코시스템(eco-system)에서 개인 사용자에게 가장 편리한 사용자 인터페이스를 제공할 수 있을 것이다.
도1은 본 발명의 일 실시예에 따른 음성 인식 시스템의 내부 구조를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 음성 인식 과정을 설명하기 위한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도1은 본 발명의 일 실시예에 따른 음성 인식 시스템의 내부 구조를 개략적으로 도시한 도면이다. 도 1은 사용자가 모바일 플랫폼 기반 음성 인식 시스템과 연동하여 음성 인식 서비스를 제공하는 다양한 형태의 어플리케이션을 앱스토어 등에서 다운로드하여 자신의 휴대 단말에 설치한 후, 클라이언트는 자신이 원하는 서비스에 대해 자연스럽게 발화함에 따라 서버는 통신망을 통하여 클라이언트로부터 수신된 사용자 발화를 이용하여 사용자의 음성을 인식하여 사용자가 요청한 웹 검색 자료 또는 사용자가 특정 서비스를 지원받기 위해 가입한 여러 가지 형태의 웹 서비스 업체에 인식 결과 및 추가적인 정보를 제공하는 경우의 예시도이다.
본 발명의 일 실시예에 따르면, 휴대 단말은 셀룰러 전화기, 무선 통신 기능을 가지는 스마트 폰, 무선 통신 기능을 가지는 개인 휴대용 단말기(PDA), 무선 모뎀, 무선 통신 기능을 가지는 휴대용 컴퓨터, 무선 통신 기능을 가지는 디지털 카메라와 같은 촬영장치, 무선 통신 기능을 가지는 게이밍 장치, 무선 통신 기능을 가지는 음악저장 및 재생 가전제품, 무선 인터넷 접속 및 브라우징이 가능한 인터넷 가전제품뿐만 아니라 그러한 기능들의 조합들을 통합하고 있는 휴대형 유닛 또는 단말기들을 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한, 본 발명의 일 실시예에 따르면, 서버는 통신망을 통하여 클라이언트로부터 수신된 사용자 발화를 이용하여 사용자의 음성을 인식하며, 통신망은 유선과 무선으로 펌웨어 파일을 송수신할 수 있는 모든 통신망을 지칭하는 것으로, 와이브로(Wibro), 공중 전화망, 이동 통신망, 예를 들어 코드 분할 다중 접속(CDMA: Code Division Multiple Access, 이하, 'CDMA'라 칭하기로 함.), 직교 주파수 분할(OFDM: Orthogonal Frequency Division Multiplexing)을 포함하며, 이에 한정되는 것은 아니다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 음식 인식 시스템은 클라이언트(100), 통신망(101) 및 서버(102)를 포함하여 구성될 수 있고, 서버(102)는 제 1 모델 구성부(103) 및 제 2 모델 구성부(104)를 포함하여 구성될 수 있고, 제 1 모델 구성부(103)는 입/출력 관리 유닛(113), 제어 유닛(123), 서비스 처리 유닛(133) 및 음성 인식 유닛(134)를 포함하여 구성될 수 있고, 제 2 모델 구성부(104)는 언어 코퍼스 유닛(114), 훈련 유닛(124) 및 모델 구성 유닛(134)를 포함하여 구성될 수 있다.
입/출력 관리 유닛(113)은 사용자가 자신의 휴대 단말에 설치된 모바일 플랫폼 기반 음성 인식 시스템과 연동하여 음성 인식 서비스를 제공하는 다양한 형태의 어플리케이션을 이용하여 음성 인식 시스템에 로그인한 경우, 사용자 정보를 수신한다.
입/출력 관리 유닛(113)은 음성 인식 유닛(143)으로부터 수신된 음성 인식 결과를 클라이언트(100)에게 송신함에 따라 클라이언트(100)로부터 음성 인식 결과에 대한 사용자의 확인을 수신한다.
제어 유닛(123)은 입/출력 관리 유닛(113)으로부터 수신된 사용자 정보를 이용하여 음성 인식 시스템에 접속한 사용자가 등록된 사용자인지 등록되지 않은 사용자인지 판단할 수 있다. 먼저, 제어 유닛(123)이 음성 인식 시스템에 접속한 사용자가 등록된 사용자라고 판단한 경우를 설명하기로 한다. 제어 유닛(123)은 음성 인식 시스템에 접속한 사용자가 등록된 사용자라고 판단함에 따라 서비스 처리 유닛(133)에 저장된 개인 맞춤형 서비스 정보 중 접속한 사용자에 해당하는 서비스 정보가 음성 인식 유닛(143)에 전송되도록 제어한다.
둘째, 제어 유닛(123)이 음성 인식 시스템에 접속한 사용자가 등록되지 않은 사용자라고 판단한 경우를 설명하기로 한다. 제어 유닛(123)은 음성 인식 시스템에 접속한 사용자가 등록되지 않은 사용자라고 판단함에 따라 서비스 처리 유닛(133)에 저장된 개인 맞춤형 서비스 정보가 음성 인식 유닛(143)에 전송되지 않도록 제어한다. 이는 음성 인식 시스템에 접속한 사용자에 대한 개인 맞춤형 서비스가 서비스 처리 유닛(133)에 저장되지 않았기 때문이다. 제어 유닛(123)은 입/출력 관리 유닛(113)으로부터 수신된 사용자 음성을 음성 인식 유닛(143)에 전송되도록 제어하여 음성 인식 유닛(143)이 사용자의 사용 환경을 최대한 반영하여 화자 독립 음향/언어/필러 모델을 반영하여 음성 인식을 수행하도록 제어한다.
제어 유닛(123)은 입/출력 관리 유닛(113)이 음성 인식 유닛(143)으로부터 수신된 음성 인식 결과를 클라이언트(100)에게 송신함에 따라 클라이언트(100)로부터 수신된 음성 인식 결과에 대한 사용자의 확인을 이용하여 사용자가 음성 인식 결과에 동의하는지 여부를 판단할 수 있다. 먼저, 제어 유닛(123)은 입/출력 관리 유닛(113)이 클라이언트(100)로부터 수신된 음식 인식 결과에 대한 사용자의 확인을 이용하여 사용자가 음성 인식 결과에 동의하였다고 판단한 경우를 설명하기로 한다. 제어 유닛(123)이 사용자가 음성 인식 결과에 동의하였다고 판단함에 따라 입/출력 관리 유닛(113)으로부터 수신된 사용자 발화 및 음성 인식 결과가 서비스 처리 유닛(133)에 저장되도록 제어한다.
둘째, 제어 유닛(123)은 입/출력 관리 유닛(113)이 클라이언트(100)로부터 수신된 음성 인식 결과에 대한 사용자의 확인을 이용하여 사용자가 음성 인식 결과에 동의하지 않았다고 판단하는 경우를 설명하기로 한다. 제어 유닛(123)이 사용자가 음성 인식 결과에 동의하지 않았다고 판단함에 따라 입/출력 관리 유닛(113)이 클라이언트(100)로부터 사용자 발화를 다시 수신하도록 제어한다.
서비스 처리 유닛(133)은 제어 유닛(123)의 제어에 의해 개인 맞춤형 서비스 정보를 음성 인식 유닛(143)에 송신하거나 송신하지 않는다. 먼저, 서비스 처리 유닛(133)이 제어 유닛(123)의 제어에 의해 개인 맞춤형 서비스 정보 음성 인식 유닛(143)에 송신하는 경우를 설명하기로 한다. 제어 유닛(123)이 음성 인식 시스템에 접속한 사용자가 등록된 사용자라고 판단함에 따라 서비스 처리 유닛(133)은 개인 맞춤형 서비스 정보 중 음성 인식 시스템에 접속한 사용자에 해당하는 서비스 정보를 음성 인식 유닛(143)으로 송신한다.
둘째, 서비스 처리 유닛(133)이 제어 유닛(123)의 제어에 의해 개인 맞춤형 서비스 정보 음성 인식 유닛(143)에 송신하지 않는 경우를 설명하기로 한다. 제어 유닛(123)이 음성 인식 시스템에 접속한 사용자가 등록되지 않은 사용자라고 판단함에 따라 서비스 처리 유닛(133)은 개인 맞춤형 서비스 정보를 음성 인식 유닛(143)으로 송신하지 않는다.
서비스 처리 유닛(133)은 제어 유닛(123)의 제어에 의해 입/출력 관리 유닛(113)으로부터 수신된 사용자 발화 및 음성 인식 결과를 저장하거나 저장하지 않는다. 먼저, 서비스 처리 유닛(133)이 제어에 의해 입/출력 관리 유닛(113)으로부터 수신된 사용자 발화 및 음성 인식 결과를 저장하는 경우를 설명하기로 한다. 제어 유닛(123)은 입/출력 관리 유닛(113)이 음성 인식 유닛(143)로부터 수신된 음성 인식 결과를 클라이언트(100)에게 송신함에 따라 클라이언트(100)로부터 수신된 음성 인식 결과에 대한 사용자의 확인을 이용하여 사용자가 음성 인식 결과에 동의한다고 판단함에 따라 서비스 처리 유닛(133)은 입/출력 관리 유닛(113)으로부터 수신된 사용자 발화 및 음성 인식 결과를 저장한다.
둘째, 서비스 처리 유닛(133)이 제어에 의해 입/출력 관리 유닛(113)으로부터 수신된 사용자 발화 및 음성 인식 결과를 저장하지 않는 경우를 설명하기로 한다. 제어 유닛(123)은 입/출력 관리 유닛(113)이 음성 인식 유닛(143)으로부터 수신된 음성 인식 결과를 클라이언트(100)에게 송신함에 따라 클라이언트(100)로부터 수신된 음성 인식 결과에 대한 사용자의 확인을 이용하여 사용자가 음성 인식 결과에 동의하지 않는다고 판단함에 따라 서비스 처리 유닛(133)은 입/출력 관리 유닛(113)으로부터 수신된 사용자 발화 및 음성 인식 결과를 저장하지 않는다.
서비스 처리 유닛(133)은 제어 유닛(123)이 입/출력 관리 유닛(113)이 음성 인식 유닛(143)으로부터 수신된 음성 인식 결과를 클라이언트(100)에게 송신함에 따라 클라이언트(100)로부터 수신된 음성 인식 결과에 대한 사용자의 확인을 이용하여 사용자가 음성 인식 결과에 동의하였다고 판단한 경우, 입/출력 관리 유닛(113)으로부터 수신된 사용자 발화를 저장하고, 저장된 사용자 발화의 음성 인식 결과를 이용하여 자연어 발화시 사용자의 습관적 발화 형태를 분석하여 개인 맞춤 모델을 구성한다. 먼저, 서비스 처리 유닛(133)은 모델 구성 유닛(134)으로부터 사용자가 습관적으로 발생하는 개인의 간투사 등이 모델로 구성되어 수신된 화자 독립 필러 모델에 화자 적응 기법이나 변별 학습 및 발화 검증 기술을 적용하여 개인 맞춤 필러 모델을 구성한다. 둘째, 서비스 처리 유닛(133)은 모델 구성 유닛(134)으로부터 사용자가 자주 사용하는 환경이 검출되어 모델로 구성되어 수신된 화자 독립 잡음 모델 및 화자 독립 묵음 모델에 화자 적응 기법이나 변별 학습 및 발화 검증 기술을 각각 적용하여 개인 맞춤 잡음 모델 및 묵음 모델을 구성한다.
셋째, 서비스 처리 유닛(133)은 모델 구성 유닛(134)으로부터 구성되어 수신된 휴대 단말별 채널 잡음 모델에 사용자의 휴대 단말의 편차에 대한 채널 특성을 반영하여 개인 맞춤 채널 모델을 구성한다. 넷째, 서비스 처리 유닛(133)은 모델 구성 유닛(134)으로부터 구성되어 수신된 화자 독립 음향 모델에 대해 화자 적응 기법을 이용하여 개인 맞춤형 음향 모델을 구성한다. 이와 같이, 서비스 처리 유닛(133)은 등록 사용자에 대해서 개인 맞춤형으로 음향/언어/필러/잡음 모델 등을 사용자 발화가 발생할 때마다 지속적으로 업데이트 하기 때문에 음성 인식 성능을 극대화 시킬 수 있다.
음성 인식 유닛(134)은 제어 유닛(123)의 제어에 의해 서비스 처리 유닛(133)으로부터 개인 맞춤형 서비스 정보를 수신하거나 수신하지 않을 수 있다. 먼저, 음성 인식 유닛(134)은 제어 유닛(123)의 제어에 의해 서비스 처리 유닛(133)으로부터 개인 맞춤형 서비스 정보를 수신하는 경우를 설명하기로 한다. 제어 유닛(123)이 입/출력 관리 유닛(113)으로부터 수신된 사용자 정보를 이용하여 음성 인식 시스템에 접속한 사용자가 등록된 사용자라고 판단함에 따라 음성 인식 유닛(134)은 서비스 처리 유닛(133)으로부터 개인 맞춤형 서비스 정보를 수신할 수 있다.
둘째, 음성 인식 유닛(134)은 제어 유닛(123)의 제어에 의해 서비스 처리 유닛(133)으로부터 개인 맞춤형 서비스 정보를 수신하지 않는 경우를 설명하기로 한다. 제어 유닛(123)이 입/출력 관리 유닛(113)으로부터 수신된 사용자 정보를 이용하여 음성 인식 시스템에 접속한 사용자가 등록되지 않은 사용자라고 판단함에 따라 음성 인식 유닛(134)은 서비스 처리 유닛(133)으로부터 개인 맞춤형 서비스 정보를 수신하지 않을 수 있다.
음성 인식 유닛(134)은 제어 유닛(123)이 입/출력 관리 유닛(113)으로부터 수신된 사용자 정보를 이용하여 음성 인식 시스템에 접속한 사용자가 등록된 사용자라고 판단함에 따라 서비스 처리 유닛(133)으로부터 개인 맞춤형 서비스 정보를 수신한 경우, 서비스 처리 유닛(133)으로부터 수신된 개인 맞춤형 서비스 정보를 기초로 하여 입/출력 관리 유닛(113)을 통해 클라이언트(100)로부터 수신된 사용자 발화를 인식하고, 사용자 발화를 인식한 결과인 음성 인식 결과를 입/출력 관리 유닛(113)을 통해 클라이언트(100)로 송신한다.
음성 인식 유닛(134)은 제어 유닛(123)이 입/출력 관리 유닛(113)으로부터 수신된 사용자 정보를 이용하여 음성 인식 시스템에 접속한 사용자가 등록되지 않은 사용자라고 판단함에 따라 모델 구성 유닛(134)으로부터 수신된 모델을 기초로 하여 입/출력 관리 유닛(113)을 통해 클라이언트(100)로부터 수신된 사용자 발화를 인식하고, 사용자 발화를 인식한 결과인 음성 인식 결과를 입/출력 관리 유닛(113)을 통해 클라이언트(100)로 송신한다.
언어 코퍼스 유닛(114)은 사용하고자 하는 음성 인식 서비스 목적에 맞는 규모로 내용을 수집하여 데이터 베이스를 구축한다. 본 발명의 일 실시예에 따르면, 언어 코퍼스 유닛(114)은 음성 인식 서비스 목적에 맞는 규모로 내용을 수집하여 화자 독립용 음향/언어/필러 모델영 범용 음성 데이터 베이스, 범용 언어 데이터 베이스, 범용 자연어 필터 및 잡음 데이터 베이스를 구축한다.
훈련 유닛(124)은 언어 코퍼스 유닛(114)으로부터 수집되어 구축된 데이터 베이스를 훈련을 한다.
모델 구성 유닛(134)은 훈련 유닛(124)로부터 훈련된 데이터 베이스를 이용하여 다양한 형태의 화자 독립 모델을 구성한다. 먼저, 모델 구성 유닛(134)은 훈련 유닛(124)로부터 훈련된 데이터 베이스를 이용하여 다양한 형태의 자연어 발화에서 발생할 수 있는 간투사, 입술소리, 숨소리, 목청 가다듬기 소리 등을 포함하여 화자 독립 필러 모델을 구성할 수 있고, 화자 독립 음향 모델 및 화자 독립 언어 모델을 구성한다.
둘째, 모델 구성 유닛(134)은 훈련 유닛(124)로부터 훈련된 데이터 베이스를 이용하여 사용자가 자주 사용하는 환경을 검출하여 다양한 환경별 잡음 모델을 구성한다. 셋째, 모델 구성 유닛(134)은 훈련 유닛(124)로부터 훈련된 데이터 베이스를 이용하여 다양한 휴대 단말별 묵음 구간을 표현하는 묵음 모델을 구성한다. 넷째, 모델 구성 유닛(134)은 훈련 유닛(124)로부터 훈련된 데이터 베이스를 이용하여 휴대 단말별 채널 잡음을 보상하도록 하는 채널 잡음 모델을 구성한다.
모델 구성 유닛(134)은 제어 유닛(123)이 입/출력 관리 유닛(113)가 음성 인식 유닛(143)으로부터 수신된 음성 인식 결과를 클라이언트(100)에게 송신함에 따라 클라이언트(100)로부터 수신된 음성 인식 결과에 대한 사용자의 확인을 이용하여 사용자가 음성 인식 결과에 동의하였다고 판단한 경우, 서비스 처리 유닛(133)으로 화자 독립 음향/언어/필러 모델을 송신한다. 그러면 이하에서는, 도 2를 참조하여 본 발명의 일 실시예에 따른 음성 인식 과정을 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 음성 인식 과정을 설명하기 위한 흐름도이다. 도 2는 사용자가 모바일 플랫폼 기반 음성 인식 시스템과 연동하여 음성 인식 서비스를 제공하는 다양한 형태의 어플리케이션을 앱스토어 등에서 다운로드 하여 자신의 휴대 단말에 설치한 후, 클라이언트는 자신이 원하는 서비스에 대해 자연스럽게 발화함에 따라 서버는 통신망을 통하여 클라이언트로부터 수신된 사용자 발화를 이용하여 사용자의 음성을 인식하여 사용자가 요청한 웹 검색 자료 또는 사용자가 특정 서비스를 지원받기 위해 가입한 여러 가지 형태의 웹 서비스 업체에 인식 결과 및 추가적인 정보를 제공하는 경우에 사용자 발화를 인식하는 과정을 설명하기 위한 흐름도이다.
본 발명의 일 실시예에 따르면, 휴대 단말은 셀룰러 전화기, 무선 통신 기능을 가지는 스마트 폰, 무선 통신 기능을 가지는 개인 휴대용 단말기(PDA), 무선 모뎀, 무선 통신 기능을 가지는 휴대용 컴퓨터, 무선 통신 기능을 가지는 디지털 카메라와 같은 촬영장치, 무선 통신 기능을 가지는 게이밍 장치, 무선 통신 기능을 가지는 음악저장 및 재생 가전제품, 무선 인터넷 접속 및 브라우징이 가능한 인터넷 가전제품뿐만 아니라 그러한 기능들의 조합들을 통합하고 있는 휴대형 유닛 또는 단말기들을 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한, 본 발명의 일 실시예에 따르면, 서버는 통신망을 통하여 클라이언트로부터 수신된 사용자 발화를 이용하여 사용자의 음성을 인식하며, 통신망은 유선과 무선으로 펌웨어 파일을 송수신할 수 있는 모든 통신망을 지칭하는 것으로, 와이브로(Wibro), 공중 전화망, 이동 통신망, 예를 들어 코드 분할 다중 접속, 직교 주파수 분할을 포함하며, 이에 한정되는 것은 아니다.
도 2를 참조하면, 음성 인식 시스템은 음성 인식 시스템에 로그인한 사용자의 정보 및 사용자 발화를 수신한다(S201). 음성 인식 시스템이 수신된 사용자 정보를 이용하여 음성 인식 시스템에 로그인한 사용자가 등록된 사용자라고 판단한 경우(S202), 개인 맞춤형 모델을 기초로 하여 사용자 발화를 인식한다(S203). 여기서 개인 맞춤형 모델은 화자 독립 모델을 기초로 하여 생성된 모델로서, 사용자가 습관적으로 발생하는 개인의 간투사 등이 모델로 구성되어 수신된 화자 독립 필러 모델에 화자 적응 기법이나 변별 학습 및 발화 검증 기술을 적용하여 구성된 개인 맞춤 필러 모델, 사용자가 자주 사용하는 환경이 검출되어 모델로 구성되어 수신된 화자 독립 잡음 모델 및 화자 독립 묵음 모델에 화자 적응 기법이나 변별 학습 및 발화 검증 기술을 각각 적용하여 구성된 개인 맞춤 잡음 모델 및 묵음 모델, 휴대 단말별 채널 잡음 모델에 사용자의 휴대 단말의 편차에 대한 채널 특성을 반영하여 구성된 개인 맞춤 채널 모델 및 화자 독립 음향 모델에 대해 화자 적응 기법을 이용하여 구성된 개인 맞춤형 음향 모델을 포함한다.
음성 인식 시스템이 수신된 사용자 정보를 이용하여 음성 인식 시스템에 로그인한 사용자가 등록된 사용자가 아니라고 판단한 경우(S202), 화자 독립 모델을 기초로 하여 사용자 발화를 인식한다(S204). 여기서, 화자 독립 모델은 다양한 형태의 자연어 발화에서 발생할 수 있는 간투사, 입술소리, 숨소리, 목청 가다듬기 소리 등을 포함하여 구성된 화자 독립 필러 모델, 사용자가 자주 사용하는 환경을 검출하여 구성된 환경별 잡음 모델, 휴대 단말별 묵음 구간을 표현하는 표현들을 이용하여 구성된 묵음 모델 및 휴대 단말별 채널 잡음을 보상하기 위해 구성된 채널 잡음 모델을 포함한다.
음성 인식 시스템이 사용자로부터 수신된 사용자 발화의 인식에 따른 음성 인식 결과에 대한 확인을 이용하여 사용자가 음성 인식 결과에 동의하였다고 판단한 경우(S205), 사용자 발화 및 음성 인식 결과를 개인 맞춤형 모델에 업데이트한다(S206). 음성 인식 시스템이 사용자로부터 수신된 사용자 발화의 인식에 따른 음성 인식 결과에 대한 확인을 이용하여 사용자가 음성 인식 결과에 동의하지 않았다고 판단한 경우(S205), 사용자 발화를 재 수신한다(S207).
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 클라이언트 101: 통신망
102: 서버 103: 제 1 모델 구성부
113: 입/출력 관리 유닛 123: 제어 유닛
133: 서비스 처리 유닛 143: 음성 인식 유닛
104: 제 2 모델 구성부 114: 언어 코퍼스 유닛
124: 훈련 유닛 134: 모델 구성 유닛

Claims (1)

  1. 클라이언트로부터 통신망을 통해 사용자 발화 수신하고, 사용자 발화에 따른 음성 인식 결과를 상기 사용자에게 송신하고, 사용자가 음성 인식 결과를 확인함에 따라 사용자 확인을 수신하는 입/출력 관리 유닛;
    상기 사용자 발화를 인식하여 음성 인식 결과를 출력하는 음성 인식 유닛;
    미리 결정된 모델을 기초로 하여 상기 사용자에 해당하는 개인 맞춤형 모델을 구성하는 서비스 처리 유닛; 및
    상기 사용자의 정보를 이용하여 사용자가 등록된 사용자라고 판단한 경우 상기 개인 맞춤형 모델이 상기 음성 인식 유닛에 제공되도록 제어하고, 상기 사용자가 등록되지 않은 사용자라고 판단한 경우 상기 개인 맞춤형 모델이 상기 음성 인식 유닛에 제공되지 않도록 제어하고, 상기 사용자 확인을 이용하여 사용자가 음성 인식 결과에 동의한다고 판단한 경우 상기 사용자 발화 및 음성 인식 결과가 상기 서비스 처리 유닛에 업데이트 되도록 제어하는 제어 유닛을 포함하는 서버를 포함하는 것을 특징으로 하는 음성 인식 시스템.
KR1020100127898A 2010-12-14 2010-12-14 음성 인식 방법 및 이를 위한 시스템 KR101330328B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100127898A KR101330328B1 (ko) 2010-12-14 2010-12-14 음성 인식 방법 및 이를 위한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100127898A KR101330328B1 (ko) 2010-12-14 2010-12-14 음성 인식 방법 및 이를 위한 시스템

Publications (2)

Publication Number Publication Date
KR20120066523A true KR20120066523A (ko) 2012-06-22
KR101330328B1 KR101330328B1 (ko) 2013-11-15

Family

ID=46685871

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100127898A KR101330328B1 (ko) 2010-12-14 2010-12-14 음성 인식 방법 및 이를 위한 시스템

Country Status (1)

Country Link
KR (1) KR101330328B1 (ko)

Cited By (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015005679A1 (ko) * 2013-07-09 2015-01-15 주식회사 윌러스표준기술연구소 음성 인식 방법, 장치 및 시스템
WO2018131752A1 (ko) * 2017-01-11 2018-07-19 (주)파워보이스 인공 지능 자동 화자 식별 방법을 이용하는 개인 맞춤형 음성 인식 서비스 제공 방법 및 이에 사용되는 서비스 제공 서버
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
WO2022203441A1 (en) * 2021-03-26 2022-09-29 Samsung Electronics Co., Ltd. Method and apparatus for real-time sound enhancement
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11735176B2 (en) 2018-09-25 2023-08-22 Google Llc Speaker diarization using speaker embedding(s) and trained generative model
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
US12051413B2 (en) 2015-09-30 2024-07-30 Apple Inc. Intelligent device identification
US12067985B2 (en) 2018-06-01 2024-08-20 Apple Inc. Virtual assistant operations in multi-device environments
US12073147B2 (en) 2013-06-09 2024-08-27 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US12080287B2 (en) 2021-03-17 2024-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102536944B1 (ko) * 2014-11-07 2023-05-26 삼성전자주식회사 음성 신호 처리 방법 및 장치
EP4350558A3 (en) 2014-11-07 2024-06-19 Samsung Electronics Co., Ltd. Speech signal processing method and speech signal processing apparatus
KR102420450B1 (ko) 2015-09-23 2022-07-14 삼성전자주식회사 음성인식장치, 음성인식방법 및 컴퓨터 판독가능 기록매체
KR20200056754A (ko) * 2018-11-15 2020-05-25 삼성전자주식회사 개인화 립 리딩 모델 생성 방법 및 장치
KR102438671B1 (ko) * 2018-12-03 2022-08-31 구글 엘엘씨 텍스트 독립 화자 인식
US11468886B2 (en) 2019-03-12 2022-10-11 Lg Electronics Inc. Artificial intelligence apparatus for performing voice control using voice extraction filter and method for the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101262341B1 (ko) * 2006-06-30 2013-05-09 주식회사 케이티 음성 인식을 이용한 저장물 관리 장치 및 방법
KR20100027865A (ko) * 2008-09-03 2010-03-11 엘지전자 주식회사 화자 및 음성 인식 장치 및 그 방법

Cited By (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US12073147B2 (en) 2013-06-09 2024-08-27 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
WO2015005679A1 (ko) * 2013-07-09 2015-01-15 주식회사 윌러스표준기술연구소 음성 인식 방법, 장치 및 시스템
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US12051413B2 (en) 2015-09-30 2024-07-30 Apple Inc. Intelligent device identification
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11087768B2 (en) 2017-01-11 2021-08-10 Powervoice Co., Ltd. Personalized voice recognition service providing method using artificial intelligence automatic speaker identification method, and service providing server used therein
WO2018131752A1 (ko) * 2017-01-11 2018-07-19 (주)파워보이스 인공 지능 자동 화자 식별 방법을 이용하는 개인 맞춤형 음성 인식 서비스 제공 방법 및 이에 사용되는 서비스 제공 서버
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US12067985B2 (en) 2018-06-01 2024-08-20 Apple Inc. Virtual assistant operations in multi-device environments
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11735176B2 (en) 2018-09-25 2023-08-22 Google Llc Speaker diarization using speaker embedding(s) and trained generative model
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US12087308B2 (en) 2020-06-25 2024-09-10 Apple Inc. Intelligent automated assistant
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US12080287B2 (en) 2021-03-17 2024-09-03 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
WO2022203441A1 (en) * 2021-03-26 2022-09-29 Samsung Electronics Co., Ltd. Method and apparatus for real-time sound enhancement

Also Published As

Publication number Publication date
KR101330328B1 (ko) 2013-11-15

Similar Documents

Publication Publication Date Title
KR101330328B1 (ko) 음성 인식 방법 및 이를 위한 시스템
CN104394491B (zh) 一种智能耳机、云服务器以及音量调节方法和系统
AU2017210631B2 (en) Hybrid, offline/online speech translation system
JP6317111B2 (ja) ハイブリッド型クライアントサーバ音声認識
CN106201424B (zh) 一种信息交互方法、装置及电子设备
KR102386863B1 (ko) 사용자 기반 언어 모델 생성 장치, 방법 및 음성 인식 장치
US11188289B2 (en) Identification of preferred communication devices according to a preference rule dependent on a trigger phrase spoken within a selected time from other command data
JP7171532B2 (ja) 音声を認識する装置及び方法、音声認識モデルをトレーニングする装置及び方法
CN105190745A (zh) 用于共享调适语音简档的方法和系统
CN111261151B (zh) 一种语音处理方法、装置、电子设备及存储介质
CN105489221A (zh) 一种语音识别方法及装置
US20230206897A1 (en) Electronic apparatus and method for controlling thereof
CN108028044A (zh) 使用多个识别器减少延时的语音识别系统
CN102292766A (zh) 用于提供用于语音识别自适应的复合模型的方法、装置和计算机程序产品
KR102549204B1 (ko) 음성인식 서비스를 제공하는 단말, 서버 및 방법
CN104103271A (zh) 用于适配语音识别声学模型的方法和系统
CN110867191B (zh) 语音处理方法、信息装置与计算机程序产品
KR102279505B1 (ko) 음성 일기 장치
KR20180089242A (ko) 챗봇에서의 출력 유형에 따라 대화 내용을 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN104317404A (zh) 一种声纹控制音频播放设备、控制系统及方法
CN103474063B (zh) 语音辨识系统以及方法
CN109754820A (zh) 目标音频获取方法及装置、存储介质及终端
CN111968630B (zh) 信息处理方法、装置和电子设备
KR20210098250A (ko) 전자 장치 및 이의 제어 방법
KR102150902B1 (ko) 음성 응답을 위한 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161027

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee