KR20160030199A - 음성 동작형 기능에 키워드 모델을 할당하기 위한 방법 및 장치 - Google Patents

음성 동작형 기능에 키워드 모델을 할당하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20160030199A
KR20160030199A KR1020167002208A KR20167002208A KR20160030199A KR 20160030199 A KR20160030199 A KR 20160030199A KR 1020167002208 A KR1020167002208 A KR 1020167002208A KR 20167002208 A KR20167002208 A KR 20167002208A KR 20160030199 A KR20160030199 A KR 20160030199A
Authority
KR
South Korea
Prior art keywords
keyword
model
specific target
electronic device
input sound
Prior art date
Application number
KR1020167002208A
Other languages
English (en)
Other versions
KR101922782B1 (ko
Inventor
태수 김
민섭 이
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20160030199A publication Critical patent/KR20160030199A/ko
Application granted granted Critical
Publication of KR101922782B1 publication Critical patent/KR101922782B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

기능에 타겟 키워드를 할당하기 위해 전자 디바이스에서 수행되는 방법이 개시된다. 이 방법에서, 복수의 타겟 키워드들의 리스트는 통신 네트워크를 통해 전자 디바이스에서 수신되고, 특정 타겟 키워드는 타겟 키워드들의 리스트로부터 선택된다. 또한, 방법은 통신 네트워크를 통해 특정 타겟 키워드에 대한 키워드 모델을 수신하는 것을 포함한다. 이 방법에서, 특정 타겟 키워드는 전자 디바이스의 기능에 할당되어 그 기능이 전자 디바이스에서 수신된 입력 사운드에서 키워드 모델에 기초하여 특정 타겟 키워드를 검출하는 것에 응답하여 수행되도록 한다.

Description

음성 동작형 기능에 키워드 모델을 할당하기 위한 방법 및 장치{METHOD AND APPARATUS FOR ASSIGNING KEYWORD MODEL TO VOICE OPERATED FUNCTION}
관련 출원들에 대한 상호 참조
본 출원은 공동 소유된 2013 년 7 월 8 일에 출원된 U.S. 가특허출원 제 61/843,650 호 및 2014 년 12 월 10 일에 출원된 U.S. 정규 특허출원 제 14/101,869 호로부터의 우선권을 주장하며, 이 특허출원들의 각각의 내용들은 그 전부가 본 명세서에 참조로서 명백히 통합된다.
본 개시물은 일반적으로 전자 디바이스들에서의 스피치 인식에 관한 것이고, 보다 구체적으로는, 전자 디바이스들에서의 기능을 수행하기 위한 타겟 키워드를 인식하는 것에 관한 것이다.
최근, 스마트폰들 및 테블릿 컴퓨터들과 같은 모바일 디바이스들의 사용이 널리 확산되고 있다. 이들 디바이스들은 통상적으로 무선 네트워크들을 통해 음성 및/또는 데이터 통신 기능들을 제공한다. 부가적으로, 그러한 모바일 디바이스들은 통상적으로 사용자 편의를 향상시키기 위해 설계된 다양한 기능들을 제공하는 다른 피처들을 포함한다.
점점 더 사용되고 있는 모바일 디바이스들에서의 피처들 중 하나가 스피치 인식 기능이다. 그러한 기능은 사용자로부터의 음성 커맨드 (예를 들어, 키워드) 가 인식될 때 모바일 디바이스가 다양한 기능들을 수행하게 한다. 예를 들어, 모바일 디바이스는 사용자로부터의 음성 커맨드에 응답하여 음성 보조 어플리케이션을 활성화하거나, 오디오 파일을 재생하거나, 또는 사진을 촬영할 수도 있다.
종래 모바일 디바이스들에서, 제조자들 또는 캐리어들은 종종 연관된 키워드를 검출하기 위해 사용될 수도 있는 사운드 모델들을 디바이스들에 장착한다. 하지만, 그러한 디바이스들은 일반적으로 제한된 수의 사운드 모델들 및 키워드들을 포함한다. 따라서, 사용자들은 디바이스들에 원래 제공되는 바와 같은 키워드들 및 사운드 모델들만을 사용하는 것으로 제한될 수도 있다. 일부 디바이스들에서, 사용자들은 키워드에 대한 발언의 수에 기초하여 사운드 모델을 트레이닝하는 것에 의해 새로운 키워드를 검출하기 위한 사운드 모델을 생성할 수도 있다. 사용자 입력에 응답하여 생성된 그러한 사운드 모델들은, 예를 들어 키워드의 불충분한 샘플링에 기인하여 새로운 키워드를 검출하는데 있어서 매우 정확하지 않을 수도 있다.
본 개시물은 타겟 키워드와 연관된 키워드 모델에 기초하여 타겟 키워드가 검출될 때 기능을 수행하기 위해 그 기능에 타겟 키워드를 할당하기 위한 방법들 및 장치를 제공한다.
본 개시물의 일 양태에 따라, 기능에 타겟 키워드를 할당하기 위한 방법이 개시된다. 이 방법에서, 복수의 타겟 키워드들의 리스트는 통신 네트워크를 통해 전자 디바이스에서 수신되고, 타겟 키워드가 수신된 복수의 타겟 키워드들의 리스트로부터 선택된다. 또한, 방법은 통신 네트워크를 통해 선택된 타겟 키워드에 대한 키워드 모델을 수신하는 단계, 및 전자 디바이스의 기능에 타겟 키워드를 할당하는 단계로서, 그 기능이 전자 디바이스에서 수신된 입력 사운드에서 키워드 모델에 기초하여 타겟 키워드를 검출하는 것에 응답하여 수행되는, 상기 할당하는 단계를 포함한다. 이 개시물은 또한 이러한 방법과 관련되는 장치, 디바이스, 시스템, 수단의 조합, 및 컴퓨터 판독가능 매체를 기재한다.
본 개시물의 다른 양태에 따라, 어플리케이션에 타겟 키워드를 할당하기 위한 방법이 개시된다. 이 방법에서, 복수의 어플리케이션들의 리스트는 통신 네트워크를 통해 수신되고, 어플리케이션은 수신된 어플리케이션들의 리스트로부터 선택된다. 또한, 방법은 통신 유닛을 통해 선택된 어플리케이션에 대한 어플리케이션 파일을 수신하는 단계로서, 어플리케이션 파일은 타겟 키워드에 대한 키워드 모델을 포함하는, 어플리케이션 파일을 수신하는 단계, 어플리케이션 파일로부터 키워드 모델을 추출하는 단계, 및 타겟 키워드가 키워드 모델에 기초하여 입력 사운드에서 검출될 때 어플리케이션을 활성화하기 위해 어플리케이션에 타겟 키워드를 할당하는 단계를 포함할 수도 있다. 본 개시물은 또한 이러한 방법과 관련되는 장치, 디바이스, 시스템, 수단의 조합, 및 컴퓨터 판독가능 매체를 기재한다.
본 개시물의 또 다른 양태에 따라, 데이터 파일들을 제공하기 위한 방법이 개시된다. 이 방법에서, 복수의 타겟 키워드들의 리스트가 통신 네트워크를 통해 전자 디바이스에 송신되고, 선택된 타겟 키워드에 대한 요청이 통신 네트워크를 통해 전자 디바이스로부터 수신된다. 또한, 방법은 통신 네트워크를 통해 선택된 타겟 키워드에 대한 키워드 모델을 전자 디바이스에 송신하는 단계를 포함할 수도 있다. 키워드 모델은 입력 사운드에서 선택된 타겟 키워드를 검출하기 위해 적응된다. 이 개시물은 또한 이러한 방법과 관련되는 장치, 디바이스, 시스템, 수단의 조합, 및 컴퓨터 판독가능 매체를 기재한다.
본 개시물의 또 다른 양태에 따라, 전자 디바이스는 다운로드 관리 유닛 및 키워드 설정 유닛을 포함한다. 다운로드 관리 유닛은 통신 네트워크를 통해 복수의 타겟 키워드들의 리스트로부터 선택된 특정 타겟 키워드에 대한 키워드 모델을 수신하도록 구성된다. 키워드 설정 유닛은, 전자 디바이스의 기능에 타겟 키워드를 할당하여 그 기능이 전자 디바이스에서 수신된 입력 사운드에서 키워드 모델에 기초하여 특정 타겟 키워드를 검출하는 것에 응답하여 수행되도록 구성된다.
본 개시물의 또 다른 양태에 따라, 전자 디바이스는 다운로드 관리 유닛, 추출 유닛, 및 키워드 설정 유닛을 포함한다. 다운로드 관리 유닛은 통신 네트워크를 통해 복수의 어플리케이션들의 리스트로부터 선택된 어플리케이션에 대한 어플리케이션 파일을 수신하도록 구성된다. 어플리케이션 파일은 타겟 키워드에 대한 키워드 모델을 포함한다. 추출 유닛은 어플리케이션 파일로부터 키워드 모델을 추출하도록 구성된다. 키워드 설정 유닛은 타겟 키워드가 키워드 모델에 기초하여 입력 사운드에서 검출될 때 어플리케이션을 활성화하기 위해 선택된 어플리케이션에 타겟 키워드를 할당하도록 구성된다.
본 개시물의 또 다른 양태에 따라, 서버는 데이터베이스, 통신 유닛, 및 제어 유닛을 포함한다. 데이터베이스는 적어도 하나의 타겟 키워드 및 적어도 하나의 키워드 모델을 저장하도록 구성된다. 키워드 모델은 입력 사운드에서 연관된 타겟 키워드를 검출하기 위해 적응된다. 통신 유닛은 적어도 하나의 타겟 키워드의 리스트를 전자 디바이스에 송신하고, 전자 디바이스로부터 적어도 하나의 타겟 키워드의 리스트로부터 선택된 타겟 키워드에 대한 요청을 수신하도록 구성된다. 제어 유닛은 요청에 응답하여 데이터베이스에 액세스하고, 전자 디바이스에, 통신 유닛을 통해 적어도 하나의 키워드 모델 중에서 선택된 타겟 키워드와 연관된 키워드 모델을 송신하도록 구성된다.
본 개시물의 발명의 양태들의 실시형태들은 다음의 상세한 설명을 참조하여 첨부 도면들과 함께 읽혀질 때 이해될 것이다.
도 1 은 본 개시물의 일 실시형태에 따라, 타겟 키워드를 검출하는데 사용하기 위해 통신 네트워크를 통해 전자 디바이스에 의해 다운로드될 수 있는 서버에서의 복수의 키워드 모델들을 제공하기 위한 시스템을 도시한다.
도 2 는 본 개시물의 일 실시형태에 따라, 입력 사운드 스팀 (steam) 으로부터 선택된 타겟 키워드를 검출하는데 사용하기 위해 복수의 타겟 키워드에 액세스하고 키워드 모델을 다운로드하도록 구성된 전자 디바이스의 블록 다이어그램을 도시한다.
도 3 은 본 개시물의 일 실시형태에 따라, 선택된 타겟 키워드들을 검출하기 위해 전자 디바이스에 선택되고 다운로드될 수도 있는 전자 디바이스의 디스플레이 스크린 상의 타겟 키워드들의 리스트를 도시한다.
도 4 는 본 개시물의 일 실시형태에 따라, 헤더, 키워드 모델, Ack 사운드 데이터, 음성 톤 모델, 및 에러 체크 데이터를 포함하는 예시적인 키워드 데이터 파일을 도시한다.
도 5 는 본 개시물의 일 실시형태에 따라, 선택된 기능에 타겟 키워드를 할당하고 타겟 키워드가 검출될 때 선택된 기능을 수행하도록 구성되는 전자 디바이스에서의 제어 유닛의 보다 상세한 블록 다이어그램을 도시한다.
도 6 은 본 개시물의 일 양태에 따라, 키워드 모델과 연관된 타겟 키워드를 검출하는데 사용하도록 서버로부터 키워드 모델을 수신하기 위해 전자 디바이스에서 수행되는 예시적인 방법의 플로우챠트를 도시한다.
도 7 은 본 개시물의 일 실시형태에 따라, 서버로부터 어플리케이션 파일을 수신하고 어플리케이션 파일로부터 키워드 모델을 추출하기 위해 전자 디바이스에서 수행되는 예시적인 방법의 플로우챠트를 도시한다.
도 8 은 본 개시물의 일 실시형태에 기능에 타겟 키워드를 할당하기 위한 메뉴를 나타내는 전자 디바이스에서의 디스플레이 스크린을 도시한다.
도 9 는 본 개시물의 일 실시형태에 따라 복수의 기능들에 복수의 타겟 키워드들을 매핑하는 예시적인 키워드-투-기능 데이터베이스이다.
도 10a 는 본 개시물의 일 실시형태에 따라, 기능에 타겟 키워드를 할당하고 키워드-투-기능 데이터베이스를 업데이트하기 위해, 전자 디바이스에서 수행되는 예시적인 방법의 플로우 챠트를 도시한다.
도 10b 는 본 개시물의 일 실시형태에 따라, 기능에 타겟 키워드를 할당하고 키워드 검출 모델을 업데이트하기 위해, 전자 디바이스에서 수행되는 예시적인 방법의 플로우 챠트를 도시한다.
도 11 은 본 개시물의 일 실시형태에 따라 복수의 키워드 모델들을 포함하는 예시적인 키워드 검출 모델을 나타낸다.
도 12 는 본 개시물의 일 실시형태에 따라 입력 사운드에서 연관된 타겟 키워드들을 검출하는 것에 응답하여 복수의 기능들을 수행하도록 구성되는 전자 디바이스를 도시한다.
도 13 은 본 개시물의 일 실시형태에 따라 타겟 키워드와 연관된 음성 톤 모델에 기초하여 텍스트로부터 스피치 데이터를 생성하도록 구성된 전자 디바이스를 도시한다.
도 14 는 본 개시물의 일 실시형태에 따라 입력 사운드에서 검출된 타겟 키워드와 연관된 기능을 수행하기 위해, 전자 디바이스에서 수행되는 예시적인 방법의 플로우 챠트를 도시한다.
도 15 는 본 개시물의 일부 실시형태에 따라 기능을 동작하기 위해 타겟 키워드를 설정하기 위한 방법들 및 장치가 구현될 수도 있는 무선 통신 시스템에서의 모바일 디바이스의 블록 다이어그램을 도시한다.
도 16 은 본 개시물의 일부 실시형태에 따라 연관된 타겟 키워드들을 검출하기 위해 키워드 모델들을 제공하기 위한 방법들 및 장치들이 구현될 수도 있는 서버 시스템의 블록 다이어그램을 도시한다.
도 1 은 본 개시물의 일 양태에 따라 서버 (110) 에서 복수의 키워드 모델들을 제공하기 위한 시스템 (100) 을 도시한다. 시스템 (100) 은 통신 네트워크 (150) 를 통해 통신하는, 서버 (110), 전자 디바이스 (140), 및 키워드 모델 제공자 (130) 를 포함한다. 서버 (110) 는 제어 유닛 (112), 데이터베이스 (114), 지불 관리 유닛 (116), 데이터베이스 업데이팅 유닛 (118), 및 통신 유닛 (120) 을 포함한다.
키워드 모델들은 타겟 키워드들을 검출하는데 사용하기 위해 통신 네트워크 (150) 를 통해 전자 디바이스 (140) 에 다운로드될 수 있다. 본 명세서에서 사용된 바와 같이, 용어 "타겟 키워드" 는 전자 디바이스 (140) 에서 기능을 활성화하거나 수행하기 위해 키워드로서 사용될 수 있는 하나 이상의 단어들 또는 사운드의 임의의 디지털 또는 아날로그 표현을 지칭한다. "키워드 모델" 은 타겟 키워드를 검출하기 위해 전자 디바이스 (140) 에 의해 사용될 수 있는 데이터를 지칭한다. 특정 실시형태에서, 키워드 모델은 사용자 특정이 아니고 전체 언어 모델을 포함하지 않는다. 예를 들어, 키워드 모델은 타겟 키워드의 언어의 모든 음소들 보다 적은 모델에 대한 데이터를 포함할 수도 있다. 이러한 예에서, 키워드 모델은 타겟 키워드의 언어의 음소들의 서브세트를 검출하기 위해 데이터를 포함한다. 이로써, 키워드 모델은 전체 언어 모델보다 현저하게 더 작을 수도 있다. 예시를 위해, 키워드 모델은 메모리의 1 과 500 킬로바이트 (KB) 사이를 사용할 수도 있는 반면, 전체 언어 모델을 저장하는 것은 1 메가바이트 (MB) 이상을 사용할 수도 있다.
서버 (110) 에서, 제어 유닛 (112) 은 서버 (110) 의 전반적인 동작들을 제어한다. 서버 (110) 에서의 데이터베이스 (114) 는 키워드 모델 제공자 (130) 에 의해 업로드되는 복수의 키워드 데이터 파일들을 저장한다. 키워드 데이터 파일들의 각각은 타겟 키워드를 검출하는데 사용하기 위한 키워드 모델, 타겟 데이터의 검출을 표시하는 확인응답 사운드 또는 응답 사운드를 출력하기 위한 Ack 사운드 데이터 (또는 응답 사운드 데이터), 텍스트로부터 생성된 스피치의 음성 톤을 수정하도록 적응된 음성 톤 모델, 또는 그 조합을 포함할 수도 있다. 키워드 모델 제공자 (130) 에 의해 업로드되는 키워드 모델들은, 키워드 모델들이 연관된 타겟 키워드들을 검출하기 위해 최적화될 수 있도록 다수의 키워드 기록들 (recordings) 의 트레이닝에 기초하여 생성될 수도 있다. 따라서, 전자 디바이스 (140) 의 사용자는 키워드 모델을 다운로드하는 것에 의해 다수의 키워드 기록들에 기초하여 키워드 모델을 사용할 수도 있다. 이로써 사용자는, 사용자가 키워드 모델을 트레이닝하기 위해 키워드 기록들을 기록하여야 하지 않으면서 다수의 키워드 기록들로 키워드 모델을 트레이닝하는 것에 의해 제공된 증가된 정확도의 이익을 얻는다. 특정 실시형태에서, 전자 디바이스 (140) 는 사용자 입력에 대한 입력 사운드를 연속적으로 모니터링하도록 구성되는 키워드 검출 엔진을 포함할 수도 있다. 이 실시형태에서, 사용자는 전자 디바이스 (140) 가 높은 검출 레이트 (예를 들어, 90% 초과) 및 낮은 오검출 레이트 (예를 들어, 0.01% 미만) 을 갖는 것을 예상한다. 낮은 오검출 레이트를 갖는 것은 사용자 경험을 개선하고 전력 소비를 감소시킬 수도 있다. 예를 들어, 오검출들은 전자 디바이스 (140) 로 하여금 사용자가 활성화되기를 원치 않는 기능들을 활성화하게 할 수 있는데, 이는 곤란한 것일 수도 있고 전자 디바이스 (140) 의 전력 소비를 증가시킬 수도 있다. 그러한 높은 검출 레이트들 및 낮은 오검출 레이트들을 달성하는 것은 키워드 모델들의 광범위한 트레이닝을 필요로 할 수도 있다. 예를 들어, 일부 경우들에서, 0.01% 미만의 오검출 레이트를 갖는 90% 검출 레이트를 달성하는 키워드 검출 모델은 수천 키워드 기록들 및 수만 비키워드 기록들을 사용할 수도 있다.
데이터베이스 (114) 는 또한 레이팅들, 다운로드들의 수, 키워드 모델들의 제공자들 등과 같은 키워드 모델과 관련된 정보를 포함할 수도 있다. 일 실시형태에서, 데이터베이스 (114) 는 또한 전자 디바이스 (140) 에서 어플리케이션들을 설치하기 위한 어플리케이션 파일들을 저장할 수도 있다. 이러한 실시형태에서, 어플리케이션 파일은 타겟 키워드를 검출하고 타겟 키워드의 검출 시 어플리케이션을 활성화하는데 사용될 수도 있는 키워드 모델을 포함할 수도 있다.
일부 실시형태들에서, 서버 (110) 는 통신 네트워크 (150) 를 통해 전자 디바이스들의 다양한 타입들에 타겟 키워드들을 제공하기 위해 온라인 스토어를 호스팅하도록 구성될 수도 있다. 온라인 스토어는 키워드 모델들을 제공하기 위한 전용 스토어일 수도 있고 일반적인 어플리케이션 스토어의 부분으로서 구현될 수도 있다. 온라인 스토어는 또한 사용자에게 관심이 있을 수도 있는 타겟 키워드를 위치시키기 위해 탐색 기능을 제공할 수도 있다.
서버 (110) 에서의 지불 관리 유닛 (116) 은 사용자들이 서버 (110) 로부터 키워드 모델들을 선택하고 구입하는 것을 허용한다. 일 실시형태에서, 지불 관리 유닛 (116) 은 전화 요금 청구 서비스, 인터넷 요금 청구 서비스 등과 같은 제 3 자 요금 청구 서비스와 통합될 수도 있다. 다른 실시형태에서, 지불 관리 유닛 (116) 은 통신 네트워크 (150) 를 통해 서버 (110) 와 통신하는 별도의 지불 서버로서 구현될 수도 있다.
서버 (110) 는 통신 네트워크 (150) 에 대한 네트워크 인터페이스로서 기능하는, 통신 유닛 (120) 을 전자 디바이스 (140) 및 키워드 모델 제공자 (130) 와 통신하도록 구성된다. 이러한 구성에서, 서버 (110) 는 키워드 모델 제공자 (130) 로부터 신규 타겟 키워드를 검출하는데 사용하기 위한 신규 타겟 모델을 포함하는 신규 키워드 데이터 파일을 수신할 수도 있다. 신규 키워드 데이터 파일은 또한 신규 타겟 키워드와 연관된 신규 Ack 사운드 데이터 및 신규 음성 톤 모델을 포함할 수도 있다. 신규 키워드 데이터 파일을 수신하면, 데이터베이스 업데이팅 유닛 (118) 은 신규 키워드 데이터 파일을 부가하는 것에 의해 데이터베이스 (114) 를 업데이트할 수도 있다. 다른 실시형태에서, 데이터베이스 업데이팅 유닛 (118) 은 키워드 모델 제공자 (130) 로부터 연관된 Ack 사운드 데이터 및 음성 톤 모델과 함께 신규 키워드 모델을 수신하고, 신규 키워드 데이터 파일을 생성할 수도 있다.
전자 디바이스 (140) 의 사용자는 통신 네트워크 (150) 를 통해 서버 (110) 에서의 가용 타겟 키워드들의 리스트에 액세스할 수도 있다. 사용자가 가용 타겟 키워드들의 리스트로부터 타겟 키워드를 선택할 때, 전자 디바이스 (140) 는 통신 네트워크 (150) 를 통해 선택된 타겟 키워드와 연관된 키워드 모델에 대한 요청을 서버 (110) 로 송신한다. 요청에 응답하여, 서버 (110) 는 선택된 타겟 키워드와 연관된 키워드 모델을 포함하는 키워드 데이터 파일을 전자 디바이스 (140) 로 송신한다. 키워드 모델을 수신한 후에, 사용자는 전자 디바이스 (140) 의 기능에 타겟 키워들를 할당하여 그 기능이 키워드 모델에 기초하여 입력 사운드에서 검출될 때 수행되도록 할 수도 있다.
도 2 는 본 개시물의 일 실시형태에 따라 복수의 타겟 키워드들에 액세스하고 입력 사운드 스트림으로부터 선택된 타겟 키워드를 검출하는데 사용하기 위한 키워드 모델을 다운로드하도록 구성되는 전자 디바이스 (140) 의 블록 다이어그램을 도시한다. 본 명세서에서 사용된 바와 같이, 용어 "사운드 스트림" 은 하나 이상의 사운드 신호들 또는 사운드 데이터의 시퀀스를 지칭한다. 전자 디바이스 (140) 는 통신 유닛 (210), TTS (text-to-speech) 변환 유닛 (220), 스피커 (230), 저장 유닛 (240), 제어 유닛 (250), 입력/출력 (I/O) 유닛 (260)(예를 들어, 사용자 인터페이스 유닛), 사운드 센서 (270), 스피치 검출기 (280), 및 키워드 검출 유닛 (290) 을 포함한다. 전자 디바이스 (140) 는 셀룰러 폰, 스마트폰, 개인용 컴퓨터, 랩탑 컴퓨터, 테블릿 컴퓨터, 스마트 텔레비전, 게이밍 디바이스, 멀티미디어 플레이어 등과 같은 사운드 포착 및 프로세싱 능력이 장착된 임의의 적절한 디바이스일 수도 있다.
전자 디바이스 (140) 는 통신 네트워크 (150) 에 대한 네트워크 인터페이스로서 기능하는, 통신 유닛 (210) 을 통해 서버 (110) 와 통신할 수도 있다. 이러한 프로세스에서, 전자 디바이스 (140) 는 서버 (110) 에서 복수의 타겟 키워드들에 액세스할 수도 있다. 전자 디바이스 (140) 상의 사용자가 I/O 유닛 (260) 을 통해 복수의 타겟 키워드들의 리스트로부터 타겟 키워드를 선택할 때, 전자 디바이스 (140) 는 선택된 타겟 키워드에 대한 요청을 서버 (110) 로 송신한다. 이에 대응하여, 서버 (110) 는 선택된 타겟 키워드와 연관된 타겟 모델을 포함하는 키워드 데이터 파일을 전자 디바이스 (140) 로 송신한다. 키워드 데이터 파일은 또한 선택된 타겟 키워드와 연관된 Ack 사운드 데이터 및 음성 톤 모델을 포함할 수도 있다.
전자 디바이스 (140) 에서의 제어 유닛 (250) 은 키워드 데이터 파일을 수신하고, 키워드 데이터 파일로부터 키워드 모델, Ack 사운드 데이터, 및 음성 톤 모델을 추출한다. 추출된 키워드 모델, Ack 사운드 데이터, 및 음성 톤 모델은 저장 유닛 (240) 에 저장된다. 저장 유닛 (240) 은 임의의 적절한 저장 또는 메모리 디바이스들, 예컨대 RAM (Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), 플래시 메모리, 또는 SSD (solid state drive) 를 사용하여 구현될 수도 있다. 이러한 방식으로, 사용자는 연관된 타겟 키워드들을 검출하는데 사용하기 위해 복수의 키워드 모델들을 다운로드할 수도 있다. 저장 유닛 (240) 은 또한 전자 디바이스 (140) 에서 원래 제공되는 하나 이상의 다른 키워드들 및 연관된 키워드 모델들을 저장할 수도 있다.
키워드 모델을 포함하는 키워드 데이터 파일이 다운로드되고 저장되면, 사용자는 I/O 유닛 (260) 을 통해 전자 디바이스 (140) 에서 선택된 기능에 키워드 모델과 연관된 타겟 키워드를 할당할 수도 있다. 이에 대응하여, 제어 유닛 (250) 은 타겟 키워드가 키워드 모델에 기초하여 입력 사운드 스트림에서 검출될 때 선택된 기능이 수행되도록 선택된 기능과 타겟 키워드에 대한 키워드 모델을 연관시킨다. 전자 디바이스 (140) 는 복수의 기능들 (예를 들어, 어플리케이션들, 피처들 등) 을 포함할 수도 있고, 그 기능들 중 어느 것이 선택되고 기능을 수행하기 위해 타겟 키워드와 연관될 수도 있다. 예를 들어, 그러한 기능은 음성 보조기 어플리케이션의 활성화, 사진 촬영, 전자 디바이스 (140) 의 잠금 해제, 음성 레코더 어플리케이션의 활성화, 카메라 어플리케이션의 활성화, 뮤직 플레이어 어플리케이션의 활성화 등 중 하나일 수도 있다.
전자 디바이스 (140) 는 타겟 키워드에 대한 키워드 모델에 기초하여 입력 사운드 스트림에서 타겟 키워드를 검출할 수도 있다. 전자 디바이스 (140) 에서의 사운드 센서 (270) 는 타겟 키워드를 포함할 수도 있는 입력 사운드 스트림을 수신하고 입력 사운드 스트림을 스피치 검출기 (280) 에 제공하도록 구성된다. 사운드 센서 (270) 는 전자 디바이스 (140) 로의 사운드 입력을 수신, 포착, 센싱, 및/또는 검출하기 위해 사용될 수 있는 사운드 센서들의 임의의 다른 타입들 또는 하나 이상의 마이크로폰들을 포함할 수도 있다. 부가적으로, 사운드 센서 (270) 는 그러한 기능들을 수행하기 위해 임의의 적절한 소프트웨어 및/또는 하드웨어를 채용할 수도 있다.
일 실시형태에서, 사운드 센서 (270) 는 듀티 사이클에 따라 주기적으로 입력 사운드 스트림을 수신하도록 구성될 수도 있다. 이러한 경우, 사운드 센서 (270) 는 입력 사운드 스트림의 수신된 부분이 임계 사운드 세기를 초과하는지 여부를 결정할 수도 있다. 사운드 스트림의 수신된 부분이 임계 세기를 초과할 때, 사운드 센서 (270) 는 스피치 검출기 (280) 를 활성화하고 수신된 부분을 스피치 검출기 (280) 에 제공한다. 대안으로, 사운드 센서 (270) 는 입력 스트림의 부분을 주기적으로 (예를 들어, 듀티 사이클에 따라) 수신하고, 스피치 검출기 (280) 를 활성화하여 수신된 부분을 스피치 검출기 (280) 에 (예를 들어, 사운드 세기에 관계 없이) 제공할 수도 있다. 추가적인 대안으로서, 사운드 센서 (270) 는 입력 사운드 스트림을 (예를 들어, 100% 듀티 사이클에 따라) 연속적으로 수신하고 입력 사운드가 임계 사운드 세기를 초과할 때 스피치 검출기 (280) 를 활성화할 수도 있다.
스피치 검출기 (280) 는 사운드 센서 (270) 로부터 입력 사운드 스트림의 부분을 수신하도록 구성된다. 일 실시형태에서, 스피치 검출기 (280) 는 수신된 부분으로부터 복수의 사운드 피처들을 추출하고, 추출된 사운드 피처가 GMM (Gaussian mixture model) 기반 분류기, 뉴트럴 네트워크, HMM (hidden Markov model), 그래픽 모델, 및 SVM (Support Vector Machine) 기법들과 같은 임의의 적절한 사운드 분류 방법을 사용하는 것에 의해 스피치와 같은 관심 있는 사운드를 표시하는지 여부를 결정한다. 수신된 부분이 관심 있는 사운드인 것으로 결정되는 경우, 스피치 검출기 (280) 는 키워드 검출 유닛 (290) 을 활성화하고 입력 사운드 스트림의 수신된 부분 및 나머지 부분이 키워드 검출 유닛 (290) 에 제공된다. 일부 다른 실시형태들에서, 스피치 검출기 (280) 가 전자 디바이스 (140) 에서 생략될 수도 있다. 이러한 경우, 수신된 부분이 임계 세기를 초과할 때, 사운드 센서 (270) 는 키워드 검출 유닛 (290) 을 활성화하고 입력 스트림의 수신된 부분 및 나머지 부분을 키워드 검출 유닛 (290) 에 직접 제공한다. 대안으로, 스피치 검출기 (280) 가 생략될 때, 사운드 센서 (270) 는 입력 사운드 스트림의 실질적으로 전부를 키워드 검출 유닛 (290) 에 (예를 들어, 사운드 세기에 관계 없이) 제공할 수도 있다.
키워드 검출 유닛 (290) 은, 활성화될 때, 입력 사운드 스트림을 수신하고 키워드 모델에 기초하여 타겟 키워드를 검출하도록 구성된다. 타겟 키워드가 입력 사운드 스트림에서 검출될 때, 키워드 검출 유닛 (290) 은 검출되었던 타겟 키워드를 표시하는 검출 신호를 생성하고 검출 신호를 제어 유닛 (250) 으로 송신한다. 검출 신호에 응답하여, 제어 유닛 (250) 은 검출된 타겟 키워드와 연관된 기능을 수행한다. 키워드 검출 유닛 (290) 은 복수의 키워드 모델들에 기초하여 복수의 타겟 키워드들을 검출하도록 구성될 수도 있다. 이러한 경우, 복수의 키워드 모델들은 하기에서 상세하게 설명될 키워드 검출 모델 (예를 들어, 결합된 키워드 모델) 에 결합될 수도 있다.
제어 유닛 (250) 은 또한 저장 유닛 (240) 으로부터 타겟 키워드와 연관된 Ack 사운드 데이터 및 음성 톤 모델을 취출할 수도 있다. 이 경우, 제어 유닛 (250) 은 타겟 키워드의 검출을 표시하기 위해 스피커 (230) 를 통한 출력을 위해 취출된 Ack 사운드 데이터로부터 확인응답 사운드를 생성할 수도 있다. TTS 변환 유닛 (220) 은 제어 유닛 (250) 으로부터 음성 톤 모델을 수신하고 수신된 음성 톤 모델에 기초하여 TTS 변환 유닛 (220) 의 음성 톤을 수정하도록 구성된다. TTS 변환 유닛 (220) 은 그 후, 사용자에게 출력될 수도 있는 텍스트를, 수정된 음성 톤을 갖는 스피치로 변환하고, 이 스피치를 스피커 (230) 를 통해 출력한다.
도 3 은 본 개시물의 일 실시형태에 따라, 선택된 타겟 키워드들을 검출하기 위해 선택되고 전자 디바이스 (140) 에 다운로드될 수도 있는 전자 디바이스 (140) 의 디스플레이 스크린 (310) 상의 타겟 키워드들의 리스트를 도시한다. 키워드 스토어는 서버 (110) 로부터 타겟 키워드들의 리스트를 제공한다. 키워드 스토어의 상부 부분에서, "랭킹(RANKING)", "신규(NEW)," 및 "탐색(SEARCH)" 과 같은 복수의 메뉴 탭들이 디스플레이될 수도 있다. 도 3 의 실시형태에서, "랭킹" 메뉴 탭의 하부 부분에서 굵은 선으로 표시된 바와 같이, 메뉴 탭 "랭킹" 이 사용자에 의해 선택될 때 (예를 들어, 디스플레이 스크린 (310) 상의 터치 입력), 전자 디바이스 (140) 는 그 레이팅들에 기초하여 저장되는 타겟 키워드들의 리스트를 디스플레이한다. 이 경우, 상위 레이팅을 갖는 타겟 키워드 (예를 들어, "헤이 어시스턴트 (HEY ASSISTANT)") 는 하위 레이팅를 갖는 타겟 키워드 (예를 들어, "치즈 하세요(SAY CHEESE)") 전에 디스플레이된다.
일부 실시형태들에서, 타겟 키워드들의 리스트는 다운로드를 위한 그 가격들과 함께 디스플레이될 수도 있다. 도 3 의 실시형태에서, 타겟 키워드들 "헤이 어시스턴트" 및 "오픈 세서미(OPEN SESAME)" 는 다운로드에 대해 무료이며 이로써 그 우측 부분들에서 "무료(FREE)" 로서 표시된다. 다른 한편으로, 타겟 키워드들 "치즈 하세요" 및 "기록 시작(START RECORDING)" 은 다운로드에 대해 각각 $0.99 및 $1.99 이며, 그 가격들은 타겟 키워드들의 우측 부분들에 디스플레이된다. 사용자가 타겟 키워드들의 리스트로부터 타겟 키워드를 선택할 때, 전자 디바이스 (140) 는 선택된 타겟 키워드를 검출하는데 사용하기 위해 키워드 모델을 포함하는 키워드 데이터 파일을 다운로드한다 (예를 들어, 필요하다면, 지불 프로세싱 후에). 키워드 데이터 파일은 또한 선택된 타겟 키워드와 연관된 Ack 사운드 데이터 및 음성 톤 모델을 포함할 수도 있다.
다른 실시형태에서, 메뉴 탭 "신규" 는 서버 (110) 에 업로드되기 위해서 타겟 키워드들의 리스트를 디스플레이하기 위해 선택될 수도 있다. 대안으로, 메뉴 탭 "탐색" 이 선택될 때, 탐색 기능은 사용자에게 관심이 있을 수도 있는 타겟 키워드를 위치시키기 위해 탐색 윈도우 또는 탐색 박스를 디스플레이하는 것에 제공된다. 이 경우, 사용자는 탐색 용어를 탐색 윈도우 또는 탐색 박스에 입력할 수도 있고 전자 디바이스 (140) 는 탐색 용어에 응답하여 디스플레이 스크린 (310) 상에 하나 이상의 타겟 키워드들을 표시한다.
도 4 는 본 개시물의 일 실시형태에 따라, 헤더 (410), 키워드 모델 (420), Ack 사운드 데이터 (430), 음성 톤 모델 (440), 및 에러 체크 데이터 (450) 를 포함하는 예시적인 키워드 데이터 파일 (400) 을 도시한다. 헤더 (410) 는 제공자 정보, 데이터 사이즈, 데이터 타입, 생성 날짜 등과 같은 키워드 모델 (420) 과 관련된 정보를 포함할 수도 있다. 헤더 (410) 는 호환성 체크를 위한 호환성 정보 또는 버전 정보를 더 포함할 수도 있다. 이 경우, 버전 정보의 호환성은 키워드 모델 (420)(예를 들어, HMM 방법에 기초하여 생성된 모델) 의 타입, 키워드 모델 (420) 에 대해 적용가능한 인식 알고리즘들 등을 디스플레이할 수도 있다.
도 4 에 도시된 바와 같이, 키워드 모델 (420) 은 타겟 키워드 (422), 키워드 모델 파라미터들 (424), 및 임계값 (426) 을 포함한다. 타겟 키워드 (422) 는 텍스트 스트링 또는 하나 이상의 단어들일 수도 있다. 키워드 모델 파라미터들 (424) 은 타겟 키워드 (422) 의 사운드 특성들을 표시하고 다수의 키워드 기록들의 트레이닝에 기초하여 생성될 수도 있어서 키워드 모델 (420) 이 타겟 키워드 (422) 를 검출하기 위해 최적화될 수 있다. 예를 들어, 다수의 개인들로부터 키워드 기록들이 트레이닝을 위해 사용될 수도 있다. 특정 실시형태에서, 키워드 모델 (420) 은 사용자 특정이 아니고 타겟 키워드 (422) 의 언어의 모든 음소들 보다 적은 모델에 대한 정보 (예를 들어, 키워드 모델 파라미터들 (424)) 를 포함한다.
일부 실시형태들에서, 키워드 모델 파라미터들 (424) 은 타겟 키워드의 복수의 부분들과 연관된 복수의 상태들에 대한 상태 정보를 포함한다. 일 실시형태에서, 타겟 키워드 (422) 는 폰들, 음소들 또는 그 서브 유닛들과 같은 사운드의 복수의 기본 유닛들로 분할될 수도 있고, 타겟 키워드 (422) 를 나타내는 복수의 부분들은 사운드의 기본 유닛들에 기초하여 생성될 수도 있다. 그 후 타겟 키워드의 각각의 부분은 마르코프 사슬 모델 (예컨대 HMM (hidden Markov model) 또는 SMM (semi-Markov model)) 하의 상태, 반복 뉴트럴 네트워크의 노드, 또는 그 조합과 연관된다. 상태 정보는 상태들의 각각으로부터 그 자체를 포함하는 다음 상태로의 트랜지션 정보를 포함할 수도 있다. 키워드 모델 파라미터들 (424) 은 또한 입력 사운드에 대한 관찰 스코어를 결정하기 위해 가능성 모델을 포함한다. 예를 들어, 가능성 모델은 GMM, 뉴트럴 네트워크, 및 SVM 과 같은 임의의 적절한 모델일 수도 있다. 임계값 (426) 은 입력 사운드가 타겟 키워드를 포함하는 것을 보장하기 위한 최소 신뢰값이다. 임계값 (426) 은 타겟 키워드를 포함하지 않는 입력 사운드로부터 타겟 키워드가 잘못 검출되지 않도록 적절한 값으로 결정될 수도 있다.
Ack 사운드 데이터 (430) 는 타겟 키워드의 검출을 표시하는 확인응답 사운드를 출력하는데 사용될 수도 있다. Ack 사운드 데이터 (430) 가 오디오 데이터인 경우, 전자 디바이스 (140) 는 오디오 데이터를 변환하여 확인응답 사운드를 생성하고 출력할 수도 있다. 다른 한편으로, Ack 사운드 데이터 (430) 가 오디오 데이터라기 보다 텍스트 스트링 또는 하나 이상의 단어들인 경우, 전자 디바이스 (140) 는 타겟 키워드 (422) 와 연관된 음성 톤 모델 (440) 에 기초하여 텍스트 스트링 또는 단어들을 스피치로 변환하는 것에 의해 확인응답 사운드를 생성하고 출력할 수도 있다.
음성 톤 모델 (440) 은 텍스트로부터 생성된 스피치의 음성 톤을 수정하도록 적응된다. 에러 체크 데이터 (450) 는 키워드 데이터 파일 (400) 의 데이터 완전성을 체크하고 및/또는 의외의 변화들을 검출하는데 사용될 수도 있다. 예를 들어, 에러 체크 데이터 (450) 는 순환 중복 체크 (CRC) 코드일 수도 있다.
도 5 는 본 개시물의 일 실시형태에 따라, 타겟 키워드가 검출될 때 선택된 기능에 타겟 키워드를 할당하고 선택된 기능을 수행하도록 구성되는 전자 디바이스 (140) 에서의 제어 유닛 (250) 의 보다 상세한 블록 다이어그램을 도시한다. 제어 유닛 (250) 은 다운로드 관리 유닛 (510), 검증 유닛 (520), 추출 유닛 (530), 키워드 설정 유닛 (540), 및 기능 관리 유닛 (550) 을 포함한다. 다운로드 관리 유닛 (510) 은 텍스트 파일, 오디오 파일, 비디오 파일, 키워드 데이터 파일, 어플리케이션 파일 등과 같은 임의의 타입의 파일들을 다운로드하도록 구성될 수도 있다.
다운로드 관리 유닛 (510) 이 타겟 키워드를 검출하는데 사용하기 위해 키워드 모델을 포함하는 키워드 데이터 파일을 다운로드할 때, 검증 유닛 (520) 은 키워드 데이터 파일을 수신하고 키워드 데이터 모델이 다운로드된 키워드 데이터 파일의 헤더에서 호환성 정보 또는 버전 정보에 기초하여 키워드 검출 유닛 (290) 에서 사용될 수 있는지 여부를 검증한다. 검증 유닛 (520) 은 또한 다운로드된 키워드 데이터 파일의 에러 체크 데이터를 디코딩하는 것에 의해 다운로드된 키워드 데이터의 데이터 완전성을 체크할 수도 있다. 검증 유닛 (520) 이 다운로드된 키워드 모델이 키워드 검출 유닛 (290) 과 호환가능하다고 검증하는 경우, 추출 유닛 (530) 은 다운로드된 키워드 데이터 파일로부터 키워드 모델을 추출하고 추출된 키워드 모델을 저장 유닛 (240) 에 저장한다. 특정 실시형태에서, 검증 유닛 (520) 이 키워드 데이터 파일이 키워드 검출 유닛 (290) 과 호환가능하지 않다고 결정하는 경우, 제어 유닛 (250) 은 키워드 모델을 키워드 검출 유닛 (290) 과 호환가능한 버전으로 변환하는 것을 시도할 수도 있다. 다른 특정 실시형태에서, 검증 유닛 (520) 이 키워드 데이터 파일이 키워드 검출 유닛 (290) 과 호환가능하지 않다고 결정하는 경우, 다운로드 관리 유닛 (510) 은 키워드 모델의 다른 버전을 다운로드 하는 것을 시도할 수도 있다. 예를 들어, 다운로드 관리 유닛 (510) 은 키워드 모델의 제 2 버전에 대한 요청을 도 1 의 서버 (110) 로 전송할 수도 있으며, 여기서 키워드 모델의 제 2 버전은 키워드 검출 유닛 (290) 과 호환가능하다. 다른 예에서, 다운로드 관리 유닛 (510) 은 도 2 의 통신 유닛 (210) 으로 하여금 전자 디바이스 (140) 와 관련된 정보를 서버 (110) 에 전송하게 할 수도 있다. 전자 디바이스 (140) 와 관련된 정보는, 예를 들어 디바이스 타입 식별자, 모델 명칭 식별자, 모델 타입 식별자, 키워드 검출 유닛 버전 식별자, 다른 정보 또는 그 조합을 포함할 수도 있다. 서버 (110) 는 키워드 검출 유닛 (290) 과 호환가능한 키워드 모델을 선택하고 송신하기 위해 전자 디바이스 (140) 와 관련된 정보를 사용할 수도 있다. 추출 유닛 (530) 은 제 2 다운로드된 키워드 데이터 파일로부터 키워드 모델의 제 2 버전을 추출하고 추출된 키워드 모델의 제 2 버전을 저장 유닛 (240) 에 저장한다. 키워드 데이터 파일이 또한 Ack 사운드 데이터 및 음성 톤 모델을 포함할 때, 추출 유닛 (530) 은 다운로드된 키워드 데이터 파일로부터 Ack 사운드 데이터 및 음성 톤 모델을 추출하고 이들을 저장 유닛 (240) 에 저장한다.
전자 디바이스 (140) 는 복수의 타겟 키워드들을 복수의 기능들에 매핑하는 키워드-투-기능 데이터베이스를 저장 유닛 (240) 에 저장할 수도 있다. 키워드-투-기능 데이터베이스는 제조자 또는 캐리어에 의해 전자 디바이스 (140) 에 제공되거나 사용자 입력에 응답하여 생성될 수도 있다. 키워드 설정 유닛 (540) 은 신규 키워드-투-기능 데이터베이스를 생성하거나 기존 키워드-투-기능 데이터베이스를 업데이트하도록 구성된다.
키워드 설정 유닛 (540) 은 선택된 타겟 키워드가 입력 사운드에서 검출될 때 사용자가 선택된 기능을 수행하기 위해 전자 디바이스 (140) 에서 타겟 키워드 및 기능을 선택하는 것을 허용한다. 타겟 키워드 및 기능의 선택 시, 키워드 설정 유닛 (540) 은 선택된 기능에 선택된 타겟 키워드를 할당한다. 기존 키워드-투-기능 데이터베이스가 발견되지 않는 경우, 키워드 설정 유닛 (540) 은 선택된 타겟 키워드를 선택된 기능에 매핑하는 신규 키워드-투-기능 데이터베이스를 생성한다. 다른 한편으로, 키워드-투-기능 데이터베이스가 이미 존재하는 경우, 기존 데이터베이스가 선택된 타겟 키워드 및 기능의 매핑으로 업데이트된다. 키워드 설정 유닛 (540) 은 데이터베이스에서의 기존 엔트리들의 삭제 또는 타겟 키워드들 및 기능들의 부가 선택에 응답하여 키워드-투-기능 데이터베이스를 업데이트할 수도 있다.
전자 디바이스 (140) 는 또한 저장 유닛 (240) 또는 키워드 검출 유닛 (290) 에서 복수의 키워드 모델들과 연관된 타겟 키워드들을 검출하는데 사용하기 위해 복수의 키워드 모델들을 포함하는 키워드 검출 모델을 저장할 수도 있다. 기능에 선택된 키워드를 할당하면, 키워드 설정 유닛 (540) 은 저장 유닛 (240) 으로부터 선택된 타겟 키워드에 대한 키워드 모델을 취출할 수도 있다. 기존 키워드 검출 모델이 발견되지 않은 경우, 키워드 설정 유닛 (540) 은 키워드 검출 모델로서 키워드 검출 유닛 (290) 또는 저장 유닛 (240) 으로 추출된 키워드 모델을 전송할 수도 있다. 다른 한편으로, 키워드 검출 모델이 이미 존재하는 경우, 기존 모델은 취출된 키워드 모델을 부가하는 것에 의해 업데이트된다. 예를 들어, 키워드 검출 모델이 제 1 타겟 키워드에 대해 존재할 때, 사용자는 제 2 타겟 키워드에 대해 키워드 데이터 파일을 다운로드할 수도 있다. 본 예에서, 키워드 데이터 파일이 검증 유닛 (520) 에 의해 검증된 후에, 추출 유닛 (530) 은 키워드 데이터 파일로부터 제 2 타겟 키워드에 대한 키워드 모델을 추출한다. 키워드 설정 유닛 (540) 은 제 2 타겟 키워드에 대해 추출된 키워드 모델을 기존 키워드 검출 모델과 병합 또는 결합하여 업데이트된 키워드 검출 모델 (예를 들어, 제 1 타겟 키워드 및 제 2 타겟 키워드에 대해 결합된 키워드 검출 모델) 을 형성한다. 키워드 설정 유닛 (540) 은 입력 사운드 스트림에서 타겟 키워드를 검출하는데 사용하기 위해 키워드 검출 유닛 (290) 또는 저장 유닛 (240) 에 업데이트된 키워드 검출 모델을 제공한다. 키워드 설정 유닛 (540) 은 또한 키워드-투-기능 데이터베이스에서의 기존 엔트리들의 삭제 또는 타겟 키워드들 및 기능들의 부가 선택에 응답하여 키워드 검출 모델을 업데이트할 수도 있다.
키워드 검출 유닛 (290) 이 키워드 검출 모델에 기초하여 타겟 키워드를 검출할 때, 키워드 검출 유닛 (290) 은 검출되었던 타겟 키워드를 표시하는 검출 신호를 생성한다. 검출 신호에 응답하여, 기능 관리 유닛 (550) 은 검출된 타겟 키워드와 연관된 기능을 식별하기 위해 키워드-투-기능 데이터베이스에 액세스한다. 그 후 기능 관리 유닛 (550) 은 식별된 기능을 수행한다.
부가적으로, 기능 관리 유닛 (550) 은 저장 유닛 (240) 으로부터 검출된 타겟 키워드와 연관된 Ack 사운드 데이터 및 음성 톤 모델을 취출할 수도 있다. 이 경우, 기능 관리 유닛 (550) 은 타겟 키워드의 검출을 표시하기 위해 취출된 Ack 사운드 데이터에 기초하여 확인응답 사운드를 생성하고 출력할 수도 있다. 기능 관리 유닛 (550) 은 또한 TTS 변환 유닛 (220) 에 의해 생성된 스피치의 음성 톤을 수정하기 위해 TTS 변환 유닛 (220) 으로 음성 톤 모델을 송신할 수도 있다.
도 6 은 본 개시물의 일 실시형태에 따라 키워드 데이터 모델과 연관된 타겟 키워드를 검출하는데 사용하도록 서버 (110) 로부터 키워드 모델을 취출하기 위해 전자 디바이스 (140) 에서 수행되는 예시적인 방법 (600) 의 플로우챠트를 도시한다. 초기에, 610 에서, 전자 디바이스 (140) 는 서버 (110) 에서의 복수의 타겟 키워드들에 액세스하고 전자 디바이스 (140) 상의 사용자는 복수의 타겟 키워드들로부터 타겟 키워드를 선택한다. 620 에서, 사용자의 선택에 응답하여, 전자 디바이스 (140) 는 서버 (110) 로부터 선택된 타겟 키워드에 대한 키워드 데이터 파일을 수신한다. 키워드 데이터 파일은 선택된 타겟 키워드를 검출하는데 사용하기 위한 타겟 키워드를 포함한다. 키워드 데이터 파일은 또한 Ack 사운드 데이터 및 음성 톤 모델을 포함할 수도 있다.
630 에서, 전자 디바이스 (140) 는 키워드 검출을 위해 수신된 키워드 데이터 파일을 검증한다. 일 실시형태에서, 전자 디바이스 (140) 는 수신된 키워드 데이터 파일에서의 키워드 모델이 키워드 데이터 파일의 헤더에서 호환성 정보 또는 버전 정보에 기초하여 키워드 검출 유닛 (290) 에서 사용될 수 있는지 여부를 검증한다. 640 에서, 전자 디바이스 (140) 가 키워드 모델이 키워드 검출 유닛 (290) 과 호환가능하다고 검증하는 경우, 전자 디바이스 (140) 는 수신된 키워드 데이터 파일로부터 키워드 모델을 추출한다. 전자 디바이스 (140) 가 키워드 모델이 키워드 검출 유닛 (290) 과 호환가능하다고 결정하는 경우, 제어 유닛 (250) 은 키워드 모델을 호환가능한 버전으로 변환하려고 시도할 수도 있고 또는 전자 디바이스 (140) 가 키워드 검출 유닛 (290) 과 호환가능한 키워드 모델의 상이한 버전을 자동으로 다운로드할 수 있다. 키워드 데이터 파일이 또한 Ack 사운드 데이터 및 음성 톤 모델을 포함할 때, 전자 디바이스 (140) 는 또한 수신된 키워드 데이터 파일로부터 Ack 사운드 데이터 및 음성 톤 모델을 추출할 수도 있다.
그 후, 650 에서, 전자 디바이스 (140) 는 저장 유닛 (240) 에 추출된 키워드 모델을 저장한다. Ack 사운드 데이터 및 음성 톤 모델이 또한 수신된 키워드 데이터 파일에서 추출되는 경우, 전자 디바이스 (140) 는 추출된 Ack 사운드 데이터 및 음성 톤 모델을 저장 유닛 (240) 에 저장한다. 다른 타겟 키워드와 관련된 키워드 검출 모델이 키워드 검출 유닛 (290) 에 의해 이미 사용되고 있는 경우, 전자 디바이스 (140) 는 키워드 검출 유닛 (290) 에 의해 사용되고 있는 키워드 검출 모델과 추출된 키워드 모델을 병합 또는 결합하여 (예를 들어, 결부시켜) 업데이트된 키워드 검출 모델 (예를 들어, 선택된 타겟 키워드 및 다른 타겟 키워드에 대해 결합된 키워드 검출 모델) 을 형성할 수도 있다. 키워드 설정 유닛 (540) 은 입력 사운드 스트림에서 타겟 키워드 또는 타겟 키워드들을 검출하는데 사용하기 위해 저장 유닛 (240) 또는 키워드 검출 유닛 (290) 에 업데이트된 키워드 검출 모델을 제공한다. 660 에서, 방법 (600) 은 다른 타겟 키워드가 선택될 것인지 여부를 결정한다. 예를 들어, 전자 디바이스 (140) 는 사용자가 다른 타겟 키워드를 선택할지 말지 여부를 표시하는, 사용자로부터의 입력을 수신하는 것을 대기할 수도 있다. 다른 타겟 키워드가 선택될 것이라고 결정되는 경우, 방법 (600) 은 다음 타겟 키워드를 선택하기 위해 610 으로 다시 진행한다. 그렇지 않으면, 방법 (600) 이 종료한다.
도 7 은 본 개시물의 일 실시형태에 따라 서버 (110) 로부터 어플리케이션 파일을 수신하고 어플리케이션 파일로부터 키워드 모델을 추출하기 위해 전자 디바이스 (140) 에서 수행되는 예시적인 방법 (700) 의 플로우챠트를 도시한다. 초기에, 710 에서, 전자 디바이스 (140) 는 서버 (110) 에서의 복수의 어플리케이션들에 액세스하고, 전자 디바이스 (140) 상의 사용자는 다운로드 및 설치를 위해 복수의 어플리케이션들로부터 어플리케이션을 선택한다. 720 에서, 사용자의 선택에 응답하여, 전자 디바이스 (140) 는 선택된 어플리케이션을 설치하기 위해 어플리케이션 파일을 수신한다. 어플리케이션 파일은 타겟 키워드를 검출하고 타겟 키워드의 검출 시 어플리케이션을 활성화하는데 사용될 수도 있는 키워드 모델을 포함할 수도 있다. 이 경우, 어플리케이션 파일은 또한 타겟 키워드와 연관된 Ack 사운드 데이터 및 음성 톤 모델을 포함할 수도 있다.
730 에서, 방법 (700) 은 키워드 모델이 수신된 어플리케이션 파일에 존재하는지 여부를 결정한다. 780 에서, 키워드 모델이 수신된 어플리케이션 파일에 존재하지 않는다고 결정되는 경우, 어플리케이션이 전자 디바이스 (140) 에 설치된다. 어플리케이션을 설치한 후, 방법 (700) 을 790 으로 진행한다.
이와 달리 키워드 모델이 수신된 어플리케이션 파일에 존재한다고 결정되는 경우, 방법 (700) 은 키워드 검출에 대한 키워드 모델을 검증하기 위해 740 으로 진행한다. 일 실시형태에서, 전자 디바이스 (140) 는 어플리케이션 파일에서의 키워드 모델이 어플리케이션 파일의 헤더에서 호환성 또는 버전 정보에 기초하여 타겟 키워드를 검출하기 위해 키워드 검출 유닛 (290) 에 사용될 수도 있는지 여부를 검증한다. 750 에서, 전자 디바이스 (140) 가 키워드 모델이 키워드 검출 유닛 (290) 과 호환가능하다고 검증하는 경우, 전자 디바이스 (140) 는 수신된 어플리케이션 파일로부터 키워드 모델을 추출하고 추출된 키워드 모델을 저장 유닛 (240) 에 저장한다. 전자 디바이스 (140) 가 키워드 모델이 키워드 검출 유닛 (290) 과 호환가능하지 않다고 결정하는 경우, 전자 디바이스 (140) 는 키워드 검출 유닛 (290) 과 호환가능한 키워드 모델의 상이한 버전을 자동으로 다운로드할 수도 있다. 어플리케이션 파일이 또한 Ack 사운드 데이터 및 음성 톤 모델을 포함할 때, Ack 사운드 데이터 및 음성 톤 모델이 수신된 어플리케이션 파일로부터 추출되고 저장 유닛 (240) 에 저장된다.
760 에서, 키워드 모델을 추출한 후, 어플리케이션이 수신된 어플리케이션 파일을 사용하여 전자 디바이스 (140) 에 설치된다. 그 후, 770 에서, 어플리케이션 파일에서의 키워드 모델과 연관된 타겟 키워드가 키워드 모델에 기초하여 타겟 키워드의 검출 시 설치된 어플리케이션을 활성화하기 위해 어플리케이션에 할당된다. 790 에서, 방법 (700) 은 다른 어플리케이션이 선택될지 여부를 결정한다. 다른 어플리케이션이 선택된다고 결정되는 경우, 방법 (700) 은 다른 어플리케이션을 선택하기 위해 710 으로 다시 진행한다. 그렇지 않으면, 방법 (700) 이 종료한다.
도 8 은 본 개시물의 일 실시형태에 따라 기능에 타겟 키워드를 할당하기 위한 메뉴들 (810 및 820) 를 나타내는 전자 디바이스 (140) 에서의 디스플레이 스크린 (310) 을 도시한다. 초기에, 메뉴 (810) 는 복수의 기능들의 리스트로부터 기능을 선택하기 위해 디스플레이 스크린 (310) 상에 디스플레이될 수도 있다. 도시된 바와 같이, 복수의 기능들의 리스트는 음성 보조기 어플리케이션의 활성화, 사진 촬영, 전자 디바이스 (140) 의 잠금해제, 음성 레코더 어플리케이션의 활성화 등을 포함한다.
전자 디바이스 (140) 상의 사용자는 메뉴 (810) 로부터 기능을 선택할 수도 있다. 예를 들어, 사용자는 기능 "음성 보조기 활성화(ACTIVATE VOICE ASSISANT)" 를 선택할 수도 있다. 이에 대응하여, 전자 디바이스 (140) 는 사용자가 선택 기능을 수행, 즉 음성 보조기 어플리케이션을 활성화하기 위해 타겟 키워드를 선택하는 것을 허용하기 위해 메뉴 (820) 를 디스플레이한다.
타겟 키워드를 선택하기 위한 메뉴 (820) 는 전자 디바이스 (140) 에 저장된 키워드 모델들과 연관된 타겟 키워드들의 리스트를 디스플레이한다. 사용자는 선택된 타겟 키워드를 기능 "음성 보조기 활성화" 에 할당하기 위해 메뉴 (820) 로부터 타겟 키워드를 선택할 수도 있다. 예를 들어, 타겟 키워드 "헤이 어시스턴트" 가 선택된 기능, 즉 음성 보조기 어플리케이션을 활성화하는 것에 할당될 수도 있다. 타겟 키워드를 선택하기 위한 메뉴 (820) 는 또한 신규 타겟 키워드를 다운로드하기 위해 메뉴 아이템을 제공할 수도 있다. 예를 들어, 사용자는 메뉴 아이템 "신규 키워드 다운로드(DOWNLOAD NEW KEYWORD)" 을 선택하는 것에 의해 도 3 에 도시된 키워드 스토어를 론칭하고 서버 (110) 로부터 신규 타겟 키워드 및 연관된 키워드 모델을 다운로드할 수도 있다.
타겟 키워드 "헤이 어시스턴트" 가 기능 "음성 보조기 활성화" 에 할당될 때, 전자 디바이스 (140) 는 선택된 키워드 "헤이 어시스턴트" 를 선택된 기능 "음성 보조기 활성화" 에 매핑하는 것에 의해 키워드-투-기능 데이터베이스를 업데이트한다. 전자 디바이스 (140) 는 또한 선택된 키워드 "헤이 어시스턴트" 에 대한 키워드 모델을 취출하고 취출된 키워드 모델을 부가하는 것에 의해 키워드 검출 모델을 업데이트한다. 업데이트된 키워드 검출 모델에 기초하여, 전자 디바이스 (140) 는 입력 사운드에서 타겟 키워드 "헤이 어시스턴트" 를 검출하고 업데이트된 키워드-투-기능 데이터베이스에 액세스하는 것에 의해 음성 보조기 어플리케이션을 활성화할 수도 있다.
도 9 는 본 개시물의 일 실시형태에 따라 복수의 타겟 키워드들을 복수의 기능들에 매핑하는 예시적인 키워드-투-기능 데이터베이스 (900) 이다. 도시된 실시형태에서, 타겟 키워드들 "치즈 하세요", "오픈 세서미", "헤이 어시스턴트", 및 "기록 시작" 이 기능들 "사진 촬영(TAKE PHOTOGRAPH)," "디바이스 잠금해제(UNLOCK DEVICE)", "음성 보조기 활성화" 및 "음성 레코더 활성화(ACTIVATE VOICE RECORDER)" 에 각각 매핑된다. 키워드-투-기능 데이터베이스 (900) 는 또한 타겟 키워드들 (예를 들어, "치즈 하세요") 를 연관된 Ack 사운드 데이터 (예를 들어, 비프 (beep) 사운드) 및 음성 톤 모델들 (예를 들어, 로봇식 음성) 에 매핑할 수도 있다. 키워드-투-기능 데이터베이스 (900) 는 복수의 기능들과 복수의 타겟 키워드들을 연관시키는 룩업 테이블 또는 임의의 다른 데이터 구조로서 구현될 수도 있다.
도 5 를 참조하여 위에서 기재된 바와 같이, 전자 디바이스 (140) 가 그 키워드 모델에 기초하여 타겟 키워드 (예를 들어, "치즈 하세요") 를 검출할 때, 전자 디바이스 (140) 는 검출된 타겟 키워드와 연관된 기능 (예를 들어, 사진 촬영) 을 식별하기 위해 키워드-투-기능 데이터베이스 (900) 에 액세스한다. 전자 디바이스 (140) 는 그 후 식별된 기능 (예를 들어, 사진 촬영) 을 수행한다. 부가적으로, 전자 디바이스 (140) 는 저장 유닛 (240) 으로부터, 키워드-투-기능 데이터베이스 (900) 에서 검출된 타겟 키워드 (예를 들어, "치즈 하세요") 와 연관되는, Ack 사운드 데이터 (예를 들어, 비프 사운드) 및 음성 톤 모델 (예를 들어, 로봇식 음성) 을 취출할 수도 있다.
Ack 사운드 데이터를 취출하면, 전자 디바이스 (140) 는 취출된 Ack 사운드 데이터 (예를 들어, 비프 사운드) 를 변환하여 타겟 키워드 (예를 들어, "치즈 하세요") 가 검출되었다고 표시하는 확인응답 사운드를 생성하고 출력할 수도 있다. Ack 사운드 데이터가 오디오 데이터라기 보다 텍스트 스트링 또는 하나 이상의 단어들인 경우, 전자 디바이스 (140) 는 타겟 키워드와 연관된 음성 톤 모델에 기초하여 텍스트 스트링 또는 단어들을 스피치로 변환하는 것에 의해 확인응답 사운드를 생성하고 출력할 수도 있다. 예를 들어, 전자 디바이스 (140) 가 타겟 키워드 "헤이 어시스턴트" 를 검출할 때, 그것은 기능 "음성 보조기 활성화" 를 수행하고 "여성 음성 2(FEMALE VOICE 2)" 의 음성 톤으로 확인응답 사운드 "무엇을 도와드릴까요?(MAY I HELP YOU?) 를 생성한다.
전자 디바이스 (140) 는 또한 TTS 변환 유닛 (220) 에 의해 생성된 스피치의 음성 톤을 수정하기 위해 TTS 변환 유닛 (220) 으로 타겟 키워드와 연관된 음성 톤 모델 (예를 들어, 로봇식 음성) 을 송신할 수도 있다. 음성 톤이 설정되면, TTS 변환 유닛 (220) 은 검출된 타겟 키워드와 연관된 음성 톤 모델에 기초하여 텍스트-투-스피치 변환을 수행한다. 예를 들어, 타겟 키워드 "치즈 하세요" 를 검출한 후에, 전자 디바이스 (140) 는 조명이 사진을 촬영하기에 불충분하다고 결정할 수도 있다. 이 경우, 전자 디바이스 (140) 는 "불충분한 조명" 과 같은 오디오 메시지를 생성하기 위해 음성 톤 모델 "로봇식 음성(ROBOTIC VOICE)" 에 기초하여 텍스트-투-스피치 변환을 수행할 수도 있다.
도 10a 는 본 개시물의 일 실시형태에 따라 기능에 타겟 키워드를 할당하고 키워드-투-기능 데이터베이스를 업데이트하기 위해, 전자 디바이스 (140) 에서 수행되는, 예시적인 방법 (1010) 의 플로우챠트를 도시한다. 초기에, 1012 에서, 전자 디바이스 (140) 의 사용자는 타겟 키워드를 할당하기 위해 복수의 기능들의 리스트로부터 기능을 선택한다. 그 후, 1014 에서, 사용자는 선택된 기능에 대한 타겟 키워드를 선택하여 선택된 기능에 선택된 타겟 키워드를 할당한다. 기능 및 타겟 키워드를 선택하는 것은 도 8 을 참조하여 위에서 기재된 바와 같은 방식으로 수행될 수도 있다.
이에 대응하여, 1016 에서, 전자 디바이스 (140) 는 선택된 기능에 선택된 타겟 키워드를 할당한다. 기능에 타겟 키워드가 할당될 때, 방법 (1010) 은 키워드-투-기능 데이터베이스가 존재하는지 여부를 결정한다. 키워드-투-기능 데이터베이스가 이미 존재한다고 결정되는 경우, 방법 (1010) 은 1020 으로 진행하여 선택된 타겟 키워드 및 선택된 기능의 매핑으로 기존 데이터베이스를 업데이트한다. 다른 한편으로, 기존 키워드-투-기능 데이터베이스가 발견되지 않는 경우, 방법 (1010) 은 1022 로 진행하여 선택된 타겟 키워드를 선택된 기능에 매핑하는 신규 키워드-투-기능 데이터베이스를 생성한다. 키워드-투-기능 데이터베이스를 업데이트하거나 생성한 후에, 방법 (1010) 은 도 10b 에서 1032 로 진행하여, 하기에서 상세하게 기재될, 선택된 타겟 키워드들에 대한 키워드 모델을 취출한다.
도 10b 는 본 개시물의 일 실시형태에 따라, 기능에 타겟 키워드를 할당하고 키워드 검출 모델을 업데이트하기 위해, 전자 디바이스 (140) 에서 수행되는 예시적인 방법 (1030) 의 플로우챠트를 도시한다. 초기에, 1032 에서, 도 10a 의 방법 (1010) 에서 키워드-투-기능 데이터베이스를 업데이트하거나 생성한 후에, 전자 디바이스 (140) 는 저장 유닛 (240) 으로부터 선택된 타겟 키워드에 대한 키워드 모델을 취출한다. 취출된 키워드 모델은 타겟 키워드, 키워드 모델 파라미터, 및 임계값을 포함할 수도 있다.
1034 에서, 키워드 모델이 취출될 때, 방법 (1030) 은 키워드 검출 모델이 이미 존재하는지 여부 (예를 들어, 키워드 검출 유닛 (290) 이 키워드 검출 모델을 이미 사용하고 있는지 여부) 를 결정한다. 기존 키워드 검출 모델이 발견되지 않는 경우, 방법 (1030) 은 1040 으로 진행하여 키워드 검출 모델로서 취출된 키워드 모델을 키워드 검출 유닛 (290) 에 전송한다. 다른 한편으로, 키워드 검출 모델이 이미 존재한다고 결정되는 경우, 방법 (1030) 은 1036 으로 진행하여 기존 키워드 검출 모델을 업데이트한다. 예를 들어, 전자 디바이스 (140) 는 취출된 키워드 모델을 기존 키워드 검출 모델에 부가하는 것에 의해 (예를 들어, 결합된 키워드 검출 모델을 형성하기 위해 취출된 키워드 모델 및 키워드 검출 모델을 병합하는 것에 의해) 키워드 검출 모델을 업데이트할 수도 있다. 그 후, 1038 에서, 전자 디바이스 (140) 는 선택된 타겟 키워드를 검출하는데 사용하기 위해, 업데이트된 키워드 검출 모델을 키워드 검출 유닛 (290) 에 전송한다.
도 11 은 본 개시물의 일 실시형태에 따라 복수의 키워드 모델들을 포함하는 예시적인 키워드 검출 모델 (1100) 을 나타낸다. 키워드 검출 모델 (1100) 은 키워드 모델들에 대한 타겟 키워드들 (1110), 키워드 모델 파라미터들 (1120), 및 임계값들 (1130) 을 포함한다. 예시된 실시형태에서, 타겟 키워드들 (1110), 키워드 모델 파라미터들 (1120), 및 임계값들 (1130) 은 그 카테고리들에 따라 키워드 검출 모델 (1100) 에 별도로 배열된다. 신규 타겟 키워드가 다른 기능에 할당될 때, 신규 타겟 키워드와 연관된 키워드 모델은 키워드 검출 모델 (1100) 에서 키워드 모델들과 결합될 수도 있다.
도 5 를 참조하여 기재된 바와 같이, 키워드 검출 유닛 (290) 은 키워드 검출 모델 (1100) 에 기초하여 입력 사운드에서 타겟 키워드들 (1110) 를 검출하도록 구성될 수도 있다. 키워드 검출 유닛 (290) 이 타겟 키워드들 (1110) 중 하나를 검출할 때, 그것은 검출되었던 타겟 키워드를 표시하는 검출 신호를 생성하고 이 검출 신호를 제어 유닛 (250) 으로 송신한다. 검출 신호에 응답하여, 제어 유닛 (250) 은 키워드-투-기능 데이터베이스에 액세스하는 것에 의해 검출된 타겟 키워드와 연관된 기능을 수행한다. 도 11 에서의 키워드 검출 모델 (1100) 이 타겟 키워드들 (1110), 키워드 모델 파라미터들 (1120), 및 임계값들 (1130) 을 포함하더라도, 그것은 선택적 아이템으로서 타겟 키워드들 (1110) 를 포함할 수도 있다.
도 12 는 본 개시물의 일 실시형태에 따라 입력 사운드에서 연관된 타겟 키워드들을 검출하는 것에 응답하여 복수의 기능들을 수행하도록 구성되는 전자 디바이스 (140) 를 도시한다. 도시된 실시형태에서, 사용자 (1210) 는 3 개의 상이한 타겟 키워드들 "치즈 하세요", "기록 시작", 및 "헤이 어시스턴트" 를 상이한 시간들에서 전자 디바이스 (140) 에 말한다. 입력 사운들에 응답하여, 전자 디바이스 (140) 는 키워드 검출 모델 (1100) 에 기초하여 타겟 키워드들을 검출할 수도 있다. 타겟 키워드 "치즈 하세요" 가 검출되는 경우, 전자 디바이스 (140) 는 키워드-투-기능 데이터베이스 (900) 에 액세스하고 사진 촬영의 연관된 기능들을 수행한다. 부가적으로, 전자 디바이스 (140) 는 타겟 키워드 "치즈 하세요" 와 연관된 Ack 사운드 데이터에 기초하여 비프 사운드를 생성하고 출력할 수도 있다.
유사하게, 타겟 키워드 "기록 시작" 이 검출될 때, 전자 디바이스 (140) 는 키워드-투-기능 데이터베이스 (900) 에 기초하여 음성 레코더 어플리케이션을 활성화하는 것의 연관된 기능을 수행한다. 전자 디바이스 (140) 는 또한 타겟 키워드 "기록 시작" 과 연관된 Ack 사운드 데이터에 기초하여 신호음을 생성하고 출력할 수도 있다. 타겟 키워드 "헤이 어시스턴트" 가 검출되는 경우, 전자 디바이스 (140) 는 키워드-투-기능 데이터베이스 (900) 에 액세스하고 음성 보조기 어플리케이션을 활성화하는 것의 연관된 기능을 수행한다. 부가적으로, 전자 디바이스 (140) 는 타겟 키워드 "헤이 어시스턴트" 와 연관된 Ack 사운드 데이터 및 음성 톤 모델을 사용하는 것에 의해 "여성 음성 2(FEMALE VOICE 2)" 의 음성 톤으로 확인응답 사운드 "무엇을 도와드릴까요?" 를 생성하고 출력한다.
도 13 은 본 개시물의 일 실시형태에 따라 타겟 키워드와 연관된 음성 톤 모델에 기초하여 텍스트로부터 스피치 데이터를 생성하도록 구성된 전자 디바이스 (140) 를 도시한다. 도 12 를 참조하여 위에서 기재된 바와 같이, 타겟 키워드 "헤이 어시스턴트" 가 검출될 때, 전자 디바이스는 타겟 키워드와 연관된 음성 보조 어플리케이션을 활성화하고 "여성 음성 2" 의 음성 톤으로 확인응답 사운드 "무엇을 도와드릴까요?" 를 출력한다. 이에 대응하여, 사용자 (1310) 는 음성 커맨드들을 말하는 것에 의해 음성 보조 어플리케이션을 통해 다양한 동작들을 수행할 수도 있다.
도시된 실시형태에서, 사용자 (1310) 는 음성 커맨드 "오늘 날씨가 어때?" 를 말하는 것에 의해 기상 예보에 대해 물을 수도 있다. 그 후 전자 디바이스 (140) 는 전자 디바이스 (140) 의 GPS (Global Positioning System) 정보에 기초하여 통신 네트워크 (150) 를 통해 기상 정보에 액세스하고 디스플레이 스크린 (310) 상에 수신된 기상 정보를 디스플레이할 수도 있다. 부가적으로, 전자 디바이스 (140) 는 또한 텍스트 메시지 "샌디에고는 날씨가 맑고 온도는 74 도입니다" 를 타겟 키워드 "헤이 어시스턴트" 와 연관된 음성 톤 "여성 음성 2" 을 갖는 스피치로 변환하는 것에 의해 기상 정보를 출력할 수도 있다.
도 14 는 본 개시물의 일 실시형태에 따라 입력 사운드에서 검출된 타겟 키워드와 연관된 기능을 수행하기 위해, 전자 디바이스 (140) 에서 수행되는, 예시적인 방법 (1400) 의 플로우챠트를 도시한다. 초기에, 1410 에서, 전자 디바이스 (140) 는 사운드 센서 (270) 에 의해 입력 사운드를 수신한다. 그 후, 1420 에서, 전자 디바이스 (140) 는 키워드 검출 모델에 기초하여 입력 사운드로부터 타겟 키워드를 검출한다.
타겟 키워드의 검출 시, 전자 디바이스 (140) 는 1430 에서, 검출된 타겟 키워드와 연관된 기능을 식별하기 위해 키워드-투-기능 데이터베이스에 액세스한다. 키워드-투-기능 데이터베이스에 액세스하는 것에 의해, 전자 디바이스 (140) 는 또한 검출된 타겟 키워드와 연관된 Ack 사운드 데이터 및 음성 톤 모델을 식별할 수도 있다. 방법 (1400) 은 그 후 검출된 타겟 키워드와 연관된 기능을 수행하기 위해 1440 으로 진행한다. 부가적으로, 1450 에서, 확인응답 사운드는 검출된 타겟 키워드와 연관된 Ack 사운드 데이터에 기초하여 출력된다. 기능을 수행한 후에, 1460 에서, 전자 디바이스 (140) 는 식별된 음성 톤 모델에 기초하여 TTS 변환 유닛 (220) 의 음성 톤을 수정한다.
도 15 는 본 개시물의 일부 실시형태에 따라 기능을 동작하기 위해 타겟 키워드를 설정하기 위한 방법들 및 장치가 구현될 수도 있는 무선 통신 시스템에서의 모바일 디바이스 (1500) 의 블록 다이어그램을 도시한다. 모바일 디바이스 (1500) 는 셀룰러 폰, 단말기, 핸드셋, 개인용 디지털 보조기 (PDA), 무선 모뎀, 코드리스 전화기, 테블릿 등일 수도 있다. 무선 통신 시스템은 코드 분할 다중 액세스 (CDMA) 시스템, GSM (Global System for Mobile Communications) 시스템, 롱텀 에볼루션 (LTE) 시스템, LTE 어드밴스드 시스템 등일 수도 있다.
모바일 디바이스 (1500) 는 수신 경로 및 송신 경로를 통해 양방향 통신을 제공하는 것이 가능할 수 있을 수도 있다. 수신 경로 상에서, 기지국들에 의해 송신된 신호들은 안테나 (1512) 에 의해 수신되고 수신기 (RCVR)(1514) 에 제공된다. 수신기 (1514) 는 수신된 신호를 컨디셔닝하고 디지털화하고, 컨디셔닝되고 디지털화된 신호를 추가 프로세싱을 위해 디지털 섹션 (1520) 에 제공한다. 송신 경로 상에서, 송신기 (TMTR) 는 디지털 섹션 (1520) 으로부터 송신될 데이터를 수신하고, 데이터를 프로세싱하고 컨디셔닝하며, 안테나 (1512) 를 통해 기지국들로 송신되는, 변조된 신호를 생성한다. 수신기 (1514) 및 송신기 (1516) 는 CDMA, GSM, W-CDMA, LTE, LTE 어드밴스드 등을 지원하는 트랜시버의 부분이다.
디지털 섹션 (1520) 은, 예를 들어 모뎀 프로세서 (1522), 감소된 명령 세트 컴퓨터/디지털 신호 프로세서 (RISC/DSP)(1524), 제어기/프로세서 (1526), 내부 메모리 (1528), 일반적인 오디오 인코더 (1532), 일반적인 오디오 디코더 (1534), 그래픽스/디스플레이 프로세서 (1536), 및/또는 외부 버스 인터페이스 (EBI)(1538) 와 같은, 다양한 프로세싱, 인터페이스, 및 메모리 유닛들을 포함한다. 모뎀 프로세서 (1522) 는 데이터 송신 및 수신을 위한 프로세싱, 예를 들어 인코딩, 변조, 복조, 및 디코딩을 수행한다. RISC/DSP (1524) 는 모바일 디바이스 (1500) 에 대해 일반적이고 특정된 프로세싱을 수행한다. 제어기/프로세서 (1526) 는 디지털 섹션 (1520) 내에서 다양한 프로세싱 및 인터페이스 유닛들의 동작을 제어한다. 내부 메모리 (1528) 는 디지털 섹션 (1520) 내에서 다양한 유닛들에 대한 데이터 및/또는 명령들을 저장한다.
일반적인 오디오 인코더 (1532) 는 오디오 소스 (1542), 마이크로폰 (1543) 등으로부터 입력 신호들에 대한 인코딩을 수행한다. 일반적인 오디오 디코더 (1534) 는 코딩된 오디오 데이터를 위해 디코딩을 수행하고 출력 신호들을 스피커/헤드셋 (1544) 에 제공한다. 일반적인 오디오 인코더 (1532) 및 일반적인 오디도 디코더 (1534) 가 오디오 소스, 마이크로폰 (1543) 및 스피커/헤드셋 (1544) 과의 인터페이스를 위해 반드시 필요한 것이 아니고, 이에 따라 모바일 디바이스 (1500) 에는 나타나 있지 않다는 것을 유의해야 한다. 그래픽스/디스플레이 프로세서 (1536) 는 디스플레이 유닛 (1546) 에 제시되는, 그래픽스, 비디오들, 이미지들, 및 텍스트들을 위한 프로세싱을 수행한다. EBI (1538) 은 디지털 섹션 (1520) 과 메인 메모리 (1548) 간 데이터의 전송을 용이하게 한다.
디지털 섹션 (1520) 은 하나 이상의 프로세서들, DSP들, 마이크로프로세서들, RISC들 등으로 구현될 수도 있다. 디지털 섹션 (1520) 은 또한 하나 이상의 주문형 집적 회로들 (ASIC들) 및/또는 일부 다른 타입의 집적 회로들 (IC들) 상에 제조된다.
일반적으로, 본 명세서에 기재된 임의의 디바이스는 다양한 타입의 디바이스들, 예컨대 무선 폰, 셀룰러 폰, 랩탑 컴퓨터, 무선 멀티미디어 디바이스, 무선 통신 개인용 컴퓨터 (PC) 카드, PDA, 외부 또는 내부 모뎀, 무선 채널을 통해 통시하는 디바이스 등을 나타낸다. 디바이스는 다양한 명칭들, 예컨대 액세스 단말기 (AT), 액세스 유닛, 가입자 유닛, 이동국, 클라이언트 디바이스, 모바일 유닛, 모바일 폰, 모바일, 원격국, 원격 단말기, 원격 유닛, 사용자 디바이스, 사용자 장비, 핸드헬드 디바이스 등을 가질 수도 있다. 본 명세서에 기재된 임의의 디바이스는 하드웨어, 소프트웨어, 펌웨어 또는 그 조합 뿐만 아니라 명령들 및 데이터를 저장하기 위한 메모리를 가질 수도 있다.
도 16 은 본 개시물의 일부 실시형태들에 따라 연관된 타겟 키워드들을 검출하기 위한 키워드 모델들을 제공하는 방법들 및 장치가 구현될 수도 있는 서버 시스템 (1600) 의 블록 다이어그램을 도시한다. 서버 시스템 (1600) 은 하나 이상의 프로세싱 유닛들 (CPU들)(1602), 하나 이상의 네트워크 또는 다른 통신 네트워크 인터페이스 (1610), 메모리 (1612), 및 이들 컴포넌트들을 상호접속하기 위한 하나 이상의 통신 버스들 (1614) 를 포함할 수도 있다. 서버 시스템 (1600) 은 또한 디스플레이 디바이스 및 키워드를 갖는 사용자 인터페이스 (미도시) 를 포함할 수도 있다.
메모리 (1612) 는 고속 랜덤 액세스 메모리 (예를 들어, DRAM, SRAM, DDR RAM, 또는 다른 랜덤 액세스 고체 상태 메모리 디바이스들) 과 같은 임의의 적절한 메모리일 수도 있다. 메모리 (1612) 는 비휘발성 메모리 (예를 들어, 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 고체 상태 저장 디바이스들) 를 포함할 수도 있고 또는 대안으로 이 비휘발성 메모리일 수도 있다. 일부 실시형태들에서, 메모리 (1612) 는 CPU(들)(1602) 로부터 원격으로 위치된 및/또는 다중 사이트들에 원격으로 위치된 하나 이상의 저장 디바이스들을 포함할 수도 있다.
메모리 (1612) 에 의해 나타낸 위의 메모리 디바이스들 중 어느 하나는, 이전에 기재된 프로세스들, 동작들 및 방법들 중 어느 것을 수행 및/또는 실행하기 위한 명령들의 세트에 대응하는 임의의 수의 모듈들 또는 프로그램들을 저장할 수도 있다. 예를 들어, 메모리 (1612) 는 다양한 기본 시스템 서비스들을 핸들링하고 하드웨어 의존형 태스크들을 수행하기 위한 절차들을 포함하는 명령들을 저장하도록 구성된 오퍼레이팅 시스템 (1616) 을 포함할 수도 있다. 메모리 (1612) 의 네트워크 통신 모듈 (1618) 은 서버 시스템 (1600) 을 하나 이상의 통신 네트워크 인터페이스들 (1610)(유선 또는 무선) 및 하나 이상의 통신 네트워크들, 예컨대 인터넷, 다른 광역 네트워크들, 로컬 영역 네트워크들, 대도시 영역 네트워크들 등을 통해 다른 컴퓨터들에 접속하기 위해 사용될 수도 있다.
메모리 (1612) 는 또한 서버 시스템 (1600) 의 동작들을 위해 필요한 다양한 데이터 및/또는 정보를 저장하도록 구성되는 데이터베이스 (1620) 를 포함할 수도 있다. 예를 들어, 데이터베이스 (1620) 는 복수의 타겟 키워드들에 대한 키워드 데이터 파일들을 저장한다. 이러한 구성에서, 키워드 데이터 파일들의 각각은 키워드 모델, Ack 사운드 데이터, 및 음성 톤 모델을 포함할 수도 있다.
위에서 식별된 모듈들 또는 프로그램들 (즉, 명령들의 세트들) 이 별도의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요는 없으며, 이로써 이들 모듈들의 다양한 서브세트들은 다양한 실시형태들에서 결합되거나 그렇지 않으면 재배열될 수도 있다는 것을 알게 될 것이다. 또한, 메모리 (1612) 는 위에 기재된 부가 모듈들 및 데이터 구조들을 저장할 수도 있다.
도 15 및 도 16 은 본 명세서에 기재된 실시형태들의 개략적인 구조 보다는 클라이언트 시스템 및 서버 시스템의 다양한 피처들의 기능적 기재들로서 더 의도된다. 실제로, 그리고 당업자에 의해 인식되는 바와 같이, 별도로 나타낸 아이템들은 결합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 도 16 에 별도로 나타낸 일부 아이템들은 단일 서버 상에서 구현될 수 있고 단일 아이템들은 하나 이상의 서버들에 의해 구현될 수 있다. 또한, 데이터베이스 (1620) 는 서버들의 상이한 세트 상에서 또는 서버 시스템 (1600) 의 다른 컴포넌트들에서 구현될 수도 있다. 서버 시스템 (1600) 을 구현하기 위해 사용된 서버들의 실제 수 및 이들 사이의 피처들의 할당은 일 구현으로부터 다른 구현으로 달라질 수도 있다.
본 명세서에 기재된 기법들은 다양한 수단에 의해 구현된다. 예를 들어, 이들 기법들은 하드웨어, 펌웨어, 소프트웨어, 또는 그 조합에서 구현된다. 본 명세서의 개시물과 관련하여 기재된 다양한 예시적인 로직 블록들, 모듈들, 회로들 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어로서 구현될 수도 있고, 또는 그 양자의 조합이 가능하다는 것을 또한 이해하게 될 것이다. 이러한 하드웨어 및 소프트웨어의 상호 교환 가능성을 명백하게 예시하기 위해서, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들은 일반적으로 그 기능에 관하여 일반적으로 기재되었다. 그러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 전체 시스템에 부과된 특정 어플리케이션 및 설계 제약들에 의존한다. 기재된 기능은 각각의 특정 어플리케이션에 대해 다양한 방식들로 구현될 수도 있지만, 그러한 구현 결정은 본 개시물의 범위로부터 벗어나는 것을 야기하는 것으로 해석되지 않아야 한다.
하드웨어 구현을 위해서, 기법들을 수행하기 위해 사용된 프로세싱 유닛들은 하나 이상의 ASIC들, DSP들, 디지털 신호 프로세싱 디바이스들 (DSPD들), 프로그램가능 로직 디바이스들 (PLD들), 필드 프로그램가능 게이트 어레이들 (FPGA들), 프로세서들, 제어기들, 마이크로 제어기들, 마이크로프로세서들, 전자 디바이스들, 본 명세서에 기재된 기능들을 수행하기 위해 설계된 다른 전자 유닛들, 컴퓨터, 또는 그 조합 내에서 구현될 수도 있다.
소프트웨어에서 구현되는 경우, 이전에 기재된 방법들, 동작들 및 프로세스들은 컴퓨터 판독가능 매체 상의 하나 이상의 명령들 또는 코드로서 저장되거나 송신될 수도 있다. 컴퓨터 판독가능 매체들은 일 장소에서 다른 장소로의 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함하는 컴퓨터 저장 매체들 또는 통신 매체들의 양자 모두를 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체들일 수도 있다. 한정이 아닌 예시로서, 그러한 컴퓨터 판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 반송하거나 저장하기 위해 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수도 있다. 또한, 임의의 접속은 적절히 컴퓨터 판독가능 매체로서 지칭된다. 예를 들어, 소프트웨어가 동축 케이블, 광 섬유 케이블, 꼬임쌍선, 디지털 가입자 라인 (DSL) 또는 무선 기술들, 예컨대 적외선, 무선, 및 마이크로파를 사용하여 웹사이트, 서버, 또는 다른 원격 광 소스로부터 송신되면, 동축 케이블, 광 섬유 케이블, 꼬임쌍선, DSL, 또는 무선 기술들, 예컨대 적외선, 무선, 및 마이크로파는 매체의 정의 내에 포함된다. 본 명세서에서 사용된 바와 같이, 디스크 (disk) 및 디스크 (disc) 는, 컴팩 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루 레이 디스크를 포함하며, 여기서 디스크들 (disks) 은 보통 데이터를 자기적으로 재생하는 한편 디스크들 (discs) 은 데이터를 레이저로 광학적으로 재생한다. 위의 조합들은 또한 컴퓨터 판독가능 매체의 범위 내에 포함된다.
개시물의 이전 기재는 당업자가 개시물을 제작하거나 사용하는 것을 가능하게 하기 위해 제공된다. 개시물에 대한 다양한 수정들은 당업자에게 쉽게 명백할 것이며, 본 명세서에서 정의된 일반적인 원리들은 개시물의 사상 또는 범위로부터 벗어나지 않으면서 다른 변형들에 적용될 수도 있다. 따라서, 개시물은 본 명세서에 기재된 예시들에 제한되는 것이 아니라 본 명세서에 개시된 원리들 및 신규 피처들에 부합하는 최상의 범위를 따르는 것이다.
청구물은 구조적 피처들 및/또는 방법적 액트들에 특정되는 언어로 기재되었지만, 첨부된 청구항들에 정의된 청구물이 반드시 상술한 특정 피처들 또는 액트들에 제한되는 것이 아니라는 것을 이해하게 될 것이다. 오히려, 상술한 특정 피처들 및 액트들은 청구항들을 구현하는 예시의 형태로서 개시된다.

Claims (30)

  1. 전자 디바이스에서, 복수의 타겟 키워드들의 리스트를 수신하는 단계로서, 상기 리스트는 통신 네트워크를 통해 수신되는, 상기 리스트를 수신하는 단계;
    상기 복수의 타겟 키워드들의 리스트로부터 특정 타겟 키워드를 선택하는 단계;
    상기 통신 네트워크를 통해 상기 특정 타겟 키워드에 대한 키워드 모델을 수신하는 단계; 및
    상기 전자 디바이스의 기능에 상기 특정 타겟 키워드를 할당하는 단계로서, 상기 기능이 상기 전자 디바이스에서 수신된 입력 사운드에서 상기 키워드 모델에 기초하여 상기 특정 타겟 키워드를 검출하는 것에 응답하여 수행되는, 상기 할당하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    응답 사운드 데이터를 수신하는 단계를 더 포함하고,
    상기 전자 디바이스는 상기 입력 사운드에서 상기 특정 타겟 키워드를 검출하는 것에 응답하여 상기 응답 사운드 데이터에 기초하여 응답 사운드를 출력하는, 방법.
  3. 제 1 항에 있어서,
    상기 키워드 모델은 상기 키워드 모델 및 호환성 정보를 포함하는 키워드 데이터 파일에서 수신되고,
    상기 키워드 데이터 파일이 상기 호환성 정보에 기초하여 상기 전자 디바이스의 키워드 검출 유닛과 호환가능한지 여부를 결정하는 단계; 및
    상기 키워드 데이터 파일이 상기 키워드 검출 유닛과 호환가능한 경우, 상기 키워드 데이터 파일로부터 상기 키워드 모델을 추출하고 추출된 상기 키워드 모델을 저장하는 단계를 더 포함하는, 방법.
  4. 제 3 항에 있어서,
    상기 키워드 데이터 파일이 상기 키워드 검출 유닛과 호환가능하지 않은 경우, 상기 키워드 모델의 제 2 버전을 다운로드하는 단계로서, 상기 키워드 모델의 제 2 버전은 상기 키워드 검출 유닛과 호환가능한, 상기 키워드 모델의 제 2 버전을 다운로드 하는 단계, 및 상기 키워드 모델의 제 2 버전을 저장하는 단계를 더 포함하는, 방법.
  5. 제 3 항에 있어서,
    상기 키워드 데이터 파일이 상기 키워드 검출 유닛과 호환가능하지 않은 경우:
    상기 전자 디바이스, 키워드 검출 유닛, 또는 이들 양자 모두를 기술하는 정보를 상기 통신 네트워크를 통해 서버로 전송하는 단계로서, 상기 서버는 상기 정보에 기초하여 상기 키워드 모델의 제 2 버전을 선택하고, 상기 키워드 모델의 제 2 버전은 상기 키워드 검출 유닛과 호환가능한, 상기 정보를 전송하는 단계;
    상기 서버로부터 상기 키워드 모델의 제 2 버전을 수신하는 단계; 및
    상기 키워드 모델의 제 2 버전을 저장하는 단계를 더 포함하는, 방법.
  6. 제 3 항에 있어서,
    상기 키워드 데이터 파일이 상기 키워드 검출 유닛과 호환가능하지 않은 경우, 상기 키워드 모델을 제 2 버전으로 변환하는 단계로서, 상기 키워드 모델의 제 2 버전이 상기 키워드 검출 유닛과 호환가능한, 상기 변환하는 단계, 및 상기 키워드 모델의 제 2 버전을 저장하는 단계를 더 포함하는, 방법.
  7. 제 1 항에 있어서,
    상기 기능에 특정 타겟 키워드를 할당하는 단계는,
    상기 키워드 모델을 제 2 특정 타겟 키워드와 연관된 적어도 하나의 다른 키워드 모델과 결합하여 결합된 키워드 모델을 형성하는 단계를 포함하고,
    상기 제 2 특정 타겟 키워드는 상기 전자 디바이스의 적어도 하나의 다른 기능과 연관되는, 방법.
  8. 제 7 항에 있어서,
    입력 사운드를 수신하는 단계;
    상기 결합된 키워드 모델에 기초하여 상기 입력 사운드에서 상기 특정 타겟 키워드를 검출하는 것에 응답하여 상기 기능을 수행하는 단계; 및
    상기 결합된 키워드 모델에 기초하여 상기 입력 사운드에서 상기 제 2 특정 타겟 키워드를 검출하는 것에 응답하여 상기 적어도 하나의 다른 기능을 수행하는 단계를 더 포함하는, 방법.
  9. 제 1 항에 있어서,
    상기 키워드 모델은 어플리케이션 파일에서 수신되고,
    상기 어플리케이션 파일로부터 상기 키워드 모델을 추출하는 단계를 더 포함하며,
    상기 특정 타겟 키워드가 할당되는 기능은 어플리케이션을 활성화하는 것을 포함하는, 방법.
  10. 제 1 항에 있어서,
    상기 특정 타겟 키워드와 연관된 음성 톤 모델을 수신하는 단계를 더 포함하고,
    상기 음성 톤 모델은 상기 전자 디바이스에 의해 출력되는 스피치의 음성 톤을 수정하도록 적응되는, 방법.
  11. 제 10 항에 있어서,
    상기 음성 톤 모델은 텍스트로부터 변환되는 상기 스피치의 음성 톤을 수정하도록 적응되고,
    상기 입력 사운드를 수신하는 단계;
    상기 키워드 모델에 기초하여 상기 입력 사운드에서 상기 특정 타겟 키워드를 검출하는 단계; 및
    상기 특정 타겟 키워드가 상기 입력 사운드에서 검출되는 경우, 상기 특정 타겟 키워드와 연관된 상기 음성 톤 모델에 기초하여 상기 텍스트로부터 변환된 상기 스피치의 음성 톤을 수정하는 단계를 더 포함하는, 방법.
  12. 제 1 항에 있어서,
    상기 입력 사운드를 수신하는 단계;
    상기 키워드 모델에 기초하여 상기 입력 사운드에서 상기 특정 타겟 키워드를 검출하는 단계; 및
    상기 특정 타겟 키워드가 상기 입력 사운드에서 검출되는 경우, 상기 기능을 수행하는 단계를 더 포함하는, 방법.
  13. 제 1 항에 있어서,
    상기 기능은 음성 보조기의 활성화, 카메라의 활성화, 뮤직 플레이어의 활성화, 음성 레코더의 활성화, 사진 촬영, 및 전자 디바이스의 잠금 해제 중 하나인, 방법.
  14. 제 1 항에 있어서,
    상기 키워드 모델은 사용자 특정이 아니고, 상기 특정 타겟 키워드의 언어의 모든 음소보다 적은 모델에 대한 정보를 포함하는, 방법.
  15. 전자 디바이스로서,
    복수의 타겟 키워드들의 리스트로부터 특정 타겟 키워드를 선택하는 입력을 수신하기 위한 사용자 인터페이스 유닛;
    상기 특정 타겟 키워드에 대한 키워드 모델을, 통신 네트워크를 통해 수신하도록 구성된 다운로드 관리 유닛; 및
    상기 전자 디바이스의 기능에 상기 특정 타겟 키워드를 할당하도록 구성된 키워드 설정 유닛으로서, 상기 기능이 상기 전자 디바이스에서 수신된 입력 사운드에서 상기 키워드 모델에 기초하여 상기 특정 타겟 키워드를 검출하는 것에 응답하여 수행되는, 상기 키워드 설정 유닛을 포함하는, 전자 디바이스.
  16. 제 15 항에 있어서,
    상기 다운로드 관리 유닛은 또한, 상기 입력 사운드에서 상기 특정 타겟 키워드의 검출을 표시하는 응답 사운드를 생성하기 위해 응답 사운드 데이터를 수신하도록 구성되는, 전자 디바이스.
  17. 제 16 항에 있어서,
    상기 입력 사운드를 수신하도록 구성된 사운드 센서;
    상기 키워드 모델에 기초하여 상기 입력 사운드에서 상기 특정 타겟 키워드를 검출하도록 구성된 키워드 검출 유닛; 및
    상기 특정 타겟 키워드가 상기 입력 사운드에서 검출될 때 상기 특정 타겟 키워드와 연관된 상기 응답 사운드 데이터에 기초하여 상기 응답 사운드를 생성하도록 구성된 기능 관리 유닛을 더 포함하는, 전다 디바이스.
  18. 제 15 항에 있어서,
    상기 다운로드 관리 유닛은 또한 텍스트로부터 변환된 스피치의 음성 톤을 수정하도록 적응된 음성 톤 모델을 수신하도록 구성되는, 전자 디바이스.
  19. 제 18 항에 있어서,
    상기 입력 사운드를 수신하도록 구성된 사운드 센서;
    상기 키워드 모델에 기초하여 상기 입력 사운드에서 상기 특정 타겟 키워드를 검출하도록 구성된 키워드 검출 유닛; 및
    상기 입력 사운드에서 상기 특정 타겟 키워드를 검출하는 것에 응답하여 상기 음성 톤 모델에 기초하여 상기 텍스트로부터 변환된 상기 스피치의 음성 톤을 수정하도록 구성된 TTS (text-to-speech) 변환 유닛을 더 포함하는, 전자 디바이스.
  20. 제 15 항에 있어서,
    상기 키워드 설정 유닛은 또한, 상기 키워드 모델을 제 2 특정 타겟 키워드와 연관된 적어도 하나의 다른 키워드 모델과 결합하여 결합된 키워드 모델을 형성하도록 구성되고,
    상기 제 2 특정 타겟 키워드는 상기 전자 디바이스의 적어도 하나의 다른 기능과 연관되는, 전자 디바이스.
  21. 제 20 항에 있어서,
    상기 입력 사운드를 수신하도록 구성된 사운드 센서;
    상기 결합된 키워드 모델에 기초하여 상기 입력 사운드에서 키워드들을 검출하도록 구성된 키워드 검출 유닛; 및
    상기 특정 타겟 키워드가 상기 결합된 키워드 모델에 기초하여 상기 입력 사운드에서 검출될 때 상기 기능을 수행하고, 상기 제 2 특정 타겟 키워드가 상기 결합된 키워드 모델에 기초하여 상기 입력 사운드에서 검출될 때 상기 적어도 하나의 다른 기능을 수행하도록 구성된 기능 관리 유닛을 더 포함하는, 전자 디바이스.
  22. 제 15 항에 있어서,
    상기 다운로드 관리 유닛은, 상기 통신 네트워크를 통해 어플리케이션 파일을 수신하도록 구성되고, 상기 어플리케이션 파일은 상기 특정 타겟 키워드에 대한 상기 키워드 모델을 포함하고,
    상기 어플리케이션 파일로부터 상기 키워드 모델을 추출하도록 구성된 추출 유닛을 더 포함하며,
    상기 키워드 설정 유닛은 상기 키워드 모델에 기초하여 상기 입력 사운드에서 상기 특정 타겟 키워드를 검출하는 것에 응답하여 어플리케이션을 활성화하기 위해 상기 어플리케이션에 상기 특정 타겟 키워드를 할당하도록 구성되는, 전자 디바이스.
  23. 제 22 항에 있어서,
    상기 입력 사운드를 수신하도록 구성된 사운드 센서;
    상기 키워드 모델에 기초하여 상기 입력 사운드에서 상기 특정 타겟 키워드를 검출하도록 구성된 키워드 검출 유닛; 및
    상기 입력 사운드에서 상기 특정 타겟 키워드를 검출하는 것에 응답하여 상기 어플리케이션을 활성화하도록 구성된 기능 관리 유닛을 더 포함하는, 전자 디바이스.
  24. 제 15 항에 있어서,
    상기 입력 사운드를 수신하도록 구성된 사운드 센서;
    상기 키워드 모델에 기초하여 상기 입력 사운드에서 상기 특정 타겟 키워드를 검출하도록 구성된 키워드 검출 유닛; 및
    상기 입력 사운드에서 상기 특정 타겟 키워드를 검출하는 것에 응답하여 상기 기능을 수행하도록 구성된 기능 관리 유닛을 더 포함하는, 전자 디바이스.
  25. 전자 디바이스로서,
    복수의 타겟 키워드들의 리스트로부터 특정 타겟 키워드를 선택하는 입력을 수신하는 수단;
    상기 특정 타겟 키워드에 대한 키워드 모델을, 통신 네트워크를 통해 수신하는 수단; 및
    상기 특정 타겟 키워드를 기능에 할당하는 수단으로서, 상기 기능이 상기 전자 디바이스에서 수신된 입력 사운드에서 상기 키워드 모델에 기초하여 상기 특정 타겟 키워드를 검출하는 것에 응답하여 수행되는, 상기 할당하는 수단을 포함하는, 전자 디바이스.
  26. 제 25 항에 있어서,
    상기 키워드 모델을 수신하는 수단은 응답 사운드 데이터를 수신하도록 구성되고,
    상기 입력 사운드를 수신하는 수단;
    상기 키워드 모델에 기초하여 상기 입력 사운드에서 상기 특정 타겟 키워드를 검출하는 수단; 및
    상기 입력 사운드에서 상기 특정 타겟 키워드를 검출하는 것에 응답하여 상기 특정 타겟 키워드와 연관된 상기 응답 사운드 데이터에 기초하여 응답 사운드를 생성하는 수단을 더 포함하는, 전자 디바이스.
  27. 제 25 항에 있어서,
    상기 키워드 모델은 상기 키워드 모델 및 호환성 정보를 포함하는 키워드 데이터 파일에서 수신되고,
    상기 입력 사운드에서 키워드들을 검출하는 수단;
    상기 호환성 정보에 기초하여, 상기 키워드 데이터 파일이 상기 입력 사운드에서 키워드들을 검출하는 수단과 호환가능한지 여부를 결정하는 수단; 및
    상기 키워드 데이터 파일이 상기 입력 사운드에서 키워드들을 검출하는 수단과 호환가능한 경우 상기 키워드 데이터 파일로부터 상기 키워드 모델을 추출하는 수단을 더 포함하는, 전자 디바이스.
  28. 제 27 항에 있어서,
    상기 키워드 모델을 수신하는 수단은, 상기 키워드 데이터 파일이 상기 입력 사운드에서 키워드들을 검출하는 수단과 호환가능하지 않는 경우 상기 키워드 모델의 제 2 버전을 수신하도록 구성되는, 전자 디바이스.
  29. 기능에 타겟 키워드를 할당하기 위한 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은 프로세서로 하여금,
    전자 디바이스에서, 복수의 타겟 키워드들의 리스트를 수신하는 것으로서, 상기 리스트는 통신 네트워크를 통해 수신되는, 상기 리스트를 수신하고;
    상기 복수의 타겟 키워드들의 리스트로부터 특정 타겟 키워드를 선택하고;
    상기 통신 네트워크를 통해 상기 특정 타겟 키워드에 대한 키워드 모델을 수신하며; 그리고
    상기 전자 디바이스의 기능에 상기 특정 타겟 키워드를 할당하는 것으로서, 상기 기능이 상기 전자 디바이스에서 수신된 입력 사운드에서 상기 키워드 모델에 기초하여 상기 특정 타겟 키워드를 검출하는 것에 응답하여 수행되는, 상기 할당하는
    동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  30. 제 29 항에 있어서,
    상기 키워드 모델은 사용자 특정이 아니고, 상기 특정 타겟 키워드의 언어의 모든 음소들 보다 적은 모델에 대한 정보를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020167002208A 2013-07-08 2014-07-02 음성 동작형 기능에 키워드 모델을 할당하기 위한 방법 및 장치 KR101922782B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361843650P 2013-07-08 2013-07-08
US61/843,650 2013-07-08
US14/101,869 2013-12-10
US14/101,869 US9786296B2 (en) 2013-07-08 2013-12-10 Method and apparatus for assigning keyword model to voice operated function
PCT/US2014/045193 WO2015006116A1 (en) 2013-07-08 2014-07-02 Method and apparatus for assigning keyword model to voice operated function

Publications (2)

Publication Number Publication Date
KR20160030199A true KR20160030199A (ko) 2016-03-16
KR101922782B1 KR101922782B1 (ko) 2018-11-27

Family

ID=52133403

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167002208A KR101922782B1 (ko) 2013-07-08 2014-07-02 음성 동작형 기능에 키워드 모델을 할당하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US9786296B2 (ko)
EP (1) EP3020040B1 (ko)
JP (1) JP6373985B2 (ko)
KR (1) KR101922782B1 (ko)
CN (1) CN105340006B (ko)
WO (1) WO2015006116A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11145303B2 (en) 2018-03-29 2021-10-12 Samsung Electronics Co., Ltd. Electronic device for speech recognition and control method thereof
WO2024072036A1 (ko) * 2022-09-30 2024-04-04 삼성전자 주식회사 음성인식 장치 및 음성인식 장치의 동작방법

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10770075B2 (en) * 2014-04-21 2020-09-08 Qualcomm Incorporated Method and apparatus for activating application by speech input
CN105404625A (zh) * 2014-09-03 2016-03-16 富泰华工业（深圳）有限公司 应用程序的查找方法与系统
US9805714B2 (en) * 2016-03-22 2017-10-31 Asustek Computer Inc. Directional keyword verification method applicable to electronic device and electronic device using the same
CN105845125B (zh) * 2016-05-18 2019-05-03 百度在线网络技术（北京）有限公司 语音合成方法和语音合成装置
US10276161B2 (en) * 2016-12-27 2019-04-30 Google Llc Contextual hotwords
CN106898352B (zh) * 2017-02-27 2020-09-25 联想(北京)有限公司 语音控制方法及电子设备
CN110444199B (zh) * 2017-05-27 2022-01-07 腾讯科技（深圳）有限公司 一种语音关键词识别方法、装置、终端及服务器
CN109151155B (zh) * 2017-06-27 2021-03-23 北京搜狗科技发展有限公司 一种通信处理方法、装置及机器可读介质
CN107221332A (zh) * 2017-06-28 2017-09-29 上海与德通讯技术有限公司 机器人的交互方法及系统
CN107564517A (zh) 2017-07-05 2018-01-09 百度在线网络技术（北京）有限公司 语音唤醒方法、设备及系统、云端服务器与可读介质
JP6752870B2 (ja) * 2017-12-18 2020-09-09 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ 複数のウェイクワードを利用して人工知能機器を制御する方法およびシステム
KR102079979B1 (ko) * 2017-12-28 2020-02-21 네이버 주식회사 인공지능 기기에서의 복수의 호출 용어를 이용한 서비스 제공 방법 및 그 시스템
KR102361458B1 (ko) * 2018-01-25 2022-02-10 삼성전자주식회사 사용자 발화 응답 방법 및 이를 지원하는 전자 장치
CN108665900B (zh) 2018-04-23 2020-03-03 百度在线网络技术（北京）有限公司 云端唤醒方法及系统、终端以及计算机可读存储介质
US11500655B2 (en) 2018-08-22 2022-11-15 Microstrategy Incorporated Inline and contextual delivery of database content
US11714955B2 (en) 2018-08-22 2023-08-01 Microstrategy Incorporated Dynamic document annotations
US11682390B2 (en) * 2019-02-06 2023-06-20 Microstrategy Incorporated Interactive interface for analytics
KR20200099380A (ko) * 2019-02-14 2020-08-24 삼성전자주식회사 음성 인식 서비스를 제공하는 방법 및 그 전자 장치
KR102664371B1 (ko) * 2019-07-17 2024-05-13 구글 엘엘씨 음향 기반 디지털 어시스턴트 애플리케이션에서 트리거 키워드를 검증하는 시스템 및 방법
KR102433964B1 (ko) * 2019-09-30 2022-08-22 주식회사 오투오 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템
KR20210044606A (ko) 2019-10-15 2021-04-23 삼성전자주식회사 웨이크업 모델 생성 방법 및 이를 위한 전자 장치
KR20210045241A (ko) 2019-10-16 2021-04-26 삼성전자주식회사 전자 장치 및 전자 장치의 음성 명령어 공유 방법
KR20210094251A (ko) * 2020-01-21 2021-07-29 삼성전자주식회사 디스플레이 장치 및 그 제어방법
CN115334030B (zh) * 2022-08-08 2023-09-19 阿里健康科技(中国)有限公司 语音消息显示方法及装置
US11790107B1 (en) 2022-11-03 2023-10-17 Vignet Incorporated Data sharing platform for researchers conducting clinical trials
US12007870B1 (en) 2022-11-03 2024-06-11 Vignet Incorporated Monitoring and adjusting data collection from remote participants for health research

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5054082A (en) 1988-06-30 1991-10-01 Motorola, Inc. Method and apparatus for programming devices to recognize voice commands
JPH1078952A (ja) 1996-07-29 1998-03-24 Internatl Business Mach Corp <Ibm> 音声合成方法、音声合成装置、ハイパーテキストの制御方法及び制御装置
US6092192A (en) * 1998-01-16 2000-07-18 International Business Machines Corporation Apparatus and methods for providing repetitive enrollment in a plurality of biometric recognition systems based on an initial enrollment
US6128482A (en) * 1998-12-22 2000-10-03 General Motors Corporation Providing mobile application services with download of speaker independent voice model
US6442519B1 (en) 1999-11-10 2002-08-27 International Business Machines Corp. Speaker model adaptation via network of similar users
US7451085B2 (en) * 2000-10-13 2008-11-11 At&T Intellectual Property Ii, L.P. System and method for providing a compensated speech recognition model for speech recognition
US6885735B2 (en) * 2001-03-29 2005-04-26 Intellisist, Llc System and method for transmitting voice input from a remote location over a wireless data channel
US20030005412A1 (en) * 2001-04-06 2003-01-02 Eanes James Thomas System for ontology-based creation of software agents from reusable components
US20030007609A1 (en) * 2001-07-03 2003-01-09 Yuen Michael S. Method and apparatus for development, deployment, and maintenance of a voice software application for distribution to one or more consumers
US6810378B2 (en) 2001-08-22 2004-10-26 Lucent Technologies Inc. Method and apparatus for controlling a speech synthesis system to provide multiple styles of speech
US7054817B2 (en) * 2002-01-25 2006-05-30 Canon Europa N.V. User interface for speech model generation and testing
AU2003225620A1 (en) 2002-02-26 2003-09-09 Sap Aktiengesellschaft Intelligent personal assistants
US7099825B1 (en) 2002-03-15 2006-08-29 Sprint Communications Company L.P. User mobility in a voice recognition environment
JP2004164466A (ja) * 2002-11-15 2004-06-10 Sony Corp 情報更新システム、情報処理装置および情報更新方法
WO2004047076A1 (ja) 2002-11-21 2004-06-03 Matsushita Electric Industrial Co., Ltd. 標準モデル作成装置及び標準モデル作成方法
US7437294B1 (en) * 2003-11-21 2008-10-14 Sprint Spectrum L.P. Methods for selecting acoustic model for use in a voice command platform
WO2006084144A2 (en) 2005-02-03 2006-08-10 Voice Signal Technologies, Inc. Methods and apparatus for automatically extending the voice-recognizer vocabulary of mobile communications devices
US7706510B2 (en) 2005-03-16 2010-04-27 Research In Motion System and method for personalized text-to-voice synthesis
JP4843987B2 (ja) * 2005-04-05 2011-12-21 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US7941316B2 (en) * 2005-10-28 2011-05-10 Microsoft Corporation Combined speech and alternate input modality to a mobile device
EP2019985B1 (en) * 2006-05-12 2018-04-04 Nuance Communications Austria GmbH Method for changing over from a first adaptive data processing version to a second adaptive data processing version
US8234120B2 (en) * 2006-07-26 2012-07-31 Nuance Communications, Inc. Performing a safety analysis for user-defined voice commands to ensure that the voice commands do not cause speech recognition ambiguities
US7689417B2 (en) 2006-09-04 2010-03-30 Fortemedia, Inc. Method, system and apparatus for improved voice recognition
US7831431B2 (en) * 2006-10-31 2010-11-09 Honda Motor Co., Ltd. Voice recognition updates via remote broadcast signal
US8886537B2 (en) 2007-03-20 2014-11-11 Nuance Communications, Inc. Method and system for text-to-speech synthesis with personalized voice
US20090132920A1 (en) * 2007-11-20 2009-05-21 Microsoft Corporation Community-based software application help system
JP5266761B2 (ja) * 2008-01-10 2013-08-21 日産自動車株式会社 情報案内システムおよびその認識辞書データベース更新方法
US8255224B2 (en) * 2008-03-07 2012-08-28 Google Inc. Voice recognition grammar selection based on context
US8626511B2 (en) * 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
US8468012B2 (en) * 2010-05-26 2013-06-18 Google Inc. Acoustic model adaptation using geographic information
US9484018B2 (en) * 2010-11-23 2016-11-01 At&T Intellectual Property I, L.P. System and method for building and evaluating automatic speech recognition via an application programmer interface
JP5494468B2 (ja) * 2010-12-27 2014-05-14 富士通株式会社 状態検出装置、状態検出方法および状態検出のためのプログラム
CN103650034A (zh) * 2011-07-05 2014-03-19 三菱电机株式会社 语音识别装置及导航装置
US20130085753A1 (en) * 2011-09-30 2013-04-04 Google Inc. Hybrid Client/Server Speech Recognition In A Mobile Device
US9329751B2 (en) * 2011-10-07 2016-05-03 Predictive Analystics Solutions Pvt. Ltd. Method and a system to generate a user interface for analytical models
JP2013254483A (ja) * 2012-05-11 2013-12-19 Ricoh Co Ltd 情報処理装置、情報処理装置の制御プログラム、画像形成装置
US20150088523A1 (en) * 2012-09-10 2015-03-26 Google Inc. Systems and Methods for Designing Voice Applications
US8935167B2 (en) * 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
US8719229B1 (en) * 2012-10-12 2014-05-06 Autodesk, Inc. Cloud platform for managing design data
WO2014171915A1 (en) * 2013-04-15 2014-10-23 Nuance Communications, Inc. System and method for acoustic echo cancellation
CN105246743B (zh) * 2013-05-21 2017-03-29 三菱电机株式会社 语音识别装置、识别结果显示装置及显示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11145303B2 (en) 2018-03-29 2021-10-12 Samsung Electronics Co., Ltd. Electronic device for speech recognition and control method thereof
WO2024072036A1 (ko) * 2022-09-30 2024-04-04 삼성전자 주식회사 음성인식 장치 및 음성인식 장치의 동작방법

Also Published As

Publication number Publication date
EP3020040B1 (en) 2018-12-19
EP3020040A1 (en) 2016-05-18
US9786296B2 (en) 2017-10-10
KR101922782B1 (ko) 2018-11-27
CN105340006A (zh) 2016-02-17
JP6373985B2 (ja) 2018-08-15
US20150012279A1 (en) 2015-01-08
JP2016532146A (ja) 2016-10-13
CN105340006B (zh) 2019-05-03
WO2015006116A9 (en) 2015-05-21
WO2015006116A1 (en) 2015-01-15

Similar Documents

Publication Publication Date Title
KR101922782B1 (ko) 음성 동작형 기능에 키워드 모델을 할당하기 위한 방법 및 장치
EP3195310B1 (en) Keyword detection using speaker-independent keyword models for user-designated keywords
CN107210033B (zh) 基于众包来更新用于数字个人助理的语言理解分类器模型
CN111261144B (zh) 一种语音识别的方法、装置、终端以及存储介质
US9530415B2 (en) System and method of providing speech processing in user interface
US20150193199A1 (en) Tracking music in audio stream
US11031010B2 (en) Speech recognition system providing seclusion for private speech transcription and private data retrieval
KR20190122457A (ko) 음성 인식을 수행하는 전자 장치 및 전자 장치의 동작 방법
US9224388B2 (en) Sound recognition method and system
CN112148754A (zh) 一种歌曲识别方法和装置
CN105009205A (zh) 用于启用网络的设备上的语音识别输入的方法和系统
JP6944920B2 (ja) スマートインタラクティブの処理方法、装置、設備及びコンピュータ記憶媒体

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant