KR20130082339A - 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치 - Google Patents

음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치 Download PDF

Info

Publication number
KR20130082339A
KR20130082339A KR1020120003502A KR20120003502A KR20130082339A KR 20130082339 A KR20130082339 A KR 20130082339A KR 1020120003502 A KR1020120003502 A KR 1020120003502A KR 20120003502 A KR20120003502 A KR 20120003502A KR 20130082339 A KR20130082339 A KR 20130082339A
Authority
KR
South Korea
Prior art keywords
voice
function
command
voice command
recognition
Prior art date
Application number
KR1020120003502A
Other languages
English (en)
Other versions
KR102022318B1 (ko
Inventor
이동열
박세환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020120003502A priority Critical patent/KR102022318B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to JP2013003385A priority patent/JP2013143151A/ja
Priority to US13/739,637 priority patent/US10347246B2/en
Priority to EP17196474.5A priority patent/EP3288024B1/en
Priority to PCT/KR2013/000262 priority patent/WO2013105826A1/en
Priority to CN201310011801.3A priority patent/CN103208283B/zh
Priority to AU2013200153A priority patent/AU2013200153B2/en
Priority to EP13151049.7A priority patent/EP2615607B1/en
Publication of KR20130082339A publication Critical patent/KR20130082339A/ko
Priority to AU2015271922A priority patent/AU2015271922B2/en
Application granted granted Critical
Publication of KR102022318B1 publication Critical patent/KR102022318B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치에 관한 것으로, 본 발명은 사용자 기능 실행 화면을 표시하고, 음성 인식 실행 요청이 지속적으로 수신되는 동안, 음성 입력에 의해 실행되는 적어도 하나의 기능을 확인하여 각 기능별 해당 음성 명령어를 실행 화면에 표시하고, 사용자에 의해 입력되는 음성을 음성 인식하고, 음성 인식 결과에 기초하여 표시된 적어도 하나의 음성 명령어 중 하나가 음성 입력된 것으로 판단되면, 입력된 음성 명령어와 연관된 기능 실행하도록 구성된다. 본 발명에 따르면, 사용자가 어플리케이션 사용 중 특정 기능에 신속하게 접근할 수 있도록 하는 이점을 제공한다.

Description

음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치 {Method and apparatus for performing user function by voice recognition}
본 발명은 단말기에서 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치에 관한 것으로, 특히 실행 가능한 음성 명령어를 표시함으로써, 빠르고 정확한 음성 인식을 통해 사용자 기능을 수행하는 방법 및 장치에 관한 것이다.
물리적 입력을 대체하고 따라서 사용자가 움직일 필요 없이 편리하게 전자 기기들을 사용하기 위하여 음성 인식 기술이 점점 보편화되는 추세에 있다. 예를 들면 음성 인식 기술은 스마트 폰, 텔레비전, 자동차 내비게이션 등 다양한 전자 기기에서 구현가능하다.
음성 인식 기술은 입력되는 음성을 통계분석하여 구분한다. 이때 정확한 음성 인식을 위하여 복잡한 통계 모델과 대용량 음성 인식 데이터베이스가 사용된다. 이에 음성 인식을 지원하기 위해서는 전자 기기에 많은 연산량과 메모리가 요구된다.
한편 종래의 음성 인식 지원 전자 기기들은 비용, 크기 및 휴대성 등의 제약으로 인해, 고성능 연산 능력과 대용량 메모리의 필요를 충족시키지 못하는 실정이다. 그러므로 종래의 음성 인식 지원 전자 기기들에서 음성 인식의 정확도와 처리 속도가 제한되는 불편함이 있다. 따라서 연산 능력과 메모리 용량의 제약을 극복하면서 정확하고 빠른 음성 인식 기능을 제공하는 방안이 필요하다.
따라서 본 발명의 실시예는 상술한 종래 기술의 문제점을 해결하기 위하여 창안된 것이다. 그러므로 본 발명의 실시예는 실행 가능한 음성 명령어를 출력함으로써, 빠르고 정확한 음성 인식으로 사용자 기능이 수행될 수 있도록 지원하는 통제된 음성을 인식하여 사용자 기능을 수행하는 방법 및 장치를 제공하기 위한 것이다. 또한 본 발명의 실시예는 실행 가능한 음성 명령어를 쉽게 확인하기 위한 것이다.
상기 과제를 해결하기 위한 본 발명에 따른 사용자 기능 수행 방법은 사용자 기능 실행 화면을 표시하는 과정과, 음성 인식 실행 요청이 지속적으로 수신되는 동안, 음성 입력에 의해 실행되는 적어도 하나의 기능을 확인하여 각 기능별 해당 음성 명령어를 실행 화면에 표시하고, 사용자에 의해 입력되는 음성을 음성 인식하는 과정과, 상기 음성 인식 결과에 기초하여 상기 표시된 적어도 하나의 음성 명령어 중 하나가 음성 입력된 것으로 판단되면, 상기 입력된 음성 명령어와 연관된 기능 실행하는 과정을 포함하는 것을 특징으로 한다.
또한 상기 과제를 해결하기 위한 본 발명에 따른 사용자 기능 수행 장치는 사용자 기능 실행 화면을 표시하는 표시부와, 음성 인식 실행 요청 및 상기 사용자 기능을 위하여 터치 이벤트를 생성하는 터치 패널 및 키 입력 이벤트를 생성하는 키 입력부 중 적어도 하나와, 음성 입력을 수집 및 녹음하는 오디오 처리부와, 상기 터치 패널 또는 상기 키 입력부에서 상기 음성 인식 실행 요청을 수신하고, 상기 음성 인식 실행 요청이 지속적으로 수신되는 동안, 상기 음성 입력에 의해 실행되는 적어도 하나의 기능을 확인하여 각 기능별 해당 음성 명령어가 상기 실행 화면에 표시되도록 상기 표시부를 제어하고, 아울러 상기 음성 입력을 음성 인식하고, 상기 음성 인식 결과에 기초하여 상기 표시된 적어도 하나의 음성 명령어 중 하나가 음성 입력된 것으로 판단되면, 상기 입력된 음성 명령어와 연관된 기능을 실행하는 제어부를 포함하는 것을 특징으로 한다.
또한 상기 과제를 해결하기 위한 본 발명에 따른 음성 인식 시스템은 적어도 하나의 위젯(widget) 또는 객체(object)를 제공하는 어플리케이션들로 구성된 어플리케이션 레이어(Application Layer)와, 상기 어플리케이션 레이어로부터 수집된 위젯(widget) 또는 객체(object)로 구성된 사용자 실행 화면을 출력하고, 저장된 음성 명령어들 중에서 상기 실행 화면을 구성하는 위젯 또는 객체에 연관된 음성 명령어를 검색하여 상기 실행 화면 표시 중에 음성 인식 가능한 후보 음성 명령어로 판단하고 음성 인식 엔진에게 전달하는 사용자 인터페이스 프레임워크(User Interface Framework)를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 통제된 음성을 인식하여 사용자 기능을 수행하는 방법 및 장치는 실행 가능한 기능들을 나타내는 적어도 하나의 음성 명령어를 표시한다. 따라서 사용자로 하여금 표시된 음성 명령어 중 하나를 발화하도록 유도한다. 또한 본 발명은 유사하지 않은 음성 명령어들이 표시되도록 지원함으로써, 높은 정확도의 음성 인식을 보장하는 음성 입력을 유도한다.
그러므로 본 발명은 사용자의 음성 입력을 이와 같이 가이드함으로써, 표시된 음성 명령어를 기준으로 음성 입력에 대한 음성 인식을 빠르고 정확하게 수행하고, 나아가서는 사용자가 원하지 않는 기능이 수행되는 것을 방지할 수 있다.
도 1은 본 발명의 실시예에 따른 단말기의 구성을 개략적으로 나타낸 블록도이다.
도 2는 도 1의 제어부의 구성을 개략적으로 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 음성 인식을 이용한 사용자 기능 실행 절차를 도시하는 흐름도이다.
도 4는 본 발명의 실시예에 따라 음성 인식을 이용한 사용자 기능 실행 시 표시되는 화면 예시도이다.
도 5는 본 발명의 다른 실시예에 따라 음성 인식을 이용한 사용자 기능 실행 시 표시되는 화면 예시도이다.
도 6은 본 발명의 실시예에 따라 자동차 운용 시스템에서 음성 인식을 이용한 사용자 기능 실행 시 표시되는 화면 예시도이다.
도 7은 본 발명의 실시예에 따라 텔레비전 시스템에서 음성 인식을 이용한 사용자 기능 실행 시 표시되는 화면 예시도이다.
도 8은 본 발명의 실시예에 따른 음성 명령어 사용 절차를 도시하는 흐름도이다.
도 9 내지 11은 본 발명의 실시예에 따른 음성 인식 시스템 개념도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 이 때 첨부된 도면에서 동일한 구성요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 그리고 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 본 명세서에서 사용되는 '사용자 기능(user function)'은 사용자의 요청에 따라, 소정의 입력부에 의해 생성되는 입력 신호에 의해 실행되는 기능을 의미한다.
도 1은 본 발명의 실시예에 따른 단말기(100)의 구성을 개략적으로 나타낸 블록도이다. 본 발명의 단말기(100)는 음성 인식 기능을 지원하는 기기라면 어떠한 전자 기기이든지 가능하다. 예를 들면, 본 발명의 실시예에 따른 단말기(100)는 휴대 전화기, PMP(Portable Multimedia Player), 디지털 방송 플레이어, PDA(Personal Digital Assistant), 음악 파일 재생기(예컨대, MP3 플레이어), 휴대 게임 단말기, 태블릿 PC 및 스마트 폰(Smart Phone) 등의 이동 가능한 소형 기기에서부터 자동차 내비게이션 기기, 텔레비전, 냉장고, 세탁기 등과 같은 가전제품에 이르기까지, 음성 인식 기능을 지원하는 어떠한 기기이든지 될 수 있다.
도 1을 참조하면, 본 발명의 단말기(100)는 무선통신부(110), 키 입력부(120), 오디오 처리부(130), 터치스크린(140), 저장부(160), 및 제어부(170)를 포함할 수 있다.
무선통신부(110)는 음성 통화를 위한 통신 채널 형성 및 화상 통화를 위한 통신 채널 형성, 영상이나 메시지 등의 데이터 전송을 위한 통신 채널(이하, 데이터 통신 채널) 형성 등을 제어부(170)의 제어 하에 수행한다. 특히 본 발명의 무선 통신부(110)는 음성 입력에 의해 실행되는 사용자 기능을 위한 음성 명령어 리스트를 수신할 수 있다. 음성 명령어 리스트는 음성 명령어가 표시되기 위하여 제어부(170)에 의해 참조될 수 있다. 또한 본 발명의 무선통신부(110)는 데이터 통신 채널을 통해 음성 인식 모드를 위한 음성 인식 실행 요청을 수신할 수 있다. 음성 인식 실행 요청이 수신되는 동안 제어부(170)는 음성 인식이 실행되지만, 수신이 중단되면 음성 인식이 종료되도록 지원한다. 이와 같이 제어부(170)는 음성 인식 실행 요청의 수신 여부에 따라 음성 인식 모드의 시종(始終)을 결정할 수 있다.
키 입력부(120)는 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 입력키 및 기능키들을 포함한다. 기능키들은 특정 기능을 수행하도록 설정된 방향키, 사이드 키 및 단축키 등을 포함할 수 있다. 또한 키 입력부(120)는 사용자 설정 및 단말기(100)의 기능 제어와 관련된 키 신호를 생성하고 제어부(170)로 전달한다. 키 입력부(120)는 단말기(100)의 터치스크린(140)이 풀 터치스크린 형태로 지원되는 경우 단말기(100)의 케이스 측면에 형성되는 사이드 키, 홈 키 및 기타 기능 키들을 포함할 수 있다. 특히 본 발명의 키 입력부(120)는 음성 인식 기능을 수행하도록 설정된 음성 인식 기능키를 포함할 수 있다. 그리고 키 입력부(120)는 음성 인식 기능키에서 생성되는 음성 인식 기능 키 이벤트를 제어부(170)로 전달할 수 있다. 제어부(170)는 음성 인식 기능키의 상기 요청 신호에 따라 음성 인식 모드의 시종을 결정할 수 있다.
오디오 처리부(130)는 통화 시 송수신 되는 오디오 데이터, 수신된 메시지에 포함된 오디오 데이터, 저장부(160)에 저장된 오디오 파일 재생에 따른 오디오 데이터 등을 재생하기 위한 스피커(SPK)와, 통화 시 사용자의 음성 또는 기타 오디오 신호를 수집하기 위한 마이크(MIC)를 포함한다. 특히 본 발명의 오디오 처리부(130)는 제어부(170)의 제어 하에 음성 인식 모드에서 마이크(MIC)를 구동하여 마이크(MIC)를 통해 수집되는 사용자 음성을 녹음한다. 그리고 오디오 처리부(130)는 녹음된 음성을 제어부(170)로 전달하여 녹음된 음성에 대한 음성 인식이 수행될 수 있도록 지원한다. 또한 본 발명의 오디오 처리부(130)는 음성 인식 모드가 개시되거나 종료되면 그에 대응하는 효과음을 출력할 수 있다. 이러한 효과음들은 사용자 설정에 따라 생략될 수 있다.
터치스크린(140)은 터치 패널(141)과 표시부(143)를 포함한다. 이러한 터치스크린(140)은 표시부(143) 전면에 터치 패널(141)이 배치되는 구조를 가질 수 있다. 터치스크린(140)의 크기는 터치 패널(141)의 크기로 결정될 수 있다. 그리고 터치스크린(140)은 사용자 기능 실행에 따른 화면을 표시하고 사용자 기능 제어 관련 터치 이벤트를 감지할 수 있다.
터치 패널(141)은 표시부(143)의 상하부 중 적어도 한 곳에 배치되고, 터치 패널(141)을 구성하는 센서는 매트릭스 형태로 배열된다. 이에 따라 터치 패널(141)은 터치 패널(141) 상의 터치 물체의 접촉 또는 접근 거리에 따라 터치 이벤트를 생성하고, 생성된 터치 이벤트를 제어부(170)에 전달할 수 있다. 여기서 터치 이벤트는 터치 종류와 위치 정보를 포함한다.
특히 본 발명의 터치 패널(140)은 음성 인식 모드 실행을 위한 이벤트(이하, 음성 인식 터치 이벤트)를 생성한다. 예를 들어, 사용자가 터치 물체로 터치 패널(140)을 통해 현재 출력되는 사용자 기능 실행 화면을 구성하는 특정 이미지 구성요소를 터치하면, 터치 패널(140)은 음성 인식 터치 이벤트를 제어부(170)로 전달한다. 여기서 이미지 구성요소는 아이콘과 같이 소정의 사용자 기능과 연계된다. 따라서 아이콘 표시 영역에 대응하는 위치에서 터치 이벤트 발생 시 그와 연계된 기능이 실행된다. 제어부(170)는 음성 인식 터치 이벤트가 처음으로 수신될 때 음성 인식 모드가 시작하고, 상기 음성 인식 터치 이벤트가 수신되는 동안에 상기 특정 객체와 연계된 기능을 실행하기 위한 적어도 하나의 음성 명령어가 표시부(143)에 출력되도록 지원하며, 상기 음성 인식 터치 이벤트의 수신 중단 시 음성 인식 모드가 종료되도록 지원한다.
표시부(143)는 단말기(100)의 각종 메뉴를 비롯하여 사용자가 입력한 정보 또는 사용자에게 제공되는 정보를 표시한다. 즉 표시부(143)는 단말기(100) 이용에 따른 다양한 사용자 기능의 실행 화면을 제공할 수 있다. 이러한 표시부(143)는 액정 표시 장치(Liquid Crystal Display), OLED(Organic Light Emitted Diode) 등으로 형성될 수 있다. 그리고 표시부(143)는 터치 패널(141) 상부 또는 하부에 배치될 수 있다. 특히 본 발명의 표시부(143)는 제어부(170)의 제어 하에 현재 출력 중인 사용자 기능 실행 화면에 음성 명령어를 추가하여 표시할 수 있다. 표시부(143)를 통하여 음성 명령어가 표시되는 다양한 방식에 대하여는 아래에서 보다 상세히 살펴보기로 한다.
저장부(160)는 본 발명의 실시예에 따른 기능 동작에 필요한 적어도 하나의 어플리케이션, 사용자에 의해 생성되는 사용자 데이터, 네트워크와 송수신하는 메시지 및 어플리케이션 실행에 따른 데이터 등을 저장한다. 이러한 저장부(160)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다.
프로그램 영역은 단말기(100)의 부팅 및 상술한 각 구성의 운용을 위한 운영체제(OS, Operating System)와 다운로드 및 설치된 어플리케이션들 등을 저장할 수 있다. 특히, 본 발명의 프로그램 영역은 음성 명령어 설정 프로그램(161)과 음성 인식 운용 프로그램(163)을 더 저장할 수 있다.
음성 명령어 설정 프로그램(161)은 본 발명의 실시예에 따라 음성 명령어를 표시하기 위해 필요한 정보를 설정하도록 지원하는 루틴들을 포함한다. 음성 명령어 설정 프로그램(161)은 음성 입력에 의해 실행되는 기능들을 확인하는 루틴, 확인된 기능 별로 음성 명령어를 판단하는 루틴 및 판단된 음성 명령어들을 등록하는 루틴을 포함한다. 그리고 음성 명령어 설정 프로그램(161)은 음성 명령어 표시 방식 설정 루틴을 더 포함할 수 있다.
한편 본 발명의 음성 명령어 설정 프로그램(161)은 음성 명령어 등록 전에 음성 명령어들의 유사도를 검사하는 루틴과 유사도 검사 결과에 따라 유사한 음성 명령어들을 변경하는 루틴을 더 포함할 수 있다.
이러한 음성 명령어 설정 프로그램(161)은 음성 명령어 표시 시점 전에 음성 인식 운용 프로그램(163)의 요청에 의해 실행되도록 설정될 수 있다. 또한 음성 명령어 설정 프로그램(161)은 사용자의 요청에 의해 언제든지 실행될 수 있다.
음성 인식 운용 프로그램(163)은 본 발명의 실시예에 따라 음성 인식을 이용하여 사용자 기능이 수행되도록 지원한다. 사용자 실행 화면이 표시되는 중에 미리 설정된 음성 인식 실행 요청이 수신되면, 음성 인식 운용 프로그램(163)은 상기 요청이 수신되는 동안 음성 명령어를 실행 화면에 표시하는 동시에 음성 인식 기능을 실행하는 루틴을 포함한다. 상기 루틴은 음성 명령어가 표시될 때 미리 설정된 표시방식에 따라 음성 명령어가 표시되도록 설정될 수 있다. 여기서 음성 인식 실행 요청은 키 입력부(120)에서 수신되는 음성 인식 키 입력 이벤트 또는 터치 패널(140)에서 수신되는 음성 인식 터치 이벤트 중 적어도 하나가 될 수 있다. 또한 음성 인식 운용 프로그램(163)은 음성 인식 실행 요청의 수신 중단 시 음성 명령어를 실행 화면에서 제거하고 음성 인식 기능을 종료하는 루틴을 포함한다. 그리고 음성 인식 운용 프로그램(163)은 음성 인식 결과에 기초하여 표시된 음성 명령어들 중 하나가 음성 입력된 것으로 판단되면 해당 기능을 실행하는 루틴을 포함한다.
데이터 영역은 단말기(100)의 사용에 따라 발생하는 데이터가 저장되는 영역이다. 특히 본 발명의 데이터 영역은 음성 명령어 설정 프로그램(161) 및 음성 인식 운용 프로그램(163)이 실행되는 중에 사용되거나 생성되는 데이터를 저장한다. 예를 들면, 데이터 영역은 음성 명령어 설정 프로그램(161)과 연계하여 음성 입력을 실행 가능한 사용자 기능 별 음성 명령어, 추가 또는 대체 가능한 단어, 사용자 기능 우선순위, 음성 명령어 표시 방식 등을 저장할 수 있다. 한편 음성 명령어들은 특정 실행 화면과 연계되어 명령어 표시 맵으로 저장될 수 있다. 명령어 표시 맵은 소정의 사용자 기능 실행 화면에서, 음성 입력에 의해 실행되는 적어도 하나의 기능별 해당 음성 명령어의 출력 위치 정보를 포함하는 것을 특징으로 한다. 그리고 데이터 영역은 음성 인식 운용 프로그램(163)과 연계하여 음성 인식을 위한 각종 통계 모형 및 음성 인식 결과 등을 저장할 수 있다.
제어부(170)는 단말기(100)의 전반적인 동작을 제어한다. 특히 본 발명의 제어부(170)는 실행 가능한 음성 명령어를 출력함으로써, 빠르고 정확한 음성 인식으로 사용자 기능이 수행될 수 있도록 지원하는 기능 운용과 관련된 동작을 제어할 수 있다. 예를 들어 제어부(170)는 음성 인식 실행 요청이 지속적으로 수신되는 동안, 표시부(143)를 제어하여 현재 표시되는 사용자 기능 실행 화면에 음성 명령어가 추가 표시되도록 지원한다. 또한 제어부(170)는 유사도 검사를 이용하여 유사하지 않은 음성 명령어들이 사용자 기능 실행 화면에 표시되도록 지원할 수 있다. 이를 위하여 제어부(170)는 도 2에 도시된 바와 같은 구성부들을 포함할 수 있다.
도 2는 도 1의 제어부(170)의 구성을 개략적으로 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 제어부(170)는 입력 이벤트 수집부(171), 녹음 이벤트 수집부(173), 음성 인식부(175), 기능 수행부(177), 및 실행 화면 출력부(179)를 포함한다.
입력 이벤트 수집부(171)는 터치 패널(140) 또는 키 입력부(120)에서 생성되는 입력 이벤트를 수집하는 구성이다. 특히 본 발명의 실시예에 따른 입력 이벤트 수집부(171)는 음성 인식 실행 요청을 수신하는 것을 특징으로 한다. 예를 들면, 입력 이벤트 수집부(171)는 터치 패널(140)로부터 음성 인식 터치 이벤트 및/또는 키 입력부(120)로부터 음성 인식 키 입력 이벤트를 수집할 수 있다. 그리고 입력 이벤트 수집부(171)는 수신되는 입력 이벤트들을 기능 수행부(177)로 전달한다.
녹음 이벤트 수집부(173)는 오디오 처리부(130)로부터 녹음된 오디오 이벤트를 수집한다. 특히 본 발명의 실시예에 따른 녹음 이벤트 수집부(173)는 음성 인식 모드에서 발성된 사용자의 음성이 녹음된 이벤트(이하, 녹음 이벤트)를 수신한다. 이러한 녹음 이벤트는 발성된 적어도 하나의 단어를 포함한다. 그리고 녹음 이벤트 수집부(173)는 녹음 이벤트를 음성 인식부(175)로 전달한다.
음성 인식부(175)는 녹음 이벤트에서 음성을 인식하여 녹음 이벤트를 구성하는 음소들을 구분하고 음소들이 구성하는 단어(또는 단어열)를 파악한다. 특히 본 발명의 실시예에 따른 음성 인식부(175)는 저장부(160)를 액세스 하여 녹음 이벤트가 현재 실행 화면에 표시되는 음성 명령어를 포함하는 지를 판단한다. 여기서 음성 인식부(175)는 미리 정해진 음성 명령어들, 즉 현재 실행화면에 표시되는 음성 명령어들을 기준으로 음성 인식을 수행할 수 있다. 예를 들어 음성 인식부(175)는 음소 단위로 음성을 인식하는 경우, 현재 표시되는 음성 명령어들의 음소와 인식되는 음소를 비교하고 이들이 일치하지 않는 경우, 음성 명령어가 입력되지 않은 것으로 판단함으로써 음성 인식 시간을 단축할 수 있다. 단어 단위로 음성 인식을 하는 경우에도 본 발명의 실시예는 동일한 이점을 제공할 수 있다.
이와 같이 인식 가능한 음성 입력의 다양성을 억제함으로써, 본 발명은 빠른 음성 인식을 도모할 수 있다. 또한 본 발명은 음성 인식되는 경우의 수를, 표시되는 음성 명령어들 개수로 국한시킴으로써, 높은 정확도를 가지는 음성 인식 서비스를 제공할 수 있다. 이에 더하여 본 발명은 서버 기반이 아닌 임베디드 엔진(embedded engine), 즉 외부 서버에게 음성 인식을 위탁하지 않고, 단말기(100) 자체적으로 음성 인식을 수행함으로써, 한 층 더 빠르게 음성 인식을 수행할 수 있다. 한편 현재 표시되는 음성 명령어들 중 하나와 일치하는 단어가 녹음 이벤트에 포함된 것으로 판단되면, 음성 인식부(175)는 일치한 음성 명령어를 기능 수행부(177)에게 알린다.
기능 수행부(177)는 단말기(100)의 전반적인 운용을 제어한다. 특히 본 발명의 실시예에 따른 기능 수행부(177)는 입력 이벤트 수집부(171)에서 음성 인식 요청이 수신되는 것으로 판단하면, 음성 인식 모드로 전환한다. 기능 수행부(177)는 음성 인식 모드에서 음성 인식 모드가 개시되었음을 실행 화면 출력부(179)에게 알리고, 음성 녹음이 시작되도록 오디오 처리부(130)를 제어한다. 그런 다음, 기능 수행부(177)는 음성 인식부(175)에서 수신되는 음성 명령어에 따라 해당 기능이 실행되도록 지원하고 그 실행되는 기능을 실행 화면 출력부(179)에게 알려준다. 기능 수행부(177)는 음성 인식 요청의 수신이 중단되면 오디오 처리부(130)를 제어하여 녹음 이벤트의 생성이 중지되도록 한다. 이에 따라 음성 인식부(175)는 더 이상 음성 인식을 실행하지 않는다. 한편 기능 수행부(177)는 음성 인식부(175)를 제어하여 음성 인식이 종료되도록 할 수 있다.
실행 화면 출력부(179)는 일반적으로 사용자 기능이 수행됨에 따라 그에 대응하는 실행 화면이 출력되도록 표시부(143)를 제어한다. 사용자 기능 실행 화면은 적어도 하나의 이미지 구성요소들을 포함한다. 이미지 구성요소의 예로는 아이콘, 썸네일(thumbnail) 또는 문자 등이 될 수 있다. 이러한 이미지 구성요소들 각각은 특정 기능과 연계될 수 있다. 따라서 제어부(170)는 터치스크린(140) 또는 키 입력부(120)에서 특정 이미지 구성요소를 선택하는 이벤트가 발생한 것으로 감지하면, 상기 특정 이미지 구성요소와 연계된 기능이 실행되도록 지원할 수 있다.
특히 본 발명의 실시예에 따른 실행 화면 출력부(179)는 음성 인식 모드에서, 미리 정해진 음성 명령어가 현재 표시 중인 사용자 기능 실행 화면에 추가 출력되도록 지원한다. 실행 화면 출력부(179)는 저장부(160)를 액세스 하여 현재의 실행 화면에서 실행가능한 사용자 기능과 상기 사용자 기능을 실행하기 위한 음성 명령어를 확인할 수 있다. 그런 다음 실행 화면 출력부(179)는 확인된 음성 명령어가 실행 화면에 추가 표시되도록 표시부(143)를 제어할 수 있다. 실행 화면 출력부(179)는 미리 설정된 방식에 따라 음성 명령어를 표시하는데, 이에 대하여는 이하에서 자세히 설명된다. 한편 실행 화면 출력부(179)는 명령어 표시 맵을 참조하여 음성 명령어들의 표시 위치를 파악할 수 있다.
음성 인식을 이용한 사용자 기능 수행 절차는 도 3을 참조하여 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 음성 인식을 이용한 사용자 기능 실행 절차를 도시하는 흐름도이다.
도 3을 참조하면, 본 발명의 실시예에 따라 음성 인식을 이용한 사용자 기능 실행 절차는 소정의 사용자 기능 실행 모드에서 출발한다. 이에 따라 제어부(170) 310 과정에서 표시부(143)를 제어하여 사용자 기능 실행 화면을 표시한다. 사용자 기능 실행 화면은 적어도 하나의 이미지 구성요소들, 예컨대 아이콘, 썸네일(thumbnail) 또는 문자 등으로 구성될 수 있다. 이러한 이미지 구성요소들 각각은 특정 기능과 연계되어있다. 따라서 특정 이미지 구성요소를 선택하는 이벤트가 터치스크린(140) 또는 키 입력부(120)에서 발생하면, 제어부(170)는 상기 특정 이미지 구성요소와 연계된 기능이 실행되도록 지원할 수 있다.
아울러 제어부(170)는 310 과정에서 상기 실행 화면과 연계된 음성 명령어들을 판단할 수 있다. 이때 제어부(170)는 상기 실행 화면에서 음성 입력에 의해 실행되는 기능들 파악하고, 등록된 음성 명령어들 중에서 파악된 기능들과 연계된 음성 명령어들을 검색할 수 있다. 따라서 본 발명에서는 상당 수의 음성 명령어들 중에서 상기 실행 화면과 관련된 음성 명령어만을 추려 내는 고속 검색이 가능하다. 이에 따라 제어부(170)는 등록된 음성 명령어들 중에서 유용한 음성 명령어를 검색하는 시간을 대폭 단축시킬 수 있다. 그리고 제어부(170)는 음성 명령어들을 판단하는 과정을 상기 실행 화면이 전환될 때 마다 동적으로 수행할 수 있다. 또는 제어부(170)는 상기 실행 화면 중 일부 기능이 변경 또는 추가될 때마다 음성 명령어들을 판단하는 과정을 실행할 수 있다. 이러한 경우, 제어부(170)는 등록된 음성 명령어들 중에서 변경되거나 추가된 기능과 연계된 음성 명령어만을 검색할 수 있다.
한편 제어부(170)는 310 과정에서 표시되는 실행 화면으로의 전환 시 음성 명령어 등록 절차를 수행할 수 있다. 제어부(170)는 상기 실행 화면에서 음성 입력에 의해 실행되는 기능들을 파악할 수 있다. 이러한 기능들은 상기 실행 화면이 출력되는 동안 특정 입력 이벤트에 의해 실행되거나, 특정 어플리케이션의 기능들이 될 수 있다. 한편 설계자 또는 사용자에 의해 상기 실행 화면에서 음성 입력에 의해 실행되는 기능들이 설정될 수 있다. 이어서 제어부(170)는 음성 입력에 의해 실행되는 기능들 각각의 해당 음성 명령어를 파악한다. 음성 명령어들은 설계자에 의해 미리 설정되거나, 제어부(170)에 의해 자동 설정될 수 있다. 또는 제어부(170)는 사용자의 입력에 따라 음성 명령어가 설정되도록 지원할 수 있다.
그런 다음 제어부(170)는 파악된 음성 명령어들에 대하여 유사도 검사를 수행할 수 있다. 여기서 유사도 검사는 지정된 음성 명령어들 중에 발음 또는 철자가 유사한 음성 명령어들을 추려내기 위한 것이다. 그리고 제어부(170)는 검사 결과에 따라 유사한 것으로 판단된 음성 명령어들 중 적어도 하나가 변경되도록 지원할 수 있다. 이에 따라 제어부(170)는 유사한 음성 명령어들이 사용되어 부정확한 음성 인식 결과가 발생하는 것을 방지할 수 있다. 유사한 음성 명령어들 변경 시 제어부(170)는 변경 대상 음성 명령어를 다른 것으로 대체하거나, 변경 대상 음성 명령어의 앞과 뒤 중 적어도 한 곳에 단어를 추가할 수 있다.
이때 소정의 우선순위에 따라 변경될 음성 명령어가 선택될 수 있다. 예를 들면, 우선순위는 운영 체제와 관련된 사용자 기능(예. 도움 및 검색 기능), 단말기의 설계자에 의해 개발된 인하우스 어플리케이션(in-house application), 외부로부터 다운로드 및 설치 가능한 제3자 어플리케이션(third party application)의 순서로 정해질 수 있다. 이와 같은 경우, 예를 들어 인하우스 어플리케이션의 특정 기능과 제3자 어플리케이션의 기능이 동일한 음성 명령어를 가지면, 우선순위에 따라 제3자 어플리케이션 기능의 음성 명령어가 변경될 수 있다. 한편 제어부(170)는 이러한 유사도 검사를 수행하지 않을 수 있다.
또한 제어부(170)는 음성 명령어 등록 시, 음성 입력으로 실행 가능한 기능들과 연계하여 해당 음성 명령어를 등록할 수 있다. 또는 제어부(170)는 특정 실행 화면과 연계하여 음성 명령어들을 등록할 수 있다. 따라서 제어부(170)는 사용자 기능 실행 화면에 표시될 음성 명령어들 판단 시, 상기 실행 화면과 연계되어 등록된 음성 명령어들만을 검색할 수 있다. 이에 따라 제어부(170)는 등록된 상당 수의 음성 명령어들 중 유용한 음성 명령어들을 빠르게 판단할 수 있다.
한편 제어부(170)는 이러한 음성 명령어 등록 절차를 음성 명령어 표시 과정 전 언제든지 실행될 수 있다. 또한 제어부(170)는 음성 명령어 등록 절차가 음성 인식을 이용한 사용자 기능 수행 절차와 별도로 수행되도록 지원할 수 있다.
실행 화면이 표시되는 중에 제어부(170)는 320 과정에서 음성 인식 시작 요청을 감지한다. 여기서 제어부(170)는 터치 패널(140) 또는 키 입력부(120)에서의 음성 인식 실행 요청의 수신 여부를 파악한다. 제어부(170)는 터치 패널(140)로부터 음성 인식 터치 이벤트 또는 키 입력부(120)로부터 음성 인식 기능키의 음성 인식 키 입력 이벤트를 수신할 수 있다. 음성 인식 터치 이벤트는 현재 출력되는 사용자 기능 실행 화면을 구성하는 특정 이미지 구성요소에 대한 터치 이벤트가 될 수 있다. 음성 인식 실행 요청이 감지되면, 제어부(170)는 330 과정으로 분기한다. 한편 음성 인식 실행 요청이 감지되지 않으면, 제어부(170)는 325 과정으로 분기하여 입력된 신호에 따라 해당 기능이 수행되도록 지원한다.
제어부(170)는 330 과정에서 음성 인식 모드로 전환한다. 아울러 제어부(170)는 적어도 하나의 음성 명령어가 표시부(143)에 출력되고 마이크(MIC)에 의해 수집되는 음성이 음성 인식되도록 지원한다. 여기서 제어부(170)는 310 과정에서 실행 화면과 관련된 음성 명령어들을 기준으로 수집된 음성 데이터를 음성 인식할 수 있다. 본 발명은 이와 같이 음성 명령어를 표시함으로써, 표시된 음성 명령어 이외의 단어들이 음성 입력되는 것을 예방한다. 이에 따라 본 발명은 음성 인식을 위한 데이터 처리량을 최소화시킬 수 있다. 그리고 본 발명은 음성 인식의 경우를 특정 음성 명령어들로 한정함으로써, 정확하고 빠른 음성 인식 서비스를 제공할 수 있다.
음성 명령어를 표시하는 과정을 상세히 살펴보면, 제어부(170)는 음성 입력에 의해 실행되는 적어도 하나의 기능을 확인한다. 이러한 기능들은 현재 소정의 터치 이벤트 또는 키 입력 이벤트에 의해 실행 가능한 모든 기능들인 것으로 미리 설정될 수 있다. 또는 설계자의 의도나 사용자의 기호에 따라 상기 터치 이벤트 또는 키 입력 이벤트에 의해 실행 가능한 기능들 중 일부만 음성 입력에 의해 실행되도록 미리 설정될 수 있다. 또한 제어부(170) 특정 어플리케이션의 기능들이 음성 인식 모드에서 실행되도록 지원할 수 있다. 음성 인식 터치 이벤트가 수신되는 경우, 제어부(170)는 터치된 이미지 구성요소와 연관된 어플리케이션의 기능들이 출력되도록 지원할 수 있다. 아울러 제어부(170)는 확인된 음성 입력에 의해 실행되는 기능들의 음성 명령어를 판단할 수 있다. 한편 상술된 바와 같이 제어부(170)가 310 과정에서 이미 음성 명령어들을 판단한 경우, 330 과정에서의 음성 명령어 판단 과정은 생략될 수 있다. 각 기능들의 해당 음성 명령어는 자동 생성되거나 설계자 또는 사용자에 의해 설정가능하다.
그런 다음 제어부(170)는 판단된 음성 명령어들의 표시 위치를 선택한다. 이때 제어부(170)는 음성 명령어가 실행 화면을 구성하는 이미지 구성요소 근처에 표시되거나, 실행 화면의 여백에 표시되도록 지원할 수 있다.
예를 들면 제어부(170)는 홈 화면에서 특정 아이콘, 예컨대 캘린더 아이콘이 표시된 구역에서 일정 거리 이내에 'Calendar'라는 음성 명령어가 표시되도록 표시부(143)를 제어할 수 있다. 또한 제어부(170)는 'Help'라는 음성 명령어가 실행 화면의 여백 어느 곳에든지 출력되도록 지원할 수 있다. 특히 제어부(170)는 음성 명령어의 표시 위치를 결정할 때 음성 명령어와 연계된 기능과 연관된 이미지 구성요소가 존재하면 상기 이미지 구성요소 부근으로 음성 명령어 표시 위치를 선택할 수 있다. 이때 제어부(170)는 실행 화면의 맵을 참조하여 상기 이미지 구성요소의 존재 여부를 판단할 수 있다. 그리고 제어부(170)는 실행 화면의 맵을 참조하여 음성 명령어 표시 위치를 선택할 수 있다.
한편 표시하고자하는 음성 명령어와 연관된 이미지 구성요소가 존재하지 않는 것으로 판단되면, 제어부(170)는 실행 화면의 맵을 참조하여 여백을 파악하고 그 여백에 음성 명령어가 표시되도록 지원할 수 있다. 예를 들어 터치 이벤트에 의해 실행되는 기능이지만 연관된 이미지 구성요소가 존재하지 않으면, 제어부(170)는 상기 터치 이벤트와 관련된 위치에 음성 명령어가 표시되도록 지원할 수 있다. 일례로 특정 위치에서 시작되는 터치 이벤트에 의해 기능이 실행되도록 설정된 경우, 제어부(170)는 실행 화면 중 상기 특정 위치에 해당 음성 명령어가 출력되도록 지원할 수 있다.
또한 특정 방향을 가지는 터치 이벤트에 의해 기능이 실행되도록 설정된 경우, 제어부(170)는 실행 화면에서의 상기 방향 측면에 해당 음성 명령어가 출력되도록 지원할 수 있다. 그리고 키 입력부(120)에 의해 실행되는 기능이 음성 입력에 의해서도 실행되도록 설정된 경우, 제어부(170)는 키 입력부(120)가 장착된 곳 근처에 해당 음성 명령어가 표시되도록 표시부(143)를 제어할 수 있다.
이와 같이 음성 명령어들의 표시 위치를 선택한 다음 제어부(170)는 명령어 표시 맵을 생성할 수 있다. 명령어 표시 맵은 소정의 사용자 기능 실행 화면에서 표시되는 음성 명령어들의 출력 위치 정보를 포함하는 것을 특징으로 한다. 따라서 제어부(170)는 330 과정에서 현재 출력되는 사용자 기능 실행 화면에 대응하는 명령어 표시 맵이 존재하면, 상기 명령어 표시 맵을 참조하여 음성 명령어들이 표시되도록 지원할 수 있다.
이에 더하여 제어부(170)는 음성 명령어가 미리 설정된 표시 방식에 따라 출력되도록 지원할 수 있다. 예를 들면 제어부(170)는 음성 명령어가 툴 팁(tool-tip) 또는 말풍선과 같은 형태로 실행 화면에 오버레이(overlay)되어 표시되도록 지원할 수 있다. 또한 제어부(170)는 음성 명령어와 연관된 이미지 구성요소가 존재하는 경우, 이미지 구성요소 또는 이미지 구성요소를 나타내는 문자, 예컨대 아이콘 이름를 실행 화면에서 삭제하고 삭제된 영역에 음성 명령어가 대신 출력되도록 지원할 수 있다. 그리고 다수 개의 기능들이 하나의 이미지 구성요소와 연계되어서 복수의 음성 명령어들이 출력되어야하는 경우, 제어부(170)는 음성 명령어들이 리스트 형태로 표시되도록 지원할 수 있다. 이에 더하여 제어부(170)는 음성 명령어들을 종합하여 하나의 팝업 창(pop-up window)이나 별도의 화면에 표시하도록 표시부(143)를 제어할 수 있다. 한편 당업자라면 상술된 표시 방식의 어떠한 조합으로도 음성 명령어들이 표시될 수 있다는 점을 이해할 것이다.
제어부(170)는 340 과정에서 음성 인식 종료 요청을 감지한다. 여기서 제어부(170)는 음성 인식 실행 요청의 수신이 중단되었는지를 판단할 수 있다. 예를 들면 제어부(170)는 음성 인식 기능키의 키 신호가 더 이상 수신되지 않거나, 즉 음성 인식 기능키가 해제되었거나, 터치 패널(140)로부터 음성 인식 터치 이벤트가 더 이상 수신되지 않으면 음성 인식 모드에 대한 종료 요청이 감지된 것으로 판단한다. 이에 따라 본 발명은 사용자가 음성 입력 기능키 입력 또는 특정 이미지 구성요소에 대한 터치 입력을 지속하는 동안에는 음성 인식 기능이 실행되도록 지원한다. 그러므로 본 발명은 음성 인식 모드의 시종을 정확하게 파악하여 음성 녹음 시간을 최소화시키는 이점을 제공한다. 나아가 본 발명은 녹음된 음성 데이터 크기를 최소화함으로써, 더욱 빠른 음성 인식을 수행할 수 있다.
한편 미리 설정된 시간 동안 어떠한 음성도 입력되지 않으면, 제어부(170)는 침묵 구간(silence period)이 감지된 것으로 자동 파악하고 음성 입력 기간이 타임 아웃 된 것으로 판단할 수 있다. 이에 따라 제어부(170)는 340 과정에서 음성 인식의 종료가 요청된 것으로 판단할 수 있다. 이러한 경우, 제어부(170)는 녹음 시작 시점이 확인된 후, 침묵 구간이 미리 설정된 시간 동안 녹음되면 자동으로 음성 인식을 종료하는 것으로 설정될 수 있다.
그리고 제어부(170)는 종료 요청에 따라 350 과정으로 분기한다. 한편 제어부(170)는 음성 인식 종료가 요청되지 않은 것으로 판단하면, 330 과정으로 리턴하여 지속적으로 음성 명령어를 표시하고 음성 인식을 수행한다.
제어부(170)는 350 과정에서 음성 명령어 표시를 제거하고 음성 인식 기능을 완료함으로써, 음성 인식 모드를 종료한다. 그리고 제어부(170)는 360 과정에서 음성 명령어의 입력 여부를 판단한다. 여기서 제어부(170)는 음성 인식 결과를 확인하여 표시된 음성 명령어들 중 하나가 입력되었는지를 파악한다. 소정의 음성 명령어가 입력된 것으로 판단되면, 제어부(170)는 370 과정으로 분기하여 입력된 음성 명령어와 연관된 기능이 실행되도록 지원한다. 이와 같이 사용자는 표시부(143)에 출력되는 음성 명령어를 발성함으로써, 별도의 터치 동작 또는 키 입력 동작 없이도 편리하게 다양한 기능들을 이용할 수 있다. 그리고 본 발명의 실시예에 따라 음성 인식을 이용한 사용자 기능 실행 절차를 종료한다.
한편 음성 명령어가 입력되지 않은 것으로 판단되면 제어부(170)는 365 과정으로 분기하여 음성 입력의 재시도 여부를 판단한다. 여기서 제어부(170)는 팝업 창을 통해 사용자에게 다시 음성 입력을 시도하기 원하는 지를 물을 수 있다. 소정의 사용자 응답을 통해 사용자가 재시도하기 원하는 것으로 판단되면, 제어부(170)는 330 과정으로 리턴하여 음성 명령어 표시와 음성 인식이 재수행되도록 지원할 수 있다. 한편 사용자가 재시도하기 원하지 않는 것으로 판단되면, 제어부(170)는 310 과정으로 리턴하여 원래의 사용자 기능 실행 화면이 표시되도록 지원한다. 한편 음성 명령어의 재시도를 질의하는 365 과정은 수행되지 않을 수 있다. 이에 따라 360 과정에서 음성 명령어 입력이 제공되지 않은 것으로 판단되면 제어부(170)는 음성 인식을 이용한 사용자 기능 실행 절차를 종료할 수 있다.
본 발명의 음성 인식을 이용한 사용자 기능 실행 절차가 수행됨에 따라 표시되는 화면을 도 4 및 도 5를 참조하여 살펴보기로 한다. 참고로 도 4 및 도 5의 실시예에서는 터치스크린을 구비한 휴대 단말기를 예로 들어 본 발명이 설명된다. 한편 당업자라면 본 발명이 이러한 휴대 단말기뿐만 아니라 음성 인식 기능을 지원하는 어떠한 전자 기기에서든지 구현될 수 있다는 점을 이해할 것이다.
도 4는 본 발명의 실시예에 따라 음성 인식을 이용한 사용자 기능 실행 시 표시되는 화면 예시도이다.
도 4를 참조하면, 401 화면에 도시된 바와 같이 단말기(100)는 음성 인식 기능키(120)를 구비하고 홈 화면(410)을 출력한다. 본 실시예에서는 음성 인식 기능키(120)에 의하여 홈 화면(410)이 출력된 상태에서 기능키들이나 터치 이벤트에 의하여 실행되는 모든 기능들이 음성 입력에 의해 실행되는 기능으로 설정된 것을 가정한다.
음성 인식 기능키(120)가 사용자에 의해 눌려지면 제어부(170)는 음성 인식 실행 요청을 감지한다. 이어서 제어부(170)는 403 화면에서와 같이 음성 입력에 의해 실행되는 기능들을 확인하여 홈 화면(410)에 상기 기능들을 위한 음성 명령어 표시(425, 430, 435)가 출력되도록 지원한다. 아울러 제어부(170)는 표시되는 음성 명령어들로 국한된 음성 인식 기능이 수행되도록 지원한다.
상세하게는, 제어부(170)는 음성 명령어(425)를 표시할 때 인터넷 브라우저 어플리케이션 실행 기능이 음성 입력에 의해 실행되는 것으로 확인하고 상기 기능의 해당 음성 명령어가 'Internet'인 것으로 파악한다. 그리고 제어부(170)는 홈 화면 맵을 참조하여 상기 기능과 연관된 이미지 구성요소, 즉 인터넷 브라우저 아이콘(420)이 존재하는 것을 확인하고, 이에 'Internet' 이미지(425)가 인터넷 브라우저 아이콘(420) 부근에 출력되도록 지원한다.
또한 제어부(170)는 알림 센터 표시 기능을 위한 음성 명령어가 'Notification' 이미지(435)로 표시되도록 설정된 것으로 확인한다. 알림 센터 표시 기능은 홈 화면(410)의 상단에서 시작하여 하향으로 드래그 터치 이벤트 발생 시 알림 센터 표시 기능이 수행될 수 있다. 제어부(170)는 홈 화면(410)의 맵을 참조하여 알림 센터 표시 기능과 연관된 이미지 구성요소가 존재하지 않는 것을 확인한 다음, 상기 터치 이벤트의 시작 위치를 반영하여 홈 화면(410)의 상단 여백에 'Notification' 이미지(435)가 표시되도록 표시부(143)를 제어한다.
한편 도움말 찾기 기능은 시작 터치 위치에 상관없이 좌측으로의 드래그 터치 이벤트 발생 시 실행된다. 이러한 기능의 경우 제어부(170)는 도움말 찾기 기능의 음성 명령어가 홈 화면(410)의 좌측에 'Help' 이미지(430)로 표시되도록 지원한다. 한편 홈 화면과 연계된 명령어 표시 맵이 존재하는 경우 제어부(170)는 명령어 표시 맵에 따라 음성 명령어들이 출력되도록 표시부(143)를 제어할 수 있다. 한편 본 발명의 다른 실시예에 따르면, 'Help' 기능은 어떠한 실행 화면에서든지 지원될 수 있다. 그리고 이러한 'Help' 기능은 음성 인식 모드 중 실행 화면에 표시되지 않지만 실행 가능한 기능들을 현재 실행 화면에 추가 표시할 수 있다. 'Help' 기능을 통해 추가 표시되는 기능들은, 예를 들면 시스템 예약 명령어, 명령어의 파라미터 범위나 사용법 관련 명령어 등이 될 수 있다. 이에 따라 사용자가 'Help'를 발성하면, 팝업 창의 형태로 미리 설정된 명령어들이 표시되도록 제어부(170)가 지원할 수 있다.
사용자가 음성 인식 기능키(120)를 해제하면 제어부(170)는 405 화면에서와 같이 음성 명령어 표시들을 홈 화면에서 제거하고 음성 인식을 종료한다. 추가로 제어부(170)는 음성 인식 기능의 실행 상태를 알리는 메시지가 표시되도록 지원할 수 있다. 음성 인식을 통해 'Message'라는 음성 입력이 수신된 것으로 판단되면, 제어부(170)는 407 화면에서와 같이 메시지 어플리케이션이 실행되도록 지원한다.
407 화면을 보다 상세히 살펴보면, 본 발명의 실시예에 따라 음성 명령어에 의해 실행되는 기능은 위젯(widget)이 될 수 있다. 예를 들면, 위젯은 407 화면에서와 같이 메시지 어플리케이션에서 '검색', '체크', '메시지 열람' 및 '메시지 작성' 위젯 등이 될 수 있다. 한편 제어부(170)는 407 화면에 도시되는 소스 코드를 실행하여 일례로, '메시지 작성' 위젯을 위한 음성 명령어를 등록할 수 있다. 이에 따라 실행화면을 제공하는 어플리케이션의 개발자라면, 407 화면에서와 같은 소스 코드를 이용하여 음성 명령어를 추가할 수 있다.
한편 이상에서는 홈 화면(410)에서 음성 인식 모드가 수행되는 것을 예로 들어 설명하였지만, 407 화면에서와 같은 메시지 실행 화면에서도 본 발명이 구현가능하다. 이러한 경우 메시지 어플리케이션의 편집 기능, 새 메시지 작성 기능, 검색 기능 등을 위한 음성 명령어 표시가 메시지 실행 화면에 추가로 출력될 수 있다.
도 5는 본 발명의 다른 실시예에 따라 음성 인식을 이용한 사용자 기능 실행 시 표시되는 화면 예시도이다.
도 5를 참조하면, 501 화면에서와 같이 단말기(100)는 터치스크린(140)을 구비하고 홈 화면(510)을 출력한다. 그리고 도시된 바와 같이 사용자가 터치 물체로 터치스크린(140)을 통해 인터넷 브라우저 아이콘(520)을 터치한다. 미리 설정된 시간 이상 터치가 지속되면 제어부(170)는 음성 인식 실행 요청이 감지된 것으로 판단한다. 이어서 제어부(170)는 터치된 인터넷 브라우저 아이콘(520)과 연계된 인터넷 브라우저 어플리케이션의 미리 설정된 기능들을 확인한다. 그리고 제어부(170)는 상기 어플리케이션 기능들의 음성 명령어를 파악하고 표시부(143)를 제어하여 503 화면에서와 같이 해당 음성 명령어들의 표시(525)가 아이콘(520) 근처에 출력되도록 지원한다. 아울러 제어부(170)는 출력되는 음성 명령어들로 국한된 음성 인식 기능이 실행되도록 지원한다.
이때 제어부(170)는 홈 화면(510) 맵을 참조하여 인터넷 브라우저 어플리케이션과 연관된 이미지 구성요소, 즉 아이콘(520)이 존재하는 것을 확인한다. 그리고 제어부(170)는 인터넷 브라우저 아이콘(520) 근처에 상기 어플리케이션 기능들의 음성 명령어가 출력되도록 지원한다. 특히 제어부(170)는 복수의 음성 명령어들이 하나의 이미지 구성요소 부근에 표시되어야 함으로, 복수의 음성 명령어들을 리스트 형태로 표시되도록 표시부(143)를 제어할 수 있다. 아울러 제어부(170)는 음성 인식 실행 요청이 감지되면, 마이크(MIC)를 구동하여 사용자의 음성을 녹음하고 그에 대한 음성 인식이 실행되도록 지원한다.
사용자가 터치 물체를 터치 패널(140)에서의 접촉을 해제하면, 제어부(170)는 505 화면에서와 같이 음성 명령어 표시(525)를 제거하고 음성 인식을 종료한다. 음성 인식 결과에 따라 'Google'이라는 음성 명령어가 발성된 것으로 판단되면 제어부(170)는 507 화면에서와 같이 'www.google.com'라는 웹 주소의 웹 페이지가 웹 브라우저에서 출력되는 기능을 실행한다.
본 발명의 음성 인식을 이용한 사용자 기능 실행 절차는 다양한 전자 기기들에서 구현 가능하다. 도 6과 도 7은 본 발명의 다양한 실시예를 도시한다. 상세하게는, 도 6은 본 발명의 실시예에 따라 자동차 운용 시스템에서 음성 인식을 이용한 사용자 기능 실행 시 표시되는 화면 예시도이고, 도 7은 본 발명의 실시예에 따라 텔레비전 시스템에서 음성 인식을 이용한 사용자 기능 실행 시 표시되는 화면 예시도이다.
도 6을 참조하면, 자동차 내비게이션 기기(600)에서 메뉴 화면이 출력될 때 자동차 핸들(610)에 장착된 입력부를 통해 음성 인식 실행 요청이 수신될 수 있다. 이때 음성 인식 실행 요청은 무선 통신을 통해 자동차 핸들(610)에서 자동차 내비게이션 기기(600)로로 전송될 수 있다. 그러면 자동차 내비게이션 기기(600)는 음성 인식 기능을 시작하는 동시에 실행 가능한 기능들, 예컨대 GPS 기능, 음악 재생 기능 및 Digital Multimedia Broadcasting(DMB) 시청 기능을 파악한다. 그리고 각 기능별 음성 명령어를 확인하여 메뉴 화면에 출력할 수 있다. 예를 들면 자동차 내비게이션 기기(600)는 DMB 기능의 음성 명령어인 'TV'를 이미지(625) 형태로 DMB 아이콘(620) 근처에 오버레이되게 표시할 수 있다. 자동차 핸들(610)의 입력부의 입력이 종료되면, 자동차 내비게이션 기기(600)는 음성 인식을 통해 음성 명령어가 입력된 것으로 판단하면, 그에 따른 기능을 실행시킨다.
도 7을 참조하면, 텔레비전 시스템은 텔레비전(700)과 리모콘(710)으로 구성된다. 그리고 텔레비전(700)은 메뉴 화면을 출력하고 있다. 이때 리모콘(710)에서 음성 인식 기능을 실행하도록 설정된 키의 입력 발생 시 텔레비전(700)은 음성 인식 기능을 실행하는 동시에 실행 가능한 기능들의 음성 명령어를 표시한다. 예를 들면, 텔레비전(700)은 'Skype' 어플리케이션 실행 기능의 음성 명령어인 'Call'을 이미지 형태(725)로 'Skype' 아이콘 부근에 표시한다.
본 발명의 음성 명령어 사용 절차는 이하 도 8의 흐름도 및 도 9 내지 도 11의 시스템 개념도를 참조하여 정리될 수 있다. 도 8은 본 발명의 실시예에 따른 음성 명령어 사용 절차를 도시하는 흐름도이다. 그리고 도 9 내지 11은 본 발명의 실시예에 따른 음성 명령어 시스템 개념도이다.
도 8을 참조하면, 본 발명의 실시예에 따른 음성 인식 시스템은 810 과정에서 화면 구성이 바뀔 때, 음성 명령어를 구성할 수 있다. 이때 음성 인식 시스템은 우선 현재 화면 상태에서 실행 가능한 구성요소들을 확인할 수 있다. 여기서 구성요소들이란, 현재 실행 화면 상에 표시되는 위젯이나, 선택 입력 시 실행 가능한 이벤트를 생성하는 객체(object)가 될 수 있다. 그리고 음성 인식 시스템은 상기 구성요소들 중에서 음성 명령어가 등록되지 않은 것들을 추려내어 임시로 음성 명령어를 할당할 수 있다. 그리고 음성 인식 시스템은 등록된 수많은 음성 명령어들 중에서 상기 구성요소들과 연계된 음성 명령어를 확인할 수 있다. 이에 따라 음성 인식 시스템은 음성 명령어 구성 시간을 대폭 단축시킬 수 있다.
한편 음성 인식 시스템은 음성 명령어 할당 시, 음성 인식 정확도를 높이기 위하여 미리 정의된 유사도가 낮은 명령어들을 할당할 수 있다. 그리고 음성 인식 시스템은 음성 명령어를 구성하는 과정이 완료된 것으로 판단하면, 각 음성 명령어 별로 유사도 검사를 수행할 수 있다. 여기서 유사도 검사는 지정된 음성 명령어들 중에 발음 또는 철자가 유사한 음성 명령어들을 추려내기 위한 것으로, 음성 인식 시스템은 검사 결과에 따라 유사한 것으로 판단된 음성 명령어들 중 적어도 하나가 변경되도록 지원할 수 있다. 이에 따라 음성 인식 시스템은 유사한 음성 명령어들이 사용되어 부정확한 음성 인식 결과가 발생하는 것을 방지할 수 있다. 유사한 음성 명령어들 변경 시 음성 인식 시스템은 변경 대상 음성 명령어를 다른 것으로 대체하거나, 변경 대상 음성 명령어의 앞과 뒤 중 적어도 한 곳에 단어를 추가할 수 있다. 이러한 유사도 검사를 통해 음성 인식 시스템은 음성 명령어들 간의 유사도가 낮아지도록 음성 명령어들을 재구성할 수 있다. 이와 같이 음성 인식 시스템은 화면 전환 시 음성 명령어들을 구성하고 음성 인식 모드 시작 요청을 기다린다.
상기 810 과정에서 음성 인식 시스템 구성부들 간의 상호작용을 도 9를 참조하여 살펴보기로 한다.
도 9를 참조하면 음성 인식 시스템의 소프트웨어의 Platform Layer에서 UI Framework(User Interface Framework)는 제 1 과정에서 Application Layer의 특정 어플리케이션으로부터 전환될 화면을 구성할 때 필요한 위젯이나 객체 등을 수집하여 정리할 수 있다. 그런 다음 UI Framework는 제 2 과정에서 수집된 각각의 위젯이나 객체에 대하여 개발자가 미리 정의한 음성 명령어를 추출할 수 있다. 여기서 UI Framework는 음성 인식 시스템에 등록되어 있는 음성 명령어들 중에서 각각의 위젯이나 객체와 연관된 음성 명령어들만을 검색함으로써, 고속 검색할 수 있다. 한편 음성 명령어가 정해지지 않은 위젯이나 객체에 대하여, UI Framework는 Platform Layer의 Voice Framework에게 음성 명령어를 요청할 수 있다. 그리고 수집된 각각의 위젯이나 객체에 대하여 음성 명령어가 지정된 것으로 판단되면, UI Framework는 제 3 과정에서 각각의 위젯이나 객체와 연관된 음성 명령어들을 전환될 화면이 표시되는 중에 음성 인식 가능한 후보 음성 명령어로 판단할 수 있다. 여기서 후보 음성 명령어는 음성 인식 모드에서 전환될 화면에 표시될 음성 명령어이다. 이에 따라 표시되는 화면이 변경될 때마다, 화면과 연관된 음성 명령어들이 인식 대상 후보로 동적으로 변경되어 UI Framework에 의하여 검색될 수 있다. 그리고 UI Framework는 후보 음성 명령어 일군을 Voice Framework에게 전달한다. 이에 응하여 Voice Framework는 음성 인식 엔진에게 음성 명령어들을 전달하여 음성 인식이 시작할 수 있도록 준비할 수 있다. 그러므로 본 발명의 실시예에 따른 음성 인식 시스템은 음성 인식되는 경우의 수를, 후보 음성 명령어 개수로 국한시킴으로써, 정확하고 빠른 음성 인식 서비스를 제공할 수 있다.
다시 도 8을 참조하면 사용자가 820 과정에서 음성 명령어 녹음 시작을 위해 손 또는 특정 물체를 사용하여 하드웨어 버튼(120)이나 터치스크린(140)의 아이콘을 누를 수 있다. 이에 응하여 음성 인식 시스템은 830 과정에서 현재 사용 가능한 음성 명령어를 표시한다. 이때 표시되는 음성 명령어는 810 과정에서 구성된 음성 명령어이다. 이에 따라 사용자는 현재 단말기(100)의 상태에서 실행 가능한 하드웨어, 소프트웨어적인 구성요소들의 음성 명령어를 확인할 수 있다. 그리고 음성 인식 시스템은 음성 명령어가 해당 구성요소 근처에 표시되도록 지원한다. 예를 들어 하드웨어 구성요소를 위한 음성 명령어는 표시부(143)에서 상기 하드웨어 구성요소가 장착된 위치 부근에 표시되며, 소프트웨어 구성요소는 표시부(143)에서 표시되는 상기 소프트웨어 구성요소 근처에 출력될 수 있다. 아울러 음성 인식 시스템은 사용자에 의하여 하드웨어 버튼(120)이나 터치스크린(140)의 아이콘을 눌리는 시점부터 음성 인식을 위한 녹음을 시작한다.
사용자는 하드웨어 버튼(120)이나 터치스크린(140)의 아이콘을 누르고 있는 동안, 840 과정에서 터치스크린(140) 상에 출력되는 사용하고자 하는 음성 명령어를 읽을 수 있다. 그리고 사용자는 음성 명령어를 소리내어 읽은 다음, 850 과정에서 하드웨어 버튼(120)이나 터치스크린(140)의 아이콘을 누르고 있던 손 또는 물체를 땐다. 이에 따라 음성 인식 시스템은 860 과정에서 녹음된 음성 명령어를 처리하여 해당 기능을 실행할 수 있다. 상세하게는 음성 인식 시스템은 사용자가 하드웨어 버튼(120)이나 터치스크린(140)의 아이콘을 누르고 있는 동안 녹음된 음성을 음성 인식하고, 음성 인식된 음성 명령어와 연계된 하드웨어 또는 소프트웨어 구성요소의 미리 설정된 기능을 실행할 수 있다.
상기 820 과정 내지 860 과정에서 음성 인식 시스템 구성부들 간의 상호작용을 도 10과 도 11을 참조하여 살펴보기로 한다.
도 10을 참조하면, 사용자에 의한 하드웨어 버튼(120)이나 터치스크린(140)의 아이콘의 눌림에 따라 음성 인식 시스템은 제 1 과정에서 소프트웨어 Platform Layer의 OS(Operating Systems) 및 디바이스 드라이버를 통해 UI Framework에게 상기 사용자의 입력에 대하여 알린다. 이에 응하여 UI Framework는 제 2 과정에서 음성 인식 시스템에 등록된 모든 음성 명령어들 중에서 표시되는 실행화면과 연관된 음성 명령어들만을 수집하고 이들의 출력 위치를 파악한 다음, 실행화면을 재구성하여 표시부(143)에 출력되도록 지원한다. 음성 인식 시스템은 이상에서 설명된 바와 같은 표시 방식에 따라 음성 명령어가 표시되도록 실행화면을 재구성할 수 있다. 음성 명령어가 출력된 다음, UI Framework는 제 3 과정에서 Voice Framework에 음성 인식을 요청한다. 그리고 Voice Framework는 음성 인식 엔진이 음성 녹음 데이터를 받을 수 있도록 제 4 과정에서 Multimedia Framework에게 녹음 시작을 요청한다. 따라서 Multimedia Framework는 제 5 과정에서 마이크(MIC)를 활성화하여 음성을 수집하고, 녹음 데이터가 생성되도록 지원한다. Multimedia Framework는 제 6 과정에서 마이크(MIC)를 통해 녹음되는 음성 데이터를 Voice Framework에 전달한다. Voice Framework는 수신한 음성 데이터를 음성 인식 엔진에게 전달한다. 그리고 음성 인식 엔진은 녹음된 음성 데이터를 분석함으로써, 음성 인식을 수행한다. 그러므로 사용자가 하드웨어 버튼(120)이나 터치스크린(140)의 아이콘을 누름으로써 음성 인식 시스템은 상술된 바와 같이 음성 인식을 실행한다.
이하에서는 도 11을 참조하여 사용자가 하드웨어 버튼(120)이나 터치스크린(140)의 아이콘에서 손이나 특정 물체를 땜으로써, 음성 인식 시스템에서 음성 인식을 중단하는 시스템 구성부들 간의 상호작용에 대하여 살펴보기로 한다.
도 11을 참조하면 음성 인식을 수행하는 동안, 사용자가 하드웨어 버튼(120)이나 터치스크린(140)의 아이콘에서 손이나 특정 물체를 땔 수 있다. 그러면 음성 인식 시스템은 제 1 과정에서 OS 및 디바이스 드라이버를 통해 UI Framework에게 상기 사용자의 입력 해제에 대하여 알린다. 이에 응하여 UI Framework는 제 2 과정에서 Voice Framework 에게 음성 인식 종료를 요청한다. 아울러 UI Framework는 제 2 과정에서 음성 명령어가 제거된 실행화면이 출력되도록 표시부(143)를 제어할 수 있다. 한편 음성 인식 종료 요청을 수신한 Voice Framework는 제 3 과정에서 Multimedia Framework에게 녹음 종료를 요청한다. 이에 따라 Multimedia Framework는 제 4 과정에서 마이크(MIC)를 비활성화하고, 제 5 과정에서 녹음된 최종 음성 데이터를 Voice Framework에 전달함으로써, 녹음을 종료한다. 음성 인식 엔진은 제 5 6 과정에서 최종 음성 데이터를 포함한 음성 인식 결과를 Voice Framework로 전달한다. 그리고 Voice Framework는 음성 인식 결과를 UI Framework로 전달한다. UI Framework는 제 6 7 과정에서 음성 인식 결과가 타당한 경우, 즉 출력된 음성 명령어 중 하나와 일치하는 것으로 판단되면, 인식된 음성 명령어에 해당하는 위젯이나 객체의 이벤트가 실행되도록 지원한다.
한편 음성 인식 시스템은 사용자가 하드웨어 버튼(120)이나 터치스크린(140)의 아이콘을 지속적으로 누르지 않아도 음성 인식이 실행되도록 지원할 수 있다. 예를 들면, 음성 인식 시스템은 820 과정에서 사용자가 하드웨어 버튼(120)이나 터치스크린(140)의 아이콘을 일시적으로 눌렀다 때면 음성 녹음을 시작하고, 미리 설정된 시간 동안 음성이 입력되지 않는 것으로 판단되면 음성 녹음을 종료하도록 설정될 수 있다. 이에 따라 사용자는 음성 인식 시스템에게 녹음 시작 시점만을 알려 주면 된다.
이상에서 설명한 바와 같이 본 발명의 실시예에 따른 통제된 음성을 인식하여 사용자 기능을 수행하는 방법 및 장치에 따르면, 본 발명은 사용자 기능을 실행시키는 음성 명령어들을 표시함으로써 사용자의 음성 입력을 이와 같이 가이드하고, 따라서 빠르고 정확한 음성 인식으로 사용자 기능이 수행되는 이점을 제공한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 단말기 110 : 무선통신부
120 : 키 입력부 130 : 오디오 처리부
140 : 터치스크린 141 : 터치 패널
143 : 표시부 160 : 저장부
161 : 음성 명령어 설정 프로그램 170 : 제어부
163 : 음성 인식 운용 프로그램

Claims (23)

  1. 사용자 기능 실행 화면을 표시하는 과정과,
    음성 인식 실행 요청이 지속적으로 수신되는 동안, 음성 입력에 의해 실행되는 적어도 하나의 기능을 확인하여 각 기능별 해당 음성 명령어를 실행 화면에 표시하고, 사용자에 의해 입력되는 음성을 음성 인식하는 과정과,
    상기 음성 인식 결과에 기초하여 상기 표시된 적어도 하나의 음성 명령어 중 하나가 음성 입력된 것으로 판단되면, 상기 입력된 음성 명령어와 연관된 기능 실행하는 과정을 포함하는 것을 특징으로 하는 사용자 기능 실행 방법.
  2. 제 1항에 있어서,
    상기 음성 명령어 표시 과정은,
    해당 음성 명령어를 상기 실행 화면을 구성하는 이미지 구성요소 근처에 표시하는 과정 및 상기 실행 화면의 여백에 표시하는 과정 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 기능 실행 방법.
  3. 제 2항에 있어서,
    상기 이미지 구성요소 근처에 표시 과정은,
    상기 해당 음성 명령어를 그에 대응하는 기능과 연관된 이미지 구성요소 근처에 표시하는 것을 특징으로 하는 사용자 기능 실행 방법.
  4. 제 2항에 있어서,
    상기 여백에 표시하는 과정은,
    상기 음성 입력에 의해 실행되는 기능이 키 입력 이벤트에 의해 실행되는 기능이면, 상기 키 입력 이벤트를 생성하는 키 입력부가 장착된 곳 근처에 상기 해당 음성 명령어를 표시하는 것을 특징으로 하는 사용자 기능 실행 방법.
  5. 제 1항에 있어서,
    상기 음성 인식 과정은, 상기 표시된 적어도 하나의 음성 명령어를 기준으로 상기 음성을 음성 인식하는 것을 특징으로 하는 사용자 기능 실행 방법.
  6. 제 1항에 있어서,
    상기 기능 확인 과정은,
    터치 이벤트와 키 입력 이벤트 수신 시 실행되는 기능 및 특정 어플리케이션의 미리 설정된 기능 중 적어도 하나를 확인하는 과정을 포함하는 것을 특징으로 하는 사용자 기능 실행 방법.
  7. 제 1항에 있어서,
    상기 음성 명령어 표시 과정 이전에,
    상기 적어도 하나의 음성 명령어들의 유사도를 검사하는 과정과,
    상기 유사도 검사 결과에 따라 유사한 음성 명령어들 중 적어도 하나를 변경하는 과정을 더 포함하는 것을 특징으로 하는 사용자 기능 실행 방법.
  8. 제 1항에 있어서,
    상기 음성 인식 실행 요청 중단 시, 상기 표시된 적어도 하나의 음성 명령어를 상기 실행 화면에서 제거하고 상기 음성 인식 종료하는 과정을 더 포함하는 것을 특징으로 하는 사용자 기능 실행 방법.
  9. 제 1항에 있어서,
    상기 음성 명령어 인식 과정은,
    표시되는 화면이 변경될 때마다, 상기 화면과 연관된 음성 명령어들이 인식 대상 후보로 동적으로 변경되어 검색되는 것을 특징으로 하는 사용자 기능 실행 방법.
  10. 사용자 기능 실행 화면을 표시하는 표시부와,
    음성 인식 실행 요청 및 상기 사용자 기능을 위하여 터치 이벤트를 생성하는 터치 패널 및 키 입력 이벤트를 생성하는 키 입력부 중 적어도 하나와,
    음성 입력을 수집 및 녹음하는 오디오 처리부와,
    상기 터치 패널 또는 상기 키 입력부에서 상기 음성 인식 실행 요청을 수신하고, 상기 음성 인식 실행 요청이 지속적으로 수신되는 동안, 상기 음성 입력에 의해 실행되는 적어도 하나의 기능을 확인하여 각 기능별 해당 음성 명령어가 상기 실행 화면에 표시되도록 상기 표시부를 제어하고, 아울러 상기 음성 입력을 음성 인식하고, 상기 음성 인식 결과에 기초하여 상기 표시된 적어도 하나의 음성 명령어 중 하나가 음성 입력된 것으로 판단되면, 상기 입력된 음성 명령어와 연관된 기능을 실행하는 제어부를 포함하는 것을 특징으로 하는 사용자 기능 수행 장치.
  11. 제 10항에 있어서,
    상기 표시부는,
    적어도 하나의 이미지 구성요소를 포함하는 상기 실행 화면과, 상기 적어도 하나의 이미지 구성요소 근처 및 상기 실행 화면의 여백 중 적어도 한 곳에 상기 적어도 하나의 음성 명령어를 표시하는 것을 특징으로 하는 사용자 기능 수행 장치.
  12. 제 11항에 있어서,
    상기 표시부는,
    상기 음성 입력에 의해 실행되는 기능의 해당 음성 명령어를 상기 기능과 연계된 이미지 구성요소 부근에 표시하는 것을 특징으로 하는 사용자 기능 수행 장치.
  13. 제 10항에 있어서,
    상기 표시부는,
    상기 터치 이벤트의 방향에 있는 상기 실행 화면의 측면에 상기 적어도 하나의 음성 명령어를 표시하는 것을 특징으로 하는 사용자 기능 수행 장치.
  14. 제 10항에 있어서,
    상기 표시부는,
    상기 실행 화면 중 상기 터치 이벤트의 시작 위치에 상기 적어도 하나의 음성 명령어를 표시하는 것을 특징으로 하는 사용자 기능 수행 장치.
  15. 제 10항에 있어서,
    상기 표시부는,
    상기 적어도 하나의 음성 명령어를 툴 팁, 팝업창, 리스트 형태 중 어느 하나의 방식으로 표시하는 것을 특징으로 하는 사용자 기능 수행 장치.
  16. 제 10항에 있어서,
    상기 제어부는,
    상기 음성 입력에 의해 실행되는 적어도 하나의 기능을 확인하고, 상기 실행 화면과 연계된 음성 명령어의 표시 위치를 포함하는 명령어 표시 맵을 호출하여 각 기능별 해당 음성 명령어가 상기 실행 화면에 표시되도록 상기 표시부를 제어하는 것을 특징으로 하는 사용자 기능 수행 장치.
  17. 제 10항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 음성 명령어의 표시 위치를 상기 실행 화면과 연계하여 저장하는 것을 특징으로 하는 사용자 기능 수행 장치.
  18. 제 10항에 있어서,
    상기 제어부는,
    상기 표시된 적어도 하나의 음성 명령어를 기준으로 상기 음성을 음성 인식하는 것을 특징으로 하는 사용자 기능 수행 장치.
  19. 제 10항에 있어서,
    상기 음성 입력에 의해 실행되는 적어도 하나의 기능은,
    상기 사용자 기능을 위한 상기 터치 이벤트와 키 입력 이벤트에 의해 실행되는 기능 및 특정 어플리케이션의 미리 설정된 기능 중 적어도 하나인 것을 특징으로 하는 사용자 기능 수행 장치.
  20. 제 10항에 있어서,
    상기 제어부는,
    상기 음성 인식 실행 요청의 수신 중단 시, 상기 표시된 적어도 하나의 음성 명령어가 상기 실행 화면에서 제거되도록 상기 표시부를 제어하고 상기 음성 인식을 종료하는 것을 특징으로 하는 사용자 기능 수행 장치.
  21. 적어도 하나의 위젯(widget) 또는 객체(object)를 제공하는 어플리케이션들로 구성된 어플리케이션 레이어(Application Layer)와,
    상기 어플리케이션 레이어로부터 수집된 위젯(widget) 또는 객체(object)로 구성된 사용자 실행 화면을 출력하고, 상기 실행 화면으로의 전환 시, 저장된 음성 명령어들 중에서 상기 실행 화면을 구성하는 위젯 또는 객체에 연관된 음성 명령어를 검색하여 상기 실행 화면 표시 중에 음성 인식 가능한 후보 음성 명령어로 판단하고, 음성 인식 엔진에게 전달하는 사용자 인터페이스 프레임워크(User Interface Framework)를 포함하는 것을 특징으로 하는 음성 인식 시스템.
  22. 제 21항에 있어서,
    상기 사용자 인터페이스 프레임워크는, 상기 실행 화면을 재구성하여 상기 후보 음성 명령어를 표시하는 것을 특징으로 하는 음성 인식 시스템.
  23. 제 21항에 있어서,
    사용자 음성을 녹음하는 멀티미디어 프레임워크(Multimedia Framework)와,
    상기 음성 인식 엔진을 포함하는 음성 프레임워크(Voice Framework)를 더 포함하고,
    상기 음성 프레임워크는 상기 멀티미디어 프레임워크로부터 녹음된 음성 데이터를 수신하고, 상기 음성 데이터가 상기 후보 음성 명령어와 일치하는 지를 음성 인식하는 것을 특징으로 하는 음성 인식 시스템.
KR1020120003502A 2012-01-11 2012-01-11 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치 KR102022318B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020120003502A KR102022318B1 (ko) 2012-01-11 2012-01-11 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
US13/739,637 US10347246B2 (en) 2012-01-11 2013-01-11 Method and apparatus for executing a user function using voice recognition
EP17196474.5A EP3288024B1 (en) 2012-01-11 2013-01-11 Method and apparatus for executing a user function using voice recognition
PCT/KR2013/000262 WO2013105826A1 (en) 2012-01-11 2013-01-11 Method and apparatus for executing a user function using voice recognition
JP2013003385A JP2013143151A (ja) 2012-01-11 2013-01-11 音声認識を使用してユーザ機能を行う方法及び装置
CN201310011801.3A CN103208283B (zh) 2012-01-11 2013-01-11 使用语音识别执行用户功能的方法及装置
AU2013200153A AU2013200153B2 (en) 2012-01-11 2013-01-11 Method and apparatus for executing a user function using voice recognition
EP13151049.7A EP2615607B1 (en) 2012-01-11 2013-01-11 Method and apparatus for executing a user function using voice recognition
AU2015271922A AU2015271922B2 (en) 2012-01-11 2015-12-17 Method and apparatus for executing a user function using voice recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120003502A KR102022318B1 (ko) 2012-01-11 2012-01-11 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130082339A true KR20130082339A (ko) 2013-07-19
KR102022318B1 KR102022318B1 (ko) 2019-09-18

Family

ID=47748397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120003502A KR102022318B1 (ko) 2012-01-11 2012-01-11 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치

Country Status (7)

Country Link
US (1) US10347246B2 (ko)
EP (2) EP2615607B1 (ko)
JP (1) JP2013143151A (ko)
KR (1) KR102022318B1 (ko)
CN (1) CN103208283B (ko)
AU (1) AU2013200153B2 (ko)
WO (1) WO2013105826A1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160026585A (ko) * 2014-09-01 2016-03-09 삼성전자주식회사 복수의 마이크를 포함하는 전자 장치 및 이의 운용 방법
KR20160039407A (ko) * 2014-10-01 2016-04-11 엘지전자 주식회사 이동 단말기 및 그 제어 방법
WO2017146482A1 (ko) * 2016-02-25 2017-08-31 삼성전자 주식회사 음성 인식 제어를 제공하는 전자 장치 및 그 동작 방법
WO2018080162A1 (ko) * 2016-10-27 2018-05-03 삼성전자 주식회사 음성 명령에 기초하여 애플리케이션을 실행하는 방법 및 장치
KR20180109631A (ko) * 2017-03-27 2018-10-08 삼성전자주식회사 전자 장치 및 전자 장치의 기능 실행 방법
US10162898B2 (en) 2014-12-03 2018-12-25 Samsung Electronics Co., Ltd. Method and apparatus for searching
KR20190051368A (ko) * 2017-11-06 2019-05-15 삼성전자주식회사 전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법
KR20190058172A (ko) * 2017-11-21 2019-05-29 엘지전자 주식회사 인공지능 세탁기 및 그 제어 방법
KR102038147B1 (ko) * 2018-11-27 2019-10-29 이정오 음성인식 앱/위젯 관리를 수행하는 휴대 단말기 및 앱/위젯 관리 방법
US11582337B2 (en) 2017-03-27 2023-02-14 Samsung Electronics Co., Ltd. Electronic device and method of executing function of electronic device

Families Citing this family (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590332B1 (ko) 2012-01-09 2016-02-18 삼성전자주식회사 영상장치 및 그 제어방법
US10268446B2 (en) * 2013-02-19 2019-04-23 Microsoft Technology Licensing, Llc Narration of unfocused user interface controls using data retrieval event
US20140331146A1 (en) * 2013-05-02 2014-11-06 Nokia Corporation User interface apparatus and associated methods
US10157618B2 (en) * 2013-05-02 2018-12-18 Xappmedia, Inc. Device, system, method, and computer-readable medium for providing interactive advertising
KR101456974B1 (ko) 2013-05-21 2014-10-31 삼성전자 주식회사 사용자 단말기, 음성인식 서버 및 음성인식 가이드 방법
JP2015011170A (ja) * 2013-06-28 2015-01-19 株式会社ＡＴＲ−Ｔｒｅｋ ローカルな音声認識を行なう音声認識クライアント装置
CN104347075A (zh) * 2013-08-02 2015-02-11 迪欧泰克有限责任公司 以语音识别来选择控制客体的装置及方法
KR101447879B1 (ko) * 2013-08-09 2014-10-08 주식회사 디오텍 음성인식을 통해 컨트롤 객체를 선택하기 위한 장치 및 방법
KR101474854B1 (ko) * 2013-09-12 2014-12-19 주식회사 디오텍 음성인식을 통해 컨트롤 객체를 선택하기 위한 장치 및 방법
KR102345611B1 (ko) * 2013-11-18 2021-12-31 삼성전자주식회사 디스플레이 장치 및 제어 방법
CN103744361A (zh) * 2013-12-06 2014-04-23 南通芯迎设计服务有限公司 一种基于无线传感器网络技术的智能家居系统
KR102246893B1 (ko) * 2013-12-11 2021-04-30 삼성전자주식회사 대화형 시스템, 이의 제어 방법, 대화형 서버 및 이의 제어 방법
US8849675B1 (en) 2013-12-18 2014-09-30 Google Inc. Suggested query constructor for voice actions
KR102210433B1 (ko) 2014-01-21 2021-02-01 삼성전자주식회사 전자 장치 및 이의 음성 인식 방법
EP2911149B1 (en) * 2014-02-19 2019-04-17 Nokia Technologies OY Determination of an operational directive based at least in part on a spatial audio property
WO2015128960A1 (ja) * 2014-02-26 2015-09-03 三菱電機株式会社 車載制御装置および車載制御方法
TW201543361A (zh) * 2014-05-07 2015-11-16 Giga Byte Tech Co Ltd 觸發開啟巨集的輸入系統
CN104049767A (zh) * 2014-05-19 2014-09-17 技嘉科技股份有限公司 触发开启宏的输入系统
CN105099744B (zh) * 2014-05-21 2020-01-07 中兴通讯股份有限公司 一种uss系统中人机命令识别方法及装置
CN106463110A (zh) * 2014-06-03 2017-02-22 索尼公司 信息处理设备、信息处理方法和程序
CN105204749A (zh) * 2014-06-18 2015-12-30 腾讯科技（深圳）有限公司 一种应用的操控方法及终端设备
CN116243841A (zh) 2014-06-27 2023-06-09 苹果公司 尺寸减小的用户界面
TWI647608B (zh) 2014-07-21 2019-01-11 美商蘋果公司 遠端使用者介面
WO2016017978A1 (en) 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
WO2016022204A1 (en) 2014-08-02 2016-02-11 Apple Inc. Context-specific user interfaces
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
WO2016036522A2 (en) * 2014-09-02 2016-03-10 Apple Inc. User interface for receiving user input
US10254948B2 (en) 2014-09-02 2019-04-09 Apple Inc. Reduced-size user interfaces for dynamically updated application overviews
CN115665320B (zh) 2014-09-02 2024-10-11 苹果公司 电子设备、存储介质和用于操作电子设备的方法
KR101623856B1 (ko) * 2014-10-17 2016-05-24 현대자동차주식회사 에이브이엔 장치, 차량, 및 에이브이엔 장치의 제어방법
KR20160056548A (ko) 2014-11-12 2016-05-20 삼성전자주식회사 질의 응답을 위한 디스플레이 장치 및 방법
KR102272079B1 (ko) * 2014-11-18 2021-07-02 현대모비스 주식회사 패턴을 이용한 ａｖｎ 시스템 제어 장치 및 방법
CN105786356B (zh) * 2014-12-23 2019-08-09 阿里巴巴集团控股有限公司 一种应用的操作方法及装置
JP2016122980A (ja) * 2014-12-25 2016-07-07 京セラ株式会社 タッチスクリーン付情報処理端末、情報処理方法および情報処理プログラム
US10055121B2 (en) 2015-03-07 2018-08-21 Apple Inc. Activity based thresholds and feedbacks
US10504509B2 (en) 2015-05-27 2019-12-10 Google Llc Providing suggested voice-based action queries
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
CN105183411A (zh) * 2015-08-14 2015-12-23 何蓓 一种用于电子地图设备上的语音识别led显示屏
CN105895093A (zh) * 2015-11-02 2016-08-24 乐视致新电子科技（天津）有限公司 语音信息处理方法及装置
US10453460B1 (en) * 2016-02-02 2019-10-22 Amazon Technologies, Inc. Post-speech recognition request surplus detection and prevention
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US10142754B2 (en) 2016-02-22 2018-11-27 Sonos, Inc. Sensor on moving component of transducer
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10097919B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
DE102016212681A1 (de) * 2016-07-12 2018-01-18 Audi Ag Steuervorrichtung und Verfahren zum sprachbasierten Betreiben eines Kraftfahrzeugs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9996164B2 (en) 2016-09-22 2018-06-12 Qualcomm Incorporated Systems and methods for recording custom gesture commands
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10531227B2 (en) 2016-10-19 2020-01-07 Google Llc Time-delimited action suggestion system
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
CN106601254B (zh) 2016-12-08 2020-11-06 阿里巴巴（中国）有限公司 信息输入方法和装置及计算设备
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
CN106780902A (zh) * 2016-12-27 2017-05-31 北京汽车研究总院有限公司 一种遥控钥匙、汽车及使用遥控钥匙控制汽车的方法
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
CN106910503A (zh) * 2017-04-26 2017-06-30 海信集团有限公司 用于智能终端显示用户操控指令的方法、装置和智能终端
US10258295B2 (en) * 2017-05-09 2019-04-16 LifePod Solutions, Inc. Voice controlled assistance for monitoring adverse events of a user and/or coordinating emergency actions such as caregiver communication
CN107507614B (zh) * 2017-07-28 2018-12-21 北京小蓦机器人技术有限公司 结合ui执行自然语言命令的方法、设备、系统与存储介质
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
KR102389041B1 (ko) 2017-08-11 2022-04-21 엘지전자 주식회사 이동단말기 및 머신 러닝을 이용한 이동 단말기의 제어방법
CN107491683B (zh) * 2017-09-07 2020-07-07 Oppo广东移动通信有限公司 一种应用解密方法、装置、终端及计算机可读存储介质
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10748533B2 (en) * 2017-11-08 2020-08-18 Harman International Industries, Incorporated Proximity aware voice agent
CN107833574B (zh) * 2017-11-16 2021-08-24 百度在线网络技术（北京）有限公司 用于提供语音服务的方法和装置
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
KR102540001B1 (ko) * 2018-01-29 2023-06-05 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 화면 표시방법
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
CN108538291A (zh) * 2018-04-11 2018-09-14 百度在线网络技术（北京）有限公司 语音控制方法、终端设备、云端服务器及系统
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
JP7047592B2 (ja) * 2018-05-22 2022-04-05 コニカミノルタ株式会社 操作画面の表示装置、画像処理装置及びプログラム
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
JP7395513B2 (ja) * 2018-06-13 2023-12-11 リアルウェア，インコーポレーテッド バイナリアプリケーションのユーザインターフェースのカスタマイズ
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
CN109203941A (zh) * 2018-08-06 2019-01-15 芜湖莫森泰克汽车科技股份有限公司 一种具有语音控制功能的天窗控制系统及其控制方法
US11348588B2 (en) 2018-08-20 2022-05-31 Samsung Electronics Co., Ltd. Electronic device and operation method for performing speech recognition
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
CN109218526B (zh) * 2018-08-30 2020-09-25 维沃移动通信有限公司 一种语音处理方法及移动终端
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
CN109215650A (zh) * 2018-09-17 2019-01-15 珠海格力电器股份有限公司 一种基于终端界面识别的语音控制方法、系统及智能终端
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
JP7202853B2 (ja) * 2018-11-08 2023-01-12 シャープ株式会社 冷蔵庫
US10908883B2 (en) * 2018-11-13 2021-02-02 Adobe Inc. Voice interaction development tool
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US10847156B2 (en) 2018-11-28 2020-11-24 Adobe Inc. Assembled voice interaction
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
KR20210110650A (ko) 2018-12-28 2021-09-08 구글 엘엘씨 선택된 제안에 따라 자동 어시스턴트에 음성 입력 보충하기
US11017771B2 (en) 2019-01-18 2021-05-25 Adobe Inc. Voice command matching during testing of voice-assisted application prototypes for languages with non-phonetic alphabets
US10964322B2 (en) 2019-01-23 2021-03-30 Adobe Inc. Voice interaction tool for voice-assisted application prototypes
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
JP6792654B2 (ja) * 2019-02-15 2020-11-25 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、情報処理方法およびプログラム
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
JP2020187249A (ja) * 2019-05-14 2020-11-19 株式会社東海理化電機製作所 制御装置、制御システム及び制御プログラム
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
CN110428832A (zh) * 2019-07-26 2019-11-08 苏州蜗牛数字科技股份有限公司 一种自定义语音实现屏幕控制的方法
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
CN112788422A (zh) * 2019-11-04 2021-05-11 海信视像科技股份有限公司 显示设备
CN110827792B (zh) * 2019-11-15 2022-06-03 广州视源电子科技股份有限公司 语音播报方法及装置
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
KR20220143704A (ko) 2020-02-17 2022-10-25 티케이＆에이치 홀딩 에이에스 안경테에 통합 가능한 보청기 시스템
AU2021222310A1 (en) 2020-02-17 2022-09-29 TK&H Holding AS A gesture detection system
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
JP2022045262A (ja) * 2020-09-08 2022-03-18 シャープ株式会社 音声処理システム、音声処理方法、及び音声処理プログラム
JP7152043B2 (ja) * 2020-09-08 2022-10-12 株式会社ユピテル 装置及びプログラム
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
CN112511877B (zh) * 2020-12-07 2021-08-27 四川长虹电器股份有限公司 一种智能电视语音连续对话及交互的方法
JP2022096305A (ja) * 2020-12-17 2022-06-29 キヤノン株式会社 情報処理システム、画像処理装置、情報処理システムの制御方法、及びプログラム
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US20220415321A1 (en) * 2021-06-25 2022-12-29 Samsung Electronics Co., Ltd. Electronic device mounted in vehicle, and method of operating the same
KR20240040168A (ko) 2022-09-20 2024-03-28 인하대학교 산학협력단 주사용자를 연속적이고 꾸준하게 인식하는 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5890122A (en) * 1993-02-08 1999-03-30 Microsoft Corporation Voice-controlled computer simulateously displaying application menu and list of available commands
KR20100116462A (ko) * 2009-04-22 2010-11-01 삼성전자주식회사 휴대 단말기의 입력 처리 장치 및 방법
JP2011511935A (ja) * 2008-01-14 2011-04-14 ガーミン スウィッツァランド ゲーエムベーハー 自動音声認識用の動的なユーザーインターフェース

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5386564A (en) * 1993-02-24 1995-01-31 Hewlett-Packard Company Conversion of data and objects across classes in an object management system
US5874939A (en) * 1996-12-10 1999-02-23 Motorola, Inc. Keyboard apparatus and method with voice recognition
US5884265A (en) * 1997-03-27 1999-03-16 International Business Machines Corporation Method and system for selective display of voice activated commands dialog box
FR2783625B1 (fr) * 1998-09-21 2000-10-13 Thomson Multimedia Sa Systeme comprenant un appareil telecommande et un dispositif de telecommande vocale de l'appareil
US8275617B1 (en) * 1998-12-17 2012-09-25 Nuance Communications, Inc. Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands
US6424357B1 (en) * 1999-03-05 2002-07-23 Touch Controls, Inc. Voice input system and method of using same
DE10028869A1 (de) 1999-07-06 2001-01-11 Volkswagen Ag Verfahren und Vorrichtung zur Unterstützung der Befehls- und Dateneingabe in Kraftfahrzeugen
US6499015B2 (en) * 1999-08-12 2002-12-24 International Business Machines Corporation Voice interaction method for a computer graphical user interface
US20020055844A1 (en) 2000-02-25 2002-05-09 L'esperance Lauren Speech user interface for portable personal devices
KR20010015934A (ko) 2000-03-11 2001-03-05 김하철 음성인식을 이용한 응용프로그램의 메뉴 실행방법
US7085722B2 (en) 2001-05-14 2006-08-01 Sony Computer Entertainment America Inc. System and method for menu-driven voice control of characters in a game environment
KR100457509B1 (ko) 2001-07-07 2004-11-17 삼성전자주식회사 터치스크린과 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법
CN1245299C (zh) * 2001-09-25 2006-03-15 公信电子股份有限公司 单键控制语音指令的声控方法及其装置
US20040119754A1 (en) 2002-12-19 2004-06-24 Srinivas Bangalore Context-sensitive interface widgets for multi-modal dialog systems
US7461352B2 (en) * 2003-02-10 2008-12-02 Ronald Mark Katsuranis Voice activated system and methods to enable a computer user working in a first graphical application window to display and control on-screen help, internet, and other information content in a second graphical application window
US7512949B2 (en) * 2003-09-03 2009-03-31 International Business Machines Corporation Status hub used by autonomic application servers
US20050114140A1 (en) * 2003-11-26 2005-05-26 Brackett Charles C. Method and apparatus for contextual voice cues
US7366535B2 (en) * 2004-04-21 2008-04-29 Nokia Corporation Push-to-talk mobile communication terminals
KR20060030665A (ko) * 2004-10-06 2006-04-11 삼성전자주식회사 이동통신 단말기를 이용한 긴급상황 알림 장치 및 방법
US20070055520A1 (en) * 2005-08-31 2007-03-08 Microsoft Corporation Incorporation of speech engine training into interactive user tutorial
US7899673B2 (en) * 2006-08-09 2011-03-01 Microsoft Corporation Automatic pruning of grammars in a multi-application speech recognition interface
US8099287B2 (en) * 2006-12-05 2012-01-17 Nuance Communications, Inc. Automatically providing a user with substitutes for potentially ambiguous user-defined speech commands
JP2009139544A (ja) * 2007-12-05 2009-06-25 Denso Corp 入力装置
US8958848B2 (en) 2008-04-08 2015-02-17 Lg Electronics Inc. Mobile terminal and menu control method thereof
CN101648077A (zh) * 2008-08-11 2010-02-17 巍世科技有限公司 语音指令游戏控制装置及其方法
CN101807398B (zh) * 2009-02-16 2011-12-21 宏正自动科技股份有限公司 语音识别装置及其操作方法
US10540976B2 (en) * 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
KR101048321B1 (ko) * 2009-10-08 2011-07-12 가톨릭대학교 산학협력단 음성인식 통합 리모컨 및 그 동작 방법
KR101295711B1 (ko) * 2011-02-15 2013-08-16 주식회사 팬택 음성 인식으로 애플리케이션의 실행 가능한 이동통신 단말 장치 및 방법
KR101992676B1 (ko) * 2012-07-26 2019-06-25 삼성전자주식회사 영상 인식을 이용하여 음성 인식을 하는 방법 및 장치
EP2717121B1 (en) * 2012-08-31 2020-04-15 Samsung Electronics Co., Ltd Method and apparatus for providing intelligent service using inputted character in a user device
US8543397B1 (en) * 2012-10-11 2013-09-24 Google Inc. Mobile device voice activation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5890122A (en) * 1993-02-08 1999-03-30 Microsoft Corporation Voice-controlled computer simulateously displaying application menu and list of available commands
JP2011511935A (ja) * 2008-01-14 2011-04-14 ガーミン スウィッツァランド ゲーエムベーハー 自動音声認識用の動的なユーザーインターフェース
KR20100116462A (ko) * 2009-04-22 2010-11-01 삼성전자주식회사 휴대 단말기의 입력 처리 장치 및 방법

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019427B2 (en) 2014-09-01 2021-05-25 Samsung Electronics Co., Ltd. Electronic device including a microphone array
KR20160026585A (ko) * 2014-09-01 2016-03-09 삼성전자주식회사 복수의 마이크를 포함하는 전자 장치 및 이의 운용 방법
US11871188B2 (en) 2014-09-01 2024-01-09 Samsung Electronics Co., Ltd. Electronic device including a microphone array
KR20160039407A (ko) * 2014-10-01 2016-04-11 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10162898B2 (en) 2014-12-03 2018-12-25 Samsung Electronics Co., Ltd. Method and apparatus for searching
WO2017146482A1 (ko) * 2016-02-25 2017-08-31 삼성전자 주식회사 음성 인식 제어를 제공하는 전자 장치 및 그 동작 방법
US11838445B2 (en) 2016-02-25 2023-12-05 Samsung Electronics Co., Ltd. Electronic apparatus for providing voice recognition control and operating method therefor
US11218592B2 (en) 2016-02-25 2022-01-04 Samsung Electronics Co., Ltd. Electronic apparatus for providing voice recognition control and operating method therefor
US10542144B2 (en) 2016-02-25 2020-01-21 Samsung Electronics Co., Ltd. Electronic apparatus for providing voice recognition control and operating method therefor
WO2018080162A1 (ko) * 2016-10-27 2018-05-03 삼성전자 주식회사 음성 명령에 기초하여 애플리케이션을 실행하는 방법 및 장치
US10978068B2 (en) 2016-10-27 2021-04-13 Samsung Electronics Co., Ltd. Method and apparatus for executing application on basis of voice commands
KR20180109631A (ko) * 2017-03-27 2018-10-08 삼성전자주식회사 전자 장치 및 전자 장치의 기능 실행 방법
US11582337B2 (en) 2017-03-27 2023-02-14 Samsung Electronics Co., Ltd. Electronic device and method of executing function of electronic device
US11355110B2 (en) 2017-11-06 2022-06-07 Samsung Electronics Co., Ltd Electronic device and method of performing functions of electronic devices by voice therebetween
KR20190051368A (ko) * 2017-11-06 2019-05-15 삼성전자주식회사 전자 장치 및 전자 장치 간 음성으로 기능을 실행하는 방법
KR20190058172A (ko) * 2017-11-21 2019-05-29 엘지전자 주식회사 인공지능 세탁기 및 그 제어 방법
KR102038147B1 (ko) * 2018-11-27 2019-10-29 이정오 음성인식 앱/위젯 관리를 수행하는 휴대 단말기 및 앱/위젯 관리 방법

Also Published As

Publication number Publication date
CN103208283A (zh) 2013-07-17
WO2013105826A1 (en) 2013-07-18
EP2615607A2 (en) 2013-07-17
US20130179173A1 (en) 2013-07-11
AU2013200153B2 (en) 2015-09-17
EP3288024A1 (en) 2018-02-28
EP2615607A3 (en) 2014-01-22
JP2013143151A (ja) 2013-07-22
EP3288024B1 (en) 2020-01-08
CN103208283B (zh) 2019-01-15
KR102022318B1 (ko) 2019-09-18
US10347246B2 (en) 2019-07-09
AU2013200153A1 (en) 2013-08-01
EP2615607B1 (en) 2017-10-18

Similar Documents

Publication Publication Date Title
KR102022318B1 (ko) 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
EP3241213B1 (en) Discovering capabilities of third-party voice-enabled resources
AU2016211903B2 (en) Updating language understanding classifier models for a digital personal assistant based on crowd-sourcing
CA2970725C (en) Headless task completion within digital personal assistants
KR101703911B1 (ko) 인식된 음성 개시 액션에 대한 시각적 확인
KR101992676B1 (ko) 영상 인식을 이용하여 음성 인식을 하는 방법 및 장치
US8060841B2 (en) Method and device for touchless media searching
KR101587625B1 (ko) 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
TWI703492B (zh) 控制使用者介面之方法、程式及裝置
AU2015271922B2 (en) Method and apparatus for executing a user function using voice recognition
EP2806364B1 (en) Method and apparatus for managing audio data in electronic device
KR101702760B1 (ko) 가상 키보드 음성입력 장치 및 방법
JP6099414B2 (ja) 情報提供装置、及び、情報提供方法
JP2018063706A (ja) 情報処理方法、プログラム及び情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant