KR20220111574A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20220111574A
KR20220111574A KR1020210014988A KR20210014988A KR20220111574A KR 20220111574 A KR20220111574 A KR 20220111574A KR 1020210014988 A KR1020210014988 A KR 1020210014988A KR 20210014988 A KR20210014988 A KR 20210014988A KR 20220111574 A KR20220111574 A KR 20220111574A
Authority
KR
South Korea
Prior art keywords
information
electronic device
threshold value
event
preset event
Prior art date
Application number
KR1020210014988A
Other languages
English (en)
Inventor
양희정
임형준
노재영
송예슬
진호준
한주범
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210014988A priority Critical patent/KR20220111574A/ko
Priority to US17/424,412 priority patent/US11929081B2/en
Priority to PCT/KR2021/007819 priority patent/WO2022169039A1/ko
Publication of KR20220111574A publication Critical patent/KR20220111574A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3278—Power saving in modem or I/O interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 마이크, 웨이크업 워드(wakeup word)가 저장된 메모리 및 전자 장치의 컨텍스트 정보에 기초하여 기 설정된 이벤트가 발생된 것으로 식별되면, 웨이크업 워드를 인식하기 위한 제1 임계값을 변경하고, 마이크를 통해 제1 사용자 음성이 수신되면, 제1 사용자 음성에 대응되는 제1 텍스트 정보 및 웨이크업 워드 간 유사도값을 획득하고, 획득된 유사도값이 변경된 제1 임계값 이상이면, 제1 사용자 음성 이후에 마이크를 통해 수신되는 제2 사용자 음성에 대응되는 제2 텍스트 정보에 대한 음성 인식을 수행하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법{ELECTRONIC APPARATUS AND CONTROLLING METHOD THEREOF}
본 개시는 전자 장치 및 그 제어방법에 관한 것으로, 더욱 상세하게는 웨이크업 워드를 인식하여 음성 인식 기능을 수행하는 전자 장치 및 그 제어방법에 대한 것이다.
음성 인식 기능을 수행하기 위하여 웨이크업 워드를 발화하는 동작이 필요할 수 있다. 웨이크업 워드가 인식되면, 전자 장치는 후속 대화에 대하여 음성 인식 동작을 수행할 수 있다.
예를 들어, “hi bixby”가 웨이크업 워드인 것으로 가정한다. “hi bixby, 음악을 틀어줘”라는 사용자 음성이 수신되면, 전자 장치는 “hi bixby” 부분을 웨이크업 워드로 판단하고, “음악 틀어줘”에 대응되는 음성 인식 기능을 수행할 수 있다.
한편, 웨이크업 워드가 인식되는 상황에서 사용자의 의도를 판단하는데 어려움이 있을 수 있다. 구체적으로, 사용자가 직접 웨이크업 워드를 발화하지 않았거나, 전자 장치의 음성 인식 기능을 이용하기 위하여 웨이크업 워드를 발화하지 않는 상황이 있을 수 있다.
한편, 음성 인식 기능이 활성화되지 않아야 하는 상황이 있을 수 있다. 예를 들어, 다수의 사람들과 함께 영화를 시청중이거나 회의를 진행중인 상황에서는 사용자가 음성 인식 기능을 원하지 않을 수 있다. 영화관 등에서 영화 속 등장 인물이 웨이크업 워드를 발화하는 상황이 발생화거나 회의 중 의도치 않게 웨이크업 워드가 발화되는 상황에서 전자 장치는 웨이크업 워드를 인식해버리는 문제점이 있을 수 있다.
만약, 특정한 상황에서 음성 인식 기능을 비활성화하도록 설정하는 것은 사용자 입장에서 불편한 동작일 수 있다. 또한, 특정한 상황에서 바로 음성 인식 기능을 자동으로 비활성화한다면, 특정한 상황에서도 예외적으로 음성 인식 기능을 이용하지 못한다는 문제점이 있다. 예외적으로, 회의 중에 웨이크업 워드를 발화하여 음성 인식 기능을 활성화 하려고 하는 상황에서는 사용자가 다시 수동으로 설정을 변경해야 하는 번거로움이 있다.
본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 수집된 컨텍스트 정보에 기초하여 웨이크업 워드가 인식되는데 필요한 기준값을 변경하여 웨이크업 워드 인식 정확도를 변경하는 전자 장치 및 그의 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 실시 예에 따른 전자 장치는 마이크, 웨이크업 워드(wakeup word)가 저장된 메모리 및 상기 전자 장치의 컨텍스트 정보에 기초하여 기 설정된 이벤트가 발생된 것으로 식별되면, 상기 웨이크업 워드를 인식하기 위한 제1 임계값을 변경하고, 상기 마이크를 통해 제1 사용자 음성이 수신되면, 상기 제1 사용자 음성에 대응되는 제1 텍스트 정보 및 상기 웨이크업 워드 간 유사도값을 획득하고, 상기 획득된 유사도값이 상기 변경된 제1 임계값 이상이면, 상기 제1 사용자 음성 이후에 상기 마이크를 통해 수신되는 제2 사용자 음성에 대응되는 제2 텍스트 정보에 대한 음성 인식을 수행하는 프로세서를 포함한다.
한편, 상기 컨텍스트 정보는 일정 정보, 앱 실행 정보, 시간 정보, 위치 정보, 속도 정보, 가속도 정보, 오디오 정보 또는 모션 정보 중 적어도 하나를 포함할 수 있다.
한편, 상기 프로세서는 상기 시간 정보가 기 설정된 이벤트에 대응되는 시간 정보와 일치하면, 상기 기 설정된 이벤트가 발생된 것으로 식별할 수 있고, 상기 위치 정보가 상기 기 설정된 이벤트에 대응되는 위치 정보와 일치하면, 상기 기 설정된 이벤트가 발생된 것으로 식별할 수 있다.
한편, 상기 프로세서는 상기 일정 정보에 기 설정된 이벤트 키워드가 포함되면, 상기 일정 정보를 상기 기 설정된 이벤트로 저장할 수 있고, 상기 시간 정보가 상기 일정 정보에 대응되는 시간 정보와 일치하면, 상기 기 설정된 이벤트가 발생된 것으로 식별할 수 있다.
한편, 상기 프로세서는 상기 오디오 정보에 기초하여 음성을 발화하는 화자의 수를 식별할 수 있고, 식별된 화자의 수가 제2 임계값 이상이면, 상기 기 설정된 이벤트가 발생된 것으로 식별할 수 있다.
한편, 상기 제1 임계값은 상기 웨이크업 워드가 인식되었는지 여부를 결정하기 위해 이용되는 값일 수 있다.
한편, 전자 장치는 센서, 카메라 및 통신 인터페이스를 더 포함할 수 있고, 상기 프로세서는 상기 센서를 통해 획득된 센싱 데이터에 기초하여 상기 속도 정보 또는 상기 가속도 정보 중 적어도 하나를 획득할 수 있고, 상기 마이크를 통해 획득된 사용자 음성에 기초하여 상기 오디오 정보를 획득할 수 있고, 상기 카메라를 통해 획득된 이미지에 기초하여 상기 모션 정보를 획득할 수 있고,
상기 통신 인터페이스를 통해 외부 서버로부터 상기 시간 정보 또는 상기 위치 정보를 수신할 수 있다.
한편, 전자 장치는 디스플레이를 더 포함할 수 있고, 상기 프로세서는 상기 컨텍스트 정보에 기초하여 상기 기 설정된 이벤트가 발생 된 것으로 식별되면, 상기 제1 임계값을 변경하기 위한 UI(User Interface)를 표시하도록 상기 디스플레이를 제어할 수 있고, 상기 표시된 UI를 통해 상기 제1 임계값을 변경하는 사용자 입력이 수신되면, 상기 사용자 입력에 기초하여 상기 제1 임계값을 변경할 수 있다.
한편, 상기 프로세서는 상기 표시된 UI를 통해 상기 제1 임계값을 유지하는 사용자 입력이 수신되면, 상기 기 설정된 이벤트를 삭제할 수 있다.
한편, 상기 프로세서는 상기 컨텍스트 정보에 기초하여 상기 기 설정된 이벤트에 대응되는 이벤트 신뢰도값을 획득할 수 있고, 상기 획득된 이벤트 신뢰도값이 제3 임계값 이상이면, 상기 제1 임계값을 변경할 수 있다.
본 개시의 일 실시 예에 따른 웨이크업 워드(wakeup word)를 저장하는 전자 장치의 제어 방법은 상기 전자 장치의 컨텍스트 정보에 기초하여 기 설정된 이벤트가 발생된 것으로 식별되면, 상기 웨이크업 워드를 인식하기 위한 제1 임계값을 변경하는 단계, 제1 사용자 음성이 수신되면, 상기 제1 사용자 음성에 대응되는 제1 텍스트 정보 및 상기 웨이크업 워드 간 유사도값을 획득하는 단계 및 상기 획득된 유사도값이 상기 변경된 제1 임계값 이상이면, 상기 제1 사용자 음성 이후에 수신되는 제2 사용자 음성에 대응되는 제2 텍스트 정보에 대한 음성 인식을 수행하는 단계를 포함한다.
한편, 상기 컨텍스트 정보는 일정 정보, 앱 실행 정보, 시간 정보, 위치 정보, 속도 정보, 가속도 정보, 오디오 정보 또는 모션 정보 중 적어도 하나를 포함할 수 있다.
한편, 상기 제1 임계값을 변경하는 단계는 상기 시간 정보가 기 설정된 이벤트에 대응되는 시간 정보와 일치하면, 상기 기 설정된 이벤트가 발생된 것으로 식별할 수 있고, 상기 위치 정보가 상기 기 설정된 이벤트에 대응되는 위치 정보와 일치하면, 상기 기 설정된 이벤트가 발생된 것으로 식별할 수 있다.
한편, 제어 방법은 상기 일정 정보에 기 설정된 이벤트 키워드가 포함되면, 상기 일정 정보를 상기 기 설정된 이벤트로 저장하는 단계를 더 포함할 수 있고, 상기 제1 임계값을 변경하는 단계는 상기 시간 정보가 상기 일정 정보에 대응되는 시간 정보와 일치하면, 상기 기 설정된 이벤트가 발생된 것으로 식별할 수 있다.
한편, 상기 제1 임계값을 변경하는 단계는 상기 오디오 정보에 기초하여 음성을 발화하는 화자의 수를 식별할 수 있고, 식별된 화자의 수가 제2 임계값 이상이면, 상기 기 설정된 이벤트가 발생된 것으로 식별할 수 있다.
한편, 상기 제1 임계값은 상기 웨이크업 워드가 인식되었는지 여부를 결정하기 위해 이용되는 값일 수 있다.
한편, 제어 방법은 상기 전자 장치의 센서를 통해 획득된 센싱 데이터에 기초하여 상기 속도 정보 또는 상기 가속도 정보 중 적어도 하나를 획득하는 단계, 상기 전자 장치의 마이크를 통해 획득된 사용자 음성에 기초하여 상기 오디오 정보를 획득하는 단계, 상기 전자 장치의 카메라를 통해 획득된 이미지에 기초하여 상기 모션 정보를 획득하는 단계 및 상기 전자 장치의 통신 인터페이스를 통해 외부 서버로부터 상기 시간 정보 또는 상기 위치 정보를 수신하는 단계를 더 포함할 수 있다.
한편, 제어 방법은 상기 컨텍스트 정보에 기초하여 상기 기 설정된 이벤트가 발생 된 것으로 식별되면, 상기 제1 임계값을 변경하기 위한 UI(User Interface)를 표시하는 단계를 더 포함할 수 있고, 상기 제1 임계값을 변경하는 단계는 상기 표시된 UI를 통해 상기 제1 임계값을 변경하는 사용자 입력이 수신되면, 상기 사용자 입력에 기초하여 상기 제1 임계값을 변경할 수 있다.
한편, 제어 방법은 상기 표시된 UI를 통해 상기 제1 임계값을 유지하는 사용자 입력이 수신되면, 상기 기 설정된 이벤트를 삭제하는 단계를 더 포함할 수 있다.
한편, 상기 제1 임계값을 변경하는 단계는 상기 컨텍스트 정보에 기초하여 상기 기 설정된 이벤트에 대응되는 이벤트 신뢰도값을 획득할 수 있고, 상기 획득된 이벤트 신뢰도값이 제3 임계값 이상이면, 상기 제1 임계값을 변경할 수 있다.
도 1은 전자 장치가 웨이크업 워드를 인식하는 상황을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치를 도시한 블록도이다.
도 3은 도 2의 전자 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 4는 본 개시의 다양한 실시 예에 따른 전자 장치에서 수집되는 컨텍스트 정보와 관련된 동작을 설명하기 위한 도면이다.
도 5는 전자 장치가 웨이크업 워드를 인식하고 음성 인식 기능을 활성화하는 동작을 설명하기 위한 흐름도이다.
도 6은 전자 장치가 기 설정된 이벤트를 식별하는 동작을 설명하기 위한 흐름도이다.
도 7은 전자 장치가 일 실시 예에 따른 기 설정된 이벤트를 식별하는 동작을 설명하기 위한 흐름도이다.
도 8은 전자 장치가 다른 실시 예에 따른 기 설정된 이벤트를 식별하는 동작을 설명하기 위한 흐름도이다.
도 9는 전자 장치가 웨이크업 워드를 변경하기 위한 UI를 표시하는 동작을 설명하기 위한 흐름도이다.
도 10은 웨이크업 워드의 임계값을 변경하기 위한 UI를 설명하기 위한 도면이다.
도 11은 일 실시 예에 따른 전자 장치가 웨이크업 워드를 인식하는 동작 및 음성 인식을 수행하는 동작을 설명하기 위한 흐름도이다.
도 12는 전자 장치가 기 설정된 이벤트를 식별하는 과정을 설명하기 위한 도면이다.
도 13은 전자 장치가 이벤트 임계값(제3 임계값)을 변경하는 동작을 설명하기 위한 도면이다.
도 14는 이벤트 정보를 설명하기 위한 도면이다.
도 15는 본 개시의 다양한 실시 예에 따른 컨텍스트에서 제1 임계값의 변경 결과를 설명하기 위한 도면이다.
도 16은 전자 장치가 일정 정보에 기초하여 기 설정된 이벤트를 저장하는 동작을 설명하기 위한 흐름도이다.
도 17은 전자 장치가 복수의 일정 중 일부 일정을 기 설정된 이벤트로 저장하는 동작을 설명하기 위한 도면이다.
도 18은 일 실시 예에 따른 인공 신경망 모델을 학습하는 동작을 설명하기 위한 도면이다.
도 19는 다른 실시 예에 따른 인공 신경망 모델을 학습하는 동작을 설명하기 위한 도면이다.
도 20은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 전자 장치가 웨이크업 워드를 인식하는 상황을 설명하기 위한 도면이다.
도 1을 참조하면, 전자 장치(100)의 웨이크업 워드는 “hi, bixby”일 수 있다. 여기서, 동일 회사에서 생산된 복수의 전자 장치들은 웨이크업 워드가 동일할 수 있다. 따라서, 복수의 전자 장치들의 웨이크업 워드가 “hi, bixby”일 수 있다.
여기서, 웨이크업 워드가 “hi, bixby”인 전자 장치(100)의 사용자가 영화관에서 영화를 시청 중일 수 있다. 영화 속 대사에서 “hi, bixby”란 음성이 나오는 경우, 전자 장치(100)가 이를 웨이크업 워드로 인식할 수 있다.
따라서, 전자 장치(100)의 사용자가 의도하지 않았음에도 불구하고, 영화 속 대사를 웨이크업 워드로 인식하는 문제점이 있을 수 있다.
특히, 전자 장치(100)는 웨이크업 워드가 인식되면, 별도의 응답을 스피커를 통해 출력할 수 있다. 예를 들어, 전자 장치(100)는 웨이크업 워드가 인식되면, “네”라는 오디오 데이터를 출력할 수 있다. 상술한 예시에서, 영화관에서 사용자가 의도하지 않았음에도 영화 속 대사에 기초하여 전자 장치(100)가 “네”라는 오디오 데이터를 출력할 수 있다. 따라서, 영화관에 있는 다른 사람들에게 불편을 끼칠 수 있는 문제점이 있다.
한편, 구현 예에 따라, 웨이크업 워드는 사용자의 설정 또는 전자 장치 제조회사에 따라 변경될 수 있다. 따라서, 영화관에 존재하는 모든 전자 장치들이 영화 속 음성에 반응하지 않을 수 있다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치를 도시한 블록도이다.
도 2를 참조하면, 전자 장치(100) 는 마이크(110), 메모리(120) 및 프로세서(130)로 구성될 수 있다.
본 명세서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 데스크탑 PC, 랩탑 PC, PDA, PMP(portable multimedia player) 중 적어도 하나를 포함할 수 있다. 어떤 실시 예들에서, 전자 장치(100)는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM)중 적어도 하나를 포함할 수 있다.
마이크(110)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크(110)는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체형으로 형성될 수 있다. 마이크(110)는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
메모리(120)는 프로세서(130)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(130)와 별도의 메모리로 구현될 수도 있다. 이 경우, 메모리(120)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다.
한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결 가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
프로세서(130)는 전자 장치(100)의 전반적인 제어 동작을 수행할 수 있다. 구체적으로, 프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어하는 기능을 한다.
프로세서(130)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 또한, 프로세서(130)는 메모리(120)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
전자 장치(100)는 마이크(110) 및 웨이크업 워드(wakeup word)가 저장된 메모리(120)를 포함할 수 있다.
여기서, 웨이크업 워드는 음성 인식 기능을 수행하기 위한 전제로서 인식되어야 할 단어를 의미할 수 있다. 예를 들어, ‘음악 틀어줘’를 발화하여 음악을 듣고자 하는 사용자는 웨이크업 워드(예를 들어, ‘hi, bixby’)를 발화한 후 ‘음악 틀어줘’를 발화하여야 한다.
한편, 프로세서(130)는 전자 장치의 컨텍스트 정보에 기초하여 기 설정된 이벤트가 발생된 것으로 식별되면, 웨이크업 워드를 인식하기 위한 제1 임계값(웨이크업 워드 임계값)을 변경할 수 있고, 마이크(110)를 통해 제1 사용자 음성이 수신되면, 제1 사용자 음성에 대응되는 제1 텍스트 정보 및 웨이크업 워드 간 유사도값을 획득할 수 있고, 획득된 유사도값이 변경된 제1 임계값(웨이크업 워드 임계값) 이상이면, 제1 사용자 음성 이후에 마이크(110)를 통해 수신되는 제2 사용자 음성에 대응되는 제2 텍스트 정보에 대한 음성 인식을 수행할 수 있다.
여기서, 프로세서(130)는 컨텍스트 정보를 획득할 수 있다. 여기서, 컨텍스트는 전자 장치(100) 또는 전자 장치(100)의 사용자에 대응되는 상황을 의미할 수 있다. 예를 들어, 컨텍스트는 영화 시청중, 회의 중, 운동 중, 취침 중 등을 의미할 수 있다. 여기서, 컨텍스트 정보는 컨텍스트를 판단하는데 이용되는 다양한 정보를 의미할 수 있다.
여기서, 컨텍스트 정보는 일정 정보, 앱 실행 정보, 시간 정보, 위치 정보, 속도 정보, 가속도 정보, 오디오 정보 또는 모션 정보 중 적어도 하나를 포함할 수 있다. 컨텍스트 정보와 관련된 구체적인 설명은 도 4에서 후술한다.
여기서, 프로세서(130)는 획득된 컨텍스트 정보에 기초하여 기 설정된 이벤트가 발생했는지 여부를 식별할 수 있다. 여기서, 기 설정된 이벤트가 발생한 것으로 식별되면, 프로세서(130)는 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다. 여기서, 웨이크업 워드 임계값(제1 임계값)은 웨이크업 워드가 인식되었는지 여부를 결정하기 위해 이용되는 값을 의미할 수 있다.
여기서, 프로세서(130)는 전자 장치(100)이 변경된 이후, 마이크(110)를 통해 제1 사용자 음성을 수신할 수 있다. 여기서, 프로세서(130)는 오디오-텍스트 변환 기술에 기초하여 제1 사용자 음성에 대응 대응되는 제1 텍스트 정보를 획득할 수 있다.
여기서, 제1 사용자 음성은 전자 장치(100)에 포함된 특정 버튼을 누르거나 디스플레이(140)에 표시되는 특정 UI를 터치하는 동작이 이루어지는 상태에서 수신되는 사용자 음성을 의미할 수 있다. 특정 버튼을 누르거나 특정 UI를 터치하는 등의 예비 동작에서만 사용자 음성이 웨이크업 워드인지 판단하는 실시 예에서 웨이크업 워드 임계값(제1 임계값)을 변경할지 여부를 결정하는 이유는, 예비 동작이 사용자의 의도가 아닐 수 있기 때문이다. 예를 들어, 영화 시청하는 사용자가 의도하지 않은 상태에서 예비 동작 및 음성이 수신되면 웨이크업 워드를 인식하는 상황에 대처할 수 있다.
여기서, 프로세서(130)는 획득된 제1 사용자 음성에 대응되는 제1 텍스트 정보와 웨이크업 워드 간 유사도값을 획득할 수 있다. 여기서, 유사도값은 제1 텍스트 정보가 웨이크업 워드와 얼마나 동일한지를 판단하기 위한 값을 의미할 수 있다. 여기서, 유사도값이 높을수록 사용자가 웨이크업 워드를 더 정확히 발화한 것으로 식별할 수 있다.
여기서, 프로세서(130)는 유사도값이 웨이크업 워드 임계값(제1 임계값) 이상인지 여부를 식별할 수 있다. 유사도값이 웨이크업 워드 임계값(제1 임계값) 미만이면, 사용자가 웨이크업 워드를 발화한 것이 아니라고 식별할 수 있다. 유사도값이 웨이크업 워드 임계값(제1 임계값) 이상이면, 사용자가 웨이크업 워드를 발화한 것으로 식별할 수 있다.
여기서, 제1 사용자 음성 이후 제2 사용자 음성이 마이크(110)를 통해 수신될 수 있다. 예를 들어, ‘hi, bixby, 음악 틀어줘’라는 사용자 음성이 수신되었다고 가정한다. 여기서, 제1 사용자 음성은 ‘hi, bixby’이고, 제2 사용자 음성은 ‘음악 틀어줘’일 수 있다.
여기서, 프로세서(130)는 웨이크업 워드 임계값(제1 임계값) 이상이면, 제2 사용자 음성에 대응되는 제2 텍스트 정보를 획득할 수 있다. 그리고, 프로세서(130)는 획득된 제2 텍스트 정보에 기초하여 음성 인식을 수행할 수 있다.
일 예로, 프로세서(130)는 자체적으로 저장된 음성 인식 모델을 이용하여 제2 텍스트 정보에 대한 음성 인식을 수행할 수 있다. 다른 예로, 프로세서(130)는 외부 음성 인식 서버를 이용하여 제2 텍스트 정보에 대한 음성 인식 결과를 획득할 수 있다. 여기서, 프로세서(130)는 제2 텍스트 정보를 외부 음성 인식 서버에 전송할 수 있으며, 외부 음성 인식 서버로부터 제2 텍스트 정보에 대응되는 음성 인식 결과를 수신할 수 있다.
한편, 프로세서(130)는 컨텍스트 정보에 포함된 시간 정보가 기 설정된 이벤트에 대응되는 시간 정보와 일치하면, 기 설정된 이벤트가 발생된 것으로 식별할 수 있고, 컨텍스트 정보에 포함된 위치 정보가 기 설정된 이벤트에 대응되는 위치 정보와 일치하면, 기 설정된 이벤트가 발생된 것으로 식별할 수 있다.
프로세서(130)는 외부 서버(예를 들어, 통신사 서버)를 통해 실시간으로 현재 시간 정보 또는 현재 위치 정보 중 적어도 하나의 정보를 수신할 수 있다. 따라서, 프로세서(130)는 현재 시간이 특정 시간(예를 들어, 영화 관람 시간, 회의 시간)과 일치하면, 기 설정된 이벤트가 발생한 것으로 식별할 수 있다. 또한, 프로세서(130)는 현재 위치가 특정 위치(영화관, 회사)와 일치하면, 기 설정된 이벤트가 발생한 것으로 식별할 수 있다.
일 예로, 프로세서(130)는 시간 정보만을 고려하여 기 설정된 이벤트의 발생 여부를 식별할 수 있다. 다른 예로, 프로세서(130)는 위치 정보만을 고려하여 기 설정된 이벤트의 발생 여부를 식별할 수 있다. 또 다른 예로, 프로세서(130)는 시간 정보 및 위치 정보를 모두 고려하여 기 설정된 이벤트 발생 여부를 식별할 수 있다.
한편, 프로세서(130)는 일정 정보에 기 설정된 이벤트 키워드가 포함되면, 일정 정보를 기 설정된 이벤트로 저장할 수 있고, 컨텍스트 정보에 포함된 시간 정보가 일정 정보에 대응되는 시간 정보와 일치하면, 기 설정된 이벤트가 발생된 것으로 식별할 수 있다.
여기서, 프로세서(130)는 일정 정보를 획득할 수 있다. 여기서, 프로세서(130)는 획득된 일정 정보에 기 설정된 이벤트 키워드가 포함되어 있는지 여부를 식별할 수 있다. 획득된 일정 정보에 기 설정된 이벤트 키워드가 포함되어 있으면, 프로세서(130)는 획득된 일정 정보에 기초하여 새로운 이벤트를 생성할 수 있다. 그리고, 프로세서(130)는 생성된 이벤트를 기 설정된 이벤트로서 메모리(120)에 저장할 수 있다.
여기서, 생성된 이벤트가 기 설정된 이벤트로서 저장된 이후, 해당 일정 정보에 포함된 시간이 도래하면, 프로세서(130)는 기 설정된 이벤트가 발생한 것으로 식별할 수 있다.
이와 관련된 구체적인 설명은 도 16 및 도 17에서 후술한다.
한편, 프로세서(130)는 오디오 정보에 기초하여 음성을 발화하는 화자의 수를 식별할 수 있고, 식별된 화자의 수가 제2 임계값 이상이면, 기 설정된 이벤트가 발생된 것으로 식별할 수 있다.
여기서, 프로세서(130)는 기 설정된 이벤트가 발생하였는지 여부에 기초하여 웨이크업 워드 임계값(제1 임계값)을 변경할지 여부를 결정할 수 있다. 여기서, 기 설정된 이벤트는 회의를 의미할 수 있다. 프로세서(130)는 사용자가 회의 중인 컨텍스트라고 식별되면, 웨이크업 워드 임계값(제1 임계값)을 상승시켜 웨이크업 워드가 쉽게 인식되지 않도록 제어할 수 있다.
여기서, 회의중인지 여부를 판단하기 위하여, 프로세서(130)는 오디오 정보를 분석할 수 있다. 구체적으로, 프로세서(130)는 오디오 정보에서 화자 수를 식별할 수 있다. 그리고, 식별된 화자수가 임계값(제2 임계값) 이상이면, 프로세서(130)는 현재 컨텍스트가 회의 중인 것으로 식별할 수 있다. 그리고, 프로세서(130)는 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다.
이와 관련된 구체적인 설명은 도 7에서 후술한다.
한편, 전자 장치(100)는 센서(180), 카메라(190) 및 통신 인터페이스(150)를 더 포함할 수 있으며, 상기 프로세서는 센서(180)를 통해 획득된 센싱 데이터에 기초하여 속도 정보 또는 가속도 정보 중 적어도 하나를 획득할 수 있고, 마이크(110)를 통해 획득된 사용자 음성에 기초하여 오디오 정보를 획득할 수 있고, 카메라(190)를 통해 획득된 이미지에 기초하여 모션 정보를 획득할 수 있고, 통신 인터페이스(150)를 통해 외부 서버로부터 시간 정보 또는 위치 정보를 수신할 수 있다.
여기서, 센서(180)는 하나의 센서로 구현될 수 있으며, 구현 예에 따라 복수의 센서로 구현될 수 있다. 예를 들어, 속도 센서 및 가속도 센서가 각각 전자 장치(100)에 구비될 수 있다.
한편, 전자 장치(100)는 디스플레이(140)를 더 포함할 수 있으며, 프로세서(130)는 컨텍스트 정보에 기초하여 기 설정된 이벤트가 발생 된 것으로 식별되면, 제1 임계값(웨이크업 워드 임계값)을 변경하기 위한 UI(User Interface)를 표시하도록 디스플레이(140)를 제어할 수 있다.
여기서, 프로세서(130)는 기 설정된 이벤트가 식별되었음에도 불구하고, 바로 웨이크업 워드 임계값(제1 임계값)을 변경하지 않을 수 있다. 사용자의 의도를 다시 한번 확인하기 위해서이다.
여기서, 프로세서(130)는 표시된 UI를 통해 선택된 사용자 입력에 기초하여 웨이크업 워드 임계값(제1 임계값)을 변경할지 여부를 결정할 수 있다. 여기서, 사용자 입력은 웨이크업 워드 임계값(제1 임계값)을 변경할지 여부를 확인하기 위한 UI를 통해 입력된 사용자의 선택 결과를 의미할 수 있다.
한편, 표시된 UI를 통해 제1 임계값(웨이크업 워드 임계값)을 변경하는 사용자 입력이 수신되면, 프로세서(130)는 사용자 입력에 기초하여 제1 임계값(웨이크업 워드 임계값)을 변경할 수 있다.
한편, 프로세서(130)는 표시된 UI를 통해 제1 임계값(웨이크업 워드 임계값)을 유지하는 사용자 입력이 수신되면, 기 설정된 이벤트를 삭제할 수 있다.
여기서, 제1 임계값(웨이크업 워드 임계값)을 유지하는 사용자 입력은 웨이크업 워드 임계값(제1 임계값)을 변경하지 않기 위한 사용자 입력을 의미할 수 있다.
여기서, 웨이크업 워드 임계값(제1 임계값)을 유지하기 유지하기 위한 사용자 입력이 수신되었다는 것은 기 설정된 이벤트가 발생하였다는 판단에 일부 잘못된 것으로 분석할 수 있다. 따라서, 프로세서(130)는 해당 이벤트를 삭제할 수 있다. 여기서, 기 설정된 이벤트의 삭제는 모든 이벤트를 삭제하는 것이 아니며, 복수의 이벤트 중 가장 높은 신뢰도를 갖는 이벤트를 의미할 수 있다.
이와 관련된 구체적인 설명은 도 13에서 후술한다.
한편, 프로세서(130)는 컨텍스트 정보에 기초하여 기 설정된 이벤트에 대응되는 이벤트 신뢰도값을 획득할 수 있고, 획득된 이벤트 신뢰도값이 제3 임계값(이벤트 임계값) 이상이면, 제1 임계값(웨이크업 워드 임계값)을 변경할 수 있다.
여기서, 이벤트 신뢰도값은, 획득된 컨텍스트 정보에 기초하여 식별된 컨텍스트가 이벤트와 얼마나 일치하는지 여부를 판단하기 위한 값을 의미할 수 있다. 예를 들어, 기 설정된 이벤트가 ‘영화 시청’이라고 가정한다. 프로세서(130)는 획득된 컨텍스트 정보에 기초하여 ‘영화 시청’ 이벤트에 해당할 확률값을 획득할 수 있다. 여기서, 획득되는 확률값이 이벤트 신뢰도값일 수 있다. 이벤트 신뢰도가 높을수록 해당 이벤트일 확률이 높을 수 있다.
만약, 기 설정된 이벤트가 복수 개이면, 프로세서(130)는 복수 개의 이벤트 각각에 대응되는 이벤트 신뢰도를 획득할 수 있다.
그리고, 프로세서(130)는 획득된 이벤트 중 임계값 이상의 이벤트 신뢰도를 갖는 이벤트를 최종 식별된 이벤트로 결정할 수 있다. 그리고, 프로세서(130)는 최종 결정된 이벤트에 대응되는 이벤트 신뢰도가 이벤트 임계값(제3 임계값) 이상인지 식별할 수 있다.
한편, 이벤트 신뢰도와 관련된 구체적인 동작은 도 12 내지 도 15에서 후술한다.
본원 전자 장치(100)는 사용자가 의도하지 않은 상황에서 웨이크업 워드가 인식되는 상황을 방지하기 위한 발명이다. 예를 들어, 본원 전자 장치(100) 는 영화 시청 또는 회의 중에 잘못하여 웨이크업 워드가 인식되는 경우를 방지할 수 있다.
본원 전자 장치(100)는 기 설정된 이벤트를 미리 저장하고 있다가, 수집되는 컨텍스트 정보에 기초하여 기 설정된 이벤트가 발생하였는지 여부를 판단할 수 있다. 그리고, 기 설정된 이벤트가 발생하면, 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다. 본원 전자 장치(100)는 음성 인식 기능을 완전히 비활성화하는 것이 아니며, 웨이크업 워드의 인식에 이용되는 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다.
음성 인식 기능이 불필요하다고 여겨지는 상황에서도, 예외적으로 사용자가 음성 인식 기능을 이용할 가능성이 존재하기 때문이다.
웨이크업 워드 임계값(제1 임계값)을 상승시키는 상황을 가정한다. 웨이크업 워드 임계값(제1 임계값)이 상승되면, 웨이크업 워드가 쉽게 인식되지 않을 수 있다. 웨이크업 워드 임계값(제1 임계값) 과 비교되는 유사도가 더 높아야 하기 때문이다. 하지만, 이러한 상황에서도 웨이크업 워드를 아예 인식하지 않는 것은 아니므로, 사용자는 더 정확한 발음 또는 더 큰 소리를 통해 웨이크업 워드를 인식시킬 수 있다. 따라서, 전자 장치(100)는 웨이크업 워드를 더 정확하게 인식시키기 위하여 노력한다면, 사용자는 기존의 일반적인 방식대로 웨이크업 워드를 인식시켜 음성 인식 기능을 이용할 수 있다. 따라서, 예외적인 상황(영화 시청 중 또는 회의 진행 중)에서 웨이크업 워드 임계값(제1 임계값)이 자동으로 변경됨에도 불구하고, 웨이크업 워드를 인식시킬 수 있다. 다만, 이러한 노력은 사용자의 강한 의도를 동반하므로, 웨이크업 워드 인식은 사용자의 의도에 부합하는 웨이크업 워드 인식일 수 있다.
따라서, 본원 전자 장치(100)는 특정한 상황에서도 사용자가 웨이크업 워드를 발화할 가능성을 고려하고 있을 수 있다.
또한, 본원 전자 장치(100)는 사용자에게 웨이크업 워드 임계값(제1 임계값)의 변경 여부를 재차 확인하기 위한 UI를 표시하므로, 현재 상황에서 웨이크업 워드의 인식이 쉽게 되도록 또는 어렵게 되도록 변경할 것인지 사용자에게 선택하게 할 수 있다. 그리고, 전자 장치(100)는 사용자의 선택을 저장하여 저장된 사용자 선택을 추후 다양한 판단 동작에 적용할 수 있다.
한편, 이상에서는 전자 장치(100)를 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현 시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 3을 참조하여 이하에서 설명한다.
도 3은 도 2의 전자 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 3을 참조하면, 전자 장치(100)는 마이크(110), 메모리(120), 프로세서(130), 디스플레이(140), 통신 인터페이스(150), 사용자 인터페이스(160), 입출력 인터페이스(170), 센서(180) 또는 카메라(190) 중 적어도 하나를 포함할 수 있다.
한편, 마이크(110), 메모리(120) 및 프로세서(130)의 동작 중에서 앞서 설명한 것과 동일한 동작에 대해서는 중복 설명은 생략한다.
디스플레이(140)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(140)내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(140)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
또한, 본 개시의 일 실시 예에 따른, 디스플레이(140)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 개시의 일 실시 예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
통신 인터페이스(150)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(150)는 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함한다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
통신 인터페이스(150)는 와이파이 모듈, 블루투스 모듈은 각각 와이파이 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
적외선 통신 모듈은 가시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
그 밖에 통신 인터페이스(150)는LAN(Local Area Network) 모듈, 이더넷 모듈, 페어 케이블, 동축 케이블, 광섬유 케이블 또는 UWB(Ultra Wide-Band) 모듈 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수 있다.
사용자 인터페이스(160)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
스피커(170)는 입출력 인터페이스에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소일 수 있다.
센서(180)는 이동 속도 및 이동 방향을 센싱하는 속도 센서, 가속도 및 가속도 방향을 센싱하는 가속도 센서 중 적어도 하나를 포함할 수 있다.
카메라(190)는 피사체를 촬상하여 촬상 영상을 생성하기 위한 구성이며, 여기서 촬상 영상은 동영상과 정지 영상 모두를 포함하는 개념이다. 카메라(190)는 적어도 하나의 외부 기기에 대한 이미지를 획득할 수 있으며, 카메라, 렌즈, 적외선 센서 등으로 구현될 수 있다.
카메라(190)는 렌즈와 이미지 센서를 포함할 수 있다. 렌즈의 종류에는 일반적인 범용 렌즈, 광각 렌즈, 줌 렌즈 등이 있으며, 전자 장치(100)의 종류, 특성, 사용 환경 등에 따라 결정될 수 있다. 이미지 센서로는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS)와 전하결합소자(Charge Coupled Device: CCD) 등이 사용될 수 있다.
카메라(190)는 입사된 빛을 영상 신호로 출력한다. 구체적으로, 카메라(190)는 렌즈, 화소 및 AD 컨버터를 구비할 수 있다. 렌즈는 피사체의 빛을 모아서 촬상 영역에 광학상이 맺히게 하며, 화소는 렌즈를 통해 입상되는 빚을 아날로그 형태의 영상 신호로 출력할 수 있다. 그리고 AD 컨버터는 아날로그 형태의 영상 신호를 디지털 형태의 영상 신호로 변환하여 출력할 수 있다. 특히, 카메라(190)는 전자 장치(100)의 전면 방향을 촬상하도록 배치되어, 전자 장치(100)의 전면에 존재하는 사용자를 촬상하여 촬상 영상을 생성할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 음성 인식 서버로 수신된 디지털 음성 신호를 전송할 수 있다. 이 경우, 음성 인식 서버는 STT(Speech To Text)를 이용하여 디지털 음성 신호를 텍스트 정보로 변환할 수 있다. 이 경우, 음성 인식 서버는 텍스트 정보에 대응되는 검색을 수행하기 위하여 다른 서버 또는 전자 장치로 텍스트 정보를 전송할 수 있으며, 경우에 따라서는 직접 검색을 수행하는 것도 가능하다.
한편, 본 개시의 다른 실시 예에 따른 전자 장치(100)는 디지털 음성 신호에 직접 STT(Speech To Text) 기능을 적용하여 텍스트 정보로 변환하고 변환된 텍스트 정보를 외부 서버에 전송할 수도 있다.
도 4는 본 개시의 다양한 실시 예에 따른 전자 장치에서 수집되는 컨텍스트 정보와 관련된 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 전자 장치(100)는 컨텍스트 정보를 저장할 수 있다. 구체적으로, 컨텍스트 정보는 사용자 정보(401), 기기 정보(402) 또는 센싱 정보(403) 중 적어도 하나를 포함할 수 있다.
여기서, 사용자 정보(401)는 일정 정보, 앱 실행 정보 또는 기타 개인 정보 중 적어도 하나를 포함할 수 있다. 여기서, 일정 정보는 전자 장치(100)의 사용자의 일정과 관련된 시간, 위치 또는 부가 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 일정 정보는 ‘2021년 1월 20일 오후 19:00부터 21:00까지, 서울 강남역에서, 영화 관람’일 수 있다. 여기서, 앱 실행 정보는 현재 전자 장치(100)에서 실행되고 있는 앱 (또는 어플리케이션)과 관련된 정보를 의미할 수 있다. 여기서, 기타 개인 정보는 개인 사용자와 관련된 다양한 정보를 의미할 수 있다. 기타 개인 정보는, 사용자의 생활 습관 또는 업무 환경과 관련된 다양한 정보를 의미할 수 있다. 예를 들어, 특정 사용자가 야간 업무를 한다고 가정하고 전자 장치(100)는 야간 업무를 기타 개인 정보로서 저장할 수 있다. 그리고, 전자 장치(100)는 야간 업무를 수행하는 환경에 적합한 음성 인식 기능을 제공할 수 있다.
여기서, 기기 정보(402)는 시간 정보 또는 위치 정보 중 하나를 포함할 수 있다. 여기서, 시간 정보는 전자 장치(100)가 위치하는 장소에서의 현재 시간을 의미할 수 있다. 여기서, 위치 정보는 전자 장치(100)가 존재하는 장소를 의미할 수 있다. 여기서, 전자 장치(100)는 외부 서버에서 시간 정보 또는 위치 정보 중 적어도 하나를 요청 및 수신할 수 있다.
여기서, 센싱 정보(403)는 속도 정보, 가속도 정보, 오디오 정보 또는 모션 정보 중 적어도 하나를 포함할 수 있다. 여기서, 속도 정보는 전자 장치(100)의 이동 속도 또는 이동 방향 중 적어도 하나를 포함할 수 있다. 전자 장치(100)는 속도 센서를 포함할 수 있으며, 속도 센서로부터 획득된 센싱 데이터에 기초하여 속도 정보를 획득할 수 있다.
여기서, 가속도 정보는 전자 장치(100)의 가속도 또는 가속도 방향 중 적어도 하나를 포함할 수 있다. 전자 장치(100)는 가속도 센서를 포함할 수 있으며, 가속도 센서로부터 획득된 센싱 데이터에 기초하여 가속도 정보를 획득할 수 있다.
여기서, 오디오 정보는 마이크(110)로부터 수신되는 오디오 신호(또는 오디오 데이터)를 의미할 수 있다. 전자 장치(100)는 마이크(110)를 포함할 수 있으며, 마이크(110)로부터 획득된 오디오 신호에 기초하여 오디오 정보를 획득할 수 있다.
여기서, 모션 정보는 이미지 신호에 기초하여 식별된 사용자의 모션을 의미할 수 있다. 전자 장치(100) 카메라(190)를 포함할 수 있으며, 카메라(190)에서 획득된 이미지 신호에 기초하여 사용자의 제스쳐 또는 모션을 식별할 수 있으며, 식별된 제스쳐 또는 모션에 기초하여 모션 정보를 획득할 수 있다.
한편, 전자 장치(100)는 이벤트 정보(404)를 메모리(120)에 저장할 수 있다.
여기서, 이벤트 정보(404)는 메모리(120)에 저장된 기 설정된 이벤트와 관련된 정보를 의미할 수 있다. 이벤트 정보(404)는 이벤트 식별번호, 이벤트 종류, 이벤트 대상, 이벤트 임계값(제3 임계값) 중 적어도 하나를 포함할 수 있다. 여기서, 이벤트 식별번호는 복수의 이벤트 각각을 구분하기 위한 고유 번호를 의미할 수 있다. 여기서, 이벤트 종류는 이벤트가 어느 카테고리에 해당되는지를 구분하기 위한 정보를 의미할 수 있다. 예를 들어, 이벤트 종류는 시간, 장소, 동작 등일 수 있다. 이와 관련된 구체적인 설명은 도 14에서 후술한다. 여기서, 이벤트 임계값(제3 임계값)은 컨텍스트 정보에 기초하여 식별되는 다양한 컨텍스트가 기 설정된 이벤트와 일치하는지 여부를 결정하기 위한 기준값을 의미할 수 있다. 이와 관련된 구체적인 설명은 도 12에서 후술한다.
한편, 전자 장치(100)는 컨텍스트 정보 수집 모듈(405), 컨텍스트 판단 모듈(410), 웨이크업 워드 임계값(제1 임계값) 변경 모듈(415) 및 웨이크업 워드 임계값 저장 모듈(420)을 포함할 수 있다.
여기서, 컨텍스트 정보 수집 모듈(405)은 메모리(120)에 저장된 사용자 정보(401), 외부 서버로부터 수신된 기기 정보(402), 센서(180)에서 획득된 센싱 정보(403)를 획득할 수 있다.
여기서, 컨텍스트 판단 모듈(410)은 컨텍스트 정보 수집 모듈(405)에서 획득한 컨텍스트 정보에 기초하여 전자 장치(100)의 컨텍스트를 식별할 수 있다. 구체적으로, 컨텍스트 판단 모듈(410)은 현재 전자 장치(100)의 사용자가 어떠한 상황에 있는지 여부를 판단할 수 있다. 그리고, 컨텍스트 판단 모듈(410)은 식별된 컨텍스트가 기 설정된 이벤트와 일치하는지 여부를 판단할 수 있다.
여기서, 웨이크업 워드 임계값(제1 임계값) 변경 모듈(415)은, 컨텍스트 판단 모듈(410)에 의해 식별된 컨텍스트가 기 설정된 이벤트와 일치하면, 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다.
여기서, 웨이크업 워드 임계값(제1 임계값) 저장 모듈(420)은, 웨이크업 워드 임계값(제1 임계값)을 변경되면, 변경된 웨이크업 워드 임계값(제1 임계값) 변경 결과 정보를 메모리(120)에 저장할 수 있다. 웨이크업 워드 임계값(제1 임계값) 저장 모듈(420)에서 저장되는 변경 결과 정보는 다음 컨텍스트 판단 모듈의 동작에 이용될 수 있다.
도 5는 전자 장치가 웨이크업 워드를 인식하고 음성 인식 기능을 활성화하는 동작을 설명하기 위한 흐름도이다.
도 5를 참조하면, 전자 장치(100)는 컨텍스트 정보를 획득할 수 있다 (S505). 여기서, 컨텍스트는 전자 장치(100) 또는 전자 장치(100)의 사용자에 대응되는 상황을 의미할 수 있다. 예를 들어, 컨텍스트는 영화 시청중, 회의 중, 운동 중, 취침 중 등을 의미할 수 있다. 여기서, 컨텍스트 정보는 컨텍스트를 판단하는데 이용되는 다양한 정보를 의미할 수 있다. 구체적으로, 컨텍스트 정보와 관련된 설명은 도 4에서 기술하였다.
또한, 전자 장치(100)는 컨텍스트 정보에 기초하여 기 설정된 이벤트의 발생 여부를 식별할 수 있다 (S510). 전자 장치(100)는 획득된 컨텍스트 정보에 기초하여 컨텍스트를 식별할 수 있고, 식별된 컨텍스트가 기 설정된 이벤트와 일치하는지 여부를 식별할 수 있다.
또한, 전자 장치(100)는 기 설정된 이벤트가 발생된 것으로 식별되면, 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다 (S515). 여기서, 웨이크업 워드 임계값(제1 임계값)은 웨이크업 워드의 인식 여부를 결정하는 기준값을 의미할 수 있다.
또한, 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 변경한 이후, 제1 사용자 음성을 수신할 수 있다 (S520). 그리고, 전자 장치(100)는 제1 사용자 음성에 대응되는 제1 텍스트 정보 및 웨이크업 워드 간 유사도값을 획득할 수 있다 (S525). 예를 들어, 전자 장치(100)는 사용자가 발화한 음성이 기 결정된 웨이크업 워드와 얼마나 일치하는지 여부를 판단할 수 있으며, 일치 여부를 유사도값으로 획득할 수 있다.
또한, 전자 장치(100)는 획득된 유사도값이 웨이크업 워드 임계값(제1 임계값)이상이면, 음성 인식 기능을 활성화할 수 있다 (S530). 여기서, 음성 인식 기능을 활성화 한다는 것은 음성 인식을 수행하기 위해 음성 인식 서버와 통신 세션을 확립하는 동작 또는 음성 인식 어플리케이션을 실행하는 동작을 의미할 수 있다.
도 6은 전자 장치가 기 설정된 이벤트를 식별하는 동작을 설명하기 위한 흐름도이다.
도 6을 참조하면, 전자 장치(100)는 컨텍스트 정보를 획득할 수 있다 (S605). 그리고, 전자 장치(100)는 획득된 컨텍스트 정보에 기초하여 기 설정된 이벤트가 발생하였는지 식별할 수 있다 (S610). 여기서, 기 설정된 이벤트가 발생되지 않은 것으로 식별되면 (S610-N), 전자 장치(100)는 계속하여 컨텍스트 정보를 획득하고 이벤트 발생 여부를 식별하는 동작을 반복적으로 수행할 수 있다. 여기서, 기 설정된 이벤트가 발생된 것으로 식별되면 (S610-Y), 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다 (S615).
한편, 기 설정된 이벤트의 발생을 식별하는 예시 동작을 도 7 및 도 8에서 기술한다.
도 7은 전자 장치가 일 실시 예에 따른 기 설정된 이벤트를 식별하는 동작을 설명하기 위한 흐름도이다.
도 7을 참조하면, 전자 장치(100)는 오디오 정보를 획득할 수 있다 (S705). 오디오 정보는 전자 장치(100)의 마이크(110)를 통해 획득되는 음성 신호에 대응되는 정보일 수 있다. 여기서, 오디오 정보는 전자 장치(100)의 컨텍스트 정보일 수 있다.
또한, 전자 장치(100)는 획득된 오디오 정보에 기초하여 오디오 정보에서 인식되는 화자의 수를 식별할 수 있다 (S710). 구체적으로, 전자 장치(100)는 기 결정된 시간 동안 획득된 오디오 정보에서 음성을 발화하는 사용자의 수를 식별할 수 있다. 예를 들어, 현재 전자 장치(100)는 녹음된 소리에서 몇 명의 사람이 얘기 중인지 식별할 수 있다.
여기서, 전자 장치(100)는 식별된 화자 수가 제2 임계값 이상인지 식별할 수 있다 (S715). 식별된 화자 수가 제2 임계값 미만이면 (S715-N), 전자 장치(100)는 반복적으로 오디오 정보를 획득하고, 화자 수를 식별하고, 식별된 화자 수가 제2 임계값 이상인지 식별할 수 있다.
또한, 식별된 화자 수가 제2 임계값 이상이면 (S715-Y), 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다 (S720).
오디오 정보에 기초하여 화자 수를 식별하는 것은 현재 전자 장치(100)의 컨텍스트를 분석하기 위함이다. 일반적으로 음성 인식 기능은 사용자가 혼자 있는 상황에서 수행될 수 있다. 따라서, 오디오 정보에서 복수의 화자가 식별되면, 전자 장치(100)는 현재 음성 인식 기능을 수행하지 않는 컨텍스트인 것으로 판단할 수 있다. 예를 들어, 오디오 정보에서 5명의 화자가 서로 얘기하는 것으로 식별되면, 현재 회의 중인 것으로 식별할 수 있다. 그리고, 회의 중인 상황에서 웨이크업 워드가 잘 인식되지 않도록 웨이크업 워드 임계값(제1 임계값)을 변경(상승)할 수 있다.
도 8은 전자 장치가 다른 실시 예에 따른 기 설정된 이벤트를 식별하는 동작을 설명하기 위한 흐름도이다.
도 8을 참조하면, 전자 장치(100)는 속도 정보 및 가속도 정보를 획득할 수 있다 (S805). 여기서, 속도 정보는 속도값 또는 이동 방향 중 적어도 하나를 포함할 수 있다. 여기서, 가속도 정보는 가속도값 또는 가속도 방향 중 적어도 하나를 포함할 수 있다. 여기서, 속도 정보 및 가속도 정보는 하나의 센서를 통해 획득될 수 있으며, 구현 예에 따라 각각 속도 센서 및 가속도 센서를 통해 획득될 수 있다.
또한, 전자 장치(100)는 속도 정보에 포함된 속도값이 제4 임계값 이상인지 식별할 수 있다 (S810). 여기서, 속도값이 제4 임계값 미만이면 (S810-N), 전자 장치(100)는 속도 정보 및 가속도 정보를 획득하고 속도값이 제4 임계값 미만인지 식별하는 동작을 반복할 수 있다.
여기서, 속독값이 제4 임계값 이상이면 (S810-Y), 전자 장치(100)는 가속도의 방향이 변경되는지 식별할 수 있다 (S815). 구체적으로, 전자 장치(100)는 기 결정된 시간 동안 가속도의 방향이 변경되는지 판단할 수 있다. 또한, 전자 장치(100)는 기 결정된 시간 동안 가속도의 방향이 임계 횟수 이상 변경되는지 식별할 수 있다.
가속도의 방향이 변경되지 않은 것으로 식별되면 (S815-N), 전자 장치(100)는 반복적으로 속도 정보 및 가속도 정보를 획득할 수 있다.
가속도의 방향이 변경된 것으로 식별되면 (S815-Y), 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다 (S820).
여기서, 이동 방향이 아닌 가속도 방향을 판단하는 이유는 사용자가 달리기를 하는 상황과 자동차에 타고 있는 상황을 구별하기 위함이다. 전자 장치(100)를 손에 쥐고 달리기를 하는 사용자를 가정한다. 여기서, 전자 장치(100)는 사용자의 손의 흔들림에 따라 앞 뒤로 이동될 수 있다. 여기서, 사용자의 손의 움직임의 방향이 바뀔 때마다 가속의 방향이 달라질 수 있다. 하지만, 달리기를 수행하고 있으므로 사용자의 이동 방향은 “앞”으로 동일할 수 있다. 따라서, 전자 장치(100)는 이동 방향이 아닌 가속도 방향의 주기적 변경 여부를 확인함으로써 사용자가 운동 중인지 여부를 확인할 수 있다. 가속의 방향이 주기적으로 변경되는 경우, 전자 장치(100)는 사용자가 운동 중인 것으로 식별할 수 있다.
다른 예로, 자동차를 운전하고 있는 상황에서는 사용자의 이동 방향 및 가속도의 방향이 일정할 수 있다. 운전 중인 상황에서 가속의 방향은 가속 페달을 밟는 경우(가속도 양방향), 가속 페달을 밟지 않는 경우(가속도 음방향), 브레이크 페달을 밟는 경우(가속도 음방향)가 있을 수 있다. 이를 고려하기 위하여, 전자 장치(100)는 임계 시간 동안만 가속도의 방향 변경을 식별할 수 있다. 예를 들어, 3초 안에 가속도 방향의 변경이 일어나는지 여부를 식별할 수 있다. 운동 중인 경우에는 3초 안에 사용자의 팔의 방향이 바뀌므로 가속도의 방향 변경이 식별되지만, 운전 중인 경우에는 3초 안에 자동차가 가속을 하고 브레이크를 밟는 상황이 흔하지 않으므로 가속도의 방향 변경이 식별되지 않을 수 있다.
도 9는 전자 장치가 웨이크업 워드를 변경하기 위한 UI를 표시하는 동작을 설명하기 위한 흐름도이다.
도 9를 참조하면, 도9의 S905 및 S910 단계는 도 6의 S605 및 S910 단계에 대응될 수 있다. 여기서, 기 설정된 이벤트가 식별되면 (S910-Y), 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 변경하기 위한 UI를 표시할 수 있다 (S915). 그리고, 사용자는 표시된 UI를 통해 웨이크업 워드 임계값(제1 임계값)을 변경할지 여부를 선택할 수 있다. 여기서, 선택 동작은 사용자의 입력을 통해 결정될 수 있다.
여기서, 전자 장치(100)는 UI를 통해 웨이크업 워드 임계값(제1 임계값)을 변경하기 위한 사용자 입력이 수신되었는지 여부를 식별할 수 있다 (S920). 전자 장치(100)는 UI를 통해 웨이크업 워드 임계값(제1 임계값)을 변경하기 위한 사용자 입력이 수신되지 않으면 (S920-N), 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 유지하고 컨텍스트 정보를 획득하는 단계를 반복할 수 있다. 또한, 전자 장치(100)는 UI를 통해 웨이크업 워드 임계값(제1 임계값)을 변경하기 위한 사용자 입력이 수신되면 (S920-Y), 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다 (S925).
도 10은 웨이크업 워드의 임계값을 변경하기 위한 UI를 설명하기 위한 도면이다.
도 10을 참조하면, 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 변경하기 위한 UI (1005)을 전자 장치(100)의 디스플레이에 표시할 수 있다. 여기서, UI(1005)는 “이벤트가 감지되었습니다. 웨이크업 워드가 쉽게 인식 되지 않도록 하시겠습니까?”라는 가이드 정보를 표시할 수 있다. 사용자는 표시된 UI(1005)에 기초하여 웨이크업 워드 임계값(제1 임계값)의 변경 여부를 선택할 수 있다.
여기서, 웨이크업 워드가 쉽게 인식되지 않도록 하는 것은 웨이크업 워드 임계값(제1 임계값)을 상승시키는 것을 의미할 수 있다. 또한, 웨이크업 워드가 쉽게 인식되지 않도록 하는 것은 웨이크업 워드의 민감도를 낮추는 것을 의미할 수 있다.
반대로 웨이크업 워드가 쉽게 인식되도록 하는 것은 웨이크업 워드 임계값(제1 임계값)을 하락시키는 것을 의미할 수 있다. 또한, 웨이크업 워드가 쉽게 인식되도록 하는 것은 웨이크업 워드의 민감도를 높이는 것을 의미할 수 있다.
도 11은 일 실시 예에 따른 전자 장치가 웨이크업 워드를 인식하는 동작 및 음성 인식을 수행하는 동작을 설명하기 위한 흐름도이다.
도 11을 참조하면, 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다 (S1105). 여기서, S1105 단계는 다양한 실시 예에 따라 웨이크업 워드 임계값(제1 임계값)가 변경되는 모든 동작을 의미할 수 있다.
그리고, 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 변경한 이후, 제1 음성 데이터를 수신할 수 있다 (S1110). 그리고, 전자 장치(100)는 제1 음성 데이터 및 웨이크업 워드 간 유사도값을 획득할 수 있다 (S1115). 구체적으로, 전자 장치(100)는 제1 음성 데이터에 대응되는 제1 텍스트 정보를 획득하고, 획득된 제1 텍스트 정보 및 기 결정된 웨이크업 워드의 텍스트 정보 간 유사도값을 획득할 수 있다.
그리고, 전자 장치(100)는 획득된 유사도값이 웨이크업 워드 임계값(제1 임계값) 이상인지 식별할 수 있다 (S1120). 여기서, 획득된 유사도값이 웨이크업 워드 임계값(제1 임계값) 미만이면 (S1120-N), 전자 장치(100)는 제1 음성 데이터를 수신하는 동작을 반복할 수 있다.
또한, 획득된 유사도값이 웨이크업 워드 임계값(제1 임계값) 이상이면 (S1120-Y), 전자 장치(100)는 제2 음성 데이터를 수신할 수 있다 (S1125). 여기서, 제2 음성 데이터는 제1 음성 데이터 이후 수신되는 음성 데이터를 의미할 수 있으며, 사용자의 음성에서 웨이크업 워드에 대응되는 발화를 제외한 부분의 발화를 의미할 수 있다.
또한, 전자 장치(100)는 수신된 제2 음성 데이터에 기초하여 음성 인식을 수행할 수 있다 (S1130). 일 예로, 전자 장치(100)는 제2 음성 데이터에 대응되는 음성 인식을 자체적으로 수행함으로써 음성 인식 결과를 획득할 수 있다. 다른 예로, 전자 장치(100)는 제2 음성 데이터에 대응되는 음성 인식을 음성 인식 서버에서 수행함으로써 음성 인식 결과를 획득할 수 있다. 여기서, 전자 장치(100)는 제2 음성 데이터를 음성 인식 서버에 전송할 수 있으며, 음성 인식 서버로부터 음성 인식 결과를 수신할 수 있다.
도 12는 전자 장치가 기 설정된 이벤트를 식별하는 과정을 설명하기 위한 도면이다.
도 12를 참조하면, 전자 장치(100)는 컨텍스트 정보를 획득할 수 있다 (S1205). 그리고, 전자 장치(100)는 컨텍스트 정보에 기초하여 이벤트 신뢰도값을 획득할 수 있다 (S1210). 구체적으로, 전자 장치(100)는 컨텍스트 정보에 기초하여 컨텍스트를 식별할 수 있다. 그리고, 전자 장치(100)는 식별된 컨텍스트가 기 설정된 이벤트와의 일치 여부를 식별할 수 있다. 그리고, 전자 장치(100)는 일치 여부를 수치화한 이벤트 신뢰도값을 획득할 수 있다. 즉, 이벤트 신뢰도값은 현재 전자 장치(100)의 컨텍스트가 기 설정된 이벤트와 얼마나 일치하는지 여부를 나타내는 값을 의미할 수 있다. 이벤트 신뢰도값이 높을수록 기 설정된 이벤트와 일치할 확률이 높을 수 있다.
한편, 기 설정된 이벤트가 복수 개이면, 획득되는 이벤트 신뢰도도 복수 개일 수 있다.
여기서, 전자 장치(100)는 획득된 이벤트 신뢰도값이 이벤트 임계값(제3 임계값) 이상인지 식별할 수 있다 (S1215). 여기서, 획득된 이벤트 신뢰도값이 이벤트 임계값(제3 임계값) 미만이면 (S1215-N), 전자 장치(100)는 컨텍스트 정보를 획득하는 동작을 반복할 수 있다. 여기서, 획득된 이벤트 신뢰도값이 이벤트 임계값(제3 임계값) 이상이면 (S1215-Y), 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다 (S1220).
도 13은 전자 장치가 이벤트 임계값(제3 임계값)을 변경하는 동작을 설명하기 위한 도면이다.
도 13을 참조하면, 도 13의 S1305, S1310, S1315 단계는 도 12의 S1205, S1210, S1215 단계에 대응될 수 있다. 따라서, 중복 설명을 생략한다.
여기서, 이벤트 신뢰도값이 이벤트 임계값(제3 임계값) 이상이면 (S1315-Y), 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 변경하기 위한 UI를 표시할 수 있다 (S1320).
그리고, 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 변경하기 위한 사용자 입력이 수신되었는지 식별할 수 있다 (S1325). 여기서, 웨이크업 워드 임계값(제1 임계값)을 변경하기 위한 사용자 입력이 수신되면 (S1325-Y), 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다 (S1330).
웨이크업 워드 임계값(제1 임계값)을 변경하기 위한 사용자 입력이 수신되지 않으면 (S1325-N), 전자 장치(100)는 이벤트 임계값(제3 임계값)을 변경할 수 있다 (S1335). 여기서, 웨이크업 워드 임계값(제1 임계값)을 변경하기 위한 사용자 입력이 수신되지 않는다는 의미는 웨이크업 워드 임계값(제1 임계값)을 유지하기 위한 사용자 입력이 수신되었다는 것을 의미할 수 있다.
여기서, 이벤트 임계값(제3 임계값)을 변경하는 동작은 이벤트 임계값을 상승하는 것을 의미할 수 있다. 사용자가 S1325 단계에서 웨이크업 워드 임계값(제1 임계값)을 변경하지 않는 것을 선택하였다는 것은 현재 컨텍스트가 기 설정된 이벤트에 대응되지 않는 것으로 판단할 수 있다. 예를 들어, 전자 장치(100)는 사용자가 영화 시청 중인 것으로 판단하여, 웨이크업 워드 임계값(제1 임계값)을 변경하기 위한 UI를 표시하였는데, 사용자가 이를 수용하지 않았다. 이는, 현재 컨텍스트가 영화 시청 중이 아님을 의미할 수 있다. 따라서, 전자 장치(100)는 이벤트 임계값(제3 임계값)을 상승시켜 기 설정된 이벤트의 발생 여부를 더욱 엄격하게 판단할 수 있다.
구현 예에 따라, 전자 장치(100)는 S1310 단계에서 획득된 이벤트 신뢰도값에 대응되는 기 설정된 이벤트를 삭제할 수 있다.
도 14는 이벤트 정보를 설명하기 위한 도면이다.
도 14의 표(1405)를 참조하면, 이벤트 정보는 복수의 기 설정된 이벤트를 포함할 수 있다. 그리고, 복수의 기 설정된 이벤트는 이벤트 종류, 이벤트 대상, 이벤트 신뢰도값 조건 또는 웨이크업 워드 임계값(제1 임계값)의 변경 여부와 관련된 정보 중 적어도 하나를 포함할 수 있다.
여기서, 이벤트 종류는, 장소, 시간 또는 동작 중 적어도 하나로 구분될 수 있다. 장소는 이벤트가 발생되는 것으로 식별할 장소를 의미하고, 시간은 이벤트가 발생되는 것으로 식별할 시간을 의미하고, 동작은 이벤트가 발생되는 것으로 식별할 동작을 의미할 수 있다.
여기서, 이벤트 대상은 기 설정된 이벤트로 판단할 대상을 의미할 수 있다.
여기서, 이벤트 신뢰도값 조건은 기 설정된 이벤트가 발생된 것으로 식별하기 위한 기준값과 관련된 조건을 의미할 수 있다. 여기서, 기준값은 이벤트 임계값(제3 임계값)을 의미할 수 있다. 여기서, 이벤트 신뢰도값은 현재 식별된 컨텍스트가 이벤트에 대응될 확률값을 의미할 수 있다. 따라서, 이벤트 신뢰도가 높을수록 현재 컨텍스트가 이벤트 대상에 대응될 확률이 높다는 것을 의미할 수 있다. 여기서, 0.6, 0. 8, 1 등의 숫자는 이벤트 임계값(제3 임계값)을 의미할 수 있다. 여기서, 이벤트 신뢰도값 조건은 0부터 1 사이 일 수 있으며, 1에 가까울수록 해당 이벤트일 확률이 높다는 것을 의미할 수 있다. 예를 들어, 전자 장치(100)의 컨텍스트가 이벤트 대상(영화관)에 대응되는 신뢰도값이 0.87이라면, 컨텍스트가 영화관일 확률이 0.87이라는 것을 의미할 수 있다.
일 예로, 복수의 기 설정된 이벤트 중 제1 이벤트는 이벤트 종류가 장소이고, 이벤트 대상은 영화관이며, 이벤트 신뢰도값 조건은 0.6이상이고, 웨이크업 워드 임계값(제1 임계값)의 변경 여부는 상승일 수 있다.
다른 예로, 복수의 기 설정된 이벤트 중 제2 이벤트는 이벤트 종류가 장소이고, 이벤트 대상은 집이며, 이벤트 신뢰도값 조건은 0.8 이상이고, 웨이크업 워드 임계값(제1 임계값)의 변경 여부는 하락일 수 있다.
또 다른 예로, 복수의 기 설정된 이벤트 중 제3 이벤트는 이벤트 종류가 장소이고, 이벤트 대상은 회의실이며, 이벤트 신뢰도값 조건은 0.6 이상이고, 웨이크업 워드 임계값(제1 임계값)의 변경 여부는 상승일 수 있다.
또 다른 예로, 복수의 기 설정된 이벤트 중 제4 이벤트는 이벤트 종류가 시간이고, 이벤트 대상은 ‘2021-01-15 15:30 ~ 2021-01-15 17:30’이며, 이벤트 신뢰도값 조건은 1이고, 웨이크업 워드 임계값(제1 임계값)의 변경 여부는 상승일 수 있다. 여기서, 신뢰도값 조건이 1인 이유는, 시간의 도래 여부만으로 조건 성립이 결정되기 때문일 수 있다. 예를 들어, ‘2021-01-15 15:30 ~ 2021-01-15 17:30’시간이 도래하면 이벤트 신뢰도값은 1이며, ‘2021-01-15 15:30 ~ 2021-01-15 17:30’시간이 도래하지 않으면, 이벤트 신뢰도값은 0일 수 있다.
또 다른 예로, 복수의 기 설정된 이벤트 중 제5 이벤트는 이벤트 종류가 시간이고, 이벤트 대상은 ‘매일 00:00 ~ 매일 08:00’이며, 이벤트 신뢰도값 조건은 1이고, 웨이크업 워드 임계값(제1 임계값)의 변경 여부는 상승일 수 있다.
또 다른 예로, 복수의 기 설정된 이벤트 중 제6 이벤트는 이벤트 종류가 동작이고, 이벤트 대상은 ‘영화 시청중’이며, 이벤트 신뢰도값 조건은 0.6이상이고, 웨이크업 워드 임계값(제1 임계값)의 변경 여부는 상승일 수 있다.
또 다른 예로, 복수의 기 설정된 이벤트 중 제7 이벤트는 이벤트 종류가 동작이고, 이벤트 대상은 ‘전화 통화중’이며, 이벤트 신뢰도값 조건은 0.6이상이고, 웨이크업 워드 임계값(제1 임계값)의 변경 여부는 상승일 수 있다. 여기서, ‘전화 통화중’임을 판단하기 위하여, 전자 장치(100)는 컨텍스트 정보 중 앱 실행 정보를 이용할 수 있다. 예를 들어, 현재 전화 통화 앱이 실행 중인 경우, 전자 장치(100)는 컨텍스트가 ‘전화 통화중’이라고 식별할 수 있다.
전자 장치(100)는 도 14의 표(1405)에 개시된 7개의 이벤트를 모두 메모리(120)에 저장할 수 있다. 그리고, 7가지의 이벤트 중 하나의 이벤트만 식별되어도, 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다.
한편, 도 14에서는 7개의 기 설정된 이벤트가 메모리(120)에 저장되는 것으로 기재하였지만, 7개의 기 설정된 이벤트보다 적은 수의 이벤트가 저장될 수 있으며, 7개의 기 설정된 이벤트보다 많은 수의 이벤트가 저장될 수 있다.
도 15는 본 개시의 다양한 실시 예에 따른 컨텍스트에서 제1 임계값의 변경 결과를 설명하기 위한 도면이다.
여기서, 전자 장치(100)는 도 14의 표(1405)에 포함된 7개의 기 설정된 이벤트가 저장되어 있는 것으로 가정한다.
도 15의 일 실시 예(1505)에 따라, 전자 장치(100)는 컨텍스트 정보에 기초하여 현재 이벤트 타겟이 영화관이고 이벤트 신뢰도값이 0.87 인것으로 식별할 수 있다. 여기서, 영화관에 대응되는 이벤트 타겟의 이벤트 신뢰도값 조건은 0.6이상일 수 있다. 따라서, 획득된 이벤트 신뢰도값(0.87)이 이벤트 임계값(제3 임계값, 0.6) 이상이므로, 전자 장치(100)는 기 설정된 이벤트가 발생한 것으로 식별할 수 있다. 그리고, 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 변경할 수 있다.
도 15의 다른 실시 예(1510)에 따라, 전자 장치(100)는 컨텍스트 정보에 기초하여 현재 영화관(이벤트 타겟)에 대응되는 이벤트 신뢰도값이 0.56이고 집(이벤트 타겟)에 대응되는 이벤트 신뢰도값이 0.34인 것으로 식별할 수 있다. 여기서, 영화관에 대응되는 이벤트 신뢰도값 조건은 0.6 이상이고, 집에 대응되는 이벤트 신뢰도값 조건은 0.8 이상일 수 있다. 따라서, 획득된 각 이벤트 신뢰도값(0.56, 0.34)이 각 이벤트 임계값(제3 임계값, 0.6, 0.8) 미만이므로, 전자 장치(100)는 기 설정된 이벤트가 발생하지 않은 것으로 식별할 수 있다. 그리고, 전자 장치(100)는 웨이크업 워드 임계값(제1 임계값)을 유지할 수 있다.
일 실시 예(1505)와 다른 실시 예(1510)에서 식별되는 이벤트 타겟의 숫자가 다른 이유는, 너무 낮은 이벤트 신뢰도값을 갖는 이벤트 타겟을 제외시키는 동작 때문이다. 예를 들어, 전자 장치(100)는 도 14의 7가지 이벤트 대상 각각에 대응되는 7개의 이벤트 신뢰도값을 획득할 수 있다. 그리고, 전자 장치(100)는 7개의 이벤트 신뢰도값 중 0.3이 넘는 이벤트 신뢰도값에 대응되는 이벤트 타겟이 현재 컨텍스트 상황에 대응되는 것으로 식별할 수 있다. 따라서, 일 실시 예(1505)에서는, 이벤트 신뢰도값이 0.3을 넘는 이벤트 타겟이 한 개인 것이고, 다른 실시 예(1510)에서는, 이벤트 신뢰도값이 0.3을 넘는 이벤트 타겟이 두 개인 것일 수 있다.
도 16은 전자 장치가 일정 정보에 기초하여 기 설정된 이벤트를 저장하는 동작을 설명하기 위한 흐름도이다.
도 16을 참조하면, 전자 장치(100)는 일정 정보를 메모리(120)에 저장할 수 있다. 여기서, 일정 정보는 사용자의 입력에 의하여 새로 업데이트 될 수 있다. 새로 업데이트 되는 일정을 제1 일정 정보로 기술한다.
전자 장치(100)는 제1 일정 정보를 획득할 수 있다 (S1605). 그리고, 전자 장치(100)는 제1 일정 정보가 기 설정된 이벤트에 대응되는 키워드를 포함하는지 식별할 수 있다 (S1610). 여기서, 기 설정된 이벤트에 대응되는 키워드는 일정 정보에 포함된 정보가 기 설정된 이벤트와 관련되어 있음을 확인하기 위한 텍스트 정보를 의미할 수 있다. 예를 들어, 도 14의 표(1405)에서, 기 설정된 이벤트에 대응되는 키워드는 영화관, 집, 회의실, 특정 시간(00:00~08:00), 전화 등을 의미할 수 있다.
여기서, 제1 일정 정보가 기 설정된 이벤트에 대응되는 키워드를 포함하지 않는 것으로 식별되면 (S1610-N), 전자 장치(100)는 제1 일정 정보를 반복적으로 획득할 수 있다. 여기서, 1 일정 정보가 기 설정된 이벤트에 대응되는 키워드를 포함하는 것으로 식별되면 (S1610-Y), 전자 장치(100)는 제1 일정 정보에 포함된 날짜 정보를 획득할 수 있다 (S1615).
그리고, 전자 장치(100)는 획득된 날짜 정보에 기초하여 이벤트를 생성할 수 있다 (S1620). 예를 들어, 기 설정된 이벤트에 영화 시청시에는 웨이크업 워드 임계값(제1 임계값)이 상승되도록 설정될 수 있다. 웨이크업 워드 인식을 어렵게 하기 위함이다. 여기서, 사용자가 새로운 일정을 등록하였는데 새로운 일정이 2021년 1월 20일 19:00시부터 21:00시에 친구와 영화 관람일 수 있다. 여기서, 전자 장치(100)는 새로운 일정에 포함된 “영화”가 기 설정된 이벤트에 대응되는 키워드(영화)와 동일한 것으로 판단할 수 있다. 그리고, 새로운 일정 정보에 포함된 날짜 정보(2021년 1월 20일 19:00시부터 21:00시)에 웨이크업 워드 임계값(제1 임계값)을 상승시키는 이벤트를 새로 생성 및 저장할 수 있다.
한편, 키워드는 문자 이외에 숫자를 포함할 수 있다. 예를 들어, 특정 시간대(00:00~08:00) 자체가 키워드일 수 있다.
도 17은 전자 장치가 복수의 일정 중 일부 일정을 기 설정된 이벤트로 저장하는 동작을 설명하기 위한 도면이다.
도 17의 표(1705)를 참조하면, 전자 장치(100)는 #01, #02, #03의 일정 정보를 수신하였다고 가정한다. #01의 일정 정보는 ‘2021-01-20, 19:00~21:00’에 ‘서울 강남역’에서 ‘영화 관람’이며, #02의 일정 정보는 ‘2021-01-22, 20:00~21:00’에 ‘서울 강남역’에서 ‘친구 약속’이며, #03의 일정 정보는 ‘2021-01-24, 15:00~16:00’에 ‘회사’에서 ‘업무 회의’일 수 있다.
전자 장치(100)는 수신된 일정 정보(#01, #02, #03)에 포함된 정보가 기 설정된 이벤트에 대응되는 키워드와 일치하는지 여부를 식별할 수 있다.
여기서, 기 설정된 이벤트에 대응되는 키워드가 ‘영화’, ‘회의’라고 가정한다. 전자 장치(100)는 #01 일정과 #03일정이 기 설정된 이벤트에 대응되는 키워드를 포함한다고 식별할 수 있다. 따라서, 전자 장치(100)는 #01 일정과 #03일정을 기 설정된 이벤트로 저장할 수 있다.
구체적으로, 전자 장치(100)는 기 설정된 이벤트에 대응되는 키워드를 포함하는 것으로 식별된 일정 정보(#01, #03)에서 날짜 정보(‘2021-01-20, 19:00~21:00’, ‘2021-01-24, 15:00~16:00’)를 획득할 수 있다. 그리고, 획득된 날짜 정보(‘2021-01-20, 19:00~21:00’, ‘2021-01-24, 15:00~16:00’)에 웨이크업 워드 임계값(제1 임계값)을 상승시키는 이벤트를 생성할 수 있다. 그리고, 전자 장치(100)는 생성된 이벤트를 기 설정된 이벤트로서 메모리(120)에 저장할 수 있다.
도 18은 일 실시 예에 따른 인공 신경망 모델을 학습하는 동작을 설명하기 위한 도면이다.
도 18을 참조하면, 웨이크업 워드 임계값(제1 임계값)을 변경할지 여부를 식별하기 위해 전자 장치(100)는 인공 신경망 모델(1810)을 이용할 수 있다. 여기서, 인공 신경망 모델(1810)은 입력 데이터(1805) 및 출력 데이터(1815)에 기초하여 학습된 모델일 수 있다.
여기서, 입력 데이터(1805)는 컨텍스트 정보를 의미할 수 있다. 여기서, 컨텍스트 정보는 도 4의 사용자 정보(401), 기기 정보(402), 센싱 정보(403)를 의미할 수 있다. 여기서, 출력 데이터(1815)는 웨이크업 워드 임계값(제1 임계값)의 변경 여부에 대한 결과를 의미할 수 있다.
인공 신경망 모델(1810)은 복수의 컨텍스트 정보와 복수의 결과에 기초하여 웨이크업 워드 임계값(제1 임계값)을 변경할지 여부에 대한 판단 알고리즘을 학습할 수 있다.
도 19는 다른 실시 예에 따른 인공 신경망 모델을 학습하는 동작을 설명하기 위한 도면이다.
도 19을 참조하면, 웨이크업 워드 임계값(제1 임계값)을 변경할지 여부를 식별하기 위해 전자 장치(100)는 인공 신경망 모델(1915)을 이용할 수 있다. 여기서, 인공 신경망 모델(1915)은 제1 입력 데이터(1905), 제2 입력 데이터(1910) 및 출력 데이터(1920)에 기초하여 학습된 모델일 수 있다.
여기서, 제1 입력 데이터(1905)는 컨텍스트 정보를 의미할 수 있다. 여기서, 컨텍스트 정보는 도 4의 사용자 정보(401), 기기 정보(402), 센싱 정보(403)를 의미할 수 있다.
여기서, 제2 입력 데이터(1910)는 웨이크업 워드 임계값(제1 임계값)을 변경하기 위한 UI를 통해 선택된 사용자 입력과 관련된 정보를 의미할 수 있다. 예를 들어, 제2 입력 데이터(1910)는 도9의 S920 단계에서 획득되는 사용자 입력일 수 있다.
여기서, 출력 데이터(1920)는 웨이크업 워드 임계값(제1 임계값)의 변경 여부에 대한 결과를 의미할 수 있다.
인공 신경망 모델(1915)은 복수의 컨텍스트 정보와 복수의 결과에 기초하여 웨이크업 워드 임계값(제1 임계값)을 변경할지 여부에 대한 판단 알고리즘을 학습할 수 있다.
도 20은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 20을 참조하면, 본 개시의 일 실시 예에 따른 웨이크업 워드(wakeup word)를 저장하는 전자 장치(100)의 제어 방법은 전자 장치(100)의 컨텍스트 정보에 기초하여 기 설정된 이벤트가 발생된 것으로 식별되면, 웨이크업 워드를 인식하기 위한 제1 임계값을 변경하는 단계 (S2005), 제1 사용자 음성이 수신되면, 제1 사용자 음성에 대응되는 제1 텍스트 정보 및 웨이크업 워드 간 유사도값을 획득하는 단계 (S2010) 및 획득된 유사도값이 변경된 제1 임계값 이상이면, 제1 사용자 음성 이후에 수신되는 제2 사용자 음성에 대응되는 제2 텍스트 정보에 대한 음성 인식을 수행하는 단계 (S2015)를 포함한다.
한편, 컨텍스트 정보는 일정 정보, 앱 실행 정보, 시간 정보, 위치 정보, 속도 정보, 가속도 정보, 오디오 정보 또는 모션 정보 중 적어도 하나를 포함할 수 있다.
한편, 제1 임계값을 변경하는 단계 (S2015)는 시간 정보가 기 설정된 이벤트에 대응되는 시간 정보와 일치하면, 기 설정된 이벤트가 발생된 것으로 식별할 수 있고, 위치 정보가 기 설정된 이벤트에 대응되는 위치 정보와 일치하면, 기 설정된 이벤트가 발생된 것으로 식별할 수 있다.
한편, 제어 방법은 일정 정보에 기 설정된 이벤트 키워드가 포함되면, 일정 정보를 기 설정된 이벤트로 저장하는 단계를 더 포함할 수 있고, 제1 임계값을 변경하는 단계 (S2015)는 시간 정보가 일정 정보에 대응되는 시간 정보와 일치하면, 기 설정된 이벤트가 발생된 것으로 식별할 수 있다.
한편, 제1 임계값을 변경하는 단계 (S2015)는 오디오 정보에 기초하여 음성을 발화하는 화자의 수를 식별할 수 있고, 식별된 화자의 수가 제2 임계값 이상이면, 기 설정된 이벤트가 발생된 것으로 식별할 수 있다.
한편, 제1 임계값은 웨이크업 워드가 인식되었는지 여부를 결정하기 위해 이용되는 값일 수 있다.
한편, 제어 방법은 전자 장치(100)의 센서(180)를 통해 획득된 센싱 데이터에 기초하여 속도 정보 또는 가속도 정보 중 적어도 하나를 획득하는 단계, 전자 장치(100)의 마이크(110)를 통해 획득된 사용자 음성에 기초하여 오디오 정보를 획득하는 단계, 전자 장치(100)의 카메라(190)를 통해 획득된 이미지에 기초하여 모션 정보를 획득하는 단계 및 전자 장치(100)의 통신 인터페이스를 통해 외부 서버로부터 시간 정보 또는 위치 정보를 수신하는 단계를 더 포함할 수 있다.
한편, 제어 방법은 컨텍스트 정보에 기초하여 기 설정된 이벤트가 발생 된 것으로 식별되면, 제1 임계값을 변경하기 위한 UI(User Interface)를 표시하는 단계를 더 포함할 수 있고, 제1 임계값을 변경하는 단계 (S2015)는 표시된 UI를 통해 제1 임계값을 변경하는 사용자 입력이 수신되면, 사용자 입력에 기초하여 제1 임계값을 변경할 수 있다.
한편, 제어 방법은 표시된 UI를 통해 제1 임계값을 유지하는 사용자 입력이 수신되면, 기 설정된 이벤트를 삭제하는 단계를 더 포함할 수 있다.
한편, 제1 임계값을 변경하는 단계 (S2015)는 컨텍스트 정보에 기초하여 기 설정된 이벤트에 대응되는 이벤트 신뢰도값을 획득할 수 있고, 획득된 이벤트 신뢰도값이 제3 임계값 이상이면, 제1 임계값을 변경할 수 있다.
한편, 도 20과 같은 전자 장치(100)의 제어 방법은 도 2 또는 도 3의 구성을 가지는 전자 장치(100) 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 전자 장치(100) 상에서도 실행될 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장 매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
100: 전자 장치
110: 마이크
120: 메모리
130: 프로세서

Claims (20)

  1. 전자 장치에 있어서,
    마이크;
    웨이크업 워드(wakeup word)가 저장된 메모리; 및
    상기 전자 장치의 컨텍스트 정보에 기초하여 기 설정된 이벤트가 발생된 것으로 식별되면, 상기 웨이크업 워드를 인식하기 위한 제1 임계값을 변경하고,
    상기 마이크를 통해 제1 사용자 음성이 수신되면, 상기 제1 사용자 음성에 대응되는 제1 텍스트 정보 및 상기 웨이크업 워드 간 유사도값을 획득하고,
    상기 획득된 유사도값이 상기 변경된 제1 임계값 이상이면, 상기 제1 사용자 음성 이후에 상기 마이크를 통해 수신되는 제2 사용자 음성에 대응되는 제2 텍스트 정보에 대한 음성 인식을 수행하는 프로세서;를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 컨텍스트 정보는,
    일정 정보, 앱 실행 정보, 시간 정보, 위치 정보, 속도 정보, 가속도 정보, 오디오 정보 또는 모션 정보 중 적어도 하나를 포함하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 시간 정보가 기 설정된 이벤트에 대응되는 시간 정보와 일치하면, 상기 기 설정된 이벤트가 발생된 것으로 식별하고,
    상기 위치 정보가 상기 기 설정된 이벤트에 대응되는 위치 정보와 일치하면, 상기 기 설정된 이벤트가 발생된 것으로 식별하는, 전자 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 일정 정보에 기 설정된 이벤트 키워드가 포함되면, 상기 일정 정보를 상기 기 설정된 이벤트로 저장하고,
    상기 시간 정보가 상기 일정 정보에 대응되는 시간 정보와 일치하면, 상기 기 설정된 이벤트가 발생된 것으로 식별하는, 전자 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 오디오 정보에 기초하여 음성을 발화하는 화자의 수를 식별하고,
    식별된 화자의 수가 제2 임계값 이상이면, 상기 기 설정된 이벤트가 발생된 것으로 식별하는, 전자 장치.
  6. 제1항에 있어서,
    상기 제1 임계값은,
    상기 웨이크업 워드가 인식되었는지 여부를 결정하기 위해 이용되는 값인, 전자 장치.
  7. 제2항에 있어서,
    센서;
    카메라; 및
    통신 인터페이스;를 더 포함하고,
    상기 프로세서는,
    상기 센서를 통해 획득된 센싱 데이터에 기초하여 상기 속도 정보 또는 상기 가속도 정보 중 적어도 하나를 획득하고,
    상기 마이크를 통해 획득된 사용자 음성에 기초하여 상기 오디오 정보를 획득하고,
    상기 카메라를 통해 획득된 이미지에 기초하여 상기 모션 정보를 획득하고,
    상기 통신 인터페이스를 통해 외부 서버로부터 상기 시간 정보 또는 상기 위치 정보를 수신하는, 전자 장치.
  8. 제1항에 있어서,
    디스플레이;를 더 포함하고,
    상기 프로세서는,
    상기 컨텍스트 정보에 기초하여 상기 기 설정된 이벤트가 발생 된 것으로 식별되면, 상기 제1 임계값을 변경하기 위한 UI(User Interface)를 표시하도록 상기 디스플레이를 제어하고,
    상기 표시된 UI를 통해 상기 제1 임계값을 변경하는 사용자 입력이 수신되면, 상기 사용자 입력에 기초하여 상기 제1 임계값을 변경하는, 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 표시된 UI를 통해 상기 제1 임계값을 유지하는 사용자 입력이 수신되면, 상기 기 설정된 이벤트를 삭제하는, 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 컨텍스트 정보에 기초하여 상기 기 설정된 이벤트에 대응되는 이벤트 신뢰도값을 획득하고,
    상기 획득된 이벤트 신뢰도값이 제3 임계값 이상이면, 상기 제1 임계값을 변경하는, 전자 장치.
  11. 웨이크업 워드(wakeup word)를 저장하는 전자 장치의 제어 방법에 있어서,
    상기 전자 장치의 컨텍스트 정보에 기초하여 기 설정된 이벤트가 발생된 것으로 식별되면, 상기 웨이크업 워드를 인식하기 위한 제1 임계값을 변경하는 단계;
    제1 사용자 음성이 수신되면, 상기 제1 사용자 음성에 대응되는 제1 텍스트 정보 및 상기 웨이크업 워드 간 유사도값을 획득하는 단계; 및
    상기 획득된 유사도값이 상기 변경된 제1 임계값 이상이면, 상기 제1 사용자 음성 이후에 수신되는 제2 사용자 음성에 대응되는 제2 텍스트 정보에 대한 음성 인식을 수행하는 단계;를 포함하는, 제어 방법.
  12. 제11항에 있어서,
    상기 컨텍스트 정보는,
    일정 정보, 앱 실행 정보, 시간 정보, 위치 정보, 속도 정보, 가속도 정보, 오디오 정보 또는 모션 정보 중 적어도 하나를 포함하는, 제어 방법.
  13. 제12항에 있어서,
    상기 제1 임계값을 변경하는 단계는,
    상기 시간 정보가 기 설정된 이벤트에 대응되는 시간 정보와 일치하면, 상기 기 설정된 이벤트가 발생된 것으로 식별하고,
    상기 위치 정보가 상기 기 설정된 이벤트에 대응되는 위치 정보와 일치하면, 상기 기 설정된 이벤트가 발생된 것으로 식별하는, 제어 방법.
  14. 제12항에 있어서,
    상기 일정 정보에 기 설정된 이벤트 키워드가 포함되면, 상기 일정 정보를 상기 기 설정된 이벤트로 저장하는 단계;를 더 포함하고,
    상기 제1 임계값을 변경하는 단계는,
    상기 시간 정보가 상기 일정 정보에 대응되는 시간 정보와 일치하면, 상기 기 설정된 이벤트가 발생된 것으로 식별하는, 제어 방법.
  15. 제12항에 있어서,
    상기 제1 임계값을 변경하는 단계는,
    상기 오디오 정보에 기초하여 음성을 발화하는 화자의 수를 식별하고,
    식별된 화자의 수가 제2 임계값 이상이면, 상기 기 설정된 이벤트가 발생된 것으로 식별하는, 제어 방법.
  16. 제11항에 있어서,
    상기 제1 임계값은,
    상기 웨이크업 워드가 인식되었는지 여부를 결정하기 위해 이용되는 값인, 제어 방법.
  17. 제12항에 있어서,
    상기 전자 장치의 센서를 통해 획득된 센싱 데이터에 기초하여 상기 속도 정보 또는 상기 가속도 정보 중 적어도 하나를 획득하는 단계;
    상기 전자 장치의 마이크를 통해 획득된 사용자 음성에 기초하여 상기 오디오 정보를 획득하는 단계;
    상기 전자 장치의 카메라를 통해 획득된 이미지에 기초하여 상기 모션 정보를 획득하는 단계; 및
    상기 전자 장치의 통신 인터페이스를 통해 외부 서버로부터 상기 시간 정보 또는 상기 위치 정보를 수신하는 단계;를 더 포함하는, 제어 방법.
  18. 제11항에 있어서,
    상기 컨텍스트 정보에 기초하여 상기 기 설정된 이벤트가 발생 된 것으로 식별되면, 상기 제1 임계값을 변경하기 위한 UI(User Interface)를 표시하는 단계;를 더 포함하고,
    상기 제1 임계값을 변경하는 단계는,
    상기 표시된 UI를 통해 상기 제1 임계값을 변경하는 사용자 입력이 수신되면, 상기 사용자 입력에 기초하여 상기 제1 임계값을 변경하는, 제어 방법.
  19. 제18항에 있어서,
    상기 표시된 UI를 통해 상기 제1 임계값을 유지하는 사용자 입력이 수신되면, 상기 기 설정된 이벤트를 삭제하는 단계;를 더 포함하는, 제어 방법.
  20. 제11항에 있어서,
    상기 제1 임계값을 변경하는 단계는,
    상기 컨텍스트 정보에 기초하여 상기 기 설정된 이벤트에 대응되는 이벤트 신뢰도값을 획득하고,
    상기 획득된 이벤트 신뢰도값이 제3 임계값 이상이면, 상기 제1 임계값을 변경하는, 제어 방법.
KR1020210014988A 2021-02-02 2021-02-02 전자 장치 및 그 제어 방법 KR20220111574A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210014988A KR20220111574A (ko) 2021-02-02 2021-02-02 전자 장치 및 그 제어 방법
US17/424,412 US11929081B2 (en) 2021-02-02 2021-06-22 Electronic apparatus and controlling method thereof
PCT/KR2021/007819 WO2022169039A1 (ko) 2021-02-02 2021-06-22 전자 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210014988A KR20220111574A (ko) 2021-02-02 2021-02-02 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20220111574A true KR20220111574A (ko) 2022-08-09

Family

ID=82741249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210014988A KR20220111574A (ko) 2021-02-02 2021-02-02 전자 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US11929081B2 (ko)
KR (1) KR20220111574A (ko)
WO (1) WO2022169039A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024076139A1 (ko) * 2022-10-06 2024-04-11 삼성전자 주식회사 전자 장치 및 상기 전자 장치에서 사용자의 발화를 처리하는 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009092975A (ja) 2007-10-10 2009-04-30 Xanavi Informatics Corp 車載装置
US9892729B2 (en) * 2013-05-07 2018-02-13 Qualcomm Incorporated Method and apparatus for controlling voice activation
KR102158210B1 (ko) * 2013-09-04 2020-09-22 엘지전자 주식회사 음성 인식 장치 및 그 방법
US9240182B2 (en) * 2013-09-17 2016-01-19 Qualcomm Incorporated Method and apparatus for adjusting detection threshold for activating voice assistant function
US9953632B2 (en) 2014-04-17 2018-04-24 Qualcomm Incorporated Keyword model generation for detecting user-defined keyword
US9384738B2 (en) 2014-06-24 2016-07-05 Google Inc. Dynamic threshold for speaker verification
JP6363478B2 (ja) 2014-11-21 2018-07-25 日本電信電話株式会社 音声認識装置、音声認識方法及び音声認識プログラム
KR102623272B1 (ko) * 2016-10-12 2024-01-11 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20180086032A (ko) 2017-01-20 2018-07-30 삼성전자주식회사 전자장치, 전자장치의 제어방법 및 기록매체
US10715604B1 (en) * 2017-10-26 2020-07-14 Amazon Technologies, Inc. Remote system processing based on a previously identified user
US10567515B1 (en) * 2017-10-26 2020-02-18 Amazon Technologies, Inc. Speech processing performed with respect to first and second user profiles in a dialog session
KR102492727B1 (ko) 2017-12-04 2023-02-01 삼성전자주식회사 전자장치 및 그 제어방법
US10838954B1 (en) * 2017-12-14 2020-11-17 Amazon Technologies, Inc. Identifying user content
US11012575B1 (en) * 2018-02-15 2021-05-18 Amazon Technologies, Inc. Selecting meetings based on input requests
JP2019191490A (ja) * 2018-04-27 2019-10-31 東芝映像ソリューション株式会社 音声対話端末、および音声対話端末制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024076139A1 (ko) * 2022-10-06 2024-04-11 삼성전자 주식회사 전자 장치 및 상기 전자 장치에서 사용자의 발화를 처리하는 방법

Also Published As

Publication number Publication date
US11929081B2 (en) 2024-03-12
US20230154470A1 (en) 2023-05-18
WO2022169039A1 (ko) 2022-08-11

Similar Documents

Publication Publication Date Title
US11102624B2 (en) Automated messaging
TWI603258B (zh) 用於隨時聽取語音觸發之動態臨限值
KR101726945B1 (ko) 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감
US20190013025A1 (en) Providing an ambient assist mode for computing devices
KR102541718B1 (ko) 키 문구 사용자 인식의 증강
KR102127640B1 (ko) 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
CN106415719B (zh) 使用说话者识别的语音信号的稳健端点指示
US11264027B2 (en) Method and apparatus for determining target audio data during application waking-up
KR102193029B1 (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
JP2017516167A (ja) 個人の存在に関連するアクションの実行
CN109032345B (zh) 设备控制方法、装置、设备、服务端和存储介质
US11495223B2 (en) Electronic device for executing application by using phoneme information included in audio data and operation method therefor
KR102090948B1 (ko) 대화 기록 장치 및 그 방법
US20140044307A1 (en) Sensor input recording and translation into human linguistic form
WO2021212388A1 (zh) 一种交互沟通实现方法、设备和存储介质
US20190129517A1 (en) Remote control by way of sequences of keyboard codes
CN105871696B (zh) 一种信息发送、接收方法及移动终端
US11830501B2 (en) Electronic device and operation method for performing speech recognition
WO2016206646A1 (zh) 使机器装置产生动作的方法及系统
US11929081B2 (en) Electronic apparatus and controlling method thereof
US20200202738A1 (en) Robot and method of controlling the same
JP6950708B2 (ja) 情報処理装置、情報処理方法、および情報処理システム
EP3576392A1 (en) Information processing device, information processing method, and information processing system
KR102616156B1 (ko) 컨텐츠를 생성하기 위한 전자 장치
US11430429B2 (en) Information processing apparatus and information processing method