KR101921037B1 - 사용자로부터의 스피치 구문에 응답하여 컨텍스트 데이터에 기초하여 통지를 생성하는 전자 디바이스 - Google Patents

사용자로부터의 스피치 구문에 응답하여 컨텍스트 데이터에 기초하여 통지를 생성하는 전자 디바이스 Download PDF

Info

Publication number
KR101921037B1
KR101921037B1 KR1020187015239A KR20187015239A KR101921037B1 KR 101921037 B1 KR101921037 B1 KR 101921037B1 KR 1020187015239 A KR1020187015239 A KR 1020187015239A KR 20187015239 A KR20187015239 A KR 20187015239A KR 101921037 B1 KR101921037 B1 KR 101921037B1
Authority
KR
South Korea
Prior art keywords
notification
electronic device
speech
context data
generate
Prior art date
Application number
KR1020187015239A
Other languages
English (en)
Other versions
KR20180066251A (ko
Inventor
성락 윤
태수 김
성웅 김
희만 김
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20180066251A publication Critical patent/KR20180066251A/ko
Application granted granted Critical
Publication of KR101921037B1 publication Critical patent/KR101921037B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/66—Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/667—Preventing unauthorised calls from a telephone set
    • H04M1/67—Preventing unauthorised calls from a telephone set by electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H04M1/72569—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Telephone Function (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Alarm Systems (AREA)

Abstract

전자 디바이스의 사용자에게 경고하기 위해 전자 디바이스에 의해 통지를 생성하기 위한 방법이 개시된다. 이 방법에서, 스피치 구문이 수신될 수도 있다. 그 후, 수신된 스피치 구문이 프로세서에 의해, 통지를 생성하기 위한 커맨드로서 인식될 수도 있다. 추가로, 전자 디바이스의 하나 이상의 컨텍스트 데이터가 적어도 하나의 센서에 의해 검출될 수도 있다. 적어도 컨텍스트 데이터에 기초하여 통지가 생성될 것인지의 여부가 결정될 수도 있다. 통지는 프로세서에 의해, 컨텍스트 데이터 및 그 통지를 생성하기 위한 커맨드에 기초하여 생성될 수도 있다.

Description

사용자로부터의 스피치 구문에 응답하여 컨텍스트 데이터에 기초하여 통지를 생성하는 전자 디바이스
관련 출원(들) 에 대한 상호참조
본 출원은 2015 년 12 월 1 일자로 출원된 "ELECTRONIC DEVICE GENERATING NOTIFICATION BASED ON CONTEXT DATA IN RESPONSE TO SPEECH PHRASE FROM USER" 라는 명칭의 공동 소유의 미국 특허 출원 제 14/956,180 호로부터 우선권의 이점을 청구하며, 그 전체 내용들은 참조에 의해 본원에 통합된다.
본 개시의 분야
본 개시는 일반적으로 전자 디바이스에 의한 통지를 생성하는 것에 관한 것이고, 보다 구체적으로는, 전자 디바이스의 사용자에게 경고하기 위한 통지를 생성하는 것에 관한 것이다.
최근, 스마트 폰들, 태블릿 컴퓨터들, 웨어러블 컴퓨터들 등과 같은 전자 디바이스들의 사용이 보편화되었다. 이들 디바이스들은 종종, 유선 또는 무선 네트워크들을 통해 보이스 및/또는 데이터 통신 기능들을 제공한다. 또한, 이러한 디바이스들은 사운드 프로세싱, 이미지 또는 비디오 프로세싱, 내비게이션, 음악 또는 멀티미디어 파일들의 재생 등과 같은 사용자 편의를 향상시키도록 설계된 다양한 기능들을 제공할 수도 있다.
이러한 기능들 중에서, 종래의 전자 디바이스들은 종종, 스피치 인식 기능을 구비한다. 이러한 전자 디바이스들은 사용자로부터 보이스 커맨드를 수신하고 인식하는 것에 응답하여 기능을 수행할 수도 있다. 예를 들어, 스피치 인식 기능을 구비한 전자 디바이스는 사용자로부터의 보이스 커맨드에 응답하여 애플리케이션을 활성화하거나, 오디오 파일을 플레이하거나, 또는 사진을 찍을 수도 있다.
때때로, 전자 디바이스들은 사용자들에 의해 분실되거나 잘못 배치될 수도 있다. 이러한 경우에, 일부 종래의 전자 디바이스들은 사용자들이 전자 디바이스들을 찾는 것을 돕기 위해 경고음 또는 메시지를 출력하도록 구성된다. 예를 들어, 전자 디바이스는 사용자로부터의 보이스 커맨드에 응답하여 경고음을 생성함으로써 사용자에게 그의 위치를 경고할 수도 있다. 전자 디바이스는 또한, 전자 디바이스의 위치를 사용자에게 알리기 위해 사용자의 다른 전자 디바이스로 메시지를 송신할 수도 있다.
그러나, 어떤 상황들에서는 경고음들이 잘못 생성될 수도 있다. 예를 들어, 전자 디바이스를 찾기 위한 보이스 커맨드가 그 또는 그녀 소유의 전자 디바이스에 대해 의도된 다른 사람으로부터 사용자의 전자 디바이스에 의해 수신되면, 사용자의 전자 디바이스는 보이스 커맨드에 응답하여 경고음을 생성할 수도 있다. 또한, 도서관, 극장, 회의실 등과 같은 일부 위치들에서 전자 디바이스들의 오디오 기능들을 사용하는 것은 제한되거나 한정될 수도 있다. 이러한 환경에서, 사용자 또는 다른 사람으로부터의 보이스 커맨드에 응답하여 전자 디바이스를 로케이팅하기 위한 경고음을 생성하는 것은 바람직하지 않을 수도 있다.
본 개시는 전자 디바이스의 컨텍스트 데이터 및 통지를 생성하기 위한 커맨드에 기초하여 전자 디바이스의 사용자에게 경고하기 위해 통지를 생성하는 것에 관한 것이다.
본 개시물의 일 양태에 따르면, 전자 디바이스의 사용자에게 경고하기 위해 전자 디바이스에 의해 통지를 생성하기 위한 방법이 개시된다. 이 방법에서, 스피치 구문이 수신될 수도 있다. 그 후, 수신된 스피치 구문이 프로세서에 의해, 통지를 생성하기 위한 커맨드로서 인식될 수도 있다. 추가로, 전자 디바이스의 하나 이상의 컨텍스트 데이터가 적어도 하나의 센서에 의해 검출될 수도 있다. 적어도 컨텍스트 데이터에 기초하여 통지가 생성될 것인지의 여부가 결정될 수도 있다. 통지는 프로세서에 의해, 컨텍스트 데이터 및 그 통지를 생성하기 위한 커맨드에 기초하여 생성될 수도 있다. 본 개시는 또한, 상기 방법에 관련된 컴퓨터 판독가능 매체를 설명한다.
본 개시물의 다른 양태에 따르면, 전자 디바이스의 사용자에게 경고하기 위해 통지를 생성하기 위한 전자 디바이스가 개시된다. 전자 디바이스는 사운드 센서, 스피치 인식 유닛, 센서 유닛, 프로세서, 및 출력 유닛을 포함할 수도 있다. 사운드 센서는 스피치 구문을 수신하도록 구성될 수도 있고, 스피치 인식 유닛은 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하도록 구성될 수도 있다. 추가로, 센서 유닛은 전자 디바이스의 컨텍스트 데이터를 검출하도록 구성될 수도 있다. 추가로, 프로세서는 컨텍스트 데이터 및 커맨드에 기초하여 통지를 생성하도록 구성될 수도 있다. 출력 유닛은 통지를 나타내는 가청 사운드, 진동, 또는 가시광 중 적어도 하나를 생성하도록 구성될 수도 있다. 추가로, 프로세서는 컨텍스트 데이터에 기초하여 통지가 생성될 것인지 여부를 결정하도록 구성된, 통지 프로세싱 유닛을 포함할 수도 있다.
본 개시물의 발명적 양태들의 실시형태들은 첨부한 도면들과 함께 읽을 때 이하 상세한 설명을 참조하여 이해될 것이다.
도 1 은 본 개시의 일 실시형태에 따라, 전자 디바이스의 컨텍스트 데이터에 기초하여 전자 디바이스의 사용자에게 경고하기 위해 통지를 생성하도록 구성된 전자 디바이스를 도시한다.
도 2 는 본 개시의 일 실시형태에 따라, 전자 디바이스의 컨텍스트 데이터에 기초하여 사용자에 대한 통지를 생성하도록 구성된 전자 디바이스의 블록 다이어그램을 도시한다.
도 3 은 본 개시의 일 실시형태에 따라, 전자 디바이스의 컨텍스트 데이터를 검출하도록 구성된 센서 유닛의 블록 다이어그램을 도시한다.
도 4 는 본 개시의 일 실시형태에 따라, 전자 디바이스의 컨텍스트 데이터에 기초하여 통지를 생성하기 위해 전자 디바이스에서 프로세서에 의해 수행된 방법의 플로우 차트를 도시한다.
도 5 는 본 개시의 일 실시형태에 따라, 통지가 컨텍스트 데이터에 기초하여 생성될 것인지 여부를 결정하기 위해 프로세서 내의 통지 프로세싱 유닛에 의해 수행된 방법의 플로우 차트를 도시한다.
도 6 은 본 개시의 일 실시형태에 따라, 전자 디바이스로 향하는 방향에서 사용자에 의해 스피킹된 입력 사운드를 도시한다.
도 7 은 본 개시의 일 실시형태에 따라, 전자 디바이스로 향하는 방향 이외의 방향에서 사용자에 의해 스피킹된 입력 사운드를 도시한다.
도 8 은 본 개시의 일 실시형태에 따라, 제 1 스피치 구문 및 제 2 스피치 구문의 수신 시간들에 기초하여 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하는 것을 도시한다.
도 9 는 본 개시의 일 실시형태에 따라, 전자 디바이스의 위치 정보를 포함하는 통지를 사용자의 외부 디바이스로 송신하도록 구성된 전자 디바이스를 도시한다.
도 10 은 본 개시의 일 실시형태에 따라, 전자 디바이스를 록킹 또는 언록킹하기 위해 프로세서에 의해 수행된 방법의 플로우 차트를 도시한다.
도 11 은 본 개시의 일 실시형태에 따라, 컨텍스트 데이터 및 통지를 생성하기 위한 커맨드에 기초하여 통지를 생성하기 위한 방법들 및 장치들이 구현될 수도 있는 예시적인 전자 디바이스의 블록 다이어그램이다.
여러 가지 실시형태들에 대한 참조가 지금부터 상세히 이루어질 것인데, 그 예들은 첨부된 도면들에서 예시된다. 이하 상세한 설명에서, 본 개시의 방법적 양태들의 완전한 이해를 제공하기 위해 다양한 구체적인 세부사항들이 제시된다. 그러나, 이들 구체적인 세부사항들 없이도 본 개시의 발명적 양태들이 실시될 수도 있음이 당업자에게 명백할 것이다. 다른 예시들에서, 잘 알려진 방법들, 절차들, 시스템들, 및 컴포넌트들은 여러 실시형태들의 양태들을 불필요하게 모호하게 하지 않도록 하기 위해 상세히 설명되지 않는다.
도 1 은 본 개시의 일 실시형태에 따라, 전자 디바이스 (120) 의 컨텍스트 데이터에 기초하여 전자 디바이스 (120) 의 사용자 (110) 에게 경고하기 위해 통지를 생성하도록 구성된 전자 디바이스 (120) 를 도시한다. 도시된 바와 같이, 사용자 (110) 및 전자 디바이스 (120) 는 룸 (100) 에 로케이팅될 수도 있다. 전자 디바이스는 책상 (102) 위에 배치되고 복수의 책들 (104) 에 의해 덮일 수도 있어서, 사용자 (110) 가 전자 디바이스 (120) 를 찾을 수 없을 수도 있다. 본 명세서에 도시된 바와 같이, 전자 디바이스 (120) 는 스마트 폰, 디지털 카메라, 웨어러블 컴퓨터 (예를 들어, 스마트 안경, 스마트 워치 등), 퍼스널 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 게임 디바이스 등과 같은 사운드들을 수신하고 프로세싱하도록 구성된 임의의 적절한 디바이스일 수도 있다.
전자 디바이스 (120) 를 로케이팅하기 위해, 사용자 (110) 는 전자 디바이스 (120) 의 사용자 (110) 에게 경고하기 위해 통지를 생성하기 위한 커맨드를 나타내는 스피치 구문을 스피킹할 수도 있다. 전자 디바이스 (120) 는 전자 디바이스 (120) 내의 사운드 센서 (130) 를 통해 사용자 (110) 로부터 스피치 구문을 수신할 수도 있다. 스피치 구문은 도 8 을 참조하여 아래에서 보다 상세히 설명되는 바와 같이, 하나 이상의 미리결정된 키워드들 및/또는 하나 이상의 자연어 구문들일 수도 있다. 스피치 구문을 수신하면, 전자 디바이스 (120) 는 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식할 수도 있다.
스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하면, 전자 디바이스 (120) 는 전자 디바이스 (120) 의 컨텍스트 데이터를 검출할 수도 있다. 본 명세서에 사용된 바와 같이, 전자 디바이스의 "컨텍스트 데이터" 라는 용어는 전자 디바이스의 주변광 레벨, 주변 사운드 레벨, 현재 시간, 현재 위치 등과 같은 전자 디바이스의 환경 조건을 설명하거나 특징짓는 임의의 데이터 또는 정보, 및 전자 디바이스 (120) 가 사용자 (110) 에 의해 사용되고 있는지 여부를 나타내는 사용 데이터, 예컨대 전자 디바이스의 움직임을 나타내는 데이터, 사용자 (110) 의 이미지, 전자 디바이스에 의해 검출된 사용자 입력 (예를 들어, 키 입력, 터치 입력, 스피치 입력, 등), 확인되지 않은 인커밍 통신을 나타내는 이벤트, 및/또는 전자 디바이스를 향하는 방향 이외의 방향에서 스피킹된 입력 사운드 (예를 들어, 스피치 커맨드) 일 수도 있다.
컨텍스트 데이터 및 통지를 생성하기 위한 커맨드에 기초하여, 전자 디바이스 (120) 는 통지를 생성할 수도 있다. 일 실시형태에서, 전자 디바이스 (120) 는 통지가 컨텍스트 데이터 및 그 통지를 생성하기 위한 커맨드에 기초하여 생성될 것인지 여부를 결정할 수도 있다. 통지가 생성될 것으로 결정하면, 전자 디바이스 (120) 는 전자 디바이스 (120) 의 사용자에게 경고하도록 구성된 통지를 생성하고 출력할 수도 있다. 통지는 스피커, 진동 유닛, 광 출력 유닛 (예를 들어, 디스플레이 스크린, LED 플래시, 등), 통신 유닛 등과 같은 임의의 적합한 출력 유닛들을 사용하여 출력될 수도 있으며, 이는 전자 디바이스 (120) 의 위치 또는 존재를 표시하는 출력을 제공하고 사용자 (110) 에게 전자 디바이스 (120) 를 찾거나 로케이팅하게 할 수도 있다.
다른 한편으로, 전자 디바이스 (120) 는 전자 디바이스 (120) 의 컨텍스트 데이터에 기초하여 통지가 생성되지 않을 것으로 결정할 수도 있다. 예를 들어, 컨텍스트 데이터가 전자 디바이스 (120) 가 사용자 (110) 에 의해 사용되고 있거나 라이브러리에 위치되는 것을 나타낸다면, 전자 디바이스 (120) 는 통지가 생성되지 않을 것으로 결정할 수도 있다. 이 경우, 전자 디바이스 (120) 가 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식한 경우에도, 통지는 생성되지 않을 수도 있다. 이러한 방식으로, 바람직하지 않거나 부주의한 통지가 생성되고 출력되는 것을 방지하기 위해 전자 디바이스 (120) 의 컨텍스트 데이터에 기초하여 통지의 생성이 제어될 수도 있다.
도 2 는 본 개시의 일 실시형태에 따라, 전자 디바이스 (120) 의 컨텍스트 데이터에 기초하여 사용자 (110) 에 대한 통지를 생성하도록 구성된 전자 디바이스 (120) 의 블록 다이어그램을 도시한다. 전자 디바이스 (120) 는 사운드 센서 (130), 센서 유닛 (210), 출력 유닛 (220), 통신 유닛 (230), 저장 유닛 (240) 및 프로세서 (250) 를 포함할 수도 있다. 프로세서 (250) 는 스피치 인식 유닛 (252), 보이스 어시스턴트 유닛 (254), 및 통지 프로세싱 유닛 (256) 을 포함할 수도 있다. 프로세서 (250) 는 애플리케이션 프로세서 (AP), 중앙 프로세싱 유닛 (CPU), 디지털 신호 프로세서 (DSP) 등과 같은 전자 디바이스 (120) 를 관리 및 조작하기 위한 임의의 적합한 프로세서일 수도 있다. 사운드 센서 (130) 는 센서 유닛 (210) 과 별개의 컴포넌트일 수도 있거나 또는 센서 유닛 (210) 에 포함될 수도 있으며, 사운드를 수신하고 사운드를 나타내는 전자 신호들로 컨버팅할 수 있는 임의의 적절한 디바이스일 수도 있다. 본 명세서에 사용된 바와 같이, "유닛"이라는 용어는 하나 이상의 기능들을 수행하는 것이 가능하거나 수행하도록 적응되는 하나 이상의 하드웨어 컴포넌트들, 섹션들, 부품들 또는 회로를 지칭할 수도 있으며, 프로세스들, 명령들, 프로시저들, 서브 루틴들 등 (예컨대, 프로그램 코드, 마이크로 코드 등) 과 결합하거나 이를 실행함으로써 그러한 기능들을 추가로 수행할 수도 있다. 차례로, "유닛" 은 더 작은 유닛들 (예컨대, 서브-유닛들) 로 세그먼트화될 수도 있거나 2 이상의 유닛들이 단일 "유닛" 으로 결합될 수도 있다.
전자 디바이스 (120) 에서, 사운드 센서 (130) 는 사용자 (110) 로부터 스피치 구문을 수신하도록 구성될 수도 있다. 스피치 구문을 수신하면, 사운드 센서 (130) 는 스피치 구문을 프로세서 (250) 의 스피치 인식 유닛 (252) 에 제공할 수도 있다. 프로세서 (250) 내의 스피치 인식 유닛 (252) 은 은닉 마르코브 모델 (Hidden Markov Model), 딥 뉴럴 네트워크들 (Deep Neural Networks), 등등과 같은 임의의 적절한 스피치 인식 방식을 사용하여 통지를 생성하기 위한 커맨드와 같이, 기능을 수행하기 위한 커맨드로서 스피치 구문을 인식하도록 구성될 수도 있다. 스피치 구문이 통지를 생성하기 위한 커맨드로서 인식되면, 스피치 인식 유닛 (252) 은 통지를 생성하기 위한 커맨드를 프로세서 (250) 의 통지 프로세싱 유닛 (256) 에 제공할 수도 있다. 이 경우, 통지 프로세싱 유닛 (256) 은 비활성화 상태에 있을 수도 있고, 통지를 생성하기 위한 커맨드를 인식할 때 스피치 인식 유닛 (252) 에 의해 활성화될 수도 있다. 대안적으로, 통지 프로세싱 유닛 (256) 은 스피치 인식 유닛 (252) 으로부터 통지를 생성하기 위한 커맨드를 수신하기 위해 이미 활성화될 수도 있다.
일부 실시형태들에 따르면, 스피치 구문은 적어도 제 1 스피치 구문 및 제 2 스피치 구문을 포함할 수도 있으며, 이들 각각은 미리결정된 키워드 또는 구문일 수도 있다. 예를 들어, 스피치 인식 유닛 (252) 은 제 1 스피치 구문 (예를 들어, "Hey Snapdragon") 을 인식하고, 프로세서 (250) 의 보이스 어시스턴트 유닛 (254) 을 활성화할 수도 있다. 보이스 어시스턴트 유닛 (254) 은 사운드 센서 (130) 를 통해 제 2 스피치 구문 (예를 들면, "Where are you?") 을 수신하고, 제 2 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식할 수도 있다. 제 2 스피치 구문을 인식하면, 보이스 어시스턴트 유닛 (254) 은 통지 프로세싱 유닛 (256) 을 활성화하고, 인식된 통지를 생성하기 위한 커맨드를 통지 프로세싱 유닛 (256) 에 제공할 수도 있다.
전자 디바이스 (120) 에서, 센서 유닛 (210) 은 전자 디바이스들의 컨텍스트 데이터를 검출할 수 있는 임의의 적절한 수 및 유형의 센서들 또는 디바이스들을 포함할 수도 있다. 예를 들어, 센서 유닛 (210) 은 도 3 을 참조하여 보다 상세히 설명하는 바와 같이, 사운드 센서 (예컨대, 사운드 센서 (130)), 이미지 센서, 모션 센서, 클록 유닛, 위치 센서, 입력부 등을 포함할 수도 있다. 센서 유닛 (210) 은 컨텍스트 데이터, 예컨대 사용자 입력, 사용자 (110) 의 이미지, 환경 조건 (예를 들어, 위치 정보, 타이밍 정보, 주변광 값), 전자 디바이스 (120) 의 움직임, 확인응답되지 않은 인커밍 통신을 나타내는 이벤트, 및/또는 전자 디바이스 (120) 를 향하는 방향 이외의 방향으로 스피킹된 입력 사운드 (예를 들어, 스피치 커맨드) 를 검출하고, 컨텍스트 데이터를 통지 프로세싱 유닛 (256) 에 제공할 수도 있다. 일 실시형태에서, 센서 유닛 (210) 은 컨텍스트 데이터를 연속적으로, 주기적으로 또는 간헐적으로 모니터링하도록 구성될 수도 있다. 부가적으로 또는 대안적으로, 센서 유닛 (210) 은 통지를 생성하기 위한 커맨드를 나타내는 스피치 구문을 수신 및/또는 인식할 때 컨텍스트 데이터를 검출하도록 구성될 수도 있다.
통지를 생성하기 위한 커맨드를 수신하면, 통지 프로세싱 유닛 (256) 은 센서 유닛 (210) 및/또는 사운드 센서 (130) 로부터 수신된 컨텍스트 데이터에 기초하여 통지가 생성될지 여부를 결정하도록 구성 될 수도 있다. 예를 들어, 컨텍스트 데이터가 전자 디바이스 (120) 가 사용자 (110) 에 액세스할 수 없게 될 (예를 들어, 분실되거나 잘못 배치될) 가능성이 있다고 나타내는 경우, 전자 디바이스 (120) 의 통지 프로세싱 유닛 (256) 은 통지가 생성될 것으로 결정할 수도 있다. 다른 한편으로, 컨텍스트 데이터가 전자 디바이스 (120) 의 사용이 제한될 수도 있는, 도서관, 영화관 등의 장소에 전자 디바이스 (120) 가 위치된다고 나타내는 경우, 통지 프로세싱 유닛 (256) 은 통지가 생성되지 않을 것으로 결정할 수도 있다.
통지 프로세싱 유닛 (256) 은 컨텍스트 데이터 및 통지를 생성하기 위한 인식된 커맨드에 기초하여 통지를 생성할 것을 출력 유닛 (220) 에 명령하도록 구성될 수도 있다. 일 실시형태에 따르면, 컨텍스트 데이터에 기초하여 통지가 생성될 것으로 결정하는 것에 응답하여, 통지 프로세싱 유닛 (256) 은 출력 유닛 (220) 에 의한 통지의 생성을 제어하도록 구성된 하나 이상의 신호들을 생성할 수도 있다. 예를 들어, 통지 프로세싱 유닛 (256) 은 통지가 생성될 것으로 결정하면 통지를 생성하도록 출력 유닛 (220) 을 활성화 및/또는 지시하기 위해 하나 이상의 신호를 제공할 수도 있다. 다른 한편으로, 통지 프로세싱 유닛 (256) 은 컨텍스트 데이터에 기초하여 통지가 생성되지 않을 것으로 결정할 수도 있다. 이 경우, 통지 프로세싱 유닛 (256) 은 통지를 생성하기 위해 출력 유닛 (220) 에 지시하기 위한 어떤 신호도 제공하지 않을 수도 있고, 또는 통지의 생성을 방지하기 위해 출력 유닛 (220) 을 비활성화 및/또는 지시하기 위한 하나 이상의 신호들을 제공할 수도 있다. 이러한 방식으로, 사용자 (110) 로부터 수신된 스피치 구문이 통지를 생성하기 위한 커맨드로서 인식되는 경우에도, 컨텍스트 데이터에 기초하여 통지가 출력되지 않을 수도 있다.
출력 유닛 (220) 은 컨텍스트 데이터 및 통지를 생성하기 위한 커맨드에 기초하여 통지를 생성하도록 구성될 수도 있다. 본원에서 설명된 바와 같이, 출력 유닛 (220) 은 통지 프로세싱 유닛 (256) 으로부터의 하나 이상의 제어 신호들에 응답하여 통지를 출력할 수 있는 임의의 적절한 컴포넌트일 수도 있다. 일 실시형태에서, 출력 유닛 (220) 은 스피커 (222), 진동 유닛 (224), 디스플레이 스크린 (226), LED 유닛 (228), 또는 이들의 임의의 조합 중 어느 하나를 포함할 수도 있다. 예를 들어, 전자 디바이스 (120) 내의 스피커 (222) 는 사용자 (110) 가 전자 디바이스 (120) 를 찾는 것을 돕기 위해 가청 사운드 (예를 들어, 경고 음, 벨소리 등) 를 출력할 수도 있다. 부가적으로 또는 대안적으로, 진동 유닛 (224) 은 진동할 수도 있거나, 디스플레이 스크린 (226) 또는 LED 유닛 (228) 은 가시광을 출력할 수도 있다. 부가적인 또는 대안적인 실시형태에서, 통지 프로세싱 유닛 (256) 은 통지 (예를 들어, 센서 유닛 (210) 내의 위치 센서로부터 획득될 수도 있는 전자 디바이스의 위치를 나타내는 메시지) 를 생성할 수 있고, 사용자 (110) 와 연관된 외부 디바이스에 통신 유닛 (230) 을 통해 통지를 송신할 수도 있다.
전자 디바이스 (120) 내의 저장 유닛 (240) 은 전자 디바이스 (120) 가 통지를 생성하기 위한 하나 이상의 미리결정된 스피치 구문들의 커맨드 데이터베이스 (도시되지 않음) 를 저장할 수도 있다. 커맨드 데이터베이스는 프로세서 (250) 내의 스피치 인식 유닛 (252) 및/또는 보이스 어시스턴트 유닛 (254) 에 의해 액세스되어 수신된 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식할 수도 있다. 일부 실시형태들에서, 저장 유닛 (240) 은 컨텍스트 데이터에 기초하여 통지가 생성될 것인지 여부를 결정하는데 사용하기 위해 프로세서 (250) 내의 통지 프로세싱 유닛 (256) 에 의해 액세스될 수도 있는 컨텍스트 데이터베이스 (비도시) 를 저장할 수도 있다. 컨텍스트 데이터베이스는 통지가 생성되지 않을 미리결정된 위치, 통지가 생성되지 않을 미리결정된 시간 주기, 등등과 같이, 통지가 생성될 것인지 여부를 결정하기 위해 사용될 수도 있는 임의의 적절한 타입의 데이터 또는 정보를 저장하도록 구성될 수도 있다. 일 실시형태에서, 컨텍스트 데이터는 센서 유닛 (210) 에 의해 연속적으로, 주기적으로 또는 간헐적으로 수신된 컨텍스트 데이터에 기초하여 업데이트될 수도 있다. 저장 유닛 (240) 은 임의의 적절한 스토리지 또는 메모리 디바이스들, 예컨대 RAM (Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), 플래시 메모리, 또는 SSD (solid state drive) 를 사용하여 구현될 수도 있다.
도 3 은 본 개시의 일 실시형태에 따라, 전자 디바이스 (120) 의 컨텍스트 데이터를 검출하도록 구성된 센서 유닛 (210) 의 블록 다이어그램을 도시한다. 센서 유닛 (210) 은 사운드 센서 (130), 이미지 센서 (310), 움직임 센서 (320) (예컨대, 가속도계, 자이로스코프, 등), 클록 유닛 (330), 위치 센서 (340), 및 입력 유닛 (350) (예컨대, 터치 스크린, 키 또는 버튼 등) 을 포함할 수도 있다. 센서들 (130, 310, 320, 330, 340, 및 350) 은 프로세서 (250) 의 통지 프로세싱 유닛 (250) 에 제공될 수도 있는 하나 이상의 입력들을 컨텍스트 데이터로서 검출할 수도 있다.
사운드 센서 (130) 는 입력 사운드를 수신하고, 입력 사운드를, 통지 프로세싱 유닛 (256) 에 컨텍스트 데이터로서 출력될 수도 있는 사운드 데이터로 컨버팅하도록 구성될 수도 있다. 사운드 센서 (130) 는 하나 이상의 마이크로폰들 또는 입력 사운드를 수신하고, 캡처하고, 감지하고, 및/또는 검출하는데 사용될 수 있는 임의의 다른 타입의 사운드 센서들을 포함할 수도 있고, 그러한 기능들을 수행하기 위해 임의의 적절한 소프트웨어 및/또는 하드웨어를 채용할 수도 있다. 일 실시형태에서, 사운드 센서 (130) 는 사용자 (110) 로부터 스피킹된 스피치 구문을 포함하는 입력 사운드를 수신할 수도 있다. 입력 사운드는 또한, 배경 사운드, 잡음 등과 같이 전자 디바이스 (120) 의 또는 사용자 (110) 로부터의 환경 사운드를 포함할 수도 있다. 입력된 사운드가 수신됨에 따라, 사운드 센서 (130) 는 사운드 데이터를 생성할 수도 있으며, 사운드 데이터는 컨텍스트 데이터로서 통지 프로세싱 유닛 (256) 에 제공될 수도 있다.
일 실시형태에 따르면, 사운드 센서 (130) 는 또한, 사용자 (110) 로부터 통지를 생성하기 위한 커맨드로서 스피치 구문을 수신하고 그 스피치 구문을 스피치 인식 유닛 (252) 에 제공하도록 구성될 수도 있다. 다른 실시형태에서, 스피치 구문은 제 1 스피치 구문 및 제 2 스피치 구문을 포함할 수도 있다. 이 경우에, 사운드 센서 (130) 는 스피치 인식 유닛 (252) 에 제 1 스피치 구문을 제공할 수도 있으며, 스피치 인식 유닛 (252) 은 제 1 스피치 구문을 보이스 어시스턴트 유닛 (254) 을 활성화하기 위한 커맨드로서 인식할 시 보이스 어시스턴트 유닛 (254) 을 활성화할 수도 있다. 보이스 어시스턴트 유닛 (254) 은 사운드 센서 (130) 로부터 제 2 스피치 구문을 수신하고 그 구문을 통지를 생성하기 위한 커맨드로서 인식할 수도 있다.
센서 유닛 (210) 에서, 이미지 센서 (310) 는 얼굴, 눈, 입술, 또는 사용자의 손과 같은 하나 이상의 이미지들을 캡처하도록 구성될 수도 있다. 이미지들은 또한, 사용자 또는 전자 디바이스 (120) 의 배경 이미지를 포함할 수도 있다. 일 실시형태에 따르면, 이미지 센서 (310) 는 얼굴, 눈 (예를 들어, 홍채), 또는 사용자를 식별하는데 사용될 수 있는 임의의 다른 물리적 이미지들의 이미지를 캡처할 수도 있다. 다른 실시형태에 따르면, 전자 디바이스 (120) 의 주변광 레벨은 이미지 센서 (310) 에 의해 검출될 수도 있다. 이미지 센서 (310) 는 이미지들 및/또는 주변광 레벨을 컨텍스트 데이터로서 프로세서 (250) 의 통지 프로세싱 유닛 (256) 에 제공할 수도 있다. 본 명세서에 설명된 바와 같이, 이미지 센서 (310) 는 이미지 또는 광 레벨을 캡처하거나 감지할 수 있는 임의의 적합한 이미지 또는 광 감지 디바이스 (예를 들어, 카메라, 카메라 모듈, 전하 결합 디바이스, 등) 일 수도 있다.
움직임 센서 (320) 는 전자 디바이스 (120) 의 움직임을 검출하도록 구성될 수도 있다. 일 실시형태에서, 움직임 센서 (320) 는 전자 디바이스 (120) 의 배향들 및/또는 가속도를 모니터링하고 전자 디바이스 (120) 의 배향 또는 모션의 변화를 나타내는 데이터를 생성하도록 구성된 자이로스코프 및/또는 가속도계일 수도 있다. 예를 들어, 자이로스코프는 전자 디바이스 (120) 의 모션 또는 움직임을 추적하기 위해 전자 디바이스 (120) 의 배향들을 검출할 수도 있다. 다른 한편으로, 가속도계는 전자 디바이스 (120) 의 모션을 추적하기 위해 전자 디바이스 (120) 의 가속도 또는 배향들을 검출할 수도 있다. 전자 디바이스 (120) 의 배향 또는 모션의 변화를 나타내는 생성된 데이터는 컨텍스트 데이터로서 통지 프로세싱 유닛 (256) 에 제공될 수도 있다.
센서 유닛 (210) 의 클록 유닛 (330) 은 전자 디바이스 (120) 의 타이밍 정보 (예를 들면, 현재 시간) 를 검출하고, 검출된 타이밍 정보를 컨텍스트 데이터로서 출력하도록 구성될 수도 있다. 클록 유닛 (330) 은 전자 디바이스 (120) 에 임베딩되고 현재 시간을 추적하도록 구성된 타이밍 디바이스 또는 클록일 수도 있다. 부가적으로 또는 대안적으로, 클록 유닛 (330) 은 CPU 클록으로서 프로세서 (250) 에서 구현되거나, 통신 유닛 (230) 을 통해 외부 네트워크로부터 타이밍 정보를 수신하거나, 또는 위치 센서 (340) 를 통해 수신된 GPS 시간 정보를 사용하여 현재 시간을 추적할 수도 있다. 클록 유닛 (330) 은 컨텍스트 데이터로서 타이밍 정보를 통지 프로세싱 유닛 (256) 에 제공할 수도 있다.
위치 센서 (340) 는 전자 디바이스 (120) 의 위치 정보 (예를 들어, 현재 위치) 를 검출하고, 검출된 위치 정보를 컨텍스트 데이터로서 출력하도록 구성될 수도 있다. 일 실시형태에서, 위치 센서 (340) 는 복수의 GPS 위성들로부터 수신된 GPS 신호들에 기초하여 GPS 위치 정보 및 타이밍 정보를 검출하도록 구성된 GPS 수신기일 수도 있다. 부가적으로 또는 대안적으로, 위치 센서 (340) 는 복수의 Wi-Fi 액세스 포인트들 또는 셀 타워 기지국들로부터 신호들을 수신하고 전자 디바이스 (120) 의 위치 정보를 검출하도록 구성된 무선 수신기일 수도 있다. 위치 센서 (340) 는 전자 디바이스 (120) 의 위도, 경도 및 고도의 세트를 포함 할 수도 있는 위치 정보를, 컨텍스트 데이터로서 통지 프로세싱 유닛 (256) 에 제공할 수도 있다.
입력 유닛 (350) 은 전자 디바이스 (120) 의 사용자로부터의 입력 (예를 들면, 수동 입력) 을 검출하고, 검출된 입력을 컨텍스트 데이터로서 출력하도록 구성될 수도 있다. 일 실시형태에서, 입력 유닛 (350) 은 사용자로부터의 입력 (예를 들어, 사용자 입력) 을 수신하기 위한 임의의 적절한 입력 디바이스들일 수 있고, 터치 스크린, 버튼, 키패드, 터치패드 등을 포함할 수도 있다. 입력 유닛 (350) 은 검출된 사용자로부터의 입력을 컨텍스트 데이터로서 통지 프로세싱 유닛 (256) 에 제공할 수도 있다.
도 4 는 본 개시의 일 실시형태에 따라, 전자 디바이스 (120) 의 컨텍스트 데이터에 기초하여 통지를 생성하기 위해 전자 디바이스 (120) 에서 프로세서에 의해 수행된 방법의 플로우 차트를 도시한다. 초기에, 410 에서 프로세서 (250) 는 사운드 센서 (130) 를 통해 사용자로부터 스피치 구문을 수신할 수도 있다. 하나의 실시형태에서, 프로세서 (250) 내의 스피치 인식 유닛 (252) 은 수신된 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식할 수도 있다. 대안적으로, 스피치 인식 유닛 (252) 은 사운드 센서 (130) 를 통해 보이스 어시스턴트 유닛 (254) 을 활성화하기 위한 커맨드로서 제 1 스피치 구문을 수신하고, 제 1 스피치 구문을 활성화 커맨드로서 인식할 시 보이스 어시스턴트 유닛 (254) 을 활성화할 수도 있다. 보이스 어시스턴트 유닛 (254) 은 사운드 센서 (130) 로부터 제 2 스피치 구문을 수신하고, 그 구문을 통지를 생성하기 위한 커맨드로서 인식할 수도 있다. 그 후, 통지를 생성하기 위한 커맨드는 통지 프로세싱 유닛 (256) 에 제공될 수도 있다.
통지를 생성하기 위한 커맨드에 응답하여, 430 에서 통지 프로세싱 유닛 (256) 은 센서 유닛 (210) 에서의 하나 이상의 센서들로부터 전자 디바이스 (120) 의 컨텍스트 데이터를 수신할 수도 있다. 일 실시형태에서, 통지 프로세싱 유닛 (256) 은 적어도, 사용자 입력, 전자 디바이스의 움직임, 타이밍 정보, 전자 디바이스의 위치 정보, 주변광 값, 및 입력 사운드 중에서 하나에 기초하여 컨텍스트 데이터를 수신할 수도 있다. 부가적으로 또는 대안적으로, 프로세서 (250) 는 또한, 확인응답되지 않은 인커밍 통신을 나타내는 이벤트를 컨텍스트 데이터로서 검출할 수도 있다. 예를 들어, 프로세서 (250) 는 통신 유닛 (230) 을 통해 인커밍 통신 (예를 들어, 메시지, 이메일 등) 을 수신하고 저장 유닛 (240) 에 인커밍 통신을 저장할 수도 있다. 사용자 (110) 가 인커밍 통신을 검토할 때까지, 프로세서 (250) 는 인커밍 통신이 사용자 (110) 에 의해 확인응답 (예를 들어, 검토) 되지 않았다고 결정하고, 따라서 확인응답되지 않은 인커밍 통신을 컨텍스트 데이터로서 검출할 수도 있으며, 이는 프로세서 (250) 내의 통지 프로세싱 유닛 (256) 에 제공될 수도 있다. 부가적으로 또는 대안적으로, 센서 유닛 (210) 은 확인응답되지 않은 인커밍 통신을 나타내는 이벤트를 컨텍스트 데이터로서 검출할 수도 있는 개별 프로세싱 유닛을 포함할 수도 있다.
440 에서, 통지 프로세싱 유닛 (256) 은 컨텍스트 데이터 및 통지를 생성하기 위한 커맨드에 기초하여 통지를 생성할지 여부를 결정할 수도 있다. 일 실시형태에서, 인식된 통지를 생성하기 위한 커맨드에 응답하여, 통지 프로세싱 유닛 (256) 은 컨텍스트 데이터에 기초하여 통지가 생성될 것으로 결정할 수도 있다. 이 경우, 통지 프로세싱 유닛 (256) 은 센서 유닛 (210) 및/또는 프로세서 (250) 또는 이들의 임의의 조합으로부터의 하나 이상의 컨텍스트 데이터, 예컨대 사용자 입력, 사용자 (110) 의 이미지, 환경적 조건 (예컨대, 위치 정보, 타이밍 정보, 주변광 값), 전자 디바이스 (120) 의 움직임, 확인응답되지 않은 인커밍 통신을 나타내는 이벤트, 및/또는 입력 사운드 (예를 들어, 스피치 커맨드) 를 분석할 수도 있다. 사용자 (110) 의 이미지의 경우에, 통지 프로세싱 유닛 (256) 은 센서 유닛 (210) 내의 이미지 센서 (310) 로부터 수신될 수도 있는 하나 이상의 이미지들에서 사용자 (110) 의 얼굴을 식별하기 위해 임의의 적합한 얼굴 인식 기법들을 적용할 수도 있다. 입력 사운드의 경우에, 통지 프로세싱 유닛 (256) 은 입력 사운드가 전자 디바이스 (120) 를 향하는 방향 이외의 방향으로 스피킹되는지 여부를 결정할 수도 있으며, 도 6 및 도 7 을 참조하여 더 상세히 설명되는 것과 같이 컨텍스트 데이터로도 사용될 수도 있다.
다양한 타입의 컨텍스트 데이터는 도 5 를 참조하여 더 상세하게 설명되는 것과 같이 통지를 생성할지 여부를 결정하기 위해 통지 프로세싱 유닛 (256) 에 의해 프로세싱될 수도 있다. 일 실시형태에서, 하나 이상의 타입의 컨텍스트 데이터는, 다른 타입의 컨텍스트 데이터를 검출함에도 불구하고 이러한 타입의 컨텍스트 데이터를 검출하는 것에 기초하여 통지가 생성될 수도 있도록, 더 높은 또는 가장 높은 우선순위가 제공될 수도 있다. 부가적으로 또는 대안적으로, 컨텍스트 스코어는 각각이 가중되고 결합될 수도 있는, 다양한 타입의 컨텍스트 데이터에 기초하여 결정될 수 있다. 통지 프로세싱 유닛 (256) 이 통지가 생성될 것으로 결정하면, 450 에서 통지를 생성하기 위해 제어 신호를 출력 유닛 (220) 에 제공할 수도 있다.
제어 신호를 수신하면, 출력 유닛 (220) 은 스피커 (222), 진동 유닛 (224), 디스플레이 화면 (226), 및/또는 LED 유닛 (228) 을 통해 통지를 출력할 수도 있다. 예를 들어, 출력 유닛 (220) 의 스피커 (222) 는 가청 사운드 (예컨대, 경고음, 벨소리, 등) 을 출력 할 수도 있다. 부가적으로 또는 대안적으로, 출력 유닛 (220) 내의 진동 유닛 (224) 은 진동할 수도 있거나, 또는 가시광은 디스플레이 스크린 (226) 또는 LED 유닛 (228) 을 통해 출력될 수도 있다.
일 실시형태에 따르면, 전자 디바이스 (120) 는 전자 디바이스 (120) 가 스피커 (222) 를 통한 사운드의 출력을 디스에이블하도록 구성될 수도 있는 무음 모드 (silent mode) 에 있도록 구성될 수도 있다. 이 경우, 전자 디바이스 (120) 가 통지가 생성될 것으로 결정하는 경우, 통지가 스피커 (222) 를 통해 출력될 수도 있도록 무음 모드를 비활성화할 수도 있다. 예를 들어, 전자 디바이스 (120) 가 진동 유닛 (224) 을 통해 진동이 출력될 수도 있는 진동 모드에 있고 스피커 (222) 를 통한 사운드의 출력이 디스에이블되는 경우에, 스피커 (222) 를 통해 통지의 출력을 허용하기 위해 진동 모드를 비활성화할 수도 있다.
도 5 는 본 개시의 일 실시형태에 따라, 컨텍스트 데이터에 기초하여 통지가 생성될 것인지 여부를 결정하기 위해 프로세서 (250) 내의 통지 프로세싱 유닛 (256) 에 의해 수행된 방법의 플로우 차트를 도시한다. 통지가 생성될 것인지 여부를 결정하기 위해, 통지 프로세싱 유닛 (256) 은 센서 유닛 (210) 내의 임의의 하나 이상의 센서들 또는 유닛들로부터의 컨텍스트 데이터를 분석 및/또는 프로세싱할 수도 있다. 일부 실시형태들에서, 통지 프로세싱 유닛 (256) 은 특정 타입의 컨텍스트 데이터에 더 높은 또는 가장 높은 우선순위를 할당할 수도 있다.
초기에, 510 에서 통지 프로세싱 유닛 (256) 은 센서 유닛 (210) 으로부터 수신된 컨텍스트 데이터에서 사용자 입력이 검출되는지 여부를 결정할 수도 있다. 예를 들어, 사용자 입력은 전자 디바이스 (120) 가 사용자 (110) 에 의해 사용되거나 사용자 (110) 에 액세스가능하다는 것을 나타낼 수도 있다. 일 실시형태에서, 510 에서 컨텍스트 데이터가 사용자 입력 (예를 들어, 수동 입력) 을 포함하도록 결정될 경우, 560 에서 통지 프로세싱 유닛 (256) 은 통지가 생성되지 않을 것으로 결정할 수도 있다. 대안적으로 또는 부가적으로, 통지 프로세싱 유닛 (256) 은 전자 디바이스 (120) 가 컨텍스트 데이터로서 수신된 사용자 입력에 응답하여 동작되는지 여부를 결정할 수도 있다. 예를 들어, 전자 디바이스 (120) 는 사용자 (110) 로부터의 입력 또는 커맨드에 응답하여 전자 디바이스 (120) 의 디스플레이 상에 비디오를 디스플레이하거나 노래를 재생할 수도 있다. 이 경우, 560 에서 통지 프로세싱 유닛 (256) 은 통지가 생성되지 않을 것으로 결정할 수도 있다.
다른 한편으로, 510 에서 사용자 입력이 수신되지 않았다고 결정되면, 520 에서 통지 프로세싱 유닛 (256) 은 전자 디바이스 (120) 의 현재 위치 또는 현재 시간이 각각, 미리결정된 위치 또는 미리결정된 시간 내에 있는지 여부를 결정할 수도 있다. 일부 실시형태들에서, 전자 디바이스 (120) 는 통지가 사용자 (110) 로부터 생성되지 않을 하나 이상의 시간 주기들 및/또는 위치들을 수신하고 저장할 수도 있다. 전자 디바이스의 현재 위치 또는 현재 시간이 각각, 미리결정된 위치 또는 미리결정된 시간 내에 있다고 결정할 시, 560 에서 통지 프로세싱 유닛 (256) 은 통지가 생성되지 않을 것으로 결정할 수도 있다. 그렇지 않으면, 530 에서 통지 프로세싱 유닛 (256) 은 다른 타입의 컨텍스트 데이터에 기초하여 통지를 생성하기 위한 컨텍스트 스코어를 결정하도록 진행할 수도 있다.
일 실시형태에서, 통지 프로세싱 유닛 (256) 은 센서 유닛 (210) 으로부터의 컨텍스트 데이터로서 현재 시간을 수신하고, 현재 시간이 사용자 (110) 가 비활성일 수도 있을 때 (예를 들어, 슬립, 밤 시간, 등) 또는 전자 디바이스 (120) 를 액세스할 수 없을 수도 있는 때 (예를 들어, 회의 동안) 와 같이 통지가 생성되지 않을 미리결정된 시간 주기 내에 있는지 여부를 결정할 수도 있다. 통지가 생성되지 않을 미리결정된 시간 주기는 전자 디바이스 (120) 의 사용 내역 또는 전자 디바이스의 캘린더 애플리케이션에서의 스케줄링된 작업들에 기초하여 결정될 수도 있다. 예를 들어, 통지 프로세싱 유닛 (256) 은 캘린더 애플리케이션에 액세스하고, 520 에서 현재 시간이 회의가 스케줄링되는 시간 주기 내에 있는지를 결정할 수도 있고, 따라서 560 에서 통지가 생성되지 않을 것으로 결정하도록 진행할 수도 있다.
다른 실시형태에서, 통지 프로세싱 유닛 (256) 은 센서 유닛 (210) 으로부터 컨텍스트 데이터로서 전자 디바이스 (120) 의 현재 위치를 수신하고, 현재 위치가 통지가 생성되지 않을 미리결정된 위치에 대응하는지 여부를 결정할 수도 있다. 예를 들어, 전자 디바이스 (120) 의 현재 위치는 도서관, 극장 등과 같이 전자 디바이스 (120) 의 사용이 제한될 수도 있는 위치에 대응하는 것으로 결정될 수도 있다. 이 경우, 통지 프로세싱 유닛 (256) 은 560 에서 통지가 생성되지 않을 것으로 결정하도록 진행할 수도 있다. 그렇지 않으면, 통지 프로세싱 유닛 (256) 은 530 에서 다른 타입의 컨텍스트 데이터에 기초하여 통지를 생성하기 위한 컨텍스트 스코어를 결정하도록 진행할 수도 있다.
530 에서, 통지 프로세싱 유닛 (256) 은 하나 이상의 타입의 컨텍스트 데이터에 기초하여 컨텍스트 스코어를 결정할 수도 있다. 본 명세서에 사용된 바와 같이, 용어 "컨텍스트 스코어" 는 전자 디바이스 (120) 가 통지가 생성될 컨텍스트에 있는지의 여부를 나타내는 확률 값일 수도 있다. 일 실시형태에서, 통지 프로세싱 유닛 (256) 은 센서 유닛 (210) 및/또는 프로세서 (250) 로부터 수신된 컨텍스트 데이터에 기초하여 컨텍스트 스코어를 계산할 수도 있다. 예를 들어, 컨텍스트 데이터는 사용자 입력, 현재 위치, 및 현재 시간 이외의 하나 이상의 타입의 컨텍스트 데이터를 포함할 수도 있다. 대안적으로, 컨텍스트 데이터는 센서 유닛 (210) 및/또는 프로세서 (250) 로부터 수신된 모든 타입의 컨텍스트 데이터를 포함할 수도 있다.
일부 실시형태들에서, 컨텍스트 스코어는 주변광 값, 사용자의 이미지, 확인응답되지 않은 인커밍 통신을 나타내는 이벤트, 및/또는 전자 디바이스의 움직임과 같은 컨텍스트 데이터의 타입들에 기초하여 결정될 수도 있다. 컨텍스트 데이터의 타입들의 각각은, 임의의 적절한 가중 방식을 사용하여 연관된 미리결정된 가중치에 의해 가중되고 컨텍스트 스코어를 계산하기 위해 결합될 수도 있는 임의의 적절한 값들로 표현될 수도 있다. 예를 들어, 컨텍스트 스코어는 본 개시의 일 실시형태에 따라 이하의 표 1 에 도시된 바와 같이 가중될 수도 있는, 컨텍스트 데이터에 기초하여 결정될 수도 있다.
컨텍스트 데이터 컨텍스트 값 가중치 가중된 컨텍스트 값
주변광 강도: 0.2 0.1 0.02
사용자의 이미지 사용자의 이미지: 1 0.5 0.5
확인응답되지 않은
인커밍 통신		 경과된 시간: 0.4 0.3 0.12
움직임 경과된 시간: 0.8 0.1 0.08
상기 표 1 에서의 주변광의 경우에, 주변광은 광의 강도에 비례할 수도 있는, 0 과 1 사이의 범위 내의 수치적 컨텍스트 값으로 표현될 수도 있으며, 여기서 값 0 은 최저 강도 레벨 (예컨대, 완전한 어두움) 을 나타낼 수도 있고 값 1 은 최고 강도를 나타낼 수도 있다. 예를 들어, 낮은 주변광 값은 전자 디바이스 (120) 가 물체 (예를 들어, 복수의 책들, 종이, 옷, 주머니, 등) 에 의해 덮이거나 그 내에 위치되는 것을 나타낼 수도 있으며, 따라서 사용자 (110) 는 전자 디바이스 (120) 를 발견하지 못할 수도 있다. 이러한 상황에서, 통지는 전자 디바이스 (120) 의 사용자 (110) 에게 경고하도록 생성될 수도 있다. 다른 경우에, 낮은 주변광 값은 저녁 시간과 같은 하루 중 시간의 결과일 수도 있으며, 통지가 생성되어야하는지 여부를 명확히 나타내지 않을 수도 있다. 따라서, 표 1 의 도시된 실시형태에서, 0.1 의 상대적으로 낮은 가중치가 0.2 의 강도를 갖는 주변광에 할당될 수도 있어서, 통지 프로세싱 유닛 (256) 이 주변광 값에 대하여 0.02 의 가중된 컨텍스트 값을 결정할 수도 있다.
사용자 (110) 의 이미지의 경우, 이미지는 사용자 (110) 가 이미지 내에 있는 것으로 인식되는지 여부에 의존하여, 0 또는 1 의 수치적 컨텍스트 값으로 표현될 수도 있다. 예를 들어, 사용자 (110) 가 이미지 센서 (310) 로부터 수신된 이미지에서 식별될 경우, 1 의 값이 할당 될 수도 있다. 그렇지 않으면, 0 의 값이 할당될 수도 있다. 사용자 (110) 가 이미지 센서 (310) 를 통해 수신된 이미지에서 검출될 경우, 사용자 (110) 가 전자 디바이스 (120) 를 볼 수 있는 가능성이 높다. 따라서, 표 1 에서 1 의 값을 갖는 사용자 (110) 의 이미지에 0.5 의 상대적으로 높은 가중치가 할당되어, 통지 프로세싱 유닛 (256) 이 이미지에 대하여 0.5 의 가중된 컨텍스트 값을 결정할 수도 있다.
전자 디바이스 (120) 에서 확인응답되지 않은 인커밍 통신의 경우, 이러한 인커밍 통신 데이터를 나타내는 이벤트는 확인응답되지 않은 인커밍 통신의 수신 이후의 경과된 시간에 반비례할 수도 있는, 0 과 1 사이의 범위 내의 수치적 컨텍스트 값으로 표현될 수도 있다. 예를 들어, 확인응답되지 않은 인커밍 통신을 나타내는 이벤트를 컨텍스트 데이터로서 수신할 시, 통지 프로세싱 유닛 (256) 은 확인응답되지 않은 인커밍 통신이 통신 유닛 (230) 을 통해 수신된 이후 얼마나 많은 시간이 경과했는지를 결정할 수도 있다. 확인응답되지 않은 인커밍 통신을 나타내는 이벤트가 통신 유닛 (230) 을 통한 수신시 즉시 수신되면, 이벤트에 대한 컨텍스트 값은 1 에 대응할 수도 있다. 다른 한편으로, 확인응답되지 않은 인커밍 통신의 수신 이후의 경과 시간이 미리결정된 임계 시간 주기 (예컨대, 10 시간, 하루, 등) 보다 길 때, 확인응답되지 않은 인커밍 통신을 나타내는 이벤트에 대한 컨텍스트 값은 0 에 대응할 수도 있다. 이러한 경우들 사이의 경과 시간 동안, 임의의 적절한 중간 값이 경과 시간에 반비례하여 할당될 수도 있다. 도시된 실시형태에서, 0.4 의 값은 6 시간의 경과 시간 동안 할당될 수도 있고, 0.3 의 가중치는 그러한 이벤트에 할당될 수도 있어서, 통지 프로세싱 유닛 (256) 은 확인응답되지 않은 인커밍 통신을 나타내는 이벤트에 대하여 0.12 의 가중된 컨텍스트 값을 결정할 수도 있다.
전자 디바이스 (120) 의 움직임의 경우에 대하여, 전자 디바이스 (120) 의 움직임을 나타내는 움직임 데이터는 전자 디바이스 (120) 의 최종 또는 가장 최근의 움직임 이후에 경과된 시간에 반비례할 수도 있는, 0 과 1 사이의 범위의 수치 컨텍스트 값으로 표현될 수도 있다. 예를 들어, 움직임 센서 (320) 로부터 수신된 현재 움직임 데이터가 전자 디바이스 (120) 의 움직임을 나타내는 경우, 경과된 시간은 0 일 수도 있고, 전자 디바이스 (120) 의 움직임에 대한 컨텍스트 값은 1 에 대응할 수도 있다. 다른 한편으로, 현재 움직임 데이터가 전자 디바이스의 움직임을 나타내지 않는 경우, 통지 프로세싱 유닛 (256) 은, 최종 또는 가장 최근의 움직임이 검출된 시간에 기초하여 최종 또는 가장 최근의 움직임이 검출된 이후에 얼마나 많은 시간이 경과했는지를 결정할 수도 있다. 예를 들어, 전자 디바이스 (120) 의 움직임을 나타내는 움직임 데이터가 움직임 센서 (320) 로부터 수신될 경우, 프로세서 (250) 는 전자 디바이스 (120) 의 움직임이 검출된 시간을 저장 유닛 (240) 에 저장할 수도 있다. 이 경우, 통지 프로세싱 유닛 (256) 은 저장 유닛 (240) 으로부터 전자 디바이스 (120) 의 최종 움직임이 검출된 시간을 액세스하여 최종 움직임이 검출된 후에 얼마나 많은 시간이 경과되었는지를 결정할 수도 있다. 전자 디바이스 (120) 의 최종 또는 가장 최근의 움직임 이후의 경과된 시간이 미리결정된 임계 시간 주기 (예를 들어, 10 시간, 하루 등) 보다 길면, 전자 디바이스 (120) 의 움직임에 대한 컨텍스트 값은 0 인 것으로 결정될 수도 있다. 0 과 미리결정된 임계 시간 주기 사이의 경과된 시간 동안, 임의의 적합한 중간 값이 경과된 시간에 반비례하여 할당될 수도 있다. 예시된 실시형태에 도시된 바와 같이, 2 시간의 경과된 시간 동안 0.8 의 값이 할당될 수도 있고, 0.1 의 가중치가 그러한 움직임 데이터에 할당될 수도 있다. 이 경우에, 통지 프로세싱 유닛 (256) 은 전자 디바이스 (120) 의 움직임에 대하여 0.08 의 가중된 컨텍스트 값을 결정할 수도 있다.
표 1 에서 컨텍스트 데이터의 타입들의 각각에 대하여 가중된 컨텍스트 값을 생성하면, 통지 프로세싱 유닛 (256) 은 가중된 컨텍스트 값들을 가산함으로써 0.72 의 컨텍스트 스코어를 계산할 수도 있다. 예를 들어, 컨텍스트 스코어 S 는 다음 식
Figure 112018052871309-pct00001
에 따라 결정될 수도 있다, 여기서, wi 및 vi 는 각각, 가중치 및 컨텍스트 값이다. 대안적으로, 컨텍스트 스코어 S 는
Figure 112018052871309-pct00002
와 같은 컨텍스트 스코어를 결정하기 위한 임의의 적합한 함수에 따라 결정될 수 있으며, 여기서 vi 는 컨텍스트 값이다. 통지 프로세싱 유닛 (256) 은 표 1 에 도시된 컨텍스트 데이터의 타입들에 기초하여 컨텍스트 스코어를 결정하지만, 사용자 입력, 현재 위치, 현재 시간, 입력 사운드가 스피킹되는 방향 (예를 들어, 출발 방향) 및/또는 기타 등등과 같은 다른 타입의 컨텍스트 데이터에 기초하여 컨텍스트 스코어를 결정할 수도 있다. 그러한 경우에, 높은 가중 값이 그러한 타입의 컨텍스트 데이터의 각각에 할당될 수도 있어서, 컨텍스트 스코어가 그러한 타입의 컨텍스트 데이터 중 하나 이상에 실질적으로 기초하여 결정될 수도 있다.
도 5 를 참조하면, 컨텍스트 스코어를 결정할 시, 통지 프로세싱 유닛 (256) 은 540 에서 컨텍스트 스코어를 미리결정된 임계 스코어와 비교할 수도 있다. 컨텍스트 스코어가 미리결정된 임계 스코어 이하이면, 통지 프로세싱 유닛 (256) 은 550 에서 통지가 생성될 것으로 결정할 수도 있다. 다른 한편으로, 컨텍스트 스코어가 미리결정된 임계치보다 큰 것으로 결정될 경우, 통지 프로세싱 유닛(256) 은 560 에서 통지가 생성되지 않을 것으로 결정할 수도 있다. 위의 표 1 을 참조하면, 0.5 의 미리결정된 임계 스코어가 주어질 때, 통지 프로세싱 유닛 (256) 은 0.72 의 계산된 컨텍스트 스코어가 0.5 의 미리결정된 임계 스코어 이상이기 때문에, 560 에서 통지가 생성되지 않을 것으로 결정할 수도 있다. 다른 한편으로, 계산된 컨텍스트 스코어가 임계 스코어 미만인 경우, 통지 프로세싱 유닛 (256) 은 550 에서 통지가 생성될 것으로 결정할 수도 있다.
일부 실시형태들에서, 통지 프로세싱 유닛 (256) 은 입력 사운드가 사운드 센서 (130) 를 향하는 방향에 대응할 수도 있는, 전자 디바이스 (120) 를 향하는 방향으로 스피킹되는지 여부에 기초하여 추가로 통지를 생성할지 여부를 결정할 수도 있다. 예를 들어, 입력 사운드는 사운드 센서 (130) 를 통해 전자 디바이스 (120) 에 의해 수신되는, 사용자 (110) 에 의해 스피킹된 스피치 구문 (예를 들어, 통지를 생성하기 위한 커맨드를 나타내는 스피치 구문) 일 수도 있다. 입력 사운드를 수신하면, 통지 프로세싱 유닛 (256) 은 입력 사운드가 전자 디바이스 (120) 를 향하는 방향 이외의 방향으로 스피킹되는지 여부를 결정할 수도 있다.
일 실시형태에 따르면, 통지 프로세싱 유닛 (256) 은 사용자 (110) 로부터의 입력 사운드의 출발 각도를 입력 사운드의 "출발 방향" (DOD) 으로 결정할 수도 있다. 이 경우에, 입력 사운드의 출발 방향이 사운드 소스 (예컨대, 사용자) 와 전자 디바이스 (120) 간의 라인 (예를 들어, 기준 라인 또는 방향) 을 따르는 방향에 있는 경우, 입력 사운드는 전자 디바이스 (120) 를 향하는 방향으로 스피킹되도록 결정될 수도 있다. 그렇지 않으면, 입력 사운드는 전자 디바이스 (120) 를 향하는 방향 이외의 방향으로 스피킹되도록 결정될 수도 있다. 또한, 통지 프로세싱 유닛 (256) 은 또한, 방향이 전자 디바이스 (120) 와 사용자 (110) 간의 라인으로부터 미리결정된 각도 또는 범위 내에 있는 것으로 결정될 때, 입력 사운드의 출발 방향이 전자 디바이스 (120) 를 향하는 것으로 결정할 수도 있다.
도 6 은 본 개시의 일 실시형태에 따라, 전자 디바이스 (120) 를 향하는 방향으로 사용자 (110) 에 의해 스피킹된 입력 사운드를 도시한다. 도시된 실시형태에서, 사용자 (110) 는 전자 디바이스 (120) 를 향한 기준 방향 (620) 으로부터 벗어날 수도 있는 방향 (610) 에서 입력 사운드로서 스피치 구문을 스피킹할 수도 있다. 사운드 센서 (130) 를 통해 입력 사운드로서 스피치 구문을 수신할 시, 통지 프로세싱 유닛 (256) 은 스피치 구문의 출발 발향 (610), 사용자 (110) 와 전자 디바이스 (120) 간의 기준 방향 (620), 및 방향 (610) 과 방향 (620) 간의 각도 θ1 를 결정할 수도 있다. 입력 사운드가 전자 디바이스 (120) 를 향하여 스피킹되는 것으로 간주될 수도 있는 미리결정된 각도 β 가 주어지면, 통지 프로세싱 유닛 (256) 은 각도 θ1 이 미리결정된 각도 β 미만인 것으로 결정할 수도 있고, 따라서 스피치 구문의 출발 방향 (610) 이 전자 디바이스 (120) 를 향하는 것으로 결정할 수도 있다.
도 7 은 본 개시의 일 실시형태에 따라, 전자 디바이스 (120) 로 향하는 방향 이외의 방향에서 사용자 (110) 에 의해 스피킹된 입력 사운드를 도시한다. 예시된 실시형태에 도시된 것과 같이, 사용자 (110) 는 전자 디바이스 (120) 를 향한 기준 방향 (720) 으로부터 벗어날 수도 있는 방향 (710) 에서 입력 사운드로서 스피치 구문을 스피킹할 수도 있다. 사운드 센서 (130) 를 통해 입력 사운드로서 스피치 구문을 수신할 시, 통지 프로세싱 유닛 (256) 은 스피치 구문의 출발 발향 (710), 사용자 (110) 와 전자 디바이스 (120) 간의 기준 방향 (710), 및 방향 (710) 과 방향 (720) 간의 각도 θ2 를 결정할 수도 있다. 입력 사운드가 전자 디바이스 (120) 를 향하여 스피킹되는 것으로 간주될 수도 있는 미리결정된 각도 β 가 주어지면, 통지 프로세싱 유닛 (256) 은 각도 θ2 가 미리결정된 각도 β 보다 큰 것으로 결정할 수도 있고, 따라서 스피치 구문의 출발 방향 (710) 이 전자 디바이스 (120) 를 향하는 방향 이외의 방향에 있는 것으로 결정할 수도 있다.
도 8 은 본 개시의 일 실시형태에 따라, 제 1 스피치 구문 (810) 및 제 2 스피치 구문 (820) 의 수신 시간들에 기초하여 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하는 것을 도시한다. 도시된 실시형태에서, 스피치 구문은 보이스 어시스턴트 유닛 (254) 을 활성화하기 위한 커맨드로서 제 1 스피치 구문 (810) 및 통지를 생성하기 위한 커맨드로서 제 2 스피치 구문 (820) 을 포함할 수도 있다. 초기에, 사용자 (110) 는 시간 T1 에서 제 1 스피치 구문 (예를 들어, "Hey Snapdragon") 을 스피킹할 수도 있다. 전자 디바이스 (120) 는 사운드 센서 (130) 를 통해 제 1 스피치 구문을 수신할 수도 있고, 스피치 인식 유닛 (252) 은 임의의 적절한 스피치 인식 기능을 사용하여 프로세서 (250) 에서 보이스 어시스턴트 유닛 (254) 을 활성화시키는 커맨드로서 제 1 스피치 구문을 인식할 수도 있다. 제 1 스피치 구문을 인식할 시, 스피치 인식 유닛 (252) 은 보이스 어시스턴트 유닛 (254) 을 활성화시킬 수도 있다.
시간 T2 에서, 사용자 (110) 는 제 2 스피치 구문 (예를 들어, "Where are you") 을 스피킹할 수도 있다. 활성화된 보이스 어시스턴트 유닛 (254) 은 사운드 센서 (130) 를 통해 제 2 스피치 구문을 수신하고, 통지를 생성하기 위한 커맨드로서 제 2 스피치 구문을 인식할 수도 있다. 제 2 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하면, 보이스 어시스턴트 유닛 (254) 은 제 1 스피치 구문 (810) 및 제 2 스피치 구문 (820) 이 제 1 및 제 2 스피치 구문들 (810 및 820) 의 수신 시간들에 기초하여 미리결정된 시간 주기 (예를 들면, 5 초) 내에 수신되는지 여부를 결정할 수도 있다. 제 1 스피치 구문 (810) 및 제 2 스피치 구문 (820) 이 미리결정된 시간 주기 내에 수신된 것으로 결정된다면, 보이스 어시스턴트 유닛 (254) 은 통지 프로세싱 유닛 (256) 을 활성화하고, 인식된 커맨드를 통지 프로세싱 유닛 (256) 에 제공할 수도 있으며, 이는 통지를 생성할지 여부를 결정할 수도 있다. 일 실시형태에서, 보이스 어시스턴트 유닛 (254) 은 인식된 커맨드를 통지 프로세싱 유닛 (256) 에 제공하면, 비활성화될 수도 있다.
일부 실시형태들에 따르면, 스피치 인식 유닛 (252) 또는 보이스 어시스턴트 유닛 (254) 은 제 1 및 제 2 스피치 구문 (810 및 820) 의 양자를 인식할 수도 있다. 일 실시형태에서, 제 1 및 제 2 스피치 구문 (810 및 820) 은 임의의 순서 또는 시퀀스로 수신될 수도 있고, 스피치 인식 유닛 (252) 및/또는 보이스 어시스턴트 유닛 (254) 은 그러한 순서로 제 1 및 제 2 스피치 구문들 (810 및 820) 을 인식하도록 구성될 수도 있다. 예를 들어, 스피치 인식 유닛 (252) 이 제 1 스피치 구문 (810) 을 수신하거나 인식하는 것을 실패하지만, 제 2 스피치 구문 (820) 을 수신하고 인식한다면, 스피치 인식 유닛 (252) 은 그 후, 제 1 스피치 구문 (810) 을 수신하고 통지를 생성하기 위한 커맨드로서 인식할 수도 있다.
도 9 는 본 개시의 일 실시형태에 따라, 전자 디바이스의 위치 정보를 포함하는 통지를 사용자 (110) 의 외부 디바이스 (930) 로 송신하도록 구성된 전자 디바이스 (120) 를 도시한다. 본 명세서에서 사용되는 것과 같이, 용어 "외부 디바이스" 는 전자 디바이스 (120) 로부터 물리적으로 분리되고 전자 디바이스 (120) 와 무선으로 통신할 수 있는 임의의 전자 디바이스일 수도 있다. 도시된 바와 같이, 전자 디바이스 (120) 가 사용자 (110) 에 의해 스피킹된 스피치 구문을 수신하고 인식할 수 없도록, 사용자 (110) 는 위치 (910) (예를 들어, 오피스) 에 있을 수도 있고 전자 디바이스 (120) 는 위치 (920) (예를 들어, 홈) 에 있을 수도 있다.
도시된 실시형태에서, 사용자 (110) 는 전자 디바이스 (120) 를 로케이팅하기 위해 커맨드 (예를 들어, 통지를 생성하기 위한 스피치 구문) 를 외부 디바이스 (930) (예를 들어, 스마트 워치, 스마트 안경, 등) 에 입력할 수도 있다. 이에 응답하여, 외부 디바이스 (930) 는 입력된 스피치 구문을 포함할 수도 있는 통지를 생성하기 위한 요청을 전자 디바이스 (120) 에 무선으로 송신할 수도 있다. 통신 유닛 (230) 을 통해 통지에 대한 요청을 수신하면, 전자 디바이스 (120) 내의 프로세서 (250) 는 위치 센서 (340) 로부터 위치 정보를 수신하고, 위치 정보를 통신 유닛 (230) 을 통해 외부 디바이스 (930) 에 무선으로 송신할 수도 있다. 대안적으로 또는 부가적으로, 프로세서 (250) 는 센서 유닛 (210) 을 통해 또는 저장 유닛 (240) 으로부터 전자 디바이스의 위치를 나타내는 임의의 다른 타입의 컨텍스트 데이터 (예를 들어, 이미지 센서 (310) 에 의해 캡처된 이미지) 를 수신하고, 그러한 데이터를 전자 디바이스 (120) 의 위치 정보로서 외부 디바이스 (930) 에 송신할 수도 있다. 부가적으로 또는 대안적으로, 전자 디바이스 (120) 는 출력 유닛 (220) 을 통해 통지를 출력할 수도 있다. 전자 디바이스 (120) 의 위치 정보를 수신하는 것에 응답하여, 외부 디바이스 (930) 는 사용자 (110) 에 대한 위치 정보를 출력할 수도 있다.
부가적으로 또는 대안적으로, 외부 디바이스 (930) 는 전자 디바이스 (120) 를 로케이팅하기 위해 스피치 구문을 사용자 (110) 로부터 수신하고, 그 스피치 구문을 전자 디바이스 (120) 를 로케이팅하기 위한 커맨드로서 인식할 수도 있다. 인식된 커맨드에 응답하여, 외부 디바이스 (930) 는 전자 디바이스 (120) 에 통지를 생성하기 위한 요청을 송신할 수도 있다. 요청을 수신하면, 전자 디바이스 (120) 는 전자 디바이스 (120) 의 위치 정보를 외부 디바이스 (930) 로 송신할 수도 있다. 또한, 전자 디바이스 (120) 는 전자 디바이스 (120) 의 임의의 다른 타입의 컨텍스트 데이터를 외부 디바이스 (930) 에 송신할 수도 있다. 이 경우, 외부 디바이스 (930) 는 통지가 전자 디바이스 (120) 로부터 수신된 컨텍스트 데이터에 기초하여 전자 디바이스 (120) 에 의해 생성될 것인지 여부를 결정할 수도 있다. 통지가 생성될 것으로 결정하면, 외부 디바이스 (930) 는 통지를 생성하기 위한 커맨드를 전자 디바이스 (120) 에 무선으로 송신할 수도 있으며, 그에 응답하여 통지를 생성하고 출력할 수도 있다. 일부 실시형태들에서, 외부 디바이스 (930) 는 하나 이상의 센서들을 통해 외부 디바이스 (930) 의 컨텍스트 데이터를 검출하도록 구성될 수도 있다. 외부 디바이스 (930) 의 검출된 컨텍스트 데이터에 기초하여, 외부 디바이스 (930) 는 전자 디바이스 (120) 의 위치 정보를 출력하기 위한 하나 이상의 출력 유닛들을 선택하고, 위치 정보를 사용자 (110) 에 대해 선택된 출력 유닛을 통해 출력할 수도 있다.
도 10 은 본 개시의 일 실시형태에 따라, 전자 디바이스 (120) 를 록킹 또는 언록킹하기 위해 프로세서 (250) 에 의해 수행된 방법의 플로우 차트를 도시한다. 1010 에서, 통지 프로세싱 유닛 (256) 은 컨텍스트 데이터에 기초하여 통지가 생성될 것으로 결정할 수도 있다. 예를 들어, 프로세서 (250) 내의 통지 프로세싱 유닛 (256) 은, 전자 디바이스 (120) 가 사용자 (110) 에 액세스할 수 없다 (예컨대, 분실되거나 잘못 배치됨) 는 것을 나타낼 수도 있는 하나 이상의 타입들의 컨텍스트 데이터에 기초하여, 통지가 생성될 것으로 결정할 수도 있다. 통지가 생성될 것으로 결정하는 것에 응답하여, 프로세서 (250) 는 사용자 (110) 이외의 사용자에 의한 전자 디바이스 (120) 로의 비허가 액세스를 방지하기 위해, 1020 에서 전자 디바이스 (120) 를 록킹할 수도 있다. 1030 에서, 프로세서 (250) 는 입력 유닛 (350), 사운드 센서 (130), 지문 센서, 및/또는 이미지 센서 (310) 를 통해, 사운드 입력, 미리결정된 패턴 또는 이미지, 개인 식별 번호, 패스워드, 지문 등과 같은, 사용자 (110) 를 검증하도록 적응된 사용자 입력을 수신할 수도 있다. 사용자 입력을 수신하고 검증하는 것에 응답하여, 1040 에서 프로세서 (250) 는 전자 디바이스 (120) 를 언록킹할 수도 있다. 일 실시형태에서, 통지가 생성될 것으로 결정하는 것에 응답하여 전자 디바이스 (120) 가 록킹된 경우, 프로세서 (250) 는 높은 레벨의 검증 또는 인증을 갖는 사용자 입력의 타입에 기초하여 전자 디바이스를 언록킹할 수도 있다. 예를 들어, 프로세서 (250) 는 패스코드 입력에 응답하여 전자 디바이스 (120) 를 언록킹하지 못할 수도 있고, 전자 디바이스 (120) 를 언록킹하기 위한 사용자 입력으로서 지문 또는 안면 이미지를 요구할 수도 있다.
도 11 은 컨텍스트 데이터 및 통지를 생성하기 위한 커맨드에 기초하여 통지를 생성하기 위한 본 개시의 방법들 및 장치들이 일부 실시형태들에 따라 구현될 수도 있는 전자 디바이스 (1100) 의 블록 다이어그램을 도시한다. 전자 디바이스 (1100) 는 셀룰러 폰, 스마트폰, 웨어러블 컴퓨터, 스마트 워치, 스마트 안경, 태블릿 퍼스널 컴퓨터, 단말기, 핸드셋, 퍼스널 디지털 어시스턴트 (PDA), 코드리스 전화, 태블릿, 등등일 수도 있다. 무선 통신 시스템은 CDMA 시스템, GSM 시스템, W-CDMA 시스템, LTE 시스템, LTE 어드밴스드 시스템, 등등일 수도 있다.
전자 디바이스 (1100) 는 수신 경로 및 송신 경로를 통해 양방향 통신을 제공하는 것이 가능할 수도 있다. 수신 경로에서, 기지국들에 의해 송신된 신호들이 안테나 (1112) 에 의해 수신될 수도 있고, 수신기 (RCVR) (1114) 로 제공될 수도 있다. 수신기 (1114) 는 수신된 신호를 컨디셔닝하고 디지털화하고, 추가적인 프로세싱을 위해 디지털 섹션에 컨디셔닝되고 디지털화된 신호를 제공할 수도 있다. 송신 경로에서, 송신기 (TMTR) (1116) 는 디지털 섹션 (1120) 으로부터 송신될 데이터를 수신하여, 그 데이터를 프로세싱하고 컨디셔닝해서, 변조된 신호를 생성할 수도 있으며, 변조된 신호는 안테나 (1112) 를 통해 기지국들로 송신된다. 수신기 (1114) 및 송신기 (1116) 는 CDMA, GSM, W-CDMA, LTE, LTE 어드밴스드 등을 지원할 수도 있는 트랜시버의 일부분일 수도 있다.
디지털 섹션 (1120) 은, 예를 들어, 모뎀 프로세서 (1122), RISC/DSP (reduced instruction set computer/digital signal processor) (1124), 제어기/프로세서 (1126), 내부 메모리 (1128), 일반화된 오디오/비디오 인코더 (1132), 일반화된 오디오 디코더 (1134), 그래픽스/디스플레이 프로세서 (1136), 및 외부 버스 인터페이스 (external bus interface; EBI) (1138) 와 같은 다양한 프로세싱, 인터페이스, 및 메모리 유닛들을 포함할 수도 있다. 모뎀 프로세서 (1122) 는 데이터 송신 및 수신을 위한 프로세싱, 예를 들어, 인코딩, 변조, 복조, 및 디코딩을 수행할 수도 있다. RISC/DSP (1124) 는 전자 디바이스 (1100) 에 대해 범용 프로세싱 및 특수 프로세싱을 수행할 수도 있다. 제어기/프로세서 (1126) 는 디지털 섹션 (1120) 내의 다양한 프로세싱 유닛 및 인터페이스 유닛의 동작을 제어할 수도 있다. 내부 메모리 (1128) 는 디지털 섹션 (1120) 내의 다양한 유닛들에 대한 데이터 및/또는 명령들을 저장할 수도 있다.
일반화된 오디오/비디오 인코더 (1132) 는 오디오/비디오 소스 (1142), 마이크로폰 (1144), 이미지 센서 (1146) 등으로부터의 입력 신호들에 대한 인코딩을 수행할 수도 있다. 일반화된 오디오 디코더 (1134) 는 코딩된 오디오 데이터에 대한 디코딩을 수행할 수도 있고, 출력된 신호들을 스피커/헤드셋 (1148) 으로 제공할 수도 있다. 그래픽스/디스플레이 프로세서 (1136) 는 디스플레이 유닛 (1150) 에 제시될 수도 있는 그래픽들, 비디오들, 이미지들, 및 텍스트들에 대한 프로세싱을 수행할 수도 있다. EBI (1138) 는 디지털 섹션 (1120) 과 메인 메모리 (1152) 간의 데이터의 전송을 가능하게 할 수도 있다.
디지털 섹션 (1120) 은 하나 이상의 프로세서들, DSP들, 마이크로프로세서들, RISC들 등으로 구현될 수도 있다. 디지털 섹션 (1120) 은 또한 하나 이상의 ASIC (application specific integrated circuit) 들 및/또는 일부 다른 유형의 집적 회로 (IC) 들 상에 제작될 수도 있다.
일반적으로, 본원에 설명된 임의의 디바이스는, 무선 전화, 셀룰러 폰, 랩톱 컴퓨터, 무선 멀티미디어 디바이스, 무선 통신 PC (personal computer) 카드, PDA, 외부 모뎀이나 내부 모뎀, 무선 채널을 통해 통신하는 디바이스 등과 같은 다양한 유형의 디바이스들을 나타낼 수도 있다. 디바이스는, 액세스 단말 (AT), 액세스 유닛, 가입자 유닛, 이동국, 모바일 디바이스, 모바일 유닛, 모바일 전화기, 모바일, 원격국, 원격 단말기, 원격 유닛, 사용자 디바이스, 사용자 장비, 핸드헬드 디바이스 등과 같은 다양한 이름들을 가질 수도 있다. 본원에 설명된 임의의 디바이스는 명령들 및 데이터를 저장하기 위한 메모리, 뿐만 아니라 하드웨어, 소프트웨어, 펌웨어, 또는 그 조합들을 가질 수도 있다.
본원에 기술된 기법들은 다양한 수단으로 구현될 수도 있다. 예를 들어, 이러한 기법들은 하드웨어, 펌웨어, 소프트웨어, 또는 그 조합으로 구현될 수도 있다. 본원의 개시물과 관련하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수도 있음을 당업자는 더 인식할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능적 관점에서 일반적으로 상술되었다. 그러한 기능이 하드웨어로 구현되는지 또는 소프트웨어로 구현되는지의 여부는 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자는 설명된 기능을 각각의 특정 어플리케이션에 대하여 다양한 방식으로 구현할 수도 있지만, 그러한 구현의 결정들이 본 개시의 범위로부터의 일탈을 야기하는 것으로서 해석되지는 않아야 한다.
하드웨어 구현에 대하여, 프로세싱 유닛들은 하나 이상의 ASIC들, DSP들, 디지털 신호 프로세싱 디바이스들 (DSPD들), 프로그래머블 로직 디바이스들 (PLD들), 필드 프로그래머블 게이트 어레이들 (FPGA들), 프로세서들, 제어기들, 마이크로-제어기들, 마이크로프로세서들, 전자 디바이스들, 본 명세서에서 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 조합 내에서 구현될 수도 있다.
본 명세서에서의 개시와 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, DSP, ASIC, FPGA 또는 다른 프로그래밍가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본 명세서에서 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 그 대안에서, 프로세서는 임의의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 연계한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다.
소프트웨어로 구현된다면, 상기 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독 가능한 매체 상에 저장되거나 또는 전송될 수도 있다. 컴퓨터 판독가능 매체는, 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 컴퓨터 저장 매체 및 통신 매체 양자를 포함한다. 저장 매체는, 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 제한되지 않는 예로서, 이러한 컴퓨터 판독 가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 요구되는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 본 명세서에서 사용된 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 통상적으로 데이터를 자기적으로 재생하지만 디스크 (disc) 는 레이저들을 이용하여 데이터를 광학적으로 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다. 예를 들어, 컴퓨터 판독가능 저장 매체는 프로세서에 의해 실행가능한 명령들을 포함하는 비-일시적 컴퓨터 판독가능 저장 디바이스일 수도 있다. 따라서, 컴퓨터 판독가능 저장 매체는 신호가 아닐 수도 있다.
앞서의 본 개시물의 설명은 당업자들이 개시물을 제조하거나 이용하는 것을 가능하게 하기 위해 제공된다. 본 개시물의 다양한 수정들이 당업자들에게 쉽게 자명할 것이고, 본원에 정의된 일반적인 원리들은 본 개시물의 사상 또는 범위를 벗어나지 않으면서 다양한 변형들에 적용될 수도 있다. 따라서, 본 개시는 본원에 설명된 예시들에 제한되고자 하는 것이 아니라, 본원에 개시된 원리들 및 신규한 특징들과 일관되는 가장 넓은 범위에 일치되고자 한다.
비록 예시적인 구현들이 하나 이상의 독립형 컴퓨터 시스템의 맥락에서 현재 개시된 주제의 양태들을 이용하는 것을 언급할 수도 있으나, 본 주제는 그렇게 제한되지 않고, 오히려 네트워크나 분산된 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연결하여 구현될 수도 있다. 더 나아가, 현재 개시된 주제의 양태들은 복수의 프로세싱 칩들이나 디바이스들에서 또는 그에 걸쳐 구현될 수도 있고, 스토리지는 복수의 디바이스들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 디바이스들은 PC들, 네트워크 서버들, 및 핸드헬드 디바이스들을 포함할 수도 있다.
비록 본 청구물이 구조적 특징들 및/또는 방법론적 작용들에 대한 언어 특정적으로 설명되었으나, 첨부된 청구항들에서 정의된 청구물은 위에서 설명된 특정 특징들 또는 작용들로 반드시 제한되는 것은 아님이 이해될 것이다. 오히려, 위에서 설명된 특정한 특징들 및 작용들은 청구항들을 구현하는 예시적인 형태로서 설명된다.
<본 개시의 양태들>
이하에서는, 본 개시의 몇몇 양태들이 추가적으로 진술될 것이다.
(실시예 1) 본 개시물의 양태에 따르면, 전자 디바이스에 의해 통지를 생성하기 위한 방법이 제공되며, 스피치 구문을 수신하는 단계; 프로세서에 의해, 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하는 단계; 적어도 하나의 센서에 의해, 전자 디바이스의 컨텍스트 데이터를 검출하는 단계; 및 프로세서에 의해, 컨텍스트 데이터 및 커맨드에 기초하여 통지를 생성하는 단계를 포함한다.
(실시예 2) 실시예 1 의 방법에서, 컨텍스트 데이터를 검출하는 단계는, 사용자 입력, 전자 디바이스의 움직임, 타이밍 정보, 전자 디바이스의 위치 정보, 주변광 값, 및 입력 사운드 중에서 하나에 적어도 기초한다.
(실시예 3) 실시예 2 의 방법에서, 통지를 생성하는 단계는 컨텍스트 데이터에 적어도 기초하여 통지가 생성될 것인지 여부를 결정하는 단계를 포함한다.
(실시예 4) 실시예 3 의 방법에서, 통지가 생성될 것인지 여부를 결정하는 단계는 통지가 생성될 것으로 결정할 시, 전자 디바이스의 무음 모드 (silent mode) 를 비활성화하는 단계를 포함한다.
(실시예 5) 실시예 3 의 방법에서, 통지가 생성될 것인지 여부를 결정하는 단계는 컨텍스트 데이터가 사용자 입력을 포함하는 것을 검출할 시, 통지가 생성되지 않을 것으로 결정하는 단계를 포함한다.
(실시예 6) 실시예 4 의 방법에서, 통지가 생성될 것인지 여부를 결정하는 단계는, 타이밍 정보가 통지가 생성되지 않을 미리결정된 시간 주기 내에 있는지 여부를 결정하는 단계; 또는 전자 디바이스의 위치 정보가 통지가 생성되지 않을 미리결정된 위치에 대응하는지 여부를 결정하는 단계 중 적어도 하나를 포함한다.
(실시예 7) 실시예 1 의 방법에서, 스피치 구문을 수신하는 단계는, 사운드 센서에 의해, 제 1 스피치 구문 및 제 2 스피치 구문을 수신하는 단계를 포함하고, 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하는 단계는, 제 1 스피치 구문 및 제 2 스피치 구문이 미리결정된 시간 주기 내에 수신되는 것으로 결정하는 것에 응답하여, 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하는 단계를 포함한다.
(실시예 8) 실시예 7 의 방법에서, 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하는 단계는, 제 1 스피치 구문을 전자 디바이스 내의 보이스 어시스턴트 유닛을 활성화하기 위한 커맨드로서, 그리고 제 2 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하는 단계를 포함한다.
(실시예 9) 실시예 1 의 방법에서, 스피치 구문을 수신하는 단계는, 통신 유닛에 의해, 스피치 구문을 외부 디바이스로부터 수신하는 단계를 포함하고, 통지를 생성하는 단계는, 통신 유닛에 의해, 전자 디바이스의 위치 정보를 외부 디바이스에 송신하는 단계를 포함한다.
(실시예 10) 실시예 4 의 방법은, 통지가 생성될 것으로 결정하는 것에 응답하여, 전자 디바이스로의 비허가된 액세스를 방지하기 위해 전자 디바이스를 록킹하는 단계를 더 포함한다.
(실시예 11) 실시예 10 의 방법은, 사용자 입력을 수신하는 것에 응답하여, 전자 디바이스를 언록킹하는 단계를 더 포함한다.
(실시예 12) 실시예 1 의 방법에서, 통지를 생성하는 단계는, 출력 유닛에 의해, 통지를 나타내는 가청 사운드, 진동, 또는 가시광 중 적어도 하나를 생성하는 단계를 포함한다.
(실시예 13) 본 개시의 양태에 따르면, 통지를 생성하기 위한 전자 디바이스가 제공되며, 스피치 구문을 수신하도록 구성된 사운드 센서; 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하도록 구성된 스피치 인식 유닛; 전자 디바이스의 컨텍스트 데이터를 검출하도록 구성된 센서 유닛; 및 컨텍스트 데이터 및 커맨드에 기초하여 통지를 생성하도록 구성된 프로세서를 포함한다.
(실시예 14) 실시예 13 의 전자 디바이스는, 통지를 나타내는 가청 사운드, 진동, 또는 가시광 중 적어도 하나를 생성하도록 구성된 출력 유닛을 더 포함한다.
(실시예 15) 실시예 13 의 전자 디바이스에서, 센서 유닛은 추가로, 사용자 입력, 전자 디바이스의 움직임, 타이밍 정보, 전자 디바이스의 위치 정보, 주변광 값, 및 입력 사운드 중에서 하나에 적어도 기초하여 컨텍스트 데이터를 검출하도록 구성된다.
(실시예 16) 실시예 15 의 전자 디바이스에서, 프로세서는 컨텍스트 데이터에 기초하여 통지가 생성될 것인지 여부를 결정하도록 구성된 통지 프로세싱 유닛을 더 포함한다.
(실시예 17) 실시예 16 의 전자 디바이스에서, 통지 프로세싱 유닛은 추가로, 컨텍스트 데이터가 사용자 입력을 포함하는 것을 검출할시 통지가 생성되지 않을 것으로 결정하는 것; 타이밍 정보가 통지가 생성되지 않을 미리결정된 시간 주기 내에 있는지 여부를 결정하는 것; 또는 전자 디바이스의 위치 정보가 통지가 생성되지 않을 미리결정된 위치에 대응하는지 여부를 결정하는 것 중 적어도 하나에 기초하여 통지가 생성될 것인지 여부를 결정하도록 구성된다.
(실시예 18) 실시예 13 의 전자 디바이스에서, 사운드 센서는 추가로, 제 1 스피치 구문 및 제 2 스피치 구문을 스피치 구문으로서 수신하도록 구성되고, 스피치 인식 유닛은 추가로, 제 1 스피치 구문 및 제 2 스피치 구문이 미리결정된 시간 주기 내에 수신되는 것으로 결정하는 것에 응답하여, 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하도록 구성된다.
(실시예 19) 실시예 18 의 전자 디바이스는, 보이스 어시스턴트 유닛을 더 포함하며, 여기서 스피치 인식 유닛은 추가로, 제 1 스피치 구문을 보이스 어시스턴트 유닛을 활성화하기 위한 커맨드로서 인식하도록 구성되고, 보이스 어시스턴트 유닛은 제 2 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하도록 구성된다.
(실시예 20) 실시예 13 의 전자 디바이스는, 스피치 구문을 외부 디바이스로부터 수신하고, 전자 디바이스의 위치 정보를 외부 디바이스에 송신하도록 구성된 통신 유닛을 더 포함한다.
(실시예 21) 실시예 16 의 전자 디바이스에서, 전자 디바이스는 추가로, 통지가 생성될 것으로 결정하는 것에 응답하여, 전자 디바이스로의 비허가된 액세스를 방지하기 위해 전자 디바이스를 록킹하는 것; 또는 사용자 입력을 수신하는 것에 응답하여, 전자 디바이스를 언록킹하는 것 중 적어도 하나를 수행하도록 구성된다.
(실시예 22) 명령들을 포함하는 비-일시적 컴퓨터 판독가능 저장 매체로서, 명령들은, 전자 디바이스의 적어도 하나의 프로세서로 하여금, 스피치 구문을 수신하고; 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하고; 적어도 하나의 센서에 의해, 전자 디바이스의 컨텍스트 데이터를 검출하며; 그리고 컨텍스트 데이터 및 커맨드에 기초하여 통지를 생성하는 동작들을 수행하게 한다.
(실시예 23) 실시예 22 의 비-일시적 컴퓨터 판독가능 저장 매체에서, 컨텍스트 데이터를 검출하는 것은, 사용자 입력, 전자 디바이스의 움직임, 타이밍 정보, 전자 디바이스의 위치 정보, 주변광 값, 및 입력 사운드 중에서 하나에 적어도 기초한다.
(실시예 24) 실시예 23 의 비-일시적 컴퓨터 판독가능 저장 매체에서, 통지를 생성하는 것은 컨텍스트 데이터에 적어도 기초하여 통지가 생성될 것인지 여부를 결정하는 것을 포함한다.
(실시예 25) 실시예 24 의 비-일시적 컴퓨터 판독가능 저장 매체에서, 통지가 생성될 것인지 여부를 결정하는 것은, 컨텍스트 데이터가 사용자 입력을 포함하는 것을 검출할 시, 통지가 생성되지 않을 것으로 결정하는 것; 타이밍 정보가 통지가 생성되지 않을 미리결정된 시간 주기 내에 있는지 여부를 결정하는 것; 또는 전자 디바이스의 위치 정보가 통지가 생성되지 않을 미리결정된 위치에 대응하는지 여부를 결정하는 것 중 적어도 하나를 포함한다.
(실시예 26) 실시예 22 의 비-일시적 컴퓨터 판독가능 저장 매체에서, 사운드 센서를 통해, 스피치 구문을 수신하는 것은 제 1 스피치 구문 및 제 2 스피치 구문을 수신하는 것을 포함하고, 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하는 것은, 제 1 스피치 구문 및 제 2 스피치 구문이 미리결정된 시간 주기 내에 수신되는 것으로 결정하는 것에 응답하여, 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하는 것을 포함한다.
(실시예 27) 실시예 26 의 비-일시적 컴퓨터 판독가능 저장 매체에서, 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하는 것은, 제 1 스피치 구문을 전자 디바이스 내의 보이스 어시스턴트 유닛을 활성화하기 위한 커맨드로서, 그리고 제 2 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하는 것을 포함한다.
(실시예 28) 실시예 22 의 비-일시적 컴퓨터 판독가능 저장 매체에서, 스피치 구문을 수신하는 것은, 통신 유닛을 통해, 스피치 구문을 외부 디바이스로부터 수신하는 것을 포함하고, 통지를 생성하는 것은, 통신 유닛을 통해, 전자 디바이스의 위치 정보를 외부 디바이스에 송신하는 것을 포함한다.
(실시예 29) 실시예 24 의 비-일시적 컴퓨터 판독가능 저장 매체는, 전자 디바이스의 적어도 하나의 프로세서로 하여금, 통지가 생성될 것으로 결정하는 것에 응답하여, 전자 디바이스로의 비허가된 액세스를 방지하기 위해 전자 디바이스를 록킹하고; 또는 사용자 입력을 수신하는 것에 응답하여, 전자 디바이스를 언록킹하는 적어도 하나의 동작을 수행하게 하는 명령들을 더 포함한다.
(실시예 30) 실시예 22 의 비-일시적 컴퓨터 판독가능 저장 매체에서, 통지를 생성하는 것은, 출력 유닛을 통해, 통지를 나타내는 가청 사운드, 진동, 또는 가시광 중 적어도 하나를 생성하는 것을 포함한다.

Claims (30)

  1. 전자 디바이스에 의해 통지를 생성하기 위한 방법으로서,
    스피치 구문을 수신하는 단계;
    프로세서에 의해, 상기 스피치 구문을 상기 통지를 생성하기 위한 커맨드로서 인식하는 단계;
    적어도 하나의 센서에 의해, 상기 전자 디바이스의 컨텍스트 데이터를 검출하는 단계;
    상기 컨텍스트 데이터와 연관된 컨텍스트 스코어를 결정하는 단계;
    상기 프로세서에 의해, 상기 컨텍스트 스코어의 임계값과의 비교에 적어도 기초하여 상기 통지를 생성할지 여부를 결정하는 단계; 및
    상기 비교에 기초하여 상기 통지를 생성하는 단계를 포함하는, 전자 디바이스에 의해 통지를 생성하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 컨텍스트 데이터를 검출하는 단계는, 사용자 입력, 상기 전자 디바이스의 움직임, 타이밍 정보, 상기 전자 디바이스의 위치 정보, 주변광 값, 및 입력 사운드 중에서 하나에 적어도 기초하는, 전자 디바이스에 의해 통지를 생성하기 위한 방법.
  3. 제 2 항에 있어서,
    상기 통지를 생성할지 여부를 결정하는 단계는 상기 전자 디바이스의 상기 위치 정보가 상기 통지가 생성되지 않을 위치에 대응하는지 여부를 결정하는 단계를 포함하는, 전자 디바이스에 의해 통지를 생성하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 통지를 생성할지 여부를 결정하는 단계는 상기 통지가 생성될 것으로 결정할 시, 상기 전자 디바이스의 무음 모드 (silent mode) 를 비활성화하는 단계를 포함하는, 전자 디바이스에 의해 통지를 생성하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 통지를 생성할지 여부를 결정하는 단계는 상기 컨텍스트 데이터가 사용자 입력을 포함하는지 여부를 결정하는 단계를 포함하는, 전자 디바이스에 의해 통지를 생성하기 위한 방법.
  6. 제 2 항에 있어서,
    상기 통지를 생성할지 여부를 결정하는 단계는 상기 타이밍 정보가 특정 시간 주기 외부에 있는지 여부를 결정하는 단계를 포함하는, 전자 디바이스에 의해 통지를 생성하기 위한 방법.
  7. 제 1 항에 있어서,
    상기 스피치 구문을 수신하는 단계는, 사운드 센서에 의해, 제 1 스피치 구문 및 제 2 스피치 구문을 수신하는 단계를 포함하고,
    상기 스피치 구문은, 상기 제 1 스피치 구문 및 상기 제 2 스피치 구문이 미리결정된 시간 주기 내에 수신되는 것으로 결정하는 것에 응답하여, 상기 통지를 생성하기 위한 커맨드로서 인식되는, 전자 디바이스에 의해 통지를 생성하기 위한 방법.
  8. 제 7 항에 있어서,
    상기 스피치 구문을 상기 통지를 생성하기 위한 커맨드로서 인식하는 단계는, 상기 제 1 스피치 구문을 상기 전자 디바이스 내의 보이스 어시스턴트 유닛을 활성화하기 위한 커맨드로서, 그리고 상기 제 2 스피치 구문을 상기 통지를 생성하기 위한 커맨드로서 인식하는 단계를 포함하는, 전자 디바이스에 의해 통지를 생성하기 위한 방법.
  9. 제 1 항에 있어서,
    상기 스피치 구문을 수신하는 단계는, 통신 유닛에 의해, 상기 스피치 구문을 외부 디바이스로부터 수신하는 단계를 포함하고,
    상기 통지를 생성하는 단계는, 상기 통신 유닛에 의해, 상기 전자 디바이스의 위치 정보를 상기 외부 디바이스에 송신하는 단계를 포함하는, 전자 디바이스에 의해 통지를 생성하기 위한 방법.
  10. 제 4 항에 있어서,
    상기 통지가 생성될 것이라고 결정하는 것에 응답하여, 상기 전자 디바이스를 록킹하거나 또는 사용자 입력을 수신하는 것에 응답하여, 상기 전자 디바이스를 언록킹하는 단계를 더 포함하는, 전자 디바이스에 의해 통지를 생성하기 위한 방법.
  11. 제 10 항에 있어서,
    상기 컨텍스트 데이터에 대한 컨텍스트 값을 결정하는 단계; 및
    상기 컨텍스트 값에 가중 값을 곱함으로써 상기 컨텍스트 스코어를 계산하는 단계를 더 포함하는, 전자 디바이스에 의해 통지를 생성하기 위한 방법.
  12. 제 1 항에 있어서,
    상기 통지를 생성하는 단계는, 출력 유닛에 의해, 상기 통지를 나타내는 가청 사운드, 진동, 또는 가시광 중 적어도 하나를 생성하는 단계를 포함하는, 전자 디바이스에 의해 통지를 생성하기 위한 방법.
  13. 통지를 생성하기 위한 전자 디바이스로서,
    스피치 구문을 수신하도록 구성된 사운드 센서;
    상기 스피치 구문을 상기 통지를 생성하기 위한 커맨드로서 인식하도록 구성된 스피치 인식 유닛;
    상기 전자 디바이스의 컨텍스트 데이터를 검출하도록 구성된 센서 유닛; 및
    상기 컨텍스트 데이터와 연관된 컨텍스트 스코어를 결정하고, 상기 컨텍스트 스코어의 임계값과의 비교에 적어도 기초하여 상기 통지를 생성할지 여부를 결정하도록 구성된 프로세서; 및
    상기 비교에 기초하여 상기 통지를 생성하도록 구성된 출력 유닛을 포함하는, 통지를 생성하기 위한 전자 디바이스.
  14. 제 13 항에 있어서,
    상기 출력 유닛은 가청 사운드, 진동, 또는 가시광 중 적어도 하나를 생성하도록 구성되는, 통지를 생성하기 위한 전자 디바이스.
  15. 제 13 항에 있어서,
    상기 센서 유닛은 추가로, 사용자 입력, 상기 전자 디바이스의 움직임, 타이밍 정보, 상기 전자 디바이스의 위치 정보, 주변광 값, 및 입력 사운드 중에서 하나에 적어도 기초하여 상기 컨텍스트 데이터를 검출하도록 구성되는, 통지를 생성하기 위한 전자 디바이스.
  16. 제 15 항에 있어서,
    상기 프로세서는 추가로,
    상기 컨텍스트 데이터에 대한 컨텍스트 값을 결정하고; 그리고
    상기 컨텍스트 값에 가중 값을 곱함으로써 상기 컨텍스트 스코어를 계산하도록
    구성되는, 통지를 생성하기 위한 전자 디바이스.
  17. 제 15 항에 있어서,
    상기 프로세서는 추가로,
    상기 컨텍스트 데이터가 상기 사용자 입력을 포함하는 것을 검출할시, 상기 통지가 생성되지 않을 것으로 결정하는 것;
    상기 타이밍 정보가 특정 시간 주기 외부에 있는지 여부를 결정하는 것; 또는
    상기 전자 디바이스의 상기 위치 정보가 상기 통지가 생성되지 않을 위치에 대응하는지 여부를 결정하는 것
    중 적어도 하나에 기초하여 상기 통지를 생성할지 여부를 결정하도록 구성되는, 통지를 생성하기 위한 전자 디바이스.
  18. 제 13 항에 있어서,
    상기 사운드 센서는 추가로, 제 1 스피치 구문 및 제 2 스피치 구문을 상기 스피치 구문으로서 수신하도록 구성되고,
    상기 스피치 인식 유닛은 추가로, 상기 제 1 스피치 구문 및 상기 제 2 스피치 구문이 미리결정된 시간 주기 내에 수신되는 것으로 결정하는 것에 응답하여, 상기 스피치 구문을 상기 통지를 생성하기 위한 커맨드로서 인식하도록 구성되는, 통지를 생성하기 위한 전자 디바이스.
  19. 제 18 항에 있어서,
    보이스 어시스턴트 유닛을 더 포함하며,
    상기 스피치 인식 유닛은 추가로, 상기 제 1 스피치 구문을 상기 보이스 어시스턴트 유닛을 활성화하기 위한 커맨드로서 인식하도록 구성되고,
    상기 보이스 어시스턴트 유닛은 상기 제 2 스피치 구문을 상기 통지를 생성하기 위한 커맨드로서 인식하도록 구성되는, 통지를 생성하기 위한 전자 디바이스.
  20. 제 13 항에 있어서,
    상기 전자 디바이스의 위치 정보를 외부 디바이스에 송신하도록 구성된 통신 유닛을 더 포함하는, 통지를 생성하기 위한 전자 디바이스.
  21. 제 16 항에 있어서,
    상기 전자 디바이스는 추가로,
    상기 통지가 생성될 것으로 결정하는 것에 응답하여, 상기 전자 디바이스를 록킹하는 것; 또는
    사용자 입력을 수신하는 것에 응답하여, 상기 전자 디바이스를 언록킹하는 것
    중 적어도 하나를 수행하도록 구성되는, 통지를 생성하기 위한 전자 디바이스.
  22. 명령들을 포함하는 비-일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 전자 디바이스의 적어도 하나의 프로세서로 하여금,
    스피치 구문을 수신하고;
    상기 스피치 구문을 통지를 생성하기 위한 커맨드로서 인식하고;
    적어도 하나의 센서를 통해, 상기 전자 디바이스의 컨텍스트 데이터를 검출하고;
    상기 컨텍스트 데이터와 연관된 컨텍스트 스코어를 결정하고;
    상기 컨텍스트 스코어의 임계값과의 비교에 적어도 기초하여 상기 통지를 생성할지 여부를 결정하며; 그리고
    상기 비교에 기초하여 상기 통지를 생성하는
    동작들을 수행하게 하도록 실행가능한, 비-일시적 컴퓨터 판독가능 저장 매체.
  23. 제 22 항에 있어서,
    상기 컨텍스트 데이터를 검출하는 것은, 사용자 입력, 상기 전자 디바이스의 움직임, 타이밍 정보, 상기 전자 디바이스의 위치 정보, 주변광 값, 및 입력 사운드 중에서 하나에 적어도 기초하는, 비-일시적 컴퓨터 판독가능 저장 매체.
  24. 제 23 항에 있어서,
    상기 컨텍스트 데이터에 대한 컨텍스트 값을 결정하는 것; 및
    상기 컨텍스트 값에 가중 값을 곱함으로써 상기 컨텍스트 스코어를 계산하는 것을 더 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
  25. 제 23 항에 있어서,
    상기 통지를 생성할지 여부를 결정하는 것은,
    상기 컨텍스트 데이터가 상기 사용자 입력을 포함하는 것을 검출할 시, 상기 통지가 생성되지 않을 것으로 결정하는 것;
    상기 타이밍 정보가 특정 시간 주기 외부에 있는지 여부를 결정하는 것; 또는
    상기 전자 디바이스의 상기 위치 정보가 상기 통지가 생성되지 않을 위치에 대응하는지 여부를 결정하는 것
    중 적어도 하나를 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
  26. 제 22 항에 있어서,
    사운드 센서를 통해, 스피치 구문을 수신하는 것은, 제 1 스피치 구문 및 제 2 스피치 구문을 수신하는 것을 포함하고,
    상기 스피치 구문은, 상기 제 1 스피치 구문 및 상기 제 2 스피치 구문이 미리결정된 시간 주기 내에 수신되는 것으로 결정하는 것에 응답하여, 상기 통지를 생성하기 위한 커맨드로서 인식되는, 비-일시적 컴퓨터 판독가능 저장 매체.
  27. 제 26 항에 있어서,
    상기 제 1 스피치 구문은 상기 전자 디바이스 내의 보이스 어시스턴트 유닛을 활성화하기 위한 커맨드를 포함하고, 상기 제 2 스피치 구문은 상기 통지를 생성하기 위한 커맨드를 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
  28. 제 22 항에 있어서,
    상기 통지를 생성하는 것은, 통신 유닛을 통해, 상기 전자 디바이스의 위치 정보를 외부 디바이스에 송신하는 것을 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
  29. 제 24 항에 있어서,
    상기 전자 디바이스의 상기 적어도 하나의 프로세서로 하여금,
    상기 통지가 생성될 것으로 결정하는 것에 응답하여, 상기 전자 디바이스를 록킹하거나; 또는
    사용자 입력을 수신하는 것에 응답하여, 상기 전자 디바이스를 언록킹하는
    적어도 하나의 동작을 수행하게 하도록 실행가능한 명령들을 더 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
  30. 제 22 항에 있어서,
    상기 통지를 생성하는 것은, 출력 유닛을 통해, 상기 통지를 나타내는 가청 사운드, 진동, 또는 가시광 중 적어도 하나를 생성하는 것을 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
KR1020187015239A 2015-12-01 2016-10-26 사용자로부터의 스피치 구문에 응답하여 컨텍스트 데이터에 기초하여 통지를 생성하는 전자 디바이스 KR101921037B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/956,180 2015-12-01
US14/956,180 US9946862B2 (en) 2015-12-01 2015-12-01 Electronic device generating notification based on context data in response to speech phrase from user
PCT/US2016/058920 WO2017095560A1 (en) 2015-12-01 2016-10-26 Electronic device generating notification based on context data in response to speech phrase from user

Publications (2)

Publication Number Publication Date
KR20180066251A KR20180066251A (ko) 2018-06-18
KR101921037B1 true KR101921037B1 (ko) 2018-11-21

Family

ID=57321405

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187015239A KR101921037B1 (ko) 2015-12-01 2016-10-26 사용자로부터의 스피치 구문에 응답하여 컨텍스트 데이터에 기초하여 통지를 생성하는 전자 디바이스

Country Status (11)

Country Link
US (1) US9946862B2 (ko)
EP (3) EP3384489B1 (ko)
JP (1) JP6585300B2 (ko)
KR (1) KR101921037B1 (ko)
CN (1) CN108292503B (ko)
BR (1) BR112018010876A2 (ko)
ES (1) ES2842181T3 (ko)
HK (1) HK1251075A1 (ko)
SG (1) SG11201803050PA (ko)
TW (1) TWI647590B (ko)
WO (1) WO2017095560A1 (ko)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9769564B2 (en) 2015-02-11 2017-09-19 Google Inc. Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US10284537B2 (en) 2015-02-11 2019-05-07 Google Llc Methods, systems, and media for presenting information related to an event based on metadata
US11392580B2 (en) * 2015-02-11 2022-07-19 Google Llc Methods, systems, and media for recommending computerized services based on an animate object in the user's environment
US11048855B2 (en) 2015-02-11 2021-06-29 Google Llc Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
JP2016218852A (ja) * 2015-05-22 2016-12-22 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
KR20180037543A (ko) * 2016-10-04 2018-04-12 삼성전자주식회사 음성 인식 전자 장치
US11276395B1 (en) * 2017-03-10 2022-03-15 Amazon Technologies, Inc. Voice-based parameter assignment for voice-capturing devices
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK179560B1 (en) * 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10599391B2 (en) * 2017-11-06 2020-03-24 Google Llc Parsing electronic conversations for presentation in an alternative interface
CN108022586B (zh) * 2017-11-30 2019-10-18 百度在线网络技术（北京）有限公司 用于控制页面的方法和装置
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11094316B2 (en) * 2018-05-04 2021-08-17 Qualcomm Incorporated Audio analytics for natural language processing
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
JP2019204025A (ja) * 2018-05-24 2019-11-28 レノボ・シンガポール・プライベート・リミテッド 電子機器、制御方法、及びプログラム
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
JP7055722B2 (ja) 2018-08-27 2022-04-18 京セラ株式会社 音声認識機能を有する電子機器、その電子機器の制御方法およびプログラム
JP2020052445A (ja) * 2018-09-21 2020-04-02 シャープ株式会社 発話装置、サーバ、制御システム、制御方法、およびプログラム
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11205433B2 (en) * 2019-08-21 2021-12-21 Qualcomm Incorporated Method and apparatus for activating speech recognition
CN110648645A (zh) * 2019-09-27 2020-01-03 北京小米移动软件有限公司 带屏电子设备控制方法、装置及控制系统
US11664044B2 (en) 2019-11-25 2023-05-30 Qualcomm Incorporated Sound event detection learning
JP7482640B2 (ja) 2020-02-05 2024-05-14 キヤノン株式会社 音声入力装置およびその制御方法ならびにプログラム
CN111354360A (zh) * 2020-03-17 2020-06-30 北京百度网讯科技有限公司 语音交互处理方法、装置和电子设备
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US20220028245A1 (en) * 2020-07-21 2022-01-27 Rai Strategic Holdings, Inc. Aerosol Generation Device Locator
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11410677B2 (en) 2020-11-24 2022-08-09 Qualcomm Incorporated Adaptive sound event classification
US11749287B2 (en) * 2021-04-09 2023-09-05 Qualcomm Incorporated Device finder using voice authentication

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3888727B2 (ja) * 1997-04-15 2007-03-07 三菱電機株式会社 音声区間検出方法、音声認識方法、音声区間検出装置及び音声認識装置
JP2002057749A (ja) * 2000-08-09 2002-02-22 Denso Corp 携帯形通信装置
US7398209B2 (en) * 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7693720B2 (en) 2002-07-15 2010-04-06 Voicebox Technologies, Inc. Mobile systems and methods for responding to natural language speech utterance
JP4429691B2 (ja) * 2003-11-07 2010-03-10 クラリオン株式会社 車載用音響装置、車載用音響装置の制御方法、車載用音響装置の制御プログラム、及び記録媒体
US9042921B2 (en) * 2005-09-21 2015-05-26 Buckyball Mobile Inc. Association of context data with a voice-message component
JP2009124188A (ja) * 2006-01-30 2009-06-04 Nec Corp 携帯端末、携帯端末の紛失通知方法、および紛失通知プログラム
US8587402B2 (en) 2008-03-07 2013-11-19 Palm, Inc. Context aware data processing in mobile computing device
JP2010098356A (ja) * 2008-10-14 2010-04-30 Panasonic Corp 携帯端末
US9076125B2 (en) * 2009-02-27 2015-07-07 Microsoft Technology Licensing, Llc Visualization of participant relationships and sentiment for electronic messaging
US8423508B2 (en) * 2009-12-04 2013-04-16 Qualcomm Incorporated Apparatus and method of creating and utilizing a context
US8854318B2 (en) * 2010-09-01 2014-10-07 Nokia Corporation Mode switching
JP2012070085A (ja) * 2010-09-21 2012-04-05 Ntt Docomo Inc 携帯端末及びプログラム
US9262612B2 (en) * 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8594737B2 (en) 2011-04-06 2013-11-26 Blackberry Limited System and method for locating a misplaced mobile device
US20130324071A1 (en) * 2012-06-04 2013-12-05 Yeung Hwae Huh Modifying alert modes for electronic devices
US9348607B2 (en) * 2012-06-07 2016-05-24 Apple Inc. Quiet hours for notifications
JP2014036360A (ja) * 2012-08-09 2014-02-24 Sharp Corp 電子機器、電子機器の制御方法、および制御プログラム
US9721587B2 (en) * 2013-01-24 2017-08-01 Microsoft Technology Licensing, Llc Visual feedback for speech recognition system
US9854084B2 (en) 2013-03-06 2017-12-26 Google Llc Contextual alarm and notification management
KR102057795B1 (ko) 2013-03-15 2019-12-19 애플 인크. 콘텍스트-민감성 방해 처리
WO2014165470A1 (en) 2013-04-03 2014-10-09 Qmotion Incorporated System and method for wireless voice activation of motorized window coverings
US10145579B2 (en) * 2013-05-01 2018-12-04 Honeywell International Inc. Devices and methods for interacting with a control system that is connected to a network
US9384751B2 (en) * 2013-05-06 2016-07-05 Honeywell International Inc. User authentication of voice controlled devices
US9892729B2 (en) * 2013-05-07 2018-02-13 Qualcomm Incorporated Method and apparatus for controlling voice activation
US9767672B2 (en) 2013-06-14 2017-09-19 Ebay Inc. Mobile device self-identification system
US9240182B2 (en) * 2013-09-17 2016-01-19 Qualcomm Incorporated Method and apparatus for adjusting detection threshold for activating voice assistant function
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
US8938394B1 (en) * 2014-01-09 2015-01-20 Google Inc. Audio triggers based on context
JP2015148648A (ja) * 2014-02-04 2015-08-20 シャープ株式会社 対話システム、発話制御装置、対話装置、発話制御方法、発話制御装置の制御プログラム、および、対話装置の制御プログラム
US20150249718A1 (en) * 2014-02-28 2015-09-03 Chris Huybregts Performing actions associated with individual presence
US9430186B2 (en) * 2014-03-17 2016-08-30 Google Inc Visual indication of a recognized voice-initiated action
US9966079B2 (en) * 2014-03-24 2018-05-08 Lenovo (Singapore) Pte. Ltd. Directing voice input based on eye tracking
US10770075B2 (en) 2014-04-21 2020-09-08 Qualcomm Incorporated Method and apparatus for activating application by speech input
US9715875B2 (en) * 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9696801B2 (en) * 2014-06-26 2017-07-04 Thomas Alan Donaldson Eye-controlled user interface to control an electronic device
US10515081B2 (en) * 2014-12-11 2019-12-24 Facebook, Inc. User-aware notification delivery
US10274911B2 (en) * 2015-06-25 2019-04-30 Intel Corporation Conversational interface for matching text of spoken input based on context model

Also Published As

Publication number Publication date
BR112018010876A2 (pt) 2018-11-21
EP3757989A1 (en) 2020-12-30
KR20180066251A (ko) 2018-06-18
EP3384489B1 (en) 2020-09-23
JP6585300B2 (ja) 2019-10-02
US9946862B2 (en) 2018-04-17
EP4350691A1 (en) 2024-04-10
WO2017095560A1 (en) 2017-06-08
CN108292503B (zh) 2019-06-14
CN108292503A (zh) 2018-07-17
TWI647590B (zh) 2019-01-11
EP3384489A1 (en) 2018-10-10
HK1251075A1 (zh) 2019-01-18
TW201729039A (zh) 2017-08-16
US20170154176A1 (en) 2017-06-01
JP2018537714A (ja) 2018-12-20
ES2842181T3 (es) 2021-07-13
SG11201803050PA (en) 2018-06-28

Similar Documents

Publication Publication Date Title
KR101921037B1 (ko) 사용자로부터의 스피치 구문에 응답하여 컨텍스트 데이터에 기초하여 통지를 생성하는 전자 디바이스
US9916431B2 (en) Context-based access verification
KR102317608B1 (ko) 음성 보조 기능을 활성화하는 검출 임계값을 조정하는 방법 및 장치
KR101868711B1 (ko) 애플리케이션들에 대한 액세스를 제어하기 위한 방법 및 장치
KR101981878B1 (ko) 스피치의 방향에 기초한 전자 디바이스의 제어
EP2829087B1 (en) Controlling applications in a mobile device based on the environmental context
US20150249718A1 (en) Performing actions associated with individual presence
US11997562B2 (en) Tracking proximities of devices and/or objects
US20150245312A1 (en) Presence-based device mode modification
JP2006304175A (ja) 携帯通信端末、携帯通信端末の制御方法及び制御プログラム、通信システム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant