KR101825963B1 - 정황에 기초한 내추럴 사용자 인터페이스 입력을 위한 기법들 - Google Patents

정황에 기초한 내추럴 사용자 인터페이스 입력을 위한 기법들 Download PDF

Info

Publication number
KR101825963B1
KR101825963B1 KR1020157028698A KR20157028698A KR101825963B1 KR 101825963 B1 KR101825963 B1 KR 101825963B1 KR 1020157028698 A KR1020157028698 A KR 1020157028698A KR 20157028698 A KR20157028698 A KR 20157028698A KR 101825963 B1 KR101825963 B1 KR 101825963B1
Authority
KR
South Korea
Prior art keywords
media
context
natural
input
media content
Prior art date
Application number
KR1020157028698A
Other languages
English (en)
Other versions
KR20150130484A (ko
Inventor
레니트라 더햄
앤더슨 그렌
뮤즈 필립
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20150130484A publication Critical patent/KR20150130484A/ko
Application granted granted Critical
Publication of KR101825963B1 publication Critical patent/KR101825963B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

내추럴 사용자 인터페이스(UI) 입력 이벤트를 해석하기 위한 예들이 설명된다. 일부 예들에서, 센서 정보는 애플리케이션에 대한 명령 동안에 수신될 수 있다. 명령 입력은 내추럴 UI 입력 이벤트로서 해석될 수 있다. 일부 예들에 있어서, 명령 입력에 관련된 정황 정보는 정황이 내추럴 UI 입력 이벤트와 연관되게 할 수 있다. 그 후, 정황은 애플리케이션에 대해 미디어 콘텐츠가 검색될 수 있는 방법에 대한 변경을 야기할 수 있다. 다른 예들이 설명되고 주장된다.

Description

정황에 기초한 내추럴 사용자 인터페이스 입력을 위한 기법들{TECHNIQUES FOR NATURAL USER INTERFACE INPUT BASED ON CONTEXT}
본원에 설명된 예들은 일반적으로 디바이스에 대한 내추럴 사용자 인터페이스 입력의 해석에 관련된다.
예를 들어, 랩톱, 태블릿 또는 스마트 폰과 같은 컴퓨팅 디바이스들은 내추럴 사용자 인터페이스(UI) 입력을 검출하기 위해 센서들을 활용할 수 있다. 센서들은 컴퓨팅 디바이스들에 임베딩되고 및/또는 결합될 수 있다. 일부 예들에서, 주어진 내추럴 UI 입력 이벤트는 이러한 유형의 임베딩된 및/또는 결합된 센서들에 의해 수집되거나 획득된 정보에 기초하여 검출될 수 있다. 예를 들어, 검출된 주어진 내추럴 UI 입력은 컴퓨팅 디바이스 상에서 실행하고 있는 애플리케이션에 영향을 주는 사용자의 의도를 나타낼 수 있는 입력 명령(예를 들어, 사용자 제스처)일 수 있다. 입력 명령은 사용자가 물리적으로 센서(예를 들어, 햅틱 센서)를 터칭하는 것, 다른 센서(예를 들어, 이미지 센서) 근방의 공간(air space)에서 제스처를 행하는 것, 또 다른 센서(예를 들어, 모션 센서)에 의해 검출된 사용자에 의한 컴퓨팅 디바이스의 적어도 일부분의 목적성 이동 또는 또 다른 센서들(예를 들어, 마이크로폰)에 의해 검출된 오디오 명령을 포함할 수 있다.
도 1은 제1 디바이스의 전면도 및 후면도의 예를 예시한다.
도 2a-b는 내추럴 사용자 인터페이스 입력 이벤트를 해석하는 예시적인 제1 정황들을 예시한다.
도 3a-b는 정황에 기초한 내추럴 UI 입력에 대한 예시적인 제2 정황들을 예시한다.
도 4는 내추럴 사용자 인터페이스 입력을 해석하는 예시적인 아키텍처를 예시한다.
도 5는 예시적인 맵핑 테이블을 예시한다.
도 6은 장치에 대한 예시적인 블록도를 예시한다.
도 7은 로직 흐름의 예를 예시한다.
도 8은 저장 매체의 예를 예시한다.
도 9는 제2 디바이스의 예를 예시한다.
예들은 일반적으로, 가능하게는 컴퓨팅 디바이스(이하, 디바이스로서 지칭됨) 상에서 실행하고 있는 애플리케이션에 영향을 주는 검출된 입력 명령들을 해석하기 위한 개선들에 관한 것이다. 본 개시내용에서 상정되는 바와 같이, 입력 명령들은 터치 제스처들, 에어 제스처들(air gestures), 디바이스 제스처들, 오디오 명령들, 패턴 인식들 또는 객체 인식들을 포함할 수 있다. 일부 예들에서, 입력 명령은 디바이스 상에서 실행하고 있는 애플리케이션에 영향을 주는 내추럴 UI 입력 이벤트로서 해석될 수 있다. 예를 들어, 애플리케이션은 메시징 애플리케이션을 포함할 수 있고, 해석된 내추럴 UI 입력 이벤트는, 미리결정된 텍스트 또는 미디어 콘텐츠 중 어느 하나가 메시징 애플리케이션에 의해 생성되는 메시지에 부가되게 할 수 있다.
일부 예들에서, 미리결정된 텍스트 또는 미디어 콘텐츠는 사용자의 정황과는 무관하게 메시징 애플리케이션에 의해 생성되는 메시지에 부가될 수 있다. 텍스트 또는 미디어 콘텐츠를 사용자의 정황과 무관하게 메시지에 부가하는 것은, 예를 들어, 메시지의 수신자가 형식성(formality)의 수준에 있어서 상이한 경우, 문제가 있을 수 있다. 각각의 형식성의 수준은 상이한 정황들을 나타낼 수 있다. 예를 들어, 해석된 내추럴 UI 입력 이벤트에 응답하여, 미리결정된 미디어 콘텐츠는 "잠시 쉴래요?"를 나타내는 맥주잔 아이콘일 수 있다. 맥주잔 아이콘의 미리결정된 미디어 콘텐츠는, 친구/동료 수신자 정황과 같은 정의된 관계 정황에 대해 적절할 수 있지만, 업무 감독자 수신자 정황과 같은 다른 유형의 정의된 관계 정황에 대해서는 적절하지 않을 수 있다.
일부 다른 예들에서, 사용자의 정황은 사용자가 행하고 있을 수 있는 실제의 물리적 활동에 기초될 수 있다. 이러한 예들에 있어서, 사용자는 달리고 있거나 조깅하고 있을 수 있고 해석된 내추럴 UI 입력 이벤트는 디바이스 상에서 실행하고 있는 음악 플레이어 애플리케이션에 영향을 줄 수 있다. 예를 들어, 디바이스를 흔드는 것을 포함하는 디바이스 제스처와 같은 명령 입력은 음악 플레이어 애플리케이션으로 하여금 음악 선곡들을 섞게(shuffle) 할 수 있다. 이것은, 사용자의 이동으로서 달리기 또는 조깅이 음악 선곡으로 하여금 의도하지 않게 섞이게 하는 경우 문제가 있을 수 있고, 따라서, 방해받지 않고 음악을 즐기려는 사용자 경험을 저하시킬 수 있다.
일부 예들에서, 정황에 기초하여 디바이스 상에서 실행하고 있는 애플리케이션에 대한 내추럴 UI 입력을 위한 기법들이 구현된다. 이러한 기법들은, 디바이스에서, 제1 입력 명령을 검출하는 것을 포함할 수 있다. 제1 입력 명령은 제1 내추럴 UI 입력 이벤트로서 해석될 수 있다. 그리고 나서, 제1 내추럴 UI 입력 이벤트는 명령 입력에 관련된 정황 정보에 기초하여 정황과 연관될 수 있다. 이러한 예들에 있어서,정황에 기초하여 제1 내추럴 UI 입력 이벤트를 프로세싱할지와 관련한 판정이 이루어질 수 있다. 일부 예들에 있어서, 제1 내추럴 UI 입력 이벤트는 정황에 기초하여 프로세싱될 수 있다. 제1 내추럴 UI 입력의 프로세싱은, 정황이 제1 미디어 검색 모드로부터 제2 미디어 검색 모드로의 스위칭을 야기하는지를 판정하는 것을 포함할 수 있다. 그리고 나서 제1 또는 제2 미디어 검색 모드에 기초하여 애플리케이션에 대해 미디어 콘텐츠가 검색될 수 있다.
도 1은 제1 디바이스(100)의 전면도 및 후면도의 예를 예시한다. 일부 예들에서, 디바이스(100)는 도 1에 도시된 바와 같이 전면측(105)과 후면측(125)을 갖는다. 이러한 예들에 있어서, 전면측(105)은 실행 애플리케이션(executing application)(112)의 뷰를 디바이스(100)의 사용자에게 제공하는 터치스크린/디스플레이(110)를 포함하는 디바이스(100)의 측에 대응할 수 있다. 반면, 후면측(125)은 디스플레이 뷰 측으로부터 디바이스(100)의 대향하는/후면의 측일 수 있다. 일부 예들에서, 디스플레이는 또한 후면측(125)에도 존재할 수 있지만, 설명의 용이함을 위해, 도 1은 후면측 디스플레이를 포함하지 않는다.
일부 예들에 따르면, 전면측(105)은, 전면측(105)으로부터 디바이스(100)를 보는 경우 사용자에게 적어도 부분적으로 가시적일 수 있는(예를 들어, 스킨(skin)(101)의 표면 상에 또는 그를 통해 가시적인) 요소들/피처들을 포함한다. 또한, 일부 요소들/피처들은, 전면측(105)으로부터 디바이스(100)를 보는 경우 사용자에게 가시적이지 않을 수 있다. 이러한 예들에 있어서, 실선 박스들은 적어도 부분적으로 가시적일 수 있는 그러한 피처들을 나타낼 수 있고, 점선 박스들은 사용자에게 가시적이지 않을 수 있는 그러한 요소/피처들을 나타낼 수 있다. 예를 들어, 송신기/통신(comm.) 인터페이스(102)는 사용자에게 가시적이지 않을 수 있지만, 카메라(들)(104), 오디오 스피커(들)(106), 입력 버튼(들)(108), 마이크로폰(들)(109) 또는 터치스크린/디스플레이(110)의 적어도 일부는 사용자에게 가시적일 수 있다.
일부 예들에서, 후면측(125)은, 후면측(125)으로부터 디바이스(100)를 보는 경우 사용자에게 적어도 부분적으로 가시적일 수 있는 요소들/피처들을 포함한다. 또한, 일부 요소들/피처들은 후면측(125)으로부터 디바이스(100)를 보는 경우, 사용자에게 가시적이지 않을 수 있다. 이러한 예들에 있어서, 실선 박스들은 적어도 부분적으로 가시적일 수 있는 그러한 피처들을 나타낼 수 있고 점선 박스들은 가시적이지 않을 수 있는 그러한 요소/피처들을 나타낼 수 있다. 예를 들어, GPS(global positioning system)(128), 가속도계(130), 자이로스코프(132), 메모리(140) 또는 프로세서 컴포넌트(150)는 사용자에게 가시적이지 않을 수 있지만, 환경 센서(들)(122), 카메라(들)(124) 및 생체인식 센서(들)/인터페이스(126) 중 적어도 일부는 사용자에게 가시적일 수 있다.
일부 예들에 따르면, 도 1에 도시된 바와 같이, 통신 링크(101)는 송신기/통신 인터페이스(102)를 통해 디바이스(100)를 무선으로 결합할 수 있다. 그러한 예들에 있어서, 송신기/통신 인터페이스(102)는 통신 링크(103)를 통해 네트워크(도시되지 않음)와의 네트워크 접속을 구축하기 위해 하나 이상의 무선 통신 표준을 준수하여 동작하도록 구성되고 및/또는 동작할 수 있다. 네트워크 접속은 디바이스(100)가 데이터를 수신/송신하는 것을 가능하게 하고 및/또는 네트워크를 통한 음성 통신을 가능하게 할 수 있다.
일부 예들에서, 디바이스(100)의 다양한 요소들/피처들은 검출된 입력 명령들(예를 들어, 사용자 제스처들 또는 오디오 명령)과 연관된 센서 정보를 프로세서 컴포넌트(150)에 의한 실행을 위한 로직, 피처들 또는 모듈들에 제공할 수 있다. 예를 들어, 터치 스크린/디스플레이(110)는 터치 제스처를 검출할 수 있다. 카메라(들)(104 또는 124)는 공간/에어 제스처들(spatial/air gestures) 또는 패턴/객체 인식을 검출할 수 있다. 가속도계(130) 및/또는 자이로스코프(132)는 디바이스 제스처들을 검출할 수 있다. 마이크로폰(들)(109)은 오디오 명령들을 검출할 수 있다. 이하에 더 설명되는 바와 같이, 제공된 센서 정보는 프로세서 컴포넌트(150)에 의해 실행될 모듈들에게, 검출된 입력 명령이 실행 애플리케이션(112)에 영향을 주려는 의도를 갖고 있고, 검출된 일련의 입력 명령을 내추럴 UI 입력 이벤트로서 해석하라는 것을 나타낼 수 있다.
일부 다른 예들에서, 일련의 검출된 입력 명령들 또는 조합은 프로세서 컴포넌트(150)에 의한 실행을 위한 모듈들에게, 사용자가 실행 애플리케이션(112)에 영향을 주고, 그 후에 검출된 일련의 입력 명령들을 내추럴 UI 입력 이벤트로서 해석하려는 의도를 갖는다는 것을 나타낼 수 있다. 예를 들어, 제1 검출된 입력 명령은 마이크로폰(109)을 활성화하는 것일 수 있고 제2 검출된 입력 명령은 마이크로폰(109)에 의해 검출된 사용자-생성 구두(user-generated verbal) 또는 오디오 명령일 수 있다. 이러한 예에 있어서, 내추럴 UI 입력 이벤트는 마이크로폰(109)에 의해 검출된 사용자-생성 구두 또는 오디오 명령에 기초하여 해석될 수 있다. 다른 예들에서, 제1 검출된 입력 명령은 카메라(들)(104 또는 124) 중의 카메라를 활성화하는 것일 수 있다. 그러한 다른 예들에 있어서, 내추럴 UI 입력 이벤트는 카메라에 의해 검출된 객체 또는 패턴 인식에 기초하여(예를 들어, 얼굴 인식 등을 통해) 해석될 수 있다.
일부 예들에서, 디바이스(100)의 다양한 요소들/피처들은 검출된 입력 명령과 관련된 센서 정보를 제공할 수 있다. 입력 명령과 관련된 정황 정보는 환경 센서(들)/인터페이스(122) 또는 생체인식 센서(들)/인터페이스(126) 중 하나 이상에 의해/을 통해 수집된 센서 정보를 포함할 수 있다. 입력 명령에 관련된 정황 정보는 또한, 이것으로 한정되는 것은 아니지만, 카메라(들)(104/124), 마이크로폰들(109), GPS(128), 가속도계(130), 또는 자이로스코프(132) 중 하나 이상에 의해 수집된 센서 정보를 포함할 수 있다.
일부 예들에 따르면, 입력 명령에 관련된 정황 정보는 하루 중의 시간, GPS(128)로부터 수신된 GPS 정보, 자이로스코프(132)로부터 수신된 디바이스 배향 정보, 가속도계(130)로부터 수신된 디바이스 이동 레이트 정보, 카메라(들)(104/124)로부터 수신된 이미지 또는 객체 인식 정보 중 하나 이상을 포함할 수 있다. 일부 예들에서, 시간, GPS, 디바이스 배향, 디바이스 이동 레이트 또는 이미지/객체 인식 정보는 프로세서 컴포넌트(150)에 의한 실행을 위한 모듈들에 의해 수신될 수 있고 그 후 정황은 검출된 입력 명령으로부터 해석된 내추럴 UI 입력 이벤트와 연관될 수 있다. 다시 말해서, 전술한 시간, 위치, 배향, 이동 또는 이미지 인식 정보는 모듈들에 의해 사용되어, 입력 명령이 발생하는 정황을 판정할 수 있고, 그 후 그 정황과 내추럴 UI 입력 이벤트를 연관시킬 수 있다.
일부 예들에서, 입력 명령과 연관된 정황 정보는 또한 사용자 활동의 유형을 나타낼 수 있는 사용자가 입력한 정보를 포함할 수 있다. 예를 들어, 사용자는 사용자 활동의 유형을 나타내기 위해 입력 버튼(들)(108)을 이용하여 또는 터치/에어/디바이스 제스처들 또는 오디오 명령들을 통해 내추럴 UI 입력들을 이용하여 사용자 활동의 유형을 수동으로 입력할 수 있다. 사용자 활동의 유형은, 이것으로 한정되는 것은 아니지만, 운동 활동, 직장 활동, 가정 활동 또는 공공 활동(public activity)을 포함할 수 있다. 일부 예들에서, 사용자 활동의 유형은 프로세서 컴포넌트(150)에 의한 실행을 위한 모듈들에 의해 사용되어 정황과 검출된 입력 명령으로부터 해석된 내추럴 UI 입력 이벤트를 연관시킬 수 있다. 다시 말해서, 사용자 활동의 유형은 모듈들에 의해 사용되어, 입력 명령이 발생하는 정황을 판정하고 그 후에 그 정황을 내추럴 UI 입력 이벤트와 연관시킬 수 있다.
일부 예들에 따라서, 환경 센서(들)/인터페이스(122)에 의해/를 통해 수집된 센서 정보는 검출된 입력 동안에 디바이스(100)에서의 또는 근방의 주위 환경 센서 정보(ambient environmental sensor information)를 포함할 수 있다. 주위 환경 정보는, 이것으로 한정되는 것은 아니지만, 잡음 수준, 기온, 광 강도 또는 기압을 포함할 수 있다. 일부 예들에서, 주위 환경 센서 정보는 프로세서 컴포넌트(150)에 의한 실행을 위한 모듈들에 의해 수신될 수 있고, 그 후, 정황은 검출된 입력 명령으로부터 해석된 내추럴 UI 입력 이벤트와 연관될 수 있다. 다시 말해서, 주위 환경 정보는 모듈들에 의해 사용되어, 입력 명령이 발생하는 정황을 판정하고 그 정황과 내추럴 UI 입력 이벤트를 연관시킬 수 있다.
일부 예들에서, 주위 환경 정보에 기초하여 판정된 정황은 사용자 활동들의 유형을 나타낼 수 있다. 예를 들어, 높은 고도, 차가운 온도, 높은 광 강도 및 위치의 빈번한 변경을 나타내는 주위 환경 정보는 사용자가 자전거 타기, 등산, 하이킹, 스키 타기, 또는 달리기를 포함할 수 있는 야외 활동을 하고 있다는 것을 나타낼 수 있다. 다른 예들에서, 포근한 온도, 중간 광 강도, 위치의 덜 빈번한 변경 및 적당한 주위 잡음 수준을 나타내는 주위 환경 정보는 사용자가 직장 또는 가정 활동을 하고 있다는 것을 나타낼 수 있다. 또 다른 예들에서, 포근한 온도, 중간 또는 낮은 광 강도, 위치의 일부 변경들 및 높은 주위 잡음 수준을 나타내는 주위 환경 정보는 사용자가 공공 활동을 하고 있고 쇼핑몰과 같은 공공 장소에 있거나 공공 산책로 또는 거리를 따라가고 있다는 것을 나타낼 수 있다.
일부 예들에 따르면, 생체인식 센서(들)/인터페이스(126)에 의해/을 통해 수집된 센서 정보는 입력 명령 동안에 디바이스(100)의 사용자와 연관된 생체인식 정보를 포함할 수 있다. 생체인식 정보는, 이것으로 한정되는 것은 아니지만, 사용자의 심박수, 호흡율(breathing rate), 체온을 포함할 수 있다. 일부 예들에서, 생체인식 센서 정보는 프로세서 컴포넌트(150)에 의한 실행을 위한 모듈들에 의해 수신될 수 있고, 그 후, 정황은 검출된 입력 명령으로부터 해석된 내추럴 UI 입력 이벤트와 연관될 수 있다. 다시 말해서, 사용자에 대한 생체인식 정보는 모듈들에 의해 사용되어, 입력 명령이 그를 통해 발생하는 정황을 판정하고, 그 후, 그 정황과 내추럴 UI 입력 이벤트와 연관시킬 수 있다.
일부 예들에서, 사용자 생체인식 정보에 기초하여 판정된 정황은 사용자 활동들의 유형들을 나타낼 수 있다. 예를 들어, 높은 심박수, 호흡률 및 체온은 일부 종류의 물리적으로 격렬한 사용자 활동(예를 들어, 달리기, 자전거 타기, 하이킹, 스키 타기 등)을 나타낼 수 있다. 또한, 상대적으로 낮거나 안정적인 심박수/호흡률 및 정상 체온은 격렬하지 않은 사용자 활동(예를 들어, 가정에서의 또는 직장에서의)을 나타낼 수 있다. 사용자 생체인식 정보는 입력 명령이 발생하는 정황을 모듈들이 판정하는 것을 가능하게하도록 주위 환경 정보와 사용될 수 있다. 예를 들어, 높은 심박수를 나타내는 생체인식 정보와 결합된 높은 고도(high elevation)를 나타내는 환경 정보는 하이킹 또는 등산을 나타낼 수 있다. 대안적으로, 높은 심박수를 나타내는 생체인식 정보와 결합된 낮은 고도를 나타내는 환경 정보는 자전거 타기 또는 달리기를 나타낼 수 있다.
일부 예들에 따라서, 실행 애플리케이션(112)에 대한 애플리케이션의 유형은 또한 검출된 입력 명령에 관련된 정보를 제공할 수 있다. 이러한 예들에 있어서, 정황은, 적어도 부분적으로, 애플리케이션의 유형에 기초하여 검출된 입력 명령으로부터 해석된 내추럴 UI 입력 이벤트와 연관될 수 있다. 예를 들어, 애플리케이션의 유형은, 이것으로 한정되는 것은 아니지만, 텍스트 메시징 애플리케이션, 비디오 채팅 애플리케이션, 이메일 애플리케이션, 비디오 플레이어 애플리케이션, 게임 애플리케이션, 작업 생산성 애플리케이션(work productivity application), 이미지 캡처 애플리케이션, 웹 브라우저 애플리케이션, 소셜 미디어 애플리케이션, 또는 음악 플레이어 애플리케이션을 포함할 수 있다.
일부 예들에서, 실행 애플리케이션(112)에 대한 애플리케이션의 유형은 텍스트 메시징 애플리케이션, 비디오 채팅 애플리케이션, 이메일 애플리케이션 또는 소셜 미디어 애플리케이션 중 하나를 포함할 수 있다. 이러한 예들에 있어서, 검출된 입력 명령에 관련된 정황 정보는 또한 입력 명령으로부터 해석된 내추럴 UI 입력 이벤트에 응답하는 애플리케이션의 유형에 의해 생성된 메시지의 수신자에 대한 아이덴티티를 포함할 수 있다. 메시지의 수신자의 아이덴티티는, 예를 들어, 수신자에 대한 사용자의 관계를 정의할 수 있는 관계 정보 및 아이덴티티를 갖는 프로파일과 연관될 수 있다. 정의된 관계는 디바이스(100)의 사용자의 동료, 사용자의 업무 감독자, 사용자의 부모, 사용자의 형제자매 또는 사용자의 전문가 집단(professional associate) 중 하나를 포함할 수 있다. 프로세서 컴포넌트(150)에 의한 실행을 위한 모듈들은 내추럴 UI 입력 이벤트와 정황을 연관시키기 위해 메시지의 수신자의 아이덴티티를 이용할 수 있다.
일부 예들에 따라서, 프로세서 컴포넌트(150)에 의한 실행을 위한 모듈들은, 전술한 바와 같이 수신된 정황 정보의 다양한 유형들에 따라 주어진 내추럴 UI 입력과 연관된 정황에 기초하여 주어진 내추럴 UI 입력 이벤트를 더 프로세싱할 지를 판정할 수 있다. 추가의 프로세싱이 판정되는 경우, 이하에 더 설명되는 바와 같이, 미디어 선택 모드가 선택되어 주어진 내추럴 UI 입력 이벤트에 응답하는 실행 애플리케이션(112)에 대한 미디어 콘텐츠를 검색할 수 있다. 또한, 프로세서 컴포넌트(150)에 의한 실행을 위한 모듈들은 제1 미디어 검색 모드로부터 제2 미디어 검색 모드로 미디어 선택 모드를 스위칭할지를 판정할 수 있다. 그 후, 실행 애플리케이션(112)에 대한 미디어 콘텐츠는 제1 또는 제2 미디어 검색 모드에 기초하여, 내추럴 UI 입력 이벤트에 응답하는 모듈들에 의해 검색될 수 있다.
일부 예들에 따라서, 이하에 보다 상세하게 설명되는 바와 같이, 미디어 선택 모드들은 주어진 정황과 연관되는 경우 미디어 콘텐츠를 주어진 내추럴 UI 입력 이벤트로 맵핑하는 미디어 맵핑에 기초할 수 있다. 일부 예들에서, 미디어 콘텐츠는 메모리(140)의 부분으로서 포함된 비휘발성 및/또는 휘발성 유형의 메모리 내에 저장된 미디어 콘텐츠 라이브러리(142) 내에 유지될 수 있다. 일부 예들에서, 미디어 콘텐츠는 디바이스(100)에 대해 원격으로 유지된 네트워크 액세스가능한(예를 들어, 통신 링크(103)를 통해 액세스가능한) 미디어 콘텐츠 라이브러리 내에 유지될 수 있다. 일부 예들에서, 미디어 콘텐츠는, 주어진 내추럴 UI 입력 이벤트가 해석된 경우 발생하는 주어진 사용자 활동과 적어도 어느 정도 동시에 생성된 사용자 생성 미디어 콘텐츠일 수 있다. 예를 들어, 카메라(들)(104/124)을 이용하여 캡처된 이미지 또는 비디오는, 주어진 정황과 연관되는 경우, 주어진 내추럴 UI 입력 이벤트에 맵핑될 수 있는 사용자 생성 이미지들 또는 비디오를 초래할 수 있다.
일부 예들에서, 프로세서 컴포넌트(150)에 의한 실행을 위한 하나 이상의 모듈은 디바이스(100)로 하여금 미디어 콘텐츠를 검색하기 위해 어느 미디어 검색 모드가 주어진 내추럴 UI 입력 이벤트와 연관된 정황에 기초하여 선택되었는지를 나타내게 할 수 있다. 디바이스(100)는 오디오 표시, 시각적 표시, 또는 진동 표시 중 적어도 하나를 통해 선택된 미디어 검색 모드를 나타낼 수 있다. 오디오 표시는 일련의 오디오 비프(audio beep)들 또는 오디오 스피커(들)(106)을 통해 전송된 선택된 미디어 검색 모드의 오디오 문장(audio statement)일 수 있다. 시각적 표시는 선택된 미디어 검색 모드의 컬러 기반 또는 패턴 기반 표시를 제공할 수 있는 터치스크린/디스플레이(110) 상에 디스플레이되거나 또는 발광 다이오드들(도시되지 않음)을 통해 디스플레이된 표시들일 수 있다. 진동 표시는 사용자에 의해 느껴지거나 관찰될 수 있는 진동 컴포넌트(도시되지 않음)에 의해 야기된 디바이스(100)의 진동의 패턴일 수 있다.
도 2a 내지 도 2b는 내추럴 UI 입력 이벤트를 해석하는 예시적인 제1 정황들을 예시한다. 일부 예들에 따라서, 도 2a 및 도 2b에 도시된 바와 같이, 예시적인 제1 정황은 각각 정황(201) 및 정황(202)을 포함한다. 이러한 예들에 있어서, 도 2a 및 도 2b 각각은 도 1에 대해 전술한 바와 같은 디바이스(100)로부터의 실행 애플리케이션(112)의 사용자의 뷰를 도시한다. 도 2a 및 도 2b에 도시된 실행 애플리케이션(112)의 사용자 뷰는 텍스트 메시징 유형의 애플리케이션일 수 있다. 도 2a 및 도 2b에 도시된 바와 같이, 실행 애플리케이션(112)은 제1 뷰(좌측)에 대해 수신자 박스(205-A) 및 텍스트 박스(215-A)와 제2 뷰(우측)에 대해 수신자 박스(205-B) 및 텍스트 박스(215-B)를 가질 수 있다.
일부 예들에 따라서, 도 2a에 도시된 바와 같이, 수신자 박스(205-A)는 텍스트 메시지의 수신자가 친구임을 나타낼 수 있다. 이러한 예들에 있어서, 입력 명령은 도 1에 대해 전술한 바와 같이, 수신된 센서 정보에 기초하여 검출될 수 있다. 이 예에 대한 입력 명령은 수신자 박스(205-A)에서 나타낸 수신자에게 전송할 텍스트 메시지를 생성하는 것일 수 있다.
일부 예들에서, 입력 명령은, 입력 명령을 검출한 수신된 센서 정보에 기초하여 내추럴 UI 입력 이벤트로서 해석될 수 있다. 예를 들어, 사용자에 의한 터치, 에어 또는 디바이스 제스처는 텍스트 박스(215-A)에 입력될 텍스트 "잠시 쉴래요?"를 야기함으로써 실행 애플리케이션(112)에 영향을 주는 내추럴 UI 입력 이벤트로서 해석될 수 있다.
일부 예들에서, 텍스트 "잠시 쉴래요"를 야기하는 내추럴 UI 입력 이벤트는 입력 명령과 관련된 정황 정보에 기초하여 정황(201)과 연관될 수 있다. 이러한 예들에 있어서, 사용자 활동에 관련된 정황 정보는 단지 텍스트 메시지의 수신자가 사용자의 친구라는 것일 수 있다. 따라서, 정황(201)은 텍스트 메시지 "잠시 쉴래요"의 수신자인 사용자의 친구의 관계 정의에 기초한 정황으로서 설명될 수 있고, 정황(201)은 도 2a에 도시된 텍스트 박스(215-A)에 포함된 텍스트 메시지를 생성한 내추럴 UI 입력 이벤트와 연관될 수 있다. 다른 예들에서, 환경/생체인식 센서 정보와 같은 추가의 정황 정보가 또한 보다 상세한 정황(201)을 판정하고 설명하는데 사용될 수 있다.
일부 예들에 따라서, 정황(201)에 기초하여 텍스트 메시지를 생성한 내추럴 UI 입력 이벤트를 프로세싱할 지와 관련하여 판정이 이루어질 수 있다. 이러한 예들에 있어서, 내추럴 UI 입력 이벤트를 프로세싱하는 것은 어떤 미디어 콘텐츠를 검색하고 내추럴 UI 입력 이벤트에 의해 생성된 텍스트 메시지에 추가할 지를 판정하는 것을 포함할 수 있다. 또한, 이러한 예들에 있어서, 판정은, 정황(201)과 연관되는 경우, 미디어 콘텐츠가 내추럴 UI 입력 이벤트에 맵핑되었는지에 따를 수 있다. 미디어 콘텐츠는, 이것으로 한정되는 것은 아니지만, 이모티콘, 애니메이션, 비디오, 음악 선곡, 음향 효과를 레코딩하는 음성/오디오 또는 이미지를 포함할 수 있다. 일부 예들에 따라서, 미디어 콘텐츠가 맵핑되면, 그 후, 어떤 미디어 콘텐츠를 검색할지와 관련하여 판정이 이루어질 수 있다. 그렇지 않은 경우, 미디어 콘텐츠를 검색 및 추가하지 않고, 예를 들어, 추가의 프로세싱 없이 텍스트 메시지 "잠시 쉴래요?"가 전송될 수 있다.
일부 예들에서, "잠시 쉴래요?"를 생성한 내추럴 UI 입력 이벤트가 프로세싱되는 경우, 정황(201)(예를 들어, 친구 정황)이 제1 미디어 검색 모드로부터 제2 미디어 검색 모드로의 스위칭을 야기하는지와 관련하여 판정이 이루어질 수 있다. 이러한 예들에 있어서, 제1 미디어 검색 모드는, 정황(201)과 연관되는 경우, 제1 미디어 콘텐츠를 내추럴 UI 입력 이벤트에 맵핑하는 제1 미디어 맵핑에 기초할 수 있고, 제2 미디어 검색 모드는, 정황(202)과 연관되는 경우, 제2 미디어 콘텐츠를 내추럴 UI 입력 이벤트에 맵핑하는 제2 맵핑에 기초할 수 있다. 일부 예들에 따라서, 제1 미디어 콘텐츠는 텍스트 박스(215-B)에 도시된 바와 같이 맥주잔(beer mug)의 이미지일 수 있다. 이러한 예들에 있어서, 맥주잔은, 정황(201)과 연관되는 경우, "잠시 쉴래요?"를 생성한 내추럴 UI 입력 이벤트에 맥주잔을 맵핑하는 제1 미디어 맵핑에 기초하여 검색될 수 있다. 제1 미디어 검색 모드는 제1 미디어 맵핑에 기초하기 때문에, 미디어 검색 모드들에서의 어떤 스위칭도 이 예에서 필요하지 않다. 따라서, 맥주잔 이미지가 검색될 수 있고(예를 들어, 미디어 콘텐츠 라이브러리(142)로부터), 도 2a의 텍스트 박스(215-B)에 대해 도시된 바와 같이 텍스트 메시지에 부가될 수 있다. 그리고 나서, 텍스트 메시지는 친구 수신자에게 전송될 수 있다.
일부 예들에 따라서, 도 2b에 도시된 바와 같이, 수신자 박스(205-A)는 텍스트 메시지의 수신자가 감독자라는 것을 나타낼 수 있다. 이러한 예들에 있어서, 본 예에 대한 사용자 활동은 수신자 박스(205-A)에 나타내어진 수신자에게 전송하기 위한 텍스트 메시지를 생성하는 것일 수 있다. 또한, 이러한 예들에 있어서, 사용자 활동과 관련된 정보는 수신자 박스(205-A)에 도시된 바와 같은 텍스트 메시지의 수신자가 감독자의 사용자와의 정의된 관계를 갖는 것일 수 있다.
일부 예들에서, 텍스트 "잠시 쉴래요?"를 야기하는 내추럴 UI 입력 이벤트는 사용자의 감독자로서 텍스트 메시지의 수신자의 아이덴티티에 기초한 주어진 정황과 연관될 수 있다. 따라서, 정황(202)은 텍스트 메시지 "잠시 쉴래요?"의 식별된 수신자인 사용자의 감독자의 정의된 관계에 기초한 정황으로서 설명될 수 있고, 정황(202)은 도 2b에 도시된 텍스트 박스(215-A)에 포함된 텍스트 메시지를 생성한 내추럴 UI 입력 이벤트와 연관될 수 있다.
일부 예들에 따라서, 정황(202)에 기초하여 텍스트 메시지를 생성한 내추럴 UI 입력 이벤트를 프로세싱할지와 관련하여 판정이 이루어질 수 있다. 정황(201)에 대해 전술한 바와 마찬가지로, 판정은, 정황(202)과 연관되는 경우 미디어 콘텐츠가 내추럴 UI 입력 이벤트에 맵핑되었는지에 따를 수 있다. 일부 예들에 있어서, 미디어 콘텐츠가 맵핑되면, 어떤 미디어 콘텐츠를 검색할지와 관련하여 판정이 이루어질 수 있다. 그렇지 않은 경우, 미디어 콘텐츠를 검색 및 추가하지 않고, 즉, 추가의 프로세싱 없이 텍스트 메시지 "잠시 쉴래요?"가 전송될 수 있다.
일부 예들에서, "잠시 쉴래요?"를 생성한 내추럴 UI 입력 이벤트가 프로세싱될 것이라면, 정황(202)(예를 들어, 감독자 정황)이 제1 미디어 검색 모드로부터 제2 미디어 검색 모드로 스위칭을 야기하는지와 관련하여 판정이 이루어질 수 있다. 전술한 바와 같이, 제1 미디어 검색 모드는, 정황(201)과 연관되는 경우 제1 미디어 콘텐츠를 내추럴 UI 입력 이벤트에 맵핑하는 제1 미디어 맵핑에 기초할 수 있고, 제2 미디어 검색 모드는 정황(202)과 연관되는 경우 제2 미디어 콘텐츠를 내추럴 UI 입력 이벤트에 맵핑하는 제2 미디어 맵핑에 기초할 수 있다. 또한, 전술한 바와 같이, 제1 미디어 콘텐츠는 맥주잔의 이미지일 수 있다. 그러나, 맥주잔의 이미지는 감독자에게 전송하기에 적절하지 않을 수 있다. 따라서, 정황(202)과 연관되는 경우 내추럴 UI 입력 이벤트는, 맥주잔 이미지에 맵핑하는 제1 맵핑에 맵핑하지 않을 것이다. 오히려, 일부 예들에 따르면, 제1 미디어 검색 모드는 제2 미디어 콘텐츠로의 제2 미디어 맵핑에 기초하는 제2 미디어 검색 모드로 스위칭된다. 제2 미디어 콘텐츠는 가능하게는 보다 적절한 커피 컵의 이미지를 포함할 수 있다. 따라서, 커피 컵 이미지가 검색될 수 있고(에를 들어, 미디어 콘텐츠 라이브러리(142)로부터) 그리고 도 2a에서의 텍스트 박스(215-B)에 대해 도시된 바와 같이 텍스트 메시지에 추가될 수 있다. 그 후, 텍스트 메시지는 감독자 수신자에게 전송될 수 있다.
도 3a 내지 도 3b는 내추럴 UI 입력 이벤트를 해석하기 위한 예시적인 제2 정황들을 예시한다. 일부 예들에 따르면, 도 3a 및 도 3b에 도시된 바와 같이, 예시적인 제2 정황들은 각각 정황(301) 및 정황(302)을 포함한다. 이러한 예들에 있어서, 도 3a 및 도 3b 각각은 도 1에 대해 전술한 바와 같이 디바이스(100)로부터의 실행 애플리케이션(112)의 사용자 뷰를 도시한다. 도 3a 및 도 3b에 도시된 실행 애플리케이션(112)의 사용자 뷰는 음악 플레이어 유형의 애플리케이션에 대한 것일 수 있다. 도 3a 및 도 3b에 도시된 바와 같이, 실행 애플리케이션(112)은 제1 뷰(좌측)에 대한 현재 음악 디스플레이(305A) 및 제2 뷰(우측)에 대한 현재 음악 디스플레이(305B)를 가질 수 있다.
일부 예들에 따르면, 도 3a에 도시된 바와 같이, 현재 음악 디스플레이(305-A)는 실행 애플리케이션(112)에 의해 플레이되는 현재 음악 선곡을 나타낼 수 있고, 음악 선곡(306)은 그 현재 음악 선곡을 나타낼 수 있다. 이러한 예들에 있어서, 입력 명령은 도 1에 대해 전술한 바와 같이 수신된 센서 정보에 기초하여 검출될 수 있다. 이러한 예에 있어서, 사용자는 주어진 음악 선곡을 청취하고 있을 수 있다.
일부 예들에서, 입력 명령은, 입력 명령을 검출한 수신된 센서 정보에 기초하여 내추럴 UI 이벤트로서 해석될 수 있다. 예를 들어, 디바이스를 흔들기 및 다수의 방향으로 디바이스를 신속하게 이동시키기를 포함하는 사용자에 의한 디바이스 제스처는 음악 선곡(306)으로부터 음악 선곡(308)으로 음악 선곡이 변경(예를 들어, 섞기 또는 음악 선곡 입력을 스킵하는 것을 통해)하게 하도록 시도함으로써 실행 애플리케이션(112)에 영향을 주는 내추럴 UI 입력 이벤트로서 해석될 수 있다.
일부 예들에서, 음악 선곡에 있어서의 변경을 야기하는 내추럴 UI 입력 이벤트는 입력 명령에 관련된 정황 정보에 기초하여 정황(301)과 연관될 수 있다. 이러한 예들에 있어서, 정황(301)은, 이것으로 한정되는 것은 아니지만, 높은 주위 잡음 환경에 위치된 디바이스, 공공 장소에 위치된 디바이스, 사적인 장소 또는 가정의 장소에 위치된 디바이스, 직장 또는 사무실 장소에 위치된 디바이스, 또는 상대적으로 안정적인 장소에 유지되는 디바이스 중 하나 이상을 포함할 수 있다.
일부 예들에 따르면, 사용자가 음악을 청취하는 동안 만들어진 입력 명령에 관련된 정황 정보는 내추럴 UI 입력 이벤트와 정황(301)을 연관시키는데 사용될 수 있는 시간, 장소, 이동, 위치, 이미지/패턴 인식 또는 환경 및/또는 생체인식 센서 정보와 같은 정황 정보를 포함할 수 있다. 이러한 예들에 있어서, 입력 명령에 관련된 정황 정보는 사용자가, 정규 업무 시간 외인(예를 들어, 오후 5시 이후) 하루 중의 시간 동안에 상대적으로 안정적인 장소에, 적은 양의 이동으로 유지하고 있음을 나타낼 수 있다. 디바이스를 흔들기 또는 디바이스의 급격한 이동을 나타내는 정황 정보가 부주의한 이동의 결과가 아니라 목적성 디바이스 제스처일 수 있으므로, 정황(301)은 사용자 활동과 관련된 이러한 정황 정보에 기초하여 내추럴 UI 입력 이벤트와 연관될 수 있다.
일부 예들에 있어서, 정황(301)과 연관되고 있는 내추럴 UI 입력 이벤트의 결과로서, 내추럴 UI 입력 이벤트가 프로세싱될 수 있다. 이러한 예들에 있어서, 내추럴 UI 입력 이벤트를 프로세싱하는 것은, 정황(301)이 제1 미디어 검색 모드로부터 제2 미디어 검색 모드로의 시프트를 야기하는지를 판정하는 것을 포함할 수 있다. 이러한 예들에 있어서, 제1 미디어 검색 모드는 정황(301)과 연관되는 경우 제1 미디어 콘텐츠를 내추럴 UI 입력 이벤트에 맵핑하는 미디어 맵핑에 기초할 수 있고, 제2 미디어 검색 모드는 내추럴 UI 입력 이벤트를 무시하는 것에 기초할 수 있다. 일부 예들에 따르면, 제1 미디어 콘텐츠는 도 3a에 대한 현재 음악 디스플레이(305-B)에서 도시된 바와 같은 음악 선곡(308)일 수 있다. 이러한 예들에 있어서, 음악 선곡(308)은 제1 미디어 검색 모드에 기초하여 검색될 수 있고, 실행 애플리케이션(112)에 의해 플레이되는 주어진 음악 선곡은 음악 선곡(306)으로부터 음악 선곡(308)으로 변경될 수 있다.
일부 예들에 따라서, 정황(302)에 대해 도 3b에 도시된 바와 같이, 사용자 UI 입력 이벤트로서 해석된 검출된 입력 명령이 무시될 수 있다. 이러한 예들에 있어서, 입력 명령은 도 1 및 도 3a에 대해 전술한 바와 같이 수신된 센서 정보에 기초하여 검출될 수 있다. 또한, 도 3a와 마찬가지로, 사용자는 주어진 음악 선곡을 청취하고 있을 수 있고, 해석된 사용자 UI 입력 이벤트는 음악 선곡(306)에 있어서 다른 주어진 음악 선곡으로의 변경을 야기하는 시도일 수 있다.
일부 예들에서, 주어진 음악 선곡에서의 변경을 야기하는 내추럴 UI 입력 이벤트는 입력 명령에 관련된 정황 정보에 기초하여 정황(302)과 연관될 수 있다. 이러한 예들에 있어서, 정황(302)은, 이것으로 한정되는 것은 아니지만, 디바이스를 갖고 달리거나 조깅하는 사용자, 디바이스를 갖고 자전거를 타는 사용자, 디바이스를 갖고 걷는 사용자, 또는 디바이스를 갖고 등산 또는 하이킹을 하는 사용자 중 하나 이상을 포함할 수 있다.
일부 예들에 따라서, 사용자가 음악을 청취하는 동안에 만들어진 입력 명령에 관련된 정황 정보는 내추럴 UI 입력 이벤트와 정황(302)을 연관시키는데 사용될 수 있는 시간, 장소, 이동, 위치, 이미지/패턴 인식 또는 환경 및/또는 생체인식 센서 정보와 같은 정황 정보를 포함할 수 있다. 이러한 예들에 있어서, 입력 명령에 관련된 정황 정보는, 디바이스가 상대적 빈도 기반으로 장소를 변경하고 있고, 디바이스 이동 및 위치 정보가 변동하고 있는 것을 나타내는 정보 또는 고도상승된(elevated) 또는 실질적으로 정상보다 높은 심박수 및/또는 체온을 나타내는 사용자에 대한 생체인식 정보를 포함할 수 있다. 디바이스를 흔들기 또는 디바이스의 급격한 이동을 나타내는 정보가 의도되지 않은 것일 수 있거나 부주의한 이동일 수 있기 때문에, 정황(302)은 사용자 활동과 관련된 이러한 정황 정보에 기초하여 내추럴 UI 입력 이벤트와 연관될 수 있다.
일부 예들에서, 정황(302)과 연관되고 있는 내추럴 UI 입력 이벤트의 결과로서, 내추럴 UI 입력 이벤트는 더 프로세싱되지 않는다. 도 3b에 도시된 바와 같이, 내추럴 UI 입력 이벤트는 무시되고, 음악 선곡(306)은 현재 음악 디스플레이(305-B)에 도시된 바와 같이 변경되지 않은 채로 유지된다.
도 4는 정황에 기초한 내추럴 UI 입력에 대한 예시적인 아키텍처를 예시한다. 일부 예들에 따라서, 도 4에 도시된 바와 같이, 예시적인 아키텍처(400)는 레벨(410), 레벨(420), 및 레벨(430)을 포함한다. 또한, 도 4에 도시된 바와 같이, 레벨(420)은 가능하게는 미디어 콘텐츠 라이브러리(462)를 갖거나 호스팅하는 이미지/미디어 서버(460)를 액세스하도록 통신 링크(440)를 통해 네트워크(450)에 결합된 모듈을 포함한다.
일부 예들에서, 레벨들(410, 420 및 430)은, 도 1에 설명된 디바이스(100)와 같은 디바이스의 프로세서 컴포넌트에 의해 실행되는 모듈들에 의해 수행 또는 구현되는 아키텍처(400)의 레벨들일 수 있다. 일부 예들에 있어서, 레벨(410)에서, 입력 모듈(414)은 디바이스 상에서 실행하고 있는 실행 애플리케이션(432)에 영향을 주는 입력 명령을 나타내는 센서 또는 입력 검출 정보(412)를 수신하기 위해 프로세서 컴포넌트에 의해 실행될 수 있다. 제스처 모듈(414)은 검출된 명령 입력을 내추럴 UI 입력 이벤트로서 해석할 수 있다. 도 4에 도시되진 않았지만, 입력 모듈(414)은, 사용자 제스처와 같은 검출된 입력 명령들이 디바이스에 대한 목적성 입력 명령으로서 이해 또는 검출되게 하는 미들웨어(middleware) 및 정황 정보(예를 들어, 센서 정보)를 사용할 수 있는 다양한 정황 빌딩 블록(building block)을 또한 포함할 수 있다.
일부 예들에 따라서, 레벨(420)에서, 정황 연관 모듈(425)은 프로세서 컴포넌트에 의해 실행되어 입력 모듈(414)에 의해 해석된 내추럴 UI 입력 이벤트와 제1 정황을 연관시킬 수 있다. 이러한 예들에 있어서, 제1 정황은, 도 1, 도 2a 내지 도 2b, 또는 도 3a 내지 도 3b에 대해 전술한 바와 같이 입력 명령의 검출 동안에 수집될 수 있었던 정황 정보(416)에 기초할 수 있다.
일부 예들에서, 레벨(420)에서, 미디어 모드 선택 모듈(424)은 프로세서 컴포넌트에 의해 실행되어 제1 정황이 제1 미디어 검색 모드로부터 제2 미디어 검색 모드로의 스위칭을 야기하는지를 판정할 수 있다. 이러한 예들에 있어서, 내추럴 UI 입력 & 정황(422)으로의 미디어 맵핑은 또한 미디어 검색 모드들을 스위칭할지를 판정하는데 사용될 수 있다. 미디어 검색 모듈(428)은 프로세서 컴포넌트에 의해 실행되어 제1 또는 제2 미디어 검색 모드에 기초하여 미디어 콘텐츠 라이브러리/사용자 생성 미디어 콘텐츠(429)로부터 미디어를 검색할 수 있다.
일부 예들에서, 제1 미디어 검색 모드는, 제1 정황과 연관되는 경우 제1 미디어 콘텐츠(예를 들어, 맥주잔 이미지)를 내추럴 UI 입력 이벤트에 맵핑하는 제1 미디어 맵핑에 기초할 수 있다. 이러한 예들에 있어서, 미디어 검색 모듈(428)은 미디어 콘텐츠 라이브러리/사용자 생성 콘텐츠(429)로부터 제1 미디어 콘텐츠를 검색할 수 있거나 또는 대안적으로 통신 링크(140)를 활용하여 이미지/미디어 서버(460)에서 또는 그에 의해 유지되는 미디어 콘텐츠 라이브러리(462)로부터 제1 미디어 콘텐츠를 검색할 수 있다. 그 후, 미디어 검색 모듈(428)은 레벨(430)에서 제1 미디어 콘텐츠를 실행 애플리케이션(432)에 제공할 수 있다.
일부 예들에 따라서, 제2 미디어 검색 모드는, 제1 정황과 연관되는 경우 제2 미디어 콘텐츠(예를 들어, 커피 컵 이미지)를 내추럴 입력 이벤트에 맵핑하는 제2 미디어 맵핑에 기초할 수 있다. 이러한 예들에 있어서, 미디어 검색 모듈(428)은 또한 미디어 콘텐츠 라이브러리/사용자 생성 콘텐츠(429)로부터 제2 미디어 콘텐츠를 검색할 수 있거나 또는 미디어 콘텐츠 라이브러리(462)로부터 제1 미디어 콘텐츠를 검색할 수 있다. 그 후, 미디어 검색 모듈(428)은 레벨(430)에서 제2 미디어 콘텐츠를 실행 애플리케이션(432)에 제공할 수 있다.
일부 예들에 따라서, 프로세서 컴포넌트에 의한 실행을 위한 프로세싱 모듈(427)은 내추럴 UI 입력 이벤트가 무시되어야 하는 사용자 활동들 또는 디바이스 위치들의 다양한 유형을 포함할 수 있는 제1 정황과 연관된 내추럴 UI 입력 이벤트에 기초하여 실행 애플리케이션(432)에 대한 미디어를 미디어 검색 모듈(428)이 검색하는 것을 방지할 수 있다. 예를 들어, 도 3a 내지 도 3b에 대해 전술한 바와 같이, 급격한 흔들기 사용자 제스처는 음악 선곡을 섞으라는 내추럴 UI 입력 이벤트인 것으로 해석될 수 있고, 이는 사용자가 달리거나 조깅하기, 걷기, 자전거 타기, 등산, 하이킹하기, 또는 위치의 빈번한 이동 또는 변경을 야기하는 기타 유형의 활동들을 수행하고 있는 경우에 무시되어야 한다. 오디오 명령들과 같은 다른 유형의 입력 명령들은 높은 주위 잡음 환경들에서 부적절하게 해석될 수 있다. 에어 제스처, 객체 인식 또는 패턴 인식 입력 명령들은 사용자에서 또는 근방에서 다량의 시각적 장해물(visual clutter) 및 주변 이동을 갖는 공공 장소들 또는 높은 환경광 레벨에서 부적절하게 해석될 수 있다. 또한, 터치 제스처 입력 명령들은 극도로 추운 온도에서 보호성 손 덮개(hand covering) 또는 차거운 손가락들이 터치 스크린의 정확도를 열화시키는 것으로 인하여 바람직하지 않을 수 있다. 이들은 단지 몇몇 예들일 뿐이고, 본 개시내용은 전술한 예들만으로 제한되지 않는다.
일부 예들에서, 레벨(430)에서 표시 모듈(434)이 프로세서 컴포넌트에 의해 실행되어 미디어를 검색하기 위한 제1 미디어 검색 모드 또는 제2 미디어 검색 모드를 표시할 수 있다. 이러한 예들에 있어서, 표시 모듈(434)은 디바이스가 오디오 표시, 시각적 표시 또는 진동 표시 중 적어도 하나를 통해 주어진 미디어 검색 모드를 표시하게 할 수 있다.
도 5는 예시적인 맵핑 테이블(500)을 예시한다. 일부 예들에서, 도 5에 도시된 바와 같이, 맵핑 테이블(500)은 주어진 정황과 연관되는 경우 주어진 미디어 콘텐츠에 주어진 내추럴 UI 입력 이벤트들을 맵핑한다. 일부 예들에서, 맵핑 테이블(500)은 디바이스(100)와 같은 디바이스에서 유지될 수 있고(예를 들어, 룩업 테이블(LUT)와 같은 데이터 구조로) 디바이스에 대한 프로세서 컴포넌트에 의해 실행되는 모듈들에 의해 활용될 수 있다. (예를 들어, 미디어 모드 선택 모듈(424) 및/또는 미디어 검색 모듈(428)과 같은)모듈들은 맵핑 테이블(500)을 활용하여 연관된 정황에 기초하여 미디어 검색 모드를 선택하고 연관된 정황에 기초하여 미디어 콘텐츠를 검색할 장소 또는 검색할 지 여부를 판정할 수 있다.
또한, 이러한 예들에 있어서, 맵핑 테이블(500)은 미디어 콘텐츠에 대한 위치를 나타낼 수 있다. 예를 들어, 맥주잔 또는 커피 컵 이미지들은 텍스트 메시지 애플리케이션이 실행하고 있는 디바이스에서 유지되는 로컬 라이브러리로부터 획득될 수 있다. 다른 예에서, 새로운 음악 선곡은 음악 플레이어 애플리케이션이 실행하고 있는 디바이스에 원격인, 원격의 또는 네트워크 액세스가능한 라이브러리로부터 획득될 수 있다. 또 다른 예에서, 미디어 콘텐츠에 대한 로컬 라이브러리 위치는 사용자 활동(예를 들어, 실제 맥주잔 또는 커피 컵의 이미지 캡처링)과 또는 검출된 입력 명령과 동시에 생성될 수 있었던 사용자 생성 미디어를 포함할 수 있다.
맵핑 테이블(500)은, 내추럴 UI 입력 이벤트들, 실행 애플리케이션들, 정황들, 미디어 콘텐츠 또는 위치들 중 단지 일부 예들을 포함한다. 이러한 개시내용은 이러한 예들로 한정되지 않고, 다른 유형의 내추럴 UI 입력 이벤트들, 실행 애플리케이션들, 정황들, 미디어 콘텐츠 또는 위치들이 고려된다.
도 6은 장치(600)에 대한 예시적인 블록도를 예시한다. 도 6에 도시된 장치(600)는 특정 토폴로지 또는 구성에서 제한 수의 요소들을 갖지만, 장치(600)는 대안의 구성에서 주어진 구현에 원해지는 것보다 많거나 적은 요소들을 포함할 수 있다는 것이 이해될 수 있다.
장치(600)는 하나 이상의 소프트웨어 모듈들(622-a)을 실행하도록 구성된 프로세서 컴포넌트(620)을 갖는 컴퓨터 구현된 장치(600)를 포함할 수 있다. 본원에서 사용된 "a" 및 "b" 및 "c" 및 유사한 표기들은 임의의 양의 정수를 나타내는 변수들인 것으로 의도된다. 따라서, 예를 들어, 구현이 a=6으로 값을 설정하는 경우, 소프트웨어 모듈들(622-a)의 완전한 세트는, 모듈들(622-1, 622-2, 622-3, 622-4 및 622-5)을 포함할 수 있다. 실시예들은 이러한 맥락으로 제한되지 않는다.
일부 예들에 따라서, 장치(600)는 도 1 내지 5에 대해 전술한 디바이스(100)와 유사한 디바이스 또는 컴퓨팅 디바이스의 일부일 수 있다. 예들은 이러한 맥락으로 제한되지 않는다.
일부 예들에서, 도 6에 도시된 바와 같이, 장치(600)는 프로세서 컴포넌트(620)를 포함한다. 프로세서 컴포넌트(620)는 하나 이상의 소프트웨어 모듈들(622-a)을 실행하도록 일반적으로 구성될 수 있다. 프로세서 컴포넌트(620)는, 임베디드 및 보안 프로세서들, 듀얼 마이크로프로세서들, 다중 코어 프로세서들 또는 기타의 멀티 프로세서 아키텍처와 같은 다양한 상업적으로 이용가능한 프로세서들 중 임의의 것일 수 있다. 일부 예들에 따라서, 프로세서 컴포넌트(620)는 또한 ASIC(application specific integrated circuit)일 수 있고 적어도 일부 모듈들(622-a)은 ASIC의 하드웨어 요소로서 구현될 수 있다.
일부 예들에 따라서, 장치(600)는 입력 모듈(622-1)을 포함할 수 있다. 입력 모듈(622-1)은 프로세서 컴포넌트(620)에 의해 실행되어 장치(600)를 포함할 수 있는 디바이스에 대한 입력 명령을 나타내는 센서 정보를 수신할 수 있다. 이러한 예들에 있어서, 해석된 내추럴 UI 이벤트 정보(624-a)는 적어도 일시적으로 입력 모듈(622-1)에 의해 유지되는(예를 들어, LUT와 같은 데이터 구조로) 정보일 수 있다. 일부 예들에서, 해석된 내추럴 UI 이벤트 정보(624-a)는 입력 모듈(622-1)에 의해 사용되어 입력 명령을 수신된 센서 정보를 포함할 수 있는 입력 명령 정보(605)에 기초한 내추럴 UI 입력 이벤트로서 해석할 수 있다.
일부 예들에서, 장치(600)는 또한 정황 연관(context association) 모듈(622-2)을 포함할 수 있다. 정황 연관 모듈(622-2)은 프로세서 컴포넌트(620)에 의해 실행되어 입력 명령에 관련된 정황 정보에 기초하여 내추럴 UI 입력 이벤트를 주어진 정황과 연관시킬 수 있다. 이러한 예들에 있어서, 정황 정보(615)는 정황 연관 모듈(622-2)에 의해 수신될 수 있고 입력 명령에 관련된 정황 정보를 포함할 수 있다. 정황 연관 모듈(622-2)은 주어진 사용자 활동에 관련된 정황 정보를 정황 연관 정보(626-b)로서 (예를 들어, LUT에) 적어도 일시적으로 유지할 수 있다.
일부 예들에서, 장치(600)는 또한 미디어 모드 선택 모듈(622-3)을 포함할 수 있다. 미디어 모드 선택 모듈(622-3)은 프로세서 컴포넌트(620)에 의해 실행되어 주어진 정황이 제1 미디어 검색 모드로부터 제2 미디어 검색 모드로의 스위칭을 야기하는지를 판정할 수 있다. 이러한 예들에 있어서, 맵핑 정보(628-c)는 주어진 정황과 연관되는 경우 미디어 콘텐츠를 내추럴 UI 입력 이벤트에 맵핑하는 정보(예를 들어, 맵핑 테이블(500)과 유사함)일 수 있다. 맵핑 정보(628-c)는 미디어 모드 선택 모듈(622-3)에 의해 (예를 들어, LUT에) 적어도 일시적으로 유지될 수 있고 또한 맵핑된 미디어 콘텐츠에 대한 미디어 라이브러리 위치들(예를 들어, 로컬 또는 네트워크 가능한)과 같은 정보를 포함할 수 있다.
일부 예들에 따라서, 장치(600)는 또한 미디어 검색 모듈(622-4)을 포함할 수 있다. 미디어 검색 모듈(622-4)은 프로세서 컴포넌트(620)에 의해 실행되어 장치(600)를 포함할 수 있는 디바이스 상의 실행하고 있는 애플리케이션에 대한 미디어 콘텐츠(655)를 검색할 수 있다. 이러한 예들에 있어서, 미디어 콘텐츠(655)는, 제1 또는 제2 미디어 검색 모드 중 미디어 모드 선택 모듈(622-3)에 의해 선택되었던 것에 기초하여, 내추럴 UI 입력에 응답하여 미디어 콘텐츠 라이브러리(635)로부터 검색될 수 있다. 미디어 콘텐츠 라이브러리(635)는 로컬 미디어 콘텐츠 라이브러리 또는 네트워크 액세스가능한 미디어 콘텐츠 라이브러리일 수 있다. 대안적으로, 미디어 콘텐츠(655)는 입력 명령과 동시에 생성되었을 수 있고 적어도 일시적으로 로컬로 저장되었을 수 있는 사용자 생성 미디어 콘텐츠로부터 검색될 수있다.
일부 예들에서, 장치(600)는 또한 프로세서 모듈(622-5)을 포함할 수 있다. 프로세싱 모듈(622-5)은 다양한 사용자 활동들 또는 디바이스 상황들을 포함하는 주어진 정황과 연관된 내추럴 UI 입력 이벤트에 기초하여 애플리케이션에 대한 미디어 콘텐츠를 미디어 검색 모듈(622-4)이 검색하는 것을 방지하기 위해 프로세서 컴포넌트(620)에 의해 실행될 수 있다. 이러한 예들에 있어서, 사용자 활동/디바이스 정보(630-d)는 프로세싱 모듈(622-5)이 미디어 검색을 방지하게 할 수 있는 다양한 사용자 활동들 또는 디바이스 상황들을 나타내는 주어진 정황에 대한 정보일 수 있다. 사용자 활동/디바이스 정보는 적어도 일시적으로 프로세싱 모듈(622-5)에 의해 유지될 수 있다(예를 들어, LUT). 사용자 활동/디바이스 정보는, 장치(600)를 포함하는 디바이스를 갖고 달리거나 조깅하는 사용자, 디바이스를 갖고 자전거를 타는 사용자, 디바이스를 갖고 걷는 사용자, 디바이스를 갖고 등산 또는 하이킹하는 사용자, 높은 주위 잡음 환경에 위치된 디바이스, 공공 장소에 위치된 디바이스, 또는 직장 또는 사무실 장소에 위치된 디바이스 중 하나를 포함하는 사용자 활동들 또는 디바이스 상황들을 나타낼 수 있는 센서 정보를 포함할 수 있다.
일부 예들에 따라서, 장치(600)는 또한 표시 모듈(622-6)을 포함할 수 있다. 표시 모듈(622-6)은, 장치(600)를 포함하는 디바이스로 하여금 미디어 콘텐츠를 검색하기 위한 제1 검색 모드 또는 제2 검색 모드를 나타내게 하기 위해 프로세서 컴포넌트에 의해 실행될 수 있다. 이러한 예들에 있어서, 디바이스는, 오디오 표시, 시각적 표시 또는 진동 표시 중 적어도 하나를 포함할 수 있는 미디어 검색 모드 표시(645)를 통해 주어진 미디어 검색 모드를 나타낼 수 있다.
장치(600)의 다양한 컴포넌트들 및 장치(600)를 구현하는 디바이스는 다양한 유형의 통신 미디어에 의해 서로 통신가능하게 결합되어 동작들을 조정할 수 있다. 조정은 정보의 단방향성 또는 양방향성 교환을 수반할 수 있다. 예를 들어, 컴포넌트들은 통신 미디어를 통해 통신되는 신호들의 형태로 정보를 통신할 수 있다. 정보는 다양한 신호선들에 할당된 신호들로서 구현될 수 있다. 그러한 할당들에서, 각각의 메시지는 신호이다. 그러나, 추가의 실시예들은 데이터 메시지들을 대안적으로 채택한다. 그러한 데이터 메시지들은 다양한 접속들을 가로질러 전송될 수 있다. 예시적인 접속들은 병렬 인터페이스들, 직렬 인터페이스들, 및 버스 인터페이스들을 포함한다.
개시된 아키텍처의 신규한 양태를 수행하기 위한 예시적인 방법론들을 나타내는 로직 흐름들의 세트가 본원에 포함된다. 설명의 단순함을 위해서, 본원에 도시된 하나 이상의 방법론이 일련의 기능으로서 도시되고 설명되지만, 본 기술분야의 통상의 기술자는 방법론들이 기능들의 순서에 의해 제한되지 않는다는 것을 이해할 것이다. 그에 따라, 일부 기능은 상이한 순서로 발생할 수 있고 및/또는 본원에 도시되고 설명된 다른 기능들과 동시에 발생할 수 있다. 예를 들어, 본 기술분야의 통상의 기술자는 방법론이 상태도와 같은, 상호관련된 상태들 또는 이벤트들의 시리즈로서 대안적으로 표현될 수 있다는 것을 이해할 것이다. 또한, 방법론에서 예시된 모든 기능들이 신규한 구현을 위해 요구되는 것은 아닐 수 있다.
로직 흐름은 소프트웨어, 펌웨어, 및/또는 하드웨어로 구현될 수 있다. 소프트웨어 및 펌웨어 예들에서, 로직 흐름은, 광, 자기 또는 반도체 저장소와 같은 적어도 하나의 비-일시적인 컴퓨터 판독가능한 매체 또는 머신 판독가능한 매체 상에 저장된 컴퓨터 실행가능한 명령어들에 의해 구현 또는 실행될 수 있다. 예들은 이러한 맥락으로 제한되지 않는다.
도 7은 로직 흐름(700)의 예를 예시한다. 로직 흐름(700)은 장치(600)와 같은, 본원에서 설명된 하나 이상의 로직, 피처들 또는 디바이스들에 의해 실행되는 동작들의 일부 또는 전부를 나타낼 수 있다. 보다 구체적으로는, 로직 흐름(700)은 제스처 모듈(622-1), 정황 연관 모듈(622-2), 미디어 모드 선택 모듈(622-3), 미디어 검색 모듈(622-4), 프로세싱 모듈(622-5) 또는 표시 모듈(622-6)에 의해 구현될 수 있다.
도 7에 도시된 예시된 예에서, 로직 흐름(700)은 블록(702)에서 제1 입력 명령을 검출하는 것을 포함할 수 있다. 이러한 예들에 있어서, 입력 모듈(622-1)은 제1 입력 명령을 검출하는데 사용되는 센서 정보를 포함할 수 있는 입력 명령 정보(605)를 수신할 수 있다.
일부 예들에서, 블록(704)에서의 로직 흐름(700)은 제1 입력 명령을 제1 내추럴 UI 입력 이벤트로서 해석하는 것을 포함할 수 있다. 이러한 예들에 있어서, 디바이스는 장치(600)와 같은 장치를 포함할 수 있는 디바이스(100)와 같은 디바이스일 수 있다. 또한, 이러한 예들에 있어서, 입력 모듈(622-1)은 입력 명령 정보(605)의 수신 시에, 적어도 부분적으로, 제1 입력 명령을 제1 내추럴 UI 입력 이벤트로서 해석할 수 있다.
일부 예들에 따라서, 블록(706)에서의 로직 흐름(700)은 제1 입력 명령에 관련된 정황 정보에 기초하여 제1 내추럴 UI 입력 이벤트와 정황을 연관시키는 것을 포함할 수 있다. 이러한 예들에 있어서, 정황 연관 모듈(622-2)은 정황 정보(615)에 기초하여 제1 내추럴 UI 입력 이벤트와 정황을 연관시킬 수 있다.
일부 예들에 있어서, 블록(708)에서의 로직 흐름(700)은 정황에 기초하여 제1 내추럴 UI 이벤트를 프로세싱할 지를 판정하는 것을 포함할 수 있다. 이러한 예들에 있어서, 프로세싱 모듈(622-5)은 제1 내추럴 UI 입력 이벤트와 연관된 정황이 미디어 검색 모듈(622-4)에 의한 미디어 콘텐츠 검색을 무시 또는 방지하는 것을 야기하는 사용자 활동 또는 디바이스 상황을 포함한다고 판정할 수 있다. 예를 들어, 제1 내추럴 UI 이벤트는 음악 선곡들을 변경하기 위한 것이고 디바이스를 흔드는 것과 같은 입력 명령으로부터 해석되었다. 다른 정황은 사용자가 디바이스를 갖고 달리는 것을 포함하고, 따라서, 미디어 검색 모듈(622-4)이 새로운 또는 상이한 음악 선곡을 검색하는 것을 방지함으로써 제1 내추럴 UI 이벤트가 무시될 수 있다.
일부 예들에 따라서, 블록(710)에서의 로직 흐름(700)은 정황이 제1 미디어 검색 모드로부터 제2 미디어 검색 모드로의 스위칭을 야기하는지를 판정하는 것을 포함하기 위해 정황에 기초하여 제1 내추럴 UI 입력 이벤트를 프로세싱하는 것을 포함할 수 있다. 이러한 예들에 있어서, 정황은 미디어 콘텐츠 검색을 무시 또는 방지하는 것을 야기하는 사용자 활동 또는 디바이스 상황들을 포함하지 않을 수 있다. 일부 예들에서, 미디어 모드 선택 모듈(622-3)은 제1 내추럴 UI 입력 이벤트와 연관된 정황에 기초하여 미디어 검색 모드에 있어서의 스위칭을 야기할지에 대한 판정을 행할 수 있다.
일부 예들에서, 블록(712)에서의 로직 흐름은 제1 또는 제2 미디어 검색 모드에 기초하여 애플리케이션에 대한 미디어 콘텐츠를 검색하는 것을 포함할 수 있다. 이러한 예들에 있어서, 미디어 검색 모듈(622-4)는 미디어 콘텐츠 라이브러리(635)로부터 애플리케이션에 대한 미디어 콘텐츠(655)를 검색할 수 있다.
일부 예들에 따라서, 블록(714)에서의 로직 흐름은 미디어 콘텐츠를 검색하기 위한 제1 미디어 검색 모드 또는 제2 미디어 검색 모드를 표시할 수 있다. 이러한 예들에 있어서, 표시 모듈(622-6)은 오디오 표시, 시각적 표시, 또는 진동 표시 중 적어도 하나를 포함할 수 있는 미디어 검색 모드 표시(645)를 통해 제1 또는 제2 미디어 검색 모드를 표시할 수 있다.
도 8은 제1 저장소 매체의 실시예를 예시한다. 도 8에 도시된 바와 같이, 제1 저장소 매체는 저장소 매체(800)를 포함한다. 저장소 매체(800)는 제조 물품을 포함할 수 있다. 일부 예들에서, 저장소 매체(800)는, 광, 자기, 또는 반도체 저장소와 같은, 임의의 비-일시적인 컴퓨터 판독가능한 매체 또는 머신 판독가능한 매체를 포함할 수 있다. 저장소 매체(800)는 로직 흐름(700)을 구현하기 위한 명령어들과 같은, 다양한 유형의 컴퓨터 실행가능한 명령어들을 저장할 수 있다. 컴퓨터 판독가능한 또는 머신 판독가능한 저장소 매체의 예들은, 휘발성 메모리 또는 비-휘발성 메모리, 착탈식 또는 비-착탈식 메모리, 소거가능 또는 비-소거가능 메모리, 기입가능 또는 재-기입가능 메모리 등을 포함하는, 전자 데이터를 저장할 수 있는 임의의 유형의(tangible) 매체를 포함할 수 있다. 컴퓨터 실행가능한 명령어들의 예들은, 소스 코드, 컴파일형 코드, 해석형 코드, 실행가능 코드, 정적 코드, 동적 코드, 객체 지향 코드, 비주얼 코드 등과 같은 임의의 적합한 유형의 코드를 포함할 수 있다. 예들은 이러한 맥락으로 제한되지 않는다.
도 9는 제2 디바이스의 실시예를 예시한다. 도 9에 도시된 바와 같이, 제2 디바이스는 디바이스(900)를 포함한다. 일부 예들에서, 디바이스(900)는 무선 네트워크에서의 무선 통신들을 위해 설정 또는 구성될 수 있고, 도 9에는 도시되지 않았지만, 또한 디바이스(100)에 대해 도 1에서 도시된 요소들 또는 피처들의 적어도 일부를 포함할 수 있다. 예를 들어, 디바이스(900)는 장치(600), 저장소 매체(800) 및/또는 로직 회로(970)를 구현할 수 있다. 로직 회로(970)는 장치(600)에 대해 설명된 동작들을 수행하는 물리적 회로들을 포함할 수 있다. 도 9에 도시된 바와 같이, 디바이스(900)는 무선 인터페이스(910), 기저대역 회로(920), 및 컴퓨팅 플랫폼(930)을 포함할 수 있으나, 예들은 이러한 구성으로 제한되는 것은 아니다.
디바이스(900)는 장치(600), 저장소 매체(700) 및/또는 로직 회로(970)의 구조 및/또는 동작들의 일부 또는 전부를, 완전하게 단일 디바이스 내에 있는 것과 같이, 단일의 컴퓨팅 엔티티로 구현할 수 있다. 실시예들은 이러한 맥락으로 제한되지 않는다.
일례에서, 무선 인터페이스(910)는 단일 반송파 또는 다중 반송파 변조된 신호들(예를 들어, CCK(complementary code keying) 및/또는 OFDM(orthogonal frequency division multiplexing) 심볼들을 포함함)을 송신 및/또는 수신하도록 구성되어 있는 컴포넌트 또는 컴포넌트들의 조합을 포함할 수 있지만, 실시예들이 임의의 특정의 공중 인터페이스(over-the-air interface) 또는 변조 방식으로 제한되지 않는다. 무선 인터페이스(910)는, 예를 들어, 수신기(912), 송신기(916) 및/또는 주파수 합성기(914)를 포함할 수 있다. 무선 인터페이스(910)는 바이어스 컨트롤들(bias controls), 수정 발진기 및/또는 하나 이상의 안테나들(918-f)을 포함할 수 있다. 다른 예에서, 무선 인터페이스(910)는 원하는 바에 따라, 외부 전압 제어 발진기들(voltage-controlled oscillators)(VCOs), 표면 음향파(surface acoustic wave) 필터들, 중간 주파수(intermediate frequency)(IF) 필터들 및/또는 RF 필터들을 사용할 수 있다. 각종 잠재적인 RF 인터페이스 설계들로 인해, 그에 대한 광범위한 설명이 생략되어 있다.
기저대역 회로(920)는 수신 및/또는 송신 신호들을 프로세싱하기 위해 무선 인터페이스(910)와 통신할 수 있고, 예를 들어, 수신된 신호들을 하향 변환하는 아날로그-디지털 변환기(922), 송신을 위해 신호들을 상향 변환하는 디지털-아날로그 변환기(924)를 포함할 수 있다. 게다가, 기저대역 회로(920)는 기저대역 또는 각자의 수신/송신 신호들의 물리 계층(PHY) 링크층 프로세싱을 위한 PHY 프로세싱 회로(926)를 포함할 수 있다. 기저대역 회로(920)는, 예를 들어, MAC(medium access control)/데이터 링크 계층 프로세싱을 위한 MAC(928)을 포함할 수 있다. 기저대역 회로(920)는 예를 들어, 하나 이상의 인터페이스들(934)을 통해, MAC(928) 및/또는 컴퓨팅 플랫폼(930)과 통신하기 위한 메모리 제어기(932)를 포함할 수 있다.
일부 실시예들에서, PHY 프로세싱 회로(926)는 통신 프레임들(예를 들어, 서브프레임들을 포함함)을 구성 및/또는 해체하기 위해 버퍼 메모리와 같은 부가의 회로와 함께, 프레임 구성 및/또는 검출 모듈을 포함할 수 있다. 대안적으로 또는 부가적으로, MAC(928)은 이들 기능들 중 일부에 대한 프로세싱을 공유하거나 PHY 프로세싱 회로(926)와 독립적으로 이들 프로세싱을 수행할 수 있다. 일부 실시예에서, MAC 및 PHY 프로세싱은 단일 회로 내에 통합될 수 있다.
컴퓨팅 플랫폼(930)은 디바이스(900)에 대한 컴퓨팅 기능성을 제공할 수 있다. 도시된 바와 같이, 컴퓨팅 플랫폼(930)은 프로세서 컴포넌트(940)를 포함할 수 있다. 그에 부가하여, 또는 대안적으로, 디바이스(900)의 기저대역 회로(920)는 장치(600), 저장소 매체(800), 및 로직 회로(970)에 대한 로직 또는 프로세싱 동작들을 컴퓨팅 플랫폼(930)을 이용하여 실행할 수 있다. 프로세싱 컴포넌트(940)(및/또는 PHY(926) 및/또는 MAC(928))는 다양한 하드웨어 요소들, 소프트웨어 요소들, 또는 이 둘의 조합을 포함할 수 있다. 하드웨어 요소들의 예는 디바이스들, 로직 디바이스들, 컴포넌트들, 프로세서들, 마이크로프로세서들, 회로들, 프로세서 컴포넌트들(예를 들어, 프로세서 컴포넌트(620), 회로 요소들(예를 들어, 트랜지스터들, 저항기들, 커패시터들, 인덕터들 등), 집적 회로들, ASIC(application specific integrated circuit), PLD(programmable logic device), DSP(digital signal processor), FPGA(field programmable gate array), 메모리 유닛들, 로직 게이트들, 레지스터들, 반도체 디바이스들, 칩들, 마이크로칩들, 칩셋들 등을 포함할 수 있다. 소프트웨어 요소들의 예는 소프트웨어 컴포넌트들, 프로그램들, 애플리케이션들, 컴퓨터 프로그램들, 애플리케이션 프로그램들, 시스템 프로그램들, 소프트웨어 개발 프로그램들, 기계 프로그램들, 운영 체제 소프트웨어들, 미들웨어, 펌웨어, 소프트웨어 모듈들, 루틴들, 서브루틴들, 함수들, 메소드들(methods), 프로시저들(procedures), 소프트웨어 인터페이스들, 애플리케이션 프로그램 인터페이스(API), 명령어 세트들, 컴퓨팅 코드, 컴퓨터 코드, 코드 세그먼트들, 컴퓨터 코드 세그먼트들, 워드, 값들, 심볼들 또는 이들의 임의의 조합을 포함할 수 있다. 예가 하드웨어 요소들을 이용하여 구현되는지 그리고/또는 소프트웨어 요소들을 이용하여 구현되는지를 판정하는 것은, 주어진 예에 대해 요구되는 바와 같이, 원하는 계산 레이트, 전력 레벨, 내열성, 프로세싱 사이클 버짓(processing cycle budget), 입력 데이터 레이트, 출력 데이터 레이트, 메모리 자원, 데이터 버스 속도, 및 다른 설계나 성능 제약과 같은 임의의 개수의 인자들에 따라 변할 수 있다.
컴퓨팅 플랫폼(930)은 다른 플랫폼 컴포넌트들(950)을 더 포함할 수 있다. 다른 플랫폼 컴포넌트(950)는, 하나 이상의 프로세서들, 멀티코어 프로세서들, 코프로세서들, 메모리 유닛들, 칩셋들, 제어기들, 주변 장치들, 인터페이스들, 발진기들, 타이밍 디바이스들, 비디오 카드들, 오디오 카드들, 멀티미디어 입력/출력(I/O) 컴포넌트들(예컨대, 디지털 디스플레이들), 전원 공급 장치들 등과 같은 공통의 컴퓨팅 컴포넌트들을 포함한다. 메모리 유닛의 예로는, ROM(read-only memory), RAM(random-access memory), DRAM(dynamic RAM), DDRAM(Double-Data-Rate DRAM), SDRAM(synchronous DRAM), SRAM(static RAM), PROM(programmable ROM), EPROM(erasable programmable ROM), EEPROM(electrically erasable programmable ROM), 플래시 메모리, 강유전성 폴리머 메모리 등의 폴리머 메모리, 오보닉 메모리(ovonic memory), 상변화 또는 강유전성 메모리, SONOS(silicon-oxide-nitride-oxide-silicon) 메모리, 자기 또는 광 카드, RAID(Redundant Array of Independent Disks) 드라이브와 같은 디바이스들의 어레이, 솔리드 스테이트 메모리 디바이스(예를 들어, USB 메모리), SSD(solid state drives)), 및 정보를 저장하는 데 적합한 임의의 다른 유형의 저장소 매체와 같이, 하나 이상의 고속 메모리 유닛의 형태의 다양한 유형의 컴퓨터 판독가능한 그리고 머신 판독가능한 저장소 매체를 제한없이 포함할 수 있다.
컴퓨팅 플랫폼(930)은 네트워크 인터페이스(960)를 더 포함할 수 있다. 일부 예들에서, 네트워크 인터페이스(960)는 IEEE(Institute of electrical Engineers)에 의해 설명되거나 반포된 것들과 같은 하나 이상의 무선 광대역 표준들을 준수하여 동작되는 네트워크 인터페이스들을 지원하는 로직 및/또는 피처들을 포함할 수 있다. 무선 광대역 표준들은 정보 기술에 대한 IEEE 802.11-2012 표준 - 2012년 3월 공개된 Telecommunications and information exchange between systems― Local and metropolitan area networks― Specific requirements Part 11: WLAN Media Access Controller (MAC) and Physical Layer (PHY) 사양들과 연관된 이더넷 무선 표준들(후대(progency) 및 변형들(variants)을 포함함), 및/또는 이 표준("IEEE 802.11")의 후속 버전들을 포함할 수 있다. 무선 모바일 광대역 표준들은 또한 하나 이상의 3G 또는 4G 무선 표준들, 개정들, 후대 및 변형을 포함할 수 있다. 무선 모바일 광대역 표준들의 예들은 IEEE 802.16m 및 802.16p 표준들, 3GPP LTE(Long Term Evolution) 및 LTE-A(LTE-Advanced) 표준들, IMT-ADV(International Mobile Telecommunications Advanced) 표준들을 중 임의의 것을, 그들의 개정들, 후대 및 변형들을 포함하여, 제한없이 포함할 수 있다. 다른 적절한 예들은, GSM(Global System for Mobile Communications)/EDGE(Enhanced Data Rates for GSM Evolution) 기술들, UMTS(Universal Mobile Telecommunications System)/HSPA(High Speed Packet Access) 기술들, WiMAX(Worldwide Interoperability for Microwave Access) 또는 WiMAX Ⅱ 기술들, CDMA(Code Division Multiple Access) 2000 시스템 기술들(예를 들어, CDMA2000 1xRTT, CDMA2000 EV-DO, CDMA EV-DV 등), ETSI(European Telecommunications Standards Institute)에 의해 정의된 HIPERMAN(High Performance Radio Metropolitan Area Network) 기술들, BRAN(Broadband Radio Access Networks), WiBro(Wireless Broadband) 기술들, GPRS(GSM with General Packet Radio Service) 시스템(GSM/GPRS) 기술들, HSDPA(High Speed Downlink Packet Access) 기술들, HSOPA(High Speed Orthogonal Frequency-Division Multiplexing (OFDM) Packet Access) 기술들, HSUPA(High-Speed Uplink Packet Access) 시스템 기술들, LTE/SAE(System Architecture Evolution)의 릴리즈 8("3G 3GPP") 이전의 3GPP 또는 릴리즈 8 및 그보다 높은 ("4G 3GPP") 등을 제한없이 포함할 수 있다. 예들은 이러한 맥락으로 제한되는 것은 아니다.
디바이스(900)는, 이것으로 한정되는 것은 아니지만, 사용자 장비, 컴퓨터, 개인용 컴퓨터(PC), 데스크톱 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 넷북 컴퓨터, 태블릿, 스마트폰, 임베디드 전자기기, 게임 콘솔, 네트워크 기기, 웹 기기, 또는 그의 조합을 포함할 수 있다. 따라서, 본원에서 설명된 디바이스(900)의 기능들 및/또는 특정 구성들은 적절히 원해지는 경우, 디바이스(900)의 다양한 예들에 포함되거나 생략될 수 있다. 일부 예들에서, 디바이스(900)는, 예들이 이와 관련하여 제한되는 것은 아니지만, IEEE 802.11, 3G GPP 또는 4G 3GPP 표준들과 연관된 프로토콜들 및 주파수들과 호환가능하도록 구성될 수 있다.
디바이스(900)의 실시예들은 SISO(single input single output) 아키텍처들을 사용하여 구현될 수 있다. 그러나, 특정의 구현들은 빔포밍(beamforming) 또는 SDMA(spatial division multiple access)를 위한 적응적 안테나 기법들을 사용하여 및/또는 MIMO(multiple input multiple output) 통신 기술들을 사용하여 송신 및/또는 수신하기 위한 복수의 안테나(예를 들어, 안테나들(918-f))를 포함할 수 있다.
디바이스(900)의 컴포넌트들 및 피처들은 개별 회로, ASIC들(application specific integrated circuits), 로직 게이트들 및/또는 단일 칩 아키텍처들의 임의의 조합을 사용하여 구현될 수 있다. 또한, 디바이스(900)의 피처들은 마이크로제어기들, 프로그램가능 로직 어레이들 및/또는 마이크로프로세서들 또는 적절하게 적용가능한 전술한 것들의 임의의 조합을 사용하여 구현될 수 있다. 하드웨어, 펌웨어 및/또는 소프트웨어 요소들은 통합적으로 또는 개별적으로 본 명세서에서 "로직" 또는 "회로"라고 지칭될 수 있다는 점에 유의해야 한다.
도 9의 블록도에 도시되어 있는 디바이스(900)가 많은 잠재적인 구현들 중 하나의 기능적 설명의 예를 나타낼 수 있다는 것을 이해하여야 한다. 따라서, 첨부 도면들에 도시된 블록 기능들의 분할, 생략 또는 포함은 이 기능들을 구현하는 하드웨어 컴포넌트들, 회로들, 소프트웨어 및/또는 요소들이 예들에서 반드시 분할, 생략 또는 포함된다는 것을 암시하지 않는다.
일부 예들은 "일례에서(in one example)" 또는 "예(an example)"라는 표현을 그들의 파생물과 함께 이용하여 설명될 수 있다. 이들 용어는, 이 예와 관련하여 설명된 특정 피처, 구조 또는 특성이 적어도 하나의 예에 포함된다는 것을 의미한다. 본 명세서의 다양한 곳에서의 "일례에서"라는 구문의 출현은 반드시 모두가 동일한 예를 언급하는 것은 아니다.
일부 예들은 "결합된(coupled)", "접속된(connected)" 또는 "결합될 수 있는"이라는 표현을 그들의 파생물과 함께 이용하여 설명될 수 있다. 이들 용어는 반드시 서로에 대한 동의어로서 의도되지는 않는다. 예를 들어, "접속된" 및/또는 "결합된"이라는 용어들을 이용한 설명은, 2개 이상의 요소가 서로 직접적으로 물리적 또는 전기적 접촉하는 것을 나타낼 수 있다. 그러나, 용어 "결합된"은 2개 이상의 요소가 서로 직접 접촉하지 않지만 여전히 서로 협력하거나 상호작용한다는 것을 의미할 수도 있다.
일부 예들에서, 디바이스에 대한 예시적인 장치는 프로세서 컴포넌트를 포함할 수 있다. 이러한 예들에 있어서, 장치는 또한 입력 명령을 나타내고 입력 명령을 내추럴 UI 입력 이벤트로서 해석하는 센서 정보를 수신할 수 있는 프로세서 컴포넌트에 의한 실행을 위한 입력 모듈을 포함할 수 있다. 장치는 또한 입력 명령에 관련된 정황 정보에 기초하여 내추럴 UI 입력 이벤트를 정황과 연관시킬 수 있는 프로세서 컴포넌트에 의한 실행을 위한 정황 연관 모듈을 포함할 수 있다. 장치는 또한 정황이 제1 미디어 검색 모드로부터 제2 미디어 검색 모드로의 스위칭을 야기하는지를 판정할 수 있는 프로세서 컴포넌트에 의한 실행을 위한 미디어 모드 선택 모듈을 포함할 수 있다. 장치는 또한 제1 또는 제2 미디어 검색 모드에 기초하여, 내추럴 UI 입력 이벤트에 응답하는 애플리케이션에 대한 미디어 콘텐츠를 검색할 수 있는 프로세서 컴포넌트에 의한 실행을 위한 미디어 검색 모듈을 포함할 수 있다.
일부 예들에 따라서, 예시적인 장치는 또한 미디어 검색 모듈이 정황과 연관된 내추럴 UI 입력 이벤트에 기초하여 애플리케이션에 대한 미디어 콘텐츠를 검색하는 것을 방지하기 위해 프로세서 컴포넌트에 의한 실행을 위한 프로세싱 모듈을 포함할 수 있다. 이러한 예들에 있어서, 정황은 디바이스를 갖고 달리거나 조깅하기, 디바이스를 갖고 자전거 타기, 디바이스를 갖고 걷기, 디바이스를 갖고 등산 또는 하이킹하기, 높은 주위 잡음 환경에 위치된 디바이스, 공공장소에 위치된 디바이스, 또는 직장, 또는 사무실 장소에 위치된 디바이스 중 하나를 포함할 수 있다.
예시적인 장치에 대한 일부 예들에서, 제1 미디어 검색 모드는 정황과 연관되는 경우 제1 미디어 콘텐츠를 내추럴 UI 입력 이벤트에 맵핑하는 제1 미디어 맵핑에 기초할 수 있다. 이러한 예들에 있어서, 미디어 검색 모듈은 제1 이모티콘, 제1 애니메이션, 제1 비디오, 제1 음악 선곡, 제1 음성 레코딩, 제1 음향 효과 또는 제1 이미지 중 적어도 하나를 포함하는 미디어 콘텐츠를 검색할 수 있다.
예시적인 장치에 대한 일부 예들에 따라서, 제2 미디어 검색 모드는 정황과 연관되는 경우 제2 미디어 콘텐츠를 내추럴 UI 입력 이벤트에 맵핑하는 제2 미디어 맵핑에 기초할 수 있다. 이러한 예들에 있어서, 미디어 검색 모듈은 제2 이모티콘, 제2 애니메이션, 제2 비디오, 제2 음악 선곡, 제2 음성 레코딩, 제2 음향 효과 또는 제2 이미지 중 적어도 하나를 포함하는 미디어 콘텐츠를 검색할 수 있다.
일부 예들에서, 예시적인 장치는 또한 디바이스가 미디어 콘텐츠를 검색하기 위한 제1 미디어 검색 모드 또는 제2 미디어 검색 모드를 나타내게 하기 위해 프로세서 컴포넌트에 의한 실행을 위한 표시 모듈을 포함할 수 있다. 이러한 예들에 있어서, 디바이스는 오디오 표시, 시각적 표시 또는 진동 표시 중 적어도 하나를 통해 주어진 미디어 검색 모드를 나타낼 수 있다.
예시적인 장치에 대한 일부 예들에 따라서, 미디어 검색 모듈은 디바이스에서 유지되는 미디어 콘텐츠 라이브러리, 디바이스에 대해 원격으로 유지되는 네트워크 액세스가능한 미디어 콘텐츠 라이브러리 또는 입력 명령과 동시에 생성되는 사용자 생성 미디어 콘텐츠 중 적어도 하나로부터 미디어 콘텐츠를 검색할 수 있다.
예시적인 장치에 대한 일부 예들에서, 입력 명령은 터치 제스처, 에어 제스처, 디바이스의 적어도 일부의 목적성 이동을 포함하는 디바이스 제스처, 오디오 명령, 이미지 인식 또는 패턴 인식 중 하나를 포함할 수 있다.
예시적인 장치에 대한 일부 예들에서, 입력 명령을 표시하는 입력 모듈에 의해 수신된 센서 정보는 디바이스의 터치 스크린에 대한 터치 제스처를 검출하는 터치 스크린 센서 정보, 디바이스에 대한 하나 이상의 카메라 근방의 주어진 에어 공간에서의 에어 제스처를 검출하는 이미지 추적 정보, 디바이스의 적어도 일부의 목적성 이동을 검출하는 모션 센서 정보, 오디오 명령을 검출하는 오디오 정보, 디바이스에 대한 하나 이상의 카메라를 통한 이미지 인식을 검출하는 이미지 인식 정보 또는 디바이스에 대한 하나 이상의 카메라를 통한 패턴 인식을 검출하는 패턴 인식 정보 중 하나를 포함할 수 있다.
예시적인 장치에 대한 일부 예들에서, 입력 명령에 관련된 정황 정보는 하루 중의 시간, 디바이스에 대한 GPS 정보, 디바이스 배향 정보, 디바이스 이동 레이트 정보, 이미지 또는 객체 인식 정보, 디바이스 상에서 실행하고 있는 애플리케이션, 애플리케이션에 대한 미디어 콘텐츠의 의도된 수신자, 입력 명령에 대한 사용자 활동의 유형을 나타내는 사용자 입력 정보, 사용자 생체인식 정보, 또는 잡음 수준, 기온, 광 강도, 기압 또는 고도를 포함하는 디바이스에서의 주위 환경 센서 정보 중 하나 이상을 포함할 수 있다.
예시적인 장치에 대한 일부 예들에 따라서, 애플리케이션은 텍스트 메시징 애플리케이션, 비디오 채팅 애플리케이션, 이메일 애플리케이션, 비디오 플레이어 애플리케이션, 게임 애플리케이션, 작업 생산성 애플리케이션, 이미지 캡처 애플리케이션, 웹 브라우저 애플리케이션, 소셜 미디어 애플리케이션 또는 음악 플레이어 애플리케이션 중 하나를 포함한다.
예시적인 장치에 대한 일부 예들에서, 애플리케이션이 텍스트 메시징 애플리케이션, 비디오 채팅 애플리케이션, 이메일 애플리케이션 또는 소셜 미디어 애플리케이션 중 하나를 포함하면, 정황 정보는 또한 내추럴 UI 입력 이벤트에 응답하는 애플리케이션의 유형에 의해 생성된 메시지의 수신자에 대한 아이덴티티를 포함할 수 있다. 이러한 예들에 있어서, 아이덴티티 및 관계 정보를 갖는 프로파일은 수신자 아이덴티티와 연관될 수 있다. 관계 정보는 메시지 발신자 및 메시지 수신자가 정의된 관계를 갖는다는 것을 나타낼 수 있다.
일부 예들에 따라서, 예시적인 장치는 또한 휘발성 메모리 또는 비-휘발성 메모리 중 적어도 하나를 갖는 메모리를 포함할 수 있다. 이러한 예들에 있어서, 메모리는 제1 또는 제2 미디어 검색 모드에 기초하여, 내추럴 UI 입력 이벤트에 응답하는 디바이스 상에서 실행하고 있는 애플리케이션에 대한 미디어 검색 모듈에 의해 검색되는 미디어 콘텐츠를 적어도 일시적으로 저장할 수 있다.
일부 예들에서, 디바이스에서 구현되는 예시적인 방법들은 제1 입력 명령을 검출하는 것을 포함할 수 있다. 예시적인 방법들은 또한 제1 입력 명령을 제1 내추럴 사용자 인터페이스(UI) 입력 이벤트로서 해석하는 것 및 입력 명령에 관련된 정황 정보에 기초하여 제1 내추럴 UI 입력 이벤트와 정황을 연관시키는 것을 포함할 수 있다. 예시적인 방법들은 또한 정황에 기초하여 제1 내추럴 UI 입력 이벤트를 프로세싱할 지를 판정하는 것을 포함할 수 있다.
일부 예들에 따라서, 예시적인 방법들은 또한 정황에 기초하여 제1 내추럴 UI 입력 이벤트를 프로세싱하는 것을 포함할 수 있다. 프로세싱은 정황이 제1 미디어 검색 모드로부터 제2 미디어 검색 모드로의 스위칭을 야기하는지를 판정하는 것 및 그리고 나서 제1 또는 제2 미디어 검색 모드에 기초하여 애플리케이션에 대한 미디어 콘텐츠를 검색하는 것을 포함할 수 있다.
예시적인 방법들에 대한 일부 예들에서, 제1 미디어 검색 모드는 정황과 연관되는 경우 제1 미디어 콘텐츠를 제1 내추럴 UI 입력 이벤트에 맵핑하는 제1 미디어 맵핑에 기초할 수 있다. 이러한 예들에 있어서, 검색된 미디어 콘텐츠는 제1 이모티콘, 제1 애니메이션, 제1 비디오, 제1 음악 선곡, 제1 음성 레코딩, 제1 음향 효과 또는 제1 이미지 중 적어도 하나를 포함한다.
예시적인 방법들에 대한 일부 예들에 따라서, 제2 미디어 검색 모드는 정황과 연관되는 경우 제2 미디어 콘텐츠를 제1 내추럴 UI 입력 이벤트에 맵핑하는 제2 미디어 맵핑에 기초할 수 있다. 이러한 예들에 있어서, 검색된 미디어 콘텐츠는 제2 이모티콘, 제2 애니메이션, 제2 비디오, 제2 음악 선곡, 제2 음성 레코딩, 제2 음향 효과 또는 제2 이미지 중 적어도 하나를 포함할 수 있다.
일부 예들에서, 예시적인 방법들은, 디바이스에 의해, 오디오 표시, 시각적 표시, 또는 진동 표시 중 적어도 하나를 통해 미디어 콘텐츠를 검색하는 제1 미디어 검색 모드 또는 제2 미디어 검색 모드를 나타내는 것을 포함할 수 있다.
예시적인 방법들에 대한 일부 예들에 따라서, 미디어 콘텐츠는 디바이스에서 유지되는 미디어 콘텐츠 라이브러리, 디바이스에 대해 원격으로 유지되는 네트워크 액세스가능한 미디어 콘텐츠 라이브러리 또는 입력 명령과 동시에 생성되는 사용자 생성 미디어 콘텐츠 중 적어도 하나로부터 검색될 수 있다.
예시적인 방법들에 대한 일부 예들에서, 제1 입력 명령은 터치 제스처, 에어 제스처, 디바이스의 적어도 일부의 목적성 이동을 포함하는 디바이스 제스처, 오디오 명령, 이미지 인식 또는 패턴 인식 중 하나를 포함할 수 있다.
예시적인 방법들에 대한 일부 예들에 따라서, 제1 내추럴 UI 입력 이벤트는 디바이스의 터치 스크린에 대한 터치 제스처, 디바이스에 대한 하나 이상의 카메라를 향하는 공기(air) 중에서의 공간 제스처(spatial gesture), 디바이스에 대한 모션 센서들에 의해 검출되는 목적성 이동, 디바이스에 대한 마이크로폰에 의해 검출되는 오디오 정보, 디바이스에 대한 하나 이상의 카메라에 의해 검출되는 이미지 인식 또는 디바이스에 대한 하나 이상의 카메라에 의해 검출되는 패턴 인식 중 하나를 포함할 수 있다.
예시적인 방법들에 대한 일부 예들에서, 검출된 제1 사용자 제스처는 디바이스에 대한 마이크로폰을 활성화할 수 있고, 제1 사용자 제스처는 마이크로폰에 의해 검출된 사용자 생성 오디오 명령에 기초하여 제1 내추럴 UI 입력 이벤트로서 해석된다.
예시적인 방법들에 대한 일부 예들에 따라서, 검출된 제1 입력 명령은 디바이스에 대한 마이크로폰을 활성화할 수 있고, 제1 입력 명령은 마이크로폰에 의해 검출된 사용자 생성 오디오 명령에 기초하여 제1 내추럴 UI 입력 이벤트로서 해석된다.
예시적인 방법들에 대한 일부 예들에서, 제1 입력 명령에 관련된 정황 정보는 하루 중의 시간, 디바이스에 대한 GPS 정보, 디바이스 배향 정보, 디바이스 이동 레이트 정보, 이미지 또는 객체 인식 정보, 디바이스 상에서 실행하고 있는 애플리케이션, 애플리케이션에 대한 미디어 콘텐츠의 의도된 수신자, 제1 입력 명령에 대한 사용자 활동의 유형을 나타내는 사용자 입력 정보, 사용자 생체인식 정보, 또는 잡음 수준, 기온, 광 강도, 기압 또는 고도를 포함하는 디바이스에서의 주위 환경 센서 정보 중 하나 이상을 포함할 수 있다.
예시적인 방법들에 대한 일부 예들에 따라서, 정황은 디바이스를 갖고 달리거나 조깅하기, 디바이스를 갖고 자전거 타기, 디바이스를 갖고 걷기, 디바이스를 갖고 등산 또는 하이킹하기, 높은 주위 잡음 환경에 위치된 디바이스, 공공 장소에 위치된 디바이스, 사적인 또는 가정의 장소에 위치된 디바이스 또는 직장 또는 사무실 장소에 위치된 디바이스 중 하나를 포함할 수 있다.
예시적인 방법들에 대한 일부 예들에서, 애플리케이션은 텍스트 메시징 애플리케이션, 비디오 채팅 애플리케이션, 이메일 애플리케이션, 비디오 플레이어 애플리케이션, 게임 애플리케이션, 작업 생산성 애플리케이션, 이미지 캡처 애플리케이션, 웹 브라우저 애플리케이션, 소셜 미디어 애플리케이션 또는 음악 플레이어 애플리케이션 중 하나를 포함할 수 있다.
예시적인 방법들에 대한 일부 예들에 따라서, 애플리케이션은 텍스트 메시징 애플리케이션, 비디오 채팅 애플리케이션, 이메일 애플리케이션 또는 소셜 미디어 애플리케이션 중 하나를 포함할 수 있고, 정황 정보는 또한 제1 내추럴 UI 입력 이벤트에 응답하는 애플리케이션의 유형에 의해 생성된 메시지의 수신자에 대한 아이덴티티를 포함한다. 이러한 예들에 있어서, 아이덴티티 및 관계 정보를 갖는 프로파일은 수신자 아이덴티티와 연관될 수 있다. 관계 정보는 메시지 수신자와 메시지 발신자가 정의된 관계를 갖는다는 것을 나타낼 수 있다.
일부 예들에서, 적어도 하나의 머신 판독가능한 매체는 디바이스에서의 시스템 상에서 실행되는 것에 응답하여 시스템으로 하여금 제1 입력 명령을 검출하게 할 수 있는 복수의 명령어를 포함한다. 명령어들은 또한 시스템으로 하여금 제1 입력 명령을 검출하고 제1 입력 명령을 제1 내추럴 UI 입력 이벤트로서 해석하게 할 수 있다. 명령어들은 또한 시스템으로 하여금 입력 명령에 관련된 정황 정보에 기초하여 제1 내추럴 UI 입력 이벤트와 정황을 연관시키게 할 수 있다. 명령어들은 또한 시스템으로 하여금 정황에 기초하여 제1 내추럴 UI 입력 이벤트를 프로세싱할 지를 판정하게 할 수 있다. 명령어들은 또한 시스템으로 하여금, 정황이 제1 미디어 검색 모드로부터 제2 미디어 검색 모드로 스위칭을 야기하는지를 판정함으로써 제1 내추럴 UI 입력 이벤트를 프로세싱하고 제1 또는 제2 미디어 검색 모드에 기초하여 애플리케이션에 대한 미디어 콘텐츠를 검색하게 할 수 있다.
적어도 하나의 머신 판독가능한 매체에 대한 일부 예들에 따라서, 제1 미디어 검색 모드는 정황과 연관되는 경우 제1 내추럴 UI 입력 이벤트에 제1 미디어 콘텐츠를 맵핑하는 미디어 맵핑에 기초할 수 있다. 이러한 예들에 있어서, 검색된 미디어 콘텐츠는 제1 이모티콘, 제1 애니메이션, 제1 비디오, 제1 음악 선곡, 제1 음성 레코딩, 제1 음향 효과 또는 제1 이미지 중 적어도 하나를 포함할 수 있다.
적어도 하나의 머신 판독가능한 매체에 대한 일부 예들에서, 제2 미디어 검색 모드는 정황과 연관되는 경우 제2 미디어 콘텐츠를 제1 내추럴 UI 입력 이벤트에 맵핑하는 미디어 맵핑에 기초할 수 있다. 이러한 예들에 있어서, 검색된 미디어 콘텐츠는 제2 이모티콘, 제2 애니메이션, 제2 비디오, 제2 음악 선곡, 제2 음성 레코딩, 제2 음향 효과 또는 제2 이미지 중 적어도 하나를 포함할 수 있다.
적어도 하나의 머신 판독가능한 매체에 대한 일부 예들에 따라서, 명령어들은 또한 시스템으로 하여금, 디바이스에서 유지되는 미디어 콘텐츠 라이브러리, 디바이스에 대해 원격으로 유지되는 네트워크 액세스가능한 미디어 콘텐츠 라이브러리 또는 입력 명령과 동시에 생성되는 사용자 생성 미디어 콘텐츠 중 적어도 하나로부터 미디어 콘텐츠를 검색하게 할 수 있다.
적어도 하나의 머신 판독가능한 매체에 대한 일부 예들에서, 제1 입력 명령은 터치 제스처, 에어 제스처, 디바이스의 적어도 일부의 목적성 이동을 포함하는 디바이스 제스처, 오디오 명령, 이미지 인식 또는 패턴 인식 중 하나를 포함할 수 있다.
적어도 하나의 머신 판독가능한 매체에 대한 일부 예들에 따라서, 제1 내추럴 UI 입력 이벤트는 디바이스의 터치 스크린에 대한 터치 제스처, 디바이스에 대한 하나 이상의 카메라를 향하는 공기 중에서의 공간 제스처 또는 디바이스에 대한 모션 센서들에 의해 검출되는 목적성 이동, 디바이스에 대한 마이크로폰에 의해 검출되는 오디오 정보, 디바이스에 대한 하나 이상의 카메라에 의해 검출되는 이미지 인식 또는 디바이스에 대한 하나 이상의 카메라에 의해 검출되는 패턴 인식 중 하나를 포함할 수 있다.
적어도 하나의 머신 판독가능한 매체에 대한 일부 예들에서, 입력 명령에 관련된 정황 정보는 하루 중의 시간, 디바이스에 대한 GPS 정보, 디바이스 배향 정보, 디바이스 이동 레이트 정보, 이미지 또는 객체 인식 정보, 디바이스 상에서 실행하고 있는 애플리케이션, 애플리케이션에 대한 미디어 콘텐츠의 의도된 수신자, 입력 명령에 대한 사용자 활동의 유형을 나타내는 사용자 입력 정보, 사용자 생체인식 정보, 또는 잡음 수준, 기온, 광 강도, 기압 또는 고도를 포함하는, 디바이스에서의 주위 환경 센서 정보 중 하나 이상을 포함할 수 있다.
적어도 하나의 머신 판독가능한 매체에 대한 일부 예들에 따라서, 정황은 디바이스를 갖고 달리거나 조깅하기, 디바이스를 갖고 자전거 타기, 디바이스를 갖고 걷기, 디바이스를 갖고 등산 또는 하이킹하기, 높은 주위 잡음 환경에 위치된 디바이스, 공공 장소에 위치된 디바이스, 사적인 또는 가정의 장소에 위치된 디바이스 또는 직장 또는 사무실 장소에 위치된 디바이스 중 하나를 포함할 수 있다.
적어도 하나의 머신 판독가능한 매체에 대한 일부 예들에서, 입력 명령에 관련된 정황 정보는 텍스트 메시징 애플리케이션, 비디오 채팅 애플리케이션, 이메일 애플리케이션 또는 소셜 미디어 애플리케이션을 포함하는 애플리케이션에 대한 애플리케이션의 유형을 포함할 수 있고, 입력 명령에 관련된 정황 정보는 또한 제1 내추럴 UI 입력 이벤트에 응답하는 애플리케이션의 유형에 의해 생성된 메시지의 수신자에 대한 아이덴티티를 포함한다. 이러한 예들에 있어서, 아이덴티티 및 관계 정보를 갖는 프로파일은 수신자 아이덴티티와 연관될 수 있다. 관계 정보는 메시지 수신자 및 메시지 발신자가 정의된 관계를 갖는다는 것을 나타낼 수 있다.
본 개시내용의 요약은, 독자가 기술적 개시내용의 속성을 신속하게 확인할 수 있게 하는 요약을 요구하는 37 C.F.R. 섹션 1.72(b)에 따르도록 제공된다고 강조된다. 이는 청구항들의 범위 또는 의미를 해석하거나 제한하는데 사용되지 않을 것이라는 이해로 제시된다. 또한, 전술한 상세한 설명에서, 본 개시내용을 간소화하기 위해 다양한 피처들이 단일의 예에서 함께 그룹화된다는 것을 알 수 있다. 이러한 개시 방법은, 청구된 예들이 각각의 청구항에 명백히 기술되는 것보다 더 많은 피처들을 요구한다는 의도를 반영하는 것으로서 해석되어서는 안 된다. 오히려, 다음의 청구항들이 반영하는 바와 같이, 본 발명 대상은 단일의 개시된 예의 모든 피처들보다 더 적은 피처들에 있다. 따라서, 다음의 청구항들은 상세한 설명에 포함되고, 각각의 청구항은 단독으로 별개의 예로서 존재한다. 첨부된 청구항들에서, 용어 "~포함하는(including)" 및 "~하는(in which)"는 각각의 용어 "포함하는(comprising)" 및 "여기에서(wherein)"의 평문 영어 등가물들로서 각각 사용된다. 또한, 용어들 "제1", "제2", "제3" 등은 단순히 라벨들로서 이용되며, 그들의 객체들에 대한 수치적 요건을 부과하도록 의도되지는 않는다.
발명이 구조적 특징들 및/또는 방법론적 동작들에 대해 특정 언어로서 설명되었지만, 첨부되는 특허청구범위에서 정의된 발명은 전술한 특정 피처들 및 동작들로 반드시 한정되는 것은 아님이 이해될 것이다. 게다가, 전술한 특정 피처들 및 동작들은 청구항들을 구현하는 예시적인 형식들로서 개시된다.

Claims (25)

  1. 장치로서,
    디바이스에 대한 프로세서 컴포넌트;
    입력 명령을 나타내고 입력 명령을 내추럴 사용자 인터페이스(UI) 입력 이벤트로서 해석하는 센서 정보를 수신하기 위한, 상기 프로세서 컴포넌트에 의한 실행을 위한 입력 모듈;
    상기 입력 명령의 검출 동안 수집된 정황 정보(context information)에 기초하여 상기 내추럴 UI 입력 이벤트를 정황과 연관시키기 위한, 상기 프로세서 컴포넌트에 의한 실행을 위한 정황 연관 모듈;
    상기 정황이 메시지에 추가하기 위한 미디어를 선택하기 위한 선택된 미디어 검색 모드의 스위칭을 야기하는지를 판정하기 위한, 상기 프로세서 컴포넌트에 의한 실행을 위한 미디어 모드 선택 모듈 -상기 선택된 미디어 검색 모드는 제1 미디어 검색 모드 또는 제2 미디어 검색 모드 중 하나를 포함함-; 및
    상기 내추럴 UI 입력 이벤트에 응답하여 상기 장치에 의해 송신하기 위한 상기 메시지에 추가하기 위한 미디어 콘텐츠를 검색하기 위한, 상기 프로세서 컴포넌트에 의한 실행을 위한 미디어 검색 모듈 -상기 미디어 콘텐츠는 상기 제1 미디어 검색 모드 또는 상기 제2 미디어 검색 모드 중 하나에 기초하여 선택되고, 상기 제1 미디어 검색 모드는 상기 정황과 연관되는 경우 제1 미디어 콘텐츠를 상기 내추럴 UI 입력 이벤트에 맵핑하는 미디어 맵핑에 기초하고, 상기 제2 미디어 검색 모드는 상기 정황과 연관되는 경우 제2 미디어 콘텐츠를 상기 내추럴 UI 입력 이벤트에 맵핑하는 미디어 맵핑에 기초하며, 상기 제1 미디어 콘텐츠는 상기 제2 미디어 콘텐츠와 상이함-
    을 포함하는 장치.
  2. 제1항에 있어서,
    상기 디바이스를 갖고 달리거나 조깅하기, 상기 디바이스를 갖고 자전거 타기, 상기 디바이스를 갖고 걷기, 상기 디바이스를 갖고 등산 또는 하이킹하기, 높은 주위 잡음 환경에 위치된 상기 디바이스, 공공 장소에 위치된 상기 디바이스 또는 직장 또는 사무실 장소에 위치된 상기 디바이스 중 하나의 표시를 더 포함하는 상기 정황에 기초하여 미디어 콘텐츠를 상기 미디어 검색 모듈이 검색하는 것을 방지하기 위한, 상기 프로세서 컴포넌트에 의한 실행을 위한 프로세싱 모듈을 포함하는 장치.
  3. 제1항에 있어서,
    상기 미디어 검색 모듈은, 제1 이모티콘, 제1 애니메이션, 제1 비디오, 제1 음악 선곡, 제1 음성 레코딩, 제1 음향 효과 또는 제1 이미지 중 적어도 하나를 포함하는 미디어 콘텐츠를 상기 제1 또는 상기 제2 미디어 검색 모드에 기초하여 검색하는 장치.
  4. 제1항에 있어서,
    상기 디바이스로 하여금 상기 미디어 콘텐츠를 검색하기 위한 상기 제1 미디어 검색 모드 또는 상기 제2 미디어 검색 모드를 표시하게 하기 위한 상기 프로세서 컴포넌트에 의한 실행을 위한 표시 모듈을 포함하고, 상기 디바이스는 오디오 표시, 시각적 표시, 또는 진동 표시 중 적어도 하나를 통해 주어진 미디어 검색 모드를 나타내는 장치.
  5. 제1항에 있어서,
    상기 디바이스에서 유지되는 미디어 콘텐츠 라이브러리, 상기 디바이스에 대해 원격으로 유지되는 네트워크 액세스가능한 미디어 콘텐츠 라이브러리 또는 입력 명령과 동시에 생성되는 사용자 생성 미디어 콘텐츠 중 적어도 하나로부터 상기 미디어 콘텐츠를 검색하는 상기 미디어 검색 모듈을 포함하는 장치.
  6. 제1항에 있어서,
    상기 입력 명령은 터치 제스처, 에어 제스처, 상기 디바이스의 적어도 일부의 목적성 이동을 포함하는 디바이스 제스처, 오디오 명령, 이미지 인식 또는 패턴 인식 중 하나를 포함하는 장치.
  7. 제6항에 있어서,
    상기 디바이스의 터치 스크린에 대한 상기 터치 제스처를 검출하는 터치 스크린 센서 정보, 상기 디바이스에 대한 하나 이상의 카메라 근방의 주어진 공기중 공간(air space)에서 상기 에어 제스처를 검출하는 이미지 추적 정보, 상기 디바이스의 적어도 일부의 상기 목적성 이동을 검출하는 모션 센서 정보, 상기 오디오 명령을 검출하는 오디오 정보 또는 상기 디바이스에 대한 하나 이상의 카메라를 통해 상기 이미지 인식을 검출하는 이미지 인식 정보 또는 상기 디바이스에 대한 하나 이상의 카메라를 통해 상기 패턴 인식을 검출하는 패턴 인식 정보 중 하나를 포함하는, 상기 입력 모듈에 의해 수신된, 상기 입력 명령을 나타내는 상기 센서 정보를 포함하는 장치.
  8. 제1항에 있어서,
    상기 입력 명령에 관련된 상기 정황 정보는, 하루 중의 시간, 상기 디바이스 상에서 실행하고 있는 애플리케이션, 상기 애플리케이션에 대한 상기 미디어 콘텐츠의 의도된 수신자, 또는 운동 활동, 직장 활동, 가정 활동 또는 공공 활동(public activity)을 포함하는 상기 입력 명령에 대한 사용자 활동의 유형을 나타내는 사용자 입력 정보 중 하나 이상을 더 포함하는 장치.
  9. 제1항에 있어서,
    애플리케이션을 위한 상기 미디어 콘텐츠를 검색하기 위한 상기 미디어 검색 모듈은 텍스트 메시징 애플리케이션, 비디오 채팅 애플리케이션, 이메일 애플리케이션, 비디오 플레이어 애플리케이션, 게임 애플리케이션, 작업 생산성 애플리케이션, 이미지 캡처 애플리케이션, 웹 브라우저 애플리케이션, 소셜 미디어 애플리케이션 또는 음악 플레이어 애플리케이션 중 하나를 포함하는 장치.
  10. 제9항에 있어서,
    상기 정황 정보는 메시지의 수신자에 대한 아이덴티티를 포함하는 장치.
  11. 제10항에 있어서,
    아이덴티티 및 관계 정보를 갖는 프로파일을 포함하고, 상기 관계 정보는 상기 메시지 수신자와 메시지 발신자가 정의된 관계를 갖는다는 것을 나타내는 장치.
  12. 제1항에 있어서,
    휘발성 메모리 또는 비-휘발성 메모리 중 적어도 하나를 포함하는 메모리를 포함하고, 상기 메모리는 상기 제1 또는 상기 제2 미디어 검색 모드에 기초하여, 상기 내추럴 UI 입력 이벤트에 응답하여 상기 디바이스 상에서 실행하고 있는 애플리케이션에 대해 상기 미디어 검색 모듈에 의해 검색되는 미디어 콘텐츠를 적어도 일시적으로 저장할 수 있는 장치.
  13. 방법으로서,
    디바이스에서, 입력 명령을 검출하는 단계;
    상기 입력 명령을 내추럴 사용자 인터페이스(UI) 입력 이벤트로서 해석하는 단계;
    상기 입력 명령의 검출 동안 수집된 정황 정보에 기초하여 상기 내추럴 UI 입력 이벤트와 정황을 연관시키는 단계;
    상기 정황에 기초하여 상기 내추럴 UI 입력 이벤트를 프로세싱할지를 판정하는 단계;
    상기 정황이 메시지에 추가하기 위한 미디어를 선택하기 위한 선택된 미디어 검색 모드의 스위칭을 야기하는지를 판정하는 -상기 선택된 미디어 검색 모드는 제1 미디어 검색 모드 또는 제2 미디어 검색 모드 중 하나를 포함함- 것을 포함하는 상기 정황에 기초하여 상기 내추럴 UI 입력 이벤트를 프로세싱하는 단계; 및
    상기 디바이스에 의해 전송하기 위한 상기 메시지에 추가하기 위한 미디어 콘텐츠를 검색하는 단계 -상기 미디어 콘텐츠는 상기 제1 미디어 검색 모드 또는 상기 제2 미디어 검색 모드 중 하나에 기초하여 선택되고, 상기 제1 미디어 검색 모드는 상기 정황과 연관되는 경우 제1 미디어 콘텐츠를 상기 내추럴 UI 입력 이벤트에 맵핑하는 미디어 맵핑에 기초하고, 상기 제2 미디어 검색 모드는 상기 정황과 연관되는 경우 제2 미디어 콘텐츠를 상기 내추럴 UI 입력 이벤트에 맵핑하는 미디어 맵핑에 기초하며, 상기 제1 미디어 콘텐츠는 상기 제2 미디어 콘텐츠와 상이함-
    를 포함하는 방법.
  14. 삭제
  15. 제13항에 있어서,
    상기 미디어 콘텐츠는 제1 이모티콘, 제1 애니메이션, 제1 비디오, 제1 음악 선곡, 제1 음성 레코딩, 제1 음향 효과 또는 제1 이미지 중 적어도 하나를 포함하는 방법.
  16. 제13항에 있어서,
    상기 입력 명령은 터치 제스처, 에어 제스처, 상기 디바이스의 적어도 일부의 목적성 이동을 포함하는 디바이스 제스처, 오디오 명령, 이미지 인식 또는 패턴 인식 중 하나를 포함하는 방법.
  17. 제16항에 있어서,
    상기 내추럴 UI 입력 이벤트는, 상기 디바이스의 터치 스크린에 대한 터치 제스처, 상기 디바이스에 대한 하나 이상의 카메라를 향한 공기중에서의 공간 제스처, 상기 디바이스에 대한 모션 센서들에 의해 검출되는 목적성 이동, 상기 디바이스에 대한 마이크로폰에 의해 검출되는 오디오 정보, 상기 디바이스에 대한 하나 이상의 카메라에 의해 검출되는 이미지 인식 또는 상기 디바이스에 대한 하나 이상의 카메라에 의해 검출되는 패턴 인식 중 하나를 포함하는 방법.
  18. 제16항에 있어서,
    상기 디바이스에 대한 마이크로폰을 활성화하는 상기 검출된 입력 명령을 포함하고, 상기 입력 명령은 상기 마이크로폰에 의해 검출된 사용자 생성 오디오 명령에 기초하여 상기 내추럴 UI 입력 이벤트로서 해석되는 방법.
  19. 제16항에 있어서,
    상기 디바이스에 대한 카메라를 활성화하는 상기 검출된 입력 명령을 포함하고, 상기 입력 명령은 상기 카메라에 의해 검출된 객체 또는 패턴 인식에 기초하여 상기 내추럴 UI 입력 이벤트로서 해석되는 방법.
  20. 제13항에 있어서,
    상기 정황 정보는 상기 디바이스를 갖고 달리거나 조깅하기, 상기 디바이스를 갖고 자전거 타기, 상기 디바이스를 갖고 걷기, 상기 디바이스를 갖고 등산 또는 하이킹하기, 높은 주위 잡음 환경에 위치된 상기 디바이스, 공공 장소에 위치된 상기 디바이스, 사적인 또는 가정의 장소에 위치된 상기 디바이스 또는 직장 또는 사무실 장소에 위치된 상기 디바이스 중 하나의 표시를 더 포함하는 방법.
  21. 복수의 명령어를 포함하는 적어도 하나의 머신 판독가능한 매체로서,
    상기 명령어들은 디바이스에서의 시스템 상에서 실행되는 것에 응답하여, 상기 시스템으로 하여금:
    입력 명령을 검출하고;
    상기 입력 명령을 내추럴 사용자 인터페이스(UI) 입력 이벤트로서 해석하고;
    상기 입력 명령의 검출 동안 수집된 정황 정보에 기초하여 상기 내추럴 UI 입력 이벤트와 정황을 연관시키고;
    상기 정황에 기초하여 상기 내추럴 UI 입력 이벤트를 프로세싱할지를 판정하고;
    상기 정황이 메시지에 추가하기 위한 미디어를 선택하기 위한 선택된 미디어 검색 모드의 스위칭을 야기하는지를 판정함으로써 상기 내추럴 UI 입력 이벤트를 프로세싱하고 -상기 선택된 미디어 검색 모드는 제1 미디어 검색 모드 또는 제2 미디어 검색 모드 중 하나를 포함함-; 및
    상기 디바이스에 의해 전송하기 위한 메시지에 추가하기 위한 미디어 콘텐츠를 검색하게 하는 -상기 미디어 콘텐츠는 상기 제1 미디어 검색 모드 또는 상기 제2 미디어 검색 모드 중 하나에 기초하여 선택되고, 상기 제1 미디어 검색 모드는 상기 정황과 연관되는 경우 제1 미디어 콘텐츠를 상기 내추럴 UI 입력 이벤트에 맵핑하는 미디어 맵핑에 기초하고, 상기 제2 미디어 검색 모드는 상기 정황과 연관되는 경우 제2 미디어 콘텐츠를 상기 내추럴 UI 입력 이벤트에 맵핑하는 미디어 맵핑에 기초하며, 상기 제1 미디어 콘텐츠는 상기 제2 미디어 콘텐츠와 상이함-
    적어도 하나의 머신 판독가능한 매체.
  22. 제21항에 있어서,
    상기 미디어 콘텐츠는 제1 이모티콘, 제1 애니메이션, 제1 비디오, 제1 음악 선곡, 제1 음성 레코딩, 제1 음향 효과 또는 제1 이미지 중 적어도 하나를 포함하는, 적어도 하나의 머신 판독가능한 매체.
  23. 제21항에 있어서,
    상기 입력 명령은 터치 제스처, 에어 제스처, 상기 디바이스의 적어도 일부의 목적성 이동을 포함하는 디바이스 제스처, 오디오 명령, 이미지 인식 또는 패턴 인식 중 하나를 포함하는, 적어도 하나의 머신 판독가능한 매체.
  24. 제23항에 있어서,
    상기 내추럴 UI 입력 이벤트는, 상기 디바이스의 터치 스크린에 대한 터치 제스처, 상기 디바이스에 대한 하나 이상의 카메라를 향한 공기 중에서의 공간 제스처 또는 상기 디바이스에 대한 모션 센서들에 의해 검출되는 목적성 이동, 상기 디바이스에 대한 마이크로폰에 의해 검출되는 오디오 정보, 상기 디바이스에 대한 하나 이상의 카메라에 의해 검출되는 이미지 인식 또는 상기 디바이스에 대한 하나 이상의 카메라에 의해 검출되는 패턴 인식 중 하나를 포함하는, 적어도 하나의 머신 판독가능한 매체.
  25. 제21항에 있어서,
    상기 정황 정보는, 하루 중의 시간, 상기 디바이스 상에서 실행하고 있는 애플리케이션, 상기 애플리케이션에 대한 상기 미디어 콘텐츠의 의도된 수신자, 또는 운동 활동, 직장 활동, 가정 활동 또는 공공 활동(public activity)을 포함하는 상기 입력 명령에 대한 사용자 활동의 유형을 나타내는 사용자 입력 정보 중 하나 이상을 더 포함하는, 적어도 하나의 머신 판독가능한 매체.
KR1020157028698A 2013-05-16 2013-05-16 정황에 기초한 내추럴 사용자 인터페이스 입력을 위한 기법들 KR101825963B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/041404 WO2014185922A1 (en) 2013-05-16 2013-05-16 Techniques for natural user interface input based on context

Publications (2)

Publication Number Publication Date
KR20150130484A KR20150130484A (ko) 2015-11-23
KR101825963B1 true KR101825963B1 (ko) 2018-02-06

Family

ID=51896836

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157028698A KR101825963B1 (ko) 2013-05-16 2013-05-16 정황에 기초한 내추럴 사용자 인터페이스 입력을 위한 기법들

Country Status (5)

Country Link
US (1) US20140344687A1 (ko)
EP (1) EP2997444A4 (ko)
KR (1) KR101825963B1 (ko)
CN (1) CN105122181B (ko)
WO (1) WO2014185922A1 (ko)

Families Citing this family (149)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
DE112014002747T5 (de) 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US20150012883A1 (en) * 2013-07-02 2015-01-08 Nokia Corporation Method and apparatus for providing a task-based user interface
KR20150009186A (ko) * 2013-07-16 2015-01-26 삼성전자주식회사 메신저 기반의 대화 서비스 기능 운용 방법 및 사용자 인터페이스 그리고 이를 지원하는 전자 장치
KR20150016683A (ko) * 2013-08-05 2015-02-13 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US20160019360A1 (en) 2013-12-04 2016-01-21 Apple Inc. Wellness aggregator
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
DE102013021875B4 (de) * 2013-12-21 2021-02-04 Audi Ag Sensorvorrichtung und Verfahren zum Erzeugen von wegezustandsabhängig aufbereiteten Betätigungssignalen
US9330666B2 (en) * 2014-03-21 2016-05-03 Google Technology Holdings LLC Gesture-based messaging method, system, and device
KR20150121889A (ko) * 2014-04-22 2015-10-30 에스케이플래닛 주식회사 재생 음악 관련 이미지 제공 장치 및 이를 이용한 방법
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
CN104866055A (zh) * 2015-03-31 2015-08-26 四川爱里尔科技有限公司 提高响应性和延长电池时间的操作系统及其管理方法
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10331399B2 (en) * 2015-06-05 2019-06-25 Apple Inc. Smart audio playback when connecting to an audio output system
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11416212B2 (en) * 2016-05-17 2022-08-16 Microsoft Technology Licensing, Llc Context-based user agent
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10606457B2 (en) 2016-10-11 2020-03-31 Google Llc Shake event detection system
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US11347805B2 (en) * 2017-03-08 2022-05-31 Samsung Electronics Co., Ltd. Electronic apparatus, method for controlling the same, and non-transitory computer readable recording medium
KR102440963B1 (ko) * 2017-03-08 2022-09-07 삼성전자주식회사 전자 장치, 이의 제어 방법 및 비일시적인 컴퓨터 판독가능 기록매체
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US20190114131A1 (en) * 2017-10-13 2019-04-18 Microsoft Technology Licensing, Llc Context based operation execution
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
DK180241B1 (en) 2018-03-12 2020-09-08 Apple Inc User interfaces for health monitoring
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11317833B2 (en) 2018-05-07 2022-05-03 Apple Inc. Displaying user interfaces associated with physical activities
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK201870380A1 (en) 2018-05-07 2020-01-29 Apple Inc. DISPLAYING USER INTERFACES ASSOCIATED WITH PHYSICAL ACTIVITIES
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US10832678B2 (en) 2018-06-08 2020-11-10 International Business Machines Corporation Filtering audio-based interference from voice commands using interference information
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970532A1 (en) 2019-05-06 2021-05-03 Apple Inc Activity trends and workouts
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11209957B2 (en) 2019-06-01 2021-12-28 Apple Inc. User interfaces for cycle tracking
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11228835B2 (en) 2019-06-01 2022-01-18 Apple Inc. User interfaces for managing audio exposure
US11152100B2 (en) 2019-06-01 2021-10-19 Apple Inc. Health application user interfaces
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11234077B2 (en) 2019-06-01 2022-01-25 Apple Inc. User interfaces for managing audio exposure
CN114286975A (zh) 2019-09-09 2022-04-05 苹果公司 调查研究用户界面
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11810578B2 (en) 2020-05-11 2023-11-07 Apple Inc. Device arbitration for digital assistant-based intercom systems
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
DK181037B1 (en) 2020-06-02 2022-10-10 Apple Inc User interfaces for health applications
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11698710B2 (en) 2020-08-31 2023-07-11 Apple Inc. User interfaces for logging user activities

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120137259A1 (en) * 2010-03-26 2012-05-31 Robert Campbell Associated file
US20130095805A1 (en) * 2010-08-06 2013-04-18 Michael J. Lebeau Automatically Monitoring for Voice Input Based on Context

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7107539B2 (en) 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US7774676B2 (en) * 2005-06-16 2010-08-10 Mediatek Inc. Methods and apparatuses for generating error correction codes
US20090300525A1 (en) * 2008-05-27 2009-12-03 Jolliff Maria Elena Romera Method and system for automatically updating avatar to indicate user's status
CN102447837A (zh) * 2009-06-16 2012-05-09 英特尔公司 手持装置中的摄像机应用
US8261212B2 (en) * 2009-10-20 2012-09-04 Microsoft Corporation Displaying GUI elements on natural user interfaces
US8479107B2 (en) * 2009-12-31 2013-07-02 Nokia Corporation Method and apparatus for fluid graphical user interface
US9727226B2 (en) * 2010-04-02 2017-08-08 Nokia Technologies Oy Methods and apparatuses for providing an enhanced user interface
US20110296352A1 (en) * 2010-05-27 2011-12-01 Microsoft Corporation Active calibration of a natural user interface
KR20120035529A (ko) 2010-10-06 2012-04-16 삼성전자주식회사 휴대용 단말기에서 적응적 제스처 인식 장치 및 방법
US20120110456A1 (en) * 2010-11-01 2012-05-03 Microsoft Corporation Integrated voice command modal user interface
US8478306B2 (en) * 2010-11-10 2013-07-02 Google Inc. Self-aware profile switching on a mobile computing device
US20120313847A1 (en) 2011-06-09 2012-12-13 Nokia Corporation Method and apparatus for contextual gesture recognition
US9256396B2 (en) * 2011-10-10 2016-02-09 Microsoft Technology Licensing, Llc Speech recognition for context switching
US20140181715A1 (en) * 2012-12-26 2014-06-26 Microsoft Corporation Dynamic user interfaces adapted to inferred user contexts

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120137259A1 (en) * 2010-03-26 2012-05-31 Robert Campbell Associated file
US20130095805A1 (en) * 2010-08-06 2013-04-18 Michael J. Lebeau Automatically Monitoring for Voice Input Based on Context

Also Published As

Publication number Publication date
US20140344687A1 (en) 2014-11-20
CN105122181B (zh) 2018-12-18
EP2997444A1 (en) 2016-03-23
WO2014185922A1 (en) 2014-11-20
KR20150130484A (ko) 2015-11-23
EP2997444A4 (en) 2016-12-14
CN105122181A (zh) 2015-12-02

Similar Documents

Publication Publication Date Title
KR101825963B1 (ko) 정황에 기초한 내추럴 사용자 인터페이스 입력을 위한 기법들
US20210110592A1 (en) Dynamic composite user identifier
EP3586316B1 (en) Method and apparatus for providing augmented reality function in electronic device
US11962547B2 (en) Content item module arrangements
CN107852527B (zh) 控制视频的共享的方法以及适配该方法的电子设备
EP3373112A1 (en) Electronic device comprising plurality of displays and method for operating same
US20160247034A1 (en) Method and apparatus for measuring the quality of an image
AU2016224180A1 (en) Method and apparatus for supporting communication in electronic device
EP3141982B1 (en) Electronic device for sensing pressure of input and method for operating the electronic device
KR20170017289A (ko) 콘텐츠를 송수신하는 전자 장치 및 방법
US11425062B2 (en) Recommended content viewed by friends
US10477096B2 (en) Object or area based focus control in video
CN108476277A (zh) 电子装置
US20220291830A1 (en) Touch method and electronic device
US11343209B2 (en) Presenting reactions from friends
EP3001300B1 (en) Method and apparatus for generating preview data
AU2018216529A1 (en) Method for switching applications, and electronic device thereof
US20160170614A1 (en) Method and apparatus for providing object-related services
KR20170084586A (ko) 전자 장치의 플렉서블 디스플레이 및 그의 운용 방법
US11625255B2 (en) Contextual navigation menu
KR20200024264A (ko) 고속 사용자들을 위한 콘텐츠를 선택하기 위한 시스템들 및 방법들
WO2018017373A1 (en) Cascading specialized recognition engines based on a recognition policy
WO2021062438A1 (en) Content item module arrangements
KR20170052003A (ko) 복수의 디스플레이들을 갖는 전자 장치 및 그 동작 방법
CN105513098B (zh) 一种图像处理的方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right