KR101242982B1 - 개인 미디어 장치의 움직임 기반 인터페이스 - Google Patents

개인 미디어 장치의 움직임 기반 인터페이스 Download PDF

Info

Publication number
KR101242982B1
KR101242982B1 KR1020107009743A KR20107009743A KR101242982B1 KR 101242982 B1 KR101242982 B1 KR 101242982B1 KR 1020107009743 A KR1020107009743 A KR 1020107009743A KR 20107009743 A KR20107009743 A KR 20107009743A KR 101242982 B1 KR101242982 B1 KR 101242982B1
Authority
KR
South Korea
Prior art keywords
media device
movement
user
pattern
vibration
Prior art date
Application number
KR1020107009743A
Other languages
English (en)
Other versions
KR20100083807A (ko
Inventor
마이클 쿨버트
스코트 포스탈
니콜라스 브이. 킹
마이클 엠. 리
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20100083807A publication Critical patent/KR20100083807A/ko
Application granted granted Critical
Publication of KR101242982B1 publication Critical patent/KR101242982B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

미디어 장치와 인터페이싱하거나 이를 제어하는 하나 또는 그 이상의 움직임 기반 인터페이스를 포함하는 미디어 장치에 대한 시스템과 방법이 제공된다.

Description

개인 미디어 장치의 움직임 기반 인터페이스{MOVEMENT-BASED INTERFACES FOR PERSONAL MEDIA DEVICE}
본 발명은 개인 미디어 장치에 관한 것으로, 특히 개인 미디어 장치의 움직임 기반 인터페이스에 관한 것이다.
소형 휴대형 개인 미디어 장치(예컨대 휴대형 MP3 플레이어, 휴대형 비디오 플레이어 및 미디어 구동가능 셀룰러 전화)가 널리 보급됨에 따라 사용자들은 걷고 있는 중에, 달리고 있는 중에, 운전 중에, 또는 기타 다른 행위를 하고 있는 중에 그와 같은 소형 휴대형 미디어 장치와 소통하고 비디오 및 오디오(예컨대 음성 및 음악)와 같은 멀티미디어에 액세스할 수 있게 되었다.
셀룰러 전화와 같은 기존의 휴대형 미디어 장치의 한 가지 문제는 사용자가 미디어 장치의 비디오 디스플레이, 그래픽 사용자 인터페이스(GUI) 및/또는 키패드와 인터페이싱하는 동안에 다른 행위들로 인해 주의가 산만해질 수 있다는 점이다. 예컨대 개인 미디어 장치를 갖고 달리고 있는 사람이 달리고 있는 중에 음악을 듣거나 셀룰러 전화를 걸거나 받을 수도 있을 것이다. 통상적인 개인 미디어 장치의 경우에는 이 사람은 듣고자 하는 노래를 선택하기 위해 미디어 애플리케이션과 소통하려면 장치의 디스플레이를 보아야 한다. 또한 이 사용자는 어쩌면 그 노래를 선택하기 위해 스크린을 누르거나 키패드 상의 하나 또는 그 이상의 키를 눌려야 한다. 이러한 개인 미디어 장치와의 소통 때문에 사용자는 위험할 수도 있는 주위 환경으로부터 주의를 딴 데로 돌릴 수 있고, 사용자 자신의 다른 행위를 중단하도록 만들 수 있고, 또는 사용자가 자신의 주위 환경 내의 다른 사람의 행위와 간섭하는 것을 초래할 수 있다. 따라서 특히 사용자가 예컨대 사용자의 시각적 주의를 요하는 여러 행위를 수행하는 동안에 개인 미디어 장치와의 사용자의 물리적 및 시각적 소통(interaction) 중 하나 또는 둘 모두를 최소화시키는 사용자 인터페이스를 개인 미디어 장치에 구비할 필요가 있다.
본 발명은 여러 가지 실시예에서 개인용 미디어 장치 사용자가 그 장치의 사용자 개시 움직임을 통해 그 개인용 미디어 장치를 제어할 수 있도록 하고 그리고/또는 그 사용자가 그 개인용 미디어 장치로부터 움직임 기반 정보를 수신할 수 있도록 하는 시스템, 방법 및 장치를 제공함으로써 종래 기술의 문제점을 해결한다.
본 발명은 여러 가지 양상에서 미디어 장치에 위치, 배향 또는 움직임(position, orientation or movement; POM) 센서를 채용한다. POM 센서는 가속도계, 자이로스코우프, 광센서, 적외선(IR) 센서, 근접 센서, 용량성 근접 센서, 음향 센서, 소닉 또는 소나 센서, 레이더 센서, 이미지 센서, 비디오 센서, GPS(global positional system) 검출기, RF 검출기, RF 또는 음향 도플러 검출기, 비디오 센서, 컴퍼스, 자기계(manetometer) 또는 기타 유사한 환경 센서를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 양상에서 미디어 장치는 미디어 장치의 위치, 배향 및 움직임 중 적어도 하나에 기초하여 센서 신호를 발생하는 적어도 하나의 센서를 포함한다. 미디어 장치는 상기 센서 신호를 수신하고, 상기 센서 신호에 적어도 부분적으로 기초하여 미디어 장치의 하나 또는 그 이상의 동작을 제어하는 프로세서도 포함한다. 일 구성에서 미디어 장치는 각각이 미디어 장치의 동작과 연관된 하나 또는 그 이상의 기지 움직임 패턴을 가진 데이터베이스 또는 데이터 저장부를 포함한다. 일 양상에서 프로세서는 상기 센서 신호를 상기 하나 또는 그 이상의 기지 움직임 패턴들과 비교하여 상기 미디어 장치의 관련 동작을 판단한다. 상기 비교 기능은 패턴 인식 알고리즘 또는 기법을 이용하는 것을 포함한다.
일 구성에서 상기 동작은 애플리케이션과 연관된 요소 리스트를 스테핑하는 것을 포함한다. 상기 스테핑은 위치 변화율, 배향 변화율 및 움직임 속도 중 적어도 하나의 세기에 비례하여 증분적으로 이루어질 수 있다. 상기 동작은 하나 또는 그 이상의 애플리케이션의 기동 또는 론칭, 하나 또는 그 이상의 애플리케이션의 중지 또는 종료, 하나 또는 그 이상의 요소의 선택 또는 선택 해제, 하나 또는 그 이상의 설정의 증가 또는 감소, 요소 리스트 항행, 통신 세션의 개시 또는 종료, 음악 또는 비디오 구동, 음악 또는 비디오 일시 정지, 및 오디오 또는 비디오 녹화 세션의 개시 또는 종료 중 적어도 하나를 포함할 수 있다. 상기 요소는 노래, 비디오, 음악 파일, 오디오 파일, 비디오 파일, 사진, 미디어 파일, 애플리케이션 아이콘, 작동 아이콘, 제어 버튼, 데이터 파일 및 연락처 데이터 중 적어도 하나를 포함할 수 있다.
일 구성에서 상기 센서는 적어도 하나의 가속도계, 자이로스코우프, 컴퍼스, IR 검출기, 소닉 검출기, 고도계, 자기장 검출기, RF 검출기, GPS, 광센서 및 도플러 검출기를 포함한다. 일 양상에서 상기 센서 신호 발생은 소정 기간 동안 상기 미디어 장치의 위치, 배향 및 움직임 중 적어도 하나의 시퀀스를 감지하는 것에 기초할 수 있다.
다른 구성에서 상기 미디어 장치는 상기 센서 신호에 기초하여 상기 미디어 장치의 상기 동작 제어를 가능하게 하거나 불능으로 하는 사용자 입력을 수신하는 작동 인터페이스를 포함한다. 상기 미디어 장치는 셀룰러 전화, 무선 통신 장치, 미디어 플레이어, MP3 플레이어, 비디오 플레이어, PDA 및 휴대형 컴퓨터 중 적어도 하나를 포함할 수 있다. 상기 미디어 장치는 하나 또는 그 이상의 진동 패턴을 발생하는 진동원을 포함할 수 있다. 일 구성에서 상기 미디어 장치는 각각이 상기 미디어 장치의 애플리케이션의 적어도 하나의 요소와 연관된 하나 또는 그 이상의 진동 패턴의 데이터 저장부를 포함한다. 일 양상에서 상기 진동 패턴은 사용자에 의한 요소 선택 시에 발생한다.
추가 구성에서 상기 미디어 장치는 하나 또는 그 이상의 오디오 패턴을 발생하는 오디오원을 포함한다. 상기 미디어 장치는 각각이 상기 미디어 장치의 애플리케이션의 적어도 하나의 요소와 연관된 하나 또는 그 이상의 오디오 패턴의 데이터 저장부를 포함할 수 있다. 일 양상에서 상기 오디오 패턴은 사용자에 의한 요소 선택 시에 발생한다. 다른 구성에서 상기 미디어 장치는 상기 센서 신호를 수신하고, 상기 센서 신호와 연관된 기지의 움직임 패턴을 저장하는 입력 인터페이스를 포함한다. 상기 미디어 장치는 각각이 미디어 장치의 동작 및/또는 요소와 연관된 복수의 기지의 조합된 진동과 오디오 패턴을 가진 데이터베이스 또는 데이터 저장부도 포함할 수 있다.
일 양상에서 움직임 패턴 인식 애플리케이션은 사용자가 미디어 장치를 잡고, 디스플레이를 터치하고, 이 디스플레이상의 아이콘을 누르고, 미디어 장치 인터페이스상의 버튼을 누르고, 그리고/또는 베즐(bezel)을 터치함으로써 단독적으로 또는 특정 움직임 패턴과 함께 작동될 수 있다. 다른 양상에서 미디어 장치의 하나 또는 그 이상의 동작은 사용자가 미디어 장치를 잡고, 디스플레이를 터치하고, 이 디스플레이상의 아이콘을 누르고, 미디어 장치 인터페이스상의 버튼을 누르고, 그리고/또는 베즐을 터치함으로써 단독적으로 또는 기지의 특정 움직임 패턴과 함께 개시될 수 있다. 특정 구성에서 사용자에게 움직임 패턴을 수행하는 동안에 미디어 장치의 일부와 명시적으로 소통할 것을(예컨대 디스플레이, 버튼, 아이콘 및/또는 베즐을 터치할 것을) 요구함으로써 미디어 장치 동작을 부주의하게 개시할 가능성이 최소화되거나 없어진다. 미디어 장치 애플리케이션은 미디어 장치에서 실행되는 다른 애플리케이션에 의해 호출되거나 작동될 수도 있다.
미디어 장치는 전화가 사용자의 손에 있는 시기를 감지하는 그립(grip) 검출기 또는 근접 센서를 이용할 수 있으며, 이에 따라 사용자 손의 움직임 및/또는 위치 설정에 기초하지 않은 위치, 배향 또는 움직임의 변화를 무시하거나 모션 감지 애플리케이션의 작동을 가능하게 할 수 있다. 일 양상에서 상기 그립 검출기는 손가락이 적어도 하나, 2, 3 및 4개가 있다는 것을 검출하는 하나 또는 그 이상의 스위치 및/또는 버튼을 포함할 수 있다.
다른 양상에서 미디어 장치는 사용자 통신을 송수신하는 송수신기를 포함한다. 상기 미디어 장치는 미디어 장치의 위치, 배향 및 움직임 중 적어도 하나에 기초하여 움직임 패턴을 감지하는 움직임 패턴 센서를 포함할 수 있다. 상기 미디어 장치는 상기 움직임 패턴을 수신하고 식별하는 패턴 인식 유닛도 포함할 수 있다. 일 구성에서 상기 식별하는 것은 통계 모델에 적어도 부분적으로 기초한다.
추가 양상에서 미디어 장치는 미디어 장치의 위치, 배향 및 움직임 중 적어도 하나 또는 그 변화에 기초하여 움직임 패턴 또는 움직임 패턴 시퀀스를 감지하는 움직임 패턴 센서를 포함한다. 상기 미디어 장치는 상기 움직임 패턴을 수신하고 식별하는 패턴 인식 유닛을 포함할 수 있다. 상기 미디어 장치는 사용자 기반 통신을 미디어 장치에 제공하고 이로부터 제공받고, 그리고 사용자가 상기 식별된 움직임 패턴에 응답하여 상기 사용자와 연관된 실체의 연락처 리스를 네비게이트할 수 있게 하는 통신 애플리케이션도 포함할 수 있다. 일 양상에서 실체는 다른 사람이다.
본 발명의 원리에 따른 미디어 장치의 움직임 기반 인터페이스를 이용하는 여러 가지 이점들과 응용에 대해서는 하기에서 더 상세히 설명한다.
본 발명의 상기 및 기타 다른 특징, 그 본질 및 여러 가지 이점은 첨부 도면을 참조로 하기의 상세한 설명을 보면 더욱 명백하게 알게 될 것이다. 도면 전체 걸처 동일 구성요소에 대해서는 동일 도면부호를 병기한다.
도 1a는 본 발명의 예시적인 실시예에 따른, 노출된 프레임 조립체를 가진 미디어 장치의 사시도.
도 1b는 본 발명의 예시적인 실시예에 따른 미디어 장치의 다른 사시도.
도 2는 본 발명의 예시적인 실시예에 따른, 헤드폰 또는 무선 이어폰이 연결된 도 1a 및 1B의 미디어 장치를 도시한 도.
도 3은 본 발명의 예시적인 실시예에 따른 미디어 장치의 간략화된 기능 블록도.
도 4는 본 발명의 예시적인 실시예에 따른, 진동원과 POM 센서를 포함하는 미디어 장치의 횡단면도.
도 5는 본 발명의 예시적인 실시예에 따른 미디어 장치 내의 3차원 가속도계의 투명 사시도.
도 6는 본 발명의 예시적인 실시예에 따른 미디어 장치 내의 한 쌍의 2차원 가속도계의 투명 사시도.
도 7은 본 발명의 예시적인 실시예에 따른 미디어 장치 내의 한 쌍의 3차원 가속도계의 투명 사시도.
도 8은 본 발명의 예시적인 실시예에 따른 미디어 장치 내의 복수의 POM 센서의 투명 사시도.
도 9는 본 발명의 예시적인 실시예에 따른 미디어 장치 내에서 실행되는 여러 가지 애플리케이션 또는 루틴을 포함하는 컴퓨터 처리 환경(900)의 개념도.
도 10은 본 발명의 예시적인 실시예에 따른 미디어 장치 내의 애플리케이션의 데이터 요소와 움직임 패턴들을 연관시키는 데이터베이스 또는 리스트를 나타낸 도.
도 11은 본 발명의 예시적인 실시예에 따른, 사용자가 자신의 손이나 손목을 돌리고 그리고/또는 플릭킹함으로써 미디어 장치상의 애플리케이션에 의해 디스플레이된 항목 리스트를 스테핑하거나 네비게이트하는 예시적인 프로세스를 도시한 도.
도 12는 본 발명의 예시적인 실시예에 따른, 검출, 식별 및/또는 기록을 할 수 있는 움직임의 여러 가지 치수를 보여주는 도.
도 13은 본 발명의 예시적인 실시예에 따른 미디어 장치의 제어에 이용되는 예시적인 움직임 시퀀스 또는 패턴을 보여주는 도.
도 14는 본 발명의 예시적인 실시예에 따른 미디어 장치에서 실행되는 애플리케이션과 소통하는 그리고/또는 이를 제어하는 프로세스의 흐름도.
도 15는 본 발명의 예시적인 실시예에 따른 미디어 장치 내의 애플리케이션의 데이터 요소와 진동 패턴들을 연관시키는 데이터베이스 또는 리스트를 나타낸 도.
도 16은 본 발명의 예시적인 실시예에 따른 미디어 장치 내의 애플리케이션의 데이터 요소와 오디오 패턴들을 연관시키는 데이터베이스 또는 리스트를 나타낸 도.
도 17은 본 발명의 예시적인 실시예에 따른, 하나 또는 그 이상의 패턴 인식 알고리즘에 기초하여 움직임 패턴을 입력하고 식별하는 프로세스의 흐름도.
도 1a는 본 발명의 예시적인 실시예에 따른 미디어 장치(100)의 사시도이다. 미디어 장치(100)는 하우징(102), 제1 하우징부(104), 제2 하우징부(106), 디스플레이(108), 키패드(110), 스피커 하우징 구멍(112), 마이크로폰 하우징 구멍(114), 헤드폰 잭(116) 및 프레임 측벽(122)을 포함한다. 도시되어 있지는 않지만, 특정 실시예에서는 프레임 측벽(122)은 미디어 장치(100)와 각종 내부 성분을 구조적으로 지지하는 하우징(102) 내에 있거나 그에 인접한 프레임의 노출부이다. 하우징(102)은 또한 공기나 소리가 하우징(102)을 통과할 수 있도록 하는 하우징(102)의 요소들 간에 개구부, 분리부, 통기구(vents) 또는 기타 다른 통로를 포함할 수 있는 여러 가지 갭(118)을 포함한다.
일 실시예에서 하우징(102)은 서로 체결되어 미디어 장치(100)의 여러 가지 성분을 둘러싸는 제1 하우징부(104)와 제2 하우징부(106)를 포함한다. 특정 실시예에서 하우징(102)은 또한 미디어 장치(100)를 구조적으로 지지하는 노출 프레임(120)을 포함한다. 하우징(102)과 그 하우징부들(104, 106)은 예컨대 사출성형으로 형성되어 미디어 장치(100)의 폼 팩터(form factor)를 결정하는 폴리머계 재료를 포함할 수 있다. 일 실시예에서 하우징(102)은 예컨대 통합 회로 성분, 내부 무선 주파수(RF) 회로, 내부 안테나, 스피커, 마이크로폰, 하드 드라이브, 기타 다른 성분을 가진 하나 또는 그 이상의 회로 기판과 같은 내부 성분을 둘러싸고 그리고/또는 지지한다. 특정 내부 성분에 대해 더 자세한 것은 뒤에 도 3을 참조로 설명한다. 하우징(102)은 디스플레이(108), 키패드(110), 외부 잭(116), 데이터 커넥터 또는 기타 다른 외부 인터페이스 요소의 설치대를 제공한다. 하우징(102)은 음성과 음악을 포함하는 소리를 하우징(102) 내의 스피커로부터 사용자에게 용이하게 전달할 수 있도록 하는 하나 또는 그 이상의 하우징 구멍(112)을 포함할 수 있다. 하우징(102)은 내부 마이크로폰이 음성과 같은 소리를 미디어 장치 사용자로부터 용이하게 수신할 수 있도록 하는 하나 또는 그 이상의 하우징 구멍(114)을 포함할 수 있다.
특정 실시예에서 하우징(102)은 하우징(102)과 연관된 하나 또는 그 이상의 갭(118)을 포함한다. 이들 갭(118)은 미디어 장치(100)의 제조 및/또는 조립 공정에서 생길 수 있다. 예컨대 특정 상황에서 제1 하우징부(104)를 제2 하우징부(106) 또는 측벽(122)에 기계적으로 부착하면 하우징부들(104, 106) 간에 크리스(crease)(120) 또는 조인트(joint)가 생긴다. 특정 미디어 장치(100)에서는 크리스(120)는 밀폐되어 있지 않고 크리스를 따라 갭(118)이 생긴다. 조립 중에 예컨대 키패드(110)의 하나 또는 그 이상의 키와 하우징(102) 간에 또는 디스플레이(108)와 하우징(102) 간에 다른 갭이 형성되어 추가적인 갭(118)이 생길 수도 있다. 다른 실시예에서 하우징(102)은 미디어 장치(100)에 대한 하우징(102)을 형성하도록 통합된 부가부들을 포함할 수 있다.
미디어 장치(100)는 셀룰러 전화, 위성 전화, 코드리스 전화, PDA(personal digital assistant), 페이저, 휴대형 컴퓨터 또는 기타 다른 무선 통신 가능 장치와 같은 무선 통신 장치를 포함할 수 있다. 실제로 도 1은 넓은 범주의 미디어 장치(100)의 예시적인 셀룰러 전화 버전을 도시한 것이다.
미디어 장치(100)는 차량, 비디오 게임기, 가전 제품, 피복, 헬멧, 안경, 의류, 스테레오 시스템, 오락 기기 또는 기타 다른 휴대형 장치와 같은 다른 장치나 구조물의 패키지 내에 통합될 수도 있다. 특정 실시예에서 장치(100)는 미디어 장치(100)에 단거리 통신 기능을 제공하는 무선 작동가능 부수 시스템(예컨대 wi-fi 도킹 시스템)에 도킹 또는 연결될 수 있다. 다른 형태의 미디어 장치(100)로는 예컨대 Apple사(California, Cuoertino 소재)에서 입수할 수 있는 iPod? 또는 Apple? iPhone과 같은 미디어 플레이어, Hewlett Packard사(California, Palo Alto 소재)에서 입수할 수 있는 iPAQ? Pocket PC와 같은 포켓 사이즈 개인용 컴퓨터, 그리고 (무선 작동 가능 부수 시스템의 구비 여부와 상관없이) 무선 통신이 가능한 기타 다른 장치를 들 수 있다.
특정 실시예에서 미디어 장치(100)는 예컨대 원격 컴퓨팅 시스템 또는 서버와 동기하여 (유선 또는 무선 통신 경로를 이용하여) 미디어를 수신할 수 있다. 미디어 장치(100)는 무선 동기에 의해 유선 접속 없이도 미디어 및 데이터를 송수신할 수 있다. 미디어로는 스트리밍 및/또는 이산적(예컨대 파일과 패킷) 형태의 소리나 오디오 파일, 음악, 비디오, 멀티미디어 및 디지털 데이터를 들 수 있으나 이에 한정되는 것은 아니다.
동기화 중에 호스트 시스템은 미디어 장치(100)에 내장된 클라이언트 시스템 또는 소프트웨어 애플리케이션에 미디어를 제공할 수 있다. 특정 실시예에서 미디어 및/또는 데이터는 미디어 장치(100)에 "다운로드"된다. 다른 실시예에서 미디어 장치(100)는 미디어를 원격 호스트 또는 기타 다른 클라이언트 시스템에 업로딩할 수 있다. 미디어 장치(100)의 특정 실시예의 기능에 대해 더 자세한 것은 미국 특허출원 제10/423,490호(출원일: 2003년 4월 25일)에 개시되어 있으며, 이 출원의 전체 내용은 본 명세서에 인용으로 포함된다.
도 1b는 본 발명의 예시적인 실시예에 따른 미디어 장치(100)의 다른 사시도이다. 이 실시예에서는, 도 1a의 실시예와는 달리, 미디어 장치의 프레임 및/또는 프레임의 측벽은 장치의 외표면에 노출되지 않는다. 그러나 특정 실시예에서 프레임은 제1 하우징부(104)와 제2 하우징부(106) 중 어느 하나의 적어도 일부에 내부적으로 연결된다.
도 2는 본 발명의 예시적인 실시예에 따른, 헤드폰(200) 또는 무선 이어폰(206)이 연결된 도 1의 미디어 장치(100)를 도시한 것이다. 연결된 헤드폰(200)은 외부 잭(116)을 통해 미디어 장치(100)에 연결되는 케이블(212)을 포함한다. 일 실시예에서 이 케이블을 통해 미디어 장치(100)로부터 헤드폰(200)으로 오디오 신호를 전송할 수 있다. 다른 실시예에서 헤드폰(200)은 사용자의 좌측귀와 우측귀에 각각 대응하는 좌측 하우징(202)과 우측 하우징(204)을 포함한다. 각 하우징(202, 204)은 도 4를 참조로 후술하는 스피커 및/또는 음향 조립체를 포함할 수 있다. 헤드폰(200)은 선택적으로 사용자로부터의 소리를 미디어 장치(100)에 용이하게 보낼 수 있는 마이크로폰을 포함할 수 있다. 사용자는 헤드폰(200) 대신에 하우징(208)을 포함하는 무선 이어폰(206)을 이용할 수 있다. 일 실시예에서 이어폰(206)은 무선 채널(210)을 이용하여 장치(100)로부터 오디오 신호를 수신하거나 장치(100)에 오디오 신호를 송신한다. 하우징(208)은 도 4를 참조해 후술하는 스피커, 마이크로폰 및/또는 음향 조립체를 포함할 수 있다.
도 3은 본 발명의 예시적인 실시예에 따른 미디어 장치(100)의 간략화된 기능 블록도이다. 미디어 장치 또는 플레이어(300)는 프로세서(302), 저장 장치(304), 사용자 인터페이스(308), 디스플레이(310), CODEC(312), 버스(318), 메모리(320), 통신 회로(322), 스피커 또는 변환기(324), 마이크로폰(326), 진동원 구동기(328) 및 POM 센서(330)를 포함할 수 있다. 프로세서(302)는 미디어 플레이어(300)에 포함된 여러 가지 기능부와 기타 다른 회로의 동작을 제어할 수 있다. 프로세서(302)는 디스플레이(310)를 구동할 수 있으며 사용자 인터페이스(308)로부터 사용자 입력을 수신할 수 있다.
저장 장치(304)는 미디어(예컨대 음악과 비디오 파일), (예컨대 장치(300)에 기능을 설치하기 위한) 소프트웨어, 선호 정보(예컨대 미디어 구동 선호), 라이프스타일 정보(예컨대 음식 선호), 운동 정보(예컨대 운동 모니터링 장비로 얻은 정보), 거래 정보(예컨대 신용카드 정보와 같은 정보), 무선 접속 정보(예컨대 미디어 장치가 다른 장치와 무선 통신을 설정할 수 있게 하는 정보), 가입 정보(예컨대 사용자가 가입하는 팟캐스트(podcast)나 텔레비전 쇼 또는 기타 다른 미디어를 기록하는 정보), 및 기타 다른 적당한 데이터를 저장할 수 있다. 저장 장치(304)는 예컨대 하드 드라이브, ROM과 같은 영구 메모리, RAM과 같은 반영구 메모리, 또는 캐시를 포함하는 하나 또는 그 이상의 저장 매체를 포함할 수 있다.
메모리(320)는 장치 기능을 수행하는데 이용될 수 있는 하나 또는 그 이상의 여러 가지 형태의 메모리를 포함할 수 있다. 예컨대 메모리(320)는 캐시, ROM 및/또는 RAM을 포함할 수 있다. 버스(318)는 적어도 저장 장치(304), 메모리(320) 및 프로세서(302)에, 또는 이들로부터, 또는 이들 사이에 데이터를 전송하는 데이터 전송 경로를 제공할 수 있다. 코더/디코더(CODEC)(312)는 디지털 오디오 신호를, 스피커(324)를 구동하여 음성, 음악 및 기타 다른 오디오를 포함하는 소리를 생성하는 아날로그 신호로 변환하기 위해 포함될 수 있다. CODEC(312)은 마이크로폰(326)으로부터 출력된 오디오를 디지털 오디오 신호로 변환할 수도 있다. CODEC(312)은 디지털 및/또는 아날로그 비디오 신호를 처리하는 비디오 CODEC을 포함할 수 있다.
사용자는 사용자 인터페이스(308)를 통해 미디어 장치(300)와 소통할 수 있다. 예컨대 사용자 입력 장치(308)는 버튼, 키패드, 다이얼, 클릭 휠 또는 터치 스크린과 같이 다양한 형태로 구성될 수 있다. 통신 회로(322)는 무선 통신(예컨대 단거리 및/또는 장거리 통신)을 위한 회로를 포함할 수 있다. 예컨대 무선 통신 회로는 802.11 표준들 중 하나에 따른 무선 통신을 가능하게 하는 wi-fi 작동가능 회로일 수 있다. 이 프로토콜 대신에 또는 이 프로토콜에 더하여 다른 무선 네트워크 프로토콜 표준도 이용될 수 있다. 다른 네트워크 표준으로는 블루투스, GSM(Global System for Mobile Communication) 및 코드 분할 다중 접속(CDMA) 방식 무선 프로토콜을 들 수 있다. 통신 회로(322)는 장치(300)를 다른 장치(예컨대 컴퓨터 또는 부수 장치)에 전기적으로 연결하여 그 다른 장치와 통신할 수 있게 하는 회로를 포함할 수도 있다.
일 실시예에서 미디어 장치(300)는 오디오 및 비디오와 같은 미디어를 전담하여 처리하는 휴대형 컴퓨팅 장치일 수 있다. 예컨대 미디어 장치(300)는 미디어 플레이어(예컨대 MP3 플레이어), 게임기, 리모트 컨트롤러, 휴대형 통신 장치, 리모트 오더링(ordering) 인터페이스, 오디오 투어(tour) 플레이어, 또는 기타 적당한 개인용 장치일 수 있다. 미디어 장치(300)는 사용자가 음악을 듣고, 게임이나 비디오를 구동하고, 비디오를 기록하거나 사진을 찍고, 다른 장치와 통신하고, 그리고/또는 다른 장치를 제어할 수 있도록 배터리로 동작하고 휴대성이 매우 높을 수 있다. 게다가 미디어 장치(300)는 사용자의 포켓이나 손에 비교적 쉽게 넣을 수 있는 정도의 크기일 수 있다. 미디어 장치(300)(또는 도 1에 도시된 미디어 장치(100))는 손에 들 수 있으므로 비교적 작고 사용자가 쉽게 다루고 이용할 수 있으며, 따라서 사용자가 가는 곳이 어디든지 간에 실제로 휴대할 수 있다.
전술한 바와 같이, 미디어 장치(300)의 폼 팩터가 비교적 작기 때문에 사용자는 장치 위치, 배향 및 동작을 쉽게 조작할 수 있다. 따라서 본 발명의 실시예는 그와 같은 위치, 배향 및 동작 변화를 감지하여 사용자가 그와 같은 변화에 영향을 줌으로써 미디어 장치(300)와 소통하거나 이를 제어할 수 있도록 하는 기술을 개선한 것이다. 더욱이 미디어 장치(300)는 예컨대 프로세서(302)의 제어 하에 미디어 장치의 작동에 관련된 사용자에게 모션, 진동 및/또는 움직임 정보를 용이하게 전송하는 진동원(328)을 포함할 수 있다.
도 4는 본 발명의 예시적인 실시예에 따른, 진동원(414) 및/또는 POM 센서(416)를 포함하는 미디어 장치(400)의 횡단면도이다. 미디어 장치(400)는 상부 하우징(402)을 포함한다. 메인 구조 프레임(404)은 다이 주조 공정을 이용하여 다이 주조 재료로 제작될 수 있는 하우징(402)에 고정된다. 이 프레임(404)은 주위 측벽(406)과 복부판(web) 또는 백플레인(408)을 포함한다. 복부판(408)은 측벽(406) 사이에 신장하며 하우징(402)과 복부판(408) 사이에서 인쇄 회로 기판 실을 구성한다. 인쇄 회로 기판실의 상단은 하우징(402)에 접해 있고 하단은 복부판(408)에 접해 있다. 인쇄 회로 기판실은 인쇄 회로 기판(410)과 그 관련 전기적 구성 요소들(412)을 포함한다. 복부판(408)은 배터리(414)를 지지하거나 수용하며, 이 배터리는 셀룰러 전화(400)의 후부를 구성한다.
미디어 장치(400)는 통상적으로 마그네슘이나 아연인 단일 다이 주조 재료로 구성된 일체화된 프레임 부재(404)를 이용할 수 있으며, 이 경우에는 측벽(406)과 복부판(408)은 다이 주조 제작 기법을 통해 동일 또는 다른 재료로 구성된다. 일 실시예에서 미디어 장치(400)는 적어도 하나의 진동원(414)을 포함한다. 다른 실시예에서 미디어 장치(400)는 적어도 하나의 POM 센서(416)를 포함한다. 특정 실시예에서 적어도 하나의 진동원(414)과 POM 센서(416) 중 어느 하나 또는 이 둘 다 복부판(408), 인쇄 회로 기판(410) 및/또는 측벽(406)의 일부와 연통(in communication with)한다.
도 4에 도시된 실시예에서 POM 센서(416)와 진동원(414)은 복부판(408) 및/또는 프레임(404)과 연통한다. 특정 실시예에서 POM 센서(416)와 진동원(414) 중 적어도 하나는 미디어 장치(400)의 복부판(408), 프레임(404), 인쇄 회로 기판(410), 하우징(402) 및 기타 다른 성분이나 요소 중 하나 또는 그 이상에 장착되고 그리고/또는 이와 연통한다.
일 실시예에서 인쇄 회로 기판(410)의 일부, 메모리(320), 저장 장치(304), 프로세서(302), 배터리 및 구동기 회로(328 또는 418)는 진동원(414)의 진동 발생 회로를 구성하도록 작동한다. 특정 실시예에서 진동원(414)은 진동 발생 모터를 포함한다. 다른 실시예에서 진동원은 프로세서(302)에서 실행되는 애플리케이션에 응답하여 진동, 진동 패턴 및/또는 진동 시퀀스를 발생하는 솔레노이드 또는 기타 다른 요소를 포함한다.
진동원(414)으로는 예컨대 도쿄 부품 공업주식회사(일본 도쿄 소재)의 진동 발생 모터들, "FM16, FM23, FM25 또는 FM29" 또는 "CM-5" 중 하나가 이용될 수 있다. 다른 예로서 "FM" 모터는 원통형 케이스에 포함된 회전축에 부착된 편심(eccentric) 부재를 이용한다. 편심 부재는 회전축의 회전에 따라서 회전하며, 이에 따라서, 미디어 장치(400)의 복부판(408), 프레임(404), 인쇄 회로 기판(410), 하우징(402) 및 기타 다른 성분이나 요소 중 적어도 하나에 결합된 진동원(414)으로부터 진동이 발생한다. 다른 예로서 "CM" 모터는 편심 부재에 장착된 전기자 코일을 이용한다. 전기자를 회전시키면 진동이 발생한다. 더욱이 진동원(414)이 솔레노이드를 이용하는 경우에는 솔레노이드 내의 코어가 왕복 운동하고, 이에 따라서 진동이 발생한다.
이용된 물리적 요소에 상관없이 진동원(414)은 프로세서(302)에 응답하여 구동기 회로(328 및/또는 418)에 의해 구동될 수 있다. 진동원(414)의 전력 소모는 상당히 클 수 있다. 따라서 미디어 장치(400)의 전력 요구에 따라서 소정의 애플리케이션을 이용하여 진동원(414)을 작동 및/또는 작동 중지시킬 수 있다. 특정 실시예에서 진동원 구동기 회로(328 및/또는 418)는 진동 주파수, 진동 강도 및/또는 진동 주기 중 적어도 하나를 하나 또는 그 이상의 선정 또는 정해진(pre-selected or defined) 시퀀스 및/또는 패턴으로 조정하도록 구성된다.
도 5는 본 발명의 예시적인 실시예에 따른 미디어 장치(500) 내의 3차원 가속 센서 또는 가속도계(502)의 투명 사시도이다. 특정 실시예에서 POM 센서(416)는 미디어 장치(500)의 3개의 축방향, 즉 상하 방향(Y축), 좌우 방향(X축) 및 전후 방향(Z축)에서 가속도를 검출하는 가속도 센서 및/또는 가속도계(502)를 포함한다. 이 가속도 센서에 의해 X축, Y축 및 Z축 방향에서의 미디어 장치(500)의 경사와 움직임이 결정될 수 있다. 일 실시예에서 가속도 센서(502)에 의해 검출된 가속도 데이터는 프로세서(302)에 전송되고, 프로세서는 이 데이터를 처리하여 미디어 장치(500)의 위치, 배향 및/또는 움직임을 결정할 수 있다.
일 실시예에서 미디어 장치(500)는 도 5에 나타낸 3개의 축방향 각각에서 선형 가속도를 검출하는 3축 또는 3차원 선형 가속도 센서(502)를 포함한다. 다른 실시예에서는 X축 및 Y축(또는 다른 축쌍) 각각을 따라 선형 가속도를 검출하는 2축 선형 가속도계가 이용된다. 미디어 장치(500)를 제어하기 위해 검출 및/또는 이용하고자 하는 위치, 배향 및 움직임의 형태에 따라서는 2축 센서로도 충분할 수 있다. 예컨대 3축 또는 2축 선형 가속도계(502)는 Analog Devices사 또는 STMicroelectronics?에서 입수할 수 있는 가속도계일 수 있다. 가속도 센서(502)는 실리콘 마이크로머신 MEMS(microelectromechanical systems) 기술에 바탕을 둔 정전용량 또는 용량결합형일 수 있다. 특정 실시예에서 압전 방식 또는 압저항(piezoresistance) 방식 센서와 같은(이에 한정되지 않음) 다른 형태의 가속도계 기술을 이용하여 3축 또는 2축 가속도를 검출할 수 있다.
선형 가속도 센서(502)는 이 가속도 센서의 각 축에 대응하는 직선을 따른 가속도만을 검출할 수 있기 때문에 이 가속도 센서(502)는 비선형(예컨대 원형) 경로 형태의 움직임, 회전, 회전 움직임, 각 변위, 경사, 위치, 자세 또는 다른 물리적 특성을 직접적으로 검출할 수 없을 수 있다. 따라서 특정 실시예에서는 가속도 센서(502)로부터 출력된 선형 가속도 신호의 추가적인 처리를 통해 미디어 장치(500)의 위치, 배향 또는 움직임에 관한 추가 정보를 프로세서(302)에서 실행되는 소정의 애플리케이션에 의해 추론 또는 산출할 수 있다.
예컨대 정적 선형 가속도(예컨대 중력)를 검출함으로써 가속도 센서(502)의 선형 가속도 출력을 이용하여 경사각을 검출된 선형 가속도와 상관시킴으로써 중력 벡터에 대한 미디어 장치(500)의 경사 또는 기울기를 추론 또는 산출할 수 있다. 이런 식으로 가속도 센서(502)는 프로세서(302)(또는 다른 프로세서)와 결합 이용되어 미디어 장치(502)의 경사, 자세 또는 위치를 판단할 수 있다. 마찬가지로 미디어 장치의 여러 가지 움직임, 움직임 패턴 및/또는 위치는, 미디어 장치(500)가 예컨대 사용자 손에 의해 동적 가속도를 받는 경우에 가속도 센서(502)에 의해 발생된 선형 가속도 신호의 처리를 통해 산출 또는 추론될 수 있다. 일 실시예에서 가속도 센서(502)는 프로세서(302)에 신호를 출력하기 전에 미디어 장치(500) 내의 가속도 센서(502) 및/또는 다른 가속도계로부터 출력된 가속도 신호의 원하는 처리를 수행하는 임베디드 신호 프로세서 또는 다른 형태의 전용 프로세서를 포함할 수 있다. 특정 실시예에서 가속도 센서(502)가 정적 가속도(예컨대 중력)를 검출하려고 하는 경우에 임베디드 또는 전용 프로세서 또는 프로세서들은 그 검출된 가속도 신호를 대응하는 경사각으로 변환할 수 있다.
도 6는 본 발명의 예시적인 실시예에 따른 미디어 장치(600) 내의 한 쌍의 2차원 가속도계(602, 604)의 투명 사시도이다. 특정 실시예에서는 단일 3차원 가속도계 대신에 2개의 2차원 가속도계(602, 604)를 서로 상대적으로 배치하여 미디어 장치(600)의 위치, 배향 및 움직임을 3차원적으로 감지할 수 있다.
도 7은 본 발명의 예시적인 실시예에 따른 미디어 장치(700) 내의 한 쌍의 3차원 가속도계(702, 704)의 투명 사시도이다. 특정 실시예에서는 미디어 장치(700)는 2 또는 그 이상의 3차원 가속도계를 이용하여 감지 능력을 향상시킬 수 있다. 다른 실시예에서 미디어 장치(700) 내의 복수의 장소에 복수의 가속도계(702, 704)를 배치할 수 있다.
도 8은 본 발명의 예시적인 실시예에 따른 미디어 장치(800) 내의 또는 이에 부착된 복수의 POM 센서(802, 804, 806)의 투명 사시도이다. 일 실시예에서 가속도 센서(804) 대신에 또는 이에 더하여 자이로 센서 또는 자이로스코우프(802)를 이용할 수 있다. 특정 실시예에서 자이로 센서(802)는 회전 또는 진동 요소를 포함할 수 있다. 이 실시예에서 이용될 수 있는 예시적인 MEMS 자이로 센서는 Analog Devices사로부터 입수할 수 있다. 선형 가속도 센서(804)와는 달리 자이로 센서(802)는 자이로 센서(802)의 자이로스코우프 요소(또는 요소들)에 의해 정해진 축을 중심으로 한 회전(또는 각속도)을 직접적으로 검출할 수 있다. 자이로 센서(802)와 선형 가속도 센서(804) 간에는 근본적인 차이(예컨대 각도 방식 출력 대 벡터 방식 출력)가 있기 때문에 이들 서로 다른 센서 장치로부터의 출력 신호에는 서로 다른 처리 동작이 수행된다.
예컨대 가속도 센서 대신에 자이로 센서(802)를 이용하여 경사 또는 기울기를 산출하는 경우에는 프로세서(302)는 다른 알고리즘 및/또는 애플리케이션을 이용하여 미디어 장치(800)의 위치, 배향 및/또는 움직임을 판단할 수 있다. 일 실시예에서 자이로 센서(802)를 이용하는 경우에는 검출 개시 시에 기울기 값이 초기화된다. 이 경우, 산출된 기울기가 각에 대응한다. 그러면 자이로스코우프(802)로부터 출력된 각속도 데이터는 적분된다. 더욱이 이미 초기화된 기울기 값으로부터의 기울기 변화량이 산출된다. 반대로 가속도 센서(804)를 이용하는 경우에는 각 축 성분의 중력 가속도 값을 소정의 기준값과 비교하여 기울기를 산출할 수 있다. 따라서 산출된 기울기는 벡터로 표현될 수 있으며, 초기화 없이 가속도계를 가지고 절대 방향을 판단할 수 있다. 특정 실시예에서 하나 또는 그 이상의 POM 센서를 이용하여 절대 및 상대 위치, 배향 및 움직임 정보 중 적어도 하나를 검출할 수 있다.
기울기로서 산출된 값의 형태는 자이로스코우프(802)와 가속도계(804) 간에 서로 다를 수도 있다. 예컨대 이 값은 자이로스코우프(802)를 이용하는 경우에는 각도이지만, 가속도 센서(804)를 이용하는 경우에는 벡터이다. 따라서 가속도 센서(804) 대신에 자이로스코우프(802)를 이용하는 경우 또는 그 반대의 경우에 기울기에 대한 센서 데이터는 자이로 센서(802)와 가속도계(804) 간의 근본적인 차이를 고려한 소정의 변환에 의해 처리될 수 있다. 선형 가속도계와 자이로스코우프 간의 근본적인 차이는 물론 자이로스코우프의 특성에 대해서는 당업자라면 잘 알고 있으므로 이에 대한 더 자세한 설명은 생략한다. 자이로 센서는 회전을 직접적으로 검출할 수 있다는 점에서 이점이 있지만 선형 가속도 센서는 휴대형 미디어 장치(800)와 연계하여 사용되는 경우에 비용면에서 더 유리할 수 있다.
특정 실시예에서 미디어 장치(800)는 가속도계(804)와 자이로 센서(802) 중 적어도 하나에 더하여 환경 또는 POM 센서(806)를 포함할 수 있다. 이 추가적인 센서(806)는 광센서, 적외선(IR) 센서, 근접 센서, 용량성 근접 센서, 음향 센서, 마이크로폰, 소닉 또는 소나 센서, 레이더 센서, 이미지 센서, 비디오 센서, GPS(global positional system) 검출기, RF 검출기, RF 삼각 측량 검출기, RF 또는 음향 도플러 검출기, 또는 기타 유사한 환경 센서일 수 있다. 일 실시예에서 미디어 장치(800)는 복수의 POM 및 환경 센서(802, 804, 806)를 이용하여 미디어 장치(800)의 위치, 배향 및/또는 움직임을 판단할 수 있다.
전술한 바와 같이, 특히 사용자가 예컨대 사용자의 시각적 주의을 필요로 하는 여러 가지 행위를 수행하고 있는 동안에 개인용 미디어 장치와의 사용자의 물리적 및 시각적 소통 중 어느 하나 또는 둘 다를 최소화시키는 사용자 인터페이스를 개인용 미디어 장치에 구비할 필요가 있다. 일 실시예에서 이 필요는 미디어 장치의 위치, 배향 및 움직임 중 적어도 하나에 기초하여 센서 신호를 발생하는 환경 또는 POM 센서를 포함하는 미디어 장치를 제공함으로써 충족된다. 미디어 장치는 환경 또는 POM 센서 신호를 수신하여 이 센서 신호에 적어도 부분적으로 기초하여 미디어 장치의 하나 또는 그 이상의 동작을 제어하는 프로세서도 포함한다. 예컨대 미디어 장치의 하나 또는 그 이상의 정해진 또는 선정된 움직임을 수행함으로써 사용자는 미디어 장치의 여러 가지 동작을 제어할 수 있다.
한 가지 동작은 소정 애플리케이션과 연관된 요소 리스트를 통해 스테핑(stepping)하는 것을 포함할 수 있다. 이 스테핑은 임의의 증분으로 이뤄지는데, 이 증분은 미디어 장치의 환경 센서로부터의 위치 변화율, 배향 변화율 및 움직임 속도 중 적어도 하나의 세기에 비례한다. 어떤 동작은 하나 또는 그 이상의 애플리케이션의 기동 또는 론칭, 하나 또는 그 이상의 애플리케이션의 중지 또는 종료, 하나 또는 그 이상의 요소의 선택 또는 선택 해제, 하나 또는 그 이상의 설정의 증가 또는 감소, 요소 리스트를 통해 움직이기, 통신 세션의 개시 또는 종료, 음악 또는 비디오 구동, 음악 또는 비디오 일시 정지, 및 오디오 또는 비디오 녹화 세션의 개시 또는 종료 중 적어도 하나를 포함할 수 있다. 요소는 노래, 비디오, 음악 파일, 오디오 파일, 비디오 파일, 사진, 미디어 파일, 애플리케이션 아이콘, 작동 아이콘, 제어 버튼, 데이터 파일 및 연락처 데이터 중 적어도 하나를 포함할 수 있다.
도 9는 본 발명의 예시적인 실시예에 따른 미디어 장치 내에서 실행되는 여러 가지 애플리케이션 또는 루틴을 포함하는 컴퓨터 처리 환경(900)의 개념도이다. 이 처리 환경(900)은 움직임 패턴 인식 애플리케이션(902), 움직임 패턴 트레이닝 애플리케이션(904), 진동 제어 애플리케이션(906) 및 오디오 제어 애플리케이션(908)을 포함한다. 처리 환경(900)은 움직임 패턴 데이터베이스(910), 진동 패턴 데이터베이스(912) 및 오디오 패턴 데이터베이스(914)도 포함한다. 특정 실시예에서 처리 환경(900)은 미디어 장치(100)와 같은 미디어 장치 내의 프로세서(302) 및/또는 다른 프로세서에서 실행된다.
동작 시, 움직임 패턴 인식 애플리케이션(902)은 예컨대 도 8의 가속도 센서(804)와 같은 적어도 하나의 환경 센서로부터 입력된 센서 신호를 수신하고, 이 수신된 센서 신호를 데이터베이스(910) 내의 기지의(known) 센서 신호 리스트와 비교하여 미디어 장치가 수행할 동작을 판단한다. 일 실시예에서 센서 신호는 일정 기간 동안 미디어 장치(100)의 움직임, 위치 및/또는 배향의 시퀀스 또는 패턴과 연관된 센서 신호를 포함한다. 그러므로 특정 실시예에서 애플리케이션(902)은 데이터베이스(910) 내의 패턴 및/또는 POM 지문 정보 리스트를 이용하여 위치, 배향 및/또는 움직임 패턴을 인식한다.
움직임 패턴 인식 애플리케이션(902)은 사용자가 디스플레이를 잡고 이 디스플레이상의 아이콘을 누르고, 미디어 장치 인터페이스상의 버튼을 누르고, 그리고/또는 베즐(bezel)을 터치함으로써 단독적으로 또는 특정 움직임 패턴과 결합되어 작동될 수 있다. 특정 실시예에서 미디어 장치의 하나 또는 그 이상의 동작은 사용자가 디스플레이를 잡고 이 디스플레이상의 아이콘을 누르고, 미디어 장치 인터페이스상의 버튼을 누르고, 그리고/또는 베즐을 터치함으로써 단독적으로 또는 기지의 특정 움직임 패턴과 함께 개시될 수 있다. 사용자에게 움직임 패턴을 수행하는 동안에 미디어 장치의 일부와 명시적으로 소통할 것을(예컨대 디스플레이, 버튼, 아이콘 및/또는 베즐을 터치할 것을) 요구함으로써 미디어 장치 동작을 부주의하게 개시할 가능성이 최소화되거나 없어진다. 일 실시예에서 애플리케이션(902)은 미디어 장치에서 실행되는 다른 애플리케이션에 의해 호출되거나 작동될 수 있다.
미디어 장치는 전화가 사용자의 손에 있는 시기를 감지하는 그립(grip) 검출기 또는 근접 센서를 이용할 수 있으며, 이에 따라 사용자 손의 움직임 및/또는 위치 설정에 기초하지 않은 위치, 배향 또는 움직임의 변화를 무시하거나 모션 감지 애플리케이션의 작동을 가능하게 할 수 있다. 일 실시예에서 그립 검출기는 손가락이 적어도 하나, 2, 3 및 4개가 있다는 것을 검출하는 하나 또는 그 이상의 스위치 및/또는 버튼을 포함할 수 있다.
도 10은 본 발명의 예시적인 실시예에 따른 미디어 장치 내의 하나 또는 그 이상의 애플리케이션의 데이터 요소와 움직임 패턴을 연관시키는 하나 또는 그 이상의 리스트를 포함하는 데이터베이스(1000)를 나타낸 도이다. 일 실시예에서, 전술한 바와 같이, 요소는 노래, 비디오, 음악 파일, 오디오 파일, 비디오 파일, 사진, 미디어 파일, 애플리케이션 아이콘, 작동 아이콘, 제어 버튼, 데이터 파일 및 연락처 데이터 중 적어도 하나를 포함할 수 있다. 특정 실시예에서 데이터베이스(910)에 대응하는 데이터베이스(1000)는 복수의 요소(1008) 리스트(1002, 1004, 1006)를 포함할 수 있으며, 이 경우에 각 리스트는 미디어 장치(100)의 특정 애플리케이션에 연관된다. 특정 실시예에서 요소는 애플리케이션이 수행하는 동작을 포함할 수 있다.
동작 시, 일 실시예에서 요소 1 내지 N은 움직임 패턴 1 내지 N에 각각 연관된다. 따라서 애플리케이션(1002)이 실행되고 움직임 패턴 인식 애플리케이션 또는 루틴(902)이 실행되고 있을 때에는 애플리케이션(902)은 수신된 센서 신호를 애플리케이션(1002)과 연관된 움직임 패턴 리스트와 연속적으로 비교하여 요소들 중 어느 것이 선택되어야 하는지를 판단할 수 있다. 예컨대 미디어 장치의 전화 애플리케이션을 실행하는 동안에 사용자는 미디어 장치를 기지의 시퀀스 또는 패턴으로 움직여서 특정 연락처에 셀룰러 전화 통화를 개시할 수 있다. 환경 또는 POM 센서로부터의 센서 신호 입력을 모니터함으로써 애플리케이션(902)은 그 수신된 센서 신호를 예컨대 요소 1과 연관된 움직임 패턴 1과 연관되는 것으로 인식한다. 요소 1은 예컨대 특정 연락처의 전화 번호를 포함할 수 있다. 전화 애플리케이션이 실행되고 있는 동안에 요소 1을 선택함으로써 전화 애플리케이션은 그 특정 연락처에 통화를 개시한다. 기지의 움직임 패턴의 입력, 트레이닝 및/또는 저장에 대해서는 도 17을 참조로 뒤에 자세히 설명한다.
도 11은 본 발명의 예시적인 실시예에 따른, 사용자가 자신의 손(1104)이나 손목을 돌리고 그리고/또는 플릭킹(flicking)함으로써 미디어 장치(1100) 상의 애플리케이션에 의해 디스플레이된 항목 리스트(1102)를 스테핑하는 예시적인 프로세스를 보여준다.
동작 시, 사용자가 자신의 손(1104)을 돌리면 미디어 장치(1100)가 그 방향(1106)으로 회전된다. 이는 애플리케이션에 의해 수신되는 센서 신호를 트리거하고, 이 애플리케이션은 디스플레이(1110) 상의 방향(1108)에서 그 표시된 항목 리스트나 디스플레이 창의 움직임 또는 시프팅을 개시한다. 각 항목(1112)은 요소일 수 있으므로, 사용자는 자신의 손(1104)을 반복적으로 기울이거나 돌리고 그것을 다시 원위치로 복귀시킴으로써 그 애플리케이션에 의해 표시된 요소 리스트를 스테핑한다. 일 실시예에서 이 스테핑은 미디어 장치(1100)의 적어도 하나의 환경 센서에 의해 감지된 사용자의 플릭킹 동작의 위치 변화율, 배향 변화율 및 움직임 속도 중 적어도 하나의 세기에 비례하여 증분적으로 이루어진다. 따라서 특정 실시예에서 움직임 패턴 인식 애플리케이션(902)은 위치, 배향 및 움직임의 서로 다른 변화율을 서로 다른 요소 및/또는 동작과 연관될 수 있는 서로 다른 움직임 패턴으로 인식한다. 따라서 사용자는 자신의 손이나 손목을 더 빨리 플릭킹함으로써 리스트를 통해 움직이는 속도를 증가시킬 수 있다.
도 12는 본 발명의 예시적인 실시예에 따른, 검출, 식별 및/또는 기록을 할 수 있는 미디어 장치(1200)의 위치, 배향 및 움직임의 여러 가지 치수를 보여준다. 도 12에 도시된 바와 같이, 미디어 장치(1200)의 하나 또는 그 이상의 환경 센서는 임의의 방향에서 위치, 배향 및 움직임을 감지할 수 있기 때문에 미디어 장치(1200)의 사용자는 미디어 장치(1200)의 움직임 패턴 인식 애플리케이션(902)에 의해 감지, 기록 및 식별될 수 있는 무제한 설정가능 움직임 패턴을 발생할 수 있다.
도 13은 본 발명의 예시적인 실시예에 따른 미디어 장치(1300)의 제어에 이용되는 예시적인 움직임 시퀀스 또는 패턴을 보여준다. 이 예시적인 움직임에서 사용자는 미디어 장치(1300)를 경로(1302)로 표시된 원형 방향으로 움직인다. 그러나 이것은 사용자가 미디어 장치(1300)를 잡고 있는 동안에 수행할 수 있는 한정되지 않은 수의 움직임 패턴의 일례일 뿐이다. 예컨대 사용자는 미디어 장치(1300)를 앞뒤로, 위아래로, 좌우로 흔들고, 여러 가지 루프 패턴으로 움직이고, 기울이고, 비틀고, 회전시키고, 튀겨 던지고, 휘두르고, 요람에 넣어 흔들고, 빙빙 돌리고, 그리고/또는 3차원 공간 내에서 임의의 시퀀스로 움직일 수 있으나, 이에 한정되는 것은 아니다. 사용자는 예컨대 야구 스윙, 골프 스윙, 하키 슬랩 샷 또는 기타 다른 알려진 동작이나 표현과 같은 여러 가지 행위나 동작을 모방하는 움직임 패턴을 이용하고자 할 수 있다. 움직임 패턴을 감지 및/또는 입력하는 기간은 사용자 선택 및/또는 애플리케이션 선택에 따라 조정 및/또는 변화될 수 있다. 더욱이 애플리케이션은 어느 서브루틴 또는 피처(feature)가 실행되고 있는가에 따라서 그 패턴 인식 기간을 조정할 수 있다. 예컨대 연락처 리스트 애플리케이션은 사용자가 자신의 손목을 플릭킹하여 사용자가 연락처 리스트를 재빨리 스테핑할 수 있게 하는데에 비교적 짧은 패턴 인식 기간을 가질 수 있다. 그와 같은 동작은 약 1 내지 2초만 필요할 수 있다. 그러나 친구와 통화를 개시하기 위해서 사용자가 예컨대 골프 스윙을 모방함으로써 특정 전화 번호에 전화를 걸 수 있도록 허용하는데에 이 패턴 인식 기간은 약 3 내지 5초로 조정될 수 있다.
특정 실시예에서 애플리케이션(902)은 사용자가 움직임 패턴을 수행하기 전 또는 후에 적어도 하나의 POM 센서를 통해 주위 환경을 샘플링함으로써 위치, 배향 및 움직임의 배경 변화를 물리적으로 또는 알고리즘적으로 설명한다. 예컨대 사용자가 열차를 타고 있다면 애플리케이션은 열차 속도를 검출하고 움직임 패턴 검출 시의 이 배경 속도를 설명한다. 다른 실시예에서 움직임 패턴은 지구 위치, 중력, 자기장, 네비게이션 정보, 각운동량 및 속도와 같은 환경적 조건과 연관된 정보를 포함한다. 위치, 배향 및 움직임 정보의 부가적인 직교 벡터를 포함하면 패턴 인식의 선택성이 유리하게 향상된다. 일 실시예에서 미디어 장치는 미디어 장치의 주위 환경의 시각적 및/또는 그래픽 측정치를 제공하는 카메라를 포함한다. 특정 실시예에서 미디어 장치는 레벨 설정법을 이용하여 공간에서의 물체를 분석할 수 있는데, 이는 미디어 장치의 위치, 배향 및/또는 움직임에 대한 판단을 향상시키기 위해 다른 POM 센서와 결합하여 이용될 수 있다.
도 14는 본 발명의 예시적인 실시예에 따른 미디어 장치에서 실행되는 애플리케이션과 소통하고 그리고/또는 이를 제어하는 프로세스(1400)의 흐름도이다. 특정 실시예에서 미디어 장치(100)와 같은 미디어 장치의 사용자 인터페이스를 통해 사용자는 도 9의 애플리케이션들(902, 904, 906, 908) 중 적어도 하나와 같은 하나 또는 그 이상의 동작 제어 또는 인터페이스 애플리케이션을 작동(activate)시키거나 작동 중지시킬 수 있다. 다른 실시예에서 하나 또는 그 이상의 애플리케이션은 사용자가 그 애플리케이션 또는 그 애플리케이션의 피처를 위해 애플리케이션들(902-908) 중 임의의 것을 작동시킬 수 있도록 하는 옵션 또는 피처를 포함할 수 있다[단계 1402]. 예컨대 애플리케이션(902)이 작동되고 나면, 사용자는 움직임 패턴을 수행하여(예컨대 미디어 장치를 위아래로 흔드는 것) 원하는 애플리케이션(예컨대 셀룰러 전화 애플리케이션)을 작동시킬 수 있다[단계 1404]. 다음에 사용자는 디스플레이를 보고 그리고/또는 이미 알고 있는 진동 패턴을 느끼거나 이미 알고 있는 오디오 패턴을 듣고서 그 전화 애플리케이션이 작동 또는 개시되었다고 확인한다[단계 1406]. 이 전화 애플리케이션은 작동되면 사용자가 통화할 수 있는 연락처 및/또는 미리 프로그램된 전화 번호 리스트를 제시한다. 그러면 사용자는 다른 움직임 패턴을 수행하여(예컨대 미디어 장치를 위아래로 기울이는 것) 그 연락처 리스트를 스크롤할 수 있다[단계 1408]. 그 리스트에서 원하는 연락처가 하이라이트 및/또는 지정되면, 사용자는 디스플레이를 보고, 그 연락처와 연관된 이미 알고 있는 진동 패턴을 느끼고, 그리고/또는 그 연락처와 연관된 이미 알고 있는 오디오 패턴을 듣을 수 있으며, 또는 이들의 조합도 가능하다[단계 1410]. 연락처가 하이라이트 및/또는 식별되고 나면, 사용자는 추가적인 움직임 패턴을 수행하여(예컨대 좌우로 흔드는 것) 그 연락처 사람과 통화를 개시할 수 있다[단계 1412]. 미디어 장치를 이용한 사용자 인터페이스 동작과 네비게이션의 특정 양상은 미국 특허출원 제11/295,694호(출원일: 2005년 12월 5일)에도 기재되어 있으며, 이 출원은 본 명세서에 인용으로 포함된다. 도 14에 도시된 바와 같이 특정 실시예에서 사용자는 움직임 패턴을 이용하는 미디어 장치의 사용자 인터페이스에 의해 그 인터페이스를 볼 필요가 없이 동작 및/또는 오디오 방식 피드백을 수신함으로써 제시된 메뉴와 애플리케이션 피처를 네비게이트할 수 있다.
도 15는 미디어 장치 내의 하나 또는 그 이상의 애플리케이션의 데이터 요소와 진동 패턴들을 연관시키는 데이터베이스(1500) 또는 리스트를 나타낸 도이다. 일 실시예에서, 전술한 바와 같이, 요소는 노래, 비디오, 음악 파일, 오디오 파일, 비디오 파일, 사진, 미디어 파일, 애플리케이션 아이콘, 작동 아이콘, 제어 버튼, 데이터 파일 및 연락처 데이터 중 적어도 하나를 포함할 수 있다. 특정 실시예에서 데이터베이스(912)에 대응하는 데이터베이스(1500)는 복수의 요소(1508) 리스트(1502, 1504, 1506)를 포함할 수 있으며, 이 경우에 각 리스트는 도 1의 미디어 장치(100)와 같은 미디어 장치의 특정 애플리케이션에 연관된다. 특정 실시예에서 요소는 애플리케이션이 수행하는 동작을 포함할 수 있다. 따라서 사용자가 예컨대 리스트(1502)의 요소 1에 대응하는 리스트 내의 특정 연락처를 선택하는 경우에 진동 제어 애플리케이션(906)은 데이터베이스(1500)에서 진동 패턴 1을 검색하고 이 진동 패턴 1을 이용하여 진동원 구동기(328)를 제어하고, 이 진동원 구동기는 진동원, 예컨대 진동원(414)을 구동하고, 이에 따라 미디어 장치의 진동은 이미 알고 있는 진동 패턴 1이 된다. 그러면 이미 알고 있는 진동 패턴 1은 미디어 장치 사용자가 느끼게 되고 원하는 연락처 또는 요소와 연관되는 것으로 인식된다.
일 실시예에서 요소 1 내지 N은 진동 패턴 1 내지 N에 각각 연관된다. 따라서 애플리케이션(1502)이 실행되고 진동 패턴 인식 애플리케이션 또는 루틴(906)이 실행되고 있을 때에는 애플리케이션(906)은 진동원(414)이 특정 요소가 선택된 때에 진동 패턴을 개시하도록 제어한다.
도 16은 본 발명의 예시적인 실시예에 따른 미디어 장치 내의 애플리케이션의 데이터 요소와 오디오 패턴을 연관시키는 데이터베이스(1600) 또는 리스트를 나타낸 도이다. 일 실시예에서, 전술한 바와 같이, 요소는 노래, 비디오, 음악 파일, 오디오 파일, 비디오 파일, 사진, 미디어 파일, 애플리케이션 아이콘, 작동 아이콘, 제어 버튼, 데이터 파일 및 연락처 데이터 중 적어도 하나를 포함할 수 있다. 특정 실시예에서 도 9의 데이터베이스(914)에 대응하는 데이터베이스(1600)는 복수의 요소(1608) 리스트(1602, 1604, 1606)를 포함할 수 있으며, 이 경우에 각 리스트는 도 1의 미디어 장치(100)와 같은 미디어 장치의 특정 애플리케이션에 연관된다. 특정 실시예에서 요소는 애플리케이션이 수행하는 동작을 포함할 수 있다. 따라서 사용자가 예컨대 리스트(1602)의 요소 1에 대응하는 리스트 내의 특정 연락처를 선택하는 경우에 오디오 제어 애플리케이션(908)은 데이터베이스(1600)에서 오디오 패턴 1을 검색하고 이 오디오 패턴 1을 이용하여 스피커, 예컨대 스피커(324)를 제어하고, 이에 따라서 미디어 장치로부터 나오는 오디오 시퀀스는 이미 알고 있는 오디오 패턴이 된다. 그러면 이미 알고 있는 오디오 패턴은 미디어 장치 사용자가 들으며, 원하는 연락처 또는 요소와 연관되는 것으로 인식된다.
일 실시예에서 요소 1 내지 N은 오디오 패턴 1 내지 N에 각각 연관된다. 따라서 애플리케이션(1602)이 실행되고 오디오 제어 애플리케이션 또는 루틴(908)이 실행되고 있을 때에는 애플리케이션(908)은 스피커(324)가 특정 요소가 선택된 때에 오디오 패턴을 개시하도록 제어한다. 이 오디오 패턴은 노래의 일부, 녹화의 일부, 오디오 파일의 일부, 톤(tone) 시퀀스, 링(ring) 시퀀스, 및/또는 상기 오디오 출력의 조합을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 17은 본 발명의 예시적인 실시예에 따른, 하나 또는 그 이상의 패턴 인식 알고리즘에 기초하여 움직임 패턴을 입력하고 식별하는 프로세스(1700)의 흐름도이다. 특정 실시예에서 움직임 패턴 인식 애플리케이션(902)과 움직임 패턴 트레이닝 애플리케이션(904)은 하나 또는 그 이상의 패턴 인식 알고리즘 및/또는 기법을 이용하여 미디어 장치의 여러 가지 움직임 패턴을 식별한다. 먼저 미디어 장치(100)는 이 장치가 위치, 배향 및 움직임에서 여러 가지 변화를 겪는 주위의 물리적 3차원 환경에 놓여 있다[단계 1702]. 미디어 장치(100)는 하나 또는 그 이상의 POM 센서를 이용하여 위치, 배향 및 움직임의 변화를 측정한다. 특정 실시예에서 애플리케이션(902, 904)은 하나 또는 그 이상의 POM 센서를 이용한 데이터 수집에 관한 대역폭, 해상도, 감도, 왜곡, 신호 대 잡음비, 대기 시간, 및 기타 다른 문제를 책임진다[단계 1704].
애플리케이션(902, 904)은 센서 신호를 전처리하여 잡음을 제거하고 그리고/또는 목적하는 패턴을 배경 정보로부터 분리한다[단계 1706 및 1720]. 그러면 애플리케이션(902, 904)은 센서 신호의 식별된 피처에 관한 새로운 표현을 찾음으로써 피처 추출을 수행할 수 있다[단계 1708 및 1722]. 센서 신호의 특정 피처는 패턴 식별에 더 적합한 것으로 식별될 수 있다[단계 1712, 1724]. 피처 선택은 유사한 패턴에 대한 유사한 값 또는 서로 다른 패턴에 대한 서로 다른 값과 같이 센서 신호의 구별되는 피처를 식별하는 것을 포함할 수 있다. 피처 선택은 센서 신호의 변환, 회전 및/또는 스케일에 관한 것과 같이 불변 피처를 식별하는 것을 포함할 수 있다. 피처 선택은 환경의 폐색(occlusion), 왜곡, 변형 및 변동에 관한 강건한 피처를 식별하는 것을 포함할 수 있다.
트레이닝 애플리케이션(904)은 트레이닝 데이터를 사용자로부터의 입력 형태로 캡처할 수 있다[단계 1718]. 일 실시예에서 애플리케이션은 사용자가 어떤 요소와 연관된 데이터베이스(910 및/또는 1000)에 움직임 패턴을 입력할 수 있도록 하는 그 요소와 연관된 옵션을 제공할 수 있다. 다른 실시예에서 사용자는 움직임 패턴 트레이닝 애플리케이션(904)에 대한 트레이닝 프로세스의 일부로서 움직임을 한번, 두 번, 세 번, 또는 그 이상 횟수 수행하도록 촉구된다. 다른 실시예에서 특정 움직임이 특정 요소에 연관된 것을 표시한 후에 사용자에게 그 옵션이 주어질 수 있다. 이것은 사용자가 추가적인 트레이닝 데이터로서 이용될 수 있는 의도하는 요소를 식별할 기회를 가질 것이기 때문에 미디어 장치가 틀린 요소를 선택하는 경우에 유리할 수 있다.
전처리, 피처 추출 및 선택 후에 애플리케이션(904)은 모델 학습 및 추정을 수행할 수 있으며, 이에 따라 애플리케이션(904)은 센서 신호의 피처 및 패턴 그룹 및 범주들 간에 맵핑하도록 학습한다[단계 1726]. 애플리케이션(904)은 파라메트릭 또는 논파라메트릭(non-parametric) 패턴 인식 모델을 선택할 수 있다. 애플리케이션(904)은 패턴 인식 분석의 템플릿, 결정 이론적 또는 통계적, 구문론적 또는 구조적, 뉴럴(neural) 및 하이브리브 형태들 중 적어도 하나를 포함하는 모델 타입을 선택할 수 있다[단계 1728].
특정 모델이 선택되면 움직임 패턴 인식 애플리케이션(902)은 움직임 패턴 트레이닝 애플리케이션(904)으로부터의 피처 및 학습된 모델을 이용하여 수신된 센서 신호의 분류 및/또는 매칭을 수행하여 패턴범주에 수신된 움직임 패턴을 할당한다. 그러면 애플리케이션(902)은 그 수신된 움직임 센서 신호를 데이터베이스(1000) 내의 움직임 패턴 세트와 비교하여 그 수신된 센서 신호와 저장된 이미 알고 있는 움직임 패턴 어레이 간에 가장 가까운 일치를 찾을 수 있다[단계 1712]. 애플리케이션(902)은 자신의 판단 신뢰도를 평가함으로써 후처리를 수행할 수 있다[단계 1714]. 그러면 애플리케이션(902)은 데이터베이스(1000)의 이미 알고 있는 패턴 중 어느 것이 그 수신된 센서 신호에 대응하는가를 판단할 수 있다.
특정 실시예에서 이미 알고 있는 움직임 패턴의 피처는 전력과 저장 처리 비용을 최소화하도록 제한될 수 있다. 따라서 특정 패턴을 식별하는 선택성은 이미 알고 있는 움직임 패턴 각각에 대해 저장된 또는 이용된 포인트 또는 피처 수에 따라 다를 수 있다. 다른 실시예에서 이미 알고 있는 움직임 패턴은 제조업자 또는 다른 실체에 의해 미디어 장치에서 미리 발생되거나 저장될 수 있다.
움직임 패턴 인식 애플리케이션(902)은 베이즈 결정 이론(Bayes Decision theory), 생성법(Generative methods), 판별법, 논메트릭법, 알고리즘 독립 머신 학습, 자율 학습 및 클러스터링, 기타 유사한 기법들 중 적어도 하나에 기초하여 패턴 인식을 수행할 수 있다. 베이즈 결정 기법은 베이즈 결정 규칙, 최소 에러율 분류, 정규 밀도 및 판별 기능, 에러 인테그럴 및 바운드(error integrals and bounds), 베이즈 네트워크 및 복합 결정 이론 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 생성법은 최대 우도(maximum likelihood) 및 베이즈 파라미터 추정, 충분 통계량, 여러 가지 공통 통계 분포, 차원수 및 연산 복잡성, 주성분 분석, 피셔(fisher) 선형 판별, 예외 최대화, 계열 데이터, 히든 마코프(hidden Markov) 모델, 및 밀도 추정을 포함하는 논파라메트릭 기법 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 판별법은 거리 방식법, 최근린 분류(nearest neighbor classification), 메트릭스 및 탄젠트 거리, 퍼지 분류, 선형 판별 기능(초평면 기하, 기울기 강하 및 퍼셉트론(perceptron), 최소 자승 에러 절차, 및 지원 벡터 머신), 및 인공 신경망을 포함할 수 있으나, 이에 한정되는 것은 아니다. 논메트릭법은 스트링 인식과 스트링 매칭을 포함할 수 있으나, 이에 한정되는 것은 아니다. 알고리즘 독립 머신 학습법은 노프리 런치(no-free lunch) 이론, 바이어스 및 배리언스(bias and variance), 추정 재샘플링, 배깅 및 부스팅(bagging and boosting), 오분류 추정 및 분류자 조합을 포함할 수 있으나, 이에 한정되는 것은 아니다.
특정 실시예에서 미디어 장치와 통신하는 원격 장치는 하나 또는 그 이상의 POM 센서를 포함할 수 있다. 원격 장치는 POM 정보를 미디어 장치에 중계하여 미디어 장치의 제어를 용이하게 할 수 있다. 예컨대 원격 장치는 무선 헤드셋 또는 이어폰일 수 있다. 미디어 장치는 사용자로부터 yes 또는 no 입력을 요구하는 애플리케이션을 포함할 수 있다. 사용자는 자신의 머리를 위아래로 끄덕여서("yes"를 나타냄) 이어폰 위치와 배향을 바꿀 수 있다. 그러면, 이러한 POM 변경은 이어폰에서 미디어 장치로 무선 중계되고, 그러면 미디어 장치는 센서 신호를 이미 알고 있는 장치의 움직임 패턴 데이터베이스와 비교하여 사용자가 머리를 끄덕여 "yes"를 나타내었다고 판단한다. 사용자가 자신의 머리를 좌우로 흔들었다면("no" 표시), 미디어 장치는 사용자가 머리를 흔든 것을 검출할 것이다. 미디어 장치와 소통하는 임의의 적당한 무선 장치는 이 기능을 포함할 수 있다. 이 장치는 CDMA, GSM, 블루투스, wi-fi, 802.x, TDMA, 및 기타 유사한 공개 또는 비밀 무선 프로토콜과 같은 임의의 적당한 무선 표준이나 인터페이스를 지원할 수 있으나, 이에 한정되는 것은 아니다.
미디어 장치는 e-메일, 텍스팅, 워드 프로세싱, 인터페이스 네비게이션, 데이터 검색, 웹 서핑, 데이터베이스 관리, 원격 제어 시스템, 멀티미디어 애플리케이션 또는 기타 미디어 장치에서 동작하는 애플리케이션을 포함하는(이에 한정되지 않음) 여러 가지 애플리케이션에 대한 움직임 기반 제어 및 인터페이싱을 지원할 수 있다.
당업자라면 본 발명의 방법들이 컴퓨터 이용 및/또는 판독 매체를 포함하는 컴퓨터 프로그램 제품에서 구체화될 수 있음을 잘 알 것이다. 예컨대 그와 같은 컴퓨터 이용 매체는 CD ROM 디스크나 종래의 ROM 장치와 같은 읽기 전용 메모리 장치나, 하드 드라이브 장치나 컴퓨터 디스켓과 같은 임의 접근 메모리나, 또는 컴퓨터 판독 프로그램 코드를 저장한 플래시 메모리 장치로 이루어질 수 있다.
전술한 도면과 상세한 설명의 여러 가지 특성, 요소 및 프로세스들은 호환 또는 결합되어 여기서 설명된 본 발명을 실현 또는 실시할 수 있음을 알아야 한다. 당업자라면 본 발명은 한정적이 아닌 예시 목적으로 제시한 전술한 실시예들이 아닌 다른 실시예들로 실시될 수 있음을 잘 알 것이며, 본 발명은 하기 청구범위에 의해서만 한정된다.

Claims (25)

  1. 미디어 장치로서,
    상기 미디어 장치가 사용자의 손에 의해 그립(grip)되었는지를 검출하고 상기 미디어 장치가 상기 사용자의 손에 의해 그립되었음을 검출하는 것에 기초하여 활성(activation) 신호를 생성하는 근접 센서,
    상기 미디어 장치의 위치, 배향 및 움직임 중 적어도 하나에 기초하여 센서 신호를 발생하는 센서,
    각각이 상기 미디어 장치의 동작과 연관된 복수의 움직임 패턴을 포함하는 데이터 저장부, 및
    상기 활성 신호, 상기 센서 신호, 및 상기 미디어 장치와 통신상으로 결합되는 원격 장치에서의 센서에 의해 생성되는 원격 장치 센서 신호를 수신하고, 상기 활성 신호, 상기 센서 신호, 상기 원격 장치 센서 신호, 및 상기 복수의 움직임 패턴에 적어도 부분적으로 기초하여 상기 미디어 장치의 하나 또는 그 이상의 동작을 제어하는 프로세서를 포함하고,
    상기 원격 장치 센서 신호는 상기 원격 장치의 위치, 배향, 및 움직임 중 적어도 하나에 기초하는
    미디어 장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 복수의 움직임 패턴에 액세스하는 것 및 상기 미디어 장치의 관련 동작을 결정하기 위해 상기 센서 신호를 상기 움직임 패턴들 중 하나 또는 그 이상과 비교하는 것에 의해 상기 미디어 장치의 동작들을 제어하는, 미디어 장치.
  3. 제2항에 있어서,
    상기 프로세서가 비교하는 것은 패턴 인식 알고리즘을 이용하는 것을 포함하고, 상기 패턴 인식 알고리즘은 통계 모델에 기초하는 미디어 장치.
  4. 제1항에 있어서,
    상기 동작은 애플리케이션과 연관된 요소 리스트를 스테핑(stepping)하는 것을 포함하는 미디어 장치.
  5. 제4항에 있어서,
    상기 스테핑하는 것은 증분적으로 일어나고, 이 증분은 위치 변화율, 배향 변화율 및 움직임 레이트 중 적어도 하나의 크기에 비례하는 미디어 장치.
  6. 제1항에 있어서,
    상기 동작은 하나 또는 그 이상의 애플리케이션들의 기동 또는 론칭, 하나 또는 그 이상의 애플리케이션들의 중지 또는 종료, 하나 또는 그 이상의 요소들의 선택 또는 선택 해제, 하나 또는 그 이상의 설정들의 증가 또는 감소, 요소 리스트를 통해 움직이기, 통신 세션의 개시 또는 종료, 음악 또는 비디오 재생, 음악 또는 비디오 일시 정지, 및 오디오 또는 비디오 녹화 세션의 개시 또는 종료 중 적어도 하나를 포함하는 미디어 장치.
  7. 제6항에 있어서,
    상기 요소는 노래, 비디오, 음악 파일, 오디오 파일, 비디오 파일, 사진, 미디어 파일, 애플리케이션 아이콘, 작동(activation) 아이콘, 제어 버튼, 데이터 파일 및 연락처 데이터 중 적어도 하나를 포함하고, 상기 미디어 장치는 셀룰러 전화, 무선 통신 장치, 미디어 플레이어, MP3 플레이어, 비디오 플레이어, PDA 및 휴대형 컴퓨터 중 적어도 하나를 포함하는 미디어 장치.
  8. 제1항에 있어서,
    상기 센서는 가속도계, 자이로스코우프, 컴퍼스, IR 검출기, 소닉 검출기, 고도계, 자기장 검출기, RF 검출기, GPS, 광센서 및 도플러 검출기 중 하나 또는 그 이상을 포함하는 미디어 장치.
  9. 제1항에 있어서,
    상기 센서 신호를 발생하는 것은 소정 기간 동안에 걸쳐 상기 미디어 장치의 위치, 배향 및 움직임 중 적어도 하나의 시퀀스를 감지하는 것에 기초한 미디어 장치.
  10. 제1항에 있어서,
    상기 센서 신호에 적어도 부분적으로 기초하여 상기 미디어 장치의 동작의 제어를 가능하게 하거나 불능(disable)으로 하는 사용자 입력을 수신하는 작동 인터페이스(activation interface)를 포함하는 미디어 장치.
  11. 제1항에 있어서,
    하나 또는 그 이상의 진동 패턴들을 발생하는 진동원을 포함하고, 하나 또는 그 이상의 진동 패턴들의 데이터 저장부를 포함하고, 각각의 진동 패턴은 상기 미디어 장치의 애플리케이션의 적어도 하나의 요소와 연관되고, 진동 패턴을 발생하는 것은 요소가 선택될 때 일어나는 미디어 장치.
  12. 제1항에 있어서,
    하나 또는 그 이상의 오디오 패턴들을 발생하는 오디오원을 포함하는 미디어 장치.
  13. 제12항에 있어서,
    하나 또는 그 이상의 오디오 패턴들의 데이터 저장부를 포함하고, 각각의 오디오 패턴은 상기 미디어 장치의 애플리케이션의 적어도 하나의 요소와 연관되는 미디어 장치.
  14. 제13항에 있어서,
    상기 오디오 패턴은 요소 선택 시에 발생하는 미디어 장치.
  15. 제1항에 있어서,
    상기 센서 신호를 수신하고 또한 상기 센서 신호와 연관된 움직임 패턴을 저장하는 입력 인터페이스를 포함하는 미디어 장치.
  16. 미디어 장치로서,
    상기 미디어 장치가 사용자의 손에 의해 그립되었는지를 검출하고 상기 미디어 장치가 상기 사용자의 손에 의해 그립되었음을 검출하는 것에 기초하여 활성 신호를 생성하는 근접 센서,
    각각이 진동 패턴과 연관된 복수의 진동 신호를 발생하는 진동원(vibration source),
    각각이 상기 미디어 장치의 동작과 연관된 복수의 진동 패턴을 포함하는 데이터 저장부, 및
    상기 활성 신호에 적어도 부분적으로 기초하여, i) 상기 미디어 장치와 통신상으로 결합되는 원격 장치에 의해 생성되는 원격 장치 센서 신호에 기초하여 상기 미디어 장치의 동작을 결정하고, ii) 상기 미디어 장치의 동작과 연관된 진동 패턴을 식별하고, 그리고 iii) 상기 진동 패턴과 연관된 진동 신호를 발생하도록 상기 진동원을 제어하는 프로세서를 포함하고,
    상기 원격 장치 센서 신호는 상기 원격 장치의 위치, 배향, 및 움직임 중 적어도 하나에 기초하는
    미디어 장치.
  17. 미디어 장치로서,
    상기 미디어 장치가 사용자의 손에 의해 그립되었는지를 검출하고 상기 미디어 장치가 상기 사용자의 손에 의해 그립되었음을 검출하는 것에 기초하여 활성(activation) 신호를 생성하는 근접 센서;
    각각이 진동 패턴과 연관된 복수의 진동 신호를 발생하는 진동원,
    각각이 오디오 패턴과 연관된 복수의 오디오 신호를 발생하는 오디오원,
    각각이 상기 미디어 장치의 동작과 연관된 복수의 조합된 진동 및 오디오 패턴을 포함하는 데이터 저장부, 및
    상기 활성 신호에 적어도 부분적으로 기초하여, i) 상기 미디어 장치와 통신상으로 결합되는 원격 장치에 의해 생성되는 원격 장치 센서 신호에 기초하여 상기 미디어 장치의 동작을 결정하고, ii) 상기 미디어 장치의 동작과 연관된 조합된 진동 및 오디오 패턴을 식별하고, 그리고 iii) 상기 조합된 진동 및 오디오 패턴과 연관된 진동 신호 및 오디오 신호를 발생하도록 상기 진동원과 오디오원을 제어하는 프로세서를 포함하고,
    상기 원격 장치 센서 신호는 상기 원격 장치의 위치, 배향, 및 움직임 중 적어도 하나에 기초하는
    미디어 장치.
  18. 미디어 장치로서,
    사용자 통신을 송수신하는 송수신기,
    상기 미디어 장치가 사용자의 손에 의해 그립(grip)되었는지를 검출하고 상기 미디어 장치가 상기 사용자의 손에 의해 그립되었음을 검출하는 것에 기초하여 활성(activation) 신호를 생성하는 근접 센서,
    상기 미디어 장치의 위치, 배향 및 움직임 중 적어도 하나에서의 변화 시퀀스에 기초하여 움직임 패턴을 감지하는 움직임 패턴 센서, 및
    상기 활성 신호 및 상기 미디어 장치와 통신상으로 결합되는 원격 장치에 의해 생성되는 원격 장치 센서 신호에 적어도 부분적으로 기초하여 상기 움직임 패턴을 수신하고 식별하는 패턴 인식 유닛을 포함하고,
    상기 원격 장치 센서 신호는 상기 원격 장치의 위치, 배향, 및 움직임 중 적어도 하나에 기초하는
    미디어 장치.
  19. 제18항에 있어서,
    상기 식별하는 것은 통계 모델에 적어도 부분적으로 기초한 미디어 장치.
  20. 미디어 장치로서,
    상기 미디어 장치가 사용자의 손에 의해 그립되었는지를 검출하고 상기 미디어 장치가 상기 사용자의 손에 의해 그립되었음을 검출하는 것에 기초하여 활성 신호를 생성하는 근접 센서,
    상기 미디어 장치의 위치, 배향 및 움직임 중 적어도 하나에 기초하여 움직임 패턴을 감지하는 움직임 패턴 센서,
    상기 움직임 패턴을 수신하고 식별하는 패턴 인식 유닛, 및
    i) 사용자 기반 통신을 상기 미디어 장치에게 또한 이로부터 제공하고, 그리고 ii) 상기 활성 신호 및 상기 미디어 장치에 통신상으로 결합되는 원격 장치에 의해 생성되는 원격 장치 센서 신호에 적어도 부분적으로 기초하고 상기 식별된 움직임 패턴에 응답하여 상기 사용자와 연관된 실체(entity)들의 연락처 리스트를 네비게이트하는 통신 애플리케이션을 포함하고,
    상기 원격 장치 센서 신호는 상기 원격 장치의 위치, 배향, 및 움직임 중 적어도 하나에 기초하는
    미디어 장치.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
KR1020107009743A 2007-10-01 2008-09-19 개인 미디어 장치의 움직임 기반 인터페이스 KR101242982B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/906,197 US8942764B2 (en) 2007-10-01 2007-10-01 Personal media device controlled via user initiated movements utilizing movement based interfaces
US11/906,197 2007-10-01
PCT/US2008/010929 WO2009045279A2 (en) 2007-10-01 2008-09-19 Movement-based interfaces for personal media device

Publications (2)

Publication Number Publication Date
KR20100083807A KR20100083807A (ko) 2010-07-22
KR101242982B1 true KR101242982B1 (ko) 2013-03-13

Family

ID=40508993

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107009743A KR101242982B1 (ko) 2007-10-01 2008-09-19 개인 미디어 장치의 움직임 기반 인터페이스

Country Status (7)

Country Link
US (1) US8942764B2 (ko)
EP (1) EP2195725A2 (ko)
KR (1) KR101242982B1 (ko)
CN (2) CN101430601A (ko)
DE (1) DE102008049653A1 (ko)
TW (1) TWI409667B (ko)
WO (1) WO2009045279A2 (ko)

Families Citing this family (200)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7841967B1 (en) 2006-04-26 2010-11-30 Dp Technologies, Inc. Method and apparatus for providing fitness coaching using a mobile device
US8902154B1 (en) 2006-07-11 2014-12-02 Dp Technologies, Inc. Method and apparatus for utilizing motion user interface
US7934423B2 (en) 2007-12-10 2011-05-03 Invensense, Inc. Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics
US8250921B2 (en) 2007-07-06 2012-08-28 Invensense, Inc. Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics
US8020441B2 (en) 2008-02-05 2011-09-20 Invensense, Inc. Dual mode sensing for vibratory gyroscope
US8141424B2 (en) 2008-09-12 2012-03-27 Invensense, Inc. Low inertia frame for detecting coriolis acceleration
US8952832B2 (en) 2008-01-18 2015-02-10 Invensense, Inc. Interfacing application programs and motion sensors of a device
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US8508039B1 (en) 2008-05-08 2013-08-13 Invensense, Inc. Wafer scale chip scale packaging of vertically integrated MEMS sensors with electronics
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US8047075B2 (en) 2007-06-21 2011-11-01 Invensense, Inc. Vertically integrated 3-axis MEMS accelerometer with electronics
US7796872B2 (en) 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
US8620353B1 (en) 2007-01-26 2013-12-31 Dp Technologies, Inc. Automatic sharing and publication of multimedia from a mobile device
US8949070B1 (en) 2007-02-08 2015-02-03 Dp Technologies, Inc. Human activity monitoring device with activity identification
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US8555282B1 (en) 2007-07-27 2013-10-08 Dp Technologies, Inc. Optimizing preemptive operating system with motion sensing
US7800044B1 (en) 2007-11-09 2010-09-21 Dp Technologies, Inc. High ambient motion environment detection eliminate accidental activation of a device
US9569086B2 (en) * 2007-12-12 2017-02-14 Nokia Technologies Oy User interface having realistic physical effects
JP2009181501A (ja) * 2008-01-31 2009-08-13 Toshiba Corp 移動通信機器
JP4861357B2 (ja) * 2008-02-28 2012-01-25 京セラ株式会社 傾斜センサ内蔵小型電子機器及び補正方法
US8285344B2 (en) 2008-05-21 2012-10-09 DP Technlogies, Inc. Method and apparatus for adjusting audio for a user environment
KR101488796B1 (ko) * 2008-05-23 2015-02-02 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US20090309826A1 (en) 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
US8936367B2 (en) 2008-06-17 2015-01-20 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US20100066983A1 (en) * 2008-06-17 2010-03-18 Jun Edward K Y Methods and systems related to a projection surface
US20090313152A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems associated with projection billing
US8733952B2 (en) 2008-06-17 2014-05-27 The Invention Science Fund I, Llc Methods and systems for coordinated use of two or more user responsive projectors
US8262236B2 (en) * 2008-06-17 2012-09-11 The Invention Science Fund I, Llc Systems and methods for transmitting information associated with change of a projection surface
US8376558B2 (en) 2008-06-17 2013-02-19 The Invention Science Fund I, Llc Systems and methods for projecting in response to position change of a projection surface
US8308304B2 (en) * 2008-06-17 2012-11-13 The Invention Science Fund I, Llc Systems associated with receiving and transmitting information related to projection
US20090313150A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods associated with projection billing
US8820939B2 (en) 2008-06-17 2014-09-02 The Invention Science Fund I, Llc Projection associated methods and systems
US20090310040A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for receiving instructions associated with user parameter responsive projection
US8267526B2 (en) * 2008-06-17 2012-09-18 The Invention Science Fund I, Llc Methods associated with receiving and transmitting information related to projection
US8723787B2 (en) 2008-06-17 2014-05-13 The Invention Science Fund I, Llc Methods and systems related to an image capture projection surface
US8384005B2 (en) 2008-06-17 2013-02-26 The Invention Science Fund I, Llc Systems and methods for selectively projecting information in response to at least one specified motion associated with pressure applied to at least one projection surface
US8641203B2 (en) 2008-06-17 2014-02-04 The Invention Science Fund I, Llc Methods and systems for receiving and transmitting signals between server and projector apparatuses
US8944608B2 (en) 2008-06-17 2015-02-03 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8608321B2 (en) * 2008-06-17 2013-12-17 The Invention Science Fund I, Llc Systems and methods for projecting in response to conformation
US8602564B2 (en) 2008-06-17 2013-12-10 The Invention Science Fund I, Llc Methods and systems for projecting in response to position
US8996332B2 (en) 2008-06-24 2015-03-31 Dp Technologies, Inc. Program setting adjustments based on activity identification
KR101443341B1 (ko) * 2008-06-30 2014-11-03 엘지전자 주식회사 휴대 단말기 및 그 동작제어 방법
US8140115B1 (en) * 2008-07-18 2012-03-20 Dp Technologies, Inc. Application interface
US8213914B2 (en) * 2008-08-04 2012-07-03 Lg Electronics Inc. Mobile terminal capable of providing web browsing function and method of controlling the mobile terminal
US8341557B2 (en) * 2008-09-05 2012-12-25 Apple Inc. Portable touch screen device, method, and graphical user interface for providing workout support
US8610830B2 (en) * 2008-09-11 2013-12-17 Apple Inc. Video rotation method and device
US8189429B2 (en) 2008-09-30 2012-05-29 Apple Inc. Microphone proximity detection
US8872646B2 (en) 2008-10-08 2014-10-28 Dp Technologies, Inc. Method and system for waking up a device due to motion
FR2938097B1 (fr) * 2008-10-30 2010-12-31 Oberthur Technologies Carte a microcircuit, dispositif electronique associe a une telle carte, et procede de commande d'un tel dispositif electronique
US20100117959A1 (en) * 2008-11-10 2010-05-13 Samsung Electronics Co., Ltd. Motion sensor-based user motion recognition method and portable terminal using the same
JP5227769B2 (ja) * 2008-12-05 2013-07-03 ソニーモバイルコミュニケーションズ， エービー 携帯端末およびコンピュータプログラム
US20100153313A1 (en) * 2008-12-15 2010-06-17 Symbol Technologies, Inc. Interface adaptation system
JP2010147973A (ja) * 2008-12-22 2010-07-01 Nec Corp 携帯端末装置、操作通知方法および操作通知プログラム
KR20100078141A (ko) * 2008-12-30 2010-07-08 삼성전자주식회사 휴대용 단말기에서 햅틱 기능 제공 방법 및 장치
US20100167715A1 (en) * 2008-12-31 2010-07-01 Motorola, Inc. Method and Apparatus for Social Networking in a Communication Network
JP5376960B2 (ja) * 2009-01-15 2013-12-25 株式会社東芝 測位装置及び測位時間間隔制御方法
US20100188397A1 (en) * 2009-01-28 2010-07-29 Apple Inc. Three dimensional navigation using deterministic movement of an electronic device
US8890898B2 (en) * 2009-01-28 2014-11-18 Apple Inc. Systems and methods for navigating a scene using deterministic movement of an electronic device
KR20100096425A (ko) * 2009-02-24 2010-09-02 삼성전자주식회사 모션 센서 기반의 동작 인식 방법 및 이를 이용한 휴대 단말기
US8209353B2 (en) * 2009-03-31 2012-06-26 Oracle International Corporation Storing hierarchical data to enable paging
US8914731B2 (en) 2009-03-31 2014-12-16 Oracle International Corporation Analyzing user behavior to enhance data display
US8355887B1 (en) 2009-04-24 2013-01-15 Cypress Semiconductor Corporation Proximity based gesturing devices, systems and methods
KR101615872B1 (ko) * 2009-05-08 2016-04-27 삼성전자주식회사 휴대단말기의 햅틱 기능 전송 방법 및 시스템
US8565843B1 (en) * 2009-05-13 2013-10-22 Lugovations LLC Portable device shell
US9529437B2 (en) 2009-05-26 2016-12-27 Dp Technologies, Inc. Method and apparatus for a motion state aware device
US8407623B2 (en) * 2009-06-25 2013-03-26 Apple Inc. Playback control using a touch interface
US20110002487A1 (en) * 2009-07-06 2011-01-06 Apple Inc. Audio Channel Assignment for Audio Output in a Movable Device
US8095191B2 (en) * 2009-07-06 2012-01-10 Motorola Mobility, Inc. Detection and function of seven self-supported orientations in a portable device
US9024865B2 (en) 2009-07-23 2015-05-05 Qualcomm Incorporated Method and apparatus for controlling mobile and consumer electronic devices
US9174123B2 (en) 2009-11-09 2015-11-03 Invensense, Inc. Handheld computer systems and techniques for character and command recognition related to human movements
CN102487416A (zh) * 2009-11-30 2012-06-06 美新半导体（无锡）有限公司 一种地磁传感器与手持设备或移动设备相结合的系统
US8682399B2 (en) 2009-12-15 2014-03-25 Apple Inc. Detecting docking status of a portable device using motion sensor data
US8923995B2 (en) * 2009-12-22 2014-12-30 Apple Inc. Directional audio interface for portable media device
KR20110074017A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 멀티미디어 기기 및 그 동작 제어 방법
US8479107B2 (en) * 2009-12-31 2013-07-02 Nokia Corporation Method and apparatus for fluid graphical user interface
US9046923B2 (en) * 2009-12-31 2015-06-02 Verizon Patent And Licensing Inc. Haptic/voice-over navigation assistance
US8792930B1 (en) 2010-01-22 2014-07-29 Amazon Technologies, Inc. Power management for wireless transmissions
US8989792B1 (en) 2010-01-22 2015-03-24 Amazon Technologies, Inc. Using inertial sensors to trigger transmit power management
US9335825B2 (en) 2010-01-26 2016-05-10 Nokia Technologies Oy Gesture control
EP2354897A1 (en) * 2010-02-02 2011-08-10 Deutsche Telekom AG Around device interaction for controlling an electronic device, for controlling a computer game and for user verification
US20110196519A1 (en) * 2010-02-09 2011-08-11 Microsoft Corporation Control of audio system via context sensor
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US20120206485A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor triggered user movement control of ar eyepiece facilities
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20110223974A1 (en) * 2010-03-10 2011-09-15 Sony Ericsson Mobile Communications Ab Mobile communication device and method for operating a mobile communication device
US9977472B2 (en) * 2010-03-19 2018-05-22 Nokia Technologies Oy Method and apparatus for displaying relative motion of objects on graphical user interface
EP2550580B1 (en) * 2010-03-25 2019-07-03 Nokia Technologies Oy Contortion of an electronic apparatus
US8760392B2 (en) 2010-04-20 2014-06-24 Invensense, Inc. Wireless motion processing sensor systems suitable for mobile and battery operation
US8200076B2 (en) * 2010-05-19 2012-06-12 Eastman Kodak Company Estimating gender or age of a photographer
US8180208B2 (en) * 2010-05-19 2012-05-15 Eastman Kodak Company Identifying a photographer
US8180209B2 (en) * 2010-05-19 2012-05-15 Eastman Kodak Company Determining camera activity from a steadiness signal
US20110288913A1 (en) * 2010-05-20 2011-11-24 Google Inc. Interactive Ads
US9632575B2 (en) 2010-05-21 2017-04-25 Nokia Technologies Oy Method, an apparatus and a computer program for controlling an output from a display of an apparatus
US9241064B2 (en) * 2010-05-28 2016-01-19 Google Technology Holdings LLC Smart method and device for adaptive user interface experiences
CN101854435B (zh) 2010-05-31 2017-04-12 华为终端有限公司 信息处理方法及用户设备
TWI453414B (zh) * 2010-07-29 2014-09-21 Chi Mei Comm Systems Inc 可攜式電子裝置解鎖系統及方法
CN102346543B (zh) * 2010-07-29 2014-11-26 深圳富泰宏精密工业有限公司 便携式电子装置解锁系统及方法
US8972467B2 (en) 2010-08-31 2015-03-03 Sovanta Ag Method for selecting a data set from a plurality of data sets by means of an input device
US8767019B2 (en) 2010-08-31 2014-07-01 Sovanta Ag Computer-implemented method for specifying a processing operation
US9007304B2 (en) 2010-09-02 2015-04-14 Qualcomm Incorporated Methods and apparatuses for gesture-based user input detection in a mobile device
US8594971B2 (en) 2010-09-22 2013-11-26 Invensense, Inc. Deduced reckoning navigation without a constraint relationship between orientation of a sensor platform and a direction of travel of an object
KR101915615B1 (ko) * 2010-10-14 2019-01-07 삼성전자주식회사 모션 기반 사용자 인터페이스 제어 장치 및 방법
DE112010003717T5 (de) * 2010-11-12 2013-08-08 Research In Motion Ltd. Verfahren zum Interagieren mit einer tragbaren elektronischen Vorrichtung
TW201220174A (en) * 2010-11-15 2012-05-16 Ind Tech Res Inst Graphical user interface in multimedia apparatus and graphic object browsing method and system thereof
JP5768361B2 (ja) * 2010-11-22 2015-08-26 ソニー株式会社 送信装置、受信装置、コンテンツ送受信システム
KR20120066846A (ko) * 2010-12-15 2012-06-25 삼성전자주식회사 모바일 디바이스
US8397982B2 (en) 2010-12-17 2013-03-19 Motorola Mobility Llc Method and device for recognition of docking stations
US8786547B2 (en) * 2010-12-23 2014-07-22 Microsoft Corporation Effects of gravity on gestures
US20120202187A1 (en) * 2011-02-03 2012-08-09 Shadowbox Comics, Llc Method for distribution and display of sequential graphic art
WO2012114754A1 (ja) * 2011-02-24 2012-08-30 京セラ株式会社 電子機器
JP5103538B2 (ja) * 2011-02-25 2012-12-19 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御プログラム、及びゲーム制御方法
US9407706B2 (en) 2011-03-31 2016-08-02 Qualcomm Incorporated Methods, devices, and apparatuses for activity classification using temporal scaling of time-referenced features
US9094813B2 (en) 2011-04-02 2015-07-28 Open Invention Network, Llc System and method for redirecting content based on gestures
TWI490768B (zh) * 2011-04-25 2015-07-01 Chiun Mai Comm Systems Inc 虛擬鍵盤控制系統和方法
JP5323126B2 (ja) * 2011-05-20 2013-10-23 シャープ株式会社 画像処理システム、画像処理装置、及び、指示受付装置
US9110510B2 (en) * 2011-06-03 2015-08-18 Apple Inc. Motion pattern classification and gesture recognition
US8319746B1 (en) 2011-07-22 2012-11-27 Google Inc. Systems and methods for removing electrical noise from a touchpad signal
US20130033418A1 (en) * 2011-08-05 2013-02-07 Qualcomm Incorporated Gesture detection using proximity or light sensors
US9703382B2 (en) * 2011-08-29 2017-07-11 Kyocera Corporation Device, method, and storage medium storing program with control for terminating a program
KR20140069124A (ko) 2011-09-19 2014-06-09 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US8886247B1 (en) * 2011-10-04 2014-11-11 Amazon Technologies, Inc. Proximity based power throttling
US9563278B2 (en) * 2011-12-19 2017-02-07 Qualcomm Incorporated Gesture controlled audio user interface
CN102540198B (zh) * 2011-12-21 2013-05-29 惠州Tcl移动通信有限公司 终端及其终端内导航功能的启动方法
KR101866974B1 (ko) * 2012-01-06 2018-06-14 한국전자통신연구원 행동 패턴 수집 장치 및 이를 이용한 행동 패턴 분석 시스템과 그 방법
TWI516980B (zh) * 2012-01-10 2016-01-11 群邁通訊股份有限公司 電子裝置解鎖系統及方法
US9823707B2 (en) 2012-01-25 2017-11-21 Nokia Technologies Oy Contortion of an electronic apparatus
US9519909B2 (en) * 2012-03-01 2016-12-13 The Nielsen Company (Us), Llc Methods and apparatus to identify users of handheld computing devices
US8867991B2 (en) * 2012-03-16 2014-10-21 Qualcomm Incorporated Use of proximity sensors with near-field communication
US20130247663A1 (en) * 2012-03-26 2013-09-26 Parin Patel Multichannel Gyroscopic Sensor
US8473975B1 (en) 2012-04-16 2013-06-25 The Nielsen Company (Us), Llc Methods and apparatus to detect user attentiveness to handheld computing devices
US9823696B2 (en) 2012-04-27 2017-11-21 Nokia Technologies Oy Limiting movement
CN103376984B (zh) * 2012-04-28 2016-11-16 宇龙计算机通信科技(深圳)有限公司 应用选择的方法及其通信终端
TWI467391B (zh) * 2012-05-07 2015-01-01 Univ Southern Taiwan 可攜式電子裝置之互動應用系統及其方法
US8638230B2 (en) * 2012-05-24 2014-01-28 Google Inc. Hardware attitude detection implementation of mobile devices with MEMS motion sensors
US9128562B2 (en) * 2012-05-25 2015-09-08 Sony Corporation Terminal apparatus, display system, display method, and recording medium for switching between pointer mode and touch-panel mode based on handheld activation
US9223494B1 (en) * 2012-07-27 2015-12-29 Rockwell Collins, Inc. User interfaces for wearable computers
US10433044B2 (en) * 2012-08-02 2019-10-01 Ronald Pong Headphones with interactive display
JP6011127B2 (ja) * 2012-08-06 2016-10-19 富士ゼロックス株式会社 行為検出プログラム及び行為検出装置
US10408857B2 (en) * 2012-09-12 2019-09-10 Alpinereplay, Inc. Use of gyro sensors for identifying athletic maneuvers
US10548514B2 (en) 2013-03-07 2020-02-04 Alpinereplay, Inc. Systems and methods for identifying and characterizing athletic maneuvers
WO2014045765A1 (ja) * 2012-09-19 2014-03-27 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 携帯端末、その制御方法及びプログラム
TWI496526B (zh) * 2012-10-16 2015-08-11 Wistron Corp 利用旋轉離心力切換不同狀態之可攜式電子裝置
US9158334B2 (en) 2012-10-22 2015-10-13 Nokia Technologies Oy Electronic device controlled by flexing
US9158332B2 (en) 2012-10-22 2015-10-13 Nokia Technologies Oy Limiting movement
US9350918B1 (en) * 2012-11-08 2016-05-24 Amazon Technologies, Inc. Gesture control for managing an image view display
US20140243107A1 (en) * 2012-11-21 2014-08-28 Don't Shake It L.L.C. Novelty device
US9348434B2 (en) 2012-11-21 2016-05-24 Google Technology Holdings LLC Low power management of multiple sensor integrated chip architecture
CN103092341B (zh) * 2012-12-31 2016-08-10 华为技术有限公司 控制终端的方法、装置与终端
KR101594404B1 (ko) * 2013-02-25 2016-02-17 한국산업기술대학교산학협력단 대상 물체의 3차원적 움직임 및 속도를 인식할 수 있는 입력장치 및 이를 이용한 전자 기기
US9223297B2 (en) 2013-02-28 2015-12-29 The Nielsen Company (Us), Llc Systems and methods for identifying a user of an electronic device
US20150378447A1 (en) * 2013-03-11 2015-12-31 Sony Corporation Terminal device, control method for terminal device, and program
US9065861B2 (en) 2013-05-07 2015-06-23 Brandon M. Singer Method of interacting with social media post using mobile electronic device
US9372103B2 (en) * 2013-07-12 2016-06-21 Facebook, Inc. Calibration of grab detection
CN103426019A (zh) * 2013-07-18 2013-12-04 南京晟邦光电科技有限公司 一种环形非接触式射频标识卡
TWI514245B (zh) * 2013-08-20 2015-12-21 Inventec Corp 提供網頁瀏覽之瀏覽裝置、系統及其方法
US20150065116A1 (en) * 2013-08-28 2015-03-05 Sunrex Technology Corp. Remote control device and wireless communication system comprising the same
CN105556457B (zh) 2013-09-17 2020-03-06 诺基亚技术有限公司 可穿戴电子装置、用于处理信息的方法和计算机可读介质
CN105637851B (zh) * 2013-11-20 2021-10-22 英特尔公司 用于外围控制的计算系统、方法及计算机可读介质
TWI488106B (zh) * 2013-12-13 2015-06-11 Acer Inc 可攜式電子裝置及其圖示位置調整方法
KR101623365B1 (ko) * 2013-12-18 2016-06-07 주식회사 엘지유플러스 잠금 상태에서 모바일 기기를 제어하는 방법 및 장치
CN104793840A (zh) * 2014-01-22 2015-07-22 宏碁股份有限公司 便携式电子装置及图示位置调整方法
KR102161546B1 (ko) * 2014-02-05 2020-10-05 삼성전자 주식회사 전자 기기 및 그의 운용 방법
TWI517021B (zh) * 2014-02-17 2016-01-11 拓連科技股份有限公司 項目變換之管理方法及系統，及相關電腦程式產品
US9710629B2 (en) * 2014-05-13 2017-07-18 Google Technology Holdings LLC Electronic device with method for controlling access to same
US9185062B1 (en) * 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9389703B1 (en) * 2014-06-23 2016-07-12 Amazon Technologies, Inc. Virtual screen bezel
US9465445B2 (en) * 2014-07-02 2016-10-11 Nagravision S.A. Application swap based on smart device position
CN106605201B (zh) 2014-08-06 2021-11-23 苹果公司 用于电池管理的减小尺寸的用户界面
WO2016023169A1 (en) * 2014-08-12 2016-02-18 Shenzhen Sugr Technology Limited Company Methods and apparatus for motion control of a media player
CN115665320B (zh) 2014-09-02 2024-10-11 苹果公司 电子设备、存储介质和用于操作电子设备的方法
EP3189409B1 (en) 2014-09-02 2020-01-29 Apple Inc. Reduced-size interfaces for managing alerts
CN104244044A (zh) * 2014-09-25 2014-12-24 苏州乐聚一堂电子科技有限公司 运动感应远程音视频互动系统
EP3026522A1 (en) * 2014-11-26 2016-06-01 Nokia Technologies OY User interface
WO2016112316A1 (en) * 2015-01-09 2016-07-14 Nulman Yanir Motion base content selection
WO2016134031A1 (en) 2015-02-17 2016-08-25 Alpinereplay, Inc Systems and methods to control camera operations
US9746930B2 (en) 2015-03-26 2017-08-29 General Electric Company Detection and usability of personal electronic devices for field engineers
US10310726B2 (en) * 2015-05-14 2019-06-04 Oath Inc. Content navigation based upon motion
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
CN105825875A (zh) * 2015-08-28 2016-08-03 维沃移动通信有限公司 一种控制音乐播放器的方法及电子设备
US10104282B2 (en) * 2015-09-30 2018-10-16 Ricoh Co., Ltd. Yaw user interface
US10321208B2 (en) 2015-10-26 2019-06-11 Alpinereplay, Inc. System and method for enhanced video image recognition using motion sensors
CN105472150A (zh) * 2015-11-24 2016-04-06 努比亚技术有限公司 移动终端应用操作的撤回处理装置、终端及其实现方法
US10445733B1 (en) * 2018-08-06 2019-10-15 Capital One Service, LLC Systems and methods active signature detection
WO2021130937A1 (ja) * 2019-12-25 2021-07-01 ソニーグループ株式会社 情報処理装置、プログラム、および方法
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050212767A1 (en) * 2004-03-23 2005-09-29 Marvit David L Context dependent gesture response
US20070152966A1 (en) * 2005-12-30 2007-07-05 Apple Computer, Inc. Mouse with optical sensing surface

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100371456B1 (ko) 1995-10-09 2004-03-30 닌텐도가부시키가이샤 삼차원화상처리시스템
EP0872994A1 (de) 1997-04-18 1998-10-21 Ascom Business Systems Ag Vorrichtung mit einem berührungsempfindlichen Bildschirm
CN1324552C (zh) * 1997-05-22 2007-07-04 盛群半导体股份有限公司 液晶显示驱动器强化多功能选择的方法及装置
JPH11205432A (ja) * 1998-01-08 1999-07-30 Matsushita Electric Ind Co Ltd 携帯端末装置
US6323846B1 (en) * 1998-01-26 2001-11-27 University Of Delaware Method and apparatus for integrating manual input
US6861946B2 (en) * 2000-05-17 2005-03-01 Caveo Technology Llc. Motion-based input system for handheld devices
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7956272B2 (en) 2002-07-30 2011-06-07 Apple Inc. Management of files in a personal communication device
US7166791B2 (en) 2002-07-30 2007-01-23 Apple Computer, Inc. Graphical user interface and methods of use thereof in a multimedia player
US7194445B2 (en) 2002-09-20 2007-03-20 Lenovo (Singapore) Pte. Ltd. Adaptive problem determination and recovery in a computer system
US20060181517A1 (en) 2005-02-11 2006-08-17 Apple Computer, Inc. Display actuator
US7301528B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices
KR100853605B1 (ko) 2004-03-23 2008-08-22 후지쯔 가부시끼가이샤 핸드헬드 장치에서의 경사 및 평행 이동 운동 성분들의구별
US7526460B2 (en) * 2004-09-16 2009-04-28 Neal Solomon Mobile hybrid software router
US7593782B2 (en) 2005-01-07 2009-09-22 Apple Inc. Highly portable media device
TWI271984B (en) 2005-03-31 2007-01-21 Primax Electronics Ltd Instructions generating and executing method of handheld electronic device
TW200704920A (en) 2005-07-29 2007-02-01 Godot Technology Inc Control mechanism and control method using gravity variation reception
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
TWI302265B (en) 2005-12-30 2008-10-21 High Tech Comp Corp Moving determination apparatus
US20080280642A1 (en) * 2007-05-11 2008-11-13 Sony Ericsson Mobile Communications Ab Intelligent control of user interface according to movement
US20080284739A1 (en) * 2007-05-17 2008-11-20 Microsoft Corporation Human Interface Device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050212767A1 (en) * 2004-03-23 2005-09-29 Marvit David L Context dependent gesture response
US20070152966A1 (en) * 2005-12-30 2007-07-05 Apple Computer, Inc. Mouse with optical sensing surface

Also Published As

Publication number Publication date
WO2009045279A3 (en) 2009-11-12
US20090088204A1 (en) 2009-04-02
KR20100083807A (ko) 2010-07-22
TW200937255A (en) 2009-09-01
EP2195725A2 (en) 2010-06-16
US8942764B2 (en) 2015-01-27
CN101430601A (zh) 2009-05-13
TWI409667B (zh) 2013-09-21
DE102008049653A1 (de) 2009-06-10
CN105045387A (zh) 2015-11-11
WO2009045279A2 (en) 2009-04-09

Similar Documents

Publication Publication Date Title
KR101242982B1 (ko) 개인 미디어 장치의 움직임 기반 인터페이스
KR102239855B1 (ko) 가상 현실 사용자 인터페이스를 위한 사용자 모션 범위의 검출
US8836502B2 (en) Personal media device input and output control based on associated conditions
CN109643159B (zh) 在增强和/或虚拟现实环境中利用六自由度控制器操纵虚拟对象
US10802711B2 (en) Volumetric virtual reality keyboard methods, user interface, and interactions
US8831240B2 (en) Bluetooth device and audio playing method using the same
US9122307B2 (en) Advanced remote control of host application using motion and voice commands
US8139030B2 (en) Magnetic sensor for use with hand-held devices
US7822507B2 (en) Input device and inputting method
CN111373349B (zh) 用于在增强现实环境中导航的方法、设备及存储介质
KR20180094799A (ko) 자동 국부적 햅틱 생성 시스템
JP2012256378A (ja) 動き検知装置による携帯装置の制御システム、制御方法、データ入力システムおよびデータ入力方法
KR20150079471A (ko) 햅틱 가능 투영 사용자 인터페이스를 위한 시스템 및 방법
EP3732871B1 (en) Detecting patterns and behavior to prevent a mobile terminal drop event
US10596459B2 (en) Systems, methods, and/or computer readable storage medium having program, for localized haptic feedback based on position of virtual object
US20210096637A1 (en) Blow event detection and mode switching with an electronic device
Fuhrmann et al. The BlueWand as interface for ubiquitous and wearable computing environments
KR20140083848A (ko) 센서 데이터를 활용한 제스처 인식 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170201

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee