KR101543143B1 - 모션 기반 기기 동작 - Google Patents

모션 기반 기기 동작 Download PDF

Info

Publication number
KR101543143B1
KR101543143B1 KR1020137032104A KR20137032104A KR101543143B1 KR 101543143 B1 KR101543143 B1 KR 101543143B1 KR 1020137032104 A KR1020137032104 A KR 1020137032104A KR 20137032104 A KR20137032104 A KR 20137032104A KR 101543143 B1 KR101543143 B1 KR 101543143B1
Authority
KR
South Korea
Prior art keywords
mobile device
gesture
motion
proximity sensor
proximity
Prior art date
Application number
KR1020137032104A
Other languages
English (en)
Other versions
KR20140014266A (ko
Inventor
크리스토퍼 무어
크리스토퍼 티. 뮬런스
그레고리 노빅
로날드 케이. 후앙
윌리엄 매튜 비에타
샤오위안 투
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20140014266A publication Critical patent/KR20140014266A/ko
Application granted granted Critical
Publication of KR101543143B1 publication Critical patent/KR101543143B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P1/00—Drugs for disorders of the alimentary tract or the digestive system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P1/00—Drugs for disorders of the alimentary tract or the digestive system
    • A61P1/04—Drugs for disorders of the alimentary tract or the digestive system for ulcers, gastritis or reflux esophagitis, e.g. antacids, inhibitors of acid secretion, mucosal protectants
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P19/00—Drugs for skeletal disorders
    • A61P19/02—Drugs for skeletal disorders for joint disorders, e.g. arthritis, arthrosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P25/00—Drugs for disorders of the nervous system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P25/00—Drugs for disorders of the nervous system
    • A61P25/14—Drugs for disorders of the nervous system for treating abnormal movements, e.g. chorea, dyskinesia
    • A61P25/16—Anti-Parkinson drugs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P25/00—Drugs for disorders of the nervous system
    • A61P25/28—Drugs for disorders of the nervous system for treating neurodegenerative disorders of the central nervous system, e.g. nootropic agents, cognition enhancers, drugs for treating Alzheimer's disease or other forms of dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P27/00—Drugs for disorders of the senses
    • A61P27/02—Ophthalmic agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P29/00—Non-central analgesic, antipyretic or antiinflammatory agents, e.g. antirheumatic agents; Non-steroidal antiinflammatory drugs [NSAID]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P3/00—Drugs for disorders of the metabolism
    • A61P3/04—Anorexiants; Antiobesity agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P31/00—Antiinfectives, i.e. antibiotics, antiseptics, chemotherapeutics
    • A61P31/04—Antibacterial agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P35/00—Antineoplastic agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61P—SPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P7/00—Drugs for disorders of the blood or the extracellular fluid
    • A61P7/04—Antihaemorrhagics; Procoagulants; Haemostatic agents; Antifibrinolytic agents
    • C—CHEMISTRY; METALLURGY
    • C07—ORGANIC CHEMISTRY
    • C07D—HETEROCYCLIC COMPOUNDS
    • C07D209/00—Heterocyclic compounds containing five-membered rings, condensed with other rings, with one nitrogen atom as the only ring hetero atom
    • C07D209/02—Heterocyclic compounds containing five-membered rings, condensed with other rings, with one nitrogen atom as the only ring hetero atom condensed with one carbocyclic ring
    • C07D209/44—Iso-indoles; Hydrogenated iso-indoles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Organic Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • General Chemical & Material Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Software Systems (AREA)
  • Rheumatology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Diabetes (AREA)
  • Hematology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Oncology (AREA)
  • Immunology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Communicable Diseases (AREA)
  • Obesity (AREA)

Abstract

모션 기반 기기 동작들의 방법들, 프로그램 제품들, 및 시스템들이 설명된다. 모바일 기기는 모션 센서와 근접 센서의 동작들을 코디네이트할 수 있다. 모바일 기기는 모션 센서를 이용하여 제스처 이벤트를 결정할 수 있다. 모바일 기기는 근접 센서를 이용하여 근접 이벤트를 결정할 수 있다. 모바일 기기는 제스처 이벤트와 근접 이벤트를 이용하여 서로를 확인하고, 모바일 기기가 지정된 제스처에 따라 대상 물체에 근접하여 움직였다고 결정할 수 있다. 확인 즉시, 모바일 기기는 지정된 작업을 수행할 수 있다.

Description

모션 기반 기기 동작{MOTION-BASED DEVICE OPERATIONS}
본 개시 내용은 일반적으로 모바일 기기의 모션 기반 동작들에 관한 것이다.
모바일 기기는 모바일 기기의 모션을 검출하도록 구성되어 있는 모션 센서를 포함할 수 있다. 모션 센서는 2차원 또는 3차원 공간에서 모바일 기기의 움직임과 회전을 측정할 수 있고 일련의 가속 판독치를 출력으로서 제공할 수 있다. 이 가속 판독치에 기초하여, 모바일 기기는 기기가 움직이고 있는지 또는 움직이고 있었는지를 판정할 수 있다. 모바일 기기는 모바일 기기의 다양한 기능 또는 애플리케이션 프로그램을 제어하는 데 모션을 이용할 수 있다. 예를 들어, 모바일 기기는 일련의 판독치를 애플리케이션 프로그램에의 입력으로서 이용할 수 있다. 모션 센서 판독치에 기초하여, 애플리케이션 프로그램은 다양한 작업을 수행할 수 있다.
모션 기반 기기 동작들의 방법들, 프로그램 제품들, 및 시스템들이 설명된다. 모바일 기기는 모션 센서와 근접 센서의 동작들을 코디네이트할 수 있다. 모바일 기기는 모션 센서를 이용하여 제스처 이벤트를 결정할 수 있다. 모바일 기기는 근접 센서를 이용하여 근접 이벤트를 결정할 수 있다. 모바일 기기는 제스처 이벤트와 근접 이벤트를 이용하여 서로를 확인하고, 모바일 기기가 지정된 제스처에 따라 대상 물체에 근접하여 움직였다고 결정할 수 있다. 확인 즉시, 모바일 기기는 지정된 작업을 수행할 수 있다.
일반적으로, 하나의 양태에서, 모션 기반 기기 동작들은 모바일 기기가 물체에 근접한 위치로 움직인 것을 검출하는 즉시 모바일 기기로 하여금 작업을 수행하게 하도록 구성된 프로그램 명령을 수신하는 것을 포함할 수 있다. 동작들은 모바일 기기의 하나 이상의 모션 센서로부터 모션 판독치를 획득하는 것; 모션 판독치가 모바일 기기가 하나 이상의 지정된 방식으로 대상 물체를 향해 움직이는 것을 나타낸다고 결정하는 것을 포함하여, 모션 판독치에 기초하여 제스처 이벤트를 검출하는 것; 모바일 기기의 근접 센서로부터 근접 판독치를 획득하는 것을 포함하여, 근접 이벤트를 검출하는 것 - 근접 판독치는 모바일 기기가 물체에 근접하여 위치해 있는 것을 나타냄 -; 제스처 이벤트와 근접 이벤트에 기초하여, 모바일 기기가 대상 물체에 근접한 위치로 움직였다고 결정하는 것; 그 후 이에 응답하여 작업을 수행하는 것을 포함할 수 있다.
모션 기반 기기 동작들은 다음의 이점들을 성취하도록 구현될 수 있다. 종래의 모바일 기기들에 비하여 제스처 인식 또는 근접 결정의 오인식률(false positive rates)이 낮아질 수 있다. 모바일 기기가 지정된 제스처와 유사한 방식으로 움직이는 경우, 모바일 기기는 근접 센서로부터의 확인 후에 그 움직임을 제스처로 지정할 수 있다. 중단된 움직임은 걸러내어질 수 있다. 따라서, 예를 들어, 사용자가 모바일 기기를 포켓에서 귀 쪽으로 움직이면, 모바일 기기는 모바일 기기가 귀에 도달할 때까지 음성 입력 기능을 작동시킬 필요가 없다.
게다가, 모바일 기기의 응답 시간이 종래의 모바일 기기에 비하여 단축될 수 있다. 모바일 기기의 근접 센서는 근접 검출 전에 교정(calibration)이 필요할 수 있다. 모바일 기기는 모션 센서 판독치에 기초하여 모바일 기기가 물체에 도달하기 전에 근접 센서를 교정할 수 있다. 따라서, 모바일 기기가 물체에 도달할 때, 근접 센서는 이미 교정되어 있을 수 있다. 작업이 근접 센서 입력을 필요로 하면, 사용자의 관점에서 보면 근접 센서는 거의 즉시 응답하는 것 같이 보일 수 있다.
모션 기반 기기 동작들의 하나 이상의 구현예의 세부 사항들이 첨부 도면들과 하기의 설명에서 제시된다. 모션 기반 기기 동작들의 다른 특징들, 양태들, 및 이점들은 이 설명, 도면들, 및 청구항들로부터 분명해질 것이다.
도 1은 모범적인 모션 기반 기기 동작들의 개관을 제공하는 도면이다.
도 2는 모션 기반 동작들을 수행하도록 구성된 모범적인 모바일 기기의 블록도이다.
도 3은 모범적인 제스처 인식 시스템을 보여주는 블록도이다.
도 4a-4b는 모션 센서 판독치를 모션 패턴에 매칭시키는 모범적인 기술들을 보여주는 도면들이다.
도 5는 모바일 기기의 모범적인 제스처 확인 서브시스템을 보여주는 블록도이다.
도 6a-6b는 근접 센서를 구성하는 타임라인들을 보여주는 도면들이다.
도 7a-7c는 모바일 기기의 모범적인 모션 기반 동작들을 보여주는 순서도들이다.
도 8은 모션 기반 동작들을 수행하도록 구성된 모바일 기기의 모범적인 아키텍처의 블록도이다.
도 9는 모션 기반 동작들을 수행하도록 구성된 모바일 기기들에 대한 모범적인 네트워크 운영 환경의 블록도이다.
여러 도면들에서 같은 참조 부호들은 같은 요소들을 나타낸다.
모션 기반 기기 동작들의 개관
도 1은 모범적인 모션 기반 기기 동작들의 개관을 제공하는 도면이다. 모바일 기기(100)는 제스처에 응답하여 작업을 수행하도록 구성된 기기이다. 제스처는 모바일 기기(100)를 처음 위치로부터 집어 올려 모바일 기기(100)를 얼굴(118) 가까이에 두는 사용자 액션을 포함할 수 있다.
도시된 예에서, 모바일 기기(100)의 처음 위치는 테이블(102) 위에 정면을 위로 한 위치이다. 이어서 모바일 기기(100)를 테이블에서 집어 올려, 모션 경로(104)를 따라, 얼굴 쪽으로 움직인다. 모바일 기기(100)는 모션 센서를 이용하여 모션 경로(104)를 추적할 수 있다. 모션 센서는 다수의 축(예를 들어, X, Y, Z 또는 피치(pitch), 요(yaw), 롤(roll))에서 모바일 기기(100)의 선형 가속 값들, 각속도 값들, 또는 둘 다를 측정하도록 구성되어 있을 수 있다. 모션 센서 판독치는 모션 경로(104)에 대응하는 시계열의 모션 벡터들을 포함할 수 있다.
모바일 기기(100)는 제스처 인식 서브시스템(110)을 포함할 수 있다. 제스처 인식 서브시스템(110)은 다양한 모션으로부터 제스처를 인식하도록 구성된 모바일 기기(100)의 컴포넌트이다. 예를 들어, 모바일 기기(100)를 처음 위치로부터 집어 올려 모바일 기기(100)를 얼굴(118) 가까이에 두는 제스처가 왼손 또는 오른손에 의해, 빠르게 또는 느리게, 중단(예를 들어, 모바일 기기(100)를 귀 가까이에 두기 전에 디스플레이를 보기 위해 모바일 기기(100)를 돌리는 액션)과 함께 또는 중단 없이 수행될 수 있다. 제스처 인식 서브시스템(110)은 하나 이상의 모션 패턴에 기초하여 이들 변화로부터 제스처를 인식할 수 있다. 제스처 인식 서브시스템(110)의 동작들의 추가 세부 사항들이 도 3 및 도 4a-4b에 관련하여 아래에 설명될 것이다.
모바일 기기(100)는 근접 검출 서브시스템(112)을 포함할 수 있다. 근접 검출 서브시스템(112)은 근접 이벤트를 검출하도록 구성된 모바일 기기(100)의 컴포넌트이다. 모바일 기기(100)는 근접 이벤트를 이용하여 인식된 제스처를 확인하고 오인식(false positives)을 줄일 수 있다. 오인식은 모바일 기기의 움직임이 지정된 제스처로 잘못 인식되는 일이다. 예를 들어, 모바일 기기를 포켓에서 꺼내서 테이블 위에 둘 때, 모바일 기기는 모바일 기기를 집어 올리는 제스처가 수신되었다고 잘못 판정할 수 있다. 모바일 기기(100)의 하나 이상의 다른 센서를 이용함으로써, 근접 검출 서브시스템(112)은 모바일 기기의 조건이 정상적인 제스처의 결과와 모순될 때 오인식을 검출할 수 있다. 예를 들어, 모바일 기기(100)는 모바일 기기(100)를 얼굴(118) 쪽으로 움직이는 제스처에서, 그 움직임 후에, 근접 센서가 얼굴(118)을 검출하지 못할 때 그 제스처의 오인식을 식별할 수 있다. 모바일 기기(100)는 제스처 인식 서브시스템(110)이 제스처를 인식한 직후 또는 인식하기 직전에(예를 들어, 시점(116)에) 근접 검출 서브시스템(112)이 근접 이벤트를 검출할 때 제스처를 확인할 수 있다.
마찬가지로, 모바일 기기(100)는 제스처 인식 서브시스템(110)이 검출한 제스처를 이용하여 근접 이벤트를 확인할 수 있다. 예를 들어, 모바일 기기(100)는 사용자가 모바일 기기(100)의 근접 센서 가까이에 손을 두거나, 모바일 기기를 귀 가까이에 둘 때 근접 이벤트를 검출할 수 있다. 제스처 인식 서브시스템(110)이 결정한 제스처에 기초하여, 모바일 기기(100)는 사용자가 모바일 기기(100)를 귀 가까이에 두는 것에 의해 근접 이벤트가 야기되었는지를 판정할 수 있다. 모바일 기기(100)는 모바일 기기(100)를 귀 가까이에 두는 제스처가 거의 동시에 발생하였을 때 디스플레이 스크린을 끌 수 있다. 이렇게 하여, 모바일 기기(100)는 사용자가 단지 디스플레이 스크린 가까이에 손을 둘 때 디스플레이 스크린을 끄는 것을 방지할 수 있다.
제스처의 확인 즉시, 모바일 기기(100)는 다양한 작업을 수행할 수 있다. 예를 들어, 모바일 기기(100)는 터치 스크린 입력 장치를 끄거나, 음성 입력 장치를 작동시키거나, 둘 다를 할 수 있다. 확인된 제스처 입력의 특성에 기초하여, 모바일 기기(100)는 음성 입력 장치를 다양한 입력 모드로 설정할 수 있다.
도 2는 모션 기반 동작들을 수행하도록 구성된 모범적인 모바일 기기(100)의 블록도이다. 모바일 기기(100)는 모션 센서(202)를 포함할 수 있다. 모션 센서(202)는 모바일 기기(100)의 모션들(선형 가속, 또는 각속도, 또는 둘 다를 포함)을 연속적으로 모니터하고 모션 센서 판독치(206)를 생성할 수 있다. 모바일 기기(100)는 모션 센서 판독치(206)를 수신하고 인식된 제스처(220)를 생성하도록 구성된 제스처 인식 서브시스템(110)을 포함할 수 있다. 인식된 제스처(220)는 제스처의 식별자를 포함할 수 있다(예를 들어, "집어 올리는 것" 또는 "내려놓는 것"). 일부 구현예에서, 인식된 제스처(220)는 타임스탬프와 연관될 수 있다. 타임스탬프는 제스처의 시작 시간, 제스처의 종료 시간, 또는 중간의 임의 시간을 나타낼 수 있다.
모바일 기기(100)는 인식된 제스처(220)를 확인하도록 구성된 근접 검출 서브시스템(112)을 포함할 수 있다. 인식된 제스처(220)가 보통 모바일 기기(100)와 물체 간의 근접을 야기하는 제스처이면, 근접 검출 서브시스템(112)은 근접을 검출하도록 근접 센서(222)를 구성할 수 있다. 근접 센서(222)는 모바일 기기(100)와 인근 물체 간의 물리적 접촉 없이 그 물체의 존재를 검출하도록 구성된 모바일 기기(100)의 컴포넌트를 포함할 수 있다. 근접 검출 서브시스템(112)이 인식된 제스처(220)를 수신할 때, 근접 검출 서브시스템(112)은 근접 센서의 동작 모드를 수동 모드에서 능동 모드로 바꿀 수 있다. 능동 모드에서, 근접 센서는 인근 물체(예를 들어, 사람 얼굴(118))를 검출하고 근접 출력(224)을 생성할 수 있다. 근접 출력(224)은 이진 값(예를 들어, "예" 또는 "아니오")이거나 또는 모바일 기기(100)가 물체 가까이에 있을 가능성을 나타내거나, 모바일 기기와 물체 간의 거리를 나타내는 스케일 값일 수 있다.
근접 출력(224)에 기초하여, 근접 검출 서브시스템(112)은 인식된 제스처(220)를 확인할지를 판정할 수 있다. 근접 검출 서브시스템(112)이 인식된 제스처(220)를 확인하면, 근접 검출 서브시스템(112)은 인터페이스(226)에 통지할 수 있다. 인터페이스(226)는 시스템 기능 또는 애플리케이션 프로그램의 애플리케이션 프로그래밍 인터페이스(API)를 포함할 수 있다. 인터페이스(226)를 통하여 확인을 수신하는 즉시, 시스템 기능 또는 애플리케이션 프로그램은 인식된 제스처(220)에 기초하여 작업을 수행할 수 있다.
모범적인 제스처 인식 서브시스템의 동작들
도 3은 모범적인 제스처 인식 시스템을 보여주는 블록도이다. 제스처 인식 시스템은 모션 센서(202) 및 제스처 인식 서브시스템(110)을 포함할 수 있다. 제스처 인식 서브시스템(110)은 모션 센서 판독치(206)를 수신하여 처리하도록 구성되어 있을 수 있다. 제스처 인식 서브시스템(110)은 동적 필터링 서브시스템(308)을 포함할 수 있다. 동적 필터링 서브시스템(308)은 모션 센서 판독치(206)에 대해 동적 필터링을 수행하도록 구성된 제스처 인식 서브시스템(110)의 컴포넌트이다. 동적 필터링 서브시스템(308)은 모션 센서 판독치(206) 각각을 고역 통과 필터링할 수 있다. 동적 필터링 서브시스템(308)은 모션 센서 판독치(206)의 시계열의 모션 벡터들의 시간 차원을 감소시킬 수 있다.
일부 구현예에서, 동적 필터링 서브시스템(308)은 가속 값 또는 각속도 값 중 적어도 하나일 수 있는 필터링 임계치(filtering threshold)를 적용할 수 있다. 모션 벡터 V가 적어도 하나의 축(예를 들어, 축 X)에서 필터링 임계치를 초과한다면, 동적 필터링 서브시스템(308)은 시간에서 모션 벡터 V에 앞서는 일련의 하나 이상의 모션 벡터 V1... Vi를 처리하여 모션 벡터들 V1... Vi를 대체하는 새로운 모션 벡터 V'를 생성할 수 있다. 동적 필터링 서브시스템(308)은 벡터들 V1... Vi의 평균을 산출함으로써 모션 벡터 V'를 생성할 수 있다. 이렇게 하여, 동적 필터링 서브시스템(308)은 시계열에서 더 적은 수의 항목을 갖는 정규화된 모션 센서 판독치를 생성할 수 있다.
게다가, 동적 필터링 서브시스템(308)은 모션 센서 판독치(206)의 일부를 추가 처리를 위해 선택하도록 구성될 수 있다. 이 선택은 이동하는 시간 창(sliding time window, 310)에 기초할 수 있다. 모션 센서(202)는 모션 센서 판독치(206)를 연속적으로 생성할 수 있다. 동적 필터링 서브시스템(308)은 이동하는 창(310)을 이용하여 연속 데이터의 세그먼트들을 선택하고, 선택된 세그먼트들에 기초하여 정규화된 모션 센서 판독치(311)를 생성할 수 있다.
제스처 인식 서브시스템(110)은 모션 식별 서브시스템(312)을 포함할 수 있다. 모션 식별 서브시스템(312)은 정규화된 모션 센서 판독치(311)가 알려진 모션 패턴에 매칭하는지를 판정하도록 구성된 제스처 인식 서브시스템(110)의 컴포넌트이다. 모션 식별 서브시스템(312)은 정규화된 모션 센서 판독치(311)를 수신하고, 모션 패턴 데이터 저장소(314)에 액세스할 수 있다. 모션 패턴 데이터 저장소(314)는 하나 이상의 모션 패턴(316)을 저장하는 저장 장치를 포함할 수 있다. 모션 패턴들(316) 각각은 일련의 모션 벡터들을 포함할 수 있고 오차 범위(error margin)를 정의하는 SOI(sphere of influence)와 연관될 수 있다. 모션 식별 서브시스템(312)은 수신된 정규화된 모션 센서 판독치(311)를 저장된 모션 패턴들(316) 각각과 비교하고, 그 비교에 기초하여 제스처를 인식할 수 있다.
수신된 정규화된 모션 센서 판독치(311)를 저장된 모션 패턴들(316) 각각과 비교하는 것은 거리 계산을 포함할 수 있다. 모션 식별 서브시스템(312)은 거리 계산 서브시스템(318)을 포함할 수 있다. 거리 계산 서브시스템(318)은 정규화된 모션 센서 판독치(311)와 저장된 모션 패턴들(316) 각각 사이의 거리를 계산하도록 구성된 모션 식별 서브시스템(312)의 컴포넌트이다. 정규화된 모션 센서 판독치(311)와 모션 패턴 P 사이의 거리가 모션 패턴 P의 SOI의 반경 안에 있다면, 모션 식별 서브시스템(312)은 매칭하는 것을 식별하고 제스처(220)를 인식할 수 있다. 모션 식별 서브시스템(312)은 인식된 제스처(220)를 근접 검출 서브시스템(112)으로 보낼 수 있다. 거리 계산 서브시스템(318)의 동작들의 추가 세부 사항들이 도 4a-4b에 관련하여 아래에 설명될 것이다.
도 4a-4b는 모션 센서 판독치를 모션 패턴에 매칭시키는 모범적인 기술들을 보여주는 도면들이다. 도 4a는 도 3에 관련하여 위에 설명된 정규화된 모션 센서 판독치(311)의 예시의 데이터 구조를 보여준다. 정규화된 모션 센서 판독치(311)는 일련의 모션 벡터들(402)을 포함할 수 있다. 각각의 모션 벡터(402)는 축 X, Y, 및 Z에 대해 각각 가속 판독치 또는 각속도 ax, ay, 및 az를 포함할 수 있다. 일부 구현예에서, 각각의 모션 벡터(402)는 시간 ti와 연관될 수 있고, 이 시간은 시계열을 정의한다. 일부 구현예에서, 정규화된 모션 센서 판독치(311)는 모션 벡터들(402)의 차수를 이용하여 시계열의 시간 차원을 함축적으로 지정할 수 있다. 이들 구현예에서, 시간은 생략될 수 있다.
거리 계산 서브시스템(318)(도 3에 관련하여 위에 설명됨)은 정규화된 모션 센서 판독치(311)를 모션 패턴들(206a, 206b, 및 206c) 각각에 비교할 수 있다. 이 비교는 매칭하는 것을 생성할 수 있다. 정규화된 모션 센서 판독치(311)가 모션 패턴들(206a, 206b, 및 206c) 중 적어도 하나와 매칭한다면, 제스처가 잠정적으로 인식된다. 비교의 동작들은 도 4b에 관련하여 아래에 더 상세히 설명된다.
도 4b는 거리 계산 서브시스템(318)의 거리 계산 동작들을 보여주는 도면이다. 비교를 행하기 위해, 거리 계산 서브시스템(318)은 정규화된 모션 센서 판독치(311)와 모션 패턴(예를 들어, 모션 패턴들(206a, 206b, 및 206c)) 사이의 거리를 계산할 수 있다. 거리 계산 서브시스템(318)은 정규화된 모션 센서 판독치(311)와 모션 패턴 간의 동적 시간 정합(dynamic time warp) 기술들을 이용한 유향 그래프(directed graph, 410)를 이용하여 거리를 계산할 수 있다. 편의상, 정규화된 모션 센서 판독치(311)는 R로 지정될 것이고 모션 패턴은 P로 지정될 것이다. R과 P 사이의 거리는 D(R, P)로 지정될 것이다.
도시된 예에서, 정규화된 모션 센서 판독치(311)는 시계열의 m개의 정규화된 모션 센서 판독치 RV(1) 내지 RV(m)을 포함할 수 있다. 모션 패턴은 시계열의 n개의 모션 벡터 PV(1) 내지 PV(n)을 포함할 수 있다. 일부 구현예에서, 거리 계산 서브시스템(318)은 유향 그래프(410)를 이용함으로써 거리 D(R, P)를 계산한다. 유향 그래프(410)는 m x n 노드들을 포함할 수 있다. 각 노드는 코스트(cost)와 연관될 수 있다. 노드 (i, j)의 코스트는 모션 벡터들 RV(i)와 PV(j) 사이의 거리에 기초하여 결정될 수 있다. 이 거리는 유클리디언 거리(Euclidean distance), 맨하탄 거리(Manhattan distance), 또는 다차원 공간의 2개의 벡터 사이의 임의의 다른 거리일 수 있다.
거리 계산 서브시스템(318)은 노드 (i, j)로부터 노드 (i, j+1)로 그리고 노드 (i, j)로부터 노드 (i+1, j)로의 유향 에지(directed edge)를 추가할 수 있다. 이렇게 모든 노드들 사이의 유향 에지들은, 이 예에서, 다수의 경로가 노드 (1, 1)로부터 노드 (m, n)으로 이어지는 그리드(grid)를 형성할 수 있다.
거리 계산 서브시스템(318)은, 유향 그래프(410)에, 소스 노드 S 및 S로부터 노드 (1, 1)로의 유향 에지, 및 타겟 노드 T 및 노드 (m, n)으로부터 T로의 유향 에지를 추가할 수 있다. 거리 계산 서브시스템(318)은 S와 T 사이의 최단 거리를 결정하고, 최단 거리의 코스트를 R과 P 사이의 거리 D(R, P)로 지정할 수 있다.
일부 구현예에서, 거리 계산 서브시스템(318)은 비교시에 최적화를 수행할 수 있다. 거리 계산 서브시스템(318)은 비교 임계치들(412 및 414)을 적용함으로써 최적화를 수행할 수 있다. 비교 임계치들(412 및 414)은 거리 계산 서브시스템(318)이 거리 계산을 수행하는 일련의 벡터 쌍들을 정의할 수 있다. 비교 임계치들(412 및 414)을 적용함으로써, 거리 계산 서브시스템(318)은 매칭하는 것으로 이어질 것 같지 않은 계산들은 제외할 수 있다. 예를 들어, 정규화된 모션 센서 판독치(311)의 처음 모션 벡터 RV(1)와 모션 패턴의 마지막 모션 벡터 PV(n) 사이의 거리 계산은 매칭하는 것으로 이어질 것 같지 않고, 따라서 계산에서 생략될 수 있다.
거리 계산 서브시스템(318)은 거리 D(R, P)를 모션 패턴 P와 연관된 SOI와 비교할 수 있다. 거리가 SOI 안에 있다면, 거리 계산 서브시스템(318)은 매칭하는 것을 식별할 수 있다. 제스처가 잠정적으로 인식될 수 있다.
5는 모바일 기기(100)의 모범적인 근접 검출 서브시스템(112)을 보여주는 블록도이다. 근접 검출 서브시스템(112)은 잠정적으로 인식된 제스처를 확인하도록 구성될 수 있다. 근접 검출 서브시스템(112)은 근접 센서 컨트롤러(502)를 포함할 수 있다. 근접 센서 컨트롤러(502)는 제스처 인식 서브시스템(110)으로부터 수신된 인식된 제스처(220)에 기초하여 근접 센서(222)를 다양한 동작 모드로 설정할 수 있는 근접 검출 서브시스템(112)의 컴포넌트이다.
모바일 기기(100)가 물체에 근접해 있는 것을 검출하기 위하여, 근접 센서(222)는 전자기장 또는 정전기장을 방출하고 장(field)의 변화를 검출할 수 있다. 변화를 검출하기 위해, 근접 센서(222)는 장의 판독치를 기준치(baseline)에 비교할 수 있다. 기준치는 근접 센서의 검출 가능한 근처에 아무런 물체도 없을 때의 전자기장 또는 정전기장의 판독치일 수 있다. 판독치와 기준치 간의 오프셋이 임계치를 만족시킨다면, 근접 이벤트가 검출될 수 있다.
근접 센서 컨트롤러(502)는 근접 센서(222)를 수동 모드 또는 능동 모드에서 동작하도록 구성할 수 있다. 근접 센서(222)가 수동 모드에서 동작할 때, 근접 검출 서브시스템(112)은 근접 이벤트의 표현(예를 들어, 근접 이벤트의 발생의 타임스탬프)을 근접 이벤트 캐시(504)에 저장할 수 있다. 근접 검출 서브시스템(112)은 인식된 제스처(220)의 타임스탬프와 근접 이벤트의 발생의 타임스탬프 간의 시간 차이가 임계치보다 작을 때 인터페이스(226)에 신호를 보낼 수 있다. 근접 센서(222)가 능동 모드에서 동작할 때, 근접 검출 서브시스템(112)은 근접 센서(222)가 근접 이벤트를 검출할 때 인터페이스(226)에 신호를 보낼 수 있다.
근접 센서 컨트롤러(502)는 근접 센서(222)를 기본으로 수동 모드로 설정할 수 있다. 근접 센서 컨트롤러(502)는 근접 센서 컨트롤러(502)가 제스처 인식 서브시스템(110)으로부터 인식된 제스처(220)를 수신할 때 근접 센서(222)를 능동 모드로 설정할 수 있다. 근접 센서 컨트롤러(502)는 근접 검출 서브시스템(112)이 인터페이스(226)에 신호를 보낼 때 근접 센서(222)를 다시 수동 모드로 설정할 수 있다. 게다가, 근접 센서 컨트롤러(502)는, 근접 센서(222)가 능동 모드로 설정된 이후 임계 시간이 지난 후에, 근접 센서(222)가 근접 이벤트를 검출하지 않을 때 근접 센서(222)를 다시 수동 모드로 설정할 수 있다.
도 6a-6b는 근접 센서를 구성하는 타임라인들을 보여주는 도면들이다. 도 6a는 모바일 기기의 근접 센서의 종래의 동작들을 보여준다. 시간 t1(602)에서, 모바일 기기는 근접 센서 입력을 요청하는 작업을 위해 근접 센서를 작동시킬 수 있다. 근접 센서는 전자기장 또는 정전기장을 방출할 수 있다. 시간 t2(604)에서, 근접 센서는 변화를 측정할 수 있는 비교 대상인 기준치 r1을 확립하기 위해 충분한 판독치를 획득할 수 있다. 기준치를 획득하는 데 걸리는 시간은 (t2-t1)이다. 시간(606)에서, 모바일 기기는 물체에 가까이 움직인다. 전자기장 또는 정전기장은 r2로 변화한다. 시간 t3에서, 근접 센서는 그 변화를 검출할 수 있다. 근접 센서는 r2와 r1 사이의 오프셋이 근접 임계치를 만족시킨다고 결정할 수 있고, 모바일 기기가 물체의 근처로 움직였다고 결정할 수 있다. 따라서 인지된 응답 시간(608)은 기준치를 확립하는 시간(t2-t1)에 근접 검출을 위한 시간(t3-t2)을 더한 시간이다.
도 6b는 모바일 기기의 근접 센서의 모션 기반 동작들을 보여준다. 시간 t1'(622)에서, 모바일 기기는 모션 검출 모드에 들어갈 수 있다. 근접 센서를 켜고 수동 모드에서 동작하도록 설정할 수 있다. 수동 모드에서, 근접 센서는 기준치를 확립할 수 있다. 시간 t2'(624)에서, 근접 센서는 기준치 r1을 확립할 수 있다. 기준치를 획득하는 데 걸리는 시간은 (t2'-t1')이다. 시간 tc(626)에서, 제스처 인식 서브시스템이 제스처를 검출하고 그러한 검출 즉시, 제스처 구성 시스템이 근접 센서를 능동 모드로 설정한다. 그 후, 시간(627)에서, 전자기장 또는 정전기장은 r2로 변화한다. 시간 t3'(628)에서, 모바일 센서는 r2와 r1 사이의 오프셋이 근접 임계치를 만족시킨다고 결정할 수 있고, 모바일 기기가 물체에 근접한 위치로 움직였다고 결정한다. 기준치를 확립하기 위한 시간(t2'-t1')은 모바일 기기의 모션으로 걸리는 시간(모바일 기기를 집어 들어 모바일 기기를 귀 가까이에 두는 데 걸리는 시간)으로 가려질 수 있다. 이에 따라, 인지된 응답 시간(630)은 근접 검출 시간(t3'-tc)일 수 있고, 이는 종래의 모바일 기기의 인지된 응답 시간(608)(도 6a)보다 수백 밀리초 짧을 수 있다.
모바일 기기의 모범적인 모션 기반 동작들
도 7a는 모바일 기기의 모범적인 모션 기반 동작들(700)을 보여주는 순서도이다. 모바일 기기는 전술한 바와 같은 모바일 기기(100)일 수 있다. 모바일 기기는 모바일 기기가 물체에 근접한 위치로 움직인 것을 검출하면, 모바일 기기로 하여금 작업을 수행하게 하도록 구성된 프로그램 명령을 수신할 수 있다(702). 물체는 사람 얼굴의 적어도 일부를 포함할 수 있다. 프로그램 명령은 운영 체제 명령, 애플리케이션 프로그램 명령, 또는 둘 다를 포함할 수 있다. 프로그램 명령은 모바일 기기로 하여금 터치 입력을 수신하기 위한 터치 입력 모드, 또는 음성 입력을 수신하기 위한 음성 입력 모드에서 동작하게 하도록 구성될 수 있다.
모바일 기기는 모바일 기기의 모션 센서로부터 모션 판독치를 획득할 수 있다(704). 모바일 기기의 모션 센서로부터 모션 판독치를 획득하는 동안, 모바일 기기는 근접 센서에 대한 근접 기준치를 결정할 수 있다. 모바일 기기의 근접 센서에 대한 근접 기준치를 결정하는 것은 근접 센서를 수동 모드로 설정하는 것 - 수동 모드에서 근접 센서가 하나 이상의 기준 판독치를 생성함 - 과, 수동 모드에서 근접 센서가 생성한 기준 판독치들에 기초하여 근접 기준치를 결정하는 것을 포함할 수 있다.
모바일 기기는 모션 판독치가 모바일 기기가 물체 쪽으로 움직이는 것을 나타낸다고 결정할 수 있다(706). 모션 판독치가 모바일 기기가 물체 쪽으로 움직이는 것을 나타낸다고 결정하는 것은 모션 판독치를 하나 이상의 사전 저장된 모션 패턴에 비교하는 것과, 비교의 결과에 기초하여 모바일 기기가 제스처에서 물체 쪽으로 움직이고 있다고 결정하는 것을 포함할 수 있다. 하나 이상의 사전 저장된 모션 패턴은 모바일 기기를 물체 쪽으로 움직이는 제스처와 연관될 수 있다. 각각의 사전 저장된 모션 패턴은 제스처의 움직임 방식에 대응할 수 있다.
모션 판독치가 모바일 기기가 물체 쪽으로 움직이는 것을 나타낸다고 결정하는 것에 응답하여, 모바일 기기는 모바일 기기의 근접 센서로부터 근접 판독치를 획득할 수 있다(708). 근접 판독치를 획득하는 것은 근접 센서를 수동 모드로부터 능동 모드로 설정하는 것 - 능동 모드에서 근접 센서가 근접 기준치와 비교하기 위한 하나 이상의 판독치를 생성함 - 을 포함할 수 있다. 모션 판독치가 모바일 기기가 물체 쪽으로 움직이는 것을 나타낸다고 결정하는 것은 모션 시작 시간을 결정하는 것을 포함한다. 근접 센서를 수동 모드로부터 능동 모드로 설정하는 것은 모션 시작 시간으로부터 지정된 지연 후에 발생한다.
모션 판독치와 근접 판독치에 기초하여, 모바일 기기는 모바일 기기가 물체에 근접한 위치로 움직였다고 결정할 수 있다(710). 모바일 기기가 물체에 근접한 위치로 움직였다고 결정하는 것은 근접 판독치가 근접 기준치로부터 지정된 근접 오프셋을 만족시킨다고 결정하는 것을 포함할 수 있다.
모바일 기기는 프로그램 명령에 따라 작업을 수행할 수 있다(712). 작업을 수행하는 것은 모바일 기기의 입력 모드를 터치 입력 모드에서 음성 입력 모드로 바꾸는 것을 포함할 수 있다. 입력 모드를 음성 입력 모드로 바꾸는 것은 모바일 기기를 음성 커맨드이나 구술 중 적어도 하나를 받아들이도록 구성하는 것을 포함한다.
도 7b는 모바일 기기의 모범적인 모션 기반 동작들(720)을 보여주는 순서도이다. 모바일 기기는 전술한 바와 같은 모바일 기기(100)일 수 있다. 모바일 기기는 근접 센서를 수동 모드에서 동작하도록 설정할 수 있다(722).
모바일 기기는 모바일 기기의 제스처 인식 서브시스템으로부터 인식된 제스처를 수신할 수 있다(724). 모바일 기기는 인식된 제스처를 수신하기 전 임계 기간(예를 들어, 100 밀리초) 안에 근접 센서가 근접 이벤트를 검출했는지를 판정할 수 있다(726).
모바일 기기가 인식된 제스처를 수신하기 전 임계 기간 안에 근접 센서가 근접 이벤트를 검출했다고 결정한다면, 모바일 기기는 근접 이벤트를 확인할 수 있다. 확인 즉시, 모바일 기기는 작업(예를 들어, 입력 모드를 음성 입력 모드로 바꾸는 것)을 수행할 수 있다(728). 작업을 수행하는 것 외에, 모바일 기기는 근접 센서를 다시 수동 모드로 설정할 수 있다(722).
모바일 기기가 인식된 제스처를 수신하기 전 임계 기간 안에 근접 센서가 근접 이벤트를 검출하지 않았다고 결정한다면, 모바일 기기는 근접 센서를 능동 모드에서 동작하도록 설정할 수 있다(730). 모바일 기기는 인식된 제스처를 수신한 후 임계 기간(예를 들어, 100 밀리초) 안에 근접 센서가 근접 이벤트를 검출했는지를 판정할 수 있다(732). 인식된 제스처를 수신한 후 임계 기간 안에 근접 센서가 근접 이벤트를 검출했다면, 모바일 기기는 작업을 수행할 수 있다(728). 그렇지 않다면, 모바일 기기는 근접 센서를 수동 모드에서 동작하도록 설정할 수 있다(722).
도 7c는 모바일 기기의 모범적인 모션 기반 동작들(740)을 보여주는 순서도이다. 모바일 기기는 전술한 바와 같은 모바일 기기(100)일 수 있다. 모바일 기기는, 모바일 기기가 물체에 근접한 위치로 움직인 것을 검출하면, 모바일 기기로 하여금 작업을 수행하게 하도록 구성된 프로그램 명령을 수신할 수 있다(742).
모바일 기기는 모바일 기기의 하나 이상의 모션 감지 장치로부터 모션 판독치를 획득할 수 있다(744). 모션 감지 장치들은 가속도계, 자이로스코프, 자력계, 광 센서, 또는 중력계 중 적어도 하나를 포함할 수 있다.
모바일 기기는 모션 판독치에 기초하여 제스처 이벤트를 검출할 수 있다(746). 제스처 이벤트를 검출하는 것은 모션 판독치가 모바일 기기가 하나 이상의 지정된 방식으로 대상 물체 쪽으로 움직이는 것을 나타낸다고 결정하는 것을 포함할 수 있다.
모바일 기기는 근접 이벤트를 검출할 수 있다(748). 근접 이벤트를 검출하는 것은 모바일 기기의 근접 센서로부터 근접 판독치를 획득하는 것을 포함할 수 있다. 근접 판독치는 모바일 기기가 물체에 근접하여 위치해 있는 것을 나타낼 수 있다. 근접 이벤트를 검출하는 것은 근접 센서를 수동 모드에서 동작하도록 설정하는 것 - 수동 모드에서 근접 센서의 트리거가 근접 이벤트의 이벤트 통지를 야기함 - 을 포함할 수 있다. 근접 이벤트를 검출하는 것은 근접 센서가 수동 모드에서 동작할 때 근접 이벤트를 검출하는 것을 포함할 수 있다.
모바일 기기는, 제스처 이벤트와 근접 이벤트에 기초하여, 모바일 기기가 대상 물체에 근접한 위치로 움직였다고 결정할 수 있다(750). 모바일 기기가 대상 물체에 근접한 위치로 움직였다고 결정하는 것은 제스처 이벤트를 검출하기 전 임계 기간 안에 근접 이벤트가 검출될 때, 또는 제스처 이벤트를 검출한 후 임계 기간 안에 근접 이벤트가 검출될 때 모바일 기기가 대상 물체에 근접한 위치로 움직였다고 결정하는 것을 포함할 수 있다. 모바일 기기가 대상 물체에 근접한 위치로 움직였다고 결정하는 것은 제스처 이벤트의 검출 즉시 근접 센서를 수동 모드에서 능동 모드로 전환하도록 설정하는 것을 포함할 수 있다. 능동 모드에서 동작하고 있을 때, 근접 센서의 트리거가 근접 이벤트의 이벤트 통지, 디스플레이의 백라이트의 꺼짐, 또는 터치 감지 입력 장치의 터치 입력의 꺼짐을 야기할 수 있다.
모바일 기기는 프로그램 명령에 따라 작업을 수행할 수 있다(752). 작업은 터치 감지 디스플레이 스크린을 끄는 것과 모바일 기기의 입력 모드를 터치 입력 모드와 음성 입력 모드 간에 전환하는 것을 포함할 수 있다.
모범적인 모바일 기기 아키텍처
도 8은 모션 기반 동작들을 수행하도록 구성된 모바일 기기의 모범적인 아키텍처(800)의 블록도이다. 모바일 기기는 메모리 인터페이스(802), 하나 이상의 데이터 프로세서, 이미지 프로세서 및/또는 프로세서(804), 및 주변 장치 인터페이스(806)를 포함할 수 있다. 메모리 인터페이스(802), 하나 이상의 프로세서(804) 및/또는 주변 장치 인터페이스(806)는 개별 컴포넌트들일 수 있거나 하나 이상의 집적 회로에 통합될 수 있다. 프로세서(804)는 하나 이상의 애플리케이션 프로세서(AP) 및 하나 이상의 베이스밴드 프로세서(BP)를 포함할 수 있다. 애플리케이션 프로세서와 베이스밴드 프로세서는 하나의 단일 프로세스 칩에 통합될 수 있다. 예를 들어, 모바일 기기(100)의 다양한 컴포넌트들은 하나 이상의 통신 버스 또는 신호선에 의해 연결될 수 있다.
센서들, 장치들, 및 서브시스템들을 주변 장치 인터페이스(806)에 연결하여 다수의 기능을 용이하게 할 수 있다. 예를 들어, 모션 센서(810), 광 센서(812), 및 근접 센서(814)를 주변 장치 인터페이스(806)에 연결하여 모바일 기기의 배향, 조명, 및 근접 기능들을 용이하게 할 수 있다. 모션 센서(810)는 모바일 기기의 움직임의 방향과 속도의 변화를 결정하도록 구성된 하나 이상의 가속도계를 포함할 수 있다. 로케이션 프로세서(815)(예를 들어, GPS 수신기)를 주변 장치 인터페이스(806)에 연결하여 지리적 위치 확인(geopositioning)을 제공할 수 있다. 또한 전자 자력계(816)(예를 들어, 집적 회로 칩)를 주변 장치 인터페이스(806)에 연결하여 자북(magnetic North)의 방향을 결정하는 데 이용될 수 있는 데이터를 제공할 수 있다. 이렇게 하여, 전자 자력계(816)를 전자 나침반으로 이용할 수 있다. 중력계(817)를 주변 장치 인터페이스(806)에 연결하여 지구의 국소 중력장의 측정을 용이하게 할 수 있다.
카메라 서브시스템(820) 및 광학 센서(822), 예를 들어, CCD(charged coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 광학 센서를 이용하여 사진 및 비디오 클립의 기록과 같은 카메라 기능들을 용이하게 할 수 있다.
통신 기능은 무선 주파수 수신기 및 송신기 및/또는 광학(예를 들어, 적외선) 수신기 및 송신기를 포함할 수 있는 하나 이상의 무선 통신 서브시스템(824)을 통하여 용이해질 수 있다. 통신 서브시스템(824)의 구체적인 설계 및 구현은 모바일 기기가 동작하도록 의도된 통신 네트워크(들)에 의존할 수 있다. 예를 들어, 모바일 기기는 CDMA 시스템, WiFi™ 또는 WiMax™ 네트워크, 및 Bluetooth™ 네트워크 상에서 동작하도록 설계된 통신 서브시스템들(824)을 포함할 수 있다. 특히, 무선 통신 서브시스템들(824)은 모바일 기기가 다른 무선 기기들에 대한 기지국으로서 구성될 수 있게 하는 호스팅 프로토콜들을 포함할 수 있다.
오디오 서브시스템(826)을 스피커(828) 및 마이크(830)에 연결하여 음성 인식, 음성 복제, 디지털 녹음, 및 전화 통화 기능들과 같은 음성 가능 기능들을 용이하게 할 수 있다.
I/O 서브시스템(840)은 터치 스크린 컨트롤러(842) 및/또는 다른 입력 컨트롤러(들)(844)를 포함할 수 있다. 터치 스크린 컨트롤러(842)는 터치 스크린(846) 또는 패드에 연결될 수 있다. 터치 스크린(846) 및 터치 스크린 컨트롤러(842)는, 예를 들어, 정전 용량 방식, 저항막 방식, 적외선 방식, 및 표면 탄성파(surface acoustic wave) 기술들을 포함하는(이들에 제한되지는 않음) 복수의 터치 민감도 기술들 중 임의의 기술뿐만 아니라, 터치 스크린(846)과의 하나 이상의 접촉점을 결정하기 위한 다른 근접 센서 어레이들 또는 다른 요소들을 이용하여 접촉 및 움직임 또는 그의 중단(break)을 검출할 수 있다.
다른 입력 컨트롤러(들)(844)를 하나 이상의 버튼, 로커 스위치, 섬휠(thumb-wheel), 적외선 포트, USB 포트, 및/또는 스타일러스 등의 포인터 장치와 같은 다른 입력/제어 장치들(848)에 연결할 수 있다. 하나 이상의 버튼(미도시)은 스피커(828) 및/또는 마이크(830)의 볼륨 제어를 위한 업/다운 버튼을 포함할 수 있다.
한 구현예에서, 버튼을 제1 지속 기간 동안 누르면 터치 스크린(846)의 잠금(lock)을 풀 수 있고; 버튼을 제1 지속 기간보다 긴 제2 지속 기간 동안 누르면 모바일 기기(100)의 전원을 켜거나 끌 수 있다. 사용자는 하나 이상의 버튼의 기능을 맞춤화할 수 있다. 터치 스크린(846)은, 예를 들어, 가상 또는 소프트 버튼 및/또는 키보드를 구현하는 데에도 이용될 수 있다.
일부 구현예에서, 모바일 기기(100)는 MP3, AAC, 및 MPEG 파일들과 같은 기록된 오디오 및/또는 비디오 파일들을 프리젠테이션할 수 있다. 일부 구현예에서, 모바일 기기(100)는 MP3 플레이어의 기능을 포함할 수 있다. 따라서, 모바일 기기(100)는 아이팟(iPod)과 호환되는 핀 커넥터를 포함할 수 있다. 다른 입력/출력 및 제어 장치들이 사용될 수도 있다.
메모리 인터페이스(802)는 메모리(850)에 연결될 수 있다. 메모리(850)는 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리, 예를 들어 하나 이상의 자기 디스크 저장 장치, 하나 이상의 광학 저장 장치, 및/또는 플래시 메모리(예를 들어, NAND, NOR)를 포함할 수 있다. 메모리(850)는 운영 체제(852), 예를 들어 다윈(Darwin), RTXC, LINUX, UNIX, OS X, WINDOWS, 또는 VxWorks와 같은 임베디드 운영 체제를 저장할 수 있다. 운영 체제(852)는 기본적인 시스템 서비스들을 처리하기 위한 그리고 하드웨어 의존형 작업들을 수행하기 위한 명령들을 포함할 수 있다. 일부 구현예에서, 운영 체제(852)는 커널(예를 들어, UNIX 커널)을 포함할 수 있다.
메모리(850)는 또한 하나 이상의 추가 장치, 하나 이상의 컴퓨터 및/또는 하나 이상의 서버와의 통신을 용이하게 하는 통신 명령들(854)을 저장할 수 있다. 메모리(850)는 그래픽 사용자 인터페이스 처리를 용이하게 하는 그래픽 사용자 인터페이스 명령들(856); 센서 관련 처리 및 기능들을 용이하게 하는 센서 처리 명령들(858); 전화 관련 프로세스들 및 기능들을 용이하게 하는 전화 명령들(860); 전자 메시징 관련 프로세스들 및 기능들을 용이하게 하는 전자 메시징 명령들(862); 웹 브라우징 관련 프로세스들 및 기능들을 용이하게 하는 웹 브라우징 명령들(864); 미디어 처리 관련 프로세스들 및 기능들을 용이하게 하는 미디어 처리 명령들(866); GPS 및 내비게이션 관련 프로세스들 및 기능들을 용이하게 하는 GPS/내비게이션 명령들(868); 카메라 관련 프로세스들 및 기능들을 용이하게 하는 카메라 명령들(870); 자력계 교정을 용이하게 하는 자력계 데이터(872) 및 교정 명령들(874)을 포함할 수 있다. 메모리(850)는 또한 다른 소프트웨어 명령들(미도시), 예를 들어 보안 명령들, 웹 비디오 관련 프로세스들 및 기능들을 용이하게 하는 웹 비디오 명령들, 및/또는 웹 쇼핑 관련 프로세스들 및 기능들을 용이하게 하는 웹 쇼핑 명령들을 저장할 수 있다. 일부 구현예에서, 미디어 처리 명령들(866)은 오디오 처리 관련 프로세스들 및 기능들과 비디오 처리 관련 프로세스들 및 기능들을 각각 용이하게 하는 오디오 처리 명령들 및 비디오 처리 명령들로 나누어진다. 활성 레코드(activation record) 및 IMEI(International Mobile Equipment Identity) 또는 유사한 하드웨어 식별자가 또한 메모리(850)에 저장될 수 있다. 메모리(850)는 모션 명령들(876)을 포함할 수 있다. 모션 명령들(876)은 모바일 기기로 하여금 도 1-7에 관련하여 설명된, 제스처 인식 동작들 및 제스처 확인 동작들을 포함한, 모션 기반 동작들을 수행하게 하도록 구성되어 있는 컴퓨터 프로그램 제품일 수 있다.
위에 확인된 명령들 및 애플리케이션들 각각은 전술한 하나 이상의 기능을 수행하기 위한 명령들의 세트에 대응할 수 있다. 이들 명령은 개별 소프트웨어 프로그램들, 프로시저들, 또는 모듈들로 구현되지 않아도 된다. 메모리(850)는 추가 명령들 또는 더 적은 명령들을 포함할 수 있다. 더욱이, 모바일 기기의 다양한 기능들은 하나 이상의 신호 처리 및/또는 특수 용도 집적 회로(application specific integrated circuits)로 구현되는 것을 포함하여, 하드웨어로 및/또는 소프트웨어로 구현될 수 있다.
모범적인 운영 환경
도 9는 모션 기반 동작들을 수행하도록 구성된 모바일 기기들에 대한 모범적인 네트워크 운영 환경(900)의 블록도이다. 모바일 기기들(902a 및 902b)은, 예를 들어, 데이터 통신시에 하나 이상의 유선 및/또는 무선 네트워크(910)를 통하여 통신할 수 있다. 예를 들어, 무선 네트워크(912), 예를 들어, 셀룰러 네트워크가 게이트웨이(916)를 이용하여, 인터넷과 같은 광역 네트워크(WAN)(914)와 통신할 수 있다. 마찬가지로, 802.11g 무선 액세스 장치와 같은 액세스 장치(918)가 광역 네트워크(914)로의 통신 액세스를 제공할 수 있다.
일부 구현예에서, 음성 통신과 데이터 통신 모두가 무선 네트워크(912) 및 액세스 장치(918)를 통하여 확립될 수 있다. 예를 들어, 모바일 기기(902a)는 무선 네트워크(912), 게이트웨이(916), 및 광역 네트워크(914)를 통하여(예를 들어, 전송 제어 프로토콜/인터넷 프로토콜(Transmission Control Protocol/Internet Protocol, TCP/IP) 또는 사용자 데이터그램 프로토콜(User Datagram Protocol, UDP)을 이용하여), 전화를 걸고 받고(예를 들어, VoIP(voice over Internet Protocol) 프로토콜들을 이용하여), 이메일 메시지들을 보내고 받고(예를 들어, POP3(Post Office Protocol 3)를 이용하여), 웹 페이지, 사진, 및 비디오와 같은, 전자 문서들 및/또는 스트림들을 검색할 수 있다. 마찬가지로, 일부 구현예에서, 모바일 기기(902b)는 액세스 장치(918) 및 광역 네트워크(914)를 통하여 전화를 걸고 받고, 이메일 메시지들을 보내고 받고, 전자 문서들을 검색할 수 있다. 일부 구현예에서, 모바일 기기(902a 또는 902b)는 하나 이상의 케이블을 이용하여 액세스 장치(918)에 물리적으로 연결될 수 있고 액세스 장치(918)는 퍼스널 컴퓨터일 수 있다. 이 구성에서, 모바일 기기(902a 또는 902b)는 "테더링된(tethered)" 기기라고 부를 수 있다.
모바일 기기들(902a 및 902b)은 다른 수단으로 통신을 확립할 수도 있다. 예를 들어, 무선 모바일 기기(902a)는 무선 네트워크(912)를 통하여 다른 무선 기기들, 예를 들어, 다른 모바일 기기들(902a 또는 902b), 셀 폰 등과 통신할 수 있다. 마찬가지로, 모바일 기기들(902a 및 902b)은 Bluetooth™ 통신 장치들과 같은 하나 이상의 통신 서브시스템을 이용하여, 피어-투-피어 통신(920), 예를 들어, 개인 무선 네트워크(personal area network)를 확립할 수 있다. 다른 통신 프로토콜들 및 토폴로지들이 구현될 수도 있다.
모바일 기기(902a 또는 902b)는, 예를 들어, 하나 이상의 유선 및/또는 무선 네트워크를 통하여 하나 이상의 서비스(930 및 940)와 통신할 수 있다. 예를 들어, 하나 이상의 모션 트레이닝 서비스(930)를 이용하여 하나 이상의 모션 패턴을 결정할 수 있다. 모션 패턴 서비스(940)는 제스처 인식을 위해 모바일 기기들(902a 및 902b)에 하나 이상의 모션 패턴을 제공할 수 있다.
모바일 기기(902a 또는 902b)는 하나 이상의 유선 및/또는 무선 네트워크를 통하여 다른 데이터 및 콘텐츠에 액세스할 수도 있다. 예를 들어, 뉴스 사이트들, RSS(Rally Simple Syndication) 피드들, 웹 사이트들, 블로그들, 소셜 네트워킹 사이트들, 개발자 네트워크들 등과 같은 콘텐츠 게시자들(content publishers)이 모바일 기기(902a 또는 902b)에 의해 액세스될 수 있다. 그러한 액세스는 사용자가 예를 들어 웹 객체(Web object)를 터치하는 것에 응답하여 웹 브라우징 기능 또는 애플리케이션(예를 들어, 브라우저)의 호출(invocation)에 의해 제공될 수 있다.
본 발명의 다수의 구현예를 설명하였다. 그럼에도 불구하고, 본 발명의 사상 및 범위에서 벗어나지 않고서 다양한 수정들을 행할 수 있다는 것을 이해할 것이다. 예를 들어, 전술한 각각의 서브시스템, 컴포넌트, 또는 유닛은 하드웨어 장치, 소프트웨어 명령, 또는 둘 다를 포함할 수 있다.

Claims (30)

  1. 모바일 기기가 모션 검출 모드에 들어갈 때에, 상기 모바일 기기의 근접 센서를 켜고 상기 근접 센서가 수동 모드에서 동작하도록 설정하는 단계 - 상기 수동 모드에서, 상기 모바일 기기는 상기 근접 센서의 기준치를 확립하고, 상기 기준치는 상기 근접 센서가 물체(object)를 검출하지 않음을 나타내는 근접 판독치(proximity reading)를 포함하며, 상기 기준치는 상기 근접 센서의 근접 판독치들이 상기 기준치로부터의 지정된 오프셋을 만족하는지를 결정함에 의해 물체와의 근접함을 결정하기 위해 상기 모바일 기기에 의해 사용 가능함 - ;
    상기 모바일 기기가 상기 모션 검출 모드에서 동작하는 시간 동안 상기 모바일 기기의 하나 이상의 모션 감지 장치로부터 모션 판독치(motion reading)를 획득하는 단계;
    상기 모션 판독치를 획득하는 동안, 그리고 상기 모션 판독치로부터 제스처가 인식되기 전에, 상기 기준치를 확립하기 위한 상기 근접 센서의 복수의 판독치를 획득하고 상기 복수의 판독치로부터 상기 기준치를 확립하는 단계;
    상기 근접 센서를 상기 수동 모드로 설정한 다음, 상기 제스처를 인식하는 단계 - 상기 제스처를 인식하는 단계는, 하나 이상의 지정된 방식으로 상기 모바일 기기가 대상 물체 쪽으로 움직이는 것을 상기 모션 판독치가 나타낸다고 결정하는 단계를 포함함 -;
    상기 제스처를 인식한 다음,
    상기 근접 센서가 능동 모드로 동작하도록 설정하는 것;
    상기 능동 모드에서 획득된 상기 근접 센서의 판독치와 상기 제스처가 인식되기 전에 상기 근접 센서에 의해 결정된 상기 기준치 간의 차이가 임계치(threshold value)를 만족함을 결정하는 것; 및
    응답하여, 상기 제스처가 오인식(false positive)이 아님을 확인(confirm)하는 것
    을 포함하는 행위들을 수행하는 단계; 및
    상기 확인된 제스처에 응답하여 작업을 수행하는 단계 - 상기 기준치를 확립하는데 소요된 시간은 상기 모바일 기기가 동작하는(in motion) 시간에 의해 가려짐 -
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 작업을 수행하는 단계는 상기 모바일 기기의 입력 모드를 터치 입력 모드로부터 음성 입력 모드로 변경하는 단계를 포함하는 방법.
  3. 제2항에 있어서, 상기 입력 모드를 음성 입력 모드로 변경하는 단계는 음성 커맨드 또는 구술(dictation) 중 적어도 하나를 수락하도록 상기 모바일 기기를 구성하는 단계를 포함하는 방법.
  4. 제1항에 있어서, 상기 제스처를 인식하는 단계는,
    상기 모션 판독치와 하나 이상의 사전 저장된 모션 패턴을 비교하는 단계 - 상기 하나 이상의 사전 저장된 모션 패턴은 상기 모바일 기기를 상기 대상 물체 쪽으로 움직이는 제스처와 연관되며, 각각의 사전 저장된 모션 패턴은 상기 제스처의 움직임의 방식에 대응함 -; 및
    상기 비교의 결과에 기초하여 상기 제스처를 인식하는 단계
    를 포함하는 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서, 상기 능동 모드에서 동작하고 있을 때, 상기 근접 센서의 트리거가 근접 이벤트의 이벤트 통지, 디스플레이의 백라이트의 꺼짐(turning off), 및 터치 감지 입력 장치의 터치 입력의 꺼짐을 야기시키는 방법.
  8. 제7항에 있어서, 상기 제스처가 오인식이 아님을 확인하는 것은, 상기 능동 모드에서 획득된 상기 근접 센서의 판독치가 상기 제스처를 인식한 후 임계 시간 기간(threshold time period) 내에 획득됨을 결정하는 것을 포함하는 방법.
  9. 하나 이상의 모바일 기기로 하여금,
    모바일 기기가 모션 검출 모드에 들어갈 때에, 상기 모바일 기기의 근접 센서를 켜고 상기 근접 센서가 수동 모드에서 동작하도록 설정하는 동작 - 상기 수동 모드에서, 상기 모바일 기기는 상기 근접 센서의 기준치를 확립하고, 상기 기준치는 상기 근접 센서가 물체를 검출하지 않음을 나타내는 근접 판독치를 포함하며, 상기 기준치는 상기 근접 센서의 근접 판독치들이 상기 기준치로부터의 지정된 오프셋을 만족하는지를 결정함에 의해 물체와의 근접함을 결정하기 위해 상기 모바일 기기에 의해 사용 가능함 - ;
    상기 모바일 기기가 상기 모션 검출 모드에서 동작하는 시간 동안 상기 모바일 기기의 하나 이상의 모션 감지 장치로부터 모션 판독치를 획득하는 동작;
    상기 모션 판독치를 획득하는 동안, 그리고 상기 모션 판독치로부터 제스처가 인식되기 전에, 상기 기준치를 확립하기 위한 상기 근접 센서의 복수의 판독치를 획득하고 상기 복수의 판독치로부터 상기 기준치를 확립하는 동작;
    상기 근접 센서를 상기 수동 모드로 설정한 다음, 상기 제스처를 인식하는 동작 - 상기 제스처를 인식하는 동작은, 하나 이상의 지정된 방식으로 상기 모바일 기기가 대상 물체 쪽으로 움직이는 것을 상기 모션 판독치가 나타낸다고 결정하는 동작을 포함함 -;
    상기 제스처를 인식한 다음,
    상기 근접 센서가 능동 모드로 동작하도록 설정하는 것;
    상기 능동 모드에서 획득된 상기 근접 센서의 판독치와 상기 제스처가 인식되기 전에 상기 근접 센서에 의해 결정된 상기 기준치 간의 차이가 임계치를 만족함을 결정하는 것; 및
    응답하여, 상기 제스처가 오인식이 아님을 확인하는 것
    을 포함하는 행위들을 수행하는 동작; 및
    상기 확인된 제스처에 응답하여 작업을 수행하는 동작 - 상기 기준치를 확립하는데 소요된 시간은 상기 모바일 기기가 동작하는 시간에 의해 가려짐 -
    을 포함하는 동작들을 수행하게 하도록 구성된 컴퓨터 제품을 저장하는 컴퓨터 판독가능 저장 매체.
  10. 제9항에 있어서, 상기 작업을 수행하는 동작은 상기 모바일 기기의 입력 모드를 터치 입력 모드로부터 음성 입력 모드로 변경하는 동작을 포함하는 컴퓨터 판독가능 저장 매체.
  11. 제10항에 있어서, 상기 입력 모드를 음성 입력 모드로 변경하는 동작은 음성 커맨드 또는 구술 중 적어도 하나를 수락하도록 상기 모바일 기기를 구성하는 동작을 포함하는 컴퓨터 판독가능 저장 매체.
  12. 제9항에 있어서, 상기 제스처를 인식하는 동작은,
    상기 모션 판독치와 하나 이상의 사전 저장된 모션 패턴을 비교하는 동작 - 상기 하나 이상의 사전 저장된 모션 패턴은 상기 모바일 기기를 상기 대상 물체 쪽으로 움직이는 제스처와 연관되며, 각각의 사전 저장된 모션 패턴은 상기 제스처의 움직임의 방식에 대응함 -; 및
    상기 비교의 결과에 기초하여 상기 제스처를 인식하는 동작
    을 포함하는 컴퓨터 판독가능 저장 매체.
  13. 삭제
  14. 제9항에 있어서,
    상기 제스처가 오인식이 아님을 확인하는 것은, 상기 능동 모드에서 획득된 상기 근접 센서의 판독치가 상기 제스처를 인식한 후 임계 시간 기간 내에 획득됨을 결정하는 것을 포함하는 컴퓨터 판독가능 저장 매체.
  15. 제9항에 있어서, 상기 능동 모드에서 동작하고 있을 때, 상기 근접 센서의 트리거가 근접 이벤트의 이벤트 통지, 디스플레이의 백라이트의 꺼짐, 및 터치 감지 입력 장치의 터치 입력의 꺼짐을 야기시키는 컴퓨터 판독가능 저장 매체.
  16. 삭제
  17. 하나 이상의 모바일 기기
    를 포함하고,
    상기 하나 이상의 모바일 기기는,
    모바일 기기가 모션 검출 모드에 들어갈 때에, 상기 모바일 기기의 근접 센서를 켜고 상기 근접 센서가 수동 모드에서 동작하도록 설정하는 동작 - 상기 수동 모드에서, 상기 모바일 기기는 상기 근접 센서의 기준치를 확립하고, 상기 기준치는 상기 근접 센서가 물체를 검출하지 않음을 나타내는 근접 판독치를 포함하며, 상기 기준치는 상기 근접 센서의 근접 판독치들이 상기 기준치로부터의 지정된 오프셋을 만족하는지를 결정함에 의해 물체와의 근접함을 결정하기 위해 상기 모바일 기기에 의해 사용 가능함 - ;
    상기 모바일 기기가 상기 모션 검출 모드에서 동작하는 시간 동안 상기 모바일 기기의 하나 이상의 모션 감지 장치로부터 모션 판독치를 획득하는 동작;
    상기 모션 판독치를 획득하는 동안, 그리고 상기 모션 판독치로부터 제스처가 인식되기 전에, 상기 기준치를 확립하기 위한 상기 근접 센서의 복수의 판독치를 획득하고 상기 복수의 판독치로부터 상기 기준치를 확립하는 동작;
    상기 근접 센서를 상기 수동 모드로 설정한 다음, 상기 제스처를 인식하는 동작 - 상기 제스처를 인식하는 동작은, 하나 이상의 지정된 방식으로 상기 모바일 기기가 대상 물체 쪽으로 움직이는 것을 상기 모션 판독치가 나타낸다고 결정하는 동작을 포함함 -;
    상기 제스처를 인식한 다음,
    상기 근접 센서가 능동 모드로 동작하도록 설정하는 것;
    상기 능동 모드에서 획득된 상기 근접 센서의 판독치와 상기 제스처가 인식되기 전에 상기 근접 센서에 의해 결정된 상기 기준치 간의 차이가 임계치를 만족함을 결정하는 것; 및
    응답하여, 상기 제스처가 오인식이 아님을 확인하는 것
    을 포함하는 행위들을 수행하는 동작; 및
    상기 확인된 제스처에 응답하여 작업을 수행하는 동작 - 상기 기준치를 확립하는데 소요된 시간은 상기 모바일 기기가 동작하는 시간에 의해 가려짐 -
    을 포함하는 동작들을 수행하도록 구성되는 시스템.
  18. 제17항에 있어서, 상기 작업을 수행하는 동작은 상기 모바일 기기의 입력 모드를 터치 입력 모드로부터 음성 입력 모드로 변경하는 동작을 포함하는 시스템.
  19. 제18항에 있어서, 상기 입력 모드를 음성 입력 모드로 변경하는 동작은 음성 커맨드 또는 구술 중 적어도 하나를 수락하도록 상기 모바일 기기를 구성하는 동작을 포함하는 시스템.
  20. 제17항에 있어서, 상기 제스처를 인식하는 동작은,
    상기 모션 판독치와 하나 이상의 사전 저장된 모션 패턴을 비교하는 동작 - 상기 하나 이상의 사전 저장된 모션 패턴은 상기 모바일 기기를 상기 대상 물체 쪽으로 움직이는 제스처와 연관되며, 각각의 사전 저장된 모션 패턴은 상기 제스처의 움직임의 방식에 대응함 -; 및
    상기 비교의 결과에 기초하여 상기 제스처를 인식하는 동작
    을 포함하는 시스템.
  21. 삭제
  22. 제17항에 있어서, 상기 제스처가 오인식이 아님을 확인하는 것은, 상기 능동 모드에서 획득된 상기 근접 센서의 판독치가 상기 제스처를 인식한 후 임계 시간 기간 내에 획득됨을 결정하는 것을 포함하는 시스템.
  23. 제17항에 있어서, 상기 능동 모드에서 동작하고 있을 때, 상기 근접 센서의 트리거가 근접 이벤트의 이벤트 통지, 디스플레이의 백라이트의 꺼짐, 및 터치 감지 입력 장치의 터치 입력의 꺼짐을 야기시키는 시스템.
  24. 제23항에 있어서,
    상기 제스처가 오인식이 아님을 확인하는 것은, 상기 능동 모드에서 획득된 상기 근접 센서의 판독치가 상기 제스처를 인식한 후 임계 시간 기간 내에 획득됨을 결정하는 것을 포함하는 시스템.
  25. 제17항에 있어서, 상기 하나 이상의 모션 감지 장치는 가속도계, 자이로스코프, 자력계, 또는 광 센서 중 적어도 하나를 포함하는 시스템.
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
KR1020137032104A 2011-06-03 2012-05-02 모션 기반 기기 동작 KR101543143B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/153,335 2011-06-03
US13/153,335 US8952895B2 (en) 2011-06-03 2011-06-03 Motion-based device operations
PCT/US2012/036165 WO2012166277A1 (en) 2011-06-03 2012-05-02 Motion-based device operations

Publications (2)

Publication Number Publication Date
KR20140014266A KR20140014266A (ko) 2014-02-05
KR101543143B1 true KR101543143B1 (ko) 2015-08-07

Family

ID=46149725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137032104A KR101543143B1 (ko) 2011-06-03 2012-05-02 모션 기반 기기 동작

Country Status (6)

Country Link
US (3) US8952895B2 (ko)
EP (1) EP2716018B1 (ko)
KR (1) KR101543143B1 (ko)
CN (1) CN103583031B (ko)
TW (1) TWI474001B (ko)
WO (1) WO2012166277A1 (ko)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US9682073B2 (en) 2011-05-19 2017-06-20 Gilrose Pharmaceuticals, Llc Pre-frontal cortex processing disorder gait and limb impairments treatment
US10085414B2 (en) 2011-05-19 2018-10-02 Gilrose Pharmaceuticals, Llc Pre-frontal cortex processing disorder speech, gait and limb impairments treatment
US8971924B2 (en) 2011-05-23 2015-03-03 Apple Inc. Identifying and locating users on a mobile network
US10715380B2 (en) 2011-05-23 2020-07-14 Apple Inc. Setting a reminder that is triggered by a target user device
KR102027601B1 (ko) 2011-10-18 2019-10-01 카네기 멜론 유니버시티 터치 감지 표면 상의 터치 이벤트를 분류하는 방법 및 장치
US9736701B2 (en) * 2011-10-28 2017-08-15 Qualcomm Incorporated Dead reckoning using proximity sensors
CN102681784A (zh) * 2012-05-09 2012-09-19 中兴通讯股份有限公司 基于传感器操作移动终端的方法和装置、移动终端
US9632179B2 (en) * 2012-07-04 2017-04-25 Blackberry Limited Estimating a baseline of a proximity sensor
US9001039B2 (en) * 2012-09-21 2015-04-07 Blackberry Limited Device with touch screen false actuation prevention
TW201423484A (zh) 2012-12-14 2014-06-16 Pixart Imaging Inc 動態偵測系統
US8989773B2 (en) 2013-01-29 2015-03-24 Apple Inc. Sharing location information among devices
US9977507B2 (en) * 2013-03-14 2018-05-22 Eyesight Mobile Technologies Ltd. Systems and methods for proximity sensor and image sensor based gesture detection
EP2973295A4 (en) * 2013-03-15 2016-11-16 Proximity Concepts Llc SYSTEMS AND METHODS FOR PROXIMITY FUNCTIONS, MAPPING, INDEXING, MOBILITY, ADVERTISING AND / OR OTHER
US9436287B2 (en) * 2013-03-15 2016-09-06 Qualcomm Incorporated Systems and methods for switching processing modes using gestures
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
KR102075117B1 (ko) * 2013-04-22 2020-02-07 삼성전자주식회사 사용자 기기 및 그 동작 방법
US10078372B2 (en) * 2013-05-28 2018-09-18 Blackberry Limited Performing an action associated with a motion based input
JP6160447B2 (ja) * 2013-10-31 2017-07-12 ヤマハ株式会社 端末装置及びプログラム
US9241360B2 (en) * 2013-11-22 2016-01-19 Brian Mullin Friedman Systems, apparatus, and methods for programmatically associating nearby users
US9552073B2 (en) * 2013-12-05 2017-01-24 Pixart Imaging Inc. Electronic device
US9971412B2 (en) * 2013-12-20 2018-05-15 Lenovo (Singapore) Pte. Ltd. Enabling device features according to gesture input
JP6395378B2 (ja) * 2013-12-27 2018-09-26 キヤノン株式会社 印刷装置、印刷装置の制御方法
TWI514258B (zh) * 2014-02-17 2015-12-21 Hooloop Corp 語音管理方法及系統，及其電腦程式產品
US9405377B2 (en) 2014-03-15 2016-08-02 Microsoft Technology Licensing, Llc Trainable sensor-based gesture recognition
WO2015148591A1 (en) 2014-03-25 2015-10-01 Analog Devices, Inc. Optical user interface
WO2015167514A1 (en) * 2014-04-30 2015-11-05 Hewlett-Packard Development Company, L.P. Sensor assembly
WO2015183756A1 (en) * 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US20150350141A1 (en) * 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US10382378B2 (en) 2014-05-31 2019-08-13 Apple Inc. Live location sharing
WO2016022496A2 (en) 2014-08-06 2016-02-11 Apple Inc. Reduced-size user interfaces for battery management
KR102180333B1 (ko) * 2014-08-25 2020-11-18 삼성전자주식회사 전자 장치의 근접 감지 방법 및 그 전자 장치
EP3189406B1 (en) 2014-09-02 2022-09-07 Apple Inc. Phone user interface
KR102016160B1 (ko) 2014-09-02 2019-08-29 애플 인크. 경고를 관리하기 위한 축소된 크기의 인터페이스
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10540348B2 (en) 2014-09-22 2020-01-21 At&T Intellectual Property I, L.P. Contextual inference of non-verbal expressions
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
CN104298566B (zh) * 2014-09-30 2018-09-18 北京智谷睿拓技术服务有限公司 交互方法及交互装置
CN104391806B (zh) * 2014-09-30 2018-11-30 北京智谷睿拓技术服务有限公司 交互方法及交互装置
US9449442B2 (en) * 2014-10-23 2016-09-20 Vivint, Inc. Interface of an automation system
US10613637B2 (en) 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
US11347316B2 (en) 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
US9715283B2 (en) * 2015-02-26 2017-07-25 Motorola Mobility Llc Method and apparatus for gesture detection in an electronic device
KR102377001B1 (ko) * 2015-03-16 2022-03-22 삼성전자주식회사 모션 인식 서비스 제공 방법 및 그 전자 장치
JP6930969B2 (ja) * 2015-07-08 2021-09-01 ギルローズ ファーマシューティカルズ，リミティド ライアビリティ カンパニー 前頭前皮質プロセシング疾患、歩行及び四肢障害の治療
KR102354330B1 (ko) * 2015-07-31 2022-01-21 삼성전자주식회사 스마트 디바이스 및 그 동작 방법
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US9894507B2 (en) * 2016-02-17 2018-02-13 Ca, Inc. Automatic data exchange between peer devices
TWI603962B (zh) 2016-09-10 2017-11-01 國立清華大學 含硫噁嗪化合物及其合成方法
CN106775308B (zh) * 2016-12-06 2019-12-10 Oppo广东移动通信有限公司 接近传感器切换方法、装置及终端
US11321551B2 (en) * 2016-12-07 2022-05-03 Meta Platforms, Inc. Detecting a scan using on-device sensors
CN106878557B (zh) * 2017-02-16 2019-08-27 Oppo广东移动通信有限公司 移动终端语音播放的控制方法、装置及移动终端
US10484530B2 (en) * 2017-11-07 2019-11-19 Google Llc Sensor based component activation
CN110109563A (zh) * 2018-02-01 2019-08-09 奇手公司 一种确定对象物相对于触敏表面的接触状态的方法及系统
EP3813834A4 (en) * 2018-06-29 2022-03-09 Dana Farber Cancer Institute, Inc. NEW CRBN MODULATORS
CN110809083B (zh) * 2018-08-06 2021-03-02 Oppo（重庆）智能科技有限公司 一种移动终端信息提醒的方法、移动终端及存储介质
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
CN110896425B (zh) * 2018-09-12 2021-10-22 意法半导体股份有限公司 用于识别将移动电子设备带到用户耳朵的姿势的系统和方法
CN109388285A (zh) * 2018-09-25 2019-02-26 Oppo广东移动通信有限公司 接近检测模式切换方法、装置、电子设备及存储介质
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
KR20210048941A (ko) * 2019-10-24 2021-05-04 삼성전자주식회사 전자 장치 및 그의 디스플레이 동작 제어 방법
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
EP4117642A4 (en) * 2020-03-13 2024-05-15 Univ Columbia GPX4 COMPOUNDS AND COMPOSITIONS AND METHODS OF TREATMENT USING THEM
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070085157A1 (en) * 2005-09-30 2007-04-19 Fadell Anthony M Integrated proximity sensor and light sensor
US20090209293A1 (en) * 2008-02-19 2009-08-20 Apple Inc. Speakerphone Control for Mobile Device

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2830991A (en) 1954-05-17 1958-04-15 Gruenenthal Chemie Products of the amino-piperidine-2-6-dione series
GB962857A (en) 1961-12-04 1964-07-08 Distillers Co Yeast Ltd Process for the production of imides
GB1049283A (en) 1962-04-14 1966-11-23 Distillers Co Yeast Ltd Substituted butyro-lactones and -thiolactones
US3320270A (en) 1963-10-08 1967-05-16 Tri Kem Corp Certain 2-acylimidothiazole compounds
US3314953A (en) 1964-03-16 1967-04-18 Richardson Merrell Inc 1-substituted-3-phthalimido-2, 5-dioxopyrrolidines
US3560495A (en) 1965-05-08 1971-02-02 Ernst Frankus 1-heterocyclic amino methyl or 1-heterocyclic hydrazino methyl-3-phthalimido or (3',6'-dithia-3',4',5',6'-tetrahydrophthalimido)-pyrrolidinediones-2,5 or piperidinediones-2,6
IL25595A (en) 1965-05-08 1971-01-28 Gruenenthal Chemie New history of cyclic amide compounds and process for the production of these compounds
US3347677A (en) * 1966-04-01 1967-10-17 Monsanto Co Activated dihydroquinolines
GB1324718A (en) 1970-11-10 1973-07-25 Nehezvegyipari Kutato Intezet Phthalimido triazines
US4067718A (en) 1975-11-12 1978-01-10 American Cyanamid Company Method for controlling the relative stem growth of plants
US4291048A (en) 1978-07-06 1981-09-22 Joseph Gold Method of treating tumors and cancerous cachexia with L-tryptophan
DE3332633A1 (de) 1983-09-09 1985-04-04 Luitpold-Werk Chemisch-pharmazeutische Fabrik GmbH & Co, 8000 München Substituierte carbonsaeurederivate, verfahren zu ihrer herstellung, und arzneimittel
US5354690A (en) 1989-07-07 1994-10-11 Karl Tryggvason Immunological methods for the detection of the human type IV collagen α5 chain
US5902790A (en) 1995-10-03 1999-05-11 Cytran, Inc. Pharmaceutical angiostatic dipeptide compositions and method of use thereof
GB9311281D0 (en) 1993-06-01 1993-07-21 Rhone Poulenc Rorer Ltd Novel composition of matter
DK0580641T3 (da) 1991-04-17 1997-01-20 Gruenenthal Gmbh Hidtil ukendte thalidomidderivater, en fremgangsmåde til deres fremstilling samt deres anvendelse i lægemidler
US6096768A (en) 1992-01-28 2000-08-01 Rhone-Poulenc Rorer Limited Compounds containing phenyl linked to aryl or heteroaryl by an aliphatic- or heteroatom-containing linking group
US6228879B1 (en) 1997-10-16 2001-05-08 The Children's Medical Center Methods and compositions for inhibition of angiogenesis
US5629327A (en) 1993-03-01 1997-05-13 Childrens Hospital Medical Center Corp. Methods and compositions for inhibition of angiogenesis
US20010056114A1 (en) 2000-11-01 2001-12-27 D'amato Robert Methods for the inhibition of angiogenesis with 3-amino thalidomide
US5434170A (en) 1993-12-23 1995-07-18 Andrulis Pharmaceuticals Corp. Method for treating neurocognitive disorders
US5443824A (en) 1994-03-14 1995-08-22 Piacquadio; Daniel J. Topical thalidomide compositions for surface or mucosal wounds, ulcerations, and lesions
DE4422237A1 (de) 1994-06-24 1996-01-04 Gruenenthal Gmbh Verwendung von Lactamverbindungen als pharmazeutische Wirkstoffe
US5789434A (en) 1994-11-15 1998-08-04 Bayer Corporation Derivatives of substituted 4-biarylbutyric acid as matrix metalloprotease inhibitors
US6429221B1 (en) 1994-12-30 2002-08-06 Celgene Corporation Substituted imides
HU226558B1 (en) 1994-12-30 2009-03-30 Celgene Corp Immunotherapeutic imides/amides and their use for reducing levels of tnfalpha
US5783605A (en) 1995-02-27 1998-07-21 Kuo; Sheng-Chu Helper inducers for differentiation therapy and chemoprevention of cancer
US5728844A (en) 1995-08-29 1998-03-17 Celgene Corporation Immunotherapeutic agents
CA2251060C (en) 1996-04-09 2006-09-12 Grunenthal Gmbh Acylated n-hydroxy methyl thalidomide prodrugs with immunomodulator action
DE19613976C1 (de) 1996-04-09 1997-11-20 Gruenenthal Gmbh Thalidomid-Prodrugs mit immunmodulatorischer Wirkung
EP0914123A4 (en) 1996-05-29 2000-10-11 Prototek Inc THALIDOMIDE PRODUCTS AND METHODS OF USING SAID PRODUCTS AS T CELL MODIFIERS
US5635517B1 (en) 1996-07-24 1999-06-29 Celgene Corp Method of reducing TNFalpha levels with amino substituted 2-(2,6-dioxopiperidin-3-YL)-1-oxo-and 1,3-dioxoisoindolines
ATE530542T1 (de) 1996-07-24 2011-11-15 Celgene Corp Amino substituierte 2-(2,6-dioxopiperidin-3-yl)- phthalimide zur verringerung der tnf-alpha-stufen
DE69734290T2 (de) 1996-11-05 2006-07-06 The Children's Medical Center Corp., Boston Mittel zur hemmung von angiogenese enthaltend thalodomid und einen nsaid
HUP0000288A3 (en) 1996-12-13 2001-04-28 Lilly Co Eli Azetidinone derivatives as inhibitors of the enzymatic activity of psa, intermediates, process for their preparation and pharmaceutical compositions thereof
DE19703763C1 (de) 1997-02-01 1998-10-01 Gruenenthal Gmbh Thalidomidanaloge Verbindungen aus der Klasse der Piperidin-2,6-Dione
RU2108786C1 (ru) 1997-09-15 1998-04-20 Клавдия Степановна Евланенкова Средство для лечения онкологических больных
DE19743968C2 (de) 1997-10-06 2002-07-11 Gruenenthal Gmbh Intravenöse Applikationsform von Thalidomid zur Therapie immunologischer Erkrankungen
EP1025702B9 (en) * 1997-10-30 2007-10-03 Donnelly Corporation Rain sensor with fog discrimination
EP1091726A2 (en) 1998-05-11 2001-04-18 EntreMed, Inc. Analogs of 2-phthalimidinoglutaric acid and their use as inhibitors of angiogenesis
WO1999059960A1 (en) 1998-05-15 1999-11-25 Astrazeneca Ab Benzamide derivatives for the treatment of diseases mediated by cytokines
DE19843793C2 (de) 1998-09-24 2000-08-03 Gruenenthal Gmbh Substituierte Benzamide
US20030013739A1 (en) 1998-12-23 2003-01-16 Pharmacia Corporation Methods of using a combination of cyclooxygenase-2 selective inhibitors and thalidomide for the treatment of neoplasia
ES2194640T3 (es) 1999-03-31 2003-12-01 Gruenenthal Chemie Solucion acuosa estable del derivado de la talidomida (em 12), para su administracion parenteral, y su procedimiento de preparacion.
AU4515001A (en) 1999-12-02 2001-06-18 Regents Of The University Of Michigan, The Compositions and methods for locally treating inflammatory diseases
US6458810B1 (en) 2000-11-14 2002-10-01 George Muller Pharmaceutically active isoindoline derivatives
NZ526683A (en) 2000-11-30 2008-03-28 Childrens Medical Center Synthesis of 4-amino-thalidomide and its enantiomers that are suitable for inhibiting angiogenesis
US20030045552A1 (en) 2000-12-27 2003-03-06 Robarge Michael J. Isoindole-imide compounds, compositions, and uses thereof
ES2338534T3 (es) 2001-02-27 2010-05-10 The Governement Of The Usa, Represented By The Secretary Department Of Health And Human Services Analogos de talidomina como inhibidores de la angiogenesis.
AU2002323063B2 (en) 2001-08-06 2007-11-08 Entremed, Inc. Synthesis and anti-tumor activity of nitrogen substituted thalidomide analogs
EP1336602A1 (en) 2002-02-13 2003-08-20 Giovanni Scaramuzzino Nitrate prodrugs able to release nitric oxide in a controlled and selective way and their use for prevention and treatment of inflammatory, ischemic and proliferative diseases
CN103393681B (zh) 2002-05-17 2017-04-12 细胞基因公司 用于治疗和控制多发性骨髓瘤的方法及组合物
CN100488959C (zh) 2003-03-27 2009-05-20 天津和美生物技术有限公司 水溶性的酞胺哌啶酮衍生物
WO2005016326A2 (en) 2003-07-11 2005-02-24 The Government Of The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services Analogs of thalidomide as potential angiogenesis inhibitors
US7480208B2 (en) * 2005-05-27 2009-01-20 Hubbell Incorporated Occupancy sensor assembly
US7702282B2 (en) 2006-07-13 2010-04-20 Sony Ericsoon Mobile Communications Ab Conveying commands to a mobile terminal through body actions
US8219936B2 (en) 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US20090167719A1 (en) 2007-11-02 2009-07-02 Woolley Richard D Gesture commands performed in proximity but without making physical contact with a touchpad
KR101506488B1 (ko) * 2008-04-04 2015-03-27 엘지전자 주식회사 근접센서를 이용하는 휴대 단말기 및 그 제어방법
TWI411910B (zh) * 2008-05-29 2013-10-11 Htc Corp Handheld device and its power saving method
KR101545582B1 (ko) * 2008-10-29 2015-08-19 엘지전자 주식회사 단말기 및 그 제어 방법
KR20100136649A (ko) 2009-06-19 2010-12-29 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070085157A1 (en) * 2005-09-30 2007-04-19 Fadell Anthony M Integrated proximity sensor and light sensor
US20090209293A1 (en) * 2008-02-19 2009-08-20 Apple Inc. Speakerphone Control for Mobile Device

Also Published As

Publication number Publication date
TW201250251A (en) 2012-12-16
KR20140014266A (ko) 2014-02-05
EP2716018B1 (en) 2018-09-19
TWI474001B (zh) 2015-02-21
US8853253B2 (en) 2014-10-07
US20140309436A1 (en) 2014-10-16
EP2716018A1 (en) 2014-04-09
CN103583031B (zh) 2016-02-17
US8952895B2 (en) 2015-02-10
US20130035363A1 (en) 2013-02-07
WO2012166277A1 (en) 2012-12-06
CN103583031A (zh) 2014-02-12
US20120306770A1 (en) 2012-12-06

Similar Documents

Publication Publication Date Title
KR101543143B1 (ko) 모션 기반 기기 동작
RU2690202C2 (ru) Способ и устройство для распознавания жеста
US8954099B2 (en) Layout design of proximity sensors to enable shortcuts
US8531414B2 (en) Bump suppression
EP3637306B1 (en) Learning situations via pattern matching
KR20140030671A (ko) 이동 단말에서의 잠금 해제 방법 및 이를 위한 이동 단말
CN106228054A (zh) 身份验证方法和装置
CN106055144B (zh) 控制触控屏状态的方法及装置、电子设备
US10721347B2 (en) Detecting patterns and behavior to prevent a mobile terminal drop event
CN107748648A (zh) 防止指纹传感器误触发的方法和终端设备
CN105159496A (zh) 触控事件响应方法及移动终端
CN104123075B (zh) 控制终端的方法及装置
CN115280263A (zh) 内容传输方法、设备及介质
KR20140043489A (ko) 모바일 장치를 위한 사용 추천
CN106325623A (zh) 在触摸屏上监测触摸的方法、装置及终端设备
CN106339137A (zh) 终端触控识别方法及装置
CN107943406B (zh) 一种触摸屏触控点确定方法及终端
CN105630239A (zh) 操作检测方法及装置
CN104035578A (zh) 控制电容式触屏终端的方法及装置
CN106406587A (zh) 终端触控识别方法及装置
CN105892751B (zh) 控制触控屏触发的方法及装置、电子设备
CN108829532A (zh) 指纹检测的方法、装置和可读存储介质
KR20200069881A (ko) 사용자의 위치를 감지하기 위한 전자 장치 및 그에 관한 방법
KR20140111864A (ko) 이동통신 단말기의 알람 방법 및 장치
CN109813295A (zh) 方位确定方法及装置、电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 4