KR20140070536A - 광-기반 근접 검출 시스템 및 사용자 인터페이스 - Google Patents

광-기반 근접 검출 시스템 및 사용자 인터페이스 Download PDF

Info

Publication number
KR20140070536A
KR20140070536A KR1020147004322A KR20147004322A KR20140070536A KR 20140070536 A KR20140070536 A KR 20140070536A KR 1020147004322 A KR1020147004322 A KR 1020147004322A KR 20147004322 A KR20147004322 A KR 20147004322A KR 20140070536 A KR20140070536 A KR 20140070536A
Authority
KR
South Korea
Prior art keywords
housing
display
electronic device
proximity sensor
processor
Prior art date
Application number
KR1020147004322A
Other languages
English (en)
Other versions
KR101481376B1 (ko
Inventor
토마스 에릭슨
스테판 홀름그렌
존 칼슨
레모 베다슈트
에릭 로젠그렌
라스 스파르프
Original Assignee
네오노드, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/732,456 external-priority patent/US8643628B1/en
Application filed by 네오노드, 인크. filed Critical 네오노드, 인크.
Publication of KR20140070536A publication Critical patent/KR20140070536A/ko
Application granted granted Critical
Publication of KR101481376B1 publication Critical patent/KR101481376B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1632—External expansion units, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K17/00—Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/94—Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated
    • H03K17/945—Proximity switches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1633—Protecting arrangement for the entire housing of the computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

핸드헬드 전자 장치용의 제거가능한 커버는 핸드헬드 전자 장치의 후방 및 측부 표면을 적어도 부분적으로 덮는 보호 커버와, 상기 전자 장치 외부에서 수행되는 사용자 제스처를 검출하기 위해 커버에 장착되는 복수의 근접 센서와, 배터리와, 무선 통신 회로와, 프로세서를 포함하며,
상기 프로세서는 상기 근접 센서를 작동시키도록, 그리고, 상기 근접 센서에 의해 검출되는 제스처에 기초하여 전자 장치에 명령을 송신하게끔 무선 통신 회로를 작동시키도록, 구성된다.

Description

광-기반 근접 검출 시스템 및 사용자 인터페이스 {LIGHT-BASED PROXIMITY DETECTION SYSTEM AND USER INTERFACE}
관련 출원의 상호 참조
본 출원은 2013년 2월 25일 출원된 미국특허출원 제13/775,269호(발명자: Thomas Eriksson, Stefan Holmgren, John Karlsson, Remo Behdasht, Erik Rosengren 및 Lars Sparf, 발명의 명칭: REMOVABLE PROTECTIVE COVER WITH EMBEDDED PROXIMITY SENSORS)의 우선권을 주장하며, 그 내용 전체는 여기에 포함된다.
본 출원은 2013년 1월 3일 출원된 미국특허출원 제13/732,456호(발명자: Thomas Eriksson 및 Stefan Holmgren, 발명의 명칭: LIGHT-BASED PROXIMITY DETECTION SYSTEM AND USER INTERFACE)의 우선권을 주장하며, 그 내용 전체는 여기에 포함된다.
본 출원은 2012년 10월 14일 출원된 미국특허가출원 제61/713,546호(발명자: Stefan Holmgren, 발명의 명칭: REMOVABLE PROTECTIVE COVER WITH EMBEDDED PROXIMITY SENSORS)의 우선권을 주장하며, 그 내용 전체는 여기에 포함된다.
기술 분야
본 발명은 광-기반 근접 센서, 그래픽 사용자 인터페이스, 및 무선 입력 장치 분야의 발명이다.
종래의 터치 감지 가상 버튼 즉, 고정 평탄 표면 상에 페인팅되고 터치에 의해 작동되는 버튼은 용량성-기반 또는 저항-기반이다. 소정의 터치 기반 사용자 입력 시스템은 호버링 물체(hovering object)도 검출한다. 예는 미국특허공보 제2008/0012835 A1(HOVER AND TOUCH DETECTION FOR DIGITIZER) 및 미국특허공보 제2006/0244733 A1(TOUCH SENSITIVE DEVICE AND METHOD USING PRE-TOUCH INFORMATION)을 포함한다.
반사광에 기초한 종래의 호버 검출 시스템은 반사광의 양에 기초하여 표면 위의 물체의 높이를 결정한다 - 물체가 가까울수록, 터치 표면 아래에 위치한 검출기에 더 많은 광이 반사된다. 따라서, 종래의 시스템은 시간에 따라 호버링 물체를 검출할 수 있고, 검출되는 광의 상대적 양에 기초하여 물체가 가까이 다가오는지 또는 멀리 멀어지는지 여부를 결정할 수 있다. 즉, 시간에 따른 광 검출 감소는 물체가 표면으로부터 멀어짐을 표시하고, 시간에 따른 광 검출 증가는 물체가 표면을 향해 다가옴을 표시한다. 다시 말해서, 결정되는 높이는 일련의 검출에서의 다른 높이에 대해 상대적이며, 실제 높이는 미지의 값으로 남아 있다. 게다가, 서로 다른 물질은 서로 다른 양의 광을 반사한다 - 예를 들어, 흰 장갑은 검은 장갑에 비해 더 맣은 광을 반사하고, 호버링 물체의 반사 성질은 시스템에 의해 알려져 있지 않다. 따라서, 시스템은 검출되는 반사광의 양에 기초하여 표면 위에 물체가 놓이는 높이를 결정할 수 없다. 추가적으로, 종래의 근접 검출기는 서로에 관한 높이의 순위를 정하기 위해 서로 다른 높이에서 물체의 일련의 검출을 요구하기 때문에, 고정 호버링 물체의 단일 근접 검출 또는 일련의 검출은 물체의 높이에 관한 정보를 거의 제공하지 못할 것이다.
그래픽 사용자 인터페이스(GUI)는 스크린 상에 디스플레이되는 시각적 요소들과 상호작용을 가능하게 한다. GUI의 크기가 스크린의 크기를 넘어서면, 사용자는 스크린 상에 디스플레이되는 GUI의 부분만과 상호작용하도록 제한받는다. GUI의 디스플레이되는 부분 외부에 가상으로 위치한 시각적 요소를 활성화시키기 위해, 사용자는 GUI의 현재 디스플레이되는 부분을 디스플레이 외부로 변위시키면서, GUI의 일부분을 디스플레이 외부로부터 디스플레이 내로 이동시키도록, GUI를 플래닝하여야 한다. 따라서, GUI의 패닝없이, 스크린의 디스플레이 영역을 벗어나 가상으로 위치하는 GUI 요소들과 사용자 상호작용을 가능하게 하는 장점을 가질 것이다.
무선 통신은 물리적 전도체에 의해 연결되지 않는 2개 이상의 장치 사이의 데이터 전송이다. 대중적인 무선 기술은 그 중에서도 전파(radio)를 포함하는 전자기적 무선 통신을 이용한다. 블루투스는 2400 - 2480 MHz에서의 ISM 대역으로의 단파 라디오 전송을 이용하여 단거리를 통한 데이터 교환을 위한 무선 기술 표준이다. 2개의 인기있는 무선 응용예는 이동 전화를 제어하기 위한 핸드프리 헤드셋과, 개인용 컴퓨터용 무선 마우스다.
본 발명의 형태는 이동 전화와 같은 핸드헬드 장치, 프린터 및 복합기와 같은 사무 장비, 그리고, 세탁기 및 마이크로파 오븐과 같은 가전 제품용의 스위치 또는 슬라이더 제어부를 구현하는데 사용되는 터치 감지식 표면에 관한 것이다. 추가적인 사용자 인터페이스 및 장치가 아래에서 개시된다.
본 발명의 추가적인 형태는 GUI에 관련되고, 특히, 디스플레이 스크린 크기를 넘어 가상으로 배치되는 GUI 요소들과의 사용자 상호작용에 관한 것이다.
본 발명의 추가적인 형태는, 장치의 외측 에지를 따라 두드림 및 슬라이드 제스처에 응답하는, 그리고, 장치 위에서의 손 흔듬 제스처에 응답하는, 장치 상에서 구동되는 애플리케이션용의 GUI에 관한 것이다.
본 발명의 추가적인 형태는, 커버의 표면 상에서 수행되는 접촉 사용자 제스처와, 장치 인근의 공중에서 수행되는 비-접촉 사용자 제스처를 포함한, 장치 외부에서 수행되는 사용자 제스처를 검출하기 위해, 근접 센서를 포함하는 제거가능한 보호 장치 커버에 관한 것이다.
본 발명의 추가적인 형태는 커버된 장치와 무선 통신하는 제거가능한 보호 장치 커버에 관한 것이다. 보호 장치 커버는 장치 외부에서 수행되는 사용자 제스처를 검출하기 위한 근접 센서들을 포함하고, 블루투스와 같은 무선 통신 프로토콜을 통해 장치에 검출된 제스처를 전송한다. 이러한 방식으로, 사용자는 보호 커버에 의해 검출되는 제스처를 통해 장치를 제어한다.
따라서, 본 발명의 일 실시예에 따라 전자 장치가 제공되며, 상기 전자 장치는, 하우징과, 상기 하우징에 장착되는 디스플레이와, 상기 디스플레이의 에지 근처에서 상기 디스플레이 외부의 물체의 존재를 검출하기 위해, 상기 디스플레이로부터 외측으로 지향되도록, 상기 디스플레이의 에지 근처에서 상기 하우징에 장착되는 복수의 근접 센서와, 그래픽 사용자 인터페이스(GUI)의 요소들의 사용자 활성화에 응답하여 상기 장치를 작동시키기 위해, 상기 하우징에 장착되고, 상기 디스플레이 및 상기 근접 센서와 연결되는 프로세서를 포함하며,
상기 GUI는 상기 디스플레이 상에 상기 프로세서에 의해 렌더링되는 디스플레이부와, 상기 디스플레이의 에지 너머로 연장되는 가상 비-디스플레이부를 포함하며, 상기 프로세서는 GUI의 비-디스플레이부 내 물체의 존재를 근접 센서가 검출함에 기초하여, GUI의 가상부분의 요소들의 사용자 활성화에 응답하여 상기 프로세서가 상기 장치를 작동시킨다.
본 발명의 일 실시예에 따라 카메라가 추가적으로 제공되며, 상기 카메라는 하우징과, 상기 하우징에 장착되는 뷰파인더와, 상기 뷰파인더의 에지 근처의, 그리고 상기 뷰파인더 외부의, 손가락의 존재를 검출하기 위해, 상기 뷰파인더로부터 외측으로 지향되도록 상기 뷰파인더의 에지 근처에서 하우징에 장착되는 복수의 근접 센서와, 상기 하우징에 장착되고 상기 뷰파인더 및 상기 근접 센서와 연결되는 프로세서를 포함하며,
상기 근접 센서가 손가락의 존재를 검출함에 기초하여, 상기 뷰파인더의 에지 외부 상의 제 1 위치에서 사용자 두드림에 응답하여 상기 프로세서는 뷰파인더 내 현 프레임을 카메라로 하여금 캡처하게 한다.
본 발명의 일 실시예에 따라 전자 장치가 또한 제공되며, 상기 전자 장치는 하우징과, 상기 하우징에 장착되는 디스플레이와, 상기 디스플레이의 에지 근처에서 상기 디스플레이 외부의 물체의 존재를 검출하기 위해, 상기 디스플레이로부터 외측으로 지향되도록 상기 디스플레이의 에지 근처에서 상기 하우징에 장착되는 복수의 근접 센서와, 상기 장치의 에지 외부를 따라 위치하는 가상 제어의 사용자 활성화에 응답하여 장치를 작동시키기 위해, 상기 하우징에 장착되고 상기 디스플레이 및 근접 센서와 연결되는 프로세서를 포함하며,
상기 근접 센서가 상기 장치의 에지 외부의 물체의 존재를 검출함에 기초하여, 가상 제어의 사용자 활성화에 응답하여 상기 프로세서가 장치를 작동시킨다.
본 발명의 일 실시예에 따라 전자 장치가 또한 제공되며, 상기 전자 장치는 하우징과, 상기 하우징에 장착되는 디스플레이와, 상기 디스플레이 위의 물체의 존재를 검출하기 위해, 상기 디스플레이로부터 상향으로 지향되도록 상기 디스플레이의 에지 근처에서 상기 하우징에 장착되는 복수의 근접 센서와, 상기 하우징에 장착되고 상기 디스플레이 및 근접 센서와 연결되는 프로세서를 포함하며,
상기 근접 센서가 상기 디스플레이 위의 물체의 존재를 검출함에 기초하여, 디스플레이 위의 사용자 흔듦 제스처에 응답하여 상기 프로세서가 장치를 작동시킨다.
본 발명의 일 실시예에 따라 전자 장치가 또한 제공되며, 상기 전자 장치는 하우징과, 상기 하우징에 장착되는 디스플레이와, 상기 디스플레이의 에지 근처에서 상기 디스플레이 외부의 물체의 존재를 검출하기 위해, 상기 디스플레이로부터 외측으로 지향되도록 상기 디스플레이의 에지 근처에서 하우징에 장착되는 복수의 근접 센서와, 그래픽 사용자 인터페이스(GUI)의 요소들의 사용자 활성화에 응답하여 장치를 작동시키기 위해, 상기 하우징에 장착되고 상기 디스플레이 및 근접 센서와 연결되는 프로세서를 포함하며,
상기 GUI는 디스플레이 상에서 프로세서에 의해 렌더링되는 디스플레이부와, 상기 디스플레이의 에지 너머로 연장되는 가상 비-디스플레이부를 포함하고, 상기 근접 센서가 GUI의 비-디스플레이부 내 물체의 존재를 검출함에 기초하여, GUI의 가상 부분의 요소들의 사용자 활성화에 응답하여 상기 프로세서가 장치를 작동시킨다.
본 발명의 일 실시예에 따라 카메라가 추가로 제공되며, 상기 카메라는 하우징과, 상기 하우징에 장착되는 뷰파인더와, 상기 뷰파인더의 에지 근처에서 뷰파인더 외부의 손가락의 존재를 검출하기 위해, 상기 뷰파인더로부터 외측으로 지향되도록 뷰파인더의 에지 근처에서 하우징에 장착되는 복수의 근접 센서와, 상기 하우징에 장착되고 상기 뷰파인더 및 근접 센서와 연결되는 프로세서를 포함하며,
상기 근접 센서가 손가락의 존재를 검출함에 기초하여, 상기 뷰파인더의 에지 외부 상의 제 1 위치에서 사용자 두드림에 응답하여 상기 프로세서는 뷰파인더 내 현 프레임을 카메라로 하여금 캡처하게 한다.
본 발명의 일 실시예에 따라 전자 장치가 또한 제공되며, 상기 전자 장치는 하우징과, 상기 하우징에 장착되는 디스플레이와, 상기 디스플레이의 에지 근처에서 상기 디스플레이 외부의 물체의 존재를 검출하기 위해, 상기 디스플레이로부터 외측으로 지향되도록 상기 디스플레이의 에지 근처에서 하우징에 장착되는 복수의 근접 센서와, 상기 장치의 에지 외부를 따라 위치하는 가상 제어부의 사용자 활성화에 응답하여 장치를 작동시키기 위해, 상기 하우징에 장착되고 디스플레이 및 근접 센서와 연결되는 프로세서를 포함하며,
상기 근접 센서가 장치 에지 외부에서 물체의 존재를 검출함에 기초하여, 가상 제어부의 사용자 활성화에 응답하여 상기 프로세서가 장치를 작동시킨다.
본 발명의 일 실시예에 따라 전자 장치가 또한 제공되며, 상기 장치는 하우징과, 상기 하우징에 장착되는 디스플레이와, 상기 디스플레이 위의 물체의 존재를 검출하기 위해, 상기 디스플레이로부터 상향으로 지향되도록 상기 디스플레이의 에지 근처에서 하우징에 장착되는 복수의 근접 센서와, 상기 하우징에 장착되고 상기 디스플레이 및 근접 센서와 연결되는 프로세서를 포함하며,
상기 근접 센서가 디스플레이 위에서 물체의 존재를 검출함에 기초하여, 상기 디스플레이 위의 사용자 흔듦 제스처에 응답하여 상기 프로세서가 장치를 작동시킨다.
본 발명의 일 실시예에 따라 핸드헬드 전자 장치용의 제거가능한 커버가 또한 제공되며, 상기 커버는 핸드헬드 전자 장치의 후방 및 측부 표면을 적어도 부분적으로 덮는 보호 커버와, 상기 전자 장치 외부에서 수행되는 사용자 제스처를 검출하기 위해 커버에 장착되는 복수의 근접 센서와, 배터리와, 무선 통신 회로와, 프로세서를 포함하며,
상기 프로세서는 상기 근접 센서를 작동시키도록, 그리고, 상기 근접 센서에 의해 검출되는 제스처에 기초하여 전자 장치에 명령을 송신하게끔 무선 통신 회로를 작동시키도록, 구성된다.
도 1은 본 발명의 일 실시예에 따른 하나의 에미터-검출기 채널을 갖는 근접 센서의 단순화된 도면이고,
도 2는 본 발명의 일 실시예에 따른, 2개의 에미터-검출기 채널을 갖는 근접 센서의 제 1 구조의 단순화된 도면이며,
도 3은 본 발명의 일 실시예에 따른, 2개의 에미터-검출기 채널을 갖는 근접 센서의 제 2 구조의 단순화된 도면이고,
도 4 및 도 5는 본 발명의 일 실시예에 따른, 터치 감지 슬라이더 윈도의 길이를 따라 손가락의 위치를 검출하는 복수의 에미터-검출기 채널을 특징으로 하는 터치 감지 슬라이더 윈도의 단순화된 도면이며,
도 6은 본 발명의 일 실시예에 따른, 도 4 및 도 5의 터치 감지 슬라이더 윈도를 따라 배치되는 손가락의 단순화된 도면이고,
도 7-10은 본 발명의 일 실시예에 따른, 터치 감지 슬라이더 윈도의 길이를 따라 손가락의 위치를 검출하는 복수의 에미터-검출기 채널을 특징으로 하는 터치 감지 슬라이더 윈도의 여러 모습을 보여주는 단순화된 도면이며,
도 11-13은 본 발명의 일 실시예에 따른, 터치 감지 슬라이더 윈도의 길이를 따라 손가락의 위치를 검출하는 2개의 에미터-검출기 채널을 특징으로 하는 터치 감지 슬라이더 윈도의 단순화된 도면이고,
도 14-17은 본 발명의 일 실시예에 따른, 수평 및 수직 방향으로 글라이드 움직임을 검출하도록 작동하는 4개의 에미터-검출기 채널을 특징으로 하는, 터치 감지 윈도의 구조의 단순화된 도면이며,
도 18-19는 본 발명의 일 실시예에 따른, 수평 및 수직 방향으로 글라이드 움직임을 검출하도록 작동하는 4개의 에미터-검출기 채널을 특징으로 하는, 터치 감지 윈도의 구조의 탑-슈팅 다이오드(top-shooting diodes)의 단순화된 도면이고,
도 20-22는 본 발명의 일 실시예에 따른, 도 4 및 도 의 터치 감지 윈도를 이용하는 호버링 제스처의 단순화된 도면이며,
도 23은 본 발명의 일 실시예에 따른, 모두 4개의 장치 에지를 따라 근접 센서를 갖는 전자 장치의 단순화된 도면이고,
도 24는 본 발명의 일 실시예에 따른 뮤직 응용예용 사용자 인터페이스의 단순화된 도면이며,
도 25는 본 발명의 일 실시예에 따른 드럼 응용예용 사용자 인터페이스의 단순화된 도면이고,
도 26은 본 발명의 일 실시예에 따른, 그래픽 사용자 인터페이스(GUI)를 제공하는 방법의 순서도이며,
도 27은 본 발명의 일 실시예에 따른, 슈터 게임용 사용자 인터페이스의 단순화된 도면이고,
도 28은 본 발명의 일 실시예에 따른, 경주차 게임용 사용자 인터페이스의 단순화된 도면이며,
도 29는 본 발명의 일 실시예에 따른, 뮤직 플레이어 응용예용 사용자 인터페이스의 단순화된 도면이고,
도 30은 본 발명의 일 실시예에 따른, 모두 4개의 장치 에지를 따라 근접 센서를 갖는 전자 장치의 단순화된 도면이며,
도 31은 본 발명의 일 실시예에 따른, 도 30의 전자 장치 상에서 수행되는 사용자 인터페이스 "바운스" 제스처의 단순화된 도면이고,
도 32는 본 발명의 일 실시예에 따른, 경보 클럭 응용예용 사용자 인터페이스의 단순화된 도면이며,
도 33은 본 발명의 일 실시예에 따른, 카메라 응용예용 사용자 인터페이스의 단순화된 도면이고,
도 34는 본 발명의 일 실시예에 따른, 핸드헬드 전자 장치에 부착된 제거가능 커버의 단순화된 도면이며,
도 35는 본 발명의 일 실시예에 따른, 도 34의 제거가능 커버의 분해 조립도이고,
도 36은 본 발명의 일 실시예에 따른, 도 34의 제거가능 커버의 조립도이며,
도 37은 본 발명의 일 실시예에 따른, 도 34의 제거가능 커버의 평면 사시도이고,
도 38은 본 발명의 일 실시예에 따른, 도 34의 제거가능 커버의 저면 사시도이며,
도 39는 본 발명의 일 실시예에 다른, 도 34의 제거가능 커버의 인쇄 회로 보드의 개략적인 레이아웃이다.
본 명세서 및 도면에서, 다음의 도면부호 부여 기법이 사용된다. 발광 요소 및 방사 광빔은 100-199 범위에서 번호가 부여된다. PD와 같은 수광 요소 및 반사 광빔은 200-299 범위의 번호가 부여된다. 렌즈 구성요소, 반사 및 굴절 요소는 300-399 범위의 번호가 부여된다. 손가락, 스타일러스, 전자 장치 및 그 하우징은 900-999 범위의 번호가 부여된다.
다음의 표는 번호부여된 요소들의 목록이며, 각각의 번호부여된 요소들이 나타나는 도면을 나열한다.
Figure pct00001

Figure pct00002

Figure pct00003
본 발명의 형태는 가상 버튼, 슬라이더, 및 터치 패드와 같은 광-기반 터치 제어에 관한 것이다. 본 발명의 형태는 호버 제스처에 대한 근접 센서에 또한 관련된다. 본 발명의 실시예에 따르면, 광-기반 터치 제어 및 근접 센서는 전자 장치용 하우징 내부에 배치되는 적외선 발광 다이오드(LED) 및 포토다이오드(PD)를 하우징의 적외선-투과 섹션 아래에, 포함한다. LED는 통과 섹션을 통해 실질적으로 하우징 표면에 입사되는 광을 투사한다. 물체가 투과 섹션에 닿거나 근접할 때, 물체는 광을 PD에 의해 검출되는 하우징으로 되반사시킨다. 반사광의 각각의 검출은 검출 채널을 나타낸다.
단 하나의 LED 및 하나의 PD를 갖는 근접 센서는 하나의 신호를 제공하는 단일 검출 채널을 갖는다. 원칙적으로 이 신호는 물체가 센서 위에 존재하는지 아닌지 여부에 관한 이진(예/아니오) 정보를 제공한다. 추가적으로, 이 신호는 근접 축을 따라 물체의 운동 방향에 관한 정보, 즉, 물체가 센서를 향해 또는 센서로부터 멀어지도록 이동하고 있는지 여부에 관한 정보를 제공한다. 따라서, 신호가 시간에 따라 증가할 경우 물체는 센서를 향해 이동하고 있는 것이고, 신호가 시간에 따라 감소할 경우 물체는 센서로부터 멀어지는 방향으로 이동하고 있는 것이다.
본 발명의 일 실시예에 따라, 하나의 에미터-검출기 채널을 갖는 근접 센서의 도식적 도해인 도 1을 참조한다. 도 1에 예시되는 실시예에서는 하나의 LED 및 하나의 PD가 하우징 내에 구성된 제어 표면 아래에 함께 배치된다. 본 실시예에서는 하나의 검출 채널이 제공된다.
도 1은 휴대용 전자 장치(910)의 측면도를 보여준다. 에미터 빔(110)이 장치 위에 투사되고, 장치 위에 위치한 손가락(900)에 의해 장치로 다시 반사된다. 따라서, 광 채널(110-210)이 제공되어 근접 손가락(900)을 검출할 수 있다.
앞서 설명한 바와 같이, 단일 채널의 제한사항 중 한 예는 서로 다른 반사 성질을 갖는 서로 다른 물체가 사용될 수 있기 때문에 검출 신호의 세기에 기초하여 센서로부터 물체의 거리를 결정하는 것이 불가능하다는 점이다. 예를 들어, 센서 근처의 검은 장갑과 센서로부터 더 멀리 놓인 흰 장갑이 실질적으로 유사한 검출 레벨을 제공한다. 채널이 많을수록 더 많은 정보가 발생한다. 그러나, 추가 채널이 추가 LED 및 추가 PD의 추가를 필수화하지는 않는다. 대신에, 하나의 LED로부터의 광을 여러 PD들이 공유하여, 복수의 검출 채널을 제공할 수 있다. 마찬가지로, 하나의 PD는, 여러 LED로부터 반사되는 광을 수신할 수 있을 때, 복수의 검출 채널을 제공할 수 있다.
본 발명의 일 실시예에 따라, 2개의 에미터-검출기 채널을 갖는 근접 센서의 제 1 구성의 도식적 도해인 도 2를 참조한다. 도 2는 하우징 내에 구성된 제어 표면 아래에 일렬로 배치되는 2개의 LED 및 하나의 PD를 도시한다. 2개의 LED 및 하나의 PD로 이루어지는 선에서, LED 중 하나가 다른 하나의 LED와 PD 사이에 놓이게 된다. 본 실시예에서, 2개의 검출 채널이 제공된다. 2개의 채널을 이용하여, 하나의 차원을 따른 위치 정보가 보간에 의해 발생될 수 있다.
도 2는 2개의 에미터-검출기 광 채널과 휴대용 전자 장치(910)의 측면도를 보여준다. 따라서, 도 2(A)는 근처의 손가락(901)을 검출하는 제 1 광 채널(112-212)을 보여주고, 도 2(B)는 먼 손가락(900)을 검출하는 제 2 광 채널(111-211)을 보여준다. 에미터 빔(111, 112)은 각자 반사된 빔이 검출기 위치에 도달하도록 하기 위해, 소정 각도로 장치(910)의 상측 표면으로부터 전방으로 방사된다. 도 2의 근접 검출기는 어느 채널이 검출되는지에 기초하여 물체의 높이 표시를 제공한다. 두 채널로부터 신호의 보간은 두 채널 모두에 의해 검출되는 높이 범위 내의 물체의 위치를 표시할 것이다.
이에 반해, 종래의 근접 검출기는 반사 신호의 상대적 세기에 기초하여 근접도를 결정하며, 앞서 설명한 바와 같이, 서로 다른 신호의 순위를 정하기 위해 일련의 검출을 필요로한다. 따라서, 도 2의 시스템은 종래 기술의 두가지 단접을 해소시킨다: 1. 상대적 높이에 반해, 스크린 위 물체의 절대 높이의 표시를 제공하고, 2. 고정 물체의 검출에 기초하여 이러한 표시를 제공하고 시간에 따른 일련의 검출을 요구하지 않는다.
예를 들어, 도 2의 시스템의 에미터를 검출기로 대체함으로써, 그리고, 도 2의 시스템의 검출기를 에미터로 대체함으로써, 2개의 유사한 검출 채널이 2개의 검출기 및 하나의 에미터에 의해 제공된다. 이러한 경우에, 빔(211, 212)은 하나의 에미터에 의해 방사되는 하나의 동일한 에미터 빔이고, 반사 빔(111, 또는 112)은 장치(910) 위 손가락(900 또는 901) 높이에 따라 2개의 검출기 중 하나에 도달한다.
본 발명의 일 실시예에 따라, 2개의 에미터-검출기 채널을 갖는 근접 센서의 제 2 구조에 대한 도식적 도해인 도 3을 참조한다. 도 3은 2개의 검출 채널을 구비한 휴대용 장치(910)를 보여주지만, 이 경우에 검출기는 2개의 에미터 사이에 위치하고, 2개의 채널은 횡방향 위치 정보를 제공한다. 제 1 에미터 빔(113)은 검출기 우측으로 장치 위로 투사되고, 제 2 에미터 빔(114)은 검출기 왼쪽으로 장치 위에 투사된다. 손가락이 도 3의 손가락(900)에 의해 예시되는 바와 같이 제 1 에미터와 검출기 사이의 공간 위를 맴돌 때, 손가락은 제 1 검출 채널(113-213)을 생성한다. 손가락이 도 3의 손가락(901)에 의해 예시되는 바와 같이 제 2 에미터와 검출기 사이의 공간 위를 맴돌 때, 이는 제 2 검출 채널(114-213)을 생성한다. 두 채널로부터 신호의 보간은 최외측 구성요소들 사이에서 물체의 위치를 표시한다. 앞서 설명한 바와 같이, 에미터 및 검출기는 교환될 수 있고, 2개의 유사한 검출 채널을 여전히 제공할 수 있다.
발명의 형태는 이동 전화와 같은 장치의 높이 또는 두께에 걸친 얇은 윈도를 제공하는 것에 관련된다. 사용자는 이러한 윈도에 대해 손가락 제스처를 수행함으로써 전화와 상호작용하고, 근접 센서는 손가락의 위치 또는 제스처를 검출한다. 하나의 응용예는 물리적 버튼을 대신하는 것이다. 가장 기본적인 경우에, LED로부터의 광이 장치로부터 전송되어 손가락에 의해 반사된다. 반사광은 LED의 어느 한 편에 위치한 2개의 PD에 의해 검출되고, 손가락의 위치가 신호로부터 보간된다. 예를 들어, 이러한 배열은 이동 전화 상의 볼륨 버튼을 대체할 수 있다. 원칙적으로, 이러한 배열은 제한된 근접 기능을 가질 수 있다. 이러한 개념적 모델은 추가적인 구성요소와 함께 확장될 수 있다.
본 발명의 일 실시예에 따르면, 윈도의 길이를 따라 손가락의 위치를 검출하는 복수의 에미터-검출기 채널을 특징으로 하는 터치 감지식 슬라이더 윈도의 도식적 도해인 도 4 및 도 5를 참조한다. 본 발명의 일 실시예에 따르면, 도 4 및 도 5의 터치 감지식 슬라이더 윈도를 따라 위치하는 손가락의 개략적 도해인 도 6을 또한 참조한다. 도 4 및 도 5는 윈도의 길이를 따라 손가락의 위치를 검출하는 복수의 에미터-검출기 채널을 특징으로 하는 터치 감지식 슬라이더 윈도의 전면 및 후면도다. 도 4 및 도 5는 상측 케이싱부(921) 및 하측 케이싱부(922)에 의해 형성되는 장치 하우징의 측벽을 보여준다. 렌즈(301)는 케이싱부(921, 922) 사이에 삽입된다. 도 4 및 도 5는, 특히 도 4에서, 장치 하우징 내부에 위치한 PCB(923)를 보여준다. 광 에미터(121) 및 광 검출기(221)는 PCB(923) 상에 한줄로 교번하여 장착된다. 이웃 요소들의 모든 에미터-검출기 쌍은 도 6의 손가락(900)에 의해 예시되는 바와 같이, 렌즈(301)의 길이를 따라 하우징의 외측 측벽 에지를 터치하는 물체를 검출하기 위한 검출 채널을 제공한다.
에미터 및 검출기가 하우징 내부에 함께 배치될 때, 에미터가 활성화될 때 광이 하우징 내부에서 산란하고, 산란 광의 일부분이 렌즈(301) 외부의 물체에 의해 반사됨이 없이 검출기에 도달한다. 검출기에 도달하는 산란광의 양을 최소화시키기 위해, 에미터 및 검출기가 대향 방향을 면하는 PCB(923) 상에 장착된다.
본 발명의 일 실시예에 따르면, 윈도의 길이를 따라 손가락의 위치를 검출하는 복수의 에미터-검출기 채널을 특징으로 하는 터치 감지식 슬라이더 윈도의 서로 다른 모습을 보여주는 개략적 도해인 도 7-10을 참조한다. 도 7-10은 내향을 면하는 에미터(122) 및 외향을 면하는 검출기(222)를 보여준다. 추가적으로, 분리 장벽(924)이 에미터와 검출기 사이에 배치되어 산란광으로부터 검출기를 추가적으로 차폐시킨다. 도 9는 이러한 구조의 분해 조립도다. 도 10은 동일 구조의 단면도다.
도 7-10의 렌즈(301)는 도 4 및 도 5의 렌즈(301)보다 복잡하다. 도 7-10에서, 내향을 면하는 에미터로부터 렌즈(301)를 통해 다시 외향을 면하는 검출기로 광을 지향시키기 위해, 렌즈(301)는 검출기(222)가 아닌 에미터(122) 주위에서 에미터에 걸쳐 연장된다. 2개의 광 경로가 도 7 및 도 8에 도시된다. 에미터 빔(123)은 장치로부터 에미터(122)에 걸쳐 이동하기 전에 렌즈(301) 내부에서 두번 반사된다. 입사 빔(223)은 렌즈(301)에 유입되고, 검출기(222)에 도달하기 전에 렌즈 내부에서 두번 반사된다.
본 발명의 일 실시예에 따라, 윈도의 높이를 따라 손가락의 위치를 검출하는 2개의 에미터-검출기 채널을 특징으로 하는 터치 감지식 슬라이더 윈도의 개략적 도해인 도 11-13을 참조한다. 도 11-13은 양-채널 제어의 다른 구조를 예시한다. 이러한 경우에, 제어는 도 3-10-에서와 같이 장치의 길이를 따라서보다는, 장치의 높이를 따라 물체를 검출한다. 도 11-13은 상측 및 하측 케이싱부(931, 932)를 보여준다. 하나의 에미터(122) 및 2개의 수신기(222)가 하측 케이싱부(932)에 연결된다. 검출 채널은 케이싱부(931, 932) 사이에 삽입된 반사 렌즈(302)에 의해 가능하게 구성된다. 에미저(122)로부터 렌즈(302)를 통한 광 경로는 떠나가는 에미터 빔(124)으로 도 12에 예시된다. 2개의 검출기(222)에서 지향되는 2개의 들어오는 빔(224, 225)의 광 경로가 도 12에 또한 예시된다. 도 13은 도 12의 렌즈(302) 및 광빔 경로(124, 224, 225)의 단면도다.
3개의 채널을 이용하여, 2차원 위치 정보를 얻는다. 하나의 응용예는 광학 조이스틱이다. 두번째 응용예는 2차원 항법 패드다. 세번째 응용예는 마우스 터치패드다. 예를 들어, 정삼각형의 세 꼭지점에 3개의 에미터를 배열하고 삼각형의 무게중심에 하나의 검출기를 배치함으로써, 3개의 검출 신호가 제공된다. 신호들을 보간함으로써, 물체의 2차원적 위치를 얻는다. 두번째 예로서, 도 2의 2개의 채널로 시작하여 높이 정보를 제공하고, 하나의 채널을 추가하여 도 3에서와 같이 횡방향 정보를 제공한다.
본 발명의 일 실시예에 따라, 수평 및 수직 방향 모두로 글라이드 운동을 검출하도록 작동하는 4개의 에미터-검출기 채널을 특징으로 하는 터치 감지식 윈도의 구조의 개략적 도해인 도 14-17을 참조한다. 도 14-17은 손가락 또는 다른 무ㅜㄹ체의 상하 및 좌우 운동을 검출하기 위해 크로스-바 제어를 예시한다. 예시되는 제어는 4개의 검출기(222.1-222.4)에 의해 둘러싸인 하나의 중앙 에미터(122)에 의해 생성되는 4개의 검출 채널을 갖는다. 대안의 구조는 4개의 에미터에 의해 둘러싸인 하나의 중앙 검출기를 갖고, 도 14-17의 시스템의 작동과 유사하다. 도 14는 상측 및 하측 케이싱부(941, 942) 사이에 배치되는 렌즈(303)와, 하측 케이싱부에 연결되는 PCB(도 16의 943) 상의 장치 내부에 장착되는 다섯개의 구성요소(에미터 및 수신기)를 예시한다. 렌즈(303)의 외측 교차-형상 표면은 외측 케이싱과 동일 높이를 갖는다.
도 15는 도 14에 도시되는 시스템의 단면도다. 렌즈(303)는 각각의 섹션이 서로 다른 구성요소에 의해 어떻게 사용되는지를 보여주기 위해 섹션별로 나누어진다. 검출기(222.1)는 섹션(303.1)을 통해 렌즈에 들어오는 광 빔을 수신하고, 에미터(122)는 섹션(303.2)을 이용하여 렌즈로부터 광을 반사시키며, 검출기(222.2)는 섹션(303.3)을 통해 렌즈에 들어오는 광 빔을 수신한다.
도 16은 도 15에 도시되는 시스템의 분해 조립도다. 도 16은 검출기(222.1-222.4) 및 에미터(122)와, PCB(943)와, 상측 및 하측 케이싱부(941, 942)와, 상측 섹션(303.1), 중간 섹션(303.2), 및 하측 섹션(303.3)으로 나누어진 렌즈(303)를 보여준다.
도 17은 도 16의 시스템의 약간 회전한 측면도다. 도 17은 렌즈의 중간 섹션(303.2)이 에미터(122)에 추가하여 검출기(222.2, 222.4)에 의해 어떻게 사용되는 지를 예시한다. 렌즈(303) 뒤의 에어 갭(945)이 또한 도시된다. 에어 갭(945)의 용도는 렌즈(303)의 대각면(320)을 내부 반사식으로 만드는 것이다.
본 발명의 일 실시예에 따르면, 수평 및 수직 방향 모두로 글라이드 운동을 검출하도록 작동하는 4개의 에미터-검출기 채널을 특징으로 하는 터치 감지식 윈도의 구조에서 상부-슈팅 다이오드의 개략적인 도해인 도 18 및 19를 참조한다. 도 18 및 도 19는 마우스 패드 또는 다른 2차원 제어를 예시한다. 이 구조는 제어 표면 바로 아래에 에미터 및 검출기를 배치한다. 도 18은 도 14-17을 참조하여 앞서 설명한 바와 실질적으로 유사하게, 4개의 채널을 제공하도록 에미터(122)를 둘러싸는 4개의 수신기(222.1-222.4)를 보여준다. 도 19에서, 에칭된 십자가 형상(951)을 갖는 적외선 투과성 커버(950)가 에미터 및 수신기 위에 배치된다. 십자가 형상은 사용자에게 항법 경로를 표시한다.
4개의 채널을 갖는 시스템은 근접 물체에 관한 3차원적 정보를 또한 제공한다. 예를 들어, 높이 정보를 제공하기 위해 도 2의 2개의 채널로 시작해보자. 도 3에서와 같이 횡방향 정보를 제공하기 위해 하나의 채널을 추가한다. 또한 도 3에서와 같이, 제 2 횡방향 정보를 제공하기 위해 또 하나의 채널을 추가한다.
응용예
발명의 형태는 이동 전화와 같은, 장치의 높이 또는 두께에 걸쳐 얇은 윈도를 제공하는 것에 관련된다. 사용자는 이러한 윈도에 대해 손가락 제스처를 수행함으로써 전화와 상호작용하고, 근접 센서는 손가락의 위치 또는 제스처를 검출한다. 하나의 용도는 물리적 버튼을 대체하는 것이다. 기분적인 경우에, LED로부터의 광이 장치로부터 전송되어 손가락에 의해 반사된다. 반사광은 LED의 어느 한쪽에 위치한 2개의 PD에 의해 검출되고, 손가락 위치는 신호로부터 보간된다. 예를 들어, 이러한 배열은 이동 전화 상의 볼륨 버튼을 대체할 수 있다.
본 발명의 일 실시예에 따라, 도 4 및 도 5의 터치 감지식 윈도를 이용하여 호버링 제스처의 개략적 도해인 도 20-22를 참조한다. 도 20은 본 발명의 일 실시예에 따른 제어부와 상호작용하는 사용자를 보여준다. 도 20A는 스크린(909) 및 제어 윈도(310)를 갖는 이동 전화 또는 다른 전자 장치(910)를 보여준다. 손가락(903)은 제어부를 따라 슬라이딩함으로써 또는 제어부를 두드림으로써 이러한 제어부와 상호작용한다. 윈도(310)를 따른 손가락(903)의 슬라이딩 제스처가 화살표(957)에 의해 표시된다.
도 20B는 스크린(909) 및 제어 윈도(310)를 갖는 동일 이동 전화 또는 다른 전자 장치(910)를 보여준다. 2개의 손가락(904, 905)이 이러한 제어부와 상호작용한다. 일례로서, 손가락들이 교대로 윈도(310)에 접근하고 윈도(310)로부터 멀어질 수 있다. 따라서, 제스처의 제 1 위치에서, 손가락(904)은 윈도(310) 근처에 대향하여 위치하고 손가락(905)은 윈도(310)로부터 멀리 대향하여 배치된다. 그 후, 손가락(904)이 윈도(301) 근처로 대향하여 이동하고, 손가락(905)은 윈도(310)로부터 멀리 대향하여 배치된다. 본 예의 제스처는 2개의 손가락이 마치 제어부를 향해 "걷는" 것처럼 보일 수 있다. 이러한 제스처는 앞서 설명한 근접 검출을 이용하여, 제어 윈도를 향한, 그리고 제어 윈도로부터 멀어지는, 손가락 운동을 검출할 수 있다. 다른 2-손가락 제스처는 핀치 제스처로서, 2개의 손가락이 제어 윈도의 길이를 따라 함께 옮겨진다. 스프레드 제스처 또는 "언-핀치" 제스처는 제어 윈도의 길이를 따라 서로로부터 멀리 두 손가락을 이동시킨다.
도 21은 스크린(909) 및 제어 윈도(310)를 갖는 전자 장치(910) 상의 다른 2-손가락 제스처를 예시한다. 두 손가락(904, 905)은 화살표(954, 955)에 따라 이러한 제어부와 상호작용한다. 제스처는 윈도(310)의 일부분에 대향하여 낮은 손가락(905)과, 윈도 위로 상승한 손가락(904)으로 시작한다. 손가락(904)은 화살표(954)에 따라 낮아지고, 손가락(905)은 화살표(955)에 따라 높아진다.
도 22는 스크린(909) 및 제어 윈도(310)를 갖는 전자 장치(910) 상의 다른 양-손가락 제스처를 예시한다. 2개의 손가락(904, 905)은 화살표(964, 965)에 따라 이러한 제어부와 상호작용한다. 제스처는 윈도(310)의 일부분에 대항하여 낮아진 손가락(905)과, 윈도 위로 상승한 손가락(904)와 함께 시작된다. 손가락(904, 905)은 화살표(964, 965)에 따라 "제자리에서 달리는" 것을 흉내내듯이 서로 다른 상태(phase)에서 원운동을 수행한다.
사용자 인터페이스 확장
본 발명의 형태는 확장된 사용자 인터페이스에 관련되어, 사용자가 전자 장치의 물리적 크기 너머로 제스처를 수행한다. 장치는 장치 하우징의 외측 에지를 따라 근접 센서들의 하나 이상의 어레이를 포함한다. 이러한 검출기 어레이는 장치의 둘레 외부에서 수행되는 사용자 제스처를 검출한다.
본 발명의 일 실시예에 따르면, 전부 4개의 장치 에지를 따라 근접 센서를 갖는 전자 장칭듸 개략적 도면인 도 23을 참조한다. 도 23은 스크린(909)을 갖는 전자 장치(910)를 도시한다. 장치(910)의 전부 4개의 외측 에지를 따라, 에미터 광 빔(126)을 표시하는, 빠져나가는 화살표와, 앞서 설명한 바와 같이 장치(910)의 에지를 따라 근접 센서들의 어레이와 연관된 수신기 광 빔(226)을 표시하는, 들어오는 화살표가 도시된다.
본 발명의 일 실시예에 따라, 음악 애플리케이션용 사용자 인터페이스의 개략적 도면인 도 24를 참조한다. 도 24는 뮤직 믹서 또는 DJ 애플리케이션을 보여준다. 스크린(909)은 사용자가 그래픽 상에 손가락(902)을 문지름으로써 잡아늘여지는 레코드 턴테이블(906)의 대화형 그래픽을 디스플레이하는 터치 스크린이다. 장치는 테이블 또는 다른 평탄한 표면 상에 배치된다. 사용자는 슬라이더 제어부(907, 908)를 조작함으로써 소리크기, 템포, 저음, 고음과 같은 음악 애플리케이션의 파라미터를 조작한다. 제어부 내에서 슬라이더 바를 이동시키기 위해, 사용자는 장치의 에지에 평행하게 슬라이딩 제스처를 수행한다. 슬라이더 제어부(907, 908)가 도 24에 도시되지만, 발명의 소정의 실시예에서 이러한 제어부는 장치 외부의 사용자에게 제시되지 않는다. 대신에, 사용자 인터페이스는 실제 또는 가상의 슬라이더 제어가 조작되고 있는 것처럼 에지에 평행하게 하나 이상의 손가락의 슬라이딩에 응답한다. 각각의 에지는 서로 다른 음악 애플리케이션 파라미터를 제어한다.
본 발명의 일 실시예에 따라, 드럼 애플리케이션용 사용자 인터페이스의 개략적 도해인 도 25를 참조한다. 스크린(909)은 다양한 드럼 및 심벌즈(911-915)를 포함한, 위에서 보이는 바와 같은 드럼 세트를 제시한다. 드럼 세트 그래픽은 소정의 드럼 및 심벌즈 중 일부분만이 스크린 상에 도시되도록 스크린보다 크다. 그러나, 부분적으로 볼 수 있는 드럼 또는 심벌즈의 원을 확장시킴으로써, 사용자는 스크린 외부로 확장되는 곳을 상상할 수 있다. 사용자가 위치(916-918)와 같이, 드럼 또는 심벌즈의 확장부가 위치하는 스크린 외부의 위치를 터치하거나 두드릴 때, 장치는 이에 응답하여 적절한 드럼 또는 심벌즈 소리를 발생시킨다. 도 25에서, 손가락(901)은 심벌즈(915)의 연장부(917)를 막 터치하려한다. 소정의 실시예에서, 연장부는 장치 외부에서 사용자에게 제시되지 않는다. 대신에, 사용자 인터페이스는 드럼 또는 심벌즈가 드럼 세트 그래픽에 따라 논리적으로 배치될 위치에 대응하는 장치 주변의 위치에서의 손가락 두드림에 응답한다.
따라서, 드럼 세트는 디스플레이보다 큰 레이아웃으로 배열되며, 임의의 주어진 시간에 드럼 세트 그래픽의 서브세트가 디스플레이 상에 제시된다. 소정의 실시예에서, 드럼 세트 그래픽은, 드럼 세트 그레픽의 서브세트를 디스플레이 내로 옮기도록, 그리고, 드럼 세트 그래픽의 다른 서브세트를 디스플레이 바깥으로 이동시키도록, 디스플레이에 대해 상대적으로 놓인다. 디스플레이 외부로 이동한 다양한 드럼 및 심벌즈의 디스플레 외부에서의 논리적 위치는 사용자 인터페이스에 대해 의미를 갖는다: 사용자가 이러한 위치들 중 하나를 터치하거나 두드릴 때, 장치는 이에 응답하여 대응하는 드럼 또는 심벌즈 소리를 발생시킨다. 사용자는 다양한 드럼들이 스크린 외부에 논리적으로 위치하는 곳을 이해할 수 있도록 드럼 세트 그래픽의 모습을 취한다. 소정의 실시예에서, 사용자는 그래픽의 디스플레이되는 부분 바깥에 소정의 드럼이 위치하는 것을 알 수 있도록 드럼 세트 그래픽을 줌 처리(zoom)할 수도 있다. 이러한 경우에, 드럼 세트 그래픽이 줌-아웃됨에 따라, 전체 그래픽이 디스플레이 상에 맞춰지게 된다. 그래픽이 줌-인되면, 그래픽의 부분들이 스크린 상에 들어맞지 않는 지점까지 크기가 커진다. 그러나, 줌 작동 중 사용자는 이러한 스크린을 벗어나는 부분들이 장치로부터 드럼 소리를 도출하기 위해 소정의 위치들을 터치할 수 있도록 논리적으로 위치하는 곳을 알게 된다. 도 25에서, 손가락(900)은 디스플레이를 완전히 벗어난 드럼(911)의 논리적 위치를 터치하고 있다.
본 발명의 일 실시예에 따라, 그래픽 사용자 인터페이스(GUI)를 제공하기 위한 방법의 순서도인 도 26을 참조한다. GUI는 단계(1001-1007)를 참조하여 설명된다. 단계(1001)에서, 그래픽 파일이 판독된다. 그래픽 파일은 가령, 함께 드럼 세트를 형성하는 다양한 드럼들의 그래픽과 같은, 하나 이상의 파일로부터 다양한 그래픽 요소들로 구성되는 복합 그래픽 또는 하나의 그래픽이다. 단계(1002)에서, 그래픽의 일부분이 스크린 상에서 렌더링되고, 나머지 그래픽은 스크린 바깥에서 매핑된다. 이는 그래픽이 스크린 상에 들어맞기엔 너무 크기 때문이거나, 스크린의 에지 근처에 배치되기 때문이다. 대안으로서, 그래픽 요소들 중 일부가 동적이고, 스크린으로부터 벗어나서 이동 및 드리프트한다. 따라서, 디스플레이되지 않는 그래픽 요소들의 부분이 존재하고, 이러한 부분들은 단계(1003)에서 장치 외부의 위치로 매핑된다. 단계(1004)에서, 스크린 상의 터치 센서는 터치를 검출한다. 단계(1005)에서, 장치 주변의 근접 센서는 장치 외부의 물체를 검출한다. 두 검출 모두 사용자 인터페이스에 의해 사용된다. 일부 예에서, 단 하나의 검출만이 나타난다. 다른 예에서, 복수의 검출이 동시에 이루어진다 - 예를 들어, 멀티-터치 제스터가 스크린 상에서 검출되거나, 또는, 복수의 물체가 장치 주위의 다양한 위치에서 검출된다. 사용자 인터페이스는 단계(1006)에서 대응하는 그래픽 요소에 각각의 검출된 위치 또는 제스처를 매핑한다.
단계(1007)에서, 장치는 검출된 터치 또는 근접 위치 또는 제스처에 대응하는 사용자 인터페이스 출력을 발생시킨다.
본 발명의 일 실시예에 따라, 슈터 게임(shooter game)용 사용자 인터페이스의 개략적 도해인 도 27을 참조한다. 슈터 게임(920)을 제어하기 위한 사용자 인터페이스는 장치의 서로 다른 측부를 따라 손가락 제스처를 포함한다. 플레이어는 장치의 하측 에지를 따른 손가락 움직임에 의해 게임의 가상 세계 내에서 이동한다. 도 27은 게임의 가상 세계 내에서 플레이어를 이동시키는 손가락(902)에 의한 스윕 제스터를 표시하는 좌측 및 우측 화살표를 보여준다. 사용자는 시선(925)에 의해 표시되는 바와 같이 장치의 우측 에지 근처에서 제스처를 수행함으로써 자신의 총을 목적으로 한다. 근접 센서는 총을 2차원 또는 3차원적으로 조작할 수 있게 하는 2차원 또는 3차원의 손가락(901) 움직임을 검출한다. 사용자는 장치의 좌측 에지를 따른 위치에서 두드림으로써 서로 다른 무기를 선택한다. 도 27은 이러한 에지를 따른 총(928-930)을 보여준다. 각각의 위치에서 탭은 대응하는 무기를 선택한다.
본 발명의 일 실시예에 따라, 차량 경주 게임용 사용자 인터페이스의 개략적 도해인 도 28을 참조한다. 도 28은 경주 코스를 따라 플레이어가 차량을 조향하는 차량 경주 게임(933)을 보여준다. 플레이어는 장치를 둘러싸는 원형 경로를 따라 자신의 손가락(901, 902)을 글라이딩시킴으로써 차량을 조향한다. 원형 경로는 조향 휠(934)에 의해 예시되는 바와 같이, 장치를 둘러싸는 가상의 조향 휠의 형상을 갖는다. 마치 글라이딩 손가락이 조향 휠을 회전시키는 것처럼, 이러한 원형 경로를 따라 시계 방향으로 손가락을 글라이딩하면 차량이 우측으로 조향되고, 이 경로를 따라 반시계 방향으로 손가락을 글라이딩하면 차량이 좌측으로 조향된다.
본 발명의 일 실시예에 따라 음악 플레이어 애플리케이션용 사용자 인터페이스의 개략적 도해인 도 29를 참조한다. 도 29는 화살표(939)에 의해 표시되는 바와 같이 장치 전방의 앞과 사이에서 흔드는 손(938) 형태의 사용자 인터페이스 제스처에 의해 제어되는 스테레오 도크(937)에서의 MP3 플레이어(936)를 보여준다. 이러한 경우에, 장치 에지 주위의 근접 센서 어레이가 장치 위의 손을 검출하기 위해, 근접 센서 광 빔이 장치 전방에 대해 수직으로 상향으로 지향된다.
이러한 관점에서, 본 발명의 일 실시예에 따라, 모두 4개의 장치 에지를 따라 근접 센서를 갖는 전자 장치의 개략적 도해인 도 30을 참조한다. 도 30은 장치의 에지를 따라 상향으로 지향되는 에미터 광 빔(127) 및 스크린(909)을 지닌 장치(910)를 보여준다. 호버 검출은 물체가 이러한 상향 빔을 근접 센서 수신기로 다시 반사할 때 나타난다. 따라서 에미터 빔(127)은 호버링 물체에 의해 반사된 후 하향 수신기 빔(227)이 된다.
본 발명의 일 실시예에 따라 장치(910) 상에서 수행되는 사용자 인터페이스 "바운스" 제스처의 개략적 도해인 도 31을 참조한다. 도 31에 도시되는 바와 같이, 사용자는 양방향 화살표(949)에 의해 표시되는 바와 같이, 스크린 터치없이, 스크린 위에서 자신의 손을 위 아래로 바운스시킨다. 근접 검출 빔(127-227)을 이용하여, 스크린에 접근함에 따라 손(938)에 의해 반사되는 광의 일련의 증가로, 그리고 이어서, 스크린으로부터 멀어짐에 따라 손(938)에 의해 반사되는 광의 일련의 감소로, 이러한 바운스 제스처를 인지할 수 있다. 본 발명의 일 실시예에서, 바운스 제스처를 이용하여, 선택된 그래픽 사용자 인터페이스 제어를 활성화시킬 수 있다.
본 발명의 일 실시예에 따라 알람 시계 애플리케이션에 대한 사용자 인터페이스의 개략적 도해인 도 32를 참조한다. 도 32는 이동 전화 장치(910) 상의 알람 시계 애플리케이션을 보여준다. 사용자는 알람을 끄기 위해 화살표(939)에 의해 예시되는 바와 같이 스크린 위와 사이에서 손(938)을 흔든다. 이러한 경우에도, 장치의 에지를 따라 근접 센서는 스크린(909)에 수직으로, 상향으로 빔을 투사하도록 구성된다.
본 발명의 일 실시예에 따라, 카메라 애플리케이션용 사용자 인터페이스의 개략적 도해인 도 33을 참조한다. 도 33은 이동 전화의 외측 에지를 따라 제스처를 두드림 제스처 및 슬라이딩 제스처에 의해 제어되는 이동 전화 장치(910) 상의 카메라 애플리케이션을 보여준다. 사진을 찍기 위해, 사용자는 화살표(946)에 의해 표시되는 바와 같이 장치의 우상 코너를 손가락(901)으로 두드린다(tapping). 다른 파라미터는 장치(910)의 상부 및 하부 에지를 따라 슬라이드 제스처에 의해, 가령, 화살표(947)에 의해 표시되는 바와 같이 손가락(900)을 슬라이딩하고 화살표(948)에 의해 표시되는 바와 같이 손가락(903)을 슬라이딩시킴으로써, 구성 또는 설정된다.
매립 센서들을 구비한 보호 커버
본 발명의 형태들은 셀폰, 전자책 리더, 음악 플레이어, 및 태블릿 컴퓨터와 같은 전자 장치용으로 제거가능한 보호 커버에 관련되며, 특히, 커버의 외측 표면 상에서 수행되는 사용자 제스처, 그리고, 커버 인근의 공중에서 수행되는 사용자 제스처를 검출하기 위한 근접 센서를 포함하는, 제거가능한 보호 커버에 관한 것이다. 이러한 사용자 제스처는 도 6 및 도 33에 도시되는 바와 같이 슬라이드 및 두드림과 같은 접촉 제스처와, 도 20-32에 도시되는 것과 같은 공중에서의 비-접촉 제스처를 포함한다. 따라서, 이러한 사용자 제스처에 응답하도록 작동가능하게 커버가 전자 장치를 개선시킨다는 것을 당 업자가 이해할 수 있을 것이다. 본 발명의 일 실시예에서, 커버는 근접 센서의 작동을 제어하기 위한 프로세서를 포함한다. 본 발명의 일 실시예에서, 커버는 프로세서의 제어 하에 커버 내 근접 센서에 의해 검출가능한 사용자 제스처에 관한 정보를 전자 장치에 송신하기 위한, 블루투스 회로와 같은, 무선 통신 회로를 포함하며, 이에 응답하여, 전자 장치는 사용자 제스처에 기초하여 명령을 처리한다. 이러한 명령은 그 중에서도, 걸려오는 전화에 대한 답변/거부 명령, 전자책에 대한 페이지 넘김 명령, 볼륨 조절 명령, 및 음악용 재생 명령을 포함한다.
커버는 실리콘-계 물질로 제조될 수 있다. 커버는 소형 배터리를 또한 포함할 수 있다.
본 발명의 일 실시예에 따르면, 핸드헬드 전자 장치(910)에 부착된 제거가능 커버(970)의 개략적 도해인 도 34를 참조한다. 도 34에 도시되는 바와 같이, 커버(970)는 전자 장치(910)의 후방 및 측부 표면을 적어도 부분적으로 커버한다. 본 발명의 일 실시예에서, 전자 장치(910)는 셀폰이다. 본 발명의 다른 실시예에서, 전자 장치(910)는 뮤직 플레이어다. 본 발명의 또 다른 실시예에서, 전자 장치(910)는 태블릿 컴퓨터다.
커버(970)의 좌측 사이드 에지르 따라 도 34에 도시되는 터치 슬라이더(980)는, 손가락 글라이더 제스처 및/또는 두드림 제스처를 검출하도록 작동가능하다. 터치 슬라이더(980)의 길이는 요소(981)에 의해 표시된다. 터치 슬라이더(980)는 좁은 슬ㄹ릿을 포함하며, 광은 커버(970)로부터 좁은 슬릿을 통과하고 다시 좁은 슬릿을 통해 커버(970) 내로 반사된다. 제 2 터치 슬라이더(도 35의 요소(982))는 커버(970)의 우측 측부 에지를 따라 제공될 수 있다. 작동시, 사용자는 걸려오는 전화를 받기 위해 슬라이더(980)를 따라 일방향으로 손가락을 슬라이딩시키고, 걸려오는 전화를 받지 않기 위해 반대 방향으로 슬라이더(980)를 따라 손가락을 슬라이딩시킨다. 본 발명의 일 실시예에서, 슬라이더(980)는 도 4-6에 도시되는 슬라이더와 유사하다.
본 발명의 일 실시예에 따라 커버(970)의 분해 조립도인 도 35를 참조한다. 커버(970)의 후방부는 전방 하우징 패널(972) 및 후방 하우징 패널(973)에 의해 형성되는 슬림 하우징이다. 전방 및 후방 하우징 패널(972, 973)은 (i) 인쇄 회로 보드(PCB)(976)와, (ii) 일련의 렌즈(978, 979)를 포함하며, 상기 인쇄 회로 보드 상에 무선 통신 회로, 광 에미터, 및 광 수신기가 장착되고, 상기 일련의 렌즈는 광을 에미터로부터 외향으로 지향시킨다. 터치 슬라이더(980)는 커버(970)의 하측 에지를 따라 좁은 슬릿에 의해 형성된다. 렌즈(978)는 이러한 개구부를 통해 노출되고, 에미터로부터 터치 슬라이더(980)를 통해 외향으로 광을 지향시킨다. 사용자가 슬라이더(980) 상에 손가락을 놓으면, 손가락은 외향으로 지향되는 광을 다시 렌즈(978)를 통해 광 수신기들 중 하나 이상에게로 반사시킨다. 유사한 터치 슬라이더(982)가 렌즈(979)를 노출시키는 좁은 슬릿을 통해 커버(970)의 우측 측부 에지를 따라 형성된다.
PCB(976)는 장치(910)와 통신하기 위한 무선 통신 회로를 포함한다. PCB(976)는 프로세서를 또한 포함하며, 상기 프로세서는 광 에미터 및 광 수신기를 작동시키도록 구성되고, 광 수신기가 반사광의 증가를 감지할 때 검출되는 제스처에 기초하여 장치에 명령을 송신하도록 무선 통신 회로를 작동시키도록 구성된다. 배터리(974)는 커버(970)에 의해 사용되는 전기 부품에 전력을 공급한다. 배터리(974)는 후방 하우징 패널(973) 내에 하우징된다.
본 발명의 일 실시예에 따라 커버(970)의 도면인 도 36을 참조한다. 도 36에 도시되는 바와 같이, 터치 슬라이더(980)는 렌즈(978)를 노출시킨다.
본 발명의 일 실시예에 따라, 전방 하우징 패널(972)을 제거한, 커버(970)의 상측 사시도인 도 37을 참조한다. 도 37은 교번하는 광 에미터(121) 및 광 수신기(221)의 일 열과, 교번하는 광 에미터(122) 및 광 수신기(222)의 다른 일 열의 배열을 보여준다. 일련의 렌즈(978)들이 교번하는 에미터 및 수신기(121-221)의 열과 정렬되고, 일련의 렌즈(979)들이 교번하는 에미터 및 수신기(122-222)의 열과 정렬된다.
도 37은 에미터를 구동하도록, 그리고, 수신기로부터 출력을 수신하도록, 작동가능한 에미터 및 수신기 드라이버 회로(985)를 또한 보여준다. 이러한 회로는 양수인의 함께 계류중인 미국특허출원 제13/424,413호(발명의 명칭 "ASIC CONTROLLER FOR LIGHT-BASED TOUCH SCREEN")에서 설명되며, 그 내용 전체는 참고자료로 여기에 포함된다. CPU(986)는 드라이버 회로(985)를 제어하고, 블루투스와 같은 무선 통신 프로토콜에 대한 임베디드 코어를 포함한다.
본 발명의 일 실시예에 따라 커버(970)의 하측 투과 사시도인 도 38을 참조한다. 도 38은 커버(970)의 후방부 내부에 PCB(976), 일련의 렌즈(978, 979), 및 교번하는 에미터(121, 122) 및 광 수신기(221, 222)의 열들의 배열을 보여준다. 도 38은 커버(970)의 우측 측부 에지를 따라 일련의 렌즈(979)를 노출시키는 우측-측부 슬라이더(982)를 또한 보여준다.
배터리(974)를 충전하기 위한 파워 소켓(990)은 케이싱(970)의 후방 표면 내 소켓 구멍에 의해 제공된다. 추가적으로, 2개의 온/오프 버튼 제어부(992, 993)가 제공되어, 커버(970)의 후방 표면 상에 노출된다. 버튼(992)은 근접 센서를 온 및 오프로 토글한다. 버튼(993)은 커버된 전화와 같은, 외부 블루투스 장치에 대한 근접 센서 시스템의 검출가능성을 토글한다.
본 발명의 일 실시예에 따른 PCB(976)의 개략적 레이아웃인 도 39를 참조한다. 교번하는 에미터 및 수신기의 2개의 열에서 에미터(121, 122) 및 수신기(221, 222)는 대략 930nm의 파장의 근적외선 스펙트럼으로 대체로 작동한다. 일련의 렌즈(978, 979)는 사용자에게 시각적 큐를 제공하기 위해, 가시광 범위에 대해 투명하다. 도 39는 가시광의 3개의 에미터(123-125)를 보여주며, 각각의 에미터는 서로 다른 색상의 광(가령, 적색, 녹색, 및 청색)을 방출한다. 이러한 에미터로부터의 가시 칼라광은 일련의 렌즈들 중 하나(가령, 렌즈 어레이(979))를 통해 진행하여, 근접 센서 스트립을 착색한다. 가령, 사용자가 소켓(990) 내로 커넥터 프롱을 삽입함으로써 배터리(974)를 충전할 때, 근접 센서 스트립이 적색으로 변한다. 배터리(974)가 완전 충전될 때, 근접 센서 스트립은 적색으로부터 청색으로 변한다. 근접 센서가 커버된 전화와 같은 외부 블루투스 장치에 대해 검출가능할 때, 근접 센서 스트립은 녹색으로 변한다. 검출가능성이 오프로 변할 때, 스트립 광이 오프된다.
도 39는 커버된 전화와 무선 통신을 위한, CPU(986) 내 임베디드 블루투스 코어에 의해 사용되는 안테나(987)를 또한 보여준다.
도 34-39에 도시되는 커버(970)가 커버의 에지를 따라 1차원적 슬라이더를 포함하지만, 다른 실시예도 본 발명의 범위 내에 있다. 이러한 실시예는 그중에서도, 장치(910) 대신에 커버(970)에 장착되는 근접 센서 전부 또는 일부를 갖는, 앞서 설명한 근접 센서의 모든 배열을 포함한다 - 가령, 근접 센서는 도 18 및 19를 참조하여 앞서 설명한 바와 같이, 커버(970)의 후방에 2차원적으로 배열되는 근접 센서와, 도 23 및 30을 참조하여 앞서 설명한 바와 같은, 커버(970)의 네 측부 모두 주위로 배열되는 근접 센서를 포함한다. 따라서, 커버(970)가 도 24, 25, 27-29, 32, 33을 참조하여 앞서 설명한 다양한 애플리케이션(뮤직, 드럼, 게임, 알람 시계, 카메라)을 구현하도록 장치(910)와 연계하여 사용될 수 있고, 도 26을 참조하여 앞서 설명한 방법과 연계하여 사용될 수 있음을 당 업자가 이해할 수 있을 것이다.
앞서 명세서에서, 발명은 발명의 예시적인 구체적 실시예들을 참조하여 설명되었다. 그러나, 첨부된 청구범위에서 제시되는 바와 같이 발명의 더 넓은 사상 및 범위로부터 벗어나지 않으면서 이러한 예시적인 구체적 실시예에 대해 다양한 변형예 및 변화가 이루어질 수 있다는 것은 명백할 것이다. 따라서, 명세서 및 도면은 제한적인 측면보다는 예시적인 측면으로 간주되어야 한다.

Claims (16)

  1. 전자 장치에 있어서,
    하우징과,
    상기 하우징에 장착되는 디스플레이와,
    상기 디스플레이의 에지 근처의 상기 디스플레이 외부의 열린 공간에서 물체의 존재를 검출하기 위해, 상기 디스플레이로부터 외측으로 지향되도록, 상기 디스플레이의 에지 근처에서 상기 하우징에 장착되는 복수의 근접 센서와,
    그래픽 사용자 인터페이스(GUI)의 요소들의 사용자 활성화에 응답하여 상기 장치를 작동시키기 위해, 상기 하우징에 장착되고, 상기 디스플레이 및 상기 근접 센서와 연결되는 프로세서 - 각각의 GUI 요소는 상기 프로세서에 의해 수행되는 작동과 연관되고, 상기 GUI는 상기 디스플레이보다 큰 GUI 요소들의 레이아웃을 포함하며, 각각의 GUI 요소는 상기 레이아웃 내의 하나의 위치씩에 대응함 - 를 포함하며,
    상기 레이아웃은,
    상기 디스플레이 상에 상기 프로세서에 의해 렌더링되는 디스플레이부와,
    상기 디스플레이의 에지 너머로 연장되는 열린 공간에서의 가상 비-디스플레이부를 포함하며,
    상기 프로세서는 상기 GUI 요소들 중 일부를 상기 디스플레이부 내로 이동시키도록, 그리고 상기 GUI 요소 중 다른 일부를 가상 비-디스플레이부로 이동시키도록, 상기 레이아웃을 취하고,
    상기 근접 센서가 상기 디스플레이 외부의 열린 공간에서 물체의 위치를 검출함에 응답하여 상기 프로세서는, 상기 레이아웃의 가상 비-디스플레이부 내의 위치를 검출된 위치에 매핑하고, 매핑된 위치에 대응하는 GUI 요소와 연관된 작동을 수행하는
    전자 장치.
  2. 제 1 항에 있어서,
    상기 레이아웃의 상기 디스플레이부는 상기 GUI 요소들 중 하나의 일부분을 포함하고, 상기 레이아웃의 가상 비-디스플레이부는 상기 GUI 요소의 나머지를 포함하며,
    상기 프로세서가 상기 레이아웃 내 GUI 요소의 나머지의 위치를, 상기 근접 센서에 의해 검출되는 상기 디스플레이 외부의 열린 공간 내 물체의 위치에 매핑할 때, 상기 프로세서가 상기 GUI 요소와 연관된 작동을 수행하는
    전자 장치.
  3. 제 1 항에 있어서,
    상기 레이아웃의 상기 가상 비-디스플레이부는 하나의 GUI 요소 전체를 포함하는
    전자 장치.
  4. 제 1 항에 있어서,
    상기 디스플레이는 터치스크린을 포함하고, 상기 프로세서는
    상기 레이아웃의 상기 디스플레이부 내 이러한 GUI 요소에 대응하는 위치를 터치하는 물체를 상기 터치스크린이 검출함에 응답하여, 상기 프로세서는 상기 레이아웃의 상기 디스플레이부 내 상기 GUI 요소들 중 하나와 연관된 작동을 수행하는
    전자 장치.
  5. 제 4 항에 있어서,
    상기 프로세서는 상기 터치스크린으로부터 사용자 입력에 응답하여 상기 레이아웃을 취하는
    전자 장치.
  6. 제 1 항에 있어서,
    상기 장치는 뮤직 플레이어를 포함하고, 상기 GUI 요소는 서로 다른 소리를 생성하는 작동들과 연관된 음악 요소들을 포함하는
    전자 장치.
  7. 차량 경주 게임을 시뮬레이션하는 전자 장치에 있어서,
    하우징과,
    상기 하우징에 장착되는 디스플레이와,
    상기 하우징의 에지 근처의, 그리고 상기 하우징 외부의, 열린 공간에서 물체의 존재를 검출하기 위해, 상기 하우징으로부터 외측으로 지향되도록, 상기 하우징에 장착되는 복수의 근접 센서와,
    열린 공간에서, 하우징의 둘레로 부분적으로 선을 그리는 아크-형상 제스처를 따르는 물체의 움직임을 상기 근접 센서가 검출함에 응답하여, 상기 장치를 작동시키기 위해, 상기 하우징에 장착되고 상기 근접 센서와 연결되는 프로세서 - 상기 장치는 상기 디스플레이 상에 차량 경주 게임을 시뮬레이션하고, 상기 아크-형상 제스처는 상기 하우징을 둘러싸는 열린 공간 내 원 상에 위치하는 가상 조향 휠의 조향을 따르며, 상기 프로세서는 상기 물체의 움직임에 응답하여 경주 차량의 조향을 시뮬레이션함 - 를 포함하는
    전자 장치.
  8. 슈팅 게임을 시뮬레이션하는 전자 장치에 있어서,
    하우징과,
    상기 하우징에 장착되는 디스플레이와,
    상기 하우징의 에지 근처의, 그리고 상기 하우징 외부의, 열린 공간 내 물체의 존재를 검출하기 위해, 상기 하우징으로부터 외측으로 지향되도록 상기 하우징에 장착되는 복수의 근접 센서와,
    열린 공간에서, 하우징의 둘레로 부분적으로 선을 그리는 아크-형상 제스처를 따르는 물체의 움직임을 상기 근접 센서가 검출함에 응답하여, 상기 장치를 작동시키기 위해, 상기 하우징에 장착되고 상기 근접 센서와 연결되는 프로세서 - 상기 하우징의 제 1 에지에 대향된 상기 물체의 3차원적 움직임을 상기 근접 센서가 검출함에 응답하여, 상기 프로세서는 상기 슈팅 게임에 매핑된 3차원 가상 공간에서 상기 디스플레이 상에 렌더링되는 무기를 조작함 - 를 포함하는
    전자 장치.
  9. 제 8 항에 있어서,
    상기 제 1 에지와는 다른, 상기 하우징의 제 2 에지에 대향된 물체의 3차원적 움직임을 상기 근접 센서가 검출함에 응답하여, 상기 프로세서는 3차원 가상 공간 내에서 슈팅 아바타를 이동시키는
    전자 장치.
  10. 제 9 항에 있어서,
    상기 제 1 에지 및 제 2 에지와는 다른, 상기 하우징의 제 3 에지에 대향된 다른 위치는 다른 무기에 대응하고, 상기 제 3 에지에 대향된 위치에서 상기 근접 센서가 물체를 검출함에 응답하여, 상기 프로세서는 검출된 위치에 무기를 매핑하고, 현재의 무기를 매핑된 무기로 대체하는
    전자 장치.
  11. 뮤직 플레이어에 있어서,
    하우징과,
    상기 하우징에 장착되는 터치스크린을 포함하는 디스플레이와,
    상기 하우징의 에지 근처의, 그리고 상기 하우징 외부의, 열린 공간 내 물체의 존재를 검출하기 위해, 상기 하우징으로부터 외측으로 지향되도록 상기 하우징에 장착되는 복수의 근접 센서와,
    열린 공간에서, 상기 하우징의 둘레로 부분적으로 선을 그리는 아크-형상 제스처에 따르는 물체의 움직임을 상기 근접 센서가 검출함에 응답하여 상기 장치를 작동시키기 위해, 상기 하우징에 장착되고 상기 근접 센서와 연결되는 프로세서 - 상기 근접 센서가 상기 움직임을 검출함에 응답하여, 상기 프로세서는 상기 뮤직 플레이어에 의해 현재 재생되고 있는 음악의 템포, 음량, 저음 또는 고음을 조정하고, 상기 프로세서는 턴테이블형 조작부 상에서의 글라이드 제스처에 응답하여 현재의 노래를 앞당김 - 를 포함하는
    뮤직 플레이어.
  12. 제 1 항에 있어서,
    상기 프로세서는 상기 디스플레이부로부터 상기 가상 비-디스플레이부로 상기 GUI 요소들 중 일부를 이동시키도록 상기 레이아웃을 줌-처리하는
    전자 장치.
  13. 제 4 항에 있어서,
    상기 프로세서는 (i) 상기 레이아웃의 상기 가상 비-디스플레이부 내 제 1 GUI 요소에 대응하는 위치에서 물체의 존재를 상기 근접 센서가 검출함에 응답하여, 그리고 (ii) 상기 레이아웃의 상기 디스플레이부 내 제 2 GUI 요소를 터치하는 제 2 물체를 상기 터치스크린이 동시에 검출함에 응답하여, 구체적 명령을 수행하는
    전자 장치.
  14. 제 7 항에 있어서,
    상기 아크-형상 제스처는 상기 하우징의 적어도 2개의 인접 에지의 둘레에 부분적으로 선을 그리는
    전자 장치.
  15. 제 7 항에 있어서,
    상기 하우징의 제 1 에지에 대향된 물체의 3차원적 움직임을 상기 근접 센서가 검출함에 응답하여, 상기 프로세서는 애플리케이션에 매핑된 3차원 가상 공간에서 상기 디스플레이 상에 렌더링된 애플리케이션 제어부를 조작하는
    전자 장치.
  16. 제 7 항에 있어서,
    상기 프로세서는 두 손을 이용한 가상 조향 휠의 조향을 따르는 2개의 동시적 움직임을 상기 근접 센서가 검출함에 응답하여 조향을 시뮬레이션하는
    전자 장치.
KR1020147004322A 2012-10-14 2013-07-12 광-기반 근접 검출 시스템 및 사용자 인터페이스 KR101481376B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261713546P 2012-10-14 2012-10-14
US61/713,546 2012-10-14
US13/732,456 US8643628B1 (en) 2012-10-14 2013-01-02 Light-based proximity detection system and user interface
US13/732,456 2013-01-02
US13/775,269 2013-02-25
US13/775,269 US8917239B2 (en) 2012-10-14 2013-02-25 Removable protective cover with embedded proximity sensors
PCT/US2013/050173 WO2014058492A1 (en) 2012-10-14 2013-07-12 Light-based proximity detection system and user interface

Publications (2)

Publication Number Publication Date
KR20140070536A true KR20140070536A (ko) 2014-06-10
KR101481376B1 KR101481376B1 (ko) 2015-01-09

Family

ID=50474892

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147004322A KR101481376B1 (ko) 2012-10-14 2013-07-12 광-기반 근접 검출 시스템 및 사용자 인터페이스

Country Status (4)

Country Link
US (3) US8917239B2 (ko)
EP (1) EP2748694A4 (ko)
KR (1) KR101481376B1 (ko)
WO (1) WO2014058492A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150144091A (ko) * 2014-06-16 2015-12-24 엘지전자 주식회사 차량용 디스플레이 장치
WO2015199280A1 (en) * 2014-06-23 2015-12-30 Lg Electronics Inc. Mobile terminal and method of controlling the same

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9152258B2 (en) * 2008-06-19 2015-10-06 Neonode Inc. User interface for a touch screen
CN202795155U (zh) * 2012-08-16 2013-03-13 北京京东方光电科技有限公司 一种电子设备
US10324565B2 (en) 2013-05-30 2019-06-18 Neonode Inc. Optical proximity sensor
US9921661B2 (en) 2012-10-14 2018-03-20 Neonode Inc. Optical proximity sensor and associated user interface
US10585530B2 (en) 2014-09-23 2020-03-10 Neonode Inc. Optical proximity sensor
US9164625B2 (en) 2012-10-14 2015-10-20 Neonode Inc. Proximity sensor for determining two-dimensional coordinates of a proximal object
US10282034B2 (en) 2012-10-14 2019-05-07 Neonode Inc. Touch sensitive curved and flexible displays
US10620775B2 (en) * 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9436288B2 (en) 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
FR3015128B1 (fr) * 2013-12-13 2017-06-09 Valeo Systemes Thermiques Detecteur de proximite
US10248244B2 (en) 2014-10-08 2019-04-02 Microsoft Technology Licensing, Llc Device operated through opaque cover and system
WO2016122927A1 (en) * 2015-01-26 2016-08-04 Neonode Inc. Optical proximity sensor and associated user interface
DE202015005702U1 (de) * 2015-08-11 2015-11-11 Wolfgang Pohl Berührungslose Taste bzw. Tastenfeld - hygienische Taste
US12077997B2 (en) 2015-09-12 2024-09-03 Adac Plastics, Inc. Motor vehicle gesture access system including powered door speed control
US11313159B2 (en) 2015-09-12 2022-04-26 Adac Plastics, Inc. Gesture access system for a motor vehicle
US10415276B2 (en) 2015-09-12 2019-09-17 Adac Plastics, Inc. Gesture access and object impact avoidance system for a motor vehicle
KR102543912B1 (ko) 2015-10-05 2023-06-15 삼성전자 주식회사 복수의 디스플레이를 구비한 전자장치 및 그 제어 방법
WO2017079850A1 (en) * 2015-11-13 2017-05-18 Biovotion Ag Device having an optically sensitive input element
US10193549B2 (en) * 2015-12-29 2019-01-29 Samsung Electronics Co., Ltd. Sensing apparatus
EP3504612A4 (en) 2016-08-29 2020-04-29 Georgia Tech Research Corporation EXTENSION OF INTERACTIONS OF A PORTABLE ELECTRONIC DEVICE
KR102023187B1 (ko) * 2016-09-26 2019-09-19 주식회사 엠에스코리아 디스플레이 장치에 설치되는 착탈식 터치 패널 장치
US10393600B2 (en) * 2016-12-15 2019-08-27 Htc Corporation Portable electronic device and sensing method thereof
US10502548B2 (en) * 2017-05-09 2019-12-10 Google Llc Sensor combination
RU2733070C2 (ru) * 2017-12-30 2020-09-29 Общество С Ограниченной Ответственностью "Кеназ Консоль Для Беспроводного Ввода Данных" Съемное устройство обработки, хранения и внешнего ввода данных для мобильных устройств
US11852513B2 (en) 2018-01-22 2023-12-26 Assa Abloy Ab Functional state transition of a sensor device based on proximity change of a transport protection
CN111656143B (zh) * 2018-01-22 2022-03-25 亚萨合莱有限公司 传感器装置及在传感器装置的功能状态之间转换的方法
CN110908578A (zh) * 2018-09-18 2020-03-24 网易（杭州）网络有限公司 一种虚拟对象的移动方法和装置
US12066702B1 (en) 2018-09-25 2024-08-20 Apple Inc. Systems and methods for distinguishing between a user and an object
US11857298B1 (en) 2019-09-06 2024-01-02 Apple Inc. Devices having matter differentiation detectors
EP4085321A4 (en) * 2019-12-31 2024-01-24 Neonode Inc. CONTACTLESS TOUCHLESS INPUT SYSTEM
JP1684573S (ko) * 2020-03-17 2021-05-10
CN113495615A (zh) * 2020-03-20 2021-10-12 代傲阿扣基金两合公司 手势控制模块、家用电器和手势控制模块在电器中的应用
US12089931B1 (en) 2020-09-11 2024-09-17 Apple Inc. Optical sensor for skin-contact detection and physiological parameter measurement at wearable electronic device
EP4302166A1 (en) * 2021-03-03 2024-01-10 Telefonaktiebolaget LM Ericsson (publ) A computer a software module arrangement, a circuitry arrangement, a user equipment and a method for an improved user interface controlling multiple applications simultaneously

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5103085A (en) 1990-09-05 1992-04-07 Zimmerman Thomas G Photoelectric proximity detector and switch
US5889236A (en) 1992-06-08 1999-03-30 Synaptics Incorporated Pressure sensitive scrollbar feature
US5463725A (en) 1992-12-31 1995-10-31 International Business Machines Corp. Data processing system graphical user interface which emulates printed material
JP3240941B2 (ja) 1996-11-18 2001-12-25 松下電器産業株式会社 手振り検出方法及び装置
US6369803B2 (en) 1998-06-12 2002-04-09 Nortel Networks Limited Active edge user interface
US6874683B2 (en) 1999-10-08 2005-04-05 Canon Kabushiki Kaisha User programmable smart card interface system for an image album
EP1148411A3 (en) 2000-04-21 2005-09-14 Sony Corporation Information processing apparatus and method for recognising user gesture
US8120625B2 (en) 2000-07-17 2012-02-21 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
US6646633B1 (en) 2001-01-24 2003-11-11 Palm Source, Inc. Method and system for a full screen user interface and data entry using sensors to implement handwritten glyphs
FR2826443B1 (fr) 2001-06-21 2003-10-10 Gilles Cavallucci Procede et dispositif de detection optique de la position d'un objet
US6985137B2 (en) 2001-08-13 2006-01-10 Nokia Mobile Phones Ltd. Method for preventing unintended touch pad input due to accidental touching
US6972749B2 (en) 2001-08-29 2005-12-06 Microsoft Corporation Touch-sensitive device for scrolling a document on a display
US7656393B2 (en) * 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
US6812466B2 (en) 2002-09-25 2004-11-02 Prospects, Corp. Infrared obstacle detection in the presence of sunlight
US7629967B2 (en) 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
FR2859277B1 (fr) 2003-09-02 2006-01-27 H2I Technologies Procede et dispositif de detection optique de position par reflexion d'un objet sur une surface quelconque
US7218313B2 (en) 2003-10-31 2007-05-15 Zeetoo, Inc. Human interface system
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
KR101018751B1 (ko) 2004-09-24 2011-03-04 삼성전자주식회사 표시 장치 및 그 구동 방법
US7471284B2 (en) 2005-04-15 2008-12-30 Microsoft Corporation Tactile scroll bar with illuminated document position indicator
US20060244733A1 (en) 2005-04-28 2006-11-02 Geaghan Bernard O Touch sensitive device and method using pre-touch information
US8614669B2 (en) * 2006-03-13 2013-12-24 Navisense Touchless tablet method and system thereof
FR2899326B1 (fr) 2006-03-31 2009-03-06 H2I Technologies Sa "procede et dispositif de determination optique de la position d'un objet".
US9069417B2 (en) 2006-07-12 2015-06-30 N-Trig Ltd. Hover and touch detection for digitizer
US8316324B2 (en) 2006-09-05 2012-11-20 Navisense Method and apparatus for touchless control of a device
KR100783552B1 (ko) 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
US8046039B2 (en) * 2006-10-20 2011-10-25 Lg Electronics Inc. Mobile terminal and case for mobile terminal
US7969426B2 (en) 2006-10-31 2011-06-28 Hewlett-Packard Development Company, L.P. Light sensitive display interface for computing devices
US20080134102A1 (en) 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
KR101234968B1 (ko) * 2007-11-19 2013-02-20 서크 코퍼레이션 디스플레이와 결합되며, 근접 및 터치 감지 성능을 가진 터치패드
US8432372B2 (en) 2007-11-30 2013-04-30 Microsoft Corporation User input using proximity sensing
US20090166098A1 (en) 2007-12-31 2009-07-02 Apple Inc. Non-visual control of multi-touch device
KR20090093766A (ko) 2008-02-28 2009-09-02 황재엽 모바일 가상 기타의 지판 표시 장치 및 방법
US20100013763A1 (en) * 2008-07-15 2010-01-21 Sony Ericsson Mobile Communications Ab Method and apparatus for touchless input to an interactive user device
EP2327005B1 (en) 2008-07-25 2017-08-23 Qualcomm Incorporated Enhanced detection of waving gesture
US20100031202A1 (en) 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US20100134424A1 (en) 2008-12-02 2010-06-03 At&T Mobility Ii Llc Edge hand and finger presence and motion sensor
US8643628B1 (en) * 2012-10-14 2014-02-04 Neonode Inc. Light-based proximity detection system and user interface
US8344325B2 (en) * 2009-05-22 2013-01-01 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting basic gestures
KR20100136649A (ko) * 2009-06-19 2010-12-29 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치
US20110087963A1 (en) 2009-10-09 2011-04-14 At&T Mobility Ii Llc User Interface Control with Edge Finger and Motion Sensing
US10007393B2 (en) 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US20110310005A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
FR2970096B1 (fr) 2010-12-31 2013-07-12 H2I Technologies Dispositif et procede optoelectronique de determination de position bidimensionnelle
FR2970095B1 (fr) 2010-12-31 2013-01-18 H2I Technologies Dispositif de detection d'une direction angulaire dans laquelle se trouve un objet
EP3104266B1 (en) 2011-01-20 2020-03-04 BlackBerry Limited Three-dimensional, multi-depth presentation of icons associated with a user interface
GB2505878A (en) 2012-09-12 2014-03-19 Tactotek Oy Electronic device with housing-integrated functionalities

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150144091A (ko) * 2014-06-16 2015-12-24 엘지전자 주식회사 차량용 디스플레이 장치
WO2015199280A1 (en) * 2014-06-23 2015-12-30 Lg Electronics Inc. Mobile terminal and method of controlling the same
KR20150146296A (ko) * 2014-06-23 2015-12-31 엘지전자 주식회사 이동단말기 및 그것의 제어방법
US9733719B2 (en) 2014-06-23 2017-08-15 Lg Electronics Inc. Mobile terminal and method of controlling the same

Also Published As

Publication number Publication date
US20140104160A1 (en) 2014-04-17
EP2748694A1 (en) 2014-07-02
KR101481376B1 (ko) 2015-01-09
US20150077400A1 (en) 2015-03-19
WO2014058492A1 (en) 2014-04-17
US20170115825A1 (en) 2017-04-27
US8917239B2 (en) 2014-12-23
EP2748694A4 (en) 2016-03-09
US9569095B2 (en) 2017-02-14

Similar Documents

Publication Publication Date Title
KR101481376B1 (ko) 광-기반 근접 검출 시스템 및 사용자 인터페이스
US9001087B2 (en) Light-based proximity detection system and user interface
US11586299B2 (en) Electronic device having multi-functional human interface
US9880637B2 (en) Human interface apparatus having input unit for pointer location information and pointer command execution unit
US11009990B2 (en) Electronic device having multi-functional human interface
KR101709889B1 (ko) 광학 근접 센서
TWI386243B (zh) 二維輸入裝置、操控裝置以及互動式遊戲系統
CN202995627U (zh) 光学感测式输入装置
KR102101565B1 (ko) 미디어 안내장치
KR102514832B1 (ko) 텍스트 입력장치와 포인터 위치정보 입력장치가 구비된 복합 휴먼 인터페이스 장치
KR20130112338A (ko) 전자 디바이스의 원격 조정을 위한 터치 센싱 장치
KR20110081566A (ko) 광 조이스틱 모듈 및 이를 갖는 휴대 단말기

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 4