KR101494556B1 - 전자 디바이스 디스플레이 위의 공중에서 오브젝트를 이동시킴으로써 전자 디바이스 어플리케이션과 상호작용하는 방법들 및 장치 - Google Patents

전자 디바이스 디스플레이 위의 공중에서 오브젝트를 이동시킴으로써 전자 디바이스 어플리케이션과 상호작용하는 방법들 및 장치 Download PDF

Info

Publication number
KR101494556B1
KR101494556B1 KR1020137007229A KR20137007229A KR101494556B1 KR 101494556 B1 KR101494556 B1 KR 101494556B1 KR 1020137007229 A KR1020137007229 A KR 1020137007229A KR 20137007229 A KR20137007229 A KR 20137007229A KR 101494556 B1 KR101494556 B1 KR 101494556B1
Authority
KR
South Korea
Prior art keywords
electronic device
coordinates
display
generating
moving
Prior art date
Application number
KR1020137007229A
Other languages
English (en)
Other versions
KR20130062996A (ko
Inventor
바박 포루탄푸어
브라이언 모메이어
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130062996A publication Critical patent/KR20130062996A/ko
Application granted granted Critical
Publication of KR101494556B1 publication Critical patent/KR101494556B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

제 1 양태에 있어서, 전자 디바이스와 상호작용하는 제 1 방법이 제공된다. 제 1 방법은 (1) 전자 디바이스의 디스플레이 위에서 이동하는 오브젝트의 x, y 및 z 좌표들을 추적하는 단계로서, 그 디스플레이의 상부면은 xy 평면과 실질적으로 정렬되는, 상기 오브젝트의 x, y 및 z 좌표들을 추적하는 단계; (2) x, y 및 z 좌표들을 포함하는 인터럽트를 생성하는 단계; 및 (3) 전자 디바이스의 어플리케이션에 의해 이동 오브젝트의 추적된 z 좌표들을 채용하는 단계를 포함한다. 다수의 다른 양태들이 제공된다.

Description

전자 디바이스 디스플레이 위의 공중에서 오브젝트를 이동시킴으로써 전자 디바이스 어플리케이션과 상호작용하는 방법들 및 장치{METHODS AND APPARATUS FOR INTERACTING WITH AN ELECTRONIC DEVICE APPLICATION BY MOVING AN OBJECT IN THE AIR OVER AN ELECTRONIC DEVICE DISPLAY}
본 발명은 일반적으로 전자 디바이스들에 관한 것으로서, 더 상세하게는, 전자 디바이스 디스플레이 위의 공중에서 오브젝트를 이동시킴으로써 전자 디바이스 어플리케이션과 상호작용하는 방법들 및 장치에 관한 것이다.
터치 스크린들을 갖는 종래의 전자 디바이스들은 사용자로 하여금 2차원을 이용하여 데이터를 입력할 수 있게 한다. 하지만, 그러한 종래의 디바이스와 상호작용하는 것은 효율적이지 않다. 예를 들어, 전자 디바이스는 사용자로 하여금 오직 단일의 문자를 입력하기 위해 다수의 키들을 터치 스크린 상에서 누를 것을 요구할 수도 있다. 따라서, 전자 디바이스와 상호작용하는 개선된 방법들 및 장치가 요구된다.
종래 기술의 단점들을 극복하기 위해, 본 발명의 하나 이상의 양태들에 있어서, 전자 디바이스와 상호작용하는 방법들 및 장치가 제공된다. 예를 들어, 제 1 양태에 있어서, 전자 디바이스와 상호작용하는 제 1 방법이 제공된다. 제 1 방법은 (1) 전자 디바이스의 디스플레이 위에서 이동하는 오브젝트의 x, y 및 z 좌표들을 추적하는 단계로서, 그 디스플레이의 상부면은 xy 평면과 실질적으로 정렬되는, 상기 오브젝트의 x, y 및 z 좌표들을 추적하는 단계; (2) x, y 및 z 좌표들을 포함하는 인터럽트를 생성하는 단계; 및 (3) 전자 디바이스의 어플리케이션에 의해 이동 오브젝트의 추적된 z 좌표들을 채용하는 단계를 포함한다.
제 2 양태에 있어서, 제 1 전자 디바이스가 제공된다. 제 1 전자 디바이스는 (1) 전자 디바이스의 디스플레이 위에서 이동하는 오브젝트의 x, y 및 z 좌표들을 추적하도록 구성된 회로로서, 그 디스플레이의 상부면은 xy 평면과 실질적으로 정렬되는, 상기 오브젝트의 x, y 및 z 좌표들을 추적하도록 구성된 회로; (2) 그 회로에 커플링되고, x, y 및 z 좌표들을 포함하는 인터럽트를 생성하도록 구성된 제어기; 및 (3) 그 제어기에 커플링되고, 프로세서에 의해 실행되는 어플리케이션에 대해 이동 오브젝트의 추적된 z 좌표들을 채용하도록 구성된 프로세서를 포함한다. 다수의 다른 양태들이 제공되고, 그 다수의 다른 양태들은 본 발명의 이들 및 다른 양태들에 따른 시스템들 및 컴퓨터 판독가능 매체이다.
본 발명의 다른 특징들 및 양태들은 다음의 상세한 설명, 첨부된 특허청구범위, 및 첨부 도면으로부터 더 완전히 명백하게 될 것이다.
도 1 은 일 양태에 따라 제공된 전자 디바이스와 상호작용하는 제 1 예시적인 장치의 블록 다이어그램이다.
도 2 는 일 양태에 따라 제공된 전자 디바이스와 상호작용하는 제 2 예시적인 장치의 블록 다이어그램이다.
도 3 은 일 양태에 따라 제공된 전자 디바이스와 상호작용하는 제 3 예시적인 장치의 블록 다이어그램이다.
도 4 는 일 양태에 따라 제공된 전자 디바이스와 상호작용하는 방법의 플로우 차트이다.
도 5 는 일 양태에 따라 데이터 입력 어플리케이션용으로 사용되는 전자 디바이스의 디스플레이의 측면도이다.
도 6a 내지 도 6c 는 일 양태에 따라 인증 어플리케이션용으로 사용되는 전자 디바이스의 디스플레이를 도시한 것이다.
도 1 은 일 양태에 따라 제공된 전자 디바이스와 상호작용하는 제 1 예시적인 장치의 블록 다이어그램이다. 제 1 예시적인 장치 (100) 는 셀룰러 전화기, 개인용 디지털 보조기 (PDA), 랩탑 컴퓨터, 사용자 디바이스, 스마트폰, 현금자동입출금기 등과 같은 전자 디바이스 (102) 일 수도 있다. 전자 디바이스 (102) 는 메모리 (106) 에 커플링된 프로세서 (104) 를 포함할 수도 있다. 프로세서 (104) 는 코드 (예를 들어, 하나 이상의 어플리케이션들 (108)) 를 저장 및 실행하도록 적응될 수도 있다. 메모리 (106) 는 프로그램 코드들 및 데이터를 저장할 수도 있다. 또한, 전자 디바이스 (102) 는 전자 디바이스 (102) 의 사용자에게 데이터를 제시하기 위한 디스플레이 (110) 를 포함할 수도 있다. 디스플레이는 사용자에게 데이터를 제시하기 위해 전자 디바이스에 의해 채용될 수도 있는 LCD 또는 임의의 다른 유사한 디바이스일 수도 있다. 전자 디바이스 (102) 는 전자 디바이스 (102) 로의 네트워크 접속성을 제공하도록 적응된 모뎀 (112) 을 포함할 수도 있다. 전자 디바이스 (102) 는 또한, 프로세서 (104) 에 커플링되고 움직임 (예를 들어, 전자 디바이스 (102) 의 흔들림) 을 검출하도록 적응된 가속도계 (114) 또는 유사한 디바이스를 포함할 수도 있다. 전자 디바이스 (102) 는 전자 디바이스 (102) 에 커플링된 컴포넌트들에 대한 전원으로서 기능하는 배터리 (116) 를 포함할 수도 있다. 전자 디바이스 (102) 의 디스플레이 (110) 는 제어기 (120) 를 통해 복수의 인듐 주석 산화물 (ITO) 계층들 (예를 들어, 이중 ITO 계층들)(118) 에 커플링 (예를 들어, 동작가능하게 커플링) 되고, 이에 의해 터치 스크린 (122) 을 형성할 수도 있다. 하지만, 부가적인 또는 상이한 재료들을 포함하는 계층들이 채용될 수도 있다. 터치 스크린 (122) 은 용량성 또는 저항성 터치 스크린일 수도 있다. 하지만, 다른 타입들의 터치 스크린들이 채용될 수도 있다. 복수의 ITO 계층들 (118) 은, 디스플레이 (110) 위에서 스타일러스, 손가락 등과 같은 오브젝트 (도 1 에는 도시안됨; 도 5 에서의 506) 의 존재 및/또는 포지션 (예를 들어, x, y 및 z 좌표들) 을 검출 또는 산출하도록 적응될 수도 있다. 접근 시, 예를 들어, 그러한 오브젝트 (506) 는 용량성 또는 저항성 터치 스크린 (122) 에 대한 유전체 (예를 들어, 접지 소스) 로서 기능할 수도 있다. 따라서, 터치 스크린 (122) 은 디스플레이 (110) 상에서의 또는 그 디스플레이 위의 공중에서의 (예를 들어, 디스플레이에 대해 ITO 계층들을 가압함으로써) 오브젝트 (506) 의 움직임 (예를 들어, 시간에 걸친 x, y 및/또는 z 좌표들) 을 추적할 수도 있다. 제어기 (120) 는 예를 들어, 오브젝트 움직임과 연관된 데이터를 복수의 ITO 계층들 (118) 로부터 수신할 수도 있고, 하나 이상의 인터럽트들을 생성할 수도 있다. 인터럽트는 오브젝트 (506) 의 하나 이상의 포지션들과 연관된 x, y 및/또는 z 좌표들을 포함할 수도 있다. 그러한 인터럽트들은 프로세서 (104) 에 제공될 수도 있고, 이 프로세서 (104) 는 프로세서 (104) 에 의해 실행된 하나 이상의 어플리케이션들 (108) 중 적절한 어플리케이션으로 인터럽트를 보고할 수도 있다. 인터럽트는 어플리케이션 (108) 에 대한 프로그래밍 이벤트로서 기능할 수도 있다. 이러한 방식으로, 디스플레이 (110) 상에서의 및/또는 그 디스플레이 위의 공중에서의 오브젝트 (506) 의 움직임은 전자 디바이스 (102; 예를 들어, 전자 디바이스 (102) 의 하나 이상의 어플리케이션들 (108)) 와 상호작용하는데 이용될 수도 있다. 예를 들어, 사용자는 어플리케이션 (108) 에 대한 사용자 인터페이스의 피처를 선택하기 위해, 호버 (hover) 기술을 구현한 스크린 (예를 들어, 터치 스크린 (122)) 위에서 오브젝트 (506) 를 호버할 수도 있다.
도 2 는 전자 디바이스와 상호작용하는 제 2 예시적인 장치의 블록 다이어그램이다. 제 2 예시적인 장치 (200) 는 전자 디바이스 (201) 를 포함하고, 제 1 예시적인 장치 (100) 와 유사하다. 하지만, 용량성 또는 저항성 터치 스크린의 ITO 계층들 (118) 보다는, 제 2 예시적인 장치 (200) 는, 터치 스크린 (210) 을 형성하기 위해, 코딩/디코딩 (코덱) 로직 (208) 을 통해 디스플레이 (206) 에 커플링된 하나 이상의 트랜스듀서들 (예를 들어, 스피커들; 202) 및 하나 이상의 마이크로폰들 (204) 을 포함할 수도 있다. 하나 이상의 트랜스듀서들 (202) 및 하나 이상의 마이크로폰들 (204) 은 디스플레이 (206) 위에서 스타일러스, 손가락 등과 같은 오브젝트 (506) 의 존재 및/또는 포지션 (예를 들어, x, y 및 z 좌표들) 을 검출 또는 산출하도록 적응될 수도 있다. 예를 들어, 하나 이상의 트랜스듀서들 (202) 은 음파들 (예를 들어, 초음파들) 을 방출할 수도 있고, 하나 이상의 마이크로폰들 (204) 은 그러한 음파들을 검출할 수도 있다. 디스플레이 (206) 위의 오브젝트 (506) 의 존재는, 하나 이상의 마이크로폰들 (204) 에 의해 수신된 음파들이 오브젝트 (506) 의 존재를 나타낼 수 있도록, 디스플레이 (206) 위의 음파들의 경로 또는 기압에 영향을 줄 수도 있다. 따라서, 터치 스크린 (210) 은 디스플레이 (206) 상에서의 또는 그 디스플레이 위의 공중에서의 오브젝트 (506) 의 움직임 (예를 들어, 시간에 걸친 x, y 및/또는 z 좌표들) 을 추적할 수도 있다. 코덱 로직 (208) 은 예를 들어, 이동 오브젝트 (506) 와 연관된 데이터를 수신하고, 하나 이상의 인터럽트들을 생성할 수도 있다. 코덱 로직 (208) 은 수신된 데이터를 디지털 신호로 변환하기 위한 아날로그-디지털 (A/D) 변환기 (209) 를 포함할 수도 있다. 그러한 인터럽트들은 프로세서 (212) 에 제공되고, 도 1 의 프로세서 (104) 및 어플리케이션 (108) 에 대해 상기 설명된 바와 유사한 방식으로 프로세서 (212) 에 의해 저장 및/또는 실행될 수도 있는 하나 이상의 어플리케이션들 (214) 에 의해 채용될 수도 있다. 또한, 프로세서 (212) 에 커플링되어, 제 2 예시적인 장치 (200) 는 프로그램 코드들 및 데이터를 저장할 수도 있는 메모리 (216) 를 포함할 수도 있다. 제 2 예시적인 장치 (200) 는 제 2 예시적인 장치 (200) 로의 네트워크 접속성을 제공하도록 적응된 모뎀 (218) 을 포함할 수도 있다. 제 2 예시적인 장치 (200) 는 또한, 프로세서 (212) 에 커플링되고 움직임 (예를 들어, 제 2 예시적인 장치 (200) 의 흔들림) 을 검출하도록 적응된 가속도계 (220) 또는 유사한 디바이스를 포함할 수도 있다. 전자 디바이스 (201) 는 상기 설명된 컴포넌트들에 대한 전원으로서 기능하는 배터리 (222) 를 포함할 수도 있다.
도 3 은 전자 디바이스와 상호작용하는 제 3 예시적인 장치의 블록 다이어그램이다. 제 3 예시적인 장치 (300) 는 전자 디바이스 (301) 를 포함하고, 제 1 및 제 2 예시적인 장치 (100, 200) 와 유사하다. 하지만, 제 1 예시적인 장치 (100) 의 용량성 또는 저항성 터치 스크린 (122) 의 ITO 계층들 (118) 또는 제 2 예시적인 장치 (200) 의 하나 이상의 트랜스듀서들 (202) 및 하나 이상의 마이크로폰들 (204) 보다는, 제 3 예시적인 장치 (300) 는, 터치 스크린 (310) 을 형성하기 위해, 제어기 (308) 를 통해 디스플레이 (306) 에 커플링된 하나 이상의 광 소스들 (예를 들어, 적외선 발광기들; 302) 및 하나 이상의 광 센서들 (304) 을 포함한다. 하나 이상의 광 소스들 (302) 및 하나 이상의 광 센서들 (304) 은 디스플레이 (306) 위에서 스타일러스, 손가락 등과 같은 오브젝트 (506) 의 존재 및/또는 포지션 (예를 들어, x, y 및 z 좌표들) 을 검출 또는 산출하도록 적응될 수도 있다. 예를 들어, 하나 이상의 광 소스들 (302) 은 광파들을 방출할 수도 있고, 하나 이상의 광 센서들 (304) 은 광파들을 검출할 수도 있다. 디스플레이 (306) 위의 오브젝트 (506) 의 존재는, 하나 이상의 광 센서들 (304) 에 의해 수신된 광파들이 오브젝트 (506) 의 존재를 나타낼 수 있도록, 디스플레이 (306) 위의 광파들의 경로에 영향을 줄 수도 있다. 따라서, 터치 스크린 (310) 은 디스플레이 (306) 상에서의 또는 그 디스플레이 위의 공중에서의 오브젝트 (506) 의 움직임 (예를 들어, 시간에 걸친 x, y 및/또는 z 좌표들) 을 추적할 수도 있다. 제어기 (308) 는 예를 들어, 이동 오브젝트 (506) 와 연관된 데이터를 수신하고, 하나 이상의 인터럽트들을 생성할 수도 있다. 그러한 인터럽트들은 프로세서 (312) 에 제공되고, 도 1 및 도 2 에 관하여 상기 설명된 방식으로 프로세서 (312) 에 의해 저장 및/또는 실행될 수도 있는 하나 이상의 어플리케이션들 (314) 에 의해 채용될 수도 있다. 또한, 프로세서 (312) 에 커플링되어, 제 3 예시적인 장치 (300) 는 프로그램 코드들 및 데이터를 저장할 수도 있는 메모리 (316) 를 포함할 수도 있다. 제 3 예시적인 장치 (300) 는 제 3 예시적인 장치 (300) 로의 네트워크 접속성을 제공하도록 적응된 모뎀 (318) 을 포함할 수도 있다. 제 3 예시적인 장치 (300) 는 또한, 프로세서 (312) 에 커플링되고 움직임 (예를 들어, 제 3 예시적인 장치 (300) 의 흔들림) 을 검출하도록 적응된 가속도계 (320) 또는 유사한 디바이스를 포함할 수도 있다. 전자 디바이스 (301) 는 상기 설명된 컴포넌트들에 대한 전원으로서 기능하는 배터리 (322) 를 포함할 수도 있다.
도 4 는 일 양태에 따라 제공된 전자 디바이스와 상호작용하는 방법 (400) 의 플로우 차트이다. 도 4 에 관하여, 단계 402 에서, 전자 디바이스와 상호작용하는 방법 (400) 이 시작한다. 단계 404 에서, 전자 디바이스 (102, 201, 301) 의 디스플레이 (110, 206, 306) 위에서 이동하는 오브젝트의 x, y 및 z 좌표들이 추적된다. 디스플레이 (110, 206, 306) 의 상부면 (도 5 에 있어서의 508) 은 좌표계의 xy 평면과 실질적으로 정렬될 수도 있다. 디스플레이 (110, 206, 306) 는, 제어기 (120) 에 커플링된 ITO 계층들 (118), 코덱 로직 (208) 에 커플링된 하나 이상의 트랜스듀서들 (202) 및 하나 이상의 마이크로폰들 (204), 및/또는 제어기 (308) 에 커플링된 하나 이상의 광 소스들 (302) 및 하나 이상의 광 센서 (304) 와 같이, 오브젝트가 전자 디바이스 (102, 201, 301) 의 디스플레이 (110, 206, 306)(예를 들어, 디스플레이 (110, 206, 306) 의 상부면 (508)) 으로부터 이격된 거리 (예를 들어, 수직 거리) 를 추적하는 임의의 스크린 기술을 포함 또는 커플링될 수도 있다. 오브젝트 (506) 는, 예를 들어, 사용자로 하여금 전자 디바이스 (102, 201, 301) 에 의해 실행되는 어플리케이션 (108, 214, 314) 의 사용자 인터페이스로부터 피처들을 선택하게 함으로써 사용자로 하여금 전자 디바이스 (102, 201, 301) 와 상호작용하게 하는 스타일러스, 손가락 또는 임의의 것일 수도 있다. 오브젝트 (506) 는, 사용자가 전자 디바이스 (102, 201, 301) 와 상호작용하고 있으면서 디스플레이 (110, 206, 306) 의 상부면 (508) 을 터치할 수도 있거나 터치하지 않을 수도 있다. 예를 들어, 디스플레이 (110, 206, 306) 위에서 이동하는 오브젝트 (506) 는 움직임의 일 부분 동안 디스플레이 (110, 206, 306) 의 상부면 (508) 을 터치할 수도 있고, 움직임의 다른 부분 동안 디스플레이 (110, 206, 306) 위의 공중에서 이동할 수도 있다.
단계 406 에서, 오브젝트 (506) 의 x, y 및 z 좌표들을 포함하는 인터럽트가 생성될 수도 있다. 예를 들어, 사용자가 전자 디바이스 (102, 201, 301) 의 데이터 입력 어플리케이션과 상호작용하고 있을 경우, 추적된 오브젝트 (506) 의 z 좌표가 미리결정된 값을 갖거나 미리결정된 값 범위 내에 있을 경우에 인터럽트가 생성될 수도 있다. 이러한 방식으로, 오브젝트 (506) 가 디스플레이 (110, 206, 306) 상에서 또는 그 디스플레이 위의 공중에서 제 1 높이까지 이동될 경우에 제 1 인터럽트가 생성될 수도 있고, 오브젝트 (506) 가 디스플레이 (110, 206, 306) 상에서 또는 그 디스플레이 위의 공중에서 제 2 높이까지 이동될 경우에 제 2 인터럽트가 생성될 수도 있다. 일부 실시형태들에 있어서, 전자 디바이스 (102, 201, 301; 예를 들어, 전자 디바이스 (102, 201, 301) 의 컴포넌트) 는, 추적된 오브젝트 (506) 의 일 좌표 (예를 들어, z 좌표) 가 1초와 같은 미리결정된 시간 기간 동안 변하지 않을 경우에 인터럽트를 생성할 수도 있다. 하지만, 더 크거나 더 작은 시간 기간이 채용될 수도 있다. 대안적으로, 전자 디바이스 (102, 201, 301; 예를 들어, 전자 디바이스 (102, 201, 301) 의 컴포넌트) 는, 추적된 오브젝트 (506) 의 1 초과의 좌표가 미리결정된 시간 기간 동안 변하지 않을 경우에 인터럽트를 생성할 수도 있다. 예를 들어, 그러한 인터럽트는 오브젝트 (506) 의 움직임이 정지될 경우에 생성될 수도 있다. 일부 실시형태들에 있어서, 전자 디바이스 (102, 201, 301) 는, 사용자가 디스플레이 (110, 206, 306) 상에서 또는 그 디스플레이 위의 공중에서 원하는 위치까지 오브젝트 (506) 를 이동시킨 후에 생성된 고유의 가청음에 응답하여, 오브젝트 (506) 의 x, y 및 z 좌표들을 포함하는 인터럽트를 생성할 수도 있다. 고유의 가청음은 손가락 스냅, 토우 탭, 마우스 클릭, 구음 등일 수도 있다. 일부 실시형태들에 있어서, 오브젝트 (506) 의 x, y 및 z 좌표들을 포함하는 인터럽트는, 사용자가 전자 디바이스 (102, 201, 301) 상의 버튼을 누르는 것, 오브젝트 (506) 로 제스처하는 것 (예를 들어, 디스플레이 (110, 206, 306) 위의 원하는 위치에서 오브젝트를 흔들거나 움직이는 것), 또는 사용자가 전자 디바이스 (102, 201, 301) 를 흔드는 것에 응답하여 생성될 수도 있다. 인터럽트들은 사용자가 전자 디바이스 (102, 201, 301) 의 다른 어플리케이션 (108, 214, 314; 예를 들어, 인증 어플리케이션) 과 상호작용하고 있을 경우에 유사한 방식으로 생성될 수도 있다.
오브젝트 (506) 에 기초하고 오브젝트 (506) 의 x, y 및 z 좌표들을 포함하는 인터럽트에 부가하여, 일부 실시형태들에 있어서, 인터럽트는, 고유의 가청음, 사용자가 버튼을 누르는 것, 오브젝트로 제스처하는 것, 및/또는 사용자가 전자 디바이스 (102, 201, 301) 를 흔드는 것에 응답하여 생성될 수도 있다. 그러한 인터럽트는 하나 이상의 어플리케이션들 (108, 214, 314) 에 대한 프로그램가능 이벤트로서 기능할 수도 있다. 예를 들어, 프로그램가능 이벤트는 어플리케이션 (108, 214, 314) 과 연관된 사용자 인터페이스의 엘리먼트 또는 피처의 선택을 포함할 수도 있다. 그 엘리먼트 또는 피처는 오브젝트 (506) 의 x, y 및 z 좌표들에 대응할 수도 있다. 고유의 가청음의 생성, 버튼을 누르는 것, 오브젝트로 제스처하는 것, 및/또는 전자 디바이스 (102, 201, 301) 를 흔드는 것은 오브젝트 (506) 가 이동하는 것을 중지한 이후 제 1 시간 기간 내에서 요구될 수도 있다. 이러한 방식으로, 본 방법들 및 장치의 일부는 전자 디바이스 (102, 201, 301) 에 커플링된 하나 이상의 마이크로폰들 (204) 을 레버리징하여, 어플리케이션 (108, 214, 314) 과 연관된 "선택" 키와 같이 사용자 인터페이스의 엘리먼트 또는 피처를 인에이블시킬 수도 있다. 사용자는 그 손가락을 이용하여 원하는 사용자 인터페이스 엘리먼트 또는 피처로 네비게이션할 수도 있고, 디스플레이를 터치하는 대신, 사용자는 그 손가락들의 "스냅" 과 같은 가청음을 생성하기 위해 1초를 가질 수도 있다. 하나 이상의 마이크로폰들 (204) 은 이 사운드를 포착하고, 그 사운드를 A/D 변환기 (209) 와 같은 로직을 통해 디지털 신호로 변환할 것이다. 전자 디바이스 (102, 201, 301) 의 디지털 신호 프로세서 (DSP) 또는 프로세싱 유닛 상에서 구동하는 알고리즘은 스냅과 같은 신호를 해석할 수도 있거나 해석하지 않을 수도 있다. 사용자가 전자 디바이스 스크린의 일부를 포인팅하면서 x, y, z 좌표 오브젝트-추적 (예를 들어, 호버-인에이블링) 기술을 통해 추적되고 그 후 키 누름을 유발하기 위해 스냅핑 ("호버 스냅핑") 하는 패러다임은 터치가 이용가능하지 않을 수도 있을 경우에 매우 자연스럽고 효율적인 입력 방법이다. 마구 스냅핑하는 실내의 타인들로 인한 긍정 오류들 (false positives) 은, 오브젝트 (506) 에 대응하는 사용자 인터페이스의 커서가 아이콘과 같이 원하는 사용자 인터페이스 엘리먼트 또는 피처로 이동하는 시각으로부터 1초 내에서 사용자로 하여금 스냅핑하도록 요구함으로써 감소 또는 배제될 수도 있다. 커서가 아이콘 상에 머무르는 한, 사용자는 이러한 선택 프로세스 동안에 x, y 및 z 축들 중 하나 이상을 따라 오브젝트 (506) 를 이동시킬 수도 있다.
일부 실시형태들에 있어서, 고유의 가청음, 사용자가 버튼을 누르는 것, 오브젝트로 제스처하는 것, 및/또는 사용자가 전자 디바이스 (102, 201, 301) 를 흔드는 것에 응답한 인터럽트는 전자 디바이스 (102, 201, 301) 의 어플리케이션 (108, 214, 314) 에 의해 이용될 수도 있고 또는 이용될 오브젝트 움직임의 시작 또는 종료를 나타내는 프로그램가능 이벤트로서 기능할 수도 있다. 예를 들어, 전자 디바이스 (102, 201, 301; 예를 들어, 전자 디바이스 (102, 201, 301) 의 컴포넌트) 는 전자 디바이스 (102, 201, 301) 상의 버튼을 누르는 것, 제 1 가청음을 생성하는 것, 오브젝트 (506) 로 제스처하는 것, 전자 디바이스 (102, 201, 301) 를 흔드는 것, 또는 1초와 같은 제 1 시간 기간 동안 오브젝트 (506) 의 움직임을 중지하는 것 중 적어도 하나에 응답하여 오브젝트 (506) 의 x, y 및 z 좌표들을 포함하는 하나 이상의 인터럽트들을 생성할 수도 있다. 하지만, 더 크거나 더 작은 시간 기간이 채용될 수도 있다. 이러한 방식으로, 오브젝트 (506) 가 디스플레이 (110, 206, 306) 위에서 이동함에 따라 (예를 들어, 오브젝트가 디스플레이 위에서 이동할 때마다) 터치 스크린 (122, 210, 310) 이 오브젝트 (506) 를 추적할 수도 있지만, 전자 디바이스 (102, 201, 301) 는, 사용자가 전자 디바이스 (102, 201, 301) 상의 버튼을 누르고 제 1 가청음을 생성하고 오브젝트로 제스처하고 (예를 들어, 디스플레이 (110, 206, 306) 위의 원하는 위치에서 오브젝트를 흔들거나 움직이고) 전자 디바이스 (102, 201, 301) 를 흔들고 및/또는 제 1 시간 기간 동안 오브젝트 (506) 의 움직임을 중지한 이후, 추적된 오브젝트 (506) 의 x, y 및 z 좌표들을 포함하는 하나 이상의 인터럽트들을 생성하기 시작할 수도 있다. 따라서, 그러한 액션은 오브젝트 (506) 의 후속 움직임이 전자 디바이스 (102, 201, 301) 의 하나 이상의 어플리케이션들 (108, 214, 314) 과 상호작용하도록 의도될 수도 있음을 전자 디바이스 (102, 201, 301) 에게 통지하도록 기능할 수도 있다.
유사하게, 예를 들어, 전자 디바이스 (102, 201, 301) 는, 사용자가 전자 디바이스 (102, 201, 301) 상의 버튼을 누르고 제 2 가청음을 생성하고 오브젝트로 제스처하고 (예를 들어, 디스플레이 (110, 206, 306) 위의 원하는 위치에서 오브젝트를 흔들거나 움직이고) 전자 디바이스 (102, 201, 301) 를 흔들고 및/또는 오브젝트가 실질적으로 정지할 때부터 1초와 같은 제 2 시간 기간 동안 오브젝트 (506) 의 움직임을 중지한 이후, 추적된 오브젝트 (506) 의 x, y 및 z 좌표들을 포함하는 하나 이상의 인터럽트들을 생성하는 것을 중지할 수도 있다. 따라서, 그러한 액션은 오브젝트 (506) 의 후속 움직임이 전자 디바이스 (102, 201, 301) 의 하나 이상의 어플리케이션들 (108, 214, 314) 과 상호작용하도록 의도되지 않을 수도 있음을 전자 디바이스 (102, 201, 301) 에게 통지하도록 기능할 수도 있다. 일부 실시형태들에 있어서, 제 2 가청음은 제 1 가청음과 동일할 수도 있다. 하지만, 제 2 가청음은 제 1 가청음과 상이할 수도 있다. 또한, 일부 실시형태들에 있어서, 제 2 시간 기간은 제 1 시간 기간과 동일할 수도 있다. 하지만, 제 2 시간 기간은 제 1 시간 기간과 상이할 수도 있다. 오브젝트 (506) 의 후속 움직임이 전자 디바이스 (102, 201, 301) 의 하나 이상의 어플리케이션들 (108, 214, 314) 과 상호작용하도록 의도될 수도 있음을 전자 디바이스 (102, 201, 301) 에게 통지하는데 이용되는 제스처는, 오브젝트 (506) 의 후속 움직임이 전자 디바이스 (102, 201, 301) 의 하나 이상의 어플리케이션들 (108, 214, 314) 과 상호작용하도록 의도되지 않을 수도 있음을 전자 디바이스 (102, 201, 301) 에게 통지하는데 이용되는 제스처와 동일할 수도 있거나 또는 상이할 수도 있다.
단계 408 에서, 이동 오브젝트 (506) 의 추적된 z 좌표들이 어플리케이션 (108, 214, 314) 에 의해 채용될 수도 있다. 예를 들어, 이동 오브젝트 (506) 의 추적된 z 좌표들은 문자를 삽입하거나, 데이터 입력 어플리케이션에 입력된 또는 입력될 문자의 포맷을 업데이트하기 위해 데이터 입력 어플리케이션에 의해 채용될 수도 있다. 추적된 z 좌표들은 인터럽트들로서 수신될 수도 있다. 일 실시형태에 있어서, 전자 디바이스 (102, 201, 301) 상의 어플리케이션 (108, 214, 314) 은 오브젝트 (506) 의 수신된 x, y 및 z 좌표들을 특정 가상 키보드 상의 특정 문자 키의 선택과 연관시킬 수도 있다. 예를 들어, 어플리케이션 (108, 214, 314) 은 오브젝트 (506) 의 x, y 및 z 좌표들을 가상 대문자 키보드 상의 "A", 가상 소문자 키보드 상의 "b", 가상 숫자 키보드 상의 "1", 또는 가상 기호 키보드 상의 "&" 의 선택에 연관시킬 수도 있다. 디스플레이 (110, 206, 306) 상에서의 또는 그 디스플레이 위의 공중에서의 오브젝트 (506) 의 높이 (예를 들어, z 좌표) 는 선택이 실시된 가상 키보드를 나타낼 수도 있다. 유사하게, 일부 실시형태들에 있어서, 전자 디바이스 (102, 201, 301) 상의 어플리케이션 (108, 214, 314) 은 오브젝트 (506) 의 수신된 x, y 및 z 좌표들을 가상 포맷 키보드 상의 특정 포맷 키 (예를 들어, 볼드체, 이탤릭체, 밑줄, 취소선, 아랫첨자, 윗첨자, 폰트, 폰트 사이즈, 폰트 컬러) 의 선택과 연관시킬 수도 있다. 입력된 문자 또는 입력될 문자는 포맷 키 선택에 기초하여 포맷팅될 수도 있다. 일부 실시형태들에 있어서, 오브젝트 (506) 의 z 좌표는 입력된 문자 또는 입력될 문자의 포맷을 제어한다. 예를 들어, 디스플레이 (110, 206, 306) 위의 상이한 높이들은 각각 상이한 포맷들 (예를 들어, 볼드체, 이탤릭체, 밑줄, 취소선, 아랫첨자, 윗첨자, 폰트, 폰트 사이즈) 에 대응할 수도 있다. 이러한 방식으로, 사용자는 오브젝트 (506) 를 디스플레이 (110, 206, 306) 위의 제 1 높이로 이동함으로써 입력된 문자 또는 입력될 문자에 대한 볼드체 포맷을 선택할 수도 있다. 부가적으로 또는 대안적으로, 사용자는 오브젝트 (506) 를 디스플레이 (110, 206, 306) 위의 제 2 높이로 이동함으로써 입력된 문자 또는 입력될 문자에 대한 이탤릭체 포맷을 선택할 수도 있는 등등이다.
일부 실시형태들에 있어서, 전자 디바이스 (102, 201, 301) 상의 어플리케이션 (108, 214, 314) 은 디스플레이 (110, 206, 306) 상에서의 및/또는 그 디스플레이 위의 공중에서의 오브젝트 (506) 로의 사용자에 의해 스위핑된 제스처를 문자와 연관시킬 수도 있다. 상기 설명된 바와 같이, 디스플레이 (110, 206, 306) 위의 상이한 높이들은 상이한 포맷들에 대응할 수도 있다. 제스처가 실시되기 이전, 이후, 또는 그 동안 디스플레이 (110, 206, 306) 상에서의 및/또는 그 디스플레이 위의 공중에서의 오브젝트 (506) 의 높이는 문자의 포맷을 제어할 수도 있다. 이러한 방식으로, 전자 디바이스 디스플레이 (110, 206, 306) 위에서 오브젝트를 호버하는 것은 기입된 문자의 하나 이상의 속성들을 변경하는데 채용될 수도 있다.
일부 실시형태들에 있어서, 사용자는, 전자 디바이스 (102, 201, 301) 에 액세스하기 전에 사용자의 아이덴터티를 확인하기 위해, 전자 디바이스 (102, 201, 301) 의 디스플레이 (110, 206, 306) 위에서 오브젝트 (506) 를 이동시킬 수도 있다. 예를 들어, 사용자는 디스플레이 (110, 206, 306) 위에서 오브젝트 (506) 를 이동시킴으로써 (예를 들어, 오브젝트로 제스처를 수행함으로써) 인증 어플리케이션을 프로그래밍할 수도 있다. 인증 어플리케이션은 그러한 움직임과 연관된 x, y 및 z 좌표들을 패스코드로서 저장할 수도 있다. 그 후, 사용자가 움직임을 반복할 경우, 예를 들어, 전자 디바이스 (102, 201, 301) 가 잠겨진 경우, 전자 디바이스 (102, 201, 301) 상의 인증 어플리케이션은 디스플레이 (110, 206, 306) 상에서의 및/또는 그 디스플레이 위의 공중에서의 오브젝트의 움직임들에 대응하는 x, y 및 z 좌표들을 수신하고, 그 좌표들을 미리결정된 패스코드와 비교한다.
오브젝트 (예를 들어, 손가락) 가 디스플레이 (110, 206, 306) 로부터 이격된 거리를 채용하는 것은 새로운 차원을 패스코드에 부가한다. 즉, 3차원에 있어서 오브젝트 (506) 의 움직임에 대한 패스코드를 바이어싱하는 것은 가용 패스코드들의 수를 현저히 증가시킨다. 따라서, 그러한 증가된 수의 패스코드들로부터 허용가능한 패스코드를 요구하는 것은 전자 디바이스 (102, 201, 301) 의 보안성을 개선시킨다. 예를 들어, 종래의 터치 스크린 상에서 실시된 제스처 (예를 들어, 종래의 터치 스크린 상에서 수행된 서명) 은 벡터 <4,2: 3,2: 2,2: 2,3: 2,4: 2,5: 3,5: 3,4: 3,3> 에 매핑될 수도 있다. 대조적으로, 본 방법들 및 장치에 따른 터치 스크린 상에서 및/또는 그 터치 스크린 위의 공중에서 수행된 서명은, 예를 들어, 제스처가 실시되는 동안 손가락의 LCD 위에서의 3차원의 위치들을 기록하는 <4,2,0: 3,2,0: 2,2,0: 2,3,3: 2,4,3: 2,5,2: 3,5,2: 3,4,1: 3,3,0> 와 같은 벡터에 매핑될 수도 있다. 일단 디스플레이 (110, 206, 306) 위에서 오브젝트 (506) 를 이동시킴으로써 허용가능한 패스코드가 입력되면, 사용자는 전자 디바이스 (102, 201, 301) 의 다른 피처들에 액세스할 수도 있다.
그 후, 전자 디바이스 (102, 201, 301) 와 상호작용하는 방법 (400) 이 종료하는 단계 410 이 수행될 수도 있다. 이러한 방식으로, 사용자는 전자 디바이스 (102, 201, 301) 의 디스플레이 (110, 206, 306) 상에서 또는 그 디스플레이 위의 공중에서 오브젝트 (506) 를 이동시킴으로써, 전자 디바이스 (102, 201, 301) 의 하나 이상의 어플리케이션들 (108, 214, 314) 과 상호작용할 수도 있다. 방법들이 데이터 입력 및/또는 인증 어플리케이션에 관하여 상기 설명되었지만, 본 방법들 및 장치는, 예를 들어, 사진 어플리케이션 또는 웹 브라우저와 같지만 이에 한정되지 않은 다른 어플리케이션들과 상호작용하도록 채용될 수도 있다. 오브젝트 (506) 의 움직임에 기초한 x, y 및 z 좌표들은 그러한 어플리케이션들 (108, 214, 314) 에 의해 (예를 들어, 사용자 인터페이스 상의 버튼 또는 하이퍼링크의 선택과 같은) 프로그램가능 이벤트에 연관될 수도 있다.
이러한 방식으로, 본 방법들 및 장치는 전자 디바이스 (102, 201, 301) 와 상호작용하기 위한 더 많은 입력 모드들을 전자 디바이스 사용자에게 제공할 수도 있다. 예를 들어, 오브젝트 (506) 의 z축 좌표를 채용함으로써, 본 방법들 및 장치는 사용자로 하여금 전자 디바이스 디스플레이 (110, 206, 306) 위에서 오브젝트를 호버함으로써 전자 디바이스 (102, 201, 301) 와 상호작용할 수 있게 할 수도 있다. 예를 들어, 사용자는 전자 디바이스 디스플레이 (110, 206, 306) 를 전혀 터치해야 하지 않고도 전자 디바이스 디스플레이 (110, 206, 306) 위에서 오브젝트 (506) 를 호버하는 것을 통해 전자 디바이스의 어플리케이션 사용자 인터페이스를 제어할 수도 있다. 그러한 방법들 및 장치는, 그 손을 살균하는 의사들, 간호사들 또는 다른 의료진과 같은 사용자들이 전자 디바이스 (102, 201, 301) 와 상호작용할 필요가 있을 수도 있는 의료 산업과 같이 살균된 손을 요구하는 산업들에서 중요할 수도 있다. 사용자로 하여금 스크린을 전혀 터치해야 하지 않고도 전자 디바이스 (102, 201, 301) 와 상호작용하게 하는 것은, 그러한 사용자가 전자 디바이스 (102, 201, 301) 와 상호작용하면서 그 손가락을 더럽히는 위험을 감소 및/또는 배제할 수도 있다.
도 5 는 일 양태에 따라 데이터 입력 어플리케이션용으로 사용되는 전자 디바이스 (504) 의 x, y 및 z 좌표 오브젝트-추적 디스플레이 (502) 의 측면도 (500) 이다. 도 5 에 관하여, 디스플레이 (502; 예를 들어, 디스플레이 (502) 의 상부면 (508)) 위의 오브젝트 (506) 의 높이는 문자가 입력되는 가상 키보드를 결정한다. 예를 들어, 오브젝트 (506) 가 높이 (h0) 로 이동되면, 오브젝트 (506) 에 대한 사용자에 의해 선택된 x 및/또는 y 좌표들에 기초하여 문자 키가 선택될 수도 있는 가상 소문자 키보드 (510) 와 같은 제 1 키보드가 디스플레이될 수도 있다. 유사하게, 높이 (h1) 은, 오브젝트 (506) 를 원하는 x 및/또는 y 좌표들로 이동시킴으로써 사용자가 문자 키를 선택할 수도 있는 가상 대문자 키보드 (512) 와 같은 제 2 키보드에 대응할 수도 있다. 도시된 바와 같이, 오브젝트 (506) 는 높이 (h1) 에 있어서 가상 대문자 키보드가 디스플레이된다.
높이 (h2) 는 다른 키보드 (예를 들어, 가상 기호 키보드 (514)) 에 대응할 수도 있다. 높이 (h3) 는 볼드체 문자 포맷에 대응할 수도 있다. 따라서, 사용자는 디스플레이 (502) 위의 오브젝트 (506) 를 좌표들 (x, y 및 h1) 로 이동시킴으로써 가상 대문자 키보드 (512) 로부터 문자를 선택할 수도 있다. 또한, h3 의 z 좌표를 갖도록 오브젝트 (506) 를 이동시킴으로써, 선택된 대문자의 포맷 (516) 은 볼드체로 업데이트될 것이다. 높이 (h4) 는, 오브젝트 (506) 가 높이 (h4) 에 있는 동안 오브젝트 (506) 의 적어도 하나의 x 및/또는 y 포지션에 기초하여 사용자가 사진 어플리케이션 사용자 인터페이스로부터 아이템들을 선택할 수도 있는 사진 어플리케이션 (518) 에 대응할 수도 있다.
각각의 가상 키보드들에 대응하는 3개의 높이들, 문자 포맷에 대응하는 하나의 높이, 및 어플리케이션에 대응하는 하나의 높이가 도시되어 있지만, 더 많거나 더 적은 수의 높이 매핑들이 채용될 수도 있다. 예를 들어, 각각, 문자 이탤릭체 포맷 및 문자 밑줄 포맷에 대응하는 2개의 부가적인 높이들이 채용될 수도 있다. 부가적으로 또는 대안적으로, 각각, 부가적인 전자 디바이스 어플리케이션들 (108, 214, 314) 에 대응하기 위한 부가적인 높이들이 채용될 수도 있다. 특정 높이들 (h0-h4) 이 상기에서 언급되었지만, 본 방법들 및 장치는 특정 높이들에 부가하여 또는 그 대신에 높이들의 범위들을 채용할 수도 있다.
오늘날 컴퓨터 시스템들에 대조적으로, 호버 기술을 구현하는 본 방법들 및 장치는 오브젝트가 터치 스크린 위의 공중에 있거나 터치 스크린을 누르고 있을 경우에 인터럽트들을 생성할 수도 있고, 그에 의해, 윈도우 매니저는 그 이벤트를 적절한 어플리케이션에 보고한다. 트리거링된 이벤트는, 사용을 위한 어플리케이션으로 포워딩되는 거리 파라미터를 포함할 수도 있다.
이러한 방식으로, 본 방법들 및 장치는 스타일러스 또는 그 검지 손가락을 종종 사용하는 전자 디바이스 사용자들로 하여금, 예를 들어, 디스플레이 (110, 206, 306) 위에서 스타일러스 또는 검지 손가락을 호버함으로써 최소의 노력으로 문자를 입력하고, 가능하게는, 그 문자의 특히 대문자화, 폰트 사이즈, 볼드체화, 밑줄을 최소 노력으로 변경하도록 그 전자 디바이스 터치 스크린 (122, 210, 310) 과 상호작용 (예를 들어, 기입) 하게 할 수도 있다. 따라서, 본 방법들 및 장치는 "호버 데이터 입력" 및/또는 "호버 데이터 포맷팅" 을 허용할 수도 있다. 본 방법들 및 장치는 기입면 위의 거리를, 기입되고 있는 문자의 속성들을 프로그래밍하기 위한 수단으로서 채용할 수도 있다. 예를 들어, 사용자는 그 검지 손가락을 사용하여 전화기의 디스플레이 상에 글자를 기입하고, 그 손가락을 조금 들어 그 글자를 대문자화하고, 제스처 동안에 그 손가락을 훨씬 더 들어 그 문자를 볼드체화할 수도 있다. 동일한 제스처는, 그 제스처가 실시되었던 디스플레이면 위의 레벨에 의존하여 대문자, 그 대응 소문자, 또는 그 글자의 일부 양식화된 버전 (예를 들어, 볼드체 또는 밑줄) 을 생성하도록 이용될 수도 있다. 일부 실시형태들에 있어서, 본 방법들 및 장치는 전자 디바이스 사용자로 하여금 호버 데이터 입력을 이용하여 영숫자 패스코드를 입력함으로써 그 전자 디바이스 (102, 201, 301) 에 로그인하기 전에 그 아이덴터티를 확인하게 할 수도 있다.
도 6a 내지 도 6c 는 일 양태에 따라 인증 어플리케이션용으로 사용되는 전자 디바이스 (602) 의 디스플레이 (600) 를 도시한 것이다. 도 6a 내지 도 6c 에 관하여, 도 6a 에 있어서, 사용자는, z 좌표가 h1 이도록 오브젝트 (604) 를 배치함으로써 인증 프로세스를 시작한다. 도 6b 에 있어서, 사용자는 오브젝트 (604) 를 x, y 및/또는 z 방향으로 이동시킴으로써 제스처 (606) 를 수행한다. 도 6c 에 도시된 바와 같이, 사용자는 제스처를 완료하고 오브젝트 (604) 를 이동하는 것을 중지한다. 오브젝트 (604) 는 이제, z 좌표가 h2 이도록 배치된다. 인증 어플리케이션은 추적된 오브젝트 움직임의 x, y 및 z 좌표들을 수신하고, 그러한 좌표들을 미리결정된 패스코드와 비교할 수도 있다. 그 비교에 기초하여, 인증 어플리케이션은 사용자로 하여금 전자 디바이스 (602) 에 액세스하게 할 수도 있다. 예를 들어, 제스처 (606) 가 미리결정된 패스코드와 일치하거나 실질적으로 유사하다면, 인증 어플리케이션은 사용자로 하여금 전자 디바이스 (602) 에 액세스하게 할 수도 있다. 대안적으로, 제스처 (606) 가 미리결정된 패스코드에 일치하지 않거나 실질적으로 유사하지 않는다면, 인증 어플리케이션은 전자 디바이스 (602) 로의 사용자 액세스를 거부할 수도 있다.
이러한 방식으로, 본 방법들 및 장치는 전자 디바이스 사용자로 하여금 전자 디바이스 디스플레이 (110, 206, 306) 위에서 그림을 묘화함으로써 그 전자 디바이스 (102, 201, 301) 에 로그인하기 전에 그 아이덴터티를 확인하게 할 수도 있다. 따라서, 본 방법들 및 장치는, "호버 서명" 에 의해 사용자 확인을 허용함으로써 보안용 호버 기술을 구현할 수도 있다.
당업자는 임의의 다양한 서로 다른 기술들 및 기법들을 이용하여 정보 및 신호들이 표현될 수도 있음을 이해할 것이다. 예를 들어, 상기 설명 전반에 걸쳐 참조될 수도 있는 데이터, 명령들, 커맨드(command)들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압, 전류, 전자기파, 자계 또는 자성 입자, 광계 또는 광자, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.
또한, 당업자는 본 명세서에 있어서의 개시와 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자의 조합으로서 구현될 수도 있음을 인식할 것이다. 하드웨어와 소프트웨어의 이러한 대체 가능성을 분명히 예시하기 위하여, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 일반적으로 그들의 기능의 관점에서 상술되었다. 그러한 기능이 하드웨어로서 구현될지 또는 소프트웨어로서 구현될지는 전체 시스템에 부과된 특정 어플리케이션 및 설계 제약에 의존한다. 당업자는 설명된 기능을 각각의 특정 어플리케이션에 대하여 다양한 방식으로 구현할 수도 있지만, 그러한 구현의 결정이 본 개시의 범위로부터의 일탈을 야기하는 것으로서 해석되지는 않아야 한다.
본 명세서에 있어서의 개시와 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적회로 (ASIC), 필드 프로그램가능 게이트 어레이 (FPGA) 또는 다른 프로그램가능 로직 디바이스, 별개의 게이트 또는 트랜지스터 로직, 별개의 하드웨어 컴포넌트들, 또는 본 명세서에서 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로, 그 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로 제어기, 또는 상태 머신일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 기타 다른 구성물로서 구현될 수도 있다.
본 명세서에 있어서의 개시와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 직접 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 착탈가능 디스크, CD-ROM, 또는 당업계에 공지된 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체는, 프로세서가 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있도록 프로세서에 커플링된다. 대안적으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 ASIC 에 상주할 수도 있다. ASIC 은 사용자 단말기에 상주할 수도 있다. 대안적으로, 프로세서 및 저장 매체는 사용자 단말기에 별개의 컴포넌트들로서 상주할 수도 있다.
하나 이상의 예시적인 설계들에 있어서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수 있다. 소프트웨어에서 구현된다면, 그 기능들은 컴퓨터 판독가능 매체 상으로 하나 이상의 명령들 또는 코드로서 저장 또는 송신될 수도 있다. 컴퓨터 판독가능 매체는, 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 컴퓨터 저장 매체 및 통신 매체 양자를 포함한다. 저장 매체는, 범용 또는 특수 목적 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 한정이 아닌 예로서, 그러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장부, 자기 디스크 저장부 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드 수단을 명령들 또는 데이터 구조들의 형태로 수록 또는 저장하는데 이용될 수 있고 범용 또는 특수 목적 컴퓨터나 범용 또는 특수 목적 프로세서에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속체가 컴퓨터 판독가능 매체로 적절히 명명된다. 예를 들어, 동축 케이블, 광섬유 케이블, 꼬임쌍선, 디지털 가입자 라인 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 소프트웨어가 송신된다면, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의에 포함된다. 본 명세서에서 사용되는 바와 같은 디스크 (disk) 및 디스크 (disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서, 디스크 (disk) 는 통상적으로 데이터를 자기적으로 재생하지만 디스크 (disc) 는 레이저를 이용하여 광학적으로 데이터를 재생한다. 상기의 조합들이 또한 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
상기 설명은 본 발명의 오직 예시적인 실시형태들만을 개시한다. 본 발명의 범위 내에 있는 본 발명의 상기 개시된 실시형태들의 변경들은 당업자에게 용이하게 명백할 것이다. 예를 들어, 일부 실시형태들에 있어서, 전자 디바이스 디스플레이 (110, 206, 306) 위에서의 오브젝트들 (506) 의 높이들은 어플리케이션 (108, 214, 314) 의 각각의 사용자 인터페이스들에 대응할 수도 있다.
따라서, 본 발명이 그 예시적인 실시형태들과 관련하여 개시되었지만, 다른 실시형태들이, 다음의 특허청구범위에 의해 정의되는 바와 같은 본 발명의 사상 및 범위 내에 있을 수도 있음을 이해해야 한다.

Claims (53)

  1. 전자 디바이스와 상호작용하는 방법으로서,
    상기 전자 디바이스의 디스플레이 위의 추적 공간 내에서 이동하는 오브젝트의 x, y 및 z 좌표들을 추적하는 단계로서, 상기 디스플레이의 상부면은 xy 평면과 실질적으로 정렬되는, 상기 오브젝트의 x, y 및 z 좌표들을 추적하는 단계;
    상기 x, y 및 z 좌표들 중 하나가 미리결정된 값을 갖거나 미리결정된 값 범위 내에 있는 때를 나타내는 제 1 결정을 생성하는 단계로서, 상기 미리결정된 값 또는 상기 미리결정된 값의 범위는 상기 추적 공간 내에서의 서브-영역에 대응되고, 상기 서브-영역은, 상기 디스플레이 위의 미리결정된 제 1 높이에서 상기 디스플레이의 상부면과 평행한 제 1 평면을 적어도 포함하고 있는, 상기 제 1 결정을 생성하는 단계;
    상기 오브젝트가, 제 1 시간 기간 내에, 상기 서브-영역 내에서 움직임을 정지할 때를 나타내는 제 2 결정을 생성하는 단계;
    상기 x, y 및 z 좌표들 중 하나가 상기 미리결정된 값을 갖거나 상기 미리결정된 값 범위 내에 있는 때를 나타내는 상기 제 1 결정 및 상기 제 1 시간 기간 내에 상기 서브-영역 내에서 움직임을 정지할 때를 나타내는 상기 제 2 결정에 기초하여, 상기 x, y 및 z 좌표들을 포함하는 인터럽트를 생성하는 단계; 및
    상기 전자 디바이스의 어플리케이션에 의해 이동 오브젝트의 추적된 z 좌표들을 채용하는 단계를 포함하는, 전자 디바이스와 상호작용하는 방법.
  2. 제 1 항에 있어서,
    상기 어플리케이션은 데이터 입력 또는 인증 어플리케이션이고,
    상기 전자 디바이스의 어플리케이션에 의해 이동 오브젝트의 추적된 z 좌표들을 채용하는 단계는, 상기 추적된 z 좌표들에 기초하여, 문자를 삽입하거나, 입력된 문자의 포맷을 업데이트하거나, 데이터 입력 어플리케이션에 입력될 문자의 포맷을 업데이트하는 단계를 포함하는, 전자 디바이스와 상호작용하는 방법.
  3. 제 2 항에 있어서,
    상기 포맷은 볼드체, 이탤릭체, 밑줄, 취소선, 아랫첨자, 윗첨자, 폰트, 폰트 사이즈, 및 폰트 컬러로 이루어진 그룹으로부터 선택되는, 전자 디바이스와 상호작용하는 방법.
  4. 제 1 항에 있어서,
    상기 어플리케이션은 데이터 입력 또는 인증 어플리케이션이고,
    상기 전자 디바이스의 데이터 입력 또는 인증 어플리케이션에 의해 이동 오브젝트의 추적된 z 좌표들을 채용하는 단계는 상기 전자 디바이스를 잠금해제하기 전에 상기 추적된 z 좌표들에 기초하여 상기 전자 디바이스의 사용자의 아이덴터티를 확인하는 단계를 포함하는, 전자 디바이스와 상호작용하는 방법.
  5. 제 1 항에 있어서,
    상기 오브젝트는 손가락 또는 스타일러스인, 전자 디바이스와 상호작용하는 방법.
  6. 제 1 항에 있어서,
    상기 전자 디바이스의 디스플레이 위에서 이동하는 오브젝트의 x, y 및 z 좌표들을 추적하는 단계는 상기 x, y 및 z 좌표들을 추적하기 위해 용량성 또는 저항성 터치 스크린을 채용하는 단계를 포함하는, 전자 디바이스와 상호작용하는 방법.
  7. 제 1 항에 있어서,
    상기 전자 디바이스의 디스플레이 위에서 이동하는 오브젝트의 x, y 및 z 좌표들을 추적하는 단계는 상기 x, y 및 z 좌표들을 추적하기 위해 적어도 하나의 트랜스듀서 및 적어도 하나의 수신기를 채용하는 단계를 포함하는, 전자 디바이스와 상호작용하는 방법.
  8. 제 1 항에 있어서,
    상기 전자 디바이스의 디스플레이 위에서 이동하는 오브젝트의 x, y 및 z 좌표들을 추적하는 단계는 상기 x, y 및 z 좌표들을 추적하기 위해 적어도 하나의 광 소스 및 적어도 하나의 광 수신기를 채용하는 단계를 포함하는, 전자 디바이스와 상호작용하는 방법.
  9. 제 1 항에 있어서,
    상기 디스플레이 위에서 이동하는 오브젝트는 상기 디스플레이를 터치하지 않는, 전자 디바이스와 상호작용하는 방법.
  10. 제 1 항에 있어서,
    상기 전자 디바이스의 어플리케이션에 의한 프로그램가능 이벤트로서 가청음, 버튼 누름, 상기 오브젝트로의 제스처, 또는 상기 전자 디바이스의 흔들림을 채용하는 단계를 더 포함하는, 전자 디바이스와 상호작용하는 방법.
  11. 삭제
  12. 제 1 항에 있어서,
    상기 디스플레이 위에서 이동하는 오브젝트는 움직임의 일부분 동안 상기 디스플레이를 터치하고, 상기 움직임의 다른 부분 동안 상기 디스플레이 위의 공중에서 이동하는, 전자 디바이스와 상호작용하는 방법.
  13. 제 1 항에 있어서,
    상기 x, y 및 z 좌표들을 포함하는 인터럽트를 생성하는 단계는 상기 전자 디바이스 상의 버튼을 누르는 것, 제 1 가청음을 생성하는 것, 상기 오브젝트로 제스처하는 것, 상기 전자 디바이스를 흔드는 것, 또는 제 1 시간 기간 동안 상기 오브젝트의 움직임을 중지하는 것 중 적어도 하나에 응답하여 상기 x, y 및 z 좌표들을 포함하는 인터럽트를 생성하는 단계를 포함하고,
    상기 생성된 인터럽트는 이벤트의 시작을 나타내는, 전자 디바이스와 상호작용하는 방법.
  14. 제 13 항에 있어서,
    상기 전자 디바이스 상의 버튼을 해제하는 것, 제 2 가청음을 생성하는 것, 상기 오브젝트로 제스처하는 것, 상기 전자 디바이스를 흔드는 것, 또는 제 2 시간 기간 동안 상기 오브젝트의 움직임을 중지하는 것 중 적어도 하나에 응답하여 상기 x, y 및 z 좌표들을 포함하는 인터럽트의 생성을 중지하는 단계를 더 포함하는, 전자 디바이스와 상호작용하는 방법.
  15. 전자 디바이스의 디스플레이 위의 추적 공간 내에서 이동하는 오브젝트의 x, y 및 z 좌표들을 추적하도록 구성된 회로로서, 상기 디스플레이의 상부면은 xy 평면과 실질적으로 정렬되는, 상기 오브젝트의 x, y 및 z 좌표들을 추적하도록 구성된 회로;
    상기 회로에 커플링된 제어기로서,
    상기 x, y 및 z 좌표들 중 하나가 미리결정된 값을 갖거나 미리결정된 값 범위 내에 있는 때를 나타내는 제 1 결정을 생성하고, 상기 미리결정된 값 또는 상기 미리결정된 값의 범위는 상기 추적 공간 내에서의 서브-영역에 대응되고, 상기 서브-영역은, 상기 디스플레이 위의 미리결정된 제 1 높이에서 상기 디스플레이의 상부면과 평행한 제 1 평면을 적어도 포함하며,
    상기 오브젝트가, 제 1 시간 기간 내에, 상기 서브-영역 내에서 움직임을 정지할 때를 나타내는 제 2 결정을 생성하고,
    상기 x, y 및 z 좌표들 중 하나가 상기 미리결정된 값을 갖거나 상기 미리결정된 값 범위 내에 있는 때를 나타내는 상기 제 1 결정 및 상기 제 1 시간 기간 내에 상기 서브-영역 내에서 움직임을 정지할 때를 나타내는 상기 제 2 결정에 기초하여, 상기 x, y 및 z 좌표들을 포함하는 인터럽트를 생성하도록 구성된, 상기 제어기; 및
    상기 제어기에 커플링되고, 프로세서에 의해 실행되는 어플리케이션에 대해 이동 오브젝트의 추적된 z 좌표들을 채용하도록 구성된 상기 프로세서를 포함하는, 전자 디바이스.
  16. 제 15 항에 있어서,
    상기 어플리케이션은 데이터 입력 또는 인증 어플리케이션이고,
    상기 프로세서는 또한, 상기 추적된 z 좌표들에 기초하여, 문자를 삽입하거나, 입력된 문자의 포맷을 업데이트하거나, 상기 어플리케이션에 입력될 문자의 포맷을 업데이트하도록 구성되는, 전자 디바이스.
  17. 제 16 항에 있어서,
    상기 포맷은 볼드체, 이탤릭체, 밑줄, 취소선, 아랫첨자, 윗첨자, 폰트, 폰트 사이즈, 및 폰트 컬러로 이루어진 그룹으로부터 선택되는, 전자 디바이스.
  18. 제 15 항에 있어서,
    상기 어플리케이션은 데이터 입력 또는 인증 어플리케이션이고,
    상기 프로세서는 또한, 상기 전자 디바이스를 잠금해제하기 전에 상기 추적된 z 좌표들에 기초하여 상기 전자 디바이스의 사용자의 아이덴터티를 확인하도록 구성되는, 전자 디바이스.
  19. 제 15 항에 있어서,
    상기 오브젝트는 손가락 또는 스타일러스인, 전자 디바이스.
  20. 제 15 항에 있어서,
    상기 회로는 용량성 또는 저항성 터치 스크린을 포함하는, 전자 디바이스.
  21. 제 15 항에 있어서,
    상기 회로는 적어도 하나의 트랜스듀서 및 적어도 하나의 수신기를 포함하는, 전자 디바이스.
  22. 제 15 항에 있어서,
    상기 회로는 적어도 하나의 광 소스 및 적어도 하나의 광 수신기를 포함하는, 전자 디바이스.
  23. 제 15 항에 있어서,
    상기 디스플레이 위에서 이동하는 오브젝트는 상기 디스플레이를 터치하지 않는, 전자 디바이스.
  24. 제 15 항에 있어서,
    상기 프로세서는 또한, 상기 어플리케이션에 대한 프로그램가능 이벤트로서 가청음, 버튼 누름, 상기 오브젝트로의 제스처, 또는 상기 전자 디바이스의 흔들림을 채용하도록 구성되는, 전자 디바이스.
  25. 삭제
  26. 제 15 항에 있어서,
    상기 디스플레이 위에서 이동하는 오브젝트는 움직임의 일부분 동안 상기 디스플레이를 터치하고, 상기 움직임의 다른 부분 동안 상기 디스플레이 위의 공중에서 이동하는, 전자 디바이스.
  27. 제 15 항에 있어서,
    상기 제어기는 또한, 상기 전자 디바이스 상의 버튼을 누르는 것, 제 1 가청음을 생성하는 것, 상기 오브젝트로 제스처하는 것, 상기 전자 디바이스를 흔드는 것, 또는 제 1 시간 기간 동안 상기 오브젝트의 움직임을 중지하는 것 중 적어도 하나에 응답하여 상기 x, y 및 z 좌표들을 포함하는 인터럽트를 생성하도록 구성되고,
    상기 생성된 인터럽트는 이벤트의 시작을 나타내는, 전자 디바이스.
  28. 제 27 항에 있어서,
    상기 제어기는 또한, 상기 전자 디바이스 상의 버튼을 해제하는 것, 제 2 가청음을 생성하는 것, 상기 오브젝트로 제스처하는 것, 상기 전자 디바이스를 흔드는 것, 또는 제 2 시간 기간 동안 상기 오브젝트의 움직임을 중지하는 것 중 적어도 하나에 응답하여 상기 x, y 및 z 좌표들을 포함하는 인터럽트의 생성을 중지하도록 구성되는, 전자 디바이스.
  29. 전자 디바이스의 디스플레이 위의 추적 공간 내에서 이동하는 오브젝트의 x, y 및 z 좌표들을 추적하는 수단으로서, 상기 디스플레이의 상부면은 xy 평면과 실질적으로 정렬되는, 상기 오브젝트의 x, y 및 z 좌표들을 추적하는 수단;
    상기 x, y 및 z 좌표들 중 하나가 미리결정된 값을 갖거나 미리결정된 값 범위 내에 있는 때를 나타내는 제 1 결정을 생성하는 수단으로서, 상기 미리결정된 값 또는 상기 미리결정된 값의 범위는 상기 추적 공간 내에서의 서브-영역에 대응되고, 상기 서브-영역은, 상기 디스플레이 위의 미리결정된 제 1 높이에서 상기 디스플레이의 상부면과 평행한 제 1 평면을 적어도 포함하고 있는, 상기 제 1 결정을 생성하는 수단;
    상기 오브젝트가, 제 1 시간 기간 내에, 상기 서브-영역 내에서 움직임을 정지할 때를 나타내는 제 2 결정을 생성하는 수단;
    상기 x, y 및 z 좌표들 중 하나가 상기 미리결정된 값을 갖거나 상기 미리결정된 값 범위 내에 있는 때를 나타내는 상기 제 1 결정 및 상기 제 1 시간 기간 내에 상기 서브-영역 내에서 움직임을 정지할 때를 나타내는 상기 제 2 결정에 기초하여, 상기 x, y 및 z 좌표들을 포함하는 인터럽트를 생성하는 수단; 및
    상기 전자 디바이스의 어플리케이션에 의해 이동 오브젝트의 추적된 z 좌표들을 채용하는 수단을 포함하는, 전자 디바이스.
  30. 제 29 항에 있어서,
    상기 어플리케이션은 데이터 입력 또는 인증 어플리케이션이고,
    상기 추적된 z 좌표들에 기초하여, 문자를 삽입하거나, 입력된 문자의 포맷을 업데이트하거나, 상기 데이터 입력 또는 인증 어플리케이션에 입력될 문자의 포맷을 업데이트하는 수단을 더 포함하는, 전자 디바이스.
  31. 제 30 항에 있어서,
    상기 포맷은 볼드체, 이탤릭체, 밑줄, 취소선, 아랫첨자, 윗첨자, 폰트, 폰트 사이즈, 및 폰트 컬러로 이루어진 그룹으로부터 선택되는, 전자 디바이스.
  32. 제 29 항에 있어서,
    상기 어플리케이션은 데이터 입력 또는 인증 어플리케이션이고,
    상기 전자 디바이스를 잠금해제하기 전에 상기 추적된 z 좌표들에 기초하여 상기 전자 디바이스의 사용자의 아이덴터티를 확인하는 수단을 더 포함하는, 전자 디바이스.
  33. 제 29 항에 있어서,
    상기 오브젝트는 손가락 또는 스타일러스인, 전자 디바이스.
  34. 제 29 항에 있어서,
    상기 디스플레이 위에서 이동하는 오브젝트는 상기 디스플레이를 터치하지 않는, 전자 디바이스.
  35. 제 30 항에 있어서,
    상기 전자 디바이스의 데이터 입력 또는 인증 어플리케이션에 의한 프로그램가능 이벤트로서 가청음, 버튼 누름, 상기 오브젝트로의 제스처, 또는 상기 전자 디바이스의 흔들림을 채용하는 수단을 더 포함하는, 전자 디바이스.
  36. 삭제
  37. 제 29 항에 있어서,
    상기 디스플레이 위에서 이동하는 오브젝트는 움직임의 일부분 동안 상기 디스플레이를 터치하고, 상기 움직임의 다른 부분 동안 상기 디스플레이 위의 공중에서 이동하는, 전자 디바이스.
  38. 제 29 항에 있어서,
    상기 전자 디바이스 상의 버튼을 누르는 것, 상기 오브젝트로 제스처하는 것, 제 1 가청음을 생성하는 것, 상기 전자 디바이스를 흔드는 것, 또는 제 1 시간 기간 동안 상기 오브젝트의 움직임을 중지하는 것 중 적어도 하나에 응답하여 상기 x, y 및 z 좌표들을 포함하는 인터럽트를 생성하는 수단을 더 포함하고,
    상기 생성된 인터럽트는 이벤트의 시작을 나타내는, 전자 디바이스.
  39. 제 38 항에 있어서,
    버튼을 해제하는 것, 제 2 가청음을 생성하는 것, 상기 오브젝트로 제스처하는 것, 상기 전자 디바이스를 흔드는 것, 또는 제 2 시간 기간 동안 상기 오브젝트의 움직임을 중지하는 것 중 적어도 하나에 응답하여 상기 x, y 및 z 좌표들을 포함하는 인터럽트의 생성을 중지하는 수단을 더 포함하는, 전자 디바이스.
  40. 전자 디바이스와 상호작용하는 것을 구현하도록 프로세서-실행가능한 명령들을 저장한 비-일시적 저장 매체로서,
    상기 프로세서-실행가능한 명령들은, 프로세서로 하여금,
    상기 전자 디바이스의 디스플레이 위의 추적 공간 내에서 이동하는 오브젝트의 x, y 및 z 좌표들을 추적하는 것으로서, 상기 디스플레이의 상부면은 xy 평면과 실질적으로 정렬되는, 상기 오브젝트의 x, y 및 z 좌표들을 추적하는 것;
    상기 x, y 및 z 좌표들 중 하나가 미리결정된 값을 갖거나 미리결정된 값 범위 내에 있는 때를 나타내는 제 1 결정을 생성하는 것으로서, 상기 미리결정된 값 또는 상기 미리결정된 값의 범위는 상기 추적 공간 내에서의 서브-영역에 대응되고, 상기 서브-영역은, 상기 디스플레이 위의 미리결정된 제 1 높이에서 상기 디스플레이의 상부면과 평행한 제 1 평면을 적어도 포함하고 있는, 상기 제 1 결정을 생성하는 것;
    상기 오브젝트가, 제 1 시간 기간 내에, 상기 서브-영역 내에서 움직임을 정지할 때를 나타내는 제 2 결정을 생성하는 것;
    상기 x, y 및 z 좌표들 중 하나가 상기 미리결정된 값을 갖거나 상기 미리결정된 값 범위 내에 있는 때를 나타내는 상기 제 1 결정 및 상기 제 1 시간 기간 내에 상기 서브-영역 내에서 움직임을 정지할 때를 나타내는 상기 제 2 결정에 기초하여, 상기 x, y 및 z 좌표들을 포함하는 인터럽트를 생성하는 것; 및
    상기 전자 디바이스의 어플리케이션에 의해 이동 오브젝트의 추적된 z 좌표들을 채용하는 것을 포함하는 동작들을 수행하게 하도록 구성된, 비-일시적 저장 매체.
  41. 제 40 항에 있어서,
    상기 어플리케이션은 데이터 입력 또는 인증 어플리케이션이고,
    상기 저장된 프로세서-실행가능한 명령들은, 프로세서로 하여금,
    상기 전자 디바이스의 데이터 입력 또는 인증 어플리케이션에 의해 이동 오브젝트의 추적된 z 좌표들을 채용하는 것이, 상기 추적된 z 좌표들에 기초하여, 문자를 삽입하거나, 입력된 문자의 포맷을 업데이트하거나, 데이터 입력 어플리케이션에 입력될 문자의 포맷을 업데이트하는 것을 포함하도록 하는 추가 동작을 수행하게 하도록 구성된, 비-일시적 저장 매체.
  42. 제 41 항에 있어서,
    상기 포맷은 볼드체, 이탤릭체, 밑줄, 취소선, 아랫첨자, 윗첨자, 폰트, 폰트 사이즈, 및 폰트 컬러로 이루어진 그룹으로부터 선택되는, 비-일시적 저장 매체.
  43. 제 40 항에 있어서,
    상기 어플리케이션은 데이터 입력 또는 인증 어플리케이션이고,
    상기 저장된 프로세서-실행가능한 명령들은, 프로세서로 하여금,
    상기 전자 디바이스의 데이터 입력 또는 인증 어플리케이션에 의해 이동 오브젝트의 추적된 z 좌표들을 채용하는 것이 상기 전자 디바이스를 잠금해제하기 전에 상기 추적된 z 좌표들에 기초하여 상기 전자 디바이스의 사용자의 아이덴터티를 확인하는 것을 포함하도록 하는 추가 동작을 수행하게 하도록 구성된, 비-일시적 저장 매체.
  44. 제 40 항에 있어서,
    상기 오브젝트는 손가락 또는 스타일러스인, 비-일시적 저장 매체.
  45. 제 40 항에 있어서,
    상기 저장된 프로세서-실행가능한 명령들은, 프로세서로 하여금,
    상기 전자 디바이스의 디스플레이 위에서 이동하는 오브젝트의 x, y 및 z 좌표들을 추적하는 것이 상기 x, y 및 z 좌표들을 추적하기 위해 용량성 또는 저항성 터치 스크린을 채용하는 것을 포함하도록 하는 동작들을 수행하게 하도록 구성된, 비-일시적 저장 매체.
  46. 제 40 항에 있어서,
    상기 저장된 프로세서-실행가능한 명령들은, 프로세서로 하여금,
    상기 전자 디바이스의 디스플레이 위에서 이동하는 오브젝트의 x, y 및 z 좌표들을 추적하는 것이 상기 x, y 및 z 좌표들을 추적하기 위해 적어도 하나의 트랜스듀서 및 적어도 하나의 수신기를 채용하는 것을 포함하도록 하는 동작들을 수행하게 하도록 구성된, 비-일시적 저장 매체.
  47. 제 40 항에 있어서,
    상기 저장된 프로세서-실행가능한 명령들은, 프로세서로 하여금,
    상기 전자 디바이스의 디스플레이 위에서 이동하는 오브젝트의 x, y 및 z 좌표들을 추적하는 것이 상기 x, y 및 z 좌표들을 추적하기 위해 적어도 하나의 광 소스 및 적어도 하나의 광 수신기를 채용하는 것을 포함하도록 하는 동작들을 수행하게 하도록 구성된, 비-일시적 저장 매체.
  48. 제 40 항에 있어서,
    상기 디스플레이 위에서 이동하는 오브젝트는 상기 디스플레이를 터치하지 않는, 비-일시적 저장 매체.
  49. 제 41 항에 있어서,
    상기 저장된 프로세서-실행가능한 명령들은, 프로세서로 하여금,
    상기 전자 디바이스의 데이터 입력 또는 인증 어플리케이션에 의한 프로그램가능 이벤트로서 가청음, 버튼 누름, 상기 오브젝트로의 제스처, 또는 상기 전자 디바이스의 흔들림을 채용하는 것을 포함하는 추가 동작을 수행하게 하도록 구성된, 비-일시적 저장 매체.
  50. 삭제
  51. 제 40 항에 있어서,
    상기 디스플레이 위에서 이동하는 오브젝트는 움직임의 일부분 동안 상기 디스플레이를 터치하고, 상기 움직임의 다른 부분 동안 상기 디스플레이 위의 공중에서 이동하는, 비-일시적 저장 매체.
  52. 제 40 항에 있어서,
    상기 저장된 프로세서-실행가능한 명령들은, 프로세서로 하여금,
    상기 x, y 및 z 좌표들을 포함하는 인터럽트를 생성하는 것이 상기 전자 디바이스 상의 버튼을 누르는 것, 상기 오브젝트로 제스처하는 것, 제 1 가청음을 생성하는 것, 상기 전자 디바이스를 흔드는 것, 또는 제 1 시간 기간 동안 상기 오브젝트의 움직임을 중지하는 것 중 적어도 하나에 응답하여 상기 x, y 및 z 좌표들을 포함하는 인터럽트를 생성하는 것을 포함하도록 하는 동작들을 수행하게 하도록 구성되고,
    상기 생성된 인터럽트는 이벤트의 시작을 나타내는, 비-일시적 저장 매체.
  53. 제 52 항에 있어서,
    상기 저장된 프로세서-실행가능한 명령들은, 프로세서로 하여금,
    버튼을 해제하는 것, 제 2 가청음을 생성하는 것, 상기 오브젝트로 제스처하는 것, 상기 전자 디바이스를 흔드는 것, 또는 제 2 의 미리결정된 시간 기간 동안 상기 오브젝트의 움직임을 중지하는 것 중 적어도 하나에 응답하여 상기 x, y 및 z 좌표들을 포함하는 인터럽트의 생성을 중지하는 것을 포함하는 추가 동작을 수행하게 하도록 구성된, 비-일시적 저장 매체.
KR1020137007229A 2010-08-24 2011-08-24 전자 디바이스 디스플레이 위의 공중에서 오브젝트를 이동시킴으로써 전자 디바이스 어플리케이션과 상호작용하는 방법들 및 장치 KR101494556B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/862,066 2010-08-24
US12/862,066 US20120050007A1 (en) 2010-08-24 2010-08-24 Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display
PCT/US2011/048884 WO2012027422A2 (en) 2010-08-24 2011-08-24 Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display

Publications (2)

Publication Number Publication Date
KR20130062996A KR20130062996A (ko) 2013-06-13
KR101494556B1 true KR101494556B1 (ko) 2015-02-17

Family

ID=44675811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137007229A KR101494556B1 (ko) 2010-08-24 2011-08-24 전자 디바이스 디스플레이 위의 공중에서 오브젝트를 이동시킴으로써 전자 디바이스 어플리케이션과 상호작용하는 방법들 및 장치

Country Status (7)

Country Link
US (1) US20120050007A1 (ko)
EP (1) EP2609487A2 (ko)
JP (1) JP5905007B2 (ko)
KR (1) KR101494556B1 (ko)
CN (1) CN103069363A (ko)
IN (1) IN2013CN00518A (ko)
WO (1) WO2012027422A2 (ko)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120066650A1 (en) * 2010-09-10 2012-03-15 Motorola, Inc. Electronic Device and Method for Evaluating the Strength of a Gestural Password
WO2012050924A2 (en) * 2010-09-28 2012-04-19 Quang Sy Dinh Apparatus and method for providing keyboard functionality, via a limited number of input regions, to a separate digital device
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
US9470922B2 (en) 2011-05-16 2016-10-18 Panasonic Intellectual Property Corporation Of America Display device, display control method and display control program, and input device, input assistance method and program
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
JP6232694B2 (ja) * 2012-10-15 2017-11-22 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム
CN103777740A (zh) * 2012-10-18 2014-05-07 富泰华工业（深圳）有限公司 便携式电子装置解锁系统及方法
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
CN102981764B (zh) * 2012-11-19 2018-07-20 北京三星通信技术研究有限公司 触控操作的处理方法及设备
KR20140087731A (ko) 2012-12-31 2014-07-09 엘지전자 주식회사 포터블 디바이스 및 사용자 인터페이스 제어 방법
US10331219B2 (en) 2013-01-04 2019-06-25 Lenovo (Singaore) Pte. Ltd. Identification and use of gestures in proximity to a sensor
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
KR102086799B1 (ko) * 2013-02-21 2020-03-09 삼성전자주식회사 가상 키 패드를 디스플레이하기 위한 방법 및 그 전자 장치
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
JP2014182459A (ja) * 2013-03-18 2014-09-29 Fujitsu Ltd 情報処理装置及びプログラム
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US20140347326A1 (en) * 2013-05-21 2014-11-27 Samsung Electronics Co., Ltd. User input using hovering input
US9342671B2 (en) 2013-07-01 2016-05-17 Blackberry Limited Password by touch-less gesture
US9256290B2 (en) 2013-07-01 2016-02-09 Blackberry Limited Gesture detection using ambient light sensors
US9398221B2 (en) 2013-07-01 2016-07-19 Blackberry Limited Camera control using ambient light sensors
US9367137B2 (en) 2013-07-01 2016-06-14 Blackberry Limited Alarm operation by touch-less gesture
US9489051B2 (en) 2013-07-01 2016-11-08 Blackberry Limited Display navigation using touch-less gestures
EP2821885B1 (en) * 2013-07-01 2021-11-24 BlackBerry Limited Password by touch-less gesture
US9323336B2 (en) 2013-07-01 2016-04-26 Blackberry Limited Gesture detection using ambient light sensors
US9423913B2 (en) 2013-07-01 2016-08-23 Blackberry Limited Performance control of ambient light sensors
US9405461B2 (en) 2013-07-09 2016-08-02 Blackberry Limited Operating a device using touchless and touchscreen gestures
US9465448B2 (en) 2013-07-24 2016-10-11 Blackberry Limited Backlight for touchless gesture detection
US9304596B2 (en) 2013-07-24 2016-04-05 Blackberry Limited Backlight for touchless gesture detection
CN104427081B (zh) * 2013-08-19 2019-07-02 中兴通讯股份有限公司 一种移动终端的解锁方法及装置
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9194741B2 (en) 2013-09-06 2015-11-24 Blackberry Limited Device having light intensity measurement in presence of shadows
KR102143574B1 (ko) 2013-09-12 2020-08-11 삼성전자주식회사 근접 터치를 이용한 온라인 서명 인증 방법 및 이를 위한 장치
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
TWI488106B (zh) * 2013-12-13 2015-06-11 Acer Inc 可攜式電子裝置及其圖示位置調整方法
KR20150072764A (ko) * 2013-12-20 2015-06-30 삼성전자주식회사 전자기기에서 해상도 레벨을 제어하기 위한 방법 및 장치
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
GB2522410A (en) * 2014-01-20 2015-07-29 Rockley Photonics Ltd Tunable SOI laser
US9916014B2 (en) * 2014-04-11 2018-03-13 Continental Automotive Systems, Inc. Display module with integrated proximity sensor
US9883301B2 (en) 2014-04-22 2018-01-30 Google Technology Holdings LLC Portable electronic device with acoustic and/or proximity sensors and methods therefor
KR102265143B1 (ko) 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
CN104598032A (zh) * 2015-01-30 2015-05-06 乐视致新电子科技（天津）有限公司 一种屏幕控制方法和装置
JP7320854B2 (ja) * 2021-03-10 2023-08-04 株式会社テクナート タッチパネル
KR102625552B1 (ko) * 2023-02-11 2024-01-16 (주)유오더 테이블 결합형 태블릿 거치대 구조체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070132721A1 (en) 2005-12-09 2007-06-14 Edge 3 Technologies Llc Three-Dimensional Virtual-Touch Human-Machine Interface System and Method Therefor
US20080100572A1 (en) 2006-10-31 2008-05-01 Marc Boillot Touchless User Interface for a Mobile Device
US20080111710A1 (en) 2006-11-09 2008-05-15 Marc Boillot Method and Device to Control Touchless Recognition
US20090202153A1 (en) 2000-03-01 2009-08-13 Palmsource, Inc. Method and apparatus for using pressure information for improved computer controlled handwriting recognition data entry and user authentication

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02153415A (ja) * 1988-12-06 1990-06-13 Hitachi Ltd キーボード装置
JP2003005912A (ja) * 2001-06-20 2003-01-10 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
GB0412787D0 (en) * 2004-06-09 2004-07-14 Koninkl Philips Electronics Nv Input system
JP2006031499A (ja) * 2004-07-20 2006-02-02 Denso Corp 情報入力表示装置
JP4479962B2 (ja) * 2005-02-25 2010-06-09 ソニー エリクソン モバイル コミュニケーションズ， エービー 入力処理プログラム、携帯端末装置、及び入力処理方法
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
DE102006037156A1 (de) * 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
JP2008009759A (ja) * 2006-06-29 2008-01-17 Toyota Motor Corp タッチパネル装置
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US20080120568A1 (en) * 2006-11-20 2008-05-22 Motorola, Inc. Method and device for entering data using a three dimensional position of a pointer
US20080252595A1 (en) * 2007-04-11 2008-10-16 Marc Boillot Method and Device for Virtual Navigation and Voice Processing
JP2009116769A (ja) * 2007-11-09 2009-05-28 Sony Corp 入力装置、入力装置の制御方法、及びプログラム
DE102008051756A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
JP2009183592A (ja) * 2008-02-08 2009-08-20 Ge Medical Systems Global Technology Co Llc 操作情報入力装置および超音波撮像装置
JP5127547B2 (ja) * 2008-04-18 2013-01-23 株式会社東芝 表示オブジェクト制御装置、表示オブジェクト制御プログラムおよび表示装置
EP2131272A3 (en) * 2008-06-02 2014-05-07 LG Electronics Inc. Mobile communication terminal having proximity sensor and display controlling method therein
US9030418B2 (en) * 2008-06-24 2015-05-12 Lg Electronics Inc. Mobile terminal capable of sensing proximity touch
US9658765B2 (en) * 2008-07-31 2017-05-23 Northrop Grumman Systems Corporation Image magnification system for computer interface
JP4752887B2 (ja) * 2008-09-12 2011-08-17 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP2010092219A (ja) * 2008-10-07 2010-04-22 Toshiba Corp タッチパネル入力装置
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
JP2010108255A (ja) * 2008-10-30 2010-05-13 Denso Corp 車載操作システム
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
JP2010128685A (ja) * 2008-11-26 2010-06-10 Fujitsu Ten Ltd 電子機器
JP5231571B2 (ja) * 2008-12-04 2013-07-10 三菱電機株式会社 表示入力装置およびナビゲーション装置
US8677287B2 (en) * 2008-12-04 2014-03-18 Mitsubishi Electric Corporation Display input device and navigation device
DE112009002612B4 (de) * 2008-12-04 2015-07-23 Mitsubishi Electric Corporation Anzeige-Eingabevorrichtung, Navigationssystem mit einer Anzeige-Eingabevorrichtung sowie Fahrzeuginformationssystem mit einer Anzeige-Eingabevorrichtung
JP4683126B2 (ja) * 2008-12-26 2011-05-11 ブラザー工業株式会社 入力装置
EP2389622A1 (en) * 2009-01-26 2011-11-30 Zrro Technologies (2009) Ltd. Device and method for monitoring an object's behavior
JP5382313B2 (ja) * 2009-02-06 2014-01-08 株式会社デンソー 車両用操作入力装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090202153A1 (en) 2000-03-01 2009-08-13 Palmsource, Inc. Method and apparatus for using pressure information for improved computer controlled handwriting recognition data entry and user authentication
US20070132721A1 (en) 2005-12-09 2007-06-14 Edge 3 Technologies Llc Three-Dimensional Virtual-Touch Human-Machine Interface System and Method Therefor
US20080100572A1 (en) 2006-10-31 2008-05-01 Marc Boillot Touchless User Interface for a Mobile Device
US20080111710A1 (en) 2006-11-09 2008-05-15 Marc Boillot Method and Device to Control Touchless Recognition

Also Published As

Publication number Publication date
EP2609487A2 (en) 2013-07-03
IN2013CN00518A (ko) 2015-07-03
JP2013539113A (ja) 2013-10-17
WO2012027422A2 (en) 2012-03-01
WO2012027422A3 (en) 2012-05-10
JP5905007B2 (ja) 2016-04-20
US20120050007A1 (en) 2012-03-01
CN103069363A (zh) 2013-04-24
KR20130062996A (ko) 2013-06-13

Similar Documents

Publication Publication Date Title
KR101494556B1 (ko) 전자 디바이스 디스플레이 위의 공중에서 오브젝트를 이동시킴으로써 전자 디바이스 어플리케이션과 상호작용하는 방법들 및 장치
JP5922598B2 (ja) マルチタッチ利用、ジェスチャ及び実装
US10228833B2 (en) Input device user interface enhancements
US9665276B2 (en) Character deletion during keyboard gesture
CN102004576B (zh) 信息处理装置和信息处理方法
AU2013276998B2 (en) Mouse function provision method and terminal implementing the same
WO2016090888A1 (zh) 图标的移动方法、装置、设备及非易失性计算机存储介质
US20140354553A1 (en) Automatically switching touch input modes
KR102009054B1 (ko) 제한된 디스플레이 장치에서의 수식 입력 기법
US8456433B2 (en) Signal processing apparatus, signal processing method and selection method of user interface icon for multi-touch panel
EP2770422A2 (en) Method for providing a feedback in response to a user input and a terminal implementing the same
KR102228335B1 (ko) 그래픽 사용자 인터페이스의 일 부분을 선택하는 방법
CN105760019A (zh) 基于交互式电子白板的触摸操作方法及其系统
US9430146B1 (en) Density-based filtering of gesture events associated with a user interface of a computing device
US9773329B2 (en) Interaction with a graph for device control
CN102768595B (zh) 一种识别触摸屏上触控操作指令的方法及装置
US20110289449A1 (en) Information processing apparatus, display control method, and display control program
KR20150068002A (ko) 휴대기기, 디바이스 및 그 제어방법
CN103809903B (zh) 用于控制虚拟屏幕的方法和装置
US20140298275A1 (en) Method for recognizing input gestures
KR102491207B1 (ko) 멀티 터치 인식 장치 및 방법
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
EP3748481A1 (en) Control method and electronic device
KR101251730B1 (ko) 키보드를 이용한 컴퓨터 제어방법, 제어장치 및 이를 위한 프로그램 명령어가 기록된 기록매체
US10809850B2 (en) Touch event processing method and touchscreen apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee