KR101816721B1 - 센싱 모듈, ｇｕｉ 제어 장치 및 방법 - Google Patents

센싱 모듈, ｇｕｉ 제어 장치 및 방법 Download PDF

Info

Publication number
KR101816721B1
KR101816721B1 KR1020110005033A KR20110005033A KR101816721B1 KR 101816721 B1 KR101816721 B1 KR 101816721B1 KR 1020110005033 A KR1020110005033 A KR 1020110005033A KR 20110005033 A KR20110005033 A KR 20110005033A KR 101816721 B1 KR101816721 B1 KR 101816721B1
Authority
KR
South Korea
Prior art keywords
light
information
input device
hand
sensing
Prior art date
Application number
KR1020110005033A
Other languages
English (en)
Other versions
KR20120083733A (ko
Inventor
한재준
유병인
최창규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110005033A priority Critical patent/KR101816721B1/ko
Priority to US13/352,839 priority patent/US9733711B2/en
Publication of KR20120083733A publication Critical patent/KR20120083733A/ko
Application granted granted Critical
Publication of KR101816721B1 publication Critical patent/KR101816721B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/021—Arrangements integrating additional peripherals in a keyboard, e.g. card or barcode reader, optical scanner
    • G06F3/0213—Arrangements providing an integrated pointing device in a keyboard, e.g. trackball, mini-joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H2219/00—Legends
    • H01H2219/054—Optical elements
    • H01H2219/062—Light conductor
    • H01H2219/0621—Optical fiber light conductor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

센싱 모듈, GUI 제어 장치 및 방법이 개시된다. 본 발명의 실시예들에 따르면, 키보드, 마우스, 리모트 컨트롤러 등의 입력 장치에 센싱 모듈을 삽입하여 센싱 영역 내에서의 사용자의 손의 움직임을 근접 센싱(Hovering)함으로써, 보다 다양한 GUI 제어를 위한 인터페이스를 제공할 수 있고, 디스플레이를 가리지 않을 수 있다.

Description

센싱 모듈, ＧＵＩ 제어 장치 및 방법{Sensing Module, GUI Controlling Apparatus and Method thereof}
본 발명의 실시예들은 센싱 모듈, GUI 제어 장치 및 방법에 관한 것으로서, 보다 구체적으로는 센싱 모듈이 감지한 정보에 기반하여 GUI를 제어하는 장치 및 방법에 관한 것입니다.
인간과 컴퓨터 사이에 자연스러우면서도 상호 작용이 강화된 직관적인 인터페이스 기술(Natural Interface)이 부상하고 있다. 특히, 멀티 터치 및 근접 센싱(Hovering)에 기반한 인간과 컴퓨터 상호 작용을 위한 사용자 의도 및 행위 인식에 관한 연구가 활발히 진행되고 있다.
한편, 기존의 발명은 디스플레이(Display)나 터치 패널(Touch Panel) 등에 디스플레이(Display) 평면 또는 터치 패널(Touch Panel)의 평면의 위치 정보 및 터치 유무 등을 유저 인터페이스(User Interface)에 활용하는 신호로서 활용하였다.
최근에는 근거리의 센싱이 가능하게 하는 방식 등의 등장으로 인해 근거리를 센싱 하는 디스플레이(Display), 터치 패널(Touch Panel) 등이 발명되어, 평면 위치 및 패널(Panel)과 터치(Touch) 개체 간의 깊이 정보를 인식하여 이를 UI 입력으로 활용하는 방식이 등장하고 있다.
그러나, 기존의 발명의 경우, 손가락 등으로 디스플레이(Display) 위에서 호버링(Hovering)하는 손, 손가락 등으로 인해 디스플레이 상에 표현된 영상을 가리는 문제를 발생하게 된다.
본 발명의 실시예들은 키보드, 마우스, 리모트 컨트롤러 등의 입력 장치에 센싱 모듈을 삽입하여 센싱 영역 내에서의 사용자의 손의 움직임을 근접 센싱(Hovering)함으로써, 보다 다양한 GUI 제어를 위한 인터페이스를 제공하고, 디스플레이를 가리지 않을 수 있는데 그 목적이 있다.
본 발명의 일실시예에 따른 입력 장치의 일측면에 위치하는 센싱 영역 내에서의 사용자의 손의 움직임을 근접 센싱(Hovering)하는 센싱 모듈은, 빛을 방출하는 광 방출부; 및 상기 방출된 빛이 상기 손에 반사되어 발생하는 반사광을 센싱하여, 상기 손의 움직임에 대한 움직임 정보를 수집하는 광 센서를 포함한다.
본 발명의 일실시예에 따른 입력 장치로부터, 상기 입력 장치의 일측면에 위치하는 센싱 영역 내에서의 사용자의 손의 움직임에 대한 움직임 정보를 수신하는 수신부; 상기 움직임 정보에 기반하여, GUI 제어 신호를 생성하는 생성부; 및 상기 GUI 제어 정보에 기반하여, GUI(Graphic User Interface)를 제어하는 제어부를 포함한다.
본 발명의 일실시예에 따른 입력 장치로부터, 상기 입력 장치의 일측면에 위치하는 센싱 영역 내에서의 사용자의 손의 움직임에 대한 움직임 정보를 수신하는 단계; 상기 움직임 정보에 기반하여, GUI 제어 신호를 생성하는 단계; 및 상기 GUI 제어 정보에 기반하여, GUI(Graphic User Interface)를 제어하는 단계를 포함한다.
키보드, 마우스, 리모트 컨트롤러 등의 입력 장치에 센싱 모듈을 삽입하여 센싱 영역 내에서의 사용자의 손의 움직임을 근접 센싱(Hovering)함으로써, 보다 다양한 GUI 제어를 위한 인터페이스를 제공할 수 있고, 디스플레이를 가리지 않을 수 있다.
도 1은 본 발명의 일실시예에 따른 센싱 모듈이 탑재된 호버링 키보드를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 센싱 모듈이 탑재된 호버링 마우스를 나타내는 도면이다.
도 3 내지 도 6은 본 발명의 일실시예에 따른 센싱 모듈의 구조를 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 GUI 제어 장치의 구성을 나타내는 도면이다.
도 8 내지 도 15는 본 발명의 일실시예에 따른 센싱 모듈을 포함하는 입력 장치를 이용하여 사용자가 입력 신호를 입력하는 실시예를 나타내는 도면이다.
도 16은 본 발명의 일실시예에 따른 GUI 제어 방법을 나타내는 흐름도이다.
이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 센싱 모듈이 탑재된 호버링 키보드를 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 호버링 키보드(Hovering Keyboard)(100)는 상단부에 위치하는 소정 크기를 갖는 영역(즉, 센싱 영역) 내에서의 사용자의 손의 움직임을 센싱할 수 있는 센싱 모듈을 탑재할 수 있다.
포인트(110)는 센싱 모듈이 호버링 키보드(100) 상에 탑재될 수 있는 위치의 일실시예를 나타내며, 포인트(110)는 호버링 키보드(100)에 복수 개 구비될 수 있다.
따라서, 호버링 키보드(100)의 사용자는 호버링 키보드(100)에 배열된 키(Key)를 직접 조작하여 입력 신호를 입력할 수 있을 뿐 아니라, 호버링 키보드(100) 상의 소정 크기의 센싱 영역 내에서 손을 이동, 회전 등 함으로써 입력 신호를 입력할 수 있다.
도 2는 본 발명의 일실시예에 따른 센싱 모듈이 탑재된 호버링 마우스를 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 호버링 마우스(Hovering Mouse)(200)는 상단부에 위치하는 소정 크기를 갖는 영역(즉, 센싱 영역) 내에서의 사용자의 손의 움직임을 센싱할 수 있는 센싱 모듈을 탑재할 수 있다.
포인트(210)는 센싱 모듈이 호버링 마우스(200) 상에 탑재될 수 있는 위치의 일실시예를 나타내며, 포인트(210)는 호버링 마우스(200)에 복수 개 구비될 수 있다.
따라서, 호버링 마우스(200)의 사용자는 호버링 마우스(200)에 배열된 키(Key)를 직접 조작하여 입력 신호를 입력할 수 있을 뿐 아니라, 호버링 마우스(200) 상의 소정 크기의 센싱 영역 내에서 손을 이동, 회전 등 함으로써 입력 신호를 입력할 수 있다.
도 3 내지 도 6은 본 발명의 일실시예에 따른 센싱 모듈의 구조를 나타내는 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 센싱 모듈은 광 방출부(310) 및 광 센서(320)를 포함한다.
센싱 모듈(Sensing Module)은 입력 장치의 일측면에 위치하는 센싱 영역 내에서의 사용자의 손의 움직임을 근접 센싱(Hovering)할 수 있다.
본 발명의 일측에 따르면, 입력 장치는 도 2에서 설명한 호버링 키보드, 도 3에서 설명한 호버링 마우스 및 리모트 콘트롤러(Remote Controller) 중 적어도 하나를 포함할 수 있다.
광 방출부(310)는 빛을 방출한다.
광 센서(320)는 방출된 빛이 센싱 영역 내에서 움직이는 사용자의 손에 반사되어 발생하는 반사광을 센싱할 수 있다. 또한, 광 센서(320)는 센싱된 반상광에 기반하여, 손의 움직임에 대한 움직임 정보를 수집할 수 있다.
센싱 영역은 입력 장치의 일측면에 위치하는 영역으로서, 영역 안에서의 사용자의 손 등의 신체부위, 도구 등의 움직임을 센싱하기 위한 미리 설정된 크기를 갖는 공간일 수 있다. 실시예에 따라서는, 센싱 영역은 입력 장치의 복수 개의 측면 상에 위치할 수 있다. 또한, 센싱 영역은 입력 장치에 대응하여 복수 개 설정될 수 있다.
예를 들어, 광 센서(320)는 센싱된 반사광에 대한 정보로부터, 사용자의 손의 위치, 이동, 회전, 크기 및 이동 속도 등에 대한 정보를 수집할 수 있다.
본 발명의 일측에 따르면, 센싱 모듈은 제1 광 섬유(Optical Fiber)(311) 및 제2 광 섬유(321)를 더 포함할 수 있다.
제1 광 섬유(311)는 일측이 광 방출부(310)에 연결되고, 타측이 입력 장치의 일측면의 외부로 노출될 수 있다. 이 때, 제1 광 섬유(311)는 광 방출부(310)에서 방출되는 빛을 전반사하여 입력 장치의 일측면의 외부로 방출할 수 있다.
또한, 일실시예에 따른 제1 광 섬유(311)는 복수 개 구비되어, 입력 장치의 일측면에서 미리 설정된 복수 개의 위치에서 일측면의 외부로 노출될 수 있다.
제2 광 섬유(321)는 일측이 광 센서(320)에 연결되고, 타측이 입력 장치의 일측면의 외부로 노출될 수 있다. 이 때, 제2 광 섬유(321)는, 입력 장치의 외부로 노출된 제1 광 섬유(311)를 통해서 방출된 빛이 센싱 영역 내의 사용자의 손에 반사되어 발생하는 반사광을 광 센서(320)로 전반사할 수 있다.
또한, 일실시예에 따른 제2 광 섬유(321)는 복수 개 구비되어, 입력 장치의 일측면에서 미리 설정된 복수 개의 위치에서 일측면의 외부로 노출될 수 있다.
예를 들어, 입력 장치가 키보드인 경우, 복수 개의 제1 광 섬유(311) 및 복수 개의 제2 광 섬유(312)는 키보드의 키(301) 사이의 틈에 위치하는 포인트에서 키보드의 외부로 노출될 수 있다.
따라서, 도 3의 구조를 갖는 센싱 모듈을 포함하는 입력 장치의 경우, 광 방출부(310) 및 광 센서(320)를 하나씩만 구비한 채, 복수 개의 광 섬유(311, 321)를 이용함으로써, 입력 장치의 센싱 영역 내의 사용자의 손의 움직임을 센싱할 수 있다.
도 4를 참조하면, 본 발명의 일실시예에 따른 센싱 모듈은 광 방출부(410) 및 근접 광 센서(420)를 포함할 수 있다.
근접 광 센서(420)는 도 3에서 상세히 설명한 광 센서의 일실시예일 수 있다.
광 방출부(410)는 입력 장치 내에서 복수 개 구비되어, 입력 장치의 일측면에서 미리 설정된 복수 개의 위치에 삽입될 수 있다.
근접 광 센서(420)는 입력 장치 내에서 복수 개 구비되어, 입력 장치의 일측면에서 미리 설정된 복수 개의 위치에 삽입될 수 있다.
예를 들어, 입력 장치가 키보드인 경우, 복수 개의 광 방출부(410) 및 복수 개의 근접 광 센서(420)는 키보드의 키(401) 사이의 틈에 위치하는 복수 개의 포인트에서 키보드의 외부로 노출될 수 있다.
따라서, 도 4의 구조를 갖는 센싱 모듈을 포함하는 입력 장치의 경우, 복수 개의 센싱 포인트마다 복수 개의 광 방출부(410) 및 복수 개의 광 센서(420)가 삽입되어, 센싱 영역 내의 사용자의 손의 움직임을 센싱할 수 있다.
도 5를 참조하면, 본 발명의 일실시예에 따른 센싱 모듈은 쐐기(Wedge) 형태의 광 방출부(510) 및 근접 광 센서(520)를 포함할 수 있다.
쐐기 형태의 광 방출부(510)는 입력 장치에 쐐기 형태로 삽입될 수 있다. 또한, 쐐기 형태의 광 방출부(510)는 DSI(Diffused Surface Illumination) 방식에 기반하여 빛을 방출할 수 있다.
예를 들어, 입력 장치가 키보드인 경우, 쐐기 형태의 광 방출부(510)는 키보드의 키(501)의 열과 열 사이에 삽입되어 광을 방출할 수 있다.
이 때, 광 센서(520)는 복수 개 구비되어, 입력 장치의 일측면에 미리 설정된 복수 개의 위치에 삽입될 수 있다.
따라서, 도 5의 구조를 갖는 센싱 모듈을 포함하는 입력 장치의 경우, 쐐기 형태의 광 방출부(510)를 통해서 빛을 방출하고, 복수 개의 센싱 포인트마다 복수 개의 근접 광 센서(520)가 반사광을 센싱함으로써, 센싱 영역 내의 사용자의 손의 움직임을 센싱할 수 있다.
도 6을 참조하면, 본 발명의 일실시예에 따른 센싱 모듈은 쐐기 형태의 광 방출부(610) 및 쐐기 형태의 근접 광 센서(620)를 포함할 수 있다.
쐐기 형태의 광 방출부(610)는 입력 장치에 쐐기 형태로 삽입될 수 있다. 또한, 쐐기 형태의 광 방출부(610)는 DSI(Diffused Surface Illumination) 방식에 기반하여 빛을 방출할 수 있다.
쐐기 형태의 광 센서(610)는 입력 장치에 쐐기 형태로 삽입될 수 있다.
예를 들어, 입력 장치가 키보드인 경우, 쐐기 형태의 광 방출부(610) 및 쐐기 형태의 광 센서(610)는 키보드의 키(601)의 열과 열 사이에 삽입되어 광을 방출할 수 있다.
도 1 내지 도 6에서 상세히 설명한 센싱 모듈은 센싱 영역 내에서의 사용자의 손의 움직임에 대하여 센싱한 정보를 본 발명의 일실시예에 따른 GUI 제어 장치로 전송할 수 있고, GUI 제어 장치는 전송 받은 센싱 정보를 이용하여 GUI를 제어할 수 있다.
따라서, GUI를 제어하기 위하여, 입력 장치의 센싱 영역 내에서 손을 움직여서 입력 신호를 입력하면, 센싱 모듈이 사용자의 손의 움직임을 센싱하여 GUI 제어 장치로 전송함으로써, GUI가 제어될 수 있다.
이하, 본 발명의 일실시예에 따른 GUI 제어 장치에 대해서 설명한다.
도 7은 본 발명의 일실시예에 따른 GUI 제어 장치의 구성을 나타내는 도면이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 GUI 제어 장치(700)는 수신부(710), 생성부(720) 및 제어부(730)를 포함한다.
센싱 모듈을 포함하는 입력 장치(701)는 센싱 영역 내에서의 사용자의 손의 움직임을 센싱할 수 있다. 또한, 센싱한 움직임에 대한 움직임 정보를 GUI 제어 장치(700)로 전송할 수 있다.
자세히 설명하면, 입력 장치(701)는 빛을 방출하는 광 방출부 및 방출된 빛이 센싱 영역 내의 사용자의 손에 반사되어 발생하는 반사광을 센싱하여, 사용자의 손의 움직임에 대한 움직임 정보를 수집하는 광 센서를 포함할 수 있다.
수신부(710)는 입력 장치(701)로부터, 입력 장치(701)의 일측면에 위치하는 센싱 영역 내에서의 사용자의 손의 움직임에 대한 움직임 정보를 수신한다.
본 발명의 일측에 따르면, 움직임 정보는 사용자의 손의 위치, 회전, 크기 및 이동 속도에 대한 정보 중 적어도 하나를 포함할 수 있다.
예를 들어, 움직임 정보는, 센싱 영역 내의 손의 위치를 (x, y, z)의 3차원 좌표로 표시한 정보, 손의 회전을 (rx, ry, rz)의 값으로 표시한 정보 등을 포함할 수 있다.
생성부(720)는 움직임 정보에 기반하여, GUI 제어 신호를 생성한다.
본 발명의 일측에 따르면, 생성부(720)는 사용자의 손의 움직임의 형태와 의미 있는 제어 신호를 매칭(Matching)한 테이블(Table)을 참조하여, GUI 제어 신호를 생성할 수 있다.
예를 들어, 사용자의 손이 x축 방향으로 5cm 이동한 경우, 객체(Object)를 손의 이동 방향으로 이동시키는 동작 등이 테이블에 포함될 수 있다.
제어부(730)는 GUI 제어 정보에 기반하여, GUI(Graphic User Interface)(702)를 제어한다.
본 발명의 일측에 따르면, 사용자는 센싱 영역 내에서 손을 움직여서 입력 신호를 입력할 수 있을 뿐 아니라, 입력 장치(701)의 키, 버튼 등을 조작하여 입력 신호를 입력할 수 있다.
이 때, 입력 장치(701)는 움직임 정보뿐 아니라, 사용자가 입력 장치(701)의 키, 버튼 등을 조작하여 입력한 입력 정보도 GUI 제어 장치(700)로 전송할 수 있다.
따라서, 일실시예에 따른 수신부(710)는 사용자가 입력 장치(701)에 입력한 입력 정보를 입력 장치(701)로부터 더 수신할 수 있다.
입력 장치(701)가 키보드 및 마우스인 경우, 본 발명의 일실시예에 따른 입력 정보는 사용자가 입력한 키보드의 키(Key)에 대한 정보, 사용자가 입력한 마우스의 키에 대한 정보, 마우스의 위치에 대한 정보 및 마우스의 휠(Wheel) 값에 대한 정보 중 적어도 하나를 포함할 수 있다.
또한, 생성부(720)는 움직임 정보뿐 아니라 입력 정보를 더 고려하여, GUI 제어 신호를 생성할 수 있다.
이하, 도 8 내지 도 15를 참조하여, 본 발명의 일실시예에 따른 센싱 모듈를 포함하는 입력 장치를 이용하여 사용자가 GUI를 제어하기 위한 입력 신호를 입력하는 실시예들을 상세히 설명한다.
도 8 내지 도 15는 본 발명의 일실시예에 따른 센싱 모듈을 포함하는 입력 장치를 이용하여 사용자가 입력 신호를 입력하는 실시예를 나타내는 도면이다.
도 8을 참조하면, 본 발명의 일실시예에 따른 GUI 제어 장치의 사용자는 센싱 모듈이 포함된 입력 장치인 키보드(810)의 일측면에 위치하는 센싱 영역 내에서 하나의 손(820)을 이동하여 GUI를 제어하기 위한 입력 신호를 입력할 수 있다.
이 때, 일실시예에 따른 GUI 제어 장치는 센싱 모듈이 센싱한 사용자의 하나의 손(820)의 움직임에 대한 움직임 정보를 키보드(810)로부터 수신하고, 움직임 정보에 기반하여 GUI 제어 정보를 생성하며, 생성된 GUI 제어 정보에 기반하여 GUI를 제어할 수 있다.
이 때, 일실시예에 따른 움직임 정보는 키보드(810) 위의 센싱 영역 내에서의 사용자의 하나의 손(820)에 대한 위치, 회전 정보를 나타내는 (x, y, z, rx, ry, rz)의 좌표값을 포함할 수 있다.
도 9를 참조하면, 본 발명의 일실시예에 따른 GUI 제어 장치의 사용자는 센싱 모듈이 포함된 입력 장치인 마우스(910)의 일측면에 위치하는 센싱 영역 내에서 하나의 손(920)을 이동하여 GUI를 제어하기 위한 입력 신호를 입력할 수 있다.
이 때, 일실시예에 따른 GUI 제어 장치는 센싱 모듈이 센싱한 사용자의 하나의 손(920)의 움직임에 대한 움직임 정보를 마우스(910)로부터 수신하고, 움직임 정보에 기반하여 GUI 제어 정보를 생성하며, 생성된 GUI 제어 정보에 기반하여 GUI를 제어할 수 있다.
이 때, 일실시예에 따른 움직임 정보는 마우스(910) 위의 센싱 영역 내에서의 사용자의 하나의 손(920)에 대한 위치, 회전 정보를 나타내는 (x, y, z, rx, ry, rz)의 좌표값을 포함할 수 있다.
도 10을 참조하면, 본 발명의 일실시예에 따른 GUI 제어 장치의 사용자는 센싱 모듈이 포함된 입력 장치인 키보드(1010)의 일측면에 위치하는 센싱 영역 내에서 왼손(1020) 및 오른속(1030)을 이동하여 GUI를 제어하기 위한 입력 신호를 입력할 수 있다.
이 때, 일실시예에 따른 GUI 제어 장치는 센싱 모듈이 센싱한 사용자의 왼손(1020) 및 오른손(1030)의 움직임에 대한 움직임 정보를 키보드(1010)로부터 수신하고, 움직임 정보에 기반하여 GUI 제어 정보를 생성하며, 생성된 GUI 제어 정보에 기반하여 GUI를 제어할 수 있다.
이 때, 일실시예에 따른 움직임 정보는 사용자의 왼손(1020)에 대한 위치, 회전 정보를 나타내는 (x, y, z, rx, ry, rz)의 좌표값 및 오른손(1030)에 대한 위치, 회전 정보를 나타내는 (x, y, z, rx, ry, rz)의 좌표값을 포함할 수 있다.
도 11을 참조하면, 본 발명의 일실시예에 따른 GUI 제어 장치의 사용자는 센싱 모듈이 포함된 입력 장치인 키보드(1110)의 일측면에 위치하는 센싱 영역 내에서 하나의 손(1130)을 이동하고, 마우스(1120)의 일측면에 위치하는 센싱 영역 내에서 나머지 손(1140)을 이동하여 GUI를 제어하기 위한 입력 신호를 입력할 수 있다.
이 때, 일실시예에 따른 GUI 제어 장치는 센싱 모듈이 센싱한 사용자의 키보드(1110) 위에서의 하나의 손(1130) 및 마우스(1120) 위에서의 나머지 손(1140)의 움직임에 대한 움직임 정보를 키보드(1110) 및 마우스(1120)로부터 수신하고, 움직임 정보에 기반하여 GUI 제어 정보를 생성하며, 생성된 GUI 제어 정보에 기반하여 GUI를 제어할 수 있다.
이 때, 일실시예에 따른 움직임 정보는 사용자의 키보드(1110) 위에서의 하나의 손(1130)에 대한 위치, 회전 정보를 나타내는 (x, y, z, rx, ry, rz)의 좌표값 및 마우스(1120) 위에서의 나머지 손(1140)에 대한 위치, 회전 정보를 나타내는 (x, y, z, rx, ry, rz)의 좌표값을 포함할 수 있다.
도 12를 참조하면, 본 발명의 일실시예에 따른 GUI 제어 장치의 사용자는 센싱 모듈이 포함된 입력 장치인 키보드(1210)의 일측면에 위치하는 센싱 영역 내에서 하나의 손(1230)을 이동하고, 나머지 손(1220)으로는 키보드(1210)의 키를 조작하여 GUI를 제어하기 위한 입력 신호를 입력할 수 있다.
이 때, 일실시예에 따른 GUI 제어 장치는 센싱 모듈이 센싱한 사용자의 키보드(1210) 위에서의 하나의 손(1230)의 움직임에 대한 움직임 정보 및 나머지 손(1220)이 키보드(1210)의 키를 조작하여 입력한 입력 신호에 대한 입력 정보를 키보드(1210)로부터 수신하고, 움직임 정보에 기반하여 GUI 제어 정보를 생성하며, 생성된 GUI 제어 정보에 기반하여 GUI를 제어할 수 있다.
이 때, 일실시예에 따른 움직임 정보는 사용자의 키보드(1210) 위에서의 하나의 손(1230)에 대한 위치, 회전 정보를 나타내는 (x, y, z, rx, ry, rz)의 좌표값을 포함할 수 있다. 또한, 일실시예에 따른 입력 신호는 사용자가 나머지 손(1220)을 이용하여 조작한 키보드(1210)의 키에 대한 키 스캔 코드(Key Scan Code)에 대한 정보를 포함할 수 있다.
도 13을 참조하면, 본 발명의 일실시예에 따른 GUI 제어 장치의 사용자는 센싱 모듈이 포함된 입력 장치인 마우스(1320)의 일측면에 위치하는 센싱 영역 내에서 하나의 손(1340)을 이동하고, 나머지 손(1330)으로는 키보드(1310)의 키를 조작하여 GUI를 제어하기 위한 입력 신호를 입력할 수 있다.
이 때, 일실시예에 따른 GUI 제어 장치는 센싱 모듈이 센싱한 사용자의 마우스(1320) 위에서의 하나의 손(1340)의 움직임에 대한 움직임 정보를 마우스(1320)로부터 수신하고, 나머지 손(1330)이 키보드(1310)의 키를 조작하여 입력한 입력 신호에 대한 입력 정보를 키보드(1310)로부터 수신하며, 움직임 정보에 기반하여 GUI 제어 정보를 생성하고, 생성된 GUI 제어 정보에 기반하여 GUI를 제어할 수 있다.
이 때, 일실시예에 따른 움직임 정보는 사용자의 마우스(1320) 위에서의 하나의 손(1340)에 대한 위치, 회전 정보를 나타내는 (x, y, z, rx, ry, rz)의 좌표값을 포함할 수 있다. 또한, 일실시예에 따른 입력 신호는 사용자가 나머지 손(1330)을 이용하여 조작한 키보드(1310)의 키에 대한 키 스캔 코드(Key Scan Code)에 대한 정보를 포함할 수 있다.
도 14을 참조하면, 본 발명의 일실시예에 따른 GUI 제어 장치의 사용자는 센싱 모듈이 포함된 입력 장치인 키보드(1410)의 일측면에 위치하는 센싱 영역 내에서 하나의 손(1430)을 이동하고, 나머지 손(1440)으로는 마우스(1420)를 조작하여 GUI를 제어하기 위한 입력 신호를 입력할 수 있다.
실시예에 따라서는, 사용자는 마우스(1420)의 버튼을 조작하거나, 마우스(1420)를 이동시키거나, 마우스(1420)의 휠(Wheel)을 조작하여 입력 신호를 입력할 수 있다.
이 때, 일실시예에 따른 GUI 제어 장치는 센싱 모듈이 센싱한 사용자의 키보드(1410) 위에서의 하나의 손(1430)의 움직임에 대한 움직임 정보를 키보드(1410)로부터 수신하고, 나머지 손(1440)이 마우스(1420)를 조작하여 입력한 입력 신호에 대한 입력 정보를 마우스(1420)로부터 수신하며, 움직임 정보에 기반하여 GUI 제어 정보를 생성하고, 생성된 GUI 제어 정보에 기반하여 GUI를 제어할 수 있다.
이 때, 일실시예에 따른 움직임 정보는 사용자의 키보드(1410) 위에서의 하나의 손(1430)에 대한 위치, 회전 정보를 나타내는 (x, y, z, rx, ry, rz)의 좌표값을 포함할 수 있다. 또한, 일실시예에 따른 입력 신호는 사용자가 나머지 손(1440)을 이용하여 조작한 마우스(1420)의 위치에 대한 (x, y) 좌표값, 마우스(1420)의 휠 값(w), 마우스(1420)의 키에 대한 키 스캔 코드(Key Scan Code)에 대한 정보를 포함할 수 있다.
도 15를 참조하면, 본 발명의 일실시예에 따른 GUI 제어 장치의 사용자는 센싱 모듈이 포함된 입력 장치인 리모트 컨트롤러(1510)의 일측면에 위치하는 센싱 영역 내에서 손(1520)을 이동하거나, 리모트 컨트롤러(1510)의 키를 조작하여 GUI를 제어하기 위한 입력 신호를 입력할 수 있다.
이 때, 일실시예에 따른 GUI 제어 장치는 센싱 모듈이 센싱한 사용자의 리모트 컨트롤러(1510) 위에서의 손(1520)의 움직임에 대한 움직임 정보 또는 리모트 컨트롤러(1510)의 키를 조작하여 입력한 입력 신호에 대한 입력 정보를 리모트 컨트롤러(1510)로부터 수신하고, 움직임 정보에 기반하여 GUI 제어 정보를 생성하며, 생성된 GUI 제어 정보에 기반하여 GUI를 제어할 수 있다.
이 때, 일실시예에 따른 움직임 정보는 사용자의 리모트 컨트롤러(1510) 위에서의 손(1520)에 대한 위치, 회전 정보를 나타내는 (x, y, z, rx, ry, rz)의 좌표값을 포함할 수 있다. 또한, 일실시예에 따른 입력 신호는 사용자가 조작한 리모트 컨트롤러(1510)의 키에 대한 키 스캔 코드(Key Scan Code)에 대한 정보를 포함할 수 있다.
표 1은 도 8 내지 도 15에서 설명한, 키보드 및 마우스 중 적어도 하나를 이용하는 GUI 제어 신호를 입력하는 방법과 그 때의 움직임 정보, 입력 정보 및 그에 대응하는 GUI 제어 방법의 실시예를 나타내는 표이다. 이는 본 발명의 일실시예에 불과하며, 본 발명이 이에 한정되는 것은 아니다.
표 1
Figure 112011004168511-pat00001
Figure 112011004168511-pat00002

도 16은 본 발명의 일실시예에 따른 GUI 제어 방법을 나타내는 흐름도이다.
도 16을 참조하면, 본 발명의 일실시예에 따른 GUI 제어 방법는 입력 장치로부터, 입력 장치의 일측면에 위치하는 센싱 영역 내에서의 사용자의 손의 움직임에 대한 움직임 정보를 수신한다(1610).
본 발명의 일측에 따르면, 움직임 정보는 사용자의 손의 위치, 회전, 크기 및 이동 속도에 대한 정보 중 적어도 하나를 포함할 수 있다.
예를 들어, 움직임 정보는, 센싱 영역 내의 손의 위치를 (x, y, z)의 3차원 좌표로 표시한 정보, 손의 회전을 (rx, ry, rz)의 값으로 표시한 정보 등을 포함할 수 있다.
GUI 제어 방법은 움직임 정보에 기반하여, GUI 제어 신호를 생성한다(1620).
본 발명의 일측에 따르면, GUI 제어 방법은 사용자의 손의 움직임의 형태와 의미 있는 제어 신호를 매칭(Matching)한 테이블(Table)을 참조하여, GUI 제어 신호를 생성할 수 있다.
예를 들어, 사용자의 손이 x축 방향으로 5cm 이동한 경우, 객체(Object)를 손의 이동 방향으로 이동시키는 동작 등이 테이블에 포함될 수 있다.
GUI 제어 방법은 GUI 제어 정보에 기반하여, GUI(Graphic User Interface)를 제어한다(1630).
본 발명의 일측에 따르면, 사용자는 센싱 영역 내에서 손을 움직여서 입력 신호를 입력할 수 있을 뿐 아니라, 입력 장치의 키, 버튼 등을 조작하여 입력 신호를 입력할 수 있다.
이 때, 입력 장치는 움직임 정보뿐 아니라, 사용자가 입력 장치의 키, 버튼 등을 조작하여 입력한 입력 정보도 GUI 제어 장치로 전송할 수 있다.
따라서, 일실시예에 따른 GUI 제어 방법은 사용자가 입력 장치에 입력한 입력 정보를 입력 장치로부터 더 수신할 수 있다.
입력 장치가 키보드 및 마우스인 경우, 본 발명의 일실시예에 따른 입력 정보는 사용자가 입력한 키보드의 키(Key)에 대한 정보, 사용자가 입력한 마우스의 키에 대한 정보, 마우스의 위치에 대한 정보 및 마우스의 휠(Wheel) 값에 대한 정보 중 적어도 하나를 포함할 수 있다.
또한, GUI 제어 방법은 움직임 정보뿐 아니라 입력 정보를 더 고려하여, GUI 제어 신호를 생성할 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
700: GUI 제어 장치
701: 키보드
702: GUI
710: 수신부
720: 생성부
730: 제어부

Claims (14)

  1. 입력 장치의 일측면에 위치하는 센싱 영역 내에서의 사용자의 손의 움직임을 근접 센싱(Hovering)하는 센싱 모듈에 있어서,
    빛을 방출하는 광 방출부; 및
    상기 방출된 빛이 상기 손에 반사되어 발생하는 반사광을 센싱하여, 상기 손의 움직임에 대한 움직임 정보를 수집하는 광 센서
    를 포함하고,
    상기 광 센서가 상기 광 방출부에 의해 방출되는 상기 빛을 직접적으로 센싱하는 것을 방지하기 위해, 상기 광 방출부의 상부는 상기 광 센서의 상부보다 높게 배치된,
    센싱 모듈.
  2. 제1항에 있어서,
    일측이 상기 광 방출부에 연결되고 타측이 상기 일측면의 외부로 노출되어, 상기 광 방출부에서 방출되는 빛을 전반사하여 상기 일측면의 외부로 방출하는 제1 광 섬유; 및
    일측이 상기 광 센서에 연결되고 타측이 상기 일측면의 외부로 노출되어, 상기 반사광을 상기 광 센서로 전반사하는 제2 광 섬유
    를 더 포함하는 센싱 모듈.
  3. 제2항에 있어서,
    상기 제1 광 섬유는
    복수 개 구비되어, 상기 일측면에서 미리 설정된 복수 개의 위치에서 상기 일측면의 외부로 노출되고,
    상기 제2 광 섬유는
    복수 개 구비되어, 상기 복수 개의 위치에서 상기 일측면의 외부로 노출되는 센싱 모듈.
  4. 제1항에 있어서,
    상기 광 방출부는
    복수 개 구비되어, 상기 일측면에서 미리 설정된 복수 개의 위치에 삽입되고,
    상기 광 센서는
    복수 개 구비되어, 상기 미리 설정된 복수 개의 위치에 삽입되는 센싱 모듈.
  5. 제1항에 있어서,
    상기 광 방출부는
    DSI(Diffused Surface Illumination) 방식에 기반하여 상기 빛을 방출하고, 상기 입력 장치에 쐐기(Wedge) 형태로 삽입되며,
    상기 광 센서는
    복수 개 구비되어, 상기 일측면에서 미리 설정된 복수 개의 위치에 삽입되는 센싱 모듈.
  6. 제1항에 있어서,
    상기 광 방출부는
    DSI(Diffused Surface Illumination) 방식에 기반하여 상기 빛을 방출하고, 상기 입력 장치에 쐐기(Wedge) 형태로 삽입되며,
    상기 광 센서는
    상기 입력 장치에 상기 쐐기 형태로 삽입되는 센싱 모듈.
  7. 제1항에 있어서,
    상기 입력 장치는
    키보드, 마우스 및 리모트 콘트롤러(Remote Controller) 중 적어도 하나를 포함하는 센싱 모듈.
  8. 입력 장치로부터, 상기 입력 장치의 일측면에 위치하는 센싱 영역 내에서의 사용자의 손의 움직임에 대한 움직임 정보를 수신하는 수신부;
    상기 움직임 정보에 기반하여, GUI 제어 신호를 생성하는 생성부; 및
    상기 GUI 제어 신호에 기반하여, GUI(Graphic User Interface)를 제어하는 제어부
    를 포함하고,
    상기 입력 장치는
    빛을 방출하는 광 방출부; 및 상기 방출된 빛이 상기 손에 반사되어 발생하는 반사광을 센싱하여, 상기 움직임 정보를 수집하는 광 센서를 포함하고,
    상기 광 센서가 상기 광 방출부에 의해 방출되는 상기 빛을 직접적으로 센싱하는 것을 방지하기 위해, 상기 광 방출부의 상부는 상기 광 센서의 상부보다 높게 배치된,
    GUI 제어 장치.
  9. 삭제
  10. 제8항에 있어서,
    상기 움직임 정보는
    상기 손의 위치, 회전, 크기 및 이동 속도에 대한 정보 중 적어도 하나를 포함하는 GUI 제어 장치.
  11. 제8항에 있어서,
    상기 수신부는
    상기 사용자가 상기 입력 장치에 입력한 입력 정보를 상기 입력 장치로부터 더 수신하고,
    상기 생성부는
    상기 움직임 정보 및 상기 입력 정보에 기반하여, 상기 GUI 제어 신호를 생성하는 GUI 제어 장치.
  12. 제11항에 있어서,
    상기 입력 장치는
    키보드 및 마우스를 포함하고,
    상기 입력 정보는
    상기 사용자가 입력한 상기 키보드의 키(Key)에 대한 정보, 상기 사용자가 입력한 상기 마우스의 키에 대한 정보, 상기 마우스의 위치에 대한 정보 및 상기 마우스의 휠(Wheel) 값에 대한 정보 중 적어도 하나를 포함하는 GUI 제어 장치.
  13. 입력 장치로부터, GUI 제어 장치의 수신부가 상기 입력 장치의 일측면에 위치하는 센싱 영역 내에서의 사용자의 손의 움직임에 대한 움직임 정보를 수신하는 단계;
    상기 움직임 정보에 기반하여, 상기 GUI 제어 장치의 생성부가 GUI 제어 신호를 생성하는 단계; 및
    상기 GUI 제어 신호에 기반하여, 상기 GUI 제어 장치의 제어부가 GUI(Graphic User Interface)를 제어하는 단계
    를 포함하고,
    상기 입력 장치는
    빛을 방출하는 광 방출부; 및 상기 방출된 빛이 상기 손에 반사되어 발생하는 반사광을 센싱하여, 상기 움직임 정보를 수집하는 광 센서를 포함하고,
    상기 광 센서가 상기 광 방출부에 의해 방출되는 상기 빛을 직접적으로 센싱하는 것을 방지하기 위해, 상기 광 방출부의 상부는 상기 광 센서의 상부보다 높게 배치된,
    GUI 제어 방법.
  14. 제13항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020110005033A 2011-01-18 2011-01-18 센싱 모듈, ｇｕｉ 제어 장치 및 방법 KR101816721B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110005033A KR101816721B1 (ko) 2011-01-18 2011-01-18 센싱 모듈, ｇｕｉ 제어 장치 및 방법
US13/352,839 US9733711B2 (en) 2011-01-18 2012-01-18 Sensing module, and graphical user interface (GUI) control apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110005033A KR101816721B1 (ko) 2011-01-18 2011-01-18 센싱 모듈, ｇｕｉ 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120083733A KR20120083733A (ko) 2012-07-26
KR101816721B1 true KR101816721B1 (ko) 2018-01-10

Family

ID=46490388

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110005033A KR101816721B1 (ko) 2011-01-18 2011-01-18 센싱 모듈, ｇｕｉ 제어 장치 및 방법

Country Status (2)

Country Link
US (1) US9733711B2 (ko)
KR (1) KR101816721B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10877554B2 (en) 2018-04-19 2020-12-29 Samsung Electronics Co., Ltd. High efficiency input apparatus and method for virtual reality and augmented reality

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103576315B (zh) * 2012-07-30 2017-03-01 联想(北京)有限公司 显示装置
US10331219B2 (en) * 2013-01-04 2019-06-25 Lenovo (Singaore) Pte. Ltd. Identification and use of gestures in proximity to a sensor
US9494415B2 (en) * 2013-11-07 2016-11-15 Intel Corporation Object position determination
CN110502123A (zh) * 2014-04-19 2019-11-26 赵殷亨 一种包括人机交互装置的数字装置
US9213418B2 (en) * 2014-04-23 2015-12-15 Peigen Jiang Computer input device
US20160117081A1 (en) * 2014-10-27 2016-04-28 Thales Avionics, Inc. Controlling entertainment system using combination of inputs from proximity sensor and touch sensor of remote controller
KR20170124068A (ko) 2016-05-01 2017-11-09 (주)이노프레소 복합 휴먼 인터페이스가 구비된 전자기기
US10289238B2 (en) 2016-05-01 2019-05-14 Innopresso, Inc. Electronic device having multi-functional human interface
CN109375783B (zh) 2016-06-23 2022-03-11 株式会社音乐派索 具有多功能人机接口的电子设备
US11394385B1 (en) * 2016-09-20 2022-07-19 Apple Inc. Input device having adjustable input mechanisms
US11221683B2 (en) * 2019-05-09 2022-01-11 Dell Products, L.P. Graphical user interface (GUI) manipulation using hand gestures over a hovering keyboard

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030034439A1 (en) * 2001-08-13 2003-02-20 Nokia Mobile Phones Ltd. Method and device for detecting touch pad input
US20080122796A1 (en) 2006-09-06 2008-05-29 Jobs Steven P Touch Screen Device, Method, and Graphical User Interface for Determining Commands by Applying Heuristics
US20080246606A1 (en) 2005-10-14 2008-10-09 Cambridge Display Technology Limited Display Monitoring Systems
US20100225588A1 (en) * 2009-01-21 2010-09-09 Next Holdings Limited Methods And Systems For Optical Detection Of Gestures

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6860428B1 (en) * 1998-09-11 2005-03-01 Robotic Vision Systems Inc. Optical symbologies imager
US4254333A (en) * 1978-05-31 1981-03-03 Bergstroem Arne Optoelectronic circuit element
US4379968A (en) * 1980-12-24 1983-04-12 Burroughs Corp. Photo-optical keyboard having light attenuating means
US4417824A (en) * 1982-03-29 1983-11-29 International Business Machines Corporation Optical keyboard with common light transmission members
US4641026A (en) * 1984-02-02 1987-02-03 Texas Instruments Incorporated Optically activated keyboard for digital system
GB2171793B (en) * 1985-02-27 1989-06-14 Drottninghamnsvagen Bergstrom Electromagnetic radiation circuit element
GB2173931B (en) * 1985-04-16 1988-05-11 Ncr Co Data input system including a keyboard having no moving parts
DE3700856A1 (de) * 1987-01-14 1988-07-28 Telefunken Electronic Gmbh Optoelektronische tastatur
US5341133A (en) * 1991-05-09 1994-08-23 The Rowland Institute For Science, Inc. Keyboard having touch sensor keys for conveying information electronically
KR950001730B1 (ko) * 1991-06-08 1995-02-28 주식회사 일진 옵티컬 인텔리젠트 키보드 구조체
CA2097360A1 (en) * 1992-06-03 1993-12-04 Paul Dvorkis Optical readers
US5477223A (en) * 1992-08-12 1995-12-19 Destremps; Gerald Finger activated keyboard for a computer
US5286125A (en) * 1992-11-16 1994-02-15 Digiosia Antonio G Keyboard and key guide frame arrangement
US5410150A (en) * 1993-01-21 1995-04-25 A. J. Leisure Group Ltd. Fiber optic controller with an interface having an emitting diode and a photodetector
US5943233A (en) * 1994-12-26 1999-08-24 Sharp Kabushiki Kaisha Input device for a computer and the like and input processing method
US6950094B2 (en) * 1998-03-30 2005-09-27 Agilent Technologies, Inc Seeing eye mouse for a computer system
US6026283A (en) * 1997-12-05 2000-02-15 Ericsson Inc. Electrically conductive keypad lightguides
US5963434A (en) * 1998-02-27 1999-10-05 Ericsson Inc. Electronic device and method
US5994710A (en) * 1998-04-30 1999-11-30 Hewlett-Packard Company Scanning mouse for a computer system
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US7151528B2 (en) * 1999-06-22 2006-12-19 Cirque Corporation System for disposing a proximity sensitive touchpad behind a mobile phone keypad
US6496180B1 (en) * 1999-08-31 2002-12-17 Micron Technology, Inc. Mouse with slider control for computer scrolling
US20090201179A1 (en) * 1999-09-15 2009-08-13 Michael Shipman Illuminated keyboard
US20080143560A1 (en) * 1999-09-15 2008-06-19 Michael Shipman Lightpipe for illuminating keys of a keyboard
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6552713B1 (en) * 1999-12-16 2003-04-22 Hewlett-Packard Company Optical pointing device
US6525677B1 (en) * 2000-08-28 2003-02-25 Motorola, Inc. Method and apparatus for an optical laser keypad
US20070018970A1 (en) * 2000-12-22 2007-01-25 Logitech Europe S.A. Optical slider for input devices
US6859196B2 (en) * 2001-01-12 2005-02-22 Logitech Europe S.A. Pointing device with hand detection
GB2374266A (en) * 2001-04-04 2002-10-09 Matsushita Comm Ind Uk Ltd Virtual user interface device
US6710346B2 (en) * 2001-08-02 2004-03-23 International Business Machines Corporation Active infrared presence sensor
US20030038824A1 (en) * 2001-08-24 2003-02-27 Ryder Brian D. Addition of mouse scrolling and hot-key functionality to biometric security fingerprint readers in notebook computers
US6661410B2 (en) * 2001-09-07 2003-12-09 Microsoft Corporation Capacitive sensing and data input device power management
JP2003122477A (ja) 2001-10-16 2003-04-25 Sony Corp 入力装置および情報処理装置
US7084856B2 (en) * 2001-10-22 2006-08-01 Apple Computer, Inc. Mouse having a rotary dial
US7474296B2 (en) * 2002-04-12 2009-01-06 Obermeyer Henry K Multi-axis joystick and transducer means therefore
EP1537470B1 (en) * 2002-08-29 2008-07-09 Koninklijke Philips Electronics N.V. Apparatus equipped with an optical keyboard and optical input device
US7358963B2 (en) * 2002-09-09 2008-04-15 Apple Inc. Mouse having an optically-based scrolling feature
US7167161B2 (en) * 2002-11-15 2007-01-23 Atlab Inc. Method for calculating movement value of optical mouse and optical mouse using the same
JP2004185258A (ja) * 2002-12-03 2004-07-02 Hitachi Ltd 情報処理装置
TWI220213B (en) * 2003-03-04 2004-08-11 Darfon Electronics Corp Keyboard structure
US20050018172A1 (en) * 2003-07-23 2005-01-27 Neil Gelfond Accepting user control
TWI244044B (en) * 2003-09-26 2005-11-21 Sunplus Technology Co Ltd Method and device for controlling dynamic image capturing rate of an optical mouse
EP1709523A2 (en) * 2004-01-15 2006-10-11 Koninklijke Philips Electronics N.V. Versatile optical mouse
TWI230315B (en) * 2004-01-16 2005-04-01 Pixart Imaging Inc An image capture device and a method of the image exposure process
US7324086B2 (en) * 2004-01-21 2008-01-29 Microsoft Corporation Data input device and method for detecting lift-off from a tracking surface by laser doppler self-mixing effects
KR100611368B1 (ko) 2004-03-16 2006-08-11 주식회사 알티캐스트 가상 키보드에 의한 문자입력 기능을 구비한 리모컨 및이를 포함하는 문자입력 시스템
US20060050062A1 (en) * 2004-08-19 2006-03-09 Masanori Ozawa Input device
US20060066590A1 (en) * 2004-09-29 2006-03-30 Masanori Ozawa Input device
US20060066589A1 (en) * 2004-09-29 2006-03-30 Masanori Ozawa Input device
US7528824B2 (en) * 2004-09-30 2009-05-05 Microsoft Corporation Keyboard or other input device using ranging for detection of control piece movement
CN101366067B (zh) * 2004-10-20 2011-04-20 罗伯特·R·考德玛 带指针控制的计算机键盘
KR100628865B1 (ko) 2004-10-21 2006-09-27 주식회사 모나드 광센서를 이용한 휴대형 기기의 키 입력장치 및 키 입력방법
US7489306B2 (en) 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
TWI283421B (en) * 2005-03-11 2007-07-01 Coretronic Corp Backlight button assembly
US20060256090A1 (en) * 2005-05-12 2006-11-16 Apple Computer, Inc. Mechanical overlay
US7268705B2 (en) * 2005-06-17 2007-09-11 Microsoft Corporation Input detection based on speckle-modulated laser self-mixing
US20080042980A1 (en) * 2005-07-27 2008-02-21 Bowen James H Telephone keypad with quad directional keys
US20080062015A1 (en) * 2005-07-27 2008-03-13 Bowen James H Telphone keypad with multidirectional keys
CN1932556A (zh) * 2005-09-16 2007-03-21 鸿富锦精密工业（深圳）有限公司 导光板及使用所述导光板的电子产品
US7515143B2 (en) * 2006-02-28 2009-04-07 Microsoft Corporation Uniform illumination of interactive display panel
US7995034B2 (en) * 2006-06-22 2011-08-09 Microsoft Corporation Input device having a presence sensor
US8624140B2 (en) * 2006-07-10 2014-01-07 Fujitsu Component Limited Key switch and keyboard
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US20080055495A1 (en) * 2006-09-05 2008-03-06 Honeywell International Inc. LCD panel with synchronized integral touchscreen
US7843516B2 (en) * 2006-09-05 2010-11-30 Honeywell International Inc. LCD touchscreen panel with scanning backlight
JP2010509664A (ja) * 2006-11-14 2010-03-25 オーワイ モディリス エルティディ 光ガイド構成および関連する用途
JP5034481B2 (ja) * 2006-12-19 2012-09-26 ヤマハ株式会社 鍵盤楽器
WO2008077987A1 (en) * 2006-12-22 2008-07-03 Nokia Corporation Illumination arrangement
US8022942B2 (en) * 2007-01-25 2011-09-20 Microsoft Corporation Dynamic projected user interface
US20080218769A1 (en) * 2007-03-08 2008-09-11 Crucialtec Co., Ltd. Optical Pointing Device for Mobile Terminals
US20080231596A1 (en) 2007-03-19 2008-09-25 Yung-Lung Liu Key shaped pointing device
US8502774B2 (en) * 2007-08-08 2013-08-06 Sony Corporation Input apparatus, control apparatus, control system, control method, and handheld apparatus
US8130200B2 (en) * 2008-01-14 2012-03-06 Benjamin Slotznick Combination thumb keyboard and mouse
US20090219253A1 (en) * 2008-02-29 2009-09-03 Microsoft Corporation Interactive Surface Computer with Switchable Diffuser
KR20090105154A (ko) * 2008-04-01 2009-10-07 크루셜텍 (주) 광 포인팅 장치 및 광 포인팅 장치를 이용한 클릭 인식방법
TW201011801A (en) * 2008-09-05 2010-03-16 Asustek Comp Inc Keyboard and electronic device
JP2010085695A (ja) * 2008-09-30 2010-04-15 Toshiba Mobile Display Co Ltd アクティブマトリクス型表示装置
US20100149099A1 (en) * 2008-12-12 2010-06-17 John Greer Elias Motion sensitive mechanical keyboard
TWI357087B (en) * 2008-12-16 2012-01-21 Kinpo Elect Inc A light guide structure for a keyboard
US20100214135A1 (en) * 2009-02-26 2010-08-26 Microsoft Corporation Dynamic rear-projected user interface
US8269175B2 (en) * 2009-05-22 2012-09-18 Motorola Mobility Llc Electronic device with sensing assembly and method for detecting gestures of geometric shapes
US8304733B2 (en) * 2009-05-22 2012-11-06 Motorola Mobility Llc Sensing assembly for mobile device
US8294105B2 (en) * 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
KR101631958B1 (ko) * 2010-01-14 2016-06-20 엘지전자 주식회사 입력 장치 및 이를 구비하는 이동 단말기

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030034439A1 (en) * 2001-08-13 2003-02-20 Nokia Mobile Phones Ltd. Method and device for detecting touch pad input
US20080246606A1 (en) 2005-10-14 2008-10-09 Cambridge Display Technology Limited Display Monitoring Systems
US20080122796A1 (en) 2006-09-06 2008-05-29 Jobs Steven P Touch Screen Device, Method, and Graphical User Interface for Determining Commands by Applying Heuristics
US20100225588A1 (en) * 2009-01-21 2010-09-09 Next Holdings Limited Methods And Systems For Optical Detection Of Gestures

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10877554B2 (en) 2018-04-19 2020-12-29 Samsung Electronics Co., Ltd. High efficiency input apparatus and method for virtual reality and augmented reality

Also Published As

Publication number Publication date
US9733711B2 (en) 2017-08-15
KR20120083733A (ko) 2012-07-26
US20120182215A1 (en) 2012-07-19

Similar Documents

Publication Publication Date Title
KR101816721B1 (ko) 센싱 모듈, ｇｕｉ 제어 장치 및 방법
US20210181857A1 (en) Systems and Methods of Creating a Realistic Displacement of a Virtual Object in Virtual Reality/Augmented Reality Environments
KR101666995B1 (ko) 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법
EP2972669B1 (en) Depth-based user interface gesture control
US9207806B2 (en) Creating a virtual mouse input device
CN108700957B (zh) 用于虚拟环境中文本输入的电子系统和方法
JP6000797B2 (ja) タッチパネル式入力装置、その制御方法、および、プログラム
JP4742361B2 (ja) 情報入出力システム
US20120176308A1 (en) Method for supporting multiple menus and interactive input system employing same
JP2010108071A (ja) 画像表示装置、画像表示方法およびプログラム
KR20100048090A (ko) 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법
CN102902480A (zh) 用于触摸屏的控制区域
JP2011048525A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US10203781B2 (en) Integrated free space and surface input device
CN102349042A (zh) 用于在图形用户界面小部件中使用纹理的系统和方法
JP6727081B2 (ja) 情報処理システム、拡張入力装置、および情報処理方法
KR101728723B1 (ko) 전자 칠판 및 그 제어 방법
CN104508599A (zh) 要素选择装置、要素选择方法、及程序
US20130257809A1 (en) Optical touch sensing apparatus
JP2014048691A (ja) リストバンド型入力デバイスおよびリストバンド型入力デバイスを用いた文字入力方法
TWI595429B (zh) 輸入指令
CN102253763B (zh) 无线交互系统和方法
JP2010176710A (ja) 情報入出力システム
KR101682527B1 (ko) 박형 햅틱 모듈을 이용한 마우스 겸용 터치 키패드
CN105389031A (zh) 一种人机交互的方法与装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant