KR20110063075A - Gesture input apparatus and gesture recognition method and apparatus using the same - Google Patents

Gesture input apparatus and gesture recognition method and apparatus using the same Download PDF

Info

Publication number
KR20110063075A
KR20110063075A KR1020090120014A KR20090120014A KR20110063075A KR 20110063075 A KR20110063075 A KR 20110063075A KR 1020090120014 A KR1020090120014 A KR 1020090120014A KR 20090120014 A KR20090120014 A KR 20090120014A KR 20110063075 A KR20110063075 A KR 20110063075A
Authority
KR
South Korea
Prior art keywords
infrared
gesture
head
pointer
input device
Prior art date
Application number
KR1020090120014A
Other languages
Korean (ko)
Other versions
KR101576567B1 (en
Inventor
이대하
김재홍
장민수
박찬규
조현성
강상승
박천수
손주찬
이재연
정연구
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090120014A priority Critical patent/KR101576567B1/en
Publication of KR20110063075A publication Critical patent/KR20110063075A/en
Application granted granted Critical
Publication of KR101576567B1 publication Critical patent/KR101576567B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

PURPOSE: A gesture input device and gesture recognizing method using the same are provided to perform the related working through the input of the gesture through pointing. CONSTITUTION: A frame(100) is worn in the head of a user. An infrared camera(120) is installed to a frame. An image processing unit processes the image through the infrared camera. An inertia sensor senses the movement of the head of the user. A communication processing unit transmits the signal of the image processing unit. An infrared pointer(200) is worn in the finger of a user.

Description

제스처 입력 장치 및 이를 이용한 제스처 인식 방법 및 장치{gesture input apparatus and gesture recognition method and apparatus using the same}Gesture input device and gesture recognition method and apparatus using same

본 발명은 제스처 입력 장치 및 이를 이용한 제스처 인식 방법 및 시스템에 관한 것이며, 더 상세하게는 영상을 이용한 포인팅 기술 및 머리 움직임에 따른 좌표 보정 기술을 이용한 제스처 입력 장치 및 이를 이용한 제스처 인식 방법 및 시스템에 관한 것이다. The present invention relates to a gesture input device and a method and system for recognizing a gesture using the same, and more particularly, to a gesture input device using a pointing technique using an image and a coordinate correction technique according to a head movement, and a method and a system for detecting a gesture using the same. will be.

본 발명은 지식경제부 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-039-01, 과제명: 인간-로봇 상호작용 매개 기술 개발].The present invention is derived from a study conducted as part of the IT source technology development project of the Ministry of Knowledge Economy [Task Management Number: 2008-F-039-01, Task name: Development of human-robot interaction mediated technology].

컴퓨터 작업 환경에서 사용되는 대표적인 입력장치인 마우스는 2차원 평면 상에서의 움직임을 이용하여 화면의 커서를 제어하는데, 최근 들어 2차원 평면을 벗어나 공간 즉, 3차원 상에서의 움직임을 포착하여 이를 제어하려는 시도가 늘어나고 있다. The mouse, which is a typical input device used in a computer working environment, controls the cursor on the screen by using movement on a two-dimensional plane. Recently, an attempt to capture and control a motion in space, that is, three-dimensional space, out of the two-dimensional plane is performed. Is growing.

이러한 기술 중 대표적인 것으로는 관성센서(가속도센서, 자이로센서)를 이용한 방법과 초음파 및 카메라를 이용한 방법 등이 있다. 관성센서를 이용한 경우 에는 관성센서의 센서 값을 계산하여 자신의 현재 위치를 파악하게 되는데, 센서 값 오류로 인해, 시간이 지남에 따라 오차가 커지게 되어, 일정 시간 마다 이런 오차를 계속 보정해 주어야 한다. 초음파를 이용한 경우는 고정된 위치에 초음파 수신기들을 설치하고, 초음파 송신기에서 송신된 초음파가 초음파 수신기들에 도착하는 시간차를 이용하여, 송신기의 위치를 측정하게 되는데, 초음파 수신기의 수신 범위를 벗어나게 되면, 위치를 파악할 수 없는 단점이 있다. 카메라를 이용한 경우는, 고정된 위치에 카메라를 설치하고, 피사체의 특징(컬러 또는 광)부분을 추적하게 되는데, 카메라의 시야각 범위를 벗어나거나 피사체와의 거리가 멀어질수록 추적성능이 떨어지게 된다.Representative of these technologies is the method using an inertial sensor (acceleration sensor, gyro sensor) and the method using an ultrasonic wave and a camera. In the case of using the inertial sensor, it calculates the sensor value of the inertial sensor and finds its current position.Because of the sensor value error, the error increases as time goes by, and the error must be corrected at regular intervals. do. In the case of using the ultrasonic waves, the ultrasonic receivers are installed at a fixed position, and the position of the transmitter is measured by using the time difference when the ultrasonic waves transmitted from the ultrasonic transmitter arrive at the ultrasonic receivers. There is a drawback to not being able to determine the location. In the case of using a camera, the camera is installed at a fixed position and the feature (color or light) of the subject is tracked. The tracking performance decreases as the camera is out of the viewing angle range or the distance from the subject is farther away.

IPTV나 모바일 환경에서의 입력 장치는 2차원 형태의 마우스를 벗어나 3차원 포인팅 장치로 발전해나갈 전망이다. 이를 위해 기존 3차원 포인팅 장치에서의 한계를 극복하고, 좀 더 사용자 친화적인 새로운 장치에 대한 필요성이 늘어나고 있다. Input devices in IPTV and mobile environments are expected to evolve into two-dimensional pointing devices beyond two-dimensional mice. To this end, the need to overcome the limitations of the existing three-dimensional pointing device and a new device more user-friendly is increasing.

본 발명은 상기와 같은 과제를 해결하기 위해 안출한 것으로서, 사용자가 편리하게 이용할 수 있는 제스처 입력 장치와 방법을 제공하고자 한다. 본 발명은 또한, 공간상의 사용자의 움직임을 입력받아 이를 통해 시스템을 제어할 수 있는 제스처 입력 장치와 방법을 제공하고자 하는 것이다. The present invention has been made to solve the above problems, to provide a gesture input device and method that can be conveniently used by the user. Another object of the present invention is to provide a gesture input device and method capable of receiving a user's movement in space and controlling the system through the input.

본 발명의 목적을 달성하기 위한 제스처 입력 장치는, 사용자의 머리에 착용할 수 있는 틀과, 상기 틀에 장착된 적외선 카메라와, 상기 적외선 카메라를 통해 획득된 영상을 처리하는 영상처리부와, 상기 사용자의 머리의 움직임을 감지하는 관성센서와, 상기 영상 처리부와 상기 관성센서의 신호를 무선으로 전송하는 통신처리부와, 사용자의 손가락에 착용할 수 있는 적외선 포인터를 포함하여 구성된다. A gesture input device for achieving the object of the present invention, a frame that can be worn on the user's head, an infrared camera mounted on the frame, an image processing unit for processing an image obtained through the infrared camera, and the user It comprises an inertial sensor for detecting the movement of the head, a communication processor for wirelessly transmitting the signal of the image processing unit and the inertial sensor, and an infrared pointer that can be worn on the user's finger.

여기에서, 상기 틀은 안경 형태로 형성되어 있고, 상기 적외선 카메라는 상기 안경 형태의 틀의 양미간의 위치에 장착되어 있는 것이 바람직하다. 또한, 상기 영상처리부와 상기 관성센서 및 상기 통신처리부는 하나의 보드 상에 형성되어 있으며, 상기 보드는 상기 틀에 장착되어 있는 것이 바람직하다. Here, the frame is formed in the form of glasses, the infrared camera is preferably mounted at the position between the two sides of the frame of the glasses form. In addition, the image processing unit, the inertial sensor and the communication processing unit is formed on one board, the board is preferably mounted on the frame.

본 발명의 과제는 상술한 바와 같은 제스처 입력 장치를 이용하여 제스처를 인식하는 방법에 의해서도 달성할 수 있으며, 본 발명의 제스처 인식 방법은, 상기 적외선 포인터의 위치를 획득하는 단계와, 상기 관성센서를 이용하여 상기 사용자 의 머리 움직임 변위를 획득하여 머리의 기울기를 구하는 단계와, 상기 머리 움직임 변위와 상기 머리 기울기를 바탕으로 상기 적외선 포인터의 위치를 보정하는 단계를 포함하여 이루어진다. The object of the present invention can also be achieved by a method for recognizing a gesture using the gesture input device as described above, the gesture recognition method of the present invention, the step of obtaining the position of the infrared pointer, the inertial sensor Obtaining a head tilt by acquiring the head movement displacement of the user using the head movement, and correcting the position of the infrared pointer based on the head movement displacement and the head tilt.

여기에서, 상기 보정하는 단계에서는, 상기 머리 기울기가 미리 정한 기준 기울기 이하인 경우에만 상기 적외선 포인터의 위치를 보정하는 것이 바람직하다. Here, in the correcting step, it is preferable to correct the position of the infrared pointer only when the head tilt is less than or equal to a predetermined reference tilt.

본 발명의 과제는 또한 상술한 바와 같은 제스처 입력 장치로부터 입력받은 신호를 이용하여 제스처를 인식하는 장치에 의하여도 달성할 수 있으며, 본 발명의 제스처 인식 장치는, 상기 제스처 입력 장치로부터 무선으로 신호를 수신하는 통신모듈과, 상기 제스처 입력 장치로부터 수신한 신호를 이용하여 상기 적외선 포인터의 위치를 획득하고 보정하는 적외선 포인터 위치계산모듈과, 상기 적외선 포인터 위치계산모듈에서 계산된 적외선 포인터 위치를 이용하여 제스처를 인식하는 제스처 인식 모듈을 포함하여 이루어진다. The object of the present invention can also be achieved by a device for recognizing a gesture using a signal input from the gesture input device as described above, the gesture recognition device of the present invention, wirelessly receive a signal from the gesture input device A gesture using a received communication module, an infrared pointer position calculating module for obtaining and correcting the position of the infrared pointer using a signal received from the gesture input device, and an infrared pointer position calculated by the infrared pointer position calculating module It comprises a gesture recognition module for recognizing.

여기에서, 상기 적외선 포인터 위치계산모듈은, 상기 통신모듈로부터 상기 적외선 포인터의 위치와 상기 사용자의 머리 움직임 변위를 획득하고, 상기 사용자의 머리 움직임 변위를 이용하여 머리의 기울기를 구하고, 상기 머리 움직임 변위와 상기 머리 기울기를 바탕으로 상기 적외선 포인터의 위치를 보정할 수 있다. Here, the infrared pointer position calculation module obtains the position of the infrared pointer and the head movement displacement of the user from the communication module, obtains the inclination of the head using the head movement displacement of the user, and the head movement displacement. And correct the position of the infrared pointer based on the head tilt.

상기 제스처 인식 모듈은, 템플릿 기반 제스처 인식 알고리즘을 이용하여 제스처를 인식하는 바, 상기 적외선 포인터 위치계산모듈로부터 보정된 적외선 점들의 좌표를 입력받아, 미리 정한 일정한 수의 적외선 점들로 재샘플링하고, 재샘플링한 상기 적외선 점들을 미리 정한 기준점과 기준 크기에 맞도록 각각 회전 및 크기 조절을 수행하고, 회전 및 크기 조절된 상기 적외선 점들 사이의 유클리디안 거리의 합을 계산하여, 상기 유클리디안 거리의 합 중 가장 작은 값을 가지는 템플릿의 태그를 인식결과로 선택할 수 있다. The gesture recognition module recognizes a gesture using a template-based gesture recognition algorithm. The gesture recognition module receives the coordinates of the corrected infrared points from the infrared pointer location calculation module, resamples the predetermined number of infrared points, and resamples them. The sampled infrared points are rotated and scaled to fit a predetermined reference point and reference size, respectively, and a sum of Euclidean distances between the rotated and scaled infrared points is calculated to determine the Euclidean distance. The tag of the template having the smallest value among the sum can be selected as the recognition result.

상기한 바와 같이 본 발명은 사용자의 머리에 착용할 수 있는 안경 형태의 제스처 입력장치를 통해, 기존에 카메라 기반 포인팅 장치에서의 문제점들, 즉 카메라의 시야각 범위를 벗어나거나 원거리일 경우 포인팅 대상 피사체를 검출할 수 없는 문제점들을 해결하여 어느 위치에서나 포인팅을 통해 제스처를 입력하여 관련 작업을 수행할 수 있다. 따라서, 제어 시스템과의 거리나 방향에 상관없이 편리하고 직관적인 제스처 입력을 통해 인간과 기계와의 원활한 상호작용을 실현할 수 있게 된다.As described above, according to the present invention, through a glasses-type gesture input device that can be worn on the user's head, the present invention may be directed to a target subject when the camera-based pointing device is out of the range of the viewing angle of the camera or is far away. By solving undetectable problems, a user can input a gesture through a pointing at any position to perform a related task. Therefore, it is possible to realize a smooth interaction between a human and a machine through convenient and intuitive gesture input regardless of distance or direction to the control system.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms, and only the present embodiments are intended to complete the disclosure of the present invention, and the general knowledge in the art to which the present invention pertains. It is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined only by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and / or “comprising” refers to the presence of one or more other components, steps, operations and / or elements. Or does not exclude additions.

이하에서 첨부한 도면을 참고로 하여 본 발명의 바람직한 실시예를 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 제스처 입력장치의 전체 구성을 나타내는 도면이고, 도 2와 도 3은 각각 본 발명의 실시예에 따른 제스처 입력장치의 적외선 카메라 제어부와 적외선 포인터의 구성을 상세히 도시한 것이다. 1 is a view showing the overall configuration of the gesture input device according to an embodiment of the present invention, Figures 2 and 3 are shown in detail the configuration of the infrared camera control unit and the infrared pointer of the gesture input device according to an embodiment of the present invention, respectively. It is.

도 1에 나타난 바와 같이, 본 발명의 실시예에 따른 제스처 입력장치는 적외선 카메라(120)를 장착한 안경(100)과 손가락에 끼울 수 있는 적외선 포인터(200)로 구성되어 있다. As shown in FIG. 1, a gesture input device according to an exemplary embodiment of the present invention is configured with glasses 100 mounted with an infrared camera 120 and an infrared pointer 200 that can be fitted to a finger.

안경테(110) 부분은 일반적으로 사용되는 안경테와 동일한 형태를 갖고 있다. 안경테(110)의 양미간 부분에 적외선 카메라(120)가 장착되어 있으며, 안경 다리 부분에는 적외선 카메라(120)를 제어하기 위한 제어부(130)가 설치되어 있다. The spectacle frame 110 has the same shape as the spectacle frame generally used. An infrared camera 120 is mounted on both ends of the spectacle frame 110, and a controller 130 for controlling the infrared camera 120 is installed on the spectacles leg portion.

도 1에 나타난 본 발명의 실시예에서는 일반적으로 사용되는 안경테와 동일한 형태의 안경테(110)를 사용하였지만, 이미 안경을 착용한 사용자를 위하여 이를 안경 위에 겹쳐쓸 수 있는 안경과 같은 형태로 구현하거나, 이미 착용 중인 안경에 탈착식으로 사용하도록 구현할 수도 있다. In the embodiment of the present invention shown in Figure 1, but used in the same type of eyeglass frame 110 generally used, but for the user who has already worn glasses to implement it in the form of glasses or the like can be overlaid on the glasses, It can also be implemented for removable use of eyeglasses already worn.

적외선 카메라 제어부(130)는, 도 2에 나타난 바와 같이, 적외선 카메라의 영상에서 적외선 포인터 점을 처리하기 위한 영상처리부(131)와 머리의 움직임을 파악하기 위한 관성센서(133), 신호를 무선으로 전송하기 위한 통신처리부(135)와 배터리(137)로 구성되어 있다. As shown in FIG. 2, the infrared camera controller 130 wirelessly transmits a signal to an image processor 131 for processing an infrared pointer point in an image of an infrared camera, an inertial sensor 133 for detecting a head movement, and a signal. It consists of a communication processor 135 and a battery 137 for transmission.

적외선 포인터(200)는 손가락에 끼운 채로 사용할 수 있는 형태로 구성되어 있는데, 다수의 적외선 LED(213)를 포함하는 포인터부(210)와 고리(220)로 이루어져 있다. 사용자가 적외선 포인터(200)를 손가락에 착용할 때에는 적외선 포인터(210)가 안경 쪽을 향하도록 한다. 도 1과 도 3에 도시한 본 발명의 실시예에서는 적외선 포인터(200)가 손가락에 끼워서 사용할 수 있는 고리의 형태로 구현된 것을 나타내었으나 적외선 포인터(200)가 반드시 고리(200)의 형태를 가질 필요는 없으며 다른 형태로 사용자의 손에 착용할 수 있거나 사용자가 손에 들고 있는 상태로 이용할 수 있는 것도 가능하다.The infrared pointer 200 is configured in such a way that it can be used while being inserted into a finger. The infrared pointer 200 includes a pointer portion 210 and a ring 220 including a plurality of infrared LEDs 213. When the user wears the infrared pointer 200 on his / her finger, the infrared pointer 210 faces the glasses. 1 and 3 illustrate that the infrared pointer 200 is implemented in the form of a ring that can be used by being inserted into a finger, but the infrared pointer 200 may have the form of the ring 200. It is not necessary and may be worn on the user's hand in other forms or may be used while the user is holding it in the hand.

도 4는 본 발명의 실시예에 따른 제스처 입력장치의 사용상태를 나타내는 도면이다. 4 is a view showing a state of use of the gesture input device according to an embodiment of the present invention.

도 4에 나타난 바와 같이, 사용자가 적외선 카메라가 장착된 안경(100)을 착용하고 손가락에 적외선 포인터(200)를 끼우면, 사용자의 손짓에 따라 적외선 포인터(200)에서 방출되는 적외선 점을 적외선 카메라(120)에서 검출하여 사용자의 손의 위치를 추적할 수 있게 된다. As shown in FIG. 4, when a user wears glasses 100 equipped with an infrared camera and inserts the infrared pointer 200 into a finger, the infrared camera emits the infrared dots emitted from the infrared pointer 200 according to the user's hand gestures. In operation 120, the position of the user's hand can be tracked.

도 4는 또한 사용자가 제스처 입력 장치를 착용한 상태에서 적외선 카메라(120)와 적외선 포인터(200)간의 거리 및 상하좌우 이동 가능한 각도를 보여주고 있다. 기존에 PC나 TV에 카메라를 고정하고, 다른 피사체의 특징(컬러 또는 광)을 추적할 경우에는, 피사체가 카메라의 시야각을 벗어나거나 원거리에 있을 경우, 피 사체를 추적할 수 없게 된다. 그러나, 본 발명의 실시예에 따른 제스처 입력장치를 착용한 모습을 보면, 적외선 포인터(200)와 적외선 카메라(120)간의 거리가 1m 이내이고, 상하각 30도, 좌우각 40도 정도 되는 것을 알 수 있는데, 이 정도의 거리나 방향은 일반적인 카메라에서 충분한 수용할 정도의 수치이다. 따라서, 기존의 카메라 기반 포인팅 장치에서 발생할 수 있는 거리 및 시야각 문제는 본 발명의 제스처 입력장치에서는 발생하지 않는다. FIG. 4 also shows the distance between the infrared camera 120 and the infrared pointer 200 and the up, down, left, and right angles when the user wears the gesture input device. If you fix the camera on a PC or TV and track the characteristics (color or light) of another subject, you will not be able to track the subject if the subject is outside the camera's field of view or at a distance. However, when wearing the gesture input device according to an embodiment of the present invention, it can be seen that the distance between the infrared pointer 200 and the infrared camera 120 is less than 1 m, and the upper and lower angles are 30 degrees and 40 degrees left and right. This distance or direction is sufficient to accommodate a typical camera. Therefore, the distance and viewing angle problems that may occur in the conventional camera-based pointing device do not occur in the gesture input device of the present invention.

본 발명의 실시예에 따른 제스처 입력 장치에서는 적외선 카메라가 사용자의 머리에 장착되므로, 머리의 움직임에 따라 포인팅 좌표가 변화될 수 있다. 이를 보정하기 위하여, 머리의 움직임 정도를 관성센서를 이용하여 측정하여, 머리 움직임의 변위를 적외선 카메라에서 검출되는 적외선 점의 좌표에 반영하여 보정함으로써, 머리 움직임에 불변한 좌표를 얻을 수 있게 된다. 이를 위하여 제어부(130)에 관성센서(133)를 두어 머리의 움직임을 측정한다. In the gesture input device according to the embodiment of the present invention, since the infrared camera is mounted on the user's head, the pointing coordinates may change according to the movement of the head. In order to correct this, the degree of movement of the head is measured by using an inertial sensor, and the displacement of the head movement is corrected by reflecting the coordinates of the infrared point detected by the infrared camera, thereby obtaining an invariant coordinate in the head movement. To this end, the inertial sensor 133 is placed on the controller 130 to measure the movement of the head.

다만, 머리 움직임 정도가 허용 기준 값 이하(예를 들면, 상하좌우 10도)인 경우에 이러한 보정이 의미를 가지게 되므로, 머리의 움직임이 허용 기준 값 이상이면, 보정을 하지 않고 포인팅 작업 자체를 중단하는 것이 바람직하다.However, this correction is meaningful when the degree of movement of the head is less than or equal to the allowable reference value (for example, 10 degrees up, down, left, right, and so on). It is desirable to.

도 5는 본 발명의 실시예에 따른 제스처 입력장치를 이용해 제스처를 인식하는 시스템의 구성을 나타내는 도면이다. 5 is a diagram illustrating a configuration of a system for recognizing a gesture using a gesture input device according to an exemplary embodiment of the present invention.

도 5에 나타난 바와 같이, 제스처 인식하여 이를 통해 제어되는 시스템(500)은 제스처 입력 장치(100)와의 통신을 위한 통신모듈(510)과 통신모듈(510)을 통해 획득한 정보를 이용하여 적외선 포인터의 위치를 계산하는 IR 포인터 위치계산모 듈(520), 계산된 IR 포인터의 위치를 이용하여 제스처를 인식하는 제스처 인식모듈(530) 및 인식된 제스처를 통해 시스템을 제어하는 시스템 제어모듈(540)을 포함하여 구성된다. As shown in FIG. 5, the system 500 that recognizes and controls the gesture may use an infrared pointer using information obtained through the communication module 510 and the communication module 510 for communication with the gesture input device 100. IR pointer position calculation module 520 for calculating the position of the gesture, a gesture recognition module 530 for recognizing a gesture using the calculated position of the IR pointer and a system control module 540 for controlling the system through the recognized gesture. It is configured to include.

제스처 입력장치(100)에서 적외선 카메라(120)를 이용하여 적외선 포인터(210)에서 발광되는 적외선을 검출하여 영상처리부(131)에 의해 그 좌표를 획득하고, 관성 센서(133)를 통해 머리 움직임 변위를 측정하면, 이와 같이 얻어진 적외선 포인터의 좌표와 머리 움직임 변위가 통신처리부(135)를 통해 제스처 인식 시스템(500)으로 전달된다. The gesture input device 100 detects the infrared light emitted from the infrared pointer 210 using the infrared camera 120, obtains its coordinates by the image processor 131, and displaces the head movement through the inertial sensor 133. When measuring, the coordinates and head movement displacement of the infrared pointer thus obtained are transmitted to the gesture recognition system 500 through the communication processor 135.

제스처 인식 시스템(500)의 통신모듈(510)은 이와 같은 정보를 수신하여 IR포인터 위치계산모듈(520)로 전달한다. IR 포인터 위치계산모듈(520)은 통신모듈(510)로부터 적외선 포인터의 위치를 획득하고(522), 통신모듈(510)로부터 수신한 머리 움직임 변위를 통해 머리 기울기를 구하고(524), 머리 움직임 변위와 기울기에 따라 적외선 포인터의 좌표를 보정한다(526).The communication module 510 of the gesture recognition system 500 receives such information and transmits the information to the IR pointer position calculation module 520. The IR pointer position calculation module 520 obtains the position of the infrared pointer from the communication module 510 (522), obtains the head tilt through the head movement displacement received from the communication module 510 (524), and the head movement displacement. In operation 526, the coordinates of the infrared pointer are corrected according to the gradient.

여기에서, 머리 기울기가 기준 기울기(예를 들면 10도) 이상으로 변하면, 포인팅 작업을 멈추는 것은 앞서 설명한 바와 같다. 즉, 머리 기울기가 기준 기울기 이하로 변화는 경우에만 IR 포인터의 위치를 계산한다. Here, when the head inclination changes above the reference inclination (for example, 10 degrees), stopping the pointing operation is as described above. That is, calculate the position of the IR pointer only if the head tilt changes below the reference slope.

이와 같이 IR 포인터 좌표계산모듈(520)에 의해 보정된 좌표점들을 이용하여 제스처 인식모듈(530)을 통해 제스처를 인식하고, 이에 따라 시스템 제어모듈(540)을 통해 시스템(500)을 제어하게 된다.As such, the gesture is recognized by the gesture recognition module 530 using the coordinate points corrected by the IR pointer coordinate calculation module 520, and thus the system 500 is controlled by the system control module 540. .

도 6은 본 발명의 실시예에 따른 제스처 인식 방법을 나타내는 흐름도이다. 본 발명의 실시예에 따르면 템플릿 기반 제스처 인식 알고리즘을 사용하는데, 좌표가 보정된 적외선 점들의 궤적을 입력으로 하고(S610), 서로 다른 개수의 점들로 이루어진 궤적을 표준화하기 위해, 일정한 수(예를 들면, 64개)의 점들로 재샘플링한다(S620). 다음, 이와 같이 재샘플링한 점들을 기준점에 맞추도록 회전시키고(S630), 기준 크기에 맞도록 크기를 조절한다(S640). 다음, 기존에 등록된 템플릿들과 비교하기 위해 각 점들간의 유클리디안 거리의 합(S650)을 계산하여, 그 중 가장 작은 값을 가지는 템플릿의 태그를 인식결과로 선택한다(S660).6 is a flowchart illustrating a gesture recognition method according to an embodiment of the present invention. According to an exemplary embodiment of the present invention, a template-based gesture recognition algorithm is used, in which a trajectory of coordinates whose coordinates are corrected is input as an input (S610), and in order to standardize a trajectory composed of different numbers of points, a predetermined number (for example, For example, 64 points are resampled (S620). Next, the resampled points are rotated to fit the reference point (S630), and the size is adjusted to fit the reference size (S640). Next, the sum of the Euclidean distances between the points (S650) is calculated in order to compare with the previously registered templates, and the tag of the template having the smallest value is selected as the recognition result (S660).

이상에서 바람직한 실시예를 기준으로 본 발명을 설명하였지만, 본 발명의 제스처 인식 장치 및 방법은 반드시 상술된 실시예에 제한되는 것은 아니며 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 첨부된 특허청구의 범위는 본 발명의 요지에 속하는 한 이러한 수정이나 변형을 포함할 것이다. Although the present invention has been described above with reference to preferred embodiments, the gesture recognition apparatus and method of the present invention are not necessarily limited to the above-described embodiments, and various modifications and variations can be made without departing from the spirit and scope of the invention. Do. The appended claims will cover such modifications and variations as long as they fall within the spirit of the invention.

도 1은 본 발명의 실시예에 따른 제스처 입력장치의 전체 구성을 나타내는 도면,1 is a view showing the overall configuration of a gesture input device according to an embodiment of the present invention,

도 2는 본 발명의 실시예에 따른 제스처 입력장치의 적외선 카메라 제어부의 구성도,2 is a block diagram of an infrared camera controller of a gesture input device according to an embodiment of the present invention;

도 3은 본 발명의 실시예에 따른 제스처 입력장치의 적외선 포인터의 구성도,3 is a block diagram of an infrared pointer of a gesture input device according to an embodiment of the present invention;

도 4는 본 발명의 실시예에 따른 제스처 입력장치의 사용상태를 나타내는 도면,4 is a view showing a state of use of the gesture input device according to an embodiment of the present invention;

도 5는 본 발명의 실시예에 따른 제스처 입력장치를 이용해 제스처를 인식하는 시스템의 구성도,5 is a block diagram of a system for recognizing a gesture using a gesture input device according to an embodiment of the present invention;

도 6은 본 발명의 실시예에 따른 제스처 인식 방법을 나타내는 흐름도이다. 6 is a flowchart illustrating a gesture recognition method according to an embodiment of the present invention.

Claims (10)

사용자의 머리에 착용할 수 있는 틀과,Wearable frame on the user's head, 상기 틀에 장착된 적외선 카메라와,An infrared camera mounted on the frame, 상기 적외선 카메라를 통해 획득된 영상을 처리하는 영상처리부와,An image processor which processes an image acquired through the infrared camera; 상기 사용자의 머리의 움직임을 감지하는 관성센서와, And an inertial sensor for detecting the movement of the user's head, 상기 영상 처리부와 상기 관성센서의 신호를 무선으로 전송하는 통신처리부와,A communication processor for wirelessly transmitting a signal between the image processor and the inertial sensor; 사용자의 손가락에 착용할 수 있는 적외선 포인터를 포함하는 제스처 입력 장치.A gesture input device comprising an infrared pointer wearable on a user's finger. 제1항에 있어서, The method of claim 1, 상기 틀은 안경 형태로 형성되어 있는 제스처 입력 장치.The frame is a gesture input device is formed in the form of glasses. 제2항에 있어서, The method of claim 2, 상기 적외선 카메라는 상기 안경 형태의 틀의 양미간의 위치에 장착되어 있는 제스처 입력 장치.The infrared camera is a gesture input device that is mounted at the position between the two sides of the frame of the glasses form. 제1항에 있어서, The method of claim 1, 상기 영상처리부와 상기 관성센서 및 상기 통신처리부는 하나의 보드 상에 형성되어 있으며,The image processing unit, the inertial sensor and the communication processing unit are formed on one board, 상기 보드는 상기 틀에 장착되어 있는 제스처 입력 장치.And the board is mounted to the frame. 제1항 내지 제4항 중 어느 한 항의 제스처 입력 장치를 이용하여 제스처를 인식하는 방법에 있어서,In the method for recognizing a gesture using the gesture input device of any one of claims 1 to 4, 상기 적외선 포인터의 위치를 획득하는 단계와,Obtaining a location of the infrared pointer; 상기 관성센서를 이용하여 상기 사용자의 머리 움직임 변위를 획득하여 머리의 기울기를 구하는 단계와,Obtaining an inclination of the head by acquiring the head movement displacement of the user using the inertial sensor; 상기 머리 움직임 변위와 상기 머리 기울기를 바탕으로 상기 적외선 포인터의 위치를 보정하는 단계를 포함하는 제스처 인식 방법.And correcting a position of the infrared pointer based on the head movement displacement and the head tilt. 제5항에 있어서, 상기 보정하는 단계에서는,The method of claim 5, wherein in the correcting step, 상기 머리 기울기가 미리 정한 기준 기울기 이하인 경우에만 상기 적외선 포인터의 위치를 보정하는 제스처 인식 방법.And correcting the position of the infrared pointer only when the head tilt is less than or equal to a predetermined reference tilt. 제1항 내지 제4항 중 어느 한 항의 제스처 입력 장치로부터 입력받은 신호를 이용하여 제스처를 인식하는 장치에 있어서,An apparatus for recognizing a gesture by using a signal received from the gesture input apparatus of claim 1, 상기 제스처 입력 장치로부터 무선으로 신호를 수신하는 통신모듈과,A communication module for wirelessly receiving a signal from the gesture input device; 상기 제스처 입력 장치로부터 수신한 신호를 이용하여 상기 적외선 포인터의 위치를 획득하고 보정하는 적외선 포인터 위치계산모듈과, An infrared pointer position calculation module for acquiring and correcting the position of the infrared pointer using a signal received from the gesture input device; 상기 적외선 포인터 위치계산모듈에서 계산된 적외선 포인터 위치를 이용하여 제스처를 인식하는 제스처 인식 모듈을 포함하는 제스처 인식 장치.And a gesture recognition module for recognizing a gesture by using the infrared pointer position calculated by the infrared pointer position calculating module. 제7항에 있어서, 상기 적외선 포인터 위치계산모듈은,The method of claim 7, wherein the infrared pointer position calculation module, 상기 통신모듈로부터 상기 적외선 포인터의 위치와 상기 사용자의 머리 움직임 변위를 획득하고,Obtaining the position of the infrared pointer and the displacement of the head movement of the user from the communication module, 상기 사용자의 머리 움직임 변위를 이용하여 머리의 기울기를 구하고,Obtain the head tilt using the user's head movement displacement, 상기 머리 움직임 변위와 상기 머리 기울기를 바탕으로 상기 적외선 포인터의 위치를 보정하는 제스처 인식 장치.And a gesture recognition device for correcting the position of the infrared pointer based on the head movement displacement and the head tilt. 제7항에 있어서, 상기 제스처 인식 모듈은, The method of claim 7, wherein the gesture recognition module, 템플릿 기반 제스처 인식 알고리즘을 이용하여 제스처를 인식하는 제스처 인식 장치.A gesture recognition apparatus for recognizing a gesture using a template-based gesture recognition algorithm. 제9항에 있어서, 상기 제스처 인식 모듈은, The method of claim 9, wherein the gesture recognition module, 상기 적외선 포인터 위치계산모듈로부터 보정된 적외선 점들의 좌표를 입력받아, 미리 정한 일정한 수의 적외선 점들로 재샘플링하고, 재샘플링한 상기 적외선 점들을 미리 정한 기준점과 기준 크기에 맞도록 각각 회전 및 크기 조절을 수행하고, 회전 및 크기 조절된 상기 적외선 점들 사이의 유클리디안 거리의 합을 계산하여, 상기 유클리디안 거리의 합 중 가장 작은 값을 가지는 템플릿의 태그를 인식 결과로 선택하는 제스처 인식 장치.Receives coordinates of the corrected infrared points from the infrared pointer position calculation module, resamples the predetermined number of infrared points, and rotates and adjusts the resampled infrared points to match a predetermined reference point and reference size, respectively. And calculating a sum of Euclidean distances between the rotated and scaled infrared points, and selecting a tag of a template having the smallest value among the sums of Euclidean distances as a recognition result.
KR1020090120014A 2009-12-04 2009-12-04 gesture input apparatus and gesture recognition method and apparatus using the same KR101576567B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090120014A KR101576567B1 (en) 2009-12-04 2009-12-04 gesture input apparatus and gesture recognition method and apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090120014A KR101576567B1 (en) 2009-12-04 2009-12-04 gesture input apparatus and gesture recognition method and apparatus using the same

Publications (2)

Publication Number Publication Date
KR20110063075A true KR20110063075A (en) 2011-06-10
KR101576567B1 KR101576567B1 (en) 2015-12-10

Family

ID=44397133

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090120014A KR101576567B1 (en) 2009-12-04 2009-12-04 gesture input apparatus and gesture recognition method and apparatus using the same

Country Status (1)

Country Link
KR (1) KR101576567B1 (en)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013049248A3 (en) * 2011-09-26 2013-07-04 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
KR101366173B1 (en) * 2012-10-02 2014-02-24 김기욱 A phoning finger mouse interlocked with smart glasses
US8814691B2 (en) 2010-02-28 2014-08-26 Microsoft Corporation System and method for social networking gaming with an augmented reality
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
KR101499808B1 (en) * 2014-01-28 2015-03-09 김기욱 Smart pen for smart glasses
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
WO2018105955A3 (en) * 2016-12-08 2018-08-02 삼성전자주식회사 Method for displaying object and electronic device thereof
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US10285039B2 (en) 2013-06-17 2019-05-07 Samsung Electronics Co., Ltd. Wearable device and communication method using the wearable device
US10539787B2 (en) 2010-02-28 2020-01-21 Microsoft Technology Licensing, Llc Head-worn adaptive display
US10860100B2 (en) 2010-02-28 2020-12-08 Microsoft Technology Licensing, Llc AR glasses with predictive control of external device based on event input
US11727486B2 (en) 2013-02-22 2023-08-15 Cfph, Llc Systems and methods of detecting manipulations on a binary options exchange

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10990168B2 (en) 2018-12-10 2021-04-27 Samsung Electronics Co., Ltd. Compensating for a movement of a sensor attached to a body of a user

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003005037A (en) 2001-06-21 2003-01-08 Minolta Co Ltd Objective lens for optical pickup

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US10268888B2 (en) 2010-02-28 2019-04-23 Microsoft Technology Licensing, Llc Method and apparatus for biometric data capture
US10860100B2 (en) 2010-02-28 2020-12-08 Microsoft Technology Licensing, Llc AR glasses with predictive control of external device based on event input
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US9329689B2 (en) 2010-02-28 2016-05-03 Microsoft Technology Licensing, Llc Method and apparatus for biometric data capture
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US10539787B2 (en) 2010-02-28 2020-01-21 Microsoft Technology Licensing, Llc Head-worn adaptive display
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8814691B2 (en) 2010-02-28 2014-08-26 Microsoft Corporation System and method for social networking gaming with an augmented reality
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9875406B2 (en) 2010-02-28 2018-01-23 Microsoft Technology Licensing, Llc Adjustable extension for temple arm
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
WO2013049248A3 (en) * 2011-09-26 2013-07-04 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
KR101366173B1 (en) * 2012-10-02 2014-02-24 김기욱 A phoning finger mouse interlocked with smart glasses
US11727486B2 (en) 2013-02-22 2023-08-15 Cfph, Llc Systems and methods of detecting manipulations on a binary options exchange
US10285039B2 (en) 2013-06-17 2019-05-07 Samsung Electronics Co., Ltd. Wearable device and communication method using the wearable device
US10652724B2 (en) 2013-06-17 2020-05-12 Samsung Electronics Co., Ltd. Wearable device and communication method using the wearable device
KR101499808B1 (en) * 2014-01-28 2015-03-09 김기욱 Smart pen for smart glasses
WO2018105955A3 (en) * 2016-12-08 2018-08-02 삼성전자주식회사 Method for displaying object and electronic device thereof
US10860117B2 (en) 2016-12-08 2020-12-08 Samsung Electronics Co., Ltd Method for displaying object and electronic device thereof

Also Published As

Publication number Publication date
KR101576567B1 (en) 2015-12-10

Similar Documents

Publication Publication Date Title
KR20110063075A (en) Gesture input apparatus and gesture recognition method and apparatus using the same
US20210208180A1 (en) Correction of accumulated errors in inertial measurement units attached to a user
KR101284797B1 (en) Apparatus for user interface based on wearable computing environment and method thereof
US10444908B2 (en) Virtual touchpads for wearable and portable devices
US10521011B2 (en) Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US20100103104A1 (en) Apparatus for user interface based on wearable computing environment and method thereof
US10802606B2 (en) Method and device for aligning coordinate of controller or headset with coordinate of binocular system
KR102147430B1 (en) virtual multi-touch interaction apparatus and method
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
US20150262002A1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
US20180232106A1 (en) Virtual input systems and related methods
US10296096B2 (en) Operation recognition device and operation recognition method
EP3188075B1 (en) Apparatus and method for recognizing hand gestures in a virtual reality headset
EP3413165A1 (en) Wearable system gesture control method and wearable system
JP6777391B2 (en) Computer equipment and methods for 3D interactions
KR101103058B1 (en) Computer system and method of driving the same
JP2009258884A (en) User interface
US10388027B2 (en) Detection method, display apparatus, and detection system
US11886629B2 (en) Head-mounted information processing apparatus and its controlling method
KR101596600B1 (en) Apparatus for motion recognition and correction based on user pattern and Method thereof
KR102278747B1 (en) Contactless Screen Pad for Vehicle
WO2021190421A1 (en) Virtual reality-based controller light ball tracking method on and virtual reality device
KR102191061B1 (en) Method, system and non-transitory computer-readable recording medium for supporting object control by using a 2d camera
WO2022228056A1 (en) Human-computer interaction method and device
EP2908219A1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 4