WO2015050322A1 - 안경형 디스플레이 디바이스의 동작인식 입력방법 - Google Patents

안경형 디스플레이 디바이스의 동작인식 입력방법 Download PDF

Info

Publication number
WO2015050322A1
WO2015050322A1 PCT/KR2014/007993 KR2014007993W WO2015050322A1 WO 2015050322 A1 WO2015050322 A1 WO 2015050322A1 KR 2014007993 W KR2014007993 W KR 2014007993W WO 2015050322 A1 WO2015050322 A1 WO 2015050322A1
Authority
WO
WIPO (PCT)
Prior art keywords
hand
display device
index finger
type display
spectacle
Prior art date
Application number
PCT/KR2014/007993
Other languages
English (en)
French (fr)
Inventor
이길재
Original Assignee
주식회사 매크론
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 매크론 filed Critical 주식회사 매크론
Priority to US15/027,174 priority Critical patent/US9904372B2/en
Publication of WO2015050322A1 publication Critical patent/WO2015050322A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0331—Finger worn pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • the present invention is a motion recognition command input method of the spectacle-type display device, and more specifically, it analyzes the hand movement moving in front of the glasses input from the camera mounted on the spectacle-type display device to act as a mouse input device of the computer to the spectacle-type display device
  • the present invention relates to a method for providing a convenient command input method.
  • the mobile display has evolved into a wearable display that maximizes portability beyond a smart display device in which a small computer function is added to an existing display function.
  • the glasses display Google Glass
  • Google Glass recently released by Google among wearable displays does not need to be carried like a conventional smart device because it can be worn like glasses.
  • a head mount display (HMD) is worn like a pair of glasses so that a large volume display device such as a TV is not required.
  • the eyeglass type display is in close contact with the eye and is efficient in various aspects such as portability, but a new type of input device is required because the touch screen cannot be used as an input device as in the conventional smart display.
  • An input device mainly used to date can input a command signal through a voice recognition method, as shown in Korean Patent Laid-Open No. 10-2001-0012024.
  • a voice recognition method there is a possibility of malfunction in a noisy place, and in a place where many people gather, it is possible to stimulate the hearing of others, so there is a limit to use.
  • an object of the present invention is to provide a motion recognition input method of the spectacle-type display device that can control the spectacle-type display device with the most natural and intuitive hand operation.
  • the motion recognition input method of the spectacle-type display device includes an image acquisition step of acquiring continuous images using a camera mounted on the spectacle-type display device, a hand recognition step of recognizing a user's hand from the acquired images, A hand tracking step for tracking the recognized hand, a hand gesture recognition step for recognizing the motion of the hand from the position of the hand obtained from the hand tracking step, and a control signal output for outputting a control signal corresponding to the hand motion And if the user's hand is recognized in the hand recognition step, the position of the hand is displayed on the screen of the spectacle display device.
  • the hand recognition step it is preferable to recognize a predetermined hand-shaped hand, but recognize a hand-shaped hand with an index finger.
  • the hand recognition step may include extracting the outline shape of the hand from the acquired image, recognizing whether the extracted outline shape of the hand is an index finger-shaped hand, and It is preferable to include the step of recognizing that the moving direction is changed a plurality of times in the left and right or up and down direction.
  • the hand tracking step is to track the position of the hand in a plurality of consecutive images input after the hand recognition in the hand recognition step, by using the position information of the hand in the previous image. Recognizing whether there is a hand within a certain distance, it is preferable to track the hand using the color information and hand shape information of the hand obtained in the hand recognition step.
  • the image acquired in the image acquiring step is displayed on a portion of the screen of the spectacle display device or is overlaid on the entire screen of the spectacle display device.
  • the offset value of the movement of the background excluding the hand is extracted by matching images from a plurality of consecutive images obtained in the image acquisition step And correcting the position of the hand obtained in the hand tracking step by using the extracted offset value.
  • the hand gesture recognition step it is preferable to recognize the bending and straightening motions of the index finger by analyzing the positional change of the color code having a specific color attached to the index finger.
  • the color code preferably has a ring shape that can be inserted into the index finger.
  • the color code is preferably a combination of two or more colors.
  • the hand gesture recognition step recognizes that a color code having a specific color is attached to the index finger, and if the color code is not attached, the index finger stops at a corresponding menu for a predetermined time. Is recognized as a click operation, and when the color code is attached to the index finger, it is preferable to recognize the operation of bending and extending the index finger as a click operation.
  • the hand gesture is interpreted as zoom-in when the hand trace draws a clockwise circle, and the hand trace is interpreted as zoom-out when the hand traces a counterclockwise circle.
  • the spectacle-type display device can be controlled similarly to a mouse with natural and intuitive hand gestures.
  • FIG. 1 is a view showing an example of operating a spectacle-type display device using a hand gesture.
  • FIG. 2 is a flowchart illustrating a motion recognition input method of an eyeglass type display device according to an exemplary embodiment of the present invention.
  • FIG 3 is a view showing an open hand with an index finger as an example of a predetermined hand shape.
  • FIG. 4 is a diagram illustrating a method of recognizing a hand by moving a hand from side to side.
  • FIG. 5 is a diagram showing an example in which a color code is attached to the index finger.
  • FIG. 6 is a view showing that the index finger is bent and extended to perform the click operation.
  • FIG. 7 is a diagram illustrating performing a zoom in and zoom out operation by drawing a circle with a hand.
  • FIG. 1 is a view showing an example of operating a spectacle-type display device using a hand gesture
  • Figure 2 is a flow chart of a motion recognition input method of the spectacle-type display device according to an embodiment of the present invention
  • Figure 3 is a predetermined hand shape
  • FIG. 4 is a view illustrating a method of recognizing a hand by moving a hand from side to side
  • FIG. 5 is a view showing an example in which a color code is attached to the index finger.
  • 6 is a view showing a user performs a click operation by bending an index finger and spreading it
  • FIG. 7 illustrates a zoom-out operation by drawing a circle with a hand.
  • the operation recognition input method M100 of the spectacle-type display device includes an image acquisition step S10, a hand recognition step S20, a hand tracking step S30, Hand gesture recognition step (S40), and a control signal output step (S50).
  • the spectacle display device 10 is equipped with a camera 1.
  • the hand is taken in front of the camera 1 to capture and acquire a series of images including the hand with the camera.
  • most eyeglass display devices are mainly equipped with a two-dimensional camera.
  • the motion recognition is implemented using a 3D depth camera, which is a general motion recognition method, it is easy to distinguish the front hand and the background, but there is a disadvantage in that a 3D depth camera must be additionally installed.
  • the 3D depth camera uses infrared light, it is difficult to operate outdoors on a sunny day.
  • power and size problems are also important, and thus a method using a 2D camera is more advantageous than a method using a 3D depth camera.
  • a user's hand of a predetermined type is recognized from the acquired images, and when the hand is recognized, the cursor is turned on on the screen of the spectacle display device.
  • an image segmentation method for separating the front hand and the background becomes important.
  • the camera is fixed, the hand and the background can be separated by using the difference images between successive images.
  • there is a shake so the motion of the entire image is generated. The image is not available.
  • the car image cannot be used.
  • the hand is recognized by recognizing an outline (outline) between the hand and the background.
  • the outline of the hand can be extracted through image processing to obtain the outline from the image.
  • the outer image of the hand to recognize the predetermined shape of the hand through the image analysis.
  • the shape of the hand is intuitive, since the state in which the index finger is opened obscures the front field of view as shown in FIG. 3 and is similar to that of driving a touch screen.
  • the hand and the background have similar brightness and color, there may not be an outer boundary for distinguishing the hand and the background, and thus, when the outer boundary does not exist, the hand may not be recognized.
  • the hand is shaken from side to side (or up and down) as shown in FIG.
  • the background is changed when the hand is shaken, the probability of an outer boundary between the hand and the background increases. If a hand can be recognized as many as N frames in M frames by processing an image in real time, it can be regarded as a hand.
  • it is possible to recognize the hand by counting the number of times the direction change occurs, thereby avoiding malfunction when there is an outer boundary similar to the shape of the hand in the background.
  • the hand tracking step S30 is for tracking the position of the hand in a plurality of consecutive images input after the hand is recognized in the hand recognition step S20.
  • the hand is tracked using information of the hand recognized in the hand recognition step, for example, color information of the hand, hand shape information of the shape of the hand, brightness information, and the like. In this case, by tracking an area within a certain distance from the position of the hand recognized in the previous image (frame), processing time and malfunction may be reduced.
  • the hand position (position change) of the hand obtained in the hand tracking step is analyzed to recognize the hand motion (that is, the movement).
  • control signal output step S50 a control signal corresponding to the hand gesture recognized in the hand gesture recognition step is output.
  • the image captured by the camera is displayed on a part of the screen in real time or is overlaid on the background of the screen to the user.
  • the position of the hand is relatively changed when the camera is shaken (for example, the head of the user is shaken when the user walks) so that the position of the hand (cursor position) is shaken.
  • precise pointing may be difficult.
  • an image input from a camera may be analyzed to compensate for hand position shake caused by camera shake. That is, an offset value of a motion of a background excluding a hand is extracted by matching images from a plurality of consecutive images photographed by a camera, and the position of the hand obtained in the hand tracking step is corrected by the extracted offset value.
  • the first way is to stop the hand for a while and recognize it as a click. This can easily be done by analyzing the hand position data. However, this method can be mistaken for a click if the click is not intended and does not move for a certain time.
  • the index finger bends and stretches the click gesture to deliver the click instruction only when intended.
  • the tip of the index finger In order to distinguish between an index finger bent motion and a flat motion, the tip of the index finger must be recognized. However, it is very difficult to stably recognize the end of the finger in a situation where the background changes in various forms.
  • the color code 20 has a specific color, and preferably has a ring shape so as to be easily inserted into or removed from the index finger (removable).
  • the color code has a special color (that is, an unusual color) and has a color that can be easily recognized. It can also be configured in combination.
  • the color code 20 when the color code 20 is attached to the first or second node of the index finger, the color code disappears when the finger is bent and extended. At this time, even if the color code does not disappear completely, at least the position of the color code goes down and goes up. If this is detected, the bent state and the separated state can be distinguished. That is, the click action can be distinguished. In addition, if a finger bent motion is interpreted as a drag motion, a drag motion can be implemented.
  • the third method is to combine the two click actions described above. That is, first, it is recognized whether the color code is attached to the index finger first. If the color code is not attached to the index finger, the index finger is recognized as a click action for a certain period of time. When the index finger is mounted on the index finger, the index finger can be recognized as a click operation.
  • pinch zoom can be used, but it is difficult to implement pinch zoom when a finger moves in the air.
  • the pinch zoom method recognizes the thumb as the index finger when facing apart and the index finger when zoomed in and when zoomed out.
  • the zoom-in and zoom-out operations are confusing. Therefore, another operation for zooming in and zooming out is required.
  • FIG. 7 when the user draws a circle in the clockwise direction, the user can recognize the zoom-in.
  • the function can be realized by analyzing the change in the position of the hand (hand trajectory) obtained in the hand tracking step and determining whether the cause is clockwise or counterclockwise.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 최대한 자연스럽고 직관적인 손동작으로 안경형 디스플레이 디바이스를 제어할 수 있는 안경형 디스플레이 디바이스의 동작인식 입력방법에 관한 것이다. 본 발명에 따른 안경형 디스플레이 디바이스의 동작인식 입력방법은 안경형 디스플레이 디바이스에 장착된 카메라를 이용하여 연속 영상들을 취득하는 영상 취득 단계와, 취득된 영상들로부터 사용자의 손을 인식하는 손 인식 단계와, 인식된 손을 추적하는 손 추적 단계와, 손 추적 단계에서 얻어지는 손의 위치로부터 손의 동작을 인식하는 손동작 인식 단계와, 손의 동작에 대응되는 제어신호를 출력하는 제어신호 출력단계를 포함하며, 손 인식 단계에서 사용자의 손이 인식되면, 안경형 디스플레이 디바이스의 화면에 손의 위치가 표시된다.

Description

안경형 디스플레이 디바이스의 동작인식 입력방법
본 발명은 안경형 디스플레이 장치의 동작 인식 명령입력 방법으로, 보다 구체적으로는 안경형 디스플레이 장치에 장착된 카메라로부터 입력되는 안경 전방에서 움직이는 손동작을 해석하여 컴퓨터의 마우스 입력장치와 같은 역할을 하도록 하여 안경형 디스플레이 디바이스에 편리한 명령 입력 방법을 제공하는 방법에 관한 발명이다.
최근 들어 새로운 형태의 디스플레이 디바이스들이 다양하게 출현하고 있다. 특히, 모바일 디스플레이의 경우 기존의 디스플레이 기능에 소형 컴퓨터 기능을 부가한 스마트 디스플레이 디바이스를 넘어, 휴대성을 극대화하는 웨어러블 디스플레이의 형태로 발전하고 있다.
예컨대, 웨어러블 디스플레이 중 최근 구글에서 출시한 안경형 디스플레이(구글 글라스)의 경우 안경처럼 착용하면 되기 때문에 기존의 스마트 기기처럼 들고 다닐 필요가 없다. 즉, HMD(Head mount display)의 경우 안경처럼 착용하고 보기 때문에 TV와 같은 큰 부피의 디스플레이 디바이스가 필요 없다.
한편, 안경형 디스플레이의 경우 눈과 밀착되어 휴대성 등의 여러 측면에서 효율적이지만, 기존의 스마트 디스플레이처럼 터치 스크린을 입력기로서 사용할 수 없어 새로운 형태의 입력장치가 필요하다. 현재까지 주로 이용되는 입력 장치는, 공개특허 10-2001-0012024호에 나타나 있는 바와 같이, 음성 인식 방법을 통해 명령신호를 입력할 수 있다. 하지만, 음성 인식 방법의 경우 시끄러운 곳에서 오동작의 가능성이 있고, 많은 사람이 모이는 곳에서는 타인의 청각을 자극할 수 있어 사용에 제한이 있다. 나아가, 음성 인식 방법으로 마우스의 이동이나 드래그와 같은 명령신호를 입력하기에는 어려움이 있다.
따라서, 안경형 디스플레이 디바이스에 적용할 수 있는 새로운 형태의 입력방법의 개발이 요구된다.
본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 최대한 자연스럽고 직관적인 손동작으로 안경형 디스플레이 디바이스를 제어할 수 있는 안경형 디스플레이 디바이스의 동작인식 입력방법을 제공하는 것이다.
본 발명에 따른 안경형 디스플레이 디바이스의 동작인식 입력방법은 안경형 디스플레이 디바이스에 장착된 카메라를 이용하여 연속 영상들을 취득하는 영상 취득 단계와, 상기 취득된 영상들로부터 사용자의 손을 인식하는 손 인식 단계와, 상기 인식된 손을 추적하는 손 추적 단계와, 상기 손 추적 단계로부터의 얻어지는 손의 위치로부터 상기 손의 동작을 인식하는 손동작 인식 단계와, 상기 손의 동작에 대응되는 제어신호를 출력하는 제어신호 출력단계를 포함하며, 상기 손 인식 단계에서 상기 사용자의 손이 인식되면, 안경형 디스플레이 디바이스의 화면에 상기 손의 위치가 표시되는 것을 특징으로 한다.
본 발명에 따르면, 상기 손 인식 단계에서는 사전에 설정된 손모양의 손을 인식하되, 검지 손가락을 편 손모양의 손을 인식하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 손 인식 단계는, 취득된 영상으로부터 손의 외곽 형태를 추출하는 단계와, 상기 추출된 손의 외곽 형태가 검지 손가락을 편 손모양인지를 인식하는 단계와, 상기 손의 움직이는 방향이 좌우 또는 상하 방향으로 복수 회 변하는 것을 인식하는 단계를 포함하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 손 추적 단계는 상기 손 인식 단계에서 손을 인식한 이후 입력되는 복수의 연속 영상 내에서의 손의 위치를 추적하기 위한 것으로, 이전 영상에서의 손의 위치정보를 이용하여 일정 거리 내에 손이 있는지 인식하는 과정을 포함하고, 손 인식 단계에서 얻어진 손의 색 정보 및 손모양 정보를 이용하여 손을 추적하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 영상 취득 단계에서 취득된 영상은, 상기 안경형 디스플레이 디바이스의 화면 일부 영역에 표시되거나, 상기 안경형 디스플레이 디바이스의 화면 전체에 오버레이(overlay) 되는 것이 바람직하다.
또한, 본 발명에 따르면 상기 카메라의 움직임에 의한 손의 위치 변화를 보정하기 위하여, 상기 영상 취득 단계에서 얻어진 연속된 복수의 영상으로부터 영상 간의 매칭을 통해 손을 제외한 배경의 움직임의 옵셋값을 추출하고, 상기 추출된 옵셋값을 이용하여 상기 손 추적 단계에서 얻어진 손의 위치를 보정하는 단계를 더 포함하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 손동작 인식 단계에서는, 검지 손가락에 부착된 특정 색을 가지는 컬러코드의 위치 변화를 분석하여 상기 검지 손가락의 구부림과 펴는 동작을 인식하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 컬러코드는 검지 손가락에 끼울 수 있는 링 형태를 가지는 것이 바람직하다.
또한, 본 발명에 따르면 상기 컬러코드는 두 개 이상의 색이 조합되어 있는 것이 바람직하다.
또한, 본 발명에 따르면 상기 손동작 인식단계에서는 상기 검지 손가락에 특정 색을 가지는 컬러코드가 부착되어 있는지를 인식하고, 상기 컬러코드가 부착되어 있지 않으면, 상기 검지 손가락이 일정시간 해당 메뉴에 멈춰있는 동작을 클릭 동작으로 인식하고, 상기 컬러코드가 검지 손가락에 부착된 경우에는 상기 검지 손가락을 구부렸다 펴는 동작을 클릭동작으로 인식하는 것이 바람직하다.
또한, 본 발명에 따르면 상기 손동작 인식단계에서는 손의 궤적이 시계방향 원을 그리면 줌인으로 해석하고, 손의 궤적이 시계반대방향 원을 그리면 줌아웃으로 해석하는 것이 바람직하다.
상기한 구성의 본 발명에 따르면, 자연스럽고 직관적인 손동작으로 마우스와 유사하게 안경형 디스플레이 디바이스를 제어할 수 있다.
도 1은 손동작을 이용하여 안경형 디스플레이 디바이스를 조작하는 일례를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 안경형 디스플레이 디바이스의 동작인식 입력방법의 흐름도이다.
도 3은 미리 정해진 손모양의 일례로 검지 손가락을 편 손모양을 보여주는 도면이다.
도 4는 손을 좌우로 움직여 손을 인식시키는 방법을 보여주는 도면이다.
도 5는 검지 손가락에 컬러코드를 부착한 일례를 보여 주는 도면이다.
도 6은 검지 손가락을 구부렸다가 펴서 클릭동작을 수행하는 것을 보여 주는 도면이다.
도 7은 손으로 원을 그려 줌인, 줌아웃 동작을 수행하는 것을 보여 주는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 안경형 디스플레이 디바이스의 동작인식 입력방법에 관하여 설명한다.
도 1은 손동작을 이용하여 안경형 디스플레이 디바이스를 조작하는 일례를 보여주는 도면이며, 도 2는 본 발명의 일 실시예에 따른 안경형 디스플레이 디바이스의 동작인식 입력방법의 흐름도이며, 도 3은 미리 정해진 손모양의 일례로 검지 손가락을 편 손모양을 보여주는 도면이며, 도 4는 손을 좌우로 움직여 손을 인식시키는 방법을 보여주는 도면이며, 도 5는 검지 손가락에 컬러코드를 부착한 일례를 보여 주는 도면이며, 도 6은 검지 손가락을 구부렸다가 펴서 클릭동작을 수행하는 것을 보여 주는 도면이며, 도 7은 손으로 원을 그려 줌인, 줌아웃 동작을 수행하는 것을 보여 주는 도면이다.
도 1 내지 도 7을 참조하면, 본 실시예에 따른 안경형 디스플레이 디바이스의 동작인식 입력방법(M100)은 영상 취득 단계(S10)와, 손 인식 단계(S20)와, 손 추적 단계(S30)와, 손동작 인식 단계(S40)와, 제어신호 출력단계(S50)를 포함한다.
도 1에 도시된 바와 같이 안경형 디스플레이 디바이스(10)에는 카메라(1)가 장착되어 있다. 영상 취득 단계(S10)에서는 손을 카메라(1)의 전방에 위치한 상태에서, 카메라로 손이 포함된 연속된 영상을 촬영하여 취득한다.
여기서, 대부분의 안경형 디스플레이 디바이스에는 주로 2차원 카메라가 달려있다. 일반적인 동작인식 방법인 3차원 depth 카메라를 이용하여 동작인식을 구현하면 전방의 손과 배경을 구분하기 용이하지만, 추가로 3차원 depth 카메라를 장착해야 하는 단점이 있다. 또한 3차원 depth 카메라의 경우 적외선 조명을 이용하므로 맑은 날 야외에서 동작하기는 힘든 단점이 있다. 그리고, 안경형 디스플레이 디바이스의 경우 전원문제와 크기문제도 중요하므로 2차원 카메라를 이용하는 방법이 3차원 depth 카메라를 이용하는 방법보다는 유리하다.
손 인식 단계(S20)에서는 취득한 영상들로부터 미리 정한 형태의 사용자의 손을 인식하고 손이 인식되면 안경형 디스플레이 디바이스의 화면에 커서를 on 시킨다. 2차원 카메라를 이용하는 경우에는 전방의 손과 배경을 분리하는 영상 세그멘테이션 방법이 중요해진다. 카메라가 고정되어 있는 경우에는 연속되는 영상들간의 차 영상을 이용하여 손과 배경을 분리할 수 있으나, 안경에 장착되어 있는 카메라의 경우 흔들림이 있으므로 입력되는 전체 영상에 움직임이 생기기 때문에 영상들간의 차 영상을 이용할 수 없다. 또한, 배경에 움직이는 물체가 있는 경우에도 손 이외의 움직임이 생기기 때문에 차 영상을 이용할 수 없다.
이를 해결하기 위해, 본 실시예에서는 손과 배경과의 외곽부분(외곽선)을 인식하여 손을 인식한다. 영상에서 외곽를 구하는 영상처리를 통하여 손의 외곽을 추출할 수 있다. 그리고, 손의 외곽 영상을 분석하여 영상해석을 통해 미리 정한 손의 모양을 인식한다. 이때 손의 모양은 도 3에 도시된 바와 같이 검지 손가락을 편 상태가 전방 시야를 적게 가리고, 터치 스크린을 구동할 때와 비슷한 손모양이므로 직관적이다.
그런데, 손과 배경이 비슷한 밝기와 색을 가지고 있는 경우에는, 손과 배경을 구분할 수 있는 외곽 경계가 존재하지 않을 수 있으며, 이와 같이 외곽경계가 존재하지 않는 경우에는 손을 인식할 수 없다. 이러한 문제를 해결하기 위하여, 본 실시예에서는 도 4에 도시된 바와 같이 손을 좌우(또는 상하)로 흔든다. 이와 같이 손을 흔들면 배경이 바뀌게 되므로, 손과 배경 사이에 외곽 경계가 생길 확률이 커지게 된다. 그리고, 실시간으로 영상을 처리하여 M 프레임중에 N 프레임만큼 손을 인식할 수 있으면 손으로 간주할 수 있다. 또한, 손을 좌우로 흔드는 경우, 방향 변화가 일어나는 횟수를 카운트하여 손을 인식할 수 있으며, 이렇게 하면 배경에 손의 모양과 비슷한 외곽경계가 있는 경우에 오동작하게 되는 것을 피할 수 있다.
손 추적 단계(S30)는 손 인식 단계(S20)에서 손을 인식한 이후에 입력되는 복수의 연속 영상 내에서의 손의 위치를 추적하기 위한 것이다. 손 추적 단계(S30)에서는 손 인식 단계에서 인식된 손의 정보, 예를 들어 손의 색 정보, 손의 모양인 손모양 정보, 밝기 정보 등을 이용하여 손을 추적한다. 이때, 이전 영상(프레임)에서 인식된 손의 위치로부터 일정 거리 내의 영역을 추적하면, 처리 시간을 줄이고 오동작을 줄일 수 있다.
손동작 인식 단계(S40)에서는 손 추적 단계에서 얻어지는 손의 위치(위치변화)를 분석하여, 손의 동작(즉, 움직임)을 인식한다.
제어신호 출력단계(S50)에서는 손동작 인식 단계에서 인식된 손동작에 대응되는 제어신호를 출력한다.
한편, 손을 인식하기 위해서는 손이 촬영된 영상 내부에 있어야 가능하며, 따라서 손이 카메라의 영상 밖으로 나가지 않게 하기 위해서는 사용자에게 손의 위치를 알려줄 필요가 있다. 이를 위해, 본 실시예에서는 카메라에서 촬영되는 영상을 실시간으로 화면의 일부 영역에 표시하거나 화면의 배경에 오버레이(overlay)시켜 사용자에게 보여준다.
그리고, 안경형 디스플레이 디바이스는 카메라가 안경에 달려 있기 때문에, 카메라가 흔들리면(예를 들어, 사용자가 걸을 때 사용자의 머리가 흔들림) 상대적으로 손의 위치가 변하게 되어 손의 위치(커서 위치)가 흔들리게 되며, 이 경우 정밀한 포인팅 작업이 힘들 수 있다. 이를 보정하기 위해 카메라로부터 들어오는 영상을 해석하여 카메라의 흔들림에 의한 손의 위치값 흔들림을 보정할 수 있다. 즉, 카메라에서 촬용된 복수의 연속영상으로부터 영상 간의 매칭을 통해 손을 제외한 배경의 움직임의 옵셋값을 추출하고, 손 추적 단계에서 얻어진 손의 위치를 추출된 옵셋값으로 보정하면 된다.
이하, 특징적인 몇 가지의 손동작(손의 움직임)과 이에 대응되는 제어신호에 관하여 설명한다.
1. 가장 많이 이용되는 방식으로 손의 위치 궤적을 이용하면 마우스의 커서 움직임을 만들어 낼 수 있다.
2. 마우스의 클릭동작을 구현하려면 손의 특별한 동작을 이용해야 한다.
첫 번째 방법은 손을 일정 시간 정지하면 클릭 동작으로 인식하는 것이다. 이 경우는 손의 위치 데이타를 분석하면 쉽게 구현할 수 있다. 그러나 이 방법의 경우 클릭을 의도하지 않고 일정 시간 움직이지 않는 경우 클릭으로 오인될 수 있다.
두 번째 방법은 의도하였을 때만 클릭명령을 전달하기 위해 검지 손가락을 구부렸다 펴는 동작을 클릭동작으로 이용한다. 검지 손가락을 구부린 동작과 편 동작을 구분하기 위해서는 검지 손가락의 끝 부분을 인식해야 한다. 그런데, 배경이 여러 형태로 변하는 상황에서 손가락의 끝 부분을 안정적으로 인식하는 것은 매우 어려운 문제이다. 본 발명에서는 도 5와 같이 검지 손가락에 컬러코드(20)를 붙여서 검지 손가락을 안정적으로 인식할 수 있도록 하였다. 여기서, 컬러코드(20)는 특정 색을 가지며, 검지 손가락에 용이하게 끼우거나 뺄 수 있도록(착탈가능) 링 형태를 가지는 것이 바람직하다. 이때, 컬러코드를 주위의 배경과 차별화하여 인식의 효율성을 높이기 위해서는, 컬러코드가 특별하고(즉, 흔하지 않은 색상) 인식이 용이한 색상을 가지는 것이 바람직하며, 나아가 컬러코드를 두 가지 이상 색의 조합으로 구성할 수도 있다.
도 6에 도시된 바와 같이, 컬러코드(20)를 검지 손가락의 첫 번째나 두 번째 마디에 붙이면 손가락을 구부렸다가 펼 때 컬러코드가 없어졌다가 나타난다. 이때, 컬러코드가 완전히 없어지진 않더라도 최소한 컬러코드의 위치가 내려갔다가 올라가게 된다. 그리고, 이것을 감지하면 손가락이 구부려진 상태와 편 상태를 구분할 수 있다. 즉 클릭동작을 구분할 수 있다. 또한 손가락이 구부러진 동작을 드래그 동작으로 해석하면 드래그 동작도 구현할 수 있다.
세 번째 방법은 상술한 두 가지 클릭 동작을 조합하는 것이다. 즉, 먼저 검지 손가락에 컬러코드가 부착되어 있는지 여부를 먼저 인식하고, 컬러코드가 검지 손가락에 장착되지 않은 경우에는 검지 손가락이 일정시간 해당 메뉴에 멈춰있는 동작을 클릭동작으로 인식하고, 컬러코드가 검지 손가락에 장착된 경우에는 검지 손가락을 구부렸다 펴는 동작을 클릭동작으로 인식할 수 있다.
3. 지도를 보거나 사진을 볼 경우 줌인 줌아웃 기능이 필요하다. 휴대폰의 경우 핀치 줌 방식을 이용할 수 있으나 허공에서 손가락을 움직이는 경우 핀치 줌 방식의 구현이 힘들다. 핀치 줌 방식은 엄지와 검지를 마주대고 휴대폰에 터치한 채 벌리면 줌인, 오무리면 줌아웃으로 인식한다. 허공에서 손가락을 움직이는 경우 터치 동작이 없기 때문에 줌인 동작과 줌 아웃동작이 헷갈리게 된다. 따라서 줌인, 줌아웃을 위한 다른 동작이 필요하다. 본 발명에서는 도 7과 같이 손을 시계방향으로 원을 그리면 줌인, 반시계 방향으로 원을 그리면 줌아웃으로 인식할 수 있다. 손 추적 단계에서 얻어진 손의 위치 변화(손의 궤적)를 해석하여 시계방향 원인지 반시계 방향 원인지 해석하면 기능을 구현할 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (11)

  1. 안경형 디스플레이 디바이스에 장착된 카메라를 이용하여 연속 영상들을 취득하는 영상 취득 단계;
    상기 취득된 영상들로부터 사용자의 손을 인식하는 손 인식 단계;
    상기 인식된 손을 추적하는 손 추적 단계;
    상기 손 추적 단계에서 얻어지는 손의 위치로부터 상기 손의 동작을 인식하는 손동작 인식 단계; 및
    상기 손의 동작에 대응되는 제어신호를 출력하는 제어신호 출력단계;를 포함하며,
    상기 손 인식 단계에서 상기 사용자의 손이 인식되면, 안경형 디스플레이 디바이스의 화면에 상기 손의 위치가 표시되는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  2. 제1항에 있어서,
    상기 손 인식 단계에서는 사전에 설정된 손모양의 손을 인식하되, 검지 손가락을 편 손모양의 손을 인식하는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  3. 제2항에 있어서,
    상기 손 인식 단계는,
    취득된 영상으로부터 손의 외곽 형태를 추출하는 단계와,
    상기 추출된 손의 외곽 형태가 검지 손가락을 편 손모양인지를 인식하는 단계와,
    상기 손의 움직이는 방향이 좌우 또는 상하 방향으로 복수 회 변하는 것을 인식하는 단계를 포함하는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  4. 제1항에 있어서,
    상기 손 추적 단계는 상기 손 인식 단계에서 손을 인식한 이후 입력되는 복수의 연속 영상 내에서의 손의 위치를 추적하기 위한 것으로,
    이전 영상에서의 손의 위치정보를 이용하여 일정 거리 내에 손이 있는지 인식하는 과정을 포함하고, 손 인식 단계에서 얻어진 손의 색 정보 및 손모양 정보를 이용하여 손을 추적하는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  5. 제1항에 있어서,
    상기 영상 취득 단계에서 취득된 영상은, 상기 안경형 디스플레이 디바이스의 화면 일부 영역에 표시되거나, 상기 안경형 디스플레이 디바이스의 화면 전체에 오버레이(overlay) 되는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  6. 제1항에 있어서,
    상기 카메라의 움직임에 의한 손의 위치 변화를 보정하기 위하여,
    상기 영상 취득 단계에서 얻어진 연속된 복수의 영상으로부터 영상 간의 매칭을 통해 손을 제외한 배경의 움직임의 옵셋값을 추출하고, 상기 추출된 옵셋값을 이용하여 상기 손 추적 단계에서 얻어진 손의 위치를 보정하는 단계를 더 포함하는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  7. 제2항에 있어서,
    상기 손동작 인식 단계에서는, 검지 손가락에 부착된 특정 색을 가지는 컬러코드의 위치 변화를 분석하여 상기 검지 손가락의 구부림과 펴는 동작을 인식하는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  8. 제7항에 있어서,
    상기 컬러코드는 검지 손가락에 끼울 수 있는 링 형태를 가지는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  9. 제7항에 있어서,
    상기 컬러코드는 두 개 이상의 색이 조합되어 있는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  10. 제2항에 있어서,
    상기 손동작 인식단계에서는 상기 검지 손가락에 특정 색을 가지는 컬러코드가 부착되어 있는지를 인식하고,
    상기 컬러코드가 부착되어 있지 않으면, 상기 검지 손가락이 일정시간 해당 메뉴에 멈춰있는 동작을 클릭 동작으로 인식하고,
    상기 컬러코드가 검지 손가락에 부착된 경우에는 상기 검지 손가락을 구부렸다 펴는 동작을 클릭동작으로 인식하는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
  11. 제1항에 있어서,
    상기 손동작 인식단계에서는 손의 궤적이 시계방향 원을 그리면 줌인으로 해석하고, 손의 궤적이 시계반대방향 원을 그리면 줌아웃으로 해석하는 것을 특징으로 하는 안경형 디스플레이 디바이스의 동작인식 입력방법.
PCT/KR2014/007993 2013-10-04 2014-08-28 안경형 디스플레이 디바이스의 동작인식 입력방법 WO2015050322A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/027,174 US9904372B2 (en) 2013-10-04 2014-08-28 Method by which eyeglass-type display device recognizes and inputs movement

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130118251A KR101502085B1 (ko) 2013-10-04 2013-10-04 안경형 디스플레이 디바이스의 동작인식 입력방법
KR10-2013-0118251 2013-10-04

Publications (1)

Publication Number Publication Date
WO2015050322A1 true WO2015050322A1 (ko) 2015-04-09

Family

ID=52778883

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/007993 WO2015050322A1 (ko) 2013-10-04 2014-08-28 안경형 디스플레이 디바이스의 동작인식 입력방법

Country Status (3)

Country Link
US (1) US9904372B2 (ko)
KR (1) KR101502085B1 (ko)
WO (1) WO2015050322A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104950902A (zh) * 2015-06-10 2015-09-30 杨珊珊 多旋翼飞行器的控制方法及多旋翼飞行器

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210249116A1 (en) * 2012-06-14 2021-08-12 Medibotics Llc Smart Glasses and Wearable Systems for Measuring Food Consumption
CN104834249A (zh) * 2015-03-16 2015-08-12 张时勉 穿戴式远程控制器
CN105739525B (zh) * 2016-02-14 2019-09-03 普宙飞行器科技（深圳）有限公司 一种配合体感操作实现虚拟飞行的系统
CN107544673A (zh) * 2017-08-25 2018-01-05 上海视智电子科技有限公司 基于深度图信息的体感交互方法和体感交互系统
WO2019126236A1 (en) 2017-12-19 2019-06-27 Datalogic IP Tech, S.r.l. User-wearable systems and methods to collect data and provide information
US10474857B2 (en) 2017-12-19 2019-11-12 Datalogic IP Tech, S.r.l. Gesture controllable machine-readable symbol reader systems and methods, with head worn interface
TWI729322B (zh) * 2018-11-08 2021-06-01 財團法人工業技術研究院 資訊顯示系統及資訊顯示方法
KR102539047B1 (ko) * 2021-06-04 2023-06-02 주식회사 피앤씨솔루션 증강현실 글라스 장치의 입력 인터페이스를 위한 손동작 및 음성명령어 인식 성능 향상 방법 및 장치
KR102585343B1 (ko) * 2021-07-09 2023-10-06 주식회사 피앤씨솔루션 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법
KR102633495B1 (ko) * 2021-10-14 2024-02-06 주식회사 피앤씨솔루션 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010267220A (ja) * 2009-05-18 2010-11-25 Nara Institute Of Science & Technology ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法
KR20110103848A (ko) * 2010-03-15 2011-09-21 오므론 가부시키가이샤 제스처 인식 장치, 제스처 인식 장치의 제어 방법 및 제어 프로그램
KR20110133904A (ko) * 2010-06-07 2011-12-14 엘지이노텍 주식회사 터치윈도우 확대축소 기능을 갖는 모바일장치 및 터치윈도우의 확대축소 방법
KR20120028743A (ko) * 2010-09-15 2012-03-23 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP2013061848A (ja) * 2011-09-14 2013-04-04 Panasonic Corp 非接触入力装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280019A (ja) * 2006-04-06 2007-10-25 Alps Electric Co Ltd 入力装置およびこの入力装置を使用したコンピュータシステム
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
JP2010537302A (ja) * 2007-08-19 2010-12-02 リングボウ エルティディ． 指に装着される装置とその使用方法
WO2009128064A2 (en) * 2008-04-14 2009-10-22 Pointgrab Ltd. Vision based pointing device emulation
GB2474536B (en) * 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
US8817076B2 (en) * 2011-08-03 2014-08-26 General Electric Company Method and system for cropping a 3-dimensional medical dataset
US9894269B2 (en) * 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010267220A (ja) * 2009-05-18 2010-11-25 Nara Institute Of Science & Technology ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法
KR20110103848A (ko) * 2010-03-15 2011-09-21 오므론 가부시키가이샤 제스처 인식 장치, 제스처 인식 장치의 제어 방법 및 제어 프로그램
KR20110133904A (ko) * 2010-06-07 2011-12-14 엘지이노텍 주식회사 터치윈도우 확대축소 기능을 갖는 모바일장치 및 터치윈도우의 확대축소 방법
KR20120028743A (ko) * 2010-09-15 2012-03-23 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP2013061848A (ja) * 2011-09-14 2013-04-04 Panasonic Corp 非接触入力装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LEE, KWANG LIM ET AL.: "Rotative Finger Mouse using a Camera", THE KOREA HCI CONFERENCE, 2005 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104950902A (zh) * 2015-06-10 2015-09-30 杨珊珊 多旋翼飞行器的控制方法及多旋翼飞行器

Also Published As

Publication number Publication date
KR101502085B1 (ko) 2015-03-12
US20160252966A1 (en) 2016-09-01
US9904372B2 (en) 2018-02-27

Similar Documents

Publication Publication Date Title
WO2015050322A1 (ko) 안경형 디스플레이 디바이스의 동작인식 입력방법
US10860087B2 (en) Method and apparatus for processing screen using device
CN101673161B (zh) 一种可视可操作无实体的触摸屏系统
US10585488B2 (en) System, method, and apparatus for man-machine interaction
EP2899618B1 (en) Control device and computer-readable storage medium
CN109739361B (zh) 基于眼睛跟踪的可见度提高方法和电子装置
US10095033B2 (en) Multimodal interaction with near-to-eye display
KR101184460B1 (ko) 마우스 포인터 제어 장치 및 방법
US9442571B2 (en) Control method for generating control instruction based on motion parameter of hand and electronic device using the control method
CN106774850B (zh) 一种移动终端及其交互控制方法
KR20140002007A (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
JP2012079138A (ja) ジェスチャ認識装置
CN111095364A (zh) 信息处理装置、信息处理方法和程序
EP3617851B1 (en) Information processing device, information processing method, and recording medium
KR20130034125A (ko) 증강현실 기능을 구비한 안경형 모니터
WO2014084634A1 (ko) 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법
WO2015030482A1 (ko) 웨어러블 디스플레이용 입력장치
CN103201706A (zh) 虚拟鼠标的驱动方法
CN104077784A (zh) 提取目标对象的方法和电子设备
WO2019004754A1 (en) ADVERTISEMENTS WITH INCREASED REALITY ON OBJECTS
Lo et al. Augmediated reality system based on 3D camera selfgesture sensing
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof
JP6971788B2 (ja) 画面表示制御方法および画面表示制御システム
CN110162257A (zh) 多触点触控方法、装置、设备及计算机可读存储介质
US20220083145A1 (en) Information display apparatus using line of sight and gestures

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15027174

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14850638

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 14850638

Country of ref document: EP

Kind code of ref document: A1