KR20130123116A - Apparatus for recognizing gesture by using see-through display and method thereof - Google Patents

Apparatus for recognizing gesture by using see-through display and method thereof Download PDF

Info

Publication number
KR20130123116A
KR20130123116A KR1020120046288A KR20120046288A KR20130123116A KR 20130123116 A KR20130123116 A KR 20130123116A KR 1020120046288 A KR1020120046288 A KR 1020120046288A KR 20120046288 A KR20120046288 A KR 20120046288A KR 20130123116 A KR20130123116 A KR 20130123116A
Authority
KR
South Korea
Prior art keywords
hand
display
gaze
user
command
Prior art date
Application number
KR1020120046288A
Other languages
Korean (ko)
Other versions
KR101374316B1 (en
Inventor
임대운
이남희
정윤근
임창주
김연진
Original Assignee
동국대학교 산학협력단
(주) 미디어인터랙티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단, (주) 미디어인터랙티브 filed Critical 동국대학교 산학협력단
Priority to KR1020120046288A priority Critical patent/KR101374316B1/en
Publication of KR20130123116A publication Critical patent/KR20130123116A/en
Application granted granted Critical
Publication of KR101374316B1 publication Critical patent/KR101374316B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Abstract

The present invention relates to a gesture recognition apparatus using a see-through display. The gesture recognition apparatus using a see-through display comprises: a first camera which is located on one side of a display and photographing a user's gaze; a second camera which is locate on the other side of the display in order to photograph the opposite side of the first camera and photographing user's hands; a processing unit for tracking the locations of the photographed gaze and hands, analyzing the gaze movement and the hand gesture, reading a command corresponding to the analyzed result, and performing the command; a see-through display for providing the result of performing the command for the user, wherein the user is able to see gestures of the user's hands which are on the other side of the see-through display, and the gestures are accurately recognized by positioning the user's hands which hide a user's view on the opposite side of the user. [Reference numerals] (110) First camera;(120) Second camera;(130) Processing unit;(140) See-through display

Description

시스루 디스플레이를 이용한 동작인식 장치 및 그 방법{Apparatus for recognizing gesture by using see-through display and Method thereof}Apparatus for recognizing gesture by using see-through display and Method approximate

본 발명은 동작인식 장치에 관한 것으로서, 더욱 상세하게는 시스루(see-through) 디스플레이를 이용하여 손동작에 의해 사용자의 시야를 방해하지 않는 동작인식 장치, 동작인식 방법, 및 그 기록매체에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion recognition device, and more particularly, to a motion recognition device, a motion recognition method, and a recording medium thereof, which do not obstruct a user's field of view by a hand motion using a see-through display.

동작인식에 대한 기술이 발전됨에 따라, 수술 등과 같이, 의료부문 등에서 사용자의 동작을 인식하여 사용자가 작업상황을 보면서 작업을 수행하는 장치에 대한 기술이 발전되고 있다. 하지만, 종래 기술은 사용자의 몸짓이나 손짓 등의 작업을 조작하는 컨트롤러가 시야를 방해하거나, 사용자가 바라보는 시선, 컨트롤러, 및 작업화면이 일치하지 않아, 작업을 수행함에 있어서, 직관적인 피드백이 어렵고, 많은 시간의 훈련이 필요한 문제점이 있었다.As technology for motion recognition is developed, technology for a device for performing a task while a user views a work situation by recognizing a user's motion in a medical field, such as surgery, has been developed. However, in the related art, a controller that manipulates a user's gestures or gestures obstructs a field of view, or a user's gaze, controller, and work screen do not coincide. Thus, intuitive feedback is difficult in performing a task. There was a problem that required a lot of training.

본 발명이 해결하고자 하는 첫 번째 과제는 시스루 디스플레이를 이용한 동작인식 장치를 제공하는 것이다.The first problem to be solved by the present invention is to provide a motion recognition device using a see-through display.

본 발명이 해결하고자 하는 두 번째 과제는 시스루 디스플레이를 이용한 동작인식 방법을 제공하는 것이다.The second problem to be solved by the present invention is to provide a motion recognition method using a see-through display.

또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.It is another object of the present invention to provide a computer-readable recording medium storing a program for causing a computer to execute the above-described method.

본 발명은 상기 첫 번째 과제를 달성하기 위하여, 디스플레이 일면에 위치하여 사용자의 시선을 촬영하는 제 1 카메라; 상기 제 1 카메라와 반대방향을 촬영하도록, 상기 디스플레이의 상기 제 1 카메라가 위치한 면과 반대 면에 위치하여 사용자의 손을 촬영하는 제 2 카메라; 상기 촬영한 시선과 손의 위치를 추적하고, 상기 시선의 이동과 손의 동작을 분석하여 상기 분석한 시선의 이동과 손 동작에 해당하는 명령을 독출하며, 상기 명령을 수행하는 처리부; 및 상기 명령을 수행한 결과를 상기 사용자에게 제공하고, 상기 사용자의 시선방향에서 상기 디스플레이 반대 쪽의 손 동작이 보이는 시스루(see-through) 디스플레이를 포함하는 동작인식 장치를 제공한다.In order to achieve the first object of the present invention, the first camera is located on one surface of the display to capture the user's eyes; A second camera photographing a user's hand on a surface opposite to a surface on which the first camera is located so as to photograph in a direction opposite to the first camera; A processor configured to track the photographed gaze and the position of the hand, analyze the movement of the gaze and the motion of the hand to read a command corresponding to the analyzed gaze movement and the hand motion, and perform the command; And a see-through display which provides a result of performing the command to the user and which shows a hand motion on the opposite side of the display in the user's gaze direction.

본 발명의 일 실시예에 의하면, 상기 처리부는, 상기 분석한 시선의 이동을 이용하여 상기 디스플레이 상 객체 중 상기 명령을 수행할 객체를 선택하고, 상기 분석한 손 동작을 이용하여 상기 선택된 객체에 상기 명령을 수행하는 것을 특징으로 하는 동작인식 장치일 수 있다.According to an embodiment of the present invention, the processor selects an object on which the command is to be performed from among the objects on the display using the analyzed movement of the gaze, and applies the selected object to the selected object by using the analyzed hand gesture. It may be a motion recognition device characterized in that to perform a command.

본 발명의 다른 실시예에 의하면, 상기 처리부는, 상기 분석한 시선의 이동이 상기 디스플레이 상 객체 중 하나의 객체에 소정의 시간 이상 정지하면, 상기 시선의 이동이 정지한 객체의 상기 디스플레이 상의 크기를 확대하는 것을 특징으로 하는 동작인식 장치일 수 있다.According to another embodiment of the present invention, when the movement of the analyzed gaze stops at least one predetermined time to one of the objects on the display, the processing unit adjusts the size on the display of the object where the movement of the gaze stops. It may be a motion recognition device characterized in that the enlargement.

본 발명의 또 다른 실시예에 의하면, 상기 처리부는, 상기 제 1 카메라가 촬영한 사용자의 눈동자의 특징점을 검출하고, 상기 눈동자의 특징점을 추적하여 상기 시선의 이동을 추적하고, 상기 제 2 카메라가 촬영한 손의 특징점을 검출하고, 상기 손의 특징점을 추적하여, 상기 손 동작을 분석하는 것을 특징으로 하는 동작인식 장치일 수 있다.According to another embodiment of the present invention, the processor detects the feature point of the pupil of the user photographed by the first camera, tracks the movement of the gaze by tracking the feature point of the pupil, and the second camera The apparatus may be a motion recognition device that detects a feature point of a photographed hand, tracks a feature point of the hand, and analyzes the hand motion.

본 발명은 상기 두 번째 과제를 달성하기 위하여, 제 1 카메라가 촬영한 사용자의 시선 및 제 2 카메라가 촬영한 사용자의 손을 명령으로 받아, 상기 촬영한 시선의 위치와 손의 위치를 추적하는 단계; 상기 시선의 이동과 손의 동작을 분석하는 단계; 상기 분석한 시선의 이동과 손 동작에 해당하는 명령을 독출하고, 상기 독출한 명령을 수행하는 단계; 및 상기 명령을 수행한 결과를 시스루(see-through) 디스플레이에 출력하는 단계를 포함하고, 상기 시스루 디스플레이는 상기 사용자의 시선방향에서 상기 디스플레이 반대 쪽의 손 동작이 보이는 것을 특징으로 하는 동작인식 방법을 제공한다.According to an embodiment of the present invention, in order to achieve the second object, receiving a user's gaze photographed by a first camera and a user's hand photographed by a second camera, and tracking the position of the photographed gaze and the position of the hand. ; Analyzing the movement of the gaze and the motion of the hand; Reading a command corresponding to the analyzed gaze movement and hand motion and performing the read command; And outputting a result of performing the command to a see-through display, wherein the see-through display shows a hand motion on the opposite side of the display in the user's gaze direction. to provide.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 시스루 디스플레이를 이용한 동작인식 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.In order to solve the above other technical problem, the present invention provides a computer-readable recording medium having recorded thereon a program for executing a motion recognition method using a see-through display on a computer.

본 발명에 따르면, 시스루 디스플레이를 이용하여 사용자의 손 동작 등에 의해 사용자의 시야가 방해되지 않아 정확한 동작인식이 가능하다. 또한, 사용자가 명령하고자 하는 명령을 판단하는데 있어서, 사용자의 시선과 손 동작을 조합하여 활용할 수 있어, 명령의 정확한 판단이 가능하다.According to the present invention, the user's field of view is not disturbed by the user's hand movement using the see-through display, so that accurate motion recognition is possible. In addition, in determining a command to be commanded by the user, the user's eyes and hand gestures may be used in combination, so that accurate determination of the command is possible.

도 1은 본 발명의 일 실시예에 따른 시스루 디스플레이를 이용한 동작인식 장치의 블록도이다.
도 2는 종래의 동작인식 장치의 배치와 본 발명의 일 실시예에 따른 동작인식 장치의 순서의 차이를 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 시스루 디스플레이를 이용한 동작인식 방법의 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 시스루 디스플레이를 이용한 동작인식 방법의 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 시스루 디스플레이를 이용한 동작인식 방법의 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 시스루 디스플레이를 이용한 동작인식 방법의 흐름도이다.1 is a block diagram of a gesture recognition apparatus using a see-through display according to an embodiment of the present invention.
Figure 2 shows the difference between the arrangement of the conventional motion recognition device and the order of the motion recognition device according to an embodiment of the present invention.
3 is a flowchart of a motion recognition method using a see-through display according to an embodiment of the present invention.
4 is a flowchart of a motion recognition method using a see-through display according to another exemplary embodiment of the present invention.
5 is a flowchart illustrating a motion recognition method using a see-through display according to another exemplary embodiment of the present invention.
6 is a flowchart of a motion recognition method using a see-through display according to another exemplary embodiment of the present invention.

본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.Prior to the description of the concrete contents of the present invention, for the sake of understanding, the outline of the solution of the problem to be solved by the present invention or the core of the technical idea is first given.

본 발명의 일 실시예에 따른 동작인식 장치는 디스플레이 일면에 위치하여 사용자의 시선을 촬영하는 제 1 카메라, 상기 제 1 카메라와 반대방향을 촬영하도록, 상기 디스플레이의 상기 제 1 카메라가 위치한 면과 반대 면에 위치하여 사용자의 손을 촬영하는 제 2 카메라, 상기 촬영한 시선과 손의 위치를 추적하고, 상기 시선의 이동과 손의 동작을 분석하여 상기 분석한 시선의 이동과 손 동작에 해당하는 명령을 독출하며, 상기 명령을 수행하는 처리부, 및 상기 명령을 수행한 결과를 상기 사용자에게 제공하고, 상기 사용자의 시선방향에서 상기 디스플레이 반대 쪽의 손 동작이 보이는 시스루(see-through) 디스플레이를 포함한다.Motion recognition device according to an embodiment of the present invention is located on one surface of the display and the first camera for photographing the user's eyes, the opposite direction to the first camera of the display, so as to capture the opposite direction of the first camera of the display A second camera photographing a user's hand on a surface, tracking the photographed gaze and the position of the hand, and analyzing the movement of the gaze and the motion of the hand to correspond to the analyzed gaze movement and hand motion And a see-through display for providing a user with a processing unit for performing the command, and providing a result of performing the command to the user, and showing a hand motion on the opposite side of the display in the user's gaze direction. .

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 실시 예를 상세히 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. It will be apparent to those skilled in the art, however, that these examples are provided to further illustrate the present invention, and the scope of the present invention is not limited thereto.

본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다 (comprises)" 또는 "포함하는 (comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, in which: It is to be noted that components are denoted by the same reference numerals even though they are shown in different drawings, and components of different drawings can be cited when necessary in describing the drawings. In the following detailed description of the principles of operation of the preferred embodiments of the present invention, it is to be understood that the present invention is not limited to the details of the known functions and configurations, and other matters may be unnecessarily obscured, A detailed description thereof will be omitted. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. It is noted that " comprises, " or "comprising," as used herein, means the presence or absence of one or more other components, steps, operations, and / Do not exclude the addition.

도 1은 본 발명의 일 실시예에 따른 시스루 디스플레이를 이용한 동작인식 장치의 블록도이다.1 is a block diagram of a gesture recognition apparatus using a see-through display according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 시스루 디스플레이를 이용한 동작인식 장치는 제 1 카메라(110), 제 2 카메라(120), 처리부(130), 및 시스루 디스플레이(140)를 포함한다.An operation recognition apparatus using a see-through display according to an embodiment of the present invention includes a first camera 110, a second camera 120, a processor 130, and a see-through display 140.

제 1 카메라(110)는 상기 디스플레이 일면에 위치하여 사용자의 시선을 촬영한다.The first camera 110 is located on one surface of the display to capture the eyes of the user.

보다 구체적으로, 제 1 카메라(110)는 사용자의 머리를 향하도록 디스플레이 일면에 위치한다. RGB 카메라를 이용하여 사용자의 머리를 촬영함으로써 사용자의 시선을 촬영한다. 상기 시선 방향은 머리의 방향을 이용하여 알 수 있으며, 머리는 정지하고, 눈동자만을 이동할 수 있는바, 눈동자의 이동을 이용하여 상기 시선의 이동을 알 수 있다. 따라서, 머리의 방향의 이동 또는 눈동자의 이동을 분석하기 위하여 사용자의 시선을 계속적으로 촬영한다. 상기 사용자의 눈동자만을 확대하여 촬영할 수도 있다.More specifically, the first camera 110 is located on one surface of the display to face the user's head. The user's eyes are captured by photographing the user's head using an RGB camera. The gaze direction may be known using the direction of the head, the head may be stopped and only the pupil may move, and the movement of the gaze may be known using the movement of the pupil. Therefore, the gaze of the user is continuously photographed to analyze the movement of the head or the movement of the pupil. Only the pupil of the user may be enlarged and photographed.

제 2 카메라(120)는 상기 제 1 카메라와 반대방향을 촬영하도록, 상기 디스플레이의 상기 제 1 카메라가 위치한 면과 반대 면에 위치하여 사용자의 손을 촬영한다.The second camera 120 is located on a surface opposite to the surface where the first camera of the display is located to capture the user's hand so as to photograph the opposite direction to the first camera.

보다 구체적으로, 제 2 카메라(120)는 디스플레이의 제 1 카메라(110)과 반대방향에 위치한다. 즉, 제 1 카메라(110)가 위치한 방향이 정면이라면 제 2 카메라(120)가 위치한 방향은 뒷면이다. 제 2 카메라(120)는 제 1 카메라(110)와 반대방향 즉, 사용자의 손을 촬영한다. 상기 사용자의 손의 움직임에 따른 손 동작을 분석하기 위하여 사용자의 손을 계속적으로 촬영한다. 움직임을 분석하는 대상이 손이 아닌 몸짓 또는 다른 물체인 경우, 그 대상체를 촬영할 수 있다.More specifically, the second camera 120 is located in a direction opposite to the first camera 110 of the display. That is, if the direction in which the first camera 110 is located is the front, the direction in which the second camera 120 is located is the rear. The second camera 120 photographs the user's hand in the opposite direction to the first camera 110. The user's hand is continuously photographed to analyze the hand motion according to the user's hand movement. When the object analyzing the movement is a gesture or other object other than the hand, the object may be photographed.

처리부(130)는 상기 촬영한 시선과 손의 위치를 추적하고, 상기 시선의 이동과 손의 동작을 분석하여 상기 분석한 시선의 이동과 손 동작에 해당하는 명령을 독출하며, 상기 명령을 수행한다.The processor 130 tracks the photographed gaze and the position of the hand, analyzes the movement of the gaze and the motion of the hand, reads a command corresponding to the analyzed gaze movement and the hand motion, and performs the command. .

보다 구체적으로, 처리부(130)는 사용자의 시선의 이동과 손 동작을 분석하기 위하여, 제 1 카메라(110)가 촬영한 시선의 위치와 제 2 카메라(120)가 촬영한 손의 위치를 추적한다. 상기 시선의 위치를 추적하기 위하여 머리의 방향을 추적하거나, 눈동자의 위치를 추적한다. 머리의 방향은 안면의 윤곽 또는 머리에서의 코의 위치를 이용하여 알 수 있다. 눈동자의 이동을 이용하여 시선의 이동을 분석하는 경우에는 우선, 사용자의 눈동자의 특징점을 검출한다. 눈동자의 검은자위를 특징점으로 이용할 수 있다. 또한, 상기 눈동자의 특징점은 홍채인식 방법을 이용할 수 있다. 동공 영역의 무게 중심을 눈동자의 특징점으로 할 수도 있다. 상기 사용자의 시선을 연속적으로 촬영하며, 눈동자의 특징점의 위치를 추적한다. More specifically, the processor 130 tracks the position of the gaze photographed by the first camera 110 and the position of the hand photographed by the second camera 120 in order to analyze the movement of the user's gaze and the hand motion. . In order to track the position of the gaze, the direction of the head is tracked or the position of the pupil is tracked. The direction of the head can be determined using the contour of the face or the position of the nose in the head. When analyzing the movement of the gaze using the movement of the pupil, first, the feature point of the pupil of the user is detected. Black spots on the eyes can be used as feature points. In addition, the feature point of the pupil may use an iris recognition method. The center of gravity of the pupil area may be a feature point of the pupil. The eyes of the user are continuously photographed, and the positions of the feature points of the eyes are tracked.

상기 시선의 위치와 마찬가지로 사용자의 손의 위치를 추적한다. 상기 손의 위치를 추적하기 위하여, 제 2 카메라가 촬영한 손의 특징점을 검출하고, 상기 손의 특징점의 위치를 추적한다. 손가락의 끝을 상기 손의 특징점으로 이용하거나, 손을 하나의 특징점으로 이용할 수도 있다. 수술과 같이, 세밀한 작업이 필요한 경우에는 손의 끝, 관절 등 움직임에 필요한 수만큼의 특징점을 이용할 수도 있다. 사용자의 팔 동작을 이용할 수도 있으나, 팔을 이용하는 경우 세밀한 작업에 부적합하며, 팔을 움직이는 과정에서 육체적으로 피로가 쌓이며, 관절에 무리를 줄 수 있다. 이에 반해, 손가락은 인체 중 가장 세밀한 조작이 가능한 부분으로 세밀한 수작업에 대한 가상훈련이나, 재활, 또는 게임 콘텐츠에 활용이 가능하다. 따라서, 팔 보다는 손의 동작을 이용하는 것이 더욱 효과적이다. 제 2 카메라가 촬영한 화면에서 손 또는 손가락의 윤곽을 검출함으로써 특징점을 검출할 수 있다. 상기 검출한 손의 특징점의 위치를 계속적으로 추적한다.The position of the user's hand is tracked like the position of the gaze. In order to track the position of the hand, the feature point of the hand photographed by the second camera is detected, and the position of the feature point of the hand is tracked. The tip of the finger may be used as a feature point of the hand, or the hand may be used as a feature point. When detailed work is required, such as surgery, the user may use as many feature points as necessary for movements such as the tip of the hand and joints. The user's arm motion may be used, but when the arm is used, it is not suitable for detailed work, and physical fatigue may be accumulated in the process of moving the arm, and the joint may be excessive. On the other hand, the finger is the most detailed manipulation part of the human body and can be used for virtual training, rehabilitation, or game content for detailed manual operations. Therefore, it is more effective to use the motion of the hand rather than the arm. The feature point can be detected by detecting the contour of the hand or finger on the screen captured by the second camera. The position of the feature point of the detected hand is continuously tracked.

상기 시선의 위치를 추적함으로써 시선의 이동을 분석한다. 시선이 이동한 방향과 이동거리를 산출한다. 시선의 이동은 상기 디스플레이 상 객체 중 명령을 수행할 객체를 선택하는 명령일 수 있다. 상기 시선의 이동 방향과 이동거리를 산출하여 상기 시선의 현재 디스플레이상 어디에 위치하는지를 산출하고, 상기 위치에 해당하는 디스플레이 상의 객체를 선택할 수 있다. 마우스의 커서 등을 이용하여 그 위치의 이동을 나타낼 수도 있다. The eye movement is analyzed by tracking the position of the eye. The direction and distance traveled by the line of sight are calculated. The movement of the gaze may be a command for selecting an object to perform a command among the objects on the display. The direction of movement and the distance of the gaze may be calculated to calculate where the gaze is located on the current display, and an object on the display corresponding to the position may be selected. It is also possible to indicate the movement of the position using a mouse cursor or the like.

또한, 상기 손 특징점의 위치를 추적함으로써 손 동작을 분석한다. 손 동작에 따른 명령은 미리 설정되어 있을 수 있다. 손 끝의 특징점이 서로 붙거나 떨어지는 것에 따라 명령이 독출될 수도 있으며, 손의 특징점이 상하좌우로 움직이거나, 원을 그리는 동작에 따라 명령이 독출될 수도 있다. 상기 손 동작에 따른 명령은 명령 데이터베이스에 저장되어 있을 수 있다. 상기 명령에 해당하는 동작을 상기 데이터베이스에 저장되어 있는 명령과 비교하여 해당 명령을 독출할 수 있다. 상기 시선의 이동에 따라 선택되는 객체에 따라 명령이 달라질 수도 있다. 예를 들어, 움직일 수 있는 객체인 경우, 움직임에 대한 명령을 독출하고, 음악의 경우, 재생 또는 정지 등의 명령을 독출할 수도 있다. 수술의 경우, 손 동작의 각 부분의 특징점을 세부적으로 나누어 손 동작과 동일하게 이동하는 명령을 독출할 수도 있다.The hand motion is also analyzed by tracking the location of the hand feature point. The command according to the hand gesture may be preset. The command may be read as the feature points of the fingertips are attached to or fallen from each other, and the command may be read according to the movement of the feature point up, down, left, or right, or a circle. The command according to the hand gesture may be stored in the command database. The command corresponding to the command may be compared with the command stored in the database to read the command. The command may vary depending on the object selected according to the movement of the gaze. For example, in the case of a movable object, a command for movement may be read, and in music, a command such as play or stop may be read. In the case of surgery, the command to move in the same manner as the hand gesture may be read out by dividing the feature points of each part of the hand gesture in detail.

또한, 시선의 이동과 손의 동작을 동시에 이용하여 명령이 독출될 수도 있다. 시선이 머무르는 위치와 선택이라는 명령에 해당하는 손 동작이 입력되는 경우, 하나의 입력에 의한 명령 독출에 따른 오류를 줄일 수 있으므로, 보다 정확한 객체의 선택이 이루어질 수 있다.In addition, the command may be read using the movement of the eye and the motion of the hand at the same time. When a hand gesture corresponding to a position at which the gaze stays and a command of selection is input, an error due to a command reading by one input can be reduced, so that more accurate object selection can be made.

상기 시선의 이동과 손 동작에 해당하는 명령이 독출된 경우, 상기 명령을 수행한다. 상기 명령은 동작인식 장치 내에서 실행될 수 있고, 상기 동작인식 장치 이외의 장치에서 실행될 수도 있다. 상기 명령이 동작인식 장치 내에서 실행되는 경우, 바로 명령을 실행하고, 상기 명령이 동작인식 장치 외에서 실행되는 경우, 외부장치로 상기 명령을 송신할 수 있다. 상기 외부장치로 명령을 송신하는 송신부를 더 포함할 수 있으며, 상기 송신방법은 유, 무선 통신방법 등을 포함할 수 있다. 상기 명령에 따른 동작을 수행하는 객체가 기계인 경우, 상기 기계에 상기 명령을 입력하고, 상기 명령에 따른 동작을 수행하는 객체가 영상인 경우, 이동 또는 실행 등의 명령을 수행할 수 있다.If a command corresponding to the movement of the eye and the hand gesture is read, the command is performed. The command may be executed in the gesture recognition device, or may be executed in a device other than the gesture recognition device. When the command is executed in the motion recognition device, the command may be immediately executed, and when the command is executed outside the motion recognition device, the command may be transmitted to an external device. The apparatus may further include a transmission unit for transmitting a command to the external device, and the transmission method may include a wired or wireless communication method. When the object performing the operation according to the command is a machine, the command may be input to the machine, and when the object performing the operation according to the command is an image, a command such as moving or executing may be performed.

상기 시선의 이동은 객체의 선택뿐만 아니라, 상기 디스플레이 상 객체의 화면 크기를 확대하는 명령일 수도 있다. 즉, 상기 분석한 시선의 이동이 상기 디스플레이 상 객체 중 하나의 객체에 일정 시간 이상 정지하면, 상기 시선의 이동이 정지한 객체의 상기 디스플레이 상의 크기를 확대할 수 있다. 상기 확대 명령으로 판단할 수 있는 시간은 미리 설정되어 있을 수 있다. 상기 시간은 5초 이상일 수 있다. 상기 시선의 이동이 정지하고, 손 동작이 없는 경우에만 확대 명령을 수행하는 것으로 할 수 있다. 손 동작에 의해 명령이 수행되고 있는 도중에 확대 명령이 수행되면, 객체의 선택이 달라질 수 있기 때문이다. 또한, 다시 시선의 위치가 이동하거나, 특정 위치에 정지하는 경우, 다시 화면이 축소될 수도 있다.The movement of the gaze may be a command to enlarge the screen size of the object on the display as well as the selection of the object. That is, when the analyzed movement of the gaze stops for more than a predetermined time on one of the objects on the display, the size of the object on which the movement of the gaze stops may be enlarged. The time that can be determined by the magnification command may be set in advance. The time may be 5 seconds or more. The magnification command can be performed only when the movement of the gaze stops and there is no hand motion. This is because when the magnification command is executed while the command is being performed by the hand motion, the selection of the object may be changed. In addition, when the position of the gaze moves again or stops at a specific position, the screen may be reduced again.

시스루 디스플레이(140)는 상기 명령을 수행한 결과를 상기 사용자게 제공하고, 상기 사용자의 시선방향에서 상기 디스플레이 반대 쪽의 손 동작이 보이는 것을 특징으로 한다.The see-through display 140 provides a result of performing the command to the user, and shows a hand motion on the opposite side of the display in the user's gaze direction.

보다 구체적으로, 본 발명의 일 실시예에 의한 동작인식 장치는 시스루 디스플레이(140)를 이용한다. 시스루 디스플레이(140)는 사용자의 시선방향에서 상기 디스플레이를 통하여 상기 디스플레이 반대 쪽의 손 동작이 보인다. 즉, 사용자는 디스플레이 화면과 사용자의 손 동작을 동시에 볼 수 있다. 상기 디스플레이 화면과 손 동작을 동시에 볼 수 있는바, 사용자는 손 동작에 의한 시야의 방해 없이 사용자의 화면을 볼 수 있다. 또한, 제 1 카메라(110) 또한, 사용자의 손의 방해없이 사용자의 시선을 촬영할 수 있다. 상기 디스플레이 화면은 가상 화면일 수 있고, 상기 동작인식 장치에 연결되어 명령을 수행하는 기계를 촬영한 화면일 수 있다. 상기 시선의 이동과 손 동작에 해당하는 명령을 수행한 결과를 화면으로 사용자에게 제공함으로써 사용자가 자신이 입력한 명령에 따른 결과를 바로 알 수 있으며, 이를 통하여 피드백을 받음으로써, 보다 정확한 작업이 가능하다. More specifically, the gesture recognition apparatus according to an embodiment of the present invention uses the see-through display 140. The see-through display 140 shows a hand motion on the opposite side of the display through the display in the user's line of sight. That is, the user can simultaneously view the display screen and the user's hand motion. The display screen and the hand motion can be viewed at the same time, and the user can see the user's screen without disturbing the visual field caused by the hand motion. In addition, the first camera 110 may also capture the eyes of the user without disturbing the user's hand. The display screen may be a virtual screen or may be a screen shot of a machine connected to the motion recognition device to execute a command. By providing the user with the result of the command corresponding to the movement of the eye and the hand motion on the screen, the user can immediately know the result according to the command input by the user, and by receiving the feedback, more accurate work is possible. Do.

또한, 증강 현실(AR) 기술을 이용하여 사용자에게 제공하려는 정보와 실제 화면을 일치시켜 사용자에게 제공할 수도 있다. 처리부(130)는 상기 사용자에게 명령에 따른 결과 및 정보 등을 실제 화면과 일치시킬 수 있다. 상기 증강 현실을 통해, 보다 정확하게 상기 명령에 따른 결과를 사용자에게 제공할 수 있다.In addition, by using augmented reality (AR) technology may be provided to the user by matching the actual screen with the information to be provided to the user. The processor 130 may match the result and the information according to the command with the user to the actual screen. Through the augmented reality, a result according to the command can be provided to the user more accurately.

본 발명의 일 실시예에 따른 동작 인식 장치는 시각과 운동기술을 전체적으로 통합하여 사용되는 눈-손 협응(Hand-eye coordination)이 필요한 부분에서 사용될 수 있다. 산업 현장과 의료현장에 투입되기 전 가상훈련을 수행하는 데 사용될 수 있고, 환자, 노약자 또는 장애인의 치료 및 재활훈련에 사용될 수 있다. 또한, 엔터테인먼트 분야로 체감형 게임에 사용될 수도 있다.The gesture recognition apparatus according to an embodiment of the present invention may be used in a part requiring eye-hand coordination, which is used by integrating visual and motor skills as a whole. It can be used to conduct virtual training before entering the industrial and medical field, and can be used for the treatment and rehabilitation of patients, the elderly or the disabled. It may also be used for immersive games in the field of entertainment.

도 2는 종래의 동작인식 장치의 배치와 본 발명의 일 실시예에 따른 동작인식 장치의 순서의 차이를 나타낸 것이다.Figure 2 shows the difference between the arrangement of the conventional motion recognition device and the order of the motion recognition device according to an embodiment of the present invention.

종래의 동작인식장치는 사용자(210), 컨트롤러(220), 카메라 및 디스플레이(230) 순으로 위치하여 사용자의 몸짓과 손짓으로 콘텐츠를 제어하고, 디스플레이하는 형태를 가지고 있다. 상기 종래의 순서와 같이 위치하는 경우, 사용자의 시선(210)과 디스플레이(230) 사이에 컨트롤러(220)가 위치하게 되어, 컨트롤러(220)가 시야를 방해하는 문제점이 있었다. 또한, 상기 시야의 방해를 막기 위하여, 시선(210)의 방향과 벗어난 위치에서 컨트롤러(220)의 작업이 이루어지는 경우, 직관적인 피드백을 받을 수 없어 조작에 많은 훈련이 필요하였다.Conventional motion recognition device is located in the order of the user 210, the controller 220, the camera and the display 230 in order to control and display the content by the user's gestures and gestures. In the case of the conventional order, the controller 220 is positioned between the user's gaze 210 and the display 230, so that the controller 220 obstructs the field of view. In addition, in order to prevent the disturbance of the visual field, when the operation of the controller 220 is performed at a position away from the direction of the gaze 210, an intuitive feedback cannot be received, and thus a lot of training is required for operation.

하지만, 본 발명의 일 실시예에 따른 동작인식 장치는 사용자(210)와 컨트롤러(220) 사이에 카메라 및 디스플레이(240)를 위치시킴으로써, 종래의 시야 방해 등의 문제점을 제거할 수 있다. 사용자의 시선과 디스플레이 사이에 시야를 방해하는 것이 존재하지 않으며, 상기 디스플레이는 시스루 디스플레이를 사용함으로써, 사용자가 화면과 손동작을 동시에 볼 수 있어 많은 훈련없이 직관적으로 작업을 수행할 수 있는 효과가 있다. 나아가, 사용자의 시선과 손 동작을 동시에 이용하여 작업을 수행할 수 있어, 정확하고 세밀한 작업이 가능하다.However, in the gesture recognition apparatus according to the exemplary embodiment of the present invention, the camera and the display 240 are positioned between the user 210 and the controller 220, thereby eliminating a problem such as a conventional visual disturbance. There is no obstruction between the line of sight of the user and the display, and the display uses the see-through display, so that the user can simultaneously view the screen and the hand gestures, thereby effectively performing the task without much training. Furthermore, the user can perform the work by using the user's gaze and hand movement at the same time, so that accurate and detailed work is possible.

도 3은 본 발명의 일 실시예에 따른 시스루 디스플레이를 이용한 동작인식 방법의 흐름도이다.3 is a flowchart of a motion recognition method using a see-through display according to an embodiment of the present invention.

310단계는 제 1 카메라가 촬영한 사용자의 시선 및 제 2 카메라가 촬영한 사용자의 손을 입력으로 받아, 상기 촬영한 시선의 위치와 손의 위치를 추적하는 단계이다.In operation 310, the gaze of the user captured by the first camera and the user's hand taken by the second camera are received as inputs, and the position of the captured gaze and the position of the hand are tracked.

보다 구체적으로, 사용자의 시선을 촬영하는 제 1 카메라와 사용자의 손을 촬영하는 제 2 카메라를 이용하여 시선의 위치와 손의 위치를 추적한다. 본 단계에 대한 상세한 설명은 도 1의 제 1 카메라(110), 제 2 카메라(120), 및 처리부(130)에 대한 상세한 설명에 대응하는바, 도 1의 제 1 카메라(110), 제 2 카메라(120), 및 처리부(130)에 대한 상세한 설명으로 대신한다.More specifically, the position of the gaze and the position of the hand are tracked by using the first camera photographing the user's gaze and the second camera photographing the user's hand. The detailed description of this step corresponds to the detailed description of the first camera 110, the second camera 120, and the processor 130 of FIG. 1, and thus, the first camera 110 and the second camera of FIG. 1. The detailed description of the camera 120 and the processing unit 130 will be replaced by this.

320단계는 상기 시선의 이동과 손의 동작을 분석하는 단계이다.Step 320 is a step of analyzing the movement of the gaze and the motion of the hand.

보다 구체적으로, 310단계에서 추적한 시선의 위치로부터 시선의 이동을 분석한다. 상기 시선의 위치의 이동방향과 이동거리를 산출함으로써 시선의 이동을 분석할 수 있다. 또한, 310단계에서 추적한 손의 위치로부터 손 동작을 분석한다. 손이 상하좌우로 움직이거나 회전하거나, 손의 모양이 바뀌는 지를 분석하여 손 동작을 분석한다. 본 단계에 대한 상세한 설명은 도 1의 처리부(130)에 대한 상세한 설명에 대응하는바, 도 1의 처리부(130)에 대한 상세한 설명으로 대신한다.More specifically, the movement of the gaze is analyzed from the position of the gaze tracked in step 310. The eye movement can be analyzed by calculating the movement direction and the distance of the position of the eye. In addition, the hand motion is analyzed from the position of the hand tracked in step 310. Analyze hand motion by analyzing whether the hand moves up, down, left and right, or changes the shape of the hand. The detailed description of this step corresponds to the detailed description of the processing unit 130 of FIG. 1, and replaces the detailed description of the processing unit 130 of FIG. 1.

330단계는 상기 분석한 시선의 이동과 손 동작에 해당하는 명령을 독출하고, 상기 독출한 명령을 수행하는 단계이다.In operation 330, a command corresponding to the analyzed gaze movement and hand gesture is read, and the read command is performed.

보다 구체적으로, 330단계에서 분석한 시선의 이동과 손 동작에 해당하는 명령을 독출한다. 상기 시선의 이동과 손 동작을 명령 데이터베이스에 미리 저장된 명령들의 손 동작과 비교하여, 해당 명령을 독출한다. 상기 시선의 이동과 손 동작에 해당하는 명령이 있는 경우, 상기 명령을 독출하고, 상기 명령을 수행한다. 본 단계에 대한 상세한 설명은 도 1의 처리부(130)에 대한 상세한 설명에 대응하는바, 도 1의 처리부(130)에 대한 상세한 설명으로 대신한다.More specifically, the command corresponding to the movement of the gaze and the hand gesture analyzed in step 330 is read. The eye movement and the hand motion are compared with the hand motions of the commands previously stored in the command database to read out the command. If there is a command corresponding to the movement of the eye and the hand motion, the command is read and the command is executed. The detailed description of this step corresponds to the detailed description of the processing unit 130 of FIG. 1, and replaces the detailed description of the processing unit 130 of FIG. 1.

340단계는 상기 명령을 수행한 결과를 시스루(see-through) 디스플레이에 출력하는 단계이다.In operation 340, a result of performing the command is output to a see-through display.

보다 구체적으로, 330단계에서 수행한 결과를 사용자에게 제공하기 위하여 시스루 디스플레이에 출력한다. 증강 현실을 통해, 상기 결과와 실제 화면을 일치시켜 출력할 수 있다. 본 단계에 대한 상세한 설명은 도 1의 시스루 디스플레이(140)에 대한 상세한 설명에 대응하는바, 도 1의 시스루 디스플레이(140)에 대한 상세한 설명으로 대신한다.More specifically, in order to provide the user with the result performed in step 330 is output to the see-through display. Through augmented reality, the result and the actual screen can be matched and output. The detailed description of this step corresponds to the detailed description of the see-through display 140 of FIG. 1, and is replaced with the detailed description of the see-through display 140 of FIG. 1.

도 4는 본 발명의 다른 실시예에 따른 시스루 디스플레이를 이용한 동작인식 방법의 흐름도이다.4 is a flowchart of a motion recognition method using a see-through display according to another exemplary embodiment of the present invention.

410단계는 상기 분석한 시선의 이동을 이용하여 상기 디스플레이 상 객체 중 상기 명령을 수행할 객체를 선택하는 단계이다.In operation 410, the object on which the command is to be performed is selected among the objects on the display using the analyzed movement of the gaze.

보다 구체적으로, 320단계에서 분석한 시선의 이동에 따라 현재 시선의 위치에 해당하는 상기 디스플레이 상 객체를 상기 명령을 수행할 객체로 선택한다. 본 단계에 대한 상세한 설명은 도 1의 처리부(130)에 대한 상세한 설명에 대응하는바, 도 1의 처리부(130)에 대한 상세한 설명으로 대신한다.In more detail, according to the movement of the gaze analyzed in operation 320, the object on the display corresponding to the location of the current gaze is selected as an object to perform the command. The detailed description of this step corresponds to the detailed description of the processing unit 130 of FIG. 1, and replaces the detailed description of the processing unit 130 of FIG. 1.

420단계는 상기 분석한 손 동작을 이용하여 상기 선택된 객체에 상기 명령을 수행하는 단계이다.In operation 420, the command is performed on the selected object by using the analyzed hand gesture.

보다 구체적으로, 410단계에서 선택된 객체 320단계에서 분석한 손 동작에 해당하는 명령을 수행한다. 또한, 상기 분석한 시선의 이동이 상기 디스플레이 상 객체 중 하나의 객체에 소정의 시간 이상 정지하면, 상기 시선의 이동이 정지한 객체의 상기 디스플레이 상의 크기를 확대할 수도 있다. 본 단계에 대한 상세한 설명은 도 1의 처리부(130)에 대한 상세한 설명에 대응하는바, 도 1의 처리부(130)에 대한 상세한 설명으로 대신한다.More specifically, the command corresponding to the hand motion analyzed in step 320 of the selected object is performed in step 410. In addition, if the analyzed movement of the gaze stops for more than a predetermined time on one of the objects on the display, the size of the object on which the movement of the gaze stops may be enlarged. The detailed description of this step corresponds to the detailed description of the processing unit 130 of FIG. 1, and replaces the detailed description of the processing unit 130 of FIG. 1.

도 5는 본 발명의 다른 실시예에 따른 시스루 디스플레이를 이용한 동작인식 방법의 흐름도이다.5 is a flowchart illustrating a motion recognition method using a see-through display according to another exemplary embodiment of the present invention.

510단계는 상기 제 1 카메라가 촬영한 사용자의 눈동자의 특징점을 검출하는 단계이다.In operation 510, the feature point of the pupil of the user photographed by the first camera is detected.

보다 구체적으로, 제 1 카메라가 촬영한 화면 중 눈동자의 특징점을 검출하는 단계이다. 상기 눈동자의 특징점은 시선의 위치를 추적하는 기준으로 이용할 수 있다. 본 단계에 대한 상세한 설명은 도 1의 처리부(130)에 대한 상세한 설명에 대응하는바, 도 1의 처리부(130)에 대한 상세한 설명으로 대신한다.More specifically, the step of detecting the feature point of the pupil of the screen shot by the first camera. The feature point of the pupil may be used as a reference for tracking the position of the gaze. The detailed description of this step corresponds to the detailed description of the processing unit 130 of FIG. 1, and replaces the detailed description of the processing unit 130 of FIG. 1.

520단계는 상기 눈동자의 특징점을 추적하여 상기 시선의 위치를 추적하는 단계이다.Step 520 is a step of tracking the position of the eye by tracking the feature point of the eye.

보다 구체적으로, 510단계에서 검출한 눈동자의 특징점의 위치를 추적함으로써, 상기 시선의 위치가 이동한 방향과 거리를 추적할 수 있다. 본 단계에 대한 상세한 설명은 도 1의 처리부(130)에 대한 상세한 설명에 대응하는바, 도 1의 처리부(130)에 대한 상세한 설명으로 대신한다.More specifically, by tracking the position of the feature point of the pupil detected in step 510, it is possible to track the direction and distance the position of the eye gaze. The detailed description of this step corresponds to the detailed description of the processing unit 130 of FIG. 1, and replaces the detailed description of the processing unit 130 of FIG. 1.

도 6은 본 발명의 다른 실시예에 따른 시스루 디스플레이를 이용한 동작인식 방법의 흐름도이다.6 is a flowchart of a motion recognition method using a see-through display according to another exemplary embodiment of the present invention.

610단계는 상기 제 2 카메라가 촬영한 손의 특징점을 검출하는 단계이다.In operation 610, a feature point of the hand photographed by the second camera is detected.

보다 구체적으로, 제 2 카메라가 촬영한 화면 중 손의 특징점을 검출하는 단계이다. 상기 손의 특징점은 손 동작을 판단하는 기준으로 이용할 수 있다. 본 단계에 대한 상세한 설명은 도 1의 처리부(130)에 대한 상세한 설명에 대응하는바, 도 1의 처리부(130)에 대한 상세한 설명으로 대신한다.More specifically, the step of detecting the feature point of the hand of the screen photographed by the second camera. The feature point of the hand may be used as a criterion for determining hand motion. The detailed description of this step corresponds to the detailed description of the processing unit 130 of FIG. 1, and replaces the detailed description of the processing unit 130 of FIG. 1.

620단계는 상기 손의 특징점을 추적하여 상기 손의 위치를 추적하는 단계이다. Step 620 is a step of tracking the position of the hand by tracking a feature point of the hand.

보다 구체적으로, 610단계에서 검출한 손의 특징점의 위치를 추적함으로써, 상기 손의 이동 또는 손 모양의 변화를 추적할 수 있다. 본 단계에 대한 상세한 설명은 도 1의 처리부(130)에 대한 상세한 설명에 대응하는바, 도 1의 처리부(130)에 대한 상세한 설명으로 대신한다.More specifically, by tracking the position of the feature point of the hand detected in step 610, it is possible to track the movement of the hand or the change in the shape of the hand. The detailed description of this step corresponds to the detailed description of the processing unit 130 of FIG. 1, and replaces the detailed description of the processing unit 130 of FIG. 1.

본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체 (magnetic media), CD-ROM, DVD와 같은 광기록 매체 (optical media), 플롭티컬 디스크 (floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬 (ROM), 램 (RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments of the present invention may be implemented in the form of program instructions that can be executed on various computer means and recorded on a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described by specific embodiments such as specific components and the like. For those skilled in the art, various modifications and variations are possible from these descriptions.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

110, 120: 카메라
130: 처리부
140, 240: 시스루 디스플레이
210: 사용자
220: 사용자의 손(컨트롤러)
230: 디스플레이110, 120: camera
130:
140, 240: see-through display
210: user
220: user's hand (controller)
230: Display

Claims (11)

디스플레이 일면에 위치하여 사용자의 시선을 촬영하는 제 1 카메라;
상기 제 1 카메라와 반대방향을 촬영하도록, 상기 디스플레이의 상기 제 1 카메라가 위치한 면과 반대 면에 위치하여 사용자의 손을 촬영하는 제 2 카메라;
상기 촬영한 시선과 손의 위치를 추적하고, 상기 시선의 이동과 손의 동작을 분석하여 상기 분석한 시선의 이동과 손 동작에 해당하는 명령을 독출하며, 상기 명령을 수행하는 처리부; 및
상기 명령을 수행한 결과를 상기 사용자에게 제공하고, 상기 사용자의 시선방향에서 상기 디스플레이 반대 쪽의 손 동작이 보이는 시스루(see-through) 디스플레이를 포함하는 동작인식 장치.A first camera positioned on one surface of the display to capture the user's eyes;
A second camera photographing a user's hand on a surface opposite to a surface on which the first camera is located so as to photograph the opposite direction to the first camera;
A processor configured to track the photographed gaze and the position of the hand, analyze the movement of the gaze and the motion of the hand to read a command corresponding to the analyzed gaze movement and the hand motion, and perform the command; And
And a see-through display for providing a result of performing the command to the user, wherein a hand gesture on the opposite side of the display is seen in the user's gaze direction. 제 1 항에 있어서,
상기 처리부는,
상기 분석한 시선의 이동을 이용하여 상기 디스플레이 상 객체 중 상기 명령을 수행할 객체를 선택하고, 상기 분석한 손 동작을 이용하여 상기 선택된 객체에 상기 명령을 수행하는 것을 특징으로 하는 동작인식 장치.The method of claim 1,
Wherein,
And selecting an object to execute the command from among the objects on the display by using the analyzed movement of the gaze, and performing the command on the selected object by using the analyzed hand motion. 제 1 항에 있어서,
상기 처리부는,
상기 분석한 시선의 이동이 상기 디스플레이 상 객체 중 하나의 객체에 소정의 시간 이상 정지하면, 상기 시선의 이동이 정지한 객체의 상기 디스플레이 상의 크기를 확대하는 것을 특징으로 하는 동작인식 장치.The method of claim 1,
Wherein,
And when the movement of the analyzed gaze stops for more than a predetermined time on one of the objects on the display, the motion recognition device to enlarge the size on the display of the object where the movement of the gaze stops. 제 1 항에 있어서,
상기 처리부는,
상기 제 1 카메라가 촬영한 사용자의 눈동자의 특징점을 검출하고, 상기 눈동자의 특징점을 추적하여 상기 시선의 이동을 추적하는 것을 특징으로 하는 동작인식 장치.The method of claim 1,
Wherein,
Motion detection device for detecting the feature point of the pupil of the user taken by the first camera, the feature point of the eye to track the movement of the eye. 제 1 항에 있어서,
상기 처리부는,
상기 제 2 카메라가 촬영한 손의 특징점을 검출하고, 상기 손의 특징점을 추적하여, 상기 손 동작을 분석하는 것을 특징으로 하는 동작인식 장치.The method of claim 1,
Wherein,
Motion recognition device for detecting a feature point of the hand photographed by the second camera, the feature point of the hand is tracked, and analyzing the hand motion. 제 1 카메라가 촬영한 사용자의 시선 및 제 2 카메라가 촬영한 사용자의 손을 명령으로 받아, 상기 촬영한 시선의 위치와 손의 위치를 추적하는 단계;
상기 시선의 이동과 손의 동작을 분석하는 단계;
상기 분석한 시선의 이동과 손 동작에 해당하는 명령을 독출하고, 상기 독출한 명령을 수행하는 단계; 및
상기 명령을 수행한 결과를 시스루(see-through) 디스플레이에 출력하는 단계를 포함하고,
상기 시스루 디스플레이는 상기 사용자의 시선방향에서 상기 디스플레이 반대 쪽의 손 동작이 보이는 것을 특징으로 하는 동작인식 방법.Receiving a user's gaze photographed by a first camera and a user's hand photographed by a second camera, and tracking a position of the photographed gaze and a hand position;
Analyzing the movement of the gaze and the motion of the hand;
Reading a command corresponding to the analyzed gaze movement and hand motion and performing the read command; And
Outputting a result of performing the command to a see-through display,
The see-through display is a gesture recognition method, characterized in that the hand motion of the opposite side of the display is visible in the user's line of sight. 제 6 항에 있어서,
상기 명령을 수행하는 단계는,
상기 분석한 시선의 이동을 이용하여 상기 디스플레이 상 객체 중 상기 명령을 수행할 객체를 선택하는 단계; 및
상기 분석한 손 동작을 이용하여 상기 선택된 객체에 상기 명령을 수행하는 단계를 포함하는 동작인식 방법.The method according to claim 6,
Performing the command,
Selecting an object on which the command is to be performed from among objects on the display using the analyzed movement of the gaze; And
And performing the command on the selected object by using the analyzed hand gesture. 제 6 항에 있어서,
상기 명령을 수행하는 단계는,
상기 분석한 시선의 이동이 상기 디스플레이 상 객체 중 하나의 객체에 소정의 시간 이상 정지하면, 상기 시선의 이동이 정지한 객체의 상기 디스플레이 상의 크기를 확대하는 것을 특징으로 하는 동작인식 방법.The method according to claim 6,
Performing the command,
And when the movement of the analyzed gaze stops for more than a predetermined time on one of the objects on the display, the size of the object on which the movement of the gaze stops is enlarged on the display. 제 6 항에 있어서,
상기 시선의 위치와 손의 위치를 추적하는 단계는,
상기 제 1 카메라가 촬영한 사용자의 눈동자의 특징점을 검출하는 단계; 및
상기 눈동자의 특징점을 추적하여 상기 시선의 위치를 추적하는 단계를 포함하는 동작인식 방법.The method according to claim 6,
Tracking the position of the eye and the position of the hand,
Detecting feature points of a pupil of a user photographed by the first camera; And
And tracking the position of the eye by tracking the feature point of the pupil. 제 6 항에 있어서,
상기 시선의 위치와 손의 위치를 추적하는 단계는,
상기 제 2 카메라가 촬영한 손의 특징점을 검출하는 단계; 및
상기 손의 특징점을 추적하여 상기 손의 위치를 추적하는 단계를 포함하는 동작인식 방법.The method according to claim 6,
Tracking the position of the eye and the position of the hand,
Detecting feature points of a hand photographed by the second camera; And
Tracking the position of the hand by tracking a feature point of the hand. 제 6 항 내지 제 10 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing the method of any one of claims 6 to 10.
KR1020120046288A 2012-05-02 2012-05-02 Apparatus for recognizing gesture by using see-through display and Method thereof KR101374316B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120046288A KR101374316B1 (en) 2012-05-02 2012-05-02 Apparatus for recognizing gesture by using see-through display and Method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120046288A KR101374316B1 (en) 2012-05-02 2012-05-02 Apparatus for recognizing gesture by using see-through display and Method thereof

Publications (2)

Publication Number Publication Date
KR20130123116A true KR20130123116A (en) 2013-11-12
KR101374316B1 KR101374316B1 (en) 2014-03-14

Family

ID=49852527

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120046288A KR101374316B1 (en) 2012-05-02 2012-05-02 Apparatus for recognizing gesture by using see-through display and Method thereof

Country Status (1)

Country Link
KR (1) KR101374316B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9547371B2 (en) 2014-01-17 2017-01-17 Korea Institute Of Science And Technology User interface apparatus and method for controlling the same
WO2017069305A1 (en) * 2015-10-22 2017-04-27 주식회사 싸이버메딕 Virtual reality bio-feedback rehabilitation training device using interactive tool module, and control method therefor
KR20190085377A (en) * 2018-01-10 2019-07-18 삼성전자주식회사 Method and optical system for determining depth information

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383235B1 (en) * 2010-06-17 2014-04-17 한국전자통신연구원 Apparatus for inputting coordinate using eye tracking and method thereof
KR101737839B1 (en) * 2010-09-16 2017-05-19 엘지전자 주식회사 Transparent display device and method for detecting an object

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9547371B2 (en) 2014-01-17 2017-01-17 Korea Institute Of Science And Technology User interface apparatus and method for controlling the same
WO2017069305A1 (en) * 2015-10-22 2017-04-27 주식회사 싸이버메딕 Virtual reality bio-feedback rehabilitation training device using interactive tool module, and control method therefor
KR20190085377A (en) * 2018-01-10 2019-07-18 삼성전자주식회사 Method and optical system for determining depth information

Also Published As

Publication number Publication date
KR101374316B1 (en) 2014-03-14

Similar Documents

Publication Publication Date Title
US11157725B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
US10712901B2 (en) Gesture-based content sharing in artificial reality environments
US11262840B2 (en) Gaze detection in a 3D mapping environment
KR102110811B1 (en) System and method for human computer interaction
WO2017134886A1 (en) Information processing device, information processing method, and recording medium
JP7092028B2 (en) Information processing equipment, information processing methods, and programs
CN110646938B (en) Near-eye display system
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
KR101631011B1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
KR20200091988A (en) Method for controlling device and electronic device thereof
JP6265299B2 (en) Generation of trajectory data for video data
JP2010205223A (en) System and device for control following gesture for virtual object
KR101396488B1 (en) Apparatus for signal input and method thereof
KR101374316B1 (en) Apparatus for recognizing gesture by using see-through display and Method thereof
JP6841232B2 (en) Information processing equipment, information processing methods, and programs
KR20210073429A (en) Integration Interface Method and System based on Eye tracking and Gesture recognition for Wearable Augmented Reality Device
KR20200081529A (en) HMD based User Interface Method and Device for Social Acceptability
KR20150044243A (en) Electronic learning apparatus and method for controlling contents by hand avatar
KR101558094B1 (en) Multi-modal system using for intuitive hand motion and control method thereof
EP4220355A1 (en) Information processing device, information processing method, and program
KR20110114279A (en) Method, system and computer-readable recording medium for controlling 3d contents by tracking position and direction of head

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180306

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190226

Year of fee payment: 6