KR20130129775A - Method for implementing user interface based on motion detection and apparatus thereof - Google Patents

Method for implementing user interface based on motion detection and apparatus thereof Download PDF

Info

Publication number
KR20130129775A
KR20130129775A KR1020120053884A KR20120053884A KR20130129775A KR 20130129775 A KR20130129775 A KR 20130129775A KR 1020120053884 A KR1020120053884 A KR 1020120053884A KR 20120053884 A KR20120053884 A KR 20120053884A KR 20130129775 A KR20130129775 A KR 20130129775A
Authority
KR
South Korea
Prior art keywords
recognition
virtual space
recognition object
motion
operation command
Prior art date
Application number
KR1020120053884A
Other languages
Korean (ko)
Other versions
KR101394604B1 (en
Inventor
김윤중
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020120053884A priority Critical patent/KR101394604B1/en
Publication of KR20130129775A publication Critical patent/KR20130129775A/en
Application granted granted Critical
Publication of KR101394604B1 publication Critical patent/KR101394604B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Abstract

An interface device connected with a computer device obtains an image about a user and divides a virtual area for providing a user interface through motion sensing into a plurality of areas based on depth information of the image. When a sensing target corresponding to a partial body of the user enters the virtual area, motion information is generated based on the movement of the target, information about a position of the target in the virtual area, and a kind of the target and an operation command corresponding to the motion information is outputted. [Reference numerals] (1) User interface device;(10) Image acquisition unit;(20) Image processing unit;(30) Virtual space setting unit;(40) Motion recognition unit;(41) Extraction module;(42) Motion tracking modul;(43) Recognition module;(50) Motion command output unit

Description

모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치{method for implementing user interface based on motion detection and apparatus thereof}[0001] The present invention relates to a method and a device for implementing a user interface through motion detection,

본 발명은 모션 감지를 통한 사용자 인터페이스를 구현하는 방법 및 그 장치에 관한 것이다. The present invention relates to a method and apparatus for implementing a user interface through motion detection.

일반적으로 컴퓨터 시스템에 사용되는 사용자 인터페이스 장치로는 키보드, 마우스, 조이스틱 등의 기계적인 장치들이 주로 사용되며, 최근에는 사용자 입력의 편의성을 위하여 화면 터치를 통하여 입력 인터페이스 장치가 개발되어 사용되고 있다. 화면 터치를 통한 입력 방법은 어플리케이션의 버튼을 클릭하는 등의 초기 단계에서 정밀한 포인팅, 좌표 이동, 멀티 터치 등의 높은 단계로 진화하고 있다. 이러한 화면 터치를 통한 입력 방법보다도 사용자에게 보다 친화적이고 직관적인 입력 인터페이스 방법이 요구됨에 따라, 영상 인식을 통한 모션 인식 기술이 개발되어 사용되고 있다. Generally, as a user interface device used in a computer system, mechanical devices such as a keyboard, a mouse, and a joystick are mainly used. Recently, an input interface device has been developed and used for screen input for convenience of user input. The input method through the touch screen has evolved into a high level such as precise pointing, coordinate movement, and multi-touch in the initial stage such as clicking an application button. Since a more friendly and intuitive input interface method is required for the user than the input method using the screen touch, a motion recognition technology based on image recognition has been developed and used.

영상 인식을 통한 모션 인식 기술은 주로 게임 및 텔레비전 등의 엔터테인먼트 장치에 적용되고 있는데, 일반적으로 사용되는 어플리케이션에 따라 각기 서로 다른 모션을 토대로 하는 입력 인터페이스를 수행한다. 더욱이 버튼 클릭이나 확인 등의 동작을 하기 위해서는 특정 위치에 손과 같은 신체 부분을 계속 위치시키거나 일정 회수 이상 손을 흔드는 동작을 하여야 하는데, 이러한 동작을 사용자가 수행하는데 있어서 불편함이 야기되고 특히 정확한 위치로 손을 위치시키지 않는 경우에는 인식이 되지 않아서 해당 동작을 반복적으로 수행하고 특정 동작을 유지해야 하는 등의 불편함이 야기된다. 그러므로 이러한 모션 인식을 통한 사용자 인터페이스 방법은 엔터테인먼트 장치의 이외의 다른 목적을 가지는 컴퓨터 장치에 적용하는 것이 용이하지 않다. Motion recognition technology based on image recognition is mainly applied to entertainment devices such as games and televisions, and performs an input interface based on different motions according to generally used applications. Furthermore, in order to perform an operation such as button click or confirmation, it is necessary to continuously position a body part such as a hand at a specific position or to shake the hand more than a predetermined number of times. Such an operation is inconvenient for the user to perform, If the hand is not positioned at the position, the recognition is not performed, which causes inconveniences such as repeatedly performing the operation and maintaining a specific operation. Therefore, it is not easy to apply the user interface method through motion recognition to a computer apparatus having other purposes than the entertainment apparatus.

일반적인 컴퓨터 장치에서 마우스를 대신하여 손동작을 인식하여 사용자 인터페이스를 제공하는 방법이 개발되고 있는데, 이러한 방법들은 복잡한 제스쳐나 손동작 또는 모양 등을 요구하기 때문에 이러한 움직임을 인식하는데 있어서의 정확도가 떨어진다. 예를 들어 특정 손가락을 위아래로 움직이는 동작을 마우스의 버튼 클릭에 대응하는 동작으로 인식하는데, 영상으로부터 특정 손가락의 움직임을 인식하는 정밀도가 떨어져서 사용자가 원하는 동작이 이루어지지 않는 문제가 있다. A method of providing a user interface by recognizing a hand gesture on behalf of a mouse in a general computer device has been developed. Since these methods require complicated gestures, gestures or shapes, the accuracy in recognizing such gestures is low. For example, an operation of moving a specific finger up and down is recognized as an operation corresponding to a button click of a mouse. However, there is a problem that a desired operation is not performed by a user because the accuracy of recognizing a specific finger movement from the image is low.

본 발명이 이루고자 하는 기술적 과제는 보다 용이하고 쉬운 모션을 통하여 컴퓨터 장치에 대한 사용자 인터페이스 동작이 이루어지도록 하는 방법 및 그 장치를 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for performing a user interface operation on a computer device through easier and easier motion.

본 발명의 과제를 달성하기 위한 본 발명의 특징에 따른 방법은 컴퓨터 장치와 연결된 인터페이스 장치에서 사용자 인터페이스를 구현하는 방법이며, 사용자에 대한 영상을 획득하는 단계; 상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 단계; 상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하는지를 확인하는 단계; 상기 가상 공간에 상기 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 단계; 및 상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 단계를 포함한다. According to an aspect of the present invention, there is provided a method of implementing a user interface in an interface device connected to a computer device, the method comprising: acquiring an image for a user; Setting a virtual space for providing a user interface through motion recognition on the image, the virtual space being divided into a plurality of regions based on the depth information of the image; Confirming whether a recognition target corresponding to a part of a user's body enters the virtual space; Generating motion information based on the type of the recognition object, information indicating which area of the virtual space is located in the virtual space, and motion of the recognition object, when the recognition target enters the virtual space; And outputting an operation command previously set corresponding to the motion information.

여기서 상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며, 상기 동작 명령을 출력하는 단계는 상기 가상 공간에서 상기 제1 인식 대상만이 검출되는 모션 정보가 생성되면, 상기 제1 인식 대상의 움직임에 따라 마우스 포인팅 동작에 따른 명령을 출력할 수 있다. Wherein the recognition object includes a first recognition object and a second recognition object, and the step of outputting the operation command includes: when motion information in which only the first recognition object is detected in the virtual space is generated, A command according to the mouse pointing operation can be outputted according to the motion of the mouse.

또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에 하나의 인식 대상이 위치되어 있는 상태에서 다른 하나의 인식 대상의 움직임이 검출되는 모션 정보가 생성되면, 마우스의 버튼을 동작시키는 것에 대응하는 명령을 출력할 수 있다. The step of outputting the operation command may further include a step of generating a command corresponding to operating the button of the mouse when motion information is detected in which one recognition target is located in the virtual space and motion of another recognition target is detected Can be output.

여기서 상기 동작 명령을 출력하는 단계는, 상기 가상 공간에 상기 제1 인식 대상이 위치되어 있는 상태에서, 상기 제2 인식 대상이 상기 가상 공간으로 진입하면서 상기 제1 인식 대상의 위치를 토대로 하는 기준선을 지나치지 않고 위치되는 모션 정보가 생성되면, 마우스 좌측 버튼을 누르는 것에 해당하는 동작 명령을 출력할 수 있다. 또한 상기 제2 인식 대상이 상기 기준선을 지나치지 않고 위치된 상태에서, 상기 제2 인식 대상이 상기 가상 공간을 벗어나는 움직임이 검출되는 모션 정보가 생성되면, 마우스 좌측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 동작 명령을 출력할 수 있다. Wherein the step of outputting the operation command includes a step of outputting the operation command based on a position of the first recognition target in the virtual space and a reference line based on the position of the first recognition target while the second recognition target enters the virtual space When the motion information that is not excessively generated is generated, an operation command corresponding to pressing the left button of the mouse can be outputted. When motion information is detected in which motion of the second recognition target is out of the virtual space is generated in a state in which the second recognition target does not extend beyond the reference line, an operation corresponding to pressing and releasing the left button of the mouse Command can be output.

또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에 상기 제1 인식 대상이 위치되어 있는 상태에서, 상기 제2 인식 대상이 상기 가상 공간으로 진입하면서 상기 제1 인식 대상의 위치를 토대로 하는 기준선을 지나쳐서 위치되는 모션 정보가 생성되면, 마우스 우측 버튼을 누르는 것에 해당하는 동작 명령을 출력할 수 있다. 또한 상기 제2 인식 대상이 상기 기준선을 지나쳐서 위치된 상태에서, 상기 제2 인식 대상이 상기 가상 공간을 벗어나는 움직임이 검출되는 모션 정보가 생성되면, 마우스 우측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 동작 명령을 출력할 수 있다. The step of outputting the operation command further includes a step of outputting the operation command when the second recognition target enters the virtual space while the first recognition target is located in the virtual space and passes the reference line based on the position of the first recognition target When motion information to be positioned is generated, an operation command corresponding to pressing the right button of the mouse can be outputted. When the motion information in which the motion of the second recognition target deviates from the virtual space is generated in a state where the second recognition target is located over the reference line, an operation command corresponding to pressing and releasing the right button of the mouse Can be output.

또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에서 상기 제1 인식 대상이 검출되고 제2 인식 대상의 움직임에 의하여 마우스 좌측 버튼이 눌려진 상태로 판단된 경우에, 상기 제1 인식 대상이 상하좌우로 이동하는 움직임이 검출되는 모션 정보가 생성되면, 마우스 드래그 동작 명령을 출력하고, 상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제2 인식 대상이 수직방향으로 이동하는 움직임이 검출되는 모션 정보가 생성되면, 마우스 휠의 업/다운 동작 명령을 출력할 수 있다.The step of outputting the operation command may further include a step of, when the first recognition object is detected in the virtual space and the mouse left button is pressed by the movement of the second recognition object, When the motion information in which the moving motion is detected is generated, the mouse drag operation command is output, and the motion in which the first recognition object and the second recognition object are detected in the virtual space and the second recognition object moves in the vertical direction When the motion information to be detected is generated, an up / down operation command of the mouse wheel can be outputted.

또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 어느 하나의 인식 대상이 회전하는 움직임이 검출되는 모션 정보가 생성되면, 줌 인/아웃(In/Out) 동작 명령을 출력할 수 있다. The step of outputting the motion command may further include generating motion information in which the first recognition object and the second recognition object are detected in the virtual space and motion in which the motion of one of the recognition objects is detected is generated, / Out) operation command can be output.

또한 상기 동작 명령을 출력하는 단계는 상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제1 및 제2 인식 대상이 수평적으로 서로 반대 방향으로 각각 움직이는 모션 정보가 생성되면, 모드 인/아웃(In/Out) 동작 명령을 출력할 수 있다. The step of outputting the operation command may include generating motion information in which the first recognition object and the second recognition object are detected in the virtual space and the first and second recognition objects horizontally move in mutually opposite directions, Mode In / Out operation command can be output.

본 발명의 다른 특징에 따른 장치는, 컴퓨터 장치와 연결된 사용자 인터페이스 장치이며, 사용자에 대한 영상을 획득하는 영상 획득부; 상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 가상 공간 설정부; 상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 모션 인식부; 및 상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 동작 명령 출력부를 포함한다. An apparatus according to another aspect of the present invention is a user interface apparatus connected to a computer apparatus, comprising: an image acquiring unit acquiring an image for a user; A virtual space setting unit for setting a virtual space for providing a user interface through motion recognition for the image, based on the depth information of the image, the virtual space being divided into a plurality of regions; Information indicating a type of the recognition object, information indicating in which area of the virtual space the recognition object is located, motion information on the basis of the motion of the recognition object A motion recognition unit; And an operation command output unit outputting an operation command previously set corresponding to the motion information.

상기 가상 공간은 동작을 수행하기 위한 예비 동작이 이루어지는 제1 영역, 동작을 수행하기 위한 명령을 입력하는 공간인 제2 영역, 그리고 미리 설정된 화면상의 위치로 이동하는 명령을 수행하는 공간인 제3 영역으로 나뉘어질 수 있다. The virtual space includes a first area where a preliminary operation for performing an operation is performed, a second area that is a space for inputting a command for performing an operation, and a third area that is a space for executing an instruction to move to a predetermined on- ≪ / RTI >

상기 모션 인식부는 상기 인식 대상이 상기 제1 영역에 위치하는 경우에는 상기 모션 정보를 생성하지 않을 수 있다. The motion recognition unit may not generate the motion information when the recognition target is located in the first area.

또한 상기 동작 명령 출력부는 상기 인식 대상이 상기 가상 공간의 제1 내지 제3 영역 중 어느 영역에 위치되는지를 나타내는 정보를 상기 컴퓨터 장치로 제공할 수 있다. The operation command output unit may provide the computer apparatus with information indicating which of the first to third regions of the virtual space the recognition target is located in.

본 발명의 실시 예에 따르면, 컴퓨터 장치에서 사용되는 어플리케이션을 동작시키는데 있어서 필요한 사용자 인터페이스를 보다 간단하고 쉬운 모션 동작을 인식하는 것에 의하여 구현할 수 있다. 특히 상업적으로 업무에 필요하거나 일반적으로 사용되는 어플리케이션을 사용하는데 있어서 모션 인식을 통한 사용자 인터페이스를 구현할 때, 보다 쉬운 모션으로 직관적이고 명확한 명령을 컴퓨터 장치로 제공할 수 있으므로, 사용자 편의성을 제공할 수 있다. 또한 엔터테인먼트　용으로만　사용되었던　모션 인식　사용자　인터페이스　방식에서　변모하여,　일반적인　PC 작업을　포함해서 예를 들어, 대형　스크린을　이용하는 작업, 스크린과　일정　거리　이상 떨어져서　하는　작업,　대규모　관제　시스템의　중앙관제 업무나, 상황실　등의　발표자 컴퓨터　조작　등의　편의성과　효율성을　높일 수 있다. According to an embodiment of the present invention, a user interface necessary for operating an application used in a computer device can be implemented by recognizing a motion operation that is simpler and easier. In particular, when implementing a user interface through motion recognition in using an application that is commercially necessary or commonly used, it is possible to provide an intuitive and clear command to a computer device in an easier motion, thereby providing user convenience . In addition, it is transformed from the motion recognition user interface method which was used only for entertainment, so that it can be used for a large screen including a general PC work, for example, a large screen, The convenience and efficiency of the presenter's computer operation, such as the situation room, can be enhanced.

또한 어플리케이션 개발 과정에서도 모션 입력 장치를 따로 고려하지 않아도 되는 개발 편의성을 제공할 수 있다. 따라서 모션 입력 인터페이스를 위해 개발된 애플리케이션뿐 아니라, 사용자가 원하는 모든 어플리케이션에서 본 발명의 실시 예에 따른 모션 인식을 통하여 사용자 인터페이스를 용이하게 구현할 수 있다. Also, it is possible to provide the convenience of development that does not need to consider the motion input device separately during the application development process. Therefore, not only the application developed for the motion input interface but also the user interface can be easily implemented through motion recognition according to the embodiment of the present invention in all applications desired by the user.

도 1은 본 발명의 실시 예에 따른 모션 감지를 통한 사용자 인터페이스 장치의 구조를 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 가상 공간을 나타낸 예시도이다.
도 3은 본 발명의 실시 예에 따른 가상 공간의 제3 영역에 사용자 모션이 인식되는 상태를 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 제3 영역에서 인식된 사용자 모션에 따라 화면상에 포인터가 위치되는 것을 나타낸 예시도이다.
도 5 내지 도 14는 본 발명의 실시 예에 따른 동작 명령에 대응하는 인식 대상의 모션들을 나타낸 도이다.
도 15는 본 발명의 실시 예에 따른 가상 공간에서의 사용자 손의 위치를 표시하는 지시자를 나타낸 예시도이다.
도 16은 본 발명의 실시 예에 따른 사용자 인터페이스 구현 방법의 흐름도이다. FIG. 1 is a diagram illustrating a structure of a user interface device through motion detection according to an embodiment of the present invention. Referring to FIG.
2 is a diagram illustrating an example of a virtual space according to an embodiment of the present invention.
3 is a diagram illustrating a state in which a user's motion is recognized in a third area of a virtual space according to an embodiment of the present invention.
FIG. 4 is an exemplary diagram illustrating that a pointer is positioned on a screen according to a user's motion recognized in a third area according to an embodiment of the present invention. FIG.
5 to 14 are views showing motions of a recognition target corresponding to an operation command according to an embodiment of the present invention.
15 is an exemplary view showing an indicator for indicating the position of a user's hand in a virtual space according to an embodiment of the present invention.
16 is a flowchart of a method for implementing a user interface according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise.

이하, 본 발명의 실시 예에 따른 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치에 대하여 설명한다. Hereinafter, a method and an apparatus for implementing a user interface through motion detection according to an embodiment of the present invention will be described.

도 1은 본 발명의 실시 예에 따른 모션 감지를 통한 사용자 인터페이스 장치의 구조를 나타낸 도이다. FIG. 1 is a diagram illustrating a structure of a user interface device through motion detection according to an embodiment of the present invention. Referring to FIG.

첨부한 도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 모션 감지를 통한 사용자 인터페이스 장치(1)는 영상 획득부(10), 영상 처리부(20), 가상 공간 설정부(30), 모션 인식부(40), 동작 명령 출력부(50)를 포함한다. 1, a user interface device 1 for motion detection according to an exemplary embodiment of the present invention includes an image acquisition unit 10, an image processing unit 20, a virtual space setting unit 30, A recognition unit 40, and an operation command output unit 50. [

영상 획득부(10)는 오브젝트(object)의 영상을 촬영한다. 이를 위하여 적어도 하나의 카메라를 포함할 수 있다. 예를 들어, 카메라는 모니터의 상단이나 하단에 설치되어 촬영 가능한 범위내에 위치한 오브젝트(예: 사용자)의 영상을 촬영한다. The image acquisition unit 10 captures an image of an object. And may include at least one camera for this purpose. For example, the camera captures an image of an object (e.g., a user) located at the top or bottom of the monitor and located within a photographable range.

영상 처리부(20)는 영상 획득부(10)로부터 제공되는 영상을 인식 가능하게 처리하여 영상 신호로 출력한다. 카메라로부터 획득한 영상을 처리하는 기술은 공지되어 있으므로 여기서는 상세한 설명을 생략한다. The image processing unit 20 recognizes the image provided from the image obtaining unit 10 and outputs the processed image as a video signal. A technique for processing an image obtained from a camera is well-known, and a detailed description thereof will be omitted here.

가상 공간 설정부(30)는 영상 신호로부터 가상 공간을 설정한다. 여기서 가상 공간은 본 발명의 실시 예에 따른 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 공간이다. The virtual space setting unit 30 sets a virtual space from the video signal. Here, the virtual space is a space for providing a user interface through motion recognition according to an embodiment of the present invention.

도 2는 본 발명의 실시 예에 따른 가상 공간을 나타낸 예시도이다. 2 is a diagram illustrating an example of a virtual space according to an embodiment of the present invention.

본 발명의 실시 예에 따른 가상 공간은 영상 신호로부터 추출되는 오브젝트의 특정 범위일 수 있는데, 도 2에 예시된 바와 같이, 오브젝트 즉, 사용자의 신체　부위의　일부분　또는　신체 모든　부분에　비례하여　적용되는　공간일 수 있다. 예를 들어, 사용자의　어깨로부터 손까지의 거리를 기준으로 가상 공간을 설정할 수 있다. 즉, 사용자의 어깨로부터 손까지의 거리를 기준 거리로 하고, 각각 기준 거리만큼의 길이를 가지는 4개의 면으로 이루어지는 사각형을 형성하고 이러한 사각형을 하나의 면으로 가지는 육면체로 이루어지는 입체 튜브를 형성하여 이를 가상 공간(virtual region, VR)으로 설정한다. 이러한 입체 튜브 형상의 가상 공간(VR)는 도 2에 예시된 바와 같이, 사용자의 정면 가슴에 평행하게 위치되어 사용자의 손의 움직임에 따른 손의 모션을 촬영할 수 있도록 형성될 수 있다. The virtual space according to an exemplary embodiment of the present invention may be a specific range of an object extracted from an image signal. As illustrated in FIG. 2, a virtual space may include a space that is applied to a part of the body part of the user, Lt; / RTI > For example, the virtual space can be set based on the distance from the user's shoulder to the hand. That is, a stereoscopic tube having four surfaces having a length corresponding to a reference distance is formed as a reference distance from a shoulder to a hand of a user and a hexahedron having such a square as one surface is formed, And sets it as a virtual region (VR). The virtual space VR in the form of a three-dimensional tube may be positioned parallel to the front chest of the user, as illustrated in FIG. 2, and may be configured to capture the motion of the hand according to the movement of the user's hand.

한편 이러한 가상 공간(VR)을 복수의 영역으로 나눌 수 있다. 예를 들어 가상 공간을 3개의 영역으로 나누고 제1 영역은 동작을 수행하기 위한 예비 동작이 이루어지는 영역으로 하고, 제2 영역은 동작을 수행하기 위한 명령을 입력하는 공간으로 지정하고, 제3 영역은 특정 목적의 명령을 수행하기 위한 공간으로 지정할 수 있다. On the other hand, this virtual space (VR) can be divided into a plurality of regions. For example, the virtual space may be divided into three regions, the first region may be a region in which a preliminary operation is performed for performing an operation, the second region may be a space for inputting a command for performing an operation, It can be specified as a space for executing a specific purpose command.

예를 들어, 도 2에서와 같이, 가상 공간을 제1 영역(VR1)과 제2 영역(VR2), 그리고 제3 영역(VR3)으로 나눈다. 제1 영역(VR1)에서 사용자의 손의 모션이 인식되어도 예비 동작이 이루어지는 것으로 판단한다. 제2 영역(VR2)에서 사용자의 손의 모션이 인식되는 경우에는 해당 모션을 소정 동작을 수행하기 위한 명령으로 처리한다. 특히 제2 영역(VR2)에서는 사용자의 손의 움직임 거리에 대응하여 화면상에서 포인터의 위치를 이동시킨다. 제3 영역(VR3)에서 사용자의 손의 모션이 인식되는 경우에도 해당 모션을 특정 동작을 수행하기 위한 명령으로 처리한다. 구체적으로 제3 영역에서 사용자의 손의 모션이 검출되면 손의 움직임 거리와는 상관없이 화면상의 지정 위치로 포인터의 위치를 이동시키는 동작을 수행하는 명령으로 처리한다. For example, as shown in FIG. 2, the virtual space is divided into a first area VR1, a second area VR2, and a third area VR3. It is determined that the preliminary operation is performed even if the motion of the user's hand is recognized in the first area VR1. When the motion of the user's hand is recognized in the second area VR2, the motion is processed as a command for performing a predetermined operation. In particular, in the second area VR2, the position of the pointer is moved on the screen corresponding to the movement distance of the user's hand. Even when the motion of the user's hand is recognized in the third area VR3, the motion is processed as an instruction for performing a specific operation. Specifically, when the motion of the user's hand is detected in the third area, the pointer is moved to a designated position on the screen regardless of the movement distance of the hand.

도 3은 본 발명의 실시 예에 따른 가상 공간의 제3 영역에 사용자 모션이 인식되는 상태를 나타낸 도이고, 도 4는 본 발명의 실시 예에 따른 제3 영역에서 인식된 사용자 모션에 따라 화면상에 포인터가 위치되는 것을 나타낸 예시도이다. FIG. 3 is a diagram illustrating a state in which a user's motion is recognized in a third area of a virtual space according to an exemplary embodiment of the present invention. FIG. Fig. 3 is a view showing that a pointer is positioned on a display screen.

예를 들어, 도 3에서와 같이, 가상 공간의 제3 영역(VR3)에서 사용자의 손이 검출되고 사용자의 손이 도 4의 (A)에 도시된 바와 같이, 제3 영역(VR3)의 우측으로 손이 이동하면, 도 4의 (B)에 도시되어 바와 같이 화면상의 최우측에 포인터(P1)를 표시한다. 즉, 제3 영역(VR3)에서는 실질적으로 손이 움직인 거리가 화면상의 최우측에 대응하지 않아도 포인터를 화면상의 지정된 위치(예를 들어, 최우측 위치)로 이동시킨다. For example, as shown in Fig. 3, when the user's hand is detected in the third area VR3 of the virtual space and the user's hand is moved to the right of the third area VR3 The pointer P1 is displayed on the rightmost side of the screen as shown in Fig. 4 (B). That is, in the third area VR3, the pointer is moved to a specified position on the screen (for example, the rightmost position) even if the distance of the substantially moving hand does not correspond to the rightmost position on the screen.

이와 같이 제3 영역(VR3)에서 인식 대상인 사용자의 손이 검출되면 검출된 위치에 대응하여 화면상의 미리 설정된 특정 위치로 포인터를 이동시키는 동작을 수행한다. 한편 제2 영역(VR3)에서는 인식 대상인 사용자의 손의 움직임 거리에 대응하여 화면상의 포인터가 이동함으로, 제2 영역(VR3)에서 사용자의 손이 최우측에 위치하여도 화면상의 포인터가 최우측으로 이동하지 않고, 사용자의 손이 움직임 거리에 대응하는 거리만큼만 화면상에서 이동하게 된다. 따라서 사용자는 화면상에서 포인터를 특정 위치(예를 들어, 화면상의 최우측 또는 최좌측 위치 등)으로 이동시키고자 하는 경우에는 손이 가상 공간의 제3 영역(VR3)에 위치시킬 수 있다.When the hand of the user to be recognized is detected in the third region VR3, the pointer is moved to a predetermined position on the screen corresponding to the detected position. On the other hand, in the second area VR3, the pointer moves on the screen corresponding to the movement distance of the hand of the user to be recognized, so that even if the user's hand is located at the rightmost position in the second area VR3, The user's hand moves on the screen only by a distance corresponding to the movement distance without moving. Accordingly, when the user wants to move the pointer to a specific position (e.g., the rightmost or leftmost position on the screen, etc.), the hand can be positioned in the third area VR3 of the virtual space.

이외에도, 가상 공간에서 일부 영역에 대해서는 인식되는 모션을 컴퓨팅하여 명령으로 인식하는 영역으로 설정하고, 나머지 영역을 모션이 검출되어도 명령으로 인식하지 않는 영역으로 설정할 수 있다. 예를 들어, 제1 영역은 모션이 검출되어도 명령으로 인식하지 않는 영역으로 설정되고, 제2 영역 및 제3 영역이 모션 인식에 따른 명령을 인식하는 영역으로 설정될 수 있다. In addition, it is possible to set a region recognized as a command by computing a motion recognized for a part of the virtual space, and set the remaining region as an area not recognized as an instruction even if motion is detected. For example, the first area may be set as an area that is not recognized as an instruction even if motion is detected, and the second area and the third area may be set as an area that recognizes an instruction based on motion recognition.

가상 공간 설정부(20)는 영상 처리부(20)의 영상 신호를 토대로 해당 영상에 대한 깊이 정보를 획득하고, 깊이 정보를 토대로 입체 튜브와 같은 형상을 가지는 가상 공간을 설정할 수 있다. The virtual space setting unit 20 may acquire depth information on the image based on the video signal of the image processing unit 20 and set a virtual space having a shape similar to that of the stereoscopic tube based on the depth information.

모션 인식부(40)는 영상 신호에 대응하는 영상에 대하여 설정된 가상 공간에서 이루어지는 사용자의 모션을 인식한다. 이를 위하여 모션 인식부(40)는 가상 공간에 위치하는 사용자의 미리 설정된 신체 부위에 대응하는 인식 대상을 추출하는 추출 모듈(41), 추출된 인식 대상의 움직임을 추적하는 움직임 추적 모듈(42), 인식 대상의 움직임을 토대로 모션을 인식하는 인식 모듈(43)을 포함한다. The motion recognition unit 40 recognizes the motion of the user in the virtual space set for the video corresponding to the video signal. The motion recognition unit 40 includes an extraction module 41 for extracting a recognition object corresponding to a predetermined body part of a user located in a virtual space, a motion tracking module 42 for tracking the motion of the extracted recognition object, And a recognition module 43 for recognizing the motion based on the motion of the recognition object.

추출 모듈(41)은 영상으로부터 가상 공간에 위치하는 사용자의 미리 설정된 신체 부위인 인식 대상을 추출하는데, 여기서 인식 대상은 사용자의 손일 수 있다. The extraction module 41 extracts a recognition object which is a predetermined body part of the user located in the virtual space from the image, wherein the recognition object can be the user's hand.

움직임 추적 모듈(42)은 인식 대상인 사용자의 손의 움직임을 추적하며, 인식 모듈(43)은 손의 움직임을 토대로 어떠한 모션이 이루어졌는지를 확인한다. 그리고 확인된 모션에 대한 정보를 동작 명령 출력부(50)로 제공한다. The motion tracking module 42 tracks the motion of the hand of the user to be recognized, and the recognition module 43 confirms what motion has been performed based on the motion of the hand. And provides information on the identified motion to the motion command output unit 50. [

동작 명령 출력부(50)는 모션 인식부(40)로부터 제공되는 인식 대상의 모션 정보를 토대로 사용자 인터페이스에 대응하는 동작 명령을 출력한다. 본 발명의 실시 예에 따른 동작 명령은 다음과 같다. The operation command output unit 50 outputs an operation command corresponding to the user interface based on the motion information to be recognized provided from the motion recognition unit 40. [ The operation command according to the embodiment of the present invention is as follows.

제1 동작 명령The first operation command 마우스 포인팅(mouse pointing) 동작 Mouse pointing operation 제2 동작 명령The second operation command 마우스 좌측 버튼 다운(mouse left button down) 동작 Mouse left button down operation 제3 동작 명령The third operation command 마우스 좌측 버튼 릴리즈(mouse left button release) 동작Mouse left button release operation 제4 동작 명령The fourth operation command 마우스 우측 버튼 다운(mouse right button down) 동작Mouse right button down action 제5 동작 명령Fifth operation command 마우스 우측 버튼 릴리즈(mouse right button release) 동작Mouse right button release operation 제6 동작 명령The sixth operation command 마우스 드래그(mouse drag) 동작Mouse drag operation 제7 동작 명령The seventh operation command 마우스 휠 업/다운(wheal up/down) 동작Mouse wheel up / down operation 제8 동작 명령The eighth operation command 줌 인/아웃(zoom In/Out) 동작Zoom in / out operation 제9 동작 명령Ninth operation command 모드 인/아웃(mode In/Out) 동작Mode In / Out operation

본 발명의 실시 예에서는 인식 대상의 모션 정보를 토대로 위의 표 1과 같이 제1 동작 명령 내지 제9 동작 명령 중 어느 하나에 대응하는지를 판단하고, 판단된 동작 명령을 출력한다. 각각의 동작 명령은 위에 기술된 바와 같이 컴퓨터 장치의 마우스의 동작에 대응한다. According to the embodiment of the present invention, it is determined based on the motion information of the recognition object whether any one of the first to ninth operation commands corresponds to the above-mentioned Table 1, and the determined operation command is output. Each action command corresponds to a mouse action of the computer device as described above.

보다 구체적으로 인식 대상의 어떠한 모션이 제1 내지 제9 동작 명령 중 어느 하나에 대응하는지를 판단하는 방법에 대하여 설명한다. More specifically, a method for determining which one of the first to ninth operation commands corresponds to which motion of the recognition target will be described.

도 5 내지 도 14는 본 발명의 실시 예에 따른 동작 명령에 대응하는 인식 대상의 모션들을 나타낸 도이다. 5 to 14 are views showing motions of a recognition target corresponding to an operation command according to an embodiment of the present invention.

여기서는 인식 대상을 제1 인식 대상과 제2 인식 대상으로 나누고, 제1 인식 대상과 제2 인식 대상의 각각의 움직임에 따른 모션을 토대로 어떠한 동작 명령에 해당하는지를 판단한다. 예를 들어 사용자의 하나의 손을 제1 인식 대상으로 하고 사용자의 나머지 손을 제2 인식 대상으로 설정한다. 그리고 제1 인식 대상을 메인 인식 대상으로 하면서 제2 인식 대상을 서브 인식 대상으로 하여, 메인 인식 대상의 움직임을 기준으로 서브 인식 대상이 어떻게 움직이느냐에 따라 어떠한 동작 명령에 해당하는지를 판단할 수 있다. 본 발명은 제1 인식 대상이 메인 인식 대상으로 사용되는 것에 한정되지는 않는다. Here, the recognition object is divided into the first recognition object and the second recognition object, and it is determined which operation command corresponds to the motion based on the motion of each of the first recognition object and the second recognition object. For example, one hand of the user is set as the first recognition target and the remaining hands of the user are set as the second recognition target. Then, it is possible to judge which operation command corresponds to how the sub-recognition target moves based on the motion of the main recognition target, while making the first recognition target the main recognition target and the second recognition target the sub recognition target. The present invention is not limited to the case where the first recognition target is used as the main recognition target.

예를 들어, 도 5에 도시되어 있듯이, 가상 공간(VR)에서 하나의 인식 대상이 검출되면 이것은 제1 동작 명령에 대응하는 것으로 판단한다. 즉, 가상 공간(VR)에서 제1 인식 대상(H1)만이 검출되면 제1 동작 명령에 대응하는 것으로 판단하고, 제1 인식 대상(H1)의 움직임에 따라 마우스 포인팅 동작에 따른 명령을 출력한다. 따라서, 제1 인식 대상(H1)의 움직임에 따라 컴퓨터 장치(도시하지 않음)의 화면상에서 포인터가 이동하는 마우스 포인팅 동작이 수행된다. For example, as shown in FIG. 5, when one recognition object is detected in the virtual space (VR), it is determined that it corresponds to the first operation command. That is, when only the first recognition object H1 is detected in the virtual space VR, it is determined that the first recognition object H1 corresponds to the first operation command, and the command according to the mouse pointing operation is outputted according to the movement of the first recognition object H1. Accordingly, a mouse pointing operation in which the pointer moves on the screen of the computer device (not shown) is performed in accordance with the movement of the first recognition object H1.

또한 예를 들어 가상 공간(VR)에서 제1 및 제2 인식 대상이 검출되고 어느 하나의 인식 대상이 가상 공간(VR)(예를 들어, 가상 공간(VR)의 제2 영역(VR2))에 머물러 있는 상태에서 다른 하나의 인식 대상의 움직임이 검출되면, 이것은 마우스의 버튼을 동작시키는 것으로 판단한다. For example, when the first and second recognition objects are detected in the virtual space VR and any one of the recognition objects is detected in the virtual space VR (for example, the second region VR2 of the virtual space VR) When a motion of another recognition target is detected in the state of staying, it is determined that the button of the mouse is operated.

예를 들어, 도 6의 (A)에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 또는 제2 인식 대상(H2)이 검출된 상태 예를 들어, 제2 영역(VR2)에서 제1 인식 대상(H1)이 가상 공간의 제2 영역(VR2)에 머물러 있는 상태(마우스 포인팅되는 상태)에서 제2 인식 대상(H2)이 가상 공간으로 진입하여 가상 공간의 제2 영역(VR2)에 위치하는 움직임이 검출되면, 해당 모션이 제2 동작 명령에 대응하는 것으로 판단한다. 이 때 제2 인식 대상(H2)이 도 6의 (B)와 같이, 가상 공간의 제2 영역(VR2)에 위치한 제1 인식 대상(H1)을 지나치지 않고 위치되었을 때, 즉, 제2 인식 대상(H2)이 제1 인식 대상(H1)의 위치를 토대로 하는 기준선(도 6의 (B)에서 점선으로 표시됨)을 지나치지 않고 위치된 경우, 해당 모션이 제2 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 좌측 버튼을 누르는 것에 해당하는 마우스 좌측 버튼다운 동작이 수행된다. For example, as shown in Fig. 6A, in a state where the first recognition object H1 or the second recognition object H2 is detected in the second region VR2, for example, the second region VR2 The second recognition object H2 enters the virtual space in a state where the first recognition object H1 stays in the second region VR2 of the virtual space (mouse pointing) VR2 is detected, it is determined that the corresponding motion corresponds to the second motion command. At this time, when the second recognition object H2 is positioned not over the first recognition object H1 located in the second region VR2 of the virtual space as shown in Fig. 6B, that is, It is determined that the corresponding motion corresponds to the second motion command when the second motion command H2 is located not beyond a reference line (indicated by a dotted line in (B) of Fig. 6) based on the position of the first recognition object H1. Accordingly, the left button down operation corresponding to pressing the left button of the mouse is performed.

한편 도 7의 (A)에서와 같이, 제2 인식 대상(H2)이 가상 공간의 제2 영역(VR2)에서 제1 인식 대상(H1)을 지나치지 않고 위치된 상태에서, 제2 인식 대상(H2)이 제2 영역(VR2)을 벗어나는 움직임이 검출되면서, 도 7의 (B)에서와 같이, 제2 영역(VR2)을 완전히 벗어나면, 해당 모션이 제3 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 좌측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 마우스 좌측 버튼 릴리즈 동작이 수행된다. On the other hand, as shown in Fig. 7A, in a state in which the second recognition object H2 is located so as not to pass the first recognition object H1 in the second region VR2 of the virtual space, the second recognition object H2 As shown in Fig. 7 (B), it is determined that the corresponding motion corresponds to the third motion command when the second region VR2 is completely deviated from the second region VR2. Accordingly, the left button release operation corresponding to pressing and releasing the left button of the mouse is performed.

또한 예를 들어, 도 8의 (A)에 도시되어 있듯이, 제1 인식 대상(H1) 또는 제2 인식 대상(H2)이 검출된 상태 예를 들어, 제2 영역(VR2)에서 제1 인식 대상(H1)이 가상 공간의 제2 영역(VR2)에 머물러 있는 상태(마우스 포인팅되는 상태)에서, 제2 인식 대상(H2)이 가상 공간으로 진입하는 움직임이 검출되면서 도 8의 (B)와 같이, 가상 공간의 제2 영역(VR2)에 위치한 제1 인식 대상(H1)을 지나쳐서 위치되었을 때, 해당 모션이 제4 동작 명령에 대응하는 것으로 판단한다. 구체적으로, 제2 인식 대상(H2)이 제1 인식 대상(H1)의 위치를 토대로 하는 기준선(도 8의 (B)에서 점선으로 표시됨)을 지나쳐서 제1 인식 대상(H1)보다 제3 영역(VR3)에 더 가까이 위치된 경우, 해당 모션이 제4 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 우측 버튼을 누르는 것에 해당하는 마우스 우측 버튼다운 동작이 수행된다. For example, as shown in Fig. 8 (A), when the first recognition object H1 or the second recognition object H2 is detected, for example, in the second region VR2, When a motion in which the second recognition object H2 enters the virtual space is detected in a state where the first recognition object H2 remains in the second region VR2 of the virtual space (mouse pointing state) , It is determined that the motion corresponds to the fourth motion command when it is located past the first recognition object H1 located in the second area VR2 of the virtual space. Specifically, the second recognition object H2 passes the reference line H1 (indicated by a dotted line in Fig. 8B) based on the position of the first recognition object H1, VR3), it is determined that the corresponding motion corresponds to the fourth motion command. Accordingly, the right button down operation corresponding to pressing the right button of the mouse is performed.

한편 도 9의 (A)에서와 같이, 제2 인식 대상(H2)이 가상 공간의 제2 영역(VR2)에서 제1 인식 대상(H1)을 지나쳐서 위치된 상태에서, 제2 인식 대상(H2)이 제2 영역(VR2)을 벗어나는 움직임이 검출되면서, 도 9의 (B)에서와 같이, 제2 영역(VR2)을 완전히 벗어나면, 해당 모션이 제5 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 우측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 마우스 우측 버튼 릴리즈 동작이 수행된다. On the other hand, in the state in which the second recognition object H2 is located over the first recognition object H1 in the second region VR2 of the virtual space, as shown in Fig. 9A, It is determined that the motion corresponds to the fifth motion command when the motion beyond the second region VR2 is detected and the second region VR2 is completely deviated as shown in Fig. 9B. Accordingly, the right button release operation corresponding to pressing and releasing the right button of the mouse is performed.

위와 같은 제3 또는 제5 명령을 수행하는 경우, 제2 인식 대상(H2)이 제2 가상 영역(VR2)을 벗어나는 것 이외에도, 가상 공간(VR)을 완전히 벗어날 때 제3 또는 제5 명령에 대응하는 모션이 검출된 것으로 판단하여 해당 명령에 따른 동작이 수행될 수도 있다. In the case of executing the third or fifth command as described above, in addition to the second recognition object H2 out of the second virtual area VR2, corresponding to the third or fifth command when completely deviating from the virtual space VR It may be determined that motion is detected and an operation according to the command may be performed.

또한 예를 들어, 도 10에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 및 제2 인식 대상(H2)이 검출되고 제1 인식 대상(H1)이 상하좌우로 이동하는 움직임이 검출되면, 해당 모션이 제6 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 드래그 동작이 수행된다. 특히, 제1 인식 대상(H1)이 검출되고 도 6의 (B)에서와 같이, 제2 인식 대상(H2)의 움직임에 의하여 마우스 좌측 버튼이 눌러진 상태로 판단된 경우에, 제1 인식 대상(H1)이 상하좌우로 이동하는 움직임이 검출되면 마우스 드래그 동작이 수행될 수 있다. 10, when the first recognition object H1 and the second recognition object H2 are detected in the second region VR2 and the first recognition object H1 moves up and down and left and right When a motion is detected, it is determined that the motion corresponds to the sixth motion command. Thus, the mouse drag operation is performed. Particularly, when the first recognition object H1 is detected and it is determined that the left button of the mouse is pressed by the movement of the second recognition object H2 as shown in Fig. 6B, The mouse drag operation can be performed when a movement of the upper arm H1 is detected.

또한 예를 들어, 도 11에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 및 제2 인식 대상(H2)이 검출되고 제2 인식 대상(H2)이 수직방향(예를 들어, 상하 방향)으로 이동하는 움직임이 검출되면, 해당 모션이 제7 동작 명령에 대응하는 것으로 판단한다. 이에 따라 마우스 휠 업/다운 동작이 수행된다. 11, when the first recognition object H1 and the second recognition object H2 are detected in the second region VR2 and the second recognition object H2 is detected in the vertical direction (for example, In the vertical direction), it is determined that the corresponding motion corresponds to the seventh operation command. Accordingly, the mouse wheel up / down operation is performed.

또한 예를 들어, 도 12에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 및 제2 인식 대상(H2)이 검출되고 제2 인식 대상(H2)이 회전하는 움직임이 검출되면, 해당 모션이 제8 동작 명령에 대응하는 것으로 판단한다. 이때, 제2 인식 대상(H2)이 반시계 방향으로 회전하면 제8 동작 명령 중 줌인(zoom IN) 동작이 수행되고, 제2 인식 대상(H2)이 시계 방향으로 회전하면 제8 동작 명령 중 줌아웃(zoom OUT) 동작이 수행된다. 여기서는 제2 인식 대상(H2)이 회전하는 경우를 예로 들었지만, 제1 인식 대상(H1)이 회전하는 것을 토대로 줌 인/아웃 동작이 수행될 수도 있다. 12, when the first recognition object H1 and the second recognition object H2 are detected in the second region VR2 and the movement in which the second recognition object H2 is rotated is detected , It is determined that the motion corresponds to the eighth motion command. At this time, when the second recognition object H2 rotates in the counterclockwise direction, a zoom IN operation is performed in the eighth operation command, and when the second recognition object H2 rotates in the clockwise direction, (zoom OUT) operation is performed. Here, the case where the second recognition object H2 rotates is described as an example, but a zoom in / out operation may be performed based on the rotation of the first recognition object H1.

또한 예를 들어, 도 13 및 도 14에 도시되어 있듯이, 제2 영역(VR2)에서 제1 인식 대상(H1) 및 제2 인식 대상(H2)이 검출되고, 제1 및 제2 인식 대상(H1, H2)이 수평 방향에서 서로 반대 방향으로 이동하면, 해당 모션이 제9 동작 명령에 대응하는 것으로 판단한다. 이때, 제1 및 제2 인식 대상(H1, H2)이 도 13에서와 같이 수평 방향에서 중심을 기준으로 바깥쪽 방향 즉, 제1 인식 대상(H1)은 우측 방향으로 이동하고 제2 인식 대상(H2)은 좌측 방향으로 이동하면, 제9 동작 명령 중에서 모드 인(mode IN) 동작이 수행된다. 또한 제1 및 제2 인식 대상(H1, H2)이 도 14에서와 같이 수평 방향에서 중심을 기준으로 안쪽 방향 즉, 제1 인식 대상(H1)은 좌측 방향으로 이동하고 제2 인식 대상(H2)은 우측 방향으로 이동하면, 제9 동작 명령 중 모드 아웃(mode OUT) 동작이 수행된다. 예를 들어 모드인 동작에 따라 팝업 창이 표시되고, 모드 아웃 동작에 따라 팝업창이 닫혀지는 동작이 이루어질 수 있다. 13 and 14, for example, the first recognition object H1 and the second recognition object H2 are detected in the second region VR2, and the first and second recognition objects H1 , H2 move in opposite directions in the horizontal direction, it is determined that the motion corresponds to the ninth operation command. In this case, the first and second recognition targets H1 and H2 move in the outward direction with respect to the center in the horizontal direction, that is, the first recognition target H1 moves to the right direction and the second recognition target H1 H2 move in the left direction, the mode IN operation is performed in the ninth operation command. 14, the first and second recognition targets H1 and H2 move inward in the horizontal direction with respect to the center, that is, the first recognition target H1 moves in the left direction, The mode OUT operation is performed during the ninth operation command. For example, a pop-up window may be displayed according to an operation in a mode, and an operation may be performed in which a pop-up window is closed according to a mode-out operation.

위에 기술된 바와 같은 인식 대상인 사용자의 손의 움직임을 토대로 컴퓨터 장치에 대한 사용자 인터페이스를 구현할 수 있다. The user interface for the computer device can be implemented based on the motion of the hand of the user, which is the object of recognition as described above.

한편, 사용자는 가상 공간에서 자신의 손이 어느 영역에 위치하는지를 알 수 없으므로, 본 발명의 실시 예에 따른 사용자 인터페이스 장치(1)는 인식 대상이 가상 공간의 어느 영역에 위치하는지를 화면상에 표시할 수 있다. On the other hand, since the user can not know to which area his / her hand is located in the virtual space, the user interface device 1 according to the embodiment of the present invention displays on the screen which area of the virtual space the recognition target is located .

도 15는 본 발명의 실시 예에 따른 가상 공간에서의 사용자 손의 위치를 표시하는 지시자를 나타낸 예시도이다. 15 is an exemplary view showing an indicator for indicating the position of a user's hand in a virtual space according to an embodiment of the present invention.

예를 들어, 도 15에서와 같이, 화면상에 가상 공간의 제1 영역에 대응하는 제1 지시자(S1), 제2 영역에 대응하는 제2 지시자(S2), 그리고 제3 영역에 대응하는 제3 지시자(S3)를 이용하여, 가상 공간에서 검출되는 인식 대상 즉, 사용자 손의 위치가 어느 영역에 위치하는지를 표시한다. For example, as shown in Fig. 15, a first indicator S1 corresponding to a first area of a virtual space, a second indicator S2 corresponding to a second area, and a second indicator S2 corresponding to a third area 3 indicator S3 is used to indicate in which area the recognition target detected in the virtual space, i.e., the position of the user's hand, is located.

인식 대상이 어느 영역에 위치하는지를 확인하고 확인 결과에 따라 대응하는 지시자를 다른 지시자들과 구별되게 표시할 수 있다. 예를 들어 사용자 손이 가상 공간의 제3 영역에 위치하는 경우에는 제3 지시자(S3)를 다른 지시자들(S1, S2)과 구별되게 표시하여, 사용자가 자신의 손이 현재 가상 공간의 제3 영역에 위치함을 인식할 수 있도록 한다. 이에 따라 사용자는 제1 내지 제3 지시자들을 토대로 자신의 손을 원하는 영역으로 자유로이 움직이면서 원하는 동작이 이루어지도록 할 수 있다. 예를 들어, 사용자가 가상 공간의 제2 영역에서 손을 움직이고 있는 상태에서 화면상의 특정 위치 예를 들어 최좌측 위치로 포인터를 이동시키고자 하는 경우에는 제3 영역으로 손을 이동시키며, 이러한 이동이 정확하게 이루어지는지를 지시자들을 토대로 용이하게 알 수 있다. 이러한 지시자 표시를 위하여, 동작 명령 출력부(50)는 인식 대상이 가상 공간의 제1 내지 제3 영역 중 어느 영역에 위치되는지를 나타내는 정보를 컴퓨터 장치로 제공하며, 이에 따라 컴퓨터 장치가 제1 내지 제3 지시자를 화면상에 표시한다. It is possible to confirm in which area the recognition target is located and to display the corresponding indicator differently from other indicators according to the confirmation result. For example, when the user's hand is located in the third area of the virtual space, the third indicator S3 is distinguished from the other indicators S1 and S2 so that the user can see that his / So that it can be recognized that it is located in the area. Accordingly, the user can freely move his / her hand to a desired area based on the first to third directors, thereby performing a desired operation. For example, when the user moves his / her hand in the second area of the virtual space and moves the pointer to a specific position on the screen, for example, the leftmost position, the hand is moved to the third area. It can be easily understood based on the indicators. In order to display such an indicator, the operation command output unit 50 provides the computer apparatus with information indicating which area of the first to third areas of the virtual space is located, The third indicator is displayed on the screen.

또한 이러한 지시자들로 마우스 포인터를 사용할 수 있다. 마우스 포인터 이미지를 사용자 손이 가상 공간의 어느 영역에 위치하는지에 따라 표시되는 상태(예를 들어, 제1 영역에서 제3 영역으로 갈수록 마우스 포인터 이미지의 색상을 진하게 표시함)를 다르게 할 수 있다. You can also use the mouse pointer with these directives. (For example, the color of the mouse pointer image is displayed darker from the first area to the third area) depending on which area of the virtual space the user's hand is located.

다음에는 본 발명의 실시 예에 따른 사용자 인터페이스 구현 방법에 대하여 설명한다. Hereinafter, a method for implementing a user interface according to an embodiment of the present invention will be described.

도 16은 본 발명의 실시 예에 따른 사용자 인터페이스 구현 방법의 흐름도이다. 16 is a flowchart of a method for implementing a user interface according to an embodiment of the present invention.

사용자 인터페이스 장치(1)는 컴퓨터 장치를 사용하고자 하는 사용자에 대한 영상을 획득한다(S100). 획득된 영상은 영상 처리되어 영상 신호로 출력되며, 영상 신호를 토대로 가상 공간이 설정된다(S120). 사용자 인터페이스 장치(1)는 영상 신호로부터 해당하는 영상 정보 및 해당 영상의 깊이 정보를 획득하며, 영상 정보로부터 사용자 영상을 추출한다. 그리고 추출된 사용자 영상으로부터 깊이 정보를 이용하여 가상 공간을 설정한다. 그리고 가상 공간을 제1 내지 제2 가상 영역으로 나눈다.The user interface device 1 acquires an image of a user who wants to use the computer device (S100). The obtained image is subjected to image processing and output as a video signal, and a virtual space is set based on the video signal (S120). The user interface device 1 acquires corresponding image information and depth information of the corresponding image from the image signal, and extracts the user image from the image information. Then, the virtual space is set using the depth information from the extracted user image. Then, the virtual space is divided into first to second virtual areas.

이와 같이 획득된 영상으로부터 사용자의 모션을 인식하기 위한 가상 공간을 설정한 다음, 사용자 인터페이스 장치(1)는 인식 대상 즉, 사용자의 손이 가상 공간에 진입하는지를 검출한다(S130). 가상 공간으로의 인식 대상의 진입이 검출되면 사용자 인터페이스 장치(1)는 가상 공간에서 움직이는 인식 대상의 종류 그리고 인식 대상의 움직임을 검출하여 모션 정보를 생성한다(S140). 위에서 살펴본 바와 같이, 인식 대상이 가상 공간의 제1 내지 제3 영역에 위치하는지를 판단하고, 제1 및 제2 인식 대상 중에서 어떠한 인식 대상이 움직이는지를 판단하며, 움직이는 인식 대상이 어떠한 방향으로 이동하는지를 판단하고, 이러한 판단 결과들을 종합적으로 고려하여 모션 정보를 생성한다. After setting the virtual space for recognizing the motion of the user from the thus acquired image, the user interface device 1 detects whether the recognition target, that is, the user's hand enters the virtual space (S130). When the entry of the recognition target into the virtual space is detected, the user interface device 1 generates motion information by detecting the type of the recognition target moving in the virtual space and the motion of the recognition target (S140). As described above, it is determined whether the recognition target is located in the first to third areas of the virtual space, and it is determined whether the recognition target moves among the first and second recognition targets. And generates motion information by taking these determination results into consideration in a comprehensive manner.

이후 사용자 인터페이스 장치(1)는 생성된 모션 정보가 미리 설정된 복수의 동작 명령 중 어느 명령에 해당하는지를 판단하고, 판단 결과에 해당하는 동작 명령을 출력한다(S150). Thereafter, the user interface device 1 determines which of the plurality of preset operation commands the generated motion information corresponds to, and outputs an operation command corresponding to the determination result (S150).

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. The embodiments of the present invention described above are not only implemented by the apparatus and method but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded, The embodiments can be easily implemented by those skilled in the art from the description of the embodiments described above.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (16)

컴퓨터 장치와 연결된 인터페이스 장치에서 사용자 인터페이스를 구현하는 방법에서
사용자에 대한 영상을 획득하는 단계;
상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 단계;
상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하는지를 확인하는 단계;
상기 가상 공간에 상기 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 단계; 및
상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 단계
를 포함하는, 사용자 인터페이스 구현 방법.In a method for implementing a user interface in an interface device connected to a computer device
Acquiring an image for a user;
Setting a virtual space for providing a user interface through motion recognition on the image, the virtual space being divided into a plurality of regions based on the depth information of the image;
Confirming whether a recognition target corresponding to a part of a user's body enters the virtual space;
Generating motion information based on the type of the recognition object, information indicating which area of the virtual space is located in the virtual space, and motion of the recognition object, when the recognition target enters the virtual space; And
Outputting a predetermined motion command corresponding to the motion information
The user interface implementation method comprising a. 제1항에 있어서
상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
상기 동작 명령을 출력하는 단계는
상기 가상 공간에서 상기 제1 인식 대상만이 검출되는 모션 정보가 생성되면, 상기 제1 인식 대상의 움직임에 따라 마우스 포인팅 동작에 따른 명령을 출력하는, 사용자 인터페이스 구현 방법.The method of claim 1, wherein
Wherein the recognition object includes a first recognition object and a second recognition object,
The step of outputting the operation command
And outputting a command according to a mouse pointing operation according to a motion of the first recognition target when motion information in which only the first recognition target is detected is generated in the virtual space. 제1항에 있어서
상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
상기 동작 명령을 출력하는 단계는
상기 가상 공간에 하나의 인식 대상이 위치되어 있는 상태에서 다른 하나의 인식 대상의 움직임이 검출되는 모션 정보가 생성되면, 마우스의 버튼을 동작시키는 것에 대응하는 명령을 출력하는, 사용자 인터페이스 구현 방법.The method of claim 1, wherein
Wherein the recognition object includes a first recognition object and a second recognition object,
The step of outputting the operation command
And outputting a command corresponding to activating a button of a mouse when motion information in which motion of another recognition target is detected is generated in a state where one recognition target is located in the virtual space. 제3항에 있어서
상기 동작 명령을 출력하는 단계는
상기 가상 공간에 상기 제1 인식 대상이 위치되어 있는 상태에서, 상기 제2 인식 대상이 상기 가상 공간으로 진입하면서 상기 제1 인식 대상의 위치를 토대로 하는 기준선을 지나치지 않고 위치되는 모션 정보가 생성되면, 마우스 좌측 버튼을 누르는 것에 해당하는 동작 명령을 출력하고,
상기 제2 인식 대상이 상기 기준선을 지나치지 않고 위치된 상태에서, 상기 제2 인식 대상이 상기 가상 공간을 벗어나는 움직임이 검출되는 모션 정보가 생성되면, 마우스 좌측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.The method of claim 3, wherein
The step of outputting the operation command
When motion information is generated in which the second recognition target enters the virtual space and does not pass over a reference line based on the position of the first recognition target while the first recognition target is located in the virtual space, An operation command corresponding to pressing the left mouse button is outputted,
When motion information in which motion of the second recognition target is out of the virtual space is generated in a state in which the second recognition target does not extend beyond the reference line, an operation command corresponding to pressing and releasing the left button of the mouse And outputting the user interface. 제4항에 있어서
상기 동작 명령을 출력하는 단계는
상기 가상 공간에 상기 제1 인식 대상이 위치되어 있는 상태에서, 상기 제2 인식 대상이 상기 가상 공간으로 진입하면서 상기 제1 인식 대상의 위치를 토대로 하는 기준선을 지나쳐서 위치되는 모션 정보가 생성되면, 마우스 우측 버튼을 누르는 것에 해당하는 동작 명령을 출력하고,
상기 제2 인식 대상이 상기 기준선을 지나쳐서 위치된 상태에서, 상기 제2 인식 대상이 상기 가상 공간을 벗어나는 움직임이 검출되는 모션 정보가 생성되면, 마우스 우측 버튼을 눌렀다가 릴리즈 시키는 것에 해당하는 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.The method of claim 4, wherein
The step of outputting the operation command
When the first recognition object is located in the virtual space and the second recognition object enters the virtual space and motion information is generated that is located over the reference line based on the position of the first recognition object, Outputs an operation command corresponding to pressing the right button,
An operation command corresponding to pressing and releasing the right button of the mouse when the motion information in which the movement of the second recognition object is out of the virtual space is generated in a state where the second recognition object is located over the reference line, Output user interface. 제1항에 있어서
상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
상기 동작 명령을 출력하는 단계는
상기 가상 공간에서 상기 제1 인식 대상이 검출되고 제2 인식 대상의 움직임에 의하여 마우스 좌측 버튼이 눌려진 상태로 판단된 경우에, 상기 제1 인식 대상이 상하 좌우로 이동하는 움직임이 검출되는 모션 정보가 생성되면, 마우스 드래그 동작 명령을 출력하고,
상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제2 인식 대상이 수직방향으로 이동하는 움직임이 검출되는 모션 정보가 생성되면, 마우스 휠의 업/다운 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.The method of claim 1, wherein
Wherein the recognition object includes a first recognition object and a second recognition object,
The step of outputting the operation command
Motion information in which motion of the first recognition target moves upward, downward, leftward and rightward is detected when it is determined that the first recognition object is detected in the virtual space and the left button of the mouse is pressed by the movement of the second recognition object When generated, a mouse drag operation command is output,
And outputting a mouse wheel up / down operation command when the first recognition object and the second recognition object are detected in the virtual space and the motion information in which the movement of the second recognition object is detected in the vertical direction is generated, How to implement the user interface. 제1항에 있어서
상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
상기 동작 명령을 출력하는 단계는
상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 어느 하나의 인식 대상이 회전하는 움직임이 검출되는 모션 정보가 생성되면, 줌 인/아웃(In/Out) 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.The method of claim 1, wherein
Wherein the recognition object includes a first recognition object and a second recognition object,
The step of outputting the operation command
And outputting a zoom in / out operation command when the first recognition object and the second recognition object are detected in the virtual space and motion information in which a movement in which one recognition object is rotated is generated is generated, How to implement the user interface. 제7항에 있어서
상기 동작 명령을 출력하는 단계는
상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제2 인식 대상이 반시계 방향으로 회전하는 움직임이 검출되는 모션 정보가 생성되면, 줌 인 동작 명령을 출력하고,
상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제2 인식 대상이 시계 방향으로 회전하는 움직임이 검출되는 모션 정보가 생성되면, 줌 아웃 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.The method of claim 7, wherein
The step of outputting the operation command
Outputting a zoom-in operation command when motion information is detected in which the first recognition object and the second recognition object are detected in the virtual space and a movement in which the second recognition object is rotated counterclockwise is generated,
And outputting a zoom-out operation command when motion information is detected in which the first recognition object and the second recognition object are detected in the virtual space and motion in which the second recognition object rotates in the clockwise direction is generated, . 제1항에 있어서
상기 인식 대상은 제1 인식 대상 및 제2 인식 대상을 포함하며,
상기 동작 명령을 출력하는 단계는
상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제1 및 제2 인식 대상이 수평적으로 서로 반대 방향으로 각각 움직이는 모션 정보가 생성되면, 모드 인/아웃(In/Out) 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.The method of claim 1, wherein
Wherein the recognition object includes a first recognition object and a second recognition object,
The step of outputting the operation command
When motion information is generated in which the first recognition object and the second recognition object are detected in the virtual space and the first and second recognition objects horizontally move in mutually opposite directions, a mode in / out (In / Out) And outputting an operation command. 제9항에 있어서
상기 동작 명령을 출력하는 단계는
상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제1 및 제2 인식 대상이 중심과 멀어지는 바깥 방향으로 수평적으로 각각 이동하는 모션 정보가 생성되면, 모드 인 동작 명령을 출력하고,
상기 가상 공간에서 상기 제1 인식 대상 및 제2 인식 대상이 검출되고 상기 제1 및 제2 인식 대상이 중심과 가까워지는 안쪽 방향으로 수평적으로 각각 이동하는 모션 정보가 생성되면, 모드 아웃 동작 명령을 출력하는, 사용자 인터페이스 구현 방법.The method of claim 9, wherein
The step of outputting the operation command
When the first recognition object and the second recognition object are detected in the virtual space and the motion information horizontally moving in the outward direction in which the first and second recognition objects are distant from the center is generated, and,
When the first recognition object and the second recognition object are detected in the virtual space and the motion information horizontally moving in the inward direction in which the first and second recognition objects approach the center is generated, Output user interface. 제1항 내지 제10항 중 어느 한 항에 있어서
상기 가상 공간은
동작을 수행하기 위한 예비 동작이 이루어지는 제1 영역, 동작을 수행하기 위한 명령을 입력하는 공간인 제2 영역, 그리고 미리 설정된 화면상의 위치로 이동하는 명령을 수행하는 공간인 제3 영역으로 나뉘어지며,
상기 모션 정보를 생성하는 단계는 상기 인식 대상이 상기 제1 영역에 위치하는 경우에는 상기 모션 정보를 생성하지 않는, 사용자 인터페이스 구현 방법.The method according to any one of claims 1 to 10.
The virtual space
A first area where a preliminary operation for performing an operation is performed, a second area that is a space for inputting a command for performing an operation, and a third area that is a space for executing an instruction to move to a predetermined screen position,
Wherein the generating of the motion information does not generate the motion information when the recognition target is located in the first area. 제11항에 있어서
상기 모션 정보를 생성하는 단계는 상기 인식 대상이 상기 가상 공간의 제2 영역에서 검출되는 경우에 모션 정보를 생성하는, 사용자 인터페이스 구현 방법.The method of claim 11, wherein
Wherein the generating of the motion information generates motion information when the recognition target is detected in a second region of the virtual space. 컴퓨터 장치와 연결된 사용자 인터페이스 장치에서,
사용자에 대한 영상을 획득하는 영상 획득부;
상기 영상의 깊이 정보를 토대로, 상기 영상에 대하여 모션 인식을 통하여 사용자 인터페이스를 제공하기 위한 가상 공간--상기 가상 공간은 복수의 영역으로 나뉘어져 있음--을 설정하는 가상 공간 설정부;
상기 가상 공간에 사용자의 신체 일부에 해당하는 인식 대상이 진입하면, 상기 인식 대상의 종류, 상기 인식 대상이 상기 가상 공간의 어느 영역에 위치하였는지를 나타내는 정보, 상기 인식 대상의 움직임을 토대로 모션 정보를 생성하는 모션 인식부; 및
상기 모션 정보에 대응하여 미리 설정된 동작 명령을 출력하는 동작 명령 출력부
를 포함하는, 사용자 인터페이스 장치.In a user interface device connected to a computer device,
An image acquiring unit acquiring an image for a user;
A virtual space setting unit for setting a virtual space for providing a user interface through motion recognition for the image, based on the depth information of the image, the virtual space being divided into a plurality of regions;
Information indicating a type of the recognition object, information indicating in which area of the virtual space the recognition object is located, motion information on the basis of the motion of the recognition object A motion recognition unit; And
An operation command output unit for outputting an operation command previously set corresponding to the motion information,
Including, the user interface device. 제13항에 있어서
상기 가상 공간은
동작을 수행하기 위한 예비 동작이 이루어지는 제1 영역, 동작을 수행하기 위한 명령을 입력하는 공간인 제2 영역, 그리고 미리 설정된 화면상의 위치로 이동하는 명령을 수행하는 공간인 제3 영역으로 나뉘어지는, 사용자 인터페이스 장치.The method of claim 13, wherein
The virtual space
A first area for performing a preliminary operation for performing an operation, a second area for inputting a command for performing an operation, and a third area for executing an instruction to move to a predetermined on- User interface device. 제14항에 있어서
상기 모션 인식부는 상기 인식 대상이 상기 제1 영역에 위치하는 경우에는 상기 모션 정보를 생성하지 않는, 사용자 인터페이스 장치.The method of claim 14, wherein
Wherein the motion recognition unit does not generate the motion information when the recognition target is located in the first area. 제15항에 있어서
상기 동작 명령 출력부는
상기 인식 대상이 상기 가상 공간의 제1 내지 제3 영역 중 어느 영역에 위치되는지를 나타내는 정보를 상기 컴퓨터 장치로 제공하는, 사용자 인터페이스 장치.



The method of claim 15, wherein
The operation command output unit
And provides the computer device with information indicating which of the first to third areas of the virtual space the recognition object is located in.



KR1020120053884A 2012-05-21 2012-05-21 method for implementing user interface based on motion detection and apparatus thereof KR101394604B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120053884A KR101394604B1 (en) 2012-05-21 2012-05-21 method for implementing user interface based on motion detection and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120053884A KR101394604B1 (en) 2012-05-21 2012-05-21 method for implementing user interface based on motion detection and apparatus thereof

Publications (2)

Publication Number Publication Date
KR20130129775A true KR20130129775A (en) 2013-11-29
KR101394604B1 KR101394604B1 (en) 2014-05-13

Family

ID=49856306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120053884A KR101394604B1 (en) 2012-05-21 2012-05-21 method for implementing user interface based on motion detection and apparatus thereof

Country Status (1)

Country Link
KR (1) KR101394604B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018155897A1 (en) * 2017-02-23 2018-08-30 삼성전자 주식회사 Screen control method and device for virtual reality service
KR20180097989A (en) * 2017-02-24 2018-09-03 한국전자통신연구원 Apparatus for expressing user input using outline and trajectory representation and method for the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101815020B1 (en) * 2010-08-26 2018-01-31 삼성전자주식회사 Apparatus and Method for Controlling Interface
JP5167523B2 (en) * 2010-09-22 2013-03-21 島根県 Operation input device, operation determination method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018155897A1 (en) * 2017-02-23 2018-08-30 삼성전자 주식회사 Screen control method and device for virtual reality service
US11287875B2 (en) 2017-02-23 2022-03-29 Samsung Electronics Co., Ltd. Screen control method and device for virtual reality service
KR20180097989A (en) * 2017-02-24 2018-09-03 한국전자통신연구원 Apparatus for expressing user input using outline and trajectory representation and method for the same

Also Published As

Publication number Publication date
KR101394604B1 (en) 2014-05-13

Similar Documents

Publication Publication Date Title
JP5167523B2 (en) Operation input device, operation determination method, and program
US9329691B2 (en) Operation input apparatus and method using distinct determination and control areas
JP5921835B2 (en) Input device
JP5802667B2 (en) Gesture input device and gesture input method
CN105229582B (en) Gesture detection based on proximity sensor and image sensor
US20130257736A1 (en) Gesture sensing apparatus, electronic system having gesture input function, and gesture determining method
CN103809733B (en) Man-machine interactive system and method
JP2006209563A (en) Interface device
KR102147430B1 (en) virtual multi-touch interaction apparatus and method
EP3021206B1 (en) Method and device for refocusing multiple depth intervals, and electronic device
JP2011028366A (en) Operation control device and operation control method
JP2014219938A (en) Input assistance device, input assistance method, and program
JP6344530B2 (en) Input device, input method, and program
US20150234467A1 (en) Method and apparatus for gesture detection and display control
KR20120068253A (en) Method and apparatus for providing response of user interface
JP2012027515A (en) Input method and input device
JP2014026355A (en) Image display device and image display method
US9201519B2 (en) Three-dimensional pointing using one camera and three aligned lights
US9310851B2 (en) Three-dimensional (3D) human-computer interaction system using computer mouse as a 3D pointing device and an operation method thereof
TWI486815B (en) Display device, system and method for controlling the display device
TWI499938B (en) Touch control system
KR101394604B1 (en) method for implementing user interface based on motion detection and apparatus thereof
JP2010086367A (en) Positional information inputting device, positional information inputting method, program, information processing system, and electronic equipment
JP6008904B2 (en) Display control apparatus, display control method, and program
JP2013109538A (en) Input method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170502

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180502

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 6