KR20150044243A - Electronic learning apparatus and method for controlling contents by hand avatar - Google Patents

Electronic learning apparatus and method for controlling contents by hand avatar Download PDF

Info

Publication number
KR20150044243A
KR20150044243A KR20130123391A KR20130123391A KR20150044243A KR 20150044243 A KR20150044243 A KR 20150044243A KR 20130123391 A KR20130123391 A KR 20130123391A KR 20130123391 A KR20130123391 A KR 20130123391A KR 20150044243 A KR20150044243 A KR 20150044243A
Authority
KR
South Korea
Prior art keywords
hand
unit
avatar
generating
image
Prior art date
Application number
KR20130123391A
Other languages
Korean (ko)
Other versions
KR101519589B1 (en
Inventor
이돈원
Original Assignee
(주)컴버스테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)컴버스테크 filed Critical (주)컴버스테크
Priority to KR1020130123391A priority Critical patent/KR101519589B1/en
Publication of KR20150044243A publication Critical patent/KR20150044243A/en
Application granted granted Critical
Publication of KR101519589B1 publication Critical patent/KR101519589B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to an electronic learning device capable of controlling contents by using a hand avatar and a method thereof. The electronic learning device includes: an image processing unit which records a user to generate image frames; a hand extraction unit which captures an image of the user′s hand to generate coordinate values corresponding to the motion of the hand; a hand avatar generation unit which generates a hand avatar from an event generated with the coordinate values and the shape of the hand; a content coupling unit coupling the hand avatar and the contents; and an image combination unit outputting a combined image. The present invention can couple a control target object with the hand avatar to display the coupled object to make a content control operation more realistic.

Description

손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법{ELECTRONIC LEARNING APPARATUS AND METHOD FOR CONTROLLING CONTENTS BY HAND AVATAR}TECHNICAL FIELD The present invention relates to an electronic learning apparatus and method capable of controlling contents using a hand avatar,

본 발명은 콘텐츠 제어 기법에 관한 것으로, 더욱 상세하게는 사용자 모션 인식을 통해 생성된 손 아바타와 콘텐츠를 결합하여 해당 콘텐츠를 제어하는 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법에 관한 것이다.
The present invention relates to a content control technique, and more particularly, to an electronic learning apparatus and method using a hand avatar that controls a content by combining a hand avatar generated by user motion recognition with the content.

기존의 디스플레이장치는 통상 일방적인 콘텐츠의 출력기능만을 제공한다. 이에 콘텐츠 체험자들은 자신의 의지와 상관없이 디스플레이되는 콘텐츠에 대해 지루함을 느낄 수 있다.Conventional display devices usually provide only a one-sided content output function. Thus, the content experiencers can feel bored with the displayed content regardless of their will.

이러한 단점을 극복하기 위해 디스플레이장치에 터치기능을 추가함으로써 터치를 통해 사용자가 직접 콘텐츠를 제어 가능하도록 한 터치보드가 제시된 바 있으나, 이 역시 디스플레이장치에 직접적인 터치를 통해 콘텐츠를 제어하므로, 콘텐츠 제어를 위한 거리를 유지하여야 하는 제약이 있을 뿐 아니라, 터치방법에 한계에 따른 제어기능의 한계가 있다.In order to overcome such disadvantages, a touch board has been proposed in which a user can directly control contents through a touch by adding a touch function to a display device. However, since the content is controlled through a direct touch to the display device, In addition, there is a limitation in the control function according to the limitation of the touch method.

이에 최근, 증강 현실(augmented reality) 기술이 발전하면서 현실 세계와 가상 세계를 서로 융합하는 기술들이 개발되고 있다. 예를 들면, 가상 교육 시스템, 스크린 골프 시스템 및 가상 체험 시뮬레이션 시스템 등이 그 대표적인 예일 것이다.Recently, as augmented reality technology has been developed, technologies that fuse a real world with a virtual world have been developed. For example, a virtual education system, a screen golf system, and a virtual experience simulation system may be representative examples.

이들 가상 시스템은, 터치보드 등의 디스플레이장치를 이용하여 콘텐츠 영상을 출력한 상태에서, 사용자가 모션을 취하면 모션에 대응하여 해당 콘텐츠를 제어하도록 구성되어 있다.These virtual systems are configured to control the corresponding content in response to a motion when the user takes a motion while outputting the content video using a display device such as a touch board.

그런데, 이 가상 시스템은 관절 등의 몸 또는 손의 움직임을 검출하기 위한 별도의 장비를 몸 또는 손에 부착한 상태에서 콘텐츠 제어를 수행하도록 구성됨에 따라 실생활에서 자연스러운 제어가 어려운 문제가 있다. 또한, 손(손가락)의 관절 또는 모션을 이용하여 콘텐츠 제어를 수행하는 경우에, 제어대상 객체(콘텐츠)에 손(손가락)이 디스플레이되지 않음으로 인해, 즉 제어대상 객체만 디스플레이 및 제어되고 손(손가락)은 디스플레이되지 않음으로 인해 제어대상 객체를 제어하는 실질적인 감각을 느끼는데 한계가 있다.
However, since this virtual system is configured to control contents in a state where a separate device for detecting movement of a body or a hand such as joints is attached to a body or a hand, there is a problem that it is difficult to control in a real life environment. Further, in the case of performing the content control using the joints or the motions of the hand (finger), the control object (content) is not displayed on the hand (finger) Finger) is not displayed, there is a limitation in feeling a substantial sense of controlling the controlled object.

대한민국 등록특허공보 제10-1189633호(공고일 2012.10.10.)Korean Registered Patent No. 10-1189633 (Published on October 10, 2012)

따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 손의 인식을 통해 손 아바타를 생성하고, 손 아바타와 제어대상 객체를 결합시켜 디스플레이되도록 함으로써 콘텐츠 제어의 현실감을 상승시킬 수 있도록 하는 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법을 제공하는데 있다.
It is therefore an object of the present invention to create a hand avatar through recognition of a hand and combine the hand avatar and a control target object to display the content, And to provide a content controllable electronic learning apparatus and method using a hand avatar.

상기와 같은 목적을 달성하기 위한 본 발명의 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치는, 사용자를 촬영하여 영상 프레임을 생성하는 영상 처리부; 상기 사용자의 손의 영상을 캡쳐하여 손의 모션에 대응한 좌표값을 생성하는 손 추출부; 상기 좌표값으로부터 생성된 이벤트와 캡쳐된 손의 형상으로부터 손 아바타를 생성하는 손 아바타 생성부; 상기 손 아바타와 콘텐츠를 결합하는 콘텐츠 결합부; 및 결합된 영상을 출력하는 영상 합성부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an electronic learning apparatus capable of controlling a content using a hand avatar, comprising: an image processing unit for capturing a user and generating an image frame; A hand extraction unit for capturing an image of the hand of the user and generating a coordinate value corresponding to the motion of the hand; A hand avatar generation unit for generating a hand avatar from the event generated from the coordinate value and the shape of the captured hand; A content combining unit for combining the hand avatar and the content; And an image synthesizer for outputting the combined image.

상기 손 추출부는, 상기 영상 처리부로부터 전달된 영상 프레임간의 연결관계를 정의하는 전처리부; 전처리가 이루어진 영상 프레임에서 손을 인식하는 손 인식부; 및 인식된 손에 대하여 연속되는 영상 프레임에서 손의 이동좌표를 계산하는 이동좌표 산출부를 포함한다. 이때, 상기 영상 프레임에서 손의 움직임 추정기법을 통해 다음 영상 프레임에서 손을 추정하는 것이 바람직하다. 또한, 상기 손 인식부의 손 인식 및 상기 이동좌표 산출부의 손 이동좌표 산출은 미리 학습된 학습 정보를 기반으로 하여 이루어지는 것이 바람직하다.Wherein the hand extracting unit comprises: a preprocessing unit for defining a connection relationship between image frames transmitted from the image processing unit; A hand recognition unit for recognizing a hand in a preprocessed image frame; And a moving coordinate calculation unit for calculating movement coordinates of the hand in the continuous image frame with respect to the recognized hand. At this time, it is preferable to estimate the hand in the next image frame through the hand motion estimation technique in the image frame. It is preferable that the hand recognition of the hand recognition unit and the calculation of the hand movement coordinates of the movement coordinate calculation unit are based on previously learned learning information.

상기 손 아바타 생성부는, 상기 좌표값의 변화로부터 이벤트를 생성하는 이벤트 생성부; 상기 캡쳐된 손의 형상으로부터 손의 피부색, 손크기, 손가락길이를 포함한 형상데이터를 생성하는 형상데이터 생성부; 상기 형상데이터로부터 손 형상을 생성하는 손 형상 생성부; 및 상기 이벤트와 상기 손 형상을 맵핑시켜 이벤트에 대응한 액션을 수행하는 손 아바타 맵핑부를 포함한다.
Wherein the hand avatar generation unit comprises: an event generation unit for generating an event from a change in the coordinate value; A shape data generation unit for generating shape data including the skin color of the hand, the hand size, and the finger length from the shape of the captured hand; A hand shape generating unit for generating a hand shape from the shape data; And a hand avatar mapping unit for mapping the event and the hand shape to perform an action corresponding to the event.

한편, 본 발명의 손 아바타를 이용한 콘텐츠 제어가능 전자학습 방법은, (a) 영상 처리부에서 사용자를 촬영하여 영상 프레임을 생성하는 단계; (b) 손 추출부에서 상기 사용자의 손의 영상을 캡쳐하여 손의 모션에 대응한 좌표값을 생성하는 단계; (c) 손 아바타 생성부에서 상기 좌표값으로부터 생성된 이벤트와 캡쳐된 손의 형상으로부터 손 아바타를 생성하는 단계; (d) 콘텐츠 결합부에서 상기 손 아바타와 콘텐츠를 결합하는 단계; 및 (e) 영상 합성부에서 결합된 영상을 출력하는 단계를 포함하는 것을 특징으로 한다.Meanwhile, a content controllable e-learning method using a hand avatar of the present invention includes: (a) capturing a user at an image processing unit and generating an image frame; (b) capturing an image of the user's hand at a hand extractor to generate coordinate values corresponding to the motion of the hand; (c) generating a hand avatar from the event generated from the coordinate value and the shape of the captured hand at the hand avatar generating unit; (d) combining the content with the hand avatar in a content combining unit; And (e) outputting the combined image in the image combining unit.

상기 단계 (b)는, 전처리부에서 상기 영상 처리부로부터 전달된 영상 프레임간의 연결관계를 정의하는 단계; 손 인식부에서, 전처리가 이루어진 영상 프레임에서 손을 인식하는 단계; 및 이동좌표 산출부에서, 인식된 손에 대하여 연속되는 영상 프레임에서 손의 이동좌표를 계산하는 단계를 포함한다. 이때, 상기 영상 프레임에서 손의 움직임 추정기법을 통해 다음 영상 프레임에서 손을 추정하는 것이 바람직하다. 또한, 상기 손 인식부의 손 인식 및 상기 이동좌표 산출부의 손 이동좌표 산출은 미리 학습된 학습 정보를 기반으로 하여 이루어지는 것이 바람직하다.The step (b) may include: defining a connection relationship between image frames transmitted from the image processing unit in the preprocessing unit; Recognizing a hand in a preprocessed image frame in a hand recognition unit; And calculating the movement coordinates of the hand in successive image frames with respect to the recognized hand in the movement coordinate calculation section. At this time, it is preferable to estimate the hand in the next image frame through the hand motion estimation technique in the image frame. It is preferable that the hand recognition of the hand recognition unit and the calculation of the hand movement coordinates of the movement coordinate calculation unit are based on previously learned learning information.

상기 단계 (c)는, 이벤트 생성부에서 상기 좌표값의 변화에 대응하여 이벤트를 생성하는 단계; 형상데이터 생성부에서 상기 손 추출부에서 캡쳐된 손 영상으로부터 손의 피부색, 손크기, 손가락길이를 포함한 형상데이터를 생성하는 단계; 손 형상 생성부에서 상기 형상데이터로부터 손 형상을 생성하는 단계; 및 손 아바타 맵핑부에서 상기 이벤트와 상기 손 형상을 맵핑시켜 이벤트에 대응한 액션을 수행하는 단계를 포함한다.
The step (c) includes: generating an event corresponding to the change of the coordinate value in the event generation unit; Generating shape data including the skin color of the hand, the hand size, and the finger length from the hand image captured by the hand extraction unit in the shape data generation unit; Generating a hand shape from the shape data in a hand shape generating unit; And mapping the event and the hand shape in the hand avatar mapping unit to perform an action corresponding to the event.

상술한 바와 같이, 본 발명에 의한 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법에 따르면, 손 아바타와 제어대상 객체를 결합시켜 디스플레이되도록 함으로써 콘텐츠 제어의 현실감을 상승시킬 수 있다.
As described above, according to the electronic learning apparatus and method using the hand avatar according to the present invention, the hand avatar and the object to be controlled are combined and displayed, thereby enhancing the reality of the content control.

도 1은 본 발명의 일 실시예에 의한 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 의한 손 추출부의 구성도이다.
도 3은 본 발명의 일 실시예에 의한 손 아바타 생성부의 구성도이다.
도 4는 본 발명의 일 실시예에 의한 손 아바타를 이용한 콘텐츠 제어가능 전자학습 방법의 흐름도이다.1 is a configuration diagram of a content controllable electronic learning apparatus using a hand avatar according to an embodiment of the present invention.
2 is a configuration diagram of a hand extraction unit according to an embodiment of the present invention.
3 is a configuration diagram of a hand avatar generation unit according to an embodiment of the present invention.
4 is a flowchart of a content controllable electronic learning method using a hand avatar according to an embodiment of the present invention.

이하, 본 발명의 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, a content controllable electronic learning apparatus and method using a hand avatar of the present invention will be described in detail with reference to the accompanying drawings.

여기서, 본 발명에서 설명하는 실시예는 다양한 형태로 구현될 수 있으며, 이하에서 설명하는 실시예는 하나의 예시로서 이해되어져야 한다.Here, the embodiments described in the present invention can be implemented in various forms, and the embodiments described below should be understood as an example.

본 발명은 특정 공간 내에서 발생되는 모든 모션을 해석하여 출력된 정보에 대한 출력제어를 수행하는 것이며, 설명의 편의를 위해 학습 콘텐츠에 대한 제어가 이루어지는 경우에 대해 설명하기로 한다. 물론, 학습 콘텐츠를 설명하기 위한 구성은 일실시예로서만 제시한 것에 불과하며, 모든 정보를 처리하기 위한 구성을 포함하는 것으로 해석되어져야 할 것이다.The present invention analyzes all motions generated in a specific space and performs output control on the output information, and a description will be made of a case where control is performed on learning contents for convenience of explanation. Of course, the configuration for describing the learning contents is merely an example, and should be construed as including a configuration for processing all the information.

한편, 도면의 도시에 있어 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있으며, 명세서 전체를 통하여 동일한 부분에 대해서는 동일 도면 부호를 부여할 수 있다. 그리고, 명세서 전체에서, 동일하게 반복되는 구성에 대해서는 중복되는 설명을 생략할 수 있다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "구비" 또는 "구성"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "~부", "~기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 기억장치를 구비한 하드웨어나 소프트웨어, 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
In the drawings, parts not relating to the description may be omitted for the purpose of clearly illustrating the present invention, and the same reference numerals can be assigned to the same parts throughout the specification. In the entire specification, redundant description can be omitted for the same repeated configuration. Also, throughout the specification, it is to be understood that when an element is referred to as being "comprising" or "comprising" an element, it should be understood that it does not exclude other elements, it means. The terms "to part "," to ", and the like in the specification mean a unit for processing at least one function or operation, and may be implemented by hardware or software having a storage device or a combination of hardware and software .

도 1은 본 발명의 일 실시예에 의한 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치의 구성도이다.1 is a configuration diagram of a content controllable electronic learning apparatus using a hand avatar according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치는, 사용자를 촬영하여 영상 프레임을 생성하는 영상 처리부(1)와, 사용자의 손 또는 손가락(이하, "손"으로 통칭) 부분의 영상을 캡쳐하여 손의 모션에 대응한 좌표값을 생성하는 손 추출부(2)와, 사용자의 손의 형상으로부터 손 아바타를 생성하는 손 아바타 생성부(3)와, 생성된 손 아바타에 제어대상 객체(콘텐츠)를 결합하는 콘텐츠 결합부(4)와, 결합된 영상을 출력하는 영상 출력부(5)를 포함한다.
Referring to FIG. 1, a content controllable electronic learning apparatus using a hand avatar according to the present invention includes an image processing unit 1 for capturing a user and generating an image frame, a user's hand or finger (hereinafter, (2) for generating a coordinate value corresponding to the motion of the hand by capturing an image of a part of the hand, and a hand avatar generation unit (3) for generating a hand avatar from the shape of the hand of the user, A content combining unit 4 for combining the control target object (contents) and an image output unit 5 for outputting a combined image.

영상 처리부(1)는 통상의 카메라를 이용할 수 있으며, 영상 프레임을 생성하는 기능을 수행한다. 손 추출부(2)는 각 영상 프레임으로부터 손을 인식 및 캡쳐하여 손의 좌표를 생성한다. 이때, 손의 좌표는 손가락 관절, 손목 관절을 포함하고, 이에 손의 전체적인 크기 및 손가락 길이 등을 확인할 수 있도록 한다. 또한, 손 추출부(2)에서는 손가락 끝 및 각 관절의 포인트의 이동을 추적하여 손의 움직임을 추적하여 좌표값을 생성한다. 손 아바타 생성부(3)에서는 손 추출부(2)에서 생성된 좌표값을 전달받아 이동 위치 등의 변화를 처리하며, 또한 이동 위치 변화로부터 이벤트(제어)를 생성하고, 전달된 손의 좌표로부터 손 형상을 인식함과 아울러 손 형상을 생성한다. 이에 사용자의 손의 크기와 유사한 손 아바타를 생성할 수 있다. 또한, 손 아바타 생성부(3)는 영상 처리부(1)의 영상 프레임으로부터 생성된 사용자의 피부색을 고려하여 손 아바타를 생성한다. 이후, 콘텐츠 결합부(4)에서 생성된 손 아바타와 콘텐츠의 제어대상 객체를 결합하고, 이후 결합된 영상의 출력이 이루어지게 되며, 이는 디스플레이장치를 통해 콘텐츠를 제어하는 형태로 출력되게 된다.
The image processing unit 1 can use a normal camera and performs a function of generating an image frame. The hand extraction unit 2 recognizes and captures hands from each image frame to generate hand coordinates. At this time, the coordinates of the hand include the finger joints and the wrist joints, so that the overall size and finger length of the hand can be confirmed. In addition, the hand extraction unit 2 tracks movements of fingertips and points of each joint to track movement of the hand to generate coordinate values. The hand avatar generation unit 3 receives the coordinate values generated by the hand extraction unit 2 and processes the change of the movement position and the like, generates an event (control) from the movement position change, The hand shape is recognized and a hand shape is generated. Thus, a hand avatar similar to the size of the user's hand can be generated. The hand avatar generation unit 3 generates a hand avatar in consideration of the skin color of the user generated from the image frame of the image processing unit 1. [ Then, the hand avatar generated in the content combining unit 4 is combined with the control object of the content, and then the combined image is output, which is outputted in a form of controlling the content through the display device.

도 2는 본 발명의 일 실시예에 의한 손 추출부의 구성도이다.2 is a configuration diagram of a hand extraction unit according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 손 추출부(2)는, 영상 처리부(1)로부터 전달된 영상 프레임간의 연결관계를 정의하는 전처리부(21)와, 전처리가 이루어진 영상 프레임에서 미리 학습된 학습 정보를 기반으로 하여 손을 인식하는 손 인식부(22)와, 인식된 손에 대한 좌표 조정을 수행하고, 미리 학습된 학습 정보를 기반으로 하여 영상 프레임간 변위로부터 손의 이동좌표를 계산하는 이동좌표 산출부(23)를 포함한다.2, the hand extraction unit 2 of the present invention includes a preprocessing unit 21 for defining a connection relationship between image frames transmitted from the image processing unit 1, A hand recognition unit 22 for recognizing a hand on the basis of the information, a coordinate recognition unit 22 for performing coordinate adjustment on the recognized hand, and calculating movement coordinates of the hand from the displacement between image frames based on previously learned learning information And a coordinate calculation section 23.

여기서, 손에 대한 인식에 있어, 먼저 손에 대한 학습을 수행하여 학습된 결과를 저장하고, 이 저장된 학습 정보로부터 손에 대한 인식이 이루어지는 것이 바람직하다. 한편, 손에 대한 인식과 함께 머리, 몸통, 팔, 다리 등의 학습 및 이의 인식도 함께 이루어지며, 이들의 인식을 통해 손의 위치를 정확하게 판단하는데 이용할 수 있다.
Here, in the recognition of the hand, it is preferable that the learning of the hand is performed first, the learned result is stored, and the recognition of the hand is performed from the stored learning information. On the other hand, the learning of the head, the trunk, the arms, the legs, and the recognition thereof are performed together with the awareness of the hand, and they can be used to accurately determine the position of the hand through recognition of these.

이와 같이 구성된 손 추출부(2)에서, 손을 인식하고 좌표를 산출함에 있어, 움직임을 추정하는 추정기법을 이용하여 미리 예측된 위치에서 손의 존재여부를 확인하게 된다. 각 영상 프레임들에서 손의 움직임 추정기법을 통해 손을 추정하여 검색하고, 검색된 손의 이동좌표를 산출한다. 즉, 이전 영상 프레임에서 손의 움직임 벡터성분을 추출하고, 현재 영상 프레임에서 손의 움직임 벡터성분을 추출하여 움직임 추정을 실행하게 되며, 이에 다음 영상 프레임에서의 손의 위치를 추정할 수 있는 것이다. 또한 이러한 추정은 미리 학습된 학습 정보에 의해 이루어지게 된다. 만약, 추정된 위치에 손이 존재하지 않을 경우에는 추정된 위치를 중심으로 반경을 설정하여 해당 반경내에서 손에 대한 검색이 이루어진다. 이때 팔이 검색되었다면, 인체의 구조에 기반하여 손의 위치를 더욱 손쉽게 추정하게 된다. 르기고, 이동좌표 산출부(23)에서 인식된 손에 대한 좌표 조정을 수행하는 과정은, 콘텐츠에서 제어대상 객체가 존재하는 위치에 손을 위치시킴으로써 사용자가 제어대상 객체로의 접근을 용이하도록 하는 제어를 포함한다.
In the hand extracting unit 2 configured as described above, when the hand is recognized and the coordinates are calculated, the presence or absence of a hand at a predicted position is checked using an estimation technique for estimating motion. In each image frame, the hand is estimated and searched through the hand motion estimation technique, and the movement coordinates of the searched hand are calculated. That is, the motion vector component of the hand is extracted from the previous image frame, the motion vector component of the hand is extracted from the current image frame, and the motion estimation is performed. Thus, the position of the hand in the next image frame can be estimated. This estimation is performed by previously learned learning information. If there is no hand at the estimated position, the radius is set around the estimated position, and the hand is searched within the radius. At this time, if the arm is searched, the position of the hand is more easily estimated based on the structure of the human body. The process of coordinate adjustment of the hand recognized by the movement coordinate calculation unit 23 is performed by positioning the hand at a position where the control object exists in the content so that the user can easily access the control object Control.

도 3은 본 발명의 일 실시예에 의한 손 아바타 생성부의 구성도이다.3 is a configuration diagram of a hand avatar generation unit according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 손 아바타 생성부(3)는, 이동좌표 산출부(23)로부터 전달된 좌표값에 대하여 이벤트(제어)를 생성하는 이벤트 생성부(31)와, 손 인식부(22)를 통해 전달된 데이터로부터 손의 피부색, 손크기, 손가락길이를 포함한 형상데이터를 생성하는 형상데이터 생성부(32)와, 형상데이터로부터 손 형상을 생성하는 손 형상 생성부(33)와, 이벤트와 손 형상을 맵핑시켜 이벤트에 대응한 액션을 수행하는 손 아바타 맵핑부(34)를 포함한다.
3, the hand avatar generation unit 3 of the present invention includes an event generation unit 31 for generating an event (control) with respect to a coordinate value transmitted from the movement coordinate calculation unit 23, A hand shape generating section 33 for generating a hand shape from the shape data, a shape data generating section 32 for generating shape data including the skin color of the hand, the hand size, and the finger length from the data transmitted through the hand- And a hand avatar mapping unit 34 for mapping an event and a hand shape to perform an action corresponding to the event.

이와 같이 구성된 손 아바타 생성부(3)의 동작에 있어, 형상데이터 생성부(32)는 손 인식부(22)에서 인식된 손의 영상으로부터 피부색, 손크기, 손가락길이를 포함한 형상데이터를 추출하고, 이에 손 형상 생성부(33)는 형상데이터로부터 손 형상을 생성한다. 이후, 생성된 손 형상은 이벤트 생성부(31)에서 생성된 이벤트와 맵핑시키게 된다. 즉, 콘텐츠를 제어하기 위한 특정 액션을 취하였을 경우, 해당 이벤트가 생성되게 되고, 이는 이벤트는 손 아바타와 맵핑되어 손 아바타의 액션으로 표현된다. 또한, 이벤트 생성부(31)에서 출력되는 이벤트는 콘텐츠 제공부(미도시)로 전달되어 콘텐츠 제공부에서 이벤트에 대응하는 영상을 콘텐츠 결합부(4)로 전달하게 된다. 이에 영상 출력부(5)에서 손 아바타의 액션에 대응하여 제어대상 콘텐츠의 제어가 이루어지는 영상을 생성하여 출력한다.In the operation of the hand-avatar generation unit 3 configured as described above, the shape data generation unit 32 extracts shape data including the skin color, the hand size, and the finger length from the image of the hand recognized by the hand recognition unit 22 , And the hand shape generating section 33 generates a hand shape from the shape data. Thereafter, the created hand shape is mapped to the event generated by the event generation unit 31. FIG. That is, when a specific action for controlling the content is taken, the corresponding event is generated, and the event is mapped to the hand avatar and expressed as an action of the hand avatar. In addition, the event output from the event generating unit 31 is delivered to a content providing unit (not shown), and the content providing unit 4 transmits an image corresponding to the event in the content providing unit. The video output unit 5 generates and outputs an image in which the control target content is controlled in response to the action of the hand avatar.

일례로서, 손 아바타가 3D 퍼즐을 조립한다고 할 때, 생성된 손 아바타가 이벤트에 대응하여 액션을 취하면 이벤트에 대응하여 3D 퍼즐의 제어가 이루어진다. 즉, 이벤트가 발생하면, 해당 이벤트는 콘텐츠 제공부에 전달되고, 이에 콘텐츠 제공부는 이벤트에 대응하는 영상을 콘텐츠 결합부(4)로 전달하여, 콘텐츠 결합부(4)에서 손 아바타와 제어대상 객체의 결합이 이루어지게 되고, 최종적으로 영상 출력부(5)에서 손 아바타, 제어대상 객체 및 주변 영상을 포함한 영상들을 결합하여 최종 출력함으로써, 손 아바타와 3D 퍼즐이 일체로 동작하는 영상을 출력할 수 있게 된다.
As an example, when a hand avatar assembles a 3D puzzle, if the generated hand avatar takes an action corresponding to the event, the 3D puzzle is controlled in response to the event. That is, when an event occurs, the event is delivered to the content providing unit, and the content providing unit delivers the video corresponding to the event to the content combining unit 4, and the content combining unit 4 acquires the hand- And finally combining the images including the hand avatar, the object to be controlled, and the surrounding image in the image output unit 5, and finally outputting the combined images, thereby outputting an image in which the hand avatar and the 3D puzzle operate in unison .

그러면, 여기서 상기와 같이 구성된 시스템을 이용한 본 발명의 손 아바타를 이용한 콘텐츠 제어가능 전자학습 방법에 대해 설명하기로 한다.Hereinafter, a content controllable electronic learning method using the hand avatar of the present invention using the system configured as described above will be described.

도 4는 본 발명의 일 실시예에 의한 손 아바타를 이용한 콘텐츠 제어가능 전자학습 방법의 흐름도이다.4 is a flowchart of a content controllable electronic learning method using a hand avatar according to an embodiment of the present invention.

도 4를 참조하면, 영상 처리부(1)에서는 사용자의 영상을 촬영하여(S1) 영상 프레임을 생성한다(S2).Referring to FIG. 4, in the image processing unit 1, an image of a user is captured (S1) and an image frame is generated (S2).

이에 전처리부(21)에서는 영상 프레임간의 연결관계를 정의한다(S3). 즉, 이전 영상 프레임과 현재 영상 프레임을 시계열적으로 정리한다.The preprocessing unit 21 defines connection relationships between image frames (S3). That is, the previous image frame and the current image frame are arranged in a time series manner.

이어서, 손 인식부(22)에서는 각 영상 프레임에서 손을 인식 및 캡쳐한다(S4). 여기서, 손에 대한 인식에 있어, 먼저 손에 대한 학습을 수행하여 학습된 결과를 저장하고, 이 저장된 정보로부터 손에 대한 인식이 이루어지는 것이 바람직하다. 한편, 손에 대한 인식과 함께 머리, 몸통, 팔, 다리 등의 학습 및 이의 인식도 함께 이루어지며, 이들의 인식을 통해 손의 위치를 추정하는데 이용한다.Then, the hand recognition unit 22 recognizes and captures hands in each image frame (S4). Here, in the recognition of the hand, it is preferable that the learning of the hand is performed first, the learned result is stored, and the recognition of the hand is performed from the stored information. On the other hand, learning of the head, body, arms, legs, and recognition of the hand are performed together with the recognition of the hand, and they are used to estimate the position of the hand through their recognition.

이어서, 손 인식부(22)에서 손의 인식이 이루어지면, 이동좌표 산출부(23)에서는 손의 이동좌표를 산출하게 된다(S5). 이때, 손의 이동좌표는 손 전체의 이동좌표를 포함하여 손가락 관절, 손목 관절 등의 이동좌표도 포함하게 된다. 즉, 손가락 끝 및 각 관절의 포인트의 이동을 추적하여 손의 움직임을 추적하여 좌표값을 생성한다. 또한, 손을 인식하고 좌표를 산출함에 있어, 이웃하는 영상 프레임들에서 손의 위치를 파악하여 다음 영상 프레임에서의 손 위치를 추정한다(S6). 이는 각 영상 프레임에서 움직임 벡터성분을 추출하여 이루어질 수 있으며, 이는 미리 학습된 학습 정보에 의해 이루어지게 된다.Subsequently, when the hand recognition section 22 recognizes the hand, the movement coordinate calculation section 23 calculates the movement coordinates of the hand (S5). At this time, the movement coordinates of the hand include the movement coordinates of the entire hand and the movement coordinates of the finger joint and the wrist joint. That is, the movement of the fingertip and the point of each joint is tracked to track the movement of the hand to generate coordinate values. Further, in recognizing the hand and calculating the coordinates, the position of the hand in the neighboring image frames is grasped and the hand position in the next image frame is estimated (S6). This can be done by extracting motion vector components from each image frame, which is done by previously learned learning information.

이어서, 형상데이터 생성부(32)에서는 손 인식부(22)에서 캡쳐된 손으로부터 손의 외형정보, 즉 피부색, 손크기, 손가락길이를 포함한 형상데이터를 생성한다(S7).Next, the shape data generation unit 32 generates shape data including the appearance information of the hand, that is, the skin color, the hand size, and the finger length from the hand captured by the hand recognition unit 22 (S7).

형상데이터는 손 형상 생성부(33)에 의해 손 형상이 생성되게 된다(S8).The shape data is generated by the hand shape generating unit 33 (S8).

한편, 손의 이동좌표를 전달받은 이벤트 생성부(31)에서는 손의 이동좌표로부터 어떤 액션이 이루어졌는가를 판단하고, 이 액션에 대응한 이벤트를 생성한다(S9). 이 액션은, 지시, 실행, 이동, 조작 등의 제어를 포함한다.Meanwhile, the event generation unit 31 receiving the movement coordinates of the hand determines which action has been performed from the movement coordinates of the hand, and generates an event corresponding to the action (S9). This action includes control such as instruction, execution, movement, operation, and the like.

이벤트는 손 아바타 맵핑부(34)에서 손 형상과 맵핑되어, 이벤트에 대응한 손의 액션이 이루어지게 된다(S10).The event is mapped to the hand shape in the hand avatar mapping unit 34, and the hand action corresponding to the event is performed (S10).

한편, 이벤트 생성부(31)에서 출력되는 이벤트는 콘텐츠 제공부로 전달되어 콘텐츠 제공부에서 이벤트에 대응하는 영상을 콘텐츠 결합부(4)로 전달하게 된다. 이에 영상 출력부(5)에서 손 아바타의 액션에 대응하여 제어대상 콘텐츠의 제어가 이루어지는 영상이 최종 출력되게 된다(S11 ~ S12).
Meanwhile, the event output from the event generating unit 31 is transmitted to the content providing unit, and the content providing unit 4 transmits an image corresponding to the event in the content providing unit. Then, in the video output unit 5, an image in which the control target content is controlled in response to the action of the hand avatar is finally output (S11 to S12).

이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the invention.

1 : 영상 처리부
2 : 손 추출부
3 : 손 아바타 생성부
4 : 콘텐츠 결합부
5 : 영상 합성부1:
2: hand extractor
3: hand avatar generating unit
4: Content combining unit
5:

Claims (10)

사용자를 촬영하여 영상 프레임을 생성하는 영상 처리부;
상기 사용자의 손의 영상을 캡쳐하여 손의 모션에 대응한 좌표값을 생성하는 손 추출부;
상기 좌표값으로부터 생성된 이벤트와 캡쳐된 손의 형상으로부터 손 아바타를 생성하는 손 아바타 생성부;
상기 손 아바타와 콘텐츠를 결합하는 콘텐츠 결합부; 및
결합된 영상을 출력하는 영상 합성부를 포함하는 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치.
An image processing unit for photographing a user and generating an image frame;
A hand extraction unit for capturing an image of the hand of the user and generating a coordinate value corresponding to the motion of the hand;
A hand avatar generation unit for generating a hand avatar from the event generated from the coordinate value and the shape of the captured hand;
A content combining unit for combining the hand avatar and the content; And
And a video synthesizer for outputting a combined image.
제1항에 있어서,
상기 손 추출부는,
상기 영상 처리부로부터 전달된 영상 프레임간의 연결관계를 정의하는 전처리부;
전처리가 이루어진 영상 프레임에서 손을 인식하는 손 인식부; 및
인식된 손에 대하여 연속되는 영상 프레임에서 손의 이동좌표를 계산하는 이동좌표 산출부를 포함하는 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치.
The method according to claim 1,
Wherein the hand extracting unit comprises:
A preprocessing unit for defining a connection relationship between image frames transmitted from the image processing unit;
A hand recognition unit for recognizing a hand in a preprocessed image frame; And
And a moving coordinate calculation unit for calculating movement coordinates of a hand in a continuous image frame with respect to the recognized hand.
제2항에 있어서,
상기 영상 프레임에서 손의 움직임 추정기법을 통해 다음 영상 프레임에서 손을 추정하는 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치.
3. The method of claim 2,
And a hand avatar for estimating a hand in a next image frame through a hand motion estimation technique in the image frame.
제3항에 있어서,
상기 손 인식부의 손 인식 및 상기 이동좌표 산출부의 손 이동좌표 산출은 미리 학습된 학습 정보를 기반으로 하여 이루어지는 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치.
The method of claim 3,
Wherein the hand recognition of the hand recognition unit and the calculation of the hand movement coordinates of the movement coordinate calculation unit are based on previously learned learning information.
제1항에 있어서,
상기 손 아바타 생성부는,
상기 좌표값의 변화로부터 이벤트를 생성하는 이벤트 생성부;
상기 캡쳐된 손의 형상으로부터 손의 피부색, 손크기, 손가락길이를 포함한 형상데이터를 생성하는 형상데이터 생성부;
상기 형상데이터로부터 손 형상을 생성하는 손 형상 생성부; 및
상기 이벤트와 상기 손 형상을 맵핑시켜 이벤트에 대응한 액션을 수행하는 손 아바타 맵핑부를 포함하는 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치.
The method according to claim 1,
The hand-
An event generation unit for generating an event from a change in the coordinate value;
A shape data generation unit for generating shape data including the skin color of the hand, the hand size, and the finger length from the shape of the captured hand;
A hand shape generating unit for generating a hand shape from the shape data; And
And a hand avatar mapping unit for mapping the event and the hand shape to perform an action corresponding to an event.
(a) 영상 처리부에서 사용자를 촬영하여 영상 프레임을 생성하는 단계;
(b) 손 추출부에서 상기 사용자의 손의 영상을 캡쳐하여 손의 모션에 대응한 좌표값을 생성하는 단계;
(c) 손 아바타 생성부에서 상기 좌표값으로부터 생성된 이벤트와 캡쳐된 손의 형상으로부터 손 아바타를 생성하는 단계;
(d) 콘텐츠 결합부에서 상기 손 아바타와 콘텐츠를 결합하는 단계; 및
(e) 영상 합성부에서 결합된 영상을 출력하는 단계를 포함하는 손 아바타를 이용한 콘텐츠 제어가능 전자학습 방법.
(a) capturing a user in an image processing unit and generating an image frame;
(b) capturing an image of the user's hand at a hand extractor to generate coordinate values corresponding to the motion of the hand;
(c) generating a hand avatar from the event generated from the coordinate value and the shape of the captured hand at the hand avatar generating unit;
(d) combining the content with the hand avatar in a content combining unit; And
(e) outputting the combined image in the image synthesizing unit.
제6항에 있어서,
상기 단계 (b)는,
전처리부에서 상기 영상 처리부로부터 전달된 영상 프레임간의 연결관계를 정의하는 단계;
손 인식부에서, 전처리가 이루어진 영상 프레임에서 손을 인식하는 단계; 및
이동좌표 산출부에서, 인식된 손에 대하여 연속되는 영상 프레임에서 손의 이동좌표를 계산하는 단계를 포함하는 손 아바타를 이용한 콘텐츠 제어가능 전자학습 방법.
The method according to claim 6,
The step (b)
Defining a connection relationship between image frames transmitted from the image processing unit in a preprocessing unit;
Recognizing a hand in a preprocessed image frame in a hand recognition unit; And
And calculating movement coordinates of a hand in successive image frames with respect to the recognized hand in the movement coordinate calculation unit.
제7항에 있어서,
상기 영상 프레임에서 손의 움직임 추정기법을 통해 다음 영상 프레임에서 손을 추정하는 손 아바타를 이용한 콘텐츠 제어가능 전자학습 방법.
8. The method of claim 7,
And a hand avatar for estimating a hand in a next image frame through a hand motion estimation technique in the image frame.
제8항에 있어서,
상기 손 인식부의 손 인식 및 상기 이동좌표 산출부의 손 이동좌표 산출은 미리 학습된 학습 정보를 기반으로 하여 이루어지는 손 아바타를 이용한 콘텐츠 제어가능 전자학습 방법.
9. The method of claim 8,
Wherein the hand recognition of the hand recognition unit and the hand movement coordinates of the movement coordinate calculation unit are based on previously learned learning information.
제6항에 있어서,
상기 단계 (c)는,
이벤트 생성부에서 상기 좌표값의 변화에 대응하여 이벤트를 생성하는 단계;
형상데이터 생성부에서 상기 손 추출부에서 캡쳐된 손 영상으로부터 손의 피부색, 손크기, 손가락길이를 포함한 형상데이터를 생성하는 단계;
손 형상 생성부에서 상기 형상데이터로부터 손 형상을 생성하는 단계; 및
손 아바타 맵핑부에서 상기 이벤트와 상기 손 형상을 맵핑시켜 이벤트에 대응한 액션을 수행하는 단계를 포함하는 손 아바타를 이용한 콘텐츠 제어가능 전자학습 방법.The method according to claim 6,
The step (c)
Generating an event in response to a change in the coordinate value in an event generating unit;
Generating shape data including the skin color of the hand, the hand size, and the finger length from the hand image captured by the hand extraction unit in the shape data generation unit;
Generating a hand shape from the shape data in a hand shape generating unit; And
And mapping the event and the hand shape in a hand avatar mapping unit to perform an action corresponding to the event.
KR1020130123391A 2013-10-16 2013-10-16 Electronic learning apparatus and method for controlling contents by hand avatar KR101519589B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130123391A KR101519589B1 (en) 2013-10-16 2013-10-16 Electronic learning apparatus and method for controlling contents by hand avatar

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130123391A KR101519589B1 (en) 2013-10-16 2013-10-16 Electronic learning apparatus and method for controlling contents by hand avatar

Publications (2)

Publication Number Publication Date
KR20150044243A true KR20150044243A (en) 2015-04-24
KR101519589B1 KR101519589B1 (en) 2015-05-12

Family

ID=53036581

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130123391A KR101519589B1 (en) 2013-10-16 2013-10-16 Electronic learning apparatus and method for controlling contents by hand avatar

Country Status (1)

Country Link
KR (1) KR101519589B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102071172B1 (en) * 2019-04-01 2020-01-29 손근영 Method, system, and non-transitory computer-readable recording medium of virttual reality service providing interactive contents for old man
KR20220076815A (en) * 2020-12-01 2022-06-08 서울과학기술대학교 산학협력단 Method for generating realistic content
KR20230087865A (en) * 2021-12-10 2023-06-19 주식회사 리안 System for controlling avatar using artificial intelligence hand position recognition

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100967356B1 (en) 2008-10-14 2010-07-05 고려대학교 산학협력단 Virtual input method and apparatus for using 3d hand model generation
KR100980202B1 (en) * 2008-10-30 2010-09-07 한양대학교 산학협력단 Mobile augmented reality system for interaction with 3d virtual objects and method thereof
KR101083408B1 (en) 2010-01-18 2011-11-14 (주)엔시드코프 Augmented reality apparatus and method for supporting interactive mode
KR101189633B1 (en) * 2011-08-22 2012-10-10 성균관대학교산학협력단 A method for recognizing ponter control commands based on finger motions on the mobile device and a mobile device which controls ponter based on finger motions

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102071172B1 (en) * 2019-04-01 2020-01-29 손근영 Method, system, and non-transitory computer-readable recording medium of virttual reality service providing interactive contents for old man
KR20220076815A (en) * 2020-12-01 2022-06-08 서울과학기술대학교 산학협력단 Method for generating realistic content
KR20230087865A (en) * 2021-12-10 2023-06-19 주식회사 리안 System for controlling avatar using artificial intelligence hand position recognition

Also Published As

Publication number Publication date
KR101519589B1 (en) 2015-05-12

Similar Documents

Publication Publication Date Title
US10394334B2 (en) Gesture-based control system
US9972136B2 (en) Method, system and device for navigating in a virtual reality environment
CN108509026B (en) Remote maintenance support system and method based on enhanced interaction mode
US20130063560A1 (en) Combined stereo camera and stereo display interaction
EP3628380B1 (en) Method for controlling virtual objects, computer readable storage medium and electronic device
WO2018208477A1 (en) Creating a mixed-reality video based upon tracked skeletal features
KR101830793B1 (en) virtual training system using upper body interaction
KR20220012990A (en) Gating Arm Gaze-Driven User Interface Elements for Artificial Reality Systems
KR20220018561A (en) Artificial Reality Systems with Personal Assistant Element for Gating User Interface Elements
KR20220018562A (en) Gating Edge-Identified Gesture-Driven User Interface Elements for Artificial Reality Systems
JP2023501079A (en) Co-located Pose Estimation in a Shared Artificial Reality Environment
JP2010257081A (en) Image procession method and image processing system
KR102546945B1 (en) A Mixed Reality Telepresence System for Dissimilar Spaces Using Full-Body Avatar
KR101915780B1 (en) Vr-robot synchronize system and method for providing feedback using robot
KR20130030117A (en) Character image processing apparatus and method for footstake clean up in real time animation
KR20140009900A (en) Apparatus and method for controlling robot
CN105225270B (en) A kind of information processing method and electronic equipment
Sreejith et al. Real-time hands-free immersive image navigation system using Microsoft Kinect 2.0 and Leap Motion Controller
KR101519589B1 (en) Electronic learning apparatus and method for controlling contents by hand avatar
WO2017061890A1 (en) Wireless full body motion control sensor
KR102200251B1 (en) Interactive real- time CG(Computer Graphics) image system
CN219302988U (en) Augmented reality device
McDonald Hand interaction in augmented reality
Muneshwara et al. Providing The Natural User Interface (NUI) Through Kinect Sensor In Cloud Computing Environment
CN117784922A (en) Human body motion capturing method and device based on sparse IMU

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180531

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190507

Year of fee payment: 5