KR20100132322A - Method and system for motion learning using motioncapure and three dimensional graphics - Google Patents

Method and system for motion learning using motioncapure and three dimensional graphics Download PDF

Info

Publication number
KR20100132322A
KR20100132322A KR1020090051086A KR20090051086A KR20100132322A KR 20100132322 A KR20100132322 A KR 20100132322A KR 1020090051086 A KR1020090051086 A KR 1020090051086A KR 20090051086 A KR20090051086 A KR 20090051086A KR 20100132322 A KR20100132322 A KR 20100132322A
Authority
KR
South Korea
Prior art keywords
motion
image information
dimensional
graphic
information
Prior art date
Application number
KR1020090051086A
Other languages
Korean (ko)
Inventor
고영준
Original Assignee
고영준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고영준 filed Critical 고영준
Priority to KR1020090051086A priority Critical patent/KR20100132322A/en
Priority to PCT/KR2010/003676 priority patent/WO2010143872A2/en
Publication of KR20100132322A publication Critical patent/KR20100132322A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0015—Dancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: An operation learning system using motion capturing and 3D graphics and a method thereof for monitoring motion image information by using the motion capturing are provided to output 3D graphic step image information and 3D graphic motion image information by applying 3D motion information to a virtual character. CONSTITUTION: Motion image information rendering units(111) render 3D graphic motion image information through 3D graphic cameras. Step image information rendering units(112) render 3D graphic step image information capable of continuously observing 3D graphic motion data. Image display units(140) output 3D graphic motion image information and 3D graphic step image information.

Description

모션캡쳐와 3차원 그래픽을 이용한 동작 학습 시스템 및 그 방법 {Method and system for motion learning using motioncapure and three dimensional graphics}Motion learning system using motion capture and 3D graphics and its method {Method and system for motion learning using motioncapure and three dimensional graphics}

본 발명은 모션캡쳐와 3차원 그래픽기술을 사용하여 하나 이상의 시점(視點)에서 생성된 신체의 동작 영상 정보와 발의 동작 영상 정보를 동시에 관찰할 수 있게 하는 동작 학습 시스템에 관한 것이다.The present invention relates to a motion learning system that makes it possible to simultaneously observe motion image information of a body and motion image information of a foot generated at one or more viewpoints using motion capture and three-dimensional graphic technology.

영상 정보를 이용한 종래의 동작 학습 시스템은 동작 숙련자의 동작을 녹화한 동영상이나 모션캡쳐 기술을 통해 구현한 가상 캐릭터의 동작을 하나의 화면상에 표시하고, 사용자가 이를 따라서 몸을 움직임으로써 동작을 학습하는 방식이다. Conventional motion learning system using image information displays motions of a motion expert and a virtual character implemented through motion capture technology on one screen, and the user learns motions by moving his body accordingly. That's the way it is.

특히, 동작의 이해 및 학습에 도움을 주는 스텝 정보는 도 2와 같이 발의 위치를 나타내는 평면 이미지를 댄스 교본등을 통하여 전달하는 매우 단순한 방식만이 제공되고 있다.In particular, the step information to help the understanding and learning of the motion is provided only a very simple way to deliver a plane image indicating the position of the foot through the dance textbook, as shown in FIG.

종래 기술에 의한 동작 교육 매체 및 프로그램에 있어서는 주로 단시점(單視點)의 영상 정보를 제공하여 사용자가 동작을 따라 배우도록 하였으나, 이러한 방법으로는 3차원 공간에서 이루어지는 사람의 동작을 정확히 관찰할 수 없고, 특히 동작 학습에 있어서 중요한 발의 움직임에 대한 정보를 연속적으로 시각화하는 기능은 구비되어 있지 않았다.In the motion training media and programs according to the prior art, the user is primarily provided with image information of a short time point so that the user can learn according to the motion. However, in this method, it is possible to accurately observe the motion of a person in a three-dimensional space. There was no function to continuously visualize information on the movements of the foot, which is particularly important in motion learning.

본 발명은 상기의 문제점을 해결하기 위하여 제안되는 것으로서, 이를 위해 본 발 명은 모션캡쳐기술과 3차원 그래픽 기술을 사용하며, 임의의 3차원 동작 정보를 이용하여 하나 이상의 시점(視點)으로 부터 생성된 3차원 그래픽 동작 영상 정보와 3차원 그래픽 스텝 영상 정보를 하나 이상의 디스플레이 장치에 동시에 출력되도록 함으로써, 3차원 공간에서 이루어지는 사람의 동작 정보를 정확하게 관찰하고 이해할 수 있는 동작 학습 시스템을 제공하는것을 목적으로 한다.The present invention is proposed to solve the above problems, and for this purpose, the present invention uses a motion capture technique and a three-dimensional graphics technique, and is generated from one or more viewpoints using arbitrary three-dimensional motion information. It is an object of the present invention to provide a motion learning system capable of accurately observing and understanding human motion information in a three-dimensional space by simultaneously outputting three-dimensional graphic motion image information and three-dimensional graphic step image information to one or more display devices. .

상술한 바와 같이, 본 발명에 따르면, 3차원 동작정보를 가상 캐릭터에 적용하여 다양한 시점(視點)의 3차원 그래픽 카메라로 부터 3차원 그래픽 스텝 영상 정보와 3차원 그래픽 동작 영상 정보를 동시에 렌더링하여 출력하기 때문에 하나의 시점(視點)으로 영상를 전달하는 기존의 시스템에 비해 동작의 이해가 빠르고 정확하므로 어려운 동작을 보다 효과적으로 학습할 수 있게 된다. 예를 들어 무용의 경우, 발의 움직임을 3차원 그래픽 스텝 영상 정보를 통해 그 빠르기와 방향, 위치등을 연속적으로 관찰하면서 동시에 3차원 그래픽 동작 영상 정보를 통해 스텝에 따른 몸의 동작을 실시간으로 확인할 수 있으므로 이러한 과정을 반복함으로써 복잡한 무용동작을 보다 짧은 시간에 정확하고 효과적으로 파악하고 학습 할 수 있게 된다.As described above, according to the present invention, by applying the three-dimensional motion information to the virtual character, the three-dimensional graphics step image information and the three-dimensional graphics motion image information from the three-dimensional graphics camera of various views at the same time to output Therefore, since the understanding of the motion is faster and more accurate than the existing system that transmits the image at one viewpoint, it is possible to learn the difficult motion more effectively. For example, in the case of dance, the movement of the foot can be observed in real time through the 3D graphic step image information, while the 3D graphic motion image information can be confirmed in real time. Therefore, by repeating this process, it is possible to grasp and learn complex dance movements accurately and effectively in a shorter time.

본 발명의 3차원 그래픽 스텝 영상 정보는 기존의 영상정보로는 표현하지 못했던 발 또는 발바닥에 해당하는 부위를 연속적으로 확인 할 수 있는 3차원 그래픽 영상을 말하며 기존의 매체와는 달리 발 또는 발바닥에 해당하는 부위가 신체의 다른부위에 가려서 보이지 않는 경우가 없으므로 사람의 발의 동작에 대한 시각적인 정보의 전달에 효과적이고, 3차원 그래픽 동작 영상 정보과 동일한 3차원 동작 데이터 를 사용하기 때문에 사용자는 실시간으로 발의 움직임을 이해하면서 몸의 동작도 확인할 수 있는 동작 학습 환경을 제공받을수 있다.The three-dimensional graphic step image information of the present invention refers to a three-dimensional graphic image that can continuously check the area corresponding to the foot or the sole that was not represented by the existing image information, and unlike the conventional media corresponds to the foot or the sole Since the part that is not covered by other parts of the body is invisible, it is effective for the delivery of visual information about the motion of the human foot, and the user uses the same three-dimensional motion data as the three-dimensional graphic motion image information. You will be provided with a motion learning environment that allows you to check your body's movements while you understand it.

본 발명의 3차원 그래픽 동작 영상 정보는 소정의 3차원 동작 데이터가 적용된 가상 캐릭터를 향하는 하나 이상의 3차원 카메라로부터 렌더링된 3차원 그래픽 영상을 말하며, 상기 3차원 그래픽 동작 영상 정보가 3차원 카메라에 해당되는 방향에 설치된 하나 이상의 디스플레이 장치를 통하여 출력되게 되면 사용자는 시선의 방향에 위치한 디스플레이로부터 그 시점(視點)에 해당하는 동작 영상을 연속적으로 볼 수 있게 된다.The 3D graphic motion image information of the present invention refers to a 3D graphic image rendered from at least one 3D camera facing a virtual character to which predetermined 3D motion data is applied, and the 3D graphic motion image information corresponds to a 3D camera. When output through one or more display devices installed in the direction, the user can continuously view the operation image corresponding to the viewpoint from the display located in the direction of the line of sight.

예를 들어 회전하는 동작의 경우 하나의 시점(視點)으로 기록된 영상은 동작영상을 보기위해 머리를 디스플레이 방향으로 돌려야하지만 본 발명에 따르면 회전하는 동안에 각 면에 위치한 디스플레이에는 해당 시점(視點)의 동작 영상이 실시간으로 출력되므로 머리를 돌리지 않고도 동작을 확인 할 수 있게 된다.For example, in the case of a rotating motion, the image recorded at one viewpoint should turn the head toward the display to see the motion image. However, according to the present invention, the display positioned on each side during the rotation has the corresponding viewpoint. The motion image is output in real time, so you can check the motion without turning your head.

또한 본 발명에 따르면, 원격제어장치를 통해 복수의 디스플레이를 동시에 콘트롤 할 수 있으므로 동작의 학습이 이루어질때까지 구간반복이나 저속재생등을 통해 3차원 동작 정보를 학습함으로써 짧은 시간에 효과적인 학습이 이루어지는 효과가 있다.In addition, according to the present invention, since a plurality of displays can be controlled at the same time through the remote control device effective learning in a short time by learning the three-dimensional motion information through the interval repeat or low speed playback until the learning of the operation is made There is.

본 동작 학습 시스템의 경우 디스플레이장치의 다양한 구성을 통하여 여러 용도의 동작 학습 시스템을 구성할 수 있으므로 간단한 댄스 동작부터 전문적인 무용에 이르기까지 산업에서 다양한 활용이 가능하다.In the case of the motion learning system, the motion learning system for various purposes can be configured through various configurations of the display device, and thus, the motion learning system can be utilized in various industries from simple dance motion to professional dance.

이하에서는 본 발명의 바람직한 실시 예를 첨부되는 도면을 참조하여 상세하게 설명한다. 다만, 본 발명의 사상이 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상의 범위 내에 든다고 할 것이다.Hereinafter, with reference to the accompanying drawings, preferred embodiments of the present invention will be described in detail. However, the spirit of the present invention is not limited to the embodiments in which the present invention is presented, and those skilled in the art who understand the spirit of the present invention may easily add other embodiments by adding, changing, deleting or adding components within the scope of the same idea. It may be suggested, but this will also fall within the scope of the spirit of the present invention.

이하 본 발명에 따른 시스템 및 방법의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명한다.DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of systems and methods according to the present invention will now be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 사상에 따른 동작 학습 시스템을 설명하는 블록도이다.1 is a block diagram illustrating a motion learning system according to the spirit of the present invention.

도 1을 참조하면, 본 발명은 모션캡쳐와 3차원 그래픽을 사용한 동작 학습 시스템과 그 구현방법에 관한 것으로서, 소정의 사람 동작을 모션캡쳐하여 생성한 3차원 동작 데이터를 저장하는 동작 데이터베이스부(102), 상기 동작 데이터에 해당하는 음원을 저장하는 음원 데이터베이스부(101), 상기 동작 데이터를 설명하는 자료를 저장한 동작 정보 데이터베이스부(103), 상기 3차원 동작 데이터가 적용된 가상 캐릭터를 향해 설치된 하나 이상의 3차원 그래픽 카메라로부터 하나 이상의 동작 영상을 생성하는 동작 영상 정보 렌더링부(111), 상기 3차원 동작 데이터 또는 이 3차원 동작 데이터가 적용된 사이버캐릭터의 발에 해당하는 부위가 다른 신체 부위 등에 가려지지 않고 연속적으로 보일 수 있도록 하나 이상의 3차원 그래픽 카메라를 통해 하나 이상의 3차원 그래픽 스텝 영상 정보를 렌더링하는 스텝 영상 정보 렌더링부(112), 재생중인 동작에 대한 설명을 출력하는 동작 정보 표시부(113), 재생중인 동작에 해당하는 음원을 데이터베이스로부터 출력하는 음원재생부(120), 상기의 렌더링부로부터 전송된 영상들을 하나 이상의 디스플레이 장치를 통해 동시에 출력하는 영상 디스플레이부(140), 상기의 복수의 렌더링부와 음원재생부의 재생, 정지, 반복, 구간반복, 속도조절, 화면전환등을 원격으로 동시에 제어할 수 있게 하는 원격 제어부(130)를 포함하여 구성된다.Referring to FIG. 1, the present invention relates to a motion learning system using motion capture and 3D graphics and a method of implementing the same. An operation database unit 102 stores 3D motion data generated by motion capturing a predetermined human motion. ), A sound source database unit 101 for storing a sound source corresponding to the motion data, an motion information database unit 103 for storing data describing the motion data, and one installed toward the virtual character to which the 3D motion data is applied. The motion image information rendering unit 111 which generates one or more motion images from the 3D graphic camera, the part corresponding to the foot of the cyber character to which the 3D motion data or the 3D motion data is applied are not covered by other body parts. One or more through one or more three-dimensional graphics cameras so that Step image information rendering unit 112 for rendering the original graphic step image information, operation information display unit 113 for outputting a description of the operation being played, and sound source playback unit 120 for outputting a sound source corresponding to the operation being played from the database. ), The image display unit 140 for simultaneously outputting the images transmitted from the rendering unit through one or more display devices, the reproduction, stop, repeat, interval repeat, speed control, screen of the plurality of rendering units and the sound source playback unit It is configured to include a remote control unit 130 to control the remote control at the same time.

본 발명에서는 기존의 스텝 정보를 모션캡쳐와 3차원 그래픽 기술을 적용하여 3차원 그래픽 스텝 영상 정보로 만들어 활용하고 있다. 도 2는 댄스 교재등에서 사용되는 기존의 스텝 정보이다. 이러한 형식의 스텝 정보는 연속적인 스텝의 위치나 방향에 대한 정보가 없으므로 동작의 느낌을 전달할 수 없다. 따라서 본 발명에서는 이러한 기존의 스텝 정보를 활용하기 위해 도 3에서 보여지는 바와 같이 실시간 모션캡쳐와 3차원 그래픽 기술을 가상 캐릭터에 적용하여 렌더링된 3차원 스텝 영상 정보를 사용한다. 이러한 3차원 스텝 영상 정보는 모션캡쳐와 3차원 그래픽을 적용한 가상 캐릭터를 이용하여 발 또는 발바닥부위의 영상을 끊김없이 연속적으로 보여주므로 발의 움직임을 정확히 전달할 수 있다.In the present invention, the existing step information is applied to the 3D graphic step image information by applying motion capture and 3D graphic technology. 2 shows existing step information used in dance teaching materials. This type of step information cannot convey the feeling of operation because there is no information about the position or direction of successive step. Therefore, in order to utilize the existing step information, the present invention uses the rendered 3D step image information by applying real-time motion capture and 3D graphic technology to the virtual character as shown in FIG. 3. The 3D step image information can accurately transmit the movement of the foot because the image of the foot or the sole portion is continuously displayed using a virtual character applied with motion capture and 3D graphics.

한편, 도 4에서 보여지는 기존 동작 영상 정보는 단시점(單視點)의 영상 정보(401) 만을 제공하므로 3차원 공간에서 일어나는 사람의 동작 정보를 정확히 전달할 수 없다. 그러나 사람의 동작을 모션캡쳐하여 가상 캐릭터에 적용하게 되면 도 5에서 On the other hand, since the existing motion image information shown in FIG. 4 provides only the image information 401 of a short time point, the motion information of a person occurring in a three-dimensional space cannot be accurately transmitted. However, if the motion of the person is applied to the virtual character captured in Figure 5

보는 바와 같이 다양한 시점(視點)에서의 사람의 동작을 영상화 할 수 있게 된다.As can be seen, it is possible to visualize the motion of a person at various points of view.

도 5는 이러한 동작 학습 시스템의 바람직한 제 1 실시예이다. 모션캡쳐와 3차원 그래픽 기술을 이용하면 도 5에서 보여지는 바와 같이 하나 이상의 시점에서의 하나 이상의 3차원 그래픽 동작 영상 정보 (511 ,521)를 동시에 렌더링하여 하나 이상의 디스플레이 장치(510,520)를 통해 제공할 수 있게 된다. 또한 도 5의 바닥에 위치한 디스플레이 장치(530)에는 가상 캐릭터의 바닥면에 위치한 카메라로 부터 렌더링된 3차원 그래픽 스텝 영상 정보(531)가 사용되었다. 이 영상 정보는 발부위 뿐만 아니라 동작 영상도 포함하고 있으나 발바닥이 다른 신체부위에 의해 가려지지 않았으므로 본 발명의 3차원 그래픽 스텝 영상 정보(531)로 사용될 수 있다. 본 발명에 따른 이러한 다양한 시점의 사람 동작을 관찰 함으로써 사용자(540)는 사람의 동작을 더욱 빠르고 정확하게 이해할 수 있게 된다.5 is a first preferred embodiment of such a motion learning system. Using motion capture and 3D graphics technology, as shown in FIG. 5, one or more pieces of 3D graphic motion image information 511 and 521 at one or more viewpoints may be simultaneously rendered and provided through one or more display devices 510 and 520. It becomes possible. In addition, the 3D graphic step image information 531 rendered from the camera located on the bottom surface of the virtual character is used for the display device 530 positioned on the bottom of FIG. 5. The image information includes not only the foot but also the motion image, but since the sole is not covered by other body parts, the image information may be used as the 3D graphic step image information 531 of the present invention. By observing the human motion of these various points of view according to the present invention, the user 540 can understand the human motion more quickly and accurately.

도 6은 이러한 동작 학습 시스템의 바람직한 제 2 실시예이다. 도 6은 하나의 디스플레이 장치(600)에서 하나의 3차원 그래픽 동작 영상 정보(601)와 하나의 3차원 그래픽 스텝 영상 정보(602)를 동시에 출력해주는 동작 학습 시스템을 나타낸다. 사용자(630)는 하나의 시점(視點)에서의 렌더링된 3차원 그래픽 동작 영상 정보와 하나의 시점(視點)에서의 렌더링된 3차원 그래픽 스텝 영상 정보를 동시에 확인할 수 있다.6 is a second preferred embodiment of such a motion learning system. FIG. 6 illustrates an operation learning system that simultaneously outputs one piece of 3D graphic motion image information 601 and one piece of 3D graphic step image information 602 on one display apparatus 600. The user 630 may simultaneously check the rendered 3D graphic motion image information at one viewpoint and the rendered 3D graphic step image information at one viewpoint.

도 7은 본 발명의 동작 학습 시스템의 바람직한 제 3 실시예이다. 도 7은 두개의 디스플레이 장치(700,710)를 통해서 세개의 3차원 그래픽 동작 영상 정보 (701,7027 is a third preferred embodiment of the motion learning system of the present invention. 7 illustrates three three-dimensional graphic motion image information through two display apparatuses 700 and 710.

,703)와 하나의 3차원 그래픽 스텝 영상 정보(711)를 동시에 출력해주는 동작 학습 시스템을 나타낸다. 특히 바닥면에 학습자(720)의 발의 위치가 출력되므로 보다 원형에 가깝께 스텝 동작을 학습할 수 있게 된다., 703 and one 3D graphic step image information 711 are simultaneously output. In particular, since the position of the foot of the learner 720 is output on the bottom surface, it is possible to learn a step operation closer to the circular.

도 8은 본 발명의 동작 학습 시스템의 바람직한 제 4 실시예이다. 5개의 디스플레이 장치에서 4개의 3차원 그래픽 동작 영상 정보와 하나의 3차원 그래픽 스텝 영상 정보를 동시에 출력해주는 동작 학습 시스템을 나타낸다. 이 경우 디스플레이장치의 규모가 충분히 커지게 되면 실제 실연자의 공간상의 위치까지 파악이 가능하므로 보다 원형에 가까운 동작을 학습할 수 있게 된다.8 is a fourth preferred embodiment of the motion learning system of the present invention. A motion learning system that simultaneously outputs four three-dimensional graphic motion image information and one three-dimensional graphic step image information on five display devices. In this case, when the size of the display device is large enough, the actual position of the actual performer can be grasped so that the motion closer to a circle can be learned.

사용자는 이러한 3차원 그래픽 동작 영상 정보를 통해서 사람의 동작을 이해하면서 동시에 별도의 3차원 그래픽 스텝 영상을 통해서 보다 정확한 발의 움직임을 이해함으로써 복잡한 사람의 동작을 효과적으로 이해하고 학습하게 된다. 또한, 원격 제어 장치를 통해 해당 동작을 복수의 영상 정보를 통해서 반복 관찰할 수 있다.The user can understand and learn the motion of a complex person by understanding the motion of a person through the three-dimensional graphic step image while at the same time understanding the motion of the person through a separate three-dimensional graphic step image. In addition, the operation may be repeatedly observed through a plurality of image information through a remote control device.

상기의 3차원 그래픽 스텝 영상정보는 왼발과 오른발을 색깔, 모양, 기호등으로 식별할 수 있도록 하였고, 발이 바닥에 닿는 경우 닿는 부위의 색깔 또는 밝기 등에 변화를 주어 접촉 부위와 접촉 지속 시간을 식별할 수 있게 함으로써 사용자가 3차원 그래픽 스텝 영상을 통하여 발 동작을 효과적으로 이해하고 학습할 수 있도록 한다.The 3D graphic step image information allows the left foot and the right foot to be identified by color, shape, symbol, etc., and when the foot touches the floor, the contact area and the duration of contact can be identified by changing the color or brightness of the touched part. This allows the user to effectively understand and learn foot movements through 3D graphic step images.

도 1 : 그래픽을 이용한 댄스 학습 시스템 구성도1: Diagram of dance learning system using graphics

도 2 : 기존의 스텝 정보2: existing step information

도 3 : 3차원 그래픽 스텝 영상 정보3: 3D graphic step image information

도 4 : 기존의 동작 영상 정보4: existing motion image information

도 5 : 3차원 그래픽 동작 영상 정보5: 3D graphics motion image information

도 6 : 댄스 학습 시스템의 예 1Figure 6: Example of Dance Learning System 1

도 7 : 댄스 학습 시스템의 예 27: Example 2 of the dance learning system

도 8 : 댄스 학습 시스템의 예 38: Example 3 of the dance learning system

Claims (10)

(a) 소정의 사람의 동작을 모션캡쳐하여 생성한 3차원 동작 데이터를 저장하는 동작 데이터베이스부;(a) a motion database unit for storing three-dimensional motion data generated by motion capturing a motion of a predetermined person; (b) 상기의 동작 데이터에 해당하는 음원 정보를 저장하는 음원 정보 데이터베이스부;(b) a sound source information database unit for storing sound source information corresponding to the operation data; (c) 상기 (a)의 3차원 동작 데이터가 적용된 가상 캐릭터를 향해 전면,후면, 좌측면, 우측면, 바닥면, 천장면을 포함한 다양한 방향에 설치된 하나 이상의 3차원 그래픽 카메라를 통해 하나 이상의 3차원 그래픽 동작 영상 정보를 동시에 실시간 렌더링하는 동작 영상 정보 렌더링부;(c) one or more three-dimensional images through one or more three-dimensional graphics cameras installed in various directions including the front, rear, left, right, bottom, and ceiling surfaces toward the virtual character to which the three-dimensional motion data of (a) is applied. A motion image information rendering unit for simultaneously rendering graphic motion image information in real time; (d) 상기 (c)의 3차원 동작 데이터의 발 또는 발바닥에 해당하는 부위를 연속적으로 관찰할 수 있는 3차원 그래픽 스텝 영상 정보를 실시간 렌더링하는 스텝 영상 정보 렌더링부;(d) a step image information rendering unit configured to render in real time three-dimensional graphic step image information capable of continuously observing a part corresponding to the foot or the sole of the three-dimensional motion data of (c); (e) 상기 (b)의 하나 이상의 3차원 그래픽 동작 영상 정보와 (c)의 하나 이상의 3차원 그래픽 스텝 영상 정보를 하나 이상의 디스플레이 장치를 통해 실시간으로 동시에 출력하는 영상 디스플레이부;및(e) an image display unit for simultaneously outputting one or more three-dimensional graphic motion image information of (b) and one or more three-dimensional graphic step image information of (c) in real time through one or more display devices; and (f) 상기 (e)의 영상 정보의 디스플레이와 동시에 이에 해당하는 음원을 상기의 음원 정보 데이터베이스로 부터 전송 받아 실시간으로 출력하는 음원 재생부를 포함하는것을 특징으로하는 동작 학습 시스템;(f) an operation learning system including a sound source reproducing unit which displays the image information of (e) and simultaneously receives the corresponding sound source from the sound source information database and outputs it in real time; 제 1항에 있어서,The method of claim 1, 상기 영상 정보와 음원 정보의 재생, 정지, 일시정지, 반복, 구간반복, 속도조절 및 상기 영상정보의 화면전환등을 원격으로 제어할 수 있는 원격 제어 장치를 포함하는 것을 특징으로 하는 동작 학습 시스템And a remote control device for remotely controlling the reproduction, stop, pause, repetition, section repetition, speed control, and screen switching of the image information of the image information and sound source information. 제 1항에 있어서,The method of claim 1, 상기의 3차원 동작 데이터를 설명하는 자료를 저장한 동작 정보 데이터베이스부와, 재생중인 동작에 대한 설명을 출력하는 동작 정보 디스플레이부를 포함하는 것을 특징으로 하는 동작 학습 시스템And a motion information database for storing data describing the 3D motion data, and a motion information display for outputting a description of the motion being reproduced. 제 1항에 있어서,The method of claim 1, 상기의 3차원 그래픽 스텝 영상 정보는 왼발과 오른발을 색깔, 모양, 기호등으로 식별할 수 있도록 하는것을 특징으로 하는 동작 학습 시스템.The 3D graphic step image information is a motion learning system, characterized in that the left foot and right foot can be identified by color, shape, symbols and the like. 제 1항에 있어서,The method of claim 1, 상기의 3차원 그래픽 스텝 영상 정보는 발이 바닥에 닿는 경우 닿는 부위의 색깔 또는 밝기등에 변화를 주어 접촉 부위와 접촉 지속 시간을 식별할 수 있게 하는것을 특징으로 하는 동작 학습 방법.Wherein the three-dimensional graphic step image information is a motion learning method characterized in that when the foot touches the floor to change the color or brightness of the touched area to identify the contact and the contact duration. (a) 소정의 사람의 동작을 모션캡쳐하여 3차원 동작 데이터를 생성하는 단계;(a) motion capturing motions of a predetermined person to generate three-dimensional motion data; (b) 상기 (a)단계의 3차원 동작 데이터가 적용된 가상 캐릭터를 향해 전면,후면 , 좌측면, 우측면, 바닥면, 천장면을 포함한 다양한 방향에 설치된 하나 이상의 3차원 그래픽 카메라를 통해 연속적인 3차원 그래픽 동작 영상 정보를 실시간 렌더링하는 단계;(b) continuous 3 through one or more three-dimensional graphics cameras installed in various directions including the front, rear, left, right, bottom, and ceiling surfaces toward the virtual character to which the three-dimensional motion data of step (a) is applied. Real-time rendering the 3D graphic motion image information; (c) 상기 (b)단계의 3차원 동작 데이터의 발 또는 발바닥에 해당하는 부위를 연속적으로 관찰할 수 있는 3차원 그래픽 스텝 영상 정보를 3차원 그래픽 카메라를 통해 실시간 렌더링하는 단계;(c) real-time rendering three-dimensional graphic step image information capable of continuously observing a portion corresponding to the foot or the sole of the three-dimensional motion data of step (b) through a three-dimensional graphics camera; (d) 상기의 동작 데이터에 해당하는 음원 정보를 실시간 재생하는 단계; 및(d) reproducing sound source information corresponding to the motion data in real time; And (e) 상기 (b)의 3차원 그래픽 동작 영상 정보와 (c)의 3차원 그래픽 스텝 영상 정보와 (d)의 음원 정보를 하나 이상의 디스플레이 장치와 사운드 장치를 통해 실시간으로 동시에 출력하는 단계;(e) simultaneously outputting three-dimensional graphic motion image information of (b), three-dimensional graphic step image information of (c), and sound source information of (d) in real time through one or more display devices and sound devices; 를 포함하는 동작 학습 방법.Action learning method comprising a. 제 6항에 있어서,The method of claim 6, 상기 영상 정보와 음원 정보의 재생, 정지, 일시정지, 반복, 구간반복,속도조절 및 상기 영상 정보의 화면전환등을 원격으로 제어하는 단계를 포함하는 것을 특징으로 하는 동작 학습 방법.And remotely controlling playback, stop, pause, repetition, section repeating, speed control, and screen switching of the image information of the image information and sound source information. 제 6항에 있어서,The method of claim 6, 상기의 동작 학습 시스템는 동작에 대한 설명을 디스플레이하는 동작 설명 단계를 포함하는 것을 특징으로 하는 동작 학습 방법.The motion learning system includes a motion description step of displaying a description of the motion. 제 6항에 있어서,The method of claim 6, 상기의 3차원 그래픽 스텝 영상 정보는 왼발과 오른발을 색깔, 모양, 기호등으로 식별할 수 있도록 하는것을 특징으로 하는 동작 학습 방법.The 3D graphic step image information is a motion learning method characterized in that the left foot and the right foot can be identified by color, shape, symbols and the like. 제 6항에 있어서,The method of claim 6, 상기의 3차원 그래픽 스텝 영상 정보는 발이 바닥에 닿는 경우 닿는 부위의 색깔 또는 밝기등에 변화를 주어 접촉 부위와 접촉 지속 시간을 식별할 수 있게 하는것을 특징으로 하는 동작 학습 방법.Wherein the three-dimensional graphic step image information is a motion learning method characterized in that when the foot touches the floor to change the color or brightness of the touched area to identify the contact and the contact duration.
KR1020090051086A 2009-06-09 2009-06-09 Method and system for motion learning using motioncapure and three dimensional graphics KR20100132322A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090051086A KR20100132322A (en) 2009-06-09 2009-06-09 Method and system for motion learning using motioncapure and three dimensional graphics
PCT/KR2010/003676 WO2010143872A2 (en) 2009-06-09 2010-06-09 Motion learning system using motion capture and a three-dimensional graphical representation, and method for same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090051086A KR20100132322A (en) 2009-06-09 2009-06-09 Method and system for motion learning using motioncapure and three dimensional graphics

Publications (1)

Publication Number Publication Date
KR20100132322A true KR20100132322A (en) 2010-12-17

Family

ID=43309356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090051086A KR20100132322A (en) 2009-06-09 2009-06-09 Method and system for motion learning using motioncapure and three dimensional graphics

Country Status (2)

Country Link
KR (1) KR20100132322A (en)
WO (1) WO2010143872A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748444B2 (en) 2016-06-13 2020-08-18 Electronics And Telecommunications Research Institute Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140118522A1 (en) * 2012-11-01 2014-05-01 Josh Heath Zuniga Dance learning system using a computer
CN109887380A (en) * 2019-03-04 2019-06-14 郑州大学体育学院 A kind of intelligence sports dancing step learning device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010081193A (en) * 2000-02-10 2001-08-29 이수원 3D virtual reality motion capture dance game machine by applying to motion capture method
KR20000054349A (en) * 2000-06-02 2000-09-05 김용환 3 -Dimetional Dance Simulator with the Capability of Free Step
KR20050082559A (en) * 2004-02-19 2005-08-24 주식회사 소니컴퓨터 엔터테인먼트 코리아 Dance learning system, internet community service system and internet community service method using the same, dance learning method, and computer executable recording media on which programs implement said methods are recorded
KR20070121916A (en) * 2006-06-23 2007-12-28 주식회사 골든오일 System for operating dance academy and program recording medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748444B2 (en) 2016-06-13 2020-08-18 Electronics And Telecommunications Research Institute Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same
US11113988B2 (en) 2016-06-13 2021-09-07 Electronics And Telecommunications Research Institute Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same

Also Published As

Publication number Publication date
WO2010143872A2 (en) 2010-12-16
WO2010143872A3 (en) 2011-03-31

Similar Documents

Publication Publication Date Title
US8217995B2 (en) Providing a collaborative immersive environment using a spherical camera and motion capture
US8615383B2 (en) Immersive collaborative environment using motion capture, head mounted display, and cave
CA2662318C (en) Immersive collaborative environment using motion capture, head mounted display, and cave
JP2018109984A5 (en)
Hachimura et al. A prototype dance training support system with motion capture and mixed reality technologies
US11442685B2 (en) Remote interaction via bi-directional mixed-reality telepresence
US8941654B2 (en) Virtual flashlight for real-time scene illumination and discovery
US11164377B2 (en) Motion-controlled portals in virtual reality
KR101757420B1 (en) The system for remote video communication and lecture based on interaction using transparent display
US11393153B2 (en) Systems and methods performing object occlusion in augmented reality-based assembly instructions
US10582190B2 (en) Virtual training system
Perez et al. Developing a virtual environment for safety training
CN110491226A (en) Learning support system and computer readable recording medium
KR20100132322A (en) Method and system for motion learning using motioncapure and three dimensional graphics
KR20160124985A (en) Method for providing mixed reality experience space
Ozcelik et al. Gesture‐based interaction for learning: time to make the dream a reality
TWI687904B (en) Interactive training and testing apparatus
Schwede et al. HoloR: Interactive mixed-reality rooms
KR20240072286A (en) virtual window
Meyer et al. A model for sensorimotor affordances in virtual reality environments
EP3534241A1 (en) Method, apparatus, systems, computer programs for enabling mediated reality
US20240104870A1 (en) AR Interactions and Experiences
TWI767633B (en) Simulation virtual classroom
Harmsen OpenIMPRESS: an open immersive telepresence system
JPH06289773A (en) Power plant operation training device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application