KR100345319B1 - Interaction method for transmitting movement information in virtual reality system - Google Patents
Interaction method for transmitting movement information in virtual reality system Download PDFInfo
- Publication number
- KR100345319B1 KR100345319B1 KR1019990029730A KR19990029730A KR100345319B1 KR 100345319 B1 KR100345319 B1 KR 100345319B1 KR 1019990029730 A KR1019990029730 A KR 1019990029730A KR 19990029730 A KR19990029730 A KR 19990029730A KR 100345319 B1 KR100345319 B1 KR 100345319B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- soul
- motion information
- metaphor
- virtual reality
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 가상현실시스템에서 영혼-메타포어를 통해서 동작정보를 전달하는 상호작용 방법을 개시한다. 본 발명에 따른 가상현실에서 동작정보 전달자의 동작과 일치되어 가시화된 영혼-메타포어를 이용한 정보전달 방법은, 가상현실 환경에서 동작정보 전달자의 동작에 일치하는 영혼-메타포어를 가시화하고, 동작정보 수용자의 동작에 일치하는 가상인간을 가시화하는 제1단계; 상기 영혼-메타포어와 상기 가상인간을 하나의 개체단위로 중첩하여 일치시키는 제2단계; 선행하는 상기 동작정보 전달자의 동작정보를 상기 영혼-메타포어로 표현하여 상기 동작정보 수용자에게 시각적으로 전달하는 제3단계; 상기 영혼-메타포어의 동작과 그 동작을 따라하는 상기 가상인간의 동작간의 일치 정도를 연산하고 그 결과에 대하여 평가를 하는 제4단계를 포함함을 특징으로 한다.The present invention discloses an interaction method for transmitting motion information through a soul-metaphor in a virtual reality system. The information delivery method using the soul-metaphor visualized in accordance with the motion of the motion information transmitter in the virtual reality according to the present invention, visualizes the soul-metaphor corresponding to the motion of the motion information transmitter in the virtual reality environment, the motion information A first step of visualizing a virtual human corresponding to the operation of the prisoner; A second step of overlapping and matching the soul-metaphor and the virtual human in a single entity; A third step of expressing motion information of a preceding motion information transmitter in the soul-metaphor and visually transmitting the motion information to the motion information receiver; And a fourth step of calculating a degree of agreement between the motion of the soul-metaphor and the motion of the virtual human following the motion and evaluating the result.
본 발명에 따르면, 가상현실에서 자신의 몸과 일치된 상태로부터 동작을 선행하는 영혼-메타포어를 실시간으로 따라함으로써, 별도의 지시사항이 필요없이도 자신의 동작을 정확하게 일치시킬 수 있고, 운동궤적 그리고 동작타이밍 등을 수월하게 훈련할 수 있다. 또한, 향후 동작의 표현과 전달 및 이해가 중요시되는 모든 시스템에서 상호작용 방법으로 사용될 수 있다.According to the present invention, by following the soul-metaphor that precedes the motion from the state that matches the body in virtual reality in real time, it is possible to precisely match their motion without the need for additional instructions, motion trajectory and You can easily train the motion timing. It can also be used as an interactive method in any system where expression, delivery and understanding of future behavior is important.
Description
본 발명은 가상현실시스템을 이용한 상호 정보전달방법에 관한 것으로서, 특히 사용자들이 동작 정보를 표현 및 전달하고 동작을 학습시키는 것을 원할 때, 영혼-메타포어를 이용해서 이들 사이의 효과적인 상호 작용을 지원하는 가상현실시스템에서 영혼-메타포어를 통해서 동작정보를 전달하는 상호작용 방법에 관한 것이다.The present invention relates to a mutual information transfer method using a virtual reality system, particularly when users want to express and convey motion information and to learn motion, by using the soul-metaphor to support effective interaction between them The present invention relates to an interaction method of transmitting motion information through a soul-metaphor in a virtual reality system.
일반적으로 사용자는 가상현실 시스템을 이용함으로써, 현실세계에서는 시간적, 공간적 제약 등의 문제로 인해 구현 및 관찰이 불가능했던 일들을 가상현실 세계에서 실현할 수 있으며, 현실 세계의 상호작용에서는 표현하기 어려운 정보의 내용을 명확하게 가시화시켜 의사소통의 효율을 높일 수 있다.In general, users can use the virtual reality system to realize things in the virtual world that cannot be realized and observed due to problems such as temporal and spatial constraints in the real world. Clearly visualize content to increase communication efficiency.
이러한 가상현실 시스템의 적용분야 중 대표적인 예로는 훈련 및 교육 시스템을 들 수 있다. 그 대상이 되는 환경이 사용자에게 위험하거나 현실적인 실험에 어려움이 있는 경우, 이를 가상현실 시스템을 이용해서 구성하고, 가상의 개체를 대상으로 모의 실험을 수행하거나, 특정한 상황을 직접 체험해 볼 수 있는 이점이 있다.A representative example of the application of such a virtual reality system is a training and education system. If the target environment is dangerous to the user or if there is difficulty in realistic experiment, it can be configured using a virtual reality system, simulated with virtual objects, or experienced a specific situation directly. There is this.
종래의 동작 정보를 숙지하고 훈련하는 방법은 기록의 인쇄매체나 영상매체등에서 사용된느 상호작용 방법과 큰 차이를 보이지 못하고 있다. 즉, 사용자가 특정 동작에 대한 안내 상황을 읽거나 시청한 후 그 내용을 기억했다가 스스로 재현해보고 그 결과를 평가하는 순서를 취하도록 하고 있다. 일반적으로 이와 같은 방법은 목표가 되는 대상 행동에 대한 관찰 및 인지 과정을 거친 후, 그 중간 과정을 머리속에서 그리며 수행해보고, 스스로 평가를 내리는 순서를 따르므로 동작 전체에 대한 완전한 이해가 선행되지 않는 경우에는 그 완성도가 더욱 낮아진다는 한계점을 가지고 있다.The conventional method of acquiring and training the operation information does not show a significant difference from the interaction method used in the print media or image media of recording. In other words, the user reads or watches the guide situation for a specific operation, remembers the contents, and reproduces the contents and evaluates the results. In general, this method follows the observation and cognitive process of the target behavior, then draws the intermediate process in the head, and follows the order of self-assessment. Has the limitation that its degree of completion is lower.
태권도와 같은 무술동작을 교육하는 경우에서 동작정보 전달자 예컨대, 태권도 사범으로부터 직접 교육을 받지 못하는 경우, 현재는 태권도 교본이나 비디오 교제를 통해서 스스로 학습을 할 수 있으며, 현재는 태권도 교본이나 비디오 교재를 통해서 스스로 할 수 있으며, 가상현실 기술이 적용된 시스템을 이용하는 경우에는 관찰 위치를 바꾸는 방법 등을 통해서 조금은 능동적으로 태권도 동작을 관찰할 수 있게 되었다. 그리고, 이런 가상현실 시스템들은 동작정보의 표현 및 전달방법으로 그 이전의 것과 유사한 방법을 따르고 있다. 즉, 현재의 가상현실 시스템에서 동작정보를 표현하고 전달할 때 사용하고 있는 방법은 지시사항을 음성이나 글 또는 그림을 통해서 전달하고 화살표 등을 사용해서 부가정보를 표시하는 방법 등을 주로 사용하였다.In the case of training martial arts movements such as taekwondo, if you do not receive direct education from motion information communicators, for example, taekwondo masters, you can now learn by yourself through taekwondo textbooks or video books, and now through taekwondo textbooks or video books. If you use the system with virtual reality technology, you can observe taekwondo movements actively by changing the observation position. In addition, these virtual reality systems follow a similar method as the previous method of representing and transmitting motion information. In other words, the method used to express and transmit motion information in the current virtual reality system mainly uses a method of transmitting instructions through voice, text, or picture, and displaying additional information using arrows.
따라서, 종래의 일반동작 훈련 시스템에서 사용되는 상호작용 방법을 통해서는 동작 정보를 보다 빠르고 정확하게 표현하여 전달하고 이 표현된 정보를 이해를 하는 데 한계가 있었다.Therefore, the interaction method used in the conventional general motion training system has a limitation in expressing and conveying motion information more quickly and accurately and understanding the expressed information.
본 발명은 상술한 문제점을 해결하기 위해 창출된 것으로서, 현재 사용되고 있는 가상현실 환경 기반의 시스템에서 동작정보를 효과적으로 전달하는 상호작용 방법을 제공하는 데 있다.The present invention has been made to solve the above problems, and provides an interaction method for effectively delivering motion information in a system based on a virtual reality environment that is currently used.
본 발명의 다른 목적은 동작정보를 표현 및 전달할 때 자기중심적 위치(1인칭 관찰시점)에서 정보수집과 이해가 될 수 있도록 하여 동작정보수용자가 보다 빠르고 정확하게 동작을 학습할 수 있는 방법을 제공하는 데 있다.Another object of the present invention is to provide a method for motion information recipients to learn the motion faster and more accurately, so that the information can be collected and understood at the self-centered position (first-person observation point) when expressing and transmitting the motion information. have.
도 1은 현실 세계의 사용자와 가상현실 공간의 가상인간 또는대행자를 연결시켜주는 가상현실 입출력 인터페이스 장치와 시스템도이다.1 is a diagram of a virtual reality input / output interface device and system for connecting a user of a real world and a virtual human or an agent in a virtual reality space.
도 2는 도 1에 도시된 가상현실 시스템의 사용자의 사용을 보이는 도면이다.FIG. 2 is a diagram illustrating a user's use of the virtual reality system illustrated in FIG. 1.
도 3은 가상현실 시스템에서 운용되는 Active worldsTM의 가상현실 응용프로그램의 실행에 의한 가상현실 화면의 일예를 나타낸다.3 illustrates an example of a virtual reality screen by executing a virtual reality application of Active Worlds TM operated in a virtual reality system.
도 4는 본 발명의 가상현실시스템에서 영혼-메타포어를 이용한 동작정보의 전달방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method of transmitting motion information using a soul-metaphor in the virtual reality system of the present invention.
도 5는 도 4의 흐름도에서 동작범위 일치 단계(14)에서 영혼-메타포어와 가상인간을 제어하기 위한 정보를 변환 출력하는 부분의 흐름도이다.FIG. 5 is a flowchart of a part of converting and outputting information for controlling a soul-metaphore and a virtual human in the operation range matching step 14 of the flowchart of FIG. 4.
도 6은 도 4의 흐름도에 따라 상호작용을 수행하는 정보전달자와 정보수용자에게 보여지는 가상현실세계의 상황 예시도이다.FIG. 6 is an exemplary view of a virtual reality world seen by an information bearer and an information receiver performing interaction according to the flowchart of FIG. 4.
도 7은 도 4의 흐름도에 따른 다른 실시예의 가상현실세계의 확대된 상황 예시도이다.7 is an enlarged view illustrating a virtual reality of another embodiment according to the flowchart of FIG. 4.
<도면의 주요 부분에 대한 부호설명><Code Description of Main Parts of Drawing>
2 ... 본 발명이 적용될 수 있는 가상현실 시스템에 의해 생성되는 가상현실 세계.2 ... A virtual reality world created by a virtual reality system to which the present invention can be applied.
3, 4 ... 가상현실 시스템을 이용하는 현실 세계의 사용자.3, 4 ... users of the real world using virtual reality systems.
5, 6 ... 본 발명이 적용되는 가상현실 세계에서 현실세계의 사용자의 모습과 행동을 따라 나타나는 대행자(avatar) 또는 가상인간(virtual human).5, 6 An agent or virtual human who appears according to the appearance and behavior of a user in the real world in the virtual reality world to which the present invention is applied.
7 ... 본 발명이 적용될 수 있는 가상현실 세계에 존재하는 제3의 개체.7 ... A third entity that exists in the virtual reality world to which the present invention may be applied.
30 ... 본 발명에 있어서 동작정보전달자가 가상현실 환경에서 가시화된 영혼-메타포어.30 ... Soul-metaphores in which the motion information transmitter is visualized in a virtual reality environment.
31 ... 본 발명에 있어서 동작정보 수용자가 가상현실 환경에서 가시화된 가상인간.31 ... In the present invention, the motion information receiver is a virtual human being visualized in the virtual reality environment.
32 ... 영혼-메타포어(30)와 가상인간(31)의 두 사용자가 가상현실 환경에서 하나로 일치되어 상호작용을 시작하는 모습.32 ... The two users of Soul-Metaphor (30) and Virtual Human (31) are united in a virtual reality environment and begin to interact.
33, 36, 39, 42, 45 ... 상호작용 진행과정을 가상현실에서 제1인칭 관찰자시점에서 바라본 모습.33, 36, 39, 42, 45 ... Seeing the progress of the interaction from the first-person observer's point of view in virtual reality.
34, 37, 40, 43, 46 ... 상호작용 진행과정을 가상현실에서 제3인칭 관찰자시점에서 바라본 모습.34, 37, 40, 43, 46 ... Seeing the progress of the interaction from the third-person observer's point of view in virtual reality.
35, 38, 41, 44, 47 ... 상호작용 진행과정을 가상현실에서 다른 제3인칭 관찰자시점에서 바라본 모습.35, 38, 41, 44, 47 ... Seeing the progress of the interaction from another third-person observer's point of view in virtual reality.
48 ... 동작정보 전달자와 수용자가 영혼-메타포어를 통해서, 상호작용하는 과정을 나타내는 루프.48 ... A loop representing the process by which the communicator and receiver interact through a soul-metaphor.
51 내지 54 ... 상호작용의 수단이 되는 영혼-메타포어를 외곽선 구조로 가시화한 모습.51-54 ... Visualization of the soul-metaphor as a means of interaction as an outline structure.
상기의 목적을 달성하기 위한 본 발명에 의한 가상현실프로그램이 내장된 컴퓨터와 상기 컴퓨터에 접속된 모션트랙커와 입체영상 디스플레이를 통하여 동작정보 전달자의 동작과 일치되어 가시화된 영혼-메타포어를 이용하여 동작정보를 전달하는 상호작용 방법은,Operation using a soul-metaphor visualized in accordance with the motion of the motion information transmitter through a computer with a built-in virtual reality program according to the present invention, a motion tracker connected to the computer and a stereoscopic image display to achieve the above object An interactive way to convey information is
상기 컴퓨터에서 상기 모션트랙커를 각각 착용한 동작정보 전달자의 동작에 일치하는 영혼-메타포어와 동작정보 수용자의 신체 데이터정보와 동작에 일치하는 가상인간을 상기 입체영상 디스플레이를 통하여 가시화하는 제1단계; 상기 컴퓨터에서 상기 영혼-메타포어를 상기 동작정보 수용자의 신체 데이터 정보에 일치시켜 상기 가상인간과 하나의 개체단위로 중첩시키는 제2단계; 선행하는 상기 동작정보 전달자의 모션트랙커에서 출력되는 동작정보를 상기 영혼-메타포어로 표현하여 상기 동작정보 수용자에게 상기 입체영상 디스플레이장치를 통하여 시각적으로 전달하는 제3단계; 상기 컴퓨터에서 상기 영혼-메타포어의 동작과 그 동작을 따라하는 상기 가상인간의 동작간의 일치 정도를 상기 동작정보 전달자와 수용자의 각각의 모션트랙커에서 출력되는 좌표상의 정보를 비교하여 연산하고 그 결과를 평가하는 제4단계를 포함함을 특징으로 한다．Visualizing, through the stereoscopic image display, the virtual computer corresponding to the operation of the motion information transmitter wearing the motion tracker and the virtual data corresponding to the motion and body data information of the motion information receiver; A second step of the computer matching the soul-metaphor with the physical data information of the motion information receiver and superimposing the virtual human with one individual unit; A third step of expressing the motion information output from the motion tracker of the preceding motion information transmitter in the soul-metaphor and visually transmitting the motion information to the motion information receiver through the stereoscopic image display apparatus; In the computer, the degree of correspondence between the motion of the soul-metaphor and the motion of the virtual human following the motion is calculated by comparing the coordinate information output from each motion tracker of the motion information transmitter and the receiver, and the result is calculated. A fourth step of evaluating.
또한, 상기 영혼-메타포어는 반투명한 동일한 개체 또는 틀상자(bounding-box)나 선구조(wire-frame)로 가시화됨을 특징으로 한다.In addition, the soul-metaphor is characterized by being visualized as the same translucent object or a bounding-box or wire-frame.
또한, 상기 영혼-메타포어는 전신동작이나 부분적인 신체의 움직임을 가시화의 대상으로 함을 특징으로 한다.In addition, the soul-metaphor is characterized in that the whole body movement or partial body movement as the object of visualization.
또한, 상기 영혼-메타포어는 의사교환의 중심이 되는 물체를 가시화의 대상으로 함을 특징으로 한다.In addition, the soul-metaphor is characterized in that the object that is the center of communication as the object of visualization.
또한, 상기 선행된 동작정보를 전달하는 단계는 가상인간과 중첩된 영혼-메타포어가 상기 가상인간의 몸에서 빠져나가면서 동작을 안내함을 특징으로 한다.In addition, the step of transmitting the preceding motion information is characterized in that the soul-metaphore superimposed with the virtual human guides the operation while leaving the body of the virtual human.
또한, 동작정보 전달자의 동작에 따라 가시화된 상기 영혼-메타포어는 상기 동작정보 수용자에게 실시간으로 전달됨을 특징으로 한다.The soul-metaphor visualized according to the motion of the motion information transmitter is delivered to the motion information receiver in real time.
또한, 상기 영혼-메타포어의 동작정보는 상기 가상현실시스템의 저장매체에 저장되어 상기 동작정보 수용자가 독출된 동작정보로 반복하여 연습할 수 있음을 특징으로 한다. In addition, the operation information of the soul-metaphor is stored in the storage medium of the virtual reality system is characterized in that the user can repeatedly practice the motion information read the operation information.
이하, 첨부도면을 참조하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 일반적으로 사용자들이 가상현실 시스템이 생성하는 가상현실 공간에서 상호작용을 통한 정보 교환을 설명하기 위한 개념도이며, 도 2는 도 1에 도시된 가상현실 시스템에 접속된 가상현실 인터페이스 장치인 HMD(Head Mounted Display)와 모션트랙커( Motion Tracker)를 착용한 사용자가 가상현실에서 작업을 수행하는 것을 나타내며, 도 3은 가상현실 시스템에서 운용되는 Active worldsTM의 가상현실 응용프로그램의 실행 화면의 일예로 대행자(avatar)들과 가상현실 세계의 개체들(5, 6)의 모습을 나타낸다. 일반적으로 가상현실이란 도 1 내지 도3에 도시된 바와 같이 현실세계의 사용자들(3,4)의 모습이 가상현실 시스템(1)이 생성하는 가상현실세계(2)에서는 대행자(5)나 가상인간(6)의 모습으로 나타난다. 그리고 이들은 가상현실 세계에서 서로간에 또는 가상의 개체(7)와 함께 상호작용함으로써 원하는 작업을 수행한다.FIG. 1 is a conceptual diagram for explaining information exchange through interaction in a virtual reality space generated by a virtual reality system, and FIG. 2 is an HMD which is a virtual reality interface device connected to the virtual reality system shown in FIG. (Head Mounted Display) and a user who wears a motion tracker (Motion Tracker) shows that the work is performed in virtual reality, Figure 3 is an example of the execution screen of the virtual reality application of the active worlds TM operating in the virtual reality system It shows the avatars and the entities (5, 6) of the virtual reality world. In general, virtual reality means agents (5) or virtual in the virtual reality world (2) generated by the virtual reality system (1) of the user (3, 4) of the real world as shown in Figs. It appears in the form of a human (6). And they do what they want by interacting with each other or with the virtual entity 7 in the virtual reality world.
도 4는 본 발명의 가상현실시스템에서 영혼-메타포어를 이용한 동작정보의 전달방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating a method of transmitting motion information using a soul-metaphor in the virtual reality system of the present invention.
도 4의 흐름도에 따른 동작을 살펴보면 동작정보 전달자 예컨대 태권도 사범이 가상현실 세계에서 도 6에 도시된 바와 같이 일반적으로 가상현실시스템의 가상현실프로그램이 내장된 컴퓨터에서 모델링 기법을 이용하여 HMD와 같은 입체영상 디스플레이장치에 반투명의 선구조로 표현된 영혼-메타포어(Ghost-metaphor)(30)로 가시화되고, 현실세계의 동작정보수용자(예컨대 태권도 수련자) 또한 가상현실 세계에서 도 6의 가상인간(Virtual-human)(31)으로 가시화된다(13단계). 여기서, 영혼-메타포어는 본 발명이 가상현실 시스템에서 사용자들 사이의 동작정보를 효과적으로 전달할 때 사용되는 상호작용의 수단으로서, 전신 동작이나 부분적인 신체의 움직임 그리고 의사교환의 중심이 되는 물체를 반투명환 동일한 개체 또는 선구조(wire-frame)나 반투명한 틀상자(bounding-box)의 형태로 가시화될 수 있다．Referring to the operation according to the flowchart of FIG. 4, a motion information transmitter such as a Taekwondo master in a virtual reality world, as shown in FIG. 6, generally uses a modeling technique in a computer equipped with a virtual reality program of a virtual reality system, such as a three-dimensional HMD Visualized as a ghost-metaphor 30 expressed in a translucent line structure on an image display device, the motion information receiver (for example, a taekwondo practitioner) in the real world is also shown in FIG. 6 in the virtual reality world. human) (31) (step 13). Here, the soul-metaphor is a means of interaction used when the present invention effectively transmits motion information between users in a virtual reality system, and translucent objects that are the center of whole body motion, partial body movement, and communication. Rings can be visualized in the form of identical objects or wire-frames or translucent bounding-boxes.
동작정보 전달자와 동작수용자가 가상현실 세계에서 각각 가시화된 영혼-메타포어와 가상인간을 도 6의 32와 도 7의 51의 그림과 같이 일치화시킨다(14단계).즉, 동작추적장치(motion tracker)로부터 얻은 동작정보 전달자의 움직임 정보를 수용자를 기준으로 변형한다. 그리고, 변형 방법은 전달자와 수용자의 신체정보를 입력데이터로 일반적인 동작일치 알고리듬(motion retargeting: 3차원 움직임과 3차원 자세정보를 가진 움직임 데이터를 스케일링(scaling)과 해석(translation) 과정을 이용해서 변형시키는 방법)을 이용해서 신체정보가 일치되도록 한다. 이러한 몸 동작을 추적하는 모션캡쳐시스템은 영화의 특수효과와 게임제작 분야나 방송등의 사이버 캐릭터에 널리 사용되고 있다.여기서, 도 6과 도 7은 각각 도 4의 흐름도에 따라 상호작용을 수행하는 정보전달자와 정보수용자에게 가상현실세계의 상호작용 상황의 예시로, 다양한 관찰시점과 동작 그리고 영혼-메타포어의 다양한 가시화 방법으로 나타낸 예시도이다.The motion information transmitter and the motion receiver respectively visualize the soul-metaphores and virtual humans visualized in the virtual reality world as shown in Fig. 32 of Fig. 6 and Fig. 51 of Fig. 7 (ie, motion tracking device). The motion information of the motion information transmitter obtained from the tracker is transformed based on the audience. In addition, the transformation method uses the body information of the transmitter and the receiver as input data, and transforms the motion data with a general motion retargeting algorithm using scaling and translation processes. Body information) to match. The motion capture system that tracks the body motion is widely used in the special effects of movies and game characters, such as game production or broadcasting, and the like. Here, FIG. 6 and FIG. 7 are information for performing interaction according to the flowchart of FIG. It is an example of the interaction situation of the virtual reality world to the communicator and the information receiver, and it is an exemplary diagram that shows various viewpoints and actions and various visualization methods of the soul-metaphor.
영혼-메타포어와 가상인간을 일치시키는 단계에서는 보다 구체적으로 도 5에서와 같이 현실 세계의 동작정보전달자와 동작정보수용자의 동작을 추적하여 동작 정보를 만들며(21, 22단계), 양쪽 정보데이터를 정보 수용자의 신체 데이터를 기준으로 변환하고 일치시킨 다음(21 내지 23단계), 영혼-메타포어와 가상인간의 가시화된 제어정보를 가상세계에 디스플레이 되도록 한다(24 및 25단계).In the step of matching soul-metaphores and virtual humans, more specifically, as shown in FIG. 5, the motions of the motion information transmitter and motion information receivers are tracked to generate motion information (steps 21 and 22). After converting and matching the data receiver's body data as a reference (steps 21 to 23), visualized control information of the soul-metaphor and the virtual human is displayed in the virtual world (steps 24 and 25).
도 7의 참조부호 51로 도시된 바와 같이, 만약에 현실세계의 사용자들은 서로 다른 골격구조(키, 관절 사이의 길이, 각각의 신체 부분의 둘레 등)를 가지고 있으면, 이들의 21, 22단계의 동작추적정보를 그대로 각각의 영혼-메타포어와 가상인간을 제어하는 데 사용하면, 동작가능범위가 일치되지 못하므로, 동작정보수용자가 동작정보전달자의 동작을 그대로 따라하기 어렵게 된다. 이런 문제를 해결하기 위해 본 발명에서는 이들의 동작추적정보를 하나의 개체로 일치시키는 연산과정을 거친 후, 변환된 동작센서의 정보를 이용해서 가상현실 세계의 영혼-메타포어와 가상-인간의 움직임을 제어한다.As shown by reference numeral 51 in FIG. 7, if users in the real world have different skeletal structures (keys, lengths between joints, circumferences of respective body parts, etc.) If the motion tracking information is used as it is to control each soul-metaphor and virtual human beings, the range of motions does not coincide, which makes it difficult for the motion information receiver to follow the motion of the motion information transmitter. In order to solve this problem, in the present invention, after the operation process of matching these motion tracking information into a single object, the soul-metaphor and virtual-human movement of the virtual reality world using the converted motion sensor information To control.
도 6의 참조부호 36 내지 38, 42 내지 44, 그리고 도 7의 참조부호 52 내지 53에서 도시된 바와 같이, 동작정보 전달자(영혼-메타포어)가 선행하는 특정 동작의 정보를 표현하고 전달한다(15단계).As shown by reference numerals 36 to 38, 42 to 44 of FIG. 6, and 52 to 53 of FIG. 7, the motion information transmitter (soul-metaphore) expresses and conveys information of the preceding specific motion ( Step 15).
도 6의 참조부호 39 내지 41, 45 내지 47 그리고 도 7의 52 또는 54의 그림에 도시된 바와 같이 동작정보수용자(가상인간)는 동작전달자의 영혼-메타포어의 움직임에 따라서 자신의 신체를 일치시킨다(16단계). 동작정보수용자는 부분적인 따라하기 동작을 수행함과 동시에 영혼-메타포어와의 동작일치 정도에 대한 즉각적으로 평가를 정보전달자나 가상현실 시스템으로부터 받고 틀린 부분을 즉시 바로 잡은 다음(17단계) 15단계로 진행한다. 동작정보수용자의 동작일치 정도는 모션캡쳐시스템 등에서 응용되고 있는 곡선일치알고리즘이 적용되며 동작정보 전달자와 동작정보 수용자가 각각 착용한 모션트랙커에서 출력되는 3차원 동작 데이터값 즉, X, Y, Z축의 위치좌표값을 각각 종합하여 시간의 흐름에 따라 나타난 그래프에 대한 곡선의 일치도와 유사 정도를 계산하여 평가한다.여기서, 참조부호 33, 36, 39, 42, 45는 상호작용 진행과정을 가상현실공간에서 제1인칭 관찰자시점에서 바라본 모습이고, 참조부호 34, 37, 40, 43, 46은 가상현실 공간에서 제3인칭 관찰자시점에서 바라본 모습이며, 참조부호 35, 38, 41, 44, 47은 가상현실 공간에서 다른 제3인칭 관찰자시점에서 바라본 모습을 나타내고 참조부호 51 내지 54는 상호작용의 수단이 되는 영혼-메타포어를 외곽선 구조로 가시화한 모습을 나타낸다.As shown in the reference numerals 39 to 41, 45 to 47 of FIG. 6 and 52 or 54 of FIG. 7, the motion information receiver (virtual human) matches his body according to the movement of the soul-metaphor of the motion transmitter. (Step 16). The motion information recipient performs a partial follow-up action and at the same time receives an immediate assessment of the degree of motion agreement with the soul-metaphore, and immediately corrects the wrong part (step 17). do. The motion matching degree of motion information receiver is applied by motion matching system which is applied in motion capture system, etc., and 3D motion data value output from motion tracker worn by motion information transmitter and motion information receiver, that is, X, Y, Z axis. Compute and evaluate the degree of similarity and similarity of the curves to the graph as time passes by synthesizing each position coordinate value. Here, reference numerals 33, 36, 39, 42, and 45 refer to the virtual reality space. Is seen from the first-person observer's point of view, reference numerals 34, 37, 40, 43, and 46 are views from the third-person observer's point of view in virtual reality space, and reference numerals 35, 38, 41, 44, and 47 are virtual In the real space, the third-person observer's point of view is shown, and reference numerals 51 to 54 designate the soul-metaphor, which is a means of interaction, as an outline structure. It denotes a.
도 6의 참조부호 33 내지 47 그림에서는 가상인간과 영혼-메타포어가 일치된 상태인 서있는 상태에서 양 발을 좌우로 크게 벌려 자세를 낮추고, 몸통을 왼쪽으로 돌리는 동시에 오른손 주먹을 내지르는 동작의 순서를 동작교육을 위한 상호작용의 예시로 나타낸 도면이다. 동작정보 수용자는 자신의 등 뒤나 전신의 동작일치에 관심을 두는 경우에는 제3인칭 관찰자 시점을 사용하고, 부분적인 신체의 움직임을 대상으로 하는 경우에는 제1인칭 관찰자 시점을 선택할 수 있다.In reference numerals 33 to 47 of FIG. 6, the positions of the virtual humans and the soul-metaphores are in a standing state with the feet wide open to the left and right to lower the posture, while turning the torso to the left and simultaneously raising the right hand fist. Is a diagram showing an example of interaction for motion training. The motion information receiver may use the third-person observer viewpoint when he or she is interested in the motion match of his / her back or the whole body, and may select the first-person observer viewpoint when the partial body movement is targeted.
이때, 동작정보수용자는 자신의 몸(가상인간)에서 도 6 및 7에서 선구조로 표현된 영혼-메타포어가 영혼처럼 빠져나가는 것을 보게된다. 동시에 이런 과정으로 동작정보수용자가 실시간에 자연스럽게 직관적으로 동작수용자 자신의 눈앞에서 앞서 나가는 영혼-메타포어의 동작을 관찰하고 자연스럽게 따라 할 수 있게 된다.At this time, the motion information receiver sees the soul-metaphore, which is represented by a line structure in FIGS. 6 and 7, in his body (virtual human), exiting like a soul. At the same time, this process allows the motion information receiver to observe and naturally follow the movement of the soul-metaphor that moves forward in front of his / her eyes in a natural and intuitive manner.
또한, 가상현실 시스템에서 동작정보전달자와 수용자간의 동작일치 정도의 정보를 계산하여 보다 정확한 평가정보를 얻을 수 있도록 사용자에게 피드백을 제공한다. 이러한 동작정보 전달자와 수용자가 영혼-메타포어를 통해서, 상호작용하는 과정(48)을 되풀이 수행함으로써 동작정보수용자는 소정의 동작들을 숙달시킬 수 있으며, 영혼-메타포어의 동작정보를 저장매체에 저장후 필요에 따라 가상현실 시스템을 작동시켜 동작정보수용자가 반복하여 동작을 숙달시킬 수 있다.In addition, the virtual reality system provides feedback to the user to obtain more accurate evaluation information by calculating the degree of motion matching between the motion information transmitter and the receiver. By repeating the process of interacting with the motion information transmitter and the receiver through the soul-metaphor 48, the motion information receiver can master predetermined motions and store the motion information of the soul-metaphor in a storage medium. After that, by operating the virtual reality system as needed, the motion information receiver can repeatedly master the motion.
본 발명에 의하면, 일반적으로 인쇄매체나 영상매체와 같은 정보전달 방법을 사용하는 경우와 달리 스승의 영혼이 내 몸속에서 들어와서 나에게 동작을 안내한다는 개념적 상황을 가상현실 기반 기술과 본 발명이 제시하는 상호작용 방법에 의해서, 자신의 몸으로부터 시작되어 동작을 선행하는 영혼-메타포어를 따라함으로써, 언어장애나 다른 언어의 사용으로 의사소통에 어려움을 겪는 경우에도 다른 복잡한 지시사항이 필요없이도 동작정보수용자는 직관적으로 영혼-메타포어의 안내에 따라 별도의 지시사항이 필요없이도 자신의 동작을 정확하게 일치시켜 숙달시킬 수 있다. 또한, 실시간으로 움직이는 동작정보 전달자의 움직임을 그대로 따라함으로써 정확한 자세, 운동궤적 그리고 동작타이밍 등을 수월하게 훈련할 수 있으며, 향후 동작의 표현과 전달 및 이해가 중요시되는 모든 시스템에서 상호작용 방법으로 사용될 수 있다.According to the present invention, virtual reality-based technology and the present invention present a conceptual situation in which the teacher's soul enters my body and guides me to move, unlike in the case of using an information transmission method such as a print medium or an image medium. By means of an interactive method that follows a soul-metaphor that starts from one's body and precedes the action, even if it is difficult to communicate due to language impairment or use of another language, motion information is not required without any other complicated instructions. Intuitively, the guiding soul-metaphor guides the user to precisely match and master his movements without the need for special instructions. In addition, by accurately following the movement of the motion information transmitter in real time, it is possible to easily train accurate posture, motion trajectory, and motion timing, and to be used as an interactive method in all systems where expression, transmission, and understanding of motion are important in the future. Can be.
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990029730A KR100345319B1 (en) | 1999-07-22 | 1999-07-22 | Interaction method for transmitting movement information in virtual reality system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990029730A KR100345319B1 (en) | 1999-07-22 | 1999-07-22 | Interaction method for transmitting movement information in virtual reality system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010010696A KR20010010696A (en) | 2001-02-15 |
| KR100345319B1 true KR100345319B1 (en) | 2002-07-22 |
Family
ID=19603611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990029730A KR100345319B1 (en) | 1999-07-22 | 1999-07-22 | Interaction method for transmitting movement information in virtual reality system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100345319B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101671320B1 (en) * | 2014-05-15 | 2016-11-02 | 리치앤타임(주) | Virtual network training processing unit included client system of immersive virtual training system that enables recognition of respective virtual training space and collective and organizational cooperative training in shared virtual workspace of number of trainees through multiple access and immersive virtual training method using thereof |
-
1999
- 1999-07-22 KR KR1019990029730A patent/KR100345319B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR20010010696A (en) | 2001-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ellis | Virtual environments and environmental instruments1 | |
| LaViola Jr et al. | 3D user interfaces: theory and practice | |
| Anthes et al. | State of the art of virtual reality technology | |
| El Saddik et al. | Haptics technologies: Bringing touch to multimedia | |
| EP1431798B1 (en) | Arbitrary object tracking in augmented reality applications | |
| Chua et al. | Training for physical tasks in virtual environments: Tai Chi | |
| CA2484586C (en) | A surgical training simulator | |
| CN106110627B (en) | Sport and Wushu action correction device and method | |
| CN114766038A (en) | Individual views in a shared space | |
| Yu et al. | Perspective matters: Design implications for motion guidance in mixed reality | |
| KR20140082266A (en) | Simulation system for mixed reality contents | |
| CN105630168A (en) | Information processing method, first electronic device and second electronic device | |
| Tsai | Personal basketball coach: Tactic training through wireless virtual reality | |
| El Saddik et al. | Haptics: general principles | |
| Camporesi et al. | The effects of avatars, stereo vision and display size on reaching and motion reproduction | |
| Faridan et al. | Chameleoncontrol: Teleoperating real human surrogates through mixed reality gestural guidance for remote hands-on classrooms | |
| Louison et al. | Spatialized vibrotactile feedback improves goal-directed movements in cluttered virtual environments | |
| KR100345319B1 (en) | Interaction method for transmitting movement information in virtual reality system | |
| Diller et al. | Visual cue based corrective feedback for motor skill training in mixed reality: A survey | |
| Spear | Virtual reality: patent review | |
| Wei et al. | Integrating Kinect and haptics for interactive STEM education in local and distributed environments | |
| Hamanishi et al. | Assisting viewpoint to understand own posture as an avatar in-situation | |
| CN219302988U (en) | Augmented reality device | |
| Sibert et al. | Initial assessment of human performance using the gaiter interaction technique to control locomotion in fully immersive virtual environments | |
| Magnenat-Thalmann et al. | Virtual reality software and technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20060711 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |