KR100542016B1

KR100542016B1 - The Real Time Cyber Space

Info

Publication number: KR100542016B1
Application number: KR1020000014405A
Authority: KR
Inventors: 백수곤
Original assignee: 주식회사 한발
Priority date: 2000-03-21
Filing date: 2000-03-21
Publication date: 2006-01-10
Also published as: KR20010089094A

Abstract

개시된 본 발명은 가상공간 내에서 실시간으로 움직이는 다수의 참여자 모습을 삼차원으로 표현하고 조정하는 인터넷을 이용한 실시간 동작 시뮬레이션 기술분야를 제공하기 위한 참여자 자신과 동일한 스프라이트를 이용한 실시간 가상공간 운영방법에 관한 것으로서, (1) 카메라를 이용하여 참여자의 모습을 실시간으로 촬영하여 컴퓨터로 출력하는 단계; (2) 컴퓨터는 상기 참여자의 영상신호를 입력받아 윤곽선을 따라 외부의 배경을 삭제시키는 단계; (3) 상기 외부 배경이 삭제된 윤곽선 내부의 참여자의 영상신호를 이용하여 삼차원 스프라이트를 생성하는 단계; (4) 상기 스프라이트를 미리 설정된 배경에 결합시켜 출력하는 단계; (5) 상기 컴퓨터는 마이크를 통해 입력되는 참여자의 음성신호를 인터넷을 통해 실시간으로 전송받아 출력하는 단계; 및 (6) 상기 컴퓨터는 소정 참여자의 관절 및 피부에 부착된 오감센서로부터 출력되는 신호를 수신받아 다른 참여자의 관절 및 피부에 부착된 오감센서로 출력하는 단계로 이루어진 것을 특징으로 한다.The present invention relates to a method for operating a real-time virtual space using the same sprite as the participant himself to provide a real-time motion simulation technology field using the Internet to three-dimensionally represent and adjust the number of participants moving in real time in the virtual space, (1) photographing the participant in real time using a camera and outputting it to a computer; (2) the computer receiving the participant's video signal and deleting an external background along an outline; (3) generating a three-dimensional sprite using an image signal of a participant inside the contour from which the external background is deleted; (4) combining the sprite with a preset background and outputting the sprite; (5) the computer receiving and outputting a participant's voice signal input through a microphone in real time through the Internet; And (6) receiving the signal output from the five sense sensors attached to the joints and the skin of a predetermined participant, and outputting the signals to the five sense sensors attached to the joints and the skin of another participant.

가상, 실시간, 카메라, 컴퓨터, 센서, 오감센서Virtual, real-time, camera, computer, sensor, five senses

Description

How to operate real time virtual space using the same sprite as the participants themselves {The Real Time Cyber Space}

도 1은 본 발명에 따른 참여자 자신과 동일한 스프라이트를 이용한 실시간 가상공간 운영방법을 설명하기 위한 도면이다.1 is a view for explaining a method for operating a real-time virtual space using the same sprite as the participant according to the present invention.

본 발명은 참여자 자신과 동일한 스프라이트를 이용한 실시간 가상공간 운영방법에 관한 것이다.The present invention relates to a real-time virtual space operating method using the same sprite as the participants themselves.

특히, 가상공간 내에서 실시간으로 움직이는 다수의 참여자 모습을 삼차원으로 표현하고 조정하는 인터넷을 이용한 실시간 동작 시뮬레이션 기술분야를 제공하기 위한 참여자 자신과 동일한 스프라이트를 이용한 실시간 가상공간 운영방법에 관한 것이다.In particular, the present invention relates to a method for operating a real-time virtual space using the same sprite as the participant himself in order to provide a real-time motion simulation technology field using the Internet that expresses and adjusts a plurality of participants moving in real time in a virtual space in three dimensions.

종래에는 가상공간내에서 자신의 모습을 실시간으로 구현할 수는 없었다. 자신의 모습을 실시간으로 구현하려면 TV 모니터상에 연속된 화상을 보내어야 하며 가상공간 속에서 사물의 움직임은 사전에 삼차원 입력된 특정 객체의 벡터이동이 되어 가상공간과 현실세계의 피사체를 연결시키지 못함으로서 여러 사람이 동시에 인터넷을 통하여 의견을 교환하거나 행동을 하려면 반드시 미리 입력된 몇 개의 개체 중 하나를 선택하여 움직임으로서 참여자의 모습을 알거나 함께 이용하는 상대방의 얼굴을 보거나 듣지 못한다는 문제점이 있다.In the related art, it was not possible to realize one's appearance in virtual space in real time. In order to realize one's own image in real time, a series of images must be sent on a TV monitor, and the movement of objects in a virtual space becomes a vector movement of a specific object input three-dimensionally in advance, and thus cannot connect the virtual space with the subject of the real world. As a result, if several people exchange opinions or act over the Internet at the same time, there is a problem in that they do not see or hear the participant's face by using one of several pre-input objects to move.

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 가상공간 내에서 실시간으로 움직이는 다수의 참여자 모습을 삼차원으로 표현하고 조정하는 인터넷을 이용한 실시간 동작 시뮬레이션 기술분야를 제공하기 위한 참여자 자신과 동일한 스프라이트를 이용한 실시간 가상공간 운영방법을 제공하는데 있다.
또한, 본 발명의 목적은 단독 또는 다수의 사용자가 각자 자신의 모습과 같거나 자신이 정한 모습으로 지구상의 물리화학법칙의 적용을 받는 것과 같은 가상공간에 동시에 진입하여 각자가 말하고 움직이고 느끼는 것을 실시간으로 출력시켜 줌으로서 가상공간 내에서 실제의 지구상에서 느끼는 것과 다름없이 일정한 목표를 달성하는 실시간 가상공간 구현방법인 참여자 자신과 동일한 스프라이트를 이용한 실시간 가상공간 운영방법을 제공하는데 있다.
즉, 본 발명은 수만이 운집한 광장에서 노래를 하고 싶으나 현재 위치한 곳과 공연장이 너무 멀어 가지가 어렵다거나, 수십만명이 모여있는 무대에서 연극을 초청을 받았으나 거리상의 제약으로 가기가 어려울 때 시간과 공간을 뛰어 넘어 거대한 가상의 무대에 실제 인물과 동일한 모습과 목소리를 가진 사람들이 공연장에 모여 관중은 박수를 치고, 배우는 연극을 할 때 참여한 모든 사람의 모습이 실시간으로 실제와 같이 삼차원으로 무대안에서 나타나고, 모든 사람의 음성이 실시간으로 나타나 실제 극장과 하나도 다름이 업슨 가상공간을 구축하는 방법에 대한 기술을 제공하는데 있다. 예를 들어 현실에서 스타가 되고 싶으나 여건이 되지 못하여 스타의 기회가 주어지지 않는 다든지 친한 친구나 낯모르는 제 3자와 팀을 이루어 밴드를 구성한다든지 연극 팀을 이룬다든지, 게임을 한다는 등의 공동 행동을 참여하는 모든 사람이 만나지 않고 각자의 현 위치에 있으면서도 목적하는 사이버 공간에 모여 서로의 모습을 삼차원으로 보고, 듣고, 느끼면서 원하는 일을 할 수가 있다.
특히, 먼 지역에 있는 사람과 가상공간에서 만나 서로의 얼굴을 보면서 포옹을 할 경우 서로의 몸에 부착된 센서의 동작으로 상대의 몸에 자신의 몸이 닿는 것을 느끼거나 더 나아가서는 상대방의 따뜻한 체온까지 느낄 수 있는 방법을 제공하는데 있다.
본 발명에서 가상의 무대는 인터넷 실시간 게임이나 회의, 시장, 집회 등 그 목적에 부합되는 배경으로 만들어 지구의 현상을 시뮬레이션 시킨 중력, 풍력, 온도, 재료의 강도, 탄성 등을 갖고 있으므로 그 속에 출연한 참여자들은 실제 현존하는 자신의 모습으로 삼차원 물리공간을 움직이는데, 단순한 이동에 그치지 않고 가상 현실속에 사물특성(예, 뉴우튼의 운동장의 적용)에 대하여 구체적인 지배를 받게 된다.
그러므로, 본 발명에 의해 구현되는 가상공간에 들어간 참여자는 지구 등에서의 생활과 동일한 삶을 살게 된다. 예를 들어 둘이서 함께 길을 가는 경우 좁은 길을 마주쳐오면 서로 부딪치게 되어 한쪽이 양보하지 않으면 서로 더 이상 걸을 수 없으며, 진흙구덩이를 밟으면 그 속에 빠진다든지, 장애물을 만나면 장애물을 뛰어넘는 동작(점핑 등)을 하지 않으면 더 이상 진행할 수 없는 상황이 된다.
이와 같이 본 발명에서는 현실세계에서는 시간적, 지역적인 이유로 함께 모여 특정의 목적을 달성하기 어려운 사람들이 독자적이거나 2인, 3인 또는 무수히 많은 사람들이 지구에 존재하는 극장등과 똑같은 가상의 공간에 모여 특정한 목표를 설정하고 실제의 모습과 동일한 모습과 말, 오감등으로 서로 노래하고 악기를 연주하거나, 실시간으로 말하고 들으면서 의사를 결정하고 행동하는 등 가상의 인물과 실제의 사람 또는 실제의 사람들끼리 특정한 목표를 달성할 수 있도록 한다.
즉, 본 발명은 하나의 목적을 가진 다수의 참여자들이 하나의 사이버 공간에 본인과 동일한 실제적 모습으로 보이게 되며, 이 공간 내에서는 사회에서와 동일한 어떤 행동도 할 수 있다. 의견이 일치하는 참여자들이 사이버 공간에 모여 서로의 얼굴을 보면서 각자의 역할을 논의하고 각각 맡은 일을 수행할 수 있도록 각 참여자들의 모습등을 실시간으로 입력받아 사이버 공간에서 출력한다. 이를 위하여 사이버 공간내에서 움직여야 할 본인의 몸이나 악기 등 특수부분을 제외한 배경 입력 부분을 제외하고 완성체로 있어야 할 사람의 전체 모습 등 만을 실시간으로 삼차원 모델링하여 사이버 공간에 출력시킴으로서 수많은 사람들이 하나의 사이버 공간에서 완전한 삼차원의 모습으로 활동하게 된다. 또한 사이버 공간에는 반드시 실존하는 사람들이나 사물만이 등장하는 것이 아니며 인터넷 게임등과 같이 특정한 목표를 수행할 수 있도록 미리 프로그램에서 설계된 인물이나 동물 등 어떠한 형태의 가상 인물등도 본 사이버 공간내에서 실존하는 사람들과 공존하여 소정의 목표를 달성할 수 있다.
본 실시간 사이버 공간에서 참여한 모든 참여자는 자신이 직접 자신의 모습으로 나타날 것인지, 아니면 자신과 다른 제 3 자의 모습으로 출연시킬 것인지, 또 자신의 음성을 쓸것인지 아니면 남의 음성을 쓰거나 자신의 음성을 변조시킬 것인지 등을 결정하여 본인이 원하는 모습과 음성으로 출연하며, 만약 본인이 직접 출연을 원하지 않을 경우에는 관중으로서 사이버 공간에 참석할 수도 있다. 특히 노래하는 사이버 극장등에서는 참여자가 직접 노래하거나, 다른 가수의 노래를 자신의 목소리 변조하거나, 특정 동물등의 목소리로 변조하여 정해진 리듬을 따라 노래하도록 함으로서 참여자는 전혀 노래를 하지 않아도 사이버 공간에 참석한 타 참여자들에게 자신의 노래를 들려주며 연주할 수 있다.
또한, 뮤직비디오, 스크린 등의 미리 정해진 영화나 게임에서 주인공과 같은 영화속 인물을 자신의 모습을 모델링한 객체로서 대체함으로서 본인이 영화에 참여하지 않고서도 주인공이 되어 영화속 이야기나 게임을 이끌어 가는 주인공이 될 수가 있다.The present invention has been made to solve the problems of the prior art as described above, the object of the present invention is a real-time motion simulation technology using the Internet to represent and adjust the three-dimensional appearance of the plurality of participants moving in real time in the virtual space It is to provide a real-time virtual space operating method using the same sprite as the participants themselves to provide.
In addition, the object of the present invention is to simultaneously enter a virtual space, such as a single person or a plurality of users each of their own appearance or as determined by the physical and physical laws of the earth, each of them speak, move and feel in real time. It provides a real-time virtual space operating method using the same sprites as the participants themselves, which is a real-time virtual space realization method that achieves a certain goal as if it is felt on the earth in the virtual space.
In other words, the present invention wants to sing in the square where tens of thousands are gathered, but it is difficult to go where the present location and the performance hall are too far away or when the theater is invited to a stage where hundreds of thousands of people are gathered, but it is difficult to go due to distance constraints. In this huge virtual stage, people with the same look and voice as the real people gathered at the performance hall, and the audience applauded, and all the people who participated in the actor's play appear in real time in three dimensions. Everyone's voice appears in real time, which is different from the real theater to provide technology on how to build upson virtual space. For example, if you want to be a star in real life, you can't be given a chance to be a star, you can team up with a close friend or stranger, form a band, play a team, or play a game. Everyone who participates in the action can meet each other's current cyberspace while staying at their current location and seeing, hearing, and feeling each other in three dimensions.
In particular, when you meet in a virtual space with a person in a distant area and hug while looking at each other's faces, the body's warm body temperature is felt by the sensors attached to each other's body. To provide a way to feel.
In the present invention, the virtual stage has gravity, wind power, temperature, material strength, elasticity, etc., which simulates the phenomenon of the earth by making the background suitable for the purpose such as internet real-time games, meetings, markets, and meetings. They move three-dimensional physical spaces in the form of themselves, which are not only simple movements, but are subject to concrete domination of things (eg, the application of Newton's playground) in virtual reality.
Therefore, participants entering the virtual space embodied by the present invention live the same life as life on Earth. For example, if you are walking together, if you meet a narrow road, you will bump into each other. If you do not yield to one side, you will not be able to walk anymore. If you don't, you can't proceed anymore.
As such, in the present invention, in the real world, it is difficult for people to gather together for time and local reasons to achieve a specific purpose. Set a goal, sing a song, play a musical instrument with the same shape and words, or the five senses, or make a decision and act while talking and listening in real time. To achieve that.
That is, according to the present invention, a plurality of participants having a single purpose will appear in the same cyberspace as the real person, and in this space, they can perform any behavior as in society. Participants who agree with each other gather in the cyber space, look at each other's faces, discuss their roles, and output each participant's appearance in cyber space so that they can perform their duties. To this end, only the entire body of the person who needs to be completed except for the background input except for the special part such as the body or the instrument that needs to move in the cyber space is printed in cyber space by three-dimensional modeling in real time. In space, she works in the form of a complete three-dimensional image. In addition, not only people or objects exist in cyber space, but virtual characters of any form, such as people or animals, designed in advance to perform specific goals such as Internet games, exist in this cyber space. Coexist with people to achieve certain goals.
Any participant in this real-time cyberspace will be able to appear in their own way, or appear in a third party different from their own, whether they will use their own voice, or use their own voice or modulate their own voice. If you do not want to appear in person, you can attend the cyber space as a spectator. Particularly, in cyber theaters where singing is performed, participants participate in the cyber space without having to sing at all, by allowing the participant to sing in person, to modulate another singer's voice, or to modulate the voice of a specific animal. You can play one song by listening to another participant.
In addition, by replacing the characters in the movie such as the main character with a modeled object in a predetermined movie or game such as a music video or a screen, he becomes a hero without leading the movie and leads the story or game in the movie. You can be the hero.

상기와 같은 기술적 과제를 해결하기 위하여 제안된 본 발명의 일 실시예는, (1) 카메라를 이용하여 참여자의 모습을 실시간으로 촬영하여 컴퓨터로 출력하는 단계; (2) 컴퓨터는 상기 참여자의 영상신호를 입력받아 윤곽선을 따라 외부의 배경을 삭제시키는 단계; (3) 상기 외부 배경이 삭제된 윤곽선 내부의 참여자의 영상신호를 이용하여 삼차원 스프라이트를 생성하는 단계; (4) 상기 스프라이트를 미리 설정된 배경에 결합시켜 출력하는 단계; (5) 상기 컴퓨터는 마이크를 통해 입력되는 참여자의 음성신호를 인터넷을 통해 실시간으로 전송받아 출력하는 단계; 및 (6) 상기 컴퓨터는 소정 참여자의 관절 및 피부에 부착된 오감센서로부터 출력되는 신호를 수신받아 다른 참여자의 관절 및 피부에 부착된 오감센서로 출력하는 단계로 이루어진 것을 특징으로 한다.
이하, 첨부한 도면을 참조하여 참여자 자신과 동일한 스프라이트를 이용한 실시간 가상 공간 운영 방법을 구현하기 위한 시스템에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 참여자 자신과 동일한 스프라이트를 이용한 실시간 가상공간 운영방법을 설명하기 위한 도면이다.
본 발명인 참여자 자신과 동일한 스프라이트를 이용한 실시간 가상 공간 운영 방법을 구현하기 위한 시스템은 카메라, 컴퓨터, 마이크, 특성센서, 조이스틱, 오감센서로 이루어진다.
상기 카메라는, 참석자들의 모습 등을 실시간으로 촬영하여 사이버 공간으로 출력한다.
상기 컴퓨터는, 상기 카메라를 통해 입력되는 참석자 이미지에서 윤곽선을 따라가면서 참석자의 몸체만 남기고 나머지 부분은 삭제시켜 참여자의 모습을 실시간으로 분석하면서 참여자의 삼차원 윤곽을 해석하여 실제 참여자와 동일하게 나타나는 영상물인 모델(이하, '스프라이트(Sprite)'라 한다)을 만들어 상대적으로 늦은 속도로 움직이는 배경에 대하여 빠른 동적 특성을 지닌 객체(Object)가 되도록 한다. 상기 컴퓨터에는 인터넷을 통해 후술하는 참여자 자신과 동일한 스프라이트를 이용한 실시간 가상공간 운영방법을 구현할 수 있는 프로그램이 탑재되어 있어 다수의 참여자가 가상공간에 실시간으로 보고 느낄 수 있도록 시스템이 구성되어 있음을 당업자라면 용이하게 유추할 수 있다. 이때 참여자 자신과 동일한 스프라이트를 이용한 실시간 가상공간 운영방법을 구현할 수 있는 프로그램이 각 참여자의 컴퓨터 시스템에 탑재될 수도 있다. 즉, TV의 날씨 예고 프로그램에서 두 화면이 겹쳐 있지만 실제로는 하나의 배경속에서 사람이 보이는 것과 같이 다수의 참석자들이 주변에 있는 화상등을 참석자의 윤곽선을 따라가면서 참석자의 몸체만 남기고 나머지는 지워 버린 후 상기 참석자의 몸체 이미지를 배경화면에 겹쳐서 하나의 화면처럼 보이도록 한다.
상기 마이크는, 상기 참여자의 말소리를 입력받아 전기적인 신호로 변환시켜 출력하므로써, 실시간 가상의 세계로 전송되어 참여자의 실제 목소리가 실시간으로 가상무대를 통해 출력되도록 한다.
상기 특성센서는, 참여자의 관절 등에 부착되어 참여자의 움직임을 감지하고, 움직임 감지신호를 실시간으로 컴퓨터로 출력하므로써 카메라등을 이용하여 참여자의 모든 행동에 따르는 윤곽선을 실시간으로 전송하지 않아도 된다. 즉, 참여자의 관절 등 참여자의 행동을 표현할 수 있는 곳에 필요한 상기 특정센서를 부착하고, 참여자가 움직이게 되면, 상기 특정센서는 센서의 위치 변화 등을 실시간으로 컴퓨터로 송출하고, 컴퓨터는 상기 센서의 위치 변호를 수신받아 미리 정해둔 스프라이트의 관절을 움직이게 함으로써 가상의 무대에 있는 스프라이트는 참여자의 행동과 동일한 행동을 하게 된다.
상기 조이스틱은, 컴퓨터에 연결되어 참여자가 상기 조이스틱을 이용하여 스프라이트의 움직임을 조정하게 되고, 상기 컴퓨터는 상기 조이스틱의 구동상태를 감지하여 스프라이트의 움직임을 제어하여 참여자가 의도하는 대로 스프라이트가 움직일 수 있도록 한다.One embodiment of the present invention proposed to solve the above technical problem, (1) taking a picture of the participant in real time using a camera and outputting it to a computer; (2) the computer receiving the participant's video signal and deleting an external background along an outline; (3) generating a three-dimensional sprite using an image signal of a participant inside the contour from which the external background is deleted; (4) combining the sprite with a preset background and outputting the sprite; (5) the computer receiving and outputting a participant's voice signal input through a microphone in real time through the Internet; And (6) receiving the signal output from the five sense sensors attached to the joints and the skin of a predetermined participant, and outputting the signals to the five sense sensors attached to the joints and the skin of another participant.
Hereinafter, a system for implementing a real-time virtual space operating method using the same sprite as the participants will be described in detail with reference to the accompanying drawings.
1 is a view for explaining a method for operating a real-time virtual space using the same sprite as the participant according to the present invention.
The system for implementing a real-time virtual space operating method using the same sprites as the inventors themselves consists of a camera, a computer, a microphone, a characteristic sensor, a joystick, a five sense sensor.
The camera photographs the attendees and the like in real time and outputs them to the cyber space.
The computer analyzes the three-dimensional contour of the participant while analyzing the participant's appearance in real time by leaving only the part of the participant's body and deleting the remaining part while following the contour from the participant image input through the camera. Create a model (hereafter referred to as a 'sprite') to be an object with fast dynamic properties against a background moving at a relatively slow speed. The computer is equipped with a program that can implement a real-time virtual space operating method using the same sprites as the participants themselves will be described later via the Internet, so that the system is configured so that a large number of participants can see and feel in the virtual space in real time It can be easily inferred. In this case, a program capable of implementing a real-time virtual space operating method using the same sprite as the participant may be mounted in each participant's computer system. In other words, two screens are overlapped in TV's weather forecast program, but in reality, as many people in the background can see the images around them, leaving only the participant's body and deleting the rest. After that, the participant's body image is superimposed on a background screen so as to look like one screen.
The microphone receives the participant's speech and converts it into an electrical signal and outputs the electrical signal to be transmitted to the real-time virtual world so that the participant's real voice is output through the virtual stage in real time.
The characteristic sensor is attached to a joint of a participant to detect the participant's movement and outputs a motion detection signal to a computer in real time, so that the contour according to all the actions of the participant does not have to be transmitted in real time using a camera or the like. That is, the specific sensor is attached to a place where the participant's behavior can be expressed, such as a joint of the participant, and when the participant moves, the specific sensor transmits a change in the position of the sensor to a computer in real time, and the computer moves to the position of the sensor. By receiving the defense and moving the joint of the predetermined sprite, the sprite on the virtual stage will behave identically to the participants' behavior.
The joystick is connected to a computer so that the participant adjusts the movement of the sprite using the joystick, and the computer senses the driving state of the joystick to control the movement of the sprite so that the sprite can move as the participant intends. do.

상기 오감센서는, 참여자들의 관절이나 피부에 부착되며, 상기 컴퓨터는 상기 오감센서로부터 입력되는 소정 참여자의 오감을 스프라이트에 출력시키거나, 변조시키거나, 미리 입력된 프로그램에 따라 출력시킨다. 그리고, 상기 컴퓨터는 상기 입력되는 오감신호를 타 참여자의 관절 또는 피부에 부착된 오감센서로 출력하여 참여자가 실시간으로 느낄 수 있도록 한다. 즉 상기 오감센서는 미각센서, 후각센서, 촉각센서 등을 포함한다.
상기와 같이 구성된 참여자 자신과 동일한 스프라이트를 이용한 실시간 가상공간 운영 시스템의 방법에 대해 설명하면 다음과 같다.
1. 배경의 설정The five senses sensor is attached to the joints or skin of the participants, the computer outputs a predetermined participant's five senses input from the five sense sensors to the sprite, modulate, or output according to a pre-programmed program. In addition, the computer outputs the input five sense signals to the five sense sensors attached to the joints or skin of the other participants so that the participants can feel in real time. That is, the five senses sensor includes a taste sensor, an olfactory sensor, a tactile sensor, and the like.
Referring to the method of the real-time virtual space operating system using the same sprite as the participants configured as described above are as follows.
1. Setting of Background

배경의 설정 : 인공, 자연 또는 상상의 어떤 형태의 미리 설정해 놓은 배경은 빛, 중력, 풍력, 온도, 냄새, 재질 특성 및 강도등 지구와 같거나 임의로 특성을 부여한 물리, 화학적 세계(이하, '가상무대'라 한다)를 그래픽 처리하여 생성한다.
2. 배경속에서 실존 인물의 구현
먼저, 카메라를 이용하여 참여자의 모습을 실시간으로 촬영하여 컴퓨터로 출력하는 단계를 수행하고, 상기 컴퓨터는 상기 참여자의 영상신호를 입력받아 윤곽선을 따라 외부의 배경을 삭제시키는 단계를 수행하고, 상기 컴퓨터는 상기 외부 배경이 삭제된 윤곽선 내부의 참여자의 영상신호를 이용하여 삼차원 스프라이트를 생성하는 단계를 수행하며, 상기 스프라이트를 미리 설정된 배경에 결합시켜 출력하는 단계하며, 상기 컴퓨터는 마이크를 통해 입력되는 참여자의 음성신호를 인터넷을 통해 실시간으로 전송받아 출력하는 단계를 수행한다.
상기 단계에 대해서 좀더 상세히 기술하면 다음과 같다.
- 실시간으로 변화하는 실존 참여자의 모습 : 가상의 세계에 참여하고자 하는 실제 인물이나 목표물[이하, "참여자"라한다]을 비추고 있는 카메라에 입력되는 화상에서 배경을 제외한 참여자 자신의 모습만을 실시간 분석하여 참여자의 삼차원 윤곽을 해석, 컴퓨터상에서 실제 참여자와 동일하게 나타나는 영상물인 모델[이하, "스프라이트(Sprite)"라 한다]을 만들어 상대적으로 늦은 속도로 움직이는 배경에 대하여 빠른 동적 특성을 지닌 객체(Object)가 되도록 한다. 카메라와 함께 마이크가 있어 참여자의 말소리를 실시간 가상의 세계에 전송하여 참여자의 실제 목소리가 실시간으로 가상의 무대에 들리도록 한다. 음성과 모습 외에도 인간의 오감을 표현할 수 있고 전송할 수 있는 시스템을 참여자로부터 전송받아 가상의 무대에 보냄으로서 참여자는 타 참여자의 모든 것을 느낄 수 있다. 실시간 참여자의 모습, 음성, 오감이 가상의 무대에 나타나는 객체를 "실시간 스프라이트"라 한다.
본 발명에서 스프라이트라 함은 참여자와 모습과 음성, 오감이 동일하거나 참여자가 자신과는 다르지만 자신이 선정하여 참여시키고자 임의로 선정한 모습, 음성, 오감을 갖는 가상 현실 속에서의 객체를 의미한다.
즉, 연속 촬영 기능을 가지는 카메라가 연결된 컴퓨터 시스템은 상기 연속 촬영 기능을 갖는 카메라로부터 실시간으로 입력되는 참여자의 영상신호를 입력받는다. 그리고 컴퓨터 시스템은 상기 영상신호로부터 참여자의 모습에 대한 윤곽선 외부의 배경은 절단하고, 윤곽선 내부의 모습만을 탑재된 컴퓨터 프로그램을 이용하여 모델링 단계를 수행한다.
상기 컴퓨터 시스템에서 이루어지는 모델링 단계는 크게 실시간 모델링 단계와 수장의 사진을 이용하여 참여자와 같은 삼차원 모델을 만드는 사진에 기반을 둔 모델링 단계로 나눌 수 있다. 먼저 상기 실시간 모델링 단계는 실존 인물에 대해 그 모습이 동일하고 행동이 동일하게 다른 참여자의 컴퓨터 시스템에 디스플레이 될 수 있도록 구현하기 위하여 연속 촬영 카메라는 실존 참여자의 모습을 실시간으로 촬영하고, 촬영된 영상신호(화상)에서 배경을 제외한 참여자 자신의 모습만을 실시간 분석하여 참여자의 삼차원 윤곽을 해석, 배경을 삭제하고 컴퓨터 상에서 실제 참여자와 동일하게 나타나는 영상물인 모델(스프라이트)을 만들어 상대적으로 늦은 속도로 움직이는 배경에 대하여 빠른 동적 특성을 지닌 객체(Object)를 생성시킨다. 그리고 상기 연속 촬영 카메라에 마이크가 구비되어 있으며, 상기 마이크를 통해 입력되는 참여자의 음성신호가 상기 컴퓨터 시스템으로 전송된다. 그러면 상기 컴퓨터 시스템은 참여자의 말소리를 실시간 가상의 세계로 전송하여 참여자의 실제 목소리가 실시간으로 가상의 무대에 들리도록 한다.
그리고, 컴퓨터 시스템은 참여자의 음성과 모습이외에도 인간의 오감에 대한 신호를 입력받을 수 있고, 이를 가상의 무대를 연출하는 컴퓨터 시스템으로 전송하고, 상기 컴퓨터 시스템에서는 타 참여자의 컴퓨터 시스템으로 전송하여 상기 참여자가 느낄 수 있도록 오감을 다른 참여자들도 모두 느낄 수 있도록 한다. Setting up a background: A preset background in any form of artificial, natural or imaginary is the physical or chemical world (hereafter referred to as 'virtual') that is the same or randomly characterized as light, gravity, wind, temperature, odor, material properties and intensity. Is created by graphic processing.
2. Realization of Existing Persons in the Background
First, a step of capturing a participant's appearance in real time using a camera and outputting it to a computer, and the computer receives the participant's video signal and deletes an external background along an outline, and the computer The method may further include generating a three-dimensional sprite by using the video signal of the participant inside the contour from which the external background is removed, combining the sprite with a preset background, and outputting the sprite. And receiving and outputting the audio signal through the Internet in real time.
The above steps will be described in more detail as follows.
-The real participant's appearance changing in real time: By real-time analyzing only the participant's own image except the background from the image input to the camera that shows the real person or target (hereinafter referred to as "participant") who wants to participate in the virtual world. Analyze the 3D contours of the participants and create a model (hereafter referred to as "Sprite") that appears on the computer in the same way as the actual participants. To be A microphone along with the camera sends the participant's speech to the real-time virtual world so that the participant's real voice is heard on the virtual stage in real time. Participants can feel everything of other participants by receiving a system that can express and transmit human senses and send it to the virtual stage in addition to voice and appearance. An object in which the real-time participant's appearance, voice, and five senses appear on the virtual stage is called a "real-time sprite."
In the present invention, the sprite refers to an object in a virtual reality having the same appearance, voice, and five senses as the participants, or a participant who is different from the participants but has a randomly selected shape, voice, and five senses to participate and select.
That is, a computer system to which a camera having a continuous shooting function is connected receives an image signal of a participant input in real time from the camera having the continuous shooting function. The computer system cuts the background outside the contour of the participant's appearance from the image signal, and performs a modeling step using a computer program loaded with only the appearance inside the contour.
The modeling step in the computer system can be largely divided into a real-time modeling step and a photographing-based modeling step of creating a three-dimensional model such as a participant using a plurality of pictures. First, the real-time modeling step is a continuous shooting camera to take a picture of the real participant in real time in order to be displayed on the computer system of the other participant with the same appearance and the same behavior for the real person. Analyze only the participant's own image except the background in (Image) in real time, analyze the participant's three-dimensional contour, delete the background, and create a model (sprite) that is the same as the actual participant on the computer. Create an object with fast dynamic properties. The continuous shooting camera is provided with a microphone, and a voice signal of a participant input through the microphone is transmitted to the computer system. The computer system then transmits the participant's speech to the real-time virtual world so that the participant's real voice is heard on the virtual stage in real time.
In addition to the voice and appearance of the participant, the computer system may receive a signal about the five senses of a human being, and transmit the signal to a computer system that creates a virtual stage, and the computer system transmits the signal to the computer system of another participant. Feel the five senses so that all other participants can feel it.

- 참여자 사진등으로 참여자와 동일하게 모델링: 실시간 참여자의 모습을 생 중계하듯 카메라 앞에서 자신의 모습을 전송하지 않고, 프로그램 안에서 삼차원 모델의 윤곽선을 그려낼 수 있는 참여자의 정면, 측면, 뒷모습 사진과 음성패턴을 분석하여 재현할 수 있는 녹음 테이프 등이 있으면 이들로부터 스프라이트를 만들고, 여기서 만들어진 삼차원 모델 데이터를 가상 세계에 참여시켜 움직이게 함으로서 자신이 움직이는 실제모습과 가상세계에 있는 참여자의 행동이 일치하지는 않지만 가상의 무대에 참여하고 있는 다른 참여자와 함께 하거나 독자적으로 행동할 수 있다. 본 고안에서는 이렇게 참여자의 실시간 모습을 가상의 세계에 전송하지 않고 하나의 고정된 모습과 음성 패턴, 오감을 가진 참여자가 가상의 무대에서 나타나는 객체를 "고정 스프라이트(Sprite)"라 한다.-Modeling the participant in the same way as the participant with the participant's photo: Front, side, back view and voice of the participant who can draw the contour of the 3D model in the program without transmitting his figure in front of the camera like a live broadcast of the participant's figure. If you have a recording tape that can analyze and reproduce patterns, create sprites from them, and participate in the virtual world by moving the 3D model data created there, so that the actual appearance of your movement does not match the behavior of the participants in the virtual world. You can act on your own or with other participants on the stage. In the present invention, an object in which a participant with a fixed shape, voice pattern, and five senses appears on the virtual stage without transmitting the real-time view of the participant to the virtual world is called a "fixed sprite".

- 참여자가 선정하거나 설계한 가상의 인물, 특성 : 본 가상의 배경에 참여시키는 고정 스프라이트는 현실 세계의 음성과 오감을 지닌 실제 모습의 인물만을 지칭하지 않으며, 가상의 세계에 구현시키고자 하는 객체로서 참여하고자 하는 자의 선택에 의하여 자신의 모습을 직접적으로 나타내든지 아니면 자신과는 다른 그 어떤 형상의 모습과 음성, 오감 등 객체의 특성을 지닌 스프라이트를 선택, 가상의 무대에 참여시킬 수 있다. 이와 같이 참여자와는 다른 모습의 스프라이트를 본 발명에서는 "가상 스프라이트"라 한다.-Virtual characters and characteristics selected or designed by participants: Fixed sprites that participate in this virtual background do not refer only to real-world figures with the voice and five senses of the real world, but are objects to be embodied in the virtual world. You can choose to participate in the virtual stage by expressing yourself directly or by choosing a sprite that has the characteristics of objects such as voice and five senses. As described above, sprites different from participants are referred to as "virtual sprites" in the present invention.

다음으로 상기 컴퓨터는 소정 참여자의 관절 및 피부에 부착된 오감센서로부터 출력되는 신호를 수신받아 다른 참여자의 관절 및 피부에 부착된 오감센서로 출력하는 단계를 수행함으로써, 배경속에서 스프라이트가 움직이도록 할 수 있으며, 이에 대해 상세히 설명하면 다음과 같다.
3. 배경속에서 스프라이트의 움직임.Next, the computer receives a signal output from the five sense sensors attached to the joints and skin of a predetermined participant and outputs the signal to the five sense sensors attached to the joints and skin of another participant, thereby allowing the sprite to move in the background. It can be described in detail as follows.
3. The movement of the sprite in the background.

-실시간으로 움직이는 실존 참여자의 모습 : 참여자는 카메라등 실시간으로 거리를 측정하고, 영상을 표현할 수 있는 특성전송장치 앞에서 움직이는 순간순간마다 참여자의 움직임을 추적, 카메라 등에서 입력되는 화상중 배경을 제외하고 움직이는 참여자의 몸체만을 나타내는 삼차원 윤곽선(Wire Frame 등)을 실시간 모델링하여 가상의 게임 배경과 같이 미리 설정해 놓은 "가상의 무대"속에서 실시간 나타난다. 이와 같이 참여자의 모든 움직임이 실시간으로 가상의 무대에서 동일하게 나타나는 것을 "실시간 움직임"이라 한다.
즉, 참여자에 대응하는 실시간 스프라이트 또는 고정 스프라이트 또는 가상 스프라이트를 생성한 컴퓨터 시스템은 상기 스프라이트가 가상의 무대에서 움직일 수 있도록 제어하는 단계를 수행한다.
상기 컴퓨터 시스템에서 이루어지는 스프라이트의 동작 제어단계는 실시간 스프라이트를 참여자와 꼭같이 행동하도록 실시간으로 움직일 수 있도록 제어하거나 참여자의 관절에 센서를 부착하여 고정 스프라이트와 가상 스프라이트를 실시간 참여자가 움직이는 것과 같이 움직일 수 있도록 제어하거나 고정 스프라이트와 가상 스프라이트를 컴퓨터 키 입력수단인 키보드나 조이스틱으로 제어하여 참여자의 행동과 같지는 않지만 참여자의 의도대로 움직일 수 있도록 제어한다. -The real participant moving in real time: Participants measure the distance in real time, such as the camera, and track the participant's movement every moment moving in front of the feature transmitter that can express the image. Real-time modeling of three-dimensional contours (such as a wire frame) that represents only the participant's body appears in real time in a preset "virtual stage" like a virtual game background. As such, all the movements of the participants appearing in the virtual stage in real time are referred to as "real time movements".
That is, a computer system that generates a real-time or fixed sprite or virtual sprite corresponding to a participant performs a step of controlling the sprite to move on a virtual stage.
The motion control step of the sprites in the computer system controls the real-time sprites to behave in real time to behave like the participants, or attaches sensors to the joints of the participants so that the fixed sprites and the virtual sprites can be moved as the real-time participants move. Controlled or fixed sprites and virtual sprites are controlled by a keyboard or joystick, which is a computer key input means, so that they can move as intended but not as participant's actions.

-참여자의 관절등에 소수의 특성센서를 부착하고 실시간 움직임 : 카메라 등을 이용하여 참여자의 모든 행동에 따르는 윤곽선을 실시간으로 전송하지 않고, 참여자의 관절 등 참여자의 행동을 표현할 수 있는 대표적인 곳에 필요한 센서를 부착하고, 참여자가 움직인다. 부착센서의 위치 변화 등을 실시간 전송하여 미리 정해둔 스프라이트의 관절을 움직이게 함으로서 가상의 무대에 있는 스프라이트는 참여자의 행동과 동일한 행동을 하게 된다. 이상과 같이 참여자의 움직임 중 일부분 만이 사실대로 가상무대에서 나타나고 센서가 부착되지 않은 부분은 전산해석에 의하여 자동 출력되는 것을 "센서에 의한 움직임"이라 한다.
그리고, 상기와 같이 실시간 스프라이트 또는 고정 스프라이트 또는 가상 스프라이트의 움직임을 제어하는 컴퓨터 시스템은 인터넷을 이용하여 참여자들 상호간에 오감(시각, 청각, 후각, 미각, 촉각)을 교환할 수 있도록 하여 참여자가 자신의 생각과 느낌을 상대 참여자에게 전달하고, 상대방의 생각과 느낌을 알아차릴 수 있도록 지원한다.
상기 오감 전달 방법 중 첫째로 청각 전달 방법에 대해 설명하면, 상기 컴퓨터 시스템은 마이크를 통해 입력되는 참여자의 목소리를 입력받아 음성신호를 생성하고, 음성신호가 상기 모델링 단계에서 생성된 스프라이트와 인터넷을 통해 실시간으로 전송되도록 하여, 가상의 무대에 출력되는 스프라이트의 음성이 참여자의 음성과 동일하게 출력되도록 한다.
본 발명이 적용된 컴퓨터 시스템은 반드시 음성이 참여자의 실시간 음성만을 의미하지는 않으며 참여자의 의도에 따라 자신의 음성을 변조하거나 미리 정해진 프로그램에 따른 음성이 출력될 수 있도록 지원한다. 그리고 참여자가 변조 음성을 사용하고자 하면, 컴퓨터 시스템은 참여자의 음성을 참여자가 원하는 방향으로 변조시킬 수 있도록 지원하고, 참여자가 말하거나 노래하는 목소리가 상기 참여자에 의해 설정된 변조 목소리로 실시간 변조되어 인터넷으로 전송되고, 가상의 무대의 스프라이트가 변조음성으로 말을 하거나 노래를 부를 수 있도록 한다.
둘째로 시각 전달방법에 대해 설명하면, 상기 컴퓨터 시스템은 연속 촬영 카메라를 통해 촬영되는 영상신호를 이용하여 생성된 스프라이트가 참여자 및 타 참여자들의 컴퓨터 시스템에 구비된 디스플레이 장치를 통해 출력되도록 함으로써 참여자들간의 실시간 모습을 송수신할 수 있도록 지원한다.
셋째로 후각 전달방법에 대해 설명하면, 상기 컴퓨터 시스템은 참여자의 코에 부착된 후각 센서로부터 입력되는 후각신호를 인터넷을 통해 다른 참여자의 컴퓨터 시스템으로 전송되도록 하고, 상기 후각신ㅎ를 수신받은 컴퓨터 시스템은 실제 후각신호를 타 참여자의 코에 부착된 후각 센서로 출력시켜 타 참여자가 상기 참여자와 같은 냄새를 맡고 느낄 수 있도록 한다.
넷째로 미각 전달 방법에 대해 설명하면, 상기 컴퓨터 시스템은 실제 미각신호를 타 참여자의 혀에 부착된 미각 센서로 출력시켜 타 참여자가 상기 참여자와 같은 맛을 느낄 수 있도록 한다.
다섯째로 촉각 전달방법에 대해 설명하면, 상기 컴퓨터 시스템은 참여자의 피부에 부착된 촉각 센서로부터 입력되는 촉각신호를 인터넷을 통해 다른 참여자의 컴퓨터 시스템으로 전송되도록 하고, 상기 촉각신호를 수신받은 컴퓨터 시스템은 실제 촉각 신호를 타 참여자의 피부에 부착된 촉각 센서로 출력시켜 타 참여자가 상기 참여자와 같은 촉각을 느낄 수 있도록 한다. Real-time movement with a small number of characteristic sensors attached to the participants' joints, etc. Attached, the participant moves. The sprites on the virtual stage will perform the same behavior as the participants' behavior by transmitting the position change of the attachment sensor in real time to move the joint of the predetermined sprite. As described above, only a part of the participant's movement is actually shown on the virtual stage, and the part without the sensor is automatically output by the computer analysis.
As described above, the computer system for controlling the movement of real-time or fixed sprites or virtual sprites enables participants to exchange their five senses (visual, auditory, olfactory, taste, and tactile) using the Internet. It communicates your thoughts and feelings to the other participants, and helps them recognize their thoughts and feelings.
First, the auditory transmission method of the five senses transmission method, the computer system receives the participant's voice input through the microphone to generate a voice signal, the voice signal is generated through the sprite and the Internet generated in the modeling step The voice of the sprite output to the virtual stage is output in the same manner as the voice of the participant.
The computer system to which the present invention is applied does not necessarily mean only the real-time voice of the participant, but supports to output a voice according to a predetermined program or modulate one's own voice according to the participant's intention. And if the participant wants to use the modulated voice, the computer system supports the participant's voice to be modulated in the desired direction, and the participant's speaking or singing voice is real-time modulated with the modulated voice set by the participant to the Internet. Is transmitted, allowing the sprites of the virtual stage to speak or sing in a modulated voice.
Secondly, in the visual transmission method, the computer system may allow sprites generated by using a video signal captured by a continuous shooting camera to be outputted through a display device provided in a computer system of participants and other participants. It supports sending and receiving real-time image.
Thirdly, in the description of the olfactory communication method, the computer system transmits an olfactory signal input from an olfactory sensor attached to a participant's nose to another participant's computer system through the Internet, and receives the olfactory signal. Outputs an actual olfactory signal to an olfactory sensor attached to another participant's nose so that the other participant can smell and feel the same as the other participant.
Fourth, the description of the taste delivery method, the computer system outputs the actual taste signal to the taste sensor attached to the tongue of the other participant so that the other participant can feel the same taste.
Fifth, the tactile transmission method will be described. The computer system transmits a tactile signal input from a tactile sensor attached to a participant's skin to another participant's computer system through the Internet, and receives the tactile signal. The actual tactile signal is output to a tactile sensor attached to the skin of another participant so that the other participant can feel the same touch as the participant.

이때, "참여자"의 움직임과 동시에 발생하는 자연 현상인 음성, 오감, 물리·화학적 특성등이 동시에 전산 처리되어 미리 정해놓은 물리·화학적 세계인 "가상의 무대"속에서 작용된다. 예를 들면 현실 속의 인물이 "가상의 무대"에 있는 책상을 두드렸을 때 책상의 강도가 두드리는 손의 힘을 이기지 못하도록 설계되었다면 책상은 파괴되고 만다.At this time, the voice, the five senses, and the physical and chemical characteristics, which are the natural phenomena that occur simultaneously with the movement of the "participant", are simultaneously processed and operate in the "virtual stage" which is a predetermined physical and chemical world. For example, if a real person knocks on a desk on a "virtual stage," the desk is destroyed if the strength of the desk is not designed to beat the power of the knocking hand.

7. 응용범위7. Scope of application

원격지 회의 - 서로 다른 지역에 있는 사람들이 일정한 가상의 회의용 테이블로 들어와 자신의 모습이 실시간 중계되는 지정된 테이블에 앉아 참석한 사람들과 회의를 한다. 이때 회의용 탁자등의 배경은 가상의 공간이고, 삼차원 화면에 나타나는 참석자들의 모습과 음성 등은 실제 인물의 실시간 상황을 그대로 재현시킨 모습이다.Remote Meetings-People from different locations come into a certain virtual meeting table and sit at a designated table where their appearances are relayed in real time. At this time, the background of the conference table is a virtual space, and the appearances and voices of the participants appearing on the three-dimensional screen reproduce the real-time situation of the real person.

극장연주 - 극장의 크기 및 무대는 가상의 공간이며, 공연에 참여한 가수, 연주자, 관객은 실제 인물의 실시간 상황이다. 그러나, 관객등 본인이 움직이는 모습을 실시간 가상의 공간에 나타내기를 원치 않는 경우에는 자신의 미리 정해진 삼차원 모델이나 자신이 설정한 가상의 인물을 가상의 극장에 참여하게 할 수 있다.Theater Performance-The size and stage of the theater is a fictional space, and the singers, performers and spectators who participated in the performance are real-time situations of real people. However, if the audience does not want to display the moving figure in the real-time virtual space, the user may have his or her predetermined three-dimensional model or virtual character set by the user participate in the virtual theater.

가상 극장에서 밴드를 구성할 경우 참여자가 노래에 자신이 있으면 실시간 음성으로 노래하여 중계되도록 할 수 있으며, 자신이 없으면 다른 가수가 부르는 노래에 음성을 자신의 음성으로 변조하거나, 정해진 리듬에 맞추어 프로그램 음성으로 노래한다.If you are a band in a virtual theater, your participant can sing in real-time voice if you are confident in the song, and if you are not confident, modulate your voice into a song by another singer, or program the voice to a rhythm. Sing

드럼이나 기타같은 것을 연주하는 경우에도 자신이 연주하는 실제 음성을 송신하거나 프로그램 음성과 같이 악기에 대하여 프로그램 된 곡을 연주하도록 하고, 자신은 곡에 맞추어 행동을 한다.Even if you're playing drums or guitars, you can send the actual voice you play or play a song programmed for the instrument, such as a program voice, and you act in tune with the song.

게임 - 게임의 무대나 시나리오는 미리 설정된 계획대로 진행된다. 게임에 참여하는 객체나 스프라이트는 현실속의 참여자의 모습과 움직임을 그대로 나타내거나 본인의 희망에 의하여 미리 설정된 가상의 모습으로 참여하여 다른 곳에서 동시에 참여하고 있는 사람들과 의논하고, 결정하며 팀등을 이루어 게임을 즐길 수 있다.Game-The stage or scenario of a game proceeds according to a preset plan. Objects and sprites participating in the game represent the actual appearance and movement of participants in the real world, or participate in a virtual form preset by the user's wishes to discuss, decide, and team with people who are simultaneously participating in different places. Enjoy.

대형 극장과 같은 인위적 구조물이나 그랜드 캐년과 같은 대 자연 또는 상상의 우주세계와 같은 인공, 자연, 상상의 세계를 설정해 놓은 배경 속에서 자신의 모습과 행동이 실시간 가상의 배경속에서 움직이도록 자신의 움직임과 가상의 세계에서의 움직임이 동일하거나 자신과 동일한 모습을 하였지만 움직임은 현재 자신의 움직임이 아니라 컴퓨터의 키보드, 마우스, 조이스틱 등을 움직이거나 가상 세계에 나타나는 인물이 현재 자신의 모습과는 다른 자신이 지정한 특성을 갖는 것으로서 자신의 움직임과 동일하게 나타나는 실시간 동작을 갖도록 하거나 모습도 다르고 움직임도 자신과는 다른 조이스틱 등에 의존하는 가상의 무대를 구성한다. Your movements and movements move in real-time virtual backgrounds in the setting of artificial structures such as large theaters, artificial, natural and imaginary worlds such as the grand nature of the Grand Canyon or the imaginary universe. The movement in the virtual world is the same or the same as you, but the movement is not your own movement, but the person who moves the keyboard, mouse, joystick, etc. of the computer or appears in the virtual world is different from yourself. They have a specified characteristic and have a real-time motion that is identical to their own movement, or they form a virtual stage that is different in appearance and dependent on a joystick that is different from their own.

움직이는 모습을 실시간 동일하게 움직이고, 말을 하도록 함으로서 실제적으로는 떨어져 있지만 지상의 거리에 제한없이 동일한 장소나 의견, 특정의 목적을 함께 경험할 수 있는 가상의 세계이다.It is a virtual world where you can experience the same places, opinions, and specific purposes together without limiting the distance on the ground, although you are actually separated by moving and talking the same way in real time.

집회 - 대통령과 전국민의 대화, 교회의 집회 등 가상의 장소에 실제의 모습을 하고 말하는 군중이 모이도록 하고 무대에 오른 한 사람이 연설을 하거나 연주를 할 수 있다.
시장 - 삼차원 사이버 공간에 시장을 형성시켜 놓고 각자가 팔려고 하는 물건을 송신하여 사이버 공간에서 보고 느끼며 흥정하여 구매를 한다.Rally-In a virtual place, such as a dialogue between the president and the nation, and a church rally, the actual crowd gathers and the talking crowd gathers, and one person on the stage can speak or play.
Market-Form a market in the three-dimensional cyber space, send the items that each person wants to sell, and then buy, see, feel and bargain in cyber space.

연극, 영화 - 참여자들이 한 무대에 모여 직접 행동한다. 이때에도 미리 대본이 정해진 경우에는 프로그램된 이야기를 타 참여자와 나누게 할 수가 있다.Theater, film-Participants gather on a stage and act directly. In this case, if the script is decided in advance, the programmed story can be shared with other participants.

본 발명은 동영상(영화, 애니메이션) 내에서의 특정 스타가 갖는 영상과 음성에 맞도록 특정 스타의 영상과 음성 데이터를 분석, 자신의 영상과 데이터를 정확하게 분석 및 조합하여 표정과 음성을 특정 스타가 갖는 상황에 적절하게 모니터링하여 직접 자신이 연출한 것처럼 가상으로 실현시킴과 가상공간(3D)에서의 무대를 배경으로 여러 대상인물들이 출연하여 대상들이 원하는 행동과 음성을 Controller를 이용하여 연출하며, 사이버 공간을 현실감이 있도록 그래픽을 구현하여 스타를 꿈꾸는 사람들에게 가상으로 영상 매체를 통해 꿈을 실현시킬 수 있다.The present invention analyzes the video and audio data of a specific star to match the video and audio of a specific star in a video (movie, animation), accurately analyzes and combines the video and data of the specific star. Monitor the situation appropriately and realize it virtually as if you were directing yourself and various objects appeared on the stage in the virtual space (3D) to produce the actions and voices that you want by using the controller. It is possible to realize the dream through the visual media virtually to people who dream of a star by realizing the graphic so that it can be realistic.

삭제delete

이상의 본 발명은 상기 실시예들에 의해 한정되지 않고, 당업자에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 포함되는 본 발명의 취지와 범위에 포함된다.The present invention is not limited to the above embodiments, and various modifications and changes can be made by those skilled in the art, which are included in the spirit and scope of the present invention included in the appended claims.

상기와 같은 구성 및 작용 그리고 바람직한 실시예를 가지는 본 발명은 자신이 특정 사이버 공간의 주인공이 되어 자신이 원하는 모든 것을 세계의 모든 사람들과 함께 추구할 수 있다.The present invention having the configuration and operation and the preferred embodiment as described above can be a main character of a specific cyber space and pursue everything he wants with everyone in the world.

Claims

(1) photographing the participant in real time using a camera and outputting it to a computer;

(2) The computer receives the video signal of the participant, measures the distance to the camera in real time, and tracks the participant's movement every moment moving in front of the characteristic transmission device capable of expressing the image to display the background of the image input from the camera. Removing the external background along the three-dimensional contour generated by real-time modeling only the body of the moving participant;

(3) generating a three-dimensional sprite using an image signal of a participant inside the contour from which the external background is deleted;

(4) combining the sprite with a preset background and outputting the sprite;

(5) the computer receiving and outputting a participant's voice signal input through a microphone in real time through the Internet; And

(6) the computer receiving a signal output from the five sense sensors attached to joints and skin of a predetermined participant and outputting the signals to the five sense sensors attached to joints and skin of another participant;

Real-time virtual space operating method using the same sprite as the participants themselves, characterized in that consisting of.

delete

According to claim 1, wherein the contour of the participant in the process (2),

Real-time virtual space operating method using the same sprite as the participant himself, characterized in that generated by the front, side, back view of the participant.