KR20030082160A - 실시간 스프라이트 생성방법 - Google Patents

Abstract

본 발명은 인터넷을 이용한 컴퓨터의 가상공간상에 참여자의 움직임과 동일하거나 참여자의 의도와 동일하도록 스프라이트를 생성하기위하여 참여자의 외형 모습 전체를 투사할 수 있도록 배치한 다수의 거리카메라로부터 거리카메라가 위치하는 각 방향에서 얻은 외형 모습에 대한 삼차원 측정 좌표를 하나의 메쉬(Mesh)나 면, 부피로 결합하여 삼차원 모델을 생성시키거나

참여자의 외형 모습 일부만이 투사되는 거리카메라를 사용하고 있어 상기 참여자의 삼차원 모델링 좌표의 일부만이 입력되는 경우 입력된 삼차원 측정 좌표를 일반적인 참여자들의 외형특성을 그룹화하여 표준화한 데이터 베이스와 비교하여 개채의 특성이 가장 잘 일치하는 모델 데이터를 추출하고, 이 모델데이터와 상기 측정 좌표가 일치하지 않는 부분은 보간하여, 거리 카메라에서 입력된 데이터가 없는 부분은 표준 모델의 데이터를 사용하여 삼차원 모델을 만드는 실시간 스프라이트 생성단계와

하나 이상의 사진을 영상 해석하여 상기 사진의 모습과 가장 유사한 표준 모델을 추출하고, 이 모델 데이터와 상기 영상 해석 결과로서 취득한 모델의 삼차원 데이터를 합성하여 만든 모델인 고정 스프라이트 생성단계와,

이리 정해진 프로그램 상으로 만든 모델인 가상 스프라이트를 생성하는 단계로 이루어진 삼차원 영상 스프라이트 생성 방법에 관한 것이다.

Description

실시간 스프라이트 생성 방법{Real Time Sprite Modeling}

본 발명은 다수의 사용자가 자신과 같은 모습을 한 모델을 등장시켜 회의를 하거나 게임을 할 수 있는 실시간 스프라이트 모델링에 관한 것이다.

본 발명은 가상공간내에서 실시간으로 움직이는 다수의 참여자의 모습을 삼차원으로 표현하고 조정하는 인터넷을 이용한 실시간 동작 시뮬레이션을 위하여 삼차원 영상의 실시간 표현 방법을 해결하고자 하였다.

도 1은 본 발명에 따른 실시감 모델링의 일 실시예

도 2는 본 발명에 의한 모델에 대한 거리 카메라와 배치 일 실시예

도 3은 본 발명에 의한 통계적 모델 데이터 베이스 일 실시예

도 4는 본 발명에 의한 영상인식을 통한 모델링 절차의 일 실시예

도 5는 본 발명에 의한 사진을 통하여 모델을 설정하기위한 사진의 일 실시예

도 6은 본 발명에 의한 사진을 통하여 모델을 설정하기위한 사진에 대한 카메라 앵글의 일 실시예

도 7은 본 발명에 의한 실제 모델과 통계적 모델을 연결하기 위한 대응점의 일 실시예

본 발명은 수만이 운집한 광장에서 노래를 하고 싶으나 현재 위치한 곳과 공연장이 너무 멀어 가기가 어렵다거나, 수십만명이 모여있는 무대에서 연극을 초청을 받았으나 거리상의 제약으로 가기가 어려울 때 시간과 공간을 뛰어 넘어 거대한 가상의 무대에 실제 인물과 동일한 모습과 목소리를 가진 사람들이 공연장에 모여 관중은 박수를 치고, 배우는 연극을 할때 참여한 모든 사람의 모습이 실시간으로 실제와 같이 삼차원으로 무대안에서 나타나고, 모든 사람의 음성이 실시간으로 나타나 실제 극장과 하나도 다름이 없는 가상공간을 구축하는 방법에 대하여 기술한다. 또한, 본 발명에서는 현실에서 스타가 되고 싶으나 여건이 되지 못하여 스타의 기회가 주어지지 않는다든지 친한 친구나 낯 모르는 제3자와 팀을 이루어 밴드를 구성한다든지 연극 팀을 이룬다든지, 게임을 한다는 등의 공동 행동을 참여하는 모든사람이 만나지 않고 각자의 현 위치에 있으면서도 목적하는 사이버 공간에 모여 서로의 모습을 삼차원으로 보고, 듣고, 느끼면서 원하는 일을 할 수가 있다.

실시간 변화하는 실제 참여자의 모습 : 가상의 세계에 참여하고자 하는 실제 인물이나 목표물[이하 '참여자'라한다]을 비추고 있는 비접촉식 영상 및 거리 획득장치(이하 '거리 카메라'라 하며 영상만을 획득하는 카메라와 구분하여 호칭한다)로부터 입력되는 영상에서 [도4]와 같이 영상처리를 통하여 배경을 제외한 참여자의 외형 모습을 삼차원으로 측정하여 얻은 참여자의 외형에 대하여 각 단면에서 얻은 좌표정보를 하나의 메쉬(Mesh)로 결합하여 삼차원 모델을 생성시킨다. 이렇게 인터넷을 이용한 컴퓨터 상에서 실제 참여자와 동일하게 나타나는 영상물인 모델[이하 '스프라이트(Sprite)'라 한다]을 실시간으로 만들어 상대적으로 늦은 속도로 움직이는 배경에 대하여 빠른 동적 특성을 지닌 객체(Object)가 되도록 하여 참여자의 실세계에서의 움직임이 가상세계에서 동일하게 움직이도록 한다. 이때 카메라와 함께 마이크가 있어 참여자의 말소리를 실시간 가상의 세계에 전송하여 참여자의 실제 목소리가 실시간으로 가상의 무대에 들리도록 한다. 음성과 모습 외에도 인간의 오감을 표현할 수 있고 전송할 수 있는 시스템을 참여자에게 설치하여 이 신호를 전송받아 인터넷을 통한 가상의 무대에 보내고 수신된 신호를 복원해 냄으로서 가상의 무대에 동시에 연결된 참여자들은 타 참여자의 오감을 느낄 수 있다. 이토록 실시간으로 참여자의 모습을 삼차원 측정함과 동시에 모델링하여 스프라이트를 제작 전송하고, 음성, 오감이 가상의 무대에 나타나는 객체를 '실시간 스프라이트'라 한다.

앞서 언급한 거리 카메라인 비접촉식 영상 및 거리획득 장치는 모델의 형상을 측정, 좌표화하는 것으로 극초단파(Microwave)를 이용한 삼각거리측정(Triangulation Depth Detection)이나, 광파(Light Wave)를 이용한 간섭식 거리측정(Interferometry Depth Detection), 초음파를 이용한 반사시간 거리측정(Time-of-flight Depth Detection) 방식과 스테레오 카메라등이 있으며 이들은 피사체의 각 점의 좌표를 지시하는 특성을 갖는 것으로, 디지털 카메라로부터 입력된 영상을 해석하여 좌표를 측정하는 방식도 그 한 실시예로 볼 수 있다.

실시간 스프라이트의 경우에는 참여자의 시선과 걷는 방향에 따라 당해 참여자에게는 배경이 달라지며, 참여자의 걷는 속도에 따라 배경이 바뀌는 속도가 달라진다. 그러므로 참여자들의 모습을 비추고 있는 실시간 카메라는 참여자의 정면을 비추고 있을 지라도 제3의 참여자는 다른 참여자의 뒤에 있을 수 있으며 이때는 상대방의 뒷모습을 보게되므로 거리 카메라가 비추고 있지 않은 뒷 모습에 대한 삼차원 모델링이 실시간 처리되어야 한다.

삼차원 모델을 제작하기 위해서는 모델의 전체 외면을 거리 카메라가 비추어야 하나, 거리 카메라의 물리적인 특성 제한으로 일반적으로 피사체를 비출 수 있는 각도가 120도 정도이므로 모델을 전부 조사하기 위해서는 다수의 거리 카메라가 모델을 360도 돌려가면서 설치되거나, 고정된 거리 카메라에 모델이 360도 회전하면서 모델의 외관 전체에 대한 좌표 데이터와 결(Texture)을 입력하여야 된다. [도2]는 모델(11)의 주변에 다수의 거리 카메라(21-25)를 설치하여 실시간 모델링을 할 수 있는 한 일 실시예이다. 실제적으로 [도2]의 거리카메라는 모델(11)을 360도 전체에 대하여 조사 할 수 있도록 거리 카메라가 360도 각도로 배체되어야 한다.

실시간 입력되는 모델을 촬영하는 거리카메라는 일반적으로 특정 방향만을 비추기 때문에 보이지 않는 부분에 대한 삼차원 모델링 처리가 불가능하다. 본 발명에서는 거리 카메라로부터 입력되지 않음으로서 삼차원 모델의 좌표와 결 데이터가 없는 부분은 통계적 표준 모습을 이용하여 모델의 삼차원 데이터의 일부와 가장 잘 맞는 표준모델을 서로 합치시키는 방법을 사용한다.

통계적 모델 데이터 베이스 관리방법은 세계 인류에 대한 민족, 나이, 시기, 성별, 체형등에 대한 사람의 외형을 표준화하여 특징 지을 수 있는 것들을 모아 이들을 모델링하고 이 모델의 특성인 표면 좌표와 결(Texture)을 데이터베이스로 미리 입력해 둠으로서 사용자가 새로운 스프라이트를 생성하려 하나 모델의 구성에 필요한 삼차원 데이터가 충분히 입력되지 못하고 있을 경우에는 입력되지 못한 데이터 부분은 이미 입력된 데이터와 가장 잘 맞는 특성을 갖는 표준화된 모델 데이터를 이용하여 실제 입력과 미입력부분에 대한 데이터의 합성을 통한 삼차원 모델이 완성된 스프라이트를 사용하도록 한다. [도2]의 모델(11)에 대하여 거리카메라(23) 하나만이 모델의 전면에서 실시간으로 투사하여 삼차원 좌표를 생성시킬 경우 모델의 전면에 대하여는 입력된 좌표데이터를 메쉬화하여 삼차원 모델을 만들 수 있으나 뒷모습은 거리 카메라가 비추지 않음으로 모델을 만들 수 없다. 이 경우 모델이 속해있는 그룹특성(민족, 나이, 성별, 키, 몸무게등)을 세분화하여 각 특성별 모델 데이타를 데이터 베이스화 해 둘 경우 데이터 베이스의 형상과 [도2]의 모델이 가장 유사한 데이터를 추출하여 전면모습은 실제 거리카메라로부터 입력되는 좌표를 이용하고, 뒷 모습은 추출된 데이터를 상호 합성하여 만들 경우 실제모델과 아주 유사한 삼차원의 모델을 만들 수 있다.

이렇게 하여 입력영상에 따른 최적 모델이 선정되고, 최적 모델데이타를 입력 영상에 맞게 조정함으로서 실제 모델을 제작하는데 필요한 일체의 데이터가 주어지기 전에는 일부가 실제 모습이 아닌 통계적 3차원 모델 데이터 베이스로부터 추출한 가상의 모델이 인터넷의 가상무대로 나타나지만, 이 모델의 일부분은 실제 모습으로 실시간 움직임이 그대로 나타나므로 실시간 스프라이트로서 활동하게 된다.

[도3]은 상기 통계적 모델에 대한 표준 데이터 베이스로서 민족별로 성별, 나이, 키, 체중에 따른 피부색깔, 눈의 색깔, 머리 색깔, 얼굴모양, 체격, 팔모양, 다리모양 등을 입력, 저장하는 일 실시예를 보여주고 있다.

참여자 사진 등으로 참여자와 동일하게 모델링 : 실시간 참여자의 모습을 생중계하듯 거리 카메라 앞에서 자신의 모습을 전송하지 않고, 앞서 언급한 바와 같은 프로그램 안에서 삼차원 모델의 윤곽선을 그려낼 수 있는 참여자의 정면, 측면, 뒷모습 사진과 음성패턴을 분석하여 재현할 수 있는 녹음 테이프 등이 있으면 이들로부터 앞서 언급한 영상을 이용하여 모델을 만드는 것과 동일한 방법으로 스프라이트를 만들고, 여기서 만들어진 삼차원 모델 데이터를 가상세계에 참여시켜 움직이게 함으로서 자신이 움직이는 실제모습과 가상세계에 있는 참여자의 행동이 일치하지는 않지만 자신의 의사와 같이 참여자의 모습을 한 삼차원 모델이 가상의 무대에 참여하고 있는 다른 참여자와 함께 행동하거나 독자적으로 행동할 수 있다.

[도4]는 사진을 이용하여 삼차원 모델을 만들기 위하여 스캐너로부터 입력된 영상을 처리하는 방법을 나타낸 일 실시 예로서 영상 입력 및 기초처리를 위하여 영상을 스캐닝(Scanning)하고, 영상을 전류로 바꾸는 표본화(Sampling)과정과 영상을 디지털 숫자로 바꾸는 영상 정량화(Quantization)를 거쳐 고립점 검색, 선 수색, 윤곽선 검출과 같은 수단을 이용하여 영상을 그 구성성분 또는 물체별로 구획하는 영상 분할(Segmentation)을 실시하고, 결(Texture)과 패턴을 인식한 후 참여자를 배경으로부터 분리시켜 참여자의 눈이나 코, 입, 팔, 다리 등과 같은 개체를 구분하여 특성을 분류한 후 카메라의 렌즈특성에 따라 실제 좌표와 사진의 영상의 좌표가 상이한 부분을 보정하는 카메라 보정(Camera Calibration)을 통하여 모델의 각 점에 대하여 실제의 삼차원 좌표를 얻고, 이로부터 개체별 삼차원 좌표 특성을 분리시켜 모델의 개체와 스캐닝한 부분에 대한 골격이 어떠한 모습을 하고 있는지를 알 수 있는 근거자료를 만든다. 참여자의 모습을 전방향에 대하여 세분하여 촬영한 수많은 사진을 스캐닝 하였을 경우에는 이들을 조합하여 전체 모습에 대한 삼차원 모델링을 할 수 있으나 소수의 사진의 경우에는 전체 모습에 대한 삼차원 좌표와 결(Texture) 데이터가 없기 때문에 모자라는 부분은 앞서 언급한 통계적 데이터 베이스를 이용한다. 입력된 영상 데이터와 표준 모델을 비교하여 해당 앵글과 높이에서의 확정되는 모델 데이터와 가장 유사한 모델을 선정하여 참여자의 영상데이터가 없는 부분에 대해서는 [도3]의 데이터 베이스를 이용하여 실제 데이터와 보간 후모핑(Morphing)하여 삼차원 모델링을 수행한다.

본 발명에서는 이렇게 참여자의 실시간 모습을 가상의 세계에 전송하지 않고 하나 이상의 의 고정된 영상으로부터 생성시킨 모델에 의하여 참여자가 가상의 무대에서 나타나는 객체를 '고정 스프라이트(Sprite)'라 한다.

[도5]는 본 발명에 의하여 다섯장의 영상으로부터 하나의 모델의 얼굴을 삼차원으로 모델링하는 것을 보여주는 것으로서 사람의 키 방향을 y, 두 팔방향을 x, 앞 뒤 방향을 z축으로 하여 방향표시를 한 경우로서 이 영상들은 y축을 중심으로 xz 평면에서 45도 각도 단위로 회전하며 촬영한 모습을 보여주고 있다. 이 영상들 하나 하나를 가지고는 삼차원 모델을 만들 수 없으나 각자의 영상을 조합하면 삼차원 모델을 만들 수 있다. [도5]의 A는 사람의 부위별 개체(눈, 코, 입등) 및 얼굴 전체에 대한 xy 평면에서의 좌표값을 설정할 수 있으며, [도5]의 C의 경우에는 우측눈과 코, 입에 대한 yz평면에서의 좌표값을 구할 수 있다. 그러나, x 좌표값은 신뢰성이 떨어진다. 이와 같이 각 영상별로 영상이 촬영된 평면에서의 좌표값은 [도4]에서 지시하는 바와 같은 영상인식을 통하여 얻어 질 수 있으나, 영상이 촬영되지 않은 부분에 대한 데이터가 없기 때문에 전체의 모습을 삼차원으로 구현하기는 어렵다. 본 발명에서는 이와 같이 전체 모델의 삼차원 데이터중 일 부분에 대한 데이터만 있는 모델 데이터를 이용하여 삼차원을 구성하고자 [도3]과 같은 인종특성 모델 데이터 베이스를 사전에 컴퓨터에 입력하고 이를 실시간 입력되는 데이터와 비교하여 삼차원 모델을 만드는 방법을 채택한다.

다음 설명은 [도5]의 영상을 이용하여 3차원 모델을 형성하는 일 실시예를 보여준다. [도5]의 A를 [도4]와 같이 영상 분석한 결과 모델의 눈, 코, 입 및 얼굴모양이 일치하는 데이터 베이스를 [도3]으로부터 찾아낸다. 이 결과 본 모델의 특성은 한국인으로 34세의 보통 체형의 여성이다. [도3]의 데이타 베이스에는 앞서 언급한 한국인으로 34세의 보통 체형의 여성의 3차원 모델에 대한 삼차원 좌표 및 피부결(Texture)이 있다. [도5]의 영상 A를 [도4]의 절차에 따라 인식한 영상 데이터(좌표 및 결)중 삼차원 모델로서 확정될 수 있는 데이터 집단(Set)인 카메라 보정(Camera Calibration)을 마친 눈, 코, 입등의 xy좌표는 영상으로부터 인식한 자료를 사용하고, z좌표는 표준모델의 좌표를 사용하여 모델링을 함으로서 [도5]의 A를 통하여 제작된 스프라이트는 얼굴 정면은 실제의 모습을 하고 있으나 측면 및 뒷면은 표준 모델을 [도5]의 영상 A와 대응점을 찾아 보간법으로 연결한 것으로 표준모델과 실제가 혼합된 형상이다. 이 후 [도5]의 C를 영상분석한 결과에 의하여 눈, 코, 입등의 개체에 대한 Z좌표값이 설정되게 된다. [도6]은 모델(11)에 대한 카메라의 앵글(Angle)을 표시한다.

대응점을 찾기 위해서는 각 개체의 특성점을 비교하여 이 점들의 좌표를 대응하도록 한다. [도7]은 대응점을 찾기위하여 각 개체의 특성점을 표시하는 일 실시예로서 좌우측 눈썹은 bl, br점을, 코는 n점을, 좌우측 눈은 el, er 점을, 입은 ml, mr, mu, md점을 대표점으로 하여 이 특성점을 기준으로 놓고 각 사진의 영상해석을 통하여 얻은 개체별 좌표와 통계적 데이터 베이스의 개체의 위치와 특성을 일치시키게 된다.

이렇게 대응점이 찾아지면 삼차원 모델의 윤곽을 생성시킬 수 있다. 이와 같이고정된 영상과 통계적 데이터 베이스를 혼합하여 삼차원 모델을 생성시킬 경우 고정된 영상으로부터 획득되는 삼차원 좌표가 아닌 데이터는 통계적 데이터 베이스로부터 추출된다. [도6]의 경우 고정된 영상으로부터 취득한 삼차원 모델의 좌표와 결(Texture)이 51-58까지일 경우 51을 초과하고 52미만의 범위에 있는 데이터는 가상의 통계적 데이터와 실제 데이터인 51,52점의 좌표와 결의 특성이 양 끝점에서 상호 보간법으로 결합되게 된다. 마찬가지로 52-53, 53-54, 54-55, 55-56, 56-57, 57-58, 58-51의 결합이 이루어 지며, 이러한 좌표를 이용하여 표면이나 경계선, 면 궤적, 부피 생성등을 통하여 삼차원 모델이 생성된다.

이와 같이 본 발명에 의한 실시간 스프라이트 생성방법은 실시간 입력되는 영상을 분석하여 삼차원 모델을 만들되, 실시간 입력되는 데이터가 부족하여 삼차원 입력이 불가능한 부분에 대해서는 표준 모델의 개체를 입력 데이터의 개체와 보간법으로 연결하여 실제와 가상을 혼합하는 방식을 선택하면서, 실제 데이터가 추가적으로 입력될 경우에는 가상의 데이터를 버리고 실제데이타를 모델 자료로 활용함으로서 프로그램의 진행에 따라 정확한 모델이 생성되는 방식을 취한다. 이렇게 함으로서 수명의 참여자가 하나의 가상공간에 모여 원탁회의를 하고 있을 경우 각자를 비추고 있는 거리 카메라는 참여자의 정면을 비추고 있지만 제 3의 참여자(참여자 X)가 타 참여자(참여자 Y)의 등을 보고자 할 경우 제3의 참여자(참여자 X)의 시선에 따라 배경이 바뀌면서 참여자 Y의 등이 나타나지만 이때 나타나는 참여자 Y의 등은 참여자 X의 정면과 가장 일치하는 표준모델의 등이지, 실제 등의 모습은 아니다. 그러나, 참여자 X가 고정된 거리 카메라 앞에서 이회전을 하거나, 참여자 X는고정되어 있더라도

거리 카메라가 참여자 X를 중심으로 일 회전하여 참여자 X의 실제 모델 좌표 및 결(Texture) 데이터를 입력되도록 하였다면 참여자 X를 부추는 거리 카메라가 정면을 비추고 있다할 지라도 참여자 Y는 참여자 X의 실제 등의 모습을 볼 수 있다. 이와 같이 실시간 입력되는 영상 데이터를 이용하여 당해 영상데이타가 구축할 수 있는 위치에 대응하는 삼차원 모델을 만들고, 입력 영상의 모습이 이미 입력된 것과 다른 경우에는 신규 입력 부위에 대한 데이터를 추가로 사용하고 있는 모델데이타의 해당 위치 데이터를 갱신시킴으로서 실시간 입력되는 영상을 실제의 모델에 실시간 반영하여 동일한 스프라이트에 대하여 새로운 투사각의 영상이 많으면 많을 수로 실제와 동일한 스프라이트가 구축되어진다.

본 발명에서 스프라이트라 함은 참여자와 모습과 음성, 오감이 동일하거나 참여자가 자신과는 다르지만 자신이 선정하여 참여시키고자 임의로 선정한 모습, 음성, 오감(맛<시각>, 냄새<후각>, 촉각, 청각, 시각) 을 갖는 가상현실 속에서의 객체를 의미한다.

참여자가 선정하거나 설계한 가상의 얼굴. 특성 : 본 가상의 배경에 참여시키는 고정 스프라이트는 현실 세계의 음성과 오감을 지닌 실제 모습의 인물만을 지칭하지는 않으며 가상의 세계에 구현시키고자 하는 객체로서 참여하고자 하는 자의 선택에 의하여 자신의 모습을 직접적으로 나타내든지 아니면 자신과는 다른 그 어떤 형상의 모습과 음성, 오감등 객체의 특성을 지닌 스프라이트를 선택, 가상의 무대에 참여시킬 수 있다. 이와 같이 참여자와는 다른 모습의 스프라이트를 본 발명에서는 '가상 스프라이트'라 한다.

이상과 같은 실시간 스프라이트나 고정 스프라이트, 가상 스프라이트는 경계선이나 면, 부피를 이용하여 모델링이 되며, 참여자의 움직임에 따라 움직이는 개체와 움직이지 않는 고정 개체를 분리하여 관절을 형성하고, 통계적 데이터베이스를 사용한 좌표나 결이 없이 완전히 완성된 삼차원 모델의 경우에는 실시간 거리 카메라가 참여자를 투사하고 있어 삼차원 좌표가 연속적으로 생성될지라도 스프라이트를 구동하는 것은 모델의 전 외형 모습을 전부 실시간 입력 데이터를 사용하지 않고 모델의 개체를 관절로 구분한 개체의 중요 대응점만을 실시간 추적하고, 대응점 외의 경계선이나 면, 부피는 고정된 모델로 처리하여 움직이는 대응점을 따라 변환할 수 있도록 함으로서 통신 속도를 단축시킬 수 있다.

3. 배경속에서 스프라이트의 움직임

실시간 움직이는 실존 참여자의 모습 : 참여자는 거리 카메라등 실시간으로 거리를 측정하고, 영상을 표현할 수 있는 특성 전송장치 앞에서 움직이는 순간순간마다 참여자의 움직임을 추적, 거리 카메라등에서 입력되는 영상중 배경을 제외하고 움직이는참여자의 몸체만을 나타내는 삼차원 윤곽선(Wire Frame등)을 실시간 모델링하여 가상의 게임 배경과 같이 미리 설정해 놓은 '가상의 무대' 속에 실시간 나타난다. 이와 같이 참여자의 모든 움직임이 실시간으로 가상의 무대에서 동일하게 나타나는 것을 '실시간 움직임'이라 한다.

참여자의 관절등에 소수의 특성센서를 부착하고 실시간 움직임 : 거리 카메라 등을 이용하여 참여자의 모든 행동에 따르는 윤곽선을 실시간으로 전송하지는 않고, 참여자의 관절등 참여자의 행동을 표현할 수 있는 대표적인 곳에 필요한 센서를 부착하고 참여자가 움직인다. 부착센서의 위치 변화등을 실시간 전송하여 미리 정해둔 스프라이트의 관절을 움직이게 함으로서 가상의 무대에 있는 스프라이트는 참여자의 행동과 동일한 행동을 하게 된다. 이상과 같이 참여자의 움직임중 일부분만이 사실대로 가상무대에서 나타나고 센서가 부착되지 않은 부분은 전산 해석에 의하여 자동 출력되는 것을 '센서에 의한 움직임'이라 한다.

조이스틱등에 의한 움직임 : 스프라이트의 움직임을 조이스틱 등에 연동시켜 참여자는 실제로 움직이지 않지만 스프라이트만 움직이도록 한다. 이상과 같이 참여자와 스프라이트의 움직임이 전혀 연동되지 않고 단지 조이스틱등에 의존하는 것을'자판 움직임'이라 한다.

본 발명은 자신이 특정 사이버 공간의 주인공이 되어 자신이 원하는 모든 것을 세계의 모든 사람들과 함께 추구할 수 있다.

Claims (2)

1. 참여자의 외형 모습 전체를 투사할 수 있도록 배치한 다수의 거리카메라로부터 거리카메라가 위치하는 각 방향에서 얻은 외형 모습에 대한 삼차원 측정 좌표를 하나의 메쉬(Mesh)나 면, 부피로 결합하여 삼차원 모델을 생성시키거나

   참여자의 외형 모습 일부만이 투사되는 거리카메라를 사용하고 있어 상기 참여자의 삼차원 모델링 좌표의 일부만이 입력되는 경우 입력된 삼차원 측정 좌표를 일반적인 참여자들의 외형특성을 그룹화하여 표준화한 데이터 베이스와 비교하여 개채의 특성이 가장 잘 일치하는 모델 데이터를 추출하고, 이 모델데이터와 상기 측정 좌표가 일치하지 않는 부분은 보간하여, 거리 카메라에서 입력된 데이터가 없는 부분은 표준 모델의 데이터를 사용하여 삼차원 모델을 만드는 실시간 스프라이트 생성단계와

   하나 이상의 사진을 영상 해석하여 상기 사진의 모습과 가장 유사한 표준 모델을 추출하고, 이 모델 데이터와 상기 영상 해석 결과로서 취득한 모델의 삼차원 데이터를 합성하여 만든 모델인 고정 스프라이트 생성단계와,

   이리 정해진 프로그램 상으로 만든 모델인 가상 스프라이트를 생성하는 단계로 이루어진 삼차원 영상 스프라이트 생성 방법
2. 참여자의 외형 모습 전체를 투사할 수 있도록 배치한 다수의 거리카메라로부터 거리카메라가 위치하는 각 방향에서 얻은 외형 모습에 대한 삼차원 측정 좌표를 하나의 메쉬(Mesh)나 면, 부피로 결합하여 삼차원 모델을 생성시키거나

   참여자의 외형 모습 일부만이 투사되는 거리카메라를 사용하고 있어 상기 참여자의 삼차원 모델링 좌표의 일부만이 입력되는 경우 입력된 삼차원 측정 좌표를 일반적인 참여자들의 외형특성을 그룹화하여 표준화한 데이터 베이스와 비교하여 개채의 특성이 가장 잘 일치하는 모델 데이터를 추출하고, 이 모델데이터와 상기 측정 좌표가 일치하지 않는 부분은 보간하여, 거리 카메라에서 입력된 데이터가 없는 부분은 표준 모델의 데이터를 사용하여 삼차원 모델을 만드는 실시간 스프라이트 생성수단과

   하나 이상의 사진을 영상 해석하여 상기 사진의 모습과 가장 유사한 표준 모델을 추출하고, 이 모델 데이터와 상기 영상 해석 결과로서 취득한 모델의 삼차원 데이터를 합성하여 만든 모델인 고정 스프라이트 생성수단과,

   이리 정해진 프로그램 상으로 만든 모델인 가상 스프라이트를 생성하는 수단으로 이루어진 삼차원 영상 스프라이트 생성 장치