KR20240022179A - 3d 가상현실 공간에서 실제인물과 가상인물을 실시간 합성하는 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 3D 가상현실 공간에서 실제인물과 가상인물을 실시간 합성하는 시스템 및 그 방법 에 관한 것으로, 특히 가상현실(Virtual Reality)시스템에 있어서 사용자의 3차원 가상인물과 가상현실시스템에 미리 정해진 신체 전부 혹은 일부의 템플릿 모델과 합성하고 이 합성된 모델에 사용자가 자신의 체형,키,몸무게,특정신체부위의 물리적 파라미터 값을 수정 하여 실시간으로 새로운 3차원 가상인물을 생성하고 여기에 상현실시스템에 미리 정해진 3차원 컨텐츠를 적용해 볼 수 있는 시스템 및 방법에 관한 것이다.

Description

3D 가상현실 공간에서 실제인물과 가상인물을 실시간 합성하는 시스템 및 그 방법 {System and Method for Real-Time Synthesis of Real Person and Virtual Person in 3D Virtual Reality Space}

본 발명은 3D 가상현실 공간에서 실제인물과 가상인물을 실시간 합성하는 시스템 및 그 방법 에 관한 것으로, 특히 가상현실(Virtual Reality)시스템에 있어서 사용자의 3차원 가상인물과 가상현실시스템에 미리 정해진 신체 전부 혹은 일부의 템플릿 모델과 합성하고 이 합성된 모델에 사용자가 자신의 체형,키,몸무게,특정신체부위의 물리적 파라미터 값을 수정 하여 실시간으로 새로운 3차원 가상인물을 생성하고 여기에 상현실시스템에 미리 정해진 3차원 컨텐츠를 적용해 볼 수 있는 시스템 및 방법에 관한 것이다.

인체의 3차원 영상을 생성하는 방법으로는 2D의 인물사진을 스캔받아 3차원으로 보이게 하는 방법으로 대한민국 공개특허공보 제0011382호의 1장의 일반 이미지로 부터 입체영상구현을 위한 스테레오스코픽 이미지를 도출하기위한 방법을 기록한 롬 이 있다 . 또 다른 방법으로는 스테레오 매칭(Stereo Matching) 기법을 이용한 스테레오 입체 사진기를 통하여 3차원 인물사진을 생성하는 방법으로 대한민국 공개특허공보 제

0041733호 의 입체사진 촬영기 가 있다. 또는 영상비디오로부터 3차원 입체 애니메이션을 생성하는 방법으로 디지털 비디오 영상을 이용한 3차원 모델의 얼굴 표정 애니메이션 방법 등이 있다. 그리고 2D 이미지로 부터 3차원 모델을 생성하는 방법으로는 대한민국 3차원 얼굴 모델링 시스템 및 방법 등이 있다. 가상현실시스템은 컴퓨터와 인간의 상호작용으로 인간이 컴퓨터에 의해 생성된 가상환경(VirtualEnvironment)에 몰입하여 그 세계를 경험할 수 있도록 하는 것으로, 현재 여러 분야에서 이에 대한 실용화가 시도되고 있다. 그 전자상거래의 활용 예로 가상현실을 이용한 3차원 쇼핑몰 운영방법 및 그 장치 등이 있다. 2D영상의 합성예로는 영상합성기법을 이용하여 원하는 의상 디자인을 선정하는 장치 및 방법이 있다. 이러한 가상현실을 이용한 전자상거래와 3차원 영상의 합성예로는 가상현실 시스템에 있어서 모의 의상 착용장치와 컴퓨터 네트워크를 통한 모의 작용 시스템 및 그 운용 방법 등이 있다. 이처럼 가상현실 시스템은 3차원 입체사과의 결합으로 전자상거래 및 기타 응용분야에 대거 등장하고 있다. 그러나 이러한 방법들은 3차원 영상을 이루고 있는 곡면 모델의 대량의 정보로 인하여 시스템간의 정보 전송이 원활하지 못하였다. 제조업에서 사용되는 3D CAD분야에서는 정밀한 곡면 데이터를 이용하여 입체모델을 표현하는 방법이 사용되고 있고, IGES(Initial Graphic Exchange Specification)이나 STEP(STandard for the Exchange of Productmodel data)와 같은 표준 데이터의 교환 포맷에도 이들 데이터 표현방법이 제공되어 왔다. CAD의 세계에서는 생성된 곡면 형상을 고정밀도로 표현하기 위하여 트림(trim) 곡면이라고 하는 정밀한 형상 표현방법이 이용되어 왔다. 이런 표현방법은 정밀도가 매우 높은 형상을 표현하는 데에 적합하지만 큰 용량의 데이터를 요구하므로 네트워크 환경에서 이용하는 것이 곤란한 점이 있었다. 또한, 현재까지의 가상현실 전자상거래는 시스템이 제공하는 고정된 형태의 3차원 모델에 자신의 영상만을 합성하는 것으로 사용자의 신체치수 및 피부색깔 특정부위의 정보, 체형등의 물리적 파라미터 값을 사용자가 변경함으로 사용자의 모습과 3차원 가상인물을 가장 유사하게 실시간으로 묘사 할 수 없어 모의 착용 시스템의 한계가 있었다.

본 발명은 이러한 점을 감안한 것으로, 본 발명이 해결하고자 하는 제1기술적 과제는 사용자의 3차원 가상인물과 가상현실 시스템에서 제공하는 가상의 3차원 신체 템플릿 모델을 제공하고 합성하는 시스템 및 방법을 제공하는데 있다. 본 발명이 해결하고자 하는 제2 기술적 과제는 사용자의 요청에 의해 상기에서 합성된 3차원 가상인물의 물리적 파라미터 값을 변경하여 3차원 모델을 실시간으로 재구성할 수 있는 시스템 및 방법을 제공하는데 있다.

상기 목적을 달성하기 위하여 본 발명에 따른 3D 가상현실 공간에서 실제인물과 가상인물을 실시간으로 합성하는 시스템은 (a) 상기 가상현실시스템은 상기 사용자 단말기로부터 사용자의 요청에 의하여 사용자의 3차원 인체 모델을 저장하는 3차원 가상인물 저장수단과 (b) 상기 사용자의 3차원 가상인물과 합성하기 위한 가상현실시스템의 3차원 신체 템플릿 모델을 저장하고 있는 3차원 신체 템플릿 저장수단과

ⓒ 상기 사용자의 3차원 가상인물과 가상현실시스템의 3차원 신체 템플리트 모델을 합성하는 제1합성수단과 (d)상기 합성모델의 물리적 파라미터를 사용자가 제어하기 위한 제어수단과 (e)상기 제어수단에 의해 변행된 합성모델에 적용하기 위한 상기 가상현실시스템의 3차원 컨텐츠 저장수단과 (f) 상기 제어 수단에 의해 변형된 합성모델에 가상현실시스템에서 가지고 있는 3차원 컨텐츠를 합성하는 제2 합성수단과 (g) 상기 제어수단, 제 1합성수단과 제2합성수단으로부터 오는 정보와 제반 주변기능 수단들을 제어하기 위한 상기 가상현실시스템의 주처리장치를 포함하는 것을 특징으로 한다. 상기 목적을 달성하기 위한 본 발명에 따른 3차원 가상인물에 가상현실공간상의 3D콘텐츠를 실시간으로 합성하는 방법은 (a) 상기 사용자 단말기로부터 사용자의 고객정보를 입력하여 승인후 사용자의 3차원 가상인물을 가상현실시스템에 전송하는 제 1단계 (b) 상기 사용자의 3차원 가상인물과 가상현실시스템의 3차원 신체 템플릿 모델을 합성하는 제 2 단계 (c) 상기 제 2단계의 합성된 모델에 대하여 사용자가 신체모델의 물리적 파라미터 값을 변경하여 실시간으로 3차원 인체 모델을 재 구성하는 제 3 단계 (d) 상기 제3단계에서 생성된 3차원 가상인물에 상기 가상현실시스템의 3차원 컨텐츠를 재 합성하는 제 4 단계 (e) 상기 제 4단계에서 생성된 3차원 컨텐츠가 합성된 사용자의 3차원 가상인물 정보를 사용자에게 디스플레이 하는 제 5 단계를 포함하는 것을 특징으로 한다.

상술한 바와 같이 본 발명에 따른 3D 가상현실 공간에서 실제인물과 가상인물을 실시간 합성하는 시스템 및 그 방법은 공연자와 홀로그램 영상이 공존하면서 공연콘텐츠를 동시혼합공연 진행방식으로 공연 콘텐츠가 진행되는 동안 중간 중간 홀로그램 영상속의 인물이 실제로 등장하여 관람객과 상호 소통하고 관람객을 혼합공연에 참여시키는 인터랙티브 홀로그램 혼합공연을 제공할 수 있는 공연 구현이 가능한 효과가 있다. 그 밖에도 기존 홀로그램 극장과 같이 단순 재현을 통한 영상재생이 아니라 특히 가수의 무대에 관람객들이 직접 참여할 수도 있고 홀로그램 영상속의 가상캐릭터가 현실에 직접 등장하여 상호 인터랙션함으로써 혼합공연의 무대 전개에 자연히 몰입되어 관람객에게 특별한 재미와 새로운 체험을 할 수 있는 효과도 있다. 또한 사용자의 3차원 가상인물을 가상현실 시스템에서 제공하고자 하는 다양한 컨텐츠에 적용해 볼 수 있다. 따라서 실제 결혼정보회사를 비롯하여 각종 이벤트업계의 3D 콘텐츠에 자신의 3차원 가상인물을 실시간을 합성하여 타인에게 제공할 수 있어 직접 만나거나 장소를 가 보아야 느낄 수 있는 경험을 가상으로 체험 할 수 있어 공간 및 시간적 손실을 예방 할 수 있다. 또한 패션몰이나 헤어디자인, 소품, 악세사리를 판매하는 가상 쇼핑몰과 가상의 성형외과적 시술에 따른 변형을 시뮬레이션 할 수 있는 효과가 있다.

도 1은 본 발명에 따른 3차원 가상인물에 가상현실공간상의 3D콘텐츠를 실시간으로 합성가상현실시스템의 개략적인 블록도이고 도 2는 본 발명에 따른 3차원 가상인물에 가상현실공간상의 3차원 콘텐츠를 실시간으로 합성하는 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도 1를 참조하면, 도 1은 본 발명에 따른 3차원 가상인물에 가상현실공간상의 3D콘텐츠를 실시간으로 합성하는 시스템의 개략적인 블록도로서, 컴퓨터 네크워크에 연결된 다수의 사용자 단말기(10-1, ... , 10-N)와 상기 사용자 단말기(10-1, ... ,10-N)로부터 사용자의 요청에 의하여 사용자의 3차원 가상인물을 가상현실시스템의 3차원 신체 템플릿 모델과 합성하고 이 합성된 새로운 3차원 가상인물을 사용자의 요청에 의해 3차원 인체 모델의 물리적 파라미터 값을 변경하여 실시간으로 새로운 3차원 가상인물을 만들고 여기에 가상현실 시스템(30)에서 제공하고자 하는 3차원 컨텐츠를 합성하는 가상현실 시스템(30)으로 구성된다. 가상현실 시스템(30)은 사용자의 단말기(10-1,...,10-N)로부터 사용자의 소정의 정보를 받을 수 있는 수신부(400)와 합성되어진 소정의 정보를 사용자 단말기(10-1, ... , 10-N)에 송신하는 송신부(390)와 사용자의 ID 및 패스워드 등의 사용자 정보가 데이터 베이스화 되어 있는 사용자 DB(30)와, 사용자의 얼굴 및 인체에 대한 3차원 화된 사용자의 데이터가 데이터 베이스화 되어 있는 3차원 사용자 인체 모델 저장부(330)와, 이 사용자 인체 모델에 합성하고자 하는 3차원 신체 템플리트 모델 저장부(320)와 상기 사용자의 3차원 가상인물과 가상현실 시스템(30)의 3차원 신체 템플리트 모델을 합성하는 제1합성부(340)와 상기 합성 모델의 물리적 파라미터를 사용자의 요청에 의해 수정하는 제어부(360)와 상기 제어부(360)에 의해 변행된 합성모델에 적용하기 위한 3차원 컨텐츠 저장부(380)와 상기 제어부(360)에 의해 변형된 합성모델에 가상현실 시스템(30)에서 가지고 있는 3차원 컨텐츠를 합성하는 제2 합성부(370)와 상기 제어부(360), 제1합성부(340)와 제2합성부(370)로부터 오는 정보와 제반 주변기능 수단들을 제어하기 위한 상기 가상현실 시스템(30)의 프로세서(350)로 구성된다. 상기 3차원 사용자 인체모델 저장부(330)는 사용자가 스테레오 입체 카메라, 또는 Pc 카메라 혹은 디지털 카메라 등을 이용하여 자신의 얼굴 및 인체를 촬영하여 이를 3차원 에티터를 통해 3차원 거리 데이터를 3차원 격자 폴리곤 모델(格子 Polygon Model)로 데이터화하여 이를 컴퓨터 네트워크를 통해 상기 가상현실 시스템(30)의 수신부(400)를 통하여 전송된 사용자의 3차원 인체 모델을 구비한다. 공지의 격자 폴리곤 모델(格子 Polygon Model)은 정밀한 곡면 모델을 생성할 수 있으며 완전한 가역성(可逆性)을 구비한 라운딩(Rounding)조작을 제공한다. 즉, 격자 폴리곤 모델(格子 polygon model)의 각 정점에 대응하는 곡면 모델의 정점을 산출한다. 이 새로운 정점의 좌표값은 원래의 정점군(郡)의 좌표값을 선형 변환함으로써 산출된다. 격자 폴리곤 모델의 각 능선에 대응하는 곡면 모델의 곡선의 능선을 결정한다. 능선은 3차 베제(Bezier) 곡선에 의하여 표현된다. 또한 3차 베제 곡선으로 구성되는 모델을 그레고리(Gregory) 곡면에 의하여 보간(補間)한다. 따라서 격자 폴리곤 모델과 같은 위상 구조를 가진 곡면 모델을 생성한다. 또한 격자 폴리곤 모델에 임의의 정점과 능선의 라운딩 정보를 구비한 래티스(lattice) 모델로 부터도 같은 곡면 모델을 생성할 수 있는 기술이다. 상기 3차원 신체 템플리트 모델 저장부(320)는 가상현실 시스템(30)에서 사용자에게 제공하고자 하는 3차원 컨텐츠를 착용하거나 제공하고자 하는 서비스에 적합한 신체 전부 혹은 일부분에 대한 3차원 거리 데이터를 추출하여 격자 폴리곤 모델(格子 Polygon Model) 형태로 구비한다. 또한, 상기 3차원 컨텐츠 저장부(380)는 상기 가상현실 시스템(30)에서 사용자에게 제공하고자 하는 3차원화 된 컨텐츠를 3차원 거리 데이터를 추출하고 이를 격자 폴리곤 모델(格子 Polygon Model)형태로 구비한다. 이와 같이 구성된 3차원 가상인물에 가상현실공간상의 3D콘텐츠를 실시간으로 합성하는 시스템은 다음과 같이 구동된다. 우선, 사용자는 사용자의 3차원 인체 모델 정보를 스테레오 입체 카메라 또는 PC카메라 혹은 디지털 카메라 등을 이용하여 자신의 얼굴 및 인체를 촬영하여 이를 3차원 에티터를 통해 3차원 거리 데이터를 3차원 격자 폴리곤 모델(格子 Polygon Model)로 데이터화하여 이를 3차원 사용자 인체모델 저장부(330)에 저장하여 구비한다. 도2는 본 발명에 따른 3차원 가상인물에 가상현실공간상의 3D콘텐츠를 실시간으로 합성하는 흐름도로서, 상기 제 1 도에 예시된 본 발명의 시스템의 실행예이다. 사용자는 이 3차원 가상인물을 컴퓨터 네트워크(20)를 통해 상기 가상현실 시스템(30)의 수신부(400)를 통하여 전송하여 가상현실 시스템(30)의 3차원 사용자 인체 모델 저장부(330)에 저장한다(S100 단계). 사용자로부터 사용자의 3차원 가상인물과 가상현실 시스템(30)의 소정의 3차원 템플리트 모델에 대한 병합이 요구되면, 제 1합성부(340)는 3차원 가상인물 저장부에서 사용자의 3차원 격자 폴리곤 모델을 가져온다. 그리고 3차원 신체 템플리트 모델 저장부(320)에서도 소정의 신체 템플리트 모델의 3차원 격자 폴리곤 모델(格子 Polygon Model)의 정보를 구한다. 즉, 3차원 신체 템플리트 모델은 사전에 저장된 여러 가지 형태의 신체 기본 모델들로서, 템플리트 모델에 대한 거리데이타가 템플리트 모델별로 3차원 신체 템플리트 저장부에 저장되어 있다. 제 1합성부(340)는 합성하기로 선택된 상기 두 모델의 3차원 격자 폴리곤 모델(格子 Polygon Model)들 간의 회전변환(Rotate Transform, R)과 이동변환(Transfer Transform, T)을 구한다. 이는 얼굴모델과 템플리트 모델이 겹치는 부분이 자연스럽게 연결되도록 하기 위한것이다. 회전변환(R)과 이동변환(T)을 구하는 방법은 공지의 기술을 적용하기로 한다. 이렇게 해서 구해진 회전 변환 및 이동변환 값이 검출되면, 제 1 합성부(340)는 검출된 R 및 T값을 이용하여 3차원 인체 모델과 3차원 신체 템플리트 모델과 매핑(Mapping)한다. 즉 3차원 신체모델과 겹칠 3차원 신체 템플리트 모델의 데이터를 상술한 R 및 T에 의해 변형시켜서 합성한다(S200 단계). 이러한 매핑이 완료되면, 사용자는 상기에서 합성된 모델에 대하여 3차원 신체 모델의 물리적 파라미터 값을 변경요청을 하면(S300 단계). 제어부(360)는 상기 모델의 물리적 파리미터 값을 변경하여 해당 모델이 사용자의 인체 모델과 가장 유사하도록 실시간으로 3차원 인체 모델을 재 구성 한다(S400 단계). 이 단계가 완료되면 이 3차원 가상인물 데이터를 제 2합성부에 전송한다. 그러면 제2합성부(370)는 3차원 컨텐츠 저장부(380)로부터 3차원 격자 폴리곤 모델(格子 Polygon Model)의 정보를 송신 받아 합성한다. 3차원 컨텐츠 저장부(380)에 저장되어 있는 것은 예로 의류 컨텐츠를 들자면, 3차원 의류 모델들과 텍스처 (Texture) 및 의류의 표면특성 등의 정보가 구축되어 있다. 이러한 정보들은 상점에 의류가 전시되어 있는 것과 같이 나열된 정보를 사용자에게 제공하여 사용자가 마치 쇼핑을 하는 것처럼 각 정보를 검색하면서 원하는 옷을 선택할 수 있도록 구비되어진다. [0030] 이 합성된 3차원 모델은 제어부(360)를 통하여 물리적 파라미터 값을 변경 받아 그 속성정보를 달리 할 수 있도록 제어한다. 이렇게 완성된 3차원 모델 정보를 프로세서(350)는 수신부(400)를 통하여 사용자에게 3차원 격자 폴리곤 모델(格子 Polygon Model)을 전송하고(S500 단계). 이 격자 폴리곤 모델(格子 Polygon Model)을 다시 원상태의 곡면 모델로 변형하여 디스플레이 한다. 격자 폴리곤 모델(格子 Polygon Model)을 곡면 모델로 변형하는 방법은 공지의 기술을 적용한다(S600 단계). 이렇게 하여 사용자의 3차원 인체 모델을 가지고 가상현실 시스템(30)의 3차원 컨텐츠를 적용할 때, 기 구축된 신체 템플리트 모델과 합성을 통하여 3차원 컨텐츠에 적합한 환경을 미리 제공하고, 사용자의 3차원 가상인물을 경량화 하여 네트웍 상에 전송이 빠르게 오고 갈 수 있도록 하였으며, 실시간으로 자신의 신체에 맞게 해당 모델을 변형 할 수 있는 시스템 및 방법을 제공한다.

10-1, ...10-n : 사용자 단말기 20 : 컴퓨터 네트워크
310 : 사용자 DB 320 : 3차원 신체 템플릿 모델 저장부
330 : 3차원 사용자 인체 모델 저장부 340 : 제 1 합성부
350 : 프로세서 360 : 제어부
370 : 제 2 합성부 380 : 3차원 컨텐츠 저장

Claims (1)

1. 컴퓨터 네크워크에 연결된 하나 이상의 사용자 단말기와, 상기 사용자 단말기로부터 사용자의 소정의 요청에 의해 3차원 정보를 제공하는 3차원 콘텐츠를 구비하고 있는 가상현실시스템에 있어서, (a) 상기 가상현실시스템은 상기 사용자 단말기로부터 사용자의 요청에 의하여 사용자의 3차원 인체 모델을 저장하는 3차원 가상인물 저장수단과 (b) 상기 사용자의 3차원 가상인물과 합성하기 위한 가상현실시스템의 3차원 신체 템플릿 모델을 저장하고 있는 3차원 신체 템플릿 저장수단과 (c) 상기 사용자의 3차원 가상인물과 가상현실시스템의 3차원 신체 템플리트 모델을 합성하는 제1합성수단과 (d) 상기 합성모델의 물리적 파라미터를 사용자가 제어하기 위한 제어수단과 (e) 상기 제어수단에 의해 변행된 합성모델에 적용하기 위한 상기 가상현실시스템의 3차원 컨텐츠 저장수단과 (f) 상기 제어 수단에 의해 변형된 합성모델에 가상현실시스템에서 가지고 있는 3차원 컨텐츠를 합성하는 제2 합성수단 및 (g) 상기 제어수단, 제 1합성수단과 제2합성수단으로부터 오는 정보와 제반 주변기능 수단들을 제어하기 위한 상기 가상현실시스템의 주처리장치를 포함하는 것을 특징으로 하는 3차원 가상인물에 가상현실공간상의 3차원 콘텐츠를 실시간으로 합성하는 시스템.