KR20060090367A

KR20060090367A - 비디오 텍스투어링을 이용한 삼차원 가상 스튜디오 장치

Info

Publication number: KR20060090367A
Application number: KR1020050011164A
Authority: KR
Inventors: 김영대
Original assignee: 주식회사 다림비젼
Priority date: 2005-02-07
Filing date: 2005-02-07
Publication date: 2006-08-10
Also published as: KR100795552B1

Abstract

본 발명은 단일 그래픽 렌더링을 이용해 3차원 가상스튜디오가 가능하게 하는 가상오버레이 기술을 사용한 비디오 텍스투어링을 기법의이용한 삼차원 가상 스튜디오 장에 관한 것으로, 피사체를 촬영하기 위한 카메라, 상기 카메라로부터 출력되는 영상에서 화상의 크로마킹을 하여 특정한 성분의 칼라나 밝기 부분 들을 체계적으로 제거하여 실제 피사체 영상만을 출력하는 크로마키 장치 및 상기 크로마키 장치의 출력영상과 3차원 프로그램으로 생성한 3차원 데이터를 3차원 랜더링(rendering)하여 아날로그 영상으로 출력하는 3차원 가속 그래픽카드를 포함하여 구성한다.

따라서, 3D 그래픽 발생장치에서 카메라 비디오를 이용하여 오버레이 텍스튜어링을 시킴으로써 트랙킹 시스템을 사용하지 않아도 가상카메라를 이용하여 카메라 트랙킹 효과를 만들수 있음은 물론, 간단한 구성으로 가상스튜디오를 PC상에서 구현할수 있는 효과가 있다.

3D가상스튜디오, 그래픽카드, 가상카메라, 텍스투어링, 트랙리스

Description

비디오 텍스투어링을 이용한 삼차원 가상 스튜디오 장치{3D Virtual Studio Using VIDEO Texturing }

도 1은 종래의 삼차원 영상 발생 장치 도면,

도 2는 본발명에 의한 Virtual Overlay기술을 이용한 3D 가상 스튜디오장치의 주요 기능블럭도,

도 3은 본 발명의 3D 가상 스튜디오를 개략적으로 도시한 도면,

그리고,

도 4는 통합형 Overlay 방식을 이용한 3D 가상 스튜디오의 기능을 수행하는 기능블럭도이다.

*도면의 주요 부분에 대한 부호 설명*

420 : 피사체 430 : 카메라

440 : 크로마키 장치 480 : 가상 카메라

484 : 랜더링 장치

본발명은 3차원 가상 스튜디오 장치에 관한 것으로, 특히 하나의 렌더링 장 치 속에서 비디오 텍스투어링을 이용한 실시간 하이브리드 - 트랙킹 및 트랙리스 동시 지원 방식의 삼차원 가상 스튜디오 장치에 관한 것이다.

기존의 3D 영상 발생 기술과 카메라 비디오를 합성하는 기술을 이용하여 가상 스튜디오가 이루어져 왔다. 즉 그래픽으로 만든 3차원 영상을 카메라로 부터 입력된 연기자의 비디오와 자연스럽게 합성시켜 마치 배우가 실제 스튜디오에 있는 것과 같은 화면을 만들어 주고 카메라가 움직이는 것을 센서로 읽어들여 그래픽 발생장치에서 카메라의 위치에 상응하는 배경 및 전경을 그려 합성하도록 하고 있다.

도 1에 상기한 영상발생장치가 개략적으로 도시되어 있다. 도 1은 카메라의 위치 정보를 읽어 3D 그래픽중 카메라 앞에 존재하는 물체들을 렌더링하여 앞면의 비디오 렌더 출력을 만들고, 뒷부분의 렌더화면을 만들어 앞면, 카메라 비디오, 뒷면 의 장면을 외부 믹서를 통해 합성하는 과정을 보여 주고 있다.

도시된 바와 같이 종래의 3D Graphic 발생장치는 전방(40) 및 후방 비디오(50)와 카메라 비디오(60)가 외부 영상합성 믹서(70)를 이용하여 합성하므로서 마치 3차원 공간속에 배우가 존재하는 것처럼 보이도록 하고 있다.

즉, 그동안의 방식은 3차원 가상공간을 만들기 위해 실제 카메라의 비디오(60)를 기준으로 액터 앞면에 그림(40)과 뒷면의 그림(50)의 정보를 각각 전후면 3D 발생기(20,30)를 통해 만들어 이를 카메라의 위치센서(11)로부터 상기 카메라의 위치에 따라 그래픽을 만들어 합성하여 주는 방식을 사용하고 있다. 이러한 방식은 랜더링 장비를 포함한 그래픽 발생장치를 전후면으로 2중으로 가져가야 하는 부분과 카메라의 움직이는 위치를 정확히 알려 주는 외부 카메라 트랙킹 정보를 만들 어 주는 트래킹 장비가 필요하게 되어 가격을 상승하게 하고 있다. 또한 카메라 트랙킹 센서는 사용자의 셋업과 복잡한 운영 및 장비 셋업과정이 필요해 대중적인 3D Graphic 사용의 어려움이 생기게 된다.

본 발명은 상기한 문제점을 해결하기 위한 것으로서, 3D 가속 그래픽카드의 랜더(Render)속으로 카메라 비디오 정보를 함께 사용하여 3D 그래픽 처리하여 한대의 랜더링 장비를 사용하면서 외부 믹서를 사용하지 않는 동시에 트레킹 장비를 사용하지 않고서도 트레킹효과를 낼수 있는 삼차원 가상 스튜디오 장치를 제공하고자 하는 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 의한 삼차원 가상 스튜디오 장치는 피사체를 촬영하기 위한 카메라, 상기 카메라로부터 출력되는 영상에서 화상의 특정한 성분들을 체계적으로 제거하여 실제 피사체 영상만을 출력하는 크로마키 장치 및 상기 크로마키 장치의 출력영상과 3차원 프로그램으로 생성한 3차원 데이터를 3차원 랜더링(rendering)하여 아날로그 영상으로 출력하는 3차원 가속 그래픽카드를 포함하여 구성된다.

상기 3차원 가속 그래픽카드는 3차원 프로그램으로 3차원 데이터를 생성하는 3차원 영상 발생장치 및 상기 크로마키 장치의 출력 영상과 상기 3차원 영상발생장치의 3D 데이터를 동시에 3D 랜더링하여 최종 아날로그 영상(230)으로 출력하는 랜더(Render)를 포함하여 구성되도록 하고, 상기 크로마키 장치의 출력 영상은 상기 랜더의 비디오 텍스튜어(Texture)로 입력하도록 하는 것이 바람직하다.

상기 비디오 텍스튜어는 상기 크로마키 장치에서 출력되는 실제 피사체만을 카메라 스크린 크기의 3차원 공간속의 얇은 투명 유리 평면에 투사하는 것을 특징으로 한다.

또한, 기설정된 트랙정보에 따라 위치가 조정되는 적어도 하나 이상의 가상카메라, 상기 가상 카메라를 선택할 수 있는 스크린 콘트롤 및 상기 카메라 및/또는 상기 가상스튜디오를 조정하기 위한 데이터를 출력하는 조이스틱 을 더 포함하도록 구성하여 상기 3D 가상스튜디오는 상기 스크린콘트롤에 의하여 선택된 가상 스튜디오의 영상과 상기 피사체의 영상을 상기 조이스틱의 조정위치에 따라 선택된 가상카메라의 트랙정보를 사용하여 3D공간속에서 소정의 위치에서 보여지도록 영상을 3D 랜더링하여 출력하도록 하는 것이 더욱 바람직하다.

이하 첨부한 도면을 참고하여 본 발명의 일실시예에 대하여 상세히 설명하기로 한다.

도 2는 본발명의 Virtual Overlay기술을 이용한 3D 가상 스튜디오장치의 주요 기능블럭도를 도시한 도면으로, Virtual Overlay는 기존의 Mixer에서 배경그림과 전면 그림을 카메라에 Overlay시키던 방식이 아닌 3차원 렌더링 엔진 안에 비디오를 하나의 Object로 처리하여 가상의 Overlay를 실현시킴으로서 하나의 렌더링 엔진을 사용하여 두개의 렌더링을 사용한 효과와 위부 Overlay Mix를 사용한 것과 동일한 시스템을 만들수 있어 장비비의 절감은 물론 사용환경을 매우 단순화 시킬 수 있는 효과가 있는 것이다.

랜더(Render:200)는 3D 가속 그래픽카드(도면 미도시)내에 실시간으로 영상을 발생하는 기능으로 3차원 영상발생장치(210)는 3차원 물체를 설계하는 3D 프로그램인 3D Studio Max 나 MAYA 등과 같은 편집 프로그램으로 생성시킨 3D 데이터(211)를 이용하여 실제 카메라로부터 입력된 영상(221)과 미리 준비된 동화상(AVI,MPEG 등;212) Picture를 3D 물체의 표면에 비디오 택스튜어링을 실시간으로 시켜 출력하게 한다. 따라서, 통상 3D 영상을 만들기 위한 전후면 영상발생장치를 사용하지 않고서도 한번에 랜더링을 카메라의 영상과 함께 처리하여 출력할 수가 있는 것이다.

상기한 구성의 가상 오버레이 기술은 카메라(220)에서 출력되는 카메라영상(221)과 3D 가속 그래픽카드(200)내에서 3차원 영상발생장치(210)의 3D 데이터를 랜더(Render;240)속으로 동시에 입력하여 3D 그래픽처리함으로써 아날로그 영상(230)을 출력하도록 하는 것이다. 즉, 3D 가속 그래픽 카드(200)의 3D 그래픽 기능을 활용하여 카메라 영상(221)을 3D 발생장치 즉 랜더(200)의 비디오 텍스튜어(Texture)로 입력하고 3차원 영상발생장치(210)의 3D 데이터를 동시에 3D 랜더링하여 최종 아날로그 영상(230)으로 출력하는 것이다.

상기에서 비디오 텍스튜어(Texture)는 3D 그래픽의 물체의 표면에 색상과 질감을 입혀 물체를 표현하는 방식을 물체 표면에 마치 질감을 입히듯 비디오를 표면에 그려주는 기술이다. 도 3을 참고하여 상세하게 설명한다.

도 3에서 가상 장치 구획 선(442)을 중심으로 좌측의 모든 구성요소들은 가상 셋 그래픽 장치이다.

비디오 텍스튜어(Texture)는 실제 카메라(430)로부터 배경(410)이 있는 피사체(420)를 촬영하여 촬영된 화면을 크로마키 장치(440)에서 크로마키를 시켜 실제 피사체만을 카메라 스크린 크기의 3D 그래픽 가상 공간(460)의 임의 지점에 위치하도록 하는 것을 말한다.

크로마키는 카메라로부터의 나오는 신호를 전자적으로 읽고, 화상의 특정한 성분들을 체계적으로 제거하여 공백으로 만드는 장치로서 본 발명에서는 배경(410)이 있는 실제 카메라(430)로 피사체(420)를 촬영하여 피사체(420)를 제외한 배경을 삭제하여 공배으로 만드는 기술이다. 이 공백은 가상 카메라로부터 나오는 영상 신호로 채워져 두 개의 카메라로부터 전자적으로 결합된 화면을 구성하여 실제로는 존재하지 않는 가상의 영상 화면을 만들어내도록 동작되는 것이다. 이후 상기와 같은 3D공간을 임의 장소에 위치한 3D 그래픽상의 가상 카메라(480)를 통해 보여지는 가상 카메라(480)의 배경(450,470)과 함께 상기 카메라 피사체 비디오 정보를 직접 3D 데이터의 한 텍스튜어로 처리하여 최종 출력화면(490)을 디스플레이함으로써 피사체가 마치 가상의 스튜디오 공간속에서 있는 것처럼 처리하는 것이다.

즉 과거의 가상스튜디오는 카메라의 신호에 배우부분만을 선택하고 이것을 앞면에 투영된 그림과 뒷면에 투영될 그림을 합성하던 방식에서 비디오 택스튜어링 기법을 쓰게 되면 외부 비디오 믹서를 쓰지 않고 그래픽 처리를 통해 비디오 믹싱이 자동으로 이루어 지게 되고 가상카메라위치를 마음껏 조정하게 하면 마치 실제 카메라가 움직이는 효과를 줄수 있어 멋진 가상스튜디오의 비디오 화면을 만들수 있게 한다. 이때의 카메라(480) 조작은 스크린 제어부(Screen Control)나 Joystick 혹은 Predefined Track in 3D data 장치(484; 이하, 렌더링 장치라 한다)를 사용할 수 있다.

상세하게는 복수 개의 가상 카메라(도면 미도시)와 기설정된 가상 스튜디오영상(배경화면 등)에서 특정 하나를 선택할 수 있는 화면을 구성한 스크린 제어부와 스크린제어부에서 선택된 가상 카메라를 조정할 수 있도록 구성하며 그 조정데이터를 가상 카메라(480)로 입력되도록 구성할 수 있다.

상기 스크린콘트롤에 의하여 선택된 가상 스튜디오의 영상과 상기 피사체의 영상을 상기 조이스틱의 조정위치에 따라 선택된 가상카메라의 트랙정보를 사용하여 3D공간속에서 소정의 위치에서 보여지도록 조정된다.

또한, 3D Video Texturing은 일정 질감을 물체의 표면에 그리는 택스튜어링 대신에 비디오 화면을 표면에 그려주는 것으로 배우가 움직이면 움직이는 비디오가 표면에 표현된다는 것을 의미한다.

따라서, 이러한 3D 비디오 택스투어링기술을 이용하고 가상카메라를 통해 관측자의 위치를 3D공간속에서 임의의 위치에서 보여지는 영상을 출력시키게 되면 손쉽게 3D 그래픽장치를 이용해 가상 세계 속에 배우가 위치하게 하고 또 가상카메라를 마음껏 다른 위치에서 보여줄수 있어 다양한 방향에서의 화면을 실시간으로 변화시키며 보여줄수 있게 하여 비싼 카메라 움직임장치를 쓰지 않아도 카메라의 움직이는 효과를 만들수 있게 된다. 또한 이러한 가상카메라는 다수 개 위치시킬수 있어 마치 여러대의 카메라로 표현하는 것 같은 효과를 만들수 있으며 여러대의 실제 카메라를 이용해서 다양한 화면을 구성할수 있게 할수 있는 것이다.

본 발명의 또 다른 일실시예가 도 4에 도시되어 있다.

도 4는 통합형 Overlay 방식으로 추가의 믹서나 전후방 영상 발생장치를 쓰지 않고 소프트 웨어 적으로 그래픽 발생기의 내부 기능을 활용하여 3D 가상 스튜디오의 기능을 수행하는 기능블럭도이다.

랜더(Render:530)는 3D 가속 그래픽카드(도면 미도시)내에 실시간으로 영상을 발생하는 기능으로 3차원 영상발생장치로서 3차원 물체를 설계하는 3D 프로그램인 3D Studio Max 나 MAYA 등과 같은 편집 프로그램으로 생성시킨 3DS Max data(520)를 이용하여 실제 카메라(510)로부터 입력된 영상과 미리 준비된 애니메이션(AVI,MPEG 등;560) Picture를 3D 물체의 표면에 비디오 택스튜어링을 실시간으로 시켜 출력하거나 복수개의 실제 카메라(510)로부터 입력된 영상을 Chroma key(540) 처리하여 입력된 영상과 미리 준비된 애니메이션(AVI,MPEG 등;560) Picture를 3D 물체의 표면에 비디오 택스튜어링을 실시간으로 시켜 Final Image(570)로 출력한다.

따라서, 통상 3D 영상을 만들기 위한 전후면 영상발생장치를 사용하지 않고서도 한번에 랜더링을 카메라의 영상과 함께 처리하여 Final Image(570)로 출력할 수가 있는 것이다.

즉, 출력 화면(570)은 3D 데이터를 카메라 비디오와 함께 데이터 세트를 구성하여 이를 가상 카메라에서 본 화면으로 출력하게 하여 과거 전면 후면 그림을 만들지 않아도 한번에 렌더링을 비디오 화면과 함께 비디오 출력을 만들어 낼수 있게 되는 방식이다. 이때 가상 카메라를 실제 카메라의 위치 센서에 동기시키면 일 반적인 트래킹 가상스튜디오가 되게 되고 동기를 시키지 않으면 트랙킹이 없는 트랙리스 (Trackless)가 된다.

트랙킹모드는 카메라 비디오 화면이 전체 스크린이 되도록 하면 그림 1)의 일반 가상 스튜디오 처럼 전면,후면 과 비디오 화면을 외부 믹싱을 하듯 그래픽 가속기 안에서 한번에 모든 기능이 실현되게 된다.

따라서, 상기에서와 같이 3D 그래픽 발생장치에서 카메라 비디오를 3D 그래픽 상의 임의 면에 이용하여 오버레이 텍스튜어링을 시킴으로써 한대의 3차원 그래픽 발생기안에서 3D 공간상의 카메라로 부터 입력되는 피사체를 공간상에 위치 시킬수 있게 하여 (비디오 택스튜어링) 주게 함으로서 그동안 사용되어진 3D 그래픽으로 카메라 의 피사체의 앞면 의 3D를 렌더링 하여 만든 앞면 그림과 피사체 뒷면에 위치하는 3D 그림의 렌더링을 하여 외부 믹싱을 하지 않고 단지 하나의 그래픽 렌더링방식으로 카메라 피사체 비디오 정보를 직접 3D 데이터의 한 텍스투어로 처리하도록 하고 렌더 출력을 위한 3차원 공간상의 가상 카메라를 통한 출력을 비디오로 만들어 내게 하는 방식으로 트랙킹 시스템을 사용하지 않아도 가상카메라를 이용하여 카메라 트랙킹 효과를 만들수 있음은 물론, 간단한 구성으로 가상스튜디오를 PC상에서 구현할수 있는 효과가 있다. 또한 이 방식에서 비디오 텍스튜어링시 렌더링을 할때 카메라의 피사체 비디오 해상도와 출력 화면 해상도를 정확히 일치 시심켜 주게 되면 비디오 입력의 신호를 렌더링할때 카메라의 신호를 디지타이징한 비디오를 렌더링시 조정하거나 재 생성을 하지 스케일링을 하지 않음으로서 비디오 화질의 저하를 없게 되고 특히 3D 그래픽 공간상의 가상카메라의 위치 정보를 외부 카메라의 센서 정보로부터 획득하여와 연동 시키게 되면 트래킹 카메라를 이용하는 일반 트래킹 시스템의 가상스튜디오와 같은 효과를 낼수 있게 된다. 따라서 하나의 렌더링 한장치만을 이용하여 비에서 트래킹 가상스튜디오와 과 트랙리스 가상스튜디오를방식을 동시에 구현할수 있게 하며 사용할수 있게 되고 더 나아가 한 장비에 연결된 다수의 카메라를 일부 특정카메라는 트랙킹 센서와 , 나머지 카메라는 트랙킹을 프로그램으로 하는 가상 카메라방식의 트랙리스 방식을 동시에 사용할수 있는 하는 하이브리드 가상스튜디오가 가능하게 할수 있다. 되게 한다. 따라서 이러한 3D 비디오 텍스튜어링 방식의 가상 오버레이 기술을 활용한 가상 스투이오는 저렴한 제작비와 편리한 활용성을 제공하게 된다.

또한, 비디오 텍스튜어링을 이용한 그래픽 보드안에서의 비디오 입력된 피사체(액터)가 크로마키를 거쳐 3D Grpahic 발생기 안에서 합성이 되기 때문에 한대의 렌더링 장비로 전체 과정이 이루어 지고 트래킹센서의 신호가 없이 가상카메라의 위치를 외부 입력(렌더링 장치)이나 컴퓨터 프로그램에서 디자이너가 넣어 사용하기 때문에 세팅과 사용이 매우 단순하게 된다. 무엇보다도 2대의 렌더링장치가 아닌 한대로 이루어 짐으로써 장비가 저렴하게 되고 모든 과정이 한대의 프로그램으로 만들어 지기 때문에 전체를 Software로 제어가 되어 1인 운영이 가능하게 되며 트래킹센서가 필요한 경우 트래킹 모드 와 트랙리스 모드를 동시에 병행해 사용할수 있게 되어 모든 장점을 흡수 할수 있는 기능을 가지게 되는 것이다.

이상에서 본 발명은 기재된 구체예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백 한 것이며, 이러한 변형 및 수정이 첨부된 특허 청구범위에 속함은 당연한 것이다.

상기에서와 같이 본 발명에 따른 비디오 텍스투어링을 이용한 삼차원 가상 스튜디오 장치를 이용하면 3D 그래픽 발생장치에서 카메라 비디오를 이용하여 오버레이 텍스튜어링을 시킴으로써 트랙킹 시스템을 사용하지 않아도 가상카메라를 이용하여 카메라 트랙킹 효과를 만들수 있음은 물론, 간단한 구성으로 가상스튜디오를 PC상에서 구현할수 있는 효과가 있다.

Claims

피사체를 촬영하기 위한 카메라;

상기 카메라로부터 출력되는 영상에서 화상의 특정한 성분들을 체계적으로 제거하여 실제 피사체 영상만을 출력하는 크로마키 장치; 및

상기 크로마키 장치의 출력영상과 3차원 프로그램으로 생성한 3차원 데이터를 한대의 3차원 랜더링(rendering) 장치를 사용하여 아날로그 영상으로 출력하는 3차원 가속 그래픽카드;를 포함하여 구성되는 삼차원 가상 스튜디오 장치.
제 1항에 있어서,

상기 3차원 가속 그래픽카드는

3차원 프로그램으로 3차원 데이터를 생성하는 3차원 영상 발생장치; 및

상기 크로마키 장치의 출력 영상과 상기 3차원 영상발생장치의 3D 데이터를 그래픽 가속기 안에서 동시에 3D 랜더링하여 최종 아날로그 영상(230)으로 출력하는 랜더(Render);를 포함하여 구성되는 것을 특징으로 하는 삼차원 가상 스튜디오 장치.
제 2항에 있어서,

상기 크로마키 장치의 출력 영상은 상기 랜더의 비디오 텍스튜어(Texture)로 입력하는 것을 특징으로 하는 것을 특징으로 하는 삼차원 가상 스튜디오 장치.
제 3항에 있어서,

상기 비디오 텍스튜어는

상기 크로마키 장치에서 출력되는 실제 피사체만을 카메라 스크린 크기의 3차원 공간속의 가상의 얇은 투명 유리 평면에 투사하여 그 투명면에 비디오 텍스튜어링되게 하는 것을 특징으로 하는 삼차원 가상 스튜디오 장치.
제 1항에 있어서,

기설정된 트랙정보에 따라 위치가 조정되는 적어도 하나 이상의 가상카메라;

상기 가상 카메라를 선택할 수 있는 스크린 콘트롤 및 상기 카메라 및/또는 상기 가상스튜디오를 조정하기 위한 데이터를 출력하는 조이스틱; 을 더 포함하도록 구성하여 상기 3D 가상스튜디오는 상기 스크린콘트롤에 의하여 선택된 가상 스튜디오의 영상과 상기 피사체의 영상을 상기 조이스틱의 조정위치에 따라 선택된 가상카메라의 트랙정보를 사용하여 3D공간속에서 소정의 위치에서 보여지도록 영상을 3D 랜더링하여 출력하는 것을 특징으로 하는 3차원 가상 스트디오.