KR20160093769A

KR20160093769A - 공간 매칭 기법을 적용한 가상 콘텐츠 생성 방법 및 시스템

Info

Publication number: KR20160093769A
Application number: KR1020150014191A
Authority: KR
Inventors: 홍성희; 강훈종; 김영민; 홍지수; 강현민
Original assignee: 전자부품연구원
Priority date: 2015-01-29
Filing date: 2015-01-29
Publication date: 2016-08-09
Also published as: KR101952989B1

Abstract

공간 매칭 기법을 적용한 가상 콘텐츠 생성 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 가상 콘텐츠 생성 방법은, 실제 카메라로 촬영되는 실제 공간과 가상 카메라로 촬영할 가상 공간을 매칭시키고, 매칭 결과를 기초로 실제 카메라로 촬영된 실제 영상을 가상 공간에 배치하며, 가상 객체를 가상 공간에 배치한다. 이에 의해, 실제 공간과 가상 공간이 매칭되어, 실제 영상을 가상 공간으로 보다 자연스럽게 합성시킬 수 있게 된다.

Description

공간 매칭 기법을 적용한 가상 콘텐츠 생성 방법 및 시스템{Virtual Contents Creation Method and System with Space Matching Scheme}

본 발명은 콘텐츠 생성에 관한 것으로, 더욱 상세하게는 실제 영상과 가상 객체들을 합성하여 가상의 콘텐츠를 생성하는 방법 및 이를 적용한 시스템에 관한 것이다.

도 1은 실제 영상과 가상 객체를 하나의 가상 공간에 배치하는 공간 매칭 기법을 나타낸 도면이다.

촬영되는 실제 영상과 가상 객체를 하나의 가상 공간에 배치할 경우, 실제 영상에서의 좌표 개념과 가상 공간에서의 좌표 개념이 다르기 때문에, 두 공간을 일치시키기는 것이 불가능하여, 원하는 대로 실제 영상과 가상 객체를 배치할 수 없다는 문제에 봉착하게 된다.

즉, 아무런 보정 없이 실제 영상을 가상 공간에 그대로 옮기게 되면, 가상 공간과 실제 공간과의 공간상의 차이점으로 인해 실제 공간에서의 위치와 가상 공간에서의 위치가 일치하지 않는 것이다.

그 결과, 실제 영상과 가상 객체가 별개로 움직이게 되어, 원하는 CG 합성 결과물을 얻을 수 없게 된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 공간적 차이점 문제를 해소하기 위한 방안으로, 영상을 촬영한 실제 공간과 가상 공간의 매칭 기법을 적용한 가상 콘텐츠 생성 방법 및 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 가상 콘텐츠 생성 방법은, 실제 카메라로 촬영되는 실제 공간과 가상 카메라로 촬영할 가상 공간을 매칭시키는 단계; 상기 매칭 결과를 기초로, 상기 실제 카메라로 촬영된 실제 영상을 상기 가상 공간에 배치하는 제1 배치단계; 및 가상 객체를 상기 가상 공간에 배치하는 제2 배치단계;를 포함한다.

그리고, 상기 제1 배치단계는, 상기 실제 영상을 실제 객체와 실제 배경으로 분리하는 단계; 및 상기 매칭 결과를 기초로, 상기 실제 객체의 실제 좌표를 상기 가상 공간의 가상 좌표로 변환하여, 상기 실제 객체를 배치하는 단계;를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른, 가상 콘텐츠 생성 방법은, 상기 실제 배경을 상기 가상 공간의 배경 영역에 배치하는 단계;를 더 포함할 수 있다.

그리고, 본 발명의 일 실시예에 따른, 가상 콘텐츠 생성 방법은, 상기 매칭 단계 전에, 상기 실제 카메라와 상기 가상 카메라를 동일하게 세팅하는 단계;를 더 포함할 수 있다.

그리고, 본 발명의 일 실시예에 따른, 가상 콘텐츠 생성 방법은, 상기 가상 카메라를 상기 실제 카메라의 실제 위치에 대응하는 가상 위치에 배치하는 단계;를 더 포함할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 가상 콘텐츠 생성 시스템은, 실제 카메라로 촬영되는 실제 공간과 가상 카메라로 촬영할 가상 공간을 매칭시키고, 상기 가상 객체를 생성하는 제어부; 및 상기 매칭 결과를 기초로 상기 실제 카메라로 촬영된 실제 영상을 상기 가상 공간에 배치하며, 가상 객체를 상기 가상 공간에 배치하는 영상 처리부;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 실제 공간과 가상 공간이 매칭되어, 실제 영상을 가상 공간으로 보다 자연스럽게 합성시킬 수 있게 된다.

아울러, 가상 공간 구현 뿐만 아니라 실제 영상에 따른 가상 객체의 실시간 이동도 가능하여 동적인 가상 공간을 구현할 수 있게 된다.

도 1은 실제 영상과 가상 객체를 하나의 가상 공간에 배치하는 공간 매칭 기법을 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 가상 콘텐츠 생성 방법의 설명에 제공되는 흐름도,
도 3은 공간 매칭 기법의 설명에 제공되는 도면,
도 4는 가상 공간에 실제 객체, 실제 배경 및 가상 객체를 배치한 결과를 나타낸 도면, 그리고,
도 5는 본 발명의 다른 실시예에 따른 가상 콘텐츠 생성 시스템의 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 2는 본 발명의 일 실시예에 따른 가상 콘텐츠 생성 방법의 설명에 제공되는 흐름도이다. 본 발명의 실시예에 따른 가상 콘텐츠 생성 방법은, 공간 매칭 기법을 이용하여, 가상 공간에 대한 실제 객체의 배치가 정확하고 자연스럽게 이루어지도록 한다.

이에 의해, 본 발명의 실시예에 따른 가상 콘텐츠 생성 방법은, 실시간 CG 합성 제작을 위한 사전 준비 기술로 실제 카메라를 통해 입력되는 실제 영상을 가상 공간에 배치시 자연스러운 합성 효과가 나타나게 된다.

이를 위해, 먼저, 도 2에 도시된 바와 같이, 실제 카메라와 가상 카메라를 동일하게 세팅한다(S110). 구체적으로, S110단계에서는, 가상 공간에서 가상 영상을 획득하는 환경과 실제 공간에서 실제 영상을 획득하는 환경을 맞추기 위해, 실제 카메라와 가상 카메라 간의 FOV(Field Of View), 지면에서의 높이, 카메라의 수직/수평 등을 동일하게 세팅한다.

다음, 실제 카메라로 촬영되는 실제 공간과 가상 카메라로 촬영할 가상 공간을 매칭시킨다(S120).

도 3에 도시된 바와 같이, 가상 공간의 x 좌표와 y 좌표의 범위는 모두 [-1,1]로 상정한다. 또한, 가상 공간에서 plane 영역은 객체들이 배치되는 영역이고, background 영역은 실제 배경이 배치되는 영역이다. 실제 배경은, 실제 영상에서 실제 객체를 제외한 나머지 부분이다.

실제 공간의 크기는 알고 있거나 알 수 있고, 가상 공간의 크기 역시 알고 있으며, 실측할 당시의 FOV를 이용하여 z 좌표를 알고 있으므로, 가상 공간의 좌표와 실제 공간의 좌표는 비례식으로부터 유도할 수 있다. 이와 같은 방법으로, 실제 공간과 가상 공간의 좌표를 매칭시킬 수 있게 된다.

다시, 도 2를 참조하여 설명한다.

공간 매칭 이후에, 가상 카메라를 실제 카메라의 실제 위치에 대응하는 가상 위치에 배치한다(S130). 그리고, 실제 카메라로 촬영된 실제 영상을 가상 공간에 배치한다(S140).

S140단계를 위해, 먼저 실제 영상을 실제 객체와 실제 배경으로 분리하고, S120단계에서의 매칭 결과를 기초로 실제 객체의 실제 좌표를 가상 공간의 가상 좌표로 변환하여, 실제 객체를 가상 공간의 plane 영역에 배치한다. 한편, 객체의 크기는 가상 카메라의 FOV에 의해 조정된다. 그리고, 실제 배경을 가상 공간의 배경 영역에 배치한다.

다음, 가상 객체를 가상 공간에 배치한다(S150). 실제 영상 객체의 위치는 알고 있기 때문에, 가상 객체를 움직일 때 그에 상응하게끔 움직여 주면 실제 영상에 가상의 오브젝트가 자연스럽게 움직이게 할 수 있다.

도 4에는 S140단계와 S150단계를 통해 실제 객체, 실제 배경 및 가상 객체를 배치한 결과를 나타내었다.

이후, 가상 카메라로 촬영을 수행하여 영상을 생성하면, 가상 콘텐츠가 제작된다.

도 5는 본 발명의 다른 실시예에 따른 가상 콘텐츠 생성 시스템의 블럭도이다. 본 발명의 실시예에 따른 가상 콘텐츠 생성 시스템은, 도 5에 도시된 바와 같이, 스테레오 카메라(210), 영상 처리부(220), 제어부(230) 및 영상 출력부(240)를 포함한다.

스테레오 카메라(210)는 전술한 실제 카메라에 해당하는 것으로, 실제 장면을 촬영하여 실제 영상을 생성한다.

영상 처리부(220)는 스테레오 카메라(210)에서 촬영된 실제 영상으로부터 실제 객체와 실제 배경을 분리한다. 또한, 영상 처리부(220)는 가상 공간에 실제 객체와 실제 배경을 배치한다.

제어부(230)는 가상 공간을 생성하고, 생성된 가상 공간과 실제 공간을 매칭시킨다. 가상 공간과 실제 공간을 매칭하는 방법에 대해서는, 전술한 바 있으므로, 이에 대한 상세한 설명은 생략한다.

또한, 제어부(230)는 가상 공간에 배치할 가상 객체를 생성한다. 생성된 가상 객체는 영상 처리부(220)에 의해 가상 공간에 배치된다.

이에 의해, 영상 처리부(220)에서는 가상 공간에서 실제 배경과 실제 객체가 배치되고 가상 객체가 추가된 가상 콘텐츠가 생성되게 된다.

영상 출력부(240)는 영상 처리부(220)에 의해 생성된 가상 콘텐츠를 출력한다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

210 : 스테레오 카메라
220 : 영상 처리부
230 : 제어부
240 : 영상 출력부

Claims

실제 카메라로 촬영되는 실제 공간과 가상 카메라로 촬영할 가상 공간을 매칭시키는 단계;
상기 매칭 결과를 기초로, 상기 실제 카메라로 촬영된 실제 영상을 상기 가상 공간에 배치하는 제1 배치단계; 및
가상 객체를 상기 가상 공간에 배치하는 제2 배치단계;를 포함하는 것을 특징으로 하는 가상 콘텐츠 생성 방법.
청구항 1에 있어서,
상기 제1 배치단계는,
상기 실제 영상을 실제 객체와 실제 배경으로 분리하는 단계; 및
상기 매칭 결과를 기초로, 상기 실제 객체의 실제 좌표를 상기 가상 공간의 가상 좌표로 변환하여, 상기 실제 객체를 배치하는 단계;를 포함하는 것을 특징으로 하는 가상 콘텐츠 생성 방법.
청구항 3에 있어서,
상기 실제 배경을 상기 가상 공간의 배경 영역에 배치하는 단계;를 더 포함하는 것을 특징으로 하는 가상 콘텐츠 생성 방법.
청구항 1에 있어서,
상기 매칭 단계 전에, 상기 실제 카메라와 상기 가상 카메라를 동일하게 세팅하는 단계;를 더 포함하는 것을 특징으로 하는 가상 콘텐츠 생성 방법.
청구항 1에 있어서,
상기 가상 카메라를 상기 실제 카메라의 실제 위치에 대응하는 가상 위치에 배치하는 단계;를 더 포함하는 것을 특징으로 하는 가상 콘텐츠 생성 방법.
실제 카메라로 촬영되는 실제 공간과 가상 카메라로 촬영할 가상 공간을 매칭시키고, 상기 가상 객체를 생성하는 제어부; 및
상기 매칭 결과를 기초로 상기 실제 카메라로 촬영된 실제 영상을 상기 가상 공간에 배치하며, 가상 객체를 상기 가상 공간에 배치하는 영상 처리부;를 포함하는 것을 특징으로 하는 가상 콘텐츠 생성 시스템.