KR20120119774A - 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체 - Google Patents

곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체 Download PDF

Info

Publication number
KR20120119774A
KR20120119774A KR1020110037956A KR20110037956A KR20120119774A KR 20120119774 A KR20120119774 A KR 20120119774A KR 1020110037956 A KR1020110037956 A KR 1020110037956A KR 20110037956 A KR20110037956 A KR 20110037956A KR 20120119774 A KR20120119774 A KR 20120119774A
Authority
KR
South Korea
Prior art keywords
image
virtual camera
rendering
generating
original image
Prior art date
Application number
KR1020110037956A
Other languages
English (en)
Other versions
KR101208767B1 (ko
Inventor
노준용
김영휘
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110037956A priority Critical patent/KR101208767B1/ko
Publication of KR20120119774A publication Critical patent/KR20120119774A/ko
Application granted granted Critical
Publication of KR101208767B1 publication Critical patent/KR101208767B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Abstract

곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체를 공개한다. 본 발명은 두 개 이상의 가상 카메라 시점에서 관측되는 모든 영역을 하나의 가상 카메라 시점으로 관측할 수 있도록 하는 곡면 투사면을 생성하고, 곡면 투사면을 통해 이미지와 깊이 정보에 대해 한 번의 굴절 렌더링을 수행하여 폐색에 의한 정보 손실 없이 입체 영상 생성을 위한 시간을 크게 줄일 수 있으며, 입체 영상의 양안 시차를 용이하게 조절할 수 있다.

Description

곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체{Stereoscopic image generation method, device and system using circular projection and recording medium for the same}
본 발명은 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체에 관한 것으로, 특히 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체에 관한 것이다.
3차원(이하 3D) 디스플레이 기술의 발전에 따라 3D 입체 이미지에 대한 수요가 급격히 증가하고 있다. 이에 3D 입체 영상 생성 기법이 발전하고 있다. 그리고 대부분의 3D 입체 영상은 최종적으로 컴퓨터를 이용해서 생성되고 있다.
기존에 컴퓨터에서 3D 입체 영상을 생성하기 위해서는 하나의 장면(scene)에 대해 두 개 이상의 가상 카메라 시점으로 렌더링을 수행하여 두 개의 스테레오 이미지를 생성하는 것이 일반적이다. 여기서 가상 카메라 시점은 미리 획득된 3D 지오메트리를 편집하여 사용자가 필요로 하는 3D 입체 영상을 생성하기 위해, 3D 지오메트리에 대해 컴퓨터상에서 소프트웨어적으로 가변되는 관측 시점을 나타낸다. 그러나 하나의 이미지에 대해 2개의 가상 카메라 시점으로 렌더링을 수행하게 되면, 2개의 가상 카메라 시점 양측에서 관측되는 지점들은 두 번씩 렌더링이 수행된다. 그리고 이렇게 2개의 가상 카메라 시점 양측에서 관측되는 지점들은 통상적으로 이미지의 대부분 영역이 해당된다. 즉 렌더링을 수행하기 위한 시간 비용이 매우 높게 나타난다.
이에 하나의 가상 카메라 시점으로 렌더링을 수행한 후, 깊이 정보에 의해 두 개의 스테레오 이미지로 분할하는 방법도 일부에서는 사용되고 있다. 그러나 하나의 가상 카메라 시점만을 이용하기 때문에, 폐색(occlusion)으로 인해 하나의 가상 카메라 시점 이외의 카메라 시점에서 관측될 수 있는 영역에 대한 데이터를 확보할 수 없게 된다. 따라서 양질의 3D 입체 영상을 생성할 수 없다.
본 발명의 목적은 곡면 투사를 이용하여 하나의 가상 카메라 시점으로도 빠르게 양질의 3D 입체 영상을 생성하는 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 3D 입체 영상을 생성 방법은 3D 지오메트리 이미지가 원본 이미지로서 획득되는 단계, 상기 원본 이미지의 장면을 분석되고, 설정 가능한 최대 양안 시차에서 상기 분석된 장면의 객체의 형태에 대응하는 곡면 투사면이 생성되는 단계, 상기 곡면 투사면에 투영된 상기 원본 이미지의 상기 객체에 대해 렌더링 동작이 수행되는 단계, 상기 렌더링 동작에 의해 생성된 렌더링 이미지의 양안 시차가 조절되는 단계, 및 상기 양안 시차가 조절된 이미지로부터 1쌍의 스테레오스코픽 이미지가 추출되는 단계를 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 곡면 투사면이 생성되는 단계는 상기 원본 이미지로부터 설정 가능한 상기 최대 양안 시차에 따른 복수개의 가상 카메라 시점이 획득되는 단계, 상기 복수개의 가상 카메라 시점 각각으로부터 상기 원본 이미지의 장면에 대한 깊이 지도가 획득되는 단계, 상기 원본 이미지에 대해 상기 복수개의 가상 카메라 시점 중 하나의 가상 카메라 시점에서만 관측되는 픽셀과 둘 이상의 복수개의 가상 카메라 시점에서 관측되는 픽셀들이 태깅되는 단계, 상기 태깅된 픽셀들이 일측에서 타측으로 순차적으로 정렬되는 단계, 상기 정렬된 픽셀들의 위치가 상기 원본 이미지의 중앙에 배치된 하나의 기준 가상 카메라 시점에서 렌더링 되는 위치와 정렬된 위치 사이의 차이에 의해 렌더링될 투사 벡터의 변화량으로 계산되는 단계, 상기 투사 벡터의 변화량이 상기 기준 가상 카메라 시점을 기준으로 보간되어 상기 곡면 투사면으로 획득되는 단계를 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 깊이 지도가 획득되는 단계는 Z-버퍼 알고리즘을 이용하여 획득되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 렌더링 동작이 수행되는 단계는 레이-캐스팅 기법을 이용하여 깊이 정보와 함께 렌더링되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 양안 시차가 조절되는 단계는 상기 렌더링 이미지의 각 픽셀에 대한 포인트 클라우드가 생성되는 단계, 및 상기 복수개의 포인트 클라우드에 대해 타원형 가중치 평균법 기법을 사용하여 볼륨 렌더링이 수행되는 단계를 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 양안 시차는 상기 최대 양안 시차보다 작거나 같은 양안 시차를 갖도록 조절되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 원본 이미지는 컴퓨터 그래픽을 이용하여 생성된 영상 또는 3D 입체 영상 촬영을 위한 전용 카메라로부터 생성된 영상 중 하나인 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 3D 입체 영상 생성 장치는 3D 지오메트리 이미지를 원본 이미지로서 획득하고, 상기 원본 이미지의 장면을 분석하는 이미지 분석부, 설정 가능한 최대 양안 시차로 상기 분석된 장면의 객체의 형태에 대응하는 곡면 투사면을 생성하는 곡면 투사면 생성부, 상기 곡면 투사면에 투영된 상기 원본 이미지의 상기 객체에 대해 렌더링을 수행하는 렌더링부, 상기 렌더링부에 의해 생성된 렌더링 이미지의 양안 시차를 조절하는 양안 시차 조절부, 및 상기 양안 시차 조절부에 의해 양안 시차가 조절된 이미지로부터 1쌍의 스테레오스코픽 이미지를 추출하여 출력하는 입체 이미지 출력부를 구비하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 이미지 분석부는 상기 원본 이미지를 인가받고, 상기 원본 이미지에 의해 설정 가능한 최대 양안 시차 판별한 후, 상기 최대 양안 시차를 갖는 복수개의 가상 카메라 시점을 획득하고, 획득된 상기 복수개의 가상 카메라 시점 중에서 적어도 하나의 가상 카메라 시점에서 관측되는 모든 픽셀을 계산하여, 상기 복수개의 가상 카메라 시점 각각으로부터 상기 원본 이미지의 장면에 대한 깊이 지도를 획득하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 곡면 투사면 생성부는 상기 이미지 분석부에서 계산된 상기 픽셀들에 대해 복수개의 가상 카메라 시점 각각에서 획득되는 깊이 지도로부터 적어도 하나의 가상 카메라 시점에서 관측되는 픽셀들을 태깅하고, 태깅된 픽셀들에 대한 3D 공간 상의 위치를 기준 가상 카메라 시점에서 보간을 통해 재계산하여 투사 벡터의 변화량 필드로서 상기 곡면 투사면을 획득하는 것을 특징으로 한다.
따라서, 본 발명의 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체는 두 개 이상의 가상 카메라 시점에서 관측되는 모든 영역을 하나의 가상 카메라 시점으로 관측할 수 있도록 하는 곡면 투사면을 생성하고, 곡면 투사면을 통해 이미지와 깊이 정보에 대해 한 번의 굴절 렌더링을 수행하여 폐색에 의한 정보 손실 없이 입체 영상 생성을 위한 시간을 크게 줄일 수 있으며, 입체 영상의 양안 시차를 용이하게 조절할 수 있다.
도1 은 본 발명에 따른 곡면 투사를 이용한 입체 영상 생성 방법의 개념을 나타내는 도면이다.
도2 는 본 발명에 따른 입체 영상 생성 방법에서 투사면의 다른 예를 나타낸다.
도3 은 본발명에 따른 곡면 투사를 이용한 입체 영상 생성 방법을 나타낸다.
도4 는 도2 의 곡면 투사면 생성 방법을 상세하게 나타낸 도면이다.
도5 는 본 발명의 일예에 따른 3D 입체 영상 생성 장치의 일예를 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “...부”, “...기”, “모듈”, “블록” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도1 은 본 발명에 따른 곡면 투사를 이용한 입체 영상 생성 방법의 개념을 종래 기술과 대비하여 나타내는 도면으로, 도1 에서 (a)는 3D 입체 영상을 생성하기 위한 기존에 가상 카메라 시점을 나타내고, (b)는 본 발명에 따른 가상 카메라 시점을 나타낸다.
도1 에 도시된 바와 같이, 기존의 3D 입체 영상을 생성 방법은 하나의 장면 내에서 두 개 이상의 가상 카메라 시점(cvl, cvr)에서 투사(projection, 投射)된 객체(obj)에 대한 이미지를 획득하여 두 개의 스테레오스코픽 이미지를 생성한다. 이때 각각의 가상 카메라 시점(cvl, cvr)으로 투사된 객체(obj)의 이미지는 두 개의 투사면(psl, psr)에 투영된 객체의 이미지로 표현된다.
도1 의 (a)에 도시된 바와 같이 기존의 투사면(psl, psr)은 평면 형태를 갖는다. 이는 3차원 입체 영상을 생성하는 소프트웨어에서 가상 카메라 시점에 대한 투사면이 현실의 카메라에 대응하는 형태로 설계되었기 때문이다. 그러므로 기존의 3D 입체 영상을 생성 방법은 스테레오스코픽 이미지를 생성할 때, 폐색으로 인해 소실되는 데이터를 줄이고, 양안 시차의 세기를 용이하게 조절하기 위하여 두 개 이상의 가상 카메라 시점(cvl, cvr)에서 각각 대응하는 투사면(psl, psr)의 이미지를 획득하였다. 그러나 상기한 바와 같이, 두 개 이상의 가상 카메라 시점(cvl, cvr)에서 각각 스테레오스코픽 이미지를 획득하고, 획득된 스테레오스코픽 이미지 각각에 대해 렌더링(rendering)을 수행하면, 두 개 이상의 가상 카메라 시점(cvl, cvr) 양쪽에서 모두 관측되는 지점은 두 번의 렌더링을 수행하게 되므로 매우 비효율 적이다. 특히 일반적으로 가상 카메라 시점(cvl, cvr)들 사이의 거리차가 크지 않는 경우에, 폐색으로 인해 가려지는 영역은 전체 이미지의 극히 일부분이므로, 중복으로 렌더링 되는 영역으로 인한 렌더링 시간 손실은 매우 크다고 할 수 있다.
이에 도1 의 (b)를 참조하면, 본 발명에 따른 3D 입체 영상 생성 방법은 가상 카메라 시점(cv)에 투사되는 투사면을 객체의 형상에 대응시켜 곡면으로 구현하도록 한다. 도1 의 (b)에서는 비록 장면 내에서 단순한 형태의 하나의 객체에 대한 이미지만을 고려하여 오목거울 형태로 투사면(cps)을 형성하였으나, 본 발명의 개념에 따른 투사면은 두 개 이상의 카메라에서 획득 될 수 있는 모든 지점이 투사면에 투사될 수 있도록 자유로운 형태의 곡면으로 구현될 수 있다. 현실의 카메라는 (a)와 같이 평면 투사면을 가질 수 밖에 없으나, 가상 카메라 시점은 현실의 카메라와 달리 소프트웨어로 구현되어 조작될 수 있으므로, 자유 곡면 형태의 투사면을 가질 수 있다.
도2 는 본 발명에 따른 입체 영상 생성 방법에서 투사면의 다른 예를 나타낸다.
도2 에서는 투사면이 장면 내의 객체의 형태에 따라 자유로운 곡면 형태를 가질수 있다는 것을 잘 나타내고 있으며, 곡면의 형태는 두 대 이상의 복수개의 가상 카메라 시점에서 캡쳐할 수 있는 객체의 모든 영역을 캡쳐 할 수 있는 형태로 생성한다. 그리고 두 대 이상의 복수개의 가상 카메라 시점에서 캡쳐할 수 있는 모든 영역은 가상 카메라 시점의 위치에 따라 변화할 수 있으므로, 본 발명에 따른 곡면 투사면 또한 생성하고자 하는 3D 입체 영상의 최대 양안 시차(두 대 이상의 복수개의 가상 카메라 시점의 최대 거리)를 고려하여 생성한다.
일반적으로 3D 입체 영상은 객체를 입체적으로 보이게 할 뿐, 실제로 객체를 360도 전 방위에서 보이도록 하는 것이 아니다. 따라서 기본적으로 원본 이미지(3D 지오메트리 이미지)가 제공할 수 있는 양안 시차에는 한계가 있으며, 최대 양안 시차는 원본 이미지가 제공할 수 있는 양안 시차의 한계 내에서 설정된다. 그러므로, 두 대 이상의 복수개의 가상 카메라 시점의 최대 거리는 원본 이미지로부터 최대 양안 시차를 획득할 수 있는 거리이다. 예를 들어 원본 이미지가 현실의 3D 입체 영상 카메라로부터 획득된 이미지이면, 최대 양안 거리는 3D 입체 영상 카메라를 구성하는 2대의 카메라(또는 렌즈) 사이의 거리이다. 즉 도1 의 (a)에서 좌측 가상 카메라 시점(cvl)과 우측 가상 카메라 시점(cvr) 사이의 최대 거리는 원본 이미지가 제공할 수 있는 좌측 영상과 우측 영상의 범위 내에서 설정된다. 그리고 본 발명에서 곡면 투사면은 최대 양안 시점으로 설정된 좌측 가상 카메라 시점(cvl)과 우측 가상 카메라 시점(cvr)에서 획득 될 수 있는 객체의 모든 위치에 대한 이미지가 곡면 투사면에 캡쳐 될 수 있도록 형성된다.
그러나 만일 원본 이미지가 360도 전 방위에서 객체를 캡쳐할 수 있도록 제공된다면, 본 발명에 따른 곡면 투사면 또한 객체에 대해 360도 전방위에서 객체의 형태에 따라 형성 될 수 있다.
도3 은 본 발명에 따른 곡면 투사를 이용한 입체 영상 생성 과정을 나타낸다.
본 발명에 따른 곡면 투사를 이용한 입체 영상 생성 방법은 먼저 원본 이미지로서 3D 지오메트리(3D geometry) 영상을 획득한다(S11). 3D 지오메트리영상은 컴퓨터 그래픽을 이용하여 생성할 수도 있으며, 3D 입체 영상 촬영을 위한 전용 카메라로부터 생성된 영상일 수도 있다.
원본 이미지인 3차원 지오메트리 영상이 획득되면, 원본 이미지에 대한 장면 분석을 수행하여 곡면 투사면을 생성한다(S12). 여기서 장면 분석은 원본 이미지에 포함된 객체에 대한 정보를 획득하는 과정으로, 장면 분석을 통해 최대 양안 시차를 갖는 가상 카메라 시점들 중에서 적어도 하나의 가상 카메라 시점에서 관측되는 모든 지점을 계산한다. 그리고 이후 계산된 모든 지점이 투사될 수 있도록 객체의 형태에 따른 곡면 투사면을 생성한다(S13).
장면 분석을 통해 곡면 투사면이 생성되면, 생성된 곡면 투사면에 투영된 원본 이미지의 객체에 대해 렌더링 동작을 수행한다(S13). 곡면 투사면에 투영된 이미지는 도1 의 (a)에 도시된 기존의 이미지와 달리 하나의 이미지이므로, 곡면 투사면에 투영된 이미지와 이미지 내에 포함된 객체의 깊이 정보를 이용하여 단 한번만 렌더링 동작을 수행하면 되므로, 렌더링을 위한 시간을 기존 입체 영상 생성 방법에 비해 크게 줄일 수 있다.
렌더링 이미지가 생성되면, 사용자는 생성된 렌더링 이미지와 객체의 깊이 정보로부터 양안 시차를 자유롭게 조절한다(S14). 이때 양안 시차는 생성된 렌더링 이미지가 갖는 최대 양안 시차의 범위 내에서 조절된다.
그리고 사용자가 설정한 양안 시차에 따라 생성된 렌더링 이미지와 객체의 깊이 정보를 조절하여 사용자가 필요로 하는 1쌍의 스테레오스코픽 이미지가 생성된다(S15). 여기서 양안 시차에 따라 생성되는 1쌍의 스테레오스코픽 이미지는 생성된 렌더링 이미지에 대해 볼륨 렌더링(volume rendering)을 수행하여 생성될 수 있다. 볼륨 렌더링은 3차원의 물체 내부를 가시화하기 위해 개발된 모형화 기법이며, 물체를 와이어 프레임(wire frame) 모형이나 표면 모형으로 표현하지 않고 미소한 정육면체나 미립자로 표현하는 기술로, 의학이나 기술 분야에 이용되는 기법이다. 볼륨 렌더링은 기본적으로 다른 렌더링 기법에 비해 간단한 기법은 아니지만, 본 발명에서는 이미 최대 양안 시차를 갖도록 생성된 렌더링 이미지를 보정하기 위하여 사용되므로, 원본 이미지 전체를 렌더링 하는 것에 비하면 상대적으로 짧은 시간에 간단하게 적용될 수 있다.
기존의 3D 입체 이미지 생성 방법은 복수개의 가상 카메라 시점 각각에서 획득된 이미지에 대해서 렌더링 동작을 수행해야하므로, 렌더링 동작을 수행하기 이전에 사용자가 필요로 하는 양안 시차를 먼저 결정한다. 그리고 결정된 양안 시차에 따라 가상 카메라 시점이 결정되고, 결정된 가상 카메라 시점 각각에서 획득된 복수개의 이미지에 대해 렌더링 동작을 수행하므로 렌더링 횟수가 가상 카메라 시점의 개수에 따라 증가하였다. 또한 렌더링 된 이미지에 대해 양안 시차가 조절하기가 어려우므로, 양안 시차가 변경되면, 다시 가상 카메라 시점을 조절한 후 렌더링 동작을 수행하였다. 즉 가상 카메라 시점의 개수뿐만 아니라 양안 시차의 변경에 따라 렌더링 횟수가 기하급수적으로 증가하므로, 양안 시차를 조절하기가 용이하지 않았다.
그러나 본 발명에 따른 곡면 투사를 이용한 입체 영상 생성 방법은 원본 이미지에 대해 장면 분석을 통해 곡면 투사면을 생성하고, 생성된 곡면 투사면에 대해서 한번만 렌더링 동작을 수행하며, 렌더링된 하나의 이미지에 대해 양안 시차를 조절하여 1쌍의 스테레오스코픽 이미지를 생성하므로, 3D 입체 영상을 생성하기 위한 렌더링 횟수를 크게 줄일 수 있을 뿐만 아니라 볼륨 렌더링을 이용하여 양안 시차의 조절이 매우 용이하다.
결과적으로 본 발명에 따른 곡면 투사를 이용한 입체 영상 생성 방법은 3D 입체 영상을 생성하기 위한 렌더링 시간을 크게 줄일 수 있으며, 렌더링 이후에도 양안 시차를 자유롭게 조절할 수 있다.
도4 는 도2 의 곡면 투사면 생성 방법을 상세하게 나타낸 도면이다.
도4 를 참조하면, 곡면 투사면 생성 방법은 먼저 원본 이미지를 분석하여 설정 가능한 최대 양안 시차에 따른 복수개의 가상 카메라 시점을 획득한다(S21). 여기서 최대 양안 시차에 따른 가상 카메라 시점은 곡면 투사면을 생성하기 이전의 가상 카메라 시점이므로, 두 대 이상의 복수개의 가상 카메라 시점이다. 그리고 상기한 바와 같이, 원본 이미지(3D 지오메트리 이미지)가 제공할 수 있는 양안 시차에는 한계가 있으며, 최대 양안 시차는 원본 이미지가 제공할 수 있는 양안 시차의 한계 내에서 설정된다. 그러므로 최대 양안 시차에 따른 복수개의 가상 카메라 시점은 원본 이미지로부터 획득 가능하다.
복수개의 가상 카메라 시점이 획득되면, 획득된 복수개의 가상 카메라 시점 각각에서 원본 이미지의 해당 장면에 대한 깊이 지도를 획득한다. 여기서 깊이 지도는 복수개의 가상 카메라 시점 각각에서 획득되는 이미지 내의 객체에 대한 깊이 정보를 나타내는 지도이며, 일예로 Z-버퍼 알고리즘(Z-Buffer Algorithm)을 이용하여 획득 될 수 있다. Z-버퍼 알고리즘은 공지된 기술이므로 여기서는 상세하게 설명하지 않는다. 그리고 본 발명에서 깊이 지도는 Z-버퍼 알고리즘 이외의 다른 알고리즘을 이용하여 획득 될 수도 있다.
각각의 가상 카메라 시점으로부터 깊이 정보가 회득되면, 획득된 깊이 정보를 분석하여, 원본 이미지에서 하나의 가상 카메라 시점에서만 관측되는 픽셀과 둘 이상의 복수개의 가상 카메라 시점에서 관측되는 픽셀들을 태깅(tagging)한다(S23). 이는 입체 영상에서 폐색이 발생할 수 있는 영역(픽셀)을 확인하기 위함이다. 예를 들어 가상 카메라 시점이 좌측 가상 카메라 시점(cvl)과 우측 가상 카메라 시점(cvr)으로 두 개의 가상 카메라 시점이 있는 것으로 가정할 때, 좌측 가상 카메라 시점에서 획득된 깊이 지도 중 임의의 한 점(깊이 지도 상의 (u, v) 좌표에 대응하는 픽셀)이 3D 입체 영상으로 변환되었을 때의 공간에서의 위치(x, y, z)를 계산하고, 해당 위치(x, y, z)에 대응하는 우측 가상 카메라 시점(cvr)에서 렌더링 되는 위치(u, v)를 계산하여 그 지점의 깊이 정보가 좌측 가상 카메라(cvl)에서의 깊이 정보보다 가까우면 폐색이 발생하는 것으로 판단할 수 있다.
이렇게 픽셀 태깅을 수행하여 폐색이 발생하는 픽셀들을 모두 확인하면, 원본 이미지 상에서 좌측 또는 우측 가상 카메라 시점(cvl, cvr)에 상관없이 렌더링 되어야 하는 픽셀들의 3차원 입체 영상에서의 위치들만이 획득된다.
그러면 픽셀들의 3차원 입체 영상에서의 위치를 열 단위로 왼쪽에서부터 오른쪽으로 순차적으로 나열한다(S24). 이미지는 복수개의 픽셀이 행렬 형태로 배치되어 구현되므로, 여기서 열은 행렬 형태로 배치된 복수개의 픽셀의 열을 나타낸다. 예를 들어 구체(sphere)를 렌더링 하는 경우에 좌측 가상 카메라 시점(cvl)에서만 보이는 영역을 먼저 나열하고, 이후 좌측 및 우측 가상 카메라 시점(cvl, cvr)에서 모두 보이는 영역을 나열한 후, 우측 가상 카메라 시점(cvr)에서만 보이는 영역을 나열한다. 이는 원본 이미지에서 복수개의 가상 카메라 시점에 의해 관측되는 모든 영역들이 순차적으로 나열되어 객체의 렌더링되어야 할 모든 표면 메쉬(surface mesh)가 생성되는 과정이다.
3D 픽셀들에 대한 나열이 완료되면, 3D 공간상에서의 깊이 위치(여기서는 (x, y, z) 좌표값 중 z)를 제외한 나머지 위치의 상대적인 거리(여기서는 (x, y, z) 좌표값 중 (x, y))의 차이가 최소화되도록 각 포인트들의 2차원 상의 공간 좌표(u, v)를 계산하여 3D 픽셀들을 정렬한다(S25). 이렇게 3D 픽셀들을 정렬함에 의해 복수개의 가상 카메라 시점에서 중복 관측되는 영역들이 한번만 표시되도록 메쉬가 정규화되는 과정이다.
그리고 정렬된 3D 픽셀들 각각의 3D에서의 위치(x, y, z)가 이미지의 중앙에 배치된 하나의 가상 카메라 시점에서 렌더링 되는 위치(u, v)와 정렬된 위치(u', v') 사이의 차이를 통해 렌더링될 때의 투사 벡터의 변화량이 계산된다(S26). 여기서 계산된 투사 벡터는 현실의 투사 벡터와 다른 성격을 갖게 된다. 일반적으로 투사 벡터는 빛과 유사하게 직진성을 가지게 되지만, 본 발명에 따른 계산된 투사 벡터는 도2 에 도시된 바와 같이 분석된 장면 상의 객체의 형태에 따라 곡선으로 표현될 수 있다. 그리고 이미지의 중앙에 배치된 하나의 가상 카메라 시점이 본 발명에서 곡면 투사에 따라 폐색 영역 없이 렌더링되어야 할 이미지를 획득하는 기준 가상 카메라 시점이다.
이후 보간을 통해 기준 가상 카메라 시점을 기준으로 하여 투사 벡터의 변화량의 필드를 생성한다. 그리고 생성된 투사 벡터의 변화량의 필드가 곧 본 발명에서의 곡면 투사면으로서 획득된다(S27). 여기서 투사 벡터가 곧 투사면의 노멀 벡터(normal vector)로서 획득된다. 즉 곡면 투사면은 원본 이미지에 대한 초기 메쉬와 정규화된 메쉬 사이의 변화량에 의해 렌더링 필름 표면(focal plane) 왜곡을 곡면으로 생성한 것이다.
다시 도3 을 참조하면, 곡면 투사면에 투영된 이미지를 렌더링하는 단계(S13)는 기준 가상 카메라 시점과 획득된 곡면 투사면을 통해 레이-캐스팅(ray-casting) 기법 등을 이용하여 깊이 정보와 함께 렌더링 동작을 수행한다.
그리고 렌더링된 이미지와 깊이 정보를 통해 각 픽셀에 대한 포인트 클라우드(point cloud)를 생성한 후, 포인트 클라우드에 대해 타원형 가중치 평균법(EWA splatting) 기법을 사용하여 볼륨 렌더링을 수행함에 의해 양안 시차를 조절하고(S14), 최종적으로 3D 입체 이미지를 획득한다(S15).
도5 는 본 발명의 일예에 따른 3D 입체 영상 생성 장치의 일예를 나타낸다.
도5 를 참조하면 본 발명에 따른 3D 입체 영상 생성 장치는 이미지 분석부(10), 곡면 투사면 생성부(20), 렌더링부(30), 양안 시차 조절부(40) 및 입체 영상 출력부(50)을 구비하나다.
이미지 분석부(10)는 원본 이미지(O_img)로서 3D 지오메트리 영상을 인가받아 분석한다. 상기한 바와 같이, 3D 지오메트리영상은 컴퓨터 그래픽을 이용하여 생성된 영상이거나, 3D 입체 영상 촬영을 위한 전용 카메라로부터 생성된 영상일 수도 있다. 그리고 이미지 분석부(10)는 인가된 3D 지오메트리 영상으로부터 장면 분석을 통해 3D 지오메트리 영상에 포함된 최대 양안 시차를 갖는 가상 카메라 시점들 중에서 적어도 하나의 가상 카메라 시점에서 관측되는 모든 픽셀을 계산한다. 그리고 계산된 모든 픽셀에 대해 상기 복수개의 가상 카메라 시점 각각으로부터 깊이 지도를 획득한다.
곡면 투사면 생성부(20) 계산된 모든 지점이 투사될 수 있도록 객체의 형태에 따른 곡면 투사면을 생성한다. 여기서 곡면 투사 생성부(20)는 최대 양안 시차를 갖는 복수개의 가상 카메라 시점 각각에서 획득되는 깊이 지도로부터 적어도 하나의 가상 카메라 시점에서 관측되는 픽셀들을 태깅하고, 태깅된 픽셀들에 대한 3D 공간 상의 위치를 기준 가상 카메라 시점에서 보간을 통해 재계산하여 투사 벡터의 변화량 필드로서 획득된다.
렌더링부(30)는 기준 가상 카메라 시점에서 획득된 곡면 투사면에 투영된 이미지를 레이-캐스팅 기법을 이용하여 깊이 정보와 함께 렌더링한다.
양안 시차 조절부(40)는 렌더링부(30)에서 렌더링된 이미지의 각 픽셀에 대한 포인트 클라우드(point cloud)를 생성한 후, 포인트 클라우드에 대해 타원형 가중치 평균법(EWA splatting) 기법을 사용하여 볼륨 렌더링을 수행함에 의해 양안 시차를 조절한다.
입체 이미지 출력부(50)는 양안 시차가 조절된 이미지를 한 쌍의 스테레오스코픽 이미지(SP_img)로 분리하여 출력한다.
도시하지 않았으나 3D 입체 영상 생성 장치는 사용자로부터 렌더링 기법이나 양안 시차의 크기 등을 입력 받기 위한 입력부 및 한 쌍의 스테레오스코픽 이미지(SP_img)를 디스플레이하기 위한 디스플레이부를 더 구비할 수 있다.
본 발명에 따른 3D 입체 이미지 생성 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (15)

  1. 3D 지오메트리 이미지가 원본 이미지로서 획득되는 단계;
    상기 원본 이미지의 장면을 분석되고, 설정 가능한 최대 양안 시차에서 상기 분석된 장면의 객체의 형태에 대응하는 곡면 투사면이 생성되는 단계;
    상기 곡면 투사면에 투영된 상기 원본 이미지의 상기 객체에 대해 렌더링 동작이 수행되는 단계;
    상기 렌더링 동작에 의해 생성된 렌더링 이미지의 양안 시차가 조절되는 단계; 및
    상기 양안 시차가 조절된 이미지로부터 1쌍의 스테레오스코픽 이미지가 추출되는 단계를 구비하는 것을 특징으로 하는 3D 입체 영상 생성 방법.
  2. 제1 항에 있어서, 상기 곡면 투사면이 생성되는 단계는
    상기 원본 이미지로부터 설정 가능한 상기 최대 양안 시차에 따른 복수개의 가상 카메라 시점이 획득되는 단계;
    상기 복수개의 가상 카메라 시점 각각으로부터 상기 원본 이미지의 장면에 대한 깊이 지도가 획득되는 단계;
    상기 원본 이미지에 대해 상기 복수개의 가상 카메라 시점 중 하나의 가상 카메라 시점에서만 관측되는 픽셀과 둘 이상의 복수개의 가상 카메라 시점에서 관측되는 픽셀들이 태깅되는 단계;
    상기 태깅된 픽셀들이 일측에서 타측으로 순차적으로 정렬되는 단계;
    상기 정렬된 픽셀들의 위치가 상기 원본 이미지의 중앙에 배치된 하나의 기준 가상 카메라 시점에서 렌더링 되는 위치와 정렬된 위치 사이의 차이에 의해 렌더링될 투사 벡터의 변화량으로 계산되는 단계;
    상기 투사 벡터의 변화량이 상기 기준 가상 카메라 시점을 기준으로 보간되어 상기 곡면 투사면으로 획득되는 단계를 구비하는 것을 특징으로 하는 3D 입체 영상 생성 방법.
  3. 제2 항에 있어서, 상기 깊이 지도가 획득되는 단계는
    Z-버퍼 알고리즘을 이용하여 획득되는 것을 특징으로 하는 3D 입체 영상 생성 방법.
  4. 제1 항에 있어서, 상기 렌더링 동작이 수행되는 단계는
    레이-캐스팅 기법을 이용하여 깊이 정보와 함께 렌더링되는 것을 특징으로 하는 3D 입체 영상 생성 방법.
  5. 제1 항에 있어서, 상기 양안 시차가 조절되는 단계는
    상기 렌더링 이미지의 각 픽셀에 대한 포인트 클라우드가 생성되는 단계; 및
    상기 복수개의 포인트 클라우드에 대해 타원형 가중치 평균법 기법을 사용하여 볼륨 렌더링이 수행되는 단계를 구비하는 것을 특징으로 하는 3D 입체 영상 생성 방법.
  6. 제5 항에 있어서, 상기 양안 시차는
    상기 최대 양안 시차보다 작거나 같은 양안 시차를 갖도록 조절되는 것을 특징으로 하는 3D 입체 영상 생성 방법.
  7. 제1 항에 있어서, 상기 원본 이미지는
    컴퓨터 그래픽을 이용하여 생성된 영상 또는 3D 입체 영상 촬영을 위한 전용 카메라로부터 생성된 영상 중 하나인 것을 특징으로 하는 3D 입체 영상 생성 방법.
  8. 제1 항 내지 제7 항 중 어느 한 항에 있어서, 상기 3D 입체 영상 생성 방법을 구동시키기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독 가능한 기록매체.
  9. 제1 항 내지 제7 항 중 어느 한 항에 있어서, 상기 3D 입체 영상 생성 방법을 수행하는 프로그램 명령어가 기록된 기록 매체를 구동하여 3D 입체 영상을 생성하는 3D 입체 영상 생성 시스템.
  10. 3D 지오메트리 이미지를 원본 이미지로서 획득하고, 상기 원본 이미지의 장면을 분석하는 이미지 분석부;
    설정 가능한 최대 양안 시차로 상기 분석된 장면의 객체의 형태에 대응하는 곡면 투사면을 생성하는 곡면 투사면 생성부;
    상기 곡면 투사면에 투영된 상기 원본 이미지의 상기 객체에 대해 렌더링을 수행하는 렌더링부;
    상기 렌더링부에 의해 생성된 렌더링 이미지의 양안 시차를 조절하는 양안 시차 조절부; 및
    상기 양안 시차 조절부에 의해 양안 시차가 조절된 이미지로부터 1쌍의 스테레오스코픽 이미지를 추출하여 출력하는 입체 이미지 출력부를 구비하는 것을 특징으로 하는 3D 입체 영상 생성 장치.
  11. 제10 항에 있어서, 상기 이미지 분석부는
    상기 원본 이미지를 인가받고, 상기 원본 이미지에 의해 설정 가능한 최대 양안 시차 판별한 후, 상기 최대 양안 시차를 갖는 복수개의 가상 카메라 시점을 획득하고, 획득된 상기 복수개의 가상 카메라 시점 중에서 적어도 하나의 가상 카메라 시점에서 관측되는 모든 픽셀을 계산하여, 상기 복수개의 가상 카메라 시점 각각으로부터 상기 원본 이미지의 장면에 대한 깊이 지도를 획득하는 것을 특징으로 하는 3D 입체 영상 생성 장치.
  12. 제11 항에 있어서, 상기 깊이 지도는
    상기 복수개의 가상 카메라 시점 각각에서 원본 이미지에 대해 Z-버퍼 알고리즘을 이용하여 획득되는 것을 특징으로 하는 3D 입체 영상 생성 장치.
  13. 제10 항에 있어서, 상기 곡면 투사면 생성부는
    상기 이미지 분석부에서 계산된 상기 픽셀들에 대해 복수개의 가상 카메라 시점 각각에서 획득되는 깊이 지도로부터 적어도 하나의 가상 카메라 시점에서 관측되는 픽셀들을 태깅하고, 태깅된 픽셀들에 대한 3D 공간 상의 위치를 기준 가상 카메라 시점에서 보간을 통해 재계산하여 투사 벡터의 변화량 필드로서 상기 곡면 투사면을 획득하는 것을 특징으로 하는 3D 입체 영상 생성 장치.
  14. 제10 항에 있어서, 상기 렌더링부는
    상기 객체에 대해 레이-캐스팅 기법을 이용하여 깊이 정보와 함께 렌더링하는 것을 특징으로 하는 3D 입체 영상 생성 장치.
  15. 제11 항에 있어서, 상기 양안 시차 조절부는
    상기 렌더링 이미지의 복수개의 픽셀 각각에 대한 포인트 클라우드를 생성하고, 상기 복수개의 포인트 클라우드에 대해 타원형 가중치 평균법 기법을 사용하여 볼륨 렌더링을 수행하는 것을 특징으로 하는 3D 입체 영상 생성 장치.
KR1020110037956A 2011-04-22 2011-04-22 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체 KR101208767B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110037956A KR101208767B1 (ko) 2011-04-22 2011-04-22 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110037956A KR101208767B1 (ko) 2011-04-22 2011-04-22 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체

Publications (2)

Publication Number Publication Date
KR20120119774A true KR20120119774A (ko) 2012-10-31
KR101208767B1 KR101208767B1 (ko) 2012-12-05

Family

ID=47286971

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110037956A KR101208767B1 (ko) 2011-04-22 2011-04-22 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체

Country Status (1)

Country Link
KR (1) KR101208767B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150074628A (ko) 2013-12-24 2015-07-02 (주)에프엑스기어 광 시야각 영상 처리 장치 및 방법
WO2018110822A1 (en) * 2016-12-16 2018-06-21 Cj Cgv Co., Ltd. Method of projecting image onto curved projection area and projection system therefor
CN114581561A (zh) * 2022-03-04 2022-06-03 中国科学技术大学 一种镜杯艺术设计方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101741149B1 (ko) 2015-11-27 2017-05-30 광운대학교 산학협력단 가상 카메라의 시점 제어 방법 및 장치

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150074628A (ko) 2013-12-24 2015-07-02 (주)에프엑스기어 광 시야각 영상 처리 장치 및 방법
US10250802B2 (en) 2013-12-24 2019-04-02 Fxgear Inc. Apparatus and method for processing wide viewing angle image
WO2018110822A1 (en) * 2016-12-16 2018-06-21 Cj Cgv Co., Ltd. Method of projecting image onto curved projection area and projection system therefor
CN114581561A (zh) * 2022-03-04 2022-06-03 中国科学技术大学 一种镜杯艺术设计方法及装置
CN114581561B (zh) * 2022-03-04 2024-03-29 中国科学技术大学 一种镜杯艺术设计方法及装置

Also Published As

Publication number Publication date
KR101208767B1 (ko) 2012-12-05

Similar Documents

Publication Publication Date Title
JP7443602B2 (ja) 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
AU2022200841B2 (en) Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
CA3054619C (en) Mixed reality system with virtual content warping and method of generating virtual content using same
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
JP7201869B1 (ja) 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成
KR20140056748A (ko) 영상 처리 방법 및 영상 처리 장치
WO2015196791A1 (zh) 双目三维图形渲染方法及相关系统
US20210125395A1 (en) Rendering method and processor
WO2012140397A2 (en) Three-dimensional display system
US11436698B2 (en) Method of playing back image on display device and display device
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
JP7394566B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
KR101567002B1 (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
KR101784208B1 (ko) 다수의 깊이 카메라를 이용한 3차원 디스플레이 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161026

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171027

Year of fee payment: 6