KR20120084638A

KR20120084638A - 중간 영상 합성 장치 및 방법

Info

Publication number: KR20120084638A
Application number: KR1020110048657A
Authority: KR
Inventors: 방건; 정원식; 엄기문; 허남호; 고민수; 유지상
Original assignee: 한국전자통신연구원
Priority date: 2011-01-20
Filing date: 2011-05-23
Publication date: 2012-07-30

Abstract

본 발명은 중간 영상 합성 장치로, 다양한 시점에서 촬영한 둘 이상의 참조 영상을 획득하는 영상 획득부와, 상기 영상 획득부에 의해 획득된 참조 영상을 3차원 워핑시키는 3차원 변환부와, 상기 3차원 변환부에 의해 합성된 중간 영상의 화질을 처리하는 중간 영상 보정부를 포함한다.

Description

중간 영상 합성 장치 및 방법{Apparatus and Method for reconstructing intermediate view}

본 발명은 3차원 영상 생성 장치 및 방법에 관한 것으로, 특히 다시점 표현을 위해 가상 시점에서의 중간 영상을 합성하는 장치 및 방법에 관한 것이다.

최근 들어 영상 기술이 2차원 영상에서 3차원 영상으로 구현하는 방식에 대한 연구 쪽으로 활발히 진행되고 있다. 이러한 3차원 영상은 2차원 영상에 비해 보다 사실적이고 현실감 있는 영상 정보를 표현할 수 있다. 인간 시각 특성을 활용하여 기존의 디스플레이 장치에 좌시점 영상과 우시점 영상을 각각 해당 위치에 주사한 후, 좌시점과 우시점을 사용자의 좌안과 우안에 분리하여 상이 맺히게 함으로써 3차원 입체감을 느끼게 하는 방법이 여러 가지 면에서 가능성을 인정받고 있다.

이와 같이 3차원 영상을 생성하는 방법을 이용한 초기 모델은 좌우 영상에 대한 각각 2시점으로 이미지를 표현함으로써 실감있는 표현에 한계가 많았으며, 이를 극복하기 위해 여러 위치에서도 3차원 영상을 감지함으로써 입체감을 더욱 높여 주기 위해 다시점 3차원 영상 디스플레이 장치들이 선보이고 있다.

다시점 표현을 위해서는 관찰자의 미세한 시각 위치 변화에 해당하는 영상들에 대한 정보를 모두 가지고 있다가, 해당 시각 위치에 대한 좌안과 우안에 대한 영상 정보들만을 관찰자의 망막에 투사되게 함으로써 여러 각도에서 3차원 입체감을 느끼게 하는 방법이다.

그러나, 이와 같은 다시점 3차원 영상 생성을 위해서는 미세한 시각 위치 변화에 해당하는 영상들을 촬영하기 위한 많은 수의 카메라와 같은 정보 입력장치가 필요하며, 이 정보전달을 위한 방대한 채널 용량이 요구된다. 이러한 문제점을 극복하기 위해 두 시점의 영상에서 두 시점 사이의 가상 시점에서의 중간 영상을 합성하는 중간 영상 합성(intermediate view reconstruction :IVR) 기법을 이용하여 다시점 3차원 영상 디스플레이를 수행할 수 있도록 하였다.

이와 같은 중간 영상은 필요한 전체 시점에 해당하는 모든 영상 정보를 카메라도 획득하거나 전송하지 않고서, 그 중 일부 시점에 해당하는 영상정보를 균일하게 샘플링하여 획득 전송한 후 나머지 전송되지 않은 영상에 대한 정보들은 전송된 두 시점의 영상을 활용하여 두 시점의 영상에 대한 중간 영상을 합성함으로서 생성할 수 있다. 이와 같은 방법은 작은 용량의 정보 및 전송 채널만으로 필요한 대용량의 정보를 생성할 수 있어 많이 활용되고 있다.

그런데, 중간 영상 합성에서 3D 와핑(warping) 후, 경계 잡음(boundary noise)이 발생하는데, 이것은 컬러 영상에 해당되는 깊이 영상이 부정확하기 때문에 발생하게 된다. 현재 MPEG에서 제공하는 중간영상 참조소프트웨어는 이러한 부정확성에 대해서 고려하고 있지 않다.

또한, 참조 영상을 이용하여 중간 영상을 합성할 때 참조 영상을 이용하여 처리할 수 없는 영역이 발생하는데 이를 공통홀(common-hole)이라고 한다. 이것도 MPEG에서는 인페인팅(in-painting) 기법을 이용하여 컬러 영상만을 고려하여 처리하고 있으나 완벽한 처리는 수행하고 있지 못하다.

본 발명은 중간 영상을 합성함에 있어, 그 영상 품질을 향상시키기 위해 중간 영상을 보정하는 중간 영상 합성 장치 및 방법을 제공한다.

본 발명은 중간 영상 합성에 따라 발생되는 경계 잡음을 처리하는 중간 영상 합성 장치 및 방법을 제공한다.

본 발명은 중간 영상 합성에 따라 발생되는 공통 홀을 처리하는 중간 영상 합성 장치 및 방법을 제공한다.

본 발명은 다양한 시점에서 촬영한 둘 이상의 참조 영상을 3차원 워핑시켜 생성된 중간 영상의 발생된 공통홀을 보상하는 중간 영상 합성 방법으로, 상기 공통홀의 주변 픽셀의 깊이값 변화가 소정 임계값 이하인 픽셀들의 값으로부터 공통홀의 값을 산출하는 단계와, 상기 산출된 공통홀의 값으로 해당 공통홀을 보상하는 단계를 포함한다.

본 발명은 중간 영상의 경계 잡음 제거(Boundary noise removal)에서 중간 영상과 참조 영상과의 픽셀 차이를 통하여 경계 잡음 영역을 판단하여, 참조 영상의 정보로 교체하는 픽셀이 최소가 되도록 할 수 있다.

또한, 전술한 바와 같이 경계 잡음을 제거한 영상에 깊이 데이터(Depth data)를 고려한 가중치 평균 방법을 사용하는 공통 홀(Common hole Filling) 기법을 적용하여 부조화를 줄인 중간 영상을 합성할 수 있다.

도 1은 본 발명의 바람직한 실시 예에 따른 중간 영상 합성 장치의 개략적인 블록 구성도이다.
도 2는 합성된 중간 영상의 일 예를 도시한 도면이다.
도 3은 일반적인 경계 잡음 제거(Boundary Noise Removal : BNR) 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 바람직한 실시 예에 따른 경계 잡음 처리부의 내부 구성도이다.
도 5는 중간 영상에 발생되는 공통홀(Common-hole)을 설명하기 위한 도면이다.
도 6은 본 발명의 바람직한 실시 예에 따른 공통홀 처리부의 내부 구성도이다.
도 7은 본 발명의 바람직한 실시 예에 따른 공통홀 처리 동작을 설명하기 위한 도면이다.
도 8은 본 발명의 바람직한 실시 예에 따라 중간 영상 합성시에 발생되는 경계 잡음 제거 과정을 설명하기 위한 순서도이다.
도 9는 본 발명의 바람직한 실시 예에 따라 중간 영상 합성시에 발생되는 공통홀 제거 과정을 설명하기 위한 순서도이다.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 바람직한 실시 예에 따른 중간 영상 합성 장치의 구성도이다.

도 1을 참조하면, 본 발명의 바람직한 실시 예에 따른 중간 영상 합성 장치는 영상 획득부(110), 3차원 변환부(120) 및 중간 영상 보정부(200)를 포함한다.

영상 획득부(110)는 다양한 시점에서 촬영한 둘 이상의 참조 영상을 획득한다. 참조 영상은 일반적인 카메라로 촬영된 2차원 영상으로, 3차원 변환 행렬을 이용하여 중간영상을 합성하기 위해 사용된다. 여기서, 시점은 둘 이상일 수 있으나, 이해를 돕기 위해 좌안 시점 및 우안 시점을 포함하는 것을 가정하여 설명하기로 한다.

그리고, 참조 영상은 각각의 시점에 대해 컬러 영상과 깊이 영상을 포함한다. 컬러 영상은 일반적인 카메라로 촬영된 2차원 영상을 의미하는 것으로, 각 픽셀이 YUV, RGB등으로 표현된다. 깊이 영상은 컬러 영상을 촬영한 카메라와 동일한 앵글하에서 촬영된 영상으로, 각 픽셀이 카메라로부터 물체 혹은 배경까지의 거리를 표현한다. 픽셀은 일반적으로 8bit로 표현되어 거리가 256 단계로 세분화될 수 있는데, 픽셀값이 '0'이면 가장 먼 거리를 의미하고, '256'은 가장 가까운 거리를 의미하게 된다. 따라서, 일반적으로 배경의 픽셀값이 물체의 픽셀값보다 작다.

3차원 변환부(120)는 영상 획득부(110)에 의해 획득된 참조 영상을 3차원 워핑(3D-Warping)시킨다. 예를 들어 좀 더 상세히 설명하면, 좌안 시점의 카메라에 의해 촬영된 참조 영상인 컬러 영상과 깊이 영상을 이용하여 변환 행렬을 통해 중간 영상을 합성한다. 그리고, 좌안 시점의 참조 영상으로부터 채워지지 못한 영역(occlusion)을 우안 시점의 참조 영상으로부터 채운다. 즉, 우안 시점의 카메라에 의해 촬영된 참조 영상인 컬러 영상과 깊이 영상을 이용하여 변환행렬(3D-Wraping)을 통해 중간 영상을 합성하고, 상기 좌안 시점에 의해 합성된 중간 영상에서 채워지지 못한 영역(occlusion)을 우안 시점에 의해 합성된 중간 영상을 참조하여 채우게 된다.

다시 도 1을 참조하면, 중간 영상 보정부(200)는 3차원 변환부(120)에 의해 합성된 중간 영상의 질을 향상시키기 위한 것으로, 경계 잡음 처리부(210) 및 공통홀 처리부(220) 중 적어도 하나 이상을 포함한다.

경계 잡음 처리부(210)는 중간 영상의 경계 잡음을 제거하기 위한 것으로, 경계 잡음의 일 예가 도 2에 도시되어 있다. 도 2는 합성된 중간 영상의 일 예를 도시한 도면이다.

도 2의 (a) 및 (b)를 참조하면, 중간 영상에 포함된 객체의 경계에 잡음이 발생되어 있음을 알 수 있다. 이러한 경계 잡음은 예컨대, 좌안 시점에 의해 합성된 중간 영상에서 채워지지 못한 영역(occlusion)을 우안 시점에 의해 합성된 중간 영상을 참조하여 채울 때, 우안 시점 영상의 깊이 영상이 정확하지 못할 경우에 객체의 경계 부분에서 발생될 수 있다. 즉, 객체 경계의 깊이값이 텍스처(texture)와 정확히 정합되지 않아 객체의 텍스처값이 배경에 남아 잡음처럼 보이게 된다.

일반적으로 이러한 경계 잡음을 제거하기 위해 정확한 깊이맵을 구현하거나, 경계 잡음이 발생된 위치를 찾아 참조 영상의 값으로 보상해주는 방법이 있다. 그런데, 정확한 깊이맵을 구현하는 것은 매우 어려울 뿐만 아니라 수동 편집 작업을 하더라도 상당한 시간이 소요된다는 단점이 있다. 그리고, 경계 잡음이 발생된 위치를 찾아 참조 영상의 값으로 보상해주는 것은 현재 VSRS(View Synthesis Reference Software)에서는 BNR(Boundary Noise Removal) 방법을 사용하고 있다. BNR 방법은 경계 잡음이 발생된 부분을 배경 방향으로 확장하여 참조 영상의 텍스처 데이터로 교체하는 방법이다.

도 3은 일반적인 BNR(Boundary Noise Removal)방법을 설명하기 위한 도면이다. 도 3을 참조하면, 일반적으로 경계 잡음(Boundary Noise)은 공통홀(common-hole)의 주변에서 발생되는데, 공통홀을 중심으로 좌/우 영상의 깊이값의 비교 조건에 따라 일정 픽셀만큼 확장시킨다.

공통홀(common-hole)을 확장시킬 때 중심에서 수평방향으로 깊이 영상에서 해당되는 깊이값 D1 및 D2가 조사된다. 이때 D1이 D2보다 작은 깊이값이므로, 배경에 해당하는 깊이값 D1을 갖는 부분의 컬러값을 확장된 공통홀(common-hole)에 채워주게 된다. 그런데, 이러한 BNR 기법은 경계 잡음 제거에 효과적이긴 하지만 중간 영상 합성에 따라 교체된 데이터들이 사용되지 못하는 단점이 있다.

따라서, 본원 발명의 바람직한 실시 예에서는 공통홀의 확장 영역을 줄이고 경계 잡음 영역만을 검출하여, 경계 잡음 영역만을 제거하여 많은 양의 데이터를 보존할 수 있도록 한다.

도 4는 본 발명의 바람직한 실시 예에 따른 경계 잡음 처리부의 내부 구성도이다. 도 4를 참조하면, 경계 잡음 처리부(210)는 상세하게는 경계 잡음 영역 검출부(211) 및 경계 잡음 제거부(212)를 포함하여 구성될 수 있다.

경계 잡음 영역 검출부(211)는 합성된 중간영상에서 공통홀을 중심으로 확장된 영역에서 좌안 시점의 참조 영상에 의해 생성된 중간 영상의 픽셀값과 우안 시점의 참조 영상에 의해 생성된 중간 영상의 픽셀값이 상이할 경우에는 경계 잡음 영역으로 검출한다. 그런데, 상기 픽셀값들은 이상적으로는 동일해야 하나, 좌/우측 카메라의 밝기값, 조명으로 인해 차이가 발생할 수 있으므로, 경계 잡음 검출부(211)는 픽셀값의 차이가 소정 임계치 이상일 경우에 경계 잡음 영역으로 검출한다.

경계 잡음 제거부(212)는 경계 잡음 영역 검출부(211)에 의해 검출된 경계 잡음 영역을 제거하는데, 예컨대 만일 좌측 영상을 참조하여 중간 영상 합성을 했을 경우, 우측 영상을 참조해서 만든 중간 영상의 픽셀값으로 대체하게 된다. 도 2의 (c)는 본원 발명에 따라 경계 잡음이 제거된 영상을 도시한 도면이다.

다시 도 1을 참조하면, 공통홀 처리부(220)는 중간 영상의 공통홀을 채우기 위한 것으로, 도 5는 중간 영상에 발생되는 공통홀(Common-hole)을 설명하기 위한 도면이다.

도 5를 참조하면, 중간 영상을 좌안 시점 및 우안 시점의 참조 영상으로 하여 합성한 경우, 좌/우 카메라로 촬영되지 못한 부분은 합성을 해낼 수 없게 된다. 결국에는 중간 영상에 채우지 못한 부분이 발생하게 되고, 이 부분을 공통홀(common-hole)이라 한다. 중간 영상의 공통홀에는 해당하는 정보가 없기 때문에, 공통홀 주변의 영상에서 이를 유추해내어 채워주어야 한다. 이와 같이 주변 영상으로 공통홀을 채워주는 방법 중 하나가 인페인팅(inpainting) 기법이다.

그런데, 인페인팅 기법은 공통홀이 커지면 그 성능이 저하될 수 있다. 즉, 인페인팅 기법에는 공통홀 또는 공통홀 주변에 해당하는 영상이 객체 또는 배경인지를 구별하는 알고리즘이 없기 때문에 공통 홀이 배경이라 하더라도 공통홀을 객체와 비슷한 색으로 채울 가능성도 있다.

따라서, 본원 발명에 실시 예에 따른 공통홀 처리부(220)는 공통홀 주변 영상이 객체인지 아닌지를 고려하기 위해 깊이 영상을 고려하여 공통홀(common-hole)을 처리한다.

도 6은 본 발명의 바람직한 실시 예에 따른 공통홀 처리부의 내부 구성도이다. 도 6을 참조하면, 공통홀 처리부(220)는 상세하게는 공통홀 픽셀 지정부(221), 공통홀 픽셀값 산출부(222) 및 공통홀 보상부(223)를 포함하여 구성된다.

공통홀 처리부(220)의 동작을 도 7을 참조하여 상세히 설명하기로 한다. 도 7은 본 발명의 바람직한 실시 예에 따른 공통홀 처리 동작을 설명하기 위한 도면이다. 도 7을 참조하면, 합성된 중간영상에서 발생된 공통홀(common-hole)이 도시되어 있는데, 공통홀의 최외곽 픽셀이 '1'로 표시되고, 두번째 안쪽 픽셀이 '2'로 표시되고, 내부 픽셀이 '3'으로 표시되어 있다.

공통홀 픽셀 지정부(221)는 도 7에 도시된 공통홀의 픽셀들의 처리 순서를 결정한다. 예컨대, 도 7에 도시된 바와 같이 공통홀 픽셀 지정부(221)은 공통홀(common hole)의 최외곽 픽셀들부터 처리 대상으로 지정할 수도 있다. 즉, '1'로 표시된 픽셀들을 최우선 처리 대상으로 지정하고, '2'로 표시된 픽셀들, '3'으로 표시된 픽셀들의 순으로 처리 대상 픽셀을 처리한다.

공통홀 픽셀값 산출부(222)는 공통홀 픽셀 지정부(221)에 의해 지정된 공통홀 픽셀의 픽셀값을 산출한다. 본 발명의 바람직한 실시 예에 따라, 도 7에 도시된 바와 같이 공통홀 픽셀값 산출부(222)는 픽셀(710)과 인접한 픽셀들의 깊이값을 고려하여 해당 픽셀의 값을 산출한다. 공통홀 픽셀값 산출부(222)에 의해 픽셀의 값이 산출되는 상세한 설명은 하기의 도 9에서의 중간 영상 합성 방법의 설명과 일치하므로, 여기서는 생략하기로 한다.

공통홀 보상부(223)는 공통홀 픽셀값 산출부(222)에 의해 산출된 픽셀값으로 해당 픽셀을 채운다. 그리고, 공통홀 지정부(221)로 제어 신호를 입력하여 다음으로 채워질 대상 픽셀이 지정되도록 한다.

다음으로 전술한 바와 같은 장치에서의 중간 영상 합성 방법에 대해 살펴보기로 한다.

도 8은 본 발명의 바람직한 실시 예에 따른 중간 영상 합성 방법에서 중간 영상 제거 과정을 설명하기 위한 도면이다.

도 8을 참조하면, 경계 잡음 영역 검출부(211)는 상기 합성된 중간 영상에 경계 잡음이 존재하는지를 판단한다. 즉, 경계 잡음 영역 검출부(211)는 810 단계에서 좌안 시점의 참조 영상으로부터 합성된 중간 영상과, 우안 시점의 참조 영상으로부터 합성된 중간 영상간의 픽셀값의 차이를 비교하여, 820 단계에서 픽셀값의 차이가 소정 임계값 이상인지를 판단한다. 상기 820 단계의 판단 결과 픽셀값의 차이가 소정 임계치 이상인 것으로 판단될 경우, 경계 잡음 제거부(212)는 830 단계에서 이를 경계 잡음 영역으로 판단하여 상기 추출된 영역만을 다른 참조 영상의 픽셀값으로 대체한다.

도 9는 본 발명의 바람직한 실시 예에 따라 중간 영상 합성 방법에 공통홀 처리 과정을 설명하기 위한 순서도이다.

도 9를 참조하면, 공통홀 픽셀 지정부(221)는 910 단계에서 공통홀에 포함된 픽셀들의 처리 순서를 결정한다. 그리고, 공통홀 픽셀값 산출부(222)는 920 단계에서 공통홀 픽셀에 의해 지정된 공통홀의 한 픽셀에 이웃한 픽셀들 중 최소의 깊이값을 갖는 픽셀의 깊이값을 초기 깊이값(Initial depth)으로, 그 위치를 초기 깊이 위치로 설정한다. 예컨대, 도 7을 참조하면, 공통홀 픽셀값 산출부(222)는 합성된 중간 영상을 탑레프트(top-left)부터 수평방향으로 스캔하면서 첫 번째로 지나는 공통홀의 픽셀인 '1'로 표시된 픽셀(710)에서 4 방향으로 깊이값이 조사한다. 그리고, 4방향 깊이값 중 최소값이 존재하는 위치(720)를 초기 깊이값 위치(initial depth)로 설정된다.

그리고, 공통홀 픽셀갑 산출부(222)는 930 단계에서 초기 깊이 위치로부터 공통홀 주변 픽셀의 깊이값을 탐색한다. 이때, 공통홀 픽셀값 산출부(222)는 도 7에 도시된 바와 같이 초기 깊이값 위치로부터 나선형 탐색(spiral search)을 수행할 수 있다.

공통홀 픽셀값 산출부(222)는 940 단계에서 초기 깊이값과의 차이가 소정 임계치 이하인지를 판단한다. 상기 940 단계의 판단 결과, 해당 픽셀이 common-hole이 아니고 초기 깊이값과의 차이가 소정 임계치 이하일 경우, 공통홀 픽셀값 산출부(222)는 950 단계에서 해당 픽셀의 가중치 픽셀값을 산출한다. 즉, 초기값과 해당 픽셀의 유클리디언 거리를 구하여 하기의 <수학식 1>과 같이 가중치 픽셀값이 산출될 수 있다.

상기 <수학식 1>에서 Kn은 가중치 픽셀값을 의미하고, Dist는 유클리언 거리를 의미하고, IDP는 초기 깊이 포인트(Initial Depth Point)로서 초기 깊이값의 위치(x0,y0)를 의미하고, SSP(Spiral Search Point)는 나선형 탐색(Spiral Search)에서 검색된 픽셀의 위치(xn,yn)를 의미하고, SSV(Spiral Search Value)는 나선형 탐색(Spiral Search Point)에 있는 픽셀값을 의미한다.

반면, 940 단계의 판단 결과, 초기 깊이값의 차이가 소정 임계치 이하가 아닐 경우, 공통홀 픽셀값 산출부(222)는 960 단계로 진행한다. 즉, 공통홀 픽셀값 산출부(222)는 깊이값 변화가 소정 임계값 이하인 영역의 텍스처(texture) 값들만 거리에 따른 가중치 깊이값을 산출한다.

그리고, 공통홀 픽셀값 산출부(222)는 960 단계에서 탐색 범위를 초과하는지를 판단한다. 즉, 공통홀 픽셀값 산출부(222)는 공통홀 픽셀값 주변 소정 범위 내의 픽셀만을 검색하게 된다.

960 단계의 판단 결과, 탐색 범위를 초과하지 않는 것으로 판단될 경우, 공통홀 픽셀값 산출부(222)는 930 단계 내지 950 단계를 탐색 범위 내에서 수행하게 된다. 공통홀 픽셀값 산출부(222)는 영역을 확장시켜 나아가면서, 나선형 탐색된 위치마다 상기 <수학식 1>의 계산을 계속한다.

960 단계의 판단 결과 탐색 범위를 초과할 경우, 공통홀 보상부(223)는 970 단계에서 상기 산출된 가중치 픽셀값들의 평균으로 공통홀 픽셀값을 산출한다. 즉, 소정 탐색 범위까지 나선형 탐색(Spiral Search)이 수행되었으면, 공통홀 보상부(223)는 하기의 <수학식 2>와 같이 상기 <수학식 1>에 의해 산출된 주변 픽셀의 계산값의 평균을 산출한다.

상기 <수학식 2>에서 CHV는 공통홀 값(Common-hole Value)이다.

그리고, 공통홀 보상부(223)는 980 단계에서 상기 산출된 공통홀값 CHV로 해당 공통홀 픽셀을 보상한다. 상기 산출된 CHV 값을 해당 공통홀에 채우게 된다.

그리고, 공통홀 픽셀 지정부(221)는 990 단계에서 보상할 공통홀이 존재하는지를 판단한다. 상기 990 단계의 판단 결과, 보상할 공통홀이 존재할 경우, 공통홀 픽셀 지정부(221)는 910 단계로 진행한다. 즉, 도 7에 도시된 바와 같은 공통홀의 모든 픽셀들의 값이 채워질 때까지 910 단계 내지 980 단계를 수행한다. 즉, 도 7에 '1'로 표시된 부분에 공통홀값을 채우고, 다음으로 동일한 방식으로 '2'로 표시된 영역, '3'으로 표시된 영역을 점차적으로 수행하면서 공통 홀(common-hole)을 채워나간다.

한편, 상기 990 단계의 판단 결과 모든 공통홀의 픽셀들이 채워진 것으로 판단되면, 공통홀 처리 동작을 종료한다.

Claims

다양한 시점에서 촬영한 둘 이상의 참조 영상을 획득하는 영상 획득부와, 다.
상기 영상 획득부에 의해 획득된 참조 영상을 3차원 워핑시켜 중간 영상을 합성하는 3차원 변환부와,
상기 3차원 변환부에 의해 합성된 중간 영상에 발생된 경계 잡음 또는 공통홀을 제거하는 중간 영상 보정부를 포함함을 특징으로 하는 중간 영상 합성 장치.
제 1항에 있어서, 상기 중간 영상 보정부는
중간 영상에 발생된 경계 잡음만을 검출하여, 검출된 경계 잡음을 제거하는 경계 잡음 처리부와,
중간 영상에 발생된 공통홀을 주변의 깊이값으로부터 공통홀 픽셀값을 산출하여 보상하는 공통홀 처리부를 포함함을 특징으로 하는 중간 영상 합성 장치.
제 2항에 있어서, 상기 경계 잡음 처리부는
합성된 중간영상에서 공통홀을 중심으로 확장된 영역에서 좌안 시점의 참조 영상에 의해 생성된 중간 영상의 픽셀값과 우안 시점의 참조 영상에 의해 생성된 중간 영상의 픽셀값의 차이가 소정 임계치 이상일 경우 경계 잡음 영역으로 검출하는 경계 잡음 검출부와,
상기 경계 잡음 영역 검출부에 의해 검출된 경계 잡음 영역을 제거하는 경계 잡음 제거부를 포함함을 특징으로 하는 중간 영상 합성 장치.
제 2항에 있어서, 상기 공통홀 처리부는
공통홀의 픽셀들의 처리 순서를 결정하는 공통홀 픽셀 지정부와,
상기 공통홀 픽셀 지정부에 의해 지정된 공통홀 픽셀의 픽셀값을 대상 픽셀과 인접한 픽셀들의 깊이값으로부터 산출하는 공통홀 픽셀값 산출부와,
공통홀 픽셀값 산출부에 의해 산출된 픽셀값으로 해당 픽셀을 채우는 공통홀 픽셀값 보상부를 포함함을 특징으로 하는 중간 영상 합성 장치.
제 4항에 있어서, 상기 공통홀 픽셀 지정부는
공통홀의 최외곽 픽셀들부터 처리 대상으로 지정함을 특징으로 하는 중간 영상 합성 장치.
제 4항에 있어서, 상기 공통홀 픽셀값 산출부는
공통홀 지정부로 제어 신호를 입력하여 다음으로 채워질 대상 픽셀이 지정되도록 요청함을 특징으로 하는 중간 영상 합성 장치.
다양한 시점에서 촬영한 둘 이상의 참조 영상을 3차원 워핑시켜 생성된 중간 영상의 경계 잡음을 제거하는 중간 영상 합성 방법에 있어서,
상기 좌안 시점의 참조 영상으로부터 합성된 중간 영상과, 우안 시점의 참조 영상으로부터 합성된 중간 영상간의 픽셀값의 차이를 비교하는 단계와,
상기 픽셀값의 차이가 소정 임계값 이상일 경우, 경계 잡음을 제거하는 단계를 포함함을 특징으로 하는 중간 영상 합성 방법.
다양한 시점에서 촬영한 둘 이상의 참조 영상을 3차원 워핑시켜 생성된 중간 영상의 발생된 공통홀을 보상하는 중간 영상 합성 방법에 있어서,
상기 공통홀의 주변 픽셀의 깊이값 변화가 소정 임계값 이하인 픽셀들의 값으로부터 공통홀의 값을 산출하는 단계와,
상기 산출된 공통홀의 값으로 해당 공통홀을 보상하는 단계를 포함함을 특징으로 하는 중간 영상 합성 방법.
제 8항에 있어서, 상기 공통홀의 값을 산출하는 단계는
공통홀의 한 픽셀에 이웃한 픽셀들 중 최소의 깊이값을 갖는 픽셀의 깊이값을 초기 깊이값으로, 그 위치를 초기 깊이 위치로 설정하는 단계와,
초기 깊이 위치로부터 주변 픽셀의 깊이값을 탐색하는 단계와,
초기 깊이값과의 차이가 소정 임계치 이하인 픽셀의 가중치 픽셀값들을 산출하는 단계와,
상기 산출된 가중치 픽셀값들의 평균으로 공통홀 픽셀값을 산출하는 단계를 포함함을 특징으로 하는 중간 영상 합성 방법.
제 9항에 있어서, 상기 탐색하는 단계는
초기 깊이값 위치로부터 나선형 탐색을 수행함을 특징으로 하는 중간 영상 합성 방법.
제 9항에 있어서, 상기 탐색하는 단계는
주변 픽셀 중 공통홀을 제외하고 탐색함을 특징으로 하는 중간 영상 합성 방법.
제 9항에 있어서, 상기 가중치 픽셀값은
하기의 <수학식 3>에 의해 산출됨을 특징으로 하는 중간 영상 합성 방법.
<수학식 3>
Kn = (1/Dist(IDP (x0, y0), SSP(xn,yn)) * SSV(xn, yn)
상기 <수학식 3>에서 Kn은 가중치 픽셀값을 의미하고, Dist는 유클리언 거리를 의미하고, IDP는 초기 깊이 포인트(Initial Depth Point)로서 초기 깊이값의 위치(x0,y0)를 의미하고, SSP(Spiral Search Point)는 나선형 탐색(Spiral Search)에서 검색된 픽셀의 위치(xn,yn)를 의미하고, SSV(Spiral Search Value)는 나선형 탐색(Spiral Search Point)에 있는 픽셀값을 의미함.
제 9항에 있어서, 상기 탐색하는 단계는
소정 범위 내의 픽셀만을 검색함을 특징으로 하는 중간 영상 합성 방법.
제 12항에 있어서, 상기 공통홀을 보상하는 단계는
하기의 <수학식 4>와 같이 상기 <수학식 3>에 의해 산출된 주변 픽셀의 계산값의 평균을 산출함을 특징으로 하는 중간 영상 합성 방법.
<수학식 4>
CHV = (K1+K2+K3+...+Kn)/n
상기 <수학식 4>에서 CHV는 공통홀 값(Common-hole Value)임.