KR20080000149A - 다시점화상의 처리 방법 및 장치 - Google Patents

Abstract

본 발명은 좌안과 우안에 디스플레이되는 화상의 수평시차와 수직시차를 조절하고 시청하고자 하는 시점을 변경할 때에는 두 시점 사이에 중간화상을 생성함으로써 시청자의 눈의 피로를 감소시키고 입체 플리커(stereoscopic flicker) 현상을 감소시키는 다시점화상을 처리하기 위한 방법과 장치에 관한 것이다. 본 발명에 따른 다시점화상처리장치는, 상기 다시점 화상데이터로부터 연속되는 두 개 이상의 화상을 추출하는 시점화상선택부; 상기 시점화상선택부에서 추출된 두 개 이상의 화상으로부터 새로운 시점에 대한 하나 이상의 중간화상을 생성하기 위한 중간화상생성부; 및 상기 연속되는 두 개 이상의 화상과 하나 이상의 중간화상을 출력하기 위한 화상출력부를 구비한다. 본 발명에 따른 다시점화상의 처리장치 또는 방법을 이용하면 좌안과 우안에 디스플레이되는 화상의 수직 시차 및 수평 시차를 조절함으로써 보다 안정적인 화상을 제공할 수 있고 사용자의 시점이 변경될 때에는 중간화상을 생성함으로써 갑작스러운 시차의 변화로 인해 발생하는 눈의 피로감을 방지하고 현실감을 증대시킬 수 있다.

입체 방송, 중간화상, 다시점

Description

다시점화상의 처리 방법 및 장치 {Method and apparatus for processing multi-view images}

도 1 은 본 발명에 따른 다시점화상처리장치의 일 실시예에 대한 블록도이다.

도 2 는 본 발명에 따른 다시점화상처리장치의 일 실시예의 시점화상시차조절부에 대한 상세한 블록도이다.

도 3 은 본 발명에 따른 다시점화상처리장치의 일 실시예의 중간화상생성부에 대한 상세한 블록도이다.

도 4 는 본 발명에 따른 다시점화상처리장치의 일 실시예에서 L개의 중간화상이 삽입된 다시점화상의 순서를 나타내는 도면이다.

<도면의 주요부분에 대한 부호의 설명>

10: 다시점화상처리장치 12: 다시점화상입력부

14: 시점화상추출부 16: 시점화상시차조절부

18: 중간화상생성부 20: 화상출력부

22: 동벡터 추출부 24: 수직시차계산부

26: 수평시차계산부 28: 수정화상생성부

32: 중간화상개수 결정부 34: 변이지도생성부

36: 깊이지도 계산부 38: 중간화상 처리부

본 발명은 다시점화상을 처리하기 위한 방법과 장치에 관한 것으로, 구체적으로는 좌안과 우안에 디스플레이되는 화상의 수평시차와 수직시차를 조절하고 시청하고자 하는 시점을 변경할 때에는 두 시점 사이에 중간화상을 생성함으로써 시청자의 눈의 피로를 감소시키고 입체 플리커(stereoscopic flicker) 현상을 감소키는 다시점화상을 처리하기 위한 방법과 장치에 관한 것이다.

다시점(multi-view) 화상은 평행 또는 아크 모양으로 배열된 동기화된 많은 개수의 카메라(예를 들면 8개)로 동일한 물체를 촬영해서 얻은 시점 화상(view image)들이다. 이와 같은 다시점 화상은 입체 디스플레이 장치뿐만 아니라 입체 방송, 실감 방송, 3D DMB 방송, FTV(Free-view TV) 등에서 사용자가 원하는 시점에서 시청하거나 콘텐츠를 3D 입체화상으로 보고자 할 때도 적용될 수 있는 응용의 폭이 넓은 기술이다.

그러나, 지금까지 개발된 다시점 화상에서는 우안과 좌안에서 존재하는 수평시차와 수직시차로 인하여 정확한 입체화상이 제공되지 않음으로써 안정감 있는 입체화상이 구현되지 않을 뿐만 아니라 단시간 화상을 감상하여도 눈이 쉽게 피로하 다는 단점이 있었다.

뿐만 아니라, 입체화상을 구현하기 위해서 유한한 수의 카메라를 사용하기 에 화상에 대한 시점이 변화할 때 매끄럽지 않게 갑자기 화면이 달라져 입체감과 실제감이 떨어지는 문제점도 있었다.

본 발명은 좌안과 우안에 제시될 두 화상에 존재하는 수평시차와 수직시차를 조절하여 안정감 있는 입체화상을 제공하는 다시점화상의 처리 방법 및 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 다시점화상에서 시점을 변경할 때 중간화상을 보여줌으로써 시점이 바뀌는 과정에서 발생하는 눈의 피로감을 감소시키고 현실감을 증대시키는 다시점화상의 처리 방법 및 장치를 제공하는 것을 목적으로 한다.

이러한 목적을 달성하기 위해서, 본 발명에 따른 다시점화상처리장치는, 상기 다시점 화상데이터로부터 연속되는 두 개 이상의 화상을 추출하는 시점화상추출부(14); 상기 시점화상추출부에서 추출된 두 개 이상의 화상으로부터 새로운 시점에 대한 하나 이상의 중간화상을 생성하기 위한 중간화상생성부(18); 및 상기 연속되는 두 개 이상의 화상과 하나 이상의 중간화상을 출력하기 위한 화상출력부(20)를 구비한다.

바람직하게, 상기 다시점화상처리장치는 다시점화상데이터를 입력받기 위한 다시점화상입력부(12)를 더욱 구비한다. 다시점화상입력부(12)는 버퍼를 구비하여 여러개의 다시점화상을 저장하고 필요에 따라 시점화상추출부(14) 등에 화상 데이터를 전달한다.

또한, 상기 다시점화상처리장치는 상기 두 개 이상의 화상에 대하여 수평시차와 수직시차를 계산하고, 계산된 수평시차와 수직시차에 따라 이들 화상 중 일부를 수정하는 시점화상시차조절부(16)를 더욱 구비할 수 있다. 바람직하게, 상기 다시점화상처리장치는 좌안과 우안을 위한 두 개의 화상에 대하여 수평시차와 수직시차를 계산하며, 더욱 바람직하게는 좌안의 화상을 기준으로 우안의 화상을 수정한다.

바람직하게, 상기 시점화상시차조절부(16)는, 입력된 두 개 이상의 화상으로부터 동벡터를 추출하기 위한 동벡터생성부(22); 상기 수직시차를 상기 동벡터들의 평균 수직동벡터성분으로부터 구하는 수직시차계산부(24); 상기 수평시차를 상기 동벡터들의 평균 수평동벡터성분으로부터 구하는 수평시차계산부(26); 및 상기 수직시차와 상기 수평시차 만큼 한 화상을 이동하여 상기 수정된 화상을 얻는 수정화상생성부(28)를 구비한다.

바람직하게, 상기 중간화상생성부(18)는 두 화상의 시점 사이에 중간화상의 개수를 결정하는 중간화상개수결정부(32); 상기 두 화상간의 화소 또는 블록별 변이를 추출하는 변이지도생성부(34); 상기 변이지도부로부터 깊이값을 계산하는 깊이지도계산부(36); 및 상기 깊이값을 원근투영 기법에 적용하여 상기 중간화상의 시점에 맞는 중간화상을 생성하는 중간화상처리부(38)를 포함한다.

상기 동벡터의 추출은 블록기반운동예측방법에 의하여 이루어질 수도 있으 며, 광유(optical flow) 방식에 의해서 이루어질 수도 있다.

본 발명의 다른 측면에 있어서, 본 발명에 따른 다시점화상의 처리방법은, 상기 다시점 화상데이터로부터 연속되는 두 개 이상의 시점화상을 추출하는 단계; 상기 추출된 두 개 이상의 시점 화상으로부터 새로운 시점에 대한 하나 이상의 중간화상을 생성하는 단계; 및 상기 연속되는 두 개의 시점화상과 하나 이상의 중간화상을 출력하는 단계를 구비한다. 바람직하게, 상기 다시점화상의 처리방법은 상기 다시점화상을 입력받는 단계를 더욱 구비한다.

또한, 바람직하게, 상기 다시점화상의 처리방법은, 상기 두 개 이상의 화상에 대하여 수평시차와 수직시차를 계산하는 단계; 및 계산된 수평시차와 수직시차에 따라 이들 화상 중 일부를 수정하는 단계를 더욱 구비한다.

또한, 상기 수평시차와 수직시차를 계산하는 단계는, 입력된 두 개 이상의 화상으로부터 동벡터를 추출하는 단계; 상기 수평시차를 상기 동벡터들의 평균 수평동벡터성분으로부터 구하는 단계; 및 상기 수직시차를 상기 동벡터들의 평균 수직동벡터성분으로부터 구하는 단계를 구비할 수 있다.

바람직하게, 상기 화상 중 일부를 수정하는 단계는 상기 평균 수평동벡터성분과 상기 평균 수직동벡터성분 만큼 이동하여 화상을 수정하는 단계이다.

한편, 상기 중간화상을 생성하는 단계는, 두 화상의 시점 사이에 중간화상의 개수를 결정하는 단계; 상기 두 화상간의 화소 또는 블록별 변이를 추출하는 변이지도를 생성하는 단계; 상기 변이지도부로부터 깊이값을 계산하여 깊이지도를 얻는 단계; 및 상기 깊이값을 원근투영 기법에 적용하여 상기 중간화상의 시점에 맞는 중간화상을 생성하는 단계를 포함할 수 있다.

바람직하게, 상기 동벡터의 추출은 블록기반운동예측방법이나 광유(optical flow) 방식에 의해 이루어진다.

이하에서는 본 발명의 바람직한 실시예를 도면과 관련하여 설명하도록 한다. 이러한 실시예는 본 발명의 한 태양에 불과한 것이며 본 발명의 권리범위를 제한하는 것으로 이해해서는 안 될 것이다.

도 1 은 본 발명의 일 실시예에 따른 다시점화상처리장치에 대한 블록도이다. 다시점화상 입력부(12)는 N대의 다시점 카메라로부터 다시점 화상 F₁, F₂, ..., F_N에 대한 데이터가 입력된다. 다시점화상 입력부(12)는 버퍼를 가지고 있어서 필요한 수의 화상을 저장할 수 있다.

이어서 시점화상 추출부(14)는 상기 다시점화상 입력부(12)의 N 개의 화상 중에서 디스플레이하고자 하는 시점화상 F_K를 결정하여 (단, K ∈ {1, 2,..., N-1}) 이 시점화상 F_K와 이어지는 F_{K + 1}를 입력받아 화상 세트 {F_K, F_{K +1}}을 구성한다. 여기서, F_K는 좌안을 위한 화상이고 F_{K + 1}는 우안을 위한 화상이 된다.

이렇게 추출된 화상은 다시 시점화상시차조절부(16)로 입력된다. 시점화상시차조절부는 좌안과 우안에 표시될 화상의 수평시차와 수직시차를 산정하고 얻어진 시차값에 따라 우안의 화상을 이동시켜 수직시차와 수평시차를 제거하는 기능을 수행한다. 시점화상시차조절부(16)의 구성과 기능에 대해서는 후술하도록 한다.

이어서, 시점화상추출부(14)에서는 새로운 시점의 화상세트{F_l, F_l+1}을 추출한다. 새로운 시점의 화상세트{F_l, F_{l +1}}에 대해서도 시점화상시차조절부(16)를 통해 수평시차와 수직시차를 제거하거나 감소시킬 수 있다. 이렇게 두 화상 세트 {F_K, F_{K +1}}와 {F_l, F_l+1}가 구해지면, 중간화상생성부(18)에서는 두 화상 세트 사이에 삽입될 중간화상을 생성한다. 이와 같이 두 개의 화상 세트 사이에 중간화상을 삽입함으로써 사용자는 시점이 변할 때 매끄러운 입체화상의 변화를 경험할 수 있다. 중간화상 생성부(18)의 구체적인 구성과 기능은 후술하도록 한다.

도 2 는 본 실시예에 따른 시점화상시차조절부(16)의 블록도이다. 다시점 화상 입력부(12)로부터 다시점화상 F_K, F_{K +1}가 입력되면, 우선 동벡터 추출부(22)에서 두 화상 사이의 동벡터(motion vector)를 추출한다. 이를 위해서 블록기반운동예측방법(block-based motion estimation) 또는 광유(optical flow) 방식 등을 사용할 수 있다.

블록기반운동예측방법에서는 한 프레임의 어느 블록에 대하여 다음 프레임에서 이와 가장 유사한 블록을 찾고, 이 두 블록에 대하여 벡터를 추출하는 방법이다. 가장 유사한 블록을 찾기 위한 방법으로는 일정한 범위 내에 있는 블록을 모두 비교하고 이 중에서 가장 적합한 블록을 찾는 방법과 넓은 탐색 격자를 사용해서 가장 가까운 격자를 찾은 다음에 격자의 크기를 줄여가면서 최적의 블록을 찾는 방법 등이 있다.

한편, 광유 방식에서는 입력되는 화상에 대해서 가우스 필터(gaussian filter)를 가하고, 그 다음에 라플라스 필터(laplacian filter)를 가하여 에지 감지(edge detection)을 한다. 그 다음에 두 개의 에지 감지된 화상에 대해서 패치 매칭(patch matching)을 시행하여 양 화상에서 유사한 부분을 찾는 것이 광유 방식이다.

전술한 방법에 의해서 두 화상의 블록에 대해 얻어진 운동벡터가 V=(u,v)라고 하자. 여기서, u는 수평동벡터성분을, v는 수직동벡터성분을 나타낸다. 수평시차계산부(26)는 이렇게 얻어진 동벡터로부터 평균 수평동벡터성분을 아래의 수학식 1을 이용해서 구한다.

여기서, M은 동벡터필드에서 동벡터의 개수이다.

한편, 수직시차계산부(24)에서는 동벡터추출부(22)에서 얻어진 동벡터의 평균 수직동벡터성분을 아래의 수학식 2를 이용해서 구한다.

_

수정화상생성부(28)는 이렇게 얻어진 평균 수평동벡터성분과 평균 수직동벡터성분 만큼 우화상 F_{K + 1}를 이동하여 수정된 우화상 F'_{K + 1}를 얻는다.

이하에서는 본 실시예에 따른 중간화상생성부(18)의 상세한 구성과 기능을 도 3과 관련하여 살펴보도록 한다. 본 실시예의 중간화상생성부(18)는 중간화상 개수 생성부(32), 변이지도 생성부(34), 깊이지도 계산부(36)와 중간화상 처리부(38)로 구성되어 있다. 전술한 바와 같이 중간화상생성부(18)는 두 개의 화상 세트 {F_K, F_K+1}와 {F_l, F_{l +1}} 사이에 삽입될 하나 이상의 중간화상을 생성한다. 우선, 중간화상 개수 결정부(32)는 F_{K + 1}와 F_l 사이에 생성하고자 하는 중간화상의 개수 L을 결정한다.

이어서, 변이지도 생성부(23)는 화상 F_{K + 1}와 F_l의 화소 또는 블록별 변이(disparity)에 대한 지도를 생성한다. 이를 위해서 시점화상시차조절부(16)에서 사용한 바와 같은, 블록기반운동예측방법 또는 광유 방식을 사용할 수 있다. 이와 같은 변이에 대한 지도를 생성하기 위해서, {F_K, F_l}, {F_{K +1}, F_l}, {F_K, F_{l +1}}, {F_{K +1}, F_l+1}의 화상 세트 중의 하나에 대한 변이지도를 이용하거나 이들 4개의 화상 세트에 대한 변이지도를 통합한 변이지도를 이용할 수도 있다.

중간화상생성부(18)의 깊이지도계산부(36)은 상기 변이지도생성부(34)에서 얻어진 각 화소 또는 블록의 변이값으로부터 깊이지도(depth map)를 계산한다. 깊 이지도란 화상의 구성요소가 카메라로부터 얼마나 멀리 떨어져 있는지에 대한 깊이값(z)를 지도형태로 만든 것을 의미한다. 이와 같은 깊이지도를 생성하기 위한 방법의 예로는 Sebastien Roy 등이 1993년 International Journal of Computer Vision에 발표한 Stereoscopic analysis of multiple images 제목의 논문에 개시된 방법 등이 있다.

중간화상처리부(38)은 깊이값을 이용하여 중간화상개수결정부(32)에서 결정된 시점의 개수(L)만큼 중간화상 B₁, B₂,..., B_L을 생성한다. 이렇게 생성된 중간화상과 원래의 화상 사이의 관계는 도 4와 같다. 이와 같이 중간화상을 생성하기 위해 중간화상처리부(38)는 원근투영(perspective projection) 기법을 이용해서 중간화상을 생성한다. 이와 같은 원근투영 기법은 본 기술분야에서 널리 알려져 있으므로 구체적인 설명은 생략하도록 한다. 이렇게 생성된 화상은 다시점화상 처리장치의 화상출력부(20)으로 전달되어 모니터를 통해서 {F_K, F_{K +1}}, {F_{K +1}, B₁}, {B₁, B₂},..., {B_{L -1}, B_L}, {B_L, F₁}, {F_l, F_{l +1}}의 화상 세트가 순서대로 디스플레이된다.

이와 같은 다시점화상처리장치는 컴퓨터와 이에 로딩되어 작동하는 소프트웨어의 형태로 구성될 수도 있고, ASIC 칩이나 여러 개의 회로소자로 구성된 전자회로의 형태로 구성될 수도 있다.

본 발명은 위의 실시예로 한정되지 않으며 여러가지 변형이 본 발명의 기술적 범위 내에서 이루어질 수 있을 것이다. 예를 들어, 위의 실시예에서는 중간화상개수결정부에서 중간화상의 수를 정하였지만, 별도의 중간화상개수결정부 없이 다 시점화상 처리장치의 연산능력에 맞추어 정해진 만큼의 중간화상을 항상 생성하도록 구성할 수도 있을 것이다. 또한, 변위지도를 생성하기 위해서도 블록기반운동예측방법이나 광유 방식 외의 다른 변위 연산 방식을 물론 사용할 수 있다.

본 발명에 따른 다시점화상의 처리장치 또는 방법을 이용하면 좌안과 우안에 디스플레이되는 화상의 수직 시차 및 수평 시차를 조절함으로써 보다 안정적인 화상을 제공할 수 있어 사용자의 피로감을 감소시킬 수 있다.

또한, 본 발명의 다시점화상의 처리장치 또는 방법을 이용함으로써 시점이 변경될 때에는 중간화상을 생성함으로써 갑작스러운 시차의 변화로 인해 발생하는 눈의 피로감을 방지하고 현실감을 증대시킬 수 있다.

Claims (14)

1. 다시점 화상데이터로부터 상이한 시점에 대한 화상을 디스플레이하기 위한 다시점화상 처리장치에 있어서,

   상기 다시점 화상데이터로부터 연속되는 두 개 이상의 화상을 추출하는 시점화상추출부;

   상기 시점화상추출부에서 추출된 두 개 이상의 화상으로부터 새로운 시점에 대한 하나 이상의 중간화상을 생성하기 위한 중간화상생성부; 및

   상기 연속되는 두 개 이상의 화상과 하나 이상의 중간화상을 출력하기 위한 화상출력부를 구비하는 것을 특징으로 하는 다시점 화상데이터로부터 상이한 시점에 대한 화상을 디스플레이하기 위한 다시점화상 처리장치.
2. 제 1 항에 있어서, 상기 다시점화상데이터를 입력받기 위한 다시점화상입력부를 더욱 구비하는 것을 특징으로 하는 다시점화상 처리장치.
3. 제 1 항에 있어서, 상기 다시점화상처리장치는 상기 두 개 이상의 화상에 대하여 수평시차와 수직시차를 계산하고, 계산된 수평시차와 수직시차에 따라 이들 화상 중 일부를 수정하는 시점화상시차조절부를 더욱 구비하는 것을 특징으로 하는 다시점화상 처리장치.
4. 제 3 항에 있어서, 상기 시점화상시차조절부는

   입력된 두 개 이상의 화상으로부터 동벡터를 추출하기 위한 동벡터생성부;

   상기 수직시차를 상기 동벡터들의 평균 수직동벡터성분으로부터 구하는 수직시차계산부;

   상기 수평시차를 상기 동벡터들의 평균 수평동벡터성분으로부터 구하는 수평시차계산부; 및

   상기 수직시차와 상기 수평시차 만큼 하나의 화상을 이동하여 상기 수정된 화상을 얻는 수정화상생성부를 구비하는 것을 특징으로 하는 다시점화상 처리장치.
5. 제 3 항에 있어서, 상기 중간화상생성부는 두 화상의 시점 사이에 중간화상의 개수를 결정하는 중간화상개수결정부;

   상기 두 화상간의 화소 또는 블록별 변이를 추출하는 변이지도생성부;

   상기 변이지도부로부터 깊이값을 계산하는 깊이지도계산부; 및

   상기 깊이값을 원근투영 기법에 적용하여 상기 중간화상의 시점에 맞는 중간화상을 생성하는 중간화상생성부를 포함하는 것을 특징으로 하는 다시점화상 처리장치.
6. 제 4 항에 있어서, 상기 동벡터의 추출은 블록기반운동예측방법에 의하여 이루어지는 것을 특징으로 하는 다시점화상 처리장치.
7. 제 4 항에 있어서, 상기 동벡터의 추출은 광유(optical flow) 방식에 의해 이루어지는 것을 특징으로 하는 다시점화상 처리장치.
8. 다시점 화상데이터로부터 상이한 시점에 대한 화상을 디스플레이하기 위한 다시점화상의 처리방법에 있어서,

   상기 다시점 화상데이터로부터 연속되는 두 개 이상의 시점화상을 추출하는 단계;

   상기 추출된 두 개 이상의 시점 화상으로부터 새로운 시점에 대한 하나 이상의 중간화상을 생성하는 단계; 및

   상기 연속되는 두 개 이상의 시점화상과 하나 이상의 중간화상을 출력하는 단계를 구비하는 것을 특징으로 하는 다시점 화상데이터로부터 상이한 시점에 대한 화상을 디스플레이하기 위한 다시점화상의 처리방법.
9. 제 8 항에 있어서, 상기 다시점화상데이터를 입력받는 단계를 더욱 구비하는 것을 특징으로 하는 다시점화상의 처리방법.
10. 제 9 항에 있어서, 상기 다시점화상의 처리방법은

    상기 두 개 이상의 화상에 대하여 수평시차와 수직시차를 계산하는 단계; 및

    계산된 수평시차와 수직시차에 따라 이들 화상 중 일부를 수정하는 단계를 더욱 구비하는 것을 특징으로 하는 다시점화상의 처리방법.
11. 제 10 항에 있어서, 상기 수평시차와 수직시차를 계산하는 단계는

    입력된 두 개 이상의 화상으로부터 동벡터를 추출하는 단계;

    상기 수평시차를 상기 동벡터들의 평균 수평동벡터성분으로부터 구하는 단계; 및

    상기 수직시차를 상기 동벡터들의 평균 수직동벡터성분으로부터 구하는 단계를 구비하며,

    상기 화상 중 일부를 수정하는 단계는 상기 수평동벡터성분과 상기 수직동벡터성분만큼 화상을 이동시키는 단계인 것을 특징으로 하는 다시점화상의 처리방법.
12. 제 11 항에 있어서, 상기 중간화상을 생성하는 단계는,

    두 화상의 시점 사이에 중간화상의 개수를 결정하는 단계;

    상기 두 화상간의 화소 또는 블록별 변이를 추출하는 변이지도를 생성하는 단계;

    상기 변이지도부로부터 깊이값을 계산하여 깊이지도를 얻는 단계; 및

    상기 깊이값을 원근투영 기법에 적용하여 상기 중간화상의 시점에 맞는 중간화상을 생성하는 단계를 포함하는 것을 특징으로 하는 다시점화상의 처리방법.
13. 제 11 항에 있어서, 상기 동벡터의 추출은 블록기반운동예측방법에 의하여 이루어지는 것을 특징으로 하는 다시점화상의 처리방법.
14. 제 11 항에 있어서, 상기 동벡터의 추출은 광유(optical flow) 방식에 의해 이루어지는 것을 특징으로 하는 다시점화상의 처리방법.

Images