KR100655465B1 - 실시간 중간 시점 영상 보간 방법 - Google Patents

실시간 중간 시점 영상 보간 방법 Download PDF

Info

Publication number
KR100655465B1
KR100655465B1 KR1020040068713A KR20040068713A KR100655465B1 KR 100655465 B1 KR100655465 B1 KR 100655465B1 KR 1020040068713 A KR1020040068713 A KR 1020040068713A KR 20040068713 A KR20040068713 A KR 20040068713A KR 100655465 B1 KR100655465 B1 KR 100655465B1
Authority
KR
South Korea
Prior art keywords
image
parallax
interpolation
view image
real
Prior art date
Application number
KR1020040068713A
Other languages
English (en)
Other versions
KR20060019994A (ko
Inventor
김대현
김낙우
최종수
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020040068713A priority Critical patent/KR100655465B1/ko
Publication of KR20060019994A publication Critical patent/KR20060019994A/ko
Application granted granted Critical
Publication of KR100655465B1 publication Critical patent/KR100655465B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

본 발명은 정보통신 기술에 관한 것으로, 특히 영상 처리 기술에 관한 것이며, 더 자세히는 중간 시점 영상 보간 기술에 관한 것으로서, 실시간 처리가 가능한 중간 시점 영상 보간방법을 제공하는데 그 목적이 있다. 본 발명에서는 동일수평축 상에 배치된 두 카메라로부터 제공되는 스테레오 영상(좌우 영상)으로부터 실시간으로 중간 시점 영상을 보간하는 방법을 제안한다. 구체적으로, 본 발명에서는 영상이 여러 개의 계층으로 구성되는 특성을 이용하여 중간 시점 영상의 좌표는 좌우 영상으로부터 추정된 블록 기반의 양방향 시차 맵(bidirectional disparity map)을 이용하여 추정하며, 시차 추정 속도를 높이기 위해서 2단계 검색 방법(two-step search strategy)과 계층적 접근 방법을 이용한다. 또한, 본 발명에서는 잘못된 시차를 교정하기 위해 3가지 가려짐 패턴(three occluding patterns)을 이용할 수 있으며, 이후 각각의 중간 시점 장면에서 두 보간 영상을 합성하는 양방향 시차 몰핑 방식(bidirectional disparity morphing, BDM)을 이용하여 홀을 제거한다.
실시간, 중간 시점 영상 보간, 스테레오 영상, 시차 추정, 양방향 시차 몰핑

Description

실시간 중간 시점 영상 보간 방법{METHOD FOR REAL-TIME INTERMEDIATE SCENE INTERPOLATION}
도 1은 본 발명에 따른 실시간 중간 시점 영상 보간 방법을 설명하기 위한 도면.
도 2는 본 발명에 따른 실시간 중간 시점 영상 보간을 수행하는데 이용되는 2단계 검색 절차를 설명하기 위한 도면.
도 3은 좌우 영상에서 발생되는 가려짐 영역을 나타낸 도면.
도 4는 본 발명에 따른 실시간 중간 시점 영상 보간을 수행하는데 이용되는 3가지 가려짐 패턴을 나타낸 도면.
도 5는 스테레오 영상과 중간 시점 영상간의 기하학적 관계를 나타낸 도면.
도 6은 본 발명에 따른 실시간 중간 시점 영상 보간 시스템을 구현하는데 이용되는 계층적 접근 방법을 설명하기 위한 도면.
도 7은 본 발명의 실시예에 따른 마스터 노드와 슬레이브 노드 사이의 다중처리 절차를 설명하기 위한 도면.
도 8은 본 발명의 실시예에 따른 마스터 노드와 슬레이브 노드 사이의 동기화를 위한 의사 코드를 예시한 도면.
도 9는 본 발명에 따른 실시간 중간 시점 영상 보간 방법을 설명하기 위한 실험 영상을 예시한 도면.
도 10은 도 9의 실험 영상에 대하여 3가지 가려짐 패턴을 적용하여 시차를 교정하기 전 상태와 교정한 후의 상태를 도시한 도면.
도 11은 도 9의 실험 영상에 대하여 시차 교정을 수행하여 보간된 영상의 화질을 비교한 결과를 나타낸 그래프.
도 12는 도 9의 실험 영상에 대하여 's=0.5'에서 다양한 시차 맵 추정 방법을 이용하여 보간한 각 실험 영상들을 비교한 도면.
도 13은 도 9의 실험 영상에 대하여 중간 시점 보간을 수행하여 보간된 영상의 화질을 비교한 결과를 나타낸 그래프.
본 발명은 정보통신 기술에 관한 것으로, 특히 영상 처리 기술에 관한 것이며, 더 자세히는 중간 시점 영상 보간 기술에 관한 것이다.
최근 들어 디지털 텔레비전이나 HDTV에서 사용되는 2차원 영상에 대한 방송기술뿐만 아니라, 3차원 텔레비전과 같은 방송 매체에서 사용되는 3차원 영상에 대한 처리 기술 역시 그 중요성이 크게 증가하고 있다.
일반적인 3차원 표현 장비인 HMD(head mount display)나 스테레오 안경 (stereo glass)의 경우에는 단지 두 개의 시점만 표현할 수 있기 때문에 영상을 보기에는 적합하지 않다.
이에 반해, 렌티큘라(lenticular) 형태의 표현 장비는 다(多)-시점 영상을 동시에 표현할 수 있고, 서로 다른 시점 영상을 표현하기 때문에 별도의 장비없이 다-시점 3차원 영상을 볼 수 있다. 그런데, 종래에는 다-시점 영상을 취득하기 위해서 각각 시점이 다른 여러 대의 카메라를 사용해야 했다.
두 카메라 사이의 시점을 보간하는 방법으로는 3차원 모델 기반 방법(3D model based method)과 영상 기반 방법(2D image based method)이 있다. 먼저, 3차원 모델 기반 방법은 컴퓨터 비전(computer vision)을 기반으로 하여 3차원 모델 표면의 텍스쳐(texture)를 새로운 시점의 화면으로 재투영시키는 방법으로, 이 방법은 3차원 모델이 존재하는 모든 표면에 대해서 임의 시점 장면을 표현할 수 있는 반면, 영상으로부터 3차원 모델을 자동으로 생성해야 하는 어려움이 있었다.
또한, 영상 기반 방법은 전술한 3차원 모델 기반 방법과는 달리 3차원 데이터 없이 다중의 영상으로부터 새로운 장면을 생성하기 위해서 개발한 방법으로, 이 방법은 2차원 영상을 기반으로 하기 때문에 3차원 모델 기반 방법과 같이 모델 생성 과정에서 발생하는 오류로 인한 화질의 저하가 발생하지 않고, 입력된 영상의 화질을 그대로 보존할 수 있는 반면, 다중의 영상을 얻기 위하여 여러 대의 카메라를 사용함에 따라 구현 비용이 증가하는 문제점이 있었다.
한편, 중간 시점 보간 기술을 적용하면 상기와 같은 영상 기반 방법의 문제점을 해결할 수 있다. 즉, 사용되는 카메라의 수를 줄이는 대신 두 카메라의 영상 에 대한 중간 시점 보간을 수행함으로서 카메라의 수의 축소를 보상할 수 있다.
중간 시점 영상을 생성하기 위해서는 시차 맵을 계산(추정)하는 과정이 수반되는데, 크게 화소 기반 방식과 블록 기반 방식이 사용되어 왔다. 블록 기반 방식은 화소 기반 방식에 비해 중간 시점 영상을 생성하는데 소요되는 시간을 혁신적으로 줄일 수 있었으나, 그럼에도 불구하고 실시간 처리에는 이르지 못하는 한계가 있었다.
본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 제안된 것으로, 실시간 처리가 가능한 중간 시점 영상 보간방법을 제공하는데 그 목적이 있다.
상기의 기술적 과제를 달성하기 위한 본 발명의 일 측면에 따르면, 수평방향의 시차를 가지는 좌우 영상 각각의 대하여, 전체 검색 영역 내에서 대응하는 후보 블록을 다수의 화소씩 이동하면서 검색한 후, 그 후보 블록 주변에 대해서 한 화소씩 대응 블록을 검색하는 2단계 검색 방식을 적용한 시차 추정을 이용하여 영상 보간을 수행하는 단계와, 상기 좌우 영상에 대한 각각의 보간 영상을 합성하여 중간 시점 영상을 생성하는 단계를 포함하는 중간 시점 영상 보간 방법이 제공된다.
또한, 본 발명의 다른 측면에 따르면, 수평방향의 시차를 가지는 좌우 영상 각각의 대하여, 4:2:0 형식의 Y, Cb, Cr 영상 성분 중에서 Y 성분의 해상도를 1/2 로 다운 샘플링하여 해당되는 영상을 4:4:4 형식으로 변환하고, 시차 맵 계산을 수행하여 영상 보간을 수행하는 단계; 상기 좌우 영상에 대한 각각의 보간 영상을 합성하여 중간 시점 영상을 생성하는 단계; 상기 중간 시점 영상의 Y 성분을 2배로 업 샘플링하는 단계; 및 선형보간을 수행하는 단계를 포함하는 중간 시점 영상 보간 방법이 제공된다.
여기서, 상기 시차 맵 계산을 수행함에 있어서, 전체 검색 영역 내에서 대응하는 후보 블록을 다수의 화소씩 이동하면서 검색한 후, 그 후보 블록 주변에 대해서 한 화소씩 대응 블록을 검색하는 2단계 검색 방식을 적용하는 것이 바람직하다.
또한, 시차 추정 대상이 되는 상기 좌우 영상은, 상기 2단계 검색 방식을 이용한 시차 추정을 위해 상기 좌우 영상의 y 좌표는 모두 동일하고, 왼쪽 영상의 x 좌표는 오른쪽 영상의 x 좌표보다 크거나 같다는 검색 영역에 대한 제약 조건을 갖는다.
그리고, 상기 2단계 검색 방식을 이용한 시차 추정시 전체 검색 영역 내에서 대응하는 후보 블록을 4 화소씩 이동하면서 검색하는 것이 바람직하다.
바람직하게, 본 발명은, 상기 영상 보간을 수행하는 단계 수행 후, 시차 추정 과정에서 잘못된 정합과 전경 물체의 가려짐에 의해 발생된 상기 좌우 영상에 대한 시차 오류를 3×3 미디언 필터 및 상기 좌우 영상에서 발생하는 가려짐 영역에 따라 대응하는 가려짐 패턴을 적용하여 교정하는 단계를 더 포함한다.
나아가, 상기 시차 오류를 교정하는 단계에서, 상기 가려짐 패턴을 적용함에 있어서, 왼쪽 영상에서 발생하는 가려짐 영역의 시차는 시차 맵의 왼쪽 상단에서 오른쪽 하단으로 패턴을 이동하면서 교정하고, 오른쪽 영상에서 발생하는 가려짐 영역의 시차는 상기 시차 맵의 오른쪽 상단에서 왼쪽 하단으로 패턴을 이동하면서 교정하는 것이 바람직하다.
한편, 본 발명의 상기 영상 보간을 수행하는 단계와, 상기 중간 시점 영상을 생성하는 단계는 다중처리가 가능한 멀티미디어 프로세서를 이용하여 수행하거나, 다중 프로세서를 이용한 병렬 처리를 통해 수행할 수 있다.
본 발명에서는 동일수평축 상에 배치된 두 카메라로부터 제공되는 스테레오 영상(좌우 영상)으로부터 실시간으로 중간 시점 영상을 보간하는 방법을 제안한다. 구체적으로, 본 발명에서는 영상이 여러 개의 계층으로 구성되는 특성을 이용하여 중간 시점 영상의 좌표는 좌우 영상으로부터 추정된 블록 기반의 양방향 시차 맵(bidirectional disparity map)을 이용하여 추정하며, 시차 추정 속도를 높이기 위해서 2단계 검색 방법(two-step search strategy)과 계층적 접근 방법을 이용한다. 또한, 본 발명에서는 잘못된 시차를 교정하기 위해 3가지 가려짐 패턴(three occluding patterns)을 이용할 수 있으며, 이후 각각의 중간 시점 장면에서 두 보간 영상을 합성하는 양방향 시차 몰핑 방식(bidirectional disparity morphing, BDM)을 이용하여 홀을 제거한다.
이하, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자가 본 발명을 보다 용이하게 실시할 수 있도록 하기 위하여 본 발명의 바람직한 실시예를 소개하기로 한다.
도 1은 본 발명에 따른 실시간 중간 시점 영상 보간 방식을 설명하기 위한 도면이다.
도 1을 참조하면, 두대의 카메라 C1, C2가 동일수평축 상에 배치되어 스테레오 영상을 제공한다. 이때, 두 카메라 C1, C2 간의 거리가 'd'이고, 카메라 C1으로부터 제공되는 영상의 임의의 화소 좌표가 (x, y)라면, 카메라 C1으로부터 제공되는 좌측 영상에 가중치 'k'를 고려하여 보간된 영상의 해당 화소 좌표는 (x-kd, y)가 될 것이고, 카메라 C2로부터 제공되는 우측 영상에 가중치 '1-k'를 고려하여 보간된 영상의 해당 화소 좌표는 (x+(1-k)d, y)가 될 것이며, 이들 보간된 영상 간에는 시차가 존재한다.
한편, 본 발명에서 중간 시점 영상을 보간하는데 이용되는 시차 맵을 계산하는데 있어서, 상기 도 1에 도시된 바와 같이 2대의 카메라(C1, C2)가 서로 수평방향으로 떨어져서 평행하게 놓여있다고 가정하면, 공간의 한 점은 좌우 두 영상에서 서로 대응하는 두 점 Pl. Pr 로 각각 투영되며, 이 두 점이 두 영상에서 모두 보인다면 대응하는 두 점의 시차는 화소 단위의 거리로 정의되고, 앞에서 평행한 카메라 배치 구조를 가정하였기 때문에 시차는 수평방향으로만 존재하고 그 관계식은 아래의 수학식 1과 같다.
Figure 112004039186948-pat00001
여기서, 'dL→R(xl,yl)'는 왼쪽 화소에 대응하는 오른쪽 화소의 시차이다.
그리고, 시점 보간에서 보간된 영상의 화질은 계산된 시차의 정확도에 따라 결정되는데, 일반적인 시차 추정 방법들은 정확하게 시차를 계산할 수는 있으나, 많은 시간이 필요하기 때문에 실시간 시스템에 적용하지 못하는 단점이 있는 바, 본 발명에서는 정확도를 유지하면서 시차를 보다 빠르게 추정하기 위하여 고속 블록 정합 방식(fast block matching algorithm)을 도입하였다.
본 발명에서 제안하는 고속 블록 정합 방식은 검색 영역을 제한하고, 2단계 검색 절차를 수행하며, 추정 오차를 이용하여 가려짐 영역을 추출하는 특성을 가지고 있는데, 앞에서 설명한 바와 같이 평행한 카메라 배치 구조를 갖는 경우, 좌우 영상에서 y 좌표는 모두 동일(y=yL=yR)하고, 왼쪽 영상의 x 좌표는 오른쪽 영상의 x 좌표보다 크거나 같다(xR≥xL)는 제약 조건들을 가지며, 이러한 제약 조건들로 인해 전방향 검색 영역(-N≤d≤N)을 절반(-N≤d≤0 또는 0≤d≤N)으로 줄일 수 있게 된다.
그리고, 일반적인 움직임 추정에서 이용하는 3단계 검색 절차를 변형하여 2단계 검색 절차를 수행하게 되는데, 즉, 도 2에 도시한 바와 같이, 우선 전체 검색 영역 내에서 대응하는 후보 블록을 다수의 화소씩(예컨대, 4 화소씩) 이동하면서 검색한 후, 그 후보 블록 주변에 대해서 보다 정밀하게 한 화소씩 이동하면서 대응 블록을 검색하는 절차를 수행하게 된다. 이때 평가 함수로는 절대 평균 오차를 이용하게 된다.
또한, 서로 다른 계층들이 겹쳐진 블록은 다른 블록에 비해서 추정 오차가 크고 가려짐이 발생할 확률이 높으므로, 추정 오차가 문턱치(threshold value) 보다 높은 경우 가려짐 영역으로 추정하게 되는데, 이때 문턱치는 반복적인 실험을 통해서 결정되며, 예컨대 최대 추정 오차의 10%로 결정하는 것이 바람직하다.
가려짐 영역 검출에 대하여 보다 상세히 설명하면, 잘못된 정합과 가려짐은 시차의 오류를 발생시키는데, 시차는 연속적이고 같은 계층 안에서는 유사한 값을 가지며, 또한 일정한 분포 특성을 가짐에 따라 추정된 시차 맵에서 잘못된 시차를 교정하기 위해서 3x3 미디언 필터(median filter)를 이용하게 된다.
즉, 본 발명에서는 평행한 카메라 배치 구조를 가정하였기 때문에 도 3에 도시한 바와 같이 가려짐 영역의 경계는 수직적인 경향을 나타내는데, 왼쪽 영상에서 가려짐은 전경 물체가 왼쪽으로 이동하거나 카메라가 오른쪽으로 이동하는 경우에 발생하고, 따라서 가려짐 영역의 경계는 영역 (a)와 같이 전경 물체의 왼쪽 면에서 나타나게 된다. 즉, 가려짐 영역의 시차는 가려짐 영역 경계의 왼쪽 계층의 시차와 유사한 값을 갖게 된다.
이와 반대로, 오른쪽 영상에서 가려짐은 전경 물체가 오른쪽으로 이동하거나 카메라가 왼쪽으로 이동하는 경우에 발생하고, 따라서 가려짐 영역의 경계는 영역 (b)와 같이 전경 물체의 오른쪽 면에서 나타나게 된다. 즉, 가려짐 영역의 시차는 가려짐 영역 경계의 오른쪽 계층의 시차와 유사한 값을 갖게 된다.
한편, 이러한 가려짐 영역의 경계가 갖는 성질들을 정리해 보면 도 4에 도시한 바와 같이, 3가지 가려짐 패턴(three occluding patterns)을 정의할 수 있는데, 각각의 가려짐 패턴에서 'm0' 는 교정할 화소 또는 블록의 위치를 나타낸다. 좌우 영상에서 모두 보이는 화소는 도 4의 패턴 (가)를 이용하여 교정하게 되며, 이는 일반적인 미디언 필터와 동일하다.
그리고, 상기 도 3의 영역 (a)와 같이 왼쪽 영상에서 발생하는 가려짐 영역의 시차는 도 4의 패턴 (나)를 이용하여 교정하게 되는데, 이 경우 가려짐 영역의 화소를 패턴의 오른쪽 경계에 놓고, 패턴 안에 있는 값들 중에서 중간값을 찾는다. 그리고, 'm0' 대신에 앞에서 찾은 중간값을 그 화소의 시차로 교정하게 되며, 왼쪽 영상에서 가려짐 영역의 시차는 가려짐 영역의 경계의 왼쪽 면의 시차와 동일하기 때문에 시차 맵의 왼쪽 상단에서 오른쪽 하단으로 패턴을 이동하면서 교정하게 된다.
반대로, 상기 도 3의 영역 (b)와 같이 오른쪽 영상에서 발생하는 가려짐 영역의 시차는 도 4의 패턴 (다)를 이용하여 교정하게 되는데, 이 경우 가려짐 영역의 화소를 패턴의 왼쪽 경계에 놓고, 패턴 안에 있는 값들 중에서 중간값을 찾는다. 그리고 'm0' 대신에 앞에서 찾은 중간값을 그 화소의 시차로 교정하게 되며, 오른쪽 영상에서 가려짐 영역의 시차는 가려짐 영역의 경계의 오른쪽 면의 시차와 같기 때문에 시차 맵의 오른쪽 상단에서 왼쪽 하단으로 패턴을 이동하면서 교정하게 된다.
한편으로, 스테레오 영상과 중간 시점 영상간의 기하학적 관계는 도 5에 도시된 바와 같이 일련의 시차 벡터를 따라 존재하는 점들로부터 유도될 수 있는데, 좌우 영상에서 대응하는 두 점 사이의 거리를 '1'로 정규화시키면, 중간 시점 장면 은 몰핑 계수(0<s<1)에 의해 파라미터화 되며, 왼쪽 영상에서 중간 시점 장면으로의 투영은 아래의 수학식 2와 같이 시차에 의한 선형 함수로 정의된다.
Figure 112004039186948-pat00002
그런데, 상기 수학식 2는 영상 내에 존재하는 가시성의 변화를 잘 반영하지 못하며, 몰핑의 관점에서 가시성의 변화는 겹쳐짐(fold)과 홀(hole)의 원인이 되는데, 겹쳐짐은 영상에서 보이는 면이 중간 시점에서 가려지는 경우에 발생하고, 이 경우 여러 개의 화소가 하나의 화소에 투영되며, 이와 반대로, 홀은 영상에서 안 보이던 면이 중간 시점에서 보이는 경우에 발생한다. 즉, 보간된 화소에 대응하는 화소가 영상에 존재하지 않는다.
그리고, 시차는 깊이 값에 반비례하기 때문에 시차의 역수에 z-버퍼(z-buffer) 알고리즘을 적용하면 겹쳐짐은 쉽게 해결할 수 있는 반면, 홀은 영상 정보만으로는 제거할 수 없다. 일반적으로 홀을 제거하기 위해서 1차, 2차 선형 보간 방법을 이용하고 있지만, 각각의 중간 시점 영상에서 홀은 다른 보간 장면에서 보이는 화소에 대응하는 특성 때문에 일반적인 방법으로는 완벽하게 제거할 수 없을 뿐더러, 시차가 큰 영상에 대해서는 적용할 수 없다는 한계가 있다.
따라서, 본 발명에서는 각각의 중간 시점 장면에서 두 보간 영상을 합성하는 양방향 시차 몰핑(bidirectional disparity morphing, BDM) 방식을 이용하여 홀을 제거한다. 이러한 양방향 시차 몰핑 방식은 좌우 영상에 대해서 각각의 중간 시점 영상을 먼저 생성한 후, 이렇게 생성된 보간 영상에서 한 영상에 존재하는 홀은 다른 영상에서는 보이는 화소에 대응하기 때문에 두 영상을 합성함으로써 서로의 홀을 제거할 수 있게 되며, 그 결과, 보간된 중간 시점 영상의 화질이 개선되어 보다 실감나는 장면을 생성할 수 있게 된다.
전술한 양방향 시차 몰핑(BDM) 방식은 예컨대, TriMedia사의 멀티미디어 프로세서인 TM1300 보드에서 구현할 수 있는데, 이러한 멀티미디어 프로세서는 DSP 코어(core)에서 32비트 SIMD(Single Input, Multiple Data)를 처리할 수 있고, 비디오/오디오 입출력, 영상 보조 처리 장치가 하나의 칩에 내장되어 있기 때문에 비디오 데이터 처리를 쉽게 할 수 있으며, 또한 실시간 운영체제(Real-Time Operating System)의 하나인 'pSOS+m'을 지원하기 때문에 다중처리에서 클럭의 동기화가 쉽다. 따라서 'TM1300 보드'의 경우 클럭 속도는 다소 느린 반면에 실시간으로 다중 비디오 시퀀스를 처리할 수 있다.
즉, 본 발명에서 영상 보간은 좌우 영상에 대해서 개별적으로 수행되고, 최종적인 중간 시점 영상은 두 보간 영상을 합성하여 생성하는 양방향 시차 몰핑 방식을 이용하게 되는데, 이러한 방식은 중복 처리로 보여지지만 시차 추정단계에서의 오차를 최소화시킬 수 있다는 장점이 있으며, 이는 아래의 수학식 3과 같이 정의할 수 있다.
Figure 112004039186948-pat00003
여기서, 'IPs,L→R(x,y)'와 'IPs,R→L(x,y)'는 (x,y)에서 각각 좌우 영상에서 보간된 화소의 화소값이고, 'IPs(x,y)'는 최종 합성된 화소값으로, 만약 'IPs,L→R(x,y)', 'IPs,R→L(x,y)'가 홀이 아닌 경우 화소값은 대응점들의 화소값의 가중치 평균에 의해서 결정되며, 가중치 평균은 사용자의 눈에 보다 가까운 화소에 우선 값을 주는 것이다. 이와 반대로, 'IPs,L→R(x,y)'와 'IPs,R→L(x,y)'가 모두 홀인 경우는 거의 발생하지 않기 때문에 주변 화소값으로 대체할 수 있다.
한편, 본 발명을 적용하여 실시간 중간 시점 영상 보간 시스템을 구현하는데 있어, 시차의 추정은 대응점을 검출하기 위한 반복적인 계산 때문에 긴 처리 시간이 필요하므로, 도 6에 도시한 바와 같은 계층적 접근 방법을 이용하여 보다 효율적으로 실시간 시차 추정을 수행할 수 있다.
즉, 계층적 접근 방법은 우선 시차 추정을 위해서 4:2:0 형식의 Y, Cb, Cr 영상 성분 중에서 Y 성분만을 이용하게 되는데, Y 성분의 해상도를 1/2로 다운 샘플링(down sampling)하게 되면 입력 영상은 4:4:4 형식으로 변환된다. 이어서, 시차 맵 계산을 수행하는데, 이때 전술한 2단계 검색 방법을 적용할 수 있으며, 이후 3가지 가려짐 패턴을 이용한 시차 오류를 교정할 수 있다. 계속하여, 보간된 좌우 영상을 합성(양방향 시차 몰핑)하여 홀을 제거한다. 이처럼 시차 추정 및 좌우 영 상의 중간 시점 영상을 보간하는 단계에서는 Y 성분을 1/2로 다운 샘플링하여 처리하고, 이 후에 Y 성분을 2배로 업 샘플링(up sampling)하고 선형 보간을 실시하여 1/2 샘플링 과정에서 발생한 빈 포인트를 보간한다.
전술한 계층적 접근 방법에 따르면, Y 성분의 해상도를 1/2로 다운 샘플링하기 때문에 시차 추정을 위한 계산량은 1/4로 줄어들게 되며, 또한 4:4:4 형식은 4:2:0 형식보다 중간 시점 영상을 보다 용이하게 생성할 수 있도록 한다.
그리고, 이러한 실시간 중간 시점 영상 보간 시스템은 다중처리가 가능한 멀티미디어 프로세서를 이용하여 구현할 수 있다. 예컨대, 멀티미디어 프로세서로 TriMedia사의 TM1300 보드를 이용할 수 있는데, TM1300 보드는 고속 프로세서로서 지능형 비디오/오디오 입출력 뿐만 아니라 VLIW(Very Long Instruction Word) 프로세서를 탑재하고 있으며, 또한 오디오, 비디오, 그리고 그래픽 처리에 최적화된 명령어 집합을 갖고 있다. 또한, TM1300은 CPU(예컨대, 143MHz CPU)와 메모리(64MB SRAM)가 각각 2개씩 탑재되며, 공유 메모리가 없기 때문에 PCI 버스를 통해서 다른 프로세서와 서로 데이터를 공유하게 된다.
한편, 본 발명에서는 다중 프로세서를 이용한 병렬 처리를 수행할 수 있는데, 마스터 노드(Master node)는 데이터 패킷을 판독한 후에 마스터 노드의 데이터 주소를 슬레이브 노드(Slave node)로 전송함으로써 두 프로세서가 좌우 영상 데이터를 공유하고, 좌우 영상에 대해서 중간 시점 영상을 동시에 보간하게 되며, 슬레이브 노드는 오른쪽 영상에 대한 중간 시점 영상을 다시 마스터 노드로 전송함으로써 마스터 노드에서 각각 보간된 두 영상을 최종적인 중간 시점 영상으로 합성하게 된다.
이때, 마스터 노드와 슬레이브 노드가 되는 두 프로세서는 서로 동기를 맞추어야 하며, 몇 개의 큐(queue) 동기화와 데이터 전송에 이용되는데, 이러한 일련의 다중처리 절차를 도 7을 참조하여 설명하면 다음과 같다(계층적 접근 방식 적용시).
마스터 노드는 4:2:0 형식의 Y, Cb, Cr 좌우 영상 성분을 읽어들인 후, 'q_send(FULL)' 명령을 이용하여 슬레이브 노드로 입력 데이터를 전송하게 되고, 각 노드 즉, 프로세서는 개별적으로 중간 시점 영상(left-to-right and right-to-left intermediate images)을 생성하게 된다. 슬레이브 노드는'q_send(EMPTY)' 명령을 이용하여 마스터 노드로 오른쪽 영상에 대한 중간 시점 영상을 전송하게 되고, 마스터 노드는 두 중간 시점 영상을 요구된 중간 시점 영상으로 합성(dissolves)하게 된다.
또한, 마스터 노드와 슬레이브 노드 사이의 동기화는 데이터 전송을 위해서 매우 중요한데, 도 8은 마스터 노드와 슬레이브 노드 사이의 동기화를 위한 의사 코드(pseudo-code)를 예시한 도면으로, 도 8의 (가)에서 마스터 노드는 큐를 생성한 후에 'q_send()' 명령을 이용하여 슬레이브 노드로 큐를 전송하게 되며, 이때 슬레이브 노드는 큐를 수신할 때까지 대기하게 된다. 즉, 슬레이브 노드는 큐를 수신하기 전까지는 아무런 동작도 하지 않게 된다. 이와 반대로, 도 8의 (나)에서와 같이 슬레이브 노드는 큐를 생성한 후에 마스터 노드로 전송하게 되며, 이때 마스터 노드는 큐를 수신할 때까지 대기하고 있다가 그 큐를 수신하게 된다.
예를 들어, 전술한 실시간 중간 시점 영상 보간 방법은 도 9에 도시된 바와 같은 다양한 영상((가)는 어린이, (나)는 도시, (다)는 식물, (라)는 로보트)에 적용할 수 있는데, 도 9의 실험 영상들이 '640 × 480'의 해상도를 갖는 4:2:0 형식의 Y, Cb, Cr 영상이라고 가정하고, '8 × 8' 블록을 이용하여 양방향 시차 맵을 추정하는 경우, 첫번째 단계에서는 '0≤｜dx｜≤127'인 검색 영역 내에서 4 화소씩 이동하면서 대응하는 후보 블록을 검색하게 되고, 다음 단계에서는 '-7≤dx ≤7'인 검색 영역 내에서 하나의 화소씩 이동하면서 정밀하게 대응 블록을 검출하게 된다(2단계 검색 방법).
그리고, 본 발명에서는 3가지 가려짐 패턴을 이용하여 시차를 교정함으로써 시차 맵의 신뢰도를 향상시키게 되는데, 좌우 두 영상에서 모두 보이는 화소는 앞에서 설명한 도 4의 (가)에 도시된 일반적인 미디언 필터를 이용하여 잘못된 시차를 교정하게 되며, 왼쪽 또는 오른쪽 영상에서 가려진 화소는 각각 도 4의 (나)와 (다)에 도시된 가려짐 패턴을 이용하여 잘못된 시차를 교정하게 된다.
도 10은 앞에서 설명한 3가지 가려짐 패턴을 적용하여 각 영상의 시차를 교정하기 전 상태(가)와, 교정한 후의 상태(나)를 도시한 도면으로, 도 10의 (가)에서 흰색 블록은 잘못 추정된 시차를 나타내고, 흰색 십자가는 가려짐 블록을 나타낸다. 여기서, 잘못 추정된 시차에 대해서는 도 4의 (가)를 이용하여 교정하고, 가려짐 블록은 오른쪽 영상에 대한 시차 맵이므로 도 4의 (다)의 가려짐 패턴을 이용하여 교정하게 된다.
이렇게 가려짐 패턴을 적용하여 각 영상의 시차를 교정하게 되면, 도 10의 ( 나)에서와 같이 잘못된 시차들이 교정되고, 전경과 배경의 경계가 보다 분명하게 나타나게 된다.
도 11은 전술한 시차 교정 방법에 따라 보간된 영상의 화질을 비교한 결과를 나타낸 그래프로서, 본 발명에 따른 시차 교정을 수행하는 경우 도 9의 (다)에 도시된 식물 영상을 제외한 모든 실험 영상에 대해서 고화질의 보간 영상을 얻을 수 있으며, 가려짐 패턴을 이용하는 경우(patterns) 미디언 필터를 이용한 경우(median)보다 약 2dB 이상의 고화질 보간 영상을 생성할 수 있게 된다.
한편, 전술한 절차에 따라 좌우 영상으로부터 시차 맵을 추정하여 교정한 후에는 각각의 영상으로부터 중간 시점 장면을 보간하고, 그 보간된 두 영상을 시차 맵 추정 오차를 최소화시키기 위해서 합성하게 된다.
예컨대, 도 12는 's=0.5'에서 다양한 시차 맵 추정 방법을 이용하여 보간한 각 실험 영상들을 비교한 도면으로, (가)는 최초의 실험 영상(원 영상)을 나타낸 도면이고, (나) 및 (다)는 화소 기반 방법과 일반적인 블록 기반 방법을 이용한 결과를 각각 나타낸 도면이며, (라)는 본 발명에 따른 2단계 검색 방법을 이용하여 생성된 보간 영상을 나타낸 도면이다.
여기서, 각각의 보간된 영상들은 원 영상과 큰 차이를 보이지는 않지만, 식물(나뭇잎) 영상과 같이 정교한 표현이 필요한 부분은 블록 정합 방법을 이용한 도 12의 (다) 및 (라)에서는 미세한 왜곡이 발생하게 됨을 확인할 수 있다. 즉, 블록 기반의 정합 방법은 나뭇잎과 같이 복잡한 장면에 대해서는 적절하지 못한 측면이 있다.
도 13은 도 12의 (가)의 원 영상과 도 12의 (나), (다) 및 (라), 그리고 계층적 접근 방법으로 보간된 영상 사이의 PSNR(peak signal to noise ratio)을 계산한 결과를 나타낸 도면이다.
도 13을 참조하면, 원 영상에 따라서 2~5dB의 차이가 있지만 모든 영상들은 PSNR이 평균 26dB 이상으로, 화질의 측면에서 각 영상들은 만족한 화질을 나타내며, 일반적인 블록 기반 방법과 2단계 검색 방법을 포함한 블록 기반의 정합 방법들은 화소 기반의 정합 방법에 비해 더 나은 화질을 나타내고 있으나, 계층적 접근 방법으로 보간된 영상은 1/2로 축소 샘플링하여 보간한 후에 다시 확대 샘플링하는 과정을 거치기 때문에 약 1~2dB의 손실이 발생하게 된다.
아래의 표 1은 시차 맵을 계산하는 방법에 따라 중간 시점 영상을 생성하는데 소요되는 처리 시간을 나타낸 표로서, 블록 기반의 정합 방법이 화소 기반 방법에 비해 처리 시간이 매우 단축됨을 알 수 있다.
Figure 112004039186948-pat00004
또한, 블록 기반의 정합 방법 중에서도 일반적인 블록 기반 방법(종래기술) 은 2.06초가 소요되는 반면, 2단계 검색 방법(본 발명)은 1.16초, 계층적 접근 방법(본 발명)은 0.35초의 처리 시간이 필요하다. 즉, 일반적인 블록 기반 방법에 비해 2단계 검색 방법 및 계층적 접근 방법은 처리 시간을 각각 44%, 83% 정도 감소시킬 수 있게 된다.
이상에서 설명한 바와 같이 본 발명에서 구현한 2 단계 검색 방법과 계층적 접근 방법은 처리 시간을 크게 감소시키면서 종래에 비해 보다 나은 화질의 보간 영상을 생성할 수 있다.
본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
예컨대, 전술한 실시예에서는 2단계 검색 방식 중 첫번째 단계에서 4화소씩 이동하면서 검색하는 경우를 일례로 들어 설명하였으나, 본 발명은 이동 단위를 2화소 이상으로 설정하는 모든 경우에 적용된다.
또한, 전술한 실시예에서는 시차 추정 후, 3가지 가려짐 패턴을 이용하여 시차 오류를 교정하는 경우를 일례로 들어 설명하였으나, 시차 오류 교정 단계를 생략하거나 다른 방식으로 수행하는 경우에도 본 발명은 적용된다.
전술한 본 발명은 양방향 시차 맵의 추정 속도를 향상시켜 고화질의 중간 시점 영상을 실시간으로 생성할 수 있는 효과가 있다.

Claims (9)

  1. 삭제
  2. 수평방향의 시차를 가지는 좌우 영상 각각의 대하여, 4:2:0 형식의 Y, Cb, Cr 영상 성분 중에서 Y 성분의 해상도를 1/2로 다운 샘플링하여 해당되는 영상을 4:4:4 형식으로 변환하고, 시차 맵 계산을 수행하여 영상 보간을 수행하는 단계;
    상기 좌우 영상에 대한 각각의 보간 영상을 합성하여 중간 시점 영상을 생성하는 단계;
    상기 중간 시점 영상의 Y 성분을 2배로 업 샘플링하는 단계; 및
    선형보간을 수행하는 단계
    를 포함하는 실시간 중간 시점 영상 보간 방법.
  3. 제2항에 있어서,
    상기 시차 맵 계산을 수행함에 있어서, 전체 검색 영역 내에서 대응하는 후보 블록을 다수의 화소씩 이동하면서 검색한 후, 그 후보 블록 주변에 대해서 한 화소씩 대응 블록을 검색하는 2단계 검색 방식을 적용하는 것을 특징으로 하는 실시간 중간 시점 영상 보간 방법.
  4. 제3항에 있어서,
    상기 영상 보간을 수행하는 단계 수행 후,
    시차 추정 과정에서 잘못된 정합과 전경 물체의 가려짐에 의해 발생된 상기 좌우 영상에 대한 시차 오류를 3×3 미디언 필터 및 상기 좌우 영상에서 발생하는 가려짐 영역에 따라 대응하는 가려짐 패턴을 적용하여 교정하는 단계를 더 포함하는 것을 특징으로 하는 실시간 중간 시점 영상 보간 방법.
  5. 제3항에 있어서,
    시차 추정 대상이 되는 상기 좌우 영상은,
    상기 2단계 검색 방식을 이용한 시차 추정을 위해 상기 좌우 영상의 y 좌표는 모두 동일하고, 왼쪽 영상의 x 좌표는 오른쪽 영상의 x 좌표보다 크거나 같다는 검색 영역에 대한 제약 조건을 갖는 것을 특징으로 하는 실시간 중간 시점 영상 보간 방법.
  6. 제3항에 있어서,
    상기 2단계 검색 방식을 이용한 시차 추정시 전체 검색 영역 내에서 대응하는 후보 블록을 4 화소씩 이동하면서 검색하는 것을 특징으로 하는 실시간 중간 시점 영상 보간 방법.
  7. 제4항에 있어서,
    상기 시차 오류를 교정하는 단계에서,
    상기 가려짐 패턴을 적용함에 있어서, 왼쪽 영상에서 발생하는 가려짐 영역의 시차는 시차 맵의 왼쪽 상단에서 오른쪽 하단으로 패턴을 이동하면서 교정하고, 오른쪽 영상에서 발생하는 가려짐 영역의 시차는 상기 시차 맵의 오른쪽 상단에서 왼쪽 하단으로 패턴을 이동하면서 교정하는 것을 특징으로 하는 실시간 중간 시점 영상 보간 방법.
  8. 제3항에 있어서,
    상기 영상 보간을 수행하는 단계와, 상기 중간 시점 영상을 생성하는 단계는 다중처리가 가능한 멀티미디어 프로세서를 이용하여 수행하는 것을 특징으로 하는 실시간 중간 시점 영상 보간 방법.
  9. 제3항에 있어서,
    상기 영상 보간을 수행하는 단계와, 상기 중간 시점 영상을 생성하는 단계는 다중 프로세서를 이용한 병렬 처리를 통해 수행하는 것을 특징으로 하는 실시간 중간 시점 영상 보간 방법.
KR1020040068713A 2004-08-30 2004-08-30 실시간 중간 시점 영상 보간 방법 KR100655465B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040068713A KR100655465B1 (ko) 2004-08-30 2004-08-30 실시간 중간 시점 영상 보간 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040068713A KR100655465B1 (ko) 2004-08-30 2004-08-30 실시간 중간 시점 영상 보간 방법

Publications (2)

Publication Number Publication Date
KR20060019994A KR20060019994A (ko) 2006-03-06
KR100655465B1 true KR100655465B1 (ko) 2006-12-08

Family

ID=37127207

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040068713A KR100655465B1 (ko) 2004-08-30 2004-08-30 실시간 중간 시점 영상 보간 방법

Country Status (1)

Country Link
KR (1) KR100655465B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233748B2 (en) * 2007-07-20 2012-07-31 Samsung Electronics Co., Ltd. Image-resolution-improvement apparatus and method
KR101086305B1 (ko) 2010-02-03 2011-11-23 한국과학기술연구원 3차원 영상 디스플레이 장치 및 방법
KR101666019B1 (ko) 2010-08-03 2016-10-14 삼성전자주식회사 외삽 뷰 생성을 위한 장치 및 방법
WO2012026768A2 (en) 2010-08-27 2012-03-01 Samsung Electronics Co., Ltd. Rendering apparatus and method for generating multi-views
KR101639669B1 (ko) 2011-12-09 2016-07-14 한화테크윈 주식회사 모터 제어 시스템
KR101326279B1 (ko) * 2012-05-22 2013-11-05 한국기술교육대학교 산학협력단 스테레오 비디오를 위한 움직임 추정 시스템 및 방법
KR101598615B1 (ko) * 2014-09-23 2016-03-02 광운대학교 산학협력단 디지털 홀로그램으로부터의 임의시점 및 임의시차의 스테레오스코픽 영상 생성 방법

Also Published As

Publication number Publication date
KR20060019994A (ko) 2006-03-06

Similar Documents

Publication Publication Date Title
Daribo et al. A novel inpainting-based layered depth video for 3DTV
JP4533895B2 (ja) 画像レンダリングのための動き制御
US7689031B2 (en) Video filtering for stereo images
JP7181233B2 (ja) テクスチャマップ及びメッシュに基づく３ｄ画像情報の処理
Cheng et al. Spatio-temporally consistent novel view synthesis algorithm from video-plus-depth sequences for autostereoscopic displays
JPH0927969A (ja) 複数画像の中間像生成方法及び視差推定方法および装置
JP2005235211A (ja) 中間時点の画像合成方法及びそれを適用した３ｄディスプレイ装置
KR20170140187A (ko) 깊이 정보를 이용한 완전 시차 압축 광 필드 합성을 위한 방법
JP2003018604A (ja) 画像信号符号化方法、画像信号符号化装置および記録媒体
JP2009123219A (ja) 深さマップ推定装置と方法、これを用いた中間映像生成方法および多視点ビデオのエンコーディング方法
WO2009097714A1 (zh) 多视角视频图像深度搜索方法及深度估计方法
Pan et al. 3D video disparity scaling for preference and prevention of discomfort
KR100924716B1 (ko) 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법
US8289376B2 (en) Image processing method and apparatus
Hsu et al. Spatio-temporally consistent view synthesis from video-plus-depth data with global optimization
Obm et al. Incomplete 3-D multiview representation of video objects
Tzovaras et al. 3D object articulation and motion estimation in model-based stereoscopic videoconference image sequence analysis and coding
KR100655465B1 (ko) 실시간 중간 시점 영상 보간 방법
Lu et al. A survey on multiview video synthesis and editing
CN111652922B (zh) 一种基于双目视觉的单目视频深度估计方法
JPH0981746A (ja) 二次元表示画像生成方法
CN113450274B (zh) 一种基于深度学习的自适应视点融合方法及系统
KR100489894B1 (ko) 양안식 스테레오 영상의 카메라 광축 간격 조절 장치 및그 방법
Robert et al. Disparity-compensated view synthesis for s3D content correction
Kim et al. Photorealistic interactive virtual environment generation using multiview cameras

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121011

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131129

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee