KR101159203B1 - ３차원 영상 보간 시스템 및 그 방법 - Google Patents

３차원 영상 보간 시스템 및 그 방법 Download PDF

Info

Publication number
KR101159203B1
KR101159203B1 KR1020100104652A KR20100104652A KR101159203B1 KR 101159203 B1 KR101159203 B1 KR 101159203B1 KR 1020100104652 A KR1020100104652 A KR 1020100104652A KR 20100104652 A KR20100104652 A KR 20100104652A KR 101159203 B1 KR101159203 B1 KR 101159203B1
Authority
KR
South Korea
Prior art keywords
data
horizontal line
image frame
interpolation
frame data
Prior art date
Application number
KR1020100104652A
Other languages
English (en)
Other versions
KR20120043374A (ko
Inventor
원치선
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020100104652A priority Critical patent/KR101159203B1/ko
Publication of KR20120043374A publication Critical patent/KR20120043374A/ko
Application granted granted Critical
Publication of KR101159203B1 publication Critical patent/KR101159203B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Abstract

본 발명은 3차원 영상(3D 영상)을 제공하는 송신단에서 3D 영상(원 영상)을 2차원 영상화하여 수신단에 전송하고, 수신단에서는 수신받은 2D 영상화된 3D 영상을 다시 상기 원 영상으로 복원하는 경우에 요구되는 보간 방안에 관한 것이며, 특히 송신단에서 3D 영상을 전송하는 경우에 수신단에 보간 기법을 아울러 전송하여 수신단에서 이루어지는 상기한 복원이 원 영상에 최대한 가깝게 이루어지도록 하는 보간 방안에 관한 것이다.
본 명세서에서 개시하는 3D 영상 보간 시스템은 수신단에 전송할 3D 영상 데이터(원 영상 데이터)를 2D 영상 데이터화하는 2D 영상 데이터화부; 상기 2D 영상 데이터화된 3D 영상 데이터를 상기 원 영상 데이터로의 복원을 위한 보간(interpolation)의 방식을 결정하는 보간 방식 결정부; 상기 수신단에 상기 2D 영상 데이터화된 3D 영상 데이터와 상기 결정된 보간 방식을 전송하는 전송부; 및 상기 수신단에 구비되며, 상기 전송받은 보간 방식에 따라 보간을 수행하여 상기 2D 영상 데이터화된 3D 영상 데이터로부터 상기 원 영상 데이터를 복원하는 보간부를 포함하여 본 시스템 발명의 과제를 해결한다.

Description

３차원 영상 보간 시스템 및 그 방법{System for interpolation of 3D image and Method thereof}
본 발명은 3차원 영상 보간 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 3차원 영상(3D 영상)을 제공하는 송신단에서 3D 영상(원 영상)을 2차원 영상화하여 수신단에 전송하고, 수신단에서는 수신받은 2D 영상화된 3D 영상을 다시 상기 원 영상으로의 복원에 요구되는 보간 방안에 관한 것이며, 특히 송신단에서 3D 영상을 전송하는 경우에 수신단에 보간 방식을 아울러 전송하여 수신단에서 이루어지는 상기한 복원이 원 영상에 최대한 가깝게 이루어질 수 있도록 하는 보간 방안에 관한 것이다.
영상의 3차원 구현에 관한 기술은 실감 영상에 대한 욕구가 폭발적으로 증가하고 있는 현 추세와 맞물려 장족의 발전이 이루어지고 있다. 이러한 추세에 따라 3D 입체 영화가 제작되고 3D 방송이 시작되었으며 영상은 3D 구현이 일반화될 것으로 예상되고 있다.
3D 영상은 인간의 소위 양안시차(binocular parallax)의 원리를 이용하여 입체감을 느끼도록 구현된 것으로, 동일한 피사체에 대해 인간의 우안(right eye)에 보이는 상과 좌안(left eye)에 보이는 상을 두 개의 카메라를 이용하여 각각 촬영한 영상(우안 영상과 좌안 영상)을 하나의 영상으로 합성하여 구현된다.
3D 영상의 경우 동일 피사체에 관해 우안 영상과 좌안 영상이 필요하므로 기존의 단안식 영상 즉, 2D 영상에 비해 데이터 량이 두 배로 증가한다. 한편 작금의 영상 정보 등을 포함한 컨텐츠의 이용 환경은 고정형이 아닌 이동식 즉, 언제 어디서나 스마트 폰 등의 디지털 단말을 이용하여 컨텐츠를 요청하고 다운로드받아 이용하는 것이 필수적인 옵션인 바, 컨텐츠 제공자(contents provider) 측은 사용자에게 왜곡의 발생이 없이 컨텐츠를 제공하여야 할 필요가 있으며, 특히 최근에는 영상으로 구현되는 컨텐츠의 비중이 압도적으로 높고 영상 컨텐츠는 상기한 배경과 같이 3D가 일반화되어 가고 있는 바, 3D 영상 데이터가 수신단으로 전송되어도 최대한 원 데이터(raw data)에 가깝게 복원을 시켜야 할 필요가 있다.
위에서 언급한 바와 같이 3D 영상은 2D 영상에 비해 데이터 량이 두 배로 증가하므로, 영상 데이터를 수신단으로 전송하기 위한 하드웨어 및 소프트웨어 측면에서의 전송 인프라도 3D 영상에 맞게 구현되어야 함이 바람직하다. 그러나 기존의 내지는 현재의 전송 인프라는 2D 영상에 최적화되어 있으며, 3D 영상의 수신단으로의 전송에 최적화된 전송 인프라의 구현은 막대한 시간 및 엄청난 비용이 소요될 것으로 예상되고 있다.
이러한 예상에 비추어 3D 영상의 수신단으로의 전송에 최적화된 전송 인프라(이하 '3D 인프라'로 약칭)의 구축을 무조건적으로 기다리기에는 3D 영상 (컨텐츠)의 활성화 추세에 역행할 수 있는 바, 2D 영상의 수신단으로의 전송에 최적화된 전송 인프라(이하 '2D 인프라'로 약칭)를 이용하여 3D 영상의 수신단으로의 전송을 구현하는 여러 방안들이 제안되거나 산업적으로 실시되고 있다.
송신단에서 3D 영상을 2D 인프라를 통해 수신단으로 전송할 경우, 3D 영상의 2D 영상화가 당연히 수반된다. 2D 영상화는 3D 영상을 형성하는 좌안 영상과 우안 영상의 공간 해상도를 각각 절반으로 줄이고 절반으로 줄어든 좌안 영상과 우안 영상을 하나의 영상으로 합성하여 이루어지는데, 기존의 2D 영상화 방안은 수신단에서 복원(재생)되는 3D 영상의 화질의 심각한 열화를 수반한다. 따라서 이러한 심각한 열화를 피하기 위한 최적의 영상 보간(interpolation) 방안이 절실한 상황이다.
본 발명은 3D 영상을 2D 인프라를 이용하여 외부로 전송시에, 외부에서 복원되는 3D 영상의 심각한 화질 열화를 수반하는 기존의 2D 영상화 방안의 문제점을 해결하기 위해 창안된 것으로, 본 발명이 해결하려는 과제는 상기한 경우의 복원된 3D 영상의 심각한 화질 열화를 방지할 수 있는 3D 영상 보간 방안을 제시하는 것이다.
상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 3D 영상 보간 시스템은
수신단에 전송할 3D 영상 데이터(원 영상 데이터)를 2D 영상 데이터화하는 2D 영상 데이터화부; 상기 2D 영상 데이터화된 3D 영상 데이터를 상기 원 영상 데이터로의 복원을 위한 보간(interpolation)의 방식을 결정하는 보간 방식 결정부; 상기 수신단에 상기 2D 영상 데이터화된 3D 영상 데이터와 상기 결정된 보간 방식을 전송하는 전송부; 및 상기 수신단에 구비되며, 상기 전송받은 보간 방식에 따라 보간을 수행하여 상기 2D 영상 데이터화된 3D 영상 데이터로부터 상기 원 영상 데이터를 복원하는 보간부를 포함하여 본 시스템 발명의 과제를 해결한다.
상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 3D 영상 보간 방법은
(a)송신단이 수신단에 전송할 3D 영상 데이터(원 영상 데이터)를 2D 영상 데이터화하는 단계; (b)상기 송신단이 상기 2D 영상 데이터화된 3D 영상 데이터를 상기 원 영상 데이터로의 복원을 위한 보간(interpolation)의 방식을 결정하는 단계; (c)상기 송신단이 상기 수신단에 상기 2D 영상 데이터화된 3D 영상 데이터와 상기 결정된 보간 방식을 전송하는 단계; 및 (d)상기 수신단이 상기 전송받은 보간 방식에 따라 보간을 수행하여 상기 2D 영상 데이터화된 3D 영상 데이터로부터 상기 원 영상 데이터를 복원하는 단계를 포함하여 본 시스템 발명의 과제를 해결한다.
본 발명은 송신단이 원 영상의 특성을 가장 잘 파악하고 있다는 사실에 기초하여 송신단으로부터 전송받은 3D 영상(원 영상)을 수신단에서 복원함에 있어 필요한 보간의 방식을 송신단에서 미리 결정하고, 아울러 보간 방식(보간 모드)도 하나의 방식(모드)만이 아니라 원 영상의 특성에 적응적으로 다수의 방식(모드)을 결정하기 때문에 복원된 영상의 해상도를 획기적으로 제고시킬 수 있다.
아울러 본 발명에 의한 보간 방식의 결정은 세그먼트 단위로 세부적으로 이루어지기 때문에, 복원 영상의 화질을 획기적으로 제고시킬 수 있다.
아울러 기존의 복원 방안들이 수신단에서 보간 방식(보간 모드)을 결정함으로 인하여 송신단으로부터 전송되는 원 영상의 특성을 반영하지 못하고, 단일한 보간 방식(보간 모드)을 적용하기 때문에 발생하는 복원 영상의 화질 열화를 방지할 수 있다.
도 1은 본 시스템 발명의 일 구성을 제시한 도면이다.
도 2는 본 방법 발명의 일 흐름을 제시한 도면이다.
도 3은 본 발명에 의한 2D 영상 데이터화의 구현 방식을 제시한 도면이다.
도 4와 도 5는 본 발명에 의한 보간 방식(보간 모드)의 결정 방안을 설명하기 위해 제시한 참고 도면이다.
도 6은 본 발명의 성능을 제시하기 위한 원 영상 데이터의 좌안 및 우안 영상의 예이다.
도 7은 도 6의 예시 영상을 이용한 본 발명의 성능을 제시한 그래프이다.
도 8은 도 6의 예시 영상을 이용하여 본 발명의 성능을 비교한 영상을 제시한 것이다.
본 발명을 실시하기 위한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하려는 과제의 해결 방안의 개요를 우선 제시한다.
송신단으로부터 2D 인프라를 이용하여 전송되는 3D 영상(원 영상)이 수신단에서 최상의 화질을 갖도록 복원되는데 필요한 3D 영상의 보간에 있어서, 본 발명에서는 송신단이 2D 영상화된 원 영상을 수신단에 전송시에 송신단 자신이 최적의 보간 기법을 결정하여 결정된 보간 기법을 수신단에 동시에 전송한다. 수신단에서는 송신단에 의해 결정된 보간 기법에 따라 전송받은 2D 영상화된 원 영상을 3D 원 영상으로 복원하는 것이 본 발명이 해결하려는 과제의 해결 방안의 개요이다.
이하, 본 발명을 실시하기 위한 구체적인 내용을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
도 1은 본 시스템 발명의 일 구성을 제시한 도면이고, 도 2는 본 방법 발명의 일 흐름을 제시한 도면이다.
2D 영상 데이터화부(11)는 수신단에 전송할 3D 영상 데이터(원 영상 데이터)를 2D 영상 데이터화하는(s21) 기능을 수행하는 부분으로, 이는 원 영상 데이터를 2D 인프라를 통해 수신단에 전송하기 위한 전제에 해당한다. 본 발명에 의한 2D 영상 데이터화의 구현 방식을 도 3에 제시하였다. 그리고 이하에서는 영상의 크기는 N2*N1(N1과 N2는 자연수)임을 가정한다.
2D 영상 데이터화(s21)는 샘플링부(111)에 의해 원 영상 데이터의 좌안 영상 프레임 데이터와 우안 영상 프레임 데이터에서 각각 절반의 데이터를 샘플링하고(s211), 합성부(112)에 의해 샘플링된 각각 절반의 데이터가 하나의 프레임 데이터로 합성되어(s212, frame compatible packing) 이루어진다.
한편 샘플링부(111)에 의한 샘플링(s211)은, 좌안 영상과 우안 영상 사이에 존재하는 양안 시차는 주로 수평 시차(horizontal parallax)가 지배적으로 발현된다는 사실에 입각하여 도 3에 제시된 바와 같이, 좌안 영상과 우안 영상의 수평 라인의 수를 절반으로 줄이는 Top-Bottom 방식으로 이루어지는데, 구체적으로는 좌안 원 영상 프레임 데이터(31)의 홀수 번째(짝수 번째) 수평 라인의 데이터와 우안 원 영상 프레임 데이터(32)의 짝수 번째(홀수 번째) 수평 라인의 데이터를 샘플링하여(s211) 좌안 영상 프레임 데이터(33)와 우안 영상 프레임 데이터(34)를 출력하고, 합성부(112)는 샘플링된 각각의 데이터(33, 34)를 frame compatible packing 기법을 통해 하나의 프레임 데이터(35)로 합성하여(s212) 좌안 및 우안 원 영상 프레임 데이터(31, 32)를 2D 영상 데이터화한다(35).
본 발명에서의 샘플링은 좌안(우안) 영상의 홀수번째 수평 라인과 우안(좌안) 영상의 짝수번째 수평 라인을 교번적(alternating)으로 샘플링하기 때문에 양안 모두 홀수번째(짝수번째)를 샘플링하여 2D 영상 데이터화하는 기존 기술이 가지는 전제적인 문제점 즉, 수신단에서의 복원 영상 화질의 심각한 열화를 근원적으로 극복할 수 있다.
보간 방식 결정부(12)는 2D 영상 데이터화된 원 영상 데이터를 수신단에서 3D 데이터로 복원시키기 위한 보간(interpolation)의 방식을 결정한다(s22). 보간 방식 결정부(12)에 의한 보간 방식의 결정은 구체적으로 다음과 같이 이루어지며, 도 4와 도 5를 참조하여 설명한다.
보간 방식 결정부(12)는 좌안(우안) 영상 프레임 데이터(33)의 상기한 샘플링을 통해 샘플링이 되지 아니한(삭제된) 짝수 번째(홀수 번째) 수평 라인의 데이터와 우안(좌안) 영상 프레임 데이터(34)의 삭제된 홀수 번째(짝수 번째) 수평 라인의 데이터를 개별 수평 라인마다 소정 길이(L)의 세그먼트(Segment)로 분할하고(s221), 분할된 각 세그먼트에 대한 최적의 보간 방식을 결정한다(s222). 상기 개별 수평 라인(1, 2, …, i, …, N1)들 중 세그먼트로 분할되는 수평 라인에는 S개의 각 세그먼트(Segment 1, Segment 2, …, Segment S)가 존재하게 되며, S와 N2는 다음과 같은 관계가 성립하게 된다.
S=[N2/L]. 여기서 [ ]는 가우스(Gauss) 기호로서, N2가 L의 배수가 아닌 경우를 대비하기 위해 S를 이와 같이 설정한다. 아울러 L은 고정된 값이 아닌 제반 환경에 따라 결정되는 값이다.
보간 방식 결정부(12)는 각 세그먼트(Segment 1, Segment 2, …, Segment S)에 대한 최적의 보간 방식을 결정(s222)함에 있어, 좌안(우안) 영상 프레임 데이터(33)의 삭제된 수평 라인의 상하 수평 라인의 삭제되지 않은(샘플링된) 수평 라인(i-1번째 라인과 i+1번째 라인, i=2, 4, 6, 8, …)의 데이터와 좌안(우안) 영상 프레임 데이터의 삭제된 수평 라인(i번째 라인)과 같은 공간적 위치를 갖는 우안(좌안) 영상 프레임 데이터(34)의 삭제되지 않은 수평 라인(i번째 라인과 i+2번째 라인, i=2, 4, 6, 8, …)의 데이터를 이용하여 각 세그먼트(Segment 1, Segment 2, …, Segment S)에 대한 최적의 보간 방식을 결정한다.
보다 구체적으로 보간 방식 결정부(12)는 상기 같은 공간적 위치를 갖는 우안(좌안) 영상 프레임 데이터(34)의 삭제되지 않은 수평 라인(i번째 라인과 i+2번째 라인, i=2, 4, 6, 8, …)의 데이터에서 보간 대상 세그먼트(예를 들어 Segment S)와 가장 유사한 데이터 열로 구성된 세그먼트를 도출하고, 이렇게 도출된 세그먼트를 구성하는 데이터와 좌안(우안) 영상 프레임 데이터(33)의 삭제된 수평 라인 상하의 삭제되지 않은 수평 라인의 데이터(i-1번째 라인과 i+1번째 라인, i=2, 4, 6, 8, …)를 이용하여 세그먼트(Segment S)에 대한 최적의 보간 방식을 결정한다.
이렇게 결정되는 보간 방식의 결정 과정을 보다 더 상세히 설명하면 다음과 같다.
우선 보간 방식의 결정 과정을 보다 더 상세히 설명하기 위해 사용되는 notation을 제시하면 다음과 같다.
Figure 112010069307314-pat00001
Figure 112010069307314-pat00002
Figure 112010069307314-pat00003
Figure 112010069307314-pat00004
Figure 112010069307314-pat00005
Figure 112010069307314-pat00006
k*: 추정된 수평 시차의 시작점(도출된 가장 유사한 세그먼트의 최초 픽셀 위치)
예를 들어, 도 4의 좌안 영상 프레임 데이터(33)의 i번째 수평라인의 s번째(
Figure 112010069307314-pat00007
)세그먼트에 대한 최적의 보간 방식을 결정하는 과정을 설명하기 위해 도 5를 참조한다.
도 5의 상부에 제시된 그림은 좌안 영상 프레임 데이터(33)의 i-1번째 수평 라인의 s번째 세그먼트, 좌안 영상 프레임 데이터(33)의 i번째 수평 라인의 s번째 세그먼트 및 좌안 영상 프레임 데이터(33)의 i+1번째 수평 라인의 s번째 세그먼트를 나타내며, 하부에 제시된 그림은 좌안 영상 프레임 데이터(33)의 i번째 수평 라인과 공간적으로 동일한 위치인 우안 영상 프레임 데이터(34)의 i번째 수평 라인의 삭제되지 않은(샘플링된) 모든 데이터 열을 나타낸다. 여기서 i는 짝수이다.
좌안 영상 프레임 데이터(33)의 i번째 수평 라인은 공간적으로 동일한 위치인 우안 영상 프레임 데이터(34)의 i번째 수평 라인과 수평 방향의 시차가 발생할 수 있으므로, 이러한 시차를 보상하기 위해 좌안 영상 프레임 데이터(33)의 i번째 수평 라인의 s번째 세그먼트와 가장 유사한(가장 잘 일치하는) 우안 영상 프레임 데이터(34)의 i번째 수평 라인에 있는 세그먼트를 우안 영상 프레임 데이터(34)의 i번째 수평 라인의 삭제되지 않은 모든 데이터 열에서 도출한다.
보간 방식 결정부(12)는 가장 유사한 세그먼트의 도출을 위해 우선 우안 영상 프레임 데이터(34)의 i번째 수평 라인의 삭제되지 않은 N2개의 데이터 열 중에서 좌안 영상의 i번째 수평 라인의 s번째 세그먼트와 가장 유사한 데이터 열의 최초 픽셀의 위치(k*)를 아래의 식을 이용하여 산출한다. k*을 산출하면, 최초 픽셀의 위치를 시작점으로 하여 좌안 영상의 i번째 수평 라인의 s번째 세그먼트의 길이(L)와 동일한 길이를 갖는 세그먼트를 가장 유사한 세그먼트로 도출한다.
Figure 112010069307314-pat00008
.
이 식에서
Figure 112010069307314-pat00009
는 좌안 영상 프레임 데이터(33)의 i-1번째 수평 라인의 삭제되지 않은 데이터와 우안 영상 프레임 데이터(34)의 i번째 수평 라인의 삭제되지 않은 데이터 간 차를 나타내며,
Figure 112010069307314-pat00010
는 좌안 영상 프레임 데이터(33)의 i+1번째 수평 라인의 삭제되지 않은 데이터와 우안 영상 프레임 데이터(34)의 i번째 수평 라인의 삭제되지 않은 데이터 간 차를 나타내는 것으로, 이 식에 의하면 k*은 영상 데이터의 공간적 연속성에 의거하여 위의 두 가지 차의 합이 최소화되는 픽셀의 위치를 의미한다. ηs는 s번째 세그먼트의 시작 위치에서 좌우측으로 세그먼트를 δ만큼 수평 이동된 위치에 해당되는 구간으로 폐구간 [Ls+1-δ]과 [Ls+1+δ] 사이의 값을 가지며 수평 라인의 시작과 끝에서 세그먼트의 길이를 벗어나는 구간은 제외된다.
이렇게 구해진 k*에 의해 좌안 영상 프레임 데이터(33)의 i번째 수평 라인의 s번째 세그먼트와 가장 유사한 것으로 판정된 우안 영상 프레임 데이터(34)의 i번째 수평 라인의 (i, k*+1)에서 (i, k*+L)까지의 데이터, 좌안 영상 프레임 데이터(33)의 i번째 수평 라인의 상하에 위치한 좌안 영상 프레임 데이터(33)의 i-1번째 수평 라인의 데이터 및 좌안 영상 프레임 데이터(33)의 i+1번째 수평 라인의 데이터를 참조하여 좌안 영상 프레임 데이터(33)의 i번째 수평 라인의 s번째 세그먼트에 대한 최적의 보간 방식(보간 모드)
Figure 112010069307314-pat00011
는 아래와 같이 구할 수 있다.
Figure 112010069307314-pat00012
.
이 식에서 M은 가능한 모든 보간 방식(보간 모드)의 개수를 나타내며 임의로 결정된다.
Figure 112010069307314-pat00013
는 좌안 영상 프레임 데이터(33)의 (i,j) 위치에 있는 보간 대상 픽셀의 보간 픽셀 값으로, 수신단에서 보간 모드 m에 의해 보간되는 보간 픽셀 값을 나타낸다. 한편
Figure 112010069307314-pat00014
는, 예를 들어 M=8인 경우, 아래와 같이 8가지 중 어느 하나를 결정하여 사용할 수 있다.
Figure 112010069307314-pat00015
.
Figure 112010069307314-pat00016
을 산출하는 상기 식은 M개의 보간 모드 중에서 좌안 영상 프레임 데이터(33)의 보간 대상 픽셀의 보간 픽셀 값과 좌안 원 영상 프레임 데이터(31)의 픽셀 값과의 차의 합이 최소가 되도록 하는 모드(보간 모드 m)를 s번째 세그먼트에 대한 최적의 보간 방식(보간 모드)으로 결정(선택)한다는 의미이다.
그리고 상기 모드 1은 보간 대상 픽셀의 상하 픽셀의 평균값을, 모드 2는 상위 픽셀 값을, 모드 3은 하위 픽셀 값을, 모드 4는 보간 대상 픽셀의 상하 및 우안 영상의 같은 수평 라인의 데이터에 대해 수평 시차 추정된(이동된) 위치의 데이터 열의 해당 위치 픽셀 및 좌우 픽셀 등 5개 픽셀값의 평균값을, 모드 5는 우안 영상에서 가장 잘 일치하는 데이터 열의 해당 위치 픽셀 값을, 모드 6은 보간 대상 픽셀의 상하 및 우안 영상에서 가장 잘 일치하는 데이터 열의 해당 위치 픽셀 등 3개의 픽셀값의 평균값을, 모드 7은 상하 수평 라인의 135도 위치의 두개의 픽셀의 평균을, 마지막으로 모드 8은 상하 수평 라인의 45도 위치의 두개의 픽셀의 평균값을 사용하여 보간을 수행하는 것을 나타낸다.
전송부(13)는 수신단에 2D 영상 데이터화된 3D 영상 데이터를 전송함과 아울러 상기와 같이 결정된 보간 방식(보간 모드) 정보를 같이 전송하며(s23), 수신단에 구비되는 보간부(14)는 전송부(13)로부터 전송받은 2D 영상 데이터화된 3D 영상 데이터를 전송받은 보간 모드에 따라 원 영상 데이터로 복원하게 된다(s24).
이제까지의 서술은 주로 좌안 영상을 중심으로 이루어진 것이며 우안 영상의 표본화로 삭제된 수평 라인에 대한 보간도 동일한 기법으로(좌안 영상의 L을 우안 영상의 R로 대체) 수행할 수 있음은 자명하다.
도 6은 본 발명의 성능을 제시하기 위한 원 영상 데이터의 좌안 영상(61)및 우안 영상(62)의 예이며, 도 7은 도 6의 예시 영상을 이용한 본 발명의 성능을 제시한 그래프이며, 도 8은 도 6의 예시 영상을 이용하여 본 발명의 성능을 비교한 영상을 제시한 것이다.
도 6의 좌안 영상(61) 및 우안 영상(62)에 대해 본 발명에 의한 보간을 실시한 영상과 원 영상과의 화질 비교를 해본 결과 도 7과 같이 수평 라인 당 세그먼트의 수에 따라 단순히 상하 수평 라인의 픽셀 값들로 평균하였을 경우(Avg)보다 약 2~3dB의 화질 향상을 얻을 수 있다(intp). 도 8은 도 6의 일부(전등 부분)를 확대한 것으로, 원 영상(81)에 대해 단순 평균(82) 결과보다 본 발명에 의한 보간 결과(83)가 전등의 철선 부분에서 원 영상(81)에 더욱 가까운 결과를 얻을 수 있음을 확인할 수 있다.
본 방법발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 유무선 네트워크를 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 상기 서술한 내용은 주로 좌안 및 우안 영상을 구비한 스테레오 영상의 보간 방법에 대해 설명하였으나 다시점(multi-view) 영상의 영상 보간에도 이웃한 시점의 시차 정보를 활용하여 유사하게 보간하는 응용에 확대 적용할 수 있다.
그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 균등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (19)

  1. 수신단에 전송할 3D 영상 데이터(원 영상 데이터)를 2D 영상 데이터화하는 2D 영상 데이터화부;
    상기 2D 영상 데이터화된 3D 영상 데이터를 상기 원 영상 데이터로의 복원을 위한 보간(interpolation)의 방식을 결정하는 보간 방식 결정부;
    상기 수신단에 상기 2D 영상 데이터화된 3D 영상 데이터와 상기 결정된 보간 방식을 전송하는 전송부; 및
    상기 수신단에 구비되며, 상기 전송받은 보간 방식에 따라 보간을 수행하여 상기 2D 영상 데이터화된 3D 영상 데이터로부터 상기 원 영상 데이터를 복원하는 보간부를 포함하고,
    상기 2D 영상 데이터화부는
    상기 원 영상 데이터의 좌안 원 영상 프레임 데이터와 우안 원 영상 프레임 데이터에서 각각 절반의 데이터를 샘플링(sampling)하여 좌안 영상 프레임 데이터와 우안 영상 프레임 데이터를 도출하는 샘플링부; 및
    상기 좌안 영상 프레임 데이터와 상기 우안 영상 프레임 데이터를 하나의 프레임 데이터로 합성하여 상기 2D 영상 데이터화하는 합성부를 포함하고,
    상기 샘플링부는
    상기 좌안 원 영상 프레임 데이터의 홀수 번째(짝수 번째) 수평 라인의 데이터를 샘플링하여 상기 좌안 영상 프레임 데이터를, 상기 우안 원 영상 프레임 데이터의 짝수 번째(홀수 번째) 수평 라인의 데이터를 샘플링하여 상기 우안 영상 프레임 데이터를 도출하며,
    상기 보간 방식 결정부는
    상기 좌안 영상 프레임 데이터의 상기 샘플링이 되지 아니한(삭제된) 짝수 번째(홀수 번째) 수평 라인의 데이터와 상기 우안 영상 프레임 데이터의 상기 샘플링이 되지 아니한(삭제된) 홀수 번째(짝수 번째) 수평 라인의 데이터를 개별 수평 라인마다 소정 길이의 세그먼트(segment)로 분할하고, 상기 분할된 각 세그먼트에 대한 최적의 보간 방식을 결정하는 것을 특징으로 하는 3D 영상 보간 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서, 상기 보간 방식 결정부는
    상기 좌안 영상 프레임 데이터의 상기 삭제된 수평 라인 상하의 삭제되지 않은 수평 라인의 데이터와 상기 좌안 영상 프레임 데이터의 상기 삭제된 수평 라인과 같은 공간적 위치를 갖는 상기 우안 영상 프레임 데이터의 삭제되지 않은 수평 라인의 데이터를 이용하여, 상기 분할된 각 세그먼트에 대한 최적의 보간 방식을 결정하는 것을 특징으로 하는 3D 영상 보간 시스템.
  6. 제 5 항에 있어서, 상기 보간 방식 결정부는
    상기 같은 공간적 위치를 갖는 상기 우안 영상 프레임 데이터의 삭제되지 않은 수평 라인의 데이터에서 상기 좌안 영상 프레임 데이터의 상기 삭제된 수평 라인의 보간 대상 세그먼트와 가장 유사한 데이터 열로 구성된 세그먼트를 도출하고, 상기 도출된 세그먼트를 구성하는 데이터와 상기 좌안 영상 프레임 데이터의 상기 삭제된 수평 라인의 상하의 삭제되지 않은 수평 라인의 데이터를 이용하여 상기 최적의 보간 방식을 결정하는 것을 특징으로 하는 3D 영상 보간 시스템.
  7. 제 6 항에 있어서, 상기 보간 방식 결정부는
    상기 보간 대상 세그먼트와 가장 유사한 데이터 열로 구성된 세그먼트를 도출하는 경우,
    상기 가장 유사한 데이터 열이 시작되는 최초 픽셀의 위치를 산출한 후, 상기 산출된 최초 픽셀의 위치를 시작점으로 하여 상기 보간 대상 세그먼트와 동일한 길이를 갖는 세그먼트를 도출하는 것을 특징으로 하는 3D 영상 보간 시스템.
  8. 제 7 항에 있어서, 상기 최초 픽셀의 위치는
    상기 좌안 영상 프레임 데이터의 상기 삭제된 수평 라인의 삭제되지 않은 윗 수평 라인의 데이터와 상기 같은 공간적 위치를 갖는 상기 우안 영상 프레임 데이터의 삭제되지 않은 수평 라인의 데이터 간 차(d1) 및 상기 좌안 영상 프레임 데이터의 상기 삭제된 수평 라인의 삭제되지 않은 아래 수평 라인의 데이터와 상기 같은 공간적 위치를 갖는 상기 우안 영상 프레임 데이터의 삭제되지 않은 수평 라인의 데이터 간 차(d2)의 합(d1+d2)을 최소화하는 픽셀의 위치인 것을 특징으로 하는 3D 영상 보간 시스템.
  9. 제 8 항에 있어서, 상기 보간 방식 결정부는
    임의로 설정된 다수 개의 보간 방식 중에서 상기 좌안 영상 프레임 데이터의 상기 삭제된 수평 라인의 픽셀의 보간 픽셀 값과 상기 원 영상 데이터의 픽셀 값과의 차의 합이 최소가 되도록 하는 방식을 상기 보간 대상 세그먼트에 대한 최적의 보간 방식으로 결정하는 것을 특징으로 하는 3D 영상 보간 시스템.
  10. (a)송신단이 수신단에 전송할 3D 영상 데이터(원 영상 데이터)를 2D 영상 데이터화하는 단계;
    (b)상기 송신단이 상기 2D 영상 데이터화된 3D 영상 데이터를 상기 원 영상 데이터로의 복원을 위한 보간(interpolation)의 방식을 결정하는 단계;
    (c)상기 송신단이 상기 수신단에 상기 2D 영상 데이터화된 3D 영상 데이터와 상기 결정된 보간 방식을 전송하는 단계; 및
    (d)상기 수신단이 상기 전송받은 보간 방식에 따라 보간을 수행하여 상기 2D 영상 데이터화된 3D 영상 데이터로부터 상기 원 영상 데이터를 복원하는 단계를 포함하고,
    상기 (a)단계는
    (a1)상기 원 영상 데이터의 좌안 원 영상 프레임 데이터와 우안 원 영상 프레임 데이터에서 각각 절반의 데이터를 샘플링(sampling)하여 좌안 영상 프레임 데이터와 우안 영상 프레임 데이터를 도출하는 단계; 및
    (a2)상기 좌안 영상 프레임 데이터와 상기 우안 영상 프레임 데이터를 하나의 프레임 데이터로 합성하는 단계를 포함하고,
    상기 (a1)단계는
    상기 좌안 원 영상 프레임 데이터의 홀수 번째(짝수 번째) 수평 라인의 데이터를 샘플링하여 상기 좌안 영상 프레임 데이터를, 상기 우안 원 영상 프레임 데이터의 짝수 번째(홀수 번째) 수평 라인의 데이터를 샘플링하여 상기 우안 영상 프레임 데이터를 도출하며,
    상기 (b)단계는
    (b1)상기 좌안 영상 프레임 데이터의 상기 샘플링이 되지 아니한(삭제된) 짝수 번째(홀수 번째) 수평 라인의 데이터와 상기 우안 영상 프레임 데이터의 상기 샘플링이 되지 아니한(삭제된) 홀수 번째(짝수 번째) 수평 라인의 데이터를 개별 수평 라인마다 소정 길이의 세그먼트(segment)로 분할하는 단계; 및
    (b2)상기 분할된 각 세그먼트에 대한 최적의 보간 방식을 결정하는 단계를 포함하는 3D 영상 보간 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제 10 항에 있어서, 상기 (b2)단계는
    상기 좌안 영상 프레임 데이터의 상기 삭제된 수평 라인 상하의 삭제되지 않은 수평 라인의 데이터와 상기 좌안 영상 프레임 데이터의 상기 삭제된 수평 라인과 같은 공간적 위치를 갖는 상기 우안 영상 프레임 데이터의 삭제되지 않은 수평 라인의 데이터를 이용하여, 상기 분할된 각 세그먼트에 대한 최적의 보간 방식을 결정하는 단계인 것을 특징으로 하는 3D 영상 보간 방법.
  15. 제 14 항에 있어서, 상기 (b2)단계는
    상기 같은 공간적 위치를 갖는 상기 우안 영상 프레임 데이터의 삭제되지 않은 수평 라인의 데이터에서 상기 좌안 영상 프레임 데이터의 상기 삭제된 수평 라인의 보간 대상 세그먼트와 가장 유사한 데이터 열로 구성된 세그먼트를 도출하고, 상기 도출된 세그먼트를 구성하는 데이터와 상기 좌안 영상 프레임 데이터의 상기 삭제된 수평 라인의 상하의 삭제되지 않은 수평 라인의 데이터를 이용하여 상기 최적의 보간 방식을 결정하는 단계인 것을 특징으로 하는 3D 영상 보간 방법.
  16. 제 15 항에 있어서,
    상기 (b2)단계에서 상기 보간 대상 세그먼트와 가장 유사한 데이터 열로 구성된 세그먼트를 도출하는 경우,
    상기 가장 유사한 데이터 열이 시작되는 최초 픽셀의 위치를 산출한 후, 상기 산출된 최초 픽셀의 위치를 시작점으로 하여 상기 보간 대상 세그먼트와 동일한 길이를 갖는 세그먼트를 도출하는 것을 특징으로 하는 3D 영상 보간 방법.
  17. 제 16 항에 있어서, 상기 최초 픽셀의 위치는
    상기 좌안 영상 프레임 데이터의 상기 삭제된 수평 라인의 삭제되지 않은 윗 수평 라인의 데이터와 상기 같은 공간적 위치를 갖는 상기 우안 영상 프레임 데이터의 삭제되지 않은 수평 라인의 데이터 간 차(d1) 및 상기 좌안 영상 프레임 데이터의 상기 삭제된 수평 라인의 삭제되지 않은 아래 수평 라인의 데이터와 상기 같은 공간적 위치를 갖는 상기 우안 영상 프레임 데이터의 삭제되지 않은 수평 라인의 데이터 간 차(d2)의 합(d1+d2)을 최소화하는 픽셀의 위치인 것을 특징으로 하는 3D 영상 보간 방법.
  18. 제 17 항에 있어서, 상기 (b2)단계는
    임의로 설정된 다수 개의 보간 방식 중에서 상기 좌안 영상 프레임 데이터의 상기 삭제된 수평 라인의 픽셀의 보간 픽셀 값과 상기 원 영상 데이터의 픽셀 값과의 차의 합이 최소가 되도록 하는 방식을 상기 보간 대상 세그먼트에 대한 최적의 보간 방식으로 결정하는 단계인 것을 특징으로 하는 3D 영상 보간 방법.
  19. 제 10 항, 또는 제 14 항 내지 제 18 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
KR1020100104652A 2010-10-26 2010-10-26 ３차원 영상 보간 시스템 및 그 방법 KR101159203B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100104652A KR101159203B1 (ko) 2010-10-26 2010-10-26 ３차원 영상 보간 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100104652A KR101159203B1 (ko) 2010-10-26 2010-10-26 ３차원 영상 보간 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120043374A KR20120043374A (ko) 2012-05-04
KR101159203B1 true KR101159203B1 (ko) 2012-06-25

Family

ID=46263572

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100104652A KR101159203B1 (ko) 2010-10-26 2010-10-26 ３차원 영상 보간 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101159203B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151800B1 (en) 2020-03-25 2021-10-19 Electronics And Telecommunications Research Institute Method and apparatus for erasing real object in augmented reality

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080109325A (ko) * 2007-06-12 2008-12-17 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080109325A (ko) * 2007-06-12 2008-12-17 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박홍식, 김규헌 외. 스테레오스코픽 비디오 방송 서비스를 위한 MPEG-2 전송스트림 구성 방안. 2009.11., 방송공학회논문지: 제14권 제6호(제1면 내지 제14면) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151800B1 (en) 2020-03-25 2021-10-19 Electronics And Telecommunications Research Institute Method and apparatus for erasing real object in augmented reality

Also Published As

Publication number Publication date
KR20120043374A (ko) 2012-05-04

Similar Documents

Publication Publication Date Title
JP6356286B2 (ja) 多視点信号コーデック
KR101199498B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
US8462196B2 (en) Method and apparatus for generating block-based stereoscopic image format and method and apparatus for reconstructing stereoscopic images from block-based stereoscopic image format
KR101396351B1 (ko) 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
WO2012147621A1 (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
WO2012111757A1 (ja) 画像処理装置および画像処理方法
JP2009509454A (ja) 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置
US20150312547A1 (en) Apparatus and method for generating and rebuilding a video stream
WO2012111755A1 (ja) 画像処理装置および画像処理方法
US20110122227A1 (en) 3d image display apparatus and display method
KR101159203B1 (ko) ３차원 영상 보간 시스템 및 그 방법
US20120050465A1 (en) Image processing apparatus and method using 3D image format
KR101313223B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR20130056258A (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
Ge et al. A spatiotemporal super-resolution algorithm for a hybrid stereo video system
KR101313224B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
JP2021044658A (ja) 符号化装置、復号装置、及びプログラム
KR101343576B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
JP2012213116A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150602

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160602

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee