KR101720320B1

KR101720320B1 - 다중 스트림 기반 3차원 영상의 에러 보정 방법 및 장치

Info

Publication number: KR101720320B1
Application number: KR1020120126743A
Authority: KR
Inventors: 추현곤; 조숙희; 김종호; 최진수; 김진웅
Original assignee: 한국전자통신연구원
Priority date: 2012-11-09
Filing date: 2012-11-09
Publication date: 2017-03-28
Also published as: US9253467B2; US20140133739A1; KR20140060412A

Abstract

본 발명은 3D 영상의 에러 보정에 대한 것으로, 보다 상세하게는 다중 스트림 기반 3D 영상의 에러 보정 방법 및 그 장치에 관한 것이다. 본 발명의 따른 3D 영상 처리 장치를 제공한다. 상기 장치는 3D 영상을 구성하는 제1 영상 및 제2 영상의 동기를 맞추는 3D 영상 동기화부, 상기 제1 영상에서 에러 블록을 검출하고, 상기 제2 영상에서 대응 블록을 검색하여, 상기 대응 블록의 블록 정보를 기반으로 상기 에러 블록을 보정하는 3D 영상 보정부, 및 상기 보정된 제1 영상 및 상기 제2 영상을 합성하여 3D 입체 영상을 생성하는 합성부를 포함함을 특징으로 한다. 본 발명에 따르면 3차원 영상에 대한 다중 스트림의 전송에 있어 발생하는 비트에러를 보정할 수 있으며, 보다 나은 3차원 영상의 화질을 제공할 수 있다. 또한, 본 발명에서는 3차원 영상을 구성하는 어느 한 영상에서 발생한 에러를 다른 영상을 기반으로 보정함으로써 에러 보정을 위한 복잡한 계산절차가 요구되지 않으며 간단하게 에러 보정을 수행할 수 있다.

Description

다중 스트림 기반 3차원 영상의 에러 보정 방법 및 장치{Method and apparatus of error correction in multiple steam based 3D image}

본 발명은 3D 영상의 에러 보정에 대한 것으로, 보다 상세하게는 다중 스트림 기반 3D 영상의 에러 보정 방법 및 그 장치에 관한 것이다.

최근 입체 영상 및 다시점 영상 등 3차원(3D: 3 dimension) 영상에 대한 사용자의 욕구가 증가하고 있으며, 3D 입체 영화 및 3D 방송 기술의 발전이 진행되고 있다. 3D 방송 기술의 경우 기존의 방송 환경에 대한 호환성이 요구되고 있으며, 이를 위해서 다중 스트림 기반의 입체 영상 출력 방법이 개발되었다.

다중 스트림 기반의 3차원 영상 출력 방법이 적용되는 예로는 듀얼 스트림 기반의 3DTV를 들 수 있다. 듀얼 스트림 기반의 3DTV의 경우 기준 시점에 대한 영상(이하, 기준 영상)은 기존의 지상파 DTV(digital TV)에서 사용되는 MPEG-2 압축 코덱을 이용하여 인코딩되어 기초 스트림 형태로 출력되고, 부가 시점에 대한 영상(이하, 부가 영상)은 압축효율이 높은 H.264 등의 고효율 압축 코덱을 이용하여 인코딩되어 기초 스트림 형태로 출력된다. 상기 기준 영상에 대한 기초 스트림 및 부가 영상에 대한 기초 스트림은 다중화되어 전송 스트림 형태로 전송되고, 수신 단말에서 이를 수신하고, 디코딩 및 동기화 등을 수행한 후 3차원 영상을 출력하게 된다.

상기와 같은 다중 스트림 기반의 3차원 영상 출력 방법의 경우, 전송 스트림의 전송 시 비트에러가 발생할 경우, 일부 시점에 대한 영상이 깨질 수 있으며, 수신 단말에서 입체 영상을 표시함에 있어 문제가 발생하게 된다. 특히, 서로 다른 코덱을 사용하는 듀얼 스트림 방식의 양안식 3DTV에서 전송 스트림 전송 시 비트에러(bit error)가 발생하는 경우, MPEG-2로 인코딩하여 데이터 레이트(data rate)가 큰 기준 영상에서 에러가 생길 확률이 H.264 등의 고효율 압축 코덱을 이용하여 인코딩한 부가 영상에서 에러가 생길 확률보다 일반적으로 더 크다. 이로 인해 기준 시점 영상에서 에러가 발생하면, 입체 영상의 화질이 떨어지게 된다.

본 발명의 기술적 과제는 다중 스트림 기반 3차원 영상의 전송 에러 보정 방법 및 장치를 제공함에 있다.

본 발명의 다른 기술적 과제는 다중 스트림 기반의 3차원 영상의 전송 시 비트에러로 인해 생기는 화면 왜곡을 보정함에 있다.

본 발명의 또 다른 기술적 과제는 서로 다른 코덱을 사용하는 다중 스트림 기반의 3차원 영상의 전송 시 비트에러로 인해 생기는 화면 왜곡을 보정함에 있다.

본 발명의 다른 기술적 과제는 3차원 영상을 구성하는 한 영상에서 발생하는 에러를 다른 영상을 이용하여 보정함으로써, 보다 나은 3차원 영상의 화질을 제공함에 있다.

본 발명의 일 양태에 따르면, 3D 영상 보정부를 제공한다. 상기 3D 영상 보정부는 3D(3 dimension) 영상을 구성하는 제1 영상에서 블록 단위로 에러를 판단하고, 에러 블록을 검출하는 에러 블록 검출기(detector), 상기 3D 영상을 구성하고, 상기 제1 영상과 연동되는 제2 영상에서 상기 검출된 에러 블록에 대응하는 대응 블록을 검색하는 대응 블록 검색기(searcher), 및 상기 대응 블록의 블록 정보를 기반으로 상기 에러 블록의 에러를 보정하는 보정기((corrector)를 포함함을 특징으로 한다.

본 발명의 다른 양태에 따르면, 3D 영상 처리 장치를 제공한다. 상기 장치는 3D 영상을 구성하는 제1 영상 및 제2 영상의 동기를 맞추는 3D 영상 동기화부, 상기 제1 영상에서 에러 블록을 검출하고, 상기 제2 영상에서 대응 블록을 검색하여, 상기 대응 블록의 블록 정보를 기반으로 상기 에러 블록을 보정하는 3D 영상 보정부, 및 상기 보정된 제1 영상 및 상기 제2 영상을 합성하여 3D 입체 영상을 생성하는 합성부를 포함함을 특징으로 한다.

본 발명의 또 다른 양태에 따르면, 3D 영상을 처리하는 방법을 제공한다. 상기 방법은 상기 3D 영상을 구성하는 제1 영상 및 제2 영상의 동기를 맞추는 단계, 상기 제1 영상에서 에러 블록을 검출하는 단계, 상기 제2 영상에서 상기 에러 블록에 대응하는 대응 블록을 검색하는 단계, 상기 대응 블록의 블록 정보를 기반으로 상기 에러 블록을 보정하는 단계, 및 상기 에러 블록이 보정된 제1 영상과 상기 제2 영상을 합성하여 3D 영상을 생성하는 단계를 포함함을 특징으로 한다.

본 발명에 따르면 3차원 영상에 대한 다중 스트림의 전송에 있어 발생하는 비트에러를 보정할 수 있으며, 보다 나은 3차원 영상의 화질을 제공할 수 있다. 또한, 본 발명에서는 3차원 영상을 구성하는 어느 한 영상에서 발생한 에러를 다른 영상을 기반으로 보정함으로써 에러 보정을 위한 복잡한 계산절차가 요구되지 않으며 간단하게 에러 보정을 수행할 수 있다.

도 1은 3D 영상 처리 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 예에 따른 3D 영상 처리 장치를 나타내는 블록도이다.
도 3은 본 발명의 일 예에 따른 3D 영상 보정부에 의한 에러 보정 절차를 나타내는 흐름도이다.
도 4는 본 발명의 일 예에 따른 에러 블록에 대한 대응 블록 검색을 나타낸다.
도 5는 본 발명의 일 예에 따른 3D 영상 보정부를 나타내는 블록도이다.
도 6은 볼 발명의 일 예에 따른 3D 영상 처리 장치에 의한 3D 영상 처리 방법을 나타낸다.

이하, 본 명세서에서는 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 명세서에서 본 발명의 실시 예들을 설명함에 있어, 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 명세서의 구성 요소를 설명하는 데 있어서, 어떤 구성 요소가 다른 구성요소에 "연결","결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

도 1은 3D 영상 처리 장치를 나타내는 블록도이다.

도 1을 참조하면, 3D 영상 처리 장치는 입력부(100), 역다중화부(110), 비디오 디코딩부(120), 3D 영상 동기화부(130), 3D 영상 합성부(140), 비디오 출력부(150), 오디오 디코딩부(160), 오디오 출력부(170)를 포함한다.

입력부(100)는 3D 영상 방송을 외부로부터 입력 받는다. 구체적으로 입력부(100)는 3D 영상 데이터를 포함한 전송 스트림을 입력 받고, 이를 역다중화부로 보낸다.

역다중화부(110)는 오디오, 비디오를 분리한다. 구체적으로 다시 말하면, 역다중화부(110)는 상기 전송 스트림으로부터 오디오에 대한 기초 스트림(들) 및 비디오에 대한 기초 스트림(들)을 분리할 수 있고, 3D 영상 방송의 경우 복수의 구성 비디오(영상)들에 대한 기초 스트림들을 분리할 수 있다.

비디오 디코딩부(120)는 비디오에 대한 기초 스트림(들)을 디코딩한다. 비디오 디코딩부(120)는 제1 비디오 디코딩부(121) 및 제2 비디오 디코딩부(122)를 포함할 수 있다. 제1 비디오 디코딩부(121)는 상기 3D 영상을 구성하는 제1 영상에 대한 기초 스트림을 디코딩하여 제1 영상(데이터)을 생성할 수 있고, 제2 비디오 디코딩부(122)는 상기 3D 영상을 구성하고 상기 제1 영상에 연동되는 제2 영상에 대한 기초 스트림을 디코딩하여 제2 영상(데이터)을 생성할 수 있다. 예를 들어 3D 영상이 듀얼 스트림으로 구성된 경우, 기준 영상에 대한 기초 스트림 및 부가 영상에 대한 기초 스트림,으로 구성된 경우, 제1 비디오 디코딩부(121)는 기준 영상에 대한 기초 스트림을 디코딩하여 기준 영상을 생성할 수 있고, 제2 비디오 디코딩부(122)는 부가 영상에 대한 기초 스트림을 디코딩하여 부가 영상을 생성할 수 있다.

오디오 디코딩부(160)는 오디오에 대한 기초 스트림(들)을 디코딩하고, 오디오(데이터)를 생성하고, 오디오 출력부(170)는 상기 생성된 오디오 데이터를 출력한다.

3D 영상 동기화부(130)는 비디오 디코딩부(120)에서 디코딩된 상기 제1 영상 및 상기 제2 영상의 동기를 맞춘다.

3D 영상 합성부(140)는 상기 동기가 맞추어진 상기 제1 영상 및 상기 제2 영상을 기반으로 3D 영상(데이터)을 생성한 후 비디오 출력부(150)를 통해 디스플레이 수단에서 출력하게 된다. 3D 영상 합성부(140)는 비디오 출력부(150)의 지원 형태에 따라 상기 3D 영상 데이터를 사이드-바이-사이드(Side-by-Side) 형태나 프레임 팩킹(Frame Packing) 형태로 생성하고, 이를 비디오 출력부(150)를 통해 디스플레이 수단에서 출력할 수 있다.

예를 들어 만약, 상기 제1 영상은 기준 영상이고, 상기 제2 영상은 부가 영상일 수 있다. 제1 비디오 디코딩부(121)는 기준 영상에 대한 기초 스트림을 디코딩하여 기준 영상을 생성하고, 제2 비디오 디코딩부(122)는 부가 영상에 대한 기초 스트림을 디코딩하여 부가 영상을 생성하는 경우, 제1 비디오 디코딩부(121)에서는 MPEG-2 비디오 인코딩 기법이 사용될 수 있고, 제2 비디오 디코딩부(122)에서는 H.264나 HEVC(High Efficiency Video Coding)과 같은 고화질의 비디오 인코딩 기법이 사용될 수 있다. 일반적으로 H.264 비디오 인코딩 기법의 경우, MPEG-2 비디오 인코딩 기법에 비해 두 배 정도 높은 압축효율을 보이며, HEVC 비디오 인코딩 기법의 경우, MPEG-2 비디오 인코딩 기법에 비해 네 배 정도 높은 압축효율을 보인다. 따라서, 방송국(서버)에서 듀얼스트림 기반의 3D 영상 방송을 전송하는 경우에, 만약 MPEG-2가 12Mbps의 데이터 레이트를 가진다면, H.264의 경우, 6Mbps의 데이터 레이트를 가지게 된다. 즉, 동일한 채널 노이즈(noise) 환경의 경우, MPEG-2에 의해 인코딩된 데이터의 전송시 에러가 발생할 확률이 H.264에 의해 인코딩된 데이터의 전송시 에러가 발생할 확률보다 두 배 가량 더 높게 된다.

본 발명에서는 상기와 같이 3D 영상을 구성하는 복수의 영상의 에러 발생이 공통되지 않는 특징을 고려하여, 3D 영상을 구성하는 복수의 영상 중 에러가 발생하지 않은 영상을 이용하여, 에러가 발생한 영상의 에러를 보정(또는 보상)하여 3D 영상의 화질을 높이는 방법을 제시한다.

도 2는 본 발명의 일 예에 따른 3D 영상 처리 장치를 나타내는 블록도이다.

도 2를 참조하면, 본 발명에 따른 3D 영상 처리 장치는 입력부(200), 역다중화부(210), 비디오 디코딩부(220), 3D 영상 동기화부(230), 3D 영상 보정부(235), 3D 영상 합성부(240), 비디오 출력부(250), 오디오 디코딩부(260), 오디오 출력부(270)를 포함한다. 비디오 디코딩부(220)는 제1 비디오 디코딩부(221), 제2 비디오 디코딩부(222)를 포함한다. 입력부(200), 역다중화부(210), 비디오 디코딩부(220), 3D 영상 동기화부(230), 오디오 디코딩부(260), 오디오 출력부(270)의 구체적인 동작은 도 2에서의 설명된 장치의 동작과 동일하므로, 상세한 설명은 생략한다.

본 발명에 따른 3D 영상 처리 장치는 3D 영상 보정부(235)를 더 포함한다. 3D 영상 보정부(235)는 3D 영상 동기화부(230)에서 동기화가 맞추어진 제1 영상 및 제2 영상을 기반으로, 에러 보정 절차를 수행한다. 상기 에러 보정 절차는 에러를 체크하고, 에러가 검출된 경우 상기 에러가 검출된 영상 데이터의 에러를 에러가 검출되지 않은 다른 영상을 기반으로 보정하는 동작을 포함한다. 예를 들어, 상기 제1 영상(또는 상기 제1 영상의 어느 한 블록)에서 에러가 검출된 경우, 상기 제2 영상(또는 상기 제2 영상의 대응 블록)을 기반으로 상기 제1 영상(또는 상기 제1 영상의 상기 어느 한 블록)의 에러를 보정할 수 있다. 다른 예로, 상기 제2 영상(또는 상기 제2 영상의 어느 한 블록)에서 에러가 검출된 경우, 상기 제1 영상(또는 상기 제1 영상의 대응 블록)을 기반으로 상기 제2 영상(또는 상기 제2 영상의 상기 어느 한 블록)의 에러를 보정할 수 있다.

3D 영상 합성부(240)는 에러 보정 절차가 수행된 상기 기본 영상 및 부가 영상을 기반으로 3D 영상으로 생성한 후 비디오 출력부(150)를 통해 디스플레이 수단에서 출력하게 된다.

3D 영상 보정부(235)에서 수행되는 에러 보정 절차는 다음과 같이 수행될 수 있다.

도 3은 본 발명의 일 예에 따른 3D 영상 보정부에 의한 에러 보정 절차를 나타내는 흐름도이다. 이하, 3D 영상을 구성하는 복수의 영상 중, 제1 영상에서 에러가 검출된 경우를 예를 들어 설명한다. 상기 제1 영상이 3D 영상을 구성하는 복수의 영상들 중 임의의 한 영상이 될 수 있음은 당연하다. 예를 들어, 상기 제1 영상은 입체 영상을 구성하는 기준 영상이 될 수 있고, 또는 제1 영상은 상기 입체 영상을 구성하는 부가 영상이 될 수도 있다. 또한, 예를 들어 3D 영상을 구성하는 영상이 3개 이상인 경우, 상기 제1 영상은 상기 3개 이상의 영상 중 어느 하나가 될 수도 있다.

도 3을 참조하면, 3D 영상 보정부는 3D 영상을 구성하는 제1 영상에 대하여 영상의 블록 단위(또는 픽셀 단위)로 에러를 검출(체크)한다(S300). 상기 에러 검출은 해당 영상에 대한 기초 스트림 자체의 특성을 이용해서 수행할 수 있고, 디코딩된 해당 영상의 픽셀 값 또는 픽셀 블록의 값을 비교하여 수행할 수도 있다.

일 예로, 제1 영상이 MPEG-2에 의해 인코딩된 기본 영상의 경우, 상기 3D 영상 보정부는 MPEG-2 디코딩된 결과 영상에 대한 n×n 픽셀들(예를 들어 8×8 픽셀들)의 매크로 블록(macro-block) 단위에서 DC 성분의 레벨(값)을 비교하여 에러를 검출할 수 있다. 보다 상세하게 설명하면, 디코딩된 영상 데이터의 각 매크로 블록 단위로 DCT(Discrete Cosine Transform) 계수(coefficient)에 포함되는 DC(Direct Current) 계수가 주변 블록의 DC 계수와 비교하여 일정 범위 내에 들어가는지 여부를 검출하고, 일정 범위 내에 들어가지 않는 경우, 그 매크로 블럭 내에 에러가 포함되어 있는 것으로 판정할 수 있다. 다시 말하면 각 매크로 블록 단위의 DC를 추출한 후, 어느 하나의 블록에 대한 DC 레벨이 주변 블록의 DC 레벨과 비교하여 일정 범위 내에 들어오는 값이 아닌 경우, 에러가 발생한 에러 블록으로 검출(또는 판단)될 수 있다. 이 경우, 3D 영상 보정부는 표 1과 같은 방식으로 에러 블록을 검출할 수 있다.

y=FindMostSimiliarBlock(x,Neighbor(x))
if(dis(x,y)>T), x is an error-occurred block
else, x is a normal block

표 1을 참조하면, x는 어느 한 블록을 나타내고, Neighbor(x)는 상기 x 주변의 블록들(예를 들어 상기 블록 x를 둘러싸는 8개의 블록들)을 나타낸다. y는 주변 블록들인 Neighbor(x) 중 상기 블록 x와 DC 레벨이 가장 유사한 블록을 의미한다. dis(x,y)는 상기 블록 x의 DC 레벨 및 블록 y의 DC 레벨 사이의 유사도 거리를 나타내고, T는 일정 한도 값을 나타낸다. 즉, 블록 x와 DC 레벨이 가장 유사한 주변 블록인 블록 y의 DC 레벨과 상기 블록 x의 DC 레벨의 유사도 거리가 일정 한도 값인 T보다 큰 경우, 상기 블록 x는 에러 블록으로 판단될 수 있다.

상기와 같이 3D 영상 보정부가 매크로 블록 단위로 에러를 검출하는 경우, 에러 검출이 용이하고, 또한 보정을 위한 시간을 줄일 수 있다.

3D 영상 보정부는 상기 제1 영상에서 에러가 발생한 에러 블록(또는 픽셀)을 검출(detect)한 경우, 상기 제1 영상과 연동되는 상기 제2 영상에서, 상기 에러 블록과 대응되는 대응 블록(또는 픽셀)을 검색(search)한다(S310).

예를 들어, 상기 제1 영상이 MPEG-2에 의해 디코딩된 기준 영상이고, 상기 제2 영상이 H.264(또는 HEVC)에 의해 디코딩된 부가 영상인 경우, 상기 기준 영상에 대한 n×n 픽셀들(예를 들어 8×8 픽셀들)의 매크로 블록 단위에서 에러 블록이 검출된 경우, 상기 부가 영상에 대한 n×n 픽셀들(예를 들어 8×8 픽셀들)의 매크로 블록 단위에서 서로 비교될 수 있다.

먼저 3D 영상 보정부는 제1 영상에 대한 매크로 블록들과 상기 제1 영상과 연동되는 상기 제2 영상에 대한 매크로 블록들 사이의 상관도를 계산하여, 블록 단위에서의 디스패러티(dispartiy)를 계산한다. 상기 제1 영상에 대한 매크로 블록들과 제2 영상에 대한 매크로 블록들 사이의 상관도 계산은 일반적인 3차원 스테레오 매칭(stereo matching) 기법을 이용할 수 있다. 일 예로, 상기 제1 영상에 대한 매크로 블록들과 상기 제2 영상에 대한 매크로 블록들의 각 블록의 값은 각 블록의 DC 레벨(값)이 사용될 수 있다.

예를 들어, 각각의 블록을 하나의 픽셀과 같이 간주하면, 두 블록 사이의 디스패러티는 다음 식과 같이 표시될 수 있으며, 주변의 픽셀에서 코스트(cost)가 최소가 되는 값을 이용하여 디스패러티 값을 계산할 수 있다.

수학식 1을 참조하면, I₁은 제1 영상의 블록(또는 픽셀)값이고, I₂은 제2 영상의 블록(또는 픽셀)값이며, (x, y)는 블록(또는 픽셀)들의 공간 좌표를 나타내는 변수이며, d는 대응되는 두 블록(또는 픽셀) 사이의 공간적인 거리 차이를 나타내는 디스패러티이며, E는 코스트를 나타낸다. 3D 영상 보정부는 상기 수학식 1을 기반으로 코스트가 최소가 되는 값을 이용하여 상기 디스패러티 값을 계산할 수 있다.

이후, 3D 영상 보정부는 에러가 발생한 제1 영상(예를 들어, 기준 영상)의 에러 블록을 제외한 블록들과 상기 제1 영상과 연동되는 제2 영상(예를 들어, 부가 영상)의 블록들의 디스패러티를 이용하여, 에러가 발생하지 않은 제2 영상에서 대응 블록을 검색할 수 있다.

도 4는 본 발명의 일 예에 따른 에러 블록에 대한 대응 블록 검색을 나타낸다. (a)가 제1 영상에 대한 매크로 블록들을 나타내고, (b)가 제2 영상에 대한 매크로 블록들을 나타낸다고 가정한다.

도 4에서 제1 영상에 대한 블록들인 (a)에서의 빗금친 영역이 에러 블록(400)이라고 할 때, 주변 블록들(401, 402, 403, 404, 405, 406, 407, 408)의 디스패러티를 통해서 제2 영상에 대한 블록들인 (b)에서 대응 블록(410)을 검색할 수 있다.

다시 도 3을 참조하면, 3D 영상 보정부는 상기 제1 영상과 연동되는 상기 제2 영상의 대응 블록(또는 픽셀)의 블록(또는 픽셀) 정보를 기반으로 상기 에러가 발생한 제1 영상의 에러 블록(또는 픽셀)을 보정한다(S320). 여기서 에러가 발생한 블록을 보정한다 함은 상기 에러가 발생한 블록 내의 에러 픽셀을 보정함을 포함한다. 3D 영상 보정부는 상기 에러 블록의 디스패러티 변화량과 상기 대응 블록의 디스패러티 변화량이 유사하지 않은 경우에 상기 대응 블록의 블록 정보를 기반으로 상기 에러 블록을 보정할 수도 있다. 다시 말하면, 3D 영상 보정부는 상기 에러 블록의 주변 블록들과 상기 에러 블록의 디스패러티 변화량과 상기 대응 블록의 주변 블록들과 상기 대응 블록의 디스패러티 변화량의 차이가 일정 한도 이상인 경우에 상기 대응 블록의 블록 정보를 기반으로 상기 에러 블록을 보정할 수도 있다. 여기서 디스패러티 변화량이라 함은 해당 블록과 주변 블록들의 디스패러티 변화량을 의미할 수 있다.

상기 일예에서 대응 블록의 검색과정에서 이전 프레임의 동일 블록에서의 디스패러티 값이 존재하는 경우, 이를 참조하여 사용할 수 있다. 예를 들어 에러 블록을 제외한 블록의 값이 이전 프레임과 유사할 경우, 이전 프레임에서 계산된 디스패러티 값을 사용하여 현재 블록의 디스패러티로 사용할 수 있다.

또한, 3D 영상 보정부는 상기 에러 블록과 상기 에러 블록의 주변 블록들과의 색상 차이가, 상기 대응 블록과 상기 대응 블록의 주변 블록들과의 색상 차이와 유사하지 않은 경우, 상기 대응 블록의 색상 또는 상기 대응 블록의 주변 블록들과의 색상 차이를 기반으로 에러 블록을 보정할 수도 있다.

3D 영상 보정부는 상기 대응 블록의 색상을 에러 블록에 단순히 복사하여 보정할 수 있고, 또는 상기 대응 블록과 상기 대응 블록의 주변 블록들과의 색상 차이 값을 기반으로, 상기 에러 블록을 보정할 수도 있다.

도 5는 본 발명의 일 예에 따른 3D 영상 보정부를 나타내는 블록도이다.

도 5를 참조하면, 3D 영상을 구성하는 제1 영상 및 제2 영상에 대한 에러 보정을 수행하는 3D 영상 보정부(50)는 에러 블록 검출기(500), 대응 블록 검색기(510), 및 보정기(520)를 포함한다.

에러 블록 검출기(500)는 상기 제1 영상에서 블록 단위로 에러를 판단하고, 에러 블록을 검출한다. 에러 블록 검출기(500)는 상기 제1 영상의 n×n 픽셀들의 매크로 블록 단위에서 DC 레벨을 추출하고, 어느 한 블록의 DC 레벨을 주변 블록의 DC 레벨과 비교함으로써 에러 블록을 검출할 수 있다. 예를 들어, 상기 제1 영상의 n×n 픽셀들의 매크로 블록 단위라 함은 상기 제1 영상의 8×8 픽셀들의 매크로 블록 단위인 것을 포함한다. 또한 상기 에러 블록 검출기(500)는 상술한 표 1의 설명과 같이 상기 어느 한 블록의 주변 블록들 중에서 상기 어느 한 블록과 DC 레벨이 가장 유사한 블록의 DC 레벨과 상기 어느 한 블록의 DC 레벨의 차이가 일정 한도 이상인 경우, 상기 어느 한 블록을 상기 에러 블록으로 검출할 수 있다.

대응 블록 검색기(510)는 상기 제2 영상에서 상기 검출된 에러 블록에 대응하는 대응 블록을 검색한다. 대응 블록 검색기(510)는 상기 제1 영상의 n×n 픽셀들의 매크로 블록 단위와 상기 제2 영상의 n×n 픽셀들의 매크로 블록 단위에서의 디스패러티를 계산하고, 상기 블록 단위에서의 디스패러티를 기반으로 상기 제2 영상에서 상기 대응 블록을 검색할 수 있다. 이 경우 대응 블록 검색기(510)는 상술한 수학식 1을 사용하여 상기 디스패러티를 계산할 수 있다.

보정기(520)는 상기 대응 블록의 블록 정보를 기반으로 상기 에러 블록의 에러를 보정한다. 보정기(520)는 상기 대응 블록의 색상을 상기 에러 블록에 복사하여 상기 에러 블록을 보정할 수 있다. 또한 보정기(520)는 상기 대응 블록과 상기 대응 블록의 주변 블록들의 색상차를 기반으로, 상기 에러 블록을 보정할 수도 있다.

도 6은 볼 발명의 일 예에 따른 3D 영상 처리 장치에 의한 3D 영상 처리 방법을 나타낸다.

3D 영상 처리 장치는 3D 영상을 구성하는 제1 영상 및 제2 영상의 동기를 맞춘다(S600).

3D 영상 처리 장치는 상기 제1 영상에서 에러 블록을 검출한다(S610). 3D 영상 처리 장치는 상기 제1 영상의 n×n 픽셀들의 매크로 블록 단위(예를 들어, 8×8 픽셀들의 매크로 블록 단위)에서 DC 레벨을 추출하고, 어느 한 블록의 DC 레벨을 주변 블록의 DC 레벨과 비교함으로써, 상기 에러 블록을 검출할 수 있다. 예를 들어, 상술한 표 1의 설명과 같이 3D 영상 처리 장치는 상기 어느 한 블록의 주변 블록 중에서, 상기 어느 한 블록과 DC 레벨이 가장 유사한 블록의 DC 레벨과 상기 어느 한 블록의 DC 레벨의 차이가 일정 한도 이상인 경우에, 상기 어느 한 블록을 상기 에러 블록으로 검출할 수 있다.

3D 영상 처리 장치는 상기 제2 영상에서 상기 에러 블록에 대응하는 대응 블록을 검색한다(S620). 3D 영상 처리 장치는 상기 대응 블록을 검색함에 있어, 상기 제1 영상의 n×n 픽셀들의 매크로 블록 단위와 상기 제2 영상의 n×n 픽셀들의 매크로 블록 단위에서의 디스패러티를 계산하고, 상기 블록 단위에서의 디스패러티를 기반으로, 상기 제2 영상에서 상기 대응 블록을 검색할 수 있다. 이 경우 3D 영상 처리 장치는 상술한 수학식 1을 기반으로 상기 디스패러티를 계산할 수 있다.

3D 영상 처리 장치는 상기 대응 블록의 블록 정보를 기반으로 상기 에러 블록을 보정한다(S630). 3D 영상 처리 장치는 상기 대응 블록의 색상을 상기 에러 블록에 복사하여, 상기 에러 블록을 보정할 수 있다. 또한 3D 영상 처리 장치는 상기 대응 블록과 상기 대응 블록의 주변 블록들의 색상 차를 기반으로 상기 에러 블록을 보정할 수도 있다. 또한, 3D 영상 보정 장치는 상기 에러 블록의 주변 블록들과 상기 에러 블록의 디스패러티 변화량과 상기 대응 블록의 주변 블록들과 상기 대응 블록의 디스패러티 변화량의 차이가 일정 한도 이상인 경우에 한하여 상기 대응 블록의 블록 정보를 기반으로 상기 에러 블록을 보정할 수도 있다. 또한, 3D 영상 처리 장치는 상기 에러 블록과 상기 에러 블록의 주변 블록들과의 색상 차이가, 상기 대응 블록과 상기 대응 블록의 주변 블록들과의 색상 차이와 유사하지 않은 경우, 상기 대응 블록의 색상 또는 상기 대응 블록의 주변 블록들과의 색상 차이를 기반으로 에러 블록을 보정할 수도 있다.

3D 영상 처리 장치는 상기 에러 블록이 보정된 제1 영상과 상기 제2 영상을 합성하여 상기 3D 영상을 생성한다(S640). 3D 영상 처리 장치는 에러가 보정된 3D 영상을 생성할 수 있다.

전술한 장치 및 이를 포함하는 시스템은 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 하드웨어 구현에 있어서, 방송프로그램의 녹화를 위하여 사용된 모듈은 하나 이상의 주문형 직접회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 장치(DSPD), 프로그램 가능 논리 장치(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 프로세서, 제어기, 마이크로-제어기, 마이크로프로세서, 여기에 기술한 기능들을 수행하도록 설계된 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어는 여기에 기술된 기능들을 수행하는 모듈을 통해 구현될 수 있다. 소프트웨어 코드는 메모리 유닛들에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에서 구현될 수 있으며, 이 경우에 메모리는 공지된 다양한 수단을 통해 프로세서와 연결될 수 있다.

한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현할 수 있다. 그리고, 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체(CD, DVD와 같은 유형적 매체뿐만 아니라 반송파와 같은 무형적 매체)를 포함한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

3D(3 dimension) 영상을 구성하는 제1 영상에서 블록 단위로 에러를 판단하고, 에러 블록을 검출하는 에러 블록 검출기(detector);
상기 3D 영상을 구성하고, 상기 제1 영상과 연동되는 제2 영상에서 상기 검출된 에러 블록에 대응하는 대응 블록을 검색하는 대응 블록 검색기(searcher); 및
상기 대응 블록의 블록 정보를 기반으로 상기 에러 블록의 에러를 보정하는 보정기(corrector)를 포함하고,
상기 보정기는 상기 에러 블록의 주변 블록들과 상기 에러 블록의 디스패러티 변화량1과 상기 대응 블록의 주변 블록들과 상기 대응 블록의 디스패러티 변화량2의 차이가 일정 한도 이상인 경우에 상기 대응 블록의 블록 정보를 기반으로 상기 에러 블록을 보정함을 특징으로 하는, 3D 영상 보정부.
제 1항에 있어서,
상기 에러 블록 검출기는 상기 제1 영상의 n×n 픽셀들의 매크로 블록 단위에서 DC 레벨을 추출하고, 어느 한 블록의 DC 레벨을 주변 블록의 DC 레벨과 비교함으로써 상기 에러 블록을 검출하는 것을 특징으로 하는, 3D 영상 보정부.
제 2항에 있어서,
상기 에러 블록 검출기는 상기 어느 한 블록의 주변 블록들 중에서, 상기 어느 한 블록과 DC 레벨이 가장 유사한 블록의 DC 레벨과 상기 어느 한 블록의 DC 레벨의 차이가 일정 한도 이상인 경우, 상기 어느 한 블록을 상기 에러 블록으로 검출하는 것을 특징으로 하는, 3D 영상 보정부.
제 2항에 있어서,
상기 에러 블록 검출기는 상기 제1 영상의 8×8 픽셀들의 매크로 블록 단위에서 상기 DC 레벨을 추출하는 것을 특징으로 하는, 3D 영상 보정부.
제 1항에 있어서
상기 대응 블록 검색기는 상기 제1 영상의 n×n 픽셀들의 매크로 블록 단위와 상기 제2 영상의 n×n 픽셀들의 매크로 블록 단위에서의 디스패러티를 계산하고, 상기 블록 단위에서의 디스패러티를 기반으로 상기 제2 영상에서 상기 대응 블록을 검색하는 것을 특징으로 하는, 3D 영상 보정부.
제 1항에 있어서,
상기 보정기는 상기 대응 블록의 색상을 상기 에러 블록에 복사하여 상기 에러 블록을 보정하는 것을 특징으로 하는, 3D 영상 보정부.
제 1항에 있어서,
상기 보정기는 상기 대응 블록과 상기 대응 블록의 주변 블록들의 색상 차를 기반으로 상기 에러 블록을 보정하는 것을 특징으로 하는, 3D 영상 보정부.
3D 영상 처리 장치로서,
3D 영상을 구성하는 제1 영상 및 제2 영상의 동기를 맞추는 3D 영상 동기화부;
상기 제1 영상에서 에러 블록을 검출하고, 상기 제2 영상에서 대응 블록을 검색하여, 상기 대응 블록의 블록 정보를 기반으로 상기 에러 블록을 보정하는 3D 영상 보정부; 및
상기 보정된 제1 영상 및 상기 제2 영상을 합성하여 3D 입체 영상을 생성하는 합성부를 포함하고,
상기 3D 영상 보정부는 상기 에러 블록의 주변 블록들과 상기 에러 블록의 디스패러티 변화량1과 상기 대응 블록의 주변 블록들과 상기 대응 블록의 디스패러티 변화량2의 차이가 일정 한도 이상인 경우에 상기 대응 블록의 블록 정보를 기반으로 상기 에러 블록을 보정함을 특징으로 하는, 3D 영상 처리 장치.
제 8항에 있어서,
상기 3D 영상 보정부는 상기 제1 영상의 n×n 픽셀들의 매크로 블록 단위에서 DC 레벨을 추출하고, 어느 한 블록의 DC 레벨을 주변 블록의 DC 레벨과 비교함으로써 상기 에러 블록을 검출함을 특징으로 하는, 3D 영상 처리 장치.
제 9항에 있어서,
상기 3D 영상 보정부는 상기 어느 한 블록의 주변 블록들 중에서, 상기 어느 한 블록과 DC 레벨이 가장 유사한 블록의 DC 레벨과 상기 어느 한 블록의 DC 레벨의 차이가 일정 한도 이상인 경우, 상기 어느 한 블록을 상기 에러 블록으로 검출하는 방법을 포함함을 특징으로 하는, 3D 영상 처리 장치.
삭제
제 8항에 있어서
상기 3D 영상 보정부는 상기 제1 영상의 n×n 픽셀들의 매크로 블록 단위와 상기 제2 영상의 n×n 픽셀들의 매크로 블록 단위에서의 디스패러티를 계산하고, 상기 블록 단위에서의 디스패러티를 기반으로 상기 제2 영상에서 상기 대응 블록을 검색함을 특징으로 하는, 3D 영상 처리 장치.
제 8항에 있어서,
상기 3D 영상 보정부는 상기 대응 블록의 색상을 상기 에러 블록에 복사하여 상기 에러 블록을 보정함을 특징으로 하는, 3D 영상 처리 장치.
제 8항에 있어서,
상기 3D 영상 보정부는 상기 대응 블록과 상기 대응 블록의 주변 블록들의 색상 차를 기반으로 상기 에러 블록을 보정함을 특징으로 하는, 3D 영상 처리 장치.
3D 영상을 처리하는 방법으로,
상기 3D 영상을 구성하는 제1 영상 및 제2 영상의 동기를 맞추는 단계;
상기 제1 영상에서 에러 블록을 검출하는 단계;
상기 제2 영상에서 상기 에러 블록에 대응하는 대응 블록을 검색하는 단계;
상기 대응 블록의 블록 정보를 기반으로 상기 에러 블록을 보정하는 단계; 및
상기 에러 블록이 보정된 제1 영상과 상기 제2 영상을 합성하여 3D 영상을 생성하는 단계를 포함하고,
상기 에러 블록을 보정하는 단계는 상기 에러 블록의 주변 블록들과 상기 에러 블록의 디스패러티 변화량1과 상기 대응 블록의 주변 블록들과 상기 대응 블록의 디스패러티 변화량2의 차이가 일정 한도 이상인 경우에 수행됨을 특징으로 하는, 3D 영상 처리 방법.
제 15항에 있어서,
상기 에러 블록을 검출하는 단계는 상기 제1 영상의 n×n 픽셀들의 매크로 블록 단위에서 DC 레벨을 추출하고, 어느 한 블록의 DC 레벨을 주변 블록의 DC 레벨과 비교함으로써 상기 에러 블록을 검출함을 포함함을 특징으로 하는, 3D 영상 처리 방법.
제 16항에 있어서,
상기 에러 블록을 검출하는 단계는 상기 어느 한 블록의 주변 블록들 중에서, 상기 어느 한 블록과 DC 레벨이 가장 유사한 블록의 DC 레벨과 상기 어느 한 블록의 DC 레벨의 차이가 일정 한도 이상인 경우, 상기 어느 한 블록을 상기 에러 블록으로 검출함을 특징으로 하는, 3D 영상 처리 방법.
제 15항에 있어서
상기 대응 블록을 검색하는 단계는 상기 제1 영상의 n×n 픽셀들의 매크로 블록 단위와 상기 제2 영상의 n×n 픽셀들의 매크로 블록 단위에서의 디스패러티를 계산하고, 상기 블록 단위에서의 디스패러티를 기반으로 상기 제2 영상에서 상기 대응 블록을 검색함을 포함함을 특징으로 하는, 3D 영상 처리 방법.
제 15항에 있어서,
상기 에러 블록을 보정하는 단계는 상기 대응 블록의 색상을 상기 에러 블록에 복사하여 상기 에러 블록을 보정함을 포함함을 특징으로 하는, 3D 영상 처리 방법.
제 15항에 있어서,
상기 에러 블록을 보정하는 단계는 상기 대응 블록과 상기 대응 블록의 주변 블록들의 색상 차를 기반으로 상기 에러 블록을 보정함을 포함함을 특징으로 하는, 3D 영상 처리 방법.