KR20140124919A

KR20140124919A - 객체 기반 적응적 밝기 보상 방법 및 장치

Info

Publication number: KR20140124919A
Application number: KR20130040913A
Authority: KR
Inventors: 김경용; 박광훈; 배동인; 이윤진; 허영수
Original assignee: 인텔렉추얼디스커버리 주식회사
Priority date: 2013-04-15
Filing date: 2013-04-15
Publication date: 2014-10-28
Also published as: US20160073110A1; WO2014171709A1; KR102105323B1

Abstract

본 발명의 실시 예에 따른 밝기 보상 방법은 부호화된 영상을 포함하는 비트스트림을 수신하는 단계; 인트라(Intra) 모드 또는 인터(Inter) 모드에 따라 상기 비트스트림에 대한 예측 복호화를 수행하는 단계; 및 복호화 할 현재 픽처의 밝기를 이전에 복호화 된 예측 픽처 밝기에 따라 보상하는 단계를 포함하고, 상기 밝기를 보상하는 단계는 상기 비트스트림에 포함된 깊이 정보에 기초하여 화소 단위별로 적응적으로 보상하는 단계를 포함한다.

Description

객체 기반 적응적 밝기 보상 방법 및 장치 {A method for adaptive illuminance compensation based on object and an apparatus using it}

본 발명은 깊이 정보를 이용하여 효율적으로 영상을 부호화 및 복호화하는 방법에 관한 것이다.

3차원 비디오는 3차원 입체 디스플레이 장치를 통해 사용자에게 실세계에서 보고 느끼는 것과 같은 입체감을 생생하게 제공한다. 이와 관련된 연구로써 ISO/IEC의 MPEG(Moving Picture Experts Group)과 ITU-T의 VCEG(Video Coding Experts Group)의 공동 표준화 그룹인 JCT-3V(The Joint Collaborative Team on 3D Video Coding Extension Development)에서 3차원 비디오 표준이 진행 중이다. 3차원 비디오 표준은 실제 영상과 그것의 깊이 정보 맵을 이용하여 스테레오스코픽 영상뿐만 아니라 오토 스테레오스코픽 영상의 재생 등을 지원할 수 있는 진보된 데이터 형식과 그에 관련된 기술에 대한 표준을 포함하고 있다.

본 발명에서는 깊이 정보를 이용하여 영상 부호화/복호화에 적용되는 밝기 보상을 효율적으로 수행할 수 있도록 하는 방법을 제안한다.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 밝기 보상 방법은 부호화된 영상을 포함하는 비트스트림을 수신하는 단계; 인트라(Intra) 모드 또는 인터(Inter) 모드에 따라 상기 비트스트림에 대한 예측 복호화를 수행하는 단계; 및 복호화 할 현재 픽처의 밝기를 이전에 복호화 된 예측 픽처 밝기에 따라 보상하는 단계를 포함하고, 상기 밝기를 보상하는 단계는 상기 비트스트림에 포함된 깊이 정보에 기초하여 객체 단위별로 적응적으로 보상하는 단계를 포함한다.

본 발명은 밝기 보상을 수행함에 있어 깊이정보맵을 표본으로 사용하여 각 객체에 대한 보상 값을 유도함으로써, 영상의 부호화 효율을 향상 시킬 수 있다.

도 1은 3차원 비디오 시스템의 기본 구조와 데이터 형식에 대한 일 예를 나타내는 도면이다.
도 2는 실제 영상과 깊이 정보 맵 영상에 대한 일 예를 나타내는 도면이다.
도 3은 영상 부호화 장치의 구성에 대한 일 예를 나타내는 블록도이다.
도 4는 영상 복호화 장치의 구성에 대한 일 예를 나타내는 블록도이다.
도 5는 밝기 보상 방법에 대한 일 예를 설명하기 위한 블록도이다.
도 6은 텍스쳐 휘도와 깊이 정보 맵 사이의 관계를 설명하기 위한 도면이다.
도 7은 시점 간 예측 시 밝기 보상을 위해 표본을 구성하는 방법에 대한 일 예를 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따른 객체기반 적응적 밝기보상 방법을 설명하기 위한 도면이다.
도 9는 깊이 정보 값을 이용하여 밝기 보상을 위한 표본을 구성하는 방법에 대한 일실시예를 나타내는 도면이다.
도 10은 본 발명의 제1 실시예에 따른 밝기 보상 방법을 설명하기 위한 도면이다.
도 10a는 본 발명의 제1 실시예에 따른 밝기 보상 방법을 나타내는 흐름도이다.
도 11은 본 발명의 제2 실시예에 따른 밝기 보상 방법을 설명하기 위한 도면이다.
도 11a는 본 발명의 제2 실시예에 따른 밝기 보상 방법을 나타내는 흐름도이다.
도 12는 객체 단위 밝기 보상 수행 시 텍스쳐의 현재 픽처와 예측 픽처의 표본을 설정하는 방법에 대한 일실시예를 나타내는 도면이다.
도 13은 깊이 정보 맵에 대한 예들을 나타내는 도면이다.
도 14는 깊이 값 구간을 설정하는 방법에 대한 실시예들을 나타내는 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물 뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.

도 1은 3차원 비디오 시스템의 기본 구조와 데이터 형식에 대한 일 예를 도시한 것이다.

3차원 비디오 표준에서 고려하고 있는 기본적인 3차원 비디오 시스템은 도 1과 같고, 도 1에서 도시하듯 3차원 비디오 표준에서 사용 중인 깊이 정보 영상은 일반 영상과 함께 부호화되어 비트스트림으로 단말에 전송된다. 송신 측에서는 스테레오 카메라, 깊이 정보 카메라, 다시점 카메라, 2차원 영상을 3차원 영상으로 변환 등을 이용하여 N(N≥2) 시점의 영상 콘텐츠를 획득한다. 획득된 영상 콘텐츠에는 N 시점의 비디오 정보와 그것의 깊이 정보 맵(Depth-map) 정보 그리고 카메라 관련 부가정보 등이 포함될 수 있다. N 시점의 영상 콘텐츠는 다시점 비디오 부호화 방법을 사용하여 압축되며, 압축된 비트스트림은 네트워크를 통해 단말로 전송된다. 수신 측에서는 전송받은 비트스트림을 다시점 비디오 복호화 방법을 사용하여 복호화하여 N 시점의 영상을 복원한다. 복원된 N 시점의 영상은 깊이 정보 맵 기반 랜더링(DIBR; Depth-Image-Based Rendering) 과정에 의해 N 시점 이상의 가상시점 영상들을 생성한다. 생성된 N 시점 이상의 가상시점 영상들은 다양한 입체 디스플레이 장치에 맞게 재생되어 사용자에게 입체감이 있는 영상을 제공하게 된다.

가상시점 영상을 생성하는데 사용되는 깊이 정보 맵은 실세계에서 카메라와 실제 사물(object) 간의 거리(실사 영상과 동일한 해상도로 각 화소에 해당하는 깊이 정보)를 일정한 비트수로 표현한 것이다. 깊이 정보 맵의 예로써, 도 2는 국제 표준화 기구인 MPEG의 3차원 비디오 부호화 표준에서 사용 중인 "balloons" 영상(도 2 (a))과 그것의 깊이 정보 맵(도 2 (b))을 보여주고 있다. 실제 도 2의 깊이 정보 맵은 화면에 보이는 깊이 정보를 화소당 8비트로 표현한 것이다.

실제 영상과 그것의 깊이 정보 맵을 부호화하는 방법의 일 예로, 현재까지 개발된 비디오 부호화 표준 중에서 최고의 부호화 효율을 가지는 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)에서 공동으로 표준화를 진행 중인 HEVC(High Efficiency Video Coding)를 이용하여 부호화를 수행할 수 있다.

도 3은 영상 부호화 장치의 구성에 대한 일 예를 블록도로 도시한 것으로, H.264의 부호화 구조도를 나타낸 것이다.

도 3을 참조하면, H.264 부호화 구조도에서 데이터를 처리하는 단위는 가로 세로 16x16화소 크기의 매크로블록(Macroblock)이며, 영상을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 부호화를 수행하고 비트스트림을 출력한다.

인트라 모드일 경우, 스위치가 인트라로 전환이 되며, 인터 모드일 경우에는 스위치가 인터로 전환이 된다. 부호화 과정의 주요한 흐름은 먼저 입력된 블록 영상에 대한 예측 블록을 생성한 후, 입력된 블록과 예측 블록의 차분을 구해 그 차분을 부호화하는 것이다.

먼저 예측 블록의 생성은 인트라 모드와 인터 모드에 따라 수행이 된다. 먼저 인트라 모드일 경우에는 인트라 예측 과정에서 현재 블록의 이미 부호화된 주변 화소값을 이용하여 공간적 예측으로 예측 블록을 생성하며, 인터 모드일 경우에는 움직임 예측 과정에서 참조 영상 버퍼에 저장되어 있는 참조 영상에서 현재 입력된 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터(Motion Vector)를 구한 후, 구한 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.

상기 설명한 것과 같이 현재 입력된 블록과 예측 블록의 차분을 구하여 잔여 블록(Residual Block)을 생성한 후, 이에 대한 부호화을 수행한다. 블록을 부호화하는 방법은 크게 인트라 모드와 인터 모드로 나누어진다. 예측 블록의 크기에 따라 인트라 모드일 경우에는 16x16, 8x8, 4x4 인트라 모드로 나누어지며, 인터 모드일 경우에는 16x16, 16x8, 8x16, 8x8 인터 모드로 나누어지고 8x8 인터 모드일 경우에는 다시 8x8, 8x4, 4x8, 4x4 서브 인터 모드로 나누어진다.

잔여 블록에 대한 부호화는 변환, 양자화, 엔트로피(Entropy) 부호화의 순서로 수행이 된다. 먼저 16x16 인트라 모드로 부호화되는 블록은 차분 블록에 변환을 수행하여 변환계수를 출력하고, 출력된 변환계수 중에서 DC 계수만을 모아서 다시 하다마드 변환을 수행하여 하다마드 변환된 DC 계수를 출력한다.

16x16 인트라 모드를 제외한 다른 부호화 모드로 부호화되는 블록에서 변환 과정은 입력된 잔여 블록을 입력 받아 변환(Transform)을 수행하여 변환계수(Transform Coefficient)를 출력한다.

그리고 양자화 과정에서는 입력된 변환계수를 양자화 파라미터에 따라 양자화를 수행한 양자화된 계수(Quantized Coefficient)를 출력한다. 그리고 엔트로피 부호화 과정에서는 입력된 양자화된 계수를 확률 분포에 따른 엔트로피 부호화를 수행하여 비트스트림으로 출력된다. H.264는 프레임간(Inter-frame) 예측 부호화를 수행하기 때문에 현재 부호화된 영상을 이후에 입력된 영상의 참조 영상으로 사용하기 위해 복호화하여 저장할 필요가 있다.

따라서 양자화된 계수를 역양자화과정과 역변환을 수행하여 예측 영상과 가산기를 통해 재구성된 블록을 생성한 다음 디블록킹 필터를 통해 부호화 과정에서 발생한 블록킹 현상(Blocking Artifact)을 제거한 후, 참조 영상 버퍼에 저장한다.

도 4는 영상 복호화 장치의 구성에 대한 일 예를 블록도로 도시한 것으로, H.264의 복호화 구조도를 나타낸 것이다.

도 4를 참조하면, H.264 복호화 구조도에서 데이터를 처리하는 단위는 가로 세로 16x16화소 크기의 매크로블록(Macroblock)이며, 비트스트림을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 복호화가 수행되어 재구성된 영상을 출력한다.

인트라 모드일 경우, 스위치가 인트라로 전환이 되며, 인터 모드일 경우에는 스위치가 인터로 전환이 된다. 복호화 과정의 주요한 흐름은 먼저 예측 블록을 생성한 후, 입력 받은 비트스트림을 복호화한 결과 블록과 예측 블록을 더하여 재구성된 블록을 생성하는 것이다.

먼저 예측 블록의 생성은 인트라 모드와 인터 모드에 따라 수행이 된다. 먼저 인트라 모드일 경우에는 인트라 예측 과정에서 현재 블록의 이미 부호화된 주변 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성하며,

인터 모드일 경우에는 움직임 벡터를 이용하여 참조 영상 버퍼에 저장되어 있는 참조 영상에서 영역을 찾아 움직임 보상을 수행함으로써 예측 블록을 생성한다.

엔트로피 복호화 과정에서는 입력된 비트스트림을 확률 분포에 따른 엔트로피 복호화를 수행하여 양자화된 계수(Quantized Coefficient)를 출력한다. 양자화된 계수를 역양자화 과정과 역 변환을 수행하여 예측 영상과 가산기를 통해 재구성된 블록을 생성한 다음 디블록킹 필터를 통해 블록킹 현상(Blocking Artifact)를 제거한 후, 참조 영상 버퍼에 저장한다.

실제 영상과 그것의 깊이 정보 맵을 부호화하는 또 다른 방법의 일 예로 현재 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)에서 공동으로 표준화를 진행 중인 HEVC(High Efficiency Video Coding)를 사용할 수 있다. 이는 HD, UHD 영상뿐만 아니라 3D 방송 및 이동통신망에서도 현재보다 낮은 주파수 대역폭으로 고화질의 영상을 제공할 수 있다.

HEVC에서는 부호화 단위 및 구조, 화면 간(Inter) 예측, 화면 내(Intra) 예측, 보간(Interpolation), 필터링(filtering), 변환(Transform) 방법 등 다양한 새로운 알고리즘들을 포함하고 있다.

3차원 비디오 부호화 시 예측 부호화를 사용할 때, 부호화 할 현재 픽처와 이전에 부호화 된 예측 픽처 간의 휘도가 전체적으로 또는 부분적으로 차이가 나게 된다. 그 이유는 카메라나 조명의 위치 및 상태가 매 순간 변화하기 때문이다. 이것을 보완하기 위하여 밝기 보상 방법이 제안되어 왔다.

도 5는 밝기 보상 방법에 대한 일 예를 설명하기 위한 블록도이다.

도 5를 참조하면, 밝기 보상 방법들은 현재블록 주변의 화소들과 참조 영상에서 예측블록 주변의 화소들을 표본으로 하여 표본 간 밝기 차를 구하고, 그것을 통해 밝기 보상 가중치와 오프셋 값을 계산하는 방법들이다.

이러한 기존 밝기 보상 방법들은 블록 단위로 보상이 수행되며, 또한 하나의 블록 내의 모든 화소 값들에 모두 동일한 밝기 가중치와 오프셋 값이 적용된다.

위의 수학식 (1)에서 Pred[x,y]는 밝기 보상된 예측 블록을 의미하며, Rec[x,y]는 참조영상의 예측 블록을 의미한다. 또한 식에서 α 값과 β값은 각각 가중치와 오프셋 값을 의미한다.

밝기 보상을 수행 할 블록 내부의 화소들이 평탄하지 않고, 배경과 객체와 같이 복수개의 서로 다른 영역들로 구성 되는 경우가 많다. 객체의 위치에 따라 휘도의 변화 정도가 객체마다 다르게 나타나므로, 기존 방법과 같이 블록 내부의 모든 화소들에 대하여 동일한 보상 값을 사용하는 방법은 최적이 아니다.

따라서 블록 내부의 객체를 구분하여 각각의 객체에 대한 보상 값을 사용하는 방법이 필요하다.

본 발명의 일실시예에 따르면, 3차원 비디오 부호화에서 부가정보로 이용되는 깊이 정보 맵을 사용하면 객체들의 구분이 가능하므로, 제안하는 방법을 통해 객체 단위의 밝기 보상을 효과적으로 사용할 수 있다.

기존 방법은 블록단위의 밝기보상을 하지만 본 발명은 깊이 정보 맵을 이용한 객체단위의 적응적 밝기보상을 제안한다.

3차원 비디오 부호화에서 텍스처 휘도에 대하여 밝기 보상을 수행할 때, 카메라 이동에 따른 휘도의 변화 정도가 객체의 위치에 따라 다르게 나타날 수 있다. 따라서 객체단위로 밝기 보상을 수행하면 더 좋은 효율을 보일 수 있다.

도 6은 텍스쳐 휘도와 깊이 정보 맵 사이의 관계를 설명하기 위한 도면이다.

도 6에 도시된 바와 같이, 텍스처 휘도와 깊이 정보 맵은 객체 경계선이 거의 일치하며, 깊이 정보 맵 상에서 서로 다른 객체에 속하는 깊이 값들이 특정 임계 점을 기준으로 명확하게 구분된다. 따라서 깊이 정보 맵을 기반으로 객체단위로 밝기 보상을 수행하는 것이 가능하다.

한편, 밝기 보상을 위한 가중치와 오프셋 값을 비트스트림에 포함시키는 경우, 비트 량이 증가하는 단점이 있다. 따라서 이러한 비트 량 증가를 해결하기 위해, 밝기 보상을 위한 가중치와 오프셋 값은 현재 블록의 주변 블록과 참조 영상의 대응 블록의 주변 블록을 통해 구해진다. 즉, 기존의 적응적 밝기보상 방법은 보상 값을 명시적으로 전송하지 않기 위해 텍스쳐 상의 현재블록 및 예측블록의 주변의 화소들을 이용한다.

도 7은 시점 간 예측 시 밝기 보상을 위해 표본을 구성하는 방법에 대한 일 예를 도시한 것이다.

도 7을 참조하면, 복호 시점에서 현재 블록의 화소들을 알 수 없으므로 현재블록과 예측블록의 주변 화소 값들을 표본으로 하여, 표본 간의 차이를 기반으로 보상 값을 유도한다.

여기서 표본이란 현재표본은 현재블록 주변의 화소들을 의미하며, 예측표본은 예측블록 주변의 화소들을 의미한다.

현재표본 = 현재블록 주변 화소 집합

예측표본 = 예측 화면(참조영상)에서 예측블록 주변 화소 집합

보상 값 = f(현재표본, 예측표본). f=두 표본을 이용하여 보상 값을 계산하는 임의 함수

본 발명의 일실시예에 따른 객체기반 적응적 밝기보상 방법은, 추가적으로 깊이 정보 맵을 표본으로 사용하여 각 객체에 대한 보상 값을 유도하는데 사용한다.

본 발명의 일실시예에서, 객체를 구분하는 핵심 요점은 각 객체의 깊이정보 값은 동일할 것이라는 가정이다.

도 8은 본 발명의 일실시예에 따른 객체기반 적응적 밝기보상 방법을 설명하기 위한 도면이다.

도 8에서 사용된 용어의 정의는 다음과 같다.

현재표본 = 현재블록 주변 화소 집합

현재 깊이 표본 = 현재 깊이 블록 주변 깊이 값 집합

예측 깊이 표본 = 예측 깊이 맵(참조 깊이 정보 영상)에서 예측 깊이 블록 주변 깊이 값 집합

객체단위 보상 값 = g(현재표본, 예측표본, 현재 깊이 표본, 예측 깊이 표본). g=텍스처 및 깊이 표본들을 이용하여 보상 값을 계산하는 임의 함수

본 발명의 일실시예에 따르면, 객체를 구분 할 때, 텍스쳐 뿐 아니라 깊이 정보를 이용한다. 여기서 깊이 정보 맵을 부가정보로 사용하여 텍스쳐의 밝기 보상 값을 유도하는 방법은 다양하게 적용할 수 있다.

깊이 정보를 이용한 화소 단위 밝기 보상

본 발명의 일실시예에 따르면, 텍스쳐 블록에 대응하는 깊이 정보 맵 블록의 주변 블록들의 깊이 정보 값들을 표본으로 구성한 후, 현재 텍스쳐 블록 내부의 각 화소 또는 일정 구간의 화소 집합에 대한 독립적인 보상 값을 유도하는데 이용할 수 있다.

도 9는 깊이 정보 값을 이용하여 밝기 보상을 위한 표본을 구성하는 방법에 대한 일실시예를 도시한 것이다.

도 9를 참조하면, X, A, B는 각각 현재 블록, 현재 블록의 좌 블록, 현재 블록의 상단 블록을 나타낸다.

복호 시 현재 블록의 화소 정보를 알 수 없으므로, 현재 블록 X의 주변에 위치하는 화소들과 예측블록 XR의 주변에 위치하는 화소들을 텍스쳐에 대한 표본으로 사용한다. 일례로 X와 XR의 주변 블록인 A, B, AR, BR 내의 화소들의 전체 또는 일부를 텍스쳐에 대한 표본으로 사용할 수 있다.

또한, 현재 깊이 정보블록 DX와 예측 깊이 정보블록 DXR 주변에 위치하는 화소들을 깊이 정보에 대한 표본으로 사용한다. 일례로 DX와 DXR의 주변 블록인 DA, DB, DAR, DBR 내의 화소들의 전체 또는 일부를 깊이 정보에 대한 표본으로 사용할 수 있다.

먼저, 깊이 정보 표본에서 각각의 깊이 정보 값에 대한 텍스쳐 화소의 밝기 보상 값인 Ek 를 구한다. 여기서 k는 깊이 정보 값의 전체 범위내의 임의 값 또는 임의 범위를 의미한다. 일례로, 깊이 정보 값의 전체 범위가 폐구간 [0, 255]일 때, k는 0, 1, 2, 3 등의 임의 값이 될 수 있고 또는 [0, 15], [16, 31], [32, 47] 등의 임의 범위가 될 수 있다.

상의 임의의 범위에 대해서는 이하 도 14를 참조하여 상세히 설명하기로 한다.

도 10은 본 발명의 제1 실시예에 따른 밝기 보상 방법을 설명하기 위한 도면이다.

도 10을 참조하면, 다음의 수학식 (2)와 같이 Ek 를 구하기 위하여 도 10에서 나타낸 텍스쳐의 현재 픽처에 대한 표본 ST와 예측 픽처에 대한 표본 ST'내에서 각 화소에 대응하는 깊이 정보 값이 k인 화소들의 평균값의 차이를 사용할 수 있다.

이 때, STk와 ST'k는 각각 STk와 ST'내에 존재하는 깊이 정보 값이 k인 화소들의 집합을 의미한다.

그 후, 깊이 정보 값이 k인 현재 텍스쳐 블록 X의 각 화소에 대하여 상기 수학식 (3)을 적용하여 밝기보상을 수행한다.

도 10a는 본 발명의 제1 실시예에 따른 밝기 보상 방법을 나타내는 흐름도이다.

화소 단위 밝기 보상 방법은 아래의 과정 순으로 처리한다.

(1) 표본의 개수를 N, 현재 표본과 예측 표본을 각각 ST[i], ST'[i], i=0..N-1로 정의한다. 또한, 현재 깊이 표본과 예측 깊이 표본을 각각 SD[i], SD'[i], i=0..N-1로 정의한다.

(2) 현재 블록을 T[x, y]로 정의한다. 또한, 현재 깊이 정보 블록을 D[x', y']로 정의한다. x=0..X, y=0..Y, x'=0..X', y'=0..Y'.

이 때, 블록의 크기를 정하는 값들인 X, Y, X', Y'는 임의 값이 될 수 있다.

(3) 현재 표본과 예측 표본에 대하여, 깊이 정보 값이 k인 화소들의 평균값을 저장하는 초기값이 0인 배열을 각각 STk, ST'k 로 정의한다 (k=0..K). 또한, 현재 표본과 예측 표본에 대하여, 깊이 정보값이 k인 화소들의 개수를 저장하는 초기값이 0인 배열을 각각 Nk, N'k 로 정의한다 (k=0..K).

이 때, 깊이 정보 값의 범위를 정하는 값 K는 임의 값이 될 수 있다.

(4) 현재 표본과 예측 표본 간의 평균값의 차를 저장하는 배열을 Ek 로 정의한다.

(5) s=0..N-1에 대하여 과정 (6) ~ 과정 (7)를 반복 수행한다.

(6) k= DT[s], Nk = Nk + 1, STk = STk + k

(7) k= DT'[s], N'k = N'k + 1, ST'k = ST'k + k

(8) k=0..K에 대하여 과정 (9)를 반복 수행한다.

(9) STk = STk / Nk, ST'k = ST'k / N'k, Ek = STk - ST'k

(10) x=0..X, y=0..Y에 대하여 과정 (11)을 반복 수행한다.

(11) k = D[x, y], T[x, y] = T[x, y] + Ek

깊이 정보를 이용한 객체 단위 밝기 보상

본 발명의 또 다른 실시예에 따르면, 텍스쳐 블록에 대응하는 깊이 정보 맵 블록의 주변 블록들의 깊이 정보 값들을 표본으로 구성한 후, 현재 텍스쳐 블록 내부의 객체 단위의 밝기 보상 값을 유도하는데 이용할 수 있다.

도 11은 본 발명의 제2 실시예에 따른 밝기 보상 방법을 설명하기 위해 도시한 것으로, 깊이 정보를 기반으로 객체 단위로 밝기보상을 수행하는 방법을 나타낸 것이며, 도 11a는 본 발명의 제2 실시예에 따른 발기 보상 방법을 흐름도로 나타낸 것이다.

도 11을 참조하면, 깊이 정보 맵 상에 두 개의 객체가 존재하는 일례이며, L1은 객체영역이고, L2는 배경영역이다.

깊이 정보 맵 표본에서 L1에 영역에 상응하는 텍스쳐 표본 화소들의 평균값과, 깊이 정보 맵 표본에서 L2에 영역에 상응하는 텍스쳐 표본 화소들의 평균값의 차이를 밝기 보정 값으로 사용할 수 있다.

도 12는 객체 단위 밝기 보상 수행 시 텍스쳐의 현재 픽처와 예측 픽처의 표본을 설정하는 방법에 대한 일실시예를 나타내는 도면이다.

도 12를 참조하면, 다음의 수학식 (4)와 같이 En 은 텍스쳐의 현재 픽처에서 n번째 객체에 대한 표본 STn 과 예측 픽처에서 n번째 객체에 대한 표본 ST'n 내부 화소들의 평균값의 차이를 사용할 수 있다.

밝기 보정을 수행할 때에는 상기의 수학식 (5)와 같이 현재 텍스쳐 블록 X 에 대하여 n번째 객체영역 내부의 화소들에 n번째 객체에 상응하는 보정 값 En 을 더해준다.

다시 도 11a를 참조하면, 객체 단위 밝기 보상 방법은 아래의 과정 순으로 처리될 수 있다.

(3) 현재 표본과 예측 표본에 대하여, 객체 k의 내부 화소들의 평균값을 저장하는 초기값이 0인 배열을 각각 STk, ST'k 로 정의한다 (k=0..K). 또한, 현재 표본과 예측 표본에 대하여, 객체 k의 내부 화소들의 개수를 저장하는 초기값이 0인 배열을 각각 Nk, N'k 로 정의한다 (k=0..K).

이 때, 객체들의 개수를 정하는 값 K는 임의 값이 될 수 있다.

(4) 각 객체들에 대하여, 현재 표본과 예측 표본 간의 평균값의 차를 저장하는 배열을 Ek 로 정의한다.

(5) s=0..N-1에 대하여 과정 (6) ~ 과정 (7)를 반복 수행한다.

(6) k= DT[s]가 속한 객체 번호, Nk = Nk + 1, STk = STk + k

(7) k= DT'[s] 가 속한 객체 번호, N'k = N'k + 1, ST'k = ST'k + k

(8) k=0..K에 대하여 과정 (9)를 반복 수행한다.

(9) STk = STk / Nk, ST'k = ST'k / N'k, Ek = STk - ST'k

(10) x=0..X, y=0..Y에 대하여 과정 (11)을 반복 수행한다.

(11) k = D[x, y], T[x, y] = T[x, y] + Ek를 수행한다.

상기한 바와 같은 본 발명의 실시예에 따른 밝기 보상 방법은 객체들을 얼마나 잘 구분하느냐에 따라 객체 기반 밝기보상의 부호화 효율이 결정된다.

도 13은 깊이 정보 맵에 대한 예들을 나타내는 도면이다.

도 13의 (가)와 같이 깊이 정보 맵이 매우 잘 생성된 경우에는 객체들의 구분이 용이하기 때문에 문제가 없으나, 하지만, 깊이 정보 맵이 도 13의 (나)와 같이 객체간의 구분이 어려운 경우도 존재한다.

한편, 텍스처의 각 화소는 그에 해당하는 깊이 값을 가진다.

그에 따라, 본 발명의 또 다른 실시예에 따르면, 임의 객체에 해당하는 깊이 값 구간을 설정하여 해당 구간 내의 깊이 값을 가지는 화소들을 동일한 객체로 간주할 수 있다.

도 14는 깊이 값 구간을 설정하는 방법에 대한 실시예들을 나타내는 도면이다.

각 객체에 해당하는 깊이 값 구간을 지정하는 방법은 여러 가지가 있다. 예를 들어, 도 14의 (A)처럼 단순히 일정 폭마다 구간으로 설정할 수도 있고, 도 14의 (B)처럼 각각의 객체에 속하는 깊이 값들로 구간으로 설정할 수도 있다. 깊이 값 구간들을 많이 설정할 수록 다수의 서로 다른 보상 값들을 사용할 수 있게 되지만 복잡도는 높아진다.

블록 내의 객체들을 구분하는 과정에서는 다음과 같은 여러 가지 방법들이 사용될 수 있으나, 본 발명은 이에 한정되지 아니한다.

(1) 깊이 정보 맵은 객체와 카메라의 거리이므로 객체들을 쉽게 구분할 수 있고, 그러한 깊이 정보 맵에서의 객체 위치는 현재 영상의 객체 위치와 동일하다. 따라서 이미 부호화/복호화가 완료된 깊이 정보 맵을 이용하여 현재 텍스쳐 영상의 객체들을 구분할 수 있다.

(2) (1) 방법에서 텍스쳐와 깊이 정보 간 의존성을 제거하기 위한 방법으로, 복호 과정에서 블록에 대한 움직임 보상이 완료 된 이후에 움직임 보상된 텍스쳐 블록을 이용하여 객체들을 구분하는 방법을 사용할 수 있다.

(3) (1) 방법에서 텍스쳐와 깊이 정보 간 의존성을 제거하기 위한 방법으로, 복호 과정에서 현재 블록에 대한 복원이 완료된 이후에 복원된 텍스쳐 블록을 이용하여 객체들을 구분하는 방법을 사용할 수 있다.

상술한 방법들은 모두 블록 크기 혹은 CU 깊이 등에 따라 적용 범위를 달리할 수 있다. 이렇게 적용 범위를 결정하는 변수(즉, 크기 혹은 깊이 정보)는 부호화기 및 복호화기가 미리 정해진 값을 사용하도록 설정할 수도 있고, 프로파일 또는 레벨에 따라 정해진 값을 사용하도록 할 수 도 있고, 부호화기가 변수 값을 비트스트림에 기재하면 복호화기는 비트스트림으로부터 이 값을 구하여 사용할 수도 있다. CU 깊이에 따라 적용 범위를 달리하는 할 때는 아래 표에 예시한 바와 같이, 방식A) 주어진 깊이 이상의 깊이에만 적용하는 방식, 방식B) 주어진 깊이 이하에만 적용하는 방식, 방식C) 주어진 깊이에만 적용하는 방식이 있을 수 있다.

표 1은 주어진 CU 깊이가 2인 경우, 본 발명의 방법들을 적용하는 범위 결정 방식의 예를 나타낸다. (O: 해당 깊이에 적용, X: 해당 깊이에 적용하지 않음.)

적용범위를 나타내는 CU 깊이	방법A	방법B	방법C
0	X	O	X
1	X	O	X
2	O	O	O
3	O	X	X
4	O	X	X

모든 깊이에 대하여 본 발명의 방법들을 적용하지 않는 경우는 임의의 지시자(flag)를 사용하여 나타낼 수도 있고, CU 깊이의 최대값보다 하나 더 큰 값을 적용범위를 나타내는 CU 깊이 값으로 시그널링 함으로써 표현할 수도 있다.

또한 상술한 방법은 휘도 블록의 크기에 따라 색차 블록에 다르게 적용할 수 있으며, 또한, 휘도 신호영상 및 색차 영상에 다르게 적용할 수 있다.

휘도블록크기	색차블록크기	휘도 적용	색차 적용	방법들
4(4x4, 4x2, 2x4)	2(2x2)	O or X	O or X	가 1, 2, ..
	4(4x4, 4x2, 2x4)	O or X	O or X	나 1, 2, ..
	8(8x8, 8x4, 4x8, 2x8 등)	O or X	O or X	다 1, 2, ..
	16(16x16, 16x8, 4x16, 2x16 등)	O or X	O or X	라 1, 2, ..
	32(32x32)	O or X	O or X	마 1, 2, ..
8(8x8, 8x4, 2x8 등)	2(2x2)	O or X	O or X	바 1, 2, ..
	4(4x4, 4x2, 2x4)	O or X	O or X	사 1, 2, ..
	8(8x8, 8x4, 4x8, 2x8 등)	O or X	O or X	아 1, 2, ..
	16(16x16, 16x8, 4x16, 2x16 등)	O or X	O or X	자 1, 2, ..
	32(32x32)	O or X	O or X	카 1, 2, ..
16(16x16, 8x16, 4x16 등)	2(2x2)	O or X	O or X	타 1, 2, ..
	4(4x4, 4x2, 2x4)	O or X	O or X	파 1, 2, ..
	8(8x8, 8x4, 4x8, 2x8 등)	O or X	O or X	하 1, 2, ..
	16(16x16, 16x8, 4x16, 2x16 등)	O or X	O or X	개 1, 2, ..
	32(32x32)	O or X	O or X	내 1, 2, ..

표 2는 방법들의 조합의 일예를 나타낸다.

표 2의 변형된 방법들 중에서 방법 "사 1"을 살펴보면, 휘도블록의 크기가 8(8x8, 8x4, 2x8 등)인 경우이고, 그리고 색차 블록의 크기가 4(4x4, 4x2, 2x4)인 경우에 명세서의 방법을 휘도 신호 및 색차 신호에 적용할 수 있다.

위의 변형된 방법들 중에서 방법 "파 2"을 살펴보면, 휘도블록의 크기가 16(16x16, 8x16, 4x16 등)인 경우이고, 그리고 색차 블록의 크기가 4(4x4, 4x2, 2x4)인 경우에 명세서의 방법을 휘도 신호에 적용하고 색차 신호에는 적용하지 않을 수 있다.

또 다른 변형된 방법들로 휘도 신호에만 명세서의 방법이 적용되고 색차 신호에는 적용되지 않을 수 있다. 반대로 색차 신호에만 명세서의 방법이 적용되고 휘도 신호에는 적용되지 않을 수 있다.

상기에서는 본 발명의 실시예에 따른 방법 및 장치를, 부호화 방법 및 부호화 장치를 중심으로 하여 설명하였으나, 본 발명은 복호화 방법 및 장치에도 적용 가능하다. 이 경우, 본 발명의 실시예에 따른 방법을 역순으로 수행함으로써, 본 발명의 일실시예에 따른 복호화 방법이 수행될 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims

부호화된 영상을 포함하는 비트스트림을 수신하는 단계;
인트라(Intra) 모드 또는 인터(Inter) 모드에 따라 상기 비트스트림에 대한 예측 복호화를 수행하는 단계; 및
복호화 할 현재 픽처의 밝기를 이전에 복호화 된 예측 픽처 밝기에 따라 보상하는 단계를 포함하고,
상기 밝기를 보상하는 단계는 상기 비트스트림에 포함된 깊이 정보에 기초하여 객체 단위별로 적응적으로 보상하는 단계를 포함하는 깊이 정보를 이용한 밝기 보상 방법.
제1항에 있어서,
상기 보상하는 단계는 상기 깊이 정보에 기초하여 텍스처 블록에 대응되는 깊이 정보값들을 표본으로 구성하는 단계를 포함하는 깊이 정보를 이용한 밝기 보상 방법.
제1항에 있어서,
상기 보상하는 단계는 상기 깊이 정보에 기초하여 객체 영역과 배경 영역에 따라 깊이 정보 값의 범위를 결정하는 깊이 정보를 이용한 밝기 보상 방법.
제1항에 있어서,
상기 보상하는 단계는 상기 깊이 정보에 기초하여 객체 영역에 상응하는 텍스쳐 표본 화소들의 평균값과, 배경 영역에 상응하는 텍스쳐 표본 화소들의 평균값의 차이를 밝기 보정 값으로 이용하는 깊이 정보를 이용한 밝기 보상 방법.
제1항에 있어서,
상기 보상하는 단계는 상기 깊이 정보에 기초하여 각 객체들에 대한 현재 표본과 예측 표본 간의 평균값의 차를 배열로 저장하는 단계를 포함하는 깊이 정보를 이용한 밝기 보상 방법.
부호화된 영상을 포함하는 비트스트림을 수신하는 수신부;
인트라(Intra) 모드 또는 인터(Inter) 모드에 따라 상기 비트스트림에 대한 예측 복호화를 수행하는 복호화부; 및
복호화 할 현재 픽처의 밝기를 이전에 복호화 된 예측 픽처 밝기에 따라 보상하는 보상부를 포함하고,
상기 보상부는 상기 비트스트림에 포함된 깊이 정보에 기초하여 객체 단위별로 적응적으로 보상하는 깊이 정보를 이용한 밝기 보상 장치.
제6항에 있어서,
상기 보상부는 상기 깊이 정보에 기초하여 텍스처 블록에 대응되는 깊이 정보값들을 표본으로 구성하는 깊이 정보를 이용한 밝기 보상 장치.
제6항에 있어서,
상기 보상부는 상기 깊이 정보에 기초하여 객체 영역과 배경 영역에 따라 깊이 정보 값의 범위를 결정하는 깊이 정보를 이용한 밝기 보상 장치.
제6항에 있어서,
상기 보상부는 상기 깊이 정보에 기초하여 객체 영역에 상응하는 텍스쳐 표본 화소들의 평균값과, 배경 영역에 상응하는 텍스쳐 표본 화소들의 평균값의 차이를 밝기 보정 값으로 이용하는 깊이 정보를 이용한 밝기 보상 장치.
제6항에 있어서,
상기 보상부는 상기 깊이 정보에 기초하여 각 객체들에 대한 현재 표본과 예측 표본 간의 평균값의 차를 배열로 저장하는 깊이 정보를 이용한 밝기 보상 장치.