KR20160045121A

KR20160045121A - 영상 부호화 장치 및 방법, 및 영상 복호 장치 및 방법

Info

Publication number: KR20160045121A
Application number: KR1020167007256A
Authority: KR
Inventors: 시오리 스기모토; 신야 시미즈; 아키라 고지마
Original assignee: 니폰 덴신 덴와 가부시끼가이샤
Priority date: 2013-10-17
Filing date: 2014-10-15
Publication date: 2016-04-26
Also published as: WO2015056700A1; JPWO2015056700A1; JP6386466B2; US20160286212A1; CN105612749A

Abstract

부호화 대상 영상에 포함되는 부호화 대상 화상을 예측 부호화하는 영상 부호화 장치.
이미 부호화가 끝난 화상을 참조 픽쳐로 하여 부호화 대상 화상을 예측하고, 참조처인 제1 참조 영역을 나타내는 제1 참조 정보를 결정하는 예측 수단; 상기 제1 참조 영역에 대응되는 뎁스맵으로부터 부호화 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 수단; 및 상기 제2 참조 정보, 또는 상기 제1 참조 정보와 상기 제2 참조 정보의 양측 모두를 근거로 예측 화상을 생성하는 예측 화상 생성 수단;을 갖는다.

Description

영상 부호화 장치 및 방법, 및 영상 복호 장치 및 방법{VIDEO ENCODING DEVICE AND METHOD, AND VIDEO DECODING DEVICE AND METHOD}

본 발명은 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 및 영상 복호 방법에 관한 것이다.

본원은 2013년 10월 17일에 출원된 특원 2013-216525호에 따라 우선권을 주장하고, 그 내용을 여기에 원용한다.

일반적인 영상 부호화에서는 피사체의 공간적/시간적인 연속성을 이용하여 영상의 각 프레임을 처리 단위 블록으로 분할하고, 블록마다 그 영상 신호를 공간적/시간적으로 예측하며, 그 예측 방법을 나타내는 예측 정보와 예측 잔차 신호를 부호화함으로써, 영상 신호 그 자체를 부호화하는 경우에 비해 대폭적인 부호화 효율의 향상을 도모하고 있다. 또한, 일반적인 이차원 영상 부호화에서는 동일한 프레임 내의 이미 부호화가 끝난 블록을 참조하여 부호화 대상 신호를 예측하는 인트라 예측과, 이미 부호화가 끝난 다른 프레임을 참조하여 움직임 보상 등에 따른 부호화 대상 신호를 예측하는 프레임간 예측을 수행한다.

여기서, 다시점 영상 부호화에 대해 설명한다. 다시점 영상 부호화란, 동일 장면을 복수의 카메라로 촬영한 복수의 영상을 그 영상간의 용장성을 이용하여 고효율로 부호화하는 것이다. 다시점 영상 부호화에 대해서는 비특허 문헌 1에 개시되어 있다.

다시점 영상 부호화에서는, 일반적인 영상 부호화에서 이용되는 예측 방법 외에, 이미 부호화가 끝난 다른 시점의 영상을 참조하여 시차 보상에 따라 부호화 대상 신호를 예측하는 시점간 예측과, 프레임간 예측에 의해 부호화 대상 신호를 예측하고, 그 잔차 신호를 이미 부호화가 끝난 다른 시점의 영상의 부호화시의 잔차 신호를 참조하여 예측하는 시점간 잔차 예측 등의 방법이 이용된다. 시점간 예측은 MVC(Multiview Video Coding) 등의 다시점 영상 부호화에서는 프레임간 예측과 함께 인터 예측으로 취급되고, B픽쳐에서는 2개 이상의 예측 화상을 보간하여 예측 화상으로 하는 쌍방향 예측에도 이용할 수 있다. 이와 같이, 다시점 영상 부호화에서는 프레임간 예측과 시점간 예측을 모두 수행할 수 있는 픽쳐에 대해서는 프레임간 예측과 시점간 예측에 의한 쌍방향 예측을 수행할 수 있다.

인터 예측을 수행하는 경우에는, 그 참조처를 나타내는 참조 픽쳐 인덱스나 움직임 벡터 등의 참조 정보를 얻을 필요가 있다. 일반적으로 참조 정보는 예측 정보로서 부호화하고, 영상과 함께 다중화하지만, 그 부호량을 줄이기 위해 어떠한 방법으로 참조 정보를 예측하기도 한다.

일반적인 방법에서는, 이미 부호화가 끝난 부호화 대상 화상의 주변 블록이 부호화시에 사용한 예측 정보를 취득하고, 부호화 대상 화상의 예측에 이용하는 참조 정보로 하는 다이렉트 모드나, 주변 블록의 예측 정보를 후보 리스트(Candidate List)로서 리스트화하고, 리스트로부터 예측 정보를 취득하는 대상 블록을 식별하는 식별자를 부호화하는 머지 모드 등이 있다.

또한, 다시점 영상 부호화에서는 부호화 대상 화상에 대응되는 다른 시점의 픽쳐 상의 영역과 참조 정보를 공유하는 시점간 움직임 예측이라는 방법이 있다. 시점간 움직임 예측에 대해서는 비특허 문헌 2에 개시되어 있다.

또 다른 방법으로서 잔차 예측이 있다. 잔차 예측은 높은 상관을 갖는 2개의 화상을 각각 예측 부호화한 경우에 그 예측 잔차도 서로 상관을 갖는 것을 이용한 예측 잔차의 부호량을 억제하기 위한 방법이다. 잔차 예측에 대해서는 비특허 문헌 3에 개시되어 있다.

다시점 영상 부호화에서 이용되는 시점간 잔차 예측에서는, 다른 시점의 영상에서의 부호화 대상 화상과 대응되는 영역의 부호화시의 예측 잔차 신호를 부호화 대상 예측 잔차 신호로부터 공제함으로써 잔차 신호의 에너지를 저감하고, 부호화 효율을 향상시킬 수 있다.

시점간의 대응 관계는, 예컨대 이미 부호화가 끝난 주변 블록이 시차 보상 예측으로 부호화된 경우, 그 시차 벡터에 의해 부호화 대상 블록에 대응되는 다른 시점의 영역을 설정하는 등의 방법으로 구할 수 있다. 이 방법으로 구해진 시차 벡터는 "neighboring block based disparity vector(NBDV)"라 불린다.

시점간 잔차 예측은 B픽쳐에서 프레임간 예측이 이용되는 경우, 그 예측과는 별도로 잔차에 대한 또 다른 처리로서 이용된다.

여기서, 자유 시점 영상 부호화에 대해 설명한다. 자유 시점 영상이란, 대상 장면을 다수의 촬상 장치등을 이용하여 다양한 위치·각도로부터 촬상함으로써 장면의 광선 정보를 취득하고, 이를 바탕으로 임의의 시점에서의 광선 정보를 복원함으로써 임의의 시점에서 본 영상을 생성하는 것이다.

장면의 광선 정보는 다양한 데이터 형식에 의해 표현되지만, 가장 일반적인 형식으로는 영상과 그 영상의 각 프레임에서의 뎁스맵이라 불리는 뎁스 화상을 이용하는 방식이 있다(비특허 문헌 4).

뎁스맵이란, 카메라로부터 피사체까지의 거리(깊이·뎁스)를 화소마다 기술한 것으로, 피사체가 갖는 3 차원 정보의 간단한 표현이다.

2개의 카메라로부터 동일한 피사체를 관측할 때, 피사체의 뎁스값은 카메라간 시차의 역수에 비례하기 때문에, 뎁스맵은 디스패리티 맵(시차 화상)으로 불리기도 한다. 이에 대해, 뎁스맵의 대응 카메라 영상을 텍스쳐로 부르기도 한다.

뎁스맵은 화상의 각 화소에 대해 하나의 값을 갖는 표현이므로, 그레이 스케일 화상으로 간주하여 기술할 수 있다.

또한, 뎁스맵의 시간적으로 연속된 기술인 뎁스맵 영상(이하, 화상/영상의 구별없이 뎁스맵이라 함)은 영상 신호와 마찬가지로, 피사체의 공간적/시간적인 연속성으로부터 공간적·시간적 상관을 갖는다고 할 수 있다. 따라서, 통상의 영상 신호를 부호화하기 위해 이용되는 영상 부호화 방식에 의해 공간적/시간적 용장성을 없애면서 뎁스맵을 효율적으로 부호화할 수 있다. 이러한 영상과 뎁스맵에 의한 영상 포맷은 자유 시점 영상 뿐만 아니라, 삼차원 영상의 표현/부호화나, 다시점 영상에서도 부호량 삭감을 위해 부호화에 이용된다.

이러한 영상과 뎁스맵에 의한 영상 포맷을 부호화하는 경우, 영상과 뎁스맵 사이의 상관이나, 뎁스맵이 영상의 각 화소의 깊이를 갖는 것을 이용하여 부호화 효율을 향상시킬 수 있다.

대표적인 예로는, 영상 부호화에 있어서 부호화 대상 화상에 대응되는 뎁스맵의 뎁스값을 시차로 변환함으로써, 부호화 대상 화상에서 시차 보상 예측을 행하기 위한 시차 벡터를 얻는다는 방법 등이 있다. 또한 다른 방법으로는 뎁스맵을 사용하여 부호화 대상 시점의 화상을 합성하여 예측 화상에 이용하는 시점 합성 예측이라는 방법도 있다(비특허 문헌 5).

또한, 본 명세서 중에서 화상이란 동화상의 하나의 프레임 또는 정지 화상을 의미하며, 복수의 프레임(화상)이 모인 것(동화상)을 영상이라 칭한다.

[비특허문헌 1] M. Flierl and B. Girod, "Multiview video compression", Signal Processing Magazine, IEEE, pp. 66-76, November 2007. [비특허문헌 2] Yang, H., Chang, Y., & Huo, J., "Fine-Granular Motion Matching for Inter-View Motion Skip Mode in Multiview Video Coding", IEEE Transactions on Circuits and Systems for Video Technology, Vol. 19, No. 6, pp. 887-892, June 2O09. [비특허문헌 3] X. Wang and J. Ridge, "Improved video coding with residual prediction for extended spatial scalability", ISCCSP 2008, pp. 1041-1046, March 2008. [비특허문헌 4] Y. Mori, N. Fukusima, T. FuJi, and M. Tanimoto, "View Generation with 3D Warping Using Depth Information for FTV", Proceedings of 3DTV-CON' 08, pp. 229-232, May 2008. [비특허문헌 5] Yea, S., & Vetro, A. "View synthesis prediction for multiview video coding" Signal Processing: Image Communication 24, pp. 89-100, 2009.

다시점 영상 부호화에 있어서, 시점간 움직임 예측은 유효한 부호량 삭감 방법이지만, 카메라 배치의 문제 등에 의해 시점간에 움직임 벡터를 공유할 수 없는 경우에는 효과를 얻을 수 없다.

또한, 시점간 움직임 예측이나 잔차 예측에 있어서, 일반적으로 NBDV를 사용하여 부호화 대상 화상에 대응되는 다른 시점의 픽쳐 상의 영역을 결정하는 방법이 채용된다. 이러한 방법은 부호화 대상 화상이 주변 블록과 동일한 움직임/시차를 가지고 있는 경우에는 유효하지만, 그렇지 않은 경우에는 전혀 효과를 얻을 수 없다. 또한 이 방법은 주변 블록에 시차 보상 예측으로 부호화된 것이 없는 경우에는 사용할 수 없다.

이와 같은 경우에 시점간 움직임 예측이나 잔차 예측을 실시하기 위해서는 추가적인 시차 벡터 등의 시점간 대응을 얻기 위한 정보가 필요하게 되어 부호량이 증가하는 문제가 있다.

또한, 삼차원 영상이나 자유 시점 영상 부호화에서는 뎁스맵을 이용한 영상의 부호화가 가능하나, 복호 장치에서 부호화 장치에서 참조한 뎁스맵과 동일한 뎁스맵을 참조할 필요가 있으므로, 사용하는 뎁스맵이 부호화 대상 화상 보다 먼저 복호될 필요가 있다. 그러나 일반적으로는 각 시점·각 프레임마다 영상을 부호화하고, 이어서 동시점·프레임의 뎁스맵을 부호화하는 방법이 많이 채택된다. 이러한 경우, 뎁스맵을 사용한 영상 부호화 방법은 사용할 수 없다는 문제가 있다.

본 발명은 이러한 사정에 비추어 이루어진 것으로, 예측 화상의 정밀도를 향상시킴으로써 예측 잔차 부호화에 필요한 부호량을 삭감할 수 있는 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 및 영상 복호 방법을 제공하는 것을 목적으로 한다.

본 발명은 부호화 대상 영상에 포함되는 부호화 대상 화상을 예측 부호화하는 영상 부호화 장치로서, 이미 부호화가 끝난 화상을 참조 픽쳐로 하여 부호화 대상 화상을 예측하고, 참조처인 제1 참조 영역을 나타내는 제1 참조 정보를 결정하는 예측 수단;

상기 제1 참조 영역에 대응되는 뎁스맵으로부터 부호화 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 수단; 및

상기 제2 참조 정보, 또는 상기 제1 참조 정보와 상기 제2 참조 정보의 양측 모두를 근거로 예측 화상을 생성하는 예측 화상 생성 수단;을 갖는 것을 특징으로 하는 영상 부호화 장치를 제공한다.

전형적인 예로서, 상기 제1 참조 정보는 부호화 대상 화상과 다른 프레임의 화상 상의 참조처를 나타내고, 상기 제2 참조 정보는 부호화 대상 화상과 다른 시점의 화상 상의 참조처를 나타낸다.

바람직한 예로서, 상기 예측 화상 생성 수단은, 상기 제1 참조 정보를 사용하여 제1 일차 예측 화상을 생성하고, 상기 제2 참조 정보를 사용하여 제2 일차 예측 화상을 생성하며, 상기 제1 일차 예측 화상과 상기 제2 일차 예측 화상을 혼합함으로써 상기 예측 화상을 생성한다.

상기 예측 화상 생성 수단은 부호화 대상 화상의 부분 영역마다 상기 제1 참조 정보와 상기 제2 참조 정보 중 어느 하나 또는 양측 모두를 사용하여 상기 예측 화상을 생성하게 할 수도 있다.

이 경우, 상기 제1 참조 영역에 대응되는 뎁스맵에 의해 결정되는 상기 제1 참조 영역에 대응되는 다른 참조 픽쳐 상의 참조처인 제3 참조 영역을 근거로 부호화 대상 화상의 부분 영역마다 상기 제1 참조 정보와 상기 제2 참조 정보 중 어느 하나 또는 양측 모두를 사용할지를 판정하는 판정 수단을 더 가지며,

상기 예측 화상 생성 수단은 상기 판정 수단의 판정 결과에 따라 부호화 대상 화상의 부분 영역마다 상기 제1 참조 정보와 상기 제2 참조 정보 중 어느 하나 또는 양측 모두를 사용하여 상기 예측 화상을 생성하게 할 수도 있다.

다른 바람직한 예로서, 상기 예측 화상 생성 수단은, 상기 제1 참조 정보를 사용하여 제1 일차 예측 화상을 생성하고, 상기 제2 참조 정보를 사용하여 제2 일차 예측 화상을 생성하며, 또한 상기 제1 참조 정보와 상기 제1 참조 영역에 대응되는 뎁스맵, 또는 상기 제1 참조 정보와 상기 제2 참조 정보를 사용하여 잔차 예측을 실시함으로써 상기 예측 화상을 생성한다.

이 경우, 상기 예측 화상 생성 수단은 상기 제1 참조 영역에 대응되는 뎁스맵에 의해 결정되는 상기 제1 참조 영역에 대응되는 다른 참조 픽쳐 상의 참조처인 제3 참조 영역으로부터 이차 예측 화상을 생성하고, 상기 제1 일차 예측 화상과 상기 제2 일차 예측 화상과 상기 이차 예측 화상으로 이루어진 잔차 예측을 행하고, 상기 예측 화상을 생성하게 할 수도 있다.

본 발명은 또한, 부호화 대상 영상에 포함되는 부호화 대상 화상을 예측 부호화하는 영상 부호화 장치로서,

이미 부호화가 끝난 화상을 참조 픽쳐로 하여 부호화 대상 화상을 예측하고, 참조처인 제1 참조 영역을 나타내는 제1 참조 정보를 결정하는 예측 수단;

상기 제2 참조 정보를 부호화 대상 화상의 주변 화상의 예측 정보를 리스트화한 후보 리스트에 부가하는 후보 리스트 갱신 수단을 갖는 것을 특징으로 하는 영상 부호화 장치도 제공한다.

본 발명은 또한, 복호 대상 영상에 포함되는 복호 대상 화상을 예측 복호하는 영상 복호 장치로서,

부호화된 예측 정보 또는 그 영상 복호 장치에서 참조 가능한 정보에 따른 제1 참조 정보가 나타내는 참조처인 제1 참조 영역에 대응되는 뎁스맵으로부터 복호 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 수단; 및

상기 제2 참조 정보, 또는 상기 제1 참조 정보와 상기 제2 참조 정보의 양측 모두를 근거로 예측 화상을 생성하는 예측 화상 생성 수단;을 갖는 것을 특징으로 하는 영상 복호 장치도 제공한다.

전형적인 예로서, 상기 제1 참조 정보는 복호 대상 화상과 다른 프레임의 화상 상의 참조처를 나타내고, 상기 제2 참조 정보는 복호 대상 화상과 다른 시점의 화상 상의 참조처를 나타낸다.

바람직한 예로서, 상기 예측 화상 생성 수단은 상기 제1 참조 정보를 사용하여 제1 일차 예측 화상을 생성하고, 상기 제2 참조 정보를 사용하여 제2 일차 예측 화상을 생성하며, 상기 제1 일차 예측 화상과 상기 제2 일차 예측 화상을 혼합함으로써 상기 예측 화상을 생성한다.

상기 예측 화상 생성 수단은 복호 대상 화상의 부분 영역마다 상기 제1 참조 정보와 상기 제2 참조 정보 중 어느 하나 또는 양측 모두를 사용하여 상기 예측 화상을 생성하게 할 수도 있다.

이 경우, 상기 제1 참조 영역에 대응되는 뎁스맵에 의해 결정되는 상기 제1 참조 영역에 대응되는 다른 참조 픽쳐 상의 참조처인 제3 참조 영역을 근거로 복호 대상 화상의 부분 영역마다 상기 제1 참조 정보와 상기 제2 참조 정보 중 어느 하나 또는 양측 모두를 사용할지를 판정하는 판정 수단을 더 가지며,

상기 예측 화상 생성 수단은 상기 판정 수단의 판정 결과에 따라, 복호 대상 화상의 부분 영역마다 상기 제1 참조 정보와 상기 제2 참조 정보 중 어느 하나 또는 양측 모두를 사용하여 상기 예측 화상을 생성하게 할 수도 있다.

이 경우, 상기 예측 화상 생성 수단은 상기 제1 참조 영역에 대응되는 뎁스맵에 의해 결정되는 상기 제1 참조 영역에 대응되는 다른 참조 픽쳐 상의 참조처인 제3 참조 영역으로부터 이차 예측 화상을 생성하고, 상기 제1 일차 예측 화상과 상기 제2 일차 예측 화상과 상기 이차 예측 화상으로 이루어진 잔차 예측을 실시하여 상기 예측 화상을 생성하게 할 수도 있다.

이미 복호가 끝난 화상을 참조 픽쳐로 하여 복호 대상 화상을 예측하고 참조처인 제1 참조 영역을 나타내는 제1 참조 정보를 결정하는 예측 수단;

상기 제1 참조 영역에 대응되는 뎁스맵과 복호 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 수단; 및

상기 제2 참조 정보를 복호 대상 화상의 주변 화상의 예측 정보를 리스트화한 후보 리스트에 부가하는 후보 리스트 갱신 수단;을 갖는 것을 특징으로 하는 영상 복호 장치도 제공한다.

본 발명은 또한, 부호화 대상 영상에 포함되는 부호화 대상 화상을 예측 부호화하는 영상 부호화 장치가 수행하는 영상 부호화 방법으로서,

이미 부호화가 끝난 화상을 참조 픽쳐로 하여 부호화 대상 화상을 예측하고 참조처인 제1 참조 영역을 나타내는 제1 참조 정보를 결정하는 예측 스텝;

상기 제1 참조 영역에 대응되는 뎁스맵과 부호화 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 스텝; 및

상기 제2 참조 정보 또는 상기 제1 참조 정보와 상기 제2 참조 정보의 양측 모두를 근거로 예측 화상을 생성하는 예측 화상 생성 스텝;을 구비하는 것을 특징으로 하는 영상 부호화 방법도 제공한다.

상기 제1 참조 영역에 대응되는 뎁스맵으로부터 부호화 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 스텝; 및

상기 제2 참조 정보를 부호화 대상 화상의 주변 화상의 예측 정보를 리스트화한 후보 리스트에 부가하는 후보 리스트 갱신 스텝;을 구비하는 것을 특징으로 하는 영상 부호화 방법도 제공한다.

본 발명은 또한, 복호 대상 영상에 포함되는 복호 대상 화상을 예측 복호하는 영상 복호 장치가 수행하는 영상 복호 방법으로서,

부호화된 예측 정보 또는 그 영상 복호 장치에서 참조 가능한 어떤 정보에 따른 제1 참조 정보가 나타내는 참조처인 제1 참조 영역에 대응되는 뎁스맵으로부터 복호 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 스텝; 및

상기 제2 참조 정보 또는 상기 제1 참조 정보와 상기 제2 참조 정보의 양측 모두를 근거로 예측 화상을 생성하는 예측 화상 생성 스텝;을 구비하는 것을 특징으로 하는 영상 복호 방법도 제공한다.

이미 복호가 끝난 화상을 참조 픽쳐로 하여 복호 대상 화상을 예측하고 참조처인 제1 참조 영역을 나타내는 제1 참조 정보를 결정하는 예측 스텝;

상기 제1 참조 영역에 대응되는 뎁스맵과 복호 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 스텝; 및

상기 제2 참조 정보를 복호 대상 화상의 주변 화상의 예측 정보를 리스트화한 후보 리스트에 부가하는 후보 리스트 갱신 스텝;을 구비하는 것을 특징으로 하는 영상 복호 방법도 제공한다.

본 발명에 의하면, 예측 화상의 정밀도를 향상시킬 수 있으므로, 예측 잔차 부호화에 필요한 부호량을 삭감할 수 있는 효과를 얻을 수 있다.

도 1은 본 발명의 제1 실시 형태에 의한 영상 부호화 장치(100)의 구성을 나타내는 블록도이다.
도 2는 도 1에 도시한 영상 부호화 장치(100)의 처리 동작을 나타내는 흐름도이다.
도 3은 도 1에 도시한 영상 부호화 장치(100)의 처리 동작을 나타내는 설명도이다.
도 4는 본 발명의 제1 실시 형태에 의한 영상 복호 장치(200)의 구성을 나타내는 블록도이다.
도 5는 도 4에 도시한 영상 복호 장치(200)의 처리 동작을 나타내는 흐름도이다.
도 6은 본 발명의 제2 실시 형태에 의한 영상 부호화 장치(100a)의 구성을 나타내는 블록도이다.
도 7은 도 6에 도시한 영상 부호화 장치(100a)의 처리 동작을 나타내는 흐름도이다.
도 8은 도 6에 도시한 영상 부호화 장치(100a)의 처리 동작을 나타내는 설명도이다.
도 9는 마찬가지로 도 6에 도시한 영상 부호화 장치(100a)의 처리 동작을 나타내는 설명도이다.
도 10은 본 발명의 제2 실시 형태에 의한 영상 복호 장치(200a)의 구성을 나타내는 블록도이다.
도 11은 도 10에 도시한 영상 복호 장치(200a)의 처리 동작을 나타내는 흐름도이다.
도 12는 본 발명의 제3 실시 형태에 의한 영상 부호화 장치(100b)의 구성을 나타내는 블록도이다.
도 13은 도 12에 도시한 영상 부호화 장치(100b)의 처리 동작을 나타내는 흐름도이다.
도 14는 도 12에 도시한 영상 부호화 장치(100b)의 처리 동작을 나타내는 설명도이다.
도 15는 본 발명의 제3 실시 형태에 의한 영상 복호 장치(200b)의 구성을 나타내는 블록도이다.
도 16은 도 15에 도시한 영상 복호 장치(200b)의 처리 동작을 나타내는 흐름도이다.

이하, 본 발명의 실시 형태를 도면을 참조하여 설명한다.

<제1 실시 형태>

우선, 제1 실시 형태에 대해 설명한다. 도 1은 본 발명의 제1 실시 형태에 의한 영상 부호화 장치(100)의 구성을 나타내는 블록도이다.

영상 부호화 장치(100)는 도 1에 도시한 바와 같이, 부호화 대상 영상 입력부(101), 입력 영상 메모리(102), 참조 픽쳐 메모리(103), 뎁스맵 입력부(104), 뎁스맵 메모리(105), 예측부(106), 제2 참조 정보 결정부(107), 예측 화상 생성부(108), 감산부(109), 변환·양자화부(110), 역양자화·역변환부(111), 가산부(112), 및 엔트로피 부호화부(113)를 구비하고 있다.

부호화 대상 영상 입력부(101)는 부호화 대상이 되는 영상을 영상 부호화 장치(100)에 입력한다. 이하의 설명에서는, 이 부호화 대상이 되는 영상을 부호화 대상 영상라 하고, 특히 처리를 수행하는 프레임을 부호화 대상 프레임 또는 부호화 대상 픽쳐라 한다.

입력 영상 메모리(102)는 입력된 부호화 대상 영상을 기억한다.

참조 픽쳐 메모리(103)는 그때까지 부호화·복호화된 화상을 기억한다. 이하에서는 이 기억된 프레임을 참조 프레임 또는 참조 픽쳐라 한다.

뎁스맵 입력부(104)는 참조 픽쳐에 대응되는 뎁스맵을 영상 부호화 장치(100)에 입력한다. 뎁스맵 메모리(105)는 지금까지 입력된 뎁스맵을 기억한다.

예측부(106)는 참조 픽쳐 메모리(103)에 기억된 참조 픽쳐 상에서 부호화 대상 화상에 대한 예측을 행하고, 참조처인 제1 참조 영역을 나타내는 제1 참조 정보를 결정하고, 제1 참조 정보 또는 제1 참조 정보를 특정 가능한 정보인 예측 정보를 생성한다.

제2 참조 정보 결정부(107)는 상기 제1 참조 정보에 의해 나타나는 제1 참조 영역에 대응되는 뎁스맵으로부터 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정한다.

예측 화상 생성부(108)은 상기 제2 참조 정보에 따라 예측 화상을 생성한다.

감산부(109)는 부호화 대상 화상과 예측 화상의 차분값을 구하고, 예측 잔차를 생성한다.

변환·양자화부(110)는 생성된 예측 잔차를 변환·양자화하고, 양자화 데이터를 생성한다.

역양자화·역변환부(111)는 생성된 양자화 데이터를 역양자화·역변환하고, 복호 예측 잔차를 생성한다.

가산부(112)는 복호 예측 잔차와 예측 화상을 가산하여 복호 화상을 생성한다.

엔트로피 부호화부(113)는 양자화 데이터를 엔트로피 부호화하고, 부호 데이터를 생성한다.

이어서, 도 2를 참조하여 도 1에 도시한 영상 부호화 장치(100)의 처리 동작을 설명한다. 도 2는 도 1에 도시한 영상 부호화 장치(100)의 처리 동작을 나타내는 흐름도이다.

여기서는 부호화 대상 영상은 다시점 영상 중 하나의 영상인 것으로 하고, 다시점 영상은 프레임마다 1 시점씩 모든 시점의 영상을 부호화하여 복호하는 구조를 취하는 것으로 한다. 그리고 여기서는 부호화 대상 영상 중 어느 하나의 프레임을 부호화하는 처리에 대해 설명한다. 이하에서 설명하는 처리를 프레임마다 반복함으로써, 영상 부호화를 실현할 수 있다.

우선, 부호화 대상 영상 입력부(101)는 부호화 대상 픽쳐(프레임)를 받아 입력 영상 메모리(102)에 기억하고, 뎁스맵 입력부(104)는 뎁스맵을 받아 뎁스맵 메모리(105)에 기억한다(스텝 S101).

또한, 부호화 대상 영상 중 몇개의 프레임은 이미 부호화되어 있는 것으로 하고, 그 복호 결과가 참조 픽쳐 메모리(103)에 기억되어 있는 것으로 한다. 또한, 부호화 대상 픽쳐와 동일한 프레임까지의 참조 가능한 다른 시점의 영상도, 이미 부호화되고 복호되어 참조 픽쳐 메모리(103)에 기억되어 있는 것으로 한다.

뎁스맵은 통상 다시점 영상과 함께 부호화되고 다중화되는 것 중 참조 픽쳐 메모리(103)에 기억되어 있는 참조 픽쳐의 각각 대응되는 뎁스맵이고, 부호화 대상 화상 보다 전에 이미 부호화되고 복호되어 있다.

단, 부호화 장치와 복호 장치에서 동일한 것을 참조하는 것이 가능하다면, 영상과 함께 부호화되지 않은 것이라도 무방하고, 비압축인 것이라도 무방하다.

여기서 입력되는 뎁스맵은 어떠한 방법으로 각 화소의 시차를 결정할 수 있는 것이라면 어떠한 종류의 것이라도 무방하다. 일반적인 것으로는 픽쳐의 각 화소의 뎁스값을 기술한 것이 있는데, 그 외에 뎁스의 역수값을 기술한 것이라도 무방하고, 시차를 기술한 것이라도 무방하다.

또한, 입력 순서는 이에 한정되지 않고, 어떠한 순서로 입력되더라도 무방하다. 예컨대, 뎁스맵은 부호화 대상 영상의 부호화가 개시되기 전에, 뎁스맵의 부호화가 실행된 시점에서 입력하고 뎁스맵 메모리(105)에 기억해 둘 수도 있다. 또한, 다른 뎁스맵 부호화 장치에 있어서의 뎁스맵 메모리를 본 장치의 뎁스맵 메모리(105)로서 사용할 수도 있다.

영상 입력 후, 부호화 대상 픽쳐를 부호화 대상 블록으로 분할하고, 블록마다 부호화 대상 픽쳐의 영상 신호를 부호화한다(스텝 S102~S111).

이하에서는 부호화 대상이 되는 블록의 화상을 부호화 대상 블록 또는 부호화 대상 화상이라 한다. 이하의 스텝 S103~S110의 처리는 픽쳐의 모든 블록에 대해 반복 실행한다.

부호화 대상 블록마다 반복되는 처리에 있어서, 우선, 예측부(106)는 부호화 대상 블록에 대해 참조 픽쳐 메모리 내의 참조 픽쳐를 참조하는 인터 예측을 행하고, 참조처인 제1 참조 영역을 나타내는 정보인 제1 참조 정보를 결정하고, 제1 참조 정보 또는 제1 참조 정보를 특정 가능한 정보인 예측 정보를 생성한다(스텝 S103).

예측은 어떠한 방법으로 수행해도 무방하고, 제1 참조 정보 및 예측 정보는 어떠한 것이라도 무방하다.

참조 영역을 나타내는 참조 정보로서 일반적인 것으로서, 참조 픽쳐를 특정하는 참조 픽쳐 인덱스 정보와, 참조 픽쳐 상에서의 참조 위치를 나타내는 벡터의 조합 등이 있다.

예측 방법으로서 일반적인 것으로는 후보가 되는 참조 픽쳐 상에서 매칭을 행하여 참조 정보를 결정하는 방법이나, 다이렉트 모드나 머지 모드라 불리는 이미 부호화가 끝난 주변 블록의 부호화시의 예측에 이용한 참조 정보를 계승하는 방법 등이 있다.

또한, 예측 정보는 제1 참조 정보를 결정 가능한 것이라면 어떠한 것이라도 무방하다. 제1 참조 정보 그 자체를 예측 정보로 해도 되고, 머지 모드 등에서 이용하는 블록을 특정 가능한 식별 정보를 예측 정보로 해도 무방하다. 기타 어떠한 예측 방법, 참조 정보, 예측 정보를 사용할 수도 있다.

예측 정보는 부호화하여 영상의 부호 데이터와 다중화해도 되고, 전술한 바와 같이 주변의 예측 정보나 후보 리스트로부터 도출하는 경우에는 부호화하지 않을 수도 있다. 또한, 예측 정보를 예측하고, 그 잔차를 부호화할 수도 있다.

예측이 완료하면, 제2 참조 정보 결정부(107)는 제1 참조 정보를 나타내는 예측 정보에 따른 제1 참조 영역을 참조하고, 제1 참조 영역에 대응되는 뎁스맵에 근거하여 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정한다(스텝 S104).

제2 참조 정보는 제1 참조 정보와 마찬가지로 참조 픽쳐와 참조 위치를 특정 가능한 정보라면 어떠한 것이라도 무방하다. 또한, 참조 픽쳐는 미리 정해진 것일 수도 있고, 따로 결정할 수도 있다. 예컨대 제2 참조 영역은 반드시 어느 특정 시점의 영상 상에 설정하는 것으로서, 제2 참조 정보로서 참조 픽쳐를 지정하는 정보를 포함하지 않을 수도 있다. 참조 위치를 지정하는 정보는 시차 벡터나 뎁스맵 등의 정보여도 되고, 기타 어떠한 정보라도 무방하다.

또한, 제2 참조 정보의 결정은 어떠한 방법을 이용하더라도 무방하다. 이하에서는 제1 참조 영역이 부호화 대상 시점과 동시점의 다른 프레임의 픽쳐 상에 있는 예에 대해 설명한다.

도 3은 부호화 대상 화상이 시점 B의 프레임 n의 픽쳐의 일부이고, 제1 참조 정보에 의해 나타난 제1 참조 영역이 시점 B의 프레임 m(≠n)의 참조 픽쳐 상에 있고, 제2 참조 영역을 시점 A(≠B)의 프레임 n의 참조 픽쳐 상에 설정하는 경우의 예이다.

이 경우, 시점 A의 프레임 n의 참조 픽쳐를 나타내는 참조 픽쳐 인덱스와, 제1 참조 영역에 대응되는 뎁스맵에 따라 시차 벡터를 결정하고 제2 참조 정보로 함으로써, 제2 참조 정보에 따라 시차 보상 예측 등을 수행할 수 있다.

또한, 제1 참조 영역에 대응되는 뎁스맵 자체를 제2 참조 정보로서 해당 뎁스맵의 값에 근거하여 각 화소나 서브 블록마다 다른 시점의 화소를 취득하여 예측 화상을 생성하는 시점 합성 예측 등을 실시할 수도 있다.

또한 다른 방법으로서 뎁스맵에 따라 시차 벡터를 결정하고, 그 시차 벡터를 사용하여 이미 복호가 끝난 다른 시점의 영상을 참조하며, 그 영상 부호화시의 예측 정보를 사용하여 제2 참조 정보를 결정할 수도 있다.

뎁스맵으로부터 시차 벡터로의 변환은 어떠한 방법을 이용해도 무방하다. 필요하다면 뎁스값을 시차값으로 변환하는 룩업 테이블이나 호모그라피 행렬이나, 별도 카메라 파라미터 등의 부가 정보를 사용할 수도 있다. 부가 정보는 부호화하여 영상과 함께 다중화해도 되고, 복호 장치에서 동일한 것을 참조할 수 있는 것이라면 하지 않아도 된다.

상기 예에서는 제1 참조 영역이 부호화 대상 시점과 동시점의 다른 프레임 픽쳐 상에 있는 경우에 대해 설명하였지만, 제1 참조 영역이 부호화 대상 시점과 다른 시점의 동일한 프레임의 픽쳐 상에 있는 경우에도 동일한 방법을 이용할 수 있다.

또는 제1 참조 영역의 후보 리스트 중 예측 정보나 NBDV에 따라 제2 참조 정보를 더 결정할 수도 있다. 기타 어떠한 방법으로도 결정 가능하다.

제2 참조 정보는 어떠한 단위로도 결정 가능하다. 부호화 대상 블록이어도 되고, 그 이하 사이즈의 영역을 서브 블록으로 하고, 서브 블록마다 결정해도 무방하다. 또한, 서브 블록 사이즈는 어떻게 결정하더라도 무방하다. 미리 정해진 사이즈일 수도 있고, 미리 정해진 사이즈 세트 중에서 선택해도 되고, 기타 임의의 사이즈를 적응적으로 결정해도 되며, 화소마다 제2 참조 정보를 결정해도 무방하다.

적응적으로 결정하는 경우에는, 예컨대 뎁스맵 부호화시의 분할 정보에 따라 결정하는 것 등이 가능하다. 예컨대, 부호화 대상 화상은 부호화 대상 블록을 더 분할한 16×16 블록마다 제1 참조 정보를 갖고, 제1 참조 영역에 대응되는 뎁스맵 부호화시에 8×8 블록마다 예측된 경우에는, 부호화 대상 화상은 8×8 블록마다 제2 참조 영역을 결정하는 것 등이다. 또한, 뎁스맵 자체를 참조하여 분할 사이즈를 결정할 수도 있다.

또한, 예컨대 서브 블록에 대해 하나의 시차 벡터를 결정하는 경우, 서브 블록 내의 뎁스값 중 하나를 선택하여 제2 참조 정보의 결정에 사용해도 되고, 복수를 사용하여 결정해도 무방하다. 예컨대 반드시 서브 블록 내의 좌상의 뎁스값을 사용하는 것으로 미리 정해도 되고, 복수의 뎁스값의 평균치나 중간치 등을 사용하는 것으로 정할 수도 있다. 또한, 뎁스값을 하나 결정한 후, 시차 벡터로 변환할 수도 있고, 복수의 뎁스값으로부터 복수의 시차 벡터를 변환하고, 그 후에 하나의 시차 벡터를 결정할 수도 있다.

또한, 제1 참조 영역의 예측 정보로 보정을 행한 후, 제2 참조 정보를 결정할 수도 있다. 보정 방법은 어떠한 방법이나 이용 가능하다.

예컨대, 부호화 대상 블록의 후보 리스트(주변 블록의 예측 정보) 중의 벡터나 NBDV와, 제1 참조 영역 주변의 뎁스맵으로 이루어진 제1 참조 영역의 뎁스맵을 부호화 대상 화상에 맞추는 보정 계수를 결정하는 것 등이 가능하다. 보정 계수는 어떠한 것이라도 무방하다. 스케일링이나 오프셋을 위한 파라미터일 수도 있고, 미리 정해진 파라미터 중에서 사용을 지정하는 식별자일 수도 있다.

기타 방법으로서 카메라 파라미터 등 영상 이외의 정보를 사용하여 보정을 실시할 수도 있다.

예컨대, 제1 참조 영역의 프레임에서의 카메라 파라미터 중의 영상의 심도 레인지와 부호화 대상 화상 프레임의 심도 레인지를 맞추도록 보정 계수를 결정할 수도 있다. 또한, 보정을 위한 정보를 부호화하여 영상과 다중화할 수도 있다. 보정 계수 자체를 부호화해도 되고, 미리 정해진 보정 계수 세트 중 사용을 지정하는 식별자를 부호화해도 무방하다. 또한, 복호측에서 동일한 정보가 얻어지는 경우에는 부호화하지 않을 수도 있다.

제2 참조 정보 생성이 완료되면, 예측 화상 생성부(108)는 제2 참조 정보에 따라 예측 화상을 생성한다(스텝 S105).

예측 화상은 제2 참조 정보만을 이용하여 시차 보상이나 시점 합성 예측에 의해 생성할 수도 있다. 또한, 제1 참조 정보를 이용하여 움직임 보상 또는 시차 보상에 의해 또 하나의 예측 화상을 생성하고, 2개의 예측 화상을 혼합함으로써 최종적인 예측 화상을 생성할 수도 있다. 또한, 쌍방향 예측에서 가중 혼합을 수행함으로써 그 무게를 임의로 결정할 수도 있다. 또한, 제2 참조 정보가 뎁스맵인 경우, 시점 합성 예측을 실시할 수도 있다.

또한, 부호화 대상 블록이나, 더 작은 서브 블록 등 임의의 단위마다 어떠한 예측 또는 쌍방향 예측을 수행하는 것으로 하고, 단위마다 어떤 예측을 수행할지를 나타내는 정보나, 가중 혼합을 수행하는 경우에는 그 무게를 부호화하고, 영상과 함께 다중화할 수도 있다. 복호측에서 예측 방법이나 무게를 결정할 수 있는 경우에는 부호화하지 않을 수도 있다.

이어서, 감산부(109)는 예측 화상과 부호화 대상 블록의 차분을 취하고, 예측 잔차를 생성한다(스텝 S106).

이어서, 예측 잔차의 생성이 종료되면, 변환·양자화부(110)는 예측 잔차를 변환·양자화하고, 양자화 데이터를 생성한다(스텝 S107). 이 변환·양자화는 복호측에서 바르게 역양자화·역변환할 수 있는 것이라면 어떠한 방법을 이용해도 무방하다.

그리고, 변환·양자화가 종료되면, 역양자화·역변환부(111)는 양자화 데이터를 역양자화·역변환하고, 복호 예측 잔차를 생성한다(스텝 S108).

이어서, 복호 예측 잔차의 생성이 종료되면, 가산부(112)는 복호 예측 잔차와 예측 화상을 가산하여 복호 화상을 생성하고, 참조 픽쳐 메모리(103)에 기억한다(스텝 S109).

이 때, 필요한 경우, 복호 화상에 루프 필터를 사용할 수도 있다. 통상의 영상 부호화에서는 디블로킹 필터나 기타 필터를 사용하여 부호화 노이즈를 제거한다.

이어서, 엔트로피 부호화부(113)는 양자화 데이터를 엔트로피 부호화하여 부호 데이터를 생성하고, 필요한 경우, 예측 정보나 잔차 예측 정보 그 밖의 부가 정보도 부호화하여 부호 데이터와 다중화 하고(스텝 S110), 모든 블록에 대해 처리가 종료되면(스텝 S111), 부호 데이터를 출력한다(스텝 S112).

이어서, 영상 복호 장치에 대해 설명한다. 도 4는 본 발명의 제1 실시 형태에 의한 영상 복호 장치의 구성을 나타내는 블록도이다.

영상 복호 장치(200)는 도 4에 도시한 바와 같이, 부호 데이터 입력부(201), 부호 데이터 메모리(202), 참조 픽쳐 메모리(203), 뎁스맵 입력부(204), 뎁스맵 메모리(205), 엔트로피 복호부(206), 역양자화·역변환부(207), 제2 참조 정보 결정부(208), 예측 화상 생성부(209), 가산부(210)를 구비하고 있다.

부호 데이터 입력부(201)는 복호 대상이 되는 영상 부호 데이터를 영상 복호 장치(200)에 입력한다. 이 복호 대상이 되는 영상 부호 데이터를 복호 대상 영상 부호 데이터라 하고, 특히 처리를 수행하는 프레임을 복호 대상 프레임 또는 복호 대상 픽쳐라 한다.

부호 데이터 메모리(202)는 입력된 복호 대상 영상의 부호 데이터를 기억한다. 참조 픽쳐 메모리(203)는 이미 복호가 끝난 화상을 기억한다.

뎁스맵 입력부(204)는 참조 픽쳐에 대응되는 뎁스맵을 영상 복호 장치(200)에 입력한다. 뎁스맵 메모리(205)는 지금까지 입력된 뎁스맵을 기억한다.

엔트로피 복호부(206)는 복호 대상 픽쳐의 부호 데이터를 엔트로피 복호하여 양자화 데이터를 생성하고, 역양자화·역변환부(207)는 양자화 데이터에 역양자화/역변환을 실시하여 복호 예측 잔차를 생성한다.

제2 참조 정보 결정부(208)는 엔트로피 복호부(206)로부터 수취하는 예측 정보에 따라 설정되는 제1 참조 영역에 대응되는 뎁스맵에 근거하여 제2 참조 정보를 결정한다.

예측 화상 생성부(209)는 제2 참조 정보에 따라 예측 화상을 생성한다.

가산부(210)는 복호 예측 잔차와 예측 화상을 가산하여 복호 화상을 생성한다.

이어서, 도 5를 참조하여 도 4에 도시한 영상 복호 장치(200)의 처리 동작을 설명한다. 도 5는 도 4에 도시한 영상 복호 장치(200)의 처리 동작을 나타내는 흐름도이다.

여기서 복호 대상 영상은 다시점 영상 중 하나의 영상인 것으로 하고, 다시점 영상은 프레임마다 1 시점씩 모든 시점의 영상을 복호하는 구조를 취하는 것으로 한다. 그리고 여기서는 부호 데이터 중 어느 하나의 프레임을 복호하는 처리에 대해 설명한다. 설명하는 처리를 프레임마다 반복함으로써, 영상의 복호를 실현할 수 있다.

우선, 부호 데이터 입력부(201)는 부호 데이터를 받아 부호 데이터 메모리(202)에 기억하고, 뎁스맵 입력부(204)는 뎁스맵을 받아 뎁스맵 메모리(205)에 기억한다(스텝 S201).

또한, 복호 대상 영상 중 몇개의 프레임은 이미 복호되어 있는 것으로 하고, 그 복호 결과가 참조 픽쳐 메모리(203)에 기억되어 있는 것으로 한다. 또한, 복호 대상 픽쳐와 동일한 프레임까지의 참조 가능한 다른 시점의 영상도 이미 복호되어 참조 픽쳐 메모리(203)에 기억되어 있는 것으로 한다.

뎁스맵은 통상 다시점 영상과 함께 부호화되어 다중화되어 있는 것 중 참조 픽쳐 메모리(103)에 기억되어 있는 참조 픽쳐의 각각에 대응되는 뎁스맵이고, 복호 대상 화상 보다 전에 이미 복호되어 있다.

단, 부호화 장치와 복호 장치에서 동일한 것의 참조가 가능하다면, 영상과 함께 부호화되지 않은 것이어도 되고, 비압축인 것이어도 무방하다.

여기서 입력되는 뎁스맵은 어떠한 방법으로 각 화소의 시차를 결정할 수 있는 것이라면, 어떤 종류의 것이라도 무방하다. 일반적인 것으로는 픽쳐의 각 화소 뎁스값을 기술한 것이 있지만, 그 외에 뎁스의 역수값을 기술한 것이어도 되고, 시차를 기술한 것이어도 무방하다.

또한, 입력 순서는 이에 한정되지 않고, 어떠한 순서로 입력되어도 무방하다. 예컨대, 뎁스맵은 부호화 대상 화상의 복호가 개시되기 전에, 뎁스맵의 복호가 실행된 시점에서 입력하여 뎁스맵 메모리(205)에 기억해 둘 수도 있다. 또한, 다른 뎁스맵 복호 장치에서의 뎁스맵 메모리를 본 장치의 뎁스맵 메모리(205)로서 사용할 수도 있다.

이어서, 영상 입력 후, 복호 대상 픽쳐를 복호 대상 블록으로 분할하고, 블록마다 복호 대상 픽쳐의 영상 신호를 복호한다(스텝 S202~S208).

이하에서는 복호 대상이 되는 블록 화상을 복호 대상 블록 또는 복호 대상 화상이라 한다. 스텝 S203~S207의 처리는 프레임의 모든 블록에 대해 반복 실행한다.

복호 대상 블록마다 반복되는 처리에 있어서, 우선, 엔트로피 복호부(206)는 부호 데이터를 엔트로피 복호한다(스텝 S203).

역양자화·역변환부(207)는 역양자화·역변환을 행하고, 복호 예측 잔차를 생성한다(스텝 S204). 예측 정보나 기타 부가 정보가 부호 데이터에 포함되는 경우는 그것들도 복호하고, 적절히 필요한 정보를 생성할 수도 있다.

제2 참조 정보 결정부(208)는 예측 정보에 따른 제1 참조 정보가 나타내는 참조 픽쳐 상의 영역인 제1 참조 영역을 참조하고, 제1 참조 영역에 대응되는 뎁스맵에 따라 제2 참조 정보를 결정한다(스텝 S205).

예측 정보, 제1 참조 정보 및 제2 참조 정보의 상세와 그 결정 방법은 영상 부호화 장치와 동일하다. 제2 참조 정보 생성이 완료되면, 예측 화상 생성부(209)는 제2 참조 정보에 따라 예측 화상을 생성한다(스텝 S206).

이어서, 예측 화상의 생성이 종료되면, 가산부(210)는 복호 예측 잔차와 예측 화상을 가산하여 복호 화상을 생성하고, 참조 픽쳐 메모리에 기억한다(스텝 S207).

필요하다면 복호 화상에 루프 필터를 사용할 수도 있다. 통상의 영상 복호에서는 디블로킹 필터나 기타 필터를 사용하여 부호화 노이즈를 제거한다.

그리고, 모든 블록에 대해 처리가 종료되면(스텝 S208), 복호 프레임으로서 출력한다(스텝 S209).

<제2 실시 형태>

이어서, 제2 실시 형태에 대해 설명한다. 도 6은 본 발명의 제2 실시 형태에 의한 영상 부호화 장치(100a)의 구성을 나타내는 블록도이다. 이 도면에 있어서, 도 1에 도시한 장치와 동일한 부분에는 동일한 부호를 부여하고, 그 설명을 생략한다.

이 도면에 도시한 장치가 도 1에 도시한 장치와 다른 점은 새롭게 예측 방법 전환부(114)를 구비하고 있는 점이다. 예측 방법 전환부(114)는 예측 화상 생성부(108)에 대해 제1 참조 정보와 제2 참조 정보 중 어느 하나 또는 양측 모두에 의한 인터 예측 중 어떤 예측 방법을 사용하여 예측 화상을 생성할지를 나타내는 전환 판정 정보를 결정한다.

이어서, 도 7을 참조하여 도 6에 도시한 영상 부호화 장치(100a)의 처리 동작을 설명한다. 도 7은 도 6에 도시한 영상 부호화 장치(100a)의 처리 동작을 나타내는 흐름도이다. 도 7에 있어서, 도 2에 도시한 처리와 동일한 부분에는 동일 부호를 부여하고, 그 설명을 생략한다.

우선, 스텝 S101에서 S103까지는 도 2에 도시한 처리 동작과 동일한 처리를 수행한다.

그리고, 예측 방법 전환부(114)는 예측 화상 생성부(108)에 대해 제1 참조 정보와 제2 참조 정보 중 어느 하나 또는 양측 모두에 의한 인터 예측 또는 시점 합성 예측 중 어떤 예측 방법을 사용하여 예측 화상을 생성할지를 나타내는 전환 판정 정보를 결정한다(스텝 S103a).

상기 전환 판정은 어떠한 방법으로 실행하여도 무방하다. 또한, 제1 실시 형태의 경우와 마찬가지로, 판정은 어떠한 단위로도 실행 가능하다.

전환 판정의 방법으로는, 예컨대 제1 참조 영역의 부호화시의 예측 잔차를 사용하여 예측 방법을 결정할 수도 있다. 이러한 방법에 있어서, 어떤 블록에서는 제1 참조 영역의 예측 잔차가 많은 경우, 그 영역에서는 제2 참조 정보의 정밀도가 낮은 것으로 보고 제1 참조 정보만을 사용하여 예측을 수행하는 전환이 가능하다.

또한, 다른 방법으로는 제2 참조 영역의 부호화시의 예측 정보를 참조하고, 제1 참조 정보와 비교함으로써 예측 방법을 결정할 수도 있다. 예컨대 제2 참조 영역의 부호화시의 참조 픽쳐가 제1 참조 정보가 나타내는 참조 픽쳐와 동일한 프레임이나 시점인 경우, 그러한 참조처를 나타내는 벡터가 서로 크게 다른 블록에서는 제2 참조 정보의 정밀도가 낮은 것으로 보고 제1 참조 정보만을 사용하여 예측을 수행하는 전환이 가능하다.

또한, 다른 방법으로는 제1 참조 영역에 대응되는 다른 참조 픽쳐 상의 참조처인 제3 참조 영역을 참조하여 예측 방법을 결정하는 방법도 있다. 제3 참조 영역은 어떻게 결정하더라도 무방하다. 예컨대, 제1 참조 영역에 대응되는 뎁스맵을 참조하여 결정해도 되고, 스텝 S104를 먼저 실행하여 제2 참조 영역의 정보를 먼저 결정하고, 그 정보로부터 결정해도 무방하다.

이하에서는 제1 참조 영역이 부호화 대상 시점과 동시점의 다른 프레임의 픽쳐 상에 있는 예에 대해 설명한다.

도 8은 부호화 대상 화상이 시점 B의 프레임 n의 픽쳐의 일부이고, 제1 참조 정보에 의해 나타난 제1 참조 영역이 시점 B의 프레임 m(≠n)의 참조 픽쳐 상에 있고, 제2 참조 영역을 시점 A(≠B)의 프레임 n의 참조 픽쳐 상에 설정하는 경우의 예이다.

이 경우 제3 참조 영역은 시점 A(≠B)의 프레임 m의 참조 픽쳐 상에 있다.

이 경우에서는, 예컨대 제1 참조 영역의 화상과 제3 참조 영역의 화상의 차분을 취하여 차분 화상으로 하고, 이에 따라 제2 참조 정보에 의한 예측 정밀도를 추정하고, 정밀도가 낮은 경우에는 제2 참조 정보는 사용하지 않고 제1 참조 정보를 사용하는 방법을 적용할 수 있다.

그 경우, 예측 정밀도의 견적은 어떠한 방법을 이용하더라도 무방하다. 예컨대, 차분 화상이 제2 참조 정보에 의한 예측으로 발생하는 잔차로 간주하여, 블록 내의 잔차의 절대량이나 평균량, 또는 변환하여 부호화한 경우의 부호량을 견적하는 방법을 적용할 수 있다. 또한 견적한 예측 정밀도 또는 부호량 등에 따른 판정은 어떻게 실행하더라도 무방하다. 예컨대, 미리 정해진 문턱값을 사용하여 판정하는 방법 등을 적용할 수 있다.

또한, 도 9에 도시한 바와 같이, 제2 참조 영역의 화상과 제3 참조 영역의 화상의 차분을 취하여 제2 차분 화상으로 하고, 제1 차분 화상(도 8에 도시한 차분 화상)과 함께 판정에 사용할 수도 있다. 이 경우에는 견적한 예측 정밀도가 높은 쪽을 사용하는 것으로 판정할 수 있다.

이와 같이 제2 참조 영역의 정보도 사용하여 판정을 수행하는 경우에는 스텝 S103a 이전에 스텝 S104를 실행해도 무방하다.

또한, 제3 참조 영역에 대응되는 뎁스맵을 참조하여 결정할 수도 있다. 예컨대, 제1 참조 영역에 대응되는 뎁스맵과 제2 참조 영역에 대응되는 뎁스맵을 각각 제1 뎁스맵과 제3 뎁스맵으로 하였을 때, 각각으로부터 서로의 방향을 향한 시차 벡터를 구하고, 그 정합성을 측정함으로써 예측 정밀도를 예측할 수도 있다.

스텝 S104의 처리는 도 2에 도시한 처리 동작과 동일하게 실행한다. 단, 전환 판정에 의해 제1 참조 정보만 사용하는 것으로 판정된 서브 블록에 대해서는 스텝 S104의 제2 참조 정보 결정을 행하지 않아도 무방하다.

이어서, 예측 화상 생성부(108)는 전환 판정 정보 및 제1 참조 정보 또는 제2 참조 정보 또는 그 양측 모두에 근거하여 예측 화상을 생성한다(스텝 S105a). 여기서, 도 7의 흐름도에서는 "제1 참조 정보 또는 제2 참조 정보"로 하고 있다.

이하, 스텝 S106~S112의 처리는 도 2에 도시한 처리 동작과 동일하게 실행한다.

이어서, 영상 복호 장치에 대해 설명한다. 도 10은 본 발명의 제2 실시 형태에 의한 영상 복호 장치(200a)의 구성을 나타내는 블록도이다. 이 도면에 있어서, 도 4에 도시한 장치와 동일한 부분에는 동일 부호를 부여하고, 그 설명을 생략한다.

이 도면에 도시한 장치가 도 4에 도시한 장치와 다른 점은 새롭게 예측 방법 전환부(211)를 구비하고 있는 점이다. 예측 방법 전환부(211)는 예측 화상 생성부(209)에서 제1 참조 정보와 제2 참조 정보 중 어느 하나 또는 양측 모두에 의한 인터 예측 중 어떤 예측 방법을 사용하여 예측 화상을 생성할지를 나타내는 전환 판정 정보를 결정한다.

이어서, 도 11을 참조하여 도 10에 도시한 영상 복호 장치의 처리 동작을 설명한다. 도 11은 도 10에 도시한 영상 복호 장치(200a)의 처리 동작을 나타내는 흐름도이다. 도 11에 있어서, 도 5에 도시한 처리와 동일 부분에는 동일 부호를 부여하고, 그 설명을 생략한다.

우선, 스텝 S201 내지 S204까지는 도 5에 도시한 처리 동작과 동일한 처리를 수행한다.

그리고, 예측 방법 전환부(211)는 예측 화상 생성부(209)에 대해 제1 참조 정보와 제2 참조 정보 중 어느 하나 또는 양측 모두에 의한 인터 예측 중 어떤 예측 방법을 사용하여 예측 화상을 생성할지를 나타내는 전환 판정 정보를 결정한다(스텝 S204a). 전환 방법이나 기타 상세한 설명은 영상 부호화 장치와 동일하다.

스텝 S205의 처리는 도 5에 도시한 처리 동작과 동일하게 실행한다. 단 전환 판정에 의해 제1 참조 정보만 사용하는 것으로 판정된 서브 블록에 대해서는 스텝 S205의 제2 참조 정보 결정을 행하지 않아도 무방하다.

이어서, 예측 화상 생성부(209)는 전환 판정 정보 및 제1 참조 정보 또는 제2 참조 정보 또는 그 양측 모두에 근거하여 예측 화상을 생성한다(스텝 S206a).

이하, 스텝 S207~S209의 처리는 도 5에 도시한 처리 동작과 동일하게 실행한다.

<제3 실시 형태>

이어서, 제3 실시 형태에 대해 설명한다. 도 12는 본 발명의 제3 실시 형태에 의한 영상 부호화 장치(100b)의 구성을 나타내는 블록도이다. 이 도면에 있어서, 도 1에 도시한 장치와 동일 부분에는 동일 부호를 부여하고, 그 설명을 생략한다.

이 도면에 도시한 장치가 도 1에 도시한 장치와 다른 점은 새롭게 이차 예측 화상 생성부(115)를 구비하고 있는 점이다. 이차 예측 화상 생성부(115)는 제1 참조 영역에 대응되는 뎁스맵에 근거하여 제1 참조 영역에 대응되는 다른 참조 픽쳐 상의 참조처인 제3 참조 영역을 참조하고, 제1 참조 영역의 예측 화상인 이차 예측 화상을 생성한다.

이어서, 도 13을 참조하여 도 12에 도시한 영상 부호화 장치(100b)의 처리 동작을 설명한다. 도 13은 도 12에 도시한 영상 부호화 장치(100b)의 처리 동작을 나타내는 흐름도이다. 도 13에 있어서, 도 2에 도시한 처리와 동일 부분에는 동일 부호를 부여하고, 그 설명을 생략한다.

우선, 스텝 S101~S104는 도 2에 도시한 처리 동작과 동일한 처리를 수행한다.

그리고, 이차 예측 화상 생성부(115)는 제1 참조 영역에 대응되는 뎁스맵에 근거하여 제1 참조 영역에 대응되는 다른 참조 픽쳐 상의 참조처인 제3 참조 영역을 참조하고, 움직임 보상 또는 시차 보상 또는 시점 합성 예측에 의해 상술한 이차 예측 화상을 생성한다(스텝 S105b).

제3 참조 영역의 결정은 어떠한 방법으로 해도 무방하다. 예컨대, 스텝 S104에서 생성한 제2 참조 정보를 사용하여 결정할 수도 있고, 별도의 제1 참조 영역에 대응되는 뎁스맵을 참조할 수도 있다. 또한, 제1 실시 형태에 있어서의 제2 참조 영역을 결정하는 경우와 마찬가지로, 어떠한 단위로도 결정 가능하다. 이 단위는 제2 참조 정보의 결정시와 동일한 단위일 수도 있고, 다른 단위일 수도 있다.

이차 예측 화상을 생성하면, 예측 화상 생성부(108)는 제1 참조 정보에 따라 제1 일차 예측 화상을 생성하고, 제2 참조 정보에 따라 제2 일차 예측 화상을 생성하며, 제1 일차 예측 화상과 제2 일차 예측 화상과 이차 예측 화상으로 이루어진 예측 화상을 생성한다(스텝 S105c).

예측 화상의 생성은 어떠한 방법을 이용하더라도 무방하다. 이하에서는 제1 참조 영역이 부호화 대상 시점과 동시점의 다른 프레임의 픽쳐 상에 있는 예에 대해 설명한다.

도 14는 부호화 대상 화상이 시점 B의 프레임 n의 픽쳐의 일부이고, 제1 참조 정보에 의해 나타난 제1 참조 영역이 시점 B의 프레임 m(≠n)의 참조 픽쳐 상에 있고, 제2 참조 영역을 시점 A(≠B)의 프레임 n의 참조 픽쳐 상에 설정하는 경우의 예이다.

본 예에 대해 제1 일차 예측 화상에 대해 잔차 예측을 실시하여 예측 화상을 생성하는 경우, 제2 일차 예측 화상과 이차 예측 화상의 차분(도 14의 제1 차분 화상)을 이 움직임 보상에 있어서의 잔차의 예측값으로 하여 제1 일차 예측 화상에 가산함으로써 예측 화상을 생성할 수 있다.

여기서, 제1 일차 예측 화상을 l₁, 제2 일차 예측 화상을 1₂, 이차 예측 화상을 1₃이라 할 때, 예측 화상 l은 (1)식으로 표시된다.

1=l₁+(l₂-l₃)...1)

예측 화상 생성에서는, 상기 (1)식에 따라 한 번에 예측 화상을 생성해도 되고, 별도의 차분 화상을 생성한 후, 제1 일차 예측 화상에 가산함으로써 예측 화상을 생성할 수도 있다. 그 외에 어떠한 순서로든 잔차 예측을 실시하고 예측 화상을 생성할 수도 있다.

또한, 제2 일차 예측 화상에 대해 잔차 예측을 실시하는 경우에도, 동일한 식으로 예측 화상을 생성할 수 있다(제2 일차 예측 화상에 도 14에 있어서의 제2 차분 화상을 가산하면 (1)식과 등가가 됨).

또한, 상기 예에서는 제1 참조 영역이 부호화 대상 시점과 동시점의 다른 프레임의 픽쳐 상에 있는 경우에 대해 설명하였지만, 제1 참조 영역이 부호화 대상 시점과 다른 시점의 동프레임의 픽쳐 상에 있는 경우에도, 동일한 방법을 이용할 수 있다.

이어서, 영상 복호 장치에 대해 설명한다. 도 15는 본 발명의 제3 실시 형태에 의한 영상 복호 장치(200b)의 구성을 나타내는 블록도이다. 이 도면에 있어서, 도 4에 도시한 장치와 동일한 부분에는 동일한 부호를 부여하고, 그 설명을 생략한다.

이 도면에 도시한 장치가 도 4에 도시한 장치와 다른 점은 새롭게 이차 예측 화상 생성부(212)를 구비하고 있는 점이다. 이차 예측 화상 생성부(212)는 제1 참조 영역에 대응되는 뎁스맵에 근거하여 제1 참조 영역에 대응되는 다른 참조 픽쳐 상의 참조처인 제3 참조 영역을 참조하고, 제1 참조 영역에 대응되는 예측 화상인 이차 예측 화상을 생성한다.

이어서, 도 16을 참조하여 도 15에 도시한 영상 복호 장치(200b)의 처리 동작을 설명한다. 도 16은 도 15에 도시한 영상 복호 장치(200b)의 처리 동작을 나타내는 흐름도이다. 도 16에 있어서, 도 5에 도시한 처리와 동일한 부분에는 동일한 부호를 부여하고, 그 설명을 생략한다.

우선, 스텝 S201~S205는 도 5에 도시한 처리 동작과 동일한 처리를 수행한다.

그리고, 이차 예측 화상 생성부(212)는 제1 참조 영역에 대응되는 뎁스맵에 근거하여 제1 참조 영역에 대응되는 다른 참조 픽쳐 상의 참조처인 제3 참조 영역을 참조하고, 제1 참조 영역에 대응되는 예측 화상인 이차 예측 화상을 생성한다(스텝 S206b). 상세한 설명은 영상 부호화 장치와 동일하기 때문에, 여기서는 생략한다.

이차 예측 화상을 생성하면, 예측 화상 생성부(209)는 제1 참조 정보에 따라 제1 일차 예측 화상을 생성하고, 제2 참조 정보에 따라 제2 일차 예측 화상을 생성하고, 제1 일차 예측 화상과 제2 일차 예측 화상과 이차 예측 화상으로부터 예측 화상을 생성한다(스텝 S206c). 상세한 동작은 영상 부호화 장치의 설명과 같으므로, 여기서는 생략한다.

또한, 전술한 제2 실시 형태에서는 블록 또는 서브 블록마다 예측 방법을 전환하여 예측 화상을 생성하고 있지만, 전환이 아닌, 제1 참조 영역과 제2 참조 영역의 양측 모두를 사용한 쌍방향 예측을 실시하는 것으로 하여 쌍방향 예측을 실시할 때의 무게를 결정할 수도 있다.

이 무게는 전술한 바와 같은 제1 참조 영역의 예측 잔차나, 제2 참조 영역의 예측 정보나, 제3 참조 영역이나 차분 화상을 사용하여 예측 정밀도를 추측하는 방법으로 결정할 수도 있다. 또한 다른 방법으로는 부호화 대상 블록의 주변 블록과 제1 참조 영역 및 제2 참조 영역의 주변 블록을 참조하고, 가장 바람직한 무게를 결정할 수도 있다.

또한, 전술한 제3 실시 형태에서는 제1 참조 영역에 대응되는 뎁스맵에 근거하여 제1 참조 영역에 대응되는 다른 참조 픽쳐 상의 참조처인 제3 참조 영역을 참조하고 이차 예측 화상을 생성하여 잔차 예측에 사용하고 있지만, 다른 방법으로서 제1 참조 영역의 부호화시의 예측 잔차를 축적해 두고, 그 축적된 예측 잔차를 사용하여 잔차 예측을 실시할 수도 있다.

축적된 예측 잔차를 R로 하고, 이 경우 (1)식은 하기 (2)식과 같이 변형되고, 제1 참조 영역의 예측 잔차와 제2 참조 영역만으로 예측 화상을 생성할 수 있다. 또는 축적된 예측 잔차를 제1 참조 영역의 화상으로부터 감산함으로써 이차 예측 화상을 생성하고, 이것을 이용하여 제3 실시 형태와 동일한 방법으로 예측 화상을 생성할 수도 있다.

l=l₁,+R ...(2)

또한, 전술한 제1~제3 실시 형태에서는 결정한 제2 참조 정보를 부호화 대상 블록의 예측에 사용하는 경우의 처리를 설명하였지만, 결정한 제2 참조 정보를 부호화 대상 블록의 처리에는 사용하지 않고 머지 모드로 사용되는 후보 리스트(candidate list)에 추가할 수도 있다. 또는 예측에 사용한 후 후보 리스트에 더 추가할 수도 있다. 또는 제2 참조 정보가 시차 벡터인 경우에는 이후의 블록에서 NBDV로서 사용하기 위해 기억할 수도 있다. 또한, 벡터 예측의 예측값으로서 사용할 수도 있고, 그것을 위한 후보 리스트에 추가할 수도 있다.

또한, 전술한 제1~제3 실시 형태에서는 제1 참조 영역에 대응되는 뎁스맵에 따라 제2 참조 정보를 결정하는 경우의 처리를 설명하였지만, 제1 참조 영역의 부호화시의 후보 리스트나, NBDV 등의 주변 블록의 정보로부터 제2 참조 정보를 결정해도 무방하다. 후보 중에서 하나를 선택해도 되고, 복수의 후보를 사용하여 결정할 수도 있다.

또한, 부호화 대상 블록의 후보 리스트나 NBDV 등의 주변 블록의 정보를 사용할 수도 있다. 예컨대, 통상 부호화 대상 블록의 NBDV를 결정할 때, 주변 블록의 부호화시의 시차 벡터의 리스트 중에서 미리 정해진 규칙에 따라 NBDV를 결정하지만, 이 때 제1 참조 영역의 주변 블록의 부호화시의 시차 벡터의 리스트와 대조하여 적당한 시차 벡터를 선택하는 것으로 할 수도 있다.

또한, 전술한 제1~제3 실시 형태에서는 부호화 대상 블록이 단방향 예측과 마찬가지로 제1 참조 정보를 하나 갖는 경우의 처리에 대해 설명하였지만, 일반적인 쌍방향 예측과 같이 2개 이상의 제1 참조 정보를 줄 수도 있다. 그 경우 양방향에 대해 제2 참조 정보를 결정하고 전술한 처리를 실시할 수도 있고, 일방향으로만 실시할 수도 있다.

또한, 전술한 제1~제3 실시 형태에서는 제2 참조 정보의 결정에 사용한 제1 참조 영역을 예측에 사용하는 방법에 대해 설명하였지만, 제2 참조 영역의 결정에 사용한 제1 참조 영역과는 다른 영역을 예측에 사용할 수도 있다.

예컨대, 예측 정보를 2개 부호화하고, 하나를 예측에 사용하고, 다른 하나를 제2 참조 영역의 결정에 사용할 수도 있다. 또는 부호화한 예측 정보는 통상의 예측에만 사용하고, 후보 리스트나 NBDV 등을 사용하여 제2 참조 정보를 결정하기 위한 제1 참조 정보를 따로 결정할 수도 있다.

또한, 제2 참조 정보를 사용하여 제1 참조 정보를 보정, 또는 새롭게 생성할 수도 있다. 예컨대, 제1 참조 정보가 움직임 벡터이고, 움직임 벡터가 나타내는 참조처의 뎁스맵으로부터 제2 참조 정보를 얻는 경우에, 제2 참조 정보가 나타내는 참조처의 부호화시의 움직임 벡터를 취득하여 새로운 제1 참조 정보로서 예측에 이용할 수도 있다.

또한, 전술한 제1~제3 실시 형태에서 설명한 방법을 서로 조합할 수도 있고, 다른 어떠한 방법을 조합할 수도 있다.

예컨대, 제1 실시 형태에서 설명한 방법에 의해 부호화된 움직임 벡터를 사용하여 뎁스맵으로부터 시차 벡터를 취득하고, 시차 보상 예측에 의해 일차 예측 화상을 생성하고, 또한 상기 부호화된 움직임 벡터를 사용하여 잔차 예측을 실시할 수도 있다.

또한 원래의 부호화된 움직임 벡터 대신에 시차 벡터가 나타내는 참조처의 부호화시의 움직임 벡터를 사용하여 잔차 예측을 실시할 수도 있다.

또한, 부호화된 움직임 벡터와 참조처의 부호화시의 움직임 벡터를 사용하여 취득한 시차 벡터의 보정을 수행할 수도 있다.

또한, 전술한 제1~제3 실시 형태에 있어서의 일부 처리는 그 순서가 뒤바뀔 수도 있다.

이상 설명한 바와 같이, 부호화된 움직임/시차 벡터나 다이렉트 모드/머지 모드, 또는 시점간 움직임 예측이나 기타 방법에서 얻어지는 움직임/시차 벡터를 사용하여 이미 부호화가 끝난 픽쳐 상의 영역을 참조하고, 또한 그 참조 영역에 대응되는 이미 부호화가 끝난 뎁스맵을 취득하고, 시차 벡터의 생성 등을 수행한다. 그에 따라, 추가 벡터를 부호화하지 않고, 또한 부호화 대상 화상에 대응되는 뎁스맵을 참조할 수 없는 경우에도 높은 정밀도의 인터 예측이나 시점 합성 예측이나, 원래의 움직임/시차 벡터와의 조합에 따른 쌍방향 예측이나 잔차 예측 등을 높은 정밀도로 실시하고, 예측 화상의 정밀도를 향상시킴으로써, 예측 잔차 부호화에 필요한 부호량을 삭감할 수 있다.

전술한 실시 형태에 있어서의 영상 부호화 장치, 영상 복호 장치를 컴퓨터로 실현하게 할 수도 있다. 그 경우, 해당 기능을 실현하기 위한 프로그램을 컴퓨터로 독출 가능한 기록 매체에 기록하고, 이 기록 매체에 기록된 프로그램을 컴퓨터 시스템에 독취하여 실행함으로써 실현할 수도 있다.

또한, 여기서 말하는 "컴퓨터 시스템"이란 OS나 주변 기기 등의 하드웨어를 포함하는 것으로 한다.

또한, "컴퓨터 독출 가능한 기록 매체"란 플렉서블 디스크, 광자기 디스크, ROM, CD-ROM 등의 이동식 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등의 기억 장치를 말한다.

또한 "컴퓨터 독출 가능한 기록 매체"란 인터넷 등의 네트워크나 전화 회선 등의 통신 회선을 통해 프로그램을 송신하는 경우의 통신선과 같이, 단시간 동안 동적으로 프로그램을 유지하는 것, 그 경우의 서버나 클라이언트가 되는 컴퓨터 시스템 내부의 휘발성 메모리와 같이 일정 시간 프로그램을 유지하는 것도 포함할 수도 있다.

또한 상기 프로그램은 전술한 기능의 일부를 실현하기 위한 것일 수도 있고, 또한 전술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램과의 조합으로 실현 가능한 것일 수도 있으며, PLD(Programmable Logic Device)나 FPGA(Field Programmable Gate Array) 등의 하드웨어를 이용하여 실현되는 것일 수도 있다.

이상, 도면을 참조하여 본 발명의 실시의 형태를 설명하였지만, 상기 실시의 형태는 본 발명의 예시에 불과하며, 본 발명이 상기 실시의 형태에 한정되는 것이 아님은 분명하다. 따라서, 본 발명의 기술 사상 및 범위를 벗어나지 않는 범위에서 구성 요소의 추가, 생략, 치환, 그 밖의 변경을 실시할 수도 있다.

[산업상의 이용 가능성]

추가 움직임/시차 벡터를 부호화하지 않고도 고정밀도의 움직임/시차 보상 예측이나, 원래의 움직임/시차 벡터와 조합한 쌍방향 예측이나 잔차 예측 등을 높은 정밀도로 실시하고, 예측 화상의 정밀도를 향상시킴으로써, 예측 잔차 부호화에 필요한 부호량을 삭감하는 것이 불가피한 용도에 적용할 수 있다.

101 부호화 대상 영상 입력부
102 입력 영상 메모리
103 참조 픽쳐 메모리
104 뎁스맵 입력부
105 뎁스맵 메모리
106 예측부
107 제2 참조 정보 결정부
108 예측 화상 생성부
109 감산부
110 변환·양자화부
111 역양자화·역변화부
112 가산부
113 엔트로피 부호화부
114 예측 방법 전환부
115 이차 예측 화상 생성부
201 부호 데이터 입력부
202 부호 데이터 메모리
203 참조 픽쳐 메모리
204 뎁스맵 입력부
205 뎁스맵 메모리
206 엔트로피 복호부
207 역양자화·역변환부
208 제2 참조 정보 결정부
209 예측 화상 생성부
210 가산부
211 예측 방법 전환부
212 이차 예측 화상 생성부

Claims

부호화 대상 영상에 포함되는 부호화 대상 화상을 예측 부호화하는 영상 부호화 장치로서,
이미 부호화가 끝난 화상을 참조 픽쳐로 하여 부호화 대상 화상을 예측하고, 참조처인 제1 참조 영역을 나타내는 제1 참조 정보를 결정하는 예측 수단;
상기 제1 참조 영역에 대응되는 뎁스맵으로부터 부호화 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 수단; 및
상기 제2 참조 정보, 또는 상기 제1 참조 정보와 상기 제2 참조 정보의 양측 모두를 근거로 예측 화상을 생성하는 예측 화상 생성 수단;을 갖는 것을 특징으로 하는 영상 부호화 장치.
청구항 1에 있어서,
상기 제1 참조 정보는 부호화 대상 화상과 다른 프레임의 화상 상의 참조처를 나타내고, 상기 제2 참조 정보는 부호화 대상 화상과 다른 시점의 화상 상의 참조처를 나타내는 것을 특징으로 하는 영상 부호화 장치.
청구항 1에 있어서,
상기 예측 화상 생성 수단은 상기 제1 참조 정보를 사용하여 제1 일차 예측 화상을 생성하고, 상기 제2 참조 정보를 사용하여 제2 일차 예측 화상을 생성하며, 상기 제1 일차 예측 화상과 상기 제2 일차 예측 화상을 혼합함으로써 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
청구항 1에 있어서,
상기 예측 화상 생성 수단은 부호화 대상 화상의 부분 영역마다 상기 제1 참조 정보와 상기 제2 참조 정보 중 어느 하나 또는 양측 모두를 사용하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
청구항 4에 있어서,
상기 제1 참조 영역에 대응되는 뎁스맵에 의해 결정되는 상기 제1 참조 영역에 대응되는 다른 참조 픽쳐 상의 참조처인 제3 참조 영역을 근거로 부호화 대상 화상의 부분 영역마다 상기 제1 참조 정보와 상기 제2 참조 정보 중 어느 하나 또는 양측 모두를 사용할지를 판정하는 판정 수단을 더 가지며, 상기 예측 화상 생성 수단은 상기 판정 수단의 판정 결과에 따라 부호화 대상 화상의 부분 영역마다 상기 제1 참조 정보와 상기 제2 참조 정보 중 어느 하나 또는 양측 모두를 사용하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
청구항 1에 있어서,
상기 예측 화상 생성 수단은 상기 제1 참조 정보를 사용하여 제1 일차 예측 화상을 생성하고, 상기 제2 참조 정보를 사용하여 제2 일차 예측 화상을 생성하며, 또한 상기 제1 참조 정보와 상기 제1 참조 영역에 대응되는 뎁스맵, 또는 상기 제1 참조 정보와 상기 제2 참조 정보를 사용하여 잔차 예측을 실시함으로써 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
청구항 6에 있어서,
상기 예측 화상 생성 수단은 상기 제1 참조 영역에 대응되는 뎁스맵에 의해 결정되는, 상기 제1 참조 영역에 대응되는 다른 참조 픽쳐 상의 참조처인 제3 참조 영역으로부터 이차 예측 화상을 생성하고, 상기 제1 일차 예측 화상과 상기 제2 일차 예측 화상과 상기 이차 예측 화상으로 이루어진 잔차 예측을 실시하고, 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 부호화 장치.
부호화 대상 영상에 포함되는 부호화 대상 화상을 예측 부호화하는 영상 부호화 장치로서,
이미 부호화가 끝난 화상을 참조 픽쳐로 하여 부호화 대상 화상을 예측하고, 참조처인 제1 참조 영역을 나타내는 제1 참조 정보를 결정하는 예측 수단;
상기 제1 참조 영역에 대응되는 뎁스맵으로부터 부호화 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 수단; 및
상기 제2 참조 정보를, 부호화 대상 화상의 주변 화상의 예측 정보를 리스트화한 후보 리스트에 부가하는 후보 리스트 갱신 수단;을 갖는 것을 특징으로 하는 영상 부호화 장치.
복호 대상 영상에 포함되는 복호 대상 화상을 예측 복호하는 영상 복호 장치로서,
부호화된 예측 정보 또는 그 영상 복호 장치에서 참조 가능한 정보에 따른 제1 참조 정보가 나타내는 참조처인 제1 참조 영역에 대응되는 뎁스맵으로부터 복호 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 수단; 및
상기 제2 참조 정보, 또는 상기 제1 참조 정보와 상기 제2 참조 정보의 양측 모두를 근거로 예측 화상을 생성하는 예측 화상 생성 수단;을 갖는 것을 특징으로 하는 영상 복호 장치.
청구항 9에 있어서,
상기 제1 참조 정보는 복호 대상 화상과 다른 프레임의 화상 상의 참조처를 나타내고, 상기 제2 참조 정보는 복호 대상 화상과 다른 시점의 화상 상의 참조처를 나타내는 것을 특징으로 하는 영상 복호 장치.
청구항 9에 있어서,
상기 예측 화상 생성 수단은 상기 제1 참조 정보를 사용하여 제1 일차 예측 화상을 생성하고, 상기 제2 참조 정보를 사용하여 제2 일차 예측 화상을 생성하며, 상기 제1 일차 예측 화상과 상기 제2 일차 예측 화상을 혼합함으로써 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 장치.
청구항 9에 있어서,
상기 예측 화상 생성 수단은 복호 대상 화상의 부분 영역마다 상기 제1 참조 정보와 상기 제2 참조 정보 중 어느 하나 또는 양측 모두를 사용하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 장치.
청구항 12에 있어서,
상기 제1 참조 영역에 대응되는 뎁스맵에 의해 결정되는 상기 제1 참조 영역에 대응되는 다른 참조 픽쳐 상의 참조처인 제3 참조 영역을 근거로 복호 대상 화상의 부분 영역마다 상기 제1 참조 정보와 상기 제2 참조 정보 중 어느 하나 또는 양측 모두를 사용할지를 판정하는 판정 수단을 더 가지며,
상기 예측 화상 생성 수단은 상기 판정 수단의 판정 결과에 따라, 복호 대상 화상의 부분 영역마다 상기 제1 참조 정보와 상기 제2 참조 정보 중 어느 하나 또는 양측 모두를 사용하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 장치.
청구항 9에 있어서,
상기 예측 화상 생성 수단은 상기 제1 참조 정보를 사용하여 제1 일차 예측 화상을 생성하고, 상기 제2 참조 정보를 사용하여 제2 일차 예측 화상을 생성하며, 또한 상기 제1 참조 정보와 상기 제1 참조 영역에 대응되는 뎁스맵, 또는 상기 제1 참조 정보와 상기 제2 참조 정보를 사용하여 잔차 예측을 실시함으로써 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 장치.
청구항 14에 있어서,
상기 예측 화상 생성 수단은 상기 제1 참조 영역에 대응되는 뎁스맵에 의해 결정되는 상기 제1 참조 영역에 대응되는 다른 참조 픽쳐 상의 참조처인 제3 참조 영역으로부터 이차 예측 화상을 생성하고, 상기 제1 일차 예측 화상과 상기 제2 일차 예측 화상과 상기 이차 예측 화상으로 이루어진 잔차 예측을 실시하여 상기 예측 화상을 생성하는 것을 특징으로 하는 영상 복호 장치.
복호 대상 영상에 포함되는 복호 대상 화상을 예측 복호하는 영상 복호 장치로서,
이미 복호가 끝난 화상을 참조 픽쳐로 하여 복호 대상 화상을 예측하고 참조처인 제1 참조 영역을 나타내는 제1 참조 정보를 결정하는 예측 수단;
상기 제1 참조 영역에 대응되는 뎁스맵과, 복호 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 수단; 및
상기 제2 참조 정보를 복호 대상 화상의 주변 화상의 예측 정보를 리스트화한 후보 리스트에 부가하는 후보 리스트 갱신 수단;을 갖는 것을 특징으로 하는 영상 복호 장치.
부호화 대상 영상에 포함되는 부호화 대상 화상을 예측 부호화하는 영상 부호화 장치가 수행하는 영상 부호화 방법으로서,
이미 부호화가 끝난 화상을 참조 픽쳐로 하여 부호화 대상 화상을 예측하고 참조처인 제1 참조 영역을 나타내는 제1 참조 정보를 결정하는 예측 스텝;
상기 제1 참조 영역에 대응되는 뎁스맵과, 부호화 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 스텝; 및
상기 제2 참조 정보 또는 상기 제1 참조 정보와 상기 제2 참조 정보의 양측 모두를 근거로 예측 화상을 생성하는 예측 화상 생성 스텝;을 구비하는 것을 특징으로 하는 영상 부호화 방법.
부호화 대상 영상에 포함되는 부호화 대상 화상을 예측 부호화하는 영상 부호화 장치가 수행하는 영상 부호화 방법으로서,
이미 부호화가 끝난 화상을 참조 픽쳐로 하여 부호화 대상 화상을 예측하고 참조처인 제1 참조 영역을 나타내는 제1 참조 정보를 결정하는 예측 스텝;
상기 제1 참조 영역에 대응되는 뎁스맵으로부터 부호화 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 스텝; 및
상기 제2 참조 정보를 부호화 대상 화상의 주변 화상의 예측 정보를 리스트화한 후보 리스트에 부가하는 후보 리스트 갱신 스텝;을 구비하는 것을 특징으로 하는 영상 부호화 방법.
복호 대상 영상에 포함되는 복호 대상 화상을 예측 복호하는 영상 복호 장치가 수행하는 영상 복호 방법으로서,
부호화된 예측 정보 또는 그 영상 복호 장치에서 참조 가능한 어떤 정보에 따른 제1 참조 정보가 나타내는 참조처인 제1 참조 영역에 대응되는 뎁스맵으로부터 복호 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 스텝; 및
상기 제2 참조 정보 또는 상기 제1 참조 정보와 상기 제2 참조 정보의 양측 모두를 근거로 예측 화상을 생성하는 예측 화상 생성 스텝;을 구비하는 것을 특징으로 하는 영상 복호 방법.
복호 대상 영상에 포함되는 복호 대상 화상을 예측 복호하는 영상 복호 장치가 수행하는 영상 복호 방법으로서,
이미 복호가 끝난 화상을 참조 픽쳐로 하여 복호 대상 화상을 예측하고 참조처인 제1 참조 영역을 나타내는 제1 참조 정보를 결정하는 예측 스텝;
상기 제1 참조 영역에 대응되는 뎁스맵과, 복호 대상 화상에 대한 다른 참조처인 제2 참조 영역을 나타내는 제2 참조 정보를 결정하는 제2 참조 정보 결정 스텝; 및
상기 제2 참조 정보를, 복호 대상 화상의 주변 화상의 예측 정보를 리스트화한 후보 리스트에 부가하는 후보 리스트 갱신 스텝;을 구비하는 것을 특징으로 하는 영상 복호 방법.