KR101123285B1

KR101123285B1 - 동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록매체

Info

Publication number: KR101123285B1
Application number: KR1020107008045A
Authority: KR
Inventors: 가즈야 하야세; 유키히로 반도; 세이시 다카무라; 가즈토 가미쿠라; 요시유키 야시마
Original assignee: 니폰덴신뎅와 가부시키가이샤
Priority date: 2007-10-25
Filing date: 2008-10-20
Publication date: 2012-03-20
Also published as: TW200935919A; CN101836457B; BRPI0818665A2; RU2010114733A; EP2202984A4; EP2202984A1; US8548039B2; US20100215095A1; CA2702525A1; JPWO2009054347A1; ES2634162T3; JP5261774B2; KR20100066560A; CA2702525C; RU2461978C2; EP2202984B1; TWI384885B; WO2009054347A1; CN101836457A

Abstract

상위 레이어의 부호화 대상 화상 영역과 피참조 화상 영역간의 밝기 변화를 나타내는 비례 계수와 오프셋 계수로 이루어진 가중 계수를 산출하고, 그 가중 계수를 탐색 대상이 되는 피참조 화상 영역의 화상 신호에 연산하여 움직임을 추정함으로써 움직임 벡터를 산출하고, 그 움직임 벡터가 가리키는 피참조 화상 영역의 복호 신호에 그 가중 계수를 연산하여 움직임 보상함으로써 예측 신호를 생성하는 동화상 스케일러블 부호화 방법. 직하 레이어에서 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 직하 화상 영역의 부호화 정보에 기초하여 상기 가중 계수의 데이터 구조를 결정하고, 직하 화상 영역이 직하 레이어에서 화면간 예측을 한 경우에 직하 화상 영역이 움직임 예측의 예측 참조처인 직하 레이어 피참조 화상 영역을 식별하고, 그 직하 레이어 피참조 화상 영역과 공간적 동일 위치에 존재하는 상위 레이어의 화상 영역의 직류 성분에 대해 직하 화상 영역이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것을 직하 화상 영역의 직류 성분으로 간주하여 상기 가중 계수를 산출한다.

Description

동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록매체{Video scalable encoding method, video scalable decoding method, devices therefor, programs therefor, and recording medium where program is recorded}

본 발명은 밝기가 시간적으로 변화되는 동화상을 스케일러블하게 부호화하는 동화상 스케일러블 부호화 방법 및 그 장치와, 그 동화상 스케일러블 부호화에 의해 부호화된 부호화 데이터를 복호하는 동화상 스케일러블 복호 방법 및 그 장치와, 그 동화상 스케일러블 부호화 방법의 실현에 사용되는 동화상 스케일러블 부호화 프로그램 및 그 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체와, 그 동화상 스케일러블 복호 방법의 실현에 사용되는 동화상 스케일러블 복호 프로그램 및 그 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

본원은 2007년 10월 25일에 출원된 일본특원2007-277224호에 기초하여 우선권을 주장하고 그 내용을 여기에 원용한다.

일반적인 동화상 부호화 방식에서는 프레임간의 화소값 차분 최소화에 기초한 블럭 매칭에 의해 움직임 예측을 하여 부호화 성능의 향상을 꾀하고 있다. 그러나 페이드와 같이 밝기가 시간적으로 변화되는 화상에서는 밝기 변화만큼 움직임 예측의 예측 잔차가 확대되어 부호화 성능이 저하된다.

그래서 비특허문헌 1에 나타내는 H.264/AVC에서는 움직임 예측 참조 픽쳐에 적응적으로 가중 계수를 곱하는 가중 움직임 예측을 하였다. 이 가중 움직임 예측에 의해 시간적인 밝기 변화를 보정한 예측 참조 신호를 구성하여 부호화 성능을 향상시켰다.

H.264/AVC에서는 밝기의 보정에 사용하는 가중 계수를 부호화하여 전송하는 Explicit모드와, 가중 계수를 전송하지 않고 인코더와 디코더에서 같은 가중 계수를 참조 프레임의 정보로부터 간접적으로 생성하는 Implicit모드의 2가지 가중 움직임 예측 방법을 구비하고 있다. 표 1에 P슬라이스 및 B슬라이스에서의 가중 움직임 예측의 종류와 예측 방법을 나타낸다.

H.264/AVC에서의 가중 움직임 예측 종류와 그 방법

타입	예측 종류	예측 신호	계수의 전송
P슬라이스	-	z=w₀?r₀+d₀	w₀,d₀를 전송(Explicit)
B슬라이스	L0/L1 예측	z=w₀?r₀+d₀(L0예측) z=w₁?r₁+d₁(L1예측)	w₀,d₀,w₁,d₁을 전송(Explicit)
	양방향 예측	z=w₀?r₀+w₁?r₁+d (d=1/2(d₀+d₁))	w₀,d₀,w₁,d₁을 전송(Explicit)
	양방향 예측	z=w₀?r₀+w₁?r₁	참조 픽쳐로부터의 거리에 따라 w₀,w₁을 산출(Implicit)

이 표 1에서, z는 가중 움직임 예측 신호, r₀,r₁은 가중 움직임 예측 참조 신호, w₀,w₁,d₀,d₁은 가중 계수를 가리키고 있다. 가중 움직임 예측 스위칭과 가중 계수 전송 모드의 선택은 슬라이스 단위로 실행된다.

도 20은, H.264/AVC에서의 가중 움직임 예측(Implicit모드)을 설명하는 도면이다. implicit모드는 B슬라이스의 쌍예측인 경우에만 사용된다. 부호화 대상 프레임과 2장의 피참조 프레임에 걸친 밝기 변화가 선형이라고 가정하여 비례 계수w₀,w₁을 피참조 프레임으로부터의 거리에 따라 산출한다. 오프셋 계수d는 0으로 한다.

아울러 도 20에서는 참조 프레임으로부터의 거리에 따른 내분에 의한 비례 계수 산출의 예를 도시하고 있는데, 외분의 경우에도 동일하게 수행할 수 있다.

현재, 비특허문헌 2에 나타내는 ISO와 ITU-T의 합동 단체인 JVT로 대처되고 있는 H.264/AVC의 스케일러블 확장 방식TSVC에서도, 상기에 나타낸 H.264/AVC와 같은 가중 움직임 예측이 도입되어 있다. 또 비특허문헌 3에 나타내는 JSVC의 참조 인코더TSVM에서도, 표 1에 나타낸 가중 움직임을 예측하였다.

또 동화상의 대국적인 휘도 변화를 검출하여 휘도 보상하는 기술로서, 특허문헌 1에 기재된 기술이 알려져 있다. 이 특허문헌 1에 기재된 기술에서는 화면 전체의 대국적인 휘도 변화량과, 소영역마다 휘도 변화 보상을 하는지 여부의 판정을 나타내는 플래그를 사용함으로써 밝기의 변화가 화면내에서 한결같지 않은 경우에 대응하고 있다.

특허문헌 1: 일본특개평10-32824호 공보

비특허문헌 1: ITU-T: "Advanced video coding for generic audiovisual services", ITU-T Rec.H.264, pp.129-132, May, 2003. 비특허문헌 2: T.Wiegand, G.Sullivan, J.Reichel, H.Schwarz and M.Wien:"Joint Draft 8 of SVC Amendment" ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U201, pp.166-170, October, 2006. 비특허문헌 3: J.Reichel, H.Schwarz and M.Wien: "Joint Scalable Video Model JSVM-8" ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U202, October, 2006

H.264/AVC의 가중 움직임 예측은 슬라이스 단위로 실행된다. 따라서 슬라이스내의 일부에 밝기 변화가 발생하는 경우나 슬라이스내의 밝기 변화가 한결같지 않은 경우에는 가중 움직임 예측의 예측 성능은 저하된다. 이동 물체의 그림자 등에 의해 발생하는 밝기 변화 등이 상기에 해당한다. JSVC도 H.264/AVC의 가중 움직임 예측을 계승하기 때문에 상술한 문제에 직면한다.

만일 슬라이스보다 세밀한 매크로 블럭 등의 단위로 가중 계수를 산출하여 가중 움직임 예측을 실행하고자 하면 Explicit모드에서는 가중 계수에 필요한 부호량이 엄청나게 커진다. 그와 같은 경우에는 implicit모드로 가중 계수를 산출하는 것이 바람직하다. 그러나 상술한 것처럼 H.264/AVC의 가중 움직임 예측 Implicit모드의 실장은 쌍예측을 하는 B슬라이스만으로 한정되어 있다.

또 이 가중 움직임 예측 Implicit모드로 산출되는 가중 계수는 부호화 대상 프레임과 2장의 피참조 프레임에 걸친 밝기 변화가 선형이라는 가정에 기초한 것이므로 그들 3프레임에 걸친 밝기의 시간적 변화가 비선형인 경우에는 적절한 가중 계수가 산출되지 않아 예측 성능은 저하된다. 비선형으로 밝기가 변화되는 페이드 화상이나 플래시를 포함한 화상 등이 상기에 해당한다.

JSVC에서의 가중 움직임 예측은 H.264/AVC의 가중 움직임 예측이 그대로 실장되어 있기 때문에 상술한 문제에 직면한다.

또 상기 특허문헌 1에 기재되어 있는 기술에서는 소영역마다 플래그의 정보를 전송할 필요가 있기 때문에 부호화 성능이 저하된다는 문제, 해당 소영역의 휘도 변화량이 크고 또한 대국적인 휘도 변화량과 괴리된 경우에도 해당 소영역에서의 휘도 변화를 보상할 수 없기 때문에, 그 점에서도 부호화 성능이 저하된다는 문제가 있었다.

본 발명은 상기 사정을 감안하여 이루어진 것으로서, 가장 낮은 공간 해상도를 가진 기본 레이어와, 그보다 높은 공간 해상도를 가진 하나 이상의 확장 레이어에 의해 구성되는 공간 스케일러블 부호화에서 움직임 예측 피참조 프레임의 복호 신호와 부호화 대상 프레임의 직하 레이어의 복호 신호간의 시간적인 밝기 변화 정보에 기초한 가중 움직임 예측 가중 계수를 생성하고, 가중 계수의 정보를 전송하지 않고 부호화기 및 복호기로 같은 가중 계수를 사용한 가중 움직임 예측을 수행하는 스케일러블 부호화기 및 복호기의 설계 방법을 확립하는 것을 목적으로 한다.

[1] 본 발명의 동화상 스케일러블 부호화 장치의 구성

상기 목적을 달성하기 위해 본 발명의 동화상 스케일러블 부호화 장치는 상위 레이어의 부호화 대상 화상 영역과 피참조 화상 영역간의 밝기 변화를 나타내는 비례 계수와 오프셋 계수로 이루어진 가중 계수를 산출하고, 그 가중 계수를 탐색 대상이 되는 피참조 화상 영역의 화상 신호에 연산하여 움직임을 추정함으로써 움직임 벡터를 산출하고, 그 움직임 벡터가 가리키는 피참조 화상 영역의 복호 신호에 그 가중 계수를 연산하여 움직임 보상함으로써 예측 신호를 생성한다는 구성을 채용할 때에, (i)직하 레이어에서 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 직하 화상 영역의 부호화 정보에 기초하여 상기 가중 계수의 데이터 구조를 결정하는 수단과, (ii)직하 화상 영역이 직하 레이어에서 화면간 예측을 한 경우에 직하 화상 영역이 움직임 예측의 예측 참조처인 직하 레이어 피참조 화상 영역을 식별하고, 그 직하 레이어 피참조 화상 영역과 공간적 동일 위치에 존재하는 상위 레이어의 화상 영역의 직류 성분에 대해 직하 화상 영역이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것을 직하 화상 영역의 직류 성분으로 간주하여 상기 가중 계수를 산출하는 산출 수단을 구비하도록 구성한다.

여기에서 결정 수단은 피참조 화상 영역이 하나인 경우에 비례 계수 보정 가중 계수 산출 방법을 사용할 경우에는 비례 계수로서 피참조 화상 영역의 직류 성분과 상기 직하 화상 영역의 직류 성분과의 비를 사용할 것을 결정하고, 오프셋 계수로서 0을 사용할 것을 결정함으로써 가중 계수의 데이터 구조를 결정하는 경우가 있다.

또 결정 수단은 피참조 화상 영역이 하나인 경우에 오프셋 계수 보정 가중 계수 산출 방법을 사용할 경우에는 오프셋 계수로서 피참조 화상 영역의 직류 성분과 상기 직하 화상 영역의 직류 성분과의 차를 사용할 것을 결정하고, 비례 계수로서 1을 사용할 것을 결정함으로써 가중 계수의 데이터 구조를 결정하는 경우가 있다.

또 결정 수단은 피참조 화상 영역이 2개인 경우에는 비례 계수로서 부호화 대상 화상 영역과 각 피참조 화상 영역간의 프레임간 거리에 따라 산출되는 것을 사용할 것을 결정하고, 오프셋 계수로서 2개의 피참조 화상 영역의 직류 성분에 대해 그 비례 계수를 곱한 값을 상기 직하 화상 영역의 직류 성분에서 감산함으로써 산출되는 것을 사용할 것을 결정함으로써 가중 계수의 데이터 구조를 결정하는 경우가 있다.

이 구성을 채용할 때 산출 수단은 직하 화상 영역에서 발생한 움직임 예측의 예측 잔차 신호에 대해서도 고려함으로써 정밀도의 향상을 꾀할 경우에는 직하 레이어 피참조 화상 영역과 공간적 동일 위치에 존재하는 상위 레이어의 화상 영역의 직류 성분에 대해 직하 화상 영역이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것에, 직하 화상 영역에서 발생한 움직임 예측의 예측 잔차 신호의 직류 성분을 더 가산한 것을 직하 화상 영역의 직류 성분으로 간주하도록 해도 좋다.

또 이 구성을 채용할 때 산출 수단은 직하 화상 영역이 보다 세밀한 소영역 단위로 움직임 예측이 이루어진 경우에는 그 소영역마다 직류 성분으로 간주하는 직류 성분을 산출하고 산출한 직류 성분과 각 소영역의 면적에 기초하여 직류 성분으로 간주하는 직류 성분을 산출하도록 해도 좋다.

이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 동화상 스케일러블 부호화 방법은 컴퓨터 프로그램으로도 실현할 수 있는 것으로서, 이 컴퓨터 프로그램은 적당한 컴퓨터로 읽을 수 있는 기록매체에 기록하여 제공되거나 네트워크를 통해 제공되고, 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어 수단상에서 동작함으로써 본 발명을 실현하게 된다.

[2] 본 발명의 동화상 스케일러블 복호 장치의 구성

상기 목적을 달성하기 위해 본 발명의 동화상 스케일러블 복호 장치는 상위 레이어의 복호 대상 화상 영역과 복호된 움직임 벡터가 가리키는 피참조 화상 영역간의 밝기 변화를 나타내는 비례 계수와 오프셋 계수로 이루어진 가중 계수를 산출하고, 복호된 움직임 벡터가 가리키는 피참조 화상 영역의 복호 신호에 그 가중 계수를 연산하여 움직임 보상함으로써 예측 신호를 생성한다는 구성을 채용할 때에, (i)직하 레이어에서 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 직하 화상 영역의 부호화 정보에 기초하여 상기 가중 계수의 데이터 구조를 결정하는 수단과, (ii)직하 화상 영역이 직하 레이어에서 화면간 예측을 한 경우에 직하 화상 영역이 움직임 예측의 예측 참조처인 직하 레이어 피참조 화상 영역을 식별하고, 그 직하 레이어 피참조 화상 영역과 공간적 동일 위치에 존재하는 상위 레이어의 화상 영역의 직류 성분에 대해 직하 화상 영역이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것을 직하 화상 영역의 직류 성분으로 간주하여 상기 가중 계수를 산출하는 산출 수단을 구비하도록 구성한다.

여기에서 결정 수단은 피참조 화상 영역이 하나인 경우에 비례 계수 보정 가중 계수 산출 방법을 사용할 경우에는, 비례 계수로서 피참조 화상 영역의 직류 성분과 상기 직하 화상 영역의 직류 성분과의 비를 사용할 것을 결정하고, 오프셋 계수로서 0을 사용할 것을 결정함으로써 가중 계수의 데이터 구조를 결정하는 경우가 있다.

이 구성을 채용할 때 산출 수단은 직하 화상 영역에서 발생한 움직임 예측의 예측 잔차 신호에 대해서도 고려함으로써 정밀도 향상을 꾀할 경우에는 직하 레이어 피참조 화상 영역과 공간적 동일 위치에 존재하는 상위 레이어의 화상 영역의 직류 성분에 대해 직하 화상 영역이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것에, 직하 화상 영역에서 발생한 움직임 예측의 예측 잔차 신호의 직류 성분을 가산한 것을 직하 화상 영역의 직류 성분으로 간주하도록 해도 좋다.

또 이 구성을 채용할 때 산출 수단은 직하 화상 영역이 보다 세밀한 소영역 단위로 움직임 예측이 이루어진 경우에는 그 소영역마다 직류 성분으로 간주하는 직류 성분을 산출하고, 산출한 직류 성분과 각 소영역의 면적에 기초하여 직류 성분으로 간주하는 직류 성분을 산출하도록 해도 좋다.

이상의 각 처리 수단이 동작함으로써 실현되는 본 발명의 동화상 스케일러블 복호 방법은 컴퓨터 프로그램으로도 실현할 수 있는 것으로서, 이 컴퓨터 프로그램은 적당한 컴퓨터로 읽을 수 있는 기록매체에 기록하여 제공되거나 네트워크를 통해 제공되고, 본 발명을 실시할 때에 인스톨되어 CPU 등의 제어 수단상에서 동작함으로써 본 발명을 실현하게 된다.

본 발명에 의하면, 이동 물체의 그림자 등에 의해 화상내의 일부 밝기가 변화되는 경우에도 복호 처리에 필요한 메모리와 계산 시간을 절약하면서 가중 계수를 전송하지 않는 Implicit모드로 의해 고정밀도의 가중 움직임 예측을 실행할 수 있게 된다.

그리고 본 발명에 의하면 종래 Explicit모드밖에 채용할 수 없었던 P슬라이스 및 B슬라이스의 L0/L1예측이라는 한방향 예측인 경우에도 복호 처리에 필요한 메모리와 계산 시간을 절약하면서 가중 계수를 전송하지 않는 Implicit모드에 의해 고정밀도의 가중 움직임 예측을 실행할 수 있게 된다.

그리고 본 발명에 의하면 플래시를 포함한 화상이나 비선형 변화 페이드 화상과 같은 부호화/복호 처리 대상 프레임과 여러 개의 예측 참조 프레임간의 밝기 변화가 비선형 화상에서도 복호 처리에 필요한 메모리와 계산 시간을 절약하면서 가중 계수를 전송하지 않는 Implicit모드로 고정밀도의 가중 움직임 예측을 실행할 수 있게 된다.

이상과 같은 가중 움직임 예측 성능 향상에 의해 본 발명에 의하면 부호화 효율의 향상을 기대할 수 있다.

도 1a는 프레임간의 밝기 변화를 설명하는 도면이다.
도 1b는 예측 성능이 악화되는 예를 도시한 도면이다.
도 1c는 본 발명의 개념을 설명하는 도면이다.
도 2는 보정 대상 프레임 및 피보정 프레임의 설명도이다.
도 3은 일본특원2007-174161의 발명에서의 가중 계수의 산출 방법의 설명도이다.
도 4a는 일본특원2007-174161의 발명에서의 가중 계수의 산출 방법의 설명도이다.
도 4b는 마찬가지로 일본특원2007-174161의 발명에서의 가중 계수의 산출 방법의 설명도이다.
도 4c는 마찬가지로 일본특원2007-174161의 발명에서의 가중 계수의 산출 방법의 설명도이다.
도 5는 본 발명의 개념을 설명하는 도면이다.
도 6은 마찬가지로 본 발명의 개념을 설명하는 도면이다.
도 7은 본 발명의 유효성을 검증하기 위해 수행한 실험의 실험 결과 설명도이다.
도 8은 본 발명에 의한 부호화 처리의 실시예의 흐름도이다.
도 9는 본 발명에 의한 복호 처리의 실시예의 흐름도이다.
도 10은 본 발명에 의한 가중 움직임 추정 처리의 실시예의 흐름도이다.
도 11은 본 발명에 의한 가중 움직임 보상 처리의 실시예의 흐름도이다.
도 12는 본 발명에 의한 가중 계수 산출 처리의 실시예의 흐름도이다.
도 13은 본 발명에 의한 직하 블럭 직류 성분 추정 처리의 실시예의 흐름도이다.
도 14는 본 발명에 의한 부호화 장치의 실시예의 구성도이다.
도 15는 본 발명에 의한 복호 장치의 실시예의 구성도이다.
도 16은 본 발명에 의한 가중 움직임 추정부의 실시예의 구성도이다.
도 17은 본 발명에 의한 가중 움직임 보상부의 실시예의 구성도이다.
도 18은 본 발명에 의한 가중 계수 산출부의 실시예의 구성도이다
도 19는 본 발명에 의한 직하 블럭 직류 성분 추정부의 실시예의 구성도이다.
도 20은 H.264/AVC에서의 가중 움직임 예측 설명도이다.

우선 본 발명의 개요에 대해서 설명하기로 한다.

이 부분의 설명에서는 설명의 편의상 화상 영역에 상당하는 것을 블럭으로 기재하고, 화상 영역의 직류 성분에 상당하는 것을 평균값으로 기재하여 설명하기로 한다.

Implicit모드는 가중 움직임 예측에 필요한 가중 계수를 간접적으로 산출함으로써 여분의 부호화 정보를 전송하지 않는 방식이다. 따라서 산출되는 가중 계수가 밝기의 변화를 충분히 반영하는 것이라면 대단히 효과적인 수법이 되지만, 그들이 괴리되면 예측 성능이 저하된다.

비선형의 페이드 화상이나 플래시 화상에서는 프레임간의 밝기 변화가 도 1a에 도시한 것처럼 비선형이 된다.

이와 같은 경우에 예측 참조 신호에 대해 가중 계수만으로 선형 예측을 하면, 도 1b에 도시한 것처럼 예측 성능이 악화된다.

그래서 쌍예측에서의 가중 움직임 예측에서는 오프셋 계수d를 마련하였으나, 상술한 JSVC의 Implicit모드에서는 이 오프셋 계수d가 0으로 세팅되기 때문에 괴리양이 그대로 예측 잔차로서 나타난다.

한편 M×N사이즈의 부호화 대상 블럭의 좌표(m,n)에서의 원신호를 s^mn으로 나타내고, 쌍예측에서의 2개의 피참조 블럭의 좌표(m,n)에서의 복호 신호를 y₀ ^mn, y₁ ^mn으로 나타내고, 부호화 대상 블럭에 가중 계수(w₀,w₁,d)를 할당하면, 가중 계수(w₀,w₁,d)에 의해 산출되는 가중 예측 신호와 원신호의 오차e는,

e^mn=s^mn-(w₀y₀ ^mn+w₁y₁ ^mn+d)

가 되기 때문에 부호화 대상 블럭에서의 예측 오차e^mn의 총에너지E는,

E=Σ_mΣ_n(s^mn-(w₀y₀ ^mn+w₁y₁ ^mn+d))²

가 된다.

w₀,w₁이 도 20과 동일하게 주어진다면, 이 총에너지E를 최소화하는 오프셋 계수d는 「

E/

d=0」을 풀어

d=<s>?w₀<y₀>?w₁<y₁>

<s>: 부호화 대상 블럭의 원신호의 평균값

<y>: 피참조 블럭의 복호 신호의 평균값

으로 구해진다.

그러나 복호기에서는 원신호를 참조할 수 없다. 그래서 본 발명에서는 레이어간 평균값의 보존성에 착안하여 도 1c에 도시한 것처럼 원신호의 평균값<s> 대신에 직하 레이어에서의 부호화 대상 블럭과 공간적 동일 위치에 존재하는 블럭(직하 블럭)의 복호 신호의 평균값<x>을 사용하여 오프셋 계수d를,

d≒<x>?w₀<y₀>?w₁<y₁>

으로 구하도록 한다.

그런데도 직하 레이어에서의 부호화 대상 블럭과 공간적 동일 위치에 존재하는 직하 블럭의 복호 신호의 평균값<x>을 구하려면 직하 레이어의 복호 신호를 전부 복호할 필요가 있어 대용량 메모리가 필요함과 동시에 긴 계산 시간이 필요하게 된다.

그래서 본 발명에서는 쌍예측에서의 가중 움직임 예측에서,

d≒<x>?w₀<y₀>?w₁<y₁>

라는 산출식에 따라 오프셋량을 구할 때 직하 블럭이 움직임 예측의 예측 참조처인 직하 레이어 피참조 블럭을 식별하고, 그 직하 레이어 피참조 블럭과 공간적 동일 위치에 존재하는 상위 레이어의 블럭의 복호 신호의 평균값에 대해 직하 블럭이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것을 직하 블럭의 복호 신호의 평균값으로 간주함으로써 <x>를 구하도록 하였다.

직하 블럭이 움직임 예측의 예측 참조처인 직하 레이어 피참조 블럭에 대해서는 직하 레이어의 모든 신호를 복호하지 않아도 움직임 벡터 등 일부 정보를 복호함으로써 특정 가능하기 때문에 본 발명에 의하면 「대용량의 메모리가 필요함과 동시에 긴 계산 시간이 필요하게 된다」라는 문제도 발생하지 않는다.

또 가중 계수w₀,w₁에 대해서는 부호화 대상 블럭과 각 피참조 블럭간의 프레임간 거리에 따라 산출되는 것이 됨으로써 복호측에서도 구할 수도 있으며, 나아가 오프셋 계수d에 대해서도 복호 신호로 산출할 수 있기 때문에 복호측에서도 구할 수 있게 되고, 이로써 본 발명에 의하면 가중 계수를 복호측으로 전송할 필요가 없다.

따라서 본 발명에 의하면 쌍예측에서의 가중 움직임 예측에서 implicit모드를 실현하면서 프레임간의 밝기가 비선형으로 변화되는 경우에도 고정밀도의 가중 움직임 예측을 적은 메모리 용량으로 단시간에 실행할 수 있게 된다.

아울러 이 본 발명의 기술 사상은 한방향 예측에서의 가중 움직임 예측에도 적용할 수 있는 것이다.

즉, 한방향 예측에서의 가중 움직임 예측에서는,

(i)비례 계수로서 피참조 블럭의 복호 신호의 평균값과 부호화 대상 블럭의 원신호의 평균값과의 비를 사용함과 동시에 오프셋 계수로서 0을 사용하는, 혹은 (ii)오프셋 계수로서 피참조 블럭의 복호 신호의 평균값과 부호화 대상 블럭의 복호 신호의 평균값과의 차를 사용함과 동시에 비례 계수로서 1을 사용하는

것이 된다.

그러나 복호기에서는 원신호를 참조할 수 없다. 그래서 본 발명에서는 레이어간의 평균값의 보존성에 착안하여 부호화 대상 블럭의 원신호의 평균값 대신에 직하 블럭의 복호 신호의 평균값을 사용하여 상술한 비나 차를 구하도록 한다.

그런데도 직하 블럭의 복호 신호의 평균값을 구하려면 직하 레이어의 복호 신호를 전부 복호할 필요가 있어 대용량의 메모리가 필요함과 동시에 긴 계산 시간이 필요하게 된다.

그래서 본 발명에서는 한방향 예측에서의 가중 움직임 예측에서, 직하 블럭이 움직임 예측의 예측 참조처인 직하 레이어 피참조 블럭을 식별하고, 그 직하 레이어 피참조 블럭과 공간적 동일 위치에 존재하는 상위 레이어의 블럭의 복호 신호의 평균값에 대해 직하 블럭이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것을 직하 블럭의 복호 신호의 평균값으로 간주함으로써 상술한 비나 차를 구하도록 한다.

직하 블럭이 움직임 예측의 예측 참조처인 직하 레이어 피참조 블럭에 대해서는 직하 레이어의 복호 신호를 전부 복호하지 않아도 움직임 벡터 등 일부 정보를 복호함으로써 특정 가능한 것이므로, 본 발명에 의하면 「대용량의 메모리가 필요함과 동시에 긴 계산 시간이 필요하게 된다」라는 문제도 발생하지 않는다.

또 가중 계수에 대해서는 복호 신호로 산출할 수 있게 됨에 따라 복호측에서도 구할 수 있게 되고, 이로써 본 발명에 의하면 가중 계수를 복호측에 전송할 필요가 없다.

따라서 본 발명에 의하면 한방향 예측에서의 가중 움직임 예측에서도 implicit모드를 실현하면서 프레임간의 밝기가 비선형으로 변화되는 경우에도 고정밀도의 가중 움직임 예측을 적은 메모리 용량으로 단시간에 실행할 수 있게 된다.

이하 실시형태에 따라서 본 발명을 상세히 설명하기로 한다.

상술한 것처럼, H.264/AVC의 가중 움직임 예측은 슬라이스 단위로 실행된다. 따라서 슬라이스내의 일부에 밝기 변화가 발생하는 경우나 슬라이스내의 밝기 변화가 한결같지 않은 경우에는 가중 움직임 예측의 예측 성능은 저하된다. 이동 물체의 그림자 등에 의해 발생하는 밝기 변화 등이 상기에 해당한다. JSVC도 H.264/AVC의 가중 움직임 예측을 계승하고 있기 때문에 상술한 문제에 직면한다.

만일 슬라이스보다 세밀한 매크로 블럭 등의 단위로 가중 계수를 산출하여 가중 움직임 예측을 실행하고자 하면, Explicit모드에서는 가중 계수에 필요한 부호량이 엄청나게 커진다. 그와 같은 경우에는 implicit모드로 가중 계수를 산출하는 것이 바람직하다. 그러나 상술한 것처럼 H.264/AVC의 가중 움직임 예측 Implicit모드의 실장은 쌍예측을 하는 B슬라이스만으로 한정되어 있다.

또 이 가중 움직임 예측 Implicit모드로 산출되는 가중 계수는 부호화 대상 프레임과 2장의 피참조 프레임에 걸친 밝기 변화가 선형이라는 가정에 기초한 것이므로, 그들 3프레임에 걸친 밝기의 시간적 변화가 비선형인 경우에는 적절한 가중 계수가 산출되지 않아 예측 성능은 저하된다. 비선형으로 밝기가 변화되는 페이드 화상이나 플래시를 포함한 화상 등이 상기에 해당한다. JSVC에서의 가중 움직임 예측은 H.264/AVC의 가중 움직임 예측이 그대로 실장되어 있기 때문에 상술한 문제에 직면한다.

이와 같은 사정을 감안하여 본 발명자는 먼저 출원한 일본특원2007-174161(2007년 7월 2일 출원)에서 이러한 문제를 해결할 수 있도록 하는 새로운 발명을 출원하였다.

이 일본특원2007-174161로 출원한 발명에서는 부호화 대상 프레임의 직하 레이어의 복호 신호를 이용하여 가중 계수를 산출한다.

다음으로 일본특원2007-174161로 출원한 발명에서 도출된 가중 계수의 산출 방법에 대해서 설명하기로 한다.

일본특원2007-174161로 출원한 발명에서는 이하의 순서에 의해 스케일러블 부호화의 가중 움직임 추정 및 가중 움직임 보상에 사용하는 가중 계수를 산출한다.

종래의 Implicit모드에서는 하나의 레이어 안에 가두어 시간적인 밝기 변화를 피참조 프레임으로부터의 거리에 따른 내삽 또는 외삽에 의해 추정하여 가중 계수를 산출하였다.

본 발명(일본특원2007-174161)에서는 그 시간적인 밝기의 변화 추정에 부호화/복호 대상의 레이어의 직하 레이어의 복호 신호의 정보를 사용함으로써 그 추정 정밀도를 향상시킨다.

순서를 설명할 때 설명에 사용하는 기호를 정리한다.

해당 확장 레이어의 부호화/복호 처리 대상 프레임(이후, 보정 대상 프레임)을 f, P슬라이스 또는 B슬라이스에서의 L0예측 가중 움직임 추정/보상 피참조 프레임(이후, 피보정 프레임)을 f₀, B슬라이스에서의 L1예측 피보정 프레임을 f₁으로 한다. 또 보정 대상 프레임f와 같은 시각의 직하 레이어의 프레임을 g로 한다.

또 프레임f에서의 부호화/복호 처리 대상 블럭(이후, 보정 대상 블럭)의 좌표(i,j)에 대입되는 예측 신호값을 z(i,j), 또 프레임f₀에서의 가중 움직임 추정/보상 피참조 블럭(이후, 피보정 블럭)의 좌표(i,j)에서의 복호 신호값을 y₀(i,j)로 한다. 또 프레임g에서의 프레임f의 보정 대상 블럭과 공간적 동일 위치에 위치하는 블럭의 좌표(i,j)에서의 복호 신호값을 x(i,j)로 한다.

이상을 도 2에 도시한다. 도 2는, 해당 확장 레이어와 직하 레이어의 해상도비가 종횡 모두 2:1인 경우의 도면이다. 아울러 해상도비가 2:1 이외인 경우에도 같은 처리가 가능하다.

또 프레임f₀에서의 피보정 블럭의 직류 성분값을 Y₀, 또 프레임g에서의 프레임f의 보정 대상 블럭과 공간적 동일 위치에 위치하는 블럭의 직류 성분값을 X로 한다. 이들은, 도 2의 경우 다음과 같이 산출된다.

<<P슬라이스 및 L0/L1예측 B슬라이스에서의 가중 계수의 산출 방법>>

P슬라이스 및 L0/L1예측을 하는 B슬라이스와 같은 단일 프레임의 예측인 경우, 예측 신호값z(i,j)는 이하와 같이 하여 산출된다.

?P슬라이스 또는 L0예측 B슬라이스의 경우

z(i,j)=w₀?y₀(i,j)+d₀

?L1예측 B슬라이스의 경우

이 발명(일본특원2007-174161)에서는 이 가중 계수w₀와 d₀, 또는 w₁과 d₁의 산출 방법을 2가지 열거한다.

이후에 기록하는 산출 방법의 설명은 P슬라이스 또는 L0예측 B슬라이스의 경우를 예로 들었다. L1예측 B슬라이스의 경우에는 프레임f₀ 및 g₀에 관한 요소를 프레임f₁ 및 g₁에 관한 요소로 변경하면 된다.

2개의 산출 방법은 이하의 가정에 기초한다. 프레임f와 프레임g는 같은 시각의 정보이므로 신호의 밝기는 비슷할 것으로 예상된다. 그래서 기존에 알려진 프레임g의 밝기 정보를 이용하여 피보정 프레임f₀으로부터 보정 대상 프레임f의 밝기 변화를 간접적으로 예측한다.

[방법1-1] 단일 프레임 예측에서의 직류 성분을 사용한 비례 계수 보정

본 방법에서는 이하와 같이 가중 계수를 산출한다.

[방법1-2] 단일 프레임 예측에서의 직류 성분을 사용한 오프셋 계수 보정

본 방법에서는 이하와 같이 가중 계수를 산출한다.

<<쌍예측 B슬라이스에서의 가중 계수의 산출 방법>>

쌍예측을 하는 B슬라이스에서는 예측 신호값z(i,j)는 이하와 같이 하여 산출된다.

이 발명(일본특원2007-174161)에서는 이 가중 계수w₀,w₁,d를 이하와 같이 산출한다

아울러 이 산출 방법은 이하의 가정에 기초한다. 프레임f와 프레임g는 같은 시각의 정보이므로 신호의 밝기는 비슷할 것으로 예상된다. 그래서 이미 알려진 프레임g의 밝기 정보를 이용하여 피보정 프레임f₀ 및 f₁으로부터 보정 대상 프레임f의 밝기 변화를 간접적으로 예측한다.

[방법2-1] 쌍예측에서의 직류 성분 블럭을 사용한 가중 계수 보정

본 방법에서는 이하와 같이 가중 계수를 산출한다.

여기에서 t_b는 피보정 프레임f₀에서 보정 대상 프레임까지의 프레임간 거리, t_d는 피보정 프레임f₀에서 피보정 프레임f₁까지의 프레임간 거리를 가리키고 있다.

이상에 설명한 일본특원2007-174161로 출원한 발명에서 도출된 가중 계수의 산출 방법에 대해서 정리하면 이하와 같다.

도 3에 도시한 것처럼 해당 레이어1에서의 시각t의 프레임의 해당 블럭을 B로 하고, 그 피참조 블럭을 각각 B₀,B₁로 한다. B₀,B₁은 각각 해당 레이어1에서의 시각t-T₀의 프레임, 및 해당 레이어1에서의 시각t+T₁의 프레임에 속한다.

여기에서 한방향 예측인 경우의 피참조 프레임은 시각t-T₀의 프레임만으로 한다. 또 직하 레이어1-1에서의 해당 블럭B와 공간적 동일 위치에 있는 시각t의 프레임의 블럭을 B_a로 한다. 이후, 이 B_a를 직하 블럭이라고 부른다.

여기에서 피참조 블럭B₀내의 복호 신호의 직류 성분을 R(l,t-T₀,B₀), 피참조 블럭B₁내의 복호 신호의 직류 성분을 R(1,t+T₁,B₁), 직하 블럭B_a내의 복호 신호의 직류 성분R(l-1,t,B_a)로 한다.

각 블럭의 직류 성분은 블럭내의 화소 집합에 대해 2차원 FFT나 2차원 DCT 등을 적용하여 생성한다.

이 때 일본특원2007-174161로 출원한 발명에서는 가중 계수(w₀,d₀) 또는 (w₀,w₁,d)를 이하와 같이 정하였다.

(한방향 예측인 경우)

*비례 계수 보정: 상술한 수학식 4, 5에 의한 보정 방법

d₀=0

또는,

*오프셋 계수 보정: 상술한 수학식 6, 7에 의한 보정 방법

d₀=R(l-1,t,B_a)-R(l,t-T₀,B₀)

(쌍예측인 경우)

*상술한 수학식 9 내지 수학식 11에 의한 보정 방법

w₁=T₀/(T₀+T₁)

d=R(l-1,t,B_a)-w₀?R(l,t-T₀,B₀)

?w₁?R(1,t+T₁,B₁)

이로써 가중 계수의 정보를 전송하지 않는 Implicit모드의 가중 움직임 예측이 한방향 예측으로 실현된다. 한방향 예측에서의 가중 계수 산출 방법에는 수학식 12에 언급한 비례 계수 보정 방법과, 수학식 13에 언급한 오프셋 계수 보정 방법의 2종류가 있다.

나아가 H.264/AVC의 쌍예측 Implicit모드의 예측 성능도 수학식 14와 같이 하여 개선된다.

아울러 본 발명자는 이 수학식 14에 관한 발명에 대해서는 「하야세 가즈야, 반도 유키히로, 다카무라 세이시, 가미쿠라 가즈토, 야시마 요시유키: "공간 스케일러블 부호화에서의 레이어간 상관을 이용한 가중 예측 방식, "FIT2007, 제6회 정보과학 기술 포럼, pp.253-256, Sep.2007.」에서 발표하였다.

수학식 12에 따라 가중 계수(w₀,d₀)를 구하는 한방향 예측 비례 계수 보정에 대해서 간단히 설명하자면, 도 4a에 도시한 것처럼 가중 계수w₀가 레이어1의 시각t-T₀에서의 복호 신호의 직류 성분α와 레이어1의 시각t에서의 원신호의 직류 성분β와의 비로 구해지는 것을, 그 안의 레이어1의 시각t에서의 원신호의 직류 성분β를, 레이어1-1의 시각t에서의 복호 신호의 직류 성분β'로 바꾼 것으로 한다는 것을 의미하고 있다.

여기에서 이 가중 계수w₀에 대해서는 복호 신호에 의해 산출할 수 있기 때문에 복호측으로 전송할 필요가 없다는 특징이 있다.

또 수학식 13에 따라서 가중 계수(w₀,d₀)를 구하는 한방향 예측 오프셋 계수 보정에 대해서 간단히 설명하면, 도 4b에 도시한 것처럼 오프셋 계수d₀가 레이어1의 시각t에서의 원신호의 직류 성분β와 레이어1의 시각t-T₀에서의 복호 신호의 직류 성분α와의 차분으로 구해지는 것을, 이 안의 레이어1의 시각t에서의 원신호의 직류 성분β를, 레이어1-1의 시각t에서의 복호 신호의 직류 성분β'로 바꾼 것으로 한다는 것을 의미하고 있다.

여기에서 이 오프셋 계수d₀에 대해서는 복호 신호에 의해 산출할 수 있기 때문에 복호측으로 전송할 필요가 없다는 특징이 있다.

또 수학식 14에 따라서 가중 계수(w₀,d₀)를 구하는 쌍예측 오프셋 계수 보정에 대해서 간단히 설명하면, 도 4c에 도시한 것처럼 레이어1의 시각t-T₀에서의 복호 신호의 직류 성분을 α, 레이어1의 시각t에서의 원신호의 직류 성분을 β, 레이어1의 시각t+T₁에서의 복호 신호의 직류 성분을 γ로 나타내면, 오프셋 계수d가 "d=β?w₀?α?w₁?γ"로 구해지는 것을, 이 안의 레이어1의 시각t에서의 원신호의 직류 성분β를, 레이어1-1의 시각t에서의 복호 신호의 직류 성분β'로 치환한 것으로 한다는 것을 의미하고 있다.

여기에서 이 오프셋 계수d에 대해서는 복호 신호에 의해 산출할 수 있기 때문에 복호측으로 전송할 필요가 없다는 특징이 있다.

한편 JSVC와 같은 멀티 레이어를 이루는 부호화 처리 복호의 종류에는 하위 레이어에서 역움직임 보상을 필요로 하는 multi-loop decoding과, 하위 레이어에서 역움직임 보상을 필요로 하지 않는 single-loop decoding이 있다. 일반적으로 복호 처리는 간편할 필요가 있다. 따라서 고부하의 역움직임 보상은 최대한 피해야 할 처리로서 single-loop decoding이 요구된다.

여기에서 본 명세서에 말하는 역움직임 보상이란, 움직임 벡터가 가리키는 블럭의 복호 신호를 식별할 때까지의 처리를 말한다.

그런데도 일본특원2007-174161로 출원한 발명에서는 수학식 2에 나타낸 것처럼 직하 레이어의 복호 신호를 전부 작성한 후에 직하 블럭B내의 복호 신호의 직류 성분R(l-1,t,B_a)을 산출한다. 따라서 복호 처리는 multi-loop decoding이 되어 개선의 여지가 남아 있다.

본 발명은 이와 같은 사정을 감안하여 기본 레이어와 하나 이상의 확장 레이어에 의해 구성되는 공간 스케일러블 부호화에서 부호화 대상 프레임의 직하 레이어의 복호 신호의 직류 성분을, 움직임 예측 피참조 프레임의 복호 신호와 직하 레이어에서의 움직임 보상에 관한 부호화 정보만으로부터 추정하고, 산출된 부호화 대상 프레임의 직하 레이어의 복호 신호의 직류 성분과 움직임 예측 피참조 프레임의 복호 신호의 직류 성분간의 관계성으로부터 가중 움직임 예측 가중 계수를 생성함으로써 가중 계수의 정보를 전송하지 않고 부호화기 및 복호기로 같은 가중 계수를 사용한 가중 움직임 예측을 하는 새로운 스케일러블 부호화기 및 복호기의 설계 방법의 확립을 목적으로 한다.

본 발명에서의 가중 움직임 예측 순서를 이하에 기록한다.

가중 움직임 예측은, 가중 움직임 추정과 가중 움직임 보상의 2단계로 구성된다.

가중 움직임 추정이란, 처리 대상 프레임과 움직임 예측 참조 프레임간의 밝기 변화를 보정하면서 양프레임간의 움직임을 탐색하고, 탐색에 의해 검출된 움직임 정보를 움직임 벡터로서 출력하는 처리를 가리킨다.

가중 움직임 보상이란, 움직임 벡터 정보를 읽어들여 그 움직임 벡터가 가리키는 앞선 신호값에 대해 밝기 변화를 보정하고, 보정된 신호값을 처리 대상 프레임에서의 예측 신호로서 출력하는 처리를 가리킨다.

부호화 처리에서는, 가중 움직임 추정에 의해 움직임 벡터를 검출하고 그 움직임 벡터를 읽어들여 가중 움직임 보상을 실행한다.

한편 복호 처리에서는 부호화 정보를 복호하는 움직임 벡터를 읽어들여 가중 움직임 보상을 실행한다.

가중 계수의 산출은 임의의 화상 영역 단위로 수행할 수 있다. 예로서는 프레임 단위, 슬라이스 단위, 매크로 블럭 단위, 매크로 블럭을 더욱 세밀하게 분할한 소블럭 단위 등을 들 수 있다.

본 발명에서는 해당 레이어에 대해서는 가중 계수의 전송이 불필요하기 때문에 가중 움직임 예측에 필요한 오버헤드는 어떤 화상 영역 단위라도 변하지 않는다. 따라서 작은 화상 영역 단위로 가중 계수를 산출할수록 가중 움직임 예측의 예측 성능은 향상된다.

여기에서는 매크로 블럭 단위로 가중 계수를 산출할 경우를 예로 들어 설명을 진행한다. 매크로 블럭 단위 이외라도 같은 처리에 의해 가중 움직임 예측이 가능하다.

또 대상이 되는 신호에도 의존하지 않고 휘도 신호이든 색차 신호이든 동일하게 처리할 수 있다.

[가중 움직임 추정]

가중 움직임 추정에서는 부호화 대상 프레임의 매크로 블럭마다 추정 피참조 프레임내에서 정합되는 매크로 블럭을 탐색한다.

이 탐색시 탐색 대상 매크로 블럭이 변경될 때마다 양프레임의 해당 블럭간 밝기 변화를 나타내는 가중 계수를 산출하고, 그 가중 계수로 탐색 대상 매크로 블럭의 복호 신호를 보정한 것을 정합 판정을 위한 비교 신호로서 활용한다.

그리고 정합된다고 판정된 매크로 블럭이 움직임 벡터의 참조처가 되어 움직임 보상에서의 피참조 매크로 블럭이 된다.

정합의 판정 수단의 일례로서는, 비특허문헌 1에 언급한 부호량과 부호화 왜곡간의 라그랑쥬(Lagrange) 비용 최소화에 의한 판정 수단을 들 수 있다.

[가중 움직임 보상]

가중 움직임 보상에서는 우선 부호화/복호 대상 매크로 블럭마다 그 매크로 블럭이 가진 움직임 벡터 정보를 읽어들인다.

다음으로 그 움직임 벡터가 가리키는 앞선 피참조 매크로 블럭과 부호화/복호 대상 매크로 블럭간의 밝기 변화를 나타내는 가중 계수를 산출한다.

그리고 그 가중 계수로 피참조 매크로 블럭의 복호 신호를 보정한 것을 부호화/복호 대상 매크로 블럭에서의 예측 신호로서 활용한다.

[가중 계수의 산출 처리]

전형적으로는 이하의 순서에 의해 스케일러블 부호화의 가중 움직임 추정 및 가중 움직임 보상에 사용하는 가중 계수를 산출한다.

가중 계수의 산출식은 일본특원2007-174161로 출원한 발명과 같이 해당 블럭이 한방향 예측인 경우에는 상술한 수학식 12 또는 수학식 13에 의해 산출하고, 쌍예측인 경우에는 상술한 수학식 14에 의해 산출한다.

단, 각 식에 포함되는 직하 블럭의 복호 신호 직류 성분R(l-1,t,B_a)를 구하는 방법이 본 발명과 일본특원2007-174161로 출원한 발명간에 다르다.

즉, 일본특원2007-174161로 출원한 발명에서는 직하 레이어를 전부 복호하여 직교 변환에 의해 직류 성분을 얻은데 반해, 본 발명에서는 직하 레이어의 복호를 부분 복호(화상 신호를 복호할 때까지의 복호가 아닌, 일부의 부호화 정보를 복호하는 레벨의 복호)로 한정시키며 그 부분 복호 정보와 해당 레이어의 참조 프레임의 복호 신호로부터 간접적으로 추정함으로써 얻는다.

부분 복호로 한정시킴으로써 역움직임 보상을 할 필요가 없어져 복호 시간을 삭감할 수 있다

구체적인 순서의 설명시에 설명에 사용하는 기호를 정리한다.

도 5에 도시한 것처럼, 해당 레이어1에서의 시각t의 프레임의 해당 블럭을 B로 한다. 또 직하 레이어1-1에서의 해당 블럭B의 직하 블럭을 B_a로 한다.

또 직하 블럭B_a의 움직임 예측의 피참조 블럭을 각각 B_b0,B_b1으로 한다. B_b0,B_b1은 각각 해당 레이어1에서의 시각t-T₀의 프레임, 및 해당 레이어1에서의 시각t+T₁의 프레임에 속한다고 가정한다.

직하 레이어1-1의 피참조 블럭B_b0,B_b1의 위치는, 직하 블럭B_a가 가진 참조 프레임 인덱스와 움직임 벡터의 부호화 정보를 복호함으로써 얻어진다.

또 그 직하 레이어1-1의 피참조 블럭B_b0,B_b1과 공간적 동일 위치에 있는 해당 레이어1에서의 블럭을 각각 B_c0,B_c1으로 한다. 이후, 이들 B_c0,B_c1을 직상 블럭이라고 부른다.

여기에서 블럭B_a,B_b0,B_b1,B_c0,B_c1내의 복호 신호의 직류 성분을 각각 R(l-1,t,B_a), R(l-1,t-T₀,B_b0), R(l-1,t+T₁,B_b1), R(l,t-T₀,B_c0), R(1,t+T₁,B_c1)으로 한다.

또 직하 블럭B_a에 포함되는 예측 잔차 신호의 직류 성분을 E(l-1,t,B_a)로 한다. 예측 잔차 신호의 직류 성분E(l-1,t,B_a)는 직하 블럭B_a가 가진 예측 잔차 신호의 직류 성분의 부호화 정보를 복호함으로써 얻어진다.

또 직하 레이어에서 가중 움직임 예측이 이루어진 경우 직하 블럭B_a와 피참조 블럭B_b0간의 가중 계수를(w₀',d₀'), 직하 블럭B_a와 피참조 블럭B_b1간의 가중 계수를 (w₁',d₁')로 한다.

이들 가중 계수(w₀',d₀'), (w₁',d₁')는 직하 블럭B_a가 가진 가중 계수의 부호화 정보를 복호함으로써 얻어진다.

아울러 본 발명에서는 해당 레이어1에 대해서는 가중 계수를 부호화할 필요는 없으나, 그 직하 레이어1-1에서 가중 계수를 부호화할 필요가 없는지 여부, 나아가 그 아래에 레이어가 있는지 여부에 의존한다.

여기에서는 설명의 편의상 가중 계수(w₀',d₀'), (w₁',d₁')는 직하 블럭B_a가 가진 가중 계수의 부호화 정보를 복호함으로써 얻어지는 것으로 한다.

다음으로 직하 블럭B_a의 예측 방식에 대해서 화면내 예측인 경우 화면간 예측이자 한방향 예측인 경우, 화면간 예측이자 쌍예측인 경우, 화면간 예측이자 블럭내에 한방향 예측 영역과 쌍예측 영역이 혼재한 경우의 4가지로 나누어 직하 블럭B_a의 복호 신호 직류 성분R(l-1,t,B_a)를 구하는 방법의 차이를 설명하기로 한다.

(1)직하 블럭B_a가 화면내 예측인 경우

직하 블럭B_a가 화면내 예측이고, 또한 그 예측이 Constrained Intra Prediction에 의한 것인 경우, 직하 블럭B_a내의 복호 신호는 역움직임 보상을 하지 않고 전부 재구성할 수 있다.

여기에서 Constrained Intra Prediction이란, 비특허문헌 1에 언급한 H.264 및 비특허문헌 2에 언급한 JSVC에서 사용되는, 인접 블럭에 화면내 예측 모드가 존재하지 않을 때에는 해당 블럭은 화면내 예측 모드를 채용할 수 없다는 제약이 추가된 화면내 예측 방식의 일종이다.

이 방식을 채용하면 화면내 예측 모드를 채용한 블럭은 해당 프레임내에 가두어 블럭내의 복호 신호를 재구성할 수 있기 때문에 역움직임 보상이 필요 없어진다.

따라서 직하 블럭B_a가 화면내 예측이고, 또한 그 예측이 Constrained Intra Prediction인 경우에는 단순히 직하 블럭B_a내의 복호 신호를 전부 재구성하고, 그 각 신호값을 기초로 직류 성분을 산출하면 된다. 만일 Constrained Intra Prediction가 아닌 화면내 예측인 경우에는 본 발명은 실시되지 않는다.

(2)직하 블럭B_a가 화면간 예측이고, 또한 한방향 예측인 경우

직하 블럭B_a가 한방향 예측인 경우, 직하 블럭B_a의 복호 신호 직류 성분R(l-1,t,B_a)를 다음과 같이 추정할 수 있다.

그러나 R(l-1,t-T₀,B_b0)의 정보는 직하 레이어의 복호 신호를 전부 재구성시키지 않고는 얻을 수 없다.

그래서

으로 가정하여 해당 레이어내의 블럭B_b0의 직상 블럭B_c0의 복호 신호 직류 성분R(l,t-T₀,B_c0)로 대용한다.

해당 레이어 및 직하 레이어의 복호 신호 직류 성분에 포함되는 양자화 왜곡이 크지 않으면 이 수학식 16의 가정은 일반적으로 성립된다.

블럭B_c0의 복호 신호는 레이어1의 프레임t-T₀가 해당 프레임t의 피참조 프레임이면 움직임 예측을 위해서 버퍼에 유지되어 있다.

따라서 수학식 16에 의해 추정된 값을 직하 블럭B_a의 복호 신호 직류 성분의 산출에 사용함으로써 직하 레이어에서 역움직임 보상을 하지 않고 가중 계수를 산출할 수 있다.

이제 본 발명에서는 다음 식과 같이 하여 R(l-1,t,B_a)를 추정한다.

여기에서 직하 블럭B_a안이 여러 개의 소블럭으로 구성되고 여러 개의 움직임 벡터를 포함하고 있는 경우가 있을 수 있다. 예를 들면, 해당 블럭B가 16×16사이즈인 경우에는 직하 블럭B_a는 8×8사이즈가 된다. JSVC에서는 채용할 수 있는 블럭 사이즈로서 4×4, 4×8, 8×4, 8×8, 8×16, 16×8, 16×16의 7종류가 준비되어 있다.

이제 직하 블럭B_a가 8×8사이즈인 경우 최대 4개의 소블럭을 포함한다.

소블럭을 여러 개 포함한 경우에는 그 각 소블럭의 면적에 따라 각 소블럭내의 복호 신호 직류 성분값을 가중하고, 그 총합을 직하 블럭B_a의 복호 신호 직류 성분R(l-1,t,B_a)로 한다.

여러 개의 소블럭으로 구성되는 경우의 구체적인 산출 순서의 일례를 이하에 기록한다.

도 6에 도시한 것처럼, 해당 블럭B가 16×16사이즈이고, 직하 블럭B_a에 4×4사이즈의 소블럭이 2개, 4×8사이즈의 소블럭이 하나 포함된다고 가정한다. 여기에서 각 소블럭을 B_a ⁰,B_a ¹(각각 4×4사이즈),B_a ²(4×8사이즈)로 한다.

또 소블럭B_a ⁰,B_a ¹,B_a ²의 움직임 예측의 피참조 블럭을 각각 B_b0 ⁰,B_b0 ¹,B_b0 ²로 하고 그 각 피참조 블럭과 공간적 동일 위치에 있는 해당 레이어에서의 직상 블럭을 B_c0 ⁰,B_c0 ¹,B_c0 ²로 한다.

또 소블럭B_a ⁰,B_a ¹,B_a ²에 할당되는 가중 계수를 각각 (w₀ ⁰',d₀ ⁰'), (w₀ ¹',d₀ ¹'), (w₀ ²',d₀ ²')로 한다.

이 때 블럭B_a의 복호 신호 직류 성분R(l-1,t,B_a)는 이하와 같이 산출한다.

+d₀ ⁰'+E(l-1,t,B_a ⁰)]

+(1/4)?[w₀ ¹'?R(l,t-T₀,B_c0 ¹)

+d₀ ¹'+E(l-1,t,B_a ¹)]

+(1/2)?[w₀ ²'?R(l,t-T₀,B_c0 ²)

+d₀ ²'+E(l-1,t,B_a ²)]

(3)직하 블럭B_a가 화면간 예측이고, 또한 쌍예측인 경우

직하 블럭B_a가 쌍예측인 경우, 직하 블럭B_a의 복호 신호 직류 성분R(l-1,t,B_a)는 다음과 같이 추정할 수 있다.

+w₁'?R(l-1,t+T₁,B_b1)

+(1/2)?(d₀'+d₁')+E(l-1,t,B_a)

그러나 한방향 예측인 경우와 마찬가지로 R(l-1,t-T₀,B_b0) 및 R(l-1,t+T₁,B_b1)의 정보는 직하 레이어의 복호 신호 전부를 복호하지 않고는 얻을 수 없었다.

그래서,

R(l-1,t+T₁,B_b1)≒R(1,t+T₁,B_c1)

으로 가정하여 해당 레이어내의 블럭B_b0,B_b1의 직상 블럭B_c0,B_c1의 복호 신호 직류 성분R(l,t-T₀,B_c0) 및 R(l,t+T₁,B_c1)로 대용한다.

해당 레이어 및 직하 레이어의 복호 신호 직류 성분에 포함되는 양자화 왜곡이 크지 않으면 이 수학식 20의 가정은 일반적으로 성립된다.

앞으로 본 발명에서는 다음 식과 같이 하여 R(l-1,t,B_a)를 추정한다.

+w₁'?R(1,t+T₁,B_c1)

+(1/2)?(d₀'+d₁')+E(l-1,t,B_a)

여기에서 한방향 예측인 경우와 마찬가지로 블럭B_a안이 여러 개의 소블럭으로 구성되고 여러 개의 움직임 벡터를 포함한 경우가 있을 수 있다.

이 때에는 한방향 예측인 경우와 마찬가지로 각 소블럭의 면적에 따라 각 소블럭내의 직류 성분값을 가중하고 그 총합을 직하 블럭B_a의 복호 신호 직류 성분R(l-1,t,B_a)로 한다.

예를 들면, 해당 블럭B가 16×16사이즈이고, 직하 블럭B_a에 4×4사이즈의 소블럭이 2개, 4×8사이즈의 소블럭이 하나 포함된다고 가정한다. 여기에서 각 소블럭을 B_a ⁰,B_a ¹,B_a ²로 한다.

또 소블럭B_a ⁰,B_a ¹,B_a ²의 쌍예측 피참조 블럭을 각각 B_b0 ⁰,B_b0 ¹,B_b0 ²,B_b1 ⁰,B_b1 ¹,B_b1 ²로 하고, 그 각 피참조 블럭과 공간적 동일 위치에 있는 해당 레이어에서의 직상 블럭을 B_c0 ⁰,B_c0 ¹,B_c0 ²,B_c1 ⁰,B_c1 ¹,B_c1 ²로 한다.

또 소블럭B_a ⁰,B_a ¹,B_a ²에 할당되는 가중 계수를 각각 (w₀ ⁰',d₀ ⁰'), (w₁ ⁰',d₁ ⁰'), (w₀ ¹',d₀ ¹'), (w₁ ¹',d₁ ¹'), (w₀ ²',d₀ ²'), (w₁ ²',d₁ ²')로 한다.

(4)직하 블럭B_a에 한방향 예측과 쌍예측이 혼재된 경우

블럭B_a내의 여러 개의 소블럭(예: 4×4)은 각각 독립적으로 한방향 예측 또는 쌍예측을 채용할 수 있다. 이 때에는 (2) 및 (3)과 같은 순서로 각 소블럭의 면적에 따라 직류 성분값을 가중하고, 그 총합을 블럭B_a의 복호 신호 직류 성분R(l-1,t,B_a)로 한다.

이하 (2) 및(3)과 같이 해당 블럭B가 16×16사이즈이고, 직하 블럭B_a에 4×4사이즈의 소블럭이 2개(B_a ⁰,B_a ¹), 4×8사이즈의 소블럭이 하나(B_a ²) 포함된다고 가정한다.

여기에서 B_a ⁰ 및 B_a ²는 한방향 예측, B_a ¹은 쌍예측으로 한다. 그리고 소블럭B_a ⁰,B_a ²의 한방향 예측 피참조 블럭을 각각 B_b0 ⁰,B_b0 ²로 하고, 소블럭B_a ¹의 쌍예측의 피참조 블럭을 각각 B_b0 ¹,B_b1 ¹로 한다.

그 각 피참조 블럭과 공간적 동일 위치에 있는 해당 레이어에서의 직상 블럭을 B_c0 ⁰,B_c0 ²,B_c0 ¹,B_c1 ¹로 한다.

또 소블럭B_a ⁰,B_a ¹,B_a ²에 할당되는 가중 계수를 각각 (w₀ ⁰',d₀ ⁰'), (w₀ ¹',d₀ ¹'), (w₁ ¹',d₁ ¹'), (w₀ ²',d₀ ²')로 한다.

상술한 것처럼 본 발명은 직하 블럭B_a가 화면내 예측이고, 또한 그 예측이 Constrained Intra Prediction을 이용하지 않는 경우에는 실시되지 않는다. 또 예측 참조 블럭B_b0,B_b1의 직상 블럭B_c0,B_c1의 복호 신호가 움직임 예측을 위한 버퍼에 저장되지 않는 경우에도 실시되지 않는다.

본 발명이 실시되지 않는 경우에는 기타 예측 방식을 사용하여 부호화한다. 예를 들면 JSVC의 가중 움직임 예측, 가중 없는 통상의 움직임 예측, 화면내 예측이 여기에 해당한다.

또 직하 레이어가 화면간 예측을 할 경우에 직하 레이어에서의 가중 움직임 예측이 매우 고성능이면 직하 블럭B_a의 예측 잔차 신호의 직류 성분E(l-1,t,B_a)는 거의 제로가 된다.

이와 같은 경우에는 이 예측 잔차 신호의 직류 성분을 고려할 필요는 없다. 고려하지 않으면 예측 잔차 신호의 직류 성분의 복호는 생략할 수 있기 때문에 복호에 사용하는 메모리 및 계산량을 더욱 절약할 수 있다. 따라서 메모리와 계산량의 삭감을 중시할 경우에는 예측 잔차 신호의 직류 성분은 가산하지 않아도 좋다.

다음으로 JSVC의 참조 인코더JSVM8.0에 본 발명을 실장하고 한방향 예측에서의 본 발명에 의한 비례 계수 보정을 하는 WP(Weighted Prediction)와 오프셋 계수 보정을 하는 WP의 부호화 성능을 검증한 실험에 대해서 설명하기로 한다.

이 실험에서는 기본 레이어는 JSVM의 WP를 사용하여 부호화하고 확장 레이어에 본 발명의 WP를 적용함으로써 수행하였다. 성능 검증은, 확장 레이어에 JSVM의 WP를 적용한 경우와, 본 발명의 WP를 적용한 경우의 레이트 왜곡 특성에 의해 평가하였다.

JSVC표준 화상의 City, Soccer, Foreman의 3영상을 사용하여 각 영상의 선두33프레임으로 흰색의 선형 페이드를 혼합하였다.

페이드의 종류는 페이드 인/아웃의 2종류를 실험 대상으로 하고 이 페이드 혼합 부분의 33프레임을 부호화 대상 프레임으로 하였다.

기본 레이어에 30fps의 QCIF(176×144화소의 화상 사이즈)화상, 확장 레이어30fbs의 CIF(352×288화소의 화상 사이즈)화상을 입력하고 픽쳐 타입은 IPPP형식으로 하였다.

양자화 파라미터는 21,24,27,30의 4종류를 시험하여 기본 레이어와 확장 레이어에서 같은 값을 적용하였다.

움직임 탐색은 정수 정밀도만으로 하여 모든 검색을 수행하였다.

표 2에 JSVM의 WP에 대한, 본 발명을 적용함에 따른 부호량의 삭감 결과를 나타낸다. 최대 6.38%의 부호량 삭감을 실현하였다. 전체적으로 페이드 아웃 영상에서 삭감 효과가 크다는 것을 알 수 있다.

표 2: JSVM WP로부터의 부호량 삭감율[%]

	페이드 인			페이드 아웃
	City	Soccer	Foreman	City	Soccer	Foreman
비례 계수 보정	-0.40	0.09	-0.13	-2.64	-1.79	-1.11
오프셋 계수 보정	-0.34	-0.32	-0.78	-6.38	-3.65	-3.13

도 7에 최대 삭감율을 실현한 City의 페이드 아웃 영상에서의, 각 수법의 각각에 대해서 PSNR(Peak Signal to Noise Ratio) 및 비트 레이트를 구하여 그것들을 비교했다("Y-PSNR"은 휘도 신호의 PSNR을 나타낸다).

이 도면에서 본 발명의 수법이 레이트에 의하지 않고 부호량의 삭감을 실현했다는 것을 알 수 있다.

비례 계수 보정과 오프셋 계수 보정을 비교하면, 페이드 인 영상에서는 양자간에 차이가 거의 없었으나(미도시), 페이드 아웃 영상에서는 오프셋 계수 보정쪽이 효과가 크다는 것을 알 수 있다.

상기 성능 검증에서, 페이드 아웃 영상에서 오프셋 계수 보정에 의한 WP는 평균 4.39%의 부호량 삭감율을 실현하였다.

본 실험은 한방향 예측에서의 부호화 특성을 나타낸 것이지만, 쌍예측에서도 같은 성능 향상을 기대할 수 있다.

<실시예>

다음으로 실시예에 따라서 본 발명을 상세히 설명하기로 한다.

[처리의 흐름]

[부호화 처리의 실시예]

본 발명에 의한 부호화 처리의 실시예에 대해서 도 8을 참조하여 설명하기로 한다.

설명하는 실시예는 하나의 매크로 블럭에 대한 부호화 처리이다. 이것을 모든 매크로 블럭에 대해 실시함으로써 전체의 부호화 정보가 구성된다.

단계 S101: 해당 확장 레이어의 해당 매크로 블럭이 가중 움직임 예측 대상 매크로 블럭인지 여부를 판정 처리하여 참인 경우에는 단계 S103의 처리를 하고 거짓인 경우에는 단계 S102의 처리를 한다.

단계 S102: 단계 S101의 처리에서 출력된 해당 매크로 블럭의 예측 모드 정보에 따라 예측 신호를 생성한다.

여기에서의 예측 방식에는, 화면내 예측, 미 가중의 통상의 움직임 예측 및 레이어간 예측을 들 수 있다. 각 방식의 예측 방법의 일례로서는 비특허문헌 3에 언급한 JSVM에서의 예측 방법을 들 수 있다.

단계 S103: 해당 매크로 블럭에 대해 해당 매크로 블럭의 원신호, (피참조 프레임내의)탐색 대상 매크로 블럭의 복호 신호 및 직하 레이어의 부호화 정보를 읽어들여 가중 움직임을 추정하고 움직임 벡터 정보를 출력한다. 본 처리의 상세는 도 10에 도시한다(후술).

단계 S104: 단계 S103의 처리로 출력된 움직임 벡터 정보 및 직하 레이어의 부호화 정보를 읽어들여 가중 움직임을 보상하고 가중 움직임 예측 신호를 출력한다. 본 처리의 상세는 도 11에 도시한다(후술).

단계 S105: 단계 S102 또는 단계 S104의 처리에 의해 출력된 예측 신호를 읽어들여 해당 매크로 블럭의 원신호와의 차분 신호를 생성하고 그 차분 신호를 부호화한다.

이 차분 신호의 부호화 처리의 일례로서는, 비특허문헌 3에 언급한 JSVM에서의 부호화 처리를 들 수 있다.

[복호 처리의 실시예]

본 발명에 의한 복호 처리의 실시예에 대해서 도 9를 참조하여 설명하기로 한다.

설명하는 실시예는 하나의 매크로 블럭에 대한 복호 처리이다. 이것을 모든 매크로 블럭에 대해 실시함으로써 전체의 복호 신호가 구성된다.

단계 S201: 해당 확장 레이어의 해당 매크로 블럭의 예측 모드에 관한 부호화 정보를 읽어들여 복호 처리를 하고 예측 모드 정보를 출력한다.

단계 S202: 해당 확장 레이어의 해당 매크로 블럭이 가중 움직임 예측 대상 매크로 블럭인지 여부를 판정 처리하여 참인 경우에는 단계 S204의 처리를 하고 거짓인 경우에는 단계 S203의 처리를 한다.

단계 S203: 단계 S201의 처리로 출력된 해당 매크로 블럭의 예측 모드 정보에 따라 예측 신호를 생성한다. 여기에서의 예측 방식에는 화면내 예측, 미 가중의 통상의 움직임 예측 및 레이어간 예측을 들 수 있다.

단계 S204: 해당 매크로 블럭의 움직임 벡터에 관한 부호화 정보를 읽어들여 복호 처리를 하고 움직임 벡터 정보를 출력한다.

단계 S205: 단계 S204의 처리로 출력된 움직임 벡터 정보 및 직하 레이어의 부호화 정보를 읽어들여 가중 움직임 보상을 하고 가중 움직임 예측 신호를 출력한다. 본 처리의 상세는 도 11에 도시한다(후술).

단계 S206: 단계 S203 또는 단계 S205의 처리에 의해 출력된 예측 신호를 읽어들여 복호된 예측 잔차 신호와 합하여 복호 신호를 구성하고 출력한다.

[단계 S103의 처리의 상세]

본 발명에 의한 가중 움직임 추정 처리(단계 S103의 처리)의 실시예에 대해서 도 10을 참조하여 설명하기로 한다.

단계 S301: 직하 레이어의 부호화 정보 및 현재의 탐색 대상 매크로 블럭의 복호 신호를 읽어들여 탐색 대상 매크로 블럭에 부여하는 가중 계수를 산출하고 출력한다. 본 처리의 상세는 도 12에 도시한다(후술).

단계 S302: 단계 S301의 처리에 의해 출력된 가중 계수 정보를 읽어들여 현재의 탐색 대상 매크로 블럭의 복호 신호를 그 가중 계수에 의해 가중하고 그 가중된 신호값을 출력한다.

단계 S303: 단계 S302의 처리에 의해 출력된 신호값과 해당 매크로 블럭의 원신호간의, 부호량과 부호화 왜곡량에 의해 구성되는 부호화 비용을 산출하여 출력한다.

이 부호화 비용의 일례에는, 비특허문헌 3에 언급한 JSVM에서의, 부호량과 제곱 오차에 의한 부호화 왜곡간의 라그랑쥬 비용을 들 수 있다.

단계 S304: 탐색해야 할 모든 매크로 블럭에 대해 탐색했는지 여부를 판정 처리하여 참인 경우에는 단계 S306의 처리를 하고 거짓인 경우에는 단계 S305의 처리를 한다.

단계 S305: 다음 탐색 대상 매크로 블럭으로 처리 대상을 옮긴다.

단계 S306: 단계 S303의 처리에 의해 출력된 부호화 비용의 정보를 읽어들여 탐색한 매크로 블럭중에서 부호화 비용이 최소가 되는 매크로 블럭을 선정하고, 그 매크로 블럭과 해당 매크로 블럭과의 좌표 위치의 차분을 움직임 벡터로서 출력한다.

[단계 S104, 단계 S205의 처리의 상세]

본 발명에 의한 가중 움직임 보상 처리(단계 S104, 단계 S205의 처리)의 실시예에 대해서, 도 11을 참조하여 설명하기로 한다.

단계 S401: 해당 매크로 블럭의 움직임 벡터 정보를 읽어들여 출력한다. 이 움직임 벡터 정보는 부호화 처리에서의 가중 움직임 보상인 경우에는 가중 움직임 추정 출력으로부터 읽어들여지고, 복호 처리에서의 가중 움직임 보상인 경우에는 움직임 벡터의 복호 처리 출력으로부터 읽어들여진다.

단계 S402: 직하 레이어의 부호화 정보 및 단계 S401의 처리에 의해 출력된 움직임 벡터 정보를 읽어들여 움직임 벡터가 가리키는 피참조 매크로 블럭에 부여하는 가중 계수를 산출하여 출력한다. 본 처리의 상세는 도 12에 도시한다(후술).

단계 S403: 단계 S402의 처리에 의해 출력된 가중 계수 정보를 읽어들여 피참조 매크로 블럭의 복호 신호를 그 가중 계수에 의해 가중하고 그 가중된 신호값을 출력한다.

[단계 S301, 단계 S402의 처리의 상세]

본 발명에 의한 가중 계수 산출 처리(단계 S301, 단계 S402의 처리)의 실시예에 대해서 도 12를 참조하여 설명하기로 한다.

단계 S501: 직하 레이어의 부호화 정보를 읽어들여 해당 매크로 블럭의 직하 블럭의 예측 모드가 화면내 예측인지 여부를 판정 처리하여 참인 경우에는 단계 S504의 처리를 하고 거짓인 경우에는 단계 S502의 처리를 한다.

단계 S502: 직하 블럭이 움직임 예측에서 참조한 피참조 블럭의 직상 블럭의 복호 신호가 움직임 예측을 위해 버퍼에 저장되어 있는지 여부를 판정 처리하여 참인 경우에는 단계 S503의 처리를 하고 거짓인 경우에는 단계 S512의 처리를 한다.

단계 S503: 직하 레이어의 부호화 정보 및 해당 레이어의 피참조 프레임의 복호 신호를 읽어들여 직하 블럭의 직류 성분의 값을 추정하고 출력한다. 본 처리의 상세는 도 13에 도시한다(후술).

단계 S504: 직하 레이어의 부호화 정보를 읽어들여 해당 매크로 블럭의 직하 블럭의 화면내 예측이 Constrained Intra Prediction인지 여부를 판정 처리하여 참인 경우에는 단계 S505의 처리를 하고 거짓인 경우에는 단계 S512의 처리를 한다.

단계 S505: 직하 레이어의 부호화 정보를 읽어들여 직하 블럭의 복호 처리를 하고 블럭내의 모든 신호를 재구성하여 버퍼에 출력한다.

단계 S506: 버퍼로부터 블럭내의 복호 신호를 읽어들여 직하 블럭의 복호 신호의 직류 성분을 산출하고 레지스터에 출력한다.

단계 S507: 해당 매크로 블럭의 예측 모드 정보를 읽어들여 예측 모드가 한방향 예측인지 여부를 판정 처리하여 참인 경우에는 단계 S508의 처리를 하고 거짓인 경우에는 단계 S511의 처리를 한다.

단계 S508: 외부에서 지정되는 가중 계수 산출 방법이 비례 계수 보정형인지 여부를 판정 처리하여 참인 경우에는 단계 S509의 처리를 하고 거짓인 경우에는 단계 S510의 처리를 한다.

여기에서 비례 계수 보정형이란, 상술한 수학식 12에 따라서 실시되는 가중 계수의 산출 방법을 가리킨다.

일반적으로 비례 계수 보정형은 화이트 페이드 인 영상이나 블랙 페이드 아웃 영상에서 주로 효과를 발휘하고, 이에 반해 상술한 수학식 13에 따라서 실시되는 가중 계수의 산출 방법인 오프셋 계수 보정형은 화이트 페이드 아웃 영상이나 블랙 페이드 인 영상에서 주로 효과를 발휘한다.

따라서 외부에서의 가중 계수 산출 방법의 지정 정보는 페이드 타입의 판정 결과에 따라서 결정되는 것이 바람직하다.

단계 S509: 단계 S503의 처리로 추정된 직하 블럭의 직류 성분 또는 단계 S506의 처리로 산출된 직하 블럭의 직류 성분 중 어느 하나의 값을 읽어들여 그 직류 성분값과 피참조 블럭의 직류 성분값과의 비를 비례 계수로서 정하고, 오프셋 계수를 0으로 정하여 출력한다. 본 처리는 상술한 수학식 12에 따른다.

단계 S510: 단계 S503의 처리로 추정된 직하 블럭의 직류 성분 또는 단계 S506의 처리로 산출된 직하 블럭의 직류 성분 중 어느 하나의 값을 읽어들여 그 직류 성분값과 피참조 블럭의 직류 성분값과의 차를 오프셋 계수로서 정하고, 비례 계수를 1로 정하여 출력한다. 본 처리는 상술한 수학식 13에 따른다.

단계 S511: 피참조 블럭과 해당 블럭과의 프레임간 거리의 정보를 읽어들여 그들의 비를 비례 계수로서 정하고, 단계 S503의 처리로 추정된 직하 블럭의 직류 성분 또는 단계 S506의 처리로 산출된 직하 블럭의 직류 성분 중 어느 하나의 값을 읽어들이고, 그 직류 성분값과 2개의 피참조 블럭의 직류 성분값에 대해 상술한 비례 계수를 연산한 값과의 차를 오프셋 계수로서 정하여 출력한다. 본 처리는 상술한 수학식 14에 따른다.

단계 S512: 직하 블럭의 추정 직류 성분을 참조하지 않는 가중 계수 산출 방법을 실시한다.

예로서는, 비특허문헌 3에 언급한 JSVM에서의 Implicit모드 또는 Explicit모드에 의한 가중 계수의 산출 방법을 생각할 수 있다.

[단계 S503의 처리의 상세]

본 발명에 의한 직하 블럭 직류 성분의 추정 처리(단계 S503의 처리)의 실시예에 대해서 도 13을 참조하여 설명하기로 한다.

단계 S601: 해당 직하 블럭의 소블럭의 분할 정보에 관한 부호화 정보를 읽어들여 그 복호를 수행하고 해당 직하 블럭의 소블럭의 분할 구조를 식별한다.

단계 S602: 해당 소블럭의 참조 프레임 인덱스에 관한 부호화 정보를 읽어들여 그 복호를 수행하고 레지스터에 기입한다.

단계 S603: 해당 소블럭의 움직임 벡터에 관한 부호화 정보를 읽어들여 그 복호를 수행하고 레지스터에 기입한다.

단계 S604: 해당 소블럭의 가중 계수에 관한 부호화 정보를 읽어들여 그 복호를 수행하고 레지스터에 기입한다.

단계 S605: 해당 소블럭의 예측 잔차 신호의 직류 성분에 관한 부호화 정보를 읽어들여 그 복호를 수행하고 레지스터에 기입한다.

단계 S606: 단계 S602의 처리 및 단계 S603의 처리로 출력된 참조 프레임 인덱스 및 움직임 벡터의 정보를 레지스터로부터 읽어들여 해당 소블럭의 움직임 예측의 피참조 블럭의 위치를 식별한다.

단계 S607: 단계 S606의 처리에서 식별된 피참조 블럭의 직상 블럭의 복호 신호를 읽어들여 그 복호 신호의 직류 성분을 산출하고 그 직류 성분값을 레지스터에 기입한다.

단계 S608: 단계 S607의 처리에서 산출된 직류 성분값을 레지스터로부터 읽어들여 거기에 단계 S604의 처리로 산출된 가중 계수를 사용하여 가중를 수행하고 그 값을 레지스터에 기입한다.

단계 S609: 단계 S608의 처리에서 산출된 가중된 직류 성분값을 레지스터로부터 읽어들여 거기에 단계 S605의 처리로 산출된 예측 잔차 신호의 직류 성분값을 가산하고 그 값을 해당 소블럭의 직류 성분의 추정치로서 간주하여 레지스터에 기입한다.

단계 S610: 모든 소블럭에 대해 직류 성분의 추정 처리를 완료했는지 여부를 판정 처리하여 참인 경우에는 단계 S611의 처리를 하고 거짓인 경우에는 단계 S612의 처리를 한다.

단계 S611: 단계 S609의 처리에서 산출된 각 소블럭의 추정 직류 성분값을 읽어들여 해당 직하 블럭에서의 각 소블럭의 면적비에 따라 각 소블럭의 추정 직류 성분값을 가중하고, 그 가중합을 해당 직하 블럭의 직류 성분의 추정치로서 간주하여 출력한다.

단계 S612: 다음 직류 성분의 추정 대상 소블럭으로 처리 대상을 옮긴다.

[처리 장치]

[부호화 장치의 실시예]

본 발명에 의한 부호화 장치의 실시예에 대해서 도 14를 참조하여 설명하기로 한다. 도 14는 하나의 매크로 블럭에 대한 부호화를 수행하는 장치의 도면이다.

예측 방법 판정부(101): 해당 매크로 블럭의 예측 방식의 지정 정보를 읽어들이고 그 지정 정보에 따라 각 예측부에서의 처리로 옮긴다.

지정된 예측 방식이 화면내 예측이면 화면내 예측부(102)의 처리로, 가중하지 않은 통상의 움직임 예측이면 가중 움직임 예측부(103)의 처리로, 레이어간 예측이면 레이어간 예측부(104)의 처리로, 가중 움직임 예측이면 가중 움직임 추정부(105)의 처리로 옮긴다.

화면내 예측부(102): 부호화 대상 프레임의, 대상이 되는 원신호 및 복호 신호를 읽어들여 화면내 예측을 실행하여 예측 신호를 작성하고 그 예측 신호를 예측 잔차 신호 생성부(107)로 출력한다.

화면내 예측 방법의 일례로서는, 비특허문헌 3에 언급한 JSVM의 화면내 예측을 들 수 있다.

가중 움직임 예측부(103): 부호화 대상 프레임의 대상이 되는 원신호 및 피참조 프레임의 대상이 되는 복호 신호를 읽어들여 가중하지 않은 통상의 움직임 예측을 실행하여 예측 신호를 작성하고 그 예측 신호를 예측 잔차 신호 생성부(107)에 출력한다.

가중 없는 통상의 움직임 예측 방법의 일례로서는, 비특허문헌 3에 언급한 JSVM의 가중 없는 통상의 움직임 예측을 들 수 있다.

레이어간 예측부(104): 부호화 대상 프레임의, 대상이 되는 원신호 및 직하 레이어의 부호화 정보를 읽어들여 레이어간 예측을 실행하여 예측 신호를 작성하고 그 예측 신호를 예측 잔차 신호 생성부(107)에 출력한다.

레이어간 예측 방법의 일례로서는 비특허문헌 3에 언급한 JSVM의 레이어간 예측을 들 수 있다.

가중 움직임 추정부(105): 부호화 대상 프레임의, 대상이 되는 원신호, 해당 확장 레이어 복호 신호 기억부(110)에서 출력되는 피참조 프레임의 복호 신호 및 직하 레이어 부호화 정보 기억부(111)에서 출력되는 직하 레이어의 부호화 정보를 읽어들여 가중 움직임 추정을 실행하고 움직임 벡터를 생성하여 그 움직임 벡터 정보를 가중 움직임 보상부(106)에 출력한다. 가중 움직임 추정부(105)의 상세 구성은 도 16에 도시한다(후술).

가중 움직임 보상부(106): 해당 확장 레이어 복호 신호 기억부(110)에서 출력되는 피참조 프레임의 복호 신호 및 직하 레이어 부호화 정보 기억부(111)에서 출력되는 직하 레이어의 부호화 정보를 읽어들여 가중 움직임 보상을 실행하고 예측 신호를 생성하여 그 예측 신호를 예측 잔차 신호 생성부(107)에 출력한다. 가중 움직임 보상부(106)의 상세 구성은 도 17에 도시한다(후술).

예측 잔차 신호 생성부(107): 부호화 대상 프레임의 대상이 되는 원신호 및 화면내 예측부(102) 또는 가중 움직임 예측부(103) 또는 레이어간 예측부(104) 또는 가중 움직임 보상부(106)에서 출력된 예측 신호를 읽어들여 원신호와 예측 신호의 차분 신호를 생성하고 예측 잔차 신호 부호화부(108)에 출력한다.

예측 잔차 신호 부호화부(108): 예측 잔차 신호 생성부(107)에서 출력된 예측 잔차 신호를 읽어들여 부호화 처리를 하고 부호화 정보로서 출력한다.

또 동시에 그 부호화 정보는 복호부(109)로의 입력을 위해 버퍼에 출력해놓는다.

이 예측 잔차 신호의 부호화 처리의 일례로서는, 비특허문헌 3에 언급한 JSVM의 직교 변환, 양자화, 가변장 부호화의 일련의 프로세스의 적용을 들 수 있다.

복호부(109): 해당 버퍼로부터 부호화 정보를 읽어들여 복호 처리를 하고 얻어진 복호 신호를 해당 확장 레이어 복호 신호 기억부(110)에 출력한다.

이 복호 처리에는 본 발명에 의한 복호 처리를 적용한다. 복호부(109)로서 기능하는 복호 장치의 상세 구성은 도 15에 도시한다(후술).

직하 레이어 부호화 정보 기억부(111): 직하 레이어의 부호화 정보를 읽어들여 버퍼에 출력한다.

[복호 장치의 실시예]

본 발명에 의한 복호 장치의 실시예에 대해서 도 15를 참조하여 설명하기로 한다. 도 15는, 해당 확장 레이어에서의 하나의 매크로 블럭에 대한 복호를 수행하는 장치의 도면이다.

예측 모드 복호부(201): 해당 매크로 블럭의 예측 모드에 관한 부호화 정보를 읽어들여 그 복호 처리를 하고, 예측 모드 정보를 예측 모드 기억부(202)에 출력한다.

예측 방법 판정부(203): 예측 모드 기억부(202)에서 예측 모드 정보를 읽어들이고 그 지정 정보에 따라서 각 예측부에서의 처리로 옮긴다.

지정된 예측 방식이 화면내 예측이면 화면내 예측부(204)의 처리로, 가중하지 않은 통상의 움직임 예측이면 비가중 움직임 예측부(205)의 처리로, 레이어간 예측이면 레이어간 예측부(206)의 처리로, 가중 움직임 예측이면 움직임 벡터 정보 복호부(207)의 처리로 옮긴다.

화면내 예측부(204): 부호화 대상 프레임의, 대상이 되는 원신호 및 복호 신호를 읽어들여 화면내 예측을 실행하여 예측 신호를 작성하고 그 예측 신호를 복호 신호 생성부(213)에 출력한다.

비가중 움직임 예측부(205): 부호화 대상 프레임의 대상이 되는 원신호 및 피참조 프레임의 대상이 되는 복호 신호를 읽어들여 가중하지 않은 통상의 움직임 예측을 실행하여 예측 신호를 작성하고 그 예측 신호를 복호 신호 생성부(213)에 출력한다.

레이어간 예측부(206): 부호화 대상 프레임의, 대상이 되는 원신호 및 직하 레이어의 부호화 정보를 읽어들여 레이어간 예측을 실행하여 예측 신호를 작성하고 그 예측 신호를 복호 신호 생성부(213)에 출력한다.

움직임 벡터 정보 복호부(207): 해당 매크로 블럭의 움직임 벡터에 관한 부호화 정보를 읽어들여 그 복호 처리를 하고 움직임 벡터 정보를 움직임 벡터 정보 기억부(208)에 출력한다.

가중 움직임 보상부(209): 해당 확장 레이어 복호 신호 기억부(214)에서 출력되는 피참조 프레임의 복호 신호 및 직하 레이어 부호화 정보 기억부(210)에서 출력되는 직하 레이어의 부호화 정보를 읽어들여 가중 움직임 보상을 실행하고 예측 신호를 생성하여 그 예측 신호를 복호 신호 생성부(213)에 출력한다. 가중 움직임 보상부(209)의 상세 구성은 도 17에 도시한다(후술).

직하 레이어 부호화 정보 기억부(210): 직하 레이어의 부호화 정보를 읽어들여 버퍼에 출력한다.

잔차 신호 복호부(211): 해당 매크로 블럭의 잔차 신호에 관한 부호화 정보를 읽어들여 그 복호 처리를 하고 잔차 신호를 잔차 신호 기억부(212)에 출력한다.

복호 신호 생성부(213): 화면내 예측부(204) 또는 비가중 움직임 예측부(205) 또는 레이어간 예측부(206) 또는 가중 움직임 보상부(209)에서 출력된 예측 신호를 읽어들여 그들과 잔차 신호 기억부(212)에서 읽어들여지는 잔차 신호를 합성하고 복호 신호를 생성하여 출력한다.

또 동시에 그 복호 신호를 해당 확장 레이어 복호 신호 기억부(214)에 기입한다.

[가중 움직임 추정부(105)의 구성의 상세]

본 발명에 의한 가중 움직임 추정부(105)의 실시예에 대해서 도 16을 참조하여 설명하기로 한다. 도 16은, 해당 확장 레이어에서의 하나의 매크로 블럭에 대해 가중 움직임을 추정하는 장치의 도면이다.

탐색 대상 블럭 설치부(301): 해당 확장 레이어의 피참조 프레임의 복호 신호를 읽어들여 움직임 추정의 탐색 대상이 되는 매크로 블럭을 식별하고 그 매크로 블럭의 복호 신호를 가중 계수 산출부(302)에 출력한다.

가중 계수 산출부(302): 탐색 대상 블럭 설치부(301)에서 출력된 탐색 대상 매크로 블럭의 복호 신호 및 직하 레이어의 부호화 정보를 읽어들여 탐색 대상 매크로 블럭에 부여하는 가중 계수를 산출하고 가중 계수 기억부(303)에 출력한다.

가중 움직임 추정 신호 생성부(304): 가중 계수 기억부(303)에서 가중 계수를 읽어들여 해당 탐색 대상 매크로 블럭의 복호 신호를 가중 계수에 의해 가중하고 그 가중된 신호를 가중 움직임 추정 신호 기억부(305)에 출력한다.

부호화 비용 산출부(306): 해당 매크로 블럭의 원신호를 버퍼에서 읽어들이고, 가중 움직임 추정 신호 기억부(305)에서 가중 움직임 추정 신호를 읽어들여 해당 매크로 블럭의 원신호간의 부호량과 부호화 왜곡량에 의해 구성되는 부호화 비용을 산출하고, 그 부호화 비용을 부호화 비용 기억부(307)에 출력하여 탐색 완료 판정부(308)의 처리로 옮긴다.

이 부호화 비용의 일례는, 비특허문헌 3에 언급한 JSVM에서의 부호량과 제곱 오차에 의한 부호화 왜곡 간의 라그랑쥬 비용을 들 수 있다.

탐색 완료 판정부(308): 해당 매크로 블럭에서의 피참조 프레임내에서의 가중 움직임 추정의 탐색이, 지정된 모든 탐색 범위내의 후보에 대해서 이루어졌는지 여부를 판정 처리하여 참인 경우에는 피참조 블럭 결정부(309)의 처리로 옮기고 거짓인 경우에는 탐색 대상 블럭 설치부(301)의 처리로 옮긴다.

피참조 블럭 결정부(309): 부호화 비용 기억부(307)에서 모든 탐색 대상 매크로 블럭에 대한 부호화 비용 데이터군을 읽어들여 부호화 비용을 최소로 하는 탐색 대상 매크로 블럭을 피참조 블럭으로서 결정하고, 그 피참조 블럭과 해당 매크로 블럭의 좌표 위치의 차분을 움직임 벡터 정보로서 출력한다.

[가중 움직임 보상부(106),(209)의 구성의 상세]

본 발명에 의한 가중 움직임 보상부(106),(209)의 실시예에 대해서 도 17을 참조하여 설명하기로 한다. 도 17은, 해당 확장 레이어에서의 하나의 매크로 블럭에 대해 가중 움직임 보상을 하는 장치의 도면이다.

피참조 블럭 신호 설치부(401): 피참조 프레임의 복호 신호 및 움직임 벡터 정보를 읽어들여 피참조 매크로 블럭을 식별하고 그 매크로 블럭의 복호 신호를 가중 계수 산출부(402)에 출력한다.

이 움직임 벡터 정보는 본 가중 움직임 보상부가 부호화 장치내에 설치되어 있는 경우(즉, 가중 움직임 보상부(106)인 경우)에는 가중 움직임 추정부(105)에서 주어지고, 본 가중 움직임 보상부가 복호 장치내에 설치되어 있는 경우(즉, 가중 움직임 보상부(209)인 경우)에는 움직임 벡터 정보 복호부(207)에서 주어진다.

가중 계수 산출부(402): 피참조 블럭 신호 설치부(401)에서 출력된 피참조 매크로 블럭의 복호 신호 및 직하 레이어의 부호화 정보를 읽어들여 피참조 매크로 블럭에 부여하는 가중 계수를 산출하고 가중 계수 기억부(403)에 출력한다.

가중 움직임 예측 신호 생성부(404): 가중 계수 기억부(403)에서 가중 계수를 읽어들여 피참조 블럭의 복호 신호를 가중 계수에 의해 가중하고 그 가중된 신호를 가중 움직임 예측 신호 기억부(405)에 출력한다.

[가중 계수 산출부(302),(402)의 구성의 상세]

상술한 가중 계수 산출부(302),(402)의 실시예에 대해서 도 18을 참조하여 설명하기로 한다. 도 18은 해당 확장 레이어에서의 하나의 매크로 블럭에 대해 가중 계수를 산출하는 장치의 도면이다.

직하 블럭 예측 모드 판정부(501): 직하 레이어의 부호화 정보를 읽어들여 해당 매크로 블럭의 직하 블럭의 예측 모드를 판정 처리하고 (i)동예측 모드가 화면내 예측이고 또한 그 예측이 Constrained Intra Prediction인 경우에는 직하 블럭내 신호 복호부(505)의 처리로 옮기고, (ii)동예측 모드가 화면내 예측이고 또한 그 예측이 Constrained Intra Prediction가 아닌 경우에는 직하 블럭 추정 직류 성분비 참조 가중 계수 산출부(512)의 처리로 옮기고, (iii)동예측 모드가 화면간 예측인 경우에는 직하 블럭 예측 참조처 직상복호 신호 버퍼링 판정부(502)의 처리로 옮긴다.

직하 블럭 예측 참조처 직상복호 신호 버퍼링 판정부(502): 직하 블럭이 참조하는 예측 참조 블럭의 직상 블럭의 복호 신호가 버퍼링되어 있는지 여부를 판정 처리하여 참인 경우에는 직하 블럭 직류 성분 추정부(503)의 처리로 옮기고 거짓인 경우에는 직하 블럭 추정 직류 성분비 참조 가중 계수 산출부(512)의 처리로 옮긴다.

직하 블럭 직류 성분 추정부(503): 직하 레이어의 부호화 정보 및 해당 레이어의 피참조 프레임의 복호 신호를 읽어들여 직하 블럭의 직류 성분의 값을 추정하고 직하 블럭 추정 직류 성분 기억부(504)에 출력한다. 직하 블럭 직류 성분 추정부(503)의 상세 구성은 도 19에 도시한다(후술).

직하 블럭내 신호 복호부(505): 직하 레이어의 부호화 정보를 읽어들여 직하 블럭내의 복호 신호를 전부 재구성하고 그 복호 신호를 직하 블럭 직류 성분 산출부(506)에 출력한다.

직하 블럭 직류 성분 산출부(506): 직하 블럭내 신호 복호부(505)에서 직하 블럭내의 복호 신호를 읽어들여 직하 블럭내의 복호 신호의 직류 성분을 산출하고 해당 매크로 블럭 예측 모드 판정부(507)로 옮긴다.

해당 매크로 블럭 예측 모드 판정부(507): 해당 매크로 블럭의 예측 모드 정보를 읽어들여 예측 모드가 한방향 예측인지 여부를 판정 처리하여 참인 경우에는 가중 계수 산출 방법 판정부(508)의 처리로 옮기고 거짓인 경우에는 쌍예측 가중 계수 산출부(509)의 처리로 옮긴다.

가중 계수 산출 방법 판정부(508): 외부에서 지정되는 가중 계수 산출 방법이 비례 계수 보정형인지 여부를 판정 처리하여 참인 경우에는 한방향 예측 비례 계수 보정형 가중 계수 산출부(510)의 처리로 옮기고, 거짓인 경우에는 한방향 예측 오프셋 계수 보정형 가중 계수 산출부(511)의 처리를 한다.

여기에서 비례 계수 보정형이란, 상술한 수학식 12에 따라 실시되는 가중 계수의 산출 방법을 가리킨다.

일반적으로 비례 계수 보정형은 화이트 페이드 인 영상이나 블랙 페이드 아웃 영상에서 주로 효과를 발휘하고, 이에 반해 상술한 수학식 13에 따라 실시되는 가중 계수의 산출 방법인 오프셋 계수 보정형은 화이트 페이드 아웃 영상이나 블랙 페이드 인 영상에서 주로 효과를 발휘한다.

따라서 외부에서의 가중 계수 산출 방법의 지정 정보는 페이드 타입의 판정 결과에 따라서 정해지는 것이 바람직하다.

쌍예측 가중 계수 산출부(509): 피참조 블럭과 해당 블럭과의 프레임간 거리의 정보를 읽어들여 그들의 비를 비례 계수로서 정하고, 직하 블럭 추정 직류 성분 기억부(504) 또는 직하 블럭 직류 성분 산출부(506)에서 직하 블럭의 직류 성분의 값을 읽어들여 그 직류 성분값과 2개의 피참조 블럭의 직류 성분값에 대해 상술한 비례 계수를 연산한 값과의 차를 오프셋 계수로서 정하여 출력한다. 본 처리는 상술한 수학식 14에 따른다.

한방향 예측 비례 계수 보정형 가중 계수 산출부(510): 직하 블럭 추정 직류 성분 기억부(504) 또는 직하 블럭 직류 성분 산출부(506)에서 직하 블럭의 직류 성분의 값을 읽어들여 그 직류 성분값과 피참조 블럭의 직류 성분값과의 비를 비례 계수로서 정하고 오프셋 계수를 0으로 정하여 출력한다. 본 처리는 상술한 수학식 12에 따른다.

한방향 예측 오프셋 계수 보정형 가중 계수 산출부(511): 직하 블럭 추정 직류 성분 기억부(504) 또는 직하 블럭 직류 성분 산출부(506)에서 직하 블럭의 직류 성분의 값을 읽어들여 그 직류 성분값과 피참조 블럭의 직류 성분값과의 차를 오프셋 계수로서 정하고 비례 계수를 1로 정하여 출력한다. 본 처리는 상술한 수학식 13에 따른다.

직하 블럭 추정 직류 성분비 참조 가중 계수 산출부(512): 직하 블럭의 직류 성분을 사용하지 않는 가중 계수의 산출 방법을 수행하여 출력한다.

본 처리의 예로서는, 비특허문헌 3에 언급한 JSVM에서의 Explicit모드 또는 Implicit모드에 의한 가중 계수의 산출 방법을 적용할 수 있다.

[직하 블럭 직류 성분 추정부(503)의 구성의 상세]

본 발명에 의한 직하 블럭 직류 성분 추정부(503)의 실시예에 대해서 도 19를 참조하여 설명하기로 한다. 도 19는, 해당 확장 레이어에서의 하나의 매크로 블럭에 대해 직하 블럭 직류 성분을 추정하는 장치의 도면이다.

소블럭 분할 정보 복호부(601): 해당 직하 블럭의 소블럭의 분할 정보에 관한 부호화 정보를 읽어들여 그 복호를 수행하고 복호된 소블럭의 분할 정보를 소블럭 분할 정보 기억부(602)에 출력한다.

참조 프레임 인덱스 정보 복호부(603): 해당 소블럭의 참조 프레임 인덱스에 관한 부호화 정보를 읽어들여 그 복호를 수행하고 복호된 참조 프레임 인덱스 정보를 참조 프레임 인덱스 정보 기억부(604)에 출력한다.

움직임 벡터 정보 복호부(605): 해당 소블럭의 움직임 벡터에 관한 부호화 정보를 읽어들여 그 복호를 수행하고 복호된 움직임 벡터 정보를 움직임 벡터 정보 기억부(606)에 출력한다.

가중 계수 정보 복호부(607): 해당 소블럭의 가중 계수에 관한 부호화 정보를 읽어들여 그 복호를 수행하고 복호된 가중 계수 정보를 가중 계수 정보 기억부(608)에 출력한다.

예측 잔차 신호 직류 성분 정보 복호부(609): 해당 소블럭의 예측 잔차 신호의 직류 성분에 관한 부호화 정보를 읽어들여 그 복호를 수행하고 복호된 예측 잔차 신호의 직류 성분 정보를 예측 잔차 신호 직류 성분 정보 기억부(610)에 출력한다.

해당 소블럭 예측 참조 위치 식별부(611): 참조 프레임 인덱스 정보 기억부(604) 및 움직임 벡터 정보 기억부(606)에서 복호된 참조 프레임 인덱스 및 움직임 벡터의 정보를 각각 읽어들여 해당 소블럭의 움직임 예측의 피참조 블럭의 위치를 식별한다.

직상 블럭 복호 신호 직류 성분 산출부(612): 해당 소블럭 예측 참조 위치 식별부(611)에서 식별된 피참조 블럭의 직상 블럭의 복호 신호를 읽어들여 그 복호 신호의 직류 성분을 산출하고 직상 블럭 복호 신호 직류 성분 기억부(613)에 출력한다.

가중 계수 연산부(614): 직상 블럭 복호 신호 직류 성분 기억부(613)에서 피참조 블럭의 직상 블럭의 복호 신호의 직류 성분을 읽어들이고 또 가중 계수 정보 기억부(608)에서 해당 소블럭에 할당된 가중 계수를 읽어들여 직상 블럭의 복호 신호의 직류 성분에 가중 계수를 사용하여 가중를 수행하고 가중된 직류 성분을 예측 잔차 신호 직류 성분 가산부(615)에 출력한다.

예측 잔차 신호 직류 성분 가산부(615): 가중 계수 연산부(614)에서 출력된 가중된 직상 블럭의 복호 신호의 직류 성분의 값을 읽어들이고 또 예측 잔차 신호 직류 성분 정보 기억부(610)에서 복호된 예측 잔차 신호의 직류 성분을 읽어들여 양자를 가산하고 그 값을 해당 소블럭 추정 직류 성분 기억부(616)에 출력한다.

소블럭 직류 성분 추정 처리 판정부(617): 모든 소블럭에 대해 직류 성분의 추정 처리를 완료했는지 여부를 판정 처리하여 참인 경우에는 해당 직하 블럭 추정 직류 성분 산출부(618)로 옮기고 참인 경우에는 추정 대상 소블럭 갱신부(619)로 옮긴다.

해당 직하 블럭 추정 직류 성분 산출부(618): 해당 소블럭 추정 직류 성분 기억부(616)에서 각 소블럭의 추정 직류 성분을 읽어들여 해당 직하 블럭에서의 각 소블럭의 면적비에 따라 각 소블럭의 추정 직류 성분을 가중하고 그 가중의 합을 해당 직하 블럭의 직류 성분의 추정치로서 간주하여 출력한다.

추정 대상 소블럭 갱신부(619): 다음 직류 성분의 추정 대상 소블럭으로 처리 대상을 옮긴다.

<산업상 이용 가능성>

본 발명은 동화상 스케일러블 부호화에 적용할 수 있는 것으로서, 본 발명에 의하면 가중 계수를 전송하지 않고 고정밀도의 가중 움직임 예측을 실행할 수 있게 된다.

101 예측 방법 판정부
102 화면내 예측부
103 가중 움직임 예측부
104 레이어간 예측부
105 가중 움직임 추정부
106 가중 움직임 보상부
107 예측 잔차 신호 생성부
108 예측 잔차 신호 부호화부
109 복호부
110 해당 확장 레이어 복호 신호 기억부
111 직하 레이어 부호화 정보 기억부
201 예측 모드 복호부
202 예측 모드 기억부
203 예측 방법 판정부
204 화면내 예측부
205 비가중 움직임 예측부
206 레이어간 예측부
207 움직임 벡터 정보 복호부
208 움직임 벡터 정보 기억부
209 가중 움직임 보상부
210 직하 레이어 부호화 정보 기억부
211 잔차 신호 복호부
212 잔차 신호 기억부
213 복호 신호 생성부
214 해당 확장 레이어 복호 신호 기억부

Claims

동화상 스케일러블 부호화에 사용되어, 상위 레이어의 부호화 대상 화상 영역과 피참조 화상 영역간의 밝기 변화를 나타내는 비례 계수와 오프셋 계수로 이루어진 가중 계수를 산출하고, 그 가중 계수를 탐색 대상이 되는 피참조 화상 영역의 화상 신호에 연산하여 움직임을 추정함으로써 움직임 벡터를 산출하고, 그 움직임 벡터가 가리키는 피참조 화상 영역의 복호 신호에 그 가중 계수를 연산하여 움직임 보상함으로써 예측 신호를 생성하는 동화상 스케일러블 부호화 방법으로서,
직하 레이어에서 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 직하 화상 영역의 부호화 정보에 기초하여 상기 가중 계수의 데이터 구조를 결정하는 단계,
직하 화상 영역이 직하 레이어에서 화면간 예측을 한 경우에 직하 화상 영역이 움직임 예측의 예측 참조처인 직하 레이어 피참조 화상 영역을 식별하고, 그 직하 레이어 피참조 화상 영역과 공간적 동일 위치에 존재하는 상위 레이어의 화상 영역의 직류 성분에 대해 직하 화상 영역이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것을 직하 화상 영역의 직류 성분으로 간주하여 상기 가중 계수를 산출하는 단계를 갖는 것을,
특징으로 하는 동화상 스케일러블 부호화 방법.
제1항에 있어서,
상기 가중 계수의 데이터 구조를 결정하는 단계에서 피참조 화상 영역이 하나인 경우에 비례 계수로서 피참조 화상 영역의 직류 성분과 상기 직하 화상 영역의 직류 성분과의 비를 사용할 것을 결정하고, 오프셋 계수로서 0을 사용할 것을 결정하는 것을,
특징으로 하는 동화상 스케일러블 부호화 방법.
제1항에 있어서,
상기 가중 계수의 데이터 구조를 결정하는 단계에서 피참조 화상 영역이 하나인 경우에 오프셋 계수로서 피참조 화상 영역의 직류 성분과 상기 직하 화상 영역의 직류 성분과의 차를 사용할 것을 결정하고, 비례 계수로서 1을 사용할 것을 결정하는 것을,
특징으로 하는 동화상 스케일러블 부호화 방법.
제1항에 있어서,
상기 가중 계수의 데이터 구조를 결정하는 단계에서 피참조 화상 영역이 2개인 경우에 비례 계수로서 부호화 대상 화상 영역과 각 피참조 화상 영역간의 프레임간 거리에 따라 산출되는 것을 사용할 것을 결정하고, 오프셋 계수로서 2개의 피참조 화상 영역의 직류 성분에 대해 그 비례 계수를 곱한 값을 상기 직하 화상 영역의 직류 성분에서 감산함으로써 산출되는 것을 사용할 것을 결정하는 것을,
특징으로 하는 동화상 스케일러블 부호화 방법.
제1항에 있어서,
상기 가중 계수를 산출하는 단계에서는 직하 레이어 피참조 화상 영역과 공간적 동일 위치에 존재하는 상위 레이어의 화상 영역의 직류 성분에 대해 직하 화상 영역이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것에, 직하 화상 영역에서 발생한 움직임 예측의 예측 잔차 신호의 직류 성분을 더 가산한 것을 직하 화상 영역의 직류 성분으로 간주하는 것을,
특징으로 하는 동화상 스케일러블 부호화 방법.
제1항에 있어서,
상기 가중 계수를 산출하는 단계에서는 직하 화상 영역이 보다 세밀한 소영역 단위로 움직임 예측이 이루어진 경우에는 그 소영역마다 상기 직류 성분으로 간주하는 직류 성분을 산출하고, 산출한 직류 성분과 각 소영역의 면적에 기초하여 상기 직류 성분으로 간주하는 직류 성분을 산출하는 것을,
특징으로 하는 동화상 스케일러블 부호화 방법.
동화상 스케일러블 복호에 사용되어, 상위 레이어의 복호 대상 화상 영역과 복호된 움직임 벡터가 가리키는 피참조 화상 영역간의 밝기 변화를 나타내는 비례 계수와 오프셋 계수로 이루어진 가중 계수를 산출하고, 복호된 움직임 벡터가 가리키는 피참조 화상 영역의 복호 신호에 그 가중 계수를 연산하여 움직임 보상함으로써 예측 신호를 생성하는 동화상 스케일러블 복호 방법으로서,
직하 레이어에서 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 직하 화상 영역의 부호화 정보에 기초하여 상기 가중 계수의 데이터 구조를 결정하는 단계와,
직하 화상 영역이 직하 레이어에서 화면간 예측을 한 경우에 직하 화상 영역이 움직임 예측의 예측 참조처인 직하 레이어 피참조 화상 영역을 식별하고, 그 직하 레이어 피참조 화상 영역과 공간적 동일 위치에 존재하는 상위 레이어의 화상 영역의 직류 성분에 대해, 직하 화상 영역이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것을 직하 화상 영역의 직류 성분으로 간주하여 상기 가중 계수를 산출하는 단계를 가진 것을,
특징으로 하는 동화상 스케일러블 복호 방법.
제7항에 있어서,
상기 가중 계수의 데이터 구조를 결정하는 단계에서 피참조 화상 영역이 하나인 경우에 비례 계수로서 피참조 화상 영역의 직류 성분과 상기 직하 화상 영역의 직류 성분과의 비를 사용할 것을 결정하고, 오프셋 계수로서 0을 사용할 것을 결정하는 것을,
특징으로 하는 동화상 스케일러블 복호 방법.
제7항에 있어서,
상기 가중 계수의 데이터 구조를 결정하는 단계에서 피참조 화상 영역이 하나인 경우에 오프셋 계수로서 피참조 화상 영역의 직류 성분과 상기 직하 화상 영역의 직류 성분과의 차를 사용할 것을 결정하고, 비례 계수로서 1을 사용할 것을 결정하는 것을,
특징으로 하는 동화상 스케일러블 복호 방법.
제7항에 있어서,
상기 가중 계수의 데이터 구조를 결정하는 단계에서 피참조 화상 영역이 2개인 경우에 비례 계수로서 부호화 대상 화상 영역과 각 피참조 화상 영역간의 프레임간 거리에 따라 산출되는 것을 사용할 것을 결정하고, 오프셋 계수로서 2개의 피참조 화상 영역의 직류 성분에 대해 그 비례 계수를 곱한 값을 상기 직하 화상 영역의 직류 성분에서 감산함으로써 산출되는 것을 사용할 것을 결정하는 것을,
특징으로 하는 동화상 스케일러블 복호 방법.
제7항에 있어서,
상기 가중 계수를 산출하는 단계에서는 직하 레이어 피참조 화상 영역과 공간적 동일 위치에 존재하는 상위 레이어의 화상 영역의 직류 성분에 대해 직하 화상 영역이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것에, 직하 화상 영역에서 발생한 움직임 예측의 예측 잔차 신호의 직류 성분을 더 가산한 것을 직하 화상 영역의 직류 성분으로 간주하는 것을,
특징으로 하는 동화상 스케일러블 복호 방법.
제7항에 있어서,
상기 가중 계수를 산출하는 단계에서는 직하 화상 영역이 보다 세밀한 소영역 단위로 움직임 예측이 이루어진 경우에는 그 소영역마다 상기 직류 성분으로 간주하는 직류 성분을 산출하고, 산출한 직류 성분과 각 소영역의 면적에 기초하여 상기 직류 성분으로 간주하는 직류 성분을 산출하는 것을,
특징으로 하는 동화상 스케일러블 복호 방법.
동화상 스케일러블 부호화에 사용되어, 상위 레이어의 부호화 대상 화상 영역과 피참조 화상 영역간의 밝기 변화를 나타내는 비례 계수와 오프셋 계수로 이루어진 가중 계수를 산출하고, 그 가중 계수를 탐색 대상이 되는 피참조 화상 영역의 화상 신호에 연산하여 움직임을 추정함으로써 움직임 벡터를 산출하고, 그 움직임 벡터가 가리키는 피참조 화상 영역의 복호 신호에 그 가중 계수를 연산하여 움직임 보상함으로써 예측 신호를 생성하는 동화상 스케일러블 부호화 장치로서,
직하 레이어에서 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 직하 화상 영역의 부호화 정보에 기초하여 상기 가중 계수의 데이터 구조를 결정하는 수단과,
직하 화상 영역이 직하 레이어에서 화면간 예측을 한 경우에 직하 화상 영역이 움직임 예측의 예측 참조처인 직하 레이어 피참조 화상 영역을 식별하고, 그 직하 레이어 피참조 화상 영역과 공간적 동일 위치에 존재하는 상위 레이어의 화상 영역의 직류 성분에 대해, 직하 화상 영역이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것을 직하 화상 영역의 직류 성분으로 간주하여 상기 가중 계수를 산출하는 수단을 가진 것을,
특징으로 하는 동화상 스케일러블 부호화 장치.
제13항에 있어서,
상기 가중 계수의 데이터 구조를 결정하는 수단은 피참조 화상 영역이 하나인 경우에 비례 계수로서 피참조 화상 영역의 직류 성분과 상기 직하 화상 영역의 직류 성분과의 비를 사용할 것을 결정하고, 오프셋 계수로서 0을 사용할 것을 결정하는 것을,
특징으로 하는 동화상 스케일러블 부호화 장치.
제13항에 있어서,
상기 가중 계수의 데이터 구조를 결정하는 수단은 피참조 화상 영역이 하나인 경우에 오프셋 계수로서 피참조 화상 영역의 직류 성분과 상기 직하 화상 영역의 직류 성분과의 차를 사용할 것을 결정하고, 비례 계수로서 1을 사용할 것을 결정하는 것을,
특징으로 하는 동화상 스케일러블 부호화 장치.
제13항에 있어서,
상기 가중 계수의 데이터 구조를 결정하는 수단은 피참조 화상 영역이 2개인 경우에 비례 계수로서 부호화 대상 화상 영역과 각 피참조 화상 영역간의 프레임간 거리에 따라 산출되는 것을 사용할 것을 결정하고, 오프셋 계수로서 2개의 피참조 화상 영역의 직류 성분에 대해 그 비례 계수를 곱한 값을 상기 직하 화상 영역의 직류 성분에서 감산함으로써 산출되는 것을 사용할 것을 결정하는 것을,
특징으로 하는 동화상 스케일러블 부호화 장치.
제13항에 있어서,
상기 가중 계수를 산출하는 수단은 직하 레이어 피참조 화상 영역과 공간적 동일 위치에 존재하는 상위 레이어의 화상 영역의 직류 성분에 대해 직하 화상 영역이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것에, 직하 화상 영역에서 발생한 움직임 예측의 예측 잔차 신호의 직류 성분을 더 가산한 것을 직하 화상 영역의 직류 성분으로 간주하는 것을,
특징으로 하는 동화상 스케일러블 부호화 장치.
제13항에 있어서,
상기 가중 계수를 산출하는 수단은 직하 화상 영역이 보다 세밀한 소영역 단위로 움직임 예측이 이루어진 경우에는 그 소영역마다 상기 직류 성분으로 간주하는 직류 성분을 산출하고 산출한 직류 성분과 각 소영역의 면적에 기초하여 상기 직류 성분으로 간주하는 직류 성분을 산출하는 것을,
특징으로 하는 동화상 스케일러블 부호화 장치.
동화상 스케일러블 복호에 사용되어, 상위 레이어의 복호 대상 화상 영역과 복호된 움직임 벡터가 가리키는 피참조 화상 영역간의 밝기 변화를 나타내는 비례 계수와 오프셋 계수로 이루어진 가중 계수를 산출하고, 복호된 움직임 벡터가 가리키는 피참조 화상 영역의 복호 신호에 그 가중 계수를 연산하여 움직임 보상함으로써 예측 신호를 생성하는 동화상 스케일러블 복호 장치로서,
직하 레이어에서 부호화 대상 화상 영역과 공간적 동일 위치에 존재하는 직하 화상 영역의 부호화 정보에 기초하여 상기 가중 계수의 데이터 구조를 결정하는 수단,
직하 화상 영역이 직하 레이어에서 화면간 예측을 한 경우에 직하 화상 영역이 움직임 예측의 예측 참조처인 직하 레이어 피참조 화상 영역을 식별하고, 그 직하 레이어 피참조 화상 영역과 공간적 동일 위치에 존재하는 상위 레이어의 화상 영역의 직류 성분에 대해, 직하 화상 영역이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것을 직하 화상 영역의 직류 성분으로 간주하여 상기 가중 계수를 산출하는 수단을 가진 것을,
특징으로 하는 동화상 스케일러블 복호 장치.
제19항에 있어서,
상기 가중 계수의 데이터 구조를 결정하는 수단은 피참조 화상 영역이 하나인 경우에 비례 계수로서 피참조 화상 영역의 직류 성분과 상기 직하 화상 영역의 직류 성분과의 비를 사용할 것을 결정하고, 오프셋 계수로서 0을 사용할 것을 결정하는 것을 특징으로 하는 동화상 스케일러블 복호 장치.
제19항에 있어서,
상기 가중 계수의 데이터 구조를 결정하는 수단은 피참조 화상 영역이 하나인 경우에 오프셋 계수로서 피참조 화상 영역의 직류 성분과 상기 직하 화상 영역의 직류 성분과의 차를 사용할 것을 결정하고, 비례 계수로서 1을 사용할 것을 결정하는 것을,
특징으로 하는 동화상 스케일러블 복호 장치.
제19항에 있어서,
상기 가중 계수의 데이터 구조를 결정하는 수단은 피참조 화상 영역이 2개인 경우에 비례 계수로서 부호화 대상 화상 영역과 각 피참조 화상 영역간의 프레임간 거리에 따라 산출되는 것을 사용할 것을 결정하고, 오프셋 계수로서 2개의 피참조 화상 영역의 직류 성분에 대해 그 비례 계수를 곱한 값을 상기 직하 화상 영역의 직류 성분에서 감산함으로써 산출되는 것을 사용할 것을 결정하는 것을,
특징으로 하는 동화상 스케일러블 복호 장치.
제19항에 있어서,
상기 가중 계수를 산출하는 수단은 직하 레이어 피참조 화상 영역과 공간적 동일 위치에 존재하는 상위 레이어의 화상 영역의 직류 성분에 대해 직하 화상 영역이 가중 움직임 예측시에 이용한 가중 계수를 연산한 것에, 직하 화상 영역에서 발생한 움직임 예측의 예측 잔차 신호의 직류 성분을 더 가산한 것을 직하 화상 영역의 직류 성분으로 간주하는 것을,
특징으로 하는 동화상 스케일러블 복호 장치.
제19항에 있어서,
상기 가중 계수를 산출하는 수단은, 직하 화상 영역이 보다 세밀한 소영역 단위로 움직임 예측이 이루어진 경우에는 그 소영역마다 상기 직류 성분으로 간주하는 직류 성분을 산출하고 산출한 직류 성분과 각 소영역의 면적에 기초하여 상기 직류 성분으로 간주하는 직류 성분을 산출하는 것을,
특징으로 하는 동화상 스케일러블 복호 장치.
삭제
제1항에 기재된 동화상 스케일러블 부호화 방법을 컴퓨터에 실행시키기 위한 동화상 스케일러블 부호화 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
삭제
제7항에 기재된 동화상 스케일러블 복호 방법을 컴퓨터에 실행시키기 위한 동화상 스케일러블 복호 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.