KR20160038062A - 동화상 복호 장치, 동화상 부호화 장치 및 기억 매체 - Google Patents

Abstract

입력 화상을 소정 사이즈의 타일로 분할하고, 분할 후의 타일을 분배하는 병렬 처리 개시부(3)와, 병렬 처리 개시부(3)에 의해 분배된 타일에 대한 예측 차분 부호화 처리를 실시하여, 국소 복호 화상을 생성하는 N개의 타일 부호화부(5－1∼5－N)를 마련하고, N개의 타일 루프 필터부(7－1∼7－N)가, 타일 부호화부(5－1∼5－N)에 의해 생성된 국소 복호 화상의 필터링 처리에 적합한 타일 단위의 필터를 결정하고, 그 필터를 이용하여, 그 국소 복호 화상에 대한 필터링 처리를 실시한다.

Description

동화상 복호 장치, 동화상 부호화 장치 및 기억 매체{VIDEO DECODING DEVICE, VIDEO ENCODING DEVICE AND STORAGE MEDIUM}

본 발명은, 동화상 부호화 장치에 의해 전송된 부호화 데이터로부터 화상을 복호하는 동화상 복호 장치 및 동화상 복호 방법에 관한 것이다.

종래, MPEG(Moving Picture Experts Group)나 「ITU－TH.26x」등의 국제 표준 영상 부호화 방식에서는, 입력 영상 프레임을 매크로 블록(MB), 코딩 유닛(CU) 등의 명칭으로 불리는 정방 블록으로 분할하여, 블록마다, 프레임내 예측, 프레임간 예측, 예측 오차 신호의 직교 변환, 양자화, 엔트로피 부호화 처리 등을 실시하고 있다.

또한, 모든 매크로 블록의 처리가 완료하여, 화면 1장분의 국소 복호 화상이 작성된 후에, 루프 필터의 파라미터를 결정하는 처리, 그 루프 필터를 이용하여, 국소 복호 화상을 필터링하는 처리나, 엔트로피 부호화 처리를 실시하고 있다.

여기서, 각 코딩 유닛의 부호화 처리는, 코딩 유닛을 래스터 스캔 순서로 처리하는 것을 전제로 하고 있고, 임의의 코딩 유닛의 부호화 처리에서는, 래스터 스캔 순서로 이전의 코딩 유닛의 부호화 결과를 필요로 한다.

구체적으로는, 프레임간 예측을 행하는 경우, 인접하고 있는 코딩 유닛의 국소 복호 화상을 화소 참조로서 사용한다.

또한, 엔트로피 부호화 처리에서는, 심볼의 발생 확률을 추정할 때, 확률 천이 모델을 래스터 스캔 순서로 이전의 코딩 유닛과 공유하고 있고, 또한, 확률 모델의 전환을 위해서, 인접하고 있는 매크로 블록의 모드 정보를 참조할 필요가 있다.

따라서, 임의의 코딩 유닛의 부호화 처리를 진행시키기 위해서는, 래스터 스캔 순서로 이전의 코딩 유닛의 처리의 일부 또는 전부가 완료하고 있지 않으면 안 된다.

이러한 코딩 유닛 간의 의존성이, 부호화 처리 및 복호 처리의 병렬화의 장해로 되어 있다.

이하의 비특허 문헌 1에서는, 상기의 문제를 해결하기 위해서, 타일로 불리는 구조체를 이용하고 있다.

여기서, 타일은, 도 11에 나타낸 바와 같이, 복수의 코딩 유닛으로 이루어지는 직사각형 영역이다. 상이한 타일에 속하는 코딩 유닛과의 의존성을 없앰으로써, 타일 레벨에서의 병렬 처리가 가능하게 된다.

구체적으로는, 타일은, 이하에 나타내는 바와 같은 특징을 갖고 있다.

(1) 화상의 타일로의 분할은, 코딩 유닛 단위로 행해진다.

(2) 화상의 타일로의 분할은, 각 행· 각 열의 폭이 비균일한 격자 형상으로 된다. 즉, 세로 방향으로 인접하고 있는 타일은, 좌우 양단의 좌표가 동일하고, 가로 방향으로 인접하고 있는 타일은 상하 양단의 좌표가 동일하다.

(3) 각 코딩 유닛은 타일내에서 닫혀진 래스터 스캔 순서로 처리된다. 또한, 타일내에서 슬라이스 분할을 행하는 것이 가능하다.

(4) 타일 내에서 최초로 처리되는 코딩 유닛은, 엔트로피 부호화가 초기 상태로부터 개시된다.

(5) 프레임내 예측, 프레임간 예측, 엔트로피 부호화·복호의 처리에 있어서, 인접하고 있는 코딩 유닛의 국소 복호 화상 및 부호화 모드의 참조를 행할 때, 인접하고 있는 코딩 유닛이 상이한 타일에 속하고 있는 경우, 인접하고 있는 코딩 유닛의 참조를 행하지 않고, 화면단(畵面端)(screen edge)의 처리를 실시한다.

(6) 루프 필터 처리는, 모든 타일의 처리가 완료하여, 화면 전체 분의 복호 화상이 작성된 후에, 화면 전체에 대해서 실시한다.

이상으로부터, 임의의 타일에 속하는 코딩 유닛의 부호화 처리에서는, 예측·예측 오차 신호의 직교 변환·양자화·엔트로피 부호화의 처리에 있어서, 동일한 타일 내에 속하는 코딩 유닛의 결과만을 필요로 한다.

따라서, 부호화 처리 중, 프레임내/프레임간 예측, 예측 오차 신호의 직교 변환·양자화, 엔트로피 부호화의 처리를 타일 레벨에서 병렬 처리하는 것이 가능하게 된다.

또한, 타일을 이용하여 작성된 비트 스트림의 복호 처리에서는, 엔트로피 복호, 예측 오차 신호의 역양자화·역변환, 프레임내/프레임간 예측의 처리를 타일 레벨에서의 병렬 처리가 가능하게 된다.

(선행 기술 문헌)

(비특허 문헌)

(비특허 문헌 1)

Arild Fuldseth, Michael Horowitz, Shilin Xu, Andrew Segall, Minhua Zhou, “JCTVC-F335: Tiles”, Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011

종래의 동화상 부호화 장치는 이상과 같이 구성되어 있으므로, 프레임내/프레임간 예측, 예측 오차 신호의 직교 변환·양자화, 엔트로피 부호화의 처리에 대해서는 병렬 처리가 가능하지만, 루프 필터의 처리는 화면 전체에 대해서 행해진다. 이 경우, 타일 경계의 필터링 처리에서는, 경계에 인접하고 있는 양쪽의 타일의 국소 복호 화상을 참조할 필요가 있기 때문에, 양쪽의 타일의 처리가 완료하고 있지 않으면 안 되어, 타일 레벨에서의 병렬 처리를 행할 수 없는 과제가 있었다.

본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 루프 필터의 처리를 타일 레벨에서 병렬로 행할 수 있는 동화상 복호 장치 및 동화상 복호 방법을 얻는 것을 목적으로 한다.

본 발명에 따른 동화상 복호 장치는, 비트 스트림으로부터 분리된 부호화 비트 데이터를 타일 단위의 부호화 비트 데이터로 분리하는 부호화 비트 데이터 분배 수단과, 부호화 비트 데이터 분배 수단에 의해 분리된 타일 단위의 부호화 비트 데이터에 대한 예측 차분 복호 처리를 실시하여, 타일 단위의 복호 화상을 생성하는 1 이상의 타일 복호 수단과, 비트 스트림으로부터 분리된 필터 파라미터가 나타내는 타일 단위의 필터를 이용하여, 타일 복호 수단에 의해 생성된 복호 화상에 대한 필터링 처리를 실시하는 1 이상의 타일 필터 수단을 구비한 것이다.

본 발명에 의하면, 비트 스트림으로부터 분리된 부호화 비트 데이터를 타일 단위의 부호화 비트 데이터로 분리하는 부호화 비트 데이터 분배 수단과, 부호화 비트 데이터 분배 수단에 의해 분리된 타일 단위의 부호화 비트 데이터에 대한 예측 차분 복호 처리를 실시하여, 타일 단위의 복호 화상을 생성하는 1 이상의 타일 복호 수단과, 비트 스트림으로부터 분리된 필터 파라미터가 나타내는 타일 단위의 필터를 이용하여, 타일 복호 수단에 의해 생성된 복호 화상에 대한 필터링 처리를 실시하는 1 이상의 타일 필터 수단을 구비하도록 구성했으므로, 루프 필터의 처리를 타일 레벨에서 병렬로 행할 수 있는 효과가 있다.

도 1은 본 발명의 실시 형태 1에 따른 동화상 부호화 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시 형태 1에 따른 동화상 부호화 장치의 처리 내용(동화상 부호화 방법)을 나타내는 플로우차트이다.
도 3은 본 발명의 실시 형태 1에 따른 동화상 부호화 장치의 타일 부호화부(5－n)(n = 1, 2,···, N)를 나타내는 구성도이다.
도 4는 본 발명의 실시 형태 1에 따른 동화상 부호화 장치의 타일 부호화부(5－n)(n = 1, 2,···, N)의 처리 내용을 나타내는 플로우차트이다.
도 5는 본 발명의 실시 형태 1에 따른 동화상 부호화 장치의 타일 루프 필터부(7－n)(n = 1, 2,···, N)를 나타내는 구성도이다.
도 6은 본 발명의 실시 형태 1에 따른 동화상 복호 장치를 나타내는 구성도이다.
도 7은 본 발명의 실시 형태 1에 따른 동화상 복호 장치의 처리 내용(동화상 복호 방법)을 나타내는 플로우차트이다.
도 8은 본 발명의 실시 형태 1에 따른 동화상 복호 장치의 타일 복호부(54－n)(n = 1, 2,···, N)를 나타내는 구성도이다.
도 9는 본 발명의 실시 형태 1에 따른 동화상 복호 장치의 타일 복호부(54－n)(n = 1, 2,···, N)의 처리 내용을 나타내는 플로우차트이다.
도 10은 본 발명의 실시 형태 1에 따른 동화상 복호 장치의 타일 루프 필터부(56－n)(n = 1, 2,···, N)를 나타내는 구성도이다.
도 11은 화상의 LCU 분할 및 타일 분할의 일례를 나타내는 설명도이다.
도 12는 최대 부호화 블록이 계층적으로 복수의 부호화 대상 블록으로 분할되는 예를 나타내는 설명도이다.
도 13은 분할 후의 파티션(partition)의 분포나, 계층 분할 후의 파티션에 부호화 모드 m(Bⁿ)이 할당되는 상황을 쿼드트리(quadtree) 그래프로 나타내는 설명도이다.
도 14는 타일과 필터 정의(定意) 영역을 나타내는 설명도이다.
도 15는 필터 파라미터가 다중화되어 있는 비트 스트림을 나타내는 설명도이다.
도 16은 필터 경계에서의 필터링 처리를 나타내는 설명도이다.
도 17은 본 발명의 실시 형태 2에 따른 동화상 부호화 장치를 나타내는 구성도이다.
도 18은 본 발명의 실시 형태 2에 따른 동화상 복호 장치를 나타내는 구성도이다.
도 19는 격자 형상 배치가 아닌 자유로운 타일 분할의 일례를 나타내는 설명도이다.

이하, 본 발명을 보다 상세하게 설명하기 위해서, 본 발명을 실시하기 위한 형태에 대해, 첨부 도면에 따라 설명한다.

(실시 형태 1)

도 1은 본 발명의 실시 형태 1에 따른 동화상 부호화 장치를 나타내는 구성도이다.

도 1에 있어서, 부호화 제어부(1)는 영상 신호가 나타내는 입력 화상을 소정 사이즈의 직사각형 영역인 타일로 분할할 때의 분할 상태를 지시하는 타일 분할 제어 정보(분할 제어 정보)를 출력하는 처리를 실시한다.

또한, 부호화 제어부(1)는 타일 부호화부(5－1∼5－N)에 의해 생성된 타일 단위의 국소 복호 화상의 필터링 처리에 이용하는 필터를 각 타일에서 공통시키는지 여부를 나타내는 필터 파라미터 공유 플래그(필터 공유 플래그)를 출력하는 처리를 실시한다.

또한, 부호화 제어부(1)는 분할 제어 수단을 구성하고 있다.

타일 분할 제어부(2)는 부호화 제어부(1)로부터 출력된 타일 분할 제어 정보가 지시하고 있는 분할 상태와 일치하도록, 병렬 처리 개시부(3)에 있어서의 입력 화상의 분할을 제어하는 처리를 실시한다.

병렬 처리 개시부(3)는 타일 분할 제어부(2)의 지시 하에, 영상 신호가 나타내는 입력 화상을 소정 사이즈의 타일로 분할하고, 분할 후의 타일을 타일 부호화부(5－1∼5－N)에 분배하는 처리를 실시한다.

또한, 타일 분할 제어부(2) 및 병렬 처리 개시부(3)로 타일 분배 수단이 구성되어 있다.

움직임 보상 예측 프레임 메모리(4)는 필터링 처리 후의 국소 복호 화상을 기억하는 기록 매체이다. 또한, 움직임 보상 예측 프레임 메모리(4)는 화상 메모리를 구성하고 있다.

타일 부호화 장치(5)는 N개의 타일 부호화부(5－1∼5－N)를 실장하고 있고, N개의 타일 부호화부(5－1∼5－N)가 독립하여 예측 차분 부호화 처리를 실시한다. N은 1 이상의 정수이다.

타일 부호화부(5－1∼5－N)는 움직임 보상 예측 프레임 메모리(4)에 기억되어 있는 필터링 처리 후의 국소 복호 화상을 참조하여, 병렬 처리 개시부(3)에 의해 분배된 타일에 대한 예측 차분 부호화 처리를 실시함으로써, 그 부호화 결과인 비트 계열 데이터(부호화 비트 데이터) 및 부호화 파라미터(부호화 파라미터는 예측 차분 부호화 처리를 실시할 때에 이용된 파라미터이며, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터, 인터 예측 파라미터가 해당함)를 출력함과 아울러, 타일 국소 복호 화상(국소 복호 화상)을 생성하는 처리를 실시한다. 또한, 타일 부호화부(5－1∼5－N)는 타일 부호화 수단을 구성하고 있다.

루프 필터 제어부(6)는 부호화 제어부(1)로부터 출력된 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 타일 부호화부(5－1∼5－N)에 의해 생성된 타일 국소 복호 화상으로부터 프레임 단위의 국소 복호 화상을 얻고, 프레임 단위의 국소 복호 화상에 적합한 프레임 단위의 필터를 결정하고, 그 필터를 나타내는 필터 파라미터를 타일 루프 필터 장치(7)에 출력하는 처리를 실시한다.

또한, 루프 필터 제어부(6)는 프레임 단위의 필터를 나타내는 필터 파라미터를 가변 길이 부호화하여, 그 필터 파라미터의 부호화 데이터를 병렬 처리 종료부(8)에 출력하는 처리를 실시한다.

또한, 루프 필터 제어부(6)는 프레임 단위 필터 결정 수단을 구성하고 있다.

타일 루프 필터 장치(7)는 N개의 타일 루프 필터부(7－1∼7－N)를 실장하고 있고, N개의 타일 루프 필터부(7－1∼7－N)가 독립하여 필터링 처리를 실시한다. N은 1 이상의 정수이다.

타일 루프 필터부(7－1∼7－N)는 부호화 제어부(1)로부터 출력된 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시키지 않는다는 취지를 나타내고 있는 경우, 타일 부호화부(5－1∼5－N)에 의해 생성된 타일 국소 복호 화상의 필터링 처리에 적합한 타일 단위의 필터를 결정하고, 그 필터를 이용하여, 타일 국소 복호 화상에 대한 필터링 처리를 실시함과 아울러, 타일 단위의 필터를 나타내는 필터 파라미터를 가변 길이 부호화하여, 그 필터 파라미터의 부호화 데이터를 타일 부호화부(5－1∼5－N)로부터 출력된 비트 계열 데이터로 다중화하는 처리를 실시한다.

한편, 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 루프 필터 제어부(6)로부터 출력된 필터 파라미터가 나타내는 프레임 단위의 필터를 이용하여, 타일 부호화부(5－1∼5－N)에 의해 생성된 타일 국소 복호 화상의 필터링 처리를 실시함과 아울러, 타일 부호화부(5－1∼5－N)로부터 출력된 비트 계열 데이터를 그대로 출력하는 처리를 실시한다.

또한, 타일 루프 필터부(7－1∼7－N)는 타일 필터 수단을 구성하고 있다.

병렬 처리 종료부(8)는 부호화 제어부(1)로부터 출력된 타일 분할 제어 정보에 따라 타일 루프 필터부(7－1∼7－N)에 의한 필터링 처리 후의 타일 국소 복호 화상을 조합하여 프레임 단위의 국소 복호 화상을 생성하고, 그 국소 복호 화상을 움직임 보상 예측 프레임 메모리(4)에 저장함과 아울러, 타일 루프 필터부(7－1∼7－N)로부터 출력된 비트 계열 데이터를 가변 길이 부호 다중화부(9)에 출력하는 처리를 실시한다.

또한, 병렬 처리 종료부(8)는 부호화 제어부(1)로부터 출력된 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 루프 필터 제어부(6)로부터 출력된 프레임 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터를 가변 길이 부호 다중화부(9)에 출력하는 처리를 실시한다.

또한, 병렬 처리 종료부(8)는 국소 복호 화상 저장 수단을 구성하고 있다.

가변 길이 부호 다중화부(9)는 부호화 제어부(1)로부터 출력된 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시키지 않는다는 취지를 나타내고 있는 경우, 병렬 처리 종료부(8)로부터 출력된 비트 계열 데이터와, 부호화 제어부(1)로부터 출력된 타일 분할 제어 정보 및 필터 파라미터 공유 플래그를 다중화하여 비트 스트림을 생성하는 처리를 실시한다.

한편, 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 병렬 처리 종료부(8)로부터 출력된 비트 계열 데이터 및 프레임 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터와, 부호화 제어부(1)로부터 출력된 타일 분할 제어 정보 및 필터 파라미터 공유 플래그를 다중화하여 비트 스트림을 생성하는 처리를 실시한다.

또한, 가변 길이 부호 다중화부(9)는 다중화 수단을 구성하고 있다.

도 1의 예에서는, 동화상 부호화 장치의 구성요소인 부호화 제어부(1), 타일 분할 제어부(2), 병렬 처리 개시부(3), 움직임 보상 예측 프레임 메모리(4), 타일 부호화 장치(5), 루프 필터 제어부(6), 타일 루프 필터 장치(7), 병렬 처리 종료부(8) 및 가변 길이 부호 다중화부(9)의 각각이 전용의 하드웨어(예를 들면, CPU를 실장하고 있는 반도체 집적 회로나, 1칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 부호화 장치가 컴퓨터로 구성되는 경우, 부호화 제어부(1), 타일 분할 제어부(2), 병렬 처리 개시부(3), 타일 부호화 장치(5), 루프 필터 제어부(6), 타일 루프 필터 장치(7), 병렬 처리 종료부(8) 및 가변 길이 부호 다중화부(9)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 상기 컴퓨터의 CPU가 상기 메모리에 저장되어 있는 프로그램을 실행하도록 해도 좋다.

도 2는 본 발명의 실시 형태 1에 따른 동화상 부호화 장치의 처리 내용(동화상 부호화 방법)을 나타내는 플로우차트이다.

도 3은 본 발명의 실시 형태 1에 따른 동화상 부호화 장치의 타일 부호화부(5－n)(n = 1, 2,···, N)를 나타내는 구성도이다.

도 3에 있어서, 타일 부호화 제어부(21)는 부호화 대상 블록의 사이즈인 부호화 블록 사이즈를 결정하는 것과 아울러, 선택 가능한 1 이상의 인트라 부호화 모드 및 인터 부호화 모드 중에서, 블록 분할부(22)로부터 출력되는 부호화 대상 블록에 대한 부호화 효율이 가장 높은 부호화 모드를 결정하는 처리를 실시한다.

또한, 타일 부호화 제어부(21)는 부호화 효율이 가장 높은 부호화 모드가 인트라 부호화 모드인 경우, 그 인트라 부호화 모드에서 부호화 대상 블록에 대한 인트라 예측 처리를 실시할 때에 이용하는 인트라 예측 파라미터를 결정하고, 부호화 효율이 가장 높은 부호화 모드가 인터 부호화 모드인 경우, 그 인터 부호화 모드에서 부호화 대상 블록에 대한 인터 예측 처리를 실시할 때에 이용하는 인터 예측 파라미터를 결정하는 처리를 실시한다.

또한, 타일 부호화 제어부(21)는 변환·양자화부(27), 역양자화·역변환부(28) 및 가변 길이 부호화부(31)에 인가하는 예측 차분 부호화 파라미터를 결정하는 처리를 실시한다.

이후, 타일 부호화 제어부(21)에 의해 결정된 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터 또는 인터 예측 파라미터를 통합하여 부호화 파라미터라고 칭한다. 타일 부호화 제어부(21)는 부호화 파라미터를 타일 루프 필터부(7－n)(n = 1, 2,···, N)에 출력하는 처리를 실시한다.

블록 분할부(22)는 병렬 처리 개시부(3)에 의해 분배된 타일을 타일 부호화 제어부(21)에 의해 결정된 부호화 블록 사이즈의 블록(예측 처리 단위의 블록)으로 분할하여, 예측 처리 단위의 블록인 부호화 대상 블록을 출력하는 처리를 실시한다.

전환 스위치(23)는 타일 부호화 제어부(21)에 의해 결정된 부호화 모드가 인트라 부호화 모드이면, 블록 분할부(22)로부터 출력된 부호화 대상 블록을 인트라 예측부(24)에 출력하고, 타일 부호화 제어부(21)에 의해 결정된 부호화 모드가 인터 부호화 모드이면, 블록 분할부(22)로부터 출력된 부호화 대상 블록을 움직임 보상 예측부(25)에 출력하는 처리를 실시한다.

인트라 예측부(24)는 타일 국소 복호 화상 메모리(30)에 저장되어 있는 국소 복호 화상을 참조하면서, 타일 부호화 제어부(21)에 의해 결정된 인트라 예측 파라미터를 이용하여, 전환 스위치(23)로부터 출력된 부호화 대상 블록에 대한 인트라 예측 처리를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다.

또한, 타일 국소 복호 화상 메모리(30)에 저장되어 있는 국소 복호 화상은, 동일한 타일에 속하는 블록의 국소 복호 화상뿐이기 때문에, 인트라 예측부(24)에 있어서의 인트라 예측 처리에서는, 상이한 타일에 속하는 블록의 국소 복호 화상의 참조는 행하지 않는다. 참조 위치의 블록이 상이한 타일에 속하는 블록인 경우에는, 화소 참조가 불필요한 인트라 예측 처리를 실시한다.

움직임 보상 예측부(25)는 전환 스위치(23)로부터 출력된 부호화 대상 블록과 움직임 보상 예측 프레임 메모리(4)에 저장되어 있는 필터링 처리 후의 국소 복호 화상을 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 타일 부호화 제어부(21)에 의해 결정된 인터 예측 파라미터를 이용하여, 그 부호화 대상 블록에 대한 인터 예측 처리(움직임 보상 예측 처리)를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.

감산부(26)는 블록 분할부(22)로부터 출력된 부호화 대상 블록으로부터, 인트라 예측부(24)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(25)에 의해 생성된 인터 예측 화상을 감산하고, 그 감산 결과인 예측 차분 신호(차분 화상)를 변환·양자화부(27)에 출력하는 처리를 실시한다.

변환·양자화부(27)는 타일 부호화 제어부(21)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 감산부(26)로부터 출력된 예측 차분 신호에 대한 직교 변환 처리(예를 들면, DCT(이산 코사인 변환)나, 미리 특정의 학습 계열에 대해서 기저 설계가 이루어지고 있는 KL 변환 등의 직교 변환 처리)를 실시하여 변환 계수를 산출함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 그 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터(차분 화상의 양자화 계수)를 역양자화·역변환부(28) 및 가변 길이 부호화부(31)에 출력하는 처리를 실시한다.

역양자화·역변환부(28)는 타일 부호화 제어부(21)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 변환·양자화부(27)로부터 출력된 압축 데이터를 역양자화함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시하고, 감산부(26)로부터 출력된 예측 차분 신호에 상당하는 국소 복호 예측 차분 신호를 산출하는 처리를 실시한다.

가산부(29)는 역양자화·역변환부(28)에 의해 산출된 국소 복호 예측 차분 신호와, 인트라 예측부(24)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(25)에 의해 생성된 인터 예측 화상을 가산하고, 블록 분할부(22)로부터 출력된 부호화 대상 블록에 상당하는 국소 복호 화상을 산출하는 처리를 실시한다.

타일 국소 복호 화상 메모리(30)는 가산부(29)에 의해 산출된 국소 복호 화상을 저장하는 기록 매체이다. 타일에 속하는 모든 코딩 유닛(CU)의 부호화 처리가 종료한 시점에서, 내부에 저장되어 있는 타일 1개분의 국소 복호 화상이 타일 루프 필터부(7－n)에 출력된다.

가변 길이 부호화부(31)는 변환·양자화부(27)로부터 출력된 압축 데이터와, 타일 부호화 제어부(21)로부터 출력된 부호화 파라미터와, 움직임 보상 예측부(25)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하고, 그 부호화 결과인 비트 계열 데이터를 타일 루프 필터부(7－n)에 출력하는 처리를 실시한다.

또한, 도 4는 본 발명의 실시 형태 1에 따른 동화상 부호화 장치의 타일 부호화부(5－n)(n = 1, 2,···, N)의 처리 내용을 나타내는 플로우차트이다.

도 5는 본 발명의 실시 형태 1에 따른 동화상 부호화 장치의 타일 루프 필터부(7－n)(n = 1, 2,···, N)를 나타내는 구성도이다.

도 5에 있어서, 타일 루프 필터 제어부(41)는 부호화 제어부(1)로부터 출력된 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시키지 않는다는 취지를 나타내고 있는 경우, 타일 부호화부(5－n)에 의해 생성된 타일 국소 복호 화상의 필터링 처리에 적합한 타일 단위의 필터를 결정하고, 그 필터를 나타내는 필터 파라미터를 루프 필터 실시부(42) 및 가변 길이 부호화부(43)에 출력하는 처리를 실시한다.

루프 필터 실시부(42)는 부호화 제어부(1)로부터 출력된 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시키지 않는다는 취지를 나타내고 있는 경우, 타일 루프 필터 제어부(41)로부터 출력된 필터 파라미터가 나타내는 타일 단위의 필터와 타일 부호화부(5－n)로부터 출력된 부호화 파라미터를 이용하여, 타일 부호화부(5－n)로부터 출력된 타일 국소 복호 화상에 대한 필터링 처리를 실시한다.

한편, 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 루프 필터 제어부(6)로부터 출력된 필터 파라미터가 나타내는 프레임 단위의 필터와 타일 부호화부(5－n)로부터 출력된 부호화 파라미터를 이용하여, 타일 부호화부(5－n)로부터 출력된 타일 국소 복호 화상에 대한 필터링 처리를 실시한다.

가변 길이 부호화부(43)는 부호화 제어부(1)로부터 출력된 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시키지 않는다는 취지를 나타내고 있는 경우, 타일 루프 필터 제어부(41)로부터 출력된 타일 단위의 필터를 나타내는 필터 파라미터를 가변 길이 부호화하고, 그 필터 파라미터의 부호화 데이터를 타일 부호화부(5－n)로부터 출력된 비트 계열 데이터로 다중화하여 병렬 처리 종료부(8)에 출력하는 처리를 실시한다.

한편, 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 타일 부호화부(5－n)로부터 출력된 비트 계열 데이터를 그대로 병렬 처리 종료부(8)에 출력하는 처리를 실시한다.

도 6은 본 발명의 실시 형태 1에 따른 동화상 복호 장치를 나타내는 구성도이다.

도 6에 있어서, 가변 길이 부호 분리부(51)는 도 1의 동화상 부호화 장치에 의해 생성된 비트 스트림을 입력하면, 그 비트 스트림으로 다중화되어 있는 프레임 단위의 비트 계열 데이터(타일 단위의 비트 계열 데이터가 통합되어 있는 데이터)와, 입력 화상의 분할 상태를 지시하는 타일 분할 제어 정보와, 각 타일에서 필터를 공통시키는지 여부를 나타내는 필터 공유 플래그와, 프레임 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터(필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우)를 분리하는 처리를 실시한다. 또한, 가변 길이 부호 분리부(51)는 분리 수단을 구성하고 있다.

병렬 처리 개시부(52)는 가변 길이 부호 분리부(51)로부터 출력된 프레임 단위의 비트 계열 데이터를 타일 단위의 비트 계열 데이터로 분할하고, 타일 단위의 비트 계열 데이터를 타일 복호부(54－1∼54－N)에 분배하는 처리를 실시한다. 또한, 병렬 처리 개시부(52)는 부호화 비트 데이터 분배 수단을 구성하고 있다.

움직임 보상 예측 프레임 메모리(53)는 필터링 처리 후의 복호 화상을 기억하는 기록 매체이다. 또한, 움직임 보상 예측 프레임 메모리(53)는 화상 메모리를 구성하고 있다.

타일 복호 장치(54)는 N개의 타일 복호부(54－1∼54－N)를 실장하고 있고, N개의 타일 복호부(54－1∼54－N)가 독립하여 예측 차분 복호 처리를 실시한다. N은 1 이상의 정수이다.

타일 복호부(54－1∼54－N)는 움직임 보상 예측 프레임 메모리(53)에 기억되어 있는 필터링 처리 후의 복호 화상을 참조하여, 병렬 처리 개시부(52)에 의해 분배된 타일 단위의 비트 계열 데이터에 대한 예측 차분 복호 처리를 실시함으로써, 타일 복호 화상(타일 단위의 복호 화상)을 생성함과 아울러, 그 예측 차분 복호 처리를 실시할 때에 이용하고 있는 부호화 파라미터(비트 계열 데이터로 다중화되어 있는 부호화 파라미터)를 타일 루프 필터부(56－1∼56－N)에 출력하는 처리를 실시한다.

또한, 타일 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터가 비트 계열 데이터로 다중화되어 있는 경우, 그 필터 파라미터의 부호화 데이터를 타일 루프 필터부(56－1∼56－N)에 출력하는 처리를 실시한다.

또한, 타일 복호부(54－1∼54－N)는 타일 복호 수단을 구성하고 있다.

필터 파라미터 복호부(55)는 가변 길이 부호 분리부(51)에 의해 분리된 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 가변 길이 부호 분리부(51)로부터 출력된 부호화 데이터로부터 프레임 단위의 필터를 나타내는 필터 파라미터를 복호하고, 그 필터 파라미터를 타일 루프 필터부(56－1∼56－N)에 출력하는 처리를 실시한다.

타일 루프 필터 장치(56)는 N개의 타일 루프 필터부(56－1∼56－N)를 실장하고 있고, N개의 타일 루프 필터부(56－1∼56－N)가 독립하여 필터링 처리를 실시한다. N은 1 이상의 정수이다.

타일 루프 필터부(56－1∼56－N)는 가변 길이 부호 분리부(51)에 의해 분리된 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시키지 않는다는 취지를 나타내고 있는 경우, 타일 복호부(54－1∼54－N)로부터 출력된 부호화 데이터로부터 타일 단위의 필터를 나타내는 필터 파라미터를 복호하고, 그 필터 파라미터가 나타내는 타일 단위의 필터를 이용하여, 타일 복호부(54－1∼54－N)에 의해 생성된 타일 복호 화상에 대한 필터링 처리를 실시하는 처리를 실시한다.

한편, 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 필터 파라미터 복호부(55)로부터 출력된 필터 파라미터가 나타내는 프레임 단위의 필터를 이용하여, 타일 복호부(54－1∼54－N)에 의해 생성된 타일 복호 화상에 대한 필터링 처리를 실시하는 처리를 실시한다.

또한, 타일 루프 필터부(56－1∼56－N)는 타일 필터 수단을 구성하고 있다.

타일 분할 제어부(57)는 가변 길이 부호 분리부(51)에 의해 분리된 타일 분할 제어 정보로부터 타일의 분할 상태를 파악하고, 원래의 입력 화상에 상당하는 복호 화상을 얻을 수 있도록, 병렬 처리 종료부(58)에 있어서의 각 타일 복호 화상의 배치를 제어하는 처리를 실시한다.

병렬 처리 종료부(58)는 타일 분할 제어부(57)의 제어 하에서, 타일 루프 필터부(56－1∼56－N)에 의한 필터링 처리 후의 타일 복호 화상을 조합하여 프레임 단위의 복호 화상을 생성하고, 그 복호 화상을 움직임 보상 예측 프레임 메모리(53)에 저장하는 처리를 실시한다.

또한, 타일 분할 제어부(57) 및 병렬 처리 종료부(58)로 복호 화상 저장 수단이 구성되어 있다.

도 6의 예에서는, 동화상 복호 장치의 구성요소인 가변 길이 부호 분리부(51), 병렬 처리 개시부(52), 움직임 보상 예측 프레임 메모리(53), 타일 복호 장치(54), 필터 파라미터 복호부(55), 타일 루프 필터 장치(56), 타일 분할 제어부(57) 및 병렬 처리 종료부(58)의 각각이 전용의 하드웨어(예를 들면, CPU를 실장하고 있는 반도체 집적 회로나, 1칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 복호 장치가 컴퓨터로 구성되는 경우, 가변 길이 부호 분리부(51), 병렬 처리 개시부(52), 타일 복호 장치(54), 필터 파라미터 복호부(55), 타일 루프 필터 장치(56), 타일 분할 제어부(57) 및 병렬 처리 종료부(58)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 상기 컴퓨터의 CPU가 상기 메모리에 저장되어 있는 프로그램을 실행하도록 해도 좋다.

도 7은 본 발명의 실시 형태 1에 따른 동화상 복호 장치의 처리 내용(동화상 복호 방법)을 나타내는 플로우차트이다.

도 8은 본 발명의 실시 형태 1에 따른 동화상 복호 장치의 타일 복호부(54－n)(n = 1, 2,···, N)를 나타내는 구성도이다.

도 8에 있어서, 가변 길이 복호부(61)는 병렬 처리 개시부(52)에 의해 분배된 타일 단위의 비트 계열 데이터로부터 예측 처리 단위의 블록인 복호 대상 블록(부호화 대상 블록에 상당하는 블록)에 따른 압축 데이터와, 부호화 파라미터(부호화 모드, 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우), 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우), 예측 차분 부호화 파라미터)와, 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 복호함과 아울러, 가변 길이 복호 후의 부호화 파라미터 및 타일 단위의 비트 계열 데이터로 다중화되어 있는 타일 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터를 타일 루프 필터부(56－n)에 출력하는 처리를 실시한다.

전환 스위치(62)는 가변 길이 복호부(61)에 의해 가변 길이 복호된 부호화 모드가 인트라 부호화 모드이면, 가변 길이 복호부(61)에 의해 가변 길이 복호된 인트라 예측 파라미터를 인트라 예측부(63)에 출력하고, 가변 길이 복호부(61)에 의해 가변 길이 복호된 부호화 모드가 인터 부호화 모드이면, 가변 길이 복호부(61)에 의해 가변 길이 복호된 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(64)에 출력하는 처리를 실시한다.

인트라 예측부(63)는 타일 복호 화상 메모리(67)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(62)로부터 출력된 인트라 예측 파라미터를 이용하여, 복호 대상 블록에 대한 인트라 예측 처리를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다.

움직임 보상부(64)는 움직임 보상 예측 프레임 메모리(53)에 저장되어 있는 필터링 처리 후의 복호 화상을 참조하면서, 전환 스위치(62)로부터 출력된 움직임 벡터와 인터 예측 파라미터를 이용하여, 복호 대상 블록에 대한 인터 예측 처리를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.

역양자화·역변환부(65)는 가변 길이 복호부(61)에 의해 가변 길이 복호된 예측 차분 부호화 파라미터를 참조하여, 가변 길이 복호부(61)에 의해 가변 길이 복호된 압축 데이터를 역양자화함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시하고, 복호 예측 차분 신호를 산출하는 처리를 실시한다.

가산부(66)는 역양자화·역변환부(65)에 의해 산출된 복호 예측 차분 신호와 인트라 예측부(63)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상부(64)에 의해 생성된 인터 예측 화상을 가산하여, 복호 화상을 산출하는 처리를 실시한다.

타일 복호 화상 메모리(67)는 가산부(66)에 의해 산출된 복호 화상을 저장하는 기록 매체이다.

타일에 속하는 모든 코딩 유닛(CU)의 복호 처리가 종료한 시점에서, 저장되어 있는 타일 1개분의 복호 화상이 타일 복호부(54－n)의 외부에 출력된다.

또한, 도 9는 본 발명의 실시 형태 1에 따른 동화상 복호 장치의 타일 복호부(54－n)(n = 1, 2,···, N)의 처리 내용을 나타내는 플로우차트이다.

도 10은 본 발명의 실시 형태 1에 따른 동화상 복호 장치의 타일 루프 필터부(56－n)(n = 1, 2,···, N)를 나타내는 구성도이다.

도 10에 있어서, 타일 필터 파라미터 복호부(71)는 가변 길이 부호 분리부(51)에 의해 분리된 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시키지 않는다는 취지를 나타내고 있는 경우, 가변 길이 부호 분리부(51)에 의해 분리된 타일 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터를 복호하고, 그 복호 결과인 필터 파라미터를 루프 필터 실시부(72)에 출력하는 처리를 실시한다.

루프 필터 실시부(72)는 가변 길이 부호 분리부(51)에 의해 분리된 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시키지 않는다는 취지를 나타내고 있는 경우, 타일 필터 파라미터 복호부(71)에 의해 복호된 필터 파라미터가 나타내는 타일 단위의 필터와 타일 복호부(54－n)의 가변 길이 복호부(61)에 의해 가변 길이 복호된 부호화 파라미터를 이용하여, 타일 복호부(54－n)로부터 출력된 타일 복호 화상에 대한 필터링 처리를 실시한다.

한편, 필터 파라미터 공유 플래그가 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 필터 파라미터 복호부(55)로부터 출력된 필터 파라미터가 나타내는 프레임 단위의 필터와 타일 복호부(54－n)의 가변 길이 복호부(61)에 의해 가변 길이 복호된 부호화 파라미터를 이용하여, 타일 복호부(54－n)로부터 출력된 타일 복호 화상에 대한 필터링 처리를 실시한다.

다음에 동작에 대해 설명한다.

본 실시 형태 1에서는, 영상의 각 프레임 화상을 입력 화상으로 하여, 근접 프레임간에 움직임 보상 예측을 실시하고, 얻어진 예측 차분 신호에 대해서 직교 변환·양자화에 의한 압축 처리를 실시하고, 그 후, 가변 길이 부호화를 행하여 비트 스트림을 생성하는 동화상 부호화 장치와, 그 동화상 부호화 장치로부터 출력되는 비트 스트림을 복호하는 동화상 복호 장치에 대해 설명한다.

먼저, 도 1의 동화상 부호화 장치의 동작을 설명하지만, 도 1의 동화상 부호화 장치는, 입력 화상을 타일이라 불리는 직사각형 영역으로 분할하고, 타일에 대한 부호화·복호 처리 간의 상호 의존성을 없앰으로써, 부호화 처리에 있어서, 타일 레벨에서의 병렬 처리를 가능하게 하는 것을 특징으로 하고 있다.

이와 동시에, 복호 처리에 있어서, 타일 레벨에서의 병렬 처리가 가능해지는 부호화 결과를 출력하는 것을 특징으로 하고 있다.

영상 신호의 부호화 처리는, 일반적으로 입력 영상의 공간·시간·휘도 레벨 해상도에 비례하여 처리량이 증가한다.

촬상 장치, 기억 장치 및 전송 장치 등의 진화에 따라, 영상 신호의 시간·공간·휘도 레벨 해상도는 증가하는 경향이 있고, 기존의 동화상 부호화 장치, 동화상 복호 장치에서는, 소정의 속도로 부호화 처리나 복호 처리를 행하는 것이 불가능하게 되는 것을 생각할 수 있다.

이러한 상황에 대응하는 해법의 하나로서, 입력 화상을 공간적으로 분할하고, 복수의 부호화부에 인가하여, 복수의 부호화부를 병렬로 동작시킴으로써, 처리 시간을 저감시키는 것을 생각할 수 있다. 이 경우, 복호측에 있어서도, 분할되어 부호화된 데이터를 각각 상이한 복호부에 인가하여, 복수의 복호부가 복호 처리를 병렬 처리함으로써, 처리 시간을 저감시키는 것이 가능해진다.

여기서, 보다 고속으로 병렬 처리를 실행하는 데에는, 병렬적으로 동작하고 있는 부호부·복호부 사이에서의 정보의 참조는 가능한 한 줄이는 것이 바람직하다. 이것에는, 프레임내 예측을 위한 화소의 참조, 움직임 벡터 예측을 위한 움직임 벡터 정보의 참조, 그 외 엔트로피 부호화를 위한 근접 영역의 부호화 파라미터 정보의 참조, 엔트로피 부호화에 있어서의 심볼 발생 확률 추정 모델의 상태가 포함된다.

임의의 영역의 부호화를 행할 때에, 근접 영역이 다른 부호화부에서 병렬적으로 처리되고 있었을 경우, 이들 정보의 참조를 행하기 위해서는 처리의 동기가 필요하게 되기 때문에, 병렬 성능을 높이기 위해서는 바람직하지 않다.

또한, 상기의 정보 이외에도, 화면의 필터링 처리를 행하는 경우에 근접 영역의 화소 참조가 필요하게 된다. 따라서, 필터링 처리도 포함하는 병렬 성능을 높이기 위해서는, 필터링 처리에 있어서도, 다른 부호화부·복호부에서 병렬적으로 처리되고 있는 근접 영역의 화소 참조를 행해서는 안 된다.

본 실시 형태 1에서는, 이러한 동화상 부호화의 병렬 처리에 요구되는 기능을 실현하기 위해서, 입력 화상을 타일이라 불리는 직사각형 영역으로 분할하고, 타일 레벨에서 예측 차분 부호화 처리의 병렬화를 가능하게 함과 아울러, 필터 계수 도출 및 필터링 처리의 병렬화를 가능하게 하고, 또한, 필터 계수 도출을 병렬화하는지 여부를 전환하는 구성을 취하고 있다.

도 1의 동화상 부호화 장치가 처리 대상으로 하는 영상 신호 포맷은, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색 공간의 컬러 영상 신호 이외에, 흑백 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평·수직 2 차원의 디지털 샘플(화소) 열로 구성되는 임의의 영상 신호로 한다.

단, 각 화소의 계조는, 8 비트이어도 좋고, 10 비트나 12 비트 등의 계조이어도 좋다.

이하의 설명에서는, 편의상, 특별히 지정하지 않는 한, 입력 화상의 영상 신호는 YUV 신호인 것으로 하고, 또한, 2개의 색차 성분 U, V가 휘도 성분 Y에 대해서, 서브 샘플된 4 : 2 : 0 포맷의 신호를 취급하는 경우에 대해서 서술한다.

또한, 영상 신호의 각 프레임에 대응하는 처리 데이터 단위를 「픽쳐」라고 칭한다.

본 실시 형태 1에서는, 「픽쳐」는 순차적으로 주사(프로그래시브 스캔)된 영상 프레임 신호로 하여 설명을 행하지만, 영상 신호가 인터레이스(interlace) 신호인 경우, 「픽쳐」는 영상 프레임을 구성하는 단위인 필드 화상 신호이어도 좋다.

우선, 부호화 제어부(1)는, 영상 신호가 나타내는 입력 화상을 소정 사이즈의 타일로 분할할 때의 분할 상태를 지시하는 타일 분할 제어 정보를 타일 분할 제어부(2), 병렬 처리 종료부(8) 및 가변 길이 부호 다중화부(9)에 출력한다.

또한, 부호화 제어부(1)는, 타일 부호화부(5－1∼5－N)에 의해 생성된 타일 단위의 국소 복호 화상의 필터링 처리에 이용하는 필터를 각 타일에서 공통시키는지 여부를 나타내는 필터 파라미터 공유 플래그(각 타일에서 공통시키는 경우： ON의 플래그, 각 타일에서 공통시키지 않는 경우： OFF의 플래그)를 타일 분할 제어부(2), 루프 필터 제어부(6), 타일 루프 필터부(7－1∼7－N) 및 가변 길이 부호 다중화부(9)에 출력한다.

타일 분할 제어부(2)는, 부호화 제어부(1)로부터 타일 분할 제어 정보를 수신하면, 그 타일 분할 제어 정보가 지시하고 있는 분할 상태와 일치하도록, 병렬 처리 개시부(3)에 있어서의 입력 화상의 분할을 제어한다.

병렬 처리 개시부(3)는, 입력 화상을 나타내는 영상 신호를 입력하면, 타일 분할 제어부(2)의 지시 하에, 그 입력 화상을 소정 사이즈의 타일로 분할하고, 분할 후의 타일을 타일 부호화부(5－1∼5－N)에 분배한다(도 2의 스텝 ST1).

여기서, 타일 분할을 제어하는 정보는 각종 표현이 생각되지만, 예를 들면, 타일을 최대 사이즈의 CU(Largest CU： LCU)를 최소 단위로 하여, LCU를 몇 개 포함하는지에 대한 정보에 의해 타일 분할을 지정하는 것을 생각한다.

도 11은 화상의 LCU 분할 및 타일 분할의 일례를 나타내는 설명도이다.

입력 화상은, 도 11에 나타낸 바와 같이, 좌측 상부를 시점으로 하여, 격자 형상으로 나열되는 LCU로 분할된다. 화상의 높이와 폭 및 LCU의 한 변의 길이를 지정하면, 이 분할은 고유하게 정해진다.

타일 분할은, LCU를 최소 단위로 하여 행해지기 때문에, 각 타일의 폭 및 높이는, 가로 및 세로의 변에 포함되는 LCU의 수로 나타낼 수 있다.

따라서, 타일 분할 제어 정보로서, 2개의 정수의 계열인 ColumnWidthArray[], RowHeightArray[]가 주어진다.

ColumnWidthArray[]는, 가로 방향으로 나열되는 타일의 폭을 LCU의 수로 표현한 값을, 왼쪽으로부터 순서대로 나열한 것이다.

또한, RowHeightArray[]는, 상하 방향으로 나열되는 타일의 높이를 LCU의 수로 표현한 값을, 위로부터 순서대로 나열한 것이다.

예를 들면, ColumnWidthArray[]={4, 3, 6, 4, 6}, RowHeightArray[]={3, 3, 4, 5}로 지정되었을 경우, 도 11과 같이 타일 분할된다.

또한, 입력 화상의 LCU 분할은, 화상 사이즈와 LCU의 한 변의 길이로부터 고유하게 결정되기 때문에, 가장 오른쪽 열의 폭과, 가장 아래의 행의 높이는 지정하지 않아도, 그 외의 행이나 열의 정보로부터 고유하게 정하는 것이 가능해진다.

따라서, 이러한 정보는 생략이 가능하고, 그 경우, ColumnWidthArray[]={4, 3, 6, 4}, RowHeightArray[]={3, 3, 4}로 지정하면 좋다.

상기에서는, 도 11에 나타낸 바와 같이, 프레임을 격자 형상으로 분할하는 타일의 예를 설명했지만, 도 19에 나타내는 바와 같은, 격자 형상 배치가 아닌 보다 자유로운 타일 분할도 가능하다. 이러한 경우, 타일 분할 제어 정보도 이러한 분할 상태를 표현할 수 있는 정보가 아니면 안 된다. 예를 들면, 타일의 가장 좌측 상부의 화소 또는 LCU의 좌표, 타일의 폭 및 높이의 정보에 의해 표현하는 것을 예로서 들고 있다.

또한 타일 분할 상태는, 시퀀스 전체에서 동일한 분할 상태를 유지해도 좋고, 프레임 단위로 변경해도 좋고, 또는 인트라 픽쳐, 인터 픽쳐 등의 픽쳐종마다 전환해도 좋다. 시퀀스 전체에서 동일한 타일 분할 상태를 이용하는 경우에는, 타일 분할 정보는 시퀀스의 헤더로 다중화하면 좋고, 시퀀스의 도중에 전환하는 경우에는, 전환된 직후의 픽쳐의 픽쳐 헤더로 다중화하면 좋다.

또한, 도 1의 동화상 부호화 장치는, 임의의 타일 레벨에서의 병렬 처리를 행하지 않는다고 하는 동작도 가능하다.

이 경우, 타일의 수가 1개이며, 또한, 타일의 사이즈가 입력 화상의 사이즈와 일치하도록 타일 분할 제어 정보를 지정해도 좋고, 또한, 타일 부호화 병렬 플래그나 타일 루프 필터 병렬 플래그에 의해, 모든 병렬 처리를 OFF로 해도 좋다.

또한, 다른 플래그를 타일 분할 제어 정보로 다중화하여, 그 플래그로 병렬 처리의 실시/불실시를 전환하도록 해도 좋다.

이하에서는, 타일 레벨에서의 병렬 처리를 행하는 경우에 있어서 설명하지만, 병렬 처리를 행하지 않는 경우의 동작은 프레임 전체가 1개의 타일인 경우의 동작과 동등하다.

병렬 처리 개시부(3)는, 상술한 바와 같이, 입력 화상을 소정 사이즈의 타일로 분할하고, 분할 후의 타일을 타일 부호화부(5－1∼5－N)에 분배하지만, 동시에 병렬 처리할 수 있는 타일 수는, 타일 부호화부(5－1∼5－N)의 개수가 상한으로 되기 때문에, 타일 수가 타일 부호화부(5－1∼5－N)의 개수보다 많은 경우에는, 1개의 타일 부호화부(5－n)에 대해서, 복수의 타일을 출력한다.

예를 들면, 타일 수가 7이고, 타일 부호화부의 개수가 3인 경우, 타일(1∼3)의 처리를 타일 부호화부(5－1), 타일(4∼5)의 처리를 타일 부호화부(5－2), 타일(6∼7)의 처리를 타일 부호화부(5－3)에 할당하도록 한다.

또한, 타일의 분할수가 타일 부호화부의 개수에 못 미친 경우에도, 1개의 타일 부호화부에 대해서, 복수의 타일을 할당하도록 제어해도 좋다.

부호화 제어부(1)로부터 출력되는 필터 파라미터 공유 플래그가 OFF인 경우(스텝 ST2), 타일 부호화부(5－n) 및 타일 루프 필터부(7－n)의 처리가 계속해서 행해지게 된다(스텝 ST3, ST4).

이 때, 타일 부호화부(5－n) 및 타일 루프 필터부(7－n)의 처리는, 타일의 수만큼 반복하여 실행되고(스텝 ST5, ST6), 또한, 각 루프의 처리는 독립하고 있기 때문에, 타일 부호화부(5－n)의 개수만큼 병렬적으로 실행하는 것이 가능하다.

필터 파라미터 공유 플래그가 OFF인 경우, 타일의 부호화 처리와 타일의 루프 필터 처리를 통합하여 병렬화하는 것이 가능하기 때문에, 보다 부호화 처리의 병렬성을 향상시키는 것이 가능해진다. 또한, 필터 파라미터가 국소화되기 때문에, 화면 영역마다, 화상의 성질이 크게 상이한 경우에 화질 향상으로 이어진다.

또한, 타일 부호화부(5－n) 및 타일 루프 필터부(7－n)의 처리 내용의 상세한 것에 대해서는 후술한다.

한편, 부호화 제어부(1)로부터 출력되는 필터 파라미터 공유 플래그가 ON인 경우(스텝 ST2), 타일 부호화부(5－n)는, 모든 타일의 부호화 처리가 종료할 때까지 타일의 부호화 처리를 반복하여 실행하고(스텝 ST8∼ST10), 모든 타일의 부호화 처리가 종료하면, 루프 필터 제어부(6)가, 타일 부호화부(5－n)에 의해 생성된 타일 국소 복호 화상으로부터, 화면 전체인 프레임 단위의 국소 복호 화상을 얻고, 프레임 단위의 국소 복호 화상에 적합한 프레임 단위의 필터를 결정하고, 그 필터를 나타내는 필터 파라미터를 타일 루프 필터부(7－n) 및 병렬 처리 종료부(8)에 출력한다(스텝 ST11). 루프 필터 제어부(6)의 처리 내용의 상세한 것에 대해서는 후술한다.

타일 루프 필터부(7－n)는, 루프 필터 제어부(6)로부터 필터 파라미터를 수신하면, 모든 타일 국소 복호 화상의 필터링 처리가 종료할 때까지, 타일 국소 복호 화상의 필터링 처리를 반복하여 실행한다(스텝 ST12∼ST14).

필터 파라미터 공유 플래그가 ON인 경우, 필터 파라미터가 모든 타일에서 공유되기 때문에, 필터 파라미터 공유 플래그가 OFF의 경우와 비교하여, 필터 파라미터의 부호량을 억제하는 것이 가능하게 된다. 또한 프레임 전체의 국소 복호 화상을 이용하여 필터 파라미터를 설계했을 경우 쪽이 화질이 향상하는 경우 등에 유효하게 된다.

단, 필터 파라미터 공유 플래그가 ON인 경우, 타일 부호화부(5－n)와 타일 루프 필터부(7－n)의 사이에 병렬 처리를 일단 동기시킬 필요가 있기 때문에, 부호화 처리의 병렬 성능은 저하한다.

후술하는 동화상 복호 장치에 있어서는, 필터 파라미터 공유 플래그가 ON 시에 작성된 비트 스트림을 복호하는 경우에도 병렬 성능이 저하하지 않는다.

병렬 처리 종료부(8)는, 타일 루프 필터부(7－1∼7－N)의 필터링 처리가 완료하면, 부호화 제어부(1)로부터 출력된 타일 분할 제어 정보에 따라, 타일 루프 필터부(7－1∼7－N)에 의한 필터링 처리 후의 타일 국소 복호 화상을 조합하여 프레임 단위의 국소 복호 화상을 생성하고, 그 국소 복호 화상을 움직임 보상 예측 프레임 메모리(4)에 저장함과 아울러, 타일 루프 필터부(7－1∼7－N)로부터 출력된 비트 계열 데이터를 가변 길이 부호 다중화부(9)에 출력한다.

또한, 병렬 처리 종료부(8)는, 부호화 제어부(1)로부터 출력된 필터 파라미터 공유 플래그가 ON인 경우, 루프 필터 제어부(6)로부터 출력된 프레임 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터를 가변 길이 부호 다중화부(9)에 출력한다.

가변 길이 부호 다중화부(9)는, 부호화 제어부(1)로부터 출력된 필터 파라미터 공유 플래그가 OFF인 경우, 병렬 처리 종료부(8)로부터 출력된 비트 계열 데이터(타일 부호화부(5－1∼5－N)에 의해 생성된 비트 계열 데이터)와, 부호화 제어부(1)로부터 출력된 타일 분할 제어 정보 및 필터 파라미터 공유 플래그를 소정의 방식으로 다중화하여 비트 스트림을 생성한다(스텝 ST7).

한편, 필터 파라미터 공유 플래그가 ON인 경우, 병렬 처리 종료부(8)로부터 출력된 비트 계열 데이터(타일 부호화부(5－1∼5－N)에 의해 생성된 비트 계열 데이터)와, 부호화 제어부(1)로부터 출력된 타일 분할 제어 정보 및 필터 파라미터 공유 플래그와, 루프 필터 제어부(6)로부터 출력된 프레임 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터를 소정의 방식으로 다중화하여 비트 스트림을 생성한다(스텝 ST15).

다음에, 타일 부호화 장치(5)에 있어서의 타일 부호화부(5－1∼5－N)의 처리 내용을 상세하게 설명한다.

타일 부호화 장치(5)는, N개의 타일 부호화부(5－1∼5－N)를 실장하고 있고, N개의 타일 부호화부(5－1∼5－N)가 독립하여 예측 차분 부호화 처리(타일 간의 어떠한 정보 참조도 행하지 않는 예측 차분 부호화 처리)를 실시한다.

타일 부호화부(5－n)의 타일 부호화 제어부(21)는, 최대 부호화 블록(LCU)의 사이즈 및 분할 계층 수의 상한을 결정하고, 각 LCU의 화상 영역에 대해서 특정의 순서로 도 4의 스텝 ST21∼ST31의 처리를 실시한다.

우선, 타일 부호화 제어부(21)는, 상기에서 정한 분할 계층 수의 상한에 이를 때까지, 계층적으로 부호화 블록 사이즈를 갖는 부호화 대상 블록으로 분할하는 지시를 블록 분할부(22)에 출력함과 아울러, 각 부호화 대상 블록에 대한 부호화 모드를 결정한다(도 4의 스텝 ST21).

블록 분할부(22)는, 타일 부호화 제어부(21)의 지시 하에, 병렬 처리 개시부(3)에 의해 분배된 타일을 부호화 블록 사이즈의 블록(예측 처리 단위의 블록)으로 분할하고, 예측 처리 단위의 블록인 부호화 대상 블록을 출력한다.

여기서, 도 12는 최대 부호화 블록이 계층적으로 복수의 부호화 대상 블록으로 분할되는 예를 나타내는 설명도이다.

도 12에 있어서, 최대 부호화 블록은, 「제 0 계층」이라고 기재되아 있는 휘도 성분이 (L⁰, M⁰)의 사이즈를 갖는 부호화 대상 블록이다.

LCU 사이즈의 블록을 출발점으로 하여, 쿼드트리 구조로 별도 정하는 소정의 깊이까지, 계층적으로 분할을 행하는 것에 의해 부호화 대상 블록을 얻도록 하고 있다.

깊이 n에 있어서는, 부호화 대상 블록은 사이즈(Lⁿ, Mⁿ)의 화상 영역이다.

단, Lⁿ과 M^N은, 동일해도 좋고, 상이해도 좋지만, 도 12에서는, Lⁿ = Mⁿ의 케이스를 나타내고 있다.

이후, 타일 부호화 제어부(21)에 의해 결정되는 부호화 블록 사이즈는, 부호화 대상 블록의 휘도 성분에 있어서의 사이즈(Lⁿ, Mⁿ)라고 정의한다.

쿼드트리 분할을 행하기 때문에, 항상, (L^{n ＋1}, M^{n ＋1}) = (Lⁿ/2, Mⁿ/2)가 성립한다.

또한, RGB 신호 등, 모든 색 성분이 동일 샘플 수를 갖는 컬러 영상 신호(4 : 4 : 4 포맷)에서는, 모든 색 성분의 사이즈가 (Lⁿ, Mⁿ)로 되지만, 4 : 2 : 0 포맷을 취급하는 경우, 대응하는 색차 성분의 부호화 블록 사이즈는 (Lⁿ/2, Mⁿ/2)로 된다.

이후, 제 n 계층의 부호화 대상 블록을 Bⁿ으로 나타내고, 부호화 대상 블록 Bⁿ으로 선택 가능한 부호화 모드를 m(Bⁿ)으로 나타내는 것으로 한다.

복수의 색 성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bⁿ)는, 색 성분마다, 각각 개별의 모드를 이용하도록 구성되어도 좋고, 모든 색 성분에 대해 공통의 모드를 이용하도록 구성되어도 좋다. 이후, 특별히 지정하지 않는 한, YUV 신호, 4 : 2 : 0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 나타내는 것으로 하여 설명을 행한다.

부호화 모드 m(Bⁿ)에는, 1개 내지 복수의 인트라 부호화 모드(총칭하여 「INTRA」라고 칭함)와, 1개 내지 복수의 인터 부호화 모드(총칭하여, 「INTER」라고 칭함)가 있고, 타일 부호화 제어부(21)는, 상기 픽쳐에서 이용 가능한 모든 부호화 모드, 또는, 그 서브세트 중에서, 부호화 대상 블록 Bⁿ에 대한 부호화 효율이 가장 높은 부호화 모드를 선택한다.

또한, 부호화 대상 블록 Bⁿ은, 도 13에 나타낸 바와 같이, 블록 분할부(22)에 의해, 1개 내지 복수의 예측 처리 단위(구획)로 분할된다.

이후, 부호화 대상 블록 Bⁿ에 속하는 구획을 P_i ⁿ(i는, 제 n 계층에 있어서의 구획 번호)라고 표기한다.

부호화 대상 블록 Bⁿ의 구획 분할이, 어떻게 되어 있는지는, 부호화 모드 m(Bⁿ) 중에 정보로서 포함된다.

파티션 P_i ⁿ은, 모두 부호화 모드 m(Bⁿ)에 따라 예측 처리가 행해지지만, 부호화 대상 블록 Bⁿ 내지 파티션 P_i ⁿ마다, 예측 파라미터가 선택된다.

타일 부호화 제어부(21)는, 최대 부호화 블록에 대해서, 예를 들면, 도 13에 나타내는 바와 같은 블록 분할 상태를 생성하여, 부호화 대상 블록을 특정한다.

도 13(a)의 사선 부분은, 분할 후의 구획의 분포를 나타내고 있고, 도 13(b)는 계층 분할에 의해 부호화 모드 m(Bⁿ)이 할당되는 상황을 쿼드트리 그래프로 나타내고 있다.

도 13(b)의 □으로 둘러싸여 있는 노드는, 부호화 모드 m(Bⁿ)이 할당된 노드(부호화 대상 블록)이다.

전환 스위치(23)는, 타일 부호화 제어부(21)에 의해 결정된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드인 경우(m(Bⁿ)∈INTRA의 경우), 블록 분할부(22)로부터 출력된 부호화 대상 블록 Bⁿ을 인트라 예측부(24)에 출력한다.

한편, 타일 부호화 제어부(21)에 의해 결정된 부호화 모드 m(Bⁿ)이 인터 부호화 모드인 경우(m(Bⁿ)∈INTER의 경우), 블록 분할부(22)로부터 출력된 부호화 대상 블록 Bⁿ을 움직임 보상 예측부(25)에 출력한다.

인트라 예측부(24)는, 타일 부호화 제어부(21)에 의해 결정된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드이며(m(Bⁿ)∈INTRA의 경우), 전환 스위치(23)로부터 부호화 대상 블록 Bⁿ을 수신하면(스텝 ST22), 타일 국소 복호 화상 메모리(30)에 저장되어 있는 국소 복호 화상을 참조하면서, 타일 부호화 제어부(21)에 의해 결정된 인트라 예측 파라미터를 이용하여, 그 부호화 대상 블록 Bⁿ내의 각 파티션 P_i ⁿ에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성한다(스텝 ST23).

또한, 타일 국소 복호 화상 메모리(30)에 저장되어 있는 국소 복호 화상은, 현재의 타일에 속하는 블록의 국소 복호 화상뿐이기 때문에, 타일 단부에 있어서의 인트라 예측 처리는, 인접 화소의 참조가 불필요한 화면단에서의 인트라 예측과 마찬가지의 처리를 행한다.

또한, 도 6의 동화상 복호 장치가 인트라 예측 화상 P_INTRAi ⁿ과 완전히 동일한 인트라 예측 화상을 생성할 필요가 있기 때문에, 인트라 예측 화상 P_INTRAi ⁿ의 생성에 이용된 인트라 예측 파라미터는, 타일 부호화 제어부(21)로부터 가변 길이 부호화부(31)에 출력되어, 비트 스트림으로 다중화된다.

움직임 보상 예측부(25)는, 타일 부호화 제어부(21)에 의해 결정된 부호화 모드 m(Bⁿ)이 인터 부호화 모드이며(m(Bⁿ)∈INTER의 경우), 전환 스위치(23)로부터 부호화 대상 블록 Bⁿ을 수신하면(스텝 ST22), 그 부호화 대상 블록 Bⁿ내의 각 파티션 P_i ⁿ과 움직임 보상 예측 프레임 메모리(4)에 저장되어 있는 필터링 처리 후의 국소 복호 화상을 비교하여 움직임 벡터를 탐색하고, 그 움직임 벡터와 타일 부호화 제어부(21)에 의해 결정된 인터 예측 파라미터를 이용하여, 그 부호화 대상 블록 Bⁿ내의 각 파티션 P_i ⁿ에 대한 인터 예측 처리를 실시하여, 인터 예측 화상 P_INTERi ⁿ을 생성한다(스텝 ST24).

또한, 도 6의 동화상 복호 장치가 인터 예측 화상 P_INTERi ⁿ과 완전히 동일한 인터 예측 화상을 생성할 필요가 있기 때문에, 인터 예측 화상 P_INTERi ⁿ의 생성에 이용된 인터 예측 파라미터는, 타일 부호화 제어부(21)로부터 가변 길이 부호화부(31)에 출력되어, 비트 스트림으로 다중화되고, 그 움직임 벡터는, 움직임 보상 예측부(25)로부터 가변 길이 부호화부(31)에 출력되어, 비트 스트림으로 다중화된다.

감산부(26)는, 블록 분할부(22)로부터 부호화 대상 블록 Bⁿ을 수신하면, 그 부호화 대상 블록 Bⁿ내의 파티션 P_i ⁿ로부터, 인트라 예측부(24)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상 예측부(25)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ을 감산하고, 그 감산 결과인 예측 차분 신호 e_i ⁿ을 변환·양자화부(27)에 출력한다(스텝 ST25).

변환·양자화부(27)는, 감산부(26)로부터 예측 차분 신호 e_i ⁿ을 수신하면, 타일 부호화 제어부(21)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 그 예측 차분 신호 e_i ⁿ에 대한 직교 변환 처리(예를 들면, DCT(이산 코사인 변환)나, 미리 특정의 학습 계열에 대해서 기저 설계가 이루어지고 있는 KL 변환 등의 직교 변환 처리)를 실시하여, 그 변환 계수를 산출한다.

또한, 변환·양자화부(27)는, 그 예측 차분 부호화 파라미터를 참조하여, 그 변환 계수를 양자화하고, 양자화 후의 변환 계수인 압축 데이터를 역양자화·역변환부(28) 및 가변 길이 부호화부(31)에 출력한다(스텝 ST26).

역양자화·역변환부(28)는, 변환·양자화부(27)로부터 압축 데이터를 수신하면, 타일 부호화 제어부(21)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 그 압축 데이터를 역양자화한다.

또한, 역양자화·역변환부(28)는, 그 예측 차분 부호화 파라미터를 참조하여, 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리(예를 들면, 역DCT, 역KL 변환 등)를 실시하여, 감산부(26)로부터 출력된 예측 차분 신호 e_i ⁿ에 상당하는 국소 복호 예측 차분 신호를 산출한다(스텝 ST29).

가산부(29)는, 역양자화·역변환부(28)로부터 국소 복호 예측 차분 신호를 수신하면, 그 국소 복호 예측 차분 신호와 인트라 예측부(24)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상 예측부(25)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ을 가산하여, 국소 복호 구획 화상, 혹은, 그 국소 복호 구획 화상의 집합체로서, 블록 분할부(22)로부터 출력된 부호화 대상 블록 Bⁿ에 상당하는 국소 복호 화상을 산출한다(스텝 ST30).

또한, 가산부(29)는, 그 국소 복호 화상을 타일 국소 복호 화상 메모리(30)에 저장한다. 이 국소 복호 화상이, 현재의 타일에 있어서의 이후의 인트라 예측용의 화상 신호로 된다.

가변 길이 부호화부(31)는, 모든 부호화 대상 블록 Bⁿ에 대한 스텝 ST22∼ST30의 처리가 완료하면(스텝 ST27, ST28), 변환·양자화부(27)로부터 출력된 압축 데이터와, 타일 부호화 제어부(21)로부터 출력된 부호화 모드 m(Bⁿ)와, 타일 부호화 제어부(21)로부터 출력된 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우) 또는 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우)와, 움직임 보상 예측부(25)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)를 가변 길이 부호화하여, 그들의 부호화 결과를 나타내는 비트 계열 데이터를 생성한다(스텝 ST31).

또한, 가변 길이 부호화의 수법으로서, 예를 들면, 컨텍스트 적응형 산술 부호화 등을 이용했을 경우, 가변 길이 부호화부(31)의 내부 상태를 부호화의 진행에 맞추어 갱신하여 가지만, 이 내부 상태의 초기치는, 소정의 고정치 혹은 도 1의 병렬 처리 개시부(3)로부터 출력되는 값을 사용하는 것으로 하여, 타일 사이에서의 상태의 핸드오버는 행해지지 않도록 한다.

또한, 타일 부호화부(5－n)의 동작에 있어서는, 상기의 인트라 예측이나 가변 길이 부호를 포함하는 어떤 처리에 있어서도, 현재의 타일과 상이한 타일에 속하는 블록의 부호화 파라미터, 국소 복호 화상의 참조를 행하지 않는다. 타일 단부에서의 참조 처리는, 어떠한 참조도 불필요한 처리로 치환된다.

어떠한 처리로 치환되는 지는, 동화상 부호화 장치와 동화상 복호 장치에서 일치시킬 필요가 있지만, 부호화측과 복호측에서 고정적으로 동일한 처리를 행해도 좋고, 처리 내용을 나타내는 신호를 시그널링해도 좋다.

이상으로부터 타일 부호화부(5－1∼5－N)의 처리는 각 타일에서 독립하고 있고, 병렬 실행 가능하다.

또한, 타일 부호화부(5－1∼5－N)의 하나의 모듈에 대해서, 병렬 처리 개시부(3)로부터 복수의 타일이 출력되었을 경우, 상기 모듈은, 각각의 타일에 대해서 순차적으로 부호화 처리를 실시한다. 또한, 동일한 모듈로 부호화된 타일끼리에서도, 타일 간의 독립성은 유지하여, 출력되는 비트 계열이, 병렬적으로 처리했을 경우와 동일해지도록 동작한다.

또한, 타일 부호화부(5－n)에서는, 현재의 타일을 슬라이스라 불리는 1개 이상의 구조체로 분할하여 처리를 행해도 좋다. 슬라이스는, 타일을 더 분할하는 구조체이며, 연속하여 처리되는 1개 이상의 LCU, 또는 LCU보다 작은 부호화 블록이 포함된다. 동일한 슬라이스의 내부에서는, 슬라이스마다 독립하여 정해진 파라미터나 모드를 이용할 수 있다. 또한 타일과 마찬가지로, 현재의 슬라이스와 상이한 슬라이스에 속하는 블록의 정보의 참조를 금지하거나, 슬라이스의 선두의 블록에서 엔트로피 부호화의 내부 상태를 초기화하는 등의 처리를 행할 수 있다. 슬라이스는, 타일과 마찬가지로 병렬 처리를 용이하게 하는 효과가 있다. 또한 1 슬라이스의 처리에 의해 출력되는 비트 계열을 패킷화하는 등, 데이터를 패킷타이즈(packetize)에 이용할 수 있다. 또한 에러 내성의 면에서도 이점이 있다.

타일내를 슬라이스로 분할하는 경우, 슬라이스의 분할 정보, 각 슬라이스 독립의 파라미터나 모드 정보 및 슬라이스 사이에 걸쳐진 정보 참조를 행하는지 여부를 나타내는 플래그 등의 정보는 비트 스트림으로 다중화되어 복호측에 전송된다.

가변 길이 부호화의 수법으로서 상기 컨텍스트 적응형 산술 부호화를 이용하는 경우, 컨텍스트 적응 산술 부호화 처리의 연산이 복잡하기 때문에 처리 속도의 병목(bottleneck)이 되는 경우가 있다. 타일 부호화 처리의 병렬 처리성을 향상시키기 위해서는, 모든 타일의 부호화가 동시에 종료하는 것이 바람직하기 때문에, 슬라이스 단위로 컨텍스트 적응 산술 부호화의 처리의 일부를 제한하도록 구성한다.

구체적으로는, 슬라이스 헤더에 가변 길이 부호화 처리 제어 정보를 다중화하여, 상기 가변 길이 부호화 처리 제어 정보가 컨텍스트 전환을 행하지 않도록 제한하는 것을 나타내는 경우에는, 상기 슬라이스에 있어서는 컨텍스트 전환을 행하지 않고 적응 산술 부호화를 행한다. 마찬가지로 상기 가변 길이 부호화 처리 제어 정보가 컨텍스트 전환 및 적응 처리를 행하지 않도록 제한하는 것을 나타내는 경우에는, 상기 슬라이스에 있어서는 컨텍스트 전환 및 적응 처리를 행하지 않고 산술 부호화를 행한다. 이와 같이 구성함으로써, 컨텍스트 전환이나 적응 처리를 적절히 생략하여 가변 길이 부호화 처리를 행할 수 있기 때문에, 부호화에 필요로 하는 시간이 다른 타일에 비해 길게 되어 있다고 판단된 타일에 대해서는, 다음에 처리하는 슬라이스에 있어서 상기와 같이 부호화 처리에 제한을 가함으로써 고속으로 타일의 부호화 처리를 행할 수 있어, 다른 타일과의 부호화 처리 시간의 차이를 단축할 수 있기 때문에, 타일의 병렬 처리성을 향상시킬 수 있다.

여기에서는 컨텍스트 적응 산술 부호화를 예로 설명했지만, 다른 어떠한 가변 길이 부호화 수법이어도, 그 일부의 처리를 없애도 또한 가변 길이 부호화가 가능하면 마찬가지의 수단에 의해 마찬가지의 효과가 얻어진다.

다음에, 타일 루프 필터 장치(7)에 있어서의 타일 루프 필터부(7－1∼7－N)의 처리 내용을 상세하게 설명한다.

타일 루프 필터부(7－n)에서는, 국소 복호 화상에 포함되어 있는 부호화 왜곡을 보정하는 필터의 설계나 필터링 처리를 행한다.

여기서, 루프 필터 처리는, 상이한 1종 이상의 루프 필터(블록 경계의 불연속을 완화하는 디블로킹(deblocking) 필터, 양자화 오차에 의한 직류 성분의 변동, 에지의 불연속을 보정하는 SAO(Sample Adaptive Offset), 입력 화상과의 오차를 최소로 하는 필터를 필요에 따라 설계하는 적응형 루프 필터 등)를, 입력된 국소 복호 화상에 대해서 직렬적으로 실시하는 필터링 처리이다. 이 때, 어느 하나의 필터링 처리에 있어서도, 타일에 걸친 화소나, 그 외의 정보의 참조를 행하지 않는 필터링 처리를 실시한다.

도 1의 부호화 제어부(1)로부터 출력된 필터 파라미터 공유 플래그가 ON인 경우, 루프 필터 제어부(6)로부터 출력되는 필터 파라미터가 나타내는 프레임 단위의 필터를 사용한다.

한편, 필터 파라미터 공유 플래그가 OFF인 경우, 타일 루프 필터 제어부(41)가, 타일 부호화부(5－n)로부터 출력되는 타일 국소 복호 화상에 적합한 타일 단위의 필터를 결정하고, 그 필터를 사용한다.

이하, 타일 부호화부(5－n)가 이용하는 필터가 적응형 루프 필터(ALF： Adaptive Loop Filter)인 예를 설명한다.

ALF는, 화면을 일정수의 필터 정의 영역으로 분할하고, 또한, 필터 정의 영역마다 국소 복호 화상과 입력 화상의 오차가 최소로 되도록 하는 필터를 정의하는 수법이다.

ALF에 있어서의 필터 파라미터는, 분할 영역의 형상, 각 영역에 정의된 필터의 형상 및 필터 계수를 나타내는 정보로 된다.

여기에서는, 설명의 편의상, 필터 정의 영역 수를 16으로 하여, 처리 단위의 직사각형(프레임 또는 타일)을 4×4의 직사각형 영역으로 분할하는 영역 분할 수법을 이용했을 경우를 생각한다.

도 1의 루프 필터 제어부(6)는, 부호화 제어부(1)로부터 출력된 필터 파라미터 공유 플래그가 ON인 경우, 프레임 1매 분의 국소 복호 화상을 4×4의 16개의 필터 정의 영역으로 분할하고(도 14(a)를 참조), 각각의 필터 정의 영역마다 필터 형상 및 필터 계수를 결정한다.

또한, 각 필터 정의 영역의 각 타일내에서의 상대 위치 정보를 구하고, 그 상대 위치 정보 및 필터 형상/필터 계수 정보를 필터 파라미터로서 각 타일에 출력한다.

타일 루프 필터부(7－n)의 루프 필터 실시부(42)는, 루프 필터 제어부(6)로부터 필터 정의 영역의 상대 위치 및 필터 형상/필터 계수 정보를 수신하면, 그 상대 위치 및 필터 형상/필터 계수 정보에 근거하여 필터링 처리를 실시한다.

도 14의 예에서는, 필터 파라미터 공유 플래그가 OFF인 경우, 각 타일에 대해서 16 종류의 필터의 설계가 가능하기 때문에, 프레임 전체적으로는 144 종류의 필터가 설계되게 된다.

따라서, 예를 들면, 화상의 특성이 국소적으로 크게 변화하고 있는 것과 같은 화상에 대해서는 화질에의 개선 효과가 커지는 이점을 생각할 수 있다.

한편, 개개의 타일 대해서, 16 종류의 필터를 설계하는 것이, 화질 개선상 오버스팩(over specification)이며, 오히려 필터 파라미터의 부호량의 증가가 문제로 되는 것도 생각할 수 있다.

이러한 경우에는, 필터 파라미터 공유 플래그를 ON로 함으로써, 필터 파라미터의 부호량을 삭감하여, 효율적으로 루프 필터 처리를 행하는 것이 가능해진다.

타일 루프 필터 제어부(41)는, 필터 파라미터 공유 플래그가 OFF인 경우, 타일마다 독립하여 필터 정의 영역의 분할을 행하여, 각 필터 정의 영역에 대해서 필터 형상/필터 계수를 결정하고(도 14(b)를 참조), 필터 정의 영역 정보 및 필터 형상/필터 계수 정보를 필터 파라미터로 하여 루프 필터 실시부(42)에 출력한다.

루프 필터 실시부(42)는, 타일 루프 필터 제어부(41)로부터 필터 정의 영역 정보 및 필터 형상/필터 계수 정보를 수신하면, 그 필터 정의 영역 정보 및 필터 형상/필터 계수 정보에 근거하여 필터링 처리를 실시한다.

가변 길이 부호화부(43)는, 필터 파라미터 공유 플래그가 OFF인 경우, 타일 루프 필터 제어부(41)로부터 출력된 필터 정의 영역 정보 및 필터 형상/필터 계수 정보를 가변 길이 부호화하고, 그 부호화 결과를 타일 부호화부(5－n)로부터 출력된 비트 계열 데이터로 다중화하여 병렬 처리 종료부(8)에 출력한다.

한편, 필터 파라미터 공유 플래그가 ON인 경우, 타일 부호화부(5－n)로부터 출력된 비트 계열 데이터를 그대로 병렬 처리 종료부(8)에 출력한다.

이상으로부터, 필터 파라미터 공유 플래그가 ON인 경우에는, 필터 파라미터가 프레임에 최대 1 세트 정의되지만, 필터 파라미터 공유 플래그가 OFF인 경우에는, 타일마다 최대 1 세트 정의된다.

필터 파라미터 공유 플래그가 ON인 경우, 필터 파라미터는, 비트 스트림상에서는, 예를 들면, 도 15(a)에 나타낸 바와 같이, 픽쳐의 헤더로서 다중화된다.

필터 파라미터 공유 플래그가 OFF인 경우, 타일마다 정의되는 필터 파라미터 세트는, 비트 스트림상에서는, 예를 들면, 도 15(b)에 나타낸 바와 같이, 타일의 헤더로서 각 타일 데이터의 선두 위치로 다중화된다.

루프 필터 실시부(42)는, 상술한 바와 같이, 루프 필터 제어부(6) 또는 타일 루프 필터 제어부(41)로부터 출력되는 필터 파라미터가 나타내는 필터를 이용하여, 타일 국소 복호 화상에 대한 필터링 처리를 실시한다.

이 때, 타일 경계에 있어서는, 현재의 타일과 상이한 타일의 화소를 참조하지 않는 필터링을 실시한다.

예를 들면, 도 16(a)에 나타내는 필터 형상의 선형 필터를 이용하는 경우, 필터 경계에서는, 도 16(b)에 나타낸 바와 같이, 필터 경계의 외부를 참조하지 않도록 필터 형상을 변경한다.

혹은, 도 16(c)에 나타낸 바와 같이, 필터 경계 부근의 화소를 카피(copy)하는 처리에 의해, 현재의 타일과 상이한 타일의 화소를 참조하지 않는 필터링 처리를 실시한다.

상이한 타일 간의 화소 참조가 불필요한 필터링 수법은, 동화상 부호화 장치와 동화상 복호 장치에서 일치시킬 필요가 있지만, 부호화측과 복호측에서 고정적으로 동일한 수법을 실시하여도 좋고, 처리 내용을 나타내는 신호를 시그널링해도 좋다.

필터 파라미터 공유 플래그가 ON이며, 현재의 타일과 인접하는 타일에서 동일한 필터 파라미터를 이용하는 경우에도, 타일에 걸친 화소 참조는 행하지 않는다.

타일에 걸친 화소 참조를 행하지 않음으로써, 타일 부호화부(7－n)의 루프 필터 처리의 병렬화가 가능하게 되는 것과 아울러, 이 타일 부호화부(7－n)에서 작성된 비트 스트림의 복호에 있어서, 루프 필터 처리의 병렬화가 가능하게 된다.

다음에, 도 6의 동화상 복호 장치의 처리 내용을 구체적으로 설명한다.

가변 길이 부호 분리부(51)는, 도 1의 동화상 부호화 장치에 의해 생성된 비트 스트림을 입력하면, 그 비트 스트림으로 다중화되어 있는 필터 파라미터 공유 플래그를 분리하고, 그 필터 파라미터 공유 플래그를 필터 파라미터 복호부(55) 및 타일 루프 필터부(56－n)에 출력한다.

또한, 가변 길이 부호 분리부(51)는, 비트 스트림으로 다중화되어 있는 타일 분할 제어 정보를 분리하여, 그 타일 분할 제어 정보를 타일 분할 제어부(57)에 출력하고, 그 필터 파라미터 공유 플래그가 ON이면, 비트 스트림으로 다중화되어 있는 프레임 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터를 분리하여, 그 필터 파라미터의 부호화 데이터를 필터 파라미터 복호부(55)에 출력한다.

또한, 가변 길이 부호 분리부(51)는, 타일의 개수만큼 비트 스트림으로 다중화되어 있는 비트 계열 데이터를 분리하여, 그 비트 계열 데이터를 병렬 처리 개시부(52)에 출력한다(도 7의 스텝 ST41).

타일 분할 제어부(57)는, 가변 길이 부호 분리부(51)로부터 타일 분할 제어 정보를 수신하면, 그 타일 분할 제어 정보로부터 타일의 분할 상태를 파악하여(스텝 ST42), 원래의 입력 화상에 상당하는 복호 화상을 얻을 수 있도록, 후술하는 병렬 처리 종료부(58)에 있어서의 각 타일 복호 화상의 배치를 제어한다.

병렬 처리 개시부(52)는, 가변 길이 부호 분리부(51)로부터 타일의 개수만큼의 비트 계열 데이터(프레임 단위의 비트 계열 데이터)를 수신하면, 타일 단위의 비트 계열 데이터로 분할하고, 타일 단위의 비트 계열 데이터를 타일 복호부(54－1∼54－N)에 분배한다.

필터 파라미터 복호부(55)는, 가변 길이 부호 분리부(51)로부터 출력된 필터 파라미터 공유 플래그가 ON인 경우(스텝 ST43), 가변 길이 부호 분리부(51)로부터 출력된 부호화 데이터로부터 프레임 단위의 필터를 나타내는 필터 파라미터를 복호하여, 그 필터 파라미터를 타일 루프 필터부(56－n)에 출력한다(스텝 ST44).

타일 복호부(54－n)의 처리와 타일 루프 필터부(56－n)의 처리는 연속하여 행해지고(스텝 ST45, ST46), 이들 2개의 처리가 모든 타일에 대해서 반복하여 실행된다(스텝 ST47, ST48).

스텝 ST45∼ST48의 루프내의 처리는, 후술하는 바와 같이, 각 타일에서 독립하고 있기 때문에 병렬적으로 실행할 수 있다.

도 1의 동화상 부호화 장치와 달리, 필터 파라미터 공유 플래그의 ON/OFF에 관계없이, 스텝 ST45∼ST48의 처리를 통합하여 병렬화하는 것이 가능하다.

병렬 처리 종료부(58)는, 모든 타일의 복호 처리와 루프 필터 처리가 완료하면(스텝 47), 타일 분할 제어부(57)의 제어 하에서, 타일 루프 필터부(56－1∼56－N)에 의한 필터링 처리 후의 타일 복호 화상을 조합하여 프레임 단위의 복호 화상을 생성하고, 그 복호 화상을 움직임 보상 예측 프레임 메모리(53)에 저장함과 아울러, 그 복호 화상을 재생 화상으로 하여 외부에 출력한다.

다음에, 타일 복호 장치(54)에 있어서의 타일 복호부(54－1∼54－N)의 처리 내용을 상세하게 설명한다.

타일 복호 장치(54)는, N개의 타일 복호부(54－1∼54－N)를 실장하고 있고, N개의 타일 복호부(54－1∼54－N)가 독립하여 예측 차분 복호 처리(타일 간의 어떠한 정보 참조도 행하지 않는 예측 차분 복호 처리)를 실시한다.

타일 복호부(54－n)의 가변 길이 복호부(61)는, 병렬 처리 개시부(52)에 의해 분배된 타일 단위의 비트 계열 데이터를 입력하면, 도 3의 타일 부호화 제어부(21)와 마찬가지의 방법으로, 최대 부호화 블록(LCU)의 사이즈와 분할 계층 수의 상한을 결정한다.

가변 길이 복호부(61)는, 최대 부호화 블록의 사이즈와 분할 계층 수의 상한을 결정하면, 타일 단위의 비트 계열 데이터로부터 최대 부호화 블록에 할당되어 있는 부호화 모드 m(Bⁿ)를 복호하고, 그 부호화 모드 m(Bⁿ)에 포함되어 있는 최대 부호화 블록의 분할 상태를 나타내는 정보를 복호한다(도 9의 스텝 ST51).

가변 길이 복호부(61)는, 최대 부호화 블록의 분할 상태를 나타내는 정보를 복호하면, 그 분할 상태에 근거하여, 계층적으로 분할되어 있는 복호 대상 블록(도 1의 동화상 부호화 장치의 「부호화 대상 블록」에 상당하는 블록)을 특정한다(스텝 ST52).

가변 길이 복호부(61)는, 복호 대상 블록(부호화 대상 블록)에 할당되어 있는 부호화 모드 m(Bⁿ)이 인트라 부호화 모드인 경우, 타일 단위의 비트 계열 데이터로부터, 그 복호 대상 블록에 포함되어 있는 1개 이상의 구획마다 인트라 예측 파라미터를 복호한다.

한편, 복호 대상 블록(부호화 대상 블록)에 할당되어 있는 부호화 모드 m(Bⁿ)이 인터 부호화 모드인 경우, 타일 단위의 비트 계열 데이터로부터, 복호 대상 블록마다, 혹은, 그 복호 대상 블록에 포함되어 있는 1개 이상의 파티션마다 인터 예측 파라미터 및 움직임 벡터를 복호한다(스텝 ST53).

가변 길이 복호부(61)는, 예측 처리 단위로 되는 파티션을, 또한 예측 차분 부호화 파라미터에 포함되는 변환 블록 사이즈의 정보에 근거하여, 변환 처리 단위로 되는 1개 내지 복수의 파티션으로 분할하여, 타일 단위의 비트 계열 데이터로부터, 변환 처리 단위로 되는 파티션마다 압축 데이터(변환·양자화 후의 변환 계수)를 복호한다(스텝 ST53).

가변 길이 복호부(61)는, 필터 파라미터 공유 플래그가 OFF이기 때문에, 타일 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터가 타일 단위의 비트 계열 데이터로 다중화되어 있는 경우, 그 부호화 데이터를 분리하여 타일 루프 필터부(56－n)에 출력한다.

또한, 가변 길이 복호부(61)는, 부호화 파라미터를 타일 루프 필터부(56－n)에 출력한다.

전환 스위치(62)는, 가변 길이 복호부(61)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드이면(m(Bⁿ)∈INTRA의 경우), 가변 길이 복호부(61)에 의해 가변 길이 복호된 인트라 예측 파라미터를 인트라 예측부(63)에 출력한다.

한편, 가변 길이 복호부(61)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인터 부호화 모드이면(m(Bⁿ)∈INTER의 경우), 가변 길이 복호부(61)에 의해 가변 길이 복호된 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(64)에 출력한다.

또한, 입력된 비트 계열 데이터가 컨텍스트 적응형 산술 부호 등, 과거의 블록의 부호화 결과에 의해 내부 상태가 변화하는 부호화 방식을 이용하고 있는 경우, 가변 길이 복호부(61)의 내부 상태의 초기치는, 도 3의 가변 길이 부호화부(31)와 마찬가지의 값을 사용하고, 타일 간의 인계를 행하지 않는다.

인트라 예측부(63)는, 가변 길이 복호부(61)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인트라 부호화 모드이며(m(Bⁿ)∈INTRA의 경우), 전환 스위치(62)로부터 인트라 예측 파라미터를 수신하면(스텝 ST54), 도 3의 인트라 예측부(24)와 마찬가지의 순서로, 타일 복호 화상 메모리(67)에 저장되어 있는 복호 화상을 참조하면서, 전환 스위치(62)로부터 출력된 인트라 예측 파라미터를 이용하여, 복호 대상 블록 Bⁿ내의 각 파티션 P_i ⁿ에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 P_INTRAi ⁿ을 생성한다(스텝 ST55).

움직임 보상부(64)는, 가변 길이 복호부(61)에 의해 가변 길이 복호된 부호화 모드 m(Bⁿ)이 인터 부호화 모드이며(m(Bⁿ)∈INTER의 경우), 전환 스위치(62)로부터 인터 예측 파라미터 및 움직임 벡터를 수신하면(스텝 ST54), 움직임 보상 예측 프레임 메모리(53)에 저장되어 있는 필터링 처리 후의 복호 화상을 참조하면서, 전환 스위치(62)로부터 출력된 움직임 벡터와 인터 예측 파라미터를 이용하여, 복호 대상 블록 Bⁿ 또는 파티션 P_i ⁿ에 대한 인터 예측 처리를 실시하여 인터 예측 화상 P_INTERi ⁿ을 생성한다(스텝 ST56).

단, 움직임 보상부(64)는, 복호 대상 블록 Bⁿ내의 모든 파티션 P_i ⁿ에 대해서, 공통의 인터 예측 모드와 공통의 참조 화상 지시 인덱스가 결정되어 있는 경우, 그 참조 화상 지시 인덱스가 나타내는 모든 파티션 P_i ⁿ에서 공통의 참조 화상과, 파티션 P_i ⁿ마다의 움직임 벡터를 이용하여, 상기 파티션 P_i ⁿ에 대한 인터 예측 처리를 실시하여 인터 예측 화상 P_INTERi ⁿ을 생성한다.

역양자화·역변환부(65)는, 가변 길이 복호부(61)로부터 압축 데이터 및 예측 차분 부호화 파라미터를 수신하면, 도 3의 역양자화·역변환부(28)와 마찬가지의 순서로, 그 예측 차분 부호화 파라미터를 참조하여, 그 압축 데이터를 역양자화함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 역양자화 후의 압축 데이터인 변환 계수에 대한 역직교 변환 처리를 실시하고, 도 3의 감산부(26)로부터 출력된 예측 차분 신호에 상당하는 복호 예측 차분 신호를 산출한다(스텝 ST57).

가산부(66)는, 역양자화·역변환부(65)에 의해 산출된 복호 예측 차분 신호와 인트라 예측부(63)에 의해 생성된 인트라 예측 화상 P_INTRAi ⁿ, 또는, 움직임 보상부(64)에 의해 생성된 인터 예측 화상 P_INTERi ⁿ을 가산하여, 복호 대상 블록내에 포함되는 1개 내지 복수의 복호 파티션 화상의 집합체로서, 복호 화상을 타일 복호 화상 메모리(67)에 저장한다(스텝 ST58).

이 복호 화상이, 이후의 인트라 예측용의 화상 신호로 된다.

타일 복호부(54－n)에 있어서는, 상기의 인트라 예측이나 가변 길이 복호를 포함하는 어떤 처리에 있어서도, 현재의 타일과 상이한 블록의 복호 파라미터 및 복호 화상의 참조를 행하지 않는다. 타일 단부에 있어서의 참조 처리는, 부호화측과 마찬가지의 참조가 불필요한 처리로 치환된다. 따라서, 타일 복호부(54－n)의 처리는 각 타일에서 독립하고 있어, 병렬 실행 가능하다.

또한, 타일 복호부(54－n)에 있어서는, 상술한 바와 같이 부호화측에서 타일내가 슬라이스로 분할되어 있었을 경우, 비트 스트림으로 다중화되어 있는 슬라이스 분할 정보에 근거하여 현재의 타일을 슬라이스로 분할하여, 슬라이스마다 독립하여 정의된 파라미터 및 모드 정보에 따라 복호 처리를 행한다.

또한, 가변 길이 복호 수단으로서 컨텍스트 적응 산술 복호를 이용하는 경우, 슬라이스 헤더로 다중화된 가변 길이 부호화 처리 제어 정보를 복호하고, 상기 가변 길이 부호화 처리 제어 정보가 컨텍스트 전환을 행하지 않도록 제한하는 것을 나타내는 경우에는, 상기 슬라이스에 있어서 컨텍스트 전환을 행하지 않고 적응 산술 복호를 행한다. 마찬가지로 상기 가변 길이 부호화 처리 제어 정보가 컨텍스트 전환 및 적응 처리를 행하지 않도록 제한하는 것을 나타내는 경우에는, 상기 슬라이스에 있어서 컨텍스트 전환 및 적응 처리를 행하지 않고 산술 복호를 행한다. 이와 같이 구성함으로써, 본 발명에 의한 부호화 수단에 의해 생성된 비트 스트림을 바람직하게 복호할 수 있다. 여기에서는 컨텍스트 적응 산술 복호를 예로 설명했지만, 다른 어떠한 가변 길이 복호 수법이어도, 그 일부의 처리를 없애도 또한 가변 길이 복호가 가능하면 마찬가지의 수단에 의해 마찬가지의 효과를 얻을 수 있다.

다음에, 타일 루프 필터 장치(56)에 있어서의 타일 루프 필터부(56－1∼56－N)의 처리 내용을 상세하게 설명한다.

타일 루프 필터부(56－n)의 타일 필터 파라미터 복호부(71)는, 가변 길이 부호 분리부(51)에 의해 분리된 필터 파라미터 공유 플래그가 OFF인 경우, 타일 복호부(54－n)로부터 출력된 필터 파라미터의 부호화 데이터로부터 타일 단위의 필터를 나타내는 필터 파라미터를 복호하고, 그 복호 결과인 필터 파라미터를 루프 필터 실시부(72)에 출력한다.

루프 필터 실시부(72)는, 가변 길이 부호 분리부(51)에 의해 분리된 필터 파라미터 공유 플래그가 OFF이기 때문에, 타일 필터 파라미터 복호부(71)로부터 필터 파라미터를 수신하면, 그 필터 파라미터가 나타내는 타일 단위의 필터와 타일 복호부(54－n)의 가변 길이 복호부(61)에 의해 가변 길이 복호된 부호화 파라미터를 이용하여, 타일 복호부(54－n)로부터 출력된 타일 복호 화상에 대한 필터링 처리를 실시한다.

한편, 가변 길이 부호 분리부(51)에 의해 분리된 필터 파라미터 공유 플래그가 ON이기 때문에, 필터 파라미터 복호부(55)로부터 필터 파라미터를 수신하면, 그 필터 파라미터가 나타내는 프레임 단위의 필터와 타일 복호부(54－n)의 가변 길이 복호부(61)에 의해 가변 길이 복호된 부호화 파라미터를 이용하여, 타일 복호부(54－n)로부터 출력된 타일 복호 화상에 대한 필터링 처리를 실시한다.

루프 필터 실시부(72)는, 도 5의 루프 필터 실시부(42)와 동일한 처리를 행하는 것이다. 즉, 상이한 타일에 걸친 화소 참조를 행하지 않는 필터링 처리를 행하기 때문에, 타일 루프 필터부(56－n)의 처리는 각 타일에서 독립하고 있어, 병렬 실행 가능하다.

이상에서 명백한 바와 같이, 본 실시 형태 1에 의하면, 입력 화상의 분할 상태를 지시하는 분할 제어 정보를 출력하는 부호화 제어부(1)와, 부호화 제어부(1)로부터 출력된 분할 제어 정보에 따라 입력 화상을 소정 사이즈의 직사각형 영역인 타일로 분할하고, 분할 후의 타일을 분배하는 병렬 처리 개시부(3)와, 움직임 보상 예측 프레임 메모리(4)에 기억되어 있는 국소 복호 화상을 참조하여, 병렬 처리 개시부(3)에 의해 분배된 타일에 대한 예측 차분 부호화 처리를 실시함으로써, 그 부호화 결과인 부호화 비트 데이터를 출력함과 아울러, 그 부호화 비트 데이터로부터 국소 복호 화상을 생성하는 N개의 타일 부호화부(5－1∼5－N)를 마련하고, N개의 타일 루프 필터부(7－1∼7－N)가, 타일 부호화부(5－1∼5－N)에 의해 생성된 국소 복호 화상의 필터링 처리에 적합한 타일 단위의 필터를 결정하고, 그 필터를 이용하여, 그 국소 복호 화상에 대한 필터링 처리를 실시하도록 구성했으므로, 루프 필터의 처리를 타일 레벨에서 병렬로 실시할 수 있는 효과를 얻는다.

(실시 형태 2)

본 실시 형태 2에서는, 상기 실시 형태 1에 있어서의 동화상 부호화 장치에 대해서, 타일 레벨에서의 병렬 처리의 실시/불실시의 전환 기능을 추가하고 있는 동화상 부호화 장치에 대해 설명한다.

또한, 상기 동화상 부호화 장치에 의해 작성된 비트 스트림으로부터 동화상을 복호하는 것이 가능한 동화상 복호 장치에 대해 설명한다.

도 17은 본 발명의 실시 형태 2에 따른 동화상 부호화 장치를 나타내는 구성도이다.

도 17에 있어서, 부호화 제어부(81)는 도 1의 부호화 제어부(1)와 마찬가지로, 영상 신호가 나타내는 입력 화상을 소정 사이즈의 타일로 분할할 때의 분할 상태를 지시하는 타일 분할 제어 정보(분할 제어 정보)를 출력하는 처리를 실시한다.

또한, 부호화 제어부(81)는 입력 화상을 분할하여 병렬화하는지 여부를 나타내는 부호화 병렬 플래그(분할 플래그)를 출력함과 아울러, 필터링 처리의 종류별로, 상기 필터링 처리에 이용하는 필터를 각 타일에서 공통시키는지 여부를 나타내는 필터 파라미터 공유 플래그(필터 공유 플래그) ＃1∼M을 출력하는 처리를 실시한다.

또한, 부호화 제어부(81)는 전단의 처리부와 후단의 처리부의 접속 관계를 나타내는 루프 필터 병렬 플래그 ＃1∼M을 출력하는 처리를 실시한다.

또한, 부호화 제어부(81)는 분할 제어 수단을 구성하고 있다.

타일 분할 제어부(82)는 부호화 제어부(81)로부터 출력된 타일 분할 제어 정보가 지시하고 있는 분할 상태와 일치하도록, 병렬 처리 개시부(83)에 있어서의 입력 화상의 분할을 제어하는 처리를 실시한다.

병렬 처리 개시부(83)는 부호화 제어부(81)로부터 출력된 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우, 타일 분할 제어부(82)의 지시 하에, 영상 신호가 나타내는 입력 화상을 소정 사이즈의 타일로 분할하고, 분할 후의 타일을 타일 부호화부(85－1∼85－N)에 분배하는 처리를 실시한다.

한편, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화하지 않는다는 취지를 나타내고 있는 경우, 영상 신호가 나타내는 입력 화상을 분할하지 않고, 프레임 단위의 화상인 입력 화상을 프레임 부호화부(86)에 출력하는 처리를 실시한다.

또한, 타일 분할 제어부(82) 및 병렬 처리 개시부(83)로 타일 분배 수단이 구성되어 있다.

움직임 보상 예측 프레임 메모리(84)는 필터링 처리 후의 국소 복호 화상을 기억하는 기록 매체이다. 또한, 움직임 보상 예측 프레임 메모리(84)는 화상 메모리를 구성하고 있다.

타일 부호화 장치(85)는 N개의 타일 부호화부(85－1∼85－N)를 실장하고 있고, N개의 타일 부호화부(85－1∼85－N)가 독립하여 예측 차분 부호화 처리를 실시한다. N은 1 이상의 정수이다.

타일 부호화부(85－1∼85－N)는 도 1의 타일 부호화부(5－1∼5－N)와 마찬가지로, 움직임 보상 예측 프레임 메모리(84)에 기억되어 있는 필터링 처리 후의 국소 복호 화상을 참조하여, 병렬 처리 개시부(83)에 의해 분배된 타일에 대한 예측 차분 부호화 처리를 실시함으로써, 그 부호화 결과인 비트 계열 데이터 및 부호화 파라미터를 출력함과 아울러, 타일 국소 복호 화상(국소 복호 화상)을 생성하는 처리를 실시한다. 또한, 타일 부호화부(85－1∼85－N)는 타일 부호화 수단을 구성하고 있다.

프레임 부호화부(86)는 움직임 보상 예측 프레임 메모리(84)에 기억되어 있는 필터링 처리 후의 국소 복호 화상을 참조하여, 입력 화상(병렬 처리 개시부(83)에 의해 분할되어 있지 않는 프레임 단위의 화상)에 대한 예측 차분 부호화 처리를 실시함으로써, 그 부호화 결과인 비트 계열 데이터 및 부호화 파라미터를 출력함과 아울러, 프레임 국소 복호 화상(국소 복호 화상)을 생성하는 처리를 실시한다. 또한, 프레임 부호화부(86)는 프레임 부호화 수단을 구성하고 있다.

루프 필터 제어부(87－1∼87－M)는 부호화 제어부(81)로부터 출력된 필터 파라미터 공유 플래그 ＃1∼M이 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 병렬 처리 전환부(90－1∼90－M)로부터 출력된 타일 국소 복호 화상으로부터 프레임 단위의 국소 복호 화상을 얻고, 프레임 단위의 국소 복호 화상에 적합한 프레임 단위의 필터를 결정하고, 그 필터를 나타내는 필터 파라미터를 타일 루프 필터 장치(88－1∼88－M)에 출력하는 처리를 실시한다.

또한, 루프 필터 제어부(87－1∼87－M)는 프레임 단위의 필터를 나타내는 필터 파라미터를 가변 길이 부호화하여, 그 필터 파라미터의 부호화 데이터를 병렬 처리 종료부(91)에 출력하는 처리를 실시한다.

타일 루프 필터 장치(88－1∼87－M)는 서로 상이한 종류의 필터링 처리를 실시하는 필터 장치이며, N개의 타일 루프 필터부(88－m－1∼88－m－N)(m = 1, 2,···, M)를 실장하고 있고, N개의 타일 루프 필터부(88－m－1∼88－m－N)가 독립하여 필터링 처리를 실시한다. M은 1 이상의 정수이다.

타일 루프 필터부(88－m－n)(n = 1, 2,···, N)는 부호화 제어부(81)로부터 출력된 필터 파라미터 공유 플래그 ＃m이 각 타일에서 필터를 공통시키지 않는다는 취지를 나타내고 있는 경우, 병렬 처리 전환부(90－m)로부터 출력된 타일 국소 복호 화상의 필터링 처리에 적합한 타일 단위의 필터를 결정하고, 그 필터를 이용하여, 타일 국소 복호 화상에 대한 필터링 처리를 실시함과 아울러, 타일 단위의 필터를 나타내는 필터 파라미터를 가변 길이 부호화하여, 그 부호화 결과를 병렬 처리 전환부(90－1∼90－M)로부터 출력된 비트 계열 데이터로 다중화하는 처리를 실시한다.

한편, 필터 파라미터 공유 플래그 ＃m이 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 루프 필터 제어부(87－m)로부터 출력된 필터 파라미터가 나타내는 프레임 단위의 필터를 이용하여, 병렬 처리 전환부(90－m)로부터 출력된 타일 국소 복호 화상의 필터링 처리를 실시함과 아울러, 병렬 처리 전환부(90－m)로부터 출력된 비트 계열 데이터를 그대로 출력하는 처리를 실시한다.

또한, 타일 루프 필터부(88－1－1∼88－1－N, 88－2－1∼88－2－N,···, 88－M－1∼88－M－N)는 타일 필터 수단을 구성하고 있다.

프레임 루프 필터부(89－m)는 병렬 처리 전환부(90－m)로부터 타일 국소 복호 화상이 출력되었을 경우, 그 타일 국소 복호 화상으로부터 얻어지는 프레임 국소 복호 화상(프레임 단위의 국소 복호 화상)의 필터링 처리에 적합한 프레임 단위의 필터를 결정하고, 병렬 처리 전환부(90－m)로부터 프레임 국소 복호 화상이 출력되었을 경우, 그 프레임 국소 복호 화상에 적합한 프레임 단위의 필터를 결정하고, 프레임 단위의 필터를 이용하여, 프레임 국소 복호 화상에 대한 필터링 처리를 실시함과 아울러, 프레임 단위의 필터를 나타내는 필터 파라미터를 가변 길이 부호화하여, 그 부호화 결과를 병렬 처리 전환부(90－1∼90－M)로부터 출력된 비트 계열 데이터로 다중화하는 처리를 실시한다. 또한, 프레임 루프 필터부(89－1∼89－M)는 프레임 필터 수단을 구성하고 있다.

병렬 처리 전환부(90－m)는 부호화 제어부(81)로부터 출력된 루프 필터 병렬 플래그 ＃m에 따라 전단의 처리부와 후단의 처리부의 접속 관계를 제어하는 처리를 실시한다.

이에 의해, 부호화 제어부(81)로부터 출력된 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우에도, 부호화 제어부(81)로부터 출력된 필터 파라미터 공유 플래그 ＃1∼M 중, 예를 들면, 필터 파라미터 공유 플래그 ＃x가 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 전단의 처리부로부터 출력된 국소 복호 화상, 부호화 파라미터 및 비트 계열 데이터를 타일 루프 필터부(88－x－n)가 아니고, 프레임 루프 필터부(89－x)에 출력하게 된다.

병렬 처리 종료부(91)는 부호화 제어부(81)로부터 출력된 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우에 있어서, 부호화 제어부(81)로부터 출력된 필터 파라미터 공유 플래그 ＃M이 각 타일에서 필터를 공통시키지 않는다는 취지를 나타내고 있으면, 부호화 제어부(81)로부터 출력된 타일 분할 제어 정보에 따라 타일 루프 필터부(88－M－1∼88－M－N)에 의한 필터링 처리 후의 타일 국소 복호 화상을 조합하여 프레임 단위의 국소 복호 화상을 생성하고, 그 국소 복호 화상을 움직임 보상 예측 프레임 메모리(84)에 저장함과 아울러, 타일 루프 필터부(88－M－1∼88－M－N)로부터 출력된 비트 계열 데이터를 가변 길이 부호 다중화부(92)에 출력하는 처리를 실시한다.

또한, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우에 있어서, 부호화 제어부(81)로부터 출력된 필터 파라미터 공유 플래그 ＃M이 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있으면, 프레임 루프 필터부(88－M)에 의한 필터링 처리 후의 프레임 국소 복호 화상을 움직임 보상 예측 프레임 메모리(84)에 저장함과 아울러, 프레임 루프 필터부(88－M)로부터 출력된 비트 계열 데이터를 가변 길이 부호 다중화부(92)에 출력하는 처리를 실시한다.

한편, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화하지 않는다는 취지를 나타내고 있는 경우, 프레임 루프 필터부(88－M)에 의한 필터링 처리 후의 프레임 국소 복호 화상을 움직임 보상 예측 프레임 메모리(84)에 저장함과 아울러, 프레임 루프 필터부(88－M)로부터 출력된 비트 계열 데이터를 가변 길이 부호 다중화부(92)에 출력하는 처리를 실시한다.

또한, 병렬 처리 종료부(91)는 국소 복호 화상 저장 수단을 구성하고 있다.

가변 길이 부호 다중화부(92)는 병렬 처리 종료부(91)로부터 출력된 비트 계열 데이터와, 부호화 제어부(81)로부터 출력된 타일 분할 제어 정보, 부호화 병렬 플래그, 루프 필터 병렬 플래그 ＃1∼M 및 필터 파라미터 공유 플래그 ＃1∼M과, 타일 루프 필터부(88－m－n) 또는 프레임 루프 필터부(89－m)에 의해 결정된 필터를 나타내는 필터 파라미터의 부호화 데이터를 다중화하여 비트 스트림을 생성하는 처리를 실시한다.

또한, 가변 길이 부호 다중화부(92)는 다중화 수단을 구성하고 있다.

도 17의 예에서는, 동화상 부호화 장치의 구성요소인 부호화 제어부(81), 타일 분할 제어부(82), 병렬 처리 개시부(83), 움직임 보상 예측 프레임 메모리(84), 타일 부호화 장치(85), 프레임 부호화부(86), 루프 필터 제어부(87－1∼87－M), 타일 루프 필터 장치(88－1∼88－M), 프레임 루프 필터부(89－1∼89－M), 병렬 처리 전환부(90－1∼90－M), 병렬 처리 종료부(91) 및 가변 길이 부호 다중화부(92)의 각각이 전용의 하드웨어(예를 들면, CPU를 실장하고 있는 반도체 집적 회로나, 1칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 부호화 장치가 컴퓨터로 구성되는 경우, 부호화 제어부(81), 타일 분할 제어부(82), 병렬 처리 개시부(83), 타일 부호화 장치(85), 프레임 부호화부(86), 루프 필터 제어부(87－1∼87－M), 타일 루프 필터 장치(88－1∼88－M), 프레임 루프 필터부(89－1∼89－M), 병렬 처리 전환부(90－1∼90－M), 병렬 처리 종료부(91) 및 가변 길이 부호 다중화부(92)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 상기 컴퓨터의 CPU가 상기 메모리에 저장되어 있는 프로그램을 실행하도록 해도 좋다.

도 18은 본 발명의 실시 형태 2에 따른 동화상 복호 장치를 나타내는 구성도이다.

도 18에 있어서, 가변 길이 부호 분리부(101)는 도 17의 동화상 부호화 장치에 의해 생성된 비트 스트림을 입력하면, 그 비트 스트림으로 다중화되어 있는 비트 계열 데이터와, 타일 분할 제어 정보와, 부호화 병렬 플래그와, 루프 필터 병렬 플래그 ＃1∼M과, 필터 파라미터 공유 플래그 ＃1∼M과, 필터 파라미터의 부호화 데이터를 분리하는 처리를 실시한다. 또한, 가변 길이 부호 분리부(101)는 분리 수단을 구성하고 있다.

병렬 처리 개시부(102)는 가변 길이 부호 분리부(101)에 의해 분리된 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우, 가변 길이 부호 분리부(101)로부터 출력된 프레임 단위의 비트 계열 데이터를 타일 단위의 비트 계열 데이터로 분할하고, 타일 단위의 비트 계열 데이터를 타일 복호부(104－1∼104－N)에 분배하는 처리를 실시한다.

한편, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화하지 않는다는 취지를 나타내고 있는 경우, 가변 길이 부호 분리부(101)로부터 출력된 프레임 단위의 비트 계열 데이터를 프레임 복호부(105)에 출력하는 처리를 실시한다. 또한, 병렬 처리 개시부(102)는 부호화 비트 데이터 분배 수단을 구성하고 있다.

움직임 보상 예측 프레임 메모리(103)는 필터링 처리 후의 복호 화상을 기억하는 기록 매체이다. 또한, 움직임 보상 예측 프레임 메모리(103)는 화상 메모리를 구성하고 있다.

타일 복호 장치(104)는 N개의 타일 복호부(104－1∼104－N)를 실장하고 있고, N개의 타일 복호부(104－1∼104－N)가 독립하여 예측 차분 복호 처리를 실시한다. N은 1 이상의 정수이다.

타일 복호부(104－1∼104－N)는 도 6의 타일 복호부(54－1∼54－N)와 마찬가지로, 움직임 보상 예측 프레임 메모리(103)에 기억되어 있는 필터링 처리 후의 복호 화상을 참조하여, 병렬 처리 개시부(102)에 의해 분배된 타일 단위의 비트 계열 데이터에 대한 예측 차분 복호 처리를 실시함으로써, 타일 복호 화상(타일 단위의 복호 화상)을 생성함과 아울러, 그 타일 복호 화상과 예측 차분 복호 처리를 실시할 때에 이용하고 있는 부호화 파라미터(비트 계열 데이터로 다중화되어 있는 부호화 파라미터)를 병렬 처리 전환부(110－1)에 출력하는 처리를 실시한다.

또한, 비트 계열 데이터로 다중화되어 있는 타일 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터를 병렬 처리 전환부(110－1)에 출력하는 처리를 실시한다.

또한, 타일 복호부(104－1∼104－N)는 타일 복호 수단을 구성하고 있다.

프레임 복호부(105)는 움직임 보상 예측 프레임 메모리(103)에 기억되어 있는 필터링 처리 후의 국소 복호 화상을 참조하여, 병렬 처리 개시부(102)로부터 출력된 프레임 단위의 비트 계열 데이터에 대한 예측 차분 복호 처리를 실시함으로써, 프레임 복호 화상(프레임 단위의 복호 화상)을 생성함과 아울러, 그 프레임 복호 화상과 예측 차분 복호 처리를 실시할 때에 이용하고 있는 부호화 파라미터(비트 계열 데이터로 다중화되어 있는 부호화 파라미터)를 병렬 처리 전환부(110－1)에 출력하는 처리를 실시한다.

또한, 비트 계열 데이터로 다중화되어 있는 프레임 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터를 병렬 처리 전환부(110－1)에 출력하는 처리를 실시한다.

또한, 프레임 복호부(105)는 프레임 복호 수단을 구성하고 있다.

필터 파라미터 복호부(106－1∼106－M)는 가변 길이 부호 분리부(101)에 의해 분리된 필터 파라미터 공유 플래그 ＃1∼M이 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 가변 길이 부호 분리부(101)에 의해 분리된 필터 파라미터의 부호화 데이터 ＃1∼M로부터 프레임 단위의 필터를 나타내는 필터 파라미터를 복호하고, 그 필터 파라미터를 타일 루프 필터 장치(107－1∼107－M)에 출력하는 처리를 실시한다.

타일 루프 필터 장치(107－1∼107－M)는 서로 상이한 종류의 필터링 처리를 실시하는 필터 장치이며, N개의 타일 루프 필터부(107－m－1∼107－m－N)(m = 1, 2,···, M)를 실장하고 있고, N개의 타일 루프 필터부(107－m－1∼107－m－N)가 독립하여 필터링 처리를 실시한다. M은 1 이상의 정수이다.

타일 루프 필터부(107－m－n)(n = 1, 2,···, N)는 병렬 처리 전환부(110－m)로부터 타일 복호 화상이 출력되면, 가변 길이 부호 분리부(101)에 의해 분리된 필터 파라미터 공유 플래그 ＃m이 각 타일에서 필터를 공통시키지 않는다는 취지를 나타내고 있는 경우, 병렬 처리 전환부(110－m)로부터 출력된 필터 파라미터의 부호화 데이터로부터 타일 단위의 필터를 나타내는 필터 파라미터를 복호하고, 타일 단위의 필터를 이용하여, 타일 복호 화상에 대한 필터링 처리를 실시한다.

한편, 필터 파라미터 공유 플래그 ＃m이 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 병렬 처리 전환부(110－m)로부터 출력된 필터 파라미터의 부호화 데이터로부터 프레임 단위의 필터를 나타내는 필터 파라미터를 복호하고, 프레임 단위의 필터를 이용하여, 타일 복호 화상에 대한 필터링 처리를 실시한다.

또한, 타일 루프 필터부(107－1－1∼107－1－N, 107－2－1∼107－2－N,···, 107－M－1∼107－M－N)는 타일 필터 수단을 구성하고 있다.

프레임 루프 필터부(108－m)는 병렬 처리 전환부(110－m)로부터 프레임 복호 화상이 출력되면, 병렬 처리 전환부(110－m)로부터 출력된 필터 파라미터의 부호화 데이터로부터 프레임 단위의 필터를 나타내는 필터 파라미터를 복호하고, 프레임 단위의 필터를 이용하여, 프레임 복호 화상에 대한 필터링 처리를 실시한다. 또한, 프레임 루프 필터부(108－1∼108－M)는 프레임 필터 수단을 구성하고 있다.

타일 분할 제어부(109)는 가변 길이 부호 분리부(101)에 의해 분리된 타일 분할 제어 정보로부터 타일의 분할 상태를 파악하여, 원래의 입력 화상에 상당하는 복호 화상을 얻을 수 있도록, 병렬 처리 종료부(111)에 있어서의 각 타일 복호 화상의 배치를 제어하는 처리를 실시한다.

병렬 처리 전환부(110－m)는 가변 길이 부호 분리부(101)에 의해 분리된 루프 필터 병렬 플래그 ＃m에 따라 전단의 처리부와 후단의 처리부의 접속 관계를 제어하는 처리를 실시한다.

이에 의해, 가변 길이 부호 분리부(101)에 의해 분리된 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우에도, 가변 길이 부호 분리부(101)에 의해 분리된 필터 파라미터 공유 플래그 ＃1∼M 중, 예를 들면, 필터 파라미터 공유 플래그 ＃x가 각 타일에서 필터를 공통시킨다는 취지를 나타내고 있는 경우, 전단의 처리부로부터 출력된 복호 화상, 부호화 파라미터 및 필터 파라미터의 부호화 데이터를 타일 루프 필터부(107－x－n)가 아니고, 프레임 루프 필터부(108－x)에 출력하게 된다.

병렬 처리 종료부(111)는 타일 분할 제어부(109)의 제어 하에서, 타일 루프 필터부(107－M－1∼107－M－N)에 의한 필터링 처리 후의 타일 복호 화상을 조합하여 프레임 단위의 복호 화상을 생성하고, 그 복호 화상을 움직임 보상 예측 프레임 메모리(103)에 저장하는 처리를 실시한다.

또한, 타일 분할 제어부(109) 및 병렬 처리 종료부(111)로 복호 화상 저장 수단이 구성되어 있다.

도 18의 예에서는, 동화상 복호 장치의 구성요소인 가변 길이 부호 분리부(101), 병렬 처리 개시부(102), 움직임 보상 예측 프레임 메모리(103), 타일 복호 장치(104), 프레임 복호부(105), 필터 파라미터 복호부(106－1∼106－M), 타일 루프 필터 장치(107－1∼107－M), 프레임 루프 필터부(108－1∼108－M), 타일 분할 제어부(109), 병렬 처리 전환부(110－1∼110－M) 및 병렬 처리 종료부(111)의 각각이 전용의 하드웨어(예를 들면, CPU를 실장하고 있는 반도체 집적 회로나, 1칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 복호 장치가 컴퓨터로 구성되는 경우, 가변 길이 부호 분리부(101), 병렬 처리 개시부(102), 타일 복호 장치(104), 프레임 복호부(105), 필터 파라미터 복호부(106－1∼106－M), 타일 루프 필터 장치(107－1∼107－M), 프레임 루프 필터부(108－1∼108－M), 타일 분할 제어부(109), 병렬 처리 전환부(110－1∼110－M) 및 병렬 처리 종료부(111)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 상기 컴퓨터의 CPU가 상기 메모리에 저장되어 있는 프로그램을 실행하도록 해도 좋다.

(실시 형태 3)

상기 실시 형태 1에서는, 타일 루프 필터 장치(7)가 1단 구성인 것을 나타냈지만, 본 실시 형태 3에서는, 서로 상이한 종류의 루프 필터를 실현하는 타일 루프 필터 장치(88－1∼88－M)가 다단으로 접속되어 있는 점에서 상위하다.

예를 들면, 화상에 실시하는 루프 필터로서, 디블로킹 필터, SAO, ALF가 정의되어 있는 경우, 화상이 타일로 분할되어 있으면, 부호화 처리 및 모든 필터링 처리를, 타일 간에 참조를 행하지 않는 수법으로 실시하여야 한다.

단, 루프 필터의 종류에 따라서는, 타일 단위로 필터링 처리를 행하는 것보다도, 프레임 단위로 필터링 처리를 행하는 쪽이, 더 편리한 경우도 있다.

예를 들면, ALF의 경우, 프레임 1매 분의 화상에서도 H/W로 고속으로 처리가 가능하기 때문에 병렬 처리가 불필요하지만, 디블로킹 필터의 경우, H/W에서의 고속 처리가 곤란하기 때문에 병렬 처리가 불가결하다고 하는 상황을 생각할 수 있다.

이러한 상황하에서는, 화질의 관점으로부터, 병렬화가 불필요한 루프 필터는 타일 간에 걸친 화소 참조를 행하는 필터링 처리를 실시하는 것이 바람직하다.

또한, 예측 차분 부호화 처리나 복호 처리는 병렬화의 필요성이 있지만, 루프 필터 처리는 병렬화의 필요성이 없는 경우, 혹은, 그 역으로, 예측 차분 부호화 처리나 복호 처리는 병렬화의 필요성이 없지만, 루프 필터 처리는 병렬화의 필요성이 있는 경우가 있다.

이러한 상황에 대처하는 데에는, 예측 차분 부호화 처리·복호 처리와 각종의 루프 필터 처리는, 각각 독립적으로 병렬화를 위한 타일 사이에 걸치는 참조를 행하는지 여부를 전환하는 수법이 유효하게 된다.

본 실시 형태 3에서는, 입력 화상을 분할하여, 타일 단위의 병렬화 처리를 행하거나, 병렬화하지 않고 프레임 단위로 처리를 행할지를 전환하도록 하고 있다.

또한, 루프 필터마다, 타일 단위의 필터링 처리를 행하거나, 프레임 단위의 필터링 처리를 행할지를 전환하도록 하고 있다.

먼저, 동화상 부호화 장치의 처리 내용을 설명한다.

부호화 제어부(81)는, 도 1의 부호화 제어부(1)와 마찬가지로, 영상 신호가 나타내는 입력 화상을 소정 사이즈의 타일로 분할할 때의 분할 상태를 지시하는 타일 분할 제어 정보를 타일 분할 제어부(82), 병렬 처리 종료부(91) 및 가변 길이 부호 다중화부(92)에 출력한다.

또한, 부호화 제어부(81)는, 입력 화상을 분할하여 병렬화하는지 여부를 나타내는 부호화 병렬 플래그를 병렬 처리 개시부(83)에 출력함과 아울러, 필터링 처리의 종류별로, 상기 필터링 처리에 이용하는 필터를 각 타일에서 공통시키는지 여부를 나타내는 필터 파라미터 공유 플래그 ＃1∼M(각 타일에서 공통시키는 경우： ON의 플래그, 각 타일에서 공통시키지 않는 경우： OFF의 플래그)를 루프 필터 제어부(87－1∼87－M), 타일 루프 필터 장치(88－1∼88－M) 및 가변 길이 부호 다중화부(92)에 출력한다.

또한, 부호화 제어부(81)는, 전단의 처리부와 후단의 처리부의 접속 관계를 나타내는 루프 필터 병렬 플래그 ＃1∼M을 병렬 처리 전환부(90－1∼90－M)에 출력한다.

타일 분할 제어부(82)는, 부호화 제어부(81)로부터 타일 분할 제어 정보를 수신하면, 그 타일 분할 제어 정보가 지시하고 있는 분할 상태와 일치하도록, 병렬 처리 개시부(83)에 있어서의 입력 화상의 분할을 제어한다.

병렬 처리 개시부(83)는, 부호화 제어부(81)로부터 출력된 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우, 타일 분할 제어부(82)의 지시 하에, 영상 신호가 나타내는 입력 화상을 소정 사이즈의 타일로 분할하고, 분할 후의 타일을 타일 부호화부(85－1∼85－N)에 분배한다.

한편, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화하지 않는다는 취지를 나타내고 있는 경우, 영상 신호가 나타내는 입력 화상을 분할하지 않고, 프레임 단위의 화상인 입력 화상을 프레임 부호화부(86)에 출력한다.

타일 부호화부(85－1∼85－N)는, 병렬 처리 개시부(83)로부터 타일을 수신하면, 도 1의 타일 부호화부(5－1∼5－N)와 마찬가지의 순서로 타일 국소 복호 화상을 생성한다.

즉, 타일 부호화부(85－1∼85－N)는, 움직임 보상 예측 프레임 메모리(84)에 기억되어 있는 필터링 처리 후의 국소 복호 화상을 참조하여, 병렬 처리 개시부(83)에 의해 분배된 타일에 대한 예측 차분 부호화 처리를 실시함으로써, 그 부호화 결과인 비트 계열 데이터 및 부호화 파라미터를 출력함과 아울러, 타일 국소 복호 화상을 생성한다.

프레임 부호화부(86)는, 병렬 처리 개시부(83)로부터 프레임 단위의 화상인 입력 화상을 수신하면, 움직임 보상 예측 프레임 메모리(84)에 기억되어 있는 필터링 처리 후의 국소 복호 화상을 참조하여, 그 입력 화상에 대한 예측 차분 부호화 처리를 실시함으로써, 그 부호화 결과인 비트 계열 데이터 및 부호화 파라미터를 출력함과 아울러, 프레임 국소 복호 화상을 생성한다.

부호화 처리의 처리 단위가 프레임 단위인 점에서, 타일 부호화부(85－1∼85－N)와 상이하지만, 부호화 처리 자체는 타일 부호화부(85－1∼85－N)와 마찬가지이기 때문에 상세한 설명을 생략한다.

병렬 처리 전환부(90－m)는, 부호화 제어부(81)로부터 출력된 루프 필터 병렬 플래그 ＃m에 따라 전단의 처리부와 후단의 처리부의 접속 관계를 제어하지만, 예를 들면, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화하지 않는다는 취지를 나타내고 있는 경우, 병렬 처리 개시부(83)이 입력 화상을 분할하지 않고, 프레임 부호화부(86)가 프레임 단위의 부호화 처리를 행하므로, 프레임 부호화부(86)(또는, 전단의 프레임 루프 필터부)의 출력 신호(프레임 국소 복호 화상, 비트 계열 데이터, 부호화 파라미터)를 후단의 프레임 루프 필터부에 전송한다.

한편, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우에 있어서, 필터 파라미터 공유 플래그 ＃m이 OFF이면, 타일 단위의 필터링 처리를 행하기 때문에, 타일 부호화부(85－1∼85－N)(또는, 전단의 타일 루프 필터부)의 출력 신호(타일 국소 복호 화상, 비트 계열 데이터, 부호화 파라미터)를 후단의 타일 루프 필터부에 전송한다.

단, m－1단째의 루프 필터에서, 프레임 단위의 필터링 처리가 행해지고 있는 경우, 전단의 프레임 루프 필터부로부터 출력된 프레임 국소 복호 화상을 타일 국소 복호 화상으로 분할하여, 그 타일 국소 복호 화상, 비트 계열 데이터 및 부호화 파라미터를 후단의 타일 루프 필터부에 전송한다.

부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우에도, 필터 파라미터 공유 플래그 ＃m이 ON이면, m단째의 루프 필터에서는, 프레임 단위의 필터링 처리를 행하기 때문에, 타일 부호화부(85－1∼85－N)(또는, 전단의 타일 루프 필터부)의 출력 신호(타일 국소 복호 화상, 비트 계열 데이터, 부호화 파라미터), 혹은, 전단의 프레임 루프 필터부의 출력 신호(프레임 국소 복호 화상, 비트 계열 데이터, 부호화 파라미터)를 후단의 프레임 루프 필터부에 전송한다.

루프 필터 제어부(87－m)는, 부호화 제어부(81)로부터 출력된 필터 파라미터 공유 플래그 ＃m이 ON인 경우, 병렬 처리 전환부(90－m)로부터 출력된 타일 국소 복호 화상으로부터 프레임 국소 복호 화상을 얻고, 그 프레임 국소 복호 화상에 적합한 프레임 단위의 필터를 결정한다. 병렬 처리 전환부(90－m)로부터 프레임 국소 복호 화상이 출력되었을 경우, 그 프레임 국소 복호 화상에 적합한 프레임 단위의 필터를 결정한다.

루프 필터 제어부(87－m)는, 프레임 단위의 필터를 결정하면, 그 필터를 나타내는 필터 파라미터를 타일 루프 필터 장치(88－m)에 출력한다.

또한, 루프 필터 제어부(87－m)는, 프레임 단위의 필터를 나타내는 필터 파라미터를 가변 길이 부호화하여, 그 필터 파라미터의 부호화 데이터를 병렬 처리 종료부(91)에 출력한다.

타일 루프 필터부(88－m－n)는, 병렬 처리 전환부(90－m)로부터 타일 국소 복호 화상을 수신하면, 도 1의 타일 루프 필터부(7－n)와 마찬가지로, 부호화 제어부(81)로부터 출력된 필터 파라미터 공유 플래그 ＃m이 OFF이면, 병렬 처리 전환부(90－m)로부터 출력된 부호화 파라미터에 근거하여, 그 타일 국소 복호 화상의 필터링 처리에 적합한 타일 단위의 필터를 결정하고, 그 필터를 이용하여, 타일 국소 복호 화상에 대한 필터링 처리를 실시하여, 필터링 처리 후의 타일 국소 복호 화상을 후단의 병렬 처리 전환부 또는 병렬 처리 종료부(91)에 출력한다.

또한, 타일 루프 필터부(88－m－n)는, 타일 단위의 필터를 나타내는 필터 파라미터를 가변 길이 부호화하여, 그 필터 파라미터의 부호화 데이터를 병렬 처리 전환부(90－m)로부터 출력된 비트 계열 데이터로 다중화하여 후단의 병렬 처리 전환부 또는 병렬 처리 종료부(91)에 출력한다.

또한, 부호화 제어부(81)로부터 출력된 필터 파라미터 공유 플래그 ＃m이 ON이면, 루프 필터 제어부(87－m)로부터 출력된 필터 파라미터가 나타내는 프레임 단위의 필터를 이용하여, 병렬 처리 전환부(90－m)로부터 출력된 타일 국소 복호 화상의 필터링 처리를 실시하지만, 본 실시 형태 3에서는, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우에도, 필터 파라미터 공유 플래그 ＃m이 ON인 경우, 병렬 처리 전환부(90－m)가 프레임 국소 복호 화상을 프레임 루프 필터부(89－m)에 인가하고, 타일 국소 복호 화상을 타일 루프 필터부(88－m－n)에 인가하지 않기 때문에, 이 상황하에서는, 프레임 단위의 필터를 이용하여, 타일 국소 복호 화상의 필터링 처리를 실시하지 않는다.

타일 루프 필터부(88－m－n)가, 프레임 단위의 필터를 이용하여, 타일 국소 복호 화상의 필터링 처리를 실시하는 상황으로서는, 예를 들면, 부호화 제어부(81)가 부호화 병렬 플래그를 출력하는 기능을 사용하지 않고, 프레임 루프 필터부(89－m)의 기능을 정지하고 있는 상황 등을 생각할 수 있다(실시 형태 1과 유사한 구성).

프레임 루프 필터부(89－m)는, 병렬 처리 전환부(90－m)로부터 타일 국소 복호 화상을 수신하면, 그 타일 국소 복호 화상으로부터 프레임 국소 복호 화상을 얻고, 병렬 처리 전환부(90－m)로부터 출력된 부호화 파라미터에 근거하여, 그 프레임 국소 복호 화상의 필터링 처리에 적합한 프레임 단위의 필터를 결정한다. 병렬 처리 전환부(90－m)로부터 프레임 국소 복호 화상이 출력되었을 경우, 그 부호화 파라미터에 근거하여, 그 프레임 국소 복호 화상에 적합한 프레임 단위의 필터를 결정한다.

프레임 루프 필터부(89－m)는, 프레임 단위의 필터를 결정하면, 프레임 단위의 필터를 이용하여, 그 프레임 국소 복호 화상에 대한 필터링 처리를 실시하여, 필터링 처리 후의 프레임 국소 복호 화상을 후단의 병렬 처리 전환부 또는 병렬 처리 종료부(91)에 출력한다.

또한, 프레임 루프 필터부(89－m)는, 프레임 단위의 필터를 나타내는 필터 파라미터를 가변 길이 부호화하여, 그 필터 파라미터의 부호화 데이터를 병렬 처리 전환부(90－m)로부터 출력된 비트 계열 데이터로 다중화하여 후단의 병렬 처리 전환부 또는 병렬 처리 종료부(91)에 출력한다.

병렬 처리 종료부(91)는, 부호화 제어부(81)로부터 출력된 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우에 있어서, 부호화 제어부(81)로부터 출력된 필터 파라미터 공유 플래그 ＃M이 OFF이면, 부호화 제어부(81)로부터 출력된 타일 분할 제어 정보에 따라 타일 루프 필터부(88－M－1∼88－M－N)에 의한 필터링 처리 후의 타일 국소 복호 화상을 조합하여 프레임 단위의 국소 복호 화상을 생성하고, 그 국소 복호 화상을 움직임 보상 예측 프레임 메모리(84)에 저장함과 아울러, 타일 루프 필터부(88－M－1∼88－M－N)로부터 출력된 비트 계열 데이터를 가변 길이 부호 다중화부(92)에 출력한다.

또한, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우에 있어서, 부호화 제어부(81)로부터 출력된 필터 파라미터 공유 플래그 ＃M이 ON이면, 프레임 루프 필터부(88－M)에 의한 필터링 처리 후의 프레임 국소 복호 화상을 움직임 보상 예측 프레임 메모리(84)에 저장함과 아울러, 프레임 루프 필터부(88－M)로부터 출력된 비트 계열 데이터를 가변 길이 부호 다중화부(92)에 출력한다.

한편, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화하지 않는다는 취지를 나타내고 있는 경우, 프레임 루프 필터부(88－M)에 의한 필터링 처리 후의 프레임 국소 복호 화상을 움직임 보상 예측 프레임 메모리(84)에 저장함과 아울러, 프레임 루프 필터부(88－M)로부터 출력된 비트 계열 데이터를 가변 길이 부호 다중화부(92)에 출력한다.

가변 길이 부호 다중화부(92)는, 병렬 처리 종료부(91)로부터 출력된 비트 계열 데이터와, 부호화 제어부(81)로부터 출력된 타일 분할 제어 정보, 부호화 병렬 플래그, 루프 필터 병렬 플래그 ＃1∼M 및 필터 파라미터 공유 플래그 ＃1∼M을 다중화하여 비트 스트림을 생성한다.

다음에, 동화상 복호 장치의 처리 내용을 설명한다.

가변 길이 부호 분리부(101)는, 도 17의 동화상 부호화 장치에 의해 생성된 비트 스트림을 입력하면, 그 비트 스트림으로 다중화되어 있는 비트 계열 데이터와, 타일 분할 제어 정보와, 부호화 병렬 플래그와, 루프 필터 병렬 플래그 ＃1∼M과, 필터 파라미터 공유 플래그 ＃1∼M과, 필터 파라미터의 부호화 데이터를 분리하여 출력한다.

병렬 처리 개시부(102)는, 가변 길이 부호 분리부(101)에 의해 분리된 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우, 가변 길이 부호 분리부(101)로부터 출력된 프레임 단위의 비트 계열 데이터를 타일 단위의 비트 계열 데이터로 분할하고, 타일 단위의 비트 계열 데이터를 타일 복호부(104－1∼104－N)에 분배한다.

한편, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화하지 않는다는 취지를 나타내고 있는 경우, 가변 길이 부호 분리부(101)로부터 출력된 프레임 단위의 비트 계열 데이터를 프레임 복호부(105)에 출력한다.

타일 복호부(104－1∼104－N)는, 병렬 처리 개시부(102)로부터 타일 단위의 비트 계열 데이터를 수신하면, 도 6의 타일 복호부(54－1∼54－N)와 마찬가지의 순서로 타일 복호 화상을 생성한다.

즉, 타일 복호부(104－1∼104－N)는, 움직임 보상 예측 프레임 메모리(103)에 기억되어 있는 필터링 처리 후의 복호 화상을 참조하여, 병렬 처리 개시부(102)에 의해 분배된 타일 단위의 비트 계열 데이터에 대한 예측 차분 복호 처리를 실시함으로써, 타일 복호 화상을 생성함과 아울러, 그 타일 복호 화상 및 예측 차분 복호 처리를 실시할 때에 이용하고 있는 부호화 파라미터(비트 계열 데이터로 다중화되어 있는 부호화 파라미터)를 병렬 처리 종료부(111)에 출력한다.

또한, 비트 계열 데이터로 다중화되어 있는 타일 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터를 병렬 처리 전환부(110－1)에 출력하는 처리를 실시한다.

프레임 복호부(105)는, 병렬 처리 개시부(102)로부터 프레임 단위의 비트 계열 데이터를 수신하면, 움직임 보상 예측 프레임 메모리(103)에 기억되어 있는 필터링 처리 후의 국소 복호 화상을 참조하여, 그 프레임 단위의 비트 계열 데이터에 대한 예측 차분 복호 처리를 실시함으로써 프레임 복호 화상을 생성하고, 그 프레임 복호 화상 및 예측 차분 복호 처리를 실시할 때에 이용하고 있는 부호화 파라미터(비트 계열 데이터로 다중화되어 있는 부호화 파라미터)를 병렬 처리 종료부(111)에 출력한다.

또한, 비트 계열 데이터로 다중화되어 있는 프레임 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터를 병렬 처리 전환부(110－1)에 출력하는 처리를 실시한다.

병렬 처리 전환부(100－m)는, 가변 길이 부호 분리부(101)에 의해 분리된 루프 필터 병렬 플래그 ＃m에 따라서 전단의 처리부와 후단의 처리부의 접속 관계를 제어하지만, 예를 들면, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화하지 않는다는 취지를 나타내고 있는 경우, 병렬 처리 개시부(102)가 프레임 단위의 비트 계열 데이터를 타일 단위의 비트 계열 데이터로 분할하지 않고, 프레임 복호부(105)가 프레임 단위의 복호 처리를 행하므로, 프레임 복호부(105)(또는, 전단의 프레임 루프 필터부)의 출력 신호(프레임 복호 화상, 부호화 파라미터, 프레임 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터)를 후단의 프레임 루프 필터부에 전송한다.

한편, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우에 있어서, 필터 파라미터 공유 플래그 ＃m이 OFF이면, 타일 단위의 필터링 처리를 행하기 때문에, 타일 복호부(104－1∼104-N)(또는, 전단의 타일 루프 필터부)의 출력 신호(타일 국소 복호 화상, 부호화 파라미터, 타일 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터)를 후단의 타일 루프 필터부에 전송한다.

단, m－1단째의 루프 필터에서, 프레임 단위의 필터링 처리가 행해지고 있는 경우, 전단의 프레임 루프 필터부로부터 출력된 프레임 복호 화상을 타일 복호 화상으로 분할하여, 그 타일 복호 화상, 부호화 파라미터 및 타일 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터를 후단의 타일 루프 필터부에 전송한다.

부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우에도, 필터 파라미터 공유 플래그 ＃m이 ON이면, m단째의 루프 필터에서는, 프레임 단위의 필터링 처리를 행하기 때문에, 타일 복호부(104－1∼104－N)(또는, 전단의 타일 루프 필터부)의 출력 신호(타일 국소 복호 화상, 부호화 파라미터, 타일 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터), 혹은, 전단의 프레임 루프 필터부의 출력 신호(프레임 복호 화상, 부호화 파라미터, 프레임 단위의 필터를 나타내는 필터 파라미터의 부호화 데이터)를 후단의 프레임 루프 필터부에 전송한다.

필터 파라미터 복호부(106－m)는, 가변 길이 부호 분리부(101)에 의해 분리된 필터 파라미터 공유 플래그 ＃n가 ON인 경우, 가변 길이 부호 분리부(101)에 의해 분리된 필터 파라미터의 부호화 데이터 ＃m로부터 프레임 단위의 필터를 나타내는 필터 파라미터를 복호하고, 그 필터 파라미터를 타일 루프 필터 장치(107－m)에 출력한다.

타일 루프 필터부(107－m－n)는, 병렬 처리 전환부(110－m)로부터 타일 복호 화상을 수신하면, 가변 길이 부호 분리부(101)에 의해 분리된 필터 파라미터 공유 플래그 ＃m이 OFF이면, 병렬 처리 전환부(110－m)로부터 출력된 필터 파라미터의 부호화 데이터로부터 타일 단위의 필터를 나타내는 필터 파라미터를 복호하고, 타일 단위의 필터를 이용하여, 그 타일 복호 화상에 대한 필터링 처리를 실시한다.

또한, 필터 파라미터 공유 플래그 ＃m이 ON이면, 필터 파라미터 복호부(106－m)로부터 출력된 필터 파라미터가 나타내는 프레임 단위의 필터를 이용하여, 타일 복호 화상에 대한 필터링 처리를 실시하지만, 본 실시 형태 3에서는, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우에도, 필터 파라미터 공유 플래그 ＃m이 ON인 경우, 병렬 처리 전환부(110－m)가 프레임 복호 화상을 프레임 루프 필터부(108－m)에 인가하고, 타일 복호 화상을 타일 루프 필터부(107－m－n)에 인가하지 않기 때문에, 이 상황하에서는, 프레임 단위의 필터를 이용하여, 타일 복호 화상의 필터링 처리를 실시하지는 않는다.

타일 루프 필터부(107－m－n)가, 프레임 단위의 필터를 이용하여, 타일 복호 화상의 필터링 처리를 실시하는 상황으로서는, 예를 들면, 부호화측이 부호화 병렬 플래그를 출력하는 기능을 사용하지 않고, 프레임 루프 필터부(108－m)의 기능을 정지하고 있는 상황 등을 생각할 수 있다(실시 형태 1과 유사한 구성).

프레임 루프 필터부(108－m)는, 병렬 처리 전환부(110－m)로부터 프레임 복호 화상을 수신하면, 병렬 처리 전환부(110－m)로부터 출력된 필터 파라미터의 부호화 데이터로부터 프레임 단위의 필터를 나타내는 필터 파라미터를 복호하고, 프레임 단위의 필터를 이용하여, 그 프레임 복호 화상에 대한 필터링 처리를 실시한다.

타일 분할 제어부(109)는, 가변 길이 부호 분리부(101)에 의해 분리된 타일 분할 제어 정보로부터 타일의 분할 상태를 파악하여, 원래의 입력 화상에 상당하는 복호 화상을 얻을 수 있도록, 병렬 처리 종료부(111)에 있어서의 각 타일 복호 화상의 배치를 제어하는 처리를 실시한다.

병렬 처리 종료부(111)는, 가변 길이 부호 분리부(101)에 의해 분리된 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우에 있어서, 가변 길이 부호 분리부(101)에 의해 분리된 필터 파라미터 공유 플래그 ＃M이 OFF이면, 타일 분할 제어부(109)의 제어 하에서, 타일 루프 필터부(107－M－1∼107－M－N)에 의한 필터링 처리 후의 타일 복호 화상을 조합하여 프레임 단위의 복호 화상을 생성하고, 그 복호 화상을 움직임 보상 예측 프레임 메모리(103)에 저장한다.

또한, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화한다는 취지를 나타내고 있는 경우에 있어서, 그 필터 파라미터 공유 플래그 ＃M이 ON이면, 프레임 루프 필터부(108－M)에 의한 필터링 처리 후의 프레임 복호 화상을 움직임 보상 예측 프레임 메모리(103)에 저장한다.

한편, 부호화 병렬 플래그가 입력 화상을 분할하여 병렬화하지 않는다는 취지를 나타내고 있는 경우, 프레임 루프 필터부(108－M)에 의한 필터링 처리 후의 프레임 복호 화상을 움직임 보상 예측 프레임 메모리(103)에 저장한다.

이상으로 명백한 바와 같이, 본 실시 형태 3에 의하면, 입력 화상을 분할하여 타일 단위의 병렬화 처리를 행하거나, 병렬화하지 않고 프레임 단위로 처리를 행할지를 전환하는 것과 아울러, 루프 필터마다, 타일 단위의 필터링 처리를 행하거나, 프레임 단위의 필터링 처리를 행할지를 전환하도록 구성했으므로, 상이한 종류의 루프 필터를 다단으로 접속하여, 전체의 필터 성능을 높이는 경우에도, 처리의 고속화를 도모할 수 있는 효과를 얻는다.

또한, 본원 발명은 그 발명의 범위 내에 있어서, 각 실시 형태의 자유로운 조합, 혹은 각 실시 형태의 임의의 구성요소의 변형, 혹은 각 실시 형태에 있어서 임의의 구성요소의 생략이 가능하다.

(산업상의 이용 가능성)

본 발명에 따른 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법 및 동화상 복호 방법은, 타일 단위의 국소 복호 화상을 생성하고, 그 국소 복호 화상에 적합한 타일 단위의 필터를 결정하고, 그 타일 단위의 필터를 이용하여 국소 복호 화상의 필터링 처리를 실시하여, 루프 필터의 처리를 타일 레벨에서 병렬로 행할 수 있도록 했기 때문에, 화상을 압축 부호화하여 전송하는 동화상 부호화 장치 및 동화상 부호화 방법과, 동화상 부호화 장치에 의해 전송된 부호화 데이터로부터 화상을 복호하는 동화상 복호 장치 및 동화상 복호 방법에 적용할 수 있다.

1 : 부호화 제어부(분할 제어 수단)
2 : 타일 분할 제어부(타일 분배 수단)
3 : 병렬 처리 개시부(타일 분배 수단)
4 : 움직임 보상 예측 프레임 메모리(화상 메모리)
5 : 타일 부호화 장치
5－1∼5－N : 타일 부호화부(타일 부호화 수단)
6 : 루프 필터 제어부(프레임 단위 필터 결정 수단)
7 : 타일 루프 필터 장치
7－1∼7－N : 타일 루프 필터부(타일 필터 수단)
8 : 병렬 처리 종료부(국소 복호 화상 저장 수단)
9 : 가변 길이 부호 다중화부(다중화 수단)
21 : 타일 부호화 제어부
22 : 블록 분할부
23 : 전환 스위치
24 : 인트라 예측부
25 : 움직임 보상 예측부
26 : 감산부
27 : 변환·양자화부
28 : 역양자화·역변환부
29 : 가산부
30 : 타일 국소 복호 화상 메모리
31 : 가변 길이 부호화부
41 : 타일 루프 필터 제어부
42 : 루프 필터 실시부
43 : 가변 길이 부호화부
51 : 가변 길이 부호 분리부(분리 수단)
52 : 병렬 처리 개시부(부호화 비트 데이터 분배 수단)
53 : 움직임 보상 예측 프레임 메모리(화상 메모리)
54 : 타일 복호 장치
54－1∼54－N : 타일 복호부(타일 복호 수단)
55 : 필터 파라미터 복호부
56 : 타일 루프 필터 장치
56－1∼56－N : 타일 루프 필터부(타일 필터 수단)
57 : 타일 분할 제어부(복호 화상 저장 수단)
58 : 병렬 처리 종료부(복호 화상 저장 수단)
61 : 가변 길이 복호부
62 : 전환 스위치
63 : 인트라 예측부
64 : 움직임 보상부
65 : 역양자화·역변환부
66 : 가산부
67 : 타일 복호 화상 메모리
71 : 타일 필터 파라미터 복호부
72 : 루프 필터 실시부
81 : 부호화 제어부(분할 제어 수단)
82 : 타일 분할 제어부(타일 분배 수단)
83 : 병렬 처리 개시부(타일 분배 수단)
84 : 움직임 보상 예측 프레임 메모리(화상 메모리)
85 : 타일 부호화 장치
85－1∼85－N : 타일 부호화부(타일 부호화 수단)
86 : 프레임 부호화부(프레임 부호화 수단)
87－1∼87－M : 루프 필터 제어부
88－1∼87－M : 타일 루프 필터 장치
88－1－1∼88－1－N, 88－2－1∼88－2－N,···, 88－M－1∼88－M－N : 타일 루프 필터부(타일 필터 수단)
89－1∼89－M : 프레임 루프 필터부(프레임 필터 수단)
90－1∼90－M : 병렬 처리 전환부
91 : 병렬 처리 종료부(국소 복호 화상 저장 수단)
92 : 가변 길이 부호 다중화부(다중화 수단)
101 : 가변 길이 부호 분리(부분리 수단)
102 : 병렬 처리 개시부(부호화 비트 데이터 분배 수단)
103 : 움직임 보상 예측 프레임 메모리(화상 메모리)
104 : 타일 복호 장치
104－1~104－N : 타일 복호부(타일 복호 수단)
105 : 프레임 복호부(프레임 복호 수단)
106－1~106－M : 필터 파라미터 복호부
107－1~107－M : 타일 루프 필터 장치
107－1－1~107－1－N, 107－2－1~107－2－N,···, 107－M－1~107－M－N : 타일 루프 필터부(타일 필터 수단)
108－1~108－M : 프레임 루프 필터부(프레임 필터 수단)
109 : 타일 분할 제어부(복호 화상 저장 수단)
110－1~110－M : 병렬 처리 전환부
111 : 병렬 처리 종료부(복호 화상 저장 수단)

Claims (3)

1. 비트 스트림으로부터 부호화 비트 데이터를 분리하는 부호화 비트 데이터 분리 수단과,
   상기 부호화 비트 데이터 분리 수단에 의해 분리된 상기 부호화 비트 데이터가 나타내는 타일에 대한 예측 차분 복호 처리를 실시하여, 상기 타일에 대한 복호 화상을 생성하는 1 이상의 타일 복호 수단과,
   상기 비트 스트림으로부터 분리된 필터 파라미터가 나타내는 상기 타일에 대한 필터를 이용하여, 상기 타일 복호 수단에 의해 생성된 복호 화상에 대한 필터링 처리를 실시하는 1 이상의 타일 필터 수단
   을 구비한 것을 특징으로 하는 동화상 복호 장치.
   
2. 입력 화상을 분할한 타일에 대한 예측 처리를 실시하는 타일 부호화 수단과,
   상기 타일 부호화 수단에 의해 생성된 상기 타일에 대한 필터를 결정하고, 상기 필터를 이용해서, 상기 타일에 대한 필터링 처리를 실시하는 1 이상의 타일 필터 수단과,
   상기 타일 필터 수단에 의해 결정된 타일에 대한 필터를 나타내는 필터 파라미터를 다중화해서 비트 스트림을 생성하는 다중화 수단
   을 구비한 것을 특징으로 하는 동화상 부호화 장치.
3. 입력 화상이 타일로 분할되어 부호화된 부호화 블록에 근거하는 비트 스트림을 기억하는 기억 매체.

Images