KR101860606B1

KR101860606B1 - 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체

Info

Publication number: KR101860606B1
Application number: KR1020147034099A
Authority: KR
Inventors: ？이치 세키구치; 이치 세키구치; 가즈오 스기모토; 히로하루 사카테; 도쿠미치 무라카미; 아키라 미네자와
Original assignee: 미쓰비시덴키 가부시키가이샤
Priority date: 2011-06-30
Filing date: 2012-06-05
Publication date: 2018-05-23
Also published as: KR20170003705A; US20170244971A1; KR102111917B1; US20180139452A1; CN106658014A; US20210044806A1; JP2015062312A; CN103621083B; CN106941608A; JPWO2013001727A1; JP2020102855A; US20240048721A1; CN106713914A; KR20180054893A; US10334251B2; JP6632456B2; EP2728877A1; JP6667609B2; KR102026519B1; US20240048720A1

Abstract

화상 부호화 장치의 루프 필터부(11)가, 국소 복호 화상의 블록 왜곡을 제거할 때, 부호화 제어부(1)에 의해 선택된 부호화 모드(인트라 부호화 모드, 인터 부호화 모드)에 따라, 블록 왜곡을 제거하는 필터의 강도를 신호 성분(휘도 신호 성분, 색차 신호 성분)별로 설정하고 나서, 신호 성분별로 필터링 처리를 실시한다.

Description

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체{IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, IMAGE ENCODING METHOD, IMAGE DECODING METHOD AND RECORDING MEDIUM}

본 발명은, 화상을 압축 부호화하여 전송하는 화상 부호화 장치 및 화상 부호화 방법과, 화상 부호화 장치에 의해 전송된 부호화 데이터로부터 화상을 복호하는 화상 복호 장치 및 화상 복호 방법에 관한 것이다.

종래, MPEG이나 ITU-TH.26x 등의 국제 표준 영상 부호화 방식에서는, 입력 영상 프레임을, 16×16 화소 블록으로 이루어지는 매크로 블록의 단위로 분할하고, 움직임 보상 예측을 실시한 후, 예측 차분 신호를 블록 단위로 직교 변환·양자화하는 것에 의해서 정보 압축을 행하도록 하고 있다.

단, 압축율이 높아지면, 움직임 보상 예측을 실시할 때에 이용하는 예측 참조 화상의 품질이 저하하는 것에 기인하여, 압축 효율이 저해된다는 문제가 있다.

그 때문에, MPEG-4 AVC/H.264의 부호화 방식(비특허문헌 1을 참조)에서는, 루프내 블로킹 필터의 처리를 실시함으로써, 직교 변환 계수의 양자화에 따라 발생하는 예측 참조 화상의 블록 왜곡을 제거하도록 하고 있다.

여기서, 도 16은 비특허문헌 1에 개시되어 있는 화상 부호화 장치를 나타내는 구성도이다.

이 화상 부호화 장치에서는, 블록 분할부(101)가 부호화 대상의 화상 신호를 입력받으면, 그 화상 신호를 매크로 블록 단위로 분할하고, 매크로 블록 단위의 화상 신호를 분할 화상 신호로서 예측부(102)에 출력한다.

예측부(102)는, 블록 분할부(101)로부터 분할 화상 신호를 받으면, 매크로 블록 내의 각 색 성분의 화상 신호를 프레임내 또는 프레임간에 예측하고 예측 차분 신호를 산출한다.

특히, 프레임간에 움직임 보상 예측을 실시하는 경우, 매크로 블록 자체, 또는 매크로 블록을 더 미세하게 분할한 서브블록의 단위로 움직임 벡터를 탐색한다.

그리고, 그 움직임 벡터를 이용하여, 메모리(107)에 의해 저장되어 있는 참조 화상 신호에 대한 움직임 보상 예측을 실시함으로써 움직임 보상 예측 화상을 생성하고, 그 움직임 보상 예측 화상을 나타내는 예측 신호와 분할 화상 신호의 차분을 구하는 것에 의해 예측 차분 신호를 산출한다.

또한, 예측부(102)는, 예측 신호를 얻을 때에 결정한 예측 신호 생성용 파라미터를 가변 길이 부호화부(108)에 출력한다.

또, 예측 신호 생성용 파라미터에는, 예를 들면, 프레임간의 움직임량을 나타내는 움직임 벡터 등의 정보가 포함된다.

압축부(103)는, 예측부(102)로부터 예측 차분 신호를 받으면, 그 예측 차분 신호에 대한 DCT(이산 코사인 변환) 처리를 실시함으로써 신호 상관을 제거한 후, 양자화하는 것에 의해 압축 데이터를 얻는다.

국소 복호부(104)는, 압축부(103)로부터 압축 데이터를 받으면, 그 압축 데이터를 역양자화하고, 역DCT 처리를 실시함으로써, 예측부(102)로부터 출력된 예측 차분 신호에 상당하는 예측 차분 신호를 산출한다.

가산기(105)는, 국소 복호부(104)로부터 예측 차분 신호를 받으면, 그 예측 차분 신호와 예측부(102)로부터 출력된 예측 신호를 가산하여, 국소 복호 화상을 생성한다.

루프 필터(106)는, 가산기(105)에 의해 생성된 국소 복호 화상을 나타내는 국소 복호 화상 신호에 중첩되어 있는 블록 왜곡을 제거하고, 왜곡 제거 후의 국소 복호 화상 신호를 참조 화상 신호로서 메모리(107)에 저장한다.

가변 길이 부호화부(108)는, 압축부(103)로부터 압축 데이터를 받으면, 그 압축 데이터를 엔트로피 부호화하고, 그 부호화 결과인 비트스트림을 출력한다.

또, 가변 길이 부호화부(108)는, 비트스트림을 출력할 때, 예측부(102)로부터 출력된 예측 신호 생성용 파라미터를 비트스트림에 다중화하여 출력한다.

여기서, 비특허문헌 1에 개시되어 있는 방식에서는, 루프 필터(106)가, DCT의 블록 경계의 주변 화소에 대해, 양자화의 조잡함, 부호화 모드, 움직임 벡터의편차 정도 등의 정보에 근거하여 평활화 강도(필터 강도)를 결정하고, 국소 복호 화상에 대한 필터링 처리를 실시함으로써, 블록 경계에 발생하는 왜곡(블록 왜곡)의 저감을 도모하고 있다. 이것에 의해서, 참조 화상 신호의 품질이 개선되고, 이후의 부호화에서의 움직임 보상 예측의 효율을 높일 수 있다.

비특허문헌 1: MPEG-4 AVC(ISO/IEC14496-10)/ITU-TH.264 규격

종래의 화상 부호화 장치는 이상과 같이 구성되어 있기 때문에, 루프 필터(106)가 블록 왜곡을 제거할 때, 당해 블록의 휘도 신호 성분에 대한 필터의 강도에 대해서는 부호화 모드 등에 근거하여 결정되지만, 당해 블록의 색차(色差) 신호 성분에 대한 필터의 강도에 대해서는 휘도 신호 성분에 대한 필터의 강도를 유용하는 것이다. 이 때문에, 색차 신호 성분에 대한 필터의 강도는 반드시 적정이라고는 할 수 없어, 화질의 개선 효과가 한정적인 등의 과제가 있었다.

본 발명은 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 블록 왜곡의 제거 정밀도를 높이고, 부호화 화상의 품질을 개선할 수 있는 화상 부호화 장치 및 화상 부호화 방법을 얻는 것을 목적으로 한다.

또한, 본 발명은, 블록 왜곡의 제거 정밀도를 높이고, 복호 화상의 품질을 개선할 수 있는 화상 복호 장치 및 화상 복호 방법을 얻는 것을 목적으로 한다.

본 발명에 따른 화상 부호화 장치는, 입력 화상을, 예측 처리가 실시될 때의 처리 단위로 되는 블록으로 분할하는 블록 분할 수단과, 블록 분할 수단에 의해 분할되는 블록에 대한 부호화 모드를 결정하는 부호화 모드 결정 수단과, 부호화 모드 결정 수단에 의해 결정된 부호화 모드에 따라 부호화 완료 블록의 국소 복호 화상을 참조하면서, 블록 분할 수단에 의해 분할된 블록에 대한 예측 처리를 실시하여, 예측 화상을 생성하는 예측 화상 생성 수단과, 블록 분할 수단에 의해 분할된 블록과 예측 화상 생성 수단에 의해 생성된 예측 화상의 차분 화상을 생성하는 차분 화상 생성 수단과, 차분 화상 생성 수단에 의해 생성된 차분 화상을 압축하고, 그 차분 화상의 압축 데이터를 출력하는 화상 압축 수단과, 화상 압축 수단에 의해 압축된 차분 화상을 신장하고, 신장 후의 차분 화상과 예측 화상 생성 수단에 의해 생성된 예측 화상을 가산하여 국소 복호 화상을 생성하는 국소 복호 화상 생성 수단과, 국소 복호 화상 생성 수단에 의해 생성된 국소 복호 화상에 대한 필터링 처리를 실시하여, 그 국소 복호 화상의 블록 왜곡을 제거하는 왜곡 제거 수단과, 화상 압축 수단으로부터 출력된 압축 데이터 및 부호화 모드 결정 수단에 의해 결정된 부호화 모드를 부호화하고, 그 압축 데이터 및 부호화 모드의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 부호화 수단을 구비하며, 왜곡 제거 수단이 국소 복호 화상의 블록 왜곡을 제거할 때, 부호화 모드 결정 수단에 의해 결정된 부호화 모드에 따라 블록 왜곡을 제거하는 필터의 강도를 신호 성분별로 설정하도록 한 것이다.

본 발명에 의하면, 입력 화상을, 예측 처리가 실시될 때의 처리 단위로 되는 블록으로 분할하는 블록 분할 수단과, 블록 분할 수단에 의해 분할되는 블록에 대한 부호화 모드를 결정하는 부호화 모드 결정 수단과, 부호화 모드 결정 수단에 의해 결정된 부호화 모드에 따라 부호화 완료 블록의 국소 복호 화상을 참조하면서, 블록 분할 수단에 의해 분할된 블록에 대한 예측 처리를 실시하여, 예측 화상을 생성하는 예측 화상 생성 수단과, 블록 분할 수단에 의해 분할된 블록과 예측 화상 생성 수단에 의해 생성된 예측 화상의 차분 화상을 생성하는 차분 화상 생성 수단과, 차분 화상 생성 수단에 의해 생성된 차분 화상을 압축하고, 그 차분 화상의 압축 데이터를 출력하는 화상 압축 수단과, 화상 압축 수단에 의해 압축된 차분 화상을 신장하고, 신장 후의 차분 화상과 예측 화상 생성 수단에 의해 생성된 예측 화상을 가산하여 국소 복호 화상을 생성하는 국소 복호 화상 생성 수단과, 국소 복호 화상 생성 수단에 의해 생성된 국소 복호 화상에 대한 필터링 처리를 실시하여, 그 국소 복호 화상의 블록 왜곡을 제거하는 왜곡 제거 수단과, 화상 압축 수단으로부터 출력된 압축 데이터 및 부호화 모드 결정 수단에 의해 결정된 부호화 모드를 부호화하고, 그 압축 데이터 및 부호화 모드의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 부호화 수단을 구비하며, 왜곡 제거 수단이 국소 복호 화상의 블록 왜곡을 제거할 때, 부호화 모드 결정 수단에 의해 결정된 부호화 모드에 따라 블록 왜곡을 제거하는 필터의 강도를 신호 성분별로 설정하도록 구성했기 때문에, 블록 왜곡의 제거 정밀도를 높이고, 부호화 화상의 품질을 개선할 수 있는 효과가 있다.

도 1은 본 발명의 실시 형태 1에 따른 화상 부호화 장치를 나타내는 구성도이다.
도 2는 본 발명의 실시 형태 1에 따른 화상 부호화 장치의 처리 내용을 나타내는 흐름도이다.
도 3은 본 발명의 실시 형태 1에 따른 화상 복호 장치를 나타내는 구성도이다.
도 4는 본 발명의 실시 형태 1에 따른 화상 복호 장치의 처리 내용을 나타내는 흐름도이다.
도 5는 최대 사이즈의 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 모양을 나타내는 설명도이다.
도 6(a)는 분할 후의 파티션의 분포를 나타내고, (b)는 계층 분할 후의 파티션에 부호화 모드 m(Bⁿ)이 할당되는 상황을 쿼드트리(quadtree) 그래프로 나타내는 설명도이다.
도 7은 부호화 블록 내의 필터 적용 화소의 위치를 나타내는 설명도이다.
도 8은 루프 필터부(11)의 처리 내용을 나타내는 흐름도이다.
도 9는 필터 강도의 판정 방법을 나타내는 흐름도이다.
도 10은 에지 위치와 화소 위치의 관계를 나타내는 설명도이다.
도 11은 수직 에지에 대한 필터링 처리의 단위를 나타내는 설명도이다.
도 12는 수평 에지에 대한 필터링 처리의 단위를 나타내는 설명도이다.
도 13은 Q(휘도의 qP값)와 파라미터 β, Tc의 대응 관계를 나타내는 설명도이다.
도 14는 가변 길이 부호화부(13)에 의해 생성되는 비트스트림을 나타내는 설명도이다.
도 15는 부호화 블록 Bⁿ의 사이즈가 Lⁿ=kMⁿ인 예를 나타내는 설명도이다.
도 16은 비특허문헌 1에 개시되어 있는 화상 부호화 장치를 나타내는 구성도이다.

이하, 본 발명을 보다 상세히 설명하기 위해서, 본 발명을 실시하기 위한 형태에 대해 첨부한 도면에 따라 설명한다.

(실시 형태 1)

본 실시 형태 1에서는, 영상의 각 프레임 화상을 입력받고, 근접 프레임간에 움직임 보상 예측을 실시함으로써 얻어지는 예측 차분 신호에 대해 직교 변환이나 양자화에 의한 압축 처리를 실시한 후에 가변 길이 부호화를 행하여 비트스트림을 생성하는 화상 부호화 장치와, 그 화상 부호화 장치로부터 출력된 비트스트림을 복호하는 화상 복호 장치에 대해 설명한다.

본 실시 형태 1의 화상 부호화 장치는, 영상 신호의 공간·시간 방향의 국소적인 변화에 적응하여, 영상 신호를 다양한 사이즈의 영역으로 분할해서 프레임내·프레임간 적응 부호화를 행하는 것을 특징으로 하고 있다.

일반적으로 영상 신호는 공간·시간적으로 신호의 복잡함이 국소적으로 변화되는 특성을 가지고 있다. 공간적으로 보면, 어느 특정의 영상 프레임 상에서는, 하늘이나 벽 등과 같은 비교적 넓은 화상 영역 중에서 균일한 신호 특성을 가지는 패턴도 있으면, 인물이나 미세한 텍스쳐(texture)를 가진 회화 등 작은 화상 영역 내에서 복잡한 텍스쳐 패턴을 가지는 패턴도 혼재하는 경우가 있다.

시간적으로 보아도, 하늘이나 벽은 국소적으로 시간 방향의 패턴의 변화가 작지만, 움직이는 인물이나 물체는 그 윤곽이 시간적으로 강체·비강체의 운동을 하기 때문에, 시간적인 변화가 크다.

부호화 처리는, 시간·공간적인 예측에 의해서 신호 전력이나 엔트로피가 작은 예측 차분 신호를 생성함으로써, 전체의 부호량을 삭감하지만, 예측을 위한 파라미터를 가능한 한 큰 화상 신호 영역에 균일하게 적용할 수 있으면, 당해 파라미터의 부호량을 작게 할 수 있다.

한편, 시간적·공간적으로 변화가 큰 화상 신호 패턴에 대해, 동일한 예측 파라미터를 적용하면, 예측의 오류가 증가하기 때문에, 예측 차분 신호의 부호량을 삭감할 수 없다.

그래서, 시간적·공간적으로 변화가 큰 화상 신호 패턴에 대해서는, 예측 대상의 영역을 작게 하여, 예측을 위한 파라미터의 데이터량을 증가시켜도 예측 차분 신호의 전력·엔트로피를 저감하는 쪽이 바람직하다.

이러한 영상 신호의 일반적인 성질에 적응한 부호화를 행하기 위해, 본 실시 형태 1의 화상 부호화 장치에서는, 소정의 최대 블록 사이즈로부터 계층적으로 영상 신호의 영역을 분할하고, 분할 영역마다 예측 처리나, 예측 차분의 부호화 처리를 실시하도록 하고 있다.

본 실시 형태 1의 화상 부호화 장치가 처리 대상으로 하는 영상 신호는, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색 공간의 컬러 영상 신호 외에, 흑백 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평·수직 2차원의 디지털 샘플(화소)열로 구성되는 임의의 영상 신호이다.

각 화소의 계조는 8비트라도 좋고, 10비트, 12비트 등의 계조이어도 좋다.

단, 이하의 설명에서는, 특별히 말하지 않는 한, 입력되는 영상 신호가 YUV 신호인 것으로 한다. 또한, 2개의 색차 성분 U, V가 휘도 성분 Y에 대해, 서브 샘플된 4:2:0 포맷의 신호인 것으로 한다.

또, 영상의 각 프레임에 대응하는 처리 데이터 단위를 「픽쳐」라고 칭하고, 본 실시 형태 1에서는, 「픽쳐」는 순차적으로 주사(프로그래시브 스캔)된 영상 프레임의 신호로서 설명을 행한다. 단, 영상 신호가 인터레이스 신호인 경우, 「픽쳐」는 영상 프레임을 구성하는 단위인 필드 화상 신호이어도 좋다. 또한, 이후의 설명에서, 공간적으로 연속하는 부호화 블록의 그룹을 「슬라이스」라고 기재하는 경우가 있다.

도 1은 본 발명의 실시 형태 1에 따른 화상 부호화 장치를 나타내는 구성도이다.

도 1에 있어서, 부호화 제어부(1)는 움직임 보상 예측 처리(프레임간 예측 처리) 또는 인트라 예측 처리(프레임내 예측 처리)가 실시될 때의 처리 단위로 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정하는 처리를 실시한다.

또한, 부호화 제어부(1)는 이용 가능한 1 이상의 부호화 모드(1 이상의 인트라 부호화 모드, 1 이상의 인터 부호화 모드) 중에서, 계층적으로 분할되는 각각의 부호화 블록에 적절한 부호화 모드를 선택하는 처리를 실시한다. 또, 부호화 제어부(1)는 부호화 모드 결정 수단을 구성하고 있다.

블록 분할부(2)는 입력 화상을 나타내는 영상 신호가 입력되면, 그 영상 신호가 나타내는 입력 화상을 부호화 제어부(1)에 의해 결정된 최대 사이즈의 부호화 블록으로 분할함과 아울러, 부호화 제어부(1)에 의해 결정된 상한의 계층수에 도달할 때까지, 그 부호화 블록을 계층적으로 분할하는 처리를 실시한다. 또, 블록 분할부(2)는 블록 분할 수단을 구성하고 있다.

전환 스위치(3)는 부호화 제어부(1)에 의해 선택된 부호화 모드가 인트라 부호화 모드이면, 블록 분할부(2)에 의해 분할된 부호화 블록을 인트라 예측부(4)에 출력하고, 부호화 제어부(1)에 의해 선택된 부호화 모드가 인터 부호화 모드이면, 블록 분할부(2)에 의해 분할된 부호화 블록을 움직임 보상 예측부(5)에 출력하는 처리를 실시한다.

인트라 예측부(4)는 전환 스위치(3)로부터 블록 분할부(2)에 의해 분할된 부호화 블록을 받으면, 인트라 예측용 메모리(10)에 의해 저장되어 있는 부호화 완료 블록의 국소 복호 화상(참조 화상)을 참조하면서, 부호화 제어부(1)로부터 출력된 인트라 예측 파라미터를 이용하여, 그 부호화 블록에 대한 인트라 예측 처리를 실시해서, 예측 화상을 생성하는 처리를 행한다.

움직임 보상 예측부(5)는 전환 스위치(3)로부터 블록 분할부(2)에 의해 분할된 부호화 블록을 받으면, 그 부호화 블록과 움직임 보상 예측 프레임 메모리(12)에 의해 저장되어 있는 부호화 완료 블록의 국소 복호 화상(참조 화상)을 비교함으로써 움직임 탐색을 실시하여 움직임 벡터를 산출하고, 그 움직임 벡터와 부호화 제어부(1)로부터 출력된 인터 예측 파라미터를 이용하여, 그 부호화 블록에 대한 인터 예측 처리(움직임 보상 예측 처리)를 실시해서 예측 화상을 생성하는 처리를 행한다.

또, 전환 스위치(3), 인트라 예측부(4) 및 움직임 보상 예측부(5)에 의해 예측 화상 생성 수단이 구성되어 있다.

감산부(6)는 블록 분할부(2)에 의해 분할된 부호화 블록으로부터, 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상을 감산함으로써, 차분 화상(= 부호화 블록 - 예측 화상)을 생성하는 처리를 실시한다. 또, 감산부(6)는 차분 화상 생성 수단을 구성하고 있다.

변환·양자화부(7)는 부호화 제어부(1)로부터 출력된 예측 차분 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 감산부(6)에 의해 생성된 차분 화상의 변환 처리(예를 들면, DCT(이산 코사인 변환)나, 미리 특정의 학습 계열에 대해 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시함과 아울러, 그 예측 차분 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 그 차분 화상의 변환 계수를 양자화함으로써, 양자화 후의 변환 계수를 차분 화상의 압축 데이터로서 출력하는 처리를 실시한다. 또, 변환·양자화부(7)는 화상 압축 수단을 구성하고 있다.

역양자화·역변환부(8)는 부호화 제어부(1)로부터 출력된 예측 차분 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 변환·양자화부(7)로부터 출력된 압축 데이터를 역양자화하고, 그 예측 차분 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화 후의 압축 데이터의 역변환 처리(예를 들면, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시함으로써, 역변환 처리 후의 압축 데이터를 국소 복호 예측 차분 신호(신장 후의 차분 화상을 나타내는 데이터)로서 출력하는 처리를 실시한다.

가산부(9)는 역양자화·역변환부(8)로부터 출력된 국소 복호 예측 차분 신호와 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상을 나타내는 예측 신호를 가산함으로써, 국소 복호 화상을 나타내는 국소 복호 화상 신호를 생성하는 처리를 실시한다.

또, 역양자화·역변환부(8) 및 가산부(9)로부터 국소 복호 화상 생성 수단이 구성되어 있다.

인트라 예측용 메모리(10)는 인트라 예측부(4)에 의해 다음회의 인트라 예측 처리에서 이용되는 화상으로서, 가산부(9)에 의해 생성된 국소 복호 화상 신호가 나타내는 국소 복호 화상을 저장하는 RAM 등의 기록 매체이다.

루프 필터부(11)는 가산부(9)에 의해 생성된 국소 복호 화상 신호에 대한 필터링 처리(루프 필터 처리)를 실시함으로써, 블록 경계에 발생하는 왜곡(블록 왜곡)을 제거하는 처리를 행한다.

루프 필터부(11)는 국소 복호 화상의 블록 왜곡을 제거할 때, 부호화 제어부(1)에 의해 선택된 부호화 모드(인트라 부호화 모드, 인터 부호화 모드)에 따라, 블록 왜곡을 제거하는 필터의 강도를 신호 성분(휘도 신호 성분, 색차 신호 성분)별로 설정한다.

또, 루프 필터부(11)는 왜곡 제거 수단을 구성하고 있다.

움직임 보상 예측 프레임 메모리(12)는 움직임 보상 예측부(5)에 의해 다음회의 움직임 보상 예측 처리에서 이용되는 참조 화상으로서, 루프 필터부(11)에 의한 필터링 처리 후의 국소 복호 화상을 저장하는 RAM 등의 기록 매체이다.

가변 길이 부호화부(13)는 변환·양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(1)로부터 출력된 부호화 모드 및 예측 차분 부호화 파라미터와, 인트라 예측부(4)로부터 출력된 인트라 예측 파라미터 또는 움직임 보상 예측부(5)로부터 출력된 인터 예측 파라미터(움직임 벡터를 포함함)를 가변 길이 부호화하고, 그 압축 데이터, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 처리를 실시한다. 또, 가변 길이 부호화부(13)는 부호화 수단을 구성하고 있다.

도 1에서는, 화상 부호화 장치의 구성요소인 부호화 제어부(1), 블록 분할부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환·양자화부(7), 역양자화·역변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13)의 각각이 전용의 하드웨어(예를 들면, CPU를 실장하고 있는 반도체 집적 회로, 혹은, 원칩 마이크로 컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 화상 부호화 장치가 컴퓨터로 구성되는 경우, 부호화 제어부(1), 블록 분할부(2), 전환 스위치(3), 인트라 예측부(4), 움직임 보상 예측부(5), 감산부(6), 변환·양자화부(7), 역양자화·역변환부(8), 가산부(9), 루프 필터부(11) 및 가변 길이 부호화부(13)의 처리 내용을 기술하고 있는 프로그램을 당해 컴퓨터의 메모리에 저장하고, 당해 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하여도 좋다.

도 2는 본 발명의 실시 형태 1에 따른 화상 부호화 장치의 처리 내용을 나타내는 흐름도이다.

도 3은 본 발명의 실시 형태 1에 따른 화상 복호 장치를 나타내는 구성도이다.

도 3에 있어서, 가변 길이 복호부(21)는 비트스트림에 다중화되어 있는 부호화 데이터로부터 계층적으로 분할되어 있는 각각의 부호화 블록에 관한 압축 데이터, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터(움직임 벡터를 포함함)를 가변 길이 복호하고, 그 압축 데이터 및 예측 차분 부호화 파라미터를 역양자화·역변환부(25)에 출력함과 아울러, 그 부호화 모드 및 인트라 예측 파라미터/인터 예측 파라미터를 전환 스위치(22)에 출력하고, 또한, 그 부호화 모드를 루프 필터부(28)에 출력하는 처리를 실시한다. 또, 가변 길이 복호부(21)는 복호 수단을 구성하고 있다.

전환 스위치(22)는 가변 길이 복호부(21)로부터 출력된 부호화 블록에 관한 부호화 모드가 인트라 부호화 모드인 경우, 가변 길이 복호부(21)로부터 출력된 인트라 예측 파라미터를 인트라 예측부(23)에 출력하고, 그 부호화 모드가 인터 부호화 모드인 경우, 가변 길이 복호부(21)로부터 출력된 인터 예측 파라미터를 움직임 보상부(24)에 출력하는 처리를 실시한다.

인트라 예측부(23)는 인트라 예측용 메모리(27)에 의해 저장되어 있는 복호 완료 블록의 복호 화상(참조 화상)을 참조하면서, 전환 스위치(22)로부터 출력된 인트라 예측 파라미터를 이용하여, 당해 부호화 블록에 대한 인트라 예측 처리를 실시해서, 예측 화상을 생성하는 처리를 행한다.

움직임 보상부(24)는 전환 스위치(22)로부터 출력된 인터 예측 파라미터에 포함되어 있는 움직임 벡터와 움직임 보상 예측 프레임 메모리(29)에 의해 저장되어 있는 복호 완료 블록의 복호 화상(참조 화상)을 이용하여, 당해 부호화 블록에 대한 인터 예측 처리를 실시해서, 예측 화상을 생성하는 처리를 행한다.

또, 전환 스위치(22), 인트라 예측부(23) 및 움직임 보상부(24)로 예측 화상 생성 수단이 구성되어 있다.

역양자화·역변환부(25)는 가변 길이 복호부(21)로부터 출력된 예측 차분 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 가변 길이 복호부(21)로부터 출력된 압축 데이터를 역양자화하고, 그 예측 차분 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화 후의 압축 데이터의 역변환 처리(예를 들면, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시함으로써, 역변환 처리 후의 압축 데이터를 복호 예측 차분 신호(압축 전의 차분 화상을 나타내는 신호)로서 출력하는 처리를 행한다. 또, 역양자화·역변환부(25)는 차분 화상 생성 수단을 구성하고 있다.

가산부(26)는 역양자화·역변환부(25)로부터 출력된 복호 예측 차분 신호와 인트라 예측부(23) 또는 움직임 보상부(24)에 의해 생성된 예측 화상을 나타내는 예측 신호를 가산함으로써, 복호 화상을 나타내는 복호 화상 신호를 생성하는 처리를 실시한다. 또, 가산부(26)는 복호 화상 생성 수단을 구성하고 있다.

인트라 예측용 메모리(27)은 인트라 예측부(23)에 의해 다음회의 인트라 예측 처리에서 이용되는 화상으로서, 가산부(26)에 의해 생성된 복호 화상 신호가 나타내는 복호 화상을 저장하는 RAM 등의 기록 매체이다.

루프 필터부(28)는 가산부(26)에 의해 생성된 복호 화상 신호에 대한 필터링 처리(루프 필터 처리)를 실시함으로써, 블록 경계에 발생하는 왜곡(블록 왜곡)을 제거하는 처리를 행한다.

루프 필터부(28)는 복호 화상의 블록 왜곡을 제거할 때, 가변 길이 복호부(21)로부터 출력된 부호화 모드(인트라 부호화 모드, 인터 부호화 모드)에 따라, 블록 왜곡을 제거하는 필터의 강도를 신호 성분(휘도 신호 성분, 색차 신호 성분)별로 설정한다.

또, 루프 필터부(28)는 왜곡 제거 수단을 구성하고 있다.

움직임 보상 예측 프레임 메모리(29)는 움직임 보상부(24)에 의해 다음회의 움직임 보상 예측 처리에서 이용되는 참조 화상으로서, 루프 필터부(28)에 의한 필터링 처리 후의 복호 화상을 저장하는 RAM 등의 기록 매체이다.

도 3에서는, 화상 복호 장치의 구성요소인 가변 길이 복호부(21), 전환 스위치(22), 인트라 예측부(23), 움직임 보상부(24), 역양자화·역변환부(25), 가산부(26) 및 루프 필터부(28)의 각각이 전용의 하드웨어(예를 들면, CPU를 실장하고 있는 반도체 집적 회로, 혹은, 원칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 화상 복호 장치가 컴퓨터로 구성되는 경우, 가변 길이 복호부(21), 전환 스위치(22), 인트라 예측부(23), 움직임 보상부(24), 역양자화·역변환부(25), 가산부(26) 및 루프 필터부(28)의 처리 내용을 기술하고 있는 프로그램을 당해 컴퓨터의 메모리에 저장하고, 당해 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하여도 좋다.

도 4는 본 발명의 실시 형태 1에 따른 화상 복호 장치의 처리 내용을 나타내는 흐름도이다.

다음으로 동작에 대해 설명한다.

최초로, 도 1의 화상 부호화 장치의 처리 내용을 설명한다.

우선, 부호화 제어부(1)는, 움직임 보상 예측 처리(프레임간 예측 처리) 또는 인트라 예측 처리(프레임내 예측 처리)가 실시될 때의 처리 단위로 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정한다(도 2의 스텝 ST1).

부호화 블록의 최대 사이즈의 결정 방법으로서, 예를 들면, 모든 픽쳐에 대해, 입력 화상의 해상도에 따른 사이즈로 결정하는 방법을 생각할 수 있다.

또한, 입력 화상의 국소적인 움직임의 복잡함의 차이를 파라미터로서 정량화해 두고, 움직임이 격렬한 픽쳐에서는 최대 사이즈를 작은 값으로 결정하고, 움직임이 적은 픽쳐에서는 최대 사이즈를 큰 값으로 결정하는 방법 등을 생각할 수 있다.

상한의 계층수에 대해서는, 예를 들면, 입력 화상의 움직임이 격렬할수록, 계층수를 깊게 하여, 보다 미세한 움직임을 검출할 수 있도록 설정하고, 입력 화상의 움직임이 적으면, 계층수를 억제하도록 설정하는 방법을 생각할 수 있다.

또한, 부호화 제어부(1)는, 이용 가능한 1 이상의 부호화 모드(M 종류의 인트라 부호화 모드, N 종류의 인터 부호화 모드) 중에서, 계층적으로 분할되는 각각의 부호화 블록에 적합한 부호화 모드를 선택한다(스텝 ST2).

부호화 제어부(1)에 의한 부호화 모드의 선택 방법은 공지의 기술이기 때문에 상세한 설명을 생략하지만, 예를 들면, 이용 가능한 임의의 부호화 모드를 이용하여, 부호화 블록에 대한 부호화 처리를 실시해서 부호화 효율을 검증하고, 이용 가능한 복수의 부호화 모드 중에서, 가장 부호화 효율이 좋은 부호화 모드를 선택하는 방법 등이 있다.

블록 분할부(2)는, 입력 화상을 나타내는 영상 신호를 입력하면, 그 영상 신호가 나타내는 입력 화상을 부호화 제어부(1)에 의해 결정된 최대 사이즈의 부호화 블록으로 분할함과 아울러, 부호화 제어부(1)에 의해 결정된 상한의 계층수에 이를 때까지, 그 부호화 블록을 계층적으로 분할한다(스텝 ST3).

여기서, 도 5는 최대 사이즈의 부호화 블록이 계층적으로 복수의 부호화 블록으로 분할되는 모양을 나타내는 설명도이다.

도 5의 예에서는, 최대 사이즈의 부호화 블록은 제 0 계층의 부호화 블록 B⁰이고, 휘도 성분으로 (L⁰, M⁰)의 사이즈를 갖고 있다.

또한, 도 5의 예에서는, 최대 사이즈의 부호화 블록 B⁰을 출발점으로 하여, 쿼드트리 구조로, 별도로 정하는 소정의 깊이까지 계층적으로 분할을 행하는 것에 의해서, 부호화 블록 Bⁿ을 얻고 있다.

깊이 n에서는, 부호화 블록 Bⁿ은 사이즈(Lⁿ, Mⁿ)의 화상 영역이다.

단, Lⁿ과 Mⁿ은 동일하더라도 좋고 차이가 나도 좋지만, 도 5의 예에서는 Lⁿ=Mⁿ의 케이스를 나타내고 있다.

이후, 부호화 블록 Bⁿ의 사이즈는 부호화 블록 Bⁿ의 휘도 성분에서의 사이즈(Lⁿ, Mⁿ)으로 정의한다.

블록 분할부(2)는, 쿼드트리 분할을 행하기 위해, 항상 (Lⁿ ⁺¹, Mⁿ ⁺¹)=(Lⁿ/2, Mⁿ/2)가 성립된다.

단, RGB 신호 등과 같이, 모든 색 성분이 동일 샘플수를 가지는 컬러 영상 신호(4:4:4 포맷)에서는, 모든 색 성분의 사이즈가 (Lⁿ, Mⁿ)으로 되지만, 4:2:0 포맷을 취급하는 경우, 대응하는 색차 성분의 부호화 블록의 사이즈는 (Lⁿ/2, Mⁿ/2)이다.

이후, 제 n 계층의 부호화 블록 Bⁿ으로 선택할 수 있는 부호화 모드를 m(Bⁿ)으로 기재한다.

복수의 색 성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bⁿ)은 각 색 성분마다, 각각 개별의 모드를 이용하도록 구성되어도 좋지만, 이후, 특별히 언급하지 않는 한, YUV 신호, 4:2:0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 지칭하는 것으로서 설명을 행한다.

부호화 모드 m(Bⁿ)에는, 1개 내지 복수의 인트라 부호화 모드(총칭하여 「INTRA」), 1개 내지 복수의 인터 부호화 모드(총칭하여 「INTER」)가 있으며, 부호화 제어부(1)는, 상술한 바와 같이, 당해 픽쳐에서 이용 가능한 모든 부호화 모드 내지는, 그 부분 집합 중에서, 부호화 블록 Bⁿ에 대해 가장 부호화 효율이 좋은 부호화 모드를 선택한다.

부호화 블록 Bⁿ은, 도 5에 나타내는 바와 같이, 1개 내지 복수의 예측 처리 단위(파티션)로 더 분할된다.

이후, 부호화 블록 Bⁿ에 속하는 파티션을 P_i ⁿ(i: 제 n 계층에서의 파티션 번호)이라고 표기한다.

부호화 블록 Bⁿ에 속하는 파티션 P_i ⁿ의 분할이 어떻게 이루어져 있는지는 부호화 모드 m(Bⁿ) 중에 정보로서 포함된다.

파티션 P_i ⁿ은, 모두 부호화 모드 m(Bⁿ)에 따라 예측 처리가 행해지지만, 파티션 P_i ⁿ마다 개별의 예측 파라미터를 선택할 수 있다.

부호화 제어부(1)는, 최대 사이즈의 부호화 블록에 대해, 예를 들면, 도 6에 나타내는 블록 분할 상태를 생성하고, 부호화 블록 Bⁿ을 특정한다.

도 6(a)의 해칭 부분은 분할 후의 파티션의 분포를 나타내고, 또한, 도 6(b)는 계층 분할 후의 파티션에 부호화 모드 m(Bⁿ)이 할당되는 상황을 쿼드트리 그래프로 나타내고 있다.

도 6(b)에 있어서, □로 둘러싸여 있는 노드가, 부호화 모드 m(Bⁿ)이 할당된 노드(부호화 블록 Bⁿ)를 나타내고 있다.

전환 스위치(3)는, 부호화 제어부(1)가 각각의 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대해 최적인 부호화 모드 m(Bⁿ)을 선택하면, 그 부호화 모드 m(Bⁿ)이 인트라 부호화 모드이면(스텝 ST4), 블록 분할부(2)에 의해 분할된 부호화 블록 Bⁿ의 파티션 P_i ⁿ을 인트라 예측부(4)에 출력한다.

한편, 그 부호화 모드 m(Bⁿ)이 인터 부호화 모드이면(스텝 ST4), 블록 분할부(2)에 의해 분할된 부호화 블록 Bⁿ의 파티션 P_i ⁿ을 움직임 보상 예측부(5)에 출력한다.

인트라 예측부(4)는, 전환 스위치(3)로부터 부호화 블록 Bⁿ의 파티션 P_i ⁿ을 받으면, 인트라 예측용 메모리(10)에 의해 저장되어 있는 부호화 완료 블록의 국소 복호 화상을 참조하면서, 부호화 제어부(1)에 의해 선택된 부호화 모드 m(Bⁿ)에 대응하는 인트라 예측 파라미터를 이용하여, 그 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대한 인트라 예측 처리를 실시해서, 인트라 예측 화상 P_i ⁿ을 생성한다(스텝 ST5).

인트라 예측부(4)는, 인트라 예측 화상 P_i ⁿ을 생성하면, 그 인트라 예측 화상 P_i ⁿ을 감산부(6) 및 가산부(9)에 출력하지만, 도 3의 화상 복호 장치에서도 동일한 인트라 예측 화상 P_i ⁿ을 생성할 수 있도록 하기 위해서, 그 인트라 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.

또, 인트라 예측부(4)의 인트라 예측 처리는, 예를 들면, AVC/H.264 규격(ISO/IEC 14496-10)에 정해져 있는 알고리즘에 따르지만, 이 알고리즘에 한정되는 것은 아니다.

움직임 보상 예측부(5)는, 전환 스위치(3)로부터 부호화 블록 Bⁿ의 파티션 P_i ⁿ을 받으면, 그 부호화 블록 Bⁿ의 파티션 P_i ⁿ과 움직임 보상 예측 프레임 메모리(12)에 의해 저장되어 있는 부호화 완료 블록의 국소 복호 화상을 비교함으로써 움직임 탐색을 실시하여 움직임 벡터를 산출하고, 그 움직임 벡터와 부호화 제어부(1)로부터 출력된 인터 예측 파라미터를 이용해서, 그 부호화 블록에 대한 인터 예측 처리를 실시하여 인터 예측 화상 P_i ⁿ을 생성한다(스텝 ST6).

움직임 보상 예측부(5)는, 인터 예측 화상 P_i ⁿ을 생성하면, 그 인터 예측 화상 P_i ⁿ을 감산부(6) 및 가산부(9)에 출력하지만, 도 3의 화상 복호 장치에서도 동일한 인터 예측 화상 P_i ⁿ을 생성할 수 있도록 하기 위해서, 그 인터 예측 파라미터를 가변 길이 부호화부(13)에 출력한다.

또, 인터 예측 파라미터에는 하기의 정보가 포함되어 있다.

(1) 부호화 블록 Bⁿ 내의 파티션 P_i ⁿ의 분할 상황을 기술하고 있는 모드 정보

(2) 파티션 P_i ⁿ의 움직임 벡터

(3) 움직임 보상 예측 프레임 메모리(12)에 의해 복수의 국소 복호 화상(참조 화상)이 저장되어 있는 경우, 어느 하나의 참조 화상을 이용하여, 인터 예측 처리를 실시할지를 나타내는 참조 화상의 지시 인덱스 정보

(4) 복수의 움직임 벡터의 예측값 후보가 있는 경우, 어느 움직임 벡터의 예측값을 선택하여 사용할지를 나타내는 인덱스 정보

(5) 복수의 움직임 보상 내삽 필터가 있는 경우, 어느 필터를 선택하여 사용할지를 나타내는 인덱스 정보

(6) 파티션 P_i ⁿ의 움직임 벡터가 복수의 화소 정밀도(반 화소, 1/4 화소, 1/8 화소 등)를 나타내는 것이 가능한 경우, 어느 화소 정밀도를 사용할지를 나타내는 선택 정보

감산부(6)는, 인트라 예측부(4) 또는 움직임 보상 예측부(5)가 예측 화상(인트라 예측 화상 P_i ⁿ, 인터 예측 화상 P_i ⁿ)을 생성하면, 블록 분할부(2)에 의해 분할된 부호화 블록 Bⁿ의 파티션 P_i ⁿ로부터, 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상(인트라 예측 화상 P_i ⁿ, 인터 예측 화상 P_i ⁿ)을 감산함으로써 차분 화상을 생성하고, 그 차분 화상을 나타내는 예측 차분 신호 e_i ⁿ을 변환·양자화부(7)에 출력한다(스텝 ST7).

변환·양자화부(7)는, 감산부(6)로부터 차분 화상을 나타내는 예측 차분 신호 e_i ⁿ을 받으면, 부호화 제어부(1)로부터 출력된 예측 차분 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 그 차분 화상의 변환 처리(예를 들면, DCT(이산 코사인 변환)나, 미리 특정의 학습 계열에 대해 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시함과 아울러, 그 예측 차분 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 그 차분 화상의 변환 계수를 양자화함으로써, 양자화 후의 변환 계수를 차분 화상의 압축 데이터로서 역양자화·역변환부(8) 및 가변 길이 부호화부(13)에 출력한다(스텝 ST8).

역양자화·역변환부(8)는, 변환·양자화부(7)로부터 차분 화상의 압축 데이터를 받으면, 부호화 제어부(1)로부터 출력된 예측 차분 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 그 차분 화상의 압축 데이터를 역양자화하고, 그 예측 차분 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화 후의 압축 데이터의 역변환 처리(예를 들면, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시함으로써, 역변환 처리 후의 압축 데이터를 국소 복호 예측 차분 신호로서 가산부(9)에 출력한다(스텝 ST9).

가산부(9)는, 역양자화·역변환부(8)로부터 국소 복호 예측 차분 신호를 받으면, 그 국소 복호 예측 차분 신호와, 인트라 예측부(4) 또는 움직임 보상 예측부(5)에 의해 생성된 예측 화상(인트라 예측 화상 P_i ⁿ, 인터 예측 화상 P_i ⁿ)을 나타내는 예측 신호를 가산함으로써, 국소 복호 파티션 화상 내지는 그 그룹으로서의 국소 복호 블록 화상인 국소 복호 화상을 생성한다(스텝 ST10).

가산부(9)는, 국소 복호 화상을 생성하면, 그 국소 복호 화상을 나타내는 국소 복호 화상 신호를 인트라 예측용 메모리(10)에 저장함과 아울러, 그 국소 복호 화상 신호를 루프 필터부(11)에 출력한다.

루프 필터부(11)는, 가산부(9)로부터 국소 복호 화상 신호를 받으면, 그 국소 복호 화상 신호에 대한 필터링 처리를 실시함으로써, 블록 경계에 발생하는 왜곡(블록 왜곡)을 제거한다(스텝 ST11).

루프 필터부(11)에서의 처리 내용의 상세한 것은 후술하지만, 국소 복호 화상의 블록 왜곡을 제거할 때, 부호화 제어부(1)에 의해 선택된 부호화 모드(인트라 부호화 모드, 인터 부호화 모드)에 따라, 블록 왜곡을 제거하는 필터의 강도를 신호 성분(휘도 신호 성분, 색차 신호 성분)별로 설정한다.

또, 루프 필터부(11)에 의한 필터링 처리는, 가산부(9)로부터 출력되는 국소 복호 화상 신호의 최대 부호화 블록 혹은 개개의 부호화 블록 단위로 행하여도 좋고, 1화면분의 매크로 블록에 상당하는 국소 복호 화상 신호가 출력된 후에 1화면분 통합하여 행하여도 좋다.

스텝 ST4~ST10의 처리는, 계층적으로 분할된 모든 부호화 블록 Bⁿ에 대한 처리가 완료될 때까지 반복 실시되고, 모든 부호화 블록 Bⁿ에 대한 처리가 완료되면 스텝 ST13의 처리로 이행한다(스텝 ST12).

가변 길이 부호화부(13)는, 변환·양자화부(7)로부터 출력된 압축 데이터와, 부호화 제어부(1)로부터 출력된 부호화 모드(부호화 블록의 분할 상태를 나타내는 정보를 포함함) 및 예측 차분 부호화 파라미터와, 인트라 예측부(4)로부터 출력된 인트라 예측 파라미터 또는 움직임 보상 예측부(5)로부터 출력된 인터 예측 파라미터(움직임 벡터를 포함함)를 엔트로피 부호화한다.

가변 길이 부호화부(13)는, 엔트로피 부호화의 부호화 결과인 압축 데이터, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터의 부호화 데이터를 다중화하여 비트스트림을 생성한다(스텝 ST13).

이하, 루프 필터부(11)에 의한 필터링 처리를 구체적으로 설명한다.

루프 필터부(11)는 상술한 예측 처리 단위인 파티션과 변환 블록의 경계에 발생하는 블록 노이즈를 저감시키는 비선형 평활화 필터이다.

도 7은 부호화 블록 내의 필터 적용 화소의 위치를 나타내는 설명도이다.

도 7에 있어서, 수직 에지 및 수평 에지와 파티션 또는 변환 블록의 블록 경계가 겹치는 위치가 필터 처리의 대상으로 된다.

도 7에서는, 수직 에지 및 수평 에지가 K×K 화소 그리드(grid)로 나타내고 있다. K의 값은 고정값으로 정해도 좋고, 부호화 블록의 최대 사이즈나 파티션·변환 블록의 최대 사이즈 등에 따라 설정하여도 좋다.

도 8은 루프 필터부(11)의 처리 내용을 나타내는 흐름도이다.

루프 필터부(11)에 의한 필터링 처리는 부호화 블록마다 실행된다.

우선, 루프 필터부(11)는 수직 에지 및 수평 에지가, 파티션 또는 변환 블록의 경계와 일치하는지 여부를 판정한다(스텝 ST41).

루프 필터부(11)는, 파티션 또는 변환 블록의 경계와 일치하고 있는 수직 에지 또는 수평 에지가 존재하는 경우, 경계와 일치하고 있는 개소의 필터 강도 판정을 행한다(스텝 ST42, ST43). 필터 강도의 판정 방법은 후술한다.

루프 필터부(11)는, 필터 강도 판정을 행하면, 그 필터 강도의 판정 결과나 실제로 필터링 처리의 대상으로 되는 화소값의 변화량에 따라, 최종적인 필터의 강도를 바꾸면서 필터링 처리를 행한다(스텝 ST44, ST45). 필터링 처리의 방법은 후술한다.

루프 필터부(11)는 픽쳐 내의 모든 부호화 블록에 대한 처리가 완료될 때까지 스텝 ST41~45의 처리를 반복하여 실시한다(스텝 ST46).

또, 슬라이스 헤더에는, 슬라이스 내의 모든 부호화 블록에 본 루프 필터의 처리를 실시할지 여부의 식별 정보를 다중화하는 것으로 하고, 화상 부호화 장치는 상황에 따라 동 식별 정보의 값을 결정하여 화상 복호 장치에 전송하도록 구성된다.

다음으로, 루프 필터부(11)에 의한 필터 강도의 판정 처리를 설명한다.

도 9는 필터 강도의 판정 방법을 나타내는 흐름도이다.

루프 필터부(11)는, 수직 에지와 수평 에지에 인접하는 전(全) 화소에 대해, 하기의 조건에서 필터 강도 bS를 구한다(스텝 ST51).

이하의 설명에서는, 에지 근방의 화소를 p_i(i=0, 1, 2, 3), q_j(j=0, 1, 2, 3)의 기호로 나타내고 있지만, 에지 위치와 화소 위치의 관계는 도 10과 같이 정의된다.

부호화 블록 중에는, 휘도 신호 성분의 블록과 색차 신호 성분의 블록이 포함되지만, 루프 필터부(11)에서는, 이하의 조건에서 필터 강도의 판정을 행한다.

(1) 필터 처리 대상의 부호화 블록의 부호화 모드가 인트라 부호화 모드인지 인터 부호화 모드인지

(2) 필터링 처리를 행하는 신호 성분이 휘도 신호 성분인지 색차 신호 성분인지

(3) 필터 처리 대상의 화소를 포함하는 변환 블록 내에, 영이 아닌 변환 계수가 포함되어 있는지 여부

(4) 필터 처리 대상의 화소를 포함하는 파티션 중의 움직임 파라미터 상태

루프 필터부(11)는 이하의 순서로 필터 강도의 판정을 행한다.

(순서 1)

부호화 블록의 경계에 위치하는 에지이고, p₀를 포함하는 부호화 블록 또는 q₀를 포함하는 부호화 블록의 부호화 모드가 「인트라 부호화 모드」인 경우

처리 대상 신호 성분이 휘도 신호 성분 → bS=2

처리 대상 신호 성분이 색차 신호 성분 → bS=4

로 결정한다.

(순서 2)

순서 1에서의 조건에 해당하지 않는 경우에 있어서,

p₀를 포함하는 부호화 블록 또는 q₀를 포함하는 부호화 블록의 부호화 모드가 「인트라 부호화 모드」인 경우

처리 대상 신호 성분이 휘도 신호 성분 → bS=1

처리 대상 신호 성분이 색차 신호 성분 → bS=3

으로 결정한다.

(순서 3)

순서 1, 2에서의 조건에 해당하지 않는 경우에 있어서,

p₀ 또는 q₀가 영이 아닌 직교 변환 계수를 가지는 변환 블록에 속하는 경우

처리 대상 신호 성분이 휘도 신호 성분 → bS=2

처리 대상 신호 성분이 색차 신호 성분 → bS=2

로 결정한다.

(순서 4)

순서 1~3에서의 조건에 해당하지 않는 경우에 있어서, 이하 중 어느 하나의 조건을 만족하는 경우

처리 대상 신호 성분이 휘도 신호 성분 → bS=1

처리 대상 신호 성분이 색차 신호 성분 → bS=1

로 결정한다.

[조건]

· p₀를 포함하는 파티션과 q₀를 포함하는 파티션이,

상이한 참조 픽쳐를 갖고 있는지 또는 상이한 수의 움직임 벡터를 갖고 있다

· p₀를 포함하는 파티션과 q₀를 포함하는 파티션에서,

각각 1개의 움직임 벡터가 사용되고,

쌍방의 움직임 벡터의 수평 성분 또는 수직 성분의 차분 절대값이 1/4 화소 정밀도로 4 이상이다

· p₀를 포함하는 파티션과 q₀를 포함하는 파티션에서,

각각 2개의 움직임 벡터가 사용되고,

동일한 참조 픽쳐를 가리키는 움직임 벡터 페어(p₀에서의 움직임 벡터와 q₀에서의 움직임 벡터의 페어)의 적어도 1쌍에서,

(순서 5)

순서 1~4에서의 조건에 해당하지 않는 경우(파티션/변환 블록의 경계 이외의 에지도 본 조건에 해당)

처리 대상 신호 성분이 휘도 신호 성분 → bS=0

처리 대상 신호 성분이 색차 신호 성분 → bS=0

으로 결정한다.

처리 대상의 부호화 블록의 부호화 모드가 인트라 부호화 모드인 경우, 인터 예측에 의한 프레임간 예측의 경우에 비하여, 휘도 신호·색차 신호 모두, 예측 잔차 전력이 크고, 양자화된 변환 계수의 분포가 신호 성분마다 크게 상이할 확률이 높아진다.

블록 왜곡의 정도는, 양자화에 의해서, 얼마나 주관적으로 유효한 변환 계수가 없어지게 되는지에 좌우되기 때문에, 블록 왜곡의 정도를 측정하는 척도인 필터 강도의 값은 특히 인트라 부호화에서, 휘도와 색차로 조정할 수 있는 것이 바람직하다.

종래의 루프 필터(106)(도 16을 참조)에서는, 색차 신호 성분의 필터 강도는 항상, 휘도 신호 성분의 필터 강도와 동일한 값으로 설정되어 있지만, 본 실시 형태 1에서는, 조건에 따라 신호 성분(휘도 신호 성분, 색차 신호 성분)별로 필터 강도를 설정하고 있으므로, 종래보다 화질의 개선에 기여하는 필터 강도가 얻어진다.

루프 필터부(11)는, 필터 강도 판정을 행하면, 필터 강도의 판정 결과에 근거하여, 수직 에지, 수평 에지의 순으로 필터링 처리를 행한다.

우선, 루프 필터부(11)는, 수직 에지에 대해, K라인마다 필터 강도 bS의 최대치를 구하고, 그 최대값을 bSVer로 한다.

루프 필터부(11)는, 최대값 bSVer에 근거하여, 당해 K라인의 에지 근방 화소에 대한 필터링 처리를 행한다.

도 11은 수직 에지에 대한 필터링 처리의 단위를 나타내는 설명도이다. 수직 에지를 중심으로 하는 K×K 화소가 동일한 bSVer로 된다. 각 화소에 적용되는 최종적인 필터 강도 bS는 최대값 bSVer과 각 화소 위치에서의 화소값의 변화량에 의해서 정해진다.

도 12에는, 수평 에지에 대한 필터링 처리의 단위를 나타내고 있다. 처리의 방향이 수직으로부터 수평으로 변화하는 것 이외는 수직 에지와 동일하다.

이하, 처리 대상 화소에 대한 필터링 처리를 설명한다.

루프 필터부(11)는, 휘도 신호 성분의 수직 에지 방향에 대해, 이하의 순서로 필터링 처리를 행한다. 휘도 신호 성분의 수평 에지 방향에 대한 필터링 처리도 동일한 순서이지만, 최대값 bSVer 대신에, 수평 에지에 대한 K라인 마다의 필터 강도 bS의 최대값 bSHor을 이용한다.

[a] bSVer=0의 경우

필터링 처리를 실시하지 않는다.

[b] bSVer≤2의 경우

(1) 도 13에 있어서, Q=(휘도의 qP값)으로 하는 경우의 파라미터 β, Tc

를 구한다.

도 13은 Q(휘도의 qP값)와 파라미터 β, Tc의 대응 관계를 나타내는 설명도이다.

[c] bSVer＞2의 경우

도 13에 있어서, Q=(휘도의 qP값)으로 하는 경우의 파라미터 β와, Q=(휘도의 qP값+4)로 하는 경우의 파라미터 Tc를 구한다. 이후의 처리는 bSVer≤2의 경우와 동일하다.

루프 필터부(11)는 색차 신호 성분의 수직 에지 방향에 대해, 이하의 순서로 필터링 처리를 행한다. 색차 신호 성분의 수평 에지 방향에 대한 필터링 처리도 동일한 순서이지만, 최대값 bSVer 대신에 최대값 bSHor을 이용한다. bSVer과 bSVer은 동일 포지션의 휘도로 산출한 값이다.

[a] bSVer＞2의 경우

[b] bSVer≤2의 경우

필터링 처리를 행하지 않는다.

화상 부호화 장치의 루프 필터부(11)와 화상 복호 장치의 루프 필터부(28)는, 공통의 처리를 행하지만, 화상 부호화 장치의 루프 필터부(11)가, 필터 강도의 판정에 대해, 제어용의 파라미터를 마련하도록 구성하여도 좋다.

예를 들면, 슬라이스 레벨로 필터 강도 bS의 값을 시그널링할지 여부를 나타내는 식별 정보를 다중함으로써, 슬라이스마다, 필터 강도 bS의 설정값을 변경할 수 있도록 구성하여도 좋다.

그 때의 변경은, 휘도 신호 성분만으로 하고, 색차 신호 성분은 고정으로 하여도 좋고, 반대로 휘도 신호 성분은 고정으로 하고, 색차 신호 성분만을 변경할 수 있도록 구성하여도 좋다.

설정값의 시그널링은 값 그 자체라도 좋고, 필터 강도 bS를 디폴트값으로 하는 오프셋값의 형식이어도 상관없다. 색차 신호 성분의 필터 강도를 휘도 신호 성분의 필터 강도의 오프셋값으로서 표현하도록 하여도 좋다.

또한, 특히 부호화 모드가 인트라 부호화 모드인 경우의 필터 강도 bS의 설정값을 값 그 자체 내지는 오프셋값으로 하여 시그널링 하도록 구성할 수도 있다. 예를 들면, 루프 필터부(11)는,이하의 순서로 필터 강도의 판정을 행하도록 구성할 수 있다.

인트라 부호화 모드로 부호화되는 부호화 블록에 대해, 휘도 성분에 대한 필터 강도값을 bSL, 색차 성분에 대한 필터 강도값을 bSC로 하고, bSL과 bSC는 픽쳐 레벨의 헤더나 슬라이스 헤더 등의 신택스 정보(syntax information)로서 비트스트림에 다중화하여 부호화 장치와 복호화 장치에서 공유할 수 있도록 해 둔다. 이 때,

(순서 1)

부호화 블록의 경계에 위치하는 에지이고, p₀를 포함하는 부호화 블록, 또는, q₀를 포함하는 부호화 블록의 부호화 모드가 「인트라 부호화 모드」인 경우

처리 대상 신호 성분이 휘도 신호 성분 → bS=max(4-bSL, 0)

처리 대상 신호 성분이 색차 신호 성분 → bS=max(4-bSC, 0)

으로 결정한다. 여기서, max(A,B)는 A와 B 중 큰 쪽의 값을 출력하는 함수이다.

(순서 2)

순서 1에서의 조건에 해당하지 않는 경우에 있어서,

처리 대상 신호 성분이 휘도 신호 성분 → bS=max(3-bSL, 0)

처리 대상 신호 성분이 색차 신호 성분 → bS=max(3-bSC, 0)

으로 결정한다.

부호화 모드가 인트라 부호화 모드인 경우에는, 압축 처리 과정에서 움직임 예측이 유효하게 기능하지 않고, 어쩔수 없이 인트라 부호화를 행하는 경우와, 오류 내성이나 랜덤 액세스의 관점에서 주기적·의도적으로 인트라 부호화를 발생시키는 경우가 있다.

어쩔수 없이 인트라 부호화를 행하는 경우는 부호화의 어려움에 대응하여 왜곡이 중첩되는데 반하여, 주기적·의도적으로 인트라 부호화를 발생시키는 경우는 부호화의 어려움과 직접적으로 관계없이 인트라 부호화가 이용되기 때문에, 각각 블록 왜곡의 발생의 방법에 차이가 생긴다.

종래의 루프 필터에서는, 이들을 판별하고, 필터 강도를 제어하는 수단이 없다.

주기 인트라 삽입은 슬라이스나 픽쳐의 단위로 실행되기 때문에, 이러한 단위로 필터 강도를 용도에 따라 제어함으로써, 블록 왜곡을 보다 좋게 억제하는 것이 가능하게 된다.

또한, 반대로 부호화 모드가 인터 부호화 모드인 경우의 필터 강도 bS의 설정값을 시그널링하도록 구성하여도 상관없다.

여기서, 도 14는 가변 길이 부호화부(13)에 의해 생성되는 비트스트림을 나타내는 설명도이다.

도 14의 예에서는, 슬라이스 부호화 데이터가 슬라이스 헤더와, 그것에 연속하는 슬라이스 내의 개수분의 최대 부호화 블록 부호화 데이터로 구성되는 모양을 나타내고 있다.

각 최대 부호화 블록 부호화 데이터는 부호화 모드를 포함하고 있다. 도시하고 있지 않지만, 최대 부호화 블록 부호화 데이터에는, 부호화 블록마다, 파티션 단위의 움직임 벡터 등의 예측 파라미터, 변환 블록 사이즈 등의 예측 차분 부호화 파라미터, 예측 차분 부호화 데이터(양자화 완료된 변환 계수)를 포함하고 있다.

슬라이스 헤더에는, 슬라이스 내의 모든 부호화 블록에 본 루프 필터의 처리를 행할지 여부의 식별 정보인 루프 필터 ON/OFF 플래그, 필터 강도 bS의 설정값을 시그널링할지 여부를 나타내는 플래그인 필터 강도 정보 다중화 플래그, 필터 강도 정보 다중화 플래그가 "1"인 경우에 다중하는 필터 강도 정보가 포함되어 있다.

필터 강도 정보 다중화 플래그 및 필터 강도 정보는 픽쳐, 시퀀스나 GOP(Group Of Pictures) 등의 단위로 정의되는 헤더 정보 영역에 다중하도록 구성하여도 좋다.

다음으로, 도 3의 화상 복호 장치의 처리 내용을 설명한다.

가변 길이 복호부(21)는, 도 1의 화상 부호화 장치로부터 출력된 비트스트림을 입력받으면, 그 비트스트림에 대한 가변 길이 복호 처리를 실시하여(도 4의 스텝 ST21), 1 프레임 이상의 픽쳐로 구성되는 시퀀스 단위 혹은 픽쳐 단위로 픽쳐 사이즈(수평 화소수·수직 라인수)를 규정하는 정보를 복호한다.

가변 길이 복호부(21)는, 도 1의 부호화 제어부(1)와 동일한 순서로, 움직임 보상 예측 처리(프레임간 예측 처리) 또는 인트라 예측 처리(프레임내 예측 처리)가 실시될 때의 처리 단위로 되는 부호화 블록의 최대 사이즈를 결정함과 아울러, 최대 사이즈의 부호화 블록이 계층적으로 분할될 때의 상한의 계층수를 결정한다(스텝 ST22).

예를 들면, 화상 부호화 장치에 있어서, 부호화 블록의 최대 사이즈가, 입력 화상의 해상도에 따라 결정되어 있는 경우, 먼저 복호하고 있는 프레임 사이즈에 근거하여 부호화 블록의 최대 사이즈를 결정한다.

또, 부호화 블록의 최대 사이즈 및 상한의 계층수를 나타내는 정보가 비트스트림에 다중화되어 있는 경우에는, 그 비트스트림으로부터 복호한 정보를 참조한다.

비트스트림의 구성이 도 14의 구성인 경우, 가변 길이 복호부(21)는, 최대 부호화 블록 레벨의 복호에 앞서, 슬라이스 헤더로부터 루프 필터 ON/OFF 플래그를 복호한다.

비트스트림에 다중화되어 있는 최대 사이즈의 부호화 블록 B⁰의 부호화 모드 m(B⁰)에는, 최대 사이즈의 부호화 블록 B⁰의 분할 상태를 나타내는 정보가 포함되어 있기 때문에, 가변 길이 복호부(21)는, 비트스트림에 다중화되어 있는 최대 사이즈의 부호화 블록 B⁰의 부호화 모드 m(B⁰)를 복호하고, 계층적으로 분할되어 있는 각각의 부호화 블록 Bⁿ을 특정한다(스텝 ST23).

가변 길이 복호부(21)는, 각각의 부호화 블록 Bⁿ을 특정하면, 그 부호화 블록 Bⁿ의 부호화 모드 m(Bⁿ)를 복호하고, 그 부호화 모드 m(Bⁿ)에 속해 있는 파티션 P_i ⁿ의 정보에 근거하여, 부호화 블록 Bⁿ에 속해 있는 파티션 P_i ⁿ을 특정한다.

가변 길이 복호부(21)는, 부호화 블록 Bⁿ에 속해 있는 파티션 P_i ⁿ을 특정하면, 파티션 P_i ⁿ마다, 압축 데이터, 부호화 모드, 예측 차분 부호화 파라미터, 인트라 예측 파라미터/인터 예측 파라미터(움직임 벡터를 포함함)를 복호한다(스텝 ST24).

전환 스위치(22)는, 가변 길이 복호부(21)로부터 출력된 부호화 블록 Bⁿ에 속해 있는 파티션 P_i ⁿ의 부호화 모드 m(Bⁿ)이 인트라 부호화 모드인 경우(스텝 ST25), 가변 길이 복호부(21)로부터 출력된 인트라 예측 파라미터를 인트라 예측부(23)에 출력한다.

한편, 파티션 P_i ⁿ의 부호화 모드 m(Bⁿ)이 인터 부호화 모드인 경우(스텝 ST25), 가변 길이 복호부(21)로부터 출력된 인터 예측 파라미터를 움직임 보상 예측부(24)에 출력한다.

인트라 예측부(23)는, 전환 스위치(22)로부터 인트라 예측 파라미터를 받으면, 인트라 예측용 메모리(27)에 의해 저장되어 있는 복호 완료 블록의 복호 화상(참조 화상)을 참조하면서, 그 인트라 예측 파라미터를 이용하여, 그 부호화 블록 Bⁿ의 파티션 P_i ⁿ에 대한 인트라 예측 처리를 실시해서 인트라 예측 화상 P_i ⁿ을 생성한다(스텝 ST26).

움직임 보상부(24)는, 전환 스위치(22)로부터 출력된 인터 예측 파라미터를 받으면, 그 인터 예측 파라미터에 포함되어 있는 움직임 벡터와 움직임 보상 예측 프레임 메모리(29)에 의해 저장되어 있는 복호 완료 블록의 복호 화상(참조 화상)을 이용하여, 당해 부호화 블록에 대한 인터 예측 처리를 실시해서 인트라 예측 화상 P_i ⁿ을 생성한다(스텝 ST27).

역양자화·역변환부(25)는, 가변 길이 복호부(21)로부터 출력된 예측 차분 부호화 파라미터에 포함되어 있는 양자화 파라미터를 이용하여, 가변 길이 복호부(21)로부터 출력된 압축 데이터를 역양자화하고, 그 예측 차분 부호화 파라미터에 포함되어 있는 변환 블록 사이즈 단위로, 역양자화 후의 압축 데이터의 역변환 처리(예를 들면, 역DCT(역이산 코사인 변환)나, 역KL 변환 등의 역변환 처리)를 실시함으로써, 역변환 처리 후의 압축 데이터를 복호 예측 차분 신호(압축 전의 차분 화상을 나타내는 신호)로서 가산부(26)에 출력한다(스텝 ST28).

가산부(26)는, 역양자화·역변환부(25)로부터 복호 예측 차분 신호를 받으면, 그 복호 예측 차분 신호와 인트라 예측부(23) 또는 움직임 보상부(24)에 의해 생성된 예측 화상을 나타내는 예측 신호를 가산함으로써 복호 화상을 생성하고, 그 복호 화상을 나타내는 복호 화상 신호를 인트라 예측용 메모리(27)에 저장함과 아울러, 그 복호 화상 신호를 루프 필터부(28)에 출력한다(스텝 ST29).

스텝 ST23~ST29의 처리는 계층적으로 분할된 모든 부호화 블록 Bⁿ에 대한 처리가 완료될 때까지 반복 실시된다(스텝 ST30).

루프 필터부(28)는, 가산부(26)로부터 복호 화상 신호를 받으면, 그 복호 화상 신호에 대한 필터링 처리를 실시함으로써, 블록 경계에 발생하는 왜곡(블록 왜곡)을 제거하고, 왜곡 제거 후의 복호 화상 신호가 나타내는 복호 화상을 움직임 보상 예측 프레임 메모리(29)에 저장한다.

루프 필터부(28)에서의 필터링 처리는, 도 1의 루프 필터부(11)에서의 필터링 처리와 동일하며, 그 복호 화상의 블록 왜곡을 제거할 때, 가변 길이 복호부(21)로부터 출력된 부호화 모드(인트라 부호화 모드, 인터 부호화 모드)에 따라, 블록 왜곡을 제거하는 필터의 강도를 신호 성분(휘도 신호 성분, 색차 신호 성분)별로 설정한다.

또, 가변 길이 복호부(21)에 의해 슬라이스 헤더로부터 필터 강도 정보 다중화 플래그 및 필터 강도 정보가 복호되어 있는 경우에는, 그 필터 강도 정보가 나타내는 필터 강도 bS로 필터링 처리를 실행한다.

이상으로 명백한 바와 같이, 본 실시 형태 1에 의하면, 화상 복호 장치의 루프 필터부(28)가, 복호 화상의 블록 왜곡을 제거할 때, 가변 길이 복호부(21)로부터 출력된 부호화 모드(인트라 부호화 모드, 인터 부호화 모드)에 따라, 블록 왜곡을 제거하는 필터의 강도를 신호 성분(휘도 신호 성분, 색차 신호 성분)별로 설정하도록 구성했기 때문에, 블록 왜곡의 제거 정밀도를 높여, 복호 화상의 품질을 개선할 수 있는 효과를 얻을 수 있다.

이상의 설명에서는, 프레임간 움직임 보상 예측 처리(인터 예측 처리)를 실시하는 화상 부호화 장치 및 화상 복호 장치의 예를 나타냈지만, 모든 프레임에 대해, 프레임내 예측 처리(인트라 예측 처리)를 실시하는 화상 부호화 장치 및 화상 복호 장치이더라도, 루프 필터부(11, 28)가 블록 왜곡을 제거하도록 구성하여도 좋다.

프레임내 예측 처리(인트라 예측 처리)와 프레임간 움직임 보상 예측 처리(인터 예측 처리)를 조합하여 실시하는 화상 부호화 장치 및 화상 복호 장치에 있어서, 모든 프레임을 인트라 예측 처리로 부호화하도록 설정했을 때에, 루프 필터부(11, 28)의 동작을 이용하지 않도록 제어하는 것도 가능하다.

본 실시 형태 1에서는, 도 5에 나타내는 바와 같이, 부호화 블록 Bⁿ의 사이즈가 Lⁿ=Mⁿ인 것을 나타냈지만, 부호화 블록 Bⁿ의 사이즈가 Lⁿ≠Mⁿ이어도 좋다.

예를 들면, 도 15에 나타내는 바와 같이, 부호화 블록 Bⁿ의 사이즈가 Lⁿ=kMⁿ으로 되는 경우를 생각할 수 있다.

다음의 분할에서는 (Lⁿ ⁺¹, Mⁿ ⁺¹)=(Lⁿ, Mⁿ)으로 되고, 이후의 분할은, 도 5와 동일한 분할을 행하여도 좋고, (Lⁿ ⁺¹, Mⁿ ⁺¹)=(Lⁿ/2, Mⁿ/2)와 같이 분할을 행하여도 좋다.

이러한 구성에 의해, 예를 들면, M⁰=16으로 하는 것에 의해, MPEG-2(ISO/IEC 13818-2)나 MPEG-4AVC/H.264(ISO/IEC 14496-10)와 같은 16×16 화소로 이루어지는 매크로 블록을 횡(橫)으로 연결하는 구성의 최대 부호화 블록을 정의할 수 있어, 기존 방식과의 호환성을 유지한 화상 부호화 장치를 구성하기 쉽다고 하는 효과가 있다.

또, Lⁿ=kMⁿ이 아니고, kLⁿ=Mⁿ과 같이, 종(縱)으로 연결한 것이어도 동일한 생각으로, 분할이 가능하다는 것은 말할 필요도 없다.

또, 본원 발명은 그 발명의 범위 내에서, 실시 형태의 임의의 구성요소의 변형, 혹은 실시 형태의 임의의 구성요소의 생략이 가능하다.

(산업상의 이용 가능성)

본 발명에 따른 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법은, 부호화 모드에 따라 필터의 강도를 신호 성분별로 설정하는 것을 구비하며, 블록 왜곡의 제거 정밀도를 높여, 부호화 화상의 품질을 개선할 수 있기 때문에, MPEG이나 ITU-TH.26x 등의 국제 표준 영상 부호화 방식에 적용할 수 있다.

1: 부호화 제어부(부호화 모드 결정 수단)
2: 블록 분할부(블록 분할 수단)
3: 전환 스위치(예측 화상 생성 수단)
4: 인트라 예측부(예측 화상 생성 수단)
5: 움직임 보상 예측부(예측 화상 생성 수단)
6: 감산부(차분 화상 생성 수단)
7: 변환·양자화부(화상 압축 수단)
8: 역양자화·역변환부(국소 복호 화상)
9: 가산부(국소 복호 화상)
10: 인트라 예측용 메모리
11: 루프 필터부(왜곡 제거 수단)
12: 움직임 보상 예측 프레임 메모리
13: 가변 길이 부호화부(부호화 수단)
21: 가변 길이 복호부(복호 수단)
22: 전환 스위치(예측 화상 생성 수단)
23: 인트라 예측부(예측 화상 생성 수단)
24: 움직임 보상부(예측 화상 생성 수단)
25: 역양자화·역변환부(차분 화상 생성 수단)
26: 가산부(복호 화상 생성 수단)
27: 인트라 예측용 메모리
28: 루프 필터부(왜곡 제거 수단)
29: 움직임 보상 예측 프레임 메모리
101: 블록 분할부
102: 예측부
103: 압축부
104: 국소 복호부
105: 가산기
106: 루프 필터
107: 메모리
108: 가변 길이 부호화부

Claims

입력 화상이 분할된 부호화 처리 단위의 블록에 대해 결정된 부호화 모드에 따라, 상기 블록에 대한 부호화 처리를 실시하여, 압축 데이터를 출력하는 화상 부호화 장치로서,
상기 블록의 예측 화상을 생성하는 예측 화상 생성 수단과,
상기 블록과 상기 예측 화상 생성 수단에 의해 생성된 예측 화상의 차분 화상을 압축하여, 상기 차분 화상의 압축 데이터를 출력하는 화상 압축 수단과,
상기 화상 압축 수단에 의해 압축된 차분 화상을 신장하고, 신장 후의 차분 화상과 상기 예측 화상 생성 수단에 의해 생성된 예측 화상을 가산하여 생성된 복호 화상에 대한 필터링 처리를 실시해서, 상기 복호 화상의 블록 왜곡을 제거하는 왜곡 제거 수단과,
상기 화상 압축 수단으로부터 출력된 압축 데이터, 부호화 모드의 정보 및 오프셋을 부호화하여, 상기 압축 데이터, 상기 부호화 모드의 정보 및 상기 오프셋의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 부호화 수단
을 구비하되,
상기 왜곡 제거 수단은, 상기 복호 화상의 블록 왜곡을 제거할 때, 대상 블록 내의 변환 블록 경계와 예측 블록 경계를 판정하고, 상기 블록 경계의 판정 결과와 상기 부호화 모드에 따라 상기 블록 경계의 블록 왜곡을 제거하는 필터의 필터 강도에 관한 파라미터를 산출하고, 상기 파라미터와 상기 파라미터에 가산하는 오프셋을 나타내는 상기 오프셋을 이용하여 필터의 종별을 정하는 것
을 특징으로 하는 화상 부호화 장치.
화상을 블록 단위로 압축 부호화한 비트스트림을 입력받아 복호 화상을 생성하는 화상 복호 장치로서,
상기 비트스트림으로부터 상기 블록에 관한 압축 데이터, 부호화 모드의 정보 및 오프셋을 복호하는 복호 수단과,
상기 복호 수단에 의해 복호된 부호화 모드의 정보에 따라 복호 완료 화소를 참조하여, 상기 블록에 대한 예측 화상을 생성하는 예측 화상 생성 수단과,
상기 복호 수단에 의해 복호된 압축 데이터로부터 생성된 차분 화상과 상기 예측 화상 생성 수단에 의해 생성된 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성 수단과,
상기 복호 화상 생성 수단에 의해 생성된 복호 화상에 대한 필터링 처리를 실시하여, 상기 복호 화상의 블록 왜곡을 제거하는 왜곡 제거 수단
을 구비하되,
상기 왜곡 제거 수단은, 상기 복호 화상의 블록 왜곡을 제거할 때, 대상 블록 내의 변환 블록 경계와 예측 블록 경계를 판정하고, 상기 블록 경계의 판정 결과와 상기 복호 수단에 의해 복호된 부호화 모드의 정보에 따라 상기 블록 경계의 블록 왜곡을 제거하는 필터의 필터 강도에 관한 파라미터를 산출하고, 상기 파라미터와 상기 파라미터에 가산하는 오프셋을 나타내는 상기 오프셋을 이용하여 필터의 종별을 정하는 것
을 특징으로 하는 화상 복호 장치.
입력 화상이 분할된 부호화 처리 단위로 되는 블록에 대해 결정된 부호화 모드에 따라 부호화 완료 블록의 복호 화상을 참조하여, 상기 블록에 대한 예측 처리를 실시해서, 예측 화상을 생성하는 예측 화상 생성 처리 스텝과,
화상 압축 수단이, 상기 블록과 상기 예측 화상 생성 처리 스텝에서 생성된 예측 화상의 차분 화상을 압축하여, 상기 차분 화상의 압축 데이터를 출력하는 화상 압축 처리 스텝과,
왜곡 제거 수단이, 상기 화상 압축 처리 스텝에서 압축된 차분 화상을 신장하고, 신장 후의 차분 화상과 상기 예측 화상 생성 처리 스텝에서 생성된 예측 화상을 가산하여 생성된 복호 화상에 대한 필터링 처리를 실시해서, 상기 복호 화상의 블록 왜곡을 제거하는 왜곡 제거 처리 스텝과,
부호화 수단이, 상기 화상 압축 처리 스텝에서 출력된 압축 데이터, 부호화 모드의 정보 및 오프셋을 부호화하여, 상기 압축 데이터, 상기 부호화 모드의 정보 및 상기 오프셋의 부호화 데이터가 다중화되어 있는 비트스트림을 생성하는 부호화 처리 스텝
을 구비하되,
상기 왜곡 제거 처리 스텝에서는, 상기 복호 화상의 블록 왜곡을 제거할 때, 대상 블록 내의 변환 블록 경계와 예측 블록 경계를 판정하고, 상기 블록 경계의 판정 결과와 상기 부호화 모드에 따라 상기 블록 경계의 블록 왜곡을 제거하는 필터의 필터 강도에 관한 파라미터를 산출하고, 상기 파라미터와 상기 파라미터에 가산하는 오프셋을 나타내는 상기 오프셋을 이용하여 필터의 종별을 정하는 것
을 특징으로 하는 화상 부호화 방법.
복호 수단이, 비트스트림에 다중화되어 있는 부호화 데이터로부터 블록에 관한 압축 데이터, 부호화 모드의 정보 및 오프셋을 복호하는 복호 처리 스텝과,
예측 화상 생성 수단이, 상기 복호 처리 스텝에서 복호된 부호화 모드의 정보에 따라 복호 완료 화소를 참조하여, 상기 블록에 대한 예측 처리를 실시해서, 예측 화상을 생성하는 예측 화상 생성 처리 스텝과,
복호 화상 생성 수단이, 상기 복호 처리 스텝에서 복호된 압축 데이터로부터 생성된 차분 화상과 상기 예측 화상 생성 처리 스텝에서 생성된 예측 화상을 가산하여 복호 화상을 생성하는 복호 화상 생성 처리 스텝과,
왜곡 제거 수단이, 상기 복호 화상 생성 처리 스텝에서 생성된 복호 화상에 대한 필터링 처리를 실시하여, 상기 복호 화상의 블록 왜곡을 제거하는 왜곡 제거 처리 스텝
을 구비하되,
상기 왜곡 제거 처리 스텝에서는, 상기 복호 화상의 블록 왜곡을 제거할 때, 대상 블록 내의 변환 블록 경계와 예측 블록 경계를 판정하고, 상기 블록 경계의 판정 결과와 상기 복호 처리 스텝에서 복호된 부호화 모드의 정보에 따라 상기 블록 경계의 블록 왜곡을 제거하는 필터의 필터 강도에 관한 파라미터를 산출하고, 상기 파라미터와 상기 파라미터에 가산하는 오프셋을 나타내는 상기 오프셋을 이용하여 필터의 종별을 정하는 것
을 특징으로 하는 화상 복호 방법.
화상을 블록 단위로 압축 부호화한 비트스트림을 기억하는 기억 매체로서,
상기 비트스트림은 ,
블록에 관한 압축 데이터와,
블록에 대한 예측 처리를 실시하여 예측 화상을 생성할 때, 복호 완료 화소의 참조 방법을 결정하는 부호화 모드의 정보와,
상기 압축 데이터로부터 생성된 차분 화상과 상기 부호화 모드에 근거하여 생성된 예측 화상을 가산한 복호 화상의 블록 왜곡을 제거하는 필터링 처리를 위한 오프셋을 포함하고,
상기 오프셋은, 상기 필터링 처리가 대상 블록 내의 변환 블록 경계와 예측 블록 경계를 판정하고, 상기 블록 경계의 판정 결과와 상기 부호화 모드의 정보에 따라 상기 블록 경계의 블록 왜곡을 제거하는 필터의 필터 강도에 관한 파라미터를 산출하고, 상기 파라미터와 상기 파라미터에 가산하는 오프셋을 나타내는 상기 오프셋을 이용하여 필터의 종별을 정하는 때에 이용되는 것
을 특징으로 하는 상기 비트스트림을 기억하는 기억 매체.
삭제