KR101972726B1 - 복호 장치 및 방법 - Google Patents

Abstract

본 발명은 복호 화상의 화질을 향상하고, 또한, 움직임 보상에 있어서, 이제부터 참조되는 화상의 화질도 향상시킬 수 있는 화상 처리 장치 및 방법에 관한 것이다. 모스키토 노이즈 필터(114)는 적어도, 연산부(13), 직교 변환부(111), 양자화부(112), 역양자화부(18), 역직교 변환부(19), 연산부(20), 프레임 메모리(22), 스위치(23), 움직임 예측·보상부(25) 및 예측 화상 선택부(26)로 이루어지는 움직임 보상 루프 내에 설치되어 있다. 모스키토 노이즈 필터(114)는 직교 변환부(111), 양자화부(112) 및 가역 부호화부(113)로부터의 정보를 사용하여, 모스키토 노이즈 제거를 위한 필터 처리를 행할 것인지 여부를 결정한다. 본 발명은 예를 들어, H.264/AVC 방식을 기초로 부호화하는 화상 부호화 장치에 적용할 수 있다.

Description

복호 장치 및 방법{DECODING DEVICE AND METHOD THEREOF}

본 발명은 화상 처리 장치 및 방법에 관한 것으로서, 특히, 모스키토 노이즈를 제거함으로써 부호화 효율을 개선하도록 한 화상 처리 장치 및 방법에 관한 것이다.

최근 들어, 화상 정보를 디지털로서 취급하고, 그 때, 효율이 높은 정보의 전송, 축적을 목적으로 하여, 화상 정보 특유의 장황성을 이용하여, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 부호화 방식을 채용하여 화상을 압축 부호하는 장치가 보급되고 있다. 이 부호화 방식에는, 예를 들어, MPEG(Moving Picture Experts Group) 등이 있다.

특히, MPEG2(ISO/IEC 13818-2)는 범용 화상 부호화 방식으로서 정의되어 있고, 비월 주사 화상 및 순차 주사 화상의 양쪽, 및 표준 해상도 화상 및 고정밀 화상을 망라하는 표준이다. 예를 들어, MPEG2는 프로페셔널 용도 및 소비자 용도의 광범위한 어플리케이션에 현재 널리 사용되고 있다. MPEG2 압축 방식을 사용함으로써, 예를 들어 720×480 화소를 갖는 표준 해상도의 비월 주사 화상이면 4 내지 8 Mbps의 부호량(비트레이트)이 할당된다. 또한, MPEG2 압축 방식을 사용함으로써, 예를 들어 1920×1088 화소를 갖는 고해상도의 비월 주사 화상이면 18 내지 22 Mbps의 부호량(비트레이트)이 할당된다. 이에 의해, 높은 압축률과 양호한 화질의 실현이 가능하다.

MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있었지만, MPEG1보다 낮은 부호량(비트레이트), 즉 높은 압축률의 부호화 방식에는 대응하지 않고 있었다. 휴대 단말기의 보급에 의해, 금후 그러한 부호화 방식의 요구는 높아진다고 생각되어, 이것에 대응하여 MPEG4 부호화 방식의 표준화가 행해졌다. 화상 부호화 방식에 대해서는 1998년 12월에 ISO/IEC 14496-2로서 그 규격이 국제 표준으로 승인되었다.

또한, 최근 들어, 당초 텔레비전 회의용의 화상 부호화를 목적으로 하여, H.26L(ITU-T Q6/16VCEG)이라고 하는 표준의 규격화가 진행하고 있다. H.26L은 MPEG2나 MPEG4와 같은 종래의 부호화 방식에 비해, 그 부호화, 복호화에 보다 많은 연산량이 요구되기는 하지만, 보다 높은 부호화 효율이 실현되는 것이 알려져 있다. 또한, 현재, MPEG4의 활동의 일환으로서, 이 H.26L을 기초로, H.26L에서는 서포트되지 않는 기능도 받아들여, 보다 높은 부호화 효율을 실현하는 표준화가 Joint Model of Enhanced-Compression Video Coding으로서 행해지고 있다. 표준화의 스케줄로서는, 2003년 3월에는 H.264 및 MPEG-4Part10(Advanced Video Coding, 이하 H.264/AVC라고 기재함)이라고 하는 국제 표준이 되어 있다.

도 1은 H.264/AVC에 기초한 압축 화상을 출력으로 하는 화상 부호화 장치의 구성예를 도시하는 블록도이다.

도 1의 예에 있어서, 화상 부호화 장치(1)는 A/D 변환부(11), 화면 재배열 버퍼(12), 연산부(13), 직교 변환부(14), 양자화부(15), 가역 부호화부(16), 축적 버퍼(17), 역양자화부(18), 역직교 변환부(19), 연산부(20), 디블록 필터(21), 프레임 메모리(22), 스위치(23), 인트라 예측부(24), 움직임 예측·보상부(25), 예측 화상 선택부(26) 및 레이트 제어부(27)에 의해 구성되어 있다.

A/D 변환부(11)는 입력된 화상을 A/D 변환하고, 화면 재배열 버퍼(12)에 출력하고, 기억시킨다. 화면 재배열 버퍼(12)는 기억한 표시의 순서의 프레임의 화상을 GOP(Group of Picture)에 따라, 부호화를 위한 프레임의 순서대로 재배열한다.

연산부(13)는 화면 재배열 버퍼(12)로부터 판독된 화상으로부터, 예측 화상 선택부(26)에 의해 선택된 인트라 예측부(24)로부터의 예측 화상 또는 움직임 예측·보상부(25)로부터의 예측 화상을 감산하고, 그 차분 정보를 직교 변환부(14)에 출력한다. 직교 변환부(14)는 연산부(13)로부터의 차분 정보에 대하여 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환을 실시하고, 그 변환 계수를 출력한다. 양자화부(15)는 직교 변환부(14)가 출력하는 변환 계수를 양자화한다.

양자화부(15)의 출력이 되는, 양자화된 변환 계수는 가역 부호화부(16)에 입력되고, 여기에서 가변 길이 부호화, 산술 부호화 등의 가역 부호화가 실시되어, 압축된다.

가역 부호화부(16)는 인트라 예측을 나타내는 정보를 인트라 예측부(24)로부터 취득하고, 인터 예측 모드를 나타내는 정보 등을 움직임 예측·보상부(25)로부터 취득한다. 또한, 인트라 예측을 나타내는 정보 및 인터 예측을 나타내는 정보는 이하, 각각 인트라 예측 모드 정보 및 인터 예측 모드 정보라고도 칭한다.

가역 부호화부(16)는 양자화된 변환 계수를 부호화 함과 함께, 인트라 예측을 나타내는 정보, 인터 예측 모드를 나타내는 정보 등을 부호화하고, 압축 화상에 있어서의 헤더 정보의 일부로 한다. 가역 부호화부(16)는 부호화한 데이터를 축적 버퍼(17)에 공급하여 축적시킨다.

예를 들어, 가역 부호화부(16)에서는, 가변 길이 부호화 또는 산술 부호화 등의 가역 부호화 처리가 행해진다. 가변 길이 부호화로서는, H.264/AVC 방식에서 정해져 있는 CAVLC(Context-Adaptive Variable Length Coding) 등을 들 수 있다. 산술 부호화로서는, CABAC(Context-Adaptive Binary Arithmetic Coding) 등을 들 수 있다.

축적 버퍼(17)는 가역 부호화부(16)로부터 공급된 데이터를, H.264/AVC 방식으로 부호화된 압축 화상으로 하여, 예를 들어, 후단의 도시하지 않은 기록 장치나 전송로 등의 복호 측에 출력한다.

또한, 양자화부(15)로부터 출력된, 양자화된 변환 계수는 역양자화부(18)에도 입력되고, 역양자화된 후, 또한 역직교 변환부(19)에서 역직교 변환된다. 역직교 변환된 출력은 연산부(20)에 의해 예측 화상 선택부(26)로부터 공급되는 예측 화상과 가산되어서, 국부적으로 복호된 화상이 된다. 디블록 필터(21)는 복호된 화상의 블록 왜곡을 제거한 후, 프레임 메모리(22)에 공급하고, 축적시킨다. 프레임 메모리(22)에는, 디블록 필터(21)에 의해 디블록 필터 처리되기 전의 화상도 공급되어, 축적된다.

스위치(23)는 프레임 메모리(22)에 축적된 참조 화상을 움직임 예측·보상부(25) 또는 인트라 예측부(24)에 출력한다.

이 화상 부호화 장치(1)에서는, 예를 들어, 화면 재배열 버퍼(12)로부터의 I 픽처, B 픽처, 및 P 픽처가, 인트라 예측(인트라 처리라고도 칭함)하는 화상으로서, 인트라 예측부(24)에 공급된다. 또한, 화면 재배열 버퍼(12)로부터 판독된 B 픽처 및 P 픽처가 인터 예측(인터 처리라고도 칭함)하는 화상으로서, 움직임 예측·보상부(25)에 공급된다.

인트라 예측부(24)는 화면 재배열 버퍼(12)로부터 판독된 인트라 예측하는 화상과 프레임 메모리(22)로부터 공급된 참조 화상에 기초하여, 후보가 되는 모든 인트라 예측 모드의 인트라 예측 처리를 행하고, 예측 화상을 생성한다.

그 때, 인트라 예측부(24)는 후보가 되는 모든 인트라 예측 모드에 대하여 비용 함수값을 산출하고, 산출한 비용 함수값이 최소값을 부여하는 인트라 예측 모드를 최적 인트라 예측 모드로서 선택한다.

인트라 예측부(24)는 최적 인트라 예측 모드에서 생성된 예측 화상과 그 비용 함수값을 예측 화상 선택부(26)에 공급한다. 인트라 예측부(24)는 예측 화상 선택부(26)에 의해 최적 인트라 예측 모드에서 생성된 예측 화상이 선택된 경우, 최적 인트라 예측 모드를 나타내는 정보를 가역 부호화부(16)에 공급한다. 가역 부호화부(16)는 이 정보를 부호화하고, 압축 화상에 있어서의 헤더 정보의 일부로 한다.

움직임 예측·보상부(25)에는, 화면 재배열 버퍼(12)로부터 판독된 인터 처리하는 화상과, 스위치(23)를 거쳐 프레임 메모리(22)로부터 참조 화상이 공급된다. 움직임 예측·보상부(25)는 후보가 되는 모든 인터 예측 모드의 블록의 움직임 예측을 행하고, 각 블록의 움직임 벡터를 생성한다.

움직임 예측·보상부(25)는 예측한 각 블록의 움직임 벡터를 사용하여, 후보가 되는 모든 인터 예측 모드에 대하여 비용 함수값을 산출한다. 움직임 예측·보상부(25)는 산출한 비용 함수값 중, 최소값을 부여하는 블록의 예측 모드를 최적 인터 예측 모드로서 결정한다.

움직임 예측·보상부(25)는 결정된 최적 인터 예측 모드의 대상 블록의 예측 화상과 그 비용 함수값을 예측 화상 선택부(26)에 공급한다. 움직임 예측·보상부(25)는 예측 화상 선택부(26)에 의해 최적 인터 예측 모드의 대상 블록의 예측 화상이 선택된 경우, 최적 인터 예측 모드를 나타내는 정보(인터 예측 모드 정보)를 가역 부호화부(16)에 출력한다.

이때, 움직임 벡터 정보, 참조 프레임 정보 등도 가역 부호화부(16)에 출력된다. 가역 부호화부(16)는 움직임 예측·보상부(25)로부터의 정보를 역시 가변 길이 부호화, 산술 부호화와 같은 가역 부호화 처리하고, 압축 화상의 헤더부에 삽입한다.

예측 화상 선택부(26)는 인트라 예측부(24) 또는 움직임 예측·보상부(25)로부터 출력된 각 비용 함수값에 기초하여, 최적 인트라 예측 모드와 최적 인터 예측 모드로부터, 최적 예측 모드를 결정한다. 그리고, 예측 화상 선택부(26)은 결정된 최적 예측 모드의 예측 화상을 선택하고, 연산부(13, 20)에 공급한다. 이때, 예측 화상 선택부(26)는 예측 화상의 선택 정보를 인트라 예측부(24) 또는 움직임 예측·보상부(25)에 공급한다.

레이트 제어부(27)는 축적 버퍼(17)에 축적된 압축 화상에 기초하여, 오버플로우 또는 언더플로우가 발생하지 않도록, 양자화부(15)의 양자화 동작의 레이트를 제어한다.

도 2는 도 1의 화상 부호화 장치에 대응하는 화상 복호 장치의 구성예를 도시하는 블록도이다.

도 2의 예에 있어서, 화상 복호 장치(31)는 축적 버퍼(41), 가역 복호부(42), 역양자화부(43), 역직교 변환부(44), 연산부(45), 디블록 필터(46), 화면 재배열 버퍼(47), D/A 변환부(48), 프레임 메모리(49), 스위치(50), 인트라 예측부(51), 움직임 보상부(52) 및 스위치(53)에 의해 구성되어 있다.

축적 버퍼(41)는 전송되어 온 압축 화상을 축적한다. 가역 복호부(42)는 축적 버퍼(41)로부터 공급된, 도 1의 가역 부호화부(16)에 의해 부호화된 정보를 가역 부호화부(16)의 부호화 방식에 대응하는 방식으로 복호한다. 역양자화부(43)는 가역 복호부(42)에 의해 복호된 화상을 도 1의 양자화부(15)의 양자화 방식에 대응하는 방식으로 역양자화한다. 역직교 변환부(44)는 도 1의 직교 변환부(14)의 직교 변환 방식에 대응하는 방식으로 역양자화부(43)의 출력을 역직교 변환한다.

역직교 변환된 출력은 연산부(45)에 의해 스위치(53)로부터 공급되는 예측 화상과 가산되어서 복호된다. 디블록 필터(46)는 복호된 화상의 블록 왜곡을 제거한 후, 프레임 메모리(49)에 공급하고, 축적시킴과 함께, 화면 재배열 버퍼(47)에 출력한다.

화면 재배열 버퍼(47)는 화상의 재배열을 행한다. 즉, 도 1의 화면 재배열 버퍼(12)에 의해 부호화의 순서를 위하여 재배열된 프레임의 순서가, 원래의 표시의 순서대로 재배열된다. D/A 변환부(48)는 화면 재배열 버퍼(47)로부터 공급된 화상을 D/A 변환하고, 도시하지 않은 디스플레이에 출력하고, 표시시킨다.

스위치(50)는 인터 처리되는 화상과 참조되는 화상을 프레임 메모리(49)로부터 판독하고, 움직임 보상부(52)에 출력함과 함께, 인트라 예측에 사용되는 화상을 프레임 메모리(49)로부터 판독하고, 인트라 예측부(51)에 공급한다.

인트라 예측부(51)에는, 헤더 정보를 복호하여 얻어진 인트라 예측 모드를 나타내는 정보가 가역 복호부(42)로부터 공급된다. 인트라 예측부(51)는 이 정보에 기초하여, 예측 화상을 생성하고, 생성한 예측 화상을 스위치(53)에 출력한다.

움직임 보상부(52)에는, 헤더 정보를 복호하여 얻어진 정보 중, 인터 예측 모드 정보, 움직임 벡터 정보, 참조 프레임 정보 등이 가역 복호부(42)로부터 공급된다. 인터 예측 모드 정보는 매크로 블록마다 송신되어 온다. 움직임 벡터 정보나 참조 프레임 정보는 대상 블록마다 송신되어 온다.

움직임 보상부(52)는 가역 복호부(42)로부터 공급되는 인터 예측 모드 정보가 나타내는 예측 모드에서, 가역 복호부(42)로부터 공급되는 움직임 벡터 정보 및 참조 프레임 정보 등을 사용하여, 대상 블록에 대한 예측 화상의 화소값을 생성한다. 생성된 예측 화상의 화소값은 스위치(53)를 거쳐 연산부(45)에 공급된다.

스위치(53)는 움직임 보상부(52) 또는 인트라 예측부(51)에 의해 생성된 예측 화상을 선택하고, 연산부(45)에 공급한다.

또한, 이 H.264/AVC의 확장으로서, RGB나 4:2:2, 4:4:4와 같은, 업무용으로 필요한 부호화 툴이나, MPEG-2에서 규정되어 있었던 8x8DCT나 양자화 매트릭스도 포함한 FRExt(Fidelity Range Extension)의 표준화가 2005년 2월에 완료되었다. 이에 의해, H.264/AVC를 사용하여, 영화에 포함되는 필름 노이즈도 양호하게 표현하는 것이 가능한 부호화 방식이 되어, Blu-Ray Disc(상표) 등의 폭넓은 어플리케이션에 사용되게 되었다.

그러나, 요즘, 하이비전 화상의 4배인, 4000×2000 화소 정도의 화상을 압축하고자 하는, 또는, 인터넷과 같은, 한정된 전송 용량의 환경에 있어서, 하이비전 화상을 배신하고자 하는 등, 더욱 고압축률 부호화에 대한 요구가 높아지고 있다. 이로 인해, 상술한, ITU-T 산하의 VCEG(=Video Coding Expert Group)에 있어서, 부호화 효율의 개선에 관한 검토가 계속되어 행해지고 있다.

이러한 부호화 효율 개선의 1 방법으로서, 비특허문헌 1에 있어서, 적응 루프 필터(ALF(Adaptive Loop Filter))와 같은 방법이 제안되어 있다.

도 3은 적응 루프 필터를 적용한 화상 부호화 장치의 구성예를 도시하는 블록도이다. 또한, 도 3의 예에 있어서, 설명의 편의 상, 도 1의 A/D 변환부(11), 화면 재배열 버퍼(12), 축적 버퍼(17), 스위치(23), 인트라 예측부(24), 예측 화상 선택부(26) 및 레이트 제어부(27)는 생략되어 있다. 또한, 화살표 등도 적절히 생략되어 있다. 따라서, 도 3의 예의 경우, 프레임 메모리(22)로부터의 참조 화상은 움직임 예측·보상부(25)에 직접 입력되고, 움직임 예측·보상부(25)로부터의 예측 화상은 연산부(13 및 20)에 직접 출력되고 있다.

즉, 도 3의 화상 부호화 장치(61)는 디블록 필터(21)와 프레임 메모리(22)의 사이에 적응 루프 필터(71)가 추가된 점만이 도 1의 화상 부호화 장치(1)와 상이하다.

적응 루프 필터(71)는 화면 재배열 버퍼(12)(도시는 생략)로부터의 원 화상과의 잔차를 최소로 하도록, 적응 루프 필터 계수의 산출을 행하고, 이 적응 루프 필터 계수를 사용하여, 디블록 필터(21)로부터의 복호 화상에 필터 처리를 행한다. 이 필터로서, 예를 들어, 위너 필터(Wiener Filter)가 사용된다.

또한, 적응 루프 필터(71)는 산출한 적응 루프 필터 계수를 가역 부호화부(16)에 보낸다. 가역 부호화부(16)에서는, 이 적응 루프 필터 계수를 가변 길이 부호화, 산술 부호화와 같은 가역 부호화 처리하고, 압축 화상의 헤더부에 삽입한다.

도 4는, 도 3의 화상 부호화 장치에 대응하는 화상 복호 장치의 구성예를 도시하는 블록도이다. 또한, 도 4의 예에 있어서, 설명의 편의상, 도 2의 축적 버퍼(41), 화면 재배열 버퍼(47), D/A 변환부(48), 스위치(50), 인트라 예측부(51) 및 스위치(53)는 생략되어 있다. 또한, 화살표 등도 적절히 생략되어 있다. 따라서, 도 4의 예의 경우, 프레임 메모리(49)로부터의 참조 화상은 움직임 보상부(52)에 직접 입력되고, 움직임 보상부(52)로부터의 예측 화상은 연산부(45)에 직접 출력되어 있다.

즉, 도 4의 화상 복호 장치(81)는 디블록 필터(46)와 프레임 메모리(49)의 사이에 적응 루프 필터(91)가 추가된 점만이 도 2의 화상 복호 장치(31)와 상이하다.

적응 루프 필터(91)에는, 가역 복호부(42)로부터 복호되어, 헤더로부터 추출된 적응 루프 필터 계수가 공급된다. 적응 루프 필터(91)는 공급된 필터 계수를 사용하여, 디블록 필터(46)로부터의 복호 화상에 필터 처리를 행한다. 이 필터로서, 예를 들어, 위너 필터(Wiener Filter)가 사용된다.

이에 의해, 복호 화상의 화질을 향상시키고, 또한, 참조 화상의 화질도 향상시킬 수 있다.

그런데, 상술한 H.264/AVC 방식에 있어서, 매크로 블록 사이즈는 16×16 화소이다. 그러나, 매크로 블록 사이즈를 16×16 화소로 하는 것은, 차세대 부호화 방식의 대상으로 되는 UHD(Ultra High Definition; 4000×2000 화소)와 같은 큰 화면 프레임에 대해서는 최적이 아니다.

따라서, 비특허문헌 2 등에 있어서는, 매크로 블록 사이즈를, 예를 들어, 32×32 화소와 같은 크기로 확장하는 것도 제안되어 있다.

Takeshi. Chujoh, et al., 「Block-based Adaptive Loop Filter」 ITU-T SG16 Q6 VCEG Contribution, AI18, Germany, July, 2008 「Video Coding Using Extended Block Sizes」 , VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP Question 16-Contribution 123, Jan 2009

여기서, MPEG과 같은 블록 베이스의 부호화를 행할 때에 발생할 가능성이 있는 화질 열화로서, 블록 노이즈(왜곡)와 마찬가지로, 모스키토 노이즈(왜곡)를 들 수 있다. 도 1의 화상 부호화 장치(1) 및 도 2의 화상 복호 장치(31)에서는, 디블록 필터(21)에 의해, 움직임 보상 루프 내에서, 블록 노이즈를 제거하는 것은 가능하지만, 모스키토 노이즈를 제거하는 것이 곤란하다.

또한, 비특허문헌 2에 기술된 바와 같이, 32×32 화소, 64×64 화소와 같은, 종래의 H.264/AVC 방식보다도 큰 크기의 매크로 블록에 있어서, 예를 들어, 16×16 화소 단위의 직교 변환이 사용되게 되면, 이 모스키토 노이즈가, 화질상, 보다 현저하게 발생해버릴 우려가 있다.

본 발명은 이러한 상황을 감안하여 이루어진 것으로서, 모스키토 노이즈를 제거함으로써, 부호화 효율을 개선할 수 있는 것이다.

본 발명의 제1 측면의 화상 처리 장치는, 화상의 움직임 보상 루프 내에 상기 화상에 있어서의 처리 대상의 매크로 블록에 대하여 상기 매크로 블록의 직교 변환 크기 및 부호화 정보에 있어서의 구문 요소에 따른 제어에 의해 모스키토 노이즈를 제거하는 필터 처리를 행하는 필터 처리 수단과, 상기 화상과 상기 부호화 정보를 부호화하는 부호화 수단을 구비한다.

상기 부호화 정보에 있어서의 구문 요소는 상기 매크로 블록에 대한 상기 발생 부호량 및 양자화 스케일이도록 할 수 있다.

상기 필터 처리 수단은 상기 매크로 블록의 직교 변환 크기에 따라서 임계값을 결정하는 임계값 결정 수단과, 상기 매크로 블록에 대한 상기 발생 부호량에 관한 정보 및 양자화 스케일을 사용하여, 상기 매크로 블록의 난도(難度) 파라미터를 산출하는 난도 파라미터 산출 수단과, 상기 난도 파라미터 산출 수단에 의해 산출된 상기 난도 파라미터가 상기 임계값 결정 수단에 의해 결정된 상기 임계값보다도 큰 경우에, 상기 매크로 블록에 대하여 상기 필터 처리를 행하도록 제어하는 필터 처리 제어 수단을 구비하도록 할 수 있다.

상기 임계값은 유저가 설정 가능한 오프셋값을 포함하도록 할 수 있다.

상기 필터 처리 수단은 상기 발생 부호량에 관한 정보로서 발생 비트를 사용하도록 할 수 있다.

상기 필터 처리 수단은 가역 부호화 방식으로서, CABAC이 사용되는 경우에는, 상기 발생 부호량에 관한 정보로서 발생 비트 또는 발생 bin을 사용하도록 할 수 있다.

상기 부호화 정보에 있어서의 구문 요소는 상기 매크로 블록에 있어서의 양자화 파라미터 및 양자화 후의 비0 직교 변환 계수의 개수이도록 할 수 있다.

상기 필터 처리 수단은 상기 매크로 블록의 직교 변환 크기 및 양자화 파라미터에 따라서 임계값을 결정하는 임계값 결정 수단과, 상기 매크로 블록에 있어서의 상기 양자화 후의 비0 직교 변환 계수의 개수가, 상기 임계값 결정 수단에 의해 결정된 상기 임계값보다도 큰 경우에, 상기 매크로 블록에 대하여 상기 필터 처리를 행하도록 제어하는 필터 처리 제어 수단을 구비하도록 할 수 있다.

상기 임계값은 유저가 설정 가능한 오프셋값을 포함하도록 할 수 있다.

상기 부호화 정보에 있어서의 구문 요소는 상기 매크로 블록에 대한 움직임 벡터 정보이도록 할 수 있다.

상기 필터 처리 수단은 상기 필터 처리로서, 상기 매크로 블록에 포함되는 화소값에 대해서, 대상 화소를 중심으로 한 소정의 창 크기를 갖는 2차원 필터에 의한 평활화 처리를 행하도록 할 수 있다.

본 발명의 제1 측면의 화상 처리 방법은, 화상 처리 장치의 필터 처리 수단이, 화상의 움직임 보상 루프 내에서, 상기 화상에 있어서의 처리 대상의 매크로 블록에 대하여 상기 매크로 블록의 직교 변환 크기 및 부호화 정보에 있어서의 구문 요소에 따른 제어에 의해 모스키토 노이즈를 제거하는 필터 처리를 행하고, 부호화 수단이 상기 화상과 상기 부호화 정보를 부호화하는 스텝을 포함한다.

본 발명의 제1 측면에 있어서는, 화상의 움직임 보상 루프 내에서, 상기 화상에 있어서의 처리 대상의 매크로 블록에 대하여 상기 매크로 블록의 직교 변환 크기에 따른 제어에 의해 모스키토 노이즈를 제거하는 필터 처리가 행해지고, 상기 화상과 상기 부호화 정보가 부호화된다.

본 발명의 제2 측면의 화상 처리 장치는, 화상의 움직임 보상 루프 내에 상기 화상에 있어서의 처리 대상의 매크로 블록에 대하여 상기 매크로 블록의 직교 변환 크기 및 부호화 정보에 있어서의 구문 요소에 따른 제어에 의해 모스키토 노이즈를 제거하는 필터 처리를 행하는 필터 처리 수단과, 부호화되어 있는 상기 화상과 상기 부호화 정보를 복호하는 복호 수단을 구비한다.

본 발명의 제2 측면의 화상 처리 방법은, 화상 처리 장치의 필터 처리 수단이, 화상의 움직임 보상 루프 내에서, 상기 화상에 있어서의 처리 대상의 매크로 블록에 대하여 상기 매크로 블록의 직교 변환 크기 및 부호화 정보에 있어서의 구문 요소에 따른 제어에 의해 모스키토 노이즈를 제거하는 필터 처리를 행하고, 복호 수단이 부호화되어 있는 상기 화상과 상기 부호화 정보를 복호하는 스텝을 포함한다.

본 발명의 제2 측면에 있어서는, 화상의 움직임 보상 루프 내에서, 상기 화상에 있어서의 처리 대상의 매크로 블록에 대하여 상기 매크로 블록의 직교 변환 크기에 따른 제어에 의해 모스키토 노이즈를 제거하는 필터 처리가 행해지고, 부호화되어 있는 상기 화상과 상기 부호화 정보가 복호된다.

또한, 상술한 화상 처리 장치는, 독립한 장치여도 되고, 1개의 화상 부호화 장치 또는 화상 복호 장치를 구성하고 있는 내부 블록이어도 된다.

본 발명에 따르면, 모스키토 노이즈를 제거할 수 있다. 또한, 본 발명에 따르면, 복호 화상과, 참조 화상의 화질을 향상할 수 있다. 이에 의해, 부호화 효율을 개선할 수 있다.

도 1은 H.264/AVC 방식의 화상 부호화 장치의 구성예를 도시하는 블록도이다.
도 2는 H.264/AVC 방식의 화상 복호 장치의 구성예를 도시하는 블록도이다.
도 3은 적응 루프 필터를 적용한 화상 부호화 장치의 구성예를 도시하는 블록도이다.
도 4는 적응 루프 필터를 적용한 화상 복호 장치의 구성예를 도시하는 블록도이다.
도 5는 본 발명을 적용한 화상 부호화 장치의 일 실시 형태의 구성을 도시하는 블록도이다.
도 6은 직교 변환의 단위의 예를 설명하기 위한 도면이다.
도 7은 4×4 직교 변환을 행하는 매크로 블록에 있어서의 처리에 대하여 설명하는 도면이다.
도 8은 정수 변환, 역정수 변환을 버터플라이 연산에 의해 실현하는 방법을 도시하는 도면이다.
도 9는 디블록 필터의 동작 원리를 설명하는 도면이다.
도 10은 Bs의 정의의 방법을 설명하는 도면이다.
도 11은 디블록 필터의 동작 원리를 설명하는 도면이다.
도 12는 indexA 및 indexB와 α 및 β의 값의 대응 관계의 예를 도시하는 도면이다.
도 13은 Bs 및 indexA와 tC0의 대응 관계의 예를 도시하는 도면이다.
도 14는 매크로 블록의 예를 도시하는 도면이다.
도 15는 도 5의 모스키토 노이즈 필터의 구성예를 도시하는 블록도이다.
도 16은 도 5의 모스키토 노이즈 필터의 다른 구성예를 도시하는 블록도이다.
도 17은 도 5의 화상 부호화 장치의 부호화 처리를 설명하는 흐름도이다.
도 18은 도 17의 스텝 S23의 인트라 예측 처리를 설명하는 흐름도이다.
도 19는 도 17의 스텝 S24의 움직임 예측·보상 처리를 설명하는 흐름도이다.
도 20은 도 17의 스텝 S20의 모스키토 노이즈 필터 처리의 예를 설명하는 흐름도이다.
도 21은 도 17의 스텝 S20의 모스키토 노이즈 필터 처리의 다른 예를 설명하는 흐름도이다.
도 22는 본 발명을 적용한 화상 복호 장치의 일 실시 형태의 구성을 도시하는 블록도이다.
도 23은 도 22의 화상 복호 장치의 복호 처리를 설명하는 흐름도이다.
도 24는 도 23의 스텝 S140의 예측 처리를 설명하는 흐름도이다.
도 25는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
도 26은 본 발명을 적용한 텔레비전 수상기의 주된 구성예를 도시하는 블록도이다.
도 27은 본 발명을 적용한 휴대 전화기의 주된 구성예를 도시하는 블록도이다.
도 28은 본 발명을 적용한 하드디스크 레코더의 주된 구성예를 도시하는 블록도이다.
도 29는 본 발명을 적용한 카메라의 주된 구성예를 도시하는 블록도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 설명한다.

[화상 부호화 장치의 구성예]

도 5는 본 발명을 적용한 화상 처리 장치로서의 화상 부호화 장치의 일 실시 형태의 구성을 표현하고 있다.

도 5의 화상 부호화 장치(101)는 A/D 변환부(11), 화면 재배열 버퍼(12), 연산부(13), 축적 버퍼(17), 역양자화부(18), 역직교 변환부(19), 연산부(20), 디블록 필터(21), 프레임 메모리(22), 스위치(23), 인트라 예측부(24), 움직임 예측·보상부(25), 예측 화상 선택부(26) 및 레이트 제어부(27)를 구비하는 점에서, 도 1의 화상 부호화 장치(1)와 공통되고 있다.

또한, 도 5의 화상 부호화 장치(101)는 직교 변환부(14), 양자화부(15) 및 가역 부호화부(16)와, 직교 변환부(111), 양자화부(112) 및 가역 부호화부(113)가 각각 교체된 점 및 도 3의 적응 루프 필터(71) 및 모스키토 노이즈 필터(114)가 추가된 점에서, 도 1의 화상 부호화 장치(1)와 상이하다.

즉, 직교 변환부(111)는 도 1의 직교 변환부(14)와 마찬가지로, 연산부(13)로부터의 차분 정보에 대하여 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환을 실시하고, 그 변환 계수를 양자화부(112)에 공급한다. 또한, 직교 변환부(111)는 도 1의 직교 변환부(14)와 달리, 각 매크로 블록에 대하여 4×4 직교 변환과, 8×8 직교 변환의 어느 것을 적용했는지에 관한 정보(직교 변환 크기)를 모스키토 노이즈 필터(114)에 공급한다.

양자화부(112)는 도 1의 양자화부(15)와 마찬가지로, 직교 변환부(111)가 출력하는 변환 계수를 양자화하고, 양자화된 변환 계수를 가역 부호화부(113)에 공급한다. 또한, 양자화부(112)는 도 1의 양자화부(15)와 달리, 각 매크로 블록에 관한 양자화값을 모스키토 노이즈 필터(114)에 공급한다.

가역 부호화부(113)는 도 1의 가역 부호화부(16)와 마찬가지로, 양자화된 변환 계수를 부호화 함과 함께, 인트라 예측을 나타내는 정보, 인터 예측 모드를 나타내는 정보 등을 부호화하고, 압축 화상에 있어서의 헤더 정보의 일부로 하여 부호화한 데이터를 축적 버퍼(17)에 공급하여 축적시킨다. 또한, 이때, 가역 부호화부(113)는 도 3의 경우와 같이, 적응 루프 필터(71)에 의해 산출된 필터 계수도, 부호화하고, 압축 화상에 있어서의 헤더 정보의 일부로 한다.

또한, 가역 부호화부(113)는 도 1의 가역 부호화부(16)와 달리, 각 매크로 블록의 발생 부호량에 관한 정보를 모스키토 노이즈 필터(114)에 공급한다.

모스키토 노이즈 필터(114)는 디블록 필터(21)의 뒤, 적응 루프 필터(71) 앞에 설치되어 있다. 즉, 모스키토 노이즈 필터(114)는 연산부(13), 직교 변환부(111), 양자화부(112), 역양자화부(18), 역직교 변환부(19), 연산부(20), 디블록 필터(21), 적응 루프 필터(71), 프레임 메모리(22), 스위치(23), 움직임 예측·보상부(25) 및 예측 화상 선택부(26)로 이루어지는 움직임 보상 루프 내에 설치되어 있다. 즉, 움직임 보상 루프 내에서는, 화상이 루프하여 사용되고 있다.

모스키토 노이즈 필터(114)는 직교 변환부(111), 양자화부(112) 및 가역 부호화부(113)로부터의 정보를 사용하여, 모스키토 노이즈 제거를 위한 필터 처리를 행할 것인지 여부를 결정한다.

필터 처리를 행하는 경우, 모스키토 노이즈 필터(114)는 디블록 필터(21) 후의 복호 화상에 대하여 모스키토 노이즈 제거를 위한 필터 처리를 행하고, 필터 처리를 행한 화상을 적응 루프 필터(71)에 출력한다. 필터 처리를 행하지 않은 경우, 모스키토 노이즈 필터(114)는 디블록 필터(21) 후의 복호 화상을 그대로 적응 루프 필터(71)에 출력한다.

[직교 변환의 설명]

이어서, 상술한 각 처리의 상세에 대하여 설명한다. 도 6을 참조하여, 최초에 직교 변환에 대하여 설명한다.

MPEG2 부호화 방식에 있어서는, 직교 변환은 8×8 화소를 단위로 하여 처리가 행해지고 있었다. 이에 비해, AVC 부호화 방식과 마찬가지로 직교 변환을 행하는 화상 부호화 장치(101)는 Baseline Profile, Main Profile, Extended Profile에 있어서는, 4×4 화소를 단위로 한 직교 변환을 행한다. 또한, 화상 부호화 장치(101)는 High Profile 이상에 있어서는, 매크로 블록 단위에서, 도 6의 A에 도시하는 4×4 화소 단위의 직교 변환과, 도 6의 B에 도시하는 8×8 화소 단위의 직교 변환을 전환하여 사용하는 것이 가능하다.

[4×4 직교 변환]

우선, 4×4 직교 변환 방식에 대하여 설명한다. 4×4 화소 단위의 직교 변환은 이하와 같은 특징을 갖는다.

제1 특징은, MPEG2 부호화 방식에 있어서는, 변환을 위한 연산 정밀도는, 어느 범위 내에서, 각각의 부호화 방식에 대하여 자유롭게 설정하는 경우가 있기 때문에, 역변환에 있어서의 미스매치 대책을 행할 필요가 있었으나, 본 방식에 있어서는, 변환, 역변환, 모두 규격에 있어서 규정되어 있고, 이러한 미스매치 대책을 행하는 것이 불필요하다는 점이다.

제2 특징은 연산이 휴대 단말기 등에 사용되는, 저소비 전력형의 디지털 시그널 프로세서(DSP(Digital Signal Processor))에 있어서도 실현이 가능하도록, 16-bit 레지스터에 의한 실장이 가능하다는 점이다.

제3 특징은 MPEG2 등의, 8×8 화소 단위의 직교 변환에 의한 부호화 방식에 있어서는, 고영역 계수의 양자화 오차에 기인하여 모스키토 잡음이 관측되고 있었지만, 본 방식에 있어서는, 이러한 모스키토 잡음이 관측되기 어렵다고 하는 점이다.

도 7에 직교 변환 및 양자화 처리의 개요를 도시한다. 즉, 1개의 매크로 블록에 포함되는, 휘도 신호 16×16 화소, 색차 신호 8×8 화소는, 각각 도 7에 도시된 바와 같이 4×4 화소 블록으로 분할되고, 각각에 대하여 정수 변환 처리 및 양자화 처리가 실시된다. 또한, 색차 신호에 대해서는 도 7에 도시된 바와 같이, 직류 성분만을 모은 2×2 매트릭스가 생성되고, 이것에 2차의 아다마르 변환 및 양자화 처리가 실시된다.

또한, 당해 매크로 블록이 인트라 16×16 모드인 경우에는, 도 7에 도시하는 바와 같이, 직류 성분만을 모은 4×4 매트릭스가 생성되고, 이것에 4차의 아다마르 변환 및 양자화가 실시된다.

4차의 직교 변환 처리에 대해서는 이하의 수학식 1과 같이 기술할 수 있다.

이 수학식 1은 이하의 수학식 2와 같이 변형될 수 있다.

이 수학식 2는 또한 이하의 수학식 3과 같이 변형될 수 있다.

따라서, 행렬 [C_f]는 이하의 수학식 4와 같이 표현할 수 있다.

즉, 화상 부호화 장치(101)는 수학식 4의 우변에 나타나는 행렬을 정수변환행렬로서 사용한다.

이에 의해, add(가감산) 및 shift(비트시프트)에 의해 정수 변환을 실현할 수 있다.

또한, 수학식 3으로부터, 행렬 [E_f]는 이하의 수학식 5와 같이 표현할 수 있다.

이 수학식 5의 우변의 항에 대해서는 화상 부호화 장치(101)가 4×4의 성분 마다 상이한 양자화 처리를 행함으로써 실현한다. 바꾸어 말하면, 화상 부호화 장치(101)는 정수 변환과 양자화 처리의 조합에 의해 직교 변환을 실현하고 있다.

또한, 역정수 변환에 대해서는 이하의 수학식 6과 같이 표현할 수 있다.

따라서, 수학식 6의 우변은 이하의 수학식 7 및 수학식 8과 같이 표현할 수 있다.

수학식 7의 우변에 나타나는 행렬은 역양자화의 결과 얻어지는 4×4 행렬이며, 이에 비해, 수학식 8의 우변에 나타나는 역정수 행렬을 실시함으로써 복호 화상에 대한 4×4 행렬이 산출된다.

역정수 변환에 대해서도, add(가감산) 및 shift(비트시프트)만으로 실현할 수 있다.

도 8의 A 및 도 8의 B에, 정수 변환 및 역정수 변환을 버터플라이 연산에 의해 실현하기 위한 방법을 나타낸다.

[8×8 직교 변환]

이어서, AVC High Profile 이상에서 사용하는 것이 가능한, 8×8 직교 변환에 대하여 설명한다.

화상 부호화 장치(101)에 있어서, 8×8 직교 변환은 4×4의 경우와 마찬가지로, 가감산과 시프트 연산만에 있어서 실현되는 정수 변환으로서 정의되어 있다.

화상 부호화 장치(101)는 최초에, 8점의 수평 방향의 직교 변환의 계산을 행하고, 이어서, 8점의 수직 방향의 변환을 행한다.

이하에 있어서, 설명의 간략화를 위해서, 1차원에서, 8차의 정수 변환을 설명한다.

입력 신호를, {d0, d1, d2, d3, d4, d5, d6, d7}로 하면, 우선, 다음 수학식 9 내지 수학식 16의 계산이 행해진다.

이어서, {e0, e1, e2, e3, e4, e5, e6, e7}에 대하여 이하의 수학식 17 내지 수학식 24의 계산이 행해진다.

또한, {e'0, e'1, e'2, e'3, e'4, e'5, e'6, e'7}에 대하여 이하의 수학식 25 내지 수학식 32의 계산이 행해지고, 직교 변환된 계수 {D0, D1, D2, D3, D4, D5, D6, D7}이 얻어진다.

{D0, D1, D2, D3, D4, D5, D6, D7}로부터 {d0, d1, d2, d3, d4, d5, d6, d7}로의 역직교 변환은 이하와 같이 행해진다.

즉, 우선, {D0, D1, D2, D3, D4, D5, D6, D7}로부터 {f0, f1, f2, f3, f4, f5, f6, f7}이 이하의 수학식 34 내지 수학식 40과 같이 산출된다.

이어서, {f0, f1, f2, f3, f4, f5, f6, f7}로부터, {f'0, f'1, f'2, f'3, f'4, f'5, f'6, f'7}이 이하의 수학식 41 내지 수학식 48과 같이 산출된다.

마지막으로, {f'0, f'1, f'2, f'3, f'4, f'5, f'6, f'7}로부터, {d0, d1, d2, d3, d4, d5, d6, d7}이 이하의 수학식 49 내지 수학식 56과 같이 산출된다.

[디블록 필터]

다음으로 디블록 필터에 대하여 설명한다. 디블록 필터(21)는 움직임 보상 루프 내에 포함되고, 복호 화상에 있어서의 블록 왜곡을 제거한다. 이에 의해, 움직임 보상 처리에 의해 참조되는 화상에의 블록 왜곡의 전파가 억제된다.

디블록 필터의 처리로서는, 부호화 데이터에 포함되는, Picture Parameter Set RBSP(Raw Byte Sequence Payload)에 포함되는deblocking_filter_control_present_flag 및 슬라이스 헤더(Slice Header)에 포함되는 disable_deblocking_filter_idc와 같은 2개의 파라미터에 의해, 이하의 (a) 내지 (c)의 3가지의 방법이 선택 가능하다.

(a) 블록 경계 및 매크로 블록 경계에 실시한다

(b) 매크로 블록 경계에만 실시한다

(c) 실시하지 않는다

양자화 파라미터 QP에 대해서는 이하의 처리를 휘도 신호에 대하여 적용하는 경우에는 QPY를, 색차 신호에 대하여 적용하는 경우에는 QPC를 사용한다. 또한, 움직임 벡터 부호화, 인트라 예측, 엔트로피 부호화(CAVLC/CABAC)에 있어서는, 상이한 슬라이스에 속하는 화소값은 "Not available"로서 처리하지만, 디블록 필터 처리에 있어서는, 상이한 슬라이스에 속하는 화소값이어도, 동일한 픽처에 속하는 경우에는 "available"인 것으로 하여 처리를 행한다.

이하에 있어서는, 도 9에 도시된 바와 같이, 디블록 필터 처리 전의 화소값을 p0 내지 p3, q0 내지 q3으로 하고, 처리 후의 화소값을 p0' 내지 p3', q0' 내지 q3'로 한다.

우선, 디블록 필터 처리에 앞서, 도 9에 있어서의 p 및 q에 대하여 도 10에 도시되는 표와 같이 Bs(Boundary Strength)가 정의된다.

도 9에 있어서의 (p2, p1, p0, q0, q1, q2)는 이하의 수학식 57 및 수학식 58에 의해 나타나는 조건이 성립하는 경우에만 디블록 필터 처리가 실시된다.

수학식 58의 α 및 β는, 디폴트에서는 이하와 같이 QP에 따라서 그 값이 정해져 있지만, 부호화 데이터의, 슬라이스 헤더에 포함되는, slice_alpha_c0_offset_div2 및 slice_beta_offset_div2와 같은 2개의 파라미터에 의해, 도 11에 도시되는 그래프의 화살표와 같이, 유저가 그 강도를 조정하는 것이 가능하다.

도 12에 도시하는 표와 같이, α는 indexA로부터 구해진다. 마찬가지로, β는 indexB으로부터 구해진다. 이 indexA 및 indexB는 이하의 수학식 59 내지 수학식 61과 같이 정의된다.

수학식 60 및 수학식 61에 있어서, FilterOffsetA 및 FilterOffsetB가 유저에 의한 조정분에 상당한다.

디블록 필터 처리는 이하에 설명한 바와 같이 Bs<4의 경우와, Bs=4의 경우에, 서로 다른 방법이 정의되어 있다. Bs<4의 경우, 디블록 필터 처리 후의 화소값 p'0 및 q'0이 이하의 수학식 62 내지 수학식 64와 같이 구해진다.

여기서, t_c는 이하의 수학식 65 또는 수학식 66과 같이 산출된다. 즉, chromaEdgeFlag의 값이 「0」인 경우, t_c는 이하의 수학식 65와 같이 산출된다.

또한, chromaEdgeFlag의 값이 「0」 이외인 경우, t_c는 이하의 수학식 66과 같이 산출된다.

t_C0의 값은, Bs와 indexA의 값에 따라, 도 13의 A 및 도 13의 B에 도시하는 표와 같이 정의된다.

또한, 수학식 65의 a_p 및 a_q의 값은 이하의 수학식 67 및 68과 같이 산출된다.

디블록 필터 처리 후의 화소값 p'1은 이하와 같이 구해진다. 즉, chromaEdgeFlag의 값이 「0」이고, 또한, a_p의 값이 β 이하인 경우, p'1은 이하의 수학식 69와 같이 구해진다.

또한, 수학식 69가 성립하지 않는 경우, p'1은 이하의 수학식 70과 같이 구해진다.

디블록 필터 처리 후의 화소값 q'1은 이하와 같이 구해진다. 즉, chromaEdgeFlag의 값이 「0」이고, 또한, a_q의 값이 β 이하인 경우, q'1은 이하의 수학식 71과 같이 구해진다.

또한, 수학식 71이 성립하지 않는 경우, q'1은 이하의 수학식 72와 같이 구해진다.

p'2 및 q'2의 값은, Filtering 전의 값 p2 및 q2와 동일하다. 즉, p'2는 이하의 수학식 73과 같이 구해지고, q'2는 이하의 수학식 74와 같이 구해진다.

Bs=4의 경우, 디블록 필터 후의 화소값 p'I(i=0..2)는 이하와 같이 구해진다. chromaEdgeFlag의 값이 「0」이며 이하의 수학식 75에 나타나는 조건이 성립될 경우, p'0, p'1, 및 p'2는 이하의 수학식 76 내지 수학식 78과 같이 구해진다.

또한, 수학식 75에 나타나는 조건이 성립되지 않을 경우, p'0, p'1, 및 p'2는 이하의 수학식 79 내지 81과 같이 구해진다.

디블록 필터 처리 후의 화소값 q'i(I=0..2)는 이하와 같이 구해진다. 즉, chromaEdgeFlag의 값이 「0」이며 이하의 수학식 82에 나타나는 조건이 성립될 경우, q'0, q'1, 및 q'2는 이하의 수학식 83 내지 85과 같이 구해진다.

또한, 수학식 82에 나타나는 조건이 성립되지 않을 경우, q'0, q'1, 및 q'2는 이하의 수학식 86 내지 88과 같이 구해진다.

[확장 매크로 블록의 예]

또한, 매크로 블록 사이즈를 16 화소×16 화소로 하는 것은, 차세대 부호화 방식의 대상으로 되는, UHD(Ultra High Definition; 4000 화소×2000 화소)와 같은 큰 화면 프레임에 대해서는 최적이 아니다. 화상 부호화 장치(101)에서는, 도 14에 도시된 바와 같이 매크로 블록 사이즈를, 예를 들어, 32 화소×32 화소, 64×64 화소와 같은 크기로 하는 것이 채용될 경우가 있다.

도 14는 비특허문헌 2에서 제안되어 있는 블록 사이즈의 예를 도시하는 도면이다. 비특허문헌 2에서는, 매크로 블록 사이즈가 32×32 화소로 확장되어 있다.

도 14의 상단에는, 좌측으로부터, 32×32 화소, 32×16 화소, 16×32 화소, 및 16×16 화소의 블록(파티션)으로 분할된 32×32 화소로 구성되는 매크로 블록이 순서대로 도시되어 있다. 도 14의 중단에는, 좌측으로부터, 16×16 화소, 16×8 화소, 8×16 화소, 및 8×8 화소의 블록으로 분할된 16×16 화소로 구성되는 블록이 순서대로 도시되어 있다. 또한, 도 14의 하단에는, 좌측으로부터, 8×8 화소, 8×4 화소, 4×8 화소, 및 4×4 화소의 블록으로 분할된 8×8 화소의 블록이 순서대로 도시되어 있다.

즉, 32×32 화소의 매크로 블록은, 도 14의 상단에 도시하는 32×32 화소, 32×16 화소, 16×32 화소, 및 16×16 화소의 블록에서의 처리가 가능하다.

상단의 우측에 도시하는 16×16 화소의 블록은, H.264/AVC 방식과 마찬가지로, 중단에 도시하는 16×16 화소, 16×8 화소, 8×16 화소, 및 8×8 화소의 블록에서의 처리가 가능하다.

중단의 우측에 도시하는 8×8 화소의 블록은, H.264/AVC 방식과 마찬가지로, 하단에 도시하는 8×8 화소, 8×4 화소, 4×8 화소, 및 4×4 화소의 블록에서의 처리가 가능하다.

이들 블록은, 이하의 3 계층으로 분류할 수 있다. 즉, 도 14의 상단에 도시하는 32×32 화소, 32×16 화소, 및 16×32 화소의 블록을 제1 계층이라 칭한다. 상단의 우측에 도시하는 16×16 화소의 블록 및 중단에 도시하는 16×16 화소, 16×8 화소, 및 8×16 화소의 블록을, 제2 계층이라 칭한다. 중단의 우측에 도시하는 8×8 화소의 블록 및 하단에 도시하는 8×8 화소, 8×4 화소, 4×8 화소, 및 4×4 화소의 블록을, 제3 계층이라 칭한다.

도 14와 같은, 계층 구조를 채용함으로써, 16×16 화소 블록 이하에 대해서는 현재의 AVC에 있어서의 매크로 블록과 호환성을 유지하면서, 그 수퍼세트로서, 보다 큰 블록이 정의되어 있다.

[예측 모드의 선택]

또한, 보다 높은 부호화 효율을 달성하기 위해서는, 적절한 예측 모드의 선택이 중요하다. 화상 부호화 장치(101)에서는, 예를 들어, High Complexity Mode와, Low Complexity Mode의 2가지의 모드 판정 방법을 선택하는 방법이 생각된다. 이 방법의 경우, 어느쪽도, 각각의 예측 모드 Mode에 관한 비용 함수값을 산출하고, 이것을 최소로 하는 예측 모드를 당해 블록 내지 매크로 블록에 대한 최적 모드로서 선택한다.

High Complexity Mode에 있어서의 비용 함수값은 이하의 수학식 89와 같이 구할 수 있다.

수학식 89에 있어서, Ω은 당해 블록 내지 매크로 블록을 부호화하기 위한 후보 모드의 전체 집합이다. 또한, D는 당해 예측 모드 Mode에서 부호화한 경우의, 복호 화상과 입력 화상의 차분 에너지이다. 또한, λ는 양자화 파라미터의 함수로서 부여되는 Lagrange 미정승수이다. 또한, R은 직교 변환 계수를 포함한, 상기 모드 Mode에서 부호화한 경우의 총부호량이다.

즉, High Complexity Mode에서의 부호화를 행하기 위해서는, 상기 파라미터 D 및 R를 산출하기 위해서, 모든 후보 모드 Mode에 의해, 한번, 가인코드 처리를 행할 필요가 있고, 보다 높은 연산량을 필요로 한다.

이에 비해 Low Complexity Mode에 있어서의 비용 함수값은 이하의 수학식 90과 같이 구할 수 있다.

이 된다. 수학식 90에 있어서, D는 High Complexity Mode의 경우와 달리, 예측 화상과 입력 화상의 차분 에너지가 된다. 또한, QP2Quant(QP)는 양자화 파라미터 QP의 함수로서 부여된다. 또한, HeaderBit는, 직교 변환 계수를 포함하지 않는, 움직임 벡터나, 모드와 같은, Header에 속하는 정보에 관한 부호량이다.

즉, Low Complexity Mode에 있어서는, 각각의 후보 모드 Mode에 대해서, 예측 처리를 행할 필요가 있지만, 복호 화상까지는 필요없기 때문에, 부호화 처리까지 행할 필요는 없다. 이로 인해, High Complexity Mode보다 낮은 연산량에서의 실현이 가능하다.

High Profile에 있어서는, 도 6에 도시된 바와 같은, 4×4 직교 변환과, 8×8 직교 변환의 선택도, 상술한 High Complexity Mode 또는 Low Complexity Mode 중 어느 하나에 기초하여 행하여진다.

[상세한 구성예]

이상의 화상 부호화 장치(101)에서는, 화상 부호화 처리에 모스키토 노이즈 필터 처리를 적용한다. 화상 부호화 장치(101)는 움직임 예측·보상 루프 내에 모스키토 노이즈 필터(114)를 갖고, 각 매크로 블록의 직교 변환 크기에 따라, 그 매크로 블록에 대한 필터 처리를 제어한다.

이하에, 모스키토 노이즈 필터(114)의 구성의 상세에 대하여 설명한다. 모스키토 노이즈는 직교 변환 계수의 고영역 성분에 있어서의 양자화 오차에 기인하여 발생한다.

H.264/AVC에 있어서는, 상술한 바와 같이, High Profile 이상에 있어서는, 매크로 블록 단위에서, 도 6의 A에 도시하는 4×4 화소 단위의 직교 변환과, 도 6의 B에 도시하는 8×8 화소 단위의 직교 변환을 전환하여 사용하는 것이 가능하다. 또한, 도 14를 참조하여 상술한 바와 같이, 32 화소×32 화소, 64×64 화소와 같은 크기로 하는 것이 채용된 경우에, 또한 16×16 화소 단위의 직교 변환이 도입되는 것이 생각된다. 그러나, 모스키토 노이즈는 의해 큰 직교 변환 크기가 적용되는 매크로 블록에 있어서 발생하기 쉽다.

또한, 당해 매크로 블록에 포함되는 텍스처가 편평한 경우, 모스키토 노이즈는 발생하기 어렵지만, 당해 매크로 블록에 에지가 포함되는 경우, 모스키토 노이즈가 발생하기 쉽다.

이와 같이, 당해 매크로 블록에 모스키토 노이즈가 발생할 것인지 여부는, 상기 매크로 블록의 텍스처 정보와, 직교 변환 크기에 의존한다.

도 5의 모스키토 노이즈 필터(114)에서는, 이러한 사실을 이용하여, 모스키토 노이즈 제거를 위한 필터 처리를 행하거나, 행하지 않는 제어가 행해진다. 이 필터 처리의 제어로서는 2가지의 방법을 들 수 있다. 어느 방법에 있어서도, 적어도 직교 변환 크기의 정보가 사용된다.

처음에, 제1 방법에 대하여 설명한다. 제1 방법에 있어서는, 우선, 당해 매크로 블록에 있어서의 양자화 스케일 Q와 발생 비트 B를 사용하여 당해 매크로 블록에 대한 Complexity(난도 파라미터)의 하나로서의 액티비티 X가 다음 수학식 91과 같이 산출된다.

또한, 가역 부호화 방식이 CABAC 방식인 경우에는, 발생 비트에 대신하여, 상기 매크로 블록의 발생 bin을 사용해도 된다.

이 액티비티 값이 높을 때, 당해 매크로 블록에는 에지가 포함되어 있는, 즉, 복잡한 텍스처라고 생각되고, 액티비티 값이 낮을 때, 플랫 영역, 즉, 단순한 텍스처라고 생각된다.

이렇게 산출된 액티비티 X와, 미리 정해진 임계값 Θ(T)를 비교하고, 다음 수학식 92가 성립할 때, 당해 매크로 블록에 포함되는 화소값에 대하여 모스키토 노이즈 제거를 위한 필터 처리가 행해진다.

여기서, T는 당해 매크로 블록 사이즈의 직교 변환 크기를 나타낸다. 즉, 임계값 Θ는 직교 변환 크기에 따라서 결정된다. 또한, Θ_offset은 유저의 설정 가능한 오프셋값으로서, 이에 의해, 모스키토 노이즈 필터의 강도를 설정하는 것이 가능하게 된다.

또한, 오프셋값은 없어도 된다.

임계값 Θ는 보다 큰 직교 변환 크기에 대하여 보다 작은 임계값을 설정함으로써, 모스키토 노이즈 필터가 걸리기 쉬워진다. 이것은, 직교 변환 크기가 큰 편이 모스키토 노이즈가 발생하기 쉽기 때문이다.

이어서, 제2 방법에 대하여 설명한다. 제2 방법에 있어서는, 우선, 당해 매크로 블록에 포함되는, 양자화 처리 후의 비0인 직교 변환의 개수가 카운트된다. 이 수를 N이라 하고, 이 N이 미리 부여된 임계값 Θ(QP, T)에 대하여 다음 수학식 93이 성립될 때, 당해 매크로 블록에 대하여 모스키토 노이즈 제거를 위한 필터 처리가 행해진다.

수학식 93에 있어서도, Θ_offset은 유저의 설정 가능한 오프셋값에서, 이에 의해, 모스키토 노이즈 필터의 강도를 설정하는 것이 가능하게 된다. 또한, 오프셋값은 없어도 된다.

또한, 소정의 양자화 파라미터 QP에 대해서, 임계값 Θ는 다음 수학식 94와 같이 설정된다.

즉, 동일한 양자화 파라미터 QP에 대해서, 보다 큰 직교 변환 크기에 대하여 보다 작은 임계값을 설정함으로써, 모스키토 노이즈 필터가 걸리기 쉬워진다. 이것은, 직교 변환 크기가 큰 편이 모스키토 노이즈가 발생하기 쉽기 때문이다.

또한, 어느 직교 변환 크기 T에 대해서, 2개의 양자화 파라미터 qp₁ 및 qp₂를, qp₁<qp₂로 하면, 임계값 Θ는 다음 수학식 95와 같이 설정된다.

즉, 보다 높은 양자화 파라미터에 의해 부호화되어 있는 경우, 보다 많은 양자화 왜곡이 포함되고, 모스키토 노이즈도 발생하기 쉽다고 생각되기 때문에, 임계값을 낮게 함으로써 모스키토 노이즈 필터가 걸리기 쉬워진다.

즉, 제2 방법의 경우, 직교 변환 크기가 크거나, 또는, 양자화 파라미터가 높을 때, 임계값은 보다 작게 설정되므로, 모스키토 노이즈 필터는 걸리기 쉬워진다. 한편, 직교 변환 크기가 작거나, 또는, 양자화 파라미터가 낮을 때, 임계값은 보다 크게 설정되므로, 모스키토 노이즈 필터는 걸리기 어려워진다.

이상과 같이, 도 5의 화상 부호화 장치(101)에서는, 각 매크로 블록에 대한, 직교 변환 계수, 직교 변환 크기, 양자화값, 발생 부호량 등과 같은 부호화 정보를 사용하여, 당해 매크로 블록에 대하여 모스키토 노이즈 제거를 위한 필터 처리를 행하거나, 행하지 않는 제어(결정)가 된다.

여기서, 부호화 정보란 가역 부호화부(113)에 의해 부호화되어서 압축 화상의 헤더에 부가되어서 복호 측에 보내지는 구문 요소의 정보이다.

또한, 본 발명의 적용 범위는 상술한 2가지의 방법에 제한하지 않는다. 예를 들어, 모스키토 노이즈 필터의 제어에, 다른 부호화 정보(구문 요소)를 사용하도록 해도 된다. 예를 들어, 정지 영역은 모스키토 노이즈가 눈에 뜨이기 쉽지만, 동 영역은 눈에 뜨이기 어렵기 때문에, 움직임 예측·보상부(25)에 의해 탐색되는 움직임 벡터 정보를 고려하여, 모스키토 노이즈 필터의 제어를 행하도록 할 수도 있다.

이상과 같이 하여, 당해 매크로 블록에 대하여 모스키토 노이즈 제거를 위한 필터 처리를 행하기로 결정된 경우, 결정된 매크로 블록에 포함되는 모든 화소값에 대해서, 모스키토 노이즈 제거를 위한 필터 처리로서, 대상 화소를 중심으로 한 소정의 창 크기를 갖는 2차원 필터에 의해 평활화 처리가 행해진다. 구체적으로는, 다음 수학식 96으로 나타낸 바와 같은 창 크기가 3×3의 가우스 필터에 의해 평활화 처리가 행해진다.

또한, 평활화를 위한 필터 계수는 수학식 96과 같이 고정된 것이 아니라, 예를 들어, 적응 필터와 같이 가변의 것을 산출하고, 사용하도록 해도 된다. 이 경우, 산출된 필터 계수는 압축 화상의 헤더에 부가되어서, 복호 측에 송신된다.

[모스키토 노이즈 필터의 구성예]

도 15는 제1 방법을 행하는 모스키토 노이즈 필터의 구성예를 도시하는 블록도이다.

도 15의 예에 있어서, 모스키토 노이즈 필터(114)는 임계값 결정부(151), Complexity 산출부(152), 필터 제어부(153) 및 필터 처리부(154)에 의해 구성되어 있다.

직교 변환부(111)로부터, 당해 매크로 블록의 직교 변환 크기에 관한 정보가 임계값 결정부(151)에 공급된다. 임계값 결정부(151)는 당해 매크로 블록의 직교 변환 크기에 기초하여, 모스키토 노이즈를 제거하기 위한 필터 처리를 위한 임계값 Θ(T)를 결정한다. 결정된 임계값 Θ(T)의 정보는 필터 제어부(153)에 공급된다.

양자화부(112)로부터, 당해 매크로 블록에 관한 양자화값의 정보가 Complexity 산출부(152)에 공급된다. 가역 부호화부(113)로부터, 당해 매크로 블록의 발생 부호량(발생 비트)에 관한 정보가 Complexity 산출부(152)에 공급된다. 또한, 가역 부호화 방식으로서 CABAC 방식이 사용되는 경우에는, 발생 비트 대신에, 발생 bin이 공급되도록 해도 된다.

Complexity 산출부(152)는 상술한 수학식 91을 사용하여, 당해 매크로 블록에 대한 Complexity(수학식 91의 경우, 액티비티)를 산출하고, 산출한 Complexity의 값을 필터 제어부(153)에 공급한다.

필터 제어부(153)는 상술한 수학식 92의 임계값 판정 처리에 의해, 당해 매크로 블록에 대하여 모스키토 노이즈 제거를 위한 필터 처리를 행할지의 여부를 결정하고, 그 제어 정보를 필터 처리부(154)에 공급한다.

필터 처리부(154)에는, 필터 제어부(153)로부터의 제어 정보와 함께, 디블록 필터(21)의 출력이 되는, 디블록 필터 처리 후의 화소값이 입력된다. 필터 처리부(154)는 필터 제어부(153)로부터의 제어 정보에 기초하여, 예를 들어, 수학식 96의 필터 계수를 사용하여 필터 처리를 행한다. 필터 처리 후의 화소값은 적응 루프 필터(71)에 출력된다.

도 16은 제2 방법을 행하는 모스키토 노이즈 필터의 구성예를 도시하는 블록도이다.

도 16의 예에 있어서, 모스키토 노이즈 필터(114)는 임계값 결정부(161), 비0 계수 개수 버퍼(162), 필터 제어부(163) 및 필터 처리부(164)에 의해 구성되어 있다.

직교 변환부(111)로부터의 당해 매크로 블록의 직교 변환 크기에 관한 정보와, 양자화부(112)로부터의 당해 매크로 블록에 관한 양자화값의 정보가 임계값 결정부(161)에 공급된다. 임계값 결정부(161)는 당해 매크로 블록의 직교 변환 크기와 양자화값에 기초하여, 모스키토 노이즈를 제거하기 위한 필터 처리를 위한 임계값 Θ(QP, T)를 결정한다. 결정된 임계값 Θ(QP, T)의 정보는 필터 제어부(163)에 공급된다.

양자화부(112)로부터, 당해 매크로 블록에 관한 양자화 후의 직교 변환 계수의 개수(비0 계수)의 정보가 비0 계수 개수 버퍼(162)에 공급되어, 축적된다. 비0 계수 개수 버퍼(162)에 축적된 비0 계수 개수의 정보는 필터 제어부(163)에 공급된다.

필터 제어부(163)는 임계값 Θ(QP, T)의 정보와 비0 계수 개수의 정보로부터, 상술한 수학식 93의 임계값 판정 처리에 의해, 당해 매크로 블록에 대하여 모스키토 노이즈 제거를 위한 필터 처리를 행할지의 여부를 결정하고, 그 제어 정그 제어 정리부(164)에 공급한다.

필터 처리부(164)에는, 필터 제어부(163)로부터의 제어 정보와 함께, 디블록 필터(21)의 출력이 되는, 디블록 필터 처리 후의 화소값이 입력된다. 필터 처리부(164)는 필터 제어부(163)로부터의 제어 정보에 기초하여, 예를 들어, 수학식 96의 필터 계수를 사용하여 필터 처리를 행한다. 필터 처리 후의 화소값은 적응 루프 필터(71)에 출력된다.

[화상 부호화 장치의 부호화 처리의 설명]

이어서, 도 17의 흐름도를 참조하여, 도 5의 화상 부호화 장치(101)의 부호화 처리에 대하여 설명한다.

스텝 S11에서, A/D 변환부(11)는 입력된 화상을 A/D 변환한다. 스텝 S12에서, 화면 재배열 버퍼(12)는 A/D 변환부(11)로부터 공급된 화상을 기억하고, 각 픽처의 표시하는 순서로부터 부호화하는 순서로의 재배열을 행한다.

스텝 S13에서, 연산부(13)는 스텝 S12에서 재배열된 화상과 예측 화상의 차분을 연산한다. 예측 화상은 인터 예측하는 경우에는 움직임 예측·보상부(25)로부터, 인트라 예측하는 경우에는 인트라 예측부(24)로부터, 각각 예측 화상 선택부(26)를 거쳐 연산부(13)에 공급된다.

차분 데이터는 원래의 화상 데이터에 비교하여 데이터량이 작아져 있다. 따라서, 화상을 그대로 부호화하는 경우에 비하여, 데이터량을 압축할 수 있다.

스텝 S14에서, 직교 변환부(111)는 연산부(13)로부터 공급된 차분 정보를 직교 변환한다. 구체적으로는, 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환이 행해지고, 변환 계수가 출력된다. 이때, 직교 변환부(111)는 각 매크로 블록의 직교 변환 크기의 정보를 모스키토 노이즈 필터(114)에 공급한다.

스텝 S15에서, 양자화부(112)는 변환 계수를 양자화한다. 이때, 양자화부(112)는 각 매크로 블록에 관한 양자화값을 모스키토 노이즈 필터(114)에 공급한다. 이 양자화 시에는, 후술하는 스텝 S28의 처리에서 설명된 바와 같이 레이트가 제어된다.

이상과 같이 하여 양자화된 차분 정보는 다음과 같이 하여 국부적으로 복호된다. 즉, 스텝 S16에서, 역양자화부(18)는 양자화부(112)에 의해 양자화된 변환 계수를 양자화부(112)의 특성에 대응하는 특성으로 역양자화한다. 스텝 S17에서, 역직교 변환부(19)는 역양자화부(18)에 의해 역양자화된 변환 계수를 직교 변환부(111)의 특성에 대응하는 특성으로 역직교 변환한다.

스텝 S18에서, 연산부(20)는 예측 화상 선택부(26)를 거쳐 입력되는 예측 화상을 국부적으로 복호된 차분 정보에 가산하여, 국부적으로 복호된 화상(연산부(13)에의 입력에 대응하는 화상)을 생성한다.

스텝 S19에서 디블록 필터(21)는 연산부(20)로부터 출력된 화상에 대하여 디블록 필터 처리를 행한다. 이에 의해 블록 왜곡이 제거된다. 디블록 필터(21)로부터의 복호 화상은 모스키토 노이즈 필터(114)에 출력된다.

스텝 S20에서, 모스키토 노이즈 필터(114)는 디블록 필터 후의 복호 화상에 대하여 모스키토 노이즈 필터 처리를 행한다. 이 모스키토 노이즈 필터 처리의 상세에 대해서는 도 20 및 도 21을 참조하여 후술한다. 모스키토 노이즈 필터(114)로부터의 화상은 적응 루프 필터(71)에 출력된다.

적응 루프 필터(71)는 스텝 S21에서, 적응 루프 필터 처리를 행한다. 즉, 적응 루프 필터(71)는 화면 재배열 버퍼(12)로부터의 원 화상과 모스키토 노이즈 필터(114)로부터의 화상의 잔차를 최소로 하도록 적응 루프 필터 계수의 산출을 행한다.

그리고, 적응 루프 필터(71)는 이 적응 루프 필터 계수를 사용하여, 모스키토 노이즈 필터(114)로부터의 복호 화상에 필터 처리를 행한다. 필터 처리 후의 복호 화상은 프레임 메모리(22)에 출력된다.

이때, 적응 루프 필터(71)는 산출한 적응 루프 필터 계수를 가역 부호화부(113)에 보낸다. 적응 루프 필터 계수의 정보는 후술하는 스텝 S26에서, 가역 부호화부(113)에 의해 부호화되어서, 압축 화상의 헤더에 부가된다.

스텝 S22에서 프레임 메모리(22)는 필터링된 화상을 기억한다. 또한, 프레임 메모리(22)에는 디블록 필터(21)에 의해 필터 처리되어 있지 않은 화상도 연산부(20)로부터 공급되어, 기억된다.

화면 재배열 버퍼(12)로부터 공급되는 처리 대상의 화상이 인트라 처리되는 블록의 화상인 경우, 참조되는 복호 완료된 화상이 프레임 메모리(22)로부터 판독되고, 스위치(23)를 거쳐 인트라 예측부(24)에 공급된다.

이들 화상에 기초하여, 스텝 S23에서, 인트라 예측부(24)는 처리 대상의 블록의 화소를, 후보가 되는 모든 인트라 예측 모드에서 인트라 예측한다. 또한, 참조되는 복호 완료된 화소로서는, 디블록 필터(21)에 의해 디블록 필터링되어 있지 않은 화소가 사용된다.

스텝 S23에서의 인트라 예측 처리의 상세한 것은, 도 18을 참조하여 후술하는데, 이 처리에 의해, 후보가 되는 모든 인트라 예측 모드에서 인트라 예측이 행해지고, 후보가 되는 모든 인트라 예측 모드에 대하여 비용 함수값이 산출된다. 그리고, 산출된 비용 함수값에 기초하여, 최적 인트라 예측 모드가 선택되어, 최적 인트라 예측 모드의 인트라 예측에 의해 생성된 예측 화상과 그 비용 함수값이 예측 화상 선택부(26)에 공급된다.

화면 재배열 버퍼(12)로부터 공급되는 처리 대상의 화상이 인터 처리되는 화상인 경우, 참조되는 화상이 프레임 메모리(22)로부터 판독되고, 스위치(23)를 거쳐 움직임 예측·보상부(25)에 공급된다. 이들 화상에 기초하여, 스텝 S24에서, 움직임 예측·보상부(25)는 움직임 예측·보상 처리를 행한다.

스텝 S24에서의 움직임 예측·보상 처리의 상세한 것은, 도 19를 참조하여 후술한다. 이 처리에 의해, 후보가 되는 모든 인터 예측 모드에서 움직임 예측 처리가 행해지고, 후보가 되는 모든 인터 예측 모드에 대하여 비용 함수값이 산출되고, 산출한 비용 함수값에 기초하여, 최적 인터 예측 모드가 결정된다. 그리고, 최적 인터 예측 모드에 의해 생성된 예측 화상과 그 비용 함수값이 예측 화상 선택부(26)에 공급된다.

스텝 S25에서, 예측 화상 선택부(26)는 인트라 예측부(24) 및 움직임 예측·보상부(25)로부터 출력된 각 비용 함수값에 기초하여, 최적 인트라 예측 모드와 최적 인터 예측 모드 중 한쪽을 최적 예측 모드로 결정한다. 그리고, 예측 화상 선택부(26)는 결정한 최적 예측 모드의 예측 화상을 선택하고, 연산부(13, 20)에 공급한다. 이 예측 화상이 상술한 스텝 S13, S18의 연산에 이용된다.

또한, 이 예측 화상의 선택 정보는 인트라 예측부(24) 또는 움직임 예측·보상부(25)에 공급된다. 최적 인트라 예측 모드의 예측 화상이 선택된 경우, 인트라 예측부(24)는 최적 인트라 예측 모드를 나타내는 정보(즉, 인트라 예측 모드 정보)를 가역 부호화부(16)에 공급한다.

최적 인터 예측 모드의 예측 화상이 선택된 경우, 움직임 예측·보상부(25)는 최적 인터 예측 모드를 나타내는 정보와, 또한, 필요에 따라, 최적 인터 예측 모드에 따른 정보를 가역 부호화부(113)에 출력한다. 최적 인터 예측 모드에 따른 정보로서는, 움직임 벡터 정보나 참조 프레임 정보 등을 들 수 있다.

스텝 S26에서, 가역 부호화부(113)는 양자화부(112)로부터 출력된 양자화된 변환 계수를 부호화한다. 즉, 차분 화상이 가변 길이 부호화, 산술 부호화 등의 가역 부호화되어, 압축된다. 이때, 당해 매크로 블록의 발생 비트가 모스키토 노이즈 필터(114)에 공급된다. 또한, 가역 부호화 방식으로서 CABAC 방식이 사용되는 경우에는, 발생 비트 대신에, 발생 bin이 공급되도록 할 수도 있다.

또한, 이때, 상술한 스텝 S21에서 가역 부호화부(113)에 입력된 적응 루프 필터 계수 및 상술한 스텝 S25에서 가역 부호화부(113)에 입력된, 인트라 예측부(24)로부터의 인트라 예측 모드 정보, 또는, 움직임 예측·보상부(25)로부터의 최적 인터 예측 모드에 따른 정보 등도 부호화되어, 헤더 정보에 부가된다.

예를 들어, 인터 예측 모드를 나타내는 정보는 매크로 블록마다 부호화된다. 움직임 벡터 정보나 참조 프레임 정보는 대상으로 되는 블록마다 부호화된다. 적응 루프 필터 계수는 슬라이스마다 부호화된다.

스텝 S27에서 축적 버퍼(17)는 차분 화상을 압축 화상으로 하여 축적한다. 축적 버퍼(17)에 축적된 압축 화상이 적절히 판독되어, 전송로를 거쳐 복호 측에 전송된다.

스텝 S28에서 레이트 제어부(27)는 축적 버퍼(17)에 축적된 압축 화상에 기초하여, 오버플로우 또는 언더플로우가 발생하지 않도록, 양자화부(15)의 양자화 동작의 레이트를 제어한다.

[인트라 예측 처리의 설명]

이어서, 도 18의 흐름도를 참조하여, 도 17의 스텝 S23에서의 인트라 예측 처리를 설명한다. 또한, 도 18의 예에 있어서는, 휘도 신호의 경우를 예로 하여 설명한다.

인트라 예측부(24)는 스텝 S41에서, 4×4 화소, 8×8 화소, 및 16×16 화소의 각 인트라 예측 모드에 대하여 인트라 예측을 행한다.

휘도 신호의 인트라 예측 모드에는, 9종류의 4×4 화소 및 8×8 화소의 블록 단위, 및 4종류의 16×16 화소의 매크로 블록 단위의 예측 모드가 있고, 색차 신호의 인트라 예측 모드에는, 4종류의 8×8 화소의 블록 단위의 예측 모드가 있다. 색차 신호의 인트라 예측 모드는 휘도 신호의 인트라 예측 모드와 독립적으로 설정이 가능하다. 휘도 신호의 4×4 화소 및 8×8 화소의 인트라 예측 모드에 대해서는 4×4 화소 및 8×8 화소의 휘도 신호의 블록마다 1개의 인트라 예측 모드가 정의된다. 휘도 신호의 16×16 화소의 인트라 예측 모드와 색차 신호의 인트라 예측 모드에 대해서는 1개의 매크로 블록에 대하여 1개의 예측 모드가 정의된다.

구체적으로는, 인트라 예측부(24)는 처리 대상의 블록의 화소를, 프레임 메모리(22)로부터 판독되고, 스위치(23)를 거쳐 공급되는 복호 완료된 화상을 참조하여, 인트라 예측한다. 이 인트라 예측 처리가 각 인트라 예측 모드에서 행해짐으로써, 각 인트라 예측 모드에서의 예측 화상이 생성된다. 또한, 참조되는 복호 완료된 화소로서는, 디블록 필터(21)에 의해 디블록 필터링되어 있지 않은 화소가 사용된다.

인트라 예측부(24)는 스텝 S42에서, 4×4 화소, 8×8 화소, 및 16×16 화소의 각 인트라 예측 모드에 대한 비용 함수값을 산출한다. 여기서, 비용 함수값을 구하기 위한 비용 함수로서는, 수학식 89 또는 수학식 90의 비용 함수가 사용된다.

인트라 예측부(24)는 스텝 S43에서, 4×4 화소, 8×8 화소, 및 16×16 화소의 각 인트라 예측 모드에 대하여 각각 최적 모드를 결정한다. 즉, 상술한 바와 같이, 인트라 4×4 예측 모드 및 인트라 8×8 예측 모드의 경우에는, 예측 모드의 종류가 9종류 있고, 인트라 16×16 예측 모드의 경우에는, 예측 모드의 종류가 4종류 있다. 따라서, 인트라 예측부(24)는 스텝 S42에서 산출된 비용 함수값에 기초하여, 그들 중에서 최적 인트라 4×4 예측 모드, 최적 인트라 8×8 예측 모드, 최적 인트라 16×16 예측 모드를 결정한다.

인트라 예측부(24)는 스텝 S44에서, 4×4 화소, 8×8 화소, 및 16×16 화소의 각 인트라 예측 모드에 대하여 결정된 각 최적 모드 중에서 스텝 S42에서 산출된 비용 함수값에 기초하여, 최적 인트라 예측 모드를 선택한다. 즉, 4×4 화소, 8×8 화소, 및 16×16 화소에 대하여 결정된 각 최적 모드 중에서 비용 함수값이 최소값인 모드를 최적 인트라 예측 모드로서 선택한다. 그리고, 인트라 예측부(24)는 최적 인트라 예측 모드에서 생성된 예측 화상과 그 비용 함수값을 예측 화상 선택부(26)에 공급한다.

[움직임 예측·보상 처리의 설명]

이어서, 도 19의 흐름도를 참조하여, 도 17의 스텝 S24의 움직임 예측·보상 처리에 대하여 설명한다.

움직임 예측·보상부(25)는 스텝 S61에서, 16×16 화소 내지 4×4 화소로 이루어지는 8종류의 각 인터 예측 모드에 대하여 움직임 벡터와 참조 화상을 각각 결정한다. 즉, 각 인터 예측 모드의 처리 대상의 블록에 대해서, 움직임 벡터와 참조 화상이 각각 결정된다.

움직임 예측·보상부(25)는 스텝 S62에서, 16×16 화소 내지 4×4 화소로 이루어지는 8종류의 각 인터 예측 모드에 대해서, 스텝 S61에서 결정된 움직임 벡터에 기초하여, 참조 화상에 움직임 예측과 보상 처리를 행한다. 이 움직임 예측과 보상 처리에 의해, 각 인터 예측 모드에서의 예측 화상이 생성된다.

움직임 예측·보상부(25)는 스텝 S63에서, 16×16 화소 내지 4×4 화소로 이루어지는 8종류의 각 인터 예측 모드에 대하여 상술한 수학식 89 또는 수학식 90으로 나타나는 비용 함수값을 산출한다.

스텝 S64에서, 움직임 예측·보상부(25)는 스텝 S63에서 산출된 인터 예측 모드에 대한 비용 함수값을 비교하고, 최소값을 부여하는 예측 모드를 최적 인터 예측 모드로서 결정한다. 그리고, 움직임 예측·보상부(25)는 최적 인터 예측 모드에서 생성된 예측 화상과 그 비용 함수값을 예측 화상 선택부(26)에 공급한다.

[모스키토 노이즈 필터 처리의 설명]

이어서, 도 20의 흐름도를 참조하여, 도 12의 스텝 S20의 모스키토 노이즈 필터 처리에 대하여 설명한다. 또한, 도 20의 모스키토 노이즈 필터 처리는 도 15의 모스키토 노이즈 필터(114)에 의해 행해지는 처리이다.

양자화부(112)로부터, 당해 매크로 블록에 관한 양자화값의 정보가 Complexity 산출부(152)에 공급된다. 가역 부호화부(113)로부터, 당해 매크로 블록의 발생 부호량(발생 비트)에 관한 정보가 Complexity 산출부(152)에 공급된다.

Complexity 산출부(152)는 스텝 S81에서, 당해 매크로 블록에 관한 양자화값의 정보로서, 양자화 스케일 Q를 받고, 스텝 S82에서, 당해 매크로 블록의 발생 부호량에 관한 정보로서 발생 비트 B를 받는다. 그리고, 스텝 S83에서, 상술한 수학식 91을 사용하여, 당해 매크로 블록에 대한 Complexity로서의 액티비티를 산출한다. 산출된 Complexity의 값은 필터 제어부(153)에 공급된다.

직교 변환부(111)로부터, 당해 매크로 블록의 직교 변환 크기에 관한 정보가 임계값 결정부(151)에 공급된다. 임계값 결정부(151)는 스텝 S84에서, 상기 매크로 블록의 직교 변환 크기를 받고, 스텝 S85에서, 당해 매크로 블록의 직교 변환 크기로부터, 모스키토 노이즈를 제거하기 위한 필터 처리를 위한 임계값 Θ=Θ(T)+Θ_offset를 결정한다. 결정된 임계값 Θ의 정보는 필터 제어부(153)에 공급된다.

스텝 S86에서, 필터 제어부(153)는 Complexity 산출부(152)로부터의 액티비티 X가, 임계값 결정부(151)로부터의 임계값 Θ보다도 큰지의 여부를 판정한다. 스텝 S86에서, 액티비티 X가, 임계값 Θ보다도 크다고 판정된 경우, 처리는 스텝 S87로 진행한다.

스텝 S87에서, 필터 처리부(154)는 필터 제어부(153)로부터의 제어 정보에 기초하여, 디블록 필터 처리 후의 화소값에 대하여 예를 들어, 수학식 96의 필터 계수를 사용하여, 모스키토 노이즈 제거를 위한 필터 처리를 행하고, 필터 처리 후의 화소값을 적응 루프 필터(71)에 출력한다.

한편, 스텝 S86에서, 액티비티 X가, 임계값 Θ보다도 작다고 판정된 경우, 스텝 S87은 스킵된다. 즉, 필터 처리부(154)는 필터 제어부(153)로부터의 제어 정보에 기초하여, 디블록 필터 처리 후의 화소값에 대하여 필터 처리를 행하지 않고, 그대로 적응 루프 필터(71)에 출력한다.

또한, 도 21의 흐름도를 참조하여, 도 12의 스텝 S20의 모스키토 노이즈 필터 처리의 다른 예에 대하여 설명한다. 또한, 도 21의 모스키토 노이즈 필터 처리는 도 16의 모스키토 노이즈 필터(114)에 의해 행해지는 처리이다.

양자화부(112)로부터, 당해 매크로 블록에 관한 양자화 후의 직교 변환 계수의 개수(비0 계수)의 정보가 비0 계수 개수 버퍼(162)에 공급된다. 비0 계수 개수 버퍼(162)는 스텝 S101에서, 당해 매크로 블록에 관한 양자화 후의 직교 변환 계수의 개수(비0 계수)의 정보로서, 비0 직교 변환 계수의 개수 N을 받고, 축적한다. 축적된 비0 계수 개수의 정보는 필터 제어부(163)에 공급된다.

직교 변환부(111)로부터의 당해 매크로 블록의 직교 변환 크기에 관한 정보와, 양자화부(112)로부터의 당해 매크로 블록에 관한 양자화값의 정보가 임계값 결정부(161)에 공급된다.

임계값 결정부(161)는 스텝 S102에서, 당해 매크로 블록에 관한 양자화값의 정보로서, 양자화 파라미터를 받고, 스텝 S103에서, 당해 매크로 블록의 직교 변환 크기에 관한 정보로서 당해 매크로 블록의 직교 변환 크기를 받는다. 그리고, 스텝 S104에서, 당해 매크로 블록의 양자화 파라미터 및 직교 변환 크기로부터, 모스키토 노이즈를 제거하기 위한 필터 처리를 위한 임계값 Θ=Θ(QP, T)+Θ_offset를 결정한다. 결정된 임계값 Θ의 정보는 필터 제어부(163)에 공급된다.

스텝 S105에서, 필터 제어부(163)는 비0 계수 개수 버퍼(162)로부터의 비0 직교 변환 계수의 개수 N이 임계값 결정부(161)로부터의 임계값 Θ보다도 큰지의 여부를 판정한다. 스텝 S105에서, 비0 직교 변환 계수의 개수 N이 임계값 Θ보다도 크다고 판정된 경우, 처리는 스텝 S106으로 진행한다.

스텝 S106에서, 필터 처리부(164)는 필터 제어부(163)로부터의 제어 정보에 기초하여, 디블록 필터 처리 후의 화소값에 대하여 예를 들어, 수학식 96의 필터 계수를 사용하여, 모스키토 노이즈 제거를 위한 필터 처리를 행하고, 필터 처리 후의 화소값을 적응 루프 필터(71)에 출력한다.

한편, 스텝 S105에서, 비0 직교 변환 계수의 개수 N이 임계값 Θ보다도 작다고 판정된 경우, 스텝 S106은 스킵된다. 즉, 필터 처리부(164)는 필터 제어부(163)로부터의 제어 정보에 기초하여, 디블록 필터 처리 후의 화소값에 대하여 필터 처리를 행하지 않고, 그대로 적응 루프 필터(71)에 출력한다.

부호화된 압축 화상은 소정의 전송로를 거쳐 전송되고, 화상 복호 장치에 의해 복호된다.

[화상 복호 장치의 구성예]

도 22는 본 발명을 적용한 화상 처리 장치로서의 화상 복호 장치의 일 실시 형태의 구성을 표현하고 있다.

도 22의 화상 복호 장치(201)는 축적 버퍼(41), 연산부(45), 디블록 필터(46), 화면 재배열 버퍼(47), D/A 변환부(48), 프레임 메모리(49), 스위치(50), 인트라 예측부(51), 움직임 보상부(52) 및 스위치(53)를 구비하는 점에서, 도 2의 화상 복호 장치(31)와 공통되고 있다.

또한, 도 22의 화상 복호 장치(201)는 가역 복호부(42), 역양자화부(43) 및 역직교 변환부(44)와, 가역 복호부(211), 역양자화부(212) 및 역직교 변환부(213)가 각각 교체된 점 및 도 4의 적응 루프 필터(91) 및 모스키토 노이즈 필터(214)가 추가된 점에서, 도 2의 화상 복호 장치(31)와 상이하다.

즉, 가역 복호부(211)는 도 2의 가역 복호부(42)와 마찬가지로, 축적 버퍼(41)로부터 공급된, 도 5의 가역 부호화부(113)에 의해 부호화된 정보를 가역 부호화부(113)의 부호화 방식에 대응하는 방식으로 복호한다. 이때, 움직임 벡터 정보, 참조 프레임 정보, 예측 모드 정보(인트라 예측 모드, 또는 인터 예측 모드를 나타내는 정보), 적응 루프 필터 계수 등도 복호되지만, 도 2의 가역 복호부(42)와 달리, 각 블록의 발생 부호량에 관한 정보를 모스키토 노이즈 필터(114)에 공급한다.

역양자화부(212)는 도 2의 역양자화부(43)와 마찬가지로, 가역 복호부(211)에 의해 복호된 화상을 도 5의 양자화부(112)의 양자화 방식에 대응하는 방식으로 역양자화한다. 또한, 역양자화부(212)는 도 2의 역양자화부(43)와 달리, 각 매크로 블록에 관한 양자화값을 모스키토 노이즈 필터(214)에 공급한다.

역직교 변환부(213)는 도 2의 역직교 변환부(44)와 마찬가지로, 도 5의 직교 변환부(111)의 직교 변환 방식에 대응하는 방식으로 역양자화부(212)의 출력을 역직교 변환한다. 또한, 역직교 변환부(213)는 도 2의 직교 변환부(44)와 달리, 각 매크로 블록에 대하여 4×4 직교 변환과, 8×8 직교 변환 중의 어느 것을 적용했는지에 관한 정보(직교 변환 크기)를 모스키토 노이즈 필터(214)에 공급한다.

모스키토 노이즈 필터(214)는 디블록 필터(46)의 뒤, 적응 루프 필터(91) 앞에 설치되어 있다. 즉, 모스키토 노이즈 필터(214)는, 연산부(45), 디블록 필터(46), 적응 루프 필터(91), 프레임 메모리(49), 스위치(50), 움직임 보상부(52) 및 스위치(53)로 이루어지는 움직임 보상 루프 내에 설치되어 있다. 즉, 움직임 보상 루프 내에서는, 화상이 루프하여 사용되고 있다.

모스키토 노이즈 필터(214)는, 가역 복호부(211), 역양자화부(212) 및 역직교 변환부(213)로부터의 정보를 사용하여, 모스키토 노이즈 제거를 위한 필터 처리를 행할 것인지 여부를 결정한다.

필터 처리를 행하는 경우, 모스키토 노이즈 필터(214)는 디블록 필터(46) 후의 복호 화상에 대하여 모스키토 노이즈 제거를 위한 필터 처리를 행하고, 필터 처리를 행한 화상을 적응 루프 필터(91)에 출력한다. 필터 처리를 행하지 않은 경우, 모스키토 노이즈 필터(214)는, 디블록 필터(46) 후의 복호 화상을 그대로 적응 루프 필터(91)에 출력한다.

또한, 모스키토 노이즈 필터(214)의 구성예는, 정보의 입력처와, 화상의 입출력처가 상이할 뿐이며, 도 15 또는 도 16을 참조하여 상술한 화상 부호화 장치(101)의 모스키토 노이즈 필터(114)의 구성과 마찬가지이므로, 그 설명을 생략한다.

[화상 복호 장치의 복호 처리의 설명]

이어서, 도 23의 흐름도를 참조하여, 화상 복호 장치(201)가 실행하는 복호 처리에 대하여 설명한다.

스텝 S131에서, 축적 버퍼(41)는 전송되어 온 화상을 축적한다. 스텝 S132에서, 가역 복호부(211)는 축적 버퍼(41)로부터 공급되는 압축 화상을 복호한다. 즉, 도 5의 가역 부호화부(113)에 의해 부호화된 I 픽처, P 픽처, 및 B 픽처가 복호된다.

이때, 움직임 벡터 정보, 참조 프레임 정보, 예측 모드 정보(인트라 예측 모드, 또는 인터 예측 모드를 나타내는 정보), 적응 루프 필터 계수 등도 복호된다.

즉, 예측 모드 정보가 인트라 예측 모드 정보인 경우, 예측 모드 정보는 인트라 예측부(51)에 공급된다. 예측 모드 정보가 인터 예측 모드 정보인 경우, 예측 모드 정보와 대응하는 움직임 벡터 정보 및 참조 프레임 정보는 움직임 보상부(52)에 공급된다. 적응 루프 필터 계수는 슬라이스마다 복호되어, 적응 루프 필터(91)에 공급된다.

또한, 이때, 가역 복호부(211)는 각 매크로 블록의 발생 부호량에 관한 정보를 모스키토 노이즈 필터(214)에 공급한다. 이 정보는 후술하는 스텝 S137의 모스키토 노이즈 필터 처리에 사용된다.

스텝 S133에서, 역양자화부(212)는 가역 복호부(211)에 의해 복호된 변환 계수를 도 5의 양자화부(112)의 특성에 대응하는 특성으로 역양자화한다. 이때, 역양자화부(212)는 매크로 블록에 관한 양자화값의 정보를 모스키토 노이즈 필터(214)에 공급한다. 이 정보는 후술하는 스텝 S137의 모스키토 노이즈 필터 처리에 사용된다.

스텝 S134에서 역직교 변환부(213)는 역양자화부(212)에 의해 역양자화된 변환 계수를 도 5의 직교 변환부(111)의 특성에 대응하는 특성으로 역직교 변환한다. 이에 의해 도 5의 직교 변환부(111)의 입력(연산부(13)의 출력)에 대응하는 차분 정보가 복호되게 된다. 또한, 이때, 역직교 변환부(213)는 당해 매크로 블록의 직교 변환 크기에 관한 정보를 모스키토 노이즈 필터(214)에 공급한다. 이 정보는 후술하는 스텝 S137의 모스키토 노이즈 필터 처리에 사용된다.

스텝 S135에서, 연산부(45)는 후술하는 스텝 S141의 처리에서 선택되어, 스위치(53)를 거쳐 입력되는 예측 화상을 차분 정보와 가산한다. 이에 의해 원래의 화상이 복호된다. 스텝 S136에서 디블록 필터(46)는 연산부(45)로부터 출력된 화상에 대하여 디블록 필터 처리를 행한다. 이에 의해 블록 왜곡이 제거된다.

스텝 S137에서, 모스키토 노이즈 필터(214)는, 상술한 스텝 S132, 스텝 S133, 및 스텝 S134의 처리에서 공급되는 정보를 사용하여, 디블록 필터 후의 복호 화상에 대하여 모스키토 노이즈 필터 처리를 행한다. 이 모스키토 노이즈 필터 처리의 상세에 대해서는 도 20 및 도 21을 참조하여 상술한 화상 부호화 장치(101)의 모스키토 노이즈 필터 처리와 마찬가지이므로, 그 설명을 생략한다. 모스키토 노이즈 필터(214)로부터의 화상은 적응 루프 필터(91)에 출력된다.

적응 루프 필터(91)는 스텝 S138에서, 적응 루프 필터 처리를 행한다. 즉, 적응 루프 필터(91)에는, 상술한 스텝 S132에서, 슬라이스마다 가역 복호부(211)(즉, 화상 부호화 장치(101))로부터 적응 루프 필터 계수가 공급된다. 적응 루프 필터(91)는 그 적응 루프 필터 계수를 사용하여, 모스키토 노이즈 필터(114)로부터의 복호 화상에 필터 처리를 행한다. 필터 처리 후의 복호 화상은 프레임 메모리(49) 및 화면 재배열 버퍼(47)에 출력된다.

스텝 S139에서 프레임 메모리(49)는 필터링된 화상을 기억한다.

스텝 S140에서 인트라 예측부(51) 또는 움직임 보상부(52)는 가역 복호부(211)로부터 공급되는 예측 모드 정보에 대응하고, 각각 예측 화상 생성 처리를 행한다.

즉, 가역 복호부(211)로부터 인트라 예측 모드 정보가 공급된 경우, 인트라 예측부(51)는 인트라 예측 모드의 인트라 예측 처리를 행하고, 인트라 예측 화상을 생성한다. 가역 복호부(211)로부터 인터 예측 모드 정보가 공급된 경우, 움직임 보상부(52)는 인터 예측 모드의 움직임 예측·보상 처리를 행하고, 인터 예측 화상을 생성한다.

스텝 S140에서의 예측 처리의 상세한 것은, 도 24를 참조하여 후술하는데, 이 처리에 의해, 인트라 예측부(51)에 의해 생성된 예측 화상(인트라 예측 화상), 또는 움직임 보상부(52)에 의해 생성된 예측 화상(인터 예측 화상)이 스위치(53)에 공급된다.

스텝 S141에서, 스위치(53)는 예측 화상을 선택한다. 즉, 인트라 예측부(51)에 의해 생성된 예측 화상, 또는 움직임 보상부(52)에 의해 생성된 예측 화상이 공급된다. 따라서, 공급된 예측 화상이 선택되어서 연산부(45)에 공급되어, 상술한 바와 같이, 스텝 S135에서 역직교 변환부(213)의 출력과 가산된다.

스텝 S142에서, 화면 재배열 버퍼(47)는 적응 루프 필터(91) 후의 화상의 재배열을 행한다. 즉 화상 부호화 장치(101)의 화면 재배열 버퍼(12)에 의해 부호화를 위하여 재배열된 프레임의 순서가 원래의 표시의 순서로 재배열된다.

스텝 S143에서, D/A 변환부(48)는 화면 재배열 버퍼(47)로부터의 화상을 D/A 변환한다. 이 화상이 도시하지 않은 디스플레이에 출력되어, 화상이 표시된다.

[화상 복호 장치의 예측 처리의 설명]

이어서, 도 24의 흐름도를 참조하여, 도 23의 스텝 S140의 예측 처리를 설명한다.

인트라 예측부(51)는 스텝 S171에서, 대상 블록이 인트라 부호화되어 있는지의 여부를 판정한다. 가역 복호부(211)로부터 인트라 예측 모드 정보가 인트라 예측부(51)에 공급되면, 인트라 예측부(51)는 스텝 S171에서, 대상 블록이 인트라 부호화되어 있다고 판정하고, 처리는 스텝 S172로 진행한다.

인트라 예측부(51)는 스텝 S172에서, 인트라 예측 모드 정보를 취득하고, 스텝 S173에서, 인트라 예측을 행하고, 인트라 예측 화상을 생성한다.

즉, 처리 대상의 화상이 인트라 처리되는 화상인 경우, 필요한 화상이 프레임 메모리(49)로부터 판독되고, 스위치(50)를 거쳐 인트라 예측부(51)에 공급된다. 스텝 S173에서, 인트라 예측부(51)는 스텝 S172에서 취득한 인트라 예측 모드 정보에 따라서 인트라 예측하고, 예측 화상을 생성한다. 생성한 예측 화상은 스위치(53)에 출력된다.

한편, 스텝 S171에서, 인트라 부호화되어 있지 않다고 판정된 경우, 처리는 스텝 S174로 진행한다.

처리 대상의 화상이 인터 처리되는 화상인 경우, 가역 복호부(211)로부터 인터 예측 모드 정보, 참조 프레임 정보, 움직임 벡터 정보가 움직임 보상부(52)에 공급된다.

스텝 S174에서, 움직임 보상부(52)는 가역 복호부(211)로부터의 예측 모드 정보 등을 취득한다. 즉, 움직임(인터) 예측 모드 정보, 참조 프레임 정보, 움직임 벡터 정보가 취득된다.

스텝 S175에서, 움직임 보상부(52)는 움직임 벡터 정보를 사용하여, 프레임 메모리(49)로부터의 참조 화상에 보상을 행하고, 인터 예측 화상을 생성한다. 생성된 예측 화상은 스위치(53)를 거쳐 연산부(45)에 공급되고, 도 23의 스텝 S135에서 역직교 변환부(213)의 출력과 가산된다.

이상과 같이, 화상 부호화 장치(101) 및 화상 복호 장치(201)에서는, 각 매크로 블록에 대한, 직교 변환 계수, 직교 변환 크기, 양자화값, 부호량 등과 같은 부호화 정보에 따라, 모스키토 노이즈 제거를 위한 필터 처리가 행해진다.

여기서, 모스키토 노이즈는 블록 노이즈와 마찬가지의 국소적 노이즈인데, 블록 노이즈와 달리, 디블록 필터(21)로는 제거가 곤란하다.

따라서, 매크로 블록에 대한 부호화 정보에 따라, 모스키토 노이즈 제거를 위한 필터 처리를 행하도록 했으므로, 복호 화상의 화질이 향상된다. 또한, 모스키토 노이즈의 필터 처리가 움직임 보상 루프 내에서 행해지므로, 움직임 보상에 있어서, 이제부터 참조되는 화상의 화질도 향상된다. 이 결과, 부호화 효율이 개선된다.

또한, 모스키토 노이즈의 제어는, 복호 측에 보내기 위하여 원래 산출되는 부호화 정보가 사용되므로, 새로운 정보를 산출하여 제어할 필요가 없다.

또한, 상기 설명에 있어서는, 직교 변환 크기가, 4×4 화소와 8×8 화소의 예를 설명했지만, 직교 변환 크기는 그들의 크기에 한정되지 않는다. 또한 큰 직교 변환 크기에도 본 발명은 적용된다.

이상에 있어서는, 부호화 방식으로서 H.264/AVC 방식을 기초로 사용하도록 했지만, 본 발명은 이에 한정하지 않고, 직교 변환과 움직임 보상에 기초하는, 그 밖의 부호화 방식/복호 방식을 적용할 수 있다.

또한, 본 발명은 예를 들어, MPEG, H.26x 등과 같이, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축된 화상 정보(비트 스트림)를 위성 방송, 케이블 텔레비전, 인터넷, 또는 휴대 전화기 등의 네트워크 매체를 거쳐 수신할 때에 사용되는 화상 부호화 장치 및 화상 복호 장치에 적용할 수 있다. 또한, 본 발명은 광, 자기 디스크, 및 플래시 메모리와 같은 기억 매체 상에서 처리할 때에 사용되는 화상 부호화 장치 및 화상 복호 장치에 적용할 수 있다. 또한, 본 발명은 그들 화상 부호화 장치 및 화상 복호 장치 등에 포함되는 움직임 예측 보상 장치에도 적용할 수 있다.

상술한 일련의 처리는 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한 범용의 퍼스널 컴퓨터 등이 포함된다.

[퍼스널 컴퓨터의 구성예]

도 25는 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.

컴퓨터에 있어서, CPU(Central Processing Unit)(251), ROM(Read Only Memory)(252), RAM(Random Access Memory)(253)은 버스(254)에 의해 서로 접속되어 있다.

버스(254)에는, 또한, 입출력 인터페이스(255)가 접속되어 있다. 입출력 인터페이스(255)에는, 입력부(256), 출력부(257), 기억부(258), 통신부(259) 및 드라이브(260)가 접속되어 있다.

입력부(256)는 키보드, 마우스, 마이크로폰 등으로 이루어진다. 출력부(257)는 디스플레이, 스피커 등으로 이루어진다. 기억부(258)는 하드디스크나 불휘발성이 메모리 등으로 이루어진다. 통신부(259)는 네트워크 인터페이스 등으로 이루어진다. 드라이브(260)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 착탈식 매체(261)를 구동한다.

이상과 같이 구성되는 컴퓨터에서는, CPU(251)가 예를 들어, 기억부(258)에 기억되어 있는 프로그램을 입출력 인터페이스(255) 및 버스(254)를 거쳐 RAM(253)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.

컴퓨터(CPU(251))가 실행하는 프로그램은 예를 들어, 패키지 매체 등으로서의 착탈식 매체(261)에 기록하여 제공할 수 있다. 또한, 프로그램은 근거리 네트워크, 인터넷, 디지털 방송과 같은, 유선 또는 무선의 전송 매체를 거쳐 제공할 수 있다.

컴퓨터에서는, 프로그램은 착탈식 매체(261)를 드라이브(260)에 장착함으로써, 입출력 인터페이스(255)를 거쳐 기억부(258)에 인스톨할 수 있다. 또한, 프로그램은 유선 또는 무선의 전송 매체를 거쳐 통신부(259)로 수신하고, 기억부(258)에 인스톨할 수 있다. 그 외, 프로그램은 ROM(252)이나 기억부(258)에 미리 인스톨해 둘 수 있다.

또한, 컴퓨터가 실행하는 프로그램은 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 또는 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.

본 발명의 실시 형태는 상술한 실시 형태에 한정되는 것은 아니라, 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.

예를 들어, 상술한 화상 부호화 장치(101)나 화상 복호 장치(201)는 임의의 전자 기기에 적용할 수 있다. 이하에 그 예에 대하여 설명한다.

[텔레비전 수상기의 구성예]

도 26은 본 발명을 적용한 화상 복호 장치를 사용하는 텔레비전 수상기의 주된 구성예를 도시하는 블록도이다.

도 26에 도시하는 텔레비전 수상기(300)는 지상파 튜너(313), 비디오 디코더(315), 영상 신호 처리 회로(318), 그래픽 생성 회로(319), 패널 구동 회로(320) 및 표시 패널(321)을 갖는다.

지상파 튜너(313)는 지상 아날로그 방송의 방송파 신호를, 안테나를 거쳐 수신하고, 복조하고, 영상 신호를 취득하고, 그것을 비디오 디코더(315)에 공급한다. 비디오 디코더(315)는 지상파 튜너(313)로부터 공급된 영상 신호에 대하여 디코드 처리를 실시하고, 얻어진 디지털의 컴포넌트 신호를 영상 신호 처리 회로(318)에 공급한다.

영상 신호 처리 회로(318)는 비디오 디코더(315)로부터 공급된 영상 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 영상 데이터를 그래픽 생성 회로(319)에 공급한다.

그래픽 생성 회로(319)는 표시 패널(321)에 표시시키는 프로그램의 영상 데이터나, 네트워크를 거쳐 공급되는 어플리케이션에 기초하는 처리에 의한 화상 데이터 등을 생성하고, 생성한 영상 데이터나 화상 데이터를 패널 구동 회로(320)에 공급한다. 또한, 그래픽 생성 회로(319)는 항목의 선택 등에 유저에 의해 이용되는 화면을 표시하기 위한 영상 데이터(그래픽)를 생성하고, 그것을 프로그램의 영상 데이터에 중첩하거나 함으로써 얻어진 영상 데이터를 패널 구동 회로(320)에 공급한다는 처리도 적절히 행한다.

패널 구동 회로(320)는 그래픽 생성 회로(319)로부터 공급된 데이터에 기초하여 표시 패널(321)을 구동하고, 프로그램의 영상이나 상술한 각종 화면을 표시 패널(321)에 표시시킨다.

표시 패널(321)은 LCD(Liquid Crystal Display) 등으로 이루어지고, 패널 구동 회로(320)에 의한 제어에 따라서 프로그램의 영상 등을 표시시킨다.

또한, 텔레비전 수상기(300)는 음성 A/D(Analog/Digital) 변환 회로(314), 음성 신호 처리 회로(322), 에코 캔슬/음성 합성 회로(323), 음성 증폭 회로(324) 및 스피커(325)도 갖는다.

지상파 튜너(313)는 수신한 방송파 신호를 복조함으로써, 영상 신호뿐만아니라 음성 신호도 취득한다. 지상파 튜너(313)는 취득한 음성 신호를 음성 A/D 변환 회로(314)에 공급한다.

음성 A/D 변환 회로(314)는 지상파 튜너(313)로부터 공급된 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 신호를 음성 신호 처리 회로(322)에 공급한다.

음성 신호 처리 회로(322)는 음성 A/D 변환 회로(314)로부터 공급된 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 음성 데이터를 에코 캔슬/음성 합성 회로(323)에 공급한다.

에코 캔슬/음성 합성 회로(323)는 음성 신호 처리 회로(322)로부터 공급된 음성 데이터를 음성 증폭 회로(324)에 공급한다.

음성 증폭 회로(324)는 에코 캔슬/음성 합성 회로(323)로부터 공급된 음성 데이터에 대하여 D/A 변환 처리, 증폭 처리를 실시하고, 소정의 음량으로 조정한 후, 음성을 스피커(325)로부터 출력시킨다.

또한, 텔레비전 수상기(300)는 디지털 튜너(316) 및 MPEG 디코더(317)도 갖는다.

디지털 튜너(316)는 디지털 방송(지상 디지털 방송, BS(Broadcasting Satellite)/CS(Communications Satellite) 디지털 방송)의 방송파 신호를, 안테나를 거쳐 수신하고, 복조하고, MPEG-TS(Moving Picture Experts Group-Transport Stream)를 취득하고, 그것을 MPEG 디코더(317)에 공급한다.

MPEG 디코더(317)는 디지털 튜너(316)로부터 공급된 MPEG-TS에 실시되어 있는 스크램블을 해제하고, 재생 대상(시청 대상)이 되어 있는 프로그램의 데이터를 포함하는 스트림을 추출한다. MPEG 디코더(317)는 추출한 스트림을 구성하는 음성 패킷을 디코드하고, 얻어진 음성 데이터를 음성 신호 처리 회로(322)에 공급함과 함께, 스트림을 구성하는 영상 패킷을 디코드하고, 얻어진 영상 데이터를 영상 신호 처리 회로(318)에 공급한다. 또한, MPEG 디코더(317)는 MPEG-TS로부터 추출한 EPG(Electronic Program Guide) 데이터를 도시하지 않은 경로를 거쳐 CPU(332)에 공급한다.

텔레비전 수상기(300)는 이렇게 영상 패킷을 디코드하는 MPEG 디코더(317)로서, 상술한 화상 복호 장치(201)를 사용한다. 따라서, MPEG 디코더(317)는 화상 복호 장치(201)의 경우와 마찬가지로, 복호 화상의 화질을 향상하고, 또한, 움직임 보상에 있어서, 이제부터 참조되는 화상의 화질도 향상시킬 수 있다. 이 결과, 부호화 효율이 개선된다.

MPEG 디코더(317)로부터 공급된 영상 데이터는 비디오 디코더(315)로부터 공급된 영상 데이터의 경우와 마찬가지로, 영상 신호 처리 회로(318)에서 소정의 처리가 실시된다. 그리고, 소정의 처리가 실시된 영상 데이터는 그래픽 생성 회로(319)에서, 생성된 영상 데이터 등이 적절히 중첩되어, 패널 구동 회로(320)를 거쳐 표시 패널(321)에 공급되어, 그 화상이 표시된다.

MPEG 디코더(317)로부터 공급된 음성 데이터는 음성 A/D 변환 회로(314)로부터 공급된 음성 데이터의 경우와 마찬가지로, 음성 신호 처리 회로(322)에서 소정의 처리가 실시된다. 그리고, 소정의 처리가 실시된 음성 데이터는 에코 캔슬/음성 합성 회로(323)를 거쳐 음성 증폭 회로(324)에 공급되어, D/A 변환 처리나 증폭 처리가 실시된다. 그 결과, 소정의 음량으로 조정된 음성이 스피커(325)로부터 출력된다.

또한, 텔레비전 수상기(300)는 마이크로폰(326) 및 A/D 변환 회로(327)도 갖는다.

A/D 변환 회로(327)는 음성 회화용의 것으로서 텔레비전 수상기(300)에 설치되는 마이크로폰(326)에 의해 도입된 유저의 음성의 신호를 수신한다. A/D 변환 회로(327)는 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 에코 캔슬/음성 합성 회로(323)에 공급한다.

에코 캔슬/음성 합성 회로(323)는 텔레비전 수상기(300)의 유저(유저 A)의 음성의 데이터가 A/D 변환 회로(327)로부터 공급되고 있는 경우, 유저 A의 음성 데이터를 대상으로 하여 에코 캔슬을 행한다. 그리고, 에코 캔슬/음성 합성 회로(323)는 에코 캔슬 후, 다른 음성 데이터와 합성하거나 하여 얻어진 음성의 데이터를 음성 증폭 회로(324)를 거쳐 스피커(325)로부터 출력시킨다.

또한, 텔레비전 수상기(300)는 음성 코덱(328), 내부 버스(329), SDRAM(Synchronous Dynamic Random Access Memory)(330), 플래시 메모리(331), CPU(332), USB(Universal Serial Bus) I/F(333), 및 네트워크 I/F(334)도 갖는다.

A/D 변환 회로(327)는 음성 회화용의 것으로서 텔레비전 수상기(300)에 설치되는 마이크로폰(326)에 의해 도입된 유저의 음성의 신호를 수신한다. A/D 변환 회로(327)는 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 음성 코덱(328)에 공급한다.

음성 코덱(328)은 A/D 변환 회로(327)로부터 공급된 음성 데이터를, 네트워크 경유로 송신하기 위한 소정의 포맷의 데이터로 변환하고, 내부 버스(329)를 거쳐 네트워크 I/F(334)에 공급한다.

네트워크 I/F(334)는, 네트워크 단자(335)에 장착된 케이블을 거쳐 네트워크에 접속된다. 네트워크 I/F(334)는, 예를 들어, 그 네트워크에 접속되는 다른 장치에 대하여 음성 코덱(328)으로부터 공급된 음성 데이터를 송신한다. 또한, 네트워크 I/F(334)는, 예를 들어, 네트워크를 거쳐 접속되는 다른 장치로부터 송신되는 음성 데이터를, 네트워크 단자(335)를 거쳐 수신하고, 그것을, 내부 버스(329)를 거쳐 음성 코덱(328)에 공급한다.

음성 코덱(328)은 네트워크 I/F(334)로부터 공급된 음성 데이터를 소정의 포맷의 데이터로 변환하고, 그것을 에코 캔슬/음성 합성 회로(323)에 공급한다.

에코 캔슬/음성 합성 회로(323)는 음성 코덱(328)으로부터 공급되는 음성 데이터를 대상으로 하여 에코 캔슬을 행하고, 다른 음성 데이터와 합성하거나 하여 얻어진 음성의 데이터를, 음성 증폭 회로(324)를 거쳐 스피커(325)로부터 출력시킨다.

SDRAM(330)은, CPU(332)가 처리를 행함에 있어서 필요한 각종 데이터를 기억한다.

플래시 메모리(331)는 CPU(332)에 의해 실행되는 프로그램을 기억한다. 플래시 메모리(331)에 기억되어 있는 프로그램은 텔레비전 수상기(300)의 기동 시 등의 소정의 타이밍에 CPU(332)에 의해 판독된다. 플래시 메모리(331)에는, 디지털 방송을 거쳐 취득된 EPG 데이터, 네트워크를 거쳐 소정의 서버로부터 취득된 데이터 등도 기억된다.

예를 들어, 플래시 메모리(331)에는, CPU(332)의 제어에 의해 네트워크를 거쳐 소정의 서버로부터 취득된 콘텐츠 데이터를 포함하는 MPEG-TS가 기억된다. 플래시 메모리(331)는 예를 들어 CPU(332)의 제어에 의해, 그 MPEG-TS를 내부 버스(329)를 거쳐 MPEG 디코더(317)에 공급한다.

MPEG 디코더(317)는 디지털 튜너(316)로부터 공급된 MPEG-TS의 경우와 마찬가지로, 그 MPEG-TS를 처리한다. 이렇게 텔레비전 수상기(300)는 영상이나 음성 등으로 이루어지는 콘텐츠 데이터를, 네트워크를 거쳐 수신하고, MPEG 디코더(317)를 사용하여 디코드하고, 그 영상을 표시시키거나, 음성을 출력시키거나 할 수 있다.

또한, 텔레비전 수상기(300)는 리모트 컨트롤러(351)로부터 송신되는 적외선 신호를 수광하는 수광부(337)도 갖는다.

수광부(337)는 리모트 컨트롤러(351)로부터의 적외선을 수광하고, 복조하여 얻어진 유저 조작의 내용을 표현하는 제어 코드를 CPU(332)에 출력한다.

CPU(332)는, 플래시 메모리(331)에 기억되어 있는 프로그램을 실행하고, 수광부(337)로부터 공급되는 제어 코드 등에 따라 텔레비전 수상기(300)의 전체의 동작을 제어한다. CPU(332)와 텔레비전 수상기(300)의 각 부는, 도시하지 않은 경로를 거쳐 접속되어 있다.

USB I/F(333)는, USB 단자(336)에 장착된 USB 케이블을 거쳐 접속되는, 텔레비전 수상기(300)의 외부의 기기 사이에서 데이터의 송수신을 행한다. 네트워크 I/F(334)는, 네트워크 단자(335)에 장착된 케이블을 거쳐 네트워크에 접속하고, 네트워크에 접속되는 각종 장치와 음성 데이터 이외의 데이터의 송수신도 행한다.

텔레비전 수상기(300)는 MPEG 디코더(317)로서 화상 복호 장치(201)를 사용함으로써, 부호화 효율을 향상할 수 있다. 그 결과로서, 텔레비전 수상기(300)는 안테나를 거쳐 수신한 방송파 신호나, 네트워크를 거쳐 취득한 콘텐츠 데이터로부터, 보다 고정밀의 복호 화상을 얻고, 표시할 수 있다.

[휴대 전화기의 구성예]

도 27은, 본 발명을 적용한 화상 부호화 장치 및 화상 복호 장치를 사용하는 휴대 전화기의 주된 구성예를 도시하는 블록도이다.

도 27에 도시하는 휴대 전화기(400)는 각 부를 통괄적으로 제어하도록 이루어진 주제어부(450), 전원 회로부(451), 조작 입력 제어부(452), 화상 인코더(453), 카메라 I/F부(454), LCD 제어부(455), 화상 디코더(456), 다중 분리부(457), 기록 재생부(462), 변복조 회로부(458) 및 음성 코덱(459)을 갖는다. 이들은, 버스(460)를 거쳐 서로 접속되어 있다.

또한, 휴대 전화기(400)는 조작 키(419), CCD(Charge Coupled Devices) 카메라(416), 액정 디스플레이(418), 기억부(423), 송수신 회로부(463), 안테나(414), 마이크로폰(마이크)(421), 및 스피커(417)를 갖는다.

전원 회로부(451)는 유저의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 휴대 전화기(400)를 동작 가능한 상태로 기동한다.

휴대 전화기(400)는 CPU, ROM 및 RAM 등으로 이루어지는 주제어부(450)의 제어에 기초하여, 음성 통화 모드나 데이터 통신 모드 등의 각종 모드에서, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영, 또는 데이터 기록 등의 각종 동작을 행한다.

예를 들어, 음성 통화 모드에서, 휴대 전화기(400)는 마이크로폰(마이크)(421)에서 집음한 음성 신호를 음성 코덱(459)에 의해 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(458)에서 스펙트럼 확산 처리하고, 송수신 회로부(463)에서 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(400)는 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(414)를 거쳐 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(음성 신호)는 공중 전화 회선망을 거쳐 통화 상대의 휴대 전화기에 공급된다.

또한, 예를 들어, 음성 통화 모드에서, 휴대 전화기(400)는 안테나(414)로 수신한 수신 신호를 송수신 회로부(463)에서 증폭하고, 또한 주파수 변환 처리 및 아날로그/디지털 변환 처리하고, 변복조 회로부(458)에서 스펙트럼 역확산 처리하고, 음성 코덱(459)에 의해 아날로그 음성 신호로 변환한다. 휴대 전화기(400)는 그 변환하여 얻어진 아날로그 음성 신호를 스피커(417)로부터 출력한다.

또한, 예를 들어, 데이터 통신 모드에서 전자 메일을 송신하는 경우, 휴대 전화기(400)는 조작 키(419)의 조작에 의해 입력된 전자 메일의 텍스트 데이터를, 조작 입력 제어부(452)에서 접수한다. 휴대 전화기(400)는 그 텍스트 데이터를 주제어부(450)에서 처리하고, LCD 제어부(455)를 거쳐 화상으로서 액정 디스플레이(418)에 표시시킨다.

또한, 휴대 전화기(400)는 주제어부(450)에서, 조작 입력 제어부(452)가 접수한 텍스트 데이터나 유저 지시 등에 기초하여 전자 메일 데이터를 생성한다. 휴대 전화기(400)는 그 전자 메일 데이터를, 변복조 회로부(458)에서 스펙트럼 확산 처리하고, 송수신 회로부(463)에서 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(400)는 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(414)를 거쳐 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(전자 메일)는 네트워크 및 메일 서버 등을 거쳐 소정의 수신처에 공급된다.

또한, 예를 들어, 데이터 통신 모드에서 전자 메일을 수신할 경우, 휴대 전화기(400)는 기지국으로부터 송신된 신호를, 안테나(414)를 거쳐 송수신 회로부(463)에서 수신하고, 증폭하고, 또한 주파수 변환 처리 및 아날로그/디지털 변환 처리한다. 휴대 전화기(400)는 그 수신 신호를 변복조 회로부(458)에서 스펙트럼 역확산 처리하여 원래의 전자 메일 데이터를 복원한다. 휴대 전화기(400)는 복원된 전자 메일 데이터를, LCD 제어부(455)를 거쳐 액정 디스플레이(418)에 표시한다.

또한, 휴대 전화기(400)는 수신한 전자 메일 데이터를, 기록 재생부(462)를 거쳐 기억부(423)에 기록하는(기억시키는) 것도 가능하다.

이 기억부(423)는 재기입 가능한 임의의 기억 매체이다. 기억부(423)는 예를 들어, RAM이나 내장형 플래시 메모리 등의 반도체 메모리여도 되고, 하드디스크여도 되고, 자기 디스크, 광자기 디스크, 광 디스크, USB 메모리, 또는 메모리 카드 등의 착탈식 매체여도 된다. 물론, 이들 이외의 것이어도 된다.

또한, 예를 들어, 데이터 통신 모드에서 화상 데이터를 송신하는 경우, 휴대 전화기(400)는 촬상에 의해 CCD 카메라(416)에서 화상 데이터를 생성한다. CCD 카메라(416)는 렌즈나 조리개(교축 밸브) 등의 광학 디바이스와 광전 변환 소자로서의 CCD를 갖고, 피사체를 촬상하고, 수광한 광의 강도를 전기 신호로 변환하고, 피사체의 화상의 화상 데이터를 생성한다. 그 화상 데이터를, 카메라 I/F부(454)를 거쳐 화상 인코더(453)에서, 예를 들어 MPEG2나 MPEG4 등의 소정의 부호화 방식에 의해 압축 부호화함으로써 부호화 화상 데이터로 변환한다.

휴대 전화기(400)는 이러한 처리를 행하는 화상 인코더(453)로서, 상술한 화상 부호화 장치(101)를 사용한다. 따라서, 화상 인코더(453)는 화상 부호화 장치(101)의 경우와 마찬가지로, 복호 화상의 화질을 향상하고, 또한, 움직임 보상에 있어서, 이제부터 참조되는 화상의 화질도 향상시킬 수 있다. 이 결과, 부호화 효율이 개선된다.

또한, 휴대 전화기(400)는 이때 동시에, CCD 카메라(416)에서 촬상 중에 마이크로폰(마이크)(421)에서 집음한 음성을 음성 코덱(459)에서 아날로그/디지털 변환하고, 또한 부호화한다.

휴대 전화기(400)는 다중 분리부(457)에서, 화상 인코더(453)로부터 공급된 부호화 화상 데이터와, 음성 코덱(459)으로부터 공급된 디지털 음성 데이터를, 소정의 방식으로 다중화한다. 휴대 전화기(400)는 그 결과 얻어지는 다중화 데이터를, 변복조 회로부(458)에서 스펙트럼 확산 처리하고, 송수신 회로부(463)에서 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(400)는 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(414)를 거쳐 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(화상 데이터)는 네트워크 등을 거쳐 통신 상대로 공급된다.

또한, 화상 데이터를 송신하지 않는 경우, 휴대 전화기(400)는 CCD 카메라(416)에서 생성한 화상 데이터를, 화상 인코더(453)를 통하지 않고, LCD 제어부(455)를 거쳐 액정 디스플레이(418)에 표시시킬 수도 있다.

또한, 예를 들어, 데이터 통신 모드에서, 간이 홈페이지 등에 링크된 동화상 파일의 데이터를 수신할 경우, 휴대 전화기(400)는 기지국으로부터 송신된 신호를, 안테나(414)를 거쳐 송수신 회로부(463)에서 수신하고, 증폭하고, 또한 주파수 변환 처리 및 아날로그/디지털 변환 처리한다. 휴대 전화기(400)는 그 수신 신호를 변복조 회로부(458)에서 스펙트럼 역확산 처리하여 원래의 다중화 데이터를 복원한다. 휴대 전화기(400)는 다중 분리부(457)에서, 그 다중화 데이터를 분리하고, 부호화 화상 데이터와 음성 데이터로 나눈다.

휴대 전화기(400)는 화상 디코더(456)에서, 부호화 화상 데이터를, MPEG2나 MPEG4 등의 소정의 부호화 방식에 대응한 복호 방식으로 디코드함으로써, 재생 동화상 데이터를 생성하고, 이것을, LCD 제어부(455)를 거쳐 액정 디스플레이(418)에 표시시킨다. 이에 의해, 예를 들어, 간이 홈페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 액정 디스플레이(418)에 표시된다.

휴대 전화기(400)는 이러한 처리를 행하는 화상 디코더(456)로서, 상술한 화상 복호 장치(201)를 사용한다. 따라서, 화상 디코더(456)는 화상 복호 장치(201)의 경우와 마찬가지로, 복호 화상의 화질을 향상하고, 또한, 움직임 보상에 있어서, 이제부터 참조되는 화상의 화질도 향상시킬 수 있다. 이 결과, 부호화 효율이 개선된다.

이때, 휴대 전화기(400)는 동시에, 음성 코덱(459)에서, 디지털의 음성 데이터를 아날로그 음성 신호로 변환하고, 이것을 스피커(417)로부터 출력시킨다. 이에 의해, 예를 들어, 간이 홈페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.

또한, 전자 메일의 경우와 마찬가지로, 휴대 전화기(400)는 수신한 간이 홈페이지 등에 링크된 데이터를, 기록 재생부(462)를 거쳐 기억부(423)에 기록하는(기억시키는) 것도 가능하다.

또한, 휴대 전화기(400)는 주제어부(450)에서, 촬상되어서 CCD 카메라(416)에서 얻어진 2차원 코드를 해석하고, 2차원 코드에 기록된 정보를 취득할 수 있다.

또한, 휴대 전화기(400)는 적외선 통신부(481)로 적외선에 의해 외부의 기기와 통신할 수 있다.

휴대 전화기(400)는 화상 인코더(453)로서 화상 부호화 장치(101)를 사용함으로써, 부호화 효율을 향상시킬 수 있다. 결과적으로, 휴대 전화기(400)는 부호화 효율이 좋은 부호화 데이터(화상 데이터)를 다른 장치에 제공할 수 있다.

또한, 휴대 전화기(400)는 화상 디코더(456)로서 화상 복호 장치(201)를 사용함으로써, 부호화 효율을 향상시킬 수 있다. 그 결과로서, 휴대 전화기(400)는 예를 들어, 간이 홈페이지에 링크된 동화상 파일로부터, 보다 고정밀의 복호 화상을 얻고, 표시할 수 있다.

또한, 이상에 있어서, 휴대 전화기(400)가 CCD 카메라(416)를 사용하도록 설명했지만, 이 CCD 카메라(416) 대신에 CMOS(Complementary Metal Oxide Semiconductor)를 사용한 이미지 센서(CMOS 이미지 센서)를 사용하도록 해도 된다. 이 경우에도, 휴대 전화기(400)는 CCD 카메라(416)를 사용하는 경우와 마찬가지로, 피사체를 촬상하고, 피사체의 화상의 화상 데이터를 생성할 수 있다.

또한, 이상에 있어서는 휴대 전화기(400)로서 설명했지만, 예를 들어, PDA(Personal Digital Assistants), 스마트폰, UMPC(Ultra Mobile Personal Computer), 인터넷북, 노트북형 퍼스널 컴퓨터 등, 이 휴대 전화기(400)와 마찬가지의 촬상 기능이나 통신 기능을 갖는 장치이면, 어떤 장치여도 휴대 전화기(400)의 경우와 마찬가지로, 화상 부호화 장치(101) 및 화상 복호 장치(201)를 적용할 수 있다.

[하드디스크 레코더의 구성예]

도 28은, 본 발명을 적용한 화상 부호화 장치 및 화상 복호 장치를 사용하는 하드디스크 레코더의 주된 구성예를 도시하는 블록도이다.

도 28에 도시하는 하드디스크 레코더(HDD 레코더)(500)는, 튜너에 의해 수신된, 위성이나 지상의 안테나 등으로부터 송신되는 방송파 신호(텔레비전 신호)에 포함되는 방송 프로그램의 오디오 데이터와 비디오 데이터를 내장하는 하드디스크에 보존하고, 그 보존한 데이터를 유저의 지시에 따른 타이밍에 유저에 제공하는 장치이다.

하드디스크 레코더(500)는 예를 들어, 방송파 신호로부터 오디오 데이터와 비디오 데이터를 추출하고, 그들을 적절히 복호하고, 내장하는 하드디스크에 기억시킬 수 있다. 또한, 하드디스크 레코더(500)는 예를 들어, 네트워크를 거쳐 다른 장치로부터 오디오 데이터나 비디오 데이터를 취득하고, 그들을 적절히 복호하고, 내장하는 하드디스크에 기억시킬 수도 있다.

또한, 하드디스크 레코더(500)는 예를 들어, 내장하는 하드디스크에 기록되어 있는 오디오 데이터나 비디오 데이터를 복호하여 모니터(560)에 공급하고, 모니터(560)의 화면에 그 화상을 표시시킨다. 또한, 하드디스크 레코더(500)는 모니터(560)의 스피커로부터 그 음성을 출력시킬 수 있다.

하드디스크 레코더(500)는 예를 들어, 튜너를 거쳐 취득된 방송파 신호로부터 추출된 오디오 데이터와 비디오 데이터, 또는, 네트워크를 거쳐 다른 장치로부터 취득한 오디오 데이터나 비디오 데이터를 복호하여 모니터(560)에 공급하고, 모니터(560)의 화면에 그 화상을 표시시킨다. 또한, 하드디스크 레코더(500)는 모니터(560)의 스피커로부터 그 음성을 출력시킬 수도 있다.

물론, 이밖의 동작도 가능하다.

도 28에 도시된 바와 같이, 하드디스크 레코더(500)는 수신부(521), 복조부(522), 디멀티플렉서(523), 오디오 디코더(524), 비디오 디코더(525) 및 레코더 제어부(526)를 갖는다. 하드디스크 레코더(500)는 또한, EPG 데이터 메모리(527), 프로그램 메모리(528), 워크 메모리(529), 디스플레이 컨버터(530), OSD(On Screen Display) 제어부(531), 디스플레이 제어부(532), 기록 재생부(533), D/A 컨버터(534) 및 통신부(535)를 갖는다.

또한, 디스플레이 컨버터(530)는 비디오 인코더(541)를 갖는다. 기록 재생부(533)는 인코더(551) 및 디코더(552)를 갖는다.

수신부(521)는 리모트 컨트롤러(도시하지 않음)로부터의 적외선 신호를 수신하고, 전기 신호로 변환하여 레코더 제어부(526)에 출력한다. 레코더 제어부(526)는 예를 들어, 마이크로프로세서 등에 의해 구성되고, 프로그램 메모리(528)에 기억되어 있는 프로그램에 따라 각종 처리를 실행한다. 레코더 제어부(526)는 이때 워크 메모리(529)를 필요에 따라서 사용한다.

통신부(535)는 네트워크에 접속되고, 네트워크를 거쳐 다른 장치와의 통신 처리를 행한다. 예를 들어, 통신부(535)는 레코더 제어부(526)에 의해 제어되고, 튜너(도시하지 않음)와 통신하고, 주로 튜너에 대하여 선국 제어 신호를 출력한다.

복조부(522)는 튜너 로부터 공급된 신호를, 복조하고, 디멀티플렉서(523)에 출력한다. 디멀티플렉서(523)는 복조부(522)로부터 공급된 데이터를, 오디오 데이터, 비디오 데이터, 및 EPG 데이터로 분리하고, 각각 오디오 디코더(524), 비디오 디코더(525), 또는 레코더 제어부(526)에 출력한다.

오디오 디코더(524)는 입력된 오디오 데이터를, 예를 들어 MPEG 방식으로 디코드하고, 기록 재생부(533)에 출력한다. 비디오 디코더(525)는 입력된 비디오 데이터를, 예를 들어 MPEG 방식으로 디코드하고, 디스플레이 컨버터(530)에 출력한다. 레코더 제어부(526)는 입력된 EPG 데이터를 EPG 데이터 메모리(527)에 공급하고, 기억시킨다.

디스플레이 컨버터(530)는 비디오 디코더(525) 또는 레코더 제어부(526)로부터 공급된 비디오 데이터를, 비디오 인코더(541)에 의해, 예를 들어 NTSC(National Television Standards Committee) 방식의 비디오 데이터에 인코드하고, 기록 재생부(533)에 출력한다. 또한, 디스플레이 컨버터(530)는 비디오 디코더(525) 또는 레코더 제어부(526)로부터 공급되는 비디오 데이터의 화면의 크기를, 모니터(560)의 크기에 대응하는 크기로 변환한다. 디스플레이 컨버터(530)는 화면의 크기가 변환된 비디오 데이터를, 또한, 비디오 인코더(541)에 의해 NTSC 방식의 비디오 데이터로 변환하고, 아날로그 신호로 변환하고, 디스플레이 제어부(532)에 출력한다.

디스플레이 제어부(532)는 레코더 제어부(526)의 제어 하, OSD(On Screen Display) 제어부(531)가 출력한 OSD 신호를, 디스플레이 컨버터(530)로부터 입력된 비디오 신호에 중첩하고, 모니터(560)의 디스플레이에 출력하고, 표시시킨다.

모니터(560)에는 또한, 오디오 디코더(524)가 출력한 오디오 데이터가, D/A 컨버터(534)에 의해 아날로그 신호로 변환되어서 공급되고 있다. 모니터(560)는 이 오디오 신호를 내장하는 스피커로부터 출력한다.

기록 재생부(533)는 비디오 데이터나 오디오 데이터 등을 기록하는 기억 매체로서 하드디스크를 갖는다.

기록 재생부(533)는 예를 들어, 오디오 디코더(524)로부터 공급되는 오디오 데이터를, 인코더(551)에 의해 MPEG 방식으로 인코드한다. 또한, 기록 재생부(533)는 디스플레이 컨버터(530)의 비디오 인코더(541)로부터 공급되는 비디오 데이터를, 인코더(551)에 의해 MPEG 방식으로 인코드한다. 기록 재생부(533)는 그 오디오 데이터의 부호화 데이터와 비디오 데이터의 부호화 데이터를 멀티플렉서에 의해 합성한다. 기록 재생부(533)는 그 합성 데이터를 채널코딩하여 증폭하고, 그 데이터를, 기록 헤드를 거쳐 하드디스크에 기입한다.

기록 재생부(533)는 재생 헤드를 거쳐 하드디스크에 기록되어 있는 데이터를 재생하고, 증폭하고, 디멀티플렉서에 의해 오디오 데이터와 비디오 데이터로 분리한다. 기록 재생부(533)는 디코더(552)에 의해 오디오 데이터 및 비디오 데이터를 MPEG 방식으로 디코드한다. 기록 재생부(533)는 복호한 오디오 데이터를 D/A 변환하고, 모니터(560)의 스피커에 출력한다. 또한, 기록 재생부(533)는 복호한 비디오 데이터를 D/A 변환하고, 모니터(560)의 디스플레이에 출력한다.

레코더 제어부(526)는 수신부(521)를 거쳐 수신되는 리모트 컨트롤러로부터의 적외선 신호에 의해 나타나는 유저 지시에 기초하여, EPG 데이터 메모리(527)로부터 최신의 EPG 데이터를 판독하고, 그것을 OSD 제어부(531)에 공급한다. OSD 제어부(531)는 입력된 EPG 데이터에 대응하는 화상 데이터를 발생하고, 디스플레이 제어부(532)에 출력한다. 디스플레이 제어부(532)는 OSD 제어부(531)로부터 입력된 비디오 데이터를 모니터(560)의 디스플레이에 출력하고, 표시시킨다. 이에 의해, 모니터(560)의 디스플레이에는, EPG(전자 프로그램 가이드)가 표시된다.

또한, 하드디스크 레코더(500)는 인터넷 등의 네트워크를 거쳐 다른 장치로부터 공급되는 비디오 데이터, 오디오 데이터, 또는 EPG 데이터 등의 각종 데이터를 취득할 수 있다.

통신부(535)는 레코더 제어부(526)에 제어되고, 네트워크를 거쳐 다른 장치로부터 송신되는 비디오 데이터, 오디오 데이터, 및 EPG 데이터 등의 부호화 데이터를 취득하고, 그것을 레코더 제어부(526)에 공급한다. 레코더 제어부(526)는 예를 들어, 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 기록 재생부(533)에 공급하고, 하드디스크에 기억시킨다. 이때, 레코더 제어부(526) 및 기록 재생부(533)가 필요에 따라 재인코드 등의 처리를 행하도록 해도 된다.

또한, 레코더 제어부(526)는 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 복호하고, 얻어지는 비디오 데이터를 디스플레이 컨버터(530)에 공급한다. 디스플레이 컨버터(530)는 비디오 디코더(525)로부터 공급되는 비디오 데이터와 마찬가지로, 레코더 제어부(526)로부터 공급되는 비디오 데이터를 처리하고, 디스플레이 제어부(532)를 거쳐 모니터(560)에 공급하고, 그 화상을 표시시킨다.

또한, 이 화상 표시에 맞춰서, 레코더 제어부(526)가 복호한 오디오 데이터를, D/A 컨버터(534)를 거쳐 모니터(560)에 공급하고, 그 음성을 스피커로부터 출력시키도록 해도 된다.

또한, 레코더 제어부(526)는 취득한 EPG 데이터의 부호화 데이터를 복호하고, 복호한 EPG 데이터를 EPG 데이터 메모리(527)에 공급한다.

이상과 같은 하드디스크 레코더(500)는 비디오 디코더(525), 디코더(552) 및 레코더 제어부(526)에 내장되는 디코더로서 화상 복호 장치(201)를 사용한다. 따라서, 비디오 디코더(525), 디코더(552) 및 레코더 제어부(526)에 내장되는 디코더는, 화상 복호 장치(201)의 경우와 마찬가지로, 복호 화상의 화질을 향상하고, 또한, 움직임 보상에 있어서, 이제부터 참조되는 화상의 화질도 향상시킬 수 있다. 이 결과, 부호화 효율이 개선된다.

따라서, 하드디스크 레코더(500)는 처리의 고속화를 실현함과 함께, 정밀도가 높은 예측 화상을 생성할 수 있다. 그 결과로서, 하드디스크 레코더(500)는 예를 들어, 튜너를 거쳐 수신된 비디오 데이터의 부호화 데이터나, 기록 재생부(533)의 하드디스크로부터 판독된 비디오 데이터의 부호화 데이터나, 네트워크를 거쳐 취득한 비디오 데이터의 부호화 데이터로부터, 보다 고정밀의 복호 화상을 얻고, 모니터(560)에 표시시킬 수 있다.

또한, 하드디스크 레코더(500)는 인코더(551)로서 화상 부호화 장치(101)를 사용한다. 따라서, 인코더(551)는 화상 부호화 장치(101)의 경우와 마찬가지로, 복호 화상의 화질을 향상하고, 또한, 움직임 보상에 있어서, 이제부터 참조되는 화상의 화질도 향상시킬 수 있다. 이 결과, 부호화 효율이 개선된다.

따라서, 하드디스크 레코더(500)는 예를 들어, 처리의 고속화를 실현함과 함께, 하드디스크에 기록하는 부호화 데이터의 부호화 효율을 향상시킬 수 있다. 그 결과로서, 하드디스크 레코더(500)는 하드디스크의 기억 영역을 보다 효율적으로 사용할 수 있다.

또한, 이상에 있어서는, 비디오 데이터나 오디오 데이터를 하드디스크에 기록하는 하드디스크 레코더(500)에 대하여 설명했지만, 물론, 기록 매체는 어떤 것이어도 된다. 예를 들어 플래시 메모리, 광 디스크, 또는 비디오 테이프 등, 하드디스크 이외의 기록 매체를 적용하는 레코더여도, 상술한 하드디스크 레코더(500)의 경우와 마찬가지로, 화상 부호화 장치(101) 및 화상 복호 장치(201)를 적용할 수 있다.

[카메라의 구성예]

도 29는, 본 발명을 적용한 화상 복호 장치 및 화상 부호화 장치를 사용하는 카메라의 주된 구성예를 도시하는 블록도이다.

도 29에 도시하는 카메라(600)는 피사체를 촬상하고, 피사체의 화상을 LCD(616)에 표시시키거나, 그것을 화상 데이터로 하여, 기록 매체(633)에 기록하거나 한다.

렌즈 블록(611)은 광(즉, 피사체의 영상)을 CCD/CMOS(612)에 입사시킨다. CCD/CMOS(612)는, CCD 또는 CMOS를 사용한 이미지 센서로서, 수광한 광의 강도를 전기 신호로 변환하고, 카메라 신호 처리부(613)에 공급한다.

카메라 신호 처리부(613)는 CCD/CMOS(612)로부터 공급된 전기 신호를, Y, Cr, Cb의 색차 신호로 변환하고, 화상 신호 처리부(614)에 공급한다. 화상 신호 처리부(614)는 컨트롤러(621)의 제어 하, 카메라 신호 처리부(613)로부터 공급된 화상 신호에 대하여 소정의 화상 처리를 실시하거나, 그 화상 신호를 인코더(641)로 예를 들어 MPEG 방식에 의해 부호화하거나 한다. 화상 신호 처리부(614)는 화상 신호를 부호화하여 생성한 부호화 데이터를, 디코더(615)에 공급한다. 또한, 화상 신호 처리부(614)는 온 스크린 디스플레이(OSD)(620)에서 생성된 표시용 데이터를 취득하고, 그것을 디코더(615)에 공급한다.

이상의 처리에 있어서, 카메라 신호 처리부(613)는 버스(617)를 거쳐 접속되는 DRAM(Dynamic Random Access Memory)(618)을 적절히 이용하고, 필요에 따라 화상 데이터나, 그 화상 데이터가 부호화된 부호화 데이터 등을 그 DRAM(618)에 유지(보유 지지)시킨다.

디코더(615)는 화상 신호 처리부(614)로부터 공급된 부호화 데이터를 복호하고, 얻어진 화상 데이터(복호 화상 데이터)를 LCD(616)에 공급한다. 또한, 디코더(615)는 화상 신호 처리부(614)로부터 공급된 표시용 데이터를 LCD(616)에 공급한다. LCD(616)는, 디코더(615)로부터 공급된 복호 화상 데이터의 화상과 표시용 데이터의 화상을 적절히 합성하고, 그 합성 화상을 표시한다.

온 스크린 디스플레이(620)는 컨트롤러(621)의 제어 하, 기호, 문자, 또는 도형으로 이루어지는 메뉴 화면이나 아이콘 등의 표시용 데이터를, 버스(617)를 거쳐 화상 신호 처리부(614)에 출력한다.

컨트롤러(621)는 유저가 조작부(622)를 사용하여 지령한 내용을 나타내는 신호에 기초하여, 각종 처리를 실행함과 함께, 버스(617)를 거쳐 화상 신호 처리부(614), DRAM(618), 외부 인터페이스(619), 온 스크린 디스플레이(620) 및 매체 드라이브(623) 등을 제어한다. FLASH ROM(624)에는 컨트롤러(621)가 각종 처리를 실행함에 있어서 필요한 프로그램이나 데이터 등이 저장된다.

예를 들어, 컨트롤러(621)는 화상 신호 처리부(614)나 디코더(615)를 대신하고, DRAM(618)에 기억되어 있는 화상 데이터를 부호화하거나, DRAM(618)에 기억되어 있는 부호화 데이터를 복호하거나 할 수 있다. 이때, 컨트롤러(621)는 화상 신호 처리부(614)나 디코더(615)의 부호화·복호 방식과 마찬가지의 방식에 의해 부호화·복호 처리를 행하도록 해도 되고, 화상 신호 처리부(614)나 디코더(615)가 대응하지 않고 있는 방식에 의해 부호화·복호 처리를 행하도록 해도 된다.

또한, 예를 들어, 조작부(622)로부터 화상 인쇄의 개시가 지시된 경우, 컨트롤러(621)는 DRAM(618)으로부터 화상 데이터를 판독하고, 그것을, 버스(617)를 거쳐 외부 인터페이스(619)에 접속되는 프린터(634)에 공급하여 인쇄시킨다.

또한, 예를 들어, 조작부(622)로부터 화상 기록이 지시된 경우, 컨트롤러(621)는 DRAM(618)으로부터 부호화 데이터를 판독하고, 그것을, 버스(617)를 거쳐 매체 드라이브(623)에 장착되는 기록 매체(633)에 공급하여 기억시킨다.

기록 매체(633)는 예를 들어, 자기 디스크, 광자기 디스크, 광 디스크, 또는 반도체 메모리 등의, 판독 기입 가능한 임의의 착탈식 매체이다. 기록 매체(633)는 물론, 착탈식 매체로서의 종류도 임의이며, 테이프 디바이스여도 되고, 디스크여도 되고, 메모리 카드여도 된다. 물론, 비접촉 IC 카드 등이어도 된다.

또한, 매체 드라이브(623)와 기록 매체(633)를 일체화하고, 예를 들어, 내장형 하드디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성의 기억 매체에 의해 구성되도록 해도 된다.

외부 인터페이스(619)는 예를 들어, USB 입출력 단자 등으로 구성되고, 화상의 인쇄를 행하는 경우에, 프린터(634)와 접속된다. 또한, 외부 인터페이스(619)에는, 필요에 따라 드라이브(631)가 접속되고, 자기 디스크, 광 디스크, 또는 광자기 디스크 등의 착탈식 매체(632)가 적절히 장착되고, 그들로부터 판독된 컴퓨터 프로그램이, 필요에 따라, FLASH ROM(624)에 인스톨된다.

또한, 외부 인터페이스(619)는 LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 컨트롤러(621)는 예를 들어, 조작부(622)로부터의 지시에 따라 DRAM(618)으로부터 부호화 데이터를 판독하고, 그것을 외부 인터페이스(619)로부터, 네트워크를 거쳐 접속되는 다른 장치에 공급시킬 수 있다. 또한, 컨트롤러(621)는 네트워크를 거쳐 다른 장치로부터 공급되는 부호화 데이터나 화상 데이터를, 외부 인터페이스(619)를 거쳐 취득하고, 그것을 DRAM(618)에 유지(보유 지지)시키거나, 화상 신호 처리부(614)에 공급하거나 할 수 있다.

이상과 같은 카메라(600)는 디코더(615)로서 화상 복호 장치(201)를 사용한다. 따라서, 디코더(615)는 화상 복호 장치(201)의 경우와 마찬가지로, 복호 화상의 화질을 향상하고, 또한, 움직임 보상에 있어서, 이제부터 참조되는 화상의 화질도 향상시킬 수 있다. 이 결과, 부호화 효율이 개선된다.

따라서, 카메라(600)는 정밀도가 높은 예측 화상을 생성할 수 있다. 그 결과로서, 카메라(600)는 예를 들어, CCD/CMOS(612)에 있어서 생성된 화상 데이터나, DRAM(618) 또는 기록 매체(633)로부터 판독된 비디오 데이터의 부호화 데이터나, 네트워크를 거쳐 취득한 비디오 데이터의 부호화 데이터로부터, 보다 고속으로, 보다 고정밀의 복호 화상을 얻고, LCD(616)에 표시시킬 수 있다.

또한, 카메라(600)는 인코더(641)로서 화상 부호화 장치(101)를 사용한다. 따라서, 인코더(641)는 화상 부호화 장치(101)의 경우와 마찬가지로, 복호 화상의 화질을 향상하고, 또한, 움직임 보상에 있어서, 이제부터 참조되는 화상의 화질도 향상시킬 수 있다. 이 결과, 부호화 효율이 개선된다.

따라서, 카메라(600)는 예를 들어, 하드디스크에 기록하는 부호화 데이터의 부호화 효율을 향상시킬 수 있다. 그 결과로서, 카메라(600)는 보다 고속으로, DRAM(618)이나 기록 매체(633)의 기억 영역을 보다 효율적으로 사용할 수 있다.

또한, 컨트롤러(621)가 행하는 복호 처리에 화상 복호 장치(201)의 복호 방법을 적용하도록 해도 된다. 마찬가지로, 컨트롤러(621)가 행하는 부호화 처리에 화상 부호화 장치(101)의 부호화 방법을 적용하도록 해도 된다.

또한, 카메라(600)가 촬상하는 화상 데이터는 동화상이어도 되고, 정지 화상이어도 된다.

물론, 화상 부호화 장치(101) 및 화상 복호 장치(201)는 상술한 장치 이외의 장치나 시스템에도 적용 가능하다.

101: 화상 부호화 장치
111: 직교 변환부
112: 양자화부
113: 가역 부호화부
114: 모스키토 노이즈 필터
151: 임계값 결정부
152: Complexity 산출부
153: 필터 제어부
154: 필터 처리부
161: 임계값 결정부
162: 비0 계수 개수 버퍼
163: 필터 제어부
164: 필터 처리부
201: 화상 복호 장치
211: 가역 복호부
212: 역양자화부
213: 역직교 변환부
214: 모스키토 노이즈 필터

Claims (8)

1. 화상의 처리 대상 블록에 대하여, 상기 블록의 직교 변환 크기와 인터 예측에 의해 참조되는 움직임 벡터 정보에 기초하여 설정된 필터 강도를 이용하여 필터 처리를 행할지 여부를 결정하고, 상기 필터 처리를 행하는 필터 처리부와,
   상기 필터 처리부에 의해 상기 필터 처리가 행해진 필터 화상을 이용하여 복호하는 복호부를 구비하는, 복호 장치.
2. 제1항에 있어서,
   상기 필터 강도는, 상기 블록의 직교 변환 크기에 더하여 상기 블록에 대한 발생 부호량과 양자화 스케일로부터 구해지는 파라미터에 기초하여 설정되는, 복호 장치.
3. 제2항에 있어서,
   상기 필터 처리부는, 상기 블록의 직교 변환 크기에 기초하여 임계값을 설정하고, 상기 임계값과 상기 파라미터에 기초하여 상기 필터 강도가 설정되는, 복호 장치.
4. 제3항에 있어서,
   상기 임계값은 유저가 설정 가능한 오프셋값을 포함하는, 복호 장치.
5. 제2항에 있어서,
   상기 필터 처리부는, 상기 발생 부호량에 관한 정보로서, 발생 비트를 사용하는, 복호 장치.
6. 제2항에 있어서,
   상기 필터 처리부는, 가역 부호화 방식으로서, CABAC(Context-Adaptive Binary Arithmetic Coding)가 사용되는 경우에는, 상기 발생 부호량에 관한 정보로서, 발생 비트를 사용하는, 복호 장치.
7. 제1항에 있어서,
   상기 필터 처리부는, 상기 필터 처리로서, 상기 블록에 포함되는 화소값에 대해서, 대상 화소를 중심으로 한 소정의 창 크기를 갖는 2차원 필터에 의한 평활화 처리를 행하는, 복호 장치.
8. 화상의 처리 대상 블록에 대하여, 상기 블록의 직교 변환 크기와 인터 예측에 의해 참조되는 움직임 벡터 정보에 기초하여 설정된 필터 강도를 이용하여 필터 처리를 행할지 여부를 결정하고, 상기 필터 처리를 행하는 단계와,
   상기 필터 처리를 행하는 단계에서 상기 필터 처리가 행해진 필터 화상을 이용하여 복호하는 단계를 구비하는, 복호 방법.

Images