KR20120058521A - 화상 처리 장치 및 방법 - Google Patents

Abstract

본 발명은, 프레임 내의 국소적 성질에 대응할 수 있는 화상 처리 장치 및 방법에 관한 것이다. 블록 판정부(77)는, 대블록 필터 산출부(92) 또는 소블록 필터 산출부(93) 중 어느 한쪽에 제어 신호를 출력함으로써, 블록을, 8×8보다 큰 블록 사이즈의 클래스와, 8×8 이하의 블록 사이즈의 클래스로 분류하고 있다. 그리고, 대블록 필터 산출부(92) 또는 소블록 필터 산출부(93)에서는, 분류된 클래스의 움직임 벡터 정보만이, 해당하는 클래스의 필터 계수 산출에 이용된다. 본 발명은, 예를 들면, H.264/AVC 방식을 기초로 부호화하는 화상 부호화 장치에 적용할 수 있다.

Description

화상 처리 장치 및 방법{IMAGE PROCESSING DEVICE AND METHOD}

본 발명은 화상 처리 장치 및 방법에 관한 것으로, 특히, 프레임 내의 국소적 성질에 대응한 최적 필터 계수를 산출함으로써, 부호화 효율을 더욱 향상시키도록 한 화상 처리 장치 및 방법에 관한 것이다.

최근, 화상 정보를 디지털로서 취급하고, 그때, 효율이 높은 정보의 전송, 축적을 목적으로 하고, 화상 정보 특유의 용장성을 이용하여, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 부호화 방식을 채용하여 화상을 압축 부호화하는 장치가 보급되고 있다. 이 부호화 방식에는, 예를 들면 MPEG(Moving Picture Experts Group) 등이 있다.

특히, MPEG2(ISO/IEC 13818-2)는, 범용 화상 부호화 방식으로서 정의되어 있고, 비월 주사 화상 및 순차 주사 화상의 쌍방 및 표준 해상도 화상 및 고정밀 화상을 망라하는 표준이다. 예를 들면, MPEG2는, 프로페셔널 용도 및 소비자 용도의 광범위한 어플리케이션에 현재 널리 이용되고 있다. MPEG2 압축 방식을 이용함으로써, 예를 들면 720×480 화소를 갖는 표준 해상도의 비월 주사 화상이면 4 내지 8Mbps의 부호량(비트 레이트)이 할당된다. 또한, MPEG2 압축 방식을 이용함으로써, 예를 들면 1920×1088 화소를 갖는 고해상도의 비월 주사 화상이면 18 내지 22Mbps의 부호량(비트 레이트)이 할당된다. 이에 의해, 높은 압축률과 양호한 화질의 실현이 가능하다.

MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있었지만, MPEG1보다 낮은 부호량(비트 레이트), 즉 보다 높은 압축률의 부호화 방식에는 대응하고 있지 않았다. 휴대 단말기의 보급에 의해, 향후 그와 같은 부호화 방식의 요구가 높아진다고 생각되고, 이에 대응하여 MPEG4 부호화 방식의 표준화가 행해졌다. 화상 부호화 방식에 관해서는, 1998년 12월에 ISO/IEC 14496-2로서 그 규격이 국제 표준으로 승인되었다.

또한, 최근, 당초 텔레비전 회의용의 화상 부호화를 목적으로 하여, H.26L(ITU-T Q6/16 VCEG)이라고 하는 표준의 규격화가 진행되고 있다. H.26L은 MPEG2나 MPEG4 등의 종래의 부호화 방식에 비해, 그 부호화, 복호화에 보다 많은 연산량이 요구되지만, 보다 높은 부호화 효율이 실현되는 것이 알려져 있다. 또한, 현재 MPEG4의 활동의 일환으로서, 이 H.26L을 기초로, H.26L에서는 서포트되지 않는 기능도 도입하여, 보다 높은 부호화 효율을 실현하는 표준화가 Joint Model of Enhanced-Compression Video Coding으로서 행해지고 있다. 표준화의 스케줄로서는, 2003년 3월에는 H.264 및 MPEG-4 Part10(Advanced Video Coding, 이하 H.264/AVC로 명기함)이라고 하는 국제 표준으로 되어 있다.

또한, 그 확장으로서, RGB나 4:2:2, 4:4:4 등의, 업무용에 필요한 부호화 툴이나, MPEG-2에서 규정되어 있었던 8x8 DCT나 양자화 매트릭스도 포함한 FRExt(Fidelity Range Extension)의 표준화가 2005년 2월에 완료되었다. 이에 의해, H.264/AVC를 사용하여, 영화에 포함되는 필름 노이즈도 양호하게 표현하는 것이 가능한 부호화 방식으로 되어, Blu-Ray Disc(상표) 등의 폭넓은 어플리케이션에 이용되는 단계로 되었다.

그러나, 최근, 하이비젼 화상의 4배인, 4000×2000 화소 정도의 화상을 압축하고 싶다, 혹은, 인터넷과 같이, 한정된 전송 용량의 환경에 있어서, 하이비젼 화상을 배신하고 싶다라고 하는 등의, 가일층의 고압축률 부호화에 대한 요구가 높아지고 있다. 이 때문에, 상술한 ITU-T 산하의 VCEG(＝Video Coding Expert Group)에 있어서, 부호화 효율의 개선에 관한 검토가 계속해서 행해지고 있다.

여기서, H.264/AVC 방식의 움직임 예측 보상에서는, 1/4 화소 정밀도의 예측ㆍ보상 처리를 행함으로써, 예측 효율을 향상시키고 있다.

예를 들면, MPEG2 방식에서는, 선형 내삽 처리에 의해 1/2 화소 정밀도의 움직임 예측ㆍ보상 처리가 행해지고 있다. 이에 대해, H.264/AVC 방식에서는, 내삽 필터로서, 6탭의 FIR(Finite Impulse Response Filter) 필터를 이용한 1/4 화소 정밀도의 예측ㆍ보상 처리가 행해지고 있다.

도 1은 H.264/AVC 방식에 있어서의 1/4 화소 정밀도의 예측ㆍ보상 처리를 설명하는 도면이다. H.264/AVC 방식에서는, 6탭의 FIR(Finite Impulse Response Filter) 필터를 이용한 1/4 화소 정밀도의 예측ㆍ보상 처리가 행해지고 있다.

도 1의 예에서, 위치 A는, 정수 정밀도 화소의 위치, 위치 b, c, d는, 1/2 화소 정밀도의 위치, 위치 e1, e2, e3은, 1/4 화소 정밀도의 위치를 나타내고 있다. 우선, 이하에서는, Clip()을 다음 수학식 1과 같이 정의한다.

또한, 입력 화상이 8 비트 정밀도인 경우, max_pix의 값은 255로 된다.

위치 b 및 d에 있어서의 화소값은, 6탭의 FIR 필터를 이용하여, 다음 수학식 2와 같이 생성된다.

위치 c에 있어서의 화소값은, 수평 방향 및 수직 방향으로 6탭의 FIR 필터를 적용하여, 다음 수학식 3과 같이 생성된다.

또한, Clip 처리는, 수평 방향 및 수직 방향의 적화 처리의 양방을 행한 후, 마지막으로 1도만 실행된다.

위치 e1 내지 e3은, 다음 수학식 4와 같이 선형 내삽에 의해 생성된다.

또한, 이와 같은 1/4 화소 정밀도로 구해지는 움직임 벡터를, 어떤 처리에 의해 선택하는지도, 부호화 효율이 높은 압축 화상을 얻기 위해서는 중요하다. 이 처리의 일례로서는, 비특허 문헌 1에서 공개되어 있는 JM(Joint Model)이라고 하는 참조 소프트웨어(reference software)에 실장되어 있는 방법을 들 수 있다.

다음으로, 도 2를 참조하여, JM에 있어서 실장되어 있는 움직임 탐색 방법에 대해 설명한다.

도 2의 예에서, 화소 A 내지 I는, 정수 화소 정밀도의 화소값을 갖는 화소(이하, 정수 화소 정밀도의 화소라고 함)를 나타내고 있다. 화소 1 내지 8은, 화소 E 주변에 있어서의 1/2 화소 정밀도의 화소값을 갖는 화소(이하, 1/2 화소 정밀도의 화소라고 함)를 나타내고 있다. 화소 a 내지 h는, 화소 6 주위의 1/4 화소 정밀도의 화소값을 갖는 화소(이하, 1/4 화소 정밀도의 화소라고 함)를 나타내고 있다.

JM에서는, 제1 스텝으로서, 소정의 탐색 범위 내에 있어서, SAD(Sum of Absolute Difference) 등의 코스트 함수값을 최소로 하는 정수 화소 정밀도의 움직임 벡터가 구해진다. 이에 의해, 구해진 움직임 벡터에 대한 화소가, 화소 E라고 한다.

다음으로, 제2 스텝으로서, 화소 E 및 화소 E 주변의 1/2 화소 정밀도의 화소 1 내지 8 중, 상술한 코스트 함수값을 최소로 하는 화소값의 화소가 구해지고, 이 화소(도 2의 예의 경우, 화소 6)가, 1/2 화소 정밀도의 최적 움직임 벡터에 대한 화소로 된다.

그리고, 제3 스텝으로서, 화소 6 및 화소 6 주변의 1/4 화소 정밀도의 화소a 내지 h 중, 상술한 코스트 함수값을 최소로 하는 화소값의 화소가 구해진다. 이에 의해, 구해진 화소에 대한 움직임 벡터가, 1/4 화소 정밀도의 최적 움직임 벡터로 된다.

이상과 같이, H.264/AVC 방식에 있어서 1/4 화소 정밀도의 예측ㆍ보상 처리가 행해지지만, 이 1/4 화소 정밀도의 예측ㆍ보상 처리에 대해, 부호화 효율을 더욱 향상시키기 위한 기술이 복수 제안되어 있다.

예를 들면, H.264/AVC 방식에 있어서, 도 1을 참조하여 상술한 소수 화소 정밀도의 움직임 벡터에 대한 샘플링 위치의 화소값을 생성하기 위한 내삽 필터의 필터 계수는, 비특허 문헌 2에 기재된 바와 같이, 미리 정해진 것이었다.

따라서, 비특허 문헌 3에서는, 이 필터 계수를, 각 대상 프레임에 대해, 예측 잔차가 최소로 되도록, 적응적으로 절환하는 것이 제안되어 있다.

즉, 비특허 문헌 3에서는, 우선, 제1 스텝으로서, 통상적인 H.264/AVC 방식의 움직임 예측 처리가 행해지고, 각각의 움직임 보상 블록에 대해, 움직임 벡터값이 산출된다.

제2 스텝으로서, 제1 스텝에서 구해진 움직임 벡터값에 대해, 움직임 잔차를 최소로 하도록, 필터의 최적화가 행해진다.

그리고, 제3 스텝으로서, 제2 스텝에서 구해진 필터 계수가 이용되어, 다시 움직임 탐색이 행해지고, 움직임 벡터값이 갱신된다. 이에 의해, 부호화 효율을 향상시킬 수 있다.

이상의 스텝을 더 반복함으로써, 필터 계수와 움직임 벡터값의 최적화를 행할 수도 있다.

또한, 상술한 바와 같이, H.264/AVC 방식에 있어서, 매크로 블록 사이즈는 16×16 화소이다. 그러나, 매크로 블록 사이즈를 16×16 화소로 하는 것은, 차세대 부호화 방식의 대상으로 되는 UHD(Ultra High Definition ; 4000×2000 화소) 등의 큰 화면 프레임에 대해서는 최적은 아니다.

따라서, 비특허 문헌 4 등에서는, 매크로 블록 사이즈를, 예를 들면, 32×32 화소 등의 크기로 확장하는 것도 제안되어 있다.

또한, 상술한 도 1 및 도 2는, 이하, 본 발명을 설명하는 도면으로서도 이용된다.

H.264/AVC Software Coordination, Institut Nachrichtentechnik Heinrich-Hertz-Institut, [2009년 8월 13일 검색], 인터넷 ＜URL : http://iphome.hhi.de/suehring/tml/index.htm＞ "8.4.2.2.1 Luma sample interpolation process", "ITU-T Recommendation H.264 Advanced video coding for generic audiovisual", P162-P164 November 2007 "Prediction of P- and B- Frames Using a Two-dimensional Non-separable Adaptive Wiener Interpolation for H.264/AVC", VCEG-AD08, ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video coding Experts Group(VCEG), 23-27 Oct 2006 "Video Coding Using Extended Block Sizes", VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP Question 16 - Contribution 123, Jan 2009

그런데, 상술한 비특허 문헌 3에 기재된 방법에 따르면, 프레임 전체의 화질은 최적화되어, 부호화 효율이 향상되지만, 산출된 적응 필터 계수는, 프레임 내의 국소적 성질에는 최적인 것이라고는 할 수 없다. 예를 들면, 프레임 내에 있어서, 편평한 에어리어와, 고역 성분을 포함한 텍스쳐 에어리어에서는, 신호적인 성질이 상이하여, 최적 필터 계수도 상이한 것이어야만 한다.

그러나, 비특허 문헌 3에 기재된 방법으로는, 이와 같은 프레임 내의 국소적 성질에 대응하는 것이 곤란하였다.

본 발명은, 이와 같은 상황을 감안하여 이루어진 것으로, 프레임 내의 국소적 성질에 대응한 최적 필터 계수를 산출함으로써, 부호화 효율을 더욱 향상시킬 수 있는 것이다.

본 발명의 제1 측면의 화상 처리 장치는, 미리 설정되어 있는 제1 필터 계수를 이용하여 후보로 되는 예측 모드에서의 부호화 처리의 대상으로 되는 대상 블록의 움직임 예측을 행하는 움직임 예측 수단과, 상기 움직임 예측 수단에 의해 움직임 예측이 행해진 상기 후보로 되는 예측 모드로부터 상기 대상 블록에 대해 결정되는 최적 예측 모드가 나타내는 블록 사이즈에 따라 클래스를 분류하는 블록 판별 수단과, 상기 블록 판별 수단에 의해 분류된 상기 클래스마다, 예측 오차를 최소로 하는 제2 필터 계수를 산출하는 필터 계수 산출 수단을 구비한다.

상기 움직임 예측 수단은, 상기 필터 계수 산출 수단에 의해 산출된 상기 제2 필터 계수를 이용하여 상기 후보로 되는 예측 모드에서의 상기 대상 블록의 움직임 예측을 행하고, 상기 움직임 예측 수단에 의해 상기 제2 필터 계수를 이용하여 움직임 예측이 행해진 상기 후보로 되는 예측 모드로부터, 상기 대상 블록에 대해 상기 최적 예측 모드를 결정하는 모드 결정 수단과, 상기 움직임 예측 수단에 의해 움직임 예측이 행해진 상기 후보로 되는 예측 모드로부터 결정된 상기 최적 예측 모드에서의 상기 대상 블록의 움직임 보상을 행하는 움직임 보상 수단과, 상기 움직임 보상 수단에 의한 상기 움직임 보상으로 얻어지는 상기 대상 블록의 예측 화상과 원화상의 차분을 부호화하는 부호화 수단을 더 구비할 수 있다.

상기 부호화 수단은, 상기 필터 계수 산출 수단에 의해 상기 클래스마다 산출된 상기 제2 필터 계수를 부호화할 수 있다.

상기 부호화 수단은, 상기 클래스마다의 상기 제2 필터 계수를 보내는 것을 나타내는 플래그 정보와 상기 플래그 정보가 부호화된 클래스의 상기 제2 필터 계수를 부호화할 수 있다.

상기 움직임 예측 수단은, 상기 플래그 정보가 부호화되지 않는 클래스로 분류되는 블록 사이즈의 예측 모드에 대해서는, 상기 제1 필터 계수를 이용하여 상기 대상 블록의 움직임 예측을 행할 수 있다.

상기 움직임 예측 수단은, 상기 플래그 정보가 부호화되지 않는 클래스로 분류되는 블록 사이즈의 예측 모드에 대해서는, 그 클래스보다 큰 블록 사이즈의 클래스의 상기 제2 필터 계수를 이용하여 상기 대상 블록의 움직임 예측을 행할 수 있다.

상기 움직임 예측 수단은, 대상 슬라이스에 있어서, 상기 플래그 정보가 부호화되지 않는 클래스로 분류되는 블록 사이즈의 예측 모드에 대해서는, 상기 대상 슬라이스보다 이전의 슬라이스에 있어서의 동일한 클래스의 상기 제2 필터 계수를 이용하여 상기 대상 블록의 움직임 예측을 행할 수 있다.

상기 블록 판별 수단은, 상기 블록 사이즈가 8×8 블록보다 큰지 여부에 따라, 상기 클래스를 분류할 수 있다.

상기 블록 판별 수단은, 상기 블록 사이즈가 16×16 블록보다 큰지, 16×16 블록 이하이며, 또한 8×8 블록보다도 큰지, 혹은 8×8 블록 이하인지 여부에 따라, 상기 클래스를 분류할 수 있다.

본 발명의 제1 측면의 화상 처리 방법은, 화상 처리 장치가, 미리 설정되어 있는 제1 필터 계수를 이용하여 후보로 되는 예측 모드에서의 부호화 처리의 대상으로 되는 대상 블록의 움직임 예측을 행하고, 움직임 예측이 행해진 상기 후보로 되는 예측 모드로부터 상기 대상 블록에 대해 결정되는 최적 예측 모드가 나타내는 블록 사이즈에 따라 클래스를 분류하고, 분류된 상기 클래스마다, 예측 오차를 최소로 하는 제2 필터 계수를 산출하는 스텝을 포함한다.

본 발명의 제2 측면의 화상 처리 장치는, 복호 처리의 대상으로 되는 대상 블록의 움직임 벡터 정보를 복호하는 복호 수단과, 블록 사이즈에 따라 분류된 클래스마다 예측 오차를 최소로 하도록 산출된 클래스마다의 필터 계수로부터, 상기 대상 블록의 블록 사이즈에 따른 필터 계수를 설정하는 필터 계수 설정 수단과, 상기 복호 수단에 의해 복호된 상기 움직임 벡터 정보 및 상기 필터 계수 설정 수단에 의해 설정된 상기 필터 계수를 이용하여, 상기 대상 블록의 예측 화상을 생성하는 예측 화상 생성 수단을 구비한다.

상기 복호 수단은, 슬라이스마다 부호화되어 있는 상기 클래스마다의 필터 계수를 복호하고, 상기 필터 계수 설정 수단은, 상기 복호 수단에 의해 복호된 상기 클래스마다의 필터 계수로부터, 상기 대상 블록의 블록 사이즈에 따른 필터 계수를 설정할 수 있다.

상기 복호 수단은, 상기 대상 블록의 예측 모드 정보를 복호하고, 상기 필터 계수 설정 수단은, 상기 복호 수단에 의해 복호된 상기 예측 모드 정보가 나타내는 블록 사이즈에 따라, 상기 대상 블록의 블록 사이즈에 따른 필터 계수를 설정할 수 있다.

상기 복호 수단은, 슬라이스마다 부호화되어 있는 상기 클래스마다의 상기 필터 계수를 보내는 것을 나타내는 플래그 정보와 상기 플래그 정보가 복호된 클래스의 상기 필터 계수를 복호할 수 있다.

상기 예측 화상 생성 수단은, 상기 플래그 정보가 복호되지 않는 클래스로 분류되는 블록 사이즈의 대상 블록에 대해, 미리 설정되어 있는 필터 계수를 이용하여 예측 화상을 생성할 수 있다.

상기 예측 화상 생성 수단은, 대상 슬라이스에 있어서, 상기 플래그 정보가 부호화되지 않는 클래스로 분류되는 블록 사이즈의 예측 모드에 대해서는, 상기 대상 슬라이스보다 이전의 슬라이스에 있어서의 동일한 클래스의 상기 제2 필터 계수를 이용하여 상기 대상 블록의 움직임 예측을 행할 수 있다.

상기 블록 판별 수단은, 상기 블록 사이즈가 8×8 블록보다 큰지 여부에 따라, 상기 클래스를 분류할 수 있다.

상기 블록 판별 수단은, 상기 블록 사이즈가 16×16 블록보다 큰지, 16×16 블록 이하이며, 또한 8×8 블록보다도 큰지, 혹은 8×8 블록 이하인지 여부에 따라, 상기 클래스를 분류할 수 있다.

상기 클래스는, 상기 블록 사이즈가 8×8 블록보다 큰지 여부에 따라 분류되어 있다.

상기 클래스는, 상기 블록 사이즈가 16×16 블록보다 큰지, 16×16 블록 이하이며, 또한 8×8 블록보다도 큰지, 혹은 8×8 블록 이하인지 여부에 따라 분류되어 있다.

본 발명의 제2 측면의 화상 처리 방법은, 복호 처리의 대상으로 되는 대상 블록의 움직임 벡터 정보를 복호하고, 블록 사이즈에 따라 분류된 클래스마다 예측 오차를 최소로 하도록 산출된 클래스마다의 필터 계수로부터, 상기 대상 블록의 블록 사이즈에 따른 필터 계수를 설정하고, 복호된 상기 움직임 벡터 정보 및 설정된 상기 필터 계수를 이용하여, 상기 대상 블록의 예측 화상을 생성하는 스텝을 포함한다.

본 발명의 제1 측면에서는, 미리 설정되어 있는 제1 필터 계수를 이용하여 후보로 되는 예측 모드에서의 부호화 처리의 대상으로 되는 대상 블록의 움직임 예측이 행해지고, 움직임 예측이 행해진 상기 후보로 되는 예측 모드로부터 상기 대상 블록에 대해 결정되는 최적 예측 모드가 나타내는 블록 사이즈에 따라 클래스가 분류된다. 그리고, 분류된 상기 클래스마다, 예측 오차를 최소로 하는 제2 필터 계수가 산출된다.

본 발명의 제2 측면에서는, 복호 처리의 대상으로 되는 대상 블록의 움직임 벡터 정보가 복호되고, 블록 사이즈에 따라 분류된 클래스마다 예측 오차를 최소로 하도록 산출된 클래스마다의 필터 계수로부터, 상기 대상 블록의 블록 사이즈에 따른 필터 계수가 설정된다. 그리고, 복호된 상기 움직임 벡터 정보 및 설정된 상기 필터 계수를 이용하여, 상기 대상 블록의 예측 화상이 생성된다.

또한, 상술한 화상 처리 장치의 각각은, 독립된 장치이어도 되고, 1개의 화상 부호화 장치 또는 화상 복호 장치를 구성하고 있는 내부 블록이어도 된다.

본 발명의 제1 측면에 따르면, 프레임 내의 국소적 성질에 대응한 최적 필터 계수를 산출할 수 있다. 또한, 본 발명의 제1 측면에 따르면, 부호화 효율을 향상시킬 수 있다.

본 발명의 제2 측면에 따르면, 프레임 내의 국소적 성질에 대응한 최적 필터 계수로 설정할 수 있다. 또한, 본 발명의 제2 측면에 따르면, 부호화 효율을 향상시킬 수 있다.

도 1은 H.264/AVC 방식에 있어서의 1/4 화소 정밀도의 움직임 예측ㆍ보상 처리를 설명하는 도면.
도 2는 H.264/AVC 방식에 있어서의 움직임 탐색 방법을 설명하는 도면.
도 3은 본 발명을 적용한 화상 부호화 장치의 일 실시 형태의 구성을 도시하는 블록도.
도 4는 가변 블록 사이즈 움직임 예측ㆍ보상 처리를 설명하는 도면.
도 5는 멀티 참조 프레임의 움직임 예측ㆍ보상 방식에 대해 설명하는 도면.
도 6은 움직임 벡터 정보의 생성 방법의 예를 설명하는 도면.
도 7은 도 3의 움직임 예측ㆍ보상부 및 적응 내삽 필터 산출부의 구성예를 도시하는 블록도.
도 8은 도 3의 화상 부호화 장치의 부호화 처리를 설명하는 흐름도.
도 9는 도 8의 스텝 S21의 예측 처리를 설명하는 흐름도.
도 10은 도 9의 스텝 S31의 인트라 예측 처리를 설명하는 흐름도.
도 11은 도 9의 스텝 S32의 인터 움직임 예측 처리를 설명하는 흐름도.
도 12는 도 11의 스텝 S51 또는 S52의 움직임 예측 보상 처리를 설명하는 흐름도.
도 13은 본 발명을 적용한 화상 복소 장치의 일 실시 형태의 구성을 도시하는 블록도.
도 14는 도 13의 움직임 예측ㆍ보상부 및 적응 내삽 필터 설정부의 구성예를 도시하는 블록도.
도 15는 도 13의 화상 복호 장치의 복호 처리를 설명하는 흐름도.
도 16은 도 15의 스텝 S138의 예측 처리를 설명하는 흐름도.
도 17은 확장된 블록 사이즈의 예를 도시하는 도면.
도 18은 컴퓨터의 하드웨어의 구성예를 도시하는 블록도.
도 19는 본 발명을 적용한 텔레비전 수상기의 주요 구성예를 도시하는 블록도.
도 20은 본 발명을 적용한 휴대 전화기의 주요 구성예를 도시하는 블록도.
도 21은 본 발명을 적용한 하드 디스크 레코더의 주요 구성예를 도시하는 블록도.
도 22는 본 발명을 적용한 카메라의 주요 구성예를 도시하는 블록도.

이하, 도면을 참조하여 본 발명의 실시 형태에 대해 설명한다.

[화상 부호화 장치의 구성예]

도 3은, 본 발명을 적용한 화상 처리 장치로서의 화상 부호화 장치의 일 실시 형태의 구성을 도시하고 있다.

이 화상 부호화 장치(51)는, 예를 들면, H.264 및 MPEG-4 Part10(Advanced Video Coding)(이하 H.264/AVC라고 명기함) 방식을 기초로, 화상을 압축 부호화한다.

도 3의 예에서, 화상 부호화 장치(51)는, A/D 변환부(61), 화면 재배열 버퍼(62), 연산부(63), 직교 변환부(64), 양자화부(65), 가역 부호화부(66), 축적 버퍼(67), 역양자화부(68), 역직교 변환부(69), 연산부(70), 디블록 필터(71), 프레임 메모리(72), 스위치(73), 인트라 예측부(74), 움직임 예측ㆍ보상부(75), 적응 내삽 필터 산출부(76), 블록 판별부(77), 예측 화상 선택부(78) 및 레이트 제어부(79)에 의해 구성되어 있다.

A/D 변환부(61)는, 입력된 화상을 A/D 변환하고, 화면 재배열 버퍼(62)에 출력하고, 기억시킨다. 화면 재배열 버퍼(62)는, 기억한 표시의 순번의 프레임의 화상을, GOP(Group of Picture)에 따라, 부호화를 위한 프레임의 순서대로 재배열한다.

연산부(63)는, 화면 재배열 버퍼(62)로부터 읽어내어진 화상으로부터, 예측 화상 선택부(78)에 의해 선택된 인트라 예측부(74)로부터의 예측 화상 또는 움직임 예측ㆍ보상부(75)로부터의 예측 화상을 감산하고, 그 차분 정보를 직교 변환부(64)에 출력한다. 직교 변환부(64)는, 연산부(63)로부터의 차분 정보에 대해, 이산 코사인 변환, 카루넨ㆍ루베 변환 등의 직교 변환을 실시하고, 그 변환 계수를 출력한다. 양자화부(65)는 직교 변환부(64)가 출력하는 변환 계수를 양자화한다.

양자화부(65)의 출력으로 되는, 양자화된 변환 계수는, 가역 부호화부(66)에 입력되고, 여기서 가변 길이 부호화, 산술 부호화 등의 가역 부호화가 실시되고, 압축된다.

가역 부호화부(66)는, 인트라 예측을 나타내는 정보를 인트라 예측부(74)로부터 취득하고, 인터 예측 모드를 나타내는 정보 등을 움직임 예측ㆍ보상부(75)로부터 취득한다. 또한, 인트라 예측을 나타내는 정보 및 인터 예측을 나타내는 정보는, 이하, 각각, 인트라 예측 모드 정보 및 인터 예측 모드 정보라고도 한다.

가역 부호화부(66)는, 양자화된 변환 계수를 부호화함과 함께, 인트라 예측을 나타내는 정보, 인터 예측 모드를 나타내는 정보 등을 부호화하고, 압축 화상에 있어서의 헤더 정보의 일부로 한다. 가역 부호화부(66)는, 부호화한 데이터를 축적 버퍼(67)에 공급하여 축적시킨다.

예를 들면, 가역 부호화부(66)에서는, 가변 길이 부호화 또는 산술 부호화 등의 가역 부호화 처리가 행해진다. 가변 길이 부호화로서는, H.264/AVC 방식에서 정해져 있는 CAVLC(Context-Adaptive Variable Length Coding) 등을 들 수 있다. 산술 부호화로서는, CABAC(Context-Adaptive Binary Arithmetic Coding) 등을 들 수 있다.

축적 버퍼(67)는, 가역 부호화부(66)로부터 공급된 데이터를, H.264/AVC 방식에서 부호화된 압축 화상으로서, 예를 들면, 후단의 도시하지 않는 기록 장치나 전송로 등에 출력한다.

또한, 양자화부(65)로부터 출력된, 양자화된 변환 계수는, 역양자화부(68)에도 입력되고, 역양자화된 후, 또한 역직교 변환부(69)에 있어서 역직교 변환된다. 역직교 변환된 출력은 연산부(70)에 의해 예측 화상 선택부(78)로부터 공급되는 예측 화상과 가산되어, 국부적으로 복호된 화상으로 된다. 디블록 필터(71)는, 복호된 화상의 블록 왜곡을 제거한 후, 프레임 메모리(72)에 공급하고, 축적시킨다. 프레임 메모리(72)에는, 디블록 필터(71)에 의해 디블록 필터 처리되기 전의 화상도 공급되고, 축적된다.

스위치(73)는 프레임 메모리(72)에 축적된 참조 화상을 움직임 예측ㆍ보상부(75) 또는 인트라 예측부(74)에 출력한다.

이 화상 부호화 장치(51)에서는, 예를 들면, 화면 재배열 버퍼(62)로부터의 I 픽쳐, B 픽쳐 및 P 픽쳐가, 인트라 예측(인트라 처리라고도 함)하는 화상으로서, 인트라 예측부(74)에 공급된다. 또한, 화면 재배열 버퍼(62)로부터 읽어내어진 B 픽쳐 및 P 픽쳐가, 인터 예측(인터 처리라고도 함)하는 화상으로서, 움직임 예측ㆍ보상부(75)에 공급된다.

인트라 예측부(74)는, 화면 재배열 버퍼(62)로부터 읽어내어진 인트라 예측하는 화상과 프레임 메모리(72)로부터 공급된 참조 화상에 기초하여, 후보로 되는 모든 인트라 예측 모드의 인트라 예측 처리를 행하여, 예측 화상을 생성한다.

그때, 인트라 예측부(74)는, 후보로 되는 모든 인트라 예측 모드에 대해 코스트 함수값을 산출하고, 산출한 코스트 함수값이 최소값을 부여하는 인트라 예측 모드를, 최적 인트라 예측 모드로서 선택한다. 이 코스트 함수값에 관한 상세 내용은, 도 10을 참조하여 후술된다.

인트라 예측부(74)는, 최적 인트라 예측 모드에서 생성된 예측 화상과 그 코스트 함수값을, 예측 화상 선택부(78)에 공급한다. 인트라 예측부(74)는, 예측 화상 선택부(78)에 의해 최적 인트라 예측 모드에서 생성된 예측 화상이 선택된 경우, 최적 인트라 예측 모드를 나타내는 정보를, 가역 부호화부(66)에 공급한다. 가역 부호화부(66)는, 이 정보를 부호화하고, 압축 화상에 있어서의 헤더 정보의 일부로 한다.

움직임 예측ㆍ보상부(75)에는, 화면 재배열 버퍼(62)로부터 읽어내어진 인터 처리하는 화상과, 스위치(73)를 통해 프레임 메모리(72)로부터 참조 화상이 공급된다. 움직임 예측ㆍ보상부(75)는, 후보로 되는 모든 인터 예측 모드의 움직임 예측을 행하고, 정수 화소 정밀도의 움직임 벡터를 검출하고, H.264/AVC 방식의 내삽 필터를 이용하여, 소수 화소 정밀도의 움직임 벡터를 예측한다.

움직임 예측ㆍ보상부(75)는, 예측한 움직임 벡터를 이용하여, 후보로 되는 모든 인터 예측 모드에 대해 코스트 함수값을 산출한다. 움직임 예측ㆍ보상부(75)는, 산출한 코스트 함수값 중, 최소값을 부여하는 예측 모드를, 최적 인터 예측 모드로서 결정하고, 결정한 예측 모드의 정보와, 대응하는 소수 화소 정밀도의 움직임 벡터 정보를, 적응 내삽 필터 산출부(76)에 공급한다.

또한, 움직임 예측ㆍ보상부(75)는, 적응 내삽 필터 산출부(76)에 의해 산출된 필터 계수의 적응 내삽 필터를 이용하여, 재차, 후보로 되는 모든 인터 예측 모드에 대해 소수 화소 정밀도의 움직임 벡터를 예측하고, 코스트 함수값을 산출한다. 그리고, 움직임 예측ㆍ보상부(75)는, 산출한 코스트 함수값 중, 최소값을 부여하는 예측 모드를, 최적 인터 예측 모드로서 결정한다.

또한, 이하, 구별을 위해, H.264/AVC 방식의 내삽 필터를 이용하여 예측된 움직임 벡터 정보에 의해 결정된 최적 인터 예측 모드를, 제1 최적 인터 예측 모드라고 한다. 이에 대해, 적응 내삽 필터 산출부(76)에 의해 산출된 필터 계수의 적응 내삽 필터를 이용하여 예측된 움직임 벡터 정보에 의해 결정된 최적 인터 예측 모드를, 제2 최적 인터 예측 모드라고 한다.

움직임 예측ㆍ보상부(75)는, 결정한 제2 최적 인터 예측 모드의 소수 화소 정밀도의 움직임 벡터에 기초하여 참조 화상에 보상 처리를 실시하고, 예측 화상을 생성하여, 코스트 함수값을 구한다. 그리고, 움직임 예측ㆍ보상부(75)는, 제2 최적 인터 예측 모드에서 생성된 예측 화상과 그 코스트 함수값을, 예측 화상 선택부(78)에 공급한다. 움직임 예측ㆍ보상부(75)는, 예측 화상 선택부(78)에 의해 제2 최적 인터 예측 모드에서 생성된 예측 화상이 선택된 경우, 제2 최적 인터 예측 모드를 나타내는 정보(인터 예측 모드 정보)를 가역 부호화부(66)에 출력한다.

이때, 움직임 벡터 정보, 참조 프레임 정보 등도 가역 부호화부(66)에 출력된다. 가역 부호화부(66)는, 움직임 예측ㆍ보상부(75)로부터의 정보를 역시 가변 길이 부호화, 산술 부호화 등의 가역 부호화 처리하고, 압축 화상의 헤더부에 삽입한다.

적응 내삽 필터 산출부(76)에는, 움직임 예측ㆍ보상부(75)에 의해 예측된 소수 화소 정밀도의 움직임 벡터 정보와, 제1 최적 인터 예측 모드의 정보가 공급된다. 적응 내삽 필터 산출부(76)는, 블록 판별부(77)로부터의 제어 신호에 의해, 슬라이스마다, 8×8보다 큰 대블록 사이즈용과, 8×8 이하의 소블록 사이즈용의 적응 내삽 필터의 필터 계수를 산출한다.

즉, 적응 내삽 필터 산출부(76)는, 블록 판별부(77)로부터의 제어 신호에 의해, 움직임 벡터 정보 중, 8×8보다 큰 블록 사이즈의 제1 최적 인터 예측 모드의 움직임 벡터 정보에 대해, 대블록 사이즈용의 필터 계수를 산출한다. 또한, 적응 내삽 필터 산출부(76)는, 블록 판별부(77)로부터의 제어 신호에 의해, 슬라이스마다, 움직임 벡터 정보 중, 8×8 이하의 블록 사이즈의 제1 최적 인터 예측 모드의 움직임 벡터 정보에 대해, 소블록 사이즈용의 필터 계수를 산출한다.

적응 내삽 필터 산출부(76)는, 슬라이스마다 산출한 대블록 사이즈용 및 소블록 사이즈용의 필터 계수를, 움직임 예측ㆍ보상부(75) 및 가역 부호화부(66)에 공급한다.

블록 판별부(77)는, 적응 내삽 필터 산출부(76)에 공급되는 제1 최적 인터 예측 모드가 나타내는 블록 사이즈에 따라, 대블록 사이즈용 또는 소블록 사이즈용의 필터 계수의 산출을 제어하는 제어 신호를, 적응 내삽 필터 산출부(76)에 공급한다.

예측 화상 선택부(78)는, 인트라 예측부(74) 또는 움직임 예측ㆍ보상부(75)로부터 출력된 각 코스트 함수값에 기초하여, 최적 인트라 예측 모드와 최적 인터 예측 모드로부터, 최적 예측 모드를 결정한다. 그리고, 예측 화상 선택부(78)는, 결정된 최적 예측 모드의 예측 화상을 선택하고, 연산부(63, 70)에 공급한다. 이때, 예측 화상 선택부(78)는, 예측 화상의 선택 정보를, 인트라 예측부(74) 또는 움직임 예측ㆍ보상부(75)에 공급한다.

레이트 제어부(79)는, 축적 버퍼(67)에 축적된 압축 화상에 기초하여, 오버플로 혹은 언더플로가 발생하지 않도록, 양자화부(65)의 양자화 동작의 레이트를 제어한다.

[H.264/AVC 방식의 설명]

도 4는, H.264/AVC 방식에 있어서의 움직임 예측ㆍ보상의 블록 사이즈의 예를 도시하는 도면이다. H.264/AVC 방식에서는, 블록 사이즈를 가변으로 하여, 움직임 예측ㆍ보상이 행해진다.

도 4의 상단에는, 좌측으로부터, 16×16 화소, 16×8 화소, 8×16 화소 및 8×8 화소의 파티션으로 분할된 16×16 화소로 구성되는 매크로 블록이 순서대로 도시되어 있다. 또한, 도 4의 하단에는, 좌측으로부터, 8×8 화소, 8×4 화소, 4×8 화소 및 4×4 화소의 서브 파티션으로 분할된 8×8 화소의 파티션이 순서대로 도시되어 있다.

즉, H.264/AVC 방식에서는, 1개의 매크로 블록을, 16×16 화소, 16×8 화소, 8×16 화소, 혹은 8×8 화소 중 어느 하나의 파티션으로 분할하여, 각각 독립된 움직임 벡터 정보를 갖는 것이 가능하다. 또한, 8×8 화소의 파티션에 관해서는, 8×8 화소, 8×4 화소, 4×8 화소, 혹은 4×4 화소 중 어느 하나의 서브 파티션으로 분할하여, 각각 독립된 움직임 벡터 정보를 갖는 것이 가능하다.

도 5는, H.264/AVC 방식에 있어서의 멀티 참조 프레임의 예측ㆍ보상 처리를 설명하는 도면이다. H.264/AVC 방식에서는, 멀티 참조 프레임(Multi-Reference Frame)의 움직임 예측ㆍ보상 방식이 정해져 있다.

도 5의 예에서는, 앞으로 부호화되는 대상 프레임(Fn)과, 부호화 종료된 프레임(Fn-5, …, Fn-1)이 도시되어 있다. 프레임(Fn-1)은, 시간축 상, 대상 프레임(Fn)의 1개 전의 프레임이며, 프레임(Fn-2)은, 대상 프레임(Fn)의 2개 전의 프레임이며, 프레임(Fn-3)은, 대상 프레임(Fn)의 3개 전의 프레임이다. 또한, 프레임(Fn-4)은, 대상 프레임(Fn)의 4개 전의 프레임이며, 프레임(Fn-5)은, 대상 프레임(Fn)의 5개 전의 프레임이다. 일반적으로는, 대상 프레임(Fn)에 대해 시간축 상에 가까운 프레임일수록, 작은 참조 픽쳐 번호(ref_id)가 부가된다. 즉, 프레임(Fn-1)이 가장 참조 픽쳐 번호가 작고, 이후, 참조 부호 Fn-2, …, Fn-5의 순으로 참조 픽쳐 번호가 작다.

대상 프레임(Fn)에는, 블록(A1)과 블록(A2)이 도시되어 있고, 블록(A1)은, 2개 전의 프레임(Fn-2)의 블록(A1’)과 상관이 있다고 여겨져, 움직임 벡터(V1)가 탐색되어 있다. 또한, 블록(A2)은, 4개 전의 프레임(Fn-4)의 블록(A1’)과 상관이 있다고 여겨져, 움직임 벡터(V2)가 탐색되어 있다.

이상과 같이, H.264/AVC 방식에서는, 복수의 참조 프레임을 메모리에 저장해 놓고, 1매의 프레임(픽쳐)에 있어서, 다른 참조 프레임을 참조하는 것이 가능하다. 즉, 예를 들면, 블록(A1)이 프레임(Fn-2)을 참조하고, 블록(A2)이 프레임(Fn-4)을 참조하고 있다고 하는 바와 같이, 1매의 픽쳐에 있어서, 블록마다 각각 독립된 참조 프레임 정보[참조 픽쳐 번호(ref_id)]를 가질 수 있다.

여기서, 블록이라 함은, 도 4를 참조하여 상술한 16×16 화소, 16×8 화소, 8×16 화소 및 8×8 화소의 파티션 중 어느 하나를 나타낸다. 8×8 서브 블록 내에 있어서의 참조 프레임은 동일해야만 한다.

H.264/AVC 방식에서는, 도 1을 참조하여 상술한 1/4 화소 정밀도의 움직임 예측ㆍ보상 처리 및 도 4 및 도 5를 참조하여 상술한 바와 같은 움직임 예측ㆍ보상 처리가 행해짐으로써, 방대한 움직임 벡터 정보가 생성된다. 이 방대한 움직임 벡터 정보를 이대로 부호화하는 것은, 부호화 효율의 저하를 초래해버린다. 이에 대해, H.264/AVC 방식에서는, 도 6에 도시하는 방법에 의해, 움직임 벡터의 부호화 정보의 저감이 실현되어 있다.

도 6은, H.264/AVC 방식에 의한 움직임 벡터 정보의 생성 방법에 대해 설명하는 도면이다.

도 6의 예에서, 앞으로 부호화되는 대상 블록(E)(예를 들면, 16×16 화소)과, 이미 부호화 종료되어, 대상 블록(E)에 인접하는 블록(A 내지 D)이 도시되어 있다.

즉, 블록(D)은, 대상 블록(E)의 좌측 상부에 인접하고 있고, 블록(B)은, 대상 블록(E) 상에 인접하고 있고, 블록(C)은, 대상 블록(E)의 우측 상부에 인접하고 있고, 블록(A)은, 대상 블록(E)의 좌측에 인접하고 있다. 또한, 블록(A 내지 D)이 구획되어 있지 않은 것은, 각각, 도 4에서 상술한 16×16 화소 내지 4×4 화소 중 어느 하나의 구성의 블록인 것을 나타내고 있다.

예를 들면, X(＝A, B, C, D, E)에 대한 움직임 벡터 정보를, mv_X로 나타낸다. 우선, 대상 블록(E)에 대한 예측 움직임 벡터 정보 pmv_E는, 블록(A, B, C)에 관한 움직임 벡터 정보를 사용하여, 메디안 예측에 의해 다음 수학식 5와 같이 생성된다.

블록(C)에 관한 움직임 벡터 정보가, 화면 프레임의 단부이거나, 혹은, 아직 부호화되어 있지 않은 등의 이유에 의해, 이용 가능하지 않은(unavailable인) 경우가 있다. 이 경우에는, 블록(C)에 관한 움직임 벡터 정보는, 블록(D)에 관한 움직임 벡터 정보로 대용된다.

대상 블록(E)에 대한 움직임 벡터 정보로서, 압축 화상의 헤더부에 부가되는 데이터 mvd_E는, pmv_E를 이용하여, 다음 수학식 6과 같이 생성된다.

또한, 실제로는, 움직임 벡터 정보의 수평 방향, 수직 방향의 각각의 성분에 대해, 독립적으로 처리가 행해진다.

이와 같이, 예측 움직임 벡터 정보를 생성하고, 인접하는 블록과의 상관으로 생성된 예측 움직임 벡터 정보와 움직임 벡터 정보와의 차분을, 압축 화상의 헤더부에 부가함으로써, 움직임 벡터 정보가 저감된다.

[내삽 처리의 설명]

여기서, 재차, 도 4를 참조하여, 도 3의 적용 내삽 필터 산출부(76) 및 블록 판정부(77)의 처리에 대해 자세하게 설명한다.

도 4에 도시한 움직임 보상의 블록 사이즈 중, 그다지 텍스쳐가 존재하지 않는 블록이나, 텍스쳐를 포함하지만 넓은 영역에 걸쳐 평행 이동하고 있는 블록에 대해서는, 16×16 화소 등의 큰 블록 사이즈가 선택되기 쉽다.

한편, 미세한 텍스쳐를 포함하는, 혹은, 랜덤한 움직임을 포함하는 영역에 대해서는, 4×4 화소 등의 작은 블록 사이즈가 선택되기 쉽다.

이와 같이, 도 4에 도시된 움직임 보상의 블록 중, 어느 사이즈의 블록이 선택되는지는, 화상이 갖는 국소적인 특징이 반영되어 있다. 따라서, 이 사실을 이용하여, 적용 내삽 필터 산출부(76) 및 블록 판정부(77)에서는, 화상이 갖는 국소적 특징에 적합한 내삽 필터(즉, 적응 내삽 필터)의 필터 계수의 산출 처리가 행해진다.

즉, 상술한 비특허 문헌 3에서는, 도 2에 도시된 바와 같은 소수 화소 정밀도의 포지션마다 적응 내삽 필터의 필터 계수가 산출된다. 이에 대해, 적용 내삽 필터 산출부(76) 및 블록 판정부(77)에서는, 도 4에 도시된 블록 사이즈 중, 8×8보다 큰 블록 사이즈의 클래스에 대해서와, 8×8 이하의 블록 사이즈의 클래스에 대해, 상이한 필터 계수가 산출된다.

이에 의해, 프레임 내의 국소적 성질에 대응할 수가 있어, 부호화 효율을 더욱 향상시킬 수 있다.

[움직임 예측ㆍ보상부 및 적용 내삽 필터 산출부의 구성예]

도 7은, 움직임 예측ㆍ보상부(75) 및 적응 내삽 필터 산출부(76)의 상세한 구성예를 도시하는 블록도이다. 또한, 도 7에서는, 도 3의 스위치(73)가 생략되어 있다.

도 7의 예에서, 움직임 예측ㆍ보상부(75)는, 정수 화소 정밀도 움직임 예측부(81), 소수 화소 정밀도 움직임 예측부(82), 모드 판정부(83), 소수 화소 정밀도움직임 예측부(84) 및 움직임 보상부(85)에 의해 구성된다. 또한, 움직임 예측ㆍ보상부(75)에서는, 도 2를 참조하여 상술한 JM(Joint Model)에 실장되어 있는 움직임 탐색 방법에 기초하여, 소수 화소 정밀도의 움직임 벡터가 구해진다.

즉, 정수 화소 정밀도 움직임 예측부(81)에 의해 정수 화소 정밀도의 움직임 탐색이 행해지고, 소수 화소 정밀도 움직임 예측부(82 또는 84)에 의해, 소수 화소 정밀도의 움직임 탐색이 행해지고, 소수 화소 정밀도의 움직임 벡터 정보가 구해진다.

적응 내삽 필터 산출부(76)는, 움직임 정보 버퍼(91), 대블록 필터 산출부(92) 및 소블록 필터 산출부(93)에 의해 구성된다.

프레임 메모리(72)로부터, 정수 화소 정밀도의 참조 화상 화소값이, 정수 화소 정밀도 움직임 예측부(81), 모드 판정부(83) 및 움직임 보상부(85)에 공급된다. 또한, 도 7의 예에서는, 그 도시는 생략되어 있지만, 화면 재배열 버퍼(62)로부터의 인터 처리하는 화상이, 정수 화소 정밀도 움직임 예측부(81), 소수 화소 정밀도움직임 예측부(82 및 84), 모드 판정부(83) 및 움직임 보상부(85)에 공급되어 있다.

정수 화소 정밀도 움직임 예측부(81)는, 인터 처리하는 화상 및 정수 화소 정밀도의 참조 화상 화소값을 이용하여, 후보로 되는 모든 인터 예측 모드에 대해, 대상 블록의 정수 화소 정밀도의 움직임 탐색을 행한다. 즉, 정수 화소 정밀도 움직임 예측부(81)에서는, 소정의 탐색 범위 내에 있어서, SAD(Sum of Absolute Difference) 등의 코스트 함수값을 최소로 하는 정수 화소 정밀도의 움직임 벡터가, 후보로 되는 모든 인터 예측 모드에 대해 구해진다. 구해진 대상 블록의 정수 화소 정밀도의 움직임 벡터 정보는, 필요한 정수 화소 정밀도의 참조 화상 화소값과 함께, 소수 화소 정밀도 움직임 예측부(82 및 84)에 공급된다.

소수 화소 정밀도 움직임 예측부(82)는, 인터 처리하는 화상, 정수 화소 정밀도의 움직임 벡터 정보, 및 정수 화소 정밀도의 참조 화상 화소값을 이용하여, 후보로 되는 모든 인터 예측 모드에 대해서, 대상 블록의 소수 화소 정밀도의 움직임 탐색을 행한다. 이때, 소수 화소 정밀도 움직임 예측부(82)에서는, 도 1을 참조하여 상술한 H.264/AVC 방식의 내삽 필터를 이용하여, 상술한 코스트 함수(SAD)를 최소로 하는 1/2 화소 정밀도의 소수 화소 정밀도의 움직임 벡터 정보가 구해진다. 그리고, 또한, 상술한 코스트 함수(SAD)를 최소로 하는 1/4 화소 정밀도의 소수 화소 정밀도의 움직임 벡터 정보가 구해진다. 구해진 소수 화소 정밀도의 움직임 벡터 정보는, 모드 판정부(83)에 공급된다.

모드 판정부(83)는, 소수 화소 정밀도 움직임 예측부(82)에 의해 소수 화소 정밀도의 움직임 벡터가 구해진 후보로 되는 모든 인터 예측 모드에 대해서, 도 10을 참조하여 후술하는 코스트 함수값을 산출한다. 모드 판정부(83)는, 산출한 코스트 함수값이 최소값을 부여하는 인터 예측 모드를, 그 대상 블록의 제1 최적 인터 예측 모드로서 결정한다. 모드 판정부(83)는, 결정한 제1 최적 인터 예측 모드의 정보와, 그에 대응하는 소수 화소 정밀도의 움직임 벡터 정보를, 움직임 정보 버퍼(91)에 공급한다.

또한, 모드 판정부(83)는, 소수 화소 정밀도 움직임 예측부(84)에 의해 소수 화소 정밀도의 움직임 벡터가 구해진 후보로 되는 모든 인터 예측 모드에 대해서, 재차, 도 10을 참조하여 후술하는 코스트 함수값을 산출한다. 모드 판정부(83)는, 재차 산출한 코스트 함수값이 최소값을 부여하는 인터 예측 모드를, 그 대상 블록의 제2 최적 인터 예측 모드로서 선택하고, 선택한 제2 최적 인터 예측 모드의 정보를, 움직임 보상부(85)에 공급한다.

소수 화소 정밀도 움직임 예측부(84)에는, 대상 슬라이스에 대하여 산출되는 8×8보다 대블록 사이즈용의 필터 계수가 대블록 필터 산출부(92)로부터 공급된다. 또한, 소수 화소 정밀도 움직임 예측부(84)에는, 대상 슬라이스에 대하여 산출되는 8×8 이하 소블록 사이즈용의 필터 계수가 소블록 필터 산출부(93)로부터 공급된다.

소수 화소 정밀도 움직임 예측부(84)는, 인터 처리하는 화상, 정수 화소 정밀도의 움직임 벡터 정보, 및 정수 화소 정밀도의 참조 화상 화소값을 이용하여, 후보로 되는 모든 인터 예측 모드에 대해서, 대상 블록의 소수 화소 정밀도의 움직임 탐색을 행한다. 이때, 소수 화소 정밀도 움직임 예측부(84)에서는, 산출된 필터 계수의 적응 내삽 필터를 이용하여, 상술한 코스트 함수(SAD)를 최소로 하는 1/2 화소 정밀도의 소수 화소 정밀도의 움직임 벡터 정보가 구해진다. 그리고, 또한, 상술한 코스트 함수(SAD)를 최소로 하는 1/4 화소 정밀도의 소수 화소 정밀도의 움직임 벡터 정보가 구해진다. 구해진 각 블록의 소수 화소 정밀도의 움직임 벡터 정보, 및 슬라이스마다의 적응 내삽 필터의 필터 계수는, 모드 판정부(83) 및 움직임 보상부(85)에 공급된다.

또한, 이때, 소수 화소 정밀도 움직임 예측뿐만 아니라, 점선으로 나타내어지는 바와 같이, 정수 화소 정밀도 움직임 예측부(81)에 지시를 보내고, 정수 화소 정밀도 움직임 예측을 다시 하도록 할 수도 있다. 내삽 필터가 변경됨으로써, 주변 블록에 있어서의 움직임 벡터 정보의 변화가, 대상 블록의 움직임 탐색에도 영향을 주기 때문에, 필터 계수가 소수 화소 정밀도에만 적용되는 것이라도, 정수 화소 정밀도의 움직임 예측에도 영향이 있다.

움직임 보상부(85)에는, 화면 재배열 버퍼(62)로부터의 인터하는 화상, 프레임 메모리(72)로부터의 정수 화소 정밀도의 참조 화상 화소값이 공급되어 있다. 또한, 움직임 보상부(85)에는, 소수 화소 정밀도 움직임 예측부(84)로부터의 소수 화소 정밀도의 움직임 벡터 정보, 및 슬라이스마다의 필터 계수, 모드 판정부(83)로부터의 제2 최적 인터 예측 모드의 정보 및 차분 움직임 벡터 정보 등도 공급되어 있다.

움직임 보상부(85)는, 정수 화소 정밀도의 참조 화상 화소값, 소수 화소 정밀도의 움직임 벡터 정보, 및, 필터 계수를 이용하여, 모드 판정부(83)로부터의 제2 최적 인터 예측 모드에서, 소수 화소 정밀도의 화소값을 보간함으로써, 예측 화상을 생성한다. 움직임 보상부(85)는, 또한, 인터하는 화상 등도 이용하여, 그 제2 최적 인터 예측 모드의 코스트 함수값을 산출하고, 생성한 예측 화상과 그 코스트 함수값을 예측 화상 선택부(78)에 공급한다.

예측 화상 선택부(78)에 의해 제2 최적 인터 예측 모드의 예측 화상이 선택된 경우, 움직임 보상부(85)는, 제2 최적 인터 예측 모드를 나타내는 정보와, 움직임 벡터 정보(실제로는, 차분 움직임 벡터 정보), 참조 프레임 정보 등을 가역 부호화부(66)에 출력한다.

움직임 정보 버퍼(91)는, 대상 블록에 대해서, 모드 판정부(83)로부터 최적으로 된 제1 최적 인터 예측 모드와, 대응하는 소수 화소 정밀도의 움직임 벡터 정보를 축적하고 있다.

대블록 필터 산출부(92) 및 소블록 필터 산출부(93)에는, 움직임 정보 버퍼(91)로부터, 소수 화소 정밀도의 움직임 벡터 정보가 공급된다.

대블록 필터 산출부(92)는, 움직임 정보 버퍼(91)로부터의 소수 화소 정밀도의 움직임 벡터 정보 중, 블록 판정부(77)로부터 입력되는 제어 신호에 대응하는 움직임 벡터 정보만을 이용하여, 대블록 사이즈의 필터 계수의 산출 처리를 행한다. 즉, 대블록 필터 산출부(92)에서는, 대상 슬라이스 중, 블록 사이즈가 8×8 화소보다도 큰 블록의 움직임 벡터 정보만을 이용하여, 예측 잔차가 최소로 되도록 대블록 사이즈의 필터 계수가 산출된다.

소블록 필터 산출부(93)는, 움직임 정보 버퍼(91)로부터의 소수 화소 정밀도의 움직임 벡터 정보 중, 블록 판정부(77)로부터 입력되는 제어 신호에 대응하는 움직임 벡터 정보만을 이용하여, 소블록 사이즈의 필터 계수의 산출 처리를 행한다. 즉, 소블록 필터 산출부(93)에서는, 대상 슬라이스 중, 블록 사이즈가 8×8 화소 이하의 블록의 움직임 벡터 정보만을 이용하여, 예측 잔차가 최소로 되도록 소블록 사이즈의 필터 계수가 산출된다.

슬라이스마다 산출된 대블록 사이즈용 및 소블록 사이즈용의 필터 계수는, 각각, 움직임 예측ㆍ보상부(75) 및 가역 부호화부(66)에 공급된다.

블록 판정부(77)는, 움직임 정보 버퍼(91)에 축적되어 있는 제1 최적 인터 예측 모드의 블록 사이즈를 판정하고, 판정 결과에 따라서, 대블록 필터 산출부(92) 또는 소블록 필터 산출부(93)에 제어 신호를 출력한다. 구체적으로는 블록 사이즈가 8×8 화소 블록보다도 큰 경우, 블록 판정부(77)로부터는, 대블록 필터 산출부(92)에 필터 산출 처리를 행하게 하는 제어 신호가 출력된다. 한편, 블록 사이즈가 8×8 화소 블록 이하인 경우, 블록 판정부(77)로부터는, 소블록 필터 산출부(93)에 필터 산출 처리를 행하게 하는 제어 신호가 출력된다.

즉, 블록 판정부(77)는, 대블록 필터 산출부(92) 또는 소블록 필터 산출부(93) 중 어느 한쪽에 제어 신호를 출력함으로써, 블록을, 8×8보다 큰 블록 사이즈의 클래스와, 8×8 이하의 블록 사이즈의 클래스로 분류하고 있다. 그리고, 대블록 필터 산출부(92) 또는 소블록 필터 산출부(93)에서는, 분류된 클래스의 움직임 벡터 정보만이, 해당하는 클래스의 필터 계수 산출에 이용된다.

[화상 부호화 장치의 부호화 처리의 설명]

다음으로, 도 8의 플로우차트를 참조하여, 도 3의 화상 부호화 장치(51)의 부호화 처리에 대해서 설명한다.

스텝 S11에 있어서, A/D 변환부(61)는 입력된 화상을 A/D 변환한다. 스텝 S12에 있어서, 화면 재배열 버퍼(62)는, A/D 변환부(61)로부터 공급된 화상을 기억하고, 각 픽쳐가 표시하는 순번으로부터 부호화하는 순번으로의 재배열을 행한다.

스텝 S13에 있어서, 연산부(63)는, 스텝 S12에서 재배열된 화상과 예측 화상과의 차분을 연산한다. 예측 화상은, 인터 예측하는 경우는 움직임 예측ㆍ보상부(75)로부터, 인트라 예측하는 경우는 인트라 예측부(74)로부터, 각각 예측 화상 선택부(78)를 통하여 연산부(63)에 공급된다.

차분 데이터는 원래의 화상 데이터에 비교해서 데이터량이 작아지고 있다. 따라서, 화상을 그대로 부호화하는 경우에 비교해서, 데이터량을 압축할 수 있다.

스텝 S14에 있어서, 직교 변환부(64)는 연산부(63)로부터 공급된 차분 정보를 직교 변환한다. 구체적으로는, 이산 코사인 변환, 카루넨ㆍ루베 변환 등의 직교 변환이 행해져, 변환 계수가 출력된다. 스텝 S15에 있어서, 양자화부(65)는 변환 계수를 양자화한다. 이 양자화시에서는, 후술하는 스텝 S25의 처리에서 설명되는 바와 같이, 레이트가 제어된다.

이상과 같이 하여 양자화된 차분 정보는, 다음과 같이 하여 국부적으로 복호된다. 즉, 스텝 S16에 있어서, 역양자화부(68)는 양자화부(65)에 의해 양자화된 변환 계수를 양자화부(65)의 특성에 대응하는 특성으로 역양자화한다. 스텝 S17에 있어서, 역직교 변환부(69)는 역양자화부(68)에 의해 역양자화된 변환 계수를 직교 변환부(64)의 특성에 대응하는 특성으로 역직교 변환한다.

스텝 S18에 있어서, 연산부(70)는, 예측 화상 선택부(78)를 통하여 입력되는 예측 화상을 국부적으로 복호된 차분 정보에 가산하고, 국부적으로 복호된 화상(연산부(63)에의 입력에 대응하는 화상)을 생성한다. 스텝 S19에 있어서 디블록 필터(71)는, 연산부(70)로부터 출력된 화상을 필터링한다. 이에 의해 블록 왜곡이 제거된다. 스텝 S20에 있어서 프레임 메모리(72)는, 필터링된 화상을 기억한다. 또한, 프레임 메모리(72)에는 디블록 필터(71)에 의해 필터 처리되어 있지 않은 화상도 연산부(70)로부터 공급되고, 기억된다.

스텝 S21에 있어서, 인트라 예측부(74) 및 움직임 예측ㆍ보상부(75)는, 각각 화상의 예측 처리를 행한다. 즉, 스텝 S21에 있어서, 인트라 예측부(74)는, 인트라 예측 모드의 인트라 예측 처리를 행한다. 움직임 예측ㆍ보상부(75)는, 인터 예측 모드의 움직임 예측ㆍ보상 처리를 행한다.

스텝 S21에 있어서의 예측 처리의 상세 내용은, 도 9를 참조하여 후술하지만, 우선, 이 처리에 의해, 후보로 되는 모든 인트라 예측 모드에서의 예측 처리가 각각 행해지고, 후보로 되는 모든 인트라 예측 모드에서의 코스트 함수값이 각각 산출된다. 그리고, 산출된 코스트 함수값에 기초하여, 최적 인트라 예측 모드가 선택되고, 최적 인트라 예측 모드의 인트라 예측에 의해 생성된 예측 화상과 그 코스트 함수값이 예측 화상 선택부(78)에 공급된다.

또한, 이 처리에 의해, 후보로 되는 모든 인터 예측 모드에서의 예측 처리가 각각 행해지고, 후보로 되는 모든 인터 예측 모드에서의 코스트 함수값이 각각 산출된다. 산출된 코스트 함수값에 기초하여, 인터 예측 모드 중으로부터, 최적 인터 예측 모드가 결정된다.

또한, 구체적으로는, H.264/AVC 방식의 내삽 필터를 이용하여, 모든 인터 예측 모드에서의 소수 화소 정밀도의 움직임 벡터가 예측되고, 코스트 함수값이 산출된 결과, 제1 최적 인터 예측 모드가 구해진다. 그리고, 슬라이스마다, 제1 최적 인터 예측 모드의 블록 사이즈에 따라서 대블록 사이즈의 필터 계수 및 소블록 사이즈의 필터 계수가 산출된다. 또한, 산출된 적응 내삽 필터의 필터 계수를 이용하여, 소수 화소 정밀도의 움직임 벡터가 재차 예측되고, 코스트 함수값이 산출된 결과, 제2 최적 인터 예측 모드가 구해진다.

그리고, 제2 최적 인터 예측 모드에서 생성된 예측 화상과 그 코스트 함수값이, 예측 화상 선택부(78)에 공급된다. 또한, 산출된 슬라이스마다의 필터 계수는, 가역 부호화부(66)에 공급된다.

스텝 S22에 있어서, 예측 화상 선택부(78)는, 인트라 예측부(74) 및 움직임 예측ㆍ보상부(75)로부터 출력된 각 코스트 함수값에 기초하여, 최적 인트라 예측 모드와 최적 인터 예측 모드 중 한쪽을, 최적 예측 모드로 결정한다. 그리고, 예측 화상 선택부(78)는, 결정한 최적 예측 모드의 예측 화상을 선택하고, 연산부(63, 70)에 공급한다. 이 예측 화상이, 상술한 바와 같이, 스텝 S13, S18의 연산에 이용된다.

또한, 이 예측 화상의 선택 정보는, 인트라 예측부(74) 또는 움직임 예측ㆍ보상부(75)에 공급된다. 최적 인트라 예측 모드의 예측 화상이 선택된 경우, 인트라 예측부(74)는, 최적 인트라 예측 모드를 나타내는 정보(즉, 인트라 예측 모드 정보)를, 가역 부호화부(66)에 공급한다.

최적 인터 예측 모드의 예측 화상이 선택된 경우, 움직임 예측ㆍ보상부(75)는, 최적 인터 예측 모드를 나타내는 정보와, 또한, 필요에 따라서, 최적 인터 예측 모드에 따른 정보를 가역 부호화부(66)에 출력한다. 최적 인터 예측 모드에 따른 정보로서는, 움직임 벡터 정보나 참조 프레임 정보 등을 들 수 있다.

스텝 S23에 있어서, 가역 부호화부(66)는 양자화부(65)로부터 출력된 양자화된 변환 계수를 부호화한다. 즉, 차분 화상이 가변 길이 부호화, 산술 부호화 등의 가역 부호화되고, 압축된다. 이때, 상술한 스텝 S22에 있어서 가역 부호화부(66)에 입력된, 인트라 예측부(74)로부터의 인트라 예측 모드 정보, 또는, 움직임 예측ㆍ보상부(75)로부터의 최적 인터 예측 모드에 따른 정보 등도 부호화되고, 헤더 정보에 부가된다. 또한, 적응 내삽 필터 산출부(76)로부터의 필터 계수도 부호화된다.

예를 들면, 인터 예측 모드를 나타내는 정보는, 매크로 블록마다 부호화된다. 움직임 벡터 정보나 참조 프레임 정보는, 대상으로 되는 블록마다 부호화된다. 산출된 필터 계수는, 슬라이스마다 부호화된다.

스텝 S24에 있어서 축적 버퍼(67)는 차분 화상을 압축 화상으로서 축적한다. 축적 버퍼(67)에 축적된 압축 화상이 적절히 읽어내어져, 전송로를 통하여 복호측으로 전송된다.

스텝 S25에 있어서 레이트 제어부(79)는, 축적 버퍼(67)에 축적된 압축 화상에 기초하여, 오버플로 혹은 언더플로가 발생하지 않도록, 양자화부(65)의 양자화 동작의 레이트를 제어한다.

[예측 처리의 설명]

다음으로, 도 9의 플로우차트를 참조하여, 도 8의 스텝 S21에 있어서의 예측 처리를 설명한다.

화면 재배열 버퍼(62)로부터 공급되는 처리 대상의 화상이 인트라 처리되는 블록의 화상인 경우, 참조되는 복호 완료의 화상이 프레임 메모리(72)로부터 읽어내어져, 스위치(73)를 통하여 인트라 예측부(74)에 공급된다. 이들의 화상에 기초하여, 스텝 S31에 있어서, 인트라 예측부(74)는 처리 대상의 블록의 화소를, 후보로 되는 모든 인트라 예측 모드에서 인트라 예측한다. 또한, 참조되는 복호 완료의 화소로서는, 디블록 필터(71)에 의해 디블록 필터링되어 있지 않은 화소가 이용된다.

스텝 S31에 있어서의 인트라 예측 처리의 상세 내용은, 도 10을 참조하여 후술하지만, 이 처리에 의해, 후보로 되는 모든 인트라 예측 모드에서 인트라 예측이 행해지고, 후보로 되는 모든 인트라 예측 모드에 대하여 코스트 함수값이 산출된다. 그리고, 산출된 코스트 함수값에 기초하여, 최적 인트라 예측 모드가 선택되고, 최적 인트라 예측 모드의 인트라 예측에 의해 생성된 예측 화상과 그 코스트 함수값이 예측 화상 선택부(78)에 공급된다.

화면 재배열 버퍼(62)로부터 공급되는 처리 대상의 화상이 인터 처리되는 화상인 경우, 참조되는 화상이 프레임 메모리(72)로부터 읽어내어져, 스위치(73)를 통하여 움직임 예측ㆍ보상부(75)에 공급된다. 이들의 화상에 기초하여, 스텝 S32에 있어서, 움직임 예측ㆍ보상부(75)는 인터 움직임 예측 처리를 행한다. 즉, 움직임 예측ㆍ보상부(75)는, 프레임 메모리(72)로부터 공급되는 화상을 참조하여, 후보로 되는 모든 인터 예측 모드의 움직임 예측 처리를 행한다.

스텝 S32에 있어서의 인터 움직임 예측 처리의 상세 내용은, 도 11을 참조하여 후술하지만, 이 처리에 의해, H.264/AVC 방식의 내삽 필터를 이용하여, 후보로 되는 모든 인터 예측 모드에서 움직임 예측 처리가 행해지고, 후보로 되는 모든 인터 예측 모드에 대하여 코스트 함수값이 산출된다. 그리고, 산출된 코스트 함수값에 기초하여, 제1 최적 인터 예측 모드가 결정되고, 제1 최적 인터 예측 모드의 블록 사이즈에 따라서 대블록 사이즈용의 필터 계수 및 소블록 사이즈용의 필터 계수가 산출된다.

또한, 산출된 적응 내삽 필터의 필터 계수를 이용하여, 소수 화소 정밀도의 움직임 벡터가 재차 예측되고, 코스트 함수값이 산출된 결과, 제2 최적 인터 예측 모드가 결정된다. 결정된 제2 최적 인터 예측 모드에서 생성된 예측 화상과 그 코스트 함수값이, 예측 화상 선택부(78)에 공급된다.

[인트라 예측 처리의 설명]

다음으로, 도 10의 플로우차트를 참조하여, 도 9의 스텝 S31에 있어서의 인트라 예측 처리를 설명한다. 또한, 도 10의 예에서는, 휘도 신호의 경우를 예로서 설명한다.

인트라 예측부(74)는, 스텝 S41에 있어서, 4×4 화소, 8×8 화소, 및 16×16 화소의 각 인트라 예측 모드에 대하여 인트라 예측을 행한다.

휘도 신호의 인트라 예측 모드에는, 9종류의 4×4 화소 및 8×8 화소의 블록 단위, 및 4종류의 16×16 화소의 매크로 블록 단위의 예측 모드가 있고, 색차 신호의 인트라 예측 모드에는, 4종류의 8×8 화소의 블록 단위의 예측 모드가 있다. 색차 신호의 인트라 예측 모드는, 휘도 신호의 인트라 예측 모드와 독립적으로 설정이 가능하다. 휘도 신호의 4×4 화소 및 8×8 화소의 인트라 예측 모드에 대해서는, 4×4 화소 및 8×8 화소의 휘도 신호의 블록마다 1개의 인트라 예측 모드가 정의된다. 휘도 신호의 16×16 화소의 인트라 예측 모드와 색차 신호의 인트라 예측 모드에 대해서는, 1개의 매크로 블록에 대하여 1개의 예측 모드가 정의된다.

구체적으로는, 인트라 예측부(74)는, 처리 대상의 블록의 화소를, 프레임 메모리(72)로부터 읽어내어져, 스위치(73)를 통하여 공급되는 복호 완료의 화상을 참조하여, 인트라 예측한다. 이 인트라 예측 처리가, 각 인트라 예측 모드에서 행해짐으로써, 각 인트라 예측 모드에서의 예측 화상이 생성된다. 또한, 참조되는 복호 완료의 화소로서는, 디블록 필터(71)에 의해 디블록 필터링되어 있지 않은 화소가 이용된다.

인트라 예측부(74)는, 스텝 S42에 있어서, 4×4 화소, 8×8 화소, 및 16×16 화소의 각 인트라 예측 모드에 대한 코스트 함수값을 산출한다. 여기서, 코스트 함수값으로서는, High Complexity 모드인지, Low Complexity 모드 중 어느 하나의 방법에 기초하여 행한다. 이들의 모드는, H.264/AVC 방식에 있어서의 참조 소프트웨어인 JM으로 정해져 있다.

즉, High Complexity 모드에서는, 스텝 S41의 처리로서, 후보로 되는 모든 예측 모드에 대하여, 임시로 부호화 처리까지가 행해진다. 그리고, 다음의 수학식 7로 표시되는 코스트 함수값이 각 예측 모드에 대하여 산출되고, 그 최소값을 부여하는 예측 모드가 최적 예측 모드인 것으로서 선택된다.

D는, 원 화상과 복호 화상의 차분(왜곡), R은, 직교 변환 계수까지 포함한 발생 부호량, λ는, 양자화 파라미터 QP의 함수로서 주어지는 라그랑쥬 승수이다.

한편, Low Complexity 모드에서는, 스텝 S41의 처리로서, 후보로 되는 모든 예측 모드에 대하여, 예측 화상의 생성, 및, 움직임 벡터 정보나 예측 모드 정보, 플래그 정보 등의 헤더 비트까지가 산출된다. 그리고, 다음의 수학식 8로 표시되는 코스트 함수값이 각 예측 모드에 대하여 산출되고, 그 최소값을 부여하는 예측 모드가 최적 예측 모드인 것으로서 선택된다.

D는, 원 화상과 복호 화상의 차분(왜곡), Header_Bit는, 예측 모드에 대한 헤더 비트, QPtoQuant는, 양자화 파라미터 QP의 함수로서 주어지는 함수이다.

Low Complexity 모드에서는, 모든 예측 모드에 대하여, 예측 화상을 생성하는 것만으로, 부호화 처리 및 복호 처리를 행할 필요가 없기 때문에, 연산량이 적어도 된다.

인트라 예측부(74)는, 스텝 S43에 있어서, 4×4 화소, 8×8 화소, 및 16×16 화소의 각 인트라 예측 모드에 대하여, 각각 최적 모드를 결정한다. 즉, 상술한 바와 같이, 인트라 4×4 예측 모드 및 인트라 8×8 예측 모드의 경우에는, 예측 모드의 종류가 9종류 있고, 인트라 16×16 예측 모드의 경우에는, 예측 모드의 종류가 4종류 있다. 따라서, 인트라 예측부(74)는, 스텝 S42에 있어서 산출된 코스트 함수값에 기초하여, 이들 중으로부터, 최적 인트라 4×4 예측 모드, 최적 인트라 8×8 예측 모드, 최적 인트라 16×16 예측 모드를 결정한다.

인트라 예측부(74)는, 스텝 S44에 있어서, 4×4 화소, 8×8 화소, 및 16×16 화소의 각 인트라 예측 모드에 대하여 결정된 각 최적 모드 중으로부터, 스텝 S42에 있어서 산출된 코스트 함수값에 기초하여, 최적 인트라 예측 모드를 선택한다. 즉, 4×4 화소, 8×8 화소, 및 16×16 화소에 대하여 결정된 각 최적 모드 중으로부터, 코스트 함수값이 최소값인 모드를, 최적 인트라 예측 모드로서 선택한다. 그리고, 인트라 예측부(74)는, 최적 인트라 예측 모드에서 생성된 예측 화상과 그 코스트 함수값을, 예측 화상 선택부(78)에 공급한다.

[인터 움직임 예측 처리의 설명]

다음으로, 도 11의 플로우차트를 참조하여, 도 9의 스텝 S32의 인터 움직임 예측 처리에 대해서 설명한다. 또한, 움직임 예측ㆍ보상부(75)에서는, 도 2를 참조하여 상술한 JM에서 실장되어 있는 움직임 탐색 방법에 기초하여 정수 화소 정밀도의 움직임 벡터가 구해지고, 소수 화소 정밀도의 움직임 벡터가 구해진다.

정수 화소 정밀도 움직임 예측부(81), 소수 화소 정밀도 움직임 예측부(82), 및 모드 판정부(83)는, 스텝 S51에 있어서, H.264/AVC 방식의 내삽 필터를 이용한 움직임 예측 보상 처리를 실행한다. 또한, 이 움직임 예측 보상 처리의 상세 내용은, 도 12를 참조하여 후술한다.

이 처리에 의해, 후보로 되는 모든 인터 예측 모드에 대해서, 부호화 처리가 대상으로 되는 대상 블록의 정수 화소 정밀도의 움직임 벡터가 구해지고, H.264/AVC 방식의 내삽 필터를 이용하여 소수 화소 정밀도의 움직임 벡터 정보가 구해진다. 그리고, 후보로 되는 모든 인터 예측 모드에 대해서, 코스트 함수값이 산출된다.

스텝 S52에 있어서, 모드 판정부(83)는, 스텝 S51에 있어서 산출된 코스트 함수값이 최소값을 부여하는 인터 예측 모드를, 그 대상 블록의 제1 최적 인터 예측 모드로서 결정한다. 모드 판정부(83)는, 결정한 제1 최적 인터 예측 모드의 정보와, 그에 대응하는 소수 화소 정밀도의 움직임 벡터 정보를, 움직임 정보 버퍼(91)에 공급한다.

스텝 S53에 있어서, 블록 판별부(77)는, 움직임 정보 버퍼(91)에 축적되어 있는 각 대상 블록에 대한 제1 최적 인터 예측 모드의 블록 사이즈를, 8×8보다 큰 블록 사이즈의 클래스와, 그 이하의 블록 사이즈의 클래스로 분류한다.

구체적으로는, 블록 사이즈 판별부(77)는, 움직임 정보 버퍼(91)에 축적되어 있는 각 대상 블록의 제1 최적 인터 예측 모드의 블록 사이즈를 판정한다. 블록 사이즈 판별부(77)는, 블록 사이즈가 8×8 화소 블록보다도 큰 경우, 대블록 필터 산출부(92)에 필터 산출 처리를 행하게 하는 제어 신호를 출력한다. 또한, 블록 사이즈 판별부(77)는, 블록 사이즈가 8×8 화소 블록 이하인 경우, 소블록 필터 산출부(93)에 필터 산출 처리를 행하게 하는 제어 신호를 출력한다.

이 결과, 대블록 필터 산출부(92)에는, 블록 사이즈가 8×8 화소보다도 큰 블록인 경우만 제어 신호가 입력되고, 소블록 필터 산출부(93)에는, 블록 사이즈가 8×8 화소 블록 이하인 경우만 제어 신호가 입력된다.

즉, 블록 판정부(77)는, 대블록 필터 산출부(92) 또는 소블록 필터 산출부(93) 중 어느 한쪽에 제어 신호를 출력함으로써, 슬라이스에 있어서, 블록을, 8×8보다 큰 블록 사이즈의 클래스와, 8×8 이하의 블록 사이즈의 클래스로 분류하고 있다.

스텝 S54에 있어서, 대블록 필터 산출부(92) 및 소블록 필터 산출부(93)는, 슬라이스마다, 분류된 각 클래스에 대하여, 적응 내삽 필터의 필터계 수치를 각각 산출한다.

구체적으로는, 대블록 필터 산출부(92)는, 움직임 정보 버퍼(91)로부터의 소수 화소 정밀도의 움직임 벡터 정보 중, 블록 판정부(77)로부터 입력되는 제어 신호에 대응하는 대상 블록의 움직임 벡터 정보만을 이용하여, 대블록 사이즈의 필터 계수의 산출 처리를 행한다. 소블록 필터 산출부(93)는, 움직임 정보 버퍼(91)로부터의 소수 화소 정밀도의 움직임 벡터 정보 중, 블록 판정부(77)로부터 입력되는 제어 신호에 대응하는 대상 블록의 움직임 벡터 정보만을 이용하여, 소블록 사이즈의 필터 계수의 산출 처리를 행한다.

즉, 대블록 필터 산출부(92)는, 슬라이스에 있어서, 블록 사이즈가 8×8 화소보다도 큰 블록으로 분류된 클래스의 움직임 벡터 정보만을 이용하여, 예측 잔차가 최소로 되도록 대블록 사이즈의 필터계 수치를 산출한다. 소블록 필터 산출부(93)는, 슬라이스에 있어서, 블록 사이즈가 8×8 화소 이하인 블록으로 분류된 클래스의 움직임 벡터 정보만을 이용하여, 예측 잔차가 최소로 되도록 소블록 사이즈의 필터계 수치를 산출한다.

대상 슬라이스에 대하여 산출된 대블록 사이즈용의 필터 계수와, 소블록 사이즈용의 필터 계수는, 소수 화소 정밀도 움직임 예측부(84) 및 가역 부호화부(66)에 공급된다. 이 슬라이스마다의 필터 계수는, 도 8의 스텝 S23에 있어서 부호화된다.

스텝 S55에 있어서, 정수 화소 정밀도 움직임 예측부(81), 소수 화소 정밀도 움직임 예측부(84), 및 모드 판정부(83)는, 스텝 S55에 있어서, 산출된 필터계 수치로 되는 적응 내삽 필터를 이용한 움직임 예측 보상 처리를 실행한다. 또한, 이 움직임 예측 보상 처리의 상세 내용은, 도 12를 참조하여 후술한다.

또한, 도 12의 처리는, 정수 화소 정밀도의 움직임 벡터 정보로부터 재차 다시 구하는 경우의 처리예이다. 이에 대하여, 스텝 S55의 움직임 예측 보상 처리에서는, 정수 화소 정밀도의 움직임 벡터 정보를 재차 다시 구하는 일 없이, 소수 화소 정밀도의 움직임 벡터만을 재차 다시 구하도록 해도 된다.

이 처리에 의해, 후보로 되는 모든 인터 예측 모드에 대해서, 대상 블록의 정수 화소 정밀도의 움직임 벡터가 구해지고, 적응 내삽 필터를 이용하여 소수 화소 정밀도의 움직임 벡터 정보가 구해진다. 그리고, 후보로 되는 모든 인터 예측 모드에 대해서, 코스트 함수값이 산출된다.

스텝 S56에 있어서, 모드 판정부(83)는, 스텝 S55에 있어서 산출된 코스트 함수값이 최소값을 부여하는 인터 예측 모드를, 그 대상 블록의 제2 최적 인터 예측 모드로서 결정한다.

스텝 S57에 있어서, 모드 판정부(83)는, 또한 최적화를 행하는지의 여부를 판정한다. 예를 들면, 유저에 의해 최적화 횟수가 설정되어 있는 경우, 그 최적화 횟수로 될 때까지, 스텝 S57에 있어서, 최적화를 행한다고 판정되고, 처리는, 스텝 S53으로 되돌아가고, 그 이후의 처리가 반복된다.

이 경우, 모드 판정부(83)로부터, 결정한 제2 최적 인터 예측 모드의 정보와, 그에 대응하는 소수 화소 정밀도의 움직임 벡터 정보가, 움직임 정보 버퍼(91)에 공급되고, 그 이후의 처리에 의해, 모드 판정부(83)에서는, 제3 최적 인터 예측 모드가 결정되게 된다. 이와 같이, 최적화 횟수를 반복함으로써, 필터 계수를 더욱 최적화할 수 있다.

스텝 S57에 있어서, 모드 판정부(83)는, 최적화를 행하지 않는다고 판정한 경우, 결정한 제2 최적 인터 예측 모드의 정보를, 움직임 보상부(85)에 공급한다.

스텝 S58에 있어서, 움직임 보상부(85)는, 모드 판정부(83)로부터의 제2 최적 인터 예측 모드에서 대상 블록의 예측 화상을 생성한다. 즉, 움직임 보상부(85)는, 프레임 메모리(72)로부터의 정수 화소 정밀도의 참조 화상 화소값, 제2 최적 인터 예측 모드의 소수 화소 정밀도의 움직임 벡터 정보, 및, 적응 내삽 필터를 이용하여, 소수 화소 정밀도의 화소값을 보간함으로써, 대상 블록의 예측 화상을 생성한다. 그리고, 움직임 보상부(85)는, 그 제2 최적 인터 예측 모드의 코스트 함수값을 산출하고, 생성한 예측 화상과 그 코스트 함수값을 예측 화상 선택부(78)에 공급한다.

다음으로, 도 12의 플로우차트를 참조하여, 도 11의 스텝 S51 또는 S55의 움직임 예측 보상 처리를 설명한다. 또한, 도 11의 스텝 S51 및 S55의 처리에서는, 이용하는 내삽 필터가 서로 다를 뿐이므로, 도 12의 예에서는, 스텝 S55의 처리에 대해서 설명한다.

스텝 S61에 있어서, 정수 화소 정밀도 움직임 예측부(81) 및 소수 화소 정밀도 움직임 예측부(84)는, 도 4를 참조하여 상술한 16×16 화소 내지 4×4 화소로 이루어지는 8종류의 각 인터 예측 모드에 대하여 움직임 벡터와 참조 화상을 각각 결정한다.

즉, 정수 화소 정밀도 움직임 예측부(81)에는, 화면 재배열 버퍼(62)로부터의 인터 처리하는 화상과, 프레임 메모리(72)로부터의 정수 화소 정밀도의 참조 화상 화소값이 공급된다. 정수 화소 정밀도 움직임 예측부(81)는, 이들의 화상을 이용하여, 각 인터 예측 모드에 대하여, 후보의 참조 화상의 소정의 탐색 범위 내에 있어서 SAD 등의 코스트 함수값을 최소로 하는 정수 화소 정밀도의 움직임 벡터와 참조 화상을 구한다. 이에 의해, 각 인터 예측 모드의 처리 대상의 대상 블록에 대해서, 정수 화소 정밀도의 움직임 벡터와 참조 화상이 각각 결정되고, 정수 화소 정밀도의 움직임 벡터 정보와 정수 화소 정밀도의 참조 화상 화소값은, 소수 화소 정밀도 움직임 예측부(84)에 공급된다.

소수 화소 정밀도 움직임 예측부(84)는, 인터 처리하는 화상, 정수 화소 정밀도의 움직임 벡터 정보, 및 정수 화소 정밀도의 참조 화상 화소값을 이용하여, 후보로 되는 모든 인터 예측 모드에 대해서, 대상 블록의 소수 화소 정밀도의 움직임 탐색을 행한다. 이때, 소수 화소 정밀도 움직임 예측부(84)에서는, 대블록 필터 산출부(92) 또는 소블록 필터 산출부(93)에 의해 산출된 필터 계수의 적응 내삽 필터를 이용하여, SAD 등의 코스트 함수를 최소로 하는 1/2 화소 정밀도의 소수 화소 정밀도의 움직임 벡터 정보가 구해진다. 그리고, 또한, SAD 등의 코스트 함수를 최소로 하는 1/4 화소 정밀도의 소수 화소 정밀도의 움직임 벡터 정보가 구해진 각 대상 블록의 소수 화소 정밀도의 움직임 벡터 정보, 및 슬라이스마다의 적응 내삽 필터의 필터 계수는, 모드 판정부(83) 및 움직임 보상부(85)에 공급된다.

모드 판정부(83)는, 상술한 수학식 7 또는 수학식 8로 표시되는 코스트 함수값을 산출하기 위해, 다음의 스텝 S62 내지 S64의 처리를 행한다.

즉, 모드 판정부(83)는, 스텝 S62에 있어서, 소수 화소 정밀도 움직임 예측부(84)로부터의 소수 화소 정밀도의 움직임 벡터에 기초하여, 참조 화상에 보상 처리를 행한다. 구체적으로는, 모드 판정부(83)에는, 프레임 메모리(72)로부터의 정수 화소 정밀도의 참조 화상 화소값, 소수 화소 정밀도의 움직임 벡터 정보, 및 적응 움직임 예측 필터의 필터 계수를 이용하여, 소수 화소 정밀도의 화소값을 보간함으로써, 대상 블록의 예측 화상을 생성한다.

스텝 S63에 있어서, 모드 판정부(83)는, 16×16 화소 내지 4×4 화소로 이루어지는 8종류의 각 인터 예측 모드에 대하여 결정된 움직임 벡터에 대해서, 차분 움직임 벡터 정보 mvd_E를 생성한다. 이때, 도 6을 참조하여 상술한 움직임 벡터의 생성 방법이 이용된다.

구체적으로는, 모드 판정부(83)는, 인접 블록 움직임 벡터 정보를 이용하여, 상술한 수학식 5의 메디안 예측에 의해 대상 블록 E에 대한 예측 움직임 벡터 정보 pmv_E를 산출한다. 그리고, 모드 판정부(83)는, 상술한 수학식 6으로 표시되는 바와 같이, 소수 화소 정밀도 움직임 예측부(84)로부터의 움직임 벡터 정보 mv_E와, 산출된 예측 움직임 벡터 정보 pmv_E의 차분에 의해 차분 움직임 벡터 정보 mvd_E를 구한다.

구해진 차분 움직임 벡터 정보는, 다음의 스텝 S64에 있어서의 코스트 함수값 산출시에 이용되고, 최종적으로 예측 화상 선택부(78)에 의해 대응하는 예측 화상이 선택된 경우에는, 예측 모드 정보, 필터 계수 및 참조 프레임 정보 등과 함께 가역 부호화부(66)에 공급하기 위해, 움직임 보상부(85)에 공급된다.

모드 판정부(83)는, 스텝 S64에 있어서, 16×16 화소 내지 4×4 화소로 이루어지는 8종류의 각 인터 예측 모드에 대하여, 상술한 수학식 7 또는 수학식 8로 표시되는 코스트 함수값을 산출한다.

구체적으로는, 모드 판정부(83)는, 화면 재배열 버퍼(62)로부터의 인터 처리하는 화상, 프레임 메모리(72)로부터의 정수 화소 정밀도의 참조 화상 화소값, 소수 화소 정밀도의 움직임 벡터 정보, 적응 내삽 필터의 필터 계수, 및 차분 움직임 벡터 정보 등의 정보를 적절히 이용하여, 코스트 함수값을 산출한다. 여기서 산출된 코스트 함수값은, 상술한 도 11의 스텝 S56에서 제2 최적 인터 예측 모드를 결정할 때에 이용된다.

부호화된 압축 화상은, 소정의 전송로를 통하여 전송되고, 화상 복호 장치에 의해 복호된다.

[화상 복호 장치의 구성예]

도 13은, 본 발명을 적용한 화상 처리 장치로서의 화상 복호 장치의 일 실시 형태의 구성을 나타내고 있다.

화상 복호 장치(101)는, 축적 버퍼(111), 가역 복호부(112), 역양자화부(113), 역직교 변환부(114), 연산부(115), 디블록 필터(116), 화면 재배열 버퍼(117), D/A 변환부(118), 프레임 메모리(119), 스위치(120), 인트라 예측부(121), 움직임 예측ㆍ보상부(122), 적응 내삽 필터 설정부(123), 블록 판별부(124), 및 스위치(125)에 의해 구성되어 있다.

축적 버퍼(111)는 전송되어 온 압축 화상을 축적한다. 가역 복호부(112)는, 축적 버퍼(111)로부터 공급된, 도 3의 가역 부호화부(66)에 의해 부호화된 정보를, 가역 부호화부(66)의 부호화 방식에 대응하는 방식에 의해 복호한다. 역양자화부(113)는 가역 복호부(112)에 의해 복호된 화상을, 도 3의 양자화부(65)의 양자화 방식에 대응하는 방식에 의해 역양자화한다. 역직교 변환부(114)는, 도 3의 직교 변환부(64)의 직교 변환 방식에 대응하는 방식에 의해 역양자화부(113)의 출력을 역직교 변환한다.

역직교 변환된 출력은 연산부(115)에 의해 스위치(125)로부터 공급되는 예측 화상과 가산되어 복호된다. 디블록 필터(116)는, 복호된 화상의 블록 왜곡을 제거한 후, 프레임 메모리(119)에 공급하고, 축적시킴과 함께, 화면 재배열 버퍼(117)에 출력한다.

화면 재배열 버퍼(117)는, 화상의 재배열을 행한다. 즉, 도 3의 화면 재배열 버퍼(62)에 의해 부호화의 순번 때문에 재배열된 프레임의 순번이, 원래의 표시의 순서대로 재배열된다. D/A 변환부(118)는, 화면 재배열 버퍼(117)로부터 공급된 화상을 D/A 변환하고, 도시하지 않는 디스플레이에 출력하고, 표시시킨다.

스위치(120)는, 인터 처리되는 화상과 참조되는 화상을 프레임 메모리(119)로부터 읽어내져, 움직임 예측ㆍ보상부(122)에 출력함과 함께, 인트라 예측에 이용되는 화상을 프레임 메모리(119)로부터 읽어내져, 인트라 예측부(121)에 공급한다.

인트라 예측부(121)에는, 헤더 정보를 복호하여 얻어진 인트라 예측 모드를 나타내는 정보가 가역 복호부(112)로부터 공급된다. 인트라 예측부(121)는, 이 정보에 기초하여, 예측 화상을 생성하고, 생성한 예측 화상을, 스위치(125)에 출력한다.

움직임 예측ㆍ보상부(122)에는, 헤더 정보를 복호하여 얻어진 정보 중, 인터 예측 모드 정보, 움직임 벡터 정보, 참조 프레임 정보 등이 가역 복호부(112)로부터 공급된다. 인터 예측 모드 정보는, 매크로 블록마다 송신되어 온다. 움직임 벡터 정보나 참조 프레임 정보는, 대상 블록마다 송신되어 온다.

움직임 예측ㆍ보상부(122)는, 가역 복호부(112)로부터 공급되는 인터 예측 모드 정보가 나타내는 예측 모드에서, 대상 블록에 대한 예측 화상의 화소값을 생성한다. 이때, 움직임 예측ㆍ보상부(122)에서는, 적응 내삽 필터 설정부(123)로부터의 필터 계수, 움직임 벡터 정보, 및, 프레임 메모리(119)로부터 얻어지는 정수 화소 정밀도의 참조 화상 화소값이 이용되어, 예측 화상의 화소값이 생성된다. 생성된 예측 화상의 화소값은, 스위치(125)를 통하여, 연산부(115)에 공급된다.

적응 내삽 필터 설정부(123)에는, 헤더 정보를 복호하여 얻어진 정보 중, 적응 내삽 필터의 대블록 사이즈용 및 소블록 사이즈용의 필터 계수가 가역 복호부(112)로부터 공급된다. 이들의 필터 계수는, 슬라이스마다 송신되어 온다. 적응 내삽 필터 설정부(123)는, 블록 판별부(124)로부터의 제어 신호에 따라서, 대블록 사이즈용 또는 소블록 사이즈용의 필터 계수 중 어느 한쪽을, 움직임 예측ㆍ보상부(122)에 공급한다.

블록 판별부(124)는, 움직임 예측ㆍ보상부(122)에 공급되는 인터 예측 모드 정보에 나타내어지는 블록 사이즈에 따라서, 대블록 사이즈용 또는 소블록 사이즈용의 필터 계수를 선택하기 위한 제어 신호를, 적응 내삽 필터 설정부(123)에 공급한다.

환언하면, 블록 판별부(124)는, 인터 예측 모드 정보에 나타내어지는 블록을, 8×8보다 큰 블록 사이즈의 클래스와, 8×8 이하의 블록 사이즈의 클래스로 분류하고, 클래스에 대응하는 필터 계수를 선택하기 위한 제어 신호를 공급하고 있다.

스위치(125)는, 움직임 예측ㆍ보상부(122) 또는 인트라 예측부(121)에 의해 생성된 예측 화상을 선택하고, 연산부(115)에 공급한다.

또한, 도 3의 화상 부호화 장치(51)에서는, 장치 내부에서, 적응 내삽 필터의 필터 계수의 산출이 행해진다. 이에 대하여, 이 화상 복호 장치(101)에서는, 부호화되어 보내져 오는 필터 계수가, 움직임 보상의 블록 사이즈에 따라서 절환하여 이용된다.

[움직임 예측ㆍ보상부 및 적응 내삽 필터 설정부의 구성예]

도 14는, 움직임 예측ㆍ보상부(122) 및 적응 내삽 필터 설정부(123)의 상세한 구성예를 나타내는 블록도이다. 또한, 도 14에서는, 도 13의 스위치(120 및 125)가 생략되어 있다.

도 14의 예에서는, 움직임 예측ㆍ보상부(122)는, 모드ㆍ움직임 정보 버퍼(131) 및 움직임 보상부(132)에 의해 구성된다.

적응 내삽 필터 설정부(123)는, 대블록 적응 필터 계수 버퍼(141) 및 소블록 적응 필터 계수(142)에 의해 구성된다.

모드ㆍ움직임 정보 버퍼(131)는, 가역 복호부(112)로부터의 매크로 블록마다의 인터 예측 모드 정보와, 대상 블록의 움직임 벡터 정보를 축적한다.

움직임 보상부(132)는, 모드ㆍ움직임 정보 버퍼(131)로부터 움직임 벡터 정보와 대응하는 인터 예측 모드 정보를 읽어내져, 프레임 메모리(119)로부터 얻어지는 참조 화상 화소값을 이용하여, 복호 처리의 대상 블록에 대한 예측 화상의 화소값을 생성한다. 이때, 움직임 보상부(132)에서는, 적응 내삽 필터의 계수로서, 대블록 적응 필터 계수 버퍼(141) 또는 소블록 적응 필터 계수 버퍼(142)로부터의 필터 계수가 이용된다. 생성한 예측 화상의 화소값은, 스위치(125)를 통하여, 연산부(115)에 공급된다.

대블록 적응 필터 계수 버퍼(141)는, 가역 복호부(112)로부터의 슬라이스마다의 대블록 사이즈용의 필터 계수를 축적한다. 소블록 적응 필터 계수 버퍼(142)는, 가역 복호부(112)로부터의 슬라이스마다의 소블록 사이즈용의 필터 계수를 축적한다.

대블록 적응 필터 계수 버퍼(141) 및 소블록 적응 필터 계수 버퍼(142) 중 어느 한쪽에는, 움직임 보상의 블록 사이즈에 따른 제어 신호가 블록 판별부(124)로부터 공급된다.

대블록 적응 필터 계수 버퍼(141)에 축적되는 대블록 사이즈용의 필터 계수는, 블록 판별부(124)로부터의 제어 신호에 대응하여 읽어내어져, 움직임 보상부(132)에 공급된다. 소블록 적응 필터 계수 버퍼(142)에 축적되는 소블록 사이즈용의 필터 계수는, 블록 판별부(124)로부터의 제어 신호에 대응하여 읽어내어져, 움직임 보상부(132)에 공급된다.

[화상 복호 장치의 복호 처리의 설명]

다음으로, 도 15의 플로우차트를 참조하여, 화상 복호 장치(101)가 실행하는 복호 처리에 대해서 설명한다.

스텝 S131에 있어서, 축적 버퍼(111)는 전송되어 온 화상을 축적한다. 스텝 S132에 있어서, 가역 복호부(112)는, 축적 버퍼(111)로부터 공급되는 압축 화상을 복호한다. 즉, 도 3의 가역 부호화부(66)에 의해 부호화된 I 픽쳐, P 픽쳐, 및 B 픽쳐가 복호된다.

이때, 움직임 벡터 정보, 참조 프레임 정보, 예측 모드 정보(인트라 예측 모드, 또는 인터 예측 모드를 나타내는 정보), 적응 내삽 필터의 필터 계수 등도 복호된다.

즉, 예측 모드 정보가 인트라 예측 모드 정보인 경우, 예측 모드 정보는, 인트라 예측부(121)에 공급된다. 예측 모드 정보가 인터 예측 모드 정보인 경우, 예측 모드 정보와 대응하는 움직임 벡터 정보 및 참조 프레임 정보는, 움직임 예측ㆍ 보상부(122)에 공급된다. 또한, 필터 계수는, 슬라이스마다 적응 내삽 필터 설정부(123)에 공급된다.

스텝 S133에 있어서, 역양자화부(113)는 가역 복호부(112)에 의해 복호된 변환 계수를, 도 3의 양자화부(65)의 특성에 대응하는 특성으로 역양자화한다. 스텝 S134에 있어서 역직교 변환부(114)는 역양자화부(113)에 의해 역양자화된 변환 계수를, 도 3의 직교 변환부(64)의 특성에 대응하는 특성으로 역직교 변환한다. 이에 의해 도 3의 직교 변환부(64)의 입력[연산부(63)의 출력]에 대응하는 차분 정보가 복호되게 된다.

스텝 S135에 있어서, 연산부(115)는, 후술하는 스텝 S141의 처리에서 선택되어, 스위치(125)를 통하여 입력되는 예측 화상을 차분 정보와 가산한다. 이에 의해 원래의 화상이 복호된다. 스텝 S136에 있어서 디블록 필터(116)는, 연산부(115)로부터 출력된 화상을 필터링한다. 이에 의해 블록 왜곡이 제거된다. 스텝 S137에 있어서 프레임 메모리(119)는, 필터링된 화상을 기억한다.

스텝 S138에 있어서, 인트라 예측부(121) 또는 움직임 예측ㆍ보상부(122)는, 가역 복호부(112)로부터 공급되는 예측 모드 정보에 대응하여, 각각 화상의 예측 처리를 행한다.

즉, 가역 복호부(112)로부터 인트라 예측 모드 정보가 공급된 경우, 인트라 예측부(121)는, 인트라 예측 모드의 인트라 예측 처리를 행한다. 가역 복호부(112)로부터 인터 예측 모드 정보가 공급된 경우, 움직임 예측ㆍ보상부(122)는, 인터 예측 모드의 움직임 예측ㆍ보상 처리를 행한다. 이때, 움직임 예측ㆍ보상부(122)는, 적응 내삽 필터 설정부(123)에 의해 설정된 필터 계수, 움직임 벡터 정보, 및, 프레임 메모리(119)로부터 얻어지는 정수 화소 정밀도의 참조 화상 화소값을 사용하여, 대상 블록에 대한 예측 화상의 화소값을 생성한다.

스텝 S138에 있어서의 예측 처리의 상세는, 도 16을 참조하여 후술하지만, 이 처리에 의해, 인트라 예측부(121)에 의해 생성된 예측 화상 또는 움직임 예측ㆍ보상부(122)에 의해 생성된 예측 화상이 스위치(125)에 공급된다.

스텝 S139에 있어서, 스위치(125)는 예측 화상을 선택한다. 즉, 인트라 예측부(121)에 의해 생성된 예측 화상 또는 움직임 예측ㆍ보상부(122)에 의해 생성된 예측 화상이 공급된다. 따라서, 공급된 예측 화상이 선택되어 연산부(115)에 공급되어, 상술한 바와 같이, 스텝 S134에 있어서 역직교 변환부(114)의 출력과 가산된다.

스텝 S140에 있어서, 화면 재배열 버퍼(117)는 재배열을 행한다. 즉 화상 부호화 장치(51)의 화면 재배열 버퍼(62)에 의해 부호화를 위해서 재배열된 프레임의 순서가, 원래의 표시의 순서로 재배열된다.

스텝 S141에 있어서, D/A 변환부(118)는, 화면 재배열 버퍼(117)로부터의 화상을 D/A 변환한다. 이 화상이 도시하지 않은 디스플레이에 출력되어, 화상이 표시된다.

[화상 복호 장치의 예측 처리의 설명]

이어서, 도 16의 흐름도를 참조하여, 도 15의 스텝 S138의 예측 처리를 설명한다.

인트라 예측부(121)는, 스텝 S171에 있어서, 대상 블록이 인트라 부호화되어 있는지의 여부를 판정한다. 가역 복호부(112)로부터 인트라 예측 모드 정보가 인트라 예측부(121)에 공급되면, 인트라 예측부(121)는, 스텝 S171에 있어서, 대상 블록이 인트라 부호화되어 있다고 판정하고, 처리는, 스텝 S172로 진행된다.

인트라 예측부(121)는, 스텝 S172에 있어서, 인트라 예측 모드 정보를 취득하고, 스텝 S173에 있어서, 인트라 예측을 행한다.

즉, 처리 대상의 화상이 인트라 처리되는 화상인 경우, 필요한 화상이 프레임 메모리(119)로부터 판독되어, 스위치(120)를 통하여 인트라 예측부(121)에 공급된다. 스텝 S173에 있어서, 인트라 예측부(121)는, 스텝 S172에서 취득한 인트라 예측 모드 정보에 따라서 인트라 예측하고, 예측 화상을 생성한다. 생성된 예측 화상은, 스위치(125)에 출력된다.

한편, 스텝 S171에 있어서, 인트라 부호화되어 있지 않다고 판정된 경우, 처리는, 스텝 S174로 진행된다.

처리 대상의 화상이 인터 처리되는 화상인 경우, 가역 복호부(112)로부터 인터 예측 모드 정보, 참조 프레임 정보, 움직임 벡터 정보가 움직임 예측ㆍ보상부(122)에 공급된다. 또한, 적응 내삽 필터의 필터 계수가, 적응 내삽 필터 설정부(123)에 공급된다.

스텝 S174에 있어서, 적응 내삽 필터 설정부(123)는, 적응 내삽 필터의 필터 계수를 취득한다. 취득된 필터 계수 중, 대블록 사이즈용의 필터 계수는, 대블록 적응 필터 계수 버퍼(141)에 축적된다. 취득된 필터 계수 중, 소블록 사이즈용의 필터 계수는, 소블록 적응 필터 계수 버퍼(142)에 축적된다.

스텝 S175에 있어서, 움직임 예측ㆍ보상부(122)는, 가역 복호부(112)로부터의 예측 모드 정보 등을 취득한다. 즉, 인터 예측 모드 정보, 참조 프레임 정보, 움직임 벡터 정보가 취득된다. 취득된 움직임 벡터 정보와 인터 예측 모드 정보는, 모드ㆍ움직임 정보 버퍼(131)에 축적된다.

스텝 S176에 있어서, 블록 판별부(124)는, 모드ㆍ움직임 정보 버퍼(131)에 축적된 인터 예측 모드 정보에 따라서, 대블록 사이즈용의 필터 계수나, 소블록 사이즈용의 필터 계수를 전환한다.

즉, 블록 판별부(124)는, 움직임 예측ㆍ보상부(122)에 공급되는 인터 예측 모드 정보에 나타내어지는 블록 사이즈에 따라서, 대블록 사이즈용 또는 소블록 사이즈용의 필터 계수를 선택하기 위한 제어 신호를, 적응 내삽 필터 설정부(123)에 공급한다.

대블록 적응 필터 계수 버퍼(141)에 축적되는 대블록 사이즈용의 필터 계수는, 블록 판별부(124)로부터의 제어 신호에 대응하여 판독되어, 움직임 보상부(132)에 공급된다. 혹은, 소블록 적응 필터 계수 버퍼(142)에 축적되는 소블록 사이즈용의 필터 계수는, 블록 판별부(124)로부터의 제어 신호에 대응하여 판독되어, 움직임 보상부(132)에 공급된다.

스텝 S177에 있어서, 움직임 보상부(132)는, 스텝 S176에 있어서 전환된 필터 계수를 사용하여, 움직임 보상을 행한다. 즉, 움직임 보상부(132)는, 모드ㆍ움직임 정보 버퍼(131)로부터의 움직임 벡터 정보, 인터 예측 모드 정보, 프레임 메모리(119)로부터의 참조 화상 화소값을 사용하여, 전환된 필터 계수에 의해, 대상 블록에 대한 예측 화상의 화소값을 생성한다. 생성된 예측 화상은, 스위치(125)에 출력된다.

이상과 같이, 화상 부호화 장치(51)에 있어서는, 슬라이스에 있어서, 큰 블록 사이즈의 클래스 및 작은 블록 사이즈의 클래스가 분류되고, 분류된 클래스마다 적응 내삽 필터의 필터 계수값이 산출된다. 즉, 화상 부호화 장치(51)에 있어서는, 프레임에 있어서의 국소적 성질에 대응하는 최적의 필터 계수값을 산출할 수 있다.

또한, 화상 복호 장치(101)에 있어서는, 보내어져 온 필터 계수값 중, 블록 사이즈(클래스)에 따른 필터 계수값이 설정되어 사용된다. 즉, 화상 복호 장치(101)에 있어서는, 프레임에 있어서의 국소적 성질에 대응하는 최적의 필터 계수값을 설정할 수 있다.

이에 의해, 프레임에 있어서의 국소적 성질에 대응한 움직임 예측, 보상을 행할 수 있다. 그 결과로서, 부호화 효율을 향상시킬 수 있다.

또한, 상기 설명에 있어서는, 8×8 화소 블록보다 블록 사이즈가 큰지, 그 이하인지에 따라서 클래스를 분류하고, 필터 계수의 산출, 전환을 행하는 예를 설명하였지만, 이것에 한정되지 않는다. 즉, 8×8 블록 이외의 블록을 기준으로 클래스의 분류를 행하도록 해도 되고, 블록 사이즈에 따라서, 3종류 이상의 클래스로 분류를 행하도록 해도 된다.

예를 들어, 클래스의 분류수가 3개인 경우에는, 2개의 경우에 비해, 예측 효율은 좋아지지만, 송신하는 계수가 증가한다. 반대로, 클래스의 분류수가 2개인 경우에는, 3개의 경우에 비해, 송신하는 계수는 적지만, 예측 효율은 떨어진다.

또한, P 픽처의 경우, 원래 송신하는 비트수가 많기 때문에, 송신하는 계수의 증가에 의한 영향은 적지만, B 픽처의 경우, 원래 송신하는 비트수가 적기 때문에, 송신하는 계수의 증가에 의한 영향이 크다. 따라서, P 픽처에 대해서는, 클래스의 분류수를 3개로 하고, B 픽처에 대해서는, 클래스의 분류수를 2개로 하는 등, 예를 들어 픽처 타입에 따라서, 클래스의 분류수(예를 들어, 2개의 클래스로의 분류와, 3개의 클래스로의 분류)를 전환하도록 해도 된다.

또한, 상기 설명에 있어서는, 매크로 블록의 크기가, 16×16 화소의 경우에 대하여 설명하였지만, 본 발명은, 상술한 비특허 문헌 4에 기재된 확장된 매크로 블록 사이즈에 대해서도 적용하는 것이 가능하다.

[확장 매크로 블록 사이즈에의 적용의 설명]

도 17은 비특허 문헌 4에서 제안되어 있는 블록 사이즈의 예를 도시하는 도면이다. 비특허 문헌 4에서는, 매크로 블록 사이즈가 32×32 화소로 확장되어 있다.

도 17의 상단에는, 좌측으로부터, 32×32 화소, 32×16 화소, 16×32 화소 및 16×16 화소의 블록(파티션)으로 분할된 32×32 화소로 구성되는 매크로 블록이 순서대로 도시되어 있다. 도 17의 중단에는, 좌측으로부터, 16×16 화소, 16×8 화소, 8×16 화소 및 8×8 화소의 블록으로 분할된 16×16 화소로 구성되는 블록이 순서대로 도시되어 있다. 또한, 도 17의 하단에는, 좌측으로부터, 8×8 화소, 8×4 화소, 4×8 화소 및 4×4 화소의 블록으로 분할된 8×8 화소의 블록이 순서대로 도시되어 있다.

즉, 32×32 화소의 매크로 블록은, 도 17의 상단에 도시되는 32×32 화소, 32×16 화소, 16×32 화소 및 16×16 화소의 블록에서의 처리가 가능하다.

상단의 우측에 도시되는 16×16 화소의 블록은, H.264/AVC 방식과 마찬가지로, 중단에 도시되는 16×16 화소, 16×8 화소, 8×16 화소 및 8×8 화소의 블록에서의 처리가 가능하다.

중단의 우측에 도시되는 8×8 화소의 블록은, H.264/AVC 방식과 마찬가지로, 하단에 도시되는 8×8 화소, 8×4 화소, 4×8 화소 및 4×4 화소의 블록에서의 처리가 가능하다.

이들 블록은, 이하의 3계층으로 분류할 수 있다. 즉, 도 17의 상단에 도시되는 32×32 화소, 32×16 화소 및 16×32 화소의 블록을 제1 계층이라고 부른다. 상단의 우측에 도시되는 16×16 화소의 블록, 및, 중단에 도시되는 16×16 화소, 16×8 화소 및 8×16 화소의 블록을, 제2 계층이라고 부른다. 중단의 우측에 도시되는 8×8 화소의 블록, 및, 하단에 도시되는 8×8 화소, 8×4 화소, 4×8 화소 및 4×4 화소의 블록을, 제3 계층이라고 부른다.

이와 같은 계층 구조를 채용함으로써, 비특허 문헌 1의 제안에서는, 16×16 화소의 블록 이하에 관해서는, H.264/AVC 방식과 호환성을 유지하면서, 그 슈퍼세트로서, 보다 큰 블록이 정의되어 있다.

이상과 같이 제안되는 확장된 매크로 블록 사이즈에의 본 발명의 적용 방법으로서는, 예를 들어, 대상으로 되는 슬라이스에 있어서, 계층마다 적응 필터 계수를 산출하고, 산출된 계층마다의 필터 계수를, 압축 화상에 부가하여 복호측에 송신하는 방법이 있다. 즉, 대상으로 되는 슬라이스에 있어서, 계층마다의 클래스로 분류하는 방법이다. 이때, 각 계층(클래스)에 대하여, 필터 계수를 보내는, 보내지 않는 것에 관한 플래그 정보를 압축 화상에 부가하여 복호측에 송신해도 된다.

플래그 정보가 복호측에 송신되지 않아, 복호측에서 수신되지 않는 경우에는, 이하의 어느 하나의 방법에 의해, 내삽 필터가 설정된다.

즉, 제1 방법으로서, 플래그 정보가 수신되지 않는 경우에는, 사용하는 내삽 필터에, H.264/AVC 방식에 있어서 정해져 있는 6탭의 FIR 필터가 설정된다.

제2 방법으로서는, 예를 들어, 제1 계층에 대응하는 필터 계수는 수신되지만, 제2 계층에 대응하는 필터 계수가 수신되지 않는 경우, 제2 계층보다 블록 사이즈가 큰 계층인 제1 계층에 대응하는 필터 계수를, 제2 계층에 대해서도 설정한다.

이 제2 방법을 적용함으로써, 예를 들어 제1 계층과 제2 계층에 대해서는 동일한 필터 계수를 사용하고, 제3 계층에 대해서는, 상이한 필터 계수를 사용하는 것이 가능하게 된다.

제3 방법으로서는, 대상 슬라이스에 있어서, 대상의 계층에 대한 필터 계수가 수신되지 않는 경우에는, 1개 전 혹은 1개 이상 전의 슬라이스에 있어서의, 동일한 계층에 대한 필터 계수를, 그 대상 슬라이스에 있어서의 대상의 계층에 사용하는 방법이 있다.

도 17의 예에 있어서는, 제1 계층이나 제2 계층과 같이, 비교적 큰 블록 사이즈를 사용하여 부호화가 행해지는 매크로 블록은, 비교적 고주파 성분을 포함하고 있지 않다. 이에 대하여, 제3 계층과 같이, 비교적 작은 블록 사이즈를 사용하여 부호화가 행해지는 매크로 블록은, 비교적 고주파 성분을 포함하고 있다고 생각된다.

따라서, 도 17에 도시한 바와 같은 확장 매크로 블록을 사용한 부호화가 행해질 때, 블록 사이즈가 상이한 각 계층에 따라서, 따로따로 필터 계수를 산출한다. 이에 의해, 화상이 갖는, 국소적 성질에 적합한 부호화 성능 향상을 실현시키는 것이 가능하다.

또한, 필터의 탭수도, 계층마다 상이한 것이어도 된다.

즉, 비교적 고주파 성분을 포함하지 않는다고 생각되는 제1 계층 및 제2 계층에 대해서는, 4탭의 필터를 적용하고, 비교적 고주파 성분을 포함하는 제3 계층에 대해서는, 6탭을 적용하도록 해도 된다.

또한, P 픽처와 B 픽처에 따라서 상이한 탭수의 필터를 사용해도 된다.

또한, 상술한 블록 사이즈에 의한 필터 분류를, 슬라이스 타입에 따라서 적용하는 것도 가능하다.

즉, 인터 슬라이스에서, 상대적으로 발생 부호량이 많은 P 슬라이스에 대해서는, 블록 사이즈에 따라서 2종류의 필터 계수를 가졌다고 해도, 그 오버헤드 정보는 상대적으로 적은 것으로 된다.

한편, B 슬라이스에 관해서는, 상대적으로 발생 부호량이 적기 때문에, 2종류의 필터 계수를 가지면, 그를 위한 오버헤드 정보가 부호화 효율을 저하시키는 경우도 있다. 이와 같은 경우, 본 발명에 의한 필터 분류를, P 슬라이스에는 적용하지만, B 슬라이스에는 적용하지 않는다고 하는 것도 가능하다.

또한, 확장된 매크로 블록 사이즈에 대하여 상술한 적용 방법은, 도 3 내지도 16을 참조하여 상술한 H.264/AVC 방식을 베이스로 한 경우에도 적용 가능하다.

이상에 있어서는, 부호화 방식으로서 H.264/AVC 방식을 베이스로 사용하도록 하였지만, 본 발명은 이에 한정되지 않고, 적응 내삽 필터를 사용하여 움직임 보상을 행하는, 그 밖의 부호화 방식/복호 방식을 적용할 수 있다.

또한, 본 발명은, 예를 들어 MPEG, H.26x 등과 같이, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축된 화상 정보(비트 스트림)를, 위성 방송, 케이블 텔레비전, 인터넷 또는 휴대 전화기 등의 네트워크 미디어를 통하여 수신할 때에 사용되는 화상 부호화 장치 및 화상 복호 장치에 적용할 수 있다. 또한, 본 발명은, 광자기 디스크 및 플래시 메모리와 같은 기억 미디어 상에서 처리할 때에 사용되는 화상 부호화 장치 및 화상 복호 장치에 적용할 수 있다. 또한, 본 발명은, 그들의 화상 부호화 장치 및 화상 복호 장치 등에 포함되는 움직임 예측 보상장치에도 적용할 수 있다.

상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한 범용의 퍼스널 컴퓨터 등이 포함된다.

[퍼스널 컴퓨터의 구성예]

도 18은 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.

컴퓨터에 있어서, CPU(Central Processing Unit)(201), ROM(Read Only Memory)(202), RAM(Random Access Memory)(203)은, 버스(204)에 의해 서로 접속되어 있다.

버스(204)에는, 또한, 입출력 인터페이스(205)가 접속되어 있다. 입출력 인터페이스(205)에는, 입력부(206), 출력부(207), 기억부(208), 통신부(209) 및 드라이브(210)가 접속되어 있다.

입력부(206)는, 키보드, 마우스, 마이크로폰 등으로 이루어진다. 출력부(207)는, 디스플레이, 스피커 등으로 이루어진다. 기억부(208)는, 하드 디스크나 불휘발성의 메모리 등으로 이루어진다. 통신부(209)는, 네트워크 인터페이스 등으로 이루어진다. 드라이브(210)는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(211)를 구동한다.

이상과 같이 구성되는 컴퓨터에서는, CPU(201)가, 예를 들어 기억부(208)에 기억되어 있는 프로그램을 입출력 인터페이스(205) 및 버스(204)를 통하여 RAM(203)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.

컴퓨터[CPU(201)]가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(211)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 방송 등의, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.

컴퓨터에서는, 프로그램은, 리무버블 미디어(211)를 드라이브(210)에 장착함으로써, 입출력 인터페이스(205)를 통하여, 기억부(208)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(209)에서 수신하여, 기억부(208)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(202)이나 기억부(208)에, 미리 인스톨해 둘 수 있다.

또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라서 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에서 처리가 행해지는 프로그램이어도 된다.

본 발명의 실시 형태는, 상술한 실시 형태에 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.

예를 들어, 상술한 화상 부호화 장치(51)나 화상 복호 장치(101)는, 임의의 전자 기기에 적용할 수 있다. 이하에 그 예에 대하여 설명한다.

[텔레비전 수상기의 구성예]

도 19는 본 발명을 적용한 화상 복호 장치를 사용하는 텔레비전 수상기의 주된 구성예를 도시하는 블록도이다.

도 19에 도시된 텔레비전 수상기(300)는, 지상파 튜너(313), 비디오 디코더(315), 영상 신호 처리 회로(318), 그래픽 생성 회로(319), 패널 구동 회로(320) 및 표시 패널(321)을 갖는다.

지상파 튜너(313)는, 지상 아날로그 방송의 방송파 신호를, 안테나를 통하여 수신하고, 복조하여, 영상 신호를 취득하고, 그것을 비디오 디코더(315)에 공급한다. 비디오 디코더(315)는, 지상파 튜너(313)로부터 공급된 영상 신호에 대하여 디코드 처리를 실시하고, 얻어진 디지털의 컴포넌트 신호를 영상 신호 처리 회로(318)에 공급한다.

영상 신호 처리 회로(318)는, 비디오 디코더(315)로부터 공급된 영상 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 영상 데이터를 그래픽 생성 회로(319)에 공급한다.

그래픽 생성 회로(319)는, 표시 패널(321)에 표시시키는 프로그램의 영상 데이터나, 네트워크를 통하여 공급되는 어플리케이션에 기초하는 처리에 의한 화상 데이터 등을 생성하고, 생성한 영상 데이터나 화상 데이터를 패널 구동 회로(320)에 공급한다. 또한, 그래픽 생성 회로(319)는, 항목의 선택 등에 유저에 의해 이용되는 화면을 표시하기 위한 영상 데이터(그래픽)를 생성하고, 그것을 프로그램의 영상 데이터에 중첩하거나 함으로써 얻어진 영상 데이터를 패널 구동 회로(320)에 공급하는 등의 처리도 적절히 행한다.

패널 구동 회로(320)는, 그래픽 생성 회로(319)로부터 공급된 데이터에 기초하여 표시 패널(321)을 구동하여, 프로그램의 영상이나 상술한 각종 화면을 표시 패널(321)에 표시시킨다.

표시 패널(321)은 LCD(Liquid Crystal Display) 등으로 이루어지고, 패널 구동 회로(320)에 의한 제어에 따라서 프로그램의 영상 등을 표시시킨다.

또한, 텔레비전 수상기(300)는, 음성 A/D(Analog/Digital) 변환 회로(314), 음성 신호 처리 회로(322), 에코 캔슬/음성 합성 회로(323), 음성 증폭 회로(324) 및 스피커(325)도 갖는다.

지상파 튜너(313)는, 수신한 방송파 신호를 복조함으로써, 영상 신호뿐만 아니라 음성 신호도 취득한다. 지상파 튜너(313)는, 취득한 음성 신호를 음성 A/D 변환 회로(314)에 공급한다.

음성 A/D 변환 회로(314)는, 지상파 튜너(313)로부터 공급된 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 신호를 음성 신호 처리 회로(322)에 공급한다.

음성 신호 처리 회로(322)는, 음성 A/D 변환 회로(314)로부터 공급된 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 음성 데이터를 에코 캔슬/음성 합성 회로(323)에 공급한다.

에코 캔슬/음성 합성 회로(323)는, 음성 신호 처리 회로(322)로부터 공급된 음성 데이터를 음성 증폭 회로(324)에 공급한다.

음성 증폭 회로(324)는, 에코 캔슬/음성 합성 회로(323)로부터 공급된 음성 데이터에 대하여 D/A 변환 처리, 증폭 처리를 실시하여, 소정의 음량으로 조정한 후, 음성을 스피커(325)로부터 출력시킨다.

또한, 텔레비전 수상기(300)는, 디지털 튜너(316) 및 MPEG 디코더(317)도 갖는다.

디지털 튜너(316)는, 디지털 방송(지상 디지털 방송, BS(Broadcasting Satellite)/CS(Communications Satellite) 디지털 방송)의 방송파 신호를, 안테나를 통하여 수신하고, 복조하여, MPEG-TS(Moving Picture Experts Group-Transport Stream)를 취득하고, 그것을 MPEG 디코더(317)에 공급한다.

MPEG 디코더(317)는, 디지털 튜너(316)로부터 공급된 MPEG-TS에 실시되어 있는 스크램블을 해제하고, 재생 대상(시청 대상)으로 되어 있는 프로그램의 데이터를 포함하는 스트림을 추출한다. MPEG 디코더(317)는, 추출한 스트림을 구성하는 음성 패킷을 디코드하고, 얻어진 음성 데이터를 음성 신호 처리 회로(322)에 공급함과 함께, 스트림을 구성하는 영상 패킷을 디코드하고, 얻어진 영상 데이터를 영상 신호 처리 회로(318)에 공급한다. 또한, MPEG 디코더(317)는, MPEG-TS로부터 추출한 EPG(Electronic Program Guide) 데이터를 도시하지 않은 경로를 통하여 CPU(332)에 공급한다.

텔레비전 수상기(300)는, 이와 같이 영상 패킷을 디코드하는 MPEG 디코더(317)로서, 상술한 화상 복호 장치(101)를 사용한다. 따라서, MPEG 디코더(317)는, 화상 복호 장치(101)의 경우와 마찬가지로, 보내어져 온 적응 내삽 필터의 필터 계수값 중, 블록 사이즈(클래스)에 따른 필터 계수값을 설정하여 사용한다. 이에 의해, 프레임에 있어서의 국소적 성질에 대응한 움직임 예측, 보상을 행할 수 있다.

MPEG 디코더(317)로부터 공급된 영상 데이터는, 비디오 디코더(315)로부터 공급된 영상 데이터의 경우와 마찬가지로, 영상 신호 처리 회로(318)에 있어서 소정의 처리가 실시된다. 그리고, 소정의 처리가 실시된 영상 데이터는, 그래픽 생성 회로(319)에 있어서, 생성된 영상 데이터 등이 적절히 중첩되어, 패널 구동 회로(320)를 통하여 표시 패널(321)에 공급되어, 그 화상이 표시된다.

MPEG 디코더(317)로부터 공급된 음성 데이터는, 음성 A/D 변환 회로(314)로부터 공급된 음성 데이터의 경우와 마찬가지로, 음성 신호 처리 회로(322)에 있어서 소정의 처리가 실시된다. 그리고, 소정의 처리가 실시된 음성 데이터는, 에코 캔슬/음성 합성 회로(323)를 통하여 음성 증폭 회로(324)에 공급되어, D/A 변환 처리나 증폭 처리가 실시된다. 그 결과, 소정의 음량으로 조정된 음성이 스피커(325)로부터 출력된다.

또한, 텔레비전 수상기(300)는, 마이크로폰(326) 및 A/D 변환 회로(327)도 갖는다.

A/D 변환 회로(327)는, 음성 대화용의 것으로서 텔레비전 수상기(300)에 설치되는 마이크로폰(326)에 의해 취득된 유저의 음성의 신호를 수신한다. A/D 변환 회로(327)는, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 에코 캔슬/음성 합성 회로(323)에 공급한다.

에코 캔슬/음성 합성 회로(323)는, 텔레비전 수상기(300)의 유저(유저 A)의 음성의 데이터가 A/D 변환 회로(327)로부터 공급되고 있는 경우, 유저 A의 음성 데이터를 대상으로 하여 에코 캔슬을 행한다. 그리고, 에코 캔슬/음성 합성 회로(323)는, 에코 캔슬 후, 다른 음성 데이터와 합성하거나 하여 얻어진 음성의 데이터를, 음성 증폭 회로(324)를 통하여 스피커(325)로부터 출력시킨다.

또한, 텔레비전 수상기(300)는, 음성 코덱(328), 내부 버스(329), SDRAM(Synchronous Dynamic Random Access Memory)(330), 플래시 메모리(331), CPU(332), USB(Universal Serial Bus) I/F(333) 및 네트워크 I/F(334)도 갖는다.

A/D 변환 회로(327)는, 음성 대화용의 것으로서 텔레비전 수상기(300)에 설치되는 마이크로폰(326)에 의해 취득된 유저의 음성의 신호를 수신한다. A/D 변환 회로(327)는, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 음성 코덱(328)에 공급한다.

음성 코덱(328)은, A/D 변환 회로(327)로부터 공급된 음성 데이터를, 네트워크 경유로 송신하기 위한 소정의 포맷의 데이터로 변환하고, 내부 버스(329)를 통하여 네트워크 I/F(334)에 공급한다.

네트워크 I/F(334)는, 네트워크 단자(335)에 장착된 케이블을 통하여 네트워크에 접속된다. 네트워크 I/F(334)는, 예를 들어 그 네트워크에 접속되는 다른 장치에 대하여, 음성 코덱(328)으로부터 공급된 음성 데이터를 송신한다. 또한, 네트워크 I/F(334)는, 예를 들어 네트워크를 통하여 접속되는 다른 장치로부터 송신되는 음성 데이터를, 네트워크 단자(335)를 통하여 수신하고, 그것을, 내부 버스(329)를 통하여 음성 코덱(328)에 공급한다.

음성 코덱(328)은, 네트워크 I/F(334)로부터 공급된 음성 데이터를 소정의 포맷의 데이터로 변환하고, 그것을 에코 캔슬/음성 합성 회로(323)에 공급한다.

에코 캔슬/음성 합성 회로(323)는, 음성 코덱(328)으로부터 공급되는 음성 데이터를 대상으로 하여 에코 캔슬을 행하고, 다른 음성 데이터와 합성하거나 하여 얻어진 음성의 데이터를, 음성 증폭 회로(324)를 통하여 스피커(325)로부터 출력시킨다.

SDRAM(330)은, CPU(332)가 처리를 행하는 데 있어서 필요한 각종 데이터를 기억한다.

플래시 메모리(331)는, CPU(332)에 의해 실행되는 프로그램을 기억한다. 플래시 메모리(331)에 기억되어 있는 프로그램은, 텔레비전 수상기(300)의 기동 시 등의 소정의 타이밍에서 CPU(332)에 의해 판독된다. 플래시 메모리(331)에는, 디지털 방송을 통하여 취득된 EPG 데이터, 네트워크를 통하여 소정의 서버로부터 취득된 데이터 등도 기억된다.

예를 들어, 플래시 메모리(331)에는, CPU(332)의 제어에 의해 네트워크를 통하여 소정의 서버로부터 취득된 콘텐츠 데이터를 포함하는 MPEG-TS가 기억된다. 플래시 메모리(331)는, 예를 들어 CPU(332)의 제어에 의해, 그 MPEG-TS를, 내부 버스(329)를 통하여 MPEG 디코더(317)에 공급한다.

MPEG 디코더(317)는, 디지털 튜너(316)로부터 공급된 MPEG-TS의 경우와 마찬가지로, 그 MPEG-TS를 처리한다. 이와 같이 텔레비전 수상기(300)는, 영상이나 음성 등으로 이루어지는 콘텐츠 데이터를, 네트워크를 통하여 수신하고, MPEG 디코더(317)를 사용하여 디코드하여, 그 영상을 표시시키거나, 음성을 출력시키거나 할 수 있다.

또한, 텔레비전 수상기(300)는, 리모트 컨트롤러(351)로부터 송신되는 적외선 신호를 수광하는 수광부(337)도 갖는다.

수광부(337)는, 리모트 컨트롤러(351)로부터의 적외선을 수광하고, 복조하여 얻어진 유저 조작의 내용을 나타내는 제어 코드를 CPU(332)에 출력한다.

CPU(332)는, 플래시 메모리(331)에 기억되어 있는 프로그램을 실행하고, 수광부(337)로부터 공급되는 제어 코드 등에 따라서 텔레비전 수상기(300)의 전체의 동작을 제어한다. CPU(332)와 텔레비전 수상기(300)의 각 부는, 도시하지 않은 경로를 통하여 접속되어 있다.

USB I/F(333)는, USB 단자(336)에 장착된 USB 케이블을 통하여 접속되는, 텔레비전 수상기(300)의 외부의 기기와의 사이에서 데이터의 송수신을 행한다. 네트워크 I/F(334)는, 네트워크 단자(335)에 장착된 케이블을 통하여 네트워크에 접속하고, 네트워크에 접속되는 각종 장치와 음성 데이터 이외의 데이터의 송수신도 행한다.

텔레비전 수상기(300)는, MPEG 디코더(317)로서 화상 복호 장치(101)를 사용함으로써, 프레임에 있어서의 국소적 성질에 대응할 수 있으므로, 부호화 효율을 향상시킬 수 있다. 그 결과로서, 텔레비전 수상기(300)는, 안테나를 통하여 수신한 방송파 신호나, 네트워크를 통하여 취득한 콘텐츠 데이터로부터, 보다 고속으로, 보다 고정밀한 복호 화상을 얻어, 표시할 수 있다.

[휴대 전화기의 구성예]

도 31은 본 발명을 적용한 화상 부호화 장치 및 화상 복호 장치를 사용하는 휴대 전화기의 주된 구성예를 도시하는 블록도이다.

도 31에 도시된 휴대 전화기(400)는, 각 부를 통괄적으로 제어하도록 이루어진 주제어부(450), 전원 회로부(451), 조작 입력 제어부(452), 화상 인코더(453), 카메라 I/F부(454), LCD 제어부(455), 화상 디코더(456), 다중 분리부(457), 기록 재생부(462), 변복조 회로부(458) 및 음성 코덱(459)을 갖는다. 이들은, 버스(460)를 통하여 서로 접속되어 있다.

또한, 휴대 전화기(400)는, 조작 키(419), CCD(Charge Coupled Devices) 카메라(416), 액정 디스플레이(418), 기억부(423), 송수신 회로부(463), 안테나(414), 마이크로폰(마이크)(421) 및 스피커(417)를 갖는다.

전원 회로부(451)는, 유저의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 휴대 전화기(400)를 동작 가능한 상태로 기동한다.

휴대 전화기(400)는, CPU, ROM 및 RAM 등으로 이루어지는 주제어부(450)의 제어에 기초하여, 음성 통화 모드나 데이터 통신 모드 등의 각종 모드에서, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영 또는 데이터 기록 등의 각종 동작을 행한다.

예를 들어, 음성 통화 모드에 있어서, 휴대 전화기(400)는, 마이크로폰(마이크)(421)에 의해 집음한 음성 신호를, 음성 코덱(459)에 의해 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(458)에서 스펙트럼 확산 처리하고, 송수신 회로부(463)에서 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(400)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(414)를 통하여 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(음성 신호)는, 공중 전화 회선망을 통하여 통화 상대의 휴대 전화기에 공급된다.

또한, 예를 들어 음성 통화 모드에서, 휴대 전화기(400)는, 안테나(414)로 수신한 수신 신호를 송수신 회로부(463)에서 증폭하고, 또한 주파수 변환 처리 및 아날로그/디지털 변환 처리하고, 변복조 회로부(458)에서 스펙트럼 역확산 처리하고, 음성 코덱(459)에 의해 아날로그 음성 신호로 변환한다. 휴대 전화기(400)는, 그 변환하여 얻어진 아날로그 음성 신호를 스피커(417)로부터 출력한다.

또한, 예를 들어 데이터 통신 모드에서 전자 메일을 송신하는 경우, 휴대 전화기(400)는, 조작 키(419)의 조작에 의해 입력된 전자 메일의 텍스트 데이터를, 조작 입력 제어부(452)에 있어서 접수한다. 휴대 전화기(400)는, 그 텍스트 데이터를 주제어부(450)에 있어서 처리하고, LCD 제어부(455)를 통하여, 화상으로서 액정 디스플레이(418)에 표시시킨다.

또한, 휴대 전화기(400)는, 주제어부(450)에 있어서, 조작 입력 제어부(452)가 접수한 텍스트 데이터나 유저 지시 등에 기초하여 전자 메일 데이터를 생성한다. 휴대 전화기(400)는, 그 전자 메일 데이터를, 변복조 회로부(458)에서 스펙트럼 확산 처리하고, 송수신 회로부(463)에서 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(400)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(414)를 통하여 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(전자 메일)는, 네트워크 및 메일 서버 등을 통하여, 소정의 수신처에 공급된다.

또한, 예를 들어 데이터 통신 모드에 있어서 전자 메일을 수신하는 경우, 휴대 전화기(400)는, 기지국으로부터 송신된 신호를, 안테나(414)를 통하여 송수신 회로부(463)에서 수신하고, 증폭하고, 또한 주파수 변환 처리 및 아날로그/디지털 변환 처리한다. 휴대 전화기(400)는, 그 수신 신호를 변복조 회로부(458)에서 스펙트럼 역확산 처리하여 원래의 전자 메일 데이터를 복원한다. 휴대 전화기(400)는, 복원된 전자 메일 데이터를, LCD 제어부(455)를 통하여 액정 디스플레이(418)에 표시한다.

또한, 휴대 전화기(400)는, 수신한 전자 메일 데이터를, 기록 재생부(462)를 통하여, 기억부(423)에 기록하는(기억시키는) 것도 가능하다.

이 기억부(423)는, 재기입 가능한 임의의 기억 매체이다. 기억부(423)는, 예를 들어 RAM이나 내장형 플래시 메모리 등의 반도체 메모리이어도 되고, 하드 디스크이어도 되고, 자기 디스크, 광자기 디스크, 광 디스크, USB 메모리 또는 메모리 카드 등의 리무버블 미디어이어도 된다. 물론, 이들 이외의 것이어도 된다.

또한, 예를 들어 데이터 통신 모드에 있어서 화상 데이터를 송신하는 경우, 휴대 전화기(400)는, 촬상에 의해 CCD 카메라(416)에서 화상 데이터를 생성한다. CCD 카메라(416)는, 렌즈나 조리개 등의 광학 디바이스와 광전 변환 소자로서의 CCD를 갖고, 피사체를 촬상하고, 수광한 광의 강도를 전기 신호로 변환하고, 피사체의 화상의 화상 데이터를 생성한다. 그 화상 데이터를, 카메라 I/F부(454)를 통하여, 화상 인코더(453)에 의해, 예를 들어 MPEG2나 MPEG4 등의 소정의 부호화 방식에 의해 압축 부호화함으로써 부호화 화상 데이터로 변환한다.

휴대 전화기(400)는, 이와 같은 처리를 행하는 화상 인코더(453)로서, 상술한 화상 부호화 장치(51)를 사용한다. 따라서, 화상 인코더(453)는, 화상 부호화 장치(51)의 경우와 마찬가지로, 슬라이스에 있어서, 큰 블록 사이즈의 클래스 및 작은 블록 사이즈의 클래스를 분류하고, 분류한 클래스마다 적응 내삽 필터의 필터 계수값을 산출한다. 이에 의해, 프레임에 있어서의 국소적 성질에 대응한 움직임 예측, 보상을 행할 수 있다.

또한, 휴대 전화기(400)는, 이때 동시에, CCD 카메라(416)에서 촬상 중에 마이크로폰(마이크)(421)에 의해 집음한 음성을, 음성 코덱(459)에 있어서 아날로그/디지털 변환하고, 또한 부호화한다.

휴대 전화기(400)는, 다중 분리부(457)에 있어서, 화상 인코더(453)로부터 공급된 부호화 화상 데이터와, 음성 코덱(459)으로부터 공급된 디지털 음성 데이터를, 소정의 방식으로 다중화한다. 휴대 전화기(400)는, 그 결과 얻어지는 다중화 데이터를, 변복조 회로부(458)에서 스펙트럼 확산 처리하고, 송수신 회로부(463)에서 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(400)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(414)를 통하여 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(화상 데이터)는, 네트워크 등을 통하여, 통신 상대에 공급된다.

또한, 화상 데이터를 송신하지 않는 경우, 휴대 전화기(400)는, CCD 카메라(416)에서 생성한 화상 데이터를, 화상 인코더(453)를 통하지 않고, LCD 제어부(455)를 통하여 액정 디스플레이(418)에 표시시킬 수도 있다.

또한, 예를 들어 데이터 통신 모드에서, 간이 홈페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 휴대 전화기(400)는, 기지국으로부터 송신된 신호를, 안테나(414)를 통하여 송수신 회로부(463)에서 수신하고, 증폭하고, 또한 주파수 변환 처리 및 아날로그/디지털 변환 처리한다. 휴대 전화기(400)는, 그 수신 신호를 변복조 회로부(458)에서 스펙트럼 역확산 처리하여 원래의 다중화 데이터를 복원한다. 휴대 전화기(400)는, 다중 분리부(457)에 있어서, 그 다중화 데이터를 분리하여, 부호화 화상 데이터와 음성 데이터로 나눈다.

휴대 전화기(400)는, 화상 디코더(456)에 있어서, 부호화 화상 데이터를, MPEG2나 MPEG4 등의 소정의 부호화 방식에 대응한 복호 방식으로 디코드함으로써, 재생 동화상 데이터를 생성하고, 이것을, LCD 제어부(455)를 통하여 액정 디스플레이(418)에 표시시킨다. 이에 의해, 예를 들어 간이 홈페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 액정 디스플레이(418)에 표시된다.

휴대 전화기(400)는, 이와 같은 처리를 행하는 화상 디코더(456)로서, 상술한 화상 복호 장치(101)를 사용한다. 따라서, 화상 디코더(456)는, 화상 복호 장치(101)의 경우와 마찬가지로, 보내어져 온 적응 내삽 필터의 필터 계수값 중, 블록 사이즈(클래스)에 따른 필터 계수값을 설정하여 사용한다. 이에 의해, 프레임에 있어서의 국소적 성질에 대응한 움직임 예측, 보상을 행할 수 있다.

이때, 휴대 전화기(400)는, 동시에, 음성 코덱(459)에 있어서, 디지털의 음성 데이터를 아날로그 음성 신호로 변환하고, 이것을 스피커(417)로부터 출력시킨다. 이에 의해, 예를 들어 간이 홈페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.

또한, 전자 메일의 경우와 마찬가지로, 휴대 전화기(400)는, 수신한 간이 홈페이지 등에 링크된 데이터를, 기록 재생부(462)를 통하여, 기억부(423)에 기록하는(기억시키는) 것도 가능하다.

또한, 휴대 전화기(400)는, 주제어부(450)에 있어서, 촬상되어 CCD 카메라(416)에서 얻어진 2차원 코드를 해석하여, 2차원 코드에 기록된 정보를 취득할 수 있다.

또한, 휴대 전화기(400)는, 적외선 통신부(481)에서 적외선에 의해 외부의 기기와 통신할 수 있다.

휴대 전화기(400)는, 화상 인코더(453)로서 화상 부호화 장치(51)를 사용함으로써, 프레임에 있어서의 국소적 성질에 대응할 수 있으므로, 부호화 효율을 향상시킬 수 있다. 결과로서, 휴대 전화기(400)는, 부호화 효율이 좋은 부호화 데이터(화상 데이터)를, 다른 장치에 제공할 수 있다.

또한, 휴대 전화기(400)는, 화상 디코더(456)로서 화상 복호 장치(101)를 사용함으로써, 프레임에 있어서의 국소적 성질에 대응할 수 있으므로, 부호화 효율을 향상시킬 수 있다. 그 결과로서, 휴대 전화기(400)는, 예를 들어 간이 홈페이지에 링크된 동화상 파일로부터, 보다 고정밀한 복호 화상을 얻어, 표시할 수 있다.

또한, 이상에 있어서, 휴대 전화기(400)가, CCD 카메라(416)를 사용하도록 설명하였지만, 이 CCD 카메라(416) 대신에 CMOS(Complementary Metal Oxide Semiconductor)를 사용한 이미지 센서(CMOS 이미지 센서)를 사용하도록 해도 된다. 이 경우도, 휴대 전화기(400)는, CCD 카메라(416)를 사용하는 경우와 마찬가지로, 피사체를 촬상하고, 피사체의 화상의 화상 데이터를 생성할 수 있다.

또한, 이상에 있어서는 휴대 전화기(400)로서 설명하였지만, 예를 들어PDA(Personal Digital Assistants), 스마트폰, UMPC(Ultra Mobile Personal Computer), 넷북, 노트북형 퍼스널 컴퓨터 등, 이 휴대 전화기(400)와 마찬가지의 촬상 기능이나 통신 기능을 갖는 장치이면, 어떤 장치이어도 휴대 전화기(400)의 경우와 마찬가지로, 화상 부호화 장치(51) 및 화상 복호 장치(101)를 적용할 수 있다.

[하드 디스크 레코더의 구성예]

도 32는 본 발명을 적용한 화상 부호화 장치 및 화상 복호 장치를 사용하는 하드 디스크 레코더의 주된 구성예를 도시하는 블록도이다.

도 32에 도시된 하드 디스크 레코더(HDD 레코더)(500)는, 튜너에 의해 수신된, 위성이나 지상의 안테나 등으로부터 송신되는 방송파 신호(텔레비전 신호)에 포함되는 방송 프로그램의 오디오 데이터와 비디오 데이터를, 내장하는 하드 디스크에 보존하고, 그 보존한 데이터를 유저의 지시에 따른 타이밍에서 유저에게 제공하는 장치이다.

하드 디스크 레코더(500)는, 예를 들어 방송파 신호로부터 오디오 데이터와 비디오 데이터를 추출하고, 그것들을 적절히 복호하고, 내장하는 하드 디스크에 기억시킬 수 있다. 또한, 하드 디스크 레코더(500)는, 예를 들어 네트워크를 통하여 다른 장치로부터 오디오 데이터나 비디오 데이터를 취득하고, 그것들을 적절히 복호하고, 내장하는 하드 디스크에 기억시킬 수도 있다.

또한, 하드 디스크 레코더(500)는, 예를 들어 내장하는 하드 디스크에 기록되어 있는 오디오 데이터나 비디오 데이터를 복호하여 모니터(560)에 공급하고, 모니터(560)의 화면에 그 화상을 표시시킨다. 또한, 하드 디스크 레코더(500)는, 모니터(560)의 스피커로부터 그 음성을 출력시킬 수 있다.

하드 디스크 레코더(500)는, 예를 들어 튜너를 통하여 취득된 방송파 신호로부터 추출된 오디오 데이터와 비디오 데이터 또는, 네트워크를 통하여 다른 장치로부터 취득한 오디오 데이터나 비디오 데이터를 복호하여 모니터(560)에 공급하고, 모니터(560)의 화면에 그 화상을 표시시킨다. 또한, 하드 디스크 레코더(500)는, 모니터(560)의 스피커로부터 그 음성을 출력시킬 수도 있다.

물론, 이 밖의 동작도 가능하다.

도 32에 도시된 바와 같이, 하드 디스크 레코더(500)는, 수신부(521), 복조부(522), 디멀티플렉서(523), 오디오 디코더(524), 비디오 디코더(525) 및 레코더 제어부(526)를 갖는다. 하드 디스크 레코더(500)는, 또한, EPG 데이터 메모리(527), 프로그램 메모리(528), 워크 메모리(529), 디스플레이 컨버터(530), OSD(On Screen Display) 제어부(531), 디스플레이 제어부(532), 기록 재생부(533), D/A 컨버터(534) 및 통신부(535)를 갖는다.

또한, 디스플레이 컨버터(530)는, 비디오 인코더(541)를 갖는다. 기록 재생부(533)는, 인코더(551) 및 디코더(552)를 갖는다.

수신부(521)는, 리모트 컨트롤러(도시하지 않음)로부터의 적외선 신호를 수신하고, 전기 신호로 변환하여 레코더 제어부(526)에 출력한다. 레코더 제어부(526)는, 예를 들어 마이크로프로세서 등에 의해 구성되며, 프로그램 메모리(528)에 기억되어 있는 프로그램에 따라서, 각종 처리를 실행한다. 레코더 제어부(526)는, 이때, 워크 메모리(529)를 필요에 따라서 사용한다.

통신부(535)는, 네트워크에 접속되어, 네트워크를 통하여 다른 장치와의 통신 처리를 행한다. 예를 들어, 통신부(535)는, 레코더 제어부(526)에 의해 제어되어, 튜너(도시하지 않음)와 통신하고, 주로 튜너에 대하여 선국 제어 신호를 출력한다.

복조부(522)는, 튜너로부터 공급된 신호를, 복조하여, 디멀티플렉서(523)에 출력한다. 디멀티플렉서(523)는, 복조부(522)로부터 공급된 데이터를, 오디오 데이터, 비디오 데이터 및 EPG 데이터로 분리하고, 각각, 오디오 디코더(524), 비디오 디코더(525) 또는 레코더 제어부(526)에 출력한다.

오디오 디코더(524)는, 입력된 오디오 데이터를, 예를 들어 MPEG 방식으로 디코드하고, 기록 재생부(533)에 출력한다. 비디오 디코더(525)는, 입력된 비디오 데이터를, 예를 들어 MPEG 방식으로 디코드하고, 디스플레이 컨버터(530)에 출력한다. 레코더 제어부(526)는, 입력된 EPG 데이터를 EPG 데이터 메모리(527)에 공급하여, 기억시킨다.

디스플레이 컨버터(530)는, 비디오 디코더(525) 또는 레코더 제어부(526)로부터 공급된 비디오 데이터를, 비디오 인코더(541)에 의해, 예를 들어 NTSC(National Television Standards Committee) 방식의 비디오 데이터로 인코드하고, 기록 재생부(533)에 출력한다. 또한, 디스플레이 컨버터(530)는, 비디오 디코더(525) 또는 레코더 제어부(526)로부터 공급되는 비디오 데이터의 화면의 사이즈를, 모니터(560)의 사이즈에 대응하는 사이즈로 변환한다. 디스플레이 컨버터(530)는, 화면의 사이즈가 변환된 비디오 데이터를, 또한, 비디오 인코더(541)에 의해 NTSC 방식의 비디오 데이터로 변환하고, 아날로그 신호로 변환하고, 디스플레이 제어부(532)에 출력한다.

디스플레이 제어부(532)는, 레코더 제어부(526)의 제어 하에서, OSD(On Screen Display) 제어부(531)가 출력한 OSD 신호를, 디스플레이 컨버터(530)로부터 입력된 비디오 신호에 중첩하고, 모니터(560)의 디스플레이에 출력하여, 표시시킨다.

모니터(560)에는 또한, 오디오 디코더(524)가 출력한 오디오 데이터가, D/A 컨버터(534)에 의해 아날로그 신호로 변환되어 공급되고 있다. 모니터(560)는, 이 오디오 신호를 내장하는 스피커로부터 출력한다.

기록 재생부(533)는, 비디오 데이터나 오디오 데이터 등을 기록하는 기억 매체로서 하드 디스크를 갖는다.

기록 재생부(533)는, 예를 들어 오디오 디코더(524)로부터 공급되는 오디오 데이터를, 인코더(551)에 의해 MPEG 방식으로 인코드한다. 또한, 기록 재생부(533)는, 디스플레이 컨버터(530)의 비디오 인코더(541)로부터 공급되는 비디오 데이터를, 인코더(551)에 의해 MPEG 방식으로 인코드한다. 기록 재생부(533)는, 그 오디오 데이터의 부호화 데이터와 비디오 데이터의 부호화 데이터를 멀티플렉서에 의해 합성한다. 기록 재생부(533)는, 그 합성 데이터를 채널 코딩하여 증폭하고, 그 데이터를, 기록 헤드를 통하여 하드 디스크에 기입한다.

기록 재생부(533)는, 재생 헤드를 통하여 하드 디스크에 기록되어 있는 데이터를 재생하고, 증폭하고, 디멀티플렉서에 의해 오디오 데이터와 비디오 데이터로 분리한다. 기록 재생부(533)는, 디코더(552)에 의해 오디오 데이터 및 비디오 데이터를 MPEG 방식으로 디코드한다. 기록 재생부(533)는, 복호한 오디오 데이터를 D/A 변환하고, 모니터(560)의 스피커에 출력한다. 또한, 기록 재생부(533)는, 복호한 비디오 데이터를 D/A 변환하고, 모니터(560)의 디스플레이에 출력한다.

레코더 제어부(526)는, 수신부(521)를 통하여 수신되는 리모트 컨트롤러로부터의 적외선 신호에 의해 나타내어지는 유저 지시에 기초하여, EPG 데이터 메모리(527)로부터 최신의 EPG 데이터를 판독하고, 그것을 OSD 제어부(531)에 공급한다. OSD 제어부(531)는, 입력된 EPG 데이터에 대응하는 화상 데이터를 발생하고, 디스플레이 제어부(532)에 출력한다. 디스플레이 제어부(532)는, OSD 제어부(531)로부터 입력된 비디오 데이터를 모니터(560)의 디스플레이에 출력하여, 표시시킨다. 이에 의해, 모니터(560)의 디스플레이에는, EPG(전자 프로그램 가이드)가 표시된다.

또한, 하드 디스크 레코더(500)는, 인터넷 등의 네트워크를 통하여 다른 장치로부터 공급되는 비디오 데이터, 오디오 데이터 또는 EPG 데이터 등의 각종 데이터를 취득할 수 있다.

통신부(535)는, 레코더 제어부(526)에 제어되어, 네트워크를 통하여 다른 장치로부터 송신되는 비디오 데이터, 오디오 데이터 및 EPG 데이터 등의 부호화 데이터를 취득하고, 그것을 레코더 제어부(526)에 공급한다. 레코더 제어부(526)는, 예를 들어 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 기록 재생부(533)에 공급하여, 하드 디스크에 기억시킨다. 이때, 레코더 제어부(526) 및 기록 재생부(533)가, 필요에 따라서 재인코드 등의 처리를 행하도록 해도 된다.

또한, 레코더 제어부(526)는, 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 복호하고, 얻어지는 비디오 데이터를 디스플레이 컨버터(530)에 공급한다. 디스플레이 컨버터(530)는, 비디오 디코더(525)로부터 공급되는 비디오 데이터와 마찬가지로, 레코더 제어부(526)로부터 공급되는 비디오 데이터를 처리하고, 디스플레이 제어부(532)를 통하여 모니터(560)에 공급하여, 그 화상을 표시시킨다.

또한, 이 화상 표시에 맞추어, 레코더 제어부(526)가, 복호한 오디오 데이터를, D/A 컨버터(534)를 통하여 모니터(560)에 공급하고, 그 음성을 스피커로부터 출력시키도록 해도 된다.

또한, 레코더 제어부(526)는, 취득한 EPG 데이터의 부호화 데이터를 복호하고, 복호한 EPG 데이터를 EPG 데이터 메모리(527)에 공급한다.

이상과 같은 하드 디스크 레코더(500)는, 비디오 디코더(525), 디코더(552) 및 레코더 제어부(526)에 내장되는 디코더로서 화상 복호 장치(101)를 사용한다. 따라서, 비디오 디코더(525), 디코더(552) 및 레코더 제어부(526)에 내장되는 디코더는, 화상 복호 장치(101)의 경우와 마찬가지로, 보내어져 온 적응 내삽 필터의 필터 계수값 중, 블록 사이즈(클래스)에 따른 필터 계수값을 설정하여 사용한다. 이에 의해, 부호화 효율을 향상시킬 수 있다.

따라서, 하드 디스크 레코더(500)는, 정밀도가 높은 예측 화상을 생성할 수 있다. 그 결과로서, 하드 디스크 레코더(500)는, 예를 들어 튜너를 통하여 수신된 비디오 데이터의 부호화 데이터나, 기록 재생부(533)의 하드 디스크로부터 판독된 비디오 데이터의 부호화 데이터나, 네트워크를 통하여 취득한 비디오 데이터의 부호화 데이터로부터, 보다 고정밀한 복호 화상을 얻어, 모니터(560)에 표시시킬 수 있다.

또한, 하드 디스크 레코더(500)는, 인코더(551)로서 화상 부호화 장치(51)를 사용한다. 따라서, 인코더(551)는, 화상 부호화 장치(51)의 경우와 마찬가지로, 슬라이스에 있어서, 큰 블록 사이즈의 클래스 및 작은 블록 사이즈의 클래스를 분류하고, 분류한 클래스마다 적응 내삽 필터의 필터 계수값을 산출한다. 이에 의해, 프레임에 있어서의 국소적 성질에 대응한 움직임 예측, 보상을 행할 수 있다.

따라서, 하드 디스크 레코더(500)는, 예를 들어 하드 디스크에 기록하는 부호화 데이터의 부호화 효율을 향상시킬 수 있다. 그 결과로서, 하드 디스크 레코더(500)는, 하드 디스크의 기억 영역을 보다 효율적으로 사용할 수 있다.

또한, 이상에 있어서는, 비디오 데이터나 오디오 데이터를 하드 디스크에 기록하는 하드 디스크 레코더(500)에 대하여 설명하였지만, 물론, 기록 매체는 어떤 것이어도 된다. 예를 들어 플래시 메모리, 광 디스크 또는 비디오 테이프 등, 하드 디스크 이외의 기록 매체를 적용하는 레코더이어도, 상술한 하드 디스크 레코더(500)의 경우와 마찬가지로, 화상 부호화 장치(51) 및 화상 복호 장치(101)를 적용할 수 있다.

[카메라의 구성예]

도 33은 본 발명을 적용한 화상 복호 장치 및 화상 부호화 장치를 사용하는 카메라의 주된 구성예를 도시하는 블록도이다.

도 33에 도시된 카메라(600)는, 피사체를 촬상하고, 피사체의 화상을 LCD(616)에 표시시키거나, 그것을 화상 데이터로서, 기록 미디어(633)에 기록하거나 한다.

렌즈 블록(611)은, 광(즉, 피사체의 영상)을, CCD/CMOS(612)에 입사시킨다. CCD/CMOS(612)는, CCD 또는 CMOS를 사용한 이미지 센서이며, 수광한 광의 강도를 전기 신호로 변환하고, 카메라 신호 처리부(613)에 공급한다.

카메라 신호 처리부(613)는, CCD/CMOS(612)로부터 공급된 전기 신호를, Y, Cr, Cb의 색차 신호로 변환하고, 화상 신호 처리부(614)에 공급한다. 화상 신호 처리부(614)는, 컨트롤러(621)의 제어 하에서, 카메라 신호 처리부(613)로부터 공급된 화상 신호에 대하여 소정의 화상 처리를 실시하거나, 그 화상 신호를 인코더(641)에 의해 예를 들어 MPEG 방식에 의해 부호화하거나 한다. 화상 신호 처리부(614)는, 화상 신호를 부호화하여 생성한 부호화 데이터를, 디코더(615)에 공급한다. 또한, 화상 신호 처리부(614)는, 온 스크린 디스플레이(OSD)(620)에 있어서 생성된 표시용 데이터를 취득하고, 그것을 디코더(615)에 공급한다.

이상의 처리에 있어서, 카메라 신호 처리부(613)는, 버스(617)를 통하여 접속되는 DRAM(Dynamic Random Access Memory)(618)을 적절히 이용하고, 필요에 따라서 화상 데이터나, 그 화상 데이터가 부호화된 부호화 데이터 등을 그 DRAM(618)에 유지시킨다.

디코더(615)는, 화상 신호 처리부(614)로부터 공급된 부호화 데이터를 복호하고, 얻어진 화상 데이터(복호 화상 데이터)를 LCD(616)에 공급한다. 또한, 디코더(615)는, 화상 신호 처리부(614)로부터 공급된 표시용 데이터를 LCD(616)에 공급한다. LCD(616)는, 디코더(615)로부터 공급된 복호 화상 데이터의 화상과 표시용 데이터의 화상을 적절히 합성하고, 그 합성 화상을 표시한다.

온 스크린 디스플레이(620)는, 컨트롤러(621)의 제어 하에서, 기호, 문자 또는 도형으로 이루어지는 메뉴 화면이나 아이콘 등의 표시용 데이터를, 버스(617)를 통하여 화상 신호 처리부(614)에 출력한다.

컨트롤러(621)는, 유저가 조작부(622)를 사용하여 명령한 내용을 나타내는 신호에 기초하여, 각종 처리를 실행함과 함께, 버스(617)를 통하여, 화상 신호 처리부(614), DRAM(618), 외부 인터페이스(619), 온 스크린 디스플레이(620) 및 미디어 드라이브(623) 등을 제어한다. FLASH ROM(624)에는, 컨트롤러(621)가 각종 처리를 실행하는 데 있어서 필요한 프로그램이나 데이터 등이 저장된다.

예를 들어, 컨트롤러(621)는, 화상 신호 처리부(614)나 디코더(615) 대신에, DRAM(618)에 기억되어 있는 화상 데이터를 부호화하거나, DRAM(618)에 기억되어 있는 부호화 데이터를 복호하거나 할 수 있다. 이때, 컨트롤러(621)는, 화상 신호 처리부(614)나 디코더(615)의 부호화ㆍ복호 방식과 마찬가지의 방식에 의해 부호화ㆍ복호 처리를 행하도록 해도 되고, 화상 신호 처리부(614)나 디코더(615)가 대응하고 있지 않은 방식에 의해 부호화ㆍ복호 처리를 행하도록 해도 된다.

또한, 예를 들어 조작부(622)로부터 화상 인쇄의 개시가 지시된 경우, 컨트롤러(621)는, DRAM(618)으로부터 화상 데이터를 판독하고, 그것을, 버스(617)를 통하여 외부 인터페이스(619)에 접속되는 프린터(634)에 공급하여 인쇄시킨다.

또한, 예를 들어 조작부(622)로부터 화상 기록이 지시된 경우, 컨트롤러(621)는, DRAM(618)으로부터 부호화 데이터를 판독하고, 그것을, 버스(617)를 통하여 미디어 드라이브(623)에 장착되는 기록 미디어(633)에 공급하여 기억시킨다.

기록 미디어(633)는, 예를 들어 자기 디스크, 광자기 디스크, 광 디스크 또는 반도체 메모리 등의, 판독 기입 가능한 임의의 리무버블 미디어이다. 기록 미디어(633)는, 물론, 리무버블 미디어로서의 종류도 임의이며, 테이프 디바이스이어도 되고, 디스크이어도 되고, 메모리 카드이어도 된다. 물론, 비접촉 IC 카드 등이어도 된다.

또한, 미디어 드라이브(623)와 기록 미디어(633)를 일체화하여, 예를 들어 내장형 하드디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성의 기억 매체에 의해 구성되도록 해도 된다.

외부 인터페이스(619)는, 예를 들어 USB 입출력 단자 등으로 구성되고, 화상의 인쇄를 행하는 경우에, 프린터(634)와 접속된다. 또한, 외부 인터페이스(619)에는, 필요에 따라서 드라이브(631)가 접속되고, 자기 디스크, 광 디스크, 혹은 광자기 디스크 등의 리무버블 미디어(632)가 적절히 장착되며, 그들로부터 판독된 컴퓨터 프로그램이, 필요에 따라서, FLASH ROM(624)에 인스톨된다.

또한, 외부 인터페이스(619)는, LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 컨트롤러(621)는, 예를 들어 조작부(622)로부터의 지시에 따라서, DRAM(618)으로부터 부호화 데이터를 판독하고, 그것을 외부 인터페이스(619)로부터, 네트워크를 통하여 접속되는 다른 장치에 공급시킬 수 있다. 또한, 컨트롤러(621)는, 네트워크를 통하여 다른 장치로부터 공급되는 부호화 데이터나 화상 데이터를, 외부 인터페이스(619)를 통하여 취득하고, 그것을 DRAM(618)에 유지시키거나, 화상 신호 처리부(614)에 공급하거나 할 수 있다.

이상과 같은 카메라(600)는, 디코더(615)로서 화상 복호 장치(101)를 사용한다. 따라서, 디코더(615)는, 화상 복호 장치(101)의 경우와 마찬가지로, 보내어져 온 적응 내삽 필터의 필터 계수값 중, 블록 사이즈(클래스)에 따른 필터 계수값이 설정되어 사용된다.

따라서, 카메라(600)는, 정밀도가 높은 예측 화상을 생성할 수 있다. 그 결과로서, 카메라(600)는, 예를 들어 CCD/CMOS(612)에 있어서 생성된 화상 데이터나, DRAM(618) 또는 기록 미디어(633)로부터 판독된 비디오 데이터의 부호화 데이터나, 네트워크를 통하여 취득한 비디오 데이터의 부호화 데이터로부터, 보다 고정밀한 복호 화상을 얻어, LCD(616)에 표시시킬 수 있다.

또한, 카메라(600)는, 인코더(641)로서 화상 부호화 장치(51)를 사용한다. 따라서, 인코더(641)는, 화상 부호화 장치(51)의 경우와 마찬가지로, 슬라이스에 있어서, 큰 블록 사이즈의 클래스 및 작은 블록 사이즈의 클래스를 분류하고, 분류한 클래스마다 적응 내삽 필터의 필터 계수값을 산출한다. 이에 의해, 프레임에 있어서의 국소적 성질에 대응한 움직임 예측, 보상을 행할 수 있다.

따라서, 카메라(600)는, 예를 들어 하드 디스크에 기록하는 부호화 데이터의 부호화 효율을 향상시킬 수 있다. 그 결과로서, 카메라(600)는, DRAM(618)이나 기록 미디어(633)의 기억 영역을 보다 효율적으로 사용할 수 있다.

또한, 컨트롤러(621)가 행하는 복호 처리에 화상 복호 장치(101)의 복호 방법을 적용하도록 해도 된다. 마찬가지로, 컨트롤러(621)가 행하는 부호화 처리에 화상 부호화 장치(51)의 부호화 방법을 적용하도록 해도 된다.

또한, 카메라(600)가 촬상하는 화상 데이터는 동화상이어도 되고, 정지 화상이어도 된다.

물론, 화상 부호화 장치(51) 및 화상 복호 장치(101)는, 상술한 장치 이외의 장치나 시스템에도 적용 가능하다.

51 : 화상 부호화 장치
66 : 가역 부호화부
74 : 인트라 예측부
75 : 움직임 예측ㆍ보상부
76 : 적응 내삽 필터 산출부
77 : 블록 판별부
81 : 정수 화소 정밀도 움직임 예측부
82 : 소수 화소 정밀도 움직임 예측부
83 : 모드 판정부
84 : 소수 화소 정밀도 움직임 예측부
85 : 움직임 보상부
91 : 움직임 정보 버퍼
92 : 대블록 필터 산출부
93 : 소블록 필터 산출부
101 : 화상 복호 장치
112 : 가역 복호부
121 : 인트라 예측부
122 : 움직임 예측ㆍ보상부
123 : 적응 내삽 필터 설정부
124 : 블록 판별부
131 : 모드ㆍ움직임 정보 버퍼
132 : 움직임 보상부
141 : 대블록 적응 필터 계수 버퍼
142 : 소블록 적응 필터 계수 버퍼

Claims (20)

1. 화상 처리 장치로서,
   미리 설정되어 있는 제1 필터 계수를 사용하여 후보로 되는 예측 모드에서의 부호화 처리의 대상으로 되는 대상 블록의 움직임 예측을 행하는 움직임 예측 수단과,
   상기 움직임 예측 수단에 의해 움직임 예측이 행해진 상기 후보로 되는 예측 모드로부터 상기 대상 블록에 대하여 결정되는 최적 예측 모드가 나타내는 블록 사이즈에 따라서 클래스를 분류하는 블록 판별 수단과,
   상기 블록 판별 수단에 의해 분류된 상기 클래스마다, 예측 오차를 최소로 하는 제2 필터 계수를 산출하는 필터 계수 산출 수단을 구비하는, 화상 처리 장치.
2. 제1항에 있어서,
   상기 움직임 예측 수단은, 상기 필터 계수 산출 수단에 의해 산출된 상기 제2 필터 계수를 사용하여 상기 후보로 되는 예측 모드에서의 상기 대상 블록의 움직임 예측을 행하고,
   상기 움직임 예측 수단에 의해 상기 제2 필터를 사용하여 움직임 예측이 행해진 상기 후보로 되는 예측 모드로부터, 상기 대상 블록에 대하여 상기 최적 예측 모드를 결정하는 모드 결정 수단과,
   상기 움직임 예측 수단에 의해 움직임 예측이 행해진 상기 후보로 되는 예측 모드로부터 결정된 상기 최적 예측 모드에서의 상기 대상 블록의 움직임 보상을 행하는 움직임 보상 수단과,
   상기 움직임 보상 수단에 의한 상기 움직임 보상에 의해 얻어지는 상기 대상 블록의 예측 화상과 원화상의 차분을 부호화하는 부호화 수단을 더 구비하는, 화상 처리 장치.
3. 제2항에 있어서,
   상기 부호화 수단은, 상기 필터 계수 산출 수단에 의해 상기 클래스마다 산출된 상기 제2 필터 계수를 부호화하는, 화상 처리 장치.
4. 제2항에 있어서,
   상기 부호화 수단은, 상기 클래스마다의 상기 제2 필터 계수를 보내는 것을 나타내는 플래그 정보와 상기 플래그 정보가 부호화된 클래스의 상기 제2 필터 계수를 부호화하는, 화상 처리 장치.
5. 제4항에 있어서,
   상기 움직임 예측 수단은, 상기 플래그 정보가 부호화되지 않는 클래스로 분류되는 블록 사이즈의 예측 모드에 대해서는, 상기 제1 필터 계수를 사용하여 상기 대상 블록의 움직임 예측을 행하는, 화상 처리 장치.
6. 제4항에 있어서,
   상기 움직임 예측 수단은, 상기 플래그 정보가 부호화되지 않는 클래스로 분류되는 블록 사이즈의 예측 모드에 대해서는, 그 클래스보다 큰 블록 사이즈의 클래스의 상기 제2 필터 계수를 사용하여 상기 대상 블록의 움직임 예측을 행하는, 화상 처리 장치.
7. 제4항에 있어서,
   상기 움직임 예측 수단은, 대상 슬라이스에 있어서, 상기 플래그 정보가 부호화되지 않는 클래스로 분류되는 블록 사이즈의 예측 모드에 대해서는, 상기 대상 슬라이스보다 전의 슬라이스에 있어서의 동일한 클래스의 상기 제2 필터 계수를 사용하여 상기 대상 블록의 움직임 예측을 행하는, 화상 처리 장치.
8. 제1항에 있어서,
   상기 블록 판별 수단은, 상기 블록 사이즈가 8×8 블록보다 큰지의 여부에 따라서, 상기 클래스를 분류하는, 화상 처리 장치.
9. 제1항에 있어서,
   상기 블록 판별 수단은, 상기 블록 사이즈가 16×16 블록보다 큰지, 16×16 블록 이하이며, 또한 8×8 블록보다도 큰지, 혹은, 8×8 블록 이하인지에 따라서, 상기 클래스를 분류하는, 화상 처리 장치.
10. 화상 처리 방법으로서,
    화상 처리 장치가,
    미리 설정되어 있는 제1 필터 계수를 사용하여 후보로 되는 예측 모드에서의 부호화 처리의 대상으로 되는 대상 블록의 움직임 예측을 행하고,
    움직임 예측이 행해진 상기 후보로 되는 예측 모드로부터 상기 대상 블록에 대하여 결정되는 최적 예측 모드가 나타내는 블록 사이즈에 따라서 클래스를 분류하고,
    분류된 상기 클래스마다, 예측 오차를 최소로 하는 제2 필터 계수를 산출하는 스텝을 포함하는, 화상 처리 방법.
11. 화상 처리 장치로서,
    복호 처리의 대상으로 되는 대상 블록의 움직임 벡터 정보를 복호하는 복호 수단과,
    블록 사이즈에 따라서 분류된 클래스마다 예측 오차를 최소로 하도록 산출된 클래스마다의 필터 계수로부터, 상기 대상 블록의 블록 사이즈에 따른 필터 계수를 설정하는 필터 계수 설정 수단과,
    상기 복호 수단에 의해 복호된 상기 움직임 벡터 정보 및 상기 필터 계수 설정 수단에 의해 설정된 상기 필터 계수를 사용하여, 상기 대상 블록의 예측 화상을 생성하는 예측 화상 생성 수단을 구비하는, 화상 처리 장치.
12. 제11항에 있어서,
    상기 복호 수단은, 슬라이스마다 부호화되어 있는 상기 클래스마다의 필터 계수를 복호하고,
    상기 필터 계수 설정 수단은, 상기 복호 수단에 의해 복호된 상기 클래스마다의 필터 계수로부터, 상기 대상 블록의 블록 사이즈에 따른 필터 계수를 설정하는, 화상 처리 장치.
13. 제12항에 있어서,
    상기 복호 수단은, 상기 대상 블록의 예측 모드 정보도 복호하고,
    상기 필터 계수 설정 수단은, 상기 복호 수단에 의해 복호된 상기 예측 모드 정보가 나타내는 블록 사이즈에 따라서, 상기 대상 블록의 블록 사이즈에 따른 필터 계수를 설정하는, 화상 처리 장치.
14. 제12항에 있어서,
    상기 복호 수단은, 슬라이스마다 부호화되어 있는 상기 클래스마다의 상기 필터 계수를 보내는 것을 나타내는 플래그 정보와 상기 플래그 정보가 복호된 클래스의 상기 필터 계수를 복호하는, 화상 처리 장치.
15. 제14항에 있어서,
    상기 예측 화상 생성 수단은, 상기 플래그 정보가 복호되지 않는 클래스로 분류되는 블록 사이즈의 대상 블록에 대하여, 미리 설정되어 있는 필터 계수를 사용하여 예측 화상을 생성하는, 화상 처리 장치.
16. 제14항에 있어서,
    상기 예측 화상 생성 수단은, 상기 플래그 정보가 복호되지 않는 클래스로 분류되는 블록 사이즈의 대상 블록에 대하여, 그 클래스보다 큰 블록 사이즈의 클래스의 상기 필터 계수를 사용하여 예측 화상을 생성하는, 화상 처리 장치.
17. 제14항에 있어서,
    상기 예측 화상 생성 수단은, 대상 슬라이스에 있어서, 상기 플래그 정보가 복호되지 않는 클래스로 분류되는 블록 사이즈의 예측 모드에 대해서는, 상기 대상 슬라이스보다 전의 슬라이스에 있어서의 동일한 클래스의 상기 필터 계수를 사용하여 상기 대상 블록의 예측 화상을 생성하는, 화상 처리 장치.
18. 제11항에 있어서,
    상기 클래스는, 상기 블록 사이즈가 8×8 블록보다 큰지의 여부에 따라서 분류되어 있는, 화상 처리 장치.
19. 제11항에 있어서,
    상기 클래스는, 상기 블록 사이즈가 16×16 블록보다 큰지, 16×16 블록 이하이며, 또한 8×8 블록보다도 큰지, 혹은, 8×8 블록 이하인지에 따라서 분류되어 있는, 화상 처리 장치.
20. 화상 처리 방법으로서,
    화상 처리 장치가,
    복호 처리의 대상으로 되는 대상 블록의 움직임 벡터 정보를 복호하고,
    블록 사이즈에 따라서 분류된 클래스마다 예측 오차를 최소로 하도록 산출된 클래스마다의 필터 계수로부터, 상기 대상 블록의 블록 사이즈에 따른 필터 계수를 설정하고,
    복호된 상기 움직임 벡터 정보 및 설정된 상기 필터 계수를 사용하여, 상기 대상 블록의 예측 화상을 생성하는 스텝을 포함하는, 화상 처리 방법.

Images