KR20130037200A - 화상 처리 장치 및 방법 - Google Patents

Abstract

본 개시는, 화면 내 예측에 필요한 메모리량을 저감시킬 수 있도록 한 화상 처리 장치 및 방법에 관한 것이다. 부호화되는 화상의 수평 방향의 사이즈 또는 상기 화상을 분할한 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행하는 샘플링부와, 상기 샘플링부에 의해 샘플링된 상기 화소값을 이용하여 보간 처리를 행하고, 상기 인접 화소를 재구성하는 재구성부와, 상기 재구성부에 의해 재구성된 상기 인접 화소를 이용하여 상기 화면 내 예측을 행하고, 예측 화상을 생성하는 예측 화상 생성부와, 상기 예측 화상 생성부에 의해 생성된 상기 예측 화상을 이용하여, 상기 화상을 부호화하는 부호화부를 구비한다. 본 기술은, 예를 들면, 화상 처리 장치에 적용할 수 있다.

Description

화상 처리 장치 및 방법{IMAGE PROCESSING DEVICE AND METHOD}

본 발명은, 화상 처리 장치 및 방법에 관한 것으로, 특히, 화면 내 예측에 필요한 메모리량을 저감시킬 수 있도록 한 화상 처리 장치 및 방법에 관한 것이다.

종래, ITU-T(International Telecommunication Union Telecommunication Standardization Sector) H.264, MPEG4(Moving Picture Experts Group4)-AVC(Advanced Video Coding)에 있어서의 화상 부호화 표준 방식으로는, 인트라 픽쳐의 예측 부호화로서 화면 내 예측(인트라 예측) 부호화가 채용되고 있다.

이 ITU-T H.264, MPEG4-AVC에 있어서의 인트라 예측에 있어서는, 처리 대상 블록에 인접하는 블록의, 디블록 필터가 부착되기 전의 화소 데이터인 재구성 화소값 중, 처리 대상 블록에 인접하는 인접 화소의 화소값이 사용된다.

따라서, 각 인트라 예측 모드에 있어서의 예측 화소값과 잔차 성분이 가산되고, 복호된 블록의 우단의 1 화소열과 하단의 1 화소행은, 재구성 화소값으로서 다음의 블록의 인트라 예측을 위해 보존된다.

이 재구성 화소값은, 디블록 필터가 부착된 후의, 복호 처리가 완료된 화소 데이터인 복호 화소값과는 다른 영역에 보존된다.

그런데, 차세대의 화상 부호화 규격의 요소 기술로서, 매크로 블록의 수평 및 수직 방향의 화소수를 확장하는 제안이 이루어져 있다(예를 들면, 비특허문헌 1 참조). 이 제안에 의하면, 예를 들면, MPEG1, MPEG2, ITU-T H.264, 또는 MPEG4-AVC 등으로 규정되어 있는 16×16 화소의 매크로 블록 사이즈 외에, 예를 들면 32×32 화소나, 64×64 화소로 이루어지는 매크로 블록을 사용하는 것도 제안되어 있다. 또한, 최근, 부호화나 복호 처리되는 화상의 사이즈는, 해마다 증대하고 있다.

Peisong Chenn, Yan Ye, Marta Karczewicz, "Video Coding Using Extended Block Sizes", COM16-C123-E, Qualcomm Inc

그러나, 종래의 방법의 경우, 매크로 블록의 수직 방향 화소 사이즈에 따라서 매크로 블록을 처리하기 위해 보존해야 할 인접 재구성 화소의 개수가 증대하므로, 이 인접 재구성 화소값의 보존에 필요한 용량이 증대할 우려가 있었다.

또한, 처리 대상 매크로 블록의 1개 위의 매크로 블록의 가장 하측 화소행을 1 라인분, 인접 화소값으로서 유지해야만 하므로, 화상의 수평 사이즈가 증대하면, 이 인접 재구성 화소값의 보존에 필요한 용량이 증대할 우려가 있었다.

예를 들면 색차 규격 4:2:0, 8 비트, 수평 방향 4096 화소의 사이즈의 프로그레시브 화상에 대해서는 6 킬로바이트, 인터레이스 화상에 대해서는 매크로 블록 어댑티브 프레임ㆍ필드 복호 처리를 고려하면 12 킬로바이트의 메모리 영역 혹은 라인 버퍼가 필요해진다. 수평 방향의 화소수가 7680 화소의 경우는 각각, 11.5 킬로바이트, 23 킬로바이트 필요해진다.

본 개시는, 이와 같은 상황을 감안하여 이루어진 것으로, 보다 적은 메모리량으로 화면 내 예측을 실현시키는 것을 목적으로 한다.

본 개시의 일 측면은, 부호화되는 화상의 수평 방향의 사이즈 또는 상기 화상을 분할한 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행하는 샘플링부와, 상기 샘플링부에 의해 샘플링된 상기 화소값을 이용하여 보간 처리를 행하고, 상기 인접 화소를 재구성하는 재구성부와, 상기 재구성부에 의해 재구성된 상기 인접 화소를 이용하여 상기 화면 내 예측을 행하고, 예측 화상을 생성하는 예측 화상 생성부와, 상기 예측 화상 생성부에 의해 생성된 상기 예측 화상을 이용하여, 상기 화상을 부호화하는 부호화부를 구비하는 화상 처리 장치이다.

상기 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행할지를 결정하는 결정부를 더 구비하고, 상기 샘플링부는, 상기 결정부에 의해 상기 샘플링을 행하는 것이 결정된 경우에, 상기 샘플링을 행할 수 있다.

상기 결정부는, 상기 화상의 내용 또는 상기 화상을 부호화할 때의 픽쳐 타입에 따라서, 상기 샘플링을 행할지를 결정할 수 있다.

상기 결정부에 의해 상기 샘플링을 행하는 것이 결정된 경우, 상기 화상의 수평 방향의 사이즈 또는 상기 영역의 수직 방향의 사이즈에 따라서, 상기 샘플링의 방법을 결정하는 샘플링 방법 결정부를 더 구비하고, 상기 샘플링부는, 상기 샘플링 방법 결정부에 의해 결정된 방법으로 상기 샘플링을 행할 수 있다.

상기 샘플링 방법 결정부는, 상기 화상의 내용에 따라서 상기 샘플링의 방법을 결정할 수 있다.

상기 샘플링 방법 결정부는, 상기 화상을 부호화할 때의 픽쳐 타입에 따라서 상기 샘플링의 방법을 결정할 수 있다.

상기 샘플링 방법 결정부는, 상기 보간 처리의 방법을 결정하고, 상기 재구성부는, 상기 샘플링 방법 결정부에 의해 결정된 상기 보간 처리의 방법으로 상기 보간 처리를 행하여 상기 인접 화소를 재구성할 수 있다.

상기 샘플링부는, 상기 영역마다 분할된 상기 화상을 대상으로 하여, 가장 하측 화소행의 일부와 가장 우측 화소열의 일부를 샘플링할 수 있다.

상기 샘플링부는, 상기 영역마다 분할된 상기 화상을 대상으로 하여, 가장 하측 화소행의 일부를 샘플링할 수 있다.

상기 화상의 특징량을 추출하는 특징량 추출부를 더 구비하고, 상기 결정부는, 상기 특징량 추출부에 의해 상기 화상의 특징량으로서 추출된, 상기 화상의 수평 방향의 사이즈 또는 상기 영역의 수직 방향의 사이즈에 따라서, 상기 샘플링을 행할지를 결정할 수 있다.

상기 부호화부는, 상기 예측 화상 생성부에 의해 생성된 상기 예측 화상과, 상기 영역마다의 화상의 차분 정보를 부호화하여 얻어지는 부호화 데이터와, 상기 샘플링부에 의해 상기 샘플링이 행해졌는지를 나타내는 정보를 전송할 수 있다.

상기 부호화부는, 상기 차분 정보를 부호화하여 얻어지는 부호화 데이터와, 상기 샘플링부에 의해 행해진 상기 샘플링의 방법을 나타내는 정보를 전송할 수 있다.

본 개시의 일 측면은, 또한, 화상 처리 장치의 화상 처리 방법으로서, 샘플링부가, 부호화되는 화상의 수평 방향의 사이즈 또는 상기 화상을 행렬 형상으로 분할하는 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행하고, 재구성부가, 샘플링된 화소값을 이용하여 보간 처리를 행하여, 상기 인접 화소를 재구성하고, 예측 화상 생성부가, 재구성된 상기 인접 화소를 이용하여 상기 화면 내 예측을 행하고, 예측 화상을 생성하고, 부호화부가, 생성된 상기 예측 화상을 이용하여, 상기 화상을 부호화하는 화상 처리 방법이다.

본 개시의 다른 측면은, 화상이 부호화된 부호화 데이터를 복호하는 복호부와, 상기 복호부에 의해 상기 부호화 데이터가 복호되어 얻어진 화상의 수평 방향의 사이즈 또는 상기 화상을 분할한 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행하는 샘플링부와, 상기 샘플링부에 의해 샘플링된 상기 화소값을 이용하여 보간 처리를 행하고, 상기 인접 화소를 재구성하는 재구성부와, 상기 재구성부에 의해 재구성된 상기 인접 화소를 이용하여 상기 화면 내 예측을 행하고, 예측 화상을 생성하는 예측 화상 생성부를 구비하는 화상 처리 장치이다.

상기 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행할지를 결정하는 결정부와, 상기 결정부에 의해 상기 샘플링을 행하는 것이 결정된 경우, 상기 화상의 수평 방향의 사이즈 또는 상기 영역의 수직 방향의 사이즈에 따라서, 상기 샘플링의 방법을 결정하는 샘플링 방법 결정부를 더 구비하고, 상기 샘플링부는, 상기 결정부에 의해 상기 샘플링을 행하는 것이 결정된 경우, 상기 샘플링 방법 결정부에 의해 결정된 방법으로 상기 샘플링을 행할 수 있다.

상기 샘플링부는, 상기 영역마다 분할된 상기 화상을 대상으로 하여, 가장 하측 화소행의 일부와 가장 우측 화소열의 일부를 샘플링할 수 있다.

상기 샘플링부는, 상기 영역마다 분할된 상기 화상을 대상으로 하여, 가장 하측 화소행의 일부를 샘플링할 수 있다.

상기 복호부는, 전송된, 상기 예측 화상과, 상기 영역마다의 화상의 차분 정보를 부호화하여 얻어지는 부호화 데이터와, 상기 샘플링부에 의해 상기 샘플링이 행해졌는지를 나타내는 정보를 취득할 수 있다.

상기 복호부는, 전송된, 상기 차분 정보를 부호화하여 얻어지는 부호화 데이터와, 상기 샘플링부에 의해 행해진 상기 샘플링의 방법을 나타내는 정보를 취득할 수 있다.

본 개시의 다른 측면은, 또한, 화상 처리 장치의 화상 처리 방법으로서, 복호부가, 화상이 부호화된 부호화 데이터를 복호하고, 샘플링부가, 상기 부호화 데이터가 복호되어 얻어진 화상의 수평 방향의 사이즈 또는 상기 화상을 분할한 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행하고, 재구성부가, 샘플링된 화소값을 이용하여 보간 처리를 행하여, 상기 인접 화소를 재구성하고, 예측 화상 생성부가, 재구성된 상기 인접 화소를 이용하여 상기 화면 내 예측을 행하고, 예측 화상을 생성하는 화상 처리 방법이다.

본 개시의 일 측면에 있어서는, 부호화되는 화상의 수평 방향의 사이즈, 혹은, 화상을 행렬 형상으로 분할하는 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행할지가 결정되고, 샘플링을 행하는 것이 결정된 경우, 화소값이 샘플링되고, 샘플링된 화소값을 기억하는 기억부로부터, 샘플링된 화소값이 판독되고, 보간 처리가 행해져 인접 화소가 재구성되고, 재구성된 인접 화소를 이용하여 화면 내 예측이 행해지고, 예측 화상이 생성된다.

본 개시의 다른 측면에서는, 화상이 부호화된 부호화 데이터가 복호되고, 부호화 데이터가 복호되어 얻어진 화상의 수평 방향의 사이즈 또는 화상을 분할한 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링이 행해지고, 샘플링된 화소값을 이용하여 보간 처리가 행해지고, 인접 화소가 재구성되고, 재구성된 인접 화소를 이용하여 화면 내 예측이 행해지고, 예측 화상이 생성된다.

본 개시에 따르면, 화상 데이터의 부호화, 혹은, 부호화된 화상 데이터의 복호를 행할 수 있다. 특히, 화면 내 예측에 필요한 메모리량을 저감시킬 수 있다.

도 1은 화상 부호화 장치의 주된 구성예를 도시하는 블록도이다.
도 2는 매크로 블록의 분할예를 도시하는 도면이다.
도 3은 인트라 4×4 예측 모드를 설명하는 도면이다.
도 4는 인트라 8×8 예측 모드를 설명하는 도면이다.
도 5는 인트라 16×16 예측 모드를 설명하는 도면이다.
도 6은 색차 성분의 인트라 예측 모드를 설명하는 도면이다.
도 7은 매크로 블록의 처리순을 설명하는 도면이다.
도 8은 도 1의 인트라 예측부의 구성예를 도시하는 블록도이다.
도 9는 샘플링 방법의 예를 설명하는 도면이다.
도 10은 샘플링 방법의 다른 예를 설명하는 도면이다.
도 11은 샘플링 방법의 또 다른 예를 설명하는 도면이다.
도 12는 샘플링 방법의 또 다른 예를 설명하는 도면이다.
도 13은 부호화 처리의 흐름의 예를 설명하는 플로우차트이다.
도 14는 예측 처리의 흐름의 예를 설명하는 플로우차트이다.
도 15는 인트라 예측 처리의 흐름의 예를 설명하는 플로우차트이다.
도 16은 재구성 화소 기억 처리의 흐름의 예를 설명하는 플로우차트이다.
도 17은 화상 복호 장치의 주된 구성예를 도시하는 블록도다.
도 18은 도 16의 인트라 예측부의 주된 구성예를 도시하는 블록도이다.
도 19는 복호 처리의 흐름의 예를 설명하는 플로우차트이다.
도 20은 예측 처리의 흐름의 예를 설명하는 플로우차트이다.
도 21은 인트라 예측 처리의 흐름의 예를 설명하는 플로우차트이다.
도 22는 매크로 블록의 다른 예를 도시하는 도면이다.
도 23은 퍼스널 컴퓨터의 주된 구성예를 도시하는 블록도이다.
도 24는 텔레비전 수상기의 주된 구성예를 도시하는 블록도이다.
도 25는 휴대 전화기의 주된 구성예를 도시하는 블록도이다.
도 26은 하드 디스크 레코더의 주된 구성예를 도시하는 블록도이다.
도 27은 카메라의 주된 구성예를 도시하는 블록도이다.

이하, 본 기술을 실시하기 위한 형태(이하 실시 형태라고 함)에 대해서 설명한다. 또한, 설명은 이하의 순서대로 행한다.

1. 제1 실시 형태(화상 부호화 장치)

2. 제2 실시 형태(화상 복호 장치)

3. 제3 실시 형태(퍼스널 컴퓨터)

4. 제4 실시 형태(텔레비전 수상기)

5. 제5 실시 형태(휴대 전화기)

6. 제6 실시 형태(하드 디스크 레코더)

7. 제7 실시 형태(카메라)

<1. 제1 실시 형태>

[화상 부호화 장치]

도 1은, 화상 처리 장치로서의 화상 부호화 장치의 일 실시 형태의 구성을 나타내고 있다.

도 1에 도시되는 화상 부호화 장치(100)는, 예를 들면, H.264 및 MPEG(Moving Picture Experts Group) 4 Part 10(AVC(Advanced Video Coding))(이하 H.264/AVC라고 칭함) 방식에 의해 화상을 부호화하는 부호화 장치이다. 단, 화상 부호화 장치(100)는, 인트라 예측(화면 내 예측)시에 사용되는 인접 화소를 소정의 방법에 의해 샘플링하여(씨닝하여) 기억한다. 그리고, 화상 부호화 장치(100)는, 그 샘플링된 인접 화소를 소정의 방식에 따라서 보간하고 나서 인트라 예측에 사용한다.

도 1의 예에 있어서, 화상 부호화 장치(100)는 A/D(Analog/Digital) 변환부(101), 화면 재배열 버퍼(102), 연산부(103), 직교 변환부(104), 양자화부(105), 가역 부호화부(106) 및 축적 버퍼(107)를 갖는다. 또한, 화상 부호화 장치(100)는 역양자화부(108), 역직교 변환부(109) 및 연산부(110)를 갖는다. 또한, 화상 부호화 장치(100)는 디블록 필터(111) 및 프레임 메모리(112)를 갖는다. 또한, 화상 부호화 장치(100)는 인트라 예측부(114), 움직임 예측 보상부(115) 및 선택부(116)를 갖는다. 또한, 화상 부호화 장치(100)는 레이트 제어부(117)를 갖는다.

또한, 화상 부호화 장치(100)는 특징량 추출부(121), 샘플링 실행 결정부(122) 및 샘플링 방식 결정부(123)를 갖는다.

A/D 변환부(101)는 입력된 화상 데이터를 A/D 변환하고, 화면 재배열 버퍼(102)에 출력하고, 기억시킨다. 화면 재배열 버퍼(102)는 기억한 표시의 순번의 프레임의 화상을, GOP(Group of Picture) 구조에 따라서, 부호화를 위한 프레임의 순서대로 재배열한다. 화면 재배열 버퍼(102)는 프레임의 순번을 재배열한 화상을, 연산부(103), 인트라 예측부(114) 및 움직임 예측 보상부(115)에 공급한다.

연산부(103)는 화면 재배열 버퍼(102)로부터 판독된 화상으로부터, 선택부(116)로부터 공급되는 예측 화상을 감산하고, 그 차분 정보를 직교 변환부(104)에 출력한다. 예를 들면, 인트라 부호화가 행해지는 화상의 경우, 연산부(103)는 화면 재배열 버퍼(102)로부터 판독된 화상에 인트라 예측부(114)로부터 공급되는 예측 화상을 가산한다. 또한, 예를 들면, 인터 부호화가 행해지는 화상의 경우, 연산부(103)는 화면 재배열 버퍼(102)로부터 판독된 화상에 움직임 예측 보상부(115)로부터 공급되는 예측 화상을 가산한다.

직교 변환부(104)는 연산부(103)로부터의 차분 정보에 대하여, 이산 코사인 변환, 카루넨ㆍ루베 변환 등의 직교 변환을 실시하고, 그 변환 계수를 양자화부(105)에 공급한다. 양자화부(105)는, 직교 변환부(104)가 출력하는 변환 계수를 양자화한다. 양자화부(105)는, 양자화된 변환 계수를 가역 부호화부(106)에 공급한다.

가역 부호화부(106)는, 그 양자화된 변환 계수에 대하여, 가변 길이 부호화, 산술 부호화 등의 가역 부호화를 실시한다.

가역 부호화부(106)는, 인트라 예측을 나타내는 정보 등을 인트라 예측부(114)로부터 취득하고, 인터 예측 모드를 나타내는 정보 등을 움직임 예측 보상부(115)로부터 취득한다. 또한, 인트라 예측을 나타내는 정보는, 이하, 인트라 예측 모드 정보라고도 칭한다. 또한, 인터 예측을 나타내는 정보 모드를 나타내는 정보는, 이하, 인터 예측 모드 정보라고도 칭한다.

가역 부호화부(106)는 양자화된 변환 계수를 부호화함과 함께, 필터 계수, 인트라 예측 모드 정보, 인터 예측 모드 정보 및 양자화 파라미터 등을, 부호화 데이터의 헤더 정보의 일부로 한다(다중화함). 가역 부호화부(106)는 부호화하여 얻어진 부호화 데이터를 축적 버퍼(107)에 공급하여 축적시킨다.

예를 들면, 가역 부호화부(106)에 있어서는, 가변 길이 부호화 또는 산술 부호화 등의 가역 부호화 처리가 행해진다. 가변 길이 부호화로서는, H.264/AVC 방식으로 정해져 있는 CAVLC(Context-Adaptive Variable Length Coding) 등을 들 수 있다. 산술 부호화로서는, CABAC(Context-Adaptive Binary Arithmetic Coding) 등을 들 수 있다.

축적 버퍼(107)는 가역 부호화부(106)로부터 공급된 부호화 데이터를, 일시적으로 유지하고, 소정의 타이밍에 있어서, H.264/AVC 방식에 의해 부호화된 부호화 화상으로서, 예를 들면, 후단의 도시하지 않은 기록 장치나 전송로 등에 출력한다.

또한, 양자화부(105)에 있어서 양자화된 변환 계수는 역양자화부(108)에도 공급된다. 역양자화부(108)는, 그 양자화된 변환 계수를, 양자화부(105)에 의한 양자화에 대응하는 방법으로 역양자화하고, 얻어진 변환 계수를, 역직교 변환부(109)에 공급한다.

역직교 변환부(109)는 공급된 변환 계수를, 직교 변환부(104)에 의한 직교 변환 처리에 대응하는 방법으로 역직교 변환한다. 역직교 변환된 출력은 연산부(110)에 공급된다.

연산부(110)는 역직교 변환부(109)로부터 공급된 역직교 변환 결과, 즉, 복원된 차분 정보에, 선택부(116)로부터 공급되는 예측 화상을 가산하고, 국부적으로 복호된 화상(복호 화상)을 얻는다. 예를 들면, 차분 정보가, 인트라 부호화가 행해지는 화상에 대응하는 경우, 연산부(110)는, 그 차분 정보에 인트라 예측부(114)로부터 공급되는 예측 화상을 가산한다. 또한, 예를 들면, 차분 정보가, 인터 부호화가 행해지는 화상에 대응하는 경우, 연산부(110)는, 그 차분 정보에 움직임 예측 보상부(115)로부터 공급되는 예측 화상을 가산한다.

그 가산 결과는, 디블록 필터(111) 또는 인트라 예측부(114)에 공급된다.

디블록 필터(111)는, 적절히 디블록 필터 처리를 행함으로써 복호 화상의 블록 왜곡을 제거함과 함께, 예를 들면 위너 필터(Wiener Filter)를 이용하여 적절히 루프 필터 처리를 행함으로써 화질 개선을 행한다. 디블록 필터(111)는, 각 화소를 클래스 분류하고, 클래스마다 적절한 필터 처리를 실시한다. 디블록 필터(111)는, 그 필터 처리 결과를 프레임 메모리(112)에 공급한다.

프레임 메모리(112)는, 소정의 타이밍에 있어서, 축적되어 있는 참조 화상을 움직임 예측 보상부(115)에 출력한다.

인트라 예측부(114)는, 화면 내의 화소값을 이용하여 예측 화상을 생성하는 인트라 예측(화면 내 예측)을 행한다. 인트라 예측부(114)는, 복수의 모드(인트라 예측 모드)에 의해 인트라 예측을 행한다. 이 인트라 예측 모드에는, 연산부(110)로부터 공급된, 국소적인 복호 화상에 기초하여 예측 화상을 생성하는 모드가 있다.

또한, 이 국소적인 복호 화상은, 디블록 필터 처리되어 있지 않은 화상이다. 이하에 있어서는, 디블록 필터(111)에 의해 디블록 필터 처리되고, 프레임 메모리(112)에 기억되는 화소값과 구별하기 위해, 국소적인 복호 화상의, 이 디블록 필터 처리 전의 화소값을 재구성 화소값이라고 칭한다. 즉, 인트라 예측부(114)에는, 이 재구성 화소값이 공급된다.

이 재구성 화소값은, 인트라 예측부(114)에 있어서, 다른 매크로 블록의 예측 처리시에, 그 일부가 인접 화소값으로서 사용된다. 보다 구체적으로는 인트라 예측부(114)에 공급되는 매크로 블록 단위의 재구성 화소값 중, 가장 하측 화소행과 가장 우측 화소열의 화소값이 인접 화소값으로서 사용된다.

그래서 인트라 예측부(114)는, 연산부(110)로부터 공급되는 매크로 블록 단위의 재구성 화소값 중, 가장 하측 화소행과 가장 우측 화소열의 화소값을 유지한다. 인트라 예측부(114)는, 1행분 이상의 매크로 블록(1 매크로 블록 라인 이상)에 대해서, 이와 같이 재구성 화소값의 일부를 기억한다.

인트라 예측부(114)는, 그 기억하고 있는 재구성 화소값을 인접 화소값으로서 이용하면서 후속의 매크로 블록에 대한 인트라 예측 처리를 행한다.

또한, 이 재구성 화소값에 대하여, 국소적인 복호 화상의, 디블록 필터(111)에 있어서 디블록 필터 처리되고, 프레임 메모리(112)에 기억되는 화소값을 복호 화소값이라고 칭한다. 이 복호 화소값은, 참조 화상으로서 움직임 예측 보상부(115)에 공급된다.

인트라 예측부(114)는, 모든 인트라 예측 모드에 의해 예측 화상을 생성하고, 각 예측 화상을 평가하고, 최적인 모드를 선택한다. 인트라 예측부(114)는, 최적인 인트라 예측 모드를 선택하면, 그 최적의 모드에 의해 생성된 예측 화상을, 선택부(116)를 통하여 연산부(103)나 연산부(110)에 공급한다.

또한, 상술한 바와 같이, 인트라 예측부(114)는, 채용한 인트라 예측 모드를 나타내는 인트라 예측 모드 정보 등을, 적절히 가역 부호화부(106)에 공급한다.

움직임 예측 보상부(115)는 인터 부호화가 행해지는 화상에 대해서, 화면 재배열 버퍼(102)로부터 공급되는 입력 화상과, 프레임 메모리(112)로부터 공급되는 참조 화상(복호 화소값)을 이용하여, 움직임 벡터를 산출한다. 움직임 예측 보상부(115)는 산출한 움직임 벡터에 따라서 움직임 보상 처리를 행하고, 예측 화상(인터 예측 화상 정보)을 생성한다.

움직임 예측 보상부(115)는 후보가 되는 모든 인터 예측 모드의 인터 예측 처리를 행하고, 예측 화상을 생성한다. 움직임 예측 보상부(115)는 생성된 예측 화상을, 선택부(116)를 통하여 연산부(103)나 연산부(110)에 공급한다.

움직임 예측 보상부(115)는 채용된 인터 예측 모드를 나타내는 인터 예측 모드 정보나, 산출한 움직임 벡터를 나타내는 움직임 벡터 정보를 가역 부호화부(106)에 공급한다.

선택부(116)는 인트라 부호화를 행하는 화상의 경우, 인트라 예측부(114)의 출력을 연산부(103)에 공급하고, 인터 부호화를 행하는 화상의 경우, 움직임 예측 보상부(115)의 출력을 연산부(103)에 공급한다.

레이트 제어부(117)는 축적 버퍼(107)에 축적된 압축 화상에 기초하여, 오버플로 혹은 언더플로가 발생하지 않도록, 양자화부(105)의 양자화 동작의 레이트를 제어한다.

특징량 추출부(121)는, A/D 변환부(101)로부터 출력되는 화상 데이터의 특징량을 추출한다. 예를 들면, 특징량 추출부(121)는 화상 데이터의 헤더 정보를 참조하거나, 실 데이터를 해석하거나 하여, 화상의 수평 사이즈 및 매크로 블록의 수직 사이즈 중 적어도 어느 한쪽을 특정한다.

특징량 추출부(121)가 추출하는 화상의 특징의 내용은 임의이다. 예를 들면, 특징량 추출부(121)가, 화상의 내용(예를 들면 텍스쳐의 패턴이나 복잡함)을 해석하고, 그 내용을 나타내는 정보를 생성하도록 해도 좋다. 또한, 예를 들면, 특징량 추출부(121)가, 화상의 픽쳐 타입(I픽쳐, P픽쳐, 혹은 B픽쳐)이나 스캔 방식을 특정하도록 해도 좋다.

물론, 특징량 추출부(121)가, 이들 이외의 파라미터를 특징량으로서 추출하도록 해도 좋고, 복수 종류의 특징량을 추출하도록 해도 좋다.

특징량 추출부(121)는 추출한 특징량(화상의 특징을 나타내는 정보)을, 샘플링 실행 판정부(122)에 공급한다.

샘플링 실행 결정부(122)는 공급된 화상의 특징에 따라서, 인트라 예측부(114)가, 인접 화소값으로서 사용하는 재구성 화소값을 샘플링하고 나서(씨닝하고 나서) 기억하는지 여부를 결정하고, 재구성 화소값의 샘플링을 행할지 여부를 제어하는 제어 정보를 생성한다. 샘플링 실행 결정부(122)는 화상의 특징량(화상의 특징을 나타내는 정보)과 함께, 생성한 제어 정보를 샘플링 방식 결정부(123)에 공급한다.

샘플링 방식 결정부(123)는 제어 정보에 기초하여 샘플링을 행할지 여부를 판정하고, 샘플링이 행해지는 경우, 그 샘플링의 방법(샘플링 방식)을 결정하고, 그 샘플링 방식을 지정하는 제어 정보를 생성한다. 샘플링 방식 결정부(123)는 화상의 특징량(화상의 특징을 나타내는 정보)과 함께, 생성한 각종 제어 정보 등을 인트라 예측부(114)에 공급한다.

인트라 예상부(114)는 샘플링 방식 판정부(123)로부터 공급되는 제어 정보에 따라서, 재구성 화소값의 샘플링을 실행한다.

[매크로 블록]

H.264/AVC에 있어서의 매크로 블록 내 계수 데이터의 블록 분할은 휘도 성분의 경우, 도 2의 A에 도시되는 바와 같이 4×4 화소 단위에서의 블록 분할(4×4 블록)과, 도 2의 B에 도시되는 바와 같이 8×8 화소 단위에서의 블록 분할(8×8 블록)의 2 종류가 정의되어 있다. 도 2에 도시되는 각 사각은 블록(4×4 블록 혹은 8×8 블록)을 나타내고, 그 블록 내의 숫자는 매크로 블록 내의 블록 스캔의 순서를 나타내고 있다. 또한, 색차 성분에 대해서는 4×4 화소 단위에서의 블록 분할만이 정의되어 있다.

[인트라 예측 모드]

H.264/AVC에 있어서의 인트라 예측에서는, 4×4 블록 단위, 8×8 블록 단위 및 매크로 블록 단위에서의 인트라 예측 방식이 정의되어 있다.

도 3은, 4×4 블록 단위에서의 인트라 예측인 인트라 4×4 예측의 예측 모드를 설명하는 도면이다. 이 경우, 처리 대상의 4×4 블록에 대하여, 좌측, 좌측 위, 상측, 우측 위의 13 화소의 인접 재구성 화소값이 인트라 예측을 하기 위해 사용될 가능성이 있다.

도 4는, 8×8 블록 단위에서의 인트라 예측인 인트라 8×8 예측의 예측 모드를 설명하는 도면이다. 이 경우, 처리 대상의 8×8 블록에 대하여, 좌측, 좌측 위, 상측, 우측 위의 25 화소의 인접 재구성 화소가 인트라 예측을 하기 위해 사용될 가능성이 있다.

또한, 인트라 8×8 예측에 있어서는, 인접 재구성 화소로부터 예측 화상을 생성하기 전단계의 처리로서, 각각의 화소에 대하여 평활화 필터 처리가 행해진다. 예측 화상의 생성은 필터 처리 후의 인접 재구성 화소값으로부터 계산된다.

도 5는, 매크로 블록 단위에서의 인트라 예측인 인트라 16×16 예측의 예측 모드 및 예측에 사용되는 인접 재구성 화소를 나타낸 것이다. 이 경우 16×16 블록(매크로 블록)에 대하여 좌측, 좌측 위, 상측의 33 화소의 인접 재구성 화소가 인트라 예측을 하기 위해 사용될 가능성이 있다.

색차 성분에 대해서는 휘도 성분과는 독립된 매크로 블록 단위로 예측 모드가 준비된다. 도 6은 색차 포맷 4:2:0의 경우에 있어서의 색차 성분의 인트라 예측에 사용되는 인접 재구성 화소를 나타낸 것이다.

도 4 내지 도 6의 각 도면에 있어서, 흰색의 사각으로 나타내어지는 화소가, 처리 대상 매크로 블록의 예측을 행하는 화소이다. 이에 반하여, 회색의 사각으로 나타내어지는 화상은, 그 인트라 예측을 행하는 데 필요한 인접 화소(재구성 화소)이다. 즉, 인트라 예측부(114)는, 도 4 내지 도 6에 회색으로 나타내어지는 화소값을 기억할 필요가 있다.

따라서, 예를 들면, 화상의 수평 사이즈나 매크로 블록 사이즈가 커지면, 인트라 예측부(114)가 기억해야 할 재구성 화소값의 데이터량이 증대할 우려가 있다.

[매크로 블록 부호화순]

H.264/AVC에서의 인터레이스 화상의 부호화 처리에 있어서 매크로 블록 어댑티브 프레임ㆍ필드 부호화 처리를 행하는 경우, 매크로 블록의 복호화 순서가 변화되기 때문에, 보존에 필요한 화소수가 증대한다.

예를 들면, 매크로 블록 어댑티브 프레임ㆍ필드 부호화 처리 이외에서의 매크로 블록의 처리순은, 도 7의 A에 도시되는 래스터 스캔순이다. 이에 반하여, 매크로 블록 어댑티브 프레임ㆍ필드 부호화 처리의 검은색 블록의 처리순은, 도 7의 B에 도시되는 순서로 된다.

따라서, 이 경우, 매크로 블록 페어로서 2 라인분의 화소값을 바로 아래의 매크로 블록 페어의 인트라 예측을 위해, 메모리 영역 혹은 라인 버퍼에 보존해 둘 필요가 있다. 마찬가지로 우단 1 픽셀분의 화소값에 대해서도 매크로 블록 페어 단위로 되기 때문에, 배의 32개의 화소값을 보존해 둘 필요가 있다.

이와 같이, 예를 들면, 스캔 방식(매크로 블록 처리순)에 의해서도, 인트라 예측부(114)가 기억해야 할 재구성 화소값의 데이터량이 증대할 우려가 있다.

또한, 예를 들면, 화상의 내용(예를 들면 엣지의 유무나 텍스쳐의 복잡함)이나 픽쳐 타입 등에 의해, 샘플링이 부여되는 복호 화상으로의 영향의 크기가 다를 가능성이 있다.

따라서, 샘플링 실행 결정부(122)는, 화상의 특징에 따라서, 인트라 예측부(114)에, 기억하는 재구성 화소값의 샘플링을 행하게 할지 여부를 결정한다.

예를 들면, 부호화하는 화상의 수평 방향의 사이즈(수평 사이즈)가 소정의 임계값보다 큰 경우, 샘플링 실행 결정부(122)는 인트라 예측부(114)가 기억하는 데이터량의 증대를 억제시키기 위해, 재구성 화소값의 샘플링을 실행시키는 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다. 반대로, 화상의 수평 사이즈가 소정의 임계값 이하인 경우, 샘플링 실행 결정부(122)는 불필요한 화질 열화를 억제하기 위해, 재구성 화소값의 샘플링을 실행시키지 않는 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다.

또한, 예를 들면, 매크로 블록의 수직 방향의 사이즈(수직 방향의 매크로 블록 사이즈)가 소정의 임계값보다 큰 경우(예를 들면 확장 매크로 블록의 경우), 샘플링 실행 결정부(122)는 인트라 예측부(114)가 기억하는 데이터량의 증대를 억제시키기 위해, 재구성 화소값의 샘플링을 실행시키는 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다. 반대로, 수직 방향의 매크로 블록 사이즈가 소정의 임계값 이하인 경우(예를 들면 16×16 화소 이하의 매크로 블록의 경우), 샘플링 실행 결정부(122)는 불필요한 화질 열화를 억제하기 위해, 재구성 화소값의 샘플링을 실행시키지 않는 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다.

또한, 예를 들면, 매크로 블록의 처리순이 래스터 스캔순이 아닌 경우, 샘플링 실행 결정부(122)는 인트라 예측부(114)가 기억하는 데이터량의 증대를 억제시키기 위해, 재구성 화소값의 샘플링을 실행시키는 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다. 반대로, 매크로 블록의 처리순이 래스터 스캔순인 경우, 샘플링 실행 결정부(122)는 불필요한 화질 열화를 억제하기 위해, 재구성 화소값의 샘플링을 실행시키지 않는 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다.

또한, 예를 들면, 화상에 포함되는 엣지 성분이나, 텍스쳐의 복잡함이나, 텍스쳐의 변화의 빈도 등이, 소정의 기준 이하인 경우, 샘플링 실행 결정부(122)는 인트라 예측부(114)가 기억하는 데이터량의 증대를 억제시키기 위해, 재구성 화소값의 샘플링을 실행시키는 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다. 반대로, 소정의 기준보다, 화상에 엣지 성분이 다수 포함되어 있거나, 텍스쳐가 복잡하거나, 텍스쳐의 변화의 빈도가 많거나 하는 경우, 샘플링 실행 결정부(122)는 불필요한 화질 열화를 억제하기 위해, 재구성 화소값의 샘플링을 실행시키지 않는 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다.

또한, 예를 들면, 픽쳐 타입이 P픽쳐나 B픽쳐인 경우, 샘플링이 복호 화상에 부여되는 시각적 영향이 비교적 작으므로, 샘플링 실행 결정부(122)는 인트라 예측부(114)가 기억하는 데이터량을 저감시키기 위해, 재구성 화소값의 샘플링을 실행시키는 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다. 반대로, 픽쳐 타입이 I픽쳐인 경우, 샘플링 실행 결정부(122)는, 샘플링이 복호 화상에 부여되는 시각적 영향이 비교적 크므로, 재구성 화소값의 샘플링을 실행시키지 않는 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다.

물론, 샘플링 실행 결정부(122)가, 이들 이외의 판단 기준에 따라서 샘플링을 실행할지 여부를 결정하도록 해도 좋다.

마찬가지로, 샘플링 방식 결정부(123)는 화상의 특징에 따라서, 인트라 예측부(114)에, 기억하는 재구성 화소값을 어느 정도의 비율로 샘플링시킬지를 결정한다.

예를 들면, 샘플링 방식 결정부(123)는, 부호화하는 화상의 수평 방향의 사이즈(수평 사이즈)가 클수록, 인트라 예측부(114)가 기억하는 데이터량의 증대를 보다 강하게 억제하도록, 샘플링하는 화소수를 저감시키는(씨닝하는 화소수를 증대시키는) 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다.

또한, 예를 들면, 샘플링 방식 결정부(123)는 매크로 블록의 수직 방향의 사이즈(수직 방향의 매크로 블록 사이즈)가 클수록, 인트라 예측부(114)가 기억하는 데이터량의 증대를 보다 강하게 억제하도록, 샘플링하는 화소수를 저감시키는(씨닝하는 화소수를 증대시키는) 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다.

또한, 예를 들면, 샘플링 방식 결정부(123)는 매크로 블록의 처리순이 래스터 스캔순이 아닌 경우, 인트라 예측부(114)가 기억하는 데이터량의 증대를 보다 강하게 억제하도록, 샘플링하는 화소수를 저감시키는(씨닝하는 화소수를 증대시키는) 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다. 반대로, 매크로 블록의 처리순이 래스터 스캔순인 경우, 샘플링 방식 결정부(123)는, 가능한 한 불필요한 화질 열화를 억제하도록, 샘플링하는 화소수를 증대시키는(씨닝하는 화소수를 저감시키는) 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다.

또한, 예를 들면, 샘플링 방식 결정부(123)는 화상에 포함되는 엣지 성분의 수가 많을수록, 텍스쳐가 보다 복잡한 정도, 혹은, 텍스쳐의 변화의 빈도가 많을수록, 인트라 예측부(114)가 기억하는 데이터량의 증대를 보다 강하게 억제하도록, 샘플링하는 화소수를 저감시키는(씨닝하는 화소수를 증대시키는) 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다.

또한, 예를 들면, 샘플링 방식 결정부(123)는, 픽쳐 타입이 P픽쳐나 B픽쳐인 경우, 샘플링이 복호 화상에 부여되는 시각적 영향이 비교적 작으므로, 샘플링하는 화소수를 저감시키는(씨닝하는 화소수를 증대시키는) 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다. 반대로, 픽쳐 타입이 I픽쳐인 경우, 샘플링 방식 결정부(123)는, 샘플링이 복호 화상에 부여되는 시각적 영향이 비교적 크므로, 가능한 한 불필요한 화질 열화를 억제하도록, 샘플링하는 화소수를 증대시키는(씨닝하는 화소수를 저감시키는) 것을 결정하고, 그 취지를 지시하는 제어 정보를 생성한다.

물론, 샘플링 방식 결정부(123)가, 이들 이외의 판단 기준에 따라서 샘플링하는 정도를 결정하도록 해도 좋다.

또한, 샘플링 방식 결정부(123)는, 샘플링의 방식(씨닝하는 정도)뿐만 아니라, 샘플링된 재구성 화소값(인접 화소값)의 보간 방식(방법)도 결정하고, 그 보간 방식을 지정하는 제어 정보를 생성하고, 그 제어 정보를 인트라 예측부(114)에 공급한다.

인트라 예측부(114)는 샘플링된 재구성 화소값을 사용할 때, 씨닝된 화소값을 보간하고 나서 사용한다. 이 보간 방법은 임의이다. 샘플링 방식 결정부(123)는, 예를 들면 화상의 내용이나 장치의 처리 능력 등에 따라서, 보간 방법을 결정한다.

[인트라 예측부의 구성]

도 8은, 도 1의 인트라 예측부(114)의 주된 구성예를 도시하는 블록도이다. 도 8에 도시되는 바와 같이, 인트라 예측부(114)는 샘플링부(151), 재구성 화소 기억부(152), 인접 화소 재구성부(153) 및 예측 화면 생성부(154)를 갖는다. 인트라 예측부(114)는, 또한, 코스트 함수 산출부(155) 및 모드 판정부(156)를 갖는다.

샘플링부(151)는, 샘플링 방식 결정부(123)로부터 공급되는 샘플링을 실행할지 여부를 나타내는 제어 정보와 샘플링 방식을 나타내는 제어 정보를 취득하고, 그들의 제어 정보에 따라서, 연산부(110)로부터 공급되는 재구성 화소값 중, 인접 화소로서 후속의 매크로 블록의 처리에 이용하는 화소값에 대하여 샘플링(씨닝)을 행한다. 샘플링부(151)는 제어 정보에 기초하여 샘플링된 재구성 화소값[샘플링부(151)가 씨닝하여 남은 재구성 화소값], 혹은 제어 정보에 기초하여 샘플링되지 않은 재구성 화소값을 재구성 화소 기억부(152)에 공급한다.

재구성 화소 기억부(152)는, 샘플링부(151)로부터 공급되는 재구성 화소값을 기억한다. 인접 화소 재구성부(153)는 처리 대상 매크로 블록의 인접 화소의 화소값을, 재구성 화소 기억부(152)로부터 판독한다. 이 판독된 화소값이 샘플링부(151)에 의해 샘플링된 것인 경우, 인접 화소 재구성부(153)는, 샘플링 방식 결정부(123)로부터 공급되는 제어 정보에 의해 지정되는 보간 방식으로, 그 판독된 화소값에 대하여 보간 처리를 행하고, 씨닝된 화소값을 복원한다. 인접 화소 재구성부(153)는, 이와 같이 필요에 따라서 보간한 인접 화소값을 예측 화면 생성부(154)에 공급한다.

예측 화면 생성부(154)는 공급된 인접 화소값을 이용하여, 처리 대상 매크로 블록의 예측 화상을 생성하고, 그 예측 화상을 코스트 함수 산출부(155)에 공급한다. 예측 화면 생성부(154)는 모든 인트라 예측 모드에 의해 예측 화상을 생성한다. 인접 화소 재구성부(153)는, 필요에 따라서 재구성 화소 기억부(152)로부터 재구성 화소를 판독하고, 인접 화소값으로서 예측 화면 생성부(154)에 공급한다.

코스트 함수 산출부(155)는 예측 화면 생성부(154)에 의해 생성된 예측 화상에 대하여, 4×4 화소, 8×8 화소 및 16×16 화소의 각 인트라 예측 모드에 대한 코스트 함수값을 산출한다.

여기서, 코스트 함수값으로서는, High Complexity 모드인지, Low Complexity 모드 중 어느 하나의 방법에 기초하여 행한다. 이들의 모드는, H.264/AVC 방식에 있어서의 참조 소프트웨어인 JM(Joint Model)으로 정해져 있다.

코스트 함수 산출부(155)는, 이상과 같이 산출한 코스트 함수값을 모드 판정부(156)에 공급한다. 모드 판정부(156)는 공급된 코스트 함수값에 기초하여, 최적 인트라 예측 모드를 선택한다. 즉, 각 인트라 예측 모드 중에서, 코스트 함수값이 최소값인 모드를, 최적 인트라 예측 모드로서 선택한다.

모드 판정부(156)는 최적 인트라 예측 모드로서 선택한 예측 모드의 예측 화상을, 필요에 따라서, 선택부(116)를 통하여 연산부(103)나 연산부(110)에 공급한다. 또한, 모드 판정부(156)는, 필요에 따라서, 그 예측 모드의 정보를 가역 부호화부(106)에 공급한다.

[샘플링예 및 보간예]

다음으로, 샘플링 방법 및 보간 방법의 예에 대해서 설명한다.

인트라 예측부(114)에 공급되는 매크로 블록마다의 재구성 화소 중, 후속의 매크로 블록에 대한 예측 화상 생성에 인접 화소로서 사용되는 화소는, 매크로 블록의 가장 하측 화소행과, 가장 우측 화소열이다.

샘플링 방법의 제1예는, 이들의 매크로 블록의 가장 하측 화소행과 가장 우측 화소열을, 2 화소에 1 화소의 비율로 씨닝하는(1 화소 건너서 샘플링하는) 방법이다.

이 제1예의 방법으로 샘플링된 재구성 화소를 인접 화소로서 사용하는 경우의 예를 도 9에 도시한다. 도 9에 도시되는 흰색의 사각은 매크로 블록을 분할하는 블록을 나타낸다. 즉 각 사각이 블록을 나타내고, 사각군의 외부 프레임이 처리 대상의 매크로 블록을 나타낸다. 각 사각의 내부의 숫자는 그 매크로 블록 내에 있어서의 처리순(블록 번호)을 나타낸다. 회색의 사각은 최초로 처리되는 블록 번호 0의 블록의 예측에 사용되는 인접 화소의 예를 나타내고 있다. 이 인접 화소는, 상술한 제1예의 방법에 의해 샘플링되어 있다.

도 9의 A는, 처리 대상 매크로 블록(휘도 성분)을 인트라 4×4 예측 모드에 의해 인트라 예측하는 경우의 예를 나타내고 있다. 도 9의 B는, 처리 대상 매크로 블록(휘도 성분)을 인트라 8×8 예측 모드에 의해 인트라 예측하는 경우의 예를 나타내고 있다. 도 9의 C는, 처리 대상 매크로 블록(휘도 성분)을 인트라 16×16 예측 모드에 의해 인트라 예측하는 경우의 예를 나타내고 있다. 도 9의 D는, 처리 대상 매크로 블록(색차 성분의 Cb)을 인트라 예측하는 경우의 예를 나타내고 있다.

도 9에 도시되는 바와 같이, 인트라 예측 처리 대상 매크로 블록의 수평 방향을 x축으로 하고, 수직 방향을 y축으로 하고, 매크로 블록의 좌상단을 원점으로 한다. 최초의 블록의 인트라 예측에 있어서 인접 화소로서 사용되는, 씨닝되지 않고 보존된 재구성 화소의 위치 p(x, y)는, 이하의 수학식 1 내지 수학식 4와 같이 나타낼 수 있다. 또한, 수학식 1은 도 9의 A에 대응하고, 수학식 2는 도 9의 B에 대응하고, 수학식 3은 도 9의 C에 대응하고, 식 4는 도 9의 D에 대응한다.

즉, 최초의 블록의 인트라 예측시에, 인접 화소 재구성부(153)는, 상술한 수학식 1 내지 수학식 4 중, 인트라 예측 모드에 따른 어느 하나의 식으로 나타내어지는 위치의 재구성 화소를 인접 화소로서 재구성 화소 기억부(152)로부터 판독한다.

인접 화소 재구성부(153)는 판독한 인접 화소에 대하여, 예를 들면, 이하의 수학식 5 내지 수학식 8에 나타내어지는 방법에 의해 보간 처리를 행한다.

x=2n n=0, 1, 2, …의 경우,

그 이외의 경우,

y=2n n=0, 1, 2, …의 경우,

그 이외의 경우,

또한, 보간 처리 방법의 다른 예로서는, 예를 들면, 이하의 수학식 9 내지 수학식 12에 나타내어지는 방법도 생각된다. 이와 같이 함으로써, 연산량이 저감되고, 보간 처리의 부하가 저감된다.

x=2n n=0, 1, 2, …의 경우,

그 이외의 경우,

y=2n n=0, 1, 2, …의 경우,

그 이외의 경우,

물론, 샘플링 방식 결정부(123)가 결정한 방법이면, 이들 이외의 보간 방법이어도 좋다.

또한, 매크로 블록 내에 있어서는, 각 블록의 인트라 예측 결과 중, 가장 하측 화소행과, 가장 우측 화소열이, 후속의 블록의 예측 처리에 인접 화소로서 사용된다. 예를 들면, 블록 번호 0의 블록의 예측 결과 중, 가장 하측 화소행은, 블록 번호 2의 블록의 인트라 예측 처리에 있어서 인접 화소로서 사용된다. 또한, 블록 번호 0의 블록의 예측 결과 중, 가장 우측 화소열은, 예를 들면, 블록 번호 1의 블록의 인트라 예측 처리에 있어서 인접 화소로서 사용된다.

그러나, 이들의 화소값은 소량이고, 또한, 유지되는 시간은 단시간(그 매크로 블록의 처리 동안만)이므로, 샘플링부(151)는, 이들의 화소는 샘플링하지 않는다(씨닝 않음).

샘플링 방법의 제2예는, 이들의 매크로 블록의 가장 하측 화소행만을, 2 화소에 1 화소의 비율로 씨닝하는(1 화소 건너서 샘플링하는) 방법이다.

이 제2예의 방법으로 샘플링된 재구성 화소를 인접 화소로서 사용하고, 처리 대상 매크로 블록(휘도 성분)을 인트라 4×4 예측 모드에 의해 인트라 예측하는 경우의 예를 도 10에 도시한다.

이 경우, 최초의 블록의 인트라 예측에 있어서 인접 화소로서 사용되는, 씨닝되지 않고 보존된 재구성 화소의 위치 p(x, y)는, 이하의 수학식 13과 같이 나타낼 수 있다.

블록 번호 0의 블록의 인트라 예측에 있어서는, 도 10의 A에 도시되는 바와 같은 위치의 인접 화소가 사용된다. 도 10의 A에 도시되는 바와 같이, 이 경우, 처리 대상 블록(블록 번호 0의 블록)의 좌측에 인접하는, 수직 방향으로 배열하는 인접 화소는, 인접하는 매크로 블록의 재구성 화소이고, 도 9의 예의 경우에서는 씨닝되어 있었지만, 이 예에서는 씨닝되어 있지 않다. 따라서, 인접 화소 재구성부(153)는, 상측의 인접 화소만 보간해주면 된다.

블록 번호 0의 블록의 예측이 종료되면, 다음으로, 도 10의 B에 도시되는 바와 같이, 블록 번호 1의 인트라 예측 처리가 행해진다.

블록 번호 1의 블록의 인트라 예측에 있어서는, 도 10의 B에 도시되는 바와 같은 위치의 인접 화소가 사용된다. 도 10의 B에 도시되는 바와 같이, 블록 번호 0의 블록의 예측 결과는 씨닝되지 않는다. 따라서, 인접 화소 재구성부(153)는, 상측의 인접 화소만 보간해주면 된다.

블록 번호 1의 블록의 예측이 종료되면, 다음으로, 도 10의 C에 도시되는 바와 같이, 블록 번호 2의 인트라 예측 처리가 행해진다.

블록 번호 2의 블록의 인트라 예측에 있어서는, 도 10의 C에 도시되는 바와 같은 위치의 인접 화소가 사용된다. 즉, 블록 번호 0의 블록의 예측 결과의 가장 하측 행과, 블록 번호 1의 블록의 예측 결과의 가장 하측 화소행이 인접 화소로서 사용되므로, 이들의 인접 화소는 씨닝되지 않는다. 또한, 도 10의 A의 경우와 마찬가지로, 처리 대상 블록(블록 번호 2의 블록)의 좌측에 인접하는, 수직 방향으로 배열하는 인접 화소는 씨닝되지 않는다. 따라서, 인접 화소 재구성부(153)는, 인접 화소의 보간은 행하지 않는다.

도 10의 D는, 블록 번호 4의 인트라 예측의 경우, 도 10의 E는 블록 번호 5의 인트라 예측의 경우의 예를 각각 나타내고 있다. 이들의 경우, 인접 화소의 위치가, 도 10의 A나 도 10의 B의 경우와 마찬가지이므로, 인접 화소 재구성부(153)는, 상측의 인접 화소만 보간해주면 된다.

도 11은, 인트라 8×8 예측 모드에 의해 인트라 예측하는 경우의 예를 도시하는 도면이다.

도 11의 A에 도시되는 바와 같이, 블록 번호 0의 블록에서 예측이 행해지면, 도 11의 B에 도시되는 바와 같이, 블록 번호 1의 블록에서 예측이 행해지고, 다음으로, 도 11의 C에 도시되는 바와 같이, 블록 번호 2의 블록에서 예측이 행해지고, 마지막으로, 도 11의 D에 도시되는 바와 같이, 블록 번호 3의 블록에서 예측이 행해진다.

이 경우, 도 11의 A 및 도 11의 B에 도시되는 바와 같이, 블록 번호 0과 블록 번호 1의 예측 처리에 있어서는, 인접 화소 재구성부(153)는, 상측의 인접 화소만 보간한다. 이에 반하여, 도 11의 C 및 도 11의 D에 도시되는 바와 같이, 블록 번호 2와 블록 번호 3의 예측 처리에 있어서는, 인접 화소 재구성부(153)는, 인접 화소의 보간을 행하지 않는다.

이 방식에 의해, 화상 부호화 장치(100)는, 매크로 블록의 최하 1 라인을 보존하는 메모리 영역 또는 라인 버퍼의 용량을 삭감하면서, 그 이외의 화소는 종래의 방식과 동일 수의 인접 재구성 화소를 보존함으로써 화질의 열화를 억제할 수 있다.

샘플링 방법의 제3예는, 매크로 블록의 가장 하측 화소행만을, 4 화소에 3 화소의 비율로 씨닝하는(3 화소 건너서 샘플링하는) 방법이다.

이 제3예의 방법으로 샘플링된 재구성 화소를 인접 화소로서 사용하는 경우의 예를 도 12에 도시한다.

도 12의 A는, 처리 대상 매크로 블록(휘도 성분)을 인트라 4×4 예측 모드에서 인트라 예측하는 경우의 예를 나타내고 있다. 도 12의 B는, 처리 대상 매크로 블록(휘도 성분)을 인트라 8×8 예측 모드에서 인트라 예측하는 경우의 예를 나타내고 있다. 도 12의 C는, 처리 대상 매크로 블록(휘도 성분)을 인트라 16×16 예측 모드에서 인트라 예측하는 경우의 예를 나타내고 있다.

도 12에 도시되는 바와 같이, 최초의 블록의 인트라 예측에 있어서 인접 화소로서 사용되는, 씨닝되지 않고 보존된 재구성 화소의 위치 p(x, y)는, 이하의 수학식 14 내지 수학식 17과 같이 나타낼 수 있다. 또한, 수학식 14는 도 12의 A에 대응하고, 수학식 15는 도 12의 B에 대응하고, 수학식 16은 도 12의 C에 대응한다.

이 경우, 인접 화소 재구성부(153)는, 예를 들면, 이하의 수학식 18 내지 수학식 25에 나타내어지는 바와 같이 씨닝된 인접 화소를 보간한다.

x=4n n=0, 1, 2, …의 경우,

x=4n+1 n=0, 1, 2, …의 경우,

x=4n+2 n=0, 1, 2, …의 경우,

그 이외의 경우,

y=4n n=0, 1, 2, …의 경우,

y=4n+1 n=0, 1, 2, …의 경우,

y=4n+2 n=0, 1, 2, …의 경우,

그 이외의 경우,

이 방식은 씨닝되는 화소의 양이 많아지기 때문에, 전술한 방식에 비해 부호화 효율은 열화될 가능성이 있지만, 인접 화소를 보존하는 필요한 메모리 영역 또는 라인 버퍼의 용량은 크게 삭감할 수 있다.

이상과 같이, 인접 화소 재구성부(153)는, 재구성 화소 기억부(152)에 기억되어 있는 재구성 화소가 씨닝되어 있는 경우만, 적절한 방법으로 인접 화소를 보간한다. 이에 의해, 예측 화면 생성부(154)는, 어떠한 방법으로 재구성 화소가 샘플링되어 있어도, 적절하게 예측 화상을 생성할 수 있다.

[부호화 처리]

다음으로, 이상과 같은 화상 부호화 장치(100)에 의해 실행되는 각 처리의 흐름에 대해서 설명한다. 최초로, 도 13의 플로우차트를 참조하여, 부호화 처리의 흐름의 예를 설명한다.

스텝 S101에 있어서, A/D 변환부(101)는 입력된 화상을 A/D 변환한다. 스텝 S102에 있어서, 특징량 추출부(121)는 A/D 변환된 화상에 대한 특징량을 추출한다. 스텝 S103에 있어서, 샘플링 실행 결정부(122)는 화상의 특징량으로서 추출된, 화상의 수평 사이즈 및 수직 방향의 매크로 블록 사이즈 중 적어도 어느 한쪽에 기초하여, 재구성 화소값의 샘플링을 행할지 여부를 결정한다.

스텝 S104에 있어서, 샘플링 방식 결정부(123)는, 스텝 S103에 있어서 샘플링을 행한다고 판정된 경우, 화상의 특징량으로서 추출된, 화상의 수평 사이즈 및 수직 방향의 매크로 블록 사이즈 중 적어도 어느 한쪽에 기초하여, 그 샘플링 방식을 결정한다.

스텝 S105에 있어서, 화면 재배열 버퍼(102)는 A/D 변환부(101)로부터 공급된 화상을 기억하고, 각 픽쳐가 표시하는 순번으로부터 부호화하는 순번으로의 재배열을 행한다.

스텝 S106에 있어서, 인트라 예측부(114) 및 움직임 예측 보상부(115)는, 각각 화상의 예측 처리를 행한다. 즉, 스텝 S106에 있어서, 인트라 예측부(114)는 인트라 예측 모드의 인트라 예측 처리를 행한다. 움직임 예측 보상부(115)는 인터 예측 모드의 움직임 예측 보상 처리를 행한다.

스텝 S107에 있어서, 선택부(116)는 인트라 예측부(114) 및 움직임 예측 보상부(115)로부터 출력된 각 코스트 함수값에 기초하여, 최적 예측 모드를 결정한다. 즉, 선택부(116)는 인트라 예측부(114)에 의해 생성된 예측 화상과, 움직임 예측 보상부(115)에 의해 생성된 예측 화상의 어느 한쪽을 선택한다.

또한, 이 예측 화상의 선택 정보는 인트라 예측부(114) 또는 움직임 예측 보상부(115)에 공급된다. 최적 인트라 예측 모드의 예측 화상이 선택된 경우, 인트라 예측부(114)는 최적 인트라 예측 모드를 나타내는 정보(즉, 인트라 예측 모드 정보)를, 가역 부호화부(106)에 공급한다.

또한, 인트라 예측에 있어서 재구성 화소의 샘플링을 행하는 경우, 인트라 예측부(114)는 샘플링을 실행하는 취지의 통지와, 샘플링 방식이나 보간 방식의 지정을 포함하는 정보를 가역 부호화부(106)에 공급한다.

최적 인터 예측 모드의 예측 화상이 선택된 경우, 움직임 예측 보상부(115)는 최적 인터 예측 모드를 나타내는 정보와, 필요에 따라서, 최적 인터 예측 모드에 따른 정보를 가역 부호화부(106)에 출력한다. 최적 인터 예측 모드에 따른 정보로서는, 움직임 벡터 정보나 플래그 정보, 참조 프레임 정보 등을 들 수 있다.

스텝 S108에 있어서, 연산부(103)는, 스텝 S105에서 재배열된 화상과, 스텝 S106의 예측 처리에 의해 얻어진 예측 화상의 차분을 연산한다. 예측 화상은, 인터 예측하는 경우는 움직임 예측 보상부(115)로부터, 인트라 예측하는 경우는 인트라 예측부(114)로부터, 각각 선택부(116)를 통하여 연산부(103)에 공급된다.

차분 데이터는 원래의 화상 데이터에 비해 데이터량이 저감된다. 따라서, 화상을 그대로 부호화하는 경우에 비해, 데이터량을 압축할 수 있다.

스텝 S109에 있어서, 직교 변환부(104)는 연산부(103)로부터 공급된 차분 정보를 직교 변환한다. 구체적으로는, 이산 코사인 변환, 카루넨ㆍ루베 변환 등의 직교 변환이 행해져, 변환 계수가 출력된다. 스텝 S110에 있어서, 양자화부(105)는 변환 계수를 양자화한다.

스텝 S111에 있어서, 가역 부호화부(106)는 양자화부(105)로부터 출력된 양자화된 변환 계수를 부호화한다. 즉, 차분 화상(인터의 경우, 2차 차분 화상)에 대하여, 가변 길이 부호화나 산술 부호화 등의 가역 부호화가 행해진다.

또한, 가역 부호화부(106)는, 스텝 S104의 처리에 의해 선택된 예측 화상의 예측 모드에 관한 정보를 부호화하고, 차분 화상을 부호화하여 얻어지는 부호화 데이터의 헤더 정보에 부가한다.

즉, 가역 부호화부(106)는 인트라 예측부(114)로부터 공급되는 인트라 예측 모드 정보, 또는, 움직임 예측 보상부(115)로부터 공급되는 최적 인터 예측 모드에 따른 정보 등도 부호화하고, 헤더 정보에 부가한다. 또한, 가역 부호화부(106)는 인트라 예측부(114)로부터 샘플링을 실행하는 취지의 통지나, 샘플링 방식이나 보간 방식의 지정 등이 공급되는 경우, 그들의 정보도, 부호화 데이터의 헤더 정보 등에 부가한다.

스텝 S112에 있어서 축적 버퍼(107)는, 가역 부호화부(106)로부터 출력되는 부호화 데이터를 축적한다. 축적 버퍼(107)에 축적된 부호화 데이터는, 적절히 판독되고, 전송로를 통하여 복호측에 전송된다.

스텝 S113에 있어서 레이트 제어부(117)는, 축적 버퍼(107)에 축적된 압축 화상에 기초하여, 오버플로 혹은 언더플로가 발생하지 않도록, 양자화부(105)의 양자화 동작의 레이트를 제어한다.

또한, 스텝 S110의 처리에 의해 양자화된 차분 정보는, 다음과 같이 하여 국부적으로 복호된다. 즉, 스텝 S114에 있어서, 역양자화부(108)는 양자화부(105)에 의해 양자화된 변환 계수를 양자화부(105)의 특성에 대응하는 특성에 의해 역양자화한다. 스텝 S115에 있어서, 역직교 변환부(109)는, 역양자화부(108)에 의해 역양자화된 변환 계수를 직교 변환부(104)의 특성에 대응하는 특성에 의해 역직교 변환한다.

스텝 S116에 있어서, 연산부(110)는, 선택부(116)를 통하여 입력되는 예측 화상을 국부적으로 복호된 차분 정보에 가산하고, 국부적으로 복호된 화상[연산부(103)로의 입력에 대응하는 화상]인 재구성 화소를 생성한다.

스텝 S117에 있어서, 인트라 예측부(114)는, 스텝 S116에 있어서 생성된 재구성 화소를 기억한다.

스텝 S118에 있어서 디블록 필터(111)는, 연산부(110)로부터 출력된 화상을 필터링한다. 이에 의해 블록 왜곡이 제거된다. 스텝 S119에 있어서 프레임 메모리(112)는, 필터링된 화상을 기억한다.

[예측 처리]

다음으로, 도 14의 플로우차트를 참조하여, 도 13의 스텝 S106에 있어서 실행되는 예측 처리의 흐름의 예를 설명한다.

스텝 S131에 있어서, 인트라 예측부(114)는 처리 대상의 블록의 화소를, 후보가 되는 모든 인트라 예측 모드에 의해 인트라 예측한다.

화면 재배열 버퍼(102)로부터 공급되는 처리 대상의 화상이 인터 처리되는 화상인 경우, 참조되는 화상이 프레임 메모리(112)로부터 판독되고, 움직임 예측 보상부(115)에 공급된다. 이들의 화상에 기초하여, 스텝 S132에 있어서, 움직임 예측 보상부(115)는 인터 움직임 예측 처리를 행한다. 즉, 움직임 예측 보상부(115)는, 프레임 메모리(112)로부터 공급되는 화상을 참조하여, 후보가 되는 모든 인터 예측 모드의 움직임 예측 처리를 행한다.

스텝 S133에 있어서, 움직임 예측 보상부(115)는, 스텝 S132에 있어서 산출된 인터 예측 모드에 대한 코스트 함수값 중에서, 최소값을 부여하는 예측 모드를, 최적 인터 예측 모드로서 결정한다. 그리고, 움직임 예측 보상부(115)는, 인터 처리하는 화상과 최적 인터 예측 모드에 의해 생성된 2차 차분 정보의 차분 및 최적 인터 예측 모드의 코스트 함수값을, 선택부(116)에 공급한다.

[인트라 예측 처리]

도 15는, 도 14의 스텝 S131에 있어서 실행되는 인트라 예측 처리의 흐름의 예를 설명하는 플로우차트이다.

인트라 예측 처리가 개시되면, 스텝 S151에 있어서, 인접 화소 재구성부(153)는, 샘플링 방식 결정부(123)의 지정에 따라서 보간 방법을 결정한다. 스텝 S152에 있어서, 예측 화면 생성부(154)는, 미처리의 예측 모드 중에서 실행하는 예측 모드를 선택한다. 스텝 S153에 있어서, 인접 화소 재구성부(153)는, 스텝 S152에 있어서 선택된 예측 모드에 따라서 인접 화소를 재구성 화소 기억부(152)로부터 판독한다.

스텝 S154에 있어서, 인접 화소 재구성부(153)는, 판독한 인접 화소에 대하여 필요에 따라서 보간 처리를 행하고, 예측에 이용하는 인접 화소를 재구성한다. 스텝 S155에 있어서, 예측 화면 생성부(154)는, 스텝 S154에 있어서 재구성된 인접 화소를 이용하여 예측 화상을 생성한다.

스텝 S156에 있어서, 예측 화면 생성부(154)는, 모든 예측 모드에 의해 예측 화상을 생성하였는지 여부를 판정하고, 예측 화상을 생성하지 않은 예측 모드가 존재한다고 판정된 경우, 처리를 스텝 S152로 되돌아가, 그 이후의 처리를 반복한다.

즉, 스텝 S152 내지 스텝 S156의 처리가 반복됨으로써, 예측 화면 생성부(154)는, 모든 예측 모드에 의해 예측 화상을 생성한다. 스텝 S156에 있어서 모든 예측 모드에 의해 예측 화상이 생성되었다고 판정된 경우, 예측 화면 생성부(154)는, 처리를 스텝 S157로 진행시킨다.

스텝 S157에 있어서, 코스트 함수 산출부(155)는, 각 예측 모드에 대해서, 코스트 함수값을 산출한다.

스텝 S158에 있어서, 모드 판정부(156)는, 스텝 S157의 처리에 의해 산출된 각 모드의 코스트 함수값에 기초하여, 각 인트라 예측 모드에 대하여 최적 모드를 결정한다.

스텝 S159에 있어서, 모드 판정부(156)는, 스텝 S157의 처리에 의해 산출된 각 모드의 코스트 함수값에 기초하여, 최적 인트라 예측 모드를 선택한다.

모드 판정부(156)는 최적 인트라 예측 모드로서 선택한 모드에 의해 생성된 예측 화상을 연산부(103) 및 연산부(110)에 공급한다. 또한, 모드 판정부(156)는, 선택한 예측 모드를 나타내는 정보나, 샘플링을 실행하는 취지의 통지나, 샘플링 방식이나 보간 방식의 지정 등을 가역 부호화부(106)에 공급한다.

스텝 S159의 처리가 끝나면, 인트라 예측부(114)는, 처리를 도 14로 되돌아가, 스텝 S132 이후의 처리를 실행시킨다.

[재구성 화소 기억 처리]

다음으로, 도 16의 플로우차트를 참조하여, 도 13의 스텝 S117에 있어서 실행되는 재구성 화소 기억 처리의 흐름의 예를 설명한다.

재구성 화소 기억 처리가 개시되면, 샘플링부(151)는, 스텝 S171에 있어서, 샘플링 방식 결정부(123)로부터 공급되는 통지에 기초하여, 재구성 화소 기억부(152)에 기억시키는 재구성 화소에 대하여 샘플링을 행할지 여부를 판정한다. 샘플링을 행한다고 판정된 경우, 샘플링부(151)는, 처리를 스텝 S172로 진행시킨다.

스텝 S172에 있어서, 샘플링부(151)는, 샘플링 방식 결정부(123)로부터 공급되는 통지에 기초하여, 재구성 화소에 대한 샘플링 방식을 결정한다. 스텝 S173에 있어서, 샘플링부(151)는, 공급되는 매크로 블록마다의 재구성 화소에 대하여, 그 매크로 블록의 우단 및 하단의 화소를 샘플링한다.

스텝 S174에 있어서, 재구성 화소 기억부(152)는, 스텝 S173에 있어서 샘플링된 재구성 화소(씨닝되고 남은 재구성 화소)를 기억한다. 스텝 S174의 처리를 종료하면, 인트라 예측부(114)는 재구성 화소 기억 처리를 종료하고, 처리를 도 13의 스텝 S117로 되돌아가, 스텝 S118로 처리를 진행시킨다.

또한, 도 16의 스텝 S171에 있어서, 샘플링을 행하지 않는다고 판정된 경우, 샘플링부(151)는, 처리를 스텝 S175로 진행시킨다. 스텝 S175에 있어서, 재구성 화소 기억부(152)는, 공급되는 매크로 블록마다의 재구성 화소 중, 그 매크로 블록의 우단 및 하단의 화소를 모두 기억한다. 스텝 S175의 처리를 종료하면, 인트라 예측부(114)는 재구성 화소 기억 처리를 종료하고, 처리를 도 13의 스텝 S117로 되돌아가, 스텝 S118로 처리를 진행시킨다.

이상과 같이, 화상 부호화 장치(100)는, 인트라 예측에 이용되는 재구성 화소를 샘플링함으로써, 보다 적은 메모리량으로 화면 내 예측을 실현시킬 수 있다. 이에 의해, 화상 부호화 장치(100)는 장치의 소형화를 실현할 수 있음과 함께, 코스트나 소비 전력의 저감도 실현할 수 있다.

또한, 이상으로 설명한 각 블록의 사이즈는 일례이고, 상술한 이외의 사이즈이어도 좋다. 또한, 이상에서는 샘플링을 실행하는 취지의 통지나, 샘플링 방식이나 보간 방식의 지정 등을 전송하는 방법으로서, 부호화 데이터의 헤더 정보에 이들 정보를 다중화하는 것으로 설명하였지만, 이들 정보의 저장 장소는 임의이다. 예를 들면, 이들 정보가 SEI(Suplemental Enhancement Information) 등의 파라미터 세트(예를 들면 시퀀스나 픽쳐의 헤더 등)에 저장되도록 해도 좋다. 또한 이들 정보가, 부호화 데이터와는 별도로(다른 파일로서), 화상 부호화 장치로부터 화상 복호 장치에 전송되도록 해도 좋다.

또한, 샘플링을 행할지 여부의 제어나 그 방법 등의 제어는, 임의의 처리 단위마다 행해지도록 해도 좋다. 예를 들면, 픽쳐 단위마다 행해지도록 해도 좋고, 시퀀스 단위마다 행해지도록 해도 좋다. 물론 이들 이외의 처리 단위마다 행해지도록 해도 좋다.

<2. 제2 실시 형태>

[화상 복호 장치]

제1 실시 형태에 있어서 설명한 화상 부호화 장치(100)에 의해 부호화된 부호화 데이터는 소정의 전송로를 통하여, 화상 부호화 장치(100)에 대응하는 화상 복호 장치에 전송되어, 복호된다.

이하에, 그 화상 복호 장치에 대해서 설명한다. 도 17은, 화상 복호 장치의 주된 구성예를 도시하는 블록도이다.

도 17에 도시되는 바와 같이, 화상 복호 장치(200)는 축적 버퍼(201), 가역 복호부(202), 역양자화부(203), 역직교 변환부(204), 연산부(205), 디블록 필터(206), 화면 재배열 버퍼(207) 및 D/A 변환부(208)를 갖는다. 또한, 화상 복호 장치(200)는 프레임 메모리(209), 인트라 예측부(211), 움직임 예측 보상부(212) 및 선택부(213)를 더 갖는다.

축적 버퍼(201)는 전송되어 온 부호화 데이터를 축적한다. 이 부호화 데이터는 화상 부호화 장치(100)에 의해 부호화된 것이다. 가역 복호부(202)는 축적 버퍼(201)로부터 소정의 타이밍에서 판독된 부호화 데이터를, 도 1의 가역 부호화부(106)의 부호화 방식에 대응하는 방식에 의해 복호한다.

역양자화부(203)는 가역 복호부(202)에 의해 복호되어 얻어진 계수 데이터를, 도 1의 양자화부(105)의 양자화 방식에 대응하는 방식에 의해 역양자화한다. 역양자화부(203)는 역양자화된 계수 데이터를, 역직교 변환부(204)에 공급한다. 역직교 변환부(204)는, 도 1의 직교 변환부(104)의 직교 변환 방식에 대응하는 방식에 의해, 그 계수 데이터를 역직교 변환하고, 화상 부호화 장치(100)에 있어서 직교 변환되기 전의 잔차 데이터에 대응하는 복호 잔차 데이터를 얻는다.

역직교 변환되어 얻어진 복호 잔차 데이터는 연산부(205)에 공급된다. 또한, 연산부(205)에는 선택부(213)를 통하여, 인트라 예측부(211) 혹은 움직임 예측 보상부(212)로부터 예측 화상이 공급된다.

연산부(205)는, 그 복호 잔차 데이터와 예측 화상을 가산하고, 화상 부호화 장치(100)의 연산부(103)에 의해 예측 화상이 감산되기 전의 화상 데이터에 대응하는 복호 화상 데이터를 얻는다. 연산부(205)는, 그 복호 화상 데이터를 인트라 예측부(211) 및 디블록 필터(206)에 공급한다.

디블록 필터(206)는 복호된 화상의 블록 왜곡을 제거한 후, 프레임 메모리(209)에 공급하고, 축적시킴과 함께, 화면 재배열 버퍼(207)에도 공급한다.

화면 재배열 버퍼(207)는 화상의 재배열을 행한다. 즉, 도 1의 화면 재배열 버퍼(102)에 의해 부호화의 순번을 위해 재배열된 프레임의 순번이, 원래의 표시의 순서대로 재배열된다. D/A 변환부(208)는 화면 재배열 버퍼(207)로부터 공급된 화상을 D/A 변환하고, 도시하지 않은 디스플레이에 출력하고, 표시시킨다.

인트라 예측부(211)에는 헤더 정보를 복호하여 얻어진 인트라 예측 모드를 나타내는 정보나, 샘플링을 실행하는 취지의 통지나, 샘플링 방식이나 보간 방식의 지정 등이 가역 복호부(202)로부터 적절히 공급된다. 인트라 예측부(211)는, 이들 정보에 기초하여, 필요에 따라서 인접 화소의 보간 처리를 행하고, 예측 화상을 생성하고, 생성한 예측 화상을 선택부(213)에 공급한다.

움직임 예측 보상부(212)는 헤더 정보를 복호하여 얻어진 정보(예측 모드 정보, 움직임 벡터 정보, 참조 프레임 정보)를 가역 복호부(202)로부터 취득한다. 인터 예측 모드를 나타내는 정보가 공급된 경우, 움직임 예측 보상부(212)는 가역 복호부(202)로부터의 인터 움직임 벡터 정보에 기초하여 프레임 메모리(209)로부터 참조 화상을 취득하고, 그 참조 화상이나 움직임 벡터 정보를 이용하여 예측 화상을 생성하고, 생성한 예측 화상을 선택부(213)에 공급한다.

선택부(213)는 움직임 예측 보상부(212) 또는 인트라 예측부(211)에 의해 생성된 예측 화상을 선택하고, 연산부(205)에 공급한다.

[인트라 예측부]

도 18은, 도 17의 인트라 예측부(211)의 주된 구성예를 도시하는 블록도이다.

도 18에 도시되는 바와 같이, 인트라 예측부(211)는 제어부(231), 샘플링부(232), 재구성 화소 기억부(233), 인접 화소 재구성부(234) 및 예측 화상 생성부(235)를 갖는다.

제어부(231)는, 가역 복호부(202)로부터 공급되는 예측 모드나, 샘플링을 실행하는 취지의 통지나, 샘플링 방식이나 보간 방식의 지정 등에 기초하여, 샘플링부(232) 내지 예측 화상 생성부(235)의 각 부를 제어하고, 화상 부호화 장치(100)의 인트라 예측부(114)의 경우와 마찬가지로, 재구성 화소의 샘플링이나 보간을 실행시킨다.

샘플링부(232)는 샘플링부(151)와 기본적으로 마찬가지의 구성을 갖고, 기본적으로 마찬가지의 처리를 행한다. 즉, 샘플링부(232)는 제어부(231)의 제어에 따라서, 연산부(205)로부터 공급되는 재구성 화소에 대하여 필요에 따라서 샘플링을 행하고, 샘플링된 재구성 화소값[샘플링부(232)가 씨닝되고 남은 재구성 화소값], 혹은 제어 정보에 기초하여 샘플링되지 않은 재구성 화소값을 재구성 화소 기억부(233)에 공급한다.

재구성 화소 기억부(233)는, 기본적으로 재구성 화소 기억부(152)와 마찬가지의 구성을 갖고, 마찬가지의 처리를 행한다. 즉, 재구성 화소 기억부(233)는 제어부(231)에 제어되고, 샘플링부(232)로부터 공급되는 재구성 화소값을 기억한다.

인접 화소 재구성부(234)는, 기본적으로 인접 화소 재구성부(153)와 마찬가지의 구성을 갖고, 마찬가지의 처리를 행한다. 즉, 인접 화소 재구성부(234)는 제어부(231)에 제어되고, 처리 대상 매크로 블록의 인접 화소의 화소값을, 재구성 화소 기억부(233)로부터 판독한다. 이 판독된 화소값이 샘플링부(232)에 의해 샘플링된 것인 경우, 인접 화소 재구성부(234)는 제어부(231)를 통하여 공급되는 제어 정보에 의해 지정되는 보간 방식으로, 그 판독된 화소값에 대하여 보간 처리를 행하고, 씨닝된 화소값을 복원한다. 인접 화소 재구성부(234)는, 이와 같이 필요에 따라서 보간한 인접 화소값을 예측 화상 생성부(235)에 공급한다.

예측 화상 생성부(235)는, 기본적으로 예측 화면 생성부(154)와 마찬가지의 구성을 갖고, 마찬가지의 처리를 행한다. 즉 예측 화상 생성부(235)는 제어부(231)에 제어되어, 인접 화소 재구성부(234)로부터 공급된 인접 화소값을 이용하여, 처리 대상 매크로 블록의 예측 화상을 생성하고, 그 예측 화상을 연산부(205)에 공급한다. 예측 화상 생성부(235)는, 모든 인트라 예측 모드에 의해 이와 같이 예측 화상을 생성한다. 인접 화소 재구성부(234)는, 필요에 따라서 재구성 화소 기억부(233)로부터 재구성 화소를 판독하고, 인접 화소값으로서 예측 화상 생성부(235)에 공급한다.

즉, 화상 복호 장치(200)의 인트라 예측부(211)에 있어서도, 화상 부호화 장치(100)의 인트라 예측부(114)의 경우와 마찬가지의 인트라 예측이 행해지지만, 인트라 예측부(211)는 인트라 예측부(114)의 경우와 마찬가지로, 필요에 따라서, 그 인트라 예측에 있어서 인접 화소로서 이용되는 재구성 화소에 대한 샘플링(씨닝)을 행한다.

이때, 화상 복호 장치(200)의 인트라 예측부(211)는, 화상 부호화 장치(100)로부터 제공되는 샘플링을 실행하는 취지의 통지나, 샘플링 방식이나 보간 방식의 지정 등의 정보에 기초하여, 화상 부호화 장치(100)에 있어서 행해진 것과 마찬가지의 샘플링이나 보간을 행한다. 이에 의해, 화상 복호 장치(200)는 화면 내 예측에 필요한 메모리량을 저감시킬 수 있다.

[복호 처리]

다음으로, 이상과 같은 화상 복호 장치(200)에 의해 실행되는 각 처리의 흐름에 대해서 설명한다. 최초로, 도 19의 플로우차트를 참조하여, 복호 처리의 흐름의 예를 설명한다.

복호 처리가 개시되면, 스텝 S201에 있어서, 축적 버퍼(201)는 전송되어 온 부호화 데이터를 축적한다. 스텝 S202에 있어서, 가역 복호부(202)는 축적 버퍼(201)로부터 공급되는 부호화 데이터를 복호한다. 즉, 도 1의 가역 부호화부(106)에 의해 부호화된 I픽쳐, P픽쳐 및 B픽쳐가 복호된다.

이때, 움직임 벡터 정보, 참조 프레임 정보, 예측 모드 정보(인트라 예측 모드, 또는 인터 예측 모드), 플래그 정보 및 샘플링을 실행하는 취지의 통지나, 샘플링 방식이나 보간 방식의 지정 등도 복호된다.

즉, 예측 모드 정보가 인트라 예측 모드 정보인 경우, 예측 모드 정보는 인트라 예측부(211)에 공급된다. 예측 모드 정보가 인터 예측 모드 정보인 경우, 예측 모드 정보와 대응하는 움직임 벡터 정보는 움직임 예측 보상부(212)에 공급된다.

또한, 샘플링을 실행하는 취지의 통지나, 샘플링 방식이나 보간 방식의 지정 등의 정보는 인트라 예측부(211)에 공급된다.

스텝 S203에 있어서, 역양자화부(203)는 가역 복호부(202)에 의해 복호된 변환 계수를, 도 1의 양자화부(105)의 특성에 대응하는 특성에 의해 역양자화한다. 스텝 S204에 있어서 역직교 변환부(204)는 역양자화부(203)에 의해 역양자화된 변환 계수를, 도 1의 직교 변환부(104)의 특성에 대응하는 특성에 의해 역직교 변환한다. 이에 의해 도 1의 직교 변환부(104)의 입력[연산부(103)의 출력]에 대응하는 차분 정보가 복호된 것으로 된다.

스텝 S205에 있어서, 인트라 예측부(211), 또는 움직임 예측 보상부(212)는, 가역 복호부(202)로부터 공급되는 예측 모드 정보에 대응하여, 각각 화상의 예측 처리를 행한다.

즉, 가역 복호부(202)로부터 인트라 예측 모드 정보가 공급된 경우, 인트라 예측부(211)는 인트라 예측 모드의 인트라 예측 처리를 행한다. 또한, 가역 복호부(202)로부터 샘플링을 실행하는 취지의 통지나, 샘플링 방식이나 보간 방식의 지정 등도 공급된 경우, 인트라 예측부(211)는, 그들의 정보를 이용한 인트라 예측 처리(재구성 화소의 샘플링이나 보간 처리 등을 수반하는 화면 내 예측)를 행한다.

가역 복호부(202)로부터 인터 예측 모드 정보가 공급된 경우, 움직임 예측 보상부(212)는 인터 예측 모드의 움직임 예측 처리를 행한다.

스텝 S206에 있어서, 선택부(213)는 예측 화상을 선택한다. 즉, 선택부(213)에는 인트라 예측부(211)에 의해 생성된 예측 화상, 혹은, 움직임 예측 보상부(212)에 의해 생성된 예측 화상이 공급된다. 선택부(213)는, 그 어느 한쪽을 선택한다. 선택된 예측 화상은 연산부(205)에 공급된다.

스텝 S207에 있어서, 연산부(205)는, 스텝 S204의 처리에 의해 얻어진 차분 정보에, 스텝 S206의 처리에 의해 선택된 예측 화상을 가산한다. 이에 의해 원래의 화상 데이터가 복원된다.

스텝 S208에 있어서, 인트라 예측부(211)는, 스텝 S207에 있어서 복원된 화상 데이터인 재구성 화소를 기억한다.

스텝 S209에 있어서, 디블록 필터(206)는 연산부(205)로부터 공급된 복호 화상 데이터를 필터링한다. 이에 의해 블록 왜곡이 제거된다.

스텝 S210에 있어서, 프레임 메모리(209)는 필터링된 복호 화상 데이터를 기억한다.

스텝 S211에 있어서, 화면 재배열 버퍼(207)는 복호 화상 데이터의 프레임의 재배열을 행한다. 즉, 복호 화상 데이터의, 화상 부호화 장치(100)의 화면 재배열 버퍼(102)(도 1)에 의해 부호화를 위해 재배열된 프레임의 순서가, 원래의 표시의 순서로 재배열된다.

스텝 S212에 있어서, D/A 변환부(208)는, 화면 재배열 버퍼(207)에 있어서 프레임이 재배열된 복호 화상 데이터를 D/A 변환한다. 이 복호 화상 데이터가 도시하지 않은 디스플레이에 출력되어, 그 화상이 표시된다.

[예측 처리]

다음으로 도 20의 플로우차트를 참조하여, 도 19의 스텝 S205에 있어서 실행되는 예측 처리의 흐름의 예를 설명한다.

예측 처리가 개시되면, 가역 복호부(202)는 인트라 예측 모드 정보에 기초하여, 인트라 부호화되어 있는지 여부를 판정한다. 인트라 부호화되어 있다고 판정한 경우, 가역 복호부(202)는 인트라 예측 모드 정보를 인트라 예측부(211)에 공급하고, 처리를 스텝 S232로 진행시킨다. 또한, 샘플링을 실행하는 취지의 통지나, 샘플링 방식이나 보간 방식의 지정 등이 존재하는 경우, 가역 복호부(202)는, 그들의 정보도 인트라 예측부(211)에 공급한다.

스텝 S232에 있어서, 인트라 예측부(211)는 인트라 예측 처리를 행한다. 인트라 예측 처리가 종료되면, 화상 복호 장치(200)는, 처리를 도 19의 스텝 S205로 되돌아가, 스텝 S206 이후의 처리를 실행시킨다.

또한, 스텝 S231에 있어서, 인터 부호화되어 있다고 판정된 경우, 가역 복호부(202)는 인터 예측 모드 정보를 움직임 예측 보상부(212)에 공급하고, 처리를 스텝 S233으로 진행시킨다.

스텝 S233에 있어서, 움직임 예측 보상부(212)는 인터 움직임 예측 보상 처리를 행한다. 인터 움직임 예측 보상 처리가 종료되면, 화상 복호 장치(200)는, 처리를 도 19의 스텝 S205로 되돌아가, 스텝 S206 이후의 처리를 실행시킨다.

[인트라 예측 처리]

다음으로, 도 21의 플로우차트를 참조하여, 도 20의 스텝 S232에 있어서 실행되는 인트라 예측 처리의 흐름의 예를 설명한다.

인트라 예측 처리가 개시되면, 인접 화소 재구성부(234)는 제어부(231)의 제어에 따라서 보간 방법을 결정한다. 스텝 S252에 있어서, 예측 화상 생성부(235)는 제어부(231)의 제어에 따라서 예측 모드를 결정한다. 스텝 S253에 있어서, 인접 화소 재구성부(234)는, 스텝 S252에 있어서 결정된 예측 모드에 따라서 인접 화소를 판독한다.

스텝 S254에 있어서, 인접 화소 재구성부(234)는, 스텝 S251에 있어서 결정된 보간 방법에 따라서 인접 화소를 재구성한다. 스텝 S255에 있어서, 예측 화상 생성부(235)는 재구성된 인접 화소를 이용하여 예측 화상을 생성한다.

스텝 S255의 처리가 종료되면, 제어부(231)는 인트라 예측 처리를 종료하고, 처리를 도 20의 스텝 S232로 처리를 되돌아가, 그 이후의 처리를 행한다.

또한, 도 19의 스텝 S208에 있어서 실행되는 재구성 화소 기억 처리는, 도 16의 플로우차트에 도시되는 경우와 마찬가지로 행해지므로, 그 설명을 생략한다.

이상과 같이, 화상 복호 장치(200)는 화면 내 예측에 필요한 메모리량을 저감시킬 수 있다.

또한, 이상에 있어서 설명한 직교 변환이나 역직교 변환 대신에 아다마르 변환 등을 이용하도록 해도 좋다. 또한, 이상으로 설명한 각 블록의 사이즈는 일례이다.

이상에 있어서는, 화상 부호화 장치(100)에 있어서 샘플링이 행해졌는지 여부를 나타내는 정보나, 화상 부호화 장치(100)에 있어서 행해진 샘플링 방법이나 보간 방법을 나타내는 정보가 화상 부호화 장치(100)로부터 화상 복호 장치(200)에 전송되고, 화상 복호 장치(200)가 그들의 정보에 기초하여 화상 부호화 장치(100)와 마찬가지의 샘플링이나 보간 처리를 행하도록 설명하였다. 그러나, 이에 한정되지 않고, 화상 복호 장치(200)가, 화상 부호화 장치(100)와 마찬가지로 화상의 특징량을 추출하고, 그 추출한 특징량에 기초하여 샘플링이나 보간 처리를 행하도록 해도 좋다.

그 경우, 샘플링이 행해졌는지 여부를 나타내는 정보나, 화상 부호화 장치(100)에 있어서 행해진 샘플링 방법이나 보간 방법을 나타내는 정보 등의 전송은 생략 가능하다. 화상 복호 장치(200)는 부호화 데이터의 헤더 정보 등으로부터 화상의 특징량을 추출하도록 해도 좋고, 복호 화상 데이터를 해석하여 특징량을 추출하도록 해도 좋다.

[매크로 블록]

이상에 있어서는, 16×16 이하의 매크로 블록에 대해서 설명하였지만, 매크로 블록의 사이즈는, 16×16보다 커도 좋다.

본 기술은, 예를 들면 도 22에 도시되는 모든 크기의 매크로 블록에 대하여 적용할 수 있다. 예를 들면, 본 기술은, 통상적인 16×16 화소와 같은 매크로 블록뿐만 아니라, 32×32 화소와 같은 확장된 매크로 블록(확장 매크로 블록)에도 적용할 수 있다.

도 22에 있어서, 상단에는, 좌측으로부터, 32×32 화소, 32×16 화소, 16×32 화소 및 16×16 화소의 블록(파티션)으로 분할된 32×32 화소로 구성되는 매크로 블록이 순서대로 나타내어져 있다. 또한, 중단에는, 좌측으로부터, 16×16 화소, 16×8 화소, 8×16 화소 및 8×8 화소의 블록으로 분할된 16×16 화소로 구성되는 블록이 순서대로 나타내어져 있다. 또한, 하단에는, 좌측으로부터, 8×8 화소, 8×4 화소, 4×8 화소 및 4×4 화소의 블록으로 분할된 8×8 화소의 블록이 순서대로 나타내어져 있다.

즉, 32×32 화소의 매크로 블록은, 상단에 나타내어지는 32×32 화소, 32×16 화소, 16×32 화소 및 16×16 화소의 블록에서의 처리가 가능하다.

상단의 우측에 나타내어지는 16×16 화소의 블록은, H.264/AVC 방식과 마찬가지로, 중단에 나타내어지는 16×16 화소, 16×8 화소, 8×16 화소 및 8×8 화소의 블록에서의 처리가 가능하다.

중단의 우측에 나타내어지는 8×8 화소의 블록은, H.264/AVC 방식과 마찬가지로, 하단에 나타내어지는 8×8 화소, 8×4 화소, 4×8 화소 및 4×4 화소의 블록에서의 처리가 가능하다.

이들의 블록은, 이하의 3계층으로 분류할 수 있다. 즉, 도 20의 상단에 나타내어지는 32×32 화소, 32×16 화소 및 16×32 화소의 블록을 제1계층이라고 칭한다. 상단의 우측에 나타내어지는 16×16 화소의 블록 및 중단에 나타내어지는 16×16 화소, 16×8 화소 및 8×16 화소의 블록을, 제2계층이라고 칭한다. 중단의 우측에 나타내어지는 8×8 화소의 블록 및 하단에 나타내어지는 8×8 화소, 8×4 화소, 4×8 화소 및 4×4 화소의 블록을, 제3계층이라고 칭한다.

이와 같은 계층 구조를 채용함으로써, 16×16 화소의 블록 이하에 관해서는, H.264/AVC 방식과 호환성을 유지하면서, 그 슈퍼세트로서, 보다 큰 블록을 정의할 수 있다.

<3. 제3 실시 형태>

[퍼스널 컴퓨터]

상술한 일련의 처리는, 하드웨어에 의해 실행시킬도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 예를 들면, 도 23에 도시되는 퍼스널 컴퓨터로 구성되도록 해도 좋다.

도 23에 있어서, 퍼스널 컴퓨터(500)의 CPU(501)는, ROM(Read Only Memory)(502)에 기억되어 있는 프로그램, 또는 기억부(513)로부터 RAM(Random Access Memory)(503)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(503)에는 또한, CPU(501)가 각종 처리를 실행하는 점에 있어서 필요한 데이터 등도 적절히 기억된다.

CPU(501), ROM(502) 및 RAM(503)은 버스(504)를 통하여 서로 접속되어 있다. 이 버스(504)에는 또한, 입출력 인터페이스(510)도 접속되어 있다.

입출력 인터페이스(510)에는 키보드, 마우스 등으로 이루어지는 입력부(511), CRT(Cathode Ray Tube)나 LCD(Liquid Crystal Display) 등으로 이루어지는 디스플레이 및 스피커 등으로 이루어지는 출력부(512), 하드 디스크 등으로 구성되는 기억부(513), 모뎀 등으로 구성되는 통신부(514)가 접속되어 있다. 통신부(514)는 인터넷을 포함하는 네트워크를 통한 통신 처리를 행한다.

입출력 인터페이스(510)에는 또한, 필요에 따라서 드라이브(515)가 접속되고, 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(521)가 적절히 장착되고, 그들로부터 판독된 컴퓨터 프로그램이, 필요에 따라서 기억부(513)에 인스톨된다.

상술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 네트워크나 기록 매체로부터 인스톨된다.

이 기록 매체는, 예를 들면, 도 23에 도시되는 바와 같이, 장치 본체와는 별도로, 유저에게 프로그램을 배신하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(플렉시블 디스크를 포함함), 광 디스크[CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함], 광 자기 디스크[MD(Mini Disc)를 포함함], 혹은 반도체 메모리 등으로 이루어지는 리무버블 미디어(521)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 조립된 상태에서 유저에게 배신되는 프로그램이 기록되어 있는 ROM(502)이나, 기억부(513)에 포함되는 하드 디스크 등으로 구성된다.

또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 좋고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에서 처리가 행해지는 프로그램이어도 좋다.

또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서를 따라서 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 디바이스(장치)에 의해 구성되는 장치 전체를 나타내는 것이다.

또한, 이상에 있어서, 1개의 장치(또는 처리부)로서 설명한 구성을 분할하고, 복수의 장치(또는 처리부)로 구성하도록 해도 좋다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합하여 1개의 장치(또는 처리부)로 구성되도록 해도 좋다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 이외의 구성을 부가하도록 해도 물론 좋다. 또한, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어느 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함시키도록 해도 좋다. 즉, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것이 아니라, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들면, 상술한 화상 부호화 장치(100)나 화상 복호 장치(200)는, 임의의 전자 기기에 적용할 수 있다. 이하에 그 예에 대해서 설명한다.

<4. 제4 실시 형태>

[텔레비전 수상기]

도 24는, 화상 복호 장치(200)를 이용하는 텔레비전 수상기의 주된 구성예를 도시하는 블록도이다.

도 24에 도시되는 텔레비전 수상기(1000)는 지상파 튜너(1013), 비디오 디코더(1015), 영상 신호 처리 회로(1018), 그래픽 생성 회로(1019), 패널 구동 회로(1020) 및 표시 패널(1021)을 갖는다.

지상파 튜너(1013)는 지상 아날로그 방송의 방송파 신호를, 안테나를 통하여 수신하고, 복조하고, 영상 신호를 취득하고, 그것을 비디오 디코더(1015)에 공급한다. 비디오 디코더(1015)는 지상파 튜너(1013)로부터 공급된 영상 신호에 대하여 디코드 처리를 실시하고, 얻어진 디지털의 컴포넌트 신호를 영상 신호 처리 회로(1018)에 공급한다.

영상 신호 처리 회로(1018)는 비디오 디코더(1015)로부터 공급된 영상 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 영상 데이터를 그래픽 생성 회로(1019)에 공급한다.

그래픽 생성 회로(1019)는 표시 패널(1021)에 표시시키는 프로그램의 영상 데이터나, 네트워크를 통하여 공급되는 어플리케이션에 기초하는 처리에 의한 화상 데이터 등을 생성하고, 생성한 영상 데이터나 화상 데이터를 패널 구동 회로(1020)에 공급한다. 또한, 그래픽 생성 회로(1019)는, 항목의 선택 등에 유저에 의해 이용되는 화면을 표시하기 위한 영상 데이터(그래픽)를 생성하고, 그것을 프로그램의 영상 데이터에 중첩하거나 함으로써 얻어진 영상 데이터를 패널 구동 회로(1020)에 공급하는 등의 처리도 적절히 행한다.

패널 구동 회로(1020)는, 그래픽 생성 회로(1019)로부터 공급된 데이터에 기초하여 표시 패널(1021)을 구동하고, 프로그램의 영상이나 상술한 각종 화면을 표시 패널(1021)에 표시시킨다.

표시 패널(1021)은 LCD(Liquid Crystal Display) 등으로 이루어지고, 패널 구동 회로(1020)에 의한 제어에 따라서 프로그램의 영상 등을 표시시킨다.

또한, 텔레비전 수상기(1000)는 음성 A/D(Analog/Digital) 변환 회로(1014), 음성 신호 처리 회로(1022), 에코 소거/음성 합성 회로(1023), 음성 증폭 회로(1024) 및 스피커(1025)도 갖는다.

지상파 튜너(1013)는 수신한 방송파 신호를 복조함으로써, 영상 신호뿐만 아니라 음성 신호도 취득한다. 지상파 튜너(1013)는 취득한 음성 신호를 음성 A/D 변환 회로(1014)에 공급한다.

음성 A/D 변환 회로(1014)는 지상파 튜너(1013)로부터 공급된 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 신호를 음성 신호 처리 회로(1022)에 공급한다.

음성 신호 처리 회로(1022)는, 음성 A/D 변환 회로(1014)로부터 공급된 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 음성 데이터를 에코 소거/음성 합성 회로(1023)에 공급한다.

에코 소거/음성 합성 회로(1023)는, 음성 신호 처리 회로(1022)로부터 공급된 음성 데이터를 음성 증폭 회로(1024)에 공급한다.

음성 증폭 회로(1024)는, 에코 소거/음성 합성 회로(1023)로부터 공급된 음성 데이터에 대하여 D/A 변환 처리, 증폭 처리를 실시하고, 소정의 음량으로 조정한 후, 음성을 스피커(1025)로부터 출력시킨다.

또한, 텔레비전 수상기(1000)는 디지털 튜너(1016) 및 MPEG 디코더(1017)도 갖는다.

디지털 튜너(1016)는 디지털 방송[지상 디지털 방송, BS(Broadcasting Satellite)/CS(Communications Satellite) 디지털 방송]의 방송파 신호를, 안테나를 통하여 수신하고, 복조하고, MPEG-TS(Moving Picture Experts Group-Transport Stream)를 취득하고, 그것을 MPEG 디코더(1017)에 공급한다.

MPEG 디코더(1017)는, 디지털 튜너(1016)로부터 공급된 MPEG-TS에 실시되어 있는 스크램블을 해제하고, 재생 대상(시청 대상)으로 되어 있는 프로그램의 데이터를 포함하는 스트림을 추출한다. MPEG 디코더(1017)는, 추출한 스트림을 구성하는 음성 패킷을 디코드하고, 얻어진 음성 데이터를 음성 신호 처리 회로(1022)에 공급함과 함께, 스트림을 구성하는 영상 패킷을 디코드하고, 얻어진 영상 데이터를 영상 신호 처리 회로(1018)에 공급한다. 또한, MPEG 디코더(1017)는 MPEG-TS로부터 추출한 EPG(Electronic Program Guide) 데이터를 도시하지 않은 경로를 통하여 CPU(1032)에 공급한다.

텔레비전 수상기(1000)는, 이와 같이 영상 패킷을 디코드하는 MPEG 디코더(1017)로서, 상술한 화상 복호 장치(200)를 이용한다. 또한, 방송국 등으로부터 송신되는 MPEG-TS는, 화상 부호화 장치(100)에 의해 부호화되어 있다.

MPEG 디코더(1017)는 화상 복호 장치(200)의 경우와 마찬가지로, 방송국[화상 부호화 장치(100)]으로부터 공급되는 부호화 데이터로부터 추출한, 방송국[화상 부호화 장치(100)]에 있어서 샘플링이 행해졌는지 여부의 통지나 샘플링 방식 및 보간 방식의 지정 등의 정보를 이용하여, 인접 화소의 샘플링이나 보간 처리를 필요에 따라서 행하고, 그 인접 화소를 이용하여 예측 화상을 생성하고, 그 예측 화상을 이용하여 잔차 정보로부터 복호 화상 데이터를 생성한다. 따라서, MPEG 디코더(1017)는 화면 내 예측에 필요한 메모리량을 저감시킬 수 있다.

MPEG 디코더(1017)로부터 공급된 영상 데이터는, 비디오 디코더(1015)로부터 공급된 영상 데이터의 경우와 마찬가지로, 영상 신호 처리 회로(1018)에 있어서 소정의 처리가 실시되고, 그래픽 생성 회로(1019)에 있어서, 생성된 영상 데이터 등이 적절히 중첩되고, 패널 구동 회로(1020)를 통하여 표시 패널(1021)에 공급되고, 그 화상이 표시된다.

MPEG 디코더(1017)로부터 공급된 음성 데이터는, 음성 A/D 변환 회로(1014)로부터 공급된 음성 데이터의 경우와 마찬가지로, 음성 신호 처리 회로(1022)에 있어서 소정의 처리가 실시되고, 에코 소거/음성 합성 회로(1023)를 통하여 음성 증폭 회로(1024)에 공급되고, D/A 변환 처리나 증폭 처리가 실시된다. 그 결과, 소정의 음량으로 조정된 음성이 스피커(1025)로부터 출력된다.

또한, 텔레비전 수상기(1000)는 마이크로폰(1026) 및 A/D 변환 회로(1027)도 갖는다.

A/D 변환 회로(1027)는 음성 회화용의 것으로서 텔레비전 수상기(1000)에 설치되는 마이크로폰(1026)에 의해 도입된 유저의 음성의 신호를 수신하고, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 에코 소거/음성 합성 회로(1023)에 공급한다.

에코 소거/음성 합성 회로(1023)는, 텔레비전 수상기(1000)의 유저(유저 A)의 음성의 데이터가 A/D 변환 회로(1027)로부터 공급되어 있는 경우, 유저 A의 음성 데이터를 대상으로 하여 에코 소거을 행하고, 다른 음성 데이터와 합성하는 등으로 하여 얻어진 음성의 데이터를, 음성 증폭 회로(1024)를 통하여 스피커(1025)로부터 출력시킨다.

또한, 텔레비전 수상기(1000)는 음성 코덱(1028), 내부 버스(1029), SDRAM(Synchronous Dynamic Random Access Memory)(1030), 플래시 메모리(1031), CPU(1032), USB(Universal Serial Bus) I/F(1033) 및 네트워크 I/F(1034)도 갖는다.

A/D 변환 회로(1027)는 음성 회화용의 것으로서 텔레비전 수상기(1000)에 설치되는 마이크로폰(1026)에 의해 도입된 유저의 음성의 신호를 수신하고, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 음성 코덱(1028)에 공급한다.

음성 코덱(1028)은 A/D 변환 회로(1027)로부터 공급된 음성 데이터를, 네트워크 경유로 송신하기 위한 소정 포맷의 데이터로 변환하고, 내부 버스(1029)를 통하여 네트워크 I/F(1034)에 공급한다.

네트워크 I/F(1034)는 네트워크 단자(1035)에 장착된 케이블을 통하여 네트워크에 접속된다. 네트워크 I/F(1034)는, 예를 들면, 그 네트워크에 접속되는 다른 장치에 대하여, 음성 코덱(1028)으로부터 공급된 음성 데이터를 송신한다. 또한, 네트워크 I/F(1034)는, 예를 들면, 네트워크를 통하여 접속되는 다른 장치로부터 송신되는 음성 데이터를, 네트워크 단자(1035)를 통하여 수신하고, 그것을, 내부 버스(1029)를 통하여 음성 코덱(1028)에 공급한다.

음성 코덱(1028)은 네트워크 I/F(1034)로부터 공급된 음성 데이터를 소정 포맷의 데이터로 변환하고, 그것을 에코 소거/음성 합성 회로(1023)에 공급한다.

에코 소거/음성 합성 회로(1023)는 음성 코덱(1028)으로부터 공급되는 음성 데이터를 대상으로 하여 에코 소거를 행하고, 다른 음성 데이터와 합성하는 등으로 하여 얻어진 음성의 데이터를, 음성 증폭 회로(1024)를 통하여 스피커(1025)로부터 출력시킨다.

SDRAM(1030)은 CPU(1032)가 처리를 행하는 점에서 필요한 각종 데이터를 기억한다.

플래시 메모리(1031)는 CPU(1032)에 의해 실행되는 프로그램을 기억한다. 플래시 메모리(1031)에 기억되어 있는 프로그램은, 텔레비전 수상기(1000)의 기동시 등의 소정의 타이밍에서 CPU(1032)에 의해 판독된다. 플래시 메모리(1031)에는 디지털 방송을 통하여 취득된 EPG 데이터, 네트워크를 통하여 소정의 서버로부터 취득된 데이터 등도 기억된다.

예를 들면, 플래시 메모리(1031)에는 CPU(1032)의 제어에 의해 네트워크를 통하여 소정의 서버로부터 취득된 콘텐츠 데이터를 포함하는 MPEG-TS가 기억된다. 플래시 메모리(1031)는, 예를 들면 CPU(1032)의 제어에 의해, 그 MPEG-TS를, 내부 버스(1029)를 통하여 MPEG 디코더(1017)에 공급한다.

MPEG 디코더(1017)는 디지털 튜너(1016)로부터 공급된 MPEG-TS의 경우와 마찬가지로, 그 MPEG-TS를 처리한다. 이와 같이 텔레비전 수상기(1000)는, 영상이나 음성 등으로 이루어지는 콘텐츠 데이터를, 네트워크를 통하여 수신하고, MPEG 디코더(1017)를 이용하여 디코드하고, 그 영상을 표시시키거나, 음성을 출력시키거나 할 수 있다.

또한, 텔레비전 수상기(1000)는 리모트 컨트롤러(1051)로부터 송신되는 적외선 신호를 수광하는 수광부(1037)도 갖는다.

수광부(1037)는 리모트 컨트롤러(1051)로부터의 적외선을 수광하고, 복조하여 얻어진 유저 조작의 내용을 나타내는 제어 코드를 CPU(1032)에 출력한다.

CPU(1032)는 플래시 메모리(1031)에 기억되어 있는 프로그램을 실행하고, 수광부(1037)로부터 공급되는 제어 코드 등에 따라서 텔레비전 수상기(1000)의 전체의 동작을 제어한다. CPU(1032)와 텔레비전 수상기(1000)의 각 부는, 도시하지 않은 경로를 통하여 접속되어 있다.

USB I/F(1033)는 USB 단자(1036)에 장착된 USB 케이블을 통하여 접속되는, 텔레비전 수상기(1000)의 외부의 기기와의 사이에서 데이터의 송수신을 행한다. 네트워크 I/F(1034)는 네트워크 단자(1035)에 장착된 케이블을 통하여 네트워크에 접속하고, 네트워크에 접속되는 각종 장치와 음성 데이터 이외의 데이터의 송수신도 행한다.

텔레비전 수상기(1000)는 MPEG 디코더(1017)로서 화상 복호 장치(200)를 이용함으로써, 화면 내 예측에 필요한 메모리량을 저감시킬 수 있다. 그 결과로서, 텔레비전 수상기(1000)는 안테나를 통하여 수신하는 방송파 신호나, 네트워크를 통하여 취득하는 콘텐츠 데이터의 화면 내 예측에 필요한 메모리량을 저감시킬 수 있어, 리얼타임 처리를 보다 낮은 코스트로 실현할 수 있다.

<5. 제5 실시 형태>

[휴대 전화기]

도 25는, 화상 부호화 장치(100) 및 화상 복호 장치(200)를 이용하는 휴대 전화기의 주된 구성예를 도시하는 블록도이다.

도 25에 도시되는 휴대 전화기(1100)는, 각 부를 통괄적으로 제어하도록 이루어진 주 제어부(1150), 전원 회로부(1151), 조작 입력 제어부(1152), 화상 인코더(1153), 카메라 I/F부(1154), LCD 제어부(1155), 화상 디코더(1156), 다중 분리부(1157), 기록 재생부(1162), 변복조 회로부(1158) 및 음성 코덱(1159)을 갖는다. 이들은, 버스(1160)를 통하여 서로 접속되어 있다.

또한, 휴대 전화기(1100)는 조작키(1119), CCD(Charge Coupled Devices) 카메라(1116), 액정 디스플레이(1118), 기억부(1123), 송수신 회로부(1163), 안테나(1114), 마이크로폰(마이크)(1121) 및 스피커(1117)를 갖는다.

전원 회로부(1151)는 유저의 조작에 의해 통화 종료 및 전원키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 휴대 전화기(1100)를 동작 가능한 상태로 기동한다.

휴대 전화기(1100)는 CPU, ROM 및 RAM 등으로 되는 주 제어부(1150)의 제어에 기초하여, 음성 통화 모드나 데이터 통신 모드 등의 각종 모드로, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영, 또는 데이터 기록 등의 각종 동작을 행한다.

예를 들면, 음성 통화 모드에 있어서, 휴대 전화기(1100)는 마이크로폰(마이크)(1121)으로 집음한 음성 신호를, 음성 코덱(1159)에 의해 디지털 음성 데이터로 변환하고, 이를 변복조 회로부(1158)에서 스펙트럼 확산 처리하고, 송수신 회로부(1163)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 통하여 도시하지 않은 기지국으로 송신한다. 기지국으로 전송된 송신용 신호(음성 신호)는, 공중 전화 회선망을 통하여 통화 상대의 휴대 전화기에 공급된다.

또한, 예를 들면, 음성 통화 모드에 있어서, 휴대 전화기(1100)는 안테나(1114)에 의해 수신한 수신 신호를 송수신 회로부(1163)에 의해 증폭하고, 또한 주파수 변환 처리 및 아날로그 디지털 변환 처리하고, 변복조 회로부(1158)에서 스펙트럼 역확산 처리하고, 음성 코덱(1159)에 의해 아날로그 음성 신호로 변환한다. 휴대 전화기(1100)는, 그 변환하여 얻어진 아날로그 음성 신호를 스피커(1117)로부터 출력한다.

또한, 예를 들면, 데이터 통신 모드에 있어서 전자 메일을 송신하는 경우, 휴대 전화기(1100)는 조작키(1119)의 조작에 의해 입력된 전자 메일의 텍스트 데이터를, 조작 입력 제어부(1152)에 있어서 접수한다. 휴대 전화기(1100)는, 그 텍스트 데이터를 주 제어부(1150)에 있어서 처리하고, LCD 제어부(1155)를 통하여, 화상으로서 액정 디스플레이(1118)에 표시시킨다.

또한, 휴대 전화기(1100)는 주 제어부(1150)에 있어서, 조작 입력 제어부(1152)가 접수한 텍스트 데이터나 유저 지시 등에 기초하여 전자 메일 데이터를 생성한다. 휴대 전화기(1100)는, 그 전자 메일 데이터를, 변복조 회로부(1158)에서 스펙트럼 확산 처리하고, 송수신 회로부(1163)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 통하여 도시하지 않은 기지국으로 송신한다. 기지국으로 전송된 송신용 신호(전자 메일)는 네트워크 및 메일 서버 등을 통하여, 소정의 수신처에 공급된다.

또한, 예를 들면, 데이터 통신 모드에 있어서 전자 메일을 수신하는 경우, 휴대 전화기(1100)는 기지국으로부터 송신된 신호를, 안테나(1114)를 통하여 송수신 회로부(1163)에 의해 수신하고, 증폭하고, 또한 주파수 변환 처리 및 아날로그 디지털 변환 처리한다. 휴대 전화기(1100)는, 그 수신 신호를 변복조 회로부(1158)에서 스펙트럼 역확산 처리하여 원래의 전자 메일 데이터를 복원한다. 휴대 전화기(1100)는 복원된 전자 메일 데이터를, LCD 제어부(1155)를 통하여 액정 디스플레이(1118)에 표시한다.

또한, 휴대 전화기(1100)는 수신한 전자 메일 데이터를, 기록 재생부(1162)를 통하여, 기억부(1123)에 기록하는(기억시키는) 것도 가능하다.

이 기억부(1123)는 재기입 가능한 임의의 기억 매체이다. 기억부(1123)는, 예를 들면, RAM이나 내장형 플래시 메모리 등의 반도체 메모리이어도 좋고, 하드 디스크이어도 좋고, 자기 디스크, 광 자기 디스크, 광 디스크, USB 메모리, 또는 메모리 카드 등의 리무버블 미디어이어도 좋다. 물론, 이들 이외의 것이어도 좋다.

또한, 예를 들면, 데이터 통신 모드에 있어서 화상 데이터를 송신하는 경우, 휴대 전화기(1100)는 촬상에 의해 CCD 카메라(1116)로 화상 데이터를 생성한다. CCD 카메라(1116)는 렌즈나 조리개 등의 광학 디바이스와 광전 변환 소자로서의 CCD를 갖고, 피사체를 촬상하고, 수광한 광의 강도를 전기 신호로 변환하고, 피사체의 화상의 화상 데이터를 생성한다. CCD 카메라(1116)는, 그 화상 데이터를, 카메라 I/F부(1154)를 통하여, 화상 인코더(1153)로 부호화하고, 부호화 화상 데이터로 변환한다.

휴대 전화기(1100)는, 이와 같은 처리를 행하는 화상 인코더(1153)로서, 상술한 화상 부호화 장치(100)를 이용한다. 화상 인코더(1153)는 화상 부호화 장치(100)의 경우와 마찬가지로, 화상 데이터로부터 추출한 특징량에 기초하여 인접 화소의 샘플링을 행할지 여부의 결정, 행하는 경우는 그 샘플링 방식이나 보간 처리의 방식의 결정 등을 행하고, 필요에 따라서 인접 화소를 샘플링하여 기억한다. 화상 인코더(1153)는 인트라 예측을 행할 때에, 그 인접 화소를 판독하고, 필요에 따라서 보간 처리를 행하고, 인접 화소를 재구성한다. 그리고 화상 인코더(1153)는, 재구성된 인접 화소를 이용하여 예측 화상을 생성하고, 그 예측 화상을 이용하여 잔차 정보로부터 부호화 데이터를 생성한다. 따라서, 화상 인코더(1153)는 화면 내 예측에 필요한 메모리량을 저감시킬 수 있다.

또한, 휴대 전화기(1100)는, 이때 동시에, CCD 카메라(1116)로 촬상 중에 마이크로폰(마이크)(1121)으로 집음한 음성을, 음성 코덱(1159)에 있어서 아날로그 디지털 변환하고, 또한 부호화한다.

휴대 전화기(1100)는 다중 분리부(1157)에 있어서, 화상 인코더(1153)로부터 공급된 부호화 화상 데이터와, 음성 코덱(1159)으로부터 공급된 디지털 음성 데이터를, 소정의 방식에 의해 다중화한다. 휴대 전화기(1100)는, 그 결과 얻어지는 다중화 데이터를, 변복조 회로부(1158)에서 스펙트럼 확산 처리하고, 송수신 회로부(1163)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 통하여 도시하지 않은 기지국으로 송신한다. 기지국으로 전송된 송신용 신호(화상 데이터)는 네트워크 등을 통하여, 통신 상대에게 공급된다.

또한, 화상 데이터를 송신하지 않는 경우, 휴대 전화기(1100)는 CCD 카메라(1116)에 의해 생성한 화상 데이터를, 화상 인코더(1153)를 통하지 않고, LCD 제어부(1155)를 통하여 액정 디스플레이(1118)에 표시시킬 수도 있다.

또한, 예를 들면, 데이터 통신 모드에 있어서, 간이 홈 페이지 등으로 연동된 동화상 파일의 데이터를 수신하는 경우, 휴대 전화기(1100)는 기지국으로부터 송신된 신호를, 안테나(1114)를 통하여 송수신 회로부(1163)에 의해 수신하고, 증폭하고, 또한 주파수 변환 처리 및 아날로그 디지털 변환 처리한다. 휴대 전화기(1100)는, 그 수신 신호를 변복조 회로부(1158)에서 스펙트럼 역확산 처리하여 원래의 다중화 데이터를 복원한다. 휴대 전화기(1100)는, 다중 분리부(1157)에 있어서, 그 다중화 데이터를 분리하여, 부호화 화상 데이터와 음성 데이터로 나눈다.

휴대 전화기(1100)는, 화상 디코더(1156)에 있어서 부호화 화상 데이터를 디코드함으로써, 재생 동화상 데이터를 생성하고, 이것을, LCD 제어부(1155)를 통하여 액정 디스플레이(1118)에 표시시킨다. 이에 의해, 예를 들면, 간이 홈 페이지로 연동된 동화상 파일에 포함되는 동화상 데이터가 액정 디스플레이(1118)에 표시된다.

휴대 전화기(1100)는, 이와 같은 처리를 행하는 화상 디코더(1156)로서, 상술한 화상 복호 장치(200)를 이용한다. 즉, 화상 디코더(1156)는 화상 복호 장치(200)의 경우와 마찬가지로, 다른 장치의 화상 인코더(1153)[화상 부호화 장치(100)]로부터 공급되는 부호화 데이터로부터 추출한, 다른 장치의 화상 인코더(1153)[화상 부호화 장치(100)]에 있어서 샘플링이 행해졌는지 여부의 통지나 샘플링 방식 및 보간 방식의 지정 등의 정보를 이용하여, 인접 화소의 샘플링이나 보간 처리를 필요에 따라서 행하고, 그 인접 화소를 이용하여 예측 화상을 생성하고, 그 예측 화상을 이용하여 잔차 정보로부터 복호 화상 데이터를 생성한다. 따라서, 화상 디코더(1156)는, 화면 내 예측에 필요한 메모리량을 저감시킬 수 있다.

이때, 휴대 전화기(1100)는, 동시에, 음성 코덱(1159)에 있어서, 디지털의 음성 데이터를 아날로그 음성 신호로 변환하고, 이것을 스피커(1117)로부터 출력시킨다. 이에 의해, 예를 들면, 간이 홈 페이지로 연동된 동화상 파일에 포함되는 음성 데이터가 재생된다.

또한, 전자 메일의 경우와 마찬가지로, 휴대 전화기(1100)는 수신한 간이 홈 페이지 등으로 연동된 데이터를, 기록 재생부(1162)를 통하여, 기억부(1123)에 기록하는(기억시키는) 것도 가능하다.

또한, 휴대 전화기(1100)는, 주 제어부(1150)에 있어서, 촬상되어 CCD 카메라(1116)로 얻어진 2차원 코드를 해석하고, 2차원 코드에 기록된 정보를 취득할 수 있다.

또한, 휴대 전화기(1100)는 적외선 통신부(1181)에서 적외선에 의해 외부의 기기와 통신할 수 있다.

휴대 전화기(1100)는 화상 인코더(1153)로서 화상 부호화 장치(100)를 이용함으로써, 예를 들면 CCD 카메라(1116)에 있어서 생성된 화상 데이터를 부호화하여 전송할 때의, 화면 내 예측에 필요한 메모리량을 저감시킬 수 있어, 리얼타임 처리를 보다 낮은 코스트로 실현할 수 있다.

또한, 휴대 전화기(1100)는 화상 디코더(1156)로서 화상 복호 장치(200)를 이용함으로써, 예를 들면, 간이 홈 페이지 등으로 연동된 동화상 파일의 데이터(부호화 데이터)를 복호할 때의 화면 내 예측에 필요한 메모리량을 저감시킬 수 있어, 리얼타임 처리를 보다 낮은 코스트로 실현할 수 있다.

또한, 이상에 있어서, 휴대 전화기(1100)가, CCD 카메라(1116)를 이용하는 것으로 설명하였지만, 이 CCD 카메라(1116) 대신에, CMOS(Complementary Metal Oxide Semiconductor)를 이용한 이미지 센서(CMOS 이미지 센서)를 이용하도록 해도 좋다. 이 경우도, 휴대 전화기(1100)는 CCD 카메라(1116)를 이용하는 경우와 마찬가지로, 피사체를 촬상하고, 피사체의 화상의 화상 데이터를 생성할 수 있다.

또한, 이상에 있어서는 휴대 전화기(1100)로서 설명하였지만, 예를 들면, PDA(Personal Digital Assistants), 스마트 폰, UMPC(Ultra Mobile Personal Computer), 넷북, 노트형 퍼스널 컴퓨터 등, 이 휴대 전화기(1100)와 마찬가지의 촬상 기능이나 통신 기능을 갖는 장치이면, 어떤 장치이어도 휴대 전화기(1100)의 경우와 마찬가지로, 화상 부호화 장치(100) 및 화상 복호 장치(200)를 적용할 수 있다.

<6. 제6 실시 형태>

[하드 디스크 레코더]

도 26은, 화상 부호화 장치(100) 및 화상 복호 장치(200)를 이용하는 하드 디스크 레코더의 주된 구성예를 도시하는 블록도이다.

도 26에 도시되는 하드 디스크 레코더(HDD 레코더)(1200)는 튜너에 의해 수신된, 위성이나 지상의 안테나 등으로부터 송신되는 방송파 신호(텔레비전 신호)에 포함되는 방송프로의 오디오 데이터와 비디오 데이터를, 내장하는 하드 디스크에 보존하고, 그 보존한 데이터를 유저의 지시에 따른 타이밍에서 유저에게 제공하는 장치이다.

하드 디스크 레코더(1200)는, 예를 들면, 방송파 신호로부터 오디오 데이터와 비디오 데이터를 추출하고, 그들을 적절히 복호하고, 내장하는 하드 디스크에 기억시킬 수 있다. 또한, 하드 디스크 레코더(1200)는, 예를 들면, 네트워크를 통하여 다른 장치로부터 오디오 데이터나 비디오 데이터를 취득하고, 그들을 적절히 복호하고, 내장하는 하드 디스크에 기억시킬 수도 있다.

또한, 하드 디스크 레코더(1200)는, 예를 들면, 내장하는 하드 디스크에 기록되어 있는 오디오 데이터나 비디오 데이터를 복호하여 모니터(1260)에 공급하고, 모니터(1260)의 화면에 그 화상을 표시시켜, 모니터(1260)의 스피커로부터 그 음성을 출력시킬 수 있다. 또한, 하드 디스크 레코더(1200)는, 예를 들면, 튜너를 통하여 취득된 방송파 신호로부터 추출된 오디오 데이터와 비디오 데이터, 또는, 네트워크를 통하여 다른 장치로부터 취득한 오디오 데이터나 비디오 데이터를 복호하여 모니터(1260)에 공급하고, 모니터(1260)의 화면에 그 화상을 표시시켜, 모니터(1260)의 스피커로부터 그 음성을 출력시킬 수도 있다.

물론, 이 외의 동작도 가능하다.

도 26에 도시되는 바와 같이, 하드 디스크 레코더(1200)는 수신부(1221), 복조부(1222), 디멀티플렉서(1223), 오디오 디코더(1224), 비디오 디코더(1225) 및 레코더 제어부(1226)를 갖는다. 하드 디스크 레코더(1200)는, 또한, EPG 데이터 메모리(1227), 프로그램 메모리(1228), 워크 메모리(1229), 디스플레이 컨버터(1230), OSD(On Screen Display) 제어부(1231), 디스플레이 제어부(1232), 기록 재생부(1233), D/A 컨버터(1234) 및 통신부(1235)를 갖는다.

또한, 디스플레이 컨버터(1230)는 비디오 인코더(1241)를 갖는다. 기록 재생부(1233)는 인코더(1251) 및 디코더(1252)를 갖는다.

수신부(1221)는 리모트 컨트롤러(도시 생략)로부터의 적외선 신호를 수신하고, 전기 신호로 변환하여 레코더 제어부(1226)에 출력한다. 레코더 제어부(1226)는, 예를 들면, 마이크로프로세서 등에 의해 구성되고, 프로그램 메모리(1228)에 기억되어 있는 프로그램에 따라서, 각종 처리를 실행한다. 레코더 제어부(1226)는, 이때, 워크 메모리(1229)를 필요에 따라서 사용한다.

통신부(1235)는 네트워크에 접속되고, 네트워크를 통하여 다른 장치와의 통신 처리를 행한다. 예를 들면, 통신부(1235)는 레코더 제어부(1226)에 의해 제어되고, 튜너(도시 생략)와 통신하고, 주로 튜너에 대하여 선국 제어 신호를 출력한다.

복조부(1222)는 튜너로부터 공급된 신호를, 복조하고, 디멀티플렉서(1223)에 출력한다. 디멀티플렉서(1223)는 복조부(1222)로부터 공급된 데이터를, 오디오 데이터, 비디오 데이터 및 EPG 데이터로 분리하고, 각각, 오디오 디코더(1224), 비디오 디코더(1225), 또는 레코더 제어부(1226)에 출력한다.

오디오 디코더(1224)는 입력된 오디오 데이터를 디코드하고, 기록 재생부(1233)에 출력한다. 비디오 디코더(1225)는 입력된 비디오 데이터를 디코드하고, 디스플레이 컨버터(1230)에 출력한다. 레코더 제어부(1226)는 입력된 EPG 데이터를 EPG 데이터 메모리(1227)에 공급하고, 기억시킨다.

디스플레이 컨버터(1230)는 비디오 디코더(1225) 또는 레코더 제어부(1226)로부터 공급된 비디오 데이터를, 비디오 인코더(1241)에 의해, 예를 들면 NTSC(National Television Standards Committee) 방식의 비디오 데이터에 인코드하고, 기록 재생부(1233)에 출력한다. 또한, 디스플레이 컨버터(1230)는 비디오 디코더(1225) 또는 레코더 제어부(1226)로부터 공급되는 비디오 데이터의 화면의 사이즈를, 모니터(1260)의 사이즈에 대응하는 사이즈로 변환하고, 비디오 인코더(1241)에 의해 NTSC 방식의 비디오 데이터로 변환하고, 아날로그 신호로 변환하고, 디스플레이 제어부(1232)에 출력한다.

디스플레이 제어부(1232)는 레코더 제어부(1226)의 제어 하에, OSD(On Screen Display) 제어부(1231)가 출력한 OSD 신호를, 디스플레이 컨버터(1230)로부터 입력된 비디오 신호에 중첩하고, 모니터(1260)의 디스플레이에 출력하고, 표시시킨다.

모니터(1260)에는 또한, 오디오 디코더(1224)가 출력한 오디오 데이터가, D/A 컨버터(1234)에 의해 아날로그 신호로 변환되어 공급되고 있다. 모니터(1260)는, 이 오디오 신호를 내장하는 스피커로부터 출력한다.

기록 재생부(1233)는 비디오 데이터나 오디오 데이터 등을 기록하는 기억 매체로서 하드 디스크를 갖는다.

기록 재생부(1233)는, 예를 들면, 오디오 디코더(1224)로부터 공급되는 오디오 데이터를, 인코더(1251)에 의해 인코드한다. 또한, 기록 재생부(1233)는 디스플레이 컨버터(1230)의 비디오 인코더(1241)로부터 공급되는 비디오 데이터를, 인코더(1251)에 의해 인코드한다. 기록 재생부(1233)는, 그 오디오 데이터의 부호화 데이터와 비디오 데이터의 부호화 데이터를 멀티플렉서에 의해 합성한다. 기록 재생부(1233)는, 그 합성 데이터를 채널 코딩하여 증폭하고, 그 데이터를, 기록 헤드를 통하여 하드 디스크에 기입한다.

기록 재생부(1233)는 재생 헤드를 통하여 하드 디스크에 기록되어 있는 데이터를 재생하고, 증폭하고, 디멀티플렉서에 의해 오디오 데이터와 비디오 데이터로 분리한다. 기록 재생부(1233)는 디코더(1252)에 의해 오디오 데이터 및 비디오 데이터를 디코드한다. 기록 재생부(1233)는 복호한 오디오 데이터를 D/A 변환하고, 모니터(1260)의 스피커에 출력한다. 또한, 기록 재생부(1233)는 복호한 비디오 데이터를 D/A 변환하고, 모니터(1260)의 디스플레이에 출력한다.

레코더 제어부(1226)는 수신부(1221)를 통하여 수신되는 리모트 컨트롤러로부터의 적외선 신호에 의해 나타내어지는 유저 지시에 기초하여, EPG 데이터 메모리(1227)로부터 최신의 EPG 데이터를 판독하고, 그것을 OSD 제어부(1231)에 공급한다. OSD 제어부(1231)는 입력된 EPG 데이터에 대응하는 화상 데이터를 발생하고, 디스플레이 제어부(1232)에 출력한다. 디스플레이 제어부(1232)는 OSD 제어부(1231)로부터 입력된 비디오 데이터를 모니터(1260)의 디스플레이에 출력하고, 표시시킨다. 이에 의해, 모니터(1260)의 디스플레이에는, EPG(전자 프로그램 가이드)가 표시된다.

또한, 하드 디스크 레코더(1200)는 인터넷 등의 네트워크를 통하여 다른 장치로부터 공급되는 비디오 데이터, 오디오 데이터, 또는 EPG 데이터 등의 각종 데이터를 취득할 수 있다.

통신부(1235)는 레코더 제어부(1226)에 제어되고, 네트워크를 통하여 다른 장치로부터 송신되는 비디오 데이터, 오디오 데이터 및 EPG 데이터 등의 부호화 데이터를 취득하고, 그것을 레코더 제어부(1226)에 공급한다. 레코더 제어부(1226)는, 예를 들면, 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 기록 재생부(1233)에 공급하고, 하드 디스크에 기억시킨다. 이때, 레코더 제어부(1226) 및 기록 재생부(1233)가, 필요에 따라서 재인코드 등의 처리를 행하도록 해도 좋다.

또한, 레코더 제어부(1226)는 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 복호하고, 얻어지는 비디오 데이터를 디스플레이 컨버터(1230)에 공급한다. 디스플레이 컨버터(1230)는 비디오 디코더(1225)로부터 공급되는 비디오 데이터와 마찬가지로, 레코더 제어부(1226)로부터 공급되는 비디오 데이터를 처리하고, 디스플레이 제어부(1232)를 통하여 모니터(1260)에 공급하고, 그 화상을 표시시킨다.

또한, 이 화상 표시에 맞추어, 레코더 제어부(1226)가, 복호한 오디오 데이터를, D/A 컨버터(1234)를 통하여 모니터(1260)에 공급하고, 그 음성을 스피커로부터 출력시키도록 해도 좋다.

또한, 레코더 제어부(1226)는 취득한 EPG 데이터의 부호화 데이터를 복호하고, 복호한 EPG 데이터를 EPG 데이터 메모리(1227)에 공급한다.

이상과 같은 하드 디스크 레코더(1200)는 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더로서 화상 복호 장치(200)를 이용한다. 즉, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더는, 화상 복호 장치(200)의 경우와 마찬가지로, 화상 부호화 장치(100)로부터 공급되는 부호화 데이터로부터 추출한, 화상 부호화 장치(100)에 있어서 샘플링이 행해졌는지 여부의 통지나 샘플링 방식 및 보간 방식의 지정 등의 정보를 이용하여, 인접 화소의 샘플링이나 보간 처리를 필요에 따라서 행하고, 그 인접 화소를 이용하여 예측 화상을 생성하고, 그 예측 화상을 이용하여 잔차 정보로부터 복호 화상 데이터를 생성한다. 따라서, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더는, 화면 내 예측에 필요한 메모리량을 저감시킬 수 있다.

따라서, 하드 디스크 레코더(1200)는, 예를 들면, 튜너나 통신부(1235)가 수신하는 비디오 데이터(부호화 데이터)나, 기록 재생부(1233)가 재생하는 비디오 데이터(부호화 데이터)를 복호할 때의 화면 내 예측에 필요한 메모리량을 저감시킬 수 있어, 리얼타임 처리를 보다 낮은 코스트로 실현할 수 있다.

또한, 하드 디스크 레코더(1200)는 인코더(1251)로서 화상 부호화 장치(100)를 이용한다. 따라서, 인코더(1251)는 화상 부호화 장치(100)의 경우와 마찬가지로, 화상 데이터로부터 추출한 특징량에 기초하여 인접 화소의 샘플링을 행할지 여부의 결정, 행하는 경우는 그 샘플링 방식이나 보간 처리의 방식의 결정 등을 행하고, 필요에 따라서 인접 화소를 샘플링하여 기억한다. 인코더(1251)는 인트라 예측을 행할 때에, 그 인접 화소를 판독하고, 필요에 따라서 보간 처리를 행하고, 인접 화소를 재구성한다. 그리고 인코더(1251)는 재구성된 인접 화소를 이용하여 예측 화상을 생성하고, 그 예측 화상을 이용하여 잔차 정보로부터 부호화 데이터를 생성한다. 따라서, 인코더(1251)는 화면 내 예측에 필요한 메모리량을 저감시킬 수 있다.

따라서, 하드 디스크 레코더(1200)는, 예를 들면, 하드 디스크에 기록하는 부호화 데이터를 생성할 때의, 화면 내 예측에 필요한 메모리량을 저감시킬 수 있어, 리얼타임 처리를 보다 낮은 코스트로 실현할 수 있다.

또한, 이상에 있어서는, 비디오 데이터나 오디오 데이터를 하드 디스크에 기록하는 하드 디스크 레코더(1200)에 대해서 설명하였지만, 물론, 기록 매체는 어떠한 것이어도 좋다. 예를 들면 플래시 메모리, 광 디스크, 또는 비디오 테이프 등, 하드 디스크 이외의 기록 매체를 적용하는 레코더라도, 상술한 하드 디스크 레코더(1200)의 경우와 마찬가지로, 화상 부호화 장치(100) 및 화상 복호 장치(200)를 적용할 수 있다.

<7. 제7 실시 형태>

[카메라]

도 27은, 화상 부호화 장치(100) 및 화상 복호 장치(200)를 이용하는 카메라의 주된 구성예를 도시하는 블록도이다.

도 27에 도시되는 카메라(1300)는 피사체를 촬상하고, 피사체의 화상을 LCD(1316)에 표시시키거나, 그것을 화상 데이터로서, 기록 미디어(1333)에 기록하거나 한다.

렌즈 블록(1311)은 광(즉, 피사체의 영상)을, CCD/CMOS(1312)에 입사시킨다. CCD/CMOS(1312)는 CCD 또는 CMOS를 이용한 이미지 센서이고, 수광한 광의 강도를 전기 신호로 변환하고, 카메라 신호 처리부(1313)에 공급한다.

카메라 신호 처리부(1313)는 CCD/CMOS(1312)로부터 공급된 전기 신호를, Y, Cr, Cb의 색차 신호로 변환하고, 화상 신호 처리부(1314)에 공급한다. 화상 신호 처리부(1314)는 컨트롤러(1321)의 제어 하에, 카메라 신호 처리부(1313)로부터 공급된 화상 신호에 대하여 소정의 화상 처리를 실시하거나, 그 화상 신호를 인코더(1341)로 부호화하거나 한다. 화상 신호 처리부(1314)는 화상 신호를 부호화하여 생성한 부호화 데이터를, 디코더(1315)에 공급한다. 또한, 화상 신호 처리부(1314)는 온 스크린 디스플레이(OSD)(1320)에 있어서 생성된 표시용 데이터를 취득하고, 그것을 디코더(1315)에 공급한다.

이상의 처리에 있어서, 카메라 신호 처리부(1313)는 버스(1317)를 통하여 접속되는 DRAM(Dynamic Random Access Memory)(1318)을 적절히 이용하고, 필요에 따라서 화상 데이터나, 그 화상 데이터가 부호화된 부호화 데이터 등을 그 DRAM(1318)으로 유지시킨다.

디코더(1315)는 화상 신호 처리부(1314)로부터 공급된 부호화 데이터를 복호하고, 얻어진 화상 데이터(복호 화상 데이터)를 LCD(1316)에 공급한다. 또한, 디코더(1315)는 화상 신호 처리부(1314)로부터 공급된 표시용 데이터를 LCD(1316)에 공급한다. LCD(1316)는 디코더(1315)로부터 공급된 복호 화상 데이터의 화상과 표시용 데이터의 화상을 적절히 합성하고, 그 합성 화상을 표시한다.

온 스크린 디스플레이(1320)는 컨트롤러(1321)의 제어 하에, 기호, 문자, 또는 도형으로 이루어지는 메뉴 화면이나 아이콘 등의 표시용 데이터를, 버스(1317)를 통하여 화상 신호 처리부(1314)에 출력한다.

컨트롤러(1321)는, 유저가 조작부(1322)를 이용하여 명령한 내용을 나타내는 신호에 기초하여, 각종 처리를 실행함과 함께, 버스(1317)를 통하여, 화상 신호 처리부(1314), DRAM(1318), 외부 인터페이스(1319), 온 스크린 디스플레이(1320) 및 미디어 드라이브(1323) 등을 제어한다. FLASH ROM(1324)에는, 컨트롤러(1321)가 각종 처리를 실행하는 점에서 필요한 프로그램이나 데이터 등이 저장된다.

예를 들면, 컨트롤러(1321)는 화상 신호 처리부(1314)나 디코더(1315)를 대신하여, DRAM(1318)에 기억되어 있는 화상 데이터를 부호화하거나, DRAM(1318)에 기억되어 있는 부호화 데이터를 복호하거나 할 수 있다. 이때, 컨트롤러(1321)는 화상 신호 처리부(1314)나 디코더(1315)의 부호화ㆍ복호 방식과 마찬가지의 방식에 의해 부호화ㆍ복호 처리를 행하도록 해도 좋고, 화상 신호 처리부(1314)나 디코더(1315)가 대응하고 있지 않은 방식에 의해 부호화ㆍ복호 처리를 행하도록 해도 좋다.

또한, 예를 들면, 조작부(1322)로부터 화상 인쇄의 개시가 지시된 경우, 컨트롤러(1321)는 DRAM(1318)으로부터 화상 데이터를 판독하고, 그것을, 버스(1317)를 통하여 외부 인터페이스(1319)에 접속되는 프린터(1334)에 공급하여 인쇄시킨다.

또한, 예를 들면, 조작부(1322)로부터 화상 기록이 지시된 경우, 컨트롤러(1321)는 DRAM(1318)으로부터 부호화 데이터를 판독하고, 그것을, 버스(1317)를 통하여 미디어 드라이브(1323)에 장착되는 기록 미디어(1333)에 공급하여 기억시킨다.

기록 미디어(1333)는, 예를 들면, 자기 디스크, 광 자기 디스크, 광 디스크, 또는 반도체 메모리 등의, 판독 기입 가능한 임의의 리무버블 미디어이다. 기록 미디어(1333)는, 물론, 리무버블 미디어로서의 종류도 임의이고, 테이프 디바이스이어도 좋고, 디스크이어도 좋고, 메모리 카드이어도 좋다. 물론, 비접촉 IC 카드 등이어도 좋다.

또한, 미디어 드라이브(1323)와 기록 미디어(1333)를 일체화하고, 예를 들면, 내장형 하드 디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성의 기억 매체에 의해 구성되도록 해도 좋다.

외부 인터페이스(1319)는, 예를 들면, USB 입출력 단자 등으로 구성되고, 화상의 인쇄를 행하는 경우에, 프린터(1334)와 접속된다. 또한, 외부 인터페이스(1319)에는, 필요에 따라서 드라이브(1331)가 접속되고, 자기 디스크, 광 디스크, 혹은 광 자기 디스크 등의 리무버블 미디어(1332)가 적절히 장착되고, 그들로부터 판독된 컴퓨터 프로그램이, 필요에 따라서, FLASH ROM(1324)에 인스톨된다.

또한, 외부 인터페이스(1319)는 LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 컨트롤러(1321)는, 예를 들면, 조작부(1322)로부터의 지시에 따라서, DRAM(1318)으로부터 부호화 데이터를 판독하고, 그것을 외부 인터페이스(1319)로부터, 네트워크를 통하여 접속되는 다른 장치에 공급시킬 수 있다. 또한, 컨트롤러(1321)는 네트워크를 통하여 다른 장치로부터 공급되는 부호화 데이터나 화상 데이터를, 외부 인터페이스(1319)를 통하여 취득하고, 그것을 DRAM(1318)으로 유지시키거나, 화상 신호 처리부(1314)에 공급하거나 할 수 있다.

이상과 같은 카메라(1300)는 디코더(1315)로서 화상 복호 장치(200)를 이용한다. 즉, 디코더(1315)는 화상 복호 장치(200)의 경우와 마찬가지로, 화상 부호화 장치(100)로부터 공급되는 부호화 데이터로부터 추출한, 화상 부호화 장치(100)에 있어서 샘플링이 행해졌는지 여부의 통지나 샘플링 방식 및 보간 방식의 지정 등의 정보를 이용하여, 인접 화소의 샘플링이나 보간 처리를 필요에 따라서 행하고, 그 인접 화소를 이용하여 예측 화상을 생성하고, 그 예측 화상을 이용하여 잔차 정보로부터 복호 화상 데이터를 생성한다. 따라서, 디코더(1315)는 화면 내 예측에 필요한 메모리량을 저감시킬 수 있다.

따라서, 카메라(1300)는, 예를 들면, CCD/CMOS(1312)에 있어서 생성되는 화상 데이터나, DRAM(1318) 또는 기록 미디어(1333)로부터 판독하는 비디오 데이터의 부호화 데이터나, 네트워크를 통하여 취득하는 비디오 데이터의 부호화 데이터를 복호할 때의 화면 내 예측에 필요한 메모리량을 저감시킬 수 있어, 리얼타임 처리를 보다 낮은 코스트로 실현할 수 있다.

또한, 카메라(1300)는 인코더(1341)로서 화상 부호화 장치(100)를 이용한다. 인코더(1341)는 화상 부호화 장치(100)의 경우와 마찬가지로, 화상 데이터로부터 추출한 특징량에 기초하여 인접 화소의 샘플링을 행할지 여부의 결정, 행하는 경우는 그 샘플링 방식이나 보간 처리의 방식의 결정 등을 행하고, 필요에 따라서 인접 화소를 샘플링하여 기억한다. 인코더(1341)는 인트라 예측을 행할 때에, 그 인접 화소를 판독하고, 필요에 따라서 보간 처리를 행하고, 인접 화소를 재구성한다. 그리고 인코더(1341)는 재구성된 인접 화소를 이용하여 예측 화상을 생성하고, 그 예측 화상을 이용하여 잔차 정보로부터 부호화 데이터를 생성한다. 따라서, 인코더(1341)는 화면 내 예측에 필요한 메모리량을 저감시킬 수 있다.

따라서, 카메라(1300)는, 예를 들면, DRAM(1318)이나 기록 미디어(1333)에 기록하는 부호화 데이터나, 다른 장치에 제공하는 부호화 데이터를 생성할 때의 화면 내 예측에 필요한 메모리량을 저감시킬 수 있어, 리얼타임 처리를 보다 낮은 코스트로 실현할 수 있다.

또한, 컨트롤러(1321)가 행하는 복호 처리에 화상 복호 장치(200)의 복호 방법을 적용하도록 해도 좋다. 마찬가지로, 컨트롤러(1321)가 행하는 부호화 처리에 화상 부호화 장치(100)의 부호화 방법을 적용하도록 해도 좋다.

또한, 카메라(1300)가 촬상하는 화상 데이터는 동화상이어도 좋고, 정지 화상이어도 좋다.

물론, 화상 부호화 장치(100) 및 화상 복호 장치(200)는, 상술한 장치 이외의 장치나 시스템에도 적용 가능하다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1) 부호화되는 화상의 수평 방향의 사이즈 또는 상기 화상을 분할한 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행하는 샘플링부와,

상기 샘플링부에 의해 샘플링된 상기 화소값을 이용하여 보간 처리를 행하고, 상기 인접 화소를 재구성하는 재구성부와,

상기 재구성부에 의해 재구성된 상기 인접 화소를 이용하여 상기 화면 내 예측을 행하고, 예측 화상을 생성하는 예측 화상 생성부와,

상기 예측 화상 생성부에 의해 생성된 상기 예측 화상을 이용하여, 상기 화상을 부호화하는 부호화부

를 구비하는 화상 처리 장치.

(2) 상기 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행할지를 결정하는 결정부를 더 구비하고,

상기 샘플링부는, 상기 결정부에 의해 상기 샘플링을 행하는 것이 결정된 경우에, 상기 샘플링을 행하는

상기 (1)에 기재된 화상 처리 장치.

(3) 상기 결정부는, 상기 화상의 내용 또는 상기 화상을 부호화할 때의 픽쳐 타입에 따라서, 상기 샘플링을 행할지를 결정하는

상기 (2)에 기재된 화상 처리 장치.

(4) 상기 결정부에 의해 상기 샘플링을 행하는 것이 결정된 경우, 상기 화상의 수평 방향의 사이즈 또는 상기 영역의 수직 방향의 사이즈에 따라서, 상기 샘플링의 방법을 결정하는 샘플링 방법 결정부를 더 구비하고,

상기 샘플링부는, 상기 샘플링 방법 결정부에 의해 결정된 방법으로 상기 샘플링을 행하는

상기 (2)에 기재된 화상 처리 장치.

(5) 상기 샘플링 방법 결정부는, 상기 화상의 내용에 따라서 상기 샘플링의 방법을 결정하는

상기 (4)에 기재된 화상 처리 장치.

(6) 상기 샘플링 방법 결정부는, 상기 화상을 부호화할 때의 픽쳐 타입에 따라서 상기 샘플링의 방법을 결정하는

상기 (4)에 기재된 화상 처리 장치.

(7) 상기 샘플링 방법 결정부는, 상기 보간 처리의 방법을 결정하고,

상기 재구성부는, 상기 샘플링 방법 결정부에 의해 결정된 상기 보간 처리의 방법으로 상기 보간 처리를 행하여 상기 인접 화소를 재구성하는

상기 (4) 내지 (6) 중 어느 하나에 기재된 화상 처리 장치.

(8) 상기 샘플링부는, 상기 영역마다 분할된 상기 화상을 대상으로 하여, 가장 하측 화소행의 일부와 가장 우측 화소열의 일부를 샘플링하는

상기 (1) 내지 (7) 중 어느 하나에 기재된 화상 처리 장치.

(9) 상기 샘플링부는, 상기 영역마다 분할된 상기 화상을 대상으로 하여, 가장 하측 화소행의 일부를 샘플링하는

상기 (1) 내지 (7) 중 어느 하나에 기재된 화상 처리 장치.

(10) 상기 화상의 특징량을 추출하는 특징량 추출부를 더 구비하고,

상기 결정부는, 상기 특징량 추출부에 의해 상기 화상의 특징량으로서 추출된, 상기 화상의 수평 방향의 사이즈 또는 상기 영역의 수직 방향의 사이즈에 따라서, 상기 샘플링을 행할지를 결정하는

상기 (1) 내지 (9) 중 어느 하나에 기재된 화상 처리 장치.

(11) 상기 부호화부는, 상기 예측 화상 생성부에 의해 생성된 상기 예측 화상과, 상기 영역마다의 화상의 차분 정보를 부호화하여 얻어지는 부호화 데이터와, 상기 샘플링부에 의해 상기 샘플링이 행해졌는지를 나타내는 정보를 전송하는

상기 (1) 내지 (10) 중 어느 하나에 기재된 화상 처리 장치.

(12) 상기 부호화부는, 상기 차분 정보를 부호화하여 얻어지는 부호화 데이터와, 상기 샘플링부에 의해 행해진 상기 샘플링의 방법을 나타내는 정보를 전송하는

상기 (11)에 기재된 화상 처리 장치.

(13) 화상 처리 장치의 화상 처리 방법으로서,

샘플링부가, 부호화되는 화상의 수평 방향의 사이즈 또는 상기 화상을 행렬 형상으로 분할하는 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행하고,

재구성부가, 샘플링된 화소값을 이용하여 보간 처리를 행하여, 상기 인접 화소를 재구성하고,

예측 화상 생성부가, 재구성된 상기 인접 화소를 이용하여 상기 화면 내 예측을 행하고, 예측 화상을 생성하고,

부호화부가, 생성된 상기 예측 화상을 이용하여, 상기 화상을 부호화하는

화상 처리 방법.

(14) 화상이 부호화된 부호화 데이터를 복호하는 복호부와,

상기 복호부에 의해 상기 부호화 데이터가 복호되어 얻어진 화상의 수평 방향의 사이즈 또는 상기 화상을 분할한 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행하는 샘플링부와,

상기 샘플링부에 의해 샘플링된 상기 화소값을 이용하여 보간 처리를 행하고, 상기 인접 화소를 재구성하는 재구성부와,

상기 재구성부에 의해 재구성된 상기 인접 화소를 이용하여 상기 화면 내 예측을 행하고, 예측 화상을 생성하는 예측 화상 생성부

를 구비하는 화상 처리 장치.

(15) 상기 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행할지를 결정하는 결정부와,

상기 결정부에 의해 상기 샘플링을 행하는 것이 결정된 경우, 상기 화상의 수평 방향의 사이즈 또는 상기 영역의 수직 방향의 사이즈에 따라서, 상기 샘플링의 방법을 결정하는 샘플링 방법 결정부

를 더 구비하고,

상기 샘플링부는, 상기 결정부에 의해 상기 샘플링을 행하는 것이 결정된 경우, 상기 샘플링 방법 결정부에 의해 결정된 방법으로 상기 샘플링을 행하는

상기 (14)에 기재된 화상 처리 장치.

(16) 상기 샘플링부는, 상기 영역마다 분할된 상기 화상을 대상으로 하여, 가장 하측 화소행의 일부와 가장 우측 화소열의 일부를 샘플링하는

상기 (14) 또는 (15)에 기재된 화상 처리 장치.

(17) 상기 샘플링부는, 상기 영역마다 분할된 상기 화상을 대상으로 하여, 가장 하측 화소행의 일부를 샘플링하는

상기 (14) 또는 (15)에 기재된 화상 처리 장치.

(18) 상기 복호부는, 전송된, 상기 예측 화상과, 상기 영역마다의 화상의 차분 정보를 부호화하여 얻어지는 부호화 데이터와, 상기 샘플링부에 의해 상기 샘플링이 행해졌는지를 나타내는 정보를 취득하는

상기 (14) 내지 (17) 중 어느 하나에 기재된 화상 처리 장치.

(19) 상기 복호부는, 전송된, 상기 차분 정보를 부호화하여 얻어지는 부호화 데이터와, 상기 샘플링부에 의해 행해진 상기 샘플링의 방법을 나타내는 정보를 취득하는

상기 (18)에 기재된 화상 처리 장치.

(20) 화상 처리 장치의 화상 처리 방법으로서,

복호부가, 화상이 부호화된 부호화 데이터를 복호하고,

샘플링부가, 상기 부호화 데이터가 복호되어 얻어진 화상의 수평 방향의 사이즈 또는 상기 화상을 분할한 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행하고,

재구성부가, 샘플링된 화소값을 이용하여 보간 처리를 행하여, 상기 인접 화소를 재구성하고,

예측 화상 생성부가, 재구성된 상기 인접 화소를 이용하여 상기 화면 내 예측을 행하고, 예측 화상을 생성하는

화상 처리 방법.

100 : 화상 부호화 장치
114 : 인트라 예측부
121 : 특징량 추출부
122 : 샘플링 실행 결정부
123 : 샘플링 방식 결정부
151 : 샘플링부
152 : 재구성 화소 기억부
153 : 인접 화소 재구성부
154 : 예측 화면 생성부
200 : 화상 복호 장치
211 : 인트라 예측부
231 : 제어부
232 : 샘플링부
233 : 재구성 화소 기억부
234 : 인접 화소 재구성부
235 : 예측 화상 생성부

Claims (20)

1. 부호화되는 화상의 수평 방향의 사이즈 또는 상기 화상을 분할한 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행하는 샘플링부와,
   상기 샘플링부에 의해 샘플링된 상기 화소값을 이용하여 보간 처리를 행하고, 상기 인접 화소를 재구성하는 재구성부와,
   상기 재구성부에 의해 재구성된 상기 인접 화소를 이용하여 상기 화면 내 예측을 행하고, 예측 화상을 생성하는 예측 화상 생성부와,
   상기 예측 화상 생성부에 의해 생성된 상기 예측 화상을 이용하여, 상기 화상을 부호화하는 부호화부
   를 구비하는 화상 처리 장치.
2. 제1항에 있어서,
   상기 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행할지를 결정하는 결정부를 더 구비하고,
   상기 샘플링부는, 상기 결정부에 의해 상기 샘플링을 행하는 것이 결정된 경우에, 상기 샘플링을 행하는 화상 처리 장치.
3. 제2항에 있어서,
   상기 결정부는, 상기 화상의 내용 또는 상기 화상을 부호화할 때의 픽쳐 타입에 따라서, 상기 샘플링을 행할지를 결정하는 화상 처리 장치.
4. 제2항에 있어서,
   상기 결정부에 의해 상기 샘플링을 행하는 것이 결정된 경우, 상기 화상의 수평 방향의 사이즈 또는 상기 영역의 수직 방향의 사이즈에 따라서, 상기 샘플링의 방법을 결정하는 샘플링 방법 결정부를 더 구비하고,
   상기 샘플링부는, 상기 샘플링 방법 결정부에 의해 결정된 방법으로 상기 샘플링을 행하는 화상 처리 장치.
5. 제4항에 있어서,
   상기 샘플링 방법 결정부는, 상기 화상의 내용에 따라서 상기 샘플링의 방법을 결정하는 화상 처리 장치.
6. 제4항에 있어서,
   상기 샘플링 방법 결정부는, 상기 화상을 부호화할 때의 픽쳐 타입에 따라서 상기 샘플링의 방법을 결정하는 화상 처리 장치.
7. 제4항에 있어서,
   상기 샘플링 방법 결정부는, 상기 보간 처리의 방법을 결정하고,
   상기 재구성부는, 상기 샘플링 방법 결정부에 의해 결정된 상기 보간 처리의 방법으로 상기 보간 처리를 행하여 상기 인접 화소를 재구성하는 화상 처리 장치.
8. 제1항에 있어서,
   상기 샘플링부는, 상기 영역마다 분할된 상기 화상을 대상으로 하여, 가장 하측 화소행의 일부와 가장 우측 화소열의 일부를 샘플링하는 화상 처리 장치.
9. 제1항에 있어서,
   상기 샘플링부는, 상기 영역마다 분할된 상기 화상을 대상으로 하여, 가장 하측 화소행의 일부를 샘플링하는 화상 처리 장치.
10. 제1항에 있어서,
    상기 화상의 특징량을 추출하는 특징량 추출부를 더 구비하고,
    상기 결정부는, 상기 특징량 추출부에 의해 상기 화상의 특징량으로서 추출된, 상기 화상의 수평 방향의 사이즈 또는 상기 영역의 수직 방향의 사이즈에 따라서, 상기 샘플링을 행할지를 결정하는 화상 처리 장치.
11. 제1항에 있어서,
    상기 부호화부는, 상기 예측 화상 생성부에 의해 생성된 상기 예측 화상과, 상기 영역마다의 화상의 차분 정보를 부호화하여 얻어지는 부호화 데이터와, 상기 샘플링부에 의해 상기 샘플링이 행해졌는지를 나타내는 정보를 전송하는 화상 처리 장치.
12. 제11항에 있어서,
    상기 부호화부는, 상기 차분 정보를 부호화하여 얻어지는 부호화 데이터와, 상기 샘플링부에 의해 행해진 상기 샘플링의 방법을 나타내는 정보를 전송하는 화상 처리 장치.
13. 화상 처리 장치의 화상 처리 방법으로서,
    샘플링부가, 부호화되는 화상의 수평 방향의 사이즈 또는 상기 화상을 행렬 형상으로 분할하는 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행하고,
    재구성부가, 샘플링된 화소값을 이용하여 보간 처리를 행하여, 상기 인접 화소를 재구성하고,
    예측 화상 생성부가, 재구성된 상기 인접 화소를 이용하여 상기 화면 내 예측을 행하고, 예측 화상을 생성하고,
    부호화부가, 생성된 상기 예측 화상을 이용하여, 상기 화상을 부호화하는
    화상 처리 방법.
14. 화상이 부호화된 부호화 데이터를 복호하는 복호부와,
    상기 복호부에 의해 상기 부호화 데이터가 복호되어 얻어진 화상의 수평 방향의 사이즈 또는 상기 화상을 분할한 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행하는 샘플링부와,
    상기 샘플링부에 의해 샘플링된 상기 화소값을 이용하여 보간 처리를 행하고, 상기 인접 화소를 재구성하는 재구성부와,
    상기 재구성부에 의해 재구성된 상기 인접 화소를 이용하여 상기 화면 내 예측을 행하고, 예측 화상을 생성하는 예측 화상 생성부
    를 구비하는 화상 처리 장치.
15. 제14항에 있어서,
    상기 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행할지를 결정하는 결정부와,
    상기 결정부에 의해 상기 샘플링을 행하는 것이 결정된 경우, 상기 화상의 수평 방향의 사이즈 또는 상기 영역의 수직 방향의 사이즈에 따라서, 상기 샘플링의 방법을 결정하는 샘플링 방법 결정부
    를 더 구비하고,
    상기 샘플링부는, 상기 결정부에 의해 상기 샘플링을 행하는 것이 결정된 경우, 상기 샘플링 방법 결정부에 의해 결정된 방법으로 상기 샘플링을 행하는 화상 처리 장치.
16. 제14항에 있어서,
    상기 샘플링부는, 상기 영역마다 분할된 상기 화상을 대상으로 하여, 가장 하측 화소행의 일부와 가장 우측 화소열의 일부를 샘플링하는 화상 처리 장치.
17. 제14항에 있어서,
    상기 샘플링부는, 상기 영역마다 분할된 상기 화상을 대상으로 하여, 가장 하측 화소행의 일부를 샘플링하는 화상 처리 장치.
18. 제14항에 있어서,
    상기 복호부는, 전송된, 상기 예측 화상과, 상기 영역마다의 화상의 차분 정보를 부호화하여 얻어지는 부호화 데이터와, 상기 샘플링부에 의해 상기 샘플링이 행해졌는지를 나타내는 정보를 취득하는 화상 처리 장치.
19. 제18항에 있어서,
    상기 복호부는, 전송된, 상기 차분 정보를 부호화하여 얻어지는 부호화 데이터와, 상기 샘플링부에 의해 행해진 상기 샘플링의 방법을 나타내는 정보를 취득하는 화상 처리 장치.
20. 화상 처리 장치의 화상 처리 방법으로서,
    복호부가, 화상이 부호화된 부호화 데이터를 복호하고,
    샘플링부가, 상기 부호화 데이터가 복호되어 얻어진 화상의 수평 방향의 사이즈 또는 상기 화상을 분할한 영역의 수직 방향의 사이즈에 따라서, 화면 내 예측에 있어서 인접 화소로서 사용되는 화소값을 씨닝하는 샘플링을 행하고,
    재구성부가, 샘플링된 화소값을 이용하여 보간 처리를 행하여, 상기 인접 화소를 재구성하고,
    예측 화상 생성부가, 재구성된 상기 인접 화소를 이용하여 상기 화면 내 예측을 행하고, 예측 화상을 생성하는
    화상 처리 방법.

Images