KR20100021671A

KR20100021671A - 화상 부호화 방법

Info

Publication number: KR20100021671A
Application number: KR1020107002318A
Authority: KR
Inventors: 신야 가도노; 유지 노토야
Original assignee: 파나소닉 주식회사
Priority date: 2003-01-17
Filing date: 2003-12-09
Publication date: 2010-02-25
Also published as: EP2192778A1; ATE557537T1; CN101540913A; TWI287403B; EP2211551B1; KR20080096584A; KR20100021670A; AU2003289254A1; EP2211549B1; KR100963359B1; JP5242719B2; CN101577829A; MY137344A; JP2008211854A; KR100963360B1; EP2211550A2; US20090316781A1; EP2192778B1; TW200423739A; EP2211548A3

Abstract

복수의 픽처를 1개의 랜덤 액세스 유닛(RAU)으로서 취급하여, 그 랜덤 액세스 유닛(RAU)에 포함되는 모든 픽처(pic)의 복호에 사용되는 픽처 파라미터 세트(PPS) 및 시퀀스 파라미터 세트(SPS)를 부호화하는 부호화 단계(S102, S103)와, 부호화 단계(S102, S103)에서 부호화된 파라미터 세트(PPS, SPS)를, 그 랜덤 액세스 유닛(RAU)에 배치하는 파라미터 세트 배치 단계(S104)를 포함한다.

Description

화상 부호화 방법{VIDEO ENCODING METHOD}

본 발명은, 화상을 부호화하는 화상 부호화 방법에 관한 것이다.

최근 음성이나 화상, 그 밖의 화소값을 통합적으로 취급하는 멀티미디어 시대를 맞이하여, 종래부터의 정보 미디어, 즉 신문이나 잡지, TV, 라디오, 전화 등의 정보를 사람에게 전달하는 수단이 멀티미디어의 대상으로서 거론되게 되었다.

일반적으로, 멀티미디어란 문자뿐만 아니라, 도형, 음성, 특히 화상 등을 동시에 관련지어 표시하는 것을 말하는데, 상기 종래의 정보 미디어를 멀티미디어의 대상으로 하기 위해서는, 그 정보를 디지털 형식으로 하여 표시하는 것이 필수 조건이 된다.

그런데, 상기 각 정보 미디어가 갖는 정보량을 디지털 정보량으로서 어림잡아 보면, 문자의 경우에는 1문자당의 정보량은 1∼2바이트인 것에 비해, 음성의 경우에는 1초당 64Kbits(전화 품질), 또한 동화상에 대해서는 1초당 100Mbits(현행 TV 수신 품질) 이상의 정보량이 필요해져, 상기 정보 미디어의 방대한 정보를 디지털 형식으로 그대로 취급하는 것은 현실적이지 않다. 예를 들면, TV 전화는 64Kbits/s∼1.5Mbits/s의 전송 속도를 갖는 서비스 종합 디지털망(ISDN : Integrated Services Digital Network)에 의해 이미 실용화되어 있지만, TV·카메라의 영상을 그대로 ISDN으로 보내는 것은 불가능하다.

그래서, 필요해지는 것이 정보의 압축 기술이며, 예를 들면 TV 전화의 경우, ITU-T(국제전기통신연합 전기통신 표준화 부문)에서 권고된 H. 261이나 H. 263 규격의 동화상 압축 기술이 사용되고 있다. 또, MPEG-1 규격의 정보 압축 기술에 의하면, 통상의 음악용 CD(컴팩트 디스크)에 음성 정보와 함께 화상 정보를 넣는 것도 가능해진다.

여기서, MPEG(Moving Picture Experts Group)란, ISO/IEC(국제표준화기구 국제전기표준회의)에서 표준화된 동화상 신호 압축의 국제 규격이며, MPEG-1은 동화상 신호를 1.5Mbps까지, 즉 TV 신호의 정보를 약 100분의 1로까지 압축하는 규격이다. 또, MPEG-1 규격에서는 대상으로 하는 품질을 전송 속도를 주로 약 1.5Mbps로 실현할 수 있을 정도의 중간 정도의 품질로 했으므로, 한층의 고화질화의 요구를 만족시키도록 규격화된 MPEG-2에서는, 동화상 신호를 2∼15Mbps로 TV 방송 품질을 실현한다. 또한 현상황에서는, MPEG-1, MPEG-2로 표준화를 진행시켜 온 작업 그룹(ISO/IEC JTC1/SC29/WG11)에 의해, MPEG-1, MPEG-2를 상회하는 압축률을 달성하고, 또한 물체 단위로 부호화·복호화·조작을 가능하게 하여, 멀티미디어 시대에 필요한 새로운 기능을 실현하는 MPEG-4가 규격화되었다. MPEG-4에서는, 당초 저 비트 레이트의 부호화 방법의 표준화를 목표로 하여 진행되었으나, 현재는 인터레이스 화상도 포함하는 고 비트 레이트도 포함하는, 보다 범용적인 부호화로 확장되고 있다. 또한 현재는, ISO/IEC와 ITU-T가 공동으로 보다 고 압축률의 차세대 화상 부호화 방식으로서, MPEG-4 AVC 및 ITU H. 264의 표준화 활동이 진행되고 있다. 2002년 8월의 시점에서, 차세대 화상 부호화 방식은 커미티 드래프트(CD)라고 불리는 것으로 발행되고 있다.

일반적으로 동화상의 부호화에서는, 시간 방향 및 공간 방향의 장황성을 삭감함으로써 정보량의 압축을 행한다. 그래서 시간적인 장황성의 삭감을 목적으로 하는 화면간 예측 부호화에서는, 전방 또는 후방의 픽처를 참조하여 블록 단위로 움직임의 검출 및 예측 화상의 작성을 행하여, 얻어진 예측 화상과 부호화 대상 픽처와의 차분값에 대해 부호화를 행한다. 여기서, 픽처란 1장의 화면을 나타내는 용어이고, 프로그레시브 화상에서는 프레임을 의미하여, 인터레이스 화상에서는 프레임 또는 필드를 의미한다. 여기서, 인터레이스 화상이란, 1개의 프레임이 시각이 다른 2개의 필드로 구성되는 화상이다. 인터레이스 화상의 부호화나 복호화 처리에서는, 1개의 프레임을 프레임 그대로 처리하거나, 2개의 필드로 해서 처리하거나, 프레임 내의 블록마다 프레임 구조 또는 필드 구조로 해서 처리하거나 할 수 있다.

참조 픽처를 갖지 않고 화면내 예측 부호화를 행하는 것을 I 픽처라고 부른다. 또, 1장의 픽처만을 참조하여 화면간 예측 부호화를 행하는 것을 P 픽처라고 부른다. 또, 동시에 2장의 픽처를 참조하여 화면간 예측 부호화를 행할 수 있는 것을 B 픽처라고 부른다. B 픽처는 표시 시간이 전방 또는 후방으로부터 임의의 조합으로서 2장의 픽처를 참조하는 것이 가능하다. 참조 픽처는 부호화 및 복호화의 기본 단위인 블록마다 지정할 수 있는데, 부호화를 행한 비트 스트림 중에 먼저 기술되는 쪽의 참조 픽처를 제1 참조 픽처, 후에 기술되는 쪽을 제2 참조 픽처로 해서 구별한다. 단, 이들 픽처를 부호화 및 복호화하는 경우의 조건으로서, 참조하는 픽처가 이미 부호화 및 복호화되어 있을 필요가 있다.

P 픽처 또는 B 픽처의 부호화에는, 움직임 보상 화면간 예측 부호화가 사용되고 있다. 움직임 보상 화면간 예측 부호화란, 화면간 예측 부호화에 움직임 보상을 적용한 부호화 방식이다. 움직임 보상이란, 단순히 참조 픽처의 화소값으로부터 예측하는 것이 아니라, 픽처 내의 각 부의 움직임량(이하, 이것을 움직임 벡터라고 부른다)을 검출하여, 그 움직임 벡터를 고려한 예측을 행함으로써 예측 정밀도를 향상시키는 동시에, 데이터량을 줄이는 방식이다. 예를 들면, 부호화 대상 픽처의 움직임 벡터를 검출하고, 그 움직임 벡터분만큼 시프트한 예측치와 부호화 대상 픽처와의 예측 잔차를 부호화함으로써 데이터량을 줄이고 있다. 이 방식의 경우에는, 복호화시에 움직임 벡터의 정보가 필요하게 되므로, 움직임 벡터도 부호화되어 기록 또는 전송된다.

움직임 벡터는 블록 단위로 검출되어 있고, 구체적으로는 부호화 대상 픽처측의 블록을 고정시켜 두고, 참조 픽처측의 블록을 탐색 범위 내에서 이동시켜, 기준 블록과 가장 유사한 참조 블록의 위치를 찾아냄으로써, 움직임 벡터가 검출된다.

도 1은 종래의 화상 부호화 장치의 구성을 나타낸 블록도이다.

화상 부호화 장치(900)는, 화상 신호(Vin)를 픽처마다 부호화하여 비트 스트림인 화상 부호화 신호(이하, 단순히 스트림이라고 한다)(Str9)를 출력하는 것이며, 움직임 검출부(903)와, 움직임 보상부(905)와, 감산기(906)와, 직교 변환부(907)와, 양자화부(908)와, 역양자화부(910)와, 역직교 변환부(911)와, 가산기(912)와, 픽처 메모리(904)와, 스위치(913)와, 가변길이 부호화부(909)와, 액세스 포인트 결정부(902)를 구비하고 있다. 그리고, 이러한 움직임 검출부(903) 등의 각 구성 요소는, 픽처를 구성하는 블록 단위 또는 매크로 블록 단위로 이하와 같은 처리를 실행한다.

감산기(906)는, 화상 신호(Vin)와 예측 화상(Pre)의 차분을 계산하여 그 차분값을 직교 변환부(907)에 출력한다. 직교 변환부(907)는, 그 차분값을 주파수 계수로 변환하여 양자화부(908)에 출력한다. 양자화부(908)는, 그 주파수 계수를 양자화하여 양자화값을 가변길이 부호화부(909)에 출력한다. 역양자화부(910)는, 그 양자화값을 역양자화하여 주파수 계수로 복원하여, 그 주파수 계수를 역직교 변환부(911)에 출력한다.

역직교 변환부(911)는, 역양자화부(910)로부터 출력된 주파수 계수를 화소 차분값으로 역주파수 변환하여 가산기(912)에 출력한다. 가산기(912)는, 역직교 변환부(911)로부터 출력된 화소 차분값과, 움직임 보상부(905)로부터 출력된 예측 화상(Pre)을 가산하여 복호화 화상을 생성한다. 스위치(913)는, 가산기(912)와 픽처 메모리(904) 사이를 접속함으로써, 가산기(912)에서 생성된 복호화 화상을 픽처 메모리(904)에 저장시킨다. 여기서, 픽처 메모리에 저장되어 있는 복호화 화상을 이하, 단순히 픽처라고 한다.

움직임 검출부(903)는, 픽처 메모리(904)에 격납되어 있는 픽처를 참조 픽처로서 참조하여, 화상 신호(Vin)에 가장 가까운 화상 영역을 그 참조 픽처 중에서 특정한다. 그리고, 움직임 검출부(903)는, 그 화상 영역의 위치를 가리키는 움직임 벡터(MV)를 검출한다.

또한, 움직임 검출부(903)는, 참조 픽처를 지정하기 위한 식별 번호(상대 인덱스(Idx))를 사용함으로써, 복수의 참조 픽처 후보 중에서 어느 참조 픽처가 화상 신호(Vin)에 가까운지를 지정한다.

움직임 보상부(905)는, 움직임 벡터(MV) 및 상대 인덱스(Idx)를 사용해 픽처 메모리(904)에 격납되어 있는 픽처로부터 예측 화상(Pre)에 최적인 화상 영역을 취출한다. 그리고, 움직임 보상부(905)는, 그 취출한 화상 영역으로부터 예측 화상(Pre)을 생성한다.

액세스 포인트 결정부(902)는, 소정 단위(랜덤 액세스 유닛)마다, 소정의 픽처를 특별한 픽처로서 부호화(화면내 부호화)하도록, 움직임 검출부(903) 및 움직임 보상부(905)에 지시한다. 여기서 특별한 픽처란, 스트림(Str9)의 그 픽처의 시점부터 복호화를 가능하게 하는 픽처를 말한다. 또한, 액세스 포인트 결정부(902)는, 그 특별한 픽처인 것을 나타내는 액세스 포인트 식별자(rapp)를 가변길이 부호화부(909)에 출력한다.

가변길이 부호화부(909)는, 외부로부터 취득한 파라미터 세트(PS)와, 움직임 벡터(MV)와, 양자화값과, 상대 인덱스(Idx)와, 액세스 포인트 식별자(rapp)를 부호화하여, 부호화된 파라미터 세트(PS)를 선두측에만 배치한 스트림(Str9)을 생성하고, 그 스트림(Str9)을 출력한다.

도 2는 종래의 화상 부호화 장치(900)가 출력하는 스트림(Str9)의 구성을 나타낸 구성도이다.

스트림(Str9)에는, 선두부터 차례로, 동기 신호(sync)와, 파라미터 세트(PS)와, 복수의 랜덤 액세스 유닛(RAU9)이 포함되어 있다. 이러한 스트림(Str9)은, 현재 ITU-T와 ISO/IEC가 공동으로 표준화중인 JVT(H. 264/MPEG-4 AVC)에 대응하는 것이다.

파라미터 세트(PS)는 헤더에 상당하는 공통 데이터이고, 그 파라미터 세트(PS)에는, 픽처의 헤더에 상당하는 픽처 파라미터 세트(PPS)와, 랜덤 액세스 유닛 (RAU9) 이상의 단위의 헤더에 상당하는 시퀀스 파라미터 세트(SPS)가 포함되어 있다. 여기서, 시퀀스 파라미터 세트(SPS)에는, 최대 참조 가능 픽처 수나 화상 사이즈 등이 포함되어 있고, 픽처 파라미터 세트(PPS)에는, 가변길이 부호화의 타입(하프만 부호화와 산술 부호화의 전환)이나, 양자화 단계의 초기값, 참조 픽처 수 등이 포함되어 있다.

또, 랜덤 액세스 유닛(RAU9)에는, 선두부터 차례로, 동기 신호(sync)와, 부호화된 복수의 픽처(pic)가 포함되어 있다. 이러한 랜덤 액세스 유닛(RAU9)은, 스트림(Str9) 중의 복수의 픽처를 포함하는 1개의 단위이고, 그 중에는 다른 픽처에 의존하지 않고 복호화 가능한 상술한 특별한 픽처를 포함한다. 즉, 랜덤 액세스 유닛(RAU9)은, 특별한 픽처를 포함하는 복수의 픽처의 집합마다 스트림(Str9)이 분할된 것이다.

픽처(pic)에는, 선두부터 차례로, 동기 신호(sync)와, 파라미터 세트 식별자(PSID)와, 복수의 화소 데이터(pix)가 포함되어 있다.

파라미터 세트 식별자(PSID)는, 그 픽처(pic)가 파라미터 세트(PS) 중 어느 시퀀스 파라미터 세트(SPS) 및 픽처 파라미터 세트(PPS)를 참조하는지를 가리키는 것이다.

또, 스트림(Str9)의 선두와 랜덤 액세스 유닛(RAU9)의 선두 및 픽처(pic)의 선두에 포함되는 동기 신호(sync)는 각각, 스트림(Str9)이나 랜덤 액세스 유닛 (RAU9)이나 픽처(pic)의 단위의 구획을 나타내는 것이다.

즉, 종래의 화상 부호화 장치(900)가 화상 신호(Vin)를 부호화하여 스트림(Str9)을 생성하는 화상 부호화 방법에서는, 파라미터 세트(PS)를 모아 부호화하여 스트림(Str9)의 선두측에 배치하고, 그 파라미터 세트(PS)의 뒤에, 픽처 파라미터 세트(PPS) 및 시퀀스 파라미터 세트(SPS)를 포함하지 않는 복수의 랜덤 액세스 유닛(RAU9)이 이어지도록 스트림(Str9)을 생성한다.

이러한 스트림(Str9)이 화상 복호화 장치에서 복호될 때는, 화상 복호화 장치는, 픽처(pic)의 파라미터 세트 식별자(PSID)에 의해 나타내어지는 파라미터 세트(PS) 중의 시퀀스 파라미터 세트(SPS) 및 픽처 파라미터 세트(PPS)를 참조하여, 그 픽처(pic)를 복호한다.

한편, 종래의 MPEG-2의 스트림은, 스트림(Str9)과는 다른 구성을 갖고 있다.

도 3은, 종래의 MPEG-2의 스트림의 구성을 나타낸 구성도이다.

MPEG-2의 스트림(Str8)에는, 선두부터 차례로, 동기 신호(sync)와, 스트림(Str8)의 공통의 데이터인 헤더(hed)와, 복수의 그룹ㆍ오브ㆍ픽처(Group Of Picture)(GOP)가 포함되어 있다.

그룹ㆍ오브ㆍ픽처(GOP)에는, 선두부터 차례로, 동기 신호(sync)와, 그룹ㆍ오브ㆍ픽처(GOP)의 공통의 데이터인 헤더(hed)와, 부호화된 복수의 픽처(pic)가 포함되어 있다.

이러한 그룹ㆍ오브ㆍ픽처(GOP)는, 부호화 처리의 기본 단위이고, 동화상의 편집이나 랜덤 액세스는 이 단위로 행해진다. 또, 그룹ㆍ오브ㆍ픽처(GOP)에 포함되는 픽처(pic)는, I 픽처, P 픽처 또는 B 픽처이다.

픽처(pic)에는, 선두부터 차례로, 동기 신호(sync)와, 픽처(pic)의 공통의 데이터인 헤더(hed)와, 복수의 화소 데이터(pix)가 포함되어 있다.

즉, 종래의 화상 신호(Vin)를 부호화하여 스트림(Str8)을 생성하는 MPEG-2의 화상 부호화 방법에서는, 스트림(Str8)의 선두측, 각 그룹ㆍ오브ㆍ픽처(GOP)의 선두측, 및 각 픽처(pic)의 선두측의 각각에, 픽처(pic)의 복호에 필요한 헤더(hed)를 포함시켜 스트림(Str8)을 생성한다.

그러나, 상기 종래의 화상 부호화 장치(900)의 화상 부호화 방법에는, 파라미터 세트(PS)를 스트림(Str9)의 선두측에 모아 배치하므로, 화상 복호화 장치가 스트림(Str9) 도중의 랜덤 액세스 유닛(RAU9)의 선두, 즉 랜덤 액세스 포인트로부터 복호(랜덤 액세스)를 개시하려고 해도, 예를 들면 스트림(Str9)을 도중에 받아들였기 때문에 파라미터 세트(PS)를 취득할 수 없었던 경우에는, 화상 복호화 장치는 랜덤 액세스를 행할 수 없다고 하는 문제가 있다. 즉, 화상 복호화 장치는, 픽처(pic)를 복호하고자 해도 그것에 대응하는 픽처 파라미터 세트(PPS) 및 시퀀스 파라미터 세트(SPS)가 없기 때문에 그 픽처(pic)를 바르게 복호할 수 없는 것이다.

구체적으로, 스트림(Str9)이 방송·배송처럼 순차 연속적으로 보내어지고 있는 상황에서, 화상 복호화 장치가 그 스트림(Str9)을 도중에 받아들인 경우에는, 스트림(Str9)을 그 도중에 복호화할 수 없다.

또, 스트림(Str9)이 테이프나 디스크 등의 기록 매체에 기입되고 있는 상황에서, 화상 복호화 장치가 그 기록 매체 상의 스트림(Str9)에 대해 랜덤 액세스를 개시하고자 해도, 화상 복호화 장치는, 먼저 기록 매체 상의 스트림(Str9)의 선두측에 배치되어 있는 파라미터 세트(PS)를 읽어들이고, 그 후 랜덤 액세스 포인트로부터의 스트림(Str9)의 읽어들임을 개시하지 않으면 안된다. 즉, 화상 복호화 장치는, 데이터의 독출 위치를, 스트림(Str9)의 선두로부터 랜덤 액세스 포인트로 이동시키지 않으면 안되고, 그 이동 시간이 랜덤 액세스의 대기 시간이 되어 신속한 랜덤 액세스를 할 수 없다는 문제가 있다.

기록 매체가 테이프인 경우에는, 이 대기 시간이 대단히 긴 것은 분명하고, 고속의 읽어들임이 가능한 디스크라도 이 대기 시간은 수 초가 되는 경우가 있어 무시할 수 있는 정도는 아니다.

한편, MPEG-2의 화상 부호화 방법에 의해 생성되는 스트림(Str8)에서는, 화상 복호화 장치는, 그룹ㆍ오브ㆍ픽처(GOP)의 헤더(hed) 및 각 픽처(pic)의 헤더(hed)를 사용함으로써, 스트림(Str8)을 그룹ㆍ오브ㆍ픽처(GOP) 단위로 랜덤 액세스할 수 있다.

그러나, 이러한 스트림(Str8)을 생성하는 화상 부호화 방법에서는, 그룹ㆍ오브ㆍ픽처(GOP)에 포함되는 모든 픽처(pic)의 각각에 헤더(hed)를 포함시키므로, 이들 헤더(hed) 중에는, 다른 헤더(hed)와 같은 값을 갖는 헤더(hed)가 많아, 스트림(Str8)의 압축률은 낮다. 즉, 이 스트림(Str8)을 생성하는 화상 부호화 방법에서는, 랜덤 액세스 가능한 스트림(Str8)을 생성할 수 있는 한편, 부호화 효율을 저하시켜 버린다는 문제가 있다.

그래서 본 발명은, 이러한 문제를 감안하여 이루어진 것이며, 부호화 효율을 저하시키지 않고 신속한 랜덤 액세스가 가능하도록 화상을 부호화하는 화상 부호화방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해서, 본 발명에 따른 화상 부호화 방법은, 화상 신호를 픽처마다 부호화하여 부호화 스트림을 생성하는 화상 부호화 방법으로서, 복수의 픽처를 1개의 액세스 단위로서 취급하여, 상기 액세스 단위에 포함되는 모든 픽처의 복호에 사용되는 파라미터 세트를 부호화하는 부호화 단계와, 상기 부호화 단계에서 부호화된 파라미터 세트를, 상기 부호화 스트림 중에, 상기 액세스 단위마다 배치하는 파라미터 세트 배치 단계를 포함하는 것을 특징으로 한다. 예를 들면, 상기 파라미터 세트 배치 단계에서는, 상기 부호화 스트림 중의 상기 액세스 단위 내에서, 어느 픽처보다도 앞에 상기 파라미터 세트를 배치하는 것을 특징으로 한다.

이에 의해, 파라미터 세트가 부호화 스트림 중에 액세스 단위마다 포함되어 있기 때문에, 화상 복호화 장치는, 이러한 부호화 스트림을 도중에 취득한 경우라도, 취득한 최초의 액세스 단위에 포함되는 파라미터 세트를 사용해, 그 액세스 단위에 포함되는 픽처를 복호할 수 있어, 그 결과 부호화 스트림을 그 액세스 단위로부터 정확하게 복호할 수 있다. 또, 이러한 부호화 스트림이 기억 매체에 기록되어 있고, 화상 복호화 장치가 그 부호화 스트림에 대해 랜덤 액세스를 행하는 경우라도, 화상 복호화 장치는, 종래예처럼 부호화 스트림의 선두로부터 랜덤 액세스의 개시 위치까지 데이터의 독출 위치를 이동시키지 않고, 신속하게 랜덤 액세스를 개시할 수 있다. 또한, 부호화 스트림 중의 픽처마다 그 픽처의 복호에 사용되는 정보를 배치하지 않으므로, 부호화 스트림의 장황성을 억제해 부호화 효율의 저하를 방지할 수 있다.

여기서, 상기 화상 부호화 방법은, 상기 파라미터 세트의 배치 구성을 나타내는 내용의 구성 식별 정보를 생성하는 구성 식별 정보 생성 단계를 더 포함하는 것을 특징으로 해도 된다.

이에 의해, 구성 식별 정보에는 파라미터 세트의 배치 구성이 나타내어짐으로써, 화상 복호화 장치는 그 구성 식별 정보를 참조하여, 부호화 스트림에 대해 액세스 단위로 정확하고 신속한 랜덤 액세스가 가능한 것을 파악하여, 랜덤 액세스를 실행할 수 있다.

또, 상기 파라미터 세트는, 상기 픽처 파라미터 세트를 복수개 포함하여 구성되어 있고, 상기 파라미터 세트 배치 단계에서는, 상기 부호화 스트림 중의 상기 액세스 단위 내에서, 이미 배치가 끝난 픽처 파라미터 세트를 제외하고, 픽처의 직전에 상기 픽처에 대응하는 픽처 파라미터 세트를 배치하는 것을 특징으로 해도 된다.

이에 의해, 부호화한 픽처 파라미터 세트를 그것에 대응하는 픽처의 직전에 배치하므로, 각 픽처 파라미터 세트를 부호화하여 순차적으로 배치할 수 있어, 부호화된 복수의 픽처 파라미터 세트를 축적해 두는 것을 요하지 않아, 화상 부호화 장치를 간단하게 구성할 수 있다.

또, 상기 부호화 단계에서는, 상기 각 픽처 파라미터 세트 중 어느 하나 또는 전부를 복수회 부호화하여, 부호화된 동일한 복수의 픽처 파라미터 세트를 생성하고, 상기 파라미터 세트 배치 단계에서는, 상기 부호화 단계에서 부호화된 동일한 복수의 픽처 파라미터 세트를 동일한 액세스 단위 내에 배치하는 것을 특징으로 해도 된다.

이에 의해, 액세스 단위 내에 동일한 복수의 픽처 파라미터 세트가 포함되기 때문에, 이렇게 부호화된 부호화 스트림을 복호할 때는, 에러의 발생을 방지하여 복호할 수 있다.

또, 본 발명에 따른 화상 부호화 방법은, 화상 신호를 픽처마다 부호화하여 부호화 스트림을 생성하는 화상 부호화 방법으로서, 복수의 픽처를 1개의 액세스 단위로서 취급하여, 상기 액세스 단위에 포함되는 픽처 중, 다른 액세스 단위에 있는 픽처를 참조하여 랜덤 액세스시에는 표시되지 않는 픽처 이외의 모든 픽처의 복호에 사용되는 파라미터 세트를 부호화하는 부호화 단계와, 상기 부호화 단계에서 부호화된 파라미터 세트를, 상기 부호화 스트림 중에, 상기 액세스 단위마다 배치하는 파라미터 세트 배치 단계를 포함하는 것을 특징으로 한다.

이에 의해, 파라미터 세트가 부호화 스트림 중에 액세스 단위마다 포함되어 있으므로, 화상 복호화 장치는, 이러한 부호화 스트림을 도중에 취득한 경우라도, 취득한 최초의 액세스 단위에 포함되는 파라미터 세트를 사용해, 그 액세스 단위에 포함되는 표시의 대상이 되는 픽처를 복호할 수 있어, 그 결과 부호화 스트림을 그 액세스 단위로부터 정확하게 복호할 수 있다. 또, 이러한 부호화 스트림이 기억 매체에 기록되어 있고, 화상 복호화 장치가 그 부호화 스트림에 대해 랜덤 액세스를 행하는 경우라도, 화상 복호화 장치는, 종래예처럼 부호화 스트림의 선두로부터 랜덤 액세스의 개시 위치까지 데이터의 독출 위치를 이동시키지 않고, 신속하게 랜덤 액세스를 개시할 수 있다. 또한, 부호화 스트림 중의 픽처마다 그 픽처의 복호에 사용되는 정보를 배치하지 않기 때문에, 부호화 스트림의 장황성을 억제해 부호화 효율의 저하를 방지할 수 있다.

또한, 본 발명은, 상기 화상 부호화 방법을 사용하는 화상 부호화 장치 및 프로그램이나, 그 화상 부호화 방법에 의해 생성된 부호화 스트림으로서도 실현할 수 있다.

본 발명에 따른 화상 부호화 방법은, 부호화 효율을 저하시키지 않고 신속한 랜덤 액세스가 가능하도록 화상을 부호화할 수가 있어, 본 화상 부호화 방법으로 화상을 부호화하는, 예를 들면 비디오 카메라나 녹화 기능을 갖는 휴대전화 등의 화상 부호화 장치로서 적용할 수 있다.

도 1은 종래의 화상 부호화 장치의 구성을 나타낸 블록도,
도 2는 종래의 화상 부호화 장치가 출력하는 스트림의 구성을 나타낸 구성도,
도 3은 종래의 MPEG-2의 스트림의 구성을 나타낸 구성도,
도 4는 본 발명의 제1 실시형태에서의 화상 부호화 장치의 구성을 나타낸 블록도,
도 5는 제1 실시형태에서의 화상 부호화 장치가 출력하는 화상 부호화 신호의 구성을 나타낸 구성도,
도 6은 제1 실시형태에서의 화상 부호화 방법을 나타낸 흐름도,
도 7은 제1 실시형태에서의 화상 부호화 장치로부터 출력되는 정보를 설명하기 위한 설명도,
도 8은 제1 실시형태에서의 구성 식별 정보를 포함하는 스트림(Str)의 구성을 나타낸 구성도,
도 9는 제1 실시형태에서의 제1 변형예에 따른 화상 부호화 장치가 출력하는 스트림의 구성을 나타낸 구성도,
도 10은 제1 실시형태에서의 제1 변형예의 화상 부호화 장치의 동작을 나타낸 흐름도,
도 11은 제1 실시형태에서의 제2 변형예에 따른 화상 부호화 장치가 출력하는 스트림의 구성을 나타낸 구성도,
도 12는 제1 실시형태에서의 제2 변형예의 화상 부호화 장치의 동작을 나타낸 흐름도,
도 13은 제1 실시형태에서의 제3 변형예에 따른 화상 부호화 장치가 출력하는 스트림의 구성을 나타낸 구성도,
도 14는 본 발명의 제2 실시형태에서의, 실시형태 1의 화상 부호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 저장하는 기억 매체에 대한 설명도,
도 15는 본 발명의 제3 실시형태에의 컨텐츠 배송 서비스를 실현하는 컨텐츠 공급 시스템의 전체 구성을 나타낸 블록도,
도 16은 상기 실시형태 1에서 설명한 화상 부호화 방법을 사용한 휴대전화를 나타낸 도면,
도 17은 상기 휴대전화의 내부 구성을 나타낸 블록도,
도 18은 상기 실시형태 1에서 설명한 화상 부호화 방법을 사용한 디지털 방송용 시스템의 구성을 나타낸 구성도이다.

이하, 본 발명의 실시형태에 관해, 도면을 참조하여 설명한다.

(실시형태 1)

도 4는 본 발명의 제1 실시형태에서의 화상 부호화 장치의 구성을 나타낸 블록도이다.

본 실시형태에서의 화상 부호화 장치(100)는, 부호화 효율을 저하시키지 않고 신속한 랜덤 액세스가 가능하도록 화상을 부호화하는 것이며, 구체적으로는, 화상 신호(Vin)를 픽처마다 부호화하여 스트림(Str)을 출력한다.

이 화상 부호화 장치(100)는, 움직임 검출부(103)와, 움직임 보상부(105)와, 감산기(106)와, 직교 변환부(107)와, 양자화부(108)와, 역양자화부(110)와, 역직교 변환부(111)와, 가산기(112)와, 픽처 메모리(104)와, 스위치(113)와, 가변길이 부호화부(109)와, 액세스 포인트 결정부(102)와, PS 메모리(101)를 구비하고 있다. 그리고, 이러한 움직임 검출부(103) 등의 각 구성 요소는, 픽처를 구성하는 블록 또는 매크로 블록 단위로 이하의 처리를 실행한다.

감산기(106)는, 화상 신호(Vin)를 취득하는 동시에, 움직임 보상부(105)로부터 예측 화상(Pre)을 취득하여, 화상 신호(Vin)와 예측 화상(Pre)의 차분을 계산한다. 그리고, 감산기(106)는 그 차분값을 직교 변환부(107)에 출력한다.

직교 변환부(107)는, 차분값을 주파수 계수로 변환하여, 그 주파수 계수를 양자화부(108)에 출력한다.

양자화부(108)는, 직교 변환부(107)로부터 취득한 주파수 계수를 양자화하여, 양자화값을 가변길이 부호화부(109)에 출력한다.

역양자화부(110)는, 양자화부(108)로부터 취득한 양자화값을 역양자화하여 주파수 계수로 복원하여, 그 주파수 계수를 역직교 변환부(111)에 출력한다.

역직교 변환부(111)는, 역양자화부(110)로부터 출력된 주파수 계수를 화소 차분값으로 역주파수 변환하여, 그 화소 차분값을 가산기(112)에 출력한다.

가산기(112)는, 역직교 변환부(111)로부터 출력된 화소 차분값과, 움직임 보상부(105)로부터 출력된 예측 화상(Pre)을 가산하여 복호화 화상을 생성한다.

스위치(113)는, 가산기(112)에서 생성된 복호화 화상의 저장이 지시된 경우에, 가산기(112)와 픽처 메모리(104)의 사이를 접속하여, 가산기(112)에서 생성된 복호화 화상을 픽처 메모리에 저장시킨다. 여기서, 픽처 메모리에 저장되어 있는 복호화 화상을 이하, 단순히 픽처라고 한다.

움직임 검출부(103)는, 화상 신호(Vin)를 매크로 블록 단위로 취득한다. 화상 신호(Vin)를 취득한 움직임 검출부(103)는, 픽처 메모리(104)에 격납되어 있는 픽처를 참조 픽처로서 참조하여, 취득한 화상 신호(Vin)에 가장 가까운 화상 영역을 그 참조 픽처 중에서 특정한다. 그리고, 움직임 검출부(103)는, 그 화상 영역의 위치를 가리키는 움직임 벡터(MV)를 검출한다.

여기서, 움직임 검출부(103)는, 이러한 움직임 벡터(MV)의 검출을, 매크로 블록을 더 분할한 블록 단위로 행한다. 그리고, 움직임 검출부(103)는, 참조 픽처를 지정하기 위한 식별 번호(상대 인덱스(Idx))를 블록마다 사용함으로써, 픽처 메모리(104) 중의 각 픽처가 갖는 픽처 번호와 대응시켜, 복수의 참조 픽처의 후보 중에서 어느 참조 픽처를 참조했는지를 지정한다.

움직임 보상부(105)는, 상기 처리에 의해 검출된 움직임 벡터(MV) 및 상대 인덱스(Idx)를 사용해, 픽처 메모리(104)에 격납되어 있는 픽처(복호화 화상)로부터 예측 화상(Pre)에 최적인 화상 영역을 취출한다. 그리고, 움직임 보상부(105)는, 그 취출한 화상 영역으로부터 예측 화상(Pre)을 생성한다.

액세스 포인트 결정부(102)는, 소정 단위(랜덤 액세스 유닛)마다, 소정의 픽처를 특별한 픽처로서 부호화(화면내 부호화)하도록, 움직임 검출부(103) 및 움직임 보상부(105)에 지시한다. 또한, 액세스 포인트 결정부(102)는, 그 특별한 픽처인 것을 나타내는 액세스 포인트 식별자(rapp)를 가변길이 부호화부(109)에 출력한다.

PS 메모리(101)는, 파라미터 세트(PS)를 취득하여 일시적으로 저장한다. 그리고 PS 메모리(101)는, 액세스 포인트 결정부(102)로부터의 지시에 기초하여, 그 일시적으로 저장하고 있는 파라미터 세트(PS) 중에서, 상기 지시에 해당하는 픽처의 픽처 파라미터 세트나 시퀀스 파라미터 세트를 가변길이 부호화부(109)에 출력한다.

가변길이 부호화부(109)는, 외부로부터 취득한 파라미터 세트(PS)와, 움직임 벡터(MV)와, 양자화값과, 상대 인덱스(Idx)와, 액세스 포인트 식별자(rapp)를 부호화한다. 그리고 가변길이 부호화부(109)는, 부호화된 파라미터 세트(PS)에 포함되는 시퀀스 파라미터 세트 및 시퀀스 파라미터 세트를 랜덤 액세스 유닛마다 배치하여 스트림(Str)을 생성하여, 그 스트림(Str)을 출력한다.

도 5는 본 실시형태에서의 화상 부호화 장치(100)가 출력하는 스트림(Str)의 구성을 나타낸 구성도이다.

스트림(Str)에는, 선두부터 차례로, 동기 신호(sync)와, 파라미터 세트(PS)와, 복수의 랜덤 액세스 유닛(RAU)이 포함되어 있다.

파라미터 세트(PS)에는, 복수의 시퀀스 파라미터 세트(SPS)와, 복수의 픽처 파라미터 세트(PPS)가 포함된다.

랜덤 액세스 유닛(RAU)에는, 선두부터 차례로, 동기 신호(sync)와, 1개의 시퀀스 파라미터 세트(SPS)와, 복수의 픽처 파라미터 세트(PPS)와, 부호화된 복수의 픽처(pic)가 포함된다. 즉, 이러한 랜덤 액세스 유닛(RAU)에는, 거기에 포함되는 모든 픽처(pic)의 복호에 필요한 모든 시퀀스 파라미터 세트(SPS) 및 픽처 파라미터 세트(PPS)가 포함되어 있다. 또, 각 픽처 파라미터 세트(PPS)는, 서로 그 값을 달리하여, 어느 1개의 픽처 파라미터 세트(PPS)는, 복수의 픽처(pic)에 참조되어 그들의 복호에 사용된다.

픽처(pic)에는, 선두부터 차례로, 동기 신호(sync)와, 파라미터 세트 식별자(PSID)와, 픽처의 화소에 대응하는 부호어의 화소 데이터(pix)가 포함된다.

파라미터 세트 식별자(PSID)는, 그 랜덤 액세스 유닛(RAU)에 포함되는 각 파라미터 세트(SPS, PPS) 중, 그 픽처가 참조하는 파라미터 세트(SPS, PPS)를 가리킨다.

도 6은, 본 실시형태에서의 화상 부호화 장치(100)의 화상 부호화 방법을 나타낸 흐름도이다.

먼저 화상 부호화 장치(100)는, 부호화 대상의 픽처가 랜덤 액세스 포인트, 즉 랜덤 액세스 유닛(RAU)의 최초의 픽처인지 여부를 판별한다(단계 S100).

여기서, 화상 부호화 장치(100)는, 랜덤 액세스 포인트라고 판별했을 때는(단계 S100의 Y), 시퀀스 파라미터 세트(SPS)를 부호화하고(단계 S102), 또한 랜덤 액세스 유닛(RAU)의 모든 픽처의 각각에 대응하는 각 픽처 파라미터 세트(PPS)를 부호화한다(단계 S103). 그리고, 화상 부호화 장치(100)는, 부호화된 시퀀스 파라미터 세트(SPS) 및 복수의 픽처 파라미터 세트(PPS)를 모아, 랜덤 액세스 유닛(RAU)의 선두측에 배치한다(단계 S104).

또, 단계 S104에서 시퀀스 파라미터 세트(SPS) 및 픽처 파라미터 세트(PPS)를 배치한 후, 또는 단계 S100에서 랜덤 액세스 포인트가 아니라고 판별했을 때(단계 S100의 N)는, 화상 부호화 장치(100)는, 그 부호화 대상 픽처를 부호화한다(단계 S106). 여기서 화상 부호화 장치(100)는, 상기 시퀀스 파라미터 세트(SPS) 및 픽처 파라미터 세트(PPS)의 뒤에, 부호화된 부호화 대상 픽처를 배치한다. 즉, 화상 부호화 장치(100)는, 단계 S104에서 상기 파라미터 세트(SPS, PPS)를 배치할 때는, 랜덤 액세스 유닛(RAU) 내에서, 그 파라미터 세트(SPS, PPS)를 어느 픽처(pic)보다도 앞에 배치한다. 또, 화상 부호화 장치(100)는, 부호화 대상 픽처를 부호화할 때는, 부호화된 부호화 대상 픽처(픽처(pic)) 중에서, 픽처의 화소에 대응하는 부호어(화소 데이터(pix))보다도 앞에, 그 픽처(pic)의 복호에 필요한 픽처 파라미터 세트(PPS)를 가리키는 파라미터 세트 식별자(PSID)를 배치한다.

그 후, 화상 부호화 장치(100)는, 취득한 화상 신호(Vin) 중 부호화하지 않은 픽처가 있는지 여부를 판별하여(단계 S108), 부호화하지 않은 픽처가 있다고 판별했을 때는(단계 S108의 Y), 단계 S100부터의 동작을 반복 실행하여, 부호화하지 않은 픽처가 없는, 즉 모든 픽처를 부호화했다고 판별했을 때는(단계 S108의 N), 부호화 처리를 종료한다. 이러한 화상 부호화 방법에 의해 스트림(Str)이 생성된다.

이렇게 본 실시형태에서의 화상 부호화 방법에서는, 랜덤 액세스 유닛(RAU) 에 포함되는 모든 픽처의 복호(부호)에 필요한 시퀀스 파라미터 세트(SPS) 및 픽처 파라미터 세트(PPS)가 그 랜덤 액세스 유닛(RAU)에 배치되어 스트림(Str)이 생성되므로, 화상 복호화 장치는, 그 스트림(Str)을 도중에 취득한 경우라도, 취득한 스트림(Str)에 포함되는 랜덤 액세스 유닛(RAU)의 선두부터 시퀀스 파라미터 세트(SPS) 및 픽처 파라미터 세트(PPS)를 참조하여 정확한 복호를 개시하는, 즉 랜덤 액세스를 개시할 수 있다. 또, 화상 부호화 장치는, 그 스트림(Str)을 기록 매체로부터 독출하여 랜덤 액세스할 때도, 독출 위치를 스트림(Str)의 선두로부터 랜덤 액세스 포인트로 이동시킬 필요가 없어, 랜덤 액세스의 대기 시간을 줄여 신속하게 랜덤 액세스를 개시할 수 있다.

또, 본 실시형태에서의 화상 부호화 방법에서는, 각 랜덤 액세스 유닛(RAU)에 시퀀스 파라미터 세트(SPS) 및 픽처 파라미터 세트(PPS)가 포함되는 스트림(Str)을 생성하므로, 종래의 스트림(Str9)의 화상 부호화 방법보다도 비트 수가 많은 스트림을 생성하는데, 종래의 MPEG-2의 화상 부호화 방법처럼 각 픽처마다 복호에 필요한 헤더가 배치되지 않으므로, 종래의 MPEG-2의 화상 부호화 방법보다도 부호화 효율을 향상시킬 수 있다.

또한, 본 실시형태의 화상 부호화 장치(100)에, 스트림(Str)의 구성을 나타내는 구성 식별 정보를 생성시켜도 된다.

도 7은 화상 부호화 장치(100)로부터 출력되는 정보를 설명하기 위한 설명도이다.

이 도 7에 나타낸 바와 같이, 화상 부호화 장치(100)는, 스트림(Str)에 부수시키는 형태로 구성 식별 정보(sid)를 생성하여 출력한다.

이 구성 식별 정보(sid)는, 스트림(Str)의 모든 랜덤 액세스 유닛(RAU)에는 시퀀스 파라미터 세트(SPS) 및 픽처 파라미터 세트(PPS)가 포함되어 있는 것, 즉 스트림(Str)의 임의의 랜덤 액세스 유닛(RAU)으로부터 랜덤 액세스가 가능한 것을 나타내는 것이다.

이러한 구성 식별 정보(sid)를 화상 부호화 장치(100)로부터 스트림(Str)에 부수시켜 출력시킴으로써, 스트림(Str) 및 구성 식별 정보(sid)를 취득한 화상 복호화 장치는, 그 구성 식별 정보(sid)에 기초하여, 취득한 스트림(Str)은 임의의 랜덤 액세스 유닛(RAU)으로부터 복호 가능한 것을 용이하게 파악하여, 랜덤 액세스를 실행할 수 있다.

또, 구성 식별 정보(sid)를 스트림(Str)에 포함시켜 화상 부호화 장치(100)로부터 출력시켜도 된다.

도 8은 구성 식별 정보(sid)를 포함하는 스트림(Str)의 구성을 나타낸 구성도이다.

이 도 8에 나타낸 바와 같이, 화상 부호화 장치(100)는, 동기 신호(Sync)와 파라미터 세트(PS)의 사이에 구성 식별 정보(sid)가 배치되도록 스트림(Str)을 생성하여 출력한다.

(변형예 1)

다음에, 상기 본 실시형태에서의 화상 부호화 장치의 제1 변형예에 관해 설명한다.

제1 변형예에 따른 화상 부호화 장치는, 픽처 파라미터 세트(PPS)의 배치에 관해, 상기 본 실시형태에서의 화상 부호화 장치(100)가 출력하는 스트림(Str)과 상이한 스트림을 출력한다.

도 9는 본 변형예에 따른 화상 부호화 장치가 출력하는 스트림의 구성을 나타낸 구성도이다.

본 변형예에 따른 화상 부호화 장치는, 선두부터 차례로, 동기 신호(Sync)와 파라미터 세트(PS)와 복수의 랜덤 액세스 유닛(RAU1)을 포함하는 스트림(Str1)을 출력한다.

랜덤 액세스 유닛(RAU1)에는, 예를 들면 선두부터 차례로, 동기 신호(sync)와, 시퀀스 파라미터 세트(SPS)와, 픽처 파라미터 세트(PPS)((PPS1))와, 2개의 픽처(pic1, pic2)와, 픽처 파라미터 세트(PPS)((PPS2))와, 픽처(pic3)가 포함되어 있다.

여기서, 이 픽처 파라미터 세트(PPS1)는, 2개의 픽처(pic1, pic2)의 복호에 필요한 것이며, 각각에 공통적으로 참조된다. 또, 픽처 파라미터 세트(PPS2)는, 상기 픽처(pic1, pic2)의 복호에는 불필요한 것이며, 그들에는 참조되지 않는다. 즉, 픽처 파라미터 세트(PPS2)는, 픽처(pic3)의 복호에 대해 필요한 것이며, 그 픽처(pic3)에 참조된다.

그래서, 픽처 파라미터 세트(PPS2)는, 픽처(pic3)에 참조되는데, 픽처(pic1, pic2)에는 참조되지 않으므로, 픽처(pic1, pic2)보다도 앞에 배치될 필요는 없다.

또, 픽처(pic1, pic2)에 참조되는 픽처 파라미터(PPS1)는, 픽처(pic1)의 직전에 배치되어 있으므로, 다시 픽처(pic2)의 직전에 배치될 필요는 없다.

즉, 본 변형예에 따른 화상 부호화 장치는, 소정의 픽처에 참조되는 픽처 파라미터 세트(PPS)가, 이미 배치되어 있는 경우를 제외하고 그 소정의 픽처의 직전에 배치되도록 스트림(Str1)을 생성한다.

도 10은 본 변형예에서의 화상 부호화 장치의 화상 부호화 방법을 나타낸 흐름도이다.

먼저 화상 부호화 장치는, 부호화 대상의 픽처가 랜덤 액세스 포인트, 즉 랜덤 액세스 유닛(RAU1)의 최초의 픽처인지 여부를 판별한다(단계 S200).

여기서, 화상 부호화 장치는, 랜덤 액세스 포인트라고 판별했을 때는(단계 S200의 Y), 시퀀스 파라미터 세트(SPS)를 부호화하여(단계 S202), 그 시퀀스 파라미터 세트(SPS)를 랜덤 액세스 유닛(RAU1)의 선두측에 배치한다(단계 S203). 또한, 화상 부호화 장치는, 부호화 대상 픽처에 대응하는 픽처 파라미터 세트(PPS)를 부호화하여(단계 S204), 그 픽처 파라미터 세트(PPS)를 랜덤 액세스 유닛(RAU1)의 시퀀스 파라미터 세트(SPS) 뒤에 배치한다(단계 S205).

한편, 화상 부호화 장치는, 랜덤 액세스 포인트가 아니라고 판별했을 때는(단계 S200의 N), 또한 부호화 대상 픽처의 픽처 파라미터 세트(PPS)가 랜덤 액세스 포인트보다 뒤에 이미 부호화되어 있는지 여부를 판별한다(단계 S206).

단계 S206에서 부호화되어 있지 않다고 판별했을 때는(단계 S206의 N), 화상부호화 장치는, 부호화 대상 픽처의 픽처 파라미터 세트(PPS)를 부호화하여 배치한다(단계 S204, S205).

단계 S205에서 픽처 파라미터 세트(PPS)를 배치한 후, 또는 단계 S206에서 이미 부호화했다고 판별했을 때(단계 S206의 Y)는, 화상 부호화 장치는, 그 부호화 대상 픽처를 부호화한다(단계 S208). 여기서 화상 부호화 장치는, 단계 S205에서 픽처 파라미터 세트(PPS)를 배치한 뒤에, 부호화 대상 픽처를 부호화했을 때는, 부호화된 부호화 대상 픽처(픽처(pic))를, 그것에 대응하는 픽처 파라미터 세트(PPS)의 직후에 배치한다. 즉, 화상 부호화 장치(100)는, 단계 S205에서 픽처 파라미터 세트(PPS)를 배치할 때는, 랜덤 액세스 유닛(RAU) 내에서, 부호화된 부호화 대상 픽처(픽처(pic))의 직전에 픽처 파라미터 세트(PPS)를 배치한다. 또, 화상 부호화 장치는, 부호화 대상 픽처를 부호화할 때는, 부호화된 부호화 대상 픽처(픽처(pic)) 중에서, 픽처의 화소에 대응하는 부호어(화소 데이터(pix))보다도 앞에, 그 픽처(pic)의 복호에 필요한 픽처 파라미터 세트(PPS)를 가리키는 파라미터 세트 식별자(PSID)를 배치한다.

그 후, 화상 부호화 장치는, 취득한 화상 신호(Vin) 중 부호화하지 않은 픽처가 있는지 여부를 판별하여(단계 S210), 부호화하지 않은 픽처가 있다고 판별했을 때는(단계 S210의 Y), 단계 S200부터의 동작을 반복 실행하고, 부호화하지 않은 픽처가 없는, 즉 모든 픽처를 부호화했다고 판별했을 때는(단계 S210의 N), 부호화 처리를 종료한다. 이러한 화상 부호화 방법에 의해 스트림(Str1)이 생성된다.

한편, 상술한 화상 부호화 장치(100)의 화상 부호화 방법에서는, 랜덤 액세스 유닛(RAU) 단위로 각 픽처의 복호에 필요한 모든 픽처 파라미터 세트(PPS)를 결정한 뒤에, 이들 픽처 파라미터 세트(PPS)를 모아 부호화하여 랜덤 액세스 유닛(RAU)의 선두측에 배치하기 때문에, 그 결정된 복수의 픽처 파라미터(PPS)를 일시적으로 축적해 둘 필요가 있다.

이에 대해, 본 변형예에 따른 화상 부호화 방법에서는, 랜덤 액세스 유닛(RAU1) 단위로, 순차적으로 픽처의 복호에 필요한 픽처 파라미터 세트(PPS)를 결정하면, 그 픽처 파라미터 세트(PPS)를 부호화하여 랜덤 액세스 유닛에 배치하므로, 상술한 것 같은 축적을 요하지 않고, 본 변형예에 따른 화상 부호화 장치의 구성을, 화상 부호화 장치(100)의 구성보다도 간단히 할 수 있다.

또한, 본 실시형태 및 본 변형예에서는, 시퀀스 파라미터 세트(SPS)는 랜덤 액세스 유닛(RAU) 이상의 단위로 변경 가능하므로, 랜덤 액세스 유닛(RAU)에서는 1회만 배치하면 충분하다.

(변형예 2)

다음에, 상기 본 실시형태에서의 화상 부호화 장치의 제2 변형예에 관해 설명한다.

제2 변형예에 따른 화상 부호화 장치는, 시퀀스 파라미터 세트(SPS)의 배치에 관해, 상기 본 실시형태에서의 화상 부호화 장치(100)가 출력하는 스트림(Str)과 상이한 스트림을 출력한다.

도 11은, 본 변형예에 따른 화상 부호화 장치가 출력하는 스트림의 구성을 나타내는 구성도이다.

본 변형예에 따른 화상 부호화 장치는, 선두부터 차례로, 동기 신호(sync)와 파라미터 세트(PS)와 복수의 랜덤 액세스 유닛 그룹(GRAU)을 포함하는 스트림(Str2)을 출력한다.

랜덤 액세스 유닛 그룹(GRAU)에는, 선두부터 차례로, 시퀀스 파라미터 세트(SPS)와, 복수의 랜덤 액세스 유닛(RAU2)이 포함되어 있다. 즉, 랜덤 액세스 유닛 그룹(GRAU)은, 기록이나 전송에 적합하도록 랜덤 액세스 유닛(RAU2)을 복수 모은 단위로서 구성되어 있다.

여기서, 시퀀스 파라미터 세트(SPS)는 랜덤 액세스 유닛(RAU2) 이상의 단위로 변경 가능한 파라미터이므로, 반드시 랜덤 액세스 유닛(RAU2) 단위로 변경할 필요는 없다. 또, 통상, 시퀀스 파라미터 세트(SPS)는 스트림 중에 많아야 몇 개밖에 필요하지 않고, 1개만으로 충분한 경우도 많다.

그래서, 본 변형예의 화상 부호화 장치는, 랜덤 액세스 유닛(RAU2) 단위로 시퀀스 파라미터 세트(SPS)를 배치하는 것이 아니라, 랜덤 액세스 유닛 그룹(GRAU) 단위로, 즉 각 랜덤 액세스 유닛 그룹(GRAU)의 선두에 시퀀스 파라미터 세트(SPS)를 1개 배치한다.

또, 랜덤 액세스 유닛 그룹(GRAU)에는, 거기에 포함되는 모든 픽처의 복호에 필요한 시퀀스 파라미터 세트(SPS) 및 픽처 파라미터(PRS)가 포함되어 있으므로, 이 점에서, 이 랜덤 액세스 유닛 그룹(GRAU)은, 상기 실시형태 및 변형예 1에서의 랜덤 액세스 유닛(RAU, RAU1)과 동일시되는 것이다. 그리고, 그러한 랜덤 액세스 유닛 그룹(GRAU)에 포함되는 RAU2는, 랜덤 액세스 유닛 그룹(GRAU)이 분할된 소단위로서 볼 수 있다.

도 12는 본 변형예에서의 화상 부호화 장치의 동작을 나타낸 흐름도이다.

먼저 화상 부호화 장치는, 부호화 대상의 픽처가 랜덤 액세스 유닛 그룹(GRAU)의 최초의 픽처인지 여부를 판별한다(단계 S300).

여기서, 화상 부호화 장치는, 최초의 픽처라고 판별했을 때는(단계 S300의 Y), 시퀀스 파라미터 세트(SPS)를 부호화하고(단계 S302), 그 시퀀스 파라미터 세트(SPS)를 랜덤 액세스 유닛 그룹(GRAU)의 선두측에 배치한다(단계 S303). 또한, 화상 부호화 장치는, 부호화 대상 픽처에 대응하는 픽처 파라미터 세트(PPS)를 부호화하고(단계 S304), 그 픽처 파라미터 세트(PPS)를 랜덤 액세스 유닛(RAU2)의 선두측에 배치한다(단계 S305).

한편, 화상 부호화 장치는, 부호화 대상 픽처가 랜덤 액세스 유닛 그룹(GRAU)의 최초의 픽처가 아니라고 판별했을 때는(단계 S300의 N), 또한 부호화 대상 픽처의 픽처 파라미터 세트(PPS)가 랜덤 액세스 포인트(랜덤 액세스 유닛(RAU2)의 최초)보다 뒤에 이미 부호화되어 있는지 여부를 판별한다(단계 S306).

단계 S306에서 부호화되어 있지 않다고 판별했을 때는(단계 S306의 N), 화상부호화 장치는, 부호화 대상 픽처의 픽처 파라미터 세트(PPS)를 부호화하여 배치한다(단계 S304, S305).

단계 S305에서 픽처 파라미터 세트(PPS)를 배치한 후, 또는 단계 S306에서 이미 부호화했다고 판별했을 때(단계 S306의 N)는, 화상 부호화 장치는, 그 부호화 대상 픽처를 부호화한다(단계 S308).

그리고, 화상 부호화 장치는, 취득한 화상 신호(Vin) 중 부호화하지 않은 픽처가 있는지 여부를 판별하여(단계 S310), 부호화하지 않은 픽처가 있다고 판별했을 때는(단계 S310의 Y), 단계 S300부터의 동작을 반복 실행하고, 부호화하지 않은 픽처가 없는, 즉 모든 픽처를 부호화했다고 판별했을 때는(단계 S310의 N), 부호화 처리를 종료한다. 이러한 화상 부호화 방법에 의해, 시퀀스 파라미터 세트(SPS)가 각 랜덤 액세스 유닛 그룹(GRAU)에 1개만 포함되는 스트림(Str2)이 생성된다.

이렇게, 본 변형예에 따른 화상 부호화 장치는, 복수의 랜덤 액세스 유닛 (RAU2)에 대해 1개의 시퀀스 파라미터 세트(SPS)가 배치된 스트림(Str2)을 생성하므로, 스트림(Str2)에 포함되는 비트 수를, 상술한 화상 부호화 장치(100)의 스트림(Str)에 포함되는 비트 수보다도 삭감할 수 있다.

또한, 본 실시형태 및 변형예 1, 2에서는, 부호화된 파라미터 세트(PS)를 스트림의 선두에 배치했는데, 부호화된 파라미터 세트(PS)((PPS, SPS))를 랜덤 액세스 유닛(RAU)에 필요한 분만큼 배치하므로, 부호화된 파라미터 세트(PS)를 스트림의 선두에 배치하지 않아도 된다.

(변형예 3)

다음에, 상기 본 실시형태에서의 화상 부호화 장치의 제3 변형예에 관해 설명한다.

제3 변형예에 따른 화상 부호화 장치는, 상기 본 실시형태에서의 화상 부호화 장치(100)가 출력하는 스트림(Str)과 상이한 스트림을 생성하여 출력한다.

도 13은, 본 변형예에 따른 화상 부호화 장치가 출력하는 스트림의 구성을 나타낸 구성도이다.

본 변형예에 따른 화상 부호화 장치는, 선두부터 차례로, 동기 신호(sync)와, 복수의 랜덤 액세스 유닛(RAU)((RAU0, RAU01, RAU02, …))를 포함하는 스트림(Str3)을 출력한다.

랜덤 액세스 유닛(RAU01)에는, 선두부터 차례로, 동기 신호(sync)와, 파라미터 세트(PS)((PS1))와, 픽처(pic1)와, 픽처(pic2)와, 픽처(pic3)가 포함되어 있다. 랜덤 액세스 유닛(RAU2)에는, 선두부터 차례로, 동기 신호(sync)와, 랜덤 액세스 포인트 정보(RPS)와, 파라미터 세트(PS)((PS2))와, 픽처(pic4)와, 픽처(pic5)와, 픽처(pic6)가 포함되어 있다.

예를 들면, 픽처(pic1)는 화면내 부호화된 I 픽처이고, 픽처(pic2)는 픽처(pic1)를 참조하여 부호화된 P 픽처이다. 픽처(pic3)는, 픽처(pic1, pic2)를 참조하여 부호화된 B 픽처이다. 또, 픽처(pic4)는 화면내 부호화된 I 픽처이고, 픽처(pic5)는, 픽처(pic2, pic4)를 참조하여 부호화된 B 픽처이다. 그리고, 픽처(pic6)는, 픽처(pic4)와 랜덤 액세스 유닛(RAU02)의 다른 픽처를 참조하여 부호화된 B 픽처이다.

여기서, 파라미터 세트(PS1)에는, 시퀀스 파라미터 세트와, 픽처(pic2, pic3)에 대응하는 픽처 파라미터 세트와, 랜덤 액세스 유닛(RAU02)의 픽처(pic5)에 대응하는 픽처 파라미터 세트가 포함되어 있다.

즉, 스트림(Str3)이 랜덤 액세스 유닛(RAU01)으로부터 랜덤 액세스될 때는, 랜덤 액세스 유닛(RAU01)의 픽처(pic2)는 파라미터 세트(PS1)와 픽처(pic1)를 참조하여 복호되고, 픽처(pic3)는 파라미터 세트(PS1)와 픽처(pic1, pic2)를 참조하여 복호된다. 그리고, 랜덤 액세스 유닛(RAU02)의 픽처(pic5)는, 파라미터 세트(PS1)와 픽처(pic2, pic4)를 참조하여 복호되고, 픽처(pic6)는, 파라미터 세트(PS2)와 픽처(pic4)와 랜덤 액세스 유닛(RAU02)의 다른 픽처를 참조하여 복호된다.

한편, 스트림(Str3)이 랜덤 액세스 유닛(RAU02)으로부터 랜덤 액세스될 때는, 픽처(pic5)는 복호화도 표시도 되지 않고, 픽처(pic4, pic6)가 차례로 복호되어 표시된다.

즉, 랜덤 액세스 유닛(RAU02)의 B 픽처인 픽처(pic5)의 복호에는, 앞의 랜덤 액세스 유닛(RAU01)의 픽처를 참조할 필요가 있으므로, 픽처(pic5)에 대해 필요한 픽처 파라미터 세트를 랜덤 액세스 유닛(RAU02) 내에 배치해 둘 필요는 없다. 또, 스트림(Str3)이 랜덤 액세스 유닛(RAU02)으로부터 랜덤 액세스되는 경우여도, 픽처(pic5)는 복호되지 않으므로, 상술한 바와 동일하게 픽처(pic5)에 대해 필요한 픽처 파라미터 세트를 랜덤 액세스 유닛(RAU02) 내에 배치해 둘 필요는 없는 것이다.

또한, 상기 본 실시형태 및 변형예 1∼3에서는, 스트림 중에 픽처 단위로 파라미터 세트 식별자(PSID)를 포함시켰으나, 픽처가 복수의 슬라이스로 구성되어 있는 경우에는, 슬라이스 단위로 파라미터 세트 식별자(PSID)를 포함시켜도 된다.

또, 상기 실시형태 및 변형예 1∼3에 나타낸 랜덤 액세스 유닛은, 반드시 JVT의 특별한 타입의 픽처를 포함하는 복수의 픽처의 집합일 필요는 없고, 파라미터 세트(PS)를 필요한 분만큼 랜덤 액세스 유닛(RAU)마다 배치하므로, 단순히 화면내 부호화된 픽처(I 픽처)를 선두에 포함하는 복수의 픽처의 집합이어도 된다.

또한, 상기 실시형태 및 변형예 1∼3에서는, 랜덤 액세스 유닛(RAU)마다 또는 랜덤 액세스 유닛 그룹(GRAU)마다, 1개의 시퀀스 파라미터 세트(SPS)와, 서로 상이한 복수의 픽처 파라미터 세트(PPS)를 1회만 부호화하여 배치했으나, 이들에 대해 복수회의 부호화를 행함으로써, 부호화된 동일한 복수의 시퀀스 파라미터 세트(SPS)와, 부호화된 동일한 복수의 픽처 파라미터 세트(PPS)를, 랜덤 액세스 유닛(RAU)마다 또는 랜덤 액세스 유닛 그룹(GRAU)마다 배치해도 된다. 이에 의해, 예를 들면 복호시의 에러의 발생을 방지할 수 있다.

(실시형태 2)

또한, 상기 실시형태에서 나타낸 화상 부호화 방법을 실현하기 위한 프로그램을, 플렉서블 디스크 등의 기억 매체에 기록하도록 함으로써, 상기 각 실시형태에서 나타낸 처리를, 독립된 컴퓨터 시스템에서 간단히 실시하는 것이 가능해진다.

도 14는 실시형태 1의 화상 부호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 격납하는 기억 매체에 대한 설명도이다.

도 14(b)는 플렉서블 디스크(FD)의 정면 및 측면에서 본 외관과, 기록 매체 본체인 디스크 본체(FD1)의 정면에서 본 외관을 나타내고, 도 14(a)는 디스크 본체(FD1)의 물리 포맷의 예를 나타내고 있다.

디스크 본체(FD1)는 케이스(F) 내에 내장되고, 디스크 본체(FD1)의 표면에는, 동심원상으로 외주로부터는 내주를 향해 복수의 트랙(Tr)이 형성되고, 각 트랙은 각도 방향으로 16개의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 격납한 플렉서블 디스크(FD)에서는, 상기 디스크 본체(FD1) 상에 할당된 영역에, 상기 프로그램으로서의 화상 부호화 방법이 기록되어 있다.

또, 도 14(c)는, 플렉서블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한다.

상기 프로그램을 플렉서블 디스크(FD)에 기록하는 경우는, 컴퓨터 시스템(Cs)이 상기 프로그램으로서의 화상 부호화 방법을 플렉서블 디스크 드라이브(FDD)를 통해 기입한다. 또, 플렉서블 디스크(FD) 내의 프로그램에 의해 상기 화상 부호화 방법을 컴퓨터 시스템(Cs) 중에 구축하는 경우는, 플렉서블 디스크 드라이브(FDD)에 의해 프로그램이 플렉서블 디스크(FD)로부터 독출되어, 컴퓨터 시스템(Cs)에 전송된다.

또한, 상기 설명에서는, 기록 매체로서 플렉서블 디스크(FD)를 사용하여 설명했으나, 광디스크를 사용해도 동일하게 행할 수 있다. 또, 기록 매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.

(실시형태 3)

또한 여기서, 상기 실시형태에서 나타낸 화상 부호화 방법의 응용예와 그것을 사용한 시스템을 설명한다.

도 15는, 컨텐츠 배송 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체구성을 도시한 블록도이다. 통신 서비스의 제공 영역을 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.

이 컨텐츠 공급 시스템(ex100)은, 예를 들면 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104), 및 기지국(ex107∼ex110)을 통해, 컴퓨터 (ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대전화(ex114), 카메라 부착 휴대전화(ex115) 등의 각 기기가 접속된다.

그러나, 컨텐츠 공급 시스템(ex100)은 도 15와 같은 조합에 한정되지 않고, 어느 하나를 조합하여 접속하도록 해도 된다. 또, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 각 기기가 전화망(ex104)에 직접 접속되어도 된다.

카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또, 휴대전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 또는 GSM(Global System for Mobile Communications) 방식의 휴대전화기, 또는 PHS(Personal Handyphone System) 등이고, 어느 것이어도 상관없다.

또, 스트리밍 서버(ex103)는, 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해 접속되어 있고, 카메라(ex113)를 사용하여 사용자가 송신하는 부호화 처리된 데이터에 기초한 라이브 배송 등이 가능하게 된다. 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행해도 되고, 데이터의 송신 처리를 하는 서버 등으로 행해도 된다. 또, 카메라(ex116)로 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해 스트리밍 서버(ex103)에 송신되어도 된다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라(ex116)로 행하거나 컴퓨터(ex111)로 행하거나 어느 쪽이어도 된다. 또, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또한, 화상 부호화·복호화용의 소프트웨어를 컴퓨터(ex111) 등으로 읽기 가능한 기록 매체인 어떠한 축적 미디어(CD-ROM, 플렉서블 디스크, 하드 디스크 등)에 설치해도 된다. 또한, 카메라 부착 휴대전화(ex115)로 동화상 데이터를 송신해도 된다. 이 때의 동화상 데이터는 휴대전화(ex115)가 갖는 LSI에서 부호화 처리된 데이터이다.

이 컨텐츠 공급 시스템(ex100)에서는, 사용자가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 컨텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 상기 실시형태와 동일하게 부호화 처리하여 스트리밍 서버(ex103)에 송신하는 한편, 스트리밍 서버(ex103)는 요구가 있었던 클라이언트에 대해 상기 컨텐츠 데이터를 스트림 배송한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대전화(ex114) 등이 있다. 이렇게 함으로써 컨텐츠 공급 시스템(ex100)은, 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 실시간으로 수신하여 복호화하여 재생함으로써, 개인 방송도 실현 가능하게 되는 시스템이다.

이 시스템을 구성하는 각 기기의 부호화, 복호화에는 상기 각 실시형태에서 나타낸 화상 부호화 장치를 사용하도록 하면 된다.

그 일례로서 휴대전화에 대해 설명한다.

도 16은, 상기 실시형태에서 설명한 화상 부호화 방법을 사용한 휴대전화(ex115)를 도시하는 도면이다. 휴대전화(ex115)는, 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)로 촬영한 영상, 안테나(ex201)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 또는 정지화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 저장하기 위한 기록 미디어(ex207), 휴대전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기록 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 다시쓰기나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래쉬 메모리 소자를 격납한 것이다.

또한, 휴대전화(ex115)에 대해 도 17을 사용하여 설명한다. 휴대전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각 부를 통괄적으로 제어하도록 이루어진 주제어부(ex311)에 대해, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해 서로 접속되어 있다.

전원 회로부(ex310)는, 사용자의 조작에 의해 엔드 및 전원 키가 ON 상태가 되면, 배터리 팩으로부터 각 부에 대해 전력을 공급함으로써 카메라 부착 디지털 휴대전화(ex115)를 동작 가능한 상태로 기동한다.

휴대전화(ex115)는, CPU, ROM 및 RAM 등으로 이루어지는 주제어부(ex311)의 제어에 기초하여, 음성 통화 모드시에 음성 입력부(ex205)에서 집음한 음성 신호를 음성 처리부(ex305)에 의해 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 뒤에 안테나(ex201)를 통해 송신한다. 또 휴대전화기(ex115)는, 음성 통화 모드시에 안테나(ex201)로 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하여, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하고, 음성 처리부(ex305)에 의해 아날로그 음성 데이터로 변환한 뒤, 이것을 음성 출력부(ex208)를 통해 출력한다.

또한, 데이터 통신 모드시에 이메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해 입력된 이메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해 주제어부(ex311)에 송출된다. 주제어부(ex311)는, 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 뒤에 안테나(ex201)를 통해 기지국(ex110)으로 송신한다.

데이터 통신 모드시에 화상 데이터를 송신하는 경우, 카메라부(ex203)로 촬상된 화상 데이터를 카메라 인터페이스부(ex303)를 통해 화상 부호화부(ex312)에 공급한다. 또, 화상 데이터를 송신하지 않는 경우에는, 카메라부(ex203)로 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해 표시부(ex202)에 직접 표시하는 것도 가능하다.

화상 부호화부(ex312)는, 본원 발명에서 설명한 화상 부호화 장치를 구비한 구성이고, 카메라부(ex203)로부터 공급된 화상 데이터를 상기 실시형태에서 나타낸 화상 부호화 장치에 사용한 부호화 방법에 의해 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이것을 다중 분리부(ex308)에 송출한다. 또, 이 때 동시에 휴대전화기(ex115)는, 카메라부(ex203)로 촬상중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통해 디지털의 음성 데이터로서 다중 분리부(ex308)에 송출한다.

다중 분리부(ex308)는, 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하여, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 뒤에 안테나(ex201)를 통해 송신한다.

데이터 통신 모드시에 홈페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.

또, 안테나(ex201)를 통해 수신된 다중화 데이터를 복호화하기 위해서는, 다중 분리부(ex308)는, 다중화 데이터를 분리함으로써 화상 데이터의 부호화 스트림과 음성 데이터의 부호화 스트림으로 나누어, 동기 버스(ex313)를 통해 상기 부호화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 상기 음성 데이터를 음성 처리부(ex305)에 공급한다.

다음으로, 화상 복호화부(ex309)는, 본원 발명에서 설명한 화상 복호화 장치를 구비한 구성이고, 화상 데이터의 부호화 스트림을 상기 실시형태에서 나타낸 부호화 방법에 대응한 복호화 방법으로 복호함으로써 재생 동화상 데이터를 생성하여, 이것을 LCD 제어부(ex302)를 통해 표시부(ex202)에 공급하고, 이에 의해 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는, 음성 데이터를 아날로그 음성 데이터로 변환한 뒤, 이것을 음성 출력부(ex208)에 공급하고, 이에 의해 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.

또한, 상기 시스템의 예에 한정되지 않고, 최근은 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 18에 도시하는 바와 같이 디지털 방송용 시스템에도 상기 실시형태의 화상 부호화 장치 또는 화상 복호화 장치 중 어느 하나를 장착할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 비트 스트림이 전파를 통해 통신 또는 방송 위성(ex410)에 전송된다. 이것을 받은 방송 위성(ex410)은, 방송용의 전파를 발신하여, 이 전파를 위성 방송 수신 설비를 갖는 가정의 안테나(ex406)로 수신하여, TV(수신기)(ex401) 또는 셋탑 박스(STB)(ex407) 등의 장치에 의해 비트 스트림을 복호화하여 이것을 재생한다. 또, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 부호화 스트림을 읽어 내어, 복호화하는 재생 장치(ex403)에도 상기 실시형태에서 나타낸 화상 복호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또, CATV용의 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋탑 박스(ex407) 내에 화상 복호화 장치를 실장하여, 이것을 TV의 모니터(ex408)로 재생하는 구성도 생각할 수 있다. 이 때 셋탑 박스가 아니라, TV 내에 화상 복호화 장치를 장착해도 된다. 또, 안테나(ex411)를 갖는 차(ex412)에서 위성(ex410)으로부터 또는 기지국 (ex107) 등으로부터 신호를 수신하여, 차(ex412)가 갖는 카 네비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.

또한, 화상 신호를 상기 실시형태에서 나타낸 화상 부호화 장치로 부호화하여, 기록 매체에 기록할 수도 있다. 구체예로서는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 레코더나, 하드 디스크에 기록하는 디스크 레코더 등의 레코더 (ex420)가 있다. 또한 SD 카드(ex422)에 기록할 수도 있다. 레코더(ex420)가 상기 실시형태에서 나타낸 화상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)로 표시할 수 있다.

또한, 카 네비게이션(ex413)의 구성은 예를 들면 도 17에 도시한 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성을 생각할 수 있고, 동일한 것을 컴퓨터(ex111)나 TV(수신기)(ex401) 등에서도 생각할 수 있다.

또, 상기 휴대전화(ex114) 등의 단말은, 부호화기·복호화기를 모두 갖는 송수신형의 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3가지의 실장 형식을 생각할 수 있다.

이렇게, 상기 실시형태에서 나타낸 화상 부호화 방법을 상술한 모든 기기·시스템에 사용하는 것은 가능하고, 그렇게 함으로써 상기 실시형태에서 설명한 효과를 얻을 수 있다.

또, 본 발명은 이러한 상기 실시형태에 한정되는 것이 아니라, 본 발명의 범위를 일탈하지 않고 여러가지의 변형 또는 수정이 가능하다.

Claims

동화상 신호를 픽처 단위로 부호화하여 부호화 스트림을 생성하는 동화상 부호화 방법으로서,
랜덤 액세스 포인트가 되는 제1 I 픽처부터, 상기 랜덤 액세스 포인트와는 별개의 랜덤 액세스 포인트가 되는 제2 I 픽처의 직전의 픽처까지에 속하는 복수의 픽처와, 상기 복수의 픽처를 복호화하기 위한 복수의 파라미터 세트와, 상기 복수의 픽처를 복호화하기 위해 공통으로 이용되는 시퀀스 파라미터 세트로 구성되는 랜덤 액세스 유닛에 포함되고, 또한, 부호화 순서에 있어서 상기 제1 I 픽처보다 뒤에 위치하는 부호화 대상 픽처를 부호화할 때에,
상기 시퀀스 파라미터 세트의 부호화를 행하는 제1 부호화 단계와,
상기 부호화 대상 픽처의 복호화를 위해 선택된 파라미터 세트의 부호화를 행하는 제2 부호화 단계와,
상기 시퀀스 파라미터 세트와 상기 선택된 파라미터 세트에 포함되는 내용에 기초하여 상기 부호화 대상 픽처의 부호화를 행하는 제3 부호화 단계와,
상기 제1 I 픽처가 사용하지 않는 부호화된 상기 선택된 파라미터 세트를, 상기 제1 I 픽처를 포함하는 랜덤 액세스 유닛 내에서, 부호화된 상기 제1 I 픽처보다 앞에 배치하는 제1 배치 단계와,
상기 부호화된 시퀀스 파라미터 세트를 상기 제1 I 픽처를 포함하는 랜덤 액세스 유닛 내에서, 상기 제1 배치 단계에 의해 배치된 부호화된 파라미터 세트보다 앞에 배치하는 제2 배치 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
동화상 신호를 픽처 단위로 부호화하여 부호화 스트림을 생성하는 동화상 부호화 장치로서,
랜덤 액세스 포인트가 되는 제1 I 픽처부터, 상기 랜덤 액세스 포인트와는 별개의 랜덤 액세스 포인트가 되는 제2 I 픽처의 직전의 픽처까지에 속하는 복수의 픽처와, 상기 복수의 픽처를 복호화하기 위한 복수의 파라미터 세트와, 상기 복수의 픽처를 복호화하기 위해 공통으로 이용되는 시퀀스 파라미터 세트로 구성되는 랜덤 액세스 유닛에 포함되고, 또한, 부호화 순서에 있어서 상기 제1 I 픽처보다 뒤에 위치하는 부호화 대상 픽처를 부호화할 때에,
상기 시퀀스 파라미터 세트의 부호화를 행하는 제1 부호화 수단과,
상기 부호화 대상 픽처의 복호화를 위해 선택된 파라미터 세트의 부호화를 행하는 제2 부호화 수단과,
상기 시퀀스 파라미터 세트와 상기 선택된 파라미터 세트에 포함되는 내용에 기초하여 상기 부호화 대상 픽처의 부호화를 행하는 제3 부호화 수단과,
상기 제1 I 픽처가 사용하지 않는 부호화된 상기 선택된 파라미터 세트를, 상기 제1 I 픽처를 포함하는 랜덤 액세스 유닛 내에서, 부호화된 상기 제1 I 픽처보다 앞에 배치하는 제1 배치 수단과,
상기 부호화된 시퀀스 파라미터 세트를 상기 제1 I 픽처를 포함하는 랜덤 액세스 유닛 내에서, 상기 제1 배치 수단에 의해 배치된 부호화된 파라미터 세트보다 앞에 배치하는 제2 배치 수단을 포함하는 것을 특징으로 하는 동화상 부호화 장치.
랜덤 액세스 포인트가 되는 제1 I 픽처부터, 상기 랜덤 액세스 포인트와는 별개의 랜덤 액세스 포인트가 되는 제2 I 픽처의 직전의 픽처까지에 속하는 복수의 픽처와, 상기 복수의 픽처를 복호화하기 위한 복수의 파라미터 세트와, 상기 복수의 픽처를 복호화하기 위해 공통으로 이용되는 시퀀스 파라미터 세트로 구성되는 랜덤 액세스 유닛을 부호화하여 생성된 부호화 스트림을 복호화하여 동화상 신호를 생성하는 동화상 복호화 방법에 있어서,
상기 제1 I 픽처를 포함하는 랜덤 액세스 유닛 내에서, 부호화된 상기 제1 I 픽처보다 앞에 위치하는 부호화된 제1 파라미터 세트의 추출을 행하는 제1 추출 단계와,
상기 제1 추출 단계에서 추출된, 상기 부호화된 제1 파라미터 세트의 복호를 행하는 파라미터 세트 복호화 단계와,
상기 제1 I 픽처를 포함하는 랜덤 액세스 유닛 내에서, 상기 부호화된 제1 파라미터 세트보다 앞에 위치하는 부호화된 시퀀스 파라미터 세트의 추출을 행하는 제2 추출 단계와,
상기 제2 추출 단계에서 추출된, 상기 부호화된 시퀀스 파라미터 세트의 복호를 행하는 시퀀스 파라미터 복호화 단계와,
상기 복호화된 상기 제1 파라미터 세트와 시퀀스 파라미터 세트를 이용하여, 부호화 순서에 있어서 상기 제1 I 픽처보다 뒤에 위치하고, 또한, 상기 랜덤 액세스 유닛에 포함되는 부호화된 복호화 대상 픽처의 복호를 행하는 픽처 복호화 단계를 포함하는 것을 특징으로 하는 동화상 복호화 방법.
청구항 3에 있어서, 상기 동화상 복호화 방법은, 또한,
상기 제1 I 픽처를 포함하는 랜덤 액세스 유닛 내에서, 부호화된 상기 제1 I 픽처보다 앞에 위치하는 부호화된 제2 파라미터 세트의 추출을 행하는 제3 추출 단계와,
부호화된 상기 제2 파라미터 세트의 복호를 행하는 제2 파라미터 세트 복호화 단계와,
상기 복호화된 제2 파라미터 세트와 시퀀스 파라미터 세트를 이용하여, 부호화된 상기 제1 I 픽처의 복호를 행하는 제2 픽처 복호화 단계를 포함하는 것을 특징으로 하는 동화상 복호화 방법.
랜덤 액세스 포인트가 되는 제1 I 픽처부터, 상기 랜덤 액세스 포인트와는 별개의 랜덤 액세스 포인트가 되는 제2 I 픽처의 직전의 픽처까지에 속하는 복수의 픽처와, 상기 복수의 픽처를 복호화하기 위한 복수의 파라미터 세트와, 상기 복수의 픽처를 복호화하기 위해 공통으로 이용되는 시퀀스 파라미터 세트로 구성되는 랜덤 액세스 유닛을 부호화하여 생성된 부호화 스트림을 복호화하여 동화상 신호를 생성하는 동화상 복호화 장치에 있어서,
상기 제1 I 픽처를 포함하는 랜덤 액세스 유닛 내에서, 부호화된 상기 제1 I 픽처보다 앞에 위치하는 부호화된 제1 파라미터 세트의 추출을 행하는 제1 추출 수단과,
상기 제1 추출 수단에서 추출된, 상기 부호화된 제1 파라미터 세트의 복호를 행하는 파라미터 세트 복호화 수단과,
상기 제1 I 픽처를 포함하는 랜덤 액세스 유닛 내에서, 상기 부호화된 제1 파라미터 세트보다 앞에 위치하는 부호화된 시퀀스 파라미터 세트의 추출을 행하는 제2 추출 수단과,
상기 제2 추출 수단에서 추출된, 상기 부호화된 시퀀스 파라미터 세트의 복호를 행하는 시퀀스 파라미터 복호화 수단과,
상기 복호화된 상기 제1 파라미터 세트와 시퀀스 파라미터 세트를 이용하여, 부호화 순서에 있어서 상기 제1 I 픽처보다 뒤에 위치하고, 또한, 상기 랜덤 액세스 유닛에 포함되는 부호화된 복호화 대상 픽처의 복호를 행하는 픽처 복호화 수단을 포함하는 것을 특징으로 하는 동화상 복호화 장치.
청구항 5에 있어서, 상기 동화상 복호화 장치는, 또한,
상기 제1 I 픽처를 포함하는 랜덤 액세스 유닛 내에서, 부호화된 상기 제1 I 픽처보다 앞에 위치하는 부호화된 제2 파라미터 세트의 추출을 행하는 제3 추출 수단과,
부호화된 상기 제2 파라미터 세트의 복호를 행하는 제2 파라미터 세트 복호화 수단과,
상기 복호화된 제2 파라미터 세트와 시퀀스 파라미터 세트를 이용하여, 부호화된 상기 제1 I 픽처의 복호를 행하는 제2 픽처 복호화 수단을 구비하는 것을 특징으로 하는 동화상 복호화 장치.
동화상 신호를 픽처 단위로 부호화한 부호화 스트림을 컴퓨터로 판독 가능한 기록매체에 기록하는 기록 방법으로서,
랜덤 액세스 포인트가 되는 제1 I 픽처부터, 상기 랜덤 액세스 포인트와는 별개의 랜덤 액세스 포인트가 되는 제2 I 픽처의 직전의 픽처까지에 속하는 복수의 픽처와, 상기 복수의 픽처를 복호화하기 위한 복수의 파라미터 세트와, 상기 복수의 픽처를 복호화하기 위해 공통으로 이용되는 시퀀스 파라미터 세트로 구성되는 랜덤 액세스 유닛에 포함되고, 또한, 부호화 순서에 있어서 상기 제1 I 픽처보다 뒤에 위치하는 부호화 대상 픽처를 부호화할 때에,
상기 시퀀스 파라미터 세트의 부호화를 행하는 제1 부호화 단계와,
상기 부호화 대상 픽처의 복호화를 위해 선택된 파라미터 세트의 부호화를 행하는 제2 부호화 단계와,
상기 시퀀스 파라미터 세트와 상기 선택된 파라미터 세트에 포함되는 내용에 기초하여 상기 부호화 대상 픽처의 부호화를 행하는 제3 부호화 단계와,
상기 제1 I 픽처가 사용하지 않는 부호화된 상기 선택된 파라미터 세트를, 상기 제1 I 픽처를 포함하는 랜덤 액세스 유닛 내에서, 부호화된 상기 제1 I 픽처보다 앞에 기록하는 제1 기록 단계와,
상기 부호화된 시퀀스 파라미터 세트를 상기 제1 I 픽처를 포함하는 랜덤 액세스 유닛 내에서, 상기 제1 기록 단계에 의해 기록된 부호화된 파라미터 세트보다 앞에 기록하는 제2 기록 단계를 포함하는 것을 특징으로 하는 기록매체로의 기록 방법.
랜덤 액세스 포인트가 되는 제1 I 픽처부터, 상기 랜덤 액세스 포인트와는 별개의 랜덤 액세스 포인트가 되는 제2 I 픽처의 직전의 픽처까지에 속하는 복수의 픽처로 구성되는 랜덤 액세스 유닛을 부호화하여 생성된 부호화 스트림을 기록한 기록매체로서,
복호화 장치가, 상기 제1 I 픽처를 복호화하기 위해 부호화된 I 픽처 데이터와,
상기 복호화 장치가, 상기 부호화된 I 픽처 데이터를 복호화하기 위한 제1 파라미터 세트와,
상기 복호화 장치가, 상기 I 픽처에 후속하고, 또한, 랜덤 액세스 유닛에 포함되는 후속 픽처를 복호화하기 위해 부호화된 후속 픽처 데이터와,
상기 복호화 장치가, 상기 부호화된 후속 픽처 데이터의 복호에 사용하기 위한 제2 파라미터 세트와,
상기 복호화 장치가, 상기 부호화된 제1 I 픽처 데이터와 상기 부호화된 후속 픽처 데이터의 복호에 공통으로 사용하기 위한 시퀀스 파라미터 세트를 포함하고,
상기 부호화된 후속 픽처 데이터는, 상기 부호화된 I 픽처 데이터의 뒤에 위치하고,
상기 제1 파라미터 세트와, 상기 제2 파라미터 세트와, 상기 시퀀스 파라미터 세트는, 상기 제1 I 픽처를 포함하는 랜덤 액세스 유닛 내에서, 상기 부호화된 I 픽처 데이터의 앞에 위치하는 것을 특징으로 하는 부호화 스트림이 기록된 컴퓨터로 판독 가능한 기록매체.