KR20050088918A

KR20050088918A - 동화상 부호화 방법 및 동화상 복호화 방법

Info

Publication number: KR20050088918A
Application number: KR1020047004763A
Authority: KR
Inventors: 신야 가도노
Original assignee: 마쯔시다덴기산교 가부시키가이샤
Priority date: 2003-01-17
Filing date: 2003-12-03
Publication date: 2005-09-07
Also published as: CN1692654A; US20050147375A1; EP1589767A4; TW200421877A; AU2003289131A1; EP1589767A1; WO2004066635A1

Abstract

동화상 부호화 장치(1)는 픽쳐 타입(Ptype)에 대응하여 가변속 재생에 필요한 정보인 가변속 재생용 정보(Map)를 작성하는 맵 작성부(113), 부호화 스트림(Str)에 가변속 재생용 정보(Map)를 부호화하여 배치하는 가변 길이 부호화부(112), 부호화 대상의 픽쳐가 참조하는 픽쳐 파라미터 세트(PPS)의 부호화 필요성을 검지하는 검지부(114) 및 검지부(114)에 의해 부호화의 필요성이 검지된 픽쳐 파라미터 세트(PPS)를 부호화 대상 픽쳐에 대해 부가하는 공통 정보 부가부(115)를 구비한다.

Description

동화상 부호화 방법 및 동화상 복호화 방법{VIDEO ENCODING METHOD AND VIDEO DECODING METHOD}

본 발명은, 동화상을 가변속 재생할 수 있도록 부호화하는 동화상 부호화 방법과, 이와같이 부화화된 스트림을 복호화하는 동화상 복호화 방법, 및 그 스트림에 관한 것이다.

최근, 음성, 화상, 그 밖의 화소값을 통합적으로 취급하는 멀티미디어 시대를 맞이하여, 종래부터의 정보 미디어, 즉 신문, 잡지, 텔레비전, 라디오, 전화 등의 정보를 사람에게 전달하는 수단이 멀티미디어의 대상으로 취급되고 있다. 일반적으로 멀티미디어란, 문자뿐만 아니라, 도형, 음성, 특히 화상 등을 동시에 관련시켜 나타내는 것을 말하는데, 상기 종래의 정보 미디어를 멀티미디어의 대상으로 하기 위해서는, 그 정보를 디지털 형식으로 나타내는 것이 필수 조건이 된다.

그런데, 상기 각 정보 미디어가 가지는 정보량을 디지털 정보량으로서 추측해 보면, 문자의 경우 1문자당 정보량은 1∼2바이트인데 대해, 음성의 경우 1초당 64Kbits(전화 품질), 또한 동화상에 대해서는 1초당 100Mbits(현행 텔레비전 수신 품질) 이상의 정보량이 필요하고, 상기 정보 미디어로 그 방대한 정보를 디지털 형식으로 그대로 취급하는 것은 현실적이지 않다. 예를 들면, 텔레비전 전화는 64Kbit/s∼1.5Mbits/s의 전송 속도를 가지는 서비스 종합 디지털망(ISDN: Integrated Services Digital Network)에 의해서 이미 실용화되어 있는데, 텔레비전 카메라의 영상을 그대로 ISDN으로 송신하는 것은 불가능하다.

그래서, 필요한 것이 정보의 압축 기술이고, 예를 들면, 텔레비전 전화의 경우, ITU-T(국제전기통신연합 전기통신표준화 부문)에서 권고된 H. 261나 H. 263 규격의 동화상 압축 기술이 이용되고 있다. 또한, MPEG-1 규격의 정보 압축 기술에 의하면, 통상의 음악용 CD(컴팩트 디스크)에 음성 정보와 동시에 화상 정보를 넣는 것도 가능해진다.

여기서, MPEG(Moving Picture Experts Group)란, ISO/IEC(국제표준화기구 국제전기표준회의)에서 표준화된 동화상 신호 압축의 국제 규격이고, MPEG-1는 동화상 신호를 1.5Mbps까지, 즉 텔레비전 신호의 정보를 약 100분의 1까지 압축하는 규격이다. 또한, MPEG-1 규격에서는 대상으로 하는 품질을 전송 속도가 주로 약 1.5Mbps로 실현할 수 있을 정도의 중간 정도 품질로 하였으므로, 한층 더 고화질화의 요구를 만족시키도록 규격화된 MPEG-2는 동화상 신호를 2∼15Mbps로 TV 방송 품질을 실현한다.

또한, 현 상황에서 MPEG-1, MPEG-2로 표준화를 진행해 온 작업 그룹(ISO/IEC JTC1/SC29/WGl1)에 의해, MPEG-1, MPEG-2를 상회하는 압축율을 달성하고, 또한 물체 단위로 부호화·복호화·조작을 가능하게 하여, 멀티미디어 시대에 필요한 새로운 기능을 실현하는 MPEG-4가 규격화되었다. MPEG-4에서는 당초 저 비트 레이트의 부호화 방법의 표준화를 목표로 하여 진행되었지만, 현재는 인터레이스 화상도 포함하는 고 비트 레이트도 포함하는, 보다 범용적인 부호화로 확장되어 있다. 또한, 현재는 ISO/IEC와 ITU-T가 공동으로 보다 고 압축율의 차세대 화상 부호화 방식으로서, MPEG-4AVC 및 ITUH.264의 표준화 활동이 진행되고 있다. 2002년 5월의 시점에서, 차세대 화상 부호화 방식은 커미티 드래프트(CD)라고 불리는 것이 발행되고 있다(예를 들면, Text of Committee Draft of Joint Video Specification(ITU-T Rec.H. 264 ｜ ISO/IEC 14496-10 AVC) 0.4 'Overview of the syntax' 0.4.1 'Temporal processing' 8.2.2 'Parameter set decoding' 참조).

일반적으로 동화상의 부호화에서는 시간 방향 및 공간 방향의 장황성을 삭감함으로써 정보량의 압축을 행한다. 그래서 시간적인 장황성의 삭감을 목적으로 하는 화면간 예측 부호화에서는 전방 또는 후방의 픽쳐를 참조하여 블록 단위로 움직임의 검출 및 예측 화상의 작성을 행하고, 얻어진 예측 화상과 부호화 대상 픽쳐의 차분값에 대해 부호화를 행한다. 여기서, 픽쳐란 1매의 화면을 표시하는 용어이고, 프로그레시브 화상에서는 프레임을 의미하고, 인터레이스 화상에서는 프레임 또는 필드를 의미한다. 여기서, 인터레이스 화상이란, 1개의 프레임이 시각이 다른 2개의 필드로 구성되는 화상이다. 인터레이스 화상의 부호화나 복호화 처리에서는 1개의 프레임을 프레임대로 처리하거나, 2개의 필드로서 처리하거나, 프레임 내의 블록 마다 프레임 구조 또는 필드 구조로서 처리할 수 있다.

참조 화상을 가지지 않고 화면 내 예측 부호화를 행하는 것을 I 픽쳐라고 한다. 또한, 1매의 픽쳐만을 참조하여 화면간 예측 부호화를 행하는 것을 P 픽쳐라고 한다. 또한, 동시에 2매의 픽쳐를 참조하여 화면간 예측 부호화를 행할 수 있는 것을 B 픽쳐라고 한다. B 픽쳐는 표시 시간이 전방 또는 후방에서 임의의 조합으로 2매의 픽쳐를 참조하는 것이 가능하다. 참조 화상(참조 픽쳐)은 부호화 및 복호화의 기본 단위인 블록마다 지정할 수 있는데, 부호화를 행한 비트 스트림 중에 먼저 기술되는 쪽의 참조 픽쳐를 제1 참조 픽쳐, 후에 기술되는 쪽을 제2 참조 픽쳐로 하여 구별한다. 단, 이들 픽쳐를 부호화 및 복호화 하는 경우의 조건으로서, 참조하는 픽쳐가 이미 부호화 및 복호화 되어 있을 필요가 있다.

P 픽쳐 또는 B 픽쳐의 부호화에는, 움직임 보상 화면간 예측 부호화가 이용되고 있다. 움직임 보상 화면간 예측 부호화란, 화면간 예측 부호화에 움직임 보상을 적용한 부호화 방식이다. 움직임 보상이란, 단순히 참조 픽쳐의 화소값으로부터 예측하는 것이 아니라, 픽쳐 내의 각 부의 움직임량(이하, 이를 움직임 벡터라 한다)을 검출하고, 해당 움직임량을 고려한 예측을 행함으로써 예측 정밀도를 향상시키는 동시에, 데이터량을 감소시키는 방식이다. 예를 들면, 부호화 대상 픽쳐의 움직임 벡터를 검출하고, 그 움직임 벡터분만큼 시프트한 예측치와 부호화 대상 픽쳐의 예측 잔차를 부호화함으로써 데이터량을 감소시키고 있다. 이 방식의 경우에는 복호화시에 움직임 벡터의 정보가 필요해지므로, 움직임 벡터도 부호화되어 기록 또는 전송된다.

움직임 벡터는 매크로 블록 또는 블록 단위로 검출되고, 구체적으로는 부호화 대상 픽쳐측의 매크로 블록 또는 블록을 고정해 두고, 참조 픽쳐측의 매크로 블록 또는 블록을 탐색 범위 내에서 이동시켜, 기준 매크로 블록 또는 블록과 가장 유사한 참조 블록의 위치를 발견함으로써, 움직임 벡터가 검출된다.

도 1은 종래의 MPEG2의 스트림의 구성을 도시하는 도면이고, (a) 픽쳐의 흐름, (b) 스트림의 계층 구조를 도시하는 도면이다. 도 1(a), (b)에 도시하는 바와 같이 MPEG2의 스트림은 이하와 같은 계층 구조를 갖고 있다. 스트림은 다수의 그룹·오브·픽쳐(GOP:Group Of Picture)로 구성되어 있고, 이를 부호화 처리의 기본 단위로 함으로써 동화상의 편집이나 랜덤 액세스가 가능해진다. 그룹·오브·픽쳐는 다수의 픽쳐로 구성되고, 각 픽쳐는 I 픽쳐, P 픽쳐 또는 B 픽쳐가 있다. 스트림, GOP 및 픽쳐는 또한 각각의 단위의 구분을 표시하는 동기 신호(sync)와 해당 단위에 공통의 데이터인 헤더(header)로 구성되어 있다.

도 2는 다른 종래의 스트림의 계층 구조를 도시하는 도면이다. 이 스트림은 현재 ITU-T와 ISO/IEC가 공동으로 표준화 중인 JVT(H. 264/MPEG-4AVC)에 대응한다. JVT에서는 헤더라는 개념은 없고, 공통 데이터는 스트림의 선두에 파라미터 세트(PS)라는 명칭으로 배치된다. 또한, GOP에 상당하는 개념은 없지만, 다른 픽쳐에 의존하지 않고 복호화 할 수 있는 특별한 픽쳐 단위로 데이터를 분할하면 GOP에 상당하는 랜덤 액세스가 가능한 단위를 구성할 수 있으므로, 이를 랜덤 액세스 유닛(RAU)이라고 부르기로 한다.

파라미터 세트(PS)는 각 픽쳐의 헤더에 상당하는 데이터인 픽쳐 파라미터 세트(PPS)와 MPEG-2의 GOP 또는 시퀀스 단위의 헤더에 상당하는 시퀀스 파라미터 세트(SPS)가 있다. 각 픽쳐에는 상기 픽쳐 파라미터 세트(PPS) 및 시퀀스 파라미터 세트(SPS)의 다수 후보 중에서 무엇을 참조할지를 나타내는 식별자가 부여된다. 즉, 픽쳐 파라미터 세트(PPS) 및 시퀀스 파라미터 세트(SPS)는 다수의 세트를 1회만 부호화하고, 각 픽쳐에서 그 세트 중의 어느것을 참조할지를 식별자로 나타내는 것으로, MPEG-2와 같이 각 픽쳐마다 동일한 값의 헤더(파라미터 세트)를 몇 번이나 부호화하는 낭비를 줄여 압축율을 향상시키고 있다.

픽쳐 번호(PN)는 픽쳐를 식별하기 위한 식별 번호이다. 시퀀스 파라미터 세트(SPS)에는 최대 참조 가능 픽쳐수, 화상 사이즈 등이 포함되어 있고, 픽쳐 파라미터 세트(PPS)에는 가변 길이 부호화 타입(허프만 부호화와 산술 부호화의 전환), 양자화 단계의 초기치, 참조 픽쳐수 등이 포함되어 있다.

도 3은 종래의 동화상 부호화 방법을 실현하는 동화상 부호화 장치의 구성을 도시하는 블록도이다.

동화상 부호화 장치(3)는 입력되는 화상 신호(Vin)를 압축 부호화하여 가변 길이 부호화 등의 비트 스트림으로 변환한 부호화 스트림(Str)을 출력하는 장치이고, 움직임 검출부(101), 움직임 보상부(102), 감산부(103), 직교 변환부(104), 양자화부(105), 역 양자화부(106), 역 직교 변환부(107), 가산부(108), 픽쳐 메모리(109), 스위치(110), 예측 구조 결정부(111) 및 가변 길이 부호화부(301)를 구비하고 있다.

화상 신호(Vin)는 감산부(103) 및 움직임 검출부(101)에 입력된다. 감산부(103)는 입력된 화상 신호(Vin)와 예측 화상의 차분값을 계산하여, 직교 변환부(104)에 출력한다. 직교 변환부(104)는 차분값을 주파수 계수로 변환하여, 양자화부(105)에 출력한다. 양자화부(105)는 입력된 주파수 계수를 양자화하여, 양자화값(Qcoef)을 가변 길이 부호화부(301)에 출력한다.

역 양자화부(106)는 양자화값(Qcoef)을 역 양자화하여 주파수 계수로 복원하여, 역 직교 변환부(107)에 출력한다. 역 직교 변환부(107)는 주파수 계수로부터 화소 차분값으로 역 주파수 변환하여, 가산부(108)에 출력한다. 가산부(108)는 화소 차분값과 움직임 보상부(102)로부터 출력되는 예측 화상을 가산하여 복호화 화상으로 한다. 스위치(110)는 해당 복호화 화상의 보존이 지시된 경우에 ON으로 되고, 복호화 화상은 픽쳐 메모리(109)에 보존된다.

한편, 화상 신호(Vin)가 매크로 블록 단위로 입력된 움직임 검출부(101)는 픽쳐 메모리(109)에 격납되어 있는 복호화 화상을 탐색 대상으로 하여, 가장 입력 화상 신호에 가까운 화상 영역을 검출하여 그 위치를 지시하는 움직임 벡터(MV)를 결정한다. 움직임 벡터 검출은 매크로 블록을 더 분할한 블록 단위로 행해진다. 이 때, 다수의 픽쳐를 참조 픽쳐로서 사용할 수 있으므로, 참조하는 픽쳐를 지정하기 위한 식별 번호(참조 인덱스(lndex))가 블록마다 필요해진다. 참조 인덱스(Index)에 의해, 픽쳐 메모리(109) 중의 각 픽쳐가 갖는 픽쳐 번호와 대응함으로써 참조 픽쳐를 지정하는 것이 가능해진다.

움직임 보상부(102)에서는 상기 처리에 의해서 검출된 움직임 벡터(MV) 및 참조 인덱스(Index)를 이용하여, 픽쳐 메모리(109)에 격납되어 있는 복호화 화상으로부터 예측 화상에 최적의 화상 영역을 추출한다.

예측 구조 결정부(111)는 대상 픽쳐가 랜덤 액세스 유닛(RAU)의 개시 위치를 표시하는 랜덤 액세스 유닛 개시 픽쳐(RAUin)이면, 이 대상 픽쳐를 랜덤 액세스가 가능한 특별한 픽쳐로서 부호화(화면내 부호화) 하도록, 픽쳐 타입(Ptype)에 의해 움직임 검출부(101) 및 움직임 보상부(102)에 지시한다. 또한, 예측 구조 결정부(111)는 그 픽쳐 타입(Ptype)을 가변 길이 부호화부(301)에 출력한다.

가변 길이 부호화부(301)는 양자화값(Qcoef), 참조 인덱스(Index), 픽쳐 타입(Ptype) 및 움직임 벡터(MV)를 가변 길이 부호화하여 부호화 스트림(Str)으로 한다.

도 4는 종래의 동화상 복호화 방법을 실현하는 동화상 복호화 장치의 구성을 도시하는 블록도이다. 동 도면에서, 도 3의 종래의 동화상 부호화 방법을 실현하는 동화상 부호화 장치와 동일한 동작을 하는 기기는 동일한 기호를 붙여, 설명을 생략한다.

가변 길이 복호화부(401)는 부호화 스트림(Str)을 복호화하고, 양자화값(Qcoef), 참조 인덱스(Index), 픽쳐 타입(Ptype) 및 움직임 벡터(MV)를 출력한다. 양자화값(Qcoef), 참조 인덱스(Index) 및 움직임 벡터(MV)는 픽쳐 메모리(208), 움직임 보상부(204) 및 역 양자화부(205)에 입력되어 복호화 처리가 행해지는데, 그 동작은 도 3의 종래의 동화상 부호화 장치와 동일하다.

그러나, 랜덤 액세스 유닛(RAU)은 그 유닛의 픽쳐만으로 복호화가 가능한데, 종래의 JVT의 부호화 방법 및 스트림에서는 VTR이나 디스크 레코더 등의 축적 장치에서 중요한 가변속 재생을 위한 정보를 얻을 수 없다. 이는 JVT가 부호화 효율(압축율)을 크게 향상시키기 위해서, 매우 유연한 픽쳐간의 예측 구조를 도입한 것에 의한다.

도 5는 픽쳐의 참조 관계의 예를 도시하는 모식도이다. 도 5(a)는 MPEG-2에서 사용되는 픽쳐간 예측 구조이다. 동 도면에서 사선을 그은 픽쳐는 다른 픽쳐에서 참조되는 픽쳐이다. MPEG-2에서 P 픽쳐(P4, P7)는 표시 시각이 직전 1매의 I 픽쳐 혹은 P 픽쳐만 참조한 예측 부호화가 가능하다. 또한, B 픽쳐(B1, B2, B3, B5, B6)는 표시 시각이 직전 1매와 직후 1매의 I 픽쳐 또는 P 픽쳐를 참조한 예측 부호화가 가능하다. 또한, 스트림에 배치되는 순서도 정해져 있고, I 픽쳐 및 P 픽쳐는 표시 시각의 순서, B 픽쳐는 직후에 표시되는 I 픽쳐 또는 P 픽쳐의 직후에 배치된다. 따라서, ⅰ) 모든 픽쳐를 복호화, ⅱ) I 픽쳐와 P 픽쳐의 스트림만 복호화하여 I 픽쳐와 P 픽쳐만 표시, ⅲ) I 픽쳐의 스트림만 복호화하여 표시하는 3가지로 복호화할 수 있으므로, ⅰ)의 통상의 재생으로부터 ⅱ)의 중속 재생, ⅲ)의 고속재생의 3가지를 용이하게 실현할 수 있다.

JVT에서는 B 픽쳐로부터 B 픽쳐를 참조한 예측도 가능하다. 도 5(b)는 JVT의 예측의 예이고, B 픽쳐(B1, B3)는 B 픽쳐(B2)를 참조하고 있다. 이 예에서는 ⅰ) 모든 픽쳐를 복호화, ⅱ) I 픽쳐, P 픽쳐, B 픽쳐의 참조되는 스트림만 복호화하여 표시, ⅲ) I 픽쳐와 P 픽쳐의 스트림만 복호화 하여 I 픽쳐와 P 픽쳐만 표시, ⅳ) I 픽쳐의 스트림만 복호화하여 표시하는 4종류를 실현할 수 있다.

그러나, JVT에서는 또한 P 픽쳐로부터 B 픽쳐를 참조하는 것도 가능하게 되어 있고, 도 6에 도시하는 바와 같이, P 픽쳐(P7)가 B 픽쳐(B2)를 참조하는 것도 가능하다. 이 경우 P 픽쳐(P7)는 B 픽쳐(B2)가 복호화되어 있지 않으면 복호화할 수 없으므로, ⅰ) 모든 픽쳐를 복호화, ⅱ) I 픽쳐, P 픽쳐, B 픽쳐의 참조되는 스트림만 복호화하여 표시, ⅲ) I 픽쳐의 스트림만 복호화하여 표시하는 3가지를 실현할 수 있다.

이와 같이 JVT에서는 매우 유연한 예측 구조가 허용되므로, 실제의 예측 구조를 모르면 어떠한 가변속 재생이 가능한지 불명확하다. 그래서, 도 5 및 도 6의 예로부터 예측 구조에 의거하지 않고 실현할 수 있는 것은 ⅰ) 모든 픽쳐를 복호화, ⅱ) I 픽쳐의 스트림만 복호화하여 표시하는 기껏해야 2가지에 불과하다. 이것으로는, MPEG-2로 실현할 수 있는 가변속 재생과 비교해 아무래도 실현할 수 있는 속도의 선택지가 너무 적다.

그래서, 본 발명은 상기의 사정을 감안하여 이루어진 것으로, 가변속 재생을 위해 복호화가 필요한 픽쳐를 용이하게 특정할 수 있고, 가변속 재생에 알맞은 부호화 및 복호화를 행할 수 있는 동화상 부호화 방법 및 동화상 복호화 방법 등을 제공하는 것을 목적으로 한다.

도 1은 종래의 MPEG2의 스트림 구성도이고, (a) 픽쳐의 흐름, (b) 스트림의 계층 구조를 도시하는 도면,

도 2는 종래의 다른 스트림의 계층 구조를 도시하는 도면,

도 3은 종래의 동화상 부호화 방법을 실현하는 동화상 부호화 장치의 구성을 도시하는 블록도,

도 4는 종래의 동화상 복호화 방법을 실현하는 동화상 복호화 장치의 구성을 도시하는 블록도,

도 5는 픽쳐의 참조 관계의 예를 도시하는 모식도로, (a) MPEG-2에서의 픽쳐간 예측 구조, (b) JVT에서의 예측 구조의 예이다.

도 6은 픽쳐의 참조 관계의 예를 도시하는 모식도,

도 7은 본 발명의 동화상 부호화 방법을 실현하는 동화상 부호화 장치의 구성을 도시하는 블록도이다.

도 8은 본 발명의 스트림의 구성도(실시 형태 1)로, (a) 랜덤 액세스 유닛(RAU)의 구조예, (b) 가변속 재생 맵(RAM)의 일례, (c) 가변속 재생 맵(RAM)의 다른 예, (d) 가변속 재생 맵(RAM)의 다른 예이다.

도 9는 픽쳐의 참조 관계(실시 형태 1)를 도시하는 모식도로, (a) 픽쳐의 참조 관계의 일례, (b) 픽쳐의 참조 관계의 다른 예, (c) 픽쳐의 참조 관계의 다른 예이다.

도 10은 가변속 재생 맵(RAM)을 작성할 때의 동작을 도시하는 플로우 챠트이다.

도 11은 픽쳐 파라미터 세트(PPS)를 부가할 때의 동작을 도시하는 플로우 챠트이다.

도 12는 대상 픽쳐를 부호화할 때의 동작을 도시하는 플로우 챠트이다.

도 13은 본 발명의 스트림의 구성도(실시 형태 2)로, (a) 랜덤 액세스 유닛(RAU)의 구조예, (b) 가변속 재생 맵 테이블(RAMTBL)의 일례이다.

도 14는 가변속 재생 맵 식별자(RAMID)를 작성할 때의 동작을 도시하는 플로우 챠트이다.

도 15는 본 발명의 동화상 복호화 방법을 실현하는 동화상 복호화 장치의 구성을 도시하는 블록도이다.

도 16은 동화상 복호화 장치에서의 동작을 도시하는 플로우 챠트로, (a) 실시 형태 1에 나타내는 스트림의 구성, (b) 실시 형태 2에 나타내는 스트림의 구성에 대응하는 플로우 챠트,

도 17은 픽쳐 메모리의 보존 상태를 도시하는 모식도로, (a) 통상 재생시, (b) 종래의 4배속 재생시, (c) 본 발명의 4배속 재생시의 보존 상태를 도시하는 모식도이다.

도 18은 대상 픽쳐를 복호화할 때의 동작을 도시하는 플로우 챠트이다.

도 19는 동화상 복호화 장치에서의 다른 동작을 도시하는 플로우 챠트로, (a) 실시의 형태 1에 나타내는 스트림의 구성, (b) 실시의 형태 2에 나타내는 스트림의 구성에 대응하는 플로우 챠트이다.

도 20은 각 실시 형태의 동화상 부호화 방법 및 동화상 복호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 격납하기 위한 기록 매체에 대한 설명도로, (a) 기록 매체 본체인 플렉시블(flexible) 디스크의 물리 포맷의 예를 도시한 설명도, (b) 플렉시블 디스크의 정면에서 본 외관, 단면 구조 및 플렉시블 디스크를 도시한 설명도, (c) 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한 설명도이다.

도 21은 컨텐츠 배치 서비스를 실현하는 컨텐츠 공급 시스템의 전체 구성을 도시하는 블록도이다.

도 22는 휴대 전화의 일례를 도시하는 도면이다.

도 23은 휴대 전화의 내부 구성을 도시하는 블록도이다.

도 24는 디지털 방송용 시스템의 전체 구성을 도시하는 블록도이다.

상기 목적을 달성하기 위해, 본 발명에 관한 동화상 부호화 방법은 동화상 신호를 픽쳐 단위로 부호화하여 부호화 스트림을 생성하는 동화상 부호화 방법으로서, 가변속 재생의 대상으로 하는 픽쳐를 특정하기 위한 가변속 재생용 정보를 작성하는 정보 작성 단계와, 상기 가변속 재생용 정보를 부호화하여 상기 부호화 스트림에 부가하는 부호화 단계를 포함하는 것을 특징으로 한다.

이에 따라, 가변속 재생시에 가변속 재생용 정보에 따라서 소망의 가변속 재생의 대상으로 하는 픽쳐를 특정할 수 있고, 이 특정한 픽쳐만을 복호화함으로써, 불필요한 픽쳐의 복호화를 생략하여 용이하게 가변속 재생이 가능해진다.

여기서, 상기 정보 작성 단계에서는 다수의 픽쳐로 구성되는 랜덤 액세스 유닛이고, 해당 랜덤 액세스 유닛 내의 픽쳐만을 참조하여 해당 랜덤 액세스 유닛 내의 복호화 대상 픽쳐를 복호화하는 것이 가능한 상기 랜덤 액세스 유닛 단위로, 상기 가변속 재생용 정보를 작성해도 된다.

이에 따라, 랜덤 액세스 유닛 단위로 픽쳐의 참조 관계의 구조가 상이해도, 가변속 재생시에 가변속 재생용 정보에 따라서 소망의 가변속 재생의 대상으로 하는 픽쳐를 특정할 수 있다.

또한, 상기 동화상 부호화 방법은 또한 상기 가변속 재생의 대상으로 하는 픽쳐가 참조하는 공통 정보의 부호화 필요성을 검지하는 검지 단계와, 상기 검지 단계에 의해 상기 공통 정보의 부호화의 필요성이 검지된 픽쳐에 대해 상기 공통 정보를 부가하는 공통 정보 부가 단계를 포함해도 된다.

이에 따라, 예를 들면 N배속 미만으로 재생되는 픽쳐에 이미 부가된 공통 정보라도, N배속으로 재생되는 픽쳐에 필요한 경우에는, N배속으로 재생되는 픽쳐에도 공통 정보를 반드시 부가할 수 있으므로, 가변속 재생시에, 참조해야할 공통 정보가 없다는 상황을 회피할 수 있다.

또한, 본 발명에 관한 동화상 복호화 방법은 부호화 스트림을 픽쳐 단위로 복호화하는 동화상 복호화 방법으로서, 가변속 재생의 대상으로 하는 픽쳐를 특정하기 위한 가변속 재생용 정보를 추출하는 정보 추출 단계와, 상기 가변속 재생용 정보를 복호화하는 동시에, 상기 가변속 재생용 정보에 따라서 가변속 재생의 대상으로 하는 픽쳐를 특정하여 복호화하는 복호화 단계를 포함하는 것을 특징으로 한다.

여기서, 상기 정보 추출 단계에서는 다수의 픽쳐로 구성되는 랜덤 액세스 유닛이고, 해당 랜덤 액세스 유닛 내의 픽쳐만을 참조하여 해당 랜덤 액세스 유닛 내의 복호화 대상 픽쳐를 복호화하는 것이 가능한 상기 랜덤 액세스 유닛 단위로, 상기 가변속 재생용 정보를 추출해도 된다.

또한, 상기 동화상 복호화 방법은 또한, 가변속 재생시에 다른 픽쳐에 참조되는 픽쳐에 대해서는 상기 가변속 재생의 대상이 아닌 픽쳐라도, 픽쳐 메모리에 보존하는 것으로서 제어하는 메모리 제어 단계를 포함해도 된다.

이에 따라, 상대적으로 참조하는 픽쳐가 지정되어 있어도, 가변속 재생시에 복호화 대상 픽쳐의 참조 픽쳐로서 지정된 픽쳐가 부호화시의 참조 픽쳐와 상이한 것을 방지할 수 있다.

또, 본 발명은 이러한 동화상 부호화 방법 및 동화상 복호화 방법으로서 실현할 수 있을 뿐만 아니라, 이러한 동화상 부호화 방법 및 동화상 복호화 방법이 포함하는 특징적인 단계를 수단으로서 구비하는 동화상 부호화 장치 및 동화상 복호화 장치로서 실현하는 것도 가능하다. 또한, 이들 단계를 컴퓨터에 실행시키는 프로그램으로서 실현하거나, 상기 동화상 부호화 방법에 의해 부호화한 부호화 스트림으로서 실현하는 것도 가능하다. 그리고, 이러한 프로그램 및 부호화 스트림은 CD-ROM 등의 기록 매체나 인터넷 등의 전송 매체를 통해 배치할 수 있는 것은 말할 필요도 없다.

이상과 같이 본 발명에 관한 동화상 부호화 방법 및 동화상 복호화 방법에 의하면, 랜덤 액세스 유닛(RAU) 중에서 가변속 재생을 위해 복호화가 필요한 픽쳐를 용이하게 특정할 수 있으므로, 가변속 재생에 알맞은 부호화 및 복호화를 용이하게 실현할 수 있어, 그 실용적 가치가 높다.

JVT의 예측 구조가 너무 유연하기 때문에 가변속 재생이 곤란해지는데, 랜덤 액세스 유닛(RAU)을 복호화하기 전에 어떠한 예측 구조가 그 랜덤 액세스 유닛(RAU)의 픽쳐로 사용되는지를 알 수 있으면, 도 5 및 도 6의 각 예에서 도시한 바와 같이 2가지 이상의 속도의 가변속 재생을 실현할 수 있다.

이하, 본 발명의 실시의 형태에 관해서, 도 7 내지 도 24를 이용하여 설명한다.

또, 실시의 형태의 설명에서 이용하는 랜덤 액세스 유닛(RAU)은 반드시 JVT의 특별한 단위일 필요는 없고, 파라미터 세트(PS)를 랜덤 액세스 유닛(RAU)마다 배치하므로 단순히 화면내 부호화(I 픽쳐)로 시작되는 픽쳐의 집합이어도 된다.

(실시 형태 1)

도 7은 본 발명에 관한 동화상 부호화 방법을 이용한 동화상 부호화 장치의 일실시 형태의 구성을 도시하는 블록도이다. 또, 도 3에 도시하는 종래의 동화상 부호화 장치(3)의 각 부와 동일한 동작을 하는 기기는 동일한 부호를 붙여, 설명을 생략한다.

동화상 부호화 장치(1)는 입력되는 화상 신호(Vin)를 압축 부호화하여 가변 길이 부호화 등의 비트 스트림으로 변환한 부호화 스트림(Str)을 출력하는 장치이고, 움직임 검출부(101), 움직임 보상부(102), 감산부(103), 직교 변환부(104), 양자화부(105), 역 양자화부(106), 역 직교 변환부(107), 가산부(108), 픽쳐 메모리(109), 스위치(110), 예측 구조 결정부(111), 가변 길이 부호화부(112), 맵 작성부(113), 검지부(114) 및 공통 정보 부가부(115)를 구비하고 있다.

맵 작성부(113)는 픽쳐 타입(Ptype)에 대응하여 가변속 재생에 필요한 정보인 가변속 재생용 정보(Map)(예를 들면 후술하는 가변속 재생 맵(RAM)이나 가변속 재생 맵 테이블(RAMTBL), 가변속 재생 맵 식별자 (RAMID))를 작성하여, 가변 길이 부호화부(112)에 출력한다. 가변 길이 부호화부(112)는 부호화 스트림(Str)에 가변속 재생용 정보(Map)를 부호화하여 배치한다.

검지부(114)는 부호화 대상의 픽쳐가 N배속 이상으로 재생(복호)되는 픽쳐일 때, 대상 픽쳐가 참조하는 공통 정보인 픽쳐 파라미터 세트(PPS)가, N배속 이상으로 재생되는 픽쳐로 이미 부호화되어 있는지 여부를 판정함으로써, 픽쳐 파라미터 세트(PPS)의 부호화 필요성을 검지한다. 공통 정보 부가부(115)는 검지부(114)에 의해 부호화의 필요성이 검지된 픽쳐에 대해 픽쳐 파라미터 세트(PPS)를 부가한다.

도 8은 실시 형태 1의 스트림 구성도이다. 도 2의 종래의 스트림의 구성도와의 차이는, 랜덤 액세스 유닛(RAU)에 가변속 재생 맵(RAM)을 배치한 것이다.

도 8(a)은 랜덤 액세스 유닛(RAU)의 구조예를 도시한다. 이 구조예에서 가변속 재생 맵(RAM)을 랜덤 액세스 유닛(RAU) 내의 픽쳐 전에 배치하고, 가변속 재생 맵(RAM)에 어느 픽쳐의 스트림을 복호화하면 소망의 가변속으로 재생할 수 있을지의 정보를 기재하고 있다. 동화상 복호화 장치에서 가변속 재생 맵(RAM)에 기재된 정보에 따라서 소망의 가변속 재생에 필요한 픽쳐만을 복호화함으로써, 불필요한 픽쳐의 복호화를 생략하여 용이하게 가변속 재생이 가능해진다.

도 8(b)은 가변속 재생 맵(RAM)의 예이다. 랜덤 액세스 유닛(RAU) 내의 픽쳐의 식별자인 픽쳐 번호(PN) 마다 몇배속 재생에서 그 픽쳐의 복호화가 필요한지를 가변속 재생 맵(RAM)에 기재하고 있다. 즉, 각 픽쳐 번호(PN)의 뒤쪽 위치에 그 픽쳐가 몇배속 재생에서 복호화가 필요한지 표시하는 정보(Speed)를 기재하고 있다. 이와 같이 함으로써, 소망의 재생 속도에서 어떤 픽쳐의 복호화가 필요할지 용이하게 알 수 있다. 또한, 픽쳐 번호(PN)를 랜덤 액세스 유닛(RAU)의 선두에 정리하여 배치하고, 그 후에 몇배속 재생에서 복호화가 필요할지 표시하는 정보(Speed)를 정리하여 배치해도 된다.

도 8(c)은 가변속 재생 맵(RAM)의 다른 예이다. 랜덤 액세스 유닛(RAU) 내의 각 픽쳐가 몇배속의 재생에서 필요할지를 순서대로 기재하고 있다. 이에 따라, 반드시 픽쳐 번호(PN)를 가변속 재생 맵(RAM)에 배치할 필요가 없어, 픽쳐 번호(PN)를 배치하기 위해서 필요한 영역을 절약할 수 있다.

도 8(d)은 가변속 재생 맵(RAM)의 다른 예이다. 최초에 몇배속 재생에서 복호화가 필요할지 표시하는 정보(Speed)를 배치하고, 그 후에 그 속도의 재생을 위해 필요한 픽쳐의 픽쳐 번호(PN)를 기재하고 있다.

몇배속 재생에서 복호화가 필요할지 표시하는 정보(Speed)로는 예를 들면 픽쳐(M)가 N배속에서 필요하다고 기재되어 있는 경우에 Speed는 N으로 한다. 이 때, 재생 속도가 K배속인 경우에, N<K이면 픽쳐(M)는 복호화가 불필요하지만, N>= K이면 픽쳐(M)의 복호화가 필요하다.

도 9는 픽쳐의 참조 관계의 예를 도시하는 모식도이다. 여기서, 사선을 그은 픽쳐는 다른 픽쳐로부터 참조되는 픽쳐이다.

도 9(a)에 도시하는 예에서는 3배속인 경우에 픽쳐(I0, P3, P6)를 재생한다. 도 9(b)에 도시하는 예에서는 4배속인 경우에 픽쳐(I0, P4)를 재생하고, 2배속인 경우에 픽쳐(I0, B2, P4, B6)를 재생한다. 도 9(c)에 도시하는 예에서는 3배속인 경우에 픽쳐(I0, P3, P6)를 재생하고 1.5배속인 경우에 픽쳐(I0, P1, P3, P4, P6, P7)를 재생한다.

따라서, 몇배속 재생에서 복호화가 필요할지 표시하는 정보(Speed)는 도 9(a)에 도시하는 예에서는 픽쳐(I0, P3, P6)가 「3」, 다른 픽쳐는 「1」로 되고, 도 9(b)에 도시하는 예에서는 픽쳐(I0, P4)가 「4」, 픽쳐(B2, B6)가 「2」, 다른 픽쳐는 「1」로 되고, 도 9(c)에 도시하는 예에서는 픽쳐(I0, P3, P6)가 「3」, 픽쳐(P1, P4, P7)가 「1.5」, 다른 픽쳐는 「1」로 된다.

다음에, 상기한 바와 같이 구성된 동화상 부호화 장치(1)의 동작에 대해 설명한다. 도 10은 가변속 재생 맵(RAM)을 작성할 때의 동작을 도시하는 플로우 챠트이다.

맵 작성부(113)는 부호화 대상의 픽쳐가 랜덤 액세스 포인트 즉 랜덤 액세스 유닛(RAU)의 최초 픽쳐인지 여부를 판정한다(단계 S10). 이 판정의 결과, 랜덤 액세스 포인트의 픽쳐이면(단계 S10에서 YES), 맵 작성부(113)는 가변속 재생 맵(RAM)을 작성하고, 가변 길이 부호화부(112)에 출력한다(단계 S11). 다음에, 가변 길이 부호화부(112)는 가변속 재생 맵(RAM)을 부호화한다(단계 S12). 또한, 가변 길이 부호화부(112)는 대상 픽쳐를 부호화한다(단계 S13).

한편, 상기 판정의 결과, 랜덤 액세스 포인트의 픽쳐가 아니면(단계 S10에서 NO), 가변 길이 부호화부(112)는 대상 픽쳐를 부호화한다(단계 S13).

다음에, 미부호화 픽쳐가 있는지 여부를 판정(단계 S14)하고, 미부호화 픽쳐가 있으면 상기 동작(단계 S10∼S14)을 반복하고, 미부호화 픽쳐가 없으면 처리를 종료한다.

그런데, 부호화 스트림(Str)의 복호화 시에는, 상기한 바와 같이 픽쳐 파라미터 세트(PPS)를 참조하여 복호화를 행하고, 이 픽쳐 파라미터 세트(PPS)가 변경된 경우에, 이 새로운 픽쳐 파라미터 세트(PPS)는, 참조하는 픽쳐의 데이터 이전에 부호화 스트림(Str)으로서 보내진다. 그러나, 가변속 재생을 행하면, 변경된 새로운 픽쳐 파라미터 세트(PPS)를 참조해야 할 픽쳐를 복호화 할 때, 이 픽쳐 파라미터 세트(PPS)가 없다는 상황이 발생한다. 예를 들면, 도 9(b)에 도시하는 예에서는 픽쳐(I0, P4, B2, B1, B3, P8, B6, B5, B7)의 순으로 부호화된다. 이 때, 픽쳐(B2)에서 픽쳐 파라미터 세트(PPS)가 변경되고, 변경된 새로운 픽쳐 파라미터 세트(PPS)를 참조하는 픽쳐(B2)의 데이터 중에 이 새로운 픽쳐 파라미터 세트(PPS)가 부가된 것으로 한다. 이 경우, 통상 및 2배속의 재생에서는 문제가 없지만, 예를 들면, 4배속 재생에서는 픽쳐(I0, P4, P8)를 재생하게 되고, 픽쳐(B2)는 복호화되지 않으므로, 변경된 새로운 픽쳐 파라미터 세트(PPS)도 복호화되지 않는다. 따라서, 픽쳐(P8)가 참조해야 할 픽쳐 파라미터 세트(PPS)가 복호화되어 있지 않으므로, 픽쳐(P8)를 복호화할 수 없다는 문제가 생긴다.

그래서, 본 실시의 형태에서 픽쳐 파라미터 세트(PPS)는, N배속에서 재생되는 픽쳐에 필요한 경우에는 N배속 미만에서 재생되는 픽쳐에 이미 부가되어 있어도, N배속에서 재생되는 픽쳐에도 반드시 부가한다. 즉, 상기의 예에서는 픽쳐(B2)에서 변경된 새로운 픽쳐 파라미터 세트(PPS)가 픽쳐(P8)의 데이터 중에도 부가되게 된다.

검지부(114)는 부호화 대상의 픽쳐가 N배속 이상에서 재생(복호)되는지 여부를 판정한다(단계 S20). 이 판정 결과, N배속 이상에서 재생되는 픽쳐이면(단계 S20에서 YES), 대상 픽쳐가 참조하는 픽쳐 파라미터 세트(PPS)는 N배속 이상에서 재생되는 픽쳐의 부호화 시에 이미 부호화되어 있는지 여부를 판정한다(단계 S21). 여기서, N배속 이상에서 재생되는 픽쳐의 부호화 시에 아직 부호화되지 않은 경우(단계 S21에서 NO), 공통 정보 부가부(115)는 대상 픽쳐에 대해 픽쳐 파라미터 세트(PPS)를 부가하기 위해서, 가변 길이 부호화부(112)에 출력한다(단계 S22). 다음에, 가변 길이 부호화부(112)는 픽쳐 파라미터 세트(PPS)를 부호화한다(단계 S23). 또한, 가변 길이 부호화부(112)는 대상 픽쳐를 부호화한다(단계 S24).

한편, 상기 판정의 결과, N배속 이상에서 재생되는 픽쳐가 아닌 경우(단계 S20에서 NO) 및 대상 픽쳐가 참조하는 픽쳐 파라미터 세트(PPS)가 N배속 이상에서 재생되는 픽쳐의 부호화 시에 이미 부호화되어 있는(단계 S21에서 YES) 경우, 가변 길이 부호화부(112)는 대상 픽쳐를 부호화한다(단계 S24).

다음에, 미부호화 픽쳐가 있는지 여부를 판정(단계 S25)하고, 미부호화 픽쳐이면 상기 동작(단계 S20∼S25)을 반복하고, 미부호화 픽쳐가 없으면 처리를 종료한다.

검지부(114)는 부호화 대상의 픽쳐가 N배속 이상에서 재생(복호)되는지 여부를 판정한다(단계 S30). 이 판정의 결과, N배속 이상에서 재생되는 픽쳐이면(단계 S30에서 YES), N배속 이상에서 재생되는 픽쳐를 참조하여 대상 픽쳐의 부호화를 행한다(단계 S31). 한편, N배속 이상에서 재생되는 픽쳐가 아니면(단계 S30에서 NO), 임의의 픽쳐를 참조하여 대상 픽쳐의 부호화를 행한다(단계 S32).

다음에, 대상 픽쳐가 그 밖의 다른 픽쳐를 부호화할 때에 참조되는지 여부를 판정한다(단계 S33). 이 판정의 결과, 다른 픽쳐에 참조되는 픽쳐이면(단계 S33에서 YES), 대상 픽쳐를 픽쳐 메모리(109)에 보존한다(단계 S34). 한편, 다른 픽쳐에 참조되는 픽쳐가 아니면(단계 S33에서 NO), 대상 픽쳐의 픽쳐 메모리(109)에의 보존은 행하지 않는다.

다음에, 미부호화 픽쳐가 있는지 여부를 판정(단계 S35)하고, 미부호화 픽쳐가 있으면 상기 동작(단계 S30∼S35)을 반복하고, 미부호화 픽쳐가 없으면 처리를 종료한다.

이상과 같이, 가변속 재생 맵(RAM)을 랜덤 액세스 유닛(RAU) 내의 픽쳐 전에 배치하고, 가변속 재생 맵(RAM)에 어느 픽쳐의 스트림을 복호화 하면 소망의 가변속에서 재생할 수 있을지의 정보를 기재하고 있다. 또한, N배속 미만에서 재생되는 픽쳐에 이미 부가된 픽쳐 파라미터 세트(PPS)라도, N배속에서 재생되는 픽처에 필요한 경우에는, N배속에서 재생되는 픽쳐에도 반드시 부가한다. 이에 따라, 동화상 복호화 장치에서는 가변속 재생 맵(RAM)에 기재된 정보에 따라서 소망의 가변속 재생에 필요한 픽쳐만을 복호화함으로써, 불필요한 픽쳐의 복호화를 생략하여 용이하게 가변속 재생이 가능해진다.

또한, 본 실시의 형태에서, 가변속 재생 맵(RAM)을 작성할 때, 다른 픽쳐로부터 참조되지 않는 픽쳐는 다른 픽쳐의 복호화에 영향을 주지 않으므로, 다른 픽쳐에 영향을 주는 참조되는 픽쳐에만 대응하는 가변속 재생 맵(RAM)을 작성해도 된다. 또한 가변속 재생 맵(RAM)에 상당하는 기능인 것, 예를 들면 각 픽쳐의 정보를 배치하는 대신에 다른 것으로 부터 참조되지 않는 픽쳐, I 픽쳐, P 픽쳐, B 픽쳐 등의 카테고리마다 동작 정보를 배치해도 된다.

또한, 스트림 전체가 이러한 가변속 재생이 용이한 랜덤 액세스 유닛(RAU)으로 구성되어 있는 것을 표시하는 식별 정보를 부여해도 된다.

또한, 본 실시의 형태에서는 예를 들면 픽쳐(M)의 Speed(몇배속 재생에서 복호화가 필요할지 표시하는 정보)가 N이고, 재생 속도가 K배속인 경우에, N<K이면 픽쳐(M)는 복호화가 불필요하지만, N>= K이면 픽쳐(M)의 복호화가 필요한 것으로 설명했는데, N<K라도 N과 K의 차이가 작은 경우에는 가변속 재생의 화질을 향상시키므로, 픽쳐(M)를 복호화해도 된다.

또한, 상술한 몇배속 재생에서 복호화가 필요한지 표시하는 정보(Speed)는 실제의 재생 속도를 나타내는 값이 아니라, 재생 속도의 정도를 나타내는 값을 붙여도 된다. 예를 들면, 통상 속도의 재생에서만 필요한 픽쳐는 「1」, 그 다음에 빠른 속도의 재생에서 필요한 픽쳐는 「2」, 또한 그보다도 빠른 속도의 재생에서 필요한 픽쳐는 「3」으로 하면 된다.

(실시 형태 2)

실시 형태 1에서는 랜덤 액세스 유닛(RAU)에 가변속 재생 맵(RAM)을 배치하는 예를 나타냈는데, 각 랜덤 액세스 유닛(RAU)의 가변속 재생 맵(RAM)이 같은 내용이면 랜덤 액세스 유닛(RAU)에서 가변속 재생 맵(RAM)을 배치할 필요는 없다.

도 13은 실시 형태 2의 스트림의 구성도이다.

본 실시의 형태에서는 예를 들면 도 9에 도시하는 것과 같은 픽쳐의 참조 관계에 의거하는 다수의 가변속 재생 맵(RAM)을 포함하는 가변속 재생 맵 테이블(RAMTBL)을 도 13(b)에 도시하는 바와 같이 작성한다. 그리고, 각 랜덤 액세스 유닛(RAU)에는 도 13(a)에 도시하는 바와 같이 가변속 재생 맵 테이블(RAMTBL)의 어떤 가변속 재생 맵(RAM)에 대응하는지를 표시하는 가변속 재생 맵 식별자(RAMID)를 배치한다.

가변속 재생 맵 테이블(RAMTBL)은 스트림의 선두에 배치해도 되고, 또한 부가 정보로서 별도의 스트림으로 부호화하거나, 미리 소정의 값을 정해 두고 기기에 구비해도 된다.

도 14는 가변속 재생 맵 식별자(RAMlD)를 작성할 때의 동작을 도시하는 플로우 챠트이다. 여기서는, 실시 형태 1에서의 가변속 재생 맵(RAM)의 작성 및 부호화(도 10, 단계 S11∼S12)를 행하는 대신에, 가변속 재생 맵 식별자(RAMID)의 작성 및 부호화를 행하고 있다(단계 S41∼S42).

이상과 같이 함으로써, 실시 형태 1과 동일한 것을 가변속 재생 맵 식별자(RAMID)로 실현할 수 있다.

또, 가변속 재생 맵 테이블(RAMTBL)에 포함하는 가변속 재생 맵(RAM)을 작성할 때, 다른 픽쳐로부터 참조되지 않는 픽쳐는 다른 픽쳐의 복호화에 영향을 주지 않으므로, 다른 픽쳐에 영향을 주는 참조되는 픽쳐에만 대응하는 가변속 재생 맵(RAM)을 작성해도 된다. 또한 가변속 재생 맵(RAM)에 상당하는 기능인 것, 예를 들면 각 픽쳐의 정보를 배치하는 대신에 다른 것으로부터 참조되지 않는 픽쳐, I 픽쳐, P 픽쳐, B 픽쳐 등의 카테고리 마다의 동작 정보를 배치해도 된다.

또한, 스트림 전체가 이러한 가변속 재생이 용이한 랜덤 액세스 유닛(RAU)으로 구성되는 것을 표시하는 식별 정보를 부여해도 된다.

또한, 실시 형태 1 및 2에서는 가변속 재생 맵(RAM) 및 가변속 재생 맵 식별자(RAMID)를 랜덤 액세스 유닛(RAU) 단위로 부여하고 있는데, 이에 한정되는 것은 아니다. 예를 들면, 스트림 전체에서 구조가 같으면, 가변속 재생 맵(RAM) 및 가변속 재생 맵 식별자(RAMID)를 스트림 단위로 부여해도 상관없다.

또한, 실시 형태 1 및 2에서는 적어도 1개의 가변속 재생 맵(RAM)을 부호화하는 경우만을 기술했는데, 운용에 의해서 가변속 재생 맵(RAM)을 고정하는 경우도 생각할 수 있고, 그 경우는 가변속 재생 맵(RAM)의 부호화가 불필요해진다. 이러한 운용을 가능하게 하기 위해서는 가변속 재생의 대상으로 하는 픽쳐가 참조하는 공통 정보의 부호화의 필요성을 미리 검지하고, 공통 정보의 부호화의 필요성이 검지된 픽쳐에 대해 공통 정보를 부가하도록 하면 된다.

(실시 형태 3)

도 15는 본 발명에 관한 동화상 복호화 방법을 이용한 동화상 복호화 장치의 구성을 도시하는 블록도이다. 또한, 도 4에 도시하는 종래의 동화상 복호화 장치(4)의 각 부와 동일한 동작을 하는 기기는 동일한 부호를 붙여, 설명을 생략한다.

동화상 복호화 장치(2)는 상기한 바와 같이 동화상 부호화 장치(1)에 의해 부호화된 부호화 스트림(Str)을 복호화하는 장치이고, 스트림 추출부(201), 가변 길이 복호화부(202), 추출 픽쳐 선택부(203), 움직임 보상부(204), 역 양자화부(205), 역 직교 변환부(206), 가산부(207), 픽쳐 메모리(208) 및 메모리 제어부(209)를 구비하고 있다.

추출 픽쳐 선택부(203)는 외부에서 입력되는 재생 속도 정보(PlaySpeed)로 지시된 재생 속도로 재생하기 위해 복호화가 필요한 픽쳐를, 가변 길이 복호화부(202)에서 복호화된 가변속 재생용 정보(Map)에 따라서 결정하여, 스트림 추출부(201)에 통지한다. 스트림 추출부(201)는 추출 픽쳐 선택부(203)에서 복호화가 필요하다고 판단된 픽쳐에 대응하는 스트림만을 추출하여 가변 길이 복호화부(202)에 전송한다. 메모리 제어부(209)는 가변속 재생시에 다른 픽쳐에 참조되는 픽쳐에 대해서는 복호화되어 있지 않아도, 픽쳐 메모리(208)에 보존되어 있는 것으로서 제어를 행한다.

다음에, 상기한 바와 같이 구성된 동화상 복호화 장치(2)의 동작에 대해 설명한다. 도 16은 동화상 복호화 장치(2)에서의 동작을 도시하는 플로우 챠트로, (a)는 실시 형태 1에 나타내는 스트림의 구성에 대응하고, (b)는 실시 형태 2에 나타내는 스트림의 구성에 대응한다.

실시 형태 1에 나타내는 스트림의 구성으로 부호화된 부호화 스트림(Str)을 복호화 하는 경우, 스트림 추출부(201)는 복호화 대상의 픽쳐가 랜덤 액세스 포인트 즉 랜덤 액세스 유닛(RAU)의 최초 픽쳐인지 여부를 판정한다(단계 S50). 이 판정의 결과, 랜덤 액세스 포인트의 픽쳐이면(단계 S50에서 YES), 스트림 추출부(201)는 가변속 재생 맵(RAM)을 추출하여, 가변 길이 복호화부(202)에 출력한다(단계 S51). 그리고, 가변 길이 복호화부(202)는 가변속 재생 맵(RAM)을 복호화하여, 추출 픽쳐 선택부(203)로 출력한다(단계 S52).

다음에, 추출 픽쳐 선택부(203)는 외부로부터 입력되는 재생 속도 정보(PlaySpeed)에서 지시된 재생 속도로 재생하기 위해서 복호화가 필요한 픽쳐를, 가변 길이 복호화부(202)에서 복호화된 가변속 재생 맵(RAM)에 따라서 결정하여, 스트림 추출부(201)에 통지한다(단계 S53). 스트림 추출부(201)는 대상 픽쳐가 추출 픽쳐 선택부(203)에서 복호화가 불필요하다고 결정된 픽쳐인지 여부를 판정한다(단계 S54). 여기서, 대상 픽쳐가 복호화가 불필요하다고 결정된 픽쳐가 아니면(단계 S54에서 NO), 대상 픽쳐에 대응하는 스트림만을 추출하여 가변 길이 복호화부(202)에 출력한다. 가변 길이 복호화부(202)는 입력된 픽쳐에 대응하는 스트림을 복호화한다(단계 S55).

다음에, 미복호화 픽쳐가 있는지 여부를 판정(단계 S56)하고, 미복호화 픽쳐가 있으면 상기 동작(단계 S50∼S56)을 반복하고, 미복호화 픽쳐가 없으면 처리를 종료한다.

또한, 실시 형태 2에 나타내는 스트림의 구성으로 부호화된 부호화 스트림(Str)을 복호화 하는 경우에는, 도 16(b)에 도시하는 바와같이 복호화 대상의 픽쳐가 랜덤 액세스 포인트의 픽쳐이면(단계 S50에서 YES), 스트림 추출부(201)는 가변속 재생 맵 식별자(RAMID)를 추출하고, 가변 길이 복호화부(202)에 출력한다(단계 S61). 그리고, 가변 길이 복호화부(202)는 가변속 재생 맵 식별자(RAMID)를 복호화하여, 추출 픽쳐 선택부(203)로 출력한다(단계 S62).

다음에, 추출 픽쳐 선택부(203)는 외부에서 입력되는 재생 속도 정보(PlaySpeed)에서 지시된 재생 속도로 재생하기 위해서 복호화가 필요한 픽쳐를, 가변 길이 복호화부(202)에서 복호화된 가변속 재생 맵 식별자(RAMID) 및 가변속 재생 맵 테이블(RAMTBL)에 따라서 결정하여, 스트림 추출부(201)에 통지한다(단계 S63). 이후의 동작은 실시 형태 1에 나타내는 스트림의 구성으로 부호화된 부호화 스트림(Str)을 복호화하는 경우와 동일하다. 또한, 여기서는 가변속 재생 맵 테이블(RAMTBL)은 이미 복호화되어, 추출 픽쳐 선택부(203)를 갖는 것으로 한다.

그런데, 대상 픽쳐를 복호화할 때는, 상대적인 참조 인덱스(Index)를 이용하여 참조하는 픽쳐를 지정하고 있으므로, 가변속 재생을 행하는 경우에 참조 픽쳐로서 지정된 픽쳐가 부호화 시의 참조 픽쳐와 상이한 경우가 있다. 예를 들면, 도 9(b)에 도시하는 스트림예에서는 모든 픽쳐를 통상 속도로 재생하는 경우, 픽쳐 P8의 복호화시에는 도 17(a)에 도시하는 바와 같이 참조되는 모든 픽쳐(I0, P4, B2)가 픽쳐 메모리(208)에 보존되어 있다. 이에 대해, 4배속 재생하는 경우에는, 도 17(b)에 도시하는 바와 같이 4배속 재생으로 재생(복호화)되고, 또한 참조되는 픽쳐(I0, P4)가 픽쳐 메모리(208)에 보존되어 있다. 이 때문에, 픽쳐(P8)가 참조하는 픽쳐(P4)를 지정하는 참조 인덱스(Index)(픽쳐 메모리(208) 중의 2개전의 픽쳐를 지정)를, 4배속 재생하는 경우에도 이용하면, 도 17(b)에 도시하는 바와 같이 픽쳐(I0)를 지정하게 되어 문제가 발생하게 된다.

그래서, 본 실시 형태에서는 가변속 재생을 행하는 경우에 재생되지 않는 픽쳐에 대해서도, 다른 픽쳐에 참조되는 픽쳐는 반드시 픽쳐 메모리(208)에 보존되어 있는 것으로서 취급한다. 즉, 상기의 예에서는 도 17(c)에 도시하는 바와 같이 픽쳐(P4)의 다음에는 데이터가 보존되어 있는 것으로서 제어한다.

도 18은 대상 픽쳐를 복호화할 때의 동작을 도시하는 플로우 챠트이다. 또한, 이 플로우 챠트에서 도시하는 동작은 도 16에 도시하는 플로우 챠트에서의 복호화가 불필요한지 여부의 판정 처리, 대상 픽쳐의 복호화 처리 및 미복호화 픽쳐가 있는지 여부를 판정 처리(단계 S53∼S56)하는 부분에 상당한다.

스트림 추출부(201)는 대상 픽쳐가 N배속에서 복호화가 필요하다고 결정된 픽쳐인지 여부를 판정한다(단계 S90). 이 판정의 결과, 대상 픽쳐가 복호화가 필요하다고 결정된 픽쳐이면(단계 S90에서 YES), 가변 길이 복호화부(202)는 N배속 이상의 픽쳐를 참조하여 대상 픽쳐를 복호화한다(단계 S91). 다음에, 메모리 제어부(209)는 N배속으로 복호화되어 있지 않지만 다른 픽쳐에 참조되는 픽쳐가 존재하는지 여부를 판정한다(단계 S92).

이 판정의 결과, 이러한 픽쳐가 존재하면(단계 S92에서 YES), 메모리 제어부(209)는 이 N배속으로 복호화되어 있지 않지만 다른 픽쳐에 참조되는 픽쳐를 픽쳐 메모리(208)에 보존하고 있는 것으로 한다(단계 S93). 다음에, 메모리 제어부(209)는 복호화한 대상 픽쳐를 픽쳐 메모리(208)에 보존한다(단계 S94).

한편, 상기와 같은 픽쳐가 존재하지 않으면(단계 S92에서 NO), 메모리 제어부(209)는 단순히 복호화한 대상 픽쳐를 픽쳐 메모리(208)에 보존한다(단계 S94).

다음에, 미복호화 픽쳐가 있는지 여부를 판정(단계 S95)하고, 미복호화 픽쳐가 있으면 상기 동작(단계 S90∼S95)을 반복하고, 미복호화 픽쳐가 없으면 처리를 종료한다. 또한, 대상 픽쳐가 N배속에서 복호화가 필요하지 않은 경우(단계 S90에서 NO)도, 마찬가지로 미복호화 픽쳐가 있는지 여부를 판정(단계 S95)하고, 미복호화 픽쳐가 있으면 상기 동작(단계 S90∼S95)을 반복하고, 미복호화 픽쳐가 없으면 처리를 종료한다.

이상과 같이, 실시 형태 1 및 실시 형태 2에 도시하는 바와같이 부호화된 부호화 스트림(Str)을, 가변속 재생용 정보(Map)에 따라서 소망의 가변속 재생에 필요한 픽쳐만을 복호화함으로써, 불필요한 픽쳐의 복호화를 생략하여 용이하게 가변속 재생을 행할 수 있다.

(실시 형태 4)

본 실시 형태에서는 실시 형태 3에 나타내는 동화상 복호화 장치(2)의 동작이 일부 상이한 경우에 대해서 설명한다.

도 19는 동화상 복호화 장치(2)에서의 동작을 도시하는 플로우 챠트로, (a)는 실시 형태 1에 나타내는 스트림의 구성에 대응하고, (b)는 실시 형태 2에 나타내는 스트림의 구성에 대응한다. 도 19에서, 도 16에 도시하는 플로우 챠트의 각 처리와 동일한 처리는 동일한 단계 번호를 붙여, 설명을 생략한다.

실시 형태 3에서는 도 16(a)에 도시하는 바와 같이 스트림 추출부(201)는 복호화 대상의 픽쳐가 랜덤 액세스 유닛(RAU)의 최초 픽쳐인지 여부를 판정(단계 S50)하는데, 본 실시의 형태에서는 도 19(a)에 도시하는 바와 같이 단순히 가변속 재생 맵(RAM)이 배치되어 있는지 여부를 판정(단계 S70)하고 있다. 이 결과, 가변속 재생 맵(RAM)이 배치되어 있으면(단계 S70에서 YES), 스트림 추출부(201)는 가변속 재생 맵(RAM)을 추출하여, 가변 길이 복호화부(202)에 출력한다(단계 S51).

마찬가지로, 도 16(b)에서 스트림 추출부(201)는 복호화 대상의 픽쳐가 랜덤 액세스 유닛(RAU)의 최초 픽쳐인지 여부를 판정(단계 S50)하는데, 본 실시의 형태에서는 도 19(b)에 도시하는 바와같이 단순히 가변속 재생 맵 식별자(RAMID)가 배치되어 있는지 여부를 판정(단계 S80)한다. 이 결과, 가변속 재생 맵 식별자(RAMID)가 배치되어 있으면(단계 S80에서 YES), 스트림 추출부(201)는 가변속 재생 맵 식별자(RAMID)를 추출하여, 가변 길이 복호화부(202)에 출력한다(단계 S61).

이상과 같이, 가변속 재생 맵(RAM) 또는 가변속 재생 맵 식별자(RAMID)가 배치되어 있는지 여부를 판정하는 것으로도, 실시 형태 1 및 실시 형태 2에 나타내는 바와 같이 부호화된 부호화 스트림(Str)을, 가변속 재생용 정보(Map)에 따라서 소망의 가변속 재생에 필요한 픽쳐만을 복호화함으로써, 불필요한 픽쳐의 복호화를 생략하여 용이하게 가변속 재생을 행할 수 있다.

(실시 형태 5)

또한, 상기 각 실시 형태에서 나타낸 동화상 부호화 방법 및 동화상 복호화 방법을 실현하기 위한 프로그램을, 플렉시블 디스크 등의 기록 매체에 기록하도록 함으로써, 상기 각 실시 형태에서 나타낸 처리를, 독립된 컴퓨터 시스템에서 간단히 실시하는 것이 가능해진다.

도 20은 상기 각 실시 형태의 동화상 부호화 방법 및 동화상 복호화 방법을, 플렉시블 디스크 등의 기록 매체에 기록된 프로그램을 이용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.

도 20(b)은 플렉시블 디스크의 정면에서 본 외관, 단면 구조 및 플렉시블 디스크를 도시하고, 도 20(a)은 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 도시하고 있다. 플렉시블 디스크(FD)는 케이스(F) 내에 내장되고, 상기 디스크의 표면에는, 동심원상으로 외주로부터 내주를 향해 다수의 트랙(Tr)이 형성되고, 각 트랙은 각도 방향으로 16의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 격납한 플렉시블 디스크에서는 상기 플렉시블 디스크(FD) 상에 할당된 영역에, 상기 프로그램이 기록되어 있다.

또한, 도 20(c)은 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한다. 동화상 부호화 방법 및 동화상 복호화 방법을 실현하는 상기 프로그램을 플렉시블 디스크(FD)에 기록하는 경우는 컴퓨터 시스템(Cs)에서 상기 프로그램을 플렉시블 디스크 드라이브를 통해 기입한다. 또한, 플렉시블 디스크 내의 동화상 부호화 방법 및 동화상 복호화 방법을 실현하는 프로그램에 의해 상기 동화상 부호화 방법 및 동화상 복호화 방법을 컴퓨터 시스템 중에 구축하는 경우는, 플렉시블 디스크 드라이브에 의해 프로그램을 플렉시블 디스크로부터 읽어내, 컴퓨터 시스템에 전송한다.

또, 상기 설명에서는 기록 매체로서 플렉시블 디스크를 이용하여 설명을 했는데, 광 디스크를 이용해도 마찬가지로 행할 수 있다. 또한, 기록 매체는 이에 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.

(실시 형태 6)

또한 여기서, 상기 실시 형태에서 도시한 동화상 부호화 방법이나 동화상 복호화 방법의 응용예와 이를 이용한 시스템을 설명한다.

도 21은 컨텐츠 배치 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체 구성을 도시하는 블록도이다. 통신 서비스의 제공 영역을 소망의 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다.

이 컨텐츠 공급 시스템(ex100)은 예를 들면, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104) 및 기지국(ex107∼ex110)을 통해 컴퓨터(ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대전화(ex114), 카메라 부착 휴대 전화(ex115) 등의 각 기기가 접속된다.

그러나, 컨텐츠 공급 시스템(ex100)은 도 21과 같은 조합에 한정되지 않고, 어느것을 조합하여 접속하도록 해도 된다. 또한, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고 각 기기가 전화망(ex104)에 직접 접속되어도 된다.

카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또한, 휴대 전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 혹은 GSM(Global System for Mobile Communications) 방식의 휴대 전화기, 또는 PHS(Personal Handyphone System) 등으로, 어느것이라도 상관없다.

또한, 스트리밍 서버(ex103)는 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해 접속되어 있고, 카메라(ex113)를 이용하여 사용자가 송신하는 부호화 처리된 데이터에 의거한 라이브 배치 등이 가능해진다. 촬영한 데이터의 부호화 처리는 카메라(ex113)에서 행하거나, 데이터의 송신 처리를 하는 서버 등에서 행해도 된다. 또한, 카메라(ex116)로 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해 스트리밍 서버(ex103)에 송신되어도 된다. 카메라(ex116)는 디지털 카메라 등의 정지 화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라(ex116)에서 행하거나 컴퓨터(ex111)에서 행하거나 어느쪽이라도 된다. 또한, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또, 화상 부호화·복호화용의 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 기록 매체인 어떠한 축적 미디어(CD-ROM, 플렉시블 디스크, 하드 디스크 등)에 조합해도 된다. 또한, 카메라 부착 휴대 전화(ex115)로 동화상 데이터를 송신해도 된다. 이 때의 동화상 데이터는 휴대 전화(ex115)가 갖는 LSI에서 부호화 처리된 데이터이다.

이 컨텐츠 공급 시스템(ex100)에서는 사용자가 카메라(ex113), 카메라(ex116) 등으로 촬영하는 컨텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 상기 실시 형태와 마찬가지로 부호화처리하여 스트리밍 서버(ex103)에 송신하는 한편, 스트리밍 서버(ex103)는 요구가 있는 클라이언트에 대해 상기 컨텐츠 데이터를 스트림 배치한다. 클라이언트는 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 등이 있다. 이와 같이 함으로써 컨텐츠 공급 시스템(ex100)은 부호화된 데이터를 클라이언트가 수신하여 재생할 수 있고, 또한 클라이언트가 실시간으로 수신하여 복호화하여, 재생함으로써, 개인 방송도 실현가능하게 되는 시스템이다.

이 시스템을 구성하는 각 기기의 부호화, 복호화에는 상기 각 실시 형태에서 나타낸 동화상 부호화 장치 혹은 동화상 복호화 장치를 이용하도록 하면 된다.

그 일례로서 휴대 전화에 대해 설명한다.

도 22는 상기 실시 형태에서 설명한 동화상 부호화 방법과 동화상 복호화 방법을 이용한 휴대 전화(ex115)를 도시하는 도면이다. 휴대 전화(ex115)는 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지 화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)에서 촬영한 영상, 안테나(ex201)에서 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키(ex204)군으로 구성되는 본체부, 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지 화상의 데이터, 수신한 메일 데이터, 동화상의 데이터 또는 정지 화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 보존하기 위한 기록 미디어(ex207), 휴대 전화(ex115)에 기록 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기록 미디어(ex207)는 SD 카드 등의 플레스틱 케이스 내에 전기적으로 개서나 소거가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 격납한 것이다.

또한, 휴대 전화(ex115)에 대해 도 23을 이용하여 설명한다. 휴대 전화(ex115)는 표시부(ex202) 및 조작 키(ex204)를 구비한 본체부의 각 부를 통괄적으로 제어하도록 이루어진 주 제어부(ex311)에 대해, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 가변 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해 서로 접속되어 있다.

전원 회로부(ex310)는 사용자의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로 부터 각 부에 대해 전력을 공급함으로써 카메라 부착 디지털 휴대 전화(ex115)를 동작 가능한 상태로 기동한다.

휴대 전화(ex115)는 CPU, ROM 및 RAM 등으로 이루어지는 주 제어부(ex311)의 제어에 따라서, 음성 통화 모드 시에 음성 입력부(ex205)에서 집음(集音)한 음성 신호를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하고, 이를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해 송신한다. 또한 휴대 전화기(ex115)는 음성 통화 모드 시에 안테나(ex201)에서 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 음성 처리부(ex305)에 의해 아날로그 음성 데이터로 변환한 후, 이를 음성 출력부(ex208)를 통해 출력한다.

또한, 데이터 통신 모드 시에 전자 메일을 송신하는 경우, 본체부의 조작 키(ex204)의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해 주 제어부(ex311)에 송출된다. 주 제어부(ex311)는 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해 기지국(ex110)으로 송신한다.

데이터 통신 모드 시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬상된 화상 데이터를 카메라 인터페이스부(ex303)를 통해 화상 부호화부(ex312)에 공급한다. 또한, 화상 데이터를 송신하지 않는 경우에는, 카메라부(ex203)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해 표시부(ex202)에 직접 표시하는 것도 가능하다.

화상 부호화부(ex312)는 본원 발명에서 설명한 동화상 부호화 장치를 구비한 구성이고, 카메라부(ex203)로부터 공급된 화상 데이터를 상기 실시 형태에서 나타낸 동화상 부호화 장치에 이용한 부호화 방법에 의해서 압축 부호화함으로써 부호화 화상 데이터로 변환되고, 이를 다중 분리부(ex308)에 송출한다. 또한, 이 때 동시에 휴대 전화기(ex115)는 카메라부(ex203)에서 촬상 중에 음성 입력부(ex205)에서 집음한 음성을 음성 처리부(ex305)를 통해 디지털 음성 데이터로서 다중 분리부(ex308)에 송출한다.

다중 분리부(ex308)는 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해 송신한다.

데이터 통신 모드 시에 홈 페이지 등에 링크된 동화상 화일의 데이터를 수신하는 경우, 안테나(ex201)를 통해 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하고, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.

또한, 안테나(ex201)를 통해 수신된 다중화 데이터를 복호화하기 위해서, 다중 분리부(ex308)는 다중화 데이터를 분리함으로써 화상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 나누고, 동기 버스(ex313)를 통해 해당 부호화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다.

다음에, 화상 복호화부(ex309)는 본원 발명에서 설명한 동화상 복호화 장치를 구비한 구성이고, 화상 데이터의 비트 스트림을 상기 실시의 형태에서 나타낸 부호화 방법에 대응한 복호화 방법으로 복호함으로써 재생 동화상 데이터를 생성하고, 이를 LCD 제어부(ex302)를 통해 표시부(ex202)에 공급하고, 이에 따라, 예를 들면 홈 페이지에 링크된 동화상 화일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는 음성 데이터를 아날로그 음성 데이터로 변환한 후, 이를 음성 출력부(ex208)에 공급하고, 이에 따라, 예를 들면 홈 페이지에 링크된 동화상 화일에 포함되는 음성 데이터가 재생된다.

또, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 24에 도시하는 바와 같이 디지털 방송용 시스템에도 상기 실시 형태의 적어도 동화상 부호화 장치 또는 동화상 복호화 장치의 어느 하나를 조합할 수 있다. 구체적으로, 방송국(ex409)에서는 영상 정보의 비트 스트림이 전파를 통해 통신 또는 방송 위성(ex410)에 전송된다. 이를 받은 방송 위성(ex410)은 방송용 전파를 발신하고, 이 전파를 위성 방송 수신 설비를 갖는 가정의 안테나(ex406)로 수신하여, 텔레비전(수신기)(ex401) 또는 셋탑 박스(STB)(ex407) 등의 장치에 의해 비트 스트림을 복호화하여 이를 재생한다. 또한, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 비트 스트림을 읽어내, 복호화하는 재생 장치(ex403)에도 상기 실시 형태에서 나타낸 동화상 복호화 장치를 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또한, 케이블 텔레비전용의 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋탑 박스(ex407) 내에 동화상 복호화 장치를 실장하고, 이를 텔레비전 모니터(ex408)로 재생하는 구성도 생각할 수 있다. 이 때, 셋탑 박스가 아니라, 텔레비전 내에 동화상 복호화 장치를 조합해도 된다. 또한, 안테나(ex411)를 갖는 차(ex412)에서 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하여, 차(ex412)가 갖는 카 네비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.

또한, 화상 신호를 상기 실시의 형태에서 나타낸 동화상 부호화 장치로 부호화하여, 기록 매체에 기록하는 것도 가능하다. 구체예로는 DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 레코더나, 하드 디스크에 기록하는 디스크 레코더 등의 레코더(ex420)가 있다. 또한 SD 카드(ex422)에 기록하는 것도 가능하다. 레코더(ex420)가 상기 실시의 형태에서 나타낸 동화상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)로 표시할 수 있다.

또, 카 네비게이션(ex413)의 구성은 예를 들면 도 23에 도시하는 구성중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성을 생각할 수 있고, 동일한 것을 컴퓨터(ex111)나 텔레비전(수신기)(ex401) 등으로도 생각할 수 있다.

또한, 상기 휴대 전화(ex114) 등의 단말은 부호화기·복호화기의 양쪽을 가지는 송수신형의 단말 이외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3가지 실장 형식을 생각할 수 있다.

이와 같이, 상기 실시의 형태에서 나타낸 동화상 부호화 방법 혹은 동화상 복호화 방법을 상술한 어느 하나의 기기·시스템에 이용하는 것이 가능하고, 그렇게 함으로써, 상기 실시의 형태에서 설명한 효과를 얻을 수 있다.

또한, 본 발명은 이러한 상기 실시 형태에 한정되지 않고, 본 발명의 범위를 일탈하지 않고 다양한 변형 또는 수정이 가능하다.

이상과 같이, 본 발명에 관한 동화상 부호화 방법 및 동화상 복호화 방법은 예를 들면 휴대 전화, DVD 장치, 및 퍼스털 컴퓨터 등으로, 동화상을 구성하는 각 픽쳐를 부호화하여 부호열을 생성하거나, 생성된 부호열을 복호화하기 위한 방법으로서 유용하다.

Claims

동화상 신호를 픽쳐 단위로 부호화하여 부호화 스트림을 생성하는 동화상 부호화 방법에 있어서,

가변속 재생의 대상으로 하는 픽쳐를 특정하기 위한 가변속 재생용 정보를 작성하는 정보 작성 단계와,

상기 가변속 재생용 정보를 부호화하여 상기 부호화 스트림에 부가하는 부호화 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
제 1항에 있어서, 상기 정보 작성 단계에서는 다수의 픽쳐로 구성되는 랜덤 액세스 유닛이고, 해당 랜덤 액세스 유닛 내의 픽쳐만을 참조하여 해당 랜덤 액세스 유닛 내의 복호화 대상 픽쳐를 복호화하는 것이 가능한 상기 랜덤 액세스 유닛 단위로, 상기 가변속 재생용 정보를 작성하는 것을 특징으로 하는 동화상 부호화 방법.
제 1항에 있어서, 상기 정보 작성 단계에서는 상기 가변속 재생용 정보로서, 가변속 재생의 속도와 상기 속도에서 재생의 대상으로 하는 픽쳐를 특정하는 정보를 대응시켜 작성하는 것을 특징으로 하는 동화상 부호화 방법.
제 3항에 있어서, 상기 가변속 재생용 정보는, 픽쳐 번호마다 해당 픽쳐의 복호화가 필요한 상기 속도가 기재되는 것을 특징으로 하는 동화상 부호화 방법.
제 3항에 있어서, 상기 가변속 재생용 정보는 각 픽쳐에 대한 복호화가 필요한 상기 속도가 순서대로 기재되는 것을 특징으로 하는 동화상 부호화 방법.
제 3항에 있어서, 상기 가변속 재생용 정보는, 상기 속도마다 해당 속도에서의 재생을 위해 필요한 픽쳐의 픽쳐 번호가 기재되는 것을 특징으로 하는 동화상 부호화 방법.
제 1항에 있어서, 상기 정보 작성 단계에서는, 상기 가변속 재생용 정보로서, 소정의 참조 관계의 리스트로부터 대응하는 참조 관계를 특정하는 인덱스를 작성하는 것을 특징으로 하는 동화상 부호화 방법.
제 7항에 있어서, 상기 소정의 참조 관계의 리스트는 가변속 재생의 속도와 상기 속도에서의 재생의 대상으로 하는 픽쳐를 특정하는 정보가 대응된 맵 정보를 다수개 갖는 맵 테이블이고,

상기 정보 작성 단계에서는 상기 가변속 재생용 정보로서, 상기 맵 테이블 중에서 대응하는 맵 정보를 선택하기 위한 식별자를 작성하는 것을 특징으로 하는 동화상 부호화 방법.
제 8항에 있어서, 상기 정보 작성 단계에서는 상기 맵 테이블을 작성하고,

상기 부호화 단계에서는 상기 맵 테이블을 부호화하여 상기 부호화 스트림에 부가하는 것을 특징으로 하는 동화상 부호화 방법.
제 1항에 있어서, 상기 동화상 부호화 방법은, 또한,

상기 가변속 재생의 대상으로 하는 픽쳐가 참조하는 공통 정보의 부호화의 필요성을 검지하는 검지 단계와,

상기 검지 단계에 의해 상기 공통 정보의 부호화의 필요성이 검지된 픽쳐에 대해 상기 공통 정보를 부가하는 공통 정보 부가 단계를 포함하는 것을 특징으로 하는 동화상 부호화 방법.
부호화 스트림을 픽쳐 단위로 복호화하는 동화상 복호화 방법에 있어서,

가변속 재생의 대상으로 하는 픽쳐를 특정하기 위한 가변속 재생용 정보를 추출하는 정보 추출 단계와,

상기 가변속 재생용 정보를 복호화하는 동시에, 상기 가변속 재생용 정보에 따라서 가변속 재생의 대상으로 하는 픽쳐를 특정하여 복호화하는 복호화 단계를 포함하는 것을 특징으로 하는 동화상 복호화 방법.
제 11항에 있어서, 상기 정보 추출 단계에서는 다수의 픽쳐로 구성되는 랜덤 액세스 유닛이고, 해당 랜덤 액세스 유닛 내의 픽쳐만을 참조하여 해당 랜덤 액세스 유닛 내의 복호화 대상 픽쳐를 복호화하는 것이 가능한 상기 랜덤 액세스 유닛 단위로, 상기 가변속 재생용 정보를 추출하는 것을 특징으로 하는 동화상 복호화 방법.
제 11항에 있어서, 상기 가변속 재생용 정보는 가변속 재생의 속도와 상기 속도에서 재생의 대상으로 하는 픽쳐를 특정하는 정보가 대응되고,

상기 복호화 단계에서는 지시된 속도와 상기 가변속 재생용 정보에 따라 상기 지시된 속도에서 재생의 대상으로 하는 픽쳐를 특정하는 것을 특징으로 하는 동화상 복호화 방법.
제 13항에 있어서, 상기 가변속 재생용 정보는 픽쳐 번호마다 해당 픽쳐의 복호화가 필요한 상기 속도가 기재되어 있는 것을 특징으로 하는 동화상 복호화 방법.
제 13항에 있어서, 상기 가변속 재생용 정보는 각 픽쳐에 대한 복호화가 필요한 상기 속도가 순서대로 기재되어 있는 것을 특징으로 하는 동화상 복호화 방법.
제 13항에 있어서, 상기 가변속 재생용 정보는 상기 속도마다 해당 속도에서의 재생을 위해 필요한 픽쳐의 픽쳐 번호가 기재되어 있는 것을 특징으로 하는 동화상 복호화 방법.
제 11항에 있어서, 상기 가변속 재생용 정보는 소정의 참조 관계의 리스트로부터 대응하는 참조 관계를 특정하는 인덱스이고,

상기 복호화 단계에서는 상기 인덱스에 따라서 상기 소정의 참조 관계의 리스트로부터 대응하는 참조 관계를 특정하는 것을 특징으로 하는 동화상 복호화 방법.
제 17항에 있어서, 상기 소정의 참조 관계의 리스트는 가변속 재생의 속도와 상기 속도에서의 재생의 대상으로 하는 픽쳐를 특정하는 정보가 대응된 맵 정보를 다수개 갖는 맵 테이블이고,

상기 인덱스는 상기 맵 테이블 중에서 대응하는 맵 정보를 선택하기 위한 식별자이고,

상기 복호화 단계에서는 지시된 속도, 상기 맵 테이블 및 상기 식별자에 따라서 상기 지시된 속도에서 재생의 대상으로 하는 픽쳐를 특정하는 것을 특징으로 하는 동화상 복호화 방법.
제 18항에 있어서, 상기 정보 추출 단계에서는 상기 맵 테이블을 추출하고,

상기 복호화 단계에서는 상기 맵 테이블을 복호화하는 것을 특징으로 하는 동화상 복호화 방법.
제 11항에 있어서, 상기 동화상 복호화 방법은 또한,

가변속 재생시에는, 다른 픽쳐에 참조되는 픽쳐에 관해서는, 상기 가변속 재생의 대상이 아닌 픽쳐라도, 픽쳐 메모리에 보존하는 것으로서 제어하는 메모리 제어 단계를 포함하는 것을 특징으로 하는 동화상 복호화 방법.
동화상 신호를 픽쳐 단위로 부호화하여 부호화 스트림을 생성하는 동화상 부호화 장치에 있어서,

가변속 재생의 대상으로 하는 픽쳐를 특정하기 위한 가변속 재생용 정보를 작성하는 정보 작성 수단과,

상기 가변속 재생용 정보를 부호화하여 상기 부호화 스트림에 부가하는 부호화 수단을 구비하는 것을 특징으로 하는 동화상 부호화 장치.
부호화 스트림을 픽쳐 단위로 복호화하는 동화상 복호화 장치에 있어서,

가변속 재생의 대상으로 하는 픽쳐를 특정하기 위한 가변속 재생용 정보를 추출하는 정보 추출 수단과,

상기 가변속 재생용 정보를 복호화하는 동시에, 상기 가변속 재생용 정보에 따라서 가변속 재생의 대상으로 하는 픽쳐를 특정하여 복호화하는 복호화 수단을 구비하는 것을 특징으로 하는 동화상 복호화 장치.
동화상 신호를 픽쳐 단위로 부호화하여 부호화 스트림을 생성하기 위한 프로그램에 있어서,

가변속 재생의 대상으로 하는 픽쳐를 특정하기 위한 가변속 재생용 정보를 작성하는 정보 작성 단계와,

상기 가변속 재생용 정보를 부호화하여 상기 부호화 스트림에 부가하는 부호화 단계를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
부호화 스트림을 픽쳐 단위로 복호화하기 위한 프로그램에 있어서,

가변속 재생의 대상으로 하는 픽쳐를 특정하기 위한 가변속 재생용 정보를 추출하는 정보 추출 단계와,

상기 가변속 재생용 정보를 복호화하는 동시에, 상기 가변속 재생용 정보에 따라서 가변속 재생의 대상으로 하는 픽쳐를 특정하여 복호화하는 복호화 단계를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
동화상 신호를 픽쳐 단위로 부호화한 부호화 스트림에 있어서,

가변속 재생의 대상으로 하는 픽쳐를 특정하기 위한 가변속 재생용 정보를 포함하는 것을 특징으로 하는 부호화 스트림.