KR20100033445A

KR20100033445A - 화상 부호화 장치 및 화상 복호화 장치

Info

Publication number: KR20100033445A
Application number: KR1020107005836A
Authority: KR
Inventors: 다다마사 도마; 신야 가도노; 도모유키 오카다
Original assignee: 파나소닉 주식회사
Priority date: 2004-06-02
Filing date: 2005-06-01
Publication date: 2010-03-29
Also published as: KR101132062B1; KR101084462B1; PL1751978T3; KR20100033447A; EP2200295A1; JP4212000B2; DE602005026277D1; US7706662B2; EP1751978A1; JP2010028864A; US7792415B2; JP4138840B2; PL2200295T3; KR101133342B1; CN101695116B; ES2405131T3; JP2008154255A; US20070110390A1; EP2190192A1; KR101134220B1

Abstract

트릭플레이 시에서도 화상을 복호화하는데 필요한 픽처 파라미터 세트 취득하여 픽처를 복호화할 수 있도록 스트림을 생성하는 화상 부호화 장치(10)로서, 픽처를 부호화하여 부호화된 데이터를 생성하는 슬라이스 부호화 유닛(11); 시퀀스 파라미터 세트(SPS)를 생성하는 픽처 파라미터 세트(PPS) 생성 유닛(13); PPS를 생성하는 PPS 생성유닛(16); 및 부호화된 데이터들을 랜덤 액세스 유닛(RAU)의 액세스 유닛들에 각각 저장하고 상기 SPS를 첫 번째 AU에 저장하며, PPS를 첫 번째 AU 또는 PPS를 참조하는 부호화된 데이터 하나가 저장되는 AU에 저장하는 액세스 유닛(AU) 결정유닛(17)을 포함한다.

Description

화상 부호화 장치 및 화상 복호화 장치{PICTURE CODING APPARATUS AND PICTURE DECODING APPARATUS}

본 발명은 픽처 단위로 동화상을 부호화하는 화상 부호화 장치 및 이 화상 부호화 장치에 의해 부호화된 동화상을 복호화하는 화상 복호화 장치에 관한 것으로, 특히 고속 재생(가변 속도 재생)과 같은 트릭플레이(trick-play)에 대응하는 화상 부호화 장치 및 화상 복호화 장치에 관한 것이다.

오디오, 비디오 및 그 밖의 화소값들을 종합적으로 취급하는 멀티미디어 시대에서, 존재하는 정보 매체, 구체적으로, 사람에게 정보를 전달하는 신문, 잡지, 텔레비전, 라디오, 전화 등이 멀티미디어의 범위 내에 근래에 포함되게 되었다. 일반적으로, 멀티미디어는 문자뿐만 아니라 그래픽, 음성, 및 특히 이미지 등을 결합하여 표현되는 것을 말하지만, 상기한 존재하는 정보 매체를 멀티미디어의 범위에 포함시키기 위해서는, 이러한 정보를 디지털 형태로 표현하는 것이 필요하다.

그러나, 상기한 각 정보 매체에 의해 운반되는 정보량이 디지털 정보량으로서 평가되는 경우, 문자의 경우에 1개의 문자에 대한 정보량이 1 내지 2 바이트이지만, 음성에 필요한 정보량은 초당 64Kbits이고(전화 품질), 동화상(현재의 텔레비전 수신 품질)은 초당 100Mbits 이상이 필요하며, 정보 매체가 이러한 막대한 정보량을 디지털 형태로 취급하는 것은 현실적이지 못하다. 예를 들어, 64Kbit/s 내지 1.5Mbit/s의 전송 속도를 제공하는 ISDN(Integrated Services Digital Network)을 통해 비디오폰이 이미 실용화되어 있지만, 텔레비전의 이미지 및 카메라에 의해 촬영된 이미지를 ISDN을 통해 직접 전송하는 것을 불가능하다.

따라서, 정보 압축 기술이 필요하고, 예를 들어, 비디오폰의 경우에, ITU-T(International Telecommunication Union - Telecommunication Standardization Sector)에 의해 국제적으로 표준화된, 동화상 압축 기술을 위한 H.261 및 H.263 표준이 사용되고 있다. 또한, MPEG-1 표준 정보 압축 기술을 가지고, 비디오 정보를 오디오 정보와 함께 통상의 음악용 콤팩트 디스크(CD)에 저장하는 것도 가능하게 된다.

여기서, MPEG(Moving Picture Experts Group)은 ISO/IEC(International Organization for Standardization and International Electrotechincal Commission)에 의해 표준화된 동화상 신호 압축을 위한 국제 표준이다. MPEG-1은 동화상 신호를 1.5Mbps 까지 압축하는 표준으로서, 즉, 텔레비전 신호를 대략 백분의 일 비율까지 압축한다. 또한, MPEG-1 표준의 범위 내에서 목표하는 화질이 전송속도가 주로 대략 1.5Mbps로 실현될 수 있는 중간 정도의 품질로 제한되므로, 더 향상된 화질에 대한 욕구를 만족시키기 위해 표준화된, MPEG-2를 사용함으로써 2 내지 15Mbps로 압축된 동화상 신호의 텔레비전 방송 품질을 실현한다. 또한, 현재, MPEG-1 및 MPEG-2 압축률을 초과하고, 객체 기반으로 부호화, 복호화 및 조작을 가능하게 하여 멀티미디어 시대에 요구되는 새로운 기능들을 실현하는, MPEG-4가, MPEG-1 및 MPEG-2의 표준화를 진행시킨 작업 그룹(ISO/IEC JTC1/SC29/WG11)에 의해 표준화되었다. MPEG-4는 당초 낮은 비트 레이트의 부호화 방법을 표준화할 목적이었다. 그러나, 현재, 인터레이스된 화상들에 대해서도 높은 비트 레이트 부호화를 포함하는 보다 범용적인 부호화 방법의 표준으로 확장되었다. 그 후, MPEG-4 AVC(Advanced Video Coding)가 ISO/IEC 및 ITU-T의 협력에 의해 고압축률의 차세대 화상 부호화 방법으로서 표준화되었다. 이것은 차세대 광디스크 관련 장치 또는 휴대 전화 단말기에 유도된 방송을 위해 사용될 것이라고 전망된다.

일반적으로, 동화상의 부호화에서는, 시공간 방향으로 중복성을 줄여서 정보량이 압축된다. 따라서, 시간적 중복성을 줄이는 것을 목적으로 하는 화상간 예측 부호화에서는, 선행하는 또는 다음의 픽처를 참조하여 블록 단위로 움직임 추정 및 예측화상의 생성이 수행되고, 얻어진 예측 화상과 부호화될 픽처 사이의 차이값이 부호화된다. 여기서, 픽처는 하나의 화면을 나타내고, 프로그레시브 화상에서는 프레임을 나타내며, 인터레이스된 화상에서는 프레임 또는 필드를 나타낸다. 여기서, 인터레이스된 화상은 프레임이 시간적으로 서로 상이한 2개의 필드로 구성된 화상이다. 인터레이스된 화상의 부호화 및 복호화에서는, 하나의 프레임을 프레임으로서 처리하거나, 2개의 필드로서 처리하거나, 또는 프레임 내의 블록 단위로 프레임 구조 또는 필드 구조로 처리하는 것이 가능하다.

I 픽처는 참조 픽처를 참조하지 않고 화상간 예측 부호화된 픽처이다. 또한, P 픽처는 하나의 픽처만을 참조하여 화상간 예측 부호화된 픽처이다. 또한, B 픽처는 동시에 2개의 픽처를 참조하여 화상간 예측 부호화된 픽처이다. B 픽처는 B 픽처 전후에 디스플레이되는 임의의 한 쌍의 픽처로서 2개의 픽처를 참조할 수 있다. 참조 픽처는 부호화 및 복호화를 위한 기본 단위인 각 블록에 대해 지정될 수 있다. 부호화된 비트 스트림에서 앞에 기술된 참조 픽처는 제 1 참조 픽처로서 다음에 기술된 참조 픽처인 제 2 참조 픽처와는 구별된다. 이들 픽처를 부호화 및 복호화하기 위한 조건으로서, 참조될 픽처는 미리 부호화 및 복호화될 필요가 있다.

도 1은 종래의 MPEG-2의 스트림의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, MPEG-2의 스트림은 다음에 기술된 바와 같은 계층 구조를 가진다. 스트림은 하나 이상의 GOP(Groups of Pictures)로 구성되고, 부호화를 위한 기본 단위로서 스트림을 사용하여 동화상의 편집 및 랜덤 액세스가 가능해진다. 각 GOP는 하나 이상의 픽처로 구성된다. 각 픽처는 I 픽처, P 픽처 또는 B 픽처 중 하나이다. 각 스트림, GOP 및 픽처는 또한 각 단위의 브레이크포인트를 가리키는 동기코드(sync)와 단위에서 공통 데이터인 헤더로 구성된다.

도 2A 및 도 2B는 MPEG-2에 사용된 픽처들 사이의 예측 구조의 실시예를 도시한 도면이다.

도면에서, 해칭된 영역으로 도시된 픽처는 다른 픽처에 의해 참조되는 픽처이다. 도 2A에 도시된 바와 같이, MPEG-2에서는, P 픽처(P0, P6, P9, P12, P15)는 상기 P 픽처 직전에 디스플레이되는 I 픽처 또는 P 픽처를 참조하여 예측 부호화 될 수 있다. 또한, B 픽처(B1, B2, B4, B5, B7, B8, B10, B11, B13, B14, B16, B17, B19, B20)는 상기 B 픽처 전후에 디스플레이되는 I 픽처 또는 P 픽처를 참조하여 예측 부호화될 수 있다. 또한, 스트림 내의 배열 순서는 다음과 같이 결정된다: I 픽처와 P 픽처는 디스플레이 순서로 배열된다: 그리고 각 B 픽처는 상기 B 픽처 직후에 디스플레이되는 I 픽처 또는 P 픽처 직후에 배열된다. GOP 구조로서, 예를 들어, 도 2B에 도시된 바와 같이, I3 내지 B14의 픽처들이 하나의 GOP 내에 포함될 수 있다.

도 3은 MPEG-4 AVC의 스트림의 구조를 도시한 도면이다. MPEG-4 AVC에서는 GOP와 동등한 개념이 없다. 그러나, 다른 픽처들에 의존하지 않고 각 픽처를 복호화하는 특별한 픽처 단위로 데이터를 분할함으로써, 랜덤하게 액세스될 수 있고 GOP와 동등한 단위를 구성하는 것이 가능하다. 이러한 분할된 단위들을 랜덤 액세스 유닛(RAU: Random Access Units)이라 한다.

다음에, 스트림을 처리하기 위한 기본 단위인 액세스 유닛(Access Unit)(이하 AU라 한다)에 대해 설명한다. AU는 하나의 픽처에서의 부호화된 데이터를 저장하는데 사용되는 단위로서, PS(parameter sets)와 슬라이스 데이터를 포함한다. PS(parameter sets)는, 각 픽처의 헤드에 상당하는 데이터인 픽처 파라미터 세트(이하 간단히 PPS라 한다)와, MPEG-2의 GOP 이상의 단위의 헤더에 상당하는 시퀀스 파라미터 세트(이하 간단히 SPS라 한다)로 분할된다. 상기 PPS와 SPS는 각 부호화를 초기화하는데 필요한 초기화 정보임에 주의한다.

SPS는, 램덤 액세스 유닛(RAU)으로 부호화된 모든 픽처를 복호화하기 위한 공통 참조 정보로서, 프로파일, 참조용으로 사용 가능한 픽처의 최대 수 및 픽처 크기 등을 포함한다. PPS는, 랜덤 액세스 유닛(RAU)으로 부호화된 각 픽처에 대해, 픽처를 복호화하기 위한 참조 정보로서 가변 길이 부호화 방법의 종류, 양자화 단계의 초기값 및 다수의 참조 픽처들을 포함한다. 또한, SPS 또는 PPS는, 필요하다면 PPS가 SPS에 설정된 양자화 매트릭스로 덮어 쓰기될 수 있도록, 양자화 매트릭스를 포함할 수 있다. PPS와 SPS 중 하나가 참조되는지를 식별하기 위한 식별자가 각 픽처에 부가된다. 또한, 슬라이스 데이터는 픽처를 식별하기 위한 식별 번호인 FN(frame number)을 포함한다. 여기서, 각 픽처에 의해 참조되는 PPS는 픽처 단위로 업데이트 될 수 있는 반면에, SPS는 후에 설명될 IDR 픽처에서만 업데이트될 수 있다.

MPEG-4 AVC의 I 픽처에 대해, 2개 타입의 I 픽처가 있다: IDR(Instantaneous Decoder Refresh) 픽처; 및 IDR 픽처가 아닌 I 픽처. IDR 픽처는 복호화 순서에서 IDR 픽처에 선행하는 픽처를 참조하지 않고 복호화될 수 있는 I 픽처로서, MPEG-2의 크로즈된(closed) GOP의 선두 I 픽처와 동등하다. IDR 픽처가 아닌 I 픽처에 대해서는, 복호화 순서에서 상기 I 픽처 다음의 픽처가 복호화 순서에서 상기 I 픽처에 선행하는 픽처를 참조할 수 있다. MPEG-2의 오픈(open) GOP와 같은 구조는 랜덤 액세스 유닛(RAU)의 첫 번째 액세스 유닛에서의 IDR 픽처가 아닌 I 픽처를 위치시키고 랜덤 액세스 유닛(RAU)에서 픽처의 예측 구조를 한정함으로써 구성될 수 있다.

MPEG-4 AVC의 AU는, 픽처를 복호화하는데 필요한 데이터 이외에, 픽처를 복호화하는데 불필요한 SEI(Supplemental Enhancement Information)라고 불리는 보조 정보, AU의 경계 정보 등을 포함할 수 있다. 파라미터 세트, 슬라이스 데이터 및 SEI와 같은 데이터는 NALU(Network Abstraction Layer Unit)에 모두 저장된다. NAL 유닛은 헤더와 페이로드로 구성되고, 헤더는 페이로드에 저장된 데이터 타입(이하 NAL 유닛 타입이라 한다)을 나타내는 필드를 포함한다. NAL 유닛 타입의 값은 슬라이스 및 SEI와 같은 데이터의 각 타입을 정의한다. NAL 유닛 타입을 참조하여, NAL 유닛에 저장된 데이터의 타입이 특정될 수 있다.

SEI의 NAL 유닛은 하나 이상의 SEI 메시지를 저장한다. SEI 메시지는 또한 헤더와 페이로드로 구성되고 페이로드에 저장된 정보의 타입은 헤더에 나타낸 SEI 메시지의 타입에 의해 식별된다.

랜덤 액세스 유닛(RAU)의 헤더에 위치된 첫 번째 AU는, 랜덤 액세스 유닛(RAU)의 모든 AU들이 참조하는 SPS의 NAL 유닛 및 첫 번째 AU가 참조하는 PPS의 NAL 유닛을 포함한다. 또한, 랜덤 액세스 유닛(RAU)의 각 AU를 복호화하는데 필요한 PPS의 NAL 유닛은, 현재의 AU 또는 랜덤 액세스 유닛(RAU)에서, 복호화 순서로, 현재의 AU 이전의 AU를 포함하는 것이 보증된다.

여기서, NAL 유닛에는 NAL 유닛 경계를 식별하기 위한 정보가 없으므로, 경계 정보가 각 NAL 유닛의 헤더에 부가될 수 있다. MPEG-4 AVC의 스트림이 MPEG-2 TS(Transport Stream) 및 PS(Program Stream)에서 사용될 때, 0×000001의 3바이트로 나타내어진 개시 코드 프리픽스(start code prefix)가 NAL 유닛의 헤더에 부가된다. 또한, MPEG-2 TS 및 PS에서는, 액세스 유닛 딜리미터(Access Unit Delimiter)라고 불리는, AU 경계를 보여주는, NAL 유닛이 AU의 헤더 내에 삽입되어야만 한다고 결정된다.

이러한 비디오 부호화 및 복호화에 관련한 다양한 종래 기술이 제안되었다(예를 들어, 일본 공개 특허 공개번호 2003-18549 참조). 도 4는 종래의 화상 부호화 방법을 실현하는 화상 부호화 장치를 도시한 블록도이다.

화상 부호화 장치(191)는 입력된 비디오 화상 데이터(Vin)을 압축 및 부호화하여, MPEG-4 AVC의 부호화된 스트림인 AVC 스트림(st)을 출력한다. 슬라이스 부호화 유닛(11), 메모리(12), SPS 생성유닛(13), 신규 PPS 판정유닛(14), PPS 생성유닛(16) 및 AU 결정유닛(17)을 포함한다.

비디오 데이터(Vin)는 슬라이스 부호화 유닛(11)으로 입력된다. 슬라이스 부호화 유닛(11)은 하나의 AU에 대한 슬라이스 데이터를 부호화하고, 부호화의 결과인 슬라이스 데이터(Sin)를 메모리(12)에 저장하며, 픽처를 복호화하는데 필요한 SPS 정보(SPSin)를 SPS 생성유닛(13)으로 출력하는 반면에, AU를 복호화하는데 필요한 PPS 정보(PPSin)를 신규 PPS 판정유닛(14)으로 출력한다.

SPS 생성유닛(13)은 SPS 정보(SPSin)에 의거하여 SPS를 생성하고, SPS를 포함하는 SPSnal을 AU 결정유닛(17)으로 출력한다.

신규 PPS 판정유닛(14)은 랜덤 액세스 유닛(RAU)의 첫 번째 AU로부터 시작하는 순서로 각 AU에 대한 PPS 정보(PPSin)를 보유하고, 입력된 PPS 정보(PPSin)를 보유된 PPS 정보(PPSin)와 비교한다. 입력된 PPS 정보(PPSin)가 신규이면, 입력된 PPS 정보(PPSin)가 신규라는 것을 나타내는 신규 PPS 플래그(flg)를 1로 설정하고, PPS 정보(PPSin)를 PPS 생성유닛(16)에 PPS 정보(PPSout)로서 출력한다. 한편, 입력된 PPS 정보(PPSin)가 보유된 PPS 정보(PPSin)에 포함되면, 신규 PPS 판정유닛(14)은 신규 PPS 플래그를 0으로 설정한다.

PPS 생성유닛(16)은 신규 PPS 플래그가 1일 때 입력된 PPS 정보(PPSout)에 의거하여 PPS를 생성하고, PPS를 포함하는 데이터(PPSnal)를 AU 결정유닛(17)으로 출력한다.

AU 결정유닛(17)은 데이터(SPSnal) 및 데이터(PPSnal)에 각각 의거하여 SPS와 PPS의 NAL 유닛을 생성하고, 메모리(12)로부터 슬라이스 데이터(Snal)를 취득하여 슬라이스 데이터의 NAL 유닛을 생성한다. 그 다음 AU 결정유닛(17)은 생성된 NAL 유닛을 소정 순서로 배열하여 AU 데이터를 결정하고, AVC 스트림(st)을 구성하여 출력한다.

도 5는 화상 부호화 장치(191)의 동작을 도시하는 플로우챠트이다. 단계 S101에서는, 화상 부호화 장치(101)가 하나의 픽처에 대한 슬라이스 데이터를 부호화하고, 단계 S102에서 SPS를 생성한다. 여기서, SPS의 생성은 랜덤 액세스 유닛(RAU)의 첫 번째 AU에서만 수행될 수 있다. 그에 이어서, 단계 S103에서 AU의 PPS 정보(PPS)가 랜덤 액세스 유닛(RAU)에서 신규한지 여부를 화상 부호화 장치(191)가 판정한다. PPS 정보가 신규이면(단계 S111에서 Yes), 화상 부호화 장치(191)는 PPS를 AU에 저장하도록 결정하고, 단계 S111에서 단계 S106으로 이동한다. PPS 정보가 신규가 아니면(단계 S111에서 No), 단계 S107로 이동한다. 단계 S106에서는, 화상 부호화 장치(191)가 PPS를 생성한다. 단계 S107에서는, 단계 S111에서 PPS 정보가 신규이어서 PPS가 AU에 저장된다고 판정되면, 화상 부호화 장치(191)는 단계 S106에서 생성된 PPS를 AU에 포함시켜서 하나의 AU에 대한 데이터를 생성하여 출력한다.

도 6은 종래의 화상 복호화 방법을 실현하는 화상 복호화 장치를 도시한 블록도이다.

화상 복호화 장치(291)는 입력된 AVC 스트림(st)으로부터 AU를 분리 및 복호화하여, 복호화된 화상인 복호화된 데이터(Dout)를 출력한다. AU 경계 검출유닛(22), PPS 취득유닛(23), PPS 메모리(24), 복호화 정보 취득유닛(25) 및 복호화 유닛(26)을 포함한다.

AU 경계 검출유닛(22)은 AU의 경계를 검출하여 AU 데이터를 분리한다. PPS의 NAL 유닛은 AU 데이터에 포함되고, PPS의 NAL 유닛(PPSnal)을 PPS 취득유닛(23)으로 출력하며, 다른 NAL 유닛(Dnal)을 복호화 정보 취득유닛(25)으로 출력한다.

PPS 취득유닛(23)은 NAL 유닛(PPSnal)을 분석하여, PPS 메모리(24)가 분석결과를 분석 결과 신호(PPSst)로서 보유하도록 한다. 복호화 정보 취득유닛(25)은 NAL 유닛(Dnal)을 분석하여, SPS, 슬라이스 데이터 등을 취득하는 반면에, PPS 메모리(24)로부터 AU에 의해 참조되는 PPS를 포함하는 데이터(PPSref)를 취득하여, 슬라이스 데이터와 부호화전 데이터(Din)로서 슬라이스 데이터를 복호화하는데 필요한 SPS 및 PPS를 복호화 유닛(26)으로 출력한다.

부호화 유닛(26)은 복호화전 데이터(Din)에 의거하여 슬라이스 데이터를 복호화하여 복호화된 데이터(Dout)를 출력한다.

한편, 랜덤 액세스 유닛(RAU)는 첫 번째 AU로부터 복호화가 수행될 수 있음을 나타내는 데이터 구조로서, 점프인 재생(jump-in playback), 가변 속도 재생 및 리버스 재생과 같은 트릭플레이(trick-play)를 실현하거나 광디스크 및 하드디스크를 갖는 저장 장치에서 랜덤 액세스 유닛 단위로 스킵 재생(skip play back)을 실현하는데 필요하다.

그러나, 종래의 MPEG-4 AVC의 스트림의 랜덤 액세스 유닛(RAU)에서, I 픽처 또는 P 픽처의 AU와 같은 특정 AU를 선택, 복호화 및 디스플레이하여 고속 재생을 수행하는 경우에 AU를 복호화하는데 필요한 PPS가 얻어질 수 없다.

도 7A 및 도 7B는 랜덤 액세스 유닛(RAU)의 구조적 실시예를 도시한다.

도 7A에 도시된 바와 같이, 랜덤 액세스 유닛(RAU)는 AU1 내지 AU15의 15개 AU들로 구성된다. 고속 재생 시에, AU1, AU4, AU7, AU10 및 AU13의 5개의 AU가 복호화되어 디스플레이된다. 여기서, AU1 내지 AU8은 PPS로서 PPS#1를 참조하고, AU9 내지 AU15는 PPS#2를 참조한다. PPS#1 및 PPS#2는 각각 AU1 및 AU9에 저장된다. 여기서, 도 7B에 도시된 바와 같이, 고속 재생 시에 복호화될 AU는 AU9를 포함하지 않고 PPS#2는 고속 재생 시에 취득될 수 없어 AU10 및 AU13이 복호화될 수 없다.

그래서, 랜덤 액세스 유닛(RAU) 내의 AU가 선택적으로 복호화되어 디스플레이될 때, MPEG-2에서처럼 소정의 AU만 복호화되는 경우 필요한 PPS가 취득될 수 없다. 따라서, PPS를 취득하기 위해서 랜덤 액세스 유닛(RAU) 내의 모든 AU들이 분석될 필요가 있다는 문제점이 있다.

상기 문제점을 해소하기 위해서, 본 발명의 목적은, 복호화에 필요한 적절한 픽처 파라미터 세트를 취득하여 픽처를 복호화하도록 스트림을 생성하는 화상 부호화 장치, 및 상기 생성된 스트림을 복호화하는 화상 복호화 장치를 제공하는 것이다.

상기 목적을 달성하기 위해서, 본 발명에 따른 화상 부호화 장치는, 픽처들을 픽처 단위로 부호화하여, 랜덤 액세스 유닛을 스트림의 일부로서 생성하고, 상기 랜덤 액세스 유닛은 상기 부호화된 픽처들을 포함하는 화상 부호화 장치로서, 상기 픽처들을 픽처 단위로 부호화하여 부호화된 픽처 데이터들을 생성하도록 동작 가능한 부호화 유닛; 상기 부호화된 모든 픽처 데이터들을 복호화하는데 참조되는 파라미터 그룹인 시퀀스 파라미터 세트 정보를 생성하도록 동작 가능한 제 1 정보 생성 유닛; 픽처 파라미터 세트 정보들을 생성하도록 동작 가능하고, 각 픽처 파라미터 세트 정보는 상기 부호화된 각 픽처 데이터를 복호화하는데 참조되는 파라미터 그룹인, 제 2 정보 생성 유닛; 상기 랜덤 액세스 유닛을 구성하는 액세스 유닛들에 상기 부호화된 픽처 데이터들을 각각 저장하도록 동작 가능한 제 1 저장 유닛; 상기 랜덤 액세스 유닛의 헤드에 위치된 첫 번째 액세스 유닛에 상기 시퀀스 파라미터 세트 정보를 저장하도록 동작 가능한 제 2 저장 유닛; 및 상기 랜덤 액세스 유닛의 첫 번째 액세스 유닛 또는 상기 픽처 파라미터 세트 정보를 참조하는 상기 부호화된 픽처 데이터가 저장되는 액세스 유닛에 상기 각 픽처 파라미터 세트 정보를 저장하도록 동작 가능한 제 3 저장 유닛을 포함한다. 예를 들어, 상기 제 3 저장 유닛은 i) 상기 픽처 파라미터 세트 정보들을 상기 첫 번째 액세스 유닛에 저장하고, 상기 제 2 정보 생성 유닛에 의해 생성된 상기 픽처 파라미터 세트 정보들 중 하나와 일치하는 픽처 파라미터 세트 정보가 상기 첫 번째 액세스 유닛에 저장되지 않은 경우에는, ii) 상기 픽처 파라미터 세트 정보를 참조하는 상기 부호화된 픽처 데이터가 저장되는 액세스 유닛에 상기 픽처 파라미터 세트 정보를 저장한다.

따라서, 스트림의 일부로서 생성된 상기 랜덤 액세스 유닛에서, 상기 부호화된 각 픽처 데이터를 복호화하는데 필요한 픽처 파라미터 세트 정보(PPS)는 상기 랜덤 액세스 유닛의 첫 번째 액세스 유닛(AU) 또는 상기 부호화된 데이터가 저장되는 액세스 유닛에 저장된다. 따라서, 적어도 상기 랜덤 액세스 유닛에서의 상기 부호화된 모든 픽처 데이터 중에서 첫 번째 액세스 유닛에 저장된 상기 부호화된 픽처 데이터로서 트릭플레이가 수행되는 경우에도, 선택된 픽처를 복호화하는데 필요한 픽처 파라미터 세트 정보가 실패 없이 적절히 그리고 즉시 취득될 수 있다. 결과적으로, 트릭플레이가 원활하게 수행될 수 있다.

또한, 본 발명에 따른 화상 복호화 장치는, 스트림으로부터, 부호화된 픽처들을 포함하는 랜덤 액세스 유닛을 취득하고, 그 각각이 부호화된 픽처 데이터로서 각 액세스 유닛에 저장되며, 픽처 단위로 상기 부호화된 픽처 데이터를 복호화하는 화상 복호화 장치로서, 상기 랜덤 액세스 유닛의 헤드에 위치된 첫 번째 액세스 유닛에 저장된 상기 부호화된 픽처 데이터를 특정하도록 상기 부호화된 픽처 데이터들로부터 복호화될 상기 부호화된 픽처 데이터들의 일부를 특정하도록 동작 가능한 픽처 특정 유닛; 상기 첫 번째 액세스 유닛으로부터, 상기 부호화된 픽처 데이터들 모두를 복호화하는데 참조된 파라미터 그룹인 시퀀스 파라미터 세트 정보를 취득하도록 동작 가능한 제 1 취득 유닛; 상기 첫 번째 액세스 유닛 또는 복호화될 상기 부호화된 픽처 데이터가 저장된 액세스 유닛으로부터, 복호화될 상기 부호화된 픽처 데이터를 복호화하는데 참조된 파라미터 그룹인 픽처 파라미터 세트 정보를 취득하도록 동작 가능한 제 2 취득 유닛; 및 상기 시퀀스 파라미터 세트 정보 및 상기 픽처 파라미터 세트 정보를 참조하여 복호화될 상기 부호화된 픽처 데이터를 복호화하도록 동작 가능한 복호화 유닛을 포함한다.

예를 들어, 상기 부호화된 픽처 데이터 각각을 복호화하는데 필요한 픽처 파라미터 세트 정보(PPS)는 랜덤 액세스 유닛의 첫 번째 액세스 유닛(AU) 또는 픽처 파라미터 세트 정보를 참조하는 상기 부호화된 픽처 데이터가 저장되는 액세스 유닛에 저장된다. 따라서, 상기 랜덤 액세스 유닛에서의 상기 부호화된 픽처 데이터들의 일부가 복호화되어 재생됨에 따라 트릭플레이가 수행되는 경우에서도, 상기 첫 번째 액세스 유닛에 저장된 상기 부호화된 적어도 하나의 픽처 데이터인, 복호화될 상기 부호화된 픽처 데이터의 픽처 파라미터 세트 정보가, 상기 첫 번째 액세스 유닛 또는 복호화될 상기 부호화된 픽처 데이터가 저장된 액세스 유닛으로부터 취득된다. 따라서, 상기 부호화된 픽처 데이터를 복호화하는데 필요한 픽처 파라미터 세트 정보는 실패 없이 적절히 그리고 즉시 취득될 수 있다. 결과적으로, 트릭플레이가 원활하게 수행될 수 있다.

또한, 상기 목적을 달성하기 위해서, 본 발명에 따른 화상 부호화 방법은, 동화상들을 픽처 단위로 부호화하는 화상 부호화 방법으로서, 하나 이상의 픽처들을 갖는 랜덤 액세스 유닛이 고속 재생 및 리버스 재생과 같은 트릭플레이시에 복호화되는 픽처와 모든 픽처들이 복호화되어 디스플레이되는 통상의 재생시에만 복호화되는 픽처를 포함하도록 픽처의 픽셀들을 부호화하여 픽셀 부호화된 데이터를 생성하는 단계; 상기 픽처의 픽셀들을 부호화하여 픽셀 부호화된 데이터를 생성하는 단계; 상기 픽처가 복호화될 때 참조된 초기화 정보 중에서 상기 랜덤 액세스 유닛을 구성하는 모든 픽처들에 대해 유효한 시퀀스 초기화 정보를 생성하는 단계; 상기 픽처가 복호화될 때 참조된 상기 초기화 정보 중에서 상기 랜덤 액세스 유닛에서의 각 픽처에 대해 설정될 수 있는 픽처 초기화 정보를 생성하는 단계; 상기 생성된 픽셀의 부호화된 데이터, 상기 시퀀스 정보 또는 상기 픽처 초기화 정보를 각각 상이한 서브 픽처 유닛에 저장하는 단계; 및 상기 생성된 부호화된 데이터의 서브 픽처 유닛을 반드시 포함하고 상기 시퀀스 초기화 정보 또는 상기 픽처 초기화 정보의 서브 픽처 유닛을 선택적으로 포함하는 픽처 액세스 유닛을 생성하는 단계를 포함하고, 상기 픽처 액세스 유닛의 생성 단계에서, 트릭플레이 시에 복호화되는 픽처의 픽처 초기화 정보가 복호화 순서로 상기 동일한 픽처 액세스 유닛 또는 상기 랜덤 액세스 유닛에 선행하는 픽처에서의 상기 픽처 액세스 유닛으로부터 취득되어 트릭플레이 시에 복호화될 수 있도록, 상기 픽처 초기화 정보의 서브 픽처 유닛을 저장한다.

또한, 상기 트릭플레이 시에 복호화되는 픽처는 픽처내 예측(intra picture prediction) 또는 단일 예측(uni-prediction)에 의해 부호화된 픽처가 될 수 있다.

또한, 상기 트릭플레이 시에 복호화되는 픽처는, 상기 픽처내 예측 및 상기 단일 예측에 의해 부호화된 픽처 또는 중복 예측(bi-prediction)에 의해 부호화된 픽처 중에서, 다른 픽처들에 의해 참조되지 않는 픽처일 수 있다.

또, 상기 픽처 액세스 유닛의 생성 단계에서, 트릭플레이 시에 복호화되는 모든 픽처들에 대해, 픽처를 복호화하는데 참조된 상기 픽처 초기화 정보를 포함하는 서브 픽처 유닛이 픽처 액세스 유닛에 저장될 수 있다.

또한, 상기 랜덤 액세스 유닛에서의 첫 번째 픽처 액세스 유닛은 상기 시퀀스 초기화 정보가 저장된 서브 픽처를 포함할 수 있고, 상기 시퀀스 초기화 정보는 상기 랜덤 액세스 유닛에서의 모든 픽처들이 복호화될 때 참조된다.

또한, 상기 목적을 달성하기 위해서, 본 발명에 따른 화상 복호화 방법은 상기 화상 부호화 방법에 의해 부호화된 데이터를 복호화하는 화상 복호화 방법으로서: 복호화될 픽처를 결정하는 단계; 상기 결정된 픽처의 픽처 액세스 유닛으로부터 상기 시퀀스 초기화 정보 및 상기 픽처 초기화 정보를 취득하는 단계; 및 상기 취득된 시퀀스 초기화 정보 및 픽처 초기화 정보를 참조하여 상기 서브 픽처 액세스 유닛에 저장된 상기 부호화된 데이터를 복호화하는 단계를 포함하고, 상기 결정 단계는 통상의 재생시에 모든 픽처들로 결정하는 단계, 및 트릭플레이시에 복호화될 필요가 있는 픽처를 선택하는 단계를 포함한다.

또한, 상기 목적을 달성하기 위해서, 본 발명에 따른 멀티플렉싱 방법은, 부호화된 스트림과 상기 부호화된 스트림의 관리 정보를 멀티플렉싱하여 멀티플렉싱된 결과를 기록하는 멀티플렉싱 방법으로서: 동화상을 부호화하여 부호화된 스트림을 생성하는 단계; 상기 부호화된 스트림을 패킷화하는 단계; 상기 패킷 부호화된 스트림으로부터 픽처 데이터를 분리하는데 필요한 액세스 정보를 생성하는 단계; 상기 액세스 정보를 포함하는 관리정보를 상기 패킷 부호화된 스트림과 멀티플렉싱하는 단계; 및 상기 멀티플렉싱된 데이터를 기록하는 단계를 포함하고, 상기 부호화 단계에서, 상기 부호화된 스트림은 상기한 화상 부호화 방법에 의해 생성된다.

또, 상기 목적을 달성하기 위해서, 본 발명에 따른 프로그램은 상기 화상 부호화 방법을 컴퓨터가 실행하도록 하는 프로그램으로서: 동화상을 픽처 단위로 부호화하는 단계를 포함하고, 상기 방법은: 하나 이상의 픽처들을 갖는 랜덤 액세스 유닛이 고속 재생 및 리버스 재생과 같은 트릭플레이시에 복호화되는 픽처와 모든 픽처들이 복호화되어 디스플레이되는 통상의 재생시에만 복호화되는 픽처를 포함하도록 픽처의 픽셀들을 부호화하여 픽셀 부호화된 데이터를 생성하는 단계; 상기 픽처의 픽셀들을 부호화하여 픽셀 부호화된 데이터를 생성하는 단계; 상기 픽처가 복호화될 때 참조된 초기화 정보 중에서 상기 랜덤 액세스 유닛을 구성하는 모든 픽처들에 대해 유효한 시퀀스 초기화 정보를 생성하는 단계; 상기 픽처가 복호화될 때 참조된 상기 초기화 정보 중에서 상기 랜덤 액세스 유닛에서의 각 픽처에 대해 설정될 수 있는 픽처 초기화 정보를 생성하는 단계; 상기 생성된 픽셀의 부호화된 데이터, 상기 시퀀스 정보 또는 상기 픽처 초기화 정보를 각각 상이한 서브 픽처 유닛에 저장하는 단계; 및 상기 생성된 부호화된 데이터의 서브 픽처 유닛을 반드시 포함하고 상기 시퀀스 초기화 정보 또는 상기 픽처 초기화 정보의 서브 픽처 유닛을 선택적으로 포함하는 픽처 액세스 유닛을 생성하는 단계를 포함하고, 상기 픽처 액세스 유닛의 생성 단계에서, 트릭플레이 시에 복호화되는 픽처의 픽처 초기화 정보가 복호화 순서로 상기 동일한 픽처 액세스 유닛 또는 상기 랜덤 액세스 유닛에 선행하는 픽처에서의 상기 픽처 액세스 유닛으로부터 취득되어 트릭플레이 시에 복호화될 수 있도록, 상기 픽처 초기화 정보의 서브 픽처 유닛을 저장한다.

또한, 상기 목적을 달성하기 위해서, 본 발명에 따른 프로그램은 상기 화상 복호화 방법을 컴퓨터가 실행하게 하는 프로그램으로서, 상기 프로그램은 상기 화상 부호화 방법에 의해 부호화된 데이터를 컴퓨터가 복호화하도록 하며, 상기 프로그램은: 복호화될 픽처를 결정하는 단계; 상기 결정된 픽처의 픽처 액세스 유닛으로부터 상기 시퀀스 초기화 정보 및 상기 픽처 초기화 정보를 취득하는 단계; 및 상기 취득된 시퀀스 초기화 정보 및 픽처 초기화 정보를 참조하여 상기 서브 픽처 액세스 유닛에 저장된 상기 부호화된 데이터를 복호화하는 단계를 포함하고, 상기 결정 단계는 통상의 재생시에 모든 픽처들을 복호화하도록 결정하는 단계, 및 트릭플레이가 수행될 때 복호화될 필요가 있는 픽처들을 선택하는 단계를 포함한다.

상술한 바와 같이, 스트림의 랜덤 액세스 유닛(RAU)에서는, 가변 속도 재생시에 복호화될 AU만 선택되고 상기 AU는 AU를 복호화하는데 필요한 픽처 파라미터 세트 정보를 적절히 취득하여 복호화될 수 있다. 따라서, 본 발명은 가변 속도 재생에 상응하는 뛰어난 화상 부호화 장치 및 화상 복호화 장치를 쉽게 실현할 수 있어 그 실용적 가치가 높다.

본 발명은 화상 부호화 장치, 화상 복호화 장치 및 그 프로그램들뿐만 아니라, 상기 프로그램이 저장된 기록매체, 및 상기 화상 부호화 장치에 의해 생성된 스트림으로서 실현될 수 있다.

본 출원의 기술적 배경에 대한 부가 정보로서, 명세서, 도면 및 청구범위를 포함하는 2004년 6월 2일자로 출원된 일본특허출원번호 2004-165006호가 전체적으로 참조로 여기에 병합된다.

본 발명에 따른 화상 부호화 방법은 복호화에 필요한 픽처 파라미터 세트가 적절히 취득되어 고속 재생과 같은 트릭플레이 시에도 화상이 복호화될 수 있는 효과를 가진다. MPEG-4 AVC의 스트림을 사용하여 가변 속도 재생 및 리버스 재생과 같은 트릭플레이 기능을 갖는 장치 전반에 적용 가능하다. 또한, 트릭플레이 기능에 초점을 맞춘 광 디스크 관련 장치에 특히 효과적이다.

본 발명의 이러한 및 그 밖의 목적, 이점 및 구성들이 본 발명의 구체적인 실시형태를 도시하는 첨부도면을 참조한 다음의 설명으로부터 명확해질 것이다. 도면에서:
도 1은 MPEG2의 스트림 구조를 도시한다.
도 2A 및 도 2B는 MPEG-2의 GOP 구조를 도시한다.
도 3은 MPEG-4 AVC의 스트림 구조를 도시한다.
도 4는 종래의 화상 부호화 장치의 구성을 도시하는 블록도이다.
도 5는 종래의 화상 부호화 장치의 동작을 도시한 플로우챠트이다.
도 6은 종래의 화상 복호화 장치의 구성을 도시한 블록도이다.
도 7A 및 도 7B는 종래의 화상 부호화 장치의 문제를 설명하기 위한 도면이다.
도 8은 본 발명의 제 1 실시형태에 따른 화상 부호화 장치를 도시한 블록도이다.
도 9는 본 발명의 제 1 실시형태에 따른 화상 부호화 장치의 동작을 도시한 플로우챠트이다.
도 10은 본 발명의 제 1 실시형태에 따른 화상 부호화 장치의 PPS의 배열을 결정하는 동작을 도시하는 제 1 플로우챠트이다.
도 11A, 도 11B 및 도 11C는 본 발명의 제 1 실시형태에 따른 화상 부호화 장치의 출력 스트림의 제 1 구조적 실시예를 도시한다.
도 12는 본 발명의 제 1 실시형태에 따른 화상 부호화 장치에서 PPS의 배열을 결정하는 동작을 도시한 제 2 플로우챠트이다.
도 13A 및 도 13B는 본 발명의 제 1 실시형태에 따른 화상 부호화 장치의 출력 스트림의 제 1 구조적 실시예를 도시한다.
도 14는 본 발명의 제 1 실시형태에 따른 화상 부호화 장치의 동작을 도시하는 플로우챠트이다.
도 15는 본 발명의 제 2 실시형태에 따른 화상 복호화 장치를 도시하는 블록도이다.
도 16은 본 발명의 제 2 실시형태에 따른 화상 복호화 장치의 동작을 도시하는 플로우챠트이다.
도 17은 본 발명의 제 3 실시형태에 따른 멀티플렉서를 도시한 블록도이다.
도 18은 HD-DVD의 데이터 계층을 도시한 블록도이다.
도 19는 HD-DVD 상의 논리 공간의 구조를 도시한 도면이다.
도 20은 VOB 정보 파일의 구조를 도시하는 도면이다.
도 21은 타임맵을 설명하는 도면이다.
도 22는 플레이 리스트 파일을 도시하는 도면이다.
도 23은 플레이 리스트에 상응하는 프로그램 파일의 구조를 도시한 도면이다.
도 24는 BD 디스크 전체 데이터베이스 정보 파일의 구조를 도시한 도면이다.
도 25는 글로벌 이벤트 핸들러를 기록하는 파일의 구조를 도시한 도면이다.
도 26는 HD-DVD 플레이어를 도시한 개략적인 블록도이다.
도 27A, 도 27B 및 도 27C는 각각 본 발명의 화상 부호화 방법 및 화상 복호화 방법을 실현하기 위한 프로그램을 기록한 매체를 도시한다.

이하, 도면을 참조하여 본 발명의 실시형태에 대해 설명한다.

(제 1 실시형태)

도 8은 본 발명의 화상 부호화 방법을 실현하는 화상 부호화 장치를 도시한 블록도이다.

도면에서, 도 4에 도시된 종래의 부호화 방법을 실현하는 화상 부호화 장치의 구성과 동일한 동작을 수행하는 구성에 동일한 참조부호가 붙여지고, 동일한 구성에 대한 상세한 설명을 생략한다.

본 발명과 종래의 화상 부호화 장치의 차이점은, 가변 속도 재생 및 리버스 재생과 같은 트릭플레이 시에 복호화되는 AU를 선택함으로써 AU를 복호화하는데 필요한 PPS를 취득할 수 있도록 PPS의 NAL 유닛들이 배열된다는 것이다. 이하, 트릭플레이 시에 복호화될 AU를 트릭플레이 AU라 한다. 트릭플레이 시에, 모든 트릭플레이 AU들의 복호화 결과가 디스플레이될 수 있고 또는 하나 이상의 트릭플레이 AU들이 선택되어 디스플레이될 수 있다.

트릭플레이 AU는, 예를 들어, I 픽처 및 P 픽처의 AU를 나타낸다. 여기서 P 픽처의 AU가 B 픽처의 AU를 참조하지 않는 것과 같은 제약을 설정하면, 트릭플레이 AU만 트릭플레이 시에 복호화될 수 있다. 또한, 다른 AU들에 의해 참조되는 B 픽처를 참조되지 않은 B 픽처로부터 구별하여, 다른 픽처에 의해 참조되는 B 픽처, I 픽처, 및 P 픽처의 AU들이 트릭플레이 AU들이 될 수 있다.

화상 부호화 장치(10)는 종래의 화상 부호화 장치의 구성 이외에 PPS 배열 결정유닛(15)을 포함한다. PPS 배열 결정 유닛(15)은, 신규 PPS 플래그(flg)의 값, PPS 정보(PPSout), 및 생성된 AU가 트릭플레이 AU인지 여부를 나타내는 트릭플레이 AU 정보(trk)에 의거하여 PPS를 AU에 저장하는지 여부를 판정한다. PPS 배열 결정유닛(15)은 PPS가 저장된다고 판정되면 PPS 생성 플래그(mk)를 1로 설정하는 반면에, PPS가 저장되지 않는다고 판정되면 플래그를 0으로 설정하여, PPS 생성 플래그(mk)를 PPS 생성유닛(16)으로 출력한다. 여기서, PPS 생성 플래그(mk)가 1로 설정되면, PPS 배열 결정유닛(15)은 PPS를 생성하기 위해 PPS 정보(PPSmk)와 함께 PPS 생성 플래그(mk)를 PPS 생성유닛(16)으로 출력한다. PPS 생성유닛(16)은 PPS 생성 플래그(mk)가 1로 설정되면 PPS 정보(PPSmk)에 의거하여 PPS의 NAL 유닛을 생성한다. 여기서, 트릭플레이 AU 정보(trk)는 도면에 도시되지 않은 유닛, 또는 슬라이스 부호화 유닛(11)으로부터 개별적으로 취득된다.

도 9는 본 발명의 화상 부호화 방법의 절차를 도시한 플로우챠트이다.

플로우챠트에서, 도 5에 도시된 종래의 부호화 방법과 동일한 단계들에는 동일한 참조부호가 할당되고, 여기서는 동일한 단계들에 대한 설명을 생략한다. 단계 S104에서, 화상 부호화 장치(10)는, 단계 S103에서 취득된 판정 결과 및 AU가 생성중인지를 나타내는 정보에 의거하여, 트릭플레이 AU로부터 트릭플레이 AU를 복호화하는데 필요한 PPS를 취득할 수 있도록 PPS를 AU에 저장하는지 여부를 판정하고, 단계 S105로 이동한다. PPS를 저장하는 것으로 판정되면(단계 S105에서 Yes), 단계 S106로 이동하여 화상 부호화 장치(10)가 PPS를 생성한다. 그 후, 단계 S107로 이동하여 화상 부호화 장치(10)가 하나의 AU에 대한 데이터를 생성한다.

한편, PPS를 저장하지 않는다고 판정되면(단계 S105에서 No), 단계 S107로 직접 이동한다.

단계 S107에서는, 단계 S105에서 PPS를 저장한다고 판정되면, 화상 부호화 장치(10)는 하나의 AU에 대한 데이터를 생성하도록 AU 내에 단계 S106에서 생성된 PPS를 포함시켜 출력한다. 트릭플레이 AU가 아닌 AU에 저장된 PPS가 다시 트릭플레이 AU에 저장되면, 화상 부호화 장치(10)는 단계 S106에서 PPS를 다시 생성하지 않고 단계 S107에서 보유된 PPS를 저장할 수 있다.

또한, 트릭플레이 AU는 예를 들어 결정한 I 픽처 및 P 픽처가 트릭플레이 픽처일 때 코드 타입에 따라 결정될 수 있고, 픽처들 사이의 예측 구성에 따라 동적으로 결정될 수 있다.

도 10은 단계 S104의 처리에 대해 상세히 도시한 플로우챠트이다.

여기서, PPS 생성 플래그(mk)의 초기값은 0으로 가정된다. 단계 S201에서는, 화상 부호화 장치(10)가 단계 S103에서 설정된 신규 PPS 플래그(flg)가 1인지 여부(PPS가 신규인지 여부)를 판정한다. 화상 부호화 장치(10)는 신규 PPS 플래그(flg)가 1이면 단계 S204로 이동하고, 신규 PPS 플래그(flg)가 0이면 단계 S202로 이동한다. 단계 S202에서, 화상 부호화 장치(10)는 트릭플레이 정보(trk)에 의거하여 생성중인 AU가 트릭플레이 AU인지를 판정하여, AU가 트릭플레이 AU이면 단계 S203으로 이동하고, AU가 트릭플레이 AU가 아니면 도 9의 단계 S105로 이동한다.

단계 S203에서, 화상 부호화 장치(10)는 동일한 랜덤 액세스 유닛(RAU) 내에서 복호화 순서로 상기한 트릭플레이 AU에 선행하는 트릭플레이 AU 내에 PPS가 저장되는지를 판정한다. PPS가 이미 저장되었으면, 처리를 종료한다. 반면에, PPS가 저장되지 않았으면, 화상 부호화 장치(10)는 단계 S204로 이동한다. 단계 S204에서는, 화상 부호화 장치(10)가 PPS 생성 플래그(mk)를 1로 설정하고, 도 9의 단계 S105로 이동한다.

PPS를 업데이트하는 2가지 방법이 존재한다는 것에 주의한다: PPS의 식별자인 상이한 ID 번호를 갖는 PPS를 새롭게 생성하는 방법; 그리고 동일한 ID 번호를 갖는 PPS를 덮어쓰는 방법. 동일한 ID 번호를 갖는 PPS가 PPS 위에 써지면, 덮어쓰기 전의 PPS는 무효가 된다. 따라서, 단계 S103 및 S104의 판정 처리에서는, PPS의 ID 번호뿐만 아니라 PPS 자체에 의해 나타내어진 정보도 비교하는 것이 필요하다. 그러나, 운용규격 등의 하에서 동일한 ID 번호를 갖는 PPS를 덮어쓰기하는 것이 금지되면, PPS는 ID 번호에 의해 식별될 수 있다.

도 11A, 도 11B 및 도 11C는 본 발명의 화상 부호화 방법에 의해 생성된 스트림에서 랜덤 액세스 유닛(RAU)의 구조의 실시예를 도시한 도면이다.

도 11A에 도시된 바와 같이, 랜덤 액세스 유닛(RAU)는 복호화 순서에 따라 AU1 내지 AU15의 15개 AU로 구성된다. 또한, AU1, AU4, AU7, AU10 및 AU13의 5개의 AU는 트릭플레이 AU로 가정된다. 여기서, AU1, AU4, AU7, AU10 및 AU13은 각각, PPS로서, PPS#1, PPS#3, PPS#2, PPS#3, 및 PPS#1을 참조한다. 또한, AU6는 PPS#2를 참조하고 랜덤 액세스 유닛(RAU)에서 PPS#2를 보유하는 첫 번째 AU이다. 또한, AU2 및 AU3은 PPS#1을 참조하고 AU5는 PPS#3를 참조한다.

도 11B는 각 AU에 보유된 PPS의 NAL 유닛을 도시한다. 랜덤 액세스 유닛(RAU)에서, PPS#1가 AU1에서 첫 번째로 참조되고, PPS#3는 AU4에서 첫번째로 참조된다. 따라서, PPS#1과 PPS#3는 각각 AU1 및 AU4에 저장된다. 다음에, PPS#2가 AU6에 저장될 때, AU7는 PPS#2를 참조하는 첫 번째 트릭플레이 AU이다. 따라서, PPS#2는 또한 AU7에 저장된다. AU10 및 AU13은 각각 PPS#3 및 PPS#1을 참조한다. 그러나, 이들은 트릭플레이 AU인 AU4와 AU1에 이미 저장되었으므로 AU10과 AU13에 저장되지 않는다.

트릭플레이 AU에서, 현재의 AU에 의해 참조된 PPS는 AU 자체에 한정하여 저장될 수 있음에 주의한다.

도 11C는 트릭플레이 AU에 의해 참조된 PPS가 트릭플레이 AU 자체에 한정하여 저장될 때의 PPS 저장의 실시예를 도시한다. 도 11C에 도시된 바와 같이, AU10 및 AU13에 의해 각각 참조된 PPS#3 및 PPS#1는 트릭플레이 AU인 AU4 및 AU1에 미리 저장되어 있다. 그러나, 이들은 AU10 및 AU13에 다시 저장된다.

PPS의 복수의 NAL 유닛은 하나의 AU에 저장될 수 있다는 것에 주의한다. 따라서, 랜덤 액세스 유닛(RAU)의 첫 번째 AU에서, 랜덤 액세스 유닛(RAU)에서의 AU들을 복호화하는데 필요한 모든 PPS가 저장될 수 있고, 또는 트릭플레이 AU들을 복호화하는데 필요한 모든 PPS가 저장될 수 있다.

또한, 자주 사용되는 하나 이상의 PPS가 디폴트 PPS로서 랜덤 액세스 유닛(RAU)의 첫 번째 AU에 저장될 수 있는 한편, 디폴트 PPS와는 상이한 PPS가 프론트 AU에 또는 프론트 AU 다음의 AU에서 참조될 때 마다 PPS가 픽처에 저장될 수 있다. 예를 들어, I 픽처, P 픽처, 참조될 B 픽처, 또는 참조되지 않은 B 픽처의 부호화 타입에 따라, 디폴트 PPS가 준비될 수 있다.

또한, 트릭플레이 AU들을 복호화하는데 필요한 PPS가 랜덤 액세스 유닛(RAU)의 첫 번째 AU 및 각 트릭플레이 AU에 모두 저장될 수 있다.

트릭플레이 AU들 이외의 AU들이 상기 AU들에 의해 참조된 PPS를 한정하여 보유할 수 있음에 주의한다.

트릭플레이 AU에서, 랜덤 액세스 유닛에서 복호화 순서로 상기 트릭플레이 AU를 따르는 트릭플레이 AU들 이외의 AU들을 복호화하는데 필요한 PPS가 저장될 수 있다. 예를 들어, 트릭플레이 AU들 이외의 모든 AU들을 복호화하는데 필요한 PPS는 랜덤 액세스 유닛(RAU)의 첫 번째 AU에 저장된다. 따라서, I 픽처 및 P 픽처의 AU들만 랜덤 액세스 유닛(RAU)에서의 AU들의 첫 번째 부분에 대해 복호화되어 디스플레이되고, 모든 AU들이 나머지 AU들에 대해 복호화되어 디스플레이될 때와 같이 트릭플레이가 통상의 재생으로 리셋될 때, 트릭플레이가 통상의 재생으로 설정된 후 모든 AU들을 복호화하는데 필요한 PPS가 스킵된 AU들에 저장된 PPS를 취득하지 않고 취득될 수 있다.

다음에, SPS에 의해 나타내어진 정보는 양자화 매트릭스와 같은 PPS로 덮어쓰기될 수 있는 정보를 포함한다. 예를 들어, AU가 ID 번호 1(SPS(1))를 갖는 SPS와 ID 번호 2(PPS(2))를 갖는 PPS를 참조하고, PPS(2)가 SPS(1)에서 양자화 매트릭스를 덮어쓰기 하는 경우에, PPS(2)에 도시된 양자화 매트릭스는 AU가 복호화될 때 사용된다. AU에 의해 참조된 SPS는 IDR 픽처의 AU들에서만 스위칭될 수 있다. 따라서, 랜덤 액세스 유닛(RAU)의 AU가 참조 SPS를 스위칭하면, 통상의 랜덤 액세스 유닛(RAU)의 첫 번째 AU가 IDR 픽처의 AU로서 결정된다. 그러나, IDR 픽처의 AU가 사용되면, IDR 픽처의 AU를 따르는 AU가 IDR 픽처 이전의 AU를 참조할 수 없다. 따라서, 부호화 효율이 감소될 수 있다. 여기서, SPS에서는, PPS에 의해 업데이트 가능한 파라미터가 SPS 중에서만 업데이트되면, SPS는 업데이트되지 않지만 PPS를 업데이트함으로써 대체될 수 있다.

도 12는 직전의 랜덤 액세스 유닛(RAU)의 AU에 의해 참조된 SPS로부터 랜덤 액세스 유닛(RAU)의 첫 번째 AU에 저장된 SPS를 업데이트할지 여부를 결정하는 처리를 도시한 플로우챠트이다.

먼저, 단계 S301에서, 화상 부호화 장치(10)는 첫 번째 AU에 의해 참조된 SPS 정보가 직전의 랜덤 액세스 유닛의 AU에 의해 참조된 SPS 정보와 상이한지 여부를 판정한다. 화상 부호화 장치(10)는 이들이 서로 상이하다고 판정되면 단계 S303으로 이동하는 반면에, 이들이 동일하다고 판정되면 단계 S302로 이동한다. 여기서, SPS 정보는 SPS에서만 설정될 수 있는 정보와 PPS에서 업데이트될 수 있는 정보 모두를 포함한다.

단계 S302에서, 화상 부호화 장치(10)는 SPS를 업데이트할 필요가 없고 PPS에 의해 SPS의 정보를 업데이트할 필요가 없다고 결정한다.

단계 S303에서, 화상 부호화 장치(10)는 차이점이 단지 PPS에 의해 업데이트 가능한 데이터(SPSvari라 한다)인지 여부를 판정한다. 차이점이 단지 SPSvari라고 판정하면 화상 부호화 유닛(10)은 단계 S305로 이동하는 반면에, SPSvari 이외의 차이점들이 있다고 판정되면 단계 S304로 이동한다. 단계 S304에서는, 화상 부호화 장치(10)가 SPS를 업데이트하도록 결정하고 처리를 종료한다. 단계 S305에서는, 화상 부호화 장치(10)가 SPS를 업데이트하지 않고 SPSvari의 업데이트 정보를 포함하는 PPS를 AU에 저장하도록 결정하고, 처리를 종료한다.

처리 결과로부터, SPS가 업데이트되지 않는다고 결정되면, 랜덤 액세스 유닛(RAU)의 첫 번째 AU가 IDR 픽처의 AU 대신에 IDR 픽처 이외의 I 픽처의 AU가 될 수 있다. 신(scene)을 변경하는 경우처럼 랜덤 액세스 유닛(RAU)의 첫 번째 AU를 IDR 픽처의 AU로 만들고자 하는 경우 상기 판정 처리가 불필요하다는 것에 주의한다.

도 13A 및 도 13B는 도 12에 도시된 방법에 의해 생성된 랜덤 액세스 유닛(RAU)의 데이터 구조의 실시예를 도시한다.

도 13A에서는, 연속적인 2개의 랜덤 액세스 유닛(RAU)인 RAU#1과 RAU#2에 의해 참조된 SPS 데이터의 차이점은 PPS에 의해 업데이트 가능한 데이터인 SPSvari#1뿐이다. 여기서, RAU#2에서는, I 픽처의 AU가 SPSvari#1의 데이터를 갖는 PPS를 첫 번째 AU에 포함시켜서 헤드 AU가 될 수 있다.

도 13B에서는, RAU#1의 AU에서, SPSvari#1이 PPS에 의해 업데이트된다. 업데이트된 SPS 정보는 또한 RAU#2에서 사용된다. 여기서, RAU#2의 첫 번째 AU에 저장된 PPS는 또한 SPSvari#1을 포함한다.

트릭플레이 AU들을 복호화하는데 필요한 PPS가 트릭플레이 AU들만 복호화하여 얻어질 수 있다는 것이 보증됨을 나타내는 플래그 정보가 랜덤 액세스 유닛(RAU)에 나타내어질 수 있다. 예를 들어, 플래그 정보는 SPS 및 PPS와 같은 NAL 유닛의 헤드에서 nal_ref_idc 필드, 또는 다른 타입을 정의하는 NAL 유닛, SEI 메시지 등에 저장될 수 있다. 여기서, nal-ref-idc 필드는 각 타입의 NAL 유닛에 대해 0 또는 1 이상의 값을 취하도록 결정된 2비트 필드이다. 예를 들어, SPS와 PPS 같은 NAL 유닛은 1 이상의 값을 취한다. 따라서, 플래그 정보는 1 이상인 값들 중 임의의 하나로 나타내질 수 있다.

또한, 랜덤 액세스 유닛(RAU)의 첫 번째 AU에서, 랜덤 액세스 유닛(RAU)에서 AU들을 복호화하는데 필요한 모든 PPS가 저장됨을 나타내는, 플래그 정보가 나타내질 수 있다.

상기에서는 PPS의 저장 방법이 설명되었지만, 액세스 유닛 단위의 초기화 정보, 또는 복수의 액세스 유닛에 의해 공통으로 참조된 초기화 정보를 업데이트하기 위한 정보인 경우, 상기 정보는 PPS 이외의 것이 될 수 있음에 주의한다.

초기화 정보가 특정 단위로 업데이트될 수 있는 경우 부호화 방법은 MPEG-4 AVC에 제한되지 않고, 다른 방법들이 적용될 수 있음에 주의한다.

(변형)

상기한 실시형태에서 화상 부호화 장치(10)는 목표 AU가 트릭플레이 AU인지 여부를 판정하고, 목표 AU가 트릭플레이 AU라고 판정되면, 트릭플레이 AU를 복호화하기 위해 참조되는 PPS를 트릭플레이 AU 또는 복호화 순서에서 트릭플레이 AU에 선행하는 트릭플레이 AU에 저장한다.

상기 변형에 따른 화상 부호화 장치는, 목표가 트릭플레이 AU인지 여부를 판정하지 않고, 목표 AU를 복호화하는데 참조되는 PPS를 랜덤 액세스 유닛(RAU)의 첫 번째 AU 또는 PPS를 참조하는 AU 자체에 저장한다.

여기서, 상기한 바와 같이 첫 번째 AU 또는 PPS를 참조하는 AU 자체에 PPS를 저장하는 경우, 트릭플레이 시에도 AU(픽처)를 복호화하기 위해 PPS가 적절히 그리고 즉시 얻어질 수 있도록 랜덤 액세스 유닛(RAU)의 첫 번째 AU는 트릭플레이 AU이다.

도 14는 변형에 따른 화상 부호화 방법의 처리의 일부를 도시한 플로우챠트이다.

도 9에 도시된 화상 부호화 방법과 비교하면, 본 변형에 따른 화상 부호화 방법은 단계 S103 및 S104의 처리에서 다르다. 즉, 본 변형에 따른 화상 부호화 방법은 도 9에 도시된 단계 S103 및 S104의 처리 대신에 도 14에 도시된 S1001 및 S1002의 처리를 수행한다.

특히, 화상 부호화 장치는 목표 AU의 PPS가 랜덤 액세스 유닛(RAU)의 첫 번째 AU에 이미 저장되어 있는 PPS인지 여부를 판정한다(단계 S1001).

여기서, 화상 부호화 장치가 첫 번째 AU에 이미 저장되어 있는 PPS라고 판정하는 경우(단계 S1001에서 Yes), PPS 생성 플래그(mk)가 0으로 설정된 상태를 유지하면서 도 9에 도시된 단계 S105의 처리를 수행한다.

한편, 화상 부호화 장치가 첫 번째 AU에 이미 저장되어 있는 PPS가 아니라고 판정하는 경우(단계 S1001에서 No), PPS 생성 플래그를 1로 설정하고(단계 S1002), 도 9에 도시된 단계 S105의 처리를 수행한다.

이러한 화상 부호화 방법에 있어서는, 랜덤 액세스 유닛(RAU)의 첫 번째 AU에 복수의 PPS를 미리 저장할 필요성이 없음에 주의한다.

복수의 PPS가 미리 저장된 경우에는, 목표 AU에 의해 참조된 PPS는 첫 번째 AU에 미리 저장된 복수의 PPS와 비교된다. 그 다음, 목표 AU의 PPS가 임의의 복수의 PPS와 상이하면, PPS가 목표 AU 자체에 저장된다.

한편, 복수의 PPS가 미리 저장되지 않은 경우, 첫 번째 AU에 의해 참조된 PPS가 첫 번째 AU에 저장된다. 다른 AU들 각각에 대해 유사하게, AU에 의해 참조된 PPS가 AU에 저장된다. AU에 의해 참조된 PPS가 첫 번째 AU에 저장된 것과 상이하면 첫 번째 AU 이외의 각 AU에 PPS를 저장하는 것도 가능하다.

또한, 랜덤 액세스 유닛(RAU)에 포함된 각 AU들을 복호화하기 위해 참조되는 모든 PPS가 랜덤 액세스 유닛(RAU)의 첫 번째 AU에 저장될 수 있다. 이러한 경우에, 예를 들어, 화상 부호화 장치는 랜덤 액세스 유닛(RAU)에 포함되는 모든 픽처를 복호화한 후 또는 랜덤 액세스 유닛(RAU) 내의 모든 픽처들의 부호화 타입을 결정한 후 모든 PPS를 첫 번째 AU에 저장한다. 복수의 PPS가 첫 번째 AU에 저장될 수 있지만, 복호화시의 처리 부하는 첫 번째 AU에 한번에 저장된 PPS의 수가 증가함에 따라 증가한다는 것에 주의한다. 따라서, 한번에 첫 번째 AU에 저장될 수 있는 PPS의 최대 수가 결정될 수 있다. 최대 수는 랜덤 액세스 유닛(RAU)을 구성하는 픽처들의 최대 수에 의거하여 결정되거나 또는 처리 부하를 고려하여 결정될 수 있다. 예를 들어, 랜덤 액세스 유닛(RAU)에 저장될 수 있는 프레임의 최대 수가 15라면, PPS의 최대 수는 15로 결정될 수 있다. 여기서는, 상한 때문에 첫 번째 AU에 저장될 수 없는 PPS는 PPS를 참조하는 AU에 저장된다.

또한, 본 발명에 따르면, 랜덤 액세스 유닛(RAU)의 첫 번째 AU를 따르는 AU에 저장되는 PPS의 최대 수가 0 또는 1로 설정될 수 있어 PPS가 효과적으로 저장될 수 있다.

그래서, 본 변형에서는, 생성된 랜덤 액세스 유닛(RAU)에서, 각 AU를 복호화하는데 필요한 PPS는 랜덤 액세스 유닛(RAU)의 첫 번째 AU에 또는 AU 자체에 저장된다. 따라서, 이러한 랜덤 액세스 유닛에 포함된 모든 AU들 중에서 적어도 헤드 AU를 선택하여 재생하는 트릭플레이의 경우에도, 선택된 AU를 복호화하는데 필요한 PPS를 취득하는데 실패하지 않고 선택된 AU를 적절히 그리고 즉시 취득하여 복호화할 수 있다. 결론적으로, 트릭플레이가 원활하게 수행될 수 있다.

(제 2 실시형태)

도 15는 본 발명의 화상 복호화 방법을 실현하는 화상 복호화 장치를 도시한 블록도이다.

도면에서는, 도 6에 도시된 종래의 화상 복호화 방법을 실현하는 화상 복호화 장치의 구성들과 동일한 동작을 수행하는 구성들에 대해 동일한 참조부호들이 할당되고, 여기서는 동일한 구성들에 대한 상세한 설명을 생략한다. 본 화상 복호화 장치와 종래의 화상 복호화 장치의 차이는, 가변 속도 재생 및 리버스 재생과 같은 트릭플레이시에 트릭플레이 AU들만 선택하여 복호화한다는 것이다.

본 발명의 화상 복호화 장치(20)는 종래의 화상 복호화 장치의 구성들 이외에 복호화 판정 유닛(21)을 포함한다. 제 1 실시형태에 따른 화상 부호화 장치에 의해 부호화된 MPEG-4 AVC의 스트림(AVC 스트림(st))이 화상 복호화 장치(20)에 입력된다.

AU 경계 검출유닛(28)은 AU들의 경계를 검출하여, AU들을 분리하고, 분리된 AU들 각각을 복호화할지 여부를 판정하는데 필요한 판정정보(lst)를 취득하여, 취득된 판정정보(lst)를 복호화 판정유닛(21)으로 출력한다. 트릭플레이 시에, 트릭플레이 명령(trkply)이 복호화 판정유닛(21)으로 입력된다.

트릭플레이(trkply)가 입력되면, 복호화 판정유닛(21)은 AU가 판정정보(lst)에 의거한 트릭플레이 AU인지 여부를 판정하여, AU가 트릭플레이 AU일 때 복호화 명령(sw)을 AU 경계 검출유닛(28)으로 출력한다. 모든 AU들을 복호하여 디스플레이하는 통상의 재생 시에, 트릭플레이(trkply)가 입력되지 않고 복호화 판정유닛(21)은 복호화 명령(sw)을 모든 AU들로 출력한다.

AU 경계 검출유닛(28)은 복호화 명령(sw)을 수신하여, 각 구성 요소로 복호화하는데 필요한 정보를 출력한다. 특히 PPS의 NAL 유닛(PPSnal)을 PPS 취득유닛(23)으로 출력하고, PPS의 NAL 유닛이 AU에 포함되면 다른 NAL 유닛(Dnal)을 복호화 정보 취득유닛(25)으로 출력한다. 트릭플레이 명령(trkply)이 복호화 판정 유닛(21)에 입력되는 경우에만, 판정정보(lst)가 복호화 판정유닛(21)으로 입력될 수 있음에 주의한다.

도 16은 하나의 AU를 위한 데이터를 복호화하는 화상 복호화 장치(20)의 동작을 도시하는 플로우챠트이다.

먼저, 단계 S401에서는, 화상 복호화 장치(20)가 AU를 복호화할지 여부를 결정한다. 트릭플레이 시에, AU가 트릭플레이 AU인지를 판정하여, AU가 트릭플레이 AU인 경우에만 AU를 복호화하도록 결정한다. 화상 복호화 장치(20)는 트릭플레이 시에 한정적으로 랜덤 액세스 유닛(RAU)의 첫 번째 AU가 트릭플레이 AU라고 판정함에 주의한다. 통상의 재생 시에는, 모든 AU들을 복호화하도록 결정한다.

단계 S402에서는, 단계 S401에서 AU를 복호화한다고 결정된 경우 단계 S402로 이동하고, AU를 복호화하지 않는다고 판정된 경우에는 처리를 종료한다. 단계 S403에서, 화상 복호화 장치(20)는 SPS의 NAL 유닛을 검색하여, SPS의 NAL 유닛이 검출되면 단계 S404에서 SPS의 데이터를 취득하고, SPS의 NAL 유닛이 검출되지 않으면 단계 S405로 이동한다. 단계 S405에서는, 화상 복호화 장치(20)가 PPS의 NAL 유닛을 검색하여, PPS의 NAL 유닛이 검출되면 단계 S406에서 PPS의 데이터를 취득하고, PPS의 NAL 유닛이 검출되지 않으면 단계 S407로 이동한다. 단계 S407에서는, 화상 복호화 장치(20)가 슬라이스 데이터의 NAL 유닛을 분리하고, 랜덤 액세스 유닛(RAU)에서 복호화 순서로 또는 현재의 AU 이전의 AU로부터 취득된 SPS 및 PPS의 데이터에 의거하여 슬라이드 데이터를 복호화한다.

여기서, 판정정보(lst)를 결정하는 경우에, 액세스 유닛 딜리미터(Access Unit Delimiter)에서의 픽처 타입을 나타내는 primary_pic_type의 값, 슬라이스 헤드에서의 슬라이스 타입을 나타내는 slice_type의 값, 또는 SPS, PPS 및 슬라이스와 같은 NAL 유닛에서의 nal_ref_idc 필드의 값과 같은 AVC 스트림 내의 각 정보로부터 결정되거나, 또는 트릭플레이 AU의 리스트 정보가 제공될 때의 정보에 의거하여 결정될 수 있다. 또한, 광 디스크와 같은 기록매체에 AVC 스트림을 기록하기 위한 다중화된 포맷으로 데이터베이스 정보에 나타낸 정보로부터 결정될 수 있다.

트릭플레이 AU들을 복호화하는데 필요한 PPS가 트릭플레이 AU들로부터 취득될 수 있다고 보증될 수 없는 AVC 스트림(st)의 입력을 처리하기 위해서, 화상 복호화 장치는 트릭플레이 AU들 이외의 AU들에 대한 PPS를 검색, 취득하여 보유할 수 있음에 주의한다. 이들 AU를 위해서, 슬라이스 데이터의 NAL 유닛들 또는 슬라이스 데이터의 마이크로블록 데이터를 분석할 필요는 없다.

(제 3 실시형태)

도 17은 본 발명의 화상 부호화 장치에 의해 출력된 AVC 스트림(st)을 멀티플렉싱하는 멀티플렉서를 도시한 블록도로서, 멀티플렉싱된 스트림을 광 디스크 및 하드 디스크와 같은 기록매체에 기록한다.

멀티플렉서(30)는 화상 부호화 장치(10), 메모리(20), 스트림 분석유닛(31), 데이터베이스 정보 생성유닛(33), 멀티플렉싱 유닛(34) 및 저장유닛(35)을 포함한다. 여기서, 화상 부호화 장치(10)는 제 1 실시형태에 따른 본 발명의 화상 부호화 장치와 동일하다.

화상 부호화 장치(10)는 입력된 동화상 데이터(Vin)를 압축 및 부호화하여 AVC 스트림을 생성하고, AVC 스트림을 메모리(32)에 기록한다.

스트림 분석유닛(31)은 메모리(32)에 기록된 AVC 스트림 데이터(out1)를 판독하여, AU의 복호화 및 디스플레이 타이밍, AU가 랜덤 액세스 유닛(RAU)의 첫 번째 AU인지 여부를 나타내는 정보, 또는 픽처 사이즈 및 비디오 포맷에 대한 정보 등을 취득하여 분석하고, 분석 결과(STinf)를 데이터베이스 정보 생성유닛(33)으로 출력한다.

데이터베이스 정보 생성유닛(33)은, 분석 결과(STinf)에 의거하여, AVC 스트림(st)으로의 액세스 정보, 비디오 포맷과 종횡비와 같은 속성정보, 그리고 플레이 리스트 정보를 포함하는 데이터베이스 정보(Db)를 생성하고, 데이터베이스 정보(Db)를 멀티플렉싱 유닛(34)으로 출력한다.

멀티플렉싱 유닛(34)은 관리정보(Db)를 메모리(32)로부터 판독된 AVC 스트림(out2)과 멀티플렉싱하여, 멀티플렉싱된 데이터(Mux)를 생성하고, 멀티플렉싱된 데이터(Mux)를 저장유닛(35)으로 출력한다. 멀티플렉싱 방법은 블루레이 디스크(BD)의 판독만 가능한 포맷(Read Only Format)과 재기록 가능한 포맷에 의해 표준화된 포맷으로 가정되지만, DVD 또는 HD-DVD에 정의된 방법 및 MPEG에 대해 표준화된 파일 포맷인 MP4에 의거한 방법과 같은 다른 멀티플렉싱 방법이어도 된다. 읽기만 가능한 포맷 그리고 재기록 가능한 포맷으로, MPEG-4 AVC의 부호화된 스트림이 MPEG-2로 패킷화된 다음 멀티플렉싱됨에 주의한다.

또한, 트릭 플레이 AU를 복호화하는데 필요한 PPS가 트릭플레이 AU만 복호화하여 취득될 수 있다는 것을 나타내는 플래그 정보가 멀티플렉싱된 데이터의 데이터베이스 정보에 저장될 수 있음에 주의한다. 또는, 랜덤 액세스 유닛(RAU) 내의 모든 PPS가 랜덤 액세스 유닛(RAU)의 첫 번째 AU에 저장됨을 나타내는 플래그 정보가 멀티플렉싱된 데이터의 데이터베이스 정보에 저장될 수 있다.

(제 4 실시형태)

트릭플레이 기능은 패키지화된 미디어를 재생하는 광 디스크 장치에 대해 특히 중요하다. 우선, 차세대 광디스크인 블루레이 디스크(BD)에서, 제 3 실시형태에 따라 멀티플렉싱 장치의 멀티플렉싱된 데이터(Mux)를 기록하는 실시예에 대해 설명한다.

우선, BD-ROM의 기록 포맷에 대해 설명한다.

도 18은 BD-ROM의 구성, 특히 디스크 매체인 BD 디스크(104)의 구성 그리고 디스크에 기록된 데이터(101, 102 및 103)를 도시한 도면이다. BD 디스크(104)에 기록되는 데이터는 AV 데이터(103), AV 데이터 및 AU 재생 시퀀스에 관련된 데이터베이스와 같은 BD 데이터베이스 정보(102), 및 인터랙티브를 실현하기 위한 BD 재생 프로그램(10)이다. 본 실시형태에서는, 설명을 위해 영화의 AV 콘텐츠를 재생하는 AV 어플리케이션을 주로 해서 BD 디스크에 대해 설명한다.

도 19는 BD 디스크에 기록된 로직 데이터의 디렉토리/파일 구조를 도시한 도면이다. BD 디스크는, 예를 들어, DVD, CD 등과 유사하게 내경에서 외경으로 나선형의 기록 영역을 가지며, 내경의 리드인(lead-in)과 외경의 리드아웃(lead-out) 사이에 로직 데이터가 기록될 수 있는 로직 어드레스 공간을 갖는다. 또한, BCA(Burst Cutting Area)라 불리는 드라이브에 의해서만 판독되는 리드인 내측에 특별한 영역이 있다. 이 영역은 어플리케이션으로부터 판독될 수 없으므로, 예를 들어 복제 방지 기술 등으로 사용될 수 있다.

로직 어드레스 공간에서는, 마지막 시스템 정보(볼륨)에 의해 인도되는 비디오 데이터와 같은 어플리케이션 데이터가 기록된다. 종래 기술에서 설명된 바와 같이, 파일 시스템은 UDF, ISO96660 등이다. 디렉토리 및 파일 구조를 사용하여, 통상의 개인용 컴퓨터(PC)에서처럼 저장된 로직 데이터를 판독할 수 있게 한다.

본 실시형태에서는, BD 디스크 상의 디렉토리 및 파일 구조로서, BDVIDEO 디렉토리가 루트 디렉토리(ROOT) 바로 아래에 위치된다. 이 디렉토리에서는, BD에서 취급된 AV 콘텐츠와 데이터베이스 정보와 같은 데이터(도 18에 설명된 101, 102 및 103)가 저장된다.

BDVIDEO 디렉토리 하에서는, 다음의 7개 타입의 파일들이 기록된다:

i) BD.INFO(고정된 파일명)

"BD 데이터베이스 정보"의 하나인 파일로서 상기 파일에는 전체적으로 BD 디스크에 관련한 정보가 기록된다. BD 플레이어는 먼저 이 파일을 판독한다.

ii) BD.PROG(고정된 파일명)

"BD 재생 프로그램"의 하나인 파일로서 상기 파일에는 전체적으로 BD 디스크에 관련한 재생 제어 정보가 기록된다.

iii) XXX.PL("XXX"는 가변되고, 확장자 "PL"은 고정된다)

"BD 데이터베이스 정보"의 하나인 파일로서 상기 파일에는 시나리오(재생 시퀀스)인 플레이 리스트 정보가 기록된다.

iv) XXX.PROG("XXX"는 가변되고, 확장자 "PROG"는 고정된다)

"BD 재생 프로그램"의 하나인 파일로서 상기 파일에는 각 플레이 리스트에 대한 재생 제어 정보가 기록된다. 플레이 리스트와의 대응은 파일 바디명(file body name)에 의해 식별된다("XXX"가 일치한다).

v) YYY.VOB("YYY"는 가변되고, 확장자 "VOB"는 고정된다)

"AV 데이터"의 하나인 파일로서 상기 파일에는 VOB(종래 실시예에서 설명된 VOB와 동일함)가 기록된다. 각 VOB에 대해 하나의 파일이 존재한다.

vi) YYY.VOBI("YYY"는 가변되고, 확장자 "VOBI"는 고정된다)

"BD 데이터베이스 정보"의 하나인 파일로서 상기 파일에는 AV 데이터인 VOB에 관련한 스트림 데이터베이스 정보가 기록된다. VOB와의 대응은 파일 바디명에 의해 식별된다("YYY"가 일치한다).

vii) ZZZ.PNG("ZZZ"는 가변되고, 확장자 "PNG"는 고정된다)

"AV 데이터"의 하나인 파일로서 상기 파일에는 서브타이틀 및 메뉴를 구성하는 이미지 데이터 PNG(W3C에 의해 표준화된 화상 포맷으로서 "ping"으로 발음된다)가 기록된다. 각 PNG 이미지에 대해 하나의 파일이 존재한다.

도 20 내지 25를 참조하여, BD의 네비게이션 데이터(BD 데이터베이스 정보)의 구조에 대해 설명한다.

도 20은 VOB 데이터베이스 정보 파일("YYY.VOBI")의 내부 구조를 도시한 도면이다.

VOB 데이터베이스 정보는 상기 VOB 및 타임맵(TMAP)의 스트림 속성 정보(Attribute)을 가진다. 비디오 속성(Video) 및 오디오 속성(Audio#01 내지 Audio#m) 각각에 대한 스트림 속성이 존재한다. 특히, 오디오 스트림의 경우에는, VOB가 오디오 스트림을 동시에 가질 수 있으므로, 오디오 스트림의 수(Number)는 데이터 필드의 존재 여부를 나타낸다.

다음은 비디오 속성(Video)의 필드 및 그 값을 나타낸다.

압축방법(부호화):

MPEG1

MPEG2

MPEG3

MEPG4(Advanced Video Coding)

해상도

1920×1080

1440×1080

1280×720

720×480

720×565

종횡비(Aspect Rate)

4:3

16:9

프레임레이트(Framerate)

60

59.94(60/1.001)

50

30

29.97(30/1.001)

25

24

23.976(24/1.001)

다음은 오디오 속성(Audio)의 필드 및 그 값이다.

압축방법(부호화):

AC3

MPEG1

MPEG2

LPCM

채널의 수(Ch):

1 내지 8

언어 속성(Language)

타임맵(TMAP)은 각 VOBU에 대한 정보를 갖는 테이블이다. 테이블은 상기 VOB에 의해 보유된 VOBU의 수(Number) 및 각 VOBU 정보(VOBU#1 내지 VOBU#n)를 포함한다. 각 VOBU 정보는 VOBU 리딩(leading) TS 패킷(I 픽처 개시)의 어드레스의 어드레스(I_start), I 픽처의 엔드 어드레스까지의 오프셋 어드레스(I#end), 및 I 픽처의 재생 개시 시각(PTS)로 구성된다.

도 21은 VOBU 정보의 상세를 설명하는 도면이다.

공지된 바와 같이, 고화질로 기록하기 위해서 MPEG 비디오 스트림이 가변 비트 레이트로 압축되는 경우가 있고, 재생 시간 및 데이터 사이즈 사이의 단순한 상관성은 없다. 반대로, 오디오의 압축 표준인 AC3는 고정된 비트 레이트로 오디오를 압축한다. 따라서, 시간과 어드레스 사이의 관계는 1차식으로 취득될 수 있다. 그러나, MPEG 비디오 데이터의 경우에, 각 프레임은 고정된 디스플레이 시간을 갖고, 예를 들어, NTSC의 경우에, 1프레임은 1/29.97초의 디스플레이 시간을 가진다. 그러나, 각 압축된 프레임의 데이터 사이즈는 픽처의 특성 및 압축에 사용되는 픽처 타입, 구체적으로 I/P/B 픽처에 따라 크게 변화한다. 따라서, MPEG 비디오의 경우에, 시간과 어드레스 사이의 관계는 1차 식으로 기술될 수 없다.

실제로, MPEG 비디오 데이터를 멀티플렉싱하여 취득된 MPEG 시스템 스트림을 1차 식으로 기술하는 것은 불가능하다. 특히, VOB는 또한 1차 식으로 시간 및 데이터 사이즈를 기술할 수 없다. 따라서, 시간맵(TMAP)이 VOB에서의 시간과 어드레스 사이의 관계를 연결하는데 사용된다.

따라서, 시간 정보가 주어지면, 우선, 시간이 어떤 VOBU에 속하는지가 검색(각 VOBU에 대한 PTS 추적)되고, 상기 시간 직전의 PTS를 TMAP를 갖는 VOBU로 스킵하여(I_start로 특정된 어드레스), VOBU에서의 선두 I 픽처로부터 복호화를 개시하고, 상기 시간의 픽처로부터 디스플레이하기 시작한다.

다음에, 도 22을 참조하여, 플레이 리스트 정보("XXX.PL")의 내부 구조에 대해 설명한다.

플레이 리스트 정보는 셀 리스트(CellList)와 이벤트 리스트(EventList)로 구성된다.

셀 리스트(CellList)는 플레이 리스트에서의 재생 시퀀스이고, 리스트의 기술 순서로 셀이 재생된다. 셀 리스트(CellList)의 콘텐츠는 셀의 수(Number) 및 각 셀 정보들(Cell#1 내지 Cell#n)을 포함한다.

셀 정보(Cell#)는 VOB 파일명(VOBName), VOB에서의 개시시간(In) 및 종료시간(Out), 그리고 서브타이틀 테이블을 포함한다. 개시시간(In) 및 종료시간(Out)은 각 VOB에서의 프레임 번호로 기술되고, 재생에 필요한 VOB 데이터의 어드레스는 타임맵(TMAP)을 사용하여 취득될 수 있다.

서브타이틀 테이블은 VOB와 동시에 재생되는 서브타이틀 정보를 갖는 테이블이다. 서브타이틀은 오디오와 유사하게 복수의 언어들을 가질 수 있고, 서브타이틀 테이블의 첫 번째 정보는 다수의 언어들(Number)과 각 언어에 대해 수반되는 테이블(Language#1 내지 Language#k)로 구성된다.

각 언어 테이블(Language#)은 언어 정보(Lang), 개별적으로 디스플레이되는 서브타이틀 정보의 수(Number), 그리고 서브타이틀의 서브타이틀 정보(Speech#1 내지 Speech#j)로 구성된다. 서브타이틀 정보(Speech#)는 상응하는 이미지 데이터 파일명(Name), 서브타이틀 디스플레이 개시시간(In), 서브타이틀 디스플레이 종료 시간(Out), 및 서브타이틀의 디스플레이 위치(Position)로 구성된다.

이벤트 리스트(EventList)는 플레이 리스트에서 생성된 이벤트가 정의되는 테이블이다. 이벤트 리스트는 이벤트의 수(Number)를 따르는 각 이벤트(Event#1 내지 Event#m)로 구성된다. 각 이벤트(Event#)는 이벤트의 타입(Type), 이벤트 아이디(ID), 이벤트 생성시간(Time) 및 존속기간으로 구성된다.

도 23은 각 플레이 리스트에 대한 이벤트 핸들러(메뉴 선택을 위한 시간 이벤트 및 사용자 이벤트)를 갖는 이벤트 핸들러 테이블("XXX.PROG")이다.

이벤트 핸들러 테이블은 정의된 이벤트 핸들러/프로그램 수(Number) 및 개별 이벤트 핸들러/프로그램(Program#1 내지 프로그램#n)을 갖는다. 각 이벤트 핸들러/프로그램(Program#)에서의 기술은 이벤트 핸들러 개시에 대한 정의(<event_handler>tag)와 이벤트와 한 쌍인 이벤트 핸들러의 ID를 가진다. 그 후, Function을 따르는 괄호 "{"와 "}" 사이에 프로그램이 기술된다. "XXX.PL"의 이벤트 리스트에 저장된 이벤트(Event#1 내지 Event#m)는 이벤트 핸들러의 ID를 사용하여 특정된다.

다음에, 도 24를 참조하여, 전체적으로 BD 디스크에 관련한 정보("BD.INFO")의 내부 구조에 대해 설명한다.

BD 디스크 전체 정보는 타이틀 리스트과 글로벌 이벤트에 대한 이벤트 테이블로 구성된다.

타이틀 리스트는 디스크에서의 다수의 타이틀(Number)과 다음의 각 타이틀 정보(Title#1 내지 Title#n)로 구성된다. 각 타이틀 정보(Title#)는 타이틀에 포함된 플레이 리스트 테이블(PLTable)과 타이틀에서의 챕터 리스트를 포함한다. 플레이 리스트 테이블(PLTable)은 타이틀에서의 플레이 리스트의 수(Number) 및 플레이 리스트 명(Name), 특히 플레이 리스트의 파일명을 포함한다.

챕터 리스트는 타이틀에 포함된 다수의 챕터(Number)와 개별 챕터 정보(Chapter#1 내지 Chapter#n)로 구성된다. 각 챕터 정보(chapter#)는 챕터에 포함된 셀들의 테이블을 가진다. 셀 테이블은 다수의 셀(Number)과 개별 셀 엔트리 정보(CellEntry#1 내지 CellEntry#k)로 구성된다. 셀 엔트리 정보(Cellentry#)는 셀을 포함하는 플레이 리스트 명과 플레이 리스트에서의 셀 번호로 기술된다.

이벤트 리스트(EventList)는 다수의 글로벌 이벤트(Number)와 개별 글로벌 이벤트 정보를 가진다. 여기서는, 최초로 정의된 글로벌 이벤트를 첫 번째 이벤트라 하고, BD 디스크가 플레이어에 삽입될 때 첫 번째로 호출되는 이벤트라는 것이 언급되어야 한다. 글로벌 이벤트를 위한 이벤트 정보는 이벤트 타입(Type) 및 이벤트 아이디(ID)만을 갖는다.

도 25는 글로벌 이벤트 핸들러의 프로그램 테이블("BD.PROG")을 도시한다. 이 테이블은 도 23에 설명된 이벤트 핸들러 테이블과 동일하다.

이러한 BD-ROM 포맷에서는, 화상 부호화 장치(10)로부터 출력된 AVC 스트림(st)을 저장하는 경우에, VOBU는 하나 이상의 랜덤 액세스 유닛(RAU)으로 구성된다.

BD-ROM으로 멀티플렉싱된 MPEG-4 AVC의 스트림에서, 트릭플레이 AU만 복호화 함으로써 트릭플레이 AU를 복호화하는데 필요한 PPS가 취득될 수 있음을 나타내는 플래그 정보가 보증되고 또는 랜덤 액세스 유닛(RAU)에서의 모든 PPS가 랜덤 액세스 유닛(RAU)의 헤드 AU에 저장됨을 나타내는 플래그 정보가 BD 데이터베이스 정보에 저장될 수 있다.

EP 맵과 같은 액세스 정보가 바이너리 데이터로서 테이블에 저장될 수 있고, XML(Extensible Markup Language)와 같은 텍스트 포맷으로 존재할 수 있음에 주의한다.

(제 5 실시형태)

도 26은 제 4 실시형태에 따른 BD 디스크에 기록된 데이터를 재생시키는 플레이어의 기능적 구성을 개략적으로 도시한 블록도이다.

BD 디스크(201) 상에 기록된 데이터는 광 픽업(202)을 통해 판독된다. 판독된 데이터는 각 데이터 타입에 따라 특정 메모리로 전송된다. BD 재생 프로그램("BD.PROG" 또는 "XXX.PROG" 파일의 콘텐츠), BD 데이터베이스 정보("BD.INFO", "XXX.PL" 또는 "YYY.VOBI"), 및 AV 데이터("YYY.VOB" 또는 "ZZZ.PNG")가 각각 프로그램 기록 메모리(203), 데이터베이스 정보 기록 메모리(204) 및 AV 기록 메모리(205)로 전송된다.

프로그램 기록 메모리(203)에 기록된 BD 재생 프로그램, 데이터베이스 정보 기록 메모리(204)에 기록된 BD 데이터베이스 정보, 및 AV 기록 메모리(205)에 기록된 AV 데이터는 각각 프로그램 처리 유닛(206), 데이터베이스 정보 처리 유닛(207) 및 프레젠테이션 처리유닛(208)에 의해 각각 처리된다.

프로그램 처리 유닛(206)은 데이터 베이스 정보 처리 유닛(207)에 의해 재생되는 플레이 리스트에 대한 정보 및 프로그램 실행 타이밍과 같은 이벤트 정보를 수신하는 프로그램을 처리한다. 또한, 프로그램은 재생되는 플레이 리스트를 동적으로 변화시킬 수 있다. 이 경우에, 플레이 리스트를 재생하라는 명령을 데이터베이스 정보 처리 유닛(207)으로 전송함으로써 실현될 수 있다. 프로그램 처리 유닛(206)은 유저(user)로부터 이벤트를 수신하여, 구체적으로 리모트 콘트롤러 키로부터 전송된 요구를 수신하여, 유저 이벤트에 상응하는 프로그램이 있는 경우에 이벤트를 실행한다.

데이터베이스 정보 처리 유닛(207)은 프로그램 처리 유닛(206)의 명령을 수신하여, 상응하는 플레이 리스트 및 이 플레이 리스트에 대응하는 VOB의 데이터베이스 정보를 분석하여, 프레젠테이션 처리 유닛(208)에 목표 AV 데이터를 재생하도록 명령한다. 또한, 데이터베이스 정보 처리 유닛(207)은 프레젠테이션 처리 유닛(208)으로부터 표준 시간 정보를 수신하여, 시간 정보에 의거하여 AV 데이터 재생을 정지하도록 프레젠테이션 처리 유닛(208)에 지시하고, 또한 프로그램 처리 유닛(206)에 대해 프로그램 실행 타이밍을 나타내는 이벤트를 생성한다.

프레젠테이션 처리유닛(208)은 각각 비디오, 오디오, 및 서브타이틀/이미지(정지화상)에 대응하는 디코더들을 갖는다. 각 디코더는 데이터베이스 정보 처리유닛(207)으로부터 전송된 명령에 의거하여 AV 데이터를 복호화하고 복호화된 AV 데이터를 출력한다. 비디오 데이터, 서브타이틀 및 이미지는 복호화된 후 각각 전용 플레인(special plane), 비디오 플레인(210) 및 이미지 플레인(209)에 기술되고, 합성유닛(211)에 의해 이미지들이 합성되어 텔레비전과 같은 디스플레이 장치로 출력된다.

가변 속도 재생 및 리버스 재생과 같은 트릭플레이 시에, 프레젠테이션 처리유닛(208)은 유저에 의해 요구된 가변 속도 재생 또는 리버스 재생 동작들을 해석하고, 재생 방법을 나타내는 정보를 데이터베이스 정보 처리유닛(207)에 통지한다. 데이터베이스 정보 처리유닛(207)은 재생 방법을 프레젠테이션 처리유닛(208)에 통지한다. 프레젠테이션 처리유닛(208)은 VOBU에 저장된 트릭플레이 AU들을 특정하는 정보에 의거하여 트릭플레이 AU들을 검출하고, 유저에 의해 특정된 트릭플레이 동작을 만족하도록 복호화되어 디스플레이되는 AU들을 결정한다. 예를 들어, I 픽처와 P 픽처의 AU들만 복호화되어 디스플레이될 때, 프레젠테이션 처리유닛((208)은 액세스 유닛 딜리미터, 슬라이스 헤더, NAL 유닛의 헤더에 포함된 식별정보 등에 의거하여 I 픽처와 P 픽처의 AU들을 검출한다. 이하, 트릭플레이 AU들을 결정하는 방법의 실시예를 설명한다.

우선, 액세스 유닛 딜리미터를 참조하여 트릭플레이 AU를 결정하는 방법에 대해 설명한다. 액세스 유닛 딜리미터는 AU를 구성하는 슬라이스 데이터의 타입(primary_pic_type field)을 도시할 수 있다. 따라서, I 픽처, P 픽처 또는 B 픽처의 각 AU에 대해, 트릭플레이 시에 복호화될 AU는 AU들의 각 타입을 특정함으로서 결정될 수 있다.

다음에, 슬라이스 헤더에서, 슬라이스 데이터의 타입(slice_type field)이 도시될 수 있다. 여기서, AU 내의 모든 슬라이스 데이터가 동일한 타입임을 나타내는 값이 slice_type에 설정될 수 있다. 예를 들어, AU를 구성하는 임의의 하나의 슬라이스 데이터에서 slice_type이 7인 경우, 상기 슬라이스 및 AU 내의 다른 슬라이스들이 모두 I 슬라이스임을 보여준다. 유사하게, slice_type이 5이면, AU 내의 모든 슬라이스들이 P 슬라이스임을 보여주고; slice_type이 6이면 AU 내의 모든 슬라이스들이 B 슬라이스임을 보여줌을 나타내도록 값들이 정의된다. 부호화 시에 5, 6 및 7의 slice_type 중 임의의 하나를 갖는 슬라이스들만 사용된다고 가정하면, AU의 첫 번째 슬라이스의 슬라이스 타입을 분석하여 트릭플레이 시에 복호화될 AU가 결정된다. slice_type이 5, 6 및 7 이외이더라도, 트릭플레이 시에 복호화될 AU는 AU 내의 모든 슬라이스들의 slice_type을 분석함으로써 결정될 수 있다.

다음에, NAL 유닛의 헤더에 의거하여 결정되는 경우, 트릭플레이 시에 복호화될 AU는, 슬라이스들과 같은 NAL 유닛에서의 nal_ref_idc 필드의 값으로서, I 픽처, P 픽처 및 B 픽처에 대해 상이한 필드값을 설정함으로써 결정될 수 있다.

또한, 트릭플레이에 대한 정보를 나타내는 NAL 유닛 및 SEI 메시지가 랜덤 액세스 유닛(RAU)에 포함되는 경우, 트릭플레이 시에 복호화될 AU는 상기 정보에 의거하여 결정될 수 있다.

트릭플레이 AU를 특정하는 정보가 데이터베이스 정보에 포함되는 경우 데이터베이스 정보 처리유닛(207)은 복호화되어 디스플레이될 AU를 결정할 수 있음에 주의한다.

또한, 트릭플레이 AU를 복호화하는데 필요한 PPS가 트릭플레이 AU들만 복호화하여 취득될 수 있음을 나타내는 플래그 정보가 데이터베이스 정보 또는 VOBU에 저장된 경우에 PPS를 취득하는 방법은 플래그 정보에 의거하여 스위칭될 수 있다. 여기서는, 플래그가 설정되면, PPS는 트릭플레이 AU들로부터만 취득되고, 반면에 플래그가 설정되지 않으면, 트릭플레이 AU들 이외의 AU들에 저장된 PPS가 또한 얻어진다.

상기한 실시형태에서, 부호화 방법은 MPEG-4 AVC에 제한되지 않고, 유사한 처리에 활용할 수 있는 부호화 방법이라면 다른 방법들이 활용될 수 있다.

또한, EP 맵과 같은 액세스 정보가 바이너리 데이터로서 테이블에 저장될 수 있고 또는 XML(Extensible Markup Language)와 같은 텍스트 포맷으로 존재할 수 있다.

(제 6 실시형태)

또한, 상기한 각 실시형태에서 도시된 바와 같이 동화상 부호화 방법 및 동화상 복호화 방법을 실현하는 프로그램을 플렉시블 디스크와 같은 기록매체 상에 기록함으로써, 상기 각 실시형태에서 도시된 바와 같은 처리를 독립형 컴퓨터 시스템에서 쉽게 수행할 수 있게 된다.

도 27A, 27B 및 27C는 상기 실시형태에서의 동화상 부호화 방법 및 동화상 복호화 방법이 플렉시블 디스크와 같은 기록매체에 기록된 프로그램을 사용하여 컴퓨터 시스템에 구현되는 경우를 도시한 예시적인 도면이다. 플렉시블 디스크(FD)는 케이스(F) 내에 내장되고, 복수의 트랙들(Tr)이 외주로부터 반경 방향으로 디스크의 표면상에 동심원적으로 형성되며, 각 트랙은 각도 방향으로 16개의 섹터들(Se)로 분리된다. 따라서, 상기한 프로그램을 저장하는 플렉시블 디스크에서는, 상기 프로그램이 상기 플렉시블 디스크(FD) 상에서 할당된 영역에 기록된다. 또한, 도 27C는 플레시블 디스크(FD)에 프로그램을 기록 또는 재생하는 구성을 도시한다. 프로그램이 플렉시블 디스크(FD) 상에 기록될 때, 컴퓨터 시스템(Cs)은 동화상 부호화 방법 및 동화상 복호화 방법을 프로그램으로서 플렉시블 디스크 드라이브를 통해 플렉시블 디스크(FD) 상에 기록한다. 상기 동화상 부호화 방법 및 동화상 복호화 방법이 플렉시블 디스크에 기록된 프로그램을 사용하여 컴퓨터 시스템에 구성될 때, 프로그램은 플렉시블 디스크 드라이브를 통해 플렉시블 디스크로부터 판독되어 컴퓨터 시스템으로 전달된다.

상기 설명은 기록매체가 플렉시블 디스크라고 가정하여 이루어졌지만, 동일한 처리가 광 디스크를 사용하여 수행될 수도 있음에 주의한다. 또한, 기록매체는 이들에 제한되지 않고, 프로그램이 기록될 수 있는 한 IC 카드 및 ROM 카세트와 같은 임의의 다른 매체가 동일하게 사용될 수 있다.

상기에서, 본 발명에 따른 화상 부호화 장치, 화상 복호화 장치, 멀티플렉싱 장치, BD 디스크 플레이어 등이 실시형태에 의거하여 설명되었다. 그러나, 본 발명은 상기 실시형태의 개시에 제한되지 않는다. 본 발명은 본 발명의 요지의 범위 내에서 본 실시형태에서 가해진 기술에 의해 이루어진 변형들을 포함한다.

예를 들어, 본 발명은 본 실시형태에서의 화상 부호화 장치 및 멀티플렉싱 장치 중 하나, 그리고 본 실시형태의 화상 복호화 장치를 갖는 비디오 수신 장치, 디지털 텔레비전 방송 수신 장치, 통신 장치, 휴대전화 정보 단말기 등을 포함하는, 광학 기록 장치, 비디오 전송 장치, 디지털 텔레비전 방송 전송 장치, 웹 서버, 통신 장치, 휴대전화 정보 단말기 등을 포함한다.

(도 8 및 도 15와 같은) 블록도에서의 각 기능 블록들은 전형적으로 집적회로인 LSI(Large Scale Integration)로서 실현됨에 주의한다. 기능 블록들은 하나의 칩으로 개별적으로 분리될 수 있고 또는 블록들의 일부분 또는 전부를 포함하도록 하나의 칩으로 집적될 수 있다. (예를 들어, 메모리 이외의 기능 블록들은 하나의 칩으로 집적될 수 있다)

여기서는 LSI가 사용되었지만, 집적도에 따라 IC(Integrated Circuit), 시스템 LSI, 슈퍼 LSI, 또는 울트라 LSI라 한다.

또한, 회로를 집적하는 방법은 LSI에만 제한되지 않고, 특정 회로 또는 범용 프로세서로 실현될 수 있다. LSI를 구성한 후, 다음이 사용될 수 있다: 프로그래밍 가능한 FPGA(Field Programmable Gate Array); 및 LSI에서 접속을 재구성하여 회로 셀들을 설정할 수 있는 재구성 가능한 프로세서.

또한, 회로를 집적하는 기술이 새로운 기술 또는 반도체 기술의 개발에 의해 LSI를 대신하여 도입되면, 기능 블록들은 새로 도입된 기술을 사용하여 집적될 수있음은 당연하다. 바이오테크놀로지의 활용도 가능하다.

또한, 기능 블록들 중에서 부호화 또는 복호화될 데이터가 저장되는 유닛이 하나의 칩으로 집적화되지 않고 또 다른 구성으로서 분리될 수 있다.

비록 상기에서는 본 발명의 일부 실시형태만 설명되었지만, 당업자라면 본 발명의 신규한 가르침 및 이점을 실질적으로 벗어나지 않고 다양한 변형들이 가능하다는 것을 알 수 있다. 따라서, 이러한 모든 변형들은 본 발명의 범위 내에 포함된다.

Claims

복수의 픽쳐를 부호화하여, 부호화된 복수의 픽쳐를 포함해 구성되는 랜덤 액세스 유닛을 스트림의 일부로서 생성하는 화상 부호화 장치로서,
상기 복수의 픽쳐를 각각 부호화함으로써 복수의 픽쳐 부호화 데이터를 생성하는 부호화 수단과,
상기 픽쳐 부호화 데이터마다, 당해 픽쳐 부호화 데이터를 복호하기 위해서 참조되는 파라미터군인 픽쳐 파라미터 세트 정보를 생성하는 정보 생성 수단과,
상기 랜덤 액세스 유닛을 구성하는 복수의 저장 단위의 각각에, 상기 복수의 픽쳐 부호화 데이터를 1개씩 저장하는 제1 저장 수단과,
소정의 조건에 기초해, 복수의 픽쳐 파라미터 세트 정보를, 상기 복수의 저장 단위 중 선두의 저장 단위에 저장하는 제2 저장 수단과,
상기 선두의 저장 단위에 저장되어 있는 복수의 픽쳐 파라미터 세트 정보와 상이한 픽쳐 파라미터 세트 정보를, 상기 픽쳐 파라미터 세트 정보를 참조하는 픽쳐 부호화 데이터가 저장되어 있는 저장 단위에 저장하는 제3 저장 수단을 구비하고,
상기 제2 저장 수단은, 상기 선두의 저장 단위에 저장하는 픽쳐 파라미터 세트 정보의 수에 제한을 갖는 것을 특징으로 하는 화상 부호화 장치.
복수의 픽쳐를 부호화하여, 부호화된 복수의 픽쳐를 포함해 구성되는 랜덤 액세스 유닛을 스트림의 일부로서 생성하는 화상 부호화 방법으로서,
상기 복수의 픽쳐를 각각 부호화함으로써 복수의 픽쳐 부호화 데이터를 생성하는 부호화 단계와,
상기 픽쳐 부호화 데이터마다, 당해 픽쳐 부호화 데이터를 복호하기 위해서 참조되는 파라미터군인 픽쳐 파라미터 세트 정보를 생성하는 정보 생성 단계와,
상기 랜덤 액세스 유닛을 구성하는 복수의 저장 단위의 각각에, 상기 복수의 픽쳐 부호화 데이터를 1개씩 저장하는 제1 저장 단계와,
소정의 조건에 기초해, 복수의 픽쳐 파라미터 세트 정보를, 상기 복수의 저장 단위 중 선두의 저장 단위에 저장하는 제2 저장 단계와,
상기 선두의 저장 단위에 저장되어 있는 복수의 픽쳐 파라미터 세트 정보와 상이한 픽쳐 파라미터 세트 정보를, 상기 픽쳐 파라미터 세트 정보를 참조하는 픽쳐 부호화 데이터가 저장되어 있는 저장 단위에 저장하는 제3 저장 단계를 구비하고,
상기 제2 저장 단계는, 상기 선두의 저장 단위에 저장하는 픽쳐 파라미터 세트 정보의 수에 제한을 갖는 것을 특징으로 하는 화상 부호화 방법.
청구항 1에 기재된 화상 부호화 장치에 의해 생성된 스트림을 복호하는 것을 특징으로 하는 화상 복호 장치.
청구항 3에 기재된 화상 부호화 방법에 의해 생성된 스트림을 복호하는 것을 특징으로 하는 화상 복호 방법.
복수의 픽쳐를 부호화하여, 부호화된 복수의 픽쳐를 포함해 구성되는 랜덤 액세스 유닛을 일부에 갖는 스트림을 컴퓨터 판독가능한 기록 매체에 기록하는 기록 방법으로서,
상기 복수의 픽쳐를 각각 부호화함으로써 복수의 픽쳐 부호화 데이터를 생성하는 부호화 단계와,
상기 픽쳐 부호화 데이터마다, 당해 픽쳐 부호화 데이터를 복호하기 위해서 참조되는 파라미터군인 픽쳐 파라미터 세트 정보를 생성하는 정보 생성 단계와,
상기 랜덤 액세스 유닛을 구성하는 복수의 저장 단위의 각각에, 상기 복수의 픽쳐 부호화 데이터를 1개씩 저장하는 제1 저장 단계와,
소정의 조건에 기초해, 복수의 픽쳐 파라미터 세트 정보를, 상기 복수의 저장 단위 중 선두의 저장 단위에 저장하는 제2 저장 단계와,
상기 선두의 저장 단위에 저장되어 있는 복수의 픽쳐 파라미터 세트 정보와 상이한 픽쳐 파라미터 세트 정보를, 상기 픽쳐 파라미터 세트 정보를 참조하는 픽쳐 부호화 데이터가 저장되어 있는 저장 단위에 저장하는 제3 저장 단계와,
상기 제1, 제2, 제3 저장 단계에 의해 생성된 스트림을 기록 매체에 기록하는 기록 단계를 구비하고,
상기 제2 저장 단계는, 상기 선두의 저장 단위에 저장하는 픽쳐 파라미터 세트 정보의 수에 제한을 갖는 것을 특징으로 하는 기록 매체에 대한 기록 방법.
부호화된 복수의 픽쳐를 각각 픽쳐 부호화 데이터로서 포함하는 랜덤 액세스 유닛을 일부에 가지는 스트림을 기록하는 영역을 가지는 기록 매체와, 상기 기록매체로부터 상기 스트림을 읽어내 복호하는 화상 복호화 장치로 구성되는 화상 복호화 시스템으로서,
상기 스트림에 있어서의 랜덤 액세스 유닛은,
상기 랜덤 액세스 유닛을 구성하는 복수의 저장 단위에 각각 1개씩 저장된 상기 픽쳐 부호화 데이터와,
상기 픽쳐 부호화 데이터마다, 당해 픽쳐 부호화 데이터를 복호하기 위해서 참조되는 파라미터군인 픽쳐 파라미터 세트 정보를 가지고,
상기 복수의 저장 단위 중 선두의 저장 단위에 소정수 이하의 복수의 픽쳐 파라미터 세트 정보가 저장되어 있고, 상기 선두의 저장 단위에 저장되어 있는 복수의 픽쳐 파라미터 세트 정보와 상이한 픽쳐 파라미터 세트 정보가, 상기 픽쳐 파라미터 세트 정보를 참조하는 픽쳐 부호화 데이터가 저장되어 있는 저장 단위에 저장되어 있는 것을 특징으로 하는 화상 복호화 시스템.