KR20070000429A

KR20070000429A - 스트림 생성 장치, 스트림 생성 방법, 코딩 장치, 코딩방법, 기록 매체 및 그 프로그램

Info

Publication number: KR20070000429A
Application number: KR1020067014091A
Authority: KR
Inventors: 다다마사 도마; 도모유키 오카다; 히로시 야하타; 신야 가도노
Original assignee: 마쯔시다덴기산교 가부시키가이샤
Priority date: 2004-04-28
Filing date: 2005-04-25
Publication date: 2007-01-02
Also published as: JP4091962B2; US8442382B2; US20070116426A1; CN101686364B; ATE515883T1; JP4410275B2; PL1743481T3; PL1942670T3; BRPI0506370A8; BRPI0506370A; JP2007535208A; JP2010050980A; US7965766B2; EP2184919A3; JP2008219887A; CN101686364A; EP1743481A1; WO2005107253A1; ATE524924T1; KR100891397B1

Abstract

본 발명의 스트림 생성 장치는 디코딩된 화상을 갖는 버퍼를 관리하기 위한 명령과 코딩된 화상을 포함하는 스트림을 생성하는 스트림 생성 장치로서, 상기 명령은 참조 화상으로서 코딩된 화상 중 하나에 추가된다.

이것은 트릭 재생시에 명령이 추가된 코딩된 화상이 스킵되는지 여부를 판단하는 판단 유닛; 코딩된 화상이 스킵되는 것으로 판단되는 경우, 디코딩 순서에 따라 트릭 재생시에 스킵되는 것으로 판단되는 코딩된 화상에 뒤따르고 스킵되지 않는 다른 코딩된 화상에 대한 명령과 동일한 내용을 표시하는 반복 정보를 추가하는 추가 유닛, 코딩된 화상, 명령 및 반복 정보를 포함하는 스트림을 포함하는 생성 유닛을 포함한다.

Description

스트림 생성 장치, 스트림 생성 방법, 코딩 장치, 코딩 방법, 기록 매체 및 그 프로그램 {STREAM GENERATION APPARATUS, STREAM GENERATION METHOD, CODING APPARATUS, CODING METHOD, RECORDING MEDIUM AND PROGRAM THEREOF}

본 발명은 코딩된 화상을 포함하는 스트림을 생성하는 스트림 생성 장치, 스트림 생성 방법, 화상 코딩 장치, 화상 코딩 방법, 기록 매체 및 그 프로그램에 관한 것이다.

오디오, 영상 및 다른 픽셀값을 전체적으로 다루는 멀티미디어의 시대에는, 현존하는 정보 매체, 특히 신문, 잡지, 텔레비전, 라디오, 전화 등 이를 통해 정보가 사람들에게 전달되는 정보 매체가 최근에 멀티미디어의 영역에 포함되게 되었다. 일반적으로, 멀티미디어는 문자뿐만이 아니라 그래픽, 소리, 그리고 특히 이미지 등을 함께 관련시켜 표현되는 것들을 말하지만, 상술한 현존 정보 매체를 멀티미디어의 영역에 포함시키기 위해서는, 이러한 정보를 디지털 형태로 표현하는 것이 전제가 된다.

그러나, 상술한 각 정보 매체에 의해 제공되는 정보의 양이 디지털 정보의 양으로 추산되는 경우, 텍스트의 경우 한 문자에 대한 정보량이 1 내지 2바이트이고, 소리에 대해 요구되는 정보량은 초당 64킬로비트이며(전화 품질), 동화상에 대해서는 초당 100메가비트 이상이 필요하여(현재 텔레비전 수신 품질), 정보 매체가 이러한 거대한 양의 정보를 디지털 형태 자체로 다루는 것은 현실적이지 못하다. 예를 들면, 비디오 폰이, 64Kbit/s 내지 1.5Mbit/s의 전송 속도를 제공하는 종합 정보 통신망(ISDN:Integrated Services Digital Network)을 통해 이미 실제로 이용되고 있지만, 텔레비전상의 이미지 및 카메라에 의해 촬영된 이미지를 ISDN을 통해 직접 전송하는 것은 불가능하다.

따라서, 정보 압축 기술이 필요하게 되었으며, 예를 들면, 비디오 폰의 경우, 국제 전기통신 연합 - 전기통신 표준화 섹터(ITU-T)에 의해 국제적으로 표준화된, 동화상 압축 기술에 대한 H.261 및 H.263 표준이 사용된다. 게다가, MPEG-1 표준 정보 압축 기술로, 일반적인 음악 컴팩트 디스크(CD)상에 영상 정보를 오디오 정보와 함께 저장하는 것이 가능해졌다.

여기서, 동화상 전문가 그룹(MPEG)은 국제표준화기구 및 국제전기기술위원회(ISO/IEC)에 의해 표준화된 동화상 신호 압축에 대한 국제 표준이다. MPEG-1은 동화상 신호를 1.5Mbps까지 압축하기 위한 표준이며, 즉, 텔레비전 신호를 대략 100분의 1까지 압축한다. 게다가, MPEG-1 표준의 영역 내에서의 대상 화질은 주로 약 1.5Mbps의 전송 속도에 의해 구현될 수 있는 중간 등급의 질로 제한되기 때문에, 더 향상된 화질에 대한 요구를 충족시키기 위한 표준인 MPEG-2의 이용은, 2 내지 15Mbps로 압축된 동화상 신호로 텔레비전 방송 품질을 구현한다. 게다가, 현재는, MPEG-1 및 MPEG-2의 압축 비율보다 뛰어나고, 또한 객체 단위(per-object) 기반의 동작 및 코딩, 디코딩을 가능하게 하며, 멀티미디어 시대에 요구되는 새로운 기능들을 구현한, MPEG-4가, MPEG-1 및 MPEG-2의 표준화를 추진한 워크 그룹(ISO/IEC JTC1/SC29/WG11)에 의해 표준화되었다. MPEG-4는 처음에는 낮은 비트레이트(bit rate) 코딩 방법을 표준화하는 것에 목적이 있었다. 그러나, 현재는, 인터레이스(interlaced) 화상을 위한 높은 비트레이트의 코딩을 더 포함하는 더욱 다양한 기능의 코딩 방법의 표준화하는 것으로 확장되었다. 그 후에, MPEG-4 고급 영상 코딩(AVC)이 ISO/IEC 및 ITU-T의 협력에 의해 더 높은 압축률을 갖는 차세대 화상 코딩 방법으로서 표준화되었다. 이는 차세대 광 디스크 관련 장치 또는 휴대 전화 단말로의 방송에 이용될 것으로 전망된다.

일반적으로, 동화상의 코딩에서는, 시간 및 공간적 방향으로의 중복을 감소시킴으로써 정보의 양이 압축된다. 따라서, 시간적 중복을 감소시키는 것을 목표로 하는 화상간(inter-picture) 예측 코딩에서, 선행하거나 뒤따르는 화상을 참조함으로써 블럭 단위(block by block)로 모션 추정 및 예상 화상의 생성이 수행되며, 획득된 예측 화상과 코딩될 화상 사이의 차이값이 코딩된다. 여기서, 화상은 화면을 나타낸다. 이는 진행하는(progressive) 화상에서의 프레임을 나타내며; 인터레이스 화상에서의 필드 또는 프레임을 나타낸다. 여기서, 인터레이스 화상은 시간적으로 다른 두 필드로 구성된 프레임을 갖는 화상이다. 인터레이스 화상의 코딩 및 디코딩에서, 하나의 프레임을 한 프레임으로서 처리하거나, 두 필드로서 처리하거나, 프레임에서의 블럭 단위에 근거한 필드 구조 또는 프레임 구조로서 처리하는 것이 허용된다.

I 화상은 참조 화상을 참조하지 않고 내부 코딩된 화상이다. 또한, P 화상은 하나의 화상을 단지 참조하는 것에 의해 화상간 예측 코딩이 된 화상이다. 그리고, B 화상은 동시에 두 화상을 참조함으로써 화상간 예측 코딩이 될 수 있는 화상이다. B 화상은 B 화상 이전 또는 이후에 디스플레이되는 어느 화상이든지 그 쌍으로서의 두 화상을 참조할 수 있다. 참조 화상은 코딩 및 디코딩에 대한 기본 단위인 각 블럭에 대해 특정될 수 있다. 코딩된 비트 스트림에서 앞서 기술된 참조 화상은 제1 참조 화상으로서, 이어서 기술된 제2 참조 화상으로서의 참조 화상과 구별된다. 이러한 화상의 코딩 및 디코딩을 위한 조건으로서, 참조되는 화상은 이미 코딩 및 디코딩되어 있어야 한다.

도 1은 종래의 MPEG-2의 스트림의 구조를 보여주는 도면이다. 도 1에 나타난 바와 같이, MPEG-2의 스트림은 후술하는 바와 같이 계층적 구조를 갖고 있다. 이 스트림은 하나보다 많은 화상 집합(GOP)으로 구성되어 있으며, 이 스트림을 코딩의 기본 유닛으로서 이용함으로써 동화상의 랜덤 액세싱(random accessing) 및 편집이 허용된다. 각 GOP는 하나보다 많은 화상으로 구성된다. 각 화상은 I 화상, P 화상, 또는 B 화상 중 하나이다. 각 스트림, GOP 및 화상은 나아가 유닛에서의 공통 데이터인 헤더와 각 유닛의 중지점(break point)을 나타내는 동기 코드(sync)로 구성된다.

도 2A 및 도 2B는 MPEG-2에서 이용되는 화상들 간의 예측 구조의 예를 보여주는 도면이다. 도면에서, 빗금으로 칠해진 영역은 다른 화상에 의해 참조되는 화상이다. 도 2A에 나타난 바와 같이, MPEG-2에서는, P 화상(PO, P6, P9, P12, P15)은 상기 P 화상 직전에 디스플레이되는 P 화상 또는 I 화상을 참조함으로써 예측 코딩될 수 있다. 나아가, B 화상(B1, B2, B4, B5, B7, B8, B1O, B1l, B13, B14, B16, B17, B19, B20)은 상기 B 화상의 전후에 디스플레이되는 I 화상 또는 P화상을 참조함으로써 예측 코딩될 수 있다. 더욱이, 스트림에서의 순서의 정렬은 다음과 같이 결정된다 : I 화상 및 P 화상이 디스플레이되는 순서로 정렬되고; 각각의 B 화상은 상기 B 화상의 직후에 디스플레이되는 I 화상 또는 P 화상 직후에 정렬된다. GOP 구조로서, 예를 들면, 도 2B에 나타나는 바와 같이, I3에서 B14까지의 화상이 하나의 GOP에 포함될 수 있다.

도 3은 MPEG-4 AVC의 스트림의 구조를 보여주는 도면이다. MPEG-4 AVC에서는, GOP와 동일한 개념이 존재하지 않는다. 따라서, 화상의 예측 구조 및 후술하는 파라미터 세트의 정렬 방법이 강제되지 않는 경우에, 랜덤 액세스되는 경우 화상 데이터가 순차적으로 분석되고 디코딩될 수 있는 화상을 찾는 것이 필요하다. 그러나, 각각의 화상이 다른 화상에 의존하지 않고 디코딩되게 하는 특수한 화상 유닛으로 데이터를 분리함으로써, 랜덤 액세스될 수 있고 GOP와 동일한 유닛을 구성하는 것이 가능하다. 이러한 분리 유닛을 랜덤 액세스 유닛(RAU)이라고 부르며, RAU로 구성된 스트림을 랜덤 액세스 구조를 갖는 스트림이라고 부른다.

여기서, 스트림을 다루기 위한 기본 유닛인 액세스 유닛(이하 AU라고 한다)에 대해 설명한다. AU는 하나의 화상에 코딩된 데이터를 저장하기 위해 이용되는 유닛이며, 파라미터 세트 및 슬라이스(slice) 데이터를 포함한다. 파라미터 세트는 각 화상의 헤더에 대응하는 데이터인 화상 파라미터 세트(PPS)와 MPEG-2에서 GOP 유닛의 헤더에 대응하는 순차 파라미터 세트(SPS) 등으로 나뉜다. SPS는 참조를 위해 이용가능한 화상의 최대 개수, 화상 크기 등을 포함한다. PPS는 가변 길이 코딩 방법, 양자화 단계의 초기값, 및 참조 화상의 개수를 포함한다. PPS와 SPS 중 어느 것이 참조되는지를 나타내는 식별자가 각 화상에 첨부된다.

MPEG-4 AVC의 I 화상에 대해, I 화상은, IDR(Instantaneous Decoder Refresh) 화상; 및 IDR 화상이 아닌 I 화상의 두 타입이 있다. IDR 화상은 디코딩 순서에 따라 IDR 화상에 선행하는 화상을 참조하지 않고 디코딩될 수 있는, 즉, 디코딩을 위해 필요한 조건이 리셋된 I 화상이며, MPEG-2의 클로즈드(closed) GOP의 리딩(leading) I 화상과 동일하다. IDR 화상이 아닌 I 화상에 대해서, 디코딩 순서에 따라 상기 I 화상에 뒤따르는 화상은 디코딩 순서에 따라 상기 I 화상에 선행하는 화상을 참조할 수 있다. 여기서, IDR 화상 및 I 화상은 I 슬라이스로만 구성된 화상을 나타낸다. P 화상은 P 슬라이스 또는 I 슬라이스로 구성된 화상을 나타내며, B 화상은 B 슬라이스, P 슬라이스 또는 I 슬라이스로 구성된 화상을 나타낸다. IDR 화상의 슬라이스와 비IDR 화상의 슬라이스는 다른 타입의 NAL 유닛에 저장되어 있다.

MPEG-4 AVC의 AU는, 화상을 디코딩하기 위해 필요한 데이터에 더해, 화상의 디코딩에 필요하지 않은 부가 강조 정보(SEI:Supplement Enhancement Information)로 불리는 부가 정보, AU의 경계(boundary) 정보 등을 포함할 수 있다. 파라미터 세트, 슬라이스 데이터 및 SEI와 같은 데이터는 네트워크 추상 계층(NAL) 유닛(NALU)에 저장되어 있다. NAL 유닛은 헤더와 페이로드(payload)로 구성되어 있으며, 헤더는 페이로드에 저장되어 있는 데이터의 타입(이하 NAL 유닛 타입이라 한다)을 표시하는 필드를 포함한다. NAL 유닛 타입의 값은 슬라이스 및 SEI와 같은 데이터의 각 타입에 대해 정의된다. NAL 유닛 타입을 참조함으로써, NAL 유닛에 저장되어 있는 데이터의 타입이 특정될 수 있다. SEI의 NAL 유닛은 하나 이상의 SEI 메시지를 저장할 수 있다. SEI 메시지는 또한 헤더 및 페이로드로 구성되어 있으며, 페이로드에 저장되어 있는 정보의 타입은 헤더에 표시된 SEI 메시지의 타입에 의해 식별된다.

도 4는 MPEG-4 AVC의 예측 구조의 예를 보여주는 도면이다. MPEG-4 AVC에서, P 화상의 AU는 B 화상의 AU를 참조할 수 있다. 도 4에 나타난 바와 같이, P 화상(P7)의 AU는 B 화상(B2)의 AU를 참조할 수 있다. 여기에, I 화상 및 P 화상의 AU만을 디스플레이함으로써 고속의 재생(playback)을 수행하기 위해, I0, B2, P4 및 P7이 디코딩되어야 한다. 따라서, 점프인(jump-in) 재생, 변속 재생 또는 역재생과 같은 트릭(trick) 재생이 수행되는 경우, 디코딩되기 위해 필요한 AU는 미리 결정될 수가 없어 결국 모든 AU가 디코딩되어야 한다. 그러나, 트릭 재생을 위해 디코딩될 필요가 있는 AU를 표시하는 부가 정보를 스트림에 저장함으로써, 부가 정보를 참조하는 것에 의해 디코딩될 AU가 결정될 수 있다. 이러한 부가 정보는 트릭 재생 정보라고 불린다. 게다가, P 화상의 AU가 B 화상의 AU를 참조하지 않는 것과 같이 예측 구조에서 제약이 미리 설정되어 있으면, I 화상 및 P 화상의 AU만이 디코딩되고 디스플레이될 수 있다. 더욱이, I 화상 및 P 화상의 AU에 대해, 디코딩 순서가 디스플레이 순서와 같으면 I 화상 및 P 화상의 AU는 순차적으로 디코딩되고 디스플레이될 수 있다.

도 5는 종래의 멀티플렉서(multiplexer)의 구조를 보여주는 블록도이다.

멀티플렉서(17)는 영상 데이터를 수신하고, 입력된 영상 데이터를 MPEG-4 AVC의 스트림으로 코딩하며, 코딩된 데이터에 대한 데이터베이스 정보를 생성하고, 코딩된 데이터 및 데이터베이스 정보를 멀티플렉싱하고 기록한다. 이는 스트림 속성 결정 유닛(11), 코딩 유닛(12), 일반 데이터베이스 정보 생성 유닛(14)을 갖는 데이터베이스 정보 생성 유닛(13), 멀티플렉싱 유닛(15) 및 기록 유닛(16)을 포함한다.

스트림 속성 결정 유닛(11)은 트릭 재생에 관련된 제약 내용 및 MPEG-4 AVC를 코딩하기 위한 코딩 파라미터를 결정하며, 이를 속성 정보(TYPE)로서 코딩 유닛(12)으로 출력한다. 여기서, 트릭 재생과 관련된 제약 내용은 랜덤 액세스 유닛을 구성하기 위한 제약을 적용할지 여부, 변속 재생 또는 역재생이 수행되는 경우 디코딩될 AU를 나타내는 정보를 포함할지 여부, 또는 AU 사이에서의 예측 구조에 대해 제약을 둘 것인지 여부에 관한 정보를 포함한다. 코딩 유닛(12)은, 속성 정보(TYPE)에 근거하여, 입력된 영상 데이터를 MPEG-4 AVC의 스트림으로 코딩하며, 코딩된 데이터를 멀티플렉싱 유닛(15)으로 출력함과 동시에 스트림에서의 액세스 정보를 일반 데이터베이스 정보 생성 유닛(14)으로 출력한다. 여기서, 액세스 정보는, 스트림에 액세스하기 위한 기본 유닛인, 액세스 기저(basis)에 대한 정보를 표시하며, 액세스 기저에서의 리딩 AU의 시작 주소, 크기, 디스플레이된 시간 등을 포함한다. 스트림 속성 결정 유닛(11)은 나아가 일반 데이터베이스 정보로서 압축 방법 및 해상도와 같은 데이터베이스 정보를 생성하기 위해 필요한 정보를 일반 데이터베이스 정보 생성 유닛(14)으로 출력한다. 데이터베이스 정보 생성 유닛(13)은 데이터베이스 정보를 생성하며, 일반 데이터베이스 정보 생성 유닛(14)만으로 구성되어 있다. 일반 데이터베이스 정보 생성 유닛(14)은, 액세스 정보 및 일반 데이터베이스 정보로, 스트림에 액세스하는 경우 참조되는 테이블 데이터와 압축 방법과 같은 속성 정보가 저장된 테이블 데이터를 생성하며, 생성된 테이블 데이터를 데이터베이스 정보(INFO)로서 멀티플렉싱 유닛(15)으로 출력한다. 멀티플렉싱 유닛(15)은 코딩된 데이터와 데이터베이스 정보(INFO)를 멀티플렉싱하여 멀티플렉싱된 데이터를 생성하며, 멀티플렉싱된 데이터를 기록 유닛(16)으로 출력한다. 기록 유닛(16)은 멀티플렉싱 유닛(15)으로부터 입력된 멀티플렉싱된 데이터를 광 디스크, 하드 디스크 또는 메모리와 같은 기록 매체에 기록한다.

도 6은 종래의 디멀티플렉서의 구조를 보여주는 블록도이다.

디멀티플렉서(27)는, 트릭 재생을 수행하도록 지시하는 외부로부터 입력된 명령에 따라, 데이터베이스 정보와 함께 MPEG-4 AVC의 스트림이 기록된 광 디스크로부터 MPEG-4 AVC의 AU 데이터를 분리, 디코딩 및 디스플레이하는 디멀티플렉서이다. 이는 데이터베이스 정보 분석 유닛(21), 디코딩/디스플레이 AU 결정 유닛(23), AU 분리 유닛(24), 디코딩 유닛(25), 및 디스플레이 유닛(26)을 포함한다.

데이터베이스 정보 분석 유닛(21)은 일반 데이터베이스 정보 분석 유닛(22)만으로 구성되어 있다. 변속 재생, 역재생 또는 점프인 재생과 같은 트릭 재생을 수행하도록 지시하는 트릭 재생 지시 신호가 일반 데이터베이스 정보 분석 유닛(22)으로 입력된다. 트릭 재생 지시 신호가 입력되면, 일반 데이터베이스 정보 분석 유닛(22)은, 멀티플렉싱된 데이터의 데이터베이스 정보로부터 액세스 정보(ACS)를 획득하여 입력된 신호를 분석하고, 디코딩되거나 디스플레이될 AU가 포함되어 있는 액세스 기저 등의 주소 정보를 포함하는 액세스 목적지 정보를 획득하여, AU 분리 유닛(24)에 통지한다. AU 분리 유닛(24)은 액세스 기저를 보충(make up)하는 AU를 분석하고, 디코딩되고 디스플레이될 AU에 대한 트릭 재생 정보(TRK)를 획득하며, 획득된 정보를 디코딩/디스플레이 AU 결정 유닛으로 출력한다. 디코딩/디스플레이 AU 결정 유닛은 소정의 규칙에 근거하여 디코딩되고 디스플레이될 AU를 결정하며, 디코딩될 AU의 식별 정보 및 디스플레이될 AU의 식별 정보를 각각 AU 분리 유닛(24) 및 디스플레이 유닛(26)으로 통지한다. AU 분리 유닛(24)은 액세스 목적지 정보에 근거하여 디코딩될 AU의 데이터를 분리하며, 분리된 데이터를 디코딩 유닛(25)으로 출력한다. 디코딩 유닛(25)은 입력된 AU 데이터를 디코딩하고, 디코딩된 데이터를 디스플레이 유닛(25)으로 출력한다. 마지막으로, 디스플레이 유닛(26)은 디스플레이 AU 정보에 디스플레이되도록 표시된 AU를 선택하고, 선택된 AU를 디스플레이한다. (일본국 특개 2003-18549 참조).

본 발명의 모든 목적, 이점 및 특징은 본 발명의 특정 실시형태를 예시하는 도면을 수반하여 후술하는 상세로부터 명확해질 것이다.

도 1은 MPEG-2 비디오에서의 스트림 구조를 보여주는 도면이다.

도 2A 및 도 2B는 MPEG-2 비디오에서의 GOP 구조의 예를 보여주는 도면이다.

도 3은 MPEG-4 AVC의 스트림 구조를 보여주는 도면이다.

도 4는 MPEG-4 AVC의 예측 구조의 예를 보여주는 도면이다.

도 5는 MPEG-4 AVC의 스트림을 코딩하고 코딩된 스트림을 멀티플렉싱하는 종래의 멀티플렉서의 구조를 보여주는 블록도이다.

도 6은 종래의 멀티플렉서에 의해 생성된 멀티플렉싱된 데이터를 재생하는 종래의 디멀티플렉싱 장치의 구조를 보여주는 블록도이다.

도 7A 및 도 7B는 MPEG-4 AVC에서 디코딩된 화상/버퍼에서의 메모리 관리를 나타내는 도면이다.

도 8은 메모리 관리 명령의 이용이 필요한 경우의 예를 보여주는 도면이다.

도 9는 도 9에서 나타난 랜덤 액세스 유닛에서 I 및 P 화상이 재생되는 경우 메모리 관리를 보여주는 도면이다.

도 10은 제1 실시형태에 따른 코딩 장치의 구조를 보여주는 블록도이다.

도 11은 메모리 관리 명령을 반복하는 방법을 보여주는 도면이다.

도 12A는 종래 기술에서 AP-P 화상이 이용되는 경우의 메모리 관리 명령 및 화상을 보여주는 도면이다.

도 12B는 제1 실시형태에 따라 AP-P 화상이 이용되는 경우의 메모리 관리 명령 및 화상을 보여주는 도면이다.

도 13은 I 및 P 화상이 재생되는 경우 파괴를 일으키지 않고 메모리 관리를 구현하기 위한 코딩 방법을 보여주는 흐름도이다.

도 14는 AP-P 화상이 디코딩되는 경우 파괴를 일으키지 않고 메모리 관리를 구현하기 위한 코딩 방법을 보여주는 흐름도이다.

도 15는 제6 실시형태에 따라 디코딩 방법을 구현하는 디코딩 장치를 보여주는 블록도이다.

도 16은 I 및 P 화상이 재생되는 경우 파괴를 일으키지 않고 메모리 관리가 구현될 수 있도록 보장하는, 코딩된 스트림을 디코딩하는 방법을 보여주는 흐름도이다.

도 17은 AP-P 화상이 재생되는 경우 파괴를 일으키지 않고 메모리 관리가 구현될 수 있도록 보장하는, 코딩된 스트림을 디코딩하는 방법을 보여주는 흐름도이다.

도 18은 제2 실시형태에 따른 제1 멀티플렉서의 구조를 보여주는 블록도이다.

도 19A 및 도 19B는 재생 지원 정보의 내용을 보여주는 도표이다.

도 20은 재생 지원 정보가 저장된 NAL 유닛을 특정하는 방법을 보여주는 도면이다.

도 21은 제1 멀티플렉서의 동작을 보여주는 흐름도이다.

도 22는 제3 실시형태에 따른 제2 멀티플렉서의 구조를 보여주는 블록도이다.

도 23은 제4 실시형태에 따른 디멀티플렉서를 보여주는 블록도이다.

도 24는 디멀티플렉서의 제1 동작을 보여주는 흐름도이다.

도 25는 디멀티플렉서의 제2 동작을 보여주는 흐름도이다.

도 26은 제5 실시형태에 따른 HD-DVD의 데이터 계층을 보여주는 도표이다.

도 27은 HD-DVD상에서의 논리적 공간의 구조를 보여주는 도표이다.

도 28은 VOB 정보 파일의 구조를 보여주는 도표이다.

도 29는 타임 맵의 설명적 도면이다.

도 30은 재생 목록 화일을 보여주는 도표이다.

도 31은 재생 목록에 대응하는 프로그램 파일의 구조를 보여주는 도표이다.

도 32는 BD 디스크 전체 데이터베이스 정보 파일의 구조를 보여주는 도표이다.

도 33은 글로벌 이벤트 핸들러를 기록하기 위한 파일의 구조를 보여주는 도표이다.

도 34는 제6 실시형태에 따른 HD-DVD 재생기를 보여주는 개략적 블록도이다.

도 35A, 도 35B, 및 도 35C는 본 발명의 화상 코딩 방법 및 화상 디코딩 방법을 구현하기 위한 프로그램이 수록된 기록 매체를 보여준다.

디코딩 장치에서, 참조 화상 또는 디스플레이 대기중인 화상은 상기 화상이 디코딩 된 후에 디코딩 화상 버퍼(DPB)라고 불리는 버퍼 메모리에 저장된다. 그러나, 화상의 예측 구조는 MPEG-4 AVC에서 유동적이어서 DPB에서의 메모리 관리는 복잡해진다. 따라서, 빨리 감기(fast forward)와 같은 트릭 재생을 수행하는 것이 어렵다는 문제가 있다. 예를 들면, 단지 I 화상 및 P 화상을 디코딩하고 디스플레이하는 고속 재생이 수행되는 경우, 메모리 관리 정보는 스킵(skip)될 B 화상에 저장될 수 있다. 메모리 관리 정보가 DPB에서 특정 화상을 DPB로부터 삭제하지 않고 유지할 것을 표시하는 경우, 이 정보는 획득될 수 없다. 따라서, 특정 화상은 DPB에서 삭제될 수 있고, 그 특정 화상을 참조하는 뒤따르는 I 화상 또는 P 화상의 디코딩이 불가능할 수 있다.

도 7A 및 도 7B는 DPB의 메모리 관리를 보여주는 도표이다. 도 7A에 나타난 바와 같이, 복수의 프레임에 대한 화상 데이터는 DPB에 저장될 수 있다. 이 예에서, 4개의 프레임에 대한 화상 데이터가 저장될 수 있다. 또한, DPB에서, 장기 메모리; 및 단기 메모리의 두 종류의 영역이 설정될 수 있다. 단기 메모리에 저장된 화상 데이터는 화상의 가장 빠른 디코딩 순서로부터 순차적으로 방출(bumped out)된다. 반면에, 장기 메모리에 저장된 화상 데이터는 DPB에 유지되며, 메모리 관리 제어 동작(MMCO)으로 불리는 메모리 관리 명령에 의해, 다른 화상에 의해 참조되지 않도록 설정될 때까지 다른 화상에 의해 참조될 수 있다. 예를 들면, 장기 메모리는, 랜덤 액세스 기저에서의 리딩 I 화상이 디코딩 순서에 따라 뒤따르는 화상에 의해 참조되는 경우와 같이, 더 긴 기간 동안 I 화상을 저장하는 것이 필요한 경우 이용된다. 단기 메모리에 저장되어 있는 화상 또한, MMCO에 의해 참조되지 않도록 만들어질 수 있다. 디폴트로, 각 화상은 단기 메모리에 저장되어 있다. 여기서, 메모리 관리 명령은 장기 메모리 및 단기 메모리에 대해, 얼마나 많은 프레임에 대해 얼마나 많은 메모리가 각각 할당되어야 하는지를 특정할 수 있다. 메모리 관리 명령은 참조 화상으로만 발행(issue)될 수 있다. 도 7B는 네 개의 프레임에 대한 프레임 메모리에서, 한 프레임에 대한 메모리가 장기 메모리에 대해, 그리고 세 프레임에 대한 메모리가 단기 메모리에 대해 할당된 예를 보여준다. 장기 메모리 및 단기 메모리에 대한 할당은 메모리 관리 명령(MMCO)에 따라 동적으로 변화될 수 있다.

도 8은 메모리 관리 명령의 이용에 대한 예를 보여준다. 도 8(a)는 랜덤 액세스 기저에서의 화상의 정렬을 보여준다. 도면에서, I, P, B 및 Br은 각각 I 화상, P 화상, 비참조(non-referenced) B 화상, 그리고 참조 B 화상을 표시한다. 각 화상에 첨부된 숫자는 디스플레이 순서를 표시한다. 여기서, 비참조 화상 B는 다른 화상에 의해 참조되지 않는 B 화상을 표시하며, 참조 B 화상은 다른 화상에 의해 참조되는 B 화상을 표시한다. 또한, 화살표는 예측 구조를 표시한다. 예를 들면, P9는 P5 및 I1을 참조한다는 것을 표시하며, B2는 I1 및 Br3을 참조하고, Br3은 I1 및 P5를 참조한다. P 화상은 I 화상 또는 P화상만을 참조하므로 참조 B 화상은 참조되지 않는다. 도 8(b)는 도 8(a)에 나타난 화상이 디코딩 순서로 정렬된 것을 보여준다. 여기서, Br11에서는, I1을 장기 메모리로 전송하기 위한 메모리 관리 명령이 화상을 구성하는 슬라이스의 헤더 정보에 저장되어 있다고 가정한다. 도 8(c) 내지 (h)는 DPB가 네 프레임에 대한 화상 데이터를 저장할 수 있는 경우에 DPB에 저장되어 있는 화상을 보여준다. 여기서, Br은 디스플레이 순서에 따른 바로 전후의 I 화상 또는 P 화상만을 참조하며, Br은 디스플레이 순서에 따른 두 화상 후의 I 화상 또는 P 화상의 메모리 관리 명령에 따라 DPB로부터 삭제된다. 도 8(c)는 Br3이 P9에서 삭제된 후에 DPB에 저장된 화상을 보여준다. DPB에서, I1, P5 및 P9는 모두 단기 메모리에 저장되어 있다. P13이 디코딩된 후, 도8(d)에 나타난 바와 같이, I1, P5, P9 및 P13이 DPB에 저장된다. 여기서, 네 개의 화상이 저장되었기 때문에 DPB는 가득 찼다. 뒤이어, Br11이 디코딩된 후에, Br11은 DPB에 저장되어야 한다. 그러나, DPB가 가득 찼기 때문에, DPB에 저장되어 있는 화상 중 하나를 삭제할 필요가 있다. 여기서, 원래 가장 먼저 디코딩된 I1이 DPB로부터 제거되어야 한다. 그러나, I1을 장기 메모리로 전송하도록 I1에 대해 장기 메모리가 할당된 것이 보인다(도 8(e)). 따라서, Br11이 저장된 경우, 도 8(f)에 나타난 바와 같이, 가장 먼저 디코딩된 P5가 단기 메모리에 저장되어 있는 화상으로부터 삭제된다. P5의 삭제는 또한 메모리 관리 명령에 의해 실행되어, Br11에 저장되어 있는 메모리 관리 명령은, P5을 비참조로 만들도록 명확하게 표시하는, 즉 P5가 삭제될 수 있다고 표시하는 명령을 포함한다. 도 8(g)는 P17이 디코딩된 후에 Br11이 삭제되고 P17이 DPB에 저장되는 경우를 보여준다. 마지막으로, P21이 I1을 참조하는 동안, P21이 디코딩되고 참조가 가능한 경우에 I1이 아무 문제 없이 참조될 수 있도록, I1은 장기 메모리로 전송된다.

다음으로, 빨리 감기 및 점프인 재생과 같은 트릭 재생이 수행되는 경우의 메모리 관리의 문제에 대해 설명한다. 특히, I 화상 및 P 화상만을 디코딩하고 재생(IP 재생)하는 것에 의한 빨리 감기 재생은 일반적인 이용으로서 소개되었다. 도 9는 도 8에 나타난 것과 동일한 랜덤 액세스 유닛이 IP 재생되는 경우의 메모리 관리를 보여준다. 먼저, I1, P5, 및 P9를 디코딩한 후, I1, P5 및 P9는 도 9(c)에 나타난 것과 같이 DPB의 단기 메모리에 저장된다. 다음으로, P13이 저장된 후, 네 개의 I1, P5, P9 및 P13은 DPB에 저장되어 DPB는 여기서 가득 차게 된다(도 9(d)). 그 후에, 원래, 메모리 관리 명령에 따라 I1을 저장하기 위한 장기 메모리에 대해 Br11이 설정되며 I1은 장기 메모리로 전송된다. 그러나, Br11은 디코딩되지 않고 스킵되어 I1은 단기 메모리에 저장된 채 남아있다. 따라서, 디코딩된 P17이 DPB에 저장되면, I1은 단기 메모리에 저장되어 있는 화상 중에서 가장 빠른 디코딩 순서를 갖기 때문에 삭제된다(도 9(e)). 따라서, P21이 디코딩되는 경우 네개의 화상 P5,P9, P13 및 P17이 DPB에 저장되어, P21은 I1이 없기 때문에 디코딩되지 못한다(도 9(f)). 따라서, 트릭 재생이 수행되는 경우 화상을 스킵하는 동안 화상이 디코딩되는 경우, 메모리 관리 명령이 저장되어 있는 화상이 스킵되면, 메모리 관리의 파괴(breakdown) 문제가 야기되어 뒤따르는 화상이 바르게 디코딩될 수 없다. 따라서, IP 재생은 모든 참조 화상을 디코딩하지 않고서 구현될 수 없으며, IP 재생에 따른 프로세싱의 양이 증가된다.

본 발명의 목적은 트릭 재생이 수행되는 경우 버퍼에서 디코딩하기 위해 필요한 참조 화상이 없다는 이유에 기인한 트릭 재생의 파괴를 방지하고 스킵 재생에 의해 화상의 트릭 재생을 쉽게 구현하기 위한 스트림 생성 장치, 스트림 생성 방법, 화상 코딩 장치, 화상 코딩 방법, 기록 매체 및 프로그램을 제공하는 것이다.

상기 목적을 달성하기 위해, 본 발명에 따른 스트림 생성 장치는 참조 화상으로서 디코딩된 화상을 보유하는 버퍼를 관리하기 위한 명령 및 코딩된 화상을 포함하는 스트림을 생성하는 스트림 생성 장치이며, 상기 명령은 코딩된 화상 중 하나에 추가되고, 상기 장치는, 트릭 재생시에 명령이 추가된 코딩된 화상이 스킵되는지 여부를 판단하는 판단 유닛; 코딩된 화상이 스킵된 것으로 판단되는 경우, 디코딩 순서에 따라 스킵된 것으로 판단되는 코딩된 화상에 뒤따르고 트릭 재생시에 스킵되지 않는 다른 코딩된 화상에, 명령과 동일한 내용을 표시하는 반복 정보를 추가하는 추가 유닛; 및 코딩된 화상, 명령, 그리고 반복 정보를 포함하는 스트림을 생성하는 생성 유닛을 포함한다.

이 구조에 따르면, 버퍼에 디코딩을 위해 필요한 참조 화상이 없다는 이유로 야기되는 트릭 재생의 파괴는 방지될 수 있다. 즉, 트릭 재생은 화상의 스킵 재생에 의해 쉽게 구현될 수 있다.

여기서, 명령은 버퍼에 저장되어 있는 참조 화상의 속성을 단기 메모리에서 장기 메모리로 변경하라는 지시일 수 있다.

이 구조에 따르면, 두 종류의 단기 및 장기 참조 화상이 있는 경우 또는 화상 간의 관계가 복잡한 경우에도 트릭 재생은 쉽게 구현될 수 있다.

여기서, 명령이 추가된 코딩된 화상이, 다른 코딩된 화상이 디코딩되는 경우에 참조되는 참조 B 화상인 경우에, 상기 판단 유닛은 트릭 재생시에 참조 B 화상이 스킵되는지를 판단하도록 동작할 수 있다.

게다가, 상기 추가 유닛은, 디코딩 순서에 따라 스킵된 것으로 판단되는 참조 B 화상에 뒤따르는 I 화상 및 P 화상 중 하나에 반복 정보를 추가하도록 더 동작할 수도 있다.

이 구조에 따르면, I 화상 및 P 화상에 더해 B 화상이 또한 참조 화상으로서 이용되는 경우, I 화상 및 P 화상만이 스킵 재생되는 경우에도, 필요한 참조 화상이 확실히 버퍼에 저장될 수 있다.

여기서, 명령이 추가된 코딩된 화상이, 특정 P 화상이 디코딩되는 경우 스킵될 P 화상이고, 특정 P 화상이 디코딩 순서에 따라 선행하는 I 화상 또는 P 화상을 선택적으로 디코딩함으로써 디코딩될 수 있는 경우, 상기 판단 유닛은 트릭 재생시에 P 화상이 스킵되는 것으로 판단한다.

이에 더해, 상기 추가 유닛은, 디코딩 순서에 따라 스킵된 것으로 판단되는 P 화상에 뒤따르는 다른 화상에, 특정 P 화상을 디코딩하기 위해 필요한 반복 정보를 추가하도록 동작할 수 있다.

이 구조에 따르면, 액세스 포인트 P 화상을 이용하여 스킵 재생이 수행되는 경우, 필요한 참조 화상이 확실히 버퍼에 저장될 수 있다.

나아가, 동일한 유닛이 본 발명의 스트림 생성 방법, 화상 코딩 장치, 화상 코딩 방법, 기록 매체 및 프로그램에 포함된다.

후술하는 명세서, 도면 및 청구항을 포함하는 일본국 특허 출원의 개시는 그 전체가 참조로써 편입된다 : 2004년 4월 28일에 출원된 일본국 특허출원 제 2004-134211호 및 2004년 9월 17일에 출원된 일본국 특허출원 제 2004-272517호.

이하, 도면을 참조하여 본 발명의 실시형태에 대하여 설명한다.

(제1 실시형태)

이 실시형태에서는, 트릭 재생이 수행되는 경우, DPB에서 메모리를 관리하기 위해 필요한 명령을 스킵 재생에 필요한 화상으로부터만 얻을 수 있는 코딩 장치 및 디코딩 장치에 대해 설명한다.

코딩 장치는 메모리 관리 명령 및 코딩된 화상을 포함하는 스트림을 생성한다. 스트림이 생성되면, 코딩 장치는, 트릭 재생이 수행되는 경우에 메모리 관리 명령이 추가된 코딩된 화상이 스킵되는지 여부를 판단하고, 코딩된 화상이 스킵된 것으로 판단되는 경우, 명령과 동일한 내용을 표시하는 반복 정보가, 트릭 재생이 수행되는 경우, 스킵된 코딩된 화상 후에 디코딩되고, 스킵되지 않는, 코딩된 화상에 추가된다.

도 10은 본 실시형태에서의 코딩 장치(1000)의 구조를 보여주는 블록도이다. 코딩 장치(1000)는, 화상 타입 결정 유닛(1001), 반복 판단 유닛(1002), 반복 정보 생성 유닛(1003), 화상 코딩 유닛(1004), 및 코딩된 데이터 출력 유닛(1005)을 포함한다. 화상 타입 결정 유닛(1001)은 코딩될 화상의 화상 타입을 결정하고 결정된 화상 타입(Pt)을 반복 판단 유닛(1002) 및 화상 코딩 유닛(1004)으로 입력한다. 화상 코딩 유닛(1004)은 화상 타입(Pt)에 따라 입력된 화상(Vin)을 코딩하며, 코딩된 데이터(pic)를 코딩된 데이터 출력 유닛(1005)으로 입력하고, 메모리 관리 정보(mmco)를 반복 판단 유닛(1002)으로 입력한다. 메모리 관리 정보(mmco)가 코딩된 화상에 대해 발행되지 않으면, 이는 메모리 관리 정보(mmco)에 표시된다. 재생 판단 유닛(1002)은 메모리 관리 정보(mmco) 및 화상 타입(Pt)에 근거하여 메모리 관리 명령을 반복할지 여부를 판단하며, 판단의 결과를 반복 명령(Re)으로서 반복 정보 생성 유닛(1003)으로 입력한다. 반복 정보 생성 유닛(1003)은, 반복 명령(Re)이 메모리 관리 명령을 반복하도록 지시하는 경우에 DRPMR SEI를 생성하며, SEI 데이터(sei)를 코딩된 데이터 출력 유닛(1005)으로 입력한다. 여기서, 반복 명령(Re)이 메모리 관리 명령을 반복하도록 지시하는 경우, DRPMR SEI를 생성하기 위해 필요한 정보 또한 반복 정보 생성 유닛(1003)으로 입력된다. 코딩된 데이터 출력 유닛(1005)은 코딩된 데이터(pic) 및 SEI 데이터(sei)를 출력한다.

따라서, 반복 명령(Re)에 따라 생성된 SEI 데이터(sei)는 메모리 관리 정보(mmco)와 동일한 내용을 포함하고, 실질적으로 메모리 관리 정보(mmco)의 복사본을 포함한다.

도 11은 본 실시형태에서의 코딩 장치(1000)에 의해 코딩된 스트림의 예로서, 정보 기록 매체에 저장되어 있는 MPEG-4 AVC 스트림의 랜텀 액세스 유닛을 보여준다. 이 예는 도 9에 나타난 종래의 예와 동일하지만, Br11에 저장되어 있는 메모리 관리 명령이, 디코딩된 참조 화상 표시 반복 부가 강조 정보(Decoded Reference Picture Marking Repitition SEI)(이하 DRPMR SEI라고 한다)를 이용하여 P17에서 반복되고 있다는 점에서 종래의 예와 다르다. 특히, P5를 비참조되도록 함으로써 I1을 장기 메모리로 전송하기 위해 Br11에서 설정된 메모리 관리 명령은 P17에서 반복된다. 따라서, IP가 재생되는 경우에 Br11이 스킵되더라도, P17이 디코딩될 때 Br11에서 I1이 장기 메모리로 전송되었다는 것을 알 수 있다. 결과적으로, I1이 장기 메모리로 전송되며, P5은 P17이 디코딩된 후에 DPB로부터 삭제되고, P17이 대신 저장된다(도 11(e)). 따라서, 도 11(f)에 나타난 바와 같이, P21이 디코딩되는 경우 DPB에는 I1이 있어 P21은 I1을 참조함으로써 디코딩될 수 있다. 그러면, 참조 B 화상에 메모리 관리 명령이 발행된 경우에, 디코딩 순서에 따른 상기 참조 B 화상 직후의 P 화상에 대하여 DRPMR SEI를 이용한 메모리 관리 명령을 반복함으로써, IP 재생이 수행되는 경우에도 I 화상 및 P 화상은 메모리 관리를 파괴시키지 않으면서 디코딩될 수 있다. 특히, 참조 B 화상의 이용은 MPEG-4 AVC의 중요한 특징인데, I B Br B P B Br B P B Br B P ... 와 같은 구조를 갖는 랜덤 액세스 기저에서, I 및 P 화상의 디코딩에 의한 4배속 재생 및 I, P 및 Br 화상의 디코딩에 의한 2배속 재생은 쉽게 구현되어 트릭 재생의 기능적 특성이 향상된다. 이러한 경우에, 파괴 없이 메모리 관리가 보장되는 점에서 매우 효율적이다. 여기서, I 화상이 랜덤 액세스 기저의 시작과 다른 위치에 있는 경우에, DRPMR SEI를 이용하여 디코딩 순서에 따라 상기 I 화상의 직후에 있는 I 화상에서 메모리 관리 명령이 반복될 수 있다.

여기서, IP 재생시에 화상이 디코딩되는 경우 상기 화상에 의해 참조되는 화상이 DPB에 있다는 것이 보장되면, 디코딩 순서에 따른 상기 화상의 직후의 P 화상 또는 I 화상과는 다른 화상에서, Br에 발행된 메모리 관리 명령이 반복될 수 있다. 예를 들면, 디코딩 순서에 따른 상기 화상 직후의 P 화상에서 반복되지 않고서도 메모리 관리가 파괴되지 않은 경우에, 상기 P 화상에 뒤따르는 P 화상으로 전송될 수도 있다. 또한, 참조 I 화상 또는 P 화상만이 디코딩되는 경우에 메모리 관리가 파괴되지 않는다는 것이 보장될 수 있다.

나아가, 메모리 관리 명령은, DRPMR 이외의 정보에 의해, 코딩된 스트림에 저장되거나, 데이터베이스 정보에서와 같이 개별적으로 표시될 수도 있다.

게다가, IP 재생 이외의 트릭 재생이 수행되는 경우에도 메모리 관리가 파괴되지 않는 것이 보장될 수 있다. 이하에서는, 점프인 재생이 수행되는 경우의 예에 대해 설명한다. 점프인 재생은 특정 시간에서의 화상으로부터 시작하는 화상 디스플레이 동작이다. 랜덤 액세스 유닛에서 리딩 화상 이외의 화상으로부터 화상 디스플레이를 시작하는 경우에, 디스플레이되는 화상을 디코딩하기 위해 필요한 화상이, 랜덤 액세스 유닛에서 리딩 화상으로부터 순차적으로 디코딩된다. 여기서, MPEG-4 AVC에서, 참조 관계는 유동적이다. 따라서, 화상을 참조하거나 디코딩하는 데 특별한 제약이 주어진 P 화상(이하 액세스 포인트(AP) 화상이라 한다)을 이용함으로써, 점프인 재생 또는 역재생을 위한 디코딩 프로세싱이 줄어들 수 있다. AP-P 화상은 다음 두 가지의 특성을 갖는다.

1. AP-P 화상은 디코딩 순서에 따른 AP-P 화상 이전의 P 화상 또는 I 화상을 선택적으로 디코딩함으로써 디코딩될 수 있다.

2. 디코딩 순서에 따른 AP-P 화상 이후의 화상은 디코딩 순서에 따른 AP-P 화상 이전의 화상을 참조하지 않는다.

도 12A는 종래 기술에서 AP-P 화상이 이용된 경우의 화상 및 메모리 관리 명령을 보여주는 도면이다. 도면에서, AP-P로 나타난 화상은 AP-P 화상을 표시한다. AP-P25를 디코딩하기 위해, I1, P7 및 P16만이 디코딩될 필요가 있어 P4, P10, P13 및 P22는 스킵될 수 있다. 따라서, 화상을 선택적으로 디코딩함으로써, 랜덤 액세스 유닛에서 소정의 중간점에 위치한 AP-P 화상을 디코딩하기 위해 필요한 화상의 개수가 감소될 수 있다. 결과적으로, 랜덤 액세스 유닛에서 중간점에서 재생이 수행되는 경우의 디코딩 프로세싱이 감소될 수 있다. 또한, 디코딩 순서에 따른 AP-P25 이후의 화상은 디코딩 순서에 따른 AP-P25 이전의 화상을 참조하지 않는다. 게다가, AP-P 화상을 디코딩하기 위해 디코딩될 필요가 있는 P 화상은 데이터베이스 정보에 또는 SEI 메시지 등을 이용한 코딩된 스트림에 표시될 수 있다. 여기서, I1을 장기 메모리로 전송하도록 지시하는 메모리 관리 명령(MMCO1)이 P4에 저장되어 있는 경우, AP-P25를 디코딩하기 위해 필요한 화상만이 디코딩될 경우에 메모리 관리 명령은 획득될 수 없다.

도 12B는 제1 실시형태에서 AP-P 화상이 이용되는 경우의 화상 및 메모리 관리 명령을 보여주는 도면이다. 도 12B에 나타난 바와 같이, AP-P25가 디코딩될 때 반드시 디코딩되는 P7에서 메모리 관리 명령(MMCO1)을 반복함으로써, P7이 디코딩되는 경우 장기 메모리에 I1을 저장하는 것이 필요하다는 것을 알 수 있다. 따라서, AP-P 화상이 디코딩되는 경우 스킵되는 화상에 메모리 관리 명령이 발행되는 경우, AP-P 화상을 디코딩하기 위해 필요한 P 화상에서 메모리 관리 명령을 반복함으로써, 파괴 없는 메모리 관리가 구현될 수 있다. 메모리 관리가 파괴되지 않을 것이 보장되는 경우, 원래 메모리 관리 명령을 갖는 P 화상의 직후는 아니지만, AP-P 화상의 디코딩을 위해 필요한 P 화상에서 명령이 반복될 수 있다.

나아가, 더 일반적으로는, 특정 P 화상을 디코딩하기 위해 디코딩될 필요가 있는 화상이 디스플레이되는 경우에, 디코딩될 필요가 있는 화상만을 디코딩함으로써 메모리 관리가 구현될 수 있음을 보장할 수 있다.

도 13은 IP 재생이 수행되는 경우에 파괴되지 않는 메모리 관리를 보장하는 코딩된 스트림을 생성하기 위한 코딩 방법의 흐름도이다. 단계(S1001)부터 단계(S1008)까지의 프로세싱은 랜덤 액세스 유닛을 구성하는 하나의 화상을 코딩하는 프로세싱을 보여준다. 먼저, 단계(S1001)에서는, 코딩될 화상이 I 화상 또는 P 화상인지 여부가 판단된다. I 화상이거나 P 화상이면, 프로세싱은 단계(S1002)로 이동하며, 그렇지 않으면, 프로세싱은 단계(S1004)로 이동한다. 단계(S1002)에서는, 디코딩 순서에 따른 코딩될 화상 직전의 P 화상 또는 I 화상에 뒤따르는 참조 B 화상에 메모리 관련 명령이 발행되었는지 여부가 판단된다. 메모리 관련 명령이 발행된 경우, 프로세싱은 단계(S1003)로 이동하며, 명령이 발행되지 않으면 단계(S1004)로 이동한다. 여기서, 랜덤 액세스 유닛에서의 리딩 화상과 같이, 랜덤 액세스 유닛에서 디코딩 순서에 따른 코딩될 화상 직전의 참조 B 화상이 없는 경우에는, 명령이 발행되지 않은 것으로 판단된다. 이에 따르면, 단계(S1003)에서는, 메모리 관련 명령이 저장된 DRPMR SEI가 생성된다. 메모리 관리 명령이 복수의 참조 B 화상에 발행된 경우에, 모든 메모리 관리 명령의 내용은 DRPMR SEI에 포함된다. 다음으로, 단계(S1004)에서, 화상 데이터가 코딩되고 프로세싱은 단계(S1005)로 이동한다. 단계(S1005)에서는, 현재 화상에 대해 메모리 관리 명령이 발행되었는지 여부를 판단한다. 명령이 발행되면, 프로세싱은 단계(S1006)로 이동하며, 명령이 발행되지 않으면 단계(S1008)로 이동한다. 단계(S1006)에서는, 현재 화상이 참조 B 화상인지 여부를 판단한다. 화상이 참조 B 화상이면, 프로세싱은 단계(S1007)로 이동하며, 그렇지 않으면 단계(S1008)로 이동한다. 단계(S1007)에서는, 메모리 관리 명령의 내용 및 메모리 관리 명령이 발행된 화상을 특정하기 위한 정보가 저장된다. 마지막으로, 단계(S1008)에서는, 코딩된 데이터가 출력된다. 여기서, DRPMR SEI가 단계(S1003)에서 생성된 경우, 출력된 코딩된 데이터는 DRPMR SEI를 포함한다. 단계(S1001)에서 화상 타입이 결정되지 않은 경우, 단계(S1001)에서 단계(S1003)까지의 프로세싱은 단계(S1004) 다음에 수행될 수 있다. 게다가, 화상의 코딩된 데이터는 화상 대 화상에 근거하여 출력될 수 있으며, 코딩이 완료됨에 따라 순차적으로 출력될 수 있다.

도 14는 AP-P가 디코딩되는 경우에 파괴되지 않는, 메모리 관리가 보장되는 코딩된 스트림을 생성하기 위한 코딩 방법의 흐름도이다. 기본적인 프로세싱은 도 13에 나타난 IP 재생에 대한 프로세싱과 동일하지만, 단계(S1101,S1102 및 S1103)에서의 판단 프로세싱에서 차이가 있다. 단계(S1101)에서는, 현재 화상이 AP-P 화상의 디코딩을 위해 필요한 P 화상 또는 I 화상인지 여부를 판단한다. 다음으로, 단계(1102)에서는, 랜덤 액세스 유닛 내에서, AP-P 화상을 디코딩하는데 필요하지 않고, 디코딩 순서에 따라 현재 화상 직전의 AP-P 화상을 디코딩하기 위해 필요한 P 화상 또는 I 화상을 뒤따르는 P 화상 또는 I 화상에, 메모리 관리 명령이 발행되었는지 여부를 판단한다. 또한, 단계(S1103)에서는, 현재 화상이 AP-P 화상을 디코딩하기 위해 불필요한 I 화상 또는 P 화상인지 여부를 판단한다.

여기서, AP-P 화상에 선행하는 P 화상만을 선택적으로 디코딩함으로써 AP-P 화상이 디코딩될 수 있는 경우에, P 화상만이 AP-P 화상을 디코딩하기 위해 필요한지 여부가 판단될 수 있다. 그러나, 랜덤 액세스 유닛의 헤드인 I 화상을 디코딩하는 것이 필요한 경우에는, I 화상에 대해 디코딩이 수행될 것이 필요하다고 표시될 수 있다.

게다가, 본 방법은 AP-P 화상에만 한정되는 것이 아니라 예측 구조 등에 특정 제약이 주어진 화상에도 일반적으로 적용 가능하다.

도 13 및 도 14에 나타난 프로세싱을 조합함으로써, IP 재생이 수행되는 경우 및 AP-P 디코딩이 수행되는 경우에 파괴되지 않는 메모리 관리가 구현될 수 있다. 예를 들면, AP-P를 이용하여 점프인될 화상을 효율적으로 디코딩하고 그곳에서부터 IP 재생을 시작하는 것과 같은 동작이 구현될 수 있다.

더욱이, 트릭 재생이 수행되는 경우 디코딩될 필요가 있는 화상이 부가 정보 등에 표시되어 있는 경우에, 디코딩에 필요한 화상만을 디코딩함으로써 디코딩에 필요한 메모리 관리 명령을 획득할 수 있도록 메모리 관리 명령이 반복될 수 있다.

도 15는 본 발명에서의 디코딩 장치(2000)의 구조를 보여주는 블록도이다. 디코딩 장치(2000)는 화상 타입 획득 유닛(2001), 디코딩 판단 유닛(2002), 관리 명령 분석 유닛(2003), DPB(2004) 및 디코딩 유닛(2005)을 포함한다. 먼저, 코딩된 데이터(Vin)가 화상 타입 획득 유닛(2001)으로 입력된다. 화상 타입 획득 유닛(2001)은 코딩된 데이터(Vin)으로부터 화상 경계를 탐지함으로써 화상의 화상 타입을 획득하며, 화상 타입(Ptd)을 디코딩 판단 유닛(2002)으로 입력한다. 디코딩 판단 유닛(2002)은 화상 타입(Ptd)에 근거하여 화상을 디코딩할지 여부를 판단하고, 판단 결과(Rep)를 관리 명령 분석 유닛(2003) 및 디코딩 유닛(2005)으로 입력한다. 판단 결과(Rep)에 근거하여 화상을 디코딩하도록 지시받은 경우 메모리 관리 명령이 화상 데이터에 반복되면, 반복된 메모리 명령(반복 정보)을 분석하고 관리 명령(Cmd)를 DPB로 전송함으로써, 관리 명령 분석 유닛(2003)은 메모리 관리 프로세싱을 실행한다. 판단 결과(Rep)에 근거하여 화상을 디코딩하도록 지시받은 경우, 디코딩 유닛(2005)은 참조 화상 데이터의 획득 요청(Req)을 DPB에 발행함으로써 참조 데이터(Ref)를 획득하고, 화상 획득 유닛에 의해 획득된 화상 데이터(PicDat)를 디코딩하며, 디코딩된 화상(Vout)을 출력한다. 화상의 슬라이스 데이터에 포함된 원래의 메모리 명령은 도표에 나타나 있지 않은 유닛에 의해 실행된다.

트릭 재생이 수행되는 경우 디코딩될 필요가 있는 화상을 특정하기 위한 부가 정보가 랜덤 액세스 유닛의 리딩 AU와 같은 코딩된 스트림 또는 데이터베이스 정보에 저장될 수 있다. 여기서, 디코딩 판단 유닛(2002)은 부가 정보를 분석함으로써 디코딩될 AU를 결정할 수 있다.

도 16은 디코딩 장치(2000)에서 IP 재생이 수행되는 경우에 파괴되지 않는 메모리 관리가 보장되는 코딩된 스트림을 디코딩하는 동작을 보여주는 흐름도이다. 먼저, 단계(S2001)에서는, 디코딩될 화상이 I 화상 또는 P 화상인지 여부를 판단한다. 화상이 I 화상이거나 P 화상인 것으로 판단되는 경우, 동작은 단계(S2002)로 이동한다. 화상이 상기 화상이 아닌 경우, 화상의 프로세싱은 화상을 디코딩하지 않고 종료되며 다음 화상에 대한 프로세싱을 수행한다. 단계(S2002)에서는, 현재 화상이 DRPMR SEI를 포함하는지 여부를 판단하며, DRPMR SEI가 포함되는 경우, 동작은 S2003으로 이동하고, 그렇지 않으면 동작은 단계(S2004)로 이동한다. 단계(S2003)에서는, DRPMR SEI의 내용을 분석함으로써 메모리 관리 프로세싱이 실행되며, 동작은 단계(S2004)로 이동한다. 단계(S2004)에서는, 화상이 디코딩된다. 단계(S2003)에서, 슬라이스 헤더 또는 DRPMR SEI에 있는 선행하는 명령에 의해 프로세싱이 이미 수행된 경우에는 메모리 관리 프로세싱은 수행되지 않는다.

도 17은 AP-P 화상이 디코딩되는 경우 파괴되지 않는 메모리 관리가 보장되는 코딩된 스트림에서, AP-P 화상이 디코딩되는 경우의 동작을 보여주는 흐름도이다. 기본적인 프로세싱은 도 16에서 나타난 IP 재생이 수행되는 경우의 프로세싱과 동일하지만, 단계(S2101)에서의 판단 프로세싱에서 차이가 있다. 단계(S2101)에서는, 디코딩될 화상이 AP-P 화상을 디코딩하기 위해 필요한 화상인지 여부를 판단한다. 화상이 AP-P 화상을 디코딩하기 위해 필요하면, 동작은 단계(S2002)로 이동하고, 필요하지 않으면, 화상에 대한 프로세싱은 종료하고 다음 화상에 대한 프로세싱이 수행된다.

DRPMR SEI 이외의 방법을 이용하여 메모리 관리 명령이 반복되는 경우, 소정의 방법에 의해 메모리 관리 명령이 획득된다.

도 16 및 도 17에 나타난 프로세싱을 결합함으로써, IP 재생이 수행되는 경우 및 AP-P 재생이 수행되는 경우에 파괴되지 않는 메모리 관리가 구현될 수 있다.

여기서, IP 재생이 수행되는 경우 I 화상 및 P 화상만을 디코딩하거나 AP-P 화상이 디코딩되는 경우 AP-P 화상의 디코딩에 필요하지 않은 P 화상 또는 I 화상을 스킵하는 것과 같은 동작에서, DPB 관리를 위해 필요한 메모리 관리 명령이 디코딩되는 화상으로부터 획득될 수 있음을 보장하는 플래그(flag) 정보가 데이터베이스 정보 또는 코딩된 스트림 등에 설정될 수 있다. 예를 들면, 참조 B 화상의 슬라이스의 네트워크 추상 계층(NAL) 유닛에서는, 슬라이스가 참조 화상의 슬라이스인지 여부를 표시하는 nal_ref_idc라는 필드 값이 1 이상의 값으로 설정된다. 비참조 B 화상에서는, 동일한 필드가 0으로 설정된다. 따라서 nal_ref_idc 필드가 플래그 정보가 될 수 있다. 또한, 데이터베이스 정보에서, MPEG-4 AVC 및 MPEG-2 비디오 등을 보여주는 코덱 타입 정보가 플래그로서 이용될 수 있다.

상기에서는, MPEG-4 AVC에 대해 설명되었다. 그러나, 유사한 방법이 다른 코딩 방법에 적용될 수 있다.

(제2 실시형태)

도 18은 본 발명에서의 멀티플렉서를 보여주는 블록도이다.

멀티플렉서(35)는 입력된 영상 데이터를 수산하며, 입력된 데이터를 MPEG-4 AVC의 스트림으로 코딩하고, 후술하는 정보를 스트림과 함께 멀티플렉싱하고 기록한다 : 스트림을 구성하는 AU에 대한 액세스 정보; 및 트릭 재생이 수행되는 경우에 동작을 결정하기 위한 부가 정보를 포함하는 데이터베이스 정보. 멀티플렉서(35)는 스트림 속성 결정 유닛(11), 코딩 유닛(12), 데이터베이스 정보 생성 유닛(32), 멀티플렉싱 유닛(34), 및 기록 유닛(16)을 포함한다. 도 5에 나타난 종래의 멀티플렉서에서와 동일한 동작을 수행하는 유닛에 동일한 표시가 할당되며, 동일한 유닛에 대한 설명은 여기서 생략한다. 코딩 방법은 MPEG-4 AVC 에 한정되지 않고 MPEG-2 비디오 및 MPEG-4 비디오와 같은 다른 방법이 적용될 수 있다. 나아가, 코딩 유닛(12) 대신에 코딩 유닛(1000)을 포함할 수도 있다.

스트림 속성 결정 유닛(11)은 MPEG-4 AVC를 코딩하기 위한 코딩 파라미터 및 트릭 재생에 관련된 제약 내용을 결정하며, 이를 코딩 유닛(12) 및 재생 지원 정보 생성 유닛(33)에 속성 정보(TYPE)로서 출력한다. 여기서, 트릭 재생에 관련된 제약 내용은, MPEG-4 AVC 스트림의 스트림에서 랜덤 액세스 유닛을 구성하기 위한 제약을 적용할지 여부, 변속 재생 및 역재생이 수행되는 경우에 디코딩되거나 디스플레이되는 AU를 표시하는 정보를 포함할지 여부, AU 사이의 예측 구조를 제약할지 여부에 관한 정보를 포함한다. 재생 지원 정보 생성 유닛(33)은, 입력된 속성 정보(TYPE)에 근거하여, 랜덤 액세스 구조를 갖는지 여부를 표시하는 지원 정보(HLP)를 생성하고, 생성된 정보를 멀티플렉싱 유닛(34)으로 출력한다. 멀티플렉싱 유닛(34)은 코딩 유닛(12), 데이터베이스 정보(INFO) 및 지원 정보(HLP)로부터 입력된 코딩된 데이터를 멀티플렉싱함으로써, 멀티플렉싱된 데이터를 생성하고, 멀티플렉싱된 데이터를 기록 유닛(16)으로 출력한다. 코딩 유닛(12)은 MPEG-2 전송 스트림(TS), 프로그램 스트림(PS) 등으로 패킷화함으로써 MPEG-4 AVC의 스트림을 출력할 수 있다. 또는, BD와 같은 애플리케이션에 의해 정의된 방법을 이용하여 스트림을 패킷화할 수 있다.

도 19A 및 도 19B는 지원 정보(HLP)에 표시된 정보의 예를 보여준다. 지원 정보(HLP)는 다음 두 가지 방법을 갖는다 : 도 19A에 나타난 것과 같이 스트림에 대한 정보를 직접 표시하는 방법; 및 스트림이 도 19B에 나타난 것과 같이 특정 애플리케이션 표준에 의해 정의된 제약을 만족하는지 여부를 표시하는 방법. 도 19A에서는, 스트림의 정보로서 다음과 같은 것들이 표시된다 : i)스트림이 랜덤 액세스 구조를 갖는지 여부; ii) AU에 저장된 화상 사이의 예측 구조에 대해 제약이 있는지 여부; iii) 트릭 재생이 수행되는 경우 디스플레이되는 AU 또는 디코딩되는 AU를 표시하는 정보가 있는지 여부.

여기서, 트릭 재생이 수행되는 경우에 디코딩되거나 디스플레이되는 AU의 정보는, 디코딩되거나 디스플레이되는 AU를 직접 표시하거나, 디코딩 또는 디스플레이의 우선권을 표시할 수 있다. 예를 들면, 랜덤 액세스 유닛 바이 유닛 기반으로 디스플레이되거나 디코딩되는 AU를 표시하는 정보는, 이것이 애플리케이션에 의해 정의된 특별한 타입을 갖는 NAL 유닛에 저장되어 있다는 것을 표시할 수 있다. 여기서, 랜덤 액세스 유닛을 구성하는 AU 사이의 예측 구조를 표시하는 정보가 있는지 여부가 표시될 수 있다. 게다가, 트릭 재생이 수행되는 경우 디코딩되거나 디스플레이될 AU에 대한 정보가, 하나 이상의 랜덤 액세스 유닛의 각 그룹에 대해 함께 추가되거나 랜덤 액세스 유닛을 구성하는 각 AU에 추가될 수 있다.

더욱이, 디코딩되거나 디스플레이될 AU를 표시하는 정보가 특별한 타입을 갖는 NAL 유닛에 저장된 경우, 이는 NAL 유닛의 NAL 유닛 타입을 표시할 수도 있다. 도 20의 예에서, 지원 정보(HLP)에서는, 트릭 재생이 수행되는 경우 디코딩되거나 디스플레이될 AU에 관한 정보가 NAL 유닛 타입이 0인 NAL 유닛에 포함된다. 여기서, NAL 유닛 타입이 0인 NAL 유닛을 스트림에서의 AU 데이터로부터 분리함으로써, 트릭 재생에 관련된 정보가 획득될 수 있다.

게다가, 예측 구조의 제약은 하나 이상의 소정의 제약 내용을 만족하는지 여부 또는 이하의 개별적인 제약을 만족하는지 여부를 표시할 수 있다.

i) I 화상 및 P 화상의 각각의 AU가 동일한 디코딩 및 디스플레이 순서를 갖는다.

ii) P 화상의 AU가 B 화상의 AU를 참조하지 않는다.

iii) 랜덤 액세스 유닛에서 리딩 AU 후에 디스플레이되는 AU가 랜덤 액세스 유닛에 포함되어 있는 AU만을 참조한다.

iv) 각 AU가 디코딩 순서에 따른 최대 N개의 AU만을 참조할 수 있다. 여기서, 각 참조 AU 또는 모든 AU에 대해 AU가 카운트되고 지원 정보(HLP)가 N 값을 표시할 수 있다.

MPEG-4 AVC에서 화질을 개선하기 위해, 화상의 디코딩 뒤에 블록 왜곡을 감소시키기 위한 필터링(디블록킹(deblocking))이 수행되는 화상이 참조 화상으로서 이용되며, 동시에 상기 디블록킹 이전의 화상은 디스플레이를 위한 화상으로서 이용될 수 있다. 여기서, 화상 디코딩 장치가 디블록킹 이전 및 이후에 화상 데이터를 저장하는 것이 필요하다. 여기서, 디스플레이를 위한 화상으로서 디블록킹 이전의 화상을 저장하는 것이 필요한지 여부를 표시하는 정보가 지원 정보(HLP)에 저장될 수 있다.

여기서, 지원 정보(HLP)는 모든 상기의 정보를 포함하거나, 정보의 일부를 포함할 수 있다. 이에 더해, 소정의 조건에 근거하여 필요한 정보가 포함될 수도 있다. 예를 들면, 예측 구조상에 아무런 제약이 없는 경우에만 트릭 재생 정보가 있는지에 대한 정보가 포함될 수도 있다.

게다가, 지원 정보(HLP)는 다음을 표시하는 정보를 포함할 수 있다 : I 화상 및 P 화상만을 디코딩함으로써 메모리 관리의 파괴를 일으키지 않고 IP 재생이 구현될 수 있는지 여부; 또는 AP-P 화상을 디코딩하기 위해 필요한 I 화상 및 P 화상만을 디코딩함으로써 메모리 관리의 파괴를 일으키지 않고 AP-P 화상이 디코딩될 수 있는지 여부.

더욱이, 상기 이외의 정보가 지원 정보(HLP)에 포함될 수 있다.

도 19B에서, 지원 정보(HLP)는 스트림의 구조에 관련된 정보를 직접 보여주는 것이 아니라, 고화질(HD)의 고정밀 화상을 DVD에 저장하기 위한 표준인 HD DVD 표준에 의해 정의된 스트림 구조에 관한 제약을 만족하는지 여부를 보여준다. 게다가, BD-ROM과 같은 애플리케이션 표준에서, 스트림 구조 상의 제약에 대해 복수의 모드가 정의된 경우에는, 어느 정보가 적용될지를 표시하는 정보가 지원 정보(HLP)에 저장될 수 있다. 예를 들면, 모드 1은 제약을 갖지 않는 것으로, 모드 2는 랜덤 액세스 구조를 갖고, 트릭 재생이 수행되는 경우 디코딩되는 AU를 특정하기 위한 정보가 스트림에 포함되어 있는 것으로 이용될 수 있다. 여기서, 방송 표준 또는 다운로딩 및 스트리밍과 같은 통신 서비스에서 정의된 제약을 만족하는지 여부를 표시할 수도 있다.

지원 정보(HLP)는 도 19A 및 도 19B에 나타난 양쪽의 정보를 모두 표시할 수 있다. 또한, 스트림이 특별한 애플리케이션 표준에서 제약을 만족하는 것으로 알려진 경우에, 스트림이 애플리케이션 표준을 만족하는지 여부에 대해서는 표시하지 않고, 도 19A에 나타난 바와 같이 스트림 구조를 직접 기술하는 방법으로 변환함으로써 애플리케이션 표준에 대한 제약을 저장할 수 있다.

여기서, 지원 정보(HLP)에 표시된 정보가 스트리밍 동안 변하는 경우, 각 섹션의 정보는 각각 저장될 수 있다. 예를 들면, 상이한 스트림이 편집되고 서로 연결되는 경우, 편집된 스트림에서는, 지원 정보(HLP)가 스트림라이닝(streamlining) 동안에 변할 수 있다. 따라서, 지원 정보(HLP)의 내용 또한 스위칭된다.

트릭 재생이 수행되는 경우 디코딩되거나 디스플레이되는 AU를 표시하는 정보는 데이터베이스 정보로서 저장될 수 있다.

도 21은 멀티플렉서(35)의 동작을 보여주는 흐름도이다. 단계(s11)에서는, 사용자 설정 또는 소정의 조건에 근거하여 속성 정보(TYPE)가 결정된다. 단계(s12)에서는, 속성 정보(TYPE)에 근거하여 스트림이 코딩된다. 단계(s13)에서는, 속성 정보(TYPE)에 근거하여 지원 정보(HLP)가 생성된다. 이어서, 단계(s14)에서는, 코딩된 스트림의 각 액세스 기저에 대하여 액세스 정보가 생성되고, 다른 필요한 정보와 함께 데이터베이스 정보(INFO)를 생성한다. 단계(s15)에서는, 지원 정보(HLP) 및 데이터베이스 정보(INFO)가 멀티플렉싱되고, 단계(s16)에서 멀티플렉싱된 데이터가 기록된다. 여기서, 단계(s13)의 동작은 단계(s12)의 동작 이전에 수행되거나, 단계(s14)의 동작 후에 수행될 수 있다.

(제3 실시형태)

도 22는 본 발명의 제2 멀티플렉서의 구조를 보여주는 블록도이다.

멀티플렉서(43)는, 도표에 나타나지 않은 서버로부터 배급된 패킷화된 스트림을 수신하고, 스트림과 함께, 트릭 재생이 수행되는 경우 동작을 결정하기 위한 부가 정보 및 스트림을 구성하는 AU에 대한 액세스 정보를 포함하는 일반 데이터베이스 정보를 멀티플렉싱하고 기록한다. 멀티플렉서(43)는 스트림 속성 획득 유닛(41), 스트림 수신 유닛(42), 데이터베이스 정보 생성 유닛(32), 멀티플렉싱 유닛(34), 및 기록 유닛(16)을 포함한다. 제2 실시형태에서 설명된 멀티플렉서에서의 유닛과 동일한 동작을 수행하는 유닛에 동일한 표시가 첨부되며, 동일한 유닛에 대한 설명은 여기서 생략한다.

스트림 속성 획득 유닛(41)은, 스트림으로부터 개별적으로 획득된 스트림 정보에 근거하여 속성 정보(TYPE)를 생성하며, 속성 정보(TYPE)를 재생 지원 정보 생성 유닛(33)으로 출력한다. 여기서, 스트림 정보는 다음과 같은 트릭 재생에 관한 정보를 포함한다 : MPEG-4 AVC의 스트림에서 랜덤 액세스 유닛을 구성하기 위한 제약을 적용할지 여부; 변속 재생 및 역재생이 수행되는 경우 디코딩되거나 디스플레이되는 AU를 표시하는 정보를 포함할지 여부; 그리고 AU 사이의 예측 구조상에 제약을 둘 것인지 여부. 스트림 수신 유닛은, MPEG-2 전송 스트림(TS) 및 실시간 전송 프로토콜(RTP)에 의해 패킷화된 MPEG-4 AVC의 스트림을 수신하며, 수신된 스트림을 기록을 위한 스트림으로서 멀티플렉서(34)로 출력하고, 또한 액세스 정보를 일반 데이터베이스 정보 생성 유닛(14)으로 출력한다.

여기서, 패킷 손실이 생성된 환경에서 TS 패킷, RTP 패킷 등이 수신된 경우, 패킷 손실 때문에 스트림에서의 데이터를 표시하는 데이터 및 정보가 손실된 경우에 오차 은폐 프로세싱이 수행되면, HLP는 이에 관한 정보를 지원 정보로서 저장할 수 있다. 데이터의 손실을 표시하는 정보로서, 이하의 정보가 보여질 수 있다 : 스트림에서의 데이터가 손실되었는지 여부를 표시하는 플래그 정보; 손실된 부분을 통지하기 위해 특별한 오차 통지 코드를 스트림에 삽입하도록 표시하는 정보; 또는 삽입될 오차 통지 코드의 식별 정보.

(제4 실시형태)

도 22는 본 발명의 디멀티플렉서의 구조를 보여주는 블록도이다.

디멀티플렉서(55)는 제2 및 제3 실시형태에서 설명한 멀티플렉서에 의해 생성된 멀티플렉싱된 데이터로부터 MPEG-4 AVC 스트림을 분리하고, 분리된 MPEG-4 AVC를 재생한다. 이는, 데이터베이스 정보 분석 유닛(51), 트릭 재생 동작 결정 유닛(53), 디코딩/디스플레이 AU 결정 유닛(54), AU 분리 유닛(24), 디코딩 유닛(25), 및 디스플레이 유닛(26)을 포함한다. 여기서, 도 6에 나타난 종래의 디멀티플렉서에서의 유닛과 동일한 동작을 수행하는 유닛에 대해 동일한 표시가 첨부되며, 동일한 유닛에 대한 설명은 생략한다.

데이터베이스 정보 분석 유닛(51)은 재생 지원 정보 분석 유닛(52) 및 일반 데이터베이스 정보 분석 유닛(22)을 포함한다. 트릭 재생 지시 신호가 입력된 경우, 재생 지원 정보 분석 유닛(52)은 멀티플렉싱된 데이터에서의 데이터베이스 정보로부터 지원 정보(HLP)를 획득하고 분석하며, 분석 결과에 근거하여 트릭 재생 지원 정보를 생성하고, 트릭 재생 동작 결정 유닛(53)에 트릭 재생 지원 정보를 통지한다. 트릭 재생 동작 결정 유닛(53)은 트릭 재생 지원 정보에 근거하여 트릭 재생이 수행되는 경우에 디코딩되고 디스플레이될 AU를 결정하는 방법을 결정하고, 디코딩/디스플레이 AU 결정 유닛(54)에 결정된 방법을 표시하는 트릭 재생 모드를 통지한다. 디코딩/디스플레이 AU 결정 유닛(54)은, AU 분리 유닛(24)에 의해 획득된 트릭 재생 정보(TRK)를 분석하고, 트릭 재생 모드(MODE)에 의해 표시되는 방법에 의해 디코딩되고 디스플레이될 AU를 결정하며, AU 분리 유닛(24) 및 디스플레이 유닛에 각각 디코딩될 AU의 식별 정보 및 디스플레이될 AU의 식별 정보를 통지한다. 여기서, 디스플레이될 AU는, 지정된 재생 속도 등에 근거하여 디코딩/디스플레이 AU 결정 유닛에 의해 결정될 수 있다. 게다가, 트릭 재생 정보(TRK)가 데이터베이스 정보에 저장되어 있는 경우, 데이터베이스 정보에 저장된 트릭 재생 정보(TRK)는 데이터베이스 정보 분석 유닛(51)에서 다른 유닛을 설정함으로써 획득될 수 있다.

도 24는 디멀티플렉서(55)의 동작을 보여주는 흐름도이다. 트릭 재생 지시 신호가 입력된 경우, 단계(s20)에서 멀티플렉싱된 데이터로부터 지원 정보(HLP)를 획득한다. 단계(s21)에서는, 획득된 지원 정보(HLP)에 근거하여 디코딩되고 디스플레이될 AU를 결정하는 동작이 행해진다. 단계(s22)에서는, 트릭 재생이 수행되는 경우에 트릭 재생 정보(TRK)를 이용할지가 결정되었는지 여부를 판단한다. 단계(s23)에서는, 트릭 재생 정보(TRK)가 스트림으로부터 획득되고 분석되며, 동작은 단계(s24)로 이동한다. 단계(s24)에서는, 단계(s21)에서 결정된 방법에 근거하여 디코딩되고 디스플레이될 AU가 결정되고, 동작은 단계(s25)로 이동한다. 단계(s25)에서는, 결정된 AU가 디코딩되고 디스플레이된다. 재생이 시작될 때나 재생이 시작된 후에 트릭 재생이 수행되는 경우에만 지원 정보(HLP)가 획득될 수 있다.

도 25는 단계(s21)에서 프로세싱의 내용을 보여주는 흐름도이다. 이하, 지원 정보(HLP)로부터 획득된 재생 지원 정보에 근거하여 단계(s30, s33 및 s35)에서의 판단이 수행된다. 단계(s30)에서는, 스트림이 랜덤 액세스 구조를 갖는지 여부를 판단하고, 스트림이 랜덤 액세스 구조를 가지면 동작은 단계(s31)로 이동하며, 스트림이 랜덤 액세스 구조를 갖지 않으면 동작은 단계(s32)로 이동한다. 그러면, 각각의 디코딩될 AU가 결정된다. 단계(s31)에서는, 랜덤 액세스 유닛에서 리딩 AU로부터 디코딩을 시작할 것이 결정된다. 단계(s32)에서는, 랜덤 액세스 유닛에서의 리딩 AU가 IDR 화상의 AU인 경우에 상기 AU로부터 디코딩을 시작할 것이 결정되며, 디코딩이 상기 AU로부터 시작된다. 여기서, 선행하는 IDR 화상을 포함하는 AU의 디스플레이 시간이 소정의 시간 전 또는 더 전인 경우에, N개 전 액세스 기저의 리딩 AU 또는 IDR 이외의 I 화상의 디코딩을 시작하는 것과 같은 소정의 규칙에 근거하여 처음으로 코딩될 AU가 결정될 수 있다. 단계 (s33)에서는, 트릭 재생 정보(TRK)가 스트림에 포함되는지 여부를 판단한다. TRK가 포함되면 동작은 단계(s34)로 이동하고, TRK가 포함되지 않으면, 동작은 단계(s35)로 이동한다. 단계(s34)에서는, 트릭 재생 정보(TRK)에 근거하여 디코딩되거나 디스플레이될 AU를 결정함으로써 프로세싱이 종료된다. 단계(s35)에서는, AU 사이의 예측 구조상에 제약이 있는지 여부를 판단한다. 제약이 있으면, 동작은 단계(s36)로 이동하고, 제약이 없으면, 동작은 단계(s37)로 이동한다. 단계(s36)에서는, 예측 구조상의 제약에 근거하여 변속 재생 및 역재생이 수행될 때 디스플레이될 필요가 있는 AU를 디코딩하는 경우 필요한 AU만을 결정함으로써 프로세싱이 종료된다. 또한, 단계(s37)에서는, 모든 AU가 디코딩되는 것으로 결정함으로써 프로세싱이 종료된다. 결과적으로, 단계(s31 및 s32)의 결과로서 처음으로 디코딩될 AU를 결정하는 방법이 결정되며, 단계(s34, s36 및 s37)의 결과로서 변속 재생 또는 트릭 재생이 수행되는 경우에 디코딩될 AU를 특정하는 방법이 결정된다. 그리고 나서, 각각의 트릭 재생 모드(MODE)의 정보로서 디코딩/디스플레이 AU 결정 유닛(54)으로 출력된다. 점프인 재생이 수행되는 경우, 프로세싱은 단계(32) 또는 단계(s31) 후에 종료된다. 여기서, 트릭 재생이 수행되는 경우 디코딩될 AU를 결정하는 방법으로서, 소정의 방법이 이용될 수 있다. 예를 들면, 단계(s33)에서 트릭 재생 정보(TRK)가 스트림에 포함되지 않은 것으로 판단되는 경우, I 화상 및 P 화상의 AU만이 디코딩되거나, I 화상, P 화상 및 참조될 B 화상의 AU만이 디코딩된다.

디스플레이될 AU를 결정하기 위한 정보가 트릭 재생 정보(TRK)에 포함되어 있는 경우, 트릭 재생 정보에 근거하여 디스플레이될 AU를 결정할 것을 표시하는 정보가 트릭 재생 모드(MODE)에 포함될 수 있다.

여기서, 트릭 재생 동작 결정 유닛(53)에 의해 결정되는 방법에 의한 디코딩이 구현되지 못하는 경우, 소정의 방법에 의해 디코딩될 AU가 결정될 수 있다. 예를 들면, 코딩된 스트림으로부터 재생 정보(TRK)를 획득하도록 트릭 재생 모드(MODE)에 의해 표시되는 경우, 코딩된 스트림에서 트릭 재생 정보(TRK)가 획득될 수 없으면, 모든 AU가 디코딩되거나 지원 정보(HLP)로부터 획득된 다른 정보에 근거하여 디코딩될 AU가 결정될 수 있다. 여기서, 데이터베이스 정보가 트릭 재생 정보(TRK)를 포함하는지 여부가 확인될 수 있다.

여기서, 트릭 재생 관련 정보 외의 정보가 지원 정보(HLP)에 포함되어 있는 경우, 디코딩 또는 디스플레이 동작은 그 정보에 따라 스위칭될 수 있다. 예를 들면, 방송 또는 통신을 통해 수신된 데이터가 기록되는 경우 패킷 손실 정보에 근거하여 동작이 스위칭될 수 있다.

게다가, 멀티플렉싱된 데이터가 기록되는 매체는 광 디스크에 한정되는 것이 아니고, 하드 디스크 및 비휘발성 메모리와 같은 기록 매체일 수도 있다.

더욱이, 디코딩/디스플레이 AU 결정 유닛(23)의 동작들은 서로 다르다. 도 6에 나타난 종래의 디멀티플렉서들을 구비함으로써, 개별적으로 설정된 재생 정보 분석 유닛(52) 및 트릭 재생 동작 결정 유닛(53)에 의해 결정되는 트릭 재생 모드에 근거하여 이용될 디멀티플렉서가 스위칭될 수 있다. 예를 들면, 후술하는 세 종류의 동작을 수행하는 디코딩/디스플레이 AU 결정 유닛(23)을 갖는 종래의 디멀티플렉서들 중 어느 두 개가 구비되고, 재생될 멀티플렉싱된 데이터의 지원 정보(HLP)에 근거하여 이용될 디멀티플렉서를 스위칭할 수 있다. 이 세 종류는 i) 항상 모든 AU를 디코딩하도록 디멀티플렉서를 결정하는 것; ii) 항상 재생 정보를 획득하고 디코딩될 AU를 결정하는 것; 및 iii) 특정 예측 구조에 스트림이 뒤따를 것을 가정함으로써 디코딩될 AU를 결정하는 것이다.

(제5 실시예)

제2 실시형태에 따른 멀티플렉서에 의해 광 디스크 상에 멀티플렉싱된 데이터를 기록하는 방법으로서, 차세대 광 디스크인 BD의 데이터베이스 정보로서 지원 정보(HLP)를 저장하는 방법을 설명한다.

먼저, BD-ROM의 기록 형식에 대해 설명한다.

도 26은 BD-ROM의 구조를 보여주는 도표이며, 특히 디스크 매체인 BD 디스크(104) 및 디스크에 기록된 데이터(101, 102, 및 103)의 구조이다. BD 디스크(104)에 기록될 데이터는 AV 데이터(103), AV 데이터 및 AU 재생 시퀀스 등에 관련된 데이터베이스 정보 등의 BD 데이터베이스 정보(102), 그리고 인터랙티브(interactive)를 구현하기 위한 BD 재생 프로그램(101)이다. 본 실시형태에서는, 설명을 위한 목적의 영화에서 AV 컨텐츠를 재생하는 AV 애플리케이션을 주로 하여 BD 디스크에 대해 설명한다. 그러나, 다른 용도로 이용되어도 이와 동일한 것임은 당연하다.

도 27은 BD 디스크 상에 기록된 논리적 데이터의 디렉토리/파일 구조를 보여주는 도표이다. BD 디스크는 예를 들면, DVD, CD 등과 유사하게 내주로부터 외주를 향하는 나선형의 기록 영역을 가지며, 내주의 리드인(lead-in)과 외주의 리드아웃(lead-out) 사이에 논리적 데이터가 기록될 수 있는 논리적 주소 공간을 갖는다. 또한, 버스트 커팅 영역(BCA:Burst Cutting Area)으로 불리는 드라이브에 의해서만 읽혀지는 리드인 안쪽의 특별한 영역이 존재한다. 이 영역은 애플리케이션에 의해서는 읽을 수 없어, 예를 들면 복제 방지 기술 등을 위해 사용될 수 있다.

논리적 주소 공간에서는, 최종 시스템 정보(볼륨)에 뒤따르는 영상 데이터와 같은 애플리케이션 데이터가 기록된다. 종래 기술에서 설명한 바와 같이, 이 파일 시스템은 UDF, ISO96660 등이다. 이는 디렉토리 및 파일 구조를 이용하여 보통의 퍼스널 컴퓨터(PC)에 저장된 논리적 데이터를 읽어내는 것을 가능하게 한다.

본 실시형태에서는, BD 디스크 상의 디렉토리 및 파일 구조로서, BDVIDEO 디렉토리가 루트 디렉토리(ROOT) 바로 아래에 위치한다. 이 디렉토리에서, BD에서 다루어지는 데이터베이스 정보 및 AV 컨텐츠와 같은 데이터(도 26에 설명된 101, 102 및 103)가 저장된다.

BDVIDEO 디렉토리 아래에, 다음 7개 타입의 파일이 기록된다.

BD.INFO (고정된 파일명)

"BD 데이터베이스 정보"의 하나인 파일이며, BD 디스크에 관한 정보가 전체로서 파일에 기록된다. BD 재생기는 이 파일을 제일 먼저 읽어온다.

BD.PROG (고정된 파일명)

"BD 재생 프로그램"의 하나인 파일이며, BD 디스크에 관한 재생 제어 정보가 전체로서 파일에 기록된다.

XXX.PL ("XXX"는 가변적이며, 확장자 "PL"은 고정임)

"BD 데이터베이스 정보"의 하나인 파일이며, 시나리오(재생 시퀀스)인 재생 목록 정보가 파일에 기록된다. 각 재생 목록당 하나의 파일이 존재한다.

XXX.PROG ("XXX"는 가변적이며, 확장자 "PROG"는 고정임)

"BD 재생 프로그램"의 하나인 파일이며, 각 재생 목록에 대한 재생 제어 정보가 파일에 기록된다. 재생 목록과의 대응은 파일 바디명("XXX"가 일치)에 의해 식별된다.

YYY.VOB ("YYY"는 가변적이며, 확장자 "VOB"는 고정임)

"AV 데이터"의 하나인 파일이며, VOB(종래의 예에서 설명된 VOB와 동일)가 파일에 기록된다. 각 VOB당 하나의 파일이 존재한다.

YYY.VOBI ("YYY"는 가변적이며, 확장자 "VOBI"는 고정임)

"BD 데이터베이스 정보"의 하나인 파일이며, AV 데이터인 VOB에 관한 스트림 데이터베이스 정보가 파일에 기록된다. VOB와의 대응은 파일 바디명("YYY"가 일치)으로 식별된다.

ZZZ.PNG ("ZZZ"는 가변적이며, 확장자 "PNG"는 고정임)

"AV 데이터"의 하나인 파일이며, 파일에서의 서브타이틀 및 메뉴를 구조화하기 위한 이미지 데이터 PNG(W3C에 의해 표준화된 화상 형식이며, "핑"으로 읽는다)이다. 각 PNG 이미지당 하나의 화일이 존재한다.

도 28 내지 32를 참조하여, BD의 내비게이션 데이터(BD 데이터베이스 정보)의 구조에 대해 설명한다.

도 28은 VOB 데이터베이스 정보 파일("YYY.VOBI")의 내부 구조를 보여주는 도표이다.

VOB 데이터베이스 정보는 타임 맵(TMAP) 및 상기 VOB의 스트림 속성 정보(Attribute)를 갖는다. 영상 속성(Video) 및 오디오 속성(Audio#01 내지 Audio#m) 각각에 대한 스트림 속성이 존재한다. 특히, 오디오 스트림의 경우에는, VOB는 동일 시간에 오디오 스트림들을 가질 수 있기 때문에, 오디오 스트림의 개수(Number)는 데이터 필드가 있는지 여부를 표시한다.

다음은 영상 속성(Video)의 필드 및 그 값을 표시한다.

압축 방법(Coding):

MPEG1

MPEG2

MPEG3

MPEG4 (고급 비디오 코딩)

해상도:

1920 × 1080

1440 × 1080

1280 × 720

720 × 480

720 × 565

화면비

4:3

16:9

프레임율

60

59.94 (60/1.001)

50

30

29.97 (30/1.001)

25

24

23.976 (24/1.001)

다음은 오디오 속성(Audio)의 필드 및 그 값이다.

압축 방법(코딩):

AC3

MPEG1

MPEG2

LPCM

채널의 갯수(Ch):

1 내지 8

언어 속성(Language)

타임 맵(TMAP)은 각 VOBU에 대한 정보를 갖는 테이블이다. 테이블은 상기 VOB가 갖는 VOBU의 개수(Number) 및 각 VOBU 정보(VOBU#1 내지 VOBU#n)를 표시한다. 각각의 VOB 정보는 VOBU 리딩 TS 패킷(I 화상 시작)의 주소인 주소 I_start, I 화상의 최종 주소까지의 오프셋 주소(I#end), 그리고 I 화상의 재생 시작 시간(PTS)으로 구성된다. MPEG-4 AVC의 스트림이 랜덤 액세스 구조를 갖는 경우에, VOBU는 하나 이상의 랜덤 액세스 유닛에 대응한다.

도 29는 VOBU 정보의 내용을 설명하는 도표이다.

널리 알려진 바와 같이, 고화질의 기록을 위해 MPEG 영상 스트림이 가변 비트레이트(bit rate)로 압축되고, 재생 시간 및 데이터 크기 사이의 단순한 일치가 이루어지지 않는 경우가 있다. 반대로, 오디오의 압축 표준인 AC3은 오디오를 고정 비트레이트로 압축한다. 따라서, 시간 및 주소 사이의 관계가 일차식으로 획득될 수 있다. 그러나, 각 프레임이 고정된 디스플레이 시간을 갖는 MPEG 영상 데이터의 경우, 예를 들면, NTSC의 경우에서, 한 프레임은 1/29.97초의 디스플레이 시간을 갖는다. 그러나, 각 압축된 프레임의 데이터 크기는, 화상의 특성 및 압축에 이용된 화상 타입, 특히 I/P/B 화상에 따라 크게 변화한다. 따라서, MPEG 영상의 경우에, 시간과 주소 사이의 관계는 일차식으로 기술될 수 없다.

사실, MPEG 영상 데이터를 멀티플렉싱함으로써 획득되는 MPEG 시스템 스트림을 일차식의 형식으로 표현하는 것은 불가능하다. 특히, VOB 또한 시간 및 데이터 크기를 일차식으로 표현할 수 없다. 따라서, VOB에서 시간과 주소 사이의 관계를 연결시키기 위해 타임 맵(TMAP)이 이용된다.

따라서, 시간 정보가 주어진 경우, 먼저, 어떤 VOBU에 시간이 속하는지를 검색하고(각 VOBU에 대한 트랙(PTS)), 상기 시간 직전의 PTS를 TMAP을 갖는 VOBU까지(I#start에 의해 특정된 주소) 스킵하며, VOBU에 있는 리딩 I 화상으로부터 화상의 디코딩을 시작하고, 상기 시간의 화상으로부터 화상의 디스플레이를 시작한다.

다음으로, 도 30을 참조하여, 재생 목록 정보("XXX.PL")의 내부 구조를 설명한다.

재생 목록 정보는 셀 목록(CellList) 및 이벤트 목록(EventList)으로 구성된다.

셀 리스트(CellList)는 재생 목록에서의 재생 시퀀스이며, 셀은 목록에 기술된 순서로 재생된다. 셀 리스트(CellList)의 내용은 셀의 개수(Number) 및 각 셀 정보(Cell#1 내지 Cell#n)를 포함한다.

셀 정보(Cell#)는 VOB 파일명(VOBName), VOB에서의 시작 시간(In) 및 종료 시간(Out), 그리고 서브타이틀 테이블을 포함한다. VOB에서의 시작 시간(In) 및 종료 시간(Out)은 각 VOB에서 프레임 숫자에 의해 표현되며, 재생을 위해 필요한 VOB 데이터의 주소는 타임 맵(TMAP)을 이용함으로써 획득될 수 있다.

서브타이틀 테이블은 VOB와 동시에 재생되는 서브타이틀 정보를 갖는 테이블이다. 서브타이틀은 오디오와 유사하게 복수의 언어를 가질 수 있으며, 서브타이틀 테이블의 첫 번째 정보는 언어의 개수(Number) 및 이에 뒤따르는 각 언어(Language#1 내지 Language#k)에 대한 테이블로 구성된다.

각 언어 테이블(Language#)은 언어 정보(Lang), 별개로 디스플레이되는 서브타이틀 정보의 개수(Number), 및 서브타이틀의 서브타이틀 정보(Speech#1 내지 Speech#j)로 구성된다. 서브타이틀 정보(Speech#)는 대응하는 이미지 데이터 파일명(Name), 서브타이틀 디스플레이 시작 시간(In), 서브타이틀 종료 시간(Out), 및 서브타이틀의 디스플레이 위치(Position)로 구성된다.

이벤트 리스트(EventList)는 재생 목록에서 생성된 이벤트가 정의되는 테이블이다. 이벤트 목록은 이벤트의 개수(Number)에 뒤따르는 각 이벤트(Event#1 내지 Event#m)로 구성된다. 각 이벤트(Event#)는 이벤트의 타입(Type), 이벤트 ID(ID), 이벤트 생성 시간(Time) 및 지속기간으로 구성된다.

도 31은 각 재생 목록에 대해 이벤트 핸들러(메뉴 선택에 대한 시간 이벤트 및 이용자 이벤트)를 갖는 이벤트 핸들러 테이블("XXX.PROG")이다.

이벤트 핸들러 테이블은 정의된 이벤트 핸들러/프로그램의 개수(Number) 및 개별적인 이벤트 핸들러/프로그램(Program#1 내지 Program#n)을 갖는다. 각 이벤트 핸들러/프로그램(Program#)의 기술은, 이벤트 핸들러 시작에 대한 정의(<event_handler>태그)와 이벤트와 짝을 이루는 이벤트 핸들러의 ID를 갖는다. 그리고 나서, Function에 뒤따르는 중괄호 "{" 및 "}" 사이에 프로그램이 기술된다. "XXX.PL"의 이벤트 리스트에 저장된 이벤트(Event#1 내지 Event#m)는 이벤트 핸들러의 ID를 이용하여 특정된다.

다음으로, 도 32를 참조하여, BD 디스크에 관한 정보("BD.INFO")의 전체로서의 내부 구조를 설명한다.

BD 디스크 전체 정보는 타이틀 목록 및 글로벌 이벤트에 대한 이벤트 테이블로 구성되어 있다.

타이틀 목록은 디스크에서의 타이틀 개수(Number) 및 뒤따르는 각 타이틀 정보(Title#1 내지 Title#n)로 구성되어 있다. 각 타이틀 정보(Title#)는 타이틀 내의 챕터 리스트 및 타이틀에 포함되어 있는 재생 목록 테이블(PLTable))을 포함한다. 재생 목록 테이블(PLTable)은 타이틀 내의 재생 목록의 개수(Number) 및 재생 목록 이름(Name), 특히, 재생 목록의 파일 이름을 포함한다.

챕터 리스트는 타이틀에 포함된 챕터의 개수(Number) 및 개별적인 챕터 정보(Chapter#1 내지 Chapter#n)로 구성되어 있다. 챕터 정보의 각 조각(Chapter#)은 챕터에 포함된 셀의 테이블을 갖는다. 셀 테이블은 셀의 개수(Number) 및 개별적인 셀 엔트리 정보(CellEntry#1 내지 CellEntry#k)로 구성되어 있다. 셀 엔트리 정보(CellEntry#)는 재생 목록에서의 셀 개수 및 셀을 포함하는 재생 목록 이름과 함께 기술된다.

이벤트 리스트(EventList)는 글로벌 이벤트의 개수(Number) 및 개별적인 글로벌 이벤트 정보를 갖는다. 여기서, BD 디스크가 재생기에 삽입될 때 처음으로 호출되는 이벤트인, 첫 번째로 정의된 글로벌 이벤트를 제1 이벤트라 한다. 글로벌 이벤트에 대한 이벤트 정보는 이벤트 타입(Type) 및 이벤트 ID(ID)만을 갖는다.

도 34는 글로벌 이벤트 핸들러 프로그램의 테이블을 보여준다("BD.PROG"). 이 테이블은 도 32에서 설명한 이벤트 핸들러 테이블과 동일하다.

이러한 BD-ROM 형식에서, VOB 데이터베이스 정보의 스트림 속성 정보로서 지원 정보(HLP)가 저장된다. 지원 정보(HLP)가 MPEG-4 AVC에만 이용되는 경우에, 지원 정보(HLP)는 압축 방법이 MPEG-4 AVC인 경우에만 저장된다.

스트림 속성 정보 및 타임 맵에 더하여, VOB 데이터베이스 정보에 재생 지원 정보를 저장하기 위한 영역을 설정함으로써 지원 정보(HLP)가 저장될 수 있다. 또한, VOB 데이터베이스 정보 이외의 BD 데이터베이스 정보로서 지원 정보(HLP)가 저장될 수 있다.

나아가, 지원 정보(HLP)는 BD-ROM 형식에만 저장될 수 있는 것이 아니고, 데이터베이스 정보로서 BD-RE(재기록가능)와 같은 기록 형식에도 저장될 수 있다.

(제6 실시형태)

도 34는 제5 실시형태에 따른 BD 디스크상에 기록된 데이터를 재생하는 재생기의 기능적 구조를 대략적으로 보여주는 블록도이다.

BD 디스크(201)상에 기록된 데이터는 광 픽업(202)를 통해 읽어온다. 읽어온 데이터는 데이터의 각 종류에 따라 특별한 메모리로 전송된다. BD 재생 프로그램("BD.PROG" 또는 "XXX.PROG" 파일의 내용), BD 데이터베이스 정보("BD.INFO", "XXX.PL" 또는 "YYY.VOBI"), 및 AV 데이터("YYY.VOB" 또는 "ZZZ.PNG")는 각각 프로그램 기록 메모리(203), 데이터베이스 정보 기록 메모리(204), 및 AV 기록 메모리(205)로 전송된다.

프로그램 기록 메모리(203)에 기록된 BD 재생 프로그램, 데이터베이스 정보 기록 메모리(204)에 기록된 BD 데이터베이스 정보, 그리고 AV 기록 메모리(205)에 기록된 AV 데이터는 각각 프로그램 프로세싱 유닛(206), 데이터베이스 정보 프로세싱 유닛(207), 그리고 프리젠테이션 프로세싱 유닛(208)에 의해 처리된다.

프로그램 프로세싱 유닛(206)은 데이터베이스 정보 프로세싱 유닛(207)에 의해 재생되는 재생 목록에 대한 정보 및 프로그램을 실행하는 타이밍과 같은 이벤트 정보를 수신하는 프로그램을 처리한다. 또한, 프로그램은 재생될 재생 목록을 동적으로 변경할 수도 있다. 이러한 경우에, 재생 리스트를 재생하라는 지시를 데이터베이스 정보 프로세싱 유닛(207)에 전송함으로써, 이를 구현할 수 있다. 프로그램 프로세싱 유닛(206)은 이용자로부터 이벤트, 특히, 리모트 컨트롤러 키로부터 전송된 요청을 수신하며, 이용자 이벤트에 대응하는 프로그램이 있는 경우에 이벤트를 실행한다.

데이터베이스 정보 프로세싱 유닛(207)은 프로그램 프로세싱 유닛(206)의 지시를 수신하고, 대응하는 재생 목록 및 재생 목록에 대응하는 VOB의 데이터베이스 정보를 분석하며, 프리젠테이션 프로세싱 유닛(208)에 대상 AV 데이터를 재생하도록 지시한다. 나아가, 데이터베이스 정보 프로세싱 유닛(207)은 프리젠테이션 프로세싱 유닛(208)으로부터 표준 시간 정보를 수신하며, 시간 정보에 근거하여 프리젠테이션 프로세싱 유닛(208)에 AV 데이터의 재생을 중지할 것을 지시하고, 나아가 프로그램 프로세싱 유닛(206)을 위한 프로그램 실행 타이밍을 표시하는 이벤트를 생성한다.

프리젠테이션 프로세싱 유닛(208)은 영상, 오디오, 및 서브타이틀/이미지(정지 화상)에 각각 대응하는 디코더를 갖는다. 각각의 디코더는 데이터베이스 정보 프로세싱 유닛(207)으로부터 전송된 지시에 근거하여 AV 데이터를 디코딩하며, 디코딩된 AV 데이터를 출력한다. 영상 데이터, 서브타이틀 및 이미지는 디코딩된 후에 특별한 플레인(plane)인 영상 플레인(210) 및 이미지 플레인(209)에 묘사(describe)되며, 합성 유닛(211)에 의해 이미지가 합성되고, 텔레비젼과 같은 디스플레이 장치로 출력된다.

이하, 트릭 재생이 수행되는 경우의 재생 동작에 대해 설명한다.

데이터베이스 정보 처리 유닛(207)은, 제4 실시형태에 따른 디멀티플렉서(55)에서의 트릭 재생 동작 결정 유닛(53)의 기능을 포함하며, 변속 재생, 역재생 또는 점프인 재생과 같은 트릭 재생을 수행하라는 재생 지시 신호가 프로그램 프로세싱 유닛(206)을 통해 입력되는 경우, 데이터베이스 정보 메모리(204)로부터 지원 정보(HLP)를 획득하고 분석하며, 트릭 재생이 수행되는 경우 디코딩 및 디스플레이하는 동작을 결정하는 방법을 결정한다. 프리젠테이션 프로세싱 유닛(208)은 디멀티플렉서(55)에서의 디코딩/디스플레이 AU 결정 유닛(54)의 기능을 포함하며, 데이터베이스 정보 프로세싱 유닛(207)에 의해 결정되는 방법에 근거하여 디코딩되고 디스플레이될 AU를 결정하고, 결정된 AU를 디코딩하고 디스플레이한다. 여기서, 데이터베이스 정보 프로세싱 유닛(207)은 디코딩/디스플레이 AU 결정 유닛(54)의 기능을 가질 수 있다.

게다가, 트릭 재생 정보(TRK)가 BD 데이터베이스 정보에 저장된 경우, 데이터베이스 정보 프로세싱 유닛(207)은 데이터베이스 정보 메모리(204)로부터 트릭 재생 정보(TRK)를 획득한다. 획득된 트릭 재생 정보(TRK)는 프리젠테이션 프로세싱 유닛(208)에서 분석된다.

도 10, 15, 18, 22 및 23에 나타난 블록도에서의 각 기능 블록은 집적 회로 장치인 LSI로 구현될 수 있다. 이러한 LSI는 하나 또는 복수의 칩 형태로 통합될 수 있다(예컨대, 메모리 이외의 기능 블록들이 단일 칩으로 통합될 수 있다). 여기서, LSI는 하나의 예로서 제시되었지만, 집적 정도에 따라 "IC", "시스템 IC", "슈퍼 LSI" 및 "울트라 LSI"로 호칭될 수 있다.

집적 회로로 통합하는 방법은 LSI에 한정되지 않으며, 전용 회선(private line) 또는 일반 프로세서로 구현될 수 있다. LSI의 생산 후에, 프로그램 가능한 FPGA(Field Programmable Gate Array), 또는 LSI에서 회로 셀에 대한 설정 및 연결을 재구성할 수 있는 재구성 가능(reconfigurable) 프로세서가 이용될 수 있다.

게다가, 반도체 기술 또는 이로부터 벗어난 다른 기술의 발달로 인해 LSI를 대체하는 집적 회로로의 통합 기술의 등장에 따라, 새롭게 등장한 기술을 이용하여 기능 블록의 통합이 수행될 수 있다. 그 예의 하나로서 바이오 테크놀로지의 응용을 들 수 있다.

기능 블록 사이에서, 본 실시형태에 기술된 저장 매체(115)와 같이, 데이터 저장을 위한 유닛만이 칩의 형태로 통합되지 않고 별개로 구성될 수 있다.

도 10, 15, 18, 22 내지 25 및 34에 나타난 기능 블록 또는 도 13, 14, 16 및 17에 나타난 흐름도에서의 주요 부분이 프로세서 또는 프로그램에 의해 구현될 수 있다.

상술한 바와 같이, 상기 실시형태에 나타난 화상 코딩 방법 및 화상 디코딩 방법은 상술한 장치 및 시스템 중 어느 것으로도 이용가능하다. 따라서, 상기 실시형태에서 기술한 효과를 성취하는 것이 가능해진다.

(제7 실시형태)

이에 더해, 상술한 실시형태 각각에 나타난 동화상 코딩 방법 또는 동화상 디코딩 방법의 레이아웃을 구현하는 프로그램을, 플렉시블(flexible) 디스크와 같은 기록 매체에 기록함으로써, 상기 실시형태 각각에 나타난 프로세싱을 독립적인 컴퓨터 시스템에서 수행하는 것이 가능해진다.

도 35A, 도 35B 및 도 35C는, 컴퓨터 시스템에서 상기 실시형태의 동화상 코딩 방법 및 동화상 디코딩 방법을 구현하는 프로그램을 기록하기 위한 기록 매체의 도표이다.

도 35B는 플렉시블 디스크의 전면 및 개략적인 단면, 그리고 플렉시블 디스크 자체를 보여주며, 도 35A는 기록 매체 자체로서의 플렉시블 디스크의 물리적 형태의 예를 보여준다. 플렉시블 디스크(FD)는 케이스(F)에 들어 있으며, 복수의 트랙(TR)이 외주로부터 반지름 방향으로 디스크 표면상에 동심으로 형성되어 있고 각 트랙은 각방향으로 16개의 섹터(Se)로 분리된다. 따라서, 상술한 프로그램을 저장하는 플렉시블 디스크에는, 상기 플렉시블 디스크(FD)상에 이를 위해 할당된 영역에 상기 프로그램이 기록된다.

이에 더해, 도 35C는 플렉시블 디스크(FD)상에 프로그램을 기록하고 이로부터 프로그램을 재생하는 구성을 보여준다. 프로그램이 플렉시블 디스크(FD)상에 기록되는 경우, 컴퓨터 시스템(Cs)은 프로그램으로서의 동화상 코딩 방법 및 동화상 디코딩 방법을 플렉시블 디스크 드라이브를 통해 플렉시블 디스크 상에 쓴다. 디스크 상에 기록된 프로그램을 이용하여 상기 동화상 코딩 방법 및 동화상 디코딩 방법이 플렉시블 컴퓨터 시스템에 구성되면, 플렉시블 디스크 드라이브를 통해 플렉시블 디스크로부터 프로그램이 읽어져 컴퓨터 시스템으로 전송된다.

상기 설명은 기록 매체가 플렉시블 디스크라는 가정하에 이루어진 것이나, 광 디스크를 이용해서 동일한 프로세싱이 수행될 수도 있다. 게다가, 기록 매체는 이에 한정되지 않고, 프로그램이 기록될 수 있다면, CD-ROM, 메모리 카드, 및 ROM 카세트와 같은 다른 매체가 동일한 방법으로 이용될 수 있다.

본 발명의 일부 예시적인 실시형태만이 앞에서 기술되었지만, 당업자라면 본 발명의 새로운 기술 및 이점으로부터 실질적으로 벗어나지 않고 예시적인 실시형태로부터 다양한 변형이 가능하다는 것을 알 수 있을 것이다. 따라서, 모든 변형 실시례가 본 발명의 영역에 포함되는 것으로 의도된다.

MPEG-4 AVC의 스트림을 멀티플렉싱함으로써 획득되는 데이터가 특수 재생이 되는 경우에, 본 발명에 따른 멀티플렉서 및 디멀티플렉서는 효율적인 디코딩 또는 디스플레이를 수행할 수 있어, 본 발명은 트릭 재생 기능에 초점을 둔 패키지 매체의 재생 장치에 대해 특히 효율적이다.

Claims

디코딩된 화상을 참조 화상으로서 갖는 버퍼를 관리하기 위한 명령 및 코딩된 화상을 포함하는 스트림을 생성하는 스트림 생성 장치로서, 상기 명령은 상기 코딩된 화상 중 하나에 추가되어 있고, 상기 장치는,

트릭(trick) 재생시에, 상기 명령이 추가되어 있는 상기 코딩된 화상이 스킵(skip)되는지 여부를 판단하는 판단 유닛;

상기 코딩된 화상이 스킵되는 것으로 판단되는 경우, 상기 트릭 재생시에, 디코딩 순서에 따라 스킵되는 것으로 판단된 상기 코딩된 화상 이후에 오며, 스킵되지 않는 다른 코딩된 화상에, 상기 명령과 동일한 내용을 표시하는 반복 정보를 추가하는 추가 유닛; 및

상기 코딩된 화상, 상기 명령 및 상기 반복 정보를 포함하는 상기 스트림을 생성하는 생성 유닛을 포함하는, 스트림 생성 장치.
청구항 1에 있어서,

상기 명령은 상기 버퍼에 저장된 상기 참조 화상의 속성을 단기 메모리에서 장기 메모리로 변경하도록 지시하는, 스트림 생성 장치.
청구항 1에 있어서,

상기 판단 유닛은, 상기 명령이 추가되어 있는 상기 코딩된 화상이, 다른 코딩된 화상이 디코딩되는 경우 참조되는 참조 B 화상인 경우에, 트릭 재생시에 상기 참조 B 화상이 스킵되는 것으로 판단하는, 스트림 생성 장치.
청구항 3에 있어서,

상기 추가 유닛은, 디코딩 순서에 따라 스킵되는 것으로 판단된 상기 코딩된 화상 이후에 오는 I 화상 및 P 화상 중 하나에 상기 반복 정보를 추가하며, 상기 코딩된 화상은 참조 B 화상인, 스트림 생성 장치.
청구항 1에 있어서,

상기 판단 유닛은, 상기 명령이 추가되어 있는 코딩된 화상이, 특정 P화상이 디코딩될 때 스킵되는 P 화상인 경우에, 트릭 재생시 상기 P 화상이 스킵된다고 판단하고,

상기 특정 P 화상은 디코딩 순서에 따라 선행하는 I 화상 또는 P 화상을 선택적으로 디코딩함으로써 디코딩될 수 있는, 스트림 생성 장치.
청구항 5에 있어서,

상기 추가 유닛은, 디코딩 순서에 따라 상기 스킵되는 것으로 판단되는 P 화상 이후에 오며, 상기 특정 P 화상을 디코딩하기 위해 필요한 상기 다른 화상에 상기 반복 정보를 추가하는, 스트림 생성 장치.
청구항 6에 있어서,

상기 판단 유닛은, 상기 명령이 추가되어 있는 상기 코딩된 화상이 참조 B 화상인 경우에, 트릭 재생시 상기 참조 B 화상이 스킵되는 것으로 더 판단하는, 스트림 생성 장치.
청구항 7에 있어서,

상기 추가 유닛은, 디코딩 순서에 따라 스킵되는 것으로 판단되는 상기 참조 B 화상 이후에 오는 I 화상 및 P 화상 중 하나에 상기 반복 정보를 더 추가하는, 스트림 생성 장치.
디코딩된 화상을 참조 화상으로서 갖는 버퍼를 관리하기 위한 명령 및 코딩된 화상을 포함하는 스트림을 생성하는 스트림 생성 방법으로서, 상기 명령은 참조 화상으로서 이용되는 상기 코딩된 화상 중 하나에 추가되어 있으며, 상기 방법은,

트릭 재생시에, 상기 명령이 추가되어 있는 상기 코딩된 화상이 스킵되는지 여부를 판단하는 단계;

상기 코딩된 화상이 스킵되는 것으로 판단되는 경우, 상기 트릭 재생시에, 디코딩 순서에 따라 스킵되는 것으로 판단된 상기 코딩된 화상 이후에 오며, 스킵되지 않는 다른 코딩된 화상에, 상기 명령과 동일한 내용을 표시하는 반복 정보를 추가하는 단계; 및

상기 코딩된 화상, 상기 명령 및 상기 반복 정보를 포함하는 상기 스트림을 생성하는 단계를 포함하는, 스트림 생성 방법.
화상 코딩 장치로서,

화상을 코딩하는 코딩 유닛;

참조 화상으로서 이용되는 상기 코딩된 화상 중 하나에, 참조 화상으로서 디코딩된 화상을 갖는 버퍼를 관리하기 위한 명령을 추가하는 제1 추가 유닛;

트릭 재생시에, 상기 명령이 추가되어 있는 상기 코딩된 화상이 스킵되는지 여부를 판단하는 판단 유닛;

상기 코딩된 화상이 스킵되는 것으로 판단되는 경우에, 상기 트릭 재생시에, 디코딩 순서에 따라 스킵되는 것으로 판단된 상기 코딩된 화상 이후에 오며, 스킵되지 않는 다른 코딩된 화상에, 상기 명령과 동일한 내용을 표시하는 반복 정보를 추가하는 추가 유닛; 및

상기 코딩된 화상, 상기 명령 및 상기 반복 정보를 포함하는 상기 스트림을 생성하는 생성 유닛을 포함하는, 화상 코딩 장치.
화상 코딩 방법으로서,

화상을 코딩하는 단계;

참조 화상으로서 이용되는 상기 코딩된 화상 중 하나에, 참조 화상으로서 디코딩된 화상을 갖는 버퍼를 관리하기 위한 명령을 추가하는 단계;

트릭 재생시에, 상기 명령이 추가되어 있는 상기 코딩된 화상이 스킵되는지 여부를 판단하는 단계;

상기 코딩된 화상이 스킵되는 것으로 판단되는 경우에, 상기 트릭 재생시에, 디코딩 순서에 따라 스킵되는 것으로 판단된 상기 코딩된 화상 이후에 오며, 스킵되지 않는 다른 코딩된 화상에, 상기 명령과 동일한 내용을 표시하는 반복 정보를 추가하는 단계; 및

상기 코딩된 화상, 상기 명령 및 상기 반복 정보를 포함하는 상기 스트림을 생성하는 단계를 포함하는, 화상 코딩 방법.
프로그램이 기록된 컴퓨터 판독가능 기록 매체로서, 상기 프로그램은 컴퓨터로 하여금 청구항 9에 따른 상기 스트림 생성 방법을 실행하도록 하는, 기록 매체.
프로그램이 기록된 컴퓨터 판독가능 기록 매체로서, 상기 프로그램은 컴퓨터로 하여금 청구항 11에 따른 상기 화상 코딩 방법을 실행하도록 하는, 기록 매체.
컴퓨터로 하여금 청구항 9에 따른 상기 스트림 생성 방법을 실행하도록 하는 프로그램.
컴퓨터로 하여금 청구항 11에 따른 상기 화상 코딩 방법을 실행하도록 하는 프로그램.
코딩된 화상을 포함하는 스트림으로서,

상기 스트림은 명령 및 반복 정보를 포함하고,

상기 명령은 참조 화상으로서 디코딩된 화상을 갖는 버퍼를 관리하기 위한 명령이며, 또한 참조 화상으로서 이용되는 상기 코딩된 화상 중의 하나에 추가되고,

상기 반복 정보는, 트릭 재생시에 스킵되는 상기 코딩된 화상 중의 하나에 추가된 상기 명령과 동일한 내용을 가지며, 상기 트릭 재생시에, 디코딩 순서에 따라 스킵되는 상기 코딩된 화상 이후에 오며, 스킵되지 않는 다른 코딩된 화상에 추가되는, 반복 정보인, 스트림.
청구항 16에 따른 상기 스트림이 기록된 컴퓨터 판독가능 기록 매체.
디코딩된 화상을 참조 화상으로서 갖는 버퍼를 관리하기 위한 명령 및 코딩된 화상을 포함하는 스트림을 생성하는 집적 회로로서, 상기 명령은 상기 코딩된 화상 중 하나에 추가되어 있고, 상기 집적 회로는,

트릭 재생시에, 상기 명령이 추가되어 있는 상기 코딩된 화상이 스킵되는지 여부를 판단하는 판단 유닛;

상기 코딩된 화상이 스킵되는 것으로 판단되는 경우에, 상기 트릭 재생시에, 디코딩 순서에 따라 스킵되는 것으로 판단된 상기 코딩된 화상 이후에 오며, 스킵되지 않는 다른 코딩된 화상에, 상기 명령과 동일한 내용을 표시하는 반복 정보를 추가하는 추가 유닛; 및

상기 코딩된 화상, 상기 명령 및 상기 반복 정보를 포함하는 상기 스트림을 생성하는 생성 유닛을 포함하는, 집적 회로.