KR101108423B1 - 멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤 액세스 단위들 사이의 심리스 스위칭 - Google Patents

멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤 액세스 단위들 사이의 심리스 스위칭 Download PDF

Info

Publication number
KR101108423B1
KR101108423B1 KR1020107005757A KR20107005757A KR101108423B1 KR 101108423 B1 KR101108423 B1 KR 101108423B1 KR 1020107005757 A KR1020107005757 A KR 1020107005757A KR 20107005757 A KR20107005757 A KR 20107005757A KR 101108423 B1 KR101108423 B1 KR 101108423B1
Authority
KR
South Korea
Prior art keywords
access unit
information
picture
delay
access units
Prior art date
Application number
KR1020107005757A
Other languages
English (en)
Other versions
KR20100035720A (ko
Inventor
다다마사 도마
도모유키 오카다
신야 가도노
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20100035720A publication Critical patent/KR20100035720A/ko
Application granted granted Critical
Publication of KR101108423B1 publication Critical patent/KR101108423B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs

Abstract

동화상을 보는 사용자가 불편을 느끼지 않게 하는 다중화 장치는 (ⅰ) 부호화 스트림에 포함된 모든 액세스 단위에서 소정의 2개의 액세스 단위를 순서대로 복호화하는 처리에서, 소정의 2개의 액세스 단위의 연결에서 갭이 발생하지 않도록 부호화 스트림을 작성하는 부호화부(42); 및 (ⅱ)상기 부호화부에 의해 작성된 부호화 스트림을 다른 정보와 함께 다중화하는 다중화부(18)를 포함한다.

Description

멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤 액세스 단위들 사이의 심리스 스위칭{SEAMLESS SWITCHING BETWEEN RANDOM ACCESS UNITS MULTIPLEXED IN A MULTI ANGLE VIEW MULTIMEDIA STREAM}
본 발명은 다중화 데이터를 작성하도록 부호화 화상을 포함하는 하나 이상의 부호화 스트림과 다른 정보를 다중화하는 다중화 장치 및 다중화 데이터를 역다중화하는 역다중화 장치에 관한 것이다. 본 발명은 특히 멀티 앵글 재생 등의 특수 재생을 행할 수 있는 다중화 장치 및 역다중화 장치에 관한 것이다.
최근, 사운드, 화상 및 그 외의 화소 값들이 하나의 미디어에 통합되는 멀티 미디어 시대가 도래하고, 신문, 잡지, TV, 라디오 및 전화와 같은 통신 수단으로서의 종래의 정보 매체가 멀티 미디어의 대상으로서 간주된다. 일반적으로, 멀티 미디어는 문자뿐 아니라 그래픽, 사운드 특히 화상으로 동시에 표현되는 형태이다. 멀티 미디어로서 상기 서술된 종래의 정보 미디어를 동시에 취급하기 위해, 정보를 디지털적으로 표현하는 것이 필요하다.
그러나, 상기 서술된 각 정보 매체의 데이터 양을 디지털 데이터 양으로 계산할 때, 캐릭터당 데이터량이 1 ～2바이트인 반면, 초당 사운드의 데이터량은 64Kbits(전화 음질) 이상이고, 초당 동화상의 데이터량은 100Mbits(현재 TV 수신품질) 이상이기 때문에, 상기 서술된 종래의 정보 미디어를 사용하여 거대한 양의 정보를 디지털적으로 직접 처리하는 것이 비현실적이다. 예를 들면, 64kbps ～ 1.5Mbps 전송률을 갖는 ISDN(Integrated Services Digital Network)으로 인해, TV 전화는 이미 상업적으로 실현되어 왔지만, ISDN을 사용하므로 TV 카메라의 동화상을 전송하는 것은 불가능하다.
이 때문에, 정보 압축 기술이 필요하다. 예를 들면, ITU-T(International Telecommunication Union-Telecommunication Standardization Sector; 국제 전기 통신 연합-전기 통신 표준화 부분)에 의해 추천된 H.261 또는 H.263의 동화상 압축기술 표준이 TV 전화에 대해서 사용된다. 또한, MPEG-1 규격의 정보 압축 기술로, 음악용 통상의 CD(Compact Disc)에서 사운드 정보와 함께 이미지 정보를 저장하는 것이 가능하게 된다.
여기서, MPEG(Moving Picture Experts Group)은 동화상 신호를 디지털적으로 압축하기 위한 국제적인 표준으로서, ISO/IEC(the International Standardization Organization/International Engineering Consortium)에 의해 표준화되어 왔다. MPEG-1은 동화상 신호를 1.5Mbps로 압축, 즉, TV 신호 정보를 대략 백분의 1로 압축하는 표준이다. 또한, MPEG-1 규격을 만족하는 품질은 대략 1.5Mbps의 전송률로 실현될 수 있는 매체 수준이다. 그래서, MPEG-2는 고화질에 대한 필요를 충족하기 위해 규격화된 것이고, 동화상 신호를 2～15 Mbps로 압축한다. 현재, MPEG-1 및 MPEG-2를 표준화한 워크 그룹(ISO/IEC JTC1/SC29/WG11)은 더 높은 압축률을 갖는 MPEG-4를 표준화하였다. MPEG-4 규격은 (ⅰ) MPEG-1 규격 및 MPEG-2 규격보다높은 압축률을 달성하고, (ⅱ) 부호화, 복호화 및 물체 단위의 동작을 행하게 할 수 있고, (ⅲ) 이 멀티미디어 시대에 필요한 새로운 기능을 실현하게 한다. 이 MPEG-4 규격의 최초 목적은 저비트 레이트의 화상 부호화 방법을 표준화하는 것이지만, 이목적은 고비트 레이트의 인터페이스 화상의 부호화방법의 일반적인 목적으로 확장된다. 그 후, ISO/IEC 및 ITU-T는 공동으로, 고압축률을 갖는 차세대 화상의 부호화 방법으로서 MPEG-4 AVC(Advanced Video Coding)를 표준화하였다. 이것은 차세대 광디스크 관련 장치 또는 이동 단말용 방송에서 사용될 것으로 기대된다.
일반적으로, 동화상의 부호화에서, 공간적 및 시간적인 용장성을 감소시킴으로써 정보량은 압축된다. 시간적인 용장성을 감소시키기 위한 인터 픽쳐 예측 부호화에서, 움직임 추정 및 예측 화상 생성이 앞의 화상 또는 뒤의 화상을 참조하여 블록당 행해지고, 얻어진 예측 화상과 부호화되는 화상 사이의 차이 값에서 부호화가 행해진다. 여기서 사용된 "화상"은 하나의 화상을 나타내는 용어이다. 프로그레시브 화상에서, 하나의 화상은 하나의 프레임을 의미하지만, 인터레이스 화상에서는, 프레임 또는 필드를 의미한다. 여기서 서술된 "인터레이스 화상"은 약간의 시차를 갖는 2개 필드로 구성된 프레임을 의미한다. 인터레이스 화상의 부호화 및 복호화 처리에서, 2개 필드로서 프레임을 그대로, 또는 프레임씩, 또는 프레임의 각 블록의 필드씩 처리하는 것이 가능하다.
참조 화상을 참조하지 않고 인트라 예측 부호화를 행하는 화상을 I화상(Intra Coded Picture)라고 부른다. 또한, 오직 하나의 화상을 참조하여 인터 예측 부호화를 행하는 화상을 P화상(Predictive Coded Picture)라고 부른다. 또한, 2개의 참조 화상을 동시에 참조하여 인터 예측 부호화를 행하는 화상을 B화상(Bi-predictive Coded Picture)라고 부른다. B화상은 표시 시간의 전후의 화상의 임의의 조합으로서 선택된 2개의 화상을 참조할 수 있다. 이러한 2개의 참조 화상은 블록씩 특정될 수 있고, 이 블록은 부호화 및 복호화의 기본 단위이다. 이들 참조 화상들은 서로 다음과 같이 구별된다: 부호화 비트 스트림에서 이전에 서술된 참조 화상은 제1 참조 화상이라고 부르고, 뒤에 서술하는 다른 참조 화상은 제2 참조 화상이라고 부른다. 이러한 참조 화상들은, I화상, P화상, B화상을 부호화하거나 복호화하기 위해 이미 부호화되거나 복호화되어 있어야 한다.
움직임 보상 인트라 예측 부호화가 P화상 및 B화상의 부호화에 대해서 사용된다. 움직임 보상 인트라 예측 부호화는 움직임 보상이 적용되는 인트라 예측 부호화 방법이다. 움직임 보상은, 화상의 각 블록의 움직임 양(이후 움직임 벡터라고 부른다)을 추정하고, 움직임 벡터를 고려하여 예측 부호화를 행함으로써 예측 정밀도를 개선하고, 데이터 양을 감소시키는 방법이다. 예를 들면, 데이터 양은 부호화되는 화상의 움직임 벡터를 추정하고, 각 움직임 벡터의 양에 의해 시프트된 각 예측 값과 부호화되는 현재의 각 화상 사이의 각 예측 잔차를 부호화하여 감소된다. 이 방법의 경우, 움직임 벡터 정보는 복호화에서 필요하기 때문에, 움직임 벡터는 또한 부호화되고, 기록되거나 전송된다. 움직임 벡터는 매크로 블록 단위로 추정된다. 더 구체적으로는, 움직임 벡터는 부호화되는 화상의 매크로 블록을 고정하고, 탐색 범위내에 참조 화상의 매크로 블록을 이동시키고, 표준 블록에 가장 가까운 참조 블록의 위치를 찾아서 추정된다.
도 1a 및 1b는 각각 종래의 MPEG-2 스트림의 구조도이다.
도 1b에 나타낸 것같이, MPEG-2 스트림은 아래에 설명하는 것같은 계층적인 구조를 갖는다. 스트림은 Group of Pictures(이후 GOP라고 부른다)로 구성되어 있다. 부호화 처리에 있어서 기본 단위로서 GOP를 사용함으로써, 동화상을 편집하거나 랜덤 액세스를 실행하는 것을 가능하게 한다. GOP는 I화상, P화상, B화상으로 구성된다. 스트림, GOP 및 화상은 단위의 경계를 나타내는 동기 신호(sync), 단위에서 공통인 데이터를 나타내는 헤더를 더 포함하고, 여기서 단위는 각각 스트림, GOP 및 화상이다.
도 2a 및 2b는 MPEG-2에서 사용되는 인터 픽쳐 예측 부호화를 실행하는 방법을 나타내는 예를 각각 나타낸다.
도면에서 사선이 그어진 화상은 다른 화상에 의해 참조되는 화상들이다. 도 2a에 나타낸 것같이, MPEG-2의 예측 부호화에서, P화상(P0, P6, P9, P12 및 P15)은 표시 시간에서 직전의 I화상 또는 P화상으로서 선택된 단일 화상만을 참조할 수 있다. 또한, B화상(B1, B2, B4, B5, B7, B8, B10, B11, B13, B14, B16, B17, B19 및 B20)는 직전의 I화상 또는 P화상 및 직후의 I화상 또는 P화상의 조합으로서 선택된 2개의 화상을 참조할 수 있다. 또한, 스트림에 놓여지는 화상의 순서가 결정된다. I화상 및 P화상는 표시 시간순으로 놓여지고, 각각의 B화상은 B화상의 직후 표시되는 I화상 직후 또는 P화상의 직후에 놓여진다. GOP의 구조 예로서, 도 2b에 나타낸 것같이, I3 ～ B14의 화상은 단일 GOP로 그룹지어진다.
도 3a 및 3b는 복호순, 표시순 및 MPEG-2 스트림에서 사용된 GOP 구조의 복호 시간 및 표시 시간 사이에서 발생하는 지연량을 나타낸다.
여기서, MPEG-2 스트림은 고정 프레임 레이트을 가지고, B화상은 동시에 복호되어 표시된다. MPEG-2 스트림에서, 도 3a 및 3b에 나타낸 것같이, GOP의 선두 화상의 복호시간으로부터 선두 화상의 표시 시간까지의 타임 래그인 지연량은 최대 1프레임, 즉 2필드와 같다. 이 지연량은 이후 프레임 지연이라고 칭하고, 프레임 지연의 길이는 프레임 단위로 계수된다(1프레임은 2필드에 상당한다). DVD(Digital Versatile Disk)와 같은 광디스크 장치는 프레임 지연이 하나로 고정된 것으로 정의된 MPEG-2 규격을 사용한다. 지연량은 표시 등의 풀링 다운시에 60Hz로 변화가능하고, 스트림이 24Hz로 부호화된다. 프레임 레이트에 따라서 부호화 스트림을 표시하는 경우에 기초하여 지연량을 결정하는 것이 가능하기 때문에, 프레임 레이트에 따라서 부호화 스트림을 표시하는 경우를 설명한다.
도 4는 MPEG-4 AVC 스트림의 구조적인 도면이다. MPEG-4 AVC의 GOP와 동일한 개념은 아니다. 그러나, 다른 화상에 기초하지 않고 복호화될 수 있는 특별한 화상의 유닛에서 데이터를 세그멘팅하여 GOP에 동일한 랜덤-액세스가능한 액세스 단위를 구성하는 것이 가능하므로, 유닛은 이후 RAU(Random Access Unit)으로 부른다.
MPEG-4 AVC에는 2개 유형의 I화상이 있다. 그것은 IDR(Instantaneous Decoder Refresh) 및 그 나머지이다. IDR 화상은 복호 순서에서 IDR 화상 앞에 놓여진 화상을 참조하지 않고, 복호 순서에서 IDR 화상 뒤에 놓여지는 모든 화상을 복호할 수 있는 I화상이다. IDR 화상은 MPEG-2 closed GOP의 정상 I화상에 대응한다. IDR 화상이 아닌 I화상의 경우에, 복호순서에서 I화상 다음에 놓여지는 화상은 복호 순서에서 I화상 전에 놓여진 화상을 참조할 수 있다. 또한, 랜덤 액세스 단위(RAU)의 정상에서 IDR 화상이 아닌 I화상을 놓고, 랜덤 액세스 단위(RAU)에서 화상의 예측 구조를 제한함으로써, MPEG-2에서 오픈 GOP와 같은 구조를 형성할 수 있다.
도 5는 MPEG-4 AVC 스트림에서 화상의 예측 구조의 예이다.
MPEG-4 AVC는 유연한 예측 구조를 갖게 하기 때문에, 예를 들면 화상(P2)은 화상(I8)을 참조할 수 있다. 도 5의 예에서, 화상(I8) 후에 표시가 시작되기 때문에, 화상(P2)는 우선 복호되고, 프레임 지연은 2가 된다. 예측 구조는 이와 같이 유연한하기 때문에, 프레임 지연은 MPEG-2의 경우에서와 같이 최대 하나에 한정되지 않는다. 이것은 프레임 지연이 예측 구조에 의거해서 가변인 것을 의미한다. 그러므로, 프레임 지연이 하나로 고정되어 있는 조건에서 재생을 행하는 것이 불가능하다.
DVD 등의 패키지 미디어는, (ⅰ) 동일 스트림의 특정 부분이 선택적으로 재생되거나 다른 스트림이 순서대로 재생될 수 있는 재생, (ⅱ) 다른 앵글로 스트림을 변경하면서 재생을 행하는 멀티 앵글 재생 등의 특수 재생 기능을 갖는다. 이러한 기능을 이용하는 기본 단위는 MPEG-2에서 GOP이고, MPEG-4 AVC에서 랜덤 액세스 단위(RAU)이다.
도 6a～6c는 MPEG-2에서 재생되는 스트림을 변경하는 예를 나타낸다. 도 6a～6c는 각각 스트림 1, 2, 및 3에 포함된 GOP를 나타낸다. 여기서, 재생되는 스트림은 GOP1-1 다음에 GOP2-1을 복호함으로써 스트림 1에서 스트림 2로 변화한다. 프레임 지연량이 GOP1-1 및 GOP2-1 모두에서 하나이기 때문에, 표시 시에 갭의 발생을 허락하지 않고 고정된 비율로 재생을 행할 수 있게 한다. 마찬가지로, GOP1-1 다음에 GOP3-1을 복호화하여 스트림 1에서 스트림 3까지 변화시킬 수 있다.
종래에, 상기 서술된 것과 같이 동화상 부호화, 다중화, 복호화 및 역다중화에 관한 각종 기술들이 제안되어 왔다(예를 들면, 일본 공개 특허 번호 2003-18549).
도 7은 동화상을 부호화하고 다중화하는 종래의 다중화 장치의 동작을 나타내는 플로우챠트이다.
우선, 단계 101 및 단계 102에서, 다중화 장치는 하나 이상의 스트림을 부호화한다. 다음에, 단계 103에서, 관리정보를 작성하여 단계 104로 진행한다. 관리 정보는 단계 101에서 작성된 스트림을 액세스하는 정보, 멀티 앵글 재생 등의 특수 재생시에 재생되는 데이터를 나타내는 정보를 포함한다. 그 후, 단계 104에서, 스트림 데이터와 관리 정보를 다중화하여 다중화된 데이터를 출력한다.
도 8은 종래의 다중화 장치의 구조를 나타내는 블록도이다.
*다중화 장치(800)는 부호화부(11), 메모리(12), 관리 정보 작성부(13) 및 다중화부(14)를 포함한다.
부호화부(11)는 입력된 동화상 데이터(Vin)를 부호화하여, 부호화된 데이터(strIn)를 메모리(12)에 저장한다.
관리정보 작성부(13)는 독출 데이터(strOut1)로서 메모리(12)로부터 부호화된 데이터를 독출하여, 관리정보(base)를 작성하고, 관리 정보(base)를 다중화부(14)에 출력한다. 관리정보(base)는 프레임 지연에 대한 정보를 포함하지 않는다.
다중화부(14)는, (ⅰ) 관리 정보(base), (ⅱ) 메모리(12)로부터 독출된 독출 데이터(strOut2), 및 (ⅲ) 사용자에 의해 설정되고, 스트림으로부터 개별적으로 얻어진 설정 정보 등의 부가 정보(adInf)를 다중화하여, 다중화 데이터(MuxDat)를 출력한다. 여기서, 부가 정보(adInf)는 MPEG-2 트랜스포트 스트림(TS) 또는 프로그램 스트림(PS) 등의 방식 또는 응용에 의해 결정된 다른 방식을 이용하여 패킷화되어 다중화될 수 있다. 예를 들면, Blu-ray Disc(BD) 표준에서, 독출 데이터(strOut2)는 4바이트 헤더가 소스 패킷(Source Packet)으로 불리는 MPEG-2 TS 패킷에 부가되어 있는 방식을 이용하여 다중화되고, 저장된다.
도 9a는 다중화 장치(800)로부터 출력된 다중화 데이터의 구조예를 나타낸다.
도 9a에 나타낸 것같이, 관리 정보 및 하나 이상의 부호화 스트림은 다중화 데이터에 저장된다. 또한, 각 스트림을 하나 이상의 클립으로 핸들링하여, 다이제스트 재생 및 멀티 앵글 재생 등의 각종 재생 방법을 구현한다. 여기서, 클립은 랜덤 액세스 단위(RAU) 또는 동일한 스트림의 랜덤 액세스 단위(RAU)의 시퀀스에서 하나의 화상 또는 화상 열을 나타내고, 클립과 스트림은 동일할 수 있다. 도 9b와 도 9c는 재생 샘플을 나타낸다. 특히, 도 9b는 멀티 앵글 재생의 예를 나타낸다. 스트림 1 및 스트림 N이 다른 앵글에서 비디오를 각각 저장하는 경우에, 스트림 1의 클립 1-1 다음에 앵글을 변화하여 스트림 N의 클립 N-2를 재생하고, 클립 N-2의 재생을 완료한 후 스트림 1의 재생으로 되돌아 가는 것이 가능하다. 예를 들면, 스트림 1에서 클립 1-1 및 클립 1-N을 선택적으로 재생함으로써 대표적인 장면을 재생하는 것이 가능하다.
도 10은 부호화 데이터를 얻기 위해 다중화 데이터를 역다중화하고 부호화 데이터를 재생하는 종래의 역다중화 장치의 동작을 나타내는 플로우챠트이다.
우선, 단계 S201에서, 역다중화 장치는 다중화 데이터를 역다중화하여 관리 정보를 얻고, 재생되는 하나 이상의 클립에 대한 정보를 얻고, 단계 204로 진행한다. 클립에 대한 정보는 클립의 시작 시간 또는 종료 시간과, 클립에서 부호화 데이터를 액세스하는데 사용된 액세스 정보 등을 포함한다. 단계 204 및 단계 205에서, 역다중화 장치는 클립에서 화상들을 클립에서 최종 화상까지 복호하여 표시한다. 여기서, 재생의 종료를 나타내는 지시가 사용자 조작 등에 의해 만들어지는 경우, 지시가 유효하게 될 때에 재생이 완료된다.
도 11은 종래의 역다중화 장치(900)의 구조를 나타내는 블록도이다.
역다중화 장치(900)는 관리정보 역다중화부(21), 클립정보 분석부(22), 복호화부(24) 및 표시부(26)를 포함한다.
관리정보 역다중화부(21)는 광디스크 등의 다중화 데이터 기록 매체로부터 다중화 데이터(MuxDat)를 독출하여, 관리 정보를 분석하고, 사용자의 지시 또는 소정의 방법에 따라서 재생되는 클립을 결정한다. 그 후, 관리정보 역다중화부(21)는 클립정보 분석부(22)에, 결정된 클립에 대한 정보인 클립정보(Clip)를 출력한다.
클립정보 분석부(22)는 복호화부(24)에, 클립을 구성하는 화상을 액세스하기 위해 사용된 액세스정보를 출력한다. 한편, 복호화부(24)는 액세스 정보(acs)에 기초하여 다중화 데이터 기록 매체로부터 영상 데이터(Vdat)를 독출하고, 독출된 데이터를 복호화하고, 복호화 결과(decOut)를 표시부(26)에 출력한다. 표시부(26)는 표시 순으로 복호 결과를 표시한다.
MPEG-4 AVC가 유연한 예측 구조를 허가하므로, 클립의 프레임 지연은 가변이다. 종래의 역다중화 장치는 클립의 프레임 지연을 고려하지 않고 클립을 변화시키기 때문에, 다른 프레임 지연으로 클립을 변화시키는 때에, 화상의 표시 간격의 갭이 발생한다.
도 12a ～ 12c는 하나의 프레임 지연을 갖는 클립으로부터 2프레임 지연을 갖는 프레임으로 변화시키는 예를 나타낸다.
도 12a는 하나의 프레임 지연을 갖는 스트림 1의 랜덤 액세스 단위(RAU1-1)을 나타내고, 도 12b는 2 프레임 지연을 갖는 스트림 2의 랜덤 액세스 단위(RAU2-1)을 나타낸다. 여기서, 도 12c는 RAU1-1 다음에 RAU2-1를 재생할 때에 복호화 및 표시의 타이밍을 나타낸다.
RAU1-1의 프레임 지연은 하나이기 때문에, RAU1-1의 복호순에서 최종인 화상(P15)이 표시되는 때에, RAU2-1의 선두 화상인 화상(I8)이 복호된다. 그러나, RAU2-1의 프레임 지연은 2이고, 복호순에서 두번째인 화상(P2)이 표시되는 때에, RAU2-1의 화상의 표시가 시작되어야 한다. 그러므로, 화상(P2)이 복호될 때에 표시되는 화상이 없다. 따라서, 표시 간격에서 갭은 화상(P15) 및 화상(B0) 사이에서 발생한다.
이와 마찬가지로, 랜덤 액세스 단위(RAU2-1) 뒤에 랜덤 액세스 단위(RAU1-1)를 재생하는 경우에, 화상을 연속적으로 표시하기 위해 복호 간격에서 갭이 발생한다. 즉, 표시 간격에서 중첩이 발생한다. 표시 순서에서의 갭은 이후, 커넥션에서 프레임 지연량이 증가하고 감소하는 두 경우에 발생하는 연속의 불연속성을 의미한다.
여기까지 서술한 것같이, 종래의 역다중화 장치는 다른 프레임 지연을 갖는 클립이 변화하는 부분에 놓여진 화상을 고정된 프레임을 유지하면서 표시할 수 없기 때문에, 종래의 다중화 및 역다중화 장치는 동화상을 보는 사용자가 불편하게 느끼게 되는 문제를 갖는다.
본 발명은 상기 서술된 문제를 해결하고자 하는 것이다. 본 발명의 목적은, 멀티 앵글 재생과 같은 어느 특수 재생의 때에도 사용자가 불편하게 느끼게 하지 않게 다중화 데이터를 작성하도록 부호화 스트림을 다른 정보로 다중화하는 장치와, 부호화 스트림을 재생하도록 다중화 데이터를 역다중화하는 역다중화 장치를 제공하는 것이다.
상기 목적을 달성하기 위해, 본 발명의 다중화 장치는 랜덤-액세스가능한 액세스 단위로 부호화 화상을 포함하는 하나 이상의 부호화 스트림을 다른 정보와 함께 다중화하는 것이다. 상기 다중화 장치는 부호화 스트림에 포함된 모든 액세스 단위에서 2개의 액세스 단위를 순서대로 복호화하는 처리에서 소정의 2개 액세스 단위의 연결에서 갭이 발생하지 않도록 부호화 스트림을 작성하는 부호화부, 및 상기 부호화부에 의해 작성된 부호화 스트림을 다른 정보와 함께 다중화하는 다중화부를 포함한다. 예를 들면, 본 발명의 제1 양상에서, 상기 부호화부는 상기 2개의 액세스 단위에서 지연량이 서로 동일하게 되도록 부호화 스트림을 작성하고, 각각의 지연량은 복호순서에서 선두 화상이 복호화되는 때로부터 표시순서에서 선두 화상이 표시되는 때까지의 시차가다.
이와 같이, 특수 재생이 행해지는 2개의 액세스 단위(클립 등)의 지연량(프레임 지연)이 서로 동일하게 되도록 부호화 스트림이 작성된다. 그러므로, 이들 액세스 단위가 순서대로 복호화될 때에 이들 액세스 단위의 연속에서 갭이 발생하지 않는다. 즉, 이들 액세스 단위는 특수 재생시에 심리스하게(seamlessly) 서로 연결되어 있다. 이것은 프레임 레이트가 불변인 것을 의미한다. 따라서, 이들 액세스 단위로 구성된 동화상을 보는 사용자가 불편을 느끼게 하는 것을 제거하는 것이 가능하게 된다. 여기서, 예를 들면, 응용 프로그램의 동작 규격에 따라서 지연량이 미리 결정되는 경우에, 이들 2개의 액세스 단위의 지연량이 소정의 지연량에 조정되도록 부호화 스트림이 작성된다.
또한, 본 발명의 제2 양상에서, 다중화 장치는 지연량에 관한 지연 정보를 작성하는 지연 정보 작성부를 더 포함하고, 상기 장치에서, 다중화부는 다른 정보와 함께 상기 지연 정보 작성부에 의해 작성된 지연량을 다중화한다. 예를 들면, 본 발명의 제3 양상에서, 상기 지연 정보 작성부는 지연량을 나타내는 지연 정보를 작성한다. 한편, 본 발명의 제3 양상에서, 지연 정보 작성부는 지연 정보로서 2개의 액세스 단위가 심리스하게 연결될 수 있는 것을 나타내는 플래그를 작성한다.
이와 같이, 역다중화 장치는 지연 정보(프레임 지연 정보)가 지연량을 나타내는 경우에, 상기 지연 정보를 통해 이들 2개의 액세스 단위의 지연량을 쉽게 얻을 수 있다. 또한, 역다중화 장치는, 지연 정보로서의 플래그가 이들 2개의 액세스 단위의 지연량이 서로 동일한 것을 나타내는 경우에, 이들 2개의 액세스 단위의 지연량을 쉽게 얻을 수 있다.
또한, 본 발명의 제2 양상에서, 부호화부는 부호화 스트림에 포함된 모든 액세스 단위에서 2개의 액세스 단위의 연결에서 갭이 발생하지 않도록 부호화 스트림을 작성할 수 있고, 상기 연결은 각 변화가능점이다.
이들 2개의 액세스 단위는 다른 앵글을 가지기 때문에, 이들 액세스 단위가 상기 서술된 경우에서와 같이 순서대로 복호화되는 때에 이들 액세스 단위의 연결에서 갭이 발생하지 않는다. 즉, 이들 액세스 단위는 심리스한 멀티 앵글 방식으로 연결된다. 이것은 프레임 레이트가 불변인 것을 의미한다. 따라서, 다른 앵글을 갖는 이들 액세스 단위로 구성된 동화상을 보는 사용자가 불편하게 느끼게 하는 것을 제거할 수 있게 된다.
또한, 상기 서술된 목적을 달성하기 위해, 본 발명의 역다중화 장치는, (ⅰ) 랜덤 액세스 가능한 액세스 단위로 부호화 화상을 포함하는 부호화 스트림, 및 (ⅱ) 모든 액세스 단위 중 소정의 2개의 액세스 단위에서 지연량에 관한 지연 정보를 포함하고, 각각의 지연량은 복호순서에서 선두 화상이 복호화되는 때로부터 표시 순서에서 선두 화상이 표시되는 때까지의 시차인, 다중화 데이터를 역다중화하고, 상기 역다중화 장치는 지연 정보를 얻기 위해 다중화 데이터를 역다중화하는 지연 정보 역다중화부; 및 지연 정보 다중화부가 다중화 데이터를 역다중화할 때에 얻어진 지연 정보에 따라서 액세스 단위를 순서대로 복호화하고 재생하는 재생부를 포함한다.
특수 재생이 행해지는 이들 2개의 액세스 단위(클립 등)의 지연량이 동일하게 되도록 부호화 스트림이 작성되는 경우에, 특수 재생시에 이들 2개의 액세스 단위의 연결에서 갭이 발생하지 않도록 하여 이들 2개의 액세스 단위를 순서대로 복호화하고 재생하는 것이 가능하게 된다. 즉, 이들 액세스 단위를 심리스하게 연결하는 것이 가능하게 된다. 이것은 프레임 레이트를 불변으로 만드는 것이 가능하게 됨을 의미한다. 따라서, 이들 액세스 단위로 구성된 동화상을 보는 사용자가 불편을 느끼게 만드는 것을 제거하는 것이 또한 가능하게 된다. 또한, 지연량이 지연 정보(프레임 지연 정보)로 표시되는 경우의 예에서, 지연 정보를 통해 이들 2개의 액세스 단위의 지연량을 쉽게 얻는 것이 가능하다. 또한, 지연 정보가 플래그를 이용하여 표시되는 경우에, 이들 2개의 액세스 단위의 지연량이 서로 같은 것을 나타내는 정보를 쉽게 얻을 수 있다. 따라서, 보다 바람직한 역다중화 처리를 실행할 수 있다.
또한, 상기 서술된 목적을 달성하기 위해, 본 발명의 다중화 방법에서, 동화상은 부호화되고, 부호화된 동화상은 관리 정보와 함께 다중화되고, 상기 다중화 방법은 하나 이상의 부호화 스트림을 작성하는 단계; 부호화 스트림에서 프레임 지연을 얻는 단계; 얻어진 프레임 지연을 나타내는 정보를 포함하는 관리 정보를 작성하는 단계; 및 부호화 스트림을 관리 정보와 함께 다중화하는 단계를 포함한다. 상기 다중화 방법에서, 부호화 스트림은 하나 이상의 랜덤 액세스 단위로 구성되고, 프레임 지연은 이들 랜덤 액세스 단위에서 복호순서에서 정상지연이 복호화되는 때로부터 표시순서에서 선두 화상이 표시되는 때까지의 기간동안, 각각 발생하는 지연량을 표시하고, 이 부호화 스트림에서 프레임지연은 가변이다.
또한, 관리정보는 부호화 스트림의 프레임 지연을 포함할 수 있다.
또한, 관리 정보는 부호화 스트림에서 프레임 지연의 최대값을 포함할 수 있다.
또한, 관리 정보는 프레임 지연이 서로 동일할 때 부호화 스트림에서 공통의 프레임 지연으로서 동일한 프레임 지연을 포함할 수 있다.
또한, 관리 정보는 이들 랜덤 액세스 단위로 구성된 재생부에 기초하여 프레임 지연을 포함할 수 있다.
또한, 본 발명의 역다중화 방법은 다중화 방법에 따라서 다중화된 데이터를 역다중화하고 결과의 다중화된 데이터를 재생하는 역다중화 방법이다. 역다중화 방법은, 재생되는 이들 랜덤 액세스 단위가 속하는 부호화 스트림의 프레임 지연을 얻는 단계; 얻어진 프레임 지연에 기초하여 재생시에 프레임 지연을 결정하는 단계; 및 결정된 프레임 지연에 따라서 이들 랜덤 액세스 단위에 포함된 화상을 재생하는 단계를 포함한다.
또한, 프레임 지연의 결정에서, 현재의 랜덤 액세스 단위 뒤에 오는 이들 랜덤 액세스 단위는 현재의 랜덤 액세스 단위로서 바로 재생되는 랜덤 액세스 단위의 프레임 지연과 동일한 프레임 지연을 갖고 재생될 수 있다.
본 발명은 상기 서술된 다중화 장치, 역다중화 장치, 다중화 방법 및 역다중화 방법으로서 실현될 수 있을 뿐 아니라, 다중화 장치 및 역다중화 장치용 프로그램, 이 프로그램 및 상기 다중화 장치에 의해 작성된 다중화 데이터를 저장하는 기록 매체로서 실현될 수 있다.
여기까지, 본 발명은 특수 재생시라도 고정된 프레임 레이트의 표시를 보증하는 것을 가능하게 하기 때문에, 사용자가 불편하게 느끼게 하는 것을 제거할 수 있다. 특히, 본 발명은 패키지 매체의 재생품질을 개선하는 것을 가능하게 하므로, 매우 실용적이다.
2004년 6월 2일에 출원된 일본 특허 출원 번호 2004-165030의 상세한 설명, 도면 및 청구범위를 포함하는 명세서는 그 전체가 여기에 참고로 포함되어 있다.
본 발명의 이들 및 다른 목적, 장점 및 특징은 본 발명의 특정 실시예를 나타내는 첨부도면과 결합하여 취해진 다음의 설명으로부터 분명해진다.
본 발명의 다중화 방법 및 역다중화 방법은 멀티 앵글 재생 및 다이제스트 재생 등의 특수 재생 기능을 가지는 일반적인 장치들에 적용될 수 있으므로, MPEG-4 AVC 부호화 스트림이 다중화되는 패키지 미디어의 재생에 특히 효과적이다.
도 1a 및 1b는 MPEG-2 스트림의 구조를 나타내는 도면이다.
도 2a 및 2b는 MPEG-2 스트림에서 GOP의 구조를 나타내는 도면이다.
도 3a 및 3b는 MPEG-2 스트림에서 프레임 지연을 나타내는 도면이다.
도 4는 MPEG-4 AVC 스트림의 구조를 나타내는 도면이다.
도 5는 MPEG-4 AVC 스트림에서 예측 구조의 예를 나타내는 도면이다.
도 6a ～ 6c는 MPEG-4 AVC 스트림에서 클립이 어떻게 변화하는지의 예를 나타내는 도면이다.
도 7은 종래의 다중화 장치의 동작을 나타내는 플로우챠트이다.
도 8은 종래의 다중화 장치의 구조를 나타내는 블록도이다.
도 9a ～ 9c는 종래의 다중화 장치로부터 출력된 데이터의 구조예를 나타내는 도면이다.
도 10은 종래의 다중화 장치의 동작을 나타내는 플로우챠트이다.
도 11은 종래의 다중화 장치의 구조를 나타내는 블록도이다.
도 12a ～ 12c는 종래의 다중화 장치에 의해 출력된 다중화 데이터를 재생할 때에 발생하는 문제의 예를 나타내는 도면이다.
도 13은 본 발명의 제1 실시예에서 다중화 장치의 동작을 나타내는 플로우챠트이다.
도 14는 본 발명의 제1 실시예의 다중화 장치를 나타내는 블록도이다.
도 15a ～ 15e는 본 발명의 제1 실시예의 다중화 장치에 의해 출력된 데이터의 구조예를 나타내는 도면이다.
도 16은 본 발명의 제2 실시예의 다중화 장치의 동작을 나타내는 플로우챠트이다.
도 17은 본 발명의 제2 실시예의 다중화 장치의 블록도이다.
도 18은 본 발명의 제3 실시예의 역다중화 장치의 동작을 나타내는 플로우챠트이다.
도 19는 본 발명의 제3 실시예에서 재생에서 프레임 지연을 결정할 때에 역다중화 장치의 동작을 나타내는 플로우챠트이다.
도 20a ～ 20d는 본 발명의 제3 실시예에서 재생에서 프레임 지연을 결정할 때에 역다중화 장치의 동작예를 나타내는 도면이다.
도 21은 본 발명의 제3 실시예에서 재생에서 역다중화 장치를 나타내는 블록도이다.
도 22는 HD-DVD의 데이터 계층을 나타내는 도면이다.
도 23은 HD-DVD의 논리적인 공간의 구조를 나타내는 도면이다.
도 24는 VOB 정보 파일의 구조를 나타내는 도면이다.
도 25는 타임 맵의 도면이다.
도 26은 플레이 리스트 파일의 구조를 나타내는 도면이다.
도 27은 플레이 리스트에 대응하는 프로그램 파일의 구조를 나타내는 도면이다.
도 28은 BD 디스크 관리 정보 파일의 구조를 나타내는 도면이다.
도 29는 글로벌 이벤트 핸들러를 기록하기 위한 프로그램 파일의 구조를 나타내는 도면이다.
도 30은 HD-DVD 플레이어의 개략적인 구조를 나타내는 블록도이다.
도 31a 및 31b는 본 발명의 다중화 방법 및 역다중화 방법을 구현하는 프로그램이 기록된 기록매체의 구조를 나타내는 도면이고, 도 31c는 플렉서블 디스크에 프로그램을 기록하고 재생하는 구조의 도면이다.
본 발명의 실시예를 도면을 참조하여 설명한다.
(제 1실시예)
도 13은 본 발명의 제1 실시예의 다중화 장치의 동작을 나타내는 플로우챠트이다. 다중화장치는 다중화된 데이터에 저장되는 부호화 스트림의 프레임 지연 정보를 나타낼 수 있는 다중화된 데이터를 출력한다.
우선, 단계 301에서, 다중화 장치는 MPEG-4 AVC 부호화 스트림을 작성한다. 단계 302에서, 단계 301에서 작성된 부호화 스트림의 프레임 지연을 취득하고, 단계 303으로 진행한다. 단계 303에서, 다중화 데이터에 저장되어야 하는 모든 부호화 스트림이 이미 작성되어 있는지 아닌지를 판단하고, 모든 부호화 스트림이 작성될 때까지 단계 301와 단계 302의 처리를 반복한다. 단계 304에서, 다중화 데이터의 관리정보로서 저장되어야 하는 프레임 지연 정보를 작성하고, 단계 305로 진행한다. 단계 305에서, 종래의 다중화 장치에 의해 작성된 정보에 더하여 프레임 지연 정보를 나타내는 관리 정보를 작성한다. 최종적으로, 단계 306에서, 단계 301에서 작성된 부호화 스트림을, 단계 305에서 작성된 관리 정보와 함께 다중화하여, 다중화된 데이터를 출력한다.
도 14는 본 발명의 제1 실시예의 다중화 장치의 구조를 나타내는 블록도이다.
다중화 장치(100A)는 부호화부(15), 메모리(12), 관리정보 작성부(16), 프레임 지연 취득부(17) 및 다중화부(18)를 포함한다.
이 실시예의 다중화 장치(100A)의 상기 서술된 성분과 도 8에 나타낸 종래의 다중화 장치의 동일한 성분에는 동일한 참조부호를 할당하고, 이들 성분들은 여기에 다시 설명하지 않는다.
부호화부(15)는 입력된 동화상 데이터(Vin)를 부호화하고, 결과의 부호화 데이터(strIn)를 메모리(12)에 저장한다. 또한, 프레임 지연 취득부(17)에, 부호화 데이터(strIn)의 프레임 지연(frDly)를 출력한다.
프레임 지연 취득부(17)는 관리 정보에 저장되는 지연 정보(dlyInf)를 프레임 지연 정보로서 작성하여, 관리정보 작성부(16)에 출력한다.
관리정보 작성부(16)는 지연 정보(dlyInf)와, 독출데이터(strOut1)로서의 메모리(12)로부터 독출된 부호화 데이터(strIn)의 분석결과에 기초하여 관리 정보(base)를 작성하고, 다중화부(18)에 출력한다.
다중화부(18)는 부호화 데이터로부터 개별적으로 취득되도록, 관리정보(base)와, 메모리(12)로부터 독출된 독출 데이터(strOut2)와 사용자에 의한 설정 정보인 부가 정보(adInf)를 다중화하여, 다중화 데이터(MuxDat)를 출력한다. 부호화시에 프레임 지연은 소정치 이하에 한정될 수 있고, 프레임 지연은 부호화부(15)에 의해 설정된다.
도 15a ～ 도 15e는 다중화 장치(100A)에 의해 출력된 다중화 데이터의 구조예를 나타낸다.
다중화 데이터는 도 15a에 나타낸 것같이 다중화 데이터에 저장되는 클립의 프레임 지연 정보를 나타낸다. 여기서, 클립의 N수는 다중화 데이터에 저장되고, 프레임 지연은 딜레이 1 ～ 딜레이 N이다. 각각의 클립은 동일한 부호화 스트림에서 다른 영역을 나타내는 단위이거나 다른 부호화 스트림에 속하는 클립일 수 있다.
도 15b ～ 15d는 프레임 지연 정보의 예를 나타낸다. 도 15b는 테이블 정보로서 각각의 클립의 프레임 지연을 저장한다. 도 15c는 클립의 프레임 지연의 최대값을 나타낸다. 최대값으로서, 다중화 데이터에 저장되어야 하는 모든 클립들의 프레임 지연들중의 최대값이 보여지거나 또는 순서대로 재생되어야 하는 클립들의 프레임 지연들 중에서 최대값을 플레이 리스트에 의거하여 나타낼 수 있다. 또한, 소정값은 최대값로서 나타낼 수 있다. 도 15d는 각각의 클립들 사이에서 공통으로 사용되는 프레임 지연의 값을 나타낸다. 각각의 클립들의 프레임 지연이 유효한 경우에, 이들 값들을 나타낼 수 있다. 또한, 각각의 클립들의 프레임 지연이 유효하지 않은 경우에, 재생시에 사용된 프레임지연은 서로 동일하다. 예를 들면, 이들 프레임 지연이 서로 동일한지 아닌지를 나타내는 플래그정보가 저장된다. 도 15b ～ 도 15d에 나타낸 정보는 조합하여 사용될 수 있다.
오직 특정 클립에 대한 프레임 지연을 나타낼 수 있다. 우선, 클립의 재생 방법에 의거하여 멀티 앵글 재생 또는 다이제스트 재생에 사용되는 클립에 대한 프레임 지연 정보를 나타낼 수 있다. 또한, 클립에서 정상 랜덤 액세스 단위의 속성에 의거하여 프레임 지연을 설정할 수 있다. 예를 들면, 앵글이 IDR 화상에서 변화한다고 정의되어 있는 경우에, 그 정상 랜덤 액세스 단위가 IDR 화상인 클립에 대해서만 프레임 지연 정보가 도시될 수 있다. 또한, 프레임 지연 정보는 클립들이 서로 심리스하게 확실히 연결되어 있는 것을 보증하는 다이제스트 재생의 경우에만 보여질 수 있다.
또한, 다중화 데이터에 저장되는 부호화 스트림의 프레임 지연 정보는 각 클립들의 프레임 지연 정보를 직접 나타내지 않고 보여질 수 있다. 이 때, 각 클립이 속하는 부호화 스트림과 부호화 스트림의 프레임 지연을 나타내는 정보를 결합하여 각 클립들의 프레임 지연을 나타낼 수 있다. 이 방법은 (ⅰ) 동일한 부호화 스트림에서 각 클립들의 프레임 지연이 유효하지 않은 경우, (ⅱ) 동일한 부호화 스트림에 포함된 클립들의 프레임 지연의 최대값이 보여지는 경우의 모두에 사용될 수 있다.
* 프레임 지연들이 서로 동일하여야 하다고 정의되거나, 프레임 지연중의 최대값 또는 소정값이 정의되어 있는, Blu-Ray Disc(BD) 또는 고화질(HD)-DVD 등의 이용 규격을 이용하는 경우, 이러한 응용 규격이 프레임 지연에 대한 정보를 나타내기 때문에, 프레임 지연이 관리 정보로서 저장될 수 있다.
또한, TS 또는 RTP(Real-time Transmission Protocol) 등의 프로토콜을 이용하여 네트워크를 통해서 다중화 데이터를 수신하는 경우에, 프레임 지연 정보는 재생 제어정보로서 얻어질 수 있다. 예를 들면, 재생 단말에 재생 제어정보를 통지할 때에 SDP(Session Description Protocol)를 사용하는 경우에, SDP에 프레임 지연 정보를 서술할 수 있다. 또한, SMIL(Synchronized Multimedia Integration Language) 등의 장면(scene) 기술 언어로 프레임 지연을 나타냄으로써 프레임지연은 재생 단말에 통지될 수 있다.
또한, 프레임 지연 정보는 랜덤 액세스 기반으로 랜덤 액세스하게 표시될 수 있다. 또한, 프레임 지연 정보는 예를 들면 랜덤 액세스 단위(RAU)에서 선두 화상에 부가함으로서 부호화 스트림으로 표시될 수 있다.
프레임 지연 정보는 이 방식으로 다중화 장치에 의해 출력되는 다중화 데이터의 관리 정보에 의해 표시된다. 그러므로, 다중화 데이터를 재생하는 때에 프레임 지연을 조정하여, 클립의 변경시에 디스플레이에 갭을 발생하지 않고 부호화 스트림을 재생할 수 있게 한다.
(제2 실시예)
도 16은 본 발명의 제2 실시예의 다중화 장치의 동작을 나타내는 플로우챠트이다.
우선, 단계 401에서, 다중화 장치는 다중화 데이터에 저장되는 부호화 스트림에서 공통으로 사용되는 프레임 지연의 값을 설정한다. 단계 402에서, 단계 401에서 설정된 프레임 지연에 기초하여 MPEG-4 AVC 부호화 스트림을 작성한다. 단계 403에서, 다중화 데이터에 저장되어야 하는 모든 부호화 스트림이 이미 작성되어 있는지 아닌지를 판단하고, 모든 부호화 스트림이 부호화될 때까지 단계 402의 처리를 반복한다. 단계 404에서, 다중화 데이터의 관리정보로서 저장되어야 하는 프레임 지연 정보를 작성하고, 단계 405로 진행한다. 단계 405에서, 종래의 다중화 장치에 의해 작성된 정보에 더하여 프레임 지연 정보를 나타내는 관리 정보를 작성한다. 최종적으로, 단계 406에서, 단계 401에서 작성된 부호화 스트림과 단계 405에서 작성된 관리 정보를 다중화하여, 결과의 다중화 데이터를 출력한다.
도 17은 본 발명의 제2 실시예의 다중화 장치의 구조를 나타내는 블록도이다.
다중화 장치(100B)는 프레임 지연 결정부(41), 부호화부(42), 메모리(12), 관리정보 작성부(16) 및 다중화부(18)를 포함한다.
이 실시예의 다중화 장치(100B)의 상기 서술된 성분과 도 8에 나타낸 종래의 다중화 장치의 동일한 성분에는 동일한 참조부호를 할당하고, 이러한 성분들은 여기에 다시 설명하지 않는다.
프레임 지연 결정부(41)는 부호화 스트림의 프레임 지연을 결정하고, 지연 정보(dlyInf)를 부호화부(42)와 관리정보 작성부(16)에 출력한다. 여기서 결정된 프레임 지연은 응용 규격에 의해 결정된 값이거나, 다중화 장치에 대해서 설정되거나 또는 사용자에 의해 설정될 수 있다.
부호화부(42)는 지연 정보(dlyInf)에 의해 표시된 프레임 지연에 기초하여 입력된 동화상 데이터(Vin)를 부호화하여, 부호화 데이터(strIn)를 메모리(12)에 저장한다. 즉, 이와 같이 부호화부(42)는 서로 동일한 랜덤 액세스 단위에 프레임 지연을 만드는 하나 이상의 부호화 데이터(strIn)을 작성하므로, 하나 이상의 부호화 데이터(strIn)에 포함된 액세스 단위(부호화 데이터 자신 또는 클립)인 특정의 2개 액세스 단위가 순서대로 복호화될 때, 이들 액세스 단위들의 연결에 갭이 발생하지 않는다. 복호 시에 이들 액세스 수단의 연결에서 갭의 발생을 방지하는 것은, 화상의 표시 간격에서 갭의 발생을 방지하고, 화상의 복호 간격에서 중첩의 발생을 방지하는 것을 의미한다.
관리정보 작성부(16)는 지연 정보(dlyInf)와 메모리(12)로부터 독출된 부호화 데이터(strOut1)의 분석결과에 기초하여 관리 정보(base)를 작성하고, 관리 정보(base)를 다중화부(18)에 출력한다.
다중화부(18)는 부호화 데이터로부터 개별적으로 취득되는, (ⅰ)관리정보(base), (ⅱ)메모리(12)로부터 독출된 독출 데이터(strOut2), 및 (ⅲ)사용자에 의한 설정 정보인 부가 정보(adInf)를 다중화하여, 결과의 다중화 데이터(MuxDat)를 출력한다.
프레임 지연이 응용 규격 등에 의해 이미 정의되어 있는 경우에, 다중화 장치(100B)는 프레임 지연 결정부(41)가 포함되지 않는 구조를 가질 수 있고, 부호화부(42)는 대신에 고정된 프레임 지연에 의거하여 부호화 처리를 행할 수 있다. 프레임 지연이 부호화 스트림에서 무효한 조건에서, 관리 정보에 포함된 프레임 지연 정보없이 재생시에 프레임 지연을 결정하는 것이 가능하다. 그러므로, 관리 정보에 프레임 지연 정보를 항상 나타내는 것은 필요하지 않다.
다중화 장치에 의해 출력된 다중화 데이터의 경우에, 다중화 데이터에 저장되어야 하는 부호화 스트림에서 프레임 지연이 이와 같이 무효하기 때문에, 또한 각각의 클립의 프레임 지연이 무효하다. 그러므로, 클립이 변화되는 경우라도 재생을 시작할 때에 프레임 지연을 조정하지 않고 디스플레이에 갭이 없이 부호화 스트림을 재생하는 것이 가능하다.
프레임 지연이 유효하다고 정의되어 있기만 하면, MPEG-4 AVC 이외의 부호화 방식은 상기 서술된 실시예들에서 사용될 수 있다.
*또한, 심리스한 연결에서 순서대로 재생하거나 또는 심리스한 멀티 앵글 재생을 위해 이들 랜덤 액세스 단위의 프레임 지연(부호화 스트림 또는 클립)이 무효하게 만들어질 수 있다. 여기서, 심리스 연결은 동일한 스트림 또는 다른 스트림에 포함되는 클립들을 심리스하게 연결하는 것을 의미한다. 또한, 심리스 멀티 앵글 재생은 부호화 스트림에 포함된 그 앵글이 서로 다른 클립들을 연결하여 이들 앵글들을 변화시키는 것을 의미한다. 예를 들면, 개시 시각부터 30초까지의 기간 동안 앵글을 사용하고, 30초 내지 60초의 기간 동안 복수의 각을 선택하여 재생이 행해질 수 있다. 이 때, 다른 앵글을 나타내는 각각의 클립들은 동일한 프레임 지연을 갖는다. 또한, 멀티 앵글 재생을 심리스하게 행하는 것이 가능한지 아닌지에 상관없이 앵글당 프레임 지연이 불변으로 만들어질 수 있다. 이것은 멀티 앵글 재생시에 프레임 지연이 앵글의 단위에서 변화하는 경우에, 재생 품질이 불변으로 되지 않기 때문이다. 이러한 심리스 연결 또는 심리스 멀티 앵글 재생은 부호화 스트림에서 행해질 수 있다.
심리스 연결 또는 심리스 멀티 앵글 재생에서 사용된 각 액세스 단위가 다음의 조건을 만족하는 것이 요구될 수 있다: 제1 액세스 단위에서 임의의 화상이, 제1 액세스 단위 보다 이전에 복호화된 제2 액세스 단위에서 화상을 참조하지 않고 복호화될 수 있다. 이러한 액세스 단위는 MPEG-2에서 closed GOP 또는 MPEG-4 AVC에서 IDR 화상으로 시작하는 RAU(Random Access Unit)에 대응한다. 그러므로, 동일한 액세스 단위내에서 화상을 참조하여 그 구성 화상들이 복호화될 수 있는 액세스 단위에서 프레임 지연이 불변으로 만들어질 수 있다.
또한, 상기 서술된 심리스 연결 등에서 순서대로 재생되는 이들 액세스 단위의 프레임 지연이 불변으로 되는 경우에, 다중화 장치는, 작성되어야 하는 이들 액세스 단위에서 심리스 연결 또는 심리스 멀티 앵글 재생이 실행되어야 하는지를 이전에 판단한다. 그 후, 다중화 장치가 이들 액세스 단위들이 목표가 되어야 하는지를 판단하는 경우에, 부호화 스트림을 작성하기 위해, 목표의 랜덤 액세스 단위의 프레임 지연이 서로 동일하게 만들어지도록 부호화를 행한다. 예를 들면, 심리스 연결 등이 2개의 부호화 스트림에서 실행되는 경우에, 앞의 부호화 스트림의 프레임 지연이 앞의 부호화 스트림의 프레임 지연에 동일하게 만들어질 수 있도록, 앞의 부호화 스트림을 작성한다.
또한, 관리 정보(base)에 포함된 프레임 지연 정보는 심리스 연결 등의 특별한 액세스 단위(부호화 스트림 또는 클립)에 프레임 지연이 공통인 것을 나타낼 수 있다. 또한, 액세스 단위가 심리스 연결, 멀티 앵글 재생 등의 목표가 될 수 있는 것을 나타내는 플래그일 수 있다. 이러한 플래그는 플레이 리스트, 타임 맵 등에 연결의 속성을 나타내는 정보로서 저장되어 있다.
(제3 실시예)
도 18은 본 발명의 제3 실시예의 역다중화 장치의 동작을 나타내는 플로우챠트이다. 역다중화 장치는 제1 및 제2 실시예의 역다중화 장치에 의해 작성된 다중화 데이터를 입력하여 재생한다.
우선, 단계 501에서, 역다중화 장치는 다중화 데이터를 역다중화하여 관리정보를 취득하고, 재생할 클립에 관한 정보를 취득한다. 재생할 클립은 사용자로부터의 지시 또는 관리 정보 등의 플레이 리스트에 의해 미리 결정된 재생 순서에 기초하여 결정된다.
다음에, 단계 502에서, 단계 501에서 재생되는 클립으로서 결정된 클립의 프레임 지연 정보를 취득하여, 단계 503으로 진행한다. 단계 503에서, 단계 502에서 취득된 프레임 지연 정보에 기초하여 클립을 재생하는 때에 프레임 지연을 결정한다.
단계 504 및 단계 505에서, 클립의 화상으로부터 클립의 마지막 화상까지 복호화하여 표시한다. 여기서, 재생의 완료가 사용자의 동작을 통해 지시되는 경우에, 재생은 지시가 유효하게 되는 시간에서 완료된다. 프레임 지연은 단계 501 내지 503에서 다른 부호화 스트림에 속하는 클립을 변화시키는 때에만 결정될 수 있다.
도 19는 도 18의 단계 503의 재생 동안에 프레임 지연을 결정하는 때의 동작을 나타내는 플로우챠트이다.
우선, 단계 601에서, 역다중화 장치는 역다중화 데이터에 저장된 부호화 스트림의 프레임 지연이 불변인지 아닌지를 판단한다. 프레임 지연이 불변인 경우, 단계 603으로 진행한다. 대조적으로, 프레임 지연이 가변인 경우, 단계 602로 진행한다.
단계 603에서, 공통의 프레임 지연을 갖는 다중화 데이터의 부호화 스트림을 재생하는 것을 결정한다. 단계 602에서, 순서대로 재생되는 클립의 프레임 지연이 불변인지 아닌지를 판단한다. 프레임 지연이 불변인 경우, 단계 604로 진행한다. 대조적으로, 프레임 지연이 가변인 경우, 단계 605로 진행한다. 단계 604에서, 재생에서 정상 클립의 프레임 지연에 기초하여 부호화 스트림을 재생하는 것을 결정한다. 단계 605에서, 재생에서 프레임 지연을 조정하는 것을 결정한다. 재생에서 프레임 지연을 조정하는 유용한 방법을 이하에 설명한다.
1. 재생되는 클립의 프레임 지연 중에서 최대 프레임 지연으로 조정
2. 직전에 재생된 클립의 프레임 지연으로 조정
3. 소정의 프레임 지연을 사용
제1 방법은 재생되는 클립이 미리 결정되어 있는 경우에 특히 유효하다. 제2 방법은 재생 되는 클립이 사용자의 지시에 의해 동적으로 변화하는 경우에 특히 유효하다. 또한, 제3 방법은 프레임 지연의 최대값이 다중화 데이터의 관리정보 또는 부호화 스트림의 정보로부터 또는 응용 규격에 의해 얻어질 수 있다. 또한, 장치에 대해서 미리 결정된 프레임 지연이 사용될 수 있다.
도 20c 및 20d는 제1 및 제2 방법의 예를 각각 나타낸다. 도 20c는 1개의 프레임 지연을 갖는 Clip 1 다음에, 2개의 프레임 지연을 갖는 Clip 2를 재생하는 예를 나타낸다. 도 20d는 2개의 프레임 지연을 갖는 Clip 2가 재생되는 동안에, 1개의 프레임 지연을 갖는 Clip 1으로 변화하는 것이 사용자에 의해 지시되는 예를 나타낸다. 이 때, Clip1의 프레임 지연은 원래 한개이지만, Clip 2의 프레임 지연에 따라서 Clip 1의 프레임 지연이 2라는 전제 하에서 재생된다. 이와 같이 프레임 지연을 결정함으로써, Clip 1과 Clip 2 사이에 변화가 행해지는 위치에서 표시 간격 에 갭이 발생하지 않고 부호화 스트림을 재생하는 것이 가능하게 된다.
제2 실시예에 나타낸 것같이, 다중화 데이터의 부호화 스트림의 프레임 지연이 서로 동일할 때, 프레임 지연 정보는 데이터의 역다중화에서 보여지지 않는 경우일 수 있다. 단계 502의 처리는 이와 같은 다중화 데이터를 재생하는 경우에 불필요하다. 또한, 단계 503에서 표시를 시작하는 때에 프레임 지연을 결정하는 경우에도 또한 재생에서 정상 클립의 프레임 지연을 조정하는 것이 바람직하다.
또한, 역다중화 장치는 프레임 지연의 최대값이 응용 규격 등에 의해 정의되는 경우에 미리 정의된 최대값에 기초하여 다중화 데이터를 항상 재생할 수 있다.
도 21은 제 3 실시예의 역다중화 장치의 구조를 나타내는 블록도이다.
역다중화 장치(200)는 관리정보 역다중화부(51), 클립정보 분석부(52), 프레임 지연 결정부(53), 복호화부(24) 및 표시부(54)를 포함한다.
관리정보 역다중화부(51)는 광디스크 등의 다중화 데이터 기록 매체로부터 다중화 데이터(MuxDat)를 독출하여, 관리 정보를 분석하고, 사용자 지시 또는 소정의 방법에 따라서 재생될 클립을 결정한다. 그 후, 관리정보 역다중화부(51)는 결정된 클립에 대한 정보인 클립정보(Clip)를 클립정보 분석부(52)에 출력한다.
클립정보 분석부(52)는 클립을 구성하는 화상들을 액세스하기 위해 사용된 액세스 정보(acs)를 복호화부(24)에 출력한다. 또한, 클립정보 분석부(52)는 재생될 클립의 지연 정보(dly)를 얻어서, 프레임 지연 결정부(53)에 출력한다.
복호화부(24)는 액세스 정보(acs)에 기초하여 다중화 데이터 기록매체로부터 영상 데이터(Vdat)를 독출하여, 영상 데이터(Vdat)를 복호화하고, 복호화 결과(decOut)를 표시부(54)에 출력한다.
프레임 지연 결정부(53)는 재생시에 프레임 지연을 결정하여 지연(T)을 표시부(54)에 출력한다.
표시부(54)는 지연(T)에 따라서 화상을 표시한다. 제2 실시예에 도시된 것같이 다중화 데이터에서 부호화 스트림의 프레임 지연이 서로 동일한 경우에 프레임 지연 정보가 다중화 데이터에 표시되지 않는 경우가 있을 수 있다. 역다중화 장치는 이와 같이 다중화 데이터를 재생하는 경우에 프레임 지연 결정부(53)가 포함되지 않는 구조를 가질 수 있다.
또한, 심리스 연결 또는 멀티 앵글 재생이 이들 액세스 단위에서 실행될 때에, 플레이 리스트에 나타낸 연속적인 재생 단위의 프레임 지연 등이 불변이지만, 연결에서 프레임 지연은 심리스 연결이 보장되지 않는 경우에 가변일 수 있다. 다중화 데이터의 관리 정보가 이 때에 프레임 지연을 나타내는 정보를 포함하지 않는 경우에, 액세스 단위의 프레임 지연은 복호화부(24)에서 얻어질 수 있고, 얻어진 프레임 지연은 프레임 지연 결정부(53)로 입력될 수 있다. 여기서, 프레임 지연이 불변인 재생 영역에서, 프레임 지연은 재생 순서의 정상 액세스 단위의 프레임 지연에 따라서 결정된다. 대조적으로, 프레임 지연이 가변인 재생 영역에서, 프레임 지연 결정부는 재생시에 프레임 지연을 조정한다. 상기 서술된 경우에 응용 규격 등에서 결정된 프레임 지연의 최대값와 동일한 프레임 지연을 적용할 수 있다.
(제 4 실시예)
멀티 앵글 재생 및 다이제스트 재생 등의 기능은 패키지 미디어를 재생하는 광디스크 장치에 특히 중요하다. 여기서, 제1 및 제2 실시예에서 다중화 장치로부터 출력된 다중화 데이터가 차세대 광디스크인 BD(Blu-ray Disc)에 기록되어 있는 예를 설명한다.
우선, BD-ROM의 기록 포맷을 설명한다.
도 22는 BD-ROM의 구조, 특히 디스크 매체인 BD 디스크(104)의 구조와 디스크에 저장된 데이터를 나타내는 도면이다. BD 디스크(114)에 저장된 데이터는 AV 데이터(103), AV 데이터 및 AV 재생 시퀀스에 대한 관리 정보 등의 BD 관리 정보(102), 및 상호 작용을 실현하는 BD 재생 프로그램(101)을 포함한다. 여기서, 편의상, 영화의 오디오 및 비쥬얼 컨텐츠를 재생하기 위한 AV 응용에 초점을 맞추어 BD 디스크에 대해서 설명하고, 유사한 설명은 다른 사용에 초점을 맞추어 한다.
도 23은 상기 서술된 BD 디스크에 저장된 논리 데이터의 디렉토리 파일의 구조를 나타내는 도면이다. BD 디스크는 예를 들면, DVD, CD 등과 같이 그 내경으로부터 그 외경까지 기록 영역을 가지고, 내경에서의 읽어들임과 외경에서의 독출 사이에 논리 데이터를 저장하기 위한 논리 주소 공간을 갖는다. 또한, 읽어들임의 내부에는, BCA(Burst Cutting Area)로 불리는 드라이브에 의해서만 독출될 수 있는 특별한 공간이 있다. 이 영역은 응용으로부터 독출될 수 없으므로, 예를 들면 저작권 보호 기술에 사용될 수 있다.
파일 시스템 정보(볼륨)는 논리 주소 공간의 정상에 저장되고, 영상 데이터 등의 응용 데이터도 또한 그곳에 저장된다. 배경 기술에서 서술된 것같이, 파일 시스템은 예를 들면 UDF 또는 ISO9660이고, 통상의 PC의 경우와 같이 디렉토리 구조 또는 파일 구조를 이용하여 저장된 논리 데이터를 독출할 수 있게 한다.
본 실시예에서, BD 디스크의 디렉토리 구조와 파일 구조로서, BDVIDEO 디렉토리는 라우트 디렉토리(ROOT) 직하에 위치된다. 이 디렉토리는 BD에서 취급되는 AV 컨텐츠 또는 관리 정보 등의 데이터(도 22에 서술된 101, 102, 103)를 저장하는 디렉토리이다.
BDVIDEO 디렉토리 아래에, 다음의 7개 파일이 기록된다.
(ⅰ) "BD 관리 정보"의 아이템이고, 전체 BD 디스크에 대한 정보를 저장하는 파일인 BD.INFO(파일명이 고정되어 있다). BD 플레이어는 이 파일을 우선 독출한다.
(ⅱ) "BD 재생 프로그램"의 하나이고, 전체 BD 디스크에 대한 재생 제어 정보를 저장하는 파일인 BD.PROG(파일명이 고정되어 있다).
(ⅲ) "BD 관리 정보"의 아이템이고, 시나리오(재생 순서)인 플레이 리스트 정보를 저장하는 파일인 XXX.PL("XXX"는 변수이고, 확장자 "PL"은 고정되어 있다). 각 플레이 리스트는 파일을 갖는다.
(ⅳ) "BD 재생 프로그램"의 하나이고, 플레이 리스트에 기초하여 준비된 재생 제어 정보를 저장하는 파일인 XXX.PROG("XXX"는 변수이고, 확장자 "PROG"는 고정되어 있다). 대응하는 플레이 리스트는 파일 바디명에 기초하여("XXX"의 정합에 기초하여) 식별된다.
(ⅴ) "AV 데이터"의 하나이고, VOB(배경 기술에 서술된 VOB와 동일)를 저장하는 파일인 YYY.VOB("YYY"는 변수이고, 확장자 "VOB"는 고정되어 있다). 각각의 VOB는 파일을 갖는다.
(ⅵ) "BD 관리 정보"의 아이템이고, AV 데이터인 VOB에 관한 스트림 관리 정보를 저장하는 파일인 YYY.VOBI("YYY"는 변수이고, 확장자 "VOBI"는 고정되어 있다). 대응하는 플레이 리스트는 파일 바디명에 기초하여("YYY"의 정합에 기초하여) 식별된다.
(ⅶ) "AV 데이터"의 하나이고, 서브 타이틀 및 메뉴를 구성하는 이미지 데이터 PNG(W3C에 의해 규격화된 화상 포맷이고 "ping"로 불린다)를 저장하는 파일인 ZZZ.PNG("ZZZ"는 변수이고, 확장자 "PNG"는 고정되어 있다). 각각의 PNG 이미지는 파일을 갖는다.
BD 네비게이션 데이터(BD 관리 정보)의 구조는 도 24 ～ 도 29를 참조하여 설명한다.
도 24는 VOB 관리 정보 파일("YYY.VOBI")의 내부 구조를 나타내는 다이어그램이다.
VOB 관리 정보는 VOB의 스트림 속성 정보(Attribute)와 타임 맵(TMAP)을 갖는다. 스트림 속성은 비디오 속성(Video)과 오디오 속성(Audio#0 ～ Audio#m)을 별개로 갖는다. 오디오 스트림의 경우에 특히, VOB는 동시에 복수의 오디오 스트림을 갖기 때문에, 데이터의 필드의 존재 또는 부존재가 오디오 스트림의 수(Number)에 의해 표시된다.
다음은 각각 필드에 저장된 영상 속성(Video)과 각각의 필드가 가질 수 있는 값들이다.
(ⅰ) 압축 포맷(Coding): MPEG-1; MPEG-2; MPEG-4; 및 MPEG-4 AVC(Advanced Video Coding)
(ⅱ) 해상도(Resolution): 1920 x 1080; 1440 x 1080; 1280 x 720; 720 x 480; 및 720 x 565
(ⅲ) 애스팩트비(Aspect) : 4～3; 16～9
(ⅳ) 프레임 레이트(Framerate): 60; 59.94(60/1.001); 50; 30; 29.97(30/1.001); 25; 24; 및 23.976(24/1.001)
다음은 각각 필드에 저장된 오디오 속성(Audio)과 각각의 필드가 가질 수 있는 값들이다.
(ⅰ) 압축 포맷(Coding): AC3; MPEG-1; MPEG-2; 및 LPCM
(ⅱ) 채널수(Ch): 1～8
(ⅲ) 언어 속성(Language)
타임맵(TMAP)은 VOBU 기초로 정보를 저장하는 표이고, VOB가 갖는 VOBU의 수와 VOBU 정보(VOBU#1 ～ VOBU#n)의 각 아이템을 갖는다. VOBU 정보의 각 아이템은 VOBU의 정상 TS 패킷의 주소(I 화상의 시작 어드레스)인 I_start와 I 화상의 종료 어드레스까지의 오프셋 어드레스(I_end) 및 I화상의 재생 개시 시각(PTS)을 포함한다.
도 25는 VOBU 정보의 상세를 나타내는 도면이다.
널리 알려진 것같이, 비디오 스트림을 고품질로 기록하기 위해 가변 비트 레이트 압축이 MPEG 비디오 스트림에 행해질 수 있기 때문에, 재생 시간과 데이터 크기에 상관이 없다. 한편, 고정된 비트 레이트 압축이 오디오 압축 규격인 AC3에서 행해지기 때문에, 시간과 주소 사이의 관계는 일차식으로부터 얻어질 수 있다. 그러나, MPEG 영상 데이터의 경우에, 각 프레임 고정된 표시 시간, 예를 들면, 프레임은 NTSC 경우에 1/29.97의 표시 시간을 갖지만, 각 프레임의 압축 후의 데이터 크기는 I화상, P화상 또는 B화상 등의 압축에서 사용된 이미지 특징 또는 화상 유형에 의거해서 크게 변화한다.
예상되는 대로, MPEG 영상 데이터가 다중화되는 MPEG 시스템 스트림, 즉 VOB에서 일차식을 이용하여 시간과 데이터 크기 사이의 관계를 표시하는 것은 불가능하다. 그러므로, 타임 맵(TMAP)은 시간과 VOB의 주소를 연결한다.
이와 같이, 어느 시간 정보가 주어지는 경우에, 시간이 속하는 VOBU가 우선(순서대로 PTS가 VOBU의 뒤에 온다) 검색되고, 그 시간 직전의 PTS는 TMAP이 갖는 VOBU로 점프되고, 복호화는 VOBU의 정상의 I 화상으로 시작되고, 시간에 대응하는 화상으로 표시가 시작된다.
다음에, 플레이 리스트 정보("XXX.PL")의 내부 구조를 도 26을 참조하여 설명한다.
플레이 리스트 정보는 셀 리스트(CellList) 및 이벤트 리스트(EventList)를 포함한다.
셀 리스트(CellList)는 플레이 리스트에서 재생 셀 순서이고, 이 리스트에서 표시된 서술 순서로 셀이 재생된다. 셀 리스트(CellList)의 컨텐츠는 셀의 수(Number)와 각 셀의 정보(Cell#1 ～ Cell#n)이다.
셀 정보(Cell#)는 VOB 파일명(VOBName), VOB의 시작 시간(In) 및 종료 시간(Out), 및 서브타이틀 테이블(SubtitleTable)을 가진다. 시작 시간(In) 및 종료 시간(Out)은 각 VOB에서 프레임수로 표현된다. 상기 서술된 타임맵(TMAP)을 이용하여 재생에 필요한 VOB 데이터의 주소를 얻는 것이 가능하다.
서브 타이틀 테이블(SubtitleTable)은 VOB와 동기하여 재생되는 서브타이틀 정보를 저장하는 테이블이다. 오디오의 경우에서와 같이, 복수의 언어들이 서브타이틀에 포함되어 있다. 서브 타이틀 테이블(SubtitleTable)의 최초의 정보는 언어의 수(Number) 및 언어의 단위로 준비된 다음의 테이블(Language#1～Language#k)을 포함한다.
각 언어 테이블(Language#)은 언어 정보(Lang), 개별적으로 표시되는 서브타이틀의 서브타이틀 정보의 아이템의 수(Number), 및 개별적으로 표시되는 서브타이틀의 서브타이틀 정보(Speech#1～Speech#j)를 포함한다. 서브타이틀 정보(Speech#)는 이미지 데이터 파일명(Name), 서브타이틀 표시 시작시간(In), 서브타이틀 표시 종료시간(Out), 및 서브타이틀 표시위치(Position)를 포함한다.
이벤트 리스트(EventList)는 플레이리스트에서 발생하는 각 이벤트를 정의하는 표이다. 이벤트 리스트는 이벤트의 수(Number) 및 각 이벤트(Event#1～Event#m)를 포함한다. 각 이벤트(Event#)는 이벤트 타입(Type), 이벤트 ID(ID), 이벤트 발생 시간(Time), 및 이벤트 기간(Duration)을 포함한다.
도 27은 플레이 리스트 기반으로 준비된 이벤트 핸들러(메뉴 선택에 대한 시간 이벤트 및 사용자 이벤트이다)를 갖는 이벤트 핸들러 테이블("XXX.PROG")이다.
이벤트 핸들러 테이블은 정의된 이벤트 핸들러/프로그램의 수(Number) 및 각 이벤트 핸들러/프로그램(Program#1～Program#n)을 포함한다. 각 이벤트 핸들러/프로그램(Program#)의 컨텐츠는 이벤트 핸들러의 시작(<event_handler>tag) 및 미리 서술된 이벤트 ID와 쌍을 이루는 이벤트 핸들러 ID(ID)의 정의이고, 그 다음에, 프로그램은 Fuction에 계속되는 "{}"에 서술된다. 앞에 서술된 "XXX.PL"의 이벤트 리스트(EventList)에 저장된 이벤트(Event#1～Event#m)는 "XXX.PROG"의 이벤트 핸들러의 ID(ID)를 이용하여 특정된다.
다음에, 전체 BD 디스크에 대한 정보("BD.INFO")의 내부 구조를 도 28을 참조하여 설명한다.
전체 BD 디스크에 대한 정보는 타이틀 리스트(TitleList) 및 글로벌 이벤트에 대한 이벤트 테이블(EventList)을 포함한다.
타이틀 리스트(TitleList)는 디스크의 타이틀의 수(Number) 및 타이틀의 수에 이은 타이틀 정보의 아이템(Title#1～Title#n)을 포함한다.
타이틀 정보의 각 아이템들(Title#)은 타이틀에 포함된 플레이 리스트 테이블(PLTable) 및 타이틀에서 챕터 리스트(ChapterList)를 포함한다. 플레이 리스트 테이블(PLTable)은 타이틀의 플레이 리스트의 수(Number) 및 플레이 리스트의 파일명인 플레이 리스트명(Name)을 포함한다.
챕터 리스트(ChapterList)는 타이틀에 포함된 챕터의 수(Number) 및 챕터 정보의 아이템(Chapter#1～Chapter#n)을 포함한다. 챕터 정보의 각 아이템(Chapter#)은 챕터에 포함된 셀테이블(CellTable)을 포함하고, 셀테이블(CellTable)은 셀의 수(Number)와, 셀 입력정보(CellEntry#1～CellEntry#k)의 아이템을 포함한다. 셀 입력정보(CellEntry#)는 플레이 리스트에서 셀과 셀의 수를 포함하는 플레이 리스트명을 포함한다.
이벤트 리스트(EvenList)는 글로벌 이벤트의 수(Number)와 글로벌 이벤트 정보의 아이템을 포함한다. 우선 정의되어야 하는 글로벌 이벤트는 제1 이벤트(FirstEvent)라고 불리고, BD 디스크가 플레이어에 삽입된 후 최초로 칭해지는 이벤트이다. 글로벌 이벤트에 대한 이벤트 정보는 오직 하나의 이벤트 타입(Type)과 이벤트 ID(ID)를 갖는다.
도 29는 글로벌 이벤트 핸들러의 프로그램의 테이블("BD.PROG")이다. 이 테이블의 컨텐츠는 도 27에 기술된 이벤트 핸들러 테이블의 컨텐츠와 동일하다.
상기와 같이 BD-ROM 포맷을 이용하는 제1 및 제2 실시예의 다중화 장치의 출력데이터를 다중화하는 경우에, VOBU는 하나 이상의 랜덤 액세스 단위(RAU)로 만들어지고, 클립의 재생 순서는 플레이 리스트에서 특정된다. 여기서, 프레임 표시 정보는 BD 관리 정보에 의해 표시될 수 있다. 예를 들면, 프레임 지연 정보는 플레이 리스트의 플레이 아이템 또는 EP 맵등의 액세스 정보를 나타내는 테이블에 저장될 수 있다. 또한, 프레임 지연 정보는 부호화 스트림의 속성 정보를 나타내는 테이블에 저장될 수 있다. 또한, (i) 다중화 데이터에 저장되는 부호화 스트림의 프레임 지연의 최대값, (ⅱ) 모든 부호화 스트림 중에서 공통인 프레임 지연 등을 나타내는 경우에, 프레임 지연은 각각의 부호화 스트림에 대한 정보 보다 상위의 정보로서 표시될 수 있다.
클립의 재생 순서는 플레이 리스트와 다른 정보 또는 소정의 순서로 결정될 수 있다.
EP 맵 등의 액세스 정보는 이진 데이터로서 또는 XML(Extensible Markup Language) 등일 수 있는 텍스트 데이터의 형태로 테이블에 저장될 수 있다.
(제 5실시예)
도 30은 제5 실시예에 대한 BD 디스크를 재생하는 플레이어의 기능적인 구조를 개략적으로 나타내는 블록도이다.
BD 디스크(201)의 데이터는 광픽업(202)을 통해 독출된다. 독출된 데이터는 각각의 데이터 타입에 의거해서 전용의 메모리에 전송된다. BD 재생 프로그램("BD.PROG" 또는 "XXX.PROG"의 컨텐츠)은 프로그램 메모리(203)에 전송된다. 또한, BD 관리 정보("BD.INFO", "XXX.PL" 또는 "YYY.VOBI")는 관리정보 메모리(204)에 전송된다. 또한, AV 데이터("YYY.VOB" 또는 "ZZZ.PNG")는 AV 메모리(205)에 전송된다.
프로그램 메모리(203)에 기록된 BD 재생 프로그램은 프로그램 처리부(206)에 의해 처리된다. 또한, 관리 정보 메모리(204)에 기록된 BD 관리 정보는 관리정보 처리부(207)에 의해 처리된다. 또한, AV 메모리(205)에 기록된 AV 데이터는 프리젠테이션 처리부(208)에 의해 처리된다.
프로그램 처리부(206)는 관리정보 처리부(207)에 의해 재생되는 플레이 리스트의 정보 및 프로그램의 실행 시각 등의 이벤트 정보를 수신하여, 프로그램 처리를 행한다. 또한, 프로그램에 의해 재생되는 플레이 리스트를 동적으로 변화시키는 것이 가능하다. 이것은 플레이 리스트의 재생 명령을 관리정보 처리부(207)에 보냄으로써 실현될 수 있다. 프로그램 처리부(206)는 사용자로부터 이벤트를 수신하고, 즉, 리모트 컨트롤러를 통해 리퀘스트를 수신하고, 사용자 이벤트에 대응하는 프로그램이 있는 경우, 프로그램을 실행한다.
관리정보 처리부(207)는 프로그램 처리부(206)로부터 명령을 수신하여, 플레이 리스트와 플레이 리스트에 대응하는 VOB의 관리 정보를 분석하고, 프리젠테이션 처리부(208)에게 목표의 AV 데이터를 재생할 것을 지시한다. 또한, 관리정보 처리부(207)는 프리젠테이션 처리부(208)로부터 표준시간정보를 수신하여, 프리젠테이션 처리부(208)에게 시간 정보에 기초하여 AV 데이터의 재생을 정지시킬 것을 명령한다. 또한, 관리정보 처리부(207)는 프로그램 처리부(206)에게 프로그램 실행 시각을 통지하기 위한 이벤트를 작성한다.
프리젠테이션 처리부(208)는 비디오, 오디오, 서브타이틀/이미지(정지 화상)를 각각 처리할 수 있는 디코더를 갖는다. 이것은 관리정보 처리부(207)로부터의 명령에 따라서 AV 데이터를 복호하여 출력한다. 영상 데이터 및 서브타이틀/이미지의 경우에, 복호되어 각각의 전용 플레인 즉, 비디오 플레인(210) 및 이미지 플레인(209)에 표현된다. 그 후, 합성 처리부(211)는 비디오에 합성 처리를 행하여, 비디오를 TV 등의 표시 장치에 출력한다.
프리젠테이션 처리부(208)는 멀티 앵글 재생 또는 멀티 앵글 재생시의 다이제스트 재생 또는 다이제스트 재생에 대한 사용자 동작 요구를 해석하여, 관리정보 처리부(207)에 앵글 변화 가능점 등의 정보를 통지한다. 관리정보 처리부(207)는 재생되는 클립의 프레임 지연 정보에 기초하여 재생시에 프레임 지연을 결정하고, 프리젠테이션 처리부에 프레임 지연을 통지한다.
EP 맵 등의 액세스 정보는 이진 데이터로서 테이블에 저장될 수 있고, XML(Extensible Markup Language) 등의 텍스트 포맷일 수 있다.
(제 6실시예)
또한, 플렉서블 디스크 등의 기록 매체에 상기 서술된 실시예에 나타낸 다중화 방법과 역다중화 방법을 실현하기 위한 프로그램을 기록함으로써, 독립된 컴퓨터 시스템에 각각의 실시예들에 나타낸 처리를 쉽게 실행할 수 있게 된다.
도 31c는 플렉서블 디스크 등의 기록 매체에 기록된 프로그램을 이용하여 이 실시예의 동화상 부호화 방법 및 동화상 복호화 방법을 컴퓨터 시스템이 실행하는 방법을 도시한 것이다.
도 31a는 기록 매체로서 플렉서블 디스크의 물리적인 포맷의 예를 나타낸다. 도 31b는 플렉서블 디스크 및 플렉서블 디스크의 외관의 정면도 및 단면를 나타낸다. 플렉서블 디스크(FD)는 케이스(F)에 담겨져 있고, 복수의 트랙(Tr)이 디스크의 표면에 디스크의 외경으로부터 내경으로 동심원적으로 형성되어 있고, 각 트랙은 앵글 방향으로 16섹터(Se)로 분할되어 있다. 그러므로, 상기 서술된 프로그램을 저장하는 플렉서블 디스크의 경우, 프로그램은 플렉서블 디스크(FD) 상에 이것을 기록하기 위해 할당된 영역에 기록되어 있다.
또한, 도 31c는 플렉서블 디스크상에 프로그램을 기록하고 재생하는 구조를 나타낸다. 다중화 방법 및 역다중화 방법을 플렉서블 디스크(FD)에 실현하는 상기 프로그램을 기록하는 경우에, 컴퓨터 시스템(Cs)은 플렉서블 디스크 드라이브를 통해 플렉서블 디스크에 프로그램을 기입한다. 또한, 플렉서블 디스크에 프로그램을 이용하여 다중화 방법 및 역다중화 방법을 실현하는 다중화 장치 및 역다중화 장치를 구성하는 경우, 프로그램은 플렉서블 디스크 드라이브를 통해 플렉서블 디스크로부터 독출되고, 컴퓨터 시스템으로 전송된다.
상기 설명은 기록매체로서 플렉서블 디스크를 이용하여 설명하였지만, 프로그램은 광디스크에도 기록될 수 있다. 또한, 기록 매체는 이것에 한정되는 것이 아니라, 프로그램을 기록할 수 있기만 하면 IC 카드, ROM 카세트 등의 다른 기록 매체가 사용될 수 있다.
여기까지, 본 발명에 대한 다중화 장치 및 역다중화 장치, BD 디스크 플레이어 등을 상기 서술된 각각의 실시예에 기초하여 이미 서술하였지만, 본 발명은 이들 실시예들에 한정되는 것은 아니다. 본 발명은 본 발명의 요지의 범위 내에 있기만 하면 본 기술에서 숙련된 자가 이들 실시예들을 변형시킨 것을 포함한다.
예를 들면, 다음은 본 발명에 포함된다: (ⅰ) 본 실시예에서 다중화 장치를 포함하는 광디스크 기록장치; 동화상 송신 장치; 디지털 텔레비젼 방송장치; Web 서버; 통신장치; 이동정보단말 등; (ⅱ) 본 실시예에서 역다중화 장치를 포함하는 동화상 수신장치; 디지털 텔레비젼 방송 수신장치; 이동정보단말 등.
블록도의 각각의 기능 블록(도 14, 도 17, 도 21 등)은 집적회로인 LSI(Large Scale Integration)로 전형적으로 실현된다. 이들 각각은 칩으로 구성될 수 있다. 또한, 이들 중 하나, 몇몇 또는 모든 것은 칩으로 집적될 수 있다(예를 들면, 메모리 이외의 기능 블록이 칩으로 집적될 수 있다).
여기서, 회로는 LSI로 불리지만, 집적의 정도에 의거하여 IC(Integrated Circuit), 시스템 LSI, 슈퍼 LSI 또는 울트라 LSI로 불려질 수 있다.
또한, 집적 회로를 만드는 방법은 이것에 한정되지 않고, 전용의 회로 또는 일반적인 프로세서가 실현될 수 있다. 또한, LSI를 만든 후 프로그램 가능한 FPGA(Field Programmable Gate Array), 또는 LSI 내의 회로 셀의 연결 또는 설정을 재구성할 수 있는 재구성가능한 프로세서를 사용하는 것이 가능하다.
또한, LSI를 대체하는 집적 회로를 만드는 방법은 반도체 기술의 발전 또는 유도 기술의 출현의 결과이고, 기능 블록들은 당연히 이러한 기술 들을 이용하여 집적될 수 있다.
또한, 각각의 기능 블록들 중에서, 부호화되거나 기록되는 데이터를 저장하는 수단만이 칩에 집적되지 않고 개별적으로 구성될 수도 있다.
본 발명의 일 예만을 상기 상세하게 서술하였지만, 본 발명의 신규성 및 장점으로부터 실질적으로 벗어나지 않고, 일 예의 실시예에서 많은 변경이 가능한 것을 본 기술에서 숙련된 자는 쉽게 알 수 있다. 따라서, 이러한 모든 변경들은 본 발명의 범위 내에 포함되어야 하는 것이다.

Claims (6)

  1. 부호화된 복수의 픽쳐를 랜덤 액세스 가능한 액세스 단위마다 포함해 구성되는 복수의 부호화 스트림을, 다른 정보와 함께 더불어 출력하는 부호화 장치로서,
    전환원이 되는 제1 액세스 단위로부터, 상기 복수의 부호화 스트림에 있어서 재생 개시시각과 재생 종료시각이 동일한 액세스 단위 중에서 선택한 전환처가 되는 제2 액세스 단위로 앵글을 전환하거나, 혹은 동일 앵글을 연속적으로 복호할 때, 상기 2개의 액세스 단위의 각각에 있어서, 복호순서로 선두의 픽쳐가 복호되고 나서 표시순서로 선두의 픽쳐가 표시될 때까지의 지연량이 동일하게 되도록, 그 지연량을 결정하는 제1 결정 수단과,
    상기 제1 결정 수단에 있어서 결정된 지연량이 되도록, 상기 2개의 액세스 단위에 포함되는 복수의 픽쳐를 부호화하여, 부호화 스트림을 생성하는 생성 수단과,
    상기 다른 정보와, 상기 생성 수단에서 생성된 복수의 부호화 스트림을 더불어 출력하는 출력 수단을 구비하고,
    상기 다른 정보는, 상기 2개의 액세스 단위를 심리스하게(seamlessly) 접속하는 것이 가능한지 아닌지를 나타내는 플래그를 포함하고, 상기 플래그의 내용은, 상기 2개의 액세스 단위의 지연량이 동일한지 아닌지에 기초해 결정되고 있고,
    상기 생성 수단은, 제1 액세스 단위의 직후에 복호되는 제2 액세스 단위에 있어서 최초로 복호되는 픽쳐를 IDR 화상으로 하는 것을 특징으로 하는 부호화 장치.
  2. 청구항 1에 기재된 부호화 장치에 의해 생성된 부호화 데이터를 역다중화해 표시하는 재생 장치로서,
    전환원이 되는 제1 액세스 단위로부터, 상기 복수의 부호화 스트림에 있어서 재생 개시시각과 재생 종료시각이 동일한 액세스 단위 중에서 선택한 전환처가 되는 제2 액세스 단위로 앵글을 전환하거나, 혹은 동일 앵글을 연속적으로 복호할 때, 상기 데이터로부터 상기 플래그를 분리하는 플래그 분리 수단과,
    상기 플래그 분리 수단에 의해 분리된 플래그가, 상기 2개의 액세스 단위를 심리스하게 접속하는 것이 가능하다는 것을 나타내고 있는 경우에, 표시 개시시에 있어서의 선두의 액세스 단위의 상기 지연량을 결정하는 제2 결정 수단과,
    상기 제2 결정 수단에 있어서 결정된 지연량에 기초해, 상기 2개의 액세스 단위를 앵글을 전환하거나, 혹은 동일 앵글을 연속적으로 복호해 표시하는 표시 수단을 구비하고,
    상기 제1 액세스 단위의 직후에 복호되는 상기 제2 액세스 단위에 있어서 최초로 복호하는 픽쳐는, IDR 화상인 것을 특징으로 하는 재생 장치.
  3. 부호화된 복수의 픽쳐를 랜덤 액세스 가능한 액세스 단위마다 포함해 구성되는 복수의 부호화 스트림을, 다른 정보와 함께 더불어 출력하는 부호화 방법으로서,
    전환원이 되는 제1 액세스 단위로부터, 상기 복수의 부호화 스트림에 있어서 재생 개시시각과 재생 종료시각이 동일한 액세스 단위 중에서 선택한 전환처가 되는 제2 액세스 단위로 앵글을 전환하거나, 혹은 동일 앵글을 연속적으로 복호할 때, 상기 2개의 액세스 단위의 각각에 있어서, 복호순서로 선두의 픽쳐가 복호되고 나서 표시순서로 선두의 픽쳐가 표시될 때까지의 지연량이 동일하게 되도록, 그 지연량을 결정하는 제1 결정 단계와,
    상기 제1 결정 단계에 있어서 결정된 지연량이 되도록, 상기 2개의 액세스 단위에 포함되는 복수의 픽쳐를 부호화하여, 부호화 스트림을 생성하는 생성 단계와,
    상기 다른 정보와, 상기 생성 단계에서 생성된 복수의 부호화 스트림을 더불어 출력하는 출력 단계를 갖고,
    상기 다른 정보는, 상기 2개의 액세스 단위를 심리스하게 접속하는 것이 가능한지 아닌지를 나타내는 플래그를 포함하고, 상기 플래그의 내용은, 상기 2개의 액세스 단위의 지연량이 동일한지 아닌지에 기초해 결정되고 있고,
    상기 생성 단계는, 제1 액세스 단위의 직후에 복호되는 제2 액세스 단위에 있어서 최초로 복호되는 픽쳐를 IDR 화상으로 하는 것을 특징으로 하는 부호화 방법.
  4. 청구항 3에 기재된 부호화 방법에 의해 생성된 데이터를 복호해 표시하는 재생 방법으로서,
    부호화된 복수의 픽쳐를 랜덤 액세스 가능한 액세스 단위마다 포함해 구성되는 복수의 부호화 스트림과, 전환원이 되는 제1 액세스 단위로부터, 상기 복수의 부호화 스트림에 있어서 재생 개시시각과 재생 종료시각이 동일한 액세스 단위 중에서 선택한 전환처가 되는 제2 액세스 단위로 앵글을 전환하거나, 혹은 동일 앵글을 연속적으로 복호할 때, 상기 2개의 액세스 단위를 심리스하게 접속하는 것이 가능한지 아닌지를 나타내는 플래그를 포함하는 다른 정보를 가지는 데이터로부터 상기 플래그를 분리하는 플래그 분리 단계와,
    상기 플래그 분리 단계에 의해 분리된 플래그가, 상기 2개의 액세스 단위를 심리스하게 접속하는 것이 가능하다는 것을 나타내고 있는 경우에, 표시 개시시에 있어서의 선두의 액세스 단위의 상기 지연량을 결정하는 제2 결정 단계와,
    상기 제2 결정 단계에 있어서 결정된 지연량에 기초해, 상기 2개의 액세스 단위를 앵글을 전환하거나, 혹은 동일 앵글을 연속적으로 복호해 표시하는 표시 단계를 갖고,
    상기 제1 액세스 단위의 직후에 복호되는 상기 제2 액세스 단위에 있어서 최초로 복호하는 픽쳐는, IDR 화상인 것을 특징으로 하는 재생 방법.
  5. 부호화된 복수의 픽쳐를 랜덤 액세스 가능한 액세스 단위마다 포함해 구성되는 복수의 부호화 스트림과, 다른 정보가 더불어 출력된 데이터를 기록 매체에 기록하는 기록 방법으로서,
    전환원이 되는 제1 액세스 단위로부터, 상기 복수의 부호화 스트림에 있어서 재생 개시시각과 재생 종료시각이 동일한 액세스 단위 중에서 선택한 전환처가 되는 제2 액세스 단위로 앵글을 전환하거나, 혹은 동일 앵글을 연속적으로 복호할 때, 상기 2개의 액세스 단위의 각각에 있어서, 복호순서로 선두의 픽쳐가 복호되고 나서 표시순서로 선두의 픽쳐가 표시될 때까지의 지연량이 동일하게 되도록, 그 지연량을 결정하는 결정 단계와,
    상기 결정 단계에 있어서 결정된 지연량이 되도록, 상기 2개의 액세스 단위에 포함되는 복수의 픽쳐를 부호화하여, 부호화 스트림을 생성하는 생성 단계와,
    상기 다른 정보와, 상기 생성 단계에서 생성된 복수의 부호화 스트림을 더불어 출력하는 출력 단계와,
    상기 출력 단계에 있어서 출력된 데이터를 기록 매체에 기록하는 기록 단계를 가지고,
    상기 다른 정보는, 상기 2개의 액세스 단위를 심리스하게 접속하는 것이 가능한지 아닌지를 나타내는 플래그를 포함하고, 상기 플래그의 내용은, 상기 2개의 액세스 단위의 지연량이 동일한지 아닌지에 기초해 결정되고 있고,
    상기 생성 단계는, 제1 액세스 단위의 직후에 복호되는 제2 액세스 단위에 있어서 최초로 복호되는 픽쳐를 IDR 화상으로 하는 것을 특징으로 하는 기록 매체에 대한 기록 방법.
  6. 부호화된 복수의 픽쳐를 랜덤 액세스 가능한 액세스 단위마다 포함해 구성되는 복수의 부호화 스트림과, 다른 정보가 더불어 출력된 데이터를 기록하는 영역을 가지는 기록 매체와, 상기 기록 매체로부터 상기 데이터를 읽어내 복호해 표시하는 재생장치로 구성되는 재생 시스템으로서,
    상기 데이터는,
    전환원이 되는 제1 액세스 단위로부터, 상기 복수의 부호화 스트림에 있어서 재생 개시시각과 재생 종료시각이 동일한 액세스 단위 중에서 선택한 전환처가 되는 제2 액세스 단위로 앵글을 전환하거나, 혹은 동일 앵글을 연속적으로 복호할 때, 상기 2개의 액세스 단위의 각각에 있어서, 복호순서로 선두의 픽쳐가 복호되고 나서 표시순서로 선두의 픽쳐가 표시될 때까지의 지연량이 동일하게 되도록, 상기 2개의 액세스 단위에 포함되는 복수의 픽쳐가 부호화된 부호화 스트림과, 상기 2개의 액세스 단위를 심리스하게 접속하는 것이 가능한지 아닌지를 나타내는 플래그를 가지는 다른 정보를 가지고, 제1 액세스 단위의 직후에 복호되는 제2 액세스 단위에 있어서 최초로 복호되는 픽쳐는 IDR 화상이고,
    상기 기록 매체로부터 상기 데이터를 읽어내 복호해 표시하는 재생장치는,
    상기 데이터로부터 상기 플래그를 분리하는 플래그 분리 수단과,
    상기 플래그 분리 수단에 의해 분리된 플래그가, 상기 2개의 액세스 단위를 심리스하게 접속하는 것이 가능하다는 것을 나타내고 있는 경우에, 표시 개시시에 있어서의 선두의 액세스 단위의 상기 지연량을 결정하는 결정 수단과,
    상기 결정 수단에 있어서 결정된 지연량에 기초해, 상기 2개의 액세스 단위를 앵글을 전환하거나, 혹은 동일 앵글을 연속적으로 복호해 표시하는 표시 수단을 구비하고,
    상기 제1 액세스 단위의 직후에 복호되는 상기 제2 액세스 단위에 있어서 최초로 복호되는 픽쳐는 IDR 화상인 것을 특징으로 하는 재생 시스템.
KR1020107005757A 2004-06-02 2005-06-01 멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤 액세스 단위들 사이의 심리스 스위칭 KR101108423B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2004-165030 2004-06-02
JP2004165030 2004-06-02
PCT/JP2005/010453 WO2005120078A1 (en) 2004-06-02 2005-06-01 Seamless switching between random access units multiplexed in a multi angle view multimedia stream

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020067015881A Division KR101158948B1 (ko) 2004-06-02 2005-06-01 멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤액세스 단위들 사이의 심리스 스위칭

Publications (2)

Publication Number Publication Date
KR20100035720A KR20100035720A (ko) 2010-04-06
KR101108423B1 true KR101108423B1 (ko) 2012-01-30

Family

ID=34971924

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020107005757A KR101108423B1 (ko) 2004-06-02 2005-06-01 멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤 액세스 단위들 사이의 심리스 스위칭
KR1020107005755A KR101097659B1 (ko) 2004-06-02 2005-06-01 멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤 액세스 단위들 사이의 심리스 스위칭
KR1020067015881A KR101158948B1 (ko) 2004-06-02 2005-06-01 멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤액세스 단위들 사이의 심리스 스위칭
KR1020107005754A KR101097598B1 (ko) 2004-06-02 2005-06-01 멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤 액세스 단위들 사이의 심리스 스위칭
KR1020107005756A KR101108350B1 (ko) 2004-06-02 2005-06-01 멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤 액세스 단위들 사이의 심리스 스위칭

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020107005755A KR101097659B1 (ko) 2004-06-02 2005-06-01 멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤 액세스 단위들 사이의 심리스 스위칭
KR1020067015881A KR101158948B1 (ko) 2004-06-02 2005-06-01 멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤액세스 단위들 사이의 심리스 스위칭
KR1020107005754A KR101097598B1 (ko) 2004-06-02 2005-06-01 멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤 액세스 단위들 사이의 심리스 스위칭
KR1020107005756A KR101108350B1 (ko) 2004-06-02 2005-06-01 멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤 액세스 단위들 사이의 심리스 스위칭

Country Status (12)

Country Link
US (4) US7526031B2 (ko)
EP (5) EP2180713A3 (ko)
JP (4) JP4071812B2 (ko)
KR (5) KR101108423B1 (ko)
CN (6) CN101594541B (ko)
AT (2) ATE469511T1 (ko)
CA (1) CA2555700C (ko)
DE (2) DE602005021563D1 (ko)
ES (2) ES2342448T3 (ko)
PL (1) PL2051532T3 (ko)
TW (3) TW200845724A (ko)
WO (1) WO2005120078A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2383655T3 (es) * 2004-04-28 2012-06-25 Panasonic Corporation Aparato de generación de flujos de imágenes en movimiento, aparato de codificación de imágenes en movimiento, aparato multiplexador de imágenes en movimiento y aparato de descodificación de imágenes en movimiento
TW200845724A (en) * 2004-06-02 2008-11-16 Matsushita Electric Ind Co Ltd Multiplexing apparatus and demultiplexing apparatus
EP1703513A1 (en) * 2005-03-15 2006-09-20 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding plural video signals as a single encoded video signal, method and and apparatus for decoding such an encoded video signal
JP4494292B2 (ja) * 2005-06-07 2010-06-30 株式会社三共 画像処理装置
JP4494291B2 (ja) * 2005-06-07 2010-06-30 株式会社三共 画像処理装置
JP4494294B2 (ja) * 2005-06-07 2010-06-30 株式会社三共 画像処理装置
JP4494295B2 (ja) * 2005-06-07 2010-06-30 株式会社三共 画像処理装置
JP4494293B2 (ja) * 2005-06-07 2010-06-30 株式会社三共 画像処理装置
JP5049652B2 (ja) * 2006-09-07 2012-10-17 キヤノン株式会社 通信システム、データの再生制御方法、コントローラ、コントローラの制御方法、アダプタ、アダプタの制御方法、およびプログラム
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
JP4889836B1 (ja) 2010-08-18 2012-03-07 パナソニック株式会社 ３ｄ符号化装置
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
JP5795525B2 (ja) 2011-12-13 2015-10-14 日本電信電話株式会社 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
US9578372B2 (en) * 2013-09-27 2017-02-21 Cisco Technology, Inc. Delay tolerant decoder
JP2015226305A (ja) * 2014-05-30 2015-12-14 三菱電機株式会社 符号化装置
US9984653B1 (en) * 2015-02-11 2018-05-29 Synaptics Incorporated Method and device for reducing video latency
WO2017164270A1 (en) 2016-03-25 2017-09-28 Sharp Kabushiki Kaisha Systems and methods for signaling of information associated with audio content
JP6879344B2 (ja) * 2019-08-22 2021-06-02 三菱電機株式会社 復号装置
JP6825075B2 (ja) * 2019-12-27 2021-02-03 三菱電機株式会社 復号装置
JP7003308B2 (ja) * 2021-01-13 2022-01-20 三菱電機株式会社 復号装置
KR20220104326A (ko) 2021-01-18 2022-07-26 경상국립대학교산학협력단 박판 시편의 파괴 인성 평가 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6049569A (en) * 1997-12-09 2000-04-11 Philips Electronics N.A. Corporation Method and apparatus for encoding digital video bit streams with seamless splice points and method and apparatus for splicing such digital video bit streams
US6252873B1 (en) 1998-06-17 2001-06-26 Gregory O. Vines Method of ensuring a smooth transition between MPEG-2 transport streams
US20030206596A1 (en) 2002-05-03 2003-11-06 David Carver Multimedia content assembly

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996033573A1 (en) 1995-04-21 1996-10-24 Sony Corporation Device and method for coding moving image
JPH0927956A (ja) 1995-07-11 1997-01-28 Sony Corp 画像信号符号化方法及び画像信号符号化装置
US5570372A (en) * 1995-11-08 1996-10-29 Siemens Rolm Communications Inc. Multimedia communications with system-dependent adaptive delays
JP4161379B2 (ja) 1996-04-12 2008-10-08 ソニー株式会社 復号装置および復号方法
US5982436A (en) * 1997-03-28 1999-11-09 Philips Electronics North America Corp. Method for seamless splicing in a video encoder
EP1445773A1 (en) 1997-07-25 2004-08-11 Sony Corporation Encoding device and encoding method
JP3407287B2 (ja) 1997-12-22 2003-05-19 日本電気株式会社 符号化復号システム
JP3837889B2 (ja) 1997-12-29 2006-10-25 ソニー株式会社 エンコード方法およびエンコード装置
JP4193224B2 (ja) 1998-02-18 2008-12-10 ソニー株式会社 動画像符号化装置及び方法並びに動画像復号装置及び方法
US6091776A (en) 1998-05-26 2000-07-18 C-Cube Microsystems, Inc. Delay balanced video encoder system
BR9906523A (pt) 1998-06-11 2000-07-25 Koninkl Philips Electonics N V Aparelho e processo para gravar um sinal de informação de vìdeo digital em um portador de gravação, e, portador de gravação
AU4944699A (en) * 1998-06-29 2000-01-17 Limt Technology Ab Method and apparatus for splicing data streams
IL142033A0 (en) * 1998-09-16 2002-03-10 Actv Inc Compressed digital-data seamless video switching system
CN1110205C (zh) * 1998-12-15 2003-05-28 国家科学技术委员会高技术研究发展中心 并行解码的数字信源解码器
JP3805985B2 (ja) 1999-02-18 2006-08-09 株式会社東芝 ストリームデータの情報記憶媒体、その記録方法、再生方法、記録装置および再生装置
US7088911B2 (en) * 2000-04-26 2006-08-08 Sony Corporation Recording apparatus and method, playback apparatus and method, and recording medium therefor
US8559797B2 (en) * 2000-10-10 2013-10-15 Broadcom Corporation System and method for personal video recording
US6765963B2 (en) * 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
KR100878926B1 (ko) 2001-01-16 2009-01-19 파나소닉 주식회사 정보기록장치, 정보기록방법 및 기록매체
JP3820155B2 (ja) 2001-01-16 2006-09-13 松下電器産業株式会社 情報記録装置および方法、情報記録プログラム、および情報記録プログラムを記録した記録媒体
US20050117642A1 (en) 2002-06-28 2005-06-02 Kiyofumi Abe Moving picture coding method, decoding method, data stream, data recording medium and program
JP2004088736A (ja) 2002-06-28 2004-03-18 Matsushita Electric Ind Co Ltd 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
CN100477531C (zh) * 2002-08-21 2009-04-08 广州广晟数码技术有限公司 用于对多声道数字音频信号进行压缩编码的编码方法
EP2009640A3 (en) * 2002-10-15 2009-04-29 Samsung Electronics Co., Ltd. Information storage medium with data structure for multi-angle and method therefor
JP2004165030A (ja) 2002-11-14 2004-06-10 Toyota Motor Corp 燃料電池
TW200845724A (en) 2004-06-02 2008-11-16 Matsushita Electric Ind Co Ltd Multiplexing apparatus and demultiplexing apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6049569A (en) * 1997-12-09 2000-04-11 Philips Electronics N.A. Corporation Method and apparatus for encoding digital video bit streams with seamless splice points and method and apparatus for splicing such digital video bit streams
US6252873B1 (en) 1998-06-17 2001-06-26 Gregory O. Vines Method of ensuring a smooth transition between MPEG-2 transport streams
US20030206596A1 (en) 2002-05-03 2003-11-06 David Carver Multimedia content assembly

Also Published As

Publication number Publication date
ES2342448T3 (es) 2010-07-06
KR20070026381A (ko) 2007-03-08
PL2051532T3 (pl) 2010-10-29
EP2180713A3 (en) 2012-03-21
CN101707720B (zh) 2013-01-23
CN101707720A (zh) 2010-05-12
CN101707703B (zh) 2013-11-06
CA2555700C (en) 2014-01-07
US8411759B2 (en) 2013-04-02
EP1751988B1 (en) 2009-08-26
EP2180712A3 (en) 2012-03-21
DE602005016242D1 (de) 2009-10-08
ATE441288T1 (de) 2009-09-15
CA2555700A1 (en) 2005-12-15
JP2008228354A (ja) 2008-09-25
KR101097659B1 (ko) 2011-12-22
CN101594530A (zh) 2009-12-02
CN101707702A (zh) 2010-05-12
KR101158948B1 (ko) 2012-06-21
JP2008301532A (ja) 2008-12-11
CN101594541B (zh) 2011-08-03
ATE469511T1 (de) 2010-06-15
JP4790776B2 (ja) 2011-10-12
TWI323602B (ko) 2010-04-11
TW200603614A (en) 2006-01-16
EP2051532A1 (en) 2009-04-22
KR101097598B1 (ko) 2011-12-22
JP2007336578A (ja) 2007-12-27
CN101594530B (zh) 2011-08-03
DE602005021563D1 (de) 2010-07-08
JP4071812B2 (ja) 2008-04-02
KR20100033443A (ko) 2010-03-29
CN101707702B (zh) 2013-01-23
EP2180712A2 (en) 2010-04-28
TWI324012B (ko) 2010-04-21
US20100021139A1 (en) 2010-01-28
EP2051532B1 (en) 2010-05-26
EP2180711A3 (en) 2012-03-21
KR20100035720A (ko) 2010-04-06
US7856062B2 (en) 2010-12-21
KR101108350B1 (ko) 2012-01-25
EP2180713A2 (en) 2010-04-28
TWI323123B (ko) 2010-04-01
CN101594541A (zh) 2009-12-02
US20070171976A1 (en) 2007-07-26
US20090180758A1 (en) 2009-07-16
WO2005120078A1 (en) 2005-12-15
CN1965588A (zh) 2007-05-16
CN100534199C (zh) 2009-08-26
US20100046638A1 (en) 2010-02-25
EP1751988A1 (en) 2007-02-14
EP2180711A2 (en) 2010-04-28
ES2328714T3 (es) 2009-11-17
CN101707703A (zh) 2010-05-12
JP2008502170A (ja) 2008-01-24
JP4211947B2 (ja) 2009-01-21
US7526031B2 (en) 2009-04-28
TW200845724A (en) 2008-11-16
KR20100035719A (ko) 2010-04-06
KR20100033444A (ko) 2010-03-29
TW200952462A (en) 2009-12-16

Similar Documents

Publication Publication Date Title
KR101108423B1 (ko) 멀티 앵글 뷰 멀티 미디어 스트림에서 다중화된 랜덤 액세스 단위들 사이의 심리스 스위칭
JP4212000B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2006050192A (ja) 多重化方法、情報記録媒体、およびデータ再生方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151217

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161220

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181219

Year of fee payment: 8