KR20070007028A - 동화상 스트림 생성 장치, 동화상 부호화 장치, 동화상다중화 장치 및 동화상 복호화 장치 - Google Patents

동화상 스트림 생성 장치, 동화상 부호화 장치, 동화상다중화 장치 및 동화상 복호화 장치 Download PDF

Info

Publication number
KR20070007028A
KR20070007028A KR20067009657A KR20067009657A KR20070007028A KR 20070007028 A KR20070007028 A KR 20070007028A KR 20067009657 A KR20067009657 A KR 20067009657A KR 20067009657 A KR20067009657 A KR 20067009657A KR 20070007028 A KR20070007028 A KR 20070007028A
Authority
KR
South Korea
Prior art keywords
picture
random access
pictures
access unit
information
Prior art date
Application number
KR20067009657A
Other languages
English (en)
Other versions
KR101148765B1 (ko
Inventor
다다마사 도마
신야 가도노
도모유키 오카다
히로시 야하타
Original Assignee
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마쯔시다덴기산교 가부시키가이샤 filed Critical 마쯔시다덴기산교 가부시키가이샤
Publication of KR20070007028A publication Critical patent/KR20070007028A/ko
Application granted granted Critical
Publication of KR101148765B1 publication Critical patent/KR101148765B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 유연한 예측 화상들이 허용되는 MPEG-4 AVC와 같은 부호화 포맷에서도 가변속 재생과 역 재생과 같은 트릭 플레이 시에 재생될 수 있는 동화상 스트림을 생성하는 동화상 스트림 생성 장치 등을 제공하기 위한 것이다.
동화상 스트림 생성 장치는 하나 이상의 화상을 포함하는 각 랜덤 액세스 유닛의 재생 시에 참조되는 보조 정보를 랜덤 액세스 유닛 단위로 생성하는 트릭 플레이 정보 생성부(TricPlay), 및 보조 정보를 각 대응하는 랜덤 액세스 유닛에 부가함으로써 생성된 보조 정보와 하나 이상의 화상을 포함하는 스트림을 생성하는 가변 길이 부호화부(VLC)를 포함한다. 각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고, 상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함한다.

Description

동화상 스트림 생성 장치, 동화상 부호화 장치, 동화상 다중화 장치 및 동화상 복호화 장치{MOVING PICTURE STREAM GENERATION APPARATUS, MOVING PICTURE CODING APPARATUS, MOVING PICTURE MULTIPLEXING APPARATUS AND MOVING PICTURE DECODING APPARATUS}
본 발명은 부호화된 동화상 스트림을 생성하는 장치 등에 관한 것으로, 특히 점프인(jump-in) 재생, 가변속 재생, 역방향 재생 등과 같은 트릭 플레이(trick-play)가 실행될 수 있는 스트림을 생성하는 장치 등에 관한 것이다.
최근에, 음성, 화상 및 다른 화소값이 하나의 미디어로 통합되는 멀티미디어 시대가 도래하여, 신문, 잡지, TV, 라디오 및 전화와 같은 통신 도구로서의 종래의 정보 미디어가 멀티미디어의 대상으로 간주되고 있다. 일반적으로, 멀티미디어는 문자 뿐만 아니라 그래픽, 음성 및 특히 화상을 동시에 표현하는 한 형태이다. 상술한 종래의 정보 미디어를 멀티미디어로서 다루기 위해, 정보를 디지털 방식으로 표시하는 것이 필수 요건이다.
그러나, 디지털 데이터량으로서 상술한 각 정보 매체의 데이터량을 계산할 때, 문자당 데이터량은 1∼2바이트인 한편으로, 초당 음성의 데이터량은 적어도 64Kbit(통화 품질)이고 초당 동화상의 데이터량은 적어도 100Mbit(현재의 TV 수신 품질)이기 때문에, 상술한 종래의 정보 미디어를 사용하여 막대한 양의 정보를 디지털 방식으로 직접 처리하는 것은 비현실적이다. 예를 들면, TV 전화는 64kbps∼1.5Mbps의 전송 속도를 갖는 통합 서비스 디지털망(ISDN)에 의해 이미 상업적으로 실용화되어 있지만, ISDN을 사용하고 있는 한 TV 카메라의 동화상을 송신하는 것은 불가능하다.
그래서 정보 압축 기술이 필요하게 된다. 예를 들면, TV 전화용으로는 국제 전기통신 연합 전기통신 표준화 부문(International Telecommunication Union-Telecommunication Standardization Sector)(ITU-T)에 의해 권고되는 H.261 또는 H.263의 동화상 압축 기술 표준이 사용된다. 또한, MPEG-1 표준의 정보 압축 기술로, 영상 정보를 음성 정보와 함께 통상의 음악용 CD(컴팩트 디스크)에 저장할 수 있게 된다.
여기에서, 동화상 전문가 그룹(MPEG)은 동화상 신호를 디지털 방식으로 압축하는 국제 표준이고, ISO/IEC(국제 표준화 기구/국제 전기 표준 회의)에 의해 표준화되어 있다. MPEG-1은 동화상 신호를 1.5Mbps까지 압축 즉, TV 신호 정보를 약 1/100까지 압축하는 표준이다. 또한, MPEG-1 표준을 충족시키는 품질은 약 1.5Mbps의 전송 레이트로 실현될 수 있는 중간 레벨이다. MPEG-2는 더 높은 화질에 대한 요구를 충족시키기 위해 표준화된 것이고, 동화상 신호를 2∼15Mbps로 압축한다. 현재, MPEG-1 및 MPEG-를 표준화한 작업 그룹(ISO/IEC JTC1/SC29/WG11)은 더 높은 압축률을 갖는 MPEG-4를 표준화하고 있다. MPEG-4 표준은 (ⅰ) MPEG-1 표준 및 MPEG-2 표준보다 높은 압축률을 달성하고, (ⅱ) 대상물 단위로 부호화, 복호 화 및 실행 동작을 가능하게 하며, (ⅲ) 현재의 멀티미디어 시대에 필요한 새로운 기능을 실현한다. MPEG-4 표준의 초기 목적은 낮은 비트 레이트를 갖는 화상의 부호화 방법을 표준화하는 것이었지만, 그 목적은 높은 비트 레이트를 갖는 인터레이스 화상의 범용 부호화 방법으로 확장되고 있다. 그 후, ISO/IEC와 ITU-T는 공동으로 높은 압축률을 갖는 화상의 차세대 화상 부호화 방법으로서 MPEG-4 AVC(Advanced Video Coding)를 표준화하고 있다. 이것은 차세대 광 디스크 관련 장치나 이동 전화에 대한 방송에 사용될 것으로 기대된다.
일반적으로, 동화상을 부호화할 때, 정보량은 시간적 및 공간적 용장성(redundancy)을 감소시킴으로써 압축된다. 시간적 용장성을 감소시킬 목적으로 화상간 예측 부호화 시에, 전방 화상 또는 후방 화상을 참조하여 블록 단위로 움직임 추정 및 예측 화상 생성이 행해지고, 얻어진 예측 화상과 부호화될 화상간의 차분값에 대해 부호화가 행해진다. 여기에서, 여기에서 사용되는 "화상"은 하나의 화상을 나타내는 용어이다. 프로그레시브 화상(progressive picture)에서, 화상은 프레임을 의미하지만, 인터레이스 화상(interlace picture)에서 화상은 프레임 또는 필드를 의미한다. 여기에 기재된 "인터레이스 화상"은 경미한 시간 지연이 있는 2개의 필드로 구성된 프레임을 의미한다. 인터레이스 화상의 부호화 및 복호화 처리에서, 프레임을 그대로 처리하거나, 2개의 필드로 처리하거나, 하나의 프레임 내의 각 블록의 프레임 단위로 또는 필드 단위로 처리할 수 있다.
어떠한 참조 화상도 참조하지 않고 화상내 예측 부호화를 실행하는 화상을 내-부호화 화상(I 화상)이라고 한다. 또한, 하나의 화상만을 참조하여 화상간 예 측 부호화를 실행하는 화상을 예측 부호화 화상(P 화상)이라고 한다. 또한, 2개의 참조 화상을 동시에 참조하는 화상간 예측 부호화를 실행하는 화상은 양방향 예측 부호화 화상(B 화상)이라고 한다. B 화상은 표시 시간에서의 전방 화상 및 후방 화상의 임의의 조합으로 선택된 2개의 화상을 참조할 수 있다. 그러한 2개의 참조 화상들은 블록 단위로 특정될 수 있고, 블록은 부호화 및 복호화의 기본 단위이다. 그들 참조 화상은, 부호화 비트 스트림 내의 앞서 기재된 참조 화상은 제1 참조 화상이라고 하고, 뒤에 기재된 다른 참조 화상은 제2 참조 화상이라고 하여 서로 구별된다. 그러한 참조 화상은 P 화상 및 B 화상을 부호화 또는 복호화하기 위해 미리 부호화 또는 복호화되어야 한다.
움직임 보상 화상간 예측 부호화는 P 화상 및 B 화상을 부호화하는 데 사용된다. 움직임 보상 화상내 예측 부호화는 움직임 보상이 적용되는 화상내 예측 부호화 방법이다. 움직임 보상은 움직임 벡터를 고려하여 화상의 각 블록의 움직임량(이하 움직임 벡터라고 한다)을 추정함으로써 및 예측 부호화를 실행함으로써 예측 정확도를 향상시키고 데이터량을 감소시키는 방법이다. 예를 들면, 데이터량은, 부호화될 화상의 움직임 벡터를 추정함으로써, 및 각 움직임 벡터의 크기만큼 시프트되는 각 예측값과 부호화될 각 현재 화상 사이의 각 예측 나머지를 부호화함으로써, 감소된다. 이 방법의 경우에, 움직임 벡터 정보가 복호화할 때 필요하기 때문에, 움직임 벡터가 또한 부호화되어, 기록되거나 송신된다.
움직임 벡터는 매크로 블록 단위로 추정된다. 더욱 구체적으로는, 움직임 벡터는, 부호화될 화상의 매크로 블록을 고정하고, 탐색 범위 내에서 참조 화상의 매 크로 블록을 이동시키며, 표준 블록에 가장 가까운 참조 블록의 위치를 찾아냄으로써 추정된다.
도 1a 및 도 1b는 각각 종래의 MPEG-2 스트림의 구조도이다. 도 1b에 도시된 바와 같이, MPEG-2 스트림은 후술하는 계층 구조 등을 갖는다. 스트림은 화상의 그룹(이하 GOP라고 한다)으로 구성된다. 부호화 처리에서의 기본 단위로서 GOP의 사용으로 인해, 동화상의 편집이나 랜덤 액세스의 실행이 가능하다. GOP는 I 화상, P 화상 및 B 화상으로 이루어진다. 스트림, GOP 및 화상은 유닛들의 경계를 나타내는 동기 신호(sync) 및 유닛들 내에서의 공통 데이터를 나타내는 헤더를 더 포함하고, 여기에서 유닛들은 각각 스트림, GOP 및 화상이다.
도 2a 및 도 2b는 MPEG-2에 사용되는 화상간 예측 부호화를 어떻게 실행하는지를 나타내는 예들을 각각 도시한다. 도면에서 사선으로 표시된 화상은 다른 화상들에 의해 참조되는 화상들이다. 도 2a에 도시된 바와 같이, MPEG-2에서의 예측 부호화시에, P 화상(P0, P6, P9, P12 및 P15)은 표시 시간에서의 직전 I 화상 또는 P 화상으로 선택된 하나의 화상만을 참조할 수 있다. 또한, B 화상(B1, B2, B4, B5, B7, B8, B10, B11, B13, B14, B16, B17, B19 및 B20)은 직전 I 화상 또는 P 화상과 직후 I 화상 또는 P 화상의 조합으로 선택된 2개의 화상을 참조할 수 있다. 또한, 스트림에 배치되는 화상의 순서가 결정된다. I 화상과 P 화상은 표시 시간의 순서로 배치되고, 각 B 화상은 B 화상 직후에 표시될 I 화상 직후 또는 P 화상 직후에 배치된다. GOP의 구성예로서, 도 2b에 도시된 바와 같이, I3∼B14의 화상들은 단일의 GOP로 그룹화된다.
도 3a는 MPEG-4 AVC 시스템의 구조도이다. MPEG-4 AVC에서 GOP에 상당하는 개념은 존재하지 않는다. 그러나, 다른 화상에 의존하지 않고 복호화될 수 있는 특별한 화상에 기초하여 데이터를 분할함으로써 GOP에 상당하는 랜덤하게 액세스 가능한 유닛을 구성하는 것이 가능하기 때문에, 그러한 유닛은 이하 RAU(Random Access Unit)라고 한다. 바꿔 말하면, 랜덤 액세스 유닛(RAU)은 어떠한 화상에도 의존하지 않고 복호화될 수 있는 화상간 부호화 화상으로 시작하는 부호화 화상 그룹이다.
이어서, 스트림을 취급할 때 기본 단위인 액세스 유닛(이하 간단히 AU라고 한다)을 이하 설명한다. AU는 하나의 화상에 상당하는 부호화된 데이터를 저장하는 단위이고, 파라미터 세트(PS), 슬라이스 데이터 등을 포함한다. 두가지 종류의 파라미터 세트(PS)가 존재한다. 그 중 하나는 각 화상의 헤더에 상당하는 데이터인 화상 파라미터 세트(PPS)(간단히 이하 PPS라고 한다)이다. 나머지 하나는 MPEG-2에서 GOP 이상의 단위로 포함되는 헤더에 상당하는 시퀀스 파라미터 세트(SPS)(이하 간단히 SPS라고 한다)이다. SPS는 최대의 수의 참조 화상, 화상 사이즈 등을 포함한다. 반면에, PPS는 가변 길이 부호화 타입, 양자화 단계의 초기값, 참조 화상의 수 등을 포함한다. 각 화상에는 상술한 PPS와 SPS 중 어느 것이 참조되는지를 나타내는 식별자가 할당된다. 또한, 화상을 식별하는 식별 번호인 프레임 번호(FN)이 슬라이스 데이터에 포함된다. 시퀀스는 복호화에 필요한 모든 상태들이 후술하는 바와 같이 리셋되는 특별한 화상에서 시작하고, 시퀀스는 특별한 화상에서 시작하여 이후의 특별한 화상 직전에 배치되는 화상에서 종료하는 화상들의 그룹으로 이루어진다.
MPEG-4에서는 2종류의 I 화상이 존재한다. 이들은 IDR(Instantaneous Decoder Refresh)와 그 외이다. IDR 화상은, 복호화 순서에서 IDR 화상 앞에 배치된 화상을 참조하지 않고, 복호화 순서에서 IDR 화상 뒤에 배치된 모든 화상들을 복호화할 수 있는 I 화상이다, 바꿔 말하면, 복호화하는데 필요한 상태들이 리셋되어 있는 I 화상이다. IDR 화상은 MPEG-2 폐쇄형(closed) GOP의 선두 I 화상에 상당한다. MPEG-4 AVC에서의 시퀀스는 IDR 화상에서 시작한다. IDR 화상이 아닌 I 화상의 경우, 복호화 순서에서 I 화상 뒤에 배치되는 화상은 복호화 순서에서 I 화상 앞에 배치되는 화상을 참조할 수 있다. 각각의 화상 타입들은 이후에 정의된다. IDR 화상 및 I 화상은 I 슬라이스들만으로 구성되는 화상들이다. P 화상은 P 슬라이스들과 I 슬라이스들로 구성될 수 있는 화상이다. B 화상은 B 슬라이스들, P 슬라이스들 및 I 슬라이스들로 구성될 수 있는 화상이다. IDR 화상의 슬라이스들은 IDR이 아닌 화상의 슬라이스들이 저장되는 NAL 유닛의 타입과 상이한 타입의 NAL 유닛에 저장된다. 여기에서, NAL 유닛은 부화상 유닛이다.
MPEG-4 AVC에서의 AU에는, 복호화하는 데 필요한 데이터 뿐만 아니라 AU의 보조 정보 및 경계 정보가 포함될 수 있다. 그러한 보조 정보는 SEI(Supplemental Enhancement Information)라고 하며, 슬라이스 데이터의 복호화에는 불필요하다. 파라미터 세트(PS), 슬라이스 데이터, SEI와 같은 데이터는 모두 NAL(Network Abstraction Layer) 유닛, 즉 NALU에 저장된다. NAL 유닛은 헤더와 페이로드로 구성된다. 헤더는 저장될 데이터 타입(이하 NAL 유닛 타입이라 한다)을 나타내는 필 드를 포함한다. NAL 유닛 타입의 값은 슬라이스나 SEI와 같은 데이터의 타입에 대해 각각 정의된다. 그러한 NAL 유닛 타입의 값을 참조하면 NAL 유닛에 저장될 데이터의 타입을 식별할 수 있다. NAL 유닛의 헤더는 nal_ref_idc라고 하는 필드를 포함한다. nal_ref_idc 필드는 2비트 필드이고 NAL 유닛의 타입에 의존하는 0, 1 또는 그 이상의 값을 취하는 것으로 정의된다. 예를 들면, SPS나 PPS의 NAL 유닛은 1 이상을 취한다. 슬라이스의 NAL 유닛의 경우에는, 다른 슬라이스에 의해 참조될 슬라이스는 1 이상을 취하지만, 참조되지 않는 슬라이스는 0을 취한다. 또한, SEI의 NAL 유닛은 항상 0을 취한다.
하나 이상의 SEI 메시지가 SEI의 NAL 유닛에 저장될 수 있다. SEI 메시지는 헤더와 페이로드로 구성되고, 페이로드에 저장될 정보의 타입은 헤더에 나타나는 SEI 메시지의 타입에 의해 식별된다. AU를 복호화하는 것은 AU에서의 슬라이스 데이터를 복호화하는 것을 의미하고, AU를 표시하는 것은 AU 헤더에서의 슬라이스 데이터의 복호화 결과를 표시하는 것을 의미한다.
여기에서는, NAL 유닛이 NAL 유닛 경계를 식별하기 위한 정보를 포함하지 않으므로, NAL 유닛을 AU로서 저장할 때에 각 NAL 유닛의 선두에 경계 정보를 부가하는 것이 가능하다. MPEG-2 전송 스트림(TS)이나 MPEG-2 프로그램 스트림(PS)에서 MPEG-4 AVC 스트림을 취급할 때, 0x000001의 3바이트로 나타내는 개시 코드 프리픽스(prefix)가 NAL 유닛의 선두에 부가된다. 또한, AU 경계를 나타내는 NAL 유닛이 MPEG-2 TS 또는 PS에서의 AU의 선두에 삽입되어야 하는 것이 정의되며, 그러한 AU는 액세스 유닛 디리미터(Access Unit Delimiter)라고 한다.
종래, 이와 같은 동화상 부호화에 관련된 여러 종류의 기술이 제안된 바 있다(예를 들면, 특허 문헌 1 참조).
특허 문헌 1: 일본 공개 특허 2003-18549호 공보
도 4는 종래의 동화상 부호화 장치의 블록도이다.
동화상 부호화 장치(1)는 입력되는 입력 비디오 신호(Vin)를 압축 부호화를 통해 가변 길이 부호화 스트림의 비트 스트림 등으로 변환함으로써 얻어지는 부호화 스트림(Str)을 출력하는 장치이다. 동화상 부호화 장치는 예측 구조 결정부(PTYPE), 움직임 벡터 추정부(ME), 움직입 보상부(MC), 감산부(Sub), 직교 변환부(T), 양자화부(Q), 역양자화부(IQ), 역직교 변환부(IT), 가산부(Add), 화상 메모리(PicMem), 스위치 및 가변 길이 부호화부(VLC)를 포함한다.
입력 비디오 신호(Vin)는 감산부(Sub)와 움직임 벡터 추정부(ME)로 입력된다. 감산부(Sub)는 입력된 입력 비디오 신호(Vin)와 예측 화상 사이의 차분값을 계산하여, 그 차분값을 직교 변환부에 출력한다. 직교 변환부(T)는 차분값을 주파수 계수로 변환하여, 그 주파수 계수를 양자화부(Q)에 출력한다. 양자화부(Q)는 입력된 주파수 계수에 대해 양자화를 실행하여, 양자화값(Qcoef)을 가변 길이 부호화부에 출력한다.
역양자화부(IQ)는 양자화값(Qcoef)에 대해 역양자화를 실행하여 주파수 계수를 복원하고, 그 주파수 계수를 역직교 변환부(IT)에 출력한다. 역직교 변환부(IT)는 역주파수 변환을 실행하여 주파수 계수를 화소 차분값으로 변환하고, 그 화소 차분값을 가산부(Add)에 출력한다. 가산부(Add)는 화소 차분값을 움직임 보상 부(MC)로부터 출력될 예측 화상에 가산하여 복호화된 화상을 생성한다. 스위치(SW)는 복호화된 화상의 저장이 지시될 때 턴 온되어, 복호화된 화상이 화상 메모리(PicMem)에 저장된다.
한편, 입력 비디오 신호(Vin)가 매크로 블록 단위로 입력되는 움직임 벡터 추정부(ME)는 화상 메모리(PciMem)에 저장된 복호화 화상을 탐색하고, 입력 화상 신호에 가장 가까운 화상 영역을 추정하여, 결과적으로 위치를 나타내는 움직임 벡터(MV)를 결정한다. 움직임 벡터 추정은 블록 단위로 실행되고, 블록은 매크로 블록의 분할된 부분이다. 복수의 화상이 동시에 참조 화상으로 사용될 수 있기 때문에, 참조될 화상을 특정하기 위한 참조 번호(상대 인덱스)가 블록 단위로 필요하게 된다. 상대 인덱스로 나타내는 화상 번호를 계산함으로써 참조 화상을 특정하는 것이 가능해지고, 그러한 화상 번호는 화상 메모리(PicMem) 내의 각각의 화상에 할당된다.
움직임 보상부(MC)는 화상 메모리(PicMem)에 저장된 복호화 화상으로부터 예측 화상으로서 최적화된 화상 영역을 선택한다.
예측 구조 결정부(PTYPE)는, 랜덤 액세스 유닛 개시 화상(RAUin)이 현재의 화상에서 랜덤 액세스 유닛(RAU)이 개시하는 것을 나타내는 경우에, 자신의 화상 타입(Ptype)을 사용하여 랜덤하게 액세스 가능한 특별한 화상으로 대상 화상에 대해 화상내 부호화를 실행하도록 움직임 벡터 추정부(ME)와 움직임 보상부(MC)에 지시하고, 화상 타입(Ptype)을 부호화하도록 가변 길이 부호화부(VLC)에 지시한다.
가변 길이 부호화부(VLC)는 양자화값(Qcoef), 상대 인덱스(Index), 화상 타 입(Ptype) 및 움직임 벡터(MV)에 대해 가변 길이 부호화를 실행하여, 부호화된 스트림(Str)을 생성한다.
도 5는 종래의 동화상 복호화 장치(2)의 블록도이다. 이러한 동화상 복호화 장치(2)는 가변 길이 복호화부(VLD), 화상 메모리(PicMem), 움직임 보상부(MC), 가산부(Add), 역직교 변환부(IT) 및 역양자부(IQ)를 포함한다. 도면에서, 도 4의 블록도에 도시된 바와 같은 종래의 동화상 부호화 장치 내의 처리부들과 동일한 동작을 실행하는 처리부들에는 동일한 참조 번호가 할당되고, 그 설명을 생략한다.
가변 길이 복호화부(VLD)는 부호화된 스트림(Str)을 복호화하고, 양자화값(Qcoef), 상대 인덱스(Index), 화상 타입(Ptype) 및 움직임 벡터(MV)를 출력한다. 양자화값(Qcoef), 상대 인덱스(Index) 및 움직임 벡터(MV)는 각각 화상 메모리(PciMem), 움직임 보상부(MC) 및 역양자부(IQ)에 입력되고, 그들에 대한 복호화 처리가 실행된다. 그러한 종래 동화상 부호화 장치의 동작은 도 4의 블록도를 사용하여 이미 설명하였다.
랜덤 액세스 유닛(RAU)은 복호화가 랜덤 액세스 유닛 내의 선두 AU에서 시작하여 실행될 수 있는 것을 나타낸다. 그러나, 종래의 MPEG-4 AVC 스트림은 매우 유연한 예측 구조를 허용하기 때문에, 광 디스크나 하드 디스크를 갖는 기억 장치는 가변속 재생이나 역재생 시에 복호화되거나 표시되는 AU를 결정하기 위한 정보를 획득할 수 없다.
도 6a 및 도 6b는 AU의 예측 구조의 예들이다. 여기에서, 각 AU에 화상이 저장된다. 도 6a는 MPEG-2 스트림에 사용되는 AU의 예측 구조이다. 도면에서 사 선으로 표시된 화상은 다른 AU에 의해 참조되는 화상이다. MPEG-2에서는, P 화상(P4 및 P7)의 AU는 표시할 때 직전의 I 화상이나 P 화상의 AU로 선택된 하나의 AU만을 참조하여 예측 부호화를 실행할 수 있다. 또한, B 화상(B1, B2, B3, B5 및 B6)의 AU는 표시할 때 직전의 I 화상이나 P 화상 및 직후의 I 화상이나 P 화상의 AU의 조합으로 선택된 2개의 AU만을 참조하여 예측 부호화를 실행할 수 있다. 또한, 스트림에 배치되는 화상의 순서는 이하와 같이 결정된다: 즉, I 화상과 P 화상의 AU는 표시 시간의 순서로 배치되고, B 화상들의 각각의 AU는 I 화상이나 각 B 화상이 AU의 직후에 배치되는 P 화상 중 하나의 AU 직후에 배치된다. 결국, 부호화는 이하의 3가지 방식: 즉 (1) 모든 화상이 복호화되는 방식, (2) I 화상 및 P 화상의 AU만 복호화되어 표시되는 방식, 및 (3) I 화상의 AU만 복호화되어 표시되는 방식으로 실행될 수 있다. 따라서, 아래의 3종류의 재생, 즉 (1) 통상의 재생, (2) 중속 재생, 및 (3) 고속 재생을 이용하여 용이하게 실행될 수 있다.
MPEG-4 AVC에서, B 화상의 AU가 B 화상의 AU를 참조하는 예측이 실행될 수 있다. 도 6b는 MPEG-4 AVC 스트림에서의 예측 구조의 일례이고, B 화상(B1 및 B3)의 AU는 B 화상의 AU(B2)를 참조한다. 이 예에서, 아래의 4종류의 복호화 또는 표시, 즉, (1) 모든 화상이 복호화되고, (2) 참조되는 I 화상, P 화상 및 B 화상의 AU만이 복호화되어 표시되며, (3) I 화상 및 P 화상의 AU만 복호화되어 표시되고, (4) I 화상의 AU만 복호화되어 표시되는 것이 실현될 수 있다.
또한, MPEG-4 AVC에서는, P 화상의 AU는 B 화상의 AU를 참조할 수 있다. 도 7에 도시된 바와 같이, P 화상(P7)의 AU는 B 화상(B2)의 AU를 참조할 수 있다. 이 경우에, P 화상(P7)의 AU는 B 화상(B2)의 AU가 복호화된 후에만 복호화될 수 있다. 따라서, 아래의 3종류의 복호화 또는 표시, 즉, (1) 모든 화상이 복호화되고, (2) 참조되는 I 화상, P 화상 및 B 화상의 AU만이 복호화되어 표시되며, (3) I 화상의 AU만 복호화되어 표시되는 것이 실현될 수 있다.
이 방식으로, 여러 가지 예측 구조가 MPEG-4 AVC에서 허용되기 때문에, 슬라이스 데이터의 분석 및 예측 구조의 판정이 AU들간의 참조 관계를 알기 위해 행해져야 한다. 이것은, MPEG-2의 경우에서와 달리, 점프인 재생, 가변속 재생 및 역재생을 실행할 때 재생 속도에 의존하여 결정되는 규칙에 기초하여, 복호화되거나 표시될 AU가 결정될 수 없다는 문제점을 수반한다.
본 발명의 목적은 (ⅰ) 유연한 예측 구조를 허용하는 MPEG-4 AVC와 같은 부호화 방법의 경우에도, 점프인 재생, 가변속 재생 및 역재생과 같은 트릭 플레이를 실행할 수 있는 동화상 스트림을 생성하는 동화상 스트림 생성 장치, 동화상 부호화 장치 및 동화상 다중화 장치 및 (ⅱ) 그러한 동화상 스트림을 복호화하는 동화상 복호화 장치를 제공하는 것이다.
상술한 목적을 달성하기 위해, 본 발명의 동화상 스트림 생성 장치는 동화상을 구성하는 화상들을 포함하는 스트림을 생성한다. 그러한 장치는 하나 이상의 화상을 포함하는 각 랜덤 액세스 유닛의 재생 시에 참조되는 보조 정보를 랜덤 액세스 유닛 단위로 생성하는 보조 정보 생성부; 및 상기 보조 정보를 각 대응 랜덤 액세스 유닛에 부가함으로써 상기 생성된 보조 정보 및 상기 화상들을 포함하는 스트림을 생성하는 스트림 생성부를 포함한다. 각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고, 상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함한다. 이러한 방식으로, 각 랜덤 액세스 유닛(RAU)은 트릭 플레이가 랜덤 액세스 유닛에 포함된 화상들에 대해 실행되는 경우에 복호화될 화상들을 특정하는 정보를 포함한다. 재생 시에 보조 정보를 참조하면, 복잡한 예측 구조를 분석하지 않고 트릭 플레이에 필요한 화상들을 즉시 결정할 수 있게 된다. 따라서, 다양한 예측 구조가 허용되는 MPEG-4 AVC와 같은 부호화 방법의 경우에도 가변속 재생 및 역 재생과 같은 트릭 플레이를 실행할 수 있게 된다.
여기에서, 본 발명의 제1 양태에서는, 동화상 스트림 생성 장치에서, 트릭 플레이가 점프인 재생, 가변속 재생 및 역 재생 중 적어도 하나를 포함한다. 또한, 본 발명의 제2 양태에서는, 동화상 스트림 생성 장치에서, 각각의 화상들은 부화상 유닛들로 구성되고, 상기 스트림 생성부는 보조 정보를 각각의 화상들의 화소값을 저장하는 제2 부화상 유닛과 다른 제1 부화상 유닛에 저장한다. 이 때, 본 발명의 제3 양태에서는, 동화상 스트림 생성 장치에서, 각 랜덤 액세스 유닛은 하나 이상의 화상들이고, 상기 스트림 생성부는 보조 정보를 각 랜덤 액세스 유닛에 포함되는 선두 화상에 저장하는 것이 바람직하다.
본 발명의 제4 양태에서는, 동화상 스트림 생성 장치에서, 상기 보조 정보는 특정 속도로 각 랜덤 액세스 유닛의 재생 시에, 복호화될 화상들을 특정하는 정보를 포함해도 된다. 본 발명의 제4 양태에서는, 동화상 스트림 생성 장치에서, 상기 보조 정보는 각 랜덤 액세스 유닛이 재생되는 화상 우선순위를 나타내는 정보를 포함해도 된다. 본 발명의 제4 양태에서는, 동화상 스트림 생성 장치에서, 상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 모든 화상들의 화상 타입을 나타내는 정보들을 포함해도 되고, 상기 정보들은 상기 화상들의 복호화 순서에 대응하는 순서로 배치되어 있다. 여기에서, 본 발명의 제7 양태에서는, 동화상 스트림 생성 장치에서, 상기 화상 타입은: 내-부호화가 실행되는 I 화상; 부호화 시의 기본 단위인 블록당 하나의 화상을 참조하여 화상간 부호화가 실행되는 P 화상; 부호화 시의 기본 단위인 블록당 2개의 화상을 참조하여 화상간 부호화가 실행되고, 다른 화상에 의해 참조되는 화상인 참조 B 화상; 및 부호화 시의 기본 단위인 블록당 2개의 화상을 참조하여 화상간 부호화가 실행되고, 다른 화상에 의해 참조되지 않는 화상인 미참조 B 화상을 포함한다.
본 발명의 제4 양태에서는, 동화상 스트림 생성 장치에서, 상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 모든 화상들의 화상 구조 타입을 나타내는 정보들을 포함해도 되고, 상기 정보들은 상기 화상의 복호화 순서에 대응하는 순서로 배치되어 있다. 여기에서, 적어도 필드 구조와 프레임 구조가 각 화상 구조에 포함되어 있다. 이와 달리, 화상이 프레임 구조를 갖는 경우에는, 상기 화상이 2개의 화상에 상당하는 표시 필드를 갖는지, 또는 상기 화상이 3개의 화상에 상당하는 표시 필드를 갖는지를 나타내는 정보가 각각의 화상 구조 타입들에 포함되어도 된다.
본 발명의 제10 양태에서는, 동화상 스트림 생성 장치에서, 상기 화상 구조 타입은, 화상이 프레임 구조를 갖는 경우에, 상기 화상이 2개의 화상에 상당하는 표시 필드를 갖는지, 또는 상기 화상이 3개의 화상에 상당하는 표시 필드를 갖는지를 나타내는 정보를 갖는 프레임 구조를 더 포함해도 된다. 더욱 구체적으로는, 본 발명의 제1 양태에서는, 상기 동화상 스트림 생성 장치는 하나 이상의 화상에 관한 파라미터의 그룹인 시퀀스 파라미터 세트를 각 랜덤 액세스 유닛에 부가하는 시퀀스 파라미터 세트 부가부를 더 포함해도 되고, 상기 시퀀스는 복호화하는데 필요한 모든 상태들이 리셋되는 특수 화상에서 개시하여 이후의 특수 화상 바로 앞에 배치되는 화상에서 종료한다. 이러한 방식으로, 시퀀스 파라미터 세트는 시퀀스 정보를 나타낼 수 있을 뿐만 아니라 랜덤 액세스 유닛의 경계 정보로서 사용될 수도 있다. 여기에서, 시퀀스는 디코딩하는 데 필요한 모든 상태들이 리셋되는 특수 화상에서 개시하고, 특수 화상에서 개시하여 이후의 특수 화상 바로 앞에 배치되는 화상에서 종료하는 화상들로 구성되어 있다.
본 발명은 상술한 동화상 스트림 생성 장치로서 실현될 수 있을 뿐만 아니라, 이들 유닛에 부가하여 부호화부를 구비하는 동화상 부호화 장치로서, 부호화된 스트림을 패킷화하여 보조 정보와 함께 부호화된 스트림을 다중화하는 동화상 다중화 장치로서, 그리고 그러한 부호화된 스트림을 복호화하여 부호화된 스트림의 트릭 플레이를 실행하는 동화상 복호화 장치로서 실현될 수 있다. 또한, 본 발명은 상술한 장치들의 각각 내의 처리부들에 각각 대응하는 단계들을 포함하는 방법으로서 실현될 수 있을 뿐만 아니라, 컴퓨터에 의해 실행되는 프로그램으로서, 동화상 스트림 생성 장치에 의해 생성되는 데이터 스트림으로서, 컴퓨터 판독 가능한 CD-ROM과 같은 기록 매체로서, 그리고 LSI와 같은 반도체 IC로서도 실현될 수 있다.
지금까지 설명한 바와 같이, 본 발명에 따라, 가변속 재생 및 역 재생과 같은 트릭 플레이 싱에 복호화될 AU가 랜덤 액세스 유닛(RAU)의 선두 AU에서의 특정 NAL 유닛을 참조함으로써 결정될 수 있다. 따라서, 우수한 트릭 플레이 기능을 갖는 동화상 복호화 장치가 용이하게 실현될 수 있으므로, 본 발명은 매우 실용적이다.
본 출원에 대한 기술적 배경에 관한 추가의 정보
명세서, 도면 및 청구범위를 포함하는 2004년 4월 28일에 출원된 일본 특허출원 2004-134212호의 전체 개시 내용은 참고로 본 명세서에 일체화되어 있다.
명세서, 도면 및 청구범위를 포함하는 2004년 6월 2일에 출원된 일본 특허출원 2004-165005호의 전체 개시 내용은 참고로 본 명세서에 일체화되어 있다.
명세서, 도면 및 청구범위를 포함하는 2004년 8월 31일에 출원된 일본 특허출원 2004-251871호의 전체 개시 내용은 참고로 본 명세서에 일체화되어 있다.
도 1a 및 도 1b는 배경 기술에서의 MPEG-2 스트림 구조를 각각 도시하는 도면이다.
도 2a 및 도 2b는 배경 기술에서의 MPEG-2 GOP 구조를 각각 도시하는 도면이다.
도 3a 및 도 3b는 배경 기술에서의 MPEG-4 스트림 구조를 각각 도시하는 도면이다.
도 4는 종래의 부호화 장치의 구성을 도시하는 블록도이다.
도 5는 종래의 복호화 장치의 구성을 도시하는 블록도이다.
도 6a 및 도 6b는 종래의 MPEG-4 AVC 스트림에서의 예측 구조의 예들을 각각 도시하는 도면이다.
도 7은 종래의 MPEG-4 AVC 스트림에서의 다른 예측 구조의 예를 도시하는 도면이다.
도 8a 및 도 8b는 본 발명의 MPEG-4 AVC 스트림의 구조를 각각 도시하는 도면이다.
도 9a 내지 도 9D는 랜럼 액세스 유닛(RAU)에서 복호화되는 AU를 도시하는 제1 예의 도면이다.
도 10a 내지 도 10D는 랜럼 액세스 유닛(RAU)에서 복호화되는 AU를 도시하는 제2 예의 도면이다.
도 11a 내지 도 11C는 랜럼 액세스 유닛(RAU)에서 복호화되는 AU를 도시하는 제3 예의 도면이다.
도 12a 내지 도 12F는 랜럼 액세스 유닛(RAU)에서 복호화되는 AU를 특정하는 방법을 도시하는 일례의 도면이다.
도 13a는 가변 속도 재생 정보를 나타내는 테이블의 신택스(syntax)예를 도시하는 도면이고, 도 13b는 데이터 기억부를 도시하는 도면이다.
도 14는 가변 속도 재생 정보를 나타내는 테이블의 확장예의 도면이다.
도 15a 내지 도 15C는 랜덤 액세스 유닛(RAU) 내의 I 화상과 P 화상의 AU를 가변 속도 재생 정보로서 도시하는 일례의 도면이다.
도 16a 내지 도 16C는 가변 속도 재생 정보로서 AU의 우선순위를 사용할 때 버퍼 체류 시간이 우선순위의 지표로 사용되는 일례의 도면이다.
도 17a 및 도 17b는 프레임 구조 AU 및 필드 구조 AU가 각각의 RAU에 공존하는 예들을 각각 도시하는 도면이고, 도 17C는 RAU 내의 각 AU의 구조를 도시하는 제1 맵(RAU_map1)의 신택스예를 도시하는 도면이며, 도 17D는 도 17b의 RAU의 RAU_map1을 도시하는 도면이고, 도 17E는 도 17b의 랜덤 액세스 유닛(RAU)에 관한 RAU_map을 도시하는 도면이며, 도 17F는 필드쌍의 각 프레임이나 각 화상의 부호화 종류를 도시하는 제2 맵(RAU_map2)의 신택스예를 도시하는 도면이다.
도 18a 내지 도 18C는 재생 정보로서의 다른 예를 도시하는 도면이다.
도 19는 랜덤 액세스 유닛(RAU)에서의 경계 정보를 나타내는 방법의 도면이다.
도 20a 및 도 20b는 랜덤 액세스 유닛(RAU) 내의 화상의 예측 구조의 예들을 도시하는 도면이다.
도 21은 본 발명의 동화상 부호화 장치의 구성을 도시하는 블록도이다.
도 22는 동화상 부호화 방법의 플로우차트이다.
도 23은 본 발명의 동화상 다중화 장치의 구성을 도시하는 블록도이다.
도 24a 및 도 24b는 지원 정보(HLP)의 내용의 예를 도시하는 도면이다.
도 25는 트릭 플레이 정보가 지원 정보(HLP)에 저장되어 있는 NAL 유닛의 일례를 도시하는 도면이다.
도 26은 동화상 다중화 장치의 동작을 도시하는 플로우차트이다.
도 27은 본 발명의 동화상 복호화 장치의 구성을 도시하는 블록도이다.
도 28은 종래의 화상 복호화 방법의 플로우차트이다.
도 29는 본 발명의 동화상 복호화 방법에서 복호화될 AU를 결정하는 플로우차트이다.
도 30은 본 발명의 동화상 복호화 방법에서 복호화될 AU가 표시될 AU와 일치하지 않는 경우에 실행되는 처리를 도시하는 플로우차트이다.
도 31은 HD-DVD의 데이터 계층을 도시하는 도면이다.
도 32는 HD-DVD 상의 논리 공간의 구성도이다.
도 33은 VOB 정보 파일의 구성도이다.
도 34는 타임 맵의 도면이다.
도 35는 플레이 리스트 파일의 구성도이다.
도 36은 플레이 리스트에 대응하는 프로그램 파일의 구성도이다.
도 37은 전체 BD 디스크의 관리 정보의 파일을 도시하는 구성도이다.
도 38은 글로벌 이벤트 핸들러(global event handler)를 기록하는 파일의 구성도이다.
도 39는 HD-DVD 플레이어의 개요를 도시하는 블록도이다.
도 40a 내지 도 40C는 본 발명의 동화상 부호화 방법 및 동화상 복호화 방법을 실현하는 프로그램을 저장하는 기록 매체를 도시하는 도면이다.
이하 본 발명의 실시예를 도면을 참조하여 설명한다.
(AVC 스트림의 구조)
먼저, 본 발명의 동화상 스트림 생성 장치, 동화상 부호화 장치 및 동화상 다중화 장치에 의해 생성되는 AVC 스트림의 구조, 바꿔 말하면, 본 발명의 화상 복호화 장치에 입력되는 AVC 스트림을 설명한다.
도 8a 및 도 8b는 본 발명의 AVC 스트림의 구조를 각각 도시한다. NAL 유닛의 선두에 부가될 경계 정보는 도면에는 도시되어 있지 않다. AVC 스트림은, 점프인 재생, 가변속 재생 및 역재생과 같은 트릭 플레이 시에 복호화될 AU를 나타내는 트릭 플레이 정보가 부가되는 점에서 종래의 AVC 스트림과 상이하다. 트릭 플레이 정보는 재생 정보를 저장하는 NAL 유닛에 저장된다(도 8a). MPEG-4 AVC에서, 저장될 정보와 특정 NAL 유닛의 NAL 유닛 타입간의 관계는 애플리케이션에 의해 설정될 수 있다. 더욱 구체적으로는, 0과 24∼31의 값들이 사용될 수 있으며, 이들 NAL 유닛 타입은 사용자 설정 가능 NAL 유닛 타입이라고 한다. 결과적으로, 트릭 플레이 정보는 그러한 사용자 설정 가능 NAL 유닛 타입을 갖는 NAL 유닛에 저장된다. 여기에서는, 트릭 플레이 정보와 상이한 정보를 저장하기 위해 특정 NAL 유닛 타입이 확보된 경우에, NAL 유닛 타입과 상이한 NAL 유닛 타입이 트릭 플레이 정보에 할당된다. 트릭 플레이 정보의 NAL 유닛은 랜덤 액세스 유닛(RAU)의 선두 AU에 저장된다. 그러한 NAL 유닛은 AU에서 존재하는 경우 PPS NAL 유닛 직후에 배치되지만, 순서가 MPEG-4 AVC나 다른 표준의 요건을 충족하는 한 다른 위치에 배치되어도 된다. 또한, 트릭 플레이 정보의 NAL 유닛을 해석하는 것이 불가능한 경우에는, NAL 유닛의 데이터가 스킵되어 다음의 NAL 유닛의 선두로부터 복호화를 재개할 수 있다. 따라서, 트릭 플레이 정보의 NAL 유닛을 해석할 수 없는 단말도 실패하지 않고 복호화 처리를 실행할 수 있다.
그러한 트릭 플레이 정보의 NAL 유닛은 랜덤 액세스 유닛(RAU)의 선두 AU가 아니라 최후 AU와 같은 다른 AU에 포함되어도 된다. 또한, 그러한 트릭 플레이 정보의 NAL 유닛은 랜덤 액세스 유닛(RAU)을 구성하는 각 AU에 포함되어도 된다.
도 9 내지 도 11은 가변속 재생 시에 복호화되는 AU의 예들을 도시한다. 도 9a는 AU의 표시 순서를 도시한다. 여기에서, 사선으로 표시된 AU는 다른 AU에 의해 참조되는 AU이고, 화살표는 참조한 화상을 도시한다. 마이너스 참조 번호는 I0 이전에 표시되는 AU에 할당되고, 플러스 참조 번호는 B15 이후에 표시되는 AU에 할당된다. 도 9b는 도 9a에 도시된 AU의 복호화 순서를 도시하고, I0∼B11이 랜덤 액세스 유닛(RAU)를 구성한다. 이 때, 2배속 재생을 실행하기 위해 I0, -B14, P4, B2, P8, P6, P12 및 B10이 복호화되는 반면(도 9c), 4배속 재생을 실행하기 위해 I0, P4, P8 및 P12가 복호화된다(도 9d). 도 9c 및 도 9d는 2배속 재생과 4배속 재생 시에 * 기호를 갖는 AU가 복호화되는 것을 도시하고 있으며, 이들 정보는 트릭 플레이 정보의 NAL 유닛에 저장된다. 도 10a 내지 도 10d의 예에서, 복호화 순서 I0으로부터 B11까지의 화상이 랜덤 액세스 유닛(RAU)를 구성한다. 여기에서, 1.5배속 재생을 실행하기 위해 I0, -B13, P3, B1, P6, B4, P9, B7, P12 및 B10이 복호화되는 반면, 3배속 재생을 실행하기 위해서 I0, P3, P6, P9 및 P12가 복호화된다. 또한, 도 11a 내지 도 11c의 예에서는, 3배속 재생을 실행하기 위해 I0, P3, P6, P9 및 P12가 복호화된다.
여기에서, 재생 속도는 재생 속도의 가이드라인으로서 설명되기 때문에 정확할 필요는 없다. 예를 들면, 도 11c의 예에서는, 3배속 재생 시에 복호화될 AU로 도시된 모든 AU가 복호화되는 경우에, 속도는 식 16÷5로부터 얻어지는 3.2배속이며, 바꿔 말하면, 정확하게 3배속은 아니다. 또한, M배속으로 재생할 때, M을 초과하는 최소값이 트릭 플레이 정보로 도시된 재생 속도 중에서 N인 경우에, N배속 재생 시에 복호화될 필요가 있는 AU를 복호화하는 것과, 나머지 AU가 복호화 장치의 실행에 의존하여 복호화되어야 할지를 결정하는 것이 가능하게 된다. 또한, 재생 속도가 빠른 경우에 복호화될 필요가 있는 AU에 대해 높은 우선순위를 배치하는 것과, 그 우선순위에 기초하여 복호화될 AU를 결정하는 것이 가능하게 된다.
가변속 재생 시에 복호화될 AU 중에서 일부 AU는 표시되지 않아도 된다. 예를 들면, N번째 AU는 2배속 재생 시에 표시되지만, M번째 AU는 표시되지 않는다. 이 때, N번째 AU를 복호화하기 위해 M번째 AU를 복호화하는 것이 필요한 경우에, M번째 AU는 2배속 재생 시에 복호화되지만 표시되지 않는다.
이어서, 가변속 재생 시에 복호화될 AU를 특정하는 방법을 도 12a 내지 도 12f를 참조하여 설명한다. 도 12a 내지 도 12f는 도 9의 것과 동일한 랜덤 액세스 유닛(RAU)에서 복호화될 AU를 특정하는 예들을 도시한다. 도 12d에 도시된 바와 같이, 2배속 재생 시에 I0, -B14, P4, B2, P8, P6, P12, B10이 복호화된다. 이들 AU는, AU의 카운팅을 랜덤 액세스 유닛(RAU)의 선두 AU에서 시작할 때 첫 번째, 2번째, 5번째, 6번째, 9번째, 10번째, 13번째 및 14번째 AU이다. 이러한 방식으로, 랜덤 액세스 유닛(RAU)에서의 AU의 서수들을 나타냄으로써 가변속 재생 시에 복호화될 AU를 유일하게 특정하는 것이 가능하게 된다. MPEG-2 전송 스트림(TS)에 의해 AVC 스트림을 다중화할 때 AU의 선두에 액세스 유닛 디리미터가 반드시 배치된다. 가변속 재생 시에 복호화될 AU 데이터를 획득할 때, 액세스 유닛 디리미터가 AU 경계를 찾기 위해 순서대로 탐색된다. 이러한 탐색 처리 방법은 슬라이스 데이터와 같은 NAL 유닛의 페이로드를 분석할 필요성을 제거하므로, 더욱 용이해진다.
I 화상 및 P 화상의 AU와 같은 다른 AU에 의해 참조되는 AU(그러한 참조되는 AU는 참조 AU라고 한다)가 가변속 재생 시에 복호화되는 것을 결정함으로써, 그리고 랜덤 액세스 유닛(RAU)에서의 참조 AU의 서수를 특정함으로써 복호화될 AU를 특정하는 것이 가능하게 된다. 도 12b의 랜덤 액세스 유닛(RAU)에서, 도 12c에 도시된 바와 같이, I0, -B14, P4, B2, P8, P6, P12, B10이 참조 AU이다. 또한, 2배속 재생 시에, I0, -B14, P4, B2, P8, P6, P12, B10이 복호화되지만, 참조 AU의 순서에 이들 AU를 나타낼 때, 이들은 도 12f에 도시된 바와 같이 첫 번째, 2번째, 3번재, 4번째, 5번째, 6번째, 7번째 및 8번째 참조 AU에 대응한다. AU가 참조 AU인지의 여부는 슬라이스에서의 NAL 유닛의 헤더 내의 특정 필드를 참조함으로써 판정될 수 있다. 더욱 구체적으로는, nal_ref_idc 필드의 값이 0이 아닌 경우에, AU는 참조 AU이다. 복호화될 참조 AU는, 프레임 번호에 기초하여 참조 AU를 식별하는 것이 가능하기 때문에, 프레임 번호에 기초하여 특정되어도 된다.
또한, 랜덤 액세스 유닛(RAU)의 선두 AU의 개시 위치로부터 복호화될 AU의 개시 위치까지의 바이트 길이에 상당하는 오프셋값을 특정함으로써 복호화될 AU를 특정하는 것이 가능하다. 예를 들면, 도 12a 내지 도 12f에서, I0이 스트림의 선두로부터 10000바이트 정도 떨어진 위치에서 개시되고, P4가 P4로부터 20000바이트 정도 떨어진 위치에서 개시되는 경우에는, P4에 대한 오프셋값은 식 20000-10000으로부터 얻어지는 10000바이트이다. 다중화된 스트림이 MPEG-2 TS에 사용되는 경우에는, TS 패킷이나 PES 패킷(Packetized Elementary Stream)의 헤더의 오버헤드를 포함하는 오프셋값을 특정하는 것이 가능하거나, 애플리케이션에 의해 데이터 패딩(padding)을 실행할 때 이것을 포함하는 오프셋값을 특정하는 것이 가능하게 된다. 또한, 프레임 번호(FN)에 의해 AU를 특정하는 것도 가능하다.
MPEG-2 TS에서 다중화된 스트림을 사용하는 경우에, (ⅰ) 복호화될 AU의 선두 데이터, 또는 랜덤 액세스 유닛(RAU)의 선두 데이터를 포함하는 TS 패킷을 식별하기 위한 어드레스 정보와 인덱스 번호를 저장하는 TS 패킷으로부터 (ⅱ) 현재의 TS 패킷까지의 TS 패킷의 수에 기초하여 AU를 특정하는 것이 가능하다. 여기에서, TS 패킷 대신에 블루레이 디스크(BD)의 기록 포맷용으로 사용될 소스 패킷에 정보를 사용하는 것이 가능하다. 소스 패킷은 TS 패킷에 TS 패킷의 시간 정보, 카피 제어 정보 등을 포함하는 4바이트 헤더를 부가함으로써 얻어진다.
도 13a는 가변속 재생용 정보를 나타내는 테이블의 신택스예이다. 신택스에서, num_pic_in_RAU는 랜덤 액세스 유닛(RAU)을 구성하는 AU의 수를 나타내고, num_speed는 복호화될 AU의 재생 속도의 수를 나타내며, play_speed는 재생 속도를 나타내고, num_dec_pic는 play_speed에 나타낸 재생 속도로 재생 시에 복호화될 AU의 수를 나타내며, dec_pic는 AU의 카운팅을 랜덤 액세스 유닛(RAU)에서의 선두 AU 에서 개시하는 경우에, 복호화될 AU의 서수를 나타낸다. 도 13b는 2배속 재생 및 4배속 재생 시에 도 9a 내지 도 9d에 도시된 랜덤 액세스 유닛(RAU)에서 복호화될 AU에 정보를 저장하는 경우의 예이다. num_pic_in_RAU는 랜덤 액세스 유닛(RAU) 내의 AU의 총 수와 복호화될 AU의 수에 기초하여 정확한 재생 속도를 계산하거나, 랜덤 액세스 유닛(RAU) 단위로 스킵할 때 사용된다. 그러나, num_pic_in_RAU는 동일한 정보가 랜덤 액세스 유닛(RAU)의 선두 AU를 탐색함으로써 획득될 수 있으므로, 생략되어도 된다. 또한, 테이블의 크기를 나타내는 필드가 테이블에 부가되어도 된다. 도 13a의 신택스예에서, 랜덤 액세스 유닛(RAU)의 선두로부터 카운트하는 복호화될 AU의 서수는 직접 도시되지만, 각 AU를 복호화할 필요성이 있는지의 여부가 각 AU에 대응하는 비트를 턴 온 또는 오프시킴으로써 도시되어도 된다. 예를 들면, 랜덤 액세스 유닛(RAU)은 도 9a 내지 도 9d의 예에서 16 AU로 구성되어 있어, 하나의 AU에 1비트를 할당할 때 16비트가 필요하게 된다. 4배속 재생 시에, 첫 번째, 5번째, 9번째 및 13번째 AU가 0b1000100010001000(0b는 이진수를 나타낸다)로 표현되는 16비트 정보를 할당함으로써 복호화되는 것이 도시되어 있다. 여기에서, 선두 비트와 최후 비트는 각각 랜덤 액세스 유닛(RAU)의 선두 AU와 최후 AU에 대응한다.
테이블의 사이즈는 도 13a의 신택스예에서 가변적이다. 테이블 사이즈의 최대값은, 랜덤 액세스 유닛(RAU)을 구성하는 AU의 수의 최대값과 num_speed의 최대값이 규정되어 있는 경우에 결정된다. 결과적으로, 테이블 사이즈를 결정된 최대값으로 고정하는 것이 가능하고, 가변속 재생을 위한 정보의 사이즈가 최대값에 도 달하지 못한 경우에는 패딩을 실행하는 것이 가능하게 된다. 이러한 방식으로 테이블 사이즈를 고정시키면, 가변속 재생 정보를 획득할 때 고정된 사이즈의 데이터를 항상 획득할 수 있어, 정보 획득 처리를 가속화할 수 있다. 테이블을 저장하기 위한 NAL 유닛의 사이즈나 테이블 사이즈는 관리 정보로 도시되어 있다. 또한, 트릭 플레이 정보를 저장하기 위한 NAL 유닛의 사이즈를 결정하는 것이 가능하고, 정보가 하나의 NAL 유닛에 저장될 수 없는 경우에는, 가변속 재생을 위한 정보를 복수의 NAL 유닛에 분리하여 저장하는 것이 가능하다. 이 때, 최후 NAL 유닛의 페이로드에 대해 패딩이 실행되어, NAL 유닛의 사이즈가 소정 크기로 된다. 또한, 일부 규정된 값들이 테이블 사이즈의 값으로 결정되고, 테이블 사이즈의 규정된 값을 나타내는 인덱스 번호가 테이블 내에 또는 애플리케이션의 관리 정보를 사용하여 나타내어도 된다.
또한, 각 재생 속도에서 복호화될 모든 AU를 리스트하는 대신 차분 정보를 나타내는 것이 가능하다. M(＜N)배속 재생 시의 정보로서, 복호화될 필요가 있는 AU만 N배속 재생 시에 복호화될 필요가 있는 AU에 부가하여 나타낸다. 도 13b의 예에서는, 4배속 재생 시에 복호화될 AU에 부가하여, 2번째, 6번째, 10번째 및 14번째 AU가 2배속 재생 시에 복호화되기 때문에, 2배속 재생용의 정보로서 2번째, 6번째, 10번째 및 14번째 AU만을 나타내는 것이 가능하게 된다.
가변속 재생 시에 복호화될 필요가 있는 AU는 상기 설명에서 나타내고 있지만, 또한 복호화될 필요가 있는 AU의 표시 순서를 나타내는 정보를 나타내는 것도 가능하다. 예를 들면, 2배속 재생 및 4배속 재생 시의 정보는 도 9a 내지 도 9d의 예에 도시되어 있지만, 여기에서는 이러한 랜덤 액세스 유닛(RAU)를 3배속으로 재생하는 일례이다. 4배속 재생 시에 표시될 AU에 부가하여 2배속 재생 시에 표시될 AU의 일부를 표시하면 3배속 재생을 실현 가능하다. 여기에서, 하나 이상의 AU가 4배속 재생 시에 표시될 I0 및 P4 사이에 표시되는 경우를 고려할 때, 2배속 재생용 정보는 그 후보들이 -B14, B2, B6 및 B10인 것을 나타낸다. 그러나, 이들 4개의 AU의 표시 순서는 슬라이스의 헤더 정보가 분석되는 경우에만 획득될 수 있다. 여기에서, 표시 순서에 대한 정보는 -B14만이 I0 및 P4 사이에 표시되는 것을 나타내기 때문에, -B14가 복호화되는 것으로 결정하는 것이 가능하다. 도 14는 표시 순서에 대한 정보를 나타내는 신택스예이고, 도 13a의 신택스에 표시 순서에 대한 정보를 부가함으로써 얻어진다. 여기에서, pts_dts_flag는 재생 속도에서 복호화될 AU의 복호화 순서가 AU의 표시 순서와 일치하는지의 여부를 나타내고, 복호화 순서가 표시 순서와 일치하지 않는 경우에만, 표시 순서의 정보가 display_order 필드에 나타난다.
가변속 재생의 정보에 의해 나타나지 않은 재생 속도로 재생하는 경우에, 단말에서 미리 결정되는 규칙에 기초하여 복호화될 AU와 표시될 AU를 결정하는 것이 가능하게 된다. 예를 들면, 도 9의 예에서 3배속으로 재생하는 경우에, 2배속 재생 시에 표시될 AU의 일부를 표시하는 대신에, 4배속 재생 시에 표시될 AU에 부가하여 I0, B3, B6, B9 및 P12를 표시하는 것이 가능하다. 여기에서, B 화상으로서, 참조 AU 내의 B 화상이 우선적으로 복호화 또는 표시되어도 된다.
또한, 가변속 재생과 같은 트릭 플레이가 I 화상의 AU만이나 I 화상과 P 화 상의 AU만을 재생함으로써 실현되는 경우가 있다. 따라서, I 화상과 P 화상의 리스트가 트릭 플레이 정보로서 저장되어도 된다. 도 15a 내지 도 15c는 다른 예를 도시한다. 여기에서, I0으로부터 B14까지의 화상은 도 15b에 도시된 바와 같이 랜덤 액세스 유닛(RAU)에 포함되고, 그 들 중에서 I 화상과 P 화상의 AU는 도 15c에 도시된 바와 같이 I0, P3, P6, P9, P12 및 P15이다. 따라서, I0, P3, P6, P9, P12 및 P15를 식별하기 위한 정보가 저장된다. 이 때, I 화상의 AU와 P 화상의 AU를 구별하기 위한 정보를 부가하는 것이 가능하게 된다. 또한, I 화상, P 화상, 참조될 B 화상(이하 참조 B 화상이라 한다) 및 참조되지 않을 B 화상(이하 미참조 B 화상이라 한다)를 포함하는 화상들을 서로 구별하기 위한 정보를 나타내는 것도 가능하다.
또한, 트릭 플레이 정보로서 각각의 AU의 우선순위 정보를 저정하는 것이 가능하고, 가변속 재생 시에 우선순위에 따라 AU를 복호화하거나 표시하는 것도 가능하다. 우선순위 정보로서 화상 종류를 사용하는 것이 가능하다. 예를 들면, AU의 우선순위는 아래의 리스트된 순서, 즉 (ⅰ) I 화상, (ⅱ) P 화상, (ⅲ) 참조 B 화상, (ⅳ) 미참조 B 화상의 순서로 할당될 수 있다. 또한, AU가 복호화된 후의 시간과 AU가 표시되는 시간 사이의 시간이 길수록, 우선순위가 더 높아지는 방식으로, 우선순위 정보를 설정하는 것이 가능하다. 도 16a 내지 도 16c는 버퍼 체류 시간에 의존하여 우선순위를 설정하는 일례를 도시한다. 도 16a는 AU의 예측 구조를 도시하고, P3은 또한 B7 및 P9에 의해 참조된다. 이 때, 랜덤 액세스 유닛(RAU)이 I0으로부터 B11까지의 AU로 구성되는 경우에(도 16b), 각 AU의 버퍼 체류 시간은 도 16c에 도시된 것과 같다. 여기에서, 버퍼 체류 시간은 프레임의 수에 기초하여 도시된다. 예를 들면, P3은 P9가 복호화될 때까지 요구되고, 버퍼 체류 시간은 6개의 화상에 상당해야 된다. 따라서, 버퍼 체류 시간이 3 이상인 AU의 복호화는 I 화상과 P 화상 모두의 복호화를 의미하고, 3배속 재생이 실현된다. 여기에서, P3의 버퍼 체류 시간은 I0보다 더 길지만, I 화상의 AU에 대해 최고의 우선순위를 배치하기 위해 I 화상의 AU에 오프셋값을 부가하는 것이 가능하다. 또한, 고속 재생 시에 복호화될 필요가 있는 AU에 대해 높은 우선순위를 배치하고, 우선순위 정보로서 N배속 재생 시에 복호화될 필요가 있는 AU에서의 N을 사용하는 것이 가능하다. AU가 복호화되거나 표시된 후에 다른 AU에 의해 참조되는 경우에, AU가 참조되는 동안의 기간을 나타내는 것이 가능하다.
트릭 플레이 정보가 SEI 메시지에 저장되어도 된다(도 8b). 이 경우에, SEI 메시지의 타입은 트릭 플레이 정보에 대해 정의되고, 트릭 플레이 정보는 정의된 타입의 SEI 메시지에 저장된다. 트릭 플레이 정보용 SEI 메시지는 단독으로 또는 다른 SEI 메시지와 함께 SEI NAL 유닛에 저장된다. 트릭 플레이 정보를 user_data_registered_itu_t_t35 SEI 메시지나, 사용자에 의해 정의된 정보를 저장하기 위한 SEI 메시지인 user_data_unregistered SEI 메시지에 저장하는 것이 가능하다. 이들 SEI를 사용할 때, 트릭 플레이 정보가 저장되는 것을 나타내거나, 저장될 정보의 식별 정보를 부가함으로써 SEI의 페이로드부에 트릭 플레이 정보의 타입이 저장되는 것을 나타내는 것이 가능하다.
랜덤 액세스 유닛(RAU) 내의 선두 AU와 다른 AU에 트릭 플레이 정보를 저장 하는 것이 가능하다. 또한, 특정 재생 속도에서 재생 시에 복호화될 필요가 있는 AU를 식별하기 위한 값을 미리 결정하는 것이 가능하고, 각 AU에 대해 결정된 값들을 가산하는 것이 가능하다. 예를 들면, N배속 이하인 재생 속도에서 복호화될 AU에 대하여, N은 재생 속도 정보로서 제공된다. 또한, 슬라이스의 NAL 유닛의 nal_ref_idc 등에 AU에서의 화상의 구조를 나타내는 것이 가능하며, 그 구조는 프레임 구조나 필드 구조이고, 또한 화상이 필드 구조를 갖는 경우에, 상부 필드나 하부 필드인 필드 타입을 나타내는 것도 가능하다. 예를 들면, 인터레이스 표시의 경우에 상부 필드 및 하부 필드를 선택적으로 표시하는 것이 필요하기 때문에, 다음에 복호화될 필드가 상부 필드인지 하부 필드인지가, 필드를 복호화할 때 고속 재생 시에 일부 필드를 스킵함으로써 쉽게 판정될 수 있다. NAL 유닛의 헤더로부터 필드 타입이 판정될 수 있는 경우에, 슬라이스 헤더를 분석할 필요성이 없고, 그러한 판정에 필요한 처리량이 감소될 수 있다.
랜덤 액세스 유닛(RAU)을 구성하는 각 AU가 필드인지 프레임인지를 나타내는 정보가 랜덤 액세스 유닛(RAU)의 선두 AU에 저장되어도 된다. 또한, 랜덤 액세스 유닛의 선두 AU에 그러한 정보를 저장함으로써 필드 구조와 프레임 구조가 공존하는 경우에도 트릭 플레이 시에 복호화될 AU를 쉽게 결정할 수 있게 된다. 도 17a 및 도 17b는 프레임 구조를 갖는 AU와 필드 구조를 갖는 AU가 랜덤 액세스 유닛(RAU) 내에 공존하는 예들이고, 이들은 AU의 표시 순서와 AU의 복호화 순서를 각각 도시한다. 이하의 화상들은 각각 필드 쌍으로서 부호화된다: B2와 B3, I4와 P5, B9와 B10, B11과 B12, P13과 P14, B15와 B16, B17과 B18, 및 P19와 P20. 또한, 다 른 AU는 프레임 구조를 갖는 AU로서 부호화된다. 이 때, I 화상과 P 화상의 AU만을 재생하는 경우에는, I4와 P5의 필드 쌍, P8의 프레임, P13과 P14의 필드 쌍 및 P19과 P20의 필드 쌍이 리스트된 순서로 복호화되어 재생될 수 있다. 그러나, 그러한 정보의 부가는, 각 AU가 필드 쌍을 구성하는 필드 중 하나인지 또는 각 AU가 복호화될 AU를 결정할 때 프레임인지를 판정하는 것이 필요하기 때문에, 유효하다.
도 17c는 랜덤 액세스 유닛(RAU)에서의 AU가 프레임인지 필드인지를 나타내는 제1 맵(RAU_map1)의 신택스예이다. 랜덤 액세스 유닛을 구성하는 AU의 수는 num_AU_in_RAU로 도시되어 있고, 각 AU에 대한 정보는 복호화 순서로 아래의 루프에 도시되어 있다. 여기에서, fram_field_flag는 AU에 저장될 화상이 프레임인지 필드인지를 나타낸다. 또한, pic_type는 화상의 부호화 타입에 대한 정보를 나타낸다. 나타낼 수 있는 부호화 타입은 I 화상, IDR 화상, P 화상, 참조 B 화상, 미참조 B 화상 등을 포함한다. 따라서, 이러한 맵을 참조하여 트릭 플레이 시에 복호화될 화상을 결정하는 것이 가능하다. 각 I 화상과 각 P 화상이 참조되는지의 여부를 나타내는 것이 가능하다. 또한, 소정의 요건이 예측 구조에 대해 적용되는지의 여부를 판정하기 위한 정보를 나타내는 것도 가능하다.
도 17d는 도 17b의 랜덤 액세스 유닛(RAU)에 관한 RAU_map1을 도시한다. 여기에서, I 화상, P 화상, 참조 B 화상 및 미참조 B 화상의 pic_type는 각각 0, 1, 2 및 3이다. 여기에서, 트릭 플레이 시에 필드 쌍 단위로 또는 프레임 단위로 화상이 재생되기 때문에, 상기 리스트된 것에 기초하여 화상 부호화 타입을 나타내는 정보를 저장하는 것이 가능하다.
도 17f는 프레임 단위로 또는 필드 쌍 단위로 화상의 부호화 타입을 나타내는 제2 맵(RAU_map2)의 신택스예이다. 여기에서, num_frame_in_RAU는 랜덤 액세스 유닛(RAU)을 구성하는 프레임의 수와 필드 쌍의 수를 나타낸다. 또한, frame_flag는 화상이 프레임인지의 여부를 나타내고, 화상이 프레임인 경우에는 거기에 1이 설정된다. 1이 frame_flag에 설정된 경우에, 프레임의 부호화 타입에 대한 정보는 frame_type에 나타내고 있다. 0이 frame_flag에 설정된 경우에, 바꿔 말하면, 화상이 필드 쌍 중 하나인 경우에, 필드 쌍을 구성하는 각 필드의 부호화 타입은 field_pair_type에 나타내고 있다.
도 17e는 도 17b의 랜덤 액세스 유닛(RAU)에 관한 RAU_map2를 도시한다. 도 17e에서, I 화상, P 화상, 참조 B 화상 및 미참조 B 화상의 frame_type를 나타내는 값은 각각 0, 1, 2 및 3이다. 또한, field_pair_type는 각 필드의 타입을 복호화 순서로 나타낸다. 필드 타입은 아래와 같다, 즉, I 화상에 대해 I, P 화상에 대해 P, 참조 B 화상에 대해 Br, 및 미참조 B 화상에 대해 Bn. 예를 들면, 제1 필드가 I 화상이고 제2 필드가 P 화상인 경우 IP로 나타내고 있고, 제1 필드와 제2 필드가 미참조 B 화상인 경우에는 BnBn으로 나타내고 있다. 여기에서는, IP, PP, PI, BrBr, BnBn 등의 조합을 나타내는 값이 미리 설정된다. 이하의 정보, 즉, 필드 쌍이 I 화상 또는 하나 이상의 P 화상을 포함하는지의 여부에 관한 정보, 필드 쌍이 하나 이상의 참조 B 화상을 포함하는지의 여부에 관한 정보, 및 필드 쌍이 하나 이상의 미참조 B 화상을 포함하는지의 여부에 관한 정보가 필드 쌍의 부호화 타입을 나타내는 정보로서 사용되어도 된다.
예를 들면, 트릭 플레이 정보는 도 18a에 도시된 신택스와 같은 랜덤 액세스 유닛(RAU)의 맵이어도 된다. 이 맵은 랜덤 액세스 유닛(RAU)에 포함되는 각각의 화상의 구조를 나타내는 picture_structure 및 화상 타입을 나타내는 picture_type를 포함한다. 도 18b에 도시된 바와 같이, picture_structure는 각 화상의 구조 즉, 필드 구조인지 프레임 구조인지를 나타낸다. 또한, 도 18c에 도시된 바와 같이, picture_type는 각 화상의 화상 타입, 즉, I 화상, 참조 B 화상, 미참조 B 화상 및 P 화상을 나타낸다. 이러한 방식으로, 이 맵을 수신한 동화상 복호화 장치는 이 맵을 참조하여 트릭 플레이가 실행되는 AU를 쉽게 식별할 수 있다. 일례로서, 고속 재생 시에는, I 화상과 P 화상만을, 또는 I 화상과 P 화상에 부가하여 참조 B 화상을 복호화하여 재생하는 것이 가능하다.
3-2 풀 다운과 같은 화상 구조를 나타내는 정보가 랜덤 액세스 유닛(RAU)을 구성하는 AU에 포함되는 경우에, 상술한 제1 또는 제2 맵에 화상 구조를 나타내는 정보를 포함하는 것이 가능하다. 예를 들면, 각 화상이 3개의 화상에 상당하는 필드를 표시하였는지 또는 각 화상이 2개의 화상에 상당하는 필드를 표시하였는지를 나타내는 것이 가능하다. 또한, 각 화상이 3개의 화상에 상당하는 필드를 표시한 경우에는, 제1 필드가 반복적으로 표시되는지의 여부를 나타내는 정보 또는 제1 필드가 상부 필드인지의 여부를 나타내는 정보를 나타내는 것이 가능하다. 또한, 각 화상이 2개의 화상에 상당하는 필드를 표시한 경우에는, 제1 필드가 상부 필드인지의 여부를 나타내는 정보를 나타내는 것이 가능하다. 여기에서, MPEG-4 AVC에서 화상이 3-2 풀 다운과 같은 화상 구조를 갖는지의 여부가 (ⅰ) 시퀀스 파라미터 세 트(SPS)의 pic_struct_present_flag 또는 (ⅱ) MPEG-2 시스템 표준에서 정의된 HRD 서술자 및 AVC 타이밍에 picture_to_display_conversion_flag를 사용함으로써 나타날 수 있다. 또한, 각 화상의 구조는 화상 타이밍 SEI의 pic_struct 필드에 의해 나타난다. 따라서, pic_struct 필드가 특정값을 갖는 경우, 예를 들면, 화상이 세 가지 화상에 상당하는 표시 필드를 갖는 경우에만 플래그를 설정함으로써 화상 구조를 나타내는 것이 가능하다. 바꿔 말하면, 각 화상에 대해 아래의 3개의 타입의 정보가 (ⅰ) 점프인 재생이 랜덤 액세스 유닛(RAU)의 중간에 실행되는 경우에 및 (ⅱ) 필드가 저장되는 프레임 또는 특정 시간에 표시될 필드를 결정할 때, 유효하다. 가변속 재생 중에 표시될 화상을 결정하는 경우에 동일하다고 말할 수 있다. 세 가지 타입의 정보는
(ⅰ) 필드
(ⅱ) 프레임(3-2 풀 다운을 사용하지 않을 때 사용되거나 3-2 풀 다운을 사용할 때도 사용된다. 후자의 경우에, 프레임은 2개의 화상에 상당하는 표시 필드를 갖는다.)
(ⅲ) 3-2 풀 다운을 사용할 때 3개의 화상에 상당하는 표시 필드를 갖는 프레임이다. 이들 타입의 정보는 도 18a에 도시된 RAU 맵의 picture_structure에 나타낼 수 있다.
이러한 방식으로 RAU를 구성하는 각각의 화상의 화상 타입의 리스트 정보를 나타내면, 가변속 재생, 점프인 재생 및 역재생과 같은 트릭 플레이를 실행할 때 복호화되거나 표시될 화상을 쉽게 결정하는 것이 가능해진다. 이것은 아래의 경우 에 특히 유효하다.
(ⅰ) I 화상과 P 화상만 재생되는 경우,
(ⅱ) I 화상, P 화상 및 참조 B 화상이 실행되는 고속 재생의 경우, 및
(ⅲ) 예측 화상이 배치되는 것에 관한 요건이 화상 타입에 기초하여 식별되고, 트릭 플레이 시에 복호화될 필요가 있는 화상이 선택되며, 선택된 화상이 트릭 플레이 시에 재생되는 경우.
또한, 애플리케이션 레벨에서 관리 정보와 같은 AVC 스트림과 다른 영역에 트릭 플레이 정보의 디폴트 값을 저장하는 것이 가능하고, 트릭 플레이 정보가 디폴트 값에 의해 나타낸 트릭 플레이 정보와 다른 경우에만 랜덤 액세스 유닛(RAU)에 트릭 플레이 정보를 포함하는 것이 가능하다.
가변속 재생에 대한 트릭 플레이 정보는 상술하였지만, 유사한 정보를 역 재생 시에 보조 정보로서 사용하는 것도 가능하다. 표시될 모든 화상이 메모리에 저장될 수 있는 경우에 역 재생 시에 한꺼번에 복호화를 완료할 수 있고, 복호화하는데 필요한 처리 부하가 감소될 수 있다. 도 9a 내지 도 9d의 예에서 P12, P8, P4의 리스트된 순서로 역 재생을 실행하는 경우를 고려하면, 이들 4개의 AU의 모든 복호화 결과가 저장된 상태에서, 이 순서로 I0, P4, P8 및 P12를 한꺼번에 복호화하여 역 재생하는 것이 가능하다. 따라서, AU의 모든 복호화된 데이터가 N배속 재생 시에 복호화되거나 표시될 AU의 수에 기초하여 저장될 수 있는지의 여부를 판정하는 것이 가능하고, 판정 결과에 기초하여 역 재생을 실행할 때 표시될 AU를 결정하는 것이 가능하다.
유사하게, 트릭 플레이 정보는 점프인 재생 시에 보조 정보로서 사용될 수 있다. 여기에서, 점프인 재생은 동화상을 빨리감기하여 랜덤하게 결정된 위치에서 시작하는 동화상의 통상 재생을 실행하는 것을 의미한다. 점프인 재생 시에도 그러한 보조 정보를 사용하여 빨리감기될 화상을 결정하면, 점프인 재생이 개시되는 화상을 결정할 수 있게 된다.
랜덤 액세스 유닛을 구성하는 각 AU의 참조될 AU가 트릭 플레이 정보에 직접 표시되어도 된다. 복수의 참조 AU가 존재하는 경우에는, 그들 모두가 표시된다. 여기에서, 참조 AU를 참조하는 AU를 포함하는 랜덤 액세스 유닛과 다른 랜덤 액세스 유닛에 참조 AU가 속하는 경우에, AU는 아래의 특정한 방식, 즉, N개의 랜덤 액세스 유닛의 전후에 배치되는 랜덤 액세스 유닛의 M번째 AU로 나타나거나, AU는 아래의 간단한 방식, 즉, N개의 랜덤 액세스 유닛의 전후에 배치되는 랜덤 액세스 유닛에 속하는 AU로 나타날 수 있다. 참조 AU를 참조하는 AU로부터 카운트하는 경우에 참조 AU의 복호화 순서로 서수를 나타내는 것도 가능하다. 이 때, AU는 모든 AU; 참조 AU; I, P 및 B와 같은 특정 화상 타입의 AU 중 하나에 기초하여 카운트된다. 또한, 각 AU가 복호화 순서의 전후로 N개의 AU까지의 AU들만을 참조해도 된다. 복호화 순서의 전후로 N개의 AU까지의 AU에 포함되지 않는 AU를 참조하는 경우에는, 그러한 사실을 나타내는 정보를 부가하는 것도 가능하다.
NAL 유닛의 경계 정보로서 개시 코드 프리픽스(prefix)를 사용하는 대신에 NAL 유닛의 사이즈가 사용되는 MP4와 같은 다중화 포맷에서도 유사한 방식으로 상술한 트릭 플레이 정보를 사용하는 것이 가능하다.
MPEG-2 TS(Transport Stream) 패킷이나 RTP(Real Time Transmission Protocol)을 사용하여 패킷화되는 부호화된 스트림을 수신하여 기록할 때, 패킷 손실이 발생한다. 이 방식으로, 패킷 손실이 발생하는 환경에서 수신된 데이터를 기록하는 경우, 부호화된 스트림에 보조 정보로서나 관리 정보로서 스트림 내의 데이터가 패킷 손실로 인해 손실된 것을 나타내는 정보를 저장하는 것이 가능하다. 스트림의 데이터가 손실되었는지의 여부를 나타내는 플래그 정보나 손실부를 통지하기 위한 특별 에러 통지 코드를 삽입함으로써 패킷 손실로 인한 데이터 손실을 나타내는 것이 가능하다. 데이터가 손실될 때 에러 은닉 처리를 실행하는 경우에는, 에러 은닉 처리의 방법이나 유무를 나타내는 식별 정보를 저장하는 것이 가능하다.
트릭 플레이 시에 복호화되거나 표시될 AU를 결정하기 위한 트릭 플레이 정보를 지금까지 설명하였다. 여기에서는, 랜덤 액세스 유닛(RAU)의 경계의 검출을 가능하게 하는 데이터 구조를 도 19를 참조하여 설명한다.
랜덤 액세스 유닛(RAU)의 선두 AU에서, 랜덤 액세스 유닛(RAU)을 구성하는 AU에 의해 참조되는 SPS의 NAL 유닛이 항상 저장된다. 반면에, MPEG-4 AVC 표준에서는, 복호화 순서에서 N번째 AU 앞에 배치되는 AU들 또는 N번째 AU 중에서 임의로 선택되는 AU에, 복호화 순서에서 N번째 AU에 의해 참조되는 SPS의 NAL 유닛을 저장하는 것이 가능하다. 그러한 NAL 유닛은 SPS의 NAL 유닛이 반복적으로 송신될 수 있도록 저장되어, SPS의 NAL 유닛이 통신이나 방송 시에 스트림을 송신할 때 패킷 손실로 인해 손실되는 경우를 대비한다. 그러나, 기억 애플리케이션의 사용을 위해 아래의 규칙이 유효하다. 랜덤 액세스 유닛(RAU)의 모든 AU에 의해 참조되는 SPS의 하나의 NAL 유닛만이 랜덤 액세스 유닛(RAU)의 선두 AU에 저장되고, SPS의 NAL 유닛은 랜덤 액세스 유닛 내의 이후의 AU에 저장되지 않는다. 이렇게 하면, AU가 SPS의 NAL 유닛을 포함하는 경우 그 AU가 랜덤 액세스 유닛(RAU)의 선두 AU인 것을 보증할 수 있게 된다. 랜덤 액세스 유닛(RAU)의 개시는 SPS의 NAL 유닛을 탐색함으로써 찾을 수 있다. 타임 맵과 같은 스트림의 관리 정보는 모든 랜덤 액세스 유닛(RAU)에 대해 액세스 정보를 제공하도록 보증하지는 않는다. 따라서, 예를 들어, 액세스 정보가 제공되지 않은 랜덤 액세스 유닛(RAU)의 중앙에 배치되는 화상에 점프인 재생을 실행하는 경우에, 스트림에서 SPS의 NAL 유닛을 탐색함으로써 각 랜덤 액세스 유닛(RAU)의 개시 위치를 얻을 수 있는 것이 특히 유효하다.
여기에서는, 랜덤 액세스 유닛(RAU)의 선두 AU가 IDR 화상의 AU인 경우에, 랜덤 액세스 유닛(RAU)의 AU는 복호화 순서에서 더욱 앞에 배치되는 랜덤 액세스 유닛(RAU)의 AU를 참조하지 않는다. 이러한 타입의 랜덤 액세스 유닛(RAU)을 폐쇄형 랜덤 액세스 유닛(RAU)이라고 한다. 반면에, 랜덤 액세스 유닛(RAU)의 선두 AU가 IDR 화상이 아닌 I 화상의 AU인 경우에, 랜덤 액세스 유닛(RAU)의 AU는 복호화 순서에서 더욱 앞에 배치되는 랜덤 액세스 유닛(RAU)의 AU를 참조할 수 있다. 이러한 타입의 랜덤 액세스 유닛(RAU)을 개방형 랜덤 액세스 유닛(RAU)이라고 한다. 광 디스크 등에서 재생하는 동안 각도가 전환되는 시점에, 전환은 폐쇄형 랜덤 액세스 유닛(RAU)에서 실행된다. 따라서, 랜덤 액세스 유닛(RAU)이 개방형인지 폐쇄형인지의 여부에 대한 판정이 랜덤 액세스 유닛(RAU)의 선두 부분에서 행해질 수 있는 것이 유효하다. 예를 들면, 타입, 즉 개방형인지 폐쇄형인지를 판정하기 위 한 플래그 정보를 SPS의 NAL 유닛의 nal_ref_idc 필드에 나타내는 것이 가능하다. SPS의 NAL 유닛에 nal_ref_idc의 값이 1 이상인 것으로 정의되어 있으므로, 상위 비트는 항상 1로 설정되고, 플래그 정보는 하위 비트에 의해 표시된다. 랜덤 액세스 유닛(RAU)의 AU는 선두 AU가 IDR이 아닌 I 화상의 AU인 경우에도, 복호화 순서에서 더욱 앞에 배치되는 랜덤 액세스 유닛(RAU)의 AU를 참조하지 않을 수도 있다. 이러한 타입의 랜덤 액세스 유닛(RAU)은 폐쇄형 랜덤 액세스 유닛(RAU)으로 간주될 수도 있다. 플래그 정보는 nal_ref_idc와 다른 필드를 사용하여 표시될 수도 있다.
랜덤 액세스 유닛(RAU)의 선두 AU에만 저장되는 SPS와 다른 NAL 유닛에 기초하여 랜덤 액세스 유닛(RAU)의 개시 위치를 특정하는 것이 가능하다. 또한, 각 랜덤 액세스 유닛(RAU)의 nal_ref_idc 필드를 사용하여 각각의 랜덤 액세스 유닛(RAU)의 타입, 즉 개방형인지 폐쇄형인지를 나타내는 것도 가능하다.
마지막으로, 도 20a 및 도 20b는 랜덤 액세스 유닛(RAU)을 구성하는 AU의 예측 구조의 예를 도시한다. 도 20a는 표시 순서로 AU의 위치를 도시하고, 도 20b는 복호화 순서로 AU의 위치를 도시한다. 도면에 도시된 바와 같이, 랜덤 액세스 유닛(RAU)의 선두 AU인 I3 앞에 도시되어 있는 B1 및 B2는 I3 뒤에 표시되는 AU를 참조할 수 있다. 도면에서, B1은 P6을 참조한다. 여기에서, I3과 이후의 화상의 AU들이 표시 순서로 정확하게 복호화될 수 있는 것을 보증하기 위해, 표시 순서에서 I3과 이후의 화상의 AU들이 표시 순서에서 I3 앞의 AU를 참조하는 것이 금지된다.
(동화상 부호화 장치)
도 21은 본 발명의 동화상 부호화 방법을 실현하는 동화상 부호화 장치(100)의 블록도이다. 이 동화상 부호화 장치(100)는 점프인 재생, 가변속 재생 및 역 재생과 같은 트릭 플레이를 사용하여 재생될 수 있는 동화상의 도 8 내지 도 20에 도시된 부호화된 스트림을 생성한다. 동화상 부호화 장치(100)는 도 4에 도시된 종래의 동화상 부호화 장치(1)의 유닛들에 부가하여 트릭 플레이 정보 생성부(TrickPlay)를 포함한다. 도 4의 블록도에 도시된 종래의 동화상 부호화 장치의 처리부와 동일한 동작을 실행하는 처리부는 도면에서 동일한 참조 번호가 할당되고 그 설명은 생략한다.
트릭 플레이 정보 생성부(TrickPlay)는 하나 이상의 화상을 포함하는 랜덤 액세스 유닛에 기초하여, 랜덤 액세스 유닛을 재생할 때 참조되는 보조 정보를 생성하는 유닛의 일례이다. 트릭 플레이 정보 생성부(TrickPlay)는 화상 타입(Ptype)에 기초하여 트릭 플레이 정보를 생성하여, 트릭 플레이 정보를 가변 길이 부호화부(VLC)에 통지한다.
가변 길이 부호화부(VLC)는 각 대응하는 랜덤 액세스 유닛에 생성된 보조 정보를 부가함으로서 화상과 보조 정보를 포함하는 스트림을 생성하는 스트림 생성부의 일례이다. 가변 길이 부호화부(VLC)는 랜덤 액세스 유닛(RAU)의 선두 AU에 트릭 플레이 정보를 저장하기 위한 NAL 유닛을 부호화하여 배치한다.
도 22는 도 21에 도시된 동화상 부호화 장치(100)(주로 트릭 플레이 정보 생성부(TrickPlay))가 어떻게 트릭 플레이 정보를 포함하는 부호화된 스트림의 생성 절차를 실행하는지를 나타내는 플로우차트, 즉, 본 발명의 동화상 부호화 방법의 플로우차트이다.
먼저, 단계 10에서, 동화상 부호화 장치(100)는 부호화될 AU가 랜덤 액세스 유닛(RAU)의 선두 AU인지의 여부를 판정한다. 그 AU가 선두 AU인 경우에는, 단계 11로 진행하지만, 그 AU가 선두 AU가 아닌 경우에는 단계 12로 진행한다. 단계 11에서, 동화상 부호화 장치(100)는 랜덤 액세스 유닛(RAU)의 트릭 플레이 정보를 생성하는 초기 처리를 실행하고, 또한 랜덤 액세스 유닛(RAU)의 선두 AU에 트릭 플레이 정보를 저장하기 위한 영역을 확보한다. 단계 12에서, 동화상 부호화 장치(100)는 AU 데이터를 부호화한 후, 단계 13으로 진행한다. 단계 13에서, 동화상 부호화 장치(100)는 트릭 플레이 정보를 생성할 때 필요한 정보를 획득한다. 그러한 정보는 AU의 화상 타입, 즉, I 화상, P 화상, 참조 B 화상 또는 미참조 B 화상이거나, N배속 재생을 실행할 때 AU를 복호화하는 것이 필요한지의 여부이다. 그 후, 동화상 부호화 장치(100)는 단계 14로 진행한다. 단계 14에서, 동화상 부호화 장치(100)는 AU가 랜덤 액세스 유닛(RAU)의 최후 AU인지의 여부를 판정한다. AU가 최후 AU인 경우에는, 동화상 부호화 장치(100)는 단계 15로 진행하고, AU가 최후 AU가 아닌 경우에는, 동화상 부호화 장치(100)는 단계 16으로 진행한다. 단계 15에서, 동화상 부호화 장치(100)는 트릭 플레이 정보를 결정하고, 트릭 플레이 정보를 저장하기 위한 NAL 유닛을 생성하며, 생성된 NAL 유닛을 단계 11에서 확보된 영역에 저장한다. 단계 15의 처리를 완료한 후에, 동화상 부호화 장치(100)는 단계 16으로 진행한다. 단계 16에서, 동화상 부호화 장치(100)는 다음에 부호화될 AU가 존재하는지의 여부를 판정한다. 부호화될 AU가 존재하는 경우에는, 단계 10과 이 후의 단계를 반복하지만, 부호화될 AU가 존재하지 않는 경우에는, 처리를 완료한다. 여기에서, 동화상 부호화 장치(100)가 단계 16에서 부호화될 AU가 존재하지 않는다고 판정하는 경우에는, 최후 랜덤 액세스 유닛(RAU)의 트릭 플레이 정보를 저장한 후, 처리를 완료한다.
예를 들면, 동화상 부호화 장치(100)가 도 18a에 도시된 트릭 플레이 정보를 생성할 때, 동화상 부호화 장치(100)는 단계 13에서 화상 타입, 화상이 필드 구조를 갖는지 화상이 프레임 구조를 갖는지, 또는/및 3-2 풀 다운에 대한 정보가 부호화된 스트림에 포함되어 있는 경우에, 화상의 표시 필드가 3개의 화상에 상당하는지 2개의 화상에 상당하는지를 나타내는 정보를 획득한다. 단계 15에서, 동화상 부호화 장치(100)는 랜덤 액세스 유닛(RAU) 내의 모든 화상의 picture_structure 및 picture_type를 복호화 순서로 설정한다.
랜덤 액세스 유닛(RAU)의 선두 AU의 부호화를 개시할 때, 트릭 플레이 정보를 저장하기 위한 NAL 유닛의 사이즈가 알려지지 않은 경우에는, 트릭 플레이 정보를 저장하는 영역을 확보하기 위한 처리가 단계 11에서 생략된다. 이 경우에, 트릭 플레이 정보를 저장하기 위해 생성된 NAL 유닛은 단계 15에서 선두 AU에 삽입된다.
또한, 트릭 플레이 정보를 저장하거나 저장하지 않는 것은 부호화된 스트림 단위로 전환되어도 된다. 특히 랜덤 액세스 유닛을 구성하는 AU들간의 예측 구조가 애플리케이션에 의해 규정된 경우에는, 트릭 플레이 정보가 저장되지 않도록 결정할 수 있다. 예를 들면, 부호화된 스트림이 MPEG-2 스트림의 경우에서와 동일한 예측 구조를 갖는 경우에는, 트릭 플레이 정보를 저장할 필요가 없다. 이것은 트릭 플레이 정보 없이 트릭 플레이 시에 복호화될 필요가 있는 AU를 결정할 수 있다. 그러한 전환은 랜덤 액세스 유닛(RAU)을 기초로 실행되어도 된다.
(동화상 다중화 장치)
도 23은 본 발명의 동화상 다중화 장치(108)의 구조를 도시하는 블록도이다. 이 동화상 다중화 장치(108)는 동화상 데이터를 입력하고, 동화상 데이터를 부호화하여 MPEG-4 AVC 스트림을 생성하며, 그 스트림을 구성하는 AU로의 액세스 정보 및 트릭 플레이 시에 실행되는 동작을 결정하는 보조 정보를 포함하는 관리 정보로 스트림을 다중화하고, 다중화된 스트림을 기록한다. 동화상 다중화 장치(108)는 스트림 속성 결정부(101), 부호화부(102), 관리 정보 생성부(103), 다중화부(106) 및 기억부(107)를 포함한다. 여기에서, 부호화부(102)는 도 21에 도시된 동화상 부호화 장치(100)에 트릭 플레이 정보를 부가하는 기능을 갖는다.
스트림 속성 결정부(101)는 MPEG-4 AVC 스트림을 부호화할 때 실행되는 트릭 플레이에 관한 요건을 결정하여, 그 요건을 부호화부(102) 및 재생 지원 정보 생성부(105)에 속성 정보(TYPE)로서 출력한다. 여기에서, 트릭 플레이에 관한 요건은, 랜덤 액세스 유닛을 구성하기 위한 요건이 MPEG-4 AVC 스트림에 적용되는지의 여부, 가변속 재생이나 역 재생 시에 복호화되거나 표시될 AU를 나타내는 정보가 스트림에 포함되어 있는지의 여부, 또는 AU들간의 예측 구조에 대한 요건이 설정되어 있는지의 여부를 나타내는 정보를 포함한다. 스트림 속성 결정부(101)는 압축 포맷 또는 해상도와 같은 관리 정보를 생성하는데 필요한 정보인 일반 관리 정보를 일반 관리 정보 생성부(104)에 더 출력한다. 부호화부(102)는 입력된 비디오 데이터를 속성 정보(TYPE)에 기초하여 MPEG-4 AVC 스트림으로 부호화하여, 부호화된 데이터를 다중화부(106)에 출력하고, 스트림 내의 액세스 정보를 일반 관리 정보 생성부(104)에 출력한다. 여기에서, 가변속 재생이나 역 재생 시에 복호화되거나 표시될 AU를 나타내는 정보가 스트림에 포함되지 않은 것을 속성 정보(TYPE)가 나타내는 경우에, 트릭 플레이 정보는 부호화된 스트림에 포함되지 않는다. 액세스 정보는 스트림 액세스 시에 기본 유닛인 액세스 유닛의 정보를 나타내고, 액세스부에서의 선두 AU의 개시 어드레스, 표시 시간 등을 포함한다. 일반 관리 정보 생성부(104)는 스트림 액세스 시에 참조되는 테이블 데이터와 액세스 정보 및 일반 관리 정보에 기초하여 압축 포맷과 같은 속성 정보를 저장하기 위한 테이블 데이터를 생성하여, 테이블 데이터를 관리 정보(INFO)로서 다중화부(106)에 출력한다. 재생 지원 정보 생성부(105)는 스트림이 입력된 속성 정보(TYPE)에 기초하여 랜덤 액세스 구조를 갖는지의 여부를 나타내는 지원 정보(HLP)를 생성하여, 지원 정보(HLP)를 다중화부(106)에 출력한다. 다중화부(106)는 부호화부(102)를 통해 입력되는 부호화된 데이터, 관리 정보(INFO), 및 지원 정보(HLP)의 다중화에 의한 다중화 데이터를 생성한 후, 그들을 기억부(107)에 출력한다. 기억부(107)는 다중화부(106)를 통해 입력되는 다중화 데이터를 광 디스크, 하드 디스크 및 메모리와 같은 기록 매체에 기록한다. 부호화부(102)는 MPEG-4 AVC 스트림을 예를 들면, MPEG-2 TS(전송 스트림)나 MPEG-2 PS(프로그램 스트림)으로 패킷화한 후, 패킷화된 MPEG-2 TS 또는 PS를 출력해도 된다. 또한, 부호화부(102)는 BD와 같은 애플리케이션에 의해 규정된 포맷을 사용하여 스트림을 패킷화해도 된다.
관리 정보의 콘텐츠는 트릭 플레이 정보가 부호화된 스트림에 저장되어 있는지의 여부에 의존할 필요가 없다. 이 때, 지원 정보(HLP)는 생략되어도 된다. 또한, 동화상 다중화 장치(108)는 재생 지원 정보 생성부(105) 없는 구조를 가져도 된다.
도 24a 및 도 24b는 지원 정보(HLP)로 나타내는 정보의 예들을 도시한다. 지원 정보(HLP)는 도 24a에 도시된 바와 같은 스트림의 정보를 직접 나타내는 방법과, 도 24b에 도시된 바와 같이, 스트림이 특정 애플리케이션 표준에 의해 규정되는 요건을 충족시키는지의 여부를 나타내는 방법을 포함한다.
도 24a는 스트림에 관한 정보로서, 스트림이 랜덤 액세스 구조를 갖는지의 여부에 관한 정보, AU에 저장된 화상들간의 예측 구조에 대한 요건이 있는지의 여부에 관한 정보, 및 트릭 플레이 시에 복호화되거나 표시될 AU를 나타내는 정보가 있는지의 여부에 관한 정보를 도시한다.
여기에서, 트릭 플레이 시에 복호화되거나 표시될 AU에 관한 정보가 복호화되거나 표시될 AU를 직접 나타내거나, 복호화 또는 표시 시에 우선순위를 나타내어도 된다. 예를 들면, 랜덤 액세스 유닛 단위로 복호화되거나 표시될 AU를 나타내는 정보가 애플리케이션, SEI 메시지 등에 의해 규정된 특정 NAL 유닛 타입을 갖는 NAL 유닛에 저장되어 있는 것이 나타날 수 있다. 랜덤 액세스 유닛을 구성하는 AU들간의 예측 구조를 나타내는 정보가 존재하는지의 여부를 나타내는 것이 가능하다. 또한, 트릭 플레이 시에 복호화되거나 표시될 AU에 관한 정보가 하나 이상의 랜덤 액세스 유닛 단위로 또는 랜덤 액세스 유닛을 구성하는 각각의 AU에 부가되어도 된다.
또한, 복호화되거나 표시될 AU를 나타내는 정보가 특정 타입을 갖는 NAL 유닛에 저장되어 있는 경우에는, NAL 유닛의 NAL 유닛 타입을 나타내는 것이 가능하다. 도 25의 예에서는, 지원 정보(HLP)에서, 트릭 플레이 시에 복호화되거나 표시될 AU에 관한 정보는 NAL 유닛 타입이 0인 NAL 유닛에 포함된다. 이 때, NAL 유닛 타입이 0인 NAL 유닛을 스트림의 AU 데이터로부터 디멀티플렉싱(demultiplexing)함으로써 트릭 플레이에 관한 정보를 획득할 수 있게 된다. 트릭 플레이에 관한 정보가 SEI 메시지를 사용하여 저장되는 경우에는, SEI 메시지를 식별하는 정보를 나타낼 수 있게 된다.
또한, 예측 구조에 대한 요건에 관하여, 하나 이상의 소정의 요건이 충족되는지의 여부를 나타낼 수 있거나, 아래의 각각의 요건들이 독립적으로 충족되는 것을 나타낼 수 있다:
(ⅰ) I 화상과 P 화상의 AU에 대해, 복호화 순서가 표시 순서와 일치해야 한다;
(ⅱ) P 화상의 AU가 B 화상의 AU를 참조할 수 없다;
(ⅲ) 랜덤 액세스 유닛 내에서 복호화 순서에서 선두 AU 이후의 AU가 랜덤 액세스 유닛에 포함되는 AU들만 참조할 수 있다; 및
(ⅳ) 각 AU는 복호화 순서에서 N개까지의 전후에 배치된 AU들만 참조할 수 있다. 이 경우에, 모든 AU가 전체적으로 카운트되거나, AU들이 참조 AU 단위로 카 운트되며, N의 값이 지원 정보(HLP)에 나타나도 된다.
MPEG-4 AVC에서, 참조 화상으로서, 화질을 향상시키기 위해 복호화 후에 블록 왜곡을 제거하기 위한 필터링 처리(디블로킹)가 실행되는 화상을 사용할 수 있고, 표시용의 화상으로서 디블로킹 전의 화상을 사용할 수 있다. 이 경우에, 동화상 복호화 장치는 디블로킹 전후에 화상 데이터를 보유할 필요가 있다. 따라서, 표시를 위해 디블로킹 전에 화상을 보유할 필요가 있는지의 여부를 나타내는 정보를 지원 정보(HLP)에 저장할 수 있다. MPEG-4 AVC 표준은 참조 화상이나 복호화 결과로서 표시될 화상들을 저장하는데 필요한 버퍼(DPB: Decoded Picture Buffer)의 최대 사이즈를 정의한다. 따라서, 최대 사이즈를 갖는 DPB 버퍼나 애플리케이션에 의해 규정되는 최대 사이즈를 갖는 버퍼에 의해, 참조 화상의 표시용 화상을 저장하는 경우에도 복호화 처리가 실패 없이 실행될 수 있는지의 여부를 나타낼 수 있다. 참조 화상의 디블로킹 전에 화상을 저장하기 위해, 바이트 수나 프레임 수를 사용하여, DPB로서 필요한 사이즈에 부가하여 버퍼 사이즈가 확보될 필요가 있는 것을 나타낼 수 있다. 여기에서, 각 화상에 대해 디블로킹이 실행되는지의 여부는 스트림 내의 정보나 관리 정보와 같은 스트림 외부의 정보로부터 획득될 수 있다. 예를 들어, 스트림 내의 정보를 획득하는 경우, SEI로부터 획득될 수 있다. 또한, MPEG-4 AVC 스트림을 복호화하는 경우에, 복호부에서 사용될 수 있는 버퍼 사이즈와 상술한 정보에 기초하여, 참조 화상의 디블로킹 전의 화상이 표시용으로 사용될 수 있는지의 여부를 판정할 수 있고, 그 후 화상을 어떻게 표시할지를 결정할 수 있다.
지원 정보(HLP)로서 모든 정보 또는 정보의 일부가 포함되어도 된다. 또한, 예를 들어, 예측 구조에 관한 요건이 없는 경우에만 트릭 플레이 정보의 유무에 관한 정보를 포함하도록 소정의 조건에 기초하여 필요한 정보를 포함할 수 있다. 또한, 상술한 정보와 다른 정보가 지원 정보(HLP)에 포함되어도 된다.
도 24b는 스트림의 구조에 관한 정보를 직접 나타내는 것이 아니라, 스트림이 DVD에 고선명도 화상을 저장하는 표준인 고선명도(HD) DVD 표준 또는 블루레이 디스크(BD-ROM)에 의해 규정된 스트림 구조에 대한 요건을 충족하는지의 여부를 나타낸다. 또한, BD-ROM 표준 등과 같은 애플리케이션 표준에서의 스트림의 요건으로서 복수의 모드가 정의된 경우에는, 적용되는 모드를 나타내는 정보가 저장되어도 된다. 예를 들면, 이하의 모드, 즉 요건이 없는 것을 나타내는 모드 1, 스트림이 랜덤 액세스 구조를 갖고 트릭 플레이 시에 복호화될 AU를 특정하는 정보를 포함하는 것을 나타내는 모드 2 등이 사용된다. 스트림이 다운로드나 스트리밍과 같은 통신 서비스에서 규정된 요건, 또는 방송 표준을 충족시키는지의 여부를 나타내는 것도 가능하다.
도 24a에 도시된 정보와 도 24b에 도시된 정보의 양자를 나타낼 수 있다. 또한, 스트림이 특정 애플리케이션 표준에서의 요건을 충족시키는 것이 알려진 경우에, 스트림이 애플리케이션 표준을 충족시키는지의 여부를 나타내는 대신에, 도 24a에 도시된 바와 같이 직접 서술을 위한 포맷으로 스트림 구조를 변환함으로써 애플리케이션 표준에서의 요건을 저장할 수 있다.
트릭 플레이 시에 복호화되거나 표시될 AU를 나타내는 정보를 관리 정보로서 저장할 수 있다. 또한, 지원 정보(HLP)의 콘텐츠가 스트림에서 전환되는 경우에는, 지원 정보(HLP)가 섹션 단위로 나타나도 된다.
도 26은 동화상 다중화 장치(108)의 동작을 도시하는 플로우차트이다. 단계 51에서, 스트림 속성 결정부(101)는 사용자 설정이나 소정의 조건에 기초하여 속성 정보(TYPE)를 결정한다. 단계 52에서, 부호화부(102)는 속성 정보(TYPE)에 기초하여 스트림을 부호화한다. 단계 53에서, 재생 지원 정보 생성부(105)는 속성 정보(TYPE)에 기초하여 지원 정보(HLP)를 생성한다. 결과적으로, 단계 54에서, 부호화부(102)는 부호화된 스트림의 액세스부에 기초하여 액세스 정보를 생성하고, 일반 관리 정보 생성부(104)는 액세스 정보를 다른 필요한 정보(일반 관리 정보)에 부가함으로써 관리 정보를 생성한다. 단계 55에서, 다중화부(106)는 스트림, 지원 정보(HLP) 및 관리 정보(INFO)를 다중화한다. 단계 56에서, 기억부(107)는 다중화된 데이터를 기록한다. 단계 53은 단계 52 이전에 또는 단계 54 이후에 실행되어도 된다.
부호화부(102)는 지원 정보(HLP)에 나타나는 정보를 스트림에 저장해도 된다. 이 경우에, 지원 정보(HLP)에 나타나는 정보는 트릭 플레이를 저장하기 위한 NAL 유닛에 저장된다. 예를 들면, P 화상이 B 화상을 참조하지 않는 경우에는, 가변속 재생 시에 I 화상과 P 화상만을 복호화할 수 있다. 따라서, I 화상과 P 화상만이 복호화되어 표시될 수 있는지의 여부를 나타내는 정보가 저장된다. 또한, 가변속 재생 시에 복호화될 일부 AU가 각각의 AU에 의해 참조되어야 하는 AU로부터 PPS 또는 SPS를 획득할 수 없는 경우가 있다. 그것은 P 화상에 의해 참조되는 PPS 가 I 화상과 P 화상만을 복호화하는 경우에 B 화상의 AU에만 저장되는 경우이다. 이 경우에, B 화상의 AU로부터 P 화상을 복호화하는데 필요한 PPS를 얻는 것이 필요하다. 따라서, 가변속 재생 시에 복호화될 각 AU에 의해 참조되는 PPS 또는 SPS가 가변속 재생 시에 복호화될 다른 AU 중 하나로부터 확실히 획득될 수 있는지의 여부를 나타내는 플래그 정보를 포함하는 것이 가능하다. 이렇게 하면, 플래그가 설정되지 않은 경우에만 가변속 재생 시에 복호화되지 않는 화상의 AU로부터 SPS 또는 PPS를 검출하는 것과 같은 동작을 실행할 수도 있다. 또한, I 화상과 P 화상만이 복호화되어 표시될 수 있는 것을 나타낼 때에, B 화상, 특히 다른 화상에 의해 참조되는 참조 B 화상을 또한 복호화함으로써 재생 속도를 조정할 수 있다.
또한, 트릭 플레이를 저장하기 위한 어떤 NAL 유닛을 사용하는 대신에, SPS, PPS 또는 슬라이스와 같은 다른 NAL 유닛의 헤더에 플래그 정보를 저장하는 것도 가능하다. 예를 들면, 랜덤 액세스 유닛(RAU)을 구성하는 AU에 의해 참조되는 SPS가 랜덤 액세스 유닛(RAU)의 선두 AU에 저장되어 있는 경우에는, SPS의 NAL 유닛의 nal_ref_idc 필드가 플래그 정보를 나타낼 수 있다. SPS의 NAL 유닛에서 nal_ref_idc의 값이 1 이상인 것으로 정의되어 있으므로, 상위 비트를 1로 항상 설정하고, 하위 비트에 의해 플래그 정보를 나타내는 것이 가능하다.
지원 정보(HLP)의 콘텐츠는 스트림이나 관리 정보 또는 이들 양자 중 어느 하나에 저장되어도 된다. 예를 들면, 콘텐츠는 지원 정보(HLP)의 콘텐츠가 스트림 내에 고정되는 경우에 관리 정보에 나타나도 되지만, 콘텐츠는 그 콘텐츠가 가변적인 경우에는 스트림에 나타나도 된다. 또한, 지원 정보(HLP)가 관리 정보에서 고 정되어 있는지의 여부를 나타내는 플래그 정보를 저장하는 것도 가능하다. 또한, 지원 정보(HLP)가 BD-ROM이나 RAM과 같은 애플리케이션 표준에서 미리 정해져 있는 경우나, 지원 정보(HLP)가 통신 또는 방송에 의해 별도로 제공되는 경우에는, 지원 정보9HLP)는 저장되지 않아도 된다.
(동화상 복호화 장치)
도 27은 본 발명의 동화상 복호화 방법을 실현하는 동화상 복호화 장치(200)의 블록도이다. 이 동화상 복호화 장치(200)는 도 8a 및 도 8b 내지 도 20에 도시된 부호화된 스트림을 재생한다. 동화상 복호화 장치(200)는 통상 재생뿐만 아니라 점프인 재생, 가변속 재생 및 역 재생과 같은 트릭 플레이도 실행할 수 있다. 동화상 복호화 장치(200)는 도 5에 도시된 종래의 복호화 장치(2)의 유닛들에 부가하여, 스트림 추출부(EXT) 및 복호화 AU 선택부(AUsel)을 더 포함한다. 도 5의 블록도에 도시된 종래의 복호화 장치(2)의 각각의 처리부와 동일한 동작을 실행하는 처리부에는 동일한 참조 번호를 할당하고 그 설명은 생략한다.
복호화 AU 선택부(AUsel)는 외부로부터 입력되는 트릭 플레이 지시에 따라, 가변 길이 복호화부(VLD)에서 복호화되는 트릭 플레이 정보(GrpInf)에 기초하여 복호화될 필요가 있는 AU를 결정한다. 여기에서, 트릭 플레이를 나타내는 트릭 플레이 지시가 복호화 AU 선택부(SUSel)로부터 입력된다. 또한, 복호화 AU 선택부(AUsel)는 복호화될 필요가 있는 AU로 결정된 AU를 나타내는 정보인 DecAU를 스트림 추출부(EXT)에 통지한다. 스트림 추출부(EXT)는 복호화 AU 선택부(AUsel)에 의해 복호화될 필요가 있는 AU로 판정되는 AU에 대응하는 스트림만을 추출한 후, 그 스트림을 가변 길이 복호화부(VLD)에 송신한다.
도 28은 도 27에 도시된 동화상 복호화 장치(200)(주로 복호화 AU 선택부(AUsel))가 트릭 플레이를 실행할 때 트릭 플레이 정보를 포함하는 스트림의 복호화 절차를 실행하는 방법의 플로우차트, 즉, 본 발명의 동화상 복호화 방법의 플로우차트이다.
먼저, 단계 20에서, 복호화 AU 선택부(AUsel)는 AU가 스트림에서 SPS 등을 검출함으로써 랜덤 액세스 유닛(RAU)의 선두 AU인지의 여부를 판정한다. AU가 선두 AU인 경우에는, 단계 21로 진행하지만, AU가 선두 AU가 아닌 경우에는, 단계 22로 진행한다. 여기에서, 랜덤 액세스 유닛(RAU)의 개시 위치는 타임 맵과 같은 관리 정보로부터 획득되어도 된다. 특히 점프인 재생 시에 재생 개시 위치가 결정되거나, 랜덤 액세스 유닛(RAU)의 선두 화상만이 선택되고 선택된 선두 화상에 대해 고속 재생이 실행되는 경우에는, 타임 맵을 참조하는 랜덤 액세스 유닛(RAU)의 개시 위치를 결정할 수 있게 된다. 단계 21에서, 복호화 AU 선택부(AUsel)는 AU 데이터로부터 트릭 플레이 정보를 획득하고, AU 데이터를 분석하여 단계 22로 진행하기 전에 복호화될 AU를 결정한다. 단계 22에서, 복호화 AU 선택부(AUsel)는 AU가 단계 21에서 복호화될 AU로 결정된 AU인지의 여부를 판정한다. AU가 결정된 AU인 경우에는, 동화상 복호화 장치(200)가 단계 23에서 AU를 복호화하지만, AU가 결정된 AU가 아닌 경우에는, 단계 24로 진행한다. 단계 24에서, 동화상 복호화 장치(200)는 복호화될 AU 남아 있는지의 여부를 판정한다. AU가 존재하는 경우에는, 동화상 복호화 장치(200)는 단계 20과 이후의 단계들의 처리를 반복하지만, AU가 존재하지 않는 경우에는 처리를 완료한다. 단계 21 및 단계 22의 처리를 생략하거나, 단계 21에서의 결정 처리를 생략하는 것이 가능하고, 모든 AU가 순서대로 복호화되어 표시되는 통상 재생 시에 모든 AU가 복호화되는 것을 나타내는 정보를 출력하는 것이 가능하다.
도 29는 단계 21에서의 처리(복호화 AU 선택부(AUSel)에 의한 처리)를 나타내는 플로우차트이다. 먼저, 복호화 AU 선택부(AUSel)가 단계 30에서 선두 바이트에서 개시하여 개시 코드 프리픽스용 AU 데이터를 탐색함으로써 AU를 구성하는 NAL 유닛의 개시 위치를 검출하고, 단계 31로 진행한다. 복호화 AU 선택부(AUSel)는 AU 데이터의 선두 바이트가 아니라 액세스 유닛 디리미터의 최후 위치와 같은 다른 위치에서 개시하여 개시 코드 프리픽스를 탐색해도 된다. 단계 31에서, 복호화 AU 선택부(AUSel)는 NAL 유닛의 NAL 유닛 타입을 획득하고, 단계 32로 진행한다. 단계 32에서, 복호화 AU 선택부(AUSel)는 단계 31에서 획득된 NAL 유닛 타입이 트릭 플레이 정보를 저장하기 위한 NAL 유닛 타입인지의 여부를 판정한다. 트릭 플레이 정보가 저장되어 있는 경우에는, 단계 33으로 진행하지만, 트릭 플레이 정보가 저장되지 않은 경우에는 단계 30 및 이후의 단계들을 반복한다. 여기에서, 트릭 플레이 정보가 SEI 메시지에 저장되어 있는 경우에는, 복호화 AU 선택부(AUSel)는 먼저 SEI의 NAL 유닛을 획득하고, 추가로 트릭 플레이 정보를 저장하기 위한 SEI 메시지가 NAL 유닛에 포함되어 있는지의 여부를 판정한다. 단계 33에서, 복호화 AU 선택부(AUSel)는 트릭 플레이 정보를 획득하고, 단계 34로 진행한다. 단계 34에서, 복호화 AU 선택부(AUSel)는 특정 트릭 플레이 동작을 실행할 때 복호화될 필요 가 있는 화상들을 결정한다. 예를 들면, 2배속 재생이 특정된다고 가정한다. 트릭 플레이 정보가 I 화상, P 화상 및 참조 B 화상만을 복호화하여 재생함으로써 2배속 재생을 실현할 수 있다는 것을 나타내는 경우에, 이들 3종류의 화상이 복호화되어 재생되는 것으로 결정된다. 트릭 플레이 정보가 단계 30에서 단계 32까지의 처리에서 랜덤 액세스 유닛(RAU)의 선두 화상에서 검출되지 않은 경우에, 특정된 트릭 플레이 동작을 실행하기 위해 복호화될 필요가 있는 화상들이 소정의 방법에 따라 결정된다. 일례로서, 액세스 유닛 디리미터 내의 화상의 화상 타입을 나타내는 필드를 참조함으로써, 또는 NAL 유닛의 헤더의 nal_ref_idc를 체크함으로써, 화상이 참조 화상인지의 여부를 판정할 수 있다. 예를 들면, 화상 타입을 나타내는 필드와 nal_ref_idc의 양자를 참조함으로써 미참조 B 화상과 참조 b 화상을 구별할 수 있다.
도 30은 복호화될 모든 AU가 항상 표시되지 않는 경우의 처리(복호화 AU 선택부(AUSel)에 의한 처리)를 나타내는 플로우차트이다. 도 28의 플로우차트에서의 단계들과 동일한 처리를 실행하는 단계들에는 동일한 참조 번호를 할당하고, 그 설명을 생략한다. 단계 41에서, 복호화 AU 선택부(AUSel)는 트릭 플레이 정보를 획득하여 분석하고, 특정 트릭 플레이 동작 시에 복호화될 AU와 표시될 AU를 결정하며, 단계 42로 진행한다. 단계 42에서, 복호화 AU 선택부(AUSel)는 복호화될 AU가 표시될 AU와 완전하게 일치하는지의 여부를 판정한다. 완전히 일치하는 경우에는, 단계 22로 진행하지만, 완전히 일치하지 않는 경우에는 단계 43으로 진행한다. 단계 43에서, 복호화 AU 선택부(AUSel)는 표시될 AU의 리스트 정보를 출력하고 단계 22로 진행한다. 출력된 AU의 리스트 정보는 복호화된 AU 중에서 표시될 AU를 결정하는 단계(도면에서는 도시 생략)에서 사용된다.
MPEG-4 AVC에서, 화질을 향상시키기 위해 블록 왜곡을 제거하기 위한 필터링 처리(디블로킹)이 복호화 후에 실행되는 화상을 참조 화상으로 사용하는 것이 가능하고, 표시용 화상으로서 디블로킹 전의 화상을 사용하는 것이 가능하다. 이 경우에, 동화상 복호화 장치(200)는 디블로킹 전후에 화상 데이터를 보유할 필요가 있다. 여기에서, 동화상 복호화 장치(200)가 4개의 화상에 상당하는 복호화 후 데이터를 저장할 수 있는 메모리를 구비하는 상태에서, 디블로킹 전후에 화상 데이터를 메모리에 저장하는 경우에는, 메모리는 참조 화상의 디블로킹 전에 화상을 보유하기 위해 2개의 화상에 상당하는 데이터를 저장할 필요가 있다. 그러나, 상술한 바와 같이, 역 재생 시에 메모리 내에 화상 수만큼 보유될 수 있는 것이 바람직하다. 동화상 복호화 장치(200)가 또한 표시용으로 디블로킹 후의 화상을 사용하는 상태에서는, 디블로킹 전의 화상을 저장할 필요가 없으므로, 메모리에 4개의 화상의 데이터를 보유할 수 있다. 따라서, 수직 방향으로 재생 시에 화질을 향상시키기 위해 디블로킹 전에 화상을 표시하고, 역 재생 시에 디블로킹 후에 화상을 표시하면, 메모리에 더 많은 화상들을 보유하여, 역 재생 시에 처리량을 감소시킬 수 있다. 예를 들면, I 화상과 P 화상의 리스트를 트릭 플레이 정보로서 도시하는 도 15a∼도 15c의 예에서, 4개의 화상의 모든 데이터는 역 재생 시에 메모리에 보유될 수 있지만, I0, P3, P6 및 P9 중에서 임의로 선택되는 2개의 화상 중의 아래의 세트, 즉 I0과 P3, P3과 P6 및 P6과 P9가 수직 방향으로 재생 시와 동시에 메모리에 보유 될 수 있다.
(광 디스크에서의 트릭 플레이의 기록 포맷의 예)
트릭 플레이 기능은 패키지 미디어를 재생하는 광 디스크 장치에서 특히 중요하다. 여기에서는, 상술한 트릭 플레이 정보를 차세대 광 디스크인 블루레이 디스크(BD)에 기록하는 일례를 설명한다.
먼저, BD-ROM의 기록 포맷을 설명한다.
도 31은 BD-ROM의 구조, 특히 디스크 매체인 BD 디스크(114)의 구조와 디스크에 저장된 데이터(111, 112, 113)를 나타내는 도면이다. BD 디스크(114)에 저장된 데이터는 AV 데이터(113), AV 데이터 및 AV 재생 시퀀스에 관한 관리 정보와 같은 BD 관리 정보(112) 및 양방향성(interactivity)을 실현하는 BD 재생 프로그램(111)을 포함한다. 여기에서, 편의성의 문제로서, 영화의 오디오 및 비주얼 콘텐츠를 재생하기 위한 AV 애플리케이션에 초점을 맞춰 BD 디스크를 설명하지만, 다른 용도에 초점을 맞춘 유사한 설명도 행할 수 있다.
도 32는 상술한 BD 디스크에 저장된 논리 데이터의 디렉토리 파일의 구조를 도시하는 도면이다. BD 디스크는 예컨대, DVD, CD 등과 같은 내주로부터 외주로의 기록 영역을 갖고, 내주에서의 리드인(read-in)과 외주에서의 리드아웃(read-out) 사이에 논리 데이터를 저장하기 위한 논리 어드레스 공간을 갖는다. 또한, 리드인 내부에, 버스트 커팅 영역(Burst Cutting Area: BCA)라고 하는 드라이브에 의해서만 독출될 수 있는 특별한 영역이 존재한다. 이 영역은 애플리케이션으로부터 독출될 수 없기 때문에, 예를 들면, 저작권 보호 기술로 사용될 수도 있다.
논리 어드레스 공간의 선두에는 파일 시스템 정보(볼륨)가 저장되어 있고, 비디오 데이터와 같은 애플리케이션 데이터가 또한 저장되어 있다. 배경 기술에서 설명한 바와 같이, 파일 시스템은 예컨대, UDF나 ISO9660이고, 통상의 PC의 경우에서와 같이 디렉토리 구조나 파일 구조를 사용하여 저장된 논리 데이터를 독출하는 것이 가능하다.
이 실시예에서는, BD 디스크에 대한 디렉토리 구조 및 파일 구조로서, BDVIDEO 디렉토리가 루트 디렉토리(ROOT) 바로 아래에 배치된다. 이 디렉토리는 BD에서 취급되는 AV 콘텐츠나 관리 정보(도 32에서 설명하는 101, 102, 103)와 같은 데이터를 저장하는 디렉토리이다.
BDVIDEO 디렉토리 아래에, 아래의 7개의 파일이 기록된다.
(ⅰ) "BD 관리 정보" 중의 하나이고, 전체 BD 디스크에 관한 정보를 저장하는 파일인 BD.INFO(파일명이 고정된다). BD 플레이어는 이 파일을 먼저 독출한다.
(ⅱ) "BD 재생 프로그램" 중의 하나이고, 전체 BD 디스크에 관한 재생 제어 정보를 저장하는 파일인 BD.PROG(파일명이 고정된다).
(ⅲ) "BD 관리 정보" 중의 하나이고, 시나리오(재생 시퀀스)인 플레이 리스트 정보를 저장하는 파일인 XXX.PL("XXX"는 가변적이고, 확장자 "PL"은 고정된다).
(ⅳ) "BD 재생 프로그램" 중의 하나이고, 플레이 리스트 단위로 준비되는 재생 제어 정보를 저장하는 파일인 XXX.PROG("XXX"는 가변적이고, 확장자 "PROG"는 고정된다). 대응하는 플레이 리스트는 파일 본체명에 기초하여("XXX"의 일치에 기초하여) 식별된다.
(ⅴ) "AV 데이터" 중의 하나이고, VOB(배경 기술에서 설명한 VOB와 같음)를 저장하는 파일인 YYY.VOB("YYY"는 가변적이고, 확장자 "VOB"는 고정된다). 각 VOB는 하나의 파일을 갖는다.
(ⅵ) "BD 관리 정보" 중의 하나이고, AV 데이터인 VOB에 관한 스트림 관리 정보를 저장하는 파일인 YYY.VOBI("YYY"는 가변적이고, 확장자 "VOBI"는 고정된다). 대응하는 플레이 리스트는 파일 본체명에 기초하여("YYY"의 일치에 기초하여) 식별된다.
(ⅶ) "AV 데이터" 중의 하나이고, 서브타이틀(subtitle)과 메뉴를 구성하는 이미지 데이터 PNG(W3C에 의해 표준화된 화상 포맷이고, "핑(ping)"이라고 한다)를 저장하는 파일인 ZZZ.PNG("ZZZ"는 가변적이고, 확장자 "PNG"는 고정된다). 각 PNG 이미지는 하나의 파일을 갖는다.
BD 내비게이션 데이터(BD 관리 정보)의 구조를 도 33 내지 도 38을 참조하여 설명한다.
도 33은 VOB 관리 정보 파일("YYY.VOBI")의 내부 구조를 도시하는 도면이다. VOB 관리 정보는 VOB의 스트림 속성 정보(Attribute)와 타임 맵(TMAP)을 갖는다. 스트림 속성은 비디오 속성(Video) 및 오디오 속성(Audio#0 내지 Audio#m)을 별도로 갖는다. 특히, 오디오 스트림의 경우에는, VOB가 동시에 복수의 오디오 스트림을 갖기 때문에, 데이터 필드의 유무는 오디오 스트림의 수(Number)로 나타난다.
이하는 각각 필드들에 저장된 비디오 속성(Video)과 각각의 필드가 가질 수 있는 값들이다.
(ⅰ) 압축 포맷(Coding): MPEG-1, MPEG-2, MPEG-4, 및 MPEG-4 AVC(Advanced Video Coding).
(ⅱ) 해상도(Resolution): 1920×1080, 1440×1080, 1280×720, 720×480, 및 720×565.
(ⅲ) 애스펙트비(Aspect): 4 대 3, 및 16 대 9.
(ⅳ) 프레임 레이트(Framerate): 60, 59.94(60/1.001), 50, 30, 29.97(30/1.001), 25, 24 및 23.976(24/1.001).
이하는 각각 필드에 저장된 오디오 속성(Audio)과 각각의 필드가 가질 수 있는 값들이다.
(ⅰ) 압축 포맷(Coding): AC3, MPEG-1, MPEG-2, 및 LPCM.
(ⅱ) 채널의 수(Ch): 1∼8.
(ⅲ) 언어 속성(Language):
타임 맵(TMAP)은 VOBI 단위로 정보를 저장하는 테이블이고, VOB가 갖는 VOBU의 수 및 각각의 VOBU 정보(VOBU#1 내지 VOBU#n)를 갖는다. 각각의 VOBU 정보는 VOBU의 선두 TS 패킷의 어드레스(I 화상의 개시 어드레스)인 I_start와 I 화상의 최후 어드레스까지의 오프셋 어드레스(I_end), 및 I 화상이 재생 개시 시간(PTS)을 포함한다.
도 34는 VOBU 정보의 상세를 나타내는 도면이다. 널리 알려진 바와 같이, 가변 비트 레이트 압축은 비디오 스트림을 고화질로 기록하기 위해 MPEG 비디오 스트림에 대해 실행될 수 있기 때문에, 재생 시간과 데이터 사이즈 간의 비례관계는 없다. 한편, 고정 비트 레이트 압축은 오디오 압축 표준인 AC3에서 실행되기 때문에, 시간과 어드레스 간의 관계는 1차식으로부터 얻어진다. 그러나, MPEG 비디오 데이터의 경우에는, 각 프레임은 고정된 표시 시간을 갖고, 예를 들면, 프레임은 NTSC의 경우에 1/29.97초의 표시 시간을 갖지만, 각 프레임을 압축한 후의 데이터 사이즈는 이미지 특징이나, I 화상, P 화상 또는 B 화상과 같은 압축에 사용되는 화상 타입에 크게 의존하여 변화한다. 따라서, MPEG 비디오 스트림의 경우에는, 1차식을 사용하여 시간과 어드레스간의 관계를 표현하는 것은 불가능하다.
예상한 대로, MPEG 비디오 데이터가 다중화되는 MPEG 시스템 스트림, 즉, VOB에서 1차식을 사용하여 시간과 데이터 사이즈간의 관계를 표현하는 것은 불가능하다. 따라서, 타임 맵(TMAP)은 시간을 VOB 내의 어드레스와 결합시킨다.
이러한 방식으로, 시간 정보가 제공되는 경우에는, 시간이 속하는 VOBU가 먼저 탐색되고(순서대로 VOBU의 PTS를 추종함으로써), 그 시간의 직전의 PTS는 TMAP가 갖는 VOBU(I_start에 의해 특정되는 어드레스)로 점프되어, VOBU의 선두 I 화상에서 복호화가 개시되며, 그 시간에 대응하는 화상에서 표시가 개시된다.
이어서, 플레이 리스트 정보("XXX.PL")의 내부 구조를 도 35를 참조하여 설명한다. 플레이 리스트 정보는 셀 리스트(CellList)와 이벤트 리스트(EventList)를 포함한다.
셀 리스트(CellList)는 플레이 리스트에서의 재생 셀 시퀀스이고, 셀들은 이 리스트에 나타난 기술 순서로 재생된다. 셀 리스트(CellList)의 콘텐츠는 셀의 수(Number)와 각 셀의 정보(Cell#1 내지 Cell#n)이다.
셀 정보(Cell#)는 VOB 파일명(VOBName), VOB에서의 개시 시간(In)과 종료 시간(Out), 및 서브타이틀(SubtitleTable)을 갖는다. 개시 시간(In)과 종료 시간(Out)은 각 VOB에서 프레임 수로 표현된다. 상술한 타임 맵(TMAP)을 사용함으로써 재생하는데 필요한 VOB 데이터의 어드레스를 획득할 수 있다.
서브타이틀 테이블(SubtitleTable)은 VOB와 동기하여 재생되는 서브 타이틀 정보를 저장하는 테이블이다. 오디오의 경우에서와 같이, 복수의 언어가 서브타이틀에 포함된다. 서브타이틀 테이블(SubtitleTable)의 제1 정보는 언어의 수(Number)와 이후의 언어 단위로 준비되는 테이블(Language#1 내지 Language#k)을 포함한다.
각 언어 테이블(Language#)은 언어 정보(Lang), 별도로 표시될 서브타이틀의 서브타이틀 정보의 수(Number), 및 별도로 표시될 서브타이틀의 서트타이틀 정보(Speech#1 내지 Speech#j)를 포함한다. 서브타이틀 정보(Speech#)는 이미지 데이터 파일명(Name), 서브타이틀 표시 개시 시간(In), 서브타이틀 표시 종료 시간(Out) 및 서브타이틀 표시 위치(Position)를 포함한다.
이벤트 리스트(EventList)는 플레이 리스트 내에서 발생하는 각 이벤트를 정의하는 테이블이다. 이벤트 리스트는 이벤트의 수(Number)와 각각의 이벤트(Event#1 내지 Event#m)를 포함한다. 각 이벤트(Event#)는 이벤트 타입(Type), 이벤트 ID(ID), 이벤트 발생 시간(Time) 및 이벤트 지속기간(Duration)을 포함한다.
도 36은 플레이 리스트 단위로 준비되는 이벤트 핸들러(시간 이벤트와 메뉴 선택을 위한 사용자 이벤트)를 갖는 이벤트 핸들러 테이블("XXX.PROG")이다. 이벤 트 핸들러 테이블은 정의된 이벤트 핸들러/프로그램의 수(Number)와 각각의 이벤트 핸들러/프로그램(Program#1 내지 Program#n)을 포함한다. 각 이벤트 핸들러/프로그램(Program#)의 콘텐츠는 이벤트 핸들러의 개시의 정의(<event_handler>tag)와 앞서 설명된 이벤트 ID와 쌍을 이루는 이벤트 핸들러 ID(ID)이고, 그에 이어서 프로그램이 기능에 따르는 "{}"에 기술된다. 앞에서 설명된 "XXX.PL"의 이벤트 리스트(EventList)에 저장되는 리스트(Event#1 내지 Event#m)는 "XXX.PROG"의 이벤트 핸들러의 ID(ID)를 사용하여 특정된다.
이어서, BD 디스크에 관한 정보("BD. INFO")의 내부 구조를 도 37을 참조하여 설명한다. 전체 BD 디스크에 관한 정보는 타이틀 리스트(TitleList)와 글로벌 이벤트용 이벤트 테이블(EventList)을 포함한다.
타이틀 리스트(TitleList)는 디스크의 타이틀의 수(Number)와 타이틀의 수에 이어지는 타이틀 정보(Title#1 내지 Title#n)를 포함한다. 각각의 타이틀 정보(Title#)는 타이틀 내에 포함되는 플레이 리스트 테이블(PLTable)과 타이틀 내의 챕터 리스트(ChapterList)를 포함한다. 플레이 리스트 테이블(PLTable)은 타이틀 내의 플레이 리스트의 수(Number)와 플레이 리스트의 파일명인 플레이 리스트명(Name)을 포함한다.
챕터 리스트(ChapterList)는 타이틀 내에 포함되는 챕터의 수(Number)와 챕터 정보(Chapter#1 내지 Chapter#n)를 포함한다. 각각의 챕터 정보(Chapter#)는 챕터 내에 포함되는 셀 테이블(CellTable)을 포함하고, 셀 테이블(CellTable)은 셀의 수(Number)와 셀 엔트리 정보(CellEntry#1 내지 CellEntry#k)를 포함한다. 셀 엔트리 정보(CellEntry#)는 셀을 포함하는 플레이 리스트명과 플레이 리스트 내의 셀 수를 포함한다.
이벤트 리스트(EventList)는 글로벌 이벤트의 수(Number)와 글로벌 이벤트 정보를 포함한다. 최초로 정의되는 글로벌 이벤트는 제1 이벤트(FirstEvent)라고 하고, BD 디스크가 플레이어에 삽입된 후에 최초로 호출되는 이벤트이다. 글로벌 이벤트용 이벤트 정보는 이벤트 타입(Type)과 이벤트 ID(ID)만을 갖는다.
도 38은 글로벌 이벤트 핸들러의 프로그램의 테이블("BD.PROG")이다. 이 테이블의 콘텐츠는 도 36에서 설명한 이벤트 핸들러 테이블의 콘텐츠와 동일하다.
지금까지 설명한 BD-ROM 포맷으로 상술한 트릭 플레이 정보를 저장하는 경우에는, VOBU는 하나 이상의 랜덤 액세스 유닛(RAU)을 포함하고, 트릭 플레이 정보가 VOBU의 선두 AU에 포함되는 것으로 가정된다. MPEG-4 AVC에서는, 트릭 플레이 정보가 저장되는 NAL 유닛이 포함된다.
트릭 플레이 정보는 BD 관리 정보에 저장되어도 된다. 예를 들면, VOB 관리 정보의 타임 맵을 확장시킴으로써 VOBU 단위로 준비되는 트릭 플레이 정보를 저장하는 것이 가능하다. 또한, 트릭 플레이 정보를 저장하는 새로운 맵을 정의하는 것도 가능하다.
또한, VOBU나 BD 관리 정보 중 어느 하나에 트릭 플레이 정보를 저장하는 것도 가능하다.
또한, BD 관리 정보에 트릭 플레이 정보의 디폴트값만 저장하는 것이 가능하고, VOBU에 관한 트릭 플레이 정보가 디폴트값과 상이한 경우에만, VOBU에 트릭 플 레이 정보를 저장할 수 있다.
또한, BD 관리 정보에 하나 이상의 트릭 플레이 정보의 세트를 스트림에 공통인 정보로서 저장하는 것도 가능하다. VOBU는 BD 관리 정보에 저장된 트릭 플레이 정보 중 하나의 트릭 플레이 정보를 참조할 수 있다. 이 경우에, VOBU에 의해 참조되는 트릭 플레이정보의 인덱스 정보가 VOBU 유닛의 관리 정보나 VOBU에 저장된다.
(광 디스크를 재생하는 플레이어)
도 39는 도 31에 도시된 BD 디스크 등을 재생하는 플레이어의 기능적인 구성을 개략적으로 도시하는 블록도이다. BD 디스크(201) 상의 데이터는 광 픽업(202)을 통해 독출된다. 독출된 데이터는 각각의 데이터의 타입에 따라 전용 메모리에 송신된다. BD 재생 프로그램("BD.PROG"나 "XXX.PROG"의 콘텐츠)은 프로그램 메모리(203)에 송신된다. 또한, BD 관리 정보("BD.INFO", "XXX.PL" 또는 "YYY.VOBI")는 관리 정보 메모리(204)에 송신된다. 또한, AV 데이터("YYY.VOB"나 "ZZZ.PNG")는 AV 메모리(205)에 송신된다.
프로그램 메모리(203)에 기록된 BD 재생 프로그램은 프로그램 처리부(206)에 의해 처리된다. 또한, 관리 정보 메모리(204)에 기록된 BD 관리 정보는 관리 정보 처리부(207)에 의해 처리된다. 또한, AV 메모리(205)에 기록된 AV 데이터는 표시 처리부(208)에 의해 처리된다.
프로그램 처리부(206)는 관리 정보 처리부(207)에 의해 재생되는 플레이 리스트의 정보와 프로그램의 실행 타이밍과 같은 이벤트 정보를 수신하여, 프로그램 의 처리를 실행한다. 또한, 프로그램에 의해 재생되는 플레이 리스트를 동적으로 변경할 수 있다. 이것은 관리 정보 처리부(207)에 플레이 리스트의 재생 지시를 전송함으로써 실현될 수 있다. 프로그램 처리부(206)는 사용자로부터 이벤트를 수신하고, 바꿔 말하면 원격 제어기를 통해 요구를 수신하고, 사용자 이벤트에 대응하는 프로그램이 존재하는 경우에는, 그 프로그램을 실행한다.
관리 정보 처리부(207)는 프로그램 처리부(206)로부터의 지시를 수신하고, 플레이 리스트와 플레이 리스트에 대응하는 VOB의 관리 정보를 분석하며, 대상 AV 데이터를 재생하도록 표시 처리부(208)에 지시한다. 또한, 관리 정보 처리부(207)는 표시 처리부(208)로부터 표준 시간 정보를 수신하고, 그 시간 정보에 기초하여 AV 데이터의 재생을 정지시키도록 표시 처리부(208)에 지시한다. 또한, 관리 정보 처리부(207)는 프로그램 처리부(206)에 프로그램 실행 타이밍을 통지하기 위한 이벤트를 생성한다.
표시 처리부(208)는 비디오, 오디오, 서브타이틀/이미지(정지 화상)을 각각 처리할 수 있는 디코더를 구비한다. 표시 처리부(208)는 관리 정보 처리부(207)로부터의 지시에 따라 AV 데이터를 복호화하여 출력한다. 비디오 데이터 및 서브타이틀/이미지인 경우에, 이들은 복호화된 후 각각의 전용 플레인, 즉, 비디오 플레인(210) 및 이미지 플레인(209)에 표현된다. 그 후, 합성 처리부(211)는 비디오에 대해 합성 처리를 실행하여, 비디오를 TV와 같은 표시 디바이스에 출력한다.
점프인 재생, 가변속 재생 및 역 재생과 같은 트릭 플레이 시에, 표시 처리부(208)는 사용자에 의해 요구되는 트릭 플레이 동작을 해석하고, 재생 속도와 같 은 정보를 관리 정보 처리부(207)에 통지한다. 관리 정보 처리부(207)는 VOBU의 선두 AU에 저장된 트릭 플레이 정보를 분석하고, 사용자에 의해 특정된 트릭 플레이 동작이 확실히 실행될 수 있도록 복호화되어 표시될 AU를 결정한다. 관리 정보 처리부(207)는 트릭 플레이 정보를 획득하여 표시 처리부(208)에 출력할 수 있고, 표시 처리부(208)에서 복호화될 AU와 표시될 AU를 결정할 수 있다.
독립한 컴퓨터 시스템은 본 실시예에 나타낸 동화상 부호화 방법 및 동화상 복호화 방법을 실현하는 프로그램을 플렉시블 디스크와 같은 기록 매체에 기록함으로서 본 실시예에 도시된 처리를 쉽게 실행할 수 있다.
도 40a 내지 도 40c는 컴퓨터 시스템이 플렉시블 디스크와 같은 기록 매체에 기록된 프로그램을 사용하여 본 실시예의 동화상 부호화 방법 및 동화상 복호화 방법을 어떻게 실행하는지를 나타내는 도면이다.
도 40a는 기록 매체로서의 플렉시블 디스크의 물리 포맷의 일례를 도시한다. 도 40b는 플렉시블 디스크와 플렉시블 디스크의 외관의 정면도 및 단면도이다. 플렉시블 디스크(FD)는 케이스(F) 내에 내장되고, 복수의 트랙(Tr)은 디스크의 외주로부터 내주로 디스크의 표면 상에 동심원 형상으로 형성되며, 각 트랙은 각도 방향으로 16개의 섹터(Se)로 분할되어 있다. 따라서, 상술한 프로그램을 저장하는 플렉시블 디스크의 경우에, 프로그램은 플렉시블 디스크(FD) 상에 할당된 영역에 기록된다.
또한, 도 40c는 플렉시블 디스크에 대해 프로그램을 기록 및 재생하는 구조를 도시한다. 동화상 부호화 방법 및 동화상 복호화 방법을 실현하는 상기 프로그 램을 플렉시블 디스크(FD)에 기록하는 경우에는, 컴퓨터 시스템(Cs)은 프로그램을 플렉시블 디스크 드라이브를 통해 플렉시블 디스크에 기입한다. 또한, 플렉시블 디스크 내의 프로그램을 사용하여 동화상 부호화 방법 및 동화상 복호화 방법을 실현하는 동화상 부호화 장치 및 동화상 복호화 장치를 구성하는 경우에는, 프로그램이 플렉시블 디스크 드라이브를 통해 플렉시블 디스크로부터 독출되어, 컴퓨터 시스템에 송신된다.
상기 설명은 기록 매체와 같은 플렉시블 디스크를 사용하여 행하였지만, 프로그램은 광 디스크 상에 기록될 수도 있다. 또한, 기록 매체는 이에 한정되는 것이 아니라, 프로그램을 기록할 수 있는 한에는, IC 카드, ROM 카세트와 같은 다른 기록 매체가 사용될 수도 있다.
지금까지, 본 발명의 동화상 스트림 생성 장치, 동화상 부호화 장치, 동화상 다중화 장치 및 동화상 복호화 장치를 실시예에 기초하여 설명하였지만, 본 발명은 이 실시예에 한정되는 것은 아니다. 본 발명은 당업자가 이 실시예에 기초하여 착상할 수 있는 변형을 포함하고, 그러한 변형은 본 발명의 주제의 범위 내에 있다.
예를 들면, 본 발명은 본 실시예에서 (ⅰ) 동화상 스트림 생성 장치; 동화상 부호화 장치 및 동화상 복호화 장치 중 하나를 구비하는 광 디스크 기록 장치; 동화상 전송 장치; 디지털 텔레비전 방송 송신 장치; 웹 서버; 통신 장치; 이동 정보 단말 등; 및 (ⅱ) 동화상 복호화 장치를 구비하는 동화상 수신 장치; 디지털 텔레비전 방송 수신 장치; 통신 장치; 이동 정보 단말 등을 포함한다.
도 21, 도 23, 도 27 및 도 39에 도시된 각각의 기능 블록은 일반적으로 대 규모 집적 회로인 LSI로서 실현된다. 각각의 기능 블록은 하나의 칩으로 만들어져도 되거나, 또는 기능 블록들의 일부 또는 모두가 하나의 칩으로 집적되어도 된다(예를 들면, 메모리를 제외한 기능 블록들이 하나의 칩으로 만들어져도 된다). 집적 회로는 여기서는 LSI를 일컫지만, 집적 레벨에 따라 IC, 시스템 LSI, 수퍼 LSI, 또는 울트라 LSI를 일컬어도 된다. 또한, 이들을 집적 회로로 만드는 방법은 이들을 LSI로 만드는 방법에 한정되는 것이 아니라, 전용 회로나 통합 프로세서에 의해 실현되어도 된다. 또한, (ⅰ) 회로 셀들의 접속이나 설정이 재구성될 수 있는 재구성 가능 프로세스나 (ⅱ) 기능 블록들을 LSI로 만든 후에, 프로그램 가능한 FPGA(Field Programmable Gate Array)를 사용하는 것도 가능하다. 또한, 반도체 기술이 더욱 발전하거나 어떤 파생 기술이 나타날 때 기능 블록들을 LSI로 만드는 대신에 기능 블록들을 집적 회로로 만드는 기술이 나타나는 경우에는, 적당한 때에, 기능 블록들이 그러한 새로운 기술을 사용하여 집적 회로로 만들어져도 된다. 바이오 기술의 애플리케이션이 유망하다. 또한, 각각의 기능 블록 중에서, 부호화되거나 복호화될 화상 데이터가 저장되는 기억부(화상 메모리)가 하나의 칩에 포함되는 대신에 별도로 구성되어도 된다.
이상 본 발명의 예시적인 실시예만을 설명하였지만, 당업자는 본 발명의 신규의 가르침과 이점에서 실질적으로 벗어남 없이 예시적인 실시예에서 다수의 변형이 가능한 것을 쉽게 알 것이다. 따라서, 그러한 모든 변형은 본 발명의 범위 내에 포함되는 것으로 한다.
본 발명은 트릭 플레이 시에 재생되는 동화상을 생성하는 동화상 스트림 생성 장치, 트릭 플레이 시에 재생되는 동화상을 부호화에 의해 생성하는 동화상 부호화 장치, 트릭 플레이 시에 재생되는 동화상을 패킷 다중화에 의해 생성하는 동화상 다중화 장치, 및 트릭 플레이 시에 동화상을 재생하는 동화상 복호화 장치로 적용 가능하며, 특히, 가변속 재생 및 역 재생과 같은 트릭 플레이 모드를 사용하여 MPEG-4 AVC 스트림을 재생하는 시스템을 구성하는 장치로서 적용 가능하고, 그러한 장치는 예컨대, 일반적으로 트릭 플레이 기능에 초점이 맞추어진 광 디스크 관련 장치이다.

Claims (31)

  1. 동화상을 구성하는 화상들을 포함하는 스트림을 생성하는 동화상 스트림 생성 장치로서, 상기 장치는:
    하나 이상의 화상을 포함하는 각 랜덤 액세스 유닛의 재생 시에 참조되는 보조 정보를 랜덤 액세스 유닛 단위로 생성하는 보조 정보 생성부; 및
    상기 보조 정보를 각 대응 랜덤 액세스 유닛에 부가함으로써 상기 생성된 보조 정보 및 상기 화상들을 포함하는 스트림을 생성하는 스트림 생성부를 포함하며,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 동화상 스트림 생성 장치.
  2. 청구항 1에 있어서,
    상기 트릭 플레이는 점프인(jump-in) 재생, 가변속 재생, 및 역 재생 중 적어도 하나를 포함하는, 동화상 스트림 생성 장치.
  3. 청구항 2에 있어서,
    상기 각각의 화상은 부화상 유닛으로 구성되고,
    상기 스트림 생성부는 상기 보조 정보를 상기 각각의 화상의 화소값을 저장하는 제2 부화상 유닛과 다른 제1 부화상 유닛에 저장하는, 동화상 스트림 생성 장치.
  4. 청구항 3에 있어서,
    각 랜덤 액세스 유닛은 하나 이상의 화상들이고,
    상기 스트림 생성부는 상기 보조 정보를 각 랜덤 액세스 유닛에 포함되는 선두 화상에 저장하는, 동화상 스트림 생성 장치.
  5. 청구항 4에 있어서,
    상기 보조 정보는, 특정 속도로 각 랜덤 액세스 유닛의 재생 시에, 복호화될 화상들을 특정하는 정보를 포함하는, 동화상 스트림 생성 장치.
  6. 청구항 4에 있어서,
    상기 보조 정보는, 각 랜덤 액세스 유닛이 재생되는 화상 우선순위를 나타내는 정보를 포함하는, 동화상 스트림 생성 장치.
  7. 청구항 4에 있어서,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 모든 화상들의 화상 타입을 나타내는 정보들을 포함하고, 상기 정보들은 상기 화상들의 복호화 순서에 대응 하는 순서로 배치되는, 동화상 스트림 생성 장치.
  8. 청구항 7에 있어서,
    상기 화상 타입은:
    내-부호화가 실행되는 I 화상;
    부호화 시의 기본 단위인 블록당 하나의 화상을 참조하여 화상간 부호화가 실행되는 P 화상;
    부호화 시의 기본 단위인 블록당 2개의 화상을 참조하여 화상간 부호화가 실행되고, 다른 화상에 의해 참조되는 화상인 참조 B 화상; 및
    부호화 시의 기본 단위인 블록당 2개의 화상을 참조하여 화상간 부호화가 실행되고, 다른 화상에 의해 참조되지 않는 화상인 미참조 B 화상을 포함하는, 동화상 스트림 생성 장치.
  9. 청구항 4에 있어서,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 모든 화상들의 화상 구조 타입을 나타내는 정보들을 포함하고, 상기 정보들은 상기 화상의 복호화 순서에 대응하는 순서로 배치되는, 동화상 스트림 생성 장치.
  10. 청구항 9에 있어서,
    상기 화상 구조 타입은 적어도 필드 구조와 프레임 구조를 포함하는, 동화상 스트림 생성 장치.
  11. 청구항 10에 있어서,
    상기 화상 구조 타입은,
    화상이 프레임 구조를 갖는 경우에, 화상이 2개의 화상에 상당하는 표시 필드를 갖는지, 또는 화상이 3개의 화상에 상당하는 표시 필드를 갖는지를 나타내는 정보를 갖는 프레임 구조를 더 포함하는, 동화상 스트림 생성 장치.
  12. 청구항 1에 있어서, 상기 장치는,
    하나 이상의 화상에 관한 파라미터의 그룹인 시퀀스 파라미터 세트를 각 랜덤 액세스 유닛에 부가하는 시퀀스 파라미터 세트 부가부를 더 포함하고,
    상기 시퀀스는 복호화하는데 필요한 모든 상태들이 리셋되는 특수 화상에서 개시하여 이후의 특수 화상 바로 앞에 배치되는 화상에서 종료하는 화상으로 구성되는, 동화상 스트림 생성 장치.
  13. 청구항 12에 있어서,
    각 랜덤 액세스 유닛은 하나 이상의 화상으로 이루어지고,
    상기 시퀀스 파라미터 세트 부가부는 상기 랜덤 액세스 유닛 내의 모든 화상에 의해 참조되는 하나의 시퀀스 파라미터 세트를 각 랜덤 액세스 유닛에 포함된 선두 화상에만 저장하는, 동화상 스트림 생성 장치.
  14. 동화상을 구성하는 화상들을 포함하는 스트림을 생성하는 동화상 스트림 생성 장치로서, 상기 장치는:
    각각이 하나 이상의 화상에 관한 파라미터들의 그룹인, 시퀀스 파라미터 세트들을 랜덤 액세스 유닛 단위로 부가함으로써, 시퀀스 파라미터 세트를 포함하는 동화상 스트림을 생성하는 시퀀스 파라미터 세트 부가부를 포함하고,
    상기 시퀀스는 복호화하는 데 필요한 모든 상태들이 리셋되는 특수 화상에서 개시하여 이후의 특수 화상의 바로 앞에 배치되는 화상에서 종료하는 화상으로 구성되는, 동화상 스트림 생성 장치.
  15. 청구항 14에 있어서,
    각 랜덤 액세스 유닛은 하나 이상의 화상으로 이루어지고,
    상기 시퀀스 파라미터 세트 부가부는 상기 랜덤 액세스 유닛 내의 모든 화상에 의해 참조되는 하나의 시퀀스 파라미터 세트를 각 랜덤 액세스 유닛에 포함되는 선두 화상에만 저장하는, 동화상 스트림 생성 장치.
  16. 동화상을 구성하는 화상들을 포함하는 스트림을 생성하는 동화상 스트림 생성 방법으로서, 상기 방법은:
    하나 이상의 화상들을 포함하는 각 랜덤 액세스 유닛의 재생 시에 참조되는 보조 정보를 랜덤 액세스 유닛 단위로 생성하는 단계; 및
    상기 보조 정보를 각 대응 랜덤 액세스 유닛에 부가함으로써 상기 생성된 보조 정보 및 상기 화상들을 포함하는 스트림을 생성하는 단계를 포함하며,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 동화상 스트림 생성 방법.
  17. 동화상을 구성하는 화상들을 포함하는 스트림을 생성하는 동화상 스트림 생성 장치에 사용하는 프로그램으로서, 상기 프로그램은 컴퓨터로,
    하나 이상의 화상들을 포함하는 각 랜덤 액세스 유닛의 재생 시에 참조되는 보조 정보를 랜덤 액세스 유닛 단위로 생성하는 단계; 및
    상기 보조 정보를 각 대응 랜덤 액세스 유닛에 부가함으로써 상기 생성된 보조 정보 및 상기 화상들을 포함하는 스트림을 생성하는 단계를 포함하며,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 동화상 스트림 생성 방법을 실행시키는 프로그램.
  18. 동화상을 구성하는 화상들을 부호화하는 동화상 부호화 장치로서, 상기 장치는:
    하나 이상의 화상들을 포함하는 각 랜덤 액세스 유닛의 재생 시에 참조되는 보조 정보를 랜덤 액세스 유닛 단위로 생성하는 보조 정보 생성부; 및
    상기 생성된 보조 정보 및 상기 화상들을 부호화하고, 상기 보조 정보를 각 대응 랜덤 액세스 유닛에 부가함으로써 상기 부호화된 보조 정보 및 상기 화상들을 포함하는 스트림을 생성하는 부호화부를 포함하며,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 동화상 스트림 부호화 장치.
  19. 동화상을 구성하는 화상들을 부호화하는 동화상 부호화 방법으로서, 상기 방법은:
    하나 이상의 화상들을 포함하는 각 랜덤 액세스 유닛의 재생 시에 참조되는 보조 정보를 랜덤 액세스 유닛 단위로 생성하는 단계; 및
    상기 생성된 보조 정보 및 상기 화상들을 부호화하고, 상기 보조 정보를 각 대응 랜덤 액세스 유닛에 부가함으로써 상기 부호화된 보조 정보 및 상기 화상들을 포함하는 스트림을 생성하는 단계를 포함하며,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 동화상 스트림 부호화 방법.
  20. 동화상을 구성하는 화상들을 부호화하는 동화상 부호화 장치용 프로그램으로서, 상기 프로그램은 컴퓨터로,
    하나 이상의 화상들을 포함하는 각 랜덤 액세스 유닛의 재생 시에 참조되는 보조 정보를 랜덤 액세스 유닛 단위로 생성하는 단계; 및
    상기 생성된 보조 정보 및 상기 화상들을 부호화하고, 상기 보조 정보를 각 대응 랜덤 액세스 유닛에 부가함으로써 상기 부호화된 보조 정보 및 상기 화상들을 포함하는 스트림을 생성하는 단계를 포함하며,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 동화상 스트림 부호화 방법을 실행시키는 프로그램.
  21. 동화상을 구성하는 화상들을 부호화하는 동화상 다중화 장치로서, 상기 장치 는:
    하나 이상의 화상들을 포함하는 각 랜덤 액세스 유닛의 재생 시에 참조되는 보조 정보를 랜덤 액세스 유닛 단위로 생성하는 보조 정보 생성부;
    상기 생성된 보조 정보 및 상기 화상들을 부호화하고, 상기 보조 정보를 각 대응 랜덤 액세스 유닛에 부가함으로써 상기 부호화된 상기 보조 정보 및 상기 화상들을 포함하는 스트림을 생성하는 부호화부,
    상기 생성된 부호화 스트림을 패킷화하는 패킷화부, 및
    상기 패킷화된 부호화 스트림 내의 화상들의 재생 시간 정보, 상기 화상들의 사이즈 정보, 및 각 랜덤 액세스 유닛의 개시 어드레스 정보 중 적어도 하나를 저장하는 관리 정보를 생성하고, 상기 관리 정보 및 상기 패킷화된 부호화 스트림을 다른 영역에 다중화하는 다중화부를 포함하며,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 동화상 다중화 장치.
  22. 동화상을 구성하는 화상들을 부호화하는 동화상 다중화 방법으로서, 상기 방법은:
    하나 이상의 화상들을 포함하는 각 랜덤 액세스 유닛의 재생 시에 참조되는 보조 정보를 랜덤 액세스 유닛 단위로 생성하는 단계;
    상기 생성된 보조 정보 및 상기 화상들을 부호화하고, 상기 보조 정보를 각 대응 랜덤 액세스 유닛에 부가함으로써 상기 부호화된 상기 보조 정보 및 상기 화상들을 포함하는 스트림을 생성하는 단계;
    상기 생성된 부호화 스트림을 패킷화하는 단계; 및
    상기 패킷화된 부호화 스트림 내의 화상들의 재생 시간 정보, 상기 화상들의 사이즈 정보, 및 각 랜덤 액세스 유닛의 개시 어드레스 정보 중 적어도 하나를 저장하는 관리 정보를 생성하고, 상기 관리 정보 및 상기 패킷화된 부호화 스트림을 다른 영역에 다중화하는 단계를 포함하며,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 동화상 다중화 방법.
  23. 동화상을 구성하는 화상들을 부호화하는 동화상 다중화 장치용 프로그램으로서, 상기 프로그램은 컴퓨터로,
    하나 이상의 화상들을 포함하는 각 랜덤 액세스 유닛의 재생 시에 참조되는 보조 정보를 랜덤 액세스 유닛 단위로 생성하는 단계;
    상기 생성된 보조 정보 및 상기 화상들을 부호화하고, 상기 보조 정보를 각 대응 랜덤 액세스 유닛에 부가함으로써 상기 부호화된 상기 보조 정보 및 상기 화상들을 포함하는 스트림을 생성하는 단계;
    상기 생성된 부호화 스트림을 패킷화하는 단계; 및
    상기 패킷화된 부호화 스트림 내의 화상들의 재생 시간 정보, 상기 화상들의 사이즈 정보, 및 각 랜덤 액세스 유닛의 개시 어드레스 정보 중 적어도 하나를 저장하는 관리 정보를 생성하고, 상기 관리 정보 및 상기 패킷화된 부호화 스트림을 다른 영역에 다중화하는 단계를 포함하며,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 동화상 다중화 방법을 실행시키는 프로그램.
  24. 동화상을 구성하는 화상들을 포함하는 스트림을 복호화하여 재생하는 동화상 복호화 장치로서, 상기 장치는:
    트릭 플레이가 실행되어야 하는 것을 나타내는 지시를 획득하는 지시 획득부;
    상기 스트림을 각각 구성하는 랜덤 액세스 유닛 단위로 보조 정보를 디멀티플렉싱에 의해 분석하는 분석부;
    상기 분석부에 의해 획득되는 분석 결과에 기초하여, 각 랜덤 액세스 유닛에 포함되는 화상들 중에서, 상기 지시 획득부에 의해 획득된 지시에 의해 나타나는 트릭 플레이에 필요한 화상들을 특정하는 재생 화상 특정부; 및
    상기 재생 화상 특정부에 의해 특정된 상기 화상들을 복호화하여 재생하는 복호화부를 포함하며,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 동화상 복호화 장치.
  25. 청구항 24에 있어서,
    상기 분석부가 랜덤 액세스 유닛을 분석하고 상기 랜덤 액세스 유닛이 보조 정보를 포함하지 않는다는 결과를 획득한 경우에, 상기 재생 화상 특정부는 소정의 규칙에 기초하여 트릭 플레이에 필요한 화상들을 특정하는, 동화상 복호화 장치.
  26. 청구항 24에 있어서, 상기 장치는,
    상기 스트림으로부터 하나 이상의 화상에 관한 파라미터들의 그룹인 시퀀스 파라미터 세트를 추출하고, 상기 추출된 시퀀스 파라미터 세트가 포함되는 화상을 선두 화상으로 포함하는 랜덤 액세스 유닛을 특정하는 랜덤 액세스 유닛 특정부를 더 포함하며,
    상기 재생 화상 특정부는 상기 랜덤 액세스 유닛 특정부에 의해 특정된 상기 랜덤 액세스 유닛에 포함되는 상기 선두 화상을 특정하고,
    상기 시퀀스는 복호화하는데 필요한 모든 상태들이 리셋되는 특수 화상에서 개시하고, 상기 시퀀스는 특수 화상에서 개시하여 이후의 특수 화상의 바로 앞에 배치되는 화상에서 종료하는 화상들로 구성되는, 동화상 복호화 장치.
  27. 동화상을 구성하는 화상들을 포함하는 스트림을 복호화하여 재생하는 동화상 복호화 방법으로서, 상기 방법은:
    트릭 플레이가 실행되어야 하는 것을 나타내는 지시를 획득하는 단계;
    각각이 상기 스트림을 구성하는 랜덤 액세스 유닛 단위로 보조 정보를 디멀티플렉싱에 의해 분석하는 단계;
    상기 분석 단계에서 획득되는 분석 결과에 기초하여, 각 랜덤 액세스 유닛에 포함되는 화상들 중에서, 상기 획득 단계에서 획득된 지시에 의해 나타나는 트릭 플레이에 필요한 화상들을 특정하는 단계; 및
    상기 특정 단계에서 특정된 상기 화상들을 복호화하여 재생하는 단계를 포함하며,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 동화상 복호화 방법.
  28. 동화상을 구성하는 화상들을 포함하는 스트림을 복호화하여 재생하는 동화상 복호화 장치용 프로그램으로서, 상기 프로그램은 컴퓨터로,
    트릭 플레이가 실행되어야 하는 것을 나타내는 지시를 획득하는 단계;
    각각이 상기 스트림을 구성하는 랜덤 액세스 유닛 단위로 보조 정보를 디멀티플렉싱에 의해 분석하는 단계;
    상기 분석 단계에서 획득되는 분석 결과에 기초하여, 각 랜덤 액세스 유닛에 포함되는 화상들 중에서, 상기 획득 단계에서 획득된 지시에 의해 나타나는 트릭 플레이에 필요한 화상들을 특정하는 단계; 및
    상기 특정 단계에서 특정된 상기 화상들을 복호화하여 재생하는 단계를 포함하며,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 동화상 복호화 방법을 실행시키는 프로그램.
  29. 동화상을 구성하는 화상들을 포함하는 스트림으로서,
    각 랜덤 액세스 유닛은 랜덤 액세스 유닛의 재생 시에 참조되는 보조 정보와 하나 이상의 화상을 포함하고,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 스트림.
  30. 동화상을 구성하는 화상들을 포함하는 스트림을 포함하는 컴퓨터 판독 가능한 기록 매체로서,
    각 랜덤 액세스 유닛은 랜덤 액세스 유닛의 재생 시에 참조되는 보조 정보와 하나 이상의 화상을 포함하고,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 컴퓨터 판독 가능한 기록 매체.
  31. 동화상을 구성하는 화상들을 포함하는 스트림을 생성하는 집적 회로로서, 상기 집적 회로는:
    하나 이상의 화상을 포함하는 각 랜덤 액세스 유닛의 재생 시에 참조되는 보조 정보를 랜덤 액세스 유닛 단위로 생성하는 보조 정보 생성부; 및
    상기 보조 정보를 각 대응 랜덤 액세스 유닛에 부가함으로써 상기 생성된 보조 정보 및 상기 화상들을 포함하는 스트림을 생성하는 스트림 생성 회로부를 포함하며,
    각 랜덤 액세스 유닛의 선두에, 어떤 화상에 의존하지 않고 복호화될 수 있는 내-부호화 화상이 배치되고,
    상기 보조 정보는 각 랜덤 액세스 유닛에 포함되는 상기 화상들이 트릭 플레이 시에 재생될 때에 복호화될 화상들을 특정하는 정보를 포함하는, 집적 회로.
KR1020067009657A 2004-04-28 2005-04-25 동화상 스트림 생성 장치, 동화상 부호화 장치, 동화상다중화 장치 및 동화상 복호화 장치 KR101148765B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00134212 2004-04-28
JP2004134212 2004-04-28
JP2004165005 2004-06-02
JPJP-P-2004-00165005 2004-06-02
JPJP-P-2004-00251871 2004-08-31
JP2004251871 2004-08-31
PCT/JP2005/008319 WO2005106875A1 (en) 2004-04-28 2005-04-25 Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus

Publications (2)

Publication Number Publication Date
KR20070007028A true KR20070007028A (ko) 2007-01-12
KR101148765B1 KR101148765B1 (ko) 2012-05-25

Family

ID=34971443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067009657A KR101148765B1 (ko) 2004-04-28 2005-04-25 동화상 스트림 생성 장치, 동화상 부호화 장치, 동화상다중화 장치 및 동화상 복호화 장치

Country Status (13)

Country Link
US (5) US7843994B2 (ko)
EP (8) EP2182521A1 (ko)
JP (5) JP4071811B2 (ko)
KR (1) KR101148765B1 (ko)
CN (5) CN101697575B (ko)
AT (7) ATE555474T1 (ko)
CA (2) CA2542266C (ko)
DE (2) DE602005016663D1 (ko)
ES (7) ES2383654T3 (ko)
MY (2) MY145551A (ko)
PL (6) PL2182520T3 (ko)
TW (2) TWI324338B (ko)
WO (1) WO2005106875A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100951008B1 (ko) * 2007-12-17 2010-04-02 한국전자통신연구원 인터레이스 부호화에서의 실시간 비트율 제어 방법 및시스템
US8355448B2 (en) 2007-01-18 2013-01-15 Nokia Corporation Carriage of SEI messages in RTP payload format
WO2016036009A1 (ko) * 2014-09-04 2016-03-10 (주)브레인키즈 동영상 재생 방법

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4002878B2 (ja) * 2003-01-17 2007-11-07 松下電器産業株式会社 画像符号化方法
ES2400955T3 (es) * 2004-10-07 2013-04-15 Panasonic Corporation Aparato de codificación de imágenes y aparato de decodificación de imágenes
CN100593336C (zh) 2005-01-10 2010-03-03 松下电器产业株式会社 画面编码装置和画面解码装置
JP2006211274A (ja) * 2005-01-27 2006-08-10 Toshiba Corp 記録媒体、この記録媒体を再生する方法並びにその再生装置及び記録媒体に映像データを記録する記録装置並びにその記録方法
KR100770704B1 (ko) * 2005-08-04 2007-10-29 삼성전자주식회사 픽쳐 스킵 방법 및 장치
US8670437B2 (en) 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
CN101300834A (zh) * 2005-11-03 2008-11-05 汤姆逊许可证公司 数字视频录制装置和方法
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
US9516326B1 (en) * 2005-12-09 2016-12-06 Nvidia Corporation Method for rotating macro-blocks of a frame of a video stream
FR2894739A1 (fr) * 2005-12-12 2007-06-15 Thomson Licensing Sa Procede de codage, procede de decodage, dispositif de codage et dispositif de decodage de donnees video
JP4736918B2 (ja) * 2006-04-11 2011-07-27 パナソニック株式会社 デジタル再生装置または再生プログラム
US8699583B2 (en) * 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
US8826345B2 (en) * 2006-09-08 2014-09-02 Edgeware Ab Method and an apparatus for data streaming
US20080062869A1 (en) * 2006-09-08 2008-03-13 Edgeware Ab Method and an apparatus for data streaming
US20080068993A1 (en) * 2006-09-08 2008-03-20 Edgeware Ab Method and an apparatus for data streaming
JP4947349B2 (ja) * 2006-11-10 2012-06-06 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US20090180546A1 (en) * 2008-01-09 2009-07-16 Rodriguez Arturo A Assistance for processing pictures in concatenated video streams
US8416859B2 (en) 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US20080115175A1 (en) * 2006-11-13 2008-05-15 Rodriguez Arturo A System and method for signaling characteristics of pictures' interdependencies
WO2008061164A2 (en) * 2006-11-14 2008-05-22 Qualcomm Incorporated Systems and methods for channel switching
BRPI0718810A2 (pt) 2006-11-15 2013-12-03 Qualcomm Inc Sistemas e métodos para aplicativos utilizando quadros de comutação de canal
KR101396364B1 (ko) * 2007-01-24 2014-05-19 삼성전자주식회사 컨텐츠를 저장한 정보저장매체, 재생 방법 및 장치
US7995640B2 (en) * 2007-04-30 2011-08-09 Texas Instruments Incorporated Dynamic interpolation location
JP2008294638A (ja) * 2007-05-23 2008-12-04 Sony Corp 伝送システム、記録装置、伝送方法、記録方法、およびプログラム
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8718388B2 (en) 2007-12-11 2014-05-06 Cisco Technology, Inc. Video processing with tiered interdependencies of pictures
WO2009093647A1 (ja) * 2008-01-24 2009-07-30 Nec Corporation 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置
US8416858B2 (en) 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
JP4577409B2 (ja) * 2008-06-10 2010-11-10 ソニー株式会社 再生装置、再生方法、プログラム、及び、データ構造
US8886022B2 (en) 2008-06-12 2014-11-11 Cisco Technology, Inc. Picture interdependencies signals in context of MMCO to assist stream manipulation
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
WO2009158550A2 (en) * 2008-06-25 2009-12-30 Cisco Technology, Inc. Support for blocking trick mode operations
WO2010056842A1 (en) 2008-11-12 2010-05-20 Cisco Technology, Inc. Processing of a video [aar] program having plural processed representations of a [aar] single video signal for reconstruction and output
FR2940737A1 (fr) * 2008-12-31 2010-07-02 Thomson Licensing Generation de flux de paquets de donnees video contenant des informations d'acceleration pour le decodage
EP2389000A4 (en) 2009-01-19 2014-04-02 Panasonic Corp ENCLOSURE METHOD, DECOMPOSITION METHOD, ENCRYPTION DEVICE, DECOMPOSITION DEVICE, PROGRAM AND INTEGRATED CIRCUIT
WO2010096767A1 (en) * 2009-02-20 2010-08-26 Cisco Technology, Inc. Signalling of decodable sub-sequences
US20100218232A1 (en) * 2009-02-25 2010-08-26 Cisco Technology, Inc. Signalling of auxiliary information that assists processing of video according to various formats
US8782261B1 (en) 2009-04-03 2014-07-15 Cisco Technology, Inc. System and method for authorization of segment boundary notifications
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US9300969B2 (en) 2009-09-09 2016-03-29 Apple Inc. Video storage
WO2011068807A1 (en) * 2009-12-01 2011-06-09 Divx, Llc System and method for determining bit stream compatibility
TWI410135B (zh) * 2009-12-08 2013-09-21 Alticast Corp 在數位廣播系統中傳送／接收傳輸流的裝置與方法
US20110176611A1 (en) * 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
US8254453B2 (en) * 2010-01-20 2012-08-28 Himax Media Solutions, Inc. Multi-format video decoder and related decoding method
JP5387430B2 (ja) * 2010-01-28 2014-01-15 株式会社Ｊｖｃケンウッド 動画像再生装置、動画像再生方法、及び、プログラム
US20110222837A1 (en) * 2010-03-11 2011-09-15 Cisco Technology, Inc. Management of picture referencing in video streams for plural playback modes
US8259808B2 (en) * 2010-03-25 2012-09-04 Mediatek Inc. Low complexity video decoder
JP5718453B2 (ja) 2010-04-13 2015-05-13 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 復号化方法
ES2907203T3 (es) 2010-04-13 2022-04-22 Ge Video Compression Llc Codificación de vídeo que usa subdivisiones multiárbol de imágenes
CN106454370B (zh) 2010-04-13 2019-11-01 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器、编码方法及数据流
CN102939750B (zh) 2010-04-13 2016-07-06 Ge视频压缩有限责任公司 跨平面预测
JP5805991B2 (ja) * 2010-05-07 2015-11-10 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ピクチャ・シーケンスを符号化する方法、それに対応する再構築方法、および当該シーケンスを表す符号化データのストリーム
JP2011259110A (ja) * 2010-06-07 2011-12-22 Panasonic Corp 動画再生方法および動画再生装置
JP2012018727A (ja) * 2010-07-08 2012-01-26 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP5589654B2 (ja) * 2010-08-04 2014-09-17 三菱電機株式会社 映像音声再生装置、および映像音声再生方法
EP2680583B1 (en) 2011-02-22 2018-04-11 Tagivan Ii Llc Filter method, dynamic image encoding device, dynamic image decoding device, and dynamic image encoding/decoding device
BR112013003102B1 (pt) 2011-02-22 2022-04-19 Sun Patent Trust Método de codificação de imagem, método de decodificação de imagem, aparelho de codificação de imagem, e aparelho de decodificação de imagem
US9516379B2 (en) 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
JP5341952B2 (ja) 2011-05-30 2013-11-13 株式会社東芝 ビデオサーバ及びデータ収録再生方法
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
MX2013013508A (es) 2011-06-23 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
RU2603552C2 (ru) 2011-06-24 2016-11-27 Сан Пэтент Траст Способ декодирования изображения, способ кодирования изображения, устройство декодирования изображения, устройство кодирования изображения и устройство кодирования и декодирования изображения
TWI581615B (zh) 2011-06-24 2017-05-01 Sun Patent Trust A decoding method, a coding method, a decoding device, an encoding device, and a coding / decoding device
MX2013013483A (es) 2011-06-27 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
CN103563377B (zh) 2011-06-28 2017-05-10 太阳专利托管公司 解码方法及解码装置
MX2013010892A (es) 2011-06-29 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
WO2013001769A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
MX339141B (es) 2011-06-30 2016-05-13 Panasonic Ip Corp America Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
LT2728861T (lt) * 2011-07-02 2017-10-25 Samsung Electronics Co., Ltd. Vaizdo duomenų multipleksavimo ir demultipleksavimo būdas ir aparatas vaizdo atkūrimo būklei nustatyti
AU2012281918C1 (en) 2011-07-11 2016-11-17 Sun Patent Trust Decoding Method, Coding Method, Decoding Apparatus, Coding Apparatus, And Coding and Decoding Apparatus
US8767824B2 (en) 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
LT2736253T (lt) 2011-07-19 2020-04-27 Tagivan Ii Llc Filtravimo būdas, judančio vaizdo dekodavimo būdas, judančio vaizdo kodavimo būdas, judančio vaizdo dekodavimo aparatas, judančio vaizdo kodavimo aparatas ir judančio vaizdo kodavimo/dekodavimo aparatas
CN103369314B (zh) * 2012-04-01 2018-02-16 中兴通讯股份有限公司 帧场信息的编码方法及解码方法、编码器和解码器
KR102094503B1 (ko) * 2012-04-15 2020-03-30 삼성전자주식회사 다계층 비디오 부호화 방법 및 장치, 다계층 비디오 복호화 방법 및 장치
US9979958B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
KR102444264B1 (ko) * 2012-09-13 2022-09-16 엘지전자 주식회사 영상 부호화/복호화 방법 및 장치
US8989508B2 (en) * 2012-09-28 2015-03-24 Sharp Kabushiki Kaisha Electronic device for signaling a sub-picture buffer parameter
BR112016003135B1 (pt) * 2013-08-22 2023-03-07 Sony Corporation Dispositivos de codificação, de transmissão, de decodificação e de recepção, e, métodos de codificação e de decodificação
KR101792518B1 (ko) 2013-12-16 2017-11-02 엘지전자 주식회사 트릭 플레이 서비스 제공을 위한 신호 송수신 장치 및 신호 송수신 방법
JP6224522B2 (ja) * 2014-05-22 2017-11-01 日本電信電話株式会社 映像配信装置、映像配信方法及び映像配信プログラム
US10244242B2 (en) 2014-06-25 2019-03-26 Qualcomm Incorporated Multi-layer video coding
WO2016111199A1 (ja) * 2015-01-09 2016-07-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム、並びに記録媒体
KR101868203B1 (ko) * 2015-01-28 2018-07-20 한국전자통신연구원 스트림 처리 방법 및 장치
JP6883214B2 (ja) * 2015-09-15 2021-06-09 ソニーグループ株式会社 受信装置および方法、送信装置および方法
CN106792078A (zh) * 2016-07-12 2017-05-31 乐视控股（北京）有限公司 视频处理方法及装置
US10412383B2 (en) * 2017-08-15 2019-09-10 Google Llc Compressing groups of video frames using reversed ordering
TWI659647B (zh) * 2017-11-21 2019-05-11 晶睿通訊股份有限公司 影像播放設備及其影像播放方法
TWI665663B (zh) * 2018-08-22 2019-07-11 張維中 影音倒轉播放裝置與系統及其方法
CN109618186B (zh) * 2018-11-15 2021-01-01 中国航空工业集团公司洛阳电光设备研究所 一种采用fpga实现的h264/avc视频辅助增强信息封装电路
CN115136604A (zh) * 2019-12-23 2022-09-30 Lg电子株式会社 基于nal单元类型的图像或视频编码
US11792432B2 (en) * 2020-02-24 2023-10-17 Tencent America LLC Techniques for signaling and identifying access unit boundaries
WO2021188805A1 (en) * 2020-03-20 2021-09-23 Bytedance Inc. Order relationship between subpictures
JP2023522224A (ja) 2020-04-20 2023-05-29 バイトダンス インコーポレイテッド 参照ピクチャリスト上の制約
CN115943627A (zh) * 2020-06-08 2023-04-07 字节跳动有限公司 对编解码视频图片中条带计数的约束

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0696798A4 (en) * 1994-02-28 2001-10-24 Sony Corp DATA RECORDING APPARATUS AND METHOD, DATA RECORDING MEDIUM AND DATA PLAYING DEVICE AND METHOD
JP3365109B2 (ja) * 1994-12-28 2003-01-08 ソニー株式会社 データ再生装置及びデータ再生方法
JP3604186B2 (ja) 1995-02-16 2004-12-22 三菱電機株式会社 記録媒体の記録方法及び再生方法
JP3329979B2 (ja) * 1995-02-24 2002-09-30 株式会社日立製作所 光ディスク及び光ディスク再生装置
JPH08280009A (ja) 1995-04-06 1996-10-22 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置および光ディスク
JP3146937B2 (ja) * 1995-07-13 2001-03-19 日本ビクター株式会社 高能率符号化された動画像情報から早送り，早戻し画像を再生する再生方法
JP3484834B2 (ja) * 1995-07-28 2004-01-06 ソニー株式会社 データ符号化／復号化方法および装置
US5757435A (en) * 1995-12-08 1998-05-26 C-Cube Microsystems, Inc. MPEG-2 inverse telecine circuit
JP4434326B2 (ja) 1997-03-19 2010-03-17 ソニー株式会社 映像再生方法及び映像再生装置
EP0940982A1 (en) * 1997-08-21 1999-09-08 Sony Corporation Disc recording method and device, disc reproducing method and device, and recording medium
CA2289958C (en) * 1998-11-19 2003-01-21 Tomoyuki Okada Information recording medium, apparatus and method for recording or reproducing data thereof
JP2000354224A (ja) * 1999-01-01 2000-12-19 Hitachi Ltd 画像データ記録方法および光ディスク再生方法
JP3805985B2 (ja) * 1999-02-18 2006-08-09 株式会社東芝 ストリームデータの情報記憶媒体、その記録方法、再生方法、記録装置および再生装置
EP1148727A1 (en) * 2000-04-05 2001-10-24 THOMSON multimedia Method and device for decoding a digital video stream in a digital video system using dummy header insertion
ATE275800T1 (de) * 1999-10-07 2004-09-15 Thomson Licensing Sa Trickwiedergabesignalerzeugung für einen digitalen videorekorder
MXPA03006194A (es) * 2001-01-16 2003-12-11 Matsushita Electric Ind Co Ltd Medio de grabacion de datos y un aparato para grabacion de datos y su metodo.
JP3820155B2 (ja) 2001-01-16 2006-09-13 松下電器産業株式会社 情報記録装置および方法、情報記録プログラム、および情報記録プログラムを記録した記録媒体
JP2003009085A (ja) * 2001-06-20 2003-01-10 Mitsubishi Electric Corp デジタル信号記録装置および方法、デジタル信号再生装置および方法
US7218635B2 (en) * 2001-08-31 2007-05-15 Stmicroelectronics, Inc. Apparatus and method for indexing MPEG video data to perform special mode playback in a digital video recorder and indexed signal associated therewith
US20030044166A1 (en) * 2001-08-31 2003-03-06 Stmicroelectronics, Inc. System for multiplexing video data streams in a digital video recorder and method of operating the same
US6707984B2 (en) 2001-10-31 2004-03-16 Thomson Licensing S.A. Changing a playback speed for video presentation recorded in a modified film format
CA2449067C (en) * 2002-04-02 2012-07-24 Sony Corporation Data recording device and method, data reproduction device and method, information recording medium, program-containing medium, and program
US8406301B2 (en) * 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
US7903742B2 (en) * 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
US7376186B2 (en) * 2002-07-15 2008-05-20 Thomson Licensing Motion estimation with weighting prediction
JP4477295B2 (ja) 2002-10-10 2010-06-09 古河電気工業株式会社 自動車ワイヤハーネス用アルミ電線
JP3975889B2 (ja) 2002-11-13 2007-09-12 松下電器産業株式会社 照光つまみ及びその製造方法
JP3718499B2 (ja) * 2002-11-29 2005-11-24 シャープ株式会社 動画像記録方法
JP4318478B2 (ja) 2002-12-27 2009-08-26 原子燃料工業株式会社 沸騰水型軽水炉用燃料集合体
WO2004066635A1 (ja) * 2003-01-17 2004-08-05 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法および動画像復号化方法
JP2003303476A (ja) 2003-03-03 2003-10-24 Pioneer Electronic Corp 情報記録媒体、その記録装置及び記録方法並びにその再生装置及び再生方法
US8351514B2 (en) * 2004-01-16 2013-01-08 General Instrument Corporation Method, protocol, and apparatus for transporting advanced video coding content
US8391672B2 (en) * 2004-02-06 2013-03-05 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
TW200845724A (en) * 2004-06-02 2008-11-16 Matsushita Electric Ind Co Ltd Multiplexing apparatus and demultiplexing apparatus

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355448B2 (en) 2007-01-18 2013-01-15 Nokia Corporation Carriage of SEI messages in RTP payload format
US8908770B2 (en) 2007-01-18 2014-12-09 Nokia Corporation Carriage of SEI messages in RTP payload format
US9451289B2 (en) 2007-01-18 2016-09-20 Nokia Technologies Oy Carriage of SEI messages in RTP payload format
KR100951008B1 (ko) * 2007-12-17 2010-04-02 한국전자통신연구원 인터레이스 부호화에서의 실시간 비트율 제어 방법 및시스템
WO2016036009A1 (ko) * 2014-09-04 2016-03-10 (주)브레인키즈 동영상 재생 방법

Also Published As

Publication number Publication date
US8254447B2 (en) 2012-08-28
CN101697576A (zh) 2010-04-21
TWI395207B (zh) 2013-05-01
CA2811897A1 (en) 2005-11-10
JP2011019270A (ja) 2011-01-27
CN101707723A (zh) 2010-05-12
ES2383655T3 (es) 2012-06-25
EP2207181B1 (en) 2012-04-25
JP4185567B1 (ja) 2008-11-26
EP1743338A1 (en) 2007-01-17
ES2383656T3 (es) 2012-06-25
CN101697576B (zh) 2012-07-11
US20080219393A1 (en) 2008-09-11
JP4071811B2 (ja) 2008-04-02
KR101148765B1 (ko) 2012-05-25
ATE555475T1 (de) 2012-05-15
ES2388397T3 (es) 2012-10-15
ES2330864T3 (es) 2009-12-16
EP2207181A1 (en) 2010-07-14
ATE555477T1 (de) 2012-05-15
JP4614991B2 (ja) 2011-01-19
EP2207183B8 (en) 2012-08-08
CN101778235A (zh) 2010-07-14
JP2007325289A (ja) 2007-12-13
US7809060B2 (en) 2010-10-05
EP2182521A1 (en) 2010-05-05
US8254446B2 (en) 2012-08-28
US8130843B2 (en) 2012-03-06
PL2207183T3 (pl) 2012-09-28
PL2207182T3 (pl) 2012-09-28
PL2207181T3 (pl) 2012-09-28
TW200601281A (en) 2006-01-01
CA2542266C (en) 2012-07-17
ES2347385T3 (es) 2010-10-28
US20080118218A1 (en) 2008-05-22
US7843994B2 (en) 2010-11-30
EP2207183A1 (en) 2010-07-14
JP2010028860A (ja) 2010-02-04
TW200949824A (en) 2009-12-01
ATE555473T1 (de) 2012-05-15
ES2383652T3 (es) 2012-06-25
ATE555474T1 (de) 2012-05-15
US20080117988A1 (en) 2008-05-22
EP2207182B1 (en) 2012-04-25
CN101697575A (zh) 2010-04-21
CA2542266A1 (en) 2005-11-10
CN101697575B (zh) 2012-05-30
PL2182520T3 (pl) 2012-09-28
JP2008295055A (ja) 2008-12-04
MY145551A (en) 2012-02-29
JP2007535187A (ja) 2007-11-29
US20080131079A1 (en) 2008-06-05
TWI324338B (en) 2010-05-01
EP2207183B1 (en) 2012-04-25
CA2811897C (en) 2014-06-03
EP1743338B1 (en) 2009-09-16
EP1968063B1 (en) 2010-06-16
EP2207182A1 (en) 2010-07-14
EP2182519A1 (en) 2010-05-05
CN1950907B (zh) 2011-04-13
ATE555476T1 (de) 2012-05-15
MY144441A (en) 2011-09-15
US20080118224A1 (en) 2008-05-22
JP4910065B2 (ja) 2012-04-04
JP4763824B2 (ja) 2011-08-31
DE602005021926D1 (de) 2010-07-29
ES2383654T3 (es) 2012-06-25
PL1743338T3 (pl) 2010-04-30
CN1950907A (zh) 2007-04-18
ATE471562T1 (de) 2010-07-15
EP2182520A1 (en) 2010-05-05
DE602005016663D1 (de) 2009-10-29
WO2005106875A1 (en) 2005-11-10
PL2182519T3 (pl) 2012-09-28
EP1968063A1 (en) 2008-09-10
EP2182520B1 (en) 2012-04-25
EP2182519B1 (en) 2012-04-25
CN101778235B (zh) 2013-06-19
ATE443327T1 (de) 2009-10-15

Similar Documents

Publication Publication Date Title
KR101148765B1 (ko) 동화상 스트림 생성 장치, 동화상 부호화 장치, 동화상다중화 장치 및 동화상 복호화 장치
JP4211999B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、記録方法、および画像復号化システム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150417

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160418

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180418

Year of fee payment: 7