JP3694888B2 - 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体 - Google Patents

復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体 Download PDF

Info

Publication number
JP3694888B2
JP3694888B2 JP34494099A JP34494099A JP3694888B2 JP 3694888 B2 JP3694888 B2 JP 3694888B2 JP 34494099 A JP34494099 A JP 34494099A JP 34494099 A JP34494099 A JP 34494099A JP 3694888 B2 JP3694888 B2 JP 3694888B2
Authority
JP
Japan
Prior art keywords
encoding
data
parameter
decoding
encoding parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP34494099A
Other languages
English (en)
Other versions
JP2001169292A (ja
Inventor
卓也 北村
衛 上田
勝己 田原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP34494099A priority Critical patent/JP3694888B2/ja
Priority to EP20070003528 priority patent/EP1793618B1/en
Priority to EP20000310636 priority patent/EP1111932A3/en
Priority to US09/727,347 priority patent/US6556627B2/en
Publication of JP2001169292A publication Critical patent/JP2001169292A/ja
Priority to US10/371,897 priority patent/US7126993B2/en
Application granted granted Critical
Publication of JP3694888B2 publication Critical patent/JP3694888B2/ja
Priority to US11/510,995 priority patent/US8170118B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/083—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical and the horizontal blanking interval, e.g. MAC data signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4342—Demultiplexing isochronously with video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/084—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the horizontal blanking interval only
    • H04N7/085—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the horizontal blanking interval only the inserted signal being digital
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/06—Transmission systems characterised by the manner in which the individual colour picture signal components are combined
    • H04N11/20—Conversion of the manner in which the individual colour picture signal components are combined, e.g. conversion of colour television standards

Description

【０００１】
【発明の属する技術分野】
本発明は、復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体に関し、特に、MPEG規格に基づいて符号化された符号化ビットストリームの構造を変更するために復号および符号化処理を繰り返したとしても画質劣化の発生しないトランスコーディングシステムにおいて、情報の重要度などによって、必要な情報を容易に取り出せるように伝送し、それを読み出すことができる復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
近年、テレビジョンプログラムを制作および放送する放送局においては、ビデオデータを圧縮／符号化処理するために、MPEG（Moving Picture Experts Group）技術が一般的に使われるようになってきた。特に、ビデオデータをテープなどのランダムアクセス可能な記録媒体素材に記録する場合、およびビデオデータをケーブルや衛星を介して伝送する場合には、このMPEG技術がデファクトスタンダードになりつつある。
【０００３】
放送局において制作されたビデオプログラムが各家庭に伝送されるまでの放送局における処理の一例を簡単に説明する。まず、ビデオカメラとVTR（Video Tape Recorder）が一体となったカムコーダに設けられたエンコーダによって、ソースビデオデータをエンコード処理して磁気テープ上に記録する。この際、カムコーダのエンコーダは、VTRのテープの記録フォーマットに適するように、ソースビデオデータを符号化する。例えば、この磁気テープ上に記録されるMPEGビットストリームのGOP（Group of Pictures）構造は、２フレームから１GOPが構成される構造（例えば、Ｉ，Ｂ，Ｉ，Ｂ，Ｉ，Ｂ，・・・・・・）とされる。また磁気テープ上に記録されているMPEGビットストリームのビットレートは、１８Mbpsである。
【０００４】
次に、メイン放送局において、この磁気テープ上に記録されたビデオビットストリームを編集する編集処理を行う。そのために、磁気テープ上に記録されたビデオビットストリームのGOP構造を、編集処理に適したGOP構造に変換する。編集処理に適したGOP構造とは、１GOPが１フレームから構成され、すべてのピクチャがＩピクチャであるGOP構造である。なぜなら、フレーム単位で編集を行うためには、他のピクチャと相関のないＩピクチャが最も適しているからである。実際のオペレーションとしては、磁気テープ上に記録されたビデオストリームを一旦デコードしてベースバンドのビデオデータに戻す。そして、そのベースバンドのビデオ信号を、すべてのピクチャがＩピクチャとなるように再エンコードする。このようにデコード処理および再エンコード処理を行うことによって、編集処理に適したGOP構造を有したビットストリームを生成することができる。
【０００５】
次に、上述した編集処理によって生成された編集ビデオプログラムを、メイン局から地方局に伝送するために、編集ビデオプログラムのビットストリームを、伝送処理に適したGOP構造およびビットレートに変換する。放送局間の伝送に適したGOP構造とは、例えば、１GOPが１５フレームから構成されているGOP構造（例えば、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ・…）である。また、放送局間の伝送に適したビットレートは、一般的に放送局間においては、光ファイバなどの高伝送容量を有した専用線が設けられているので、５０Mbps以上のハイビットレートであることが望ましい。具体的には、編集処理されたビデオプログラムのビットストリームを一旦デコードしてベースバンドのビデオデータに戻す。そして、そのベースバンドのビデオデータを上述した放送局間の伝送に適したGOP構造およびビットレートを有するように再エンコードする。
【０００６】
地方局においては、メイン局から伝送されてきたビデオプログラムの中に、地方特有のコマーシャルを挿入するために編集処理が行われる。つまり、上述した編集処理と同じように、メイン局から伝送されてきたビデオストリームを一旦デコードしてベースバンドのビデオデータに戻す。そして、そのベースバンドのビデオ信号を、すべてのピクチャがＩピクチャとなるように再エンコードすることによって、編集処理に適したGOP構造を有したビットストリームを生成することができる。
【０００７】
続いて、この地方局において編集処理が行われたビデオプログラムを各家庭に、ケーブルや衛星を介して伝送するために、この伝送処理に適したGOP構造およびビットレートに変換する。例えば、各家庭に伝送するための伝送処理に適したGOP構造とは、１GOPが１５フレームから構成されるGOP構造（例えば、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ・…）であって、各家庭に伝送するための伝送処理に適したビットレートは、５Mbps程度の低ビットレートである。具体的には、編集処理されたビデオプログラムのビットストリームを一旦デコードしてベースバンドのビデオデータに戻す。そして、そのベースバンドのビデオデータを、上述した伝送処理に適したGOP構造およびビットレートを有するように再エンコードする。
【０００８】
以上の説明からも理解できるように、放送局から各家庭にビデオプログラムが伝送される間に、複数回の復号処理および符号化処理が繰り返されている。実際には、放送局における処理は上述した信号処理以外にもさまざまな信号処理が必要であり、そのたびに復号処理および符号化処理を繰り返さなければならない。
【０００９】
しかしながら、MPEG規格に基づく符号化処理および復号処理は、１００％可逆の処理ではないことは良く知られている。つまり、エンコードされる前のベースバンドのビデオデータと、デコードされた後のビデオデータは１００％同じでは無く、この符号化処理および復号処理によって画質が劣化している。つまり、上述したように、デコード処理およびエンコード処理を繰り返すと、その処理の度に、画質が劣化してしまうと言う問題があった。別の言葉で表現すると、デコード／エンコード処理を繰り返す毎に、画質の劣化が蓄積されてしまう。
【００１０】
この問題を解決するために、符号化履歴をビデオデータとともに伝送し、それを利用して符号化および復号を実行することにより、画質の劣化を防ぐ技術がある。
【００１１】
【発明が解決しようとする課題】
しかしながら、画像を処理するアプリケーションによっては、デコード処理およびエンコード処理の実行にあたって、トランスコーディングシステムが全てのパラメータを必要としていない場合もある。しかしながら、必要とするデータがどの領域に位置するのかがわからないため、トランスコーディングシステムにおいては、全てのデータにアクセスできるように、ハードウェアを組む必要がある。そのため、ハードウェアが複雑になったり、装置の規模が大きくなってしまう。更に、ノイズ等の影響により、パケットが欠落すると、それ以降のデータの復帰が困難なため、多くのデータが欠落してしまう恐れがある。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、MPEG規格に基づいて符号化された符号化ビットストリームのGOPの構造を変更するために復号および符号化処理を繰り返したとしても画質劣化の発生しないトランスコーディングシステムにおいて、情報の重要度などによって、データの重畳方法を変更し、所定の位置（例えば、垂直ブランキング領域および水平ブランキング領域）に記述することにより、必要な情報を容易に取り出せるように伝送し、それを読み出すことができるようにするものである。
【００１３】
【課題を解決するための手段】
請求項１に記載の復号装置は、入力された符号化ストリームを復号して出力信号を生成する復号手段と、入力された符号化ストリームに記述されている符号化パラメータを抽出する抽出手段と、抽出手段により抽出された符号化パラメータを、ピクチャ層以上の符号化パラメータである第１の符号化パラメータとスライス層以下の符号化パラメータである第２の符号化パラメータに分離する分離手段と、分離手段により分離された第１の符号化パラメータおよび第２の符号化パラメータを、所定の形式のデータに変換する変換手段と、変換手段により変換された第１の符号化パラメータを、復号手段により復号された出力信号の垂直ブランキング領域に挿入するとともに、変換手段により変換された第２の符号化パラメータを、復号手段により復号された出力信号水平ブランキング領域に挿入する挿入手段とを備えることを特徴とする。
【００１４】
請求項５に記載の復号方法は、入力された符号化ストリームを復号して出力信号を生成する復号ステップと、入力された符号化ストリームに記述されている符号化パラメータを抽出する抽出ステップと、抽出ステップの処理により抽出された符号化パラメータを、ピクチャ層以上の符号化パラメータである第１の符号化パラメータとスライス層以下の符号化パラメータである第２の符号化パラメータに分離する分離ステップと、分離ステップの処理により分離された第１の符号化パラメータおよび符号化パラメータを、所定の形式のデータに変換する変換ステップと、変換ステップの処理により変換された第１の符号化パラメータを、復号ステップの処理により復号された出力信号の垂直ブランキング領域に挿入するとともに、変換ステップの処理により変換された第２の符号化パラメータを、復号ステップの処理により復号された出力信号の水平ブランキング領域に挿入する挿入ステップとを含むことを特徴とする。
【００１５】
請求項６に記載の記録媒体に記録されるプログラムは、入力された符号化ストリームを復号して出力信号を生成する復号ステップと、入力された符号化ストリームに記述されている符号化パラメータを抽出する抽出ステップと、抽出ステップの処理により抽出された符号化パラメータを、ピクチャ層以上の符号化パラメータである第１の符号化パラメータとスライス層以下の符号化パラメータである第２の符号化パラメータに分離する分離ステップと、分離ステップの処理により分離された第１の符号化パラメータおよび第２の符号化パラメータを、所定の形式のデータに変換する変換ステップと、変換ステップの処理により変換された第１の符号化パラメータを、復号ステップの処理により復号された出力信号の垂直ブランキング領域に挿入するとともに、変換ステップの処理により変換された第２の符号化パラメータを、復号ステップの処理により復号された出力信号の水平ブランキング領域に挿入する挿入ステップとを含むことを特徴とする。
【００１６】
請求項７に記載の符号化装置は、ピクチャ層以上の符号化パラメータである第１の符号化パラメータが垂直ブランキング領域に挿入され、スライス層以下の符号化パラメータである第２の符号化パラメータが水平ブランキング領域に挿入された信号から第１の符号化パラメータまたは第２の符号化パラメータを抽出する抽出手段と、抽出手段により抽出された第１の符号化パラメータまたは第２の符号化パラメータを選択する選択手段と、選択手段により選択された第１の符号化パラメータまたは第２の符号化パラメータを利用して、入力された信号を符号化して符号化ストリームを生成する符号化手段とを備えることを特徴とする。
【００１７】
請求項９に記載の符号化方法は、ピクチャ層以上の符号化パラメータである第１の符号化パラメータが垂直ブランキング領域に挿入され、スライス層以下の符号化パラメータである第２の符号化パラメータが水平ブランキング領域に挿入された信号から第１の符号化パラメータまたは第２の符号化パラメータを抽出する抽出ステップと、抽出ステップの処理により抽出された第１の符号化パラメータまたは第２の符号化パラメータを選択する選択ステップと、選択ステップの処理により選択された第１の符号化パラメータまたは第２の符号化パラメータを利用して、入力された信号を符号化して符号化ストリームを生成する符号化ステップとを含むことを特徴とする。
【００１８】
請求項１０に記載の記録媒体に記録されるプログラムは、ピクチャ層以上の符号化パラメータである第１の符号化パラメータが垂直ブランキング領域に挿入され、スライス層以下の符号化パラメータである第２の符号化パラメータが水平ブランキング領域に挿入された信号から第１の符号化パラメータまたは第２の符号化パラメータを抽出する抽出ステップと、抽出ステップの処理により抽出された第１の符号化パラメータまたは第２の符号化パラメータを選択する選択ステップと、選択ステップの処理により選択された第１の符号化パラメータまたは第２の符号化パラメータを利用して、入力された信号を符号化して符号化ストリームを生成する符号化ステップとを含むことを特徴とする。
【００１９】
請求項１１に記載の情報処理装置は、入力された第１の符号化ストリームを復号して出力信号を生成する復号手段と、復号手段により復号された出力信号を符号化して、第２の符号化ストリームを生成する符号化手段とを備え、復号手段は、入力された第１の符号化ストリームに記述されている符号化パラメータを抽出する第１の抽出手段と、第１の抽出手段により抽出された符号化パラメータを、ピクチャ層以上の符号化パラメータである第１の符号化パラメータとスライス層以下の符号化パラメータである第２の符号化パラメータに分離する分離手段と、分離手段により分離された第１の符号化パラメータおよび第２の符号化パラメータを、所定の形式のデータに変換する変換手段と、変換手段により変換された第１の符号化パラメータを、復号手段により復号された出力信号の垂直ブランキング領域に挿入し、変換手段により変換された第２の符号化パラメータを、復号手段により復号された出力信号の水平ブランキング領域に挿入する挿入手段とを備え、第１の抽出手段により抽出された符号化パラメータを用いて第１の符号化ストリームを復号し、符号化手段は、復号手段より復号された出力信号の垂直ブランキング領域に挿入されている第１の符号化パラメータまたは水平ブランキング領域に挿入されている第２の符号化パラメータを抽出する第２の抽出手段と、第２の抽出手段により抽出された第１の符号化パラメータまたは第２の符号化パラメータを選択する選択手段とを備え、選択手段により選択された第１の符号化パラメータまたは第２の符号化パラメータを利用して、復号手段より復号された出力信号を符号化して、第２の符号化ストリームを生成することを特徴とする。
【００２０】
請求項１４に記載の情報処理方法は、入力された第１の符号化ストリームを復号して出力信号を生成する復号ステップと、復号ステップの処理により復号された出力信号を符号化して、第２の符号化ストリームを生成する符号化ステップとを含み、復号ステップは、入力された第１の符号化ストリームに記述されている符号化パラメータを抽出する第１の抽出ステップと、第１の抽出ステップの処理により抽出された符号化パラメータを、ピクチャ層以上の符号化パラメータである第１の符号化パラメータとスライス層以下の符号化パラメータである第２の符号化パラメータに分離する分離ステップと、分離ステップの処理により分離された第１の符号化パラメータおよび第２の符号化パラメータを、所定の形式のデータに変換する変換ステップと、変換ステップの処理により変換された第１の符号化パラメータを、復号ステップの処理により復号された出力信号の垂直ブランキング領域に挿入し、変換ステップの処理により変換された第２の符号化パラメータを、復号ステップの処理により復号された出力信号水平ブランキング領域に挿入する挿入ステップとを含み、復号ステップの処理では、第１の抽出ステップの処理により抽出された符号化パラメータを用いて第１の符号化ストリームを復号し、符号化ステップは、復号ステップの処理により復号された出力信号の垂直ブランキング領域に挿入されている第１の符号化パラメータまたは水平ブランキング領域に挿入されている第２の符号化パラメータを抽出する第２の抽出ステップと、第２の抽出ステップの処理により抽出された第１の符号化パラメータまたは第２の符号化パラメータを選択する選択ステップとを含み、符号化ステップの処理では、選択ステップの処理により選択された第１の符号化パラメータまたは第２の符号化パラメータを利用して、復号ステップの処理により復号された出力信号を符号化して、第２の符号化ストリームを生成することを特徴とする。
【００２１】
請求項１５に記載の記録媒体に記録されるプログラムは、入力された第１の符号化ストリームを復号して出力信号を生成する復号ステップと、復号ステップの処理により復号された出力信号を符号化して、第２の符号化ストリームを生成する符号化ステップとを含み、復号ステップは、入力された第１の符号化ストリームに記述されている符号化パラメータを抽出する第１の抽出ステップと、第１の抽出ステップの処理により抽出された符号化パラメータを、ピクチャ層以上の符号化パラメータである第１の符号化パラメータとスライス層以下の符号化パラメータである第２の符号化パラメータに分離する分離ステップと、分離ステップの処理により分離された第１の符号化パラメータおよび第２の符号化パラメータを、所定の形式のデータに変換する変換ステップと、変換ステップの処理により変換された第１の符号化パラメータを、復号ステップの処理により復号された出力信号の垂直ブランキング領域に挿入し、変換ステップの処理により変換された第２の符号化パラメータを、復号ステップの処理により復号された出力信号の水平ブランキング領域に挿入する挿入ステップとを含み、復号ステップの処理では、第１の抽出ステップの処理により抽出された符号化パラメータを用いて第１の符号化ストリームを復号し、符号化ステップは、復号ステップの処理により復号された出力信号の垂直ブランキング領域に挿入されている第１の符号化パラメータまたは水平ブランキング領域に挿入されている第２の符号化パラメータを抽出する第２の抽出ステップと、第２の抽出ステップの処理により抽出された第１の符号化パラメータまたは第２の符号化パラメータを選択する選択ステップとを含み、符号化ステップの処理では、選択ステップの処理により選択された第１の符号化パラメータまたは第２の符号化パラメータを利用して、復号ステップの処理により復号された出力信号を符号化して、第２の符号化ストリームを生成することを特徴とする。
【００２２】
請求項１に記載の復号装置、請求項５に記載の復号方法、請求項６に記載の記録媒体においては、入力された符号化ストリームを復号して出力信号が生成され、入力された符号化ストリームに記述されている符号化パラメータが抽出され、抽出された符号化パラメータが、ピクチャ層以上の符号化パラメータである第１の符号化パラメータとスライス層以下の符号化パラメータである第２の符号化パラメータに分離され、分離された第１の符号化パラメータおよび第２の符号化パラメータが、所定の形式のデータに変換され、変換された第１の符号化パラメータが、復号された出力信号の垂直ブランキング領域に挿入され、変換された第２の符号化パラメータが、復号された出力信号の水平ブランキング領域に挿入される。
【００２３】
請求項７に記載の符号化装置、請求項９に記載の符号化方法、請求項１０に記載の記録媒体においては、ピクチャ層以上の符号化パラメータである第１の符号化パラメータが垂直ブランキング領域に挿入され、スライス層以下の符号化パラメータである第２の符号化パラメータが水平ブランキング領域に挿入された信号から第１の符号化パラメータまたは第２の符号化パラメータが抽出され、抽出された第１の符号化パラメータまたは第２の符号化パラメータが選択され、選択された第１の符号化パラメータまたは第２の符号化パラメータを利用して、入力された信号が符号化されて符号化ストリームが生成される。
【００２４】
請求項１１に記載の情報処理装置、請求項１４に記載の情報処理方法、請求項１５に記載の記録媒体においては、入力された第１の符号化ストリームを復号して出力信号が生成され、復号された出力信号を符号化して、第２の符号化ストリームが生成され、復号においては、入力された第１の符号化ストリームに記述されている符号化パラメータが抽出され、抽出された符号化パラメータが、ピクチャ層以上の符号化パラメータである第１の符号化パラメータとスライス層以下の符号化パラメータである第２の符号化パラメータに分離され、分離された第１の符号化パラメータまたは第２の符号化パラメータが、所定の形式のデータに変換され、変換された第１の符号化パラメータが、復号された出力信号の垂直ブランキング領域に挿入され、変換された第２の符号化パラメータが、復号された出力信号の水平ブランキング領域に挿入され、抽出された符号化パラメータを用いて第１の符号化ストリームが復号され、符号化においては、復号された出力信号の垂直ブランキング領域に挿入されている第１の符号化パラメータまたは水平ブランキング領域に挿入されている第２の符号化パラメータが抽出され、抽出された第１の符号化パラメータまたは第２の符号化パラメータが選択され、選択された第１の符号化パラメータまたは第２の符号化パラメータを利用して、復号された出力信号が符号化されて、第２の符号化ストリームが生成される。
【００２５】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００２６】
図1は、本発明のトランスコーディングシステムを示すブロック図である。ビデオデコーディングシステム１は、ビットストリームの入力を受け、図５を用いて後述する方法で、入力された信号をデコードし、図７を用いて後述するV Blanking領域およびH Blanking領域に必要に応じた情報を記述し、ベースバンドビデオ信号に変換して出力する。ビデオエンコーディングシステム２は、ベースバンドビデオ信号の入力を受け、図７を用いて後述するV Blanking領域およびH Blanking領域から必要に応じた情報を取り出し、図１２を用いて後述する方法で、入力された信号をエンコードし、ビットストリームに変換して出力する。ビデオ処理システム（VTR）３は、必要に応じて、ベースバンドビデオ信号に対する編集処理を実行する。
【００２７】
図２は、ビデオデコーディングシステム１の詳細な構成を示すブロック図である。
【００２８】
復号装置１１は、入力されたビットストリームから、ビデオ信号を取り出し、ヒストリ情報多重化装置１２に出力し、１世代前の符号化パラメータ（例えば、このトランスコーディングシステムが第４世代であれば、第３世代の符号化パラメータ）を取り出し、ヒストリ情報多重化装置１２およびデータ分類装置１３に出力し、ビデオデコーディングシステムに入力される以前のデータの変換履歴を示すユーザデータ（すなわち、直前の世代より更に前の世代の符号化パラメータ）をヒストリデコーディング装置１４に入力する。
【００２９】
データ分類装置１３に入力された符号化パラメータは、例えば、多くのアプリケーションで必要度の高いピクチャ層以上の符号化パラメータと、全てのパラメータで必要ではないスライス層以下の符号化パラメータとに分離され、フォーマットコンバータ１５およびフォーマットコンバータ１７にそれぞれ出力される。フォーマットコンバータ１５およびフォーマットコンバータ１７は、入力された符号化パラメータをアンシラリパケットにフォーマット変換し、V Blanking挿入装置１６およびH Blanking挿入装置１８にそれぞれ出力する。
【００３０】
ヒストリデコーディング装置１４は、復号装置１１より供給されるユーザデータをデコードするユーザデータデコーダ２１、ユーザデータデコーダ２１の出力を変換するコンバータ２２、およびコンバータ２２の出力から履歴情報を再生するヒストリVLD（Variable Length Decoder）２３により構成されている。
【００３１】
ユーザデータデコーダ２１は、復号装置１１より供給されるユーザデータをデコードして、コンバータ２２に出力する。詳細は図２８を参照して後述するが、ユーザデータ（user_data（））は、user_data_start_codeとuser_dataからなり、MPEG規格においてはuser_dataの中に、連続する２３ビットの”０”（start_codeと同一のコード）を発生させることを禁止している。これは、そのデータが、start_codeとして誤検出されるのを防止するためである。履歴情報（history_stream（））は、ユーザデータエリアに（MPEG規格のuser_dataの一種として）記述され、その中には、このような連続する２３ビット以上の”０”が存在することがあり得るので、これを、連続する２３ビット以上の”０”が発生しないように、所定のタイミングで“１”を挿入処理して、converted_history_stream（）（後述する図１５）に変換する必要がある。この変換を行うのは、後述するヒストリエンコーディング装置のコンバータである。ヒストリデコーディング装置１４のコンバータ２２は、このコンバータと逆の変換処理を行う（連続する２３ビット以上の”０”を発生させないために挿入された”１”を除去する）ものである。
【００３２】
ヒストリVLD２３は、コンバータ２２の出力から履歴情報（いまの場合、第１世代の符号化パラメータと第２世代の符号化パラメータ）を生成し、ヒストリ情報多重化装置１２に出力する。
【００３３】
すなわち、ヒストリデコーディング装置１４は、受け取ったユーザデータのシンタックスを解析することによって、ユーザデータの中に記述されている固有のHistory_Data_Idを検出し、これによって、converted_history_stream（）を抽出することができる。更に、ヒストリデコーディング装置１４は、converted_history_stream（）中にある所定間隔に挿入されている１ビットのマーカービット（marker_bit）を取りさることによって、history_stream（）を得ることができ、そして、そのhistory_stream（）のシンタックスを解析することによって、history_stream（）中に記述されている第１世代および第２世代の符号化パラメータを得ることができる。
【００３４】
ヒストリ情報多重化装置１２は、ビデオデコーディングシステムに入力される以前の全てのデータ変更履歴（例えば、これが第４世代の変更であれば、第１世代、第２世代および第３世代の符号化パラメータ）を、第４世代の符号化処理を行うビデオエンコーディングシステム２に供給するために、復号装置１１においてデコードされたベースバンドのビデオデータに、これらの第１世代、第２世代および第３世代の符号化パラメータを多重化するための回路である。
【００３５】
ヒストリ情報多重化装置１２から出力された信号は、V Blanking挿入装置１６に入力される。V Blanking挿入装置１６は、図７を用いて後述するV Blanking領域に、フォーマットコンバータ１５から入力されたピクチャ層以上の符号化パラメータを挿入し、H Blanking挿入装置１８に出力する。H Blanking挿入装置１８は、図７を用いて後述するH Blanking領域に、フォーマットコンバータ１７から入力されたスライス層以下の符号化パラメータを挿入し、出力する。
【００３６】
図３は、ビデオエンコーディングシステム２の詳細な構成を示すブロック図である。
【００３７】
H Blanking抽出装置３１は、入力されたベースバンドビデオ信号から、H Blanking領域に重畳されたアンシラリパケットを抽出し、フォーマットコンバータ３２に出力する。フォーマットコンバータ３２は、入力されたアンシラリパケットのフォーマットを変換し、マルチプレクサ３３に出力する。V Blanking抽出装置３４は、入力されたベースバンドビデオ信号から、V Blanking領域に重畳されたアンシラリパケットを抽出し、フォーマットコンバータ３５に出力する。フォーマットコンバータ３５は、入力されたアンシラリパケットのフォーマットを変換し、マルチプレクサ３３に出力する。マルチプレクサ３３は、入力された信号を多重化し、パラメータ再生部３６に出力する。
【００３８】
パラメータ再生部３６は、パケットが欠落していた場合、図８を用いて後述する方法で、損失したデータを修正し、修正後のデータを符号化装置３９に出力する。
【００３９】
H Blanking抽出装置３１およびH Blanking抽出装置３４においてアンシラリパケットが抽出された後、データは、ヒストリ情報分離装置３７に入力される。ヒストリ情報分離装置３７は、伝送データからベースバンドのビデオデータを抽出して、そのビデオデータを符号化装置３９に供給するとともに、伝送データから第１世代、第２世代および第３世代のヒストリ情報を抽出して、符号化装置３９とヒストリエンコーディング装置３８にそれぞれ供給する。
【００４０】
ヒストリエンコーディング装置３８において、ヒストリVLC（Variable Length Coder）４３は、ヒストリ情報分離装置３７より供給される３世代分の（第１世代、第２世代、および第３世代の）符号化パラメータを、履歴情報のフォーマットに変換する。このフォーマットには、固定長のもの（後述する図１７乃至図２３）と、可変長のもの（後述する図２４）とがある。これらの詳細については後述する。
【００４１】
ヒストリVLC４３により、フォーマット化された履歴情報は、コンバータ４２において、converted_history_stream（）に変換される。これは、上述したように、user_data（）のstart_codeが誤検出されないようにするための処理である。すなわち、履歴情報内には連続する２３ビット以上の”０”が存在するが、user_data中には連続する２３ビット以上の”０”を配置することができないので、この禁止項目に触れないようにコンバータ４２によりデータを変換する（“１”を所定のタイミングで挿入する）。
【００４２】
ユーザデータフォーマッタ４１は、コンバータ４２より供給されるconverted_history_stream（）に、後述する図１５に基づいて、History_Data_IDを付加し、更に、user_data_stream_codeを付加して、video stream中に挿入できるMPEG規格のuser_dataを生成し、符号化装置３９に出力する。
【００４３】
符号化装置３９は、ヒストリ情報分離装置３７から供給されたベースバンドのビデオデータを、オペレータまたはホストコンピュータから指定されたGOP構造およびビットレートを有するビットストリームになるように符号化するための装置である。なお、GOP構造を変更するとは、例えば、GOPに含まれるピクチャの数、ＩピクチャとＩピクチャの間に存在するＰピクチャの数、およびＩピクチャとＰピクチャ（またはＩピクチャ）の間に存在するＢピクチャの数を変更することを意味する。
【００４４】
この場合、供給されたベースバンドのビデオデータには、第１世代、第２世代および第３世代のヒストリ情報が重畳されているので、この符号化装置３９は、再符号化処理による画質劣化が少なくなるように、これらのヒストリ情報を選択的に再利用して第４世代の符号化処理を行う。
【００４５】
例えば、ピクチャ層以上のデータのみを取り扱う場合、図２および図３を用いて説明した全てのハードウェアは必要ではない。すなわち、図２において、フォーマットコンバータ１７およびH Blanking挿入装置１８を削除し、図３において、H Blanking抽出装置３１およびフォーマットコンバータ３２を削除したビデオデコーディングシステムを用いればよい。
【００４６】
また、スライス層以下のデータをピクチャ層以上のデータと同様の頻度で取り扱うような場合、図４に示すように、復号装置６１、ヒストリデコーディング装置６２、およびヒストリ情報多重化装置６３からなるビデオデコーディングシステム５１、並びに、ヒストリ情報分離装置６４、ヒストリエンコーディング装置６５、および符号化装置６６からなるビデオエンコーディングシステム５２を用いてもよい。
【００４７】
復号装置６１は、入力されたビットストリームから、ビデオ信号および符号化パラメータを取り出し、ヒストリ情報多重化装置６３に出力するとともに、入力されたビットストリームからユーザデータを取り出し、ヒストリデコーディング装置６２に出力する。ヒストリデコーディング装置６２は、ヒストリデコーディング装置１４と同様の方法でユーザデータをデコードし、ヒストリ情報多重化装置６３に出力する。ヒストリ情報多重化装置６３は、図７を用いて後述するように、指定された領域に符号化パラメータを記述し、ヒストリ情報分離装置６４に出力する。
【００４８】
ヒストリ情報分離装置６４は、入力されたデータからベースバンドのビデオデータを抽出して、そのビデオデータを符号化装置６６に供給するとともに、入力されたデータの所定の位置に記述されている、第１世代、第２世代および第３世代のヒストリ情報を抽出して、符号化装置６６とヒストリエンコーディング装置６５にそれぞれ供給する。ヒストリエンコーディング装置６５は、ヒストリエンコーディング装置３８と同様の処理により、入力されたヒストリ情報をエンコードし、符号化装置６６に出力する。符号化装置６６は、入力されたデータが、所定のGOP構造およびビットレートを有するビットストリームになるように符号化する。
【００４９】
図５は、図２を用いて説明した復号装置１１（もしくは、図4を用いて説明した復号装置６１）に含まれるデコーダ８１の詳細な構成を示すブロック図である。
【００５０】
デコーダ８１は、供給されたビットストリームをバッファリングするための受信バッファ９１、符号化ビットストリームを可変長復号するための可変長復号回路９２、可変長復号されたデータを可変長復号回路９２から供給された量子化スケールに従って逆量子化する逆量子化回路９３、逆量子化されたＤＣＴ（離散コサイン変換）係数を逆離散コサイン変換するIDCT回路９４、および動き補償処理を行うための演算器９５、フレームメモリ９６および動き補償回路９７を備えている。
【００５１】
可変長復号回路９２は、直前の世代（この場合、第３世代）の符号化ビットストリームを復号処理するために、この符号化ビットストリームのピクチャ層、スライス層およびマクロブロック層に記述されている符号化パラメータを抽出する。抽出された符号化パラメータは、図２を用いて説明したように、データ分類装置１３にも供給され、ピクチャ層以上とスライス層以下に分類される。
【００５２】
例えば、この可変長復号回路９２において抽出される第３世代の符号化パラメータは、ピクチャタイプを示すpicture_coding_type、量子化スケールステップサイズを示すquantiser_scale_code、予測モードを示すmacroblock_type、動きベクトルを示すmotion_vector、フレーム予測モードかフィールド予測モードかを示すframe/field_motion_type、およびフレームＤＣＴモードかフィールドＤＣＴモードかを示すdct_type等である。この可変長復号回路９２において抽出されたquatntiser_scale_codeは、逆量子化回路９３に供給され、picture_coding_type、quatntiser_scale_code、macroblock_type、motion_vector、frame/field_motion_type、dct_type等のパラメータは、動き補償回路９７に供給される。
【００５３】
可変長復号回路９２は、第３世代の符号化ビットストリームを復号処理するために必要なこれらの符号化パラメータだけではなく、後段の第５世代のトランスコーディングシステムに第３世代のヒストリ情報として伝送されるべき符号化パラメータを、第３世代の符号化ビットストリームのシーケンス層、GOP層、ピクチャ層、スライス層、およびマクロブロック層から抽出する。もちろん、第３世代の復号処理に使用されたpicture_coding_type、quatntiser_scale_code、macroblock_type、motion_vector、frame/field_motion_type、dct_type等の第３世代の符号化パラメータは、この第３世代のヒストリ情報に含まれている。ヒストリ情報としてどのような符号化パラメータを抽出するかについては、伝送容量などに応じてオペレータやホストコンピュータ側から予め設定されている。
【００５４】
更に、可変長復号回路９２は、第３世代の符号化ビットストリームのピクチャ層のユーザデータエリアに記述されているユーザデータを抽出し、そのユーザデータをヒストリデコーディング装置１４に供給する。
【００５５】
このヒストリデコーディング装置１４は、前述したように、第３世代の符号化ビットストリームのピクチャ層に記述されていたユーザデータから、ヒストリ情報として記述されている第１世代の符号化パラメータおよび第２世代の符号化パラメータ（直前の世代より更に前の世代の符号化パラメータ）を抽出するための回路である。
【００５６】
また、可変長復号回路９２は、受信バッファ９１より供給されたデータを可変長復号し、動きベクトル、予測モード、予測フラグ、およびＤＣＴフラグを動き補償回路９７に出力し、量子化スケールを逆量子化回路９３に出力するとともに、復号された画像データを逆量子化回路９３に出力する。
【００５７】
逆量子化回路９３は、可変長復号回路９２より供給された画像データを、同じく可変長復号回路９２より供給された量子化スケールに従って逆量子化し、IDCT回路９４に出力する。逆量子化回路９３より出力されたデータ（ＤＣＴ係数）は、IDCT回路９４により、逆離散コサイン変換処理が施され、演算器９５に供給される。
【００５８】
IDCT回路９４より演算器９５に供給された画像データが、Ｉピクチャのデータである場合、そのデータは演算器９５より出力され、演算器９５に後に入力される画像データ（ＰまたはＢピクチャのデータ）の予測画像データ生成のために、フレームメモリ９６の前方予測画像部９６ａに供給されて記憶される。
【００５９】
IDCT回路９４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチャのデータであり、前方予測モードのデータである場合、フレームメモリ９６の前方予測画像部９６ａに記憶されている、１フレーム前の画像データ（Ｉピクチャのデータ）が読み出され、動き補償回路９７で可変長復号回路９２より出力された動きベクトルに対応する動き補償が施される。そして、演算器９５において、IDCT回路９４より供給された画像データ（差分のデータ）と加算され、出力される。この加算されたデータ、すなわち、復号されたＰピクチャのデータは、演算器９５に後に入力される画像データ（ＢピクチャまたはＰピクチャのデータ）の予測画像データ生成のために、フレームメモリ９６の後方予測画像部９６ｂに供給されて記憶される。
【００６０】
このように、Ｐピクチャのデータであっても、画像内予測モードのデータは、Ｉピクチャのデータと同様に、演算器９５において処理は行われず、そのまま後方予測画像部９６ｂに記憶される。
【００６１】
IDCT回路９４より供給された画像データが、Ｂピクチャのデータである場合、可変長復号回路９２より供給された予測モードに対応して、フレームメモリ９６の前方予測画像部９６ａに記憶されているＩピクチャの画像データ（前方予測モードの場合）、後方予測画像部９６ｂに記憶されているＰピクチャの画像データ（後方予測モードの場合）、または、その両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路９７において、可変長復号回路９２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。ただし、動き補償を必要としない場合（画像内予測モードの場合）、予測画像は生成されない。
【００６２】
このようにして、動き補償回路９７において動き補償が施されたデータは、演算器９５において、IDCT回路９４の出力と加算され、出力される。ただし、この加算出力はＢピクチャのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ９６には記憶されない。また、動き補償回路９７においては、奇数フィールドと偶数フィールドのラインの信号が分離された構成を元の構成に必要に応じて戻す処理も実行される。
【００６３】
Ｂピクチャの画像が出力された後、後方予測画像部９６ｂに記憶されているＰピクチャの画像データが読み出され、動き補償回路９７を介して演算器９５に供給される。ただし、このとき、動き補償は行われない。
【００６４】
そして、デコーダ８１からの出力は、ヒストリ情報多重化装置１２に入力される。具体的には、ヒストリ情報多重化装置１２は、デコーダ８１の演算器９５から出力されたベースバンドのビデオデータ、デコーダ８１の可変長復号回路９２から出力された第３世代の符号化パラメータ、並びに、ヒストリデコーディング装置１４から出力された第１世代の符号化パラメータと第２世代の符号化パラメータとを受け取り、このベースバンドのビデオデータに、これらの第１世代、第２世代および第３世代の符号化パラメータを多重化し、その後、図７を用いて後述するように、H Blanking領域およびV Blanking領域に符号化パラメータが記述され、出力データが生成される。
【００６５】
次に、これらの第１世代、第２世代および第３世代の符号化パラメータのベースバンドビデオデータへの多重化の方法について、図６乃至図１１を参照して説明する。
【００６６】
図６は、MPEG規格において定義されている、１６ピクセル×１６ピクセルからなる１つのマクロブロックを示している。この１６ピクセル×１６ピクセルのマクロブロックは、輝度信号に関しては４つの８ピクセル×８ピクセルからなるサブブロック（Ｙ[0]，[1]，[2]およびＹ[3]）と、色差信号に関しては４つの８ピクセル×８ピクセルからなるサブブロック（Ｃｒ[0]，ｒ[1]，ｂ[0]，およびＣｂ[1]）から構成されている。
【００６７】
そして、図７に示されるように、例えば、多くのアプリケーションで必要度の高い、ピクチャ層以上の符号化パラメータがV Blanking領域に記述され、全てのアプリケーションでは必要とされない、スライス層以下の符号化パラメータがH Blanking領域に記述されるように、前述したV Blanking挿入装置１６、およびH Blanking挿入装置１８によって挿入される。
【００６８】
また、前述したパラメータ再生部における欠落パケットの修正において、例えば、以前のデータを格納しておき、欠落パケットの個所に相当するデータを補充するなどの方法がある。ここで、図８（A）に示されるように、パケットの区切りにかかわりなく、各データのスタートにstart_codeが書き込まれた場合、全てのデータを読み込んでstart_codeを探さなくてはいけない。従って、V Blanking領域に含まれるピクチャ層以上の情報においては、図８（Ｂ）に示されるように、１マクロブロックの情報は、１ストライプのアンシラリパケット内で閉じるようにし、start_codeを常にパケットの先頭に書き込むことにより、欠落パケットの修正を容易にする。
【００６９】
また、図６を用いて説明したマクロブロックにおいて、垂直方向に分解してできる帯単位の情報をストライプという。MPEG２では、インタレース形式の画像を処理する場合、図９に示されるフィールドストラクチャとフレームストラクチャを適宜切り替えて用いている。フィールドストラクチャは、フィールド単位で画像を処理するのに対して、フレームストラクチャでは、２つのフィールドからフレームを構成し、フレーム単位で画像を処理する。そのため、フィールドストラクチャでは、１６ラインごとにストライプが形成されるが、フレームストラクチャでは、８ラインごとにストライプが形成される。
【００７０】
それぞれのストライプを形成するスライス層以下の符号化パラメータは、そのストライプのH Blanking領域に閉じた形で伝送する。これにより、各ストライプのビデオデータが得られるのと同時に符号化パラメータも得られるため、時間を合わせるためのバッファなどの機構をもつ必要がなくなる。また、パケットのペイロード内にstart_codeが存在する場合、パケット欠落時の復帰を容易にするため、図１０に示すように、start_codeは常にパケットの先頭に書き込まれるようにする。
【００７１】
図１１に示されるように、データブロックは、各サブブロック（Ｙ[0]，Ｙ[1]，Ｙ[2]，Ｙ[3]，Ｃｒ[0]，Ｃｒ[1]，Ｃｂ[0]，Ｃｂ[1]）における１ピクセルを伝送するためのデータブロックであるので、１マクロブロックのデータを伝送するためには、この図１１に示されているデータブロックが６４個伝送される。下位２ビット（Ｄ１とＤ０）を使用すれば、１マクロブロックのビデオデータに対して、合計で１０２４（＝１６×６４）ビットのヒストリ情報を伝送できる。従って、１世代分のヒストリ情報は、２５６ビットとなるように生成されているので、過去の４（＝１０２４／２５６）世代分のヒストリ情報を１マクロブロックのビデオデータに対して重畳することができる。図１１に示した例では、第１世代のヒストリ情報、第２世代のヒストリ情報、並びに、第３世代のヒストリ情報が重畳されている。
【００７２】
図１２は、図３を用いて説明した符号化装置３９（もしくは、図４を用いて説明した符号化装置６６）に設けられているエンコーダ１０１の具体的な構成を示している図である。このエンコーダ１０１は、コントローラ１２５、動きベクトル検出回路１１１、フレームメモリ１１２、フレーム／フィールド予測モード切り替え回路１１３、演算器１１４、ＤＣＴモード切り替え回路１１５、ＤＣＴ回路１１６、量子化回路１１７、可変長符号化回路１１８、送信バッファ１１９、逆量子化回路１２０、逆ＤＣＴ（IDCT）回路１２１、演算器１２２、フレームメモリ１２３、および動き補償回路１２４を備えている。
【００７３】
このエンコーダ１０１は、上述した各回路の動作および機能を制御するためのコントローラ１２５を有している。このコントローラ１２５は、オペレータまたはホストコンピュータからGOP構造に関するインストラクションを受け取って、そのGOP構造に対応するように各ピクチャのピクチャタイプを決定する。また、このコントローラ１２５は、オペレータまたはホストコンピュータからタ−ゲットビットレートの情報を受け取り、このエンコーダ１０１から出力されるビットレートが、オペレータまたはホストコンピュータから指定されたターゲットビットレートになるように、量子化回路１１７を制御する。
【００７４】
更に、このコントローラ１２５は、ヒストリ情報分離装置３７から出力された複数世代のヒストリ情報を受け取り、これらのヒストリ情報を再利用して参照ピクチャの符号化処理を行う。以下に詳しく説明する。
【００７５】
まず、このコントローラ１２５は、オペレータによって指定されたGOP構造から決定された参照ピクチャのピクチャタイプと、ヒストリ情報に含まれるピクチャタイプが一致するか否かを判断する。つまり、指定されたピクチャタイプと同じピクチャタイプでこの参照ピクチャが過去において符号化されたことがあるか否かを判断する。すなわち、このコントローラ１２５は、第４世代の符号化処理としてこの参照ピクチャにアサインされたピクチャタイプが、第１世代の符号化処理おけるこの参照ピクチャのピクチャタイプ、第２世代の符号化処理おけるこの参照ピクチャのピクチャタイプ、または第３世代の符号化処理おけるこの参照ピクチャのピクチャタイプのいずれかと一致するか否かを判断する。
【００７６】
もし、第４世代の符号化処理としてこの参照ピクチャに指定されたピクチャタイプが、過去の符号化処理におけるどのピクチャタイプとも一致しないのであれは、このコントローラ１２５は、「通常符号化処理」を行う。つまり、この場合には、第１世代、第２世代または第３世代のどの世代の符号化処理においても、第４世代の符号化処理としてアサインされたピクチャタイプで、この参照ピクチャが符号化処理されたことがないということになる。一方、もし、第４世代の符号化処理としてこの参照ピクチャに指定されたピクチャタイプが、過去の符号化処理におけるいずれかのピクチャタイプと一致するのであれば、このコントローラ１２５は、「パラメータ再利用符号化処理」を行う。つまり、この場合には、第１世代、第２世代または第３世代のいずれかの世代の符号化処理において、第４世代の符号化処理としてアサインされたピクチャタイプで、この参照ピクチャが符号化処理されたことがあるということになる。
【００７７】
まず、最初にコントローラ１２５の通常符号化処理について説明する。
【００７８】
符号化される画像データは、マクロブロック単位で動きベクトル検出回路１１１に入力される。動きベクトル検出回路１１１は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ、またはＢのいずれのピクチャとして処理するかは、予め定められている。
【００７９】
Ｉピクチャとして処理されるフレームの画像データは、動きベクトル検出回路１１１からフレームメモリ１１２の前方原画像部１１２ａに転送、記憶され、Ｂピクチャとして処理されるフレームの画像データは、原画像部１１２ｂに転送、記憶され、Ｐピクチャとして処理されるフレームの画像データは、後方原画像部１１２ｃに転送、記憶される。
【００８０】
また、次のタイミングにおいて、更にＢピクチャまたはＰピクチャとして処理すべきフレームの画像が入力されたとき、それまで後方原画像部１１２ｃに記憶されていた最初のＰピクチャの画像データが、前方原画像部１１２ａに転送され、次のＢピクチャの画像データが、参照原画像部１１２ｂに記憶（上書き）され、次のＰピクチャの画像データが、後方原画像部１１２ｃに記憶（上書き）される。このような動作が順次繰り返される。
【００８１】
フレームメモリ１１２に記憶された各ピクチャの信号は、そこから読み出され、予測モード切り替え回路１１３において、フレーム予測モード処理、またはフィールド予測モード処理が行なわれる。
【００８２】
動きベクトル検出回路１１１は、フレーム予測モードまたはフィールド予測モードのどちらが選択されるべきかを判断するために、フレーム予測モードにおける予測誤差とフィールド予測モードおける予測誤差をそれぞれ検出し、その予測誤差の値をコントローラ１２５に供給する。
【００８３】
すなわち、動きベクトル検出回路１１１は、画像内予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａijの総和ΣＡijの絶対値｜ΣＡij｜と、マクロブロックの信号Ａijの絶対値｜Ａij｜の総和Σ｜Ａij｜の差を求める。また、前方予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａijと、予測画像のマクロブロックの信号Ｂijの差Ａij−Ｂijの絶対値｜Ａij−Ｂij｜の総和Σ｜Ａij−Ｂij｜を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）求める。
【００８４】
これらの絶対値和は、コントローラ１２５に供給される。更に、コントローラ１２５は、この予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モードとして選択する。すなわち、画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測または両方向予測モードのうちの対応する絶対値和が最も小さかったモードが設定される。
【００８５】
予測モード切り替え回路１１３は、コントローラ１２５によって選択された予測モードに対応するように信号処理を行い、それを演算器１１４に供給する。具体的には、予測モード切り替え回路１１３は、フレーム予測モードが選択された場合には、輝度信号に関しては、入力された状態のまま演算器１１４に出力するように信号処理を行い、色差信号に関しては、奇数フィールドラインと偶数フィールドラインとが混在するように信号処理する。一方、フィールド予測モードが選択された場合には、４個の輝度ブロックのうち、２つの輝度ブロックを、例えば奇数フィールドのラインのドットだけで構成させ、他の２個の輝度ブロックを、偶数フィールドのラインのドットだけで構成させて、演算器１１４に出力する。色差信号に関しては、上４ラインを奇数フィールドラインで構成し、下４ラインを偶数フィールドラインで構成するように信号処理する。
【００８６】
更に、動きベクトル検出回路１１１は、画像内予測モード、前方予測モード、後方予測モード、または両方向予測モードのうちのいずれの予測モードを選択するかを決定するために、各予測モードにおける予測誤差を生成し、各予測モードにおける予測誤差をコントローラ１２５にそれぞれ供給する。コントローラ１２５は、前方予測、後方予測および両方向予測の予測誤差のうちの最も小さいものを、インタ予測の予測誤差として選択する。更に、このインタ予測の予測誤差と、画像内予測の予測誤差とを比較し、その小さい方を選択し、この選択した予測誤差に対応するモードを予測モードとして選択する。すなわち、画像内予測の予測誤差の方が小さければ、画像内予測モードが設定される。予測の予測誤差の方が小さければ、前方予測、後方予測または両方向予測モードのうちの対応する予測誤差が最も小さかったモードが設定される。コントローラ１２５は、選択した予測モードに対応するように、演算器１１４および動き補償回路１２４を制御する。これにより、Ｉピクチャの画像データが、ＤＣＴモード切替回路に入力される。
【００８７】
ＤＣＴモード切り替え回路１１５は、フレームＤＣＴモードまたはフィールドＤＣＴモードのいずれかを選択するために、４個の輝度ブロックのデータを、奇数フィールドラインと偶数フィールドラインが混在するような信号形態（フレームＤＣＴモード）に変換するとともに、奇数フィールドラインと偶数フィールドラインが分離された信号形態（フィールドＤＣＴモード）に変換して、それぞれの信号をＤＣＴ回路１１６に供給する。ＤＣＴ回路１１６は、奇数フィールドと偶数フィールドを混在してＤＣＴ処理した場合における符号化効率と、奇数フィールドと偶数フィールドを分離した状態においてＤＣＴ処理した場合の符号化効率を計算し、その結果をコントローラ１２５に供給する。コントローラ１２５は、ＤＣＴ回路１１６から供給されたそれぞれの符号化効率を比較し、符号化効率の良い方のＤＣＴモードを選択し、その選択したＤＣＴモードとなるようにＤＣＴモード切り替え回路１１５を制御する。
【００８８】
そして、ＤＣＴモード切り替え回路１１５は、選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路１１６に出力するとともに、選択したＤＣＴモードを示すＤＣＴフラグを、可変長符号化回路１１８、および動き補償回路１２４に出力する。
【００８９】
予測モード切り替え回路１１３における予測モード（すなわち、フィールド予測モードもしくはフレーム予測モード）と、このＤＣＴモード切り替え回路１１５におけるＤＣＴモード（すなわち、フィールドＤＣＴモードもしくはフレームＤＣＴモード）を比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。
【００９０】
予測モード切り替え回路１１３において、フレーム予測モード（奇数ラインと偶数ラインが混在するモード）が選択された場合、ＤＣＴモード切り替え回路１１５においても、フレームＤＣＴモード（奇数ラインと偶数ラインが混在するモード）が選択される可能性が高く、また予測モード切り替え回路１１３において、フィールド予測モード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択された場合、DCTモード切り替え回路１１５において、フィールドＤＣＴモード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択される可能性が高い。
【００９１】
しかしながら、必ずしも常にこのようにモードが選択されるわけではなく、予測モード切り替え回路１１３においては、予測誤差の絶対値和が小さくなるようにモードが決定され、ＤＣＴモード切り替え回路１１５においては、符号化効率が良好となるようにモードが決定される。
【００９２】
ＤＣＴモード切り替え回路１１５より出力されたＩピクチャの画像データは、ＤＣＴ回路１１６に入力されてＤＣＴ処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は、量子化回路１１７に入力され、送信バッファ１１９のデータ蓄積量（バッファ蓄積量）に対応した量子化スケールで量子化された後、可変長符号化回路１１８に入力される。
【００９３】
すなわち、コントローラ１２５は、オペレータまたはホストコンピュータから供給された目標ビットレートを示すターゲットビットレートと、送信バッファ１１９にバッファリングされているビット量を示す信号、つまり、バッファ残量を示す信号を受け取り、このターゲットビットレートとバッファ残量に基づいて、量子化回路１１７の量子化ステップサイズをコントロールするためのfeedback_q_scale_code を生成する。このfeedback_q_scale_codeは、この送信バッファ１１９がオーバーフローまたはアンダーフローしないように、この送信バッファ１１９のバッファ残量に応じて生成される制御信号であって、また、送信バッファ１１９から出力されるビットストリームのビットレートが、ターゲットビットレートになるように制御する信号でもある。
【００９４】
具体的には、例えば、送信バッファ１１９にバッファリングされているビット量が少なくなってしまった場合には、次に符号化するピクチャの発生ビット量が増えるように、量子化ステップサイズを小さくし、一方、送信バッファ１１９にバッファリングされているビット量が多くなってしまった場合には、次に符号化するピクチャの発生ビット量が少なくなるように、量子化ステップサイズを大きくする。なお、feedback_q_scale_codeと量子化ステップサイズは比例し、feedback_q_scale_codeを大きくすると、量子化ステップサイズは大きくなり、feedback_q_scale_codeを小さくすると、量子化ステップサイズは小さくなる。
【００９５】
次に、このエンコーダ１０１の特徴の１つでもある、パラメータ再利用符号化処理について、上述した通常符号化処理と異なる点を中心に説明する。この処理をより分かりやすく説明するために、参照ピクチャは、第１世代の符号化処理においてＰピクチャとして符号化され、第２世代の符号化処理においてＩピクチャとして符号化処理され、第３世代の符号化処理においてＢピクチャとして符号化されていたものとし、今回の第４世代の符号化処理において、この参照ピクチャをＰピクチャとして符号化しなければいけないものとする。
【００９６】
この場合には、この参照ピクチャは、第４世代のピクチャタイプとしてアサインされたピクチャタイプと同じピクチャタイプ（Ｐピクチャ）で、第１世代の符号化処理において符号化されているので、コントローラ１２５は、供給されたビデオデータから符号化パラメータを新しく作成するのではなく、第１世代の符号化パラメータを使用して符号化処理を行う。この第４の符号化処理において再利用する符号化パラメータは、代表的なパラメータとしては、量子化スケールステップサイズを示すquantiser_scale_code、予測方向モードを示すmacroblock_type、動きベクトルを示すmotion_vector、フレーム予測モードかフィールド予測モードかを示すframe/field_motion_type、およびFrameＤＣＴモードかField ＤＣＴモードかを示すdct_type等である。
【００９７】
すなわち、コントローラ１２５は、ヒストリ情報として伝送されたすべての符号化パラメータを再利用するわけではなく、再利用した方が望ましいと想定される上述したような符号化パラメータについては再利用し、再利用しない方が望ましいと考えられる符号化パラメータについては、再利用せずに、新しく生成する。
【００９８】
動きベクトル検出回路１１１は、上述した通常符号化処理においては、参照ピクチャの動きベクトルの検出を行ったが、このパラメータ再利用符号化処理においては、動きベクトルmotion_vectorの検出処理は行わずに、第１世代のヒストリ情報として供給された動きベクトルmotion_vectorを再利用する。その理由について説明する。
【００９９】
第３世代の符号化ストリームを復号したベースバンドのビデオデータは、少なくとも３回の復号および符号化処理が行われているので、オリジナルビデオデータに比べると、明らかに画質が劣化している。画質が劣化しているビデオデータから動きベクトルを検出したとしても、正確な動きベクトルは検出できない。つまり、第４世代の符号化処理において検出された動きベクトルよりも、第１世代のヒストリ情報として供給されている動きベクトルの方が、明らかに、精度の高い動きベクトルである。つまり、第１世代の符号化パラメータとして伝送された動きベクトルを再利用することによって、第４世代の符号化処理を行ったとしても画質が劣化しない。コントローラ１２５は、この第１世代のヒストリ情報として供給された動きベクトルmotion_vectorを、第４世代の符号化処理において符号化されるこの参照ピクチャの動きベクトル情報として、動き補償回路１２４および可変長符号化回路１１８に供給する。
【０１００】
更に、動きベクトル検出回路１１１は、フレーム予測モードとフィールド予測モードのどちらが選択されるかを判断するために、フレーム予測モードにおける予測誤差とフィールド予測モードおける予測誤差をそれぞれ検出したが、このパラメータ再利用符号化処理においては、このフレーム予測モードにおける予測誤差とフィールド予測モードおける予測誤差を検出する処理は行わずに、第１世代のヒストリ情報として供給されているフレーム予測モードかフィールド予測モードかを示すframe/field_motion_typeを再利用する。なぜなら、第４世代の符号化処理において検出された各予測モードにおける予測誤差よりも、第１世代において検出された各予測モードにおける予測誤差の方が精度が高いので、精度の高い予測誤差によって決定された予測モードを選択した方がより最適な符号化処理が行うことができるからである。
【０１０１】
具体的には、コントローラ１２５は、この第１世代のヒストリ情報として供給されているframe/field_motion_typeに対応する制御信号を予測モード切り替え回路１１３に供給し、予測モード切り替え回路１１３は、この再利用されたframe/field_motion_typeに対応した信号処理を行う。
【０１０２】
更に、動きベクトル検出回路１１１は、通常符号化処理においては、画像内予測モード、前方予測モード、後方予測モード、または両方向予測モードのうちのいずれの予測モード（以下、この予測モードを、予測方向モードとも称する）を選択するかを決定するために、各予測方向モードにおける予測誤差を計算していたが、このパラメータ再利用符号化処理においては、各予測方向モードにおける予測誤差の計算は行わず、第１世代のヒストリ情報として供給されたmacroblock_typeに基づいて予測方向モードを決定する。なぜなら、第４世代の符号化処理における各予測方向モードにおける予測誤差よりも、第１世代の符号化処理における各予測方向モードにおける予測誤差の方がより精度が高いので、より精度の高い予測誤差によって決定された予測方向モードを選択した方が、より効率の良い符号化処理が行えるからである。具体的には、コントローラ１２５は、第１世代のヒストリ情報に含まれているmacroblock_typeによって示される予測方向モードを選択し、その選択した予測方向モードに対応するように、演算器１１４および動き補償回路１２４をコントロールする。
【０１０３】
ＤＣＴモード切り替え回路１１５は、通常符号化処理においては、フレームＤＣＴモードの符号化効率と、フィールドＤＣＴモードの符号化効率を比較するために、フレームＤＣＴモードの信号形態に変換した信号と、フィールドＤＣＴモードの信号形態に変換した信号の両方をＤＣＴ回路１１６に供給していたが、このパラメータ再利用符号化処理では、フレームＤＣＴモードの信号形態に変換した信号と、フィールドＤＣＴモードの信号形態に変換した信号の両方を生成する処理は行っておらず、第１世代のヒストリ情報に含まれれているdct_typeによって示されたＤＣＴモードに対応する処理のみを行っている。具体的には、コントローラ１２５は、第１世代のヒストリ情報に含まれているdct_typeを再利用し、ＤＣＴモード切り替え回路１１５がこのdct_typeによって示されるＤＣＴモードに対応した信号処理を行うように、ＤＣＴモード切り替え回路１１５をコントロールする。
【０１０４】
コントローラ１２５は、通常符号化処理では、オペレータによって指定されたターゲットビットレートと送信バッファ残量に基づいて、量子化回路１１７の量子化ステップサイズをコントロールしていたが、このパラメータ再利用符号化処理では、ターゲットビットレート、送信バッファ残量およびヒストリ情報に含まれている過去の量子化スケールに基づいて、量子化回路１１７の量子化ステップサイズをコントロールする。なお、以下の説明において、ヒストリ情報に含まれている過去の量子化スケールをhistory_q_scale_code と記述することにする。また、後述するヒストリストリームにおいては、この量子化スケールを、quantiser_scale_codeと記述している。
【０１０５】
まず、コントローラ１２５は、通常符号化処理と同じように、現在の量子化スケールfeedback_q_scale_code を生成する。このfeedback_q_scale_codeは、この送信バッファ１１９がオーバーフローおよびアンダーフローしないように、この送信バッファ１１９のバッファ残量に応じて決定される値である。続いて、第１世代のヒストリストリームに含まれている過去の量子化スケールhistory_q_scale_codeの値と、この現在の量子化スケールfeedback_q_scale_codeの値を比較し、どちらの量子化スケールの方が大きいかを判断する。量子化スケールが大きいとは、量子化ステップが大きいことを意味する。もし、現在の量子化スケールfeedback_q_scale_codeが、過去の量子化スケールhistory_q_scale_codeよりも大きいのであれば、コントローラ１２５は、この現在の量子化スケールfeedback_q_scale_codeを量子化回路１１７に供給する。一方、過去の量子化スケールhistory_q_scale_codeが、現在の量子化スケールfeedback_q_scale_codeよりも大きいのであれば、コントローラ１２５は、この過去の量子化スケールhistory_q_scale_codeを量子化回路１１７に供給する。
【０１０６】
つまり、コントローラ１２５は、ヒストリ情報に含まれている複数の過去の量子化スケールと、送信バッファ１１９の残量から計算された現在の量子化スケールの中で、最も大きい量子化スケールコードを選択する。また、別の言葉で説明するのであれば、コントローラ１２５は、過去（第１、第２および第３世代）の符号化処理における量子化ステップまたは現在（第４世代）の符号化処理において使用された量子化ステップの中で、最も大きい量子化ステップを使用して量子化を行うように量子化回路１１７を制御する。この理由を以下に説明する。
【０１０７】
例えば、第３世代の符号化処理において生成されたストリームのビットレートが４[Mbps]であって、この第４世代の符号化処理を行うエンコーダ１０１に対して設定されたターゲットビットレートが１５[Mbps]であったとする。このときに、ターゲットビットレートが上がっているので、単純に量子化ステップを小さくすれば良いかというと、実際にはそうではない。過去の符号化処理において大きい量子化ステップで符号化処理されたピクチャを、現在の符号化処理において、量子化ステップを小さくして符号化処理を行ったとしても、このピクチャの画質は向上することはない。つまり、過去の符号化処理における量子化ステップよりも小さい量子化ステップで符号化することは、単にビット量が増えるだけであって、画質を向上させることにはならない。よって、過去（第１、第２および第３世代）の符号化処理における量子化ステップまたは現在（第４世代）の符号化処理において使用された量子化ステップの中で、最も大きい量子化ステップを使用して量子化を行うと、最も効率の良い符号化処理が行える。
【０１０８】
以上のようにして、通常符号化処理、もしくはパラメータ再利用符号化処理されたデータを入力された可変長符号化回路１１８は、量子化回路１１７より供給される量子化スケールに対応して、量子化回路１１７より供給される画像データ（いまの場合、Ｉピクチャのデータ）を、例えばハフマン符号などの可変長符号に変換し、送信バッファ１１９に出力する。
【０１０９】
また、可変長符号化回路１１８には、量子化回路１１７より量子化スケール、コントローラ１２５より予測モード（画像内予測、前方予測、後方予測、または両方向予測のいずれが設定されたかを示すモード）、動きベクトル検出回路１１１より動きベクトル、予測モード切り替え回路１１３より予測フラグ（フレーム予測モードまたはフィールド予測モードのいずれが設定されたかを示すフラグ）、およびＤＣＴモード切り替え回路１１５が出力するＤＣＴフラグ（フレームDCTモードまたはフィールドDCTモードのいずれが設定されたかを示すフラグ）が入力されており、これらも可変長符号化される。
【０１１０】
送信バッファ１１９は、入力されたデータを一時蓄積し、バッファフィードバックをコントローラ１２５に出力する。コントローラ１２５は、蓄積量に対応するデータを、量子化回路１１７に出力する。送信バッファ１１９のデータ残量が許容上限値まで増量すると、コントローラ１２５からの量子化制御信号によって量子化回路１１７の量子化スケールが大きくなり、量子化データのデータ量が低下される。また、これとは逆に、送信バッファ１１９のデータ残量が許容下限値まで減少すると、量子化制御信号によって量子化回路１１７の量子化スケールを小さくさせることより、量子化データのデータ量を増大させる。このようにして、送信バッファ１１９のオーバーフローまたはアンダーフローが防止される。
【０１１１】
そして、送信バッファ１１９に蓄積されたデータは、所定のタイミングで読み出され、出力される。
【０１１２】
一方、量子化回路１１７より出力されたＩピクチャのデータは、逆量子化回路１２０に入力され、量子化回路１１７より供給される量子化スケールに対応して逆量子化される。逆量子化回路１２０の出力は、IDCT（逆離散コサイン変換）回路１２１に入力され、逆離散コサイン変換処理された後、演算器１２２を介してフレームメモリ１２３の前方予測画像部１２３ａ供給されて記憶される。
【０１１３】
動きベクトル検出回路１１１は、シーケンシャルに入力される各フレームの画像データを、例えば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチャとして処理した後、次に入力されたフレームの画像をＢピクチャとして処理する前に、更にその次に入力されたフレームの画像データをＰピクチャとして処理する。Ｂピクチャは、後方予測を伴うため、後方予測画像としてのＰピクチャが先に用意されていないと、復号することができないからである。
【０１１４】
そこで動きベクトル検出回路１１１は、Ｉピクチャの処理の次に、後方原画像部１１２ｃに記憶されているＰピクチャの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロック単位でのフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路１１１から予測モード切り替え回路１１３とコントローラ１２５に供給される。予測モード切り替え回路１１３とコントローラ１２５は、このＰピクチャのマクロブロックの予測誤差の絶対値和に対応して、フレーム／フィールド予測モード、または画像内予測、前方予測、後方予測、もしくは両方向予測の予測モードを設定する。
【０１１５】
演算器１１４は、画像内予測モードが設定されたとき、スイッチ１１４ｄを上述したように接点ａ側に切り替える。従って、このデータは、Ｉピクチャのデータと同様に、ＤＣＴモード切り替え回路１１５、ＤＣＴ回路１１６、量子化回路１１７、可変長符号化回路１１８、および送信バッファ１１９を介して伝送路に伝送される。また、このデータは、逆量子化回路１２０、IDCT回路１２１、および演算器１２２を介してフレームメモリ１２３の後方予測画像部１２３ｂに供給されて記憶される。
【０１１６】
また、前方予測モードが設定された場合、スイッチ１１４ｄが接点ｂに切り替えられるとともに、フレームメモリ１２３の前方予測画像部１２３ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データが読み出され、動き補償回路１２４により、動きベクトル検出回路１１１が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路１２４は、コントローラ１２５より前方予測モードの設定が指令されたとき、前方予測画像部１２３ａの読み出しアドレスを、動きベクトル検出回路１１１が、現在、出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【０１１７】
動き補償回路１２４より出力された予測画像データは、演算器１１４ａに供給される。演算器１１４ａは、予測モード切り替え回路１１３より供給された参照画像のマクロブロックのデータから、動き補償回路１２４より供給された、このマクロブロックに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り替え回路１１５、ＤＣＴ回路１１６、量子化回路１１７、可変長符号化回路１１８、および送信バッファ１１９を介して伝送路に伝送される。また、この差分データは、逆量子化回路１２０、およびIDCT回路１２１により局所的に復号され、演算器１２２に入力される。
【０１１８】
この演算器１２２にはまた、演算器１１４ａに供給されている予測画像データと同一のデータが供給されている。演算器１２２は、IDCT回路１２１が出力する差分データに、動き補償回路１２４が出力する予測画像データを加算する。これにより、元の（復号した）Ｐピクチャの画像データが得られる。このＰピクチャの画像データは、フレームメモリ１２３の後方予測画像部１２３ｂに供給されて記憶される。
【０１１９】
動きベクトル検出回路１１１は、このように、ＩピクチャとＰピクチャのデータが前方予測画像部１２３ａと後方予測画像部１２３ｂにそれぞれ記憶された後、次にＢピクチャの処理を実行する。予測モード切り替え回路１１３とコントローラ１２５は、マクロブロック単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム／フィールドモードを設定し、また、予測モードを画像内予測モード、前方予測モード、後方予測モード、または両方向予測モードのいずれかに設定する。
【０１２０】
上述したように、画像内予測モードまたは前方予測モードの時、スイッチ１１４ｄは接点ａまたはｂに切り替えられる。このとき、Ｐピクチャにおける場合と同様の処理が行われ、データが伝送される。
【０１２１】
これに対して、後方予測モードまたは両方向予測モードが設定された時、スイッチ１１４ｄは、接点ｃまたはｄにそれぞれ切り替えられる。
【０１２２】
スイッチ１１４ｄが接点ｃに切り替えられている後方予測モードの時、後方予測画像部１２３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路１２４により、動きベクトル検出回路１１１が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路１２４は、コントローラ１２５より後方予測モードの設定が指令されたとき、後方予測画像部１２３ｂの読み出しアドレスを、動きベクトル検出回路１１１が、現在、出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【０１２３】
動き補償回路１２４より出力された予測画像データは、演算器１１４ｂに供給される。演算器１１４ｂは、予測モード切り替え回路１１３より供給された参照画像のマクロブロックのデータから、動き補償回路１２４より供給された予測画像データを減算し、その差分を出力する。この差分データは、ＤＣＴモード切り替え回路１１５、ＤＣＴ回路１１６、量子化回路１１７、可変長符号化回路１１８、および送信バッファ１１９を介して伝送路に伝送される。
【０１２４】
スイッチ１１４ｄが接点ｄに切り替えられている両方向予測モードの時、前方予測画像部１２３ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データと、後方予測画像部１２３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路１２４により、動きベクトル検出回路１１１が出力する動きベクトルに対応して動き補償される。
【０１２５】
すなわち、動き補償回路１２４は、コントローラ１２５より両方向予測モードの設定が指令されたとき、前方予測画像部１２３ａと後方予測画像部１２３ｂの読み出しアドレスを、動きベクトル検出回路１１１がいま出力しているマクロブロックの位置に対応する位置から動きベクトル（この場合の動きベクトルは、前方予測画像用と後方予測画像用の２つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【０１２６】
動き補償回路１２４より出力された予測画像データは、演算器１１４ｃに供給される。演算器１１４ｃは、動きベクトル検出回路１１１より供給された参照画像のマクロブロックのデータから、動き補償回路１２４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、ＤＣＴモード切り替え回路１１５、ＤＣＴ回路１１６、量子化回路１１７、可変長符号化回路１１８、および送信バッファ１１９を介して伝送路に伝送される。
【０１２７】
Ｂピクチャの画像は、他の画像の予測画像とされることがないため、フレームメモリ１２３には記憶されない。
【０１２８】
なお、フレームメモリ１２３において、前方予測画像部１２３ａと後方予測画像部１２３ｂは、必要に応じてバンク切り替えが行われ、所定の参照画像に対して、一方または他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り替えて出力することができる。
【０１２９】
上述した説明においては、輝度ブロックを中心として説明をしたが、色差ブロックについても同様に、図６に示すマクロブロックを単位として処理されて伝送される。なお、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。
【０１３０】
図１３は、例えば映像編集スタジオにおいて、複数のトランスコーディングシステムが直列に接続されて使用される状態を示している。各ビデオデコーディングシステム５１−ｉ（i＝１乃至Ｎ）のヒストリ情報多重化装置６３−ｉは、上述した符号化パラメータ用の領域の最も古い符号化パラメータが記録されている区画に、自己が用いた最新の符号化パラメータを上書きする。このことにより、図１１を用いて説明したように、ベースバンドの画像データには、同一のマクロブロックに対応する直近の４世代分の符号化パラメータ（世代履歴情報）が記録されることになる。
【０１３１】
図１３においては、図４を用いて説明したトランスコーディングシステムのビデオデコーディングシステム５１およびビデオエンコーディングシステム５２を用いて説明しているが、ビデオデコーディングシステム５１およびビデオエンコーディングシステム５２に変わって、図２および図３を用いて説明したビデオデコーディングシステム１およびビデオエンコーディングシステム２を用いてもよいことは言うまでもない。
【０１３２】
なお、本実施の形態におけるトランスコーディングシステムの内部においては、上述したように、復号（ビデオデコーディングシステム１もしくはビデオデコーディングシステム５１）側と符号側（ビデオエンコーディングシステム２もしくはビデオエンコーディングシステム５２）が粗結合されており、符号化パラメータを画像データに多重化させて伝送させたが、図１４に示すように、復号装置と符号化装置を直接接続する（密結合する）ようにしてもよい。
【０１３３】
すなわち、復号装置６１の可変長復号回路９２は、第３世代の符号化ストリームのシーケンス層、GOP層、ピクチャ層、スライス層およびマクロブロック層から、第３世代の符号化パラメータを抽出し、それを、ヒストリエンコーディング装置６５に供給するとともに、ピクチャ層以上の符号化パラメータをV Blanking領域に挿入し、スライス層以下の符号化パラメータをH Blanking領域に挿入したベースバンドビデオ信号を、符号化装置６６のコントローラ１２５に供給する。ヒストリエンコーディング装置６５は、受け取った第３世代の符号化パラメータをピクチャ層のユーザデータエリアに記述できるようにconverted_history_stream（）に変換し、converted_history_stream（）をユーザデータとして、符号化装置６６の可変長符号化回路１１８に供給する。
【０１３４】
更に可変長復号回路９２は、第３世代の符号化ストリームのピクチャ層のユーザデータエリアから、第１世代の符号化パラメータおよび第２世代の符号化パラメータを含んでいるユーザデータuser_data を抽出し、ヒストリデコーディング装置６２に供給する。ヒストリデコーディング装置６２は、ユーザデータエリアにconverted_history_stream（）として記述されたヒストリストリームから、第１世代の符号化パラメータおよび第２世代の符号化パラメータを抽出し、それを符号化装置６６のコントローラ１２５に供給する。
【０１３５】
符号化装置６６のコントローラ１２５は、ヒストリデコーディング装置６２から受け取った第１世代および第２世代の符号化パラメータと、復号装置６１から受け取った、V Blanking領域およびH blanking領域に記述されている符号化パラメータとに基づいて、符号化装置６６の符号化処理をコントロールする。
【０１３６】
符号化装置６６の可変長符号化回路１１８は、復号装置６１から入力されたデータに含まれる符号化パラメータを受け取るとともに、ヒストリエンコーディング装置６５から第３世代の符号化パラメータを含んでいるユーザデータを受け取り、それらのユーザデータをヒストリ情報として、第４世代の符号化ストリームのピクチャ層のユーザデータエリアに記述し、出力する。
【０１３７】
図１５は、MPEGのビデオストリームをデコードするためのシンタックスを表わした図である。デコーダは、このシンタックスに従ってMPEGビットストリームをデコードすることによって、ビットストリームから意味のある複数のデータ項目（データエレメント）を抽出する。以下に説明するシンタックスは、図において、その関数や条件文は細活字で表わされ、そのデータエレメントは、太活字で表されている。データ項目は、その名称、ビット長、およびそのタイプと伝送順序を示すニーモニック（Mnemonic）で記述されている。
【０１３８】
まず、この図１５に示されているシンタックスにおいて使用されている関数について説明する。
【０１３９】
next_start_code（）関数は、ビットストリーム中に記述されているスタートコードを探すための関数である。この図１５に示されたシンタックスにおいて、このnext_start_code（）関数の次に、sequence_header（）関数とsequence_extension（）関数とが順に配置されているので、このビットストリームには、このsequence_header（）関数とsequence_extension（）関数によって定義されたデータエレメントが記述されている。従って、ビットストリームのデコード時には、このnext_start_code（）関数によって、sequence_header（）関数とsequence_extension（）関数の先頭に記述されているスタートコード（データエレメントの一種）がビットストリーム中から見つけられ、それを基準にして、 sequence_header（）関数とsequence_extension（）関数が、さらに見つけられ、それらによって定義された各データエレメントがデコードされる。
【０１４０】
なお、sequence_header（）関数は、MPEGビットストリームのシーケンス層のヘッダデータを定義するための関数であって、sequence_extension（）関数は、MPEGビットストリームのシーケンス層の拡張データを定義するための関数である。
【０１４１】
sequence_extension（）関数の次に配置されている do{ }while構文は、while文によって定義されている条件が真である間、do文の{ }内の関数に基いて記述されたデータエレメントをデータストリーム中から抽出するための構文である。すなわち、 do{ }while構文によって、while文によって定義されている条件が真である間、ビットストリーム中から、do文内の関数に基いて記述されたデータエレメントを抽出するデコード処理が行われる。
【０１４２】
このwhile文に使用されているnextbits（）関数は、ビットストリーム中に現れるビット又はビット列と、次にデコードされるデータエレメントとを比較するための関数である。この図１５のシンタックスの例では、nextbits（）関数は、ビットストリーム中のビット列とビデオシーケンスの終わりを示すsequence_end_codeとを比較し、ビットストリーム中のビット列とsequence_end_codeとが一致しないときに、このwhile文の条件が真となる。従って、sequence_extension（）関数の次に配置されている do{ }while構文は、ビットストリーム中に、ビデオシーケンスの終わりを示すsequence_end_codeが現れない間、do文中の関数によって定義されたデータエレメントがビットストリーム中に記述されていることを示している。
【０１４３】
ビットストリーム中には、sequence_extension（）関数によって定義された各データエレメントの次に、extension_and_user_data（0）関数によって定義されたデータエレメントが記述されている。このextension_and_user_data（0）関数は、MPEGビットストリームのシーケンス層の拡張データとユーザデータを定義するための関数である。
【０１４４】
このextension_and_user_data（0）関数の次に配置されている do{ }while構文は、while文によって定義されている条件が真である間、do文の{ }内の関数に基いて記述されたデータエレメントを、ビットストリーム中から抽出するための関数である。このwhile文において使用されているnextbits（）関数は、ビットストリーム中に現れるビット又はビット列と、picture_start_code又はgroup_start_codeとの一致を判断するための関数であって、ビットストリーム中に現れるビット又はビット列と、picture_start_code又はgroup_start_codeとが一致する場合には、while文によって定義された条件が真となる。よって、このdo{ }while構文は、ビットストリーム中において、picture_start_code又はgroup_start_codeが現れた場合には、そのスタートコードの次に、do文中の関数によって定義されたデータエレメントのコードが記述されているので、このpicture_start_code又はgroup_start_codeによって示されるスタートコードを探し出すことによって、ビットストリーム中からdo文中に定義されたデータエレメントを抽出することができる。
【０１４５】
このdo文の最初に記述されているif文は、ビットストリーム中にgroup_start_codeが現れた場合、という条件を示している。このif文による条件が真である場合には、ビットストリーム中に、このgroup_start_codeの次にgroup_of_picture_header（1）関数およびextension_and_user_data（1）関数によって定義されているデータエレメントが順に記述されている。
【０１４６】
このgroup_of_picture_header（1）関数は、MPEGビットストリームのGOP層のヘッダデータを定義するための関数であって、 extension_and_user_data（1）関数は、MPEGビットストリームのGOP層の拡張データ（extension_data）およびユーザデータ（user_data）を定義するための関数である。
【０１４７】
更に、このビットストリーム中には、group_of_picture_header（1）関数およびextension_and_user_data（1）関数によって定義されているデータエレメントの次に、picture_header（）関数とpicture_coding_extension（）関数によって定義されたデータエレメントが記述されている。もちろん、先に説明したif文の条件が真とならない場合には、 group_of_picture_header（1）関数およびextension_and_user_data（1）関数によって定義されているデータエレメントは記述されていないので、 extension_and_user_data（0）関数によって定義されているデータエレメントの次に、 picture_header（）関数とpicture_coding_extension（）関数によって定義されたデータエレメントが記述されている。
【０１４８】
このpicture_header（）関数は、 MPEGビットストリームのピクチャ層のヘッダデータを定義するための関数であって、 picture_coding_extension（）関数は、MPEGビットストリームのピクチャ層の第１の拡張データを定義するための関数である。
【０１４９】
次のwhile文は、このwhile文によって定義されている条件が真である間、次のif文の条件判断を行うための関数である。このwhile文において使用されているnextbits（）関数は、ビットストリーム中に現れるビット列と、extension_start_code又はuser_data_start_codeとの一致を判断するための関数であって、ビットストリーム中に現れるビット列と、 extension_start_code又はuser_data_start_codeとが一致する場合には、このwhile文によって定義された条件が真となる。
【０１５０】
第１のif文は、ビットストリーム中に現れるビット列とextension_start_codeとの一致を判断するための関数である。ビットストリーム中に現れるビット列と３２ビットのextension_ start_codeとが一致する場合には、ビットストリーム中において、extension_start_codeの次にextension_data（2）関数によって定義されるデータエレメントが記述されている。
【０１５１】
第２のif文は、ビットストリーム中に現れるビット列とuser_data_start_codeとの一致を判断するための構文であって、ビットストリーム中に現れるビット列と３２ビットのuser_data_start_codeとが一致する場合には、第３のif文の条件判断が行われる。このuser_data_start_codeは、MPEGビットストリームのピクチャ層のユーザデータエリアの開始を示すためのスタートコードである。
【０１５２】
第３のif文は、ビットストリーム中に現れるビット列とHistory_Data_IDとの一致を判断するための構文である。ビットストリーム中に現れるビット列と、この３２ビットのHistory_Data_IDとが一致する場合には、このMPEGビットストリームのピクチャ層のユーザデータエリアにおいて、この３２ビットのHistory_Data_IDによって示されるコードの次に、converted_history_stream（）関数によって定義されるデータエレメントが記述されている。
【０１５３】
converted_history_stream（）関数は、MPEG符号化時に使用したあらゆる符号化パラメータを伝送するための履歴情報および履歴データを記述するための関数である。このconverted_history_stream（）関数によって定義されているデータエレメントの詳細は、図１７乃至図２４を参照して、history_stream（）として後述する。また、このHistory_Data_IDは、MPEGビットストリームのピクチャ層のユーザデータエリアに記述されたこの履歴情報および履歴データが記述されている先頭を示すためのスタートコードである。
【０１５４】
else文は、第３のif文において、条件が非真であることを示すための構文である。従って、このMPEGビットストリームのピクチャ層のユーザデータエリアにおいて、converted_history_stream（）関数によって定義されたデータエレメントが記述されていない場合には、user_data（）関数によって定義されたデータエレメントが記述されている。
【０１５５】
図１５において、履歴情報は、converted_history_stream（）に記述され、user_data（）に記述される訳ではないが、このconverted_history_stream（）は、MPEG規格のuser_dataの一種として記述される。そこで、本明細書中においては、場合によって、履歴情報がuser_dataに記述されるとも説明するが、それは、MPEG規格のuser_dataの一種として記述されるということを意味する。
【０１５６】
picture_data（）関数は、MPEGビットストリームのピクチャ層のユーザデータの次に、スライス層およびマクロブロック層に関するデータエレメントを記述するための関数である。通常は、このpicture_data（）関数によって示されるデータエレメントは、ビットストリームのピクチャ層のユーザデータエリアに記述されたconverted_history_stream（）関数によって定義されるデータエレメント、またはuser_data（）関数によって定義されたデータエレメントの次に記述されているが、ピクチャ層のデータエレメントを示すビットストリーム中に、extension_start_code、またはuser_data_start_code が存在しない場合には、このpicture_data（）関数によって示されるデータエレメントは、 picture_coding_extension（）関数によって定義されるデータエレメントの次に記述されている。
【０１５７】
このpicture_data（）関数によって示されるデータエレメントの次には、sequence_header（）関数とsequence_extension（）関数とによって定義されたデータエレメントが順に配置されている。このsequence_header（）関数とsequence_extension（）関数によって記述されたデータエレメントは、ビデオストリームのシーケンスの先頭に記述されたsequence_header（）関数とsequence_extension（）関数によって記述されたデータエレメントと全く同じである。このように同じデータをストリーム中に記述する理由は、ビットストリーム受信装置側でデータストリームの途中（例えばピクチャ層に対応するビットストリーム部分）から受信が開始された場合に、シーケンス層のデータを受信できなくなり、ストリームをデコード出来なくなることを防止するためである。
【０１５８】
この最後のsequence_header（）関数とsequence_extension（）関数とによって定義されたデータエレメントの次、つまり、データストリームの最後には、シーケンスの終わりを示す３２ビットのsequence_end_codeが記述されている。
【０１５９】
以上のシンタックスの基本的な構成の概略を示すと、図１６に示すようになる。
【０１６０】
次に、converted_history_stream（）関数によって定義されたヒストリストリームに関して説明する。
【０１６１】
このconverted_history_stream（）は、MPEGのピクチャ層のユーザデータエリアに履歴情報を示すヒストリストリームを挿入するための関数である。なお、「converted」の意味は、スタートエミュレーションを防止するために、ユーザエリアに挿入すべき履歴データから構成される履歴ストリームの少なくとも２２ビット毎にマーカービット（１ビット）を挿入する変換処理を行ったストリームであることを意味している。
【０１６２】
このconverted_history_stream（）は、以下に説明する固定長の履歴ストリーム（図１７乃至図２３）又は可変長の履歴ストリーム（図２４）のいずれかの形式で記述される。エンコーダ側において固定長の履歴ストリームを選択した場合には、デコーダ側において履歴ストリームから各データエレメントをデコードするための回路およびソフトウエアが簡単になるというメリットがある。一方、エンコーダ側において可変長の履歴ストリームを選択した場合には、エンコーダにおいてピクチャ層のユーザエリアに記述される履歴情報（データエレメント）を必要に応じて任意に選択することができるので、履歴ストリームのデータ量を少なくすることができ、その結果、符号化されたビットストリーム全体のデータレートを低減することができる。
【０１６３】
本発明において説明する「履歴ストリーム」、「ヒストリストリーム」、「履歴情報」、「ヒストリ情報」、「履歴データ」、「ヒストリデータ」、「履歴パラメータ」、「ヒストリパラメータ」とは、過去の符号化処理において使用した符号化パラメータ（又はデータエレメント）を意味し、現在の（最終段の）符号化処理において使用した符号化パラメータを意味するものではない。例えば、第１世代の符号化処理において、あるピクチャをＩピクチャで符号化して伝送し、次なる第２世代の符号化処理において、このピクチャを今度はＰピクチャとして符号化して伝送し、更に、第３世代の符号化処理において、このピクチャをＢピクチャで符号化して伝送する例をあげて説明する。
【０１６４】
第３世代の符号化処理において使用した符号化パラメータは、第３世代の符号化処理において生成された符号化ビットストリームのシーケンス層、GOP層、ピクチャ層、スライス層およびマクロブロック層の所定位置に記述されている。一方、過去の符号化処理である第１世代および第２世代の符号化処理において使用した符号化パラメータは、第３世代の符号化処理において使用した符号化パラメータが記述されるシーケンス層やGOP層に記述されるのでは無く、既に説明したシンタックスに従って、符号化パラメータの履歴情報として、ピクチャ層のユーザデータエリアに記述される。
【０１６５】
まず、固定長の履歴ストリームシンタックスについて図１７乃至図２３を参照して説明する。
【０１６６】
最終段（例えば第３世代）の符号化処理において生成されたビットストリームのピクチャ層のユーザデータエリアには、まず最初に、過去（例えば第１世代および第２世代）の符号化処理において使用されていたシーケンス層のシーケンスヘッダに含められる符号化パラメータが、履歴ストリームとして挿入される。なお、過去の符号化処理において生成されたビットストリームのシーケンス層のシーケンスヘッダ等の履歴情報は、最終段の符号化処理において生成されたビットストリームのシーケンス層のシーケンスヘッダに挿入されることは無いという点に注意すべきである。
【０１６７】
過去の符号化処理で使用したシーケンスヘッダ（sequence_header）に含められるデータエレメントは、sequence_header_code、sequence_header_present_flag、horizontal_size_value、marker_bit、vertical_size_value、aspect_ratio_information、frame_rate_code、bit_rate_value、VBV_buffer_size_value、constrained_parameter_flag、load_intra_quantiser_matrix、load_non_intra_quantiser_matrix、intra_quantiser_matrix、およびnon_intra_quantiser_matrix等から構成される。
【０１６８】
sequence_header_codeは、シーケンス層のスタート同期コードを表すデータである。sequence_header_present_flagは、sequence_header内のデータが有効か無効かを示すデータである。 horizontal_size_valueは、画像の水平方向の画素数の下位12ビットから成るデータである。marker_bitは、スタートコードエミュレーションを防止するために挿入されるビットデータである。vertical_size_valueは、画像の縦のライン数の下位12ビットからなるデータである。ａspect_ratio_informationは、画素のアスペクト比（縦横比）または表示画面アスペクト比を表すデータである。frame_rate_codeは、画像の表示周期を表すデータである。
【０１６９】
bit_rate_valueは、発生ビット量に対する制限のためのビットレートの下位18ビット（400bsp単位で切り上げる）データである。VBV_buffer_size_valueは、発生符号量制御用の仮想バッファ（ビデオバッファベリファイヤー）の大きさを決める値の下位10ビットデータである。constrained_parameter_flagは、各パラメータが制限以内であることを示すデータである。load_intra_quantiser_matrixは、イントラＭＢ用量子化マトリックス・データの存在を示すデータである。load_non_intra_quantiser_matrixは、非イントラＭＢ用量子化マトリックス・データの存在を示すデータである。intra_quantiser_matrixは、イントラＭＢ用量子化マトリックスの値を示すデータである。non_intra_quantiser_matrixは、非イントラＭＢ用量子化マトリックスの値を表すデータである。
【０１７０】
最終段の符号化処理において生成されたビットストリームのピクチャ層のユーザデータエリアには、過去の符号化処理において使用されたシーケンス層のシーケンスエクステンションを表わすデータエレメントが、履歴ストリームとして記述される。
【０１７１】
この過去の符号化処理で使用したシーケンスエクステンション（sequence_extension）を表わすデータエレメントは、 extension_start_code、extension_start_code_identifier、sequence_extension_present_flag、profile_and_level_indication、progressive_sequence、chroma_format、horizontal_size_extension、vertical_size_extension、bit_rate_extension、vbv_buffer_size_extension、low_delay、frame_rate_extension_n 、および frame_rate_extension_d等のデータエレメントである。
【０１７２】
extension_start_codeは、エクステンションデータのスタート同期コードを表すデータである。extension_start_code_identifierは、どの拡張データが送られるかを示すデータである。sequence_extension_present_flagは、シーケンスエクステンション内のデータが有効であるか無効であるかを示すデータである。profile_and_level_indicationは、ビデオデータのプロファイルとレベルを指定するためのデータである。progressive_sequenceは、ビデオデータが順次走査であることを示すデータである。chroma_formatは、ビデオデータの色差フォーマットを指定するためのデータである。
【０１７３】
horizontal_size_extensionは、シーケンスヘッダのhorizntal_size_valueに加える上位２ビットのデータである。vertical_size_extensionは、シーケンスヘッダのvertical_size_valueに加える上位２ビットのデータである。bit_rate_extensionは、シーケンスヘッダのbit_rate_valueに加える上位１２ビットのデータである。vbv_buffer_size_extensionは、シーケンスヘッダのvbv_buffer_size_valueに加える上位８ビットのデータである。low_delayは、Ｂピクチャを含まないことを示すデータである。frame_rate_extension_nは、シーケンスヘッダのframe_rate_codeと組み合わせてフレームレートを得るためのデータである。frame_rate_extension_dは、シーケンスヘッダのframe_rate_codeと組み合わせてフレームレートを得るためのデータである。
【０１７４】
続いて、ビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたシーケンス層のシーケンスディスプレイエクステンションを表わすデータエレメントが、履歴ストリームとして記述される。
【０１７５】
このシーケンスディスプレイエクステンション（sequence_display_extension）として記述されているデータエレメントは、extension_start_code、extension_start_code_identifier、sequence_display_extension_present_flag、video_format、colour_description、colour_primaries、transfer_characteristics、matrix_coeffients、display_horizontal_size、およびdisplay_vertical_sizeから構成される。
【０１７６】
extension_start_codeは、エクステンションデータのスタート同期コードを表すデータである。extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。sequence_display_extension_present_flagは、シーケンスディスプレイエクステンション内のデータエレメントが有効か無効かを示すデータである。video_formatは、原信号の映像フォーマットを表すデータである。color_descriptionは、色空間の詳細データがあることを示すデータである。color_primariesは、原信号の色特性の詳細を示すデータである。transfer_characteristicsは、光電変換がどのように行われたのかの詳細を示すデータである。matrix_coeffientsは、原信号が光の三原色からどのように変換されたかの詳細を示すデータである。display_horizontal_sizeは、意図するディスプレイの活性領域（水平サイズ）を表すデータである。display_vertical_sizeは、意図するディスプレイの活性領域（垂直サイズ）を表すデータである。
【０１７７】
続いて、最終段の符号化処理において生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において生成されたマクロブロックの位相情報を示すマクロブロックアサイメントデータ（macroblock_assignment_in_user_data）が、履歴ストリームとして記述される。
【０１７８】
このマクロブロックの位相情報を示すmacroblock_assignment_in_user_dataは、macroblock_assignment_present_flag、v_phase、h_phase等のデータエレメントから構成される。
【０１７９】
このmacroblock_assignment_present_flagは、macroblock_assignment_in_user_data内のデータエレメントが有効か無効かを示すデータである。 v_phaseは、画像データからマクロブロックを切り出す際の垂直方向の位相情報を示すデータである。 h_phaseは、画像データからマクロブロックを切り出す際の水平方向の位相情報を示すデータである。
【０１８０】
続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたGOP層のGOPヘッダを表わすデータエレメントが、履歴ストリームとして記述されている。
【０１８１】
このGOPヘッダ（group_of_picture_header）を表わすデータエレメントは、group_start_code、group_of_picture_header_present_flag、time_code、closed_gop、およびbroken_linkから構成される。
【０１８２】
group_start_codeは、GOP層の開始同期コードを示すデータである。 group_of_picture_header_present_flagは、 group_of_picture_header内のデータエレメントが有効であるか無効であるかを示すデータである。 time_codeは、GOPの先頭ピクチャのシーケンスの先頭からの時間を示すタイムコードである。closed_gopは、GOP内の画像が他のGOPから独立再生可能なことを示すフラグデータである。broken_linkは、編集などのためにGOP内の先頭のＢピクチャが正確に再生できないことを示すフラグデータである。
【０１８３】
続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたピクチャ層のピクチャヘッダを表わすデータエレメントが、履歴ストリームとして記述されている。
【０１８４】
このピクチャヘッダ（picture_header）に関するデータエレメントは、picture_start_code、temporal_reference、picture_coding_type、vbv_delay、full_pel_forward_vector、forward_f_code、full_pel_backward_vector、および backward_f_codeから構成される。
【０１８５】
具体的には、picture_start_codeは、ピクチャ層の開始同期コードを表すデータである。temporal_referenceは、ピクチャの表示順を示す番号でGOPの先頭でリセットされるデータである。picture_coding_typeは、ピクチャタイプを示すデータである。vbv_delayは、ランダムアクセス時の仮想バッファの初期状態を示すデータである。full_pel_forward_vectorは、順方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。forward_f_codeは、順方向動きベクトル探索範囲を表すデータである。full_pel_backward_vectorは、逆方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。backward_f_codeは、逆方向動きベクトル探索範囲を表すデータである。
【０１８６】
続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたピクチャ層のピクチャコーディングエクステンションが、履歴ストリームとして記述されている。
【０１８７】
このピクチャコーディングエクステンション（picture_coding_extension）に関するデータエレメントは、extension_start_code、extension_start_code_identifier、f_code[0][0]、f_code[0][1]、f_code[1][0]、f_code[1][1]、intra_dc_precision、picture_structure、top_field_first、frame_predictive_frame_dct、concealment_motion_vectors、q_scale_type、intra_vlc_format、alternate_scan、repeat_firt_field、chroma_420_type、progressive_frame、composite_display_flag、v_axis、field_sequence、sub_carrier、burst_amplitude、およびsub_carrier_phaseから構成される。
【０１８８】
extension_start_codeは、ピクチャ層のエクステンションデータのスタートを示す開始コードである。extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 f_code[0][0]は、フォワード方向の水平動きベクトル探索範囲を表すデータである。f_code[0][1]は、フォワード方向の垂直動きベクトル探索範囲を表すデータである。f_code[1][0]は、バックワード方向の水平動きベクトル探索範囲を表すデータである。f_code[1][1]は、バックワード方向の垂直動きベクトル探索範囲を表すデータである。
【０１８９】
intra_dc_precisionは、DC係数の精度を表すデータである。picture_structureは、フレームストラクチャかフィールドストラクチャかを示すデータである。フィールドストラクチャの場合は、上位フィールドか下位フィールドかもあわせて示すデータである。top_field_firstは、フレームストラクチャの場合、最初のフィールドが上位か下位かを示すデータである。frame_predictive_frame_dctは、フレームストラクチャの場合、フレーム・モードＤＣＴの予測がフレーム・モードだけであることを示すデータである。concealment_motion_vectorsは、イントラマクロブロックに伝送エラーを隠蔽するための動きベクトルがついていることを示すデータである。
【０１９０】
q_scale_typeは、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータである。intra_vlc_formatは、イントラマクロブロックに、別の２次元VLCを使うかどうかを示すデータである。alternate_scanは、ジグザグスキャンを使うか、オルタネート・スキャンを使うかの選択を表すデータである。repeat_firt_fieldは、２：３プルダウンの際に使われるデータである。chroma_420_typeは、信号フォーマットが４：２：０の場合、次のprogressive_frame と同じ値、そうでない場合は０を表すデータである。progressive_frameは、このピクチャが、順次走査できているかどうかを示すデータである。composite_display_flagは、ソース信号がコンポジット信号であったかどうかを示すデータである。v_axis、field_sequence、sub_carrier、burst_amplitude、およびsub_carrier_phaseは、ソース信号が、PALの場合に使われるデータである。
【０１９１】
続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用された量子化マトリックスエクステンションが、履歴ストリームとして記述されている。
【０１９２】
この量子化マトリックスエクステンション（quant_matrix_extension）に関するデータエレメントは、extension_start_code、extension_start_code_identifier、quant_matrix_extension_present_flag、load_intra_quantiser_matrix、intra_quantiser_matrix[64]、load_non_intra_quantiser_matrix、non_intra_quantiser_matrix[64]、load_chroma_intra_quantiser_matrix、chroma_intra_quantiser_matrix[64]、load_chroma_non_intra_quantiser_matrix、およびchroma_non_intra_quantiser_matrix[64] から構成される。
【０１９３】
extension_start_codeは、この量子化マトリックスエクステンションのスタートを示す開始コードである。extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 quant_matrix_extension_present_flagは、この量子化マトリックスエクステンション内のデータエレメントが有効か無効かを示すためのデータである。load_intra_quantiser_matrixは、イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。intra_quantiser_matrixは、イントラマクロブロック用の量子化マトリックスの値を示すデータである。
【０１９４】
load_non_intra_quantiser_matrixは、非イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。non_intra_quantiser_matrixは、非イントラマクロブロック用の量子化マトリックスの値を表すデータである。load_chroma_intra_quantiser_matrixは、色差イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。chroma_intra_quantiser_matrixは、色差イントラマクロブロック用の量子化マトリックスの値を示すデータである。load_chroma_non_intra_quantiser_matrixは、色差非イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。chroma_non_intra_quantiser_matrixは、色差非イントラマクロブロック用の量子化マトリックスの値を示すデータである。
【０１９５】
続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたコピーライトエクステンションが、履歴ストリームとして記述されている。
【０１９６】
このコピーライトエクステンション（copyright_extension）に関するデータエレメントは、extension_start_code、extension_start_code_itentifier、copyright_extension_present_flag、copyright_flag、copyright_identifier、original_or_copy、copyright_number_1、copyright_number_2、および copyright_number_3から構成される。
【０１９７】
extension_start_codeは、コピーライトエクステンションのスタート示す開始コードである。extension_start_code_itentifierのどのエクステンションデータが送られるかを示すコードである。 copyright_extension_present_flagは、このコピーライトエクステンション内のデータエレメントが有効か無効かを示すためのデータである。copyright_flagは、次のコピーライトエクステンション又はシーケンスエンドまで、符号化されたビデオデータに対してコピー権が与えられているか否かを示す。
【０１９８】
copyright_identifierは、ISO/IEC JTC/SC29によって指定されたコピー権の登録機関を識別するためのデータである。original_or_copyは、ビットストリーム中のデータが、オリジナルデータであるかコピーデータであるかを示すデータである。copyright_number_1は、コピーライトナンバーのビット４４から６３を表わすデータである。copyright_number_2は、コピーライトナンバーのビット２２から４３を表わすデータである。copyright_number_3は、コピーライトナンバーのビット０から２１を表わすデータである。
【０１９９】
続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたピクチャディスプレイエクステンション（ picture_display_extension ）が、履歴ストリームとして記述されている。
【０２００】
このピクチャディスプレイエクステンションを表わすデータエレメントは、extension_start_code、extension_start_code_identifier、picture_display_extension_present_flag、frame_center_horizontal_offset_1、frame_center_vertical_offset_1、frame_center_horizontal_offset_2、frame_center_vertical_offset_2、frame_center_horizontal_offset_3、およびframe_center_vertical_offset_3から構成される。
【０２０１】
extension_start_codeは、ピクチャディスプレイエクステンションのスタートを示すための開始コードである。extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。picture_display_extension_present_flagは、ピクチャディスプレイエクステンション内のデータエレメントが有効か無効かを示すデータである。frame_center_horizontal_offsetは、表示エリアの水平方向のオフセットを示すデータであって、３つのオフセット値まで定義することができる。frame_center_vertical_offsetは、表示エリアを垂直方向のオフセットを示すデータであって、３つのオフセット値まで定義することができる。
【０２０２】
最終段の符号化処理において生成されたビットストリームのピクチャ層のユーザエリアには、既に説明したピクチャディスプレイエクステンションを表わす履歴情報の次に、過去の符号化処理において使用されたユーザデータ（user_data）が、履歴ストリームとして記述されている。
【０２０３】
このユーザデータの次には、過去の符号化処理において使用されたマクロブロック層に関する情報が、履歴ストリームとして記述されている。
【０２０４】
このマクロブロック層に関する情報は、macroblock_address_h、macroblock_address_v、slice_header_present_flag、skipped_macroblock_flag等のマクロブロック（macroblock）の位置に関するデータエレメントと、macroblock_quant、macroblock_motion_forward、macroblock_motion_backward、mocroblock_pattern、macroblock_intra、spatial_temporal_weight_code_flag、frame_motion_type、およびdct_type等のマクロブロックモード（macroblock_modes[]）に関するデータエレメントと、quantiser_scale_code等の量子化ステップ制御に関するデータエレメントと、PMV[0][0][0]、PMV[0][0][1]、motion_vertical_field_select[0][0]、PMV[0][1][0]、PMV[0][1][1]、motion_vertical_field_select[0][1]、PMV[1][0][0]、PMV[1][0][1]、motion_vertical_field_select[1][0]、PMV[1][1][0]、PMV[1][1][1]、motion_vertical_field_select[1][1]等の動き補償に関するデータエレメントと、coded_block_pattern等のマクロブロックパターンに関するデータエレメントと、num_mv_bits、num_coef_bits、およびnum_other_bits等の発生符号量に関するデータエレメントから構成されている。
【０２０５】
以下にマクロブロック層に関するデータエレメントについて詳細に説明する。
【０２０６】
macroblock_address_hは、現在のマクロブロックの水平方向の絶対位置を定義するためのデータである。macroblock_address_vは、現在のマクロブロックの垂直方向の絶対位置を定義するためのデータである。slice_header_present_flagは、このマクロブロックがスライス層の先頭であり、スライスヘッダを伴なうか否かを示すデータである。skipped_macroblock_flagは、復号処理においてこのマクロブロックをスキップするか否かを示すデータである。
【０２０７】
macroblock_quantは、後述する図３８と図３９に示されたマクロブロックタイプ（ macroblock_type ）から導かれるデータであって、quantiser_scale_codeがビットストリーム中に現れるか否かを示すデータである。macroblock_motion_forwardおよびmacroblock_motion_backwardは、図３８と図３９に示されたマクロブロックタイプから導かれるデータであって、復号処理で使用されるデータである。mocroblock_patternは、図３８と図３９に示されたマクロブロックタイプから導かれるデータであって、coded_block_patternがビットストリーム中に現れるか否かを示すデータである。
【０２０８】
macroblock_intraは、図３８と図３９に示されたマクロブロックタイプから導かれるデータであって、復号処理で使用されるデータである。spatial_temporal_weight_code_flagは、図３８と図３９に示されたマクロブロックタイプから導かれるデータであって、時間スケーラビリティで下位レイヤ画像のアップサンプリング方法を示すspatial_temporal_weight_codeは、ビットストリーム中に存在するか否かを示すデータである。
【０２０９】
frame_motion_typeは、フレームのマクロブロックの予測タイプを示す２ビットのコードである。予測ベクトルが２個でフィールドベースの予測タイプであれば「００」であって、予測ベクトルが１個でフィールドベースの予測タイプであれば「０１」であって、予測ベクトルが１個でフレームベースの予測タイプであれば「１０」であって、予測ベクトルが１個でディアルプライムの予測タイプであれば「１１」である。field_motion_typeは、フィールドのマクロブロックの動き予測を示す２ビットのコードである。予測ベクトルが１個でフィールドベースの予測タイプであれば「０１」であって、予測ベクトルが２個で１８×８マクロブロックベースの予測タイプであれば「１０」であって、予測ベクトルが１個でディアルプライムの予測タイプであれば「１１」である。dct_typeは、ＤＣＴがフレームＤＣＴモードか、フィールドＤＣＴモードかを示すデータである。quantiser_scale_codeはマクロブロックの量子化ステップサイズを示すデータである。
【０２１０】
次に動きベクトルに関するデータエレメントについて説明する。動きベクトルは、復号時に必要な動きベクトルを減少させるために、先に符号化されたベクトルに関し、差分として符号化される。動きベクトルの復号を行うために、復号器は、４個の動きベクトル予測値（それぞれ水平および垂直成分を伴なう）を維持しなければいけない。この予測動きベクトルをPMV[ｒ][s][v]と表わすことにしている。[ｒ]は、マクロブロックにおける動きベクトルが第１のベクトルであるのか、第２のベクトルであるのかを示すフラグであって、マクロブロックにおけるベクトルが第１のベクトルである場合には「０」、マクロブロックにおけるベクトルが第２のベクトルである場合には「１」となる。[s]は、マクロブロックにおける動きベクトルの方向が、前方向であるのか後方向であるのかを示すフラグであって、前方向動きベクトルの場合には「０」、後方向動きベクトルの場合には「１」となる。[v]は、マクロブロックにおけるベクトルの成分が、水平方向であるのか垂直方向であるのかを示すフラグであって、水平方向成分の場合には「０」、垂直方向成分の場合には「１」となる。
【０２１１】
従って、PMV[0][0][0]は、第１のベクトルの前方向の動きベクトルの水平方向成分のデータを表わし、PMV[0][0][1]は、第１のベクトルの前方向の動きベクトルの垂直方向成分のデータを表わし、PMV[0][1][0]は、第１のベクトルの後方向の動きベクトルの水平方向成分のデータを表わし、PMV[0][1][1]は、第１のベクトルの後方向の動きベクトルの垂直方向成分のデータを表わし、 PMV[1][0][0]は、第２のベクトルの前方向の動きベクトルの水平方向成分のデータを表わし、PMV[1][0][1]は、第２のベクトルの前方向の動きベクトルの垂直方向成分のデータを表わし、 PMV[1][1][0]は、第２のベクトルの後方向の動きベクトルの水平方向成分のデータを表わし、そして、PMV[1][1][1] は、第２のベクトルの後方向の動きベクトルの垂直方向成分のデータを表わしている。
【０２１２】
motion_vertical_field_select[ｒ][s]は、予測の形式にいずれの参照フィールドを使用するのかを示すデータである。このmotion_vertical_field_select[ｒ][s]が「０」の場合には、トップ参照フィールドを使用し、「１」の場合には、ボトム参照フィールドを使用することを示している。
【０２１３】
よって、motion_vertical_field_select[0][0]は、第１のベクトルの前方向の動きベクトルを生成する際の参照フィールドを示し、motion_vertical_field_select[0][1]は、第１のベクトルの後方向の動きベクトルを生成する際の参照フィールドを示し、motion_vertical_field_select[1][0]は、第２のベクトルの前方向の動きベクトルを生成する際の参照フィールドを示し、そして、motion_vertical_field_select[1][1]は、第２ベクトルの後方向の動きベクトルを生成する際の参照フィールドを示している。
【０２１４】
coded_block_patternは、ＤＣＴ係数を格納する複数のＤＣＴブロックのうち、どのＤＣＴブロックに、有意係数（非０係数）があるかを示す可変長のデータである。num_mv_bitsは、マクロブロック中の動きベクトルの符号量を示すデータである。num_coef_bitsは、マクロブロック中のＤＣＴ係数の符号量を示すデータである。num_other_bitsは、マクロブロックの符号量で、動きベクトルおよびＤＣＴ係数以外の符号量を示すデータである。
【０２１５】
次に、可変長の履歴ストリームから各データエレメントをデコードするためのシンタックスについて、図２４乃至図４４を参照して説明する。
【０２１６】
図２４に示される可変長の履歴ストリームは、next_start_code（）関数、sequence_header（）関数、sequence_extension（）関数、extension_and_user_data（0）関数、group_of_picture_header（）関数、extension_and_user_data（1）関数、picture_header（）関数、picture_coding_extension（）関数、re_coding_stream_info（）関数、extension_and_user_data（2）関数、およびpicture_data（）関数によって定義されたデータエレメントによって構成される。
【０２１７】
next_start_code（）関数は、ビットストリーム中に存在するスタートコードを探すための関数であるので、履歴ストリームの最も先頭には、図２５に示すような、過去の符号化処理において使用されたデータエレメントであってsequence_header（）関数によって定義されたデータエレメントが記述されている。
【０２１８】
図２５に示されるsequence_header（）関数によって定義されたデータエレメントは、sequence_header_code、sequence_header_present_flag、horizontal_size_value、vertical_size_value、aspect_ratio_information、frame_rate_code、bit_rate_value、marker_bit、VBV_buffer_size_value、constrained_parameter_flag、load_intra_quantiser_matrix、intra_quantiser_matrix、load_non_intra_quantiser_matrix、およびnon_intra_quantiser_matrix等である。
【０２１９】
sequence_header_codeは、シーケンス層のスタート同期コードを表すデータである。sequence_header_present_flagは、sequence_header内のデータが有効か無効かを示すデータである。 horizontal_size_valueは、画像の水平方向の画素数の下位12ビットから成るデータである。vertical_size_valueは、画像の縦のライン数の下位12ビットからなるデータである。ａspect_ratio_informationは、画素のアスペクト比（縦横比）または表示画面アスペクト比を表すデータである。frame_rate_codeは、画像の表示周期を表すデータである。bit_rate_valueは、発生ビット量に対する制限のためのビットレートの下位18ビット（400bsp単位で切り上げる）データである。
【０２２０】
marker_bitは、スタートコードエミュレーションを防止するために挿入されるビットデータである。VBV_buffer_size_valueは、発生符号量制御用の仮想バッファ（ビデオバッファベリファイヤー）の大きさを決める値の下位10ビットデータである。constrained_parameter_flagは、各パラメータが制限以内であることを示すデータである。load_intra_quantiser_matrixは、イントラＭＢ用量子化マトリックス・データの存在を示すデータである。intra_quantiser_matrixは、イントラＭＢ用量子化マトリックスの値を示すデータである。load_non_intra_quantiser_matrixは、非イントラＭＢ用量子化マトリックス・データの存在を示すデータである。non_intra_quantiser_matrixは、非イントラＭＢ用量子化マトリックスの値を表すデータである。
【０２２１】
sequence_header（）関数によって定義されたデータエレメントの次には、図２６で示すような、sequence_extension（）関数によって定義されたデータエレメントが、履歴ストリームとして記述されている。
【０２２２】
sequence_extension（）関数によって定義されたデータエレメントとは、extension_start_code、extension_start_code_identifier、sequence_extension_present_flag、profile_and_level_indication、progressive_sequence、chroma_format、horizontal_size_extension、vertical_size_extension、bit_rate_extension、vbv_buffer_size_extension、low_delay、frame_rate_extension_n 、および frame_rate_extension_d等のデータエレメントである。
【０２２３】
extension_start_codeは、エクステンションデータのスタート同期コードを表すデータである。extension_start_code_identifierは、どの拡張データが送られるかを示すデータである。sequence_extension_present_flagは、シーケンスエクステンション内のデータが有効であるか無効であるかを示すデータである。profile_and_level_indicationは、ビデオデータのプロファイルとレベルを指定するためのデータである。progressive_sequenceは、ビデオデータが順次走査であることを示すデータである。chroma_formatは、ビデオデータの色差フォーマットを指定するためのデータである。horizontal_size_extensionは、シーケンスヘッダのhorizntal_size_valueに加える上位２ビットのデータである。vertical_size_extensionは、シーケンスヘッダのvertical_size_value加える上位２ビットのデータである。bit_rate_extensionは、シーケンスヘッダのbit_rate_valueに加える上位１２ビットのデータである。vbv_buffer_size_extensionは、シーケンスヘッダのvbv_buffer_size_valueに加える上位８ビットのデータである。
【０２２４】
low_delayは、Ｂピクチャを含まないことを示すデータである。frame_rate_extension_nは、シーケンスヘッダのframe_rate_codeと組み合わせてフレームレートを得るためのデータである。frame_rate_extension_dは、シーケンスヘッダのframe_rate_codeと組み合わせてフレームレートを得るためのデータである。
【０２２５】
sequence_extension（）関数によって定義されたデータエレメントの次には、図２７に示すようなextension_and_user_data（0）関数によって定義されたデータエレメントが、履歴ストリームとして記述されている。 extension_and_user_data（i）関数は、「i」が１以外のときは、extension_data（）関数によって定義されるデータエレメントは記述せずに、user_data（）関数によって定義されるデータエレメントのみを履歴ストリームとして記述する。よって、 extension_and_user_data（0）関数は、 user_data（）関数によって定義されるデータエレメントのみを履歴ストリームとして記述する。
【０２２６】
user_data（）関数は、図２８に示されたようなシンタックスに基いて、ユーザデータを履歴ストリームとして記述する。
【０２２７】
extension_and_user_data（0）関数によって定義されたデータエレメントの次には、図２９に示すようなgroup_of_picture_header（）関数によって定義されたデータエレメント、およびextension_and_user_data（1）関数によって定義されるデータエレメントが、履歴ストリームとして記述されている。ただし、履歴ストリーム中に、GOP層のスタートコードを示すgroup_start_codeが記述されている場合にのみ、 group_of_picture_header（）関数によって定義されたデータエレメント、およびextension_and_user_data（1）関数によって定義されるデータエレメントが記述されている。
【０２２８】
group_of_picture_header（）関数によって定義されたデータエレメントは、group_start_code、group_of_picture_header_present_flag、time_code、closed_gop、およびbroken_linkから構成される。
【０２２９】
group_start_codeは、GOP層の開始同期コードを示すデータである。 group_of_picture_header_present_flagは、 group_of_picture_header内のデータエレメントが有効であるか無効であるかを示すデータである。 time_codeは、GOPの先頭ピクチャのシーケンスの先頭からの時間を示すタイムコードである。closed_gopは、GOP内の画像が他のGOPから独立再生可能なことを示すフラグデータである。broken_linkは、編集などのためにGOP内の先頭のＢピクチャが正確に再生できないことを示すフラグデータである。
【０２３０】
extension_and_user_data（1）関数は、 extension_and_user_data（0）関数と同じように、user_data（）関数によって定義されるデータエレメントのみを履歴ストリームとして記述する。
【０２３１】
もし、履歴ストリーム中に、GOP層のスタートコードを示すgroup_start_codeが存在しない場合には、これらのgroup_of_picture_header（）関数およびextension_and_user_data（1）関数によって定義されるデータエレメントは、履歴ストリーム中には記述されていない。その場合には、 extension_and_user_data（0）関数によって定義されたデータエレメントの次に、picture_headr（）関数によって定義されたデータエレメントが履歴ストリームとして記述されている。
【０２３２】
picture_headr（）関数によって定義されたデータエレメントは、図３０に示すように、picture_start_code、temporal_reference、picture_coding_type、vbv_delay、full_pel_forward_vector、forward_f_code、full_pel_backward_vector、backward_f_code、extra_bit_picture、およびextra_information_pictureである。
【０２３３】
具体的には、picture_start_codeは、ピクチャ層の開始同期コードを表すデータである。temporal_referenceは、ピクチャの表示順を示す番号でGOPの先頭でリセットされるデータである。picture_coding_typeは、ピクチャタイプを示すデータである。vbv_delayは、ランダムアクセス時の仮想バッファの初期状態を示すデータである。full_pel_forward_vectorは、順方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。forward_f_codeは、順方向動きベクトル探索範囲を表すデータである。full_pel_backward_vectorは、逆方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。backward_f_codeは、逆方向動きベクトル探索範囲を表すデータである。 extra_bit_pictureは、後続する追加情報の存在を示すフラグである。このextra_bit_pictureが「１」の場合には、次にextra_information_pictureが存在し、extra_bit_pictureが「０」の場合には、これに続くデータが無いことを示している。extra_information_pictureは、規格において予約された情報である。
【０２３４】
picture_headr（）関数によって定義されたデータエレメントの次には、図３１に示すようなpicture_coding_extension（）関数によって定義されたデータエレメントが、履歴ストリームとして記述されている。
【０２３５】
このpicture_coding_extension（）関数によって定義されたデータエレメントとは、extension_start_code、extension_start_code_identifier、f_code[0][0]、f_code[0][1]、f_code[1][0]、f_code[1][1]、intra_dc_precision、picture_structure、top_field_first、frame_predictive_frame_dct、concealment_motion_vectors、q_scale_type、intra_vlc_format、alternate_scan、repeat_firt_field、chroma_420_type、progressive_frame、composite_display_flag、v_axis、field_sequence、sub_carrier、burst_amplitude、およびsub_carrier_phaseから構成される。
【０２３６】
extension_start_codeは、ピクチャ層のエクステンションデータのスタートを示す開始コードである。extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 f_code[0][0]は、フォワード方向の水平動きベクトル探索範囲を表すデータである。f_code[0][1]は、フォワード方向の垂直動きベクトル探索範囲を表すデータである。f_code[1][0]は、バックワード方向の水平動きベクトル探索範囲を表すデータである。f_code[1][1]は、バックワード方向の垂直動きベクトル探索範囲を表すデータである。intra_dc_precisionは、DC係数の精度を表すデータである。
【０２３７】
picture_structureは、フレームストラクチャかフィールドストラクチャかを示し、更に、フィールドストラクチャの場合は、上位フィールドか下位フィールドかもあわせて示すデータである。top_field_firstは、フレームストラクチャの場合、最初のフィールドが、上位か下位かを示すデータである。frame_predictive_frame_dctは、フレームストラクチャの場合、フレーム・モードＤＣＴの予測がフレーム・モードだけであることを示すデータである。concealment_motion_vectorsは、イントラマクロブロックに伝送エラーを隠蔽するための動きベクトルがついていることを示すデータである。q_scale_typeは、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータである。intra_vlc_formatは、イントラマクロブロックに、別の２次元VLCを使うかどうかを示すデータである。
【０２３８】
alternate_scanは、ジグザグスキャンを使うか、オルタネート・スキャンを使うかの選択を表すデータである。repeat_firt_fieldは、２：３プルダウンの際に使われるデータである。chroma_420_typeは、信号フォーマットが４：２：０の場合、次のprogressive_frame と同じ値、そうでない場合は０を表すデータである。progressive_frameは、このピクチャが、順次走査できているかどうかを示すデータである。composite_display_flagは、ソース信号がコンポジット信号であったかどうかを示すデータである。v_axis、field_sequence、sub_carrier、burst_amplitude、およびsub_carrier_phaseは、ソース信号が、PALの場合に使われるデータである。
【０２３９】
picture_coding_extension（）関数によって定義されたデータエレメントの次には、re_coding_stream_info（）関数によって定義されたデータエレメントが履歴ストリームとして記述されている。このre_coding_stream_info（）関数は、主に履歴情報の組み合わせを記述する場合に用いられるものであり、その詳細については、図４８を参照して後述する。
【０２４０】
re_coding_stream_info（）関数によって定義されたデータエレメントの次には、extensions_and_user_data（2）によって定義されたデータエレメントが、履歴ストリームとして記述されている。このextension_and_user_data（2）関数は、図２７に示したように、ビットストリーム中にエクステンションスタートコード（extension_start_code）が存在する場合には、extension_data（）関数によって定義されるデータエレメントが記述されている。このデータエレメントの次には、ビットストリーム中にユーザデータスタートコード（user_data_start_code）が存在する場合には、user_data（）関数によって定義されるデータエレメントが記述されている。ただし、ビットストリーム中にエクステンションスタートコードおよびユーザデータスタートコードが存在しない場合には extension_data（）関数 およびuser_data（）関数によって定義されるデータエレメントはビットトリーム中には記述されていない。
【０２４１】
extension_data（）関数は、図３２に示すように、extension_start_codeを示すデータエレメントと、quant_matrix_extension（）関数、copyright_extension（）関数、およびpicture_display_extension（）関数によって定義されるデータエレメンエトとを、ビットストリーム中に履歴ストリームとして記述するための関数である。
【０２４２】
quant_matrix_extension（）関数によって定義されるデータエレメントは、図３３に示すように、extension_start_code、extension_start_code_identifier、quant_matrix_extension_present_flag、load_intra_quantiser_matrix、intra_quantiser_matrix[64]、load_non_intra_quantiser_matrix、non_intra_quantiser_matrix[64]、load_chroma_intra_quantiser_matrix、chroma_intra_quantiser_matrix[64]、load_chroma_non_intra_quantiser_matrix、およびchroma_non_intra_quantiser_matrix[64] である。
【０２４３】
extension_start_codeは、この量子化マトリックスエクステンションのスタートを示す開始コードである。extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 quant_matrix_extension_present_flagは、この量子化マトリックスエクステンション内のデータエレメントが有効か無効かを示すためのデータである。load_intra_quantiser_matrixは、イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。intra_quantiser_matrixは、イントラマクロブロック用の量子化マトリックスの値を示すデータである。
【０２４４】
load_non_intra_quantiser_matrixは、非イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。non_intra_quantiser_matrixは、非イントラマクロブロック用の量子化マトリックスの値を表すデータである。load_chroma_intra_quantiser_matrixは、色差イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。chroma_intra_quantiser_matrixは、色差イントラマクロブロック用の量子化マトリックスの値を示すデータである。load_chroma_non_intra_quantiser_matrixは、色差非イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。chroma_non_intra_quantiser_matrixは、色差非イントラマクロブロック用の量子化マトリックスの値を示すデータである。
【０２４５】
copyright_extension（）関数によって定義されるデータエレメントは、図３４に示すように、 extension_start_code、extension_start_code_itentifier、copyright_extension_present_flag、copyright_flag、copyright_identifier、original_or_copy、copyright_number_1、copyright_number_2、および copyright_number_3から構成される。
【０２４６】
extension_start_codeは、コピーライトエクステンションのスタート示す開始コードである。extension_start_code_itentifierどのエクステンションデータが送られるかを示すコードである。 copyright_extension_present_flagは、このコピーライトエクステンション内のデータエレメントが有効か無効かを示すためのデータである。
【０２４７】
copyright_flagは、次のコピーライトエクステンション又はシーケンスエンドまで、符号化されたビデオデータに対してコピー権が与えられているか否かを示す。copyright_identifierは、ISO/IEC JTC/SC29によって指定されたコピー権の登録機関を識別するためのデータである。original_or_copyは、ビットストリーム中のデータが、オリジナルデータであるかコピーデータであるかを示すデータである。copyright_number_1は、コピーライトナンバーのビット４４から６３を表わすデータである。copyright_number_2は、コピーライトナンバーのビット２２から４３を表わすデータである。copyright_number_3は、コピーライトナンバーのビット０から２１を表わすデータである。
【０２４８】
picture_display_extension（）関数によって定義されるデータエレメントは、図３５に示すように、extension_start_code_identifier、frame_center_horizontal_offset、frame_center_vertical_offset等である。
【０２４９】
extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 frame_center_horizontal_offsetは、表示エリアの水平方向のオフセットを示すデータであって、number_of_frame_center_offsetsによって定義される数のオフセット値を定義することができる。frame_center_vertical_offsetは、表示エリアを垂直方向のオフセットを示すデータであって、 number_of_frame_center_offsetsによって定義される数のオフセット値を定義することができる。
【０２５０】
再び図２４に戻って、extension_and_user_data（2）関数によって定義されるデータエレメントの次には、picture_data（）関数によって定義されるデータエレメントが、履歴ストリームとして記述されている。ただし、このpicture_data（）関数は、red_bw_flagが１ではないか、または、red_bw_indicatorが２以下である場合に存在する。このred_bw_flagとred_bw_indicatorは、re_coding_stream_info（）関数に記述されており、これらについては、図４８と図４９を参照して後述する。
【０２５１】
picture_data（）関数によって定義されるデータエレメントは、図３６に示すように、slice（）関数によって定義されるデータエレメントである。このslice（）関数によって定義されるデータエレメントはビットストリーム中に少なくとも１個記述されている。
【０２５２】
slice（）関数は、図３７に示されるように、slice_start_code、slice_quantiser_scale_code、intra_slice_flag、intra_slice、reserved_bits、extra_bit_slice、extra_information_slice、およびextra_bit_slice 等のデータエレメントと、macroblock（）関数によって定義されるデータエレメントを、履歴ストリームとして記述するための関数である。
【０２５３】
slice_start_codeは、slice（）関数によって定義されるデータエレメントのスタートを示すスタートコードである。slice_quantiser_scale_codeは、このスライス層に存在するマクロブロックに対して設定された量子化ステップサイズを示すデータである。しかし、各マクロブロック毎に、quantiser_scale_codeが設定されている場合には、各マクロブロックに対して設定されたmacroblock_quantiser_scale_codeのデータが優先して使用される。
【０２５４】
intra_slice_flagは、ビットストリーム中にintra_sliceおよびreserved_bitsが存在するか否かを示すフラグである。intra_sliceは、スライス層中にノンイントラマクロブロックが存在するか否かを示すデータである。スライス層におけるマクロブロックのいずれかがノンイントラマクロブロックである場合には、intra_sliceは「０」となり、スライス層におけるマクロブロックの全てがノンイントラマクロブロックである場合には、intra_sliceは「１」となる。reserved_bitsは、７ビットのデータであって「０」の値を取る。extra_bit_sliceは、履歴ストリームとして追加の情報が存在することを示すフラグであって、次にextra_information_sliceが存在する場合には「１」に設定される。追加の情報が存在しない場合には「０」に設定される。
【０２５５】
これらのデータエレメントの次には、macroblock（）関数によって定義されたデータエレメントが、履歴ストリームとして記述されている。
【０２５６】
macroblock（）関数は、図３８に示すように、macroblock_escape、macroblock_address_increment、およびmacroblock_quantiser_scale_code、およびmarker_bit等のデータエレメントと、macroblock_modes（）関数、motion_vectors（s）関数、およびcode_block_pattern（）関数によって定義されたデータエレメントを記述するための関数である。
【０２５７】
macroblock_escapeは、参照マクロブロックと前のマクロブロックとの水平方向の差が３４以上であるか否かを示す固定ビット列である。参照マクロブロックと前のマクロブロックとの水平方向の差が３４以上の場合には、macroblock_address_incrementの値に３３をプラスする。macroblock_address_incrementは、参照マクロブロックと前のマクロブロックとの水平方向の差を示すデータである。もし、このmacroblock_address_incrementの前にmacroblock_escapeが１つ存在するのであれば、このmacroblock_address_incrementの値に３３をプラスした値が、実際の参照マクロブロックと前のマクロブロックとの水平方向の差分を示すデータとなる。
【０２５８】
macroblock_quantiser_scale_codeは、各マクロブロック毎に設定された量子化ステップサイズを示すデータであり、macroblock_quantが「１」のときだけ存在する。各スライス層には、スライス層の量子化ステップサイズを示すslice_quantiser_scale_codeが設定されているが、参照マクロブロックに対してmacroblock_quantiser_scale_codeが設定されている場合には、この量子化ステップサイズを選択する。
【０２５９】
macroblock_address_incrementの次には、macroblock_modes（）関数によって定義されるデータエレメントが記述されている。macroblock_modes（）関数は、図３９に示すように、macroblock_type、frame_motion_type、field_motion_type、dct_type等のデータエレメントを、履歴ストリームとして記述するための関数である。
【０２６０】
macroblock_typeは、マクログブロックの符号化タイプを示すデータである。その詳細は、図４２乃至図４４を参照して後述する。
【０２６１】
もし、macroblock_motion_forward又はmacroblock_motion_backwardが「１」であり、ピクチャ構造がフレームであり、更にframe_pred_frame_dctが「０」である場合には、macroblock_typeを表わすデータエレメントの次にframe_motion_typeを表わすデータエレメントが記述されている。なお、このframe_pred_frame_dctは、 frame_motion_typeがビットストリーム中に存在するか否かを示すフラグである。
【０２６２】
frame_motion_typeは、フレームのマクロブロックの予測タイプを示す２ビットのコードである。予測ベクトルが２個でフィールドベースの予測タイプであれば「００」であって、予測ベクトルが１個でフィールドベースの予測タイプであれば「０１」であって、予測ベクトルが１個でフレームベースの予測タイプであれば「１０」であって、予測ベクトルが１個でディアルプライムの予測タイプであれば「１１」である。
【０２６３】
frame_motion_typeを記述する条件が満足されない場合には、macroblock_typeを表わすデータエレメントの次にfield_motion_typeを表わすデータエレメントが記述されている。
【０２６４】
field_motion_typeは、フィールドのマクロブロックの動き予測を示す２ビットのコードである。予測ベクトルが１個でフィールドベースの予測タイプであれば「０１」であって、予測ベクトルが２個で１８×８マクロブロックベースの予測タイプであれば「１０」であって、予測ベクトルが１個でディアルプライムの予測タイプであれば「１１」である。
【０２６５】
もし、ピクチャ構造がフレームで、 frame_pred_frame_dctがframe_motion_typeがビットストリーム中に存在することを示し、かつ、frame_pred_frame_dctがdct_typeがビットストリーム中に存在することを示している場合には、macroblock_typeを表わすデータエレメントの次にdct_typeを表わすデータエレメントが記述されている。なお、dct_typeは、ＤＣＴがフレームＤＣＴモードか、フィールドＤＣＴモードかを示すデータである。
【０２６６】
再び図３８に戻って、もし、参照マクロブロックが前方予測マクロブロックであるか、または、参照マクロブロックがイントラマクロブロックであって、かつ、コンシール処理のマクロブロックのいずれかの場合には、motion_vectors（0）関数によって定義されるデータエレメントが記述される。また、参照マクロブロックが後方予測マクロブロックである場合には、motion_vectors（1）関数によって定義されるデータエレメントが記述される。なお、 motion_vectors（0）関数は、第1番目の動きベクトルに関するデータエレメントを記述するための関数であって、motion_vectors（1）関数は、第２番目の動きベクトルに関するデータエレメントを記述するための関数である。
【０２６７】
motion_vectors（s）関数は、図４０に示されるように、動きベクトルに関するデータエレメントを記述するための関数である。
【０２６８】
もし、動きベクトルが１個でディアルプライム予測モードを使用していない場合には、motion_vertical_field_select[0][s]とmotion_vector（0，s）によって定義されるデータエレメントが記述される。
【０２６９】
このmotion_vertical_field_select[ｒ][s]は、第１番目の動きベクトル（前方又は後方のどちらのベクトルであっても良い）が、ボトムフィールドを参照して作られたベクトルであるか、トップフィールドを参照して作られたベクトルであるかを示すフラグである。この指標“ｒ”は、第１番めのベクトル又は第２番めのベクトルのいずれのベクトルであるかを示す指標であって、“s”は、予測方向が前方又は後方予測のいずれであるかを示す指標である。
【０２７０】
motion_vector（r，s）関数は、図４１に示されるように、motion_code[ｒ][s][t]に関するデータ列と、motion_residual[ｒ][s][t]に関するデータ列と、dmvector[t]を表わすデータとを記述するための関数である。
【０２７１】
motion_code[ｒ][s][t]は、動きベクトルの大きさを−１６〜＋１６の範囲で表わす可変長のデータである。 motion_residual[ｒ][s][t]は、動きベクトルの残差を表わす可変長のデータである。よって、このmotion_code[ｒ][s][t]と motion_residual[ｒ][s][t]との値によって詳細な動きベクトルを記述することができる。 dmvector[t]は、ディアルプライム予測モードのときに、一方のフィールド（例えばボトムフィールドに対してトップフィールドを一方のフィールドとする）における動きベクトルを生成するために、時間距離に応じて既存の動きベクトルがスケールされるとともに、トップフィールドとボトムフィールドとのライン間の垂直方向のずれを反映させるために垂直方向に対して補正を行うデータである。この指標“ｒ”は、第１番めのベクトル又は第２番めのベクトルのいずれのベクトルであるかを示す指標であって、“s”は、予測方向が前方又は後方予測のいずれであるかを示す指標である。“s”は、動きベクトルが垂直方向の成分であるか水平方向の成分であるかを示すデータである。
【０２７２】
図４１に示されるmotion_vector（r，s）関数によって、まず、水平方向のmotion_coder[ｒ][s][0]を表わすデータ列が、履歴ストリームとして記述される。motion_residual[0][s][t]およびmotion_residual[1][s][t]の双方のビット数は、f_code[s][t]で示されるので、 f_code[s][t]が１ではない場合には、 motion_residual[r][s][t] がビットストリーム中に存在することを示すことになる。水平方向成分のmotion_residual[ｒ][s][0]が「１」ではなくて、水平方向成分のmotion_code[ｒ][s][0]が「０」ではないということは、ビットストリーム中にmotion_residual[ｒ][s][0]を表わすデータエレメントが存在し、動きベクトルの水平方向成分が存在するということを意味しているので、その場合には、水平方向成分のmotion_residual[r][s][0]を表わすデータエレメントが記述されている。
【０２７３】
続いて、垂直方向のmotion_coder[ｒ][s][1]を表わすデータ列が、履歴ストリームとして記述される。同じようにmotion_residual[0][s][t]およびmotion_residual[1][s][t]の双方のビット数は、f_code[s][t]で示されるので、 f_code[s][t]が１ではない場合には、 motion_residual[r][s][t] がビットストリーム中に存在することを表わすことになる。motion_residual[ｒ][s][1]が「１」でなくて、motion_code[ｒ][s][1]が「０」ではないということは、ビットストリーム中にmotion_residual[ｒ][s][1]を表わすデータエレメントが存在し、動きベクトルの垂直方向成分が存在するということを意味しているので、その場合には、垂直方向成分のmotion_residual[r][s][1]を表わすデータエレメントが記述されている。
【０２７４】
次に、図４２乃至図４４を参照して、macroblock_typeについて説明する。macroblock_typeは、macroblock_quant、dct_type_flag、macroblock_motion_forward、およびmacroblock_motion_backwardなどのフラグから生成された可変長データである。 macroblock_quantは、マクロブロックに対して量子化ステップサイズを設定するためのmacroblock_quantiser_scale_codeが設定されているか否かを示すフラグあって、ビットストリーム中にmacroblock_quantiser_scale_codeが存在する場合には、 macroblock_quantは「１」の値を取る。
【０２７５】
dct_type_flagは、参照マクロブロックがフレームＤＣＴ又はフィールドＤＣＴで符号化されているかを示すdct_typeが存在するか否かを示すためのフラグ（言い換えるとＤＣＴされているか否かを示すフラグ）であって、ビットストリーム中にdct_typeが存在する場合には、このdct_type_flagは「１」の値を取る。 macroblock_motion_forwardは、参照マクロブロックが前方予測されているか否かを示すフラグであって、前方予測されている場合には「１」の値を取る。macroblock_motion_backwardは、参照マクロブロックが後方予測されているか否かを示すフラグであって、後方予測されている場合には「１」の値を取る。
【０２７６】
なお、可変長フォーマットにおいては、伝送するビットレートを減少させるために、履歴情報を削減することができる。
【０２７７】
すなわち、macroblock_typeとmotion_vectors（）は転送するが、quantiser_scale_codeを転送しない場合には、slice_quantiser_scale_codeを”０００００”とすることで、ビットレートを減少させることができる。
【０２７８】
また、macroblock_typeのみ転送し、motion_vectors（）、quantiser_scale_code、およびdct_typeを転送しない場合には、macroblock_typeとして、”not coded”を使用することで、ビットレートを減少することができる。
【０２７９】
更に、また、picture_coding_typeのみ転送し、slice（）以下の情報は全て転送しない場合には、slice_start_codeを持たないpicture_data（）を使用することで、ビットレートを減少させることができる。
【０２８０】
以上においては、user_data内の２３ビットの連続する”０”が出ないようにする場合に、２２ビット毎に”１”を挿入するようにしたが、２２ビット毎でなくてもよい。また、連続する”０”の個数を数えて”１”を挿入するのではなく、Byte_allignを調べて挿入するようにすることも可能である。
【０２８１】
更に、MPEGにおいては、２３ビットの連続する”０”の発生を禁止しているが、実際には、バイトの先頭から２３ビット連続する場合だけが問題とされ、バイトの先頭ではなく、途中から０が２３ビット連続する場合は、問題とされない。従って、例えば２４ビット毎に、LSB以外の位置に”１”を挿入するようにしてもよい。
【０２８２】
また、以上においては、履歴情報を、video elementary streamに近い形式にしたが、packetized elementary streamやtransport streamに近い形式にしてもよい。また、Elementary Streamのuser_dataの場所を、picture_dataの前としたが、他の場所にすることもできる。
【０２８３】
図４のトランスコーディングシステムにおいては、４世代分の符号化パラメータを履歴情報として後段に出力するようにしたが、実際には、履歴情報の全てが必要となるわけではなく、アプリケーション毎に必要な履歴情報は異なってくる。また、実際の伝送路あるいは記録媒体（伝送メディア）には、容量に制限があり、圧縮しているとはいえ、全ての履歴情報を伝送するようにすると、容量的に負担となり、結果的に画像ビットストリームのビットレートを抑圧してしまい、履歴情報伝送の有効性が損なわれることになる。
【０２８４】
そこで、履歴情報として伝送する項目の組み合わせを記述する記述子を履歴情報に組み込んで後段に送信するようにし、全ての履歴情報を伝送するのではなく、さまざまなアプリケーションに対応した情報を伝送するようにすることができる。図４５は、このような場合のトランスコーディングシステムの構成例を表している。
【０２８５】
図４５において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。図４５の構成例においては、ヒストリ情報分離装置６４と符号化装置６６の間、およびヒストリエンコーディング装置６５と符号化装置６６の間に、符号化パラメータ選択回路１５１が挿入されている。
【０２８６】
符号化パラメータ選択回路１５１は、ヒストリ情報分離装置６４が出力するベースバンドビデオ信号から符号化パラメータを算出する符号化パラメータ算出部１６２、ヒストリ情報分離装置６４が出力する、このビデオエンコーディングシステム１４１において符号化するのに最適と判定された符号化パラメータ（例えば、第２世代の符号化パラメータ）に関する情報から、符号化パラメータと記述子（red_bw_flag，red_bw_indicator）（図４９を参照して後述する）を分離する組み合わせ記述子分離部１６１、並びに符号化パラメータ算出部１６２が出力する符号化パラメータと、組み合わせ記述子分離部１６１が出力する符号化パラメータのうち、いずれか一方を、組み合わせ記述子分離部１６１で分離された記述子に対応して選択し、符号化装置６６に出力するスイッチ１６３を有している。その他の構成は、図４における場合と同様である。
【０２８７】
ここで、履歴情報として伝送する項目の組み合わせについて説明する。履歴情報は、分類すると、picture単位の情報と、macroblock単位の情報に分けることができる。slice単位の情報は、それに含まれるmacroblockの情報を収集することで得ることができ、GOP単位の情報は、それに含まれるpicture単位の情報を収集することで得ることができる。
【０２８８】
picture単位の情報（すなわち、図７のV Blanking領域に記述される情報）は、１フレーム毎に１回伝送されるだけなので、情報伝送に占めるビットレートは、それほど大きくはない。これに対して、macroblock単位の情報（すなわち、図７のH Blanking領域に記述される情報）は、各macroblock毎に伝送されるため、例えば１フレームの走査線数が５２５本で、フィールドレートが６０フィールド／秒のビデオシステムの場合、１フレームの画素数を７２０×４８０とすると、macroblock単位の情報は、１フレームあたり１３５０（＝（７２０／１６）×（４８０／１６））回伝送することが必要となる。このため、履歴情報の相当の部分がmacroblock毎の情報で占められることになる。そこで、履歴情報としては、少なくともpicture単位の情報は常に伝送するが、macroblock単位の情報は、アプリケーションに応じて選択して伝送するようにすることで、伝送する情報量を抑制することができる。
【０２８９】
履歴情報として転送されるmacroblock単位の情報には、例えばnum_coef_bits，num_mv_bits，num_other_bits，q_scale_code，q_scale_type，motion_type，mv_vert_field_sel[][]，mv[][][]，mb_mfwd，mb_mbwd，mb_pattern，coded_block_pattern，mb_intra，slice_start，dct_type，mb_quant，skipped_mbなどがある。これらは、macroblock rate informationの要素を用いて表現されたものである。
【０２９０】
num_coef_bitsは、macroblockの符号量のうち、ＤＣＴ係数に要した符号量を表す。num_mv_bitsは、macroblockの符号量のうち、動きベクトルに要した符号量を表す。num_other_bitsは、macroblockの符号量のうち、num_coef_bitsおよびnum_mv_bits以外の符号量を表す。
【０２９１】
q_scale_codeは、macroblockに適用されたq_scale_codeを表す。motion_typeは、macroblockに適用された動きベクトルのtypeを表す。mv_vert_field_sel[][]は、macroblockに適用された動きベクトルのfield selectを表す。
【０２９２】
mv[][][]は、macroblockに適用された動きベクトルを表す。mb_mfwdは、macroblockの予測モードが前方向予測であることを示すフラグである。mb_mbwdは、macroblockの予測モードが後方向予測であることを示すフラグである。mb_patternは、macroblockのＤＣＴ係数の非０のものの有無を示すフラグである。
【０２９３】
coded_block_patternは、macroblockのＤＣＴ係数の非０のものの有無をＤＣＴブロック毎に示すフラグである。mb_intraは、macroblockがintra_macroかそうでないかを示すフラグである。slice_startは、macroblockがsliceの先頭であるか否かを示すフラグである。dct_typeは、macroblockがfield_dctかflame_dctかを示すフラグである。
【０２９４】
mb_quantは、macroblockがquantiser_scale_codeを伝送するか否かを示すフラグである。skipped_mbは、macroblockがskipped macroblockであるか否かを示すフラグである。
【０２９５】
これらの項目は、常に全て必要であるわけではなく、アプリケーションに応じて必要となる項目が変化する。例えば、num_coef_bitsやslice_startといった項目は、再エンコードした際のビットストリームをできる限り元の形に戻したいというtransparentという要求を有するアプリケーションにおいて必要となる。換言すれば、ビットレートを変更するようなアプリケーションにおいては、これらの項目は必要ではない。また、非常に伝送路の制限が厳しい場合には、各ピクチャの符号化タイプが判るだけでもよいようなアプリケーションも存在する。このような状況から、履歴情報を伝送する項目の組み合わせの例として、例えば図４６に示すような組み合わせが考えられる。
【０２９６】
図４６において、各組み合わせの中の項目に対応する値「２」は、その情報が存在し、利用可能であることを意味し、「０」は、その情報が存在しないことを意味する。「１」は、他の情報の存在を補助する目的のため、あるいは、構文上存在するが、元のビットストリーム情報とは関係がないなど、その情報自身には意味がないことを表している。例えば、slice_startは、履歴情報を伝送する際のsliceの先頭のmacroblockにおいて、「１」になるが、本来のビットストリームに対して、sliceが必ずしも同一位置関係にあるわけではない場合には、履歴情報としては無意味になる。
【０２９７】
図４６の例においては、（num_coef_bits，num_mv_bits，num_other_bits），（q_scale_code，q_scale_type），（motion_type，mv_vert_field_sel[][]，mv[][][]），（mb_mfwd，mb_mbwd），（mb_pattern），（coded_block_pattern），（mb_intra），（slice_start），（dct_type），（mb_quant），（skipped_mb）の各項目の有無により、組み合わせ１乃至組み合わせ５の５つの組み合わせが用意されている。
【０２９８】
組み合わせ１は、完全にtransparentなビットストリームを再構成することを目的とした組み合わせである。この組み合わせによれば、発生符号量情報を用いることによる精度の高いトランスコーディングが実現できる。組み合わせ２も、完全にtransparentなビットストリームを再構成することを目的とした組み合わせである。組み合わせ３は、完全にtransparentなビットストリームを再構成することはできないが、視覚的にほぼtransparentなビットストリームを再構成できるようにするための組み合わせである。組み合わせ４は、transparentという観点からは組み合わせ３よりも劣るが、視覚上問題がないビットストリームの再構成ができる組み合わせである。組み合わせ５は、transparentという観点からは組み合わせ４よりも劣るが、少ない履歴情報でビットストリームの完全ではない再構成ができる組み合わせである。
【０２９９】
これらの組み合わせのうち、組み合わせの番号の数字が小さいものほど、機能的には上位であるが、履歴を転送するのに必要となる容量が多くなる。従って、想定するアプリケーションと履歴に使用できる容量を考慮することによって、伝送する組み合わせを決定する必要がある。
【０３００】
次に、図４７のフローチャートを参照して、図４５のトランスコーディングシステムの動作について説明する。
【０３０１】
ステップＳ１において、ビデオデコーディングシステム５１の復号装置６１は、入力されたビットストリームを復号し、そのビットストリームを符号化する際に使用された符号化パラメータ（第４世代）を抽出し、その符号化パラメータ（第４世代）をヒストリ情報多重化装置６３に出力するとともに、復号したビデオデータを、やはりヒストリ情報多重化装置６３に出力する。ステップＳ２において、復号装置６１は、入力されたビットストリームからuser_dataを抽出し、ヒストリデコーディング装置６２に出力する。ステップＳ３において、ヒストリデコーディング装置６２は入力されたuser_dataから、組み合わせ情報（記述子）を抽出し、更にそれを用いて、履歴情報としての符号化パラメータ（第２世代乃至第３世代）を抽出し、ヒストリ情報多重化装置６３に出力する。
【０３０２】
ステップＳ４において、ヒストリ情報多重化装置６３は、ステップＳ１で取り出された復号装置５１から供給される現在の符号化パラメータ（第４世代）と、ステップＳ３でヒストリデコーディング装置６２が出力した過去の符号化パラメータ（第２世代乃至第３世代）とを、復号装置６１から供給されるベースバンドのビデオデータに、図７および図１１に示すようなフォーマットに従って多重化し、ヒストリ情報分離装置６４に出力する。
【０３０３】
ヒストリ情報分離装置６４は、ステップＳ５において、ヒストリ情報多重化装置６３より供給されたベースバンドのビデオデータから、符号化パラメータを抽出し、その中から今回の符号化に最も適している符号化パラメータ（例えば、第２世代の符号化パラメータ）を選択し、記述子とともに、組み合わせ記述子分離部１６１に出力する。また、ヒストリ情報分離装置６４は、今回の符号化に最適と判定された符号化パラメータ以外の符号化パラメータ（例えば、最適な符号化パラメータが第２世代の符号化パラメータであると判定された場合には、それ以外の第１世代、第３世代、および第４世代の符号化パラメータ）をヒストリエンコーディング装置６５に出力する。
【０３０４】
ステップＳ６において、ヒストリエンコーディング装置６５は、ヒストリ情報分離装置５４より入力された符号化パラメータをuser_dataに記述し、そのuser_data（converted_history_stream（））を符号化装置６６に出力する。
【０３０５】
ステップＳ７において、組み合わせ記述子分離部１６１は、ヒストリ情報分離装置６４より供給されたデータから、符号化パラメータと記述子を分離し、符号化パラメータ（第２世代）を、スイッチ１６３の一方の接点に供給する。スイッチ１６３の他方の接点には、符号化パラメータ算出部１６２が、ヒストリ情報分離装置６４が出力するベースバンドのビデオデータから、符号化パラメータを算出し、供給している。
【０３０６】
ステップＳ８において、スイッチ１６３は、組み合わせ記述子分離部１６１が出力した記述子に対応して、組み合わせ記述子分離部１６１が出力した符号化パラメータ、または符号化パラメータ算出部１６２が出力した符号化パラメータのいずれかを選択し、符号化装置６６に出力する。すなわち、スイッチ１６３では、組み合わせ記述子分離部１６１から供給された符号化パラメータが有効である場合には、組み合わせ記述子分離部１６１が出力する符号化パラメータが選択されるが、組み合わせ記述子分離部１６１が出力する符号化パラメータが無効である場合には、符号化パラメータ算出部１６２がベースバンドビデオを処理することで算出した符号化パラメータが選択される。この選択は、伝送メディアの容量に対応して行われる。
【０３０７】
ステップＳ９において、符号化装置６６は、スイッチ１６３から供給された符号化パラメータに基づいて、ヒストリ情報分離装置１０５より供給されたベースバンドビデオ信号を符号化する。
【０３０８】
ステップＳ１０において、符号化装置６６は、符号化したビットストリームに、ヒストリエンコーディング装置６５より供給されたuser_dataを多重化し、出力して、処理が終了される。
【０３０９】
このようにして、各履歴によって得られる符号化パラメータの組み合わせが異なっているような場合でも、支障なくトランスコーディングすることが可能となる。
【０３１０】
このように、履歴情報は、図１５に示したように、ビデオストリームのuser_data（）関数の一種としてのhistory_stream（）（より正確には、converted_history_stream（））で伝送される。そのhistory_stream（）のシンタックスは、図２４に示した通りである。履歴情報の項目の組み合わせを表す記述子（red_bw_flag，red_bw_indicator）、およびMPEGのストリームではサポートされていない項目（num_other_bits，num_mv_bits，num_coef_bits）は、この図２４の中のre_coding_stream_info（）関数により伝送される。
【０３１１】
re_coding_stream_info（）関数は、図４８に示すように、user_data_start_code，re_coding_stream_info_ID，red_bw_flag，red_bw_indicator，marker_bit，num_other_bits，num_mv_bits，num_coef_bitsなどのデータエレメントより構成される。
【０３１２】
user_data_start_codeは、user_dataが開始することを表すスタートコードである。re_coding_stream_info_IDは、１６ビットの整数であり、re_coding_stream_info（）関数の識別のために用いられる。その値は、具体的には、”1001 0001 1110 1100”（0x91ec）とされる。
【０３１３】
red_bw_flagは、１ビットのフラグであり、履歴情報が全ての項目を伝送する場合には０とされ、このフラグの値が１である場合、このフラグに続くred_bw_indicatorを調べることにより、図４６に示した５個の組み合わせのうち、どの組み合わせで項目が送られているのかを決定することができる。
【０３１４】
red_bw_indicatorは、２ビットの整数であり、項目の組み合わせを図４９に示すように記述する。
【０３１５】
即ち、図４６に示した５つの組み合わせのうち、組み合わせ１の場合、red_bw_flagは０とされ、組み合わせ２乃至組み合わせ５のとき、red_bw_flagは１とされる。これに対して、red_bw_indicatorは、組み合わせ２の場合０とされ、組み合わせ３の場合１とされ、組み合わせ４の場合２とされ、組み合わせ５の場合３とされる。
【０３１６】
従って、red_bw_indicatorは、red_bw_flagが１の場合に（組み合わせ２乃至組み合わせ５の場合に）規定される。
【０３１７】
更に、図４９の組み合わせ１の場合（red_bw_flagが０である場合）、マクロブロック毎に、marker_bit，num_other_bits，num_mv_bits，num_coef_bitsが記述される。これら４つのデータエレメントは、組み合わせ２乃至組み合わせ５の場合（red_bw_flagが１の場合）規定されない。
【０３１８】
図３６に示したように、picture_data（）関数は、１個以上のslice（）関数から構成される。しかしながら、組み合わせ５の場合、picture_data（）関数を含めて、それ以下のシンタックス要素は伝送されない。この場合、履歴情報は、picture_typeなどのpicture単位の情報の伝送を意図したものとなる。
【０３１９】
組み合わせ１乃至組み合わせ４の場合、図３７に示したslice（）関数が存在する。しかしながら、このslice（）関数によって決定されるsliceの位置情報と、元のビットストリームのsliceの位置情報は、履歴情報の項目の組み合わせに依存する。組み合わせ１または組み合わせ２の場合、履歴情報の元となったビットストリームのsliceの位置情報と、slice（）関数によって決定されるsliceの位置情報とは、同一である必要がある。
【０３２０】
図３８に示すmacroblock（）関数のシンタックス要素は、履歴情報の項目の組み合わせに依存する。macroblock_escape，macroblock_address_increment，macroblock_modes（）関数は、常に存在する。しかしながら、macroblock_escapeとmacroblock_address_incrementの情報としての有効性は、組み合わせによって決定される。履歴情報の項目の組み合わせが、組み合わせ１または組み合わせ２の場合、元のビットストリームのskipped_mb情報と同じものが伝送される必要がある。
【０３２１】
組み合わせ４の場合、motion_vectors（）関数は存在しない。組み合わせ１乃至組み合わせ３の場合、macroblock_modes（）関数のmacroblock_typeによって、motion_vectors（）関数の存在が決定される。組み合わせ３または組み合わせ４の場合には、coded_block_pattern（）関数は存在しない。組み合わせ１と組み合わせ２の場合、macroblock_modes（）関数のmacroblock_typeによって、coded_block_pattern（）関数の存在が決定される。
【０３２２】
図３９に示したmacroblock_modes（）関数のシンタックス要素は、履歴情報の項目の組み合わせに依存する。macroblock_typeは、常に存在する。組み合わせが組み合わせ４である場合、flame_motion_type，field_motion_type，dct_typeは存在しない。
【０３２３】
macroblock_typeより得られるパラメータの情報としての有効性は、履歴情報の項目の組み合わせによって決定される。
【０３２４】
履歴情報の項目の組み合わせが組み合わせ１または組み合わせ２である場合、macroblock_quantは、元のビットストリームと同じである必要がある。組み合わせ３または組み合わせ４の場合、macroblock_quantは、macroblock（）関数内のquantiser_scale_codeの存在を表し、元のビットストリームと同じである必要はない。
【０３２５】
組み合わせが組み合わせ１乃至組み合わせ３である場合、macroblock_motion_forwardとmacroblock_motion_backwardは、元のビットストリームと同一である必要がある。組み合わせが組み合わせ４または組み合わせ５である場合、その必要はない。
【０３２６】
組み合わせが組み合わせ１または組み合わせ２である場合、macroblock_patternは、元のビットストリームと同一である必要がある。組み合わせ３の場合、macroblock_patternは、dct_typeの存在を示すのに用いられる。組み合わせが組み合わせ４である場合、組み合わせ１乃至組み合わせ３における場合のような関係は成立しない。
【０３２７】
履歴情報の項目の組み合わせが組み合わせ１乃至組み合わせ３の場合、macroblock_intraは、元のビットストリームと同一である必要がある。組み合わせ４の場合には、その限りでない。
【０３２８】
図２４のhistory_stream（）は、履歴情報を可変長とする場合のシンタックスであるが、図１７乃至図２３に示すように、固定長のシンタックスとする場合、固定長の履歴情報内に、伝送される項目中のどれが有効であるかを示す情報としての記述子（red_bw_flagとred_bw_indicator）をベースバンド画像に重畳し、伝送するようにする。その結果、この記述子を調べることにより、フィールドとして存在するが、その内容は無効であるといった判断をすることが可能となる。
【０３２９】
このため、図２１に示すように、re_coding_stream_informationとして、user_data_start_code，re_coding_stream_info_ID，red_bw_flag，red_bw_indicator，marker_bitが配置されている。それぞれの意味は、図４８における場合と同様である。
【０３３０】
このように履歴として伝送する符号化パラメータの要素をアプリケーションに応じた組み合わせで伝送するようにすることで、アプリケーションに応じた履歴を適当なデータ量で伝送するようにすることができる。
【０３３１】
以上のように、履歴情報を可変長符号として伝送する場合、re_coding_stream_info（）関数は、図４８に示すように構成され、図２４に示すように、history_stream（）関数の一部として伝送される。これに対して、履歴情報を固定長符号として伝送する場合には、図２１に示したように、history_stream（）関数の一部として、re_coding_stream_information（）が伝送される。図２１の例では、re_coding_stream_informationとして、user_data_start_code，re_coding_stream_info_ID，red_bw_flag，red_bw_indicatorが伝送される。
【０３３２】
また、図４５のヒストリ情報多重化装置６３が出力するベースバンドの信号中における履歴情報の伝送のために、図５０に示すようなRe_Coding information Bus macroblock formatが規定される。このマクロブロックは、１６×１６（＝２５６）ビットで構成される。そして、そのうちの図５０において上から３行目と４行目に示す３２ビットが、picrate_elementとされる。このpicrate_elementには、図５１乃至図５３に示すPicture rate elementsが記述される。図５１の上から２行目に１ビットのred_bw_flagが規定されており、また、３行目に３ビットのred_bw_indicatorが規定されている。即ち、これらのフラグred_bw_flag，red_bw_indicatorは、図５０のpicrate_elementとして伝送される。
【０３３３】
図５０のその他のデータについて説明すると、SRIB_sync_codeは、このフォーマットのマクロブロックの最初の行が左詰めにアライメントされていることを表すコードであり、具体的には、”１１１１１”に設定される。fr_fl_SRIBは、picture_structureがフレームピクチャ構造の場合（その値が”１１”である場合）、１に設定され、Re_Coding Information Bus macroblockが１６ラインを超えて伝送されることを表し、picture_structureがフレーム構造ではない場合、０に設定され、Re_Coding Information Busが１６ラインを超えて伝送されることを意味する。この機構により、Re_Coding Information Busが、空間的かつ時間的にデコードされたビデオフレームまたはフィールドの対応する画素にロックされる。
【０３３４】
SRIB_top_field_firstは、元のビットストリームに保持されているtop_field_firstと同じ値に設定され、関連するビデオのRe_Coding Information Busの時間的アライメントをrepeat_first_fieldとともに表している。SRIB_repeat_first_fieldは、元のビットストリームに保持されているrepeat_first_fieldと同じ値に設定される。first fieldのRe_Coding Information Busの内容は、このフラグに示されるように繰り返される必要がある。
【０３３５】
422_420_chromaは、元のビットストリームが４：２：２または４：２：０のいずれであるかを表す。その値の０は、ビットストリームが４：２：０であり、色差信号のアップサンプリングが、４：２：２のビデオが出力されるように行われたことを表す。その値の０は、色差信号のフィルタリング処理が実行されていないことを表す。
【０３３６】
rolling_SRIB_mb_refは、１６ビットのモジュロ65521を表し、この値は、毎マクロブロック毎にインクリメントされる。この値は、フレームピクチャ構造のフレームに渡って連続している必要がある。さもなくば、この値は、フィールドに渡って連続している必要がある。この値は、０から65520の間の所定の値に初期化される。これにより、レコーダのシステムに、ユニークなRe_Coding Information Busの識別子を組み込むことが許容される。
【０３３７】
Re_Coding Information Bus macroblockのその他のデータの意味は、上述した通りであるので、ここでは省略する。
【０３３８】
図５４に示すように、図５０の２５６ビットのRe_Coding Information Busのデータは、１ビットずつ、色差データのLSBであるCb[0][0]，Ｃｒ[0][0]，Cb[1][0]，Ｃｒ[1][0]に配置される。図５４に示すフォーマットにより、４ビットのデータを送ることができるので、図５０の２５６ビットのデータは、図５４のフォーマットを６４（＝２５６／４）個送ることで伝送することができる。
【０３３９】
このように、復号処理および符号化処理の繰り返しによる画質劣化の蓄積を低減することができる本発明のトランスコーディングシステムにおいて、過去の符号化処理において生成された符号化パラメータを、情報の使用頻度に応じてV Blanking領域およびH Blanking領域に記述するようにしたので、必要に応じた情報を容易に取り出すことができる。また、利用したい情報によって、必要に応じたハードウェアを選択する（あるいは、必要に応じて、ハードウェアを削除する）ことが可能である。
【０３４０】
更に、本発明のトランスコーディングシステムは、ビデオデコーディングシステムで、同期符号（start_code）を、常にパケットの先頭に位置するように記述するようにしたので、ベースバンドビデオ信号を入力されたビデオエンコーディングシステムは、入力されたパケットが欠落していた場合の復帰を、容易に実行することができる。
【０３４１】
また、以上の説明では、符号化パラメータを圧縮して伝送する例について説明したが、圧縮せずに伝送するものであっても本発明を適応することができる。
【０３４２】
なお、上記各処理を行うコンピュータプログラムは、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの記録媒体に記録して提供するほか、インターネット、デジタル衛星などのネットワークを介して伝送し、ユーザの記録媒体に記録させることで提供することができる。
【０３４３】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３４４】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。
【０３４５】
【発明の効果】
請求項１に記載の復号装置、請求項５に記載の復号方法、請求項６に記載の記録媒体によれば、入力された符号化ストリームを復号して出力信号を生成し、入力された符号化ストリームに記述されている符号化パラメータを抽出し、抽出された符号化パラメータを、ピクチャ層以上の符号化パラメータである第１の符号化パラメータとスライス層以下の符号化パラメータである第２の符号化パラメータに分離し、分離された第１の符号化パラメータおよび第２の符号化パラメータを、所定の形式のデータに変換し、変換された第１の符号化パラメータを、復号された出力信号の垂直ブランキング領域に挿入し、変換された第２の符号化パラメータを、復号された出力信号の水平ブランキング領域に挿入するようにしたので、受信側が、容易に、必要な情報のみを取り出すことができるデータを生成し、出力することができる。また、符号化パラメータを必要度に応じて、垂直ブランキング領域または水平ブランキング領域のいずれかに挿入することができる。
【０３４６】
請求項７に記載の符号化装置、請求項９に記載の符号化方法、請求項１０に記載の記録媒体によれば、ピクチャ層以上の符号化パラメータである第１の符号化パラメータが垂直ブランキング領域に挿入され、スライス層以下の符号化パラメータである第２の符号化パラメータが水平ブランキング領域に挿入された信号の入力を受け、その信号から第１の符号化パラメータまたは第２の符号化パラメータを抽出し、抽出された第１の符号化パラメータまたは第２の符号化パラメータを選択し、選択された第１の符号化パラメータまたは第２の符号化パラメータを利用して、入力された信号を符号化して符号化ストリームを生成するようにしたので、入力された信号の垂直ブランキング領域または水平ブランキング領域から必要な符号化パラメータのみを容易に取り出して、符号化処理に利用することができる。
【０３４７】
請求項１１に記載の情報処理装置、請求項１４に記載の情報処理方法、請求項１５に記載の記録媒体によれば、入力された第１の符号化ストリームを復号して出力信号を生成し、復号された出力信号を符号化して、第２の符号化ストリームを生成し、復号時に、入力された第１の符号化ストリームに記述されている符号化パラメータを抽出し、抽出された符号化パラメータを、ピクチャ層以上の符号化パラメータである第１の符号化パラメータとスライス層以下の符号化パラメータである第２の符号化パラメータに分離し、分離された第１の符号化パラメータおよび第２の符号化パラメータを、所定の形式のデータに変換し、変換された第１の符号化パラメータを、復号された出力信号の垂直ブランキング領域に挿入し、変換された第２の符号化パラメータを、復号された出力信号の水平ブランキング領域に挿入し、抽出された符号化パラメータを用いて第１の符号化ストリームを復号し、符号化時に、復号された出力信号の垂直ブランキング領域に挿入されている第１の符号化パラメータまたは水平ブランキング領域に挿入されている第２の符号化パラメータを抽出し、抽出された第１の符号化パラメータまたは第２の符号化パラメータを選択し、選択された第１の符号化パラメータまたは第２の符号化パラメータを利用して、復号手段より復号された出力信号を符号化して、第２の符号化ストリームを生成するようにしたので、入力された信号の垂直ブランキング領域または水平ブランキング領域から必要な符号化パラメータのみを容易に取り出して、符号化処理に利用することができる。
【図面の簡単な説明】
【図１】本発明におけるトランスコーディングシステムの構成を示すブロック図である。
【図２】図１のビデオデコーディングシステムの詳細な構成を示すブロック図である。
【図３】図１のビデオエンコーディングシステムの詳細な構成を示すブロック図である。
【図４】トランスコーディングシステムの他の構成を示すブロック図である。
【図５】図２の復号装置に内蔵されるデコーダの詳細な構成を示すブロック図である。
【図６】マクロブロックの画素を説明するための図である。
【図７】 V BlankingおよびH Blankingを説明するための図である。
【図８】 start_cordの位置を説明するための図である。
【図９】フィールドストラクチャおよびフレームストラクチャを説明するための図である。
【図１０】 start_cordの位置を説明するための図である。
【図１１】符号化パラメータが記録される領域を説明する図である。
【図１２】図３の符号化装置に内蔵されるエンコーダの詳細な構成を示すブロック図である。
【図１３】図４のトランスコーディングシステムが実際に使用される状態を示す図である。
【図１４】密結合されたトランスコーディングシステムの構成を示すブロック図である。
【図１５】ビデオシーケンスのストリームのシンタックスを説明する図である。
【図１６】図１５のシンタックスの構成を説明する図である。
【図１７】固定長の履歴情報を記録するhistory_stream（）のシンタックスを説明する図である。
【図１８】固定長の履歴情報を記録するhistory_stream（）のシンタックスを説明する図である。
【図１９】固定長の履歴情報を記録するhistory_stream（）のシンタックスを説明する図である。
【図２０】固定長の履歴情報を記録するhistory_stream（）のシンタックスを説明する図である。
【図２１】固定長の履歴情報を記録するhistory_stream（）のシンタックスを説明する図である。
【図２２】固定長の履歴情報を記録するhistory_stream（）のシンタックスを説明する図である。
【図２３】固定長の履歴情報を記録するhistory_stream（）のシンタックスを説明する図である。
【図２４】可変長の履歴情報を記録するhistory_stream（）のシンタックスを説明する図である。
【図２５】 sequence_header（）のシンタックスを説明する図である。
【図２６】 sequence_extension（）のシンタックスを説明する図である。
【図２７】 extension_and_user_data（）のシンタックスを説明する図である。
【図２８】 user_data（）のシンタックスを説明する図である。
【図２９】 group_of_pictures_header（）のシンタックスを説明する図である。
【図３０】 picture_header（）のシンタックスを説明する図である。
【図３１】 picture_coding_extension（）のシンタックスを説明する図である。
【図３２】 extension_data（）のシンタックスを説明する図である。
【図３３】 quant_matrix_extension（）のシンタックスを説明する図である。
【図３４】 copyright_extension（）のシンタックスを説明する図である。
【図３５】 picture_display_extension（）のシンタックスを説明する図である。
【図３６】 picture_data（）のシンタックスを説明する図である。
【図３７】 slice（）のシンタックスを説明する図である。
【図３８】 macroblock（）のシンタックスを説明する図である。
【図３９】 macroblock_modes（）のシンタックスを説明する図である。
【図４０】 motion_vectors（s）のシンタックスを説明する図である。
【図４１】 motion_vector（r，s）のシンタックスを説明する図である。
【図４２】Ｉピクチャに対するmacroblock_typeの可変長符号を説明する図である。
【図４３】Ｐピクチャに対するmacroblock_typeの可変長符号を説明する図である。
【図４４】Ｂピクチャに対するmacroblock_typeの可変長符号を説明する図である。
【図４５】トランスコーディングシステムの他の構成を示すブロック図である。
【図４６】履歴情報の項目の組み合わせを説明する図である。
【図４７】図４５のトランスコーディングシステムの動作を説明するフローチャートである。
【図４８】 re_coding_stream_info（）のシンタックスを説明する図である。
【図４９】 red_bw_flag，red_bw_indicatorを説明する図である。
【図５０】 Re_Coding Information Bus macroblock formationを説明する図である。
【図５１】 Picture rate elementsを説明する図である。
【図５２】 Picture rate elementsを説明する図である。
【図５３】 Picture rate elementsを説明する図である。
【図５４】 Re_Coding Information Busが記録される領域を説明する図である。
【符号の説明】
１ ビデオデコーディングシステム， ２ ビデオエンコーディングシステム， １１ 復号装置， １２ ヒストリ情報多重化装置， １３ データ分類装置， １４ ヒストリデコーディング装置， １５ フォーマットコンバータ，１６ V Blanking挿入装置， １７ フォーマットコンバータ， １８ H Blanking挿入装置， ２１ ユーザデータデコーダ， ２２ コンバータ， ２３ヒストリVLD， ３１ H Blanking抽出装置， ３２ フォーマットコンバータ ３３ マルチプレクサ， ３４ V Blanking抽出装置， ３５ フォーマットコンバータ， ３６ パラメータ再生部， ３７ ヒストリ情報分離化装置，３８ ヒストリエンコーディング装置， ３９ 符号化装置， ４１ ユーザデータフォーマッタ， ４２ コンバータ， ４３ヒストリVLC， ５１ ビデオデコーディングシステム， ５２ ビデオエンコーディングシステム， ６１復号装置， ６２ ヒストリデコーディング装置， ６３ ヒストリ情報多重化装置， ６４ ヒストリ情報分離装置 ，６５ ヒストリエンコーディング装置， ６６ 符号化装置， ７１ ユーザデータデコーダ， ７２ コンバータ， ７３ ヒストリVLD， ６４ ヒストリ情報分離化装置， ６５ ヒストリエンコーディング装置， ６６ 符号化装置， ７４ ユーザデータフォーマッタ， ７５ コンバータ， ７６ヒストリVLC， ８１ デコーダ， １０１ エンコーダ， １５１ 符号化パラメータ選択回路， １６１ 組み合わせ記述子分離部， １６２ 符号化パラメータ算出部， １６３ スイッチ

Claims (15)

  1. 入力された符号化ストリームを復号する復号装置において、
    入力された前記符号化ストリームを復号して出力信号を生成する復号手段と、
    入力された前記符号化ストリームに記述されている符号化パラメータを抽出する抽出手段と、
    前記抽出手段により抽出された前記符号化パラメータを、ピクチャ層以上の前記符号化パラメータである第１の符号化パラメータとスライス層以下の前記符号化パラメータである第２の符号化パラメータに分離する分離手段と、
    前記分離手段により分離された前記第１の符号化パラメータおよび前記第２の符号化パラメータを、所定の形式のデータに変換する変換手段と、
    前記変換手段により変換された前記第１の符号化パラメータを、前記復号手段により復号された前記出力信号の垂直ブランキング領域に挿入するとともに、前記変換手段により変換された前記第２の符号化パラメータを、前記復号手段により復号された前記出力信号の水平ブランキング領域に挿入する挿入手段と
    を備えることを特徴とする復号装置。
  2. 前記所定の形式のデータは、アンシラリパケット形式である
    ことを特徴とする請求項１に記載の復号装置。
  3. 前記出力信号のパケットの先頭に同期符号を付加する同期符号付加手段
    を更に備えることを特徴とする請求項１に記載の復号装置。
  4. 入力される前記符号化ストリームは、圧縮データであり、前記抽出手段は、前記圧縮データより前記符号化パラメータを抽出する
    ことを特徴とする請求項１に記載の復号装置。
  5. 入力された符号化ストリームを復号する復号装置の復号方法において、
    入力された前記符号化ストリームを復号して出力信号を生成する復号ステップと、
    入力された前記符号化ストリームに記述されている符号化パラメータを抽出する抽出ステップと、
    前記抽出ステップの処理により抽出された前記符号化パラメータを、ピクチャ層以上の前記符号化パラメータである第１の符号化パラメータとスライス層以下の前記符号化パラメータである第２の符号化パラメータに分離する分離ステップと、
    前記分離ステップの処理により分離された前記第１の符号化パラメータおよび前記第２の符号化パラメータを、所定の形式のデータに変換する変換ステップと、
    前記変換ステップの処理により変換された前記第１の符号化パラメータを、前記復号ステップの処理により復号された前記出力信号の垂直ブランキング領域に挿入するとともに、前記変換ステップの処理により変換された前記第２の符号化パラメータを、前記復号ステップの処理により復号された前記出力信号の水平ブランキング領域に挿入する挿入ステップと
    を含むことを特徴とする復号方法。
  6. 入力された符号化ストリームを復号して出力する復号装置用のプログラムであって、
    入力された前記符号化ストリームを復号して出力信号を生成する復号ステップと、
    入力された前記符号化ストリームに記述されている符号化パラメータを抽出する抽出ステップと、
    前記抽出ステップの処理により抽出された前記符号化パラメータを、ピクチャ層以上の前記符号化パラメータである第１の符号化パラメータとスライス層以下の前記符号化パラメータである第２の符号化パラメータに分離する分離ステップと、
    前記分離ステップの処理により分離された前記第１の符号化パラメータおよび前記第２の符号化パラメータを、所定の形式のデータに変換する変換ステップと、
    前記変換ステップの処理により変換された前記第１の符号化パラメータを、前記復号ス テップの処理により復号された前記出力信号の垂直ブランキング領域に挿入するとともに、前記変換ステップの処理により変換された前記第２の符号化パラメータを、前記復号ステップの処理により復号された前記出力信号の水平ブランキング領域に挿入する挿入ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  7. 入力された信号を符号化して、符号化ストリームを生成する符号化装置において、
    ピクチャ層以上の符号化パラメータである第１の符号化パラメータが垂直ブランキング領域に挿入され、スライス層以下の前記符号化パラメータである第２の符号化パラメータが水平ブランキング領域に挿入された前記信号から前記第１の符号化パラメータまたは前記第２の符号化パラメータを抽出する抽出手段と、
    前記抽出手段により抽出された前記第１の符号化パラメータまたは前記第２の符号化パラメータを選択する選択手段と、
    前記選択手段により選択された前記第１の符号化パラメータまたは前記第２の符号化パラメータを利用して、入力された前記信号を符号化して符号化ストリームを生成する符号化手段と
    を備えることを特徴とする符号化装置。
  8. 入力された前記信号にパケットとして挿入されている前記符号化パラメータに欠落があった場合、入力された前記パケットの先頭を参照して欠落部分を再生する再生手段
    を更に備えることを特徴とする請求項７に記載の符号化装置。
  9. 入力された信号を符号化して、符号化ストリームを生成する符号化装置の符号化方法において、
    ピクチャ層以上の符号化パラメータである第１の符号化パラメータが垂直ブランキング領域に挿入され、スライス層以下の前記符号化パラメータである第２の符号化パラメータが水平ブランキング領域に挿入された前記信号から前記第１の符号化パラメータまたは前記第２の符号化パラメータを抽出する抽出ステップと、
    前記抽出ステップの処理により抽出された前記第１の符号化パラメータまたは前記第２の符号化パラメータを選択する選択ステップと、
    前記選択ステップの処理により選択された前記第１の符号化パラメータまたは前記第２の符号化パラメータを利用して、入力された前記信号を符号化して符号化ストリームを生成する符号化ステップと
    を含むことを特徴とする符号化方法。
  10. 入力された信号を符号化して、符号化ストリームを生成する符号化装置用のプログラムであって、
    ピクチャ層以上の符号化パラメータである第１の符号化パラメータが垂直ブランキング領域に挿入され、スライス層以下の前記符号化パラメータである第２の符号化パラメータが水平ブランキング領域に挿入された前記信号から前記第１の符号化パラメータまたは前記第２の符号化パラメータを抽出する抽出ステップと、
    前記抽出ステップの処理により抽出された前記第１の符号化パラメータまたは前記第２の符号化パラメータを選択する選択ステップと、
    前記選択ステップの処理により選択された前記第１の符号化パラメータまたは前記第２の符号化パラメータを利用して、入力された前記信号を符号化して符号化ストリームを生成する符号化ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
  11. 入力された第１の符号化ストリームから第２の符号化ストリームを生成する情報処理装置において、
    入力された前記第１の符号化ストリームを復号して出力信号を生成する復号手段と、
    前記復号手段により復号された前記出力信号を符号化して、前記第２の符号化ストリームを生成する符号化手段と
    を備え、
    前記復号手段は、
    入力された前記第１の符号化ストリームに記述されている符号化パラメータを抽出する第１の抽出手段と、
    前記第１の抽出手段により抽出された前記符号化パラメータを、ピクチャ層以上の前記符号化パラメータである第１の符号化パラメータとスライス層以下の前記符号化パラメータである第２の符号化パラメータに分離する分離手段と、
    前記分離手段により分離された前記第１の符号化パラメータおよび前記第２の符号化パラメータを、所定の形式のデータに変換する変換手段と、
    前記変換手段により変換された前記第１の符号化パラメータを、前記復号手段により復号された前記出力信号の垂直ブランキング領域に挿入するとともに、前記変換手段により変換された前記第２の符号化パラメータを、前記復号手段により復号された前記出力信号の水平ブランキング領域に挿入する挿入手段とを備え、
    前記第１の抽出手段により抽出された前記符号化パラメータを用いて前記第１の符号化ストリームを復号し、
    前記符号化手段は、
    前記復号手段より復号された前記出力信号の前記垂直ブランキング領域に挿入されている前記第１の符号化パラメータまたは前記水平ブランキング領域に挿入されている前記第２の符号化パラメータを抽出する第２の抽出手段と、
    前記第２の抽出手段により抽出された前記第１の符号化パラメータまたは前記第２の符号化パラメータを選択する選択手段とを備え、
    前記選択手段により選択された前記第１の符号化パラメータまたは前記第２の符号化パラメータを利用して、前記復号手段より復号された前記出力信号を符号化して、前記第２の符号化ストリームを生成する
    ことを特徴とする情報処理装置。
  12. 前記所定の形式のデータは、アンシラリパケット形式である
    ことを特徴とする請求項１１に記載の情報処理装置。
  13. 前記復号手段は、前記符号化手段に出力する信号のパケットの先頭に同期符号を付加する同期符号付加手段
    を更に備えることを特徴とする請求項１１に記載の情報処理装置。
  14. 入力された第１の符号化ストリームから第２の符号化ストリームを生成して出力する情報処理装置の情報処理方法において、
    入力された前記第１の符号化ストリームを復号して出力信号を生成する復号ステップと、
    前記復号ステップの処理により復号された前記出力信号を符号化して、前記第２の符号化ストリームを生成する符号化ステップと
    を含み、
    前記復号ステップは、
    入力された前記第１の符号化ストリームに記述されている符号化パラメータを抽出する第１の抽出ステップと、
    前記第１の抽出ステップの処理により抽出された前記符号化パラメータを、ピクチャ層以上の前記符号化パラメータである第１の符号化パラメータとスライス層以下の前記符号化パラメータである第２の符号化パラメータに分離する分離ステップと、
    前記分離ステップの処理により分離された前記第１の符号化パラメータおよび前記第２の符号化パラメータを、所定の形式のデータに変換する変換ステップと、
    前記変換ステップの処理により変換された前記第１の符号化パラメータを、前記復号ステップの処理により復号された前記出力信号の垂直ブランキング領域に挿入するとともに、前記変換ステップの処理により変換された前記第２の符号化パラメータを、前記復号 ステップの処理により復号された前記出力信号の水平ブランキング領域に挿入する挿入ステップとを含み、
    前記復号ステップの処理では、前記第１の抽出ステップの処理により抽出された前記符号化パラメータを用いて前記第１の符号化ストリームを復号し、
    前記符号化ステップは、
    前記復号ステップの処理により復号された前記出力信号の前記垂直ブランキング領域に挿入されている前記第１の符号化パラメータまたは前記水平ブランキング領域に挿入されている前記第２の符号化パラメータを抽出する第２の抽出ステップと、
    前記第２の抽出ステップの処理により抽出された前記第１の符号化パラメータまたは前記第２の符号化パラメータを選択する選択ステップとを含み、
    前記符号化ステップの処理では、前記選択ステップの処理により選択された前記第１の符号化パラメータまたは前記第２の符号化パラメータを利用して、前記復号ステップの処理により復号された前記出力信号を符号化して、前記第２の符号化ストリームを生成する
    ことを特徴とする情報処理方法。
  15. 入力された第１の符号化ストリームから第２の符号化ストリームを生成する情報処理装置用のプログラムであって、
    入力された前記第１の符号化ストリームを復号して出力信号を生成する復号ステップと、
    前記復号ステップの処理により復号された前記出力信号を符号化して、前記第２の符号化ストリームを生成する符号化ステップと
    を含み、
    前記復号ステップは、
    入力された前記第１の符号化ストリームに記述されている符号化パラメータを抽出する第１の抽出ステップと、
    前記第１の抽出ステップの処理により抽出された前記符号化パラメータを、ピクチャ層以上の前記符号化パラメータである第１の符号化パラメータとスライス層以下の前記符号化パラメータである第２の符号化パラメータに分離する分離ステップと、
    前記分離ステップの処理により分離された前記第１の符号化パラメータおよび前記第２の符号化パラメータを、所定の形式のデータに変換する変換ステップと、
    前記変換ステップの処理により変換された前記第１の符号化パラメータを前記復号ステップの処理により復号された前記出力信号の垂直ブランキング領域に挿入するとともに、前記変換ステップの処理により変換された前記第２の符号化パラメータを、前記復号ステップの処理により復号された前記出力信号の水平ブランキング領域に挿入する挿入ステップとを含み、
    前記復号ステップの処理では、前記第１の抽出ステップの処理により抽出された前記符号化パラメータを用いて前記第１の符号化ストリームを復号し、
    前記符号化ステップは、
    前記復号ステップの処理により復号された前記出力信号の前記垂直ブランキング領域に挿入されている前記第１の符号化パラメータまたは前記水平ブランキング領域に挿入されている前記第２の符号化パラメータを抽出する第２の抽出ステップと、
    前記第２の抽出ステップの処理により抽出された前記第１の符号化パラメータまたは前記第２の符号化パラメータを選択する選択ステップとを含み、
    前記符号化ステップの処理では、前記選択ステップの処理により選択された前記第１の符号化パラメータまたは前記第２の符号化パラメータを利用して、前記復号ステップの処理により復号された前記出力信号を符号化して、前記第２の符号化ストリームを生成する
    ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている
    記録媒体。
JP34494099A 1999-12-03 1999-12-03 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体 Expired - Fee Related JP3694888B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP34494099A JP3694888B2 (ja) 1999-12-03 1999-12-03 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
EP20070003528 EP1793618B1 (en) 1999-12-03 2000-11-30 Information processing apparatus, information processing method and recording medium
EP20000310636 EP1111932A3 (en) 1999-12-03 2000-11-30 Information processing apparatus, information processing method and recording medium
US09/727,347 US6556627B2 (en) 1999-12-03 2000-11-30 Information processing apparatus, information processing method and recording medium
US10/371,897 US7126993B2 (en) 1999-12-03 2003-02-20 Information processing apparatus, information processing method and recording medium
US11/510,995 US8170118B2 (en) 1999-12-03 2006-08-28 Information processing apparatus, information processing method and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34494099A JP3694888B2 (ja) 1999-12-03 1999-12-03 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2005143082A Division JP2005304065A (ja) 2005-05-16 2005-05-16 復号装置および復号方法、符号化装置および符号化方法、情報処理装置および情報処理方法、並びに、記録媒体

Publications (2)

Publication Number Publication Date
JP2001169292A JP2001169292A (ja) 2001-06-22
JP3694888B2 true JP3694888B2 (ja) 2005-09-14

Family

ID=18373191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34494099A Expired - Fee Related JP3694888B2 (ja) 1999-12-03 1999-12-03 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体

Country Status (3)

Country Link
US (3) US6556627B2 (ja)
EP (2) EP1111932A3 (ja)
JP (1) JP3694888B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7606124B2 (en) 2003-05-14 2009-10-20 Sony Corporation Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program
US7680187B2 (en) 1999-02-09 2010-03-16 Sony Corporation Coding system and method, encoding device and method, decoding device and method, recording device and method, and reproducing device and method
USRE43238E1 (en) 1994-03-29 2012-03-13 Sony Corporation Picture signal transmitting method and apparatus
US8170118B2 (en) 1999-12-03 2012-05-01 Sony Corporation Information processing apparatus, information processing method and recording medium
US8638849B2 (en) 1998-03-10 2014-01-28 Sony Corporation Transcoding system using encoding history information
CN103748628A (zh) * 2012-07-02 2014-04-23 索尼公司 解码装置和方法、编码装置和方法、以及程序

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6819395B2 (en) * 2002-08-30 2004-11-16 Texas Instruments Incorporated Digital cinema transport stream with embedded projector configuration data
FR2809573B1 (fr) * 2000-05-26 2002-08-16 Thomson Broadcast Systems Procede de codage d'un flux d'images video
JP4690635B2 (ja) 2000-08-15 2011-06-01 マイクロソフト コーポレーション メディアサンプルをタイムコーディングする方法、システム、およびデータ構造
US20020089602A1 (en) 2000-10-18 2002-07-11 Sullivan Gary J. Compressed timing indicators for media samples
JP3632591B2 (ja) * 2000-11-13 2005-03-23 日本電気株式会社 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体
US7392191B2 (en) * 2001-03-29 2008-06-24 Intellisist, Inc. Method and device to distinguish between voice conversation and automated speech recognition
US7409094B2 (en) * 2001-05-04 2008-08-05 Hewlett-Packard Development Company, L.P. Methods and systems for packetizing encoded data
US7076478B2 (en) * 2001-06-26 2006-07-11 Microsoft Corporation Wrapper playlists on streaming media services
US6990497B2 (en) 2001-06-26 2006-01-24 Microsoft Corporation Dynamic streaming media management
US6986018B2 (en) * 2001-06-26 2006-01-10 Microsoft Corporation Method and apparatus for selecting cache and proxy policy
US7804899B1 (en) * 2001-07-13 2010-09-28 Cisco Systems Canada Co. System and method for improving transrating of MPEG-2 video
US20040105453A1 (en) * 2001-08-14 2004-06-03 Shpak Dale John Capacity re-use in data communication networks
CN101409838B (zh) * 2001-09-14 2011-01-12 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置、图象处理系统
EP2819411B1 (en) * 2001-09-14 2018-08-29 NTT DoCoMo, Inc. Coding method and decoding method
KR100454501B1 (ko) * 2001-12-26 2004-10-28 브이케이 주식회사 영상신호를 부호화 또는 복호화하기 위한 예측 장치 및 방법
EP1345450A3 (en) * 2002-01-16 2005-04-20 Matsushita Electric Industrial Co., Ltd. Image coding apparatus, image coding method, and image coding program
US7149247B2 (en) 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
ATE352171T1 (de) 2002-01-22 2007-02-15 Microsoft Corp Verfahren zum ermöglichen von direktzugriff und spleissen in einem verschlüsselten videostrom
US7425986B2 (en) 2002-03-29 2008-09-16 Canon Kabushiki Kaisha Conversion apparatus for image data delivery
JP2004007563A (ja) * 2002-04-19 2004-01-08 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
TWI310137B (en) 2002-04-19 2009-05-21 Microsoft Corp Methods and systems for preventing start code emulation at locations that include non-byte aligned and/or bit-shifted positions
MXPA05000558A (es) * 2002-07-16 2005-04-19 Nokia Corp Metodo de acceso aleatorio y renovacion gradual de imagen en codificacion de video.
JP3938019B2 (ja) * 2002-11-22 2007-06-27 キヤノン株式会社 記録装置及び記録方法
US8204353B2 (en) * 2002-11-27 2012-06-19 The Nielsen Company (Us), Llc Apparatus and methods for tracking and analyzing digital recording device event sequences
JP3885021B2 (ja) * 2002-12-13 2007-02-21 キヤノン株式会社 撮像装置
FR2850826B1 (fr) * 2003-02-04 2005-04-01 Medialive Procede et dispositif de protection pour la diffusion securisee d'oeuvres audiovisuelles
US7657111B2 (en) * 2003-02-14 2010-02-02 Fujifilm Corporation Apparatus and program for image processing for obtaining processed compressed moving image data
JP2005004866A (ja) * 2003-06-11 2005-01-06 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4120934B2 (ja) * 2003-06-16 2008-07-16 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
US7091980B2 (en) * 2003-08-28 2006-08-15 Evans & Sutherland Computer Corporation System and method for communicating digital display data and auxiliary processing data within a computer graphics system
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US7924921B2 (en) 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US8213779B2 (en) 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US7852919B2 (en) 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7609762B2 (en) 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US7839930B2 (en) 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
JP4232588B2 (ja) * 2003-09-19 2009-03-04 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
JP4470431B2 (ja) * 2003-10-01 2010-06-02 ソニー株式会社 データ処理装置およびその方法
TWI225363B (en) * 2003-11-10 2004-12-11 Mediatek Inc Method and apparatus for controlling quantization level of a video encoding bit stream
TWI262660B (en) * 2003-11-19 2006-09-21 Inst Information Industry Video transcoder adaptively reducing frame rate
JP4931034B2 (ja) * 2004-06-10 2012-05-16 株式会社ソニー・コンピュータエンタテインメント 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体
WO2006014495A1 (en) 2004-07-02 2006-02-09 Nielsen Media Research, Inc. Methods and apparatus for identifying viewing information associated with a digital media device
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
WO2008091483A2 (en) * 2007-01-23 2008-07-31 Euclid Discoveries, Llc Computer method and apparatus for processing image data
US7916782B2 (en) 2004-08-18 2011-03-29 Panasonic Corporation Picture coding method, picture decoding method, picture coding apparatus, picture decoding apparatus, and program thereof
TWI248762B (en) * 2004-11-10 2006-02-01 Realtek Semiconductor Corp Video processing device and method thereof
JP4466378B2 (ja) * 2005-01-11 2010-05-26 株式会社ニコン 履歴付加装置、電子カメラ、および画像処理プログラム
JP4455357B2 (ja) * 2005-01-28 2010-04-21 キヤノン株式会社 情報処理装置及び情報処理方法
TWI296400B (en) * 2005-02-18 2008-05-01 Au Optronics Corp Video processing chip capable of adjusting aspect ratio and method of displaying an image thereby
US20060222251A1 (en) * 2005-04-01 2006-10-05 Bo Zhang Method and system for frame/field coding
US7868847B2 (en) * 2005-05-24 2011-01-11 Mark W Miles Immersive environments with multiple points of view
JP2008011026A (ja) * 2006-06-28 2008-01-17 Fujitsu Ltd 送信装置、受信装置、及び通信方法
JP4997243B2 (ja) * 2006-08-08 2012-08-08 パナソニック株式会社 画像符号化装置、その方法およびその集積回路
JP2008099027A (ja) * 2006-10-12 2008-04-24 Canon Inc 信号処理装置、撮像装置、及び信号処理方法
US7891818B2 (en) 2006-12-12 2011-02-22 Evans & Sutherland Computer Corporation System and method for aligning RGB light in a single modulator projector
US8243118B2 (en) 2007-01-23 2012-08-14 Euclid Discoveries, Llc Systems and methods for providing personal video services
EP2106663A2 (en) 2007-01-23 2009-10-07 Euclid Discoveries, LLC Object archival systems and methods
US8509590B2 (en) 2007-05-28 2013-08-13 Panasonic Corporation Metadata recording device and method thereof
TWI521939B (zh) * 2008-02-27 2016-02-11 恩康普丁公司 用於低頻寬顯示資訊傳輸之系統及方法
KR101421256B1 (ko) 2008-03-20 2014-07-18 삼성전자주식회사 휴대용 단말기의 대역 확장 기법을 이용한 부호화 장치 및방법
EP2255534B1 (en) * 2008-03-20 2017-12-20 Samsung Electronics Co., Ltd. Apparatus and method for encoding using bandwidth extension in portable terminal
US8358317B2 (en) 2008-05-23 2013-01-22 Evans & Sutherland Computer Corporation System and method for displaying a planar image on a curved surface
US8702248B1 (en) 2008-06-11 2014-04-22 Evans & Sutherland Computer Corporation Projection method for reducing interpixel gaps on a viewing surface
US8767838B1 (en) * 2008-09-05 2014-07-01 Zenverge, Inc. Cascading multiple video transcoders in a video processing system
US9083976B2 (en) 2008-09-05 2015-07-14 Freescale Semiconductor, Inc. Processing a video stream in real time based on binary information of the video stream
EP2345256B1 (en) 2008-10-07 2018-03-14 Euclid Discoveries, LLC Feature-based video compression
KR101590633B1 (ko) 2008-11-11 2016-02-02 삼성전자주식회사 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법
US8077378B1 (en) 2008-11-12 2011-12-13 Evans & Sutherland Computer Corporation Calibration system and method for light modulation device
KR20100061908A (ko) * 2008-12-01 2010-06-10 엘지전자 주식회사 영상표시장치, 영상전송장치, 영상전송방법 및 기록매체
US8723891B2 (en) * 2009-02-27 2014-05-13 Ncomputing Inc. System and method for efficiently processing digital video
JP5336945B2 (ja) * 2009-06-29 2013-11-06 ルネサスエレクトロニクス株式会社 画像処理装置
US9042444B2 (en) * 2010-07-15 2015-05-26 Dejero Labs Inc. System and method for transmission of data signals over a wireless network
US8942215B2 (en) 2010-07-15 2015-01-27 Dejero Labs Inc. System and method for transmission of data from a wireless mobile device over a multipath wireless router
US9756468B2 (en) 2009-07-08 2017-09-05 Dejero Labs Inc. System and method for providing data services on vehicles
US10165286B2 (en) 2009-07-08 2018-12-25 Dejero Labs Inc. System and method for automatic encoder adjustment based on transport data
US10117055B2 (en) 2009-07-08 2018-10-30 Dejero Labs Inc. System and method for providing data services on vehicles
US9565439B2 (en) * 2009-10-15 2017-02-07 Nbcuniversal Media, Llc System and method for enhancing data compression using dynamic learning and control
US8755444B2 (en) * 2010-08-06 2014-06-17 Qualcomm Incorporated Two-stage entropy decoding
US8344917B2 (en) * 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
US8907987B2 (en) 2010-10-20 2014-12-09 Ncomputing Inc. System and method for downsizing video data for memory bandwidth optimization
US9641826B1 (en) 2011-10-06 2017-05-02 Evans & Sutherland Computer Corporation System and method for displaying distant 3-D stereo on a dome surface
RU2648945C2 (ru) 2012-07-02 2018-03-28 Сони Корпорейшн Декодирующее устройство, способ декодирования, кодирующее устройство, способ кодирования и программа
TWI517142B (zh) 2012-07-02 2016-01-11 Sony Corp Audio decoding apparatus and method, audio coding apparatus and method, and program
BR112014004128A2 (pt) 2012-07-02 2017-03-21 Sony Corp dispositivo e método de decodificação, dispositivo e método de codificação, e, programa
US9344720B2 (en) * 2012-08-07 2016-05-17 Apple Inc. Entropy coding techniques and protocol to support parallel processing with low latency
US20140078400A1 (en) * 2012-09-20 2014-03-20 General Instrument Corporation Low complexity synchronous control of video processing using video information in in-band portions of video
US20160007050A1 (en) * 2013-03-07 2016-01-07 Telefonaktiebolaget L M Ericsson (Publ) Video transcoding
US20140269920A1 (en) * 2013-03-15 2014-09-18 Cisco Technology, Inc. Motion Estimation Guidance in Transcoding Operation
JP2015005835A (ja) * 2013-06-19 2015-01-08 シャープ株式会社 画像処理装置、画像形成装置及び記録媒体
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
KR101739822B1 (ko) * 2015-12-07 2017-05-25 (주)넥스트칩 아날로그 영상 신호 압축 방법 및 장치
US10271069B2 (en) 2016-08-31 2019-04-23 Microsoft Technology Licensing, Llc Selective use of start code emulation prevention
JP6786324B2 (ja) * 2016-09-20 2020-11-18 株式会社東芝 多重化装置及び多重化方法
US10685021B2 (en) * 2017-10-24 2020-06-16 Oracle International Corporation Complete, correct and fast compile-time encoding inference on the basis of an underlying type system
CN113810645B (zh) * 2021-11-16 2022-02-08 北京数字小鸟科技有限公司 视频消隐区自定义数据的传输系统、方法和设备

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4941040A (en) * 1985-04-29 1990-07-10 Cableshare, Inc. Cable television system selectively distributing pre-recorded video and audio messages
US5187755A (en) 1988-06-30 1993-02-16 Dainippon Screen Mfg. Co., Ltd. Method of and apparatus for compressing image data
DE69122595T2 (de) 1990-12-27 1997-03-20 Toshiba Kawasaki Kk Aufzeichnungs- und Abspielgerät
US5260783A (en) * 1991-02-21 1993-11-09 Gte Laboratories Incorporated Layered DCT video coder for packet switched ATM networks
US5148272A (en) * 1991-02-27 1992-09-15 Rca Thomson Licensing Corporation Apparatus for recombining prioritized video data
US5227878A (en) * 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
US5497187A (en) * 1991-11-29 1996-03-05 Scientific-Atlanta, Inc. In-band/out-of-band data transmission method and apparatus for a television system
US5831668A (en) 1992-02-25 1998-11-03 Imatran Voima Oy Assembly for combustion chamber monitoring camera
JP3196906B2 (ja) 1992-08-21 2001-08-06 富士ゼロックス株式会社 画像信号の符号化装置
JP3163830B2 (ja) 1993-03-29 2001-05-08 ソニー株式会社 画像信号伝送方法及び装置
TW301098B (ja) * 1993-03-31 1997-03-21 Sony Co Ltd
JPH06292019A (ja) * 1993-04-02 1994-10-18 Fujitsu Ltd 画像データ圧縮装置と画像符号圧縮装置
JP3085024B2 (ja) * 1993-06-01 2000-09-04 松下電器産業株式会社 画像再圧縮器及び画像記録装置
NL9301358A (nl) 1993-08-04 1995-03-01 Nederland Ptt Transcodeerinrichting.
JP3081425B2 (ja) 1993-09-29 2000-08-28 シャープ株式会社 映像符号化装置
EP0656729B1 (en) * 1993-12-01 2000-02-09 Matsushita Electric Industrial Co., Ltd. Method and apparatus for editing or mixing compressed pictures
US6870886B2 (en) * 1993-12-15 2005-03-22 Koninklijke Philips Electronics N.V. Method and apparatus for transcoding a digitally compressed high definition television bitstream to a standard definition television bitstream
US5754235A (en) * 1994-03-25 1998-05-19 Sanyo Electric Co., Ltd. Bit-rate conversion circuit for a compressed motion video bitstream
US5715009A (en) 1994-03-29 1998-02-03 Sony Corporation Picture signal transmitting method and apparatus
US5541852A (en) * 1994-04-14 1996-07-30 Motorola, Inc. Device, method and system for variable bit-rate packet video communications
JPH07288804A (ja) 1994-04-18 1995-10-31 Kokusai Denshin Denwa Co Ltd <Kdd> 画像信号の再符号化装置
US5940130A (en) 1994-04-21 1999-08-17 British Telecommunications Public Limited Company Video transcoder with by-pass transfer of extracted motion compensation data
DE4416967A1 (de) * 1994-05-13 1995-11-16 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Transcodierung von Bitströmen mit Videodaten
EP0845908B1 (en) 1994-06-17 2003-02-05 Snell &amp; Wilcox Limited Compressing a signal combined from compression encoded video signals after partial decoding thereof
GB9413001D0 (en) * 1994-06-28 1994-08-17 Ntl Methods for the synchronisation of successive digital video compression/decompression systems
DE69522861T2 (de) * 1994-06-30 2002-04-11 Koninkl Philips Electronics Nv Verfahren und Einrichtung zur Codeumwandlung von codiertem Datenstrom
US5512953A (en) * 1994-08-09 1996-04-30 At&T Corp. Method and apparatus for conversion of compressed bit stream representation of video signal
JPH0865663A (ja) 1994-08-19 1996-03-08 Canon Inc ディジタル画像情報処理装置
JP3629728B2 (ja) * 1994-08-31 2005-03-16 ソニー株式会社 動画像信号符号化方法、動画像信号符号化装置及び動画像信号記録媒体
JP3623989B2 (ja) 1994-09-22 2005-02-23 キヤノン株式会社 画像変換方法及び装置
JP3293369B2 (ja) 1994-10-12 2002-06-17 ケイディーディーアイ株式会社 画像情報の再符号化方法及び装置
US5814194A (en) * 1994-10-20 1998-09-29 Matsushita Electric Industrial Co., Ltd Substrate surface treatment method
JP3058028B2 (ja) 1994-10-31 2000-07-04 三菱電機株式会社 画像符号化データ再符号化装置
US5889561A (en) * 1994-11-04 1999-03-30 Rca Thomson Licensing Corporation Method and apparatus for scaling a compressed video bitstream
US6583825B1 (en) * 1994-11-07 2003-06-24 Index Systems, Inc. Method and apparatus for transmitting and downloading setup information
GB9501736D0 (en) 1995-01-30 1995-03-22 Snell & Wilcox Ltd Video signal processing
AU703049B2 (en) * 1995-02-15 1999-03-11 Koninklijke Philips Electronics N.V. Method and device for transcoding video signals
JPH08298649A (ja) * 1995-04-27 1996-11-12 Oki Electric Ind Co Ltd 映像符号化・復号化システム、映像符号化装置及び映像復号化装置
GB2301970B (en) 1995-06-06 2000-03-01 Sony Uk Ltd Motion compensated video processing
CA2260961C (en) 1996-07-15 2009-04-28 Snell & Wilcox Limited Video signal compression process augmented with information signal
JPH1032830A (ja) 1996-07-16 1998-02-03 Kokusai Denshin Denwa Co Ltd <Kdd> 画像情報の再符号化方法及び装置
JP3956323B2 (ja) 1996-07-16 2007-08-08 Ｋｄｄｉ株式会社 画像情報の再符号化方法及び装置
US6856650B1 (en) * 1996-07-16 2005-02-15 Kokusai Denshin Denwa Co., Ltd. Method and apparatus for second or later generation coding of video signal
JPH1051766A (ja) * 1996-08-05 1998-02-20 Mitsubishi Electric Corp 画像符号化データ変換装置
JP3623056B2 (ja) * 1996-09-10 2005-02-23 ソニー株式会社 動画像圧縮装置
GB2318246B (en) * 1996-10-09 2000-11-15 Sony Uk Ltd Processing digitally encoded signals
GB2318472B (en) * 1996-10-09 2000-11-15 Sony Uk Ltd Processing encoded signals
KR100599017B1 (ko) * 1996-12-12 2006-12-13 소니 가부시끼 가이샤 영상 데이터 압축 장치 및 그 방법
US5870146A (en) * 1997-01-21 1999-02-09 Multilink, Incorporated Device and method for digital video transcoding
AU7566898A (en) 1997-05-09 1998-11-27 Neomedia Technologies, Inc. Method for embedding links to a networked resource in a transmission medium
US5907374A (en) 1997-06-30 1999-05-25 Hewlett-Packard Company Method and apparatus for processing a compressed input bitstream representing an information signal
US6012091A (en) * 1997-06-30 2000-01-04 At&T Corporation Video telecommunications server and method of providing video fast forward and reverse
US6100940A (en) * 1998-01-21 2000-08-08 Sarnoff Corporation Apparatus and method for using side information to improve a coding system
GB2333656B (en) * 1998-01-22 2002-08-14 British Broadcasting Corp Compressed signals
US6574274B2 (en) * 1998-02-27 2003-06-03 Sony Corporation Picture signal processing system, decoder, picture signal processing method, and decoding method
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
JP3724204B2 (ja) 1998-03-10 2005-12-07 ソニー株式会社 符号化装置および方法、並びに記録媒体
CN1175671C (zh) * 1998-04-30 2004-11-10 皇家菲利浦电子有限公司 对数据流进行代码转换的代码转换器和方法
US6167084A (en) * 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals
JP2000209425A (ja) * 1998-11-09 2000-07-28 Canon Inc 画像処理装置及び方法並びに記憶媒体
KR100571307B1 (ko) * 1999-02-09 2006-04-17 소니 가부시끼 가이샤 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법
JP4295861B2 (ja) 1999-05-31 2009-07-15 株式会社東芝 トランスコーダ装置
KR100357093B1 (ko) * 1999-06-02 2002-10-18 엘지전자 주식회사 동영상 압축 복원시스템에서의 오류 은폐장치 및 방법
GB9920929D0 (en) * 1999-09-03 1999-11-10 Sony Uk Ltd Video signal processor
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
US6836658B1 (en) * 2000-03-03 2004-12-28 Ems Technologies, Inc. High data rate satellite communications system and method
US6369722B1 (en) * 2000-03-17 2002-04-09 Matra Nortel Communications Coding, decoding and transcoding methods
FR2809573B1 (fr) 2000-05-26 2002-08-16 Thomson Broadcast Systems Procede de codage d'un flux d'images video
US20020016755A1 (en) * 2000-07-17 2002-02-07 Pearce Kenneth F. Method of establishing a commercial relationship between a service provider and a potential customer of the service, including a reasoning criterion, and method of face-to-face advertising in a public place
JP3632591B2 (ja) * 2000-11-13 2005-03-23 日本電気株式会社 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体
US8782254B2 (en) * 2001-06-28 2014-07-15 Oracle America, Inc. Differentiated quality of service context assignment and propagation
EP1292153B1 (en) * 2001-08-29 2015-08-19 Canon Kabushiki Kaisha Image processing method and apparatus, computer program, and storage medium
US6543176B1 (en) * 2001-10-01 2003-04-08 Mcghghy Hugh Decoy anchor system and method of use
JP2005304065A (ja) 2005-05-16 2005-10-27 Sony Corp 復号装置および復号方法、符号化装置および符号化方法、情報処理装置および情報処理方法、並びに、記録媒体

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE43238E1 (en) 1994-03-29 2012-03-13 Sony Corporation Picture signal transmitting method and apparatus
US8638849B2 (en) 1998-03-10 2014-01-28 Sony Corporation Transcoding system using encoding history information
US8687690B2 (en) 1998-03-10 2014-04-01 Sony Corporation Transcoding system using encoding history information
US7680187B2 (en) 1999-02-09 2010-03-16 Sony Corporation Coding system and method, encoding device and method, decoding device and method, recording device and method, and reproducing device and method
US8681868B2 (en) 1999-02-09 2014-03-25 Sony Corporation Coding system and method, encoding device and method, decoding device and method, recording device and method, and reproducing device and method
US8170118B2 (en) 1999-12-03 2012-05-01 Sony Corporation Information processing apparatus, information processing method and recording medium
US7606124B2 (en) 2003-05-14 2009-10-20 Sony Corporation Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program
US7859956B2 (en) 2003-05-14 2010-12-28 Sony Corporation Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program
CN103748628A (zh) * 2012-07-02 2014-04-23 索尼公司 解码装置和方法、编码装置和方法、以及程序
CN103748628B (zh) * 2012-07-02 2017-12-22 索尼公司 解码装置和方法以及编码装置和方法

Also Published As

Publication number Publication date
US20060291570A1 (en) 2006-12-28
EP1793618B1 (en) 2013-02-13
EP1111932A3 (en) 2002-12-11
US7126993B2 (en) 2006-10-24
JP2001169292A (ja) 2001-06-22
EP1111932A2 (en) 2001-06-27
US20030128292A1 (en) 2003-07-10
EP1793618A3 (en) 2011-03-09
US20020059643A1 (en) 2002-05-16
US8170118B2 (en) 2012-05-01
EP1793618A8 (en) 2010-07-28
EP1793618A2 (en) 2007-06-06
US6556627B2 (en) 2003-04-29

Similar Documents

Publication Publication Date Title
JP3694888B2 (ja) 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
JP3672185B2 (ja) コーディングシステム及びこれを用いた装置並びに記録媒体
KR100729541B1 (ko) 부호화 히스토리 정보를 이용하는 트랜스코딩 시스템
JP3724205B2 (ja) 復号装置および方法、並びに記録媒体
JP2005304065A (ja) 復号装置および復号方法、符号化装置および符号化方法、情報処理装置および情報処理方法、並びに、記録媒体
JP3874153B2 (ja) 再符号化装置および再符号化方法、符号化装置および符号化方法、復号装置および復号方法、並びに、記録媒体
JP3724204B2 (ja) 符号化装置および方法、並びに記録媒体
JP3724203B2 (ja) 符号化装置および方法、並びに記録媒体
JP3890838B2 (ja) 符号化ストリーム変換装置、および、符号化ストリーム変換方法、並びに、記録媒体
JP4139983B2 (ja) 符号化ストリーム変換装置、および、符号化ストリーム変換方法、並びに、ストリーム出力装置、および、ストリーム出力方法
JP4016290B2 (ja) ストリーム変換装置およびストリーム変換方法、符号化装置および符号化方法、並びに、記録媒体
JP4543321B2 (ja) 再生装置及び方法
JP4539637B2 (ja) ストリーム記録装置およびストリーム記録方法、ストリーム再生装置およびストリーム再生方法、ストリーム伝送装置およびストリーム伝送方法、並びに、プログラム格納媒体
JP4482811B2 (ja) 記録装置及び方法
JP3817951B2 (ja) ストリーム伝送装置および方法、並びに記録媒体
JP4478630B2 (ja) 復号装置および復号方法、プログラム、並びに記録媒体
JP4016294B2 (ja) 符号化装置および符号化方法、ストリーム変換装置およびストリーム変換方法、並びに記録媒体
JP3817952B2 (ja) 再符号化装置および方法、符号化装置および方法、並びに記録媒体
JP2007259492A (ja) 情報処理装置および方法
JP3724202B2 (ja) 画像データ処理装置および方法、並びに記録媒体
JP4016349B2 (ja) ストリーム変換装置およびストリーム変換方法、並びに、記録媒体
JP4016348B2 (ja) ストリーム変換装置およびストリーム変換方法、並びに、記録媒体
JP4016347B2 (ja) ストリーム変換装置およびストリーム変換方法、並びに、記録媒体
JP4016293B2 (ja) 符号化装置および符号化方法、並びに記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050619

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080708

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090708

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090708

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100708

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100708

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110708

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110708

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120708

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120708

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130708

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees