JPH1118083A - ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法 - Google Patents

ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法

Info

Publication number
JPH1118083A
JPH1118083A JP9169198A JP16919897A JPH1118083A JP H1118083 A JPH1118083 A JP H1118083A JP 9169198 A JP9169198 A JP 9169198A JP 16919897 A JP16919897 A JP 16919897A JP H1118083 A JPH1118083 A JP H1118083A
Authority
JP
Japan
Prior art keywords
picture
encoding
digital signal
signal
bit stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP9169198A
Other languages
English (en)
Inventor
Motoki Kato
元樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP9169198A priority Critical patent/JPH1118083A/ja
Priority to EP19980304762 priority patent/EP0888015A3/en
Priority to US09/100,436 priority patent/US6504576B2/en
Priority to CN98103159A priority patent/CN1211876A/zh
Priority to KR1019980024016A priority patent/KR19990007312A/ko
Publication of JPH1118083A publication Critical patent/JPH1118083A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234354—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering signal-to-noise ratio parameters, e.g. requantization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]

Abstract

(57)【要約】 【課題】 符号化された信号のバッファの遅延量を小さ
くしても、多重化スケジュールを安全に立てることを可
能にし、信号劣化を無くす。 【解決手段】 端子１０からの入力ビデオ信号がフレー
ムメモリ１１に送られ、画像符号化制御器１２は、フレ
ームメモリ１１からビデオ信号Ｓ１１を読み込んで各ピ
クチャを符号化する時の割当符号化ビット量Ｓ１２とピ
クチャの符号化パラメータＳ１７を計算する。ビデオエ
ンコーダ１３は、これらの情報Ｓ１２，Ｓ１７に基づい
て符号化処理を行う。また、これらの割当符号化ビット
量Ｓ１２と符号化パラメータＳ１７とは、多重化スケジ
ューラ２２にも送られ、デコーダ側のバッファ破綻が生
じないように多重化スケジュールが立てられる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ディジタル信号符
号化方法及び装置、信号記録媒体並びに信号伝送方法に
関し、特に、動画像信号及び音響信号などを、例えば光
磁気ディスクや磁気テープなどの記録媒体に記録し、こ
れを再生してディスプレイなどに表示したり、テレビ会
議システム、放送用機器など、動画像信号及び音響信号
などを伝送路を介して送信側から受信側に伝送し、受信
側において、これを受信し、表示する場合などに用いて
好適な、ディジタル信号符号化方法及び装置、信号記録
媒体並びに信号伝送方法に関する。
【０００２】
【従来の技術】動画像信号や音響信号などをディジタル
化して得られたディジタル信号は情報量が極めて多いた
め、これを小型で記憶情報量の少ない記録媒体に長時間
記録をしようという場合、または、これを限られた通信
路の中で多くのチャネル数で伝送しようという場合、デ
ィジタル信号を高能率符号化する手段が不可欠となる。
このような要求に応えるべく、ビデオ信号の相関を利用
した高能率符号化方式が提案されており、その一つにＭ
ＰＥＧ方式あるいはＭＰＥＧ規格がある。このＭＰＥＧ
（Moving Picture Image Coding Experts Group） と
は、ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ１１にて
議論され、標準案として提案されたものであり、動き補
償予測符号化と離散コサイン変換（ＤＣＴ：Discrete C
osine Transform） 符号化とを組み合わせたハイブリッ
ド方式である。このＭＰＥＧ方式では、まずビデオ信号
のフレーム間の差分を取ることにより時間軸方向の冗長
度を落とし、その後、離散コサイン変換を用いて空間軸
方向の冗長度を落とし、このようにしてビデオ信号を能
率良く符号化する。
【０００３】このＭＰＥＧ規格は、３部に分かれてお
り、ビデオ信号の高能率符号化に関するＭＰＥＧビデオ
(ISO/IEC11172-2またはISO/IEC13818-2)とオーディオ信
号の高能率符号化に関するＭＰＥＧオーディオ(ISO/IEC
11172-3またはISO/IEC13818-3)とビデオおよびオーディ
オ等の圧縮符号化されたビットストリームを１つのビッ
トストリームに多重化し、同期を確保して再生する方式
のＭＰＥＧシステム(ISO/IEC11172-1またはISO/IEC1381
8-1)がある。
【０００４】図７は、従来あるＭＰＥＧ方式のディジタ
ル信号符号化装置の構成例を示すブロック図である。こ
こでは、入力ビデオ信号を符号化する時の各々の入力ピ
クチャへの割当（目標）ビット量を決めるためにフィー
ドフォワード制御を行なっている。すなわち、端子２０
０から入力されるビデオ信号Ｓ１０１は、フレームメモ
リ２０１へ入力される。フレームメモリ２０１は、一定
時間長の入力ビデオ信号を記憶することができる。ここ
で、一定時間長は、例えば０．５秒（ＮＴＳＣの場合、
１５フレーム）である。画像符号化制御器２０２は、フ
レームメモリ２０１からビデオ信号Ｓ１１１を読み込
み、その各ピクチャを符号化する時の割当ビット量Ｓ１
１２とピクチャの符号化パラメータＳ１１７を計算す
る。具体的には、一定時間長のビデオ信号への割当ビッ
ト量をその中の各ピクチャの絵柄に応じて最適に割りふ
るようにする。ビデオエンコーダ２０３は、フレームメ
モリ２０１から入力されるピクチャＳ１０２を、それに
対応して画像符号化制御器２０２から入力される割当符
号化ビット量Ｓ１１２になるように、符号化パラメータ
Ｓ１１７に基づいて、ＭＰＥＧビデオ方式で符号化し
て、ピクチャＳ１０２の符号化ビットストリームＳ１０
３と発生符号化ビット量Ｓ１１３を出力する。符号化ビ
ットストリームＳ１０３は、バッファ２０４とアクセス
ユニット検出器２１１へ入力される。またビデオエンコ
ーダ２０３から出力される発生符号化ビット量Ｓ１１３
は、画像符号化制御器２０２へ入力されており、画像符
号化制御器２０２では、割当ビット量よりも発生ビット
量のほうが大きい場合は、次の割当ビット量を小さくす
るように制御し、逆に割当ビット量よりも発生ビット量
のほうが小さい場合は、次の割当ビット量を大きくする
ように制御する。
【０００５】端子２０５から入力されるオーディオ信号
Ｓ１０５は、オーディオエンコーダ２０６へ入力され
る。オーディオエンコーダ２０６は、入力オーディオ信
号Ｓ１０５のオーディオフレーム毎にＭＰＥＧオーディ
オ方式で符号化して、その符号化ビットストリームＳ１
０６をバッファ２０７とアクセスユニット検出器２１１
へ出力する。ここで、１オーディオフレームは、ＭＰＥ
Ｇオーディオレイヤ２の場合、１１５２サンプルであ
る。
【０００６】端子２０８から入力される字幕情報などの
サブピクチャ信号Ｓ１０８は、サブピクチャエンコーダ
２０９へ入力される。サブピクチャエンコーダ２０９
は、サブピクチャ毎に例えばランレングス方式で符号化
して、その符号化ビットストリームＳ１０９をバッファ
２１０とアクセスユニット検出器２１１へ出力する。
【０００７】アクセスユニット検出器２１１は、ビデ
オ，オーディオおよびサブピクチャの各符号化ビットス
トリームのアクセスユニット（デコード単位）の符号化
ビット量，デコード時刻情報，表示時刻情報を検出し
て、これをアクセスユニット情報Ｓ１１４として出力す
る。ここで、アクセスユニットとは、ビデオ信号では１
ピクチャであり、オーディオでは１フレームであり、サ
ブピクチャ信号では１サブピクチャである。
【０００８】ビデオビットストリーム，オーディオビッ
トストリーム，およびサブピクチャビットストリーム
は、ＭＰＥＧシステム方式で時分割に多重化される。Ｍ
ＰＥＧシステム方式で多重化したビットストリームは、
例えば図８に示す形式を持つ。ここで、図８中のＶ，
Ａ，Ｓは、それぞれビデオビットストリームのパケッ
ト、オーディオビットストリームのパケット、サブピク
チャビットストリームのパケットを表す。パケットは、
デコード時刻情報，表示時刻情報等のヘッダ情報の後ろ
に符号化ビットストリームが続く構造を持つ。
【０００９】多重化スケジューラ２１２は、アクセスユ
ニット情報Ｓ１１４に基づいて、ビデオ，オーディオお
よびサブピクチャの各符号化ビットストリームを時分割
に多重化する時のスケジュール情報Ｓ１１５を次のよう
にして決定する。
【００１０】すなわちＭＰＥＧシステム方式では、図９
に示すような仮想的なデコーダのモデルであるシステム
ターゲットデコーダ（ＳＴＤ）を規定しており、このシ
ステムターゲットデコーダを破綻させないように多重化
ビットストリームを符号化しなければいけない。この図
９に示すシステムターゲットデコーダ（ＳＴＤ）につい
て説明する。
【００１１】図９の端子３０１から入力される多重化ビ
ットストリームは、スイッチ３０２でビデオビットスト
リームのパケット、オーディオビットストリームのパケ
ット、サブピクチャビットストリームのパケットに分離
されて、それぞれバッファ３０３，バッファ３０５，バ
ッファ３０７へ入力される。ビデオデコーダ３０４，オ
ーディオデコーダ３０６，サブピクチャデコーダ３０８
は、それぞれの前段にあるバッファに記憶されている符
号化ビットストリームのアクセスユニットのデコード時
刻情報に基づいて、それぞれのバッファからアクセスユ
ニットを読みだして復号し、アクセスユニットの表示時
刻情報に基づいて、ビデオ，オーディオ，サブピクチャ
を同期再生して表示する。この時、システムターゲット
デコーダが破綻しないように、すなわち、バッファ３０
３，バッファ３０５，バッファ３０７をオーバフロウと
アンダフロウさせないように、多重化ビットストリーム
が符号化されていなければいけない。バッファのオーバ
フロウとは、ビットストリームの記憶量がバッファ容量
を越えることであり、バッファアンダフロウとは、アク
セスユニットのデコード時刻までにそのアクセスユニッ
ト全体がバッファに記憶されていないことである。
【００１２】図１０にビデオのＳＴＤバッファのビット
占有量の軌跡の例を示す。この図１０中で、ＢはＳＴＤ
バッファの大きさであり、縦軸方向は、バッファのビッ
ト占有量あるいはデータ量を表す。ＳＴＤバッファへの
データ入力は、右上がりの直線の傾きで示される入力レ
ートで行われ、それによってバッファのビット占有量が
増加する。また、図中のそれぞれのアクセスユニットＡ
は、それぞれのデコード時刻ＤＴＳ（Decoding Time St
amp） において、ＳＴＤバッファから瞬時に引き抜か
れ、それによってバッファのビット占有量が減少する。
ＳＴＤバッファのビット占有量の軌跡は、バッファサイ
ズＢの中を通らなければいけない。
【００１３】図７の多重化スケジューラ２１２は、シス
テムターゲットデコーダ（ＳＴＤ）が破綻しないように
ビデオ，オーディオ，サブピクチャの符号化ビットスト
リームの多重化スケジュールを立て、その情報Ｓ１１５
を多重化器２１３へ出力する。すなわち、多重化スケジ
ューラは、ＳＴＤバッファのビット占有量をシミュレー
ションして、バッファのオーバフロウとアンダフロウを
させないように、多重化スケジュールを立てる。多重化
器２１３は、多重化スケジュール情報Ｓ１１５に基づい
て、バッファ２０４，バッファ２０７，バッファ２１０
から各々ビットストリームＳ１０４，Ｓ１０７，Ｓ１１
０を読み出して、それらを時分割に多重化して、多重化
ストリームＳ１１６を出力する。
【００１４】ＭＰＥＧビデオ方式では、ピクチャ毎に発
生ビット量を変更して、またビデオの符号化ビットレー
トも可変にすることができるため、多重化ビットストリ
ームの中のビデオ，オーディオ，サブピクチャのそれぞ
れのパケットの周期は一定とは限らない。一般に、現在
のビデオパケットの多重化スケジュールを決める時、す
なわち、現在の符号化ピクチャ（アクセスユニット）の
システムターゲットデコーダ（ＳＴＤ）への入力スケジ
ュールを決める時は、システムターゲットデコーダへ未
来に入力される符号化ピクチャの情報まで考慮して行な
うことにより、安全に制御できる。
【００１５】すなわち、図１０において、例えば、DTS
[n-1]からDTS[n]までの時間窓でのビデオのＳＴＤバッ
ファへの入力スケジュール（入力レート）を決める場合
は、現在ピクチャを符号化した時の情報A[n]と未来の数
フレームを符号化した時の情報A[n+1],A[n+2]...、DTS
[n+1],DTS[n+2]...を考慮したほうが良い。つまり、こ
の場合、時間窓DTS[n-1]〜DTS[n]の多重化スケジュール
だけでなく、さらに未来までの多重化スケジュールを想
定することにより、安全に多重化ストリームの符号化が
できる。
【００１６】そのため、バッファ２０４に複数の符号化
ピクチャ（アクセスユニット）を記憶する必要があり、
信号Ｓ１０３とＳ１０４の間には、多重化スケジュール
を決めるために必要な数フレーム時間の遅延量がある場
合が多い。
【００１７】図１１は、図７のディジタル信号符号化装
置におけるビデオ信号処理のタイミングチャートの例を
示す。ここで、Ｐ１からＰ１０はピクチャまたはそのピ
クチャの情報を表す。この例では、入力ビデオ信号を符
号化する時の各々の入力ピクチャへの割当符号化ビット
量を決めるためのフィードフォワード制御を現在を含め
未来の５ピクチャに対して行なうものとする。すなわ
ち、フレームメモリ２０１で、入力ビデオ信号Ｓ１０１
を５ピクチャ時間遅延させる。また、現在の符号化ピク
チャの多重化スケジュールを決めるために、現在を含め
未来の５ピクチャの符号化情報を考慮するものとする。
すなわち、バッファ２０４で、５ピクチャ時間の遅延が
必要になる。
【００１８】この時、図１１に示すように、入力ビデオ
信号Ｓ１０１に対して、ピクチャの割当符号化ビット量
Ｓ１１２は５ピクチャ時間の遅延がある。エンコーダ２
０３での遅延量を無視すると仮定して、Ｓ１１２とエン
コーダ２０３への入力ピクチャＳ１０２と符号化ピクチ
ャＳ１０３は同期している。次に、符号化ピクチャＳ１
０３に対して、多重化スケジュール情報Ｓ１１５は、５
ピクチャ時間の遅延がある。多重化器２１３での遅延を
無視すると仮定して、Ｓ１１５とバッファ２０４から読
み出される符号化ピクチャＳ１０４と多重化出力Ｓ１１
６は同期している。
【００１９】
【発明が解決しようとする課題】ところで、図７の従来
のディジタル信号符号化装置では、入力ビデオ信号Ｓ１
０１に対する多重化ビットストリームＳ１１６の遅延量
の大部分を占めるのは、ピクチャの割当符号化ビット量
計算のためのフレームメモリ２０１での遅延量と多重化
スケジュール計算のためのバッファ２０４での遅延量で
ある。
【００２０】一般に、割当符号化ビット量計算のための
フレームメモリ２１０での遅延量を大きくするほど、入
力ピクチャ毎の割当符号化ビット量をダイナミックに変
化させることが可能となり、符号化ピクチャを高画質に
できる。しかし、それに伴って多重化スケジュール計算
のためのバッファ２０４での遅延量も大きなものが必要
になり、バッファ２０４のサイズ（ビット量）も大きく
なる。
【００２１】そのため従来は、入力ビデオ信号Ｓ１０１
に対する多重化ビットストリームＳ１１６の遅延量を小
さくしたい時、フレームメモリ２１０またはバッファ２
０４での遅延量を小さくしていた。しかし、フレームメ
モリ２１０での遅延量を小さくすると、符号化ピクチャ
の画質が悪くなる問題があり、またバッファ２０４での
遅延量を小さくすると、多重化スケジュールを安全に立
てることが難しくなる問題があった。
【００２２】本発明は、このような実情に鑑みてなされ
たものであり、従来のディジタル信号符号化装置に比べ
て、入力ディジタル信号に対する出力多重化ビットスト
リームの遅延量を小さくすることができて、かつ符号化
ピクチャを高画質にして、さらに符号化ビットストリー
ムを多重化する時の多重化スケジュールを安全に立てる
ことができるようなディジタル信号符号化方法及び装
置、信号記録媒体並びに信号伝送方法を提供することを
目的とする。
【００２３】
【課題を解決するための手段】本発明は、上述した課題
を解決するために、ビデオ信号やオーディオ信号等の入
力ディジタル信号を符号化して、符号化ビットストリー
ムを１つのビットストリームに多重化する際に、予め定
められた単位区間毎の入力ディジタル信号を符号化する
時の符号化制御情報を適応的に決定し、この符号化制御
情報に基づいて、符号化ビットストリームを多重化する
時の多重化スケジュールを制御することを特徴としてい
る。
【００２４】ここで、上記符号化制御情報とは、割当符
号化ビット量が挙げられ、また、入力ディジタル信号が
ビデオ信号である時、単位区間とはピクチャであること
が挙げられる。
【００２５】多重化スケジュールの制御が、既に符号化
された信号の符号化ビット量等の情報ではなく、符号化
の際の符号化制御情報に基づいて行われるため、符号化
された信号を記憶するバッファのメモリ容量を少なくで
きる。
【００２６】
【発明の実施の形態】以下、本発明に係るディジタル信
号符号化方法及び装置、信号記録媒体並びに信号伝送方
法の好ましい実施の形態について、図面を参照しながら
説明する。
【００２７】図１は、本発明の実施の形態となるディジ
タル信号符号化方法を適用したディジタル信号符号化装
置の構成例を示すブロック図である。この実施の形態に
ついて、従来例で説明した前記図７のディジタル信号符
号化装置との大きな違いは、画像符号化制御器１２から
のピクチャの割当符号化ビット量情報Ｓ１２とピクチャ
の符号化パラメータＳ１７が多重化スケジューラ２２へ
入力されており、多重化スケジューラ２２が上記割当符
号化ビット量情報Ｓ１２と符号化パラメータＳ１７とを
利用して、多重化スケジュールを立てる構成とした点で
ある。
【００２８】図１に示す実施の形態において、端子１０
から入力されるビデオ信号Ｓ１は、フレームメモリ１１
へ入力される。フレームメモリ１１は、一定時間長の入
力ビデオ信号を記憶することができる。ここで、上記一
定時間長とは、例えば０．５秒（ＮＴＳＣの場合、１５
フレーム）である。画像符号化制御器１２は、フレーム
メモリ１１からビデオ信号Ｓ１１を読み込み、その各ピ
クチャを符号化する時の割当ビット量Ｓ１２とピクチャ
の符号化パラメータＳ１７を計算する。具体的には、一
定時間長のビデオ信号への割当ビット量をその中の各ピ
クチャの絵柄に応じて最適に割り振るようにする。ま
た、ピクチャの符号化パラメータとしては、例えばＭＰ
ＥＧビデオ規格にあるpicture_coding_type, repeat_fi
rst_field,top_field_firstが挙げられる。
【００２９】符号化パラメータＳ１７の１つである上記
picture_coding_type は、Ｉピクチャ，Ｐピクチャ，Ｂ
ピクチャの３つの種類をもつ。Ｉピクチャはイントラ符
号化ピクチャであり、他のピクチャとは独立して符号化
される。Ｐピクチャは順方向予測符号化ピクチャであ
り、時間的に過去に位置するＩまたはＰピクチャから予
測符号化される。Ｂピクチャは双方向予測符号化ピクチ
ャであり、時間的に前後に位置するＩまたはＰピクチャ
を用いて順方向、逆方向または双方向のピクチャから予
測符号化される。top_field_first は、受信（デコー
ダ）側においてピクチャがフレーム構造の時にtop_fiel
d とbottom_fieldのどちらを最初に表示するかを表すパ
ラメータである。repeat_first_fieldは、受信（デコー
ダ）側において、ピクチャがフレーム構造の時に最初に
表示したフィールドを繰り返して表示するかを表すパラ
メータである。
【００３０】ビデオエンコーダ１３は、フレームメモリ
１１から入力されるピクチャＳ２を、それに対応して画
像符号化制御器１２から入力される割当符号化ビット量
Ｓ１２になるように、符号化パラメータＳ１７に基づい
てＭＰＥＧビデオ方式で符号化して、ピクチャＳ２の符
号化ビットストリームＳ３と発生符号化ビット量Ｓ１３
を出力する。符号化ビットストリームＳ３は、バッファ
１４とアクセスユニット検出器２１へ入力される。また
ビデオエンコーダ１３から出力される発生符号化ビット
量Ｓ１３は、画像符号化制御器１２へ入力されており、
画像符号化制御器１２では、割当ビット量よりも発生ビ
ット量のほうが大きい場合は、次の割当ビット量を小さ
くするように制御し、逆に割当ビット量よりも発生ビッ
ト量のほうが小さい場合は、次の割当ビット量を大きく
するように制御する。
【００３１】これらのフレームメモリ１１、画像符号化
制御器１２及びビデオエンコーダ１３により、動画像信
号符号化部２５が構成されており、この動画像信号符号
化部２５の具体例については、後で図６を参照しながら
説明する。
【００３２】図１の端子１５から入力されるオーディオ
信号Ｓ５は、オーディオエンコーダ１６へ入力される。
オーディオエンコーダ１６は、入力オーディオ信号Ｓ５
のオーディオフレーム毎にＭＰＥＧオーディオ方式で符
号化して、その符号化ビットストリームＳ６をバッファ
１７とアクセスユニット検出器２１へ出力する。ここ
で、１オーディオフレームは、ＭＰＥＧオーディオレイ
ヤ２の場合、１１５２サンプルである。
【００３３】端子１８から入力される字幕情報などのサ
ブピクチャ信号Ｓ８は、サブピクチャエンコーダ１９へ
入力される。サブピクチャエンコーダ１９は、サブピク
チャ毎に例えばランレングス方式で符号化して、その符
号化ビットストリームＳ９をバッファ２０とアクセスユ
ニット検出器２１へ出力する。
【００３４】アクセスユニット検出器２１は、ビデオ、
オーディオおよびサブピクチャの各符号化ビットストリ
ームのアクセスユニット（デコード単位）の符号化ビッ
ト量、デコード時刻情報（ＤＴＳ：Decoding Time Stam
p） 及び表示時刻情報（ＰＴＳ：Presentation Time St
amp） を計算して、これをアクセスユニット情報Ｓ１４
として出力する。ここで、アクセスユニットとは、ビデ
オ信号では１ピクチャであり、オーディオでは１フレー
ムであり、サブピクチャ信号では１サブピクチャであ
る。
【００３５】次に、図２に、符号化ピクチャのpicture_
coding_type, repeat_first_fieldとＤＴＳ，ＰＴＳの
関係を示す。
【００３６】以下、この図２の各信号（ａ）〜（ｉ）に
ついて説明する。
【００３７】（ａ）動画像入力：大文字Ｆはインタレー
スビデオのtop field を表し、小文字ｆはインタレース
ビデオのbottom fieldを表す。ここでは、入力信号はフ
ィルム画像を３−２プルダウンしたビデオ信号であり、
Ｆとｆの添え字の数字が同じものがフィルムの１コマに
対応している。
【００３８】（ｂ）frame_input ：“１”が立つ時刻の
フィールドからはじまる同じ添え字をもつtopfieldとbo
ttom fieldの組み合わせから符号化対象のフレームが作
られる。３−２プルダウンされたビデオ信号を符号化す
る場合は、繰り返しフィールドを除いてフレームがつく
られる。例えば、（ａ）の５番目のフィールドＦ１は３
番目のフィールドＦ１の繰り返しであるので、除かれて
符号化されない。
【００３９】（ｃ）top_field_first：frame_inputが
“１”になるタイミングがtop field の時、“１”にな
り、frame_input が“１”になるタイミングがbottom f
ieldの時、“０”になる。
【００４０】（ｄ）repeat_first_field：符号化するフ
レームを作る時、３−２プルダウンによる繰り返しフィ
ールドを除いた時、“１”になる。
【００４１】（ｅ）picture_coding_type ：Ｉ，Ｐ，Ｂ
がそれぞれＩピクチャ，Ｐピクチャ，Ｂピクチャを表
し、添え字の数字は（ａ）の添え字に対応する。
【００４２】（ｆ）エンコード時刻：時間的に後方に位
置するＩ，ＰピクチャがＢピクチャに先行して符号化さ
れるため、図に示すように順番が入れ替わる。
【００４３】（ｇ）デコード時刻（ＤＴＳ）：デコード
順序はエンコード順序と同じである。ここでは、エンコ
ードとデコードが同時に行われると仮定している。
【００４４】（ｈ）表示時刻（ＰＴＳ）：画像出力する
時は、元の順序に直される。Ｂピクチャは復号後、即表
示できる。
【００４５】（ｉ）動画像出力：top_field_first, rep
eat_first_field に基づいて、ピクチャが表示される。
【００４６】ここで図３は、上述したピクチャの符号化
パラメータであるpicture_coding_type, repeat_first_
field, top_field_firstを用いてＤＴＳ，ＰＴＳを計算
するアルゴリズムの具体例をＣ言語のプログラムで示し
たものである。すなわち、上記図２の（ｆ）のエンコー
ド時刻の順番に入力される各ピクチャのＤＴＳ，ＰＴＳ
を計算する例を示している。この図３において、DTS0
は、最初のピクチャB0のtop_field_first に関連する値
であり、プログラム中のTS=DTS0 により、B0をtop_fiel
d_first で示されるフィールドパリティ時刻から復号
後、即実行できるようにI2のデコード時刻を設定してい
る。
【００４７】再び図１に戻って、多重化スケジューラ２
２へは、現在のアクセスユニット情報Ｓ１４と未来のア
クセスユニット（ピクチャ）の割当符号化ビット量情報
Ｓ１２と符号化パラメータＳ１７が入力される。これに
より、現在のアクセスユニット（符号化ピクチャ）の多
重化スケジュールを立てる時に、未来に入力される予定
のアクセスユニット（符号化ピクチャ）のビット量や符
号化パラメータを考慮することができる。多重化スケジ
ューラ２２は、システムターゲットデコーダが破綻しな
いようにビデオ，オーディオおよびサブピクチャの各符
号化ビットストリームを時分割に多重化する時の多重化
スケジュールを立て、その情報Ｓ１５を多重化器２３へ
出力する。
【００４８】多重化器２３は、多重化スケジュール情報
Ｓ１５に基づいて、バッファ１４，バッファ１７，バッ
ファ２０から各々ビットストリームＳ４，Ｓ７，Ｓ１０
を読みだして、それらを時分割に多重化して、多重化ス
トリームＳ１６を端子２４より出力する。この出力端子
２４から得られた多重化ビットストリームについては、
必要に応じて、エラー訂正符号や同期信号等が付加さ
れ、伝送あるいは記録に適した所定の変調処理等が施さ
れて、伝送路や通信路を介して伝送され、あるいは、光
ディスク、磁気ディスク、磁気テープ等の信号記録媒体
に記録される。
【００４９】図４は、図１のディジタル信号符号化装置
におけるビデオ信号処理のタイミングチャートの例を示
す。ここで、Ｐ１からＰ１０はピクチャまたはそのピク
チャの情報を表す。ここでも、従来例で説明した前記図
１１の例と同様に、入力ビデオ信号を符号化する時の各
々の入力ピクチャへの割当符号化ビット量を決めるため
のフィードフォワード制御を現在を含め未来の５ピクチ
ャに対して行なうものとする。すなわち、フレームメモ
リ１１で、入力ビデオ信号Ｓ１を５ピクチャ時間遅延さ
せる。また、現在の符号化ピクチャの多重化スケジュー
ルを決めるために、現在を含め未来の５ピクチャの符号
化情報を考慮するものとする。
【００５０】すなわち、多重化スケジューラ２２は、ア
クセスユニット検出器２１で検出される現在の符号化ピ
クチャのビット量Ｓ１４を読み込み、さらに未来の４ピ
クチャの割当符号化ビット量Ｓ１２と符号化パラメータ
Ｓ１７を読み込み、これらＳ１４とＳ１２とＳ１７に基
づいて多重化スケジュールを決める。したがって、バッ
ファ１４で必要な遅延量は、１ピクチャ時間の遅延で十
分となり、従来方法に比較して、多重化に必要な遅延量
を小さくすることができる。
【００５１】この時、図４に示すように、入力ビデオ信
号Ｓ１に対して、ピクチャの割当符号化ビット量Ｓ１２
は５ピクチャ時間の遅延がある。エンコーダ１３での遅
延量を無視すると仮定して、Ｓ１２とエンコーダ１３へ
の入力ピクチャＳ２と符号化ピクチャＳ３は同期してい
る。次に、符号化ピクチャＳ３に対して、多重化スケジ
ュール情報Ｓ１５は、１ピクチャ時間の遅延がある。多
重化器２３での遅延を無視すると仮定して、Ｓ１５とバ
ッファ１４から読み出される符号化ピクチャＳ４と多重
化出力Ｓ１６は同期している。
【００５２】図５にビデオの多重化スケジュールを立て
るアルゴリズムの具体例を説明するためのフローチャー
トを示す。
【００５３】この図５において、最初のステップ５００
では、最初のピクチャの処理を始める。ここでｎはエン
コード順序にならびかえられたピクチャの入力番号を表
す。次のステップ５０１では、現在を含めて未来の５フ
レーム（５ピクチャ）P[n]からP[n+4]の符号化制御情
報、すなわちpicture_coding_type, repeat_first_fiel
d, top_field_firstを用いて、アクセスユニット検出器
２１で計算された各ピクチャのＤＴＳ，ＰＴＳ、すなわ
ちDTS[n]〜DTS[n+4], PTS[n]〜PTS[n+4]を入力する。次
のステップ５０２では、画像符号化制御器１２から供給
される未来の４ピクチャP[n+1]からP[n+4]の割当符号化
ビット量X[n+1]からX[n+4]を入力する。次のステップ５
０３では、アクセスユニット検出器２１で計算された現
在のピクチャP[n]の符号化ビット量A[n]を入力する。
【００５４】次に、ステップ５０４では、上記現在のピ
クチャP[n]の符号化ビット量A[n]と上記未来の４ピクチ
ャP[n+1]からP[n+4]の割当符号化ビット量X[n+1]からX
[n+4]が、それぞれのＤＴＳにおいて、ＳＴＤバッファ
から出力されることを考慮して、ＳＴＤバッファを破綻
させないように、時間窓DTS[n-1]からDTS[n+4]の間に、
ビデオビットストリームをＳＴＤバッファへ入力するス
ケジュールを立てる。なお、n=0の時のDTS[-1]は、DTS
[0]から所定のスタートアップ遅延量だけ過去の時刻で
ある。
【００５５】前述の図１０で説明したように従来の方法
では、例えば時間窓DTS[n-1]からDTS[n+4]までのビデオ
のＳＴＤバッファへの入力スケジュール（入力レート）
を決める場合は、ピクチャの符号化ビット量A[n]からA
[n+4]の情報を必要としていたために、ピクチャの符号
化から多重化までに５ピクチャ時間の遅延時間を必要と
していた。これに対して、本アルゴリズムでは、同様の
多重化スケジュールを立てる場合、A[n]と未来のピクチ
ャへの割当ビット量X[n+1]からX[n+4]を用いているの
で、ピクチャの符号化から多重化までに１ピクチャ時間
の遅延時間しか必要としない。
【００５６】次のステップ５０５では、時間窓DTS[n-1]
からDTS[n]の間に、上記スケジュールに基づいて、ビデ
オビットストリームをSTDバッファへ入力する。このス
ケジュール情報が図１にある多重化スケジュール情報Ｓ
１５として、多重化器２３へ与えられ、多重化器２３が
多重化ストリームを符号化する。次のステップ５０６で
は、P[n]の符号化ビット量A[n]を時刻DTS[n]にＳＴＤバ
ッファから出力する。次のステップ５０７ではｎをイン
クリメントして、次のピクチャの処理に移る。すなわ
ち、ステップ５０８で、最後のピクチャまで処理が終了
した場合は処理を終了し、そうでない場合は、ステップ
５０１へ戻る。
【００５７】図６は、図１のディジタル信号符号化装置
の中の動画像信号符号化部２５の構成例を示すブロック
図である。すなわち、図１の端子１０及びフレームメモ
リ１１が、図６の端子３０及びフレームメモリ３１にそ
れぞれ対応し、図１の画像符号化制御器１２が、図６の
動きベクトル計算器４０、画像情報計算器４１及びコン
トローラ４２にほぼ対応し、図１のビデオエンコーダ１
３が、図６の残りの回路部にほぼ対応する。
【００５８】この図６の端子３０から入力される動画像
信号は、フレームメモリ３１へ入力される。例えば、図
４の例の場合は、フレームメモリ３１は５ピクチャ分の
メモリ量を持つ。動きベクトル計算器４０は、フレーム
メモリ３１から読み出した動画像信号の動きベクトルと
その予測残差を計算して出力する。動きベクトル計算器
４０は、いわゆるＭＰＥＧのマクロブロック（ＭＢ：１
６×１６画素）単位に動きベクトルを計算する。動きベ
クトル検出は、参照フレームと現在ＭＢ（マクロブロッ
ク）とのパターンマッチングで行なう。すなわち、次の
式（１）に示すように、現在ＭＢ信号Ａ［ｉ，ｊ］と、
任意の動きベクトル（ｘ，ｙ）により参照されるＭＢ信
号Ｆ［ｘ＋ｉ，ｙ＋ｊ］の差の絶対値の和Ｅｆを、 Ｅｆ = Σ｜A[i,j] - F[x+i,y+j]｜ (i=0〜15, j=0〜15) (1) により求める。
【００５９】図６の動きベクトル計算器４０は、上記Ｅ
ｆが最小となる座標（ｘ，ｙ）を現在ＭＢ（マクロブロ
ック）の動きベクトルとし、またその時のＥｆを動きベ
クトルの予測残差として出力する。
【００６０】画像情報計算器４１は、フレームメモリ３
１から読み出した動画像信号の符号化劣化の目立ち易さ
を表す統計量を計算する。この統計量としては、画像の
平坦度を表すパラメータ、例えば、ＭＢの輝度信号の分
散値を計算する。
【００６１】コントローラ４２は、ピクチャの符号化パ
ラメータＳ１７として、picture_coding_type, top_fie
ld_first, repeat_first_fieldを出力する。picture_co
ding_type としては、例えば、ピクチャ内の動きベクト
ルの予測残差総和、すなわち上記式（１）で計算される
Ｅｆのピクチャ内の総和Ｄ、のピクチャ毎の変化を観察
して、その変化率があらかじめ決められた閾値よりも大
きくなった時に、シーンチェンジがあったと判断して、
その時のピクチャをＭＰＥＧのＩ（イントラ）ピクチャ
で符号化するように指示する。
【００６２】またコントローラ４２は、動きベクトル計
算器４０から入力される動きベクトルの予測残差と画像
情報計算器４１から入力される統計量に基づいて、ピク
チャの割当符号化ビット量Ｓ１２を計算する。ピクチャ
の割当符号化ビット量を計算する方法について、具体的
に説明する。コントローラ４２は、ＭＢの動きベクトル
の予測残差のピクチャ内の総和Ｄを計算し、その値に符
号化劣化の目立ちやすさを表すパラメータαを反映させ
て、ピクチャの符号化難易度ｄを、 ｄ＝Ｄ×α の式により計算する。
【００６３】一般に、人間の目は、絵柄の平坦部分で、
符号化ノイズがわかりやすく、逆に、絵柄が乱雑な部分
では、劣化はわかりにくい。この特徴に基づいて、画像
の分散値が大きいほどαを小さな値として、逆に分散値
が小さいほどαを大きい値とする。なお、図示していな
い画像符号化モードにより指示されて、入力画像をフレ
ーム内（イントラ）符号化する場合、上記値Ｄとして、
画像情報計算器４１で計算されるＭＢ信号の分散値のピ
クチャ内の総和を用いたほうが良い。コントローラ４２
は、例えば現在を含め未来の５ピクチャ分の符号化難易
度を計算する。そして、５ピクチャ時間に与えられる割
当ビット量を、その中の各ピクチャの符号化難易度に応
じて最適に割りふるようにする。
【００６４】動き補償回路３８は、フレームメモリを備
え、当該画像メモリから動きベクトルに基づいて予測Ｍ
Ｂ信号を読み出す。演算器３２は、フレームメモリ３１
からの入力ＭＢ信号を加算信号とし、上記動き補償回路
３８からの上記予測ＭＢ信号を減算信号として加算処理
を行うことにより、上記入力ＭＢ信号と予測ＭＢ信号の
差分を計算し、当該差分を予測残差ＭＢ信号として出力
する。なお、picture_coding_type により指示されて、
入力ピクチャをＩピクチャとして、符号化する場合、予
測を行なわず、入力ＭＢ信号がそのまま演算器３２から
出力される。前記予測残差ＭＢ信号（予測を行なわない
時は入力ＭＢ信号）は、ＤＣＴ回路３３に送られる。こ
のＤＣＴ回路では前記予測残差ＭＢ信号に対して２次元
ＤＣＴを施す。
【００６５】量子化スケール制御器４３は、現在ピクチ
ャの発生符号化ビット量がコントローラ４２から指定さ
れた割当符号化ビット量になるように、量子化ステップ
を量子化器３４へ出力する。ＤＣＴ回路３３から出力さ
れたＤＣＴ係数は、量子化回路３４へ入力され、量子化
スケール制御器４３から指定される量子化スケールで量
子化される。量子化回路３４の量子化出力信号は、可変
長符号化回路３９と逆量子化回路３５とに送られる。可
変長符号化回路３９では、上記量子化出力信号に対して
例えばハフマン符号化を施す。この可変長符号化回路３
９の出力信号は、発生ビット量カウンタ４４に送られ、
ピクチャの発生符号量の総和が計算される。
【００６６】一方、逆量子化回路３５では、量子化回路
３４で使われた量子化ステップに対応して、前記量子化
出力信号に逆量子化処理を施す。当該逆量子化回路３５
の出力は、逆ＤＣＴ回路３６に入力され、ここで逆ＤＣ
Ｔ処理されて復号された予測残差ＭＢ信号が、演算器３
７へ入力される。この演算器３７にはまた、前記した演
算器３２に供給されている予測ＭＢ信号と同一の信号が
供給されている。演算器３７は、前記復号された予測残
差ＭＢ信号に予測ＭＢ信号を加算する。これにより、局
所復号した画像信号が得られる。局所復号した画像信号
は、動き補償回路３８の中の画像メモリに記憶されて、
次の動き補償の参照画像として使用される。符号化ビッ
トストリームＳ３は、端子４６から出力される。このビ
ットストリームは、図１のバッファ１４へ入力される。
このようにして、図１のディジタル信号符号化装置の中
の動画像信号符号化部２５は構成される。
【００６７】以上説明した本発明に係る実施の形態によ
れば、従来のディジタル信号符号化装置に比べて、入力
ディジタル信号に対する出力多重化ビットストリームの
遅延量（メモリ量）を小さくして構成を簡略化すること
ができ、かつ符号化ピクチャを高画質にして、多重化ス
ケジュールを安全に立てることができる。
【００６８】ここで、上記図１の出力端子２４から得ら
れた多重化ビットストリームは、エラー訂正符号や同期
信号等の付加や記録に適した所定の変調処理等を含む記
録信号処理を必要に応じて施して、光ディスク、磁気デ
ィスク、磁気テープ等の信号記録媒体に記録することが
できる。得られた信号記録媒体から読み出されるディジ
タル信号は、多重化スケジュールが安全に立てられたも
のとなっている。
【００６９】さらに、上記図１の出力端子２４から得ら
れた多重化ビットストリームを伝送する場合には、この
ビットストリームに対して、必要に応じて、エラー訂正
符号や同期信号等の付加や、伝送に適した所定の変調処
理等を含む伝送信号処理を施して、伝送路や通信路を介
して伝送するようにすればよい。このディジタル信号伝
送方法によっても、上述した実施の形態と同様な効果、
すなわち、多重化に必要な遅延量（メモリ量）を小さく
して処理を簡略化し、入力ディジタル信号がビデオ信号
であるとき符号化ピクチャの画質劣化がなく、符号化ビ
ットストリームを多重化するときの多重化スケジュール
を安全に立てることができ、という効果が得られる。さ
らに、入力ディジタル信号を実際に伝送するまでの遅延
時間が従来に比べて短くなるため、ニュースや中継等の
リアルタイム伝送時のタイムラグが小さくなるという利
点もある。
【００７０】なお、本発明は、上述した実施の形態のみ
に限定されるものではなく、例えば取り扱うディジタル
信号は動画像信号に限定されず、オーディオ信号やサブ
ピクチャ信号等にも適用できる。この他、本発明の要旨
を逸脱しない範囲において、種々の変更が可能であるこ
とは勿論である。
【００７１】
【発明の効果】本発明によれば、入力ディジタル信号を
符号化し、符号化ビットストリームを１つのビットスト
リームに多重化する際に、予め定められた単位区間毎の
入力ディジタル信号を符号化する時の符号化制御情報を
適応的に決め、この符号化制御情報に基づいて、符号化
ビットストリームを多重化する時の多重化スケジュール
を制御することにより、既に符号化された信号の符号化
ビット量等の情報ではなく、符号化の際の符号化制御情
報に基づいて多重化スケジュールの制御が行われるた
め、符号化された信号を記憶するバッファのメモリ容量
を少なくできる。
【００７２】すなわち、従来のディジタル信号符号化に
比べて、入力ディジタル信号に対する出力多重化ビット
ストリームの遅延量を小さくすることができ、かつ小さ
い遅延量で信号劣化なく高品質を保って、多重化スケジ
ュールを安全に立てることができる。
【００７３】これは、特に入力ディジタル信号にビデオ
信号を含む場合に、従来においては安全に多重化スケジ
ュールを立てるための必要なバッファの遅延量が数フレ
ーム程度必要とされたのに対して、本発明によれば、符
号化の際に得られる数フレーム分の符号化制御情報、例
えばピクチャの割当符号化ビット量情報に基づいて、安
全に多重化スケジュールを立てることができ、バッファ
の遅延量が小さくとも符号化ピクチャを高画質にするこ
とができるものである。
【００７４】また、このディジタル信号符号化技術を用
いたディジタル信号伝送方法によれば、上述した効果に
加えて、入力ディジタル信号を符号化して多重化ビット
ストリームとして出力するまでの遅延時間が短くできる
ため、ニュースや中継等の信号にリアルタイム伝送にお
けるタイムラグを短くできるという利点がある。
【図面の簡単な説明】
【図１】本発明の実施の形態としてのディジタル信号符
号化装置の構成例を示すブロック図である。
【図２】ピクチャの符号化パラメータのpicture_coding
_type, repeat_first_field とＤＴＳ，ＰＴＳとの関係
を示す図である。
【図３】ピクチャの符号化パラメータの picture_codin
g_type, repeat_first_field,top_field_first を用い
てＤＴＳ，ＰＴＳを計算する例のプログラムを示す図で
ある。
【図４】図１のディジタル信号符号化装置におけるビデ
オ信号処理のタイミングチャートの例を示す図である。
【図５】ビデオ信号の多重化スケジュールを立てるアル
ゴリズムの一例を説明するためのフローチャートであ
る。
【図６】図１のディジタル信号符号化装置の中の動画像
信号符号化部２５の構成例を示すブロック図である。
【図７】従来あるディジタル信号符号化装置の構成例を
示すブロック図である。
【図８】ビデオビットストリーム，オーディオビットス
トリーム，およびサブピクチャビットストリームをMPEG
システム方式で時分割に多重化した時の多重化ビットス
トリームの形式を表す図である。
【図９】MPEGシステム方式で規定されているシステムタ
ーゲットデコーダの構成例を示すブロック図である。
【図１０】ビデオのＳＴＤバッファのビット占有率の軌
跡を示す図である。
【図１１】図７のディジタル信号符号化装置におけるビ
デオ信号処理のタイミングチャートの例を示す図であ
る。
【符号の説明】
１１ フレームメモリ、 １２ 画像符号化制御器、
１３ ビデオエンコーダ、 １４，１７，２０ バッフ
ァ、 １６ オーディオエンコーダ、 １９サブピクチ
ャエンコーダ、 ２１ アクセスユニット検出器、 ２
２ 多重化スケジューラ、 ２３ 多重化器
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０４Ｎ 7/081

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 入力ディジタル信号を符号化し、符号化
    ビットストリームを１つのビットストリームに多重化す
    るディジタル信号符号化方法において、 予め定められた単位区間毎の入力ディジタル信号を符号
    化する時の符号化制御情報を適応的に決めるフィードフ
    ォワード制御工程と、 上記単位区間毎の入力ディジタル信号の符号化制御情報
    に基づいて、符号化ビットストリームを多重化する時の
    多重化スケジュールを制御する多重化工程とを有するこ
    とを特徴とするディジタル信号符号化方法。
  2. 【請求項２】 上記入力ディジタル信号は、ディジタル
    ビデオ信号を含み、上記単位区間は、上記ディジタルビ
    デオ信号の１画面に相当するピクチャであることを特徴
    とする請求項１記載のディジタル信号符号化方法。
  3. 【請求項３】 上記符号化制御情報は、上記ピクチャの
    割当符号化ビット量情報を含むことを特徴とする請求項
    ２記載のディジタル信号符号化方法。
  4. 【請求項４】 上記符号化制御情報は、上記ピクチャの
    符号化パラメータを含むことを特徴とする請求項２記載
    のディジタル信号符号化方法。
  5. 【請求項５】 入力ディジタル信号を符号化し、符号化
    ビットストリームを１つのビットストリームに多重化す
    るディジタル信号符号化装置において、 予め定められた単位区間毎の入力ディジタル信号を符号
    化する時の符号化制御情報を適応的に決めるフィードフ
    ォワード制御手段と、 上記単位区間毎の入力ディジタル信号の符号化制御情報
    に基づいて、符号化ビットストリームを多重化する時の
    多重化スケジュールを制御する多重化手段とを有するこ
    とを特徴とするディジタル信号符号化装置。
  6. 【請求項６】 上記入力ディジタル信号は、ディジタル
    ビデオ信号を含み、上記単位区間は、上記ディジタルビ
    デオ信号の１画面に相当するピクチャであることを特徴
    とする請求項５記載のディジタル信号符号化装置。
  7. 【請求項７】 上記フィードフォワード制御手段の上記
    符号化制御情報は、上記ピクチャの割当符号化ビット量
    情報を含むことを特徴とする請求項６記載のディジタル
    信号符号化装置。
  8. 【請求項８】 上記フィードフォワード制御手段の上記
    符号化制御情報は、上記ピクチャの符号化パラメータを
    含むことを特徴とする請求項６記載のディジタル信号符
    号化装置。
  9. 【請求項９】 多重化ビットストリームが記録された信
    号記録媒体であって、上記多重化ビットストリームは、 予め定められた単位区間毎の入力ディジタル信号を符号
    化する時の符号化制御情報を適応的に決め、この符号化
    制御情報に基づいて、符号化ビットストリームを多重化
    する時の多重化スケジュールを制御されて得られたもの
    であることを特徴とする信号記録媒体。
  10. 【請求項１０】 入力ディジタル信号を符号化し、符号
    化ビットストリームを１つのビットストリームに多重化
    して伝送するディジタル信号伝送方法において、 予め定められた単位区間毎の入力ディジタル信号を符号
    化する時の符号化制御情報を適応的に決めるフィードフ
    ォワード制御工程と、 上記単位区間毎の入力ディジタル信号の符号化制御情報
    に基づいて、符号化ビットストリームを多重化する時の
    多重化スケジュールを制御する多重化工程と、 上記多重化されたビットストリームを信号伝送処理して
    伝送する工程とを有することを特徴とするディジタル信
    号伝送方法。
JP9169198A 1997-06-25 1997-06-25 ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法 Withdrawn JPH1118083A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP9169198A JPH1118083A (ja) 1997-06-25 1997-06-25 ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法
EP19980304762 EP0888015A3 (en) 1997-06-25 1998-06-17 Digital signal coding methods and apparatus, signal recording media, and signal transmission methods
US09/100,436 US6504576B2 (en) 1997-06-25 1998-06-19 Digital signal coding method and apparatus, signal recording medium, and signal transmission method for recording a moving picture signal and an acoustic signal
CN98103159A CN1211876A (zh) 1997-06-25 1998-06-25 数字信号编码方法和装置、信号记录介质和信号传送方法
KR1019980024016A KR19990007312A (ko) 1997-06-25 1998-06-25 디지털 신호 부호화 방법 및 장치, 신호 기록 매체 및 신호 전송 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9169198A JPH1118083A (ja) 1997-06-25 1997-06-25 ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法

Publications (1)

Publication Number Publication Date
JPH1118083A true JPH1118083A (ja) 1999-01-22

Family

ID=15882036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9169198A Withdrawn JPH1118083A (ja) 1997-06-25 1997-06-25 ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法

Country Status (5)

Country Link
US (1) US6504576B2 (ja)
EP (1) EP0888015A3 (ja)
JP (1) JPH1118083A (ja)
KR (1) KR19990007312A (ja)
CN (1) CN1211876A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002019584A1 (fr) * 2000-09-01 2002-03-07 Sony Corporation Multiplexeur, recepteur et procede de transmission en multiplexage
JP2007328840A (ja) * 2006-06-06 2007-12-20 Sony Corp データ構造および記録媒体、オーサリング装置、オーサリング方法オーサリングプログラム、記録装置、記録方法および記録プログラム、検証装置、検証方法および検証プログラム、ならびに、記録媒体の製造装置および製造方法
JP2011109665A (ja) * 2009-11-18 2011-06-02 Tektronix Internatl Sales Gmbh コード化タイミング情報のないビデオ・エレメンタリ・ストリームをマルチプレクスする方法及び装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6775803B1 (en) 1998-05-01 2004-08-10 Samsung Electronics Co., Ltd Recording medium for storing real time recording/reproduction information, method and apparatus for recording and reproducing in real time, and file operating method using the same
MY126521A (en) * 1998-05-01 2006-10-31 Samsung Electronics Co Ltd Recording medium for storing real time recording/reproduction information, method and apparatus for recording and reproducing in real time, and file operating method using the same.
US7551672B1 (en) 1999-02-05 2009-06-23 Sony Corporation Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
JP2001127726A (ja) * 1999-10-29 2001-05-11 Sony Corp 信号処理装置及び方法並びに記録媒体
GB2357210A (en) * 1999-12-06 2001-06-13 Snell & Wilcox Ltd Inserting future bit rate information in a compressed data stream
US20020066101A1 (en) * 2000-11-27 2002-05-30 Gordon Donald F. Method and apparatus for delivering and displaying information for a multi-layer user interface
JP3463752B2 (ja) * 2001-07-25 2003-11-05 三菱電機株式会社 音響符号化装置、音響復号化装置、音響符号化方法および音響復号化方法
JP4447805B2 (ja) * 2001-08-09 2010-04-07 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP4029630B2 (ja) * 2002-02-27 2008-01-09 ソニー株式会社 インタリーブ処理装置とインタリーブ処理方法及びインタリーブ処理プログラム
JP4806888B2 (ja) * 2002-07-19 2011-11-02 ソニー株式会社 復号化装置及び復号化方法
CN100364294C (zh) * 2002-09-28 2008-01-23 华为技术有限公司 Ip语音网络的多通道编解码任务调度方法
JP3802521B2 (ja) * 2003-09-02 2006-07-26 ソニー株式会社 符号化装置、符号化制御方法及び符号化制御プログラム
KR100678891B1 (ko) * 2004-07-30 2007-02-05 삼성전자주식회사 Ａｖ데이터 수신시 버퍼량을 컨텐츠 속성에 따라탄력적으로 조절하는 방법 및 장치
US7782384B2 (en) * 2004-11-05 2010-08-24 Kelly Douglas J Digital camera having system for digital image composition and related method
JP4902854B2 (ja) * 2006-09-12 2012-03-21 パナソニック株式会社 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
WO2011138923A1 (ja) 2010-05-07 2011-11-10 日本電信電話株式会社 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム
KR101391661B1 (ko) 2010-05-12 2014-05-07 니폰덴신뎅와 가부시키가이샤 동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램
CN116438794B (zh) * 2022-05-31 2023-12-12 上海玄戒技术有限公司 图像压缩方法、装置、电子设备、芯片及储存介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2514111B2 (ja) * 1990-12-28 1996-07-10 日本ビクター株式会社 フレ―ム間符号化出力デ―タ量制御方式及び画像符号化出力デ―タ量制御方法
JP2861518B2 (ja) * 1991-09-03 1999-02-24 日本電気株式会社 適応多重化方式
US5461619A (en) * 1993-07-06 1995-10-24 Zenith Electronics Corp. System for multiplexed transmission of compressed video and auxiliary data
WO1995008823A1 (fr) * 1993-09-21 1995-03-30 Sony Corporation Procede et dispositif de transmission de donnees, decodeur de donnees et support d'enregistrement de donnees
KR0137701B1 (ko) * 1994-12-13 1998-05-15 양승택 엠피이지-2(mpeg-2) 시스템의 피이에스(pes) 패킷화 장치
US5606369A (en) * 1994-12-28 1997-02-25 U.S. Philips Corporation Buffering for digital video signal encoders using joint bit-rate control
US5805220A (en) * 1995-02-22 1998-09-08 U.S. Philips Corporation System for transmitting a plurality of video programs simultaneously through a transmission channel
WO1997018676A1 (en) * 1995-11-15 1997-05-22 Philips Electronics N.V. Method and device for global bitrate control of a plurality of encoders
JP3405034B2 (ja) * 1995-12-27 2003-05-12 ソニー株式会社 ディジタル信号多重化方法及び装置、並びにディジタル信号記録媒体
GB9613473D0 (en) * 1996-06-27 1996-08-28 Mitel Corp ATM cell transmit priority allocator
US5926649A (en) * 1996-10-23 1999-07-20 Industrial Technology Research Institute Media server for storage and retrieval of voluminous multimedia data

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002019584A1 (fr) * 2000-09-01 2002-03-07 Sony Corporation Multiplexeur, recepteur et procede de transmission en multiplexage
JP2007328840A (ja) * 2006-06-06 2007-12-20 Sony Corp データ構造および記録媒体、オーサリング装置、オーサリング方法オーサリングプログラム、記録装置、記録方法および記録プログラム、検証装置、検証方法および検証プログラム、ならびに、記録媒体の製造装置および製造方法
US8849094B2 (en) 2006-06-06 2014-09-30 Sony Corporation Data structure, recording medium, authoring apparatus, method, and program, recording apparatus, method, and program, verification apparatus, method, and program, and manufacturing, apparatus and method for recording medium
JP2011109665A (ja) * 2009-11-18 2011-06-02 Tektronix Internatl Sales Gmbh コード化タイミング情報のないビデオ・エレメンタリ・ストリームをマルチプレクスする方法及び装置

Also Published As

Publication number Publication date
US20020039384A1 (en) 2002-04-04
US6504576B2 (en) 2003-01-07
CN1211876A (zh) 1999-03-24
EP0888015A3 (en) 2000-11-08
KR19990007312A (ko) 1999-01-25
EP0888015A2 (en) 1998-12-30

Similar Documents

Publication Publication Date Title
JPH1118083A (ja) ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法
JP3364281B2 (ja) 時分割ビデオ及びオーディオ信号の同期方式
US7072571B2 (en) Data reproduction transmission apparatus and data reproduction transmission method
EP0685971B1 (en) Video coding apparatus comprising a plurality of encoders
US7342961B2 (en) Encoded data outputting apparatus and method
JPH08505512A (ja) 映像デコーダにおけるチャンネル・バッファの管理
WO2002001883A1 (en) Image encoder and image encoding method
EP1280356A2 (en) Apparatus and method for compressing multiplexed video signals
JP2000059790A (ja) 動画像符号列変換装置及びその方法
US20070147500A1 (en) Moving picture encoding method and apparatus
JP3516450B2 (ja) ビットストリームの伝送方法及び伝送システム
US20020015577A1 (en) Data distribution apparatus and method, and data distribution system
US7593463B2 (en) Video signal coding method and video signal encoder
WO1999030505A1 (en) Encoder and encoding method
JP2002502161A (ja) ビデオ信号圧縮処理方法
JPH09168148A (ja) 動画像符号化方法及び装置、並びに記録媒体
JPH1013826A (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像送信装置、画像受信装置、並びに記録媒体
JPH07274179A (ja) 動画像符号化装置
JPH08163558A (ja) 画像復号装置
JP2002171529A (ja) 映像符号化装置及び方法、記録媒体、並びに復号化装置
JP2002335528A (ja) 動画像復号化装置及び方法
JP3573171B2 (ja) 複数の可変レート信号の伝送方法および伝送システム
JP2914368B1 (ja) 時報に合わせた動画像信号符号化方法及び装置
JP2008182723A (ja) 記録装置
JPH08265759A (ja) 圧縮信号切換装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20040907