JP4441839B2 - 統計多重システム、統計多重制御装置および統計多重方法 - Google Patents
統計多重システム、統計多重制御装置および統計多重方法 Download PDFInfo
- Publication number
- JP4441839B2 JP4441839B2 JP2000247845A JP2000247845A JP4441839B2 JP 4441839 B2 JP4441839 B2 JP 4441839B2 JP 2000247845 A JP2000247845 A JP 2000247845A JP 2000247845 A JP2000247845 A JP 2000247845A JP 4441839 B2 JP4441839 B2 JP 4441839B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- code rate
- encoding means
- image
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
- H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/16—Time-division multiplex systems in which the time allocation to individual channels within a transmission cycle is variable, e.g. to accommodate varying complexity of signals, to vary number of channels transmitted
- H04J3/1682—Allocation of channels according to the instantaneous demands of the users, e.g. concentrated multiplexers, statistical multiplexers
- H04J3/1688—Allocation of channels according to the instantaneous demands of the users, e.g. concentrated multiplexers, statistical multiplexers the demands of the users being taken into account after redundancy removal, e.g. by predictive coding, by variable sampling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データを含む複数の番組データおよび番組データ以外の付帯情報を符号化し多重化する統計多重システム、およびその統計多重システムで用いられる統計多重制御装置ならびに統計多重方法に関するものである。
【０００２】
【従来の技術】
最近、画像データなどをデジタルデータとして送受信するデジタル放送が注目されている。デジタル放送の利点は、アナログ放送に比べて、同じ伝送路においてより多くの番組データ（以下、プログラムという。）を伝送することが可能であるということである。これは画像データを圧縮して伝送できるということによるところが大きい。画像データの圧縮の方法としては、例えばＭＰＥＧ（Moving Picture Experts Group）規格で採用されている双方向予測符号化方式がある。
【０００３】
デジタル放送における画像の圧縮符号化では、圧縮符号化後のデータ量（ビット量）を、伝送路の伝送容量以下に抑えつつ、画質を高品質に保つ必要がある。
【０００４】
所定の伝送容量の伝送路に対して、より多くのプログラムを流す方法として、「統計多重」という手法がある。統計多重は、各プログラムに割り当てられる符号レートを動的に変化させることにより、より多くのプログラムを伝送する手法である。この統計多重では、例えば、符号レートを減らしても画質の劣化が目立たないプログラムについては符号レートを減らすことにより、より多くのプログラムの伝送を可能にする。
【０００５】
ここで、図９および図１０を参照して、統計多重制御について更に説明する。図９は、従来の固定レートにより多重化した場合の各プログラムに対して割り当てられる符号レートの一例を表したものである。図９において、縦軸は各プログラムの符号レートを表し、横軸は時間を表している。図９に示したように、例えば天気予報、ニュースおよびドラマといった多重化される各プログラムの割当符号レートは、初期値として割り当てられた符号レートのままであり、時間の経過によって変動していない。各プログラムに対して初期値として割り当てられる符号レートは、各プログラムの画質の劣化が目立つ部分（時間）における画質の劣化が許容範囲に収まるように割り当てられている。従って、画質の劣化が目立つ部分以外には、必要以上の符号レートが割り当てられていることになる。
【０００６】
図１０は、統計多重の手法を用いて、各プログラムに対する割当符号レートを動的に変化させて多重化した場合の各プログラムに対する割当符号レートの一例を表したものであり、縦軸が各プログラムに対する割当符号レート、横軸が時間を表している。統計多重は、各プログラムの画質の劣化が目立つ部分（時間）が同一時に重なることが稀であることを利用したものである。そのため、あるプログラムでは画質劣化が目立つ部分であるとき、他のプログラムは符号レートを落としても画質劣化が目立たない場合が多いので、他のプログラムの符号レートを落として、画質劣化が目立つプログラムに対して符号レートを多く割り当てることができる。図１０に示した例では、時刻Ｐにおいて、ドラマ（１）では画質劣化が目立つ部分であり、ニュースおよびドラマ（２）では画質劣化が目立たない部分であるとき、ニュースおよびドラマ（２）の符号レートを落として、ドラマ（１）に対してその分の符号レートを多く割り当てる。このようにして、統計多重を用いることにより、通常よりも多くのプログラムを伝送することができる。
【０００７】
ここで、近年、ＥＰＧ（Electric Program Guide）など、プログラム以外の付帯情報を、プログラムと共に伝送することが考えられている。図１１は、プログラムと付帯情報とを多重化して伝送する場合の割当符号レートの一例を表すものである。図１１に示したように、プログラム毎に割り当てられる符号レートが統計多重により可変制御されているのに対し、付帯情報に割り当てられる符号レートは常に一定となっている。
【０００８】
【発明が解決しようとする課題】
しかしながら、このように付帯情報に割り当てられる符号レートが一定であると、付帯情報の量が少ないときには、空（から）のデータが伝送されることになり、無駄が多いという問題があった。さらに、付帯情報の量が少ないときには、番組データに割り当てる符号レートを増やせば画質の向上を図ることができるが、従来は、そのような割り当てがなされていなかった。
【０００９】
本発明はかかる問題点に鑑みてなされたもので、その目的は、符号レートの割り当てを効率的に行い、画質を向上することができる統計多重システム、統計多重制御装置および統計多重方法を提供することにある。
【００１０】
【課題を解決するための手段】
本発明による統計多重システムは、それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて、自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、各画像符号化手段および情報符号化手段の出力データを多重化する多重化手段と、情報符号化手段に対して単位時間当たりの出力符号量としての符号レートを設定すると共に、各画像符号化手段から各番組データの符号化の難易度を表す符号化難易度を取得し、情報符号化手段に対して設定された符号レートと符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行う統計多重制御手段とを備えたものである。ここで、この統計多重制御手段は、情報符号化手段からの出力データを一時的に保存したのち、多重化手段に対して出力するメモリと、情報符号化手段から目標符号レートを取得すると共に、上記メモリからそのメモリにおけるデータの残存状況情報を取得し、目標符号レートとデータの残存状況情報とに基づいて、少なくともメモリにおけるオーバーフローが生じないように、情報符号化手段に対して設定すべき符号レートを決定する手段とを含んでいる。また、上記統計多重制御手段は、伝送可能な総符号レートから、情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行うようになっている。
【００１１】
本発明による統計多重制御装置は、それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、各画像符号化手段および情報符号化手段の出力データを多重化する多重化手段とを備えた統計多重システムに用いられ、各画像符号化手段および情報符号化手段を制御する統計多重制御装置であって、情報符号化手段に対して単位時間当たりの出力符号量としての符号レートを設定すると共に、各画像符号化手段から各番組データの符号化の難易度を表す符号化難易度を取得し、情報符号化手段に対して設定された符号レートと符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行う統計多重制御手段を備えたものである。ここで、この統計多重制御手段は、情報符号化手段からの出力データを一時的に保存したのち、多重化手段に対して出力するメモリと、情報符号化手段から目標符号レートを取得すると共に、上記メモリからそのメモリにおけるデータの残存状況情報を取得し、目標符号レートとデータの残存状況情報とに基づいて、少なくともメモリにおけるオーバーフローが生じないように、情報符号化手段に対して設定すべき符号レートを決定する手段とを含んでいる。また、上記統計多重制御手段は、伝送可能な総符号レートから、情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行うようになっている。
【００１２】
本発明による統計多重方法は、それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、各画像符号化手段および情報符号化手段の出力データを多重化する多重化手段とを備えた統計多重システムに用いられ、各画像符号化手段および情報符号化手段を制御する統計多重方法であって、情報符号化手段に対して単位時間当たりの出力符号量としての符号レートを設定するステップと、各画像符号化手段から各番組データの符号化の難易度を表す符号化難易度を取得するステップと、情報符号化手段に対して設定された符号レートと符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行うステップとを含むものである。ここで、上記符号レートを設定するステップは、情報符号化手段から目標符号レートを取得するステップと、情報符号化手段からの出力データを一時的に保存したのちに多重化手段に対して出力するメモリから、そのメモリにおけるデータの残存状況情報を取得するステップと、目標符号レートとデータの残存状況情報とに基づいて、少なくともメモリにおけるオーバーフローが生じないように、情報符号化手段に対して設定すべき符号レートを決定するステップとを含んでいる。また、上記割り当てを行うステップでは、伝送可能な総符号レートから、情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行うようになっている。
【００１３】
本発明による統計多重システム、統計多重制御装置または統計多重方法では、まず情報符号化手段に対して符号レートが優先的に設定され、その符号レートに基づいて、各画像符号化手段に対して割り当てられる符号レートが設定される。ここで、情報符号化手段に対して符号レートを設定する際には、この情報符号化手段から取得した目標符号レートと、情報符号化手段からの出力データを一時的に保存するメモリにおけるデータの残存状況情報と基づいて、少なくともこのメモリにおけるオーバーフローが生じないように、情報符号化手段に対して設定すべき符号レートが決定される。また、各画像符号化手段に対する符号レートの割り当てを行う際には、伝送可能な総符号レートから情報符号化手段に対して設定された符号レートを差し引いた残りが、画像基準値とされると共に、この画像基準値の範囲内で各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てが行われる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１５】
図１は、本発明の一実施の形態に係る統計多重システムの構成例を表すブロック図である。この統計多重システム１は、番組データとしてのプログラムＳi（ｉは１以上の整数値）を圧縮符号化する複数の画像符号化手段としての画像符号化装置２iと、プログラム以外の情報Ｓdを符号化する情報符号化手段としての情報符号化装置４と、各画像符号化装置２iおよび情報符号化装置４の出力データを多重化して伝送路に出力する多重化装置６とを備えている。さらに、この統計多重システム１は、各画像符号化装置２iおよび情報符号化装置４に対して単位時間当たりの出力符号量としてのビットレート（符号レート）を割り当てることにより、各画像符号化装置２iおよび情報符号化装置４を制御する統計多重制御装置５を備えている。
【００１６】
画像符号化装置２iは、それぞれ画像データを含むプログラムＳiを入力され、圧縮符号化し、符号化画像信号Ｓｔiとして多重化装置６に出力するようになっている。各画像符号化装置２iは、符号化画像信号Ｓｔiの単位時間当たりの出力符号量としてのビットレートＲiを、フレーム単位で変更できるようになっている。さらに、画像符号化装置２iは、入力されたプログラムＳiの符号化難易度Ｄi（すなわち、同じ画質を保つために必要なデータ量の割合）を算出すると共に、この符号化難易度Ｄiを統計多重制御装置５に送信するようになっている。
【００１７】
情報符号化装置４は、ＥＰＧやインターネット情報など、プログラムＳiとは同期されていない付帯情報Ｓdを入力され、符号化し、符号化情報信号Ｓｔdとして多重化装置６に出力するようになっている。なお、情報符号化装置４は、付帯情報Ｓdが入力されると、その付帯情報Ｓdの情報量に応じて、自らが出力する符号化情報信号Ｓｔdのビットレートの目標値Ｐを算出し、その目標値Ｐを後述のデータ送信指令装置６５に送信するようになっている。
【００１８】
多重化装置６は、各画像符号化装置２iから出力された符号化画像信号Ｓｔiを所定時間だけ遅延して、それぞれ入力した順に出力する画像ＦＩＦＯ（先入れ先出し）メモリ６０iと、情報符号化装置４から出力された符号化情報信号Ｓｔdを所定時間だけ遅延し、入力した順に出力する情報ＦＩＦＯメモリ６１とを備えている。さらに、多重化装置６は、画像ＦＩＦＯメモリ６０iおよび情報ＦＩＦＯメモリ６１から出力された符号化画像信号Ｓｔiおよび符号化情報信号Ｓｔdを多重化する多重化手段としての多重化器６２を備えている。多重化器６２は、画像ＦＩＦＯメモリ６０iおよび情報ＦＩＦＯメモリ６１にデータが保持されているか否かを順次監視しており、いずれかのメモリにデータが保持されていることを確認すると、そのデータを速やかに全て引き出すようになっている。なお、情報ＦＩＦＯメモリ６１は、自らの記憶可能な全容量のうち、データにより占有されている容量についての情報（以下、データ残存状況Ｆとする。）を、データ送信指令装置６５に送信するようになっている。
【００１９】
多重化装置６は、さらに、情報符号化装置４の出力を制御するデータ送信指令装置６５を備えている。データ送信指令装置６５は、情報符号化装置４から送信されるビットレートの目標値Ｐを受信し、さらに、情報ＦＩＦＯメモリ６１から送信されるデータ残存状況Ｆを受信するようになっている。データ送信指令装置６５は、さらに、ビットレートの目標値Ｐとデータ残存状況Ｆとに基づいて、情報符号化装置４が出力すべき符号化情報信号ＳｔdのビットレートＲdを決定し、このビットレートＲdを情報符号化装置４に送信するようになっている。
【００２０】
なお、情報符号化装置４の出力をデータ送信指令装置６５によって制御するようにした理由は次のとおりである。すなわち、情報ＦＩＦＯメモリ６１に入力されたデータは、原則、多重化器６２によって速やかに全て引き出されるが、情報ＦＩＦＯメモリ６１にまだデータが残っているうちに（すなわち、情報ＦＩＦＯメモリ６１が「空」になる前に）、情報符号化装置４から次のデータが入力される可能性もある。そこで、情報ＦＩＦＯメモリ６１におけるオーバーフローが生じないよう、また、多重化器６２からの出力データのビットレートが伝送容量を超えないよう、データ送信指令装置６５が、情報符号化装置４から送信されたビットレートの目標値Ｐと情報ＦＩＦＯメモリ６１のデータ残存状況Ｆとに基づいて、情報符号化装置４に割り当てるビットレートＲdを決定するようにしている。
【００２１】
図２は、図１における統計多重制御装置５の概略構成例を表すブロック図である。統計多重制御装置５は、ＣＰＵ（Central Processing Unit）５１と、ＦＲＯＭ（flash electrically erasable programmable read only memory）５２と、ＤＲＡＭ（dynamic random access memory）５３と、これらが接続されたバス５５とを備えている。統計多重制御装置５は、更に、それぞれの画像符号化装置２iおよび情報符号化装置４とのデータの送受信を行うためのインターフェース５４を備えている。この統計多重制御装置５は、インターフェース５４を介して、データ送信指令装置６５から符号化情報信号ＳｔdのビットレートＲdを受信すると共に、各画像符号化装置２iから符号化難易度Ｄiを受信し、かつ、各画像符号化装置２iに対して符号化画像信号ＳｔiのビットレートＲiを送信するようになっている。
【００２２】
図３は、情報符号化装置４の概略構成例を表すブロック図である。情報符号化装置４は、付帯情報Ｓdを入力し所定の前処理を行う前処理部４１と、この前処理部４１の出力データを符号化し、符号化情報信号Ｓｔdとして出力する符号化部４２と、符号化部４２における符号化処理を制御する符号化制御部４３とを備えている。前処理部４１では、入力された付帯情報Ｓdの情報量を表すデータを符号化制御部４３に出力するようになっている。符号化制御部４３では、前処理部４１から入力された情報量データに基づき、符号化部４２から出力すべき符号化情報信号Ｓｔdのビットレートの目標値Ｐを算出して統計多重制御装置５に送信するようになっている。さらに、符号化制御部４３は、統計多重制御装置５から送信されたビットレートＲdを受信して、このビットレートＲdに基づいて、符号化部４２の出力を制御するようになっている。
【００２３】
図４は、画像符号化装置２iの詳細な構成を表すブロック図である。画像符号化装置２iは、プログラムＳiを入力し、圧縮符号化のための前処理等を行うエンコーダ前処理部１１と、このエンコーダ前処理部１１の出力データを所定時間だけ遅延して出力するためのＦＩＦＯメモリ１２と、このＦＩＦＯメモリ１２の出力データを入力し、ピクチャ毎にピクチャタイプに応じた画像符号化方法によって圧縮符号化して、符号化画像信号Ｓｔiを出力するエンコーダ１３と、エンコーダ前処理部１１の出力データに基づいて動きベクトルを検出し、エンコーダ１３に送る動き検出回路１４と、エンコーダ前処理部１１から出力されるイントラＡＣデータＳａiと動き検出回路１４から出力されるＭＥ残差データＳｚiとに基づいてエンコーダ１３を制御する符号化制御部１５とを備えている。なお、ＭＥ残差とは、動き予測誤差をピクチャ全体について絶対値和あるいは自乗和したものであり、ＭＥ残差データＳｚiは、ＭＥ残差を求めるためのデータである。
【００２４】
エンコーダ前処理部１１は、プログラムＳiを入力し、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画像並べ替え回路２１と、この画像並べ替え回路２１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換および１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路２２と、この走査変換・マクロブロック化回路２２の出力データを入力し、ＩピクチャにおけるイントラＡＣを算出し、イントラＡＣデータＳａiを符号化制御部１５に送ると共に、走査変換・マクロブロック化回路２２の出力データをＦＩＦＯメモリ１２および動き検出回路１４に送るイントラＡＣ演算回路２３とを備えている。なお、イントラＡＣとは、Ｉピクチャにおいて、８×８画素のＤＣＴ（離散コサイン変換）ブロック内の各画素の画素値とＤＣＴブロック内の画素値の平均値との差分の絶対値の総和として定義され、絵柄の複雑さを表すものといえる。
【００２５】
エンコーダ１３は、ＦＩＦＯメモリ１２の出力データと予測画像データとの差分をとる減算回路３１と、この減算回路３１の出力データに対して、ＤＣＴブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路３２と、このＤＣＴ回路３２の出力データを量子化する量子化回路３３と、この量子化回路３３の出力データを可変長符号化する可変長符号化回路３４と、この可変長符号化回路３４の出力データを一旦保持し、ビットストリームからなる符号化画像信号Ｓｔiとして出力するバッファメモリ３５と、量子化回路３３の出力データを逆量子化する逆量子化回路３６と、この逆量子化回路３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路３７と、この逆ＤＣＴ回路３７の出力データと予測画像データとを加算して出力する加算回路３８と、この加算回路３８の出力データを保持し、動き検出回路１４から送られる動きベクトルに応じて動き補償を行って予測画像データを減算回路３１および加算回路３８に出力する動き補償回路３９とを備えている。
【００２６】
動き検出回路１４は、エンコーダ前処理部１１の出力データに基づいて、圧縮符号化の対象となるピクチャの注目マクロブロックと、参照されるピクチャにおいて注目マクロブロックとの間の画素値の差分の絶対値和あるいは自乗和が最小となるマクロブロックを探して、動きベクトルを検出して動き補償回路３９に送るようになっている。また、動き検出回路１４は、動きベクトルを求める際に、最小となったマクロブロック間における画素値の差分の絶対値和あるいは自乗和を、ＭＥ残差データＳｚiとして符号化制御部１５に送るようになっている。
【００２７】
符号化制御部１５は、動き検出回路１４からのＭＥ残差データＳｚiをピクチャ全体について足し合わせた値であるＭＥ残差を算出するＭＥ残差計算部２４と、このＭＥ残差計算部２４によって算出されたＭＥ残差とイントラＡＣ演算回路２３からのイントラＡＣデータＳａiとに基づいて、ピクチャの符号化の難易度を表す符号化難易度Ｄiを算出し、統計多重制御装置５に送る符号化難易度計算部２５とを備えている。また、符号化制御部１５は、符号化難易度計算部２５によって算出された符号化難易度Ｄiに基づいて統計多重制御装置５において決定されたビットレートＲiとなるように量子化回路３３における量子化特性値に対応する量子化インデックスを決定し、量子化回路３３に送る量子化インデックス決定部２６を備えている。
【００２８】
ここで、符号化難易度について説明する。符号化難易度は、ピクチャの符号化の難易度を表すものであるが、これは、同じ画質を保つために必要なデータ量の比率と言い換えることができる。符号化難易度を数値化する方法は種々考えられるが、本実施の形態では、ＩピクチャについてはイントラＡＣを用いて符号化難易度を求め、ＰピクチャとＢピクチャについてはＭＥ残差を用いて符号化難易度を求めることとしている。前述のように、イントラＡＣは絵柄の複雑さを表し、ＭＥ残差は映像の動きの速さおよび絵柄の複雑さを表し、これらは符号化の難易度と強い相関があることから、これらを変数とする一次関数等により、符号化難易度を算出することが可能である。
【００２９】
次に、図１に示した統計多重システム１の基本動作について説明する。図５は、図１に示した統計多重システム１において、符号化情報信号Ｓｔdおよび各符号化画像信号Ｓｔiに割り当てられるビットレートを表す図である。図５において、縦軸は各プログラムＳiおよび付帯情報Ｓdに割り当てられたビットレートを表し、横軸は時間を表している。なお、図５では、簡単のため、プログラムＳiは４つのみ示す。
【００３０】
本実施の形態では、まず符号化情報信号Ｓｔdに割り当てるビットレートＲdを決定し、残りのビットレートＴ1の範囲について、統計多重の手法に基づく符号化画像信号Ｓｔ1〜Ｓｔ4への割り当てを行う。具体的には、まず、データ送信指令装置６５が、上述したビットレートの目標値Ｐおよび情報ＦＩＦＯメモリ６１のデータ残存状況Ｆに基づいて、符号化情報信号Ｓｔdに割り当てるビットレートＲdを決定する。そののち、統計多重制御装置５が、伝送可能な総ビットレート（伝送容量）Ｔ0から、符号化情報信号Ｓｔdに割り当てられたビットレートＲdを差し引いた残り（Ｔ0−Ｒd）を画像基準値Ｔ1とし、この画像基準値Ｔ1の範囲内で統計多重の手法により各符号化画像信号Ｓｔ1〜Ｓｔ4へのビットレートＲiの割り当てを行う。以下、統計多重システム１の動作の詳細について説明する。
【００３１】
ＥＰＧなどの付帯情報Ｓdは情報符号化装置４に入力され、各プログラムＳiは各画像符号化装置２iに入力される。情報符号化装置４では、入力された付帯情報に基づいてビットレートの目標値Ｐを設定し、この目標値Ｐをデータ送信指令装置６５に送信する。一方、画像符号化装置２iでは、入力されたプログラムＳiに基づいて符号化制御部１５が符号化難易度Ｄiを算出し、統計多重制御装置５に送信する。
【００３２】
図６は、データ送信指令装置６５が実行する処理を表す流れ図である。まず、データ送信指令装置６５は、情報符号化装置４から出力されたビットレートの目標値Ｐを確認（Ｓ１０）し、次いで、情報ＦＩＦＯメモリ６１のデータの残存状況Ｆを確認する（Ｓ１２）。続いて、データ送信指令装置６５は、情報符号化装置４から送信されたビットレートの目標値Ｐと情報ＦＩＦＯメモリ６１のデータ残存状況Ｆとに基づき、情報ＦＩＦＯメモリ６１のオーバーフローなどが生じないよう、情報符号化装置４が出力すべき符号化情報信号Ｓｔd のビットレートＲd を決定し（Ｓ１４）、このビットレートＲd を情報符号化装置４に通知する（Ｓ１６）。次いで、データ送信指令装置６５は、統計多重制御装置５に対して、符号化情報信号Ｓｔd のビットレートＲd を通知する（Ｓ１８）。図６に示した処理により、情報符号化装置４の符号化情報信号Ｓｔ d のビットレートＲd が設定される。
【００３３】
図７は、統計多重制御装置５が実行する処理を表す流れ図である。統計多重制御装置５は、まず、データ送信指令装置６５から送信された符号化情報信号ＳｔdのビットレートＲdを伝送容量Ｔ0から差し引いた残りを画像基準値Ｔ1として設定する（Ｓ１００）。次いで、統計多重制御装置５は、統計多重の手法を用いて、各画像符号化装置２iから入力された符号化難易度Ｄiに基づいて、各画像符号化装置２iに対して設定すべきビットレートの暫定的な目標値としての暫定ビットレートＴＲiをそれぞれ算出する（Ｓ１０２）。ここでは、符号化難易度Ｄiと暫定ビットレートＴＲiとの対応関係を表す演算式を用いて、暫定ビットレートＴＲiを算出するものとする。
【００３４】
次いで、統計多重制御装置５は、各画像符号化装置２i に対して設定された暫定ビットレートＴＲi の総和と画像基準値Ｔ1 との大小関係を判断する（Ｓ１０４）。暫定ビットレートＴＲi の総和が画像基準値Ｔ1 よりも大きい場合（Ｓ１０４でＹ）には、その総和が画像基準値Ｔ1 以下になるよう、各暫定ビットレートＴＲi を減少方向に修正し、これを最終的なビットレートＲi とする（Ｓ１０６）。一方、暫定ビットレートＴＲi の総和が画像基準値Ｔ1 以下の場合（Ｓ１０４でＮ）には、その総和が画像基準値Ｔ1 を超えない範囲でより大きくなるように（すなわち、総和が、画像基準値Ｔ1 と同じか僅かに小さい値になるように）符号化画像信号Ｓｔi の暫定ビットレートＴＲi を増加方向に修正し、これを最終的なビットレートＲi とする（Ｓ１０８）。続いて、ステップＳ１０６またはステップＳ１０８で設定された符号化画像信号Ｓｔi のビットレートＲi を各画像符号化装置２i に送信する（Ｓ１１０）。図７に示した処理により、各画像符号化装置２i の符号化画像信号Ｓｔi のビットレートＲi が設定される。
【００３５】
情報符号化装置４では、符号化制御部４３がデータ送信指令装置６５からビットレートＲd を受信し、このビットレートＲd に応じて符号化部４２の符号化処理を制御する。符号化部４２は、符号化制御部４３から指示されたビットレートＲd で付帯情報Ｓd を符号化し、符号化情報信号Ｓｔd を多重化装置６に出力する。画像符号化装置２i では、符号化制御部１５が統計多重制御装置５からビットレートＲi を受信し、このビットレートＲi に応じてエンコーダ１３の符号化処理を制御する。エンコーダ１３は、符号化制御部１５から指示されたビットレートＲi でプログラムＳi を圧縮符号化し、符号化画像信号Ｓｔi を多重化装置６に出力する。多重化装置６は、情報符号化装置４から送信された符号化情報信号Ｓｔd および各画像符号化装置２i から送信された符号化画像信号Ｓｔi を多重化して、多重化データＳｍを生成し、伝送路に対して出力する。
【００３６】
以上説明したように、本実施の形態に係る統計多重システムによれば、情報符号化装置４に対して割り当てるビットレートＲdを優先的に設定し、そのビットレートＲdに基づいて各画像符号化装置２iに対するビットレートＲiの割り当てを行うようにしたので、伝送すべき付帯情報Ｓdが比較的少ない場合には、それだけ多くのビットレートを各画像符号化装置２iに対して割り当てることができる。従って、無駄のないビットレートの割り当てを行うことができ、画質の向上に資することができる。
【００３７】
また、データ送信指令装置６５により、情報ＦＩＦＯメモリ６１のデータの残存状況に応じて情報符号化装置４の出力を制御するようにしたので、情報ＦＩＦＯメモリ６１のオーバーフローなどが防止できる。
【００３８】
なお、上記の実施の形態では、データ送信指令装置６５が情報符号化装置４を制御するようにしたが、図８に示したように、データ送信指令装置６５を設けずに、統計多重制御装置５によって情報符号化装置４を直接制御するようにしてもよい。このような構成にすれば、処理時間を短縮でき、より効率的な情報符号化・伝送が可能になる。
【００３９】
以上、実施の形態を挙げて本発明を説明したが、本発明はこの実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上述した実施の形態では、情報符号化装置４は１つのみとしたが、複数の情報符号化装置を設けてもよい。また、情報符号化装置４の符号化部４２が、付帯情報Ｓdをトランスポートストリーム化して出力するようにしてもよい。
【００４０】
また、図６および図７に示した処理を統計多重制御装置５およびデータ送信指令装置６５によって実行させるようにしたが、他の機器によって実行させるようにしてもよい。また、画像符号化装置２i，統計多重制御装置５，情報符号化装置４，および多重化装置６は、図１ないし図４に示した構成と異なる構成であってもよい。さらに、情報符号化装置４により符号化する付帯情報は、ＥＰＧやインターネット情報に限られず、他のデータであってもよい。
【００４１】
【発明の効果】
以上説明したように、請求項１もしくは請求項２に記載の統計多重システム、請求項３もしくは請求項４に記載の統計多重制御装置、または請求項５もしくは請求項６に記載の統計多重方法によれば、情報符号化手段に対して符号レートを設定し、その符号レートに基づいて、画像符号化手段に対する符号レートを設定するようにしたので、伝送すべき付帯情報が少ない場合には、より多くの符号レートを番組データに割り当てることができる。すなわち、符号レートの割り当てを効率的に行うことができ、画質を向上させることができるという効果を奏する。
また、各画像符号化手段に対する符号レートの割り当てを行う際に、伝送可能な総符号レートから情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とすると共に、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて各画像符号化手段に対する符号レートの割り当てを行うようにしたので、伝送路のオーバーフローなどを起こすことなく、画像符号化手段に対する符号レートの割り当てを効率的に行うことができるという効果を奏する。
さらに、情報符号化手段に対して符号レートを設定する際に、この情報符号化手段から取得した目標符号レートと、情報符号化手段からの出力データを一時的に保存するメモリにおけるデータの残存状況情報と基づいて、少なくともこのメモリにおけるオーバーフローが生じないように情報符号化手段に対して設定すべき符号レートを決定するようにしたので、メモリのオーバーフローなどを防止できるという効果を奏する。
【００４３】
特に、請求項２記載の統計多重システム、請求項４記載の統計多重制御装置、または請求項６記載の統計多重方法によれば、各画像符号化手段について暫定符号レートを設定し、暫定符号レートの総和が画像基準値に近づくよう暫定符号レートを修正するようにしたので、画像基準値の範囲内で、無駄なく符号レートの割り当てを行うことができるという効果を奏する。
【図面の簡単な説明】
【図１】 本発明の実施の形態に係る統計多重制御装置を含む統計多重システムの概略の構成を表すブロック図である。
【図２】 図１に示した統計多重システムにおける統計多重制御装置のハードウェア構成を表すブロック図である。
【図３】 図１に示した統計多重システムにおける情報符号化装置の概略構成例を表すブロック図である。
【図４】 図１に示した統計多重システムにおける画像符号化装置の概略構成例を表すブロック図である。
【図５】 図１に示した統計多重制御装置における割当ビットレートの一例を表すチャートである。
【図６】 データ送信指令装置により実行される処理を表す流れ図である。
【図７】 統計多重制御装置により実行される処理を表す流れ図である。
【図８】 統計多重システムの他の構成例を表すブロック図である。
【図９】 ビットレートが固定された場合の一般的な割当符号レートを表す図である。
【図１０】 統計多重制御における一般的な割当符号レートを表す図である。
【図１１】 統計多重制御における一般的な割当符号レートを表す図である。
【発明の属する技術分野】
本発明は、画像データを含む複数の番組データおよび番組データ以外の付帯情報を符号化し多重化する統計多重システム、およびその統計多重システムで用いられる統計多重制御装置ならびに統計多重方法に関するものである。
【０００２】
【従来の技術】
最近、画像データなどをデジタルデータとして送受信するデジタル放送が注目されている。デジタル放送の利点は、アナログ放送に比べて、同じ伝送路においてより多くの番組データ（以下、プログラムという。）を伝送することが可能であるということである。これは画像データを圧縮して伝送できるということによるところが大きい。画像データの圧縮の方法としては、例えばＭＰＥＧ（Moving Picture Experts Group）規格で採用されている双方向予測符号化方式がある。
【０００３】
デジタル放送における画像の圧縮符号化では、圧縮符号化後のデータ量（ビット量）を、伝送路の伝送容量以下に抑えつつ、画質を高品質に保つ必要がある。
【０００４】
所定の伝送容量の伝送路に対して、より多くのプログラムを流す方法として、「統計多重」という手法がある。統計多重は、各プログラムに割り当てられる符号レートを動的に変化させることにより、より多くのプログラムを伝送する手法である。この統計多重では、例えば、符号レートを減らしても画質の劣化が目立たないプログラムについては符号レートを減らすことにより、より多くのプログラムの伝送を可能にする。
【０００５】
ここで、図９および図１０を参照して、統計多重制御について更に説明する。図９は、従来の固定レートにより多重化した場合の各プログラムに対して割り当てられる符号レートの一例を表したものである。図９において、縦軸は各プログラムの符号レートを表し、横軸は時間を表している。図９に示したように、例えば天気予報、ニュースおよびドラマといった多重化される各プログラムの割当符号レートは、初期値として割り当てられた符号レートのままであり、時間の経過によって変動していない。各プログラムに対して初期値として割り当てられる符号レートは、各プログラムの画質の劣化が目立つ部分（時間）における画質の劣化が許容範囲に収まるように割り当てられている。従って、画質の劣化が目立つ部分以外には、必要以上の符号レートが割り当てられていることになる。
【０００６】
図１０は、統計多重の手法を用いて、各プログラムに対する割当符号レートを動的に変化させて多重化した場合の各プログラムに対する割当符号レートの一例を表したものであり、縦軸が各プログラムに対する割当符号レート、横軸が時間を表している。統計多重は、各プログラムの画質の劣化が目立つ部分（時間）が同一時に重なることが稀であることを利用したものである。そのため、あるプログラムでは画質劣化が目立つ部分であるとき、他のプログラムは符号レートを落としても画質劣化が目立たない場合が多いので、他のプログラムの符号レートを落として、画質劣化が目立つプログラムに対して符号レートを多く割り当てることができる。図１０に示した例では、時刻Ｐにおいて、ドラマ（１）では画質劣化が目立つ部分であり、ニュースおよびドラマ（２）では画質劣化が目立たない部分であるとき、ニュースおよびドラマ（２）の符号レートを落として、ドラマ（１）に対してその分の符号レートを多く割り当てる。このようにして、統計多重を用いることにより、通常よりも多くのプログラムを伝送することができる。
【０００７】
ここで、近年、ＥＰＧ（Electric Program Guide）など、プログラム以外の付帯情報を、プログラムと共に伝送することが考えられている。図１１は、プログラムと付帯情報とを多重化して伝送する場合の割当符号レートの一例を表すものである。図１１に示したように、プログラム毎に割り当てられる符号レートが統計多重により可変制御されているのに対し、付帯情報に割り当てられる符号レートは常に一定となっている。
【０００８】
【発明が解決しようとする課題】
しかしながら、このように付帯情報に割り当てられる符号レートが一定であると、付帯情報の量が少ないときには、空（から）のデータが伝送されることになり、無駄が多いという問題があった。さらに、付帯情報の量が少ないときには、番組データに割り当てる符号レートを増やせば画質の向上を図ることができるが、従来は、そのような割り当てがなされていなかった。
【０００９】
本発明はかかる問題点に鑑みてなされたもので、その目的は、符号レートの割り当てを効率的に行い、画質を向上することができる統計多重システム、統計多重制御装置および統計多重方法を提供することにある。
【００１０】
【課題を解決するための手段】
本発明による統計多重システムは、それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて、自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、各画像符号化手段および情報符号化手段の出力データを多重化する多重化手段と、情報符号化手段に対して単位時間当たりの出力符号量としての符号レートを設定すると共に、各画像符号化手段から各番組データの符号化の難易度を表す符号化難易度を取得し、情報符号化手段に対して設定された符号レートと符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行う統計多重制御手段とを備えたものである。ここで、この統計多重制御手段は、情報符号化手段からの出力データを一時的に保存したのち、多重化手段に対して出力するメモリと、情報符号化手段から目標符号レートを取得すると共に、上記メモリからそのメモリにおけるデータの残存状況情報を取得し、目標符号レートとデータの残存状況情報とに基づいて、少なくともメモリにおけるオーバーフローが生じないように、情報符号化手段に対して設定すべき符号レートを決定する手段とを含んでいる。また、上記統計多重制御手段は、伝送可能な総符号レートから、情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行うようになっている。
【００１１】
本発明による統計多重制御装置は、それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、各画像符号化手段および情報符号化手段の出力データを多重化する多重化手段とを備えた統計多重システムに用いられ、各画像符号化手段および情報符号化手段を制御する統計多重制御装置であって、情報符号化手段に対して単位時間当たりの出力符号量としての符号レートを設定すると共に、各画像符号化手段から各番組データの符号化の難易度を表す符号化難易度を取得し、情報符号化手段に対して設定された符号レートと符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行う統計多重制御手段を備えたものである。ここで、この統計多重制御手段は、情報符号化手段からの出力データを一時的に保存したのち、多重化手段に対して出力するメモリと、情報符号化手段から目標符号レートを取得すると共に、上記メモリからそのメモリにおけるデータの残存状況情報を取得し、目標符号レートとデータの残存状況情報とに基づいて、少なくともメモリにおけるオーバーフローが生じないように、情報符号化手段に対して設定すべき符号レートを決定する手段とを含んでいる。また、上記統計多重制御手段は、伝送可能な総符号レートから、情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行うようになっている。
【００１２】
本発明による統計多重方法は、それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、各画像符号化手段および情報符号化手段の出力データを多重化する多重化手段とを備えた統計多重システムに用いられ、各画像符号化手段および情報符号化手段を制御する統計多重方法であって、情報符号化手段に対して単位時間当たりの出力符号量としての符号レートを設定するステップと、各画像符号化手段から各番組データの符号化の難易度を表す符号化難易度を取得するステップと、情報符号化手段に対して設定された符号レートと符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行うステップとを含むものである。ここで、上記符号レートを設定するステップは、情報符号化手段から目標符号レートを取得するステップと、情報符号化手段からの出力データを一時的に保存したのちに多重化手段に対して出力するメモリから、そのメモリにおけるデータの残存状況情報を取得するステップと、目標符号レートとデータの残存状況情報とに基づいて、少なくともメモリにおけるオーバーフローが生じないように、情報符号化手段に対して設定すべき符号レートを決定するステップとを含んでいる。また、上記割り当てを行うステップでは、伝送可能な総符号レートから、情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行うようになっている。
【００１３】
本発明による統計多重システム、統計多重制御装置または統計多重方法では、まず情報符号化手段に対して符号レートが優先的に設定され、その符号レートに基づいて、各画像符号化手段に対して割り当てられる符号レートが設定される。ここで、情報符号化手段に対して符号レートを設定する際には、この情報符号化手段から取得した目標符号レートと、情報符号化手段からの出力データを一時的に保存するメモリにおけるデータの残存状況情報と基づいて、少なくともこのメモリにおけるオーバーフローが生じないように、情報符号化手段に対して設定すべき符号レートが決定される。また、各画像符号化手段に対する符号レートの割り当てを行う際には、伝送可能な総符号レートから情報符号化手段に対して設定された符号レートを差し引いた残りが、画像基準値とされると共に、この画像基準値の範囲内で各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てが行われる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１５】
図１は、本発明の一実施の形態に係る統計多重システムの構成例を表すブロック図である。この統計多重システム１は、番組データとしてのプログラムＳi（ｉは１以上の整数値）を圧縮符号化する複数の画像符号化手段としての画像符号化装置２iと、プログラム以外の情報Ｓdを符号化する情報符号化手段としての情報符号化装置４と、各画像符号化装置２iおよび情報符号化装置４の出力データを多重化して伝送路に出力する多重化装置６とを備えている。さらに、この統計多重システム１は、各画像符号化装置２iおよび情報符号化装置４に対して単位時間当たりの出力符号量としてのビットレート（符号レート）を割り当てることにより、各画像符号化装置２iおよび情報符号化装置４を制御する統計多重制御装置５を備えている。
【００１６】
画像符号化装置２iは、それぞれ画像データを含むプログラムＳiを入力され、圧縮符号化し、符号化画像信号Ｓｔiとして多重化装置６に出力するようになっている。各画像符号化装置２iは、符号化画像信号Ｓｔiの単位時間当たりの出力符号量としてのビットレートＲiを、フレーム単位で変更できるようになっている。さらに、画像符号化装置２iは、入力されたプログラムＳiの符号化難易度Ｄi（すなわち、同じ画質を保つために必要なデータ量の割合）を算出すると共に、この符号化難易度Ｄiを統計多重制御装置５に送信するようになっている。
【００１７】
情報符号化装置４は、ＥＰＧやインターネット情報など、プログラムＳiとは同期されていない付帯情報Ｓdを入力され、符号化し、符号化情報信号Ｓｔdとして多重化装置６に出力するようになっている。なお、情報符号化装置４は、付帯情報Ｓdが入力されると、その付帯情報Ｓdの情報量に応じて、自らが出力する符号化情報信号Ｓｔdのビットレートの目標値Ｐを算出し、その目標値Ｐを後述のデータ送信指令装置６５に送信するようになっている。
【００１８】
多重化装置６は、各画像符号化装置２iから出力された符号化画像信号Ｓｔiを所定時間だけ遅延して、それぞれ入力した順に出力する画像ＦＩＦＯ（先入れ先出し）メモリ６０iと、情報符号化装置４から出力された符号化情報信号Ｓｔdを所定時間だけ遅延し、入力した順に出力する情報ＦＩＦＯメモリ６１とを備えている。さらに、多重化装置６は、画像ＦＩＦＯメモリ６０iおよび情報ＦＩＦＯメモリ６１から出力された符号化画像信号Ｓｔiおよび符号化情報信号Ｓｔdを多重化する多重化手段としての多重化器６２を備えている。多重化器６２は、画像ＦＩＦＯメモリ６０iおよび情報ＦＩＦＯメモリ６１にデータが保持されているか否かを順次監視しており、いずれかのメモリにデータが保持されていることを確認すると、そのデータを速やかに全て引き出すようになっている。なお、情報ＦＩＦＯメモリ６１は、自らの記憶可能な全容量のうち、データにより占有されている容量についての情報（以下、データ残存状況Ｆとする。）を、データ送信指令装置６５に送信するようになっている。
【００１９】
多重化装置６は、さらに、情報符号化装置４の出力を制御するデータ送信指令装置６５を備えている。データ送信指令装置６５は、情報符号化装置４から送信されるビットレートの目標値Ｐを受信し、さらに、情報ＦＩＦＯメモリ６１から送信されるデータ残存状況Ｆを受信するようになっている。データ送信指令装置６５は、さらに、ビットレートの目標値Ｐとデータ残存状況Ｆとに基づいて、情報符号化装置４が出力すべき符号化情報信号ＳｔdのビットレートＲdを決定し、このビットレートＲdを情報符号化装置４に送信するようになっている。
【００２０】
なお、情報符号化装置４の出力をデータ送信指令装置６５によって制御するようにした理由は次のとおりである。すなわち、情報ＦＩＦＯメモリ６１に入力されたデータは、原則、多重化器６２によって速やかに全て引き出されるが、情報ＦＩＦＯメモリ６１にまだデータが残っているうちに（すなわち、情報ＦＩＦＯメモリ６１が「空」になる前に）、情報符号化装置４から次のデータが入力される可能性もある。そこで、情報ＦＩＦＯメモリ６１におけるオーバーフローが生じないよう、また、多重化器６２からの出力データのビットレートが伝送容量を超えないよう、データ送信指令装置６５が、情報符号化装置４から送信されたビットレートの目標値Ｐと情報ＦＩＦＯメモリ６１のデータ残存状況Ｆとに基づいて、情報符号化装置４に割り当てるビットレートＲdを決定するようにしている。
【００２１】
図２は、図１における統計多重制御装置５の概略構成例を表すブロック図である。統計多重制御装置５は、ＣＰＵ（Central Processing Unit）５１と、ＦＲＯＭ（flash electrically erasable programmable read only memory）５２と、ＤＲＡＭ（dynamic random access memory）５３と、これらが接続されたバス５５とを備えている。統計多重制御装置５は、更に、それぞれの画像符号化装置２iおよび情報符号化装置４とのデータの送受信を行うためのインターフェース５４を備えている。この統計多重制御装置５は、インターフェース５４を介して、データ送信指令装置６５から符号化情報信号ＳｔdのビットレートＲdを受信すると共に、各画像符号化装置２iから符号化難易度Ｄiを受信し、かつ、各画像符号化装置２iに対して符号化画像信号ＳｔiのビットレートＲiを送信するようになっている。
【００２２】
図３は、情報符号化装置４の概略構成例を表すブロック図である。情報符号化装置４は、付帯情報Ｓdを入力し所定の前処理を行う前処理部４１と、この前処理部４１の出力データを符号化し、符号化情報信号Ｓｔdとして出力する符号化部４２と、符号化部４２における符号化処理を制御する符号化制御部４３とを備えている。前処理部４１では、入力された付帯情報Ｓdの情報量を表すデータを符号化制御部４３に出力するようになっている。符号化制御部４３では、前処理部４１から入力された情報量データに基づき、符号化部４２から出力すべき符号化情報信号Ｓｔdのビットレートの目標値Ｐを算出して統計多重制御装置５に送信するようになっている。さらに、符号化制御部４３は、統計多重制御装置５から送信されたビットレートＲdを受信して、このビットレートＲdに基づいて、符号化部４２の出力を制御するようになっている。
【００２３】
図４は、画像符号化装置２iの詳細な構成を表すブロック図である。画像符号化装置２iは、プログラムＳiを入力し、圧縮符号化のための前処理等を行うエンコーダ前処理部１１と、このエンコーダ前処理部１１の出力データを所定時間だけ遅延して出力するためのＦＩＦＯメモリ１２と、このＦＩＦＯメモリ１２の出力データを入力し、ピクチャ毎にピクチャタイプに応じた画像符号化方法によって圧縮符号化して、符号化画像信号Ｓｔiを出力するエンコーダ１３と、エンコーダ前処理部１１の出力データに基づいて動きベクトルを検出し、エンコーダ１３に送る動き検出回路１４と、エンコーダ前処理部１１から出力されるイントラＡＣデータＳａiと動き検出回路１４から出力されるＭＥ残差データＳｚiとに基づいてエンコーダ１３を制御する符号化制御部１５とを備えている。なお、ＭＥ残差とは、動き予測誤差をピクチャ全体について絶対値和あるいは自乗和したものであり、ＭＥ残差データＳｚiは、ＭＥ残差を求めるためのデータである。
【００２４】
エンコーダ前処理部１１は、プログラムＳiを入力し、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画像並べ替え回路２１と、この画像並べ替え回路２１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換および１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路２２と、この走査変換・マクロブロック化回路２２の出力データを入力し、ＩピクチャにおけるイントラＡＣを算出し、イントラＡＣデータＳａiを符号化制御部１５に送ると共に、走査変換・マクロブロック化回路２２の出力データをＦＩＦＯメモリ１２および動き検出回路１４に送るイントラＡＣ演算回路２３とを備えている。なお、イントラＡＣとは、Ｉピクチャにおいて、８×８画素のＤＣＴ（離散コサイン変換）ブロック内の各画素の画素値とＤＣＴブロック内の画素値の平均値との差分の絶対値の総和として定義され、絵柄の複雑さを表すものといえる。
【００２５】
エンコーダ１３は、ＦＩＦＯメモリ１２の出力データと予測画像データとの差分をとる減算回路３１と、この減算回路３１の出力データに対して、ＤＣＴブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路３２と、このＤＣＴ回路３２の出力データを量子化する量子化回路３３と、この量子化回路３３の出力データを可変長符号化する可変長符号化回路３４と、この可変長符号化回路３４の出力データを一旦保持し、ビットストリームからなる符号化画像信号Ｓｔiとして出力するバッファメモリ３５と、量子化回路３３の出力データを逆量子化する逆量子化回路３６と、この逆量子化回路３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路３７と、この逆ＤＣＴ回路３７の出力データと予測画像データとを加算して出力する加算回路３８と、この加算回路３８の出力データを保持し、動き検出回路１４から送られる動きベクトルに応じて動き補償を行って予測画像データを減算回路３１および加算回路３８に出力する動き補償回路３９とを備えている。
【００２６】
動き検出回路１４は、エンコーダ前処理部１１の出力データに基づいて、圧縮符号化の対象となるピクチャの注目マクロブロックと、参照されるピクチャにおいて注目マクロブロックとの間の画素値の差分の絶対値和あるいは自乗和が最小となるマクロブロックを探して、動きベクトルを検出して動き補償回路３９に送るようになっている。また、動き検出回路１４は、動きベクトルを求める際に、最小となったマクロブロック間における画素値の差分の絶対値和あるいは自乗和を、ＭＥ残差データＳｚiとして符号化制御部１５に送るようになっている。
【００２７】
符号化制御部１５は、動き検出回路１４からのＭＥ残差データＳｚiをピクチャ全体について足し合わせた値であるＭＥ残差を算出するＭＥ残差計算部２４と、このＭＥ残差計算部２４によって算出されたＭＥ残差とイントラＡＣ演算回路２３からのイントラＡＣデータＳａiとに基づいて、ピクチャの符号化の難易度を表す符号化難易度Ｄiを算出し、統計多重制御装置５に送る符号化難易度計算部２５とを備えている。また、符号化制御部１５は、符号化難易度計算部２５によって算出された符号化難易度Ｄiに基づいて統計多重制御装置５において決定されたビットレートＲiとなるように量子化回路３３における量子化特性値に対応する量子化インデックスを決定し、量子化回路３３に送る量子化インデックス決定部２６を備えている。
【００２８】
ここで、符号化難易度について説明する。符号化難易度は、ピクチャの符号化の難易度を表すものであるが、これは、同じ画質を保つために必要なデータ量の比率と言い換えることができる。符号化難易度を数値化する方法は種々考えられるが、本実施の形態では、ＩピクチャについてはイントラＡＣを用いて符号化難易度を求め、ＰピクチャとＢピクチャについてはＭＥ残差を用いて符号化難易度を求めることとしている。前述のように、イントラＡＣは絵柄の複雑さを表し、ＭＥ残差は映像の動きの速さおよび絵柄の複雑さを表し、これらは符号化の難易度と強い相関があることから、これらを変数とする一次関数等により、符号化難易度を算出することが可能である。
【００２９】
次に、図１に示した統計多重システム１の基本動作について説明する。図５は、図１に示した統計多重システム１において、符号化情報信号Ｓｔdおよび各符号化画像信号Ｓｔiに割り当てられるビットレートを表す図である。図５において、縦軸は各プログラムＳiおよび付帯情報Ｓdに割り当てられたビットレートを表し、横軸は時間を表している。なお、図５では、簡単のため、プログラムＳiは４つのみ示す。
【００３０】
本実施の形態では、まず符号化情報信号Ｓｔdに割り当てるビットレートＲdを決定し、残りのビットレートＴ1の範囲について、統計多重の手法に基づく符号化画像信号Ｓｔ1〜Ｓｔ4への割り当てを行う。具体的には、まず、データ送信指令装置６５が、上述したビットレートの目標値Ｐおよび情報ＦＩＦＯメモリ６１のデータ残存状況Ｆに基づいて、符号化情報信号Ｓｔdに割り当てるビットレートＲdを決定する。そののち、統計多重制御装置５が、伝送可能な総ビットレート（伝送容量）Ｔ0から、符号化情報信号Ｓｔdに割り当てられたビットレートＲdを差し引いた残り（Ｔ0−Ｒd）を画像基準値Ｔ1とし、この画像基準値Ｔ1の範囲内で統計多重の手法により各符号化画像信号Ｓｔ1〜Ｓｔ4へのビットレートＲiの割り当てを行う。以下、統計多重システム１の動作の詳細について説明する。
【００３１】
ＥＰＧなどの付帯情報Ｓdは情報符号化装置４に入力され、各プログラムＳiは各画像符号化装置２iに入力される。情報符号化装置４では、入力された付帯情報に基づいてビットレートの目標値Ｐを設定し、この目標値Ｐをデータ送信指令装置６５に送信する。一方、画像符号化装置２iでは、入力されたプログラムＳiに基づいて符号化制御部１５が符号化難易度Ｄiを算出し、統計多重制御装置５に送信する。
【００３２】
図６は、データ送信指令装置６５が実行する処理を表す流れ図である。まず、データ送信指令装置６５は、情報符号化装置４から出力されたビットレートの目標値Ｐを確認（Ｓ１０）し、次いで、情報ＦＩＦＯメモリ６１のデータの残存状況Ｆを確認する（Ｓ１２）。続いて、データ送信指令装置６５は、情報符号化装置４から送信されたビットレートの目標値Ｐと情報ＦＩＦＯメモリ６１のデータ残存状況Ｆとに基づき、情報ＦＩＦＯメモリ６１のオーバーフローなどが生じないよう、情報符号化装置４が出力すべき符号化情報信号Ｓｔd のビットレートＲd を決定し（Ｓ１４）、このビットレートＲd を情報符号化装置４に通知する（Ｓ１６）。次いで、データ送信指令装置６５は、統計多重制御装置５に対して、符号化情報信号Ｓｔd のビットレートＲd を通知する（Ｓ１８）。図６に示した処理により、情報符号化装置４の符号化情報信号Ｓｔ d のビットレートＲd が設定される。
【００３３】
図７は、統計多重制御装置５が実行する処理を表す流れ図である。統計多重制御装置５は、まず、データ送信指令装置６５から送信された符号化情報信号ＳｔdのビットレートＲdを伝送容量Ｔ0から差し引いた残りを画像基準値Ｔ1として設定する（Ｓ１００）。次いで、統計多重制御装置５は、統計多重の手法を用いて、各画像符号化装置２iから入力された符号化難易度Ｄiに基づいて、各画像符号化装置２iに対して設定すべきビットレートの暫定的な目標値としての暫定ビットレートＴＲiをそれぞれ算出する（Ｓ１０２）。ここでは、符号化難易度Ｄiと暫定ビットレートＴＲiとの対応関係を表す演算式を用いて、暫定ビットレートＴＲiを算出するものとする。
【００３４】
次いで、統計多重制御装置５は、各画像符号化装置２i に対して設定された暫定ビットレートＴＲi の総和と画像基準値Ｔ1 との大小関係を判断する（Ｓ１０４）。暫定ビットレートＴＲi の総和が画像基準値Ｔ1 よりも大きい場合（Ｓ１０４でＹ）には、その総和が画像基準値Ｔ1 以下になるよう、各暫定ビットレートＴＲi を減少方向に修正し、これを最終的なビットレートＲi とする（Ｓ１０６）。一方、暫定ビットレートＴＲi の総和が画像基準値Ｔ1 以下の場合（Ｓ１０４でＮ）には、その総和が画像基準値Ｔ1 を超えない範囲でより大きくなるように（すなわち、総和が、画像基準値Ｔ1 と同じか僅かに小さい値になるように）符号化画像信号Ｓｔi の暫定ビットレートＴＲi を増加方向に修正し、これを最終的なビットレートＲi とする（Ｓ１０８）。続いて、ステップＳ１０６またはステップＳ１０８で設定された符号化画像信号Ｓｔi のビットレートＲi を各画像符号化装置２i に送信する（Ｓ１１０）。図７に示した処理により、各画像符号化装置２i の符号化画像信号Ｓｔi のビットレートＲi が設定される。
【００３５】
情報符号化装置４では、符号化制御部４３がデータ送信指令装置６５からビットレートＲd を受信し、このビットレートＲd に応じて符号化部４２の符号化処理を制御する。符号化部４２は、符号化制御部４３から指示されたビットレートＲd で付帯情報Ｓd を符号化し、符号化情報信号Ｓｔd を多重化装置６に出力する。画像符号化装置２i では、符号化制御部１５が統計多重制御装置５からビットレートＲi を受信し、このビットレートＲi に応じてエンコーダ１３の符号化処理を制御する。エンコーダ１３は、符号化制御部１５から指示されたビットレートＲi でプログラムＳi を圧縮符号化し、符号化画像信号Ｓｔi を多重化装置６に出力する。多重化装置６は、情報符号化装置４から送信された符号化情報信号Ｓｔd および各画像符号化装置２i から送信された符号化画像信号Ｓｔi を多重化して、多重化データＳｍを生成し、伝送路に対して出力する。
【００３６】
以上説明したように、本実施の形態に係る統計多重システムによれば、情報符号化装置４に対して割り当てるビットレートＲdを優先的に設定し、そのビットレートＲdに基づいて各画像符号化装置２iに対するビットレートＲiの割り当てを行うようにしたので、伝送すべき付帯情報Ｓdが比較的少ない場合には、それだけ多くのビットレートを各画像符号化装置２iに対して割り当てることができる。従って、無駄のないビットレートの割り当てを行うことができ、画質の向上に資することができる。
【００３７】
また、データ送信指令装置６５により、情報ＦＩＦＯメモリ６１のデータの残存状況に応じて情報符号化装置４の出力を制御するようにしたので、情報ＦＩＦＯメモリ６１のオーバーフローなどが防止できる。
【００３８】
なお、上記の実施の形態では、データ送信指令装置６５が情報符号化装置４を制御するようにしたが、図８に示したように、データ送信指令装置６５を設けずに、統計多重制御装置５によって情報符号化装置４を直接制御するようにしてもよい。このような構成にすれば、処理時間を短縮でき、より効率的な情報符号化・伝送が可能になる。
【００３９】
以上、実施の形態を挙げて本発明を説明したが、本発明はこの実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上述した実施の形態では、情報符号化装置４は１つのみとしたが、複数の情報符号化装置を設けてもよい。また、情報符号化装置４の符号化部４２が、付帯情報Ｓdをトランスポートストリーム化して出力するようにしてもよい。
【００４０】
また、図６および図７に示した処理を統計多重制御装置５およびデータ送信指令装置６５によって実行させるようにしたが、他の機器によって実行させるようにしてもよい。また、画像符号化装置２i，統計多重制御装置５，情報符号化装置４，および多重化装置６は、図１ないし図４に示した構成と異なる構成であってもよい。さらに、情報符号化装置４により符号化する付帯情報は、ＥＰＧやインターネット情報に限られず、他のデータであってもよい。
【００４１】
【発明の効果】
以上説明したように、請求項１もしくは請求項２に記載の統計多重システム、請求項３もしくは請求項４に記載の統計多重制御装置、または請求項５もしくは請求項６に記載の統計多重方法によれば、情報符号化手段に対して符号レートを設定し、その符号レートに基づいて、画像符号化手段に対する符号レートを設定するようにしたので、伝送すべき付帯情報が少ない場合には、より多くの符号レートを番組データに割り当てることができる。すなわち、符号レートの割り当てを効率的に行うことができ、画質を向上させることができるという効果を奏する。
また、各画像符号化手段に対する符号レートの割り当てを行う際に、伝送可能な総符号レートから情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とすると共に、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて各画像符号化手段に対する符号レートの割り当てを行うようにしたので、伝送路のオーバーフローなどを起こすことなく、画像符号化手段に対する符号レートの割り当てを効率的に行うことができるという効果を奏する。
さらに、情報符号化手段に対して符号レートを設定する際に、この情報符号化手段から取得した目標符号レートと、情報符号化手段からの出力データを一時的に保存するメモリにおけるデータの残存状況情報と基づいて、少なくともこのメモリにおけるオーバーフローが生じないように情報符号化手段に対して設定すべき符号レートを決定するようにしたので、メモリのオーバーフローなどを防止できるという効果を奏する。
【００４３】
特に、請求項２記載の統計多重システム、請求項４記載の統計多重制御装置、または請求項６記載の統計多重方法によれば、各画像符号化手段について暫定符号レートを設定し、暫定符号レートの総和が画像基準値に近づくよう暫定符号レートを修正するようにしたので、画像基準値の範囲内で、無駄なく符号レートの割り当てを行うことができるという効果を奏する。
【図面の簡単な説明】
【図１】 本発明の実施の形態に係る統計多重制御装置を含む統計多重システムの概略の構成を表すブロック図である。
【図２】 図１に示した統計多重システムにおける統計多重制御装置のハードウェア構成を表すブロック図である。
【図３】 図１に示した統計多重システムにおける情報符号化装置の概略構成例を表すブロック図である。
【図４】 図１に示した統計多重システムにおける画像符号化装置の概略構成例を表すブロック図である。
【図５】 図１に示した統計多重制御装置における割当ビットレートの一例を表すチャートである。
【図６】 データ送信指令装置により実行される処理を表す流れ図である。
【図７】 統計多重制御装置により実行される処理を表す流れ図である。
【図８】 統計多重システムの他の構成例を表すブロック図である。
【図９】 ビットレートが固定された場合の一般的な割当符号レートを表す図である。
【図１０】 統計多重制御における一般的な割当符号レートを表す図である。
【図１１】 統計多重制御における一般的な割当符号レートを表す図である。
Claims (6)
- それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、
番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて、自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、
各画像符号化手段および前記情報符号化手段の出力データを多重化する多重化手段と、
前記情報符号化手段に対して単位時間当たりの出力符号量としての符号レートを設定すると共に、各画像符号化手段から各番組データの符号化の難易度を表す符号化難易度を取得し、前記情報符号化手段に対して設定された符号レートと前記符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行う統計多重制御手段と
を備え、
前記統計多重制御手段は、
前記情報符号化手段からの出力データを一時的に保存したのち、前記多重化手段に対して出力するメモリと、
前記情報符号化手段から前記目標符号レートを取得すると共に、前記メモリからそのメモリにおけるデータの残存状況情報を取得し、前記目標符号レートと前記データの残存状況情報とに基づいて、少なくとも前記メモリにおけるオーバーフローが生じないように、前記情報符号化手段に対して設定すべき符号レートを決定する手段と
を含み、
前記統計多重制御手段は、伝送可能な総符号レートから、前記情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行う
統計多重システム。 - 前記統計多重制御手段は、
前記符号化難易度に基づいて、各画像符号化手段についての符号レートの暫定的な目標値としての暫定符号レートを設定すると共に、
各画像符号化手段についての前記暫定符号レートの総和が前記画像基準値の範囲内で前記画像基準値に近づくよう、前記暫定符号レートを修正することにより、各画像符号化手段に対する符号レートの割り当てを行う
請求項１記載の統計多重システム。 - それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、各画像符号化手段および前記情報符号化手段の出力データを多重化する多重化手段とを備えた統計多重システムに用いられ、各画像符号化手段および前記情報符号化手段を制御する統計多重制御装置であって、
前記情報符号化手段に対して単位時間当たりの出力符号量としての符号レートを設定すると共に、各画像符号化手段から各番組データの符号化の難易度を表す符号化難易度を取得し、前記情報符号化手段に対して設定された符号レートと前記符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行う統計多重制御手段を備え、
前記統計多重制御手段は、
前記情報符号化手段からの出力データを一時的に保存したのち、前記多重化手段に対して出力するメモリと、
前記情報符号化手段から前記目標符号レートを取得すると共に、前記メモリからそのメモリにおけるデータの残存状況情報を取得し、前記目標符号レートと前記データの残存状況情報とに基づいて、少なくとも前記メモリにおけるオーバーフローが生じないように、前記情報符号化手段に対して設定すべき符号レートを決定する手段と
を含み、
前記統計多重制御手段は、伝送可能な総符号レートから、前記情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行う
統計多重制御装置。 - 前記統計多重制御手段は、
前記符号化難易度に基づき、各画像符号化手段について符号レートの暫定的な目標値としての暫定符号レートを設定すると共に、
各画像符号化手段についての前記暫定符号レートの総和が前記画像基準値の範囲内で前記画像基準値に近づくよう、前記暫定符号レートを修正することにより、各画像符号化手段に対する符号レートの割り当てを行う
請求項３記載の統計多重制御装置。 - それぞれ画像データを含む複数の番組データを符号化して出力する複数の画像符号化手段と、番組データ以外の付帯情報を符号化して出力すると共に、その付帯情報の情報量に応じて自らの出力データである符号化された付帯情報における単位時間当たりの出力符号量の目標値としての目標符号レートを算出する少なくとも１つの情報符号化手段と、各画像符号化手段および前記情報符号化手段の出力データを多重化する多重化手段と、各画像符号化手段および情報符号化手段を制御する統計多重制御手段とを備えた統計多重システムに用いられる統計多重方法であって、
前記情報符号化手段に対し、単位時間当たりの出力符号量としての符号レートを設定するステップと、
各画像符号化手段から、各番組データの符号化の難易度を表す符号化難易度を取得するステップと、
前記情報符号化手段に対して設定された符号レートと前記符号化難易度とに基づいて、各画像符号化手段に対する符号レートの割り当てを行うステップと
を含み、
前記符号レートを設定するステップは、
前記情報符号化手段から前記目標符号レートを取得するステップと、
前記情報符号化手段からの出力データを一時的に保存したのちに前記多重化手段に対して出力するメモリから、そのメモリにおけるデータの残存状況情報を取得するステップと、
前記目標符号レートと前記データの残存状況情報とに基づいて、少なくとも前記メモリにおけるオーバーフローが生じないように、前記情報符号化手段に対して設定すべき符号レートを決定するステップと
を含み、
前記割り当てを行うステップでは、
伝送可能な総符号レートから、前記情報符号化手段に対して設定された符号レートを差し引いた残りを画像基準値とし、この画像基準値の範囲内で、各番組データの符号化難易度に基づいて、各画像符号化手段に対する符号レートの割り当てを行う
統計多重方法。 - 前記割り当てを行うステップでは、
前記符号化難易度に基づき、各画像符号化手段について符号レートの暫定的な目標値としての暫定符号レートを設定し、
各画像符号化装置についての前記暫定符号レートの総和が前記画像基準値の範囲内で前記画像基準値に近づくよう前記暫定符号レートを修正することにより、各画像符号化手段に対する符号レートの割り当てを行うことを含む
請求項５記載の統計多重方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000247845A JP4441839B2 (ja) | 2000-08-17 | 2000-08-17 | 統計多重システム、統計多重制御装置および統計多重方法 |
| CA 2355389 CA2355389A1 (en) | 2000-08-17 | 2001-08-16 | Statistical multiplex system, statistical multiplex controller and method of statistical multiplex |
| US09/931,365 US7130310B2 (en) | 2000-08-17 | 2001-08-16 | Statistical multiplex system, statistical multiplex controller and method of statistical multiplex |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000247845A JP4441839B2 (ja) | 2000-08-17 | 2000-08-17 | 統計多重システム、統計多重制御装置および統計多重方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002064827A JP2002064827A (ja) | 2002-02-28 |
| JP2002064827A5 JP2002064827A5 (ja) | 2007-04-05 |
| JP4441839B2 true JP4441839B2 (ja) | 2010-03-31 |
Family
ID=18737851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000247845A Expired - Fee Related JP4441839B2 (ja) | 2000-08-17 | 2000-08-17 | 統計多重システム、統計多重制御装置および統計多重方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7130310B2 (ja) |
| JP (1) | JP4441839B2 (ja) |
| CA (1) | CA2355389A1 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8713623B2 (en) | 2001-09-20 | 2014-04-29 | Time Warner Cable Enterprises, LLC | Technique for effectively providing program material in a cable television system |
| US7376159B1 (en) * | 2002-01-03 | 2008-05-20 | The Directv Group, Inc. | Exploitation of null packets in packetized digital television systems |
| US7286473B1 (en) | 2002-07-10 | 2007-10-23 | The Directv Group, Inc. | Null packet replacement with bi-level scheduling |
| US7266133B2 (en) * | 2002-11-13 | 2007-09-04 | General Instrument Corporation | Methods and apparatus for statistical multiplexing with distributed multiplexers |
| KR101051903B1 (ko) * | 2002-11-15 | 2011-07-26 | 퀄컴 인코포레이티드 | 다중 디스크립션 인코딩용 장치 및 방법 |
| US7995849B2 (en) * | 2003-03-17 | 2011-08-09 | Qualcomm, Incorporated | Method and apparatus for improving video quality of low bit-rate video |
| US7647221B2 (en) * | 2003-04-30 | 2010-01-12 | The Directv Group, Inc. | Audio level control for compressed audio |
| US7912226B1 (en) | 2003-09-12 | 2011-03-22 | The Directv Group, Inc. | Automatic measurement of audio presence and level by direct processing of an MPEG data stream |
| JP2005151096A (ja) * | 2003-11-14 | 2005-06-09 | Pioneer Electronic Corp | 多チャンネル統計多重システム |
| US9723267B2 (en) | 2004-12-15 | 2017-08-01 | Time Warner Cable Enterprises Llc | Method and apparatus for wideband distribution of content |
| US7602820B2 (en) | 2005-02-01 | 2009-10-13 | Time Warner Cable Inc. | Apparatus and methods for multi-stage multiplexing in a network |
| US7889765B2 (en) * | 2005-11-30 | 2011-02-15 | Time Warner Cable Inc. | Apparatus and methods for utilizing variable rate program streams in a network |
| US20080008190A1 (en) * | 2006-07-07 | 2008-01-10 | General Instrument Corporation | Method and apparatus for distributing statistical multiplex signals to handheld devices |
| DE102007001379A1 (de) * | 2007-01-09 | 2008-07-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Konzept zum Encodieren einer Mehrzahl von Informationssignalen für eine gemeinsame Übertragung in einem Zeitmultiplex |
| US8625607B2 (en) * | 2007-07-24 | 2014-01-07 | Time Warner Cable Enterprises Llc | Generation, distribution and use of content metadata in a network |
| US8300541B2 (en) * | 2008-02-19 | 2012-10-30 | Time Warner Cable Inc. | Apparatus and methods for utilizing statistical multiplexing to ensure quality of service in a network |
| US8953038B2 (en) * | 2009-08-31 | 2015-02-10 | International Business Machines Corporation | Distributed video surveillance storage cost reduction using statistical multiplexing principle |
| US9300445B2 (en) | 2010-05-27 | 2016-03-29 | Time Warner Cable Enterprise LLC | Digital domain content processing and distribution apparatus and methods |
| US9185341B2 (en) | 2010-09-03 | 2015-11-10 | Time Warner Cable Enterprises Llc | Digital domain content processing and distribution apparatus and methods |
| JP5677018B2 (ja) * | 2010-10-19 | 2015-02-25 | 三菱電機株式会社 | データ多重化装置、データ多重化方法及びシステム |
| US8942255B2 (en) | 2011-05-11 | 2015-01-27 | Comcast Cable Communications, Llc | Managing data |
| EP2523456A1 (en) * | 2011-05-12 | 2012-11-14 | Alcatel Lucent | Method for operating a statistical multiplexing of distributed video streams. |
| US9729120B1 (en) | 2011-07-13 | 2017-08-08 | The Directv Group, Inc. | System and method to monitor audio loudness and provide audio automatic gain control |
| US9264747B2 (en) * | 2012-03-11 | 2016-02-16 | Broadcom Corporation | Audio/video channel bonding configuration adaptations |
| US8875202B2 (en) * | 2013-03-14 | 2014-10-28 | General Instrument Corporation | Processing path signatures for processing elements in encoded video |
| US20140328384A1 (en) * | 2013-05-02 | 2014-11-06 | Magnum Semiconductor, Inc. | Methods and apparatuses including a statistical multiplexer with global rate control |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6055270A (en) * | 1994-04-20 | 2000-04-25 | Thomson Cosumer Electronics, Inc. | Multiplexer system using constant bit rate encoders |
| US5506844A (en) * | 1994-05-20 | 1996-04-09 | Compression Labs, Inc. | Method for configuring a statistical multiplexer to dynamically allocate communication channel bandwidth |
| US6078958A (en) * | 1997-01-31 | 2000-06-20 | Hughes Electronics Corporation | System for allocating available bandwidth of a concentrated media output |
| US6167084A (en) * | 1998-08-27 | 2000-12-26 | Motorola, Inc. | Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals |
| US6594271B1 (en) * | 1999-07-19 | 2003-07-15 | General Instruments Corporation | Implementation of opportunistic data on a statistical multiplexing encoder |
-
2000
- 2000-08-17 JP JP2000247845A patent/JP4441839B2/ja not_active Expired - Fee Related
-
2001
- 2001-08-16 CA CA 2355389 patent/CA2355389A1/en not_active Abandoned
- 2001-08-16 US US09/931,365 patent/US7130310B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002064827A (ja) | 2002-02-28 |
| US20020085584A1 (en) | 2002-07-04 |
| US7130310B2 (en) | 2006-10-31 |
| CA2355389A1 (en) | 2002-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4441839B2 (ja) | 統計多重システム、統計多重制御装置および統計多重方法 | |
| JP4404975B2 (ja) | Ｍｐｅｇ２符号化用の前処理装置 | |
| US6804301B2 (en) | First pass encoding of I and P-frame complexity for compressed digital video | |
| JP4373609B2 (ja) | 映像データストリームの適応的符号化方法と装置 | |
| US5461422A (en) | Quantizer with automatic pre-threshold | |
| KR20000069473A (ko) | 비디오 데이터 다중화 장치, 비디오 데이터 다중화 제어 방법,부호화 스트림 다중화 장치 및 방법과 부호화 장치 및 방법 | |
| JPH09214962A (ja) | バッファ空／充填ルックアヘッド・ビット・アロケータを有する動画ビデオ圧縮システム | |
| US8948242B2 (en) | Encoding device and method and multimedia apparatus including the encoding device | |
| KR20030090598A (ko) | 비디오 멀티-프로세서 시스템에서의 채널의 처리모드 선택 | |
| JP5128389B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| EP0797895A1 (en) | Method of encoding video images | |
| EP1037473A1 (en) | Device and process for regulating bit rate in a system for the statistical multiplexing of streams of images coded according to MPEG 2 coding | |
| JP2004523985A (ja) | ビデオ符号化方法及びこれに対応する符号化装置 | |
| JP3818819B2 (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 | |
| JP3313118B2 (ja) | 複雑性判定装置 | |
| JP4586340B2 (ja) | 符号化装置、および、符号化方法、並びに、プログラム | |
| JP4193080B2 (ja) | 符号化装置及び方法 | |
| JP2002064822A (ja) | 統計多重システム、統計多重制御装置および統計多重方法 | |
| JP3779066B2 (ja) | 動画像符号化装置 | |
| JP4264790B2 (ja) | 統計多重制御装置、画像符号化装置、統計多重システム、統計多重制御方法および符号化方法 | |
| JPH07226935A (ja) | 画像情報圧縮装置 | |
| JP4035747B2 (ja) | 符号化装置および符号化方法 | |
| JPH1127665A (ja) | 映像データ符号化装置及び方法並びに映像データ伝送方法 | |
| JP4239734B2 (ja) | 符号化装置、および、符号化方法、並びに、プログラム | |
| KR100228542B1 (ko) | 비디오 인코더의 비트발생율 제어용 장면전환 적응 비트 할당 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070214 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091217 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091230 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140122 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |