JP4264790B2 - 統計多重制御装置、画像符号化装置、統計多重システム、統計多重制御方法および符号化方法 - Google Patents
統計多重制御装置、画像符号化装置、統計多重システム、統計多重制御方法および符号化方法 Download PDFInfo
- Publication number
- JP4264790B2 JP4264790B2 JP2000181316A JP2000181316A JP4264790B2 JP 4264790 B2 JP4264790 B2 JP 4264790B2 JP 2000181316 A JP2000181316 A JP 2000181316A JP 2000181316 A JP2000181316 A JP 2000181316A JP 4264790 B2 JP4264790 B2 JP 4264790B2
- Authority
- JP
- Japan
- Prior art keywords
- code rate
- target code
- statistical multiplexing
- multiplexing control
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
- H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Time-Division Multiplex Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データを符号化し、これらを多重化するための統計多重制御装置、画像符号化装置並びに統計多重システム、および、この統計多重システムにおいて用いられる統計多重制御方法並びに符号化方法に関するものである。
【０００２】
【従来の技術】
最近、画像データなどをデジタルデータとして送受信するデジタル放送が注目されている。デジタル放送の利点は、アナログ放送に比べて、同じ伝送路においてより多くの番組データ（以下、プログラムという。）を伝送することが可能であるということである。これは画像データを圧縮して伝送できるということによるところが大きい。画像データの圧縮の方法としては、例えばＭＰＥＧ（Moving Picture Experts Group）規格で採用されている双方向予測符号化方式がある。
【０００３】
デジタル放送における画像の圧縮符号化では、圧縮符号化後のデータ量（ビット量）を、伝送路の伝送容量以下に抑えつつ、画質を高品質に保つ必要がある。
【０００４】
所定の伝送容量の伝送路に対して、より多くのプログラムを流す方法として、「統計多重」という手法がある。統計多重は、各プログラムの伝送レートを動的に変化させることにより、より多くのプログラムを伝送する手法である。この統計多重では、例えば、伝送レートを減らしても画質の劣化が目立たないプログラムについては伝送レートを減らすことにより、より多くのプログラムの伝送を可能にする。
【０００５】
ここで、図１０および図１１を参照して、統計多重制御について更に説明する。図１０は、従来の固定レートにより多重化した場合の各プログラムに対する割当符号レートの一例を表したものであり、縦軸が各プログラムに対する割当符号レート、横軸が時間を表している。図１０に示したように、例えば天気予報、ニュースおよびドラマといった多重化される各プログラムの割当符号レートは、初期値として割り当てられた符号レートのままであり、時間の経過によって変動していない。各プログラムに対して初期値として割り当てられる符号レートは、各プログラムの画質の劣化が目立つ部分（時間）における画質の劣化が許容範囲に収まるように割り当てられている。従って、画質の劣化が目立つ部分以外には、必要以上の符号レートが割り当てられていることになる。
【０００６】
図１１は、統計多重の手法を用いて、各プログラムに対する割当符号レートを動的に変化させて多重化した場合の各プログラムに対する割当符号レートの一例を表したものであり、縦軸が各プログラムに対する割当符号レート、横軸が時間を表している。統計多重は、各プログラムの画質の劣化が目立つ部分（時間）が同一時に重なることが稀であることを利用したものである。そのため、あるプログラムでは画質劣化が目立つ部分であるとき、他のプログラムは符号レートを落としても画質劣化が目立たない場合が多いので、他のプログラムの符号レートを落として、画質劣化が目立つプログラムに対して符号レートを多く割り当てることができる。図１１に示した例では、時刻Ｐにおいて、ドラマ（１）では画質劣化が目立つ部分であり、ニュースおよびドラマ（２）では画質劣化が目立たない部分であるとき、ニュースおよびドラマ（２）の符号レートを落として、ドラマ（１）に対してその分の符号レートを多く割り当てる。このようにして、統計多重を用いることにより、通常よりも多くのプログラムを伝送することができる。
【０００７】
ここで、近年、映画などにおいて使用される光学フィルム上に記録された映像を、テレビジョン信号に変換するテレシネ（telecine）装置が提案されている。一般に、映画などにおいて使用されている光学フィルムは、フィルム素材が毎秒２４フレームのフレームレートで光学フィルム上に形成されたものであり、毎秒約３０フレームのフレームレートを持つテレビジョン信号とは、フレームレートが異なっている。そこで、テレシネ装置では、光学フィルムとテレビジョン信号とのフレームレートの差を無くすため、２４のフィルム素材から３０枚のビデオフレームを生成する処理が行われている。このような処理は、フィルム素材のあるフィールドを繰り返すことによって生成した繰り返しフィールドを、フィルム素材のフィールド間に挿入することによって行われる。すなわち、図１２（Ａ）に示したように、各フィルム素材から２フィールド（トップフィールドおよびボトムフィールド）の画像を形成する。次に、４枚のフィルム素材をビデオ信号の５フレームへ変換する。このとき、図１２（Ｂ）に丸印を付して示したように、フィルム素材中の所定のフィールドＡ，ｃを繰り返すことにより繰り返しフィールドＡ1，ｃ1を生成し、この繰り返しフィールドＡ1，ｃ1を挿入することによってフィールド数を増加させる。このような処理は、一般に、２：３プルダウン処理（以下、単にプルダウン処理とする。）と呼ばれる。
【０００８】
一方、上述したテレシネ装置によって、テレビジョン信号に変換されたビデオデータを、ＭＰＥＧなどの圧縮符号化技術を使用して圧縮符号化し、記録媒体などに記録する試みも行われている。ここで、テレビジョン信号により送信された（すなわち、２：３プルダウン処理を施された）データを圧縮符号化する際には、圧縮符号化効率を向上させるために、上述した繰り返しフィールドを除去する処理が行われている。このような処理は、一般に、逆２：３プルダウン処理と呼ばれる。
【０００９】
【発明が解決しようとする課題】
ところで、上述した統計多重制御において、プルダウン処理されたデータが含まれていると、以下のような問題がある。すなわち、プルダウン処理されていない通常のデータでは、１フレームで１ピクチャの符号化が行われるのに対し、プルダウン処理されたデータでは、逆２：３プルダウン処理のため、１フレームに１ピクチャの符号化が行われるとは限らない。すなわち、例えば、図１３に示したように、１．５フレームで１ピクチャの符号化が行われる場合もある。従って、図１３に示したように、フレーム毎に、符号レートの総和が許容符号レートを超えないように割り当てを行ったとしても、プルダウン処理されたデータでは第ｎフレームのピクチャが第ｎ＋１フレームまで続くことがあるため、図中符号Ｘで示したように、符号レートの合計が許容符号レートを超えてしまう可能性がある。このような場合、必要な画像データが全て送信できないため、多重化が正常に行われず、異常な画像が生成されてしまうという問題がある。
【００１０】
また、符号レートを一定にした状態（いわゆる、固定ビットレート制御）から統計多重制御に移行する場合、および、統計多重制御から固定ビットレート制御に移行した場合にも同様の問題がある。
【００１１】
本発明はかかる問題点に鑑みてなされたもので、その目的は、プルダウン処理されたデータにも対応することができる統計多重システム、画像符号化装置、統計多重制御装置、統計多重制御方法および符号化方法を提供することにある。
【００１２】
【課題を解決するための手段】
本発明による第１の統計多重制御装置は、画像データを符号化する複数の画像符号化手段と、各画像符号化手段の出力データを多重化する多重化手段とを備えたシステムに用いられ、各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御装置であって、各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定手段と、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、プルダウン判定手段がプルダウン処理されたデータと判定した場合に、目標符号レート設定手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段とを備えると共に、この符号レート修正手段が、統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートを修正するようにしたものである。
本発明による第２の統計多重制御装置は、画像データを符号化する複数の画像符号化手段と、各画像符号化手段の出力データを多重化する多重化手段とを備えたシステムに用いられ、各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御装置であって、各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定手段と、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、プルダウン判定手段がプルダウン処理されたデータと判定した場合に、目標符号レート設定手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段とを備えると共に、この符号レート修正手段が、統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正するようにしたものである。
【００１３】
また、本発明による第１の画像符号化装置は、画像データを符号化する画像符号化装置であって、複数の画像符号化装置の出力データを多重化する多重化手段と、各画像符号化装置に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化装置を制御する統計多重制御手段とを備えたシステムに用いられ、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、プルダウン判定手段がプルダウン処理されたデータと判定した場合に、統計多重制御手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段とを備えると共に、この符号レート修正手段が、統計多重制御手段が統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートを修正するようにしたものである。
本発明による第２の画像符号化装置は、画像データを符号化する画像符号化装置であって、複数の画像符号化装置の出力データを多重化する多重化手段と、各画像符号化装置に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化装置を制御する統計多重制御手段とを備えたシステムに用いられ、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、プルダウン判定手段がプルダウン処理されたデータと判定した場合に、統計多重制御手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段とを備えると共に、この符号レート修正手段が、統計多重制御手段が統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正するようにしたものである。
【００１４】
さらに、本発明による第１の統計多重システムは、画像データを符号化する複数の画像符号化手段と、各画像符号化手段の出力データを多重化する多重化手段と、各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御手段と、各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定手段と、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、プルダウン判定手段がプルダウン処理されたデータと判定した場合に目標符号レート設定手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段とを備えると共に、この符号レート修正手段が、統計多重制御手段が統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開前において最後に設定される目標符号レートを修正するようにしたものである。
本発明による第２の統計多重システムは、画像データを符号化する複数の画像符号化手段と、各画像符号化手段の出力データを多重化する多重化手段と、各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御手段と、各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定手段と、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、プルダウン判定手段がプルダウン処理されたデータと判定した場合に目標符号レート設定手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段とを備えると共に、この符号レート修正手段が、統計多重制御手段が統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正するようにしたものである。
【００１５】
また、本発明による第１の統計多重制御方法は、各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定ステップと、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定ステップと、プルダウン判定ステップにおいてプルダウン処理されたデータと判定した場合に目標符号レート設定ステップにおいて設定された目標符号レートを一定条件のもとで修正する符号レート修正ステップとを含むと共に、この符号レート修正ステップでは、統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートを修正するようにしたものである。
本発明による第２の統計多重制御方法は、各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定ステップと、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定ステップと、プルダウン判定ステップにおいてプルダウン処理されたデータと判定した場合に目標符号レート設定ステップにおいて設定された目標符号レートを一定条件のもとで修正する符号レート修正ステップとを含むと共に、この符号レート修正ステップでは、統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正するようにしたものである。
【００１６】
さらに、本発明による第１の符号化方法は、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定ステップと、プルダウン判定ステップにおいてプルダウン処理されたデータと判定した場合に統計多重制御手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正ステップとを含むと共に、この符号レート修正ステップでは、統計多重制御手段が統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートを修正するようにしたものである。
本発明による第２の符号化方法は、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定ステップと、プルダウン判定ステップにおいてプルダウン処理されたデータと判定した場合に統計多重制御手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正ステップとを含むと共に、この符号レート修正ステップでは、統計多重制御手段が統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正するようにしたものである。
【００１７】
本発明による第１の統計多重制御装置、画像符号化装置、統計多重システム、統計多重制御方法および符号化方法では、単位時間当たりの目標発生符号量としての目標符号レートが設定されると共に、画像データがプルダウン処理されたデータか否かが判定される。そして、プルダウン処理されたデータと判定された場合には、設定された目標符号レートが一定条件のもとで修正される。また、統計多重制御を開始するときには、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとが比較され、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートが修正される。
本発明による第２の統計多重制御装置、画像符号化装置、統計多重システム、統計多重制御方法および符号化方法では、単位時間当たりの目標発生符号量としての目標符号レートが設定されると共に、画像データがプルダウン処理されたデータか否かが判定される。そして、プルダウン処理されたデータと判定された場合には、設定された目標符号レートが一定条件のもとで修正される。また、統計多重制御を停止するときには、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとが比較され、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートが修正される。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１９】
図１は、本発明の一実施の形態に係る統計多重制御装置としてのコントローラ、画像データを含む複数の番組データを符号化する複数の画像符号化手段としての画像符号化装置および各画像符号化手段の出力データを多重化する多重化手段としての多重化装置を含む統計多重システムの構成例を示すブロック図である。この統計多重システム１は、それぞれ、本発明における番組データとしてのプログラムＳi （ｉは１以上の整数値）を入力し、圧縮符号化する複数の画像符号化装置２i と、各画像符号化装置２i に対してフィードフォワード型のビットレート制御を行う本実施の形態に係る統計多重制御装置としてのコントローラ３と、各画像符号化装置２i よりそれぞれ出力される圧縮符号化データＳｔi を多重化して、伝送路に対して画像データＳm を出力する多重化手段としての多重化装置４とを備えている。
【００２０】
図２は、図１におけるコントローラ３のハードウェア構成を示すブロック図である。コントローラ３は、ＣＰＵ（中央処理装置）５１と、ＦＲＯＭ（flash electrically erasable programmable read only memory）５２と、ＤＲＡＭ（dynamic random access memory）５３と、これらが接続されたバス７０とを備えている。コントローラ３は、更に、それぞれの画像符号化装置２iとのデータの送受信を行うためのインターフェース５４を備えている。このコントローラ３は、インターフェース５４を介して、各画像符号化装置２iから送信された符号化難易度Ｄi（後述）のデータを受信すると共に、各画像符号化装置２iに対して割当ビットレートRatei（後述）を送信することができるようになっている。
【００２１】
図３は、図１における画像符号化装置２iの詳細な構成を示すブロック図である。この図に示したように、画像符号化装置２iは、プログラムＳiを入力し、圧縮符号化のための前処理等を行うエンコーダ制御部１１と、このエンコーダ制御部１１の出力データを所定時間だけ遅延して出力するためのＦＩＦＯ（先入れ先出し）メモリ１２と、このＦＩＦＯメモリ１２の出力データを入力し、ピクチャ毎にピクチャタイプに応じた符号化方法によって圧縮符号化して、圧縮画像データＳｔiを出力するエンコーダ１３と、エンコーダ制御部１１の出力データに基づいて動きベクトルを検出し、エンコーダ１３に送る動き検出回路１４と、エンコーダ制御部１１から出力されるイントラＡＣデータＳａiと動き検出回路１４から出力されるＭＥ残差データＳｚiとに基づいてエンコーダ１３を制御する符号化制御部１５と、プログラムＳiがプルダウン処理されたデータか否かを判定するプルダウン検出部１６を備えている。なお、ＭＥ残差とは、動き予測誤差をピクチャ全体について絶対値和あるいは自乗和したものであり、ＭＥ残差データＳｚiは、ＭＥ残差を求めるためのデータであり、後で詳しく説明する。
【００２２】
エンコーダ制御部１１は、プログラムＳiを入力し、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画像並べ替え回路２１と、この画像並べ替え回路２１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換および１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路２２と、この走査変換・マクロブロック化回路２２の出力データを入力し、ＩピクチャにおけるイントラＡＣを算出し、イントラＡＣデータＳａiを符号化制御部１５に送ると共に、走査変換・マクロブロック化回路２２の出力データをＦＩＦＯメモリ１２および動き検出回路１４に送るイントラＡＣ演算回路２３とを備えている。なお、イントラＡＣとは、Ｉピクチャにおいて、８×８画素のＤＣＴ（離散コサイン変換）ブロック内の各画素の画素値とＤＣＴブロック内の画素値の平均値との差分の絶対値の総和として定義され、絵柄の複雑さを表すものといえる。
【００２３】
エンコーダ１３は、ＦＩＦＯメモリ１２の出力データと予測画像データとの差分をとる減算回路３１と、この減算回路３１の出力データに対して、ＤＣＴブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路３２と、このＤＣＴ回路３２の出力データを量子化する量子化回路３３と、この量子化回路３３の出力データを可変長符号化する可変長符号化回路３４と、この可変長符号化回路３４の出力データを一旦保持し、ビットストリームからなる圧縮符号化データＳｔiとして出力するバッファメモリ３５と、量子化回路３３の出力データを逆量子化する逆量子化回路３６と、この逆量子化回路３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路３７と、この逆ＤＣＴ回路３７の出力データと予測画像データとを加算して出力する加算回路３８と、この加算回路３８の出力データを保持し、動き検出回路１４から送られる動きベクトルに応じて動き補償を行って予測画像データを減算回路３１および加算回路３８に出力する動き補償回路３９とを備えている。
【００２４】
動き検出回路１４は、エンコーダ制御部１１の出力データに基づいて、圧縮符号化の対象となるピクチャの注目マクロブロックと、参照されるピクチャにおいて注目マクロブロックとの間の画素値の差分の絶対値和あるいは自乗和が最小となるマクロブロックを探して、動きベクトルを検出して動き補償回路３９に送るようになっている。また、動き検出回路１４は、動きベクトルを求める際に、最小となったマクロブロック間における画素値の差分の絶対値和あるいは自乗和を、ＭＥ残差データＳｚiとして符号化制御部１５に送るようになっている。
【００２５】
符号化制御部１５は、動き検出回路１４からのＭＥ残差データＳｚiをピクチャ全体について足し合わせた値であるＭＥ残差を算出するＭＥ残差計算部４１と、このＭＥ残差計算部４１によって算出されたＭＥ残差とイントラＡＣ演算回路２３からのイントラＡＣデータＳａiとに基づいて、ピクチャの符号化の難易度を表す符号化難易度Ｄiを算出し、コントローラ３に送る符号化難易度計算部４２とを備えている。
【００２６】
また、符号化制御部１５は、符号化難易度計算部４２によって算出された符号化難易度Ｄiに基づいてコントローラ３において決定された目標ビットレートRateiとなるように量子化回路３３における量子化特性値に対応する量子化インデックスを決定し、量子化回路３３に送る量子化インデックス決定部４５を備えている。
【００２７】
プルダウン検出部１６は、プログラムＳiをフレーム毎に保存するフレームメモリ８１と、フレームメモリ８１に保存された画像データと新たに入力された画像データとの差を検出するフレーム間差分検出部８２と、フレーム間差分検出部８２の検出結果を記憶するシフトレジスタ８３と、シフトレジスタ８３に記憶されたデータに基づいてプルダウン処理されたデータか否かを判定するプルダウン検出回路８４とを備えている。なお、プルダウン検出部１６には、画像データがフィールド毎に入力されるものとする。フレーム間差分検出部８２は、新たに入力された画像データとフレームメモリ８１に保存された画像データのトップフィールド（あるいはボトムフィールド）同士を比較し、全く同一のフィールドの繰り返しを検知すると、シフトレジスタ８３に信号を出力する。プルダウン検出回路８４は、シフトレジスタ８３に記憶されたデータに基づき、繰り返しフィールドが所定の個数検出されていれば、プルダウン処理されたデータと判定する。また、プルダウン検出部１６は、さらにフィールド／フレーム変換部８５を備えており、フィールド毎の画像データをフレーム毎の画像データに変換して、エンコーダ制御部１１に出力するようになっている。
【００２８】
ここで、符号化難易度（Difficulty）について説明する。符号化難易度は、ピクチャの符号化の難易度を表すものであるが、これは、同じ画質を保つために必要なデータ量の比率と言い換えることができる。符号化難易度を数値化する方法は種々考えられる。符号化難易度を算出するためのパラメータとしては、前述のイントラＡＣやＭＥ残差の他に、アクティヴィティやフラットネスがある。アクティヴィティとは、映像の絵柄の複雑さを表し、例えば原画の輝度信号の画素値の分散に基づいて算出され、ＴＭ５（Test Model Editing Commitee ："Test Model 5"；ISO/IEC JTC/SC292/WG11/NO400(Apr.1993)) 等においてマクロブロックの量子化値の算出のために用いられる。フラットネスとは、映像の空間的な平坦さを表す指標として定義され、映像の複雑さを表し、映像の絵柄の難しさ（難度）および圧縮後のデータ量と相関性を有する。前述のように、イントラＡＣおよびアクティヴィティは絵柄の複雑さを表し、ＭＥ残差は映像の動きの速さおよび絵柄の複雑さを表し、フラットネスは映像の空間的な平坦さを表し、これらは符号化の難易度と強い相関があることから、これらを変数とする一次関数等により、符号化難易度を算出することが可能である。また、本出願人は、符号化難易度をより正確に数値化する手法として、例えばＴＭ５において規定され、以前に符号化した同じタイプのピクチャにおける画面の複雑さを示すパラメータであるグローバル・コンプレキシティ（Global Complexity ）や、先読みした統計量（ＭＥ残差、アクティヴィティ、フラットネスおよびイントラＡＣ）から符号化難易度へ変換する変換式を時々刻々、学習により更新していく方法を提案している。この方法では、例えば、１つのピクチャを圧縮する毎に、グローバル・コンプレキシティを先読みした統計量で除算して、符号化難易度データの近似に用いられる重み付け係数を算出し、演算処理に用いられる重み付け係数を更新する。この重み付け係数の更新により、常に、映像データの絵柄に最適な重み付け係数を用いることができ、先読みした統計量により符号化難易度を高い精度で近似することが可能になる。
【００２９】
このような手法により先読みした統計量（イントラＡＣ，アクティヴィティ等）に基づいて、精度の高い符号化難易度が得られる場合、その符号化難易度を用いて統計多重における各プログラムの目標ビットレートRateを決定することが可能である。
【００３０】
次に、本実施の形態に係るプルダウン処理されたデータを含む統計多重制御について説明する。図４は、本実施の形態に係る統計多重制御における割当ビットレートの一例を表すものである。図４では、簡単のため、２つのプログラムについて統計多重制御を行うものとする。また、第１プログラムはプルダウン処理されておらず、第２プログラムはプルダウン処理されているものとする。
【００３１】
第１プログラムは、プルダウン処理されていないため、１フレームに１ピクチャの符号化が行われる。一方、第２プログラムは、プルダウン処理されているため、１フレームに１ピクチャの符号化が行われるとは限らず、例えば１．５フレームに１ピクチャの符号化が行われる場合もある。このような場合に、単に目標ビットレートに従った割り当てを行ったのでは、２つのプログラムのビットレートの合計が許容値を越えてしまう可能性がある。
【００３２】
そこで、本実施の形態では、それぞれのプログラムの第ｎフレームにおけるビットレートを次のようにして決定するようにした。すなわち、上述した符号化難易度に基づいて全プログラムについてのフレーム毎の目標ビットレートｒを設定したのち、第１プログラムについては、目標ビットレートをそのままビットレートとして採用し、第２プログラムについては、以下のようにして目標ビットレートを修正する。
【００３３】
すなわち、第２プログラムの第ｎフレームの目標ビットレートｒnと後続の目標ビットレート（すなわち、第ｎ＋１フレームの目標ビットレートｒn+1）とを比較し、ｒn＞ｒn+1であれば、ｒn+1を、第ｎフレームの修正ビットレートとして採用するようにした。これは、第ｎフレームの目標ビットレートｒnよりも第ｎ＋１フレームの目標ビットレートｒn+1が小さいということは、第ｎ＋１フレームでは他のプログラム（第１プログラム）のビットレートが増加することを意味しており、第２プログラムの第ｎフレームのビットレートをｒnのままにしておくと、第ｎフレームのピクチャの符号化が第ｎ＋１フレームまで続いた場合にオーバーフローを起こす可能性があるからである。一方、第ｎフレームのビットレートをｒn+1に修正すれば、第ｎフレームのピクチャの符号化が第ｎ＋１フレームまで続いたとしても、図中符号Ａで示したように、オーバーフローを起こすことがないからである。
【００３４】
これに対し、ｒn≦ｒn+1であれば、第ｎフレームのビットレートは修正せず、目標ビットレートｒnのままとした。これは、第ｎフレームのビットレートｒnよりも第ｎ＋１フレームのビットレートｒn+1が大きいということは、第ｎ＋１フレームでは他のプログラム（第１プログラム）のビットレートが減少することを意味しており、第ｎフレームのビットレートを目標ビットレートをｒnのままにしておいてもオーバーフローを起こす可能性がないからである。これは、図中符号Ｂで示した部分に対応する。
【００３５】
このように構成されているため、互いに同期されていない複数のプロクラムについて、それぞれのビットレートを、その合計が許容値を超えないように制御することができる。
【００３６】
次に、図５の流れ図を参照して、本実施の形態に係る統計多重制御の具体例について説明する。この動作では、まず、コントローラ３は、全回線容量の設定を行い、各プログラムのフレーム毎の符号化難易度を求める（Ｓ１００）。次いで、この符号化難易度に基づいて、各プログラムのフレーム毎の目標ビットレートを設定する（Ｓ１０２）。ここでは、これから符号化を行おうとするフレーム（例えば第ｎフレーム）の１つ先のフレーム（例えば第ｎ＋１フレーム）まで目標ビットレートが設定されているものとする。そののち、符号化レート修正ステップとしてのビットレート修正プロセスを開始する（Ｓ１０４）。
【００３７】
図６は、ビットレート修正プロセスを表す流れ図である。なお、図６には、１つの画像符号化装置に対して行われる処理のみを示すが、実際には全ての画像符号化装置２iに対して同様の処理が行われる。ビットレート修正プロセスでは、まず、プログラムＳiがプルダウン処理されたデータか否かをチェックする（Ｓ２０１）。このチェックは、例えば、コントローラ３から画像符号化装置２iに問い合わせ信号を送信し、画像符号装置２iからの回答を受信することなどにより行われる。プログラムＳiがプルダウン処理されたデータでない場合には（Ｓ２０１でＮＯ）、ビットレートを修正せずに（Ｓ２０２）、ビットレート修正プロセスを終了する。この場合、第ｎフレームのビットレートとしては、目標ビットレートｒnがそのまま採用される。
【００３８】
一方、プログラムＳiがプルダウン処理されたデータであった場合には（Ｓ２０１でＹＥＳ）、まず、第ｎフレームの目標ビットレートｒnと第ｎ＋１フレームの目標ビットレートｒn+1とを比較する（Ｓ２０３）。ｒn＞ｒn+1の場合（Ｓ２０３でＹＥＳ）には、第ｎフレームのビットレートをｒn+1に修正する（Ｓ２０４）。一方、ｒn≦ｒn+1の場合（Ｓ２０３でＮＯ）には、第ｎフレームのビットレートとして目標ビットレートｒnをそのまま採用する（Ｓ２０５）。
【００３９】
図６のビットレート修正プロセスを終了すると、ビットレート修正プロセスで修正されたビットレートに基づいて、画像符号化装置２iから多重化装置４への符号送信が行われる（Ｓ１０６）。
【００４０】
次に、図７を参照して、本実施の形態に係る多重制御開始時の制御について説明する。ここでは、第１プログラムと第２プログラムとがそれぞれビットレートが固定された状態で符号化されており、途中から統計多重制御が開始されたものとする。図４と同様、第１プログラムはプルダウン処理されておらず、第２プログラムはプルダウン処理されているものとする。また、第ｎフレームまでは固定ビットレートによる符号化が行われ、統計多重制御は第ｎ＋１フレームから開始されたものとする。第１プログラムについては、固定ビットレート制御から統計多重制御に移行したあとは、コントローラ３が符号化難易度に基づいて設定した目標ビットレートに従って、符号化が行われる。
【００４１】
第２プログラムでは、固定ビットレートの最後のフレーム（すなわち、第ｎフレーム）において符号化されたピクチャが、統計多重制御の開始後における最初のフレーム（すなわち、第ｎ＋１フレーム）まで続く可能性がある。そこで、本実施の形態では、統計多重制御開始前における最後の目標ビットレート（すなわり、第ｎフレームの目標ビットレート）ｒnと、統計多重制御の開始後における最初の目標ビットレート（すなわち、第ｎ＋１フレームの目標ビットレート）ｒn+1と比較し、ｒn＞ｒn+1であれば、統計多重制御開始前における最後のビットレートをｒn+1に修正するようにした。一方、ｒn≦ｒn+1であれば、多重制御開始前における最後のビットレートｒnは変更しないようにした。
【００４２】
このようにすれば、図中符号Ｃで示したように、固定ビットレートから統計多重制御に移行した直後にオーバーフローが生じることを防止することができる。
【００４３】
次に、図８を参照して、本実施の形態に係る多重制御停止時の制御について説明する。ここでは、第１プログラムと第２プログラムとが統計多重制御のもとで符号化されており、途中から統計多重制御が停止され、固定ビットレートに移行したものとする。図７と同様、第１プログラムはプルダウン処理されておらず、第２プログラムはプルダウン処理されているものとする。また、統計多重制御は第ｎフレームまで行われ、第ｎ＋１フレームからは固定ビットレートによる符号化が開始されたものとする。第１プログラムについては、統計多重制御から固定ビットレート制御に移行したあとは、予め設定された一定のビットレートに従って符号化が行われる。
【００４４】
第２プログラムでは、統計多重制御停止前の最後のフレーム（すなわち、第ｎフレーム）において符号化されたピクチャが、統計多重制御停止後の最初のフレーム（すなわち、第ｎ＋１フレーム）まで続く可能性がある。そこで、本実施の形態では、統計多重制御停止前における最後の目標ビットレート（すなわち、第ｎフレームの目標ビットレート）ｒnと、統計多重制御の停止後における最初の目標ビットレート（すなわち、第ｎ＋１フレームの目標ビットレート）ｒn+1と比較し、ｒn＞ｒn+1であれば、統計多重制御停止前の最後のビットレートをｒn+1に修正するようにした。一方、ｒn≦ｒn+1であれば、多重制御停止前の最後のビットレートｒnは変更しないようにした。
【００４５】
このようにすれば、図中符号Ｄで示したように、統計多重制御から固定ビットレートに移行した直後にオーバーフローが生じることを防止することができる。
【００４６】
［実施の形態による効果］
以上説明したように、本実施の形態によれば、プルダウン処理されたデータの場合には、ビットレート修正プロセスを実行するようにしたので、プルダウン処理によるオーバーフローを抑えることができる。
【００４７】
特に、ビットレート修正プロセスにおいて、第ｎフレームの目標ビットレートｒnと、第ｎ＋１フレームの目標ビットレートｒn+1とを比較し、ｒn＞ｒn+1の場合には、第ｎフレームのビットレートをｒn+1に修正し、ｒn≦ｒn+1の場合には、目標ビットレートｒnをそのまま採用するようにしたので、確実にオーバーフローを抑制することができる。
【００４８】
また、統計多重制御を開始するときには、統計多重制御開始前において最後に設定される目標ビットレートと、統計多重制御開始後において最初に設定される目標ビットレートとを比較し、その比較結果に応じて、統計多重制御開始前において最後に設定される目標ビットレートを修正するようにしたので、統計多重制御開始直後におけるオーバーフローを防止することができる。
【００４９】
さらに、統計多重制御を停止するときには、統計多重制御停止前において最後に設定される目標ビットレートと、統計多重制御停止後に最初に設定される目標ビットレートとを比較し、その比較結果に応じて、統計多重制御停止前において最後に設定される目標ビットレートを修正するようにしたので、統計多重制御停止直後におけるオーバーフローを防止することができる。
【００５０】
また、コントローラ３によって目標ビットレートの設定や、ビットレートの修正を行うようにしたので、コントローラ３による統括的な制御が可能になるという利点もある。
【００５１】
［変形例］
なお、上述した実施の形態では、ビットレート修正プロセスをコントローラ３が行うようにしたが、各画像符号化装置２が行うようにしてもよい。なお、目標ビットレートの設定は、上述した実施の形態と同様、コントローラ３が行うものとする。図９は、各画像符号化装置２が行うビットレート修正プロセスを表す流れ図である。この場合の画像符号化装置２の動作は、実質的には図６と同じである。すなわち、画像符号化装置２は、まず、プログラムＳiがプルダウン処理されたデータか否かをチェックする（Ｓ３０１）。プログラムＳiがプルダウン処理されたデータでなければ（Ｓ３０１でＮＯ）、ビットレートを修正せずに（Ｓ３０２）、ビットレート修正プロセスを終了する。一方、プルダウン処理されたデータであった場合には（Ｓ３０１でＹＥＳ）、まず、第ｎフレームの目標ビットレートｒnと第ｎ＋１フレームの目標ビットレートｒn+1とを比較する（Ｓ３０３）。ｒn＞ｒn+1の場合（Ｓ３０３でＹＥＳ）には、第ｎフレームのビットレートをｒn+1に修正する（Ｓ３０４）。ｒn≦ｒn+1の場合（Ｓ３０３でＮＯ）には、第ｎフレームのビットレートとして目標ビットレートｒnをそのまま採用する（Ｓ３０５）。ビットレート修正プロセス終了後は、上述の実施の形態と同様、画像符号化装置２から多重化装置４への送信が行われる。
【００５２】
この変形例によれば、それぞれの画像符号化装置２によってビットレート修正プロセスを行うようにしたので、コントローラ３によってビットレート修正プロセスを行うようにした場合に比べ、コントローラ３の負担が軽減するという利点がある。
【００５３】
以上、実施の形態およびその変形例を挙げて本発明を説明したが、本発明はこの実施の形態および変形例に限定されるものではなく、種々の変形が可能である。例えば、本発明は、図６および図９に示したビットレート修正プロセスを、コントローラ３または画像符号化装置２によって実行させるようにしたが、他の機器が実行するようにしてもよい。また、上記の実施の形態では、１つの画像符号化装置だけがプルダウン処理を行うようにしたが、本発明は、複数の画像符号化装置が同時にプルダウン処理を行う場合にも適用できる。
【００５４】
【発明の効果】
以上説明したように、請求項１ないし請求項４のいずれか１に記載の統計多重制御装置、請求項８ないし請求項１１のいずれか１に記載の画像符号化装置、請求項１５ないし請求項１８のいずれか１に記載の統計多重システム、請求項２２記載の統計多重制御方法または請求項２４記載の符号化方法によれば、単位時間当たりの目標発生符号量としての目標符号レートを設定すると共に、画像データがプルダウン処理されたデータか否かを判定し、プルダウン処理されたデータと判定した場合には、設定された目標符号レートを一定条件のもとで修正するようにしたので、オーバーフローを抑制することができるという効果を奏する。また、統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートを修正するようにしたので、統計多重制御の開始直後のオーバーフローを防止することができるという効果を奏する。
また、請求項５ないし請求項７のいずれか１に記載の統計多重制御装置、請求項１２ないし請求項１４のいずれか１に記載の画像符号化装置、請求項１９ないし請求項２１のいずれか１に記載の統計多重システム、請求項２３記載の統計多重制御方法または請求項２５記載の符号化方法によれば、単位時間当たりの目標発生符号量としての目標符号レートを設定すると共に、画像データがプルダウン処理されたデータか否かを判定し、プルダウン処理されたデータと判定した場合には、設定された目標符号レートを一定条件のもとで修正するようにしたので、オーバーフローを抑制することができるという効果を奏する。また、統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正するようにしたので、統計多重制御を停止した直後のオーバーフローを防止することができるという効果を奏する。
【００５５】
特に、請求項３もしくは請求項７に記載の統計多重制御装置、請求項１０もしくは請求項１４に記載の画像符号化装置、または、請求項１７もしくは請求項２１に記載の統計多重システムによれば、設定されたビットレートと、後続のビットレートとを比較し、設定されたビットレートの方が大きい場合には、ビットレートを、後続のビットレートと同じになるように修正するようにしたので、確実にオーバーフローを抑制することができるという効果を奏する。
【００５７】
特に、請求項４記載の統計多重制御装置、請求項１１記載の画像符号化装置、または、請求項１８記載の統計多重システムによれば、統計多重制御を停止するときに、統計多重制御停止前において最後に設定する目標符号レートと、統計多重制御停止後において最初に設定する目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前に最後に設定する目標符号レートを修正するようにしたので、統計多重制御を停止した直後のオーバーフローを防止することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像符号化制御装置を含む統計多重システムの概略の構成を示すブロック図である。
【図２】図１におけるコントローラのハードウェア構成を示すブロック図である。
【図３】図１に示した画像符号化装置の概略の構成を示すブロック図である。
【図４】本発明の一実施の形態における統計多重制御プロセスにおける割当ビットレートを表すタイムチャートである。
【図５】本発明の一実施の形態における統計多重制御プロセスを表す流れ図である
【図６】図５に示した符号化プロセス中で実行されるビットレート修正プロセスを表す流れ図である。
【図７】本発明の一実施の形態における統計多重制御プロセスにおける割当ビットレートの他の例を表すタイムチャートである。
【図８】本発明の一実施の形態における統計多重制御プロセスにおける割当ビットレートの他の例を表すタイムチャートである。
【図９】本発明の一実施の形態の変形例の統計多重制御プロセス中で実行されるビットレート修正プロセスを表す流れ図である。
【図１０】ビットレートが固定された場合の割当符号レートを表す図である。
【図１１】一般的な統計多重制御における割当符号レートを表す図である。
【図１２】一般的なプルダウン制御の概念を表す図である。
【図１３】従来の統計多重制御における割当符号レートの一例を表す図である。
【符号の説明】
１…統計多重システム、２i…画像符号化装置、３…コントローラ、４…多重化装置、１１…エンコーダ制御部、１２…ＦＩＦＯメモリ、１３…エンコーダ、１４…動き検出回路、１５…符号化制御部、１６…プルダウン検出部、２１…画像並べ替え回路、２２…走査変換・マクロブロック化回路、２３…イントラＡＣ演算回路、３１…減算回路、３２…ＤＣＴ回路、３３…量子化回路、３４…可変長符号化回路、３５…バッファメモリ、３６…逆量子化回路、３７…逆ＤＣＴ回路、３９…動き補償回路、４１…ＭＥ残差計算部、８１…フレームメモリ、フレーム間差分検出部、８４…プルダウン検出回路。
【発明の属する技術分野】
本発明は、画像データを符号化し、これらを多重化するための統計多重制御装置、画像符号化装置並びに統計多重システム、および、この統計多重システムにおいて用いられる統計多重制御方法並びに符号化方法に関するものである。
【０００２】
【従来の技術】
最近、画像データなどをデジタルデータとして送受信するデジタル放送が注目されている。デジタル放送の利点は、アナログ放送に比べて、同じ伝送路においてより多くの番組データ（以下、プログラムという。）を伝送することが可能であるということである。これは画像データを圧縮して伝送できるということによるところが大きい。画像データの圧縮の方法としては、例えばＭＰＥＧ（Moving Picture Experts Group）規格で採用されている双方向予測符号化方式がある。
【０００３】
デジタル放送における画像の圧縮符号化では、圧縮符号化後のデータ量（ビット量）を、伝送路の伝送容量以下に抑えつつ、画質を高品質に保つ必要がある。
【０００４】
所定の伝送容量の伝送路に対して、より多くのプログラムを流す方法として、「統計多重」という手法がある。統計多重は、各プログラムの伝送レートを動的に変化させることにより、より多くのプログラムを伝送する手法である。この統計多重では、例えば、伝送レートを減らしても画質の劣化が目立たないプログラムについては伝送レートを減らすことにより、より多くのプログラムの伝送を可能にする。
【０００５】
ここで、図１０および図１１を参照して、統計多重制御について更に説明する。図１０は、従来の固定レートにより多重化した場合の各プログラムに対する割当符号レートの一例を表したものであり、縦軸が各プログラムに対する割当符号レート、横軸が時間を表している。図１０に示したように、例えば天気予報、ニュースおよびドラマといった多重化される各プログラムの割当符号レートは、初期値として割り当てられた符号レートのままであり、時間の経過によって変動していない。各プログラムに対して初期値として割り当てられる符号レートは、各プログラムの画質の劣化が目立つ部分（時間）における画質の劣化が許容範囲に収まるように割り当てられている。従って、画質の劣化が目立つ部分以外には、必要以上の符号レートが割り当てられていることになる。
【０００６】
図１１は、統計多重の手法を用いて、各プログラムに対する割当符号レートを動的に変化させて多重化した場合の各プログラムに対する割当符号レートの一例を表したものであり、縦軸が各プログラムに対する割当符号レート、横軸が時間を表している。統計多重は、各プログラムの画質の劣化が目立つ部分（時間）が同一時に重なることが稀であることを利用したものである。そのため、あるプログラムでは画質劣化が目立つ部分であるとき、他のプログラムは符号レートを落としても画質劣化が目立たない場合が多いので、他のプログラムの符号レートを落として、画質劣化が目立つプログラムに対して符号レートを多く割り当てることができる。図１１に示した例では、時刻Ｐにおいて、ドラマ（１）では画質劣化が目立つ部分であり、ニュースおよびドラマ（２）では画質劣化が目立たない部分であるとき、ニュースおよびドラマ（２）の符号レートを落として、ドラマ（１）に対してその分の符号レートを多く割り当てる。このようにして、統計多重を用いることにより、通常よりも多くのプログラムを伝送することができる。
【０００７】
ここで、近年、映画などにおいて使用される光学フィルム上に記録された映像を、テレビジョン信号に変換するテレシネ（telecine）装置が提案されている。一般に、映画などにおいて使用されている光学フィルムは、フィルム素材が毎秒２４フレームのフレームレートで光学フィルム上に形成されたものであり、毎秒約３０フレームのフレームレートを持つテレビジョン信号とは、フレームレートが異なっている。そこで、テレシネ装置では、光学フィルムとテレビジョン信号とのフレームレートの差を無くすため、２４のフィルム素材から３０枚のビデオフレームを生成する処理が行われている。このような処理は、フィルム素材のあるフィールドを繰り返すことによって生成した繰り返しフィールドを、フィルム素材のフィールド間に挿入することによって行われる。すなわち、図１２（Ａ）に示したように、各フィルム素材から２フィールド（トップフィールドおよびボトムフィールド）の画像を形成する。次に、４枚のフィルム素材をビデオ信号の５フレームへ変換する。このとき、図１２（Ｂ）に丸印を付して示したように、フィルム素材中の所定のフィールドＡ，ｃを繰り返すことにより繰り返しフィールドＡ1，ｃ1を生成し、この繰り返しフィールドＡ1，ｃ1を挿入することによってフィールド数を増加させる。このような処理は、一般に、２：３プルダウン処理（以下、単にプルダウン処理とする。）と呼ばれる。
【０００８】
一方、上述したテレシネ装置によって、テレビジョン信号に変換されたビデオデータを、ＭＰＥＧなどの圧縮符号化技術を使用して圧縮符号化し、記録媒体などに記録する試みも行われている。ここで、テレビジョン信号により送信された（すなわち、２：３プルダウン処理を施された）データを圧縮符号化する際には、圧縮符号化効率を向上させるために、上述した繰り返しフィールドを除去する処理が行われている。このような処理は、一般に、逆２：３プルダウン処理と呼ばれる。
【０００９】
【発明が解決しようとする課題】
ところで、上述した統計多重制御において、プルダウン処理されたデータが含まれていると、以下のような問題がある。すなわち、プルダウン処理されていない通常のデータでは、１フレームで１ピクチャの符号化が行われるのに対し、プルダウン処理されたデータでは、逆２：３プルダウン処理のため、１フレームに１ピクチャの符号化が行われるとは限らない。すなわち、例えば、図１３に示したように、１．５フレームで１ピクチャの符号化が行われる場合もある。従って、図１３に示したように、フレーム毎に、符号レートの総和が許容符号レートを超えないように割り当てを行ったとしても、プルダウン処理されたデータでは第ｎフレームのピクチャが第ｎ＋１フレームまで続くことがあるため、図中符号Ｘで示したように、符号レートの合計が許容符号レートを超えてしまう可能性がある。このような場合、必要な画像データが全て送信できないため、多重化が正常に行われず、異常な画像が生成されてしまうという問題がある。
【００１０】
また、符号レートを一定にした状態（いわゆる、固定ビットレート制御）から統計多重制御に移行する場合、および、統計多重制御から固定ビットレート制御に移行した場合にも同様の問題がある。
【００１１】
本発明はかかる問題点に鑑みてなされたもので、その目的は、プルダウン処理されたデータにも対応することができる統計多重システム、画像符号化装置、統計多重制御装置、統計多重制御方法および符号化方法を提供することにある。
【００１２】
【課題を解決するための手段】
本発明による第１の統計多重制御装置は、画像データを符号化する複数の画像符号化手段と、各画像符号化手段の出力データを多重化する多重化手段とを備えたシステムに用いられ、各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御装置であって、各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定手段と、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、プルダウン判定手段がプルダウン処理されたデータと判定した場合に、目標符号レート設定手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段とを備えると共に、この符号レート修正手段が、統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートを修正するようにしたものである。
本発明による第２の統計多重制御装置は、画像データを符号化する複数の画像符号化手段と、各画像符号化手段の出力データを多重化する多重化手段とを備えたシステムに用いられ、各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御装置であって、各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定手段と、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、プルダウン判定手段がプルダウン処理されたデータと判定した場合に、目標符号レート設定手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段とを備えると共に、この符号レート修正手段が、統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正するようにしたものである。
【００１３】
また、本発明による第１の画像符号化装置は、画像データを符号化する画像符号化装置であって、複数の画像符号化装置の出力データを多重化する多重化手段と、各画像符号化装置に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化装置を制御する統計多重制御手段とを備えたシステムに用いられ、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、プルダウン判定手段がプルダウン処理されたデータと判定した場合に、統計多重制御手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段とを備えると共に、この符号レート修正手段が、統計多重制御手段が統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートを修正するようにしたものである。
本発明による第２の画像符号化装置は、画像データを符号化する画像符号化装置であって、複数の画像符号化装置の出力データを多重化する多重化手段と、各画像符号化装置に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化装置を制御する統計多重制御手段とを備えたシステムに用いられ、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、プルダウン判定手段がプルダウン処理されたデータと判定した場合に、統計多重制御手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段とを備えると共に、この符号レート修正手段が、統計多重制御手段が統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正するようにしたものである。
【００１４】
さらに、本発明による第１の統計多重システムは、画像データを符号化する複数の画像符号化手段と、各画像符号化手段の出力データを多重化する多重化手段と、各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御手段と、各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定手段と、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、プルダウン判定手段がプルダウン処理されたデータと判定した場合に目標符号レート設定手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段とを備えると共に、この符号レート修正手段が、統計多重制御手段が統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開前において最後に設定される目標符号レートを修正するようにしたものである。
本発明による第２の統計多重システムは、画像データを符号化する複数の画像符号化手段と、各画像符号化手段の出力データを多重化する多重化手段と、各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御手段と、各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定手段と、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、プルダウン判定手段がプルダウン処理されたデータと判定した場合に目標符号レート設定手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段とを備えると共に、この符号レート修正手段が、統計多重制御手段が統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正するようにしたものである。
【００１５】
また、本発明による第１の統計多重制御方法は、各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定ステップと、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定ステップと、プルダウン判定ステップにおいてプルダウン処理されたデータと判定した場合に目標符号レート設定ステップにおいて設定された目標符号レートを一定条件のもとで修正する符号レート修正ステップとを含むと共に、この符号レート修正ステップでは、統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートを修正するようにしたものである。
本発明による第２の統計多重制御方法は、各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定ステップと、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定ステップと、プルダウン判定ステップにおいてプルダウン処理されたデータと判定した場合に目標符号レート設定ステップにおいて設定された目標符号レートを一定条件のもとで修正する符号レート修正ステップとを含むと共に、この符号レート修正ステップでは、統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正するようにしたものである。
【００１６】
さらに、本発明による第１の符号化方法は、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定ステップと、プルダウン判定ステップにおいてプルダウン処理されたデータと判定した場合に統計多重制御手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正ステップとを含むと共に、この符号レート修正ステップでは、統計多重制御手段が統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートを修正するようにしたものである。
本発明による第２の符号化方法は、画像データがプルダウン処理されたデータか否かを判定するプルダウン判定ステップと、プルダウン判定ステップにおいてプルダウン処理されたデータと判定した場合に統計多重制御手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正ステップとを含むと共に、この符号レート修正ステップでは、統計多重制御手段が統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正するようにしたものである。
【００１７】
本発明による第１の統計多重制御装置、画像符号化装置、統計多重システム、統計多重制御方法および符号化方法では、単位時間当たりの目標発生符号量としての目標符号レートが設定されると共に、画像データがプルダウン処理されたデータか否かが判定される。そして、プルダウン処理されたデータと判定された場合には、設定された目標符号レートが一定条件のもとで修正される。また、統計多重制御を開始するときには、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとが比較され、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートが修正される。
本発明による第２の統計多重制御装置、画像符号化装置、統計多重システム、統計多重制御方法および符号化方法では、単位時間当たりの目標発生符号量としての目標符号レートが設定されると共に、画像データがプルダウン処理されたデータか否かが判定される。そして、プルダウン処理されたデータと判定された場合には、設定された目標符号レートが一定条件のもとで修正される。また、統計多重制御を停止するときには、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとが比較され、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートが修正される。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１９】
図１は、本発明の一実施の形態に係る統計多重制御装置としてのコントローラ、画像データを含む複数の番組データを符号化する複数の画像符号化手段としての画像符号化装置および各画像符号化手段の出力データを多重化する多重化手段としての多重化装置を含む統計多重システムの構成例を示すブロック図である。この統計多重システム１は、それぞれ、本発明における番組データとしてのプログラムＳi （ｉは１以上の整数値）を入力し、圧縮符号化する複数の画像符号化装置２i と、各画像符号化装置２i に対してフィードフォワード型のビットレート制御を行う本実施の形態に係る統計多重制御装置としてのコントローラ３と、各画像符号化装置２i よりそれぞれ出力される圧縮符号化データＳｔi を多重化して、伝送路に対して画像データＳm を出力する多重化手段としての多重化装置４とを備えている。
【００２０】
図２は、図１におけるコントローラ３のハードウェア構成を示すブロック図である。コントローラ３は、ＣＰＵ（中央処理装置）５１と、ＦＲＯＭ（flash electrically erasable programmable read only memory）５２と、ＤＲＡＭ（dynamic random access memory）５３と、これらが接続されたバス７０とを備えている。コントローラ３は、更に、それぞれの画像符号化装置２iとのデータの送受信を行うためのインターフェース５４を備えている。このコントローラ３は、インターフェース５４を介して、各画像符号化装置２iから送信された符号化難易度Ｄi（後述）のデータを受信すると共に、各画像符号化装置２iに対して割当ビットレートRatei（後述）を送信することができるようになっている。
【００２１】
図３は、図１における画像符号化装置２iの詳細な構成を示すブロック図である。この図に示したように、画像符号化装置２iは、プログラムＳiを入力し、圧縮符号化のための前処理等を行うエンコーダ制御部１１と、このエンコーダ制御部１１の出力データを所定時間だけ遅延して出力するためのＦＩＦＯ（先入れ先出し）メモリ１２と、このＦＩＦＯメモリ１２の出力データを入力し、ピクチャ毎にピクチャタイプに応じた符号化方法によって圧縮符号化して、圧縮画像データＳｔiを出力するエンコーダ１３と、エンコーダ制御部１１の出力データに基づいて動きベクトルを検出し、エンコーダ１３に送る動き検出回路１４と、エンコーダ制御部１１から出力されるイントラＡＣデータＳａiと動き検出回路１４から出力されるＭＥ残差データＳｚiとに基づいてエンコーダ１３を制御する符号化制御部１５と、プログラムＳiがプルダウン処理されたデータか否かを判定するプルダウン検出部１６を備えている。なお、ＭＥ残差とは、動き予測誤差をピクチャ全体について絶対値和あるいは自乗和したものであり、ＭＥ残差データＳｚiは、ＭＥ残差を求めるためのデータであり、後で詳しく説明する。
【００２２】
エンコーダ制御部１１は、プログラムＳiを入力し、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番を並べ替える画像並べ替え回路２１と、この画像並べ替え回路２１の出力データを入力し、フレーム構造かフィールド構造かを判別し、判別結果に応じた走査変換および１６×１６画素のマクロブロック化を行う走査変換・マクロブロック化回路２２と、この走査変換・マクロブロック化回路２２の出力データを入力し、ＩピクチャにおけるイントラＡＣを算出し、イントラＡＣデータＳａiを符号化制御部１５に送ると共に、走査変換・マクロブロック化回路２２の出力データをＦＩＦＯメモリ１２および動き検出回路１４に送るイントラＡＣ演算回路２３とを備えている。なお、イントラＡＣとは、Ｉピクチャにおいて、８×８画素のＤＣＴ（離散コサイン変換）ブロック内の各画素の画素値とＤＣＴブロック内の画素値の平均値との差分の絶対値の総和として定義され、絵柄の複雑さを表すものといえる。
【００２３】
エンコーダ１３は、ＦＩＦＯメモリ１２の出力データと予測画像データとの差分をとる減算回路３１と、この減算回路３１の出力データに対して、ＤＣＴブロック単位でＤＣＴを行い、ＤＣＴ係数を出力するＤＣＴ回路３２と、このＤＣＴ回路３２の出力データを量子化する量子化回路３３と、この量子化回路３３の出力データを可変長符号化する可変長符号化回路３４と、この可変長符号化回路３４の出力データを一旦保持し、ビットストリームからなる圧縮符号化データＳｔiとして出力するバッファメモリ３５と、量子化回路３３の出力データを逆量子化する逆量子化回路３６と、この逆量子化回路３６の出力データに対して逆ＤＣＴを行う逆ＤＣＴ回路３７と、この逆ＤＣＴ回路３７の出力データと予測画像データとを加算して出力する加算回路３８と、この加算回路３８の出力データを保持し、動き検出回路１４から送られる動きベクトルに応じて動き補償を行って予測画像データを減算回路３１および加算回路３８に出力する動き補償回路３９とを備えている。
【００２４】
動き検出回路１４は、エンコーダ制御部１１の出力データに基づいて、圧縮符号化の対象となるピクチャの注目マクロブロックと、参照されるピクチャにおいて注目マクロブロックとの間の画素値の差分の絶対値和あるいは自乗和が最小となるマクロブロックを探して、動きベクトルを検出して動き補償回路３９に送るようになっている。また、動き検出回路１４は、動きベクトルを求める際に、最小となったマクロブロック間における画素値の差分の絶対値和あるいは自乗和を、ＭＥ残差データＳｚiとして符号化制御部１５に送るようになっている。
【００２５】
符号化制御部１５は、動き検出回路１４からのＭＥ残差データＳｚiをピクチャ全体について足し合わせた値であるＭＥ残差を算出するＭＥ残差計算部４１と、このＭＥ残差計算部４１によって算出されたＭＥ残差とイントラＡＣ演算回路２３からのイントラＡＣデータＳａiとに基づいて、ピクチャの符号化の難易度を表す符号化難易度Ｄiを算出し、コントローラ３に送る符号化難易度計算部４２とを備えている。
【００２６】
また、符号化制御部１５は、符号化難易度計算部４２によって算出された符号化難易度Ｄiに基づいてコントローラ３において決定された目標ビットレートRateiとなるように量子化回路３３における量子化特性値に対応する量子化インデックスを決定し、量子化回路３３に送る量子化インデックス決定部４５を備えている。
【００２７】
プルダウン検出部１６は、プログラムＳiをフレーム毎に保存するフレームメモリ８１と、フレームメモリ８１に保存された画像データと新たに入力された画像データとの差を検出するフレーム間差分検出部８２と、フレーム間差分検出部８２の検出結果を記憶するシフトレジスタ８３と、シフトレジスタ８３に記憶されたデータに基づいてプルダウン処理されたデータか否かを判定するプルダウン検出回路８４とを備えている。なお、プルダウン検出部１６には、画像データがフィールド毎に入力されるものとする。フレーム間差分検出部８２は、新たに入力された画像データとフレームメモリ８１に保存された画像データのトップフィールド（あるいはボトムフィールド）同士を比較し、全く同一のフィールドの繰り返しを検知すると、シフトレジスタ８３に信号を出力する。プルダウン検出回路８４は、シフトレジスタ８３に記憶されたデータに基づき、繰り返しフィールドが所定の個数検出されていれば、プルダウン処理されたデータと判定する。また、プルダウン検出部１６は、さらにフィールド／フレーム変換部８５を備えており、フィールド毎の画像データをフレーム毎の画像データに変換して、エンコーダ制御部１１に出力するようになっている。
【００２８】
ここで、符号化難易度（Difficulty）について説明する。符号化難易度は、ピクチャの符号化の難易度を表すものであるが、これは、同じ画質を保つために必要なデータ量の比率と言い換えることができる。符号化難易度を数値化する方法は種々考えられる。符号化難易度を算出するためのパラメータとしては、前述のイントラＡＣやＭＥ残差の他に、アクティヴィティやフラットネスがある。アクティヴィティとは、映像の絵柄の複雑さを表し、例えば原画の輝度信号の画素値の分散に基づいて算出され、ＴＭ５（Test Model Editing Commitee ："Test Model 5"；ISO/IEC JTC/SC292/WG11/NO400(Apr.1993)) 等においてマクロブロックの量子化値の算出のために用いられる。フラットネスとは、映像の空間的な平坦さを表す指標として定義され、映像の複雑さを表し、映像の絵柄の難しさ（難度）および圧縮後のデータ量と相関性を有する。前述のように、イントラＡＣおよびアクティヴィティは絵柄の複雑さを表し、ＭＥ残差は映像の動きの速さおよび絵柄の複雑さを表し、フラットネスは映像の空間的な平坦さを表し、これらは符号化の難易度と強い相関があることから、これらを変数とする一次関数等により、符号化難易度を算出することが可能である。また、本出願人は、符号化難易度をより正確に数値化する手法として、例えばＴＭ５において規定され、以前に符号化した同じタイプのピクチャにおける画面の複雑さを示すパラメータであるグローバル・コンプレキシティ（Global Complexity ）や、先読みした統計量（ＭＥ残差、アクティヴィティ、フラットネスおよびイントラＡＣ）から符号化難易度へ変換する変換式を時々刻々、学習により更新していく方法を提案している。この方法では、例えば、１つのピクチャを圧縮する毎に、グローバル・コンプレキシティを先読みした統計量で除算して、符号化難易度データの近似に用いられる重み付け係数を算出し、演算処理に用いられる重み付け係数を更新する。この重み付け係数の更新により、常に、映像データの絵柄に最適な重み付け係数を用いることができ、先読みした統計量により符号化難易度を高い精度で近似することが可能になる。
【００２９】
このような手法により先読みした統計量（イントラＡＣ，アクティヴィティ等）に基づいて、精度の高い符号化難易度が得られる場合、その符号化難易度を用いて統計多重における各プログラムの目標ビットレートRateを決定することが可能である。
【００３０】
次に、本実施の形態に係るプルダウン処理されたデータを含む統計多重制御について説明する。図４は、本実施の形態に係る統計多重制御における割当ビットレートの一例を表すものである。図４では、簡単のため、２つのプログラムについて統計多重制御を行うものとする。また、第１プログラムはプルダウン処理されておらず、第２プログラムはプルダウン処理されているものとする。
【００３１】
第１プログラムは、プルダウン処理されていないため、１フレームに１ピクチャの符号化が行われる。一方、第２プログラムは、プルダウン処理されているため、１フレームに１ピクチャの符号化が行われるとは限らず、例えば１．５フレームに１ピクチャの符号化が行われる場合もある。このような場合に、単に目標ビットレートに従った割り当てを行ったのでは、２つのプログラムのビットレートの合計が許容値を越えてしまう可能性がある。
【００３２】
そこで、本実施の形態では、それぞれのプログラムの第ｎフレームにおけるビットレートを次のようにして決定するようにした。すなわち、上述した符号化難易度に基づいて全プログラムについてのフレーム毎の目標ビットレートｒを設定したのち、第１プログラムについては、目標ビットレートをそのままビットレートとして採用し、第２プログラムについては、以下のようにして目標ビットレートを修正する。
【００３３】
すなわち、第２プログラムの第ｎフレームの目標ビットレートｒnと後続の目標ビットレート（すなわち、第ｎ＋１フレームの目標ビットレートｒn+1）とを比較し、ｒn＞ｒn+1であれば、ｒn+1を、第ｎフレームの修正ビットレートとして採用するようにした。これは、第ｎフレームの目標ビットレートｒnよりも第ｎ＋１フレームの目標ビットレートｒn+1が小さいということは、第ｎ＋１フレームでは他のプログラム（第１プログラム）のビットレートが増加することを意味しており、第２プログラムの第ｎフレームのビットレートをｒnのままにしておくと、第ｎフレームのピクチャの符号化が第ｎ＋１フレームまで続いた場合にオーバーフローを起こす可能性があるからである。一方、第ｎフレームのビットレートをｒn+1に修正すれば、第ｎフレームのピクチャの符号化が第ｎ＋１フレームまで続いたとしても、図中符号Ａで示したように、オーバーフローを起こすことがないからである。
【００３４】
これに対し、ｒn≦ｒn+1であれば、第ｎフレームのビットレートは修正せず、目標ビットレートｒnのままとした。これは、第ｎフレームのビットレートｒnよりも第ｎ＋１フレームのビットレートｒn+1が大きいということは、第ｎ＋１フレームでは他のプログラム（第１プログラム）のビットレートが減少することを意味しており、第ｎフレームのビットレートを目標ビットレートをｒnのままにしておいてもオーバーフローを起こす可能性がないからである。これは、図中符号Ｂで示した部分に対応する。
【００３５】
このように構成されているため、互いに同期されていない複数のプロクラムについて、それぞれのビットレートを、その合計が許容値を超えないように制御することができる。
【００３６】
次に、図５の流れ図を参照して、本実施の形態に係る統計多重制御の具体例について説明する。この動作では、まず、コントローラ３は、全回線容量の設定を行い、各プログラムのフレーム毎の符号化難易度を求める（Ｓ１００）。次いで、この符号化難易度に基づいて、各プログラムのフレーム毎の目標ビットレートを設定する（Ｓ１０２）。ここでは、これから符号化を行おうとするフレーム（例えば第ｎフレーム）の１つ先のフレーム（例えば第ｎ＋１フレーム）まで目標ビットレートが設定されているものとする。そののち、符号化レート修正ステップとしてのビットレート修正プロセスを開始する（Ｓ１０４）。
【００３７】
図６は、ビットレート修正プロセスを表す流れ図である。なお、図６には、１つの画像符号化装置に対して行われる処理のみを示すが、実際には全ての画像符号化装置２iに対して同様の処理が行われる。ビットレート修正プロセスでは、まず、プログラムＳiがプルダウン処理されたデータか否かをチェックする（Ｓ２０１）。このチェックは、例えば、コントローラ３から画像符号化装置２iに問い合わせ信号を送信し、画像符号装置２iからの回答を受信することなどにより行われる。プログラムＳiがプルダウン処理されたデータでない場合には（Ｓ２０１でＮＯ）、ビットレートを修正せずに（Ｓ２０２）、ビットレート修正プロセスを終了する。この場合、第ｎフレームのビットレートとしては、目標ビットレートｒnがそのまま採用される。
【００３８】
一方、プログラムＳiがプルダウン処理されたデータであった場合には（Ｓ２０１でＹＥＳ）、まず、第ｎフレームの目標ビットレートｒnと第ｎ＋１フレームの目標ビットレートｒn+1とを比較する（Ｓ２０３）。ｒn＞ｒn+1の場合（Ｓ２０３でＹＥＳ）には、第ｎフレームのビットレートをｒn+1に修正する（Ｓ２０４）。一方、ｒn≦ｒn+1の場合（Ｓ２０３でＮＯ）には、第ｎフレームのビットレートとして目標ビットレートｒnをそのまま採用する（Ｓ２０５）。
【００３９】
図６のビットレート修正プロセスを終了すると、ビットレート修正プロセスで修正されたビットレートに基づいて、画像符号化装置２iから多重化装置４への符号送信が行われる（Ｓ１０６）。
【００４０】
次に、図７を参照して、本実施の形態に係る多重制御開始時の制御について説明する。ここでは、第１プログラムと第２プログラムとがそれぞれビットレートが固定された状態で符号化されており、途中から統計多重制御が開始されたものとする。図４と同様、第１プログラムはプルダウン処理されておらず、第２プログラムはプルダウン処理されているものとする。また、第ｎフレームまでは固定ビットレートによる符号化が行われ、統計多重制御は第ｎ＋１フレームから開始されたものとする。第１プログラムについては、固定ビットレート制御から統計多重制御に移行したあとは、コントローラ３が符号化難易度に基づいて設定した目標ビットレートに従って、符号化が行われる。
【００４１】
第２プログラムでは、固定ビットレートの最後のフレーム（すなわち、第ｎフレーム）において符号化されたピクチャが、統計多重制御の開始後における最初のフレーム（すなわち、第ｎ＋１フレーム）まで続く可能性がある。そこで、本実施の形態では、統計多重制御開始前における最後の目標ビットレート（すなわり、第ｎフレームの目標ビットレート）ｒnと、統計多重制御の開始後における最初の目標ビットレート（すなわち、第ｎ＋１フレームの目標ビットレート）ｒn+1と比較し、ｒn＞ｒn+1であれば、統計多重制御開始前における最後のビットレートをｒn+1に修正するようにした。一方、ｒn≦ｒn+1であれば、多重制御開始前における最後のビットレートｒnは変更しないようにした。
【００４２】
このようにすれば、図中符号Ｃで示したように、固定ビットレートから統計多重制御に移行した直後にオーバーフローが生じることを防止することができる。
【００４３】
次に、図８を参照して、本実施の形態に係る多重制御停止時の制御について説明する。ここでは、第１プログラムと第２プログラムとが統計多重制御のもとで符号化されており、途中から統計多重制御が停止され、固定ビットレートに移行したものとする。図７と同様、第１プログラムはプルダウン処理されておらず、第２プログラムはプルダウン処理されているものとする。また、統計多重制御は第ｎフレームまで行われ、第ｎ＋１フレームからは固定ビットレートによる符号化が開始されたものとする。第１プログラムについては、統計多重制御から固定ビットレート制御に移行したあとは、予め設定された一定のビットレートに従って符号化が行われる。
【００４４】
第２プログラムでは、統計多重制御停止前の最後のフレーム（すなわち、第ｎフレーム）において符号化されたピクチャが、統計多重制御停止後の最初のフレーム（すなわち、第ｎ＋１フレーム）まで続く可能性がある。そこで、本実施の形態では、統計多重制御停止前における最後の目標ビットレート（すなわち、第ｎフレームの目標ビットレート）ｒnと、統計多重制御の停止後における最初の目標ビットレート（すなわち、第ｎ＋１フレームの目標ビットレート）ｒn+1と比較し、ｒn＞ｒn+1であれば、統計多重制御停止前の最後のビットレートをｒn+1に修正するようにした。一方、ｒn≦ｒn+1であれば、多重制御停止前の最後のビットレートｒnは変更しないようにした。
【００４５】
このようにすれば、図中符号Ｄで示したように、統計多重制御から固定ビットレートに移行した直後にオーバーフローが生じることを防止することができる。
【００４６】
［実施の形態による効果］
以上説明したように、本実施の形態によれば、プルダウン処理されたデータの場合には、ビットレート修正プロセスを実行するようにしたので、プルダウン処理によるオーバーフローを抑えることができる。
【００４７】
特に、ビットレート修正プロセスにおいて、第ｎフレームの目標ビットレートｒnと、第ｎ＋１フレームの目標ビットレートｒn+1とを比較し、ｒn＞ｒn+1の場合には、第ｎフレームのビットレートをｒn+1に修正し、ｒn≦ｒn+1の場合には、目標ビットレートｒnをそのまま採用するようにしたので、確実にオーバーフローを抑制することができる。
【００４８】
また、統計多重制御を開始するときには、統計多重制御開始前において最後に設定される目標ビットレートと、統計多重制御開始後において最初に設定される目標ビットレートとを比較し、その比較結果に応じて、統計多重制御開始前において最後に設定される目標ビットレートを修正するようにしたので、統計多重制御開始直後におけるオーバーフローを防止することができる。
【００４９】
さらに、統計多重制御を停止するときには、統計多重制御停止前において最後に設定される目標ビットレートと、統計多重制御停止後に最初に設定される目標ビットレートとを比較し、その比較結果に応じて、統計多重制御停止前において最後に設定される目標ビットレートを修正するようにしたので、統計多重制御停止直後におけるオーバーフローを防止することができる。
【００５０】
また、コントローラ３によって目標ビットレートの設定や、ビットレートの修正を行うようにしたので、コントローラ３による統括的な制御が可能になるという利点もある。
【００５１】
［変形例］
なお、上述した実施の形態では、ビットレート修正プロセスをコントローラ３が行うようにしたが、各画像符号化装置２が行うようにしてもよい。なお、目標ビットレートの設定は、上述した実施の形態と同様、コントローラ３が行うものとする。図９は、各画像符号化装置２が行うビットレート修正プロセスを表す流れ図である。この場合の画像符号化装置２の動作は、実質的には図６と同じである。すなわち、画像符号化装置２は、まず、プログラムＳiがプルダウン処理されたデータか否かをチェックする（Ｓ３０１）。プログラムＳiがプルダウン処理されたデータでなければ（Ｓ３０１でＮＯ）、ビットレートを修正せずに（Ｓ３０２）、ビットレート修正プロセスを終了する。一方、プルダウン処理されたデータであった場合には（Ｓ３０１でＹＥＳ）、まず、第ｎフレームの目標ビットレートｒnと第ｎ＋１フレームの目標ビットレートｒn+1とを比較する（Ｓ３０３）。ｒn＞ｒn+1の場合（Ｓ３０３でＹＥＳ）には、第ｎフレームのビットレートをｒn+1に修正する（Ｓ３０４）。ｒn≦ｒn+1の場合（Ｓ３０３でＮＯ）には、第ｎフレームのビットレートとして目標ビットレートｒnをそのまま採用する（Ｓ３０５）。ビットレート修正プロセス終了後は、上述の実施の形態と同様、画像符号化装置２から多重化装置４への送信が行われる。
【００５２】
この変形例によれば、それぞれの画像符号化装置２によってビットレート修正プロセスを行うようにしたので、コントローラ３によってビットレート修正プロセスを行うようにした場合に比べ、コントローラ３の負担が軽減するという利点がある。
【００５３】
以上、実施の形態およびその変形例を挙げて本発明を説明したが、本発明はこの実施の形態および変形例に限定されるものではなく、種々の変形が可能である。例えば、本発明は、図６および図９に示したビットレート修正プロセスを、コントローラ３または画像符号化装置２によって実行させるようにしたが、他の機器が実行するようにしてもよい。また、上記の実施の形態では、１つの画像符号化装置だけがプルダウン処理を行うようにしたが、本発明は、複数の画像符号化装置が同時にプルダウン処理を行う場合にも適用できる。
【００５４】
【発明の効果】
以上説明したように、請求項１ないし請求項４のいずれか１に記載の統計多重制御装置、請求項８ないし請求項１１のいずれか１に記載の画像符号化装置、請求項１５ないし請求項１８のいずれか１に記載の統計多重システム、請求項２２記載の統計多重制御方法または請求項２４記載の符号化方法によれば、単位時間当たりの目標発生符号量としての目標符号レートを設定すると共に、画像データがプルダウン処理されたデータか否かを判定し、プルダウン処理されたデータと判定した場合には、設定された目標符号レートを一定条件のもとで修正するようにしたので、オーバーフローを抑制することができるという効果を奏する。また、統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートを修正するようにしたので、統計多重制御の開始直後のオーバーフローを防止することができるという効果を奏する。
また、請求項５ないし請求項７のいずれか１に記載の統計多重制御装置、請求項１２ないし請求項１４のいずれか１に記載の画像符号化装置、請求項１９ないし請求項２１のいずれか１に記載の統計多重システム、請求項２３記載の統計多重制御方法または請求項２５記載の符号化方法によれば、単位時間当たりの目標発生符号量としての目標符号レートを設定すると共に、画像データがプルダウン処理されたデータか否かを判定し、プルダウン処理されたデータと判定した場合には、設定された目標符号レートを一定条件のもとで修正するようにしたので、オーバーフローを抑制することができるという効果を奏する。また、統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正するようにしたので、統計多重制御を停止した直後のオーバーフローを防止することができるという効果を奏する。
【００５５】
特に、請求項３もしくは請求項７に記載の統計多重制御装置、請求項１０もしくは請求項１４に記載の画像符号化装置、または、請求項１７もしくは請求項２１に記載の統計多重システムによれば、設定されたビットレートと、後続のビットレートとを比較し、設定されたビットレートの方が大きい場合には、ビットレートを、後続のビットレートと同じになるように修正するようにしたので、確実にオーバーフローを抑制することができるという効果を奏する。
【００５７】
特に、請求項４記載の統計多重制御装置、請求項１１記載の画像符号化装置、または、請求項１８記載の統計多重システムによれば、統計多重制御を停止するときに、統計多重制御停止前において最後に設定する目標符号レートと、統計多重制御停止後において最初に設定する目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前に最後に設定する目標符号レートを修正するようにしたので、統計多重制御を停止した直後のオーバーフローを防止することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る画像符号化制御装置を含む統計多重システムの概略の構成を示すブロック図である。
【図２】図１におけるコントローラのハードウェア構成を示すブロック図である。
【図３】図１に示した画像符号化装置の概略の構成を示すブロック図である。
【図４】本発明の一実施の形態における統計多重制御プロセスにおける割当ビットレートを表すタイムチャートである。
【図５】本発明の一実施の形態における統計多重制御プロセスを表す流れ図である
【図６】図５に示した符号化プロセス中で実行されるビットレート修正プロセスを表す流れ図である。
【図７】本発明の一実施の形態における統計多重制御プロセスにおける割当ビットレートの他の例を表すタイムチャートである。
【図８】本発明の一実施の形態における統計多重制御プロセスにおける割当ビットレートの他の例を表すタイムチャートである。
【図９】本発明の一実施の形態の変形例の統計多重制御プロセス中で実行されるビットレート修正プロセスを表す流れ図である。
【図１０】ビットレートが固定された場合の割当符号レートを表す図である。
【図１１】一般的な統計多重制御における割当符号レートを表す図である。
【図１２】一般的なプルダウン制御の概念を表す図である。
【図１３】従来の統計多重制御における割当符号レートの一例を表す図である。
【符号の説明】
１…統計多重システム、２i…画像符号化装置、３…コントローラ、４…多重化装置、１１…エンコーダ制御部、１２…ＦＩＦＯメモリ、１３…エンコーダ、１４…動き検出回路、１５…符号化制御部、１６…プルダウン検出部、２１…画像並べ替え回路、２２…走査変換・マクロブロック化回路、２３…イントラＡＣ演算回路、３１…減算回路、３２…ＤＣＴ回路、３３…量子化回路、３４…可変長符号化回路、３５…バッファメモリ、３６…逆量子化回路、３７…逆ＤＣＴ回路、３９…動き補償回路、４１…ＭＥ残差計算部、８１…フレームメモリ、フレーム間差分検出部、８４…プルダウン検出回路。
Claims (25)
- 画像データを符号化する複数の画像符号化手段と、各画像符号化手段の出力データを多重化する多重化手段とを備えたシステムに用いられ、各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御装置であって、
各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定手段と、
前記画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、
前記プルダウン判定手段が、プルダウン処理されたデータと判定した場合に、前記目標符号レート設定手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段と
を備え、
前記符号レート修正手段は、統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートを修正する
統計多重制御装置。 - 前記符号レート修正手段は、前記目標符号レートを後続の目標符号レートと比較し、その比較結果に応じて修正を行う
請求項１記載の統計多重制御装置。 - 前記符号レート修正手段は、前記目標符号レートが後続の目標符号レートよりも大きい場合には、後続の目標符号レートと同じになるよう修正を行う
請求項２記載の統計多重制御装置。 - 前記符号レート修正手段は、統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正する
請求項１記載の統計多重制御装置。 - 画像データを符号化する複数の画像符号化手段と、各画像符号化手段の出力データを多重化する多重化手段とを備えたシステムに用いられ、各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御装置であって、
各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定手段と、
前記画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、
前記プルダウン判定手段が、プルダウン処理されたデータと判定した場合に、前記目標符号レート設定手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段と
を備え、
前記符号レート修正手段は、統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される 目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正する
統計多重制御装置。 - 前記符号レート修正手段は、前記目標符号レートを後続の目標符号レートと比較し、その比較結果に応じて修正を行う
請求項５記載の統計多重制御装置。 - 前記符号レート修正手段は、前記目標符号レートが後続の目標符号レートよりも大きい場合には、後続の目標符号レートと同じになるよう修正を行う
請求項６記載の統計多重制御装置。 - 画像データを符号化する画像符号化装置であって、
複数の画像符号化装置の出力データを多重化する多重化手段と、各画像符号化装置に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化装置を制御する統計多重制御手段とを備えたシステムに用いられ、
前記画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、
前記プルダウン判定手段が、プルダウン処理されたデータと判定した場合に、前記統計多重制御手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段と
を備え、
前記符号レート修正手段は、前記統計多重制御手段が統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートを修正する
画像符号化装置。 - 前記符号レート修正手段は、前記目標符号レートを、後続の目標符号レートと比較し、その比較結果に応じて修正を行う
請求項８記載の画像符号化装置。 - 前記符号レート修正手段は、前記目標符号レートが後続の目標符号レートよりも大きい場合には、後続の目標符号レートと同じになるよう修正を行う
請求項９記載の画像符号化装置。 - 前記符号レート修正手段は、前記統計多重制御手段が統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正する
請求項８記載の画像符号化装置。 - 画像データを符号化する画像符号化装置であって、
複数の画像符号化装置の出力データを多重化する多重化手段と、各画像符号化装置に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化装置を制御する統計多重制御手段とを備えたシステムに用いられ、
前記画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、
前記プルダウン判定手段が、プルダウン処理されたデータと判定した場合に、前記統計多重制御手段によって設定された目標符号レートを一定条件のもとで修正する符号レート 修正手段と
を備え、
前記符号レート修正手段は、前記統計多重制御手段が統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正する
画像符号化装置。 - 前記符号レート修正手段は、前記目標符号レートを、後続の目標符号レートと比較し、その比較結果に応じて修正を行う
請求項１２記載の画像符号化装置。 - 前記符号レート修正手段は、前記目標符号レートが後続の目標符号レートよりも大きい場合には、後続の目標符号レートと同じになるよう修正を行う
請求項１３記載の画像符号化装置。 - 画像データを符号化する複数の画像符号化手段と、
各画像符号化手段の出力データを多重化する多重化手段と、
各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御手段と、
各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定手段と、
前記画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、
前記プルダウン判定手段が、プルダウン処理されたデータと判定した場合に、前記目標符号レート設定手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段と
を備え、
前記符号レート修正手段は、前記統計多重制御手段が統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開前において最後に設定される目標符号レートを修正する
統計多重システム。 - 前記符号レート修正手段は、前記目標符号レートを後続の目標符号レートと比較し、その比較結果に応じて修正を行う
請求項１５記載の統計多重システム。 - 前記符号レート修正手段は、前記目標符号レートが後続の目標符号レートよりも大きい場合には、後続の目標符号レートと同じになるよう修正を行う
請求項１６記載の統計多重システム。 - 前記符号レート修正手段は、前記統計多重制御手段が統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正する
請求項１５記載の統計多重システム。 - 画像データを符号化する複数の画像符号化手段と、
各画像符号化手段の出力データを多重化する多重化手段と、
各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御手段と、
各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定手段と、
前記画像データがプルダウン処理されたデータか否かを判定するプルダウン判定手段と、
前記プルダウン判定手段が、プルダウン処理されたデータと判定した場合に、前記目標符号レート設定手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正手段と
を備え、
前記符号レート修正手段は、前記統計多重制御手段が統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正する
統計多重システム。 - 前記符号レート修正手段は、前記目標符号レートを後続の目標符号レートと比較し、その比較結果に応じて修正を行う
請求項１９記載の統計多重システム。 - 前記符号レート修正手段は、前記目標符号レートが後続の目標符号レートよりも大きい場合には、後続の目標符号レートと同じになるよう修正を行う
請求項２０記載の統計多重システム。 - 画像データを符号化する複数の画像符号化手段と、各画像符号化手段の出力データを多重化する多重化手段とを備えたシステムに用いられ、各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御方法であって、
各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定ステップと、
前記画像データが、プルダウン処理されたデータか否かを判定するプルダウン判定ステップと、
前記プルダウン判定ステップにおいてプルダウン処理されたデータと判定した場合に、前記目標符号レート設定ステップにおいて設定された目標符号レートを一定条件のもとで修正する符号レート修正ステップと
を含み、
前記符号レート修正ステップでは、統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートを修正する
統計多重制御方法。 - 画像データを符号化する複数の画像符号化手段と、各画像符号化手段の出力データを多重化する多重化手段とを備えたシステムに用いられ、各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御方法であって、
各画像データの符号化の難易度を表す符号化難易度を取得し、取得した符号化難易度に 基づき、それぞれの画像データの目標符号レートを、その総和が所定の許容値内に収まるように設定する目標符号レート設定ステップと、
前記画像データが、プルダウン処理されたデータか否かを判定するプルダウン判定ステップと、
前記プルダウン判定ステップにおいてプルダウン処理されたデータと判定した場合に、前記目標符号レート設定ステップにおいて設定された目標符号レートを一定条件のもとで修正する符号レート修正ステップと
を含み、
前記符号レート修正ステップでは、統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正する
統計多重制御方法。 - 画像データを符号化する複数の画像符号化手段と、各画像符号化手段の出力データを多重化する多重化手段と、各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御手段とを備えたシステムで用いられる符号化方法であって、
前記画像データが、プルダウン処理されたデータか否かを判定するプルダウン判定ステップと、
前記プルダウン判定ステップにおいてプルダウン処理されたデータと判定した場合に、前記統計多重制御手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正ステップと
を含み、
前記符号レート修正ステップでは、前記統計多重制御手段が統計多重制御を開始するときに、統計多重制御開始前において最後に設定される目標符号レートと、統計多重制御開始後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御開始前において最後に設定される目標符号レートを修正する
符号化方法。 - 画像データを符号化する複数の画像符号化手段と、各画像符号化手段の出力データを多重化する多重化手段と、各画像符号化手段に対して単位時間当たりの目標発生符号量としての目標符号レートを設定して各画像符号化手段を制御する統計多重制御手段とを備えたシステムで用いられる符号化方法であって、
前記画像データが、プルダウン処理されたデータか否かを判定するプルダウン判定ステップと、
前記プルダウン判定ステップにおいてプルダウン処理されたデータと判定した場合に、前記統計多重制御手段によって設定された目標符号レートを一定条件のもとで修正する符号レート修正ステップと
を含み、
前記符号レート修正ステップでは、前記統計多重制御手段が統計多重制御を停止するときに、統計多重制御停止前において最後に設定される目標符号レートと、統計多重制御停止後において最初に設定される目標符号レートとを比較し、比較結果に応じて、統計多重制御停止前において最後に設定される目標符号レートを修正する
符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000181316A JP4264790B2 (ja) | 2000-06-16 | 2000-06-16 | 統計多重制御装置、画像符号化装置、統計多重システム、統計多重制御方法および符号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000181316A JP4264790B2 (ja) | 2000-06-16 | 2000-06-16 | 統計多重制御装置、画像符号化装置、統計多重システム、統計多重制御方法および符号化方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001359094A JP2001359094A (ja) | 2001-12-26 |
| JP2001359094A5 JP2001359094A5 (ja) | 2007-04-19 |
| JP4264790B2 true JP4264790B2 (ja) | 2009-05-20 |
Family
ID=18682266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000181316A Expired - Fee Related JP4264790B2 (ja) | 2000-06-16 | 2000-06-16 | 統計多重制御装置、画像符号化装置、統計多重システム、統計多重制御方法および符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4264790B2 (ja) |
-
2000
- 2000-06-16 JP JP2000181316A patent/JP4264790B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001359094A (ja) | 2001-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7869661B2 (en) | Image coding apparatus, image coding method, and image coding program for coding at least one still frame with still frame coding having a higher quality than normal frame coding of other frames | |
| KR100610520B1 (ko) | 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체 | |
| JP4529919B2 (ja) | 適応量子化装置及び適応量子化プログラム | |
| JP4441839B2 (ja) | 統計多重システム、統計多重制御装置および統計多重方法 | |
| US7035334B2 (en) | Device and method for controlling image encoding, encoding system, transmission system and broadcast system | |
| US6956899B2 (en) | Precise bit control apparatus with look-ahead for MPEG encoding | |
| JP4099682B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| US20010026587A1 (en) | Image encoding apparatus and method of same, video camera, image recording apparatus, and image transmission apparatus | |
| JP2002511669A (ja) | 映像データストリームの適応的符号化方法と装置 | |
| JP3907875B2 (ja) | 符号化レート制御装置及び情報符号化装置 | |
| JP2004523985A (ja) | ビデオ符号化方法及びこれに対応する符号化装置 | |
| JP3173369B2 (ja) | 画像圧縮符号化装置 | |
| US6480544B1 (en) | Encoding apparatus and encoding method | |
| JP3218994B2 (ja) | 画像符号化方法および装置 | |
| JP4264790B2 (ja) | 統計多重制御装置、画像符号化装置、統計多重システム、統計多重制御方法および符号化方法 | |
| JP3149673B2 (ja) | 映像符号化装置、映像符号化方法、映像再生装置及び光ディスク | |
| JP2005303555A (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP2005033599A (ja) | 符号化装置、および、符号化方法、並びに、プログラム | |
| JPH09200769A (ja) | 動き補償フレーム間符号化方式 | |
| JP3779066B2 (ja) | 動画像符号化装置 | |
| JP3767007B2 (ja) | 符号化装置および符号化方法 | |
| KR20010104058A (ko) | 동영상 부호화기의 부호화 모드에 따른 적응적 양자화기 | |
| JP4035747B2 (ja) | 符号化装置および符号化方法 | |
| JP4239734B2 (ja) | 符号化装置、および、符号化方法、並びに、プログラム | |
| JP2002064822A (ja) | 統計多重システム、統計多重制御装置および統計多重方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070228 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090122 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090204 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |