JP3307367B2 - 可変転送レート符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラなど
のような画像信号をリアルタイムで処理する際に好適な
可変転送レート符号化装置に関するものである。

【０００２】

【従来の技術】近年、デジタル化された画像信号に対し
て高能率符号化により圧縮した情報を光記録媒体や磁気
記録媒体などのメディアに記録し、この記録メディアか
ら再生した情報に対して復号処理を行なって画像信号を
復元・再生する記録再生システムが開発され、実用化さ
れている。このようなシステムの代表的なものとして
は、現在ＤＶＤ−ＶＩＤＥＯがある。ＤＶＤ−ＶＩＤＥ
Ｏは、動画像の高能率符号化方式として国際規格である
ＭＰＥＧ２を用いることにより、２時間を超える画像情
報を１枚の光ディスクに記録することができる。

【０００３】このＭＰＥＧ２のような画像フレーム間の
予測処理を用いた高能率符号化装置の従来技術として
は、例えば図８に示すものがある。画像フレーム間符号
化処理では、映像信号のフレーム間の相関性を利用し
て、いわゆる予測符号化が行われる。すなわち、順次隣
合う画像間の対応する画素毎の画像データの差分（いわ
ゆる予測誤差）による画像データを求め、これらの画像
データを伝送することによってデータ圧縮を行い、伝送
効率の向上が図られている。また、符号化効率を更に高
めるために、画像フレーム間の予測処理が用いられる。
すなわち、画面中の動いている物体に対してその動きを
検出し、その動き分だけ前の画像中で予測に用いる画像
データの位置を補正して予測符号化処理を行う。

【０００４】図８において、入力されたデジタル画像信
号はフレームメモリ１０に記録される。そして、符号化
シンタックスに従って符号化される順番に並べ替えを行
なうため、遅延処理が施される。フレームメモリ１０か
ら出力されたデジタル信号は、減算器３８を介して、２
次元ブロック変換回路１２に入力される。基準フレーム
においては、２次元ブロック変換回路１２において垂直
方向Ｎ画素・水平方向Ｍ画素（通常Ｎ，Ｍは８）の２次
元ブロックに変換される。変換されたデータは、直交変
換回路１４においてＤＣＴ（離散コサイン変換）が行わ
れ、量子化回路１６に送られる。量子化回路１６では、
レートコントロール回路２２から入力される情報で示さ
れる量子化スケールに応じてＤＣＴ変換係数の量子化が
行われる。量子化された信号は、符号化回路１８と逆量
子化回路２６とに入力される。

【０００５】符号化回路１８では、符号化テーブル２０
の係数に対応したアドレスを参照することによって可変
長又は固定長の符号化が行われ、この符号化データはマ
ルチプレクサ２４に入力される。マルチプレクサ２４で
は、上記符号化データと画面内でのブロックの位置など
を示す付加情報とが多重化され、ビットストリームとし
て出力される。また、レートコントロール回路２２で
は、マルチプレクサ２４から出力されたビットストリー
ムの発生符号量と、目標とする符号量との比較が行わ
れ、その結果に基づいて目標符号量に近づけるために量
子化回路１６の細かさ（量子化スケール）が制御され
る。

【０００６】一方、以上のような符号化処理とともに、
逆量子化回路２６では、量子化回路１６から供給される
量子化データが逆量子化され、上述の直交変換回路１４
の出力に対応する係数データ（量子化歪みが加算されて
いる）が再生される。この係数データは、逆直交変換回
路２８に供給される。逆直交変換回路２８では、係数デ
ータの逆ＤＣＴ変換が行われ、変換後の信号がデブロッ
ク回路３０に供給される。デブロック回路３０では、符
号化ビットストリームが復号された状態の画像信号に復
元され、復元信号が加算器４０に入力される。加算器４
０では、動き補償予測回路３６から入力される予測画像
データと前記復元信号とが加算され、再生画像信号とな
って予測メモリに格納される。

【０００７】次に、予測フレームにおいては、フレーム
メモリ１０から出力された画像と予測メモリ３２に格納
されている画像との間で動きベクトル検出回路３４によ
って、画像間で動きベクトルが求められる。具体的に
は、動きベクトル検出回路３４は、フレームメモリ１０
から必要な画像データを読み出し、この画像データと予
測メモリ３２に格納されている画像データとの間の動き
ベクトルを検出する。すなわち、動きベクトル検出回路
３４は、フレームメモリ１０に記憶されている原画像を
用いて、現在の参照画像の動きベクトルを検出する。

【０００８】ここで、動きベクトルの検出は、一般的に
ブロックマッチングにより求められ、符号化する画像と
予測メモリの画像をそれぞれ２次元ブロック化し、画素
毎の差分絶対値総和（もしくは差分二乗総和）の最も小
さいブロックに対する画面内の動き成分を、その動きベ
クトルとする。検出された動きベクトルは、動き補償予
測回路３６に供給される。動き補償予測回路３６では、
予測モードの選択が行われ、フレーム間予測信号が生成
されて減算器３８，加算器４０にそれぞれ供給される。

【０００９】減算器３８では、動き補償予測回路３６か
ら入力されるフレーム間予測信号がフレームメモリ１０
の画像信号から減算され、この減算結果は予測残差信号
として２次元ブロック変換回路１２に出力される。以降
の処理は、前記フレームの各ブロックと同様であり、Ｄ
ＣＴ変換係数が動きベクトルや予測モードとともにビッ
トストリームとして出力される。

【００１０】ＭＰＥＧ２の場合、基準フレーム（Ｉピク
チャ）と２種類の予測フレーム（Ｐピクチャ：片方向予
測、Ｂピクチャ：両方向予測）の３種類の情報量の異な
るピクチャタイプが存在する。このため、量子化スケー
ルの制御に関しては、予め設定された符号化レートに対
して、前記３つのピクチャタイプの性質と出現頻度を用
いて、各フレームに対する目標符号量が算出される。ま
た目標符号量は、復号装置側のストリームバッファが仮
想的にシミュレートされ、バッファのオーバーフロー・
アンダーフローが起きないように制限される。

【００１１】量子化スケールは、スケールと出力符号量
とが一般的にほぼ反比例の関係にあることを利用して、
各ピクチャタイプ毎に目標符号量に対する量子化スケー
ル値が計算され、量子化処理が行なわれる。そして、ブ
ロック毎に目標符号量に近づく方向に量子化スケールを
変動させることによって、目標符号量内となるように符
号化ビットストリームが抑えられる。固定転送レート符
号化の場合、細かい量子化スケールを用いても符号化ス
トリームの量が設定した符号化レートに満たないとき
は、１つのピクチャの区切りを示すヘッダコードの前に
不足符号量相当のスタッフィングビットを詰め込むこと
により、設定した符号化レートに合わせている。

【００１２】ＤＶＤ−ＶＩＤＥＯなどの記録媒体におい
ては、メディアの最大転送レート以内で画像の難易度に
応じて符号化レートを変動させる可変転送レート符号化
が可能となっている。可変転送レート符号化とは、符号
化による劣化の大きい画像に対しては高い転送レートで
符号化を行い、劣化の少ない画像に対しては低い転送レ
ートで符号化を行うことにより、画質を均一にするとと
もに、再生時間をできるる限り伸ばす手法である。

【００１３】画像素材が予め別の記録媒体に記録されて
いる場合を目的とした可変転送レート符号化手法は、特
開平６−１４１２９８号公報に記載されている。この発
明は、仮符号化を行なうことによって予め記録すべき画
像情報の難易度を全体に渡って測定し、その結果を用い
て各部分に適した符号化レートを認識して再度符号化を
行なうことで、最適な符号量割り当てと符号量の制御を
可能とする手法である。

【００１４】ＤＶＤ−ＶＩＤＥＯなどの読み出し専用記
録媒体に対しては、記録イメージを作成してプレスする
ことにより生産されるため、リアルタイムに画像情報を
符号化する必要性は少ない。また、ＨＤＤなどの読み書
き両用の記録媒体においても、画像素材が予め別の記録
媒体に記録されている場合には、再度符号化処理が可能
なため、図８に示した装置を複数パス通すこと（２度符
号化すること）により同様の符号化が可能である。

【００１５】

【発明が解決しようとする課題】ところで、ビデオカメ
ラなどの用途で画像素材をリアルタイムで記録しなけれ
ばならない場合には、複数パスの符号化を用いることは
不可能である。リアルタイムによる符号化処理で可変転
送レートを実現する場合には、予め入力される画像情報
の全体的な性質や難易度の推移を知ることなしに、各部
分の符号化レートを設定して符号化を行わなければなら
ない。このようなリアルタイムで可変転送レートを実現
する手法としては、特開平９−２３４２３号公報に開示
された信号符号化方法及び装置がある。これによれば、
画像の複雑さを計測してその値を基準に符号化レートを
想定し、実際の符号化処理が行なわれる。

【００１６】しかしながら、この従来技術では、予め入
力される画像が如何なる複雑さか判らない状態におい
て、一般的な画像の複雑さを元に符号化レートを決定し
ている。このため、記録時間の終盤に来て符号量が足り
なくなる場合には、終盤の画像の劣化が著しく、終盤に
複雑な画像が入力された場合に平均レートで固定転送レ
ート符号化を行なう場合よりも劣化が大きくなる欠点が
ある。画像を媒体に記録する際においては、一部分だけ
が特別に良好な品質で符号化されていても、他の部分に
著しい劣化がある場合は、結果として符号化が破綻して
いると考えることができ、満足な符号化処理を実現した
とはいえない。また、予め画像の複雑さを計測して符号
化レートを想定するためには、かなり大きな遅延処理を
必要とする。このため、回路規模が増大し処理が複雑に
なるという不都合がある。

【００１７】本発明は、以上の点に着目したもので、通
常の符号化処理と同等の回路規模において、リアルタイ
ムで破綻が少なく且つ効率的な符号量の割り当てと符号
化処理を実現することを、その目的とするものである。

【００１８】

【課題を解決するための手段】前記目的を達成するた
め、この発明は、デジタル化された画像信号に直交変換
処理、量子化処理、可変長及び固定長の符号化処理を行
なって記録媒体に記録する可変転送レート符号化装置に
おいて、設定された符号化レートが上限となるように量
子化スケールを制御する符号量制御手段；画像を量子化
処理する際に用いる量子化スケールの最小値を規定する
最小量子化パラメータを格納するパラメータ格納手段；
前記最小量子化パラメータを用いて、前記符号量制御手
段から出力された量子化スケールに制限を加える量子化
制限手段；前記記録媒体の残り記録容量を計測する残り
記録容量計測手段；前記記録媒体の残り記録時間を計測
する残り記録時間計測手段；所定のフレーム間隔で前記
符号化レート及び前記最小量子化パラメータを更新する
パラメータ制御手段；を備えたことを特徴とする。

【００１９】主要な形態の一つによれば，前記最小量子
化パラメータが、符号化方法の異なるフレーム構造の種
類毎に用意されており、前記パラメータ制御手段が、各
最小量子化パラメータに対して異なる値を設定・更新す
る手段を備えたことを特徴とする。あるいは、前記残り
記録時間計測手段は、総記録予定時間を示すパラメータ
を格納する総記録時間レジスタ；符号化されたフレーム
数をカウントする符号化済時間カウンタ；を備えたこと
を特徴とする。あるいは、符号化処理実行中に外部から
総記録時間の変更を可能とする総記録時間レジスタ設定
手段を具備し、この総記録時間レジスタ設定手段は、総
記録時間の増加もしくは減少を指示する情報に基づい
て、所定の制限内で前記総記録時間レジスタの内容を更
新・記録する手段を備えたことを特徴とする。

【００２０】他の形態によれば、前記パラメータ制御手
段が、前記記録媒体の総容量，総記録時間，残り記録容
量，残り記録時間，最大転送レートのうちのいくつかを
引数とする関数により、前記符号化レート，最小量子化
パラメータ，及び総記録時間レジスタを更新することを
特徴とする。あるいは、前記パラメータ制御手段が、符
号量変動を吸収するための変動許容符号量を格納するた
めのレジスタを具備し、このレジスタは、残り記録容量
もしくは残り記憶時間により更新され、且つ前記符号化
レートが、前記レジスタの値を引数とする関数により更
新されることを特徴とする。あるいは、前記残り記録容
量計測手段は、発生した符号量を積算する符号量積算手
段；前記記録媒体の種類を読み取ることによって、前記
記録媒体の総記録容量を検出する総記録容量検出手段；
を備えたことを特徴とする。

【００２１】更に他の形態によれば、前記残り記録容量
計測手段は、前記記録媒体の記録済み領域を認識するた
めの位置センサもしくは記録媒体に記録された位置情報
を用いた記録済みエリアの検出手段；これによって読み
取られた情報を用いて、前記残り記録容量を算出する位
置・容量変換手段；を備えたことを特徴とする。あるい
は、前記残り記録容量計測手段及び残り記録時間計測手
段から出力される残り記録容量及び残り記録時間の情報
を視覚化して、符号化対象の画像に重ね合わせて表示す
る画像合成出力手段を備えたことを特徴とする。

【００２２】

【発明の実施の形態】以下、本発明の実施の形態につい
て詳細に説明する。 ［実施形態１］ 最初に、実施形態１について説明す
る。図１は、形態１の構成を示すブロック図である。同
図は、前記図８の符号化装置に対して、残り記録容量計
測回路４４，残り記録時間計測回路４６，パラメータ制
御回路４８，最小量子化スケールレジスタ５０及び量子
化スケール制御回路５２を追加したものである。

【００２３】同図において、前記マルチプレクサ２４の
発生符号量出力側は、レートコントロール回路２２及び
残り記録容量計測回路４４に接続されている。また、パ
ラメータ制御回路４８は最小量子化スケールレジスタ５
０に接続され、更に、この最小量子化スケールレジスタ
５０の出力側は、量子化スケール制限回路５２を介して
量子化回路１６に接続されている。前記レートコントロ
ール回路２２の量子化スケール出力側は、量子化スケー
ル制限回路５２に接続されている。記録媒体４２に接続
されている残り記録容量計測回路４４及び残り記録時間
計測回路４６は、パラメータ制御回路４８に接続されて
いる。また、残り記録容量計測回路４４は、レートコン
トロール回路２２にも接続されている。他の構成部分
は、前記図８と同様である。

【００２４】残り記録容量計測回路４４は、例えば図２
に示すような構成となっている。同図において、記録媒
体種類認識回路５６は、記録媒体４２と接続されている
と同時に、種類／記録容量対応テーブル５４に接続され
ている。記録媒体種類認識回路５６の出力側は、総記録
容量レジスタ５８に接続されている。総記録容量レジス
タ５８の出力側は、減算器６０に接続されている。符号
量積算回路６２の出力側も減算器６０に接続されてい
る。減算器６０の出力側は、パラメータ制御回路４８に
接続されている。

【００２５】以上各部のうち、記録媒体種類認識回路５
６においては、記録媒体４２のフォーマット形態などを
示すパラメータを記録媒体４２より読み取り、その媒体
の総記録容量を認識する。総記録容量を認識する方法
は、記録媒体４２の状況によって二つの場合に分けられ
る。すなわち、記録媒体自身に総記録容量が記録されて
いる場合には、読み取った値そのものを総記録容量とす
る。しかし、記録されていない場合には、パラメータと
総記録容量を１対１に対応させる種類／記録容量対応テ
ーブル５４にアクセスすることにより、総記録容量を検
出する。検出された総記録容量は、総記録容量レジスタ
５８を介して、減算器６０に出力される。符号量積算回
路６２は、マルチプレクサ２４から入力される発生符号
量を積算し、減算器６０に出力する。減算器６０では、
符号量積算回路６２から入力された発生符号量が総記録
容量から減算され、この減算結果は残り記録容量として
パラメータ制御回路４８に送られる。

【００２６】図３には、残り記録容量計測回路４４の他
の構成例が示されている。同図において、記録媒体位置
認識回路６６は、記録媒体４２に接続されていると同時
に、位置／残り記録容量対応テーブル６４に接続されて
いる。記録媒体位置認識回路６６の出力側は、残り記録
容量レジスタ６８に接続されている。残り記録容量レジ
スタ６８の出力側は、パラメータ制御回路４８に接続さ
れている。

【００２７】このように構成した残り記録容量計測回路
４６において、記録媒体４２に記録する位置と既に記録
された符号量との関係が一定の場合には、記録媒体４２
の記録位置もしくはセクタ番号を読み取るための位置認
識回路と、位置と、残り記録容量とを１対１に対応させ
る位置／残り記録容量対応テーブル６４を用いる。記録
媒体位置認識回路６６では、記録媒体位置を認識して、
前記位置／残り記録容量対応テーブル６４にアクセスす
ることにより、残り記録容量を検出する。検出された残
り記録容量は、残り記録容量レジスタ６８を介してパラ
メータ制御回路４８に送られる。

【００２８】図４には、残り記録時間計測回路４６の一
例が示されている。同図において、符号化済時間カウン
タ７０の出力側は、減算器７４に接続されている。総記
録時間レジスタ７２の出力側も減算器７４に接続されて
いる。減算器７４の出力側は、パラメータ制御回路４８
に接続されている。

【００２９】このように構成した残り記録時間計測回路
４６において、符号化済時間カウンタ７０は、マルチプ
レクサ２４からの符号化ビットストリームとともに出力
されるタイミング信号を読み取り、カウンタを更新する
ことによって、符号化済みフレーム数をカウントする。
総記録時間レジスタ７２は、記録開始時に記録したい総
時間を設定しておき、総フレーム数に変換して記録して
おく。減算器７４では、符号化済時間カウンタ７０から
入力された符号化済みフレーム数が総記録時間レジスタ
７２に記録しておいた総フレーム数から減算され、この
減算結果が残り記録時間としてパラメータ制御回路４８
に送られる。

【００３０】次に、以上のように構成された可変転送レ
ート符号化装置の作用について説明する。残り記録容量
計測回路４４では、記録媒体４２の総記録容量及びマル
チプレクサ２４から出力される発生符号量から、残り記
録容量が計測される。そして、計測された残り記録容量
が、パラメータ制御回路４８及びレートコントロール回
路２２に供給される。残り記録時間計測回路４６では、
記録媒体４２に符号化ビットストリームとともに記録さ
れるタイミング信号と総記録予定時間から残り記録時間
が計測され、計測された残り記録時間がパラメータ制御
回路４８に入力される。パラメータ制御回路４８では、
マルチプレクサ２４から供給される発生符号量ととも
に、記録媒体４２の残り記録容量と残り記録時間とに基
づいて、所定の間隔で符号化レート及び最小量子化スケ
ールの更新が行なわれる。

【００３１】これらのうち、更新された最小量子化スケ
ールは、最小量子化スケールレジスタ５０に供給されて
格納され、更には量子化スケール制御回路５２に供給さ
れる。一方、符号化レートは、残り記録容量計測回路４
４から供給された残り記録容量とともにレートコントロ
ール回路２２に供給される。レートコントロール回路２
２では、符号化レート及び残り記録容量から、次のフレ
ームの符号化の目標符号量が算出されるとともに、量子
化スケールが決定され、量子化スケール制御回路５２に
供給される。

【００３２】なお、本形態では、設定した符号化レート
に満たなかった場合にも、スタッフィングビットを詰め
る作業は行われない。また、レートコントロール回路２
２では、復号装置側におけるストリームバッファを仮想
的にシミュレートし、ストリームバッファのオーバーフ
ロー（符号量のアンダーフロー）に対しては制限を加え
ず、アンダーフロー（符号量のオーバーフロー）が起き
ないように目標符号量を制限する。

【００３３】次に、量子化スケール制御回路５２では、
レートコントロール回路２２から供給された量子化スケ
ールが最小量子化スケール以下の場合には、量子化回路
１６に設定する量子化スケールを最小量子化スケールに
制限する。量子化回路１６では、この最小量子化スケー
ルに基づいて、従来の符号化装置と同様に符号化処理が
行なわれる。

【００３４】以上のような形態において、最小量子化ス
ケールとは、画像の劣化が目立たない最大の量子化スケ
ールを意味する。すなわち、「これ以上量子化スケール
を上げると、画質劣化が現れるぎりぎりの量子化スケー
ル」であり、目視で確認できないレベルであるならば、
できるだけ量子化スケールを上げて符号化を行うことに
よって、符号量を削減しようとするものである。目視で
認識できる画質の劣化のレベルは、量子化スケールの値
とほぼ比例する関係にあり、また画像の複雑さにはそれ
ほど依存しないため、量子化スケール値で劣化レベルを
規定できる。最小量子化スケールの初期値は、一般的な
画像の劣化を目視で認識できないレベルに設定する。

【００３５】量子化スケールを最小量子化スケールより
減少しないように制限することにより、符号化の難易度
の低い画像に対しては、画像の劣化が目立たないレベル
においても、設定した符号化レート以下のビットストリ
ームしか出力されない。逆に、難易度の高い画像に対し
ては、通常の固定転送レート符号化と同様に設定された
符号化レート以上の符号量が出力されないように量子化
スケールがコントロールされ、符号化が行われる。

【００３６】このようにすることで、符号化レート以下
の発生符号量の場合には、スタッフィングビット分の符
号量が余ることになる。この余剰符号量を残り時間に割
り振ることにより、符号化レートの更新を行う。更新さ
れた符号化レートは、予め設定されていた符号化レート
と同じかもしくは高くなる。このため、以降に入力され
る画像データに対して、固定転送レートで符号化される
場合よりも多い符号量の割り当てが可能となり、記録時
間の経過とともに複雑な画像に対する耐性の向上を図る
ことが可能となる。

【００３７】また、画質劣化を許容できる量子化スケー
ルのレベルはピクチャタイプにより異なる。Ｉピクチャ
は、最も重要なフレームであるため、許容量子化スケー
ルが小さい。これに対し、Ｂピクチャは、他のどのフレ
ームからも予測基準とならないため、許容量子化スケー
ルが大きい。従って、最小量子化スケール値を各々のピ
クチャタイプに対してそれぞれ持つことにより、更に適
切な符号量割り当てを実現できる。

【００３８】次に、実際の符号化レートの更新アルゴリ
ズムについて説明する。固定転送レート符号化において
は、符号化レートへのコントロールが、ＧＯＰ（Group
ofPicture）と呼ばれる基準フレームを含む特定の時間
毎で符号化レートが一定になるように制御される。この
ため、本形態においても、ＧＯＰ単位で余剰符号量を割
り振り、符号化レートを更新することが望ましいが、フ
レーム単位や複数のＧＯＰ単位でも同様の制御が可能で
ある。

【００３９】パラメータ制御回路４８で更新される符号
化レートを求める計算は、一例としては、次の式で行わ
れる。 Coding_Rate＝(Remain_Bit−Margin_Bit)*Frame_Rate/Remain_Frames…（１） ここで、 Coding_Rate:更新された符号化レート、 Remain_Bit:残り記録容量、 Margin_Bit:符号量変動をカバーするための変動許容符
号量、 Frame_Rate:フレームレート(フレーム／秒）、 Remain_Frames:残り記録時間 である。

【００４０】これらのうち、Margin_Bitは、レートコン
トロールの仮想バッファにおける変動を吸収する目的で
設定される。しかし、本形態のアルゴリズムにおいて
は、符号化が進むほどに符号量に余裕が出る方向にコン
トロールされていく。このため、Margin_Bitを記録開始
時には負の値にしておき、符号化が進むほどに増加させ
ることで、符号化開始時に難易度の高い画像が入力され
たような場合にも良好な符号化処理が可能となる。
（１）式で計算されたCoding_Rateは、記録媒体４２の
持つ最大転送レートMax_Rateで制限を加えられ、両者の
最小値がレートコントロール回路２２に出力される。

【００４１】このように、Coding_RateがMax_Rateで制
限を加えられるほどに大きくなるような場合には、Codi
ng_Rateの更新とともに、最小量子化スケールを初期設
定より小さくすることによって符号量の発生を増加さ
せ、設定された総記録容量に近づける制御が行なわれ
る。

【００４２】最小量子化スケールは、一例として、次の
式で計算される。 Min_Qscale＝Maximum(A,B) ＝Maximum(Algo_Min_Qscale,Org_Min_Qscale −α*(Coding_Rate/Org_Coding_Rate−1） ……（２） ここで、Maximum(A,B)は、Ａ，Ｂのうちのいずれか大き
い方を表す。また、 Min_Qscale:更新された最小量子化スケール、 Algo_Min_Qscale:符号化アルゴリズム上で取りうる最小
の量子化スケール、 Org_Min_Qscale:最小量子化スケールの初期値、 Coding_Rate:更新された符号化レート、 Org_Coding_Rate:符号化レートの初期値、 α：任意に設定された整数 を表す。

【００４３】図５及び図６には、固定転送レートの場合
と、本形態で画像が符号化された場合における発生符号
量，符号化レート，及び量子化スケールの関係がそれぞ
れ示されている。図５の固定転送レートの場合、量子化
スケールは特に制限されないので、大きく変動する。符
号化レートと発生符号量はほぼ同じであり、あまり変化
しない。

【００４４】これに対し、本形態では、記録媒体４２
の記録容量と、設定する記録時間より導き出される平均
レートを基本的な符号化レートとし、画像の劣化がほ
とんど感じられない量子化スケールを最小量子化スケー
ルとし、設定された符号化レートをオーバーしないよ
うに、符号量のフィードバック制御が行われる。

【００４５】このため、最小量子化スケール以下にコン
トロールされる画像が入力された場合は、最小量子化ス
ケールを用いて符号化処理を行うために設定した符号量
に対して、少ない符号量となる。図６では、矢印で示す
部分で発生符号量が低下している。この少なくなった符
号量を、定期的に残りの処理画像に対して割り当てて行
くことにより、記録時間の経過とともに複雑な画像に対
する耐性を上昇させることが可能となる。

【００４６】また、前記Coding_RateがMax_Rateで制限
を加えられるほど大きい場合には、設定した記録時間を
増加させることも可能である。設定された記録時間より
短くなることはないため、余った記録時間を別の用途の
符号化処理に用いることが可能となる。更新された記録
時間データは、残り記録時間計測回路４６の総記録時間
レジスタ７２に格納され、以降のパラメータ制御に用い
られる。

【００４７】［実施形態２］ 次に、図７を参照しなが
ら本発明の実施形態２について説明する。この例は、本
発明をビデオカメラに応用したものである。図１に対
し、Ａ／Ｄ変換回路７６，出力メモリ７８，スーパーイ
ンポーズ回路８０，Ｄ／Ａ変換回路８２及び残り時間設
定回路８４を追加したものである。同図において、ビデ
オカメラからの信号をデジタル化するためのＡ／Ｄ変換
回路７６の信号出力側は、フレームメモリ１０に接続さ
れている。加算器４０の出力側は、予測メモリ３２と同
時に出力メモリ７８にも接続されている。出力メモリ７
８は、スーパーインポーズ回路８０に接続されている。
スーパーインポーズ回路８０は、Ｄ／Ａ変換回路８２を
介して、図示しないモニタに接続されている。更に、残
り記録容量計測回路４４及び残り記録時間計測回路４６
は、スーパーインポーズ回路８０及び残り時間設定回路
８４にそれぞれ接続されている。

【００４８】以上の各部のうち、出力メモリ７８には、
再生画像信号が格納される。スーパーインポーズ回路８
０では、計測回路４４，４６から供給された残り記録時
間や残り時間、あるいはそれらに割り与えられる符号化
平均レートを文字又はグラフに変換し、出力メモリ７８
に記録された画像データに重ね合わせる。スーパーイン
ポーズ回路８０から出力された画像データは、Ｄ／Ａ変
換回路８２でアナログ変換され、モニタに出力される。

【００４９】残り時間設定回路８４では、カメラの使用
者がダイヤルなどの入力手段によって入力した記録時間
変更情報を得る。そして、この記録時間変更情報と、残
り記録容量と残り記録時間より、符号化に破綻を来たさ
ない時間の変位可能量を求め、許容範囲内で残り時間を
増減して更新する。更新した残り時間データは、形態１
と同様に残り記録時間計測回路４６の総記録時間レジス
タ７２に格納され、以降のパラメータ制御に用いられ
る。

【００５０】使用者は、モニタに出力された画像にイン
ポーズされた残り容量・残り時間を確認することがで
き、符号化処理実行中に記録時間を増やす必要が生じた
場合には、その旨を指示することによって記録時間を増
加させることが可能となる。また、画質と残り時間のト
レードオフを自分で制御することも可能となるため、逆
に残り時間を削って符号量を割り当てることも可能とな
る。本形態によれば、使用者が符号化レートの算出や再
設定を行なうことなく、記録時間の延長や符号量割り当
てに対応できるという利点がある。

【００５１】なお、本発明は何ら上記形態に限定される
ものではない。例えば、前記実施形態では、動画像の応
用を例にとって述べたが、静止画を記録媒体にファイリ
ングするような用途の場合においても同様の手法が適用
可能であり、同様の効果を発揮できる。

【００５２】

【発明の効果】以上説明したように、本発明によれば、
次のような効果が得られる。 （１）通常の符号化処理と同等の回路規模で、リアルタ
イム符号化処理ができる。 （２）画像の劣化の目立たない量子化スケール以下の量
子化スケールを無用に使うこと無く余った符号量を以降
の画像データに割り当てることが出来簡単な構成で破綻
が少なく且つ効率的な１パスの可変転送レート符号化を
可能とする。

【図面の簡単な説明】

【図１】本発明の実施形態１の構成を示すブロック図で
ある。

【図２】残り記録容量計測回路の一例を示すブロック図
である。

【図３】残り記録容量計測回路の他の例を示すブロック
図である。

【図４】残り記録時間計測回路の一例を示す図ブロック
である。

【図５】固定転送レート符号化における発生符号量、符
号化レート、量子化スケールの推移を示すグラフであ
る。

【図６】本形態における発生符号量、符号化レート、量
子化スケールの推移を示すグラフである。

【図７】本発明の実施形態２の構成を示すブロック図で
ある。

【図８】従来の符号化装置の構成を示すブロック図であ
る。

【符号の説明】

１０…フレームメモリ １２…２次元ブロック変換回路 １４…直交変換回路 １６…量子化回路 １８…符号化回路 ２０…符号化テーブル ２２…レートコントロール回路 ２４…マルチプレクサ ２６…逆量子化回路 ２８…逆直交変換回路 ３０…デブロック回路 ３２…予測メモリ ３４…動きベクトル検出回路 ３６…動き補償予測回路 ３８…減算器 ４０…加算器 ４２…記録媒体 ４４…残り記録容量計測回路 ４６…残り記録時間計測回路 ４８…パラメータ制御回路 ５０…最小量子化スケールレジスタ ５２…量子化スケール制限回路 ５４…種類／記録容量対応テーブル ５６…記録媒体種類認識回路 ５８…総記録容量レジスタ ６０…減算器 ６２…符号量積算回路 ６４…位置／残り記録容量対応テーブル ６６…記録媒体位置認識回路 ６８…残り記録容量レジスタ ７０…符号化済時間カウンタ ７２…総記録時間レジスタ ７４…減算器 ７６…Ａ／Ｄ変換回路 ７８…出力メモリ ８０…スーパーインポーズ回路 ８２…Ｄ／Ａ変換回路 ８４…残り時間設定回路

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/91 - 5/956 H04N 7/24 - 7/68

Claims (9)

(57)【特許請求の範囲】
1. 【請求項１】 デジタル化された画像信号に直交変換処
   理、量子化処理、可変長及び固定長の符号化処理を行な
   って記録媒体に記録する可変転送レート符号化装置にお
   いて、 設定された符号化レートが上限となるように量子化スケ
   ールを制御する符号量制御手段；画像を量子化処理する
   際に用いる量子化スケールの最小値を規定する最小量子
   化パラメータを格納するパラメータ格納手段；前記最小
   量子化パラメータを用いて、前記符号量制御手段から出
   力された量子化スケールに制限を加える量子化制限手
   段；前記記録媒体の残り記録容量を計測する残り記録容
   量計測手段；前記記録媒体の残り記録時間を計測する残
   り記録時間計測手段；所定のフレーム間隔で前記符号化
   レート及び前記最小量子化パラメータを更新するパラメ
   ータ制御手段；を備えたことを特徴とする可変転送レー
   ト符号化装置。
2. 【請求項２】 前記最小量子化パラメータが、符号化方
   法の異なるフレーム構造の種類毎に用意されており、 前記パラメータ制御手段が、各最小量子化パラメータに
   対して異なる値を設定・更新する手段を備えたことを特
   徴とする請求項１記載の可変転送レート符号化装置。
3. 【請求項３】 前記残り記録時間計測手段は、 総記録予定時間を示すパラメータを格納する総記録時間
   レジスタ；符号化されたフレーム数をカウントする符号
   化済時間カウンタ；を備えたことを特徴とする請求項１
   又は２記載の可変転送レート符号化装置。
4. 【請求項４】 符号化処理実行中に外部から総記録時間
   の変更を可能とする総記録時間レジスタ設定手段を具備
   し、 この総記録時間レジスタ設定手段は、総記録時間の増加
   もしくは減少を指示する情報に基づいて、所定の制限内
   で前記総記録時間レジスタの内容を更新・記録する手段
   を備えたことを特徴とする請求項３記載の可変転送レー
   ト符号化装置。
5. 【請求項５】 前記パラメータ制御手段が、前記記録媒
   体の総容量，総記録時間，残り記録容量，残り記録時
   間，最大転送レートのうちのいくつかを引数とする関数
   により、前記符号化レート，最小量子化パラメータ，及
   び総記録時間レジスタを更新することを特徴とする請求
   項１〜４のいずれかに記載の可変転送レート符号化装
   置。
6. 【請求項６】 前記パラメータ制御手段が、符号量変動
   を吸収するための変動許容符号量を格納するためのレジ
   スタを具備し、 このレジスタは、残り記録容量もしくは残り記憶時間に
   より更新され、且つ前記符号化レートが、前記レジスタ
   の値を引数とする関数により更新されることを特徴とす
   る請求項１〜５のいずれかに記載の可変転送レート符号
   化装置。
7. 【請求項７】 前記残り記録容量計測手段は、 発生した符号量を積算する符号量積算手段；前記記録媒
   体の種類を読み取ることによって、前記記録媒体の総記
   録容量を検出する総記録容量検出手段；を備えたことを
   特徴とする請求項１〜６のいずれかに記載の可変転送レ
   ート符号化装置。
8. 【請求項８】 前記残り記録容量計測手段は、 前記記録媒体の記録済み領域を認識するための位置セン
   サもしくは記録媒体に記録された位置情報を用いた記録
   済みエリアの検出手段；これによって読み取られた情報
   を用いて、前記残り記録容量を算出する位置・容量変換
   手段；を備えたことを特徴とする請求項１〜６のいずれ
   かに記載の可変転送レート符号化装置。
9. 【請求項９】 前記残り記録容量計測手段及び残り記録
   時間計測手段から出力される残り記録容量及び残り記録
   時間の情報を視覚化して、符号化対象の画像に重ね合わ
   せて表示する画像合成出力手段を備えたことを特徴とす
   る請求項１〜８のいずれかに記載の可変転送レート符号
   化装置。