JP4605183B2 - 画像信号処理装置及び方法 - Google Patents

Description

本発明は、シーケンス内での解像度すなわち画素数の切り換えを効率良く行うことを規定した動画像圧縮についての画像信号処理装置及び方法に関する。

ＭＰＥＧ２（Moving Picture Experts Group Phase ２）は放送やＡＶ機器に用いられる符号化方式であり、画像／音声／データなどの情報圧縮技術として広く用いられている。

ＭＰＥＧ２では、入力される画像／音声／データなどのデータをビットレートに基づいて符号化を行う。すなわち、画像については、画像をｍ×ｎブロックに分割して、直交関数で変換して信号電力を集中させ、全体情報量を圧縮する。

ＭＰＥＧ２で符号化された画像データは、シーケンス層からブロック層までの階層構造をとる。

すなわち、ＭＰＥＧ２規格によるビットストリームは、一連の同じ属性をもつ画面グループのシーケンス層、ランダムアクセスの単位となる画面グループの最小単位のＧＯＰ（Group of Pictures ）層、１枚の画面に共通な属性のピクチャ層、１枚の画面を任意に分割した小画面に共通の情報のスライス層、スライス層をさらに分割した画素ブロック（マクロブロック）に共通の情報のマクロブロック層、及び変換係数そのもののブロック層から構成される。

ピクチャ層は、例えば、メイン・レベル・フォーマットに従ってＮＴＳＣ方式のテレビジョン信号にあっては７０４（Ｈ）×４８０（Ｖ）画像の画面をその対象とする。

各画面であるピクチャには、画面内符号化画像であるＩピクチャ、表示順序に順方向に予測符号化を行う順方向符号化画像であるＰピクチャ、及び表示順序に順方向及び逆方向に予測符号化を行うＢピクチャのピクチャタイプがあり、これら複数のピクチャをまとめてＧＯＰ（Group of Pictures）層を形成している。

従来技術として、特許文献１〜３が知られている。

特開平１０−６６０７４号公報 特開平９−２１４９７４号公報 特開平８−１４０１００号公報

従来のＭＰＥＧ２における動画処理においては、入力される画像を一度符号化して、その発生情報量を全シーケンスに渡って測定することによって入力画像系列の特徴を割り出し、そのときの特徴に合わせた符号化制御を行うことによって、圧縮伸長後の画質を向上させる手法が知られている。

しかし、この手法は、動画ディジタルカメラ等のように随時入力される画像を圧縮符号化しながら記録媒体上で書き換えを行うリアルタイム性が必須とされるシステムでは、意味をなさない。

すなわち、１回の実時間符号化処理で、少しでも圧縮符号化の対象となる動画像の系列の特徴に応じた符号化処理を達成できることが求められる。

本発明は、上述の実情に鑑みてなされるものであって、リアルタイム性が必要とされるシステムに対して１回の実時間符号化処理で動画像の系列の特徴に応じた符号化処理を達成できるような画像信号処理装置及び画像信号処理方法を提供することを目的とする。

上述の課題を解決するために、本発明に係る画像信号処理装置は、複数の画面からなる画像群ごとに画像信号を符号化する画像信号処理装置において、上記画面を複数の領域に分割し、上記領域ごとに符号化難易度の重み付けを行い、上記重み付けされた符号化難易度に基づいて、少なくとも上記画像群ごとに解像度を切り換えるように制御する制御手段を有し、上記制御手段は、画像信号の解像度の変化点を含む画像群と、該画像群に隣接する画像群との２個の画像群を、これら２個の画像群を構成する画面の和の画面数を一定数に維持しつつ、上記２個の画像群を構成する各画面の数を変化させると共に各画像群の解像度を切り換えるように制御するものである。

また、本発明に係る画像信号処理方法は、複数の画面からなる画像群ごとに画像信号を符号化する画像信号処理方法において、上記画面を複数の領域に分割し、上記領域ごとに符号化難易度の重み付けを行い、上記重み付けされた符号化難易度に基づいて、少なくとも上記画像群ごとに解像度を切り換えるように制御する制御工程を有し、上記制御工程では、画像信号の解像度の変化点を含む画像群と、該画像群に隣接する画像群との２個の画像群を、これら２個の画像群を構成する画面の和の画面数を一定数に維持しつつ、上記２個の画像群を構成する各画面の数を変化させると共に各画像群の解像度を切り換えるように制御するものである。

本発明によれば、ビデオカメラに入力される動画像を圧縮符号化して記録する時、１フレームをエリア分割するとともに、エリア毎に符号化難易度の重み付けを行い、重み付けを行ったエリアのＢＤ値を基に、入力画像の解像度を切り換えるようにする。または画面内の４隅のエリアでのＢＤ値や動きベクトル値が十分小さいことを加味してカメラ装置が固定状態にあることを予測し、無駄な解像度切り換えを抑制する。これにより、画面内の符号化難易度の局所的な偏りを補正することができ、解像度切り換えを効率的に行うことが可能となる。

以下、本発明に係る画像信号処理装置及び方法の実施の形態について、図面を参照して詳細に説明する。

図１は、本発明に係る画像信号処理装置及び方法を応用したデジタルビデオカメラ等の動画像圧縮記録装置の一実施の形態の構成例を示すブロック図である。

撮像装置１は、所定の被写体の画像を撮像し、対応する画像信号を出力するようになされている。Ａ／Ｄ変換器２は、撮像装置１からの画像信号をデジタルの画像データに変換し、圧縮装置３およびカメラ圧縮制御装置６に供給するようになされている。圧縮装置３は、Ａ／Ｄ変換器２からの画像データに対して符号化処理を施し、符号化されたビットストリームを書き込み装置４に供給するとともに、動きベクトル等の情報をカメラ圧縮制御装置６に供給するようになされている。

書き込み装置４は、圧縮装置３より供給される符号化された画像データのビットストリームを磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記録媒体５に書き込むようになされている。

カメラ圧縮制御装置６は、主に圧縮装置３とのエンコードパラメータのやり取りや、書き込み装置４への記録の開始・停止等の制御を担っている。

図１に示した動画像圧縮記録装置は、例えば蓄積メディアを使って記録再生するディジタルビデオカメラとしての応用はもちろん、静止画処理に対応したディジタルスチルカメラの機能にも利用可能である。

図２は、図１に示した動画像圧縮記録装置の圧縮装置３の詳細な構成例を示すブロック図である。

図２の圧縮記録装置は、入力画像に対して適当な解像度・画素数変換を施す前処理装置１１、フレーム間の動き量を求める動きベクトル検出装置１４、符号化を行ってビットストリームを生成する符号化装置１７に大きく分けられる。

前処理装置１１は、入力されるデジタル画像信号を図１のカメラ圧縮制御装置６から供給される圧縮制御信号に基づいて、符号化する対象画像に適した解像度変換すなわち周波数変換を行うフィルタ演算器１２と、画素数変換すなわち標本化数変換を行う間引き処理器１３とで構成される。

動きベクトル検出装置１４は、画像データを一時的に蓄えるフレームメモリ１５と、順方向および逆方向のフレーム間の動きベクトルを検出する動き検出器１６により構成され、前処理装置１１からの画像データから、動きベクトル、即ち、フレーム間の動き量を検出し、符号化装置１７に供給するようになされている。

符号化装置１７は、動きベクトル検出装置１４より供給される動きベクトルに基づいて、前処理装置１１からの画像データに対して符号化処理を施したビットストリームを、図１の書き込み装置４に供給するようになされている。即ち、符号化装置１７を構成する離散コサイン変換（discrete cosine transformation;DCT）器２０は、加算器１８を介して供給される画像データに対して離散コサイン変換処理を行い、量子化器２１に供給するようになされている。量子化器２１は、ＤＣＴ器２０からの画像データに対して量子化処理を施し、可変長符号化器２７および逆量子化器２２に供給するようになされている。

逆量子化器２２は、量子化器２１より供給される量子化された画像データに対して、逆量子化処理を施し、逆ＤＣＴ器２３に供給するようになされている。逆ＤＣＴ器２３は、逆量子化器２２からの逆量子化された画像データに対して逆ＤＣＴ変換を施した後、加算器２４に供給するようになされている。加算器２４は、逆ＤＣＴ器２３からの画像データと、後述する動き補償器２６からの動き補償された画像データとを加算し、フレームメモリ２５に供給するようになされている。

フレームメモリ２５は、加算器２４からの画像データを記憶し、動き補償器２６に供給する。動き補償器２６は、フレームメモリ２５からの画像データに対して動き補償を行い、加算器２４に供給するとともに、スイッチ１９を介して加算器１８にも供給するようになされている。

可変長符号化器２７は、量子化器２１からの画像データに対して、可変長符号化処理を行い、バッファ２８に供給するようになされている。バッファ２８は、可変長符号化器２７からの画像データを一旦記憶し、量子化制御器２９に供給するようになされている。量子化制御器２９は、バッファ２８より供給された可変長符号化された画像データをカメラ圧縮制御装置６に供給するようになされている。また、カメラ圧縮制御装置６からの圧縮制御信号に基づいて、量子化器２１に対して量子化のレートを制御するためのレート制御信号を供給するようになされている。

次に、圧縮装置３の動作について説明する。撮像装置１により撮像された被写体の画像に対応する画像信号は、Ａ／Ｄ変換器２においてデジタルの画像データに変換されて圧縮装置３に供給される。

圧縮装置３に供給された画像データは、圧縮装置３を構成する前処理装置１１に入力される。そして、前処理装置１１を構成するフィルタ演算器１２において、カメラ圧縮制御装置６からの圧縮制御信号に基づいて、入力された画像データに適した解像度・画素数変換、即ち周波数特性を変換する処理が施され、間引き処理器１３に供給される。間引き処理器１３に供給された画像データは、間引き処理器１３により圧縮制御信号に基づいて、入力された画像データに適した画素数変換、即ち標本化数を変換する処理が施され、符号化装置１７および動きベクトル検出装置１４に供給される。

前処理装置１１の間引き処理器１３より動きベクトル検出装置１４に供給された前処理装置１１からの画像データは、動きベクトル検出装置１４を構成するフレームメモリ１５に一旦記憶される。そして、動きベクトル検出器１６により、フレームメモリ１５に記憶された画像データが読み出され、順方向および逆方向のフレーム間の動きベクトルが検出される。動きベクトル検出装置１４において検出された動きベクトルは、符号化装置１７を構成する動き補償器２６に供給される。

また、前処理装置１１の間引き処理器１３より符号化装置１７に供給された画像データは、加算器１８において、後述するように、スイッチ１９を介して供給される動き補償器２６からの動き補償された画像データによって減算され、ＤＣＴ器２０に供給される。ＤＣＴ器２０に供給された画像データは、離散コサイン変換が施され、量子化器２１に供給される。量子化器２１に供給された画像データは、量子化された後、可変長符号化器２７および逆量子化器２２に供給される。

逆量子化器２２に供給された画像データは逆量子化処理が施され、次に、逆ＤＣＴ器２３において逆ＤＣＴ処理が施され、画像データが再構築される。この再構築された画像データは、加算器２４において、動き補償器２６より供給される既に再構築した参照フレームの画像データと加算され、フレームメモリ２５に供給され、記憶される。フレームメモリ２５に記憶された画像データは、動き補償器２６により読み出され、動きベクトル検出装置１４において検出された動きベクトルに基づいて動き補償が行われる。

動き補償された画像データは、再構築された画像データがフレーム間で符号化されるモードの場合においては、スイッチ１９が端子ａ側に接続が切り替えられ、加算器１８に供給される。そして、加算器１８において、前処理装置１１より供給される画像データから動き補償器２６よりスイッチ１９を介して供給される画像データが引き算される。また、フレーム内で符号化されるモードの場合においては、スイッチ１９は端子ｂ側に接続が切り替えられ、加算器１８には値０のデータが供給される。

可変長符号化器２７より出力されるビットストリームは、バッファ２８を介して図１の書き込み装置４に供給される。また、バッファ２８でのバッファ量や、図１のカメラ圧縮制御装置６からの量子化に関する指令に基づいて、量子化制御器２９において量子化器２１の量子化パラメータが制御されることにより、量子化器２１において行われる量子化のビットレートが制御される。

上記デジタルビデオカメラにおいて、入力画像信号は、例えば図３中のＡに示すように、水平方向に７０４画素、垂直方向に４８０画素からなるいわゆる４：２：０のフレームから構成されている。

この４：２：０のフレームにおいては、水平・垂直両方向に１６画素ずつ分割して得られる１６画素×１６画素の大きさのマクロブロックは、水平方向に４４個、垂直方向に３０個存在する。従って、１フレームは、１３２０個のマクロブロックで構成される。また、入力される動画像系列は、１秒間に３０フレームとする。

なお、画素数の異なる他のフレームの例としては、図３中のＢに示すような水平方向に５２８画素で垂直方向に４８０画素からなるフレーム、図３中のＣに示すように水平方向に３５２画素で垂直方向に４８０からなるいわゆる４：２：０のフレームの水平方向について半分の解像であるのでＨＨＲ（half horizontalresolution of 4:2:0）と呼ばれるフレーム、図３中のＤに示すように水平方向に３５２画素で垂直方向に２４０画素からなるフレームを挙げることができる。

これらのフレームは、後述するように、画像の変化に応じて切り換えられることがある。

次に、本発明の第１の実施の形態について説明する。この第１の実施の形態は、上述したビデオカメラ等の動画像圧縮記録装置に入力される動画像を圧縮符号化して記録する時、逐次なされる圧縮処理により得られる動きベクトルや動き補償した結果の残差であるブロックディファレンス（block deference;DF）値の大きさから、解像度の変化点を含む前後の２ＧＯＰが、常に３０枚のフレームになることを条件として、例えば１８＋１２、１５＋１５、１２＋１８、９＋２１のフレーム数で解像度切り換えを行うものである。

一般的に、固定１ＧＯＰ単位の切れ目に合わせて、都合良くシーンの急激な変化が訪れる訳ではない。次のＧＯＰの切れ目を待って処理するのでは、特に高解像度ＧＯＰ中の切替えまでの残りフレームでノイズが目立ってしまう。逆に、ＧＯＰ中の４枚のＰピクチャで検出する毎に、次のＧＯＰを挿入するという不定期な動作を繰り返すと、不用意なビットレートの上昇を招いてしまう。

そこで、検出したＰピクチャの位置によって、図４中のＡに示す１８＋１２、図４中のＢに示す１５＋１５、図４中のＣに示す１２＋１８、図４中のＤに示す９＋２１の４パターンのＧＯＰ構成の組み合わせを導入した。

図４中のＡ〜Ｄにおいては、３０枚のフレームから構成される２ＧＯＰの組合わせ示されている。図中の“Ｉ”は画面内符号化画像のＩピクチャを、“Ｐ”は表示順序で準方向に予測参照する準方向予測符号化画像であるＰピクチャを、“Ｐ”は表示順序で準方向及び逆方向に予測参照する双方向予測符号化画像であるＢピクチャをそれぞれ示している。また、これら“Ｉ”，“Ｐ”，“Ｂ”の添字はフレームの順序を示している。

基本となるＧＯＰ（Ｍ＝３、Ｎ＝１５）は、図５中のＢに示すように、１５枚のフレームから構成されるものである。ここで、ＭはＰピクチャの間隔、ＮはＧＯＰを構成するフレームの総数を示している。同じ解像度が続く場合には、このような１５枚のピクチャから構成されるＧＯＰが繰り返される。

ところで、図４中のＤに示すようにＰ_５で画像の急激な変化が検出されたとすると、９フレーム（Ｎ＝９）で４：２：０の高解像度から、次をＨＨＲ（Half Horizontal resolution of 4:2:0）という低い解像度に切り換えれば、Ｐ_５の変化に対して早く対応が付く。この場合には、３０枚のフレームは、９枚のフレームからなるＧＯＰ１及び２１枚のフレームからなるＧＯＰ２となる。

つまり、図５中のＢに示す固定ＧＯＰで処理すると、ＨＨＲという解像度を落としてブロックノイズを抑えるための操作が、１５フレームまで切り換えられないことになり、エンコーダは６フレーム分汚い画を出し続けてしまい、Ｐ_５の変化に対する対応が遅れることになる。

同様に、図４中のＡのＰ_１４にて画像の急激な変化が検出されると、１８フレーム（Ｎ＝１８）で４：２：０の高解像度のＧＯＰからＨＨＲの低解像度のＧＯＰに切り換える。この場合には、３０枚のフレームは、１８枚のフレームからなるＧＯＰ１及び１２枚のフレームからなるＧＯＰ２となる。

図４中のＣのＰ_８にて画像の急激な変化が検出されると、１２フレーム（Ｎ＝１２）で４：２：０の高解像度からＨＨＲの低解像度のＧＯＰに切り換える。この場合には、３０枚のフレームは、１２枚のフレームからなるＧＯＰ１及び１８枚のフレームからなるＧＯＰ２となる。

このように第１の実施の形態は、高解像度から低解像度へ切り換える時に限り、Ｎ＝９、１２、１８の高解像度ＧＯＰに、続けてそれぞれＮ＝２１、１８、１２の低解像度ＧＯＰを取ることとする。高解像度のＧＯＰとは例えば４：２：０のフレームに対応するものであり、低解像度のＧＯＰとは例えばＨＨＲのフレームに対応するものである。

これにより、解像度を切り換える際の直前と直後の２ＧＯＰでのフレーム数は、あくまで３０枚のフレームに固定して、Ｉピクチャの位置だけ入れ代わるだけの簡単な制御で済ませることができる。

また、フレーム毎のビット量を、ピクチャタイプ毎のフレーム数に比例させることにより、２ＧＯＰ間では、ほぼ固定ビットレートとして振る舞うようになり、特に固定ビットレートで記録再生するディスク状記録再生装置に対して実益がある。

ここで、Ｉピクチャ，Ｐピクチャ，Ｂピクチャがそれぞれ４００ｋｂｉｔ，２００ｋｂｉｔ，８０ｋｂｉｔであるとすると、上述のように３０フレームを２ＧＯＰとした場合には、２ＧＯＰ間でのビットレートは次のようになる。

図４のＡのように２ＧＯＰの構成が１８＋１２フレームの場合には、発生ビット数は２．３６Ｍｂｉｔ＋１．６４Ｍｂｉｔである。ビットレートは３．９３Ｍｂｐｓ＋４．１Ｍｂｐｓであり、平均ビットレートは４Ｍｂｐｓである。

図４のＢのように２ＧＯＰの構成が１５＋１５フレームの場合には、発生ビット数は２Ｍｂｉｔ＋２Ｍｂｉｔである。ビットレートは４Ｍｂｐｓ＋４Ｍｂｐｓであり、平均ビットレートは４Ｍｂｐｓである。

図４のＣのように２ＧＯＰの構成が１２＋１８フレームの場合には、発生ビット数は１．６４Ｍｂｉｔ＋２．３６Ｍｂｉｔである。ビットレートは４．１Ｍｂｐｓ＋３．９３Ｍｂｐｓであり、平均ビットレートは４Ｍｂｐｓである。

図４のＤのように２ＧＯＰの構成が９＋２１フレームの場合には、発生ビット数は１．２８Ｍｂｉｔ＋２．７２Ｍｂｉｔである。ビットレートは４．２７Ｍｂｐｓ＋３．８９Ｍｂｐｓであり、平均ビットレートは４Ｍｂｐｓである。

続いて、図５を参照して、解像度の切り換えについてさらに説明する。

図５中のＡは、記録開始（Rec Start ）から４：２：０の高解像度の１５枚のフレームからなるＧＯＰが３個続いた後のＰ_５にて画像の急激な変化が検出されたので、９フレーム（Ｎ＝９）にて４：２：０の高解像度のＧＯＰからＨＨＲの低解像度のＧＯＰに切り換えを行ったものである。上記Ｐ_５を含むＧＯＰは９枚のフレームから構成され、解像度を切り換えた後のＧＯＰは２１フレームから構成され、これら両ＧＯＰを構成するフレームの数は３０枚となっている。

これに比べて、図５中のＢは、ＧＯＰを構成するフレームの数を固定した固定ＧＯＰの例を示したものである。この場合には、Ｐ_５にて画像の急激な変化が検出されても、１５フレームにて構成されるＧＯＰ毎に解像度の切り換えを行っている。ここでは、図５中のＡに示したようにビットレートがほぼ固定の場合に比較すると、ＧＯＰのサイズが固定されているので、Ｐ_５における変化に対する追従が６フレーム遅れている。

図５中のＣには、３０枚のフレームから構成される２ＧＯＰについて完全に固定された例が示されている。例えば、ディスクに書き込むに際して、３０フレーム／完全固定で目標ビットレートを達成したい場合がある。

ここでは、画像の変化に対してもＧＯＰの構成は、常に３０フレーム毎の区切りを維持するように動かす必要がある。これに対して、図５中のＡにおいては、１５枚のフレームから構成されるＧＯＰの後に、９枚のフレームから構成されるＧＯＰが続くことがあり、完全固定ではない。

この図５中のＣにおいては、第３番目の３０フレームは、画像の急激な変化に対応して、高解像度の４：２：０の１２枚のフレームからなるＧＯＰ及び低解像度のＨＨＲの１８枚のフレームからなるＧＯＰから構成されている。

続いて、本実施の形態に係るカメラ圧縮制御装置の動作について説明する。

図６は解像度選択を示すフローチャート図である。なお、ステップＳは処理ステップを示す。

本実施の形態に係るＧＯＰ処理において、図６に示すように、Ｓ３１では、現在処理するフレームがＧＯＰの中に存在するピクチャがＰピクチャか否かを観測し、Ｙｅｓの場合はステップＳ３２でブロック・ディファレンス（block deference;BD）値の演算を行う。このＢＤ値については後に詳しく説明する。

ここで、ブロックディファレンスとは、Ｐピクチャの水平方向及び垂直方向の両方向に１６画素ずつ分割したマクロブロック毎に求められた動きベクトルを用いて、動き補償を行ったときのマクロブロックの差分の絶対値をいう。

ステップＳ３３では、一例として現ＧＯＰの水平画素数が高解像度の７０４画素か、低解像度の３５２画素かの判断をして、Ｙｅｓの場合はステップＳ３４に進み、Ｎｏの場合にはステップＳ３６に進む。

ステップＳ３４では、基準ＢＤ値Ｖ_ＢＤ１より小さいか判定を行い、Ｙｅｓの場合はステップＳ３５で次のＧＯＰに対する画素数の設定を同じ７０４画素（１／１変換）にし、Ｎｏの場合はステップＳ３７に進む。

ステップＳ３７においてはＰピクチャのＧＯＰ内の位置に応じて解像度のパターンを選択する。すなわち、該ＰピクチャのＧＯＰ内での位置に応じて、図３からいずれかのフレームを選択する。これに続くステップＳ３８において低い解像度３５２画素（１／２変換）に切り換える。

ステップＳ３３で現ＧＯＰの水平画素数が低いモード（Ｎｏ）の場合は、ステップＳ３６に進み、低い解像度用の基準値Ｖ_ＢＤ２より小さいか判定を行う。

ステップＳ３６の判定が小さい場合（Ｙｅｓ）はステップＳ３５で次のＧＯＰに対する画素数の設定を７０４画素（１／１変換）とし、大きい場合（Ｎｏ）はステップＳ３７に進む。

本実施の形態のアルゴリズムは以上のようになる。これにより、２ＧＯＰ＝３０フレーム内において、ほぼ固定ビットレートが保たれるようになる。

以上説明したように、第１の実施の形態は、デジタルビデオカメラ等の動画像圧縮記録装置に入力される動画像を圧縮符号化して記録する時、逐次なされる圧縮処理により得られる動きベクトルや動き補償した結果の残差であるＢＤ値などの大きさから、解像度の変化点を含む前後の２ＧＯＰが、常に３０フレームになるように制御して解像度を切り換えるものである。すなわち、２ＧＯＰ＝３０フレームとして目標ビットレートに制御する。

また、２ＧＯＰを３０フレームで構成するように維持し、１８＋１２、１５＋１５、１２＋１８、９＋２１のＧＯＰ構成の組み合わせで解像度切り換えを行うものである。

次に、本発明の第２の実施の形態について説明する。

第２の実施の形態は、上述したビデオカメラ等の動画像圧縮記録装置に入力される動画像を圧縮符号化して記録する時、１フレームをエリア分割するとともに、エリア毎に符号化難易度の重み付けを行い、重み付けを行ったエリアのＢＤ値を基に、入力画像の解像度を切り換えるものである。

エリア分割の第１の具体例として、図７に示すように、フレーム内の４隅のエリアＤ１，Ｄ２，Ｄ３，Ｄ４を監視する。そして、画面の４隅のエリアＤ１，Ｄ２，Ｄ３，Ｄ４におけるＢＤ値や動きベクトル値が十分小さいことを加味してカメラ装置が固定状態にあることを予測し、無駄な解像度切り換えを抑制する。

エリア分割の第２の具体例として、同じく図７に示すように、フレーム内の周辺部Ｂに比べて中央部Ａに符号化難易度の重み付けを行う。すなわち、フレーム全体でのＢＤ値から動きの激しさを捉えるだけでなく、フレーム内での分布を考慮することで、より効率の良い解像度制御を行なうことを考える。そして、往々にして起こる画面内の符号化難易度の局所的な偏りを補正する。

エリア分割の第３の具体例として、図８に示すように、フレーム内の上方Ｚ１に比べてフレームの下２／３であるＺ２，Ｚ３等の下方に符号化難易度の重み付けを行う。これは、カメラ装置を水平に構えた場合、画面上部と下部での動き量は、重力下においては、画面下部の方が激しいことを利用するものである。

例えば、ジェットスキーを撮影する場合において、画面上部は山とか海で易しい絵柄で、画面下部は難しい動きをする水面であるような場合に、画面下部でＢＤ値が大きくなり、結果的に汚い映像となってしまう。これを防止するため、画面下方の重み付けを高くすることにより、解像度を下げる方向に制御する。

すなわち、フレーム上部に比べて下部に大きなＢＤ値の分布があるような場合、画面左上から右下へのマクロブロック順次での量子化スケール更新では、画面下部の元来厳しい部分にノイズが目立ちやすくなる。このような絵柄の時には、フレーム全体ではＢＤ値がさほど大きくなくても、分布に大きな差がある時に限って解像度を下げるようにする。これにより、解像度切り換えを効率的に行うことが可能となる。

以上説明したように、第２の実施の形態は、ビデオカメラ等の動画像圧縮記録装置に入力される動画像を圧縮符号化して記録する時、１フレームをエリア分割するとともに、エリア毎に符号化難易度の重み付けを行い、重み付けを行ったエリアのＢＤ値を基に、入力画像の解像度を切り換えるものである。

ここで、画面の４隅のエリアでのＢＤ値や動きベクトル値が十分小さいことを加味してカメラ装置が固定状態にあることを予測し、無駄な解像度切り換えを抑制させる。

また、画面内の周辺部に比べて中央部に符号化難易度の重み付けを行ったり、画面内の上方に比べて下２／３等の下方に符号化難易度の重み付けを行うものである。

このように、上述の実施の形態は、動画シーケンスの中で、異なる解像度をＭＰＥＧ２のビデオシーケンスとしてどのように扱い、動画シーケンスをディスクメディアの記録再生装置に記録再生する手法に関するものである。

次に、以上の実施の形態をビデオカメラ等の動画像圧縮装置に実用化する上での好適な例を説明する。この例は、撮影時点に最も適した制御ができるようにエンコード前に事前予測をするものである。

この例でのデジタルビデオカメラ等の動画像圧縮装置は、図１に示した構成に比べると、カメラ圧縮装置６が、圧縮装置３からの情報に基づいてＡ／Ｄ変換器２により供給されるデータに応じた適切な符号化の為のパラメータ（例えば、後述するフィルタ係数や画素数）等を決定し、圧縮制御信号として圧縮装置に供給したり、後述する書き込み装置に対して記録の開始や停止等を時視する記録制御信号を供給する点がことなっている。しかし、他の部分については、上述の図１における動画像圧縮装置と同様である。

この例においては、デジタルビデオカメラ等の動画像圧縮装置の記録開始を指示するスイッチが操作されると同時に、圧縮符号化されたビットストリームの記録媒体５への記録は開始されない。即ち、図９に示すように、例えば、最初の１５フレーム分の入力画像に対して試験的な意味での圧縮符号化が行われ、発生した符号量（ビットストリームのビット量）等を用いて、その１５フレームの直後（例えば、０．５秒後）からの実際に撮影対象とする画像に対する圧縮符号化のパラメータが設定され、このパラメータに基づいて圧縮符号化され、生成されたビットストリームの記録媒体５への記録が開始される。

具体的には、試験的に行う圧縮符号化では、通常行われるフレームやマクロブロック単位の量子化制御を動的には実施せずに、例えば量子化係数を一定にしたままで圧縮符号化を行い、そのときに発生する符号量を計測する。その結果から見積もられる例えば動画像系列の圧縮における難易度といったような特徴を利用して、実撮影対象となる動画像系列を符号化するときの符号化パラメータの設定が行われる。

上記実施の形態においては、実時間処理による仮想的な２パスエンコードを実現することができる。即ち、入力された動画像系列の特徴抽出を、実際に撮影記録する直前の画像系列で行った結果から、直後の実際の撮影対象画像に対してより精緻な符号化割り当てを実現することができる。これにより、圧縮伸張による劣化を軽減することができる。

また、動画デジタルカメラに適用する場合においては、通常の映画やＴＶで見られるようなシーンチェンジと呼ばれる映像の切れ目が、１回の記録動作において撮影対象の動画像系列には存在しない。即ち、記録開始時ごとに、撮影する対象画像に見合った圧縮符号化のための諸設定を最適化することにより、シーン毎により効果的な圧縮符号化処理を行うことができる。逆に、動画カメラで撮影中の急激なパン、チルト、ズーム、手振れといったカメラ特有の操作によって、１つのショットの中で起きる入力画像の大きな変化に対しても、実時間処理で対応することができる。

図９に示したように、試験的に符号化する画像系列１５フレームに対しては、図１の記録媒体５には書き込まずに圧縮符号化のみを行う。そのとき、カメラ圧縮制御装置６からは、書き込み装置４に対して書き込み開始の指示は出ていない。また、圧縮装置３に対しては、量子化制御に関わる処理を学習モードとし、１フレームおよび１マクロブロックあたりの制御目標ビット量の設定を符号化装置１７に行わず、さらに１フレームを構成する画素数や、その周波数特性も入力画像のままで固定の設定を前処理装置１１に指示するようにし、ビットストリームを測定し、そのフレームが潜在的に持つ情報量を推し量る。

そして、実際に撮影が行われるときには、試験的に符号化した結果を図１のカメラ圧縮制御装置６で解析し、決定した指針に従って、前処理装置１１での解像度の設定および画素数変換の設定が行われる。その変換例としては、図１０に示すように、例えば、デジタルフィルタを用いてそのフィルタ係数を変えることにより、周波数成分の通過域特性を制御し、解像度変換を行ったり、図４に示したように、水平方向および垂直方向の少なくともいずれか一方の画素を間引くことにより、画素数変換を行うものがある。

図１０は、解像度変換用フィルタの周波数特性の例を示すグラフである。横軸が周波数、縦軸が利得を表しており、図１０中のＡは、全ての帯域を通す例を示している。また、図１０中のＢは、高域成分の多い画像から高域の周波数成分を取り除く例を示している。

このように前処理された結果の画像信号が、動きベクトル検出装置１４および符号化装置１７に供給される。

動きベクトル検出装置１４においては、各フレームの時間的な並びにおいて順方向および逆方向に対応するフレーム間の各マクロブロック毎の動き量が求められる。即ち、ブロックマッチング法を用いて最適な動きベクトル値を求める演算が行われ、その値が蓄えられる。

図１１中のＡに示すように、一般的に、動きベクトルを求めるときのフレーム間の動き量の予測方向によって、フレーム間符号化するフレームは、順方向のみの予測によるＰピクチャと、順方向および逆方向の両方向予測によるＢピクチャに分けられ、フレーム内符号化するフレームは、Ｉピクチャと呼ばれる。図１１中のＡおよび後述する図１１中のＢにおいては、ＩピクチャおよびＰピクチャの周期Ｍを３とし、画像群であるＧＯＰ（Group of Pictures）ピクチャの数Ｎを１５としている。

また、図１１中のＢに示すように、前処理装置１１で行われる画素数変換処理において、最低でも１ＧＯＰ毎に異なる画素数を有する画像系列への変換を行ったときには、ＧＯＰの切れ目と最初のＩピクチャの間にあるＢピクチャに関してのみ、順方向予測を用いず、逆方向予測のみのフレーム間予測符号化を行う構造として、一般的にｃｌｏｓｅｄ ＧＯＰと呼ばれる構造を取るようにする。

符号化装置１７においては、動きベクトル検出装置１４より供給された動きベクトル値を用いて動き補償が行われ、時間軸方向のデータの冗長度が削減され、かつＤＣＴによる空間軸方向からの周波数軸方向への変換により冗長度が削減されたデータに対して、周波数軸に対して重み付けを施した量子化が行われる。

その時、カメラ圧縮制御装置６からの指令も反映しながら、量子化制御器２９が動作する。それと同時に、動き補償のための逆量子化および逆変換の処理が行われる。そして、可変長符号化器２７において、最終的なビットストリームを得るための可変長符号化処理が行われる。

以上の圧縮符号化は、学習モード時に発生するビット量、動きベクトル、動き補償後のブロック内差分値を、カメラ圧縮制御装置６で計測し、解析することにより、撮影する対象画像系列の特徴を予測する過程を有する。また、事前の学習だけではなく、撮影中も常にカメラ圧縮制御装置６で画像系列の特徴を観測することにより、次のＧＯＰあるいはフレームを逐次予測していくようにすることができる。

続いて、本実施の形態の学習過程におけるカメラ圧縮制御装置６の動作について説明する。図９に示したように、記録を行わずに、学習のために試験的な圧縮符号化のみを行う最初の１５ピクチャに対して、各々のピクチャタイプを図１１に示したように、Ｉピクチャ、Ｐピクチャ、Ｂピクチャに割り振る。即ち、図１１での動き予測方向の分類によって定義された各Ｉピクチャ、Ｐピクチャ、Ｂピクチャがそれぞれ１，４，１０枚ずつ計１５枚で構成されるピクチャの集合をＧＯＰと呼び、その割り振りを学習区間の１５ピクチャに先頭からそのまま当てはめる。それ以降の実撮影対象の動画像系列に対しても、同様に、１５ピクチャ毎に１ＧＯＰに当てはめる。

一般的にこのようなＧＯＰ構造を有する動画像系列の圧縮符号化においては、各ピクチャタイプ毎に、１枚あたりの符号化によって発生するビット量に大きな差が生じる。例えば、フレーム内だけで符号化するＩピクチャに比べて、時間軸方向の画像の並びに対して順方向のみのフレームの動き予測を用いてフレーム間の冗長度を削減したＰピクチャや、順方向だけでなく逆方向のピクチャ間の動き予測も用いるＢピクチャで発生するビット量は明かに少ない。さらに、ＰピクチャとＢピクチャを比べると、その発生ビット量は、両方向からのフレーム間の動きに関する情報で冗長度を削減することができるＢピクチャの方が一般的に少ない。即ち、圧縮符号化するフレームに割り振られるピクチャタイプに応じた１ピクチャタイプあたりの符号量割り当てが重要となる。

また、入力される動画像系列の内容によっても、その各ピクチャタイプ毎の発生ビット量にばらつきが生じる。即ち、圧縮符号化する対象となる動画像系列の並びが非常に激しい動きを持つものであるときと、比較的動きが少なく静止画に近いものであるときとでは、大きな差が生じる。例えば、動きベクトルを算出するときに、その検索範囲に収まりきらないくらいに動き量が大きい、あるいは、完全に動きがフレームの外にはみ出してしまう程であったりし、最適な値を求めることができないような場合が想定される。あるいは、カメラ操作による速いパンニング映像やズームイン、ズームアウト映像などでも、同様に動きベクトルをうまく求めることができなくなる。

このような場合の傾向として、激しく動く映像であるようなとき、Ｉピクチャでの発生ビット量に対して、Ｐ，Ｂピクチャでの発生ビット量の比率が通常の場合に比べて大きくなることがある。これは、本来、Ｐ，Ｂピクチャの動き予測によるフレーム間差分値が小さくならないため、結果的にＰ，Ｂピクチャの符号量が増加する。

一方、画面にあまり動きのない静止画に近いような映像の場合には、Ｉピクチャでの発生ビット量に対して、Ｐ，Ｂピクチャでの発生ビット量が小さくなる。これは、動きがほとんどなければ動きベクトルの値のための符号量も小さくて済み、うまく検索できた動きベクトルによって、Ｐ，Ｂピクチャの動き予測によるフレーム間差分値が十分に小さくなり、結果的にＰ，Ｂピクチャの符号量も減少するからである。

即ち、圧縮符号化するフレームの動きや動き予測によるフレーム間差分値から、その画像系列が持つ動きに対する特徴を捉え、その特徴に応じたピクチャタイプ毎の符号量の割り当てが重要となる。

さらに、入力画像の動きの性質によって引き起こされるピクチャタイプ間のばらつきに拘らず、入力される動画像系列の絵柄によっても、発生するビット量には大きな差が生じる。即ち、入力動画像系列の動きの激しさとは別に、どのピクチャタイプであろうと、本質的に持っているフレーム内の画像データの圧縮符号化における複雑さの要因がある。言い換えれば、異なる入力動画像系列に対して、動きに関する特徴が似通ったものをお互いに持っていた場合でも、１フレームに含まれる潜在的な情報量が多いときと少ないときとでは、結果として発生するビット量には大きな隔たりが生じる。

このフレーム内の符号化の複雑さの特徴は、Ｉピクチャでの発生ビット量から読み取ることができる。あるいは、ＤＣＴ係数の符号量を左右するフレーム内に含まれる画像信号の高域成分を推し量る指標として、例えば隣接する画素の差分値の累積のような、フレーム内の変動量に対応するものや、その分布から見積もることも可能である。また、逆に、フレーム内の画像信号の平坦さからも見積もることができる。

即ち、圧縮符号化するフレームが本来持つ符号化の複雑さから、目標ビットレートに対して、どれだけ入力動画像系列が複雑であるかを判断することが重要となる。

以上のことから、入力される動画像系列の圧縮符号化に関する各種の特徴に応じた処理を実現することにより、より効率的な圧縮符号化が可能となり、圧縮伸張後の画質を向上させることができる。さらには、上記フレームおよびＧＯＰ単位の特徴に加え、マクロブロック単位の特徴もフレーム内の位置的情報を加えることにより、利用することができる。即ち、画面の中のマクロブロック毎の動きや符号量の情報を用いて、より効率のよい圧縮符号化が可能となる。

実際には、実時間処理での与えられた目標ビットレート内で、効率よく圧縮符号化を実行することが求められる。そのために、上記実施の形態においては、カメラを想定して実際に記録を開始する直前の入力動画像系列を利用して、目標ビットレートに対する圧縮のための各種パラメータを学習させ、直後の実際に記録が行われる実撮影動画像系列に対して、より適した圧縮符号化のためのレートコントロールを実現するようにしている。即ち、ビデオカメラでの入力画像系列は、撮影者が撮影開始の操作を行った瞬間と、その直後の入力画像系列にはそれほど差異がないと仮定することができるので、そのことを利用して入力動画像系列の特徴を割り出し、直後の実際に記録が行われる入力動画像系列の圧縮符号化に役立てるための処理を行う。この処理は、カメラ圧縮制御装置６によって行われる。

また、カメラ圧縮制御装置６は、撮影開始後も一連の画像系列には連続的な特徴があることを利用して、撮影開始時の場合と同様に、入力画像の特徴量を常に観測し、それによって得られる結果を例えばＧＯＰおよびフレーム単位で逐次圧縮符号化に反映させていく処理を行う。逆に、撮影中に速いパンニングやズームなどのカメラ操作、あるいは、撮影対象の大きな動きなどによって引き起こされる急激な入力画像系列の変化があった場合にも、その変化を各種の特徴量の観測結果を用いて検出し、それに対応する処理を行う。

続いて、図１２のフローチャートを参照して、カメラ圧縮制御装置６の動作の詳細について説明する。最初に、ステップＳ１において、カメラの撮影開始釦が押されたか否かが判定される。撮影開始釦が押された瞬間であった場合、書き込み装置４は動作させずに、その瞬間から１５フレーム（１ＧＯＰ）の期間だけ、学習モードに入る。学習モードでは、入力画像が有する情報量がどの程度のものなのかを定量的に測定するため、ステップＳ２において、通常のレートコントロールは行われず、量子化係数をある一定値に設定して圧縮符号化のみが実行される。

次に、ステップＳ３において、そのとき発生した総ビット量、ピクチャタイプ毎の発生ビット量、マクロブロック毎の発生ビット量、動きベクトル値、動き補償後のブロック差分値、フレーム内複雑度の各種特徴量が求められる。また、このとき、発生した総ビット量の２（＝３０フレーム／１５フレーム）倍の値が、１秒あたりの発生情報量、即ちレートコントロールを行わない場合のビットレートとされる。

次に、ステップＳ４において、実撮影記録期間であるか否かが判定される。いまの場合、実撮影記録期間ではないと判定され、ステップＳ７に進む。ステップＳ７においては、上記ビットレートと目標ビットレートとの大小関係から、即ち、入力動画像系列が本来必要とする大まかなビットレートと目標ビットレートとの差異の度合いや、動きによる直接的な発生情報量への反映として、動き補償後のブロック差分値の大きさや分布などから、記録撮影モード時の前処理装置１１での解像度、画素数の初期設定が行われる。

例えば、極端に発生情報量が大きくなる結果が得られた場合、また、画面全体として動きの激しさや動き補償のマッチング具合を示すブロック差分値が同様に大きくなるような場合、撮影対象である画像系列が目標ビットレートに比べて非常に符号化が難しいと判断され、解像度や画素数変換において情報量が少なくなるように、フィルタ特性を高域成分を減少させるように設定したり、水平方向の画素数を減らすような画素数変換の設定が行われる。

また、ピクチャタイプ毎の発生ビット量から、１ピクチャタイプあたりの割り振りビット量を目標ビットレートから逆算して、効率よく１ＧＯＰで消費できるような制御と初期設定が行われる。例えば、動きが少なく、ＰピクチャやＢピクチャでの発生ビット量が少ないような場合、Ｉピクチャに対する目標ビット量が他のピクチャタイプに比べて多く割り振られる。逆に、動きに伴う情報が大きくて、ＰピクチャやＢピクチャの発生ビット量が多い場合、Ｉピクチャに対する割り振りが減らされ、ＰピクチャやＢピクチャに多く割り振られる。また、マクロブロック毎の発生ビット量から画面内に存在するマクロブロックに必要なビット量が割り出され、Ｉピクチャ内で消費されるビット量の各マクロブロック単位での効率のよい割り振りビット量の設定が行われる。

例えば、マクロブロック毎の動きベクトルや動き補償後のブロック差分値から、画面の中の動きが激しい、あるいは、穏やかなマクロブロックが観測される。その結果から、１ピクチャに割り当てられた目標ビット量を画面内の位置レベルで効率よく割り振るための設定が行われる。

一方、ステップＳ４において、実撮影記録期間であると判定された場合、ステップＳ５に進み、レート制御を行いながら、入力画像列に対する符号化と記録媒体への記録が行われ。また、その間、ステップＳ３において得られた各種特徴量に基づいて、次のＧＯＰやフレーム、マクロブロック等に対して、上記設定が行われる。

次に、ステップＳ６において、カメラ撮影が停止したか否かが判定され、カメラ撮影が停止していないと判定された場合、ステップＳ７に戻り、ステップＳ３乃至Ｓ７の処理が繰り返し実行される。一方、カメラ撮影が停止されたと判定された場合、処理を終了する。

続いて、上記各種設定のうち、入力シーケンスに対するＧＯＰの単位での動的な解像度・画素数変換を伴った制御の特徴的な例について説明する。以降、上述したｃｌｏｓｅｄ ＧＯＰ構成を持つことを条件とする。

図１３は、解像度や画素数を変換する制御装置の構成例を示すブロック図である。この制御装置は、動き補償後のブロック差分値とフレーム内変動量を示すフレーム内複雑度といったマクロブロックやフレームの持つ特徴量を用いて、解像度や画素数の変換を行うようになされている。

前処理装置１１を構成するフィルタ演算器１２では、適宜フレーム単位で一般的に低域通過特性を有する間引き用のデジタルフィルタが用いられるが、この例では、そのタップ数やフィルタ係数を変更して、カットオフ周波数等のフィルタ特性を変化させることにより、図１０中のＡ、図１０中のＢに示すような２種類の周波数特性の解像度変換を選択する。そのとき、デジタルフィルタの一例して、図１４に示すような構造の９タップの１次元ＦＩＲ（finite impulse response）型デジタルフィルタを用いて処理を行う。図１４において、Ｃ０乃至Ｃ８は、デジタルフィルタのフィルタ係数を表し、遅延素子（Ｚ-1）４１乃至４８は、それぞれ１画素サイクル分の遅延素子を表している。これらの係数値と水平方向に並ぶ画像信号のレベル値が乗算器５１乃至５９においてそれぞれ乗算され、各乗算結果が加算器６０において加算され、フィルタ出力が得られる。

間引き処理器１３においては、適宜ＧＯＰ単位で水平方向の画素数の変換が行われる。この例では、例えば、図３中のＡに示すような７０４画素（１×１変換）と、図３中のＣに示すような３５２画素（１×２変換）の２種類の間引き処理による画素数変換が選択される。図１８を参照して後述するように、符号化して生成したビットストリームを復号化し、画像信号に戻す場合には、間引き処理で選択された画素数変換の逆変換として、水平方向に元の７０４画素に戻すことを前提とする。

以上の動作選択は、フィルタ演算器１２で実現する周波数特性を与えるためのフィルタ係数設定を行うフィルタ係数設定器３３（決定手段）と、間引き処理器１３で実現する画素数を決める画素数設定器３４（決定手段）の２つで実行される。即ち、フィルタ係数設定器３３と画素数設定器３４が図１のカメラ圧縮制御装置６の構成要素となっている。

ここで利用する特徴量の１つとしての上述したフレーム内複雑度に、入力画像の水平方向の画素の持つレベル差の１フレームに渡る絶対値和（以下では、フレーム・コンプレキシティ（ＦＣ）と呼ぶことにする）が用いられる。この例では、任意の画素の水平方向座標ｉ番目、垂直方向座標ｊ番目について、画素の持つレベル値をｄ（ｉ，ｊ）と表すと、フレーム・コンプレキシティ（ＦＣ）は次式（１）から求められる。

ここで、ｍは１ラインの画素数を表し、ｎは１フレームのライン数を表している。

即ち、入力された画像を画像の左上から右下に順次走査するように１次元系列化し、そのときの隣合う画素同士について上記式（１）に従った演算が行われ、ＦＣが算出される。この演算は、図１３の演算部３２において行われる。図１５は、演算部３２を構成する回路の例を示している。入力された画素値は、演算回路７２および遅延素子７１に供給され、演算回路７２においては、いま入力された画素値と、遅延素子７１を介して供給される１つ前の画素の画素値との間の差分の絶対値が求められる。そして、上記式（１）に示すように、全ての画素についてこの演算が行われ、順次加算されていく。

また、図１６に示すように、動き補償後のブロック差分値には、Ｐピクチャの水平方向および垂直方向の両方向に１６画素ずつ分割したマクロブロック毎に求められた動きベクトルを用いて、動き補償を行ったときのマクロブロック毎の差分値の絶対値和（以下では、ブロック・ディファレンス（ＢＤ）と呼ぶ）が用いられる。１フレーム中の水平方向にｋ番目、垂直方向にｌ番目のマクロブロックＭＢ（ｋ，ｌ）でのブロック・ディファレンスＢＤ（ｋ，ｌ）は次式（２）のように表される。

ここで、ｍｖｘ（ｋ，ｌ）はマクロブロックＭＢ（ｋ，ｌ）での水平方向の動きベクトル値を表し、ｍｖｙ（ｋ，ｌ）はマクロブロックＭＢ（ｋ，ｌ）での垂直方向の動きベクトル値を表している。また、時間軸方向で前に位置するフレーム、即ち、動きベクトルを探索するフレーム中の任意の画素の水平方向座標ｉ番目、垂直方向座標ｊ番目について、画素の持つレベル値をｄｔ（ｉ，ｊ）と表し、逆に動き補償し、予測符号化するフレーム中での同様のレベル値をｄｃ（ｉ，ｊ）と表す。

従って、フレーム全体でのブロック・ディファレンス値ＢＤは、ＢＤ（ｋ，ｌ）を１フレームに渡って足し込んだものとなり、次式（３）で表される。

ブロック・ディファレンス値ＢＤは、演算部３１により算出される。

以上のフレーム・コンプレキシティ値ＦＣとブロック・ディファレンス値ＢＤのフレームおよびＧＯＰ中での値を解析し、次のフレームおよびＧＯＰに対するフィルタ係数と画素数の設定を行う。このとき得られたＧＯＰ中のＰピクチャでのブロック・ディファレンス値ＢＤが基準となる値よりも大きいか小さいかを判定し、次のＧＯＰに対して行う画素数変換の画素数設定を多段階的に選択する。さらに、ＧＯＰ中の１フレーム毎のフレーム・コンプレキシティ値ＦＣについても、基準となる値よりも大きいかあるいは小さいかを判定し、次のフレームに対して行う解像度変換のフィルタ係数を多段階的に選択する。

この例の場合、ブロック・ディファレンス値ＢＤが、所定の基準値よりも大きければ、画素数をより少なくするように変換し、それと同時に、フレーム・コンプレキシティ値ＦＣが所定の基準値よりも大きければ、フィルタ特性をより高周波成分を減衰させるようにするフィルタ係数による解像度変換を施す。

続いて、図１７のフローチャートを参照して、解像度および画素数を選択する処理手順の例について説明する。最初に、ＧＯＰ単位の処理では、ステップＳ１１において、現在処理するフレームが、図１１中のＢに示したように、ｃｌｏｓｅｄ ＧＯＰ毎の時間的に１２フレーム目のＰピクチャであるか否かが判定される。１２フレーム目のＰピクチャであると判定された場合、ステップＳ１２に進み、演算部３１によりブロック・ディファレンス値ＢＤが演算される。

次に、ステップＳ１３において、現在のＧＯＰでの水平画素数が７０４画素であるかあるいは３５２画素であるかが判定される。現在のＧＯＰでの水平画素数が７０４画素であると判定された場合、ステップＳ１４に進み、ブロック・ディファレンス値ＢＤが、次のＧＯＰでの画素数変換を規定する基準ブロック・ディファレンス値Ｖ_ＢＤ１より小さいか否かが判定される。ブロック・ディファレンス値ＢＤが基準ブロック・ディファレンス値Ｖ_ＢＤ１より小さいと判定された場合、ステップＳ１６に進み、画素数設定器３４は、次のＧＯＰに対する画素数の設定を、現在のＧＯＰの場合と同様に７０４画素（１／１変換）にする。

ステップＳ１４において、ブロック・ディファレンス値ＢＤが基準ブロック・ディファレンス値Ｖ_ＢＤ１より大きいかまたは等しいと判定された場合、ステップＳ１７に進み、次のＧＯＰに対する画素数の設定を、現在のＧＯＰの場合の１／２の３５２画素（１／２変換）にする。

一方、ステップＳ１３において、現在のＧＯＰの水平方向の画素数が７０４画素ではない、即ち、３５２画素であると判定された場合、ステップＳ１５に進み、ブロック・ディファレンス値ＢＤが基準ブロック・ディファレンス値Ｖ_ＢＤ２より小さいか否かが判定される。ブロック・ディファレンス値ＢＤが基準ブロック・ディファレンス値Ｖ_ＢＤ２より小さいと判定された場合、ステップＳ１６に進み、次のＧＯＰの画素数を７０４画素（１／１変換）に設定する。ブロック・ディファレンス値ＢＤが基準ブロック・ディファレンス値Ｖ_ＢＤ２より大きいかまたは等しいと判定された場合、ステップＳ１７に進み、次のＧＯＰの画素数を現在のＧＯＰの場合と同様に３５２画素（１／２変換）に設定する。

ステップＳ１６またはステップＳ１７における処理が終了すると、ＧＯＰ単位での全ての処理を終了する。

また、フレーム単位での処理では、ステップＳ１８において、フレーム毎に上記フレーム・コンプレキシティ演算を行う。次に、ステップＳ１９において、ステップＳ１８において得られたフレーム・コンプレキシティ値ＦＣが、次のフレームでの解像度変換のためのフィルタ係数を規定する基準フレーム・コンプレキシティ値Ｖ_ＦＣより小さいか否かが判定される。フレーム・コンプレキシティ値ＦＣが、基準フレーム・コンプレキシティ値Ｖ_ＦＣより小さいと判定された場合、ステップＳ２０に進み、フィルタ係数設定器３３により、次のフレームに対してフィルタ係数Ｃ_ｆ１が選択される。一方、フレーム・コンプレキシティ値ＦＣが、基準フレーム・コンプレキシティ値Ｖ_ＦＣより大きいかまたは等しいと判定された場合、ステップＳ２１に進み、フィルタ係数Ｃ_ｆ２が選択される。

本実施の形態の場合、フィルタ特性Ｃ_ｆ２によって実現されるディジタルフィルタ（例えば、図１０中のＢ）は、フィルタ特性Ｃ_ｆ１によって実現されるディジタルフィルタ（例えば、図１０中のＡ）よりもカットオフ周波数が低い特性を有している。

ステップＳ２０またはステップＳ２１の処理が終了すると、フレーム単位での全ての処理を終了する。

以上の過程を経て、入力画像に対するＧＯＰ単位での画素数変換のための設定が、ブロック・ディファレンスを評価規範として、また、入力画像に対するフレーム単位での解像度変換のための設定が、フレーム・コンプレキシティを評価規範として、図１３に示したカメラ圧縮制御装置６により行われる。

図１８は、図１に示した動画像圧縮記録装置によって記録媒体５に記録された動画像を再生する再生装置の一実施の形態の構成例を示すブロック図である。読み取り装置８１は、記録媒体５に記録された圧縮された動画像データを読み出すようになされている。伸張装置８２は、読み取り装置８１によって読み出された動画像データに対して伸張処理を施すようになされている。Ｄ／Ａ変換器８３は、伸張装置８２により伸張された動画像データをアナログのビデオ信号に変換するようになされている。表示装置８４は、Ｄ／Ａ変換器８３より供給されるアナログのビデオ信号に対応する動画を表示するようになされている。

図１９は、図１８の伸張装置８２の詳細な構成例を示すブロック図である。伸張装置８２は、復号化装置９１と後処理装置９９より構成されている。復号化装置９１を構成するバッファ９２は、読み取り装置８１より供給された符号化データを一時的に記憶するようになされている。可変長復号化器９３は、バッファ９２より供給される符号化データに対して可変長復号化処理を施し、逆量子化器９４に供給するとともに、動きベクトルを動き補償器９７に供給するようになされている。

逆量子化器９４は、可変長復号化器９３より供給されたデータに対して、逆量子化処理を行うようになされている。逆ＤＣＴ器９５は、逆量子化器９４において逆量子化されたデータに対して、逆ＤＣＴ演算を施すようになされている。加算器９６は、逆ＤＣＴ器９５により逆ＤＣＴ処理が施されたデータと、動き補償器９７からの動き補償されたデータとを加算し、後処理装置９９の補間処理器１００に供給するとともに、動き補償器９７およびフレームメモリ９８にも供給するようになされている。

動き補償器９７は、可変長復号化器９３より供給される動きベクトルと、加算器９６を介して供給されるデータおよびフレームメモリ９８より供給されるデータに基づいて、動き補償したデータを生成し、出力するようになされている。

後処理装置９９は、図２の前処理装置１１の間引き処理器１３における画素数変換の結果に従って、元の画素数に変換するための補間処理を行うようになされている。フィルタ演算器１０１は、補間処理器１００からの補間処理が施されたデータに対して、所定のフィルタ演算を施した後、出力するようになされている。

続いて、その動作について説明する。まず、読み取り装置８１によって記録媒体５に記録されている画像データが読み出され、伸張装置８２に供給される。この画像データは、伸張装置８２を構成する復号化装置９１のバッファ９２に入力され、一旦記憶される。その後、可変長復号化器９３に供給され、可変長復号化処理が施される。可変長復号化処理が施されたデータは、逆量子化器９４に供給される。また、動きベクトルが動き補償器９７に供給される。

逆量子化器９４に供給されたデータは、逆量子化処理が施された後、逆ＤＣＴ処理器９５に供給され、逆ＤＣＴ処理が施される。逆ＤＣＴ処理が施されたデータは、加算器９６に供給される。加算器９６においては、後述するように、動き補償器９７において生成された動き補償のための信号と逆ＤＣＴ処理が施されたデータとが加算され、後処理装置９９に供給されるとともに、動き補償器９７およびフレームメモリ９８に供給される。

動き補償器９７においては、可変長復号化器９３より供給された動きベクトルと、加算器９６を介して供給されたデータ、およびフレームメモリ９８より供給されるデータに基づいて、動き補償したデータが生成され、加算器９６に供給される。

後処理装置９９に供給されたデータは、補間処理器１００により補間処理が施された後、フィルタ演算器１０１に供給され、所定のフィルタ演算処理が施される。これにより、元の画素数のフレームのデータに変換される。フィルタ演算器１０１においてフィルタ処理が施されたデータは、Ｄ／Ａ変換器８３に供給され、アナログのビデオ信号に変換された後、表示装置８４に供給され、対応する動画が表示される。

以上のように、本例においては、特に動画をディジタルビデオカメラ等で撮影するとき、撮影対象の動画像系列の特徴を、直前の入力画像から推測することにより、効率の良い圧縮符号化が可能となり、伸張後の画像の画質を向上させることができる。また、撮影開始時に学習することで初期設定を行うだけでなく、撮影中においても圧縮符号化を行いながら、入力画像の特徴量を検出し、逐次圧縮符号化のパラメータの設定を行うことにより、撮影中の入力画像の変化にも追従させることが可能となり、画質を向上させることができる。

なお、上記実施の形態の場合、カメラの撮影を開始させる操作が行われた時点を起点として、入力画像の特徴を学習させるようにしたが、撮影を開始させる操作ではなく、ポーズ状態のときから、常に学習を行わせるようにしてもよい。

また、本例、ブロック・ディファレンス演算による判定において、ＧＯＰ内の１２フレーム目のＰピクチャのみを参照するようにしたが、ＧＯＰ内の他の予測符号化フレーム（Ｐピクチャ、Ｂピクチャ）であってもよい。また、ＧＯＰ内でのこれらの予測符号化フレームのブロック・ディファレンスの値の変動を観測することにより、上記判定を行うようにすることも可能である。

上述したような本発明の実施の形態によれば、ビデオカメラに入力される動画像を圧縮符号化して記録する時、ＢＤ値の大きさから、解像度の変化点を含む前後の２ＧＯＰが、一定のフレーム数、例えば３０フレームになるように制御するようにしたため、２ＧＯＰ＝３０フレーム内において、ほぼ固定ビットレートが保たれるようになる。これにより、固定ビットレートで記録再生するディスク状記録再生装置への応用が容易となる。

また、本発明の実施の形態によれば、ビデオカメラに入力される動画像を圧縮符号化して記録する時、１フレームをエリア分割するとともに、エリア毎に符号化難易度の重み付けを行い、重み付けを行ったエリアのＢＤ値を基に、入力画像の解像度を切り換えるようにする。または画面内の４隅のエリアでのＢＤ値や動きベクトル値が十分小さいことを加味してカメラ装置が固定状態にあることを予測し、無駄な解像度切り換えを抑制する。これにより、画面内の符号化難易度の局所的な偏りを補正することができ、解像度切り換えを効率的に行うことが可能となる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、本実施の形態においては、１５フレームで１ＧＯＰを構成するようにしたが、その他の任意の数のフレームで１ＧＯＰを構成するようにしてもよい。

さらに、本実施の形態においては、本発明をデジタルビデオカメラに適用した場合について説明したが、静止画を記録再生するデジタルスチルカメラにも本発明を適用することができる。

動画像圧縮記録装置の構成を概略的に示すブロック図である。 圧縮装置の構成を示すブロック図である。 画素数変換の例を説明する図である。 ＧＯＰ構成の組合わせを説明する図である。 ＧＯＰ構成を説明する図である。 解像度選択の処理を示すフローチャートである。 フレームのエリアに応じた符号化難易度の重み付けを説明する図である。 フレームの上方及び下方への符号化難易度の重み付けを説明する図である。 ピクチャ処理のタイミングを説明する図である。 解像度変換用のフィルタの周波数特性の例を示す図である。 動き予測方向とＧＯＰの構造の例を示す図である。 カメラ圧縮制御装置の動作を説明するフローチャートである。 解像度・画素数変換の為の制御装置の構成例を示すブロック図である。 フィルタ演算器を構成するデジタルフィルタの構成例を示すブロック図である。 フレーム・コンプレキシティ演算の方法を説明する図である。 動きベクトルとフレームとの関係を示す図である。 解像度及び画素数を選択する処理手順を説明するフローチャートである。 再生装置の構成例を示すブロック図である。 伸長装置の構成例を示すブロック図である。

符号の説明

１ 撮像装置、２ Ａ／Ｄ変換器、３ 圧縮装置、４ 書き込み装置、５ 記録媒体、６ カメラ圧縮制御装置、１１ 前処理装置、１４ 動きベクトル検出装置、１７ 符号化装置

Claims (18)

1. 複数の画面からなる画像群ごとに画像信号を符号化する画像信号処理装置において、
   上記画面を複数の領域に分割し、上記領域ごとに符号化難易度の重み付けを行い、上記重み付けされた符号化難易度に基づいて、少なくとも上記画像群ごとに解像度を切り換えるように制御する制御手段を有し、
   上記制御手段は、画像信号の解像度の変化点を含む画像群と、該画像群に隣接する画像群との２個の画像群を、これら２個の画像群を構成する画面の和の画面数を一定数に維持しつつ、上記２個の画像群を構成する各画面の数を変化させると共に各画像群の解像度を切り換えるように制御する
   画像信号処理装置。
2. 上記制御手段は、上記画面の所定領域の符号化難易度及び／又は当該領域の撮影領域の移動量に基づいて当該画面の撮影領域の状態を予測して解像度の切り換えを制御する請求項１記載の画像信号処理装置。
3. 上記制御手段は、上記符号化難易度及び／又は上記移動量が小さいときには、当該画面の撮影領域が固定状態にあることを予測して、解像度の切り換えを抑制する請求項２記載の画像信号処理装置。
4. 上記所定領域は、上記画面の４隅である請求項２記載の画像信号処理装置。
5. 上記画面の周辺部に比べて上記画面の中央部の符号化難易度の重み付けを高くする請求項１記載の画像信号処理装置。
6. 上記画面の上方に比べて下方の符号化難易度の重み付けを高くする請求項１記載の画像信号処理装置。
7. 上記下方とは、画像内の下２／３である請求項６記載の画像信号処理装置。
8. 符号化された上記画像信号は、画面内符号化画像、表示順序に順方向に予測符号化を行う順方向予測符号化画像、並びに表示順序に順方向及び逆方向の双方向に予測符号化を行う双方向予測符号化画像から構成される画像群を単位としてなる請求項１記載の画像信号処理装置。
9. 符号化された上記画像信号は、ＭＰＥＧ２（Moving Pictures Experts Group Phase ２）規格によるものである請求項８記載の画像信号処理装置。
10. 複数の画面からなる画像群ごとに画像信号を符号化する画像信号処理方法において、
    上記画面を複数の領域に分割し、上記領域ごとに符号化難易度の重み付けを行い、上記重み付けされた符号化難易度に基づいて、少なくとも上記画像群ごとに解像度を切り換えるように制御する制御工程を有し、
    上記制御工程では、画像信号の解像度の変化点を含む画像群と、該画像群に隣接する画像群との２個の画像群を、これら２個の画像群を構成する画面の和の画面数を一定数に維持しつつ、上記２個の画像群を構成する各画面の数を変化させると共に各画像群の解像度を切り換えるように制御する
    画像信号処理方法。
11. 上記画面の所定領域の符号化難易度及び／又は当該領域の撮影領域の移動量に基づいて当該画面の撮影領域の状態を予測して解像度の切り換えを制御する請求項１０記載の画像信号処理方法。
12. 上記符号化難易度及び／又は上記移動量が小さいときには、当該画面の撮影領域が固定状態にあることを予測して、解像度の切り換えを抑制する請求項１１記載の画像信号処理方法。
13. 上記所定領域は、上記画面の４隅である請求項１１記載の画像信号処理方法。
14. 上記画面の周辺部に比べて上記画面の中央部の符号化難易度の重み付けを高くする請求項１０記載の画像信号処理方法。
15. 上記画面の上方に比べて下方の符号化難易度の重み付けを高くする請求項１０記載の画像信号処理方法。
16. 上記下方とは、画像内の下２／３である請求項１５記載の画像信号処理方法。
17. 符号化された上記画像信号は、画面内符号化画像、表示順序に順方向に予測符号化を行う順方向予測符号化画像、並びに表示順序に順方向及び逆方向の双方向に予測符号化を行う双方向予測符号化画像から構成される画像群を単位としてなる請求項１０記載の画像信号処理方法。
18. 符号化された上記画像信号は、ＭＰＥＧ２（Moving Pictures Experts Group Phase ２）規格によるものである請求項１７記載の画像信号処理方法。

Images