JP4885698B2 - 動きベクトル算出装置、方法およびプログラム、動画像圧縮記録装置ならびに撮像装置 - Google Patents

Description

本発明は、動画圧縮における動きベクトルの算出装置、方法およびプログラム、動画像圧縮記録装置ならびに撮像装置に関し、特に、階層型動きベクトル算出方法を用いた動きベクトル算出装置、方法およびプログラム、動画像圧縮記録装置ならびに撮像装置に関する。

一般的に、動画像は近接するフレーム同士では画像としての類似性が高く、両者の差分はごく小さい。そこで動画像の圧縮においては、近接フレームの差分をとり、その差分情報のみを保存することでファイルサイズを軽減している。

図１２においては、近接フレームで異なるのは飛行機の位置のみで背景の差は皆無である。従って、「飛行機が右下に移動した」という情報のみを保存する。

このように、動体が移動する方向と大きさを「動きベクトル」といい、それを用いて次のフレームを復元することを「動き補償」という。

図１３を用いて、基本的な動きベクトル算出方法（ブロックマッチング方式）を説明する。

ここでは、ブロックサイズが１６画素×１６画素、１画素精度で動きベクトルを求める場合を例にする。

図１３のように、参照フレーム（ｎフレーム目）内に参照ブロック１６１（基準座標（１６ｉ、１６ｊ））が、被符号化フレーム（ｎ＋１フレーム目）内に、参照ブロック１６１から（ｄｘ、ｄｙ）だけずれた位置にある対象ブロック１６２（基準座標（１６ｉ＋ｄｘ、１６ｊ＋ｄｙ））が設定されている。

ｉ、ｊはそれぞれブロック水平位置、垂直位置を示し、フレームサイズを７２０画素×４８０画素とすると、ｉ＝０〜４４、ｊ＝０〜２９の値をとる。

またｄｘ、ｄｙは、それぞれ動きベクトルの水平成分、垂直成分であり、ここではｄｘ＝−１５〜１５、ｄｙ＝−１５〜１５の範囲とし、これは図１３（ｂ）に示す単位ブロックサーチレンジ１６３に該当する。

ここで、動きベクトルを求めるために、参照ブロック内の点の輝度値と、対応する対象ブロック内の点の輝度値の差分をとる。

即ち、参照ブロック内の点（１６ｉ＋ｘ、１６ｊ＋ｙ）と対応する対象ブロック内の点（１６ｉ＋ｘ＋ｄｘ、１６ｊ＋ｙ＋ｄｙ）の輝度値の差分を（０、０）≦（ｘ、ｙ）≦（１５、１５）の座標全てに対して求め、その絶対値誤差ＡＥを求める。

ｎフレーム目の座標（１６ｉ＋ｘ、１６ｊ＋ｙ）の点における輝度を
Ｐ_ｎ（１６ｉ＋ｘ、１６ｊ＋ｙ）とすると、ＡＥは次式で表される。

このＡＥに最小値を与える（ｄｘ，ｄｙ）が参照ブロック１６１の動きベクトルとなる。

このように動きベクトルが求められるが、この処理を全てのブロックで行うと、膨大な処理負荷がかかる。

例えば、フレームサイズ７２０画素×４８０画素の動画においては、ブロック数は水平４５個、垂直３０個、計１３５０個となる。

そこで、一般的には、階層型動きベクトル算出という方法を用いて動きベクトルを算出する。

図１４を用いて、階層型動きベクトル算出について説明する。

階層型動きベクトル算出方法においては、まずブロック内の画素数をサブサンプリングによって縦、横とも１／２に縮小した画像を作成し、さらに縦、横とも１／２に縮小した画像を作成する。これは元画像に対して縦、横とも１／４に縮小した画像となる。

まず初めに縦横を１／４に縮小した画像で、即ち４画素単位で、前述したブロックマッチングを行い、動きベクトルの算出を行う。

元画像に対して縦、横を１／４に縮小した画像であるので、ブロックマッチングをおこなうブロックサイズを８×８とすると、３２画素×３２画素のブロックサイズに分割して行っていることになる。

このようにサブサンプリングされた画像で求めた、４画素精度での動きベクトル１８１は、精度も落ちている。

したがって、精度を上げて再探索を行う必要がある。

そこで次に、縦、横とも１／２に縮小した画像、即ち２画素単位に精度を上げ、４画素単位で得た動きベクトルの最小値の位置に原点を移動し、近傍８画素に対してのみブロックマッチングを行い、２画素精度での動きベクトル１８２を求める。

最後に、元画像、即ち１画素単位で同様の方法を用いて１画素精度での動きベクトル１８３を求め、これら３つの動きベクトルの和を最終的な動きベクトル１８４とする。

これらは、「１段階精度の低い動きベクトルの近傍に最適な動きベクトルが存在する」という仮定に基づいた方法である。

この方法の場合、まず４画素単位での動きベクトル探索の演算量が、縦横とも１／４の縮小画像であるので、基本型と比べて１／１６の負荷で済む。また２画素単位以降の探索では、算出済み動きベクトルの近傍８画素のみを探索の対象としており、８×８のブロックサイズ全体で行った場合での６４画素対象と比べて１／８の処理負荷となる。

以上により、図１４で示した３段階階層の例では、１／１６×（１＋１／８＋１／８）となり、計５／６４の処理負荷で済む。

特許文献１には、動きベクトル誤算出の可能性を回避するようにした階層型動きベクトル算出方法が記載されており、特許文献２には、メモリアクセス量の増大を抑えた階層型動きベクトル算出方法及びその装置が記載されている。
特開平７−１５４８０１号公報 特開平８−２６５７７３号公報

しかしながら、従来の階層型動きベクトル算出方法では、全画面で一様な精度で動きベクトル算出を行っており、絵柄が単調もしくは動きの小さな部分においても不必要に高い精度で動き補償を行う可能性があり、無駄に処理負荷が大きくなることがあった。

特にＨ．２６４のように高圧縮率と高画質を両立させた規格では、１／４画素単位までの精度が要求されており上述の階層数が多くなるため、効率よく動き補償を行う必要がある。

そこで、高精度を要する部分とそうでない部分とを区別し、演算量を必要最低限にする事が必要になってくる。

本発明はこのような事情を鑑みて、低処理負荷で、なおかつ高画質な圧縮動画を得る為の装置およびその方法を提供する。

前記目的を達成するために本発明に係る動きベクトル算出装置は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、前記被符号化フレームをある単位ごとに複数の領域に分割するフレーム分割手段と、分割された領域ごとに、領域内の各画素の高周波成分の強度を算出する算出手段と、前記算出手段により算出された領域ごとの高周波成分の強度が予め設定された閾値よりも大きいか否かを判定する判定手段であって、前記領域の大きさが小さいほど大きい値の閾値が設定される判定手段と、前記判定手段により前記高周波成分の強度が閾値よりも大きいと判定された領域をさらに複数の領域に分割する領域分割手段と、前記参照フレームと前記被符号化フレームとの間の動きベクトルを所定の探索精度で算出し、算出された動きベクトルの位置が前記領域分割手段によりさらに複数の領域に分割された領域である場合には、当該求めた位置を原点として該原点の近傍において動きベクトルの探索精度を上げてさらに動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとする動きベクトル算出手段とを備えたことを特徴とする。
このように、分割した領域内における高周波成分の強度を求めて、求めた高周波成分の強度からさらに分割して探索領域内の探索精度を上げるかどうかを領域の大きさに応じて判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。
また前記目的を達成する動きベクトル算出装置は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出手段と、前記算出手段で得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における高周波成分の強度を求めて、求めた高周波成分の強度からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。

前記判定手段は、前記算出手段で得た高周波成分の強度が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた高周波成分の強度が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。

また、高周波成分の強度が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成する動画像圧縮記録装置は、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた動画像圧縮記録装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出手段と、前記算出手段で得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における高周波成分の強度を求めて、求めた高周波成分の強度からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。

前記判定手段は、前記算出手段で得た高周波成分の強度が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた高周波成分の強度が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。

また、高周波成分の強度が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成する撮像装置は、被写体像を時間軸に沿った動画像として撮像する撮像手段と、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、前記撮像手段により撮像された動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた撮像装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出手段と、前記算出手段で得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における高周波成分の強度を求めて、求めた高周波成分の強度からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。

前記判定手段は、前記算出手段で得た高周波成分の強度が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた高周波成分の強度が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。

また、高周波成分の強度が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成する動きベクトル算出方法は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出ステップと、前記算出ステップで得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における高周波成分の強度を求めて、求めた高周波成分の強度からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法を提供することができる。

前記目的を達成する動きベクトル算出方法をコンピュータに実行させるプログラムは、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法をコンピュータに実行させるプログラムにおいて、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出ステップと、前記算出ステップで得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における高周波成分の強度を求めて、求めた高周波成分の強度からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法をコンピュータに実行させるプログラムを提供することができる。

前記目的を達成する動きベクトル算出装置は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出手段と、前記算出手段で得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における色の数を求めて、求めた色数からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。

前記判定手段は、前記算出手段で得た色の数が所定値より少ない場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた色数が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。

また、色数が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成する動画像圧縮記録装置は、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた動画像圧縮記録装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出手段と、前記算出手段で得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における色の数を求めて、求めた色数からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。

前記判定手段は、前記算出手段で得た色の数が所定値より少ない場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた色数が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。

また、色数が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成する撮像装置は、被写体像を時間軸に沿った動画像として撮像する撮像手段と、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、前記撮像手段により撮像された動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた撮像装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出手段と、前記算出手段で得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における色の数を求めて、求めた色数からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。

前記判定手段は、前記算出手段で得た色の数が所定値より少ない場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた色数が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。

また、色数が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成する動きベクトル算出方法は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出ステップと、前記算出ステップで得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における色の数を求めて、求めた色数からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法を提供することができる。

前記目的を達成する動きベクトル算出方法をコンピュータに実行させるプログラムは、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法をコンピュータに実行させるプログラムにおいて、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出ステップと、前記算出ステップで得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における色の数を求めて、求めた色数からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法をコンピュータに実行させるプログラムを提供することができる。

前記目的を達成する動きベクトル算出装置は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出手段と、前記算出手段で得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における色分布を求めて、求めた色分布からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。

前記判定手段は、前記算出手段で得た色分布が所定値より狭い場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた色分布が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。

また、色分布が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成する動画像圧縮記録装置は、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた動画像圧縮記録装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出手段と、前記算出手段で得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における色分布を求めて、求めた色分布からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。

前記判定手段は、前記算出手段で得た色分布が所定値より狭い場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた色分布が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。

また、色分布が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成する撮像装置は、被写体像を時間軸に沿った動画像として撮像する撮像手段と、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、前記撮像手段により撮像された動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた撮像装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出手段と、前記算出手段で得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における色分布を求めて、求めた色分布からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。

前記判定手段は、前記算出手段で得た色分布が所定値より狭い場合に、さらに複数の領域に分割しない判定をすることが好ましい。

このように、求めた色分布が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。

また、色分布が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

前記目的を達成する動きベクトル算出方法は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出ステップと、前記算出ステップで得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における色分布を求めて、求めた色分布からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法を提供することができる。

前記目的を達成する動きベクトル算出方法をコンピュータに実行させるプログラムは、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法をコンピュータに実行させるプログラムにおいて、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出ステップと、前記算出ステップで得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。

このように、分割した領域内における色分布を求めて、求めた色分布からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法をコンピュータに実行させるプログラムを提供することができる。

本発明によれば、階層型動きベクトル算出方法において、絵柄が緻密であるかどうかを判定するために、分割した領域内における高周波成分の強度、または色の数、または色分布を求めて、求めた結果からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、緻密でない絵柄では２段階目以降のベクトル算出を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。

また、求めた結果が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。

以下、添付図面に従って本発明に係る動きベクトル算出装置の好ましい実施の形態について説明する。

＜第１の実施の形態＞
図１は本発明に係る動きベクトル算出装置の第１の実施の形態のブロック図である。

この動きベクトル算出装置は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、カメラ１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。

ＣＰＵ１２は、所定のプログラムに従ってカメラ１０を制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算など、各種演算を実施する演算手段として機能する。

バス１４を介してＣＰＵ１２と接続されたＲＯＭ１６には、ＣＰＵ１２が実行するプログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ１７には、ＣＣＤ画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。

また、メモリ（ＳＤＲＡＭ）１８は、プログラムの展開領域及びＣＰＵ１２の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。ＶＲＡＭ２０は画像データ専用の一時記憶メモリであり、Ａ領域２０ＡとＢ領域２０Ｂが含まれている。メモリ１８とＶＲＡＭ２０は共用することが可能である。

切り替えスイッチ２２及びメニュー／ＯＫキー２６により動画撮影モードが設定され撮影ボタン２４が操作されると、動画の撮影が開始される。

ＡＦ検出回路６２及びＡＥ／ＡＷＢ検出回路６４の検出結果から、ＣＰＵ１２に制御されるレンズ駆動部４６及び絞り駆動部４８が、レンズユニット４０のフォーカスレンズ４２及び絞り４４を適正に駆動し、焦点と絞りが調整される。

レンズユニット４０を介してＣＣＤ３８に結像された被写体像は、各フォトダイオードによって入射光量に応じた量のＲ、Ｇ、Ｂの信号電荷に変換される。

各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従いタイミングジェネレータ５０から与えられる駆動パルスに基づいてＣＤＳ／ＡＭＰ５２回路に送られ、ここで相関二重サンプリング処理された後増幅され、Ａ／Ｄ変換器５４に加えられる。

Ａ／Ｄ変換器５４によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ信号は、画像入力コントローラ５６を介してメモリ１８に記憶される。

画像信号処理回路５８は、メモリ１８に記憶されたＲ，Ｇ，Ｂ信号をＣＰＵ１２の指令に従って処理し、輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ 信号）に変換するとともに、ガンマ補正等の所定の処理も行い、再びメモリ１８に格納する。

画像信号処理回路５８で処理された画像データはＶＲＡＭ２０に格納される。

ビデオエンコーダ６０は、ＶＲＡＭ２０からバス１４を介して入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置２８に出力する。

撮影者は、画像表示装置２８に表示される映像（スルームービー画）によって撮影画角を確認できる。

またメモリ１８に格納されたＹ／Ｃ信号は、圧縮伸張回路６６によって所定のフォーマットに従って圧縮された後、メディアコントローラ３４を介してメディアソケット３０に挿入された記録メディア３２に記録される。例えば、ＭＰＥＧ形式で記録される。

このデータ圧縮では、動き補償予測符号化後に離散コサイン変換（ＤＣＴ）がおこなわれ、その後、ＤＣＴ係数の量子化、符号化がおこなわれる。

次に、本発明の第１の実施の形態に係る、階層型動きベクトル算出方法における階層の決定方法について、図２〜図６を用いて説明する。

本発明の第１の実施の形態に係るカメラ１０は、動き補償予測を階層型動きベクトル算出方法を用いて行うが、高周波成分の強度が大きい部分は絵柄が緻密であり、動き補償予測を行うにあたって高精度を要する部分であると判断し、深い階層まで動きベクトルの算出を行う。

逆に、高周波成分の強度が小さい部分は、動き補償予測を行うにあたって精度を要しない部分であると判断し、深い階層まで動きベクトルの算出をおこなわない。

図２は被符号化フレームのブロック分割を示した図であり、図３〜図５はブロック分割の流れを示すフローチャートである。

図２（ａ）に示すように、まず被符号化フレームを３２画素×３２画素のブロックに分割する（ステップＳ３１）。本実施の形態では、６４０画素×４８０画素の動画であるので、横ｉ＝２０、縦ｊ＝１５、計２０×１５＝３００のブロックに分割される。

次に、左上（ｉ＝１、ｊ＝１）のブロックから、ブロック内の高周波成分の強度の算出をおこなうが、ここではＣＰＵにてバンドパスフィルタ処理をソフトウェアで行い、所定の空間周波数領域の応答積算値Σ（ｉ＿４、ｊ＿４）を算出する方法を用いる（ステップＳ３２）。なお、所定の閾値を設けたハイパスフィルタ処理を行って、応答積算値を求めてもよい。

ＣＰＵ１２は、算出されたブロック内のＢＰＦ応答積算値Σ（ｉ＿４、ｊ＿４）と、あらかじめ設定されているブロック分割閾値ａ（４）の比較を行う。（ステップＳ３３）
ＢＰＦ応答積算値Σ（ｉ＿４、ｊ＿４）がａ（４）より小さい場合、即ちブロック内の高周波成分の強度が小さいと判断された場合は、（ｉ＿４、ｊ＿４）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ３５）、次のブロックの処理へ移行する。逆に、ＢＰＦ応答積算値Σ（ｉ＿４、ｊ＿４）がａ（４）より大きい場合、即ちブロック内の高周波成分の強度が大きいと判断された場合は、サブルーチンＡへ移行する（ステップＳ３４）。

図４はサブルーチンＡの処理を示すフローチャートである。

ここではまず、該当する（ｉ＿４、ｊ＿４）の３２画素×３２画素のブロックを、図２（ｂ）に示すように、１６画素×１６画素のブロック４個に分割する（ステップＳ４１）。

３２画素×３２画素のブロックのときと同様に、各ブロックにおけるブロック内のＢＰＦ応答積算値Σ（ｉ＿２、ｊ＿２）を算出する（ステップＳ４２）。

ＣＰＵ１２は、ここで求められたブロック内のＢＰＦ応答積算値Σ（ｉ＿２、ｊ＿２）と、あらかじめ設定されているブロック分割閾値ａ（２）の比較を行う（ステップＳ４３）。

ＢＰＦ応答積算値Σ（ｉ＿２、ｊ＿２）がａ（２）より小さい場合、即ちブロック内の高周波成分の強度が小さいと判断された場合は、（ｉ＿２、ｊ＿２）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ４５）、次のブロックの処理へ移行する。逆に、ＢＰＦ応答積算値Σ（ｉ＿２、ｊ＿２）がａ（２）より大きい場合、即ちブロック内の高周波成分の強度大きいと判断された場合は、サブルーチンＢへ移行する（ステップＳ４４）。

図５はサブルーチンＢの処理を示すフローチャートである。

ここではまず、該当する（ｉ＿２、ｊ＿２）の１６画素×１６画素のブロックを、図２（ｃ）に示すように、８画素×８画素のブロック４個に分割する（ステップＳ５１）。

３２画素×３２画素のブロックのときと同様に、各ブロックにおけるブロック内のＢＰＦ応答積算値Σ（ｉ＿１、ｊ＿１）を算出する（ステップＳ５２）。

ＣＰＵ１２は、ブロック内のＢＰＦ応答積算値Σ（ｉ＿１、ｊ＿１）と、あらかじめ設定されているブロック分割閾値ａ（１）の比較を行う（ステップＳ５３）。

ＢＰＦ応答積算値Σ（ｉ＿１、ｊ＿１）がａ（１）より小さい場合、即ちブロック内の高周波成分の強度が小さいと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを１６画素×１６画素周辺動き推定の対象とし（ステップＳ５５）、次のブロックの処理へ移行する。逆に、ブロック内のＢＰＦ応答積算値Σ（ｉ＿１、ｊ＿１）がａ（１）より大きい場合、即ちブロック内の高周波成分の強度が大きいと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを８画素×８画素周辺動き推定の対象とし（ステップＳ５４）、次のブロックの処理へ移行する。

このように、全てのブロックについてＢＰＦ応答積算値Σを求め、さらにブロック分割を行い、探索領域内の探索精度を上げるかどうかの判定を行う。

ここで、ブロック分割閾値については、ａ（４）＜ａ（２）＜ａ（１）の関係であることが好ましい。またここでは、ＣＰＵにてバンドパスフィルタ処理をソフトウェアで行いＢＰＦ応答積算値Σを求めたが、ＡＦ検出回路６２内の高周波検出回路を用いて算出してもよい。

全てのブロックについて終了後（ステップＳ３６）、ＣＰＵ１２はこれらのブロック分割データに基づいて、階層型動きベクトル算出方法を用いて動きベクトルの算出を行う。

まず初めに、４画素単位でブロックマッチングを行い、動きベクトルの算出を行う。

ここで求めた動きベクトルの位置が、３２画素×３２画素動き推定の対象の場合は、これ以上の動きベクトルの算出を行わないが、１６画素×１６画素周辺動き推定の対象となっている場合は、２画素単位に精度を上げ、４画素単位で得た動きベクトルの最小値の位置に原点を移動し、近傍８画素に対してのみブロックマッチングを行い、動きベクトルを求める。

ここで求めた動きベクトルの位置が１６画素×１６画素動き推定の対象の場合は、これ以上の動きベクトルの算出を行わないが、さらに８画素×８画素周辺動き推定の対象となっている場合は、１画素単位に精度を上げ、２画素単位で得た動きベクトルの最小値の位置に原点を移動し、近傍８画素に対してのみブロックマッチングを行い、動きベクトルを求める。

このように、高精度を要する部分は深い階層で動きベクトル算出を行い、そうでない部分は必要最低限な階層で動きベクトル算出を行うことにより、低処理負荷で、なおかつ高画質な圧縮動画を得ることができる。

＜第２の実施の形態＞
本発明の第２の実施の形態に係るカメラ１０は、動き補償予測を階層型動きベクトル算出方法を用いて行うが、色数が多い部分は絵柄が緻密であり、動き補償予測を行うにあたって高精度を要する部分であると判断し、深い階層まで動きベクトルの算出を行う。

逆に、色数が少ない部分は、動き補償予測を行うにあたって精度を要しない部分であると判断し、深い階層まで動きベクトルの算出をおこなわない。

図６〜図８を用いて、本発明の第２の実施の形態について説明する。図６〜図８はブロック分割の流れを示すフローチャートであり、図３〜５のフローチャートとは、ブロック内の色数を算出してブロック分割閾値と比較するところが異なっている。

第１の実施の形態と同様に、図２（ａ）に示すように、被符号化フレームを３２画素×３２画素のブロックに分割し（ステップＳ６１）、左上（ｉ＝１、ｊ＝１）のブロックから、ブロック内の色数の算出をおこなう（ステップＳ６２）。

算出されたブロック内の色数Ｎ（ｉ＿４、ｊ＿４）と、あらかじめ設定されているブロック分割閾値ｂ（４）の比較を行う（ステップＳ６３）。

色数Ｎ（ｉ＿４、ｊ＿４）がｂ（４）より小さい場合、即ちブロック内の色数が少ないと判断された場合は、（ｉ＿４、ｊ＿４）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ６５）、次のブロックの処理へ移行する。逆に、色数Ｎ（ｉ＿４、ｊ＿４）がｂ（４）より大きい場合、即ちブロック内の色数が多いと判断された場合は、サブルーチンＣへ移行する（ステップＳ６４）。

図７はサブルーチンＣの処理を示すフローチャートである。

まず、該当する（ｉ＿４、ｊ＿４）の３２画素×３２画素のブロックを、図２（ｂ）に示すように、１６画素×１６画素のブロック４個に分割し（ステップＳ７１）、３２画素×３２画素のブロックのときと同様に、各ブロックにおける色数Ｎ（ｉ＿２、ｊ＿２）を算出する（ステップＳ７２）。

求められたブロック内の色数Ｎ（ｉ＿２、ｊ＿２）と、あらかじめ設定されているブロック分割閾値ｂ（２）の比較を行う（ステップＳ７３）。

色数Ｎ（ｉ＿２、ｊ＿２）がｂ（２）より小さい場合、即ちブロック内の色数が少ないと判断された場合は、（ｉ＿２、ｊ＿２）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ７５）、次のブロックの処理へ移行する。逆に、色数Ｎ（ｉ＿２、ｊ＿２）がｂ（２）より大きい場合、即ちブロック内の色数が多いと判断された場合は、サブルーチンＤへ移行する（ステップＳ７４）。

図８はサブルーチンＤの処理を示すフローチャートである。

これまでと同様に、該当する（ｉ＿２、ｊ＿２）の１６画素×１６画素のブロックを、図２（ｃ）に示すように、８画素×８画素のブロック４個に分割し（ステップＳ８１）、各ブロックにおけるブロック内の色数Ｎ（ｉ＿１、ｊ＿１）を算出し（ステップＳ８２）、求められたブロック内の色数Ｎ（ｉ＿１、ｊ＿１）と、あらかじめ設定されているブロック分割閾値ｂ（１）の比較を行う（ステップＳ８３）。

色数Ｎ（ｉ＿１、ｊ＿１）がｂ（１）より小さい場合、即ちブロック内の色数が少ないと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを１６画素×１６画素周辺動き推定の対象とし（ステップＳ８５）、次のブロックの処理へ移行する。逆に、ブロック内の色数Ｎ（ｉ＿１、ｊ＿１）がｂ（１）より大きい場合、即ちブロック内の色数が多いと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを８画素×８画素周辺動き推定の対象とし（ステップＳ８４）、次のブロックの処理へ移行する。

このように、全てのブロックについて色数Ｎを求め、さらにブロック分割を行い、探索領域内の探索精度を上げるかどうかの判定を行う。

ここで、ブロック分割閾値については、ｂ（４）＜ｂ（２）＜ｂ（１）の関係であることが好ましい。

全てのブロックについて終了後（ステップＳ６６）、ＣＰＵ１２はこれらのブロック分割データに基づいて、階層型動きベクトル算出方法を用いて動きベクトルの算出を行う。

＜第３の実施の形態＞
本発明の第３の実施の形態に係るカメラ１０は、色分布が広い部分は絵柄が緻密であり、動き補償予測を行うにあたって高精度を要する部分であると判断し、深い階層まで動きベクトルの算出を行う。

逆に、色分布が狭い部分は、動き補償予測を行うにあたって精度を要しない部分であると判断し、深い階層まで動きベクトルの算出をおこなわない。

図９〜図１１を用いて、本発明の第３の実施の形態について説明する。図９〜図１１はブロック分割の流れを示すフローチャートであり、図３〜図５のフローチャートとは、ブロック内の色の分散を算出してブロック分割閾値と比較するところが異なっている。

第１の実施の形態と同様に、図２（ａ）に示すように、被符号化フレームを３２画素×３２画素のブロックに分割し（ステップＳ９１）、左上（ｉ＝１、ｊ＝１）のブロックから、ブロック内の色の分散の算出をおこなう（ステップＳ９２）。

算出されたブロック内の色の分散σ^２（ｉ＿４、ｊ＿４）と、あらかじめ設定されているブロック分割閾値ｃ（４）の比較を行う（ステップＳ９３）。

色の分散σ^２（ｉ＿４、ｊ＿４）がｃ（４）より小さい場合、即ちブロック内の色分布が狭いと判断された場合は、（ｉ＿４、ｊ＿４）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ９５）、次のブロックの処理へ移行する。逆に、色の分散σ^２（ｉ＿４、ｊ＿４）がｃ（４）より大きい場合、即ちブロック内の色分布が広いと判断された場合は、サブルーチンＥへ移行する（ステップＳ９４）。

図１０はサブルーチンＥの処理を示すフローチャートである。

まず、該当する（ｉ＿４、ｊ＿４）の３２画素×３２画素のブロックを、図２（ｂ）に示すように、１６画素×１６画素のブロック４個に分割し（ステップＳ１０１）、３２画素×３２画素のブロックのときと同様に、各ブロックにおける色の分散σ^２（ｉ＿２、ｊ＿２）を算出する（ステップＳ１０２）。

求められたブロック内の色の分散σ^２（ｉ＿２、ｊ＿２）と、あらかじめ設定されているブロック分割閾値ｃ（２）の比較を行う（ステップＳ１０３）。

色の分散σ^２（ｉ＿２、ｊ＿２）がｃ（２）より小さい場合、即ちブロック内の色の分布が狭いと判断された場合は、（ｉ＿２、ｊ＿２）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ１０５）、次のブロックの処理へ移行する。逆に、色の分散σ^２（ｉ＿２、ｊ＿２）がｃ（２）より大きい場合、即ちブロック内の色の分布が広いと判断された場合は、サブルーチンＦへ移行する（ステップＳ１０４）。

図１１はサブルーチンＦの処理を示すフローチャートである。

これまでと同様に、該当する（ｉ＿２、ｊ＿２）の１６画素×１６画素のブロックを、図２（ｃ）に示すように、８画素×８画素のブロック４個に分割し（ステップＳ１１１）、各ブロックにおけるブロック内の色の分散σ^２（ｉ＿１、ｊ＿１）を算出し（ステップＳ１１２）、求められたブロック内の色の分散σ^２（ｉ＿１、ｊ＿１）と、あらかじめ設定されているブロック分割閾値ｃ（１）の比較を行う（ステップＳ１１３）。

色の分散σ^２（ｉ＿１、ｊ＿１）がｂ（１）より小さい場合、即ちブロック内の色分布が狭いと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを１６画素×１６画素周辺動き推定の対象とし（ステップＳ１１５）、次のブロックの処理へ移行する。逆に、ブロック内の色の分散σ^２（ｉ＿１、ｊ＿１）がｂ（１）より大きい場合、即ちブロック内の色分布が広いと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを８画素×８画素周辺動き推定の対象とし（ステップＳ１１４）、次のブロックの処理へ移行する。

このように、全てのブロックについて色の分散σ^２を求め、さらにブロック分割を行い、探索領域内の探索精度を上げるかどうかの判定を行う。

ここで、ブロック分割閾値については、ｃ（４）＜ｃ（２）＜ｃ（１）の関係であることが好ましい。またここでは、色の分布を算出するために色の分散を用いたが、色の標準偏差を用いてもよい。

全てのブロックについて終了後（ステップＳ９６）、ＣＰＵ１２はこれらのブロック分割データに基づいて、階層型動きベクトル算出方法を用いて動きベクトルの算出を行う。

図１は本発明に係る動きベクトル算出装置（デジタルカメラ）の内部構成の一例を示すブロック図である。 図２は本発明に係る第１の実施の形態の参照フレームの画面分割を示した図である。 図３は本発明に係る第１の実施の形態の動作を示すフローチャートである。 図４は本発明に係る第１の実施の形態の動作を示すフローチャートである。 図５は本発明に係る第１の実施の形態の動作を示すフローチャートである。 図６は本発明に係る第２の実施の形態の動作を示すフローチャートである。 図７は本発明に係る第２の実施の形態の動作を示すフローチャートである。 図８は本発明に係る第２の実施の形態の動作を示すフローチャートである。 図９は本発明に係る第３の実施の形態の動作を示すフローチャートである。 図１０は本発明に係る第３の実施の形態の動作を示すフローチャートである。 図１１は本発明に係る第３の実施の形態の動作を示すフローチャートである。 図１２は動きベクトルを説明するための図である。 図１３は従来のブロックマッチング方式を説明するための図である。 図１４は従来の階層型動きベクトル算出方法を説明するための図である。

符号の説明

１２…ＣＰＵ、１６…ＲＯＭ、１８…メモリ、２０…ＶＲＡＭ、３２…記録メディア、３８…ＣＣＤ、６４…ＣＣＤ、５８…画像信号処理回路、６６…圧縮伸張回路

Claims (15)

1. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、
   前記被符号化フレームをある単位ごとに複数の領域に分割するフレーム分割手段と、
   分割された領域ごとに、領域内の各画素の高周波成分の強度を算出する算出手段と、
   前記算出手段により算出された領域ごとの高周波成分の強度が予め設定された閾値よりも大きいか否かを判定する判定手段であって、前記領域の大きさが小さいほど大きい値の閾値が設定される判定手段と、
   前記判定手段により前記高周波成分の強度が閾値よりも大きいと判定された領域をさらに複数の領域に分割する領域分割手段と、
   前記参照フレームと前記被符号化フレームとの間の動きベクトルを所定の探索精度で算出し、算出された動きベクトルの位置が前記領域分割手段によりさらに複数の領域に分割された領域である場合には、当該求めた位置を原点として該原点の近傍において動きベクトルの探索精度を上げてさらに動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとする動きベクトル算出手段と、
   を備えたことを特徴とする動きベクトル算出装置。
2. 請求項１に記載の動きベクトル算出装置と、
   前記参照フレームと前記被符号化フレームとの間の動きベクトルを用いて、前記動画像のデータサイズを圧縮する動画像圧縮手段と、
   前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、
   を備えたことを特徴とする動画像圧縮記録装置。
3. 被写体像を時間軸に沿った動画像として撮像する撮像手段と、
   請求項２に記載の動画像圧縮記録装置と、
   を備えたことを特徴とする撮像装置。
4. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、
   前記被符号化フレームをある単位ごとに複数の領域に分割するフレーム分割工程と、
   分割された領域ごとに、領域内の高周波成分の強度を算出する算出工程と、
   前記算出工程により算出された領域ごとの高周波成分の強度が予め設定された閾値よりも大きいか否かを判定する判定工程であって、前記領域の大きさが小さいほど閾値の値が大きく設定された判定工程と、
   前記判定工程により前記高周波成分の強度が閾値よりも大きいと判定された領域をさらに複数の領域に分割する領域分割工程と、
   前記参照フレームと前記被符号化フレームとの間の動きベクトルを所定の探索精度で算出し、算出された動きベクトルの位置が前記領域分割工程によりさらに複数の領域に分割された領域である場合には、当該求めた位置を原点として該原点の近傍において動きベクトルの探索精度を上げてさらに動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとする動きベクトル算出工程と、
   を備えたことを特徴とする動きベクトル算出方法。
5. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出プログラムにおいて、
   前記被符号化フレームをある単位ごとに複数の領域に分割するフレーム分割機能と、
   分割された領域ごとに、領域内の高周波成分の強度を算出する算出機能と、
   前記算出機能により算出された領域ごとの高周波成分の強度が予め設定された閾値よりも大きいか否かを判定する判定機能であって、前記領域の大きさが小さいほど閾値の値が大きく設定された判定機能と、
   前記判定機能により前記高周波成分の強度が閾値よりも大きいと判定された領域をさらに複数の領域に分割する領域分割機能と、
   前記参照フレームと前記被符号化フレームとの間の動きベクトルを所定の探索精度で算出し、算出された動きベクトルの位置が前記領域分割機能によりさらに複数の領域に分割された領域である場合には、当該求めた位置を原点として該原点の近傍において動きベクトルの探索精度を上げてさらに動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとする動きベクトル算出機能と、
   をコンピュータに実現させるための動きベクトル算出プログラム。
6. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、
   前記被符号化フレームをある単位ごとに複数の領域に分割するフレーム分割手段と、
   分割された領域ごとに、領域内の画素の色の数を算出する算出手段と、
   前記算出手段により算出された領域ごとの色の数が予め設定された閾値よりも大きいか否かを判定する判定手段であって、前記領域の大きさが小さいほど大きい値の閾値が設定される判定手段と、
   前記判定手段により前記色の数が閾値よりも大きいと判定された領域をさらに複数の領域に分割する領域分割手段と、
   前記参照フレームと前記被符号化フレームとの間の動きベクトルを所定の探索精度で算出し、算出された動きベクトルの位置が前記領域分割手段によりさらに複数の領域に分割された領域である場合には、当該求めた位置を原点として該原点の近傍において動きベクトルの探索精度を上げてさらに動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとする動きベクトル算出手段と、
   を備えたことを特徴とする動きベクトル算出装置。
7. 請求項６に記載の動きベクトル算出装置と、
   前記参照フレームと前記被符号化フレームとの間の動きベクトルを用いて、前記動画像のデータサイズを圧縮する動画像圧縮手段と、
   前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、
   を備えたことを特徴とする動画像圧縮記録装置。
8. 被写体像を時間軸に沿った動画像として撮像する撮像手段と、
   請求項７に記載の動画像圧縮記録装置と、
   を備えたことを特徴とする撮像装置。
9. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、
   前記被符号化フレームをある単位ごとに複数の領域に分割するフレーム分割工程と、
   分割された領域ごとに、領域内の画素の色の数を算出する算出工程と、
   前記算出工程により算出された領域ごとの色の数が予め設定された閾値よりも大きいか否かを判定する判定工程であって、前記領域の大きさが小さいほど閾値の値が大きく設定された判定工程と、
   前記判定工程により前記色の数が閾値よりも大きいと判定された領域をさらに複数の領域に分割する領域分割工程と、
   前記参照フレームと前記被符号化フレームとの間の動きベクトルを所定の探索精度で算出し、算出された動きベクトルの位置が前記領域分割工程によりさらに複数の領域に分割された領域である場合には、当該求めた位置を原点として該原点の近傍において動きベクトルの探索精度を上げてさらに動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとする動きベクトル算出工程と、
   を備えたことを特徴とする動きベクトル算出方法。
10. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出プログラムにおいて、
    前記被符号化フレームをある単位ごとに複数の領域に分割するフレーム分割機能と、
    分割された領域ごとに、領域内の画素の色の数を算出する算出機能と、
    前記算出機能により算出された領域ごとの色の数が予め設定された閾値よりも大きいか否かを判定する判定機能であって、前記領域の大きさが小さいほど閾値の値が大きく設定された判定機能と、
    前記判定機能により前記色の数が閾値よりも大きいと判定された領域をさらに複数の領域に分割する領域分割機能と、
    前記参照フレームと前記被符号化フレームとの間の動きベクトルを所定の探索精度で算出し、算出された動きベクトルの位置が前記領域分割機能によりさらに複数の領域に分割された領域である場合には、当該求めた位置を原点として該原点の近傍において動きベクトルの探索精度を上げてさらに動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとする動きベクトル算出機能と、
    をコンピュータに実現させるための動きベクトル算出プログラム。
11. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、
    前記被符号化フレームをある単位ごとに複数の領域に分割するフレーム分割手段と、
    分割された領域ごとに、領域内の画素の色分布を算出する算出手段と、
    前記算出手段により算出された領域ごとの色分布が予め設定された閾値よりも大きいか否かを判定する判定手段であって、前記領域の大きさが小さいほど大きい値の閾値が設定される判定手段と、
    前記判定手段により前記色分布が閾値よりも大きいと判定された領域をさらに複数の領域に分割する領域分割手段と、
    前記参照フレームと前記被符号化フレームとの間の動きベクトルを所定の探索精度で算出し、算出された動きベクトルの位置が前記領域分割手段によりさらに複数の領域に分割された領域である場合には、当該求めた位置を原点として該原点の近傍において動きベクトルの探索精度を上げてさらに動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとする動きベクトル算出手段と、
    を備えたことを特徴とする動きベクトル算出装置。
12. 請求項１１に記載の動きベクトル算出装置と、
    前記参照フレームと前記被符号化フレームとの間の動きベクトルを用いて、前記動画像のデータサイズを圧縮する動画像圧縮手段と、
    前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、
    を備えたことを特徴とする動画像圧縮記録装置。
13. 被写体像を時間軸に沿った動画像として撮像する撮像手段と、
    請求項１２に記載の動画像圧縮記録装置と、
    を備えたことを特徴とする撮像装置。
14. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、
    前記被符号化フレームをある単位ごとに複数の領域に分割するフレーム分割工程と、
    分割された領域ごとに、領域内の画素の色分布を算出する算出工程と、
    前記算出工程により算出された領域ごとの色分布が予め設定された閾値よりも大きいか否かを判定する判定工程であって、前記領域の大きさが小さいほど閾値の値が大きく設定された判定工程と、
    前記判定工程により前記色分布が閾値よりも大きいと判定された領域をさらに複数の領域に分割する領域分割工程と、
    前記参照フレームと前記被符号化フレームとの間の動きベクトルを所定の探索精度で算出し、算出された動きベクトルの位置が前記領域分割工程によりさらに複数の領域に分割された領域である場合には、当該求めた位置を原点として該原点の近傍において動きベクトルの探索精度を上げてさらに動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとする動きベクトル算出工程と、
    を備えたことを特徴とする動きベクトル算出方法。
15. 動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出プログラムにおいて、
    前記被符号化フレームをある単位ごとに複数の領域に分割するフレーム分割機能と、
    分割された領域ごとに、領域内の画素の色分布を算出する算出機能と、
    前記算出機能により算出された領域ごとの色分布が予め設定された閾値よりも大きいか否かを判定する判定機能であって、前記領域の大きさが小さいほど閾値の値が大きく設定された判定機能と、
    前記判定機能により前記色分布が閾値よりも大きいと判定された領域をさらに複数の領域に分割する領域分割機能と、
    前記参照フレームと前記被符号化フレームとの間の動きベクトルを所定の探索精度で算出し、算出された動きベクトルの位置が前記領域分割機能によりさらに複数の領域に分割された領域である場合には、当該求めた位置を原点として該原点の近傍において動きベクトルの探索精度を上げてさらに動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとする動きベクトル算出機能と、
    をコンピュータに実現させるための動きベクトル算出プログラム。

Images