JP3626218B2 - 動き量検出装置及び動き量検出方法 - Google Patents
動き量検出装置及び動き量検出方法 Download PDFInfo
- Publication number
- JP3626218B2 JP3626218B2 JP20734693A JP20734693A JP3626218B2 JP 3626218 B2 JP3626218 B2 JP 3626218B2 JP 20734693 A JP20734693 A JP 20734693A JP 20734693 A JP20734693 A JP 20734693A JP 3626218 B2 JP3626218 B2 JP 3626218B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion amount
- amount detection
- motion
- sharpening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、ディジタル画像信号で生成される２つの画像を用いこれら２つの画像から動き量を検出する動き量検出装置及び動き量検出方法に関するものである。
【０００２】
【従来の技術】
従来より、画像の３次元信号処理が進むに連れて、動きベクトルすなわち画像中の物体の動きの方向と大きさ（速さ）を用いて各種画像処理が行われるようになり、例えば、画像の高能率符号化における動き補償フレーム間符号化、フレーム間時間領域フィルタによるＴＶ雑音軽減装置における動きによるパラメータ制御、気象衛星から送られる連続画像による雲の速度の計測、道路監視における速度測定などが動きベクトルを用いて行われている。
【０００３】
連続する画像から、動きベクトルを測定する方法としては、連続する画像間の差を最小にする偏位を求めることにより動きベクトルを決定するパターンマッチング法や、画像の空間勾配と画像間差の関係から動きベクトルを求める勾配法と共に、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を利用して位相相関化数のピーク値から動きベクトルを決定する位相相関法が知られている。
【０００４】
【発明が解決しようとする課題】
ところで、上述した位相相関法では、動き量を求める２つのディジタル画像信号で生成される画像のブロック中で輝度信号のレベル変化が存在する、例えばエッジ部分が鮮明でない場合、このエッジ部分の不鮮明さによって、たとえ検出中のブロックが本来動きのあるブロックとしても本来の動き量を検出できないことが実験から知られている。このため、検出された動きベクトルは、本来の動きと異なった動きベクトルを示すことになる。これが動き量検出を誤ってしまう一因である。また、位相相関法では検出精度を所定のレベルに保つためには、使用するデータ量を多くするためかなり大きなブロックサイズ領域に対して位相相関処理を施さなければならないことが知られている。これらの問題点を解決するために、画像の鮮鋭化処理により輝度信号の変化を鮮明にさせることが改善法として行われている。
【０００５】
ところが、上述した画像の鮮鋭化処理を切り出したブロック内の全画素に施すと、本来のエッジでないノイズ成分も強調されてしまうことになる。実際に動き量検出装置において動き量をもとめる場合、このノイズ成分が動き量を求めるときの外乱要素となり、動きベクトルの誤検出を起こしてしまう。
【０００６】
そこで、本発明は、上述したような実情に鑑みてなされたものであり、輝度信号の変化が不鮮明な画像であっても、ブロック間の画像が本来有する動き量を精度よく検出することができる動き量検出装置及び動き量検出方法の提供を目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る動き量検出装置は、鮮鋭化処理を施すために、入力画像信号の画像のエッジを検出する画像エッジ検出手段と、上記入力画像信号の画像の鮮鋭化処理を上記画像エッジ検出手段により検出されたエッジ部に対してのみ施す画像鮮鋭化手段と、該画像鮮鋭化手段からの出力信号に対して動き量を検出する動き量検出処理手段とを有することにより、上述した問題を解決する。
【０００８】
ここで、上記動き量検出処理手段は、入力される画像信号をブロック化してブロック単位で動き量検出を行い、上記画像鮮鋭化手段から供給される画像信号に対して位相相関法を用いて動き量を検出する。上記動き量検出手段は、上記画像鮮鋭化処理手段からの出力信号中の互いに１フレームずれた２つのブロックの各画像信号をそれぞれ直交変換し、これらの２つの直交変換出力間の相関をとって、逆直交変換することにより動き量検出を行う。上記直交変換としては、例えば高速フーリエ変換（ＦＦＴ）がある。
【０００９】
例えば、具体的な回路構成としては、上記画像エッジ検出手段では、ブロック化された第１の画像信号と１フレーム遅延しブロック化された第２の画像信号の画面内で輝度の変化を画像の境界として検出する第１の画像エッジ検出手段と第２の画像エッジ検出手段とを設け、上記画像鮮鋭化手段では、上記第１の画像信号と上記第２の画像信号にそれぞれ第１の画像エッジ検出手段と第２の画像エッジ検出手段から供給される出力信号に応じて鮮鋭化処理を施す第１の画像鮮鋭化手段と第２の画像鮮鋭化手段とを設け、上記動き量検出手段では、第１の画像鮮鋭化手段と第２の画像鮮鋭化手段から出力されるそれぞれの出力信号に対してＦＦＴ処理する第１のＦＦＴ処理手段と第２のＦＦＴ処理手段と、第１のＦＦＴ処理手段と第２のＦＦＴ処理手段のいずれか一方の出力信号に対する他方の出力信号に共役化処理を施す共役化手段と、上記第１のＦＦＴ処理手段と上記第２のＦＦＴ処理手段のいずれか一方の出力信号と該共役化手段からの出力信号と上記共役化手段からの出力信号を基に位相相関を複素パワースペクトルとしてとり、この結果から最も位相相関の高いブロックを出力する位相相関判定手段と、該位相相関判定手段からの出力信号に逆ＦＦＴ処理を行う逆ＦＦＴ処理手段と、該逆ＦＦＴ処理手段の出力信号から第１の画像信号と第２の画像信号の動き量を検出するブロック間動き検出手段とで構成される。
【００１０】
また、本発明に係る動き量検出方法は、鮮鋭化処理を施すために、入力画像信号の画像のエッジを検出する画像エッジ検出工程と、上記入力画像信号の画像の鮮鋭化処理を上記画像エッジ検出工程により検出されたエッジ部に対してのみ施す画像鮮鋭化工程と、該画像鮮鋭化工程からの出力信号に対して動き量を検出する動き量検出処理工程とを有することにより、上述した問題を解決する。
【００１１】
ここで、上記動き量検出処理工程は、入力される画像信号をブロック化してブロック単位で動き量検出を行い、上記画像鮮鋭化工程から供給される画像信号に対して位相相関法を用いて動き量を検出する。上記動き量検出手段は、上記画像鮮鋭化処理手段からの出力信号中の互いに１フレームずれた２つのブロックの各画像信号をそれぞれ直交変換し、これらの２つの直交変換出力間の相関をとって、逆直交変換することにより動き量検出を行う。上記直交変換としては、例えば高速フーリエ変換（ＦＦＴ）がある。
【００１２】
ここでも、使用する画像は、所定の領域に分割されたブロック毎に動き量検出処理を位相相関法を用いて行われる。例えば、具体的な処理工程としては、上記画像エッジ検出工程で、ブロック化された第１の画像信号と１フレーム遅延しブロック化された第２の画像信号の画面内で輝度の変化を画像の境界として検出する第１の画像エッジ検出工程と第２の画像エッジ検出工程とを設け、上記画像鮮鋭化工程では、上記第１の画像信号と上記第２の画像信号にそれぞれ第１の画像エッジ検出工程と第２の画像エッジ検出工程から供給される出力信号に応じて鮮鋭化処理を施す第１の画像鮮鋭化工程と第２の画像鮮鋭化工程とを設け、上記動き量検出処理工程では、第１の画像鮮鋭化工程と第２の画像鮮鋭化工程から出力されるそれぞれの出力信号に対してＦＦＴ処理する第１のＦＦＴ処理工程と第２のＦＦＴ処理工程と、第１のＦＦＴ処理工程と第２のＦＦＴ処理工程のいずれか一方の出力信号に対する他方の出力信号に共役化処理を施す共役化工程と、上記第１のＦＦＴ処理工程と上記第２のＦＦＴ処理工程のいずれか一方の出力信号と該共役化工程からの出力信号と上記共役化工程からの出力信号を基に位相相関を複素パワースペクトルとしてとり、この結果から最も位相相関の高いブロックを出力する位相相関判定工程と、該位相相関判定工程からの出力信号に逆ＦＦＴ処理を行う逆ＦＦＴ処理工程と、該逆ＦＦＴ処理工程の出力信号から第１の画像信号と第２の画像信号とのブロック間の動き量を検出するブロック間動き検出工程とを設けて動き量を検出する。
【００１３】
【作用】
本発明に係る動き量検出装置では、画像エッジ検出手段で供給される２つの画像から動き量を検出する前に画面内で輝度の変化を画像のエッジとして検出し、画像鮮鋭化手段で画像エッジ検出手段からの出力信号に応じて検出されたエッジ部分に対してそれぞれ画像の鮮鋭化処理を施し、動き量検出手段で画像鮮鋭化手段により鮮鋭化された２つの画像に対して動き量検出処理として、例えば直交変換して位相相関関数のピーク値を検出し逆直交変換することにより、画像間の動き量を検出している。
【００１４】
また、本発明に係る動き量検出方法では、画像エッジ検出工程で供給される２つの画像から動き量を検出する前に画面内で輝度の変化を画像のエッジとして検出し、画像鮮鋭化工程で画像エッジ検出工程からの出力信号に応じて検出されたエッジ部分に対してそれぞれ画像の鮮鋭化処理を施し、動き量検出工程で画像鮮鋭化工程により鮮鋭化された２つの画像に対して動き量検出処理として、例えば直交変換して位相相関関数のピーク値を検出し逆直交変換することにより、画像間の動き量を検出している。
【００１５】
【実施例】
以下、本発明に係る動き量検出装置及び動き量検出方法の一実施例について、図面を参照しながら説明する。
【００１６】
本発明を適用した動き量検出装置は、例えばディジタル画像信号から生成される２つの画像を用いこれら２つの画像から動き量を検出する装置として用いる。この動き量検出装置は、例えば図１に示すように、入力画像信号の画像のエッジを検出する画像エッジ検出手段としての境界検出部１１と、上記入力画像信号の上記境界検出部１１により検出されたエッジ部分に対してのみ画像の鮮鋭化処理を施す画像鮮鋭化手段としての画像鮮鋭化フィルタ部１２と、該画像鮮鋭化フィルタ部１２からの出力信号に対して動き量検出処理を施す動き量検出処理手段としての動き量検出処理部１３とで構成される。
【００１７】
入力信号としてのディジタル画像信号から生成される２つの画像は、予め動き量検出装置に供給される前に画像を複数のブロックに分割している。この動き量検出装置には、ブロック化された輝度信号Ｙｔ とブロック化された１フレーム分遅延された輝度信号Ｙｔ−１ がそれぞれ入力端子１４、１５を介して供給されている。これらブロック化された輝度信号Ｙｔ 、Ｙｔ−１ は、共に偶数フィールドあるいは奇数フィールドからなる。ブロック化された輝度信号Ｙｔ とＹｔ−１ に対して境界検出部１１の境界検出回路１１ａ、１１ｂは、画像中のエッジ境界部分を検出する。境界検出部１１は、境界検出回路１１ａ、１１ｂから各ブロックの境界情報を画像鮮鋭化フィルタ部１２の画像鮮鋭化フィルタ１２ａ、１２ｂにそれぞれ出力する。画像鮮鋭化フィルタ１２ａは、ブロック化された輝度信号Ｙｔ を境界検出回路１１ａからの境界情報に応じた画像の鮮鋭化を行って動き量検出処理部１３に出力する。画像鮮鋭化フィルタ１２ｂも、ブロック化された輝度信号Ｙｔー１ を境界検出回路１１ｂからの境界情報に応じた画像の鮮鋭化を行って動き量検出処理部１３に出力する。
【００１８】
動き量検出処理部１３は、それぞれのブロック化された画像、すなわち輝度信号Ｙｔ 、Ｙｔ−１ をＦＦＴ処理部１３ａ、１３ｂでＦＦＴ処理を行う。ＦＦＴ処理部１３ａは、処理結果を複素パワー算出部１３ｄに供給する。また、ＦＦＴ処理部１３ａは、処理結果を共役化処理部１３ｃを介して複素パワー算出部１３ｄに供給する。複素パワー算出部１３ｄは、これら供給された処理結果からパワースペクトルを計算する。次に、上記パワースペクトルを基に算出した位相相関値を空間領域の値に変換するため、逆ＦＦＴ処理部１３ｅで逆ＦＦＴ処理が行われる。動き量検出部１３ｆでは、各ブロック領域内におけるピーク値の検出が行われ、このフレーム間のピーク値の空間的な距離、方向から動きベクトルが算出される。
【００１９】
つぎに、動き量検出装置において使用する方法の原理について説明する。
先ず、位相相関法とは空間領域のデータを位相領域に変換しこの位相領域における位相相関関数の値を基に２つの画像ｇ１ 、ｇ２ の相関を求めて相関値の高い領域を関連する領域として求める方法である。ここで、２つの画像ｇ１ 、ｇ２ の位相相関を求めるため、２つの画像ｇ１ 、ｇ２ が複数のブロックに分割される。各ブロックは例えばＮ×Ｎ画素のサイズをブロック単位としている。
【００２０】
位相相関法では、各ブロック内の画素に対して２次元高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）処理を行ってフーリエ変換された画像データＧ１ 、Ｇ２ を生成する。これらの画像データＧ１ 、Ｇ２ は、例えばＮ×Ｎ個の複素数要素とする。そして、例えば一方の画像データＧ２ の複素数要素について共役複素数Ｇ２ ＊を求める。このようにして空間領域から位相領域へのデータ変換を行っている。位相領域の画像データを基に相関をとることは複素パワースペクトルＧ１ ・Ｇ２ ＊を求めることに等価である。このとき、位相領域では、ＦＦＴ処理前の空間領域での偏位が位相成分にのみ現れることから、振幅成分を考慮に入れないために、各複素数要素の大きさを正規化する。この正規化されたパワースペクトルｅｘｐ（ｊφ） は、
【００２１】
【数１】
【００２２】
と表される。ただし、ｊは虚数、φ１ は画像データＧ１ の位相成分、φ２ は画像データＧ２ の位相成分である。
次に、求めた位相領域での相関が実空間である空間領域のどの位置に現れているかを知るために算出したパワースペクトルｅｘｐ（ｊφ） に対する逆ＦＦＴ処理が行われる。この逆ＦＦＴ処理により位相相関関数ｄが求められる。位相相関関数ｄは、
【００２３】
【数２】
【００２４】
と表され、空間領域における相関の高い位置にピークが現れる。このピーク位置を読み取って例えば１フレーム前の画像のピーク位置との差をとれば１フレーム間に移動した動き量として検出することができる。この動き量から動きベクトルが求められている。
【００２５】
この位相相関法では動き量を検出する２つの画像間での位相成分の相関は例えば画像のエッジ部分、すなわち輝度信号の変化部分が位相成分に反映して現れる。上記エッジ部分が不鮮明な場合、位相成分が現れ難いため実際に画像ブロック間に動きが存在しても位相成分からその動きに対する相関が出難くなる。このような相関における検出の困難さが動き量検出における誤検出の原因である。そこで、上述の問題点を解決するために画像鮮鋭化処理が２つの画像に施される。画像鮮鋭化処理は、例えば画像鮮鋭化フィルタで画像の高域成分を抽出して原画像に加えて輝度信号の変化部を強調させ、動きを位相成分に反映させるようにして動き量の正しい検出を行わせる。
【００２６】
つぎに、画像内のエッジ境界検出による選択的な画像鮮鋭化について説明する。
上述したように画像鮮鋭化処理を行う場合、画像鮮鋭化処理における高域成分の強調化は、ランダムノイズに対しても強調処理してしまう。このランダムノイズの強調は動き量を求める際の外乱要素になる。そこで、画像鮮鋭化処理においてランダムノイズ成分を強調せず、動き量検出に必要な画像のエッジ成分（輝度信号変化部分）だけを選択的に強調させると、画像鮮鋭化処理は外乱要素を少なくすることになる。このため、選択的なエッジ部分の強調を行わせるため、エッジの境界検出が行われる。エッジの境界検出は、画素データｇに例えば境界検出回路内に設けた境界検出フィルタを用いて局所的なオペレータＭの作用する。オペレータが作用した画素データＭ＊ｇが、所定のしきい値ＴＨよりも大きい値（Ｍ＊ｇ ≧ ＴＨ）のとき、この画素データｇを境界画素と判断する。オペレータが作用した画素データＭ＊ｇが、所定のしきい値ＴＨよりも小さい値（Ｍ＊ｇ＜ ＴＨ）のとき、この画素データｇを平坦部の画素と判断する。ただし、記号＊は畳み込み（コンボリューション）を示し、ＴＨは境界を判断するしきい値を示す。ブロック内で境界と判断された画素はランダムな孤立的ノイズの除外された画素と考えられるので、この境界画素に対してのみ選択的に画像鮮鋭化処理を施せば、画像鮮鋭化処理は外乱要素を強調することなく、必要とする画素に対してだけ画像鮮鋭化処理を行うことができる。このようにして画像鮮鋭化処理が行われることにより、境界部分の移動に対する誤検出を少なくすることができる。
【００２７】
つぎに、動き量検出方法の動作手順について簡単に説明する。必要に応じて対応する図１を参照する。
入力端子１４に供給する画像ｇ１ の輝度信号Ｙｔ がステップＳ１０でブロック化される。また、入力端子１５に供給する画像ｇ２ の輝度信号ＹがステップＳ１１でブロック化される。ここで、この画像ｇ２ の輝度信号Ｙｔ−１ は、例えば上記画像ｇ１ の輝度信号Ｙｔ に対して１フレームだけディレイさせたものである。入力端子１４を介して境界検出部１１の境界検出回路１１ａに輝度信号Ｙｔ を供給する。また、入力端子１４を介して境界検出部１１の境界検出回路１１ｂに輝度信号Ｙｔー１ も供給される。
【００２８】
境界検出部１１の境界検出回路１１ａ、１１ｂは、以下に示す例えば３×３の局所的オペレータを４通り有している。局所的オペレータは、それぞれ水平方向、垂直方向、斜め右上がり方向及び斜め右下がり方向のオペレータを２つずつ有している。水平方向の局所オペレータは、
【００２９】
【数３】
【００３０】
【数４】
【００３１】
であり、垂直方向の局所オペレータは、
【００３２】
【数５】
【００３３】
【数６】
【００３４】
であり、斜め右上がり方向の局所オペレータは、
【００３５】
【数７】
【００３６】
【数８】
【００３７】
であり、斜め右下がり方向の局所オペレータは、
【００３８】
【数９】
【００３９】
【数１０】
【００４０】
である。それぞれの局所オペレータと対象とする画素ｇをコンボリューションして計算する。この対象画素に対して８通りの方向から局所オペレータを作用させた際に少なくとも１つの方向に演算Ｍ＊ｇがしきい値以上のとき、境界検出回路１１ａ、１１ｂは、それぞれ対象画素を境界と判断する。
【００４１】
ステップＳ１４とステップＳ１５では、検出されたエッジ部分の鮮鋭化処理がそれぞれ対象画像ｇ１ 、ｇ２ に施される。図１に示した回路構成の場合、エッジ部分の鮮鋭化処理は、画像鮮鋭化フィルタ部１２の画像鮮鋭化フィルタ１２ａ、１２ｂで各境界検出回路１１ａ、１１ｂからの判断結果に応じて行われる。すなわち、例えば画像鮮鋭化フィルタ１２ａ、１２ｂは、境界と判断した信号レベルに応じて後述するソフトウェアと同等のフィルタ処理によって画像鮮鋭化処理を施す。また、それ以外の場合、エッジ部分の鮮鋭化処理を行わずにステップＳ１６とステップＳ１７に進む。
【００４２】
また、ソフトウェア的に上述の処理を行う場合、ステップＳ１４とステップＳ１５の処理は、ブロック内に格納している境界の対象画素のアドレスだけをアクセスして対象画素データを読み出してフィルタ係数を作用させる。フィルタ係数の一例は、
【００４３】
【数１１】
【００４４】
【数１２】
【００４５】
【数１３】
【００４６】
と３×３の局所オペレータを用いる。このようにエッジ部分だけに画像鮮鋭化処理を施して外乱を発生させることなく対象画素を強調させることができる。
【００４７】
次に、ステップＳ１６とステップＳ１７ではそれぞれ画像鮮鋭化フィルタ部１２からの各ブロック内の画素に対して２次元のＦＦＴ処理が行われる。この２次元のＦＦＴ処理部によって画像ｇ１ 、ｇ２ は、動き量検出処理部１３で画像データＧ１ 、Ｇ２ という複素要素になる（図１のＦＦＴ処理部１３ａ、１３ｂを参照）。この処理によって空間領域の画素データが位相領域の画素データに変換される。
【００４８】
次に、ステップＳ１８ではステップＳ１７で生成された画像データＧ２ から共役複素要素Ｇ２ ＊を生成する。図１ではＦＦＴ処理部１３ｂの画像データＧ２ が共役化処理部１３ｃに供給される。
【００４９】
ステップＳ１９では複素パワースペクトルを算出する。動き量検出処理部１３の複素パワー算出部１３ｄでは、ＦＦＴ処理部１３ａからの画像データＧ１ と共役化処理部１３ｃからの画像データＧ２ ＊を乗算して複素パワースペクトルＧ１ ・Ｇ２ ＊を算出する。この演算は位相領域の画像データを基に相関をとることと等価である。このとき、位相領域では、ＦＦＴ処理前の空間領域での偏位が位相成分にのみ現れることから、振幅成分を考慮に入れないために、各複素数要素の大きさを正規化する。このようにして複素パワースペクトルの位相項の相関を算出してステップＳ２０に進む。
【００５０】
ステップＳ２０では、求めた位相領域での相関が実空間である空間領域のどの位置に現れているかを知るために算出したパワースペクトルに対する逆ＦＦＴ処理が行われる（例えば図１の逆ＦＦＴ処理部１３ｅを参照）。この逆ＦＦＴ処理により位相相関関数ｄ（式（２）を参照）から得られる位相相関係数が動き量検出部１３ｆに供給される。
【００５１】
ステップＳ２１では、位相相関係数のピーク値の検出を行う。このピーク値検出処理は例えば動き量検出部１３ｆで行う。この処理により現フレームの画像ｇ１ と１フレーム前の画像ｇ２ の空間領域における相関の高い位置関係にあるをピークとして検出する。
ステップＳ２２では、例えば動き量検出部１３ｆにおいてステップ２１で求めた２つの画像ｇ１ 、ｇ２ のピーク位置の差から１フレーム間に移動した動きベクトルを算出し出力端子１６から出力する。
【００５２】
ステップＳ２３では１フレームの画像ｇ１ 、ｇ２ のブロックすべての動き量算出が終了したかどうかを判定している。１フレームの画像すべての動きベクトル算出がまだのとき、ステップＳ１０、ステップＳ１１の前に戻って上述した動きベクトル検出処理の手順を繰り返す。また、１フレームの画像すべての動きベクトル算出が終了したとき、この一連の処理を終了する。
【００５３】
このように構成、あるいは手順を踏むことにより、各画像について位相成分に反映される動きを位相相関で正しく検出できる。この方法により、真の動きベクトルを一意に決定することができ、誤検出の虞れを少なくし、画像を分割するブロックサイズを小さくしても良い検出精度の動きベクトルを検出することができ、小物体の動きに対する追従性も向上させることができる。また、上述した手順をディジタルシグナルプロセッサ（ＤＳＰ）に記憶させてソフトウェア的に動きベクトルを検出させることもできる。
【００５４】
なお、上述した実施例では、ＦＦＴを用いて位相相関をとり、ＩＦＦＴすることで動き量を検出したが、直交変換としては上記ＦＦＴに限定されるものでなく、他の種々の直交変換を用いてもよい。
【００５５】
この動き量検出装置を動き補償画像符号化装置に適用した場合について説明する。
動き補償画像符号化装置は、入力端子２１を介してコンポーネントの輝度信号Ｙをフィールド内ブロック化回路２２に供給する。フィールド内ブロック化回路２２でブロック化された信号を加算器２３に送ると共に、動き量検出装置２４の一端側に供給する。加算器２３は、ブロック化された信号と動き補償回路２５からの信号との差信号を予測誤差信号としてエンコーダ２６に出力する。エンコーダ２６はブロック化されたエンコードデータをデコーダ２７に供給してローカルデコードを行って加算器２８の一端側に送る。加算器２８は、上記動き補償回路２５からの出力と加算してフレームメモリ２９にブロック化された画像を格納する。
【００５６】
フレームメモリ２９は、１フレーム分ディレイした画像を動き補償回路２５に出力すると共に、動き検出装置２４の他端側に供給する。動き検出装置２４は上述したように現フレームの入力画像と上記１フレーム分ディレイした画像から１フレームの時間内の動き量を検出する。動き検出装置２４は求めた動き量を動き補償回路２５に供給する。動き補償回路２５は、この動き量を用いて正確な動き補償を行う。動き補償回路２５は、この正確な動き補償された動き補償信号を加算器２３に供給する。
【００５７】
加算器２３は、フィールド内ブロック回路２２からの出力信号と動き補償信号の差分をとった差信号でエンコーダ２６に出力する。この差信号をエンコードすることにより、エンコーダ２６は出力端子３０を介して精度良い動きベクトルに応じた追従性のよい動き補償画像符号化データを出力する。
【００５８】
このように動き量検出装置を適用することにより、誤検出の虞れが少なくなり、入力画像データの圧縮効率を向上させることができる。
【００５９】
【発明の効果】
本発明に係る動き量検出装置では、画像エッジ検出手段で供給される２つの画像から動き量を検出する前に画面内での画像のエッジとして検出し、画像鮮鋭化手段で画像エッジ検出手段からの出力信号に応じて検出されたエッジ部分に対してそれぞれ画像の鮮鋭化処理を施し、動き量検出手段で画像鮮鋭化手段により鮮鋭化された２つの画像に対して動き量検出処理として、例えば直交変換して位相相関関数のピーク値を検出し逆直交変換することにより、動き量を検出処理を行って画像間の動きを誤検出を少なく、真の動きベクトルを一意に決定することができ、誤検出の虞れを少なくする。また、画像を分割するブロックサイズを小さくしても良い検出精度の動きベクトルを検出することができ、小物体の動きに対する追従性も向上させることができる。
【００６０】
また、本発明に係る動き量検出方法では、画像エッジ検出工程で供給される２つの画像から動き量を検出する前に画面内での画像のエッジとして検出し、画像鮮鋭化工程で画像エッジ検出工程からの出力信号に応じて検出されたエッジ部分に対してそれぞれ画像の鮮鋭化処理を施し、動き量検出工程で画像鮮鋭化工程により鮮鋭化された２つの画像に対して動き量検出処理として、例えば直交変換して位相相関関数のピーク値を検出し逆直交変換することにより、画像間の動き量を検出することができ、誤検出の虞れを少なくする。また、画像を分割するブロックサイズを小さくしても良い検出精度の動きベクトルを検出することができ、小物体の動きに対する追従性も向上させることができる。
【００６１】
この動き検出装置を動き補償画像符号化装置に適用すれば、誤検出の虞れが少なくすると共に、入力画像データの圧縮効率を向上させることができる。
【図面の簡単な説明】
【図１】本発明に係る動き量検出装置の一実施例の回路構成を示すブロック回路図である。
【図２】上記ブロック回路構成の動作を説明するためのフローチャートである。
【図３】本発明に係る動き量検出装置を適用した動き補償画像符号化装置の構成を示すブロック図である。
【符号の説明】
１１・・・・・・・・境界検出部
１２・・・・・・・・画像鮮鋭化フィルタ部
１３・・・・・・・・動き量検出処理部
１１ａ、１１ｂ・・・・・・・・・境界検出回路
１２ａ、１２ｂ・・・・・・・・・画像鮮鋭化フィルタ
１３ａ、１３ｂ・・・・・・・・・ＦＦＴ処理部
１３ｃ・・・・・・・・・・・・・共役化処理部
１３ｄ・・・・・・・・・・・・・複素パワー算出部
１３ｅ・・・・・・・・・・・・・逆ＦＦＴ処理部
１３ｆ・・・・・・・・・・・・・動き量検出部
２４・・・・・・・・動き量検出装置
【産業上の利用分野】
本発明は、ディジタル画像信号で生成される２つの画像を用いこれら２つの画像から動き量を検出する動き量検出装置及び動き量検出方法に関するものである。
【０００２】
【従来の技術】
従来より、画像の３次元信号処理が進むに連れて、動きベクトルすなわち画像中の物体の動きの方向と大きさ（速さ）を用いて各種画像処理が行われるようになり、例えば、画像の高能率符号化における動き補償フレーム間符号化、フレーム間時間領域フィルタによるＴＶ雑音軽減装置における動きによるパラメータ制御、気象衛星から送られる連続画像による雲の速度の計測、道路監視における速度測定などが動きベクトルを用いて行われている。
【０００３】
連続する画像から、動きベクトルを測定する方法としては、連続する画像間の差を最小にする偏位を求めることにより動きベクトルを決定するパターンマッチング法や、画像の空間勾配と画像間差の関係から動きベクトルを求める勾配法と共に、高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を利用して位相相関化数のピーク値から動きベクトルを決定する位相相関法が知られている。
【０００４】
【発明が解決しようとする課題】
ところで、上述した位相相関法では、動き量を求める２つのディジタル画像信号で生成される画像のブロック中で輝度信号のレベル変化が存在する、例えばエッジ部分が鮮明でない場合、このエッジ部分の不鮮明さによって、たとえ検出中のブロックが本来動きのあるブロックとしても本来の動き量を検出できないことが実験から知られている。このため、検出された動きベクトルは、本来の動きと異なった動きベクトルを示すことになる。これが動き量検出を誤ってしまう一因である。また、位相相関法では検出精度を所定のレベルに保つためには、使用するデータ量を多くするためかなり大きなブロックサイズ領域に対して位相相関処理を施さなければならないことが知られている。これらの問題点を解決するために、画像の鮮鋭化処理により輝度信号の変化を鮮明にさせることが改善法として行われている。
【０００５】
ところが、上述した画像の鮮鋭化処理を切り出したブロック内の全画素に施すと、本来のエッジでないノイズ成分も強調されてしまうことになる。実際に動き量検出装置において動き量をもとめる場合、このノイズ成分が動き量を求めるときの外乱要素となり、動きベクトルの誤検出を起こしてしまう。
【０００６】
そこで、本発明は、上述したような実情に鑑みてなされたものであり、輝度信号の変化が不鮮明な画像であっても、ブロック間の画像が本来有する動き量を精度よく検出することができる動き量検出装置及び動き量検出方法の提供を目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る動き量検出装置は、鮮鋭化処理を施すために、入力画像信号の画像のエッジを検出する画像エッジ検出手段と、上記入力画像信号の画像の鮮鋭化処理を上記画像エッジ検出手段により検出されたエッジ部に対してのみ施す画像鮮鋭化手段と、該画像鮮鋭化手段からの出力信号に対して動き量を検出する動き量検出処理手段とを有することにより、上述した問題を解決する。
【０００８】
ここで、上記動き量検出処理手段は、入力される画像信号をブロック化してブロック単位で動き量検出を行い、上記画像鮮鋭化手段から供給される画像信号に対して位相相関法を用いて動き量を検出する。上記動き量検出手段は、上記画像鮮鋭化処理手段からの出力信号中の互いに１フレームずれた２つのブロックの各画像信号をそれぞれ直交変換し、これらの２つの直交変換出力間の相関をとって、逆直交変換することにより動き量検出を行う。上記直交変換としては、例えば高速フーリエ変換（ＦＦＴ）がある。
【０００９】
例えば、具体的な回路構成としては、上記画像エッジ検出手段では、ブロック化された第１の画像信号と１フレーム遅延しブロック化された第２の画像信号の画面内で輝度の変化を画像の境界として検出する第１の画像エッジ検出手段と第２の画像エッジ検出手段とを設け、上記画像鮮鋭化手段では、上記第１の画像信号と上記第２の画像信号にそれぞれ第１の画像エッジ検出手段と第２の画像エッジ検出手段から供給される出力信号に応じて鮮鋭化処理を施す第１の画像鮮鋭化手段と第２の画像鮮鋭化手段とを設け、上記動き量検出手段では、第１の画像鮮鋭化手段と第２の画像鮮鋭化手段から出力されるそれぞれの出力信号に対してＦＦＴ処理する第１のＦＦＴ処理手段と第２のＦＦＴ処理手段と、第１のＦＦＴ処理手段と第２のＦＦＴ処理手段のいずれか一方の出力信号に対する他方の出力信号に共役化処理を施す共役化手段と、上記第１のＦＦＴ処理手段と上記第２のＦＦＴ処理手段のいずれか一方の出力信号と該共役化手段からの出力信号と上記共役化手段からの出力信号を基に位相相関を複素パワースペクトルとしてとり、この結果から最も位相相関の高いブロックを出力する位相相関判定手段と、該位相相関判定手段からの出力信号に逆ＦＦＴ処理を行う逆ＦＦＴ処理手段と、該逆ＦＦＴ処理手段の出力信号から第１の画像信号と第２の画像信号の動き量を検出するブロック間動き検出手段とで構成される。
【００１０】
また、本発明に係る動き量検出方法は、鮮鋭化処理を施すために、入力画像信号の画像のエッジを検出する画像エッジ検出工程と、上記入力画像信号の画像の鮮鋭化処理を上記画像エッジ検出工程により検出されたエッジ部に対してのみ施す画像鮮鋭化工程と、該画像鮮鋭化工程からの出力信号に対して動き量を検出する動き量検出処理工程とを有することにより、上述した問題を解決する。
【００１１】
ここで、上記動き量検出処理工程は、入力される画像信号をブロック化してブロック単位で動き量検出を行い、上記画像鮮鋭化工程から供給される画像信号に対して位相相関法を用いて動き量を検出する。上記動き量検出手段は、上記画像鮮鋭化処理手段からの出力信号中の互いに１フレームずれた２つのブロックの各画像信号をそれぞれ直交変換し、これらの２つの直交変換出力間の相関をとって、逆直交変換することにより動き量検出を行う。上記直交変換としては、例えば高速フーリエ変換（ＦＦＴ）がある。
【００１２】
ここでも、使用する画像は、所定の領域に分割されたブロック毎に動き量検出処理を位相相関法を用いて行われる。例えば、具体的な処理工程としては、上記画像エッジ検出工程で、ブロック化された第１の画像信号と１フレーム遅延しブロック化された第２の画像信号の画面内で輝度の変化を画像の境界として検出する第１の画像エッジ検出工程と第２の画像エッジ検出工程とを設け、上記画像鮮鋭化工程では、上記第１の画像信号と上記第２の画像信号にそれぞれ第１の画像エッジ検出工程と第２の画像エッジ検出工程から供給される出力信号に応じて鮮鋭化処理を施す第１の画像鮮鋭化工程と第２の画像鮮鋭化工程とを設け、上記動き量検出処理工程では、第１の画像鮮鋭化工程と第２の画像鮮鋭化工程から出力されるそれぞれの出力信号に対してＦＦＴ処理する第１のＦＦＴ処理工程と第２のＦＦＴ処理工程と、第１のＦＦＴ処理工程と第２のＦＦＴ処理工程のいずれか一方の出力信号に対する他方の出力信号に共役化処理を施す共役化工程と、上記第１のＦＦＴ処理工程と上記第２のＦＦＴ処理工程のいずれか一方の出力信号と該共役化工程からの出力信号と上記共役化工程からの出力信号を基に位相相関を複素パワースペクトルとしてとり、この結果から最も位相相関の高いブロックを出力する位相相関判定工程と、該位相相関判定工程からの出力信号に逆ＦＦＴ処理を行う逆ＦＦＴ処理工程と、該逆ＦＦＴ処理工程の出力信号から第１の画像信号と第２の画像信号とのブロック間の動き量を検出するブロック間動き検出工程とを設けて動き量を検出する。
【００１３】
【作用】
本発明に係る動き量検出装置では、画像エッジ検出手段で供給される２つの画像から動き量を検出する前に画面内で輝度の変化を画像のエッジとして検出し、画像鮮鋭化手段で画像エッジ検出手段からの出力信号に応じて検出されたエッジ部分に対してそれぞれ画像の鮮鋭化処理を施し、動き量検出手段で画像鮮鋭化手段により鮮鋭化された２つの画像に対して動き量検出処理として、例えば直交変換して位相相関関数のピーク値を検出し逆直交変換することにより、画像間の動き量を検出している。
【００１４】
また、本発明に係る動き量検出方法では、画像エッジ検出工程で供給される２つの画像から動き量を検出する前に画面内で輝度の変化を画像のエッジとして検出し、画像鮮鋭化工程で画像エッジ検出工程からの出力信号に応じて検出されたエッジ部分に対してそれぞれ画像の鮮鋭化処理を施し、動き量検出工程で画像鮮鋭化工程により鮮鋭化された２つの画像に対して動き量検出処理として、例えば直交変換して位相相関関数のピーク値を検出し逆直交変換することにより、画像間の動き量を検出している。
【００１５】
【実施例】
以下、本発明に係る動き量検出装置及び動き量検出方法の一実施例について、図面を参照しながら説明する。
【００１６】
本発明を適用した動き量検出装置は、例えばディジタル画像信号から生成される２つの画像を用いこれら２つの画像から動き量を検出する装置として用いる。この動き量検出装置は、例えば図１に示すように、入力画像信号の画像のエッジを検出する画像エッジ検出手段としての境界検出部１１と、上記入力画像信号の上記境界検出部１１により検出されたエッジ部分に対してのみ画像の鮮鋭化処理を施す画像鮮鋭化手段としての画像鮮鋭化フィルタ部１２と、該画像鮮鋭化フィルタ部１２からの出力信号に対して動き量検出処理を施す動き量検出処理手段としての動き量検出処理部１３とで構成される。
【００１７】
入力信号としてのディジタル画像信号から生成される２つの画像は、予め動き量検出装置に供給される前に画像を複数のブロックに分割している。この動き量検出装置には、ブロック化された輝度信号Ｙｔ とブロック化された１フレーム分遅延された輝度信号Ｙｔ−１ がそれぞれ入力端子１４、１５を介して供給されている。これらブロック化された輝度信号Ｙｔ 、Ｙｔ−１ は、共に偶数フィールドあるいは奇数フィールドからなる。ブロック化された輝度信号Ｙｔ とＹｔ−１ に対して境界検出部１１の境界検出回路１１ａ、１１ｂは、画像中のエッジ境界部分を検出する。境界検出部１１は、境界検出回路１１ａ、１１ｂから各ブロックの境界情報を画像鮮鋭化フィルタ部１２の画像鮮鋭化フィルタ１２ａ、１２ｂにそれぞれ出力する。画像鮮鋭化フィルタ１２ａは、ブロック化された輝度信号Ｙｔ を境界検出回路１１ａからの境界情報に応じた画像の鮮鋭化を行って動き量検出処理部１３に出力する。画像鮮鋭化フィルタ１２ｂも、ブロック化された輝度信号Ｙｔー１ を境界検出回路１１ｂからの境界情報に応じた画像の鮮鋭化を行って動き量検出処理部１３に出力する。
【００１８】
動き量検出処理部１３は、それぞれのブロック化された画像、すなわち輝度信号Ｙｔ 、Ｙｔ−１ をＦＦＴ処理部１３ａ、１３ｂでＦＦＴ処理を行う。ＦＦＴ処理部１３ａは、処理結果を複素パワー算出部１３ｄに供給する。また、ＦＦＴ処理部１３ａは、処理結果を共役化処理部１３ｃを介して複素パワー算出部１３ｄに供給する。複素パワー算出部１３ｄは、これら供給された処理結果からパワースペクトルを計算する。次に、上記パワースペクトルを基に算出した位相相関値を空間領域の値に変換するため、逆ＦＦＴ処理部１３ｅで逆ＦＦＴ処理が行われる。動き量検出部１３ｆでは、各ブロック領域内におけるピーク値の検出が行われ、このフレーム間のピーク値の空間的な距離、方向から動きベクトルが算出される。
【００１９】
つぎに、動き量検出装置において使用する方法の原理について説明する。
先ず、位相相関法とは空間領域のデータを位相領域に変換しこの位相領域における位相相関関数の値を基に２つの画像ｇ１ 、ｇ２ の相関を求めて相関値の高い領域を関連する領域として求める方法である。ここで、２つの画像ｇ１ 、ｇ２ の位相相関を求めるため、２つの画像ｇ１ 、ｇ２ が複数のブロックに分割される。各ブロックは例えばＮ×Ｎ画素のサイズをブロック単位としている。
【００２０】
位相相関法では、各ブロック内の画素に対して２次元高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）処理を行ってフーリエ変換された画像データＧ１ 、Ｇ２ を生成する。これらの画像データＧ１ 、Ｇ２ は、例えばＮ×Ｎ個の複素数要素とする。そして、例えば一方の画像データＧ２ の複素数要素について共役複素数Ｇ２ ＊を求める。このようにして空間領域から位相領域へのデータ変換を行っている。位相領域の画像データを基に相関をとることは複素パワースペクトルＧ１ ・Ｇ２ ＊を求めることに等価である。このとき、位相領域では、ＦＦＴ処理前の空間領域での偏位が位相成分にのみ現れることから、振幅成分を考慮に入れないために、各複素数要素の大きさを正規化する。この正規化されたパワースペクトルｅｘｐ（ｊφ） は、
【００２１】
【数１】
と表される。ただし、ｊは虚数、φ１ は画像データＧ１ の位相成分、φ２ は画像データＧ２ の位相成分である。
次に、求めた位相領域での相関が実空間である空間領域のどの位置に現れているかを知るために算出したパワースペクトルｅｘｐ（ｊφ） に対する逆ＦＦＴ処理が行われる。この逆ＦＦＴ処理により位相相関関数ｄが求められる。位相相関関数ｄは、
【００２３】
【数２】
と表され、空間領域における相関の高い位置にピークが現れる。このピーク位置を読み取って例えば１フレーム前の画像のピーク位置との差をとれば１フレーム間に移動した動き量として検出することができる。この動き量から動きベクトルが求められている。
【００２５】
この位相相関法では動き量を検出する２つの画像間での位相成分の相関は例えば画像のエッジ部分、すなわち輝度信号の変化部分が位相成分に反映して現れる。上記エッジ部分が不鮮明な場合、位相成分が現れ難いため実際に画像ブロック間に動きが存在しても位相成分からその動きに対する相関が出難くなる。このような相関における検出の困難さが動き量検出における誤検出の原因である。そこで、上述の問題点を解決するために画像鮮鋭化処理が２つの画像に施される。画像鮮鋭化処理は、例えば画像鮮鋭化フィルタで画像の高域成分を抽出して原画像に加えて輝度信号の変化部を強調させ、動きを位相成分に反映させるようにして動き量の正しい検出を行わせる。
【００２６】
つぎに、画像内のエッジ境界検出による選択的な画像鮮鋭化について説明する。
上述したように画像鮮鋭化処理を行う場合、画像鮮鋭化処理における高域成分の強調化は、ランダムノイズに対しても強調処理してしまう。このランダムノイズの強調は動き量を求める際の外乱要素になる。そこで、画像鮮鋭化処理においてランダムノイズ成分を強調せず、動き量検出に必要な画像のエッジ成分（輝度信号変化部分）だけを選択的に強調させると、画像鮮鋭化処理は外乱要素を少なくすることになる。このため、選択的なエッジ部分の強調を行わせるため、エッジの境界検出が行われる。エッジの境界検出は、画素データｇに例えば境界検出回路内に設けた境界検出フィルタを用いて局所的なオペレータＭの作用する。オペレータが作用した画素データＭ＊ｇが、所定のしきい値ＴＨよりも大きい値（Ｍ＊ｇ ≧ ＴＨ）のとき、この画素データｇを境界画素と判断する。オペレータが作用した画素データＭ＊ｇが、所定のしきい値ＴＨよりも小さい値（Ｍ＊ｇ＜ ＴＨ）のとき、この画素データｇを平坦部の画素と判断する。ただし、記号＊は畳み込み（コンボリューション）を示し、ＴＨは境界を判断するしきい値を示す。ブロック内で境界と判断された画素はランダムな孤立的ノイズの除外された画素と考えられるので、この境界画素に対してのみ選択的に画像鮮鋭化処理を施せば、画像鮮鋭化処理は外乱要素を強調することなく、必要とする画素に対してだけ画像鮮鋭化処理を行うことができる。このようにして画像鮮鋭化処理が行われることにより、境界部分の移動に対する誤検出を少なくすることができる。
【００２７】
つぎに、動き量検出方法の動作手順について簡単に説明する。必要に応じて対応する図１を参照する。
入力端子１４に供給する画像ｇ１ の輝度信号Ｙｔ がステップＳ１０でブロック化される。また、入力端子１５に供給する画像ｇ２ の輝度信号ＹがステップＳ１１でブロック化される。ここで、この画像ｇ２ の輝度信号Ｙｔ−１ は、例えば上記画像ｇ１ の輝度信号Ｙｔ に対して１フレームだけディレイさせたものである。入力端子１４を介して境界検出部１１の境界検出回路１１ａに輝度信号Ｙｔ を供給する。また、入力端子１４を介して境界検出部１１の境界検出回路１１ｂに輝度信号Ｙｔー１ も供給される。
【００２８】
境界検出部１１の境界検出回路１１ａ、１１ｂは、以下に示す例えば３×３の局所的オペレータを４通り有している。局所的オペレータは、それぞれ水平方向、垂直方向、斜め右上がり方向及び斜め右下がり方向のオペレータを２つずつ有している。水平方向の局所オペレータは、
【００２９】
【数３】
【数４】
であり、垂直方向の局所オペレータは、
【００３２】
【数５】
【数６】
であり、斜め右上がり方向の局所オペレータは、
【００３５】
【数７】
【数８】
であり、斜め右下がり方向の局所オペレータは、
【００３８】
【数９】
【数１０】
である。それぞれの局所オペレータと対象とする画素ｇをコンボリューションして計算する。この対象画素に対して８通りの方向から局所オペレータを作用させた際に少なくとも１つの方向に演算Ｍ＊ｇがしきい値以上のとき、境界検出回路１１ａ、１１ｂは、それぞれ対象画素を境界と判断する。
【００４１】
ステップＳ１４とステップＳ１５では、検出されたエッジ部分の鮮鋭化処理がそれぞれ対象画像ｇ１ 、ｇ２ に施される。図１に示した回路構成の場合、エッジ部分の鮮鋭化処理は、画像鮮鋭化フィルタ部１２の画像鮮鋭化フィルタ１２ａ、１２ｂで各境界検出回路１１ａ、１１ｂからの判断結果に応じて行われる。すなわち、例えば画像鮮鋭化フィルタ１２ａ、１２ｂは、境界と判断した信号レベルに応じて後述するソフトウェアと同等のフィルタ処理によって画像鮮鋭化処理を施す。また、それ以外の場合、エッジ部分の鮮鋭化処理を行わずにステップＳ１６とステップＳ１７に進む。
【００４２】
また、ソフトウェア的に上述の処理を行う場合、ステップＳ１４とステップＳ１５の処理は、ブロック内に格納している境界の対象画素のアドレスだけをアクセスして対象画素データを読み出してフィルタ係数を作用させる。フィルタ係数の一例は、
【００４３】
【数１１】
【数１２】
【数１３】
と３×３の局所オペレータを用いる。このようにエッジ部分だけに画像鮮鋭化処理を施して外乱を発生させることなく対象画素を強調させることができる。
【００４７】
次に、ステップＳ１６とステップＳ１７ではそれぞれ画像鮮鋭化フィルタ部１２からの各ブロック内の画素に対して２次元のＦＦＴ処理が行われる。この２次元のＦＦＴ処理部によって画像ｇ１ 、ｇ２ は、動き量検出処理部１３で画像データＧ１ 、Ｇ２ という複素要素になる（図１のＦＦＴ処理部１３ａ、１３ｂを参照）。この処理によって空間領域の画素データが位相領域の画素データに変換される。
【００４８】
次に、ステップＳ１８ではステップＳ１７で生成された画像データＧ２ から共役複素要素Ｇ２ ＊を生成する。図１ではＦＦＴ処理部１３ｂの画像データＧ２ が共役化処理部１３ｃに供給される。
【００４９】
ステップＳ１９では複素パワースペクトルを算出する。動き量検出処理部１３の複素パワー算出部１３ｄでは、ＦＦＴ処理部１３ａからの画像データＧ１ と共役化処理部１３ｃからの画像データＧ２ ＊を乗算して複素パワースペクトルＧ１ ・Ｇ２ ＊を算出する。この演算は位相領域の画像データを基に相関をとることと等価である。このとき、位相領域では、ＦＦＴ処理前の空間領域での偏位が位相成分にのみ現れることから、振幅成分を考慮に入れないために、各複素数要素の大きさを正規化する。このようにして複素パワースペクトルの位相項の相関を算出してステップＳ２０に進む。
【００５０】
ステップＳ２０では、求めた位相領域での相関が実空間である空間領域のどの位置に現れているかを知るために算出したパワースペクトルに対する逆ＦＦＴ処理が行われる（例えば図１の逆ＦＦＴ処理部１３ｅを参照）。この逆ＦＦＴ処理により位相相関関数ｄ（式（２）を参照）から得られる位相相関係数が動き量検出部１３ｆに供給される。
【００５１】
ステップＳ２１では、位相相関係数のピーク値の検出を行う。このピーク値検出処理は例えば動き量検出部１３ｆで行う。この処理により現フレームの画像ｇ１ と１フレーム前の画像ｇ２ の空間領域における相関の高い位置関係にあるをピークとして検出する。
ステップＳ２２では、例えば動き量検出部１３ｆにおいてステップ２１で求めた２つの画像ｇ１ 、ｇ２ のピーク位置の差から１フレーム間に移動した動きベクトルを算出し出力端子１６から出力する。
【００５２】
ステップＳ２３では１フレームの画像ｇ１ 、ｇ２ のブロックすべての動き量算出が終了したかどうかを判定している。１フレームの画像すべての動きベクトル算出がまだのとき、ステップＳ１０、ステップＳ１１の前に戻って上述した動きベクトル検出処理の手順を繰り返す。また、１フレームの画像すべての動きベクトル算出が終了したとき、この一連の処理を終了する。
【００５３】
このように構成、あるいは手順を踏むことにより、各画像について位相成分に反映される動きを位相相関で正しく検出できる。この方法により、真の動きベクトルを一意に決定することができ、誤検出の虞れを少なくし、画像を分割するブロックサイズを小さくしても良い検出精度の動きベクトルを検出することができ、小物体の動きに対する追従性も向上させることができる。また、上述した手順をディジタルシグナルプロセッサ（ＤＳＰ）に記憶させてソフトウェア的に動きベクトルを検出させることもできる。
【００５４】
なお、上述した実施例では、ＦＦＴを用いて位相相関をとり、ＩＦＦＴすることで動き量を検出したが、直交変換としては上記ＦＦＴに限定されるものでなく、他の種々の直交変換を用いてもよい。
【００５５】
この動き量検出装置を動き補償画像符号化装置に適用した場合について説明する。
動き補償画像符号化装置は、入力端子２１を介してコンポーネントの輝度信号Ｙをフィールド内ブロック化回路２２に供給する。フィールド内ブロック化回路２２でブロック化された信号を加算器２３に送ると共に、動き量検出装置２４の一端側に供給する。加算器２３は、ブロック化された信号と動き補償回路２５からの信号との差信号を予測誤差信号としてエンコーダ２６に出力する。エンコーダ２６はブロック化されたエンコードデータをデコーダ２７に供給してローカルデコードを行って加算器２８の一端側に送る。加算器２８は、上記動き補償回路２５からの出力と加算してフレームメモリ２９にブロック化された画像を格納する。
【００５６】
フレームメモリ２９は、１フレーム分ディレイした画像を動き補償回路２５に出力すると共に、動き検出装置２４の他端側に供給する。動き検出装置２４は上述したように現フレームの入力画像と上記１フレーム分ディレイした画像から１フレームの時間内の動き量を検出する。動き検出装置２４は求めた動き量を動き補償回路２５に供給する。動き補償回路２５は、この動き量を用いて正確な動き補償を行う。動き補償回路２５は、この正確な動き補償された動き補償信号を加算器２３に供給する。
【００５７】
加算器２３は、フィールド内ブロック回路２２からの出力信号と動き補償信号の差分をとった差信号でエンコーダ２６に出力する。この差信号をエンコードすることにより、エンコーダ２６は出力端子３０を介して精度良い動きベクトルに応じた追従性のよい動き補償画像符号化データを出力する。
【００５８】
このように動き量検出装置を適用することにより、誤検出の虞れが少なくなり、入力画像データの圧縮効率を向上させることができる。
【００５９】
【発明の効果】
本発明に係る動き量検出装置では、画像エッジ検出手段で供給される２つの画像から動き量を検出する前に画面内での画像のエッジとして検出し、画像鮮鋭化手段で画像エッジ検出手段からの出力信号に応じて検出されたエッジ部分に対してそれぞれ画像の鮮鋭化処理を施し、動き量検出手段で画像鮮鋭化手段により鮮鋭化された２つの画像に対して動き量検出処理として、例えば直交変換して位相相関関数のピーク値を検出し逆直交変換することにより、動き量を検出処理を行って画像間の動きを誤検出を少なく、真の動きベクトルを一意に決定することができ、誤検出の虞れを少なくする。また、画像を分割するブロックサイズを小さくしても良い検出精度の動きベクトルを検出することができ、小物体の動きに対する追従性も向上させることができる。
【００６０】
また、本発明に係る動き量検出方法では、画像エッジ検出工程で供給される２つの画像から動き量を検出する前に画面内での画像のエッジとして検出し、画像鮮鋭化工程で画像エッジ検出工程からの出力信号に応じて検出されたエッジ部分に対してそれぞれ画像の鮮鋭化処理を施し、動き量検出工程で画像鮮鋭化工程により鮮鋭化された２つの画像に対して動き量検出処理として、例えば直交変換して位相相関関数のピーク値を検出し逆直交変換することにより、画像間の動き量を検出することができ、誤検出の虞れを少なくする。また、画像を分割するブロックサイズを小さくしても良い検出精度の動きベクトルを検出することができ、小物体の動きに対する追従性も向上させることができる。
【００６１】
この動き検出装置を動き補償画像符号化装置に適用すれば、誤検出の虞れが少なくすると共に、入力画像データの圧縮効率を向上させることができる。
【図面の簡単な説明】
【図１】本発明に係る動き量検出装置の一実施例の回路構成を示すブロック回路図である。
【図２】上記ブロック回路構成の動作を説明するためのフローチャートである。
【図３】本発明に係る動き量検出装置を適用した動き補償画像符号化装置の構成を示すブロック図である。
【符号の説明】
１１・・・・・・・・境界検出部
１２・・・・・・・・画像鮮鋭化フィルタ部
１３・・・・・・・・動き量検出処理部
１１ａ、１１ｂ・・・・・・・・・境界検出回路
１２ａ、１２ｂ・・・・・・・・・画像鮮鋭化フィルタ
１３ａ、１３ｂ・・・・・・・・・ＦＦＴ処理部
１３ｃ・・・・・・・・・・・・・共役化処理部
１３ｄ・・・・・・・・・・・・・複素パワー算出部
１３ｅ・・・・・・・・・・・・・逆ＦＦＴ処理部
１３ｆ・・・・・・・・・・・・・動き量検出部
２４・・・・・・・・動き量検出装置
Claims (8)
- 鮮鋭化処理を施すために、入力画像信号の画像のエッジを検出する画像エッジ検出手段と、
上記入力画像信号の画像の鮮鋭化処理を上記画像エッジ検出手段により検出されたエッジ部に対してのみ施す画像鮮鋭化手段と、
該画像鮮鋭化手段からの出力信号に対して動き量を検出する動き量検出処理手段と
を有することを特徴とする動き量検出装置。 - 上記動き量検出処理手段は、入力される画像信号をブロック化してブロック単位で動き量を検出することを特徴とする請求項１記載の動き量検出装置。
- 上記動き量検出処理手段は、上記画像鮮鋭化手段から供給されるブロック単位の空間領域の画像信号を位相領域に変換し、位相相関法を用いて動き量を検出することを特徴とする請求項２記載の動き量検出装置。
- 上記動き量検出処理手段は、上記画像鮮鋭化処理手段からの出力信号中の互いに１フレームずれた２つのブロックの各画像信号をそれぞれ直交変換し、これらの２つの直交変換出力間の相関をとって、逆直交変換することにより動き量を検出することを特徴とする請求項３記載の動き量検出装置。
- 鮮鋭化処理を施すために、入力画像信号の画像のエッジを検出する画像エッジ検出工程と、
上記入力画像信号の画像の鮮鋭化処理を上記画像エッジ検出工程により検出されたエッジ部に対してのみ施す画像鮮鋭化工程と、
該画像鮮鋭化工程からの出力信号に対して動き量を検出する動き量検出処理工程と
を有することを特徴とする動き量検出方法。 - 上記動き量検出処理工程は、入力される画像信号をブロック化してブロック単位で動き量を検出することを特徴とする請求項５記載の動き量検出方法。
- 上記動き量検出処理工程は、上記画像鮮鋭化工程から供給されるブロック単位の空間領域の画像信号を位相領域に変換し、位相相関法を用いて動き量を検出することを特徴とする請求項６記載の動き量検出方法。
- 上記動き量検出処理工程は、上記画像鮮鋭化処理手段からの出力信号中の互いに１フレームずれた２つのブロックの各画像信号をそれぞれ直交変換し、これらの２つの直交変換出力間の相関をとって、逆直交変換することにより動き量を検出することを特徴とする請求項７記載の動き量検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20734693A JP3626218B2 (ja) | 1993-08-23 | 1993-08-23 | 動き量検出装置及び動き量検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20734693A JP3626218B2 (ja) | 1993-08-23 | 1993-08-23 | 動き量検出装置及び動き量検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0766989A JPH0766989A (ja) | 1995-03-10 |
| JP3626218B2 true JP3626218B2 (ja) | 2005-03-02 |
Family
ID=16538221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20734693A Expired - Lifetime JP3626218B2 (ja) | 1993-08-23 | 1993-08-23 | 動き量検出装置及び動き量検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3626218B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4977444B2 (ja) * | 2006-10-31 | 2012-07-18 | 三星電子株式会社 | 動画像ノイズ除去装置および動画像ノイズ除去方法 |
| JP4209938B2 (ja) | 2007-03-06 | 2009-01-14 | パナソニック株式会社 | 画像処理装置および方法、画像処理プログラムおよび画像処理プロセッサ |
| JP2010157949A (ja) * | 2009-01-05 | 2010-07-15 | Toshiba Corp | 動画像符号化／復号化方法及び装置 |
| US9374532B2 (en) * | 2013-03-15 | 2016-06-21 | Google Inc. | Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization |
| JP6651984B2 (ja) * | 2016-05-26 | 2020-02-19 | 株式会社リコー | 情報処理装置、会議システムおよび情報処理装置の制御方法 |
-
1993
- 1993-08-23 JP JP20734693A patent/JP3626218B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0766989A (ja) | 1995-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100723284B1 (ko) | 정보 신호에서의 보조 데이터의 검출 | |
| KR100740792B1 (ko) | 워터마크 검출 방법 및 워터마크 검출 장치 | |
| Shi et al. | Canny edge based image expansion | |
| Sandić-Stanković et al. | DIBR-synthesized image quality assessment based on morphological multi-scale approach | |
| US7006255B2 (en) | Adaptive image filtering based on a distance transform | |
| US7751591B2 (en) | Dominant motion analysis | |
| WO1992021210A1 (en) | Method for detecting moving vector and apparatus therefor, and system for processing image signal using the apparatus | |
| US9148653B2 (en) | Stereo image processing device and stereo image processing method | |
| WO2005027491A2 (en) | Global motion estimation image coding and processing | |
| WO2007051993A1 (en) | Video motion detection | |
| KR20080112967A (ko) | 움직임 보상된 보간을 위한 주기적 패턴 검출 시스템 및방법 | |
| CN101971209A (zh) | 超高分辨率视频处理的稀疏几何结构 | |
| JP3626218B2 (ja) | 動き量検出装置及び動き量検出方法 | |
| US7031535B2 (en) | Image processing apparatus capable of interpolating error data | |
| Kang et al. | Fusing soft-decision-adaptive and bicubic methods for image interpolation | |
| GB2443700A (en) | Reduction of blocking artefacts in decompressed images | |
| US6657677B1 (en) | Method and apparatus for improving conversion from SD to HDTV | |
| Loo et al. | Motion-estimation-based registration of geometrically distorted images for watermark recovery | |
| EP1955548B1 (en) | Motion estimation using motion blur information | |
| JPH11298898A (ja) | ブロック歪低減回路 | |
| Krämer et al. | Super-resolution mosaicing from MPEG compressed video | |
| JPH06176151A (ja) | 画像の動き量検出装置 | |
| KR102658842B1 (ko) | 이미지 처리 장치 | |
| Shukla et al. | Performance analysis of frequency domain filters for noise reduction | |
| Yoon et al. | Enhancement of out-of-focus images using fusion-based PSF estimation and restoration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030422 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041202 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |