JP4608136B2 - 動きベクトル及び視差ベクトル検出装置 - Google Patents
動きベクトル及び視差ベクトル検出装置 Download PDFInfo
- Publication number
- JP4608136B2 JP4608136B2 JP2001189035A JP2001189035A JP4608136B2 JP 4608136 B2 JP4608136 B2 JP 4608136B2 JP 2001189035 A JP2001189035 A JP 2001189035A JP 2001189035 A JP2001189035 A JP 2001189035A JP 4608136 B2 JP4608136 B2 JP 4608136B2
- Authority
- JP
- Japan
- Prior art keywords
- mode
- power consumption
- motion vector
- low power
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
この発明は、ブロックマッチング法を用いて、動画像における動きベクトル又はステレオ画像における左右画像の視差ベクトルを検出する装置に関するものである。
【発明の属する技術分野】
【０００２】
【従来の技術】
動画像圧縮やビデオカメラの手振れ補正のための動きベクトルの検出には、ブロックマッチング法が一般的によく採用されている。また、ステレオ画像における左右画像の視差ベクトルの検出に関しても、同様の手法が用いられている。以下、動きベクトル検出に代表して説明を行うが、視差ベクトル検出に関しても同じことがいえる。
【０００３】
一般的に、ブロックマッチング法による動きベクトル検出は、演算量が多く、消費電力も大きくなりやすい。ブロックマッチング法を用いた動きベクトル検出において、演算量を削減して消費電力を低減させるためには、探索範囲を狭くする方法、間引きする方法、ブロックサイズを小さくする方法等が考えられている。
【０００４】
しかし、単純に演算量を削減させただけでは、一般的に検出精度も下がるという問題点がある。次に、この問題点について説明する。例えば、単純に探索範囲を狭くして演算量を削減しようとした場合は、真の動きベクトルが探索範囲外に存在するときに、誤った動きベクトルを検出してしまう。また間引きする場合は、原画像の細部の特徴が残らない可能性がある。同様にブロックサイズを小さくする場合も、ノイズ等の影響をうけやすくなってしまう恐れがある。
【０００５】
このような問題点を解決するためには、入力映像の特性に応じて処理を変えればよい。例えば、探索範囲に関しては、動きが大きい映像の場合は探索範囲を広く、動きが小さい映像の場合は探索範囲を狭くすればよい。また、間引きに関しても、周波数成分の高い映像の場合は間引きを小さく、周波数成分の低い映像の場合は間引きを大きくすればよい。また、ブロックサイズの場合も、ノイズの多い映像の場合はブロックサイズを大きく、ノイズの少ない映像の場合はブロックサイズを小さくすればよい。
【０００６】
具体的な先行技術としては、例えば探索範囲に関する先行技術としては、特開２０００−７８５８０号公報「動きベクトル検出装置および方法、並びに提供媒体」においては、探索範囲内で最小となったときの相関演算値の大きさに応じて探索範囲の大きさを決定する手法について開示がなされている。
【０００７】
また、間引きに関する先行技術としては、特開平１１−１３６６８２号公報「動きベクトル検出装置および動きベクトル検出方法、並びに画像符号化装置」においては、符号化対象ブロックの周波数成分等に応じて、間引きの設定を制御する手法について開示がなされている。
【０００８】
また、ブロックサイズに関する先行技術としては、特開平５−１３０５８８号公報「画像の動きベクトル検出装置」においては、輪郭部の割合が多いほどブロックサイズを大きくする手法について開示がなされている。
【０００９】
様々な映像信号が入力されるような装置の場合、低消費電力のための手法は、映像信号の特性や装置の用途に応じて適切な手法の組み合わせを選択することが望ましい。上述した先行技術を組み合わせて用いれば、例えば、動きの少ない映像の場合は探索範囲を狭く、周波数成分の低い映像の場合は間引き量を大きくすることができ、それぞれの技術を単独で用いる場合よりも、消費電力削減効果の向上が期待できる。
【００１０】
【発明が解決しようとする課題】
しかしながら、前記特開２０００−７８５８０号公報開示の手法を用いるためには、最小相関演算値の大きさを調べる必要があり、また特開平１１−１３６６８２号公報開示の手法を用いるためには周波数成分を調べる必要があり、また特開平５−１３０５８８号公報開示の手法を用いるためには輪郭部の割合を調べる必要があるというように、個々の消費電力削減手段によって映像の特性を調べる手法は異なる。すなわち、複数の消費電力削減手段を組み合わせて用いれば高い消費電力削減効果が期待できるものの、上述した先行技術を組み合わせて用いる場合は、個々の消費電力削減手段によって映像の特性を調べる手法が異なるために、装置は複雑になってしまうという問題点がある。
【００１１】
本発明は、上記事情に鑑みてなされたもので、装置を複雑化することなく、精度よく消費電力を抑えることができるようにした動きベクトル又は視差ベクトル検出装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、入力映像信号の動きベクトル又は視差ベクトルの検出装置において、入力映像信号のうち基準画像のデータを格納する基準画像格納メモリと、前記入力映像信号のうち参照画像のデータを格納する参照画像格納メモリと、前記基準画像格納メモリと前記参照画像格納メモリとを制御するメモリコントローラと、前記基準画像格納メモリから読み出される基準ブロックデータと前記参照画像格納メモリから読み出される参照ブロックデータとを用いて相関演算を行い、動きベクトル又は視差ベクトルを検出するブロックマッチング演算器と、通常モードと低消費電力モードとを設定し、前記各モードに応じたパラメータを出力する動作モード設定器と、通常モード時の測定結果と低消費電力モード時の測定結果とを比較するモード結果比較器とを有し、前記動作モード設定器は、前記モード結果比較器による通常モード時の測定結果と低消費電力モード時の測定結果の比較結果に基づいて、動作モードを設定するように構成されていることを特徴とするものである。
【００１３】
この発明に関する実施の形態は、第１，第２，第３，第４，第５の実施の形態が対応する。このように構成した動きベクトル又は視差ベクトルの検出装置においては、モード結果比較器が通常モード時の測定結果と低消費電力モード時の測定結果とを比較し、動作モード設定器は、通常モード時の測定結果と低消費電力モード時の測定結果との比較結果に基づいて動作モードを設定し、通常モード時の測定結果と低消費電力モード時の測定結果を比較した後に動作モードを決定するようになっているため、検出精度を低下させずに且つ装置を複雑化することなく、消費電力削減効果を得ることができる。
【００１４】
請求項２に係る発明は、請求項１に係る動きベクトル又は視差ベクトルの検出装置において、前記モード結果比較器は、モード決定用フレームにおける通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるか否かを判定し、前記動作モード設定器は、前記モード結果比較器による前記差分が閾値以内であった場合は、前記モード決定用フレームより後に入力されるフレームに対して、低消費電力モードを設定するように構成されていることを特徴とするものである。
【００１５】
この発明に関する実施の形態は、第１，第５の実施の形態が対応する。このように構成した動きベクトル又は視差ベクトルの検出装置においては、モード結果比較器は、モード決定用フレームにおける通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるか否かを判定し、動作モード設定器は、前記差分が閾値以内であった場合は、モード決定用フレームより後に入力されるフレームに対して、低消費電力モードを設定し、通常モード時の測定結果と低消費電力モード時の測定結果を比較した後に動作モードを決定するようになっているため、検出精度を低下させずに且つ装置を複雑化することなく、消費電力削減効果を得ることができる。特に、フレーム間の相関が高い映像に関して有効である。
【００１６】
請求項３に係る発明は、請求項２に係る動きベクトル又は視差ベクトルの検出装置において、入力映像信号のシーン変化を検出するシーン変化検出器を有し、前記モード決定用フレームは、前記シーン変化検出器でシーン変化が検出された場合に指定されることを特徴とするものである。
【００１７】
この発明に関する実施の形態は、第２，第５の実施の形態が対応する。このように構成した動きベクトル又は視差ベクトルの検出装置においては、更にシーン変化検出器を備え、シーン変化を検出し、モード決定用フレームは、検出されたシーン変化に対応して指定されるようにしているので、シーン変化が多い映像に関して検出精度を向上させることができる。
【００１８】
請求項４に係る発明は、請求項１に係る動きベクトル又は視差ベクトルの検出装置において、前記モード結果比較器は、モード決定用基準ブロックの通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるか否かを判定し、前記動作モード設定器は、前記モード結果比較器による前記差分が閾値以内であった場合は、前記モード決定用基準ブロックが存在する基準画像内の全ての基準ブロックに対して、低消費電力モードを設定することを特徴とするものである。
【００１９】
この発明に関する実施の形態は、第３，第５の実施の形態が対応する。このように構成した動きベクトル又は視差ベクトルの検出装置においては、モード結果比較器は、モード決定用基準ブロックの通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるか否かを判定し、動作モード設定器は、前記差分が閾値以内であった場合は、モード決定用基準ブロックが存在する基準画像内の全ての基準ブロックに対して、低消費電力モードを設定し、通常モード時の測定結果と低消費電力モード時の測定結果を比較した後に動作モードを決定するようになっているため、特にフレーム間の相関が低い場合に、検出精度を低下させずに消費電力削減効果を得ることができる。
【００２０】
請求項５に係る発明は、請求項１に係る動きベクトル又は視差ベクトルの検出装置において、前記モード結果比較器は、モード決定用基準ブロックの通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるか否かを判定し、前記動作モード設定器は、前記モード結果比較器による前記差分が閾値以内であった場合は、前記モード決定用基準ブロックの周辺の基準ブロックに対して、低消費電力モードを設定することを特徴とするものである。
【００２１】
この発明に関する実施の形態は、第４，第５の実施の形態が対応する。このように構成した動きベクトル又は視差ベクトルの検出装置においては、モード結果比較器は、モード決定用基準ブロックの通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるかを判定し、動作モード設定器は、前記差分が閾値以内であった場合は、モード決定用基準ブロックの周辺の基準ブロックに対して、低消費電力モードを設定し、通常モード時の測定結果と低消費電力モード時の測定結果を比較した後に動作モードを決定するようにしているので、特に１枚の画像中に特性の異なる物体が混在する場合に、検出精度を低下させずに消費電力削減効果を得ることができる。
【００２２】
請求項６に係る発明は、請求項１に係る動きベクトル又は視差ベクトルの検出装置において、前記動作モード設定器は、前記通常モードを設定した後、消費電力削減効果の大きい順に複数の低消費電力モードを順次設定することを特徴とするものである。
【００２３】
この発明に関する実施の形態は、第５の実施の形態が対応する。このように構成した動きベクトル又は視差ベクトルの検出装置においては、低消費電力モードを複数存在させているため、消費電力を細かく制御することができ、また複数の低消費電力モードのうち、消費電力削減効果の大きいものから優先的に選択させることにより、可能な限り高い消費電力削減効果を得ることができる。
【００２４】
【発明の実施の形態】
本発明の実施の形態について説明する前に、従来の動きベクトル検出装置について説明を行う。まず、図17を用いて従来の動きベクトル検出装置の構成について説明する。図17において、101 は入力される映像信号のうち基準画像データを格納する基準画像格納メモリ、102 は入力される映像信号のうち参照画像データを格納する参照画像格納メモリ、103 は前記基準画像格納メモリ101 と前記参照画像格納メモリ102 とを制御するメモリコントローラ、104 は前記基準画像格納メモリ101 から基準ブロック単位で出力される基準ブロックデータと、前記参照画像格納メモリ102 から参照ブロック単位で出力される参照ブロックデータとを用いて差分絶対値和演算もしくは差分二乗和演算を行い、前記基準ブロックの位置から、演算結果が最小となるときの前記参照ブロックの位置までを、動きベクトルとして出力するブロックマッチング演算器を示している。
【００２５】
次に、このように構成されている従来の動きベクトル検出装置の動作について説明する。入力映像信号のうち基準画像データは基準画像格納メモリ101 に、参照画像データは参照画像格納メモリ102 にそれぞれ格納される。ブロックマッチング演算器104 は、基準画像格納メモリ101 からブロック単位で読み出される基準ブロックデータと、参照画像格納メモリ102 からブロック単位で読み出される参照ブロックデータとを用いて、参照画像内の探索範囲内で参照ブロックをサーチしながら相関演算を行う。このとき、基準ブロックと最も相関が高いと判定された参照ブロックの位置と基準ブロックの位置との差分が、動きベクトルとして出力されるようになっている。
【００２６】
（第１の実施の形態）
次に、本発明の第１の実施の形態について説明する。図１は、第１の実施の形態の全体構成を示すブロック構成図である。図１において、１は入力される映像信号のうち基準画像のデータを格納する基準画像格納メモリ、２は入力される映像信号のうち参照画像のデータを格納する参照画像格納メモリ、３は前記基準画像格納メモリ１と前記参照画像格納メモリ２とを制御するメモリコントローラ、４は前記基準画像格納メモリ１から基準ブロック単位で出力される基準ブロックデータと、前記参照画像格納メモリ２から参照ブロック単位で出力される参照ブロックデータとを用いて、差分絶対値和演算もしくは差分二乗和演算を行い、前記基準ブロックの位置から、演算結果が最小となるときの前記参照ブロックの位置までを、動きベクトルとして出力するブロックマッチング演算器、５はブロックマッチング演算器４から出力される、複数のモードにおける動きベクトルを比較するモード結果比較器、６はモード結果比較器５から出力される比較結果に基づいて、パラメータを設定する動作モード設定器を示している。
【００２７】
次に、図２を用いて本実施の形態における通常モードと低消費電力モードに関して説明する。図２において、フレーム１からフレーム10は、それぞれブロックマッチング演算を行う２枚の画像の組を示し、例えば立体映像における視差測定では、右画像１と左画像１の組をフレーム１，右画像２と左画像２の組をフレーム２とする。また、フレーム１とフレーム８は、モード決定用フレームであり、例えば図２の例では７フレームおきに周期的に発生するものとする。
【００２８】
次に、図１及び図２を用いて、本実施の形態における動作について説明する。まず、モード決定用フレームであるフレーム１において、動作モード設定器６は通常モードを設定し、通常モードに応じたパラメータを出力する。メモリコントローラ３は、動作モード設定器６にて設定された通常モード時のパラメータを受け取り、通常モード時のパラメータに従った制御方法で、基準画像格納メモリ１と参照画像格納メモリ２を制御する。ブロックマッチング演算器４は、基準画像格納メモリ１から読み出された基準ブロックデータと、参照画像格納メモリ２から読み出された参照ブロックデータとを用いて、参照画像内の探索範囲内で参照ブロックをサーチしながら相関演算を行う。このとき、基準ブロックの位置と、基準ブロックと最も相関が高いと判定された参照ブロックの位置との差分が、動きベクトルとして出力される。なお、ブロックマッチング演算器４は、動作モード設定器６にて設定された通常モード時のパラメータを受け取り、パラメータ従った検出方法で動きベクトルを検出する。
【００２９】
通常モードにて設定された基準ブロック数の動きベクトルが検出された後、動作モード設定器６は、低消費電力モードを設定する。このとき、低消費電力モードにおける動きベクトルの検出も、通常モードの場合と同様にして行われる。なお、低消費電力モード時に動作モード設定器６で設定されるパラメータは、通常モード時に設定されるパラメータよりも消費電力が少なくなるように設定される。
【００３０】
モード結果比較器５は、通常モードで検出された動きベクトルの統計値と低消費電力モードで検出された動きベクトルの統計値との差分が、閾値以内であるか否かを判定する。ここで、統計値とは、例えば平均値、最大値、最小値、最頻値等を指す。また、前記複数の統計値を併用してもよい。また、動きベクトルの分布に関するヒストグラムを作成し、それぞれの範囲に関する頻度であってもよい。
【００３１】
また、通常モード時の全ての動きベクトルと低消費電力時の全ての動きベクトルとを用いて、各々一致するか判定し、フレーム全体における一致率が閾値以内であるかを判定してもよい。
【００３２】
次に、動作モード設定器６は、モード結果比較器５にて判定された結果を受け取り、フレーム２からフレーム７までの動作モードを設定する。ここで、例えばフレーム１における通常モードの統計値と低消費電力モードの統計値との差分が閾値以内だった場合は、図２に示すようにフレーム２からフレーム７までは、低消費電力モードを設定する。
【００３３】
同様に、次のモード決定用フレームであるフレーム８に関しても、動作モード設定器６が通常モードと低消費電力モードとを設定し、モード結果比較器５が通常モード時の統計値と低消費電力モード時の統計値とを比較する。ここで、例えばフレーム８における通常モードの統計値と低消費電力モードの統計値との差分が、閾値を超えていた場合は、図２に示すようにフレーム９からフレーム14までは、通常モードが設定される。
【００３４】
以上説明した手法によれば、通常モード時の測定結果と低消費電力モード時の測定結果とを比較した後に、動作モードを決定するため、検出精度を低下させずに消費電力削減効果を得ることができる。
【００３５】
なお、動作モード設定器６にて動作モードに応じて設定されるパラメータは、例えば、探索範囲、相関演算時におけるビット長、基準ブロック数、ブロックサイズ、間引き等に対応するものが考えられる。以下にこれらのパラメータが設定されたときの動作について説明する。
【００３６】
図３は、第１の実施の形態における、探索範囲に関して示す説明図である。図３において、10はブロックサイズがＭ画素×Ｎ画素の基準ブロック、11は基準ブロック位置を中心に水平方向に±Ａ画素、垂直方向に±Ｂ画素の範囲を持つ探索範囲、12は基準ブロック10の左上位置、13は探索範囲11内の探索開始位置、14は探索範囲11内の探索終了位置を示す。ここで、基準ブロックの左上位置12の座標を（Ｘ0 ，Ｙ0 ）、探索開始位置13の座標を（Ｘ1 ，Ｙ1 ）、探索終了位置14の座標を（Ｘ2 ，Ｙ2 ）とすれば、式１（Ｘ1 ＝Ｘ0 −Ａ，Ｙ1 ＝Ｙ0 −Ｂ，Ｘ2＝Ｘ0 ＋Ｍ＋Ａ−１，Ｙ2 ＝Ｙ0 ＋Ｎ＋Ｂ−１）によって、探索開始位置13と探索終了位置14を求めることができる。
【００３７】
次に、動作モード設定器６にて探索範囲とブロックサイズに関するパラメータが与えられたときの、メモリコントローラ３の動作に関して説明を行う。メモリコントローラ３は、探索範囲とブロックサイズに関するパラメータが与えられると、上記式１の演算式により探索開始位置13と探索終了位置14を演算する。メモリコントローラ３は、参照画像格納メモリ２を制御して、探索開始位置13から探索終了位置14までの参照画像データを読み出す。
【００３８】
以上の方法により、メモリコントローラ３は、動作モード設定器６から設定されたパラメータに応じて、探索範囲を任意に設定することができる。例えば、低消費電力モード時に、通常モード時よりも狭い探索範囲を設定すれば、短時間で演算を終了することができる。演算終了後、回路を停止等することにより、通常モードよりも消費電力を削減することができる。
【００３９】
図４は、基準ブロックの間隔に関して示す説明図である。図４において、基準ブロック10は、水平方向にＤＸ，垂直方向にＤＹの間隔で配置されている。隣合った３つの基準ブロックの左上位置を示す20，21及び22の座標を、それぞれ（ＸＡ，ＹＡ），（ＸＢ，ＹＢ），（ＸＣ，ＹＣ）とすれば、式２（ＸＢ＝ＸＡ＋ＤＸ，ＹＢ＝ＹＡ，ＸＣ＝ＸＡ，ＹＣ＝ＹＡ＋ＤＹ）が成り立つ。つまり、水平方向のブロック間隔ＤＸ及び垂直方向のブロック間隔ＤＹが与えられていれば、隣の基準ブロックの座標を求めることができる。
【００４０】
次に、動作モード設定器６にて基準ブロック数と水平方向及び垂直方向のブロック間隔に関するパラメータが与えられたときの、メモリコントローラ３の動作に関して説明を行う。メモリコントローラ３は、ブロック間隔に関するパラメータが与えられると、上記式２の演算式により個々の基準ブロックの座標を演算し、基準ブロックに対する基準画像データと参照画像データとを読み出す。その後、設定された基準ブロック数のデータを読み出し終えたら、動作を終了する。
【００４１】
以上の方法により、メモリコントローラ３は、動作モード設定器６から設定されたパラメータに応じて、基準ブロック数とその配置方法を任意に設定することができ、例えば、図５の（Ａ），（Ｂ）に示すように、低消費電力モード時は、通常モード時と比較して基準ブロック数が少なくなるように配置することが可能である。このように、低消費電力モード時に、通常モード時よりも基準ブロック数を少なく設定すれば、短時間で演算を終了することができ、通常モードよりも消費電力を削減することができる。
【００４２】
図６は、第１の実施の形態において、ブロックサイズが４画素×４画素時のブロックマッチング演算器４の回路構成を示す図である。説明を簡単にするために、４画素×４画素にて説明するが、８画素×８画素、16画素×16画素やその他のブロックサイズの場合も同様な構成である。基準画像メモリ１から読み出された基準ブロックデータと参照画像メモリ２から読み出された参照ブロックデータは、直並列変換器30で直並列変換され、差分絶対値演算器群31に入力される。差分絶対値演算器群31は、基準ブロックデータと参照ブロックデータとの差分絶対値演算を行う。なお、差分絶対値演算器群31における個々の差分絶対値演算器の括弧内の数字は、図７に示す基準ブロック内の画素位置及び参照ブロック内の画素位置に対応し、例えば差分絶対値演算器(1.1) は、基準ブロックデータのうち画素位置(1.1) のデータと、参照ブロックデータのうち画素位置(1.1) のデータとの差分絶対値演算を行う。
【００４３】
差分絶対値演算器群31から出力された差分絶対値演算結果は、加算器群32で加算される。加算器群32から出力される加算結果、すなわち基準ブロックと参照ブロックとの間の差分絶対値和は、最小値検出器33に入力され、最小値検出器33は、探索範囲内で差分絶対値和が最小となるときの値を検出し、動きベクトルを出力する。以上の方法により、ブロックマッチング演算器４は、４画素×４画素の差分絶対値和演算を行い、動きベクトルを検出することができる。
【００４４】
次に、動作モード設定器６にて、例えばブロックサイズが３画素×３画素と設定されたときのブロックマッチング演算器４の動作に関して、図６を用いて説明する。動作モード設定器６にてブロックサイズが３画素×３画素と設定されると、差分絶対値演算器群31は、差分絶対値演算器(1.4) 及び(2.4) 及び(3.4) 及び(4.1) 及び(4.2) 及び(4.3) 及び(4.4) を停止させる。また、直並列変換器30及び加算器群32も、差分絶対値演算器(1.4) ，(2.4) ，(3.4) ，(4.1) ，(4.2) ，(4.3) 及び(4.4) に対応する部分を、停止させることができる。以上により、ブロックマッチング演算器４は、設定されたブロックサイズに応じて回路の一部を停止させることができる。例えば、低消費電力モード時に、通常モード時よりも小さいブロックサイズを設定することにより、消費電力削減効果が得られる。
【００４５】
また、動作モード設定器６にて、例えば図８において、間引きによって計算されない画素をハッチングを付した画素で示すように、垂直方向の間引きが設定された場合も同様に、直並列変換器30及び差分絶対値演算器群31及び加算器群32は、差分絶対値演算器(2.1) 及び(2.2) 及び(2.3) 及び(2.4) 及び(4.1) 及び(4.2) 及び(4.3) 及び(4.4) に該当する部分をを停止させることができる。また、垂直方向の間引きだけでなく、水平方向の間引き、又は垂直方向と水平方向の間引きの併用が設定された場合も同様である。例えば、低消費電力モード時に、通常モード時よりも大きい間引き量を設定することにより、消費電力削減効果が得られる。
【００４６】
また、動作モード設定器６にて、相関演算時におけるビット長が短く設定された場合は、直並列変換器30及び差分絶対値演算器群31及び加算器群32及び最小値検出器33の下位数ビットの動作を停止させることができる。例えば、低消費電力モード時に、通常モード時よりも短いビット長を設定することにより、消費電力削減効果が得られる。
【００４７】
本実施の形態によると、通常モード時の測定結果と低消費電力モード時の測定結果を比較した後に、動作モードを決定するため、検出精度を低下させずに消費電力削減効果を得ることができる。また、通常モードと低消費電力モードとで探索範囲、相関演算時におけるビット長、基準ブロック数、ブロックサイズ、間引き等のパラメータ設定を変えることができ、且つ複数のパラメータを併用することにより、高い消費電力削減効果を得ることができる。
【００４８】
また、従来の手法では、例えば探索範囲の設定と間引きの設定等、個々の消費電力削減手段によって映像の特性を調べる手法が異なっていたが、本発明では、前記探索範囲や間引き等の複数のパラメータを併用しても、通常モード時の結果と低消費電力モード時の結果とを比べる手法は一定であるので、装置を複雑化することなく、様々な消費電力削減手段を併用することができる。
【００４９】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図９は、本実施の形態の全体構成を示すブロック構成図であり、符号１〜６で示す構成要素は、図１で示した第１の実施の形態と同様であるので、その説明を省略する。この実施の形態の特徴は、ブロックマッチング演算器４から出力される動きベクトルを用いて、シーン変化を検出するシーン変化検出器７を備えている点である。
【００５０】
このシーン変化検出器７においては、ブロックマッチング演算器４から出力された現フレームにおける動きベクトルの統計値と、前フレームにおける動きベクトルの統計値とを比較する。比較した結果、現フレームの統計値と前フレームの統計値とで大きな変化が見られた場合は、シーン変化と判断する。シーン変化検出器７でシーン変化と判断された場合、動作モード設定器６は現在のフレームをモード決定用フレームとする。
【００５１】
第１の実施の形態においては、複数のフレームおきに周期的に動作モードが決定されていたが、本実施の形態では、シーン変化に対応して動作モードが決定される。したがって、本実施の形態では、低消費電力モードで動作中にシーン変化が起こった場合は、再度動作モードが決定されるため、信頼性の高い動きベクトル検出を行うことができる。このように、本実施の形態においても、第１の実施の形態と同様に消費電力削減効果を得ることができ、特にシーン変化が発生する映像に有効である。
【００５２】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。本実施の形態における装置全体の構成は、第１の実施の形態と同様であるので、その図示説明は省略する。図10は、基準画像におけるモード決定用基準ブロックの配置例に関して示す説明図である。本実施の形態においては、動作モード設定器６は、モード決定用基準ブロックに対して通常モードと低消費電力モードとを設定する。図10に示す配置例では、モード決定用基準ブロック35は基準画像36中に複数個存在し、モード結果比較器５は、モード決定用基準ブロックの通常モード時の動きベクトルの統計値と、低消費電力モード時の動きベクトルの統計値との差分が閾値以内であるかを判定する。動作モード設定器６は、通常モード時の動きベクトルの統計値と低消費電力モード時の動きベクトルの統計値との差分が、閾値以内であった場合には、基準画像36内の全ての基準ブロック37に対して低消費電力モードを設定する。
【００５３】
第１の実施の形態では、数フレームに１回動作モードを決定していたが、本実施の形態では毎フレームで動作モードを決定する。本実施の形態においても、第１の実施の形態と同様に消費電力削減効果を得ることができ、特にフレーム間の相関が低い場合に有効である。
【００５４】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。本実施の形態における装置全体の構成は、第１の実施の形態と同様であるので、その図示説明は省略する。図11は、本実施の形態のモード決定用基準ブロックと、同一モードで動作する基準ブロックの集合に関して示す説明図である。基準画像40は、太線で示す複数の基準ブロックの集合42に分割され、該基準ブロックの集合42内にモード決定用基準ブロック43は一つ配置される。なお、基準ブロックの集合42は、図示例では５×５の基準ブロック41で示している。
【００５５】
本実施の形態において、動作モード設定器６は、モード決定用基準ブロック43に対して、通常モードと低消費電力モードとを設定する。モード結果比較器５は、モード決定用基準ブロック43の通常モード時の動きベクトルと、低消費電力モード時の動きベクトルとの差分が、閾値以内であるかを判定する。動作モード設定器６は、通常モード時の動きベクトルと低消費電力モード時の動きベクトルとの差分が閾値以内であった場合には、モード決定用基準ブロック43の周辺の基準ブロック41に対して、低消費電力モードを設定する。
【００５６】
第３の実施の形態では、基準画像内の全ての基準ブロックに対して同じ動作モードを設定していたが、本実施の形態では、基準画像内を分割した領域毎に異なる動作モードを設定することが可能である。本実施の形態においても、第１の実施の形態と同様に消費電力削減効果を得ることができ、特に１枚の画像中に特性の異なる物体が混在している場合に有効である。
【００５７】
（第５の実施の形態）
次に、本発明の第５の実施の形態について説明する。本実施の形態における装置全体の構成は、第１の実施の形態と同様であるので、その図示説明は省略する。図12は、本実施の形態における動作モードの設定の一例について示す図である。本実施の形態において、動作モードには１つの通常モードと３つの低消費電力モードがあり、３つの低消費電力モードには、低消費電力モード１及び２及び３がある。なお、３つの低消費電力モードは、低消費電力モード１→低消費電力モード２→低消費電力モード３の順に設定されることが予め決められているものとする。また、図12の図示例では、３つの低消費電力モードのうち、低消費電力モード１が最も消費電力削減効果が大きく、低消費電力モード３が最も消費電力削減効果が小さくなるように、探索範囲及びブロックサイズ及び間引きが設定されている。
【００５８】
図13は、モード決定用フレームにおける動作モード決定フローを示す図である。次に、図13のフローチャートを用いて、本実施の形態における動作について説明を行う。動作モード設定器６は、モード決定用フレームに対して、通常モードにて動きベクトル検出を行った後（ステップＳ１）、低消費電力モード１で動きベクトル検出を行う（ステップＳ２）。その後、通常モード時の動きベクトルの統計値と低消費電力モード１時の動きベクトルの統計値との差分が閾値以内であるか否かの判定を行い（ステップＳ３）、閾値以内であった場合は、動作モード設定器６は、その後のフレームに対して低消費電力モード１を設定する（ステップＳ４）。前記差分の判定ステップＳ３において差分が閾値を超えていた場合は、低消費電力モード２で動きベクトル検出を行い（ステップＳ５）、通常モード時と低消費電力モード２時の結果の差分を演算する。そして、前記差分が閾値以内であるか否かの判定を行い（ステップＳ６）、前記差分が閾値以内であれば、その後のフレームに対して低消費電力モード２を設定する（ステップＳ７）。前記差分の判定ステップＳ５において差分が閾値を超えていた場合は、低消費電力モード３で動きベクトル検出を行い（ステップＳ８）、通常モード時と低消費電力モード３時の結果の差分を演算する。そして、前記差分が閾値以内であるか否かの判定を行い（ステップＳ９）、前記差分が閾値以内であれば、その後のフレームに対して低消費電力モード３を設定し（ステップＳ10）、前記差分の判定ステップＳ９において差分が閾値を超えていた場合は、その後のフレームに対して通常モードを設定する（ステップＳ11）。
【００５９】
図14及び図15は、それぞれ上記手法を用いた場合における動作モードの決定態様を時間軸上で示した図である。通常モードと低消費電力モード１の結果が異なる場合、図14に示した例の場合は、同一のフレームで再度低消費電力モード２の測定を行い、図15に示した例の場合は、次のフレームで通常モードと低消費電力モード２の測定及び比較を行う。本実施の形態は、図14及び図15に示す手法の両方に適用可能であり、図14に示した例の場合には、全体として通常モードでの動作回数が少なくなるという利点があり、図15に示した例の場合には、１フレーム内での最大演算時間が短くなるという利点がある。
【００６０】
上記手法によれば、低消費電力モードが複数ある場合、消費電力削減効果の大きいものから優先的に選択されるという利点がある。また、第１から第４の実施の形態においては、低消費電力モードの数に関しては特に考慮していないが、本実施の形態のように複数の低消費電力モードを設定しておくと、消費電力を細かく制御することができるという利点も得られる。
【００６１】
また、動作モードの設定は、例えば図16に示す態様で行うこともできる。この場合、動きの少ない画像の場合は低消費電力モード１が、動きは大きいが周波数成分の低い映像の場合は低消費電力モード２が選択されることが期待できる。
【００６２】
また、本実施の形態においては、第１及び第２の実施の形態のように、モード決定用フレームに対して結果を比較する場合に関して説明を行ったが、第３及び第４の実施の形態のように、モード決定用基準ブロックに対して結果を比較する場合に関しても、同様に適用可能である。
【００６３】
また、上記第１から第５の実施の形態においては、動きベクトルを検出する場合に関して説明を行ったが、これらの実施の形態は、ステレオ画像における左右画像の視差ベクトルを検出する場合に関しても、同様に適用可能である。
【００６４】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１及び請求項２に係る発明によれば、通常モード時の測定結果と低消費電力モード時の測定結果を比較した後に動作モードを決定するように構成しているので、検出精度を低下させず且つ装置を複雑化することなく、消費電力削減効果を得ることができる。特に請求項２に係る発明は、フレーム間の相関が高い映像に関して有効である。また請求項３に係る発明によれば、モード決定用フレームを検出されたシーン変化に対応して指定するように構成されているので、シーン変化が多い映像に関して検出精度を向上させることができる。また請求項４に係る発明によれば、通常モード時と低消費電力モード時の測定結果の差分が閾値以内の場合には、モード決定用基準ブロックが存在する基準画像内の全ての基準ブロックに対して低消費電力モードを設定するように構成しているので、特にフレーム間の相関が低い場合に、検出精度を低下させずに消費電力削減効果を得ることができる。また請求項５に係る発明によれば、通常モード時と低消費電力モード時の測定結果の差分が閾値以内の場合には、モード決定用基準ブロックの周辺の基準ブロックに対して、低消費電力モードを設定するように構成しているので、特に１枚の画像中に特性の異なる物体が混在する場合に、検出精度を低下させずに消費電力削減効果が得られる。また請求項６に係る発明によれば、複数の低消費電力モードを設けているので、消費電力を細かく制御することができ、また複数の低消費電力モードのうち、消費電力削減効果の大きいものから優先的に選択させることにより、可能な限り高い消費電力削減効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すブロック構成図である。
【図２】図１に示した第１の実施の形態における通常モードと低消費電力モードの切替え態様を示す説明図である。
【図３】第１の実施の形態における参照画像内の探索範囲を示す説明図である。
【図４】第１の実施の形態における基準ブロック間隔に関する説明図である。
【図５】第１の実施の形態において動作モード設定器から設定されたパラメータに応じた基準ブロックの配置態様を示す図である。
【図６】第１の実施の形態におけるブロックマッチング演算器の構成例を示す図である。
【図７】基準ブロック又は参照ブロック内の画素位置を示す図である。
【図８】間引き設定された基準ブロック又は参照ブロック内の画素位置を示す図である。
【図９】本発明の第２の実施の形態を示すブロック構成図である。
【図１０】第３の実施の形態において、基準画像におけるモード決定用基準ブロックの配置例を示す図である。
【図１１】第４の実施の形態において、基準画像におけるモード決定用基準ブロックと、同一モードで動作する基準ブロックの集合の配置態様を示す図である。
【図１２】第５の実施の形態において、動作モードの設定例を示す図である。
【図１３】第５の実施の形態において、モード決定用フレームにおける動作モード決定動作を説明するためのフローチャートである。
【図１４】第５の実施の形態において、動作モード決定態様の一例を時間軸上で示す図である。
【図１５】第５の実施の形態において、動作モード決定態様の他の例を時間軸上で示す図である。
【図１６】第５の実施の形態において、動作モードの他の設定例を示す図である。
【図１７】従来の動きベクトル検出装置の構成例を示すブロック図である。
【符号の説明】
１ 基準画像格納メモリ
２ 参照画像格納メモリ
３ メモリコントローラ
４ ブロックマッチング演算器
５ モード結果比較器
６ 動作モード設定器
７ シーン変化検出器
10 基準ブロック
11 参照画像探索範囲
12 基準ブロック左上位置
13 探索開始位置
14 探索終了位置
20，21，22 基準ブロック左上位置
30 直並列変換器
31 差分絶対値演算器群
32 加算器群
33 最小値検出器
35 モード決定用基準ブロック
36 基準画像
37 基準ブロック
40 基準画像
41 基準ブロック
42 基準ブロックの集合
43 モード決定用基準ブロック
この発明は、ブロックマッチング法を用いて、動画像における動きベクトル又はステレオ画像における左右画像の視差ベクトルを検出する装置に関するものである。
【発明の属する技術分野】
【０００２】
【従来の技術】
動画像圧縮やビデオカメラの手振れ補正のための動きベクトルの検出には、ブロックマッチング法が一般的によく採用されている。また、ステレオ画像における左右画像の視差ベクトルの検出に関しても、同様の手法が用いられている。以下、動きベクトル検出に代表して説明を行うが、視差ベクトル検出に関しても同じことがいえる。
【０００３】
一般的に、ブロックマッチング法による動きベクトル検出は、演算量が多く、消費電力も大きくなりやすい。ブロックマッチング法を用いた動きベクトル検出において、演算量を削減して消費電力を低減させるためには、探索範囲を狭くする方法、間引きする方法、ブロックサイズを小さくする方法等が考えられている。
【０００４】
しかし、単純に演算量を削減させただけでは、一般的に検出精度も下がるという問題点がある。次に、この問題点について説明する。例えば、単純に探索範囲を狭くして演算量を削減しようとした場合は、真の動きベクトルが探索範囲外に存在するときに、誤った動きベクトルを検出してしまう。また間引きする場合は、原画像の細部の特徴が残らない可能性がある。同様にブロックサイズを小さくする場合も、ノイズ等の影響をうけやすくなってしまう恐れがある。
【０００５】
このような問題点を解決するためには、入力映像の特性に応じて処理を変えればよい。例えば、探索範囲に関しては、動きが大きい映像の場合は探索範囲を広く、動きが小さい映像の場合は探索範囲を狭くすればよい。また、間引きに関しても、周波数成分の高い映像の場合は間引きを小さく、周波数成分の低い映像の場合は間引きを大きくすればよい。また、ブロックサイズの場合も、ノイズの多い映像の場合はブロックサイズを大きく、ノイズの少ない映像の場合はブロックサイズを小さくすればよい。
【０００６】
具体的な先行技術としては、例えば探索範囲に関する先行技術としては、特開２０００−７８５８０号公報「動きベクトル検出装置および方法、並びに提供媒体」においては、探索範囲内で最小となったときの相関演算値の大きさに応じて探索範囲の大きさを決定する手法について開示がなされている。
【０００７】
また、間引きに関する先行技術としては、特開平１１−１３６６８２号公報「動きベクトル検出装置および動きベクトル検出方法、並びに画像符号化装置」においては、符号化対象ブロックの周波数成分等に応じて、間引きの設定を制御する手法について開示がなされている。
【０００８】
また、ブロックサイズに関する先行技術としては、特開平５−１３０５８８号公報「画像の動きベクトル検出装置」においては、輪郭部の割合が多いほどブロックサイズを大きくする手法について開示がなされている。
【０００９】
様々な映像信号が入力されるような装置の場合、低消費電力のための手法は、映像信号の特性や装置の用途に応じて適切な手法の組み合わせを選択することが望ましい。上述した先行技術を組み合わせて用いれば、例えば、動きの少ない映像の場合は探索範囲を狭く、周波数成分の低い映像の場合は間引き量を大きくすることができ、それぞれの技術を単独で用いる場合よりも、消費電力削減効果の向上が期待できる。
【００１０】
【発明が解決しようとする課題】
しかしながら、前記特開２０００−７８５８０号公報開示の手法を用いるためには、最小相関演算値の大きさを調べる必要があり、また特開平１１−１３６６８２号公報開示の手法を用いるためには周波数成分を調べる必要があり、また特開平５−１３０５８８号公報開示の手法を用いるためには輪郭部の割合を調べる必要があるというように、個々の消費電力削減手段によって映像の特性を調べる手法は異なる。すなわち、複数の消費電力削減手段を組み合わせて用いれば高い消費電力削減効果が期待できるものの、上述した先行技術を組み合わせて用いる場合は、個々の消費電力削減手段によって映像の特性を調べる手法が異なるために、装置は複雑になってしまうという問題点がある。
【００１１】
本発明は、上記事情に鑑みてなされたもので、装置を複雑化することなく、精度よく消費電力を抑えることができるようにした動きベクトル又は視差ベクトル検出装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、入力映像信号の動きベクトル又は視差ベクトルの検出装置において、入力映像信号のうち基準画像のデータを格納する基準画像格納メモリと、前記入力映像信号のうち参照画像のデータを格納する参照画像格納メモリと、前記基準画像格納メモリと前記参照画像格納メモリとを制御するメモリコントローラと、前記基準画像格納メモリから読み出される基準ブロックデータと前記参照画像格納メモリから読み出される参照ブロックデータとを用いて相関演算を行い、動きベクトル又は視差ベクトルを検出するブロックマッチング演算器と、通常モードと低消費電力モードとを設定し、前記各モードに応じたパラメータを出力する動作モード設定器と、通常モード時の測定結果と低消費電力モード時の測定結果とを比較するモード結果比較器とを有し、前記動作モード設定器は、前記モード結果比較器による通常モード時の測定結果と低消費電力モード時の測定結果の比較結果に基づいて、動作モードを設定するように構成されていることを特徴とするものである。
【００１３】
この発明に関する実施の形態は、第１，第２，第３，第４，第５の実施の形態が対応する。このように構成した動きベクトル又は視差ベクトルの検出装置においては、モード結果比較器が通常モード時の測定結果と低消費電力モード時の測定結果とを比較し、動作モード設定器は、通常モード時の測定結果と低消費電力モード時の測定結果との比較結果に基づいて動作モードを設定し、通常モード時の測定結果と低消費電力モード時の測定結果を比較した後に動作モードを決定するようになっているため、検出精度を低下させずに且つ装置を複雑化することなく、消費電力削減効果を得ることができる。
【００１４】
請求項２に係る発明は、請求項１に係る動きベクトル又は視差ベクトルの検出装置において、前記モード結果比較器は、モード決定用フレームにおける通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるか否かを判定し、前記動作モード設定器は、前記モード結果比較器による前記差分が閾値以内であった場合は、前記モード決定用フレームより後に入力されるフレームに対して、低消費電力モードを設定するように構成されていることを特徴とするものである。
【００１５】
この発明に関する実施の形態は、第１，第５の実施の形態が対応する。このように構成した動きベクトル又は視差ベクトルの検出装置においては、モード結果比較器は、モード決定用フレームにおける通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるか否かを判定し、動作モード設定器は、前記差分が閾値以内であった場合は、モード決定用フレームより後に入力されるフレームに対して、低消費電力モードを設定し、通常モード時の測定結果と低消費電力モード時の測定結果を比較した後に動作モードを決定するようになっているため、検出精度を低下させずに且つ装置を複雑化することなく、消費電力削減効果を得ることができる。特に、フレーム間の相関が高い映像に関して有効である。
【００１６】
請求項３に係る発明は、請求項２に係る動きベクトル又は視差ベクトルの検出装置において、入力映像信号のシーン変化を検出するシーン変化検出器を有し、前記モード決定用フレームは、前記シーン変化検出器でシーン変化が検出された場合に指定されることを特徴とするものである。
【００１７】
この発明に関する実施の形態は、第２，第５の実施の形態が対応する。このように構成した動きベクトル又は視差ベクトルの検出装置においては、更にシーン変化検出器を備え、シーン変化を検出し、モード決定用フレームは、検出されたシーン変化に対応して指定されるようにしているので、シーン変化が多い映像に関して検出精度を向上させることができる。
【００１８】
請求項４に係る発明は、請求項１に係る動きベクトル又は視差ベクトルの検出装置において、前記モード結果比較器は、モード決定用基準ブロックの通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるか否かを判定し、前記動作モード設定器は、前記モード結果比較器による前記差分が閾値以内であった場合は、前記モード決定用基準ブロックが存在する基準画像内の全ての基準ブロックに対して、低消費電力モードを設定することを特徴とするものである。
【００１９】
この発明に関する実施の形態は、第３，第５の実施の形態が対応する。このように構成した動きベクトル又は視差ベクトルの検出装置においては、モード結果比較器は、モード決定用基準ブロックの通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるか否かを判定し、動作モード設定器は、前記差分が閾値以内であった場合は、モード決定用基準ブロックが存在する基準画像内の全ての基準ブロックに対して、低消費電力モードを設定し、通常モード時の測定結果と低消費電力モード時の測定結果を比較した後に動作モードを決定するようになっているため、特にフレーム間の相関が低い場合に、検出精度を低下させずに消費電力削減効果を得ることができる。
【００２０】
請求項５に係る発明は、請求項１に係る動きベクトル又は視差ベクトルの検出装置において、前記モード結果比較器は、モード決定用基準ブロックの通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるか否かを判定し、前記動作モード設定器は、前記モード結果比較器による前記差分が閾値以内であった場合は、前記モード決定用基準ブロックの周辺の基準ブロックに対して、低消費電力モードを設定することを特徴とするものである。
【００２１】
この発明に関する実施の形態は、第４，第５の実施の形態が対応する。このように構成した動きベクトル又は視差ベクトルの検出装置においては、モード結果比較器は、モード決定用基準ブロックの通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるかを判定し、動作モード設定器は、前記差分が閾値以内であった場合は、モード決定用基準ブロックの周辺の基準ブロックに対して、低消費電力モードを設定し、通常モード時の測定結果と低消費電力モード時の測定結果を比較した後に動作モードを決定するようにしているので、特に１枚の画像中に特性の異なる物体が混在する場合に、検出精度を低下させずに消費電力削減効果を得ることができる。
【００２２】
請求項６に係る発明は、請求項１に係る動きベクトル又は視差ベクトルの検出装置において、前記動作モード設定器は、前記通常モードを設定した後、消費電力削減効果の大きい順に複数の低消費電力モードを順次設定することを特徴とするものである。
【００２３】
この発明に関する実施の形態は、第５の実施の形態が対応する。このように構成した動きベクトル又は視差ベクトルの検出装置においては、低消費電力モードを複数存在させているため、消費電力を細かく制御することができ、また複数の低消費電力モードのうち、消費電力削減効果の大きいものから優先的に選択させることにより、可能な限り高い消費電力削減効果を得ることができる。
【００２４】
【発明の実施の形態】
本発明の実施の形態について説明する前に、従来の動きベクトル検出装置について説明を行う。まず、図17を用いて従来の動きベクトル検出装置の構成について説明する。図17において、101 は入力される映像信号のうち基準画像データを格納する基準画像格納メモリ、102 は入力される映像信号のうち参照画像データを格納する参照画像格納メモリ、103 は前記基準画像格納メモリ101 と前記参照画像格納メモリ102 とを制御するメモリコントローラ、104 は前記基準画像格納メモリ101 から基準ブロック単位で出力される基準ブロックデータと、前記参照画像格納メモリ102 から参照ブロック単位で出力される参照ブロックデータとを用いて差分絶対値和演算もしくは差分二乗和演算を行い、前記基準ブロックの位置から、演算結果が最小となるときの前記参照ブロックの位置までを、動きベクトルとして出力するブロックマッチング演算器を示している。
【００２５】
次に、このように構成されている従来の動きベクトル検出装置の動作について説明する。入力映像信号のうち基準画像データは基準画像格納メモリ101 に、参照画像データは参照画像格納メモリ102 にそれぞれ格納される。ブロックマッチング演算器104 は、基準画像格納メモリ101 からブロック単位で読み出される基準ブロックデータと、参照画像格納メモリ102 からブロック単位で読み出される参照ブロックデータとを用いて、参照画像内の探索範囲内で参照ブロックをサーチしながら相関演算を行う。このとき、基準ブロックと最も相関が高いと判定された参照ブロックの位置と基準ブロックの位置との差分が、動きベクトルとして出力されるようになっている。
【００２６】
（第１の実施の形態）
次に、本発明の第１の実施の形態について説明する。図１は、第１の実施の形態の全体構成を示すブロック構成図である。図１において、１は入力される映像信号のうち基準画像のデータを格納する基準画像格納メモリ、２は入力される映像信号のうち参照画像のデータを格納する参照画像格納メモリ、３は前記基準画像格納メモリ１と前記参照画像格納メモリ２とを制御するメモリコントローラ、４は前記基準画像格納メモリ１から基準ブロック単位で出力される基準ブロックデータと、前記参照画像格納メモリ２から参照ブロック単位で出力される参照ブロックデータとを用いて、差分絶対値和演算もしくは差分二乗和演算を行い、前記基準ブロックの位置から、演算結果が最小となるときの前記参照ブロックの位置までを、動きベクトルとして出力するブロックマッチング演算器、５はブロックマッチング演算器４から出力される、複数のモードにおける動きベクトルを比較するモード結果比較器、６はモード結果比較器５から出力される比較結果に基づいて、パラメータを設定する動作モード設定器を示している。
【００２７】
次に、図２を用いて本実施の形態における通常モードと低消費電力モードに関して説明する。図２において、フレーム１からフレーム10は、それぞれブロックマッチング演算を行う２枚の画像の組を示し、例えば立体映像における視差測定では、右画像１と左画像１の組をフレーム１，右画像２と左画像２の組をフレーム２とする。また、フレーム１とフレーム８は、モード決定用フレームであり、例えば図２の例では７フレームおきに周期的に発生するものとする。
【００２８】
次に、図１及び図２を用いて、本実施の形態における動作について説明する。まず、モード決定用フレームであるフレーム１において、動作モード設定器６は通常モードを設定し、通常モードに応じたパラメータを出力する。メモリコントローラ３は、動作モード設定器６にて設定された通常モード時のパラメータを受け取り、通常モード時のパラメータに従った制御方法で、基準画像格納メモリ１と参照画像格納メモリ２を制御する。ブロックマッチング演算器４は、基準画像格納メモリ１から読み出された基準ブロックデータと、参照画像格納メモリ２から読み出された参照ブロックデータとを用いて、参照画像内の探索範囲内で参照ブロックをサーチしながら相関演算を行う。このとき、基準ブロックの位置と、基準ブロックと最も相関が高いと判定された参照ブロックの位置との差分が、動きベクトルとして出力される。なお、ブロックマッチング演算器４は、動作モード設定器６にて設定された通常モード時のパラメータを受け取り、パラメータ従った検出方法で動きベクトルを検出する。
【００２９】
通常モードにて設定された基準ブロック数の動きベクトルが検出された後、動作モード設定器６は、低消費電力モードを設定する。このとき、低消費電力モードにおける動きベクトルの検出も、通常モードの場合と同様にして行われる。なお、低消費電力モード時に動作モード設定器６で設定されるパラメータは、通常モード時に設定されるパラメータよりも消費電力が少なくなるように設定される。
【００３０】
モード結果比較器５は、通常モードで検出された動きベクトルの統計値と低消費電力モードで検出された動きベクトルの統計値との差分が、閾値以内であるか否かを判定する。ここで、統計値とは、例えば平均値、最大値、最小値、最頻値等を指す。また、前記複数の統計値を併用してもよい。また、動きベクトルの分布に関するヒストグラムを作成し、それぞれの範囲に関する頻度であってもよい。
【００３１】
また、通常モード時の全ての動きベクトルと低消費電力時の全ての動きベクトルとを用いて、各々一致するか判定し、フレーム全体における一致率が閾値以内であるかを判定してもよい。
【００３２】
次に、動作モード設定器６は、モード結果比較器５にて判定された結果を受け取り、フレーム２からフレーム７までの動作モードを設定する。ここで、例えばフレーム１における通常モードの統計値と低消費電力モードの統計値との差分が閾値以内だった場合は、図２に示すようにフレーム２からフレーム７までは、低消費電力モードを設定する。
【００３３】
同様に、次のモード決定用フレームであるフレーム８に関しても、動作モード設定器６が通常モードと低消費電力モードとを設定し、モード結果比較器５が通常モード時の統計値と低消費電力モード時の統計値とを比較する。ここで、例えばフレーム８における通常モードの統計値と低消費電力モードの統計値との差分が、閾値を超えていた場合は、図２に示すようにフレーム９からフレーム14までは、通常モードが設定される。
【００３４】
以上説明した手法によれば、通常モード時の測定結果と低消費電力モード時の測定結果とを比較した後に、動作モードを決定するため、検出精度を低下させずに消費電力削減効果を得ることができる。
【００３５】
なお、動作モード設定器６にて動作モードに応じて設定されるパラメータは、例えば、探索範囲、相関演算時におけるビット長、基準ブロック数、ブロックサイズ、間引き等に対応するものが考えられる。以下にこれらのパラメータが設定されたときの動作について説明する。
【００３６】
図３は、第１の実施の形態における、探索範囲に関して示す説明図である。図３において、10はブロックサイズがＭ画素×Ｎ画素の基準ブロック、11は基準ブロック位置を中心に水平方向に±Ａ画素、垂直方向に±Ｂ画素の範囲を持つ探索範囲、12は基準ブロック10の左上位置、13は探索範囲11内の探索開始位置、14は探索範囲11内の探索終了位置を示す。ここで、基準ブロックの左上位置12の座標を（Ｘ0 ，Ｙ0 ）、探索開始位置13の座標を（Ｘ1 ，Ｙ1 ）、探索終了位置14の座標を（Ｘ2 ，Ｙ2 ）とすれば、式１（Ｘ1 ＝Ｘ0 −Ａ，Ｙ1 ＝Ｙ0 −Ｂ，Ｘ2＝Ｘ0 ＋Ｍ＋Ａ−１，Ｙ2 ＝Ｙ0 ＋Ｎ＋Ｂ−１）によって、探索開始位置13と探索終了位置14を求めることができる。
【００３７】
次に、動作モード設定器６にて探索範囲とブロックサイズに関するパラメータが与えられたときの、メモリコントローラ３の動作に関して説明を行う。メモリコントローラ３は、探索範囲とブロックサイズに関するパラメータが与えられると、上記式１の演算式により探索開始位置13と探索終了位置14を演算する。メモリコントローラ３は、参照画像格納メモリ２を制御して、探索開始位置13から探索終了位置14までの参照画像データを読み出す。
【００３８】
以上の方法により、メモリコントローラ３は、動作モード設定器６から設定されたパラメータに応じて、探索範囲を任意に設定することができる。例えば、低消費電力モード時に、通常モード時よりも狭い探索範囲を設定すれば、短時間で演算を終了することができる。演算終了後、回路を停止等することにより、通常モードよりも消費電力を削減することができる。
【００３９】
図４は、基準ブロックの間隔に関して示す説明図である。図４において、基準ブロック10は、水平方向にＤＸ，垂直方向にＤＹの間隔で配置されている。隣合った３つの基準ブロックの左上位置を示す20，21及び22の座標を、それぞれ（ＸＡ，ＹＡ），（ＸＢ，ＹＢ），（ＸＣ，ＹＣ）とすれば、式２（ＸＢ＝ＸＡ＋ＤＸ，ＹＢ＝ＹＡ，ＸＣ＝ＸＡ，ＹＣ＝ＹＡ＋ＤＹ）が成り立つ。つまり、水平方向のブロック間隔ＤＸ及び垂直方向のブロック間隔ＤＹが与えられていれば、隣の基準ブロックの座標を求めることができる。
【００４０】
次に、動作モード設定器６にて基準ブロック数と水平方向及び垂直方向のブロック間隔に関するパラメータが与えられたときの、メモリコントローラ３の動作に関して説明を行う。メモリコントローラ３は、ブロック間隔に関するパラメータが与えられると、上記式２の演算式により個々の基準ブロックの座標を演算し、基準ブロックに対する基準画像データと参照画像データとを読み出す。その後、設定された基準ブロック数のデータを読み出し終えたら、動作を終了する。
【００４１】
以上の方法により、メモリコントローラ３は、動作モード設定器６から設定されたパラメータに応じて、基準ブロック数とその配置方法を任意に設定することができ、例えば、図５の（Ａ），（Ｂ）に示すように、低消費電力モード時は、通常モード時と比較して基準ブロック数が少なくなるように配置することが可能である。このように、低消費電力モード時に、通常モード時よりも基準ブロック数を少なく設定すれば、短時間で演算を終了することができ、通常モードよりも消費電力を削減することができる。
【００４２】
図６は、第１の実施の形態において、ブロックサイズが４画素×４画素時のブロックマッチング演算器４の回路構成を示す図である。説明を簡単にするために、４画素×４画素にて説明するが、８画素×８画素、16画素×16画素やその他のブロックサイズの場合も同様な構成である。基準画像メモリ１から読み出された基準ブロックデータと参照画像メモリ２から読み出された参照ブロックデータは、直並列変換器30で直並列変換され、差分絶対値演算器群31に入力される。差分絶対値演算器群31は、基準ブロックデータと参照ブロックデータとの差分絶対値演算を行う。なお、差分絶対値演算器群31における個々の差分絶対値演算器の括弧内の数字は、図７に示す基準ブロック内の画素位置及び参照ブロック内の画素位置に対応し、例えば差分絶対値演算器(1.1) は、基準ブロックデータのうち画素位置(1.1) のデータと、参照ブロックデータのうち画素位置(1.1) のデータとの差分絶対値演算を行う。
【００４３】
差分絶対値演算器群31から出力された差分絶対値演算結果は、加算器群32で加算される。加算器群32から出力される加算結果、すなわち基準ブロックと参照ブロックとの間の差分絶対値和は、最小値検出器33に入力され、最小値検出器33は、探索範囲内で差分絶対値和が最小となるときの値を検出し、動きベクトルを出力する。以上の方法により、ブロックマッチング演算器４は、４画素×４画素の差分絶対値和演算を行い、動きベクトルを検出することができる。
【００４４】
次に、動作モード設定器６にて、例えばブロックサイズが３画素×３画素と設定されたときのブロックマッチング演算器４の動作に関して、図６を用いて説明する。動作モード設定器６にてブロックサイズが３画素×３画素と設定されると、差分絶対値演算器群31は、差分絶対値演算器(1.4) 及び(2.4) 及び(3.4) 及び(4.1) 及び(4.2) 及び(4.3) 及び(4.4) を停止させる。また、直並列変換器30及び加算器群32も、差分絶対値演算器(1.4) ，(2.4) ，(3.4) ，(4.1) ，(4.2) ，(4.3) 及び(4.4) に対応する部分を、停止させることができる。以上により、ブロックマッチング演算器４は、設定されたブロックサイズに応じて回路の一部を停止させることができる。例えば、低消費電力モード時に、通常モード時よりも小さいブロックサイズを設定することにより、消費電力削減効果が得られる。
【００４５】
また、動作モード設定器６にて、例えば図８において、間引きによって計算されない画素をハッチングを付した画素で示すように、垂直方向の間引きが設定された場合も同様に、直並列変換器30及び差分絶対値演算器群31及び加算器群32は、差分絶対値演算器(2.1) 及び(2.2) 及び(2.3) 及び(2.4) 及び(4.1) 及び(4.2) 及び(4.3) 及び(4.4) に該当する部分をを停止させることができる。また、垂直方向の間引きだけでなく、水平方向の間引き、又は垂直方向と水平方向の間引きの併用が設定された場合も同様である。例えば、低消費電力モード時に、通常モード時よりも大きい間引き量を設定することにより、消費電力削減効果が得られる。
【００４６】
また、動作モード設定器６にて、相関演算時におけるビット長が短く設定された場合は、直並列変換器30及び差分絶対値演算器群31及び加算器群32及び最小値検出器33の下位数ビットの動作を停止させることができる。例えば、低消費電力モード時に、通常モード時よりも短いビット長を設定することにより、消費電力削減効果が得られる。
【００４７】
本実施の形態によると、通常モード時の測定結果と低消費電力モード時の測定結果を比較した後に、動作モードを決定するため、検出精度を低下させずに消費電力削減効果を得ることができる。また、通常モードと低消費電力モードとで探索範囲、相関演算時におけるビット長、基準ブロック数、ブロックサイズ、間引き等のパラメータ設定を変えることができ、且つ複数のパラメータを併用することにより、高い消費電力削減効果を得ることができる。
【００４８】
また、従来の手法では、例えば探索範囲の設定と間引きの設定等、個々の消費電力削減手段によって映像の特性を調べる手法が異なっていたが、本発明では、前記探索範囲や間引き等の複数のパラメータを併用しても、通常モード時の結果と低消費電力モード時の結果とを比べる手法は一定であるので、装置を複雑化することなく、様々な消費電力削減手段を併用することができる。
【００４９】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図９は、本実施の形態の全体構成を示すブロック構成図であり、符号１〜６で示す構成要素は、図１で示した第１の実施の形態と同様であるので、その説明を省略する。この実施の形態の特徴は、ブロックマッチング演算器４から出力される動きベクトルを用いて、シーン変化を検出するシーン変化検出器７を備えている点である。
【００５０】
このシーン変化検出器７においては、ブロックマッチング演算器４から出力された現フレームにおける動きベクトルの統計値と、前フレームにおける動きベクトルの統計値とを比較する。比較した結果、現フレームの統計値と前フレームの統計値とで大きな変化が見られた場合は、シーン変化と判断する。シーン変化検出器７でシーン変化と判断された場合、動作モード設定器６は現在のフレームをモード決定用フレームとする。
【００５１】
第１の実施の形態においては、複数のフレームおきに周期的に動作モードが決定されていたが、本実施の形態では、シーン変化に対応して動作モードが決定される。したがって、本実施の形態では、低消費電力モードで動作中にシーン変化が起こった場合は、再度動作モードが決定されるため、信頼性の高い動きベクトル検出を行うことができる。このように、本実施の形態においても、第１の実施の形態と同様に消費電力削減効果を得ることができ、特にシーン変化が発生する映像に有効である。
【００５２】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。本実施の形態における装置全体の構成は、第１の実施の形態と同様であるので、その図示説明は省略する。図10は、基準画像におけるモード決定用基準ブロックの配置例に関して示す説明図である。本実施の形態においては、動作モード設定器６は、モード決定用基準ブロックに対して通常モードと低消費電力モードとを設定する。図10に示す配置例では、モード決定用基準ブロック35は基準画像36中に複数個存在し、モード結果比較器５は、モード決定用基準ブロックの通常モード時の動きベクトルの統計値と、低消費電力モード時の動きベクトルの統計値との差分が閾値以内であるかを判定する。動作モード設定器６は、通常モード時の動きベクトルの統計値と低消費電力モード時の動きベクトルの統計値との差分が、閾値以内であった場合には、基準画像36内の全ての基準ブロック37に対して低消費電力モードを設定する。
【００５３】
第１の実施の形態では、数フレームに１回動作モードを決定していたが、本実施の形態では毎フレームで動作モードを決定する。本実施の形態においても、第１の実施の形態と同様に消費電力削減効果を得ることができ、特にフレーム間の相関が低い場合に有効である。
【００５４】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。本実施の形態における装置全体の構成は、第１の実施の形態と同様であるので、その図示説明は省略する。図11は、本実施の形態のモード決定用基準ブロックと、同一モードで動作する基準ブロックの集合に関して示す説明図である。基準画像40は、太線で示す複数の基準ブロックの集合42に分割され、該基準ブロックの集合42内にモード決定用基準ブロック43は一つ配置される。なお、基準ブロックの集合42は、図示例では５×５の基準ブロック41で示している。
【００５５】
本実施の形態において、動作モード設定器６は、モード決定用基準ブロック43に対して、通常モードと低消費電力モードとを設定する。モード結果比較器５は、モード決定用基準ブロック43の通常モード時の動きベクトルと、低消費電力モード時の動きベクトルとの差分が、閾値以内であるかを判定する。動作モード設定器６は、通常モード時の動きベクトルと低消費電力モード時の動きベクトルとの差分が閾値以内であった場合には、モード決定用基準ブロック43の周辺の基準ブロック41に対して、低消費電力モードを設定する。
【００５６】
第３の実施の形態では、基準画像内の全ての基準ブロックに対して同じ動作モードを設定していたが、本実施の形態では、基準画像内を分割した領域毎に異なる動作モードを設定することが可能である。本実施の形態においても、第１の実施の形態と同様に消費電力削減効果を得ることができ、特に１枚の画像中に特性の異なる物体が混在している場合に有効である。
【００５７】
（第５の実施の形態）
次に、本発明の第５の実施の形態について説明する。本実施の形態における装置全体の構成は、第１の実施の形態と同様であるので、その図示説明は省略する。図12は、本実施の形態における動作モードの設定の一例について示す図である。本実施の形態において、動作モードには１つの通常モードと３つの低消費電力モードがあり、３つの低消費電力モードには、低消費電力モード１及び２及び３がある。なお、３つの低消費電力モードは、低消費電力モード１→低消費電力モード２→低消費電力モード３の順に設定されることが予め決められているものとする。また、図12の図示例では、３つの低消費電力モードのうち、低消費電力モード１が最も消費電力削減効果が大きく、低消費電力モード３が最も消費電力削減効果が小さくなるように、探索範囲及びブロックサイズ及び間引きが設定されている。
【００５８】
図13は、モード決定用フレームにおける動作モード決定フローを示す図である。次に、図13のフローチャートを用いて、本実施の形態における動作について説明を行う。動作モード設定器６は、モード決定用フレームに対して、通常モードにて動きベクトル検出を行った後（ステップＳ１）、低消費電力モード１で動きベクトル検出を行う（ステップＳ２）。その後、通常モード時の動きベクトルの統計値と低消費電力モード１時の動きベクトルの統計値との差分が閾値以内であるか否かの判定を行い（ステップＳ３）、閾値以内であった場合は、動作モード設定器６は、その後のフレームに対して低消費電力モード１を設定する（ステップＳ４）。前記差分の判定ステップＳ３において差分が閾値を超えていた場合は、低消費電力モード２で動きベクトル検出を行い（ステップＳ５）、通常モード時と低消費電力モード２時の結果の差分を演算する。そして、前記差分が閾値以内であるか否かの判定を行い（ステップＳ６）、前記差分が閾値以内であれば、その後のフレームに対して低消費電力モード２を設定する（ステップＳ７）。前記差分の判定ステップＳ５において差分が閾値を超えていた場合は、低消費電力モード３で動きベクトル検出を行い（ステップＳ８）、通常モード時と低消費電力モード３時の結果の差分を演算する。そして、前記差分が閾値以内であるか否かの判定を行い（ステップＳ９）、前記差分が閾値以内であれば、その後のフレームに対して低消費電力モード３を設定し（ステップＳ10）、前記差分の判定ステップＳ９において差分が閾値を超えていた場合は、その後のフレームに対して通常モードを設定する（ステップＳ11）。
【００５９】
図14及び図15は、それぞれ上記手法を用いた場合における動作モードの決定態様を時間軸上で示した図である。通常モードと低消費電力モード１の結果が異なる場合、図14に示した例の場合は、同一のフレームで再度低消費電力モード２の測定を行い、図15に示した例の場合は、次のフレームで通常モードと低消費電力モード２の測定及び比較を行う。本実施の形態は、図14及び図15に示す手法の両方に適用可能であり、図14に示した例の場合には、全体として通常モードでの動作回数が少なくなるという利点があり、図15に示した例の場合には、１フレーム内での最大演算時間が短くなるという利点がある。
【００６０】
上記手法によれば、低消費電力モードが複数ある場合、消費電力削減効果の大きいものから優先的に選択されるという利点がある。また、第１から第４の実施の形態においては、低消費電力モードの数に関しては特に考慮していないが、本実施の形態のように複数の低消費電力モードを設定しておくと、消費電力を細かく制御することができるという利点も得られる。
【００６１】
また、動作モードの設定は、例えば図16に示す態様で行うこともできる。この場合、動きの少ない画像の場合は低消費電力モード１が、動きは大きいが周波数成分の低い映像の場合は低消費電力モード２が選択されることが期待できる。
【００６２】
また、本実施の形態においては、第１及び第２の実施の形態のように、モード決定用フレームに対して結果を比較する場合に関して説明を行ったが、第３及び第４の実施の形態のように、モード決定用基準ブロックに対して結果を比較する場合に関しても、同様に適用可能である。
【００６３】
また、上記第１から第５の実施の形態においては、動きベクトルを検出する場合に関して説明を行ったが、これらの実施の形態は、ステレオ画像における左右画像の視差ベクトルを検出する場合に関しても、同様に適用可能である。
【００６４】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１及び請求項２に係る発明によれば、通常モード時の測定結果と低消費電力モード時の測定結果を比較した後に動作モードを決定するように構成しているので、検出精度を低下させず且つ装置を複雑化することなく、消費電力削減効果を得ることができる。特に請求項２に係る発明は、フレーム間の相関が高い映像に関して有効である。また請求項３に係る発明によれば、モード決定用フレームを検出されたシーン変化に対応して指定するように構成されているので、シーン変化が多い映像に関して検出精度を向上させることができる。また請求項４に係る発明によれば、通常モード時と低消費電力モード時の測定結果の差分が閾値以内の場合には、モード決定用基準ブロックが存在する基準画像内の全ての基準ブロックに対して低消費電力モードを設定するように構成しているので、特にフレーム間の相関が低い場合に、検出精度を低下させずに消費電力削減効果を得ることができる。また請求項５に係る発明によれば、通常モード時と低消費電力モード時の測定結果の差分が閾値以内の場合には、モード決定用基準ブロックの周辺の基準ブロックに対して、低消費電力モードを設定するように構成しているので、特に１枚の画像中に特性の異なる物体が混在する場合に、検出精度を低下させずに消費電力削減効果が得られる。また請求項６に係る発明によれば、複数の低消費電力モードを設けているので、消費電力を細かく制御することができ、また複数の低消費電力モードのうち、消費電力削減効果の大きいものから優先的に選択させることにより、可能な限り高い消費電力削減効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すブロック構成図である。
【図２】図１に示した第１の実施の形態における通常モードと低消費電力モードの切替え態様を示す説明図である。
【図３】第１の実施の形態における参照画像内の探索範囲を示す説明図である。
【図４】第１の実施の形態における基準ブロック間隔に関する説明図である。
【図５】第１の実施の形態において動作モード設定器から設定されたパラメータに応じた基準ブロックの配置態様を示す図である。
【図６】第１の実施の形態におけるブロックマッチング演算器の構成例を示す図である。
【図７】基準ブロック又は参照ブロック内の画素位置を示す図である。
【図８】間引き設定された基準ブロック又は参照ブロック内の画素位置を示す図である。
【図９】本発明の第２の実施の形態を示すブロック構成図である。
【図１０】第３の実施の形態において、基準画像におけるモード決定用基準ブロックの配置例を示す図である。
【図１１】第４の実施の形態において、基準画像におけるモード決定用基準ブロックと、同一モードで動作する基準ブロックの集合の配置態様を示す図である。
【図１２】第５の実施の形態において、動作モードの設定例を示す図である。
【図１３】第５の実施の形態において、モード決定用フレームにおける動作モード決定動作を説明するためのフローチャートである。
【図１４】第５の実施の形態において、動作モード決定態様の一例を時間軸上で示す図である。
【図１５】第５の実施の形態において、動作モード決定態様の他の例を時間軸上で示す図である。
【図１６】第５の実施の形態において、動作モードの他の設定例を示す図である。
【図１７】従来の動きベクトル検出装置の構成例を示すブロック図である。
【符号の説明】
１ 基準画像格納メモリ
２ 参照画像格納メモリ
３ メモリコントローラ
４ ブロックマッチング演算器
５ モード結果比較器
６ 動作モード設定器
７ シーン変化検出器
10 基準ブロック
11 参照画像探索範囲
12 基準ブロック左上位置
13 探索開始位置
14 探索終了位置
20，21，22 基準ブロック左上位置
30 直並列変換器
31 差分絶対値演算器群
32 加算器群
33 最小値検出器
35 モード決定用基準ブロック
36 基準画像
37 基準ブロック
40 基準画像
41 基準ブロック
42 基準ブロックの集合
43 モード決定用基準ブロック
Claims (6)
- 入力映像信号の動きベクトル又は視差ベクトルの検出装置において、入力映像信号のうち基準画像のデータを格納する基準画像格納メモリと、前記入力映像信号のうち参照画像のデータを格納する参照画像格納メモリと、前記基準画像格納メモリと前記参照画像格納メモリとを制御するメモリコントローラと、前記基準画像格納メモリから読み出される基準ブロックデータと前記参照画像格納メモリから読み出される参照ブロックデータとを用いて相関演算を行い、動きベクトル又は視差ベクトルを検出するブロックマッチング演算器と、通常モードと低消費電力モードとを設定し、前記各モードに応じたパラメータを出力する動作モード設定器と、通常モード時の測定結果と低消費電力モード時の測定結果とを比較するモード結果比較器とを有し、前記動作モード設定器は、前記モード結果比較器による通常モード時の測定結果と低消費電力モード時の測定結果の比較結果に基づいて、低消費電力モード又は通常モードを設定するように構成されていることを特徴とする動きベクトル又は視差ベクトル検出装置。
- 前記モード結果比較器は、モード決定用フレームにおける通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるか否かを判定し、前記動作モード設定器は、前記モード結果比較器による前記差分が閾値以内であった場合は、前記モード決定用フレームより後に入力されるフレームに対して、低消費電力モードを設定するように構成されていることを特徴とする請求項１に係る動きベクトル又は視差ベクトル検出装置。
- 入力映像信号のシーン変化を検出するシーン変化検出器を有し、前記モード決定用フレームは、前記シーン変化検出器でシーン変化が検出された場合に指定されることを特徴とする請求項２に係る動きベクトル又は視差ベクトル検出装置。
- 前記モード結果比較器は、モード決定用基準ブロックの通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるか否かを判定し、前記動作モード設定器は、前記モード結果比較器による前記差分が閾値以内であった場合は、前記モード決定用基準ブロックが存在する基準画像内の全ての基準ブロックに対して、低消費電力モードを設定することを特徴とする請求項１に係る動きベクトル又は視差ベクトル検出装置。
- 前記モード結果比較器は、モード決定用基準ブロックの通常モード時の動きベクトル又は視差ベクトルの統計値と低消費電力モード時の動きベクトル又は視差ベクトルの統計値との差分が閾値以内であるか否かを判定し、前記動作モード設定器は、前記モード結果比較器による前記差分が閾値以内であった場合は、前記モード決定用基準ブロックの周辺の基準ブロックに対して、低消費電力モードを設定することを特徴とする請求項１に係る動きベクトル又は視差ベクトル検出装置。
- 前記動作モード設定器は、前記通常モードを設定した後、消費電力削減効果の大きい順に複数の低消費電力モードを順次設定することを特徴とする請求項１に係る動きベクトル又は視差ベクトル検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001189035A JP4608136B2 (ja) | 2001-06-22 | 2001-06-22 | 動きベクトル及び視差ベクトル検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001189035A JP4608136B2 (ja) | 2001-06-22 | 2001-06-22 | 動きベクトル及び視差ベクトル検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003009179A JP2003009179A (ja) | 2003-01-10 |
| JP4608136B2 true JP4608136B2 (ja) | 2011-01-05 |
Family
ID=19028021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001189035A Expired - Fee Related JP4608136B2 (ja) | 2001-06-22 | 2001-06-22 | 動きベクトル及び視差ベクトル検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4608136B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100968920B1 (ko) | 2006-01-05 | 2010-07-14 | 니폰덴신뎅와 가부시키가이샤 | 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체 |
| ZA200805337B (en) | 2006-01-09 | 2009-11-25 | Thomson Licensing | Method and apparatus for providing reduced resolution update mode for multiview video coding |
| CN101536529B (zh) | 2006-09-20 | 2011-08-31 | 日本电信电话株式会社 | 图像编码方法和解码方法、其装置 |
| WO2008035665A1 (fr) | 2006-09-20 | 2008-03-27 | Nippon Telegraph And Telephone Corporation | procédé DE CODAGE D'IMAGE, PROCÉDÉ DE DÉCODAGE, DISPOSITIF associÉ, DISPOSITIF DE DÉCODAGE D'IMAGE, programme associÉ, et support de stockage contenant le programme |
| JP4999859B2 (ja) | 2006-10-30 | 2012-08-15 | 日本電信電話株式会社 | 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 |
| JP2008158682A (ja) * | 2006-12-21 | 2008-07-10 | Mitsubishi Electric Corp | 画像処理装置 |
| EP2099226B1 (en) * | 2006-12-28 | 2015-01-21 | Nippon Telegraph and Telephone Corporation | Video encoding method, decoding method, device thereof, program thereof, and storage medium containing the program |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05130588A (ja) * | 1991-10-31 | 1993-05-25 | Toshiba Corp | 画像の動きベクトル検出装置 |
| JPH05236452A (ja) * | 1991-04-08 | 1993-09-10 | Olympus Optical Co Ltd | 動ベクトル検出方法及び検出装置 |
| JPH0851629A (ja) * | 1994-08-05 | 1996-02-20 | Sony Corp | 動きベクトル検出装置及び方法 |
| JPH08102951A (ja) * | 1994-09-30 | 1996-04-16 | Sony Corp | 画像符号化装置 |
| JPH09224249A (ja) * | 1996-02-15 | 1997-08-26 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出装置 |
| JPH11136682A (ja) * | 1997-08-26 | 1999-05-21 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置および動きベクトル検出方法、並びに画像符号化装置 |
| JPH11239354A (ja) * | 1998-02-23 | 1999-08-31 | Mitsubishi Electric Corp | 動きベクトル検出器 |
| JPH11308617A (ja) * | 1998-04-23 | 1999-11-05 | Hitachi Ltd | ディジタル画像符号化装置とこれに用いる動きベクトル検出装置 |
| JP2000078580A (ja) * | 1998-08-28 | 2000-03-14 | Sony Corp | 動きベクトル検出装置および方法、並びに提供媒体 |
| JP2000308064A (ja) * | 1999-04-22 | 2000-11-02 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
| JP2000333184A (ja) * | 1999-03-17 | 2000-11-30 | Matsushita Electric Ind Co Ltd | 動きベクトル検出方法，動きベクトル検出装置，及びデータ記録媒体 |
-
2001
- 2001-06-22 JP JP2001189035A patent/JP4608136B2/ja not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05236452A (ja) * | 1991-04-08 | 1993-09-10 | Olympus Optical Co Ltd | 動ベクトル検出方法及び検出装置 |
| JPH05130588A (ja) * | 1991-10-31 | 1993-05-25 | Toshiba Corp | 画像の動きベクトル検出装置 |
| JPH0851629A (ja) * | 1994-08-05 | 1996-02-20 | Sony Corp | 動きベクトル検出装置及び方法 |
| JPH08102951A (ja) * | 1994-09-30 | 1996-04-16 | Sony Corp | 画像符号化装置 |
| JPH09224249A (ja) * | 1996-02-15 | 1997-08-26 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出装置 |
| JPH11136682A (ja) * | 1997-08-26 | 1999-05-21 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置および動きベクトル検出方法、並びに画像符号化装置 |
| JPH11239354A (ja) * | 1998-02-23 | 1999-08-31 | Mitsubishi Electric Corp | 動きベクトル検出器 |
| JPH11308617A (ja) * | 1998-04-23 | 1999-11-05 | Hitachi Ltd | ディジタル画像符号化装置とこれに用いる動きベクトル検出装置 |
| JP2000078580A (ja) * | 1998-08-28 | 2000-03-14 | Sony Corp | 動きベクトル検出装置および方法、並びに提供媒体 |
| JP2000333184A (ja) * | 1999-03-17 | 2000-11-30 | Matsushita Electric Ind Co Ltd | 動きベクトル検出方法，動きベクトル検出装置，及びデータ記録媒体 |
| JP2000308064A (ja) * | 1999-04-22 | 2000-11-02 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003009179A (ja) | 2003-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1587032B1 (en) | Image processing apparatus and method, recording medium, and program | |
| US7912298B2 (en) | Video evaluation device, frame rate determination device, video process device, video evaluation method, and video evaluation program | |
| US7187803B2 (en) | Motion detecting device and search region variable-shaped motion detector | |
| TWI462052B (zh) | Information processing system, information processing device, image capturing device and information processing method | |
| TWI479318B (zh) | Information processing apparatus, information processing method and location information | |
| US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
| KR100670003B1 (ko) | 적응형 문턱치를 이용한 영상의 평탄 영역 검출장치 및 그방법 | |
| US8503531B2 (en) | Image processing apparatus and method, recording medium, and program | |
| US20080002774A1 (en) | Motion vector search method and motion vector search apparatus | |
| US20120093231A1 (en) | Image processing apparatus and image processing method | |
| JP2006512029A (ja) | セグメントベース動き推定 | |
| JP2009147807A (ja) | 画像処理装置 | |
| CN101674448A (zh) | 视频信号处理装置、视频信号处理方法和视频信号处理程序 | |
| JP4608136B2 (ja) | 動きベクトル及び視差ベクトル検出装置 | |
| US11202045B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| US20120274845A1 (en) | Image processing device and method, and program | |
| JP6673333B2 (ja) | 画像処理装置と画像処理方法および撮像装置 | |
| CN113642442B (zh) | 人脸检测方法及装置、计算机可读存储介质、终端 | |
| JP2007158855A (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
| JP4671696B2 (ja) | 動きベクトル検出装置 | |
| JP2005229166A (ja) | 映像信号のノイズ量測定装置および測定方法 | |
| JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
| JP2007097028A (ja) | 動きベクトル検出方法および動きベクトル検出回路 | |
| JP5082933B2 (ja) | 動きベクトル検出回路、動きベクトル検出装置、及び集積回路 | |
| JP2005354478A (ja) | 動き検出装置および動き検出方法、画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080611 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100825 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100914 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101008 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131015 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |