JP5045320B2 - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents
画像処理装置、および画像処理方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP5045320B2 JP5045320B2 JP2007230053A JP2007230053A JP5045320B2 JP 5045320 B2 JP5045320 B2 JP 5045320B2 JP 2007230053 A JP2007230053 A JP 2007230053A JP 2007230053 A JP2007230053 A JP 2007230053A JP 5045320 B2 JP5045320 B2 JP 5045320B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- lmv
- weight
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
Description
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。特に、画像の動きベクトル検出を行う画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
動画像の圧縮などの画像符号化においては動きベクトルを検出し、動きベクトル情報に基づくデータ圧縮処理が実行される。画像符号化方式として知られるＭＰＥＧ方式では、例えば、各フレームをブロック分割して、現在フレームと参照フレームの対応ブロックごとに動きベクトルを検出する処理が実行される。しかし、ブロック単位の動きベクトル情報を圧縮データに含めるとデータ量が増大することになる。カメラが例えばパン、チルト、あるいは手振れなどで移動した場合、各ブロックの動きベクトルはほぼ共通であり、このような場合ブロック単位の動きベクトルではなく、１つのフレームに対応する１つの動きベクトルを設定して符号化処理を行うことでデータ量の削減が可能となる。
個々のブロック単位の動きベクトルをローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）と呼び、１つのフレームに対応する１つの動きベクトルはグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）と呼ばれる。グローバル動きベクトル（ＧＭＶ）を利用したデータ符号化は、例えばＭＰＥＧ−４において採用されている。
例えば、図１（ａ）に示すように、時間ｔ０，ｔ１の時間で撮影された２つの画像フレーム１０，１１があるとする。この２フレームではカメラが例えばパン、チルト、あるいは手振れなどで移動して撮影されたフレームであり、撮影画像が図に示す通り、全体的に移動している。
このような画像を符号化するような場合、各フレームを例えばｎ画素×ｎ画素の複数のブロックに分割して、各ブロック単位の動きベクトル（ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）、すなわち、ローカル動きベクトル（ＬＭＶ）を検出して、個別のブロック単位の動きベクトルを利用したデータ圧縮および復元処理が従来は行われていた。しかし、パン、チルト、あるいは手振れなどでカメラが移動した場合、図１（ｂ）に示すように、どのブロックの動きベクトルもほぼ同じベクトルとなる。
このような場合、図１（ｃ）に示すように画面全体の動きを表現する１つの動きベクトル２１を用い、画像符号化を実行することにより符号化効率を大幅に改善できる。このような画面全体の動きを表現するベクトルがグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）と呼ばれる。
グローバル動きベクトル（ＧＭＶ）は、図に示すような単純な平行移動の他、複数パラメータを用いて、回転、拡大、縮小を伴ったもの、アフィン（Ａｆｆｉｎｅ）変換、投射影変換を用いたデータとして表現可能である。前述したようにグローバル動きベクトル（ＧＭＶ）を適用した符号化方法は、ＭＰＥＧ−４等で採用されている。
ＭＰＥＧ−４では、グローバル動きベクトル（ＧＭＶ）を適用し、グローバル動き補償（ＧＭＣ：Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）を用いた画像符号化手法が規格として採用されており、符号化装置（Ｅｎｃｏｄｅｒ）側でグローバル動きベクトル（ＧＭＶ）を検出し、復号装置（Ｄｅｃｏｄｅｒ）側で伝送されたグローバル動きベクトル（ＧＭＶ）を用いてグローバル動き補償（ＧＭＣ）による復元が実行される。
グローバル動きベクトル（ＧＭＶ）は、図２に示すように現在フレームと参照フレーム間の対応する類似画素位置（ｘ，ｙ），（ｘ'，ｙ'）の関係を平行移動、回転、拡大、縮小、アフィン（Ａｆｆｉｎｅ）変換、投射影変換などを用いたデータとして表現され、通常は、１つの画像フレームに対し、１つのグローバル動きベクトル（ＧＭＶ）が適用される。なお、例えば通常のブロックサイズより大きなサイズに画面を分割し、各々にグローバル動きベクトル（ＧＭＶ）を設定してもよい。すなわち、グローバル動きベクトル（ＧＭＶ）は画像フレームに対して１つとは限らず、画像フレームに含まれる複数のブロックに共通の動きベクトルとして１つのグローバル動きベクトル（ＧＭＶ）を設定し、１フレームに複数のグローバル動きベクトル（ＧＭＶ）を設定する構成としてもよい。
グローバル動きベクトル（ＧＭＶ）は、例えば平行移動（並進）のみを示すベクトルの場合は、２つのパラメータ［ａ０，ａ１］を用いて以下のように表現される。
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
平行移動（並進）と回転を考慮したグローバル動きベクトル（ＧＭＶ）は、３つのパラメータ［ａ０，ａ１，ａ２］を用いて以下のように表現される。
ｘ'＝ｓｉｎａ０ｘ−ｃｏｓａ０ｙ＋ａ２
ｙ'＝ｃｏｓａ０ｘ＋ｓｉｎａ０ｙ＋ａ３
ｘ'＝ｓｉｎａ０ｘ−ｃｏｓａ０ｙ＋ａ２
ｙ'＝ｃｏｓａ０ｘ＋ｓｉｎａ０ｙ＋ａ３
アフィン変換に対応するグローバル動きベクトル（ＧＭＶ）は、６つのパラメータ［ａ０，ａ１，ａ２，ａ３，ａ４，ａ５］を用いて以下のように表現される。
ｘ'＝ａ０ｘ−ａ１ｙ＋ａ２
ｙ'＝ａ３ｘ＋ａ４ｙ＋ａ５
ｘ'＝ａ０ｘ−ａ１ｙ＋ａ２
ｙ'＝ａ３ｘ＋ａ４ｙ＋ａ５
投射変換に対応するグローバル動きベクトル（ＧＭＶ）は、８つのパラメータ［ａ０，ａ１，ａ２，ａ３，ａ４，ａ５，ａ６，ａ７］を用いて以下のように表現される。
ｘ'＝（（ａ０ｘ＋ａ１ｙ＋ａ２）／（ａ６ｘ＋ａ７ｙ＋１））
ｙ'＝（（ａ３ｘ＋ａ４ｙ＋ａ５）／（ａ６ｘ＋ａ７ｙ＋１））
ｘ'＝（（ａ０ｘ＋ａ１ｙ＋ａ２）／（ａ６ｘ＋ａ７ｙ＋１））
ｙ'＝（（ａ３ｘ＋ａ４ｙ＋ａ５）／（ａ６ｘ＋ａ７ｙ＋１））
動画像フレームからグローバル動きベクトル（ＧＭＶ）を求める場合、図２に示すように、現在フレームと参照フレームとを用いた処理が実行される。グローバル動きベクトル（ＧＭＶ）を求める手法にはいくつかの手法があるが、その１つの手法として、まず、ブロック単位のローカル動きベクトル（ＬＭＶ）を求め、ローカル動きベクトル（ＬＭＶ）を利用してグローバル動きベクトル（ＧＭＶ）を求める手法がある。この手法は、例えば非特許文献１（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ， Ｖｏｌ． ５２， Ｎｏ． ２， ＭＡＹ ２００６）に記載されている。
この手法は、まず、ブロック単位のローカル動きベクトル（ＬＭＶ）を求め、さらに、ブロック数に対応する複数のローカル動きベクトル（ＬＭＶ）から信頼度の高いローカル動きベクトル（ＬＭＶ）を選択し、選択された信頼度の高いローカル動きベクトル（ＬＭＶ）のみに基づいて１つのグローバル動きベクトル（ＧＭＶ）を求める手法である。
例えば、ｐ個のブロック数に対応するｐ個のローカル動きベクトル（ＬＭＶ）が求められた場合、ｐ個中からｑ個の信頼度の高いローカル動きベクトル（ＬＭＶ）を選択し、（ｐ−ｑ）個の信頼度の低いローカル動きベクトル（ＬＭＶ）は利用することなく、ｍ個の信頼度の高いローカル動きベクトル（ＬＭＶ）のみに基づいて１つのグローバル動きベクトル（ＧＭＶ）を求める。
ローカル動きベクトル（ＬＭＶ）の信頼度情報としては、例えば現在フレームと参照フレームとのブロックマッチングで明確な特徴点一致情報が得られているか否かといった情報が利用される。また、信頼度の高いローカル動きベクトル（ＬＭＶ）に基づいて１つのグローバル動きベクトル（ＧＭＶ）を求める手法としては、例えば最小二乗法が適用される。
このローカル動きベクトル（ＬＭＶ）を利用したグローバル動きベクトル（ＧＭＶ）の導出手法は、従来のローカル動きベクトル（ＬＭＶ）算出の延長上で実行可能であり、既存の構成を利用可能であるという利点がある。しかし、信頼度の高いローカル動きベクトル（ＬＭＶ）の数が少ない場合、グローバル動きベクトル（ＧＭＶ）の信頼度が極端に低下するという欠点がある。
ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ， Ｖｏｌ． ５２， Ｎｏ． ２， ＭＡＹ ２００６
本発明は、このような問題点に鑑みてなされたものであり、ローカル動きベクトル（ＬＭＶ）を利用したグローバル動きベクトル（ＧＭＶ）の導出処理において、信頼度の高いローカル動きベクトル（ＬＭＶ）の数が少ない場合においても、グローバル動きベクトル（ＧＭＶ）の信頼度を極端に低下させることのないグローバル動きベクトル（ＧＭＶ）の導出を可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第１の側面は、
画像処理装置であり、
動画像を構成する画像フレームの分割領域であるブロックに対応する動きベクトルをローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）として算出するローカル動きベクトル算出部と、
前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出するブロック重み算出部と、
前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出するグローバル動きベクトル算出部を有し、
前記グローバル動きベクトル算出部は、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成する構成であることを特徴とする画像処理装置にある。
画像処理装置であり、
動画像を構成する画像フレームの分割領域であるブロックに対応する動きベクトルをローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）として算出するローカル動きベクトル算出部と、
前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出するブロック重み算出部と、
前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出するグローバル動きベクトル算出部を有し、
前記グローバル動きベクトル算出部は、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成する構成であることを特徴とする画像処理装置にある。
さらに、本発明の画像処理装置の一実施態様において、前記ブロック重み算出部は、異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータに基づいて各ブロックに対応するブロック重みを算出する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記ブロック重み算出部は、異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータの乗算結果を各ブロックに対応するブロック重みとして算出する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記ブロック重み算出部は、
（ａ）各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズ、
（ｂ）各ブロック対応の差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）
（ｃ）各ブロック対応のブロック構成画素値の分散値、
（ｄ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する共分散値、
（ｅ）ブロック対応のローカル動きベクトル（ＬＭＶ）と周辺ブロックのローカル動きベクトル（ＬＭＶ）との相関値、
（ｆ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する相関係数、
上記（ａ）から（ｆ）の少なくともいずれかの値を適用したブロック重み算出処理を実行する構成であることを特徴とする。
（ａ）各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズ、
（ｂ）各ブロック対応の差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）
（ｃ）各ブロック対応のブロック構成画素値の分散値、
（ｄ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する共分散値、
（ｅ）ブロック対応のローカル動きベクトル（ＬＭＶ）と周辺ブロックのローカル動きベクトル（ＬＭＶ）との相関値、
（ｆ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する相関係数、
上記（ａ）から（ｆ）の少なくともいずれかの値を適用したブロック重み算出処理を実行する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記グローバル動きベクトル算出部は、前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる全てのブロックに共通の動きベクトルとしてフレーム対応の１つのグローバル動きベクトル（ＧＭＶ）を算出する構成であることを特徴とする。
さらに、本発明の第２の側面は、
画像処理装置において動きベクトル検出を実行する画像処理方法であり、
ローカル動きベクトル算出部が、動画像を構成する画像フレームの分割領域であるブロックに対応する動きベクトルをローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）として算出するローカル動きベクトル算出ステップと、
ブロック重み算出部が、前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出するブロック重み算出ステップと、
グローバル動きベクトル算出部が、前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出するグローバル動きベクトル算出ステップを有し、
前記グローバル動きベクトル算出ステップは、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成するステップであることを特徴とする画像処理方法にある。
画像処理装置において動きベクトル検出を実行する画像処理方法であり、
ローカル動きベクトル算出部が、動画像を構成する画像フレームの分割領域であるブロックに対応する動きベクトルをローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）として算出するローカル動きベクトル算出ステップと、
ブロック重み算出部が、前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出するブロック重み算出ステップと、
グローバル動きベクトル算出部が、前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出するグローバル動きベクトル算出ステップを有し、
前記グローバル動きベクトル算出ステップは、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成するステップであることを特徴とする画像処理方法にある。
さらに、本発明の画像処理方法の一実施態様において、前記ブロック重み算出ステップは、異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータに基づいて各ブロックに対応するブロック重みを算出するステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記ブロック重み算出ステップは、異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータの乗算結果を各ブロックに対応するブロック重みとして算出するステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記ブロック重み算出ステップは、
（ａ）各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズ、
（ｂ）各ブロック対応の差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）
（ｃ）各ブロック対応のブロック構成画素値の分散値、
（ｄ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する共分散値、
（ｅ）ブロック対応のローカル動きベクトル（ＬＭＶ）と周辺ブロックのローカル動きベクトル（ＬＭＶ）との相関値、
（ｆ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する相関係数、
上記（ａ）から（ｆ）の少なくともいずれかの値を適用したブロック重み算出処理を実行するステップであることを特徴とする。
（ａ）各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズ、
（ｂ）各ブロック対応の差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）
（ｃ）各ブロック対応のブロック構成画素値の分散値、
（ｄ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する共分散値、
（ｅ）ブロック対応のローカル動きベクトル（ＬＭＶ）と周辺ブロックのローカル動きベクトル（ＬＭＶ）との相関値、
（ｆ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する相関係数、
上記（ａ）から（ｆ）の少なくともいずれかの値を適用したブロック重み算出処理を実行するステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記グローバル動きベクトル算出ステップは、前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる全てのブロックに共通の動きベクトルとしてフレーム対応の１つのグローバル動きベクトル（ＧＭＶ）を算出するステップであることを特徴とする。
さらに、本発明の第３の側面は、
画像処理装置において動きベクトル検出を実行させるコンピュータ・プログラムであり、
ローカル動きベクトル算出部に、動画像を構成する画像フレームの分割領域であるブロックに対応する動きベクトルをローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）として算出させるローカル動きベクトル算出ステップと、
ブロック重み算出部に、前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出させるブロック重み算出ステップと、
グローバル動きベクトル算出部に、前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出させるグローバル動きベクトル算出ステップを有し、
前記グローバル動きベクトル算出ステップは、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成させるステップであることを特徴とするコンピュータ・プログラムにある。
画像処理装置において動きベクトル検出を実行させるコンピュータ・プログラムであり、
ローカル動きベクトル算出部に、動画像を構成する画像フレームの分割領域であるブロックに対応する動きベクトルをローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）として算出させるローカル動きベクトル算出ステップと、
ブロック重み算出部に、前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出させるブロック重み算出ステップと、
グローバル動きベクトル算出部に、前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出させるグローバル動きベクトル算出ステップを有し、
前記グローバル動きベクトル算出ステップは、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成させるステップであることを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例の構成によれば、動画像を構成する画像フレームの分割領域であるブロックに対応するローカル動きベクトル（ＬＭＶ）と、ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みとを算出し、ブロック重みに応じて各ブロック対応の寄与率を設定してグローバル動きベクトル（ＧＭＶ）を算出する構成とした。ブロック重みの算出においては、ローカル動きベクトル（ＬＭＶ）のサイズや、差分絶対値和（ＳＡＤ）、ブロック構成画素値の分散値、処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する共分散値など様々な視点からの指標を適用した構成としたので、信頼度の高いグローバル動きベクトル（ＧＭＶ）を算出することが可能となる。
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。
本発明の画像処理装置は、動画像データを入力し、動画像データに対応するグローバル動きベクトル（ＧＭＶ）を求める処理を実行する。本発明の画像処理装置は、まずブロック単位のローカル動きベクトル（ＬＭＶ）を求め、ローカル動きベクトル（ＬＭＶ）を利用してグローバル動きベクトル（ＧＭＶ）を求める。
本発明の構成では、ローカル動きベクトル（ＬＭＶ）に対応するブロック各々に対して信頼度を設定し、信頼度に対応する重み（Ｗｅｉｇｈｔ）を定義し、個々のローカル動きベクトル（ＬＭＶ）の重み（Ｗｅｉｇｈｔ）を考慮してグローバル動きベクトル（ＧＭＶ）を求める。
本発明の画像処理装置におけるグローバル動きベクトル（ＧＭＶ）の導出手法の概要について、図３を参照して説明する。図３（ａ）は、先に説明した従来手法を説明する図であり、図３（ｂ）が本発明の手法を説明する図である。
図３（ａ）は、１つの画像フレームを区分したｐ個のブロック数に対応するｐ個のローカル動きベクトル（ＬＭＶ）を求め、ｐ個からｑ個の信頼度の高いローカル動きベクトル（ＬＭＶ）を選択し、（ｐ−ｑ）個の信頼度の低いローカル動きベクトル（ＬＭＶ）は利用することなく、ｑ個の信頼度の高いローカル動きベクトル（ＬＭＶ）のみに基づいて１つのグローバル動きベクトル（ＧＭＶ）を求める手法である。ローカル動きベクトル（ＬＭＶ）の信頼度情報としては、例えば現在フレームと参照フレームとのブロックマッチングで明確な特徴点一致情報が得られているか否かといった情報が利用される。また、信頼度の高いローカル動きベクトル（ＬＭＶ）に基づいて１つのグローバル動きベクトル（ＧＭＶ）を求める手法としては、例えば最小二乗法が適用される。
このローカル動きベクトル（ＬＭＶ）を利用したグローバル動きベクトル（ＧＭＶ）の導出手法は、従来のローカル動きベクトル（ＬＭＶ）算出の延長上で実行可能であり、既存の構成を利用可能であるという利点がある。しかし、信頼度の高いローカル動きベクトル（ＬＭＶ）の数が少ない場合、グローバル動きベクトル（ＧＭＶ）の信頼度が極端に低下するという欠点がある。
一方、図３（ｂ）に示す本発明の手法では、１つの画像フレームを区分したｎ個のブロック数に対応するｎ個のローカル動きベクトル（ＬＭＶ）を求め、さらに全てのブロックに信頼度に応じた重み（ｗｅｉｇｈｔ）を設定する。その後、個々のローカル動きベクトル（ＬＭＶ）の重み（Ｗｅｉｇｈｔ）を考慮してグローバル動きベクトル（ＧＭＶ）を求める。
本発明の手法の具体例について説明する。グローバル動きベクトル（ＧＭＶ）は、例えば平行移動（並進）のみを示すベクトルの場合は、前述したように、現フレーム画像の座標（ｘ，ｙ）と、参照画像の座標（ｘ'，ｙ'）との対応関係が、２つのパラメータ［ａ０，ａ１］を用いて以下の式（式１）として表現される。
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
・・・（式１）
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
・・・（式１）
一方、図３（ｂ）に示す画像フレーム中の任意のブロック、ブロックｎについて、ローカル動きベクトル（ＬＭＶｎ）が、平行移動（並進）のみを示すベクトルの場合、
ローカル動きベクトル（ＬＭＶｎ）＝（ＭＶＸｎ，ＭＶＹｎ）
とすると、現フレーム画像のブロックｎの座標（ｘｎ，ｙｎ）と、参照画像のブロックｎの座標（ｕｎ，ｖｎ）との対応は、以下の式（式２）によって示される。
ｕｎ＝ｘｎ＋ＭＶＸｎ
ｖｎ＝ｙｎ＝ＭＶＹｎ
・・・（式２）
例えば、ブロック数がｐ個の場合、ｐ個のローカル動きベクトル（ＬＭＶ）＝（ＭＶＸｎ，ＭＶＹｎ）に対応する上記関係式が設定される。
ローカル動きベクトル（ＬＭＶｎ）＝（ＭＶＸｎ，ＭＶＹｎ）
とすると、現フレーム画像のブロックｎの座標（ｘｎ，ｙｎ）と、参照画像のブロックｎの座標（ｕｎ，ｖｎ）との対応は、以下の式（式２）によって示される。
ｕｎ＝ｘｎ＋ＭＶＸｎ
ｖｎ＝ｙｎ＝ＭＶＹｎ
・・・（式２）
例えば、ブロック数がｐ個の場合、ｐ個のローカル動きベクトル（ＬＭＶ）＝（ＭＶＸｎ，ＭＶＹｎ）に対応する上記関係式が設定される。
ここで、１つの画像フレームに対応するグローバル動きベクトル（ＧＭＶ）とそのフレームに含まれるブロックｎのローカル動きベクトル（ＬＭＶｎ）との差分［ｅｎ］を以下の式（式３）のように定義する。
・・・（式３）
上記式（式３）によって算出される各ブロックｎに対応するベクトル差分［ｅｎ］と各ブロックｎに対応して設定される重み（ｗｅｉｇｈｔ）［Ｗｎ］を利用して、グローバル動きベクトルコスト（ＧＭＶコスト）［Ｑ］を以下の式（式４）に従って算出する。
・・・（式４）
上記式（式４）によって算出されるＧＭＶコスト［Ｑ］を最小にする２つのパラメータ［ａ０，ａ１］を算出し、算出したパラメータ［ａ０，ａ１］によって、上記式（式１）で示すグローバル動きベクトル（ＧＭＶ）、すなわち、
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
上記のグローバル動きベクトル（ＧＭＶ）を決定する。
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
上記のグローバル動きベクトル（ＧＭＶ）を決定する。
なお、上記の式（式３）（式４）に従って、コストＱを最小にするパラメータａ０，ａ１を算出する処理は、各ブロック対応の重み（ｗｅｉｇｈｔ）を考慮した最小二乗法を適用した処理である。
また、上述した処理例は、グローバル動きベクトル（ＧＭＶ）が、平行移動（並進）のみを示すベクトルの場合であり、２つのパラメータ［ａ０，ａ１］を求める処理として説明したが、前述したように、グローバル動きベクトル（ＧＭＶ）は、平行移動、回転、拡大、縮小、アフィン（Ａｆｆｉｎｅ）変換、投射影変換などを含む情報として設定される場合もあり、設定態様に応じてパラメータ数は変化する。この場合も、上述の処理と同様に、グローバル動きベクトル（ＧＭＶ）とそのフレームに含まれるブロックｎのローカル動きベクトル（ＬＭＶｎ）との差分［ｅｎ］を算出し、各ブロック対応の重み（ｗｅｉｇｈｔ）を考慮したＧＭＶコスト［Ｑ］を最小にするパラメータ［ａ０，ａ１，ａ２，ａ３・・・］を算出し、算出したパラメータによって、グローバル動きベクトル（ＧＭＶ）を決定する。
本発明のグローバル動きベクトル（ＧＭＶ）の算出処理の詳細について、図４、図５を参照して説明する。図４は、本発明の画像処理装置内に設定されるグローバル動きベクトル（ＧＭＶ）生成手段の構成例を示している。入力は、現在フレーム画像と参照フレーム画像であり、出力がグローバル動きベクトル（ＧＭＶ）となる。
本発明の画像処理装置内に設定されるグローバル動きベクトル（ＧＭＶ）生成手段は、図４に示すように、ローカル動きベクトル算出部（ＬＭＥ）１０１と、ブロック重み算出部１０２と、グローバル動きベクトル（ＧＭＶ）算出部１０３を有する。
ローカル動きベクトル算出部（ＬＭＥ）１０１は、現在フレーム画像と、参照フレーム画像を入力して、１フレームを小領域のブロックに分割した各ブロック対応の動きベクトル、すなわちローカル動きベクトル（ＬＭＥ）を算出する。なお、このローカル動きベクトル算出部（ＬＭＥ）１０１における処理は、従来から公知の例えばブロックマッチング処理を適用して、各ブロック対応のローカル動きベクトル（ＬＭＶ）を算出する。
ローカル動きベクトル算出部（ＬＭＥ）１０１において算出したローカル動きベクトル（ＬＭＶ）は、ブロック重み算出部１０２と、グローバル動きベクトル（ＧＭＶ）算出部１０３に入力される。
また、ローカル動きベクトル算出部（ＬＭＥ）１０１におけるローカル動きベクトル（ＬＭＶ）算出処理に際して生成される動き補償（ＭＣ：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）画像と、現在画像フレームと参照画像フレームの対応ブロックの画素情報の差分絶対値和である最小残差（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｎｃｅ）とがブロック重み算出部１０２に入力される。
ブロック重み算出部１０２は、現在フレームに設定されたブロック各々の重み（ｗｅｉｇｈｔ）を算出する。ブロック重み算出部１０２の一例の詳細構成および処理について図５を参照して説明する。
ブロック重み算出部１０２は、図５に示すように、ブロック分散値算出部２１１、画像間共分散算出部２１２、近傍ＬＭＶとの相関算出部２１３、さらに、
（ａ）ＬＭＶ対応重み算出部２２１、
（ｂ）残差対応重み算出部２２２、
（ｃ）分散対応重み算出部２２３、
（ｄ）共分散対応重み算出部２２４、
（ｅ）ＬＭＶ相関対応重み算出部２２５、
さらに、乗算部２３１を有する。
（ａ）ＬＭＶ対応重み算出部２２１、
（ｂ）残差対応重み算出部２２２、
（ｃ）分散対応重み算出部２２３、
（ｄ）共分散対応重み算出部２２４、
（ｅ）ＬＭＶ相関対応重み算出部２２５、
さらに、乗算部２３１を有する。
本実施例で示すブロック重み算出部１０２は、上記（ａ）〜（ｅ）の５種類の異なるデータに対応するブロック重みを各々算出し、これら５種類のブロック重みの乗算により最終的なブロック重みを算出する構成としている。以下、上記（ａ）〜（ｅ）の５種類のブロック重みデータの算出処理について順次、説明する。
（ａ）ＬＭＶ対応重み算出部２２１
ＬＭＶ対応重み算出部２２１は、図４に示すローカル動きベクトル算出部（ＬＭＥ）１０１から入力する各ブロック対応のローカル動きベクトル（ＬＭＶ）を入力し入力ＬＭＶに基づいてＬＭＶ対応重みを算出する。
ＬＭＶ対応重み算出部２２１は、図４に示すローカル動きベクトル算出部（ＬＭＥ）１０１から入力する各ブロック対応のローカル動きベクトル（ＬＭＶ）を入力し入力ＬＭＶに基づいてＬＭＶ対応重みを算出する。
ＬＭＶ対応重み算出部２２１は、ＬＭＶ対応重み算出テーブルを保持しており、このテーブルに従ってＬＭＶ対応重みの算出を行う。ＬＭＶ対応重み算出テーブルの構成例を図６に示す。図６に示すテーブルは、ローカル動きベクトル（ＬＭＶ）のスカラー量に対応して算出される値［ＬＭＶ２］とＬＭＶ対応重み（ｗｅｉｇｈｔ）との対応データによって構成されている。
本処理例では、
ＬＭＶ２＝ＬＭＶｘ２＋ＬＭＶｙ２
として算出される。ＬＭＶｘはローカル動きベクトル（ＬＭＶ）のｘ成分、ＬＭＶｙはローカル動きベクトル（ＬＭＶ）のｙ成分を示している。
なお、図６に示すＬＭＶ対応重み算出テーブルに設定される重みは１．０〜０．０の範囲であり、最大重みが［１．０］となっている。なお、このテーブルは一例であり、設定する重みの範囲も０．０〜１．０の範囲とする設定でもよいし、例えば０．５〜１．０ｋ範囲に設定するなどの構成としてもよい。
ＬＭＶ２＝ＬＭＶｘ２＋ＬＭＶｙ２
として算出される。ＬＭＶｘはローカル動きベクトル（ＬＭＶ）のｘ成分、ＬＭＶｙはローカル動きベクトル（ＬＭＶ）のｙ成分を示している。
なお、図６に示すＬＭＶ対応重み算出テーブルに設定される重みは１．０〜０．０の範囲であり、最大重みが［１．０］となっている。なお、このテーブルは一例であり、設定する重みの範囲も０．０〜１．０の範囲とする設定でもよいし、例えば０．５〜１．０ｋ範囲に設定するなどの構成としてもよい。
また、ＬＭＶ対応重み算出部２２１は、図７（ａ）に示すフローに従ってＬＭＶ対応重み算出する構成としてもよい。まず、ステップＳ１０１において、図４に示すローカル動きベクトル算出部（ＬＭＥ）１０１から入力する各ブロック対応のローカル動きベクトルの水平成分（ＬＭＶｘ）と、垂直成分（ＬＭＶｙ）から、ローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］を計算する。ローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］は、以下の式（式５）によって算出される。
・・・（式５）
次に、ステップＳ１０２において、ステップＳ１０１で算出したローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］に基づいて、予め定められた変換式により、ＬＭＶ対応重みを算出する。例えば、図７（ｂ）に示す変換テーブルに従った変換により重み算出を行う。
このようにして算出されるＬＭＶ対応重みは、図７（ｂ）に示すように、ローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］が小さいほど大きく、ローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］が大きくなるほど重みが小さい設定となる。図７（ｂ）に示す例では、ローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］に応じて階段上に重みが変化する設定となっている。
（ｂ）残差対応重み算出部２２２
残差対応重み算出部２２２は、図４に示すローカル動きベクトル算出部（ＬＭＥ）１０１から入力する各ブロック対応の最小残差（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｎｃｅ）を入力して、最小残差（ＳＡＤ）対応の重みを算出する。この処理について、図８を参照して説明する。
残差対応重み算出部２２２は、図４に示すローカル動きベクトル算出部（ＬＭＥ）１０１から入力する各ブロック対応の最小残差（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｎｃｅ）を入力して、最小残差（ＳＡＤ）対応の重みを算出する。この処理について、図８を参照して説明する。
図８（ａ）は、残差対応重み算出部２２２において、最小残差（ＳＡＤ）に基づいて最小残差（ＳＡＤ）対応の重みを算出する処理シーケンスを説明するフローチャートであり、図８（ｂ）は、最小残差（ＳＡＤ）と残差対応重みとの対応関係の一例を示す図である。
最小残差（ＳＡＤ）は、前述したように現在画像フレームと参照画像フレームの対応ブロックの画素情報の差分絶対値和である。残差対応重み算出部２２２は、図４に示すローカル動きベクトル算出部（ＬＭＥ）１０１から入力する各ブロック対応の最小残差（ＳＡＤ）に基づいて、図８（ａ）に示すフローに従った処理を実行して残差対応重みを算出する。
まず、ステップＳ２０１において、図４に示すローカル動きベクトル算出部（ＬＭＥ）１０１から入力する各ブロック対応のローカル動きベクトルの水平成分（ＬＭＶｘ）と、垂直成分（ＬＭＶｙ）から、ローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］を計算する。ローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］は、前述の式（式５）によって算出される。
次に、ステップＳ２０２において、ステップＳ２０１で算出したローカル動きベクトル（ＬＭＶ）のサイズ［ＬｍｖＳｉｚｅ］に基づいて、予め定められた変換式により、残差対応重みを算出する。例えば、図８（ｂ）に示す変換テーブルに従った変換により重み算出を行う。
このようにして算出される残差対応重みは、図８（ｂ）に示すように、最小残差（ＳＡＤ）が小さいほど大きく、最小残差（ＳＡＤ）が大きくなるほど重みが小さい設定となる。図８（ｂ）に示す例では、一定値［Ｔｈａ］以下の最小残差（ＳＡＤ）に対しては、重みの最大値［１．０］を設定し、一定値［Ｔｈｂ］以上の最小残差（ＳＡＤ）に対しては、重みの最小値［０．０］を設定する例を示している。
（ｃ）ブロック分散対応重み算出部２２３
ブロック分散対応重み算出部２２３は、ブロック分散値算出部２１１から現在フレームの各ブロック対応のブロック分散値を入力して、ブロック分散対応重みを算出する。この処理について、図９を参照して説明する。
ブロック分散対応重み算出部２２３は、ブロック分散値算出部２１１から現在フレームの各ブロック対応のブロック分散値を入力して、ブロック分散対応重みを算出する。この処理について、図９を参照して説明する。
図９（ａ）は、ブロック分散値算出部２１１と、ブロック分散対応重み算出部２２３において実行されるブロック分散対応重み算出処理シーケンスを説明するフローチャートであり、図９（ｂ）は、ブロック分散値算出部２１１におけるブロック分散値の算出処理を説明する図であり、図９（ｃ）は、ブロック分散とブロック分散対応重みとの対応関係の一例を示す図である。
まず、図９（ａ）に示すフローチャートのステップＳ３０１はブロック分散値算出部２１１の処理であり、現在フレーム画像を入力し、現在フレーム画像の各ブロック各々についてのブロック分散値［ＶａｒＢｌｋ］を算出する。ブロック分散値［ＶａｒＢｌｋ］の算出は、以下の式（式６）に従って実行される。
・・・（式６）
なお、
ｐｉはブロック内のｉ番目の画素値、
ｐｉバー（−）は、ブロック内の画素値の平均値、
ｎはブロック内の画素数、
である。
なお、
ｐｉはブロック内のｉ番目の画素値、
ｐｉバー（−）は、ブロック内の画素値の平均値、
ｎはブロック内の画素数、
である。
図９（ｂ）は、このステップＳ３０１の処理、すなわち、ブロック分散値算出部２１１におけるブロック分散値の算出処理を説明している図であり、現在フレーム３０１の処理対象ブロック３０２からの画素値ｐｉと、ブロック内画素の画素値平均値ｐｉバー（−）を算出して、上記式（式６）に従ってブロック分散値［ＶａｒＢｌｋ］を算出することを説明する図である。
次のステップＳ３０２の処理は、ブロック分散対応重み算出部２２３の処理であり、ブロック分散対応重み算出部２２３は、ブロック分散値算出部２１１において、ステップＳ３０１で算出したブロック分散値［ＶａｒＢｌｋ］を入力し、ブロック分散値［Ｖａｒｂｌｏｃｋ］に基づいて、予め定められた変換式により、ブロック分散対応重みを算出する。例えば、図９（ｃ）に示す変換テーブルに従った変換により重み算出を行う。
このようにして算出されるブロック分散対応重みは、図９（ｃ）に示すように、ブロック分散が小さいほど小さく、ブロック分散が大きくなるほど重みが大きい設定となる。図９（ｃ）に示す例では、ブロック分散の値［ＶａｒＢｌｋ］に応じて階段上に重みが変化する設定となっている。
（ｄ）ブロック共分散対応重み算出部２２４
ブロック共分散対応重み算出部２２４は、画像間共分散算出部２１２から現在フレームと動き補償（ＭＣ）画像の対応ブロックの解析によって算出した共分散値を入力して共分散対応重みを算出する。この処理について、図１０を参照して説明する。
ブロック共分散対応重み算出部２２４は、画像間共分散算出部２１２から現在フレームと動き補償（ＭＣ）画像の対応ブロックの解析によって算出した共分散値を入力して共分散対応重みを算出する。この処理について、図１０を参照して説明する。
図１０（ａ）は、画像間共分散算出部２１２と、共分散対応重み算出部２２４において実行される共分散対応重みを算出処理シーケンスを説明するフローチャートであり、図１０（ｂ）は、画像間共分散算出部２１２における共分散の算出処理を説明する図であり、図１０（ｃ）は、共分散と共分散対応重みとの対応関係の一例を示す図である。
まず、図１０（ａ）に示すフローチャートのステップＳ４０１は共分散算出部２１２の処理であり、現在フレーム画像と参照フレームの動き補償（ＭＣ）画像を入力し、現在フレーム画像の各ブロック各々についての共分散［ＣｏＶａｒＢｌｋ］を算出する。共分散値［ＣｏＶａｒＢｌｋ］の算出は、以下の手順で実行される。図１０（ｂ）を参照して説明する。
まず、現在フレーム画像３２１の処理対象ブロック３２２のブロック内画素値（ｐｉ）の平均値（ｐｉバー（−））を算出する。
次に、動き補償のなされた参照画像（ＭＣ画）３３１の対応ブロック３３２のブロック内画素値（ｑｉ）の平均値（ｑｉバー（−））を算出する。
これらの算出値に基づいて以下の式（式７）に従って共分散を算出する。
・・・（式７）
なお、
ｐｉは現在フレームのブロック内のｉ番目の画素値、
ｐｉバー（−）は、現在フレームのブロック内の画素値の平均値、
ｑｉは動き補償のなされた参照画像（ＭＣ画）の対応ブロック内のｉ番目の画素値、
ｑｉバー（−）は、動き補償のなされた参照画像（ＭＣ画）の対応ブロック内の画素値の平均値、
ｎはブロック内の画素数、
である。
まず、現在フレーム画像３２１の処理対象ブロック３２２のブロック内画素値（ｐｉ）の平均値（ｐｉバー（−））を算出する。
次に、動き補償のなされた参照画像（ＭＣ画）３３１の対応ブロック３３２のブロック内画素値（ｑｉ）の平均値（ｑｉバー（−））を算出する。
これらの算出値に基づいて以下の式（式７）に従って共分散を算出する。
なお、
ｐｉは現在フレームのブロック内のｉ番目の画素値、
ｐｉバー（−）は、現在フレームのブロック内の画素値の平均値、
ｑｉは動き補償のなされた参照画像（ＭＣ画）の対応ブロック内のｉ番目の画素値、
ｑｉバー（−）は、動き補償のなされた参照画像（ＭＣ画）の対応ブロック内の画素値の平均値、
ｎはブロック内の画素数、
である。
次のステップＳ４０２の処理は、共分散対応重み算出部２２４の処理であり、共分散対応重み算出部２２４は、画像間分散算出部２１２において、ステップＳ４０１で算出した共分散値［ＣｏＶａｒＢｌｋ］を入力し、共分散値［ＣｏＶａｒｂｌｋ］に基づいて、予め定められた変換式により、共分散対応重みを算出する。例えば、図１０（ｃ）に示す変換テーブルに従った変換により重み算出を行う。
このようにして算出される共分散対応重みは、例えば図１０（ｃ）に示すように、共分散が小さいほど小さく、共分散が大きくなるほど重みが大きい設定となる。図１０（ｃ）に示す例では、共分散の値［ＣｏＶａｒＢｌｋ］に応じて階段上に重みが変化する設定となっている。
なお、上述した処理では、共分散を検出して変換式を用いて共分散対応重みを算出する構成としているが、現在フレーム画像と参照フレームの動き補償（ＭＣ）画像の対応ブロックの画素値データから相関係数を算出し、算出した相関係数に基づいて相関係数対応重みを算出する構成としてもよい。この処理について、図１１を参照して説明する。
図１１（ａ）は、現在フレーム画像と参照フレームの動き補償（ＭＣ）画像の対応ブロックの画素値データから相関係数を算出し、算出した相関係数に基づいて共分散対応重みを算出する処理シーケンスを説明するフローチャートであり、図１１（ｃ）は、相関係数と共分散対応重みとの対応関係の一例を示す図である。
まず、図１１（ａ）に示すフローチャートのステップＳ４２１において、現在フレーム画像と参照フレームの動き補償（ＭＣ）画像を入力し、現在フレーム画像の各ブロック各々の対応ブロックデータから以下の式（式８）に従って相関係数を算出する。
・・・（式８）
なお、
ｐｉは現在フレームのブロック内のｉ番目の画素値、
ｐｉバー（−）は、現在フレームのブロック内の画素値の平均値、
ｑｉは動き補償のなされた参照画像（ＭＣ画）の対応ブロック内のｉ番目の画素値、
ｑｉバー（−）は、動き補償のなされた参照画像（ＭＣ画）の対応ブロック内の画素値の平均値、
ｎはブロック内の画素数、
である。
なお、
ｐｉは現在フレームのブロック内のｉ番目の画素値、
ｐｉバー（−）は、現在フレームのブロック内の画素値の平均値、
ｑｉは動き補償のなされた参照画像（ＭＣ画）の対応ブロック内のｉ番目の画素値、
ｑｉバー（−）は、動き補償のなされた参照画像（ＭＣ画）の対応ブロック内の画素値の平均値、
ｎはブロック内の画素数、
である。
次のステップＳ４２２の処理は、ステップＳ４２１で算出した相関係数を入力し、相関係数に基づいて、予め定められた変換式により、相関係数対応重みを算出する。例えば、図１１（ｂ）に示す変換テーブルに従った変換により重み算出を行う。
このようにして算出される相関係数対応重みは、例えば図１１（ｂ）に示すように、相関係数が小さいほど小さく、相関係数が大きくなるほど重みが大きい設定となる。図１１（ｂ）に示す例では、相関係数の値に応じてなだらかに重みが変化する設定となっている。
（ｅ）ＬＭＶ相関対応重み算出部２２５
ローカル動きベクトル（ＬＭＶ）相関対応重み算出部２２５は、近傍ＬＭＶとの相関算出部２１３から現在フレームの各ブロック対応のローカル動きベクトル（ＬＭＶ）相関値を入力して、ローカル動きベクトル（ＬＭＶ）相関対応重みを算出する。この処理について、図１２を参照して説明する。
ローカル動きベクトル（ＬＭＶ）相関対応重み算出部２２５は、近傍ＬＭＶとの相関算出部２１３から現在フレームの各ブロック対応のローカル動きベクトル（ＬＭＶ）相関値を入力して、ローカル動きベクトル（ＬＭＶ）相関対応重みを算出する。この処理について、図１２を参照して説明する。
図１２（ａ）は、近傍ＬＭＶとの相関算出部２１３と、ローカル動きベクトル（ＬＭＶ）相関対応重み算出部２２５において実行されるローカル動きベクトル（ＬＭＶ）相関対応重み算出処理シーケンスを説明するフローチャートであり、図１２（ｂ）は、近傍ＬＭＶとの相関算出部２１３における近傍ＬＭＶとの相関算出処理を説明する図であり、図１２（ｃ）は、近傍ＬＭＶとの相関［Ｌｍｖ＿ｃｏｒ］とＬＭＶ相関対応重みとの対応関係の一例を示す図である。
まず、図１２（ａ）に示すフローチャートのステップＳ５０１は近傍ＬＭＶとの相関算出部２１３の処理であり、現在フレーム画像の処理対象ブロックのローカル動きベクトル（ＬＭＶ）と、周辺ブロックのローカル動きベクトル（ＬＭＶ）を入力し、現在フレーム画像の各ブロック各々についてのＬＭＶ相関値［Ｌｍｖ＿ｃｏｒ］を算出する処理である。
この処理の手順について、図１２（ｂ）を参照して説明する。現在フレーム画像５５１の処理対象ブロック５５２のブロック内画素の画素値平均を算出し、次に、この平均値と、ブロック内各画素の画素値を用いて、以下の式（式９）に従ってＬＭＶ相関値［Ｌｍｖ＿ｃｏｒ］を算出する。
・・・（式９）
ただし、
ＡｖｅＬｍｖＸ：処理対象ブロックの近傍ブロックのＬＭＶ平均値（水平方向）
ＡｖｅＬｍｖＹ：処理対象ブロックの近傍ブロックのＬＭＶ平均値（垂直方向）
ＬＭＶｘ：処理対象ブロックのＬＭＶ（水平方向）
ＬＭＶｙ：処理対象ブロックのＬＭＶ（垂直方向）
である。
ただし、
ＡｖｅＬｍｖＸ：処理対象ブロックの近傍ブロックのＬＭＶ平均値（水平方向）
ＡｖｅＬｍｖＹ：処理対象ブロックの近傍ブロックのＬＭＶ平均値（垂直方向）
ＬＭＶｘ：処理対象ブロックのＬＭＶ（水平方向）
ＬＭＶｙ：処理対象ブロックのＬＭＶ（垂直方向）
である。
次のステップＳ５０２の処理は、ＬＭＶ相関対応重み算出部２２５の処理であり、近傍ＬＭＶとの相関算出部２１３において、ステップＳ５０１で算出したＬＭＶ相関値［Ｌｍｖ＿ｃｏｒ］を入力し、ＬＭＶ相関値［Ｌｍｖ＿ｃｏｒ］に基づいて、予め定められた変換式により、ＬＭＶ相関対応重みを算出する。例えば、図１２（ｃ）に示す変換テーブルに従った変換により重み算出を行う。
このようにして算出されるＬＭＶ相関対応重みは、図１２（ｃ）に示すように、ＬＭＶ相関が小さいほど大きく、ＬＭＶ相関が大きくなるほど重みが小さくなる設定となる。図１２（ｃ）に示す例では、一定値［Ｔｈａ］以下のＬＭＶ相関に対しては、重みの最大値［１．０］を設定し、一定値［Ｔｈｂ］以上のＬＭＶ相関に対しては、重みの最小値［０．０］を設定する例を示している。
以上、図４に示すグローバル動きベクトル生成手段におけるブロック重み算出部１０２の実行する処理、すなわち、図５に示す
（ａ）ＬＭＶ対応重み算出部２２１、
（ｂ）残差対応重み算出部２２２、
（ｃ）分散対応重み算出部２２３（＋ブロック分散値算出部２１１）
（ｄ）共分散対応重み算出部２２４（＋画像間共分散算出部２１２）、
（ｅ）ＬＭＶ相関対応重み算出部２２５（＋近傍ＬＭＶとの相関算出部２１３）、
これらの各重み算出部の処理について説明した。
（ａ）ＬＭＶ対応重み算出部２２１、
（ｂ）残差対応重み算出部２２２、
（ｃ）分散対応重み算出部２２３（＋ブロック分散値算出部２１１）
（ｄ）共分散対応重み算出部２２４（＋画像間共分散算出部２１２）、
（ｅ）ＬＭＶ相関対応重み算出部２２５（＋近傍ＬＭＶとの相関算出部２１３）、
これらの各重み算出部の処理について説明した。
ブロック重み算出部１０２は、図５に示すように、これら（ａ）〜（ｅ）の異なるブロック対応重みデータを乗算部２３１に入力して、最終的なブロック対応重みを算出して、図４に示すグローバル動きベクトル算出部（ＧＭＥ）１０３に出力する。
（ａ）ＬＭＶ対応重み算出部２２１の算出するＬＭＶ対応重みを［Ｗ＿ｌｍｖ］、
（ｂ）残差対応重み算出部２２２の算出する残差対応重みを［Ｗ＿ｓａｄ］、
（ｃ）分散対応重み算出部２２３の算出する分散対応重みを［Ｗ＿ｖａｒ］、
（ｄ）共分散対応重み算出部２２４の算出する共分散対応重みを［Ｗ＿ｃｏｒ］、
（ｅ）ＬＭＶ相関対応重み算出部２２５の算出するＬＭＶ相関対応重みを［Ｗ＿ｌｍｖｃｏｒ］、
このように設定したとき、乗算部２３１は、これらの値を入力して、ブロック重み［Ｗ＿ｂｌｏｃｋ］を以下の算出式（式１０）に従って算出する。
Ｗ＿ｂｌｏｃｋ＝Ｗ＿ｌｍｖ×Ｗ＿ｓａｄ×Ｗ＿ｖａｒ×Ｗ＿ｃｏｒ×Ｗ＿ｉｍｖｃｏｒ
・・・（式１０）
（ｂ）残差対応重み算出部２２２の算出する残差対応重みを［Ｗ＿ｓａｄ］、
（ｃ）分散対応重み算出部２２３の算出する分散対応重みを［Ｗ＿ｖａｒ］、
（ｄ）共分散対応重み算出部２２４の算出する共分散対応重みを［Ｗ＿ｃｏｒ］、
（ｅ）ＬＭＶ相関対応重み算出部２２５の算出するＬＭＶ相関対応重みを［Ｗ＿ｌｍｖｃｏｒ］、
このように設定したとき、乗算部２３１は、これらの値を入力して、ブロック重み［Ｗ＿ｂｌｏｃｋ］を以下の算出式（式１０）に従って算出する。
Ｗ＿ｂｌｏｃｋ＝Ｗ＿ｌｍｖ×Ｗ＿ｓａｄ×Ｗ＿ｖａｒ×Ｗ＿ｃｏｒ×Ｗ＿ｉｍｖｃｏｒ
・・・（式１０）
図４に示すグローバル動きベクトル算出部（ＧＭＥ）１０３は、ブロック重み算出部１０２の算出した上記ブロック重み［Ｗ＿ｂｌｏｃｋ］と、ローカル動きベクトル算出部（ＬＭＥ）１０１の算出した各ブロック対応のローカル動きベクトル（ＬＭＶ）を入力し、これらの入力テータに基づいて、フレーム対応のグローバル動きベクトル（ＧＭＶ）を算出する。
グローバル動きベクトル算出部（ＧＭＥ）１０３における、グローバル動きベクトル（ＧＭＶ）の算出処理について図１３を参照して説明する。
グローバル動きベクトル算出部（ＧＭＥ）１０３は、ブロック重み算出部１０２の算出したブロック重み［Ｗ＿ｂｌｏｃｋ］データとして例えば、図１３（ａ）に示すデータを受領する。これは、１つのフレームに設定された小領域のブロック各々について、前述の複数の異なる重みデータ、すなわち、
（ａ）ＬＭＶ対応重み算出部２２１の算出したＬＭＶ対応重み［Ｗ＿ｌｍｖ］、
（ｂ）残差対応重み算出部２２２の算出した残差対応重み［Ｗ＿ｓａｄ］、
（ｃ）分散対応重み算出部２２３の算出した分散対応重み［Ｗ＿ｖａｒ］、
（ｄ）共分散対応重み算出部２２４の算出した共分散対応重み［Ｗ＿ｃｏｒ］、
（ｅ）ＬＭＶ相関対応重み算出部２２５の算出したＬＭＶ相関対応重み［Ｗ＿ｌｍｖｃｏｒ］、
これらのデータに基づいて、下式、すなわち、
Ｗ＿ｂｌｏｃｋ＝Ｗ＿ｌｍｖ×Ｗ＿ｓａｄ×Ｗ＿ｖａｒ×Ｗ＿ｃｏｒ×Ｗ＿ｉｍｖｃｏｒ
このブロック重み算出式を適用して、各ブロック各々の重みを算出した結果である。
（ａ）ＬＭＶ対応重み算出部２２１の算出したＬＭＶ対応重み［Ｗ＿ｌｍｖ］、
（ｂ）残差対応重み算出部２２２の算出した残差対応重み［Ｗ＿ｓａｄ］、
（ｃ）分散対応重み算出部２２３の算出した分散対応重み［Ｗ＿ｖａｒ］、
（ｄ）共分散対応重み算出部２２４の算出した共分散対応重み［Ｗ＿ｃｏｒ］、
（ｅ）ＬＭＶ相関対応重み算出部２２５の算出したＬＭＶ相関対応重み［Ｗ＿ｌｍｖｃｏｒ］、
これらのデータに基づいて、下式、すなわち、
Ｗ＿ｂｌｏｃｋ＝Ｗ＿ｌｍｖ×Ｗ＿ｓａｄ×Ｗ＿ｖａｒ×Ｗ＿ｃｏｒ×Ｗ＿ｉｍｖｃｏｒ
このブロック重み算出式を適用して、各ブロック各々の重みを算出した結果である。
グローバル動きベクトル算出部（ＧＭＥ）１０３は、この図１３（ａ）に示すブロック重みの他、さらに、ローカル動きベクトル算出部（ＬＭＥ）１０１の算出した各ブロック対応のローカル動きベクトル（ＬＭＶ）を入力し、個々のローカル動きベクトル（ＬＭＶ）の重み（Ｗｅｉｇｈｔ）を考慮してグローバル動きベクトル（ＧＭＶ）を求める。
グローバル動きベクトル算出部（ＧＭＥ）１０３における処理例について、図１３（ｂ）に示すフローチャートを参照して説明する。ここでは、一例として、グローバル動きベクトル（ＧＭＶ）と、ブロック対応のローカル動きベクトル（ＬＭＶ）とが平行移動（並進）のみを示すベクトルであると仮定して説明する。
まず、ステップＳ６０１において、処理対象フレームの各ブロック（ｎ）に対応するローカル動きベクトル（ＬＭＶｎ）と、グローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］を算出する
前述したように、グローバル動きベクトル（ＧＭＶ）は、例えば平行移動（並進）のみを示すベクトルの場合、現フレーム画像の座標（ｘ，ｙ）と、参照画像の座標（ｘ'，ｙ'）との対応関係が、２つのパラメータ［ａ０，ａ１］を用いて以下の式として表現される。
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
一方、各ブロックのローカル動きベクトル（ＬＭＶｎ）が、平行移動（並進）のみを示すベクトルの場合、
ローカル動きベクトル（ＬＭＶｎ）＝（ＭＶＸｎ，ＭＶＹｎ）
とすると、現フレーム画像のブロックｎの座標（ｘｎ，ｙｎ）と、参照画像のブロックｎの座標（ｕｎ，ｖｎ）との対応は、以下の式によって示される。
ｕｎ＝ｘｎ＋ＭＶＸｎ
ｖｎ＝ｙｎ＝ＭＶＹｎ
ローカル動きベクトル（ＬＭＶｎ）＝（ＭＶＸｎ，ＭＶＹｎ）
とすると、現フレーム画像のブロックｎの座標（ｘｎ，ｙｎ）と、参照画像のブロックｎの座標（ｕｎ，ｖｎ）との対応は、以下の式によって示される。
ｕｎ＝ｘｎ＋ＭＶＸｎ
ｖｎ＝ｙｎ＝ＭＶＹｎ
ここで、１つの画像フレームに対応するグローバル動きベクトル（ＧＭＶ）とそのフレームに含まれるブロックｎのローカル動きベクトル（ＬＭＶｎ）との差分［ｅｎ］は、先に説明したように、以下の式（式１１）となる。
・・・（式１１）
ステップＳ６０２において、各ブロック（ｎ）のブロック重み［Ｗｎ］と差分［ｅｎ］との乗算結果の総和データであるコスト［Ｑ］を算出する。すなわち、上記式（式１１）によって算出される各ブロックｎに対応するベクトル差分［ｅｎ］と各ブロックｎに対応して設定される重み（ｗｅｉｇｈｔ）を利用して、グローバル動きベクトルコスト（ＧＭＶコスト）［Ｑ］を以下の式（式１２）に従って算出する。
・・・（式１２）
次に、ステップＳ６０３において、上記式（式１２）によって算出されるＧＭＶコスト［Ｑ］を最小にするパラメータ［ａ０〜ａｋ］を算出する。本例では、グローバル動きベクトル（ＧＭＶ）は、平行移動（並進）のみを示すベクトルの例であり、２つのパラメータ［ａ０，ａ１］を用いた以下の式、
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
この２つのパラメータ［ａ０，ａ１］を用いた式として表現されているので、上記式（式１２）によって算出されるＧＭＶコスト［Ｑ］を最小にする２つのパラメータ［ａ０，ａ１］算出する。
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
この２つのパラメータ［ａ０，ａ１］を用いた式として表現されているので、上記式（式１２）によって算出されるＧＭＶコスト［Ｑ］を最小にする２つのパラメータ［ａ０，ａ１］算出する。
最後に、ステップＳ６０４において、算出したパラメータ［ａ０〜ａｋ］によって、表現されるグローバル動きベクトル（ＧＭＶ）を処理対象フレームに対応するグローバル動きベクトル（ＧＭＶ）として決定する。平行移動（並進）のみを示すベクトルの場合は、ＧＭＶコスト［Ｑ］を最小にする２つのパラメータ［ａ０，ａ１］を適用して、
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
上記のグローバル動きベクトル（ＧＭＶ）が決定される。
ｘ'＝ｘ＋ａ０
ｙ'＝ｙ＋ａ１
上記のグローバル動きベクトル（ＧＭＶ）が決定される。
なお、前述したように、上記の式（式１１）（式１２）に従って、コストＱを最小にするパラメータａ０，ａ１を算出する処理は、各ブロック対応の重み（ｗｅｉｇｈｔ）を考慮した最小二乗法を適用した処理である。また、上述した処理例は、グローバル動きベクトル（ＧＭＶ）が、平行移動（並進）のみを示すベクトルの場合であり、２つのパラメータ［ａ０，ａ１］を求める処理として説明したが、前述したように、グローバル動きベクトル（ＧＭＶ）は、平行移動、回転、拡大、縮小、アフィン（Ａｆｆｉｎｅ）変換、投射影変換などを含む情報として設定される場合もあり、設定態様に応じてパラメータ数は変化する。この場合も、上述の処理と同様に、グローバル動きベクトル（ＧＭＶ）とそのフレームに含まれるブロックｎのローカル動きベクトル（ＬＭＶｎ）との差分［ｅｎ］を算出し、各ブロック対応の重み（ｗｅｉｇｈｔ）を考慮したＧＭＶコスト［Ｑ］を最小にするパラメータ［ａ０，ａ１，ａ２，ａ３・・・］を算出し、算出したパラメータによって、グローバル動きベクトル（ＧＭＶ）を決定する。
このように本発明の画像処理装置では、各ブロックに対応するローカル動きベクトルの信頼度に対応するブロック重みを算出してブロック重みに応じて各ブロックに対応するローカル動きベクトルの寄与率を設定してグローバル動きベクトル（ＧＭＶ）を決定する構成としている。従って、各ブロックのローカル動きベクトル（ＬＭＶ）を信頼度に応じて確実に反映させた信頼度の高いグローバル動きベクトル（ＧＭＶ）を決定することが可能となる。
最後に、図１４を参照して、上述した処理を実行する装置の１つのハードウェア構成例としてパーソナルコンピュータのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０１は、ＲＯＭ（Ｒｅａｄ
Ｏｎｌｙ Ｍｅｍｏｒｙ）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の実施例において説明したグローバル動きベクトル（ＧＭＶ）を決定するプログラムを実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０３には、ＣＰＵ７０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ３０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。
Ｏｎｌｙ Ｍｅｍｏｒｙ）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の実施例において説明したグローバル動きベクトル（ＧＭＶ）を決定するプログラムを実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０３には、ＣＰＵ７０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ３０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。
ＣＰＵ７０１はバス７０４を介して入出力インタフェース７０５に接続され、入出力インタフェース７０５には、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。ＣＰＵ７０１は、入力部７０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部７０７に出力する。
入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスクからなり、ＣＰＵ７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７０８に転送され記憶される。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例構成によれば、動画像を構成する画像フレームの分割領域であるブロックに対応するローカル動きベクトル（ＬＭＶ）と、ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みとを算出し、ブロック重みに応じて各ブロック対応の寄与率を設定してグローバル動きベクトル（ＧＭＶ）を算出する構成とした。ブロック重みの算出においては、ローカル動きベクトル（ＬＭＶ）のサイズや、差分絶対値和（ＳＡＤ）、ブロック構成画素値の分散値、処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する共分散値など様々な視点からの指標を適用した構成としたので、信頼度の高いグローバル動きベクトル（ＧＭＶ）を算出することが可能となる。
１０，１１ 画像フレーム
２１ 動きベクトル
１０１ ローカル動きベクトル算出部（ＬＭＥ）
１０２ ブロック重み算出部
１０３ グローバル動きベクトル（ＧＭＶ）算出部
２１１ ブロック分散値算出部
２１２ 画像間共分散算出部
２１３ 近傍ＬＭＶとの相関算出部
２２１ ＬＭＶ対応重み算出部
２２２ 残差対応重み算出部
２２３ 分散対応重み算出部
２２４ 共分散対応重み算出部
２２５ ＬＭＶ相関対応重み算出部
２３１ 乗算部
７０１ ＣＰＵ
７０２ ＲＯＭ
７０３ ＲＡＭ
７０４ バス
７０５ 入出力インタフェース
７０６ 入力部
７０７ 出力部
７０８ 記憶部
７０９ 通信部
７１０ ドライブ
７１１ リムーバブルメディア
２１ 動きベクトル
１０１ ローカル動きベクトル算出部（ＬＭＥ）
１０２ ブロック重み算出部
１０３ グローバル動きベクトル（ＧＭＶ）算出部
２１１ ブロック分散値算出部
２１２ 画像間共分散算出部
２１３ 近傍ＬＭＶとの相関算出部
２２１ ＬＭＶ対応重み算出部
２２２ 残差対応重み算出部
２２３ 分散対応重み算出部
２２４ 共分散対応重み算出部
２２５ ＬＭＶ相関対応重み算出部
２３１ 乗算部
７０１ ＣＰＵ
７０２ ＲＯＭ
７０３ ＲＡＭ
７０４ バス
７０５ 入出力インタフェース
７０６ 入力部
７０７ 出力部
７０８ 記憶部
７０９ 通信部
７１０ ドライブ
７１１ リムーバブルメディア
Claims (11)
- 動画像を構成する注目画像フレームと参照画像フレームとの間で、所定の分割領域であるブロック毎に差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出することにより得られる前記分割領域に対応するローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）と、前記ローカル動きベクトル（ＬＭＶ）によって動き補償がなされた動き補償画像（ＭＣ画像：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ画像）とを算出するローカル動きベクトル算出部と、
前記ローカル動きベクトル算出部において算出された前記ローカル動きベクトル（ＬＭＶ）、前記ローカル動きベクトル算出部において算出された前記動き補償画像（ＭＣ画像）、および前記ローカル動きベクトル算出部において算出された差分絶対値和（ＳＡＤ）の全てを用いて、前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出するブロック重み算出部であり、少なくとも各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズが大きくなるにつれてブロック重みを小さくする設定としたブロック重みを算出するブロック重み算出部と、
前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出するグローバル動きベクトル算出部を有し、
前記グローバル動きベクトル算出部は、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成する構成であることを特徴とする画像処理装置。 - 前記ブロック重み算出部は、
異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータに基づいて各ブロックに対応するブロック重みを算出する構成であることを特徴とする請求項１に記載の画像処理装置。 - 前記ブロック重み算出部は、
異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータの乗算結果を各ブロックに対応するブロック重みとして算出する構成であることを特徴とする請求項１に記載の画像処理装置。 - 前記ブロック重み算出部は、
（ａ）各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズ、
（ｂ）各ブロック対応の差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）
（ｃ）各ブロック対応のブロック構成画素値の分散値、
（ｄ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する共分散値、
（ｅ）ブロック対応のローカル動きベクトル（ＬＭＶ）と周辺ブロックのローカル動きベクトル（ＬＭＶ）との相関値、
（ｆ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する相関係数、
上記（ａ）から（ｆ）の少なくともいずれかの値を適用したブロック重み算出処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。 - 前記グローバル動きベクトル算出部は、
前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる全てのブロックに共通の動きベクトルとしてフレーム対応の１つのグローバル動きベクトル（ＧＭＶ）を算出する構成であることを特徴とする請求項１に記載の画像処理装置。 - 画像処理装置において動きベクトル検出を実行する画像処理方法であり、
ローカル動きベクトル算出部が、動画像を構成する注目画像フレームと参照画像フレームとの間で、所定の分割領域であるブロック毎に差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出することにより得られる前記分割領域に対応するローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）と、前記ローカル動きベクトル（ＬＭＶ）によって動き補償がなされた動き補償画像（ＭＣ画像：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ画像）とを算出するローカル動きベクトル算出ステップと、
ブロック重み算出部が、前記ローカル動きベクトル算出ステップにおいて算出された前記ローカル動きベクトル（ＬＭＶ）、前記ローカル動きベクトル算出部において算出された前記動き補償画像（ＭＣ画像）、および前記ローカル動きベクトル算出部において算出された差分絶対値和（ＳＡＤ）の全てを用いて、前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出するブロック重み算出ステップであり、少なくとも各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズが大きくなるにつれてブロック重みを小さくする設定としたブロック重みを算出するブロック重み算出ステップと、
グローバル動きベクトル算出部が、前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出するグローバル動きベクトル算出ステップを有し、
前記グローバル動きベクトル算出ステップは、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成するステップであることを特徴とする画像処理方法。 - 前記ブロック重み算出ステップは、
異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータに基づいて各ブロックに対応するブロック重みを算出するステップであることを特徴とする請求項６に記載の画像処理方法。 - 前記ブロック重み算出ステップは、
異なる複数のデータに基づく複数のブロック対応重みデータを算出し、該複数のブロック対応重みデータの乗算結果を各ブロックに対応するブロック重みとして算出するステップであることを特徴とする請求項６に記載の画像処理方法。 - 前記ブロック重み算出ステップは、
（ａ）各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズ、
（ｂ）各ブロック対応の差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）
（ｃ）各ブロック対応のブロック構成画素値の分散値、
（ｄ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する共分散値、
（ｅ）ブロック対応のローカル動きベクトル（ＬＭＶ）と周辺ブロックのローカル動きベクトル（ＬＭＶ）との相関値、
（ｆ）処理対象フレームと参照フレームの対応ブロックの構成画素値から算出する相関係数、
上記（ａ）から（ｆ）の少なくともいずれかの値を適用したブロック重み算出処理を実行するステップであることを特徴とする請求項６に記載の画像処理方法。 - 前記グローバル動きベクトル算出ステップは、
前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる全てのブロックに共通の動きベクトルとしてフレーム対応の１つのグローバル動きベクトル（ＧＭＶ）を算出するステップであることを特徴とする請求項６に記載の画像処理方法。 - 画像処理装置において動きベクトル検出を実行させるコンピュータ・プログラムであり、
ローカル動きベクトル算出部に、動画像を構成する注目画像フレームと参照画像フレームとの間で、所定の分割領域であるブロック毎に差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出することにより得られる前記分割領域に対応するローカル動きベクトル（ＬＭＶ：Ｌｏｃａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）と、前記ローカル動きベクトル（ＬＭＶ）によって動き補償がなされた動き補償画像（ＭＣ画像：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ画像）とを算出させるローカル動きベクトル算出ステップと、
ブロック重み算出部に、前記ローカル動きベクトル算出ステップにおいて算出された前記ローカル動きベクトル（ＬＭＶ）、前記ローカル動きベクトル算出部において算出された前記動き補償画像（ＭＣ画像）、および前記ローカル動きベクトル算出部において算出された差分絶対値和（ＳＡＤ）の全てを用いて、前記ブロック各々に対応するローカル動きベクトル（ＬＭＶ）の信頼度指標としてのブロック重みを算出するブロック重み算出ステップであり、少なくとも各ブロック対応のローカル動きベクトル（ＬＭＶ）のサイズが大きくなるにつれてブロック重みを小さくする設定としたブロック重みを算出するブロック重み算出ステップと、
グローバル動きベクトル算出部に、前記ローカル動きベクトル（ＬＭＶ）と、前記ブロック重みを入力し、画像フレームに含まれる複数のブロックに共通の動きベクトルであるグローバル動きベクトル（ＧＭＶ：Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出させるグローバル動きベクトル算出ステップを有し、
前記グローバル動きベクトル算出ステップは、
各ブロック（ｎ）対応のローカル動きベクトル（ＬＭＶｎ）とグローバル動きベクトル（ＧＭＶ）との差分［ｅｎ］と、差分算出ブロックのブロック重み［ｗｎ］との乗算データ［ｗｎ×ｅｎ］の総和をコスト［Ｑ］として算出し、コスト［Ｑ］を最小とする前記グローバル動きベクトル（ＧＭＶ）の構成パラメータを算出し、算出パラメータを設定したグローバル動きベクトル（ＧＭＶ）を生成させるステップであることを特徴とするコンピュータ・プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007230053A JP5045320B2 (ja) | 2007-09-05 | 2007-09-05 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| US12/204,634 US20090074071A1 (en) | 2007-09-05 | 2008-09-04 | Apparatus and Method for Image Processing and Computer Program |
| CN2008102128146A CN101383966B (zh) | 2007-09-05 | 2008-09-05 | 用于图像处理的装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007230053A JP5045320B2 (ja) | 2007-09-05 | 2007-09-05 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009065332A JP2009065332A (ja) | 2009-03-26 |
| JP5045320B2 true JP5045320B2 (ja) | 2012-10-10 |
Family
ID=40454420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007230053A Expired - Fee Related JP5045320B2 (ja) | 2007-09-05 | 2007-09-05 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20090074071A1 (ja) |
| JP (1) | JP5045320B2 (ja) |
| CN (1) | CN101383966B (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5298899B2 (ja) * | 2009-02-03 | 2013-09-25 | 株式会社Ｊｖｃケンウッド | 画像補正処理装置および画像補正処理方法 |
| JP4915423B2 (ja) | 2009-02-19 | 2012-04-11 | ソニー株式会社 | 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体 |
| JP4915424B2 (ja) | 2009-02-19 | 2012-04-11 | ソニー株式会社 | 画像処理装置、カメラモーション成分算出方法、画像処理プログラム及び記録媒体 |
| CN101990093A (zh) * | 2009-08-06 | 2011-03-23 | 索尼株式会社 | 检测视频中的重放片段的方法和设备 |
| JP4964937B2 (ja) * | 2009-10-06 | 2012-07-04 | 株式会社ナナオ | 動きベクトル検出装置、フレーム補間処理装置およびそれらの方法 |
| JP2011217044A (ja) * | 2010-03-31 | 2011-10-27 | Sony Corp | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2011233039A (ja) * | 2010-04-28 | 2011-11-17 | Sony Corp | 画像処理装置、画像処理方法、撮像装置、およびプログラム |
| US20110299597A1 (en) * | 2010-06-07 | 2011-12-08 | Sony Corporation | Image processing method using motion estimation and image processing apparatus |
| JP5198543B2 (ja) * | 2010-11-19 | 2013-05-15 | 株式会社東芝 | 画像処理方法、画像処理装置及び画像処理プログラム |
| JP2012227669A (ja) * | 2011-04-19 | 2012-11-15 | Sony Corp | 情報処理装置と情報処理方法およびプログラム |
| JP5687553B2 (ja) * | 2011-04-25 | 2015-03-18 | オリンパス株式会社 | 画像合成装置、画像合成方法及び画像合成プログラム |
| US20120311006A1 (en) * | 2011-05-31 | 2012-12-06 | Juei-Chao Chen | Method for improving computation speed of cross-covariance function and autocovariance function for computer hardware |
| CN102868879B (zh) * | 2011-07-05 | 2015-04-29 | 北京大学 | 一种视频帧速率上转换方法及系统 |
| JP2013041387A (ja) * | 2011-08-15 | 2013-02-28 | Sony Corp | 画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラム |
| JP2013066164A (ja) * | 2011-09-02 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| JP6146265B2 (ja) | 2013-11-07 | 2017-06-14 | ソニー株式会社 | 顕微鏡システムおよびオートフォーカス方法 |
| KR20170116043A (ko) * | 2015-02-12 | 2017-10-18 | 엘지전자 주식회사 | 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치 |
| CN104837031B (zh) * | 2015-04-08 | 2018-01-30 | 中国科学院信息工程研究所 | 一种高速自适应提取视频关键帧的方法 |
| WO2018056181A1 (ja) * | 2016-09-26 | 2018-03-29 | ソニー株式会社 | 符号化装置、符号化方法、復号化装置、復号化方法、送信装置および受信装置 |
| US10291931B2 (en) * | 2016-10-13 | 2019-05-14 | Ati Technologies Ulc | Determining variance of a block of an image based on a motion vector for the block |
| JP6823469B2 (ja) * | 2017-01-20 | 2021-02-03 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 |
| CN110139100B (zh) * | 2019-05-16 | 2021-07-06 | 东莞职业技术学院 | 多图像运动估计的扩展块匹配及运动矢量估计算法 |
| CN110188754B (zh) | 2019-05-29 | 2021-07-13 | 腾讯科技（深圳）有限公司 | 图像分割方法和装置、模型训练方法和装置 |
| CN111967515A (zh) * | 2020-08-14 | 2020-11-20 | Oppo广东移动通信有限公司 | 图像信息提取方法、训练方法及装置、介质和电子设备 |
| CN117036228A (zh) * | 2022-12-05 | 2023-11-10 | 珠海祺力电子有限公司 | 一种基于物联网的pcba生产流程监测管理系统及方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2586686B2 (ja) * | 1990-04-19 | 1997-03-05 | 日本電気株式会社 | 動画像の動き情報検出装置および動画像の動き補償フレーム間予測符号化装置 |
| JP4239231B2 (ja) * | 1998-01-27 | 2009-03-18 | ソニー株式会社 | ブロック歪低減装置及び方法 |
| EP1334595B1 (en) * | 2000-09-27 | 2004-12-22 | Itt Manufacturing Enterprises, Inc. | Intervote modulator |
| EP1376471A1 (en) * | 2002-06-19 | 2004-01-02 | STMicroelectronics S.r.l. | Motion estimation for stabilization of an image sequence |
| JP4052588B2 (ja) * | 2004-01-26 | 2008-02-27 | Ｋｄｄｉ株式会社 | 動き予測情報検出装置 |
| WO2005084036A1 (ja) * | 2004-03-01 | 2005-09-09 | Sony Corporation | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム |
| US20070025444A1 (en) * | 2005-07-28 | 2007-02-01 | Shigeyuki Okada | Coding Method |
| JP4743601B2 (ja) * | 2005-09-21 | 2011-08-10 | Ｋｄｄｉ株式会社 | 動画像処理装置 |
| WO2007062404A2 (en) * | 2005-11-23 | 2007-05-31 | Capso Vision, Inc. | Movement detection and construction of an 'actual reality' image |
| US8130845B2 (en) * | 2006-11-02 | 2012-03-06 | Seiko Epson Corporation | Method and apparatus for estimating and compensating for jitter in digital video |
| US8488676B2 (en) * | 2007-05-14 | 2013-07-16 | Himax Technologies Limited | Motion estimation method |
-
2007
- 2007-09-05 JP JP2007230053A patent/JP5045320B2/ja not_active Expired - Fee Related
-
2008
- 2008-09-04 US US12/204,634 patent/US20090074071A1/en not_active Abandoned
- 2008-09-05 CN CN2008102128146A patent/CN101383966B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20090074071A1 (en) | 2009-03-19 |
| JP2009065332A (ja) | 2009-03-26 |
| CN101383966B (zh) | 2010-12-15 |
| CN101383966A (zh) | 2009-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5045320B2 (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
| WO2013031424A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| TWI621352B (zh) | 運動向量之預測解碼方法、預測解碼裝置 | |
| US8274602B2 (en) | Image processing apparatus and image processing method with redundant frame detection | |
| US8503531B2 (en) | Image processing apparatus and method, recording medium, and program | |
| US20160080764A1 (en) | Encoding system using motion estimation and encoding method using motion estimation | |
| JP5833757B2 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 | |
| JP2013532926A (ja) | 複数のプロセッサを使用してビデオフレームを符号化するための方法およびシステム | |
| KR20090014371A (ko) | 움직임 검출 장치 | |
| US20030152150A1 (en) | Information processing apparatus and method, recording medium, and program | |
| KR101810118B1 (ko) | 프로파일 정보 기반 움직임 추정장치 및 방법 | |
| CN113453020B (zh) | 位元率控制方法与视频处理装置 | |
| KR100810391B1 (ko) | 움직임 보간을 이용한 프레임 레이트 변환 방법 | |
| JP6918661B2 (ja) | 符号化装置、符号化方法及びプログラム | |
| CN110944211A (zh) | 用于帧内预测的插值滤波方法、装置、介质及电子设备 | |
| JP5254565B2 (ja) | 動画像予測符号化装置、方法及びプログラム、並びに、動画像予測復号装置、方法及びプログラム | |
| JP5095520B2 (ja) | 動きベクトル割付装置、フレームレート変換装置、動画像符号化装置、動きベクトル割付方法、動きベクトル割付プログラム、および、記録媒体 | |
| JP4207763B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
| KR101895822B1 (ko) | 프로파일 정보 기반 움직임 추정장치 및 방법 | |
| KR100892471B1 (ko) | 움직임 검출 장치 | |
| JP4144316B2 (ja) | 画像データ処理装置および方法、記録媒体、並びにプログラム | |
| JP5637010B2 (ja) | 動きベクトル検出装置、動きベクトル検出方法及び動きベクトル検出プログラム | |
| JP2008301085A (ja) | 動きベクトル探索装置及びその制御方法、コンピュータプログラム | |
| JP2010183575A (ja) | ビデオフレームのシーケンスを処理してシーケンスのショット間にワイプ遷移が存在するか否かを判断する方法及び装置 | |
| Zhou et al. | Improved Poisson Matting for a Real Time Tele-presence System Using GPU |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100318 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110419 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110617 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120619 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120702 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150727 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |