JP4016227B2 - 画像処理装置および方法、並びに記録媒体 - Google Patents
画像処理装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4016227B2 JP4016227B2 JP1345698A JP1345698A JP4016227B2 JP 4016227 B2 JP4016227 B2 JP 4016227B2 JP 1345698 A JP1345698 A JP 1345698A JP 1345698 A JP1345698 A JP 1345698A JP 4016227 B2 JP4016227 B2 JP 4016227B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- reliability
- image
- motion
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、特に、時間的に連続する画像から画素単位に動きを推定できるようにする画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
動画像から画像の動きを表すパラメータの値を推定（以下、動き推定と記述する）する方法としては、予測残差最小規範を用いた方法が存在する。
【０００３】
【発明が解決しようとする課題】
予測残差最小規範を用いた動き推定の方法は、画像を複数の画素から構成されるブロックに分けて、ブロック毎に動き推定を行うため、動き推定の空間解像度が低く、平行移動する剛体に対する動き推定しか行うことがでない。その結果、この方法は、動きの分布が不均一である非剛体に対する動き推定を行うことができない課題があった。
【０００４】
また、予測残差最小規範を用いた動き推定の方法は、真の動きがサーチ範囲から外れた場合、動き推定の値に大きな誤差を生じるので、ロバスト性が悪い課題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、不偏推定量による非決定論的な方法を用いることにより、動き推定の空間解像度を向上させるとともに、ロバスト性を確保できるようにするものである。
【０００６】
【課題を解決するための手段】
本発明の画像処理装置は、連続する２枚の前記静止画像から画素単位の動きベクトルおよび動きベクトルの信頼性を示す第１の信頼度を演算する演算手段と、演算手段が演算した画素単位の動きベクトルおよび第１の信頼度のうち、静止画像の注目画素を中心とする所定の範囲に位置する画素に対する第１の信頼度を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の注目画素に対して演算された動きベクトルおよび第１の信頼度に基づいて、各画素に対応する動きベクトルおよび動きベクトルの信頼性を示す第２の信頼度を推定し、第１次動き分布画像を生成する推定手段と、推定手段が生成した第ｋ＋１番目の静止画像に対応する第１次動き分布画像の動きベクトルと、第ｋ番目の静止画像に対応する第４次動き分布画像の動きベクトルを加重平均して合成することで第２次動き分布画像を更新する更新手段と、更新手段が生成した第２次動き分布画像から、第２次動き分布画像の画素の等速性を仮定することにより、第ｋ＋２番目の静止画像に対応する第１次動き分布画像を予測し、第ｋ＋２番目の静止画像に対応する第３次動き分布画像を生成する予測手段と、予測手段が生成した第３次動き分布画像の画素のうち、信頼性の低い情報欠落画素を決定し、情報欠落画素を中心とする所定の範囲に位置する各画素に対して情報欠落画素の動きベクトルの補間元とすることの妥当性を示す妥当度を算出し、妥当性を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の、情報欠落画素を中心とする所定の範囲に位置する画素と情報欠落画素との座標の差を、情報欠落画素の動きベクトルとすることにより、更新手段が用いる第４次動き分布画像を生成する補間手段とを備えることを特徴とする。
【０００７】
本発明の画像処理方法は、連続する２枚の静止画像から画素単位の動きベクトルおよび動きベクトルの信頼性を示す第１の信頼度を演算する演算ステップと、演算ステップで演算した画素単位の動きベクトルおよび第１の信頼度のうち、静止画像の注目画素を中心とする所定の範囲に位置する画素に対する第１の信頼度を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の注目画素に対して演算された動きベクトルおよび第１の信頼度に基づいて、各画素に対応する動きベクトルおよび動きベクトルの信頼性を示す第２の信頼度を推定し、第１次動き分布画像を生成する推定ステップと、推定ステップで生成した第ｋ＋１番目の静止画像に対応する第１次動き分布画像の動きベクトルと、第ｋ番目の静止画像に対応する第４次動き分布画像の動きベクトルを加重平均して合成することで第２次動き分布画像を更新する更新ステップと、更新ステップで生成した第２次動き分布画像から、第２次動き分布画像の画素の等速性を仮定することにより、第ｋ＋２番目の静止画像に対応する第１次動き分布画像を予測し、第ｋ＋２番目の静止画像に対応する第３次動き分布画像を生成する予測ステップと、予測ステップで生成した第３次動き分布画像の画素のうち、信頼性の低い情報欠落画素を決定し、情報欠落画素を中心とする所定の範囲に位置する各画素に対して情報欠落画素の動きベクトルの補間元とすることの妥当性を示す妥当度を算出し、妥当性を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の、情報欠落画素を中心とする所定の範囲に位置する画素と情報欠落画素との座標の差を、情報欠落画素の動きベクトルとすることにより、更新手段が用いる第４次動き分布画像を生成する補間ステップとを含むことを特徴とする。
【０００８】
本発明の記録媒体のプログラムは、連続する２枚の静止画像から画素単位の動きベクトルおよび動きベクトルの信頼性を示す第１の信頼度を演算する演算ステップと、演算ステップで演算した画素単位の動きベクトルおよび第１の信頼度のうち、静止画像の注目画素を中心とする所定の範囲に位置する画素に対する第１の信頼度を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の注目画素に対して演算された動きベクトルおよび第１の信頼度に基づいて、各画素に対応する動きベクトルおよび動きベクトルの信頼性を示す第２の信頼度を推定し、第１次動き分布画像を生成する推定ステップと、推定ステップで生成した第ｋ＋１番目の静止画像に対応する第１次動き分布画像の動きベクトルと、第ｋ番目の静止画像に対応する第４次動き分布画像の動きベクトルを加重平均して合成することで第２次動き分布画像を更新する更新ステップと、更新ステップで生成した第２次動き分布画像から、第２次動き分布画像の画素の等速性を仮定することにより、第ｋ＋２番目の静止画像に対応する第１次動き分布画像を予測し、第ｋ＋２番目の静止画像に対応する第３次動き分布画像を生成する予測ステップと、予測ステップで生成した第３次動き分布画像の画素のうち、信頼性の低い情報欠落画素を決定し、情報欠落画素を中心とする所定の範囲に位置する各画素に対して情報欠落画素の動きベクトルの補間元とすることの妥当性を示す妥当度を算出し、妥当性を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の、情報欠落画素を中心とする所定の範囲に位置する画素と情報欠落画素との座標の差を、情報欠落画素の動きベクトルとすることにより、更新手段が用いる第４次動き分布画像を生成する補間ステップとを含む処理を画像処理装置のコンピュータに実行させる。
【０００９】
本発明においては、連続する２枚の静止画像から画素単位の動きベクトルおよび動きベクトルの信頼性を示す第１の信頼度が演算され、演算された画素単位の動きベクトルおよび第１の信頼度のうち、静止画像の注目画素を中心とする所定の範囲に位置する画素に対する第１の信頼度を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の注目画素に対して演算された動きベクトルおよび第１の信頼度に基づいて、各画素に対応する動きベクトルおよび動きベクトルの信頼性を示す第２の信頼度が推定されて第１次動き分布画像が生成される。また、生成した第ｋ＋１番目の静止画像に対応する第１次動き分布画像の動きベクトルと、第ｋ番目の静止画像に対応する第４次動き分布画像の動きベクトルを加重平均して合成することで第２次動き分布画像が更新される。さらに、更新された第２次動き分布画像から、第２次動き分布画像の画素の等速性を仮定することにより、第ｋ＋２番目の静止画像に対応する第１次動き分布画像が予測されて、第ｋ＋２番目の静止画像に対応する第３次動き分布画像を生成される。さらに、生成された第３次動き分布画像の画素のうち、信頼性の低い情報欠落画素を決定し、情報欠落画素を中心とする所定の範囲に位置する各画素に対して情報欠落画素の動きベクトルの補間元とすることの妥当性を示す妥当度を算出し、妥当性を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の、情報欠落画素を中心とする所定の範囲に位置する画素と情報欠落画素との座標の差を、情報欠落画素の動きベクトルとすることにより、第２次動き分布画像の更新に用いられ第４次動き分布画像が生成される。
【００１１】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。
【００１２】
すなわち、本発明の画像処理装置は、連続する２枚の前記静止画像から画素単位の動きベクトルおよび動きベクトルの信頼性を示す第１の信頼度を演算する演算手段（例えば、図１の推定部４）と、演算手段が演算した画素単位の動きベクトルおよび第１の信頼度のうち、静止画像の注目画素を中心とする所定の範囲に位置する画素に対する第１の信頼度を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の注目画素に対して演算された動きベクトルおよび第１の信頼度に基づいて、各画素に対応する動きベクトルおよび動きベクトルの信頼性を示す第２の信頼度を推定し、第１次動き分布画像を生成する推定手段（例えば、図１の推定部４）と、推定手段が生成した第ｋ＋１番目の静止画像に対応する第１次動き分布画像の動きベクトルと、第ｋ番目の静止画像に対応する第４次動き分布画像の動きベクトルを加重平均して合成することで第２次動き分布画像を更新する更新手段（例えば、図１の更新部５）と、更新手段が生成した第２次動き分布画像から、第２次動き分布画像の画素の等速性を仮定することにより、第ｋ＋２番目の静止画像に対応する第１次動き分布画像を予測し、第ｋ＋２番目の静止画像に対応する第３次動き分布画像を生成する予測手段（例えば、図１の予測部６）と、予測手段が生成した第３次動き分布画像の画素のうち、信頼性の低い情報欠落画素を決定し、情報欠落画素を中心とする所定の範囲に位置する各画素に対して情報欠落画素の動きベクトルの補間元とすることの妥当性を示す妥当度を算出し、妥当性を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の、情報欠落画素を中心とする所定の範囲に位置する画素と情報欠落画素との座標の差を、情報欠落画素の動きベクトルとすることにより、更新手段が用いる第４次動き分布画像を生成する補間手段（例えば、図１の補間部７）とを備える。
【００１３】
但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００１４】
本発明を適用した画像処理装置の構成について、図１を参照して説明する。この画像処理装置の制御部１は、装置全体を制御するようになされている。ハードディスク２は、予め入力された動画像を記憶しており、制御部１の制御により、動画像を再生部３に出力するようになされている。なお、一連の動画像（１シーン）は、それぞれにシリアルなフレーム番号が付された複数の静止画像（フレーム）により構成されている。
【００１５】
再生部３は、ハードディスク２から入力された動画像をフレーム毎に（静止画像として）再生し、推定部４に出力するようになされている。
【００１６】
推定部４は、再生部３から入力された時系列順序が連続する第ｋフレームと第ｋ＋１フレームから、画素毎の動きベクトルとその信頼性を示す信頼度を演算し、各画素に任意の動きベクトルと信頼度を対応させて（不偏推定して）、第ｋフレームに対応する第１次動き分布画像を生成し、更新部５（第０フレームに対応する第１次動き分布画像は、予測部６）に出力するようになされている。
【００１７】
更新部５は、推定部４から入力された第ｋ＋１フレームに対応する第１次動き分布画像と、補間部７（後述）から入力された第ｋフレームに対応する第４次動き分布画像を合成して、第ｋ＋１フレームに対応する第２次動き分布画像を生成し、予測部６に出力するようになされている。
【００１８】
予測部６は、更新部５から入力された第ｋ＋１フレームに対応する第２次動き分布画像（または、推定部４から入力された第０フレームに対応する第１次動き分布画像）に基づいて、第ｋ＋１フレームに対応する第３次動き分布画像を生成し、補間部７に出力するようになされている。このとき、第３次動き分布画像の画素の動きベクトルは、第２次動き分布画像（または、第０フレームに対応する第１次動き分布画像）の画素の動きベクトルが変化しないものと仮定して予測される。
【００１９】
補間部７は、入力された第ｋ＋１フレームに対応する第３次動き分布画像の空隙部分を不偏推定量により補間して、第ｋ＋１フレームに対応する第４次動き分布画像を生成し、更新部５に出力するようになされている。
【００２０】
メモリ８は、各部の作業領域として情報を一時的に記憶し、各部に出力するようになされている。
【００２１】
次に、この画像処理装置の動作について、図２のフローチャートと図３を参照して説明する。ステップＳ１において、制御部１は、ハードディスク２に記憶されている１シーンを構成するフレームの総数Ｎを確認するとともに、フレームの順序を表すパラメータであるｆｒを初期化する（ｆｒ＝０とする）。
【００２２】
ステップＳ２において、ｆｒがＮである（最終フレームであるか）か否かが判定され、ｆｒがＮではないと判定された場合、ステップＳ３に進む。
【００２３】
ステップＳ３において、推定処理が実行される。推定処理の詳細について図４のフローチャートを参照して説明する。
【００２４】
ステップＳ１１において、推定される画素の座標(i,j)が(0,0)に初期化される。ステップＳ１２において、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）であるか否かが判定され、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）であると判定された場合、ステップＳ１３に進む。
【００２５】
ステップＳ１３において、変数counterと変数sumが０に初期化される。ステップＳ１４において、参照される画素の座標(ix,iy)が(ix-range，iy-range)に初期化される。なお、参照される画素の範囲は、座標(i,j)を中心とした一辺が所定の長さ２×rangeの正方形である。したがって、(ix-range，iy-range)は、参照範囲の左上の画素を意味する。
【００２６】
ステップＳ１５において、１／（推定される画素(i,j)の画素値と参照される画素(ix,iy)の画素値の差分の２乗和＋0.01）の値が演算され、変数sumに加算される。なお、0.01は信頼度が無限大に発散することを防ぐための補正値である。
【００２７】
ステップＳ１６において、参照画素の座標(ix,iy)と推定される画素の座標(i,j)の差(ix-i,iy-j)（動きベクトル）が演算され、その演算値（動きベクトル）が、参照範囲内における画素に対するシリアルな番号counterに対応して、配列iv_hist[counter]に配置される。同様に、その変数sumが、配列sum_hist[counter]に配置される。このsumと、sum_hist[counter]は、後述するステップＳ２１において、信頼度ｐを演算するためのものである。
【００２８】
ステップＳ１７において、参照画素の座標(ix,iy)が最大値（ix+range，iy+range）よりも小さい（参照範囲の中に、まだ参照していない画素がある）か否かが判定され、小さくない（参照範囲の全ての画素を参照した）と判定された場合、ステップＳ１８に進む。まだ参照していない画素が残っている場合、ステップＳ２３に進み、counterをインクリメントした後、ステップＳ２４に進み、座標(ix,iy)をインクリメントし、他の画素を処理対象として、ステップＳ１５以降の処理が実行される。
【００２９】
ステップＳ１８において、変数sum_thresがsum×乱数（０乃至１の間の数）で定義される。すなわち、乱数を用いて所定の閾値が定義される。ステップＳ１９において、変数counterが０に初期化される。
【００３０】
ステップＳ２０において、配列sum_hist[counter]の値がステップＳ１８でランダムに定義したsum_thres（閾値）よりも小さい（参照元の画素として妥当ではない）か否かが判定される。配列sum_hist[counter]の値がsum_thresより小さい場合（参照元の画素として妥当ではない場合）、ステップＳ２５に進み、counterをインクリメントし、ステップＳ２０に戻る。ステップＳ１５で説明したように、sumには過去の処理の値が順次累積されていくので、counterの値が大きくなると、sum_hist[counter]の値も大きくなり、その結果、sum_hist[counter]の値がsum_thresの値より大きくなる可能性が増加する。
【００３１】
sum_hist[counter]がsum_thresよりも小さくない（参照元の画素として妥当である）と判定された場合、ステップＳ２１に進む。ステップＳ２１において、推定される画素（座標(i,j)の画素）の動きベクトルとして、配列iv_hist[counter]に配置された動きベクトルがコピーされ、その信頼度ｐとして、((sum_hist[counter]-sum_hist[counter-1])/sum)の値が演算され、設定される。
【００３２】
ステップＳ２２において、座標(i,j)をインクリメントし、他の座標を処理対象として、ステップＳ１２に戻る。
【００３３】
ステップＳ１２において、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）ではないと判定された場合、推定処理を終了し、図２のステップＳ３にリターンする。
【００３４】
以上のようにして、例えば図３に示す、ｆｒが０の第１次動き分布画像が不偏推定量を用いて生成されたことになる。
【００３５】
図２の説明に戻る。
【００３６】
以上のように、推定処理が行われた後、ステップＳ４において、フレームパラメータｆｒが０であるか（開始フレームであるか）否かが判定され、ｆｒが０ではないと判定された場合、ステップＳ５に進む。ステップＳ５において、更新部５は更新処理を実行する。最初はｆｒが０であるから、ステップＳ５の更新処理はスキップされ、ステップＳ６に進む。
【００３７】
ステップＳ６において、図５に示すような予測処理が実行される。すなわち、入力された第２次動き分布画像（または、ｆｒが０の場合、第１次動き分布画像）の画素の等速性を仮定して、動きベクトルが予測される。また、図６に示すように、動きベクトルの候補が複数ある場合は、その信頼度ｐが最大である動きベクトルを採用する。予測処理の詳細について、図７のフローチャートを参照して説明する。
【００３８】
ステップＳ３１において、入力データ配列scr[i,j]に、入力された第２次動き分布画像（または、ｆｒが０の場合、第１次動き分布画像）の動きベクトル(x,y)と信頼度ｐが配置される。
【００３９】
ステップＳ３２において、出力配列dst[i,j]が初期化される（動きベクトルと信頼度ｐが全て０とされる）。ステップＳ３３において、予測される画素の座標(i,j)が(0,0)に初期化される。
【００４０】
ステップＳ３４において、予測される画素の座標(i,j)が最大値(ｉmax,jmax)以下（フレーム内の座標）であるか否かが判定され、座標(i,j)が最大値(ｉmax,jmax)以下（フレーム内の座標）であると判定された場合、ステップＳ３５に進む。
【００４１】
ステップＳ３５において、変数(fx,fy)に入力データ配列scr[i,j]の動きベクトル(x,y)が設定される（fxに、動きベクトルのｘ成分が設定され、fyに、動きベクトルのｙ成分が設定される）。すなわち、上述した図５に示す処理が実行される。
【００４２】
ステップＳ３６において、dst[i+fx,j+fy]の信頼度ｐがscr[i,j]の信頼度ｐよりも小さいか否かが判定され、dst[i+fx,j+fy]の信頼度ｐがscr[i,j]の信頼度ｐよりも小さいと判定された場合、ステップＳ３７に進む。ステップＳ３７において、dst[i+fx,j+fy]の動きベクトル（第３次動き分布画像の動きベクトル）として、scr[i,j]の動きベクトルが設定される。すなわち、上述した図６に示す処理が実行される。dst[i+fx,j+fy]の信頼度ｐがscr[i,j]の信頼度ｐよりも小さくないと判定された場合、または、ステップＳ３７の処理が終了した場合、ステップＳ３８において、座標(i,j)をインクリメントし、他の画素を処理対象として、ステップＳ３４に戻る。
【００４３】
ステップＳ３４において、予測される画素の座標(i,j)が最大値(ｉmax,jmax)以下（フレーム内の座標）ではないと判定された場合、予測処理を終了し、図２にステップＳ６にリターンする。以上により、図３における予測処理により、第３次動き分布画像が得られたことになる。
【００４４】
図２の説明に戻る。
【００４５】
以上のように、予測処理が実行された後、ステップＳ７において、補間部７は、補間処理を実行する。補間処理の詳細について、図８のフローチャートを参照して説明する。
【００４６】
ステップＳ４１において、補間の対象（補間候補）とされる画素の座標(i,j)が(0,0)に初期化される。ステップＳ４２において、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）であるか否かが判定され、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）である判定された場合、ステップＳ４３に進む。
【００４７】
ステップＳ４３において、補間部７は、座標(i,j)の画素の信頼度ｐ(i,j)が所定の基準値よりも小さいか否かを判定し、所定の基準値よりも小さいと判定した場合（情報欠落画素である場合）、ステップＳ４４に進む。信頼度ｐ(i,j)が所定の値以上である場合、その画素は情報が欠落した画素ではないので補間処理する必要がない。そこでステップＳ５５に進み、座標(i,j)をインクリメントし、他の画素を処理対象とし、ステップＳ４２に戻り、同様の処理が実行される。
【００４８】
ステップＳ４４において、変数counterと変数sumが０に初期化される。ステップＳ４５において、参照される画素の座標(ix,iy)が(ix-range，iy-range)に初期化される。なお、参照される画素の範囲は、座標(i,j)を中心とした一辺が所定の長さ２×rangeの正方形である。したがって、上述したように、(ix-range，iy-range)は、参照範囲の左上の画素を意味する。
【００４９】
ステップＳ４６において、補間部７は、座標(ix,iy)の画素の信頼度ｐ(ix,iy)が０よりも大きいか否かを判定し、０よりも大きいと判定した場合（情報欠落画素に対して情報（画素値）をコピーする元の画素として妥当である場合）、ステップＳ４７に進む。信頼度ｐが０である場合、コピー元の画素として妥当ではないものとして、ステップＳ５６に進み、座標(ix,iy)をインクリメントし、他の画素を処理対象とし、ステップＳ４６に戻る。
【００５０】
ステップＳ４７において、L((ix,iy),(i,j))の値が、変数sumに加算される。
なお、L((ix,iy),(i,j))は、座標（ix,iy）の画素が補間される画素(i,j)のコピー元として妥当であるか否かを示す関数であり、次式で表される。
L((ix,iy),(i,j))
=p(ix,iy)×EXP(-D1((ix,iy),(i,j))/a-D2((ix,iy),(i,j))/b)
但し、p(ix,iy)は参照される画素の信頼度であり、D1((ix,iy),(i,j))は(ix,iy)と(i,j)の座標間の距離であり、D2((ix,iy),(i,j))は(ix,iy)と(i,j)の画素の画素値の差である。
【００５１】
ステップＳ４８において、画素値をコピー可能な画素として、参照画素の座標(ix,iy)と補間される画素の座標(i,j)の差(ix-i,iy-j)（動きベクトル）が演算され、その演算値（動きベクトル）が、参照範囲内における画素に対するシリアルな番号counterに対応して、配列iv_hist[counter]に配置される。同様に、その変数sumが、配列sum_hist[counter]に配置される。
【００５２】
ステップＳ４９において、参照画素の座標(ix,iy)が最大値（ix+range，iy+range）よりも小さい（参照範囲の中に、まだ参照していない画素がある）か否かが判定され、小さくない（参照範囲の全ての画素を参照した）と判定された場合、ステップＳ５０に進む。まだ参照していない画素が残っている場合、ステップＳ５７に進み、counterをインクリメントした後、ステップＳ５６に戻り、座標(ix,iy)をインクリメントして、他の画素を処理対象として、ステップＳ４６以降の処理が実行される。
【００５３】
ステップＳ５０において、sumとcounterが０よりも大きいか否かが判定され、sumとcounterの両方が０よりも大きい（参照範囲内にコピー元として妥当な画素がある）と判定された場合、ステップＳ５１に進む。sumとcounterの少なくとも一方が０である場合、参照範囲内にコピー元として妥当な画素が存在しないので、ステップＳ５８に進み、座標(ix,iy)の信頼度ｐに０を設定した後、ステップＳ５５に戻り、座標(ix,iy)をインクリメントし、他の画素を処理対象として、ステップＳ４２以降の処理を実行する。
【００５４】
ステップＳ５１において、変数sum_thresがsum×乱数（０乃至１の間の数）で定義される。すなわち、乱数を用いて、所定の閾値が定義される。ステップＳ５２において、変数counterが０に初期化される。
【００５５】
ステップＳ５３において、配列sum_hist[counter]の値がステップＳ５１でランダムに定義したsum_thres（閾値）よりも小さい（コピー元の画素として妥当ではない）か否かが判定される。配列sum_hist[counter]の値がsum_thresより小さい場合（コピー元の画素として妥当ではない場合）、ステップＳ５９に進み、counterをインクリメントし、ステップＳ５３に戻る。ステップＳ４７で説明したように、sumには過去の処理の値が順次累積されていくので、counterの値が大きくなると、sum_hist[counter]の値も大きくなり、その結果、sum_hist[counter]の値がsum_thresの値より大きくなる可能性が増加する。
【００５６】
sum_hist[counter]がsum_thresよりも小さくない（コピー元の画素として妥当である）と判定された場合、ステップＳ５４に進む。ステップＳ５４において、補間される画素の信頼度ｐ(i,j)と動きベクトルＶ１(i,j)として、配列iv_hist[counter]に配置されている信頼度と動きベクトルがコピーされる。その後、ステップＳ５５で座標(i,j)がインクリメントされた後、ステップＳ４２に戻り、それ以降の処理が実行される。
【００５７】
ステップＳ４２において、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）ではないと判定された場合（そのフレームの全ての画素を処理した場合）、補間処理を終了し、図２のステップＳ７にリターンする。
【００５８】
以上のようにして、図３に示すように、不偏推定量を用いた補間処理により、第４次動き分布画像が生成されたことになる。
【００５９】
図２の説明に戻る。
【００６０】
以上のように、補間処理が行われた後、ステップＳ８において、ｆｒが１だけインクリメントされ、ステップＳ２に戻る。
【００６１】
ステップＳ２，Ｓ３において、上述した処理が同様に実行される。ステップＳ４において、ｆｒが０ではないのでステップＳ５に進み、更新部５が更新処理を実行する。更新処理の詳細について、図９を参照して説明する。
【００６２】
ステップＳ７１において、更新される画素の座標(i,j)が(0,0)に初期化される。ステップＳ７２において、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）であるか否かが判定され、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）であると判定された場合、ステップＳ７３に進む。
【００６３】
ステップＳ７３において、補間部７から入力されたｆｒがｋ（最初はｋ＝０）である静止画像に対応する第４次動き分布画像のデータ配列pre[i,j]の信頼度ｐを変数ppに設定する。同様に、推定部７から入力されたｆｒがｋ＋１である静止画像に対応する第１次動き分布画像のデータ配列cur[i,j]の信頼度ｐを変数cpに設定する。
【００６４】
ステップＳ７４において、ppがcpよりも大きいか否かが判定される。ppがcpよりも大きい（第４次動き分布画像の信頼度ｐが第１次動き分布画像の信頼度ｐよりも大きい）と判定された場合、ステップＳ７５に進む。ppがcpよりも大きくない（第１次動き分布画像の信頼度ｐが第４次動き分布画像の信頼度ｐよりも大きい）と判定された場合、動きベクトルを更新せずにステップＳ７６に進み、(i,j)をインクリメントし、他の画素を処理対象としてステップＳ７２に戻る。
【００６５】
ステップＳ７５において、第１次動き分布画像の動きベクトルと第４次動き分布画像の動きベクトルが、次式のようにppとcpに基づいて加重平均され、第２次動き分布画像の動きベクトルが演算され、設定される。
２次動き分布画像の動きベクトル
=（pre[i,j]の動きベクトル）×｛pp/(pp+cp)｝
+（cur[i,j]の動きベクトル）×｛cp/(pp+cp)｝
【００６６】
ステップＳ７２において、(i,j)が最大値(ｉmax,ｊmax)以下ではないと判定された場合、更新処理を終了し、図２のステップＳ５にリターンする。
【００６７】
以上のようにして、図３に示すように、更新処理により第２次動き分布画像が得られたことになる。
【００６８】
次に、上述した画像処理装置により得られた動き分布画像と、従来の方法により得られた動き分布画像を比較する。図１０(A)は、本発明を適用した画像処理装置により得られた動き分布画像であり、図１０(B)は、従来の方法の一例である最尤推定に基づいて得られた動き分布画像である。なお、両者とも同じ映像（固定されたテーブルの上を、トラックの模型が左方向に移動する映像）を処理したものであり、上から順に、ｆｒが０である静止画像に対応する第１次動き分布画像、ｆｒが０である静止画像に対応する第３次動き分布画像、およびｆｒが４である静止画像に対応する第３次動き分布画像を示している。なお、これらの画像の画素の濃度は、水平方向（画面左方向）の動きベクトルの大きさを表している。
【００６９】
両者を比較した場合、図１０(B)の画像では、トラックの模型の輪郭がぼやけているとともに、トラックの下の不動部分であるテーブルの画素が濃度を有している（動きを示している）。これに対して、図１０(A)の画像では、ｆｒが増加するにつれて情報が蓄積され、トラックの模型の輪郭が鮮明になってきており、不動部分（テーブル）の画素の濃度が減少している。したがって、図１０(A)の方が誤判定の少ない動き分布画像であるといえる。
【００７０】
正確な動き分布画像が得られることにより、映像内の動体部分の画像の切り出し、追跡、および動き推定が可能となる。
【００７１】
ところで、画像をズームアウトした場合における画素の動きベクトル（画像の横方向の成分）を考えると、図１１(D)に示すように、その方向は、画像の中心線を向き、その大きさは、中心線から離れるにつれて増加するはずである。ここで、ｆｒ＝４に対応する第２次動き分布画像である図１１(C)を観察すると、画像の画素の濃度が左から右に徐々に濃くなっている。すわわち、画像の左から右にかけて、左方向を正とした動きベクトルが負から正に連続的に変化しており、図１１(D)と同様であることがわかる。したがって、この画像処理装置は、ズームに対する動き推定も可能であるといえる。
【００７２】
なお、本発明は奥行きを表すパラメータの推定にも適用することができる。
【００７３】
上記各処理を行うコンピュータプログラムは、磁気ディスク、CD-ROM等の情報記録媒体よりなる提供媒体のほか、インターネット、デジタル衛星などのネットワーク提供媒体を介してユーザに提供することができる。
【００７４】
【発明の効果】
以上のように、本発明によれば、動き推定の空間解像度を向上させるとともに、ロバスト性を確保することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の構成を示すブロック図である。
【図２】図１の画像処理装置の動作を説明するフローチャートである。
【図３】図１の画像処理装置の動作を説明する図である。
【図４】図２のステップＳ３の推定処理を説明するフローチャートである。
【図５】図２のステップＳ６の予測処理を説明する図である。
【図６】図２のステップＳ６の予測処理を説明する図である。
【図７】図２のステップＳ６の予測処理を説明するフローチャートである。
【図８】図２のステップＳ７の補間処理を説明するフローチャートである。
【図９】図２のステップＳ５の更新処理を説明するフローチャートである。
【図１０】本発明と従来の一例の比較を説明するディスプレー上に表示した中間調画像の写真である。
【図１１】本発明を画像のズームアウトに対する適用を説明するディスプレー上に表示した中間調画像の写真である。
【符号の説明】
１ 制御部， ２ ハードディスク， ３ 再生部， ４ 推定部， ５ 更新部， ６ 予測部， ７ 補間部， ８ メモリ
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、特に、時間的に連続する画像から画素単位に動きを推定できるようにする画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
動画像から画像の動きを表すパラメータの値を推定（以下、動き推定と記述する）する方法としては、予測残差最小規範を用いた方法が存在する。
【０００３】
【発明が解決しようとする課題】
予測残差最小規範を用いた動き推定の方法は、画像を複数の画素から構成されるブロックに分けて、ブロック毎に動き推定を行うため、動き推定の空間解像度が低く、平行移動する剛体に対する動き推定しか行うことがでない。その結果、この方法は、動きの分布が不均一である非剛体に対する動き推定を行うことができない課題があった。
【０００４】
また、予測残差最小規範を用いた動き推定の方法は、真の動きがサーチ範囲から外れた場合、動き推定の値に大きな誤差を生じるので、ロバスト性が悪い課題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、不偏推定量による非決定論的な方法を用いることにより、動き推定の空間解像度を向上させるとともに、ロバスト性を確保できるようにするものである。
【０００６】
【課題を解決するための手段】
本発明の画像処理装置は、連続する２枚の前記静止画像から画素単位の動きベクトルおよび動きベクトルの信頼性を示す第１の信頼度を演算する演算手段と、演算手段が演算した画素単位の動きベクトルおよび第１の信頼度のうち、静止画像の注目画素を中心とする所定の範囲に位置する画素に対する第１の信頼度を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の注目画素に対して演算された動きベクトルおよび第１の信頼度に基づいて、各画素に対応する動きベクトルおよび動きベクトルの信頼性を示す第２の信頼度を推定し、第１次動き分布画像を生成する推定手段と、推定手段が生成した第ｋ＋１番目の静止画像に対応する第１次動き分布画像の動きベクトルと、第ｋ番目の静止画像に対応する第４次動き分布画像の動きベクトルを加重平均して合成することで第２次動き分布画像を更新する更新手段と、更新手段が生成した第２次動き分布画像から、第２次動き分布画像の画素の等速性を仮定することにより、第ｋ＋２番目の静止画像に対応する第１次動き分布画像を予測し、第ｋ＋２番目の静止画像に対応する第３次動き分布画像を生成する予測手段と、予測手段が生成した第３次動き分布画像の画素のうち、信頼性の低い情報欠落画素を決定し、情報欠落画素を中心とする所定の範囲に位置する各画素に対して情報欠落画素の動きベクトルの補間元とすることの妥当性を示す妥当度を算出し、妥当性を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の、情報欠落画素を中心とする所定の範囲に位置する画素と情報欠落画素との座標の差を、情報欠落画素の動きベクトルとすることにより、更新手段が用いる第４次動き分布画像を生成する補間手段とを備えることを特徴とする。
【０００７】
本発明の画像処理方法は、連続する２枚の静止画像から画素単位の動きベクトルおよび動きベクトルの信頼性を示す第１の信頼度を演算する演算ステップと、演算ステップで演算した画素単位の動きベクトルおよび第１の信頼度のうち、静止画像の注目画素を中心とする所定の範囲に位置する画素に対する第１の信頼度を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の注目画素に対して演算された動きベクトルおよび第１の信頼度に基づいて、各画素に対応する動きベクトルおよび動きベクトルの信頼性を示す第２の信頼度を推定し、第１次動き分布画像を生成する推定ステップと、推定ステップで生成した第ｋ＋１番目の静止画像に対応する第１次動き分布画像の動きベクトルと、第ｋ番目の静止画像に対応する第４次動き分布画像の動きベクトルを加重平均して合成することで第２次動き分布画像を更新する更新ステップと、更新ステップで生成した第２次動き分布画像から、第２次動き分布画像の画素の等速性を仮定することにより、第ｋ＋２番目の静止画像に対応する第１次動き分布画像を予測し、第ｋ＋２番目の静止画像に対応する第３次動き分布画像を生成する予測ステップと、予測ステップで生成した第３次動き分布画像の画素のうち、信頼性の低い情報欠落画素を決定し、情報欠落画素を中心とする所定の範囲に位置する各画素に対して情報欠落画素の動きベクトルの補間元とすることの妥当性を示す妥当度を算出し、妥当性を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の、情報欠落画素を中心とする所定の範囲に位置する画素と情報欠落画素との座標の差を、情報欠落画素の動きベクトルとすることにより、更新手段が用いる第４次動き分布画像を生成する補間ステップとを含むことを特徴とする。
【０００８】
本発明の記録媒体のプログラムは、連続する２枚の静止画像から画素単位の動きベクトルおよび動きベクトルの信頼性を示す第１の信頼度を演算する演算ステップと、演算ステップで演算した画素単位の動きベクトルおよび第１の信頼度のうち、静止画像の注目画素を中心とする所定の範囲に位置する画素に対する第１の信頼度を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の注目画素に対して演算された動きベクトルおよび第１の信頼度に基づいて、各画素に対応する動きベクトルおよび動きベクトルの信頼性を示す第２の信頼度を推定し、第１次動き分布画像を生成する推定ステップと、推定ステップで生成した第ｋ＋１番目の静止画像に対応する第１次動き分布画像の動きベクトルと、第ｋ番目の静止画像に対応する第４次動き分布画像の動きベクトルを加重平均して合成することで第２次動き分布画像を更新する更新ステップと、更新ステップで生成した第２次動き分布画像から、第２次動き分布画像の画素の等速性を仮定することにより、第ｋ＋２番目の静止画像に対応する第１次動き分布画像を予測し、第ｋ＋２番目の静止画像に対応する第３次動き分布画像を生成する予測ステップと、予測ステップで生成した第３次動き分布画像の画素のうち、信頼性の低い情報欠落画素を決定し、情報欠落画素を中心とする所定の範囲に位置する各画素に対して情報欠落画素の動きベクトルの補間元とすることの妥当性を示す妥当度を算出し、妥当性を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の、情報欠落画素を中心とする所定の範囲に位置する画素と情報欠落画素との座標の差を、情報欠落画素の動きベクトルとすることにより、更新手段が用いる第４次動き分布画像を生成する補間ステップとを含む処理を画像処理装置のコンピュータに実行させる。
【０００９】
本発明においては、連続する２枚の静止画像から画素単位の動きベクトルおよび動きベクトルの信頼性を示す第１の信頼度が演算され、演算された画素単位の動きベクトルおよび第１の信頼度のうち、静止画像の注目画素を中心とする所定の範囲に位置する画素に対する第１の信頼度を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の注目画素に対して演算された動きベクトルおよび第１の信頼度に基づいて、各画素に対応する動きベクトルおよび動きベクトルの信頼性を示す第２の信頼度が推定されて第１次動き分布画像が生成される。また、生成した第ｋ＋１番目の静止画像に対応する第１次動き分布画像の動きベクトルと、第ｋ番目の静止画像に対応する第４次動き分布画像の動きベクトルを加重平均して合成することで第２次動き分布画像が更新される。さらに、更新された第２次動き分布画像から、第２次動き分布画像の画素の等速性を仮定することにより、第ｋ＋２番目の静止画像に対応する第１次動き分布画像が予測されて、第ｋ＋２番目の静止画像に対応する第３次動き分布画像を生成される。さらに、生成された第３次動き分布画像の画素のうち、信頼性の低い情報欠落画素を決定し、情報欠落画素を中心とする所定の範囲に位置する各画素に対して情報欠落画素の動きベクトルの補間元とすることの妥当性を示す妥当度を算出し、妥当性を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の、情報欠落画素を中心とする所定の範囲に位置する画素と情報欠落画素との座標の差を、情報欠落画素の動きベクトルとすることにより、第２次動き分布画像の更新に用いられ第４次動き分布画像が生成される。
【００１１】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。
【００１２】
すなわち、本発明の画像処理装置は、連続する２枚の前記静止画像から画素単位の動きベクトルおよび動きベクトルの信頼性を示す第１の信頼度を演算する演算手段（例えば、図１の推定部４）と、演算手段が演算した画素単位の動きベクトルおよび第１の信頼度のうち、静止画像の注目画素を中心とする所定の範囲に位置する画素に対する第１の信頼度を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の注目画素に対して演算された動きベクトルおよび第１の信頼度に基づいて、各画素に対応する動きベクトルおよび動きベクトルの信頼性を示す第２の信頼度を推定し、第１次動き分布画像を生成する推定手段（例えば、図１の推定部４）と、推定手段が生成した第ｋ＋１番目の静止画像に対応する第１次動き分布画像の動きベクトルと、第ｋ番目の静止画像に対応する第４次動き分布画像の動きベクトルを加重平均して合成することで第２次動き分布画像を更新する更新手段（例えば、図１の更新部５）と、更新手段が生成した第２次動き分布画像から、第２次動き分布画像の画素の等速性を仮定することにより、第ｋ＋２番目の静止画像に対応する第１次動き分布画像を予測し、第ｋ＋２番目の静止画像に対応する第３次動き分布画像を生成する予測手段（例えば、図１の予測部６）と、予測手段が生成した第３次動き分布画像の画素のうち、信頼性の低い情報欠落画素を決定し、情報欠落画素を中心とする所定の範囲に位置する各画素に対して情報欠落画素の動きベクトルの補間元とすることの妥当性を示す妥当度を算出し、妥当性を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の、情報欠落画素を中心とする所定の範囲に位置する画素と情報欠落画素との座標の差を、情報欠落画素の動きベクトルとすることにより、更新手段が用いる第４次動き分布画像を生成する補間手段（例えば、図１の補間部７）とを備える。
【００１３】
但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００１４】
本発明を適用した画像処理装置の構成について、図１を参照して説明する。この画像処理装置の制御部１は、装置全体を制御するようになされている。ハードディスク２は、予め入力された動画像を記憶しており、制御部１の制御により、動画像を再生部３に出力するようになされている。なお、一連の動画像（１シーン）は、それぞれにシリアルなフレーム番号が付された複数の静止画像（フレーム）により構成されている。
【００１５】
再生部３は、ハードディスク２から入力された動画像をフレーム毎に（静止画像として）再生し、推定部４に出力するようになされている。
【００１６】
推定部４は、再生部３から入力された時系列順序が連続する第ｋフレームと第ｋ＋１フレームから、画素毎の動きベクトルとその信頼性を示す信頼度を演算し、各画素に任意の動きベクトルと信頼度を対応させて（不偏推定して）、第ｋフレームに対応する第１次動き分布画像を生成し、更新部５（第０フレームに対応する第１次動き分布画像は、予測部６）に出力するようになされている。
【００１７】
更新部５は、推定部４から入力された第ｋ＋１フレームに対応する第１次動き分布画像と、補間部７（後述）から入力された第ｋフレームに対応する第４次動き分布画像を合成して、第ｋ＋１フレームに対応する第２次動き分布画像を生成し、予測部６に出力するようになされている。
【００１８】
予測部６は、更新部５から入力された第ｋ＋１フレームに対応する第２次動き分布画像（または、推定部４から入力された第０フレームに対応する第１次動き分布画像）に基づいて、第ｋ＋１フレームに対応する第３次動き分布画像を生成し、補間部７に出力するようになされている。このとき、第３次動き分布画像の画素の動きベクトルは、第２次動き分布画像（または、第０フレームに対応する第１次動き分布画像）の画素の動きベクトルが変化しないものと仮定して予測される。
【００１９】
補間部７は、入力された第ｋ＋１フレームに対応する第３次動き分布画像の空隙部分を不偏推定量により補間して、第ｋ＋１フレームに対応する第４次動き分布画像を生成し、更新部５に出力するようになされている。
【００２０】
メモリ８は、各部の作業領域として情報を一時的に記憶し、各部に出力するようになされている。
【００２１】
次に、この画像処理装置の動作について、図２のフローチャートと図３を参照して説明する。ステップＳ１において、制御部１は、ハードディスク２に記憶されている１シーンを構成するフレームの総数Ｎを確認するとともに、フレームの順序を表すパラメータであるｆｒを初期化する（ｆｒ＝０とする）。
【００２２】
ステップＳ２において、ｆｒがＮである（最終フレームであるか）か否かが判定され、ｆｒがＮではないと判定された場合、ステップＳ３に進む。
【００２３】
ステップＳ３において、推定処理が実行される。推定処理の詳細について図４のフローチャートを参照して説明する。
【００２４】
ステップＳ１１において、推定される画素の座標(i,j)が(0,0)に初期化される。ステップＳ１２において、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）であるか否かが判定され、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）であると判定された場合、ステップＳ１３に進む。
【００２５】
ステップＳ１３において、変数counterと変数sumが０に初期化される。ステップＳ１４において、参照される画素の座標(ix,iy)が(ix-range，iy-range)に初期化される。なお、参照される画素の範囲は、座標(i,j)を中心とした一辺が所定の長さ２×rangeの正方形である。したがって、(ix-range，iy-range)は、参照範囲の左上の画素を意味する。
【００２６】
ステップＳ１５において、１／（推定される画素(i,j)の画素値と参照される画素(ix,iy)の画素値の差分の２乗和＋0.01）の値が演算され、変数sumに加算される。なお、0.01は信頼度が無限大に発散することを防ぐための補正値である。
【００２７】
ステップＳ１６において、参照画素の座標(ix,iy)と推定される画素の座標(i,j)の差(ix-i,iy-j)（動きベクトル）が演算され、その演算値（動きベクトル）が、参照範囲内における画素に対するシリアルな番号counterに対応して、配列iv_hist[counter]に配置される。同様に、その変数sumが、配列sum_hist[counter]に配置される。このsumと、sum_hist[counter]は、後述するステップＳ２１において、信頼度ｐを演算するためのものである。
【００２８】
ステップＳ１７において、参照画素の座標(ix,iy)が最大値（ix+range，iy+range）よりも小さい（参照範囲の中に、まだ参照していない画素がある）か否かが判定され、小さくない（参照範囲の全ての画素を参照した）と判定された場合、ステップＳ１８に進む。まだ参照していない画素が残っている場合、ステップＳ２３に進み、counterをインクリメントした後、ステップＳ２４に進み、座標(ix,iy)をインクリメントし、他の画素を処理対象として、ステップＳ１５以降の処理が実行される。
【００２９】
ステップＳ１８において、変数sum_thresがsum×乱数（０乃至１の間の数）で定義される。すなわち、乱数を用いて所定の閾値が定義される。ステップＳ１９において、変数counterが０に初期化される。
【００３０】
ステップＳ２０において、配列sum_hist[counter]の値がステップＳ１８でランダムに定義したsum_thres（閾値）よりも小さい（参照元の画素として妥当ではない）か否かが判定される。配列sum_hist[counter]の値がsum_thresより小さい場合（参照元の画素として妥当ではない場合）、ステップＳ２５に進み、counterをインクリメントし、ステップＳ２０に戻る。ステップＳ１５で説明したように、sumには過去の処理の値が順次累積されていくので、counterの値が大きくなると、sum_hist[counter]の値も大きくなり、その結果、sum_hist[counter]の値がsum_thresの値より大きくなる可能性が増加する。
【００３１】
sum_hist[counter]がsum_thresよりも小さくない（参照元の画素として妥当である）と判定された場合、ステップＳ２１に進む。ステップＳ２１において、推定される画素（座標(i,j)の画素）の動きベクトルとして、配列iv_hist[counter]に配置された動きベクトルがコピーされ、その信頼度ｐとして、((sum_hist[counter]-sum_hist[counter-1])/sum)の値が演算され、設定される。
【００３２】
ステップＳ２２において、座標(i,j)をインクリメントし、他の座標を処理対象として、ステップＳ１２に戻る。
【００３３】
ステップＳ１２において、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）ではないと判定された場合、推定処理を終了し、図２のステップＳ３にリターンする。
【００３４】
以上のようにして、例えば図３に示す、ｆｒが０の第１次動き分布画像が不偏推定量を用いて生成されたことになる。
【００３５】
図２の説明に戻る。
【００３６】
以上のように、推定処理が行われた後、ステップＳ４において、フレームパラメータｆｒが０であるか（開始フレームであるか）否かが判定され、ｆｒが０ではないと判定された場合、ステップＳ５に進む。ステップＳ５において、更新部５は更新処理を実行する。最初はｆｒが０であるから、ステップＳ５の更新処理はスキップされ、ステップＳ６に進む。
【００３７】
ステップＳ６において、図５に示すような予測処理が実行される。すなわち、入力された第２次動き分布画像（または、ｆｒが０の場合、第１次動き分布画像）の画素の等速性を仮定して、動きベクトルが予測される。また、図６に示すように、動きベクトルの候補が複数ある場合は、その信頼度ｐが最大である動きベクトルを採用する。予測処理の詳細について、図７のフローチャートを参照して説明する。
【００３８】
ステップＳ３１において、入力データ配列scr[i,j]に、入力された第２次動き分布画像（または、ｆｒが０の場合、第１次動き分布画像）の動きベクトル(x,y)と信頼度ｐが配置される。
【００３９】
ステップＳ３２において、出力配列dst[i,j]が初期化される（動きベクトルと信頼度ｐが全て０とされる）。ステップＳ３３において、予測される画素の座標(i,j)が(0,0)に初期化される。
【００４０】
ステップＳ３４において、予測される画素の座標(i,j)が最大値(ｉmax,jmax)以下（フレーム内の座標）であるか否かが判定され、座標(i,j)が最大値(ｉmax,jmax)以下（フレーム内の座標）であると判定された場合、ステップＳ３５に進む。
【００４１】
ステップＳ３５において、変数(fx,fy)に入力データ配列scr[i,j]の動きベクトル(x,y)が設定される（fxに、動きベクトルのｘ成分が設定され、fyに、動きベクトルのｙ成分が設定される）。すなわち、上述した図５に示す処理が実行される。
【００４２】
ステップＳ３６において、dst[i+fx,j+fy]の信頼度ｐがscr[i,j]の信頼度ｐよりも小さいか否かが判定され、dst[i+fx,j+fy]の信頼度ｐがscr[i,j]の信頼度ｐよりも小さいと判定された場合、ステップＳ３７に進む。ステップＳ３７において、dst[i+fx,j+fy]の動きベクトル（第３次動き分布画像の動きベクトル）として、scr[i,j]の動きベクトルが設定される。すなわち、上述した図６に示す処理が実行される。dst[i+fx,j+fy]の信頼度ｐがscr[i,j]の信頼度ｐよりも小さくないと判定された場合、または、ステップＳ３７の処理が終了した場合、ステップＳ３８において、座標(i,j)をインクリメントし、他の画素を処理対象として、ステップＳ３４に戻る。
【００４３】
ステップＳ３４において、予測される画素の座標(i,j)が最大値(ｉmax,jmax)以下（フレーム内の座標）ではないと判定された場合、予測処理を終了し、図２にステップＳ６にリターンする。以上により、図３における予測処理により、第３次動き分布画像が得られたことになる。
【００４４】
図２の説明に戻る。
【００４５】
以上のように、予測処理が実行された後、ステップＳ７において、補間部７は、補間処理を実行する。補間処理の詳細について、図８のフローチャートを参照して説明する。
【００４６】
ステップＳ４１において、補間の対象（補間候補）とされる画素の座標(i,j)が(0,0)に初期化される。ステップＳ４２において、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）であるか否かが判定され、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）である判定された場合、ステップＳ４３に進む。
【００４７】
ステップＳ４３において、補間部７は、座標(i,j)の画素の信頼度ｐ(i,j)が所定の基準値よりも小さいか否かを判定し、所定の基準値よりも小さいと判定した場合（情報欠落画素である場合）、ステップＳ４４に進む。信頼度ｐ(i,j)が所定の値以上である場合、その画素は情報が欠落した画素ではないので補間処理する必要がない。そこでステップＳ５５に進み、座標(i,j)をインクリメントし、他の画素を処理対象とし、ステップＳ４２に戻り、同様の処理が実行される。
【００４８】
ステップＳ４４において、変数counterと変数sumが０に初期化される。ステップＳ４５において、参照される画素の座標(ix,iy)が(ix-range，iy-range)に初期化される。なお、参照される画素の範囲は、座標(i,j)を中心とした一辺が所定の長さ２×rangeの正方形である。したがって、上述したように、(ix-range，iy-range)は、参照範囲の左上の画素を意味する。
【００４９】
ステップＳ４６において、補間部７は、座標(ix,iy)の画素の信頼度ｐ(ix,iy)が０よりも大きいか否かを判定し、０よりも大きいと判定した場合（情報欠落画素に対して情報（画素値）をコピーする元の画素として妥当である場合）、ステップＳ４７に進む。信頼度ｐが０である場合、コピー元の画素として妥当ではないものとして、ステップＳ５６に進み、座標(ix,iy)をインクリメントし、他の画素を処理対象とし、ステップＳ４６に戻る。
【００５０】
ステップＳ４７において、L((ix,iy),(i,j))の値が、変数sumに加算される。
なお、L((ix,iy),(i,j))は、座標（ix,iy）の画素が補間される画素(i,j)のコピー元として妥当であるか否かを示す関数であり、次式で表される。
L((ix,iy),(i,j))
=p(ix,iy)×EXP(-D1((ix,iy),(i,j))/a-D2((ix,iy),(i,j))/b)
但し、p(ix,iy)は参照される画素の信頼度であり、D1((ix,iy),(i,j))は(ix,iy)と(i,j)の座標間の距離であり、D2((ix,iy),(i,j))は(ix,iy)と(i,j)の画素の画素値の差である。
【００５１】
ステップＳ４８において、画素値をコピー可能な画素として、参照画素の座標(ix,iy)と補間される画素の座標(i,j)の差(ix-i,iy-j)（動きベクトル）が演算され、その演算値（動きベクトル）が、参照範囲内における画素に対するシリアルな番号counterに対応して、配列iv_hist[counter]に配置される。同様に、その変数sumが、配列sum_hist[counter]に配置される。
【００５２】
ステップＳ４９において、参照画素の座標(ix,iy)が最大値（ix+range，iy+range）よりも小さい（参照範囲の中に、まだ参照していない画素がある）か否かが判定され、小さくない（参照範囲の全ての画素を参照した）と判定された場合、ステップＳ５０に進む。まだ参照していない画素が残っている場合、ステップＳ５７に進み、counterをインクリメントした後、ステップＳ５６に戻り、座標(ix,iy)をインクリメントして、他の画素を処理対象として、ステップＳ４６以降の処理が実行される。
【００５３】
ステップＳ５０において、sumとcounterが０よりも大きいか否かが判定され、sumとcounterの両方が０よりも大きい（参照範囲内にコピー元として妥当な画素がある）と判定された場合、ステップＳ５１に進む。sumとcounterの少なくとも一方が０である場合、参照範囲内にコピー元として妥当な画素が存在しないので、ステップＳ５８に進み、座標(ix,iy)の信頼度ｐに０を設定した後、ステップＳ５５に戻り、座標(ix,iy)をインクリメントし、他の画素を処理対象として、ステップＳ４２以降の処理を実行する。
【００５４】
ステップＳ５１において、変数sum_thresがsum×乱数（０乃至１の間の数）で定義される。すなわち、乱数を用いて、所定の閾値が定義される。ステップＳ５２において、変数counterが０に初期化される。
【００５５】
ステップＳ５３において、配列sum_hist[counter]の値がステップＳ５１でランダムに定義したsum_thres（閾値）よりも小さい（コピー元の画素として妥当ではない）か否かが判定される。配列sum_hist[counter]の値がsum_thresより小さい場合（コピー元の画素として妥当ではない場合）、ステップＳ５９に進み、counterをインクリメントし、ステップＳ５３に戻る。ステップＳ４７で説明したように、sumには過去の処理の値が順次累積されていくので、counterの値が大きくなると、sum_hist[counter]の値も大きくなり、その結果、sum_hist[counter]の値がsum_thresの値より大きくなる可能性が増加する。
【００５６】
sum_hist[counter]がsum_thresよりも小さくない（コピー元の画素として妥当である）と判定された場合、ステップＳ５４に進む。ステップＳ５４において、補間される画素の信頼度ｐ(i,j)と動きベクトルＶ１(i,j)として、配列iv_hist[counter]に配置されている信頼度と動きベクトルがコピーされる。その後、ステップＳ５５で座標(i,j)がインクリメントされた後、ステップＳ４２に戻り、それ以降の処理が実行される。
【００５７】
ステップＳ４２において、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）ではないと判定された場合（そのフレームの全ての画素を処理した場合）、補間処理を終了し、図２のステップＳ７にリターンする。
【００５８】
以上のようにして、図３に示すように、不偏推定量を用いた補間処理により、第４次動き分布画像が生成されたことになる。
【００５９】
図２の説明に戻る。
【００６０】
以上のように、補間処理が行われた後、ステップＳ８において、ｆｒが１だけインクリメントされ、ステップＳ２に戻る。
【００６１】
ステップＳ２，Ｓ３において、上述した処理が同様に実行される。ステップＳ４において、ｆｒが０ではないのでステップＳ５に進み、更新部５が更新処理を実行する。更新処理の詳細について、図９を参照して説明する。
【００６２】
ステップＳ７１において、更新される画素の座標(i,j)が(0,0)に初期化される。ステップＳ７２において、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）であるか否かが判定され、(i,j)が最大値(ｉmax,ｊmax)以下（フレーム内の座標）であると判定された場合、ステップＳ７３に進む。
【００６３】
ステップＳ７３において、補間部７から入力されたｆｒがｋ（最初はｋ＝０）である静止画像に対応する第４次動き分布画像のデータ配列pre[i,j]の信頼度ｐを変数ppに設定する。同様に、推定部７から入力されたｆｒがｋ＋１である静止画像に対応する第１次動き分布画像のデータ配列cur[i,j]の信頼度ｐを変数cpに設定する。
【００６４】
ステップＳ７４において、ppがcpよりも大きいか否かが判定される。ppがcpよりも大きい（第４次動き分布画像の信頼度ｐが第１次動き分布画像の信頼度ｐよりも大きい）と判定された場合、ステップＳ７５に進む。ppがcpよりも大きくない（第１次動き分布画像の信頼度ｐが第４次動き分布画像の信頼度ｐよりも大きい）と判定された場合、動きベクトルを更新せずにステップＳ７６に進み、(i,j)をインクリメントし、他の画素を処理対象としてステップＳ７２に戻る。
【００６５】
ステップＳ７５において、第１次動き分布画像の動きベクトルと第４次動き分布画像の動きベクトルが、次式のようにppとcpに基づいて加重平均され、第２次動き分布画像の動きベクトルが演算され、設定される。
２次動き分布画像の動きベクトル
=（pre[i,j]の動きベクトル）×｛pp/(pp+cp)｝
+（cur[i,j]の動きベクトル）×｛cp/(pp+cp)｝
【００６６】
ステップＳ７２において、(i,j)が最大値(ｉmax,ｊmax)以下ではないと判定された場合、更新処理を終了し、図２のステップＳ５にリターンする。
【００６７】
以上のようにして、図３に示すように、更新処理により第２次動き分布画像が得られたことになる。
【００６８】
次に、上述した画像処理装置により得られた動き分布画像と、従来の方法により得られた動き分布画像を比較する。図１０(A)は、本発明を適用した画像処理装置により得られた動き分布画像であり、図１０(B)は、従来の方法の一例である最尤推定に基づいて得られた動き分布画像である。なお、両者とも同じ映像（固定されたテーブルの上を、トラックの模型が左方向に移動する映像）を処理したものであり、上から順に、ｆｒが０である静止画像に対応する第１次動き分布画像、ｆｒが０である静止画像に対応する第３次動き分布画像、およびｆｒが４である静止画像に対応する第３次動き分布画像を示している。なお、これらの画像の画素の濃度は、水平方向（画面左方向）の動きベクトルの大きさを表している。
【００６９】
両者を比較した場合、図１０(B)の画像では、トラックの模型の輪郭がぼやけているとともに、トラックの下の不動部分であるテーブルの画素が濃度を有している（動きを示している）。これに対して、図１０(A)の画像では、ｆｒが増加するにつれて情報が蓄積され、トラックの模型の輪郭が鮮明になってきており、不動部分（テーブル）の画素の濃度が減少している。したがって、図１０(A)の方が誤判定の少ない動き分布画像であるといえる。
【００７０】
正確な動き分布画像が得られることにより、映像内の動体部分の画像の切り出し、追跡、および動き推定が可能となる。
【００７１】
ところで、画像をズームアウトした場合における画素の動きベクトル（画像の横方向の成分）を考えると、図１１(D)に示すように、その方向は、画像の中心線を向き、その大きさは、中心線から離れるにつれて増加するはずである。ここで、ｆｒ＝４に対応する第２次動き分布画像である図１１(C)を観察すると、画像の画素の濃度が左から右に徐々に濃くなっている。すわわち、画像の左から右にかけて、左方向を正とした動きベクトルが負から正に連続的に変化しており、図１１(D)と同様であることがわかる。したがって、この画像処理装置は、ズームに対する動き推定も可能であるといえる。
【００７２】
なお、本発明は奥行きを表すパラメータの推定にも適用することができる。
【００７３】
上記各処理を行うコンピュータプログラムは、磁気ディスク、CD-ROM等の情報記録媒体よりなる提供媒体のほか、インターネット、デジタル衛星などのネットワーク提供媒体を介してユーザに提供することができる。
【００７４】
【発明の効果】
以上のように、本発明によれば、動き推定の空間解像度を向上させるとともに、ロバスト性を確保することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の構成を示すブロック図である。
【図２】図１の画像処理装置の動作を説明するフローチャートである。
【図３】図１の画像処理装置の動作を説明する図である。
【図４】図２のステップＳ３の推定処理を説明するフローチャートである。
【図５】図２のステップＳ６の予測処理を説明する図である。
【図６】図２のステップＳ６の予測処理を説明する図である。
【図７】図２のステップＳ６の予測処理を説明するフローチャートである。
【図８】図２のステップＳ７の補間処理を説明するフローチャートである。
【図９】図２のステップＳ５の更新処理を説明するフローチャートである。
【図１０】本発明と従来の一例の比較を説明するディスプレー上に表示した中間調画像の写真である。
【図１１】本発明を画像のズームアウトに対する適用を説明するディスプレー上に表示した中間調画像の写真である。
【符号の説明】
１ 制御部， ２ ハードディスク， ３ 再生部， ４ 推定部， ５ 更新部， ６ 予測部， ７ 補間部， ８ メモリ
Claims (5)
- 動画像を構成する静止画像の画素単位の動きを推定する画像処理装置において、
連続する２枚の前記静止画像から前記画素単位の動きベクトルおよび前記動きベクトルの信頼性を示す第１の信頼度を演算する演算手段と、
前記演算手段が演算した画素単位の前記動きベクトルおよび前記第１の信頼度のうち、前記静止画像の注目画素を中心とする所定の範囲に位置する画素に対する前記第１の信頼度を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の前記注目画素に対して演算された前記動きベクトルおよび前記第１の信頼度に基づいて、各画素に対応する前記動きベクトルおよび前記動きベクトルの信頼性を示す第２の信頼度を推定し、第１次動き分布画像を生成する推定手段と、
前記推定手段が生成した前記第ｋ＋１番目の前記静止画像に対応する前記第１次動き分布画像の前記動きベクトルと、第ｋ番目の前記静止画像に対応する第４次動き分布画像の前記動きベクトルを加重平均して合成することで第２次動き分布画像を更新する更新手段と、
前記更新手段が生成した前記第２次動き分布画像から、前記第２次動き分布画像の画素の等速性を仮定することにより、第ｋ＋２番目の前記静止画像に対応する前記第１次動き分布画像を予測し、前記第ｋ＋２番目の前記静止画像に対応する第３次動き分布画像を生成する予測手段と、
前記予測手段が生成した前記第３次動き分布画像の画素のうち、信頼性の低い情報欠落画素を決定し、前記情報欠落画素を中心とする所定の範囲に位置する各画素に対して前記情報欠落画素の動きベクトルの補間元とすることの妥当性を示す妥当度を算出し、前記妥当性を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の、前記情報欠落画素を中心とする前記所定の範囲に位置する前記画素と前記情報欠落画素との座標の差を、前記情報欠落画素の動きベクトルとすることにより、前記更新手段が用いる前記第４次動き分布画像を生成する補間手段と
を備えることを特徴とする画像処理装置。 - 前記第１の信頼度は、連続する２枚の前記静止画像のうち、一方の静止画像上の基準画素の画素値と、他方の静止画像上の参照画素の画素値の差に基づいて演算され、
前記第２の信頼度は、前記第１の信頼度を足しこんだ値に基づいて演算される
ことを特徴とする請求項１に記載の画像処理装置。 - 前記妥当度は、前記情報欠落画素を中心とする所定の範囲に位置する画素の信頼性、前記画素と前記情報欠落画素の距離、および、前記画素の画素値と前記情報欠落画素の画素値の差に基づいて算出される
ことを特徴とする請求項１に記載の画像処理装置。 - 動画像を構成する静止画像の画素単位の動きを推定する画像処理装置の画像処理方法において、
連続する２枚の前記静止画像から前記画素単位の動きベクトルおよび前記動きベクトルの信頼性を示す第１の信頼度を演算する演算ステップと、
前記演算ステップで演算した画素単位の前記動きベクトルおよび前記第１の信頼度のうち、前記静止画像の注目画素を中心とする所定の範囲に位置する画素に対する前記第１の信頼度を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の前記注目画素に対して演算された前記動きベクトルおよび前記第１の信頼度に基づいて、各画素に対応する前記動きベクトルおよび前記動きベクトルの信頼性を示す第２の信頼度を推定し、第１次動き分布画像を生成する推定ステップと、
前記推定ステップで生成した前記第ｋ＋１番目の前記静止画像に対応する前記第１次動き分布画像の前記動きベクトルと、第ｋ番目の前記静止画像に対応する第４次動き分布画像の前記動きベクトルを加重平均して合成することで第２次動き分布画像を更新する更新ステップと、
前記更新ステップで生成した前記第２次動き分布画像から、前記第２次動き分布画像の画素の等速性を仮定することにより、第ｋ＋２番目の前記静止画像に対応する前記第１次動き分布画像を予測し、前記第ｋ＋２番目の前記静止画像に対応する第３次動き分布画像を生成する予測ステップと、
前記予測ステップで生成した前記第３次動き分布画像の画素のうち、信頼性の低い情報欠落画素を決定し、前記情報欠落画素を中心とする所定の範囲に位置する各画素に対して前記情報欠落画素の動きベクトルの補間元とすることの妥当性を示す妥当度を算出し、前記妥当性を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の、前記情報欠落画素を中心とする前記所定の範囲に位置する前記画素と前記情報欠落画素との座標の差を、前記情報欠落画素の動きベクトルとすることにより、前記更新手段が用いる前記第４次動き分布画像を生成する補間ステップと
を含むことを特徴とする画像処理装置。 - 動画像を構成する静止画像の画素単位の動きを推定する画像処理装置の制御用のプログラムであって、
連続する２枚の前記静止画像から前記画素単位の動きベクトルおよび前記動きベクトルの信頼性を示す第１の信頼度を演算する演算ステップと、
前記演算ステップで演算した画素単位の前記動きベクトルおよび前記第１の信頼度のうち、前記静止画像の注目画素を中心とする所定の範囲に位置する画素に対する前記第１の信頼度を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の前記注目画素に対して演算された前記動きベクトルおよび前記第１の信頼度に基づいて、各画素に対応する前記動きベクトルおよび前記動きベクトルの信頼性を示す第２の信頼度を推定し、第１次動き分布画像を生成する推定ステップと、
前記推定ステップで生成した前記第ｋ＋１番目の前記静止画像に対応する前記第１次動き分布画像の前記動きベクトルと、第ｋ番目の前記静止画像に対応する第４次動き分布画像の前記動きベクトルを加重平均して合成することで第２次動き分布画像を更新する更新ステップと、
前記更新ステップで生成した前記第２次動き分布画像から、前記第２次動き分布画像の画素の等速性を仮定することにより、第ｋ＋２番目の前記静止画像に対応する前記第１次動き分布画像を予測し、前記第ｋ＋２番目の前記静止画像に対応する第３次動き分布画像を生成する予測ステップと、
前記予測ステップで生成した前記第３次動き分布画像の画素のうち、信頼性の低い情報欠落画素を決定し、前記情報欠落画素を中心とする所定の範囲に位置する各画素に対して前記情報欠落画素の動きベクトルの補間元とすることの妥当性を示す妥当度を算出し、前記妥当性を足しこんだ値が乱数に基づいて決定される閾値以上となる場合の、前記情報欠落画素を中心とする前記所定の範囲に位置する前記画素と前記情報欠落画素との座標の差を、前記情報欠落画素の動きベクトルとすることにより、前記更新手段が用いる前記第４次動き分布画像を生成する補間ステップと
を含む処理を画像処理装置のコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1345698A JP4016227B2 (ja) | 1998-01-07 | 1998-01-07 | 画像処理装置および方法、並びに記録媒体 |
| US09/221,255 US6285712B1 (en) | 1998-01-07 | 1998-12-28 | Image processing apparatus, image processing method, and providing medium therefor |
| AU98241/98A AU748671B2 (en) | 1998-01-07 | 1998-12-30 | Image processing apparatus, image processing method, and providing medium therefor |
| CA002257669A CA2257669C (en) | 1998-01-07 | 1998-12-31 | Image processing apparatus, image processing method, and providing medium therefor |
| KR1019990000136A KR100590145B1 (ko) | 1998-01-07 | 1999-01-06 | 화상 처리 장치, 화상 처리 방법, 및 이를 제공하는 매체 |
| CNB991010477A CN1154361C (zh) | 1998-01-07 | 1999-01-07 | 图像处理设备、图像处理方法及为其提供的媒体 |
| EP19990100184 EP0929192B1 (en) | 1998-01-07 | 1999-01-07 | Image processing method and apparatus and recording medium therefor |
| DE1999630333 DE69930333T2 (de) | 1998-01-07 | 1999-01-07 | Verfahren und Vorrichtung zum Verarbeiten von Bildern und Aufnahmemedium dafür |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1345698A JP4016227B2 (ja) | 1998-01-07 | 1998-01-07 | 画像処理装置および方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11203483A JPH11203483A (ja) | 1999-07-30 |
| JP4016227B2 true JP4016227B2 (ja) | 2007-12-05 |
Family
ID=11833660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1345698A Expired - Fee Related JP4016227B2 (ja) | 1998-01-07 | 1998-01-07 | 画像処理装置および方法、並びに記録媒体 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US6285712B1 (ja) |
| EP (1) | EP0929192B1 (ja) |
| JP (1) | JP4016227B2 (ja) |
| KR (1) | KR100590145B1 (ja) |
| CN (1) | CN1154361C (ja) |
| AU (1) | AU748671B2 (ja) |
| CA (1) | CA2257669C (ja) |
| DE (1) | DE69930333T2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1356676B1 (en) | 2001-01-16 | 2007-04-11 | Koninklijke Philips Electronics N.V. | Reducing halo-like effects in motion-compensated interpolation |
| US7408989B2 (en) * | 2003-01-16 | 2008-08-05 | Vix5 Systems Inc | Method of video encoding using windows and system thereof |
| US20060233258A1 (en) * | 2005-04-15 | 2006-10-19 | Microsoft Corporation | Scalable motion estimation |
| US8229166B2 (en) * | 2009-07-07 | 2012-07-24 | Trimble Navigation, Ltd | Image-based tracking |
| US8155195B2 (en) | 2006-04-07 | 2012-04-10 | Microsoft Corporation | Switching distortion metrics during motion estimation |
| US8494052B2 (en) | 2006-04-07 | 2013-07-23 | Microsoft Corporation | Dynamic selection of motion estimation search ranges and extended motion vector ranges |
| US20070268964A1 (en) * | 2006-05-22 | 2007-11-22 | Microsoft Corporation | Unit co-location-based motion estimation |
| GB2479933B (en) | 2010-04-30 | 2016-05-25 | Snell Ltd | Motion estimation |
| JP5961589B2 (ja) * | 2013-07-10 | 2016-08-02 | 日本電信電話株式会社 | 映像生成装置、方法及びプログラム |
| KR102357965B1 (ko) | 2015-01-12 | 2022-02-03 | 삼성전자주식회사 | 객체 인식 방법 및 장치 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2648254B2 (fr) | 1988-09-23 | 1991-08-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
| US5276513A (en) | 1992-06-10 | 1994-01-04 | Rca Thomson Licensing Corporation | Implementation architecture for performing hierarchical motion analysis of video images in real time |
| FR2699780B1 (fr) | 1992-12-22 | 1995-03-17 | Philips Electronique Lab | Dispositif de traitement récursif de signal vidéo comprenant une pluralité de branches. |
| KR100292138B1 (ko) * | 1993-07-12 | 2002-06-20 | 이데이 노부유끼 | 디지탈비디오신호용송신기및수신기 |
| JP3321936B2 (ja) * | 1993-11-05 | 2002-09-09 | 株式会社豊田中央研究所 | 移動物体検出装置 |
| KR0128875B1 (ko) * | 1994-02-24 | 1998-04-10 | 배순훈 | 큰 움직임을 갖는 영상의 움직임 벡터 추정 방법 |
| IL114475A0 (en) * | 1995-07-06 | 1995-11-27 | Grid Point Ltd | Method for 2D and 3D image capturing representation processing and compression |
| JPH0955941A (ja) * | 1995-08-16 | 1997-02-25 | Sony Corp | 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置 |
| JP3994445B2 (ja) * | 1995-12-05 | 2007-10-17 | ソニー株式会社 | 動きベクトル検出装置及び動きベクトル検出方法 |
| US6078616A (en) * | 1997-03-13 | 2000-06-20 | Sony Corporation | Methods and apparatus for error concealment utilizing temporal domain motion vector estimation |
-
1998
- 1998-01-07 JP JP1345698A patent/JP4016227B2/ja not_active Expired - Fee Related
- 1998-12-28 US US09/221,255 patent/US6285712B1/en not_active Expired - Fee Related
- 1998-12-30 AU AU98241/98A patent/AU748671B2/en not_active Ceased
- 1998-12-31 CA CA002257669A patent/CA2257669C/en not_active Expired - Fee Related
-
1999
- 1999-01-06 KR KR1019990000136A patent/KR100590145B1/ko not_active IP Right Cessation
- 1999-01-07 CN CNB991010477A patent/CN1154361C/zh not_active Expired - Fee Related
- 1999-01-07 DE DE1999630333 patent/DE69930333T2/de not_active Expired - Lifetime
- 1999-01-07 EP EP19990100184 patent/EP0929192B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0929192A2 (en) | 1999-07-14 |
| KR19990067759A (ko) | 1999-08-25 |
| AU748671B2 (en) | 2002-06-06 |
| KR100590145B1 (ko) | 2006-06-15 |
| CN1230079A (zh) | 1999-09-29 |
| DE69930333T2 (de) | 2006-10-05 |
| JPH11203483A (ja) | 1999-07-30 |
| EP0929192B1 (en) | 2006-03-15 |
| AU9824198A (en) | 1999-07-29 |
| US6285712B1 (en) | 2001-09-04 |
| DE69930333D1 (de) | 2006-05-11 |
| CA2257669A1 (en) | 1999-07-07 |
| EP0929192A3 (en) | 1999-08-04 |
| CA2257669C (en) | 2009-09-22 |
| CN1154361C (zh) | 2004-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4080951B2 (ja) | フレーム補間方法及び装置並びに画像表示システム | |
| JP4220284B2 (ja) | フレーム補間方法、装置及びこれを用いた画像表示システム | |
| KR100492127B1 (ko) | 적응형 움직임 추정장치 및 추정 방법 | |
| JP4570244B2 (ja) | ディジタル画像シーケンス用の自動安定化方法 | |
| US9414060B2 (en) | Method and system for hierarchical motion estimation with multi-layer sub-pixel accuracy and motion vector smoothing | |
| JP4016227B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| KR20050065298A (ko) | 움직임 보상된 프레임 비율 전환 | |
| JP2006260527A (ja) | 画像マッチング方法およびこれを用いた画像補間方法 | |
| JPH08307820A (ja) | インタレースされたビデオから高画質静止画像を生成するためのシステム及び方法 | |
| TWI408620B (zh) | 用以決定插補畫面之移動向量的影像處理方法及其相關裝置 | |
| KR0182058B1 (ko) | 움직임 추정을 위한 다중 해상도 순환 탐색 장치 및 그 방법 | |
| KR20060083978A (ko) | 움직임 벡터 필드 리－타이밍 | |
| JP2009081574A (ja) | 画像処理装置、方法およびプログラム | |
| JP2001520781A (ja) | 動き又はデプス推定 | |
| JP5014987B2 (ja) | ビデオモード検出による動き補償 | |
| JP2002223374A (ja) | ノイズ除去装置およびノイズ除去方法 | |
| WO2001097510A1 (en) | Image processing system, image processing method, program, and recording medium | |
| JP4886479B2 (ja) | 動きベクトル補正装置、動きベクトル補正プログラム、補間フレーム生成装置及び映像補正装置 | |
| JP4240674B2 (ja) | 動き検出装置および動き検出方法、並びに記録媒体 | |
| JP3832924B2 (ja) | 画像信号処理方法、画像信号処理装置及びコンピュータ読み取り可能な記録媒体 | |
| JP3046689B2 (ja) | 動きベクトル検出方法 | |
| JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
| JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 | |
| JPH0795587A (ja) | 動きベクトル検出方法 | |
| JP4378801B2 (ja) | 画像処理方法および画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070605 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070904 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |