JP3103169B2 - 二次元動画像のオプティカルフロー生成方式 - Google Patents
二次元動画像のオプティカルフロー生成方式Info
- Publication number
- JP3103169B2 JP3103169B2 JP03315083A JP31508391A JP3103169B2 JP 3103169 B2 JP3103169 B2 JP 3103169B2 JP 03315083 A JP03315083 A JP 03315083A JP 31508391 A JP31508391 A JP 31508391A JP 3103169 B2 JP3103169 B2 JP 3103169B2
- Authority
- JP
- Japan
- Prior art keywords
- equation
- optical flow
- phase
- frequency
- velocity vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Complex Calculations (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、二次元平面に投影され
た動画像からその二次元平面上の見かけの速度ベクトル
（オプティカルフロー）を推定する動画像のオプティカ
ルフロー生成方式に関する。
た動画像からその二次元平面上の見かけの速度ベクトル
（オプティカルフロー）を推定する動画像のオプティカ
ルフロー生成方式に関する。
【０００２】
【発明の技術的背景および先行技術】従来から、ＴＶカ
メラ等から得られる２次元画像から、その３次元構造を
認識、復元する方法は種種考えられている。
メラ等から得られる２次元画像から、その３次元構造を
認識、復元する方法は種種考えられている。
【０００３】この２次元画像から、３次元構造の認識、
復元を行う基本技術として、２次元動画像のオプティカ
ルフロー推定法が知られている。
復元を行う基本技術として、２次元動画像のオプティカ
ルフロー推定法が知られている。
【０００４】この２次元動画像のオプティカルフロー推
定法は、動画像シーケンスから２次元の見かけの速度ベ
クトル（オプティカルフロー）を生成するものであり、
代表的なものとしてグラジエント法がある。
定法は、動画像シーケンスから２次元の見かけの速度ベ
クトル（オプティカルフロー）を生成するものであり、
代表的なものとしてグラジエント法がある。
【０００５】グラジエント法とは、画像の濃淡（輝度）
の勾配と、各点の明るさの変化からオプティカルフロー
を求める方法である。
の勾配と、各点の明るさの変化からオプティカルフロー
を求める方法である。
【０００６】図８に、時間ｔ＝０及びｔ＝１における輝
度分布の例を示す。この例では、ｔ＝０の時のｘ＝０の
輝度は２で、ｔ＝１の時のｘ＝０の輝度は２．５であ
る。そして、ｘ＝０における輝度の勾配が０．５である
から、（２．５−２）／０．５＝１より、ｘ＝０におい
て、画像は左に１だけ移動したことになる。この例のよ
うに、輝度の勾配が一定の部分は良いのであるが、ある
点の輝度を比較する時点において、輝度分布の勾配が変
化した場合は、その点における画像の正確な移動量が求
められない。
度分布の例を示す。この例では、ｔ＝０の時のｘ＝０の
輝度は２で、ｔ＝１の時のｘ＝０の輝度は２．５であ
る。そして、ｘ＝０における輝度の勾配が０．５である
から、（２．５−２）／０．５＝１より、ｘ＝０におい
て、画像は左に１だけ移動したことになる。この例のよ
うに、輝度の勾配が一定の部分は良いのであるが、ある
点の輝度を比較する時点において、輝度分布の勾配が変
化した場合は、その点における画像の正確な移動量が求
められない。
【０００７】これに対して、局所的フーリエ変換を用い
る方法では、ある点において、（１）輝度分布の局所的
な周波数毎のsin 成分及びcos 成分を求め、（２）その
２つの成分から位相を求め、（３）更に、時間毎に差を
取り、その値を移動量に変換する。従って、グラジエン
ト法と違い輝度分布パターンには影響されない。また、
グラジエント法では、二次元のオプチカルフローを求め
る際に、画像の明るさは移動に関して一定という仮定か
ら次の式を得る。
る方法では、ある点において、（１）輝度分布の局所的
な周波数毎のsin 成分及びcos 成分を求め、（２）その
２つの成分から位相を求め、（３）更に、時間毎に差を
取り、その値を移動量に変換する。従って、グラジエン
ト法と違い輝度分布パターンには影響されない。また、
グラジエント法では、二次元のオプチカルフローを求め
る際に、画像の明るさは移動に関して一定という仮定か
ら次の式を得る。
【０００８】
【数１】
【０００９】ここで、点（ｘ，ｙ）における移動ベクト
ルを、（ｕ，ｖ）とし、Ｉｘ，Ｉｙ，Ｉｔは、時間ｔに
おける点（ｘ，ｙ）の明るさＩ（ｘ，ｙ，ｔ）のｘ，
ｙ，ｔについての偏微分とする。（１）式は、２個の未
知数ｕ，ｖを含むので一義的に速度ベクトルを決定する
ことはできない。そこで、速度場は滑らかに変化すると
いう拘束条件、
ルを、（ｕ，ｖ）とし、Ｉｘ，Ｉｙ，Ｉｔは、時間ｔに
おける点（ｘ，ｙ）の明るさＩ（ｘ，ｙ，ｔ）のｘ，
ｙ，ｔについての偏微分とする。（１）式は、２個の未
知数ｕ，ｖを含むので一義的に速度ベクトルを決定する
ことはできない。そこで、速度場は滑らかに変化すると
いう拘束条件、
【００１０】
【数２】
【００１１】を設定し、次の関数を得る。
【００１２】
【数３】
【００１３】ここでλは、最小化の度合を支配する重み
係数である。Ｅ（ｕ，ｖ）の値を最小化することによっ
て、速度ベクトル（ｕ，ｖ）を求める。
係数である。Ｅ（ｕ，ｖ）の値を最小化することによっ
て、速度ベクトル（ｕ，ｖ）を求める。
【００１４】また、ガボールフィルタを用いてオプティ
カルフローを求める方法としてHeegerのモデルがある
（例えば、ＵＳＰ４、９８０、７６２または「Ｊ．Ｏｐ
ｔ．Ｓｏｃ．Ａｍ．Ａ」Ｖｏｌ．４，Ｎｏ．８ Ａｕｇ
ｕｓｔ １９８７ Ｐ１４５５−１４７１ Ｄａｖｉｄ
Ｊ．Ｈｅｅｇｅｒ著”Ｍｏｄｅｌ ｆｏｒ ｔｈｅｅ
ｘｔｒａｃｔｉｏｎ ｏｆ ｉｍａｇｅ ｆｌｏｗ”参
照。）。そのモデルは、画像の輝度信号に対して、空
間、及び時間方向に振動面を持つ３次元のガボールフィ
ルタをかける。例えば、そのガボールフィルタは次の通
りである。
カルフローを求める方法としてHeegerのモデルがある
（例えば、ＵＳＰ４、９８０、７６２または「Ｊ．Ｏｐ
ｔ．Ｓｏｃ．Ａｍ．Ａ」Ｖｏｌ．４，Ｎｏ．８ Ａｕｇ
ｕｓｔ １９８７ Ｐ１４５５−１４７１ Ｄａｖｉｄ
Ｊ．Ｈｅｅｇｅｒ著”Ｍｏｄｅｌ ｆｏｒ ｔｈｅｅ
ｘｔｒａｃｔｉｏｎ ｏｆ ｉｍａｇｅ ｆｌｏｗ”参
照。）。そのモデルは、画像の輝度信号に対して、空
間、及び時間方向に振動面を持つ３次元のガボールフィ
ルタをかける。例えば、そのガボールフィルタは次の通
りである。
【００１５】
【数４】
【００１６】但し、ωxo、ωyo、ωtoは空間及び時間の
周波数を示し、σx、σy、σzは広がり係数を示す。連
続画像において、ある点の３次元ガボールフィルタの出
力は、特定のωxo、ω yo、ωtoの組で最大値を示す。し
かしながら、その組が、その点の速度ベクトルを示すの
であるが、全ての組のフィルタを用意することは現実的
に不可能である。
周波数を示し、σx、σy、σzは広がり係数を示す。連
続画像において、ある点の３次元ガボールフィルタの出
力は、特定のωxo、ω yo、ωtoの組で最大値を示す。し
かしながら、その組が、その点の速度ベクトルを示すの
であるが、全ての組のフィルタを用意することは現実的
に不可能である。
【００１７】また、未知の速度ベクトル成分（ｕ，ｖ）
を含むフィルタの出力は、 ωt＝ｕωx−ｖωy の関係から
を含むフィルタの出力は、 ωt＝ｕωx−ｖωy の関係から
【００１８】
【数５】
【００１９】κは定数 と、求めることが出来る。よって、（数４）の出力と
（数５）で求めた値の差の２乗和が最小になるｕ、ｖを
求めることで、速度ベクトルが予測できる。
（数５）で求めた値の差の２乗和が最小になるｕ、ｖを
求めることで、速度ベクトルが予測できる。
【００２０】
【発明が解決しようとする問題点】上記のような従来技
術においては、（数３）式の最小化には繰り返し計算を
必要とするので、速度ベクトルを得るにはかなりの時間
を要するし、グラジエント法では、速度ベクトルは滑ら
かに変化するという拘束条件を用いているため、対象物
の輪郭が不鮮明になってしまうという問題があった。さ
らに、Heegerのモデルでは３次元のフィルタを用いなけ
れば速度ベクトルを求めることが出来ないし、速度ベク
トルの予測に最小２乗和を繰り返し計算で求めなければ
ならないため、計算時間がかかるという問題があった。
術においては、（数３）式の最小化には繰り返し計算を
必要とするので、速度ベクトルを得るにはかなりの時間
を要するし、グラジエント法では、速度ベクトルは滑ら
かに変化するという拘束条件を用いているため、対象物
の輪郭が不鮮明になってしまうという問題があった。さ
らに、Heegerのモデルでは３次元のフィルタを用いなけ
れば速度ベクトルを求めることが出来ないし、速度ベク
トルの予測に最小２乗和を繰り返し計算で求めなければ
ならないため、計算時間がかかるという問題があった。
【００２１】そこで、本発明は、オプティカルフローを
求めるために、繰り返し計算をせずに、１度の計算で速
度ベクトルを求めることを目的とする。
求めるために、繰り返し計算をせずに、１度の計算で速
度ベクトルを求めることを目的とする。
【００２２】
【課題を解決するための手段】前記の目的を達成するた
めに、本発明は、動画像から見かけの速度ベクトルを算
出する動画像のオプティカルフロー生成方式において、
任意のサンプリング点で空間的な局所性を与え、更に、
所定の周波数を中心とした帯域通過型フィルタリングを
行う手段と、該帯域通過型フィルタリングを行なう手段
の出力より複数の周波数の位相を検出する手段と、前記
複数の周波数の中から前記動画像の水平軸及び垂直軸で
最適となる周波数を選択し、その最適周波数の位相の時
間変化より速度ベクトルを生成する手段とから構成され
ることを特徴とする。
めに、本発明は、動画像から見かけの速度ベクトルを算
出する動画像のオプティカルフロー生成方式において、
任意のサンプリング点で空間的な局所性を与え、更に、
所定の周波数を中心とした帯域通過型フィルタリングを
行う手段と、該帯域通過型フィルタリングを行なう手段
の出力より複数の周波数の位相を検出する手段と、前記
複数の周波数の中から前記動画像の水平軸及び垂直軸で
最適となる周波数を選択し、その最適周波数の位相の時
間変化より速度ベクトルを生成する手段とから構成され
ることを特徴とする。
【００２３】
【作用】上記のように、二次元動画像より見かけの速度
ベクトルを算出するに当たり、任意のサンプリング点で
空間的な局所性を与え、更に、所定の周波数を中心とし
た帯域通過型フィルタリング手段の出力より周波数の位
相を求め、複数の周波数の位相と比較することにより、
ｘ軸ｙ軸共に最適な周波数を求め、その位相の変化によ
り速度ベクトルを求める。
ベクトルを算出するに当たり、任意のサンプリング点で
空間的な局所性を与え、更に、所定の周波数を中心とし
た帯域通過型フィルタリング手段の出力より周波数の位
相を求め、複数の周波数の位相と比較することにより、
ｘ軸ｙ軸共に最適な周波数を求め、その位相の変化によ
り速度ベクトルを求める。
【００２４】
【実施例】本発明に係る二次元動画像のオプティカルフ
ロー生成方式について、以下図面を参照して説明する。
ロー生成方式について、以下図面を参照して説明する。
【００２５】図１は、本発明に係るオプティカルフロー
生成装置の構成の一例を示すブロック図である。図１に
おいて、カメラ１０により撮影した被写体の動画像信号
を得、この信号を、任意に設定されたサンプリング点
（ｘ，ｙ）のある時間ｔにおける、画像の輝度変化を表
す波形（以後、単に輝度分布と呼ぶ）の局所的な位相を
求める。このために、図１に示す速度ベクトル生成装置
１２において、画像信号に夫々次のような４種類の空間
フィルタ２２ＸＣ、２２ＸＳ、２２ＹＣ、２２ＹＳを介
して処理を施す。この速度ベクトル生成装置１２の詳細
構成図は図２に示す。
生成装置の構成の一例を示すブロック図である。図１に
おいて、カメラ１０により撮影した被写体の動画像信号
を得、この信号を、任意に設定されたサンプリング点
（ｘ，ｙ）のある時間ｔにおける、画像の輝度変化を表
す波形（以後、単に輝度分布と呼ぶ）の局所的な位相を
求める。このために、図１に示す速度ベクトル生成装置
１２において、画像信号に夫々次のような４種類の空間
フィルタ２２ＸＣ、２２ＸＳ、２２ＹＣ、２２ＹＳを介
して処理を施す。この速度ベクトル生成装置１２の詳細
構成図は図２に示す。
【００２６】
【数６】
【００２７】
【数７】
【００２８】
【数８】
【００２９】
【数９】
【００３０】ここで、
【００３１】
【数１０】
【００３２】
【数１１】
【００３３】
【数１２】
【００３４】この場合のサンプリング間隔Ｔは、タイマ
カウンタ２０によって任意に選択される。上記（数６）
乃至（数９）式は、本発明の任意のサンプリング点で空
間的な局所性を与え、更に、所定の周波数を中心とした
帯域通過型フィルタリングを行なう手段に相当し、ｘ及
びｙ方向の広がりσに応じた空間的な局所性を持ってい
る。また、周波数においても局所性を持っており、図６
に示すように、周波数ｕSを中心とした帯域通過型フィ
ルタになっている。従って、局所領域において、（数
６）、（数７）のフィルタは、ｘ軸方向に周波数ｕSで
変化する成分を抽出し、（数８）、（数９）のフィルタ
は、ｙ軸方向に周波数ｕSで変化する成分を抽出する。
カウンタ２０によって任意に選択される。上記（数６）
乃至（数９）式は、本発明の任意のサンプリング点で空
間的な局所性を与え、更に、所定の周波数を中心とした
帯域通過型フィルタリングを行なう手段に相当し、ｘ及
びｙ方向の広がりσに応じた空間的な局所性を持ってい
る。また、周波数においても局所性を持っており、図６
に示すように、周波数ｕSを中心とした帯域通過型フィ
ルタになっている。従って、局所領域において、（数
６）、（数７）のフィルタは、ｘ軸方向に周波数ｕSで
変化する成分を抽出し、（数８）、（数９）のフィルタ
は、ｙ軸方向に周波数ｕSで変化する成分を抽出する。
【００３５】
【００３６】そこで、ある点（Ｘ，Ｙ）における（数
６）乃至（数９）式のフィルタ出力 ocx t (X 、 Y)， osx
t (X,Y)， ocy t (X,Y)， osy t (X,Y)を考えると、ocxt(X、
Y)， osxt(X,Y)は、(X,Y)を中心とした局所的な輝度分
布の関数 cos(2πusx）と sin(2πusx）への射影成分と
考えることが出来る。また、 ocyt(X,Y)， osyt(X,Y)
は、関数 cos(2πusy）と sin(2πusy）への射影成分と
考えることが出来る。それらの比から、次の様にｘ軸方
向、及び、ｙ軸方向における、周波数ｕsの位相px
us,t (X,Y)，py us,t (X,Y)を、位相検出回路２４Ｘ、２４
Ｙで計算することができる。この位相検出回路のＰＡＤ
図を図３に示す。図３は、位相検出回路２４Ｘ（ｘ軸方
向）のＰＡＤ図と位相検出回路２４Ｙ（ｙ軸方向）のＰ
ＡＤ図をまとめて示したものであり、位相検出回路２４
Ｘでは、 oc us,t ， os us,t ， p us,t はそれぞれ ocx
t (X 、 Y)， osx t (X,Y)， px us,t (X,Y)に対応する。また、
位相検出回路２４Ｙでは、oc us,t ， os us,t ， p us,t は
それぞれ ocy t (X 、 Y)， osy t (X,Y)， py us,t (X,Y)に対応
する。ｘ軸方向：
６）乃至（数９）式のフィルタ出力 ocx t (X 、 Y)， osx
t (X,Y)， ocy t (X,Y)， osy t (X,Y)を考えると、ocxt(X、
Y)， osxt(X,Y)は、(X,Y)を中心とした局所的な輝度分
布の関数 cos(2πusx）と sin(2πusx）への射影成分と
考えることが出来る。また、 ocyt(X,Y)， osyt(X,Y)
は、関数 cos(2πusy）と sin(2πusy）への射影成分と
考えることが出来る。それらの比から、次の様にｘ軸方
向、及び、ｙ軸方向における、周波数ｕsの位相px
us,t (X,Y)，py us,t (X,Y)を、位相検出回路２４Ｘ、２４
Ｙで計算することができる。この位相検出回路のＰＡＤ
図を図３に示す。図３は、位相検出回路２４Ｘ（ｘ軸方
向）のＰＡＤ図と位相検出回路２４Ｙ（ｙ軸方向）のＰ
ＡＤ図をまとめて示したものであり、位相検出回路２４
Ｘでは、 oc us,t ， os us,t ， p us,t はそれぞれ ocx
t (X 、 Y)， osx t (X,Y)， px us,t (X,Y)に対応する。また、
位相検出回路２４Ｙでは、oc us,t ， os us,t ， p us,t は
それぞれ ocy t (X 、 Y)， osy t (X,Y)， py us,t (X,Y)に対応
する。ｘ軸方向：
【００３７】
【数１４】
【００３８】ｙ軸方向：
【００３９】
【数１５】
【００４０】（数１４）、（数１５）式で、sin成分
と、cos成分の符号で場合分けして位相の補正を行なう
ことによって、関数tan-1（）の性質で制限されてしま
う出力の範囲（−π／２〜π／２）を、（−π〜π）に
拡大し、次のステップで求める位相差を幅広くとること
が出来る。この時、点（Ｘ，Ｙ）の局所領域における輝
度パターンによっては空間フィルターの周波数が異なれ
ば位相も異なった値を示すことが予想される。この問題
を解決するため、位相差検出回路２８Ｘ、２８Ｙで、局
所領域における輝度分布に対して、最も大きいフーリエ
係数を持つ周波数を選択する。この位相差検出回路のＰ
ＡＤ図を図４に示す。図４は、位相差検出回路２８Ｘ
（ｘ軸方向）のＰＡＤ図と位相差検出回路２８Ｙ（ｙ軸
方向）のＰＡＤ図をまとめて示したものであり、位相差
検出回路２８Ｘでは、 oc us,t ， os us,t ，ｆ'， p us',t
はそれぞれ ocx t (X 、 Y)， osx t (X,Y)， mx us,t (X,Y)，
ｐx us,t (X,Y)に対応する。また、位相差検出回路２８Ｙ
では、oc us,t ， os us, t ， ｆ'，p us',t はそれぞれ ocy
t (X 、 Y)， osy t (X,Y)， my us,t (X,Y)， py us,t (X,Y)に対
応する。
と、cos成分の符号で場合分けして位相の補正を行なう
ことによって、関数tan-1（）の性質で制限されてしま
う出力の範囲（−π／２〜π／２）を、（−π〜π）に
拡大し、次のステップで求める位相差を幅広くとること
が出来る。この時、点（Ｘ，Ｙ）の局所領域における輝
度パターンによっては空間フィルターの周波数が異なれ
ば位相も異なった値を示すことが予想される。この問題
を解決するため、位相差検出回路２８Ｘ、２８Ｙで、局
所領域における輝度分布に対して、最も大きいフーリエ
係数を持つ周波数を選択する。この位相差検出回路のＰ
ＡＤ図を図４に示す。図４は、位相差検出回路２８Ｘ
（ｘ軸方向）のＰＡＤ図と位相差検出回路２８Ｙ（ｙ軸
方向）のＰＡＤ図をまとめて示したものであり、位相差
検出回路２８Ｘでは、 oc us,t ， os us,t ，ｆ'， p us',t
はそれぞれ ocx t (X 、 Y)， osx t (X,Y)， mx us,t (X,Y)，
ｐx us,t (X,Y)に対応する。また、位相差検出回路２８Ｙ
では、oc us,t ， os us, t ， ｆ'，p us',t はそれぞれ ocy
t (X 、 Y)， osy t (X,Y)， my us,t (X,Y)， py us,t (X,Y)に対
応する。
【００４１】先ず、周波数毎に、sin成分をcos成分の２
乗和の平方根 mx us,t (X,Y)，my us,t (X,Y)を比較する。
乗和の平方根 mx us,t (X,Y)，my us,t (X,Y)を比較する。
【００４２】
【数１６】
【００４３】
【数１７】
【００４４】（数１６）式は、ｘ軸方向、（数１７）式
は、ｙ軸方向の周波数を選択する式となる。また、各周
波数によってフィルタの受容野の大きさが広がり係数σ
によって異なるので、σ2で割ることによって補正を行
う。各サンプリング点（Ｘ，Ｙ）において、mx us,t (X,
Y)及び、my us,t (X,Y)が、夫々最大値をとる周波数ｕsを
選択することにうよって、各サンプリング点の輝度分布
の位相が一義的に決定できる。ここで、メモリ２６Ｘ、
２６Ｙで保持してあった１フレーム前の位相 px
us,t-1(X,Y )及び py us,t-1(X,Y)との差を取ることによ
って、点（Ｘ，Ｙ）における輝度分布の位相の時間変化
dpxt(X,Y)及び dpyt(X,Y)が次のように求まる。
は、ｙ軸方向の周波数を選択する式となる。また、各周
波数によってフィルタの受容野の大きさが広がり係数σ
によって異なるので、σ2で割ることによって補正を行
う。各サンプリング点（Ｘ，Ｙ）において、mx us,t (X,
Y)及び、my us,t (X,Y)が、夫々最大値をとる周波数ｕsを
選択することにうよって、各サンプリング点の輝度分布
の位相が一義的に決定できる。ここで、メモリ２６Ｘ、
２６Ｙで保持してあった１フレーム前の位相 px
us,t-1(X,Y )及び py us,t-1(X,Y)との差を取ることによ
って、点（Ｘ，Ｙ）における輝度分布の位相の時間変化
dpxt(X,Y)及び dpyt(X,Y)が次のように求まる。
【００４５】
【数１８】
【００４６】
【数１９】
【００４７】最後に、速度ベクトル算出回路３０Ｘ、３
０Ｙで、タイマカウンタのサンプリング間隔Ｔの補正を
行なうことによって、速度ベクトルvxt(X,Y)及びvyt(X,
Y)を求める。速度ベクトル算出回路のＰＤＡ図を図５に
示す。図５は、速度ベクトル算出回路３０Ｘ（ｘ軸方
向）のＰＡＤ図と速度ベクトル算出回路３０Ｙ（ｙ軸方
向）のＰＡＤ図をまとめて示したものであり、速度ベク
トル算出回路３０Ｘでは、v， dp， us'はそれぞれ vx t
(X 、 Y)， dpx t (X,Y)，ｘ軸方向に付いて選択された周波
数ｕ s に対応する。また、速度ベクトル算出回路３０Ｙ
では、v， dp， us'はそれぞれ vy t (X 、 Y)， dpy t (X,
Y)，ｙ軸方向に付いて選択された周波数ｕ s に対応す
る。
０Ｙで、タイマカウンタのサンプリング間隔Ｔの補正を
行なうことによって、速度ベクトルvxt(X,Y)及びvyt(X,
Y)を求める。速度ベクトル算出回路のＰＤＡ図を図５に
示す。図５は、速度ベクトル算出回路３０Ｘ（ｘ軸方
向）のＰＡＤ図と速度ベクトル算出回路３０Ｙ（ｙ軸方
向）のＰＡＤ図をまとめて示したものであり、速度ベク
トル算出回路３０Ｘでは、v， dp， us'はそれぞれ vx t
(X 、 Y)， dpx t (X,Y)，ｘ軸方向に付いて選択された周波
数ｕ s に対応する。また、速度ベクトル算出回路３０Ｙ
では、v， dp， us'はそれぞれ vy t (X 、 Y)， dpy t (X,
Y)，ｙ軸方向に付いて選択された周波数ｕ s に対応す
る。
【００４８】
【数２０】
【００４９】
【数２１】
【００５０】ここで、λは、各サンプリング点におい
て、ｘ軸方向、ｙ軸方向に付いて選択された周波数ｕs
に対する波長（１／ｕs）である。
て、ｘ軸方向、ｙ軸方向に付いて選択された周波数ｕs
に対する波長（１／ｕs）である。
【００５１】このように、時間毎に、各サンプル点にお
ける速度ベクトルを求め、オプティカルフローを推定す
る。参考として、出力例を図７に示す。
ける速度ベクトルを求め、オプティカルフローを推定す
る。参考として、出力例を図７に示す。
【００５２】
【発明の効果】以上のように、本発明の二次元動画像の
オプティカルフロー生成方式によれば、画像信号の各サ
ンプリング点の輝度分布の位相が一義的に決定できるの
で、これから求める速度ベクトルも一義的に決定できる
ので、オプティカルフローを求めるための処理時間が短
くて済む。
オプティカルフロー生成方式によれば、画像信号の各サ
ンプリング点の輝度分布の位相が一義的に決定できるの
で、これから求める速度ベクトルも一義的に決定できる
ので、オプティカルフローを求めるための処理時間が短
くて済む。
【図１】本発明に係るオプティカルフロー生成装置のブ
ロック図である。
ロック図である。
【図２】速度ベクトル生成装置のブロック図である。
【図３】位相検出回路のＰＡＤ図である。
【図４】位相差検出回路のＰＡＤ図である。
【図５】速度ベクトル算出回路のＰＡＤ図である。
【図６】空間フィルタの特性を示す図である。
【図７】オプティカルフローの出力例を示す図である。
【図８】グラジエント法の原理を説明する図である。
１０…カメラ １２…速度ベクトル生成装置 １４…速度ベクトル表示部 ２２…空間フィルタ ２４…位相検出回路 ２８…位相差検出回路 ３０…速度ベクトル算出回路
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−140069（ＪＰ，Ａ) 特開 平２−238366（ＪＰ，Ａ) 特開 平３−140070（ＪＰ，Ａ) 特開 平２−206294（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 - 7/60 G06F 17/10 G06F 17/14 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (1)
- 【請求項１】動画像から見かけの速度ベクトルを算出す
る動画像のオプティカルフロー生成方式において、 任意のサンプリング点で空間的な局所性を与え、更に、
所定の周波数を中心とした帯域通過型フィルタリングを
行う手段と、 該帯域通過型フィルタリングを行なう手段の出力より複
数の周波数の位相を検出する手段と、前記複数の周波数の中から前記動画像の水平軸及び垂直
軸で最適となる周波数を選択し、その最適 周波数の位相
の時間変化より速度ベクトルを生成する手段とから構成
される動画像のオプティカルフロー生成方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03315083A JP3103169B2 (ja) | 1991-11-29 | 1991-11-29 | 二次元動画像のオプティカルフロー生成方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03315083A JP3103169B2 (ja) | 1991-11-29 | 1991-11-29 | 二次元動画像のオプティカルフロー生成方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05151355A JPH05151355A (ja) | 1993-06-18 |
| JP3103169B2 true JP3103169B2 (ja) | 2000-10-23 |
Family
ID=18061213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03315083A Expired - Fee Related JP3103169B2 (ja) | 1991-11-29 | 1991-11-29 | 二次元動画像のオプティカルフロー生成方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3103169B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3979894B2 (ja) * | 2002-07-22 | 2007-09-19 | 本田技研工業株式会社 | 物体検出装置及び方法 |
| JP4743048B2 (ja) * | 2006-08-31 | 2011-08-10 | カシオ計算機株式会社 | 撮像装置及びプログラム |
-
1991
- 1991-11-29 JP JP03315083A patent/JP3103169B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05151355A (ja) | 1993-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| LaViola | A comparison of unscented and extended Kalman filtering for estimating quaternion motion | |
| Negahdaripour et al. | A generalized brightness change model for computing optical flow | |
| Chen et al. | Detection, localization, and estimation of edges | |
| Gokstorp | Computing depth from out-of-focus blur using a local frequency representation | |
| CN113140011A (zh) | 一种红外热成像单目视觉测距方法及相关组件 | |
| Soatto et al. | Recursive motion and structure estimation with complete error characterization | |
| Rajagopalan et al. | Space-variant approaches to recovery of depth from defocused images | |
| JP3103169B2 (ja) | 二次元動画像のオプティカルフロー生成方式 | |
| Al Ismaeil et al. | Real-time enhancement of dynamic depth videos with non-rigid deformations | |
| Heel | Direct dynamic motion vision | |
| Tan et al. | Structure from motion using the ground plane constraint | |
| Sevcenco et al. | Seamless stitching of images based on a Haar wavelet 2D integration method | |
| JPH04500420A (ja) | 参照画像と現在画像との間の運動を推定するための反復法および、この方法を実施するための装置 | |
| CN114170109A (zh) | 基于mems的条纹结构光的图像降噪方法和装置 | |
| Meskine et al. | Blind image deblurring by game theory | |
| JPS62107386A (ja) | 画像マツチング方法 | |
| Hu et al. | Camera self-calibration from ellipse correspondences | |
| Chang et al. | On recursive calibration of cameras for robot hand-eye systems | |
| JPH06131463A (ja) | 画像処理方法および画像プロセッサ | |
| JP2741888B2 (ja) | 階層的画像マッチング処理方法および装置 | |
| Chann | Recursive estimation of 3-D motion and structure in image sequences based on measurement transformations. | |
| JP2551319B2 (ja) | 動画像処理方法 | |
| JPH02206294A (ja) | 画像マッチング装置 | |
| Henkel | Constructing the cyclopean view | |
| Hajder | An iterative improvement of the Tomasi-Kanade factorization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080825 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090825 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100825 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |