JP3626210B2 - 動画像に基づくカメラの３次元運動検出方法およびその装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
この発明は動画像に基づくカメラの３次元運動検出方法およびその装置に関し、さらに詳細にいえば、ビディオカメラ等により動画像を撮影した場合に、得られた動画像に基づいてビディオカメラ等の運動量を検出するための方法およびその装置に関する。
【０００２】
【従来の技術】
従来から、時々刻々と変化する画像を対象とする動画像処理、動画像解析をコンピュータを用いて行なうことが各種の分野で盛んになってきつつある。
この動画像は静止画像と異なり、画像がある速度で移動するという特質を持っているため、動画像上の見かけの速度であるオプティカル・フローを算出することが動画像処理、動画像解析のために必須となる。そして、オプティカル・フローを算出するための方法として、時空間微分フィルタを用いる方法および特徴点を用いる方法が知られている。また、これらの方法により算出されたオプティカル・フローに基づいてビディオカメラ等の３次元運動量を算出する方法が知られている。
【０００３】
この３次元運動量算出方法を簡単に説明する。但し、原点をビディオカメラ等のレンズの中心とし、Ｚ軸方向を視線方向としている。
基準位置において図９（Ａ１）に示す画像が得られている場合において、ビディオカメラがＺ軸方向に前進すれば図９（Ａ２）に示すように画像中の対象物のサイズが均等に大きくなるとともに対象物同士の間隔が均等に拡がる。またＺ軸に対して所定の角度でビディオカメラが前進すれば図９（Ａ３）に示すように画像中の対象物のサイズが不均等に大きくなるとともに対象物同士の間隔が不均等に拡がる。さらにビディオカメラ等がＹ軸を中心として回転すれば図９（Ａ４）に示すように画像中の対象物のサイズは変化せず、対象物同士の間隔も変化しない。
【０００４】
したがって、ビディオカメラ等の運動と画像中の対象物の移動との上記関係を考慮すれば、オプティカル・フローに基づいてビディオカメラ等の３次元運動量を算出できる。具体的には、図１０に示すように、ＸＹ平面に平行に原点から距離Ｆのところに画像面をとれば、点Ｐ（Ｘ，Ｙ，Ｚ）と画像面の投影像点ｐ（ｘ，ｙ）との関係は、
（ｘ，ｙ）＝（ＸＦ／Ｚ，ＹＦ／Ｚ）
となる。ここでビディオカメラ等を固定し、点ｐの運動が平行移動成分のみであると仮定すれば、時間ｔだけ経過した時点の位置Ｐ´（Ｘ´，Ｙ´，Ｚ´）の投影像点ｐ´（ｘ´，ｙ´）は数１となる。
【０００５】
【数１】

【０００６】
但し、Ｕはｘ軸方向の移動速度、ＶはＹ軸方向の移動速度、ＷはＺ軸方向の移動速度である。
また、点Ｐがビディオカメラ等から遠ざかって行けば、ついには点になり画面から消え去ってしまう。この点Ｐ∞は数１のｔを∞とすれば数２となる。
【０００７】
【数２】

【０００８】
したがって、点Ｐの位置とは無関係に運動方向によって定まる、投影面のある１点に収束する（図９（Ａ２）（Ａ３）中Ｐ∞参照）。即ち、点Ｐ∞を算出できれば、ビディオカメラ等に対するシーンの速度比（Ｕ／Ｗ，Ｖ／Ｗ）が得られる。また、既知の点が存在すれば、数２で得られる速度比を数１に代入して平行移動成分を一意に決定できる。
【０００９】
また、点Ｐの動きが回転成分α，β，γだけの場合には、画面上での速度成分が画面上の位置によって唯一に定まり、数３のとおりになる。
【００１０】
【数３】

【００１１】
動画像に基づいて算出されるオプティカル・フローはこれら平行移動成分および回転成分の和であるから、複数の点に基づいてそれぞれオプティカル・フローを得ておくことにより、ビディオカメラ等の運動量を算出する。
【００１２】
【発明が解決しようとする課題】
上述のビディオカメラ等の運動量算出方法は誤差を含まない理想的なオプティカル・フローが得られた場合に有効であっても、実際に動画像に基づいて算出したオプティカル・フローに適用することは殆ど不可能であるという不都合がある。さらに詳細に説明すると、ビディオカメラ等により得られた動画像は量子化誤差等を含んでいる関係上、オプティカル・フローを算出するための基準点および基準点に対応する点の位置が必然的に誤差を含むことになる。この場合には、数１から数３を充足しなくなるのであるから、これらの式を充足することを前提とする上記方法によりビディオカメラ等の運動量を算出することは殆ど不可能になってしまう。
【００１３】
この不都合を解消すべく本願発明者らはビディオカメラ等のローリングを完全に防止できると仮定するとともに（γ＝０）、点Ｐ∞の近傍を推定し、その点のオプティカル・フローに基づいて先ず回転成分α，βを決定し、次いで、決定された回転成分に基づく補正を行なうことにより平行移動成分を算出する方法を考えた。
【００１４】
しかし、ビディオカメラ等のローリングを完全に防止できる状況は非常に特殊であり、一般的にはこのような状況は存在しないのであるから、回転成分の算出精度が低下し、しかも回転成分に基づく補正結果を用いて算出される平行移動成分の算出精度も低下してしまうという不都合がある。
この結果、例えば、ビディオカメラ等の３次元運動量を考慮して動画像に他のモデル図形等を合成する場合に合成画像の品質を余り高めることができないのみならず、ビディオカメラ等の３次元運動量を考慮して動画像のブレを除去する場合に十分なブレ除去効果を達成できないという不都合がある。
【００１５】
【発明の目的】
この発明は上記の問題点に鑑みてなされたものであり、ビディオカメラ等により得られた動画像に基づいてビディオカメラ等の３次元運動を高精度に検出できる、動画像に基づくカメラの３次元運動検出方法およびその装置を提供することを目的としている。
【００１６】
【課題を解決するための手段】
上記の目的を達成するための、請求項１の動画像に基づくカメラの３次元運動検出方法は、動画像の基準フレームと参照フレームとに基づいて、参照フレームを画像中心に関して画面内において順次所定角度ずつ回転させて対応するオプティカル・フローを算出し、カメラから遠距離にある特徴点に基づいてカメラのピッチング角度およびヨーイング角度を算出し、算出されたピッチング角度およびヨーイング角度に基づいて参照フレームの特徴点を補正してカメラの平行移動成分を算出し、少なくとも算出されたピッチング角度およびヨーイング角度に基づく補正が施された特徴点に基づいてオプティカル・フローの収束度を算出し、オプティカル・フローの収束度が最大になる回転角度をローリング角度として選択するとともに、対応するピッチング角度、ヨーイング角度および平行移動成分を選択する方法である。
【００１７】
請求項２の動画像に基づくカメラの３次元運動検出装置は、動画像の基準フレームと参照フレームとに基づいて、参照フレームの特徴点を画像中心に関して画面内において順次所定角度ずつ回転させて対応するオプティカル・フローを算出する回転処理手段と、カメラから遠距離にある特徴点に基づいてカメラのピッチング角度およびヨーイング角度を算出するピッチング・ヨーイング角度算出手段と、算出されたピッチング角度およびヨーイング角度に基づいて参照フレームの特徴点を補正してカメラの平行移動成分を算出する平行移動成分算出手段と、少なくともピッチング角度およびヨーイング角度に基づく補正が施された特徴点に基づいて収束度を算出する収束度算出手段と、収束度が最大の回転角度、収束度が最大の回転角度に対応するピッチング角度、ヨーイング角度および平行移動成分をカメラの３次元運動の各成分として選択する選択手段とを含んでいる。
【００１８】
【作用】
請求項１の動画像に基づくカメラの３次元運動検出方法であれば、動画像の基準フレームと参照フレームとに基づいて、参照フレームの特徴点を画像中心に関して画面内において順次所定角度ずつ回転させて対応するオプティカル・フローを算出し、カメラから遠距離にある特徴点に基づいてカメラのピッチング角度およびヨーイング角度を算出し、算出されたピッチング角度およびヨーイング角度に基づいて第２参照フレームの特徴点を補正してカメラの平行移動成分を算出する。即ち、ビディオカメラ等により実際に得られた動画像に基づいて得られるオプティカル・フローが一般的に誤差を含んでおり、理論どおりの適用が不可能であるにも拘らず、仮のローリング角度を先ず選択し、次いで選択されたローリング角度に基づく補正が施された画像のうち遠距離にある特徴点に基づいて仮のピッチング角度およびヨーイング角度を算出し、最後に仮の平行移動成分を算出する。そして、少なくともピッチング角度およびヨーイング角度による補正が施された特徴点に基づいて複数のオプティカル・フローを算出し、順次算出される複数のオプティカル・フローの収束度を算出し、オプティカル・フローが最大になる回転角度をローリング角度として選択するとともに、選択されたローリング角度に対応するピッチング角度、ヨーイング角度および平行移動成分を選択することによりカメラの３次元運動を高精度に検出できる。
【００１９】
請求項２の動画像に基づくカメラの３次元運動検出装置であれば、動画像の基準フレームと参照フレームとに基づいて、回転処理手段により、参照フレームの特徴点を画像中心に関して画面内において順次所定角度ずつ回転させて対応するオプティカル・フローを算出し、カメラから遠距離にある特徴点に基づいてピッチング・ヨーイング角度算出手段によりカメラの仮のピッチング角度および仮のヨーイング角度を算出し、平行移動成分算出手段により、算出された仮のピッチング角度および仮のヨーイング角度に基づいて参照フレームの特徴点を補正してカメラの仮の平行移動成分を算出する。そして、少なくとも仮のピッチング角度および仮のヨーイング角度に基づく補正が施された特徴点に基づいて収束度算出手段により収束度を算出する。以上の一連の処理を所定角度範囲内において順次行なって、選択手段により、収束度が最大の回転角度、収束度が最大の回転角度に対応するピッチング角度、ヨーイング角度および平行移動成分をカメラの３次元運動の各成分として選択する。
したがって、ビディオカメラ等により実際に得られた動画像に基づいて得られるオプティカル・フローが一般的に誤差を含んでおり、理論どおりの適用が不可能であるにも拘らず、収束度が最大のローリング角度およびこのローリング角度に対応するピッチング角度、ヨーイング角度および平行移動成分を算出することによりカメラの３次元運動を高精度に検出できる。
【００２０】
【実施例】
以下、実施例を示す添付図面によって詳細に説明する。
図１はこの発明の動画像に基づくカメラの３次元運動検出方法の一実施例を説明するフローチャートであり、ステップＳＰ１において１の画像を基準画像として選択し、ステップＳＰ２において基準画像の次の画像を参照画像として選択し、ステップＳＰ３において基準画像および参照画像に基づいて複数のオプティカル・フローを算出し、ステップＳＰ４においてローリングが生じているか否かを判別する。そして、ステップＳＰ４においてローリングが生じていると判別された場合には、ステップＳＰ５において第１参照画像中の特徴点を画面内において画面中心に関して所定角度だけ回転させ、ステップＳＰ６において再びオプティカル・フローを算出し、ステップＳＰ７において遠距離の特徴点のオプティカル・フローに基づいてピッチング角度およびヨーイング角度を算出し、ステップＳＰ８において参照画像中の特徴点をさらにピッチング角度およびヨーイング角度に基づいて補正し、ステップＳＰ９において再びオプティカル・フローを算出し、ステップＳＰ１０において複数の特徴点のオプティカル・フローに基づいて平行移動成分を算出し、ステップＳＰ１１において、少なくともピッチング角度およびヨーイング角度に基づいて補正が施された特徴点に基づくオブティカル・フローの収束度を例えば分散等に基づいて算出し、ステップＳＰ１２において予め設定された所定の限界角度まで特徴点の回転が行なわれたか否かを判別し、所定の限界角度に達していなければ再びステップＳＰ５の処理を行なう。上記ステップＳＰ１２において所定の限界角度に達したと判別された場合には、ステップＳＰ１３において収束度が最大になる回転角度をローリング角度として選択するとともに、対応するピッチング角度、ヨーイング角度および平行移動成分をカメラの３次元運動の各成分として選択し、ステップＳＰ１４において全ての画像に基づく処理が行なわれたか否かを判別し、処理が行なわれていない画像が存在していると判別された場合には、ステップＳＰ１５において参照画像を新たな基準画像とし、再びステップＳＰ２の処理を行なう。また、ステップＳＰ１４において全ての画像に基づく処理が行なわれたと判別された場合にはそのまま一連の処理を終了する。さらに、上記ステップＳＰ４において複数のオプティカル・フローが１点に収束すると判別された場合には、回転の現在角度を回転限界角度に設定してステップＳＰ７の処理を行なう。
【００２１】
即ち、動画像に基づいて算出されたオプティカル・フローはそれ自体誤差を含んでおり、殆どの場合に１点に収束することはないのであるが、所定角度範囲内の各ローリング角度に対応してピッチング角度、ヨーイング角度および平行移動成分を算出しておき、例えば分散に基づいて最大の収束度に対応するローリング角度を選択し、選択されたローリング角度に対応するピッチング角度、ヨーイング角度および平行移動成分を選択するのであるから、最終的に高精度にビディオカメラ等の３次元運動量を検出できる。
【００２２】
さらに詳細に説明すると、図２（Ａ）に示すように、動画像中において例えば垂直な相対位置関係となるべき特徴点に基づいて両点を結ぶ線分が垂直であるか否かを判別することによりローリングが生じていないか、ローリングが生じているかを判別する。但し、全てのオプティカル・フローが１点に収束するか否かに基づいてローリングが生じていないか生じているかを判別するようにしてもよい。そして、ローリングが生じていると判別された場合には、図２（Ｂ）に示すように動画像に基づいて算出された複数のオプティカル・フロー同士の交点の分散を算出する。そして、予め設定した所定角度、例えば０．５°だけ参照画像中の特徴点を回転させ、回転された特徴点（平行移動によっては殆ど影響を受けない遠距離の特徴点）に基づくオプティカル・フロー（図２（Ｃ）参照）に基づいてピッチング角度およびヨーイング角度を算出し、さらにピッチング角度、ヨーイング角度に基づく補正が施された特徴点（比較的近距離の特徴点）により定まるオプティカル・フロー（図２（Ｄ）参照）に基づいて平行移動成分を算出する。また、得られたオプティカル・フローに基づいて分散を算出する。以下、回転角度が所定の限界角度に達するまで回転処理および分散算出処理を行ない、分散が最小となる回転角度を収束度が最大のローリング角度として選択する。また、少なくともピッチング角度およびヨーイング角度に基づく補正が施された特徴点により定まるオプティカル・フローに基づいて収束度を算出する。
【００２３】
所定角度範囲内において上記一連の処理が反復された後は、収束度が最大になる回転角度をローリング角度として選択し、対応するピッチング角度、ヨーイング角度および平行移動成分を選択する。
したがって、以上のようにして選択されたローシング角度、ピッチング角度、ヨーイング角度および平行移動成分によりビディオカメラ等の３次元運動量を得ることができる。そして、ビディオカメラ等の３次元運動量が得られれば、コンピュータを用いて作成したモデル等を合成した合成画像を得ることができ、しかも合成画像のリアルさを著しく高めることができる。また、動画像がブレを含んでいる場合には、ビディオカメラ等の３次元運動量に基づく補正を施すことによりブレを除去することもできる。
【００２４】
但し、ビディオカメラ等により撮影を行なう場合にローリングが全く生じない状態は殆ど存在しないのであるから、ステップＳＰ４の判別を省略しても特に不都合は生じない。
図３は図１のフローチャートのステップＳＰ３の処理を詳細に説明するフローチャートであり、ステップＳＰ１において基準となる画像における所定の対象画像の少なくとも一部を含む所定領域を基準領域として設定し、ステップＳＰ２において、設定された基準領域に含まれる全ての格子点の明度情報を算出し、ステップＳＰ３において参照画像における、予め定められた広さの探索領域を設定し、ステップＳＰ４において、基準領域と等しいサイズの候補領域を探索領域の中から選択し、ステップＳＰ５において候補領域に含まれる全ての格子点の明度情報を算出し、ステップＳＰ６において候補領域の各格子点の明度情報と基準領域の対応画素の明度情報との差の二乗の総和を算出し、ステップＳＰ７において探索領域に含まれる全ての候補領域に対するステップＳＰ５，ＳＰ６の処理が完了したか否かを判別し、完了していないと判別された場合には、再びステップＳＰ４の処理を行なう。逆に、全ての候補領域に対する処理が完了したと判別された場合には、ステップＳＰ８において、算出された全ての総和に基づいて近似曲面を作成し、ステップＳＰ９において近似曲面の最小点を抽出し、ステップＳＰ１０において、抽出された最小点および基準領域の中心点に基づいて座標変化量を算出し、ステップＳＰ１１において座標変化量と画像間の時間間隔とに基づいて速度ベクトルを算出し、ステップＳＰ１２において対応領域を新たな基準領域に設定し、再びステップＳＰ２の処理を行なう。
【００２５】
したがって、離散的な値に基づいて近似曲面を作成し、近似曲面の最小点と基準領域の中心点とに基づいてオプティカル・フローを算出することによりオプティカル・フローの算出精度を高めることができ、ひいてはビディオカメラ等の３次元運動量の検出精度を高めることができる。
図４および図５は図１のフローチャートのステップＳＰ３の処理の他の例を詳細に説明するフローチャートであり、図３のフローチャートと異なる点は、ステップＳＰ１２の処理とステップＳＰ２の処理との間に、新たな基準領域の中心点が格子点と一致しているか否かを判別するステップＳＰ１２ａと、中心点が格子点と一致していない場合に中心点の周囲の格子点を抽出するステップＳＰ１２ｂと、中心点と抽出された格子点との相対位置に基づいて重み付け係数を算出するステップＳＰ１２ｃと、抽出された何れかの格子点を中心とする仮の基準領域を設定するステップＳＰ１２ｄとを含み、中心点と格子点とが一致している場合にステップＳＰ１２ｂからステップＳＰ１２ｄの処理を省略するようにした点、ステップＳＰ１１の処理とステップＳＰ１２の処理との間に、抽出された全ての格子点に基づく処理が行なわれたか否かを判別するステップＳＰ１１ａと、抽出された全ての格子点に基づく処理が行なわれた場合に、対応する全ての速度ベクトルに基づいて重み付け係数に基づく重み付け平均処理を施して真のオプティカル・フローを算出するステップＳＰ１１ｂとを含み、抽出された一部の格子点について処理が行なわれていない場合に直ちにステップＳＰ１２ｄの処理を行なうようにした点のみである。
【００２６】
したがって、この実施例の場合には、図３のフローチャートに基づく処理を１回だけ行なうことにより得られた新たな基準領域の中心点Ｃが、図６に示すように格子点と一致しない場合には、図６にＡ１，Ａ２，Ａ３，Ａ４で示す４つの格子点を選択し、各格子点を中心とする仮の基準領域を設定する（図７中破線参照）。また、この場合には、格子点Ａ１，Ａ２，Ａ３，Ａ４で定まる小領域を中心点Ｃを通る直線で区画することにより得られる領域Ｒ１，Ｒ２，Ｒ３，Ｒ４の面積を重み付け係数として設定する。
【００２７】
そして、各仮の基準領域に基づいて図３のフローチャートに基づく処理を行なって仮の速度ベクトルを算出し、設定された重み付け係数に基づいて算出された４つの速度ベクトルを重み付け平均することにより真のオプティカル・フローを算出することができる。
以上の説明から明らかなように、新たな基準領域が格子点上で設定されないような場合であっても、格子点上の仮の基準領域に基づく速度ベクトルの算出を行ない、最終的に重み付け平均処理を施すことにより高精度にオプティカル・フローを算出できる。この結果、オプティカル・フローに基づくビディオカメラ等の３次元運動量の検出精度を一層高めることができる。
【００２８】
【実施例２】
図８はこの発明の動画像に基づくカメラの３次元運動検出装置の一実施例を示すブロック図であり、１の画像を基準画像として選択する基準画像選択部１と、基準画像の次の画像を参照画像として選択する参照画像選択部２と、基準画像および参照画像に基づいて複数のオプティカル・フローを算出する第１オプティカル・フロー算出部３と、ローリングが生じているか否かを判別するローリング判別部４と、ローリングが生じていることを示すローリング判別部４からの判別結果に応答して参照画像中の特徴点を画面中心に関して所定角度だけ回転させる回転処理部５と、ローリング補正が施された特徴点に基づいてオプティカル・フローを算出する第２オプティカル・フロー算出部６と、遠距離の特徴点のオプティカル・フローに基づいてピッチング角度およびヨーイング角度を算出するピッチング・ヨーイング角度算出部７と、参照画像中の特徴点をさらにピッチング角度およびヨーイング角度に基づいて補正するピッチング・ヨーイング補正部８と、ピッチング・ヨーイング補正が施された特徴点に基づいてオプティカル・フローを算出する第３オプティカル・フロー算出部９と、複数の特徴点のオプティカル・フローに基づいて平行移動成分を算出する平行移動成分算出部１０と、少なくともピッチング角度およびヨーイング角度だけ回転された特徴点に基づくオプティカル・フローの収束度を例えば分散等に基づいて算出する収束度算出部１１と、予め設定された所定の限界角度に達するまで回転処理部５、オプティカル・フロー算出部６，９、ピッチング・ヨーイング角度算出部７、ピッチング・ヨーイング補正部８、平行移動成分算出部１０および収束度算出部１１を反復動作させる第１反復制御部１２と、収束度が最大の回転角度をローリング角度として選択するとともに、対応するピッチング角度、ヨーイング角度および平行移動成分をビディオカメラ等の３次元運動成分として選択する選択部１３と、全ての画像に基づく処理が行なわれるまで参照画像を新たな基準画像として設定する基準画像更新部１４と、新たな基準画面が設定されたことに応答して参照画像選択部２を反復動作させる第２反復制御部１５とを有している。
【００２９】
尚、上記構成各部は、上記実施例のフローチャートの対応するステップと同様の作用を達成するものである。
上記構成の動画像に基づくカメラの３次元運動検出装置の作用は次のとおりである。
ビディオカメラ等により得られた動画像のうち最初の画像を、基準画像選択部１により基準画像として選択し、参照画像選択部２により基準画像の次の画像を参照画像として選択する。そして、基準画像および参照画像に基づいて第１オプティカル・フロー算出部により複数のオプティカル・フローを算出する。具体的には、図３または図５、図６に示すフローチャートと同様の処理を行なうことにより特徴点を抽出し、抽出された特徴点に基づいてオプティカル・フローを算出する。
【００３０】
また、ローリング判別部４により、ローリングが生じているか否かを判別する。具体的には、例えば相対位置関係が互に垂直になるべき１対の特徴点を選択し、選択された１対の特徴点の相対位置関係が垂直でないか垂直であるかに基づいてローリングが生じているか否かを判別する。そして、ローリングが生じていると判別されたことに応答して回転処理部５により特徴点を画面中心に関して所定角度だけ回転させ、回転された特徴点に基づいて第２オプティカル・フロー算出部６によりオプティカル・フローを算出する。尚、この場合には既に特徴点が得られているのであるから、得られている特徴点に基づいて簡単にオプティカル・フローを算出できる。そして、遠距離の特徴点のオプティカル・フローに基づいてピッチング・ヨーイング角度算出部７によりピッチング角度およびヨーイング角度を算出する。その後、ピッチング・ヨーイング補正部８により、参照画像中の特徴点をさらにピッチング角度およびヨーイング角度に基づいて補正して、第３オプティカル・フロー算出部９によりピッチング・ヨーイング補正が施された特徴点に基づいてオプティカル・フローを算出する。そして、平行移動成分算出部１０により、複数の特徴点のオプティカル・フローに基づいて平行移動成分を算出する。また、少なくともピッチング角度およびヨーイング角度に基づく補正が施された状態のオプティカル・フローに基づいて収束度算出部１１によりオブティカル・フローの収束度を例えば分散等に基づいて算出する。この回転処理部５による回転処理から収束度算出部１１による収束度の算出までの一連の処理を、第１反復制御部１２により、予め設定された所定の限界角度に達するまで反復させ、選択部１３により収束度が最大になる回転角度をローリング角度として選択するとともに、対応するピッチング角度、ヨーイング角度および平行移動成分をビディオカメラ等の３次元運動の各成分として選択する。
【００３１】
また、処理が行なわれていない画像が存在している場合には、基準画像更新部１４により参照画像を新たな基準画像として設定し、第２反復制御部１５により参照画像選択部２を反復動作させて３次元運動の各成分であるローリング角度、ピッチング角度、ヨーイング角度および平行移動成分を順次算出する。
以上の説明から明らかなように、動画像に基づいて算出されたオプティカル・フローはそれ自体誤差を含んでおり、殆どの場合に１点に収束することはないのであるが、例えば分散に基づいて最大の収束度に対応するローリング角度を選択し、次いでローリング角度に基づく補正を行なった状態でピッチング角度およびヨーイング角度を算出し、最後にピッチング角度、ヨーイング角度に基づく補正をさらに行なった状態で平行移動成分を算出するのであるから、最終的に高精度にビディオカメラ等の３次元運動量を検出できる。
【００３２】
但し、ビディオカメラ等による撮影を行なう間にローリングが全く生じないことは殆どないのであるから、ローリング判別部４を省略してもよい。
尚、この発明は上記の実施例に限定されるものではなく、例えば、分散に基づいてローリング角度を選択する代わりにオプティカル・フロー同士の交点の最大値、最小値の差が最小になる回転角度をローリング角度として選択することが可能であるほか、従来法により算出されたオプティカル・フローに基づいてビディオカメラ等の３次元運動量を算出することが可能であり、その他、この発明の要旨を変更しない範囲内において種々の設計変更を施すことが可能である。
【００３３】
【発明の効果】
以上のように請求項１の発明は、ビディオカメラ等により実際に得られた動画像に基づいて得られるオプティカル・フローが一般的に誤差を含んでおり、理論どおりの適用が不可能であるにも拘らず、画像を所定角度ずつ回転させ、各回転状態に基づいてピッチング角度、ヨーイング角度および平行移動成分を算出し、少なくともピッチング角度およびヨーイング角度に基づく補正が施されたオプティカル・フローの収束度が最大である回転角度をローリング角度として選択し、対応するピッチング角度、ヨーイング角度および平行移動成分を３次元運動の各成分として選択することによりカメラの３次元運動を高精度に検出できるという特有の効果を奏する。
【００３４】
請求項２の発明も、ビディオカメラ等により実際に得られた動画像に基づいて得られるオプティカル・フローが一般的に誤差を含んでおり、理論どおりの適用が不可能であるにも拘らず、画像を所定角度ずつ回転させ、各回転状態に基づいてピッチング角度、ヨーイング角度および平行移動成分を算出し、少なくともピッチング角度およびヨーイング角度に基づく補正が施されたオプティカル・フローの収束度が最大である回転角度をローリング角度として選択し、対応するピッチング角度、ヨーイング角度および平行移動成分を３次元運動の各成分として選択することによりカメラの３次元運動を高精度に検出できるという特有の効果を奏する。
【図面の簡単な説明】
【図１】この発明の動画像に基づくカメラの３次元運動検出方法の一実施例を説明するフローチャートである。
【図２】カメラの３次元運動検出方法を詳細に説明する図である。
【図３】図１のフローチャートのステップＳＰ３の処理を詳細に説明するフローチャートである。
【図４】図１のフローチャートのステップＳＰ３の処理の他の例の要部を詳細に説明するフローチャートである。
【図５】図１のフローチャートのステップＳＰ３の処理の他の例の残部を詳細に説明するフローチャートである。
【図６】新たな基準領域の中心と抽出される格子点との関係を示す概略図である。
【図７】中心点と抽出された格子点に基づく重み付け係数の算出を説明する概略図である。
【図８】この発明の動画像に基づくカメラの３次元運動検出装置の一実施例を示すブロック図である。
【図９】理想的なオプティカル・フローに基づくカメラの３次元運動検出方法を説明する図である。
【図１０】カメラと画像面と実在の点との関係を説明する図である。
【符号の説明】
３ 第１オプティカル・フロー算出部 ５ 回転処理部
６ 第２オプティカル・フロー算出部
７ ピッチング・ヨーイング角度算出部
８ ピッチング・ヨーイング補正部
９ 第３オプティカル・フロー算出部 １０ 平行移動成分算出部
１１ 収束度算出部 １２ 第１反復制御部 １３ 選択部

Claims (2)

1. 動画像の基準フレームと参照フレームとに基づいて、参照フレームを画像中心に関して画面内において順次所定角度ずつ回転させて対応するオプティカル・フローを算出し、カメラから遠距離にある特徴点に基づいてカメラのピッチング角度およびヨーイング角度を算出し、算出されたピッチング角度およびヨーイング角度に基づいて参照フレームの特徴点を補正してカメラの平行移動成分を算出し、少なくとも算出されたピッチング角度およびヨーイング角度に基づく補正が施された特徴点に基づいてオプティカル・フローの収束度を算出し、オプティカル・フローの収束度が最大になる回転角度をローリング角度として選択するとともに、対応するピッチング角度、ヨーイング角度および平行移動成分を選択することを特徴とする動画像に基づくカメラの３次元運動検出方法。
2. 動画像の基準フレームと参照フレームとに基づいて、参照フレームの特徴点を画像中心に関して画面内において順次所定角度ずつ回転させて対応するオプティカル・フローを算出する回転処理手段（５）（６）（７）と、カメラから遠距離にある特徴点に基づいてカメラのピッチング角度およびヨーイング角度を算出するピッチング・ヨーイング角度算出手段（９）（１０）（１１）と、算出されたピッチング角度およびヨーイング角度に基づいて参照フレームの特徴点を補正してカメラの平行移動成分を算出する平行移動成分算出手段（１２）（１３）（１４）と、少なくともピッチング角度およびヨーイング角度に基づく補正が施された特徴点に基づいて収束度を算出する収束度算出手段と、収束度が最大の回転角度、収束度が最大の回転角度に対応するピッチング角度、ヨーイング角度および平行移動成分をカメラの３次元運動の各成分として選択する選択手段とを含むことを特徴とする動画像に基づくカメラの３次元運動検出装置。

Images