JP4825260B2

JP4825260B2 - 三次元的動き検出装置、三次元的動き検出方法及び三次元的動き検出プログラム

Info

Publication number: JP4825260B2
Application number: JP2008308539A
Authority: JP
Inventors: 英朋境野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2008-12-03
Filing date: 2008-12-03
Publication date: 2011-11-30
Anticipated expiration: 2028-12-03
Also published as: JP2010134606A

Description

本発明は、カメラで撮影された動的対象物の動きを三次元的に検出する三次元的動き検出装置、三次元的動き検出方法及び三次元的動き検出プログラムの技術に関する。

現在、カメラで撮影された動的対象物の動きを検出する様々な画像処理技術が存在している。最も基本的な動き検出方法としては、例えばＭＰＥＧに代表されるように、符号化分野で用いられている相互相関法（ＣＣ法、パターンマッチング法）が知られている。相互相関法とは、時間的に連続する２枚の画像フレーム間の類似性を相互相関関数等を用いて評価し、類似する領域を画像フレーム間の移動距離（ベクトル）とみなす方法である。類似性に関する計算精度を高めるため、画像フレームを複数のブロックに分割して、それぞれのサブブロック毎に移動距離を求める方法も存在している。

また、特にコンピュータビジョン分野では、オプティカルフロー法（非特許文献１参照）が知られている。連続する２枚以上の画像フレームを用いて動的対象物の速度ベクトルに基づくオプティカルフローの基本式を導出し、画像フレーム間での輝度変動を一定（ゼロ）と仮定した拘束条件式を生成して、この拘束条件式を最小二乗法（非特許文献２参照）を用いて近似的な計算を行うことで上記速度ベクトルを求めて、動的対象物の動きとして検出する方法である。

しかしながら、このような従来の画像処理技術は、本来であれば三次元的に移動している動的対象物の動きを二次元画像平面に投影した結果であるため、奥行方向に関する情報が考慮されていないものである。この奥行情報を動的対象物の動きに係る構成要件とし、動的対象物を三次元的（立体的）に捉えるためには、立体視の原理を用いる方法が一般的である（非特許文献３参照）。
J.L. Barron、他２名、「Performance of Optical Flow Techniques」、IJCV、1994、vol.12、no.1、p.43-77 中川徹、外１名、「最小二乗法による実験データ解析」、東京大学出版会、1995、p.168-169 "３Ｄの原理 principle"、［online］、［平成20年12月1日検索］、インターネット＜URL : http://www2.aimnet.ne.jp/nakahara/3dart/3genri.html＞

しかしながら、立体視の原理は２台以上のカメラを条件とするため、複数のカメラを設置する場所の確保や、各カメラで撮影された複数の映像を校正するのに多くの手間や時間がかかるという問題があった。また、運動視の原理を用いて１台のカメラで動的対象物の動きを検出することも可能ではあるが、カメラを機械的に運動させる必要があるため、大掛かり且つ高価な装置を要するという問題があった。更に言うならば、単純な時間差分を用いるだけでは奥行情報を得ることができないという問題があった。

本発明は、上記を鑑みてなされたものであり、１台のカメラで撮影された動的対象物の三次元的な動きを精度よく安定的に検出する三次元的動き検出装置、三次元的動き検出方法及び三次元的動き検出プログラムを提供することを課題とする。

第１の請求項に係る発明は、一台の撮影装置で撮影された動的対象物の映像を入力する入力手段と、前記映像を時系列な複数の画像フレームとして記憶する記憶手段と、三次元空間の位置座標を二次元空間の位置座標に変換する空間座標変換式を導出する変換式導出手段と、前記空間座標変換式を時間で偏微分し、三次元空間における任意対象の運動を回転運動及び並進運動で表した線形モデル式を用いて、二次元座標上における前記任意対象の速度ベクトルを計算する速度ベクトル計算式を導出する速度ベクトル計算式導出手段と、前記記憶手段から時間的に連続する２枚の前記画像フレームを読み出して、前記動的対象物を形成している各画素の時間的な輝度変動成分と、当該動的対象物の速度の滑らかさ成分と、当該動的対象物の動きに対する回転成分及び並進成分とで構成された以下の拘束条件式（右辺第１項は輝度変動成分、右辺第２項は速度の滑らかさ成分、右辺第３項は回転成分、右辺第４項は並進成分であり、λ _１〜λ _３はそれぞれ速度の滑らかさ成分と回転成分と並進成分との調整係数である）を生成し、前記画像フレーム内の画素輝度と、前記速度ベクトル計算式とを、前記拘束条件式において輝度変動成分を構成している画素輝度変数と、前記輝度変動成分及び前記滑らかさ成分を構成している速度成分の変数とにそれぞれ代入して、代入後の拘束条件式を拘束条件式内の８つの未知数（ｕ，ｖ，Ω _１，Ω _２，Ω _３，Ｔ _１，Ｔ _２，Ｔ _３）でそれぞれ偏微分した８つの線形連立方程式を計算することにより前記動的対象物の速度ベクトルを求め、求めた速度ベクトルを動的対象物の三次元的な動きとして検出する動き検出手段と、
前記記憶手段に記憶されている複数の前記画像フレームを用いて、検出された前記動的対象物の三次元的動きを時系列に表示する表示手段と、を有することを要旨とする。

第２の請求項に係る発明は、コンピュータにより、一台の撮影装置で撮影された動的対象物の映像を入力するステップと、前記映像を時系列な複数の画像フレームとして記憶手段に記憶するステップと、三次元空間の位置座標を二次元空間の位置座標に変換する空間座標変換式を導出するステップと、前記空間座標変換式を時間で偏微分し、三次元空間における任意対象の運動を回転運動及び並進運動で表した線形モデル式を用いて、二次元座標上における前記任意対象の速度ベクトルを計算する速度ベクトル計算式を導出するステップと、前記記憶手段から時間的に連続する２枚の前記画像フレームを読み出して、前記動的対象物を形成している各画素の時間的な輝度変動成分と、当該動的対象物の速度の滑らかさ成分と、当該動的対象物の動きに対する回転成分及び並進成分とで構成された以下の拘束条件式（右辺第１項は輝度変動成分、右辺第２項は速度の滑らかさ成分、右辺第３項は回転成分、右辺第４項は並進成分であり、λ _１〜λ _３はそれぞれ速度の滑らかさ成分と回転成分と並進成分との調整係数である）を生成し、前記画像フレーム内の画素輝度と、前記速度ベクトル計算式とを、前記拘束条件式において輝度変動成分を構成している画素輝度変数と、前記輝度変動成分及び前記滑らかさ成分を構成している速度成分の変数とにそれぞれ代入して、代入後の拘束条件式を拘束条件式内の８つの未知数（ｕ，ｖ，Ω _１，Ω _２，Ω _３，Ｔ _１，Ｔ _２，Ｔ _３）でそれぞれ偏微分した８つの線形連立方程式を計算することにより前記動的対象物の速度ベクトルを求め、求めた速度ベクトルを動的対象物の三次元的な動きとして検出するステップと、
前記記憶手段に記憶されている複数の前記画像フレームを用いて、検出された前記動的対象物の三次元的動きを時系列に表示するステップと、を有することを要旨とする。

第３の請求項に係る発明は、請求項２に記載の三次元的動き検出方法における各ステップをコンピュータによって実行させることを要旨とする。

本発明によれば、１台のカメラで撮影された動的対象物の三次元的な動きを精度よく安定的に検出する三次元的動き検出装置、三次元的動き検出方法及び三次元的動き検出プログラムを提供することができる。

図１は、本実施の形態に係る三次元的動き検出装置の機能構成を示す機能構成図である。この三次元的動き検出装置１００は、入力部１１と、変換式導出部１２と、速度ベクトル計算式導出部１３と、動き検出部１４と、表示部１５と、記憶部３１とを備えている。

入力部１１は、１台のカメラ（撮影装置）２００で撮影された動的対象物の映像の入力を受け付ける機能を備えている。

記憶部３１は、入力部１１で受け付けた後に入力された映像を時系列な複数の画像フレームをとして記憶する機能を備えている。このような記憶部３１としては、例えばメモリ、ハードディスク等の記憶装置を用いることが一般的であり、三次元的動き検出装置１００の内部のみならず、インターネットや電話回線等の通信ネットワークを介して電気的に接続可能な外部の記憶装置を用いることも可能である。

変換式導出部１２は、三次元空間の位置座標を二次元空間の位置座標に変換する空間座標変換式を導出する機能を備えている。具体的には、三次元空間における任意対象の位置座標を（Ｘ１，Ｘ２，Ｘ３）とし、この任意対象をＸ１軸−Ｘ２軸で形成される二次元画像面上に投影した場合の位置座標を（ｘ１，ｘ２）として、式（１）に示す空間座標変換式を導出する。

速度ベクトル計算式導出部１３は、変換式導出部１２で導出された空間座標変換式を時間で偏微分し、三次元空間における任意対象の運動を回転運動及び並進運動で表した線形モデル式を用いて、二次元座標上における任意対象の速度ベクトル計算式を導出する機能を備えている。具体的には、最初に、後述する動き検出部１４でのオプティカルフロー法への統合を図るため、式（１）に対して時間についての偏微分を施して式（２）を導出する。なお、各変数の上に付与されている“・”は時間微分を示している。

次に、任意対象の運動は、回転運動Ω＝（Ω_１，Ω_２，Ω_３）と並進運動Ｔ＝（Ｔ_１，Ｔ_２，Ｔ_３）とからなると仮定すると、式（３）に示すような線形モデル式を用いることができる。

そして、式（２）及び式（３）を用いて式（４）及び式（５）を導出することができる。

式（４）及び式（５）で得られる計算結果は、三次元空間の位置座標を二次元空間としての二次元画像の位置座標に変換した場合における任意対象の速度ベクトルｄ（ｕ，ｖ）を求める速度ベクトル計算式であるため、式（６）及び式（７）に示す関係が成立することになる。

動き検出部１４は、記憶部３１から時間的に連続する２枚の画像フレームを読み出して、動的対象物を形成している各画素の時間的な輝度変動成分と、この動的対象物の速度の滑らかさ成分と、この動的対象物の動きに対する回転成分及び並進成分とを拘束条件とし、速度ベクトル計算式を輝度変動成分及び滑らかさ成分を構成している速度成分に代入して、オプティカルフロー法を用いて二次元座標上における動的対象物の動きを三次元的に検出する機能を備えている。以下、動き検出部１４における処理を具体的に説明する。

オプティカルフローとは撮影された動的対象物の見かけの速度ベクトルのことを意味している（非特許文献１参照）。図２に示すように、時刻ｔにおいて座標（ｘ，ｙ）にある輝度（濃淡）Ｉが、δｔ時間経過した後に座標（ｘ＋δｘ，ｙ＋δｙ）に移動したとき、後者について（ｘ，ｙ，ｔ）のまわりでテイラー展開すると式（８）を得ることができる。

そして、式（８）に示す右辺の第２項〜第４項をδｔで割った値が２枚の画像フレーム間の輝度変動量に相当するため、この輝度変動量を０（ゼロ）として式（９）を導出する。

ここで、δｔの極限としてδｔ→０とすると式（１０）を得ることができる。

式（１０）がオプティカルフローを計算する基本式であり、式（１１）に示すようにｄｘ／ｄｔとｄｙ／ｄｔとが速度ベクトルｄ（ｕ，ｖ）となる。

ここで、この基本式を計算するには拘束条件を与える必要があるが、本実施の形態では、輝度変動条件（輝度変動成分）と、動的対象物の速度の滑らかさ条件（動的対象物の速度の滑らかさ成分）と、動的対象物の動きに対する回転成分及び並進成分とを拘束条件としている。

最初に、輝度変動条件について説明する。式（１０）に示す（∂ｘ／∂ｔ）をＩ_ｘ、（∂ｙ／∂ｔ）をＩ_ｙ、（∂Ｉ／∂ｔ）をＩ_ｔとし、式（１１）を用いて、誤差ｅｒｒを式（１２）のように定義する。

差分法に基づいて（ｉ、ｊ）格子上で式（１１）の各変数を離散化すると、画素（ｉ、ｊ）における誤差ｅｒｒ_ｉ，ｊは式（１３）で表現することができる。この式（１３）を輝度変動条件とする。

次に、動的対象物の動きの滑らかさ条件について説明する。この滑らかさ成分については、動的対象物の動きは微小であり、その速度成分の空間的な変化が滑らかであると仮定して、式（１４）に示すように速度ベクトルｄ（ｕ，ｖ）の１次微分を用いる。この式（１４）を滑らかさ条件とする。

本実施の形態では、連続する２枚の画像フレームという限られた画像情報だけから三次元的な動き成分を検出するため、式（１３）及び式（１４）で示した速度に関する各拘束条件以外について条件を加える必要がある。そこで、式（１５）及び式（１６）に示すように、動的対象物における回転成分（ΔΩ）及び並進成分（ΔＴ）を拘束条件として加えることにしている。なお、Ｍは動的対象物を形成している画素に隣接している画素数（例えば、４〜８点）であり、ＣはＭ近傍に位置する画素数である。

最終的には、式（１３）に示す輝度変動条件と式（１４）に示す動的対象物の動きの滑らか条件と、式（１５）に示す動的対象物の回転成分と、式（１６）に示す動的対象物の並進成分とから得られた拘束条件（式（１７））を用いて、３つの未知数（ｕ，ｖ）を最小二乗法（非特許文献２参照）や勾配法を用いて推定する。なお、λ_１、λ_２、λ_３（例えば、λ_１＝１０．０、λ_２＝λ_３＝５．０を用いることができる）は滑らかさ条件等に対する調整係数である。また、Φは画像フレームを小さいブロックに分けたときの各画像領域（例えば１０×１０画素）を示している。

この最小二乗法や勾配法の解法については、未知数（ｕ，ｖ，Ω_１，Ω_２，Ω_３，Ｔ_１，Ｔ_２，Ｔ_３）で式（１７）をそれぞれ偏微分した８つの線形連立方程式を計算することで求めることが可能となる。本実施の形態では、動的対象物の三次元的な動きについて検出するため、式（４）及び式（６）から得られるｕと、式（５）及び式（７）から得られるｖとを、式（１７）に示す拘束条件式における輝度変動条件及び滑らかさ条件を構成している速度成分ｕ，ｖに代入して上記連立方程式を計算する。なお、上記８つの連立方程式が最小値を持つためには、８つの未知数についての一次微分値が０（ゼロ）になればよいため、式（１８）が条件となることを付言しておく。

参考までに、勾配法を用いた式（１７）の具体的解法について説明しておく。勾配法の場合には、上記８つの未知数のうち一つを仮にＡとした場合に式（１９）が成立するものと仮定し、この式（１９）が収束するまで反復計算を行う。

なお、ｐは反復回数であり、Ｂは式（１８）に示したＡ（８つの未知数）の一次微分値であり、μは調整係数である。初期値Ａ（ｐ）＝０とし、８つの未知数を式（１９）にそれぞれ当てはめて反復計算をそれぞれ行い、例えば式（２０）で示された関係（反復誤差）が成立した場合には収束したものとみなして、そのときに得られた値を各未知数値とする。

表示部１５は、記憶部３１に記憶されている複数の画像フレームを用いて、動き検出部１４で検出された動的対象物の三次元的動きを矢印等で時系列に表示する機能を備えている。

続いて、本実施の形態に係る三次元的動き検出装置の処理フローについて説明する。最初に、入力部１１が、一台のカメラで撮影された動的対象物の映像の入力を受け付ける（ステップＳ１０１）。

次に、記憶部３１が、受け付けて入力された映像を時系列な複数の画像フレームとして記憶する（ステップＳ１０２）。

続いて、変換式導出部１２が、三次元空間の位置座標を二次元空間の位置座標に変換する空間座標変換式を導出する（ステップＳ１０３）。

また、速度ベクトル計算式導出部１３が、ステップＳ１０３で導出された空間座標変換式を時間で偏微分し、三次元空間における任意対象の運動を回転運動及び並進運動で表した線形モデル式を用いて、二次元座標上における任意対象の速度ベクトル計算式を導出する（ステップＳ１０４）。

その後、動き検出部１４が、記憶部３１に記憶されている時間的に連続な２枚の画像フレームを読み出して、動的対象物を形成している各画素の時間的な輝度変動成分と、この動的対象物の速度の滑らかさ成分と、この動的対象物の動きに対する回転成分及び並進成分とを拘束条件とし、ステップＳ１０４で導出された速度ベクトル計算式を輝度変動成分及び滑らかさ成分を構成している速度成分に代入して、オプティカルフロー法を用いて二次元座標上における動的対象物の動きを三次元的に検出する（ステップＳ１０５）。なお、動き検出部１４は、２枚の画像フレーム（例えば、時刻ｔ−１と時刻ｔとの画像フレーム）から動きを検出した後に、次に連続する２枚の画像フレーム（例えば、時刻ｔと時刻ｔ＋１）を用いて動的対象物の三次元的動きを繰り返し検出する。

最後に、表示部１５が、動き検出部１４で検出された動的対象物の三次元的動きを時系列に表示する（ステップＳ１０６）。

なお、ステップＳ１０３及びステップＳ１０４は、ステップＳ１０２より前であればいずれの段階で処理されていてもよい。

図３は、中心部が奥行方向に動いている動的対象物の動きの検出結果を矢印で示した図である。図３（ａ）に示す本実施の形態の場合には、時間の経過に伴って中心奥行方向に動く移動対象物の動きが、周辺から中心方向に向かう矢印で示されているので、奥行方向に向かう移動対象物の動きを適切に検出できていることが把握できる。一方、図３（ｂ）に示す従来法（Ｈｏｒｎ＆Ｓｃｈｕｎｃｋ法の二次元推定法）の場合には、左右から中心方向に向かう矢印のみ検出されており、上下方向から中心方向に向かう状態が示されていないので、奥行成分を殆ど検出できていないことが分かる。この検出結果から、本発明における三次元的なモデリングの有効性を評価することができる。

図４は、三次元構造が著名なハリケーンの動きの検出結果を矢印で示した図である。図４右上に示す本実施の形態の場合には、渦の特徴として旋回している様子を明瞭に検出できていることが把握できる。また、渦周辺の対流構造に伴った奥行方向の変化を良好に捉えられている。一方、図４右下に示す従来法（Ｌｕｃａｓ−Ｋａｎａｄｅ法の二次元推定法）の場合には、渦の外枠の動きのみが検出されているのみであって、渦全体の特徴を十分に検出できていないことが分かる。この検出結果から、奥行方向にも変化を伴う二次元のハリケーン画像であっても、三次元的な特徴まで検出することが可能であると言える。

本実施の形態によれば、座標変換モデルをオプティカルフロー法に融合しているので、１台のカメラで撮影された二次元画像からであっても動的対象物の動きを三次元的に検出することが可能となる。また、三次元的な動きを検出する際に、動的対象物の動きに対する回転成分及び並進成分とを拘束条件に加えているので、動的対象物の動きを精度よく安定的に検出することが可能となる。

最後に、各実施の形態で説明した三次元的動き検出装置は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、各実施の形態で説明した三次元的動き検出装置の各処理動作をプログラムとして例えばコンパクトディスクやフロッピー（登録商標）ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を三次元的動き検出装置として機能させることができるのは勿論である。

なお、本実施の形態で説明した三次元的動き検出装置は、画像処理分野、気象分野、河川分野、これら分野について監視業務を主とする分野、映像配信に関わる通信分野において応用可能であることを付言しておく。

本実施の形態に係る三次元的動き検出装置の機能構成を示す機能構成図である。微少時間の明るさの移動を示す図である。中心部が奥行方向に動いている動的対象物の動きの検出結果を矢印で示した図である。三次元構造が著名なハリケーンの動きの検出結果を矢印で示した図である。

符号の説明

１１…入力部
１２…変換式導出部
１３…速度ベクトル計算式導出部
１４…動き検出部
１５…表示部
３１…記憶部
１００…三次元的動き検出装置
２００…カメラ
Ｓ１０１〜Ｓ１０６…ステップ

Claims

一台の撮影装置で撮影された動的対象物の映像を入力する入力手段と、
前記映像を時系列な複数の画像フレームとして記憶する記憶手段と、
三次元空間の位置座標を二次元空間の位置座標に変換する空間座標変換式を導出する変換式導出手段と、
前記空間座標変換式を時間で偏微分し、三次元空間における任意対象の運動を回転運動及び並進運動で表した線形モデル式を用いて、二次元座標上における前記任意対象の速度ベクトルを計算する速度ベクトル計算式を導出する速度ベクトル計算式導出手段と、
前記記憶手段から時間的に連続する２枚の前記画像フレームを読み出して、前記動的対象物を形成している各画素の時間的な輝度変動成分と、当該動的対象物の速度の滑らかさ成分と、当該動的対象物の動きに対する回転成分及び並進成分とで構成された以下の拘束条件式（右辺第１項は輝度変動成分、右辺第２項は速度の滑らかさ成分、右辺第３項は回転成分、右辺第４項は並進成分であり、λ _１〜λ _３はそれぞれ速度の滑らかさ成分と回転成分と並進成分との調整係数である）を生成し、前記画像フレーム内の画素輝度と、前記速度ベクトル計算式とを、前記拘束条件式において輝度変動成分を構成している画素輝度変数と、前記輝度変動成分及び前記滑らかさ成分を構成している速度成分の変数とにそれぞれ代入して、代入後の拘束条件式を拘束条件式内の８つの未知数（ｕ，ｖ，Ω _１，Ω _２，Ω _３，Ｔ _１，Ｔ _２，Ｔ _３）でそれぞれ偏微分した８つの線形連立方程式を計算することにより前記動的対象物の速度ベクトルを求め、求めた速度ベクトルを動的対象物の三次元的な動きとして検出する動き検出手段と、
前記記憶手段に記憶されている複数の前記画像フレームを用いて、検出された前記動的対象物の三次元的動きを時系列に表示する表示手段と、
を有することを特徴とする三次元的動き検出装置。
コンピュータにより、
一台の撮影装置で撮影された動的対象物の映像を入力するステップと、
前記映像を時系列な複数の画像フレームとして記憶手段に記憶するステップと、
三次元空間の位置座標を二次元空間の位置座標に変換する空間座標変換式を導出するステップと、
前記空間座標変換式を時間で偏微分し、三次元空間における任意対象の運動を回転運動及び並進運動で表した線形モデル式を用いて、二次元座標上における前記任意対象の速度ベクトルを計算する速度ベクトル計算式を導出するステップと、
前記記憶手段から時間的に連続する２枚の前記画像フレームを読み出して、前記動的対象物を形成している各画素の時間的な輝度変動成分と、当該動的対象物の速度の滑らかさ成分と、当該動的対象物の動きに対する回転成分及び並進成分とで構成された以下の拘束条件式（右辺第１項は輝度変動成分、右辺第２項は速度の滑らかさ成分、右辺第３項は回転成分、右辺第４項は並進成分であり、λ _１〜λ _３はそれぞれ速度の滑らかさ成分と回転成分と並進成分との調整係数である）を生成し、前記画像フレーム内の画素輝度と、前記速度ベクトル計算式とを、前記拘束条件式において輝度変動成分を構成している画素輝度変数と、前記輝度変動成分及び前記滑らかさ成分を構成している速度成分の変数とにそれぞれ代入して、代入後の拘束条件式を拘束条件式内の８つの未知数（ｕ，ｖ，Ω _１，Ω _２，Ω _３，Ｔ _１，Ｔ _２，Ｔ _３）でそれぞれ偏微分した８つの線形連立方程式を計算することにより前記動的対象物の速度ベクトルを求め、求めた速度ベクトルを動的対象物の三次元的な動きとして検出するステップと、
前記記憶手段に記憶されている複数の前記画像フレームを用いて、検出された前記動的対象物の三次元的動きを時系列に表示するステップと、
を有することを特徴とする三次元的動き検出方法。
請求項２に記載の三次元的動き検出方法における各ステップをコンピュータによって実行させることを特徴とする三次元的動き検出プログラム。