JP3860564B2 - ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 - Google Patents
３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3860564B2 JP3860564B2 JP2003207634A JP2003207634A JP3860564B2 JP 3860564 B2 JP3860564 B2 JP 3860564B2 JP 2003207634 A JP2003207634 A JP 2003207634A JP 2003207634 A JP2003207634 A JP 2003207634A JP 3860564 B2 JP3860564 B2 JP 3860564B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- feature point
- dimensional shape
- shape input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000000605 extraction Methods 0.000 claims description 27
- 238000009825 accumulation Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 description 13
- 238000012937 correction Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000003702 image correction Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、実画像から高臨場感画像を生成するのに必要な３次元構造を推定するための３次元形状入力方法に関する。
【０００２】
【従来の技術】
時空間画像を対象とする３次元形状入力方法としては、入力画像を撮影するカメラの移動が視線方向に垂直、かつｘ軸に平行であると仮定する方法が知られている（例：BollesR.C., Baker H. H. and Marimont D. H.: "Epipolar-plane image analysis: an approach to determining structure from motion", IJCV, Vol. 1, NO. 1, pp.7-55, 1987，以下文献Ａと呼ぶ）。この方法を図５を用いて説明する。
【０００３】
図５（１）で、５１はカメラを移動させながら撮影した画像系列ｆo（ｘ，ｙ；ｔ）である。カメラの移動は視線方向（ｚ軸）に垂直、かつスキャンライン方向（ｘ軸）に平行であるとする。この時、同一物点の像点、すなわち特徴点軌跡は、５１においてｙ＝一定の面上に拘束される。ｙ＝一定の画像５２、
【０００４】
【数１】
はエピポーラ画像と呼ばれる。特徴点軌跡５３は同一エピポーラ画像上においてのみ存在するので、特徴点軌跡の処理はエピポーラ画像上で行なえばよい。
【０００５】
カメラの移動量が一定であるとすれば、特徴点軌跡５３は直線となる。この傾きは特徴点の奥行き値に比例し、カメラパラメータから奥行きが計算できるので、エピポーラ画像上の特徴点を抽出し、さらに該特徴点の軌跡を推定することにより、該特徴点の軌跡の傾きより、該特徴点の奥行きが求まる。
【０００６】
【発明が解決しようとする課題】
上述した従来の方法は、カメラの移動方向、視線方向が変動する場合には、特徴点軌跡５３は同一エピポーラ画像上においてのみ存在するという仮定が成り立たず、処理の精度が著しく低下するという欠点がある。
【０００７】
本発明の目的は、カメラの移動方向、視線方向が変動した場合にも安定した処理が可能な３次元形状入力方法を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の３次元形状入力方法は、カメラが平行移動しながら撮影された時空間画像をメモリに蓄積する画像蓄積ステップと、時空間画像中の特徴点を抽出する特徴点抽出ステップと、該特徴点の軌跡を抽出する特徴点軌跡抽出ステップと、該特徴点軌跡から特徴点の３次元座標を計算する３次元座標計算ステップとを有する３次元形状入力方法において、
特徴点軌跡抽出ステップと３次元座標計算ステップの間に、
画面上の複数の特徴点を時間方向に追跡し、これらの特徴点の軌跡がそれぞれ同一のスキャンライン上になるように、
視線方向をｚ軸、スキャン方向をｘ軸として、５個以上の特徴点の軌跡を用いカメラの方向および位置の変動が小さいときの投影近似式に最小自乗法を適用して、（ｘ、ｙ、ｚ）に存在する物体の投影点（ＸS，ＹS）のカメラの方向、位置の変動による投影点の変分Ｄxs（ｘ，ｙ）、Ｄys（ｘ，ｙ）を求め、当該２つの変分により入力画像を変形するステップを有する。
【０００９】
入力に用いるカメラのモデルとしてピンホールカメラモデルを用いる。カメラの回転がなく、視線方向がｚ軸、スキャン方向がｘ軸を向いている場合、（ｘ，ｙ，ｚ）に存在する物体点の投影点（Ｘs，Ｙs）は角倍率ａを用いて
【００１０】
【数２】
と表せる。
【００１１】
時刻ｔにおいてカメラがｘ軸回りに−αt、ｙ軸回りに−βt、ｚ軸回りに−γt回転したとする。このときの投影点（Ｘ's，Ｙ's）は以下のように求められる。
【００１２】
まず、各軸回りの回転行列はそれぞれ、
【００１３】
【数３】
であり、全体の回転行列Ｒは
【００１４】
【数４】
となる。特に回転角−αt，−βt，−γtが小さい場合には
【００１５】
【数５】
と近似できる。投影点は、
【００１６】
【数６】
となる。近似式（７）を用いれば、
【００１７】
【数７】
と近似できる。
【００１８】
次に、カメラ位置がＸ軸から−δy、−δzずれた場合を考える。この場合には、
【００１９】
【数８】
となる。δy、δzが小さい場合には、
【００２０】
【数９】
と近似できる。ここで、第２項、第３項はｚに依存するが、ｚの変化が小さい場合には、定数と見なすことができる。式（１２）、（１６）から、カメラの方向、位置の変動による投影点の変分Ｄxs＝Ｘs−Ｘ's、Ｄys＝Ｙs−Ｙ'sは、
【００２１】
【数１０】
と書き表せる。Ａ（ｔ）〜Ｅ（ｔ）は各フレームｔ毎に決まる定数であり、入力画像の歪みを表している。カメラ定数ａが既知であれば、これらから、α（ｔ）、β（ｔ）、γ（ｔ）、δy、δzを求めることができ、ｘ方向の変分Ｄxs＝Ｘs−Ｘ'sを計算することができる。
【００２２】
５個以上の特徴点の軌跡（Ｘi（ｔ），Ｙi（ｔ））からＡ（ｔ）〜Ｅ（ｔ）を推定すれば、これを用いてＤysを求め、
【００２３】
【数１１】
により入力画像を変形し、歪みを減少させることができる。ｆnewは補正された入力画像を示している。この推定は、例えば、
【００２４】
【数１２】
を最小化するＡ（ｔ）〜Ｅ（ｔ）を最小自乗法で解くことが行なえる。また、
【００２５】
【数１３】
によりロバスト推定することもできる（例：Z. Zhang, et. al, A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry, Artificial Intelligence, Vol. 78,(1995)87-119,以下、文献Ｂ）。
【００２６】
このように、本発明では、カメラの変動による画像の歪みを推定し、入力画像を補正するため、カメラの移動方向、視線方向の変動に強い３次元画像方法を実現できる。
【００２７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２８】
図１を参照すると、本発明の第１の実施形態の３次元形状入力方法は画像入力ステップ１１と画像蓄積ステップ１２と安定特徴点抽出ステップ１３と補正時刻推定ステップ１４とエピポーラ解析に基づく３次元形状抽出ステップ１５で構成される。
【００２９】
まず、本実施形態の原理を説明する。
入力に用いるカメラのモデルとしてピンホールカメラモデルを用いる。カメラの位置を（ｘe，０，０）とし、視線方向をｚ軸、スキャン方向がｙ軸を向いている場合、（ｘ，ｙ，ｚ）に存在する物体点の投影点（Ｘs，Ｙs）は角倍率ａを用いて
【００３０】
【数１４】
と表せる。Ｙsはｘeに依存しないので、投影点は同一スキャンラインに留まる。また、Ｘsはカメラ位置ｘeに対し直線的に変化する。特に、カメラが等速度υoで移動する場合は、
【００３１】
【数１５】
となり、投影点は時刻ｔに関して線形に変化し、（Ｘs，ｔ）は直線上にのる。
【００３２】
さて、一般の場合でも、同様な線形関係を得ることができる。簡単のため、ｔ＝０におけるカメラの位置を原点にとり、最終フレームｎにおけるカメラの位置を（Ｘ，０，０）ととる。
【００３３】
Ｔ＝ｘe／Ｘ
とおけば、式（２７）から
【００３４】
【数１６】
とできる。すなわち（Ｘs，Ｔ）は直線上にのることが分かる。ここで、Ｔは補正された時刻と見なすことができる。したがって、各フレームｊに対し、補正時刻Ｔjを推定すれば、特徴線軌跡が直線になることが分かる。
【００３５】
補正時刻Ｔjは以下のように推定することができる。ｊを入力画像フレームの番号、最終フレームをｎとし、特徴点軌跡を｛ｘi,j｝とする。直線の傾きＬiを
【００３６】
【数１７】
とする。
【００３７】
【数１８】
という関係がなるべく成り立つようにＴjを決めればよいので、例えば、
【００３８】
【数１９】
を最小とすることにより、Ｔjを推定することができる。その他、既知のラバスト推定法などを用いてもよい（文献Ｂ）。
【００３９】
このように求められた補正時刻Ｔjと特徴点軌跡ｘi,jの対、
（ｘi,j，Ｔj）
は直線上にのるため、これに対して既知のエピポーラ解析処理（例えば文献Ａ）を施せば、速度変動の影響を受けることなく安定に３次元形状の抽出を行うことができる。
【００４０】
次に、本実施形態の処理手順を図１により説明する。
画像入力ステップ１１において、カメラが平行移動しながら撮影する。画像蓄積ステップ１２において、画像入力ステップ１１で撮影された画像列がフレーム毎にメモリに蓄積され、時空間画像５１（図５）が形成される。
【００４１】
安定特徴点抽出ステップ１３では、エッジの角など安定に追跡し得る特徴点を既知の方法（文献Ｂ）で追跡し、特徴点軌跡｛ｘi,j｝を求める。
【００４２】
補正時刻推定ステップ１４では、安定特徴点抽出ステップ１３で求めた特徴点軌跡を用いて、式（３２）の最小化を最小自乗法により行ない、補正時刻Ｔjを求める。
【００４３】
エピポーラ解析に基づく３次元形状抽出ステップ１６は既知の方法（例えば、特願平８−３３８３８８（以下、文献Ｃと呼ぶ）、文献Ａなど）により、補正時刻推定ステップ１４で求められた補正時刻Ｔjを用い、時空間画像５１をスキャンラインｙ＝ｙ0面方向でスライスしたエピポーラ画像５２（図５（２））を解析することにより３次元形状を抽出する。
【００４４】
本実施形態によれば、カメラの移動速度の変動に対し、従来の技術に比べてロバストに３次元形状を復元しうる。
【００４５】
図２を参照すると、本発明の第１の実施形態の３次元形状入力プログラムを記録した記録媒体は、それぞれ図１中の画像入力ステップ１１、画像蓄積ステップ１２、安定特徴点抽出ステップ１３、補正時刻推定ステップ１４、３次元形状抽出ステップ１５の各処理２１〜２５からなる３次元形状入力プログラムを記録した、ＦＤ（フロッピーディスク）、ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）、半導体メモリ等の記録媒体で、ＣＰＵにより３次元形状入力プログラムが読み出され、実行される。
【００４６】
図３を参照すると、本発明の第２の実施形態の３次元形状入力方法は、画像入力処理ステップ３１と画像蓄積ステップ３２と安定特徴点抽出ステップ３３と画像歪み推定ステップ３４と画像補正ステップ３５とエピポーラ解析に基づく３次元形状抽出ステップ３６で構成されている。なお、３次元形状抽出ステップ３６は[００４１]記載のの特徴点軌跡抽出ステップと３次元座標計算ステップを構成している。
【００４７】
画像入力ステップ３１において、カメラがほぼ平行移動しながら撮影する。画像蓄積ステップ３２において、画像入力ステップ３１で撮影された画像列がフレーム毎にメモリに蓄積され、時空間画像５１が形成される。
【００４８】
特徴点抽出ステップ３３では、エッジの角など安定に追跡し得る特徴点を既知の方法（文献Ｂ）で追跡する。
【００４９】
画像歪み推定ステップ３４では、式（２５）に最小自乗法を適用して画像の歪みＡ（ｔ）〜Ｅ（ｔ）を推定する。
【００５０】
画像補正ステップ３５では、式（２４）による画像の変形を行なう。
【００５１】
エピポーラ解析に基づく３次元形状抽出ステップ３６は既知の方法（例えば、文献Ａ、文献Ｃなど）により、時空間画像５１をスキャンラインｙ＝ｙ0面方向でスライスしたエピポーラ画像５２を解析することにより３次元形状を抽出する。
【００５２】
本実施形態によれば、カメラの姿勢、移動方向の変動に対し、従来の技術に比べて、ロバストに３次元形状を復元しうる。
【００５３】
図４を参照すると、本発明の第２の実施形態の３次元形状入力プログラムを記録した記録媒体は、それぞれ図３中の画像入力ステップ３１、画像蓄積ステップ３２、安定特徴点抽出ステップ３３、画像歪み推定ステップ３４、画像補正ステップ３５、３次元形状抽出ステップ３６の各処理４１〜４６からなる３次元形状入力プログラムを記録した、ＦＤ、ＣＤーＲＯＭ、ＭＯ、半導体メモリ等の記録媒体で、ＣＰＵにより３次元形状入力プログラムが読み出され、実行される。
【００５４】
【発明の効果】
以上説明したように、本発明は、画面上の複数の特徴点を時間方向に追跡し、これら特徴点の軌跡がそれぞれ同一のスキャンライン上になるように入力画像を変形することにより、カメラの移動方向、視線方向の変動に強い３次元画像入力方法を実現可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の３次元形状入力方法を示すフローチャートである。
【図２】本発明の第１の実施形態の３次元形状入力プログラムを記録した記録媒体の構成図である。
【図３】本発明の第２の実施形態の３次元形状入力方法を示すフローチャートである。
【図４】本発明の第２の実施形態の３次元形状入力プログラムを記録した記録媒体の構成図である。
【図５】従来技術の説明図である。
【符号の説明】
１１ 画像入力ステップ
１２ 画像蓄積ステップ
１３ 安定特徴点抽出ステップ
１４ 補正時刻推定ステップ
１５ ３次元形状抽出ステップ
２１ 画像入力処理
２２ 画像蓄積処理
２３ 安定特徴点抽出処理
２４ 補正時刻推定処理
２５ ３次元形状抽出処理
３１ 画像入力ステップ
３２ 画像蓄積ステップ
３３ 安定特徴点抽出ステップ
３４ 画像歪み推定ステップ
３５ 画像補正ステップ
３６ ３次元形状抽出ステップ
４１ 画像入力処理
４２ 画像蓄積処理
４３ 安定特徴点抽出処理
４４ 画像歪み推定処理
４５ 画像補正処理
４６ ３次元形状抽出処理
【発明の属する技術分野】
本発明は、実画像から高臨場感画像を生成するのに必要な３次元構造を推定するための３次元形状入力方法に関する。
【０００２】
【従来の技術】
時空間画像を対象とする３次元形状入力方法としては、入力画像を撮影するカメラの移動が視線方向に垂直、かつｘ軸に平行であると仮定する方法が知られている（例：BollesR.C., Baker H. H. and Marimont D. H.: "Epipolar-plane image analysis: an approach to determining structure from motion", IJCV, Vol. 1, NO. 1, pp.7-55, 1987，以下文献Ａと呼ぶ）。この方法を図５を用いて説明する。
【０００３】
図５（１）で、５１はカメラを移動させながら撮影した画像系列ｆo（ｘ，ｙ；ｔ）である。カメラの移動は視線方向（ｚ軸）に垂直、かつスキャンライン方向（ｘ軸）に平行であるとする。この時、同一物点の像点、すなわち特徴点軌跡は、５１においてｙ＝一定の面上に拘束される。ｙ＝一定の画像５２、
【０００４】
【数１】
【０００５】
カメラの移動量が一定であるとすれば、特徴点軌跡５３は直線となる。この傾きは特徴点の奥行き値に比例し、カメラパラメータから奥行きが計算できるので、エピポーラ画像上の特徴点を抽出し、さらに該特徴点の軌跡を推定することにより、該特徴点の軌跡の傾きより、該特徴点の奥行きが求まる。
【０００６】
【発明が解決しようとする課題】
上述した従来の方法は、カメラの移動方向、視線方向が変動する場合には、特徴点軌跡５３は同一エピポーラ画像上においてのみ存在するという仮定が成り立たず、処理の精度が著しく低下するという欠点がある。
【０００７】
本発明の目的は、カメラの移動方向、視線方向が変動した場合にも安定した処理が可能な３次元形状入力方法を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の３次元形状入力方法は、カメラが平行移動しながら撮影された時空間画像をメモリに蓄積する画像蓄積ステップと、時空間画像中の特徴点を抽出する特徴点抽出ステップと、該特徴点の軌跡を抽出する特徴点軌跡抽出ステップと、該特徴点軌跡から特徴点の３次元座標を計算する３次元座標計算ステップとを有する３次元形状入力方法において、
特徴点軌跡抽出ステップと３次元座標計算ステップの間に、
画面上の複数の特徴点を時間方向に追跡し、これらの特徴点の軌跡がそれぞれ同一のスキャンライン上になるように、
視線方向をｚ軸、スキャン方向をｘ軸として、５個以上の特徴点の軌跡を用いカメラの方向および位置の変動が小さいときの投影近似式に最小自乗法を適用して、（ｘ、ｙ、ｚ）に存在する物体の投影点（ＸS，ＹS）のカメラの方向、位置の変動による投影点の変分Ｄxs（ｘ，ｙ）、Ｄys（ｘ，ｙ）を求め、当該２つの変分により入力画像を変形するステップを有する。
【０００９】
入力に用いるカメラのモデルとしてピンホールカメラモデルを用いる。カメラの回転がなく、視線方向がｚ軸、スキャン方向がｘ軸を向いている場合、（ｘ，ｙ，ｚ）に存在する物体点の投影点（Ｘs，Ｙs）は角倍率ａを用いて
【００１０】
【数２】
【００１１】
時刻ｔにおいてカメラがｘ軸回りに−αt、ｙ軸回りに−βt、ｚ軸回りに−γt回転したとする。このときの投影点（Ｘ's，Ｙ's）は以下のように求められる。
【００１２】
まず、各軸回りの回転行列はそれぞれ、
【００１３】
【数３】
【００１４】
【数４】
【００１５】
【数５】
【００１６】
【数６】
【００１７】
【数７】
【００１８】
次に、カメラ位置がＸ軸から−δy、−δzずれた場合を考える。この場合には、
【００１９】
【数８】
【００２０】
【数９】
【００２１】
【数１０】
【００２２】
５個以上の特徴点の軌跡（Ｘi（ｔ），Ｙi（ｔ））からＡ（ｔ）〜Ｅ（ｔ）を推定すれば、これを用いてＤysを求め、
【００２３】
【数１１】
【００２４】
【数１２】
【００２５】
【数１３】
【００２６】
このように、本発明では、カメラの変動による画像の歪みを推定し、入力画像を補正するため、カメラの移動方向、視線方向の変動に強い３次元画像方法を実現できる。
【００２７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２８】
図１を参照すると、本発明の第１の実施形態の３次元形状入力方法は画像入力ステップ１１と画像蓄積ステップ１２と安定特徴点抽出ステップ１３と補正時刻推定ステップ１４とエピポーラ解析に基づく３次元形状抽出ステップ１５で構成される。
【００２９】
まず、本実施形態の原理を説明する。
入力に用いるカメラのモデルとしてピンホールカメラモデルを用いる。カメラの位置を（ｘe，０，０）とし、視線方向をｚ軸、スキャン方向がｙ軸を向いている場合、（ｘ，ｙ，ｚ）に存在する物体点の投影点（Ｘs，Ｙs）は角倍率ａを用いて
【００３０】
【数１４】
【００３１】
【数１５】
【００３２】
さて、一般の場合でも、同様な線形関係を得ることができる。簡単のため、ｔ＝０におけるカメラの位置を原点にとり、最終フレームｎにおけるカメラの位置を（Ｘ，０，０）ととる。
【００３３】
Ｔ＝ｘe／Ｘ
とおけば、式（２７）から
【００３４】
【数１６】
【００３５】
補正時刻Ｔjは以下のように推定することができる。ｊを入力画像フレームの番号、最終フレームをｎとし、特徴点軌跡を｛ｘi,j｝とする。直線の傾きＬiを
【００３６】
【数１７】
【００３７】
【数１８】
【００３８】
【数１９】
【００３９】
このように求められた補正時刻Ｔjと特徴点軌跡ｘi,jの対、
（ｘi,j，Ｔj）
は直線上にのるため、これに対して既知のエピポーラ解析処理（例えば文献Ａ）を施せば、速度変動の影響を受けることなく安定に３次元形状の抽出を行うことができる。
【００４０】
次に、本実施形態の処理手順を図１により説明する。
画像入力ステップ１１において、カメラが平行移動しながら撮影する。画像蓄積ステップ１２において、画像入力ステップ１１で撮影された画像列がフレーム毎にメモリに蓄積され、時空間画像５１（図５）が形成される。
【００４１】
安定特徴点抽出ステップ１３では、エッジの角など安定に追跡し得る特徴点を既知の方法（文献Ｂ）で追跡し、特徴点軌跡｛ｘi,j｝を求める。
【００４２】
補正時刻推定ステップ１４では、安定特徴点抽出ステップ１３で求めた特徴点軌跡を用いて、式（３２）の最小化を最小自乗法により行ない、補正時刻Ｔjを求める。
【００４３】
エピポーラ解析に基づく３次元形状抽出ステップ１６は既知の方法（例えば、特願平８−３３８３８８（以下、文献Ｃと呼ぶ）、文献Ａなど）により、補正時刻推定ステップ１４で求められた補正時刻Ｔjを用い、時空間画像５１をスキャンラインｙ＝ｙ0面方向でスライスしたエピポーラ画像５２（図５（２））を解析することにより３次元形状を抽出する。
【００４４】
本実施形態によれば、カメラの移動速度の変動に対し、従来の技術に比べてロバストに３次元形状を復元しうる。
【００４５】
図２を参照すると、本発明の第１の実施形態の３次元形状入力プログラムを記録した記録媒体は、それぞれ図１中の画像入力ステップ１１、画像蓄積ステップ１２、安定特徴点抽出ステップ１３、補正時刻推定ステップ１４、３次元形状抽出ステップ１５の各処理２１〜２５からなる３次元形状入力プログラムを記録した、ＦＤ（フロッピーディスク）、ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）、半導体メモリ等の記録媒体で、ＣＰＵにより３次元形状入力プログラムが読み出され、実行される。
【００４６】
図３を参照すると、本発明の第２の実施形態の３次元形状入力方法は、画像入力処理ステップ３１と画像蓄積ステップ３２と安定特徴点抽出ステップ３３と画像歪み推定ステップ３４と画像補正ステップ３５とエピポーラ解析に基づく３次元形状抽出ステップ３６で構成されている。なお、３次元形状抽出ステップ３６は[００４１]記載のの特徴点軌跡抽出ステップと３次元座標計算ステップを構成している。
【００４７】
画像入力ステップ３１において、カメラがほぼ平行移動しながら撮影する。画像蓄積ステップ３２において、画像入力ステップ３１で撮影された画像列がフレーム毎にメモリに蓄積され、時空間画像５１が形成される。
【００４８】
特徴点抽出ステップ３３では、エッジの角など安定に追跡し得る特徴点を既知の方法（文献Ｂ）で追跡する。
【００４９】
画像歪み推定ステップ３４では、式（２５）に最小自乗法を適用して画像の歪みＡ（ｔ）〜Ｅ（ｔ）を推定する。
【００５０】
画像補正ステップ３５では、式（２４）による画像の変形を行なう。
【００５１】
エピポーラ解析に基づく３次元形状抽出ステップ３６は既知の方法（例えば、文献Ａ、文献Ｃなど）により、時空間画像５１をスキャンラインｙ＝ｙ0面方向でスライスしたエピポーラ画像５２を解析することにより３次元形状を抽出する。
【００５２】
本実施形態によれば、カメラの姿勢、移動方向の変動に対し、従来の技術に比べて、ロバストに３次元形状を復元しうる。
【００５３】
図４を参照すると、本発明の第２の実施形態の３次元形状入力プログラムを記録した記録媒体は、それぞれ図３中の画像入力ステップ３１、画像蓄積ステップ３２、安定特徴点抽出ステップ３３、画像歪み推定ステップ３４、画像補正ステップ３５、３次元形状抽出ステップ３６の各処理４１〜４６からなる３次元形状入力プログラムを記録した、ＦＤ、ＣＤーＲＯＭ、ＭＯ、半導体メモリ等の記録媒体で、ＣＰＵにより３次元形状入力プログラムが読み出され、実行される。
【００５４】
【発明の効果】
以上説明したように、本発明は、画面上の複数の特徴点を時間方向に追跡し、これら特徴点の軌跡がそれぞれ同一のスキャンライン上になるように入力画像を変形することにより、カメラの移動方向、視線方向の変動に強い３次元画像入力方法を実現可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の３次元形状入力方法を示すフローチャートである。
【図２】本発明の第１の実施形態の３次元形状入力プログラムを記録した記録媒体の構成図である。
【図３】本発明の第２の実施形態の３次元形状入力方法を示すフローチャートである。
【図４】本発明の第２の実施形態の３次元形状入力プログラムを記録した記録媒体の構成図である。
【図５】従来技術の説明図である。
【符号の説明】
１１ 画像入力ステップ
１２ 画像蓄積ステップ
１３ 安定特徴点抽出ステップ
１４ 補正時刻推定ステップ
１５ ３次元形状抽出ステップ
２１ 画像入力処理
２２ 画像蓄積処理
２３ 安定特徴点抽出処理
２４ 補正時刻推定処理
２５ ３次元形状抽出処理
３１ 画像入力ステップ
３２ 画像蓄積ステップ
３３ 安定特徴点抽出ステップ
３４ 画像歪み推定ステップ
３５ 画像補正ステップ
３６ ３次元形状抽出ステップ
４１ 画像入力処理
４２ 画像蓄積処理
４３ 安定特徴点抽出処理
４４ 画像歪み推定処理
４５ 画像補正処理
４６ ３次元形状抽出処理
Claims (3)
- カメラが平行移動しながら撮影された時空間画像をメモリに蓄積する画像蓄積ステップと、
前記時空間画像中の特徴点を抽出する特徴点抽出ステップと、
該特徴点の軌跡を抽出する特徴点軌跡抽出ステップと、
前記特徴点軌跡から特徴点の３次元座標を計算する３次元座標計算ステップと
を有する３次元形状入力方法において、
前記特徴点軌跡抽出ステップと前記３次元座標計算ステップの間に、
画面上の複数の特徴点を時間方向に追跡し、これらの特徴点の軌跡がそれぞれ同一のスキャンライン上になるように、
視線方向をｚ軸、スキャン方向をｘ軸として、５個以上の特徴点の軌跡を用いカメラの方向および位置の変動が小さいときの投影近似式に最小自乗法を適用して、（ｘ、ｙ、ｚ）に存在する物体の投影点（ＸS，ＹS）のカメラの方向、位置の変動による投影点の変分Ｄxs（ｘ，ｙ）、Ｄys（ｘ，ｙ）を求め、当該２つの変分により入力画像を変形するステップを有する
ことを特徴とする３次元形状入力方法。 - 前記カメラの方向の変動は３方向の回転角度であり、
前記カメラの位置の変動はｘ軸からの２方向のずれ量であり、
前記投影近似式はピンホールカメラモデルの角倍率を用いたものである
ことを特徴とする請求項１記載の３次元形状入力方法。 - 請求項１または２に記載の３次元形状入力方法をコンピュータに実行させるためのプログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003207634A JP3860564B2 (ja) | 2003-08-15 | 2003-08-15 | ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003207634A JP3860564B2 (ja) | 2003-08-15 | 2003-08-15 | ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14412498A Division JP3523064B2 (ja) | 1998-05-26 | 1998-05-26 | ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004125783A JP2004125783A (ja) | 2004-04-22 |
| JP3860564B2 true JP3860564B2 (ja) | 2006-12-20 |
Family
ID=32290647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003207634A Expired - Fee Related JP3860564B2 (ja) | 2003-08-15 | 2003-08-15 | ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3860564B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2966956B1 (fr) * | 2010-10-27 | 2012-12-14 | Michelin Soc Tech | Methode de pre-traitement d'une image tri dimensionnelle de la surface d'un pneumatique a l'aide de deformations b-spline successives |
-
2003
- 2003-08-15 JP JP2003207634A patent/JP3860564B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004125783A (ja) | 2004-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4349367B2 (ja) | 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム | |
| US7634143B2 (en) | Image processing apparatus and method, recording medium, and program | |
| JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
| JP3576987B2 (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
| US9495761B2 (en) | Environment mapping with automatic motion model selection | |
| US8126206B2 (en) | Image processing apparatus, image processing method, and program | |
| US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
| JP4613994B2 (ja) | 動態推定装置、動態推定方法、プログラム | |
| US10636165B2 (en) | Information processing apparatus, method and non-transitory computer-readable storage medium | |
| KR20150011938A (ko) | 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치 | |
| JP2019079487A (ja) | パラメータ最適化装置、パラメータ最適化方法、プログラム | |
| JP5251410B2 (ja) | カメラワーク算出プログラム、撮像装置及びカメラワーク算出方法 | |
| Gu et al. | The spatio-temporal poisson point process: A simple model for the alignment of event camera data | |
| JP2010231350A (ja) | 人物識別装置、そのプログラム、及び、その方法 | |
| KR100944293B1 (ko) | 단일 축 회전 영상들로부터의 효율적인 전 방향 3차원모델의 재구성 방법 | |
| JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN111955005B (zh) | 处理360度图像内容的方法和系统 | |
| JP3860564B2 (ja) | ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 | |
| JP6840968B2 (ja) | 形状推定方法、形状推定装置および形状推定プログラム | |
| JP3523064B2 (ja) | ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 | |
| JP2002008014A (ja) | ３次元形状抽出方法及び装置並びに記録媒体 | |
| JP3452188B2 (ja) | ２次元動画像中の特徴点の追跡方法 | |
| JP2006195758A (ja) | ステレオマッチング装置、方法およびこの方法のプログラム | |
| JP5110487B2 (ja) | 動いている対象のスキャン画像の復元方法及び装置 | |
| JP2004133556A (ja) | 三次元形状抽出方法及び三次元形状抽出プログラム及び三次元形状抽出プログラムを格納した記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060725 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060921 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090929 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130929 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |