JPH11339043A - ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 - Google Patents
３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体Info
- Publication number
- JPH11339043A JPH11339043A JP10144124A JP14412498A JPH11339043A JP H11339043 A JPH11339043 A JP H11339043A JP 10144124 A JP10144124 A JP 10144124A JP 14412498 A JP14412498 A JP 14412498A JP H11339043 A JPH11339043 A JP H11339043A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature point
- dimensional shape
- trajectory
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 カメラの移動速度が変動した場合、またカメ
ラの移動方向、視線方向が変動した場合にも安定した処
理が可能な３次元形状入力方法を提供する。 【解決手段】 画像入力ステップ１１では、カメラが平
行移動しながら撮影する。画像蓄積ステップ１２では、
画像入力ステップ１１で撮影された画像列をフレーム毎
にメモリに蓄積し、時空間画像を形成する。安定特徴点
抽出ステップ１３では、エッジの角など安定に追跡し得
る特徴点を既知の方法で追跡し、特徴点軌跡｛ｘi,j｝
を求める。補正時刻推定ステップ１４では、安定特徴点
抽出ステップ１５で求めた特徴点軌跡が直線になるよう
に撮影時刻を変更し、補正時刻Ｔjを求める。３次元形
状抽出ステップ１６では既知の方法により、補正時刻推
定ステップ１３で求められた補正時刻Ｔjを用い、時空
間画像をスキャンラインｙ＝ｙ0面方向でスライスした
エピポーラ画像を解析することにより３次元形状を抽出
する。
ラの移動方向、視線方向が変動した場合にも安定した処
理が可能な３次元形状入力方法を提供する。 【解決手段】 画像入力ステップ１１では、カメラが平
行移動しながら撮影する。画像蓄積ステップ１２では、
画像入力ステップ１１で撮影された画像列をフレーム毎
にメモリに蓄積し、時空間画像を形成する。安定特徴点
抽出ステップ１３では、エッジの角など安定に追跡し得
る特徴点を既知の方法で追跡し、特徴点軌跡｛ｘi,j｝
を求める。補正時刻推定ステップ１４では、安定特徴点
抽出ステップ１５で求めた特徴点軌跡が直線になるよう
に撮影時刻を変更し、補正時刻Ｔjを求める。３次元形
状抽出ステップ１６では既知の方法により、補正時刻推
定ステップ１３で求められた補正時刻Ｔjを用い、時空
間画像をスキャンラインｙ＝ｙ0面方向でスライスした
エピポーラ画像を解析することにより３次元形状を抽出
する。
Description
【０００１】
【発明の属する技術分野】本発明は、実画像から高臨場
感画像を生成するのに必要な３次元構造を推定するため
の３次元形状入力方法に関する。
感画像を生成するのに必要な３次元構造を推定するため
の３次元形状入力方法に関する。
【０００２】
【従来の技術】時空間画像を対象とする３次元形状入力
方法としては、入力画像を撮影するカメラの移動が視線
方向に垂直、かつｙ軸に平行であると仮定する方法が知
られている（例：Bolles R.C., Baker H. H. and Marim
ont D. H.: "Epipolar-plane image analysis: an appr
oach to determining structure from motion", IJCV,V
ol. 1, NO. 1, pp. 7-55, 1987，以下文献Ａと呼ぶ）。
この方法を図５を用いて説明する。
方法としては、入力画像を撮影するカメラの移動が視線
方向に垂直、かつｙ軸に平行であると仮定する方法が知
られている（例：Bolles R.C., Baker H. H. and Marim
ont D. H.: "Epipolar-plane image analysis: an appr
oach to determining structure from motion", IJCV,V
ol. 1, NO. 1, pp. 7-55, 1987，以下文献Ａと呼ぶ）。
この方法を図５を用いて説明する。
【０００３】図５（１）で、５１はカメラを移動させな
がら撮影した画像系列ｆo（ｘ，ｙ；ｔ）である。カメ
ラの移動は視線方向（ｚ軸）に垂直、かつスキャンライ
ン方向（ｘ軸）に平行であるとする。この時、同一物点
の像点、すなわち特徴点軌跡は、５１においてｙ＝一定
の面上に拘束される。ｙ＝一定の画像５２、
がら撮影した画像系列ｆo（ｘ，ｙ；ｔ）である。カメ
ラの移動は視線方向（ｚ軸）に垂直、かつスキャンライ
ン方向（ｘ軸）に平行であるとする。この時、同一物点
の像点、すなわち特徴点軌跡は、５１においてｙ＝一定
の面上に拘束される。ｙ＝一定の画像５２、
【０００４】
【数１】 はエピポーラ画像と呼ばれる。特徴点軌跡５３は同一エ
ピポーラ画像上においてのみ存在するので、特徴点軌跡
の処理はエピポーラ画像上で行なえばよい。
ピポーラ画像上においてのみ存在するので、特徴点軌跡
の処理はエピポーラ画像上で行なえばよい。
【０００５】カメラの移動量が一定であるとすれば、特
徴点軌跡５３は直線となる。この傾きは特徴点の奥行き
値に比例し、カメラパラメータから奥行きが計算できる
ので、エピポーラ画像上の特徴点を抽出し、さらに該特
徴点の軌跡を推定することにより、該特徴点の軌跡の傾
きより、該特徴点の奥行きが求まる。
徴点軌跡５３は直線となる。この傾きは特徴点の奥行き
値に比例し、カメラパラメータから奥行きが計算できる
ので、エピポーラ画像上の特徴点を抽出し、さらに該特
徴点の軌跡を推定することにより、該特徴点の軌跡の傾
きより、該特徴点の奥行きが求まる。
【０００６】
【発明が解決しようとする課題】上述した従来の方法
は、カメラの移動速度が変動する場合には、特徴点軌跡
は直線とならないので、処理の精度が著しく低下すると
いう欠点があり、またカメラの移動方向、視線方向が変
動する場合には、特徴点軌跡５３は同一エピポーラ画像
上においてのみ存在するという仮定が成り立たず、処理
の精度が著しく低下するという欠点がある。
は、カメラの移動速度が変動する場合には、特徴点軌跡
は直線とならないので、処理の精度が著しく低下すると
いう欠点があり、またカメラの移動方向、視線方向が変
動する場合には、特徴点軌跡５３は同一エピポーラ画像
上においてのみ存在するという仮定が成り立たず、処理
の精度が著しく低下するという欠点がある。
【０００７】本発明の目的は、カメラの移動速度が変動
した場合にも安定した処理が可能な３次元形状入力方法
を提供することにある。
した場合にも安定した処理が可能な３次元形状入力方法
を提供することにある。
【０００８】本発明の他の目的は、カメラの移動方向、
視線方向が変動した場合にも安定した処理が可能な３次
元形状入力方法を提供することにある。
視線方向が変動した場合にも安定した処理が可能な３次
元形状入力方法を提供することにある。
【０００９】
【課題を解決するための手段】本発明の第１では、画面
上の複数の特徴点を時間方向に追跡し、特徴点軌跡が直
線になるように撮影時刻を変更し、この後に、３次元画
像計算処理を適用する。
上の複数の特徴点を時間方向に追跡し、特徴点軌跡が直
線になるように撮影時刻を変更し、この後に、３次元画
像計算処理を適用する。
【００１０】入力に用いるカメラのモデルとしてピンホ
ールカメラモデルを用いる。カメラの位置を（ｘe，
０，０）とし、視線方向をｚ軸、スキャン方向がｙ軸を
向いている場合、（ｘ，ｙ，ｚ）に存在する物体点の投
影点（Ｘs，Ｙs）は角倍率ａを用いて
ールカメラモデルを用いる。カメラの位置を（ｘe，
０，０）とし、視線方向をｚ軸、スキャン方向がｙ軸を
向いている場合、（ｘ，ｙ，ｚ）に存在する物体点の投
影点（Ｘs，Ｙs）は角倍率ａを用いて
【００１１】
【数２】 と表せる。Ｙsはｘeに依存しないので、投影点は同一ス
キャンラインに留まる。また、Ｘsはカメラ位置ｘeに対
し直線的に変化する。特に、カメラが等速度υoで移動
する場合は、
キャンラインに留まる。また、Ｘsはカメラ位置ｘeに対
し直線的に変化する。特に、カメラが等速度υoで移動
する場合は、
【００１２】
【数３】 となり、投影点は時刻ｔに関して線形に変化し、
（Ｘs，ｔ）は直線上にのる。
（Ｘs，ｔ）は直線上にのる。
【００１３】さて、一般の場合でも、同様な線形関係を
得ることができる。簡単のため、ｔ＝０におけるカメラ
の位置を原点にとり、最終フレームｎにおけるカメラの
位置を（Ｘ，０，０）ととる。
得ることができる。簡単のため、ｔ＝０におけるカメラ
の位置を原点にとり、最終フレームｎにおけるカメラの
位置を（Ｘ，０，０）ととる。
【００１４】Ｔ＝ｘe／Ｘ とおけば、式（２）から
【００１５】
【数４】 とできる。すなわち（Ｘs，Ｔ）は直線上にのることが
分かる。ここで、Ｔは補正された時刻と見なすことがで
きる。したがって、各フレームｊに対し、補正時刻Ｔj
を推定すれば、特徴線軌跡が直線になることが分かる。
分かる。ここで、Ｔは補正された時刻と見なすことがで
きる。したがって、各フレームｊに対し、補正時刻Ｔj
を推定すれば、特徴線軌跡が直線になることが分かる。
【００１６】補正時刻Ｔjは以下のように推定すること
ができる。ｊを入力画像フレームの番号、最終フレーム
をｎとし、特徴点軌跡を｛ｘi,j｝とする。直線の傾き
Ｌiを
ができる。ｊを入力画像フレームの番号、最終フレーム
をｎとし、特徴点軌跡を｛ｘi,j｝とする。直線の傾き
Ｌiを
【００１７】
【数５】 とする。
【００１８】
【数６】 という関係がなるべく成り立つようにＴjを決めればよ
いので、例えば、
いので、例えば、
【００１９】
【数７】 を最小とすることにより、Ｔjを推定することができ
る。その他、既知のラバスト推定法（例：Z. Zhang, e
t. al, A robust technique for matching two uncalib
rated images through the recovery of the unknown e
pipolar geometry, Artificial Intelligence, Vol. 7
8,(1995)87-119,以下、文献Ｂと呼ぶ）などを用いても
よい。
る。その他、既知のラバスト推定法（例：Z. Zhang, e
t. al, A robust technique for matching two uncalib
rated images through the recovery of the unknown e
pipolar geometry, Artificial Intelligence, Vol. 7
8,(1995)87-119,以下、文献Ｂと呼ぶ）などを用いても
よい。
【００２０】このように求められた補正時刻Ｔjと特徴
点軌跡ｘi,jの対、 （ｘi,j，Ｔj） は直線上にのるため、これに対して既知のエピポーラ解
析処理（例えば文献Ａ）を施せば、速度変動の影響を受
けることなく安定に３次元形状の抽出を行うことができ
る。
点軌跡ｘi,jの対、 （ｘi,j，Ｔj） は直線上にのるため、これに対して既知のエピポーラ解
析処理（例えば文献Ａ）を施せば、速度変動の影響を受
けることなく安定に３次元形状の抽出を行うことができ
る。
【００２１】また、本発明の第２では、画面上の複数の
特徴点を時間方向に追跡し、これら特徴点の軌跡がそれ
ぞれ同一のスキャンライン上になるように入力画像を変
形し、この後に、３次元画像計算処理を適用する。
特徴点を時間方向に追跡し、これら特徴点の軌跡がそれ
ぞれ同一のスキャンライン上になるように入力画像を変
形し、この後に、３次元画像計算処理を適用する。
【００２２】入力に用いるカメラのモデルとしてピンホ
ールカメラモデルを用いる。カメラの回転がなく、視線
方向がｚ軸、スキャン方向がｘ軸を向いている場合、
（ｘ，ｙ，ｚ）に存在する物体点の投影点（Ｘs，Ｙs）
は角倍率ａを用いて
ールカメラモデルを用いる。カメラの回転がなく、視線
方向がｚ軸、スキャン方向がｘ軸を向いている場合、
（ｘ，ｙ，ｚ）に存在する物体点の投影点（Ｘs，Ｙs）
は角倍率ａを用いて
【００２３】
【数８】 と表せる。
【００２４】時刻ｔにおいてカメラがｘ軸回りに−
αt、ｙ軸回りに−βt、ｚ軸回りに−γ t回転したとす
る。このときの投影点（Ｘ’s，Ｙ’s）は以下のように
求められる。
αt、ｙ軸回りに−βt、ｚ軸回りに−γ t回転したとす
る。このときの投影点（Ｘ’s，Ｙ’s）は以下のように
求められる。
【００２５】まず、各軸回りの回転行列はそれぞれ、
【００２６】
【数９】 であり、全体の回転行列Ｒは
【００２７】
【数１０】 となる。特に回転角−αt，−βt，−γtが小さい場合
には
には
【００２８】
【数１１】 と近似できる。投影点は、
【００２９】
【数１２】 となる。近似式（１３）を用いれば、
【００３０】
【数１３】 と近似できる。
【００３１】次に、カメラ位置がＸ軸から−δy、−δz
ずれた場合を考える。この場合には、
ずれた場合を考える。この場合には、
【００３２】
【数１４】 となる。δy、δzが小さい場合には、
【００３３】
【数１５】 と近似できる。ここで、第２項、第３項はｚに依存する
が、ｚの変化が小さい場合には、定数と見なすことがで
きる。式（１８）、（２２）から、カメラの方向、位置
の変動による投影点の変分Ｄxs＝Ｘs−Ｘ’s、Ｄys＝Ｙ
s−Ｙ’sは、
が、ｚの変化が小さい場合には、定数と見なすことがで
きる。式（１８）、（２２）から、カメラの方向、位置
の変動による投影点の変分Ｄxs＝Ｘs−Ｘ’s、Ｄys＝Ｙ
s−Ｙ’sは、
【００３４】
【数１６】 と書き表せる。Ａ（ｔ）〜Ｅ（ｔ）は各フレームｔ毎に
決まる定数であり、入力画像の歪みを表している。カメ
ラ定数ａが既知であれば、これらから、α（ｔ）、β
（ｔ）、γ（ｔ）、δy、δzを求めることができ、ｘ方
向の変分Ｄxs＝Ｘs−Ｘ’sを計算することができる。
決まる定数であり、入力画像の歪みを表している。カメ
ラ定数ａが既知であれば、これらから、α（ｔ）、β
（ｔ）、γ（ｔ）、δy、δzを求めることができ、ｘ方
向の変分Ｄxs＝Ｘs−Ｘ’sを計算することができる。
【００３５】５個以上の特徴点の軌跡（Ｘi（ｔ），Ｙi
（ｔ））からＡ（ｔ）〜Ｅ（ｔ）を推定すれば、これを
用いてＤysを求め、
（ｔ））からＡ（ｔ）〜Ｅ（ｔ）を推定すれば、これを
用いてＤysを求め、
【００３６】
【数１７】 により入力画像を変形し、歪みを減少させることができ
る。ｆnewは補正された入力画像を示している。この推
定は、例えば、
る。ｆnewは補正された入力画像を示している。この推
定は、例えば、
【００３７】
【数１８】 を最小化するＡ（ｔ）〜Ｅ（ｔ）を最小自乗法で解くこ
とが行なえる。また、
とが行なえる。また、
【００３８】
【数１９】 によりラバスト推定することもできる（文献Ｂ）。
【００３９】このように、本発明では、カメラの変動に
よる画像の歪みを推定し、入力画像を補正するため、カ
メラの移動方向、視線方向が変動に強い３次元画像方法
を実現できる。
よる画像の歪みを推定し、入力画像を補正するため、カ
メラの移動方向、視線方向が変動に強い３次元画像方法
を実現できる。
【００４０】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００４１】図１を参照すると、本発明の第１の実施形
態の３次元形状入力方法は画像入力ステップ１１と画像
蓄積ステップ１２と安定特徴点抽出ステップ１３と補正
時刻推定ステップ１４とエピポーラ解析に基づく３次元
形状抽出ステップ１５で構成される。なお、３次元形状
抽出ステップ１５は請求項１の特徴点軌跡抽出ステップ
と３次元座標計算ステップを構成している。
態の３次元形状入力方法は画像入力ステップ１１と画像
蓄積ステップ１２と安定特徴点抽出ステップ１３と補正
時刻推定ステップ１４とエピポーラ解析に基づく３次元
形状抽出ステップ１５で構成される。なお、３次元形状
抽出ステップ１５は請求項１の特徴点軌跡抽出ステップ
と３次元座標計算ステップを構成している。
【００４２】画像入力ステップ１１において、カメラが
平行移動しながら撮影する。画像蓄積ステップ１２にお
いて、画像入力ステップ１１で撮影された画像列がフレ
ーム毎にメモリに蓄積され、時空間画像５１（図５）が
形成される。
平行移動しながら撮影する。画像蓄積ステップ１２にお
いて、画像入力ステップ１１で撮影された画像列がフレ
ーム毎にメモリに蓄積され、時空間画像５１（図５）が
形成される。
【００４３】安定特徴点抽出ステップ１３では、エッジ
の角など安定に追跡し得る特徴点を既知の方法（文献
Ｂ）で追跡し、特徴点軌跡｛ｘi,j｝を求める。
の角など安定に追跡し得る特徴点を既知の方法（文献
Ｂ）で追跡し、特徴点軌跡｛ｘi,j｝を求める。
【００４４】補正時刻推定ステップ１４では、安定特徴
点抽出ステップ１３で求めた特徴点軌跡を用いて、式
（６）の最小化を最小自乗法により行ない、補正時刻Ｔ
jを求める。
点抽出ステップ１３で求めた特徴点軌跡を用いて、式
（６）の最小化を最小自乗法により行ない、補正時刻Ｔ
jを求める。
【００４５】エピポーラ解析に基づく３次元形状抽出ス
テップ１６は既知の方法（例えば、特願平８−３３８３
８８（以下、文献Ｃと呼ぶ）、文献Ａなど）により、補
正時刻推定ステップ１４で求められた補正時刻Ｔjを用
い、時空間画像５１をスキャンラインｙ＝ｙ0面方向で
スライスしたエピポーラ画像５２（図５（２））を解析
することにより３次元形状を抽出する。
テップ１６は既知の方法（例えば、特願平８−３３８３
８８（以下、文献Ｃと呼ぶ）、文献Ａなど）により、補
正時刻推定ステップ１４で求められた補正時刻Ｔjを用
い、時空間画像５１をスキャンラインｙ＝ｙ0面方向で
スライスしたエピポーラ画像５２（図５（２））を解析
することにより３次元形状を抽出する。
【００４６】本実施形態によれば、カメラの移動速度の
変動に対し、従来の技術に比べてラバストに３次元形状
を復元しうる。
変動に対し、従来の技術に比べてラバストに３次元形状
を復元しうる。
【００４７】図２を参照すると、本発明の第１の実施形
態の３次元形状入力プログラムを記録した記録媒体は、
それぞれ図１中の画像入力ステップ１１、画像蓄積ステ
ップ１２、安定特徴点抽出ステップ１３、補正時刻推定
ステップ１４、３次元形状抽出ステップ１５の各処理２
１〜２５からなる３次元形状入力プログラムを記録し
た、ＦＤ（フロッピーディスク）、ＣＤ−ＲＯＭ、ＭＯ
（光磁気ディスク）、半導体メモリ等の記録媒体で、Ｃ
ＰＵにより３次元形状入力プログラムが読み出され、実
行される。
態の３次元形状入力プログラムを記録した記録媒体は、
それぞれ図１中の画像入力ステップ１１、画像蓄積ステ
ップ１２、安定特徴点抽出ステップ１３、補正時刻推定
ステップ１４、３次元形状抽出ステップ１５の各処理２
１〜２５からなる３次元形状入力プログラムを記録し
た、ＦＤ（フロッピーディスク）、ＣＤ−ＲＯＭ、ＭＯ
（光磁気ディスク）、半導体メモリ等の記録媒体で、Ｃ
ＰＵにより３次元形状入力プログラムが読み出され、実
行される。
【００４８】図３を参照すると、本発明の第２の実施形
態の３次元形状入力方法は、画像入力処理ステップ３１
と画像蓄積ステップ３２と安定特徴点抽出ステップ３３
と画像歪み推定ステップ３４と画像補正ステップ３５と
エピポーラ解析に基づく３次元形状抽出ステップ３６で
構成されている。なお、３次元形状抽出ステップ３６は
請求項４の特徴点軌跡抽出ステップと３次元座標計算ス
テップを構成している。
態の３次元形状入力方法は、画像入力処理ステップ３１
と画像蓄積ステップ３２と安定特徴点抽出ステップ３３
と画像歪み推定ステップ３４と画像補正ステップ３５と
エピポーラ解析に基づく３次元形状抽出ステップ３６で
構成されている。なお、３次元形状抽出ステップ３６は
請求項４の特徴点軌跡抽出ステップと３次元座標計算ス
テップを構成している。
【００４９】画像入力ステップ３１において、カメラが
ほぼ平行移動しながら撮影する。画像蓄積ステップ３２
において、画像入力ステップ３１で撮影された画像列が
フレーム毎にメモリに蓄積され、時空間画像５１が形成
される。
ほぼ平行移動しながら撮影する。画像蓄積ステップ３２
において、画像入力ステップ３１で撮影された画像列が
フレーム毎にメモリに蓄積され、時空間画像５１が形成
される。
【００５０】特徴点抽出ステップ３３では、エッジの角
など安定に追跡し得る特徴点を既知の方法（文献Ｂ）で
追跡する。
など安定に追跡し得る特徴点を既知の方法（文献Ｂ）で
追跡する。
【００５１】画像歪み推定ステップ３４では、式（３
１）に最小自乗法を適用して画像の歪みＡ（ｔ）〜Ｅ
（ｔ）を推定する。
１）に最小自乗法を適用して画像の歪みＡ（ｔ）〜Ｅ
（ｔ）を推定する。
【００５２】画像補正ステップ３５では、式（３０）に
よる画像の変形を行なう。
よる画像の変形を行なう。
【００５３】エピポーラ解析に基づく３次元形状抽出ス
テップ３６は既知の方法（例えば、文献Ａ、文献Ｃな
ど）により、時空間画像５１をスキャンラインｙ＝ｙ0
面方向でスライスしたエピポーラ画像５２を解析するこ
とにより３次元形状を抽出する。
テップ３６は既知の方法（例えば、文献Ａ、文献Ｃな
ど）により、時空間画像５１をスキャンラインｙ＝ｙ0
面方向でスライスしたエピポーラ画像５２を解析するこ
とにより３次元形状を抽出する。
【００５４】本実施形態によれば、カメラの姿勢、移動
方向の変動に対し、従来の技術に比べて、ラバストに３
次元形状を復元しうる。
方向の変動に対し、従来の技術に比べて、ラバストに３
次元形状を復元しうる。
【００５５】図４を参照すると、本発明の第２の実施形
態の３次元形状入力プログラムを記録した記録媒体は、
それぞれ図３中の画像入力ステップ３１、画像蓄積ステ
ップ３２、安定特徴点抽出ステップ３３、画像歪み推定
ステップ３４、画像補正ステップ３５、３次元形状抽出
ステップ３６の各処理４１〜４６からなる３次元形状入
力プログラムを記録した、ＦＤ、ＣＤーＲＯＭ、ＭＯ、
半導体メモリ等の記録媒体で、ＣＰＵにより３次元形状
入力プログラムが読み出され、実行される。
態の３次元形状入力プログラムを記録した記録媒体は、
それぞれ図３中の画像入力ステップ３１、画像蓄積ステ
ップ３２、安定特徴点抽出ステップ３３、画像歪み推定
ステップ３４、画像補正ステップ３５、３次元形状抽出
ステップ３６の各処理４１〜４６からなる３次元形状入
力プログラムを記録した、ＦＤ、ＣＤーＲＯＭ、ＭＯ、
半導体メモリ等の記録媒体で、ＣＰＵにより３次元形状
入力プログラムが読み出され、実行される。
【００５６】
【発明の効果】以上説明したように、本発明は下記のよ
うな効果がある。
うな効果がある。
【００５７】１）請求項１と６の発明は、画面上の複数
の特徴点を時間方向に追跡し、これら特徴点の軌跡がそ
れぞれ同一の直線上になるように補正時刻を求めること
により、カメラの移動速度の変動により強い３次元画像
入力方法を実現可能となる。
の特徴点を時間方向に追跡し、これら特徴点の軌跡がそ
れぞれ同一の直線上になるように補正時刻を求めること
により、カメラの移動速度の変動により強い３次元画像
入力方法を実現可能となる。
【００５８】２）請求項４と８の発明は、画面上の複数
の特徴点を時間方向に追跡し、これら特徴点の軌跡がそ
れぞれ同一のスキャンライン上になるように入力画像を
変形することにより、カメラの移動方向、視線方向の変
動に強い３次元画像入力方法を実現可能となる。
の特徴点を時間方向に追跡し、これら特徴点の軌跡がそ
れぞれ同一のスキャンライン上になるように入力画像を
変形することにより、カメラの移動方向、視線方向の変
動に強い３次元画像入力方法を実現可能となる。
【図１】本発明の第１の実施形態の３次元形状入力方法
を示すフローチャートである。
を示すフローチャートである。
【図２】本発明の第１の実施形態の３次元形状入力プロ
グラムを記録した記録媒体の構成図である。
グラムを記録した記録媒体の構成図である。
【図３】本発明の第２の実施形態の３次元形状入力方法
を示すフローチャートである。
を示すフローチャートである。
【図４】本発明の第２の実施形態の３次元形状入力プロ
グラムを記録した記録媒体の構成図である。
グラムを記録した記録媒体の構成図である。
【図５】従来技術の説明図である。
１１ 画像入力ステップ １２ 画像蓄積ステップ １３ 安定特徴点抽出ステップ １４ 補正時刻推定ステップ １５ ３次元形状抽出ステップ ２１ 画像入力処理 ２２ 画像蓄積処理 ２３ 安定特徴点抽出処理 ２４ 補正時刻推定処理 ２５ ３次元形状抽出処理 ３１ 画像入力ステップ ３２ 画像蓄積ステップ ３３ 安定特徴点抽出ステップ ３４ 画像歪み推定ステップ ３５ 画像補正ステップ ３６ ３次元形状抽出ステップ ４１ 画像入力処理 ４２ 画像蓄積処理 ４３ 安定特徴点抽出処理 ４４ 画像歪み推定処理 ４５ 画像補正処理 ４６ ３次元形状抽出処理
───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 達樹 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内
Claims (9)
- 【請求項１】 カメラを移動させながら画像を入力する
画像入力ステップと、入力された画像列を蓄積し、時空
間画像を形成する画像蓄積ステップと、前記時空間画像
中の特徴点を抽出する特徴点抽出ステップと、該特徴点
の軌跡を抽出する特徴点軌跡抽出ステップと、該特徴点
軌跡から特徴点の３次元座標を計算する３次元座標計算
ステップを有する３次元形状入力方法において、前記特
徴点軌跡抽出ステップと前記３次元座標計算ステップの
間に、画面上の複数の特徴点を時間方向に追跡し、特徴
点軌跡が直線になるように撮影時刻を変更するステップ
を有することを特徴とする３次元形状入力方法。 - 【請求項２】 前記撮影時刻を変更するステップが、ｊ
を入力画像フレームの番号、ｎを最終フレームの番号、
Ｔjを撮影時刻、｛ｘi,j｝を特徴点軌跡とすると、Ｌi
＝ｘi,n−ｘi,0として、ＬiＴj＝ｘi,jの関係が成り立
つように撮影時刻Ｔjを算出するステップを含む、請求
項１記載の３次元形状入力方法。 - 【請求項３】 撮影時刻Ｔjを最小二乗法またはラバス
ト推定法を用いて求める、請求項２記載の３次元形状入
力方法。 - 【請求項４】 カメラを移動させながら画像を入力する
画像入力ステップと、入力された画像列を蓄積し、時空
間画像を形成する画像蓄積ステップと、前記時空間画像
中の特徴点を抽出する特徴点抽出ステップと、該特徴点
の軌跡を抽出する特徴点軌跡抽出ステップと、該特徴点
軌跡から特徴点の３次元座標を計算する３次元座標計算
ステップを有する３次元形状入力方法において、前記特
徴点軌跡抽出ステップと前記３次元座標計算ステップの
間に、画面上の複数の特徴点を時間方向に追跡し、これ
ら特徴点の軌跡がそれぞれ同一のスキャンライン上にな
るように入力画像を変形するステップを有することを特
徴とする３次元形状入力方法。 - 【請求項５】 前記入力画像を変形するステップが、視
線方向をｚ軸、スキャン方向をｘ軸として、（ｘ，ｙ，
ｚ）に存在する物体点の投影点（Ｘs，Ｙs）の、カメラ
を微小角ｘ軸、ｙ軸、ｚ軸回りに回転させたときの投影
点（Ｘ’s，Ｙ’s）を求めるステップと、カメラの方
向、位置の変動による投影点の変分Ｄx s＝Ｘs−Ｘs’、
Ｄys＝Ｙs−Ｙs’を求めるステップと、式ｆnew（ｘ，
ｙ；ｔ）＝ｆ（ｘ＋Ｄxs（ｘ，ｙ），ｙ＋Ｄys（ｘ，
ｙ）；ｔ）により入力画像を変形するステップを含む、
請求項４記載の３次元形状入力方法。 - 【請求項６】 カメラを移動させながら画像を入力する
画像入力処理と、入力された画像列を蓄積し、時空間画
像を形成する画像蓄積処理と、前記時空間画像中の特徴
点を抽出する特徴点抽出処理と、該特徴点の軌跡を抽出
する特徴点軌跡抽出処理と、画面上の複数の特徴点を時
間方向に追跡し、特徴点軌跡が直線になるように撮影時
刻を変更する撮影時刻変更処理と、前記特徴点軌跡から
３次元座標を計算する３次元座標計算処理をコンピュー
タに実行させるための３次元形状入力プログラムを記録
した記録媒体。 - 【請求項７】 前記撮影時刻を変更する処理が、ｊを入
力画像フレームの番号、ｎを最終フレームの番号、Ｔj
を撮影時刻、｛ｘi,j｝を特徴点軌跡とすると、Ｌi＝ｘ
i,n−ｘi,0として、ＬiＴj＝ｘi,jの関係が成り立つよ
うに撮影時刻Ｔ jを算出する処理を含む、請求項６記載
の記録媒体。 - 【請求項８】 カメラを移動させながら画像を入力させ
ながら画像を入力する画像入力処理と、入力された画像
列を蓄積し、時空間画像を形成する画像蓄積処理と、前
記時空間画像中の特徴点を抽出する特徴点抽出処理と、
該特徴点の軌跡を抽出する特徴点軌跡抽出処理と、画面
上の複数の特徴点を時間方向に追跡し、これらの特徴点
の軌跡がそれぞれ同一のスキャンライン上になるように
入力画像を変形する処理と、前記特徴点の軌跡から特徴
点の３次元座標を計算する３次元座標計算処理をコンピ
ュータに実行させるための３次元座標入力プログラムを
記録した記録媒体。 - 【請求項９】 前記入力画像を変形する処理が、視線方
向をｚ軸、スキャン方向をｘ軸として、（ｘ，ｙ，ｚ）
に存在する物体点の投影点（Ｘs，Ｙs）の、カメラを微
小角ｘ軸、ｙ軸、ｚ軸回りに回転させたときの投影点
（Ｘ’s，Ｙ’s）を求めるステップと、カメラの方向、
位置の変動による投影点の変分Ｄxs＝Ｘ s−Ｘs’、Ｄys
＝Ｙs−Ｙs’を求めるステップと、式ｆnew（ｘ，ｙ，
ｔ）＝ｆ（ｘ＋Ｄxs（ｘ，ｙ），ｙ＋Ｄys（ｘ，ｙ）；
ｔ）により入力画像を変形するステップを含む、請求項
８記載の記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14412498A JP3523064B2 (ja) | 1998-05-26 | 1998-05-26 | ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14412498A JP3523064B2 (ja) | 1998-05-26 | 1998-05-26 | ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003207634A Division JP3860564B2 (ja) | 2003-08-15 | 2003-08-15 | ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11339043A true JPH11339043A (ja) | 1999-12-10 |
| JP3523064B2 JP3523064B2 (ja) | 2004-04-26 |
Family
ID=15354765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14412498A Expired - Fee Related JP3523064B2 (ja) | 1998-05-26 | 1998-05-26 | ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3523064B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6633664B1 (en) | 1999-05-11 | 2003-10-14 | Nippon Telegraph And Telephone Corporation | Three-dimensional structure acquisition method, apparatus and computer readable medium |
| US8014588B2 (en) | 2005-11-04 | 2011-09-06 | Cognitech, Inc. | System and method for three-dimensional estimation based on image data |
-
1998
- 1998-05-26 JP JP14412498A patent/JP3523064B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6633664B1 (en) | 1999-05-11 | 2003-10-14 | Nippon Telegraph And Telephone Corporation | Three-dimensional structure acquisition method, apparatus and computer readable medium |
| US8014588B2 (en) | 2005-11-04 | 2011-09-06 | Cognitech, Inc. | System and method for three-dimensional estimation based on image data |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3523064B2 (ja) | 2004-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
| US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
| US7634143B2 (en) | Image processing apparatus and method, recording medium, and program | |
| US9495761B2 (en) | Environment mapping with automatic motion model selection | |
| JP3576987B2 (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
| JPWO2005043466A1 (ja) | 物体の状態を推定する推定システム、推定方法および推定プログラム | |
| JP2002324234A (ja) | 立体画像を偏歪修正する方法および装置 | |
| CN111951325B (zh) | 位姿跟踪方法、位姿跟踪装置及电子设备 | |
| JP2017220715A (ja) | 画像処理装置、画像処理方法、プログラム | |
| US9838572B2 (en) | Method and device for determining movement between successive video images | |
| JP5251410B2 (ja) | カメラワーク算出プログラム、撮像装置及びカメラワーク算出方法 | |
| JP2017123087A (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
| JP2014216813A (ja) | カメラ姿勢推定装置及びそのプログラム | |
| JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US6633664B1 (en) | Three-dimensional structure acquisition method, apparatus and computer readable medium | |
| CN111955005B (zh) | 处理360度图像内容的方法和系统 | |
| JP3523064B2 (ja) | ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 | |
| JP3860564B2 (ja) | ３次元形状入力方法および３次元形状入力プログラムを記録した記録媒体 | |
| CN113034345B (zh) | 一种基于sfm重建的人脸识别方法及系统 | |
| CN109379577B (zh) | 一种虚拟视点的视频生成方法、装置及设备 | |
| JP3452188B2 (ja) | ２次元動画像中の特徴点の追跡方法 | |
| JP2004133556A (ja) | 三次元形状抽出方法及び三次元形状抽出プログラム及び三次元形状抽出プログラムを格納した記憶媒体 | |
| CN116402826B (zh) | 视觉坐标系的修正方法、装置、设备及存储介质 | |
| US20240029283A1 (en) | Image depth prediction method, electronic device, and non-transitory storage medium | |
| JP7164873B2 (ja) | 画像処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031209 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20031222 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040205 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080220 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100220 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110220 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |