JP3523064B2 - 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体 - Google Patents
3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体Info
- Publication number
- JP3523064B2 JP3523064B2 JP14412498A JP14412498A JP3523064B2 JP 3523064 B2 JP3523064 B2 JP 3523064B2 JP 14412498 A JP14412498 A JP 14412498A JP 14412498 A JP14412498 A JP 14412498A JP 3523064 B2 JP3523064 B2 JP 3523064B2
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- image
- dimensional shape
- shape input
- input method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
感画像を生成するのに必要な3次元構造を推定するため
の3次元形状入力方法に関する。
方法としては、入力画像を撮影するカメラの移動が視線
方向に垂直、かつx軸に平行であると仮定する方法が知
られている(例:BollesR.C., Baker H. H. and Marimo
nt D. H.: "Epipolar-plane image analysis: anapproa
ch to determining structure from motion", IJCV, Vo
l. 1, NO. 1, pp. 7-55,1987,以下文献Aと呼ぶ)。こ
の方法を図5を用いて説明する。
がら撮影した画像系列fo(x,y;t)である。カメ
ラの移動は視線方向(z軸)に垂直、かつスキャンライ
ン方向(x軸)に平行であるとする。この時、同一物点
の像点、すなわち特徴点軌跡は、51においてy=一定
の面上に拘束される。y=一定の画像52、
ピポーラ画像上においてのみ存在するので、特徴点軌跡
の処理はエピポーラ画像上で行なえばよい。
徴点軌跡53は直線となる。この傾きは特徴点の奥行き
値に比例し、カメラパラメータから奥行きが計算できる
ので、エピポーラ画像上の特徴点を抽出し、さらに該特
徴点の軌跡を推定することにより、該特徴点の軌跡の傾
きより、該特徴点の奥行きが求まる。
は、カメラの移動速度が変動する場合には、特徴点軌跡
は直線とならないので、処理の精度が著しく低下すると
いう欠点がある。
した場合にも安定した処理が可能な3次元形状入力方法
を提供することにある。
数の特徴点を時間方向に追跡し、特徴点軌跡が直線にな
るように撮影時刻を変更し、この後に、3次元画像計算
処理を適用する。
ールカメラモデルを用いる。カメラの位置を(xe,
0,0)とし、視線方向をz軸、スキャン方向がy軸を
向いている場合、(x,y,z)に存在する物体点の投
影点(Xs,Ys)は角倍率aを用いて
キャンラインに留まる。また、X sはカメラ位置xeに対
し直線的に変化する。特に、カメラが等速度υoで移動
する場合は、
(Xs,t)は直線上にのる。
得ることができる。簡単のため、t=0におけるカメラ
の位置を原点にとり、最終フレームnにおけるカメラの
位置を(X,0,0)ととる。
分かる。ここで、Tは補正された時刻と見なすことがで
きる。したがって、各フレームjに対し、補正時刻Tj
を推定すれば、特徴線軌跡が直線になることが分かる。
ができる。jを入力画像フレームの番号、最終フレーム
をnとし、特徴点軌跡を{xi,j}とする。直線の傾き
Liを
いので、例えば、
る。その他、既知のロバスト推定法(例:Z. Zhang, e
t. al, A robust technique for matching two uncalib
rated images through the recovery of the unknown e
pipolar geometry, Artificial Intelligence, Vol. 7
8,(1995)87-119,以下、文献Bと呼ぶ)などを用いても
よい。
点軌跡xi,jの対、 (xi,j,Tj) は直線上にのるため、これに対して既知のエピポーラ解
析処理(例えば文献A)を施せば、速度変動の影響を受
けることなく安定に3次元形状の抽出を行うことができ
る。
て図面を参照して説明する。
態の3次元形状入力方法は画像入力ステップ11と画像
蓄積ステップ12と安定特徴点抽出ステップ13と補正
時刻推定ステップ14とエピポーラ解析に基づく3次元
形状抽出ステップ15で構成される。なお、3次元形状
抽出ステップ15は請求項1の特徴点軌跡抽出ステップ
と3次元座標計算ステップを構成している。
平行移動しながら撮影する。画像蓄積ステップ12にお
いて、画像入力ステップ11で撮影された画像列がフレ
ーム毎にメモリに蓄積され、時空間画像51(図5)が
形成される。
の角など安定に追跡し得る特徴点を既知の方法(文献
B)で追跡し、特徴点軌跡{xi,j}を求める。
点抽出ステップ13で求めた特徴点軌跡を用いて、式
(6)の最小化を最小自乗法により行ない、補正時刻T
jを求める。
テップ16は既知の方法(例えば、特願平8−3383
88(以下、文献Cと呼ぶ)、文献Aなど)により、補
正時刻推定ステップ14で求められた補正時刻Tjを用
い、時空間画像51をスキャンラインy=y0面方向で
スライスしたエピポーラ画像52(図5(2))を解析
することにより3次元形状を抽出する。
変動に対し、従来の技術に比べてロバストに3次元形状
を復元しうる。
態の3次元形状入力プログラムを記録した記録媒体は、
それぞれ図1中の画像入力ステップ11、画像蓄積ステ
ップ12、安定特徴点抽出ステップ13、補正時刻推定
ステップ14、3次元形状抽出ステップ15の各処理2
1〜25からなる3次元形状入力プログラムを記録し
た、FD(フロッピーディスク)、CD−ROM、MO
(光磁気ディスク)、半導体メモリ等の記録媒体で、C
PUにより3次元形状入力プログラムが読み出され、実
行される。
態の3次元形状入力方法は、画像入力処理ステップ31
と画像蓄積ステップ32と安定特徴点抽出ステップ33
と画像歪み推定ステップ34と画像補正ステップ35と
エピポーラ解析に基づく3次元形状抽出ステップ36で
構成されている。まず、本実施形態の原理を証明する。
入力に用いるカメラのモデルとしてピンホールカメラモ
デルを用いる。カメラの回転がなく、視線方向がz軸、
スキャン方向がx軸を向いている場合、(x,y,z)
に存在する物体点の投影点(Xs,Ys)は角倍率aを用
いて
y軸回りに−βt、z軸回りに−γt回転したとする。こ
のときの投影点(X’s,Y’s)は以下のように求めら
れる。まず、各軸回りの回転行列はそれぞれ、
には
δzずれた場合を考える。この場合には、
が、zの変化が小さい場合には、定数と見なすことがで
きる。式(18)、(22)から、カメラの方向、位置
の変動による投影点の変分Dxs=Xs−X’s、Dys=Y
s−Y’sは、
決まる定数であり、入力画像の歪みを表している。カメ
ラ定数aが既知であれば、これらから、α(t)、β
(t)、γ(t)、δy、δzを求めることができ、x方
向の変分Dxs=Xs−X’sを計算することができる。5
個以上の特徴点の軌跡(Xi(t),Yi(t))からA
(t)〜E(t)を推定すれば、これを用いてDysを求
め、
る。fnewは補正された入力画像を示している。この推
定は、例えば、
とが行なえる。また、
ように、本実施形態では、カメラの変動による画像の歪
みを推定し、入力画像を補正するため、カメラの移動方
向、視線方向の変動に強い3次元画像方法を実現でき
る。
ほぼ平行移動しながら撮影する。画像蓄積ステップ32
において、画像入力ステップ31で撮影された画像列が
フレーム毎にメモリに蓄積され、時空間画像51が形成
される。
など安定に追跡し得る特徴点を既知の方法(文献B)で
追跡する。
1)に最小自乗法を適用して画像の歪みA(t)〜E
(t)を推定する。
よる画像の変形を行なう。
テップ36は既知の方法(例えば、文献A、文献Cな
ど)により、時空間画像51をスキャンラインy=y0
面方向でスライスしたエピポーラ画像52を解析するこ
とにより3次元形状を抽出する。
方向の変動に対し、従来の技術に比べて、ラバストに3
次元形状を復元しうる。
態の3次元形状入力プログラムを記録した記録媒体は、
それぞれ図3中の画像入力ステップ31、画像蓄積ステ
ップ32、安定特徴点抽出ステップ33、画像歪み推定
ステップ34、画像補正ステップ35、3次元形状抽出
ステップ36の各処理41〜46からなる3次元形状入
力プログラムを記録した、FD、CDーROM、MO、
半導体メモリ等の記録媒体で、CPUにより3次元形状
入力プログラムが読み出され、実行される。
うな効果がある。
し、これら特徴点の軌跡がそれぞれ同一の直線上になる
ように補正時刻を求めることにより、カメラの移動速度
の変動により強い3次元画像入力方法を実現可能とな
る。
を示すフローチャートである。
グラムを記録した記録媒体の構成図である。
を示すフローチャートである。
グラムを記録した記録媒体の構成図である。
Claims (2)
- 【請求項1】 カメラが平行移動しながら撮影された時
空間画像をメモリに蓄積する画像蓄積ステップと、前記
時空間画像中の特徴点を抽出する特徴点抽出ステップ
と、該特徴点の軌跡を抽出する特徴点軌跡抽出ステップ
と、該特徴点軌跡から特徴点の3次元座標を計算する3
次元座標計算ステップを有する3次元形状入力方法にお
いて、 前記特徴点軌跡抽出ステップと前記3次元座標計算ステ
ップの間に、画面上の複数の特徴点を時間方向に追跡
し、特徴点軌跡が直線になるように、jを入力画像フレ
ームの番号、nを最終フレームの番号、Tjを撮影時
刻、{xi,j}を第jフレームにおけるi番目の特徴
点軌跡とすると、直線の傾きL iを、Li=xi,n−
xi,0として、LiTj=xi,jの関係が成り立つ
ように撮影時刻Tjを、 【数1】 を最小化すること,または既知のラバスト推定法を用い
ることにより求めるステップを有することを特徴とする
3次元形状入力方法。 - 【請求項2】 請求項1に記載の3次元形状入力方法を
コンピュータに実行させるためのプログラムを記録し
た、コンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14412498A JP3523064B2 (ja) | 1998-05-26 | 1998-05-26 | 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14412498A JP3523064B2 (ja) | 1998-05-26 | 1998-05-26 | 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003207634A Division JP3860564B2 (ja) | 2003-08-15 | 2003-08-15 | 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11339043A JPH11339043A (ja) | 1999-12-10 |
JP3523064B2 true JP3523064B2 (ja) | 2004-04-26 |
Family
ID=15354765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14412498A Expired - Fee Related JP3523064B2 (ja) | 1998-05-26 | 1998-05-26 | 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3523064B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6633664B1 (en) | 1999-05-11 | 2003-10-14 | Nippon Telegraph And Telephone Corporation | Three-dimensional structure acquisition method, apparatus and computer readable medium |
US8014588B2 (en) | 2005-11-04 | 2011-09-06 | Cognitech, Inc. | System and method for three-dimensional estimation based on image data |
-
1998
- 1998-05-26 JP JP14412498A patent/JP3523064B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11339043A (ja) | 1999-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4349367B2 (ja) | 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム | |
US7773819B2 (en) | Image processing apparatus | |
US7634143B2 (en) | Image processing apparatus and method, recording medium, and program | |
JP3576987B2 (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
JP2002324234A (ja) | 立体画像を偏歪修正する方法および装置 | |
JPH11509946A (ja) | 視差依存技法を用いた画像結合のための方法とシステム | |
JP2017220715A (ja) | 画像処理装置、画像処理方法、プログラム | |
US6421459B1 (en) | Image processing apparatus | |
JP2002163647A (ja) | レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP7312026B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP3523064B2 (ja) | 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体 | |
CN111951178A (zh) | 显著提升图像质量的图像处理方法、装置和电子设备 | |
CN112396639A (zh) | 图像对齐方法 | |
JP4578653B2 (ja) | 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
CN113034345B (zh) | 一种基于sfm重建的人脸识别方法及系统 | |
JP4675368B2 (ja) | 物体位置推定装置、物体位置推定方法、物体位置推定プログラムおよびそのプログラムを記録した記録媒体 | |
JP3860564B2 (ja) | 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体 | |
CN109379577B (zh) | 一种虚拟视点的视频生成方法、装置及设备 | |
JP3452188B2 (ja) | 2次元動画像中の特徴点の追跡方法 | |
JP2006300656A (ja) | 画像計測方法、装置、プログラム及び記録媒体 | |
JP2005140623A (ja) | 画像計測方法、装置、プログラム及び記録媒体 | |
JP2004133556A (ja) | 三次元形状抽出方法及び三次元形状抽出プログラム及び三次元形状抽出プログラムを格納した記憶媒体 | |
CN116402826B (zh) | 视觉坐标系的修正方法、装置、设备及存储介质 | |
US20240029283A1 (en) | Image depth prediction method, electronic device, and non-transitory storage medium | |
CN110319776B (zh) | 一种基于slam的三维空间距离测量方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031209 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20031222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040205 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090220 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100220 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110220 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |