JP3523064B2 - 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体 - Google Patents

3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体

Info

Publication number
JP3523064B2
JP3523064B2 JP14412498A JP14412498A JP3523064B2 JP 3523064 B2 JP3523064 B2 JP 3523064B2 JP 14412498 A JP14412498 A JP 14412498A JP 14412498 A JP14412498 A JP 14412498A JP 3523064 B2 JP3523064 B2 JP 3523064B2
Authority
JP
Japan
Prior art keywords
feature point
image
dimensional shape
shape input
input method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP14412498A
Other languages
English (en)
Other versions
JPH11339043A (ja
Inventor
幹夫 新谷
けん 筒口
政勝 青木
達樹 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP14412498A priority Critical patent/JP3523064B2/ja
Publication of JPH11339043A publication Critical patent/JPH11339043A/ja
Application granted granted Critical
Publication of JP3523064B2 publication Critical patent/JP3523064B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、実画像から高臨場
感画像を生成するのに必要な3次元構造を推定するため
の3次元形状入力方法に関する。
【0002】
【従来の技術】時空間画像を対象とする3次元形状入力
方法としては、入力画像を撮影するカメラの移動が視線
方向に垂直、かつ軸に平行であると仮定する方法が知
られている(例:BollesR.C., Baker H. H. and Marimo
nt D. H.: "Epipolar-plane image analysis: anapproa
ch to determining structure from motion", IJCV, Vo
l. 1, NO. 1, pp. 7-55,1987,以下文献Aと呼ぶ)。こ
の方法を図5を用いて説明する。
【0003】図5(1)で、51はカメラを移動させな
がら撮影した画像系列fo(x,y;t)である。カメ
ラの移動は視線方向(z軸)に垂直、かつスキャンライ
ン方向(x軸)に平行であるとする。この時、同一物点
の像点、すなわち特徴点軌跡は、51においてy=一定
の面上に拘束される。y=一定の画像52、
【0004】
【数2】 はエピポーラ画像と呼ばれる。特徴点軌跡53は同一エ
ピポーラ画像上においてのみ存在するので、特徴点軌跡
の処理はエピポーラ画像上で行なえばよい。
【0005】カメラの移動量が一定であるとすれば、特
徴点軌跡53は直線となる。この傾きは特徴点の奥行き
値に比例し、カメラパラメータから奥行きが計算できる
ので、エピポーラ画像上の特徴点を抽出し、さらに該特
徴点の軌跡を推定することにより、該特徴点の軌跡の傾
きより、該特徴点の奥行きが求まる。
【0006】
【発明が解決しようとする課題】上述した従来の方法
は、カメラの移動速度が変動する場合には、特徴点軌跡
は直線とならないので、処理の精度が著しく低下すると
いう欠点があ
【0007】本発明の目的は、カメラの移動速度が変動
した場合にも安定した処理が可能な3次元形状入力方法
を提供することにある。
【0008】
【0009】
【課題を解決するための手段】本発明では、画面上の複
数の特徴点を時間方向に追跡し、特徴点軌跡が直線にな
るように撮影時刻を変更し、この後に、3次元画像計算
処理を適用する。
【0010】入力に用いるカメラのモデルとしてピンホ
ールカメラモデルを用いる。カメラの位置を(xe
0,0)とし、視線方向をz軸、スキャン方向がy軸を
向いている場合、(x,y,z)に存在する物体点の投
影点(Xs,Ys)は角倍率aを用いて
【0011】
【数3】 と表せる。Ysはxeに依存しないので、投影点は同一ス
キャンラインに留まる。また、 sはカメラ位置xeに対
し直線的に変化する。特に、カメラが等速度υoで移動
する場合は、
【0012】
【数4】 となり、投影点は時刻tに関して線形に変化し、
(Xs,t)は直線上にのる。
【0013】さて、一般の場合でも、同様な線形関係を
得ることができる。簡単のため、t=0におけるカメラ
の位置を原点にとり、最終フレームnにおけるカメラの
位置を(X,0,0)ととる。
【0014】T=xe/X とおけば、式(2)から
【0015】
【数5】 とできる。すなわち(Xs,T)は直線上にのることが
分かる。ここで、Tは補正された時刻と見なすことがで
きる。したがって、各フレームjに対し、補正時刻Tj
を推定すれば、特徴線軌跡が直線になることが分かる。
【0016】補正時刻Tjは以下のように推定すること
ができる。jを入力画像フレームの番号、最終フレーム
をnとし、特徴点軌跡を{xi,j}とする。直線の傾き
i
【0017】
【数6】 とする。
【0018】
【数7】 という関係がなるべく成り立つようにTjを決めればよ
いので、例えば、
【0019】
【数8】 を最小とすることにより、Tjを推定することができ
る。その他、既知のバスト推定法(例:Z. Zhang, e
t. al, A robust technique for matching two uncalib
rated images through the recovery of the unknown e
pipolar geometry, Artificial Intelligence, Vol. 7
8,(1995)87-119,以下、文献Bと呼ぶ)などを用いても
よい。
【0020】このように求められた補正時刻Tjと特徴
点軌跡xi,jの対、 (xi,j,Tj) は直線上にのるため、これに対して既知のエピポーラ解
析処理(例えば文献A)を施せば、速度変動の影響を受
けることなく安定に3次元形状の抽出を行うことができ
る。
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
【0041】図1を参照すると、本発明の第1の実施形
態の3次元形状入力方法は画像入力ステップ11と画像
蓄積ステップ12と安定特徴点抽出ステップ13と補正
時刻推定ステップ14とエピポーラ解析に基づく3次元
形状抽出ステップ15で構成される。なお、3次元形状
抽出ステップ15は請求項1の特徴点軌跡抽出ステップ
と3次元座標計算ステップを構成している。
【0042】画像入力ステップ11において、カメラが
平行移動しながら撮影する。画像蓄積ステップ12にお
いて、画像入力ステップ11で撮影された画像列がフレ
ーム毎にメモリに蓄積され、時空間画像51(図5)が
形成される。
【0043】安定特徴点抽出ステップ13では、エッジ
の角など安定に追跡し得る特徴点を既知の方法(文献
B)で追跡し、特徴点軌跡{xi,j}を求める。
【0044】補正時刻推定ステップ14では、安定特徴
点抽出ステップ13で求めた特徴点軌跡を用いて、式
(6)の最小化を最小自乗法により行ない、補正時刻T
jを求める。
【0045】エピポーラ解析に基づく3次元形状抽出ス
テップ16は既知の方法(例えば、特願平8−3383
88(以下、文献Cと呼ぶ)、文献Aなど)により、補
正時刻推定ステップ14で求められた補正時刻Tjを用
い、時空間画像51をスキャンラインy=y0面方向で
スライスしたエピポーラ画像52(図5(2))を解析
することにより3次元形状を抽出する。
【0046】本実施形態によれば、カメラの移動速度の
変動に対し、従来の技術に比べてバストに3次元形状
を復元しうる。
【0047】図2を参照すると、本発明の第1の実施形
態の3次元形状入力プログラムを記録した記録媒体は、
それぞれ図1中の画像入力ステップ11、画像蓄積ステ
ップ12、安定特徴点抽出ステップ13、補正時刻推定
ステップ14、3次元形状抽出ステップ15の各処理2
1〜25からなる3次元形状入力プログラムを記録し
た、FD(フロッピーディスク)、CD−ROM、MO
(光磁気ディスク)、半導体メモリ等の記録媒体で、C
PUにより3次元形状入力プログラムが読み出され、実
行される。
【0048】図3を参照すると、本発明の第2の実施形
態の3次元形状入力方法は、画像入力処理ステップ31
と画像蓄積ステップ32と安定特徴点抽出ステップ33
と画像歪み推定ステップ34と画像補正ステップ35と
エピポーラ解析に基づく3次元形状抽出ステップ36で
構成されている。まず、本実施形態の原理を証明する。
入力に用いるカメラのモデルとしてピンホールカメラモ
デルを用いる。カメラの回転がなく、視線方向がz軸、
スキャン方向がx軸を向いている場合、(x,y,z)
に存在する物体点の投影点(Xs,Ys)は角倍率aを用
いて
【数9】 と表せる。時刻tにおいてカメラがx軸回りに−αt
y軸回りに−βt、z軸回りに−γt回転したとする。こ
のときの投影点(X’s,Y’s)は以下のように求めら
れる。まず、各軸回りの回転行列はそれぞれ、
【数10】 であり、全体の回転行列Rは
【数11】 となる。特に回転角−αt,−βt,−γtが小さい場合
には
【数12】 と近似できる。投影点は、
【数13】 となる。近似式(13)を用いれば、
【数14】 と近似できる。次に、カメラ位置がX軸から−δy、−
δzずれた場合を考える。この場合には、
【数15】 となる。δy、δzが小さい場合には、
【数16】 と近似できる。ここで、第2項、第3項はzに依存する
が、zの変化が小さい場合には、定数と見なすことがで
きる。式(18)、(22)から、カメラの方向、位置
の変動による投影点の変分Dxs=Xs−X’s、Dys=Y
s−Y’sは、
【数17】 と書き表せる。A(t)〜E(t)は各フレームt毎に
決まる定数であり、入力画像の歪みを表している。カメ
ラ定数aが既知であれば、これらから、α(t)、β
(t)、γ(t)、δy、δzを求めることができ、x方
向の変分Dxs=Xs−X’sを計算することができる。5
個以上の特徴点の軌跡(Xi(t),Yi(t))からA
(t)〜E(t)を推定すれば、これを用いてDysを求
め、
【数18】 により入力画像を変形し、歪みを減少させることができ
る。fnewは補正された入力画像を示している。この推
定は、例えば、
【数19】 を最小化するA(t)〜E(t)を最小自乗法で解くこ
とが行なえる。また、
【数20】 によりバスト推定することもできる(文献B)。この
ように、本実施形態では、カメラの変動による画像の歪
みを推定し、入力画像を補正するため、カメラの移動方
向、視線方向変動に強い3次元画像方法を実現でき
る。
【0049】画像入力ステップ31において、カメラが
ほぼ平行移動しながら撮影する。画像蓄積ステップ32
において、画像入力ステップ31で撮影された画像列が
フレーム毎にメモリに蓄積され、時空間画像51が形成
される。
【0050】特徴点抽出ステップ33では、エッジの角
など安定に追跡し得る特徴点を既知の方法(文献B)で
追跡する。
【0051】画像歪み推定ステップ34では、式(3
1)に最小自乗法を適用して画像の歪みA(t)〜E
(t)を推定する。
【0052】画像補正ステップ35では、式(30)に
よる画像の変形を行なう。
【0053】エピポーラ解析に基づく3次元形状抽出ス
テップ36は既知の方法(例えば、文献A、文献Cな
ど)により、時空間画像51をスキャンラインy=y0
面方向でスライスしたエピポーラ画像52を解析するこ
とにより3次元形状を抽出する。
【0054】本実施形態によれば、カメラの姿勢、移動
方向の変動に対し、従来の技術に比べて、ラバストに3
次元形状を復元しうる。
【0055】図4を参照すると、本発明の第2の実施形
態の3次元形状入力プログラムを記録した記録媒体は、
それぞれ図3中の画像入力ステップ31、画像蓄積ステ
ップ32、安定特徴点抽出ステップ33、画像歪み推定
ステップ34、画像補正ステップ35、3次元形状抽出
ステップ36の各処理41〜46からなる3次元形状入
力プログラムを記録した、FD、CDーROM、MO、
半導体メモリ等の記録媒体で、CPUにより3次元形状
入力プログラムが読み出され、実行される。
【0056】
【発明の効果】以上説明したように、本発明は下記のよ
うな効果がある。
【0057】画面上の複数の特徴点を時間方向に追跡
し、これら特徴点の軌跡がそれぞれ同一の直線上になる
ように補正時刻を求めることにより、カメラの移動速度
の変動により強い3次元画像入力方法を実現可能とな
る。
【0058】
【図面の簡単な説明】
【図1】本発明の第1の実施形態の3次元形状入力方法
を示すフローチャートである。
【図2】本発明の第1の実施形態の3次元形状入力プロ
グラムを記録した記録媒体の構成図である。
【図3】本発明の第2の実施形態の3次元形状入力方法
を示すフローチャートである。
【図4】本発明の第2の実施形態の3次元形状入力プロ
グラムを記録した記録媒体の構成図である。
【図5】従来技術の説明図である。
【符号の説明】
11 画像入力ステップ 12 画像蓄積ステップ 13 安定特徴点抽出ステップ 14 補正時刻推定ステップ 15 3次元形状抽出ステップ 21 画像入力処理 22 画像蓄積処理 23 安定特徴点抽出処理 24 補正時刻推定処理 25 3次元形状抽出処理 31 画像入力ステップ 32 画像蓄積ステップ 33 安定特徴点抽出ステップ 34 画像歪み推定ステップ 35 画像補正ステップ 36 3次元形状抽出ステップ 41 画像入力処理 42 画像蓄積処理 43 安定特徴点抽出処理 44 画像歪み推定処理 45 画像補正処理 46 3次元形状抽出処理
───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 達樹 東京都新宿区西新宿三丁目19番2号 日 本電信電話株式会社内 (56)参考文献 特開 平6−221825(JP,A) 特開 平7−294215(JP,A) 特開 平8−77356(JP,A) 特開 平7−218251(JP,A) 特開 平9−288735(JP,A) 特開 平6−195447(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 315 H04N 13/02 JICSTファイル(JOIS)

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 カメラが平行移動しながら撮影された時
    空間画像をメモリに蓄積する画像蓄積ステップと、前記
    時空間画像中の特徴点を抽出する特徴点抽出ステップ
    と、該特徴点の軌跡を抽出する特徴点軌跡抽出ステップ
    と、該特徴点軌跡から特徴点の3次元座標を計算する3
    次元座標計算ステップを有する3次元形状入力方法にお
    いて、 前記特徴点軌跡抽出ステップと前記3次元座標計算ステ
    ップの間に、画面上の複数の特徴点を時間方向に追跡
    し、特徴点軌跡が直線になるように、jを入力画像フレ
    ームの番号、nを最終フレームの番号、Tを撮影時
    刻、{xi,j}を第jフレームにおけるi番目の特徴
    点軌跡とすると、直線の傾きL 、L=xi,n
    i,0として、L=xi,jの関係が成り立つ
    ように撮影時刻Tを、 【数1】 を最小化すること,または既知のラバスト推定法を用い
    ることにより求めるステップを有することを特徴とする
    3次元形状入力方法。
  2. 【請求項2】 請求項1記載の3次元形状入力方法を
    コンピュータに実行させるためのプログラムを記録し
    た、コンピュータ読み取り可能な記録媒体。
JP14412498A 1998-05-26 1998-05-26 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体 Expired - Fee Related JP3523064B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14412498A JP3523064B2 (ja) 1998-05-26 1998-05-26 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14412498A JP3523064B2 (ja) 1998-05-26 1998-05-26 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003207634A Division JP3860564B2 (ja) 2003-08-15 2003-08-15 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JPH11339043A JPH11339043A (ja) 1999-12-10
JP3523064B2 true JP3523064B2 (ja) 2004-04-26

Family

ID=15354765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14412498A Expired - Fee Related JP3523064B2 (ja) 1998-05-26 1998-05-26 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3523064B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633664B1 (en) 1999-05-11 2003-10-14 Nippon Telegraph And Telephone Corporation Three-dimensional structure acquisition method, apparatus and computer readable medium
US8014588B2 (en) 2005-11-04 2011-09-06 Cognitech, Inc. System and method for three-dimensional estimation based on image data

Also Published As

Publication number Publication date
JPH11339043A (ja) 1999-12-10

Similar Documents

Publication Publication Date Title
JP4349367B2 (ja) 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム
US7773819B2 (en) Image processing apparatus
US7634143B2 (en) Image processing apparatus and method, recording medium, and program
JP3576987B2 (ja) 画像のテンプレートマッチング方法及び画像処理装置
JP2002324234A (ja) 立体画像を偏歪修正する方法および装置
JPH11509946A (ja) 視差依存技法を用いた画像結合のための方法とシステム
JP2017220715A (ja) 画像処理装置、画像処理方法、プログラム
US6421459B1 (en) Image processing apparatus
JP2002163647A (ja) レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP3523064B2 (ja) 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体
CN111951178A (zh) 显著提升图像质量的图像处理方法、装置和电子设备
CN112396639A (zh) 图像对齐方法
JP4578653B2 (ja) 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
CN113034345B (zh) 一种基于sfm重建的人脸识别方法及系统
JP4675368B2 (ja) 物体位置推定装置、物体位置推定方法、物体位置推定プログラムおよびそのプログラムを記録した記録媒体
JP3860564B2 (ja) 3次元形状入力方法および3次元形状入力プログラムを記録した記録媒体
CN109379577B (zh) 一种虚拟视点的视频生成方法、装置及设备
JP3452188B2 (ja) 2次元動画像中の特徴点の追跡方法
JP2006300656A (ja) 画像計測方法、装置、プログラム及び記録媒体
JP2005140623A (ja) 画像計測方法、装置、プログラム及び記録媒体
JP2004133556A (ja) 三次元形状抽出方法及び三次元形状抽出プログラム及び三次元形状抽出プログラムを格納した記憶媒体
CN116402826B (zh) 视觉坐标系的修正方法、装置、设备及存储介质
US20240029283A1 (en) Image depth prediction method, electronic device, and non-transitory storage medium
CN110319776B (zh) 一种基于slam的三维空间距离测量方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20031209

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20031222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110220

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees