JP2559939B2 - 3次元情報入力装置 - Google Patents

3次元情報入力装置

Info

Publication number
JP2559939B2
JP2559939B2 JP4007389A JP738992A JP2559939B2 JP 2559939 B2 JP2559939 B2 JP 2559939B2 JP 4007389 A JP4007389 A JP 4007389A JP 738992 A JP738992 A JP 738992A JP 2559939 B2 JP2559939 B2 JP 2559939B2
Authority
JP
Japan
Prior art keywords
image
information
feature point
camera
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP4007389A
Other languages
English (en)
Other versions
JPH05196437A (ja
Inventor
輝夫 浜野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP4007389A priority Critical patent/JP2559939B2/ja
Publication of JPH05196437A publication Critical patent/JPH05196437A/ja
Application granted granted Critical
Publication of JP2559939B2 publication Critical patent/JP2559939B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、撮像装置で入力した複
数枚の画像から、レーザーなどによる参照光を用いず
に、被写体の3次元情報を計測する3次元情報入力装置
に関する。
【0002】
【従来の技術】複数の撮影位置から画像を撮影し、三角
測量の原理によって被写体の3次元情報を計測する手法
は、ステレオ法と呼ばれる。このステレオ法では、カメ
ラの各撮影点におけるカメラパラメータ(カメラ位置、
姿勢など)を正しく取得することと、各画像間での被写
体上の測定点の対応付けが成されていることとの必要が
ある。
【0003】
【発明が解決しようとする課題】一般に各画像間での対
応付けが成されていれば、カメラパラメータは計算によ
って求めることができるが、十分な精度を得るためには
通常数百点におよぶ対応付けが必要であり、しかも対応
付けの自動化はノイズや遮蔽などの影響によって非常に
困難である。逆にカメラパラメータが既知である場合
に、画像間での対応付けを行わずに被写体の3次元情報
を計測するボーティング法が提案されている。特願平3
−187156:3次元形状計測処理方式、および特願
平2−174797:3次元形状計測装置を参照された
い。
【0004】ただし、ボーティング法では、カメラを微
少距離ずつ移動させながら多数の画像を撮影し、しかも
各撮影点におけるカメラの位置と姿勢を求める必要があ
った。このため、各撮影点におけるカメラパラメータを
測定するために、カメラをレールなどに沿って移動させ
たり、ロボットハンドにカメラを固定したりする必要が
あった。したがって、カメラをレールやロボットハンド
に設置できないような場合(カメラを人が手に持って移
動させながら撮影するときなど)、ボーティング法では
被写体の3次元情報を計測することは不可能であった。
【0005】本発明は、カメラが移動しながら撮影した
画像列から、対応付けを行わずに、被写体の3次元情報
を計測するようにすることを目的としている。
【0006】
【課題を解決するための手段】図1は本発明の原理構成
図を示す。図中の符号101(101′)はカメラ、1
02(102′)は3軸ジヤイロ、103(103′)
はカメラ撮像面、104は被写体上の測定点、105は
3次元情報計測装置を表している。
【0007】本発明ではカメラの撮像面への投影方式
を直交投影(Orthogonal projection)とし、カメラに
3軸ジャイロを固定し、カメラで画像を撮影した時点で
のカメラの姿勢情報を時事刻々と測定し、得られた画
像列間である特定の一点だけを追跡することでカメラの
姿勢だけを求め、ボーティング法によって被写体の3次
元情報を計測することを特徴としている。
【0008】
【作用】被写体上の1点(測定点)Sを直交投影にてカ
メラ101(101′)で撮影し、そのときのカメラ1
01(101′)の姿勢を3軸ジャイロ102(10
2′)で求め、3次元情報計測装置105に供給し、ボ
ーティング法によって被写体の3次元情報を計測する。
【0009】
【実施例】図2に示すように、カメラがある軌跡Ωに沿
って移動しながらN枚の画像Ii(i=0、・・・、N
−1)を連続的に撮影したとする。シーン中の特徴点S
は画像面Ii上の点siに投影され、別の画像面Ii′
上では点si′に投影される。特徴点としては画像中の
エッジ点などを用いる。直交投影の場合、画像Ii上の
投影点siを通り該画像面Iiに直交する直線(視線)
Lsiは、必ずシーン中の特徴点Sを通過するから、各
画像面Ii(i=0、・・・、N−1)を通過するこの
様な視線Lsi(i=0、・・・、N−1)は、シーン
中の特徴点Sで交差する。したがって世界座標系で視線
Lsiを求めることができれば、その交点として特徴点
Sの3次元座標を求めることができる。視線Lsiは、
各画像面Iiの世界座標系での位置と姿勢がわかれば、
計算で求めることができる(シーン中に複数の特徴点が
あると、ひとつの画像面からのびる視線も複数本とな
り、実際には特徴点が存在しない点でも視線が交差して
しまう。画像面の位置と姿勢が既知であるならば、ボー
ティング法によって誤対応点以外の真の特徴点の3次元
位置を求めることができる)。
【0010】直交投影の場合には、画像面の位置を、該
画像面に垂直な方向に平行移動しても、視線Lsiは不
変である。たとえば図3において、画像面IiをIaや
Ibに移動してもLsiは不変である。よって、これら
の視線の交点として求まる特徴点Sの位置も不変であ
る。そこで、シーン中の特徴点のうちの一点Oと各画像
面との距離がdになるように、各画像面を画像面に垂直
な方向に平行移動させる。すると、視線の交点である特
徴点SのOに対する相対的な位置を不変に保ったまま、
各画像面をOを中心とする任意の半径dの球面Π上に再
配置することができる(ただし各画像面からSまでの距
離は不明になる)。
【0011】画像Ii撮影時のカメラ座標系を、図4に
示すようにOのIiへの投影点oiを原点とし、z軸が
Oを通るように設定する。画像I0撮影時のカメラ座標
系から、画像Ii撮影時のカメラ座標系への変換は回転
行列Riと並進ベクトルTiとを用いて、 Xi=RiX0+Ti (1) と表すことができる。ただし、X0、Xiは各々、I0
撮影時のカメラ座標系とIi撮影時のカメラ座標系で表
したシーン中の任意の点Xである。画像面をOを中心と
する球面Π上に再配置するとき、その半径dを0にとる
と、すべての画像面はOを中心とする回転運動のみを行
っているとみなすことができる。すなわち並進ベクトル
Ti=0とできるから、 Xi=RiX0 (2) となる。各画像撮影時のカメラの姿勢(回転行列Ri)
と各画像Iiにおいてどの画素がOの投影点oiである
かがわかれば、半径d=0なる球面ΠにIiを再配置し
たときのIiの画像座標は、Oを原点としその基底がR
iとなる。
【0012】画像IiのΠ上への再配置後の画像座標が
求まれば、Oを原点とする視線Lsiのパラメータを求
めることができるから、SのOに対する相対的位置をボ
ーティング法などによって求めることができる(ボーテ
ィング法はカメラの投影方式に依存しない)。回転行列
Riはカメラにジャイロを固定することで測定可能であ
り、どの画素が特定の特徴点Oであるかは各画像Iiで
oiを追跡することで固定することができる。またボー
ティング法自体は特徴点追跡を全く必要としない。
【0013】したがって本発明では、シーン中のある特
定な特徴点を一点だけ追跡し、かつカメラの姿勢だけを
ジャイロなどで測定することで、シーン中のそれ以外の
特徴点の3次元位置をボーティング法によって求めるこ
とができる。
【0014】従来手法では、シーン中の特徴点の3次元
位置を求めるために、画像に投影された多数の特徴点
(十分な精度を得るためには通常数百点)の各画像間で
の対応付けを行う必要があった。
【0015】図5に本発明の実施例構成を示す。1はカ
メラなどの画像入力部、2は3軸ジャイロなどで構成さ
れる姿勢測定部、3は特定特徴点投影位置入力部、4は
特定特徴点追跡部、5は画像面位置抽出部、6はボーテ
ィング法などを用いる3次元情報抽出部、7は出力部で
あり、姿勢測定部2は画像入力部1に固定されている。
【0016】本装置を動作させるには、まず画像入力部
1を移動させながらシーンの画像を連続的に入力する。
該画像入力部1は、入力された画像情報列を特定特徴点
追跡部4、および3次元情報抽出部6に出力する。姿勢
測定部2は、3軸ジャイロなどで構成され、移動中のカ
メラの姿勢情報を、画像入力部1が出力する画像情報列
と同期して、画像面位置抽出部5に出力する。特定特徴
点投影位置入力部3は、該画像情報列の第一番目の画像
情報中の特定の特徴点位置を入力されると、該特定特徴
点投影位置を特定特徴点追跡部4に出力する。特定特徴
点追跡部4は、該特定特徴点投影位置および画像情報列
を入力されると、該画像情報列の第一番目の画像情報の
該特定特徴点投影位置の特徴点が第二番目以降の画像情
報中のどの特徴点に対応するかを相関マッチングなどの
手法で追跡し、対応する該特徴点の投影位置を画像面位
置抽出部5に出力する。該画像面位置抽出部5は、該特
定特徴点投影位置と該姿勢情報とを入力されると、該画
像情報撮影時のカメラの画像面を該特定特徴点を原点と
する半径d=0の球面Π上に再配置した場合の画像面位
置情報を、3次元情報抽出部6に出力する。該3次元情
報抽出部6は、該画像情報と該画像面位置情報を入力さ
れると、ボーティング法などによって該画像情報中の特
徴点の3次元情報を抽出し、出力部7に出力する。
【0017】
【発明の効果】本発明によれば、カメラを移動させなが
ら入力した画像列から、画像列間でただ一点の特徴点を
追跡し、かつカメラの姿勢だけを測定することで、他の
特徴点についてはまったく特徴点追跡を行うことなく、
被写体の3次元情報を抽出することが可能となる。
【図面の簡単な説明】
【図1】本発明の原理構成図を示す。
【図2】カメラによる撮影状況を説明する図である。
【図3】画像面を再配置する状況を説明する図である。
【図4】カメラの座標系を設定する状況を説明する図で
ある。
【図5】本発明の実施例構成を示す。
【符号の説明】
1 画像入力部 2 姿勢測定部 3 特定特徴点投影位置入力部 4 特定特徴点追跡部 5 画像面位置抽出部 6 3次元情報抽出部 7 出力部

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 直交投影のカメラを運動させながら連続
    的に被写体を撮影した画像情報列を出力する画像入力部
    と、 該画像入力部に固定され該画像入力部の運動に伴う姿勢
    情報を出力する姿勢測定部と、 該画像入力部が出力する画像情報列の第一番目の画像情
    報中の特定の特徴点の投影位置を入力する特定特徴点投
    影位置入力部と、 該画像入力部から出力された画像情報列の第二番目以降
    の画像情報から、該特定特徴点投影位置入力部が出力す
    る第一番目の画像情報の特定特徴点投影位置に対応する
    第二番目以降の画像情報の特定特徴点の投影位置を追跡
    し、出力する特定特徴点追跡部と、 該特定特徴点追跡部から出力された特定特徴点投影位置
    と、姿勢測定部から出力された姿勢情報とから該画像情
    報撮影時の画像面位置情報を出力する画像面位置抽出部
    と、 該画像入力部が出力した該画像情報列と該画像面位置抽
    出部が出力した該画像面位置情報とから被写体の3次元
    情報を抽出する3次元情報抽出部とから構成され、 カメラを任意に運動させながら撮影した画像列から、カ
    メラの姿勢だけを測定するだけで、被写体の3次元情報
    を求めることを特徴とする3次元情報入力装置。
JP4007389A 1992-01-20 1992-01-20 3次元情報入力装置 Expired - Fee Related JP2559939B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4007389A JP2559939B2 (ja) 1992-01-20 1992-01-20 3次元情報入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4007389A JP2559939B2 (ja) 1992-01-20 1992-01-20 3次元情報入力装置

Publications (2)

Publication Number Publication Date
JPH05196437A JPH05196437A (ja) 1993-08-06
JP2559939B2 true JP2559939B2 (ja) 1996-12-04

Family

ID=11664572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4007389A Expired - Fee Related JP2559939B2 (ja) 1992-01-20 1992-01-20 3次元情報入力装置

Country Status (1)

Country Link
JP (1) JP2559939B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05314243A (ja) * 1992-04-03 1993-11-26 Sony Corp 3次元形状復元方法
JPH0946730A (ja) * 1995-07-28 1997-02-14 Canon Inc 立体形状抽出装置
JPH10124681A (ja) * 1996-10-18 1998-05-15 Ricoh Co Ltd 携帯型情報処理装置及び情報処理方法
JPH10132562A (ja) * 1996-10-31 1998-05-22 Nippon Denki Ido Tsushin Kk 距離測定装置
US6038074A (en) * 1997-05-20 2000-03-14 Ricoh Company, Ltd. Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image
JP3712847B2 (ja) * 1997-05-20 2005-11-02 株式会社リコー 3次元形状計測方法と3次元形状計測装置及び撮像手段の姿勢検出装置
US6094215A (en) * 1998-01-06 2000-07-25 Intel Corporation Method of determining relative camera orientation position to create 3-D visual images
SG134976A1 (en) * 2002-11-26 2007-09-28 Sony Corp Data input to a computer system defining a three-dimensional model
SG115546A1 (en) * 2003-06-23 2005-10-28 Affineon Technologies Pte Ltd Computer input device tracking six degrees of freedom
JP4398430B2 (ja) * 2003-10-31 2010-01-13 富士通株式会社 距離算出装置および算出プログラム
JP4664427B2 (ja) * 2009-09-16 2011-04-06 富士通株式会社 距離算出装置
DK3367053T3 (da) * 2017-02-27 2021-05-10 Kulzer & Co Gmbh 3d-scanner med gyroskopsensor

Also Published As

Publication number Publication date
JPH05196437A (ja) 1993-08-06

Similar Documents

Publication Publication Date Title
Rambach et al. Learning to fuse: A deep learning approach to visual-inertial camera pose estimation
EP3067861B1 (en) Determination of a coordinate conversion parameter
JP2874710B2 (ja) 三次元位置計測装置
JP3732335B2 (ja) 画像入力装置及び画像入力方法
JP2000339468A (ja) 3次元データの位置合わせ方法及び装置
JP2559939B2 (ja) 3次元情報入力装置
JPH1183530A (ja) 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
JPH11136575A (ja) 撮像装置及び撮像画像合成方法
JP2009216503A (ja) 三次元位置姿勢計測方法および装置
Mukai et al. The recovery of object shape and camera motion using a sensing system with a video camera and a gyro sensor
JP3221384B2 (ja) 三次元座標計測装置
WO2019186677A1 (ja) ロボット位置姿勢推定・三次元計測装置
JP3512894B2 (ja) 相対的移動量算出装置及び相対的移動量算出方法
JP3712847B2 (ja) 3次元形状計測方法と3次元形状計測装置及び撮像手段の姿勢検出装置
JP3655065B2 (ja) 位置・姿勢検出装置と位置・姿勢検出方法と3次元形状復元装置及び3次元形状復元方法
JP2970835B2 (ja) 三次元座標計測装置
JP2001245323A (ja) 3次元入力方法および装置
JP3452188B2 (ja) 2次元動画像中の特徴点の追跡方法
Shieh et al. Motion estimation from a sequence of stereo images: A direct method
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JPH07136959A (ja) ロボット位置決め方法
JP4027294B2 (ja) 移動体検出装置、移動体検出方法及び移動体検出プログラム
Grießbach et al. Vision aided inertial navigation
JPH11120361A (ja) 3次元形状復元装置及び復元方法
JPH03131706A (ja) 3次元位置計測装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070905

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080905

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees