JPH1137736A - ３次元形状計測方法及び３次元形状計測装置 - Google Patents
３次元形状計測方法及び３次元形状計測装置Info
- Publication number
- JPH1137736A JPH1137736A JP9303371A JP30337197A JPH1137736A JP H1137736 A JPH1137736 A JP H1137736A JP 9303371 A JP9303371 A JP 9303371A JP 30337197 A JP30337197 A JP 30337197A JP H1137736 A JPH1137736 A JP H1137736A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- vector
- translational motion
- point
- corresponding point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】簡単な構成で対象物の立体形状と撮像手段の運
動を高精度に計測する。 【解決手段】対応関係抽出部２は単眼画像撮像部１で撮
像した第１視点の画像から特徴点を抽出し、第２視点の
画像から対応点を抽出する。姿勢算出部５は重力方向検
出部３と重力回り角度検出部４で検出した重力方向の傾
きと重力回りの角度から各視点の単眼画像撮像部１の姿
勢を算出する。視線ベクトル算出部６は姿勢と特徴点と
対応点の各データから各視点の視線ベクトルを算出し、
並進運動算出部７は視線ベクトルと特徴点と対応点の各
データから第１視点から第２視点までの並進運動方向ベ
クトルを算出する。３次元形状演算部８は並進運動方向
ベクトルと各視線ベクトルを使用して三角測量の原理で
各特徴点に相当する対象物上の３次元座標値を算出す
る。
動を高精度に計測する。 【解決手段】対応関係抽出部２は単眼画像撮像部１で撮
像した第１視点の画像から特徴点を抽出し、第２視点の
画像から対応点を抽出する。姿勢算出部５は重力方向検
出部３と重力回り角度検出部４で検出した重力方向の傾
きと重力回りの角度から各視点の単眼画像撮像部１の姿
勢を算出する。視線ベクトル算出部６は姿勢と特徴点と
対応点の各データから各視点の視線ベクトルを算出し、
並進運動算出部７は視線ベクトルと特徴点と対応点の各
データから第１視点から第２視点までの並進運動方向ベ
クトルを算出する。３次元形状演算部８は並進運動方向
ベクトルと各視線ベクトルを使用して三角測量の原理で
各特徴点に相当する対象物上の３次元座標値を算出す
る。
Description
【０００１】
【発明の属する技術分野】この発明は３次元物体の視覚
情報により物体の位置と３次元形状を計測する３次元形
状計測方法及び３次元形状計測装置に関するものであ
る。
情報により物体の位置と３次元形状を計測する３次元形
状計測方法及び３次元形状計測装置に関するものであ
る。
【０００２】
【従来の技術】測量やＣＡＤモデルの作成など各種分野
で２次元撮像装置による対象物の３次元形状計測が求め
られている。このような３次元形状計測方法として、対
象物に参照パターンなどを照射して対象物上の参照パタ
ーンの歪みを撮像することにより形状計測を行なう能動
的方法がある。しかしながら、この方法は対象物に影響
を与えることや環境によって参照パターンの効果が変わ
るなどのデメリットが存在するため適用するのに大きな
制限が加わってしまう。一方、能動的方法とは異なり対
象物になんらの影響を与えることなく形状計測を行なう
受動的方法も採用されている。この３次元形状計測方法
は基本的には位置を変えた異なる２視点で撮像した画像
間の対応点を抽出し、その対応点の３次元位置を三角測
量の原理で算出する方法である。この方法では２つの撮
像装置を固定して２視点の画像を得たり、１つの撮像装
置をレール上で決められた距離だけ移動して２視点の画
像を得るように、あらかじめ２視点の位置関係や撮像装
置の姿勢変化を既知情報として取り扱う場合と、撮像装
置を手で保持するなどして２視点の画像を得るように、
２視点の位置関係や撮像装置の姿勢変化を不確定情報と
して取り扱う場合がある。２視点の位置関係や撮像装置
の姿勢変化を既知情報として取り扱う場合は計測装置が
大掛かりなものになってしまい、やはり適用するのに制
限がある。２視点の位置関係や撮像装置の姿勢変化を不
確定情報として取り扱う場合は環境に影響を与えず、し
かも計測装置も小規模なものにできるので、各種の用途
に幅広く適用することができ、例えば特開平５−196437
号公報や特開平６−129833号公報，特開平７−181024号
公報，特開平７−244735号公報等に示されているように
各種計測方法や計測装置が開発されている。
で２次元撮像装置による対象物の３次元形状計測が求め
られている。このような３次元形状計測方法として、対
象物に参照パターンなどを照射して対象物上の参照パタ
ーンの歪みを撮像することにより形状計測を行なう能動
的方法がある。しかしながら、この方法は対象物に影響
を与えることや環境によって参照パターンの効果が変わ
るなどのデメリットが存在するため適用するのに大きな
制限が加わってしまう。一方、能動的方法とは異なり対
象物になんらの影響を与えることなく形状計測を行なう
受動的方法も採用されている。この３次元形状計測方法
は基本的には位置を変えた異なる２視点で撮像した画像
間の対応点を抽出し、その対応点の３次元位置を三角測
量の原理で算出する方法である。この方法では２つの撮
像装置を固定して２視点の画像を得たり、１つの撮像装
置をレール上で決められた距離だけ移動して２視点の画
像を得るように、あらかじめ２視点の位置関係や撮像装
置の姿勢変化を既知情報として取り扱う場合と、撮像装
置を手で保持するなどして２視点の画像を得るように、
２視点の位置関係や撮像装置の姿勢変化を不確定情報と
して取り扱う場合がある。２視点の位置関係や撮像装置
の姿勢変化を既知情報として取り扱う場合は計測装置が
大掛かりなものになってしまい、やはり適用するのに制
限がある。２視点の位置関係や撮像装置の姿勢変化を不
確定情報として取り扱う場合は環境に影響を与えず、し
かも計測装置も小規模なものにできるので、各種の用途
に幅広く適用することができ、例えば特開平５−196437
号公報や特開平６−129833号公報，特開平７−181024号
公報，特開平７−244735号公報等に示されているように
各種計測方法や計測装置が開発されている。
【０００３】特開平５−196437号公報に示された方法は
被写体上の測定点を直交投影でカメラで撮影し、そのと
きのカメラの姿勢をカメラに固定した３軸ジャイロで求
めて３次元情報計測装置に供給して被写体の３次元情報
を計測している。また、特開平６−129833号公報に示さ
れた方法は単眼カメラで撮影した動画像情報を用いてカ
メラの運動を求め３次元形状を算出している。特開平７
−181024号公報は撮像手段で視点を変えて測定した被写
体の複数の画像から画像間の動きを表すオプティカルフ
ロ−を求め、このオプティカルフロ−に基づいて距離情
報を算出する方法と画像の時間差分及び空間勾配の関係
式と撮像手段の自己運動情報とから距離情報を直接算出
する方法とを組み合わせて３次元形状を計測している。
特開平７−244735号公報に示された装置は動画像情報か
ら得られる距離情報とカメラの運動を時間的に融合して
３次元情報を得るようにしている。
被写体上の測定点を直交投影でカメラで撮影し、そのと
きのカメラの姿勢をカメラに固定した３軸ジャイロで求
めて３次元情報計測装置に供給して被写体の３次元情報
を計測している。また、特開平６−129833号公報に示さ
れた方法は単眼カメラで撮影した動画像情報を用いてカ
メラの運動を求め３次元形状を算出している。特開平７
−181024号公報は撮像手段で視点を変えて測定した被写
体の複数の画像から画像間の動きを表すオプティカルフ
ロ−を求め、このオプティカルフロ−に基づいて距離情
報を算出する方法と画像の時間差分及び空間勾配の関係
式と撮像手段の自己運動情報とから距離情報を直接算出
する方法とを組み合わせて３次元形状を計測している。
特開平７−244735号公報に示された装置は動画像情報か
ら得られる距離情報とカメラの運動を時間的に融合して
３次元情報を得るようにしている。
【０００４】
【発明が解決しようとする課題】しかしながら特開平５
−196437号公報や特開平７−181024号公報に示されてい
るようにジャイロや加速度センサーの積分値を利用して
位置変化や姿勢変化を求める場合は、積分値の利用のた
め求めた位置変化や姿勢変化の値の信頼性が低い。ま
た、特開平６−129833号公報に示されているように画像
情報のみを用いると正確な対応点を抽出することは困難
である。さらに、特開平７−244735号公報に示すよう
に、撮像装置の運動速度をセンシングし、その情報を用
いて計測精度を上げるようにしても対応点の抽出や形状
計測には撮像装置の姿勢変化に関する情報が重要である
が、この撮像装置の姿勢変化をセンシングしていないた
め、大きな計測精度の向上は期待できない。
−196437号公報や特開平７−181024号公報に示されてい
るようにジャイロや加速度センサーの積分値を利用して
位置変化や姿勢変化を求める場合は、積分値の利用のた
め求めた位置変化や姿勢変化の値の信頼性が低い。ま
た、特開平６−129833号公報に示されているように画像
情報のみを用いると正確な対応点を抽出することは困難
である。さらに、特開平７−244735号公報に示すよう
に、撮像装置の運動速度をセンシングし、その情報を用
いて計測精度を上げるようにしても対応点の抽出や形状
計測には撮像装置の姿勢変化に関する情報が重要である
が、この撮像装置の姿勢変化をセンシングしていないた
め、大きな計測精度の向上は期待できない。
【０００５】この発明はかかる短所を改善し、簡単な構
成で対象物の立体形状と撮像手段の運動を高精度に計測
できる３次元形状計測方法及び３次元形状計測装置を得
ることを目的とするものである。
成で対象物の立体形状と撮像手段の運動を高精度に計測
できる３次元形状計測方法及び３次元形状計測装置を得
ることを目的とするものである。
【０００６】
【課題を解決するための手段】この発明に係る３次元形
状計測方法は、撮像手段の視点を変えて測定対象物の画
像を入力し、第１視点で測定して入力した画像の複数の
特徴点を抽出し、第２視点で測定して入力した画像の前
記特徴点に相当する対応点を抽出し、２視点における重
力方向と重力回りの角度を入力し、２視点における重力
方向と角度から各視点における撮像手段の姿勢を算出
し、姿勢値と特徴点及び対応点から第１視点と第２視点
における各特徴点と対応点を通る視線ベクトルを算出
し、視線ベクトルと特徴点及び対応点から第１視点から
第２視点までの並進運動ベクトルを算出し、並進運動ベ
クトルと視線ベクトルにより測定対処物の３次元形状を
算出することを特徴とする。
状計測方法は、撮像手段の視点を変えて測定対象物の画
像を入力し、第１視点で測定して入力した画像の複数の
特徴点を抽出し、第２視点で測定して入力した画像の前
記特徴点に相当する対応点を抽出し、２視点における重
力方向と重力回りの角度を入力し、２視点における重力
方向と角度から各視点における撮像手段の姿勢を算出
し、姿勢値と特徴点及び対応点から第１視点と第２視点
における各特徴点と対応点を通る視線ベクトルを算出
し、視線ベクトルと特徴点及び対応点から第１視点から
第２視点までの並進運動ベクトルを算出し、並進運動ベ
クトルと視線ベクトルにより測定対処物の３次元形状を
算出することを特徴とする。
【０００７】この発明に係る第２の３次元形状計測方法
は、撮像手段の視点を変えて測定対象物の画像を入力
し、第１視点で測定して入力した画像の複数の特徴点を
抽出し、第２視点で測定して入力した画像の前記特徴点
に相当する対応点を抽出し、２視点における重力方向と
重力回りの角度を入力し、２視点における重力方向と角
度から各視点における撮像手段の姿勢を算出し、姿勢値
と特徴点及び対応点から第１視点と第２視点における各
特徴点と対応点を通る視線ベクトルを算出し、視線ベク
トルと特徴点及び対応点から第１視点から第２視点まで
の並進運動ベクトルを算出し、並進運動ベクトルにより
対応点の位置を修正して視線ベクトルを算出して対応点
の変化量を算出することを対応点の対応点の変化量が一
定値以下あるいは繰り返し演算回数が一定値になるまで
繰り返してから算出した並進運動ベクトルと視線ベクト
ルにより測定対象物の３次元形状を算出することを特徴
とする。
は、撮像手段の視点を変えて測定対象物の画像を入力
し、第１視点で測定して入力した画像の複数の特徴点を
抽出し、第２視点で測定して入力した画像の前記特徴点
に相当する対応点を抽出し、２視点における重力方向と
重力回りの角度を入力し、２視点における重力方向と角
度から各視点における撮像手段の姿勢を算出し、姿勢値
と特徴点及び対応点から第１視点と第２視点における各
特徴点と対応点を通る視線ベクトルを算出し、視線ベク
トルと特徴点及び対応点から第１視点から第２視点まで
の並進運動ベクトルを算出し、並進運動ベクトルにより
対応点の位置を修正して視線ベクトルを算出して対応点
の変化量を算出することを対応点の対応点の変化量が一
定値以下あるいは繰り返し演算回数が一定値になるまで
繰り返してから算出した並進運動ベクトルと視線ベクト
ルにより測定対象物の３次元形状を算出することを特徴
とする。
【０００８】この発明に係る第３の３次元形状計測方法
は、撮像手段の視点を変えて測定対象物の画像を入力
し、第１視点で測定して入力した画像の複数の特徴点を
抽出し、第２視点で測定して入力した画像の前記特徴点
に相当する対応点の複数の候補を抽出し、２視点におけ
る重力方向と重力回りの角度を入力し、２視点における
重力方向と角度から各視点における撮像手段の姿勢を算
出し、姿勢値と特徴点及び対応点から第１視点と第２視
点における各特徴点と対応点を通る視線ベクトルを算出
し、視線ベクトルと特徴点及び対応点から第１視点から
第２視点までの並進運動ベクトルを算出し、算出した並
進運動ベクトルにより対応点の位置を他の候補に置き換
えて特徴点と修正した対応点から姿勢補正値を算出して
視線ベクトルと並進運動ベクトルを算出することを対応
点の変化量が一定値以下あるいは繰り返し演算回数が一
定値になるまで繰り返してから算出した並進運動ベクト
ルと視線ベクトルより測定対象物の３次元形状を算出す
ることを特徴とする。
は、撮像手段の視点を変えて測定対象物の画像を入力
し、第１視点で測定して入力した画像の複数の特徴点を
抽出し、第２視点で測定して入力した画像の前記特徴点
に相当する対応点の複数の候補を抽出し、２視点におけ
る重力方向と重力回りの角度を入力し、２視点における
重力方向と角度から各視点における撮像手段の姿勢を算
出し、姿勢値と特徴点及び対応点から第１視点と第２視
点における各特徴点と対応点を通る視線ベクトルを算出
し、視線ベクトルと特徴点及び対応点から第１視点から
第２視点までの並進運動ベクトルを算出し、算出した並
進運動ベクトルにより対応点の位置を他の候補に置き換
えて特徴点と修正した対応点から姿勢補正値を算出して
視線ベクトルと並進運動ベクトルを算出することを対応
点の変化量が一定値以下あるいは繰り返し演算回数が一
定値になるまで繰り返してから算出した並進運動ベクト
ルと視線ベクトルより測定対象物の３次元形状を算出す
ることを特徴とする。
【０００９】この発明に係る第４の３次元形状計測方法
は、撮像手段の視点を変えて測定対象物の画像を入力
し、第１視点で測定して入力した画像の複数の特徴点を
抽出し、第２視点で測定して入力した画像の前記特徴点
に相当する対応点の複数の候補を抽出し、２視点におけ
る重力方向と重力回りの角度を入力し、２視点における
重力方向と角度から各視点における撮像手段の姿勢を算
出し、姿勢値と特徴点及び対応点から第１視点と第２視
点における各特徴点と対応点を通る視線ベクトルを算出
し、視線ベクトルと特徴点及び対応点から第１視点から
第２視点までの並進運動ベクトルを繰返して算出し、算
出した並進運動ベクトルにより特徴点と対応点の誤対応
を検出し、誤対応した特徴点と対応点を除去して視線ベ
クトルと並進運動ベクトルを算出することを並進運動ベ
クトルが収束するまで繰り返してから算出した並進運動
ベクトルと視線ベクトルより測定対象物の３次元形状を
算出することを特徴とする
は、撮像手段の視点を変えて測定対象物の画像を入力
し、第１視点で測定して入力した画像の複数の特徴点を
抽出し、第２視点で測定して入力した画像の前記特徴点
に相当する対応点の複数の候補を抽出し、２視点におけ
る重力方向と重力回りの角度を入力し、２視点における
重力方向と角度から各視点における撮像手段の姿勢を算
出し、姿勢値と特徴点及び対応点から第１視点と第２視
点における各特徴点と対応点を通る視線ベクトルを算出
し、視線ベクトルと特徴点及び対応点から第１視点から
第２視点までの並進運動ベクトルを繰返して算出し、算
出した並進運動ベクトルにより特徴点と対応点の誤対応
を検出し、誤対応した特徴点と対応点を除去して視線ベ
クトルと並進運動ベクトルを算出することを並進運動ベ
クトルが収束するまで繰り返してから算出した並進運動
ベクトルと視線ベクトルより測定対象物の３次元形状を
算出することを特徴とする
【００１０】この発明に係る３次元形状計測装置は、撮
像手段と対応関係抽出手段と重力方向検出手段と重力回
り角度検出手段と姿勢算出手段と視線ベクトル算出手段
と並進運動算出手段及び３次元形状演算手段を有し、撮
像手段は視点を変えて測定対象物の画像を入力し、対応
関係抽出手段は第１視点で測定した画像の複数の特徴点
を抽出し、第２視点で測定した画像の前記特徴点に相当
する対応点を抽出し、重力方向検出手段は第１視点と第
２視点における重力方向を検出し、重力回り角度検出手
段は２視点における重力回りの角度を検出し、姿勢算出
手段は２視点の重力方向と重力回りの角度から各視点に
おける撮像手段の姿勢を算出し、視線ベクトル算出手段
は２視点の姿勢値と特徴点及び対応点より第１視点と第
２視点における各特徴点と対応点を通る視線ベクトルを
算出し、並進運動算出手段は視線ベクトルと特徴点及び
対応点から第１視点から第２視点までの並進運動ベクト
ルを算出し、３次元形状演算手段は並進運動ベクトルと
視線ベクトルより測定対象物の３次元形状を算出するこ
とを特徴とする。
像手段と対応関係抽出手段と重力方向検出手段と重力回
り角度検出手段と姿勢算出手段と視線ベクトル算出手段
と並進運動算出手段及び３次元形状演算手段を有し、撮
像手段は視点を変えて測定対象物の画像を入力し、対応
関係抽出手段は第１視点で測定した画像の複数の特徴点
を抽出し、第２視点で測定した画像の前記特徴点に相当
する対応点を抽出し、重力方向検出手段は第１視点と第
２視点における重力方向を検出し、重力回り角度検出手
段は２視点における重力回りの角度を検出し、姿勢算出
手段は２視点の重力方向と重力回りの角度から各視点に
おける撮像手段の姿勢を算出し、視線ベクトル算出手段
は２視点の姿勢値と特徴点及び対応点より第１視点と第
２視点における各特徴点と対応点を通る視線ベクトルを
算出し、並進運動算出手段は視線ベクトルと特徴点及び
対応点から第１視点から第２視点までの並進運動ベクト
ルを算出し、３次元形状演算手段は並進運動ベクトルと
視線ベクトルより測定対象物の３次元形状を算出するこ
とを特徴とする。
【００１１】この発明に係る第２の３次元形状計測装置
は、撮像手段と対応関係抽出手段と重力方向検出手段と
重力回り角度検出手段と姿勢算出手段と視線ベクトル算
出手段と並進運動算出手段と収束信号通知手段及び３次
元形状演算手段を有し、撮像手段は視点を変えて測定対
象物の画像を入力し、対応関係抽出手段は第１視点で測
定した画像の複数の特徴点を抽出し、第２視点で測定し
た画像の前記特徴点に相当する対応点を抽出し、重力方
向検出手段は第１視点と第２視点における重力方向を検
出し、重力回り角度検出手段は２視点における重力回り
の角度を検出し、姿勢算出手段は２視点の重力方向と重
力回りの角度から各視点における撮像手段の姿勢を算出
し、視線ベクトル算出手段は２視点の姿勢値と特徴点及
び対応点より第１視点と第２視点における各特徴点と対
応点を通る視線ベクトルを算出するとともに並進運動算
出手段で算出した並進運動ベクトルにより対応点の位置
を修正して視線ベクトルを算出し、並進運動算出手段は
視線ベクトルと特徴点及び対応点から第１視点から第２
視点までの並進運動ベクトルを算出し、収束信号通知手
段は並進運動ベクトルにより対応点の位置を修正したと
きの対応点の変化量を算出し、対応点の対応点の変化量
が一定値以下あるいは繰り返し演算回数が一定値になっ
たことを通知する収束信号を出力し、３次元形状演算手
段は収束信号が出力されたときの並進運動ベクトルと視
線ベクトルより測定対象物の３次元形状を算出すること
を特徴とする。
は、撮像手段と対応関係抽出手段と重力方向検出手段と
重力回り角度検出手段と姿勢算出手段と視線ベクトル算
出手段と並進運動算出手段と収束信号通知手段及び３次
元形状演算手段を有し、撮像手段は視点を変えて測定対
象物の画像を入力し、対応関係抽出手段は第１視点で測
定した画像の複数の特徴点を抽出し、第２視点で測定し
た画像の前記特徴点に相当する対応点を抽出し、重力方
向検出手段は第１視点と第２視点における重力方向を検
出し、重力回り角度検出手段は２視点における重力回り
の角度を検出し、姿勢算出手段は２視点の重力方向と重
力回りの角度から各視点における撮像手段の姿勢を算出
し、視線ベクトル算出手段は２視点の姿勢値と特徴点及
び対応点より第１視点と第２視点における各特徴点と対
応点を通る視線ベクトルを算出するとともに並進運動算
出手段で算出した並進運動ベクトルにより対応点の位置
を修正して視線ベクトルを算出し、並進運動算出手段は
視線ベクトルと特徴点及び対応点から第１視点から第２
視点までの並進運動ベクトルを算出し、収束信号通知手
段は並進運動ベクトルにより対応点の位置を修正したと
きの対応点の変化量を算出し、対応点の対応点の変化量
が一定値以下あるいは繰り返し演算回数が一定値になっ
たことを通知する収束信号を出力し、３次元形状演算手
段は収束信号が出力されたときの並進運動ベクトルと視
線ベクトルより測定対象物の３次元形状を算出すること
を特徴とする。
【００１２】この発明に係る第３の３次元形状計測装置
は、撮像手段と対応関係抽出手段と重力方向検出手段と
重力回り角度検出手段と姿勢算出手段と姿勢補正手段と
視線ベクトル算出手段と並進運動算出手段と収束信号通
知手段及び３次元形状演算手段を有し、撮像手段は視点
を変えて測定対象物の画像を入力し、対応関係抽出手段
は第１視点で測定した画像の複数の特徴点を抽出し、第
２視点で測定した画像の前記特徴点に相当する対応点を
抽出し、重力方向検出手段は第１視点と第２視点におけ
る重力方向を検出し、重力回り角度検出手段は２視点に
おける重力回りの角度を検出し、姿勢算出手段は２視点
の重力方向と重力回りの角度から各視点における撮像手
段の姿勢を算出するとともに姿勢補正手段で算出した画
像の姿勢角度の補正値と第２視点の重力方向と重力回り
の角度から第２視点における撮像手段の姿勢を算出し、
視線ベクトル算出手段は２視点の姿勢値と特徴点及び対
応点より第１視点と第２視点における各特徴点と対応点
を通る視線ベクトルを算出するとともに並進運動算出手
段で算出した並進運動ベクトルにより対応点を他の候補
と置き換えて修正して各特徴点と修正した対応点を通る
視線ベクトルを算出し、姿勢補正手段は修正した対応点
より第２視点の画像の姿勢角度の補正値を算出し、並進
運動算出手段は視線ベクトルと特徴点及び対応点から第
１視点から第２視点までの並進運動ベクトルを算出し、
収束信号通知手段は並進運動ベクトルにより対応点の位
置を修正したときの対応点の変化量を算出し、対応点の
対応点の変化量が一定値以下あるいは繰り返し演算回数
が一定値になったことを通知する収束信号を出力し、３
次元形状演算手段は収束信号が出力されたときの並進運
動ベクトルと視線ベクトルより測定対象物の３次元形状
を算出することを特徴とする。
は、撮像手段と対応関係抽出手段と重力方向検出手段と
重力回り角度検出手段と姿勢算出手段と姿勢補正手段と
視線ベクトル算出手段と並進運動算出手段と収束信号通
知手段及び３次元形状演算手段を有し、撮像手段は視点
を変えて測定対象物の画像を入力し、対応関係抽出手段
は第１視点で測定した画像の複数の特徴点を抽出し、第
２視点で測定した画像の前記特徴点に相当する対応点を
抽出し、重力方向検出手段は第１視点と第２視点におけ
る重力方向を検出し、重力回り角度検出手段は２視点に
おける重力回りの角度を検出し、姿勢算出手段は２視点
の重力方向と重力回りの角度から各視点における撮像手
段の姿勢を算出するとともに姿勢補正手段で算出した画
像の姿勢角度の補正値と第２視点の重力方向と重力回り
の角度から第２視点における撮像手段の姿勢を算出し、
視線ベクトル算出手段は２視点の姿勢値と特徴点及び対
応点より第１視点と第２視点における各特徴点と対応点
を通る視線ベクトルを算出するとともに並進運動算出手
段で算出した並進運動ベクトルにより対応点を他の候補
と置き換えて修正して各特徴点と修正した対応点を通る
視線ベクトルを算出し、姿勢補正手段は修正した対応点
より第２視点の画像の姿勢角度の補正値を算出し、並進
運動算出手段は視線ベクトルと特徴点及び対応点から第
１視点から第２視点までの並進運動ベクトルを算出し、
収束信号通知手段は並進運動ベクトルにより対応点の位
置を修正したときの対応点の変化量を算出し、対応点の
対応点の変化量が一定値以下あるいは繰り返し演算回数
が一定値になったことを通知する収束信号を出力し、３
次元形状演算手段は収束信号が出力されたときの並進運
動ベクトルと視線ベクトルより測定対象物の３次元形状
を算出することを特徴とする。
【００１３】上記収束信号通知手段は並進運動算出手段
で算出した並進運動ベクトルの変化量が一定値以下にな
ったときに収束信号を出力するようにしても良い。
で算出した並進運動ベクトルの変化量が一定値以下にな
ったときに収束信号を出力するようにしても良い。
【００１４】この発明に係る第４の３次元形状計測装置
は、撮像手段と対応関係抽出手段と重力方向検出手段と
重力回り角度検出手段と姿勢算出手段と視線ベクトル算
出手段と並進運動算出手段と誤対応検出手段と誤対応除
去手段と収束信号通知手段及び３次元形状演算手段を有
し、撮像手段は視点を変えて測定対象物の画像を入力
し、対応関係抽出手段は第１視点で測定した画像の複数
の特徴点を抽出し、第２視点で測定した画像の前記特徴
点に相当する対応点を抽出し、重力方向検出手段は第１
視点と第２視点における重力方向を検出し、重力回り角
度検出手段は２視点における重力回りの角度を検出し、
姿勢算出手段は２視点の重力方向と重力回りの角度から
各視点における撮像手段の姿勢を算出するとともに姿勢
補正手段で算出した画像の姿勢角度の補正値と第２視点
の重力方向と重力回りの角度から第２視点における撮像
手段の姿勢を算出し、視線ベクトル算出手段は２視点の
姿勢値と特徴点及び対応点より第１視点と第２視点にお
ける各特徴点と対応点を通る視線ベクトルを算出し、並
進運動算出手段は視線ベクトルと特徴点及び対応点から
第１視点から第２視点までの並進運動ベクトルを繰り返
して算出し、誤対応検出手段は算出した並進運動ベクト
ルにより特徴点と対応点の誤対応を検出し、誤対応除去
手段は誤対応した特徴点と対応点を除去し、収束信号通
知手段は並進運動ベクトルが一定値になったことを検出
して収束信号を出力し、３次元形状演算手段は収束信号
が出力されたときの並進運動ベクトルと視線ベクトルよ
り測定対象物の３次元形状を算出することを特徴とす
る。
は、撮像手段と対応関係抽出手段と重力方向検出手段と
重力回り角度検出手段と姿勢算出手段と視線ベクトル算
出手段と並進運動算出手段と誤対応検出手段と誤対応除
去手段と収束信号通知手段及び３次元形状演算手段を有
し、撮像手段は視点を変えて測定対象物の画像を入力
し、対応関係抽出手段は第１視点で測定した画像の複数
の特徴点を抽出し、第２視点で測定した画像の前記特徴
点に相当する対応点を抽出し、重力方向検出手段は第１
視点と第２視点における重力方向を検出し、重力回り角
度検出手段は２視点における重力回りの角度を検出し、
姿勢算出手段は２視点の重力方向と重力回りの角度から
各視点における撮像手段の姿勢を算出するとともに姿勢
補正手段で算出した画像の姿勢角度の補正値と第２視点
の重力方向と重力回りの角度から第２視点における撮像
手段の姿勢を算出し、視線ベクトル算出手段は２視点の
姿勢値と特徴点及び対応点より第１視点と第２視点にお
ける各特徴点と対応点を通る視線ベクトルを算出し、並
進運動算出手段は視線ベクトルと特徴点及び対応点から
第１視点から第２視点までの並進運動ベクトルを繰り返
して算出し、誤対応検出手段は算出した並進運動ベクト
ルにより特徴点と対応点の誤対応を検出し、誤対応除去
手段は誤対応した特徴点と対応点を除去し、収束信号通
知手段は並進運動ベクトルが一定値になったことを検出
して収束信号を出力し、３次元形状演算手段は収束信号
が出力されたときの並進運動ベクトルと視線ベクトルよ
り測定対象物の３次元形状を算出することを特徴とす
る。
【００１５】上記収束信号通知手段は繰り返した算出し
た並進運動ベクトルの誤差曲線により並進運動ベクトル
の収束を検出すると良い。
た並進運動ベクトルの誤差曲線により並進運動ベクトル
の収束を検出すると良い。
【００１６】上記重力方向検出手段は３軸加速度センサ
又は入力画像より重力方向を算出する重力方向推定手段
のいずれを使用しても良い。
又は入力画像より重力方向を算出する重力方向推定手段
のいずれを使用しても良い。
【００１７】また、上記重力回り角度検出手段は磁気セ
ンサ又は磁気センサと重力方向検出手段のいずれを使用
しても良い。
ンサ又は磁気センサと重力方向検出手段のいずれを使用
しても良い。
【００１８】さらに、対応関係抽出手段で特徴点と対応
点とともに重み値を算出し、並進運動算出手段で特徴点
と対応点の重み値を考慮して並進運動ベクトルを算出す
ると良い。
点とともに重み値を算出し、並進運動算出手段で特徴点
と対応点の重み値を考慮して並進運動ベクトルを算出す
ると良い。
【００１９】
【発明の実施の形態】この発明の３次元形状計測装置
は、例えばデジタルカメラからなる単眼画像撮像部と対
応関係抽出部と重力方向検出部と重力回り角度検出部と
姿勢算出部と視線ベクトル算出部と並進運動算出部及び
３次元形状演算部を有する。単眼画像撮像部は異なる視
点である第１視点と第２視点で測定対象物を撮像して得
た画像を対応関係抽出部へ送る。対応関係抽出部は送ら
れた第１視点の画像から特徴点を抽出し、第２視点の画
像から各対応点を抽出する。特徴点と対応点を抽出した
ら、重力方向検出部で検出した重力方向の傾きと重力回
り角度検出部で検出した重力回りの角度から姿勢算出部
で第１視点と第２視点における単眼画像撮像部の姿勢を
算出する。この第１視点と第２視点における単眼画像撮
像部の姿勢と特徴点と対応点の各データから視線ベクト
ル算出部で各特徴点と対応点を通る視線ベクトルを算出
する。この特徴点と対応点をそれぞれ通る視線ベクトル
と特徴点と対応点の各データから並進運動算出部で第１
視点から第２視点までの並進運動方向ベクトルを算出す
る。３次元形状演算部は算出した並進運動方向ベクトル
と各視線ベクトルを使用して三角測量の原理で各特徴点
に相当する対象物上の各対象点３次元座標値を算出して
対象物の３次元形状を出力する。このようにして重力方
向情報と重力回り角度情報と２視点からの画像情報を融
合することにより、精度の高い３次元形状計測を実現す
るとともに装置の小型化を図る。
は、例えばデジタルカメラからなる単眼画像撮像部と対
応関係抽出部と重力方向検出部と重力回り角度検出部と
姿勢算出部と視線ベクトル算出部と並進運動算出部及び
３次元形状演算部を有する。単眼画像撮像部は異なる視
点である第１視点と第２視点で測定対象物を撮像して得
た画像を対応関係抽出部へ送る。対応関係抽出部は送ら
れた第１視点の画像から特徴点を抽出し、第２視点の画
像から各対応点を抽出する。特徴点と対応点を抽出した
ら、重力方向検出部で検出した重力方向の傾きと重力回
り角度検出部で検出した重力回りの角度から姿勢算出部
で第１視点と第２視点における単眼画像撮像部の姿勢を
算出する。この第１視点と第２視点における単眼画像撮
像部の姿勢と特徴点と対応点の各データから視線ベクト
ル算出部で各特徴点と対応点を通る視線ベクトルを算出
する。この特徴点と対応点をそれぞれ通る視線ベクトル
と特徴点と対応点の各データから並進運動算出部で第１
視点から第２視点までの並進運動方向ベクトルを算出す
る。３次元形状演算部は算出した並進運動方向ベクトル
と各視線ベクトルを使用して三角測量の原理で各特徴点
に相当する対象物上の各対象点３次元座標値を算出して
対象物の３次元形状を出力する。このようにして重力方
向情報と重力回り角度情報と２視点からの画像情報を融
合することにより、精度の高い３次元形状計測を実現す
るとともに装置の小型化を図る。
【００２０】また、抽出した対応点を算出した並進運動
方向ベクトルで修正して並進運動方向ベクトルを算出す
るようにしても良い。すなわち、視線ベクトル算出部は
算出した並進運動方向ベクトルを使用して対応点の位置
をエピポーラ線を利用して修正し、修正した対応点の位
置デ−タで新たな視線ベクトルを算出し、再び並進運動
ベクトルを算出する。この対応点の修正と並進運動ベク
トルの算出を対応点がほぼ一定値に収束するかあるいは
修正の繰り返し回数がある値に達するまで繰り返してか
ら並進運動算出部から出力される並進運動方向ベクトル
と視線ベクトルから三角測量の原理で各特徴点に相当す
る対象物上の各対象点の３次元座標値を算出して対象物
の３次元形状を出力する。このように並進運動ベクトル
と対応点を繰り返し演算によって調整することにより、
より精度の高い３次元形状計測を実現することができ
る。
方向ベクトルで修正して並進運動方向ベクトルを算出す
るようにしても良い。すなわち、視線ベクトル算出部は
算出した並進運動方向ベクトルを使用して対応点の位置
をエピポーラ線を利用して修正し、修正した対応点の位
置デ−タで新たな視線ベクトルを算出し、再び並進運動
ベクトルを算出する。この対応点の修正と並進運動ベク
トルの算出を対応点がほぼ一定値に収束するかあるいは
修正の繰り返し回数がある値に達するまで繰り返してか
ら並進運動算出部から出力される並進運動方向ベクトル
と視線ベクトルから三角測量の原理で各特徴点に相当す
る対象物上の各対象点の３次元座標値を算出して対象物
の３次元形状を出力する。このように並進運動ベクトル
と対応点を繰り返し演算によって調整することにより、
より精度の高い３次元形状計測を実現することができ
る。
【００２１】さらに、対応点の候補を複数抽出して並進
運動方向ベクトルの算出と対応点の修正を繰返し演算し
て最適な対応点を選択して並進運動方向ベクトルと対応
点を繰返し演算により調整することにより、さらに精度
の高い３次元形状計測を実現することができる。
運動方向ベクトルの算出と対応点の修正を繰返し演算し
て最適な対応点を選択して並進運動方向ベクトルと対応
点を繰返し演算により調整することにより、さらに精度
の高い３次元形状計測を実現することができる。
【００２２】
【実施例】この発明の実施例を説明するにあたり、まず
図１，図２，図３を参照して動作原理を説明する。図１
に示すように、測定対象物Ｍの画像を撮像系を移動して
第１視点Ｌ１と第２視点Ｌ２の２視点で得る。測定対象
物Ｍの対象点Ｏｎは第１視点Ｌ１のイメージプレーンＰ
１上に特徴点Ｉ１ｎとして検出され、第２視点Ｌ２のイ
メージプレーンＰ２には特徴点Ｉ１ｎに対応する対応点
Ｉ２ｎとして検出される。測定対象物Ｍの複数の対象点
ＯｎのイメージプレーンＰ１上の特徴点Ｉ１ｎとイメー
ジプレーンＰ２の各対応点Ｉ２ｎを図２に示すように抽
出する。図２において添字ｎ＝１〜７はそれぞれイメー
ジプレーンＰ１、Ｐ２の同じ添字ｎ＝１〜７はそれぞれ
対応する点を示す。次ぎに第１視点Ｌ１と第２視点Ｌ２
で各画像が撮像されたときの撮像系の直交座標軸の重力
方向を座標軸の一つとする直交座標系であるワールド座
標系に対する傾きを重力方向からの傾きと重力回りの回
転の２成分の形で抽出する。そして例えば図３に示すよ
うに、ある視点における重力方向単位ベクトルすなわち
撮像系からみた重力の方向を示すベクトルをｇ＝（ｇ
ｘ、ｇｙ、ｇｚ）とし、重力回り回転角度をψとする
と、重力方向単位ベクトルｇと撮像系の座標軸とがなす
角度θ，φは、tanθ＝(ｇｚ／ｇｙ），tanφ＝(ｇｘ／
ｇｙθ）で表せる。但し、ｇｙθは重力方向単位ベクト
ルｇをｘ軸回りに角度θだけ回転させたときの重力方向
単位ベクトルｇのｙ成分である。これを第１視点Ｌ１の
座標系と第２視点Ｌ２の座標系について行うと、第１視
点Ｌ１の座標系とワールド座標系との姿勢変化（θ１，
φ１，ψ１）及び第２視点Ｌ２の座標系とワールド座標
系との姿勢変化（θ２、φ２、ψ２）すなわち第１視点
Ｌ１と第２視点Ｌ２における撮像系の姿勢が求められ
る。したがってイメージプレーンＰ１上の特徴点Ｉ１ｎ
を通る視線ベクトルｖ１ｎとイメージプレーンＰ２上の
対応点Ｉ２ｎを通る視線ベクトルｖ２ｎをワールド座標
系で表現できる。また、撮像系の光学中心が第１視点Ｌ
１から第２視点Ｌ２に移動したベクトルである撮像系の
並進運動ベクトルＴは、視線ベクトルｖ１ｎ，ｖ２ｎと
並進運動ベクトルＴのスカラー三重積（ｖ１ｎ×Ｔ，ｖ
２ｎ）の各対応に関する和を最小化する値として決定で
きる。この並進ベクトルＴと視線ベクトルｖ１ｎ，ｖ２
ｎから三角測量の原理で各特徴点Ｉ１ｎに相当する対象
物Ｍ上の各対象点Ｏｎの３次元座標値を算出することが
できる。
図１，図２，図３を参照して動作原理を説明する。図１
に示すように、測定対象物Ｍの画像を撮像系を移動して
第１視点Ｌ１と第２視点Ｌ２の２視点で得る。測定対象
物Ｍの対象点Ｏｎは第１視点Ｌ１のイメージプレーンＰ
１上に特徴点Ｉ１ｎとして検出され、第２視点Ｌ２のイ
メージプレーンＰ２には特徴点Ｉ１ｎに対応する対応点
Ｉ２ｎとして検出される。測定対象物Ｍの複数の対象点
ＯｎのイメージプレーンＰ１上の特徴点Ｉ１ｎとイメー
ジプレーンＰ２の各対応点Ｉ２ｎを図２に示すように抽
出する。図２において添字ｎ＝１〜７はそれぞれイメー
ジプレーンＰ１、Ｐ２の同じ添字ｎ＝１〜７はそれぞれ
対応する点を示す。次ぎに第１視点Ｌ１と第２視点Ｌ２
で各画像が撮像されたときの撮像系の直交座標軸の重力
方向を座標軸の一つとする直交座標系であるワールド座
標系に対する傾きを重力方向からの傾きと重力回りの回
転の２成分の形で抽出する。そして例えば図３に示すよ
うに、ある視点における重力方向単位ベクトルすなわち
撮像系からみた重力の方向を示すベクトルをｇ＝（ｇ
ｘ、ｇｙ、ｇｚ）とし、重力回り回転角度をψとする
と、重力方向単位ベクトルｇと撮像系の座標軸とがなす
角度θ，φは、tanθ＝(ｇｚ／ｇｙ），tanφ＝(ｇｘ／
ｇｙθ）で表せる。但し、ｇｙθは重力方向単位ベクト
ルｇをｘ軸回りに角度θだけ回転させたときの重力方向
単位ベクトルｇのｙ成分である。これを第１視点Ｌ１の
座標系と第２視点Ｌ２の座標系について行うと、第１視
点Ｌ１の座標系とワールド座標系との姿勢変化（θ１，
φ１，ψ１）及び第２視点Ｌ２の座標系とワールド座標
系との姿勢変化（θ２、φ２、ψ２）すなわち第１視点
Ｌ１と第２視点Ｌ２における撮像系の姿勢が求められ
る。したがってイメージプレーンＰ１上の特徴点Ｉ１ｎ
を通る視線ベクトルｖ１ｎとイメージプレーンＰ２上の
対応点Ｉ２ｎを通る視線ベクトルｖ２ｎをワールド座標
系で表現できる。また、撮像系の光学中心が第１視点Ｌ
１から第２視点Ｌ２に移動したベクトルである撮像系の
並進運動ベクトルＴは、視線ベクトルｖ１ｎ，ｖ２ｎと
並進運動ベクトルＴのスカラー三重積（ｖ１ｎ×Ｔ，ｖ
２ｎ）の各対応に関する和を最小化する値として決定で
きる。この並進ベクトルＴと視線ベクトルｖ１ｎ，ｖ２
ｎから三角測量の原理で各特徴点Ｉ１ｎに相当する対象
物Ｍ上の各対象点Ｏｎの３次元座標値を算出することが
できる。
【００２３】上記原理に基づくこの発明の一実施例の３
次元形状計測装置は、図４のブロック図に示すように、
単眼画像撮像部１と対応関係抽出部２と重力方向検出部
３と重力回り角度検出部４と姿勢算出部５と視線ベクト
ル算出部６と並進運動算出部７及び３次元形状演算部８
を有する。単眼画像撮像部１は例えばデジタルカメラか
らなり、図１に示すように、第１視点Ｌ１と第２視点Ｌ
２で測定対象物Ｍの画像を入力する。対応関係抽出部２
は第１視点Ｌ１で測定した画像の複数の特徴点Ｉ１ｎを
抽出し、第２視点Ｌ２で測定した画像の特徴点Ｉ１ｎに
相当する対応点Ｉ２ｎを抽出する。
次元形状計測装置は、図４のブロック図に示すように、
単眼画像撮像部１と対応関係抽出部２と重力方向検出部
３と重力回り角度検出部４と姿勢算出部５と視線ベクト
ル算出部６と並進運動算出部７及び３次元形状演算部８
を有する。単眼画像撮像部１は例えばデジタルカメラか
らなり、図１に示すように、第１視点Ｌ１と第２視点Ｌ
２で測定対象物Ｍの画像を入力する。対応関係抽出部２
は第１視点Ｌ１で測定した画像の複数の特徴点Ｉ１ｎを
抽出し、第２視点Ｌ２で測定した画像の特徴点Ｉ１ｎに
相当する対応点Ｉ２ｎを抽出する。
【００２４】重力方向検出部３は、例えば直交する３軸
の加速度を検出する加速度センサからなり、第１視点Ｌ
１と第２視点Ｌ２で画像を撮像したときの単眼画像撮像
部１の直交座標系の重力方向に対する傾きを検出する。
この直交座標系の重力方向に対する傾きを検出するとき
に、図１に示すように、画像面にｘ，ｙ軸を取り、画像
面に垂直な方向である光軸をｚ軸とし、各軸方向の加速
度を検出するように加速度センサを配置する。この各加
速度センサの信号値の比で単眼画像撮像部１に対する重
力方向の方向ベクトルを示すことができる。重力回り角
度検出部４は、例えば直交する３軸の磁力を測定する磁
気センサを有し、重力方向に垂直な方向の磁場と重力方
向から第１視点Ｌ１と第２視点Ｌ２で画像を撮像したと
きの単眼画像撮像部１の直交座標系の重力回りの角度を
検出する。すなわち重力方向検出部３で検出した重力方
向の方向ベクトルに単眼画像撮像部１のある軸が一致す
るような回転行列を算出する。そして、磁気センサで得
られた磁場方向ベクトルにその変換を施し、変換後のベ
クトル間のなす角度を重力回りの回転角度として得るこ
とができる。
の加速度を検出する加速度センサからなり、第１視点Ｌ
１と第２視点Ｌ２で画像を撮像したときの単眼画像撮像
部１の直交座標系の重力方向に対する傾きを検出する。
この直交座標系の重力方向に対する傾きを検出するとき
に、図１に示すように、画像面にｘ，ｙ軸を取り、画像
面に垂直な方向である光軸をｚ軸とし、各軸方向の加速
度を検出するように加速度センサを配置する。この各加
速度センサの信号値の比で単眼画像撮像部１に対する重
力方向の方向ベクトルを示すことができる。重力回り角
度検出部４は、例えば直交する３軸の磁力を測定する磁
気センサを有し、重力方向に垂直な方向の磁場と重力方
向から第１視点Ｌ１と第２視点Ｌ２で画像を撮像したと
きの単眼画像撮像部１の直交座標系の重力回りの角度を
検出する。すなわち重力方向検出部３で検出した重力方
向の方向ベクトルに単眼画像撮像部１のある軸が一致す
るような回転行列を算出する。そして、磁気センサで得
られた磁場方向ベクトルにその変換を施し、変換後のベ
クトル間のなす角度を重力回りの回転角度として得るこ
とができる。
【００２５】姿勢算出部５は重力方向検出部３で検出し
た第１視点Ｌ１と第２視点Ｌ２の重力方向に対する傾き
と重力回り角度検出部４で検出した重力回りの角度から
各視点Ｌ１，Ｌ２における単眼画像撮像部１の姿勢を算
出する。視線ベクトル算出部６は２視点Ｌ１，Ｌ２にお
ける姿勢値と特徴点Ｉ１ｎ及び対応点Ｉ２ｎより第１視
点Ｌ１と第２視点Ｌ２における各特徴点Ｉ１ｎと対応点
Ｉ２ｎを通る視線ベクトルＶ１ｎ，Ｖ２ｎを算出する。
並進運動算出部７は視線ベクトルＶ１ｎ，Ｖ２ｎと特徴
点Ｉ１ｎ及び対応点Ｉ２ｎから第１視点Ｌ１から第２視
点Ｌ２までの並進運動ベクトルＴを算出する。３次元形
状演算８は並進運動ベクトルＴと視線ベクトルＶ１ｎ，
Ｖ２ｎより測定対象物Ｍの３次元形状を算出する。
た第１視点Ｌ１と第２視点Ｌ２の重力方向に対する傾き
と重力回り角度検出部４で検出した重力回りの角度から
各視点Ｌ１，Ｌ２における単眼画像撮像部１の姿勢を算
出する。視線ベクトル算出部６は２視点Ｌ１，Ｌ２にお
ける姿勢値と特徴点Ｉ１ｎ及び対応点Ｉ２ｎより第１視
点Ｌ１と第２視点Ｌ２における各特徴点Ｉ１ｎと対応点
Ｉ２ｎを通る視線ベクトルＶ１ｎ，Ｖ２ｎを算出する。
並進運動算出部７は視線ベクトルＶ１ｎ，Ｖ２ｎと特徴
点Ｉ１ｎ及び対応点Ｉ２ｎから第１視点Ｌ１から第２視
点Ｌ２までの並進運動ベクトルＴを算出する。３次元形
状演算８は並進運動ベクトルＴと視線ベクトルＶ１ｎ，
Ｖ２ｎより測定対象物Ｍの３次元形状を算出する。
【００２６】次ぎに、上記実施例の動作を図５のフロ−
チャ−トを参照して説明する。まず、単眼画像撮像部１
で、図１に示すように、異なる視点である第１視点Ｌ１
と第２視点Ｌ２で撮像して得た画像を対応関係抽出部２
へ送る。対応関係抽出部２は送られた第１視点Ｌ１の画
像から特徴点Ｉ１ｎを抽出し、第２視点の画像から各対
応点Ｉ２ｎを抽出して出力する（ステップＳ１）。この
特徴点Ｉ１ｎと対応点Ｉ２ｎの抽出方法は種々あるが、
例えば次ぎの手順で行なう。第１視点Ｌ１の画像に２次
元微分フィルタを施し、微分値が高くなる点を特徴点Ｉ
１ｎとして抽出する。次ぎに、ある特徴点Ｉ１ｎを中心
とした画像領域を切り出し、第２視点Ｌ２の画像中で最
も似た領域を探索する。この探索方法としては相関法を
用いる。相関法とは第１視点Ｌ１の画像内で切り出した
特徴点近傍の第１画像領域と第２視点Ｌ２の画像内の探
索領域の第２画像領域との相互相関を算出し、その値が
最も高くなる第２画像領域を取り出す。このようにして
得られた第２画像領域の中心を対応点とする。この処理
を第１視点Ｌ１の全特徴点Ｉ１ｎに対して行なう。ただ
し、類似した領域が発見できないときは、その点を特徴
点とはしないようにする。
チャ−トを参照して説明する。まず、単眼画像撮像部１
で、図１に示すように、異なる視点である第１視点Ｌ１
と第２視点Ｌ２で撮像して得た画像を対応関係抽出部２
へ送る。対応関係抽出部２は送られた第１視点Ｌ１の画
像から特徴点Ｉ１ｎを抽出し、第２視点の画像から各対
応点Ｉ２ｎを抽出して出力する（ステップＳ１）。この
特徴点Ｉ１ｎと対応点Ｉ２ｎの抽出方法は種々あるが、
例えば次ぎの手順で行なう。第１視点Ｌ１の画像に２次
元微分フィルタを施し、微分値が高くなる点を特徴点Ｉ
１ｎとして抽出する。次ぎに、ある特徴点Ｉ１ｎを中心
とした画像領域を切り出し、第２視点Ｌ２の画像中で最
も似た領域を探索する。この探索方法としては相関法を
用いる。相関法とは第１視点Ｌ１の画像内で切り出した
特徴点近傍の第１画像領域と第２視点Ｌ２の画像内の探
索領域の第２画像領域との相互相関を算出し、その値が
最も高くなる第２画像領域を取り出す。このようにして
得られた第２画像領域の中心を対応点とする。この処理
を第１視点Ｌ１の全特徴点Ｉ１ｎに対して行なう。ただ
し、類似した領域が発見できないときは、その点を特徴
点とはしないようにする。
【００２７】特徴点Ｉ１ｎと対応点Ｉ２ｎを抽出した
ら、重力方向検出部３で検出した重力方向の傾きと重力
回り角度検出部４で検出した重力回りの角度から姿勢算
出部５で第１視点Ｌ１と第２視点Ｌ２における単眼画像
撮像部１の姿勢を算出する（ステップＳ２）。この第１
視点Ｌ１と第２視点Ｌ２における単眼画像撮像部１の姿
勢と特徴点Ｉ１ｎと対応点Ｉ２ｎの各データから視線ベ
クトル算出部６で各特徴点Ｉ１ｎと対応点Ｉ２ｎを通る
視線ベクトルＶ１ｎ，Ｖ２ｎを算出する（ステップＳ
３）。この視線ベクトルＶ１ｎ，Ｖ２ｎと特徴点Ｉ１ｎ
と対応点Ｉ２ｎの各データから並進運動算出部７で並進
運動方向ベクトルＴを算出する（ステップＳ４）。３次
元形状演算部８は並進運動方向ベクトルＴと視線ベクト
ルＶ１ｎ，Ｖ２ｎから三角測量の原理で各特徴点Ｉ１ｎ
に相当する対象物Ｍ上の各対象点Ｏｎの３次元座標値を
算出し、対象物Ｍの３次元形状を出力する（ステップＳ
５）。
ら、重力方向検出部３で検出した重力方向の傾きと重力
回り角度検出部４で検出した重力回りの角度から姿勢算
出部５で第１視点Ｌ１と第２視点Ｌ２における単眼画像
撮像部１の姿勢を算出する（ステップＳ２）。この第１
視点Ｌ１と第２視点Ｌ２における単眼画像撮像部１の姿
勢と特徴点Ｉ１ｎと対応点Ｉ２ｎの各データから視線ベ
クトル算出部６で各特徴点Ｉ１ｎと対応点Ｉ２ｎを通る
視線ベクトルＶ１ｎ，Ｖ２ｎを算出する（ステップＳ
３）。この視線ベクトルＶ１ｎ，Ｖ２ｎと特徴点Ｉ１ｎ
と対応点Ｉ２ｎの各データから並進運動算出部７で並進
運動方向ベクトルＴを算出する（ステップＳ４）。３次
元形状演算部８は並進運動方向ベクトルＴと視線ベクト
ルＶ１ｎ，Ｖ２ｎから三角測量の原理で各特徴点Ｉ１ｎ
に相当する対象物Ｍ上の各対象点Ｏｎの３次元座標値を
算出し、対象物Ｍの３次元形状を出力する（ステップＳ
５）。
【００２８】このようにして重力方向情報と重力回り角
度情報と２視点Ｌ１，Ｌ２からの画像情報を融合するこ
とにより、精度の高い３次元形状計測を実現することが
できるとともに装置の小型化を図ることができる。
度情報と２視点Ｌ１，Ｌ２からの画像情報を融合するこ
とにより、精度の高い３次元形状計測を実現することが
できるとともに装置の小型化を図ることができる。
【００２９】上記実施例は抽出した対応点Ｉ２ｎから並
進運動方向ベクトルＴを算出した場合について説明した
が、抽出した対応点Ｉ２ｎを算出した並進運動方向ベク
トルＴで修正して並進運動方向ベクトルＴを算出するよ
うにしても良い。
進運動方向ベクトルＴを算出した場合について説明した
が、抽出した対応点Ｉ２ｎを算出した並進運動方向ベク
トルＴで修正して並進運動方向ベクトルＴを算出するよ
うにしても良い。
【００３０】この抽出した対応点Ｉ２ｎを算出した並進
運動方向ベクトルＴで修正して並進運動方向ベクトルＴ
を算出する第２の実施例を説明するにあたり、修正動作
の原理を説明する。上記第１の実施例において、並進運
動算出部７で算出した並進運動ベクトルＴと視線ベクト
ル算出部６で算出した視線ベクトルｖ１ｎ，ｖ２ｎか
ら、図６に示すように、イメージプレーンＰ２上に各対
応点Ｉ２ｎに相当するエピポーラ線Ｅｐｌｎを描くこと
ができる。エピポーラ線Ｅｐｌｎは第１視点Ｌ１と第２
視点Ｌ２の光学中心と対象点Ｏｎの３点を含む平面、す
なわちエピポーラ面とイメージプレーンＰ２の交線であ
り、第１視点Ｌ１の光学中心と特徴点Ｉ１ｎを通る直線
をイメージプレーンＰ２上に投影したものである。理想
的には対応点Ｉ２ｎは各エピポーラ線Ｅｐｌｎ上に存在
することになる。したがって各対応点Ｉ２ｎは各エピポ
ーラ線Ｅｐｌｎ付近にあると仮定できるので、エピポー
ラ線Ｅｐｌｎに近づくよう対応点Ｉ２ｎを修正する。こ
の並進運動ベクトルＴの算出と対応点Ｉ２ｎの修正処理
を繰り返すことにより、最終的な対応点と並進運動ベク
トルＴを得ることができる。
運動方向ベクトルＴで修正して並進運動方向ベクトルＴ
を算出する第２の実施例を説明するにあたり、修正動作
の原理を説明する。上記第１の実施例において、並進運
動算出部７で算出した並進運動ベクトルＴと視線ベクト
ル算出部６で算出した視線ベクトルｖ１ｎ，ｖ２ｎか
ら、図６に示すように、イメージプレーンＰ２上に各対
応点Ｉ２ｎに相当するエピポーラ線Ｅｐｌｎを描くこと
ができる。エピポーラ線Ｅｐｌｎは第１視点Ｌ１と第２
視点Ｌ２の光学中心と対象点Ｏｎの３点を含む平面、す
なわちエピポーラ面とイメージプレーンＰ２の交線であ
り、第１視点Ｌ１の光学中心と特徴点Ｉ１ｎを通る直線
をイメージプレーンＰ２上に投影したものである。理想
的には対応点Ｉ２ｎは各エピポーラ線Ｅｐｌｎ上に存在
することになる。したがって各対応点Ｉ２ｎは各エピポ
ーラ線Ｅｐｌｎ付近にあると仮定できるので、エピポー
ラ線Ｅｐｌｎに近づくよう対応点Ｉ２ｎを修正する。こ
の並進運動ベクトルＴの算出と対応点Ｉ２ｎの修正処理
を繰り返すことにより、最終的な対応点と並進運動ベク
トルＴを得ることができる。
【００３１】このように抽出した対応点Ｉ２ｎを算出し
た並進運動方向ベクトルＴで修正して並進運動方向ベク
トルＴを算出する第２の実施例の３次元形状計測装置
は、図７のブロック図に示すように、視線ベクトル算出
部６ａと収束信号通知部９以外は図４に示した３次元形
状計測装置と全く同じ構成である。視線ベクトル算出部
６ａは２視点Ｌ１，Ｌ２における姿勢値と特徴点Ｉ１ｎ
及び対応点Ｉ２ｎより第１視点Ｌ１と第２視点Ｌ２にお
ける各特徴点Ｉ１ｎと対応点Ｉ２ｎを通る視線ベクトル
Ｖ１ｎ，Ｖ２ｎを算出するとともに並進運動算出部７で
算出した並進運動ベクトルＴにより対応点Ｉ２ｎの位置
を修正し、修正した対応点Ｉ２ｎの位置で視線ベクトル
Ｖ２ｎを算出する。収束信号通知部９は並進運動ベクト
ルＴにより対応点Ｉ２ｎの位置を修正したときの変化量
を算出し、対応点Ｉ２ｎの位置の変化量が一定値以下あ
るいは繰り返し演算回数が一定値になったことを通知す
る収束信号を出力する。
た並進運動方向ベクトルＴで修正して並進運動方向ベク
トルＴを算出する第２の実施例の３次元形状計測装置
は、図７のブロック図に示すように、視線ベクトル算出
部６ａと収束信号通知部９以外は図４に示した３次元形
状計測装置と全く同じ構成である。視線ベクトル算出部
６ａは２視点Ｌ１，Ｌ２における姿勢値と特徴点Ｉ１ｎ
及び対応点Ｉ２ｎより第１視点Ｌ１と第２視点Ｌ２にお
ける各特徴点Ｉ１ｎと対応点Ｉ２ｎを通る視線ベクトル
Ｖ１ｎ，Ｖ２ｎを算出するとともに並進運動算出部７で
算出した並進運動ベクトルＴにより対応点Ｉ２ｎの位置
を修正し、修正した対応点Ｉ２ｎの位置で視線ベクトル
Ｖ２ｎを算出する。収束信号通知部９は並進運動ベクト
ルＴにより対応点Ｉ２ｎの位置を修正したときの変化量
を算出し、対応点Ｉ２ｎの位置の変化量が一定値以下あ
るいは繰り返し演算回数が一定値になったことを通知す
る収束信号を出力する。
【００３２】この第２の実施例の動作を図８のフロ−チ
ャ−トを参照して説明する。異なる視点である第１視点
Ｌ１と第２視点Ｌ２で撮像して得た画像を対応関係抽出
部２へ送る。対応関係抽出部２は送られた第１視点Ｌ１
の画像から特徴点Ｉ１ｎを抽出し、第２視点の画像から
各対応点Ｉ２ｎを抽出して出力する（ステップＳ１
１）。特徴点Ｉ１ｎと対応点Ｉ２ｎを抽出したら、重力
方向検出部３で検出した重力方向の傾きと重力回り角度
検出部４で検出した重力回りの角度から姿勢算出部５で
第１視点Ｌ１と第２視点Ｌ２における単眼画像撮像部１
の姿勢を算出する（ステップＳ１２）。この第１視点Ｌ
１と第２視点Ｌ２における単眼画像撮像部１の姿勢と特
徴点Ｉ１ｎと対応点Ｉ２ｎの各データから視線ベクトル
算出部６ａで各特徴点Ｉｎと対応点Ｉ２ｎを通る視線ベ
クトルＶ１ｎ，Ｖ２ｎを算出する（ステップＳ１３）。
この視線ベクトルＶ１ｎ，Ｖ２ｎと特徴点Ｉｎと対応点
Ｉ２ｎの各データから並進運動算出部７で並進運動方向
ベクトルＴを算出する（ステップＳ１４）。視線ベクト
ル算出部６ａは算出した並進運動方向ベクトルＴを使用
して対応点Ｉ２ｎの位置を修正し、修正した対応点Ｉ２
ｎの位置デ−タで新たな視線ベクトルＶ２ｎを算出する
（ステップＳ１５）。この対応点Ｉ２ｎの修正方法は、
図６に示すように、第２視点Ｌ２の画像上にエピポーラ
線Ｅｐｌｎを描き、対応点Ｉ２ｎからエピポーラ線Ｅｐ
ｌｎ上に降ろした垂線の足を新たな対応点としたり、エ
ピポーラ線Ｅｐｌｎ付近で対応点を再探索する。この修
正された対応点Ｉ２ｎにより再び並進運動ベクトルＴを
算出する。この対応点Ｉ２ｎの修正と並進運動ベクトル
Ｔの算出を対応点Ｉ２ｎがほぼ一定値に収束するかある
いは修正の繰り返し回数がある値に達するまで繰り返す
（ステップＳ１６）。この収束制御を収束信号通知部９
で行い、対応点Ｉ２ｎがほぼ一定値に収束するかあるい
は修正の繰り返し回数がある値に達すると収束信号を並
進運動算出部７に送る。３次元形状演算部８は収束信号
が出力されたときに並進運動算出部７から出力される並
進運動方向ベクトルＴと視線ベクトルＶ１ｎ，Ｖ２ｎか
ら三角測量の原理で各特徴点Ｉ１ｎに相当する対象物Ｍ
上の各対象点Ｏｎの３次元座標値を算出し、対象物Ｍの
３次元形状を出力する（ステップＳ１７）。このように
して並進運動ベクトルＴと対応点Ｉ２ｎを繰り返し演算
によって調整することにより、より精度の高い３次元形
状計測を実現することができる。
ャ−トを参照して説明する。異なる視点である第１視点
Ｌ１と第２視点Ｌ２で撮像して得た画像を対応関係抽出
部２へ送る。対応関係抽出部２は送られた第１視点Ｌ１
の画像から特徴点Ｉ１ｎを抽出し、第２視点の画像から
各対応点Ｉ２ｎを抽出して出力する（ステップＳ１
１）。特徴点Ｉ１ｎと対応点Ｉ２ｎを抽出したら、重力
方向検出部３で検出した重力方向の傾きと重力回り角度
検出部４で検出した重力回りの角度から姿勢算出部５で
第１視点Ｌ１と第２視点Ｌ２における単眼画像撮像部１
の姿勢を算出する（ステップＳ１２）。この第１視点Ｌ
１と第２視点Ｌ２における単眼画像撮像部１の姿勢と特
徴点Ｉ１ｎと対応点Ｉ２ｎの各データから視線ベクトル
算出部６ａで各特徴点Ｉｎと対応点Ｉ２ｎを通る視線ベ
クトルＶ１ｎ，Ｖ２ｎを算出する（ステップＳ１３）。
この視線ベクトルＶ１ｎ，Ｖ２ｎと特徴点Ｉｎと対応点
Ｉ２ｎの各データから並進運動算出部７で並進運動方向
ベクトルＴを算出する（ステップＳ１４）。視線ベクト
ル算出部６ａは算出した並進運動方向ベクトルＴを使用
して対応点Ｉ２ｎの位置を修正し、修正した対応点Ｉ２
ｎの位置デ−タで新たな視線ベクトルＶ２ｎを算出する
（ステップＳ１５）。この対応点Ｉ２ｎの修正方法は、
図６に示すように、第２視点Ｌ２の画像上にエピポーラ
線Ｅｐｌｎを描き、対応点Ｉ２ｎからエピポーラ線Ｅｐ
ｌｎ上に降ろした垂線の足を新たな対応点としたり、エ
ピポーラ線Ｅｐｌｎ付近で対応点を再探索する。この修
正された対応点Ｉ２ｎにより再び並進運動ベクトルＴを
算出する。この対応点Ｉ２ｎの修正と並進運動ベクトル
Ｔの算出を対応点Ｉ２ｎがほぼ一定値に収束するかある
いは修正の繰り返し回数がある値に達するまで繰り返す
（ステップＳ１６）。この収束制御を収束信号通知部９
で行い、対応点Ｉ２ｎがほぼ一定値に収束するかあるい
は修正の繰り返し回数がある値に達すると収束信号を並
進運動算出部７に送る。３次元形状演算部８は収束信号
が出力されたときに並進運動算出部７から出力される並
進運動方向ベクトルＴと視線ベクトルＶ１ｎ，Ｖ２ｎか
ら三角測量の原理で各特徴点Ｉ１ｎに相当する対象物Ｍ
上の各対象点Ｏｎの３次元座標値を算出し、対象物Ｍの
３次元形状を出力する（ステップＳ１７）。このように
して並進運動ベクトルＴと対応点Ｉ２ｎを繰り返し演算
によって調整することにより、より精度の高い３次元形
状計測を実現することができる。
【００３３】上記第２の実施例は抽出した対応点Ｉ２ｎ
を算出した並進運動方向ベクトルＴで修正して並進運動
方向ベクトルＴを算出する場合について説明したが、対
応点Ｉ２ｎの候補を複数抽出して並進運動方向ベクトル
Ｔの算出と対応点Ｉ２ｎの修正を繰返し演算して最適な
対応点を選択して並進運動方向ベクトルＴと対応点Ｉ２
ｎを繰返し演算により調整するようにしても良い。
を算出した並進運動方向ベクトルＴで修正して並進運動
方向ベクトルＴを算出する場合について説明したが、対
応点Ｉ２ｎの候補を複数抽出して並進運動方向ベクトル
Ｔの算出と対応点Ｉ２ｎの修正を繰返し演算して最適な
対応点を選択して並進運動方向ベクトルＴと対応点Ｉ２
ｎを繰返し演算により調整するようにしても良い。
【００３４】この最適な対応点を選択して並進運動方向
ベクトルＴと対応点Ｉ２ｎを調整する第３の実施例を説
明するにあたり、まず動作原理を説明する。図２に示す
ように測定対象物Ｍの複数の対象点Ｏｎのイメージプレ
ーンＰ１上の特徴点Ｉ１ｎとイメージプレーンＰ２の各
対応点Ｉ２ｎを抽出するときに、一つの特徴点Ｉ１ｎに
対して対応点Ｉ２ｎの候補を複数抽出する。すなわち、
対応点を探索するときに評価の高かった上位の点を対応
点Ｉ２ｎの候補として保持する。そして並進運動ベクト
ルＴを算出してイメージプレーンＰ２上にエピポーラ線
Ｅｐｌｎを描いてから、エピポーラ線Ｅｐｌｎに最も近
い対応点候補が新たな対応点になるよう修正する。この
並進運動ベクトルＴの算出とエピポーラ線Ｅｐｌｎの作
成及び対応点Ｉ２ｎの修正処理を繰り返すことにより最
適な対応点Ｉ２ｎと並進運動ベクトルＴを得ることがで
きる。
ベクトルＴと対応点Ｉ２ｎを調整する第３の実施例を説
明するにあたり、まず動作原理を説明する。図２に示す
ように測定対象物Ｍの複数の対象点Ｏｎのイメージプレ
ーンＰ１上の特徴点Ｉ１ｎとイメージプレーンＰ２の各
対応点Ｉ２ｎを抽出するときに、一つの特徴点Ｉ１ｎに
対して対応点Ｉ２ｎの候補を複数抽出する。すなわち、
対応点を探索するときに評価の高かった上位の点を対応
点Ｉ２ｎの候補として保持する。そして並進運動ベクト
ルＴを算出してイメージプレーンＰ２上にエピポーラ線
Ｅｐｌｎを描いてから、エピポーラ線Ｅｐｌｎに最も近
い対応点候補が新たな対応点になるよう修正する。この
並進運動ベクトルＴの算出とエピポーラ線Ｅｐｌｎの作
成及び対応点Ｉ２ｎの修正処理を繰り返すことにより最
適な対応点Ｉ２ｎと並進運動ベクトルＴを得ることがで
きる。
【００３５】このように並進運動ベクトルＴの算出とエ
ピポーラ線Ｅｐｌｎの作成及び対応点Ｉ２ｎの修正処理
を繰り返す第３の実施例の３次元形状計測装置は、図９
のブロック図に示すように、単眼画像撮像部１と対応関
係抽出部２と重力方向検出部３と重力回り角度検出部４
と姿勢算出部５と視線ベクトル算出部６ａと並進運動算
出部７と３次元形状演算部８及び姿勢補正部９を有す
る。対応関係抽出部２は第１視点Ｌ１と第２視点Ｌ２で
撮像して得た画像から特徴点Ｉ１ｎと対応点Ｉ２ｎを抽
出するときに、一つの特徴点Ｉ２ｎに対応する対応点Ｉ
２ｎとして複数の対応点候補を抽出する。姿勢補正部９
は対応点Ｉ２ｎとエピポーラ線Ｅｐｌｎの距離の総和が
最小になるように第２視点Ｌ１における画像の姿勢角度
の補正値を算出する。姿勢算出部５は重力方向検出部３
で検出した第１視点Ｌ１と第２視点Ｌ２の重力方向に対
する傾きと重力回り角度検出部４で検出した重力回りの
角度から各視点Ｌ１，Ｌ２における単眼画像撮像部１の
姿勢を算出するとともに、姿勢補正部１０で算出した姿
勢角度の補正値と重力方向検出部３で検出した第２視点
Ｌ２の重力方向に対する傾きと重力回り角度検出部４で
検出した重力回りの角度から視点Ｌ２における単眼画像
撮像部１の姿勢を補正する。
ピポーラ線Ｅｐｌｎの作成及び対応点Ｉ２ｎの修正処理
を繰り返す第３の実施例の３次元形状計測装置は、図９
のブロック図に示すように、単眼画像撮像部１と対応関
係抽出部２と重力方向検出部３と重力回り角度検出部４
と姿勢算出部５と視線ベクトル算出部６ａと並進運動算
出部７と３次元形状演算部８及び姿勢補正部９を有す
る。対応関係抽出部２は第１視点Ｌ１と第２視点Ｌ２で
撮像して得た画像から特徴点Ｉ１ｎと対応点Ｉ２ｎを抽
出するときに、一つの特徴点Ｉ２ｎに対応する対応点Ｉ
２ｎとして複数の対応点候補を抽出する。姿勢補正部９
は対応点Ｉ２ｎとエピポーラ線Ｅｐｌｎの距離の総和が
最小になるように第２視点Ｌ１における画像の姿勢角度
の補正値を算出する。姿勢算出部５は重力方向検出部３
で検出した第１視点Ｌ１と第２視点Ｌ２の重力方向に対
する傾きと重力回り角度検出部４で検出した重力回りの
角度から各視点Ｌ１，Ｌ２における単眼画像撮像部１の
姿勢を算出するとともに、姿勢補正部１０で算出した姿
勢角度の補正値と重力方向検出部３で検出した第２視点
Ｌ２の重力方向に対する傾きと重力回り角度検出部４で
検出した重力回りの角度から視点Ｌ２における単眼画像
撮像部１の姿勢を補正する。
【００３６】この第３の実施例の動作を図１０のフロ−
チャ−トを参照して説明する。異なる視点である第１視
点Ｌ１と第２視点Ｌ２で撮像して得た画像を対応関係抽
出部２へ送る。対応関係抽出部２は送られた第１視点Ｌ
１の画像から各特徴点Ｉ１ｎを抽出し、第２視点の画像
から各対応点Ｉ２ｎとして複数の対応点候補を抽出して
出力する。すなわち、対応点Ｉ２ｎを探索するときに評
価の高かった上位の点を対応点Ｉ２ｎの候補として複数
保持する。（ステップＳ２１）。特徴点Ｉ１ｎと対応点
Ｉ２ｎの候補を抽出したら、重力方向検出部３で検出し
た重力方向の傾きと重力回り角度検出部４で検出した重
力回りの角度から姿勢算出部５で第１視点Ｌ１と第２視
点Ｌ２における単眼画像撮像部１の姿勢を算出する（ス
テップＳ２２）。視線ベクトル算出部６ａは一つの対応
点候補を対応点Ｉ２ｎとして選択し、第１視点Ｌ１と第
２視点Ｌ２における単眼画像撮像部１の姿勢と特徴点Ｉ
１ｎと選択した対応点Ｉ２ｎの各データから各特徴点Ｉ
ｎと対応点Ｉ２ｎを通る視線ベクトルＶ１ｎ，Ｖ２ｎを
算出する（ステップＳ２３）。この視線ベクトルＶ１
ｎ，Ｖ２ｎと特徴点Ｉｎと対応点Ｉ２ｎの各データから
並進運動算出部７で並進運動方向ベクトルＴを算出する
（ステップＳ２４）。視線ベクトル算出部６ａは算出し
た並進運動方向ベクトルＴを使用して対応点Ｉ２ｎの位
置を修正する（ステップＳ２５）。この対応点Ｉ２ｎの
修正方法は、図６に示すように、第２視点Ｌ２の画像上
に算出した並進運動方向ベクトルＴを使用してエピポー
ラ線Ｅｐｌｎを描き、エピポーラ線Ｅｐｌｎに最も近い
対応点候補を新たな対応点Ｉ２ｎとして選択する。ま
た、第２視点Ｌ２の画像の姿勢角度を変化させると、画
像上ではエピポーラ線Ｅｐｌｎが動く。そこで、姿勢補
正部１０は新しい対応点Ｉ２ｎとエピポーラ線Ｅｐｌｎ
の距離の総和が最小になるように最急降下法などを用い
て第２視点Ｌ２の画像の姿勢角度の補正値を算出する。
姿勢算出部５は算出した姿勢角度の補正値と重力方向検
出部３で検出した重力方向の傾きと重力回り角度検出部
４で検出した重力回りの角度から第２視点Ｌ２の画像の
新たな姿勢角度を算出する（ステップＳ２６）。視線ベ
クトル算出部６ａは新たな姿勢角度を用いて新たな視線
ベクトルＶ１ｎ，Ｖ２ｎを算出し（ステップＳ２７）、
並進運動算出部７は新たな視線ベクトルＶ１ｎ，Ｖ２ｎ
により新たな並進運動方向ベクトルＴを算出する。この
対応点候補の選択と第２視点Ｌ２の画像の姿勢角度の補
正値と並進運動ベクトルＴの算出を対応点Ｉ２ｎがほぼ
一定値に収束するかあるいは修正の繰り返し回数がある
値に達するまで繰り返す（ステップＳ２８）。対応点Ｉ
２ｎがほぼ一定値に収束するかあるいは修正の繰り返し
回数がある値に達して収束信号通知部９から収束信号が
出力されると、３次元形状演算部８は収束信号が出力さ
れたときに並進運動算出部７から出力される並進運動方
向ベクトルＴと視線ベクトルＶ１ｎ，Ｖ２ｎから三角測
量の原理で各特徴点Ｉ１ｎに相当する対象物Ｍ上の各対
象点Ｏｎの３次元座標値を算出し、対象物Ｍの３次元形
状を出力する（ステップＳ２９）。
チャ−トを参照して説明する。異なる視点である第１視
点Ｌ１と第２視点Ｌ２で撮像して得た画像を対応関係抽
出部２へ送る。対応関係抽出部２は送られた第１視点Ｌ
１の画像から各特徴点Ｉ１ｎを抽出し、第２視点の画像
から各対応点Ｉ２ｎとして複数の対応点候補を抽出して
出力する。すなわち、対応点Ｉ２ｎを探索するときに評
価の高かった上位の点を対応点Ｉ２ｎの候補として複数
保持する。（ステップＳ２１）。特徴点Ｉ１ｎと対応点
Ｉ２ｎの候補を抽出したら、重力方向検出部３で検出し
た重力方向の傾きと重力回り角度検出部４で検出した重
力回りの角度から姿勢算出部５で第１視点Ｌ１と第２視
点Ｌ２における単眼画像撮像部１の姿勢を算出する（ス
テップＳ２２）。視線ベクトル算出部６ａは一つの対応
点候補を対応点Ｉ２ｎとして選択し、第１視点Ｌ１と第
２視点Ｌ２における単眼画像撮像部１の姿勢と特徴点Ｉ
１ｎと選択した対応点Ｉ２ｎの各データから各特徴点Ｉ
ｎと対応点Ｉ２ｎを通る視線ベクトルＶ１ｎ，Ｖ２ｎを
算出する（ステップＳ２３）。この視線ベクトルＶ１
ｎ，Ｖ２ｎと特徴点Ｉｎと対応点Ｉ２ｎの各データから
並進運動算出部７で並進運動方向ベクトルＴを算出する
（ステップＳ２４）。視線ベクトル算出部６ａは算出し
た並進運動方向ベクトルＴを使用して対応点Ｉ２ｎの位
置を修正する（ステップＳ２５）。この対応点Ｉ２ｎの
修正方法は、図６に示すように、第２視点Ｌ２の画像上
に算出した並進運動方向ベクトルＴを使用してエピポー
ラ線Ｅｐｌｎを描き、エピポーラ線Ｅｐｌｎに最も近い
対応点候補を新たな対応点Ｉ２ｎとして選択する。ま
た、第２視点Ｌ２の画像の姿勢角度を変化させると、画
像上ではエピポーラ線Ｅｐｌｎが動く。そこで、姿勢補
正部１０は新しい対応点Ｉ２ｎとエピポーラ線Ｅｐｌｎ
の距離の総和が最小になるように最急降下法などを用い
て第２視点Ｌ２の画像の姿勢角度の補正値を算出する。
姿勢算出部５は算出した姿勢角度の補正値と重力方向検
出部３で検出した重力方向の傾きと重力回り角度検出部
４で検出した重力回りの角度から第２視点Ｌ２の画像の
新たな姿勢角度を算出する（ステップＳ２６）。視線ベ
クトル算出部６ａは新たな姿勢角度を用いて新たな視線
ベクトルＶ１ｎ，Ｖ２ｎを算出し（ステップＳ２７）、
並進運動算出部７は新たな視線ベクトルＶ１ｎ，Ｖ２ｎ
により新たな並進運動方向ベクトルＴを算出する。この
対応点候補の選択と第２視点Ｌ２の画像の姿勢角度の補
正値と並進運動ベクトルＴの算出を対応点Ｉ２ｎがほぼ
一定値に収束するかあるいは修正の繰り返し回数がある
値に達するまで繰り返す（ステップＳ２８）。対応点Ｉ
２ｎがほぼ一定値に収束するかあるいは修正の繰り返し
回数がある値に達して収束信号通知部９から収束信号が
出力されると、３次元形状演算部８は収束信号が出力さ
れたときに並進運動算出部７から出力される並進運動方
向ベクトルＴと視線ベクトルＶ１ｎ，Ｖ２ｎから三角測
量の原理で各特徴点Ｉ１ｎに相当する対象物Ｍ上の各対
象点Ｏｎの３次元座標値を算出し、対象物Ｍの３次元形
状を出力する（ステップＳ２９）。
【００３７】このように対応点Ｉ２ｎの候補を複数抽出
して並進運動方向ベクトルＴの算出と対応点Ｉ２ｎの修
正を繰返し演算して最適な対応点を選択して並進運動方
向ベクトルＴと対応点Ｉ２ｎを繰返し演算により調整す
るようにしたから、さらに精度の高い３次元形状計測を
実現することができる。
して並進運動方向ベクトルＴの算出と対応点Ｉ２ｎの修
正を繰返し演算して最適な対応点を選択して並進運動方
向ベクトルＴと対応点Ｉ２ｎを繰返し演算により調整す
るようにしたから、さらに精度の高い３次元形状計測を
実現することができる。
【００３８】上記第２，第３の実施例においては収束信
号通知部９で対応点Ｉ２ｎの収束状況を確認して収束制
御信号を出力する場合について説明したが、並進運動ベ
クトルＴがほぼ一定値になったことを確認したら収束制
御信号を出力するようにしても良い。
号通知部９で対応点Ｉ２ｎの収束状況を確認して収束制
御信号を出力する場合について説明したが、並進運動ベ
クトルＴがほぼ一定値になったことを確認したら収束制
御信号を出力するようにしても良い。
【００３９】次に、抽出した特徴点Ｉ１ｎと対応点Ｉ２
ｎの誤対応を除去して並進運動ベクトルＴを収束させて
３次元形状を測定する第４の実施例について説明する。
第４の実施例の３次元形状計測装置は、図１１のブロッ
ク図に示すように、誤対応検出部１１と誤対応除去部１
２及び収束信号通知部９とを設けた以外は図４に示した
３次元形状計測装置とまったく同じ構成である。誤対応
検出部１１は並進運動算出部７で繰り返して算出した並
進運動ベクトルＴにより第１視点Ｌ１と第２視点Ｌ２で
撮像した画像から抽出した特徴点Ｉ１ｎと対応点Ｉ２ｎ
の誤対応を検出する。誤対応除去部１２は誤対応した特
徴点と対応点を除去する。収束信号通知部９は並進運動
ベクトルＴが一定値以下になったことを検出して収束信
号を出力する。
ｎの誤対応を除去して並進運動ベクトルＴを収束させて
３次元形状を測定する第４の実施例について説明する。
第４の実施例の３次元形状計測装置は、図１１のブロッ
ク図に示すように、誤対応検出部１１と誤対応除去部１
２及び収束信号通知部９とを設けた以外は図４に示した
３次元形状計測装置とまったく同じ構成である。誤対応
検出部１１は並進運動算出部７で繰り返して算出した並
進運動ベクトルＴにより第１視点Ｌ１と第２視点Ｌ２で
撮像した画像から抽出した特徴点Ｉ１ｎと対応点Ｉ２ｎ
の誤対応を検出する。誤対応除去部１２は誤対応した特
徴点と対応点を除去する。収束信号通知部９は並進運動
ベクトルＴが一定値以下になったことを検出して収束信
号を出力する。
【００４０】この第４の実施例の動作を図１２のフロ−
チャ−トを参照して説明する。異なる視点である第１視
点Ｌ１と第２視点Ｌ２で撮像して得た画像を対応関係抽
出部２へ送る。対応関係抽出部２は送られた第１視点Ｌ
１の画像から各特徴点Ｉ１ｎを抽出し、第２視点の画像
から各対応点Ｉ２ｎとして複数の対応点候補を抽出して
出力する。すなわち、対応点Ｉ２ｎを探索するときに評
価の高かった上位の点を対応点Ｉ２ｎの候補として複数
保持する。（ステップＳ３１）。特徴点Ｉ１ｎと対応点
Ｉ２ｎの候補を抽出したら、重力方向検出部３で検出し
た重力方向の傾きと重力回り角度検出部４で検出した重
力回りの角度とから姿勢算出部５で第１視点Ｌ１と第２
視点Ｌ２における単眼画像撮像部１の姿勢を算出する
（ステップＳ３２）。この第１視点Ｌ１と第２視点Ｌ２
における単眼画像撮像部１の姿勢と特徴点Ｉ１ｎと対応
点Ｉ２ｎの各データから視線ベクトル算出部６で各特徴
点Ｉ１ｎと対応点Ｉ２ｎを通る視線ベクトルＶ１ｎ，Ｖ
２ｎを算出する（ステップＳ３３）。この視線ベクトル
Ｖ１ｎ，Ｖ２ｎと特徴点Ｉ１ｎと対応点Ｉ２ｎの各デー
タから並進運動算出部７で視線ベクトルｖ１ｎ，ｖ２ｎ
と並進運動ベクトルＴのスカラー三重積Ｓｎ＝（ｖ１ｎ
×Ｔ，ｖ２ｎ）の各対応に関する和を最小化する繰返し
演算を実施して並進運動方向ベクトルＴを算出する（ス
テップＳ３４）。この並進運動ベクトルＴの繰返し演算
が一定回数に達したときに、そのときの並進運動ベクト
ルＴにより誤対応検出部１１は特徴点Ｉ１ｎと対応点Ｉ
２ｎの誤対応を検出する。この検出した誤対応の特徴点
と対応点を誤対応除去部１２で除去する（ステップＳ３
５）。並進運動算出部７は誤対応の特徴点と対応点を除
去した特徴点と対応点の各データと視線ベクトルから並
進運動ベクトルＴを算出する（ステップＳ３６，３
４）。この誤対応の特徴点と対応点の検出は、視線ベク
トルｖ１ｉ，ｖ２ｉと並進運動ベクトルＴのスカラー三
重積Ｓｉがあらかじめ定めたしきい値ＴＨ１より大きい
ときに、その特徴点Ｉ１ｉと対応点Ｉ２ｉを誤対応とす
る。この特徴点Ｉ１ｎと対応点Ｉ２ｎの誤対応の検出と
並進運動ベクトルＴの算出を繰り返しているときに、収
束信号通知部９は算出した並進運動ベクトルＴがあらか
じめ定めた一定値に収束したかどうかを検出している
（ステップＳ３６）。この並進運動ベクトルＴの収束の
検出は、並進運動ベクトルＴの収束度Ｄ＝(Ｔn−
Ｔn-1）2がしきい値ＴＨ２以上のときは収束していない
とし、収束度Ｄがしきい値Ｔｈ２以下になったときに収
束したとして並進運動算出部７に通知する。この収束し
た並進運動ベクトルＴと視線ベクトルによりより３次元
形状演算部８は測定対象物Ｍの３次元形状を算出する
（ステップＳ３７）。
チャ−トを参照して説明する。異なる視点である第１視
点Ｌ１と第２視点Ｌ２で撮像して得た画像を対応関係抽
出部２へ送る。対応関係抽出部２は送られた第１視点Ｌ
１の画像から各特徴点Ｉ１ｎを抽出し、第２視点の画像
から各対応点Ｉ２ｎとして複数の対応点候補を抽出して
出力する。すなわち、対応点Ｉ２ｎを探索するときに評
価の高かった上位の点を対応点Ｉ２ｎの候補として複数
保持する。（ステップＳ３１）。特徴点Ｉ１ｎと対応点
Ｉ２ｎの候補を抽出したら、重力方向検出部３で検出し
た重力方向の傾きと重力回り角度検出部４で検出した重
力回りの角度とから姿勢算出部５で第１視点Ｌ１と第２
視点Ｌ２における単眼画像撮像部１の姿勢を算出する
（ステップＳ３２）。この第１視点Ｌ１と第２視点Ｌ２
における単眼画像撮像部１の姿勢と特徴点Ｉ１ｎと対応
点Ｉ２ｎの各データから視線ベクトル算出部６で各特徴
点Ｉ１ｎと対応点Ｉ２ｎを通る視線ベクトルＶ１ｎ，Ｖ
２ｎを算出する（ステップＳ３３）。この視線ベクトル
Ｖ１ｎ，Ｖ２ｎと特徴点Ｉ１ｎと対応点Ｉ２ｎの各デー
タから並進運動算出部７で視線ベクトルｖ１ｎ，ｖ２ｎ
と並進運動ベクトルＴのスカラー三重積Ｓｎ＝（ｖ１ｎ
×Ｔ，ｖ２ｎ）の各対応に関する和を最小化する繰返し
演算を実施して並進運動方向ベクトルＴを算出する（ス
テップＳ３４）。この並進運動ベクトルＴの繰返し演算
が一定回数に達したときに、そのときの並進運動ベクト
ルＴにより誤対応検出部１１は特徴点Ｉ１ｎと対応点Ｉ
２ｎの誤対応を検出する。この検出した誤対応の特徴点
と対応点を誤対応除去部１２で除去する（ステップＳ３
５）。並進運動算出部７は誤対応の特徴点と対応点を除
去した特徴点と対応点の各データと視線ベクトルから並
進運動ベクトルＴを算出する（ステップＳ３６，３
４）。この誤対応の特徴点と対応点の検出は、視線ベク
トルｖ１ｉ，ｖ２ｉと並進運動ベクトルＴのスカラー三
重積Ｓｉがあらかじめ定めたしきい値ＴＨ１より大きい
ときに、その特徴点Ｉ１ｉと対応点Ｉ２ｉを誤対応とす
る。この特徴点Ｉ１ｎと対応点Ｉ２ｎの誤対応の検出と
並進運動ベクトルＴの算出を繰り返しているときに、収
束信号通知部９は算出した並進運動ベクトルＴがあらか
じめ定めた一定値に収束したかどうかを検出している
（ステップＳ３６）。この並進運動ベクトルＴの収束の
検出は、並進運動ベクトルＴの収束度Ｄ＝(Ｔn−
Ｔn-1）2がしきい値ＴＨ２以上のときは収束していない
とし、収束度Ｄがしきい値Ｔｈ２以下になったときに収
束したとして並進運動算出部７に通知する。この収束し
た並進運動ベクトルＴと視線ベクトルによりより３次元
形状演算部８は測定対象物Ｍの３次元形状を算出する
（ステップＳ３７）。
【００４１】このように誤対応している特徴点Ｉ１ｎと
対応点Ｉ２ｎを除去して並進運動方向ベクトルＴを算出
するから、特徴点Ｉ１ｎと対応点Ｉ２ｎの対応づけに誤
りがある場合でも、より高精度に３次元形状を測定する
ことができる。
対応点Ｉ２ｎを除去して並進運動方向ベクトルＴを算出
するから、特徴点Ｉ１ｎと対応点Ｉ２ｎの対応づけに誤
りがある場合でも、より高精度に３次元形状を測定する
ことができる。
【００４２】また、上記各実施例は重力方向検出部３に
直交する３軸方向の加速度を検出する加速度センサを使
用した場合について説明したが、画像情報から重力方向
を検出するようにしても良い。デジタルカメラ等の単眼
画像撮像部１は通常大きく傾けて使用することはなく、
また、人工的な測定対象物は重力方向に長い角部を有す
ることが多い。そこで画像上のほぼ縦方向に長いエッジ
は重力方向に向いていると仮定することができる。この
エッジが画像上で垂直になるように画像を回転させたと
きの回転角から重力方向の方向ベクトルを得ることもで
きる。
直交する３軸方向の加速度を検出する加速度センサを使
用した場合について説明したが、画像情報から重力方向
を検出するようにしても良い。デジタルカメラ等の単眼
画像撮像部１は通常大きく傾けて使用することはなく、
また、人工的な測定対象物は重力方向に長い角部を有す
ることが多い。そこで画像上のほぼ縦方向に長いエッジ
は重力方向に向いていると仮定することができる。この
エッジが画像上で垂直になるように画像を回転させたと
きの回転角から重力方向の方向ベクトルを得ることもで
きる。
【００４３】また、重力回り角度検出部４に直交する３
軸方向の磁力を測定できる磁気センサを設け、重力方向
検出部３で検出した重力方向の方向ベクトルと磁場方向
ベクトルから重力回りの回転角度を検出する場合ににつ
いて説明したが、磁気センサだけを使用して重力回りの
回転角度を検出するようにしても良い。この場合は、例
えば画像面にｘ，ｙ軸をとり，画像面に垂直な方向をｚ
軸とする。ｘｙ平面の磁力方向が検出されるよう２次元
磁気センサを配置する。第１視点Ｌ１と第２視点Ｌ２間
をデジタルカメラ等の単眼画像撮像部１が移動するとき
に大きく傾くことはなく、ｘ軸とｙ軸回りの回転は小さ
いとすると、２次元磁気センサが示すｘ軸，ｚ軸方向に
成分を持ち、ｙ軸方向は０な方向ベクトルは北極あるい
は南極方向を示すことになり、重力回りの角度はｚ軸と
のベクトルがなす角度から得ることができる。
軸方向の磁力を測定できる磁気センサを設け、重力方向
検出部３で検出した重力方向の方向ベクトルと磁場方向
ベクトルから重力回りの回転角度を検出する場合ににつ
いて説明したが、磁気センサだけを使用して重力回りの
回転角度を検出するようにしても良い。この場合は、例
えば画像面にｘ，ｙ軸をとり，画像面に垂直な方向をｚ
軸とする。ｘｙ平面の磁力方向が検出されるよう２次元
磁気センサを配置する。第１視点Ｌ１と第２視点Ｌ２間
をデジタルカメラ等の単眼画像撮像部１が移動するとき
に大きく傾くことはなく、ｘ軸とｙ軸回りの回転は小さ
いとすると、２次元磁気センサが示すｘ軸，ｚ軸方向に
成分を持ち、ｙ軸方向は０な方向ベクトルは北極あるい
は南極方向を示すことになり、重力回りの角度はｚ軸と
のベクトルがなす角度から得ることができる。
【００４４】さらに、対応関係抽出部２は各特徴点Ｉ１
ｎと各対応点Ｉ２ｎを抽出するときに、対応点Ｉ２ｎを
探索するときに行った相関値を利用したりして、各点の
重み値Ｗｎも同時に算出すると良い。そして、並進運動
算出部７で重み値Ｗｎを含むスカラー三重積Ｓｎ＝Ｗｎ
（ｖ１ｎ×Ｔ，ｖ２ｎ）の各対応に関する和を最小化す
る繰返し演算を実施して並進運動方向ベクトルＴを算出
する。このようにしてより高精度に３次元形状やカメラ
運動を計測することができる。
ｎと各対応点Ｉ２ｎを抽出するときに、対応点Ｉ２ｎを
探索するときに行った相関値を利用したりして、各点の
重み値Ｗｎも同時に算出すると良い。そして、並進運動
算出部７で重み値Ｗｎを含むスカラー三重積Ｓｎ＝Ｗｎ
（ｖ１ｎ×Ｔ，ｖ２ｎ）の各対応に関する和を最小化す
る繰返し演算を実施して並進運動方向ベクトルＴを算出
する。このようにしてより高精度に３次元形状やカメラ
運動を計測することができる。
【００４５】また、３次元形状演算部８で算出した３次
元形状を出力するか、姿勢算出部５で算出した姿勢値と
並進運動算出部７で算出した並進運動ベクトルＴを出力
するかの切り替えを選択できるようにしておくと良い。
このようにして姿勢値と並進運動ベクトルＴだけを出力
できることにより、カメラ運動情報のみが必要な場合の
メモリ量や計算時間とそれに要する消費電力を低減する
ことができる。
元形状を出力するか、姿勢算出部５で算出した姿勢値と
並進運動算出部７で算出した並進運動ベクトルＴを出力
するかの切り替えを選択できるようにしておくと良い。
このようにして姿勢値と並進運動ベクトルＴだけを出力
できることにより、カメラ運動情報のみが必要な場合の
メモリ量や計算時間とそれに要する消費電力を低減する
ことができる。
【００４６】〔具体例〕上記第１の実施例によりより対
象物を測定したときの具体例を説明する。単眼画像形成
装置１としてはデジタルカメラを使用し、重力方向検出
部３と重力回り角度検出部３としては３軸加速センサと
３軸磁気センサが搭載されたデジタルカメラにより、図
１３に示すように壁１１の全面にある平板１２と人１３
を対象物として第１視点Ｌ１で撮影を行なってから第２
視点Ｌ２に移動して撮影した。図１３に示すように第１
視点Ｌ１における壁１１と平行な方向をｘ軸とし、デジ
タルカメラの重力方向をｙ軸とし、光軸方向をｚ軸とす
ると、対象物の配置はｘ軸から壁１１までの距離Ｚ１が
400ｃｍ、ｘ軸から平板１２までの距離Ｚ２が250ｃｍ、
ｘ軸から人１3までの距離Ｚ３が300ｃｍのときに、第１
視点Ｌ１で撮影してからデジタルカメラをｘ軸方向に40
ｃｍ、ｙ軸方向に−７ｃｍだけ並進移動し、ｘ軸回りに
角度−２度、ｙ軸回りに角度−８度だけ回転して第２視
点に移動して、上記第１の実施例でデジタルカメラの位
置と姿勢の変化量を算出した結果を下記表に示す。
象物を測定したときの具体例を説明する。単眼画像形成
装置１としてはデジタルカメラを使用し、重力方向検出
部３と重力回り角度検出部３としては３軸加速センサと
３軸磁気センサが搭載されたデジタルカメラにより、図
１３に示すように壁１１の全面にある平板１２と人１３
を対象物として第１視点Ｌ１で撮影を行なってから第２
視点Ｌ２に移動して撮影した。図１３に示すように第１
視点Ｌ１における壁１１と平行な方向をｘ軸とし、デジ
タルカメラの重力方向をｙ軸とし、光軸方向をｚ軸とす
ると、対象物の配置はｘ軸から壁１１までの距離Ｚ１が
400ｃｍ、ｘ軸から平板１２までの距離Ｚ２が250ｃｍ、
ｘ軸から人１3までの距離Ｚ３が300ｃｍのときに、第１
視点Ｌ１で撮影してからデジタルカメラをｘ軸方向に40
ｃｍ、ｙ軸方向に−７ｃｍだけ並進移動し、ｘ軸回りに
角度−２度、ｙ軸回りに角度−８度だけ回転して第２視
点に移動して、上記第１の実施例でデジタルカメラの位
置と姿勢の変化量を算出した結果を下記表に示す。
【００４７】
【表１】
【００４８】また、対象物の特徴点の３次元位置を図１
４に示す。上記の表と図１４から対象物の３次元形状の
計測が行なえることがわかる。なお、この場合、特徴点
の位置とカメラ運動は相対値のみがわかり、図１４に示
す絶対値の算出は不可能である。しかし、カメラ運動の
絶対移動距離や特徴点のうちの１点のカメラからの絶対
距離がわかれば絶対値を求めることができる。そこで、
加速度センサにより２視点の移動距離の絶対値を算出
し、その絶対値を使用して各特徴点の位置の絶対値を求
めた。
４に示す。上記の表と図１４から対象物の３次元形状の
計測が行なえることがわかる。なお、この場合、特徴点
の位置とカメラ運動は相対値のみがわかり、図１４に示
す絶対値の算出は不可能である。しかし、カメラ運動の
絶対移動距離や特徴点のうちの１点のカメラからの絶対
距離がわかれば絶対値を求めることができる。そこで、
加速度センサにより２視点の移動距離の絶対値を算出
し、その絶対値を使用して各特徴点の位置の絶対値を求
めた。
【００４９】
【発明の効果】この発明は以上説明したように、重力方
向情報と重力回り角度情報と２視点からの画像情報を融
合するようにしたから、精度の高い３次元形状計測を実
現することができるとともに装置の小型化を図ることが
できる。
向情報と重力回り角度情報と２視点からの画像情報を融
合するようにしたから、精度の高い３次元形状計測を実
現することができるとともに装置の小型化を図ることが
できる。
【００５０】また、抽出した対応点を算出した並進運動
方向ベクトルで修正して並進運動方向ベクトルを算出す
ることを繰り返えして調整することにより、より精度の
高い３次元形状計測を実現することができる。
方向ベクトルで修正して並進運動方向ベクトルを算出す
ることを繰り返えして調整することにより、より精度の
高い３次元形状計測を実現することができる。
【００５１】さらに、対応点の候補を複数抽出して並進
運動方向ベクトルの算出と対応点の修正を繰返し演算し
て最適な対応点を選択して並進運動方向ベクトルと対応
点を繰返し演算により調整することにより、さらに精度
の高い３次元形状計測を実現することができる。
運動方向ベクトルの算出と対応点の修正を繰返し演算し
て最適な対応点を選択して並進運動方向ベクトルと対応
点を繰返し演算により調整することにより、さらに精度
の高い３次元形状計測を実現することができる。
【００５２】また、誤対応している特徴点と対応点を除
去して並進運動方向ベクトルを算出することにより、特
徴点と対応点ｎの対応づけに誤るがある場合でも、より
高精度に３次元形状を測定することができる。
去して並進運動方向ベクトルを算出することにより、特
徴点と対応点ｎの対応づけに誤るがある場合でも、より
高精度に３次元形状を測定することができる。
【００５３】また、対応点を算出した並進運動方向ベク
トルの修正を繰り返すときに並進運動ベクトルに基づい
て収束判定をすることにより、収束判定を高速に行なう
ことができる。
トルの修正を繰り返すときに並進運動ベクトルに基づい
て収束判定をすることにより、収束判定を高速に行なう
ことができる。
【００５４】さらに、加速度センサや画像情報を用いて
重力方向を検出したり、磁気センサで重力回りの角度を
検出することにより、簡単な構成で重力方向や重力回り
の角度を検出して３次元形状の計測を実現することがで
きる。
重力方向を検出したり、磁気センサで重力回りの角度を
検出することにより、簡単な構成で重力方向や重力回り
の角度を検出して３次元形状の計測を実現することがで
きる。
【００５５】また、各特徴点と各対応点を抽出するとき
に、各点の重み値も同時に算出し、この重み値を考慮し
て並進運動方向ベクトルを算出することにより、より高
精度に３次元形状やカメラ運動を計測することができ
る。
に、各点の重み値も同時に算出し、この重み値を考慮し
て並進運動方向ベクトルを算出することにより、より高
精度に３次元形状やカメラ運動を計測することができ
る。
【図１】この発明の実施例の動作原理を示す説明図であ
る。
る。
【図２】特徴点と対応点の対応を示す画面の表示図であ
る。
る。
【図３】重力方向と画像座標系との関係を示す説明図で
ある。
ある。
【図４】この発明の実施例の構成を示すブロック図であ
る。
る。
【図５】上記実施例の動作を示すフロ−チャ−トであ
る。
る。
【図６】エピポ−ラ線を示す説明図である。
【図７】この発明の第２の実施例の構成を示すブロック
図である。
図である。
【図８】上記第２の実施例の動作を示すフロ−チャ−ト
である。
である。
【図９】この発明の第３の実施例の構成を示すブロック
図である。
図である。
【図１０】上記第３の実施例の動作を示すフロ−チャ−
トである。
トである。
【図１１】この発明の第４の実施例の構成を示すブロッ
ク図である。
ク図である。
【図１２】上記第４の実施例の動作を示すフロ−チャ−
トである。
トである。
【図１３】この発明の具体例の配置図である。
【図１４】上記具体例における対象物の特徴点の３次元
位置の配置図である。
位置の配置図である。
１ 単眼画像撮像部 ２ 対応関係抽出部 ３ 重力方向検出部 ４ 重力回り角度検出部 ５ 姿勢算出部 ６ 視線ベクトル算出部 ７ 並進運動算出部 ８ ３次元形状演算部 ９ 収束信号通知部 １０ 姿勢補正部 １１ 誤対応検出部 １２ 誤対応除去部
Claims (15)
- 【請求項１】 撮像手段の視点を変えて測定対象物の画
像を入力し、第１視点で測定して入力した画像の複数の
特徴点を抽出し、第２視点で測定して入力した画像の前
記特徴点に相当する対応点を抽出し、２視点における重
力方向と重力回りの角度を入力し、２視点における重力
方向と角度から各視点における撮像手段の姿勢を算出
し、姿勢値と特徴点及び対応点から第１視点と第２視点
における各特徴点と対応点を通る視線ベクトルを算出
し、視線ベクトルと特徴点及び対応点から第１視点から
第２視点までの並進運動ベクトルを算出し、並進運動ベ
クトルと視線ベクトルにより測定対処物の３次元形状を
算出することを特徴とする３次元形状計測方法。 - 【請求項２】 撮像手段の視点を変えて測定対象物の画
像を入力し、第１視点で測定して入力した画像の複数の
特徴点を抽出し、第２視点で測定して入力した画像の前
記特徴点に相当する対応点を抽出し、２視点における重
力方向と重力回りの角度を入力し、２視点における重力
方向と角度から各視点における撮像手段の姿勢を算出
し、姿勢値と特徴点及び対応点から第１視点と第２視点
における各特徴点と対応点を通る視線ベクトルを算出
し、視線ベクトルと特徴点及び対応点から第１視点から
第２視点までの並進運動ベクトルを算出し、並進運動ベ
クトルにより対応点の位置を修正して視線ベクトルを算
出して対応点の変化量を算出することを対応点の対応点
の変化量が一定値以下あるいは繰り返し演算回数が一定
値になるまで繰り返してから算出した並進運動ベクトル
と視線ベクトルにより測定対象物の３次元形状を算出す
ることを特徴とする３次元形状計測方法。 - 【請求項３】 撮像手段の視点を変えて測定対象物の画
像を入力し、第１視点で測定して入力した画像の複数の
特徴点を抽出し、第２視点で測定して入力した画像の前
記特徴点に相当する対応点の複数の候補を抽出し、２視
点における重力方向と重力回りの角度を入力し、２視点
における重力方向と角度から各視点における撮像手段の
姿勢を算出し、姿勢値と特徴点及び対応点から第１視点
と第２視点における各特徴点と対応点を通る視線ベクト
ルを算出し、視線ベクトルと特徴点及び対応点から第１
視点から第２視点までの並進運動ベクトルを算出し、算
出した並進運動ベクトルにより対応点の位置を他の候補
に置き換えて特徴点と修正した対応点から姿勢補正値を
算出して視線ベクトルと並進運動ベクトルを算出するこ
とを対応点の変化量が一定値以下あるいは繰り返し演算
回数が一定値になるまで繰り返してから算出した並進運
動ベクトルと視線ベクトルより測定対象物の３次元形状
を算出することを特徴とする３次元形状計測方法。 - 【請求項４】 撮像手段の視点を変えて測定対象物の画
像を入力し、第１視点で測定して入力した画像の複数の
特徴点を抽出し、第２視点で測定して入力した画像の前
記特徴点に相当する対応点の複数の候補を抽出し、２視
点における重力方向と重力回りの角度を入力し、２視点
における重力方向と角度から各視点における撮像手段の
姿勢を算出し、姿勢値と特徴点及び対応点から第１視点
と第２視点における各特徴点と対応点を通る視線ベクト
ルを算出し、視線ベクトルと特徴点及び対応点から第１
視点から第２視点までの並進運動ベクトルを算出し、算
出した並進運動ベクトルにより特徴点と対応点の誤対応
を検出し、誤対応した特徴点と対応点を除去して並進運
動ベクトルを繰返し算出し、収束した並進運動ベクトル
と視線ベクトルより測定対象物の３次元形状を算出する
ことを特徴とする３次元形状計測方法。 - 【請求項５】 撮像手段と対応関係抽出手段と重力方向
検出手段と重力回り角度検出手段と姿勢算出手段と視線
ベクトル算出手段と並進運動算出手段及び３次元形状演
算手段を有し、 撮像手段は視点を変えて測定対象物の画像を入力し、 対応関係抽出手段は第１視点で測定した画像の複数の特
徴点を抽出し、第２視点で測定した画像の前記特徴点に
相当する対応点を抽出し、 重力方向検出手段は第１視点と第２視点における重力方
向を検出し、 重力回り角度検出手段は２視点における重力回りの角度
を検出し、 姿勢算出手段は２視点の重力方向と重力回りの角度から
各視点における撮像手段の姿勢を算出し、 視線ベクトル算出手段は２視点の姿勢値と特徴点及び対
応点より第１視点と第２視点における各特徴点と対応点
を通る視線ベクトルを算出し、 並進運動算出手段は視線ベクトルと特徴点及び対応点か
ら第１視点から第２視点までの並進運動ベクトルを算出
し、 ３次元形状演算手段は並進運動ベクトルと視線ベクトル
より測定対象物の３次元形状を算出することを特徴とす
る３次元形状計測装置。 - 【請求項６】 撮像手段と対応関係抽出手段と重力方向
検出手段と重力回り角度検出手段と姿勢算出手段と視線
ベクトル算出手段と並進運動算出手段と収束信号通知手
段及び３次元形状演算手段を有し、 撮像手段は視点を変えて測定対象物の画像を入力し、 対応関係抽出手段は第１視点で測定した画像の複数の特
徴点を抽出し、第２視点で測定した画像の前記特徴点に
相当する対応点を抽出し、 重力方向検出手段は第１視点と第２視点における重力方
向を検出し、 重力回り角度検出手段は２視点における重力回りの角度
を検出し、 姿勢算出手段は２視点の重力方向と重力回りの角度から
各視点における撮像手段の姿勢を算出し、 視線ベクトル算出手段は２視点の姿勢値と特徴点及び対
応点より第１視点と第２視点における各特徴点と対応点
を通る視線ベクトルを算出するとともに並進運動算出手
段で算出した並進運動ベクトルにより対応点の位置を修
正して視線ベクトルを算出し、 並進運動算出手段は視線ベクトルと特徴点及び対応点か
ら第１視点から第２視点までの並進運動ベクトルを算出
し、 収束信号通知手段は並進運動ベクトルにより対応点の位
置を修正したときの対応点の変化量を算出し、対応点の
対応点の変化量が一定値以下あるいは繰り返し演算回数
が一定値になったことを通知する収束信号を出力し、 ３次元形状演算手段は収束信号が出力されたときの並進
運動ベクトルと視線ベクトルより測定対象物の３次元形
状を算出することを特徴とする３次元形状計測装置。 - 【請求項７】 撮像手段と対応関係抽出手段と重力方向
検出手段と重力回り角度検出手段と姿勢算出手段と姿勢
補正手段と視線ベクトル算出手段と並進運動算出手段と
収束信号通知手段及び３次元形状演算手段を有し、 撮像手段は視点を変えて測定対象物の画像を入力し、 対応関係抽出手段は第１視点で測定した画像の複数の特
徴点を抽出し、第２視点で測定した画像の前記特徴点に
相当する対応点を抽出し、 重力方向検出手段は第１視点と第２視点における重力方
向を検出し、 重力回り角度検出手段は２視点における重力回りの角度
を検出し、 姿勢算出手段は２視点の重力方向と重力回りの角度から
各視点における撮像手段の姿勢を算出するとともに姿勢
補正手段で算出した画像の姿勢角度の補正値と第２視点
の重力方向と重力回りの角度から第２視点における撮像
手段の姿勢を算出し、 視線ベクトル算出手段は２視点の姿勢値と特徴点及び対
応点より第１視点と第２視点における各特徴点と対応点
を通る視線ベクトルを算出するとともに並進運動算出手
段で算出した並進運動ベクトルにより対応点を他の候補
と置き換えて修正して各特徴点と修正した対応点を通る
視線ベクトルを算出し、 姿勢補正手段は修正した対応点より第２視点の画像の姿
勢角度の補正値を算出し、 並進運動算出手段は視線ベクトルと特徴点及び対応点か
ら第１視点から第２視点までの並進運動ベクトルを算出
し、 収束信号通知手段は並進運動ベクトルにより対応点の位
置を修正したときの対応点の変化量を算出し、対応点の
対応点の変化量が一定値以下あるいは繰り返し演算回数
が一定値になったことを通知する収束信号を出力し、 ３次元形状演算手段は収束信号が出力されたときの並進
運動ベクトルと視線ベクトルより測定対象物の３次元形
状を算出することを特徴とする３次元形状計測装置。 - 【請求項８】 収束信号通知手段は並進運動算出手段で
算出した並進運動ベクトルの変化量が一定値以下になっ
たときに収束信号を出力する請求項７又は８記載の３次
元形状計測装置。 - 【請求項９】 撮像手段と対応関係抽出手段と重力方向
検出手段と重力回り角度検出手段と姿勢算出手段と視線
ベクトル算出手段と並進運動算出手段と誤対応検出手段
と誤対応除去手段と収束信号通知手段及び３次元形状演
算手段を有し、 撮像手段は視点を変えて測定対象物の画像を入力し、 対応関係抽出手段は第１視点で測定した画像の複数の特
徴点を抽出し、第２視点で測定した画像の前記特徴点に
相当する対応点を抽出し、 重力方向検出手段は第１視点と第２視点における重力方
向を検出し、 重力回り角度検出手段は２視点における重力回りの角度
を検出し、 姿勢算出手段は２視点の重力方向と重力回りの角度から
各視点における撮像手段の姿勢を算出するとともに姿勢
補正手段で算出した画像の姿勢角度の補正値と第２視点
の重力方向と重力回りの角度から第２視点における撮像
手段の姿勢を算出し、 視線ベクトル算出手段は２視点の姿勢値と特徴点及び対
応点より第１視点と第２視点における各特徴点と対応点
を通る視線ベクトルを算出し、 並進運動算出手段は視線ベクトルと特徴点及び対応点か
ら第１視点から第２視点までの並進運動ベクトルを繰返
して算出し、 誤対応検出手段は算出した並進運動ベクトルにより特徴
点と対応点の誤対応を検出し、 誤対応除去手段は誤対応した特徴点と対応点を除去し、 収束信号通知手段は並進運動ベクトルが一定値になった
ことを検出して収束信号を出力し、 ３次元形状演算手段は収束信号が出力されたときの並進
運動ベクトルと視線ベクトルより測定対象物の３次元形
状を算出することを特徴とする３次元形状計測装置。 - 【請求項１０】 上記収束信号通知手段は繰り返した算
出した並進運動ベクトルの誤差曲線により並進運動ベク
トルの収束を検出する請求項７，８又は９記載の３次元
形状計測装置。 - 【請求項１１】 重力方向検出手段が３軸加速度センサ
である請求項５，６，７又は９記載の３次元形状計測装
置。 - 【請求項１２】 重力方向検出手段が入力画像より算出
する重力方向推定手段である請求項５，６，７又は９記
載の３次元形状計測装置。 - 【請求項１３】 重力回り角度検出手段が磁気センサで
ある請求項５，６，７又は９記載の３次元形状計測装
置。 - 【請求項１４】 重力回り角度検出手段が磁気センサと
重力方向検出手段である請求項５、６，７又は９記載の
３次元形状計測装置。 - 【請求項１５】 対応関係抽出手段は特徴点と対応点と
ともに重み値を算出し、並進運動算出手段は特徴点と対
応点の重み値を考慮して並進運動ベクトルを算出する請
求項５、６，７又は９記載の３次元形状計測装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30337197A JP3712847B2 (ja) | 1997-05-20 | 1997-10-20 | ３次元形状計測方法と３次元形状計測装置及び撮像手段の姿勢検出装置 |
| US09/081,020 US6038074A (en) | 1997-05-20 | 1998-05-19 | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14449897 | 1997-05-20 | ||
| JP9-144498 | 1997-05-20 | ||
| JP30337197A JP3712847B2 (ja) | 1997-05-20 | 1997-10-20 | ３次元形状計測方法と３次元形状計測装置及び撮像手段の姿勢検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1137736A true JPH1137736A (ja) | 1999-02-12 |
| JP3712847B2 JP3712847B2 (ja) | 2005-11-02 |
Family
ID=26475890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30337197A Expired - Fee Related JP3712847B2 (ja) | 1997-05-20 | 1997-10-20 | ３次元形状計測方法と３次元形状計測装置及び撮像手段の姿勢検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3712847B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101155816B1 (ko) * | 2005-06-17 | 2012-06-12 | 오므론 가부시키가이샤 | 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법 |
| JP2016070884A (ja) * | 2014-10-01 | 2016-05-09 | 日本電信電話株式会社 | 映像データ処理方法、映像データ処理装置及び映像データ処理プログラム |
| WO2016103621A1 (ja) * | 2014-12-24 | 2016-06-30 | パナソニックＩｐマネジメント株式会社 | ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法 |
| JP2017090420A (ja) * | 2015-11-17 | 2017-05-25 | パナソニックＩｐマネジメント株式会社 | ３次元情報復元装置及び３次元情報復元方法 |
| WO2024071733A1 (ko) * | 2022-09-29 | 2024-04-04 | 네이버랩스 주식회사 | 식별자 인식 기반 위치 결정 방법 및 장치 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3286524B1 (de) * | 2015-04-21 | 2019-07-10 | Carl Zeiss Industrielle Messtechnik GmbH | Verfahren und vorrichtung zum bestimmen von dimensionellen ist-eigenschaften eines messobjekts |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05196437A (ja) * | 1992-01-20 | 1993-08-06 | Nippon Telegr & Teleph Corp <Ntt> | ３次元情報入力装置 |
| JPH06241731A (ja) * | 1992-11-20 | 1994-09-02 | Nec Corp | ３次元形状相対位置推定装置 |
| JPH1163949A (ja) * | 1997-08-20 | 1999-03-05 | Ricoh Co Ltd | ３次元形状復元装置及び方法 |
-
1997
- 1997-10-20 JP JP30337197A patent/JP3712847B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05196437A (ja) * | 1992-01-20 | 1993-08-06 | Nippon Telegr & Teleph Corp <Ntt> | ３次元情報入力装置 |
| JPH06241731A (ja) * | 1992-11-20 | 1994-09-02 | Nec Corp | ３次元形状相対位置推定装置 |
| JPH1163949A (ja) * | 1997-08-20 | 1999-03-05 | Ricoh Co Ltd | ３次元形状復元装置及び方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101155816B1 (ko) * | 2005-06-17 | 2012-06-12 | 오므론 가부시키가이샤 | 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법 |
| US8233041B2 (en) | 2005-06-17 | 2012-07-31 | Omron Corporation | Image processing device and image processing method for performing three dimensional measurements |
| JP2016070884A (ja) * | 2014-10-01 | 2016-05-09 | 日本電信電話株式会社 | 映像データ処理方法、映像データ処理装置及び映像データ処理プログラム |
| WO2016103621A1 (ja) * | 2014-12-24 | 2016-06-30 | パナソニックＩｐマネジメント株式会社 | ３次元情報復元装置、３次元情報復元システム、及び３次元情報復元方法 |
| JP2017090420A (ja) * | 2015-11-17 | 2017-05-25 | パナソニックＩｐマネジメント株式会社 | ３次元情報復元装置及び３次元情報復元方法 |
| WO2024071733A1 (ko) * | 2022-09-29 | 2024-04-04 | 네이버랩스 주식회사 | 식별자 인식 기반 위치 결정 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3712847B2 (ja) | 2005-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210190497A1 (en) | Simultaneous location and mapping (slam) using dual event cameras | |
| CN111156998B (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
| US6038074A (en) | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image | |
| Lobo et al. | Vision and inertial sensor cooperation using gravity as a vertical reference | |
| JP3732335B2 (ja) | 画像入力装置及び画像入力方法 | |
| Zhang et al. | A robust and rapid camera calibration method by one captured image | |
| CN103759716A (zh) | 基于机械臂末端单目视觉的动态目标位置和姿态测量方法 | |
| EP4155873A1 (en) | Multi-sensor handle controller hybrid tracking method and device | |
| CN111307146B (zh) | 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统 | |
| CN111811462A (zh) | 极端环境下大构件便携式视觉测距系统及方法 | |
| JP2559939B2 (ja) | ３次元情報入力装置 | |
| CN113012224B (zh) | 定位初始化方法和相关装置、设备、存储介质 | |
| Viéville et al. | Experimenting with 3D vision on a robotic head | |
| JP3712847B2 (ja) | ３次元形状計測方法と３次元形状計測装置及び撮像手段の姿勢検出装置 | |
| CN112862818A (zh) | 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法 | |
| JP3512894B2 (ja) | 相対的移動量算出装置及び相対的移動量算出方法 | |
| JP3221384B2 (ja) | 三次元座標計測装置 | |
| CN113048985B (zh) | 已知相对旋转角度条件下的像机相对运动估计方法 | |
| JP3655065B2 (ja) | 位置・姿勢検出装置と位置・姿勢検出方法と３次元形状復元装置及び３次元形状復元方法 | |
| CN113923437A (zh) | 信息显示方法及其处理装置与显示系统 | |
| González et al. | Stability study of camera calibration methods | |
| Ogata et al. | A robust position and posture measurement system using visual markers and an inertia measurement unit | |
| Krishnan et al. | Monocular pose of a rigid body using point landmarks | |
| JPH0979820A (ja) | 物体形状及びカメラ視点移動の復元装置および物体形状，カメラ視点移動の復元方法 | |
| Grießbach et al. | Vision aided inertial navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050816 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050818 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080826 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130826 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |