JP2626780B2 - セグメント対応による三次元画像計測方法 - Google Patents

Description

【発明の詳細な説明】 発明の技術分野 本発明は、画像処理技術によって、直線近似可能な対
象物の三次元的位置および姿勢を算出する技術に関す
る。

従来技術 三次元画像計測の手法としてよく知られたステレオ画
像法がある。その手法は、例えば井口征士（大阪大学教
授）が「三次元計測研究・最近の動向と展望」（映像情
報（Ｉ）1986年６月号）で述べているように、原理その
ものは、第１図に示すような三角測量に基づく簡単なも
のである。

同図に示す通り、対象物の稜線エッジ上の一点Ｐが与
えられたときに、その一点Ｐがそれぞれ２台のカメラ
１、２の画像１、２上で、どの位置に見えるかがわかれ
ば、点Ｐの三次元的位置は、２台のカメラ１、２の基線
長Ｌとカメラ１、２の観測角θ′_１、θ′_２、およびカ
メラ１、２で撮像された画像１、２のそれぞれの倍率
M₁、M₂等のパラメータとを用いて算出できる。

従来技術の問題点 画像１のエッジ上の特徴点Ｐ′_C1から、それに対応す
る特徴点Ｐ′_C2を画像２のエッジ点群から探し出す事
は、難しい技術であり、また莫大な処理時間を必要とす
る。

最近では、画像１の特徴点Ｐ′_C1を通る視線Ｌ′を画
像２に写像したエピポーラ線ｌを用いて、エッジ候補点
の対応点探索を高速で行う手法も提案されてはいるが、
対応点探索の難しさは、依然として残っており、画素対
応法の弱点の１つである。

発明の目的 したがって、本発明の目的は、直線セグメントの検出
を行うステレオ画像法において、画素ごとに対応づけを
行うのではなく、セグメントごとの対応づけを行って、
セグメントごとの三次元的位置および姿勢を簡単にしか
も高速に算出することである。

発明の構成および作用 対象物（ワーク）の直線セグメントは、ワーク座標系
xyzに存在するものとする。ワーク座標系xyzは、第２図
に示すように、カメラ１、２の光軸を含む面がyz平面に
なるようにｘ軸を設定する。２台のカメラ１、２の観測
角は、それぞれθ′_１、θ′_２で、各レンズの焦点距離
はｆ、基線長はＬとする。

カメラ１、２のレンズセンターP₀₁、P₀₂からそれぞれ
物体距離a₁、a₂だけ離れた各光軸に直交する平面に、そ
れぞれのカメラ１、２の視野の大きさA₁×B₁および大き
さA₂×B₂のスクリーン面１、２を設定する。今、カメラ
１のレンズセンサー（座標）をP₀₁（o,y₀₁,z₀₁）、カメ
ラ２のレンズ中心をP₀₂（o,y₀₂,z₀₂）、スクリーン面１
の中心をP_l1（o,y_l1,z_l1）、スクリーン面２の中心をP
_l2（o,y_l2,z_l2）とする。また、光軸１とｙ軸との交角
をθ_１＝tan^-1｛（z₀₁−z_l1）／（y₀₁−y₁₁）｝、光軸
２とｙ軸との交角をθ_２＝tan^-1｛（z_l2−z_l2）／（y₀₂
−y_l2）｝とする。

そして、第３図に見られるように、ワーク座標系上の
一点Ｐがカメラ１の画像上で点Ｐ′_C1（ｘ′₁,y′_１）
として、カメラ２の画像上で点Ｐ′_C2（ｘ′₂,y′_２）
として、それぞれ映っているものとする。

このとき、画像１、２の大きさをそれぞれξ_１×
η_１、およびξ_２×η_２、画像１、２の中心をそれぞれ
Ｐ′_l1（ｘ′₀,y′_０）、Ｐ′_l2（ｘ′₀,y′_０）とすれ
ば、画像座標（ｘ′,y′）からスクリーン面１、２のそ
れぞれの対応点P_C1（x_C1,y_C1,z_C1）、P_C2（x_C2,y_C2,
z_C2）への変換α_１、α_２は次式により行える。

変換α_１ x_C1＝（ｙ′_０−ｙ′）／η_１×B₁ y_C1＝y_l1＋（ｘ′−ｘ′_０）／ξ_１×A₁×sinθ_１ z_C1＝z_l1−（ｘ′−ｘ′_０）／ξ_１×A₁×cosθ_１ 変換α_２ x_C2＝（ｙ′_０−ｙ′）／η_２×B₂ y_C2＝y_l2＋（ｘ′−ｘ′_０）／ξ_２×A₂×sinθ_２ z_C2＝z_l2＋（ｘ′−ｘ′_０）／ξ_２×A₂×cosθ_２ さて、検出対象のワークの直線セグメントｌが第４図
に示すように、画像１上で線分 によって、画像２上で線分 によって、それぞれ表されているものとする。これらの
線分上の点群Ｐ′_１、Ｐ′_２、Ｐ′_３、Ｐ′_４を画像座
標系からスクリーン面に上記変換α_１および変換α_２に
よって変換する。

変換α_１ Ｐ′_１（ｘ′₁,y′_１）→P_C1（x_C1,y_C1,z_C1） Ｐ′_２（ｘ′₂,y′_２）→P_C2（x_C2,y_C2,z_C2） 変換α_２ Ｐ′_３（ｘ′₃,y′_３）→P_C3（x_C3,y_C3,z_C3） Ｐ′_４（ｘ′₄,y′_４）→P_C4（x_C4,y_C4,z_C4） このとき、直線セグメントｌは、第５図に見られる通
り、平面P₀₁P_C1P_C2と平面P₀₂P_C3P_C4との交線ｌ′上に存
在し、その端点は、直線P₀₁P_C1と直線P₀₂P_C3との交点
G₁、直線P₀₁P_C2と直線P₀₂P_C4との交点G₂として与えられ
る。ここで得られた端点をG₁（x_g1,y_g1,z_g1）およびG₂
（x_g2,y_g2,z_g2）とする。

しかし、実際には、各画像における端点抽出の誤差に
よって、直線P₀₁P_C1と直線P₀₂P_c3、直線P₀₁P_C2と直線P
₀₂P_C4とは交わるとは限らない。

そこで、第６図のように、直線P₀₁P_C1と交線ｌ′との
交点をH₁（x_h1,y_h1,z_h1）、直線P₀₂P_C3と交線ｌ′との
交点をH₂（x_h2,y_h2,z_h2）とすれば、求める直線セグメ
ントｌの端点G₁（x_g1,y_g1,z_g1）は次式で与えられる。

x_g1＝（x_h1＋x_h2）/2 y_g1＝（y_h1＋y_h2）/2 z_g1＝（z_h1＋z_h2）/2 同様にして、直線P₀₁P_C2と交線ｌ′との交点をH₃（x
_h3,y_h3,z_h3）、直線P₀₂P_C4と交線ｌ′との交点をH₄（x
_h4,y_h4,z_h4）とすれば、端点G₂（x_g2,y_g2,z_g2）は、次
式となる。

x_g2＝（x_h3＋x_h4）/2 y_g2＝（y_h3＋y_h4）/2 z_g2＝（z_h3＋z_h4）/2 このとき、直線セグメントｌの中心位置（x,y,z）お
よび姿勢（θ_x,θ_y,θ_ｚ）は次の式で与えられる。

ｘ＝（x_g1＋x_g2）/2 ｙ＝（y_g1＋y_g2）/2 ｚ＝（z_g1＋z_g2）/2 ただし、直線セグメントｌの姿勢は、最初ワーク中心
とワーク座標系の原点とが重なるようにｘ軸に置かれて
いたものとして、その基準姿勢からの各軸まわりの変位
角で定義する。したがってｘ軸まわりの変位角θ_ｘは定
義されない。

具体例 ここで、具体例として、空間上に置かれた、一本の直
線セグメントを求める方法について述べる。

まず、それぞれのカメラ１、２から対象セグメント
を画像１、２に入力する。

Hough変換や、最小二乗法等の手法を用いて、画像
中の直線および端点を求める。

すでに述べた方法により、直線セグメントの三次元
的な位置および姿勢を求める。なお、画像１と画像２の
直線セグメントの対応付けは、 ε＝（x_h1−x_h2）^２＋（y_h1−y_h2）^２＋（z_h1−z_h2）^２ ＋（x_h3−x_h4）^２＋（y_h3−y_h4）^２＋（z_h3−z_h4）^２を
最小にするような直線セグメントの組み合わせで与えら
れる。

以上の手法によって、目的が達成できる。もちろん、
この方法は、画像処理用コンピュータのプログラムによ
って実現される。

発明の効果 本発明では、ステレオ画像法において、複雑な画素対
応を全く行わずに、各画像において各々直線セグメント
を算出したあと、ただちに空間上の直線セグメントの位
置および姿勢を求める事ができるという特長がある。一
般に、ロボットの視覚等において、計測の対象となるワ
ークは、稜線エッジが直線セグメントで近似できる場合
が多いため、本方法を用いて、ワークのそれぞれの稜線
エッジの三次元的な位置と姿勢とを算出する事により、
ワークの三次元的な位置および姿勢も容易に求める事が
できる。

【図面の簡単な説明】

第１図はステレオ画像法の原理説明図、第２図はワーク
座標系とスクリーン面との対応図、第３図は画像座標系
からスクリーン面への変換図、第４図はステレオ画像に
おける直線セグメントの画像図、第５図および第６図は
セグメントの検出説明図である。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】空間上に対象物の直線セグメントを２台の
   カメラ（カメラ１、カメラ２）に画像として入力する過
   程、 それぞれの画像（画像１、画像２）毎に直線セグメント
   （ｌ）の端点を画像上で算出する過程、 ２台のカメラの画像より得られた直線セグメント（ｌ）
   を各々のカメラのスクリーン画上に投影する過程、 スクリーン面上の直線セグメント（ｌ）とレンズセンタ
   ーとを含む平面を求め２つのカメラの平面同士の交線
   （ｌ′）を算出する過程、 交線（ｌ′）上に投影された各カメラの直線セグメント
   端点の三次元座標の平均値から直線セグメント端点の三
   次元座標を求める過程、 得られた２つの直線セグメントの端点から空間上の直線
   セグメントの位置および姿勢を算出する過程 からなることを特徴とするステレオ画像法を用いた直線
   セグメントの三次元計測方法。