WO2004051185A1

WO2004051185A1 - 相対距離計測方法及びその装置

Info

Publication number: WO2004051185A1
Application number: PCT/JP2003/015539
Authority: WO
Inventors: Seiji Hata
Original assignee: Techno Network Shikoku Co.,Ltd.; Tokai Co., Ltd.
Priority date: 2002-12-04
Filing date: 2003-12-04
Publication date: 2004-06-17
Also published as: AU2003289180A1; WO2004051185A8; AU2003289180A8

Abstract

　本発明は、三次元空間における対象物の凹凸の形状を簡便かつ高精度に計測するための方法及びその装置を提供することを目的とする。　複数台のカメラで対象物を撮影した場合に、対象物の奥行き方向の凹凸形状によって視差にずれが生じる現象を利用し、カメラから画像内の基準点までの距離情報を基に、基準点に対する画像内の各点の相対高さを計測する。

Description

相対距離計測方法及びその装置

技術分野

明

本発明は、複数台のカメラと距離計測装置を用いて、三次元空間における対象物の凹凸の距離を高精度に測定する技術を提供するものである。書

背景技術三次元空間における回凸の距離を測定するセンサーとしては、例えば下記非特許文献 1に記述されているロボット視覚センサーが知られている。

該ロボット視覚センサーによれば、口ボットの手先に付けたスリット光投光系と 1台のカメラによって、電子部品などの三次元位置を計測し、組み立て作業を実施している。

具体的には、スリツト光投光系から得られた 3次元位置情報と 2次元画像情報を統合し、電子部品の外形が平面であることを利用して、該電子部品の 3次元情報を得ている。一方、 T V画面などに映った対象全体の 3次元形状を求める方法としては、下記非特許文献 2に見られるようなステレオ視が一般に用いられている。

この方法は、左右 2台のカメラのそれぞれの画像中から、同一場所を見ている対応位置を求め、そして 2台のカメラの取り付け間隔、対応位置の方向などから、三角測量の原理で対象までの距離を求める方法であるが、短いカメラ取り付け間隔から長い距離測定を精密に行うためには、間隔や角度値が非常に正確に求められていなければならない（非特許文献 2) 非特許文献 1 精密工学会誌 5 2卷 6号 p p . 1 0 1 4 - 1 0 1 8 ( 1 9 8 6 ) 掲載論文「立体形状の高速認識方式 J

非特許文献 2 井口、佐藤著「三次元画像計測」 [昭晃堂、 1 9 9 0 年、 p p . 1 4— 1 6 発明の開示

無人の月着陸船では、その着陸位置として平坦な場所を選ぶ必要がある。そのため、着陸予定位置に岩石などの障害物があつたとしても、該障害物が着陸の妨げとならない範囲内であることを着陸前に確認するために、該障害物の大きさや高さを計測する必要がある。

また、ロボット作業によって植物の幼芽を扱うような場合においては、芽の形状が工業製品の様に一定でないため、作業位置を決定する際に、三次元的な形状を計測する必要がある。しかしながら、上記非特許文献 1に掲載された「立体形状の高速認識方式」におけるロボット視覚センサーは、スリット光投光型のセンサーを利用しているため、スリツト光の当たった位置でしか 3次元情報が獲得できないという欠点がある。従って、工業用部品のように形状が既知の場合には、このような測定が可能であるが、月面表面上の障害物や、バイオ生産における植物の幼芽など、あらかじめ形状を規定しておくことができない場合には、一部の 3次元情報をもとに全体の 3次元形状や位置を決定することはできない。また、上記非特許文献 2に記載されているステレオ視の技術によって、 3次元位置を正確に求めようとする場合には、カメラのレンズ特性や力メラ間の関係が正確に規定されている必要があり、月着陸船のように発射時に多大な圧力や振動を受けたり、航行中に大きな温度変化にさらされるような場合には適さない。また、ロボット作業時の対象までの距離測定を行うなどの一般の計測においても、ステレオ視は、カメラ間の間隔ゃ角度値が非常に精密に求められなければならない方法であり、高精度計測には適さない。そこで、本発明は、このような欠点を解決するために、以下の 1 ) ないし 3 ) 特徴を有する相対距離計測方法及びその装置を提供することを目的とする。

1 ) 計測に必要なカメラパラメータが出来るだけ少なく、簡便に得られること。

2 ) カメラパラメータが多少変動しても、計測精度に大きな影響を与えないこと。

3 ) 対象物の全体の 3次元位置情報が計測できること。上記の課題を解決するために、本発明では、相対ステレオ法と呼ぶ新規な手法を導入した。この方法は、基本的には複数のカメラを使用したステレオ視を距離計測の手法とするが、ステレオ視以外の方法で得られる画面内の基準点までの距離情報を利用し、ステレオ画像処理を行うことにより、基準点からの相対高さを計測することを特徴とする。相対ステレオ法による距離計測手法の流れは第 1図に示すとおりである。まず、複数の撮像手段により、計測対象の画像を取得し（STEP1) 、次に、計測対象上の基準点までの距離を、電波高度計等を用いて計測す 9

4

る（STEP2) 。そして、 STEP1で得られた画像は、撮像装置からの距離が異なる点では、画像が重なり合わず画像のずれが生じることを利用して、当該画像のずれ量を算出する（STEP³) 。最後に、 STEP2で計測した基準点までの距離に、撮像装置間の距離とずれ量から三角測量等で算出した相対距離を加算することで、計測対象までの距離を計測する（STEP⁴)。すなわち、請求項 1の発明は、複数の撮像手段から計測対象の画像を取得する第 1のステップと、該撮像手段から計測対象上の基準点までの距離を計測する第 2のステップと、前記第 1のステツプで取得した撮像手段から得られた複数の画像を重ね合わせ、当該画像のずれ量を算出する第 3のステップと、前記第 2のステップで計測した撮像手段から計測対象上の基準点までの距離と前記第 3のステップで算出したずれ量から、前記撮像手段から計測対象までの距離を算出する第 4のステップと、を有することを特徴とする相対距離計測方法である。

請求項 2の発明は、請求項 1の発明において、前記第 4のステップは、計測対象上の基準点から計測対象までの高さ hを、撮像手段から計測対象上の基準点までの高さ Hと、画像のずれ量 dと、撮像手段間の距離 W から、下記式 1で算出することを特徴とする。

[式 1 ] h = H d / (W + d )

請求項 3の発明は、請求項 1または 2の発明において、前記第 2のステップは、電波高度計を用いた計測であることを特徴とする。

請求項 4の発明は、請求項 1ないし 3のいずれかに記載の発明において、前記第 2のステップは、スリツト光またはスポット光による投光装置と、複数台の撮像手段のいずれかを組み合わせて、光の当った点までの距離を計測する光切断法を用いた計測であることを特徴とする。

請求項 5の発明は、複数の撮像手段と、該撮像手段から計測対象上の基準点までの距離を計測する手段と、前記撮像手段が撮像した画像と、前記撮像手段から得られた複数の雨像を重ね合わせ、当該画像のずれ量を算出し、前記計測した撮像手段から計測対象上の基準点までの距離と前記算出したずれ量から、前記撮像手段と前記計測対象の距離を算出する演算手段と、を有することを特徴とする相対距離計測装置である。

請求項 6の発明は、請求項 5の発明において、前記演算手段は、計測対象上の基準点から計測対象までの高さ hを、撮像手段から計測対象上の基準点までの高さ Hと、画像のずれ量 dと、撮像手段間の距離 Wから、下記式 2で算出することを特徴とする。

[式 2 ] h = H d / (W + d )

請求項 7の発明は、請求項 5または 6に記載の発明において、前記撮像手段から計測対象上の基準点までの距離を計測する手段は、電波高度計であることを特徴とする。

請求項 8の発明は、請求項 5ないし 7のいずれかに記載の発明において、前記撮像手段から計測対象上の基準点までの距離を計測する手段は、スリット光またはスポット光による投光装置と、複数台の撮像手段のいずれかを組み合わせて、光の当った点までの距離を計測する光切断法であることを特徴とする。

請求項 9の発明は、請求項 5ないし 8のいずれかに記載の発明において、前記撮影手段はあおり光学系を含むことを特徴とする。図面の簡単な説明

第 1図は、相対ステレオ法による距離計測手法の流れ図である。第 2 図は、相対ステレオ法による距離計測手法を説明する図面である。第 3 図は、月着陸船の構成例を示す図を示す図面である。第 4図は、左右のカメラによる月面上の石などの障害物の撮像例を示す図面である。第 5 図は、幼芽ハンドリングロポットの構成例を示す図面である。第 6図は、相対距離計測装置による苗株形状の計測の様子を示す図面である。第 7 図は、苗株形状の処理方法を示す図面である。第 8図は、苗株形状の計算方法を示す図面である。第 9図は、校正パターンを利用して、カメラの角画素が空間を見ている位置を求める状態を示す図面である。第 1 0 図は、あおり光学系を用いて C C D撮像素子上に遠近ひずみのない結像画像を得るための構成例を示す図面である。第 1 1図は、ガラス容器内のバイオ苗の幼芽をハンドリングロポットで把持する実施例を示す図面である。符号の説明

1 カメラ、 2 底面、 10 月着陸船、 11 電波高度計、 12 脚、 20 凸物体（石、突起）、 21 影、 30 苗株形状計測装置、 31 スリット光投光器、 32 把持チャック、 40 幼芽、 41 苗箱、 50 スリット光照射部、 60 校正パターン、 61 底板、 70 レンズ、 71 C C D撮像素子、 80 ガラス容器、 81 ロボットハンド発明を実施するための最良の形態

本発明の原理を図面によって説明する。第 2図は、 2台のカメラ l a および 1 bが距離 Wの間隔をおいて平行に取り付けられた構成において、高さ hの対象物を、底面 2から高さ Hの位置から撮像した場合を示している。この時、右カメラ 1 aの画像と左カメラ 1 bの画像について、高さ Hを計測した底面 2上にあるパターンが丁度重なり合うように 2枚の画像の重ね合わせを行うと、高さ hの点については、視差が発生する。

(なお、相対ずれ量 dは、実際に画像を重ね合わせなくとも、計算処理により計算することも可能である。）この視差を底面上で計測したと仮定した場合の見かけ上の距離を相対ずれ量 dとすると、これら H , h , W, dの間には、相似関係から、下記式 3 , 4であらわされる簡単な関係式が成り立つ。

[式 3 ] h / ( H - h ) = d /W

この式 3を変形すると、以下の式 4が得られる。

[式 4 ] h = H d / (W+ d )

Wはあらかじめ判明しており、 Hは別の距離計測手段で求められると仮定すると、 dは 2台のカメラ間の視差に画素あたりのサイズを掛けることで容易に求められるので、高さ hは上記の式 4から容易に計算することができる。

ここで、 Wがたとえ振動などで多少変動したとしても、取り付け間隔に較べてその変動量は非常に小さい。また、視差 dは、画像中で底面 2 上にあるパターンを重ね合わせたあとでの相対的な位置ずれ量に画素あたりのサイズを掛けたものであるから、例えカメラの取り付け角度等が変動したとしても、それに伴う画像の全体的な撮像位置の変化は、最終的に基準点を実際のパターンとして重ね合わせてしまうことによって変動分が除去されており、パラメータ変動や振動の影響の入る余地が少ない。以上のとおり、本発明では、電波高度計など他の方法で距離の分かつている底面に対する対象物の相対的高さを計算する。従って、カメラと基準点の距離が正確に分かっているときに、基準点からの比較的小さい相対距離を求める本発明の方法は、一般のステレオ視のように、視差を角度として求め、直接カメラと物体間の距離を計測する方法に較べて、高精度に位置計測することを可能にする。また、基本的にはステレオ視であるから、画面内に見える特徴点全ての高さを求めることができる。

すなわち、本発明は、月着陸船などの、打ち上げ時の多大な振動や、宇宙での極端な温度変化による光学系の変動の影響を受けにくい高さ計測方式であり、また、ロボット作業によって植物の幼芽を扱うような場合において、作業位置を決定するために必要な三次元的な形状計測方式であるといえる。以下、本発明の実施例を図面に基づいて具体的に説明する。ただし、これらの実施例は、本発明の技術思想を具体化するための相対距離継続装置を例示するものであって、本発明は下記のものに限定されない。実施例 1 ·

第 3図は、月面上の障害物の高さを計測するため、月着陸船へ本装置を装着した例である。

月着陸船は、例えば幅 4 m程度、高さ 3 m程度の大きさであるが、本装置はその下部に取り付けられる複数台の T Vカメラ、および電波高度計からなる。この装置は、月着陸船が降下中に、高度 100m程度の位置で月面上を撮像し、高さ 50cm以上の障害物を検出して、それを避けるように着陸位置を決定するために、物体の高さ計測を行おうとするものである。従って、計測に要求される精度は士数 cm程度と、撮像高度 100mと比して非常に高いものがある。

この方法として、電波高度計によって得られた撮像高度データをもとに、第 2図に示した相対ステレオ法を組み合わせて高さ検出を行う。第 4図は、左右のカメラ 1 aおよび 1 bから得られる、月面表面の石などの障害物 2 0の像を示す。この例では、太陽が右方向から斜めに差しているため、左方向に影が見える。この影は、左側は月面表面にある力 S、右側は石の上面に生じている。ここで、電波高度計によって月面表面までの高さが求められるため、影の左側を合わせて左右の画像を重ねると、石の月面表面上の外形は重なり合うが、上面の影の境界にはずれが生じる。

左右の画像を重ね合わせた様子を第 4図（c ) に示す。本実施例においては、このずれから、上述の原理により高さを決定することができる。実施例 2

第 5図は、バイオ苗の工場生産における幼芽のハンドリングロポットにおける実施例である。

本実施例に係る装置は、バイオ苗の幼芽 4 0を保持する把持チヤック 3 2と、幼芽の形状と保持位置を決定するスリット光投光器 3 1およびステレオ視のための 2台のカメラ 1 aおよび 1 bからなる。ここで、スリット光投光器 3 1 と 1台のカメラを用いた光切断法による距離計測によって、カメラパラメータが厳密に決定され、光の当たった位置の 3次元座標を高い精度で決定できる。そして、その位置を基準に、第 2図において述べた相対ステレオ法を適用して、高い精度で位置決めおよび形状計測を行うことができる。

この方法による幼芽の観察状況を第 6図に示す。多数の幼芽が間隔を保って植え付けられた育苗床に、横からセンサーを近づけ、スリット光を投光する。ここで、スリット光は複数のスリットパターンが斜め方向に平行に投影されるように作られており、光切断法による計測時には、その多数のスリット光が幼芽の茎に当たった中で、いちばん画面に近いものを選ぶ、などの手法が用いられる。このスリット光が当たった位置の空間座標は、通常のスリット光切断法を用いて高精度に決定することができる。本実施例の装置による相対ステレオ法の基本的な処理の流れを第 7図に示す。

ここでは、左右のカメラ 1 aおよび 1 bのどちらか一方で、光切断法により、スリツト光が当たった位置の幼芽の茎の空間位置を決定する。ここで、左右のカメラ画像でスリット光が当たった位置が一致するように、左右 2枚の画像を重ね合わせる。すると、カメラからの距離が等しい茎の上の各点では画像のずれは発生しないが、茎が前後に曲がっていると、重ね合わせの結果、第 7図下段のように画像のずれが生じる。ここでは、画像のずれ量を視差 dとして、これをもとに幼芽の形状や空間位置を決定する。この計算方法を第 8図に示す。スリット光が当たった位置で、左右の画像を重ね合わせる。このとき、茎が曲がっていて幼芽が垂直に立っていなければ、スリット光投影位置に比べて茎が前後するため、ステレオ視において画像のずれを生じる。例えば、スリット光の当たった基準位置より茎が後ろにあるとき、右力メラ l aからみた左カメラ l bの対応位置が負のずれ量となる。

ここで、ずれ量（視差） d、カメラの間隔 W、カメラからスリット光の当たった位置までを光切断法で測ったときの距離 H、求める相対距離を Xとすると、以下の式 5であらわされる関係が導ける。

[式 5 ] W/ ( H + X ) = d / X

ここで、 W, Hはあらかじめ決まっている値である。幼芽上のスリツト光の位置を重ね合わせることにより、画像上の各点の三次元位置を、画像のずれ量 dを元に計算できる。

また、上記のようにして Xが求まっていれば、カメラからの距離は ( H + x ) で求められるので、カメラの各画素が見ている位置が、空間中でどの点を通るかをキヤリブレーションであらかじめ求めておけば、 3次元位置を求めることも可能である。この方法の一例を詳しく説明する。まず、第 9図のように精密に作られた校正パターンを利用して、カメラの角画素が空間を見ている位置に伸ばした直線（視線）が空間中を通る位置を求める。第 9図の千鳥パターンの間隔は、非常に精密に描かれている。ここで、ロボットの手先の基準位置を原点とし、そこから Z O， Z 1の位置に校正パターンを置いて、各画素が、校正パターンのどの位置を見ているかを計算し、 P O

( X 0 , Y 0 , Z 0 ) 、 P 1 ( X I , Y 1 , Z 1 ) を決めることができる。ここで、カメラからの距離をもとに Z iを求めれば、 P 0， P 1の座標値を補間することで、空間座標を決定できる。第 6図、第 7図に示すような植物の茎の計測においては、まずスリツト光の当たった基準点の座標点が求まる。これを基準点として、本発明装置を用いることで、第 7図の画像について、茎の方向に沿ったすべての画素位置で、その基準点からの距離の差（相対距離）が求められる。また、距離が求まれば、第 9図から空間座標を求めることも可能である。なお、本例に於いては、撮像光学系の構成を、第 1 0図に示すように相互に平行にしたままで、レンズ 7 0 aまたは 7 0 bの中心と C C D撮像素子 7 1 aまたは 7 1 bの中心をずらし、 C C D撮像素子とレンズ中心を結んだ一対の撮像系の中心線の交点が計測対象物付近に有るようなあおり光学系を用いることによって、 C C D撮像素子上に遠近ひずみのない結像画像を得ることも可能になる。これにより、カメラから近い位置にある対象物体であっても、正確な相対距離画像を得ることが出来る。実施例 3

第 1 1図は、ガラス容器内のバイォ苗の幼芽をハンドリングロポットで把持する実施例である。

本実施例の構成を持つ相対距離計測装置は、第 1 1図に示すようなガラス容器 8 0内のバイオ苗などのハンドリングにも用いることが出来る。すなわち、本計測が、光の当たった点からの相対計測であるため、例え容器の中やガラスなどの透明な媒介物を通した計測であっても、ロボットハンドと操作対象物の両方とも媒介物を通してみるのであれば、計測誤差は大きくない。したがって、ロボットハンドが、現在位置を基準に相対的に操作されれば、透明な容器内の操作対象を把持する、などの動作が可能である。この様に、計測が相対的であることのメリットは大きレ、。産業上の利用可能性

本発明を用いることによって、三次元空間における対象物の凹凸の形状を、簡便かつ高精度に計測することができる。

すなわち、本発明の目的である以下の 1 ) ないし 3 ) の特徴を有する相対距離計測方法及びその装置を提供することが可能となる。

3 ) 対象物の全体の 3次元位置情報が計測できること。 ' そして、本発明を利用することにより、無人の月着陸船が着陸する際に、着陸予定位置に岩石などの障害物があつたとしても、該障害物が着陸の妨げとならない範囲内であることを着陸前に確認することが可能となる。

また、ロボット作業によって植物の幼芽を扱うような場合において、作業位置を決定するために、必要な三次元的な形状を計測することが可能となる。しかも、相対的な距離計測であるため、ガラスなどの透明な媒介物が被計測物との間にあったとしても正確な距離計測が可能である。

Claims

請求の範囲

1 . 複数の撮像手段から計測対象の画像を取得する第 1のステップと、該撮像手段から計測対象上の基準点までの距離を計測する第 2のステツプと、

前記第 1のステップで取得した撮像手段から得られた複数の画像を重ね合わせ、当該画像のずれ量を算出する第 3のステップと、

前記第 2のステップで計測した撮像手段から計測対象上の基準点までの距離と前記第 3のステップで算出したずれ量から、前記撮像手段から計測対象までの距離を算出する第 4のステップと、

を有することを特徴とする相対距離計測方法。

2 . 前記第 4のステップは、計測対象上の基準点から計測対象までの高さ hを、撮像手段から計測対象上の基準点までの高さ Hと、画像のずれ量 dと、撮像手段間の距離 Wから、下記式 6で算出することを特徴とする請求項 1に記載の相対距離計測方法。

[式 6 ] h = H d / (W+ d )

3 . 前記第 2のステップは、電波高度計を用いた計測であることを特徴とする請求項 1または 2に記載の相対距離計測方法。

4 . 前記第 2のステップは、スリット光またはスポット光による投光装置と、複数台の撮像手段のいずれかを組み合わせて、光の当った点までの距離を計測する光切断法を用いた計測であることを特徴とする請求項 1ないし 3のいずれかに記載の相対距離計測方法。。

5 . 複数の撮像手段と、

該撮像手段から計測対象上の基準点までの距離を計測する手段と、前記撮像手段が撮像した画像と、前記撮像手段から得られた複数の画像を重ね合わせ、当該画像のずれ量を算出し、前記計測した撮像手段から計測対象上の基準点までの距離と前記算出したずれ量から、前記撮像手段と前記計測対象の距離を算出する演算手段と、

を有することを特徴とする相対距離計測装置。

6 . 前記演算手段は、計測対象上の基準点から計測対象までの高さ h を、撮像手段から計測対象上の基準点までの高さ Hと、画像のずれ量 d と、撮像手段間の距離 Wから、下記式 7で算出することを特徴とする請求項 5に記載の相対距離計測装置。

[式 7 ] h = H d / (W + d )

7 . 前記撮像手段から計測対象上の基準点までの距離を計測する手段は、電波高度計であることを特徴とする請求項 5または 6に記載の相対距離計測装置。

8 . 前記撮像手段から計測対象上の基準点までの距離を計測する手段は、スリット光またはスポット光による投光装置と、複数台の撮像手段のいずれかを組み合わせて、光の当った点までの距離を計測する光切断法であることを特徴とする請求項 5ないし 7のいずれかに記載の相対距離計測装置。

9 . 前記撮影手段はあおり光学系を含むことを特徴とする請求項 5ないし 8のいずれかに記載の相対距離計測装置。