JP4352142B2 - 相対距離計測方法及びその装置 - Google Patents

Description

本発明は、複数台のカメラと距離計測装置を用いて、三次元空間における対象物の凹凸の距離を高精度に測定する技術を提供するものである。

三次元空間における凹凸の距離を測定するセンサーとしては、例えば下記非特許文献１に記述されているロボット視覚センサーが知られている。
該ロボット視覚センサーによれば、ロボットの手先に付けたスリット光投光系と１台のカメラによって、電子部品などの三次元位置を計測し、組み立て作業を実施している。

具体的には、スリット光投光系から得られた３次元位置情報と２次元画像情報を統合し、電子部品の外形が平面であることを利用して、該電子部品の３次元情報を得ている。一方、ＴＶ画面などに映った対象全体の３次元形状を求める方法としては、下記非特許文献２に見られるようなステレオ視が一般に用いられている。

この方法は、左右２台のカメラのそれぞれの画像中から、同一場所を見ている対応位置を求め、そして２台のカメラの取り付け間隔、対応位置の方向などから、三角測量の原理で対象までの距離を求める方法であるが、短いカメラ取り付け間隔から長い距離測定を精密に行うためには、間隔や角度値が非常に正確に求められていなければならない（非特許文献２）。
精密工学会誌５２巻６号ｐｐ．１０１４−１０１８（１９８６）掲載論文「立体形状の高速認識方式」 井口、佐藤著「三次元画像計測」［昭晃堂、１９９０年、ｐｐ．１４−１６

無人の月着陸船では、その着陸位置として平坦な場所を選ぶ必要がある。そのため、着陸予定位置に岩石などの障害物があったとしても、該障害物が着陸の妨げとならない範囲内であることを着陸前に確認するために、該障害物の大きさや高さを計測する必要がある。

また、ロボット作業によって植物の幼芽を扱うような場合においては、芽の形状が工業製品の様に一定でないため、作業位置を決定する際に、三次元的な形状を計測する必要がある。

しかしながら、上記非特許文献１に掲載された「立体形状の高速認識方式」におけるロボット視覚センサーは、スリット光投光型のセンサーを利用しているため、スリット光の当たった位置でしか３次元情報が獲得できないという欠点がある。従って、工業用部品のように形状が既知の場合には、このような測定が可能であるが、月面表面上の障害物や、バイオ生産における植物の幼芽など、あらかじめ形状を規定しておくことができない場合には、一部の３次元情報をもとに全体の３次元形状や位置を決定することはできない。

また、上記非特許文献２に記載されているステレオ視の技術によって、３次元位置を正確に求めようとする場合には、カメラのレンズ特性やカメラ間の関係が正確に規定されている必要があり、月着陸船のように発射時に多大な圧力や振動を受けたり、航行中に大きな温度変化にさらされるような場合には適さない。また、ロボット作業時の対象までの距離測定を行うなどの一般の計測においても、ステレオ視は、カメラ間の間隔や角度値が非常に精密に求められなければならない方法であり、高精度計測には適さない。

そこで、本発明は、このような欠点を解決するために、以下の１）ないし３）特徴を有する相対距離計測方法及びその装置を提供することを目的とする。
１）計測に必要なカメラパラメータが出来るだけ少なく、簡便に得られること。
２）カメラパラメータが多少変動しても、計測精度に大きな影響を与えないこと。
３）対象物の全体の３次元位置情報が計測できること。

上記の課題を解決するために、本発明では、相対ステレオ法と呼ぶ新規な手法を導入した。この方法は、基本的には複数のカメラを使用したステレオ視を距離計測の手法とするが、ステレオ視以外の方法で得られる画面内の基準点までの距離情報を利用し、ステレオ画像処理を行うことにより、基準点からの相対高さを計測することを特徴とする。

相対ステレオ法による距離計測手法の流れは第１図に示すとおりである。まず、複数の撮像手段により、計測対象の画像を取得し（STEP1）、次に、計測対象上の基準点までの距離を、電波高度計等を用いて計測する（STEP2）。そして、STEP1で得られた画像は、撮像装置からの距離が異なる点では、画像が重なり合わず画像のずれが生じることを利用して、当該画像のずれ量を算出する（STEP3）。最後に、STEP2で計測した基準点までの距離に、撮像装置間の距離とずれ量から三角測量等で算出した相対距離を加算することで、計測対象までの距離を計測する(STEP4)。

すなわち、請求項１の発明は、複数の撮像手段から計測対象の画像を取得する第１のステップと、該撮像手段から計測対象上の基準点までの距離を計測する第２のステップと、前記第１のステップで取得した撮像手段から得られた複数の画像を重ね合わせ、当該画像のずれ量を算出する第３のステップと、前記第２のステップで計測した撮像手段から計測対象上の基準点までの距離と前記第３のステップで算出したずれ量から、前記撮像手段から計測対象までの距離を算出する第４のステップと、を有することを特徴とする相対距離計測方法である。

請求項２の発明は、請求項１の発明において、前記第４のステップは、計測対象上の基準点から計測対象までの高さｈを、撮像手段から計測対象上の基準点までの高さＨと、画像のずれ量ｄと、撮像手段間の距離Ｗから、下記式１で算出することを特徴とする。
（数１） ｈ＝Ｈｄ／（Ｗ＋ｄ）

請求項３の発明は、請求項１または２の発明において、前記第２のステップは、電波高度計を用いた計測であることを特徴とする。

請求項４の発明は、請求項１ないし３のいずれかに記載の発明において、前記第２のステップは、スリット光またはスポット光による投光装置と、複数台の撮像手段のいずれかを組み合わせて、光の当った点までの距離を計測する光切断法を用いた計測であることを特徴とする。

請求項５の発明は、複数の撮像手段と、該撮像手段から計測対象上の基準点までの距離を計測する手段と、前記撮像手段が撮像した画像と、前記撮像手段から得られた複数の画像を重ね合わせ、当該画像のずれ量を算出し、前記計測した撮像手段から計測対象上の基準点までの距離と前記算出したずれ量から、前記撮像手段と前記計測対象の距離を算出する演算手段と、を有することを特徴とする相対距離計測装置である。

請求項６の発明は、請求項５の発明において、前記演算手段は、計測対象上の基準点から計測対象までの高さｈを、撮像手段から計測対象上の基準点までの高さＨと、画像のずれ量ｄと、撮像手段間の距離Ｗから、下記式２で算出することを特徴とする。
（数２）ｈ＝Ｈｄ／（Ｗ＋ｄ）

請求項７の発明は、請求項５または６に記載の発明において、前記撮像手段から計測対象上の基準点までの距離を計測する手段は、電波高度計であることを特徴とする。

請求項８の発明は、請求項５ないし７のいずれかに記載の発明において、前記撮像手段から計測対象上の基準点までの距離を計測する手段は、スリット光またはスポット光による投光装置と、複数台の撮像手段のいずれかを組み合わせて、光の当った点までの距離を計測する光切断法であることを特徴とする。

請求項９の発明は、請求項５ないし８のいずれかに記載の発明において、前記撮影手段はあおり光学系を含むことを特徴とする。

本発明を用いることによって、三次元空間における対象物の凹凸の形状を、簡便かつ高精度に計測することができる。
すなわち、本発明の目的である以下の１）ないし３）の特徴を有する相対距離計測方法及びその装置を提供することが可能となる。
１）計測に必要なカメラパラメータが出来るだけ少なく、簡便に得られること。
２）カメラパラメータが多少変動しても、計測精度に大きな影響を与えないこと。
１）対象物の全体の３次元位置情報が計測できること。

そして、本発明を利用することにより、無人の月着陸船が着陸する際に、着陸予定位置に岩石などの障害物があったとしても、該障害物が着陸の妨げとならない範囲内であることを着陸前に確認することが可能となる。

また、ロボット作業によって植物の幼芽を扱うような場合において、作業位置を決定するために、必要な三次元的な形状を計測することが可能となる。しかも、相対的な距離計測であるため、ガラスなどの透明な媒介物が被計測物との間にあったとしても正確な距離計測が可能である。

以下に、本発明の好ましい実施の形態について、図を使って説明する。

本発明の原理を図面によって説明する。第２図は、２台のカメラ１ａおよび１ｂが距離Ｗの間隔をおいて平行に取り付けられた構成において、高さｈの対象物を、底面２から高さＨの位置から撮像した場合を示している。この時、右カメラ１ａの画像と左カメラ１ｂの画像について、高さＨを計測した底面２上にあるパターンが丁度重なり合うように２枚の画像の重ね合わせを行うと、高さｈの点については、視差が発生する。（なお、相対ずれ量ｄは、実際に画像を重ね合わせなくとも、計算処理により計算することも可能である。）この視差を底面上で計測したと仮定した場合の見かけ上の距離を相対ずれ量ｄとすると、これらＨ，ｈ，Ｗ，ｄの間には、相似関係から、下記式３，４であらわされる簡単な関係式が成り立つ。
（数３） ｈ／（Ｈ−ｈ）＝ｄ／Ｗ
この式３を変形すると、以下の式４が得られる。
（数４） ｈ＝Ｈｄ／（Ｗ＋ｄ）

Ｗはあらかじめ判明しており、Ｈは別の距離計測手段で求められると仮定すると、ｄは２台のカメラ間の視差に画素あたりのサイズを掛けることで容易に求められるので、高さｈは上記の式４から容易に計算することができる。
ここで、Ｗがたとえ振動などで多少変動したとしても、取り付け間隔に較べてその変動量は非常に小さい。また、視差ｄは、画像中で底面２上にあるパターンを重ね合わせたあとでの相対的な位置ずれ量に画素あたりのサイズを掛けたものであるから、例えカメラの取り付け角度等が変動したとしても、それに伴う画像の全体的な撮像位置の変化は、最終的に基準点を実際のパターンとして重ね合わせてしまうことによって変動分が除去されており、パラメータ変動や振動の影響の入る余地が少ない。

以上のとおり、本発明では、電波高度計など他の方法で距離の分かっている底面に対する対象物の相対的高さを計算する。従って、カメラと基準点の距離が正確に分かっているときに、基準点からの比較的小さい相対距離を求める本発明の方法は、一般のステレオ視のように、視差を角度として求め、直接カメラと物体間の距離を計測する方法に較べて、高精度に位置計測することを可能にする。
また、基本的にはステレオ視であるから、画面内に見える特徴点全ての高さを求めることができる。

すなわち、本発明は、月着陸船などの、打ち上げ時の多大な振動や、宇宙での極端な温度変化による光学系の変動の影響を受けにくい高さ計測方式であり、また、ロボット作業によって植物の幼芽を扱うような場合において、作業位置を決定するために必要な三次元的な形状計測方式であるといえる。

以下、本発明の実施例を図面に基づいて具体的に説明する。ただし、これらの実施例は、本発明の技術思想を具体化するための相対距離継続装置を例示するものであって、本発明は下記のものに限定されない。

第３図は、月面上の障害物の高さを計測するため、月着陸船へ本装置を装着した例である。
月着陸船は、例えば幅４ｍ程度、高さ３ｍ程度の大きさであるが、本装置はその下部に取り付けられる複数台のＴＶカメラ、および電波高度計からなる。この装置は、月着陸船が降下中に、高度100ｍ程度の位置で月面上を撮像し、高さ50cm以上の障害物を検出して、それを避けるように着陸位置を決定するために、物体の高さ計測を行おうとするものである。従って、計測に要求される精度は±数cm程度と、撮像高度100mと比して非常に高いものがある。
この方法として、電波高度計によって得られた撮像高度データをもとに、第２図に示した相対ステレオ法を組み合わせて高さ検出を行う。

第４図は、左右のカメラ１ａおよび１ｂから得られる、月面表面の石などの障害物２０の像を示す。この例では、太陽が右方向から斜めに差しているため、左方向に影が見える。この影は、左側は月面表面にあるが、右側は石の上面に生じている。ここで、電波高度計によって月面表面までの高さが求められるため、影の左側を合わせて左右の画像を重ねると、石の月面表面上の外形は重なり合うが、上面の影の境界にはずれが生じる。
左右の画像を重ね合わせた様子を第４図（ｃ）に示す。本実施例においては、このずれから、上述の原理により高さを決定することができる。

第５図は、バイオ苗の工場生産における幼芽のハンドリングロボットにおける実施例である。
本実施例に係る装置は、バイオ苗の幼芽４０を保持する把持チャック３２と、幼芽の形状と保持位置を決定するスリット光投光器３１およびステレオ視のための２台のカメラ１ａおよび１ｂからなる。ここで、スリット光投光器３１と１台のカメラを用いた光切断法による距離計測によって、カメラパラメータが厳密に決定され、光の当たった位置の３次元座標を高い精度で決定できる。そして、その位置を基準に、第２図において述べた相対ステレオ法を適用して、高い精度で位置決めおよび形状計測を行うことができる。

この方法による幼芽の観察状況を第６図に示す。多数の幼芽が間隔を保って植え付けられた育苗床に、横からセンサーを近づけ、スリット光を投光する。ここで、スリット光は複数のスリットパターンが斜め方向に平行に投影されるように作られており、光切断法による計測時には、その多数のスリット光が幼芽の茎に当たった中で、いちばん画面に近いものを選ぶ、などの手法が用いられる。このスリット光が当たった位置の空間座標は、通常のスリット光切断法を用いて高精度に決定することができる。

本実施例の装置による相対ステレオ法の基本的な処理の流れを第７図に示す。
ここでは、左右のカメラ１ａおよび１ｂのどちらか一方で、光切断法により、スリット光が当たった位置の幼芽の茎の空間位置を決定する。ここで、左右のカメラ画像でスリット光が当たった位置が一致するように、左右２枚の画像を重ね合わせる。すると、カメラからの距離が等しい茎の上の各点では画像のずれは発生しないが、茎が前後に曲がっていると、重ね合わせの結果、第７図下段のように画像のずれが生じる。ここでは、画像のずれ量を視差ｄとして、これをもとに幼芽の形状や空間位置を決定する。

この計算方法を第８図に示す。スリット光が当たった位置で、左右の画像を重ね合わせる。このとき、茎が曲がっていて幼芽が垂直に立っていなければ、スリット光投影位置に比べて茎が前後するため、ステレオ視において画像のずれを生じる。例えば、スリット光の当たった基準位置より茎が後ろにあるとき、右カメラ１ａからみた左カメラ１ｂの対応位置が負のずれ量となる。
ここで、ずれ量（視差）ｄ、カメラの間隔Ｗ、カメラからスリット光の当たった位置までを光切断法で測ったときの距離Ｈ、求める相対距離をｘとすると、以下の式５であらわされる関係が導ける。
（数５） Ｗ／（Ｈ＋ｘ）＝ｄ／ｘ
ここで、Ｗ，Ｈはあらかじめ決まっている値である。幼芽上のスリット光の位置を重ね合わせることにより、画像上の各点の三次元位置を、画像のずれ量ｄを元に計算できる。
また、上記のようにしてｘが求まっていれば、カメラからの距離は（Ｈ＋ｘ）で求められるので、カメラの各画素が見ている位置が、空間中でどの点を通るかをキャリブレーションであらかじめ求めておけば、３次元位置を求めることも可能である。

この方法の一例を詳しく説明する。まず、第９図のように精密に作られた校正パターンを利用して、カメラの角画素が空間を見ている位置に伸ばした直線（視線）が空間中を通る位置を求める。第９図の千鳥パターンの間隔は、非常に精密に描かれている。ここで、ロボットの手先の基準位置を原点とし、そこからＺ０，Ｚ１の位置に校正パターンを置いて、各画素が、校正パターンのどの位置を見ているかを計算し、Ｐ０（Ｘ０，Ｙ０，Ｚ０）、Ｐ１（Ｘ１，Ｙ１，Ｚ１）を決めることができる。ここで、カメラからの距離をもとにＺｉを求めれば、Ｐ０，Ｐ１の座標値を補間することで、空間座標を決定できる。

第６図、第７図に示すような植物の茎の計測においては、まずスリット光の当たった基準点の座標点が求まる。これを基準点として、本発明装置を用いることで、第７図の画像について、茎の方向に沿ったすべての画素位置で、その基準点からの距離の差（相対距離）が求められる。
また、距離が求まれば、第９図から空間座標を求めることも可能である。

なお、本例に於いては、撮像光学系の構成を、第１０図に示すように相互に平行にしたままで、レンズ７０ａまたは７０ｂの中心とＣＣＤ撮像素子７１ａまたは７１ｂの中心をずらし、ＣＣＤ撮像素子とレンズ中心を結んだ一対の撮像系の中心線の交点が計測対象物付近に有るようなあおり光学系を用いることによって、ＣＣＤ撮像素子上に遠近ひずみのない結像画像を得ることも可能になる。これにより、カメラから近い位置にある対象物体であっても、正確な相対距離画像を得ることが出来る。

第１１図は、ガラス容器内のバイオ苗の幼芽をハンドリングロボットで把持する実施例である。
本実施例の構成を持つ相対距離計測装置は、第１１図に示すようなガラス容器８０内のバイオ苗などのハンドリングにも用いることが出来る。すなわち、本計測が、光の当たった点からの相対計測であるため、例え容器の中やガラスなどの透明な媒介物を通した計測であっても、ロボットハンドと操作対象物の両方とも媒介物を通してみるのであれば、計測誤差は大きくない。したがって、ロボットハンドが、現在位置を基準に相対的に操作されれば、透明な容器内の操作対象を把持する、などの動作が可能である。この様に、計測が相対的であることのメリットは大きい。

相対ステレオ法による距離計測手法の流れ図である。 相対ステレオ法による距離計測手法を説明する図面である。 月着陸船の構成例を示す図を示す図面である。 左右のカメラによる月面上の石などの障害物の撮像例を示す図面である。 幼芽ハンドリングロボットの構成例を示す図面である。 相対距離計測装置による苗株形状の計測の様子を示す図面である。 苗株形状の処理方法を示す図面である。 苗株形状の計算方法を示す図面である。 校正パターンを利用して、カメラの角画素が空間を見ている位置を求める状態を示す図面である。 あおり光学系を用いてＣＣＤ撮像素子上に遠近ひずみのない結像画像を得るための構成例を示す図面である。 ガラス容器内のバイオ苗の幼芽をハンドリングロボットで把持する実施例を示す図面である。

符号の説明

1 カメラ
2 底面
10 月着陸船
11 電波高度計
12 脚
20 凸物体（石、突起）
21 影
30 苗株形状計測装置
31 スリット光投光器
32 把持チャック
40 幼芽
41 苗箱
50 スリット光照射部
60 校正パターン
61 底板
70 レンズ
71 ＣＣＤ撮像素子
80 ガラス容器
81 ロボットハンド

Claims (3)

1. ２台の撮像手段から計測対象の画像を取得する第１のステップと、
   該撮像手段から計測対象上の基準点までの距離をスリット光またはスポット光による投光装置と２台の撮像手段のいずれかを組み合わせて、光の当った点までの距離を三角測量法を用いて計測する第２のステップと、
   前記第１のステップで取得した撮像手段から得られた２つの画像を重ね合わせ、撮像された各画像を重ね合わせた際の計測対象の各像のずれ量を計測対象上の基準点を含む水平面上での長さに変換した量を算出する第３のステップと、
   前記第２のステップで計測した撮像手段から計測対象上の基準点までの距離と前記第３のステップで算出した前記量から、前記基準点から計測対象までの距離を算出する第４のステップと、
   を有する前記基準点から計測対象までの距離計測方法であって、
   前記第４のステップが、計測対象上の基準点から計測対象までの距離をｘ、撮像手段から計測対象上の基準点までの距離をＨ、撮像された各画像を重ね合わせた際の計測対象の各像のずれ量を計測対象上の基準点を含む水平面上での長さに変換した量をｄ、撮像手段間の距離をＷとし、下記（１）または（２）の関係式で前記基準点から計測対象までの距離を算出することを特徴とする計測対象上の基準点から計測対象までの距離計測方法。
   
   （１）撮像手段、計測対象、基準点の順に位置する場合：
   
   Ｗ／（Ｈ−ｘ）＝ｄ／ｘ
   
   （２）撮像手段、基準点、計測対象の順に位置する場合：
   
   Ｗ／（Ｈ＋ｘ）＝ｄ／ｘ
2. ２台の撮像手段と、
   該撮像手段から計測対象上の基準点までの距離をスリット光またはスポット光による投光装置と２台の撮像手段のいずれかを組み合わせて、光の当った点までの距離を三角測量法を用い計測する手段と、
   前記撮像手段が撮像した画像と、
   前記撮像手段から得られた各画像を重ね合わせた際の計測対象の各像のずれ量を計測対象上の基準点を含む水平面上での長さに変換した量を算出し、前記計測した撮像手段から計測対象上の基準点までの距離と前記算出した前記量から、前記基準点から計測対象までの距離を算出する演算手段と、
   を有する計測対象上の基準点から計測対象までの距離計測装置であって、
   前記演算手段が、計測対象上の基準点から計測対象までの距離をｘ、撮像手段から計測対象上の基準点までの距離をＨ、撮像された各画像を重ね合わせた際の計測対象の各像のずれ量を計測対象上の基準点を含む水平面上での長さに変換した量をｄ、撮像手段間の距離をＷとし、下記（１）または（２）の関係式で前記基準点から計測対象までの距離を算出することを特徴とする計測対象上の基準点から計測対象までの距離計測装置。
   
   
   （１）撮像手段、計測対象、基準点の順に位置する場合：
   
   Ｗ／（Ｈ−ｘ）＝ｄ／ｘ
   
   （２）撮像手段、基準点、計測対象の順に位置する場合：
   
   Ｗ／（Ｈ＋ｘ）＝ｄ／ｘ
3. 前記撮像手段の受光素子とレンズがずれて配置されていることを特徴とする請求項２に記載の計測対象上の基準点から計測対象までの距離計測装置。