JP6232497B2 - 外界認識装置 - Google Patents

Description

本発明は、油圧ショベルやクレーンなどの産業機械に搭載可能な外界認識装置に関する。

油圧ショベルやクレーンなどの産業機械は、遠隔操作や自動で作業を行う機械が導入されつつある。このような産業機械には、３次元計測センサとしてステレオカメラやレーザスキャナが搭載されている。これらの３次元計測センサは、運転席の正面方向を撮影する場合が多く、産業機械の全周囲の障害物を監視することができない。

一方、産業機械の周囲の障害物を監視するために、複数のカメラによる周囲監視カメラが導入されつつある。この周囲監視カメラは、単眼カメラを複数組み合わせて使用するため、検知した障害物の距離の算出を行う場合は、制限が伴う。一般に単眼カメラで距離を計測するためには被写体の大きさが既知であることや、または撮影される地面の距離情報が既知であること等の制限がある。これらの制限をなくすための方法として、単眼カメラの撮影範囲の物体や地面の距離を計測するセンサを設ける方法がある。〔特許文献１〕で公開されている距離計測方法は、周囲監視カメラの他に距離を計測するために、TOF（Time of Flight）方式などの距離画像センサを設ける。

特開平２０１３−２０４４１１号公報

〔特許文献１〕によれば、周囲監視カメラの他に、周囲監視カメラの撮影方向の距離を計測するセンサを設ける必要があり、コスト増になる課題がある。

以上の問題を解決するために、車両前方の距離を計測するステレオカメラ210と、車両の周囲を撮影するための周囲監視カメラ230と、前記ステレオカメラ210を旋回させる手段15によって前記ステレオカメラ210で前記周囲監視カメラの撮影範囲を計測し、前記計測結果から３次元情報を生成する３次元計測部215と、前記３次元情報の中から周囲監視カメラの撮影方向と一致した３次元情報を生成する距離補正情報生成部220と、周囲監視カメラが検知した障害物の位置を計測する距離測定部218により構成される。

上記課題を達成するために、本発明の外界認識装置では、車両の前方の距離を計測する距離計測手段と、前記車両の周囲を撮影するための周囲監視カメラと、
前記距離計測手段で前記周囲監視カメラの撮影範囲を計測して３次元情報を生成する３次元計測部と、前記３次元情報の中から周囲監視カメラの撮影方向と一致した距離補正情報を生成する距離補正情報生成部と、前記距離補正情報を用いて前記周囲監視カメラが検知した障害物の位置を計測する距離測定部を備えたことを特徴とするものである。

更に、本発明は外界認識装置において、前記距離計測手段はステレオカメラ装置であることを特徴とするものである。

更に、本発明は外界認識装置において、前記３次元計測部は、前記周囲監視カメラの撮影範囲を前記距離計測手段で計測する時に前記車両の上部回転体で前記距離計測手段を旋回させることを特徴とするものである。

更に、本発明は外界認識装置において、前記ステレオカメラに回転機構を設け、前記３次元計測部は、前記周囲監視カメラの撮影範囲を前記ステレオカメラで撮影する時に、前記回転機構で前記ステレオカメラを旋回させることを特徴とするものである。

更に、本発明は外界認識装置において、前記距離計測手段はレーザスキャナ装置であることを特徴とするものである。

本発明によれば、車両前方の物体を認識するステレオカメラで周囲監視カメラの距離情報を生成することが可能になるため、周囲監視カメラ用の距離センサが不要になり、コストの低減を図ることができる。

図１は本発明に係る自動掘削を行う油圧ショベルとその油圧ショベルに搭載された外界認識装置の構成を示した実施例。 図２はステレオカメラと周囲監視カメラの取付位置を示す。 図３は全周囲の３次元情報を作成する動作フローを示す。 図４は3次元情報作成処理フローを示す。 図５は視差データ生成の原理を示す。 図６は距離補正情報についての説明図。 図７は周囲監視カメラで検知した障害物の位置を算出する処理フロー。 図８は周囲監視カメラの撮影画像から、障害害物のメッシュ位置を選択する実施例。 図９は距離補正情報と、地面の関係を示す。 図１０はステレオカメラに回転機構を設けた例を示す。 図１１はレーザスキャナを設けた例を示す。 図１２はレーザスキャナを設けた場合の全周囲の３次元情報を作成する動作フローを示す。

以下に、本発明の実施例について、図面を参照しながら説明する。

図１は、本発明を実施するための産業機械として油圧ショベル10を示したものである。油圧ショベル10は、管制センタ70からの遠隔操作、もしくは自動掘削機能を有する。自動掘削機能は、自動的に掘削物を認識して、その掘削物を掘削し、決められた場所に放土する。このため油圧ショベル10は、自身の周囲を認識するための外界認識装置20を搭載しており、この外界認識装置20が認識した掘削物を掘削する。前記車両10は、掘削するためのバケット13、バケット13を上下に移動させるためのアーム12とブーム11を持つ。またバケットを左右に移動させるために上部旋回体15を旋回させることができる。更に、上部旋回体角度センサ14を持ち、このセンサにより上部旋回体15の旋回角度を知ることができる。

外界認識装置20は、ステレオカメラ装置210、周囲監視カメラ230a、230b、230cと接続され、油圧ショベル10の全周囲を監視できる構成となっている。

図２に、ステレオカメラ210と周囲監視カメラ230a、230b、230cの取付位置を示す。ステレオカメラ210は、バケット13方向を撮影し、バケット13や掘削物321の位置を計測する。周囲監視カメラ230aは車体の右側、周囲監視カメラ230bは車体後方、周囲監視カメラ230cは車体の左側をそれぞれ監視し、ステレオカメラ装置210が撮影できない油圧ショベル10の全周囲を監視できる。周囲監視カメラのそれぞれは単眼カメラで構成されるため、一般的には障害物320などの立体物を検知した場合、撮影された画像上の場所により、その立体物と油圧ショベル10の距離を推定する。この距離推定を行う為には、画像上の位置と油圧ショベル10との距離関係を事前に計測しておくことが必要になる。この位置関係の計測は、油圧ショベル10と立体物が存在する高さが変更される毎に行う必要がある。つまり、油圧ショベル10が掘削物321の上に配置される場合、その配置が変わるごとに位置関係を計測することになる。

図１に示す実施例では、この位置関係の計測をステレオカメラ装置210で行うことで、周囲監視カメラ用の距離計測手段を必要とせず、しかも容易に実施可能とするものである。図１の外界認識装置20は、ステレオカメラ装置210で外界を計測する機能と、周囲監視カメラ230a、230b、230cで外界を計測する機能を持つ。

ステレオカメラ装置210は、左画像撮影部211と右画像撮影部212の２つのカメラで撮影した画像の視差を利用して、被写体の距離を計測することができる。ステレオカメラ装置210で撮影された画像は左画像メモリ213と右画像メモリ214に一時的に記憶され、3次元計測手部215に送られる。3次元計測部215では、左右画像から視差画像を作成し視差画像メモリ220に記憶するとともに、被写体の3次元座標を求め、3次元情報メモリ221に格納する。この3次元座標は距離補正情報生成部220で周囲監視カメラの距離補正情報に変換される。この距離補正情報とは、周囲監視カメラ230a、230b、230cの撮影画像をそれぞれメッシュ状に分割し、メッシュごとに油圧ショベル10との位置関係を記録したテーブルである。

周囲監視カメラ230a、230b、230cの画像は、障害物検知部217に送られ、障害物320などを検知する。検知する方法は、テンプレートマッチング法などの一般的な単眼カメラの検知方法を用いる。次に距離測定部218は、前記距離補正情報を用いて、検知した物体と油圧ショベル10との距離や位置関係を算出する。この算出結果は、アーム12、バケット13、上部回旋回体15の動作を制御する制御部50や、通信部60を通して無線で、管制センタ70に通知される。

図３は、全周囲の３次元情報を作成する時の動作フローを示したものである。最初に上部旋回体15を旋回させ、油圧ショベル10の全周囲をステレオカメラ210で撮影する（ステップ110、以下S110と称す）。撮影された画像の１画面分の3次元情報を作成し、その時のステレオカメラの旋回角度と共に３次元情報メモリ221に保存する。１画面分の３次元情報は、例えば図６に示すメッシュ状に画像を区分して生成しておく。この時の上部旋回体15の旋回動作は、無人の油圧ショベルであれば制御部50で自動的に旋回させることとし、有人の場合は人手で旋回させても良い（S120）。全周囲の計測が終了するまで、ステレオカメラ210が一定の角度で回転するごとこの動作を行う（S130 ）。

図４は、3次元情報作成処理フローを示したものである。まず、ステレオカメラ画像入力処理として、ステレオカメラ装置210の右撮影部212と左撮影部211により画像を撮影する。撮影されたこれらの画像は、右画像メモリ214と左画像メモリ213に一時記憶される（S310）。これらの画像データは3次元計測部215において、まず視差データを生成する（S320）。図５に、視差データ生成の原理を示す。実際の光景300を右撮影部212で撮影した右画像340と、左撮影部211で撮影した左画像341がある時、実際の光景300の中のある地点320は、右画像340では地点342の位置に撮影され、左画像341では地点343の位置に撮影される。この結果、342と343には視差dが生じる。この視差はステレオカメラ装置210に近いものは大きい値となり、遠いものは小さい値となる。このように求めた視差を画像全体で求め、その結果を視差画像メモリ220に記憶する。この視差を用いて、三角測量の原理で距離を計測することが出来る（S330）。視差dから距離Zは次の式で求められる。

Z = (f × B) / d
但し、fは右及び左撮影部の焦点距離、Bは右撮影部212と左撮影部211の距離である。また、上記びZを求めた地点の3次元上のX,Yの位置は次の式で求められる（S340）。

X = (Z × xr) / f、 Y=(Z × yr) / f
但し、xrは、右画像340上でのx座標、yrは、右画像340上でのy座標である。このような処理を、油圧ショベル10の全周囲を計測するまで処理を行う（S350）。以上のように、ステレオカメラ装置210で撮影した画像によって、被写体の3次元空間上の位置（X,Y,Z）を求めることができる。

図６は、距離補正情報2811について説明したものである。距離補正情報生成部220は、３次元情報メモリ221の3次元情報を、１つの周囲監視カメラ（例えば230a）の撮影画像2810の撮影範囲をメッシュ状に区分し、この各メッシュに対応した３次元情報をテーブルとして記憶する。このテーブルが距離補正情報2811である。これにより、例えば、メッシュ位置のAの２の部分は、（x3,y3,z3）という座標と知ることができる。この座標は油圧ショベル10を原点した座標系である。メッシュ間に位置する座標は、隣接するメッシュの座標を直線補間して算出する。

図７は、周囲監視カメラで検知した障害物の位置を算出する処理フローである。周囲監視カメラで油圧ショベル10の周囲を撮影し（S410）、その画像の中に障害物を検知したかどうかを障害物検知部217で判定する（S420）。障害物を検知する方法は、テンプレートマッチング法などの一般的な方法を用いることができる。もし障害物を検知したら、周囲監視カメラの撮影角度に対応する3次元情報を３次元メモリ221から読み出す（S430）。この読みだした３次元情報は、距離補正情報生成部220で距離補正情報2811に変換される（S440）。次に、検出された障害物が、撮影画像上のどの位置に対応するのかを判定し、その画像上の位置に対応する距離補正情報2811のデータを距離測定部218で読み出す（S450）。このようにして読みだした障害物の位置、及び距離をデータ出力部219で制御部50などに出力する（S460）。

図８は、周囲監視カメラの撮影画像2810から、障害害物320のメッシュ位置を選択する例を示したものである。この図のように障害物320は複数のメッシュにまたがって撮影される。この場合、距離補正情報2811のデータを読み出す位置は、係るメッシュの最も下のデータを読み出すこととする。図９に示すように、距離補正情報2811は、平坦な地面321を想定した距離情報となっている。周囲監視カメラは、地面321の中で油圧ショベル10に近い部分が画像2810の下の方、遠い方が画像2810の上の方になるように撮影する。カメラ中心400は油圧ショベル10の位置であるので、障害物320の撮影画像の下の部分が最も油圧ショベル10に近い位置である。

以上の実施例によれば、油圧ショベル10が作業を行う前にステレオカメラ210で周囲監視カメラ230a、230b、230cの距離補正情報2811を作成するため、周囲監視カメラ用の距離測定手段を必要としないため、低コストで障害物の距離や位置を推定可能である。

図１０は、ステレオカメラ210に回転機構240を設けた例を示す。図３の距離補正情報を作成する処理フローでは、S110でステレオカメラ210を旋回させる必要がある。そのために図３では、上部旋回体15の旋回動作を利用している。しかし、作業状況によっては、上部旋回体15を旋回できない可能性もある。そのようなケースに対応するため、ステレオカメラ210に回転機構240を設けることも可能である。この回転機構240により、上部旋回体15を旋回させなくてもステレオカメラ210を旋回させることが可能となる。

次に、図１１にステレオカメラ装置210の代わりにレーザスキャナ510を設けた実施例を示す。特に言及しない限りは前述の実施例と同じ符号は同様の構成、効果を備えるものである。レーザスキャナ510は、レーザ光線を上下方向にスキャンするため、上部旋回体15を旋回することによって、油圧ショベル10の周囲の３次元情報を作成することができる。この3次元情報は、油圧ショベル10を原点とした座標になるため、前記ステレオカメラ装置210を用いた場合と同じ3次元情報を得ることができる。

図１２は、レーザスキャナ510を用いた場合の全周囲の3次元情報を作成するための処理フローである。上部旋回体15の旋回に合わせて、レーザスキャナ510で油圧ショベル10の周囲を計測する（S510）。次に、計測された３次元情報を３次元情報メモリ221に上部旋回体角度センサ14の角度データとい共に保存する（S520）。これらに一連の処理を油圧ショベル10の全周囲を計測するまで処理を行う（S530）。この後の周囲監視カメラが検知した障害物の位置や距離を計測する方法は、前述のステレオカメラ装置210の場合と同じ処理になる。

Claims (6)

1. 車両の前方の距離を計測する距離計測手段と、
   前記車両の周囲を撮影するための周囲監視カメラと、
   前記距離計測手段で前記周囲監視カメラの撮影範囲を計測して３次元情報を生成する３次元計測部と、
   前記３次元情報の中から前記周囲監視カメラの撮影角度に対応する距離補正情報を生成する距離補正情報生成部と、
   前記距離補正情報を用いて前記周囲監視カメラが検知した障害物の位置を計測する距離測定部と、を備え、
   前記距離計測手段は、前記距離計測手段の旋回により、最初に前記車両の周囲の距離を計測することを特徴とする外界認識装置。
2. 請求項１の外界認識装置において、
   前記距離計測手段はステレオカメラであることを特徴とする外界認識装置。
3. 請求項１の外界認識装置において、
   前記３次元計測部は、前記周囲監視カメラの撮影範囲を前記距離計測手段で計測する時に前記車両の上部回転体で前記距離計測手段を旋回させることを特徴とする外界認識装置。
4. 請求項２の外界認識装置において、
   前記ステレオカメラに回転機構を設け、
   前記３次元計測部は、前記周囲監視カメラの撮影範囲を前記ステレオカメラで撮影する時に、前記回転機構で前記ステレオカメラを旋回させることを特徴とする外界認識装置。
5. 請求項１の外界認識装置において、
   前記距離計測手段はレーザスキャナ装置であることを特徴とする外界認識装置。
6. 請求項１の外界認識装置において、
   前記距離計測手段は、前記距離計測手段の旋回により、最初に前記車両の全周囲の距離を計測することを特徴とする外界認識装置。

Images