JP6994427B2 - 建設機械の姿勢認識システム - Google Patents

Description

本発明は建設機械の姿勢認識システムに係り、自律走行を目的とした建設機械に搭載されたステレオカメラと絶対座標を取得可能なマーカーとにより、自己の走行時の姿勢認識を行えるようにした建設機械の姿勢認識システムに関する。

建設機械の自律走行を可能にするためには状況の認知、その状況に対する判断、走行のための操作を一貫して行えるシステムが必要である。たとえば、状況の認知は各種カメラ、レーザスキャン等のセンサによって取得された画像情報等を介して行われる。また付与された情報に対する判断に対しては、膨大な付与情報をもとにした機械学習機能を備えた人工知能（ＡＩ）の利用が本格化している。そして、建設機械においては、油圧、電動による各種アクチュエータ等を用いた駆動要素、制動要素に加え、掘削、揚重等の建設機械固有の機能操縦要素等の操作が求められる。

ところで、この操作のために人工知能が命令する動作結果には、建設機械の実機に起因する挙動（たとえば部材や可動部のガタや遊び）や動作環境に影響される偶発的な挙動（たとえばスリップ、跳ね）等による影響が加味される。このため、得られた動作結果が命令を正しく反映しているのか、対象となる建設機械の姿勢等を判断、検証するための技術が必要となってくる。

一般的な判断、検証手法として、ＧＮＳＳ（全地球衛星測位システム）測量によって得られる建設機械の絶対座標により動作結果を検証して判断する方法や、得られたレーダ情報をリアルタイムで集めて建設機械の周辺マップを作り、そのマップ情報と走行情報とを照合して現在位置を推定する手法（ＳＬＡＭ）を用いて判断する方法等がある。

具体的な適用例として、作業車両の自律走行状態や、作業状態を併走した車両で把握できるようにした併走作業システムが開示されている（特許文献１）。また、建設機械の作業性、精度向上を目的として、認知にステレオカメラを用い、取得された画像の判断、制御を行うようにした技術も開示されている（特許文献２）。

再公表特許ＷＯ２０１５／１１９２６４号公報 特開２０１３－３６２４３号公報

ところで、建設機械側でＧＮＳＳ情報を得て検証する方法やＳＬＡＭによる判断手法では、現在位置の特定を行って走行時の予定到達位置とのずれを把握できるが、対象となる建設機械の走行時、作業時の姿勢を把握していない。

また、特許文献１に開示された自律走行作業車両では、自律走行姿勢、各種の農作業姿勢を逐次把握を行うために、作業車両に多種多数のセンサが搭載されており、各センサで取得した多大なデータ処理等を行う必要があるため、ハードウェアが複雑化し演算処理負荷も大きい。

さらに、特許文献２に開示された建設機械では、車体（機体）に搭載された２台のＧＰＳ受信機で取得された車体の絶対座標等をもとに複数のアクチュエータを動作させてステレオカメラの撮像状況の調整を行うようになっている。この建設機械においてもステレオカメラの動作調整が複雑化している。

そこで、本発明の目的は上述した従来の技術が有する問題点を解消し、簡易な判断基準をもとに概略的に建設機械の走行姿勢、作業姿勢を認識できるようにした建設機械の姿勢認識システムを提供することにある。

上記目的を達成するために、本発明は絶対座標情報を取得可能な被撮像体と、建設機械に搭載され、該建設機械の走行あるいは作業領域内に並べて設置された前記被撮像体を撮像し、得られた視差情報から前記被撮像体間の相対距離を取得可能なステレオカメラと、前記建設機械の走行時に、前記被撮像体の絶対座標情報と前記被撮像体間の相対距離とを組み合わせて得られる位置空間情報を逐次算出する制御部とを備え、前記制御部で得られた位置空間情報から前記建設機械の走行姿勢あるいは作業時姿勢を把握、認識することを特徴とする。

前記被撮像体は、全地球衛星測位システムの受信機を内蔵し、該全地球衛星測位システムの衛星位置情報をもとに前記絶対座標情報を取得することが好ましい。

前記被撮像体は、前記絶対座標情報を前記建設機械側に送信可能な送信部を備えることが好ましい。

前記制御部は、前記建設機械の初期状態の位置空間情報と走行時の位置空間情報とを対比演算して前記建設機械の姿勢情報を取得することが好ましい。

前記被撮像体は、外形がロードコーン形状からなることが好ましい。

建設機械地盤掘削状況とマーカーの設置状態を示した概略説明図。 本発明の建設機械の姿勢認識システムに用いられるマーカーの一例を示した斜視図。 建設機械の姿勢認識システムの主構成を模式的に示したシステム構成ブロック図。 本発明の建設機械の姿勢認識システムの概略の動作状況を示したフローチャート。 建設機械から見た２個のマーカーの設置状況とステレオカメラの視差情報とを模式的に示した説明図（初期状態）。 建設機械から見た２個のマーカーの設置状況とステレオカメラの視差情報とを模式的に示した説明図（走行時）。

以下、本発明の建設機械の姿勢認識システムの一連の認識作業工程について、添付図面を参照して説明する。

図１は、建設機械１の一例としての油圧ショベルによる地盤掘削状況と、被撮像体としてのマーカー１０の設置状態を示した概略説明図である。油圧ショベルの操作室の前方屋根にはステレオカメラが可動マウント（図示せず）を介して搭載されている。このステレオカメラは公知製品であるが、カメラに使用されるレンズとしてはステレオカメラ１５の視差情報が確実に得られるとともに、油圧ショベルの走行範囲、アーム可動範囲を撮像範囲とできる仕様のものを用いることが好ましい。また、可動マウントとして複数の電動モータ等のアクチュエータを搭載し、ステレオカメラ１５の視準方向を３軸で制御するようにしてもよい。本発明では図１に示したように、撮像範囲内の地表面に２個のマーカー１０Ａ、１０Ｂが設置され、以後の建設機械の走行時、作業時の姿勢情報の認識作業が行われる。

図２は、本発明で用いられるマーカー１０の一実施形態を示した概略斜視図である。本実施形態のマーカー１０は、公知の合成樹脂製ロードコーン２の内部にＧＮＳＳ（全地球衛星測位システム）受信機１１と、ＧＮＳＳ受信機１１で取得された絶対座標情報を建設機械側に送信するための位置情報送信部としての送信機１２とを内蔵した位置情報取得装置である。ＧＮＳＳ測量方式としては、各種の方式を採用できるが、建設機械の走行におけるマーカー１０の最新位置情報をリアルタイムに更新、把握する必要があるため、ＲＴＫ（リアルタイム キネマティック）方式等が好適である。位置情報の送信方式としては、無線ＬＡＮ、無線ＰＡＮ、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの公知の近距離無線方式を使用することができる。また、通信距離を確保するために所定のアンテナ（図示せず）を必要とする場合にはコーン２の上部空間内に収容できる。なお、マーカー１０は既製のロードコーン２内に機器を収容した例を示したが、マーカー１０としては、ステレオカメラ１５で撮像する際に、合焦ポイントが特定しやすい形状で、その内部に機器を安全に収容できる容積を有すれば、建設現場で移動可能に用いられ、設置時に安定性を有する各種の仮設物、たとえばバリケードのウエイトやＡ型看板等も利用することができる。

図３は、本発明の建設機械の姿勢認識システムの主構成を模式的に示したシステム構成ブロック図である。上述したように、マーカー１０内にはＧＮＳＳ受信機１１と位置情報送信部としての送信機１２が備えられ、送信機１２からの無線通信により、建設機械側の制御部２０にマーカー１０の絶対座標がリアルタイムで送信される。

一方、建設機械側には建設機械の走行方向となる前方領域を撮像するステレオカメラ１５が備えられている。さらに制御部２０には、走行時の姿勢認識のために各種のデータ処理、演算を行う演算部２１と、演算部２１に建設機械の走行時姿勢やアタッチメントを用いた掘削作業等の作業時姿勢の各種設定を入力したり、得られた姿勢情報を図示しないディスプレイに表示するための入出力Ｉ／Ｆ２２、姿勢データや各種システム運用のためのプログラムを保存する記憶部２３、ステレオカメラ１５で求められた２個のマーカー間の基線情報とＧＮＳＳ受信機から得られたマーカー１０の絶対座標とをマッチングして得られた姿勢情報を、走行時にリアルタイムに更新し保持する維持、更新部２４と、マーカー１０の送信機１２からの無線送信されるマーカー１０の絶対座標を受信する位置情報受信部としての受信機２５とが備えられている。

ステレオカメラ１５は、上述したように公知製品で、視差を生じさせる所定の基線長だけ離れた、２台の同仕様の単眼カメラ１６、１６を備える。そして撮像画像から得られる視差情報をもとにステレオマッチング（照合）処理を行い、カメラと撮像対象との距離を精度よく認識することができる。

ここで、本発明のシステムの運用について図４～図６を参照して説明する。図４は、建設機械の走行開始から走行停止までの、システムの概略の動作状況を示したフローチャートである。図５，図６は走行時の建設機械１のステレオカメラ１５から撮像された２個のマーカー１０を建設機械１側から見た状況を模式的に示し、そのときの建設機械１の姿勢把握状態を示した模式説明図である。まず、姿勢把握を行う建設機械１の走行に支障のない前方位置に２個のマーカー１０を設置し、ステレオカメラ１５のキャリブレーションを兼ねてマーカー間基線Ｌの初期位置情報を取得する。同時にマーカー１０内のＧＮＳＳ受信機１１によって絶対座標も取得される。これによりマーカー間基線Ｌ₀として初期の空間位置情報が求まる。この空間位置情報としての基線間距離、基線の空間座標を基本として、走行時に変化するマーカー間基線Ｌの空間位置情報をリアルタイムで認識することにより、建設機械１の走行時の位置、姿勢を概略把握することができる。

すなわち、図４のフローチャートに示したように、初期状態で求めたマーカー間基線Ｌ₀（ステップ１０：Ｓ１０）に対して、撮像されるマーカー間基線Ｌの空間位置情報は走行する建設機械の姿勢の変化に応じて逐次変化するので、それらの情報の変化を確認し、それらの情報をもとに建設機械の姿勢情報を取得して更新する（Ｓ２０、Ｓ３０）。さらに必要に応じて、姿勢情報が走行、作業の許容リミット内に納まるように、姿勢情報をもとにした建設機械の姿勢制御を行う（Ｓ４０）。この制御は自律的に行ってもよいし、操縦者が得られた姿勢情報をもとに行ってもよい。本システムによれば、ステレオカメラ１５からの相対位置情報とマーカー１０からの絶対位置情報とを組み合わせることで、建設機械を走行させる際、リアルタイムで建設機械の姿勢情報を簡易に認識、把握することができる。

以下、図５，図６を例に姿勢認識動作について簡単に説明する。図５における建設機械１の初期の位置、姿勢情報を取得するために取得された、２個のマーカー１０Ａ、１０Ｂとを結んだ仮想の基準線としてのマーカー間基線Ｌ₀に対して、建設機械１が走行して移動した状況では建設機械１の位置、姿勢が変化し、２個のマーカー１０Ａ、１０Ｂが図６に示したような位置関係に視認される。この２個のマーカー１０Ａ、１０Ｂの空間位置関係をステレオカメラ１５を用いて撮像して把握するとともに、ＧＮＳＳ受信機１１から２個のマーカー１０Ａ、１０Ｂのそれぞれの絶対座標情報を取得する。それによって図６の走行状態におけるマーカー間基線Ｌの空間位置情報が得られる。このときのマーカー間基線Ｌは初期のマーカー間基線Ｌ₀（図５）とねじれの関係にある。この２本のマーカー間基線Ｌ₀、Ｌのねじれの位置関係および２個のマーカー１０Ａ、１０Ｂの絶対座標の変化を逐次確認し、初期状態（図５）における建設機械１の前方走行方向を基準とした車両座標系（Ｘ，Ｙ，Ｚ）に対する走行時（たとえば図６）における建設機械１の車両座標系（Ｘ’，Ｙ’，Ｚ’）のピッチ、ロール、ヨーの３軸の変位量を求めることで建設機械１の運転時姿勢を逐次把握することができる。なお、走行時の建設機械１の各種運転状況データも２個のマーカー１０Ａ、１０ＢのいずれかのマーカーのＧＮＳＳ受信データをもとに合わせて連続取得することができる。

建設機械のステアリング等の操舵機構の操舵量（角）をエンコーダ等で連続計測することにより、走行時に建設機械に付与される操縦情報とその動作結果とのずれ、ラグ（遅れ）等を概略把握することもできる。これにより操縦する個々の建設機械に固有の操縦性能、特性を得て、自律走行時の校正データとすることも好ましい。

なお、本発明は上述した実施形態に限定されるものではなく、各請求項に示した範囲内での種々の変更が可能である。すなわち、請求項に示した範囲内で適宜変更した技術的手段を組み合わせて得られる実施形態も、本発明の技術的範囲に含まれる。

１ 建設機械
１０ マーカー
１１ ＧＮＳＳ受信機
１２ 送信機
１５ ステレオカメラ
２０ 制御部
Ｌ₀ マーカー間基線（初期状態）
Ｌ マーカー間基線（走行時）

Claims (5)

1. 絶対座標情報を取得可能な被撮像体と、
   建設機械に搭載され、該建設機械の走行あるいは作業領域内に並べて設置された前記被撮像体を撮像し、得られた視差情報から前記被撮像体間の相対距離を取得可能なステレオカメラと、
   前記建設機械の走行時に、前記被撮像体の絶対座標情報と前記被撮像体間の相対距離とを組み合わせて得られる位置空間情報を逐次算出する制御部とを備え、
   前記制御部で得られた位置空間情報から前記建設機械の走行姿勢あるいは作業時姿勢を把握、認識することを特徴とする建設機械の姿勢認識システム。
2. 前記被撮像体は、全地球衛星測位システムの受信機を内蔵し、該全地球衛星測位システムの衛星位置情報をもとに前記絶対座標情報を取得する請求項１に記載の建設機械の姿勢認識システム。
3. 前記被撮像体は、前記絶対座標情報を前記建設機械側に送信可能な送信部を備えた請求項１に記載の建設機械の姿勢認識システム。
4. 前記制御部は、前記建設機械の初期状態の位置空間情報と走行時の位置空間情報とを対比演算して前記建設機械の姿勢情報を取得する請求項１に記載の建設機械の姿勢認識システム。
5. 前記被撮像体は、外形がロードコーン形状からなる請求項１に記載の建設機械の姿勢認識システム。

Images