JP6407663B2 - 作業支援画像生成装置、及びそれを備えた作業機械の操縦システム - Google Patents

Description

本発明は、作業機械を操縦して積込作業を行う際に、操作者に対して積込作業を支援するための画像を提供する作業支援画像生成装置、及びそれを備えた作業機械の操縦システムに関する。

油圧ショベルやホイールローダなどに代表される作業機械は、通常、操作者が搭乗し、各種レバーやハンドルなどを操作することによって所望の作業を実現する。ただし、これらの作業機械が、例えば崖の崩壊のおそれのある場所などで用いられる場合、無人の作業機械を遠隔地に設置された操縦設備から操作者が操縦するという、遠隔操縦システムが用いられることがある。

作業機械の遠隔操縦システムでは、作業機械に取付けられたカメラによって撮影された映像を、遠隔地の操縦設備へ有線又は無線通信によって伝送し、操縦設備内のモニタにその映像が映し出される。操作者は、モニタ上の映像を見ながら、操縦設備内の操作レバーなどの入力装置を操り、入力装置によって指示される操作信号を作業機械へ伝送する。こうして、遠隔操縦による運搬車両への積込作業が行われる。

また、カメラが撮像した画像から擬似的な三次元画像を生成してモニタに表示する遠隔操縦システムの技術が特許文献１により公知である。この特許文献１には、「遠隔操縦される作業機の作業部には多眼カメラが設置され、多眼カメラは作業対象である被写体を所定の視差をもって２つの白黒画像を撮像する。２つの撮像画像は、距離画像生成部により所定の視差をもとに距離画像を生成し、各画素毎、距離に応じた色を割り当てる。画像合成部は、１つの白黒画像の各画素に対応する画素に割り当てられた色を着色することにより、白黒画像と距離画像とを重ね合わせ、擬似的な三次元画像である合成画像を生成し、遠隔操縦装置側に伝送する。遠隔操縦装置では、この伝送された合成画像を画像モニタに表示出力し、遠隔操作者の遠隔操縦を支援する。」ことが記載されている（要約参照）。

特開平１１−２１３１５４号公報

作業機械で掘削した土砂、鉱石等の掘削物をダンプトラック等の運搬車両に積込む作業を遠隔操縦にて行う場合、作業機械が運搬車両に衝突しないように慎重な操縦が要求される。ところが、特許文献１では、掘削対象である被写体の擬似的な三次元画像を生成することはできるが、作業機械と運搬車両との相対的な位置関係を考慮した画像を生成することはできない。

そのため、カメラを搭載した車を現場に配置し、そのカメラで作業機械と運搬車両の側方映像を取得し、その取得した映像データを遠隔地にあるモニタに映し出すことにより、操作者に遠隔操縦の支援を行う必要がある。

即ち、特許文献１では、専用のカメラ搭載車を現場に配置しない限り、作業機械と運搬車両との相対位置に関する情報（相対位置情報）を提供することができず、遠隔操縦する操作者に対して支援が十分ではないという課題がある。

本発明は、上記した実状に鑑みてなされたものであり、その目的は、専用のカメラ搭載車を現場に配置することなく、操作者の作業を支援し、かつ作業機械と運搬車両との相対位置情報を含む支援画像を生成することのできる作業支援画像生成装置、及びそれを備えた作業機械の操縦システムを提供することにある。

上記目的を達成するために、本発明は、作業機械を操縦して運搬車両に積込作業を行う操作者に対して、前記積込作業を支援するための支援画像を提供する作業支援画像生成装置であって、前記作業機械の前記積込作業における複数の作業機械画像データ、及び前記運搬車両の少なくとも１つの運搬車両画像データを予め記憶する画像データ記憶部と、前記作業機械の作業部の姿勢情報、及び、前記作業機械に設けられた撮像装置で前記運搬車両を撮像した撮像データまたは前記運搬車両に設けられた撮像装置で前記作業機械を撮像した撮像データに基づいて演算された前記作業機械と前記運搬車両との相対位置情報、を受け付ける入力部と、前記入力部が受け付けた前記姿勢情報に基づいて前記複数の作業機械画像データの中から１つの作業機械画像データを抽出すると共に、その作業機械画像データと１つの前記運搬車両画像データとを前記入力部が受け付けた前記相対位置情報に従って配置して前記支援画像を生成する支援画像生成部と、前記支援画像生成部にて生成された前記支援画像を表示するモニタと、を備えることを特徴としている。

本発明によれば、専用のカメラ搭載車を現場に配置することなく、操作者の作業を支援し、かつ作業機械と運搬車両との相対位置情報を含む支援画像を生成することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施形態に係る作業支援画像生成装置を用いた遠隔操縦システムの全体構成図である。 図１に示す遠隔操縦システムの構成を示すブロック図である。 図２に示す画像データ記憶部の詳細を示す図である。 本発明の実施形態に係る作業支援画像生成装置にて生成される支援画像（仮想側面画像）の具体例を示す図である。 本発明の実施形態に係る作業支援画像生成装置にて生成される支援画像（仮想三次元画像）の具体例を示す図である。 本発明の実施形態に係る作業支援画像生成装置にて生成される支援画像（仮想上面画像）の具体例を示す図である。

以下、図面を参照しながら本発明の実施の形態を説明する。図１は本発明の実施形態に係る作業支援画像生成装置が適用される作業機械の遠隔操縦システムの全体構成図であり、図２は図１に示す作業機械の遠隔操縦システムの構成を示すブロック図、図３は図２に示す画像データ記憶部の詳細図、図４〜６は本発明の実施形態に係る作業支援画像生成装置にて生成される支援画像の具体例を示す図である。

図１に示すように、本実施形態に係る作業機械の遠隔操縦システムは、主に遠隔操縦の対象である油圧ショベル（作業機械）１と、遠隔地に設けられ操作者が実際に操縦するために必要な各部品を備える遠隔操縦設備３とを構成要素として持つ。また、図１には油圧ショベル１の掘削物を積み込むためのトラック（運搬車両）４を図示している。

油圧ショベル１は、一般的な油圧ショベルと同様に、上部旋回体１１と、クローラを含む下部走行体１２と、掘削などの作業を行うフロント部（作業部）５を構成するブーム１３、アーム１４、バケット１５、ブーム１３を駆動するブームシリンダ１６、アーム１４を駆動するアームシリンダ１７、及びバケット１５を駆動するバケットシリンダ１８と、を備えて構成されている。

上部旋回体１１は下部走行体１２に回転可能に支持されており、図示されていない旋回モータによって、上部旋回体１１は下部走行体１２に対して相対的に回転駆動される。ブーム１３の一端は上部旋回体１１に回転可能に支持されており、ブームシリンダ１６の伸縮に応じてブーム１３が上部旋回体１１に対して相対的に回転駆動される。アーム１４の一端はブーム１３へ回転可能に支持されており、アームシリンダ１７の伸縮に応じてアーム１４がブーム１３に対して相対的に回転駆動される。バケット１５はアーム１４へ回転可能に支持されており、バケットシリンダ１８の伸縮に応じてバケット１５がアーム１４に対して相対的に回転駆動される。また、下部走行体１２は、図示されていない走行モータによって駆動する。

このような構成である油圧ショベル１は、旋回モータやブームシリンダ１６、アームシリンダ１７、バケットシリンダ１８を適切な位置に駆動することにより、バケット１５を任意の位置、姿勢に制御し、所望の作業を行うことができる。旋回モータや各シリンダ１６，１７，１８は車体コントロールユニット２６によって制御されており、車体コントロールユニット２６に各部の操作を指示するレバー信号を与えることにより、旋回モータや各シリンダ１６，１７，１８を動かすことができる（図２参照）。

また、図１及び図２に示すように、本実施形態における油圧ショベル１は、これらの構成以外に、上部旋回体１１に配設され機体から見える映像を取得するカメラ（撮像装置）２０、上部旋回体１１に対するブーム１３の角度を計測するブーム角度センサ２１、ブーム１３に対するアーム１４の角度を計測するアーム角度センサ２２、アーム１４に対するバケット１５の角度を計測するバケット角度センサ２３、これらのセンサ信号を取得、処理する車体側遠隔コントロールユニット（Ｃ／Ｕ）２５、無線通信アンテナ２４を備えている。

なお、ブーム１３、アーム１４、バケット１５のそれぞれの角度の計測は、角度センサではなくフロント部５の各シリンダ１６，１７，１８の伸縮を計測し、各シリンダ１６，１７，１８の伸び量から幾何学的に角度を算出するものであってもよい。また、カメラ２０は単眼カメラである。

車体側遠隔コントロールユニット２５は、カメラ２０で撮像された映像データ（撮像データ）に基づいて油圧ショベル１とトラック４との相対位置を演算する相対位置演算部４６と、各角度センサ２１，２２，２３にて検出されたセンサデータ及び相対位置演算部４６にて演算された相対位置の演算結果を外部に出力する出力部４５と、を備える。

相対位置演算部４６は、カメラ２０からの映像データに基づきトラック４がカメラ２０の撮像範囲内にあるか否かを判断し、撮像範囲内にある場合には、油圧ショベル１に対するトラック４の相対位置を演算する。そして、出力部４５は、この相対位置の演算結果に関する情報（相対位置情報）を、無線通信アンテナ２４を介して遠隔操縦設備３へ送信する。また、出力部４５は、フロント部５の姿勢（ブーム１３、アーム１４、バケット１５のそれぞれの角度）に関する情報（姿勢情報）、即ち、各角度センサ２１，２２，２３からのセンサデータを同様に遠隔操縦設備３へ送信する。

なお、本実施形態では油圧ショベル１と遠隔操縦設備３との間を、無線通信を用いて情報のやり取りを行う構成としているが、両者の距離が近ければ有線通信を用いてもよい。その場合、伝送可能な情報量が増えるため、より時間遅れの少ない映像や、より高解像度の映像などの送受信が可能となる。

一方、遠隔操縦設備３は、図１に示すように、操作者が着座する座席３１、旋回モータや各シリンダ１６，１７，１８の動きを入力するフロント操作レバー３２、走行モータの動きを入力する走行操作レバー３３、モニタ３４、コントロールボックス３５、無線通信アンテナ３７を備えている。

コントロールボックス３５内には、無線通信アンテナ３７を介して車体側遠隔コントロールユニット２５との情報通信、操作レバー３２，３３の情報取得、タッチ画面を有するモニタ３４への映像情報の出力を行う操縦側遠隔コントロールユニット（Ｃ／Ｕ）３６が設けられている。

操縦側遠隔コントロールユニット３６は、油圧ショベル１の積込作業における複数の画像データ（作業機械画像データ）及びトラック４の画像データ（運搬車両画像データ）が予め記憶された画像データ記憶部４０と、車体側遠隔コントロールユニット２５から送られてくる油圧ショベル１とトラック４との相対位置に関する演算結果及び各角度センサ２１，２２，２３のセンサデータを受け付ける入力部４１と、操作者に提供する仮想画像（支援画像Ｓ１〜Ｓ３を生成する支援画像生成部４２と、モニタ３４の表示制御を行う表示制御部４３と、を備えている。なお、操縦側遠隔コントロールユニット３６と操作レバー３２，３３やモニタ３４とは配線によって接続されている。

画像データ記憶部４０には、積込開始から積込終了までの一連の積込作業における油圧ショベル１の多数の側面画像データ、三次元画像データ（斜視画像データ）、上面画像データが記憶されている。より詳細には、図３に示すように、ブーム角度センサ２１、アーム角度センサ２２、バケット角度センサ２３の各データ（Ａ１〜Ａｎ、Ｂ１〜Ｂｎ、Ｃ１〜Ｃｎ）に関連付けられて油圧ショベル１の画像データがＮｏ．１〜Ｎｏ．ｎまでデータテーブルに記憶されている。さらに、図示しないが、画像データ記憶部４０には、トラック４の側面画像データ、三次元画像データ（斜視画像データ）、上面画像データも予め記憶されている。

モニタ３４は、カメラ２０によって得られた映像を映し出す遠隔モニタ３４ａ、操縦側遠隔コントロールユニット３６によって生成された仮想画像Ｓ１〜Ｓ３を映し出す仮想モニタ３４ｂを備えている。遠隔モニタ３４ａには、カメラ２０からの映像がリアルタイムで表示される。また、仮想モニタ３４ｂには、詳しくは後述する仮想画像Ｓ１〜Ｓ３が表示され、操作者はタッチ画面５０をタッチ操作することで仮想画像Ｓ１〜Ｓ３の表示を切り替えることができる構成となっている。なお、操縦側遠隔コントロールユニット３６及びモニタ３４は、本発明に係る作業支援画像生成装置に相当する。

遠隔操縦設備３は、無線通信アンテナ３７を介して操縦側遠隔コントロールユニット３６に、油圧ショベル１から伝送される映像、フロント部５のブーム１３、アーム１４、バケット１５のそれぞれの角度、油圧ショベル１とトラック４との相対位置に関する情報を取りこむことができる。また、操縦側遠隔コントロールユニット３６は、映像をモニタ３４へ出力すると同時に、フロント操作レバー３２、走行操作レバー３３の操作量信号を取得して、無線通信アンテナ３７を介して車体側遠隔コントロールユニット２５へ送信する。

車体側遠隔コントロールユニット２５は、無線通信アンテナ２４を介して操縦側遠隔コントロールユニット３６から送られてきた各操作レバーの操作量信号を、車体コントロールユニット２６へ出力し、車体コントロールユニット２６は得られた操作量信号をもとに旋回モータや各シリンダ１６，１７，１８を適切に制御する。

このような構成により、操作者は遠隔操縦設備３内の座席３１に着座し、モニタ３４に映し出される映像を見ながら、フロント操作レバー３２及び走行操作レバー３３を操作することで、油圧ショベル１を操縦することが可能となっている。

次に、仮想画像Ｓ１〜Ｓ３の生成処理について説明する。まず、車体側遠隔コントロールユニット２５は、油圧ショベル１の角度センサ２１，２２，２３からのデータを用いて油圧ショベル１のフロント部５の姿勢を計測する。次に、車体側遠隔コントロールユニット２５の相対位置演算部４６は、カメラ２０の情報をもとに油圧ショベル１とトラック４との相対位置を演算する。

単眼カメラであるカメラ２０によって油圧ショベル１とトラック４との相対位置を演算する方法としては、例えば、予めトラック４の三次元形状モデルを車体側遠隔コントロールユニット２５に持たせておき、カメラ２０から取得された画像からトラック４の範囲をエッジなどの画像特徴量をもとに切り出し、切り出されたトラック４の画像と三次元形状とが重なるよう、三次元モデルの位置姿勢を収束計算させる方法を用いることができる。

カメラ２０の取り付け位置と角度を予め知っておくことで、上記の収束計算で得られたカメラ座標系での三次元モデルの位置座標を、油圧ショベル１のある基準点に設けた油圧ショベル座標系に変換することができる。三次元モデルがトラック４そのものであるから、三次元モデルの油圧ショベル座標系での位置が、トラック４に対する油圧ショベル１の相対位置となる。このようにして、相対位置演算部４６は、油圧ショベル１とトラック４との相対位置を演算する。

ここで、作業現場に種類の異なる複数のトラック４が存在する場合、これら複数のトラック４のそれぞれと油圧ショベル１との相対位置を演算するために、全てのトラック４の種類についての三次元形状の情報を予め用意しておく必要がある。そして、相対位置演算部４６は、トラック４の種類を判別し、その判別したトラック４に対応する三次元形状を用いて油圧ショベル１とトラック４との相対位置を演算しなければならない。

この場合に、トラック４の種類を判別する方法としては、例えば、トラック４の色情報で判断したり、トラック４と油圧ショベル１とが近接した場合に無線通信を行い、トラック４の種別を油圧ショベル１へ知らせたり、作業現場全体の全てのトラック４の位置を、ＧＰＳなどを用いてサーバで一元管理し、サーバから油圧ショベル１へトラック４の種別を知らせるなど、様々な方法により対応すれば良い。

こうして得られた油圧ショベル１とトラック４との相対位置（相対位置情報）、及び油圧ショベル１のフロント部５の各部（即ち、ブーム１３、アーム１４、及びバケット１５）のそれぞれの角度データ（姿勢情報）は出力部４５から操縦側遠隔コントロールユニット３６に送られる。操縦側遠隔コントロールユニット３６では、入力部４１がこれらの情報を受け付ける。

そして、支援画像生成部４２が画像データ記憶部４０に予め記憶されている油圧ショベル１の複数の画像データＮｏ．１〜Ｎｏ．ｎ（ｎは正数）の中から、各角度センサ２１，２２，２３からの姿勢情報に対応するまたは最も近い画像データを選択する。例えば、ブーム角度センサ２１の値がＡ１、アーム角度センサ２２の値がＢ１、バケット角度センサ２３の値がＣ１の場合、これらの値に対応する油圧ショベル１の画像データＮｏ．１を選択する（図３参照）。

支援画像生成部４２は、例えば図４〜図６に示すように、油圧ショベル１の画像データとトラック４の画像データとの相対位置が、カメラ２０から得られた相対位置に従うようにして両画像データを配置した仮想画像Ｓ１〜Ｓ３を生成する。生成された仮想画像Ｓ１〜Ｓ３は、表示制御部４３によって仮想モニタ３４ｂに表示される。勿論、仮想側面画像Ｓ１には油圧ショベル１及びトラック４のそれぞれの側面画像が、仮想三次元画像Ｓ２には両者のそれぞれの三次元画像が、仮想上面画像Ｓ３には両者のそれぞれの上面画像が画面上に配置されるように、支援画像生成部４２は各仮想画像Ｓ１〜Ｓ３を生成する。

ここで、支援画像生成部は、入力部４１が受け付けた新たな情報に基づいて所定の周期（例えば、０．１秒毎）で新たな仮想画像Ｓ１〜Ｓ３を生成する。よって、常時、最新の仮想画像Ｓ１〜Ｓ３が仮想モニタ３４ｂに表示されるようになっている。なお、仮想画像Ｓ１〜Ｓ３の更新表示の制御は、表示制御部４３により行われる。

次に、操作者の積込作業を支援するための仮想画像Ｓ１〜Ｓ３の詳細について図を参照しながら説明する。本実施形態では、操縦側遠隔コントロールユニット３６により、側面、三次元、上面の３種類の仮想画像が生成可能である。図４は仮想モニタ３４ｂに表示される仮想側面画像Ｓ１の詳細を示す図、図５は仮想モニタ３４ｂに表示される仮想三次元画像Ｓ２の詳細を示す図、図６は仮想モニタ３４ｂに表示される仮想上面画像Ｓ３の詳細を示す図である。

図４に示すように、仮想モニタ３４ｂには、油圧ショベル１の側面画像１ａとトラック４の側面画像４ａとによる仮想側面画像（支援画像）Ｓ１が表示される。油圧ショベル１の側面画像１ａは、得られたフロント部５の各部１３，１４，１５の角度データに基づいて選択された画像データであるため、実際のフロント部５の姿勢と仮想モニタ３４ｂに表示されるフロント部５の画像とは殆ど同じものとなる。

このような側面画像１ａ，４ａにより、専用のカメラ搭載車を用いずとも作業現場全体の側方視点の映像に近い情報量のものを操作者へ提示することが可能となる。

なお、フロント部５の画像は、ブーム１３、アーム１４、バケット１５のそれぞれの単体側面画像を、得られたフロント部５の各部１３，１４，１５の角度データをもとに正しいフロント部５の姿勢となるよう調整した側面画像を生成するようにしても良い。

さらに、油圧ショベル１とトラック４との相対位置に関する数値情報として、バケット１５の爪先とトラック４のベッセル底面との垂直距離３８ａ、油圧ショベル１からバケット１５の爪先までの水平距離３８ｂ、油圧ショベル１とトラック４との垂直距離３８ｃ、油圧ショベル１とトラック４の水平距離３８ｄに関する情報が、側面画像１ａ，４ａに重ねて表示される。上述したように、側面画像１ａ，４ａはリアルタイムで更新されていくため、フロント部５の姿勢が変化すると、その変化に伴ってフロント部５の仮想側面の画像が変化し、各距離情報３８ａ〜ｄの数値も変化する。

操作者は、仮想モニタ３４ｂに表示される側面画像１ａ，４ａと各距離情報３８ａ〜ｄを見ながら掘削物をトラック４に積込む作業を遠隔操縦にて行う。このとき、油圧ショベル１とトラック４との各距離が側面視で正確に分かるから、油圧ショベル１のバケット１５がトラック４に衝突するか否かの確認が容易となる。即ち、操作者は、仮想モニタ３４ｂを見ただけで、積込作業に必要な情報を正確かつ迅速に確認できる。よって、油圧ショベル１がトラック４と衝突するのを回避して、安全かつ効率良く積込作業を行うことができる。

仮想側面画像Ｓ１より仮想三次元画像Ｓ２の方が好ましい場合には、操作者がタッチ画面５０を操作することにより、図５に示すように、油圧ショベル１の三次元画像１ｂとトラック４の三次元画像４ｂとによる仮想三次元画像（支援画像）Ｓ２が仮想モニタ３４ｂに表示される。さらに、油圧ショベル１とトラック４との相対位置に関する数値情報として、バケット１５の爪先とトラック４のベッセル底面との垂直距離３８ａ、油圧ショベル１からバケット１５の爪先までの水平距離３８ｂ、バケット１５の爪先の軌跡３８ｅに関する情報が、三次元画像１ｂ，４ｂに重ねて表示される。

また、仮想三次元画像Ｓ２より仮想上面画像Ｓ３の方が好ましい場合には、操作者がさらにタッチ画面５０を操作することにより、図６に示すように、油圧ショベル１の上面画像１ｃとトラック４の上面画像４ｃとによる仮想上面画像（支援画像）Ｓ３が仮想モニタ３４ｂに表示される。さらに、油圧ショベル１とトラック４との相対位置に関する数値情報として、油圧ショベル１の旋回角度３８ｆ、バケット１５の爪先とトラック４のベッセル中央までの角度３８ｇ、油圧ショベル１とトラック４の角度３８ｈに関する情報が、上面画像１ｃ，４ｃに重ねて表示される。

以上説明したように、本実施形態によれば、専用のカメラ搭載車を用いることなく、油圧ショベル１とトラック４との相対関係が分かる仮想画像Ｓ１〜Ｓ３を生成して操作者に提供することができる。そのため、低コストで安全かつ効率良く積込作業を行うことができる。

なお、上述した実施形態は本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の要旨を逸脱することなしに、他の様々な態様で本発明を実施することができる。例えば、本発明は、油圧ショベル以外の作業機械であるホイールローダ等を遠隔操縦する場合にも適用することができる。

また、遠隔操縦設備３のモニタ３４に仮想画像Ｓ１〜Ｓ３を表示する実施形態を説明したが、本発明を、例えば操作者が運転室（キャブ）内に搭乗してフロント部５を操作する有人の油圧ショベル等の有人作業機械に適用して、運転室内にある表示モニタに上記した仮想画像を表示することもできる。この場合であっても、操作者は運転室内において仮想画像を参考にしながら、安全かつ効率良く積込作業を行うことができる。

また、本実施形態では、油圧ショベル１に取り付けたカメラ２０で撮影した映像データをもとに相対位置を演算しているが、本発明では油圧ショベル１とトラック４との相対位置が分かれば良いので、単眼カメラ１２０をトラック４に取り付けても良い（図１参照）。この場合、カメラ１２０で撮影した映像データを操縦側遠隔コントロールユニット３６に無線通信回線を介して送信すれば良い。ただし、油圧ショベル１のカメラ２０は遠隔操縦するためにトラック４を映さなければならないため、当該カメラ２０は必要となる。

なお、カメラ２０，１２０は単眼カメラではなくステレオカメラなどの複眼カメラでもよく、ステレオカメラを用いればトラック４の三次元形状情報を持たずとも視差によって距離を取得することができ、距離情報から相対位置を用意に演算可能である。

また、カメラ２０に加えてレーザ距離計などの非接触距離センサを油圧ショベル１に配設することにより、ステレオカメラよりも精度のよい距離情報を取得することが可能である。作業現場全体の作業機械や運搬車両の位置を、ＧＰＳなどを用いて一元管理しているような現場では、作業機械や運搬車両の絶対位置を把握できるため、これらの位置情報をもとに仮想画像を生成することも可能である。

また、本実施形態では、油圧ショベル１の三次元画像データを予め記憶し、操作者の好みに応じて仮想側面画像Ｓ１、仮想三次元画像Ｓ２、仮想上面画像Ｓ３の３種類の仮想画像を生成するようにしたが、二次元の仮想画像で十分な場合には、油圧ショベル１の二次元データのみを予め記憶しておけば、データ容量の低減、制御処理の負担軽減となる。

また、本実施形態では、車体側遠隔コントロールユニット２５が油圧ショベル１に対するトラック４の相対位置を演算し、この演算結果に関する情報を、無線通信アンテナ２４を介して遠隔操縦設備３へ送信する構成としたが、この構成に代えて、車体側遠隔コントロールユニット２５は、単に映像データを操縦側遠隔コントロールユニット３６に送信し、操縦側遠隔コントロールユニット３６内で油圧ショベル１に対するトラック４の相対位置を演算する構成としても良い。

また、本実施形態では、カメラ座標系での三次元モデルの位置座標を油圧ショベル１の油圧ショベル座標系に変換して相対位置を演算する例について説明したが、相対位置の算出は上記の例に限定されない。例えば、トラック４と油圧ショベル１との距離ｄｘが既知の状態で、積込作業時に油圧ショベル１からトラック４を見た状態（例えばトラック４を後ろから見た状態）で撮像した画像から、トラック４が撮像された範囲（トラック４の背面が撮像された画像領域）を抽出する。

そして、距離ｄｘで撮像されたトラック４の画像領域内に含まれる画像サイズを示すピクセル数Ｐｘ（画像領域全体のピクセル数でもよいし、画像領域の対角線上のピクセル数でもよい。）をキャリブレーションデータとして記憶しておく。そして、積込作業時に撮像した画像からトラック４の画像領域を抽出し、その抽出した画像領域の画像サイズがＰ１である場合、距離ｄｘ×（Ｐ１／Ｐｘ）を演算することにより、撮像時におけるトラック４と油圧ショベル１との間の距離、即ち相対位置を算出することができる。

１ 油圧ショベル（作業機械）
１ａ 油圧ショベルの側面画像
１ｂ 油圧ショベルの三次元画像
１ｃ 油圧ショベルの上面画像
４ トラック（運搬車両）
４ａ トラックの側面画像
４ｂ トラックの三次元画像
４ｃ トラックの上面画像
５ フロント部（作業部）
２０ カメラ（撮像装置）
２１ ブーム角度センサ（センサ）
２２ アーム角度センサ（センサ）
２３ バケット角度センサ（センサ）
２５ 車体側遠隔コントロールユニット
３４ モニタ（作業支援画像生成装置）
３６ 操縦側遠隔コントロールユニット（作業支援画像生成装置）
３８ａ〜ｈ 数値情報
４０ 画像データ記憶部
４１ 入力部
４２ 支援画像生成部
４３ 表示制御部
４５ 出力部
４６ 相対位置演算部
１２０ カメラ（撮像装置）
Ｓ１ 仮想側面画像（支援画像）
Ｓ２ 仮想三次元画像（支援画像）
Ｓ３ 仮想上面画像（支援画像）

Claims (7)

1. 作業機械を操縦して運搬車両に積込作業を行う操作者に対して、前記積込作業を支援するための支援画像を提供する作業支援画像生成装置であって、
   前記作業機械の前記積込作業における複数の作業機械画像データ、及び前記運搬車両の少なくとも１つの運搬車両画像データを予め記憶する画像データ記憶部と、
   前記作業機械の作業部の姿勢情報、及び、前記作業機械に設けられた撮像装置で前記運搬車両を撮像した撮像データまたは前記運搬車両に設けられた撮像装置で前記作業機械を撮像した撮像データに基づいて演算された前記作業機械と前記運搬車両との相対位置情報、を受け付ける入力部と、
   前記入力部が受け付けた前記姿勢情報に基づいて前記複数の作業機械画像データの中から１つの作業機械画像データを抽出すると共に、その作業機械画像データと１つの前記運搬車両画像データとを前記入力部が受け付けた前記相対位置情報に従って配置して前記支援画像を生成する支援画像生成部と、
   前記支援画像生成部にて生成された前記支援画像を表示するモニタと、
   を備えることを特徴とする作業支援画像生成装置。
2. 請求項１において、
   前記支援画像生成部は、前記支援画像として、前記作業機械と前記運搬車両との相対位置を前記作業機械と前記運搬車両のそれぞれの側面画像を用いて表した仮想側面画像、前記相対位置を前記作業機械と前記運搬車両のそれぞれの三次元画像を用いて表した仮想三次元画像、及び前記相対位置を前記作業機械と前記運搬車両のそれぞれの上面画像を用いて表した仮想上面画像、のうちの少なくとも１つを生成することを特徴とする作業支援画像生成装置。
3. 請求項１において、
   前記モニタの表示を制御する表示制御部をさらに備え、
   前記表示制御部は、前記入力部に入力された前記相対位置情報としての数値情報を前記支援画像上に重畳して表示するよう制御することを特徴とする作業支援画像生成装置。
4. 請求項１において、
   前記モニタの表示を制御する表示制御部をさらに備え、
   前記支援画像生成部は、前記入力部に入力された新たな前記姿勢情報及び前記相対位置情報に基づいて新たな前記支援画像を周期的に生成し、
   前記表示制御部は、前記モニタに表示されている前記支援画像を前記新たな支援画像に更新する
   ことを特徴とする作業支援画像生成装置。
5. 請求項１において、
   前記入力部は、前記作業機械と前記運搬車両の両方に設けられた衛星測位システムで測位された前記作業機械と前記運搬車両の位置情報に基づいて演算された前記相対位置情報をさらに受け付ける
   ことを特徴とする作業支援画像生成装置。
6. 運搬車両に掘削物を積込む作業機械と、前記作業機械を操縦する操作者に対して積込作業を支援するための支援画像を提供する作業支援画像生成装置と、を備えた作業機械の操縦システムであって、
   前記作業機械は、
   前記積込作業を行うフロント部と、
   前記フロント部の姿勢を検出するセンサと、
   前記運搬車両を撮像する撮像装置と、
   前記撮像装置で撮像された撮像データに基づいて前記作業機械と前記運搬車両との相対位置を演算する相対位置演算部と、
   前記センサにて検出された前記フロント部の姿勢情報、及び前記相対位置演算部にて演算された前記作業機械と前記運搬車両との相対位置情報を外部に出力する出力部と、を備え、
   前記作業支援画像生成装置は、
   前記作業機械の前記積込作業における複数の作業機械画像データ、及び前記運搬車両の少なくとも１つの運搬車両画像データを予め記憶する画像データ記憶部と、
   前記出力部から出力された、前記姿勢情報及び前記相対位置情報を受け付ける入力部と、
   前記姿勢情報に基づいて前記複数の作業機械画像データの中から１つの作業機械画像データを抽出すると共に、その作業機械画像データと１つの前記運搬車両画像データとを前記相対位置情報に従って配置して前記支援画像を生成する支援画像生成部と、
   前記支援画像生成部にて生成された前記支援画像を表示するモニタと、
   を備えることを特徴とする作業機械の操縦システム。
7. 請求項６において、
   前記入力部は、前記作業機械と前記運搬車両の両方に設けられた衛星測位システムで測位された前記作業機械と前記運搬車両の位置情報に基づいて演算された前記相対位置情報をさらに受け付ける
   ことを特徴とする作業機械の操縦システム。