JP7099358B2 - 作業機械用表示システム - Google Patents

Description

本発明は、作業機械の周辺の様子をオペレータに対して視認可能に表示するためのシステムに関する。

遠隔操作によって制御されるロボットを利用した作業時間を短縮するための技術が提案されている（例えば、特許文献１参照）。ロボットにより、遠隔操作端末から発行された第１指令の内容に基づき、次の第２指令が予測される。ロボットにより、第１指令の後に遠隔操作端末から発行された第３指令と第２指令との比較結果に基づき、第２指令（予測指令）に応じた動作部の動作結果を遠隔操作端末に送信するか否かが判定される。このように、次の遠隔指令が送信されてから実行されていたロボットの動作が、当該遠隔指令の待ち受け期間中に行うことができるため、作業全体の時間が短縮される。

特開２０１５－１７４１５５号公報

しかし、ロボット等の作業機械の周辺の様子をオペレータが監視しながら当該ロボットを遠隔操作する状況では、当該監視に必要な遠隔操作端末およびロボットの間の通信が途絶した場合、オペレータの操作に応じた遠隔指令がロボットの周囲の状況に鑑みて不適当な指令になる可能性がある。

そこで、本発明は、作業機械に搭載されるスレーブ制御装置とマスタ制御装置との通信が途絶した場合も、当該作業機械の遠隔にあるユーザに対して、作業機械の周辺の状況を認識させることができるシステムを提供することを目的とする。

本発明は、作業機械を構成する動作機構および前記動作機構の周辺の撮像画像を表わす撮像画像データを取得するための撮像装置と、前記撮像装置による撮影範囲において、前記作業機械から前記動作機構およびその周辺に存在する物体のそれぞれまでの距離を表わす距離画像データを取得するための距離センサと、前記作業機械に搭載され、前記撮像画像データを第１通信方式にしたがって送信する機能と、前記距離画像データを前記第１通信方式とは異なる第２通信方式にしたがって送信する機能と、を有するスレーブ制御装置と、前記撮像画像データを前記第１通信方式にしたがって受信する機能と、前記距離画像データを前記第２通信方式にしたがって受信する機能と、を有するマスタ制御装置と、前記スレーブ制御装置から送信され、前記マスタ制御装置により受信された前記撮像画像データにより表わされる前記作業機械の動作機構およびその周辺の画像を表示するための画像出力装置と、を備えている作業機械用表示システムに関する。

本発明の作業機械用表示システムは、前記マスタ制御装置が、前記距離画像データに基づいて点群画像を生成し、前記第１通信方式にしたがった通信が途絶したか否かを判定し、当該通信が途絶したと判定したことを要件として、前記作業機械の動作機構およびその周辺の画像の代わりに前記点群画像を前記画像出力装置に表示させることを特徴とする。

当該構成の作業機械用表示システムによれば、作業機械に搭載されているスレーブ制御装置とマスタ制御装置との間の第１通信方式にしたがった通信（以下、適宜「第１形態の通信」という。）により、撮像装置により取得された撮像画像データに応じた作業機械の動作機構およびその周辺の画像が画像出力装置に表示される。これにより、ユーザ（または作業機械のオペレータ）は、作業機械の動作機構とその周辺にある物体との相対位置関係など、動作機構およびその周辺の様子を認識することができる。

第１通信が途絶した場合、スレーブ制御装置とマスタ制御装置との間の第２通信方式にしたがった通信（以下、適宜「第２形態の通信」という。）により、作業機械の動作機構およびその周辺の画像に代えて、距離センサにより取得された距離画像データに応じた点群画像が画像出力装置に表示される。第２通信方式は第１通信方式とは異なるため、第１形態の通信の途絶に際しても第２通信方式にしたがった距離画像データの送受信の途絶が回避されうる。距離画像データのデータ量が撮像画像データのデータ量より少ない場合、第２形態の通信の負荷低減により当該通信の途絶が回避されやすい。これにより、画像出力装置に表示される画像の情報量が低減しうるものの、その直前まで画像出力装置に表示されていた作業機械の動作機構とその周辺の画像に時系列的に続いて表示される点群画像により、動作機構およびその周辺の様子を継続的にユーザに認識させることができる。

本発明の作業機械用表示システムにおいて、前記作業機械が、基体を基準とした前記動作機構の姿勢を表わす姿勢データを取得するための姿勢センサを備え、前記スレーブ制御装置が、前記姿勢データを前記第２通信方式にしたがって送信する機能を有し、前記マスタ制御装置が、前記姿勢データを前記第２通信方式にしたがって受信する機能を有し、前記マスタ制御装置が、前記姿勢データおよび前記動作機構の主要諸元に基づき、前記姿勢データに応じた姿勢を有する前記動作機構を模擬的に表わす３次元モデル画像を生成し、前記第１通信方式にしたがった通信が途絶したと判定したことを要件として、前記作業機械の動作機構およびその周辺の画像の代わりに前記点群画像および前記３次元モデル画像を重畳的に前記画像出力装置に表示させることが好ましい。

当該構成の作業機械用表示システムによれば、画像出力装置における３次元モデル画像および点群画像の重畳表示により、当該点群画像を構成する点が、動作機構の特徴点およびその周辺の物体の特徴点のうちいずれを表わしているかが識別容易になり、この分だけ撮像画像データに応じた画像と比較した情報量の低減が抑制される。このため、第１形態の通信の途絶に際して、動作機構およびその周辺の様子をより正確にユーザに認識させることができる。

本発明の作業機械用表示システムにおいて、前記作業機械の動作を表わす動作データを取得するための動作センサを備え、前記マスタ制御装置が、前記動作データにより表わされる前記作業機械の動作状態の相違に応じて、表示形態が異なる前記３次元モデル画像を生成することが好ましい。

当該構成の作業機械用表示システムによれば、画像出力装置において点群画像と重畳表示される３次元モデル画像の表示形態の相違により、動作機構の動作方向、動作速度、周辺物体との接触有無などの動作機構の動作をユーザに認識させることができる。このため、第１形態の通信の途絶に際して、動作機構およびその周辺の様子を、当該動作機構の動作状態の相違も含めてより正確にユーザに認識させることができる。

本発明の作業機械用表示システムにおいて、前記マスタ制御装置が、前記第１通信方式にしたがった通信が途絶したか否かを判定し、当該通信が途絶したと判定したことを要件として、前記作業機械の動作機構およびその周辺の画像の代わりに前記点群画像およびテクスチャ素材を重畳的に前記画像出力装置に表示させることが好ましい。

当該構成の作業機械用表示システムによれば、画像出力装置におけるテクスチャ素材および点群画像の重畳表示により、当該点群画像を構成する点が、動作機構の特徴点およびその周辺の物体の特徴点のうちいずれを表わしているかが識別容易になり、この分だけ撮像画像データに応じた画像と比較した情報量の低減が抑制される。このため、第１形態の通信の途絶に際して、動作機構およびその周辺の様子をより正確にユーザに認識させることができる。

本発明の作業機械用表示システムにおいて、前記マスタ制御装置が、前記撮像装置および前記距離センサのそれぞれの位置および姿勢に応じた、前記撮像装置により取得される撮像画像の座標系および前記距離センサにより取得される距離画像の座標系の間の座標変換演算子にしたがって、前記点群画像の座標系を当該撮像画像の座標系に合わせて前記点群画像を生成することが好ましい。

当該構成の作業機械用表示システムによれば、撮像装置および距離センサが、あたかも実空間において同一の位置および姿勢で配置されているかのように、画像出力装置に表示される撮像画像データに応じた画像および距離画像データに応じた点群画像が切り替えられる。このため、画像出力装置に表示されていた作業機械の動作機構とその周辺の画像に時系列的に続いて表示される点群画像により、動作機構およびその周辺の様子をより容易にユーザに認識させることができる。

本発明の一実施形態としての作業機械用表示システムの構成に関する説明図。 作業機械としてのクローラショベルの側面図。 作業機械としてのクローラショベルの上面図。 キャブの内部空間に関する説明図。 作業機械用表示システムの機能に関する説明図。 撮像画像の表示形態に関する説明図。 点群画像の表示形態に関する説明図。 点群画像および3次元モデル画像の重畳表示形態に関する説明図。

（構成）
図１に示されている本発明の一実施形態としての作業機械用表示システムは、撮像装置１１と、距離センサ１２と、姿勢センサ１３と、動作センサ１４と、スレーブ制御装置１１０と、マスタ制御装置１２０と、出力装置１３０と、を備えている。撮像装置１１、距離センサ１２、姿勢センサ１３、動作センサ１４およびスレーブ制御装置１１０は、作業機械２００の一実施形態としてのクローラショベルに搭載されている。マスタ制御装置１２０および出力装置１３０は、操作装置４００に搭載または連結されている。

作業機械２００は、例えばクローラショベル（建設機械）であり、図２および図３に示されているように、クローラ式の下部走行体２１０と、下部走行体２１０に旋回機構２３０を介して旋回可能に搭載されている上部旋回体２２０と、を備えている。上部旋回体２２０の前方左側部にはキャブ（運転室）２２２が設けられている。上部旋回体２２０の前方中央部には作業アタッチメント２４０が設けられている。

作業アタッチメント２４０は、上部旋回体２２０に起伏可能に装着されているブーム２４１と、ブーム２４１の先端に回動可能に連結されているアーム２４３と、アーム２４３の先端に回動可能に連結されているバケット２４５と、を備えている。作業アタッチメント２４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ２４２、アームシリンダ２４４およびバケットシリンダ２４６が装着されている。

ブームシリンダ２４２は、作動油の供給を受けることにより伸縮してブーム２４１を起伏方向に回動させるように当該ブーム２４１と上部旋回体１４との間に介在する。アームシリンダ２４４は、作動油の供給を受けることにより伸縮してアーム２４３をブーム２４１に対して水平軸回りに回動させるように当該アーム２４３と当該ブーム２４１との間に介在する。バケットシリンダ２４６は、作動油の供給を受けることにより伸縮してバケット２４５をアーム２４３に対して水平軸回りに回動させるように当該バケット２４５と当該アーム２４３との間に介在する。

操作装置４００には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、下部走行体２１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、旋回機構２３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、ブームシリンダ２４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）はアームシリンダ２４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）はバケットシリンダ２４６を動かすために操作される。操作装置４００は、作業機械２００に搭載されている実機側無線通信装置と無線方式で通信するための無線通信装置を備えている。

操作装置４００を構成する各操作レバーは、遠隔操作室においてオペレータが着座するシート４０２の周囲に設けられている。例えば、図４に示されているように、シート４０２の前方に左右のクローラに応じた左右一対の走行レバー４１０が左右横並びに配置されていてもよい。シート４０２は、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態でもよい。

遠隔操作室に設けられている操作レバーに対応する実機側操作レバーと、遠隔操作室から各操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットと、がキャブ２２２に設けられている。実機側操作レバーが、キャブ２２２に存在するオペレータにより直接的に操作されてもよい。すなわち、当該実機操作レバーと、その操作量に対応した大きさのパイロット圧を操作方向に対応したポートから出力するリモコン弁と、により操作装置４００が構成されていてもよい。この場合、操作装置４００は無線方式ではなく有線方式で作業機械２００と通信可能に構成されていてもよい。

一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図４に示されているシート４０２の右側フレームの前方に設けられている右側操作レバー４２０が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図４に示されているシート４０２の左側フレームの前方に設けられている左側操作レバー４４０が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

撮像装置１１は、例えばＣＣＤカメラにより構成され、作業機械２００を構成する動作機構としての作業アタッチメント２４０およびその周辺の撮像画像を表わす撮像画像データを取得する。撮像画像は、輝度、色彩などの距離以外の物理量を画素値とする画像である。図３に示されているように、作業装置２００の前方の撮像範囲Ｓ１が、作業アタッチメント２４０を含むようにキャブ２２２の内部空間に配置されている。

距離センサ１２は、例えばＴＯＦセンサにより構成され、作業機械２００から動作機構およびその周辺に存在する物体のそれぞれまでの距離を表わす距離画像データを取得する。距離画像データは、物体までの距離を画素値として有する距離画像を表わすデータである。距離センサ１２は、図３に示されているように、作業装置２００の前方の撮像範囲Ｓ２が、撮像範囲Ｓ１と重複するように上部旋回体２２０の前方中央部に配置されている。

姿勢センサ１３は、例えばロータリーエンコーダにより構成され、基体としての上部旋回体２２０を基準とした作業アタッチメント２４０（動作機構）の姿勢を表わす姿勢データを取得する。例えば、上部旋回体２２０に対するブーム２４１の回動角度、ブーム２４１に対するアーム２４３の回動角度、および、アーム２４３に対するバケット２４５の回動角度に基づき、上部旋回体２２０に対するブーム２４１、アーム２４３およびバケット２４５のそれぞれの姿勢を表わす角度が定められる。

動作センサ１４は、例えば油圧センサにより構成され、ブームシリンダ２４２、アームシリンダ２４４およびバケットシリンダ２４６のそれぞれの作動油圧を作業機械２００の動作として、当該動作を表わす動作データを取得する。

スレーブ制御装置１１０は、第１スレーブ通信装置１１１および第２スレーブ通信装置１１２を備えている。第１スレーブ通信装置１１１は、第１通信方式にしたがってデータを送受信する機能を有し、例えば「撮像画像データ」を第１通信方式にしたがって送信する機能を有している。第２スレーブ通信装置１１２は、第２通信方式にしたがってデータを送受信する機能を有し、例えば「距離画像データ」、「姿勢データ」および「動作データ」を第２通信方式にしたがって送信する機能を有している。
第１通信方式は例えば無線ＬＡＮ（Ｗｉ－Ｆｉ）であり、第２通信方式は例えば第１通信方式とは異なるＳＴＤ－Ｔ１０８である。第１通信方式は「撮像画像データ」などサイズが大きいデータを伝送するため通信速度・容量を優先した通信方式である。第２通信方式は「距離画像データ」、「姿勢データ」、「動作データ」などデータサイズの小さい情報を「撮像画像データ」を補助する情報として伝送するため通信の安定性を優先した通信方式である。

マスタ制御装置１２０は、第１マスタ通信装置１２１および第２マスタ通信装置１２２を備えている。第１マスタ通信装置１２１は、第１通信方式にしたがってデータを送受信する機能を有し、例えば「撮像画像データ」を第１通信方式にしたがって受信する機能を有している。第２マスタ通信装置１２２は、第２通信方式にしたがってデータを送受信する機能を有し、例えば「距離画像データ」、「姿勢データ」および「動作データ」を第２通信方式にしたがって受信する機能を有している。

スレーブ制御装置１１０およびマスタ制御装置１２０のそれぞれは、共通のまたは別個の演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成されており、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行することにより当該演算処理結果を出力する。

画像出力装置１３０は、作業機械２００の運転空間である遠隔操作室（またはキャブ２２２の内部空間）においてオペレータが着座するシート４０２（オペレータの居場所）の座部を基準として前方に配置されている。画像出力装置１３０は、スピーカなどの音声出力装置を備えていてもよい。

（機能）
前記構成の作業機械用表示システムの機能について説明する。

（スレーブ制御装置の機能）
撮像装置１１により、動作機構である作業アタッチメント２４０およびその周辺の様子を表わす撮像画像データが取得される（図５／ＳＴＥＰ１１２）。第１スレーブ通信装置１１１により、当該撮像画像データがマスタ制御装置１２０に宛てて送信される（図５／ＳＴＥＰ１１８）。

距離センサ１２により、動作機構である作業アタッチメント２４０およびその周辺にある物体までの距離を表わす距離画像データが取得される（図５／ＳＴＥＰ１２２）。姿勢センサ１３により、動作機構である作業アタッチメント２４０の上部旋回体２２０に対する姿勢を表わす姿勢データが取得される（図５／ＳＴＥＰ１２４）。動作センサ１４により、ブームシリンダ２４２、アームシリンダ２４４およびバケットシリンダ２４６のそれぞれの作動油圧を作業機械２００の動作を表わす動作データが取得される（図５／ＳＴＥＰ１２６）。第２スレーブ通信装置１１１により、当該距離画像データ、姿勢データおよび動作データ（以下、適宜「距離画像データ等」という。）がマスタ制御装置１２０に宛てて送信される（図５／ＳＴＥＰ１２８）。

撮像画像データの取得および送信と、距離画像データ等の取得および送信と、が別個の演算処理要素（マルチコアプロセッサを構成する別個のコア）により並列的に実行されてもよく、単一の演算処理要素（シングルコアプロセッサ）により直列的に実行されてもよい。

（マスタ制御装置の機能）
第１マスタ通信装置１２１により撮像画像データが受信されたか否か、すなわち、第１通信方式にしたがった通信（第１形態の通信）が途絶していないか否かが判定される（図５／ＳＴＥＰ２０２）。当該判定結果が肯定的である場合（図５／ＳＴＥＰ２０２‥ＹＥＳ）、マスタ制御装置１２０により画像出力装置１３０に撮像画像データに応じた画像が表示される（図５／ＳＴＥＰ２０４）。これにより、例えば図６に示されているように、作業機械２００の動作機構である作業アタッチメント２４０およびその周辺の物体としての作業機械２００の前方にある土山を表わす撮像画像が画像出力装置１３０に表示される。図６においては、作業アタッチメント２４０を構成するアーム２４３およびバケット２４５と、バケット２４５により部分的に土山の一部の土が掬われている。

その一方、当該判定結果が否定的である場合（図５／ＳＴＥＰ２０２‥ＮＯ）、第２マスタ通信装置１２２により距離画像データ等が受信されたか否か、すなわち、第２通信方式にしたがった通信（第２形態の通信）が途絶していないか否かが判定される（図５／ＳＴＥＰ２０６）。当該判定結果が肯定的である場合（図５／ＳＴＥＰ２０６‥ＹＥＳ）、画像生成要素１２３により距離画像データに応じた点群画像が生成される（図５／ＳＴＥＰ２０８）。点群画像を構成する各点は、所定の走査方向について隣接する画素の画素値（距離）が閾値を超えて変化するエッジまたはコーナーなどの特徴点を表わしている。この際、点群画像の座標系が撮像画像の座標系に座標変換される。この座標変換に際して、距離センサ１２の位置および姿勢（光軸または中心軸線の向き）を、撮像装置１１の位置および姿勢（光軸の向き）に一致させるような座標変換子（回転行列またはこれに同等なクォータニオンおよび並進行列）が用いられる。距離画像の画素値である距離が、撮像画像および距離画像の解像度の相違に応じた適当な補間方法を用いて撮像画像の各画素に割り当てられる。これにより、例えば図７に示されているような点群画像Ｉｍｇ１が生成される。

さらに、画像生成要素１２３により、動作機構としての作業アタッチメント２４０の主要諸元と、姿勢データにより表わされる作業アタッチメント２４０の上部旋回体２２０に対する姿勢と、に基づき、３次元モデル画像が生成される（図５／ＳＴＥＰ２１０）。

例えば、ブーム２４１の一端部の回動軸線まわりの上部旋回体２２０に対する回動角度と、当該ブーム２４１の主要諸元としてのサイズ（一端部の回動軸線と他端部の回動軸線との間隔など）と、に基づき、上部旋回体２２０に対するアーム２４３の一端部の回動軸線（＝ブーム２４１の他端部の回動軸線）の位置および姿勢が推定される。アーム２４３の一端部の回動軸線まわりのブーム２４１に対する回動角度と、当該アーム２４３の主要諸元としてのサイズ（一端部の回動軸線と他端部の回動軸線との間隔など）と、に基づき、上部旋回体２２０に対するバケット２４５の回動軸線（＝アーム２４３の他端部の回動軸線）の位置および姿勢が推定される。バケット２４５の回動軸線まわりのアーム２４３に対する回動角度と、当該バケット２４５の主要諸元としてのサイズ（一端部の回動軸線と他端部の回動軸線との間隔など）と、に基づき、上部旋回体２２０に対するバケット２４５の先端部等の各部位の位置および姿勢が推定される。当該推定結果に基づき、世界座標系または作業機械座標系（上部旋回体２２０に対して位置および姿勢が固定された座標系）における作業アタッチメント２４０およびその各構成要素２４１、２４３および２４５の配置態様または延在態様が推定され、さらには点群画像の座標系において当該推定結果に応じた延在態様を有する作業アタッチメント２４０の３次元モデル画像が生成される。

また、動作データにより表わされる作業機械２００の動作状態の相違に応じて、異なる３次元モデル画像が生成される。例えば、バケット２４５を通じて作業アタッチメント２４０にかかっている負荷が一の負荷範囲に含まれている一の動作状態と、当該負荷が他の負荷範囲に含まれている他の動作状態と、の相違に応じて３次元モデル画像の色彩（色相、彩度、明度）が相違するように３次元モデル画像が生成される。バケット２４５が物体（土石など）に接触している一の動作状態と、バケット２４５が物体に接触していない他の動作状態と、の相違に応じて３次元モデル画像の色彩が相違するように３次元モデル画像が生成される。

そして、点群画像および３次元モデル画像が画像出力装置１３０に重畳的に表示される（図５／ＳＴＥＰ２１２）。これにより、例えば図８に示されているように、点群画像Ｉｍｇ１および３次元モデル画像Ｉｍｇ２が重畳表示される。

今回制御周期において画像出力装置に表示される点群画像Ｉｍｇ１および３次元モデル画像Ｉｍｇ２は、当該今回制御周期において生成された画像のほか、前回以前の制御周期において生成され、マスタ制御装置１２０を構成する記憶装置に記憶保持された画像であってもよい。これにより、今回制御周期における画像生成を待つ必要がなくなるので、第１形態の通信途絶から点群画像の表示までの時間間隔の短縮が図られる。

第２形態の通信が途絶していると判定された場合（図５／ＳＴＥＰ２０６‥ＮＯ）、第１形態の通信が途絶する直前の撮像画像データに応じた画像（静止画像）が画像出力装置１３０に表示される。

第１形態の通信が途絶していると判定され（図５／ＳＴＥＰ２０２‥ＮＯ）、これに応じて点群画像および３次元モデル画像が重畳表示された後（図５／ＳＴＥＰ２１２）、第１形態の通信が途絶していないと判定された場合（図５／ＳＴＥＰ２０２‥ＹＥＳ）、再び撮像画像データに応じた画像が画像出力装置１３０に表示される（図５／ＳＴＥＰ２０４および図６参照）。

（作用効果）
前記構成の作業機械用表示システムによれば、作業機械２００に搭載されているスレーブ制御装置１１０とマスタ制御装置１２０との間の第１形態の通信により、撮像装置１１により取得された撮像画像データに応じた作業機械２００の作業アタッチメント２４０（動作機構）およびその周辺の画像が画像出力装置１３０に表示される（図５／ＳＴＥＰ２０２‥ＹＥＳ→ＳＴＥＰ２０４および図６参照）。これにより、ユーザ（または操作装置４００を通じた作業機械２００のオペレータ）は、作業アタッチメント２４０とその周辺にある物体との相対位置関係など、当該作業アタッチメント２４０およびその周辺の様子を認識することができる。

第１形態の通信が途絶した場合、スレーブ制御装置１１０とマスタ制御装置１２０との間の第２形態の通信により、作業機械の動作機構およびその周辺の画像に代えて、距離センサ１２により取得された距離画像データに応じた点群画像が画像出力装置１３０に表示される（図５／ＳＴＥＰ２０２‥ＮＯ→ＳＴＥＰ２１２および図８参照）。

第２通信方式は第１通信方式とは異なるため、第１形態の通信の途絶に際しても第２通信方式にしたがった距離画像データの送受信の途絶が回避されうる。距離画像データのデータ量が撮像画像データのデータ量より少ない場合、第２形態の通信の負荷低減により当該通信の途絶が回避されやすい。この際、前記したような画像座標系の座標変換により、撮像装置１１および距離センサ１２が、あたかも実空間において同一の位置および姿勢で配置されているかのように、画像出力装置１３０に表示される撮像画像データに応じた画像および距離画像データに応じた点群画像が切り替えられる（図６および図８参照）。

よって、画像出力装置１３０に表示される画像の情報量が低減しうるものの、その直前まで画像出力装置に表示されていた作業機械２００の動作機構としての作業アタッチメント２４０およびその周辺の画像に時系列的に続いて表示される点群画像により、当該作業アタッチメント２４０およびその周辺の様子を継続的にユーザに認識させることができる。

さらに、画像出力装置における３次元モデル画像および点群画像の重畳表示により、当該点群画像を構成する点が、動作機構の特徴点およびその周辺の物体の特徴点のうちいずれを表わしているかが識別容易になり、この分だけ撮像画像データに応じた画像と比較した情報量の低減が抑制される（図８参照）。このため、第１形態の通信の途絶に際して、動作機構およびその周辺の様子をより正確にユーザに認識させることができる。

さらに、画像出力装置１３０において点群画像と重畳表示される３次元モデル画像の表示形態（例えば色彩、明暗（点滅するように変化）もしくはモデル形状の変化（膨張または収縮）またはこれらの任意の組み合わせ）の相違により、動作機構としての作業アタッチメント２４０の動作方向、動作速度、周辺物体との接触有無などの動作状態をユーザに認識させることができる。このため、第１形態の通信の途絶に際して、作業アタッチメント２４０およびその周辺の様子を、当該作業アタッチメント２４０の動作状態の相違も含めてより正確にユーザに認識させることができる。

（本発明の他の実施形態）
マスタ制御装置１２０が、第１形態の通信が途絶したと判定したことを要件として、点群画像およびテクスチャ素材を重畳的に画像出力装置１３０に表示させてもよい。テクスチャ素材は、撮像画像データに基づいて、撮像画像の画像領域のそれぞれの種類が推定され、当該推定種類（例えば、土、石、植物、金属など）に応じたテクスチャ素材が記憶装置から読み出されて当該画像領域に点群画像に重畳表示されてもよい。例えば、図８に示されている点群画像において、土山に該当すると推定された領域に土を表わすテクスチャ素材が重畳表示されてもよい。

当該構成の作業機械用表示システムによれば、画像出力装置１３０におけるテクスチャ素材および点群画像の重畳表示により、当該点群画像を構成する点が、作業アタッチメント２４０の特徴点およびその周辺の物体の特徴点のうちいずれを表わしているかが識別容易になり、この分だけ撮像画像データに応じた画像と比較した情報量の低減が抑制される。このため、第１形態の通信の途絶に際して、動作機構およびその周辺の様子をより正確にユーザに認識させることができる。

前記実施形態において姿勢センサ１３が省略され、かつ、３次元モデル画像の生成および点群画像との重畳表示が省略されてもよい。この場合、例えば図７に示されているように、３次元モデル画像を含まない点群画像が画像出力装置１３０に表示される。

前記実施形態において動作センサ１４が省略され、かつ、作業機械２００の動作状態の相違に応じて３次元モデル画像の表示形態の差異化が省略されてもよい。

１１‥撮像装置、１２‥距離センサ、１３‥姿勢センサ、１４‥動作センサ、１１０‥スレーブ制御装置、１１１‥第１スレーブ通信装置、１１２‥第２スレーブ通信装置、１２０‥マスタ制御装置、１２１‥第１マスタ通信装置、１２２‥第２マスタ通信装置、１２３‥画像生成要素、１３０‥画像出力装置、２００‥作業機械、２４０‥動作機構（作業アタッチメント）、４００‥操作装置、４０２‥シート（オペレータの居場所）。

Claims (5)

1. 作業機械を構成する動作機構および前記動作機構の周辺の撮像画像を表わす撮像画像データを取得するための撮像装置と、
   前記撮像装置による撮影範囲において、前記作業機械から前記動作機構およびその周辺に存在する物体のそれぞれまでの距離を表わす距離画像データを取得するための距離センサと、
   前記作業機械に搭載され、前記撮像画像データを第１通信方式にしたがって送信する機能と、前記距離画像データを前記第１通信方式とは異なる第２通信方式にしたがって送信する機能と、を有するスレーブ制御装置と、
   前記撮像画像データを前記第１通信方式にしたがって受信する機能と、前記距離画像データを前記第２通信方式にしたがって受信する機能と、を有するマスタ制御装置と、
   前記スレーブ制御装置から送信され、前記マスタ制御装置により受信された前記撮像画像データにより表わされる前記作業機械の動作機構およびその周辺の画像を表示するための画像出力装置と、を備えている作業機械用表示システムであって、
   前記マスタ制御装置が、前記距離画像データに基づいて点群画像を生成し、前記第１通信方式にしたがった通信が途絶したか否かを判定し、当該通信が途絶したと判定したことを要件として、前記作業機械の動作機構およびその周辺の画像の代わりに前記点群画像を前記画像出力装置に表示させることを特徴とする作業機械用表示システム。
2. 請求項１記載の作業機械用表示システムにおいて、
   前記作業機械が、基体を基準とした前記動作機構の姿勢を表わす姿勢データを取得するための姿勢センサを備え、
   前記スレーブ制御装置が、前記姿勢データを前記第２通信方式にしたがって送信する機能を有し、
   前記マスタ制御装置が、前記姿勢データを前記第２通信方式にしたがって受信する機能を有し、
   前記マスタ制御装置が、前記姿勢データおよび前記動作機構の主要諸元に基づき、前記姿勢データに応じた姿勢を有する前記動作機構を模擬的に表わす３次元モデル画像を生成し、前記第１通信方式にしたがった通信が途絶したと判定したことを要件として、前記作業機械の動作機構およびその周辺の画像の代わりに前記点群画像および前記３次元モデル画像を重畳的に前記画像出力装置に表示させることを特徴とする作業機械用表示システム。
3. 請求項２記載の作業機械用表示システムにおいて、
   前記作業機械の動作を表わす動作データを取得するための動作センサを備え、
   前記マスタ制御装置が、前記動作データにより表わされる前記作業機械の動作状態の相違に応じて、表示形態が異なる前記３次元モデル画像を生成することを特徴とする作業機械用表示システム。
4. 請求項１～３のうちいずれか１つに記載の作業機械用表示システムにおいて、
   前記マスタ制御装置が、前記第１通信方式にしたがった通信が途絶したか否かを判定し、当該通信が途絶したと判定したことを要件として、前記作業機械の動作機構およびその周辺の画像の代わりに前記点群画像およびテクスチャ素材を重畳的に前記画像出力装置に表示させることを特徴とする作業機械用表示システム。
5. 請求項１～４のうちいずれか１つに記載の作業機械用表示システムにおいて、
   前記マスタ制御装置が、前記撮像装置および前記距離センサのそれぞれの位置および姿勢に応じた、前記撮像装置により取得される撮像画像の座標系および前記距離センサにより取得される距離画像の座標系の間の座標変換演算子にしたがって、前記点群画像の座標系を当該撮像画像の座標系に合わせて前記点群画像を生成することを特徴とする作業機械用表示システム。

Images