WO2023228897A1 - 遠隔制御システム、遠隔操作型作業機械システム、および作業情報表示制御方法 - Google Patents

Abstract

作業機械の遠隔操作中の一連の動作において、映像伝送遅延および通信時の通信パケット損失に伴う映像乱れによる作業効率低下を防ぎ、操作者の作業効率を向上させるため、本開示は、作業機械を遠隔制御する遠隔制御システムであって、作業機械と通信を行う通信装置と、作業機械の動作を制御するとともに、作業機械からの周囲映像を処理してディスプレイ装置に表示する制御装置と、を備え、通信装置は、作業機械で撮られた周囲映像と、作業機械の姿勢情報および作業機械の周囲の三次元情報を含む支援情報とを受信し、制御装置は、支援情報から作業機械の姿勢と作業対象の位置を示す支援図形を生成する処理と、作業機械において第１タイミングで取得された周囲映像と作業機械において第１タイミングよりも後の第２タイミングで取得された支援情報から生成した支援図形とを重畳してディスプレイ装置に表示する処理と、を実行する、遠隔制御システムを提案する（図１０参照）。

Description

遠隔制御システム、遠隔操作型作業機械システム、および作業情報表示制御方法

　本開示は、遠隔制御システム、遠隔操作型作業機械システム、および作業情報表示制御方法に関する。

　作業機械を遠隔操作可能にした作業機械制御システムが実用化されているが、作業機械から遠隔制御システム（遠隔操作室）に映像を伝送することによって生じる伝送遅延が原因で作業効率が低下することがあった。これに対処するため、例えば、特許文献１は、遠隔操作部作業用の映像の伝送にかかる遅延時間を補正するように映像を加工してディスプレイに表示することを提案している。このような加工映像表示により、遠隔操作を行う遠隔操作室での映像の受信遅延時間が大きい場合に、遠隔操作の効率を向上させることができる。

特許第６８２４８５６号公報

　しかしながら、特許文献１によれば、作業機械（自車両）の周囲の映像の伝送遅延を改善するものの、自車両が映ることを想定していないため、自車両の一部が映像に映る場合、加工後の映像における自車両の一部の表示位置が周囲の画像との関係においてずれてしまい、操作者の効率的な操作を妨げるおそれがある。また、通信時の通信パケット損失に伴う映像乱れが生じた場合についても、効率的な操作を妨げるおそれがある。

　本開示は、このような状況に鑑み、作業機械の遠隔操作中の一連の動作において、映像伝送遅延および通信時の通信パケット損失に伴う映像乱れによる作業効率低下を防ぎ、操作者の作業効率を向上させる技術を提供する。

　上記の課題を解決するため、本開示は、作業機械を遠隔制御する遠隔制御システムであって、作業機械と通信を行う通信装置と、作業機械の動作を制御するとともに、作業機械からの周囲映像を処理してディスプレイ装置に表示する制御装置と、を備え、通信装置は、作業機械で撮られた周囲映像と、作業機械の姿勢情報および作業機械の周囲の三次元情報を含む支援情報とを受信し、制御装置は、支援情報から作業機械の姿勢と作業対象の位置を示す支援図形を生成する処理と、作業機械において第１タイミングで取得された周囲映像と作業機械において第１タイミングよりも後の第２タイミングで取得された支援情報から生成した支援図形とを重畳してディスプレイ装置に表示する処理と、を実行する、遠隔制御システムを提案する。

　本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示の態様は、要素および多様な要素の組み合わせおよび以降の詳細な記述と添付される請求の範囲の様態により達成され実現される。
　本明細書の記述は典型的な例示に過ぎず、本開示の請求の範囲又は適用例を如何なる意味においても限定するものではないことを理解する必要がある。

　本開示の技術によれば、作業機械の遠隔操作中の一連の動作において、映像伝送遅延による作業効率低下を防ぐことが可能となる。

作業機械制御システム１の外観構成例を示す図である。 図２は、作業機械１００に搭載される周囲映像取得部Ｓ１と三次元情報取得部Ｓ２の構成を説明する概略図である。 遠隔制御システム（操作室）３００の内部構成例を示す図である。 作業機械１００に搭載されるセンサ情報処理部１０３の内部構成例を示す図である。 支援情報生成部１０３２の内部構成例を示す図である。 遠隔制御システム（遠隔操作室）３００の構成例を示す図である。 センサ情報処理部１０３による映像圧縮処理、および支援情報生成部１０３２による支援情報生成処理を説明するためのフローチャートである。 図６の運転制御装置３０５によるＡＲ画像を有する重畳映像を生成する処理を説明するためのフローチャートである。 伸長して得られた映像（作業機械フロント部映像＋周囲映像）の例を示す図である。 伸長して得られた映像（図９）にＡＲ画像を重畳して得られる重畳映像の例を示す図である。 バケット１１３を垂直に持ち上げた際に表示される重畳画像（作業機械フロント部映像＋周囲映像＋ＡＲ画像）の例を示す図である。 重畳画像において表示されるＡＲ画像のうち、クローラー１０１の向きを示す補助線と車体の対応関係の例を示す図である。 重畳画像において表示されるＡＲ画像の一例を示す図である。 重畳画像において表示されるＡＲ画像の他の例を示す図である。 ＡＲ図形を映像に対して先行重畳していることを示すＡＲ先行描画中表示Ｆ１７の例を示す図である。 第１の実施形態の構成を採用せず、作業機械１００内でＡＲ画像を重畳した重畳映像を生成し、遠隔制御システム３００に送信した場合、もしくはネットワークスライシング、ＱｏＳ制御を行わず、周囲映像取得部Ｓ１で取得された映像と支援情報生成部１０３２で生成された支援情報を同一の通信パケットで遠隔制御システム３００に送信した場合に生じる通信遅延を示す図である。 第１の実施形態の構成を採用した場合に、周囲映像取得部Ｓ１で取得された映像と支援情報生成部１０３２で生成された支援情報それぞれに加わる通信遅延を示す図である。 映像１よりも後に通信装置１０４から通信装置３０６に送信された支援情報２に基づいて生成したＡＲ画像を映像１に重畳して得られる重畳映像の例を示す図である。 作業機械１００が、クローラー１０１に対して本体部１０２を左方向旋回するように動作する場合の、映像１取得時の作業機械１００の姿勢例と支援情報２取得時の作業機械１００の姿勢例を示す図である。 第２の実施形態（基本形態）による運転制御装置３０５の内部構成例を示す図である。 第２の実施形態（基本形態）の運転制御装置３０５（図２０参照）による、ＡＲ画像を有する重畳映像生成処理を説明するためのフローチャートである。 第２の実施形態（変形例）におけるセンサ情報処理部１０３の内部構成例１を示す図である。 第２の実施形態（変形例）におけるセンサ情報処理部１０３の内部構成例２を示す図である。 情報埋込部１０３４における、周囲映像取得部Ｓ１で取得された映像の一部の画素への情報埋込方法の一例を示す図である。 図２２および図２３のセンサ情報処理部１０３に対応する運転制御装置３０５の内部構成例を示す図である。 第２の実施形態（変形例）のセンサ情報処理部１０３（図２１あるいは図２２参照）による映像圧縮処理および支援情報生成処理を説明するためのフローチャートである。 第２の実施形態（変形例）の運転制御装置３０５（図２５参照）による、ＡＲ画像を有する重畳映像生成処理を説明するためのフローチャートである。 第２の実施形態（基本形態および変形例）の処理によって表示される、映像（周囲撮像映像および作業機械フロント部映像）およびそれに重畳表示されるＡＲ画像の例を示す図である。 第３の実施形態による運転制御装置３０５の内部構成例１を示す図である。 第３の実施形態による運転制御装置３０５の内部構成例２を示す図である。 第３の実施形態の処理によって表示される、映像（周囲撮像映像および作業機械フロント部映像）およびそれに重畳表示されるＡＲ画像の例を示す図である。 第４の実施形態による運転制御装置３０５の内部構成例を示す図である。 第４の実施形態の処理によって表示される、映像（周囲撮像映像および作業機械フロント部映像）およびそれに重畳表示されるＡＲ画像の例を示す図である。 第４の実施形態において、作業地表面記憶部が記憶する作業地表面位置のＧＵＩによる指定方法の一例を示す図である。 各実施形態の作業機械制御システム１におけるＡＲ画像の表示状態の切り替えを説明する概念図である。

　以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の請求の範囲又は適用例を如何なる意味においても限定するものではない。

　本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

（１）第１の実施形態
　＜作業機械制御システムの構成例＞
　図１から図３を参照して、第１の実施形態による作業機械制御システム（遠隔操作型作業機械システム）１の概略構成例について説明する。図１は、作業機械制御システム１の外観構成例を示す図である。図２は、作業機械１００に搭載される周囲映像取得部Ｓ１と三次元情報取得部Ｓ２の構成を説明する概略図である。図３は、遠隔制御システム（操作室）３００の内部構成例を示す図である。

　図１に示されるように、作業機械制御システム１は、遠隔制御システム３００と、当該遠隔制御システム３００によって制御される作業機械（建設機械）１００と、を備える。

　作業機械１００は、一例として、バケット１１３が操作室ＯＲ側を向いているバックホウである。作業機械１００の動作により、施工対象である地面Ｌが掘削され、例えば平面Ｌ０、平面Ｌ１、斜面Ｌ２等が形成される。作業機械１００が掘削した土砂は、作業機械１００が旋回し、バケット１１３がダンプトラック等のベッセル２００まで移動することで、ベッセル２００に向けて排出（放土）される。

　バックホウである作業機械１００は、一例として、クローラー１０１と、クローラー１０１により支持・搬送される本体部１０２と、本体部１０２に搭載される操作室ＯＲと、センサ情報処理部１０３と、通信装置１０４と、各種センサＳ１～Ｓ４と、アンテナ１０７と、ブーム１１１と、アーム１１２と、バケット１１３とを有する。ブーム１１１、アーム１１２、バケット１１３が、図示しないエンジンや油圧シリンダ等により駆動されることにより、施工対象である地面Ｌに対する掘削が行われる。

　また、クローラー１０１が図示しない駆動部により駆動されることにより、本体部１０２が前後左右に移動可能とされる。また、本体部１０２は、クローラー１０１に対し旋回可能に構成され、図示しない駆動部により駆動されることにより、旋回方向および旋回角度を制御される。作業機械１００は、遠隔制御システム３００により無人運転・遠隔制御が可能に構成されており、オペレータは操作室ＯＲに搭乗する必要は無い。

　本体部１０２は、センサ情報処理部１０３および通信装置１０４を備える（搭載する）。センサ情報処理部１０３は、撮像素子を含む周囲映像取得部Ｓ１で取得した、施工対象である地面およびバケット１１３の映像（作業機械１００の作業領域である作業機械１００及びその周囲を含む領域を撮像した映像であり、以下においては、周囲映像と称する場合がある。）を圧縮する。また、センサ情報処理部１０３は、三次元情報取得部Ｓ２および姿勢情報取得部Ｓ３から得たセンサ情報に基づいて、現在のバケット１１３、およびバケット１１３の真下に位置する作業地表面、並びにダンプトラック等のベッセル２００等の位置情報（基準点からの距離情報）などを含む支援情報を生成する。当該支援情報は、三次元情報取得部Ｓ２および姿勢情報取得部Ｓ３から得たセンサ情報そのもので構成してもよいし、当該センサ情報を作業機械）１００の本体部座標系（車体座標系）に変換した情報で構成してもよい。ただし、後者の方が後段の処理の演算量を考慮すると好ましい。

　通信装置１０４は、取得された映像データと支援情報を遠隔制御システム３００に向けて送信すると共に、遠隔制御システム３００からの制御情報を受信するように構成されている。

　本体部１０２は、所定の場所に、作業機械１００のフロント部（ブーム１１１、アーム１１２、バケット１１３）の映像および周囲映像を取得する周囲映像取得部Ｓ１と、視野内の物体の有無および距離を検知する三次元情報取得部Ｓ２と、作業機械１００の姿勢を検知する姿勢情報取得部Ｓ３と、を備えている。図２に示すように、一例として、周囲映像取得部Ｓ１は、作業機械１００の周囲を撮像する撮像装置であり、例えば作業機械１００の前方の視野ＳＲ１を撮像するＣＭＯＳセンサ等を有するカメラである。

　三次元情報取得部Ｓ２は、視野ＳＲ２内の物体の有無および距離を検知するＬｉＤＡＲ（Light Detection and Ranging）や超音波センサなどの物体検出センサである。三次元情報取得部Ｓ２は、センサ情報としてはセンサＳ２から距離を計測するが、当該計測した距離を本体部座標系の情報に変換して得られる三次元情報を出力する。三次元情報取得部Ｓ２はこれに限定されることなく、視野ＳＲ２１を検知するセンサＳ２１、視野ＳＲ２２を検知するセンサＳ２２など、複数のＬｉＤＡＲや超音波センサから構成されても良い。視野はこの三方向に限定されるものではなく、センサの画角に応じて設置位置・角度・台数を調整することで、全周囲の検知を行ってもよい。また、周囲映像取得部Ｓ１と三次元情報取得部Ｓ２は撮像と立体視が可能な単一又は複数のステレオカメラから構成されても良い。

　姿勢情報取得部Ｓ３は、作業機械１００の姿勢を検知する姿勢センサであり、ブーム１１１、アーム１１２、バケット１１３の姿勢（例えば、ブーム１１１と本体部１０２との角度、アーム１１２およびバケット１１３は連結部分からの角度）とクローラー１０１に対する本体部１０２の旋回角度（クローラー１０１と本体部１０２とが同一方向に向いている状態にあるときを０度とすることができる）を取得できるものとする。姿勢情報取得部Ｓ３は、例えばジャイロセンサ、傾斜センサ、加速度センサの何れか、又はこれらの組合せから構成することができる。その他、図２に図示の例は一例であって、本開示はこれに限定されるものではない。

　図３を参照して、遠隔制御システム３００の構成の詳細の一例を説明する。この遠隔制御システム３００は、一例として、運転席３０１、操作制御部３０２、操作稈３０３、ディスプレイ３０４、運転制御装置３０５、および通信装置３０６を備える。

　運転席３０１は、操作者が着席する椅子であり、その側部には操作制御部３０２、および操作稈３０３が設けられる。操作稈３０３以外に、各種レバー、スイッチ、ペダル等が配置され、それらの操作が作業機械１００の動作に反映されてもよい。操作稈３０３等が操作されることにより、対応する操作信号が操作制御部３０２で生成されて運転制御装置３０５に送信される。運転制御装置３０５は、受信された操作信号に従って、作業機械１００を駆動するための制御信号を生成し、通信装置３０６を介して作業機械１００に送信する。

　ディスプレイ３０４は、運転席３０１の前方に配置され、バケット１１３、施工対象の地面、および後述するＡＲ（Augmented Reality）画像を有する重畳映像を表示する表示部である。ディスプレイ３０４は、図３に示すように、３次元空間をリアルに表現可能なよう、適切な俯角を与えられた複数の表示装置から構成されることができる。ディスプレイ３０４は、これに限らず１枚の表示装置のみで構成されていてもよいし、ヘッドマウントディスプレイとしてもよい。

　＜センサ情報処理部１０３の内部構成例＞
　図４は、作業機械１００に搭載されるセンサ情報処理部１０３の内部構成例を示す図である。

　センサ情報処理部１０３は、一例として、映像圧縮部１０３１、支援情報生成部１０３２、および支援情報符号化部１０３３を備える。センサ情報処理部１０３は、汎用のコンピュータであってよく、例えば、ＣＰＵ１５１（プロセッサ）、ＲＯＭ１５２、ＲＡＭ１５３、ハードディスクドライブ１５４、入力デバイス１５５、およびディスプレイ１５６（表示部）から構成され得る。ＣＰＵ１５１はプロセッサの一態様であり、ＧＰＵや、他の演算処理が可能な半導体デバイスであってもよく、それらの組合せであってもよい。

　映像圧縮部１０３１は、周囲映像取得部Ｓ１から取得した周囲映像を所定の映像圧縮手法により圧縮して通信装置１０４に出力する。映像圧縮の手法は、ＭＰＥＧ、Ｈ.２６４、ＭｏｔｉｏｎＪＰＥＧなど周知の手法を用いることができるが、これに限定されるものではない。

　支援情報生成部１０３２は、三次元情報取得部Ｓ２から取得した三次元情報と姿勢情報取得部Ｓ３から取得した姿勢情報に基づき、バケット１１３の位置と姿勢、バケット１１３の鉛直下向きに存在する地面（作業地表面）の高さ、ダンプトラック等のベッセル２００の位置を算出する。

　支援情報符号化部１０３３は、支援情報生成部１０３２から出力された、支援情報（バケット１１３の位置と姿勢、作業地表面の高さ、ダンプトラック等のベッセル２００の位置、クローラー１０１に対する本体部１０２の旋回角度）、所定の通信プロトコルによって符号化し、通信装置１０４に出力する。符号化にはＩＳＯ１１８９８で定められているＣＡＮ（Controller Area Network）の通信プロトコルなど周知の手法を用いることができるが、これに限定されるものではない。

　＜支援情報生成部１０３２の内部構成例＞
　図５は、支援情報生成部１０３２の内部構成例を示す図である。支援情報生成部１０３２は、三次元情報取得部Ｓ２から取得した三次元情報と姿勢情報取得部Ｓ３から取得した姿勢情報を処理し、軽量化した（低容量の）三次元情報を含む支援情報を生成する。この支援情報生成部１０３２は、一例として座標系補正情報１記憶部１０３２４と、ダンプ位置算出部１０３２１と、バケット位置・姿勢算出部１０３２３と、作業地表面高さ算出部１０３２２とを備える。

　座標系補正情報１記憶部１０３２４は、三次元情報取得部Ｓ２から取得した三次元情報、姿勢情報取得部Ｓ３から取得した姿勢情報の各検出信号の座標系を統合するための補正情報を保持する。具体的には、当該補正情報は、センサ基準（センサ座標系）の情報を車体基準（本体部座標系）の情報に座標変換するための６自由度（６次元ベクトル：ｘｙｚ方向の平行移動と回転）の情報である。

　ダンプ位置算出部１０３２１、バケット位置・姿勢算出部１０３２３、および作業地表面高さ算出部１０３２２は、当該補正情報に基づいて、例えば作業機械１００の旋回軸上かつ本体部１０２底面を基準点とし、クローラー１０１に対する本体部１０２の旋回に合わせて旋回する座標系（本体部座標系）のデータとして、支援情報を出力する。この補正情報は作業機械１００の場出荷時、点検時に校正しても良いし、作業機械１００起動時に自動校正処理を行っても良い。

　ダンプ位置算出部１０３２１は、三次元情報取得部Ｓ２から取得した三次元情報、および座標系補正情報１記憶部１０３２４から取得した補正情報に基づいて、ダンプトラック等のベッセル２００の位置（本体部座標系における位置）を算出する。ダンプトラック等のベッセル２００の位置は、一例としてベッセルの天辺の４頂点の位置を示す三次元座標値として算出される。

　バケット位置・姿勢算出部１０３２３は、姿勢情報取得部Ｓ３から取得した姿勢情報、および座標系補正情報１記憶部１０３２４から取得した補正情報に基づいて、バケット１１３の位置および姿勢（本体部座標系における位置および姿勢）を算出する。バケット１１３の位置は、例えばバケット１１３とアーム１１２の結合部の三次元座標値である。バケット１１３の姿勢は、例えばバケット１１３とアーム１１２の結合部とバケット１１３の先端中央を結ぶ３次元の単位方向ベクトルとして算出される。

　作業地表面高さ算出部１０３２２は、三次元情報取得部Ｓ２から取得した三次元情報、バケット位置・姿勢算出部１０３２３から出力されたバケット１１３の位置、および座標系補正情報１記憶部１０３２４から取得した補正情報に基づいて、作業地表面の高さ（本体部座標系における高さ）を算出する。作業地表面高さの演算は、例えばバケット１１３の位置から鉛直下向きに存在する地面の三次元形状の平均高さを三次元情報から算出することで求めることができる。

　＜遠隔制御システム３００の構成例＞
　図６は、遠隔制御システム（遠隔操作室）３００の構成例を示す図である。遠隔制御システム３００は、通信装置３０６と、運転制御装置３０５と、ディスプレイ３０４と、を備える。

　作業機械１００中の通信装置１０４により、前述の映像圧縮が施された映像データと前述の符号化された支援情報は、図示しない無線基地局を介して無線通信で送信され、遠隔制御システム３００の通信装置３０６により受信され、運転制御装置３０５に受け渡される。

　運転制御装置３０５は、図６に示すように、ＡＲ画像を有する重畳映像の生成および表示制御のための構成として、例えば、映像伸長部３０５１と、映像重畳部３０５２と、支援情報復号化部３０５３と、座標系統合処理部３０５４と、支援図形生成部３０５５と、座標系補正情報２記憶部３０５６とを備えている。運転制御装置３０５は、この他、操作制御部３０２からの制御信号を通信装置３０６から送信し、これにより作業機械１００の各種動作を制御する機能も有するが、その詳細は省略する。運転制御装置３０５は、ＣＰＵ又はＧＰＵ（プロセッサ）、各種メモリ等を備えた汎用のコンピュータと、下記に示す各種動作を実行するためのコンピュータプログラムにより実現することができる。つまり、映像伸長部３０５１、映像重畳部３０５２、支援情報復号化部３０５３、座標系統合処理部３０５４、および支援図形生成部３０５５は、該当するコンピュータプログラムをプロセッサの内部メモリ上に展開することにより実現することができる。

　映像伸長部３０５１は、通信装置３０６によって受信された前述の映像圧縮（符号化）が施された映像データを伸長（復号化）する。

　支援情報復号化部３０５３は、通信装置３０６によって受信された前述の符号化された支援情報を復号化する。

　座標系補正情報２記憶部３０５６は、支援情報復号化部３０５３で復号化した支援情報、映像伸長部３０５１で伸長した映像データの座標系を統合するための補正情報を保持する。当該補正情報は、本体部座標系で記述されたデータをカメラ座標系のデータに変換するための情報である。また、当該補正情報は、例えば、本体部座標系（作業機械１００の旋回軸上かつ本体部１０２底面を基準点とし、クローラー１０１に対する本体部１０２の旋回に合わせて旋回する座標系）における周囲映像取得部Ｓ１の設置位置、および姿勢を示す６次元ベクトルとして構成することができる。なお、この補正情報は、作業機械１００の場出荷時、点検時に校正して生成してもよいし、作業機械１００起動時自動校正処理を実行して生成してもよい。

　座標系統合処理部３０５４は、支援情報復号化部３０５３が出力した支援情報および座標系補正情報２記憶部３０５６から出力された補正情報に基づいて、支援情報（バケット１１３の位置と姿勢、作業地表面の高さ、ダンプトラック等のベッセル２００の位置、クローラー１０１に対する本体部１０２の旋回角度）を周囲映像取得部Ｓ１の設置座標を基準（カメラ座標系）とした相対座標・姿勢情報へと変換する。

　支援図形生成部３０５５は、座標系統合処理部３０５４で変換された支援情報に基づいて、バケット１１３の位置と姿勢、作業地表面の高さ、ダンプトラック等のベッセル２００の位置、およびクローラー１０１の姿勢を示すためのＡＲ画像の構成（種々の支援図形を画像化したもの）をそれぞれ生成する。ＡＲ画像は、作業機械１００による作業を支援するため、作業機械１００や施工対象（地面等）等の実際の映像に重畳して表示される画像である。

　映像重畳部３０５２は、映像伸長部３０５１で伸長して得られた映像に支援図形生成部３０５５で生成したＡＲ画像を重畳し、重畳映像を生成する。当該重畳映像は、ディスプレイ３０４に出力される。

　＜映像圧縮および支援情報生成処理の詳細＞
　図７は、センサ情報処理部１０３による映像圧縮処理、および支援情報生成部１０３２による支援情報生成処理を説明するためのフローチャートである。以下の説明では、各ステップの動作主体を各処理部（映像圧縮部１０３１、バケット位置・姿勢算出部１０３２３など）としているが、これらはプロセッサによって実現されるので、動作主体をプロセッサとしてもよい。

（i）ステップＳ１１
　映像圧縮部１０３１は、周囲映像取得部Ｓ１が取得した映像を所定方式（例えば、ＭＰＥＧ、Ｈ．２６４など）で圧縮して圧縮映像データを生成し、通信装置１０４へと出力する。通信装置１０４は、圧縮映像データを遠隔制御システム３００に送信する。

（ii）ステップＳ１２
　バケット位置・姿勢算出部１０３２３は、姿勢情報取得部Ｓ３から取得した姿勢情報および座標系補正情報１記憶部１０３２４から取得した補正情報に基づいて、バケット１１３の位置および姿勢を算出する。当該姿勢情報は、姿勢情報取得部Ｓ３を基準とした情報（センサ座標系の情報）であるので、座標系補正情報によって本体部（車体）座標系の情報に変換され、バケット１１３の位置および姿勢が算出される。

（iii）ステップＳ１３
　ダンプ位置算出部１０３２１は、三次元情報取得部Ｓ２から取得した三次元情報および座標系補正情報１記憶部１０３２４から取得した補正情報に基づいて、ダンプトラック等のベッセル２００の位置を算出する。姿勢情報と同様に、上記三次元情報は、三次元情報取得部Ｓ２を基準とした情報（センサ座標系の情報）であるので、座標系補正情報によって本体部（車体）座標系の情報に変換され、ベッセル２００の位置が算出される。

（iv）ステップＳ１４
　作業地表面高さ算出部１０３２２は、三次元情報取得部Ｓ２から取得した三次元情報、ステップＳ１２で算出されたバケット位置、および座標系補正情報１記憶部１０３２４から取得した補正情報に基づいて、作業地表面高さを算出する。つまり、当該作業地表面高さは、例えばバケット１１３の爪部先端位置から鉛直下向きに存在する地面の三次元形状の平均高さを三次元情報から算出し、これを補正情報によって本体部座標系に変換することによって求めることができる。

（v）ステップＳ１５
　支援情報符号化部１０３３は、ステップＳ１２で算出されたバケット１１３の位置および姿勢、ステップＳ１３で算出されたダンプトラック等のベッセル２００の位置、ステップＳ１４で算出された作業地表面高さ、および姿勢情報取得部Ｓ３から取得したクローラー１０１に対する本体部１０２の旋回角度を符号化することにより符号化支援情報を生成し、通信装置１０４へ出力する。通信装置１０４は、符号化支援情報を遠隔制御システム（遠隔操作室）３００に送信する。

　なお、ステップＳ１１～ステップＳ１３の実行順序は入れ替えてもよく、ステップＳ１１～ステップＳ１２のいずれかのステップが１回実行される間に他のステップが２回以上実行されるようにしてもよい。

　＜重畳映像生成処理の詳細＞
　図８は、図６の運転制御装置３０５によるＡＲ画像を有する重畳映像を生成する処理を説明するためのフローチャートである。以下の説明では、各ステップの動作主体を各処理部（映像伸長部３０５１、支援情報復号化部３０５３など）としているが、これらはプロセッサによって実現されるので、動作主体をプロセッサとしてもよい。

（i）ステップＳ１６
　映像伸長部３０５１は、作業機械１００の通信装置１０４から送信され、遠隔制御システム３００の通信装置３０６で受信した、圧縮された映像データを伸長（復号）する。伸長して得られた映像データは、カメラ座標系から見た外界の風景を画像平面上に投影したデータとなっている。

（ii）ステップＳ１７
　支援情報復号化部３０５３は、作業機械１００の通信装置１０４から送信され、遠隔制御システム３００の通信装置３０６で受信した符号化支援情報を復号化する。復号化して得られた支援情報は、本体部座標系（車体座標系）の情報となっている。

（iii）ステップＳ１８
　座標系統合処理部３０５４は、ステップＳ１７で復号化して得られた支援情報および座標系補正情報２記憶部３０５６から出力された補正情報に基づいて、支援情報が周囲映像取得部Ｓ１の設置位置を基準とした相対座標・姿勢情報へと変換される。つまり、当該支援情報は、本体部座標系の情報からカメラ座標系の情報に変換される。

（iv）ステップＳ１９
　支援図形生成部３０５５は、ステップＳ１８で座標変換された支援情報に基づいて、バケット１１３の位置と姿勢、作業地表面の高さ、ダンプトラック等のベッセル２００の位置、およびクローラー１０１の姿勢を示すＡＲ画像（支援図形）を生成する。

　ＡＲ画像は、三次元空間上の線分や図形をカメラ座標から画像平面に投影する演算を行うことにより生成することができる。例えば、ベッセル２００の場合、上端開口部の位置が分かるので、ベッセル２００の上端開口部を表す矩形を検出し、それを図形化することによりＡＲ画像が生成される。また、表示すべき部位（ベッセル、バケット等）のテンプレート画像データを予め用意しておき、各部位の位置によってテンプレート画像を適宜変形することによりＡＲ画像を生成してもよい。カメラ座標から画像平面への変換は、例えば図示しない記憶デバイスに記憶しておいた、周囲映像取得部Ｓ１の内部パラメータ（レンズの焦点距離、撮像素子の１画素あたりの有効サイズ、および画像の中心座標）を用いた透視射影変換などにより行う。

（v）ステップＳ２０
　映像重畳部３０５２は、ステップＳ１９で生成されたＡＲ画像を、ステップＳ１６で得られた映像に重畳して重畳映像を生成し、これをディスプレイ３０４に出力する。

　＜重畳映像の例＞
　図９から図１４は、第１の実施形態における重畳映像（作業機械フロント部映像＋周囲映像＋ＡＲ画像）の例を説明するための図である。図９は、伸長して得られた映像（作業機械フロント部映像＋周囲映像）の例を示す図である。図１０は、伸長して得られた映像（図９）にＡＲ画像を重畳して得られる重畳映像の例を示す図である。図１１は、バケット１１３を垂直に持ち上げた際に表示される重畳画像（作業機械フロント部映像＋周囲映像＋ＡＲ画像）の例を示す図である。図１２は、重畳画像において表示されるＡＲ画像のうち、クローラー１０１の向きを示す補助線と車体の対応関係の例を示す図である。図１３は、重畳画像において表示されるＡＲ画像の一例を示す図である。図１４は、重畳画像において表示されるＡＲ画像の他の例を示す図である。

　映像伸長部３０５１で伸長された映像は、例えば図９に示すように、ブーム１１１、アーム１１２、バケット１１３（作業機械フロント部）、ダンプトラック等のベッセル２００、掘削対象である地面（周囲映像）などで構成される。ディスプレイ３０４には、図９に示すような映像に、映像重畳部３０５２で重畳されたＡＲ画像を含む形で例えば図１０で示すように表示される。

　図１０に示すように、ＡＲ画像は、作業機械１００の掘削作業において、バケット１１３の位置および姿勢を示す図形Ｆ１と、バケット１１３の移動方向に対応する位置、換言すれば、バケット１１３が移動しようとしている地面（作業地表面）の位置を示す図形Ｆ３と、両図形を繋ぐ図形Ｆ２と、クローラー１０１の右側部分の位置を示す図形Ｆ４と、クローラー１０１の左側部分の位置を示す図形Ｆ５と、クローラー１０１の前端部の位置を示す図形Ｆ６と、クローラー１０１の後端部の位置を示す図形Ｆ７と、ダンプトラック等のベッセル２００の天辺４頂点の位置を示す図形Ｆ８と、を含む。

　図形Ｆ１は、バケット位置・姿勢算出部１０３２３で算出されたバケット１１３の位置にバケットの姿勢と形状を反映するように表示される。これにより、映像伝送遅延および通信時の通信パケット損失に伴う映像乱れの影響がある場合でも、映像よりも低容量（軽量）で伝送遅延のパケット損失の影響を受けにくい支援情報に基づいて描画したＡＲ画像により、バケット１１３の様子を明確に視認することが可能になる。

　例えば、遠隔制御システム３００の操作稈３０３の操作によってバケット１１３を垂直に持ち上げる際に、ディスプレイ３０４に表示される重畳映像の一例を図１１に示す。周囲映像取得部Ｓ１で取得された映像のデータは、映像圧縮部１０３１での圧縮処理、映像伸長部３０５１での伸長処理、および通信装置１０４から通信装置３０６への送信で生じる各種遅延の影響で、作業機械１００の状態に対して遅延した状態でディスプレイ３０４に表示される。一方、支援情報生成部１０３２で生成された支援情報は映像データに対してデータ容量が小さく、符号化・復号化処理にかかる遅延が小さい。さらに、ネットワークスライシングやＱｏＳ（Quality of Service）制御により、映像データと異なるパケットで支援情報の伝送を行うと、通信装置１０４から通信装置３０６への送信によって支援情報にかかる遅延についても、映像データにかかる遅延と比較して少なくなる。このため、支援情報に基づいて描画した図形Ｆ１は、映像データと比較して低遅延に作業機械１００のバケット１１３の位置および姿勢を示すことが可能となる。この結果、図１１に示したように、バケット１１３を垂直に持ち上げる操作を行う場合、図形Ｆ１がバケット１１３の動作をバケット１１３の映像データよりも先行して表わすようにすることが可能となる。また、通信パケット損失により、映像の一部もしくは全体が乱れた場合でも、遠隔制御システム３００の運転制御装置３０５でＡＲ画像を重畳表示することで、バケット１１３の動作の様子を視認することが可能となる。

　図形Ｆ３は、作業地表面の位置を反映するように表示される。作業地表面の位置は、作業地表面高さ算出部１０３２２が、上述の三次元情報から、バケット１１３の先端位置から鉛直下向きに存在する地面の三次元形状の平均高さを算出することにより求められる。図形Ｆ３を表示することにより、映像伝送遅延および通信時の通信パケット損失に伴う映像乱れの影響がある場合でも、映像データよりも低容量（軽量）で伝送遅延のパケット損失の影響を受けにくい支援情報に基づいて描画したＡＲ画像によりバケット１１３と作業地表面の位置関係を明確に認識することが可能になる。また、作業地表面（バケット１１３による掘削箇所）を挟むように作業地表面の両側に図形Ｆ３を表示されることにより、遠隔制御システム３００の操作者は、バケット１１３と作業地表面の位置関係を明確に認識しつつも、作業地表面も明瞭にディスプレイ３０４にて観察することが可能になる。

　また、図形Ｆ２は、図形Ｆ１とＦ３を繋ぐ図形として表示される。バケット１１３が水平な地面を掘削する場合、図形Ｆ１がバケット１１３先端部とＦ３が略水平方向に沿って延びるのに対し、図形Ｆ２は図形Ｆ１およびＦ３と交差し、略垂直方向に沿って延びる。図形Ｆ２を表示することにより、操作者はバケット１１３と地面との距離を認識しやすくなる。

　図形Ｆ４から図形Ｆ７は、姿勢情報取得部Ｓ３で取得したクローラー１０１に対する本体部１０２の旋回角度と車体の寸法値に基づいて、左右クローラーの向き、クローラーの前後端部を示す補助線を表示する。

　図１２において、図形Ｆ４はクローラー１０１の右側部分の位置を、図形Ｆ５はクローラー１０１の左側部分の位置を、図形Ｆ６はクローラー１０１の前端部の位置を、図形Ｆ７はクローラー１０１の後端部の位置をそれぞれ示す。これにより、映像伝送遅延および通信時の通信パケット損失に伴う映像乱れの影響がある場合でも、映像データよりも低容量（軽量）で伝送遅延のパケット損失の影響を受けにくい支援情報を基に描画したＡＲ画像により、クローラー１０１に対する本体部１０２の旋回角度を明確に視認することが可能になる。

　図形Ｆ８は、ダンプ位置算出部１０３２１で算出されたダンプトラック等のベッセル２００の位置に基づき、ダンプトラック等のベッセル２００の天辺４頂点の位置を表示する。これにより、映像伝送遅延および通信時の通信パケット損失に伴う映像乱れの影響がある場合でも、映像データよりも軽量で伝送遅延のパケット損失の影響を受けにくい軽量な支援情報を基に描画したＡＲ画像により、ダンプトラック等のベッセル２００の位置を明確に視認することが可能になる。

　図１３は、一例として、遠隔制御システム３００の操作稈３０３の操作によって、クローラー１０１に対して本体部１０２を旋回させるように動作する際に、ディスプレイ３０４に表示される重畳映像を示す。周囲映像取得部Ｓ１で取得された映像は、映像圧縮部１０３１での圧縮処理、通信装置１０４から通信装置３０６への送信、および映像伸長部３０５１での伸長処理で生じる各種遅延の影響で、作業機械１００の状態に対して遅延した状態でディスプレイ３０４に表示される。一方、支援情報生成部１０３２で生成された支援情報は、映像データと比較してデータ容量が小さく、符号化・復号化処理にかかる遅延が小さい。さらに、ネットワークスライシングやＱｏＳ制御により、映像データと異なるパケットで支援情報の伝送を行うと、通信装置１０４から通信装置３０６への送信によって支援情報にかかる遅延についても、映像データにかかる遅延と比較して少なくなる。このため、支援情報に基づいて描画した図形Ｆ８は、映像データと比較して低遅延にダンプトラック等のベッセル２００の位置を示すことが可能となる。また、支援情報に基づいて描画した図形Ｆ４から図形Ｆ７は、映像データと比較して低遅延に作業機械１００の旋回動作を示すことが可能となる。この結果、図１３に示したように、クローラー１０１に対して本体部１０２を旋回させるように操作を行う場合、図形Ｆ８がダンプトラック等のベッセル２００の位置を、図形Ｆ４から図形Ｆ７がクローラー１０１に対する本体部１０２の旋回動作を先行表示することが可能となる。また、通信パケット損失により、映像の一部もしくは全体が乱れた場合でも、遠隔制御システム３００の運転制御装置３０５でＡＲ画像を重畳表示することにより、ダンプトラック等のベッセル２００の位置、およびクローラー１０１に対する本体部１０２の旋回動作を視認することが可能となる。なお、図１３においてベッセル２００の表示位置と図形Ｆ８の表示位置がずれているのは、クローラー１０１の旋回動作により座標系が異なってしまうので周囲画像（ベッセル２００の画像）とＡＲ画像（図形Ｆ８）の重畳位置がずれてしまうためである。

　図１４は、クローラー１０１に対する本体部１０２の旋回動作をＡＲ画像で先行描画する表示例を示す。図１４において、図形Ｆ１０は、支援情報に基づいて生成した図形表示であって、作業機械１００のクローラー１０１に対する、本体部１０２を旋回角度、周囲の車両、および地形との関係を示す図形表示である。図形Ｆ１０は、本体部１０２の正面を示す図形Ｆ１１と、本体部１０２の左９０°方向を示す図形Ｆ１２と、本体部１０２の右９０度方向を示す図形Ｆ１３と、クローラー１０１の向きを示す図形Ｆ１４と、作業地表面の位置する方向を示す図形Ｆ１５と、ダンプトラック等のベッセル２００の位置する方向を示す図形Ｆ１６と、を含む。この重畳映像によれば、映像と比較して低遅延に作業機械１００の旋回動作を示すことが可能となる。また、通信パケット損失により、映像の一部もしくは全体が乱れた場合でも、作業機械１００の旋回動作を示すことが可能となる。

　＜ＡＲ先行描画中の表示＞
　図１５は、ＡＲ図形を映像に対して先行重畳していることを示すＡＲ先行描画中表示Ｆ１７の例を示す図である。ＡＲ先行描画中表示Ｆ１７によれば、作業機械１００の検知範囲内にダンプトラック等が配置されていない場合や作業機械１００が静止している場合に、作業機械遠隔操作者に対して重畳映像においてＡＲ図形が先行描画されていることを示し、操作開始もしくは操作再開時の誤操作を防ぐことが可能となる。つまり、作業機械１００が静止しているときにはＡＲ図形と映像のずれは生じないが操作を開始するとＡＲ図形が映像に先行して表示されることを操作者は認識することができるので誤操作を防止することができる。また、各ＡＲ図形表示が作業映像に対してずれている場合にキャリブレーションによるずれではなく映像遅延によるずれであることを操作者に認識させることができる。

　なお、図１０、図１１、図１３～図１５に示した例では図形Ｆ１～Ｆ８のＡＲ図形がすべて重畳されているように表示したが、バケット１１３の位置と姿勢、作業地表面の位置、ダンプトラック等のベッセル２００の位置、クローラー１０１に対する本体部１０２の旋回角度によっては、図形Ｆ１～Ｆ８はそれぞれ一部もしくは全体が重畳映像に表示されなくても良いことはいうまでもない。

　＜映像および支援情報の通信遅延：タイミングチャートによる説明＞
　図１６から図１８のタイミングチャートを参照して、周囲映像取得部Ｓ１で取得された映像と支援情報生成部１０３２で生成された支援情報にそれぞれ加わる通信遅延を説明する。

（i）図１６は、第１の実施形態の構成を採用せず、作業機械１００内でＡＲ画像を重畳した重畳映像を生成し、遠隔制御システム３００に送信した場合、もしくはネットワークスライシング、ＱｏＳ制御を行わず、周囲映像取得部Ｓ１で取得された映像と支援情報生成部１０３２で生成された支援情報を同一の通信パケットで遠隔制御システム３００に送信した場合に生じる通信遅延を示す図である。この場合、映像データと支援情報は同じ通信遅延を受けるため通信装置１０４から送信された各情報は、通信装置３０６では図示した通信遅延がかかった状態で受信される。

（ii）図１７は、第１の実施形態の構成を採用した場合に、周囲映像取得部Ｓ１で取得された映像と支援情報生成部１０３２で生成された支援情報それぞれに加わる通信遅延を示す図である。図１７に示すように、映像データと支援情報は並列に（例えば、異なる通信系統で）通信装置１０４から通信装置３０６へと送信される。通信装置３０６では、映像データには通信遅延１で示す量の通信遅延が加わり、支援情報には通信遅延１とは異なる通信遅延２で示す量の通信遅延が加わる。ネットワークスライシング、ＱｏＳ制御により、通信遅延２は通信遅延１と比較して小さいため、通信装置３０６で受信された支援情報に加わった通信遅延は、映像データに加わった通信遅延と比較して小さくなる。

　これにより、図１８のタイミングチャートに示すように、第１の実施形態の構成によれば、図１８に図示した映像１に対して、映像１よりも後に通信装置１０４から通信装置３０６に送信された支援情報２に基づいてＡＲ画像を生成し、ＡＲ画像を重畳した重畳映像を生成することが可能となり、映像伝送遅延よる作業効率低下を防ぐことが可能となる。

　なお、ここでは通信装置１０４から通信装置３０６への通信遅延のみを考慮して説明したが、これに加えて映像の圧縮・伸長処理の処理遅延と、支援情報の符号化・復号化処理の処理遅延の間に差がある場合でも第１の実施形態の構成によれば、遅延による作業効率低下を防ぐことが可能となる。

　また、図１８では映像データと支援情報が通信装置１０４から送信されるタイミング、周期は一致していたが、これらは一致している必要がないことは言うまでもない。また、図１８では、支援情報１と支援情報２にそれぞれ加わる遅延時間を等しいものとして示したが、通信装置１０４と通信装置３０６の間の通信設備の稼働状況等によって、それぞれの遅延時間は変動しうるし、このような変動が生じた場合でも、第１の実施形態の効果は損なわれるものではない。

　以上説明したように、第１の実施形態によれば、作業機械１００の支援情報生成部１０３２で軽量化された三次元情報を含む支援情報、周囲映像取得部Ｓ１で取得した映像に基づいて、遠隔制御システム３００の運転制御装置３０５でＡＲ画像が重畳された重畳映像がディスプレイ３０４に出力される。これにより、映像の遅延や通信パケット損失による映像の乱れに阻害されることなく、バケット１１３、ダンプトラック等のベッセル２００、作業地表面、クローラー１０１に対する本体部１０２の旋回角などを視認することが可能となる。

（２）第２の実施形態
（２－１）基本形態
　図１９から図２５を参照して、第２の実施形態（基本形態）に係る作業機械制御システム１について説明する。なお、第２の実施形態の作業機械制御システム１の全体構成は第１の実施形態と同様であるので、重複する説明は省略する。第２の実施形態は、座標系統合処理部３０５４での支援情報に加わる座標変換処理が第１の実施形態とは異なっている。

　＜旋回動作を考慮した座標変換の導入＞
　第１の実施形態では、遠隔制御システム３００の通信装置３０６が受信した映像データに対応する映像を作業機械１００の周囲映像取得部Ｓ１が取得した時刻と、遠隔制御システム３００の通信装置３０６が受信した支援情報の基となる情報を作業機械１００の三次元情報取得部Ｓ２と姿勢情報取得部Ｓ３が取得した時刻との間には、時間差がある。例えば、図１８のタイミングチャートで示す状況の場合、重畳映像を映像１と支援情報２を用いて生成することになるが、映像１と支援情報２が通信装置１０４から送信されるタイミングには差がある。このため、作業機械１００が、クローラー１０１に対して本体部１０２を左方向旋回するように動作する場合、映像１取得時の作業機械１００の姿勢と、支援情報２取得時の作業機械１００の姿勢は図１９に示すようになる。ここで、座標系Ｃ１は、作業機械１００において映像１および支援情報１を取得したタイミングでのカメラ座標系（カメラ姿勢を表す座標系）である。座標系Ｃ２は、作業機械１００において映像２および支援情報２を取得したタイミングでのカメラ座標系（カメラ姿勢を表す座標系）である。

　第１の実施形態では、座標系統合処理部３０５４が支援情報２の座標変換を行う際、変換先の座標系として座標系Ｃ２を用いている。これにより、図１３に示したようなＡＲ画像を重畳した重畳映像がディスプレイ３０４に表示されることとなる。ただし、この変換方法では、作業機械１００の旋回時に周囲の地形や車両の映像とＡＲ図形の表示位置がずれることとなり、操作者の負担が増える可能性がある。

　そこで、第２の実施形態（基本形態および変形例）では、座標系統合処理部３０５４が支援情報２の座標変換を行う際、支援情報１と支援情報２の差を考慮した変換を行い、変換先の座標系として座標系Ｃ１を用いることで、映像とＡＲ画像の間のずれの解消と、映像データの遅延や通信パケット損失による映像の乱れによって阻害されることなく作業機械１００の操作が行える映像表示を行うことを両立する。

　＜運転制御装置３０５の内部構成例＞
　図２０は、第２の実施形態（基本形態）による運転制御装置３０５の内部構成例を示す図である。運転制御装置３０５は、第１の実施形態（図６）の構成に加えて、遅延時間推定部３０５７を備えている。

　遅延時間推定部３０５７は、通信装置３０６で受信したデータに基づいて、映像データに加わる遅延時間１、支援情報に加わる遅延時間２を推定する。例えば、通信装置３０６が通信状況を監視する機能を有している。このような場合に、遅延時間推定部３０５７は、通信装置３０６から検知された通信状況の情報から現状どの程度の遅延時間が発生しているかを推定する。

　座標系統合処理部３０５４は、遅延時間推定部３０５７から出力された遅延時間（推定値）および座標系補正情報２記憶部３０５６から出力された補正情報に基づいて、支援情報を座標系Ｃ１における情報へと変換する。例えば、座標系統合処理部３０５４は、周囲映像データの遅延時間（第１遅延時間）と支援情報の遅延時間（第２遅延時間）とを比較し、作業機械１００の作業状態を先行してＡＲ画像表示するのに必要な支援情報（第２タイミングの支援情報）を決定する。また、座標系統合処理部３０５４は、第１遅延時間と第２遅延時間との差を算出し、遅延時間の差分だけ遡った支援時間のクローラー１０１に対する本体部１０２の旋回角度と最新の支援時間情報のクローラー２０２に対する本体部１０２の旋回角度との差に基づいて、座標系Ｃ２から座標系Ｃ１への変換量を算出する。そして、座標系統合処理部３０５４は、支援情報（座標系Ｃ２）を、作業機械の姿勢の座標系Ｃ１（第１タイミングの周囲映像を取得した座標系）に変換して、座標変換された支援情報を生成し、これからＡＲ画像（支援図形）を生成する。なお、その他の構成要素については第１の実施形態（図６）と重複するため省略する。

　＜重畳映像生成処理＞
　図２１は、第２の実施形態（基本形態）の運転制御装置３０５（図２０参照）による、ＡＲ画像を有する重畳映像生成処理を説明するためのフローチャートである。第１の実施形態（図８）と同一のステップＳ１６およびステップＳ１７の次に、ステップＳ２２が実行される。なお、ステップＳ１６、Ｓ１７、Ｓ１９、Ｓ２０は第１の実施形態（図８）と同一のため説明は省略する。

　ステップＳ２２では、遅延時間推定部３０５７は、通信装置３０６で受信したデータに基づいて、映像データおよび支援情報のそれぞれに加わる遅延時間を推定する。

　ステップＳ１７では、座標系統合処理部３０５４は、遅延時間推定部３０５７から出力された遅延時間および座標系補正情報２記憶部３０５６から出力された補正情報に基づいて、支援情報を座標系Ｃ１における情報へと変換する。

　（２－２）変形例
　変形例は、上記基本形態のように通信装置３０６が検知する通信状況の情報から遅延時間を検知するのではなく、送信側（作業機械１００側）で映像データに埋め込まれた情報に基づいて遅延時間を検知し、それを座標変換に反映させる処理を行う。

　＜センサ情報処理部１０３の内部構成例＞
（i）図２２は、第２の実施形態（変形例）におけるセンサ情報処理部１０３の内部構成例１を示す図である。

　センサ情報処理部１０３は、第１の実施形態（図４）の構成に加えて、情報埋込部１０３４を備える。情報埋込部１０３４は、周囲映像取得部Ｓ１で取得された映像の一部の画素に、姿勢情報取得部Ｓ３で取得したクローラー１０１に対する本体部１０２の旋回角度を埋め込む。その他の構成要素については第１の実施形態（図４）と重複するため省略する。

（ii）図２３は、第２の実施形態（変形例）におけるセンサ情報処理部１０３の内部構成例２を示す図である。
　センサ情報処理部１０３は、図２２の構成に加えて、タイムスタンプ発行部１０３５を備える。情報埋込部１０３４は、周囲映像取得部Ｓ１で取得された映像の一部の画素に、タイムスタンプ情報を埋め込む。支援情報符号化部１０３３は、第１の実施形態で符号化したデータに加えて、タイムスタンプ発行部１０３５が出力したタイムスタンプを符号化する。その他の構成要素については第１の実施形態（図４）と重複するため省略する。

　＜情報埋め込み方法＞
　図２４は、情報埋込部１０３４における、周囲映像取得部Ｓ１で取得された映像の一部の画素への情報埋込方法の一例を示す図である。

　情報埋込部１０３４は、周囲映像取得部Ｓ１で取得された映像Ｉ１のうち遠隔制御システム３００の操作者の妨げにならない一部の画素Ｉ１１の画素値を、姿勢情報取得部Ｓ３で取得したクローラー１０１に対する本体部１０２の旋回角度、またはタイムスタンプ発行部１０３５で出力されたタイムスタンプ情報で置き換える。なお、インターレース方式での映像圧縮部１０３１への映像入力や、映像圧縮部１０３１での圧縮処理におけるマクロブロックサイズなどを考慮したピクセル数分の画素値を置き換えれば良い。例えば、インターレース方式の映像を、マクロブロックサイズが１６×１６である、Ｈ．２６４で圧縮する場合は、縦３２ピクセル、横１６ピクセル分の画素値をこれらの情報で置き換えれば良い。

　＜運転制御装置３０５の内部構成例＞
　図２５は、図２２および図２３のセンサ情報処理部１０３に対応する運転制御装置３０５の内部構成例を示す図である。

　当該運転制御装置３０５は、第１の実施形態（図６）の構成に加えて、情報読取部３０５８を備える。

　情報読取部３０５８は、映像伸長部３０５１で伸長した映像データの一部の画素値から、センサ情報処理部１０３の情報埋込部１０３４で埋め込まれた、姿勢情報取得部Ｓ３で取得したクローラー１０１に対する本体部１０２の旋回角度、またはタイムスタンプ発行部１０３５で出力されたタイムスタンプ情報を読み取る。

　座標系統合処理部３０５４は、情報読取部３０５８で読み取った情報および支援情報復号化部３０５３で復号化した支援情報に基づいて、支援情報（座標系Ｃ２）を座標系Ｃ１における情報へと変換する。情報読取部３０５８で読み取った情報がクローラー１０１に対する本体部１０２の旋回角度の場合、座標系統合処理部３０５４は、復号化した支援情報のクローラー１０１に対する本体部１０２の旋回角度と読み取った旋回角度との差に基づいて、座標系Ｃ１への変換量を算出する。一方、情報読取部３０５８で読み取った情報がタイムスタンプ発行部１０３５で出力されたタイムスタンプ情報の場合、座標系統合処理部３０５４は、復号化した支援情報のタイムスタンプ情報と読み取ったタイムスタンプ情報とを比較し、タイムスタンプ情報の時間差分だけ遡った支援情報のクローラー１０１に対する本体部１０２の旋回角度と最新の支援情報のクローラー１０１に対する本体部１０２の旋回角度との差に基づいて、座標系Ｃ２から座標系Ｃ１への変換量を算出する。その他の構成要素については第１の実施形態（図６）と重複するため省略する。

　＜映像圧縮処理および支援情報生成処理＞
　図２６は、第２の実施形態（変形例）のセンサ情報処理部１０３（図２２あるいは図２３参照）による映像圧縮処理および支援情報生成処理を説明するためのフローチャートである。図２６において、ステップＳ１１からステップＳ１５の処理は第１の実施形態の処理（図７参照）と同一であるので、それらのステップの説明は省略する。

　ステップＳ２１では、情報埋込部１０３４は、周囲映像取得部Ｓ１で取得された映像の一部の画素値を、姿勢情報取得部Ｓ３で取得したクローラー１０１に対する本体部１０２の旋回角度、またはタイムスタンプ発行部１０３５で出力されたタイムスタンプ情報で置き換える。

　＜重畳映像生成処理＞
　図２７は、第２の実施形態（変形例）の運転制御装置３０５（図２５参照）による、ＡＲ画像を有する重畳映像生成処理を説明するためのフローチャートである。第１の実施形態（図８）と同一のステップＳ１６の処理とステップＳ１７の処理との間にステップＳ２３の処理が実行される。

　ステップＳ２３では、情報読取部３０５８は、ステップＳ１６で伸長した映像データの一部の画素値に基づいて、センサ情報処理部１０３の情報埋込部１０３４で埋め込まれた情報であって、姿勢情報取得部Ｓ３で取得したクローラー１０１に対する本体部１０２の旋回角度またはタイムスタンプ発行部１０３５で出力されたタイムスタンプ情報を読み取る。

　ステップＳ１８では、座標系統合処理部３０５４は、ステップＳ２３で読み取った情報であって、姿勢情報取得部Ｓ３で取得したクローラー１０１に対する本体部１０２の旋回角度またはタイムスタンプ発行部１０３５で出力されたタイムスタンプ情報、およびステップＳ１７で復号化した支援情報に基づいて、支援情報（座標系Ｃ２）を座標系Ｃ１における情報へと変換する。なお、ステップＳ１６、Ｓ１７、Ｓ１９、およびＳ２０の処理は、第１の実施形態（図８）と同一のため説明は省略する。

　＜重畳表示例＞
　図２８は、第２の実施形態（基本形態および変形例）の処理によって表示される、映像（周囲撮像映像および作業機械フロント部映像）およびそれに重畳表示されるＡＲ画像の例を示す図である。より詳細には、図２８では、遠隔制御システム３００の操作稈３０３の操作によって、クローラー１０１に対して本体部１０２を旋回させるように動作する際に、ディスプレイ３０４に表示される重畳映像の一例が示されている。

　座標系Ｃ１における情報へと変換した支援情報に基づいて生成されたＡＲ画像が、周囲映像取得部Ｓ１で取得された映像に対して重畳される。これにより、映像内の周囲の地形や車両の映像と表示位置が一致した図形Ｆ３～Ｆ８、および映像内の周囲の地形や車両に対するバケット１１３の相対位置および姿勢を示す図形Ｆ１を描画することが可能となる。

　以上説明したように、第２の実施形態によれば、映像とＡＲ画像の間のずれの解消と、映像データの遅延や通信パケット損失による映像の乱れによって阻害されることなく作業機械１００の操作が行える映像表示の両立が可能となる。

（３）第３の実施形態
　図２９から図３１を参照して、第３の実施形態に係る作業機械制御システム１について説明する。なお、第３の実施形態の作業機械制御システム１の全体構成は第２の実施形態のそれと同様であるので、重複する説明は省略する。

　第３の実施形態では、支援情報を座標系Ｃ２における情報としてＡＲ画像を生成して、周囲映像を座標系Ｃ１で撮影した際に取得される映像へと変換する。つまり、第２の実施形態では、映像は加工せず、ＡＲ画像を映像のどこに重畳するか計算し重畳画像を生成するが、第３の実施形態では、映像を斜影変換（例えば、ホモグラフィ変換：Ｃ１とＣ２の姿勢の差から変換量が算出される）して映像を歪ませてからＡＲ画像を重畳している。

　＜運転制御装置３０５の内部構成例１＞
　図２９は、第３の実施形態による運転制御装置３０５の内部構成例１を示す図である。当該運転制御装置３０５は、第２の実施形態（基本形態）の構成（図２０参照）に加えて、映像変換部３０６０を備える。この例では、座標系統合処理部３０５４は、支援情報を座標系Ｃ２（カメラ座標系）における情報へと変換する。映像変換部３０６０は、遅延時間推定部３０５７が出力した遅延時間および支援情報復号化部３０５３で復号化した支援情報に基づいて、座標系Ｃ２（カメラ座標系）から座標系Ｃ１（カメラ座標系）への変換量を算出し、座標系Ｃ２の映像を座標系Ｃ１で撮影した際に取得可能な映像に変換する。その他の構成要素については第２の実施形態（図２０）と重複するため説明は省略する。

　＜運転制御装置３０５の内部構成例２＞
　図３０は、第３の実施形態による運転制御装置３０５の内部構成例２を示す図である。当該運転制御装置３０５は、第２の実施形態（変形例）の構成（図２５参照）に加えて、映像変換部３０６０を備える。この例では、座標系統合処理部３０５４は、支援情報を座標系Ｃ２における情報へと変換する。映像変換部３０６０は、情報読取部３０５８が出力した情報（姿勢情報取得部Ｓ３で取得したクローラー１０１に対する本体部１０２の旋回角度、またはタイムスタンプ発行部１０３５で出力されたタイムスタンプ情報）および支援情報復号化部３０５３で復号化した支援情報に基づいて、座標系Ｃ２から座標系Ｃ１への変換量を算出し、座標系Ｃ２の映像を座標系Ｃ１で撮影した際に取得可能な映像に変換する。その他の構成要素については第２の実施形態（図２５）と重複するため説明は省略する。

　＜重畳映像例＞
　図３１は、第３の実施形態の処理によって表示される、映像（周囲撮像映像および作業機械フロント部映像）およびそれに重畳表示されるＡＲ画像の例を示す図である。具体的に、図３１では、遠隔制御システム３００の操作稈３０３の操作によってクローラー１０１に対して本体部１０２を旋回させるように動作する際に、ディスプレイ３０４に表示される重畳映像例が示されている。

　周囲映像取得部Ｓ１で取得され、座標系Ｃ１にて撮影した際に取得される状態に変換された映像（歪められた映像）に対して、座標系Ｃ２における情報へと変換した支援情報に基づいて生成されたＡＲ画像が重畳される。これにより、映像内の周囲の地形や車両の映像と表示位置が一致した図形Ｆ３～Ｆ８、および映像内の周囲の地形や車両に対するバケット１１３の相対位置および姿勢を示す図形Ｆ１を描画することが可能となる。

　以上説明したように、第３の実施形態によれば、映像とＡＲ画像の間のずれの解消と、映像の遅延や通信パケット損失による映像の乱れによって阻害されることなく作業機械１００の操作が行える映像表示の両立が可能となる。

（４）第４の実施形態
　図３２から図３４を参照して、第４の実施形態による作業機械制御システム１について説明する。なお、第４の実施形態による作業機械制御システム１の全体構成は、第１の実施形態と同様であるので、重複する説明は省略する。

　第４の実施形態は、ディスプレイ３０４に表示される重畳映像に、最後に（最新の）掘削した作業地表面、もしくは次に掘削予定の作業地表面の位置を示す図形を重畳表示する点が第１の実施形態と異なる。作業地面の位置を表示することにより、ダンプトラック等のベッセル２００へ掘削した土砂等を放土したのちに、次の掘削予定の作業地表面へ向けて、クローラー１０１に対して本体部１０２を旋回動作させる際に、映像データの遅延や通信パケット損失による映像の乱れによって阻害されることなく作業機械１００を操作することが可能となる。

　＜運転制御装置３０５の内部構成例＞
　図３２は、第４の実施形態による運転制御装置３０５の内部構成例を示す図である。運転制御装置３０５は、第１の実施形態（図６参照）の構成に加えて、作業対象地表面記憶部３０５９を備える。
　作業対象地表面記憶部３０５９は、作業機械１００が次に掘削する予定の作業地表面の位置（操作者によって予め指定することができる）を記憶する。
　座標系統合処理部３０５４は、支援情報と共に、作業対象地表面記憶部３０５９から出力された作業対象地表面の位置を座標変換する。

　支援図形生成部３０５５は、座標系統合処理部３０５４で変換された、作業対象地表面記憶部３０５９から出力された作業対象地表面の位置および支援情報に基づいて、ＡＲ画像を生成する。

　なお、最後に掘削した作業地面を表示する場合には掘削予定の作業地面の情報は不要であるが、最後の掘削作業地面と掘削予定の作業地面を同時に表示させる場合には作業対象地表面記憶部３０５９から必要な情報が読みだされる。その他の構成要素については第１の実施形態（図６）と重複するため省略する。

　＜重畳映像例＞
　図３３は、第４の実施形態の処理によって表示される、映像（周囲撮像映像および作業機械フロント部映像）およびそれに重畳表示されるＡＲ画像の例を示す図である。

　図３３において、映像に重畳表示されるＡＲ画像は、第１の実施形態（図１０）の構成に加えて、最後に掘削した作業地面および／あるいは掘削予定の作業地面を示す図形Ｆ９を含む。図形Ｆ９は、最後の掘削作業地面の位置情報、および／あるいは作業対象地表面記憶部３０５９から出力された掘削予定の作業対象地表面の位置情報に基づいて、生成された図形である。このように最後の掘削作業地面および／あるいは掘削予定の作業対象地表面をＡＲ画像として重畳表示することにより、ダンプトラック等のベッセル２００に掘削した土砂等を放土したのちに、次の掘削予定の作業対象地表面へ向けて、クローラー１０１に対して本体部１０２を旋回動作させる際の目標位置を、操作者が視認することが可能となる。

　なお、作業対象地表面記憶部３０５９が記憶する作業対象地表面の位置は、例えば、最後に作業機械１００が掘削を行った際に、バケット１１３先端部が接地した地面の座標値を記憶しておいても良いし、図３４に示したように車体をトップビュー視点で表示したＧＵＩ（Graphical User Interface）上で、所定の回数分、掘削する予定の地面の位置をマーカーＰ１～Ｐ４で示すように指定することであらかじめ記憶させておいても良い。

　以上説明したように、第４の実施形態によれば、次の掘削予定の作業地表面へ向けて、クローラー１０１に対して本体部１０２を旋回動作させる際に、映像データの遅延や通信パケット損失による映像の乱れによって阻害されることなく作業機械１００を操作することが可能となる。

（５）変形例
　第１から第４の実施形態では、作業機械１００がいわゆるバックホウである場合について説明したが、作業機械１００のバケットが前方を向いているローディングショベルである場合にも、第１から第４の実施形態と同様の構成および処理を適用することができる。

　＜ＡＲ画像の表示状態切り替え機能＞
　図３５は、上述の各実施形態の作業機械制御システム１におけるＡＲ画像の表示状態の切り替えを説明する概念図である。

　作業機械１００は、掘削場所へ移動して（Ｓ３１）、待機（Ｓ３２）の後、バケット１１３を駆動して掘削（Ｓ３３）を実行する。掘削が実行されると、作業機械１００が旋回（行き）（Ｓ３４）して、ベッセル２００へ放土（Ｓ３５）が行われる。放土が終わると、バケット１１３は再度掘削場所へと旋回（戻り）（Ｓ３６）して、掘削（Ｓ３３）が続けられる。

　掘削が行われている段階（Ｓ３３）では、バケット１１３を示す図形Ｆ１と作業対象地表面位置を示す図形Ｆ３、および図形Ｆ１と図形Ｆ３をつなぐ図形Ｆ２が表示されるように設定することができる。また、旋回する際（Ｓ３４およびＳ３６）には、さらにクローラー１０１の向きを示す図形Ｆ４から図形Ｆ７、ダンプトラック等のベッセル２００の位置を示す図形Ｆ８、および次の掘削予定の作業地表面を示す図形Ｆ９などが表示されるように設定することができる。これらの表示設定は操作者（操作室でローディングショベルを遠隔操作するユーザ）毎に行うことができる。例えば、表示状態の切り替えの設定は、操作者ごとに設定値（どの段階で何を表示させるかについての設定値）を図示しない記憶デバイスに記憶しておき、操作時に記憶デバイスから設定値を読み出す。このようにすることで、それぞれのユーザにカスタマイズされた操作しやすいＡＲ画像の表示切り替えを実現することができる。

　また、撮像画像は天候や時間や撮影方向（順光か逆光かなど）に応じて輝度、コントラストが変化するため、重畳表示するＡＲ画像の輝度、コントラストを調整する（夜間など暗い画像の場合には輝度を落として重畳表示し、日中など耀画像の場合には輝度を上げて目立つように重畳表示する）ことで視認性を上げることも有効である。これら輝度の設定値についてもユーザごとに設定値を記憶しておき操作時に読み出してもよい。

（６）まとめ
（i）本開示の実施形態では、運転制御装置３０５は、作業機械１００から受信した支援情報から作業機械１００の姿勢と作業対象の位置を示すＡＲ画像（支援図形）を生成し、作業機械１００において第１タイミングで取得された周囲映像（映像１：図１８参照）と、作業機械１００において第１タイミングよりも後の第２タイミングで取得された支援情報（支援情報２：図１８参照）から生成したＡＲ画像とを重畳してディスプレイ装置に表示する。これにより、作業機械１００の遠隔操作者は、作業機械１００の周囲映像に遅延が生じていても低容量の（軽い）支援情報から生成されたＡＲ画像から実際の作業状況を知ることができるので、作業効率の低下を防止することができる。ここで、運転制御装置３０５は、作業機械１００の車体座標系で表された支援情報をカメラ座標系に変換し、座標変換後の支援情報からＡＲ画像（支援図形）を生成する。これにより、周囲映像の座標系と同一の座標系でＡＲ画像を表示することができ、作業機械１００の実際の作業動作に対応するＡＲ画像を遅延した周囲映像に対して先行表示することができるようになる。

（ii）運転制御装置３０５は、作業機械１００の位置と姿勢を示す図形（図１０など参照）、作業機械１００の作業対象の地形位置を示す図形（図３３参照）、作業機械１００の作業対象の車両（例えば、ダンプのベッセル）の位置を示す図形（図１０など参照）、あるいは作業機械１００の走行体（クローラー）の姿勢を示す図形（図１０など参照）の少なくとも１つを含むＡＲ画像を生成する。このように必要最小限のＡＲ画像を表示することにより、遠隔操作者を混乱させることなく（多くの情報を表示し過ぎると却って混乱を来す可能性あり）の操作支援を行うことができる。

（iii）運転制御装置３０５は、作業映像（映像１）よりも取得タイミングが後の支援情報（支援情報２）に基づくＡＲ画像を作業映像に重畳させて表示していることを示す情報を重畳画像と共に表示する（図１５参照）。これにより、操作開始時もしくは操作再開時の遠隔操作者による誤操作を防止することができる。

（iv）第２の実施形態では、運転制御装置３０５は、第１タイミングにおける作業機械１００の走行体（クローラー）と作業機械の旋回体（本体部）とがなす第１角度と、第２タイミングにおける走行体と旋回体とがなす第２角度との角度差に基づいて、ＡＲ画像（支援図形）の重畳位置と形状を変化させる（図２８参照）。

　上記角度差を算出する際には、周囲映像の遅延時間（第１遅延時間）と支援情報の遅延時間（第２遅延時間）を用いることができる。つまり、運転制御装置３０５は、第１遅延時間と第２遅延時間とを比較し、第１タイミングの周囲映像（映像１：図１８参照）に重畳すべきＡＲ画像を生成するための第２タイミングの支援情報（支援情報２：図１８参照）を決定し、当該第２タイミングの支援情報を、第１タイミングにおける作業機械１００の姿勢の座標系に変換し、座標変換された第２タイミングの支援情報からＡＲ画像を生成する。

　また、上記角度差を算出する別の例として、周囲映像に埋め込まれた角度情報（第１角度の情報）を用いることもできる。この場合、運転制御装置３０５は、周囲映像のデータから取得（分離）した第１角度の情報と、第２タイミングにおける支援情報（支援情報２）から取得した第２角度の情報とから角度差を算出する。

　上記角度差を算出するさらに別の例として、作業用過増に埋め込まれたタイムスタンプ（第１タイミングに対応する第１時刻情報）を用いることもできる。この場合、運転制御装置３０５は、周囲映像のデータから取得したタイムスタンプ（第１時刻情報）と支援情報から取得した第２時刻情報との差分だけ遡った支援情報の走行体（クローラー）と旋回体（本体部）の角度と最新の支援情報（第２タイミングの支援情報）の走行体と旋回体の角度とから上記角度差を算出する。

（v）第３の実施形態では、運転制御装置３０５は、第１タイミングにおける作業機械１００の走行体（クローラー）と作業機械１００の旋回体（本体部）とがなす第１角度と、第２タイミングにおける走行体（クローラー）と旋回体（本体部）とがなす第２角度との角度差に基づいて、周囲映像を変形させる（図３３参照）。第３の実施形態でも、第２の実施形態と同様の角度差算出の方法を採用することができる。

（vi）第４の実施形態では、運転制御装置３０５は、作業対象の位置の情報に基づいて、作業機械１００による作業対象の予定位置（掘削予定位置）を表すＡＲ画像（支援図形）を周囲映像に重畳させる（図３３参照）。これにより、遠隔操作者は、作業機械１００で次に作業すべき位置を容易に認識することができる。また、最後に作業した作業対象の位置をＡＲ画像で表示するようにしてもよい。

（vii）変形例では、運転制御装置３０５は、作業機械１００の作業状態（移動、待機、掘削、旋回、放土など）に応じて支援図形（ＡＲ画像）の表示形態（例えば、一部の必要なＡＲ画像のみを表示するなど）を切り替える。

（viii）本開示の実施形態の機能は、ソフトウェアのプログラムコードによっても実現することができる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそれを記憶した記憶媒体は本開示を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

　また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

　さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

　また、本開示の技術は上記実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記実施形態は本開示の技術をわかりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であるし、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。

１　作業機械制御システム、１００　作業機械（建設機械）、１０１　クローラー、１０２　本体部、１０３　センサ情報処理部、１０４　通信装置、１０７　アンテナ、１１１　ブーム、１１２　アーム、１１３　バケット、２００　ベッセル、３００　遠隔制御システム、３０１　運転席、３０２　操作制御部、３０３　入力装置（操作稈）、３０４　ディスプレイ、３０５　運転制御装置、３０６　通信装置、１０３１　映像圧縮部、１０３２　支援情報生成部、１０３３　支援情報符号化部、１０３４　情報埋込部、１０３５　タイムスタンプ発行部、１０３２１　ダンプ位置算出部、１０３２２　作業地表面高さ算出部、１０３２３　バケット位置・姿勢算出部、１０３２４　座標系補正情報１記憶部、３０５１　映像伸長部、３０５２　映像重畳部、３０５３　支援情報復号化部、３０５４　座標系統合処理部、３０５５　支援図形生成部、３０５６　座標系補正情報２記憶部、３０５７　遅延時間推定部、３０５８　情報読取部、３０５９　作業対象地表面記憶部、３０６０　映像変換部、Ｌ０、Ｌ１、Ｌ２　地面、Ｌ４　壁面、Ｌｇ　対応地面、ＯＲ　操作室、Ｓ１　周囲映像取得部、Ｓ２　三次元情報取得部、Ｓ３　姿勢情報取得部、Ｆ１～Ｆ１７　図形、Ｃ１、Ｃ２　座標系、Ｉ１　周囲映像、Ｐ１～Ｐ４　マーカー

Claims (15)

1. 　通信装置を介して作業機械から種々の情報を受信して表示するディスプレイ装置及び前記ディスプレイ装置を制御する制御装置を含み、前記作業機械を遠隔操作する作業機械の遠隔制御システムであって、
   　前記通信装置は、前記作業機械で撮像された前記作業機械の周囲映像と、前記作業機械で取得された前記作業機械の姿勢情報および前記作業機械の周囲の三次元情報を含む支援情報と、を受信し、
   　前記制御装置は、
   　　前記通信装置によって受信した前記支援情報に基づいて前記作業機械の姿勢と作業対象の位置を示す支援図形を生成する処理と、
   　　前記作業機械において第１タイミングで撮像されて前記通信装置によって受信した前記周囲映像と、前記作業機械において前記第１タイミングよりも後の第２タイミングで取得されて前記通信装置によって受信した前記支援情報から生成した前記支援図形とを重畳して前記ディスプレイ装置に表示する処理と、
   を実行する、遠隔制御システム。
2. 　請求項１において、
   　前記制御装置は、前記作業機械の車体座標系で表された前記支援情報をカメラ座標系に変換し、座標変換後の前記支援情報から前記支援図形を生成する、遠隔制御システム。
3. 　請求項１において、
   　前記制御装置は、前記作業機械の位置と姿勢を示す図形、前記作業機械の作業対象の地形位置を示す図形、前記作業機械の作業対象の車両の位置を示す図形、あるいは前記作業機械の走行体の姿勢を示す図形の少なくとも１つを含む前記支援図形を生成する、遠隔制御システム。
4. 　請求項１において、
   　前記制御装置は、前記第１タイミングにおける前記作業機械の走行体と前記作業機械の旋回体とがなす第１角度と、前記第２タイミングにおける前記走行体と前記旋回体とがなす第２角度との角度差に基づいて、前記支援図形の重畳位置と形状を変化させる、遠隔制御システム。
5. 　請求項１において、
   　前記制御装置は、前記第１タイミングにおける前記作業機械の走行体と前記作業機械の旋回体とがなす第１角度と、前記第２タイミングにおける前記走行体と前記旋回体とがなす第２角度との角度差に基づいて、前記周囲映像を変形させる、遠隔制御システム。
6. 　請求項１において、
   　前記制御装置は、
   　　前記通信装置が検知する通信状況の情報に基づいて、前記周囲映像の第１遅延時間と前記支援情報の第２遅延時間を推定する処理と、
   　　前記第１遅延時間と前記第２遅延時間との差に基づいて、前記第１タイミングの前記周囲映像に重畳すべき前記支援図形を生成するための前記第２タイミングの前記支援情報を決定する処理と、
   　　前記第２タイミングの支援情報を、前記第１タイミングにおける前記作業機械の姿勢の座標系に変換して、座標変換された第２タイミングの支援情報を生成する処理と、
   　　前記座標変換された第２タイミングの支援情報から前記支援図形を生成する処理と、を実行する、遠隔制御システム。
7. 　請求項４において、
   　前記周囲映像のデータは、前記第１角度の情報を示すデータ部分を含み、
   　前記制御装置は、前記周囲映像のデータから取得した前記第１角度の情報と、前記第２タイミングにおける前記支援情報から取得した前記第２角度の情報とから前記角度差を算出する、遠隔制御システム。
8. 　請求項５において、
   　前記周囲映像のデータは、前記第１角度の情報を示すデータ部分を含み、
   　前記制御装置は、前記周囲映像のデータから取得した前記第１角度の情報と、前記第２タイミングにおける前記支援情報から取得した前記第２角度の情報とから前記角度差を算出する、遠隔制御システム。
9. 　請求項４において、
   　前記周囲映像のデータは、前記第１タイミングに対応する第１時刻情報を示すデータ部分を含み、
   　前記支援情報は、前記第２タイミングに対応する第２時刻情報を含み、
   　前記制御装置は、前記周囲映像のデータから取得した前記第１時刻情報と前記支援情報から取得した前記第２時刻情報との差に基づいて、前記角度差を算出する、遠隔制御システム。
10. 　請求項５において、
    　前記周囲映像のデータは、前記第１タイミングに対応する第１時刻情報を含み、
    　前記支援情報は、前記第２タイミングに対応する第２時刻情報を含み、
    　前記制御装置は、前記周囲映像のデータから取得した前記第１時刻情報と前記支援情報から取得した前記第２時刻情報との差に基づいて、前記角度差を算出する、遠隔制御システム。
11. 　請求項１において、
    　前記制御装置は、前記作業対象の位置の情報に基づいて、前記作業機械による前記作業対象の予定位置を表す図形を含む前記支援図形を生成する、遠隔制御システム。
12. 　請求項１において、
    　前記制御装置は、前記作業機械の作業状態に応じて前記支援図形の表示形態を切り替える、遠隔制御システム。
13. 　請求項１において、
    　前記制御装置は、前記周囲映像よりも取得タイミングが後の前記支援図形を前記周囲映像に重畳させて表示していることを示す情報を、前記支援図形と前記周囲映像の重畳画像と共に表示する、遠隔制御システム。
14. 　作業機械と、当該作業機械を遠隔制御する請求項１に記載の遠隔制御システムと、を備え、
    　前記作業機械は、
    　　前記周囲映像を撮像する撮像装置と、
    　　前記作業機械の姿勢情報を取得する姿勢センサと、
    　　前記作業機械の三次元情報を取得する物体検出センサと、
    　　前記遠隔制御システムと通信し、前記周囲映像と、前記姿勢情報および前記三次元情報を含む前記支援情報とを送信する作業機械通信装置と、
    を備える、遠隔操作型作業機械システム。
15. 　作業機械から受信する作業情報を画面上に表示する作業情報表示制御方法であって、
    　前記作業機械の動作を制御する制御装置が、前記作業機械で撮像された前記作業機械の周囲映像と、前記作業機械の姿勢情報および前記作業機械の周囲の三次元情報を含む支援情報とを取得することと、
    　前記制御装置が、前記支援情報から前記作業機械の姿勢と作業対象の位置を示す支援図形を生成することと、
    　前記制御装置が、前記作業機械において第１タイミングで撮像された前記周囲映像と、前記作業機械において前記第１タイミングよりも後の第２タイミングで取得された前記支援情報から生成した前記支援図形とを重畳してディスプレイ装置に表示することと、
    を含む、作業情報表示制御方法。

Images