JP6824856B2 - 表示制御装置および表示制御方法 - Google Patents

Description

本発明は、作業機械が撮像した画像の表示制御装置および表示制御方法に関する。

特許文献１に開示されているように、作業機械を遠隔操作する技術が知られている。特許文献１によれば、作業機械は撮像装置を備え、撮像装置が撮像した距離画像を監視局に送信する。監視局は表示部を備え、オペレータは、表示部に表示される距離画像を視認しながら、作業機械を操作する。
このとき、監視局は、画像伝送の遅延による操作性の低下を防ぐため、距離画像の距離データを、伝送の遅延時間における移動距離だけ変化させ、また遅延時間における回転角に基づいて座標変換する。

特開平１０−２７５０１５号公報

作業機械に備えられる撮像装置は、必ずしも距離画像を撮像可能とは限らない。この場合、表示制御装置は、特許文献１に記載の方法によって、画像伝送の遅延による操作性の低下を防ぐことができない。
本発明の態様は、画像伝送の遅延による操作性の低下を防ぐことができる表示制御装置および表示制御方法を提供することを目的とする。

本発明の第１の態様によれば、表示制御装置は、作業機を支持する旋回体と、前記旋回体を支持する走行体とを備えた作業機械に備えられ、作業対象と前記作業機とを撮像可能な撮像装置が撮像した画像を受信する画像受信部と、前記画像の受信遅延時間における作業機械の移動量に基づいて前記画像を加工して表示信号を生成する表示制御部と、前記旋回体の旋回角度を推定する移動量推定部とを備え、前記表示制御部は、前記旋回角度に応じた横軸方向へのシフト量だけ前記画像をシフトして表示信号を生成する。

上記態様によれば、表示制御装置は、画像伝送の遅延による操作性の低下を防ぐことができる。

第１の実施形態に係る遠隔操作システムの構成を示す概略図である。 第１の実施形態に係る作業車両の外観図である。 第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。 第１の実施形態に係る遠隔運転室による通信状態の確認方法を示すフローチャートである。 第１の実施形態に係る遠隔運転室による撮像画像の表示方法を示すフローチャートである。 第１の実施形態に係る旋回体が左旋回したときに生成される表示信号の例である。 第１の実施形態に係る作業機械が前進したときに生成される表示信号の例である。 旋回体の左旋回時に第１の実施形態に係る遠隔運転室の表示装置に表示される画像の例である。 操作信号と画像の関係を表す通信シーケンス図である。

〈第１の実施形態〉
《システム》
図１は、第１の実施形態に係る遠隔操作システムの構成を示す概略図である。
遠隔操作システム１は、遠隔操作によって動作する作業機械１００と、遠隔運転室５００とを備える。作業機械１００は、作業現場（例えば、鉱山、採石場）に設けられる。遠隔運転室５００は、作業現場または作業現場から離れた地点（例えば、市街、作業現場内）に設けられる。作業機械１００と遠隔運転室５００とは、インターネットなどのネットワークを介して接続される。
遠隔操作システム１は、遠隔運転室５００を用いて作業機械１００を操作するためのシステムである。

作業機械１００は、遠隔運転室５００から受信する操作信号に従って動作する。
オペレータの操作により、操作信号は作業機械１００に送信される。

《作業機械》
図２は、第１の実施形態に係る作業機械の外観図である。
第１の実施形態に係る作業機械１００は、油圧ショベルである。なお、他の実施形態に係る作業機械１００は、油圧ショベル以外の例えばホイールローダ、ブルドーザ等の作業機械であってもよい。
作業機械１００は、油圧により作動する作業機１１０と、作業機１１０を支持する旋回体１２０と、旋回体１２０を支持する走行体１３０とを備える。

旋回体１２０には、運転室１２１が備えられる。運転室１２１の上部には、撮像装置１２２が設けられる。撮像装置１２２は、運転室１２１内の前方かつ上方に設置される。撮像装置１２２は、運転室１２１前面のフロントガラスを通して、運転室１２１の前方の画像（例えば、動画像）を撮像する。撮像装置１２２の例としては、例えばＣＣＤ（Charge Coupled Device）センサ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いた撮像装置が挙げられる。なお、他の実施形態においては、撮像装置１２２は必ずしも運転室に設けられなくてもよく、撮像装置１２２は少なくとも旋回体１２０の作業対象と作業機１１０とを撮像可能な位置に設けられていればよい。

作業機械１００は、撮像装置１２２、位置方位演算器１２３、傾斜計測器１２４、制御装置１２５を備える。

位置方位演算器１２３は、旋回体１２０の位置および旋回体１２０が向く方位を演算する。位置方位演算器１２３は、ＧＮＳＳを構成する人工衛星から測位信号を受信する２つの受信器１２３１を備える。２つの受信器１２３１は、それぞれ旋回体１２０の異なる位置に設置される。位置方位演算器１２３は、受信器１２３１が受信した測位信号に基づいて、現場座標系における旋回体１２０の代表点（車体座標系の原点）の位置を検出する。
位置方位演算器１２３は、２つの受信器１２３１が受信した各測位信号を用いて、一方の受信器１２３１の設置位置に対する他方の受信器１２３１の設置位置の関係として、旋回体１２０の向く方位を演算する。

傾斜計測器１２４は、旋回体１２０の加速度および角速度を計測し、計測結果に基づいて旋回体１２０の姿勢（例えば、ロール角、ピッチ角、ヨー角）を検出する。傾斜計測器１２４は、例えば運転室１２１の下面に設置される。傾斜計測器１２４は、例えば、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を用いることができる。

制御装置１２５は、図示しない画像符号化装置を備え、撮像装置１２２が撮像した画像を符号化（圧縮）する。制御装置１２５は、符号化された画像、位置方位演算器１２３が計測した位置および方位、走行体１３０の走行速度および走行方向、ならびに傾斜計測器１２４が計測した旋回体１２０の旋回速度および姿勢を、遠隔運転室５００に送信する。以下、旋回速度、走行速度、位置、方位、および姿勢を、作業機械１００の車体情報ともいう。なお、他の実施形態に係る車体情報は、これに限られない。例えば、他の実施形態に係る車体情報は、走行速度、位置、方位、および姿勢のいずれかを含まなくてもよいし、その他のセンサによって検出された値を含んでもよいし、検出された値から演算された値を含んでもよい。なお、画像符号化装置は、制御装置１２５と別個に設けられたものであってもよい。
制御装置１２５は、遠隔運転室５００から操作信号を受信する。制御装置１２５は、受信した操作信号に従って、作業機１１０、旋回体１２０、または走行体１３０を駆動させる。
また制御装置１２５は、遠隔運転室５００から送信された信号を、応答信号として遠隔運転室５００に返送する。

《遠隔運転室》
遠隔運転室５００は、図１に示すように、運転席５１０、表示装置５２０、操作装置５３０、制御装置５４０を備える。
表示装置５２０は、運転席５１０の前方に配置される。表示装置５２０は、オペレータが運転席５１０に座ったときにオペレータの眼前に位置する。表示装置５２０は、図１に示すように、並べられたディスプレイ５２１、ディスプレイ５２２、ディスプレイ５２３、ディスプレイ５２４、ディスプレイ５２５によって構成される。なお、他の実施形態においては、表示装置５２０を構成するディスプレイの数はこれに限られない。例えば、表示装置５２０は、図１に示すように、並べられた複数のディスプレイによって構成されてもよいし、１つの大きなディスプレイによって構成されてもよい。また、表示装置５２０は、プロジェクタ等によって曲面や球面に画像を投影するものであってもよい。

操作装置５３０は、運転席５１０の近傍に配置される。操作装置５３０は、オペレータが運転席５１０に座ったときにオペレータの操作可能な範囲内に位置する。操作装置５３０は、例えば電気式レバーおよび電気式ペダルを備える。

制御装置５４０は、作業機械１００から受信した画像を表示装置５２０に表示させ、操作装置５３０の操作を表す操作信号を作業機械１００に送信する。

図３は、第１の実施形態に係る遠隔運転室の制御装置の構成を示す概略ブロック図である。
制御装置５４０は、プロセッサ５１００、メインメモリ５２００、ストレージ５３００、インタフェース５４００、画像復号装置５５００を備えるコンピュータである。ストレージ５３００は、プログラムＰを記憶する。プロセッサ５１００は、プログラムＰをストレージ５３００から読み出してメインメモリ５２００に展開し、プログラムＰに従った処理を実行する。制御装置５４０は、インタフェース５４００を介してネットワークに接続される。また制御装置５４０は、インタフェース５４００を介して画像復号装置５５００に接続される。画像復号装置５５００は、符号化された画像を復号する。

ストレージ５３００は、遅延時間記憶部５３０１としての記憶領域を有する。ストレージ５３００の例としては、ＨＤＤ、ＳＳＤ、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。ストレージ５３００は、制御装置５４０の共通通信線に直接接続された内部メディアであってもよいし、インタフェース５４００を介して制御装置５４０に接続される外部メディアであってもよい。ストレージ５３００は、一時的でない有形の記憶媒体である。

遅延時間記憶部５３０１は、作業機械１００と制御装置５４０との間の画像の表示遅延時間を記憶する。画像の表示遅延時間とは、画像が撮像装置１２２によって撮像されてから、表示装置５２０に表示されるまでの時間である。

プロセッサ５１００は、プログラムＰの実行により、確認信号処理部５１０１、遅延算出部５１０２、車体情報受信部５１０３、移動量推定部５１０４、画像受信部５１０５、画像加工部５１０６、表示制御部５１０７、操作信号入力部５１０８、操作信号送信部５１０９を備える。

確認信号処理部５１０１は、作業機械１００との通信状態を確認するための確認信号を、作業機械１００に送信する。確認信号には、当該確認信号の送信時刻を表すタイムスタンプが格納される。確認信号処理部５１０１は、作業機械１００から確認信号に対する応答信号を受信する。応答信号は、確認信号の情報を含む信号である。応答信号が受信されることで、制御装置５４０と作業機械１００との接続が継続されていることを確認することができる。

遅延算出部５１０２は、応答信号に含まれる送信時刻、すなわち確認信号の送信時刻と、当該応答信号の受信時刻との差に基づいて、通信の往復遅延時間を算出する。遅延算出部５１０２は、往復遅延時間を２で除算することで、通信の片道遅延時間、すなわち画像の受信遅延時間を算出する。遅延算出部５１０２は、画像の受信遅延時間に、画像符号化装置による符号化処理時間および画像復号装置５５００による復号処理時間を加算することで、画像の表示遅延時間を算出する。符号化処理時間および復号処理時間は、予め計測された値である。遅延算出部５１０２は、画像の表示遅延時間を遅延時間記憶部５３０１に記憶させる。

車体情報受信部５１０３は、作業機械１００から車体情報を受信する。

移動量推定部５１０４は、遅延時間記憶部５３０１が記憶する表示遅延時間と、車体情報受信部５１０３が受信した車体情報に含まれる旋回速度に基づいて、表示遅延時間における旋回角度を算出する。移動量推定部５１０４は、遅延時間記憶部５３０１が記憶する表示遅延時間と、車体情報受信部５１０３が受信した車体情報に含まれる走行速度に基づいて、表示遅延時間における走行距離を算出する。旋回体１２０の旋回角度および作業機械１００の走行距離は、いずれも作業機械１００の移動量の一例である。

画像受信部５１０５は、作業機械１００から画像を受信する。なお、当該画像は画像復号装置５５００で復号されたものである。

画像加工部５１０６は、移動量推定部５１０４が推定した移動量に基づいて、受信した画像を加工し、表示信号を生成する。画像加工部５１０６は、算出された旋回角度に応じたシフト量だけ、受信した画像を横軸方向にシフトする。旋回角度と画像のシフト量との関係は、予め計測することで求めておく。また画像加工部５１０６は、算出された走行距離に応じた倍率で、受信した画像を拡大または縮小する。走行距離と画像の倍率との関係は、予め計測することで求めておく。また、画像加工部５１０６は、算出された走行距離に応じたシフト量だけ、受信した画像を縦軸方向にシフトしてもよい。走行距離と画像のシフト量との関係は、予め計測することで求めておく。画像加工部５１０６は、シフトおよび拡大または縮小した画像の一部分を切り出し、表示信号を生成する。つまり、撮像装置１２２は、表示装置５２０に表示される範囲より広い範囲を撮像する。

表示制御部５１０７は、画像加工部５１０６が生成した表示信号を表示装置５２０に出力する。

操作信号入力部５１０８は、操作装置５３０から操作信号の入力を受け付ける。
操作信号送信部５１０９は、入力された操作信号を作業機械１００に送信する。

《方法》
ここで、第１の実施形態に係る遠隔運転室５００における撮像画像の表示方法について説明する。
図４は、第１の実施形態に係る遠隔運転室による通信状態の確認方法を示すフローチャートである。遠隔運転室５００の制御装置５４０は、定期的に図４に示す通信状態の確認処理を実行する。
制御装置５４０の確認信号処理部５１０１は、現在時刻を格納した確認信号を、作業機械１００に送信する（ステップＳ１）。作業機械１００の制御装置１２５は、受信した確認信号を、内容をそのままに応答信号として遠隔運転室５００に送信する。確認信号処理部５１０１は、作業機械１００から確認信号の応答信号を受信する（ステップＳ２）。遅延算出部５１０２は、応答信号に含まれる送信時刻と、当該応答信号の受信時刻との差を２で除算することで、画像の受信遅延時間を算出する（ステップＳ３）。遅延算出部５１０２は、画像の受信遅延時間に、予め計測された符号化処理時間および復号処理時間を加算することで、画像の表示遅延時間を算出する（ステップＳ４）。遅延算出部５１０２は、表示遅延時間を遅延時間記憶部５３０１に記憶させる（ステップＳ５）。
制御装置５４０は、上記処理を定期的に実行することで、遅延時間記憶部５３０１が記憶する表示遅延時間を更新する。

図５は、第１の実施形態に係る遠隔運転室による撮像画像の表示方法を示すフローチャートである。遠隔運転室５００の制御装置５４０は、定期的に、図５に示す通信状態の確認処理を実行する。
制御装置５４０の画像受信部５１０５は、作業機械１００から撮像装置１２２が撮像した画像を受信する（ステップＳ１１）。また車体情報受信部５１０３は、作業機械１００から車体情報を受信する（ステップＳ１２）。

移動量推定部５１０４は、遅延時間記憶部５３０１から表示遅延時間を読み出す（ステップＳ１３）。移動量推定部５１０４は、車体情報受信部５１０３が受信した車体情報に含まれる旋回速度に表示遅延時間を乗算することで、表示遅延時間における旋回角度を算出する（ステップＳ１４）。また移動量推定部５１０４は、車体情報受信部５１０３が受信した車体情報に含まれる走行速度に表示遅延時間を乗算することで、表示遅延時間における走行距離を算出する（ステップＳ１５）。

画像加工部５１０６は、算出した走行距離に応じた倍率で、ステップＳ１１で受信した画像を拡大し、または縮小する（ステップＳ１６）。また画像加工部５１０６は、算出した旋回角度に応じたシフト量だけ、画像を横軸方向にシフトする（ステップＳ１７）。画像加工部５１０６は、拡大されまたは縮小され、かつシフトされた画像を所定サイズに切り出し、表示信号を生成する（ステップＳ１８）。表示制御部５１０７は、表示信号を表示装置５２０に出力する（ステップＳ１９）。なお、走行距離に応じた画像サイズの変更、および旋回角度に応じた画像シフトは、どちらか一方が適用されてもよいし、両方が適用されてもよい。

《作用・効果》
このように、第１の実施形態によれば、制御装置５４０は、作業機械１００が備える撮像装置が撮像した画像を、受信遅延時間における作業機械１００の移動量に基づいて加工して表示信号を生成する。つまり、遠隔運転室５００の表示装置５２０には、表示遅延時間だけ前に撮像された画像が、作業機械１００の移動量に応じた変形がなされて表示される。これにより、表示装置５２０に表示される画像が、そのタイミングにおける撮像装置１２２が撮像する画像と類似したものとなるため、制御装置５４０は、画像伝送の遅延による操作性の低下を防ぐことができ、また障害物の早期発見や衝突回避に寄与することができる。なお、他の実施形態においては、制御装置５４０は、表示遅延時間に代えて受信遅延時間を用いて画像を変形してもよい。画像の受信遅延時間と比較して画像の符号化時間および復号時間が十分に小さいため、受信遅延時間を用いて画像を変形しても、表示遅延時間を用いて画像を変形する場合と比較して画像の補正の精度は低くなるものの、画像伝送の遅延による操作性の低下を防ぎ、また障害物の早期発見や衝突回避に寄与する効果を得ることができる。

また、第１の実施形態によれば、制御装置５４０は、確認信号の送信時刻と応答信号の受信時刻とに基づいて表示遅延時間を算出する。つまり、制御装置５４０は、遠隔運転室５００の時刻のみに基づいて表示遅延時間を算出する。これにより、制御装置５４０は遠隔運転室５００の時刻と作業機械１００の時刻とを正確に同期させていなくても正確に表示遅延時間を算出することができる。他方、他の実施形態において遠隔運転室５００の時刻と作業機械１００の時刻とが正確に同期しているならば、制御装置５４０は、作業機械１００による信号の送信時刻から制御装置５４０による当該信号の受信時刻との差を用いて表示遅延時間を算出してもよい。
また、他の実施形態においては、表示遅延時間があらかじめ定めた時間になるように制御装置５４０が受信した画像をバッファしてもよい。また、他の実施形態においては、制御装置５４０が表示遅延時間を算出せず、表示遅延時間を定数として画像の加工を行ってもよい。例えば、他の実施形態係る制御装置５４０は、通信距離と遅延時間とを関連付けたテーブルを備え、当該テーブルを参照することで遅延時間を特定してもよい。この場合にも、画像伝送の遅延による操作性の低下を防ぎ、また障害物の早期発見や衝突回避に寄与する効果を得ることができる。なお、必要に応じて、制御装置５４０は、確認信号処理部５１０１および遅延算出部５１０２を備えなくてもよい。

図６は、第１の実施形態に係る旋回体が左旋回したときに生成される表示信号の例である。第１の実施形態に係る制御装置５４０は、旋回体１２０の旋回速度と表示遅延時間とに基づいて旋回角度を推定し、当該旋回角度に応じた横軸方向へのシフト量だけ画像をシフトする。これにより、制御装置５４０は、旋回体１２０の旋回による画像のずれを適切に補償することができる。図６に示すように、画像の切り出しによって表示装置５２０に表示される視界範囲Ｒ１は、撮像装置１２２の撮像範囲Ｒ０より狭く設定される。ここで、旋回体１２０が左旋回する場合、視界範囲Ｒ１も左方向に旋回する。このとき、制御装置５４０は、撮像された画像Ｐ１を右方向にシフトすることで画像Ｐ２を生成する。これは、図６に示すように撮像された画像Ｐ１に対して切出領域Ｗ１を相対的に左方向にシフトすることと等しい。これにより、表示装置５２０には、元の切出領域Ｗ０（旋回体１２０が静止しているときに切り出される切出領域）より左側の領域を切り出した表示信号が表示される。これにより、制御装置５４０は、遅延時間がない場合に左旋回を行った作業機械１００の正面に写るであろう画像を表示装置５２０に表示させることができる。なお、他の実施形態においてはこれに限られず、制御装置５４０は、シフトに加え、例えば旋回角度に応じた台形補正やレンズの歪み補正を行ってもよい。また、他の実施形態において、作業機械１００がブルドーザである場合など、作業機械１００が旋回体１２０を備えない場合や、旋回体１２０の旋回速度が十分に遅い場合などには、制御装置５４０は、旋回による画像Ｐ１のシフトを行わなくてもよい。

図７は、第１の実施形態に係る作業機械が前進したときに生成される表示信号の例である。第１の実施形態に係る制御装置５４０は、作業機械１００の走行速度と表示遅延時間とに基づいて走行距離を推定し、当該走行距離に応じた倍率だけ画像を拡大または縮小する。これにより、制御装置５４０は、作業機械１００の走行による画像のずれを適切に補償することができる。例えば、作業機械１００が前進する場合、視界範囲Ｒ１も前方向に移動する。このとき、制御装置５４０は、撮像された画像Ｐ１を走行距離に応じた倍率で拡大することで画像Ｐ２を生成する。これは、図７に示すように撮像された画像Ｐ１に対して切出領域Ｗ１を相対的に縮小することと等しい。これにより、表示装置５２０には、元の切出領域Ｗ０より内側の領域を切り出した表示信号が表示される。これにより、制御装置５４０は、作業機械１００が前進したときに、撮像方向前方に接近したような画像を表示装置５２０に表示させることができる。なお、作業機械１００が走行しない場合や、作業機械１００の走行速度が十分に遅い場合には、制御装置５４０は、走行距離に基づく拡大または縮小を行わなくてもよい。

図８は、旋回体の左旋回時に第１の実施形態に係る遠隔運転室の表示装置に表示される画像の例である。表示装置５２０が図１に示すように５つのディスプレイを有する場合における表示用画像について説明する。つまり、図８の切出領域Ｗは、図６の切出領域Ｗ０および切出領域Ｗ１に相当する。図８は、図１に示すように５つのディスプレイ５２１−５２５に表示するための５つの画像を切り出す例を示すものであり、図６は説明の便宜上、１つの画像を切り出す例について示したものである。
制御装置５４０は、作業機械１００から受信した画像Ｐ１を加工する。図８に示す例では、画像Ｐ１を右方向にシフトすることで加工後の画像Ｐ２を生成する。制御装置５４０は、加工した画像Ｐ２から、表示装置５２０を構成するディスプレイ５２１に表示させるための画像Ｐ１１、ディスプレイ５２２に表示させるための画像Ｐ１２、ディスプレイ５２３に表示させるための画像Ｐ１３、ディスプレイ５２４に表示させるための画像Ｐ１４、およびディスプレイ５２５に表示させるための画像Ｐ１５をそれぞれ切り出す。すなわち切出領域Ｗは、画像Ｐ１１を切り出すための領域、画像Ｐ１２を切り出すための領域、画像Ｐ１３を切り出すための領域、画像Ｐ１４を切り出すための領域、画像Ｐ１５を切り出すための領域のそれぞれを含む。
図８に示す例において、画像Ｐ１には、対象物Ｏ１、Ｏ２、Ｏ３が写っている。画像Ｐ１を右方向にシフトする前の切出領域Ｗには、対象物Ｏ１およびＯ３の一部と、対象物Ｏ２が含まれる。他方、画像Ｐ１を右方向にシフトした後の画像Ｐ２の切出領域Ｗには、対象物Ｏ１およびＯ２が含まれ、対象物Ｏ３が含まれない。したがって、切り出された画像Ｐ１１からＰ１５が表示装置５２０に表示されると、表示装置５２０の左ディスプレイに対象物Ｏ１が表示され、表示装置５２０の右ディスプレイに対象物Ｏ２が表示されることとなる。
したがって、旋回体１２０が左旋回したことで、撮像時には視界の中心にあった対象物Ｏ２が視界の右方向に表示された場合、シフト前の画像Ｐ１からディスプレイ表示用の画像Ｐ１１からＰ１５を切り出すと、表示装置５２０の中央ディスプレイには対象物Ｏ２が表示されるところ、シフト後の画像Ｐ１から表示用の画像Ｐ１１からＰ１５を切り出すことで、表示装置５２０の右ディスプレイに対象物Ｏ２を表示させることができる。すなわち、オペレータは、旋回体１２０の左旋回時に作業機械１００の左側（Ｐ１１側）の状況を早期に認識できることできる。例えば、対象物Ｏ１が障害物である場合、オペレータは対象物Ｏ１を早期に発見することができるため、オペレータは、旋回停止などの衝突回避の操作を早期に実行することができる。

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。

第１の実施形態に係る制御装置５４０は、旋回角度に応じたシフト量だけ画像をシフトし、走行距離に応じた倍率だけ画像を拡大または縮小する。他方、他の実施形態に係る制御装置５４０は、以下の方法で、走行距離に基づいて画像の倍率およびシフト量をそれぞれ計算してもよい。
他の実施形態に係る制御装置５４０は、作業機械１００の走行体１３０の走行方向と旋回体１２０の方位との差の角度を求める。制御装置５４０は、当該角度に基づいて、走行距離を、撮像装置１２２の視線方向成分と、撮像装置１２２の横軸方向成分とに分離する。制御装置５４０は、走行距離の視線方向成分に応じた倍率で画像を拡大または縮小する。制御装置５４０は、走行距離の横軸方向成分に応じたシフト量を特定し、当該シフト量と旋回角度に応じたシフト量とを加算して求められるシフト量だけ、画像をシフトする。これにより、第１の実施形態と比較して、表示装置５２０に表示される画像を、そのタイミングにおける撮像装置１２２が撮像する画像に近づけることができる。

また、第１の実施形態に係る制御装置５４０は、作業機械１００から受信した走行速度および旋回速度に基づいて、走行距離および旋回角度を求めるが、これに限られない。例えば、他の実施形態に係る制御装置５４０は、操作信号入力部５１０８に入力された操作信号の履歴に基づいて走行距離および旋回角度を求めてもよい。つまり、画像受信部５１０５が受信した画像が撮像されたタイミングから、表示遅延時間の間に作業機械１００が受信した操作信号の積算により、より走行距離および旋回角度を求めてもよい。この場合、制御装置５４０は、画像受信部５１０５による画像の受信時刻より表示遅延時間＋片道遅延時間だけ前の時刻から、受信時刻より片道遅延時間だけ前の時刻までの操作信号に基づいて走行距離および旋回角度を求める。

図９は、操作信号と画像の関係を表す通信シーケンス図である。図９に示す例においては、制御装置５４０は、操作信号を定期的に作業機械１００に送信している。片道遅延時間ｔ１は、操作信号と画像とで変わらないものとする。ある画像が撮像された時刻Ｔ１から表示装置５２０に表示された時刻Ｔ３までの間に、作業機械１００は制御装置５４０から操作信号を受信している。なお、時刻Ｔ１から時刻Ｔ３までの時間は、表示遅延時間ｔ２である。時刻Ｔ１から時刻Ｔ３までに受信された操作信号は、時刻Ｔ１より片道遅延時間ｔ１だけ前の時刻である時刻Ｔ０から、表示遅延時間ｔ２だけ後の時刻である時刻Ｔ２までに送信されている。ここで、時刻Ｔ２は、時刻Ｔ３から片道遅延時間ｔ１だけ前の時刻である。したがって、制御装置５４０は、画像受信部５１０５による画像の受信時刻より表示遅延時間＋片道遅延時間だけ前の時刻から、受信時刻より片道遅延時間だけ前の時刻までの操作信号を用いることで、適切に走行距離および旋回角度を求めることができる。

上述した実施形態に係る制御装置５４０においては、プログラムＰがストレージ５３００に格納される場合について説明したが、これに限られない。例えば、他の実施形態においては、プログラムＰが通信回線によって制御装置５４０に配信されるものであってもよい。この場合、配信を受けた制御装置５４０が当該プログラムＰをメインメモリ５２００に展開し、上記処理を実行する。

また、プログラムＰは、上述した機能の一部を実現するためのものであってもよい。例えば、プログラムＰは、上述した機能をストレージ５３００に既に記憶されている他のプログラムＰとの組み合わせ、または他の装置に実装された他のプログラムＰとの組み合わせで実現するものであってもよい。

また、制御装置５４０は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ５１００によって実現される機能の一部が当該ＰＬＤによって実現されてよい。

また、制御装置５４０は、複数のプロセッサ５１００を備えていてもよいし、複数のコンピュータから構成されていてもよい。

１…遠隔操作システム １００…作業機械 １２２…撮像装置 １２３…位置方位演算器 １２４…傾斜計測器 １２５…制御装置 ５００…遠隔運転室 ５１０…運転席 ５２０…表示装置 ５３０…操作装置 ５４０…制御装置 ５１０１…確認信号処理部 ５１０２…遅延算出部 ５１０３…車体情報受信部 ５１０４…移動量推定部 ５１０５…画像受信部 ５１０６…画像加工部 ５１０７…表示制御部 ５１０８…操作信号入力部 ５１０９…操作信号送信部 ５３０１…遅延時間記憶部

Claims (6)

1. 作業機を支持する旋回体と、前記旋回体を支持する走行体とを備えた作業機械に備えられ、作業対象と前記作業機とを撮像可能な撮像装置が撮像した画像を受信する画像受信部と、
   前記画像の受信遅延時間における作業機械の移動量に基づいて前記画像を加工して表示信号を生成する表示制御部と、
   前記旋回体の旋回角度を推定する移動量推定部とを備え、
   前記表示制御部は、前記旋回角度に応じた横軸方向へのシフト量だけ前記画像をシフトして表示信号を生成する
   表示制御装置。
2. 前記移動量推定部は、前記旋回体の旋回速度と前記受信遅延時間とに基づいて前記旋回体の旋回角度を推定する、
   請求項１に記載の表示制御装置。
3. 前記表示制御装置は、前記作業機械を遠隔操作する遠隔運転室に配置されており、
   前記表示制御装置は、
   前記受信遅延時間を算出し、前記受信遅延時間に符号化処理時間及び復号処理時間を加算することで、画像の表示遅延時間を算出する遅延算出部と、
   前記表示遅延時間における前記旋回角度に応じた横軸方向へのシフト量だけ前記画像をシフトするように前記画像を加工して表示信号を生成する表示制御部と、
   を備え、
   前記遅延算出部は、前記作業機械の時刻を用いず、前記表示制御装置の時刻に基づいて前記表示遅延時間を算出する
   請求項２に記載の表示制御装置。
4. 確認信号を前記作業機械に送信し、前記作業機械から前記確認信号に対する応答信号を受信する確認信号処理部を備え、
   前記遅延算出部は、前記確認信号の送信時刻と前記応答信号の受信時刻とに基づいて前記表示遅延時間を算出する
   請求項３に記載の表示制御装置。
5. 前記移動量推定部は、前記画像受信部による画像の受信時刻より前記画像の表示遅延時間と前記画像の受信遅延時間とを合算した時間だけ前の時刻から、前記受信時刻より前記受信遅延時間だけ前の時刻までに、前記遠隔運転室から前記作業機械に送信した操作信号を用いることで、旋回角度を求める
   請求項３に記載の表示制御装置。
6. 作業機械が備える撮像装置が撮像した画像を受信するステップと、
   前記画像の受信遅延時間における作業機械の移動量に応じて加工された前記画像を送信するステップと
   を備える表示制御方法。

Images