WO2022196242A1

WO2022196242A1 - 遠隔操縦装置

Info

Publication number: WO2022196242A1
Application number: PCT/JP2022/006559
Authority: WO
Inventors: 慎也笠井; 勝道伊東; 慎二郎山本
Original assignee: 日立建機株式会社
Priority date: 2021-03-15
Filing date: 2022-02-18
Publication date: 2022-09-22
Also published as: KR20230044253A; US20230323630A1; CN116034200A; JP7466055B2; EP4311228A1; JPWO2022196242A1

Abstract

遠隔地から操作する作業機械において、通信遅延を有する場合でも、効率的で安全に遠隔操縦することのできる遠隔操縦装置を提供する。車載カメラ９１で撮影した作業現場のカメラ映像および作業機械（油圧ショベル）１の車体情報を受信する通信制御部２２２と、前記車体情報から前記作業機械（油圧ショベル）１の予測軌跡を演算し、表示装置２０２に映像として表示するための予測軌跡データを出力する予測軌跡演算部２２０と、前記カメラ映像と前記予測軌跡の映像とを前記表示装置２０２に同画面上で（同時に）表示させる表示制御部２２１と、を備える。

Description

遠隔操縦装置

　本発明は、遠隔操縦装置に関する。

　作業機械を遠隔地から操縦（遠隔操縦）する技術がある。作業機械を遠隔操縦するに当たって遠隔地からの操縦者に対して視覚情報を提供するために、作業機械には映像取得装置（カメラ）が搭載される。映像取得装置（カメラ）で取得された作業現場の映像は遠隔地の操縦者の遠隔操縦装置に備え付けられた表示装置に表示される。操縦者は表示装置に表示される映像を確認しながら遠隔操縦装置によって作業機械を操縦する。

　例えば特許文献１には、作業機械の映像取得装置によって作業現場を撮像し、仮想視点から見た前記作業機械の仮想視点画像を生成し、作業機械の映像取得装置で撮像した実画像と仮想視点画像とを表示装置の同画面の異なる位置にそれぞれ表示する技術が開示されている。

特開２０１９－５４４６４号公報

　特許文献１では、映像取得装置からの作業現場映像（実映像）と仮想視点からの映像（仮想視点映像）を操縦者に提供することで、遠隔地からの遠隔操縦による作業効率低下を抑制することが期待できる。

　ここで、以下のような課題が生じる。

　映像伝送は通信データ量が多いため、通信回線の状況によっては遅延が生じてしまう。映像伝送に遅延が生じると、映像取得装置からの取得映像と仮想視点からの生成映像が同画面でありながらそれぞれ異なった挙動を示す。同画面に映し出されたそれらの映像の整合性が取れていない場合、操縦者の作業効率低下および事故危険性を抑制することは困難である。

　本発明は、上記課題を鑑みて解決することを目的として創作されたものであり、遠隔地から操縦する作業機械において、通信遅延を有する場合でも、効率的で安全に遠隔操縦することのできる遠隔操縦装置を提供することを目的とする。

　上記課題を解決するために、本発明の遠隔操縦装置は、作業機械へ操作信号を送信して前記作業機械を遠隔地から操縦する制御装置を備えた遠隔操縦装置であって、前記制御装置は、カメラで撮影した作業現場のカメラ映像および前記作業機械の車体情報を受信する通信制御部と、前記車体情報から前記作業機械の予測軌跡を演算し、表示装置に映像として表示するための予測軌跡データを出力する予測軌跡演算部と、前記カメラ映像と前記予測軌跡の映像とを前記表示装置に同画面上で表示させる表示制御部と、を備える。

　本発明により、通信回線の状況によって映像伝送に遅延が生じてしまう場合であっても、予測軌跡の映像を表示することで操縦者は車体の現在状況を認識できる。さらに疑似カメラ映像（予測軌跡を基に生成したカメラから視た場合の（疑似的な）作業機械の予測映像）を重畳することで、通信回線に遅延が生じている時は実カメラ映像との差分が顕現するため、操縦者に対して視覚的に映像遅延を提示することができる。そのため、遠隔地から操縦する作業機械において、通信遅延を有する場合でも、効率的で安全に遠隔操縦することができる。

　上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

油圧ショベル（作業機械）の遠隔操縦システムの構成図。油圧ショベル（作業機械）の制御コントローラを油圧駆動装置と共に示す図。電磁弁ユニットの詳細図。図１の遠隔操縦装置の遠隔操縦制御装置のハードウェア構成図。図１の第１実施形態の遠隔操縦装置の遠隔操縦制御装置の機能ブロック図。第１実施形態の予測軌跡演算部の演算処理フローチャート。第１実施形態の表示制御部の制御処理フローチャート。第１実施形態の通信制御部の制御処理フローチャート。第２実施形態の遠隔操縦装置の遠隔操縦制御装置の機能ブロック図。第２実施形態の通信状況判定部の演算処理フローチャート。第２実施形態の通信状況送信部の制御処理フローチャート。第２実施形態の通信制御部の制御処理フローチャート。表示装置の表示画面の表示例（重畳映像）を示す図。表示装置の表示画面の表示例（重畳させずに異なる位置に表示する映像）を示す図。

　以下、本発明の実施形態について図面を用いて説明する。各図において、同一の機能を有する部分には同一の符号を付して繰り返し説明を省略する場合がある。本稿の以下の説明では、遠隔操縦対象の作業機械として、図１のように作業装置の先端の作業具としてバケット８を備える油圧ショベルを例示する。なお、複数のリンク部材（アタッチメント、アーム、ブーム等）を連結して構成される多関節型の作業装置を有するものであれば、油圧ショベル以外の作業機械への適用も可能である。

　また、本稿の以下の説明では、同一の構成要素が複数存在する場合、符号（数字）の末尾にアルファベットを付すことがあるが、当該アルファベットを省略して当該複数の構成要素をまとめて表記することがある。例えば、左右１つずつの走行油圧モータ４ａ、４ｂが存在するとき、これらをまとめて走行油圧モータ４と表記することがある。

［第１実施形態］
＜基本構成＞
　図１は、本発明の第１実施形態に係る作業機械１の遠隔操縦システム１００の例を示す図である。遠隔操縦システム１００は、作業機械１を遠隔操作する。本実施形態においては、作業機械１が油圧ショベルであることとする。図２は、本発明の第１実施形態に係る油圧ショベル（作業機械）１の制御コントローラを油圧駆動装置と共に示す図であり、図３は、図２中の電磁弁ユニット１６０の詳細図である。

　図１において、油圧ショベル１は、多関節型の作業装置である作業フロント２と、走行体３で構成されている。走行体３は、左右の走行油圧モータ４ａ、４ｂ（走行右油圧モータ４ａ、走行左油圧モータ４ｂ）により走行する下部走行部３ａと、下部走行部３ａの上に取り付けられ、旋回油圧モータ５により旋回する上部旋回部３ｂとからなる。作業フロント２は、垂直方向にそれぞれ回動する複数の被駆動部材（ブーム６、アーム７及びバケット８）を連結して構成されている。

　ブーム６の基端は、上部旋回部３ｂの前部においてブームピンを介して回動可能に支持されている。ブーム６の先端には、アームピンを介してアーム７が回動可能に連結されており、アーム７の先端には、バケットピンを介してバケット８が回動可能に連結されている。ブーム６はブームシリンダ６１によって駆動され、アーム７はアームシリンダ７１によって駆動され、バケット８はバケットシリンダ８１によって駆動される。ブーム６、アーム７、バケット８の回動を測定可能にするため、ブームピンにブーム角度センサ６２、アームピンにアーム角度センサ７２、バケットリンク９にバケット角度センサ８２が取り付けられ、上部旋回部３ｂには基準面（例えば水平面）に対する上部旋回部３ｂの傾斜角を検出する車体傾斜角センサ３１が取り付けられている。なお、角度センサ６２、７２、８２はそれぞれ基準面（例えば水平面）に対する角度センサに代替可能である。上部旋回部３ｂと下部走行部３ａの相対角度を測定可能なように旋回中心軸に旋回角度センサ３２が取り付けられている。上部旋回部３ｂに設けられた運転室１２内には、油圧ショベル１を操作するための操作装置１０が設置されている。

　操作装置１０は、ブームシリンダ６１（ブーム６）及びバケットシリンダ８１（バケット８）を操作するための操作右レバー１０ａと、アームシリンダ７１（アーム７）及び旋回油圧モータ５（上部旋回部３ｂ）を操作するための操作左レバー１０ｂと、走行右油圧モータ４ａ（下部走行部３ａ）を操作するための走行右レバー１０ｃと、走行左油圧モータ４ｂ（下部走行部３ａ）を操作するための走行左レバー１０ｄと、から構成される。また、以下では、操作右レバー１０ａ、操作左レバー１０ｂ、走行右レバー１０ｃおよび走行左レバー１０ｄを操作装置１０と総称する場合もある。

　上部旋回部３ｂに搭載された原動機であるエンジン１１は、図２に示すように、油圧ポンプ２０ａ、２０ｂとパイロットポンプ３０を駆動する。油圧ポンプ２０ａ、２０ｂはレギュレータ２０ａａ、２０ｂａによって容量が制御される可変容量型ポンプであり、パイロットポンプ３０は固定容量型ポンプである。油圧ポンプ２０およびパイロットポンプ３０はタンク１７０より作動油を吸引する。本実施形態においては、制御装置である制御コントローラ４０から出力された制御信号が、レギュレータ２０ａａ、２０ｂａに入力される。レギュレータ２０ａａ、２０ｂａの詳細構成は省略するが、油圧ポンプ２０ａ、２０ｂの吐出流量が当該制御信号に応じて制御される。パイロットポンプ３０の吐出配管であるポンプライン１４３ａはロック弁３９を通った後、電磁弁ユニット１６０内の各電磁比例弁に接続している。ロック弁３９は本例では電磁切換弁であり、その電磁駆動部は運転室１２（図１）に配置されたゲートロックレバーの位置検出器と電気的に接続している。ゲートロックレバーのポジションは位置検出器で検出され、その位置検出器からロック弁３９に対してゲートロックレバーのポジションに応じた信号が入力される。ゲートロックレバーのポジションがロック位置にあればロック弁３９が閉じてポンプライン１４３ａが遮断され、ロック解除位置にあればロック弁３９が開いてポンプライン１４３ａが開通する。つまり、ポンプライン１４３ａが遮断された状態では操作装置１０による操作が無効化され、走行、旋回、掘削等の動作が禁止される。操作装置１０（１０ａ、１０ｂ、１０ｃ、１０ｄ）は、電気レバー方式であり、オペレータの操作量と操作方向に応じた電気信号を発生させる。このように発生した電気信号は制御コントローラ４０に入力され、操作装置１０に入力された操作に応じた電磁比例弁５４～５９（図３参照、５７～５９は不図示）を駆動させるべく、制御コントローラ４０は電磁弁ユニット１６０に電気信号を出力する。この電気信号はパイロットライン１４４ａ～１４９ｂを介して油圧駆動部１５０ａ～１５５ｂに入力される。油圧ポンプ２０から吐出された圧油は、油圧駆動部１５０ａ～１５５ｂに入力された電気信号に応じて動作する流量制御弁１５ａ、１５ｂ、１５ｃ、１５ｄ、１５ｅ、１５ｆ（図２または図３参照、図３では１５ｄ、１５ｅ、１５ｆは不図示）を介してアクチュエータであるブームシリンダ６１、アームシリンダ７１、バケットシリンダ８１、旋回油圧モータ５、走行右油圧モータ４ａ、走行左油圧モータ４ｂに供給される。供給された圧油によってブームシリンダ６１、アームシリンダ７１、バケットシリンダ８１が伸縮することで、ブーム６、アーム７、バケット８がそれぞれ回動し、バケット８の位置及び姿勢が変化する。また、供給された圧油によって旋回油圧モータ５が回転することで、下部走行部３ａに対して上部旋回部３ｂが旋回する。そして、供給された圧油によって走行右油圧モータ４ａ、走行左油圧モータ４ｂが回転することで、下部走行部３ａが走行する。

　ブームシリンダ６１、アームシリンダ７１、バケットシリンダ８１には、そのシリンダ圧が検出できるように負荷検出装置１６ａ～１６ｆが備えられる。本実施形態では、負荷検出装置１６は圧力センサであり、ブームシリンダ６１、アームシリンダ７１、バケットシリンダ８１のそれぞれのボトム側の圧力とロッド側の圧力を検出し、電気信号として制御コントローラ４０へ出力する。

　上部旋回部３ｂには、図１に示すように、映像取得装置としての車載カメラ９１が搭載される。車載カメラ９１は、油圧ショベル１を遠隔地から操縦（遠隔操縦）する場合、遠隔地からの操縦者に対して視覚情報を提供するために（後で説明）、作業現場を撮像したカメラ映像（作業現場映像）を取得する。なお、本例では、作業現場を撮像する映像取得装置としてのカメラが油圧ショベル１（の上部旋回部３ｂ）に搭載されているが、例えば作業現場に設置されたカメラによって作業現場を撮像したカメラ映像（作業現場映像）を取得してもよい。

　また、上部旋回部３ｂには、通信装置９０が搭載される。通信装置９０は、ネットワークを介して油圧ショベル１と遠隔操縦装置２００を通信可能に接続する。遠隔操縦装置２００は、油圧ショベル１を遠隔地から操縦（遠隔操縦）すべく、作業現場から離れた遠隔地に設置されている。通信装置９０は、車載カメラ９１からのカメラ映像や、各センサ（角度センサ６２、７２、８２、３２および負荷検出装置１６ａ～１６ｆ）からの車体情報を遠隔操縦装置２００へ送信し、遠隔操縦装置２００からの制御信号（油圧ショベル１の操作装置１０の操作信号を含む）を受信して操作装置１０へ伝送する。

　遠隔操縦装置２００は、油圧ショベル１との通信および処理機能を有する電子機器で構成される遠隔操縦制御装置（制御装置）２０１と、映像を表示する表示装置２０２と、ブームシリンダ６１（ブーム６）及びバケットシリンダ８１（バケット８）を操作するための操作右レバー２０３ａと、アームシリンダ７１（アーム７）及び旋回油圧モータ５（上部旋回部３ｂ）を操作するための操作左レバー２０３ｂと、走行右油圧モータ４ａ（下部走行部３ａ）を操作するための走行右レバー２０３ｃと、走行左油圧モータ４ｂ（下部走行部３ａ）を操作するための走行左レバー２０３ｄと、操縦席２０４と、から構成される。また、以下では、操作右レバー２０３ａ、操作左レバー２０３ｂ、走行右レバー２０３ｃおよび走行左レバー２０３ｄを遠隔操作装置２０３と総称する場合もある。遠隔操作装置２０３は遠隔操縦制御装置２０１に操作信号（例えば、オペレータの操作量と操作方向に応じた電気信号）を入力し、遠隔操縦制御装置２０１はネットワークを介して油圧ショベル１に搭載された通信装置９０へ制御信号（油圧ショベル１の操作装置１０の操作信号を含む）を伝送することで、油圧ショベル１を遠隔操縦する。表示装置２０２は、遠隔操縦制御装置２０１からの重畳映像を表示することで、遠隔操縦する操縦者に対して視覚情報を提供する（後で説明）。

＜電磁弁ユニット（フロント制御用油圧ユニット）１６０＞
　図３に示すように、電磁弁ユニット（図３ではフロント制御用油圧ユニット部分のみを表示）１６０は、一次ポート側がポンプライン１４３ａを介してパイロットポンプ３０に接続され、パイロットポンプ３０からのパイロット圧を減圧してパイロットライン１４４ａ～１４６ｂに出力する電磁比例弁５４ａ～５６ｂと、図３では紙面の都合上省略しているが（図２を併せて参照）、同様にパイロットポンプ３０からのパイロット圧を減圧してパイロットライン１４７ａ～１４９ｂに出力する電磁比例弁５７ａ～５９ｂを備えている。

　電磁比例弁５４ａ～５９ｂは、非通電時には開度が最小で、制御コントローラ４０からの制御信号である電流を増大させるほど開度は大きくなる。このように各電磁比例弁５４ａ～５９ｂの開度は、制御コントローラ４０からの制御信号に応じたものとなる。

　上記のように構成される電磁弁ユニット１６０において、制御コントローラ４０から制御信号を出力して電磁比例弁５４ａ～５９ｂを駆動すると、対応する操作装置１０のオペレータ操作が無い場合にもパイロット圧を発生できるので、各アクチュエータ（４、５、６１、７１、８１）の動作を強制的に発生できる。

＜遠隔操縦制御装置２０１＞
　図４は、本実施形態に係る遠隔操縦装置２００の遠隔操縦制御装置２０１が備えるハードウェア構成図である。図４において遠隔操縦制御装置２０１は、通信インターフェース２１１と、プロセッサである中央処理装置（ＣＰＵ）２１２と、記憶装置であるリードオンリーメモリ（ＲＯＭ）２１３及びランダムアクセスメモリ（ＲＡＭ）２１４と、入力インターフェース２１５と、出力インターフェース２１６とを有している。

　通信インターフェース２１１は、油圧ショベル１に搭載された通信装置９０に対して信号を送受信する。通信装置９０から油圧ショベル１の車載カメラ映像と車体情報を受信して、ＣＰＵ２１２に対して入力する。また、遠隔操作装置２０３からの制御信号を通信装置９０へ送信する。ＣＰＵ２１２は、ＲＯＭ２１３に記憶された制御プログラムに基づいて、通信インターフェース２１１、ＲＯＭ２１３とＲＡＭ２１４から取り入れた信号に対して所定の演算処理を行う。ＲＯＭ２１３は、後述するフローチャートに係る処理を含めた制御内容を実行するための制御プログラムと、当該フローチャートの実行に必要な各種情報等が記憶された記録媒体である。

　入力インターフェース２１５は、遠隔操作装置２０３からの制御信号を入力信号として受け取り、通信インターフェース２１１へ出力する。

　出力インターフェース２１６は、ＣＰＵ２１２での演算結果に応じた出力用の信号を作成し、その信号を表示装置２０２の画面上に表示させる。

　図５は、本実施形態に係る遠隔操縦装置２００の遠隔操縦制御装置２０１の機能ブロック図である。

　図５において遠隔操縦制御装置２０１は、予測軌跡演算部２２０と、表示制御部２２１と、通信制御部２２２とを備えている。

　予測軌跡演算部２２０は、通信インターフェース２１１（図４）から入力される車体情報から油圧ショベル１の予測軌跡を演算して予測軌跡データを出力する。例えば、油圧ショベル１に搭載された通信装置９０から送信された各部位のセンサ値に応じて、１秒先の油圧ショベル１の姿勢を描画するための映像信号（予測軌跡データに対応）を表示制御部２２１へ出力する。

　表示制御部２２１は、遠隔操縦制御装置２０１の予測軌跡演算部２２０での予測軌跡演算の演算結果と、通信インターフェース２１１（図４）から入力される油圧ショベル１の車載カメラ映像を重畳する。重畳した映像信号を表示装置２０２へ出力する。

　通信制御部２２２は、送信する信号をパケット化して油圧ショベル１の通信装置９０へ伝送する。また、通信装置９０からのパケット信号を予測軌跡演算部２２０および表示制御部２２１が読み取れるように復号する。

＜予測軌跡演算部２２０の演算フロー＞
　本実施形態の遠隔操縦制御装置２０１の予測軌跡演算部２２０で実施される演算フローを図６に示す。この制御フローは、図５で示す通信装置９０からの信号が通信制御部２２２から入力されることで実施される。

　Ｓ６００では、通信制御部２２２からの入力信号を検出し、Ｓ６１０に進む。

　Ｓ６１０では、Ｓ６００で検出した入力信号からブーム６、アーム７、バケット８、上部旋回部３ｂの予測軌跡を演算する。本実施形態では、車体情報に格納されたブーム６、アーム７、バケット８、上部旋回部３ｂの位置、速度、加速度より現在時刻から所定秒数後ごとのベクトル方向及び大きさをそれぞれ演算する。演算が完了したらＳ６２０に進む。

　Ｓ６２０では、演算結果であるベクトル方向及び大きさを表示制御部２２１での処理に合わせたインターフェースに変換する。ただし、変換が必要ない場合は変換しない。本実施形態ではベクトル方向及び大きさを点群データに変換する。インターフェースを調整した演算結果を表示制御部２２１に出力して処理を終了する。

＜表示制御部２２１の制御フロー＞
　本実施形態の遠隔操縦制御装置２０１の表示制御部２２１で実施される制御フローを図７に示す。この制御フローは、図５で示す通信装置９０からの信号が通信制御部２２２から入力され、予測軌跡演算部２２０からの演算結果が入力されることで実施される。

　Ｓ７００では、通信制御部２２２および予測軌跡演算部２２０からの入力信号を検出し、Ｓ７１０に進む。

　Ｓ７１０では、Ｓ７００で検出した予測軌跡演算部２２０の演算結果から、映像信号として予測軌跡を描画する。本実施形態では、予測軌跡として車体の予測映像（予測軌跡演算部２２０の演算結果（予測軌跡）を基に生成したカメラから視た場合（カメラ視点）の疑似的な油圧ショベル１の予測映像データであり、本稿では疑似カメラ映像とも称する）および各秒数後に応じてグラデーションされたベクトル方向と大きさを示す記号を描画する。描画が完了したら、Ｓ７２０に進む。

　Ｓ７２０では、Ｓ７１０で描画した予測軌跡（映像信号：疑似カメラ映像）と、Ｓ７００で検出した通信制御部２２２からの映像信号（つまり、油圧ショベル１の車載カメラ映像の実映像）を重畳し、Ｓ７３０に進む。

　Ｓ７３０では、Ｓ７２０で重畳した映像信号を表示装置２０２に出力して処理を終了する。表示装置２０２においては、表示制御部２２１から送られた映像信号を基に、予測軌跡（疑似カメラ映像）と、油圧ショベル１の車載カメラ映像（の作業現場を撮像した実映像）とが同画面上で（同時に）重畳して表示される（図１３参照）。

＜通信制御部２２２の制御フロー＞
　本実施形態の遠隔操縦制御装置２０１の通信制御部２２２で実施される制御フローを図８に示す。この制御フローは、図５で示す遠隔操作装置２０３または通信装置９０から信号が入力されることで実施される。

　Ｓ８００では、遠隔操作装置２０３または通信装置９０からの入力信号（受信信号）を検出し、Ｓ８１０に進む。

　Ｓ８１０では、Ｓ８００で検出した入力信号が遠隔操作装置２０３からの入力信号であるならば、Ｓ８２０に進む。それ以外であれば、Ｓ８３０に進む。

　Ｓ８２０では、入力信号をパケット化して通信装置９０に送信して処理を終了する。

　Ｓ８３０では、Ｓ８００で検出した入力信号が通信装置９０からの入力信号であるならば、Ｓ８４０に進む。それ以外であるならば、Ｓ８５０に進む。

　Ｓ８４０では、予測軌跡演算部２２０および表示制御部２２１が読み取れるように復号および出力して処理を終了する。

　Ｓ８５０では、すべての処理条件に当てはまらないため、入力信号を破棄して処理を終了する。

＜動作・効果＞
　上記のように、本実施形態の遠隔操縦装置２００の制御装置（遠隔操縦制御装置）２０１は、車載カメラ９１で撮影した作業現場のカメラ映像および作業機械（油圧ショベル）１の車体情報を受信する通信制御部２２２と、前記車体情報から前記作業機械（油圧ショベル）１の予測軌跡を演算し、表示装置２０２に映像として表示するための予測軌跡データを出力する予測軌跡演算部２２０と、前記カメラ映像と前記予測軌跡の映像とを前記表示装置２０２に同画面上で（同時に）表示させる表示制御部２２１と、を備える。

　また、前記表示制御部２２１は、前記カメラ映像と前記予測軌跡の映像とを前記表示装置２０２に同画面上で重畳して表示させる。

　また、前記表示制御部２２１は、前記予測軌跡に基づいて前記車載カメラ９１から視た場合の（疑似的な）前記作業機械（油圧ショベル）１の予測映像である疑似カメラ映像を生成し、前記カメラ映像と前記疑似カメラ映像とを前記表示装置２０２に同画面上で重畳して表示させる。

　すなわち、本実施形態の遠隔操縦装置２００は、車載カメラ映像と予測軌跡映像とを重畳して遠隔地の操縦者に表示することによって、映像データ遅延に依存せず車体状況を操縦者に伝送し、視覚的に映像遅延を操縦者に提示する。

　上記のように構成される遠隔操縦装置２００を含む遠隔操縦システム１００において、通信回線の状況によって映像伝送に遅延が生じてしまう場合であっても、予測軌跡の映像を表示することで操縦者は車体の現在状況を認識できる。さらに疑似カメラ映像（予測軌跡を基に生成したカメラから視た場合の（疑似的な）油圧ショベル１の予測映像）を重畳することで、通信回線に遅延が生じている時は実カメラ映像との差分が顕現するため、操縦者に対して視覚的に映像遅延を提示できる。そのため、遠隔地から操縦する作業機械（油圧ショベル）１において、通信遅延を有する場合でも、効率的で安全に遠隔操縦することができる。

［第２実施形態］
　本発明の第２実施形態について図９～１２を用いて説明する。図９は、本実施形態に係る遠隔操縦装置２００ａの遠隔操縦制御装置２０１ａの機能ブロック図である。

　第１実施形態に加えて、本第２実施形態の遠隔操縦装置２００ａの遠隔操縦制御装置２０１ａは、図９に示すように、通信状況判定部２２３と通信状況送信部２２４が追加で構成されており、表示制御部２２１で重畳した映像信号が通信状況判定部２２３に入力されるように構成されている。

＜遠隔操縦制御装置２０１ａ＞
　通信状況判定部２２３は、表示制御部２２１から入力される映像信号の予測軌跡（疑似カメラ映像）と車載カメラ映像との差分から、油圧ショベル１と遠隔操縦装置２００ａの通信回線の伝送状況を判定する。その判定結果を、通信状況送信部２２４および表示装置２０２へ出力する。

　通信状況送信部２２４は、通信状況判定部２２３の判定結果（通信回線の伝送状況の判定結果）を通信制御部２２２ａを介して油圧ショベル１の通信装置９０へ伝送する。

＜通信状況判定部２２３の演算フロー＞
　図１０に本第２実施形態の遠隔操縦制御装置２０１ａの通信状況判定部２２３の制御フローチャートを示す。この制御フローは、図９で示す表示制御部２２１の出力が入力されることで実施される。

　Ｓ１０００では、表示制御部２２１からの入力信号を検出し、Ｓ１０１０に進む。

　Ｓ１０１０では、Ｓ１０００で検出した表示制御部２２１からの入力信号より、通信状況を判定する。本実施形態では、重畳した映像内の実カメラ映像と疑似カメラ映像の各特徴点の差分量分布から、遅延演算テーブルに基づいて遅延時間を算出する。通信回線の遅延時間の算出が完了したら、Ｓ１０２０に進む。

　Ｓ１０２０では、Ｓ１０１０で演算した遅延時間を通信状況送信部２２４および表示装置２０２へ出力して処理を終了する。表示装置２０２においては、通信状況判定部２２３から送られた判定結果である遅延時間が予測軌跡（疑似カメラ映像）や油圧ショベル１の車載カメラ映像（の作業現場を撮像した実映像）と共に同画面上で表示される（図１３参照）。

＜通信状況送信部２２４の制御フロー＞
　図１１に本第２実施形態の遠隔操縦制御装置２０１ａの通信状況送信部２２４の制御フローチャートを示す。この制御フローは、図９で示す通信状況判定部２２３の出力が入力されることで実施される。

　Ｓ１１００では、通信状況判定部２２３からの入力信号を検出し、Ｓ１１１０に進む。

　Ｓ１１１０では、Ｓ１１００で検出した通信状況判定部２２３からの入力信号を通信制御部２２２ａへ出力する。本実施形態では、入力信号を遠隔操作装置２０３の操作信号の一つとして変換処理して通信制御部２２２ａへ出力する。入力信号を通信制御部２２２ａへ出力したら処理を終了する。

＜通信制御部２２２ａの制御フロー＞
　本第２実施形態の遠隔操縦制御装置２０１ａの通信制御部２２２ａで実施される制御フローを図１２に示す。この制御フローは、図９で示す遠隔操作装置２０３または通信装置９０または通信状況送信部２２４から信号が入力されることで実施される。

　Ｓ１２００では、遠隔操作装置２０３または通信装置９０または通信状況送信部２２４からの入力信号（受信信号）を検出し、Ｓ１２１０に進む。

　Ｓ１２１０では、Ｓ１２００で検出した入力信号が遠隔操作装置２０３または通信状況送信部２２４からの入力信号であるならば、Ｓ１２２０に進む。それ以外であれば、Ｓ１２３０に進む。

　Ｓ１２２０では、入力信号をパケット化して通信装置９０に送信して処理を終了する。

　Ｓ１２３０では、Ｓ１２００で検出した入力信号が通信装置９０からの入力信号であるならば、Ｓ１２４０に進む。それ以外であるならば、Ｓ１２５０に進む。

　Ｓ１２４０では、予測軌跡演算部２２０および表示制御部２２１が読み取れるように復号および出力して処理を終了する。

　Ｓ１２５０では、すべての処理条件に当てはまらないため、入力信号を破棄して処理を終了する。

＜油圧ショベル（作業機械）１の動作＞
　本実施形態の油圧ショベル（作業機械）１は、通信状況送信部２２４から受信する通信状況判定部２２３の判定結果に応じて車体動作を抑制する。例えば、油圧ショベル１は、通信状況判定部２２３の判定結果である遅延時間に対する動作速度上限値のテーブルを持ち、通信状況判定部２２３の判定結果の遅延時間が大きくなればなるほど動作速度の上限値を抑制して遅く動作するようになる。あるいは、油圧ショベル１は、通信状況判定部２２３が通信途絶と判定した場合、全ての駆動部を停止させる。

　なお、本例では、通信状況送信部２２４が、通信状況判定部２２３の判定結果（遅延時間）をそのまま油圧ショベル１の通信装置９０へ伝送しているが、例えば、通信状況判定部２２３により演算される遅延時間が所定の閾値より大きく、通信障害が判定された場合のみ、通信状況判定部２２３の判定結果（遅延時間）を油圧ショベル１の通信装置９０へ伝送してもよい。

＜動作・効果＞
　上記のように、本実施形態の遠隔操縦装置２００ａは、前記カメラ映像と前記疑似カメラ映像との差分から前記作業機械（油圧ショベル）１と前記遠隔操縦装置２００の通信回線の伝送状況を判定する通信状況判定部２２３をさらに備える。

　また、前記通信状況判定部２２３は、前記通信回線の伝送状況の判定結果を前記表示装置２０２に表示させる。

　また、（例えば前記通信状況判定部２２３により通信障害があったと判定された場合、）前記通信回線の伝送状況の判定結果を前記作業機械（油圧ショベル）１に送信する通信状況送信部２２４をさらに備える。

　上記のように構成される遠隔操縦装置２００ａを含む遠隔操縦システム１００および油圧ショベル１において、２つの映像を重ね合わせることで第１実施形態のように視覚的に遅延状況を操縦者に伝達できるだけでなく、遅延判定結果である遅延時間も求めることができる。また、遅延判定結果を油圧ショベル１に送信できるため、遅延判定結果に応じて油圧ショベル１を制御することが可能となる。

　なお、上記実施形態では、表示装置２０２において、予測軌跡（疑似カメラ映像）と、油圧ショベル１の車載カメラ映像（の作業現場を撮像した実映像）とが同画面上で（同時に）重畳して表示されているが（図１３参照）、例えば、図１４に示すように、予測軌跡（疑似カメラ映像）と、油圧ショベル１の車載カメラ映像（の作業現場を撮像した実映像）とを同画面上であるが異なる位置に表示させてもよい（図１４参照）。

　なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、上記した実施形態のコントローラの各機能は、それらの一部または全部を、例えば集積回路で設計することによりハードウェアで実現してもよい。また、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、コントローラ内の記憶装置の他に、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

１…油圧ショベル（作業機械）
２…作業フロント（作業装置）
３…走行体
４…走行油圧モータ
５…旋回油圧モータ
６…ブーム
７…アーム
８…バケット
９…バケットリンク
１０…操作装置
１１…エンジン
１２…運転室
１５…流量制御弁
１６…負荷検出装置
２０…油圧ポンプ
３０…パイロットポンプ
３１…車体傾斜角センサ
３２…旋回角度センサ
３９…ロック弁
４０…制御コントローラ
５４～５９…電磁比例弁
６１…ブームシリンダ
６２…ブーム角度センサ
７１…アームシリンダ
７２…アーム角度センサ
８１…バケットシリンダ
８２…バケット角度センサ
９０…通信装置
９１…車載カメラ
１００…遠隔操縦システム
１４３ａ…ポンプライン
１４４ａ～１４９ｂ…パイロットライン
１５０ａ～１５５ｂ…油圧駆動部
１６０…電磁弁ユニット
１７０…タンク
２００…遠隔操縦装置
２０１…遠隔操縦制御装置（制御装置）
２０２…表示装置
２０３…遠隔操作装置
２０４…操縦席
２１１…通信インターフェース
２１２…中央処理装置（ＣＰＵ）
２１３…リードオンリーメモリ（ＲＯＭ）
２１４…ランダムアクセスメモリ（ＲＡＭ）
２１５…入力インターフェース
２１６…出力インターフェース
２２０…予測軌跡演算部
２２１…表示制御部
２２２…通信制御部
２２３…通信状況判定部（第２実施形態）
２２４…通信状況送信部（第２実施形態）

Claims

　作業機械へ操作信号を送信して前記作業機械を遠隔地から操縦する制御装置を備えた遠隔操縦装置であって、
　前記制御装置は、
　カメラで撮影した作業現場のカメラ映像および前記作業機械の車体情報を受信する通信制御部と、
　前記車体情報から前記作業機械の予測軌跡を演算し、表示装置に映像として表示するための予測軌跡データを出力する予測軌跡演算部と、
　前記カメラ映像と前記予測軌跡の映像とを前記表示装置に同画面上で表示させる表示制御部と、を備える遠隔操縦装置。
　前記表示制御部は、前記カメラ映像と前記予測軌跡の映像とを前記表示装置に同画面上で重畳して表示させる請求項１に記載の遠隔操縦装置。
　前記表示制御部は、前記カメラ映像と前記予測軌跡の映像を前記表示装置に同画面上で異なる位置に表示させる請求項１に記載の遠隔操縦装置。
　前記表示制御部は、前記予測軌跡に基づいて前記カメラから視た場合の前記作業機械の予測映像である疑似カメラ映像を生成し、前記カメラ映像と前記疑似カメラ映像とを前記表示装置に同画面上で重畳して表示させる請求項１に記載の遠隔操縦装置。
　前記カメラ映像と前記疑似カメラ映像との差分から前記作業機械と前記遠隔操縦装置の通信回線の伝送状況を判定する通信状況判定部をさらに備える請求項４に記載の遠隔操縦装置。
　前記通信状況判定部は、前記通信回線の伝送状況の判定結果を前記表示装置に表示させる請求項５に記載の遠隔操縦装置。
　前記通信回線の伝送状況の判定結果を前記作業機械に送信する通信状況送信部をさらに備える請求項５に記載の遠隔操縦装置。
　前記通信状況判定部により通信障害があったと判定された場合、前記通信回線の伝送状況の判定結果を前記作業機械に送信する通信状況送信部をさらに備える請求項５に記載の遠隔操縦装置。