JP7310338B2

JP7310338B2 - 遠隔操作システムおよび遠隔操作サーバ

Info

Publication number: JP7310338B2
Application number: JP2019108275A
Authority: JP
Inventors: 佑介船原; 均佐々木; 洋一郎山▲崎▼
Original assignee: Kobelco Construction Machinery Co Ltd
Current assignee: Kobelco Construction Machinery Co Ltd
Priority date: 2019-06-10
Filing date: 2019-06-10
Publication date: 2023-07-19
Anticipated expiration: 2039-06-10
Also published as: JP2020200659A; CN113994051A; EP3951096A1; WO2020250557A1; EP3951096A4; US20220213666A1

Description

本発明は、作業機械等を遠隔操作するためのシステムに関する。

建設機械等の作業機械の遠隔操作に際して、作業機械による円滑な作業のためには通信を途絶させないことが必須である。オペレータによる作業機械の遠隔操作の意思がないと推察される状態（例えば、乗降遮断レバーが上がっている状態）において、当該オペレータに対して提供される映像の情報量が制限され、あるいは、作業機械を基準とする複数の異なる方位の映像のうち作業機械の上部旋回体の旋回方向に応じた方位の映像のみが選択的に提供される方法が提案されている（例えば、特許文献１参照）。

特開２０１７－０９２９０８号公報

しかし、前記のような状態で、映像の情報量の制限または特定方位の映像が選択的に出力されるだけではオペレータによる作業機械の環境の把握が困難になる可能性がある。

そこで、本発明は、環境情報出力のためのデータ通信負荷の低減を図りながらも、オペレータによる作業機械の操作状態に応じて当該オペレータが作業機械の環境を適当に把握する観点から適当な形態で環境情報の情報量の過度の低下を回避しうるシステム等を提供することを目的とする。

本発明の第１態様の遠隔操作システムは、
作動機構および当該作動機構の少なくとも一部を含む環境を撮像し撮像画像を取得する撮像装置を有している作業機械と、当該作業機械を遠隔操作するための操作機構および遮断レバーを有している遠隔操作装置と、前記作業機械および前記遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作サーバと、により構成されている遠隔操作システムであって、
前記遠隔操作サーバは、前記遠隔操作装置が有するマスタ制御装置または前記作業機械が有するスレーブ制御装置により構成され、
オペレータによる前記遠隔操作装置の操作状態として、前記操作機構が操作されても前記作業機械が動かないように前記遮断レバーによりロックされているか否かを認識する状態認識要素と、
前記遠隔操作装置を構成する情報出力装置としての画像出力装置において出力される、前記撮像装置により取得された前記作業機械の環境を表わす環境データに応じた環境情報としての撮像画像の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が前記遮断レバーにより前記作業機械がロックされた場合には、前記遮断レバーにより前記作業機械がロックされていない場合よりも低減されるように調整して、前記撮像画像を前記遠隔操作装置に受信させる環境情報制御処理を実行する環境情報制御処理要素と、を備えていることを特徴とする。

本発明の第２態様の遠隔操作システムは、
下部走行体と、前記下部走行体に旋回可能に搭載されている上部旋回体と、前記上部旋回体に設けられる作動機構と、前記上部旋回体に設けられ前記当該作動機構の少なくとも一部を含む環境を撮像し撮像画像を取得する撮像装置と、を有している作業機械と、当該作業機械を遠隔操作するための操作機構を有する遠隔操作装置と、前記作業機械および前記遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作サーバと、により構成されている遠隔操作システムであって、
前記遠隔操作サーバは、前記遠隔操作装置が有するマスタ制御装置または前記作業機械が有するスレーブ制御装置により構成され、
オペレータによる前記遠隔操作装置の操作状態として、前記操作機構が前記上部旋回体を旋回させるために操作されているか否かを認識する状態認識要素と、
前記遠隔操作装置を構成する情報出力装置としての画像出力装置において出力される、前記作業機械が有する環境認識装置としての撮像装置により取得された前記作業機械の環境を表わす環境データに応じた環境情報としての撮像画像の解像度を、前記上部旋回体を旋回させるための操作が前記操作機構にされた場合には、前記上部旋回体を旋回させるための操作が前記操作機構にされていない場合よりも当該環境データのデータ量が低減されるように低減させて、前記撮像画像を前記遠隔操作装置に受信させる環境情報制御処理を実行する環境情報制御処理要と、を備えていることを特徴とする。

本発明の一実施形態としての遠隔操作システムの構成に関する説明図。作業機械の構成に関する説明図。遠隔操作装置の構成に関する説明図。本発明の一実施形態としての遠隔操作システムの機能に関する説明図。通常状態における環境情報因子の制御態様に関する説明図。環境情報制御処理に応じた環境情報因子の第１制御態様に関する説明図。環境情報制御処理に応じた環境情報因子の第２制御態様に関する説明図。環境情報制御処理に応じた環境情報因子の第３制御態様に関する説明図。通常状態における環境情報に関する説明図。環境情報制御処理時における環境情報に関する説明図。

（構成）
図１に示されている本発明の一実施形態としての遠隔操作システムは、遠隔操作装置１０と、遠隔操作サーバ２０と、作業機械４０と、を備えている。

（作業機械の構成）
作業機械４０は、スレーブ制御装置４００と、環境認識装置４０１と、無線通信機器４０２と、作動機構４４０と、を備えている。スレーブ制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２２が設けられている。上部旋回体２２０の前方中央部には作業アタッチメント４４０が設けられている。

作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

環境認識装置４０１は、例えばキャブ４２２の内部に設置され、キャブ４２２のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する撮像装置により構成されている。環境認識装置４０１は、マイクロフォンなどにより構成されている音響入力装置を備えていてもよい。

遠隔操作装置１０を構成する操作レバー（後述）に対応する実機側操作レバーと、遠隔操作室から各操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットと、がキャブ４２２に設けられている。

（遠隔操作装置の構成）
遠隔操作装置１０は、マスタ制御装置１００と、入力インターフェース１１０と、出力インターフェース１２０と、を備えている。遠隔操作装置１０の少なくとも一部がスマートホン、タブレット端末またはノートＰＣなどのモバイル端末装置により構成されていてもよい。マスタ制御装置１００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

入力インターフェース１１０は、操作機構１１１と、操作状態検知器１１２と、を備えている。出力インターフェース１２０は、情報出力装置１２１と、無線通信機器１２２と、を備えている。

操作機構１１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、遮断操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、ブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）はアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）はバケットシリンダ４４６を動かすために操作される。

遮断操作装置の操作レバー（遮断レバー）は、前記した走行レバー等の各操作レバーが操作されても作業機械４０が動かないようにロックする一方、当該ロックを解除するために操作される。

操作機構１１１を構成する各操作レバーは、例えば、図３に示されているように、オペレータが着座するためのシート１１００の周囲に配置されている。シート１１００は、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態でもよい。

シート１１００の前方に左右のクローラに応じた左右一対の走行レバー１１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシート１１００の右側フレームの前方に設けられている右側操作レバー１１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図３に示されているシート１１００の左側フレームの前方に設けられている左側操作レバー１１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

シート１１００の左側フレームの前方において左側操作レバー１１１２の下方に設けられている遮断レバー１１１３は、上げられた場合に各操作レバー１１１０、１１１１、１１１２が操作されても作業機械４０が動かないようにロックする一方、下げられた場合に当該ロックを解除するための操作レバーとして機能する。

情報出力装置１２１は、例えば図３に示されているように、シート１１００の右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置１２１１、前方画像出力装置１２１２および左斜め前方画像出力装置１２１３により構成されている。当該情報出力装置１２１は、シート１１００の内部または周囲に配置されたスピーカ（音声出力装置）をさらに備えていてもよい。

操作状態検知器１１２は、オペレータによる作業機械２００を動作させるための操作装置４００の操作状態を検知する。例えば、操作レバーを操作量０に対応する元の位置および姿勢に復元させるように作用するばねまたは弾性部材により構成される付勢機構の変形量または変位量に応じた信号を出力するセンサと、当該センサの出力信号に基づいて上部旋回体２２０を上方から見て反時計回りにある速度で旋回させるために旋回レバーが操作されたことなどを推定する演算処理装置と、により操作状態検知器１１２が構成されている。

操作機構１１１を構成する少なくとも一の操作レバーに感圧センサまたは接触センサが設けられ、当該センサと、当該少なくとも一の操作レバーがオペレータにより握られていることを推定する演算処理装置と、により操作状態検知器１１２が構成されていてもよい。シート１１００に感圧センサまたは接触センサが設けられ、当該センサと、オペレータが当該シート１１００に着座していることを推定する演算処理装置と、により操作状態検知器１１２が構成されていてもよい。

作業機械４０に設けられている実機側操作レバーの操作量に応じたパイロット圧に応じた信号を出力するパイロット圧センサと、当該パイロット圧センサの出力信号に基づいて上部旋回体４２０を上方から見て反時計回りにある速度で旋回させるために旋回レバーが操作されたことなどを推定する演算処理装置と、により操作状態検知器１１２が構成されていてもよい。

（遠隔操作サーバの構成）
遠隔操作サーバ２０は、状態認識要素２１と、環境情報制御処理要素２２と、を備えている。状態認識要素２１は、オペレータによる遠隔操作装置１０（またはこれを構成する操作機構１１１）の操作状態または作業機械４０の動作状態を認識する。

環境情報制御処理要素２２は、状態認識要素２１により認識された遠隔操作装置１０の操作状態または作業機械４０の動作状態の相違に応じて異なる態様で環境情報制御処理を実行する。「環境情報制御処理」は、遠隔操作装置１０の情報出力装置１２１において出力される環境情報の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が低減されるように調節するための演算処理である。

（機能）
遠隔操作装置１０において、オペレータにより操作機構１１１が操作され（図４／ＳＴＥＰ１０２）、これに応じて、マスタ制御装置１００により、無線通信機器１２２を通じて、当該操作態様に応じた動作指令が遠隔操作サーバ２０に対して送信される（図４／ＳＴＥＰ１０４）。

遠隔操作サーバ２０において、状態認識要素２１により動作指令が遠隔操作装置１０から受信され、かつ、当該動作指令が作業機械４０に対して送信される（図４／ＳＴＥＰ２０２）。

作業機械４０において、スレーブ制御装置４００により無線通信機器４０２を通じて動作指令が受信される（図４／ＳＴＥＰ４０２）。これに応じて、スレーブ制御装置４００により、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４０４）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

作業機械４０において、環境認識装置４０１により環境情報として撮像画像が取得される（図４／ＳＴＥＰ４０６）。この際、環境情報として音声情報が取得されてもよい。マスタ制御装置１００により、無線通信機器１２２を通じて、遠隔操作装置１０から遠隔操作サーバ２０を経由して作業機械４０に対して操作開始指令が送信されたことが、環境情報の取得開始のトリガとされてもよい。操作開始指令は、例えば、遠隔操作装置１０において、入力インターフェース１１０または操作機構１１１を構成するボタンまたは操作レバーが所定態様で操作されたことに応じて出力される。環境認識装置４０１により取得された環境情報は、作業機械４０から送信され、遠隔操作サーバ２０により受信される。

遠隔操作サーバ２０において、環境情報制御処理要素２２により、環境情報制御処理が実行される（図４／ＳＴＥＰ２０６）。「環境情報制御処理」は、遠隔操作装置１０の情報出力装置１２１において出力される環境情報の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が低減されるように調節するための演算処理である。具体的には、複数の環境情報因子のうち「高環境情報因子」よりも「低環境情報因子」に応じた当該情報量の低下が大きくなるように、複数の環境情報因子を異なる態様で調節するための演算処理である。遠隔操作装置１０からの動作指令および当該動作指令に応じた作業機械４０の動作状態のうち少なくとも一方である操作状態の相違に応じて、高環境情報因子および低環境情報因子を異なる態様で区分して環境情報制御処理が実行される。

環境情報制御処理は、その実行処理の要否を判定し当該判定結果が肯定的である場合に限って、環境情報制御処理要素２２により、環境情報制御処理が実行されるようにしてもよい。例えば、動作指令に応じた操作機構１１１の操作状態が、環境情報制御処理の対象である指定操作状態であるかが判定されてもよい。遠隔操作サーバ２０と作業機械４０との通信によって当該作業機械４０の動作指令に応じた動作状態が認識され、作業機械４０の動作状態が、環境情報制御処理の対象である指定動作状態であるか否かが判定されてもよい。環境情報制御処理要素２２により、遠隔操作サーバ２０と遠隔操作装置１０または作業機械４０との通信速度が認識されたうえで、当該通信速度が基準値未満であるか否かが判定されてもよい。

図５Ａには、通常状態、すなわち、環境情報制御処理が実行されない状態において、環境情報の情報量を定める４つの環境情報因子Ｘ１～Ｘ４のそれぞれの値が、下限値Ｑ１を基準として正規化された際の基準値Ｑ２である状況が示されている。環境情報が画像である場合、４つの環境情報因子Ｘ１～Ｘ４は、例えば、解像度、フレームレート、画素値の次元数および出力画像範囲の広さである。環境情報に音声が含まれている場合、例えば、複数の環境情報因子には、サンプリング周波数、量子化ビット数および音の周波数帯のうち少なくとも１つが含まれる。図５Ｂ～図５Ｄのそれぞれには、操作状態が第１～第３指定操作状態のそれぞれである場合における、４つの環境情報因子Ｘ１～Ｘ４のそれぞれの目標値または指令値が示されている。

第１指定操作状態では、環境情報因子Ｘ１およびＸ２が基準値Ｑ２よりも低減され、環境情報因子Ｘ３およびＸ４が基準値Ｑ２に維持されている（図５Ｂ参照）。この場合、環境情報因子Ｘ３およびＸ４が「高環境情報因子」に相当し、環境情報因子Ｘ１およびＸ２が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子」に相当する。

第２指定操作状態では、環境情報因子Ｘ３およびＸ４が基準値Ｑ２よりも低減され、環境情報因子Ｘ３のほうが環境情報因子Ｘ４よりも当該低下量が大きく、環境情報因子Ｘ１およびＸ２が基準値Ｑ２に維持されている（図５Ｃ参照）。この場合、環境情報因子Ｘ１およびＸ２が「高環境情報因子」に相当し、環境情報因子Ｘ３およびＸ４が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子」に相当する。さらに、環境情報因子Ｘ４が「高環境情報因子（または１次低環境情報因子）」に相当し、環境情報因子Ｘ３が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子（または２次低環境情報因子）」に相当する。

第３指定操作状態では、環境情報因子Ｘ２が基準値Ｑ２よりも低減され、環境情報因子Ｘ３が基準値Ｑ２よりも増大され、環境情報因子Ｘ１およびＸ４が基準値Ｑ２に維持されている（図５Ｄ参照）。この場合、環境情報因子Ｘ３が「高環境情報因子」に相当し、環境情報因子Ｘ１、Ｘ２およびＸ４が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子」に相当する。さらに、環境情報因子Ｘ１およびＸ４が「高環境情報因子（または１次低環境情報因子）」に相当し、環境情報因子Ｘ２が、当該高環境情報因子よりも環境情報の情報量の低下が大きくなるように調節される「低環境情報因子（または２次低環境情報因子）」に相当する。

例えば、作業機械４０の遠隔操作状態の別に応じて、表１に示されているように複数の環境情報因子のそれぞれが調節されてもよい。

表１において、遮断レバー上がり（状態Ａ）は、オペレータによる作業機械４０の操作意思がない状態であり、環境情報因子を低減させる。視野を保持するために画像範囲については維持してもよい。

遮断レバー上がり＋レバー握り（状態Ｂ）は、状態Ａ同様オペレータによる作業機械４０の操作意思がない状態であるものの、オペレータが操作レバーを握ることにより環境情報因子の低減を緩和した状態である。例えば、土砂運搬用のトラックが所定位置に移動することを確認するときに調整される環境情報因子の状態である。掘削等の作業を行わないのでフレームレートを落とすことが出来る。

上部旋回体の旋回操作（状態Ｃ）を行う際には、解像度を下げている。これは画面が高速で移動することによる画面の見辛さや不快感を低減するためである。一方、画像範囲については増大可能とすることで旋回方向の視界性を確保できるようにしている。

下部走行体の並進操作（状態Ｄ）を行う際には、移動方向を主として精度の高い情報が必要であり、環境情報因子を低減させないことが望ましい。通信負荷の低減が強いられる場合には画像範囲の維持を優先することで走行方向の視界性を確保できるようにしている。

粗掘削操作（状態Ｅ）は、掘削の計画面から離間した面までを作業速度を重視して掘削する状態である。フレームレートは維持するが、そのほかの環境情報因子を低減しても作業場問題とはならない。旋回等の移動が伴う作業を行う際には画像範囲を低減しないことが望ましい。

仕上げ掘削操作（状態Ｆ）は、例えば、粗掘削され掘削の計画面から残った土砂領域を、精度を重視して掘削する状態である。この状態では環境情報因子を低減させないことが望ましい。通信負荷の低減が強いられる場合には、バケット等の稼働時には画像範囲を低減しながらフレームレートを維持することで作業性に影響を与えず環境情報因子を低減させる。また例えばオペレータが作業面を確認するときなどバケット等の稼働が低調な時はフレームレートを低減しながら画像範囲を維持するようにする。

また、上記の状態の組合せとして整地作業操作（状態Ｄおよび状態Ｅの組合せ）も想定される。バケットによる均し作業のみを行う際には画像範囲を低減するが、走行操作も行う場合には画像範囲を低減しないことが望ましい。

続いて、遠隔操作サーバ２０において、環境情報制御処理要素２２により環境情報制御指令が作業機械４０に対して送信される（図４／ＳＴＥＰ２０８）。環境情報制御指令には、通常状態または指定操作状態の別（環境情報制御処理の実行有無の別）のほか、複数の因子の調節態様を特定するためのデータが含まれている。

作業機械４０において、スレーブ制御装置４００により、無線通信機器４０２を通じて環境情報制御指令が受信される（図４／ＳＴＥＰ４０８）。スレーブ制御装置４００により、撮像画像を表わす環境データのデータ量が環境情報制御指令にしたがって調節されたうえで遠隔操作サーバ３０に対して送信される（図４／ＳＴＥＰ４１０）。

遠隔操作サーバ２０において、環境情報制御処理要素２２により環境データが作業機械４０から受信され、かつ、当該環境データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ２１０）。

遠隔操作装置１０において、マスタ制御装置１００により、無線通信機器１２２を通じて環境データが受信される（図４／ＳＴＥＰ１０６）。マスタ制御装置１００により、環境データに応じた環境情報（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像、さらには収録音声そのものの全部または一部またはこれに基づいて生成された模擬的な環境音声）が情報出力装置１２１に出力される（図４／ＳＴＥＰ１０８）。

これにより、通常状態では、例えば図６Ａに示されているように、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている環境情報が高情報出力装置１２１および低情報出力装置２２１のそれぞれに出力される。環境情報因子Ｘ１が「通常状態と同じ出力画像範囲」であり、環境情報因子Ｘ２が「解像度」である場合、第１指定操作状態（図５Ｂ参照）では、環境情報の一部（例えば、中央の矩形状領域）が通常状態と同様の解像度を有し、その他の部分（例えば、当該一部の領域を矩形枠状に取り囲む領域）の解像度が通常状態よりも低い解像度を有する環境情報が情報出力装置１２１に出力される。また、環境情報因子Ｘ１が「出力画像範囲」であり、環境情報因子Ｘ２が「解像度」である場合、第１指定操作状態では、環境情報の一部のみが通常状態よりも解像度が低下された状態で情報出力装置１２１に出力される（図６Ｂ参照）。

環境情報因子としての「出力画像範囲（または通常状態と同じ出力画像範囲）」により情報出力装置１２１における単一の画像領域が指定されてもよく、複数の画像領域が指定されてもよい。環境情報因子としての「出力画像範囲」により情報出力装置１２１における広がり態様（形状、サイズおよび重心位置などにより特定される。）が時系列的に一定の画像領域が指定されてもよく、バケット４４５を包含する画像領域等、情報出力装置１２１における広がり態様が時系列的に変化する画像領域が指定されてもよい。

環境情報因子Ｘ３が「画素値の次元数」であり、環境情報因子Ｘ４が「フレームレート」である場合、第２指定操作状態（図５Ｃ参照）では、例えば、環境情報のフレームレートが低減され（２４～３０ＦＰＳ→２～１０ＦＰＳなど）、かつ、通常状態における色相および輝度値を含む２次元（色相がＲＧＢ値などの３次元ベクトルで表現される場合は４次元）の画素値が、輝度値（グレースケール）のみを含む１次元の画素値を有する環境情報が情報出力装置１２１に出力される。

今回の環境情報の情報量が前回の環境情報の情報量よりも低下する場合、今回の環境情報に加えて前回以前の所定回数分の環境情報が情報出力装置１２１から出力されてもよい。例えば、環境情報としての今回の環境画像の解像度が前回の環境画像の解像度よりも低下する場合、今回の環境画像に加えて前回または前回以前の複数回分の環境画像が情報出力装置に出力表示されてもよい。

（効果）
当該構成の遠隔操作システムまたはこれを構成する遠隔操作サーバ２０によれば、「環境情報制御処理」が実行されることにより、環境情報の情報量を定める複数の環境情報因子のそれぞれが調節される。具体的には、一または複数の高環境情報因子の情報低下量（当該環境情報因子の変化による環境情報の情報低下量を意味する。）よりも一または複数の低環境情報因子の情報低下量が大きくなるように環境データのデータ量が低減される（図４／ＳＴＥＰ２０６、図５Ａ～図５Ｄ参照）。低環境情報因子の情報低下量が高環境情報因子の情報低下量よりも相対的に大きくなるようにデータ量が調節される分だけ、当該データ量の低減、ひいては環境データの通信負荷の低減が図られる。その一方、高環境情報因子の情報低下量が低環境情報因子の情報低下量よりも相対的に小さくなるようにデータ量が調節される分だけ、当該データ量の過度な低減、ひいては環境情報の情報量の過度な低減が回避されうる。

当該環境情報制御処理は、操作状態（オペレータによる操作機構１１１の操作状態に応じた動作指令および当該動作指令に応じた作業機械４０の動作状態のうち少なくとも一方の状態）の相違に応じて、複数の環境情報因子のそれぞれが異なる態様で調節される。具体的には、当該相違に応じて、高環境情報因子および低環境情報因子を異なる態様で区分して実行される（図５Ａ～図５Ｄ参照）。よって、環境情報出力のためのデータ通信負荷の低減を図りながらも、オペレータによる作業機械４０の遠隔操作状態に応じて当該オペレータが作業機械４０の環境を適当に把握する観点から適当な形態で環境情報の情報量の過度の低下を回避しうる（図６Ａ～図６Ｂ参照）。

（本発明の他の実施形態）
他の実施形態において、遠隔操作サーバ２０を構成する環境情報制御処理要素２２によって、作業機械４０から環境データが通常状態と同様に受信されたうえで、環境情報制御処理が実行されることにより、遠隔操作装置１０に対して送信される環境データのデータ量が増減調節されてもよい。

他の実施形態において、遠隔操作サーバ２０または環境情報制御処理要素２２がマスタ制御装置１００によって構成され、遠隔操作装置１０および作業機械４０が直接的にまたは無線通信基地局を介して相互通信してもよい。この場合、環境情報制御処理要素２２と同様の機能を有するマスタ制御装置１００によって環境情報制御処理が実行されることにより、作業機械４０から遠隔操作装置１０に対して送信される環境データのデータ量が増減調節されてもよい。マスタ制御装置１００および遠隔操作サーバ２０は、共通のプロセッサにおける通信回路または別個のプロセッサを接続する通信回路を通じて相互に通信することができる。

他の実施形態において、遠隔操作サーバ２０または環境情報制御処理要素２２がスレーブ制御装置４００によって構成され、遠隔操作装置１０および作業機械４０が直接的にまたは無線通信基地局を介して相互通信してもよい。この場合、環境情報制御処理要素２２と同様の機能を有するスレーブ制御装置４００によって環境情報制御処理が実行されることにより、作業機械４０から遠隔操作装置１０に対して送信される環境データのデータ量が増減調節されてもよい。スレーブ制御装置４００および遠隔操作サーバ２０は、共通のプロセッサにおける通信回路または別個のプロセッサを接続する通信回路を通じて相互に通信することができる。

前記実施形態では、複数の環境情報因子が、高環境情報因子および低環境情報因子に区分されて調節されたが、他の実施形態として、複数の環境情報因子が、遠隔操作装置１０の少なくとも一の指定操作状態または作業機械４０の少なくとも一の指定動作状態に応じて高環境情報因子および低環境情報因子に区分されずに一様に調節されてもよい。すなわち、複数の環境情報因子のすべてが、基準値Ｑ２からの低下量が同一になるように制御されてもよい。

前記実施形態では、動作指令が遠隔操作装置１０から遠隔操作サーバ２０を経由して作業機械４０に対して送信されたが（図４／ＳＴＥＰ１０４→ＳＴＥＰ２０２→ＳＴＥＰ４０２参照）、他の実施形態として、動作指令が遠隔操作装置１０から無線通信基地局を介して作業機械４０に対して送信されてもよい。この場合、遠隔操作サーバ２０と遠隔操作装置１０との通信結果に基づき、環境情報制御処理要素２２によって動作指令またはこれに応じた遠隔操作装置１０の操作状態が認識されてもよい。あるいは、遠隔操作サーバ２０と作業機械４０との通信結果に基づき、環境情報制御処理要素２２によって動作指令に応じた作業機械４０の動作状態が認識されてもよい。

前記実施形態では、環境データが作業機械４０から遠隔操作サーバ２０を経由して遠隔操作装置１０に対して送信されたが（図４／ＳＴＥＰ４１０→ＳＴＥＰ２１０→ＳＴＥＰ１０６参照）、他の実施形態として、環境データが作業機械４０から無線通信基地局を介して遠隔操作装置１０に対して送信されてもよい。

前記実施形態において、環境情報制御処理が実行された場合の環境情報の情報量の低下態様が情報出力装置１２１に出力されたうえで、入力インターフェース１１０を通じて当該環境情報制御処理の実行が容認されたことを要件として、当該環境情報制御処理が実行されてもよい。

環境データには、作業機械４０の外部環境を表わす「外部環境データ」に加えて、作業機械４０の動作状態を表わす「内部環境データ」が含まれていてもよい。この場合、作業アタッチメント４４０に設けられ、ブームおよびアームの姿勢を表わす角度を検知する角度センサなどにより当該角度を表わすデータが環境データとして取得される。例えば、作業機械４０としてのクローラクレーンが吊り作業をしている場合、ブームおよびアームの角度を表わすデータが環境データから省略されることにより、当該環境データのデータ量の低減が図られる。

１０‥第１遠隔操作装置、２０‥遠隔操作サーバ、２１‥環境情報制御処理要素、２２‥状態認識要素、４０‥作業機械、１００‥マスタ制御装置、１１０‥入力インターフェース、１１１‥操作機構、１１２‥操作状態検知器、１２０‥出力インターフェース、１２１‥情報出力装置、１２２‥無線通信機器、４００‥スレーブ制御装置、４０１‥環境認識装置、４０２‥無線通信機器、４４０‥作業アタッチメント（作動機構）。

Claims

作動機構および当該作動機構の少なくとも一部を含む環境を撮像し撮像画像を取得する撮像装置を有している作業機械と、当該作業機械を遠隔操作するための操作機構および遮断レバーを有している遠隔操作装置と、前記作業機械および前記遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作サーバと、により構成されている遠隔操作システムであって、
前記遠隔操作サーバは、前記遠隔操作装置が有するマスタ制御装置または前記作業機械が有するスレーブ制御装置により構成され、
オペレータによる前記遠隔操作装置の操作状態として、前記操作機構が操作されても前記作業機械が動かないように前記遮断レバーによりロックされているか否かを認識する状態認識要素と、
前記遠隔操作装置を構成する情報出力装置としての画像出力装置において出力される、前記撮像装置により取得された前記作業機械の環境を表わす環境データに応じた環境情報としての撮像画像の情報量を定める複数の環境情報因子のそれぞれを、当該環境データのデータ量が前記遮断レバーにより前記作業機械がロックされた場合には、前記遮断レバーにより前記作業機械がロックされていない場合よりも低減されるように調整して、前記撮像画像を前記遠隔操作装置に受信させる環境情報制御処理を実行する環境情報制御処理要素と、を備えていることを特徴とする遠隔操作システム。
下部走行体と、前記下部走行体に旋回可能に搭載されている上部旋回体と、前記上部旋回体に設けられる作動機構と、前記上部旋回体に設けられ前記当該作動機構の少なくとも一部を含む環境を撮像し撮像画像を取得する撮像装置と、を有している作業機械と、当該作業機械を遠隔操作するための操作機構を有する遠隔操作装置と、前記作業機械および前記遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作サーバと、により構成されている遠隔操作システムであって、
前記遠隔操作サーバは、前記遠隔操作装置が有するマスタ制御装置または前記作業機械が有するスレーブ制御装置により構成され、
オペレータによる前記遠隔操作装置の操作状態として、前記操作機構が前記上部旋回体を旋回させるために操作されているか否かを認識する状態認識要素と、
前記遠隔操作装置を構成する情報出力装置としての画像出力装置において出力される、前記作業機械が有する環境認識装置としての撮像装置により取得された前記作業機械の環境を表わす環境データに応じた環境情報としての撮像画像の解像度を、前記上部旋回体を旋回させるための操作が前記操作機構にされた場合には、前記上部旋回体を旋回させるための操作が前記操作機構にされていない場合よりも当該環境データのデータ量が低減されるように低減させて、前記撮像画像を前記遠隔操作装置に受信させる環境情報制御処理を実行する環境情報制御処理要と、を備えていることを特徴とする遠隔操作システム。