JP7441733B2 - 実機状態監視システムおよび実機状態監視方法 - Google Patents

Description

本発明は、作業機械（実機）の状態を監視するシステムに関する。

ショベルの不安定度がオペレータに提示されることにより、オペレータの意図しない動作を精度良く判定できるショベルが提案されている（例えば、特許文献１参照）。

特開２０１９－１１２７８３号公報

しかし、不安定度が例えば３つの区域で表わされる離散変数として提示されているため、オペレータが当該不安定度を参考にしても、ブーム、アームおよびバケットのそれぞれをどの程度動させた場合にショベルの下部走行体の浮き上がりが生じるかを高精度で把握することが困難である。このため、下部走行体の浮き上がりが生じる蓋然性、すなわちショベルが不安定になる蓋然性が低い状況であるにもかかわらず、オペレータがブーム等のさらなる動作を停止させてしまい、作業効率が低下する可能性がある。

そこで、本発明は、ショベル等の作業機械のオペレータに対して提供される、当該作業機械の不安定度に関する情報の確度の向上を図りうるシステム等を提供することを目的とする。

本発明の実機状態監視システムは、
基体と、前記基体から延在している作業機構と、実機撮像装置と、前記作業機構の先端部に取り付けられている作業部と、を有する作業機械の状態を前記作業機械のオペレータに対して情報出力装置に伝達させるための実機状態監視システムであって、
前記基体の姿勢および前記作業部に作用している外力を認識する実機状態認識要素と、
前記実機状態認識要素により認識された前記基体の姿勢および前記作業部に作用している外力に基づき、前記基体の不安定度を、前記基体が地面から浮き上がらないことを基準とした第１不安定度、および、前記基体が地面に対して滑らないことを基準とした第２不安定度とした連続変数として評価する不安定度評価要素と、
前記不安定度評価要素により評価された前記基体の第１不安定度および第２不安定度のうち最大の不安定度を表わす不安定度情報を選択的に、前記最大の不安定度の連続的な変化に応じて当該不安定度情報の出力形態が連続的に変化するように前記情報出力装置に前記実機撮像装置により撮像された前記作業機構の少なくとも一部を含む撮像画像に基づいた環境画像に重畳して出力させる出力制御要素と、を備えている。

当該構成の実機状態監視システムによれば、連続変数としてその値が評価された基体の不安定度を表わす不安定度情報が、不安定度の連続的な変化に応じてその出力形態が連続的に変化するように情報出力装置に出力される。

このため、基体が不安定になるような閾値に対する現在の基体の不安定度の近接度、ひいては、基体の不安定を回避しながら作業機構等を動作させる許容範囲を、作業機械のオペレータに高精度で認識させることが可能になる。

オペレータにその視覚を通じて不安定度を認識させるため、前記出力制御要素が、前記情報出力装置を構成する画像出力装置に、前記基体の不安定度を表わすダイヤグラムを、前記不安定度の閾値を基準として前記ダイヤグラムの形態が連続的に変化するように出力させてもよい。オペレータにその聴覚を通じて不安定度を認識させるため、前記出力制御要素が、前記情報出力装置を構成する音響出力装置に、前記基体の不安定度を表わす音響を、当該音響の音量、周波数、または、音量および周波数の組み合わせが連続的に変化するように出力させてもよい。オペレータにその触覚を通じて不安定度を認識させるため、前記出力制御要素が、前記情報出力装置を構成する振動出力装置に、前記基体の不安定度を表わす振動を、当該振動の振幅、振動周波数、または、振幅および振動周波数の組み合わせが連続的に変化するように出力させてもよい。

本発明の実機状態監視システムが、前記作業機械および当該作業機械を遠隔操作するための遠隔操作装置のそれぞれとの通信に基づき、前記遠隔操作装置による前記作業機械の遠隔操作を支援するための遠隔操作支援サーバにより構成されていてもよい。前記情報出力装置が、前記作業機械を遠隔操作するための遠隔操作装置により構成されていてもよい。

本発明の実機状態監視システムにおいて、
前記不安定度評価要素が、前記基体が地面から浮き上がらないことを基準とした第１不安定度、および、前記基体が地面に対して滑らないことを基準とした第２不安定度のうち少なくとも一方を前記不安定度として評価する
ことが好ましい。

当該構成の実機状態監視システムによれば、情報出力装置により出力される第１不安定度を表わす不安定度情報（第１不安定度情報）を通じて、閾値（第１閾値）に対する基体の第１不安定度の近接度、ひいては、基体が地面から浮き上がることで不安定になることを回避しながら作業機構等を動作させる許容範囲を、作業機械のオペレータに高精度で認識させることが可能になる。同様に、情報出力装置により出力される第２不安定度を表わす不安定度情報（第２不安定度情報）を通じて、閾値（第２閾値）に対する基体の不安定度の近接度、ひいては、基体が地面に対して滑ることで不安定になることを回避しながら作業機構等を動作させる許容範囲を、作業機械のオペレータに高精度で認識させることが可能になる。

本発明の実機状態監視システムにおいて、
前記実機状態認識要素が、前記作業機械が前記作業部を作業物体に力を作用させながら指定作業を実行しているか否かを認識し、
前記出力制御要素が、前記状態認識要素により前記作業機械が前記指定作業を実行していると認識されたことを要件として、前記情報出力装置に前記不安定度情報を出力させる
ことが好ましい。

当該構成の実機状態監視システムによれば、作業機械が作業部を作業物体に力を作用させながら指定作業を実行している状況、すなわち、基体が不安定になる可能性がある状況でのみ、不安定度情報が情報出力装置を通じてオペレータに伝達される。これにより、不安定度情報の有用性の向上が図られる。

本発明の一実施形態としての実機状態監視システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作システムの機能に関する説明図。 実機状態監視システムの機能に関する説明図。 作業環境画像に関する説明図。 地面が平坦な場合の第１不安定度の評価方法に関する説明図。 地面が傾斜している場合の第１不安定度の評価方法に関する説明図。 地面が平坦な場合の第２不安定度の評価方法に関する説明図。 地面が傾斜している場合の第２不安定度の評価方法に関する説明図。 地面が平坦な場合の第３不安定度の評価方法に関する説明図。 地面が傾斜している場合の第３不安定度の評価方法に関する説明図。 不安定度情報の出力形態に関する説明図。

（遠隔操作システムの構成）
図１に示されている本発明の一実施形態としての実機状態監視システム１１０は、遠隔操作装置２０による作業機械４０の遠隔操作を支援するための遠隔操作支援サーバ１０により構成されている。遠隔操作支援サーバ１０と遠隔操作装置２０とは相互に第１ネットワークを介して通信可能に構成されている。遠隔操作支援サーバ１０と作業機械４０とは相互に第２ネットワークを介して通信可能に構成されている。第１ネットワークおよび第２ネットワークは、通信規格等が共通のネットワークであってもよく、通信規格等が相互に異なるネットワークであってもよい。

（遠隔操作支援サーバの構成）
遠隔操作支援サーバ１０は、データベース１０２と、実機状態監視システム１１０と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

（実機状態監視システムの構成）
実機状態監視システム１１０は、実機状態認識要素１１１と。不安定度評価要素１１２と、出力制御要素１１４と、を備えている。各要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、音響出力装置２２２と、振動出力装置２２３と、遠隔無線通信機器２２４と、を備えている。遠隔画像出力装置２２１、音響出力装置２２２および振動出力装置２２３のそれぞれは「情報出力装置」を構成する。遠隔画像出力装置２２１、音響出力装置２２２および振動出力装置２２３のうち一部が省略されていてもよい。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

遠隔画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

図２に示されているように、中央遠隔画像出力装置２２１０の画面および左側遠隔画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側遠隔画像出力装置２２１１の右縁が、中央遠隔画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央遠隔画像出力装置２２１０の画面および右側遠隔画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側遠隔画像出力装置２２１２の左縁が、中央遠隔画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

音響出力装置２２２は、一または複数のスピーカーにより構成され、例えば図２に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２により構成されている。中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。

振動出力装置２２３は圧電素子により構成され、シートＳｔの一または複数の箇所に配設または埋設されている。振動出力装置２２３が振動することにより、シートＳｔに着座しているオペレータが当該振動態様をその触覚を通じて認識することができる。振動出力装置２２３は、遠隔操作機構２１１を構成する遠隔操作レバー等、オペレータが触って認識できるあらゆる場所に設置されていてもよい。

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えば、油圧式、電動式または油圧式および電動式が組み合わされたハイブリッド駆動式のクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、実機状態センサ群４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウ（またはウィンドウフレーム）およびサイドウィンドウのうち一部または全部が省略されていてもよい。実機状態センサ群４１４は、上部旋回体４１０に対するブーム４４１の回動角度（起伏角度）、ブーム４４１に対するアーム４４３の回動角度、および、アーム４４３に対するバケット４４５の回動角度のそれぞれを測定するための角度センサ、下部走行体４１０に対する上部旋回体４２０の旋回角度を測定するための旋回角度センサ、バケット４４５に対して作用する外力を測定するための外力センサ、上部旋回体４２０に作用する３軸加速度を測定するための３軸加速度センサ等により構成されている。

実機出力インターフェース４２は、実機画像出力装置４２１と、実機無線通信機器４２２と、を備えている。実機画像出力装置４２１は、例えば、キャブ４２４の内部であってフロントウィンドウの近傍に配置されている（図６および図１３参照）。実機画像出力装置４２１は、省略されていてもよい。

作動機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。作業部として、バケット４４５のほか、ニブラ、カッター、マグネットなど、さまざまなアタッチメントが用いられてもよい。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

（第１機能）
前記構成の遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０により構成されている遠隔操作支援システムの第１機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２１０）。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２１０‥ＮＯ）一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２４を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１２）。

遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４１０）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４１２）。

遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１）、第２支援処理要素１２２により撮像画像に応じた環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて環境画像データが受信された場合（図４／Ｃ２１）、遠隔制御装置２００により、環境画像データに応じた環境画像が遠隔画像出力装置２２１に出力される（図４／ＳＴＥＰ２１４）。

これにより、例えば、図６に示されているように、作業機構４４０の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる環境画像が遠隔画像出力装置２２１に出力される。

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２１６）、かつ、遠隔無線通信機器２２４を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１８）。

遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１２）。

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４１）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４１４）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

前記構成の遠隔操作支援システムの第２機能（主に、遠隔操作支援サーバ１０により構成されている実機状態監視システム１１０の機能）について図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

作業機械４０において、実機制御装置４００により、実機状態センサ群４１４の出力信号に基づき、当該作業機械４０の動作状態を表わす実機状態データが取得される（図５／ＳＴＥＰ４２０）。作業機械４０の動作状態には、上部旋回体４１０に対するブーム４４１の回動角度（起伏角度）、ブーム４４１に対するアーム４４３の回動角度、および、アーム４４３に対するバケット４４５の回動角度、下部走行体４１０に対する上部旋回体４２０の旋回角度、ならびに、バケット４４５に対して作用する外力Ｆ等が含まれている。

実機制御装置４００により、実機無線通信機器４２２を通じて実機状態データが遠隔操作支援サーバ１０に対して送信される（図５／ＳＴＥＰ４２２）。

遠隔操作支援サーバ１０において、実機状態データが受信された場合（図５／Ｃ１４）、実機状態認識要素１１１により、当該実機状態データに基づいて作業機械４０の状態が認識される（図５／ＳＴＥＰ１２０）。

具体的には、バケット４４５に作用する外力Ｆの時系列が認識される。外力Ｆは、ブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６のうち少なくとも１つの油圧に工程に応じて認識されてもよい。

さらに、作業機械４０に対して位置および姿勢が固定されている実機座標系における、下部走行体４１０および上部旋回体４２０からなる基体の重心Ｐ０、浮き上がり支点Ｐ１および外力作用点Ｐ２（バケット４４５の先端点）のそれぞれの座標値が認識される。実機座標系における基体の重心Ｐ０の座標値は、作業機械４０の種類および／または仕様ごとに区分されてデータベース１０２にあらかじめ登録されている。実機座標系における浮き上がり支点Ｐ１の座標値は、下部走行体４１０に対する上部旋回体４２０の旋回角度に基づいて認識される（特許文献１の浮き上がり支点Ｔ１ｆ参照）。実機座標系における外力作用点Ｐ２は、上部旋回体４１０に対するブーム４４１の回動角度（起伏角度）、ブーム４４１に対するアーム４４３の回動角度、および、アーム４４３に対するバケット４４５の回動角度のそれぞれと、ブーム４４１、アーム４４３およびバケット４４５のそれぞれのリンク長と、に基づいて幾何学的に認識される。ブーム４４１のリンク長（上部旋回体４２０の側の関節機構からアーム４４３の側の関節機構までの間隔）、アーム４４３のリンク長（アーム４４１の側の関節機構からバケット４４５の側の関節機構までの間隔）、および、バケット４４５のリンク長（アーム４４３の側の関節機構からバケット４４５の先端部までの間隔）のそれぞれは、作業機械４０の種類および／または仕様ごとに区分されてデータベース１０２にあらかじめ登録されている。

実機状態認識要素１１１により、作業機械４０がバケット４４５（作業部）を用いて指定作業を実行しているか否かが判定される（図５／ＳＴＥＰ１２１）。例えば、指定作業が掘削作業である場合、バケット４４５に作用する外力Ｆが増減を繰り返しているか否かに応じて、作業機械４０が指定作業を実行しているか否かが認識される。

当該判定結果が否定的である場合（図５／ＳＴＥＰ１２１‥ＮＯ）、今回制御周期における一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２１‥ＹＥＳ）、実機状態認識要素１１１により認識された実機状態に基づき、不安定度評価要素１１２により、作業機械４０の上部旋回体４２０（基体）の第１不安定度Ｉｓ１、第２不安定度Ｉｓ２および第３不安定度Ｉｓ３が評価される（図５／ＳＴＥＰ１２２）。

第１不安定度Ｉｓ１は、作業機械４０の下部走行体４１０（基体）が地面から浮き上がることにより当該基体が不安定になる観点から定義される不安定度である。図７に示されている、外力Ｆ、外力ベクトルが水平面となす角度θ_f、基体の重心Ｐ０および当該重心Ｐ０よりも後方にある浮き上がり支点Ｐ１の距離ｌ_g、浮き上がり支点Ｐ１および外力作用点Ｐ２の距離ｌ_t、線分Ｐ０－Ｐ１（またはこれを含む平面）が水平面となす角度θ_g、線分Ｐ１－Ｐ２（またはこれを含む平面）が水平面となす角度θ_t、基体の重量ｍおよび重力加速度ｇに基づき、関係式（１１）にしたがって第１不安定度Ｉｓ１が求められる。すなわち、連続変数ｌ_t、Ｆ、θ_f、θ_t、ｌ_gおよびθ_gを主変数とする、連続関数または連続従変数として第１不安定度Ｉｓ１が定義されている。

Ｉｓ１＝ｌ_t・Ｆｓｉｎ（θ_t－θ_f）／ｌ_g・ｍｇｃｏｓθ_g ‥（１１）。

図８に示されているように、地面が角度θ_mだけ傾斜している場合、第１不安定度Ｉｓ１は関係式（２１）により定義されている。地面の傾斜角度－θ_mは、実機状態センサ群４１４を構成する、上部旋回体４２０に作用する３軸加速度を測定するための３軸加速度センサの出力信号に基づいて測定されうる。

Ｉｓ１＝ｌ_t・Ｆｓｉｎ（θ_t－θ_f）／ｌ_g・ｍｇｃｏｓ（θ_g＋θ_m） ‥（２１）。

第２不安定度Ｉｓ２は、作業機械４０の下部走行体４１０（基体）が地面から浮き上がることにより当該基体が不安定になる観点から定義される不安定度である。図９に示されている、外力Ｆ、外力ベクトルが水平面となす角度θ_f、基体の重心Ｐ０および当該重心Ｐ０よりも前方にある浮き上がり支点Ｐ１の距離ｌ_fg、浮き上がり支点Ｐ１および外力作用点Ｐ２の距離ｌ_ft、線分Ｐ０－Ｐ１（またはこれを含む平面）が水平面となす角度θ_fg、線分Ｐ１－Ｐ２（またはこれを含む平面）が水平面となす角度θ_ft、基体の重量ｍおよび重力加速度ｇに基づき、関係式（１２）にしたがって第２不安定度Ｉｓ２が求められる。すなわち、連続変数ｌ_ft、Ｆ、θ_f、θ_ft、ｌ_fgおよびθ_fgを主変数とする、連続関数または連続従変数として第２不安定度Ｉｓ２が定義されている。

Ｉｓ２＝ｌ_ft・Ｆｓｉｎ（θ_f－θ_ft）／ｌ_fg・ｍｇｃｏｓθ_fg ‥（１２）。

図１０に示されているように、地面が角度θ_mだけ傾斜している場合、第２不安定度Ｉｓ２は関係式（２２）により定義されている。

Ｉｓ２＝ｌ_ft・Ｆｓｉｎ（θ_f－θ_ft）／ｌ_fg・ｍｇｃｏｓ（θ_fg＋θ_m） ‥（２２）。

第３不安定度Ｉｓ３は、作業機械４０の下部走行体４１０（基体）が地面に対して滑ることにより当該基体が不安定になる観点から定義される不安定度である。図１１に示されている、外力Ｆ、外力ベクトルが水平面となす角度θ_f、基体の重量ｍ、重力加速度ｇ、および、基体と地面との静摩擦係数μ（または動摩擦係数）に基づき、関係式（１３）にしたがって第３不安定度Ｉｓ３が求められる。すなわち、連続変数Ｆおよびθ_fを主変数とする、連続関数または連続従変数として第３不安定度Ｉｓ３が定義されている。なお、摩擦係数μは、作業現場における標準的な値が用いられるが、気象条件（降水量、温度、湿度など）および／または土質条件・地盤条件（土砂、粘土、砂利、砂、瓦礫など）の相違に応じて異なる値が用いられてもよい。

Ｉｓ３＝Ｆｃｏｓθ_f／μｍｇ ‥（１３）。

図１２に示されているように、地面が角度θ_mだけ傾斜している場合、第３不安定度Ｉｓ３は関係式（２３）により定義されている。

Ｉｓ３＝Ｆｃｏｓθ_f／（μｍｇｃｏｓθ_m－ｍｇｓｉｎθ_m） ‥（２３）。

出力制御要素１１４により、第１不安定度Ｉｓ１、第２不安定度Ｉｓ２および第３不安定度Ｉｓ３のうちいずれが最大であるかが判定される（図５／ＳＴＥＰ１２４）。

第１不安定度Ｉｓ１が最大不安Ｉｓｍａｘであると判定された場合（図５／ＳＴＥＰ１２４‥１）、出力制御要素１１４により、第１不安定度Ｉｓ１を表わす第１不安定度情報が生成される（図５／ＳＴＥＰ１２５）。第２不安定度Ｉｓ２が最大不安Ｉｓｍａｘであると判定された場合（図５／ＳＴＥＰ１２４‥２）、出力制御要素１１４により、第２不安定度Ｉｓ２を表わす第２不安定度情報が生成される（図５／ＳＴＥＰ１２６）。第３不安定度Ｉｓ３が最大不安Ｉｓｍａｘであると判定された場合（図５／ＳＴＥＰ１２４‥３）、出力制御要素１１４により、第３不安定度Ｉｓ３を表わす第３不安定度情報が生成される（図５／ＳＴＥＰ１２７）。そして、出力制御要素１１４により、第１不安定度情報、第２不安定度情報または第３不安定度情報が遠隔操作装置２０に対して送信される（図５／ＳＴＥＰ１２８）。

遠隔操作装置２０において、遠隔無線通信機器２２４により、第１不安定度情報、第２不安定度情報または第３不安定度情報が受信された場合（図５／Ｃ２２）、遠隔制御装置２００により、遠隔画像出力装置２２１に当該不安定度情報が出力される（図５／ＳＴＥＰ２２４）。

これにより、例えば図１３に示されているように、ウィンドウｆに不安定度の高低に応じてウィンドウｆの下端縁からの長短が変化するダイヤグラムｆ（ｘ）または棒グラフが、遠隔画像出力装置２２１において環境画像に重畳されて出力される。ダイヤグラムｆ（ｘ）のサイズは、不安定度を変数とする線形関数、指数関数、対数関数などの増加関数により定義されている。ウィンドウｆの上端縁または上端縁より低い位置の目盛りは、第１不安定度Ｉｓ１、第２不安定度Ｉｓ２または第３不安定度Ｉｓ３が閾値ｆthに至った場合、基体が地面から浮き上がるまたは基体が地面に対して滑ると予測される当該閾値ｆthを表わしている。

ダイヤグラムｆ（ｘ）の形状は矩形状のほか、円形、扇形、菱形など様々な形状であってもよい。ダイヤグラムｆ（ｘ）のサイズ、形状、色（明度、彩度および色相）もしくは模様またはこれらの任意の組み合わせが、不安定度Ｉｓ１、Ｉｓ２の連続的な変化に応じて連続的に変化するように出力されてもよい。

（効果）
当該構成の遠隔操作支援システムを構成する実機状態監視システム１１０によれば、連続変数としてその値が評価された基体（下部走行体４１０および上部旋回体４２０）の不安定度Ｉｓ１、Ｉｓ２を表わす不安定度情報が、不安定度Ｉｓ１、Ｉｓ２の連続的な変化に応じてその出力形態が連続的に変化するように遠隔画像出力装置２２１（情報出力装置）に出力される（図５／ＳＴＥＰ１２２→‥→ＳＴＥＰ２２４、図１３参照）。

このため、基体が不安定になるような閾値に対する現在の基体の不安定度の近接度、ひいては、基体の不安定を回避しながら作業機構等を動作させる許容範囲を、作業機械４０のオペレータに高精度で認識させることが可能になる。

情報出力装置により出力される第１不安定度を表わす不安定度情報（第１不安定度情報）を通じて、閾値（第１閾値）に対する基体の第１不安定度の近接度、ひいては、基体が重心Ｐ０よりも後方の浮き上がり支点Ｐ１を始点として、地面から浮き上がることで不安定になることを回避しながら作業機構等を動作させる許容範囲を、作業機械のオペレータに高精度で認識させることが可能になる（図７、図８、図１３参照）。同様に、情報出力装置により出力される第２不安定度を表わす不安定度情報（第２不安定度情報）を通じて、閾値（第２閾値）に対する基体の第２不安定度の近接度、ひいては、基体が重心Ｐ０よりも前方の浮き上がり支点Ｐ１を始点として、地面から浮き上がることで不安定になることを回避しながら作業機構等を動作させる許容範囲を、作業機械のオペレータに高精度で認識させることが可能になる（図９、図１０、図１３参照）。情報出力装置により出力される第３不安定度を表わす不安定度情報（第３不安定度情報）を通じて、閾値（第３閾値）に対する基体の不安定度の近接度、ひいては、基体が地面に対して滑ることで不安定になることを回避しながら作業機構等を動作させる許容範囲を、作業機械のオペレータに高精度で認識させることが可能になる（図１１、図１２、図１３参照）。

また、作業機械４０がバケット４４５（作業部）を作業物体（土砂、瓦礫など）に力を作用させながら指定作業としての掘削作業を実行している状況、すなわち、基体が不安定になる可能性がある状況でのみ、不安定度情報が情報出力装置を通じてオペレータに伝達される（図５／ＳＴＥＰ１２１‥ＹＥＳ→‥→ＳＴＥＰ２２４参照）。これにより、不安定度情報の有用性の向上が図られる。

（本発明の他の実施形態）
前記実施形態では、遠隔操作支援サーバ１０により実機状態監視システム１１０が構成されていたが、他の実施形態として遠隔操作装置２０および／または作業機械４０により実機状態監視システム１１０が構成されていてもよい。すなわち、遠隔操作装置２０および／または作業機械４０が、実機状態認識要素１１１、不安定度評価要素１１２および出力制御要素１１４としての機能を有していてもよい。

前記実施形態では、遠隔画像出力装置２２１を通じて不安定度情報が出力されたが、付加的または代替的に、音響出力装置２２２および／または振動出力装置２２３を通じて不安定度情報が出力されてもよい。音響出力装置２２２により、基体の不安定度を表わす音響を、当該音響の音量、周波数、または、音量および周波数の組み合わせが連続的に変化するように出力されてもよい。振動出力装置２２３により、基体の不安定度を表わす振動を、当該振動の振幅、振動周波数、または、振幅および振動周波数の組み合わせが連続的に変化するように出力されてもよい。

前記実施形態では、第１不安定度Ｉｓ１、第２不安定度Ｉｓ２および第３不安定度Ｉｓ３が評価されたが（図５／ＳＴＥＰ１２２、図７～図１２参照）、他の実施形態として第１不安定度Ｉｓ１、第２不安定度Ｉｓ２および第３不安定度Ｉｓ３のうち１つのみが評価され、当該１つの不安定度を表わす不安定度情報が情報出力装置に出力されてもよい。第１不安定度Ｉｓ１、第２不安定度Ｉｓ２および第３不安定度Ｉｓ３のうち少なくとも２つの平均値または重み付き和が単一の不安定度として評価されてもよい。

前記実施形態では、第１不安定度Ｉｓ１、第２不安定度Ｉｓ２および第３不安定度Ｉｓ３のうち、一の不安定度を表わす不安定度情報のみが情報出力装置に出力されたが（図５／ＳＴＥＰ１２４‥１→ＳＴＥＰ１２５→ＳＴＥＰ１２８→‥→ＳＴＥＰ２２４、図５／ＳＴＥＰ１２４‥２→ＳＴＥＰ１２６→ＳＴＥＰ１２８→‥→ＳＴＥＰ２２４、図５／ＳＴＥＰ１２４‥３→ＳＴＥＰ１２６→ＳＴＥＰ１２７→‥→ＳＴＥＰ２２４参照）、第１不安定度Ｉｓ１、第２不安定度Ｉｓ２および第３不安定度Ｉｓ３のうち全部または２つのそれぞれの不安定度を表わす３つまたは２つの不安定度情報が情報出力装置に出力されてもよい。この場合、第１不安定度Ｉｓ１、第２不安定度Ｉｓ２および第３不安定度Ｉｓ３のそれぞれを表わすための２つのダイヤグラムｆ（ｘ）が出力されてもよい。最大不安定度Ｉｓｍａｘの特定処理（図５／ＳＴＥＰ１２４参照）が省略される。

前記実施形態では、作業機械４０がバケット４４５（作業部）を用いて指定作業（例えば、掘削作業）を実行している状況でのみ、不安定度情報が情報出力装置を通じてオペレータに伝達されたが（図５／ＳＴＥＰ１２１‥ＹＥＳ→‥→ＳＴＥＰ２２４参照）、他の実施形態として、作業機械４０が指定作業を実行しているか否かとは無関係に、不安定度情報が情報出力装置を通じてオペレータに伝達されてもよい。

１０‥遠隔操作サーバ、２０‥遠隔操作装置、２４‥遠隔制御装置、４０‥作業機械、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥遠隔画像出力装置（情報出力装置）、２２２‥音響出力装置（情報出力装置）、２２３‥振動出力装置（情報出力装置）、２２４‥遠隔無線通信機器、２４０・遠隔制御要素、２４１‥第１出力制御要素、２４２‥第２出力制御要素、４１０‥実機入力インターフェース、４１２‥実機撮像装置、４１４‥状態センサ群、４２０‥実機出力インターフェース、４２１‥実機画像出力装置（情報出力装置）、４２２‥実機無線通信機器、４４０‥作業機構（作業アタッチメント）、４４５‥バケット（作業部）。

Claims (10)

1. 基体と、前記基体から延在している作業機構と、実機撮像装置と、前記作業機構の先端部に取り付けられている作業部と、を有する作業機械の状態を前記作業機械のオペレータに対して情報出力装置に伝達させるための実機状態監視システムであって、
   前記基体の姿勢および前記作業部に作用している外力を認識する実機状態認識要素と、
   前記実機状態認識要素により認識された前記基体の姿勢および前記作業部に作用している外力に基づき、前記基体の不安定度を、前記基体が地面から浮き上がらないことを基準とした第１不安定度、および、前記基体が地面に対して滑らないことを基準とした第２不安定度とした連続変数として評価する不安定度評価要素と、
   前記不安定度評価要素により評価された前記基体の第１不安定度および第２不安定度のうち最大の不安定度を表わす不安定度情報を選択的に、前記最大の不安定度の連続的な変化に応じて当該不安定度情報の出力形態が連続的に変化するように前記情報出力装置に前記実機撮像装置により撮像された前記作業機構の少なくとも一部を含む撮像画像に基づいた環境画像に重畳して出力させる出力制御要素と、
   を備えていることを特徴とする実機状態監視システム。
2. 請求項１記載の実機状態監視システムにおいて、
   前記第１不安定度は、
   前記基体の前側が地面から浮き上がらないことを基準とした、一の第１不安定度および前記基体の後側が地面から浮き上がらないことを基準とした他の第１不安定度を含み、
   前記出力制御要素は、
   前記不安定度評価要素により評価された前記基体の一の第１不安定度、他の第１不安定度および第２不安定度のうち最大の不安定度を表わす不安定度情報を選択的に、前記最大の不安定度の連続的な変化に応じて当該不安定度情報の出力形態が連続的に変化するように前記情報出力装置に前記実機撮像装置により撮像された前記作動業機構の少なくとも一部を含む撮像画像に基づいた環境画像に重畳して出力させる
   ことを特徴とする実機状態監視システム。
3. 請求項１記載の実機状態監視システムにおいて、
   前記出力制御要素が、前記情報出力装置を構成する画像出力装置に、前記基体の不安定度を表わすダイヤグラムを、前記不安定度の閾値を基準として前記ダイヤグラムの形態が連続的に変化するように出力させる
   ことを特徴とする実機状態監視システム。
4. 請求項３に記載の実機状態監視システムにおいて、
   前記出力制御要素が、前記情報出力装置を構成する画像出力装置に、前記ダイヤグラムを前記第１不安定度および前記第２不安定度のそれぞれが表わされるように出力させる
   ことを特徴とする実機状態監視システム。
5. 請求項１～４のうちいずれか１項に記載の実機状態監視システムにおいて、
   前記出力制御要素が、前記情報出力装置を構成する音響出力装置に、前記基体の不安定度を表わす音響を、当該音響の音量、周波数、または、音量および周波数の組み合わせが連続的に変化するように出力させる
   ことを特徴とする実機状態監視システム。
6. 請求項１～５のうちいずれか１項に記載の実機状態監視システムにおいて、
   前記出力制御要素が、前記情報出力装置を構成する振動出力装置に、前記基体の不安定度を表わす振動を、当該振動の振幅、振動周波数、または、振幅および振動周波数の組み合わせが連続的に変化するように出力させる
   ことを特徴とする実機状態監視システム。
7. 請求項１～６のうちいずれか１項に記載の実機状態監視システムにおいて、
   前記実機状態認識要素が、前記作業機械が前記作業部を作業物体に力を作用させながら指定作業を実行しているか否かを認識し、
   前記出力制御要素が、前記状態認識要素により前記作業機械が前記指定作業を実行していると認識されたことを要件として、前記情報出力装置に前記不安定度情報を出力させる
   ことを特徴とする実機状態監視システム。
8. 請求項１～７のうちいずれか１項に記載の実機状態監視システムにおいて、
   前記作業機械および当該作業機械を遠隔操作するための遠隔操作装置のそれぞれとの通信に基づき、前記遠隔操作装置による前記作業機械の遠隔操作を支援するための遠隔操作支援サーバにより構成されている
   ことを特徴とする実機状態監視システム。
9. 請求項１～８のうちいずれか１項に記載の実機状態監視システムにおいて、
   前記情報出力装置が、前記作業機械を遠隔操作するための遠隔操作装置により構成されている
   ことを特徴とする実機状態監視システム。
10. 基体と、前記基体から延在している作業機構と、実機撮像装置と、前記作業機構の先端部に取り付けられている作業部と、を有する作業機械の状態を前記作業機械のオペレータに対して情報出力装置に伝達させるための実機状態監視方法であって、
    前記基体の姿勢および前記作業部に作用している外力を認識する実機状態認識工程と、
    前記実機状態認識工程において認識された前記基体の姿勢および前記作業部に作用している外力に基づき、前記基体の不安定度を、前記基体が地面から浮き上がらないことを基準とした第１不安定度、および、前記基体が地面に対して滑らないことを基準とした第２不安定度とした連続変数として評価する不安定度評価工程と、
    前記不安定度評価要素により評価された前記基体の第１不安定度および第２不安定度のうち最大の不安定度を表わす不安定度情報を選択的に、前記最大の不安定度の連続的な変化に応じて当該不安定度情報の出力形態が連続的に変化するように前記情報出力装置に前記実機撮像装置により撮像された前記作業機構の少なくとも一部を含む撮像画像に基づいた環境画像に重畳して出力させる出力制御工程と、を含んでいる
    ことを特徴とする実機状態監視方法。

Images