JP7228303B1 - 操作支援装置、遠隔操作システムおよび自動運転システム - Google Patents

Abstract

【課題】汎用性を有しつつ作業機械に容易に取り付け可能である簡素な構成の操作支援装置に関する技術を提供する。【解決手段】作業機械における操作具に装着される係合部４１と、前記係合部４１から複数方向に延びる複数の索条部材４２と、前記複数の索条部材４２のそれぞれと個別に連結して当該索条部材４２の巻取りまたは繰出しを行う複数の駆動源４５と、前記複数の駆動源４５の動作を制御する駆動制御部５０と、を有し、前記複数の索条部材４２の張力の均衡によって前記係合部４１が各索条部材４２に支持されるとともに、前記複数の駆動源４５の動作を個別に制御することで前記複数の索条部材４２の張力の均衡状態を維持しつつ前記係合部４１が装着された前記操作具の位置をコントロールするように、操作支援装置を構成する。【選択図】図３

Description

本発明は、操作支援装置、遠隔操作システムおよび自動運転システムに関する。

油圧ショベルやブルドーザ等の建設機械に代表される作業機械については、操作レバー等に取り付けた装置を遠隔操作によって動作させることで、当該作業機械の遠隔操作を実現可能にすることが提案されている（例えば、特許文献１、２参照）。

特開２０２０－２０４１８４号公報 特開２０２２－１８４８３号公報

遠隔操作のために作業機械の操作レバー等に取り付ける装置については、どの種類（機種）の作業機械であっても取り付け可能な汎用性を有しており、しかもその取り付けを容易に行えることが望ましい。また、取り付け後の動作の応答性や信頼性等を考慮すると、特許文献１、２に記載の従来構成の装置よりも、簡略な構成であることが望ましい。

本発明は、汎用性を有しつつ作業機械に容易に取り付け可能である簡素な構成の操作支援装置に関する技術を提供することを目的とする。

本発明の一態様によれば、
作業機械における操作具に装着される係合部と、
前記係合部から複数方向に延びる複数の索条部材と、
前記複数の索条部材のそれぞれと個別に連結して当該索条部材の巻取りまたは繰出しを行う複数の駆動源と、
前記複数の駆動源の動作を制御する駆動制御部と、を有し、
前記複数の索条部材の張力の均衡によって前記係合部が各索条部材に支持されるとともに、前記複数の駆動源の動作を個別に制御することで前記複数の索条部材の張力の均衡状態を維持しつつ前記係合部が装着された前記操作具の位置をコントロールするように構成されている
操作支援装置が提供される。

本発明によれば、汎用性を有しつつ作業機械に容易に取り付け可能である簡素な構成の操作支援装置、並びに、当該操作支援装置を備えた遠隔操作システムおよび自動運転システムが実現可能である。

本発明の一実施形態において遠隔操作の対象となる作業機械の一例であるバックホーの概略構成例を模式的に示す説明図である。 図１のバックホーの操縦席に設けられた操作具の一具体例を模式的に示す説明図である。 本発明の一実施形態に係る操作支援装置の概略構成の一例を模式的に示す説明図である。 本発明の一実施形態に係る操作支援装置の概略構成の他の例を模式的に示す説明図である。 本発明の一実施形態に係る遠隔操作システムの機能構成例を模式的に示すブロック図である。 本発明の一実施形態に係る遠隔操作システムにおける較正処理の具体例を説明する図（その１）であり、当該較正処理の前提となる初期条件の一例を示す説明図である。 本発明の一実施形態に係る遠隔操作システムにおける較正処理の手順の例を示すフロー図（その１）である。 本発明の一実施形態に係る遠隔操作システムにおける較正処理の手順の例を示すフロー図（その２）である。 本発明の一実施形態に係る遠隔操作システムにおける較正処理の具体例を説明する図（その２）であり、当該較正処理の際の操作具の移動態様の一例を示す説明図である。 本発明の一実施形態に係る遠隔操作システムにおける較正処理の具体例を説明する図（その３）であり、当該較正処理の前提となる初期条件および当該較正処理の際の操作具の移動態様の他の例を示す説明図である。 本発明の一実施形態に係る遠隔操作システムにおける較正処理後の制御処理の手順の例を示すフロー図である。 本発明の一実施形態に係る遠隔操作システムにおける較正処理後の制御処理の例を説明する図であり、当該制御処理の際の操作具の移動態様の例を示す説明図である。 本発明の一実施形態に係る遠隔操作システムにおけるデータストリームの例を示す説明図である。 本発明の一実施形態に係る遠隔操作システムにおけるモニタ部での画像表示の例を示す説明図である。

以下、本発明の実施形態について図面を参照しながら説明する。

（１）作業機械の概要
まず、本実施形態において遠隔操作または自動運転の対象となる作業機械について説明する。

作業機械は、施工現場エリア内において使用されるもので、その施工現場エリアに対して所定の作業を行うものである。作業機械の例としては、代表的なものとして、建設施工現場で用いられる建設機械が挙げられる。

建設機械としては、例えば、油圧ショベルやブルドーザ等といった土木用途のものが挙げられる。ただし、建設機械がこれらに限定されることはなく、トラックやローダ等の運搬機械、クレーン等の荷役機械、基礎工事用機械、せん孔機械、トンネル工事用機械、圧砕機等のコンクリート機械、舗装機械、道路維持用機械等といった他の種類のものであっても構わない。

以下の説明では、作業機械の一例である建設機械について、当該建設機械がバックホーとも呼ばれる油圧ショベルである場合を例に挙げる。
図１は、バックホーの概略構成例を模式的に示す説明図である。

図例のように、バックホー１は、操縦席１０を含む上部回旋体（機体本体）１１と、駆動作業具であるブーム１２、アーム１３およびバケット１４と、走行装置としての下部移動体１５と、を備えている。下部移動体１５は、右クローラ１５ａと、左クローラ１５ｂと、を有している。このような構成のバックホー１は、下部移動体１５を備えることで、建設施工現場において移動（自走）することが可能である。そして、上部回旋体１１、ブーム１２、アーム１３、バケット１４、右クローラ１５ａ、左クローラ１５ｂをそれぞれ動作させることで、建設施工現場の地表面に対して掘削等の施工を行うようになっている。したがって、バックホー１において、上部回旋体１１、ブーム１２、アーム１３、バケット１４、右クローラ１５ａ、左クローラ１５ｂは、それぞれが個別に動作し得る「可動部」として機能することになる。また、これらのうち、特にバケット１４は、建設施工現場の地表面に対する施工を直接的に行う「可動作業具」として機能することになる。その場合に、バケット１４の剣先位置が、そのバケット１４による施工箇所に相当することになる。

上部回旋体１１の背部には、全球測位衛星システム（Global Navigation Satellite System、以下「ＧＮＳＳ」と略す。）の受信機（アンテナ）１６が取り付けられており、これによりバックホー１の位置を測位し得るようになっている。

また、可動部である上部回旋体１１、ブーム１２、アーム１３およびバケット１４のそれぞれには、角度センサ２１，２２，２３，２４が装着されている。角度センサ２１，２２，２３，２４は、例えば、三軸加速度センサと三軸ジャイロセンサからなる慣性計測装置（Inertial Measurement Unit、以下「ＩＭＵ」と略す。）の角度センサとしての機能を利用したものであり、少なくとも三次元空間内で各可動部が動作したときの角度（すなわち動作角度）を検出し得るように構成されたものである。なお、角度センサ２１，２２，２３，２４は、各可動部の動作角度を検出可能であれば、必ずしもＩＭＵである必要はなく、他の種類のセンサを用いて構成されていてもよい。

このような構成のバックホー１においては、上部回旋体１１にＧＮＳＳ受信機１６が取り付けられているので、これにより建設施工現場でのバックホー１の位置を計測することができる。さらに、可動部である上部回旋体１１、ブーム１２、アーム１３およびバケット１４のそれぞれに角度センサ２１，２２，２３，２４が装着されているので、各可動部の大きさ（サイズデータ）を特定することで、そのサイズデータと各角度センサ２１，２２，２３，２４の検出結果とから、上部回旋体１１に対するバケット１４の剣先位置を計測することができる。つまり、これらの計測結果から建設施工現場内におけるバケット１４の剣先位置をモニタリングすることができる。

また、このような構成のバックホー１は、既述のように、上部回旋体１１、ブーム１２、アーム１３、バケット１４、下部移動体１５の各部を適宜動作させることで、建設施工現場の地表面に対して掘削等の施工を行う。そのために、上部回旋体１１の操縦席１０には、各部を動作させるための操作具が、操縦者によって操作可能に設けられている。

図２は、バックホー１の操縦席１０に設けられた操作具の一具体例を模式的に示す説明図である。なお、図例は、各操作具について、操縦者側からみた配置を示している。
図例のように、バックホー１の操縦席１０には、操作具として、操縦者が右手で操作する右操作レバー３１と、操縦者が左手で操作する左操作レバー３２と、操縦者が右足で操作する右走行レバー（ペダル）３３と、操縦者が左足で操作する左走行レバー（ペダル）３４と、が設けられている。これらの操作具は、それぞれを独立して操作することが可能である。

右操作レバー３１および左操作レバー３２は、それぞれが、操縦者側からみて左右方向（図中におけるＸ軸方向）および前後方向（図中におけるＹ軸方向）の二軸方向に操作可能に構成されている。そして、例えば、右操作レバー３１の前後方向の操作に応じてブーム１２が上下方向に移動し、左操作レバー３２の前後方向の操作に応じて上部回旋体１１が右旋回または左旋回するといったように、各操作レバー３１，３２の操作方向に対してバックホー１の各部の動作内容が割り当てられている。

また、右走行レバー３３および左走行レバー３４は、操縦者側からみて前後方向（図中におけるＹ軸方向）の一軸方向に操作可能に構成されている。そして、例えば、右走行レバーの前後方向の操作に応じて右クローラ１５ａが前進または後退し、左走行レバー３４の前後方向の操作に応じて左クローラ１５ｂが前進または後退するといったように、各走行レバー３３，３４の操作方向に対してバックホー１の各部の動作内容が割り当てられている。

なお、ここで例示する各操作具は、単なる一具体例に過ぎず、必ずしも上述した例示内容に限定されるものではない。つまり、操作具としては、必ずしも右操作レバー３１、左操作レバー３２、右走行レバー３３および左走行レバー３４の全てを備えている必要はなく、少なくとも一つを備えていればよい。また、各操作具の操作方向に割り当てられる動作内容についても、特に限定されるものではなく、作業機械の機種等に応じて適宜設定することが可能であり、また必要に応じて割り当てを変えられるようにしても構わない。

（２）操作支援装置の構成
次に、以上に説明したバックホー１に装着される操作支援装置について説明する。

操作支援装置は、バックホー１の遠隔操作または自動運転に対応すべく、当該バックホー１の操作（操縦）を支援するためのものである。バックホー１の操作支援のために、操作支援装置は、当該バックホー１における各操作具のそれぞれに対して、個別に装着されて用いられる。つまり、操作支援装置は、各操作レバー３１，３２および各走行レバー３３，３４のそれぞれに対して、個別に装着されるようになっている。

（操作支援装置の一例）
ここで、まず、各操作レバー３１，３２に装着される操作支援装置の構成について説明する。

図３は、本実施形態に係る操作支援装置の概略構成の一例を模式的に示す説明図である。
図例の操作支援装置は、大別すると、装着ユニット４０と、駆動制御部５０と、を有して構成されている。

（装着ユニット）
装着ユニット４０は、バックホー１における各操作レバー３１，３２のそれぞれに対応して配置されて用いられるもので、アタッチ部４１と、複数のワイヤ４２と、ワイヤ４２と同数のスリーブ４３と、ワイヤ４２と同数のプーリ４４と、ワイヤ４２と同数のモータ４５と、これらを支持する基台４６と、を有している。

アタッチ部４１は、右操作レバー３１または左操作レバー３２に装着される係合部として機能するもので、例えば操作レバー３１，３２の棹部に嵌装されるリング状に形成されたものである。アタッチ部４１は、操作レバー３１，３２に装着可能であれば、その形状や形成材料等が特に限定されるものではなく、例えばワイヤ４２と同じ索条部材によって形成されていてもよい。なお、アタッチ部４１は、後述するように、複数のワイヤ４２の張力の均衡によって支持されるようになっている。つまり、アタッチ部４１は、位置移動のためのガイド部材やスライド機構等を要することなく、連結するワイヤ４２によって支持されている。

複数のワイヤ４２は、それぞれが例えば機械的強度を有する金属製の索条部材によるもので、一端がアタッチ部４１に連結され、そのアタッチ部４１から離れる方向に延びるように配されている。そして、延伸方向に張力が与えられることで、アタッチ部４１が装着される操作レバー３１，３２に追従する動作、または、当該操作レバー３１，３２を追従させる動作を行うようになっている。さらに詳しくは、各ワイヤ４２の張力を均衡させてアタッチ部４１を支持するとともに、各ワイヤ４２の張力の均衡状態の維持によって、各ワイヤ４２が操作レバー３１，３２に追従したり、または、各ワイヤ４２が操作レバー３１，３２を追従させたりするようになっている。
これらのワイヤ４２は、アタッチ部４１が二軸方向に操作可能な操作レバー３１，３２に装着されることから、そのアタッチ部４１から四方向に延びるように配されている。つまり、複数のワイヤ４２は、具体的には四つが配されている。各ワイヤ４２が延びる四方向は、それぞれが互いに異なる方向であればよく、特定の方向に限定されるものではないが、操作レバー３１，３２が操縦者側からみて前後左右方向（図２中のＸＹ方向）に操作可能な場合であれば、その操作エリアの対角方向となる四方向とすることが、レバー追従性や後述する位置制御等の精度を考慮すると好ましい。
なお、二軸方向に操作可能な操作レバー３１，３２に対応する場合において、例えば、ワイヤ４２が三方向に延びる構成や、五方向以上に伸びる構成であっても、レバー追従性を確保することは可能である。ただし、三方向では対応可能なレバー可動域が狭くなってしまい、また五方向以上では装置構成や制御処理等の複雑化を招くことから、ワイヤ４２は、四方向に延びる構成であることが好ましい。

スリーブ４３は、ワイヤ４２を移動可能（すなわちスリーブ内を摺動可能）に支持する管状のもので、四つのワイヤ４２のそれぞれに個別に対応するように四つが設けられている。これら四つのスリーブ４３が配置される位置によって、各ワイヤ４２は、アタッチ部４１から延びる方向が特定されることになる。なお、スリーブ４３は、後述するように、プーリ４４の配置によっては、設けられていなくてもよい。

プーリ４４は、アタッチ部４１との連結端とは反対側のワイヤ端縁に連結されるもので、四つのワイヤ４２のそれぞれに個別に対応するように四つが設けられている。これら四つのプーリ４４のそれぞれに巻回されることで、各ワイヤ４２は、当該ワイヤ４２の巻取りまたは繰出しが行われることになる。このように、プーリ４４は、スリーブ４３を介したワイヤ４２のワイヤ端縁への連結によって、配置の自由度を確保し得る。ただし、プーリ４４を、例えばスリーブ４３からのワイヤ４２の出口と同じ位置（後述するアンカーポイント）に配置した場合には、スリーブ４３を省略させても構わない。

モータ４５は、プーリ４４を回転駆動するもので、四つのワイヤ４２のそれぞれに個別に対応するように四つが設けられている。つまり、四つのモータ４５は、それぞれが各ワイヤ４２と個別に連結して当該ワイヤ４２の巻取りまたは繰出しを行う駆動源として機能するものである。
このような駆動源となるモータ４５としては、例えば、精緻な駆動制御に対応可能なステッピングモータを用いることが考えられる。ただし、精緻な駆動制御に対応可能であれば、他種の駆動源を用いるようにしても構わない。

基台４６は、装着ユニット４０のベース部材となるもので、上述の各構成要素、特にスリーブ４３およびモータ４５を支持するものである。このような基台４６は、例えば、樹脂材料または金属材料によって、操縦席１０のフロアに配置可能な形状に形成されている。ただし、基台４６には、操縦席１０のフロアに配置された際に、操作レバー３１，３２の移動範囲と干渉しないように、当該移動範囲を避けるように開口された開口部４６ａが設けられている。そして、その開口部４６ａの部分において、アタッチ部４１および当該アタッチ部４１から四方向に延びるワイヤ４２が配されるようになっている。

（駆動制御部）
駆動制御部５０は、装着ユニット４０に付随して設けられるもので、当該装着ユニット４０における四つのモータ４５の動作を制御するものである。そのために、駆動制御部５０は、四つのモータ４５のそれぞれに個別に対応する四つのコントロールユニット５１と、各コントロールユニット５１に対する動作制御を行う制御機５２と、を有している。

コントロールユニット５１は、モータ４５への駆動パルス供給を行うモータドライバ５３と、モータ４５の動作量の検出を行うエンコーダ５４と、モータドライバ５３およびエンコーダ５４の動作を制御するモータコントローラ５５と、を有している。なお、四つのコントロールユニット５１のいずれも、同様に構成されているものとする。

制御機５２は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等といったハードウエア資源を組み合わせてなるコンピュータ装置によって構成されており、予めインストールされている所定プログラム（ソフトウエア）の実行により、各コントロールユニット５１に対する動作制御を行うようになっている。なお、動作制御の具体的な態様ついては、詳細を後述する。

（操作支援装置の他の例）
続いて、各走行レバー３３，３４に装着される操作支援装置の構成について、上述した構成例との相違点に着目して説明する。

図４は、本実施形態に係る操作支援装置の概略構成の他の例を模式的に示す説明図である。なお、図中において、上述した構成例と同一の構成要素については、同一の符号を付している。
図例の操作支援装置においても、装着ユニット４０と、駆動制御部５０と、を有して構成されている。

（装着ユニット）
装着ユニット４０は、上述した構成例とは異なり、アタッチ部４１から二方向に延びる二つのワイヤ４２を有している。そして、スリーブ４３、プーリ４４およびモータ４５についても、二つのワイヤ４２のそれぞれに個別に対応するように二つが設けられている。

二つのワイヤ４２は、アタッチ部４１が一軸方向に操作可能な走行レバー３３，３４に装着されることから、そのアタッチ部４１から対向する二方向に延びるように配されている。各ワイヤ４２が延びる二方向は、走行レバー３３，３４が操作される一軸方向に沿った方向で、かつ、それぞれが互いに対向する方向であるものとする。

ワイヤ４２の数および配置の方向、並びに、ワイヤ４２の数に応じたスリーブ４３、プーリ４４およびモータ４５の数を除き、他は上述した構成例の場合と同様に構成されていればよい。例えば、プーリ４４の配置について、スリーブ４３からのワイヤ４２の出口と同じ位置とすれば、スリーブ４３を省略させても構わないことも、上述した構成例の場合と同様である。なお、一軸方向に操作可能な走行レバー３３，３４に対応する構成の場合、ワイヤ４２が対向する二方向に延びることから、スリーブ４３を省略した構成とすることが容易に実現可能であり、構成の簡素化を図る上で好適なものとなる。

（駆動制御部）
駆動制御部５０は、装着ユニット４０におけるモータ４５の数に対応して、各モータ４５のそれぞれに個別に対応する二つのコントロールユニット５１を有している。その点を除き、他は上述した構成例の場合と同様に構成されていればよい。

（３）操作支援装置を含むシステム構成
次に、上述した構成の操作支援装置が用いられるシステムについて説明する。ここでは、バックホー１の遠隔操作システムとして機能する例について説明する。

図５は、本実施形態に係る遠隔操作システムの機能構成例を模式的に示すブロック図である。
図例のシステムは、バックホー１の遠隔操作を行うためのもので、遠隔操作の対象となるバックホー１の操縦席１０に取り付けられた装着ユニット４０と、当該装着ユニット４０に付随する駆動制御部５０と、を備えている。バックホー１の操縦席１０に右操作レバー３１、左操作レバー３２、右走行レバー３３および左走行レバー３４が設けられている場合であれば、これらのそれぞれに個別に対応するように、装着ユニット４０および駆動制御部５０を備えているものとする。

バックホー１には、装着ユニット４０および駆動制御部５０に加えて、第一カメラ６１と、第二カメラ６２と、が設けられている。第一カメラ６１は、バックホー１の操縦席１０の操縦者の視点から得られる画像を撮像するものである。第二カメラ６２は、第一カメラ６１とは異なる画角の画像を撮像するもので、バックホー１が有する可動作業具であるバケット１４に関する画像、特にバケット１４による施工箇所に相当する当該バケット１４の剣先位置についての画像を撮像するものである。なお、バックホー１には、第一カメラ６１および第二カメラ６２に加えて、これらとは異なる画角の画像（例えば、操縦席１０の後方側の画像）を撮像する第三カメラ６３が設けられていてもよい。以下、第三カメラ６３も設けられいる場合を例に挙げて説明する。

また、バックホー１には、当該バックホー１の姿勢に関する情報を取得する傾斜センサ６４が設けられている。傾斜センサ６４としては、傾斜計やジャイロセンサ（角加速度センサ）等を用いることができる。このような傾斜センサ６４によって、水平方向に対するバックホー１の傾き量を検出して、その検出結果を当該バックホー１の姿勢に関する情報とすることができる。

さらに、バックホー１には、当該バックホー１の周囲の音に関する情報を取得する全指向性（無指向性）のマイク（ただし不図示）が設けられていてもよい。マイクは、第一カメラ６１、第二カメラ６２、第三カメラ６３に付属するカメラ一体型のものであってもよい。

なお、第一カメラ６１、第二カメラ６２、第三カメラ６３で得られる各画像データ、傾斜センサ６４による検出情報、および、マイクで得られる音情報については、駆動制御部５０（具体的には、当該駆動制御部５０における制御機５２）を介して、後述する遠隔制御装置８０の側に送信されるものとする。

また、図例のシステムは、駆動制御部５０の制御機５２との間で大容量データの近距離無線通信を行うことが可能な通信制御コンピュータ７１を備えている。そして、通信制御コンピュータ７１は、大容量データの通信に対応する有線のネットワーク回線７２を介して、遠隔制御装置８０に接続されている。
このような通信制御コンピュータ７１およびネットワーク回線７２を介することで、バックホー１に搭載される駆動制御部５０の制御機５２は、当該バックホー１が建設施工現場において移動可能な場合であっても、遠隔制御装置８０との間で画像データ等を含む大容量データについて遅滞なく授受することが可能となる。
なお、駆動制御部５０の制御機５２と遠隔制御装置８０とが直接的に大容量データの無線通信を行うことが可能であれば、通信制御コンピュータ７１およびネットワーク回線７２は、必ずしもシステム内に設けられていなくてもよい。

システムが備える遠隔制御装置８０は、バックホー１が使用される建設施工現場と遠隔の地に設置されて、その遠隔の地から当該バックホー１を遠隔操作するためのものである。そのために、遠隔制御装置８０は、遠隔操作具８１と、モニタ部８２と、遠隔制御コンピュータ８３と、を有している。

遠隔操作具８１は、バックホー１の遠隔操作を行う操縦者が操作するためのもので、当該バックホー１における操作具と同等の構成を有するものである。例えば、バックホー１が操作具として右操作レバー３１、左操作レバー３２、右走行レバー３３および左走行レバー３４を有する場合であれば、遠隔操作具８１についても、右遠隔操作レバー、左遠隔操作レバー、右遠隔走行レバーおよび左遠隔走行レバーが設けられており、これらがそれぞれ独立して操作可能になっているものとする。

モニタ部８２は、例えば液晶表示パネルによって構成されたもので、バックホー１の遠隔操作を行う操縦者に対する画像の表示出力を行うものである。モニタ部８２は、主として、第一カメラ６１および第二カメラ６２のそれぞれによる撮像画像を表示するようになっている。

遠隔制御コンピュータ８３は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ等といったハードウエア資源を組み合わせてなるコンピュータ装置によって構成されており、予めインストールされている所定プログラム（ソフトウエア）の実行により、バックホー１の遠隔操作についての制御を行うようになっている。なお、遠隔制御制御の具体的な態様ついては、詳細を後述する。

（４）遠隔操作システムにおける処理動作例
次に、上述した構成の遠隔操作システムにおける処理動作例について説明する。

（遠隔操作の概要）
上述した構成の遠隔操作システムにおいて、バックホー１の遠隔操作を行う際には、その遠隔操作の操縦者が、遠隔制御装置８０の遠隔操作具８１を操作する。このときの遠隔操作具８１の操作量については、遠隔制御装置８０の遠隔制御コンピュータ８３によって、当該操作量に関する情報（例えば、遠隔操作レバー等の移動方向および移動量を特定する情報）として抽出される。そして、抽出された情報は、遠隔操作のための制御情報として、遠隔制御コンピュータ８３からネットワーク回線７２および通信制御コンピュータ７１を介してバックホー１側の駆動制御部５０へ送信される。

遠隔制御コンピュータ８３からの制御情報を受け取ると、駆動制御部５０の制御機５２は、その制御情報に基づいて、装着ユニット４０における各モータ４５の動作を制御する。具体的には、遠隔制御装置８０の遠隔操作具８１の操作に倣ってバックホー１の操作具が動作（移動）するように、駆動制御部５０では、制御機５２が各モータ４５の動作量（駆動パルス）を決定し、その決定結果を各モータ４５に対応するそれぞれのコントロールユニット５１に指示する。

これにより、バックホー１は、遠隔操作具８１の操作に倣って操作具が動作することになり、遠隔操作具８１の操作内容に従って可動部が動作することになる。つまり、バックホー１は、遠隔制御装置８０の側から遠隔操作されることになる。

（較正処理の手順）
以上のようなバックホー１の遠隔操作を実行可能にするためには、バックホー１における操作具の操作量と、遠隔制御装置８０における遠隔操作具８１の操作量とを、互いに関連付けてリンクさせる必要がある。

このことから、本実施形態においては、バックホー１への装着ユニット４０の配置（装着）後から遠隔制御装置８０による遠隔操作開始までのいずれかのタイミングで、当該装着ユニット４０を有する操作支援装置についての較正処理を行う。ここでいう較正処理は、操作支援装置を使用可能にするキャリブレーション処理に相当する。

以下、本実施形態における較正処理の手順について、具体例を挙げて説明する。
ここでは、まず、二軸方向に操作可能な操作レバー３１，３２に装着される装着ユニット４０について較正処理を行う場合を例に挙げる。以下、かかる装着ユニット４０については、二軸方向対応装着ユニット４０と称することもある。

図６は、本実施形態における較正処理の前提となる初期条件の一例を示す説明図である。
図例のように、操作支援装置の二軸方向対応装着ユニット４０において、四つのスリーブ４３からのワイヤ４２の出口をアンカーポイントＡ_０，Ａ_１，Ａ_２，Ａ_３とすると、各アンカーポイントＡ_０，Ａ_１，Ａ_２，Ａ_３の相互位置は、設計上既知であり、設計値から特定することが可能である。これらのアンカーポイントＡ_０，Ａ_１，Ａ_２，Ａ_３によって規定される領域は、一つの二次元座標空間として考えることかできる。

また、各アンカーポイントＡ_０，Ａ_１，Ａ_２，Ａ_３からアタッチ部４１まで延びる各ワイヤ４２について、それぞれの張力を均衡させた状態（すなわち、各ワイヤ４２に弛みが無い状態）の長さをＬ_０，Ｌ_１，Ｌ_２，Ｌ_３とすると、各ワイヤ長Ｌ_０，Ｌ_１，Ｌ_２，Ｌ_３の変化量（巻取り量または繰出し量）は、各ワイヤ４２に連結する各モータ４５の動作量をエンコーダ５４で検出することによって特定することが可能である。なお、各ワイヤ長Ｌ_０，Ｌ_１，Ｌ_２，Ｌ_３の初期値は、予め特定されていればその値を用いることができるが、以下のようにして特定してもよい。例えば、各ワイヤ４２を、各アンカーポイントＡ_０，Ａ_１，Ａ_２，Ａ_３から繰出してアタッチ部４１に連結し、各モータ４５に所定のトルクを掛けて巻取ったときの繰出し量および巻取り量を、エンコーダ５４で検出することによって特定することが可能である。

このような初期条件の下、較正処理は、以下のような手順で行う。
図７および図８は、本実施形態に係る遠隔操作システムにおける較正処理の手順の例を示すフロー図である。
二軸方向対応装着ユニット４０について較正処理を行う場合には、まず、当該装着ユニット４０が装着された操作レバー３１，３２を、人（操縦者）の手によって、左右方向と前後方向とのそれぞれ（すなわち移動可能な各軸方向のそれぞれ）に最大ストローク量だけ動かすようにする。このとき、各モータ４５は、人の手によってマニュアル操作される操作レバー３１，３２の動きに追従して、各ワイヤ４２の張力を均衡させた状態を維持するものとする。つまり、較正処理の際の動作モードとして、各モータ４５およびその動作を制御する駆動制御部５０は、マニュアル操作される操作レバー３１，３２の動きに追従する動作モードに対応するように構成されている。これにより、各モータ４５にトルクを掛けない状態となり、操縦者が操作レバー３１，３２をマニュアル操作して自由に動かせるようになる（図７のステップ１０１～１０２、以下ステップを「Ｓ」と略す。）。

図９は、本実施形態における較正処理の際の操作具の移動態様の一例を示す説明図である。
例えば、図中に示すように、較正処理の際のマニュアル操作によって、操作レバー３１，３２が二次元座標空間内の任意の１点Ｓに移動した場合を考える。

点Ｓの座標空間内の位置は、アンカーポイントＡ_０，Ａ_１に着目すると、当該アンカーポイントＡ_０，Ａ_１の位置およびワイヤ長Ｌ_０，Ｌ_１に基づいて、幾何的に特定することができる。また、アンカーポイントＡ_１，Ａ_２に着目すると、当該アンカーポイントＡ_１，Ａ_２の位置およびワイヤ長Ｌ_１，Ｌ_２に基づいて、幾何的に特定することができる。また、アンカーポイントＡ_２，Ａ_３に着目すると、当該アンカーポイントＡ_２，Ａ_３の位置およびワイヤ長Ｌ_２，Ｌ_３に基づいて、幾何的に特定することができる。また、アンカーポイントＡ_３，Ａ_０に着目すると、当該アンカーポイントＡ_３，Ａ_０の位置およびワイヤ長Ｌ_３，Ｌ_０に基づいて、幾何的に特定することができる。つまり、点Ｓの位置については、四つの点を算出できる。これら四つの点から、例えば最小二乗法で一つの点を特定することで、点Ｓの位置について、誤差要因を排除して精度良く求めることが可能となる（図７のＳ１０３～Ｓ１０５）。

このようにして点Ｓの位置を求めることで、これら点Ｓの点列から例えば最小二乗法で一つの直線を特定することができ、これにより、操作レバー３１，３２のストロークを、誤差要因を排除して精度良く求めることが可能となる（図７のＳ１０６）。このとき、操作レバー３１，３２を左右方向に動かしたときの点列の端点から、操作レバー３１，３２の左右ストロークを特定した直線に正射影することで、当該操作レバー３１，３２の左右ストロークの端点Ｓ_Ｌ，Ｓ_Ｒを求めることができる。また、操作レバー３１，３２を前後方向に動かしたときの点列の端点から、操作レバー３１，３２の前後ストロークを特定した直線に正射影することで、当該操作レバー３１，３２の前後ストロークの端点Ｓ_Ｆ，Ｓ_Ｂを求めることができる。（図７のＳ１０７）。

端点Ｓ_Ｌ，Ｓ_Ｒ，Ｓ_Ｆ，Ｓ_Ｂを特定すると、その特定結果から、線分Ｓ_Ｌ－Ｓ_Ｒと線分Ｓ_Ｆ－Ｓ_Ｂの交点Ｓ_Ｏを求めることができる。交点Ｓ_Ｏは、操作レバー３１，３２の原点位置Ｓ_Ｏに相当する（図８のＳ２０１）。

較正処理に際して、駆動制御部５０の制御機５２は、以上のような操作レバー３１，３２のストローク端点Ｓ_Ｌ，Ｓ_Ｒ，Ｓ_Ｆ，Ｓ_Ｂの特定および原点位置Ｓ_Ｏの特定を、エンコーダ５４による各モータ４５の動作量の検出結果を利用しつつ行う。

そして、駆動制御部５０の制御機５２は、操作レバー３１，３２を原点位置Ｓ_Ｏを位置させたときのワイヤ長Ｌ_０，Ｌ_１，Ｌ_２，Ｌ_３の値を求め、それぞれの値を原点長Ｌ_０，Ｌ_１，Ｌ_２，Ｌ_３として、駆動制御部５０の制御機５２がアクセス可能なメモリ部（ただし不図示）に記憶保持させる（図８のＳ２０２）。メモリ部は、駆動制御部５０の制御機５２がアクセス可能であれば、当該駆動制御部５０内に配されていてもよいし、当該駆動制御部５０とは別の箇所（例えば遠隔制御装置８０の側）に配されていてもよい。

さらに、駆動制御部５０の制御機５２は、各ワイヤ４２の原点長Ｌ_０，Ｌ_１，Ｌ_２，Ｌ_３に加えて、操作レバー３１，３２のストローク端点Ｓ_Ｌ，Ｓ_Ｒ，Ｓ_Ｆ，Ｓ_Ｂの位置、および、当該操作レバー３１，３２の原点位置Ｓ_Ｏについても、較正処理によって特定された較正値として、制御機５２がアクセス可能なメモリ部（ただし不図示）に記憶保持させる（図８のＳ２０３）。

このように、駆動制御部５０の制御機５２は、マニュアル操作される操作レバー３１，３２の動きに基づいて各種の値を特定し、その特定結果を較正処理で得られた較正値とする。つまり、駆動制御部５０は、較正処理に際して、操作具（操作レバー３１，３２等）の動きに追従する動作モード時における各モータ４５の動作量を計測する動作量計測部として機能するとともに、当該動作量計測部による計測結果に基づいて操作具（操作レバー３１，３２等）の動作ストローク（具体的には、左右ストロークと前後ストロークの少なくとも一方）の方向および量の少なくとも一方を較正する較正機能部として機能するようになっている。

そして、駆動制御部５０の制御機５２が較正値を特定してメモリ部に記憶保持させると、二軸方向に操作可能な操作レバー３１，３２について、較正処理が終了する。

続いて、一軸方向に操作可能な走行レバー３３，３４に装着される装着ユニット４０について較正処理を行う場合について説明する。以下、かかる装着ユニット４０については、一軸方向対応装着ユニット４０と称することもある。

図１０は、本実施形態における較正処理の前提となる初期条件および当該較正処理の際の操作具の移動態様の他の例を示す説明図である。

図１０（ａ）に示すように、操作支援装置の一軸方向対応装着ユニット４０において、二つのスリーブ４３からのワイヤ４２の出口をアンカーポイントＡ_０，Ａ_１とすると、各アンカーポイントＡ_０，Ａ_１の相互位置は、設計上既知であり、設計値から特定することが可能である。
また、各アンカーポイントＡ_０，Ａ_１からアタッチ部４１まで延びる各ワイヤ４２について、それぞれの張力を均衡させた状態（すなわち、各ワイヤ４２に弛みが無い状態）の長さをＬ_０，Ｌ_１とすると、各ワイヤ長Ｌ_０，Ｌ_１の変化量（巻取り量または繰出し量）は、各ワイヤ４２に連結する各モータ４５の動作量をエンコーダ５４で検出することによって特定することが可能である。なお、各ワイヤ長Ｌ_０，Ｌ_１の初期値は、予め特定されていればその値を用いることができるが、以下のようにして特定してもよい。例えば、各ワイヤ４２を、各アンカーポイントＡ_０，Ａ_１から繰出してアタッチ部４１に連結し、各モータ４５に所定のトルクを掛けて巻取ったときの繰出し量および巻取り量を、エンコーダ５４で検出することによって特定することが可能である。

このような初期条件の下、較正処理は、上述した二軸方向対応装着ユニット４０の場合と同様の手順で行う（図７および図８参照）。
一軸方向対応装着ユニット４０について較正処理を行う場合には、まず、各モータ４５にトルクを掛けない状態とする動作モードに対応しつつ、装着ユニット４０が装着された走行レバー３３，３４を、人（操縦者）の手によって、前後方向に最大ストローク量だけ動かすようにする。

そして、図１０（ｂ）に示すように、走行レバー３３，３４を前後方向に動かしたときの点列から、当該走行レバー３３，３４の前後ストロークの端点Ｓ_Ｆ，Ｓ_Ｂを求める。さらには、走行レバー３３，３４の原点位置Ｓ_Ｏを求める。

その後、駆動制御部５０の制御機５２は、走行レバー３３，３４を原点位置Ｓ_Ｏを位置させたときのワイヤ長Ｌ_０，Ｌ_１の値を求め、それぞれの値を原点長Ｌ_０，Ｌ_１として、駆動制御部５０の制御機５２がアクセス可能なメモリ部に記憶保持させる。さらに、駆動制御部５０の制御機５２は、各ワイヤ４２の原点長Ｌ_０，Ｌ_１に加えて、走行レバー３３，３４のストローク端点Ｓ_Ｆ，Ｓ_Ｂの位置、および、当該走行レバー３３，３４の原点位置Ｓ_Ｏについても、較正処理によって特定された較正値として、駆動制御部５０の制御機５２がアクセス可能なメモリ部に記憶保持させる。このようにして、駆動制御部５０の制御機５２が較正値を特定してメモリ部に記憶保持させると、一軸方向に操作可能な走行レバー３３，３４について、較正処理が終了する。

（較正処理後の制御処理の手順）
次に、以上のような較正処理を行った後に、バックホー１の遠隔操作を実行する場合における駆動制御部５０による制御処理の手順について、具体例を挙げて説明する。ここでも、二軸方向対応装着ユニット４０について制御処理を行う場合と、一軸方向対応装着ユニット４０について制御処理を行う場合とについて、順に説明する。

まず、二軸方向対応装着ユニット４０について制御処理を行う場合を説明する。
図１１は、本実施形態に係る遠隔操作システムにおける較正処理後の制御処理の手順の例を示すフロー図である。
また、図１２は、本実施形態における較正処理後の制御処理の際の操作具の移動態様の例を示す説明図である。

バックホー１の遠隔操作の実行開始に際しては、当該バックホー１の操作レバー３１，３２が原点位置に位置していることから、装着ユニット４０の各モータ４５に所定のトルクを掛け、各ワイヤ４２を伸長させて、各ワイヤ４２の張力を均衡させた状態（すなわち、各ワイヤ４２に弛みが無い状態）とする。そして、その状態での各ワイヤ長Ｌ_０，Ｌ_１，Ｌ_２，Ｌ_３を、較正処理での原点長Ｌ_０，Ｌ_１，Ｌ_２，Ｌ_３に設定する（図１１のＳ３０１～Ｓ３０２）。

このような初期設定は、バックホー１の稼働開始時のみならず、当該バックホー１の再稼働時にも、その都度行うようにする。制御処理の精度向上のためである。

ここで、遠隔制御装置８０の側から駆動制御部５０に対して、遠隔操作具８１の操作量として、例えば、前後ストローク値ＲＳ_Ｖと左右ストローク値ＲＳ_Ｈとが送信された場合を考える（図１１のＳ３０３）。なお、前後ストローク値ＲＳ_Ｖと左右ストローク値ＲＳ_Ｈは、それぞれ遠隔操作具８１のストロークが前方向、右方向の場合を正値、後方向、左方向の場合を負値とする。その場合に、装着ユニット４０における前後ストローク値Ｓ_Ｖおよび左右ストローク値Ｓ_Ｈについては、それぞれ前後ストローク値ＲＳ_Ｖと左右ストローク値ＲＳ_Ｈとが正値または０であった場合には、以下の（１）式および（２）式によって規定される。

Ｓ_Ｖ＝Ｓ_Ｏ＋（Ｓ_Ｆ－Ｓ_Ｏ）ＲＳ_Ｖ・・・（１）

Ｓ_Ｈ＝Ｓ_Ｏ＋（Ｓ_Ｒ－Ｓ_Ｏ）ＲＳ_Ｈ・・・（２）

なお、（１）式および（２）式において、Ｓ_Ｌ，Ｓ_Ｒ，Ｓ_Ｏは、較正値としてメモリ部に記憶保持させたものである。また、（Ｓ_Ｆ－Ｓ_Ｏ）および（Ｓ_Ｒ－Ｓ_Ｏ）は、いずれも、方向性を有するベクトル計算である。前後ストローク値ＲＳ_Ｖと左右ストローク値ＲＳ_Ｈのいずれかが負値であった場合には、それぞれＳ_Ｂ，Ｓ_Ｌを用いて、同様に規定される（図１１のＳ３０４）。

このようにして前後ストローク値Ｓ_Ｖおよび左右ストローク値Ｓ_Ｈを特定した後は（図１１のＳ３０４）、図１２に示すように、線分Ｓ_Ｆ－Ｓ_Ｂ上における前後ストローク値Ｓ_Ｖの点を通り線分Ｓ_Ｌ－Ｓ_Ｒに平行な直線と、線分Ｓ_Ｌ－Ｓ_Ｒ上における左右ストローク値Ｓ_Ｈの点を通り線分Ｓ_Ｆ－Ｓ_Ｂに平行な直線とが交わる点Ｓを特定する（図１１のＳ３０５）。

このような点Ｓを特定することで、その点Ｓによって決まるワイヤ長Ｌ_０，Ｌ_１，Ｌ_２，Ｌ_３を特定することが可能になるとともに、特定した各ワイヤ長Ｌ_０，Ｌ_１，Ｌ_２，Ｌ_３について、較正値として記憶保持された原点長Ｌ_０，Ｌ_１，Ｌ_２，Ｌ_３に対する変化量を求めることが可能となる（図１１のＳ３０６）。

較正処理後の制御処理に際して、駆動制御部５０の制御機５２は、以上のように、各ワイヤ長Ｌ_０，Ｌ_１，Ｌ_２，Ｌ_３について、原点長Ｌ_０，Ｌ_１，Ｌ_２，Ｌ_３に対する変化量を求め、その変化量に応じて各モータ４５が協調しつつ各ワイヤ４２の巻取りまたは繰出しを行うように、各モータ４５の動作を制御する。これにより、装着ユニット４０では、操作レバー３１，３２に装着されたアタッチ部４１が、原点位置Ｓ_Ｏから遠隔制御装置８０側から指示された位置である点Ｓに移動することになる（図１１のＳ３０７）。

つまり、操作支援装置における駆動制御部５０は、遠隔制御装置８０の側からの制御情報（すなわち、遠隔操作具８１の操作量に関する情報を含むもの）に基づいて、各モータ４５の動作を制御するように構成されている。そして、駆動制御部５０の制御機５２は、各モータ４５の動作を制御してそれぞれを協調的に回転させて、アタッチ部４１から延びる各ワイヤ４２の張力を均衡させることで、当該アタッチ部４１の位置を点Ｓに移動させ、これにより当該アタッチ部４１が装着された操作レバー３１，３２の位置をコントロールするように構成されている。

したがって、二軸方向対応装着ユニット４０が装着された操作レバー３１，３２は、遠隔操作具８１の操作に倣って動作することになる。つまり、バックホー１は、遠隔制御装置８０の側から遠隔操作されることになる。

なお、上述した制御処理において、装着ユニット４０における原点位置Ｓ_Ｏから点Ｓへの移動については、原点位置Ｓ_Ｏから点Ｓまでの間を複数区間に分割し、各区間毎に順次各モータ４５の動作を制御するような手順を経てもよい。

続いて、一軸方向対応装着ユニット４０について制御処理を行う場合を説明する。

ここで、遠隔制御装置８０の側から駆動制御部５０に対して、遠隔操作具８１の操作量として、例えば、前後ストローク値ＲＳ_Ｖが送信された場合を考える。その場合に、装着ユニット４０における前後ストローク値Ｓ_Ｖについては、前後ストローク値ＲＳ_Ｖが正値または０であった場合には、既述の（１）式によって規定される。前後ストローク値ＲＳ_Ｖが負値であった場合には、Ｓ_Ｂを用いて同様に規定される。

このようにして前後ストローク値Ｓ_Ｖを特定した後は、図１０（ｂ）に示すように、線分Ｓ_Ｆ－Ｓ_Ｂ上における前後ストローク値Ｓ_Ｖの点を特定する。

このような点Ｓ_Ｖを特定することで、その点Ｓ_Ｖによって決まるワイヤ長Ｌ_０，Ｌ_１を特定することが可能になるとともに、特定した各ワイヤ長Ｌ_０，Ｌ_１について、較正値として記憶保持された原点長Ｌ_０，Ｌ_１に対する変化量を求めることが可能となる。

較正処理後の制御処理に際して、駆動制御部５０の制御機５２は、以上のように、各ワイヤ長Ｌ_０，Ｌ_１について、原点長Ｌ_０，Ｌ_１に対する変化量を求め、その変化量に応じて各モータ４５が協調しつつ各ワイヤ４２の巻取りまたは繰出しを行うように、各モータ４５の動作を制御する。これにより、装着ユニット４０では、走行レバー３３，３４に装着されたアタッチ部４１が、原点位置Ｓ_Ｏから遠隔制御装置８０側から指示された位置である点Ｓ_Ｖに移動することになる。

したがって、一軸方向対応装着ユニット４０が装着された走行レバー３３，３４は、遠隔操作具８１の操作に倣って動作することになる。つまり、バックホー１は、遠隔制御装置８０の側から遠隔操作されることになる。
なお、上述した制御処理においても、装着ユニット４０における原点位置Ｓ_Ｏから点Ｓ_Ｖへの移動については、原点位置Ｓ_Ｏから点Ｓ_Ｖまでの間を複数区間に分割し、各区間毎に順次各モータ４５の動作を制御するような手順を経てもよい。

（本実施形態の遠隔操作の作用）
以上に説明したように、本実施形態の遠隔操作システムによれば、操作支援装置を構成する装着ユニット４０の動作を、同操作支援装置を構成する駆動制御部５０が、遠隔制御装置８０の側からの制御情報に基づいて制御することで、当該装着ユニット４０が装着されたバックホー１の遠隔操作を行うことを実現可能とする。換言すると、バックホー１の操作具に操作支援装置の装着ユニット４０を装着すれば、当該バックホー１の遠隔操作が実現可能となる。したがって、本実施形態の遠隔操作システムによれば、遠隔操作の対象となるバックホー１の側は構造（構成）の変更を加えることなく、当該バックホー１に対して装着ユニット４０を装着することで、当該バックホー１の遠隔操作を容易に実現することが可能となる。

また、本実施形態において、バックホー１に装着する装着ユニット４０は、複数のワイヤ４２の張力を均衡させてバックホー１の操作具の位置をコントロールするように構成されているので、簡素な構成でのコントロールが実現可能であり、またどのような配置態様の操作具にも対応し得るという汎用性を備えたものとなる。したがって、本実施形態によれば、どの種類（機種）のバックホー１であっても対応可能な汎用性を有しつつ、当該バックホー１に容易に取り付け可能である簡素な構成の操作支援装置（装着ユニット４０）を装着することで、当該バックホー１の遠隔操作を行う遠隔操作システムを構築することが可能となる。

しかも、本実施形態の遠隔操作システムでは、バックホー１の遠隔操作にあたり、まず、操作支援装置についての較正処理を行い、その後に遠隔操作のための制御処理を行う。したがって、本実施形態によれば、システムが汎用性を備える場合であっても、較正処理を経ることで、適切な制御処理を高精度に行うことが実現可能となり、非常に信頼性が高いものとなる。つまり、較正処理を経ることで、バックホー１の操作具と遠隔制御装置８０の遠隔操作具８１との動作方向を合わせることが可能となり、これにより装着ユニット４０の取付余裕を少なくして応答性を高めることが実現可能となり、またバックホー１の操作具の機種差や個体差等を相殺し得るようにもなる。

なお、本実施形態で説明した較正処理から制御処理への流れは、バックホー１に操作支援装置（装着ユニット４０）を装着したシステム運用開始時に行うことが考えられるが、それ以外に、例えば、システム再稼働時の初期化の際にも行うことも考えられる。つまり、システム再稼働時の初期化の際にも、上述した場合と全く同様の手順で、較正処理を行った後に、遠隔操作のための制御処理を行うことが考えられる。

（遠隔操作時の画像表示）
ところで、本実施形態の遠隔操作システムにおいて、バックホー１の遠隔操作は、その遠隔操作の操作者が、遠隔制御装置８０の遠隔操作具８１を操作することで行う。このとき、遠隔制御装置８０が建設施工現場と遠隔の地に設置されることから、遠隔操作の操作者は、モニタ部８２が表示出力する画像を視認しながら、遠隔操作具８１を操作することになる。

しかしながら、実際のバックホー１の操縦については、バケット１４の剣先位置および地表面に対する遠近感が乏しいと、当該操縦を適切に行うことが困難となり得る。つまり、単なる操縦者視点の表示画像を視認しながらでは、バックホー１の適切な操縦が困難となり得る。

この点については、例えば、いわゆるステレオカメラによる３Ｄ画像を利用して遠近感の乏しさを補うことが考えられるが、その場合にはシステム構成の複雑化を招いたり、立体視する操縦者の健康面での負担を増大させてしまうおそれがある。

このことから、本実施形態の遠隔操作システムでは、バックホー１の遠隔操作にあたり、その遠隔操作を行う操縦者に対して、以下に説明する態様の情報提示を行うようになっている。

図１３は、本実施形態に係る遠隔操作システムにおけるデータストリームの例を示す説明図である。
本実施形態の遠隔操作システムは、既述のように、バックホー１に設けられた第一カメラ６１、第二カメラ６２および第三カメラ６３を有している。
第一カメラ６１は、バックホー１の操縦席１０の操縦者の視点から得られる画像を撮像するように設置されている。つまり、第一カメラ６１は、操縦者視点の画像を得るものである。
第二カメラ６２は、第一カメラ６１とは異なる画角の画像で、バックホー１のバケット１４の剣先位置について上方側から俯瞰した画像を撮像するように設置されている。つまり、第二カメラ６２は、バケット１４の剣先位置の上方側俯瞰画像を得るものである。
第三カメラ６３は、第一カメラ６１および第二カメラ６２のいずれとも異なる画角の画像を撮像するように設置されている。具体的には、バックホー１の周辺領域（後方領域や側方領域等）の画像を撮像する。そのために、第三カメラ６３は、複数台が異なる方向に向けて設置されていてもよいし、例えば３６０度カメラのようなものが一台設置されていてもよい。
これらの各カメラ６１，６２，６３は、いずれも、動画の撮像に対応しているものとする。

各カメラ６１，６２，６３による撮像画像の画像データは、マルチプレクサ５６において、それぞれの系統の独立のＳＤＩ（Serial Digital Interface）映像ストリームが一つのビデオストリームに纏められる。そして、一つのビデオストリームが、ストリーム送信機５７により、例えば５．２ＧＨｚ帯の無線通信およびネットワーク回線７２を介して、遠隔制御装置８０の側へストリーム送信される。これらの処理を行うマルチプレクサ５６およびストリーム送信機５７としての機能は、バックホー１の側に配される駆動制御部５０の制御機５２が備えていればよい。ストリーム送信機５７からのビデオストリームは、ストリーム受信機７３によって受信して、ストリーミングサーバ７４にて処理する。これらの機能は、通信制御コンピュータ７１が備えていればよい。

一方、遠隔制御装置８０の側では、ストリーミングサーバ７４からのビデオストリームを、ネットワーク回線７２を介して受信して、ストリーミングクライアント８４にて処理する。これにより、ストリーミングクライアント８４で受信したビデオストリームについては、遠隔制御装置８０のモニタ部８２において、遅滞なく表示出力を行うことが可能となる。これらの処理を行うストリーミングクライアント８４としての機能は、遠隔制御装置８０を構成する遠隔制御コンピュータ８３が備えていればよい。

以上のように、バックホー１の側と遠隔制御装置８０の側との間では、例えばＳＤＩのような低遅延のストリーム伝送を行う。これにより、複数のカメラ６１，６２，６３による画像データを伝送する場合でも、その画像データを遠隔制御装置８０の側において遅滞なく表示出力することが可能となり、遠隔制御を行う場合の操作応答性を高めることが実現可能となる。
なお、バックホー１の側と遠隔制御装置８０の側との間の映像伝送手法については、低遅延のストリーム伝送に好適なものであればよく、上述したＳＤＩの他に、例えばＭＩＰＩ（Mobile Industry Processor Interface）といった他の方式によるものであってもよい。

また、バックホー１の側において、傾斜センサ６４がバックホー１の姿勢に関する情報を取得し、マイクが周囲の音情報を取得する場合には、これらの情報についても、各カメラ６１，６２，６３で得られる画像データと併せて、バックホー１の側から遠隔制御装置８０の側へ伝送されるものとする。

バックホー１の側からのビデオストリームを受け取ると、遠隔制御装置８０の側では、ストリーミングサーバ８４が以下のような処理を行う。すなわち、ストリーミングサーバ８４は、ビデオストリームに纏められた画像データを分離して、それぞれを個別に表示出力可能にするとともに、その表示出力のための再配置を行う。ここでの再配置は、それぞれの画像データをモニタ部８２の表示画面にて表示出力する際の当該表示画面上での配置を決定することをいう。

図１４は、本実施形態に係る遠隔操作システムにおけるモニタ部８２での画像表示の例を示す説明図である。
図例のように、ストリーミングサーバ８４による再配置を経ることで、モニタ部８２の表示画面上では、その中央付近から下方側に及ぶ領域部分において、第一カメラ６１で撮像された画像（すなわち、操縦者視点の画像）９１が表示出力される。かかる画像９１を視認することで、遠隔操作の操縦者は、バックホー１の操縦席１０にいるのと同じ感覚で、遠隔操作具８１を操作することができる。

かかる画像９１には、バックホー１の姿勢インジケータ画像９１ａを重畳表示するようにしてもよい。姿勢インジケータ画像９１ａは、例えば、水平方向に対するバックホー１の傾き量について、視認可能に指標化した画像である。つまり、モニタ部８２は、第一カメラ６１で撮像された画像９１の表示出力に加えて、傾斜センサ６４の取得情報に基づき、当該画像９１の表示出力にバックホー１の姿勢インジケータ画像９１ａを重畳表示するように構成されていてもよい。このような姿勢インジケータ画像９１ａの重畳表示によって、遠隔操作の操縦者は、第一カメラ６１による画像９１からだけでは認識が困難なバックホー１の姿勢について、適切かつ正確に把握することが可能になる。

また、モニタ部８２の表示画面上には、第一カメラ６１による画像９１の表示領域の上方側の領域部分において、第二カメラ６２で撮像された画像（すなわち、バケット１４の剣先位置の上方側俯瞰画像）９２が表示出力される。つまり、モニタ部８２の表示画面上には、第一カメラ６１による画像９１とは別に、第二カメラ６２による上方側俯瞰画像９２もあわせて表示出力される。かかる上方側俯瞰画像９２が視認可能となることで、遠隔操作の操縦者にとっては、バケット１４の剣先位置および地表面に対する遠近感が補われるようになる。つまり、遠隔操作の操縦者は、両画像９１，９２をあわせて視認することで、バケット１４の剣先位置および地表面に対する遠近感を把握しながらバックホー１の遠隔操作を適切に行うことが可能となる。

第一カメラ６１による画像９１および第二カメラ６２による上方側俯瞰画像９２の表示出力を行う際には、以下のような処理を経るようにしてもよい。
例えば、バケット１４の上方からの俯瞰イメージと三次元モデルを用意しておく。模式的にアームイメージが繋がっていてもよい。モデルには、頂点やエッジに沿って特徴点を定めておく。第一カメラ６１および第二カメラ６２による各画像９１，９２についても、抽出したエッジ、複数のエッジの交点等から、特徴点を抽出する。主に、モデルの上方面と、第二カメラ６２による画像９２とで、特徴点を対応させる（特徴点マッチング）。また、主に、モデルの運転席方向面と、第一カメラ６１による画像９１とで、特徴点を対応させる（特徴点マッチング）。モデルの三次元形状に合わせて、これら二つのカメラ６１，６２からの特徴点を、三次元空間上に構成する。この三次元空間上の特徴点構成と三次元モデルとから、上方から俯瞰した時のパケットイメージを構成する。このバケットイメージを、その三次元位置に基づいて、モニタ部８２の表示画面上に表示する。

さらに、モニタ部８２の表示画面上には、第一カメラ６１による画像０１および第二カメラ６２による上方側俯瞰画像９２の表示領域とは別の領域部分に、第三カメラ６３で撮像された画像９３を表示出力するようにしてもよい。第三カメラ６３はバックホー１の周辺領域の画像を撮像するので、当該第三カメラ６３による画像９３を表示出力すれば、遠隔操作の操縦者は、バックホー１の遠隔操作を、当該バックホー１の周辺の安全等を確認しながら行えるようになる。

なお、バックホー１の側にマイクが設けられている場合には、モニタ部８２での画像表示とあわせて、当該マイクによる音情報の出力も行うようにしてもよい。これにより、遠隔操作の操縦者は、バックホー１の周辺の環境音からも、当該バックホー１による作業状態を把握し得るようになる。

（５）他のシステム構成
本実施形態の操作支援装置は、上述した構成の遠隔操作システム以外の他のシステムにおいても用いることができる。他のシステムとしては、例えば、バックホー１の自動運転システムとして機能するものが挙げられる。また、遠隔操作システムとして機能と、自動運転システムとして機能とを、併せ持つものであってもよい。

以下、バックホー１の自動運転システムとして機能する例について説明する。
バックホー１の自動運転システムは、当該バックホー１の自動運転を行うためのもので、上述した遠隔操作システムの場合と同様に、自動運転の対象となるバックホー１の操縦席１０に取り付けられた装着ユニット４０と、当該装着ユニット４０に付随する駆動制御部５０と、を備えている。バックホー１の操縦席１０に右操作レバー３１、左操作レバー３２、右走行レバー３３および左走行レバー３４が設けられている場合であれば、これらのそれぞれに個別に対応するように、装着ユニット４０および駆動制御部５０を備えているものとする。

バックホー１には、装着ユニット４０および駆動制御部５０に加えて、これらが搭載されたバックホー１が有するバケット１４の作業位置を測位する測位装置が設けられている。測位装置としては、例えば、角度センサ２１，２２，２３，２４、ＧＮＳＳ受信機１６、各カメラ６１，６２，６３等を利用しつつ、所定の演算処理を行うことで、バケット１４の作業位置を求めるように構成されている。ただし、測位装置は、バケット１４の作業位置を測位可能なものであれば、その構成が特に限定されるものではなく、他の公知技術を利用して構成されたものであってもよい。

また、バックホー１の自動運転システムは、装着ユニット４０および駆動制御部５０を有する操作支援装置と、バケット１４の作業位置を測位する測位装置とに加えて、バックホー１が使用される施工現場エリアについての施工計画データを得るデータ管理装置を備えている。施工計画データは、施工現場エリアの施工後の状態（例えば工事後の地形）についての設計データに相当するもので、施工後状態を特定し得るものであれば、データ形式等が特に限定されることはない。このような施工計画データを得るデータ管理装置は、バックホー１の側と通信可能に配されたコンピュータ装置等からなるもので、施工計画データを予め記憶保持しているものであってもよいし、ネットワーク回線を通じて外部から取得可能に構成されたものであってもよい。

このような構成の自動運転システムでは、操作支援装置における駆動制御部５０が、測位装置による測位結果とデータ管理装置で得た施工計画データとの対比結果に基づいて、当該操作支援装置の装着ユニット４０における各モータ４５の動作を制御するようになっている。具体的には、測位装置の測位結果と施工計画データとの対比結果から、それぞれの間の差分を求め、その差分の分だけバケット１４を動作させるように、装着ユニット４０における各モータ４５の動作を制御する。このような動作制御の詳細は、いわゆるマシンコントロールとして知られている公知技術を利用して実現すればよい。

以上に説明した自動運転システムによれば、操作支援装置を構成する装着ユニット４０の動作を、同操作支援装置を構成する駆動制御部５０が、測位装置による測位結果とデータ管理装置で得た施工計画データとの対比結果に基づいて制御することで、当該装着ユニット４０が装着されたバックホー１の自動運転を行うことを実現可能とする。換言すると、バックホー１の操作具に操作支援装置の装着ユニット４０を装着すれば、当該バックホー１の自動運転が実現可能となる。したがって、本実施形態の自動運転システムによれば、自動運転の対象となるバックホー１の側は構造（構成）の変更を加えることなく、当該バックホー１に対して装着ユニット４０を装着することで、当該バックホー１の自動運転を容易に実現することが可能となる。

また、本実施形態において、バックホー１に装着する装着ユニット４０は、複数のワイヤ４２の張力を均衡させてバックホー１の操作具の位置をコントロールするように構成されているので、簡素な構成でのコントロールが実現可能であり、またどのような配置態様の操作具にも対応し得るという汎用性を備えたものとなる。したがって、本実施形態によれば、どの種類（機種）のバックホー１であっても対応可能な汎用性を有しつつ、当該バックホー１に容易に取り付け可能である簡素な構成の操作支援装置（装着ユニット４０）を装着することで、当該バックホー１の自動運転を行う自動運転システムを構築することが可能となる。

しかも、本実施形態の自動運転システムでは、バックホー１の自動運転にあたり、まず、操作支援装置についての較正処理を行い、その後に自動運転のための制御処理を行う。したがって、本実施形態によれば、システムが汎用性を備える場合であっても、較正処理を経ることで、適切な制御処理を高精度に行うことが実現可能となり、非常に信頼性が高いものとなる。

（６）変形例等
以上に、本発明の実施形態を具体的に説明したが、本発明の技術的範囲は上述の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。

例えば、上述の実施形態では、作業機械がバックホー１である場合を例に挙げて説明したが、本発明がこれに限定されることはなく、バックホー１以外の建設機械にも全く同様に適用することが可能である。さらには、建設機械に限定されることもなく、装着ユニット４０を装着可能な操作具を有する作業機械であれば、全く同様に本発明を適用することが可能である。

また、例えば、上述の実施形態では、遠隔操作システムにおいて、遠隔操作の操作者が、モニタ部８２が表示出力する画像を視認しながら、遠隔操作具８１を操作する場合を例に挙げたが、本発明がこれに限定されることはない。すなわち、画像表示出力を行うモニタ部８２は必須の構成ではなく、遠隔操作の操作者は、バックホー１を目視しながら、遠隔操作具８１を操作するようにしてもよい。遠隔操作の操作者に対する画像表示出力を行う場合であっても、その画像表示出力は、例えば、システム構成の複雑化や操縦者の健康面での負担等を問題視しなければ、３Ｄ画像等の立体視画像を利用して行ったり、操作者の頭部に装着されるヘッドマウントディスプレイを利用して行ったりしてもよい。

１…バックホー（作業機械）、３１…右操作レバー、３２…左操作レバー、３３…右走行レバー、３４…左走行レバー、４０…装着ユニット、４１…アタッチ部（係合部）、４２…ワイヤ（索条部材）、４３…スリーブ、４４…プーリ、４５…モータ（駆動源）、４６…基台、５０…駆動制御部、５１…コントロールユニット、５２…制御機、５３…モータドライバ、５４…エンコーダ、５５…モータコントローラ、５６…マルチプレクサ、５７…ストリーム送信機、６１…第一カメラ、６２…第二カメラ、６３…第三カメラ、６４…傾斜センサ、７１…通信制御コンピュータ、７２…ネットワーク回線、７３…ストリーム受信機、８０…遠隔制御装置、８１…遠隔操作具、８２…モニタ部、８３…遠隔制御コンピュータ、８４…ストリーミングサーバ

Claims (11)

1. 作業機械における操作具に装着される係合部と、
   前記係合部から複数方向に延びる複数の索条部材と、
   前記複数の索条部材のそれぞれと個別に連結して当該索条部材の巻取りまたは繰出しを行う複数の駆動源と、
   前記複数の駆動源の動作を制御する駆動制御部と、
   前記複数の駆動源の動作量を計測する動作量計測部と、を有し、
   前記複数の索条部材の張力の均衡によって前記係合部が各索条部材に支持されるとともに、前記複数の駆動源の動作を個別に制御することで前記複数の索条部材の張力の均衡状態を維持しつつ前記係合部が装着された前記操作具の位置をコントロールするように構成されているとともに、
   前記操作具が移動すべき先の位置情報に対して、前記操作具を追従させるように設定された動作ストロークの方向におけるストローク値で規定される当該操作具の移動点を特定し、前記移動点に対応する前記複数の索条部材のそれぞれの長さを特定し、前記動作量計測部の計測結果から前記駆動源を動作させた際の前記複数の索条部材の長さの変化量を特定しつつ、前記変化量を含む長さが前記移動点に対応する長さとなるように前記複数の駆動源を個別に動作させることで、前記操作具を前記移動点に移動させるように構成されている
   操作支援装置。
2. 前記駆動制御部には、遠隔操作具が通信接続され、
   前記位置情報は、前記遠隔操作具の操作量から特定される
   請求項１に記載の操作支援装置。
3. 二軸方向に操作可能な前記操作具に対して、四方向に延びる四つの前記索条部材と、各索条部材と個別に連結する四つの前記駆動源と、を有する
   請求項１に記載の操作支援装置。
4. 一軸方向に操作可能な前記操作具に対して、対向する二方向に延びる二つの前記索条部材と、各索条部材と個別に連結する二つの前記駆動源と、を有する
   請求項１に記載の操作支援装置。
5. 前記駆動制御部は、
   前記動作量計測部による計測結果に基づいて前記操作具の動作ストロークの方向および量の少なくとも一方を較正する較正機能部
   を有する請求項１から４のいずれか１項に記載の操作支援装置。
6. 前記複数の駆動源および前記駆動制御部は、マニュアル操作される前記操作具の動きに追従する動作モードに対応するように構成されており、
   前記動作モードでは前記複数の駆動源にトルクを掛けない状態で前記操作具がマニュアル操作され、当該マニュアル操作による前記操作具の動きに追従して前記複数の索条部材の張力を均衡させた状態を維持しつつ前記複数の駆動源の動作量を前記動作量計測部で計測する
   請求項５のいずれか１項に記載の操作支援装置。
7. 請求項１に記載の操作支援装置と、
   前記操作支援装置と通信可能な遠隔操作装置と、を備え、
   前記操作支援装置における前記駆動制御部は、前記遠隔操作装置からの制御情報に基づいて、前記複数の駆動源の動作を制御するように構成されている
   遠隔操作システム。
8. 前記遠隔操作装置は、操作者が操作する遠隔操作具を有し、前記遠隔操作具の操作量情報を前記制御情報として前記操作支援装置に送信するとともに、前記遠隔操作具の操作量から前記位置情報が特定されるように構成されている
   請求項７に記載の遠隔操作システム。
9. 前記作業機械の操縦者の視点から得られる画像を撮像する第一カメラと、
   前記第一カメラとは異なる画角で前記作業機械が有する作業具に関する画像を撮像する第二カメラと、を備え、
   前記遠隔操作装置は、前記第一カメラおよび前記第二カメラのそれぞれによる撮像画像を表示するモニタ部を有する
   請求項７または８に記載の遠隔操作システム。
10. 前記作業機械の姿勢に関する情報を取得する傾斜センサを備え、
    前記遠隔操作装置の前記モニタ部は、前記傾斜センサの取得情報に基づき、前記作業機械の姿勢インジケータ画像を重畳表示するように構成されている
    請求項９に記載の遠隔操作システム。
11. 請求項１に記載の操作支援装置と、
    前記操作支援装置が搭載された前記作業機械が有する作業具の作業位置を測位する測位装置と、
    前記作業機械が使用される施工現場エリアについての施工計画データを得るデータ管理装置と、を備え、
    前記操作支援装置における前記駆動制御部は、前記測位装置による測位結果と前記施工計画データとの対比結果に基づいて、前記複数の駆動源の動作を制御するように構成されている
    自動運転システム。

Images