WO2023166797A1 - 遠隔操作処理装置、及び遠隔操作処理システム - Google Patents

Abstract

本発明は、オペレータが視認すべき対象物に撮像装置３２２の撮像方向が指向するように撮像角度を決定し、撮像装置３２２の撮像角度を制御して適切な撮像視野を得ることができる遠隔操作処理装置を提供することを目的とする。遠隔操作処理装置１００は、遠隔操作される作業機械に配置されている撮像装置３２２の撮像角度を制御可能であり、遠隔操作装置２００を用いた作業機械３００の遠隔操作を支援するための遠隔操作処理装置１００であって、遠隔操作処理装置１００は、作業機械３００に備えられたアタッチメント３４４の作業中の位置を取得して対象座標値Ｐとして記憶し、対象座標値Ｐの分布に基づいて撮像装置３２２の撮像角度を制御する。

Description

遠隔操作処理装置、及び遠隔操作処理システム

　本発明は、遠隔操作装置を用いた作業機械の遠隔操作を支援する遠隔操作処理装置、及び遠隔操作処理システムに関し、具体的には作業機械に備えられている撮像装置の撮像角度を制御可能な遠隔操作処理装置、及び遠隔操作処理システムに関する。

　従来、特許文献１に開示されているように、遠隔操作される作業機械が知られている。特許文献１の作業機械には、遠隔駆動装置、及び撮像装置が取り付けられており、オペレータは、実機から離れた場所に設置されている遠隔操作装置により作業機械を遠隔操作する。

　オペレータは、実機の操縦席にある室内カメラの画像を見ながら作業機械を遠隔操作する。しかし、室内カメラの画像では、オペレータは作業現場の実際の奥行き感が把握しづらいという問題がある。そのため、作業機械のキャビン上部にカメラを設け、キャビン上部からの画像を視認できるように工夫された装置が開示されている。

特開２００７－１６４０３号公報

　しかしながら、作業機械の種類によりキャビン高が異なるため、作業機械ごとに、カメラの撮像角度の調整が必要であった。この問題に対し、特許文献１に記載された発明では、作業機械のアクチュエータの状態量と、カメラの視野に入れるべき補足点との関係をあらかじめ記憶しておき、アクチュエータの状態量をパラメータとして、カメラの撮像方向を調整している。しかし、アクチュエータの状態量とカメラの視野に入れるべき補足点との関係を作業機械ごとに調べて、あらかじめ記憶させておく必要があり、非常に手間がかかっていた。また、記憶されたアクチュエータの状態量から決定されるカメラの視野は、オペレータにとって常に適切な撮像視野になるとは限らなかった。

　本発明は、オペレータが視認すべき対象物に撮像装置の撮像方向が指向するように撮像角度を決定し、撮像装置の撮像角度を制御して、オペレータが視認すべき適切な撮像視野を容易に得ることができる遠隔操作処理装置、及び遠隔操作処理システムを提供することを目的とする。

　本発明に係る遠隔操作処理装置は、遠隔操作される作業機械に配置されている撮像装置の撮像角度を制御可能であり、遠隔操作装置を用いた作業機械の遠隔操作を支援するための遠隔操作処理装置であって、作業中のアタッチメントの位置を取得して対象座標値として記憶し、対象座標値の分布に基づいて、撮像装置の撮像角度を制御する。

本発明に係る遠隔操作支援処理装置を示す概要図。 遠隔操作装置を示す概要図。 作業中の作業機械を示す側面図。 図３における対象座標値と代表座標値との位置関係を示す概念図。 作業中の作業機械を示す上面図。

　［実施の形態１］
　図１及び図２を参照して、本発明の実施の形態１に係る遠隔操作処理装置を説明する。図１は、本発明の遠隔操作処理装置１００を含む遠隔操作処理システム５００の全体を示す概要図である。図２は、遠隔操作処理システム５００が備える遠隔操作装置２００の概要図である。遠隔操作処理システム５００は、遠隔操作処理装置１００と、作業機械３００を遠隔操作するための遠隔操作装置２００とを備えている。遠隔操作処理装置１００は、遠隔操作処理システム５００では、遠隔操作装置２００に設けられていてもよく、作業機械３００に設けられていてもよい。又は、遠隔操作処理装置１００は単体、例えばサーバとして備えられていてもよい。以下の説明では、遠隔操作処理装置１００は単体として設けられている場合で説明する。

　遠隔操作装置２００、及び作業機械３００は相互にネットワーク通信可能に構成されている。また、遠隔操作処理装置１００が単体で設けられている場合は、遠隔操作処理装置１００は遠隔操作装置２００、及び作業機械３００と相互にネットワーク通信可能に構成される。

　遠隔操作処理装置１００は、データベース１１０と、制御装置１２０とを備えている。データベース１１０は、撮像画像、作業機械の作動状態を示す各種特性値、オペレータに関する各種データ等、遠隔操作支援に関わる各種データを記憶保持する。制御装置１２０は、演算処理装置（シングルコアプロセッサ、マルチコアプロセッサ、又はこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータ、及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがって、所定の演算処理を実行する。データベース１１０は、遠隔操作処理装置１００と別個のデータベースにより構成されていてもよい。

　＜作業機械３００の構成＞
　図３を参照して、遠隔操作される作業機械３００を説明する。図３は、作業中の作業機械３００を示す側面図である。本実施の形態における作業機械３００は、屑鉄を吸着して移動するリフティングマグネット機を利用する場合で説明するが、本発明を適用し得る作業機械３００は、その種類を限定されない。作業機械３００は、例えば、アタッチメントがバケットであるパワーショベル、アタッチメントがつかみ具であるつかみ機、アタッチメントが切断具である切断機、アタッチメントが圧砕具である圧砕機、アタッチメントがブレーカであるブレーカ機等、何れでもよい。

　作業機械３００は、車輪を覆う走行用の履帯３０３を有する下部走行体３０１、及び下部走行体３０１の上に回動自在に載せられている上部旋回体３０２を備えている。さらに作業機械３００は、上部旋回体３０２に設けられているキャビン３０４、上部旋回体３０２に設けられているブーム３４１、ブーム３４１の先端に接続されているアーム３４２、及びアーム３４２の先端に接続されてアタッチメントピン３４３で取付けられているアタッチメント３４４を備えている。

　作業機械３００は、実機制御装置３１０と、実機入力インターフェース３２０と、実機無線通信機器３３０と、作動機構３４０と、を備えている。

　実機制御装置３１０は、演算処理装置（シングルコアプロセッサ、マルチコアプロセッサ、又はこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータ、及びソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがって、所定の演算処理を実行する。

　実機入力インターフェース３２０は、実機操作機構３２１と、撮像装置３２２と、測位装置３２９とを備えている。実機操作機構３２１は、キャビン３０４の内部に配置されたシート２５５の周囲に配置された複数の操作レバーを備えている。遠隔操作レバーの操作に対応した信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構、又はロボットが設けられている。

　撮像装置３２２は、キャビン３０４の外に設けられている第１カメラ３２３と、キャビン３０４の中に設けられている第２カメラ３２４とを有している。第１カメラ３２３は、例えばキャビン３０４の屋根上の前方中央部に設けられている。第２カメラ３２４はキャビン３０４の内部に配置され、シート２５５のヘッドレスト付近に設けられている。第２カメラ３２４は、フロントウィンドウ、及び左右一対のサイドウィンドウ越しに作動機構３４０の少なくとも一部を含む環境を撮像する。

　第１カメラ３２３はキャビン３０４に対して水平方向には回転不能に保持されており、第１カメラ３２３の撮像方向の調整は、上下方向のみ可能である。角度調整前の第１カメラ３２３の撮像方向は、デフォルト値が設定されている。第１カメラ３２３の撮像方向のデフォルト値は、例えば、水平面から４０°下方の角度である。なお、本発明はキャビン３０４の外部に配置された第１カメラ３２３への適用が可能である他、キャビン３０４の内部に配置された第２カメラ３２４等、他のカメラにも適用可能である。

　なお、第１カメラ３２３は、キャビン３０４の前面、左側面、又は右側面のほぼ垂直な外面上に設けられていてもよい。又、第１カメラ３２３は２つ以上設けられていてもよい。第１カメラ３２３は、例えば、キャビン３０４の屋根上の前部の左側と右側に１つずつ設けられていてもよい。又は、第１カメラ３２３は、キャビン３０４の前面、左側面、又は右側面の何れか２つ以上、例えばキャビン３０４の左側面と、右側面とにそれぞれ設けられていてもよい。

　また、複数の第１カメラ３２３を左右方向に離間した位置に配置し、それぞれの第１カメラ３２３で撮像した画像と、３Ｄ眼鏡とを用いることにより、ステレオ画像を得るようにしてもよい。オペレータは、ステレオ画像を視認することにより、奥行き感を把握することができる。

　オペレータがステレオ画像を視認する方法は、公知の方法を利用できる。例えば、複数の第１カメラ３２３からの画像を後述する表示装置に重ねて同時に表示し、オペレータが左目用、右目用それぞれの偏向フィルタを含んだ３Ｄ用眼鏡を用いる方法が利用できる。又は、左側第１カメラ３２３の画像、及び右側第１カメラ３２３の画像を片方ずつ交互に表示装置に毎秒数回～数十回の周期で切り替え表示し、オペレータが表示装置に表示されている左画像又は右画像に同期した左目用、右目用の液晶シャッタを含んだ３Ｄ用眼鏡を用いる方法が利用できる。又は、複数の第１カメラ３２３からの画像を表示装置に重ねて同時に表示し、オペレータが裸眼でステレオ画像を認識できるディスプレイを用いる方法が利用できる。

　測位装置３２９はＧＰＳ、及び必要に応じてジャイロセンサを含んでおり、作業機械３００の位置を取得する。

　作業機械３００は、実機無線通信機器３３０を備えている。実機入力インターフェース３２０により取得された撮像画像、位置情報は、実機無線通信機器３３０により、ネットワークを介し、遠隔操作処理装置１００を経由して、遠隔操作装置２００に送信される。

　＜遠隔操作装置２００の構成＞
　図１～図３を参照して、遠隔操作装置２００を説明する。図３は、作業中の作業機械３００を示す側面図である。遠隔操作装置２００は、遠隔制御装置２１０、遠隔入力インターフェース２２０、遠隔出力インターフェース２３０、及びシート２５５を備えている。

　遠隔制御装置２１０は、遠隔入力インターフェース２２０、遠隔出力インターフェース２３０、及び遠隔無線通信機器２３７のそれぞれの制御、及びデータ入出力を含む、遠隔操作装置２００全体の制御を行う。

　遠隔入力インターフェース２２０は、遠隔操作機構２２１と、操作入力装置２２２と、オペレータ認識装置２２３とを備えている。

　遠隔操作機構２２１は、作業機械３００に対応して、走行用操作装置と、旋回用操作装置と、アーム用操作装置と、ブーム用操作装置と、アタッチメント用操作装置とを含んでいる。遠隔操作機構２２１は、回動操作により操作される複数のレバーを有している。シート２５５の前方において、左右のクローラにそれぞれ対応した左右一対の走行レバー２５１が、左右横並びに配置されている。オペレータが着座するためのシート２５５の両脇には、操作レバー２５２、２５３が配置されている。

　遠隔操作機構２２１のレバーと、作業機械３００の作動機構３４０の動作との対応について説明する。走行用操作装置の走行レバー２５１は、作業機械３００の下部走行体３０１を動かすレバーである。シート２５５の左側フレームの前方に設けられている操作レバー２５２は、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能する。シート２５５の右側フレームの前方に設けられている操作レバー２５３は、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にアタッチメントレバーとして機能する。なお、作業機械３００の動作に対応する遠隔操作機構２２１のレバー位置とその操作方向は、上記の操作パターン以外でもよく、オペレータの操作により適宜変更されてもよい。

　操作入力装置２２２は、オペレータが操作しやすいように、シート２５５の右側フレームの前方に固定部材を介して固定されている。操作入力装置２２２は、各種情報を表示する表示部と、各種入力が可能な入力部とを備えた入力装置である。操作入力装置２２２の入力部は、タッチパネル式、ボタン式、回転式、及びスライド式から選択される１つ以上から形成されている。また、操作入力装置２２２の表示部は、液晶表示装置、有機ＥＬ表示装置、ＬＥＤ表示装置、等で形成されている。操作入力装置２２２は、例えば、液晶表示装置にタッチパネルを重ねて形成されたタッチパネル式液晶表示装置である。

　オペレータ認識装置２２３は、オペレータの画像、音声、又は個人識別番号等を取得して、オペレータ個人を特定する装置である。オペレータ認識装置２２３は、遠隔操作装置２００の前方部分において、シート２５５に向かって後ろ向きに設けられている。オペレータ認識装置２２３は、遠隔操作装置２００の起動後、シート２５５に着座しているオペレータを撮像する。オペレータ認識装置２２３は、撮像された画像を用いて、顔認証によりオペレータ個人を特定する。

　オペレータ識別情報は、遠隔操作処理装置１００のデータベース１１０に記憶されていてもよい。又は、遠隔操作処理システム５００以外の場所に構築されたデータベースに記憶されていて、通信手段を介してオペレータ個人の特定が行われてもよい。記憶されているオペレータ識別情報とは、作業機械３００を操作できる１人以上のオペレータの画像、個人識別番号、オペレータごとのパスワード等のオペレータ識別情報である。取得されたオペレータ識別情報は、記憶されているオペレータ識別情報の１つ以上と照合され、オペレータ個人が特定される。

　オペレータ認識装置２２３は、撮像装置に替えて、遠隔操作装置２００に設けられ、オペレータの個人識別番号等を入力する図示されないオペレータ情報入力装置、又は撮像装置とオペレータ情報入力装置の両方であってもよい。オペレータ情報入力装置は、キー入力式装置でもよいし、マイクを有し、オペレータの声そのもの、又はオペレータごとに決まっているパスワードを認識する音声認識装置でもよい。

　なお、記憶されている情報は、上記オペレータ識別情報の他に、オペレータの身長、及び、オペレータ認識装置２２３の撮像装置等により取得された過去の作業時の情報も記憶可能である。過去の作業時の情報とは、遠隔操作中の作業姿勢、全作業の作業日時及び作業場所、現在までの作業機械３００の累積作業時間、等である。

　遠隔出力インターフェース２３０は、画像出力装置２３１を備えている。画像出力装置２３１は、作業機械３００から送信される撮像画像を表示する装置である。画像出力装置２３１は、例えば図２に示されているように、シート２５５の前方、左斜め前方、及び右斜め前方のそれぞれに配置された略矩形状の表示画面を有する中央表示装置２３２、左側表示装置２３３、及び右側表示装置２３４、並びに中央表示装置２３２の上方に隣接して配置されている上部表示装置２３５を有している。中央表示装置２３２、左側表示装置２３３、右側表示装置２３４、及び上部表示装置２３５のそれぞれの画像表示領域の形状、及びサイズは同じである。

　なお、上部表示装置２３５は１つでなく、中央表示装置２３２、左側表示装置２３３、及び右側表示装置２３４と同様に、水平方向に複数配置されていてもよい。又は、視認する頻度が多い中央表示装置２３２、又は中央表示装置２３２と上部表示装置２３５は、左側表示装置２３３、及び右側表示装置２３４に比べて大きくてもよい。

　中央表示装置２３２、左側表示装置２３３、及び右側表示装置２３４のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央表示装置２３２、左側表示装置２３３、及び右側表示装置２３４のうち、少なくとも１つの画像出力装置が複数に分割された画像出力装置により構成されていてもよい。例えば、中央表示装置２３２が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

　本発明の遠隔操作処理装置１００において、作業機械３００に設けられている撮像装置３２２の撮像角度（または光軸の方向）を決定する手順を説明する。遠隔操作処理装置１００は、作業機械３００の基準点を原点Ｋとする実機座標系で表された座標値を用いて、対象座標値Ｐを演算、及び記憶する。座標の原点Ｋである作業機械３００の基準点は適宜決定され得るが、例えば、上部旋回体３０２の回転軸線Ｌと、下部走行体３０１の車輪を覆う履帯３０３の下面を含む平面Ｍ、すなわち地面との交点が実機座標系の原点Ｋとされる。

　座標軸は、原点Ｋを中心として、作業機械３００の左右方向に平行な向きにＸ軸、前後方向に平行な向きにＹ軸、上下方向に平行な向きにＺ軸が配置されている。Ｘ軸、Ｙ軸、Ｚ軸は、座標の原点Ｋを中心に、左方向、前方向、上方向がプラス、右方向、後ろ方向、下方向がマイナスとして設定されている。作業機械３００は、測位装置３２９により位置の検出が可能であり、作業機械３００のグローバルな位置を常に検出している。実機座標系で定義された座標値は、作業機械３００の位置とリンクさせて地図上のグローバルな位置、すなわち絶対位置座標系に変換して記憶されてもよい。

　遠隔操作処理装置１００は、作業の開始から終了までのアタッチメント３４４の特定部位の位置を自動的に３次元座標で表される点、すなわち対象座標値Ｐとして記憶して、対象座標値Ｐの密度を表すヒートマップを作成する。遠隔操作処理装置１００は、ヒートマップに基づき対象座標値Ｐの密度が高い領域を特定して、撮像方向を決定する。以下に、その手順を説明する。
　　（１）作業中のアタッチメント３４４の位置を自動的に取得し、対象座標値Ｐとして
記憶し、対象座標値Ｐの密度を示すヒートマップを作成
　　（２）記憶された対象座標値Ｐの密度が高い領域を特定
　　（３）特定された対象座標値Ｐの密度が高い領域に向けて撮像装置の撮像角度を制御

　図３には、作業機械３００としてリフティングマグネット機が示されている。作業機械３００は、作動機構３４０の状態量を含む作業機械３００の各部の状態量を検出可能に構成されている。作業機械３００の各部の状態量は、例えば、上部旋回体３０２の下部走行体３０１に対する旋回角度、ブーム３４１、及びアーム３４２の基準位置からの角度である。また、作業機械３００の各部の状態量は、アタッチメント３４４のアーム３４２の長手方向に対するアタッチメントピン３４３を回転中心とする回転角度位置（例えば、ショベル機のバケットのアーム３４２長手方向に対する角度位置）、アタッチメント３４４（例えばつかみ機の２つの挟み込み用はさみ具）のアーム３４２長手方向軸線を回転中心とするはさみ具の回転角度、はさみ具の開き角度、等である。

　ブーム３４１とアーム３４２とのそれぞれの長さと接続位置、及びアタッチメント３４４の形状は、あらかじめ正確に把握している。したがって、遠隔操作支援システムは、作業中のブーム３４１、アーム３４２、及びアタッチメント３４４の各状態量、並びにアタッチメント３４４の特定部位のアーム３４２先端からの位置により、アタッチメント３４４の特定部位の座標が取得可能である。取得されたアタッチメント３４４の特定部位の座標値が対象座標値Ｐ（ｘ、ｙ、ｚ）として記憶される。

　アタッチメント３４４の特定部位は、アタッチメント３４４の形状に応じて次のように選択される。作業機械３００がマグネット部３４５を備えたリフティングマグネット機の場合、アタッチメント３４４の特定部位は、例えばマグネット部３４５の吸着面である下面部３４６の中央部である。作業機械３００がショベル機の場合、アタッチメント３４４の特定部位は、例えばバケットの先端の爪部の幅方向すなわち左右方向の中央部、又はバケットの開口部の中央部である。作業機械３００が１対のはさみ具を備えるつかみ機、切断機、及び圧砕機の場合、アタッチメント３４４の特定部位は、例えば２つのはさみ具が閉状態における長さ方向の先端部、又は長さ方向の中央部である。作業機械３００がブレーカを備えたブレーカ機の場合、アタッチメント３４４の特定部位は、例えばブレーカの先端部である。

　アタッチメント３４４の特定部位は、アタッチメント３４４の種類に関わらず、アタッチメント３４４の取付け用アタッチメントピン３４３の長手方向すなわち左右方向の中央部とすることができる。アタッチメント３４４の特定部位をアタッチメントピン３４３とした場合は、作業内容に応じて付け替えられるアタッチメント３４４の種類に関わらず、アタッチメント３４４の上記位置が共通して特定部位として記憶される。

　作業中のアタッチメント３４４の位置は、遠隔操作処理装置１００が所定時間ごとに自動的に取得する。例えば、遠隔操作処理装置１００は、５秒毎、１０秒毎、２０秒毎、３０秒毎、１分毎にアタッチメント３４４の位置を自動的に取得する。これに加えて、遠隔操作処理装置１００は、特定の作業をした時のアタッチメント３４４の特定部位の位置を取得することができる。特定の作業とは、リフティングマグネット機で粗材の吸着、及び釈放をした時、ブレーカ機でブレーカを打った時、アタッチメント３４４が地表面に接近した時、レバー操作量が所定の第１操作量から第１操作量よりも大きい所定の第２操作量に変化した時、レバー操作量が所定操作量以上になった時、レバー操作速度が指定速度以上になった時、等である。これらの作業状態の時には、遠隔操作処理装置１００はアタッチメント３４４の特定部位の位置を自動的に取得する。オペレータは、アタッチメント３４４の位置を取得する方法を上記の何れにするかを設定できる。

　遠隔操作処理装置１００は、対象座標値Ｐｎと、対象座標値Ｐｎと関連付けされた関連情報とを記憶する。遠隔操作処理装置１００は、記憶された時点以降において、記憶された対象座標値Ｐｎとその関連情報とに基づいて、撮像方向の制御に用いられる。関連情報とは、身体的特徴、又は作業姿勢を含むオペレータに関する情報、作業日時及び作業場所に関する情報、作業機械に関する情報、作業内容に関する情報の１つ以上を含む情報である。

　オペレータに関する情報として、オペレータ個人を特定する情報が含まれる。オペレータにより、身長の高低、及び着座時の作業姿勢、例えば前かがみ又は上半身をまっすぐにした状態等の着座姿勢が異なるため、オペレータ個人の特定により撮像装置３２２の調整に反映される。また、作業日時及び場所に関する情報は、対象座標値Ｐｎが取得された時点の日時、及び対象座標値Ｐｎが取得された時点の測位装置３２９が検出した場所が含まれる。また、作業機械に関する関連情報には、作業機械３００の種類、サイズ及び、号機番号、並びに、装着されているアタッチメント３４４の種類等、アタッチメントを特定する情報が含まれる。

　また、作業内容に関する関連情報は、記憶された時点の作業機械３００の作動機構３４０の各状態量、作業機械３００の上部旋回体３０２の基準位置に対する旋回角度、等の１つ以上の作業状態を表す情報である。さらに、遠隔操作処理装置１００は、作動機構３４０の状態量により、あらかじめ記憶されている作業機構３４０の状態量に基づいて特定される作業内容を記憶する。例えば、遠隔操作処理装置１００は、掘削作業、積み込み作業、リフマグ作業、ブレーカ作業などの作業内容を記憶する。

　遠隔操作処理装置１００は、記憶された複数の対象座標値Ｐに基づいて、作業空間内における対象座標値Ｐの密度を示すヒートマップを作成する。

　遠隔操作処理装置１００は、ヒートマップの作成後、対象座標値Ｐの密度が高い領域を特定する。遠隔作業機械３００の周囲の作業空間は、所定の大きさの複数の単位空間Ｌごとに分割されている。単位空間Ｌは、作業機械３００の周囲の作業空間において、Ｘ方向、Ｙ方向、Ｚ方向のそれぞれが所定範囲で定義される領域である。前記所定範囲は、例えば、作業機械３００が使用するアタッチメント３４４の３方向の寸法うちの最大寸法の５０％～１００％に相当する長さである。

　操作処理装置１００は、単位空間Ｌごとに含まれる対象座標値Ｐをカウントして、対象座標値Ｐの密度が高い単位空間Ｌを特定する。密度が高い単位空間Ｌを特定する方法は、例えば、対象座標値Ｐの数が一番多い単位空間Ｌを特定する方法である。あるいは、対象座標値Ｐが所定値以上、具体的には５個以上、１０個以上、又は２０個以上等、対象座標値Ｐを所定数以上含む単位空間Ｌを特定する方法である。後者のように複数の単位空間Ｌが特定されている場合は、オペレータは何れかを選択することができる。

　図３～図５を参照して、対象座標値Ｐについて説明する。図３は、特定された単位空間Ｌ１と、単位空間Ｌ１に含まれる対象座標値Ｐ１１～Ｐ１５とが示されている。図４は、図３のＬ１の拡大図である。図５は、図３の作業機械３００の上面図であり、単位空間Ｌ１、及びＬ２が示されている。作業機械３００の作業中に、アタッチメント３４４の特定部位の位置の座標値が演算されて、それぞれ対象座標値Ｐｎとして記憶される。対象座標値Ｐｎ（ｘｎ、ｙｎ、ｚｎ）におけるｎは、自然数（１、２、３、…）である。例えば、１つ目の対象座標値Ｐは、対象座標値Ｐ１（ｘ１、ｙ１、ｚ１）、２つ目の対象座標値Ｐは、対象座標値Ｐ２（ｘ２、ｙ２、ｚ２）のように、区別されて記憶される。

　遠隔操作処理装置１００は、ヒートマップに基づいて、対象座標値Ｐの密度が高い領域を撮像方向とし、オペレータの操作により、その方向に向けて撮像装置３２２の撮像角度を制御する。遠隔操作処理装置１００は、例えば単位空間Ｌ１の空間中心座標Ｍ１に撮像装置３２２の撮像方向を向ける。対象座標値Ｐの密度が高い領域である単位空間Ｌが複数ある場合、遠隔操作処理装置１００は、遠隔操作装置２００の表示装置にそれらを表示し、オペレータは何れかを選択することができる。

　オペレータは、遠隔操作装置２００に設けられている図示されないＯＫボタン等のスイッチ操作により、第１カメラ３２３の撮像角度調整開始の指示をする。その指示により、遠隔操作処理装置１００は、作業機械３００に撮像角度調整の指令を送信する。作業機械３００は実機無線通信機器３３０を介して指令を受信し、第１カメラ３２３の図示されない保持機構は、第１カメラ３２３の撮像角度を指示された角度Ｎに調整する。上記表示がされている時に、オペレータが撮像角度調整開始をしないと指示した場合、又は一定時間、撮像角度調整を開始する操作をしなかった場合は、撮像角度調整を行わない。このように、第１カメラ３２３の撮像方向は、オペレータの操作により撮像角度Ｎに調整される。

　また、オペレータは演算された撮像装置３２２の撮像角度Ｎを修正して撮像装置３２２を調整することができる。画像出力装置２３１、又は操作入力装置２２２の表示部には、修正時のガイダンスとして図５のような取得した対象座標値Ｐｎを示す画像が表示される。遠隔操作処理装置１００は、このような表示により、演算された撮像方向により撮像装置３２２の撮像方向を調整するためのガイダンスを行う。上記と合わせて、第１カメラ３２３の撮像角度Ｎへの調整を開始するかをオペレータに確認する文章も表示する。オペレータは操作入力装置２２２のタッチパネル、又は図示されないスイッチを利用して、表示された撮像装置３２２の画像を見ながら、撮像装置３２２の撮像角度Ｎを調整することができる。遠隔操作処理装置１００は、調整された撮像角度Ｎと対象座標値Pとを記憶する。

　遠隔操作処理装置１００が記憶している対象座標値Ｐ、及び対象座標値Ｐの関連情報の利用について説明する。遠隔操作処理装置１００は、上記のとおり、オペレータに関する情報、作業日時及び作業場所に関する情報、作業機械に関する情報、作業内容に関する情報を記憶している。遠隔操作処理装置１００は、現在における関連情報を検出し、当該関連情報に関連付けられている対象座標値Ｐをデータベース１１０から読み出し、ヒートマップを作成する。関連情報の検出は、遠隔操作処理装置１００が現在の作業における関連情報と一致する条件、例えば同じオペレータ等について、記憶されている関連情報に検出した場合、関連付けて記憶されている対象座標値Ｐを呼び出して、撮像装置３２２の撮像角度を調整することができる。

　例えば、遠隔操作処理装置１００は、特定されたオペレータに関連付けて記憶された関連情報を利用することができる。例えば、以前作業したオペレータと同じオペレータが作業する場合、遠隔操作処理装置１００は、同じオペレータの過去の作業履歴を参照し、そのオペレータの作業中に記憶された対象座標値Ｐを呼び出して、撮像装置３２２の撮像角度を調整することができる。したがって、遠隔操作処理装置１００は、身長の違い及び作業姿勢の違い等オペレータによる違いを反映して、撮像装置３２２の撮像角度の調整が可能である。

　また、作業機械３００のサイズが大きくなれば、作業機械３００のキャビン高も高くなるという傾向があるため、機械サイズにより撮像角度を変更することが好ましい。したがって、遠隔操作処理装置１００は、記憶された同じ機械サイズ、又は同じ機械サイズと同じアタッチメント３４４との組み合わせの撮像角度を呼び出して、対象座標値Ｐを呼び出し、撮像装置３２２の撮像角度を調整することができる。また、同じ作業機械３００により同じ作業内容が行われる場合、遠隔操作処理装置１００は記憶された同じ作業内容の対象座標値Ｐを呼び出して、撮像装置３２２の撮像角度を調整することができる。例えば、遠隔操作処理装置１００は、記憶された掘削作業、積み込み作業、リフマグ作業、ブレーカ作業などの作業内容の対象座標値Ｐを呼び出して、撮像装置３２２の撮像角度を調整することができる。また、記憶された同じ作業時間範囲、例えば、１３時～１５時には、以前の同じ時間範囲の撮像角度、又１５時～１７時には、以前の同じ時間範囲の対象座標値Ｐを呼び出して、撮像装置３２２の撮像角度を調整することができる。このように、遠隔操作処理装置１００は、対象座標値Ｐとともに記憶された関連情報に基づいて、撮像装置３２２の撮像角度を効率的に調整することができる。なお、過去の対象座標値Ｐを呼び出す際のキーとなるオペレータ、機械サイズ等の条件の組み合わせは、オペレータが遠隔操作装置２００を介して設定可能である。

　記憶された対象座標値Ｐｎは、オペレータの所定の操作により消去可能である。対象座標値Ｐｎはオペレータに関連して記憶されており、オペレータは、自分の作業中に記憶された対象座標値Ｐｎを消去可能である。

　＜昇降式キャビンの場合の撮像角度の補正＞
　図３には、キャビン３０４が昇降式キャビンの場合の、下部走行体３０１に対して相対位置が変化した複数の状態のキャビン３０４が破線で示されている。作業機械３００のキャビン３０４すなわち操縦室は、作業機械３００の下部走行体３０１に対する相対位置を調整可能である。作業機械３００が昇降式キャビンの場合、操縦室は、前後方向にも移動しながら上下方向に円弧状に移動する。遠隔操作処理装置は、操縦室の下部走行体３０１に対する相対位置が変わっても、キャビン３０４に取付けられた撮像装置３２２の撮像方向が代表座標値Ｒを指向するように撮像装置３２２の撮像角度、及びキャビン３０４に対する位置の少なくとも何れか一方を制御できる。

　キャビン３０４の下部走行体３０１に対する相対位置は検出可能である。遠隔操作処理装置は、キャビン３０４が通常位置である基準位置、例えば、最下端位置かつ最後端位置状態で演算された撮像装置３２２の撮像角度から、キャビン３０４が移動した状態の前後位置及び上下位置を検出して、撮像装置３２２の撮像角度、及びキャビン３０４に対する位置の少なくとも何れか一方を補正する。遠隔操作処理装置は、補正された撮像装置３２２の撮像角度、及びキャビン３０４に対する位置を調整するための制御信号を作業機械３００に送信可能である。

　［実施の形態２］
　次に、本発明に係る実施の形態２を説明する。実施の形態２は、対象座標値Ｐの取得がオペレータの直接的な取得操作によることと、撮像装置３２２の撮像方向を決定する演算方法とが異なっており、その他は同じである。なお、対象座標値Ｐをオペレータの直接的な取得操作により取得する実施の形態２の方法は、対象座標値Ｐを自動的に取得する実施の形態１の方法と組み合わせて実施することもできる。

　第１カメラ３２３の撮像方向の決定は、下記の手順で行われる。
　　（１）オペレータの所定の操作による対象物の指定と対象座標値Ｐの演算
　　（２）対象座標値Ｐの位置に関連して選択された所定数の対象座標値Ｐのグループ化
　　（３）所定数の対象座標値Ｐに基づく撮像装置３２２が指向する代表座標値Ｐの決定

　（１）オペレータの所定の操作による対象物の指定と対象座標値Ｐの演算
　遠隔操作処理装置は、オペレータが所定の操作をした時点の指定された対象物の対象座標値Ｐを演算して関連情報とともに記憶する。作業機械３００による作業はアタッチメント３４４を操作して行われるから、オペレータが視認すべき対象物はアタッチメント３４４、及びその周辺の確認が特に必要である。そのため、本発明の遠隔操作処理装置１００は、オペレータが所定の操作をした時点のアタッチメント３４４の特定部位の位置を、オペレータが視認すべき対象物の位置として取得し、その対象座標値Ｐを求めて記憶する。遠隔操作処理装置１００は、オペレータが所定の操作をする都度、作業機械３００が備えるアタッチメント３４４の特定部位の座標値を対象座標値Ｐとしてそれぞれ記憶する。

　オペレータの所定の操作とは、例えば、遠隔操作装置２００に設けられているスイッチの操作である。視認すべき対象物を指定するスイッチは、例えば、操作レバー２５２、２５３、操作入力装置２２２のタッチパネル、シート２５５のアームレスト、作業機械３００の操縦席の操作パネル、等、に設けられている。又は、上記のスイッチ操作の代わりに、操作レバー２５２、２５３の特定の操作をオペレータの所定の操作としてもよい。実際の作業では、屑鉄の吸着、地面堀等、地表面に近いところを視認する頻度が多いと思われるので、例えば、アタッチメント３４４が地表面近い位置にするために、地表面に接近させる操作レバー２５２、２５３の操作を検出した時を、オペレータの所定の操作とすることもできる。より具体的には、レバー操作量が所定の第１操作量から第１操作量より大きい所定の第２操作量に変化した時、レバー操作量が所定操作量以上になった時、レバー操作速度が指定速度以上になった時、等を検出してオペレータの所定の操作としてもよい。

　オペレータの所定の操作は、上記のスイッチの操作に替えて、以下の変形例の適用も可能である。オペレータの所定の操作は、オペレータが話す特定の音声を認識する図示されない音声認識装置を用いた音声による方法でもよい。音声による方法では、特定の言葉、例えば「取得」、「記録」等の言葉を発した時のアタッチメント３４４の特定部位の位置が取得される。すなわち、特定の言葉を発することが、上記のスイッチ操作と同等の作用を有する。又は、オペレータの所定の操作は、操作入力装置２２２の表示部に第１カメラ３２３又は第２カメラ３２４の撮像画像を表示しておき、タッチパネルを指で触って視認すべき対象物を直接指定する方法でもよい。オペレータの所定の操作は、スイッチ操作、音声認識、及び操作入力装置２２２のタッチパネル操作の何れか１つ、又はそれらの２つ以上の組み合わせが備えられてよい。

　図３～図５を参照して、対象座標値Ｐｎの演算について説明する。図４は、作業機械３００、及び記憶された複数の対象座標値Ｐｎを含むグループＱ
１と、代表座標値Ｒとの位置関係を示した概念図である。図５は、図３の作業機械３００の上面図である。オペレータが所定の操作を１回以上行うごとに、対象物が指定され、その座標値が演算されて、それぞれ対象座標値Ｐｎとして記憶される。対象座標値Ｐｎ（ｘｎ、ｙｎ、ｚｎ）におけるｎは、自然数（１、２、３、…）である。例えば、１回目の操作では、対象座標値Ｐ１（ｘ１、ｙ１、ｚ１）、２回目の操作では、対象座標値Ｐ２（ｘ２、ｙ２、ｚ２）のように、区別されて記憶される。対象座標値Ｐｎは、それぞれの関連情報と関連付けされて記憶
される。

　（２）対象座標値Ｐの位置に関連した選択と、対象座標値Ｐのグループ化
　記憶された複数の対象座標値Ｐｎの中から、所定数の対象座標値Ｐｎを選択して、それらを１つのグループＱｎとする。例えば、Ｑ１は、対象座標値Ｐ１（ｘ１、ｙ１、ｚ１）から対象座標値Ｐ５（ｘ５、ｙ５、ｚ５）の５つの対象座標値Ｐｎを含んでいる。オペレータの１回の操作では、対象座標値Ｐｎは、対象座標値Ｐｎが１つ記憶される。そのため、グループＱｎが含む対象座標値Ｐｎは複数ではなく1つの場合も含み得る。したがって、本明細書におけるグループＱｎとは、１つ以上の対象座標値Ｐｎを含む集合とする。対象座標値Ｐｎの所定数とは、例えば１個～９個であり、好ましくは例えば５個である。所定数が多いほど、第１カメラ３２３が指向する目標である代表座標値Ｒが精度よく求められる一方、少ないほど代表座標値Ｒを求める際の演算時間を短くできる。

　所定数より少なくとも１以上大きい複数の対象座標値Ｐｎの中から、所定の方法で所定数の対象座標値Ｐｎを選択する。対象座標値Ｐｎを選択する所定の方法は、例えば、所定数の対象座標値Ｐｎを基準として画定される閉空間の体積が最も小さくなるように選択される。その方法は何れの方法でもよいが、例えば、記憶された複数の対象座標値Ｐｎの中から、互いの距離が最も小さい、すなわち最も近い対象座標値Ｐｎ同士を選択し、次に何れかに近い対象座標値Ｐｎを選択することを繰り返して、所定数、例えば５個の対象座標値Ｐｎを選択する。そして、選択された各対象座標値Ｐｎを頂点とする閉空間の体積を求める。記憶された全対象座標値Ｐｎについて、この方法を繰り返して、各対象座標値Ｐｎを頂点として、体積が最も小さい閉空間となる所定数の対象座標値Ｐｎを選択する。

　閉空間の体積の求め方は、上記の方法に替えて、以下の方法でもよい。閉空間の体積は、例えば、前記閉空間を複数の部分的な立体の合体形と考え、個々の立体の体積を求めて合算してもよい。又は、前記閉空間を三角錐、四角錐、直方体、球、等、形状が似ている１つの立体として求めた体積から不要分の体積を部分的に計算して減算してもよい。又は、その選択された対象座標値Ｐｎを全て含む最小の球の半径を求め、球の体積を計算して近似的に体積を求めてもよい。

　（３）撮像装置が指向する代表座標値の決定
　図４には、対象座標値Ｐ１～Ｐ５を含むグループＱ１と、グループＱ１から決定された代表座標値Ｒ１、及びＲ２が示されている。グループＱｎが決定された後、第１カメラ３２３を指向させる目標である代表座標値Ｒｎは、グループＱｎに含まれる所定数の対象座標値Ｐｎに基づいて決定される。

　代表座標値Ｒ（ｘ、ｙ、ｚ）は、第１カメラ３２３の撮像方向を指向させる目標であり、第１カメラ３２３の撮像方向線上の点である。代表座標値Ｒは、グループＱｎに含まれる対象座標値Ｐ１～Ｐ５ができるだけ撮像視野に網羅されるような方法で決定される。代表座標値Ｒは、例えば、グループＱｎに含まれる所定数の各対象座標値Ｐｎを頂点とした立体の重心位置として求められる。各対象座標値Ｐｎを頂点とする立体の重心位置は、例えば、各対象座標値ＰｎのＸ座標値、Ｙ座標値、Ｚ座標値の３次元的な中間位置であり、Ｘ座標値、Ｙ座標値、Ｚ座標値のそれぞれの平均値として求められる。具体的には、対象座標値Ｐｎの重心位置は、下記の計算式で算出される。図４には、この方法で求められた代表座標値Ｒ１１が示されている。
　　　重心位置のＸ座標値＝（ｘ１+ｘ２+．．．+ｘｎ）／ｎ
　　　重心位置のＹ座標値＝（ｙ１+ｙ２+．．．+ｙｎ）／ｎ
　　　重心位置のＺ座標値＝（ｚ１+ｚ２+．．．+ｚｎ）／ｎ

　代表座標値Ｒの求め方は、上記の方法に替えて、以下の方法でもよい。例えば、グループＱｎに含まれる所定数の各対象座標値Ｐｎのうち、互いに一番近い２点の対象座標値Ｐｎのみの平均値、すなわち中間座標値を求めて、それを代表座標値Ｒ２とする方法でもよい。図４には、この方法により、対象座標値ＰｎのＰ１２とＰ１３とから求められた代表座標値Ｒ１２が示されている。この方法の場合、最初の方法に比べて、代表座標値Ｒの位置精度は落ちるデメリットがあるものの、簡易的な方法により演算速度を短くできるというメリットがある。

　なお、対象座標値Ｐｎが３個以下の場合は、対象座標値Ｐｎを頂点とする立体を形成できないため、以下のようにしてもよい。対象座標値Ｐｎが１個の場合は、その1個を代表座標値Ｒとしてもよい。記憶された対象座標値Ｐｎが２個か３個の場合はその集合で１つのグループＱｎとし、２個を結ぶ直線の中央点座標値、又は３個を頂点とする図形の重心位置を代表座標値Ｒとしてもよい。

　上記（１）、（２）、（３）の手順により求められた代表座標値Ｒ１と、既知の第１カメラ３２３の座標値とから、第１カメラ３２３を代表座標値Ｒ１に向けて指向させる撮像角度Ｎが算出される。撮像角度Ｎの算出後、遠隔操作装置２００は、撮像角度Ｎの決定に関する情報を画像出力装置２３１、又は操作入力装置２２２の表示部に表示する。その際に表示される情報は、第１カメラ３２３を対象物に指向させる撮像角度Ｎが求められたこと、角度Ｎ、代表座標値Ｒ１、現時点（調整前）の第１カメラ３２３の撮像視野の座標値（例えば、撮像視野の中心座標値）の１つ以上が含まれる。また、表示部には、図５のような取得した対象座標値Ｐｎを示す画像も表示される。このような表示により、演算された撮像方向により第１カメラ３２３の撮像方向を調整するか、ガイダンスを行う。上記情報と合わせて、第１カメラ３２３の撮像角度Ｎへの調整を開始するかをオペレータに確認する文章も表示する。

　オペレータは、遠隔操作装置２００に設けられている図示されないＯＫボタン等のスイッチ操作により、第１カメラ３２３の撮像角度調整開始の指示をすると、遠隔操作装置２００は作業機械３００に撮像角度調整の指令を送信する。作業機械３００は実機無線通信機器３３１を介して指令を受信し、第１カメラ３２３の図示されない保持機構は、第１カメラ３２３の撮像角度を指示された角度Ｎに調整する。上記表示がされている時に、もし、オペレータが撮像角度調整開始をしないと指示した場合、又は一定時間、撮像角度調整を開始する操作をしなかった場合は、撮像角度調整を行わない。以上により、第１カメラ３２３の撮像方向は、オペレータが指定した対象物を指向する角度Ｎに調整される。

　＜異なる作業時間範囲ごと及び特定の作業状態ごとのグループＱｎの決定＞
　上記では、作業機械３００が作業する１か所の施工箇所について説明した。しかし、実際の作業では、アタッチメント３４４が作業している作業個所は２か所以上となる場合もある。リフティングマグネット機、ショベル機、等は、それぞれ屑鉄、土壌を取り上げる箇所と、それらを下す箇所とにアタッチメント３４４を移動して作業を行っている。また、作業の進捗により、個々の作業箇所が移動することがある。したがって、異なる作業時間範囲ごと、及び特定の作業状態ごとの少なくとも一方において、対象座標値Ｐｎの指定、及びグループＱｎの決定ができることが好ましい。これにより、作業時間範囲ごと、例えば、１３時～１５時には、以前の同じ時間範囲の撮像角度、又１５時～１７時には、以前の同じ時間範囲の撮像角度に制御可能である。

　本発明の遠隔操作処理装置では、対象座標値Ｐｎを記憶する際に、関連情報として同時に記憶されている関連情報を利用して、異なる作業時間範囲ごと、及び特定の作業状態ごとに分類する。具体的には、遠隔操作処理装置は、対象座標値Ｐｎが取得された時点の日時を用いて、記憶された全ての対象座標値Ｐｎを異なる作業時間範囲ごとに分類する。遠隔操作処理装置は、例えば現時点から、４時間ごと、８時間ごと、１２時間ごと、１日ごと、２日ごと、等、一定時間間隔で作業時間範囲を区切り、作業時間範囲ごとに対象座標値Ｐｎを分類して、それぞれのグループＱｎ（ｎは自然数）を決定する。

　また、遠隔操作処理装置は、対象座標値Ｐｎが取得された時点の作業機械３００の各状態量を用いて、記憶された全ての対象座標値Ｐｎを特定の作業状態ごとに分類する。遠隔操作処理装置は、対象座標値Ｐｎが取得された時点の、測位装置３２９が検出した場所、作業機械３００の作動機構３４０の各状態量、作業機械３００の上部旋回体３０２の基準位置に対する旋回角度、等の何れか１つ以上の関連情報を用いて、作業機械３００が作業する作業領域を所定領域単位ごとに区分けする。所定領域単位は、上記で説明した、屑鉄、土壌等を取り上げる箇所と、それらを下す箇所とが区別できる程度の最小範囲になるように、作業機械３００、又は作業内容ごとにあらかじめ決められている。

　上記方法の変形例として、特定の作業状態ごとの対象座標値Ｐｎの分類は、例えば、上部旋回体３０２の下部走行体３０１に対する旋回方向における一定回転角度範囲ごとに角度範囲領域を区分し、その角度範囲領域ごとに対象座標値Ｐｎを分類する方法でもよい。例えば、上部旋回体３０２の旋回方向を５°の回転角度範囲ごとに区分できる。作業機械３００の前進方向を０°とし、０°±２．５°の回転角度範囲を中心として、その左右両方向に５°の回転角度範囲ごとに全周を区分することができる。なお、領域を区分する回転角度範囲は、２．５°、７.５°、１０°、又は１５°でもよい。

　図５には、１つの事例として、異なる作業時間範囲ごと、又は特定の作業状態ごとに記憶された対象座標値Ｐ１１～Ｐ１５を含むグループＱ１、及び対象座標値Ｐ２１～Ｐ２５を含むグループＱ２が示されている。このように、遠隔操作処理装置は、記憶された全対象座標値Ｐｎを異なる作業時間範囲ごと、及び特定の作業状態ごとの少なくとも一方で分類し、その中から対象座標値Ｐｎを選択することができる。また、オペレータは、記憶された対象座標値Ｐｎを、画像出力装置２３１、又は操作入力装置２２２の表示部に表示することが可能である。対象座標値Ｐｎの表示方法は複数あり、全対象座標値Ｐｎ、全グループＱｎ、異なる作業時間範囲ごと、特定の作業状態ごと、又は異なる作業時間範囲ごとかつ特定の作業状態ごとの何れかの形式で表示できる。オペレータは、表示された複数のグループＱｎから特定のグループＱｎを選択できる。

　本発明に係る遠隔操作処理装置は、作業中のアタッチメントの位置を取得して対象座標値として記憶し、対象座標値の分布に基づいて撮像装置の撮像方向が指向するように撮像角度を決定し、撮像装置の撮像角度を制御するので、オペレータが視認すべき適切な撮像視野を容易に得ることができる。

　本発明に係る遠隔操作処理装置は、オペレータからの撮像角度の調整開始の指示を受け付けた場合に、前記撮像装置の撮像角度を制御することが好ましい。

　本発明の遠隔操作処理装置は、オペレータの意思に基づいて撮像装置の撮像角度を制御することができる。

　本発明に係る遠隔操作処理装置は、アタッチメントの位置を自動的に取得して対象座標値として記憶することが好ましい。

　本発明の遠隔操作処理装置は、オペレータが視認すべき適切な撮像視野を容易に得ることができる。

　本発明の遠隔操作処理装置は、オペレータが所定の操作をした時点の作業機械が備えるアタッチメントの座標値、及びオペレータが操作入力装置で指定する対象物の座標値の少なくとも何れか一方を取得して対象座標値として記憶することが好ましい。

　本発明の遠隔操作処理装置は、オペレータが所定の操作、例えばスイッチ操作をした時点の作業機械が備えるアタッチメントの座標値、及びオペレータが操作入力装置で指定する対象座標値の少なくとも何れか一方から取得されるので、視認すべき対象物の座標値を容易、かつ確実に認識することができる。

　本発明の遠隔操作処理装置は、アタッチメントの作業中の座標値である対象座標値とともに、対象座標値に関連付けられた関連情報を記憶し、現在における関連情報を検出して、当該関連情報に関連付けて記憶されている対象座標値を読み出して、撮像装置の撮像角度を制御することが好ましい。

　本発明の遠隔操作処理装置は、現在における関連情報を検出し、当該関連情報に関連付けて記憶されている対象座標値を読み出して、撮像装置の撮像角度を制御するので、オペレータが視認すべき適切な撮像視野を容易に得ることができる。

　本発明の遠隔操作処理装置に記憶された対象座標値はオペレータの所定の操作により消去可能であることが好ましい。

　本発明の遠隔操作処理装置は、オペレータの操作により、対象座標値を消去できるので、必要な対象座標値だけを残すことができ、オペレータが視認すべき適切な撮像視野を効率よく得ることができる。

　本発明の遠隔操作処理システムは、遠隔操作処理装置、遠隔操作装置、及び作業機械を含む、遠隔操作処理システムであることが好ましい。

　本発明の遠隔操作処理システムは、必要な構成である、遠隔操作処理装置、遠隔操作装置、及び作業機械を含んでいるため、オペレータが視認すべき適切な撮像視野を効率よく得ることができる。

　１００　遠隔操作処理装置、２００　遠隔操作装置、２２２　操作入力装置、２３０　遠隔出力インターフェース、３００　作業機械、３０１　下部走行体、３２２　撮像装置、３４４　アタッチメント、５００　遠隔操作処理システム、Ｐ，Ｐｎ　対象座標値、Ｑ，Ｑｎ　グループ、Ｒ，Ｒｎ　代表座標値。
 
  

Claims (7)

1. 　遠隔操作される作業機械に配置されている撮像装置の撮像角度を制御可能であり、遠隔操作装置を用いた作業機械の遠隔操作を支援するための遠隔操作処理装置であって、
   　前記遠隔操作処理装置は、前記作業機械に備えられたアタッチメントの作業中の位置を取得して対象座標値として記憶し、前記対象座標値の分布に基づいて前記撮像装置の撮像角度を制御する、遠隔操作処理装置。
2. 　前記遠隔操作処理装置は、オペレータからの撮像角度の調整開始の指示を受け付けた場合に、前記撮像装置の撮像角度を制御する、請求項１に記載の遠隔操作処理装置。
3. 　前記遠隔操作処理装置は、アタッチメントの位置を自動的に取得して前記対象座標値として記憶する、請求項１又は２に記載の遠隔操作処理装置。
4. 　前記遠隔操作処理装置は、オペレータが所定の操作をした時点の前記作業機械が備えるアタッチメントの座標値、及びオペレータが操作入力装置で指定する対象物の座標値の少なくとも何れか一方を取得して前記対象座標値として記憶する、請求項１から３の何れか一項に記載の遠隔操作処理装置。
5. 　前記遠隔操作処理装置は、前記アタッチメントの作業中の座標値である対象座標値とともに、対象座標値に関連付けられた関連情報を記憶し、現在における関連情報を検出して、当該関連情報に関連付けて記憶されている対象座標値を読み出して、前記撮像装置の撮像角度を制御する、請求項１～４の何れか一項に記載の遠隔操作処理装置。
6. 　前記遠隔操作処理装置に記憶された前記対象座標値はオペレータの所定の操作により消去可能である、請求項１～５の何れか一項に記載の遠隔操作処理装置。
7. 　請求項１～６に記載された、前記遠隔操作処理装置、前記遠隔操作装置、及び前記作業機械を含む、遠隔操作処理システム。
     

Images