WO2023238538A1 - 表示支援装置 - Google Patents

Abstract

遠隔操作装置２０のオペレータがクラスタゲージ４７の表示情報を認識し易くした表示支援装置を提供する。表示支援装置２０１は、作業機械４０のキャブ４２４に配備されているクラスタゲージ４７を撮影するクラスタ撮影カメラ４１５の撮影画像をそのまま再現するのではなく、クラスタゲージ４７の表示情報に注目したデータ加工を施して生成した再生画面を生成して、遠隔操作装置２０のクラスタ画像出力装置２２１５に表示させる。

Description

表示支援装置

　本発明は、オペレータが遠隔操作装置から作業機械を遠隔操作することを支援する表示支援装置に関する。

　遠隔操作装置のオペレータは、作業機械側からの情報に基づいて作業機械を遠隔操作している。

　特許文献１は、作業機械の運転室に運転室の表示器の画面をカメラで撮影し、撮影画像をネットにより遠隔操作装置へ伝送し、遠隔操作装置の表示器に表示する表示支援装置を開示する。

特開２００８－５０７４８号公報

　特許文献１の表示支援装置では、作業機械のカメラで撮影した作業機械の表示器（作業機械側情報表示器）の画面の映像がそのまま遠隔操作装置の表示器（遠隔操作装置側情報表示器）に表示されている。したがって、遠隔操作装置側情報表示器において適切な表示が行われるように、作業機械におけるカメラの取付け時または遠隔操作装置における遠隔操作の開始時に、作業機械と遠隔操作装置との両方で作業員が立ち会って、相互に連絡を取り合い、カメラの向きや画像調整等の作業を行う必要がある。

　本発明の目的は、作業機械側表示器の表示が遠隔操作装置側表示器に適切に表示されるように、作業機械と遠隔操作装置との両方で作業員が行わなければならない調整作業を省略できるようにした表示支援装置を提供することである。

　本発明の表示支援装置は、
　遠隔操作装置を用いた作業機械の遠隔操作を支援するための表示支援装置であって、
　前記作業機械の運転室に配備されている作業機械側情報表示器を撮影するカメラの撮影画像データを加工して再生用画像データを生成し、
　前記再生用画像データに基づく再生画面を前記遠隔操作装置に配備されている遠隔操作装置側情報表示器に表示させる。

　本発明の表示支援装置によれば、作業機械側情報表示器を撮影するカメラの撮影画像データを加工して再生用画像データを生成し、再生用画像データに基づく再生画面を遠隔操作装置側情報表示器に表示させる。加工によって、遠隔操作装置側情報表示器の画面は適正化されるので、作業機械側表示器を遠隔操作装置の表示器に適切に表示するために、作業機械と遠隔操作装置との両方で作業員が行わなければならない調整作業を省略することができる。

遠隔操縦システム全体の模式図である。 遠隔操作装置の一例の模式図である。 作業機械の模式的な側面図である。 キャブ内を実機撮像装置から見た図である。 作業機械のキャブ内のクラスタゲージの撮影専用カメラであるクラスタ撮影カメラを取付けたときのキャブ内を示す図である。 通常表示状態のクラスタゲージの正面図である。 通知発生状態のクラスタゲージの正面図である。 遠隔操作支援システムの機能についてのフローチャートである。 図１の遠隔操縦システムにおいて第１実施形態の表示支援装置の処理の実行に関連する所定の構成要素で構成したサブシステムのブロック図である。 図９の補正部で実施する補正処理の複数の具体例の説明図である。 図１の遠隔操縦システムにおいて第２実施形態の表示支援装置の処理の実行に関連する所定の構成要素で構成したサブシステムのブロック図である。 第２実施形態で用いる実機撮像装置を装備するキャブの内部の側面図である。 図１２から実機撮像装置の側方視の画角を抽出した図である。 図１の遠隔操縦システムにおいて第３実施形態の表示支援装置の処理の実行に関連する所定の構成要素で構成したサブシステムのブロック図である。 図１４のテキスト画面生成部が生成した再生画像データに基づいて表示されたクラスタ画像出力装置の表示画面を示す図である。

　以下、本発明の複数の実施形態について説明する。本発明は、これら実施形態に限定されないことは言うまでもない。なお、複数の図間で同一の構成要素については、同一の符号を使用する。

　（遠隔操作支援システム）
　図１は、本発明の実施形態の表示支援装置２０１を装備する遠隔操縦システム全体の模式図である。遠隔操作支援システムは、遠隔操作支援サーバ１０と、遠隔操作装置２０と、遠隔操作装置２０を通じて遠隔操作可能な作業機械４０と、により構成されている。

　この遠隔操作支援システムでは、表示支援装置２０１は、遠隔操作装置２０により構成されているが、遠隔操作支援サーバ１０または作業機械４０により構成されていてもよい。さらに、表示支援装置２０１を構成する複数の処理または機能の要素が、遠隔操作支援サーバ１０、遠隔操作装置２０、および作業機械４０に分散配置されていてもよい。

　遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は、相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。なお、相互通信ネットワークは、典型的には、後述の図９等に示しているインターネット５０である。

　（遠隔操作支援サーバ）
　遠隔操作支援サーバ１０は、演算処理装置１０１と、データベース１０２と、を備えている。演算処理装置１０１は、シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコアにより構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアに従った後述の演算処理を実行する。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。

　（遠隔操作装置）
　遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアに従った演算処理を実行する。表示支援装置２０１は、遠隔制御装置２００が実行するソフトウェアとして遠隔制御装置２００に実装されている。

　遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、遠隔音響出力装置２２２と、遠隔無線通信機器２２４と、を備えている。

　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０（図３）を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０においてブーム４４１を動かすブームシリンダ４４２の操作に使用される。アーム用操作装置の操作レバー（アームレバー）は、作業機械４０のアーム４４３を動かすアームシリンダ４４４の操作に使用される。バケット用操作装置の操作レバー（バケットレバー）は、作業機械４０のバケット４４５を動かすバケットシリンダ４４６の操作に使用される。

　図２は、遠隔操作装置２０の一例の模式図である。遠隔操作機構２１１（図１）を構成する各操作レバーは、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

　遠隔画像出力装置２２１は、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２、ならびにクラスタ画像出力装置２２１５により構成されている。

　中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。クラスタ画像出力装置２２１５は、作業機械４０のキャブ４２４内のクラスタゲージ４７（図４）を表示するものであり、遠隔操作の樽にシートＳｔに着座中のオペレータが視認可能となる向きで、上辺を中央遠隔画像出力装置２２１０の下辺の右端部に取り付けられている。

　中央遠隔画像出力装置２２１０の画面および左側遠隔画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側遠隔画像出力装置２２１１の右縁が、中央遠隔画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央遠隔画像出力装置２２１０の画面および右側遠隔画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側遠隔画像出力装置２２１２の左縁が、中央遠隔画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

　中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

　遠隔音響出力装置２２２は、一または複数のスピーカーにより構成され、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２により構成されている。中央音響出力装置２２２０、左側音響出力装置２２２１および右側音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。遠隔音響出力装置２２２は、シートＳｔの周りで位置の変位が可能な音響である仮想音源Ｖssを実現する。

　（作業機械）
　作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、を備えている。実機出力インターフェース４２は、遠隔操作支援サーバ１０および遠隔操作装置２０と無線通信を実行するための実機無線通信機器４２２を備えている。

　実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアに従った演算処理を実行する。

　図３は、作業機械４０の模式的な側面図である。作業機械４０は、例えばクローラショベル（建設機械）であり、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。

　作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

　実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、実機周辺監視装置４１４と、クラスタ撮影カメラ４１５と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置された運転座席４２９（図１２）の周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。

　（キャブ）
　図４は、キャブ４２４内を実機撮像装置４１２（図３）から見た図である。実機撮像装置４１２は、図４の光景に係る撮像画像を生成する。実機撮像装置４１２（図１）による撮影画像には、モニタ表示装置としてクラスタゲージ４７の画像が含まれている。実機撮像装置４１２は、フロントウィンドウ４２１０および左右一対のサイドウィンドウ４２１１，４２１２（図４）越しに作業機械４０の前方を撮影するビデオカメラとしてキャブ４２４内に既設されている。フロントウィンドウ４２１０およびサイドウィンドウ４２１１，４２１２のうち一部または全部が省略されていてもよい。また、実機撮像装置４１２は、クラスタゲージ４７を撮像領域に含むよう既設されている。クラスタゲージ４７は、作業機械４０の計器として、作業機械４０に装備されている各種センサの検出値や検出状態を作業機械４０の運転者に表示するものになっている。

　実機周辺監視装置４１４は、基本姿勢（例えば、光軸が前方に向けられている姿勢）の実機撮像装置４１２では撮像できない実空間領域（例えば、キャブ４２４の右側領域、左側領域および／もしくは後方領域および／または死角領域）における対象物体ｏｂｊ（例えば、作業員、他の作業機械および／または車両など）の存在を検知するための測距センサ等により構成されている。

　実機撮像装置４１２の撮影画像において、中央は、フロントウィンドウ４２１０越しに見えるキャブ４２４の前方の風景であり、左右の端部は、それぞれ左右のサイドウィンドウ４２１１，４２１２越しに見えるキャブ４２４の斜め前方の風景となっている。実機撮像装置４１２のパン機能および／またはチルト機能、ならびにズーム機能が、オペレータの手動操作または自動制御により発揮されてもよい。

　図４の撮影画像の例では、作業機械４０の左右のクローラに応じた左右一対の走行レバー４１１０と共に、フロントウィンドウ４２１０の窓枠の右隅部に取り付けられたクラスタゲージ４７が映っている。クラスタゲージ４７の画面は、図２のクラスタ画像出力装置２２１５に映し出される。

　（クラスタゲージ）
　図５は、作業機械４０のキャブ４２４内のクラスタゲージ４７に撮影専用カメラであるクラスタ撮影カメラ４１５を取付けたときのキャブ４２４内を示す図である。図５は、実機撮像装置４１２（図１）の位置から前方を見たときの光景でもある。クラスタ撮影カメラ４１５は、キャブ４２４内に既設されている掛け具４１６を利用して、取り付けられている。掛け具４１６は、詳細には、後述の図１２で再説明するが、右のサイドウィンドウ４２１２に沿って延在している。掛け具４１６は、オペレータがキャブ４２４内の運転座席に着座している時に、オペレータの右肩付近の高さになるように、配設されている。

　カメラ固定具４１７は、例えばカメラ取付用として市販されているものが使用可能である。カメラ固定具４１７は、関節付き構造またはフレキシブル構造を有し、基端部において掛け具４１６の所定の前後方向に位置に固定され、先端部においてクラスタ撮影カメラ４１５の底部のねじ穴にねじ留めされている。

　クラスタ撮影カメラ４１５の撮影範囲は、作業機側情報表示器としてのクラスタゲージ４７のほぼ全体をカバーするように、カメラ固定具４１７の長さ、形状および／または角度が調整される。クラスタ撮影カメラ４１５は、クラスタゲージ４７にほぼ正対する位置に保持されることが望ましいが、取付位置は、位置調整作業の不備や作業機械４０に生じる振動等の要因により所定の正対位置から多少のずれが生じることが通常である。このため、クラスタ撮影カメラ４１５の撮影画像を、データ加工することなく、生（なま）データのまま、クラスタ画像出力装置２２１５（図９）で再生すると、遠隔操作装置２０のオペレータからはクラスタゲージ４７の肝心な表示情報が見づらいという問題が生じる。その対策については、図９以降で説明する。

　図６および図７は、それぞれ通常表示状態および通知発生状態におけるクラスタゲージ４７の正面図である。相違点は、図７では、クラスタゲージ４７の注意通知ウィンドウ４７１７が表示されているのに対し、図６では、注意通知ウィンドウ４７１７が表示されていない点である。

　クラスタゲージ４７の正面は、上側の表示画面４７１と下側のキー配列部４７２とに分割されている。表示画面４７１には、キー配列部４７２より十分に大きな面積が確保されている。図６および図７の表示画面４７１の表示内容は、一例である。図示の例では、表示画面４７１のみがクラスタゲージ４７の画面表示となっており、キー配列部４７２は、物理的なキーから構成されている。しかしながら、表示画面４７１およびキー配列部４７２を一体のタッチパネルから構成して、クラスタゲージ４７の正面全体を表示画面から構成することもできる。

　表示画面４７１には、温度計４７１１、燃料計４７１２、数値表示部４７１３および外部画像部４７１４の表示が含まれている。数値表示部４７１３には、作業中の所定の作業パラメータについての数値（実際には、”○○”に具体的な数値が表示される。）が表示されている。外部画像部４７１４は、表示画面４７１の下部を占めている。外部画像部４７１４の画像は、実機撮像装置４１２とは別に配備されたビデオカメラが撮影する撮影画像であり、例えば、上部旋回体４２０の後部に配備されて、作業機械４０の後方を撮影するビデオカメラ（図示せず）により撮影された撮影画像や、実機周辺監視装置４１４が検知した対象物体ｏｂｊの距離画像である。

　図７の注意通知ウィンドウ４７１７の通知内容は、例えばオペレータが作業機械４０に搭乗して直接運転するときの注意喚起や、作業機械４０の処理においてエラーが発生したときの各種エラーである。注意通知ウィンドウ４７１７は、オペレータが見落とさないように、目立つ背景色（例：赤色）の上にテキスト（文字や数字）が記載されている。この例では、注意通知ウィンドウ４７１７上のテキストは、作業機械４０の燃料が所定レベル以下となったことをオペレータに通知する内容になっている。

　（遠隔操作支援システムの作動）
　図８は、遠隔操作支援システムの機能についてのフローチャートである。当該フローチャートにおいて「”Ｃ”＋”数字”（例：Ｃ１０およびＣ４０）」が記載されているブロックは、記載スペースの関係上、具体的な処理内容を示していない。これらのブロックは、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味する処理内容となっている。

　以降、遠隔画像出力装置２２１のうち中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２をクラスタ画像出力装置２２１５と区別するために、適宜、「メイン画像出力装置」で総称する。また、メイン画像出力装置の再生画面とクラスタ画像出力装置２２１５の再生画面とを区別するために、適宜、それぞれ「メイン再生画面」および「クラスタ再生画面」という。

　図８のフローチャートにおいて、遠隔制御装置２００の表示支援装置２０１による処理は、ＳＴＥＰ２１２で実施される。変形例では、表示支援装置は、遠隔操作支援サーバ１０の演算処理装置１０１または作業機械４０の実機制御装置４００内に配備されてもよい。表示支援装置が遠隔操作支援サーバ１０の演算処理装置１０１に配備される場合は、当該表示支援装置による処理は、ＳＴＥＰ１１０において実施される。表示支援装置が作業機械４０の実機制御装置４００内に配備される場合は、当該表示支援装置による処理は、ＳＴＥＰ４１０において実施される。

　図８のフローチャートを時間順に説明する。最初に、遠隔操作装置２０において、遠隔無線通信機器２２４を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図８／ＳＴＥＰ２１０）。例えば、オペレータにより遠隔入力インターフェース２１０を通じて指定操作があったことが、環境確認要求の送信開始要件として定められていてもよい。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。

　遠隔操作支援サーバ１０において、環境確認要求が受信された場合、演算処理装置１０１により当該環境確認要求が該当する作業機械４０（作業機械４０が複数存在することを想定している。）に対して送信される（図８／Ｃ１０）。

　作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図８／Ｃ４０）、実機制御装置４００により実機撮像装置４１２のメイン撮像画像およびクラスタ撮影カメラ４１５のクラスタ撮像画像の両撮像画像が取得され、かつ、実機無線通信機器４２２を通じて、メイン撮像画像およびクラスタ撮像画像をそれぞれ表わすメイン撮像画像データ及びクラスタ撮像画像データが遠隔操作支援サーバ１０に対して継続的に送信される（図８／ＳＴＥＰ４１０）。

　作業機械４０は、ＳＴＥＰ４１０の実施以降、遠隔操作支援サーバ１０から送信停止の指示があるまで、両撮像画像データの送信を継続する。

　遠隔操作支援サーバ１０において、演算処理装置１０１により、作業機械４０から遠隔操作装置２０へメイン撮像画像データおよびクラスタ撮像画像データを中継する（図８／Ｃ１１）。演算処理装置１０１は、中継の際、単なる中継にとどまらず、メイン撮像画像データおよびクラスタ撮像画像データに対し、データベース１０２に基づく所定のデータを付加して遠隔操作装置２０へ送信したり、データベース１０２に所定の記録情報（例：中継のログ情報や作業機械４０の管理情報）を記録してもよい。

　遠隔操作装置２０において、遠隔無線通信機器２２４を通じて遠隔操作支援サーバ１０からメイン撮像画像データおよびクラスタ撮像画像データが受信された場合（図８／Ｃ２１）、遠隔操作装置２０の遠隔制御装置２００は、メイン撮像画像データに基づき生成したメイン再生画面をメイン画像出力装置（遠隔画像出力装置２２１の中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２）に出力する。遠隔制御装置２００は、また、受信したクラスタ撮像画像データに対しては所定のデータ加工を行ってから、クラスタ再生画像データを生成する。そして、クラスタ再生画像データに基づく再生画面を遠隔画像出力装置２２１のクラスタ画像出力装置２２１５に表示する（図８／ＳＴＥＰ２１２）。なお、本発明の表示支援処理の各実施形態におけるデータ加工の詳細については、図９以降で後述する。

　遠隔操作装置２０のオペレータは、メイン画像出力装置およびクラスタ画像出力装置２２１５のそれぞれに継続的に表示されている再生画面を見つつ、遠隔操作装置２０の遠隔操作機構２１１を操作して、作業機械４０を遠隔操縦する。オペレータによる遠隔操作機構２１１の操作は、遠隔操作態様として遠隔制御装置２００により認識され、遠隔制御装置２００は、遠隔操作指令として遠隔操作支援サーバ１０に送信する（図８／ＳＴＥＰ２２０）。

　遠隔操作支援サーバ１０において、演算処理装置１０１により当該遠隔操作指令が受信された場合、演算処理装置１０１により、当該遠隔操作指令が作業機械４０に対して送信される（図８／Ｃ１２）。

　作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図８／Ｃ４１）、作業機構４４０等の動作が制御される（図８／ＳＴＥＰ４２０）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４２０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

　（表示支援装置）
　以下、図９～図１５を参照して、表示支援装置２０１の種々の実施形態について説明する。表示支援装置２０１は、遠隔操縦システム（図１）に組み込まれて、表示支援処理を実施する。実施の際には、遠隔操縦システム内の所定の構成要素と間接的な連携が必要となる。典型的には、所定の構成要素には、遠隔操作支援サーバ１０における演算処理装置１０１と、遠隔操作装置２０における遠隔制御装置２００および遠隔画像出力装置２２１と、作業機械４０における実機制御装置４００および実機無線通信機器４２２とが含まれる。具体的な所定の構成要素については、各実施形態で説明する。

　なお、図９～図１５の実施形態では、遠隔操縦システムの構成簡略化のために、遠隔操作装置２０と作業機械４０とが、間に遠隔操作支援サーバ１０を介在させることなく、データ送受する場合の遠隔操縦システムに組み込まれた表示支援装置２０１を示している。したがって、所定の構成要素から、遠隔操作支援サーバ１０における演算処理装置１０１は除外されている。

　（第１実施形態）
　図９は、図１の遠隔操縦システムにおいて第１実施形態の表示支援装置２０１の処理の実行に関連する所定の構成要素で構成したサブシステムのブロック図である。図９のサブシステムは、データの流れ順に、作業機械４０におけるクラスタ撮影カメラ４１５、実機制御装置４００、および実機無線通信機器４２２と、遠隔操作装置２０における遠隔無線通信機器２２４、遠隔制御装置２００および遠隔画像出力装置２２１とを備えている。実機無線通信機器４２２と、遠隔無線通信機器２２４とは、ネットワークとしてのインターネット５０により接続されている。

　さらに、具体的には、実機制御装置４００には、エンコーダ４５１が含まれる。実機無線通信機器４２２には、ハブ４５２およびＷＩＦＩ部４５３が含まれる。遠隔無線通信機器２２４には、ＷＩＦＩ部２５１が含まれる。遠隔制御装置２００には、補正部２５２１を備えるＰＣ２５２が含まれる。遠隔画像出力装置２２１には、クラスタ画像出力装置２２１５が含まれる。補正部２５２１は、第１実施形態の表示支援装置２０１を構成する。

　クラスタ撮影カメラ４１５は、詳細にはビデオカメラであり、動画の撮影画像を出力している。撮影画像は、典型的にデジタル信号であるが、アナログ信号であってもよい。エンコーダ４５１は、クラスタ撮影カメラ４１５の出力を所定の伝送規格に合致したデジタル信号に変換し、ハブ４５２に出力する。

　ハブ４５２は、エンコーダ４５１からの入力を含む複数の入力を切り替えてＷＩＦＩ部４５３に出力する。ＷＩＦＩ部４５３は、インターネット５０を介して遠隔操作装置２０のＷＩＦＩ部２５１にデータを送信する。ＷＩＦＩ部２５１，４５３は、ルータに内蔵されているものが使用される。

　遠隔操作装置２０において、補正部２５２１は、ＷＩＦＩ部２５１を介して受信した撮影画像データを補正した再生用画像データを生成する。補正部２５２１が実施する具体的な補正処理については、図１０で後述する。

　遠隔操作装置２０２１が生成する再生用画像データは、クラスタ画像出力装置２２１５において表示される再生画面の基礎になるものである。クラスタ画像出力装置２２１５は、ＰＣ２５２からの再生用画像データに基づいて再生画面を出力する。こうして、クラスタ画像出力装置２２１５は、クラスタ撮影カメラ４１５が撮影により生成した映像に基づく再生画面（例：図６または図７）を再生して、遠隔操作装置２０のオペレータに提供する。

　図１０は、図９の補正部２５２１で実施する補正処理の複数の具体例の説明図である。ここでは、クラスタ画像出力装置２２１５における再生画面の補正パラメータとして輪郭、傾きおよび明度が例示されている。補正部２５２１は、設定された各補正パラメータについて、目標値またはその許容範囲となるように、補正前の撮影画像データを補正する。

　補正処理について詳説すると、キャブ４２４に配備するクラスタ撮影カメラ４１５は、クラスタゲージ４７の縦横がクラスタ撮影カメラ４１５の縦横の画角にほぼ等しくなる距離でクラスタゲージ４７に正対して取り付けられることが適切である。

　しかしながら、クラスタ撮影カメラ４１５は、通常、クラスタゲージ４７に対して縦方向、横方向および周方向（クラスタゲージ４７の表示面の法線に対する回転方向）にずれて取り付けられたり、事情によりずれて取り付けざるを得ないことがある。そのような場合、クラスタ撮影カメラ４１５の撮影画像をそのままクラスタ画像出力装置２２１５に画面表示すると、クラスタ画像出力装置２２１５における、クラスタゲージ４７を映した画面形状は、本来の形状（この例では、縦長の矩形）にならず、例えば、図１０の左側の上から１番目および２番目に補正前の形状として示すように、台形になったり、傾斜したりして、いわゆる歪みを含む形状で表示されてしまう。歪みを含む映像画面は、遠隔操作装置２０のオペレータから見づらく、クラスタゲージ４７における表示情報を理解しづらくする。

　補正部２５２１は、これに対処して、クラスタ画像出力装置２２１５におけるクラスタゲージ４７の再生形状および傾斜角が、それぞれ図１０の右側の上から１番目および２番目に補正後の形状および傾斜角０°となるように、クラスタ撮影カメラ４１５の撮影画像に基づく撮影画像データをデータ加工して、元データとしての撮影画像データを変更して、遠隔操作装置２０のオペレータの見た目に影響を与える再生画像の基にする再生用画像データを生成する。これにより、クラスタ画像出力装置２２１５におけるクラスタゲージ４７の再生画面は、傾斜角０°のクラスタゲージ４７の本来の形状、すなわち歪みが解消された状態で表示される。

　図１０の一番下に示す補正部２５２１による補正例は、明度の補正である。例えば、クラスタ撮影カメラ４１５における表示画面の明度にクラスタ画像出力装置２２１５の再生画面の明度を一致させたり、クラスタゲージ４７の実際の明度に関係なく、クラスタ画像出力装置２２１５に再生されるクラスタゲージ４７の映像の明度が所望値になるように、明度が補正される。

　第１実施形態では、表示支援装置２０１としての補正部２５２１は、遠隔操作装置２０に装備されているが、作業機械４０に装備させることもできる。さらに、遠隔操作装置２０と作業機械４０との間に遠隔操作支援サーバ１０を中継させる場合には、補正部２５２１を遠隔操作支援サーバ１０に装備させることもできる。

　補正部２５２１が作業機械４０に配備される場合、補正部２５２１は、データの流れ方向にエンコーダ４５１の前または後ろに設けられる。なお、補正処理は、遠隔操作支援サーバ１０や遠隔操作装置２０で行う方が有利である。なぜならば、遠隔操作装置２０は、商用電源から電力供給を受けているのに対し、作業機械４０の電源は、バッテリであり、作業機械４０で補正処理が行われる場合には、作業機械４０のバッテリの電力消費を高めてしまうからである。

　このように、クラスタ撮影カメラ４１５で撮影したクラスタゲージ４７の撮影画像が、ＰＣ２５２の補正部２５２１で補正されて、クラスタ画像出力装置２２１５に適正に表示される結果、従来、遠隔操作装置２０の作業員と作業機械４０の作業員との二人で、遠隔操作開始前に行っていた調整作業を省略することができる。なお、全自動補正の場合は、遠隔操作装置２０と作業機械４０との両方で作業員による調整作業を省略できるが、遠隔操作装置２０と作業機械４０とのうち、補正部２５２１を装備する方のみは、調整作業員を残して、当該調整作業員が遠隔操作装置２０の作動開始に先立って手動で各補正パラメータについて調整することもできる。

　（第２実施形態）
　図１１は、図１の遠隔操縦システムにおいて第２実施形態の表示支援装置２０１の処理の実行に関連する所定の構成要素で構成したサブシステムのブロック図である。第１実施形態との相違点を述べると、第２実施形態では、第１実施形態のクラスタ撮影カメラ４１５および補正部２５２１は、それぞれ実機撮像装置４１２およびクラスタ映像トリミング部２５２３に置き換えられている。クラスタ映像トリミング部２５２３は、表示支援装置２０１を構成している。クラスタ映像トリミング部２５２３が構成要素になっているＰＣ２５２は、遠隔制御装置２００の構成要素である。

　図１２は、第２実施形態で用いる実機撮像装置４１２を装備するキャブ４２４の内部の側面図である。実機撮像装置４１２は、図４で前述したように、キャブ４２４の外側前方をフロントウィンドウ４２１０越しに撮影するメインカメラとしてキャブ４２４内に配備されている。

　実機撮像装置４１２について詳述する前に、キャブ４２４の内部を概略的に説明する。キャブ４２４は、前側をフロントウィンドウ４２１０で覆われているとともに、後ろ側と下側をそれぞれ後壁部４３３および下壁部４３５で画成されている。床部４３６は、下壁部４３５との間に間隙を空けて、下壁部４３５の上に配設される。下壁部４３５と床部４３６との間の間隙には、機器や配線（図示せず）が配設されている。

　運転座席４２９は、フロントウィンドウ４２１０に対峙して、床部４３６の上に配設される。クラスタゲージ４７は、運転座席４２９に着座したオペレータがフロントウィンドウ４２１０の右斜め下方に見下ろせる場所に配置されている。隔壁４３１は、運転座席４２９の後ろ側にかつキャブ４２４の後壁部４３３を運転座席４２９の背もたれの高さまで覆うように立設されている。

　掛け具４１６（図５も参照）は、キャブ４２４の前後方向に長い矩形状のループであり、キャブ４２４の右側の内壁に前後方向の両端部において固定されている。実機撮像装置４１２は、前述の図４で示した撮影範囲が実現される向きおよび位置で隔壁４３１の上端部に取り付けられている。

　図１３は、図１２から実機撮像装置４１２の側方視の画角を抽出した図である。αは、実機撮像装置４１２の画角範囲である。βは、実機撮像装置４１２から見たクラスタゲージ４７の画角範囲であり、画角範囲αの内側に存在する。

　なお、（ａ）画角範囲βの位置は、クラスタゲージ４７の取付時に固定されるので、この固定された相対位置をＰＣ２５２においてあらかじめ設定しておくことにより、設定後は、クラスタ映像トリミング部２５２３は、画角範囲αから画角範囲βを支障なくトリミングすることができる。

　また、クラスタ映像トリミング部２５２３は、上記（ａ）の固定画角範囲のトリミングに代えて、クラスタゲージ４７の特徴（例：輪郭部の色、輪郭形状または四隅にあらかじめ付けた所定のマーク）に基づいてトリミングの範囲を動的に決定することもできる。

　図１１に戻って、クラスタ映像トリミング部２５２３は、実機撮像装置４１２の撮影画像からクラスタゲージ４７の画像部分をトリミングする。この結果、ＰＣ２５２は、クラスタ映像トリミング部２５２３がトリミング加工して抽出して生成したクラスタゲージ４７の再生用画像データをクラスタ画像出力装置２２１５に出力する。クラスタ画像出力装置２２１５は、ＰＣ２５２からの入力に基づく再生画面を表示する。

　このように、クラスタ撮影カメラ４１５で撮影したクラスタゲージ４７の撮影画像が、ＰＣ２５２のクラスタ映像トリミング部２５２３で補正されて、クラスタ画像出力装置２２１５に表示される結果、従来、遠隔操作装置２０の作業員と作業機械４０の作業員との二人で、遠隔操作開始前に行っていた調整作業を省略または遠隔操作装置２０のオペレータ単独（トリミング範囲の手動設定）で行うことができる。

　第２実施形態においても、表示支援装置２０１を遠隔操作装置２０から作業機械４０に移すこともできる。さらに、遠隔操作装置２０と作業機械４０との間に遠隔操作支援サーバ１０を中継させる場合には、表示支援装置２０１を遠隔操作支援サーバ１０に配備することもできる。

　（第３実施形態）
　図１４は、図１の遠隔操縦システムにおいて第３実施形態の表示支援装置２０１の処理の実行に関連する所定の構成要素で構成したサブシステムのブロック図である。第１実施形態との相違点を述べると、第３実施形態では、第１実施形態のエンコーダ４５１は、特徴点抽出部４５６とテキスト送信部４５７とに置き換えられている。また、第３実施形態では、第１実施形態の補正部２５２１は、テキスト画面生成部２５２５に置き換えられている。

　特徴点抽出部４５６と、テキスト送信部４５７と、テキスト画面生成部２５２５とは、表示支援装置２０１を構成する。

　特徴点抽出部４５６は、実機制御装置４００の構成要素である。テキスト送信部４５７は、ハブ４５２およびＷＩＦＩ部４５３と共に、実機無線通信機器４２２の構成要素である。テキスト画面生成部２５２５は、ＰＣ２５２の構成要素であり、ＰＣ２５２は、遠隔制御装置２００の構成要素である。

　特徴点抽出部４５６は、クラスタ撮影カメラ４１５の撮影画像に基づく撮影画像データから特徴点を抽出する。特徴点は、例えば色・文字・記号・動体認識（映像の変化）などであり、テキスト表示領域を示したものである。例えば、このクラスタゲージ４７では、注意喚起やエラーのテキストの通知は、赤の背景色の上にテキストが表示されるようになっている（図７の注意通知ウィンドウ４７１７）。したがって、特徴点抽出部４５６は、クラスタ撮影カメラ４１５の撮影画像から赤色の領域としての注意通知ウィンドウ４７１７を抽出し、抽出した注意通知ウィンドウ４７１７に対して周知のＯＣＲ（Optical character recognition）による文字認識を使って、表示中のテキストをテキストコードで抽出する。テキストコードは、画像に比してデータサイズが大幅に低減している。

　テキスト送信部４５７は、特徴点抽出部４５６が抽出したテキストコードを遠隔操作装置２０にシリアル送信する。こうして、作業機械４０から遠隔操作装置２０に伝送される情報のデータサイズは大幅に圧縮される。すなわち、伝送負荷およびその後の再生画面の生成処理の負荷が大幅に軽減する。

　遠隔操作装置２０において、テキスト画面生成部２５２５は、テキスト送信部４５７から受信したテキストコードに基づいて再生画像データを生成する。ＰＣ２５２は、再生画像データに基づく再生画面を生成し、クラスタ画像出力装置２２１５に出力する。これにより、クラスタ画像出力装置２２１５は、作業機械４０のクラスタゲージ４７が表示している注意通知ウィンドウ４７１７（図７）のテキストを表示する。図１５は、図１４のテキスト画面生成部２５２５が生成した再生画像データに基づいて表示されたクラスタ画像出力装置２２１５の表示画面を示している。また、遠隔音響出力装置２２２にテキスト送信部４５７から受信したテキストコードに基づいて音声が出力されることで、注意喚起やエラーのテキストの通知がなされてもよい。

　（変形例）
　この遠隔操縦システムでは、作業機械は、建設機械のクローラショベルについて説明している。作業機械は、建設機械に限定されることなく、水産、農業、土木、山林、警備、または交通その他の分野で使用される作業機械であってよい。

　この遠隔操縦システムでは、作業機械側情報表示器としてクラスタゲージ４７が用いられている。作業機械側情報表示器は、クラスタゲージ４７に限定されず、作業機械の動作や状態に関係して遠隔操作装置のオペレータに対して作業機械を遠隔操作に必要な情報であって作業機械において情報を表示している表示器であればよい。また、作業機械側情報表示器は、キャブ４２４に配備されているものに限定されない。作業機械側情報表示器は、作業機械のキャブ４２４以外の室内や、室外の外部に配備されるものであってもよい。

　実施形態の表示支援装置２０１では、カメラの撮影画像データのデータ加工として、形状補正、傾き補正、明度補正、トリミング、特徴抽出（テキスト抽出）が単独で説明されている。本発明のデータ加工は、それらの組合せであってもよい。遠隔操作装置側情報表示器における作業機械側情報表示器の表示や伝送の改善に関する加工であれば、それら以外のデータ加工、例えば作業機械側情報表示器の表示面の法線回りの回転角としての傾斜角でなく、表示面の直交二軸の一方の軸回りの回転角としての傾斜角（反り角、のめり角）の矯正であったりしてもよい。

　（補足）
　本発明の実施形態の表示支援装置２０１は、作業機械側情報表示器としてのクラスタゲージ４７を撮影するカメラ（例：実機撮像装置４１２またはクラスタ撮影カメラ４１５）の撮影画像データに対し、クラスタ撮影カメラ４１５の表示情報に着目したデータ加工を施した再生用画像データを生成し、生成した再生用画像データに基づく再生画面を遠隔画像出力装置２２１のクラスタ画像出力装置２２１５に表示させる点で、特許文献１の表示支援装置とは明確に相違する。

　すなわち、特許文献１の表示支援装置では、作業機械側情報表示器の撮影画像データは、途中のデータ加工は省略した生（なま）データとして、遠隔画像出力装置に送られて、再生されている。当業者が、たとえ、通常の設計事項の範囲で特許文献１の表示支援装置に対して処理を付加するとしても、作業機械側情報表示器の撮影画像の品質を遠隔画像出力装置において改善するために、せいぜいノイズを除去する程度である。ノイズの除去は、元の画像（クラスタ撮影カメラ４１５の表示画面）に戻すだけの処理であって、本発明の実施形態の表示支援装置２０１のように、クラスタ撮影カメラ４１５の表示画面ではなく、表示情報に着目したデータ加工に属するものではない。

　これに対し、表示支援装置２０１では、クラスタ撮影カメラ４１５の撮影した元画像としてのクラスタゲージ４７の撮影画像に対して遠隔操作装置２０のオペレータがクラスタゲージ４７の表示情報が分かり易くなるような、遠隔操作装置２０のオペレータの見た目に影響を与える画像を新たに生成するデータ加工、換言すると、クラスタゲージ４７の表示画面の再生改善ではなく、表示画面の内容である表示情報を理解し易くする再生画面をクラスタ画像出力装置２２１５に再生するデータ加工を施してから、クラスタ画像出力装置２２１５に表示している。

　（その他）
　前記構成の表示支援装置２０１において、再生画面は、撮影画像データの見た目に影響を与える加工により生成される再生用画像データに基づいて遠隔操作装置側情報表示器（クラスタ画像出力装置２２１５）に表示させることが好ましい。

　当該構成の表示支援装置２０１によれば、撮影画像データの見た目に影響を与える加工によって、遠隔操作装置側情報表示器（クラスタ画像出力装置２２１５）に再生画面が表示される。これにより、遠隔操作装置側情報表示器（クラスタ画像出力装置２２１５）に表示される再生画面は、オペレータが視認しやすいように自動調整される。

　前記構成の表示支援装置２０１において、撮影画像データの加工は、再生画面のパラメータについての補正に係る加工であることが好ましい。

　当該構成の表示支援装置２０１によれば、撮影画像データの加工は、再生画面のパラメータについての補正とされる。これにより、遠隔操作装置側情報表示器（クラスタ画像出力装置２２１５）に表示される再生画面は、設定されたパラメータにおいて適切なものに自動調整される。

　前記構成の表示支援装置２０１において、再生画面のパラメータは、再生画面の輪郭、傾きまたは明度を含むことが好ましい。

　当該構成の表示支援装置２０１によれば、再生画面のパラメータは、再生画面の輪郭、傾きまたは明度を含む。これにより、遠隔操作装置側情報表示器（クラスタ画像出力装置２２１５）に表示される再生画面は、オペレータから見易く自動調整される。

　前記構成の表示支援装置２０１において、撮影画像データの加工は、撮影画像データからの作業機械側情報表示器（クラスタゲージ４７）の画像データ部分の抽出に係る加工であることが好ましい。

　当該構成の表示支援装置２０１によれば、撮影画像データの加工は、撮影画像データからの作業機械側情報表示器（クラスタゲージ４７）の画像データ部分の抽出に係る加工とされるので、作業機械側情報表示器（クラスタゲージ４７）を撮影するために、作業機械の運転席にすでに装備済みのカメラ（実機撮像装置４１２）を利用することが可能となる。すなわち、作業機械側情報表示器（クラスタゲージ４７）の撮影専用のカメラ（クラスタ撮影カメラ４１５）を追加することを省略することができる。

　前記構成の表示支援装置２０１において、撮影画像データの加工は、遠隔操作装置側情報表示器（クラスタ画像出力装置２２１５）の表示画面における特徴点の抽出に係る加工であることが好ましい。

　当該構成の表示支援装置２０１によれば、撮影画像データの加工は、遠隔操作装置側情報表示器（クラスタ画像出力装置２２１５）の表示画面における特徴点の抽出に係る加工となる。これにより、再生用画像データのデータサイズが減少するので、再生用画像データの伝送や処理の負荷が軽減される。

　前記構成の表示支援装置２０１では、特徴点は、遠隔操作装置側情報表示器（クラスタ画像出力装置２２１５）の表示画面における色、文字、記号、または映像の変化を含むことが好ましい。

　当該構成の表示支援装置２０１によれば、特徴点は、遠隔操作装置側情報表示器（クラスタ画像出力装置２２１５）の表示画面における色、文字、記号、または映像の変化を含む。これにより、遠隔操作装置２０のオペレータが作業機械４０の遠隔操作に重要な情報の漏れを抑止しつつ、再生用画像データの伝送や処理の負荷を軽減することができる。

２０・・・遠隔操作装置、４０・・・作業機械、４７・・・クラスタゲージ、５０・・・インターネット、２００・・・遠隔制御装置、２０１・・・表示支援装置、２２１・・・遠隔画像出力装置、２２４・・・遠隔無線通信機器、４００・・・実機制御装置、４１２・・・実機撮像装置、４１５・・・クラスタ撮影カメラ、４２２・・・実機無線通信機器、４２４・・・キャブ、４５６・・・特徴点抽出部、４５７・・・テキスト送信部、２２１５・・・クラスタ画像出力装置、２５２１・・・補正部、２５２３・・・クラスタ映像トリミング部、２５２５・・・テキスト画面生成部。

Claims (7)

1. 　遠隔操作装置を用いた作業機械の遠隔操作を支援するための表示支援装置であって、
   　前記作業機械の運転室に配備されている作業機械側情報表示器を撮影するカメラの撮影画像データを加工して再生用画像データを生成し、
   　前記再生用画像データに基づく再生画面を前記遠隔操作装置に配備されている遠隔操作装置側情報表示器に表示させる、表示支援装置。
2. 　前記再生画面は、前記撮影画像データの見た目に影響を与える加工により生成される前記再生用画像データに基づいて前記遠隔操作装置側情報表示器に表示させる、請求項１記載の表示支援装置。
3. 　前記撮影画像データの加工は、前記再生画面のパラメータについての補正に係る加工である、請求項１または２記載の表示支援装置。
4. 　前記再生画面のパラメータは、前記再生画面の輪郭、傾きまたは明度を含む、請求項３記載の表示支援装置。
5. 　前記撮影画像データの加工は、前記撮影画像データからの前記作業機械側情報表示器の画像データ部分の抽出に係る加工である、請求項１又は２記載の表示支援装置。
6. 　前記撮影画像データの加工は、前記遠隔操作装置側情報表示器の表示画面における特徴点の抽出に係る加工である、請求項１または２記載の表示支援装置。
7. 　前記特徴点は、前記遠隔操作装置側情報表示器の表示画面における色、文字、記号、または映像の変化を含む、請求項６記載の表示支援装置。

Images