WO2023100465A1

WO2023100465A1 - 画像表示システム、画像表示複合システムおよび画像表示方法

Info

Publication number: WO2023100465A1
Application number: PCT/JP2022/036833
Authority: WO
Inventors: 龍一廣瀬; 誠司佐伯
Original assignee: コベルコ建機株式会社
Priority date: 2021-12-03
Filing date: 2022-09-30
Publication date: 2023-06-08
Also published as: EP4414507A1

Abstract

作業機械と作業機械に関連する操作者との相互関係をユーザに知得させることができる画像表示システムを提供することを目的とする。情報端末装置６０の出力インターフェース６２０において、指定エリア画像に映り込んでいる指定エリアに存在する作業機械Ｑｉの位置に対応付けられ、指標画像Ｍ１ｉとしての顔写真画像および顔イラスト画像あるいは、作業機械Ｑｉの操作者の識別情報及び、該操作者の作業機械Ｑｉの操作履歴情報を表示装置に表示する。指標画像Ｍ１ｉの種類および／または意匠の別を通じて、当該作業機械Ｑｉの選択可能な複数の運転状態のうち現在運転状態としての遠隔操作状態および実機操作状態の別を当該情報端末装置６０のユーザに知得させることができ、操作者の識別情報及び該操作者の作業機械の操作履歴情報を表示装置に表示するため、該操作者に紐づけられた操作履歴情報を表示することができる。

Description

画像表示システム、画像表示複合システムおよび画像表示方法

　本発明は、作業機械と操作者との相互作用に関する指定情報を情報端末装置の出力インターフェースに出力させる画像表示システムなどに関する。

　建設機械と通信可能な管理コンピュータのモニタ画面に、建設機械のエンジン始動日時、エンジン停止日時、エンジン冷却水量、エンジンオイル量、作動油量、フィルタ差圧、作業位置等の稼働情報を表示する技術が提案されている（例えば、特許文献１参照）。

　産業車両ごとの位置を示すシンボルを地図上に重ね、当該産業車両の号機Ｎｏ．、所在地情報、車両ＩＤ、アワーメータによる時間情報、保守費用の額、累積警告回数の稼働状態に応じてシンボルの態様を異ならせて表示する管理システムが提案されている（例えば、特許文献２参照）。

　また、従来、オペレータの作業効率や、スキルレベルの向上を図るために、当該オペレータが作業機械を操作した際の作業成績をオペレータに提示することが行われている。

　例えば、作業機械の作業量、作業時間および動力消費量に基づいて作業の効率を表す作業成績を演算する作業機械の操作支援装置が特許文献３に開示されている。

特開２００２－０８８８２１号公報特開２０１３－２３５４８５号公報特開２０１６－１４１９４０号公報

　しかし、従来技術における管理システムにおいては、作業機械に搭乗したオペレータにより当該作業機械が操作（実機操作）される場合については想定されているものの、指定エリアから遠隔した場所に設置された遠隔操作室におけるオペレータにより作業機械が操作（遠隔操作）される場合、および、作業機械が自動運転される場合については想定されていない。

　また、特許文献３においては、一の作業機械に搭乗したオペレータの作業成績を取得することが行われている。しかしながら、例えば、同一のオペレータが、一の作業機械から他の作業機械に乗り換えて作業機械を行った場合等に、適切な作業成績を取得することは困難である。

　そこで、本発明は、指定エリアで様々な形態で稼働している１台以上の作業機械のそれぞれの状態をユーザに知得させることができるシステム等を提供することを目的とする。また、作業機械を操作するオペレータ毎の作業機械の作業履歴を表示することができる画像表示システム、画像表示複合システム及び画像表示方法を提供することを目的とする。

　本発明の画像表示システムは、
　作業機械と操作者との相互作用に関する指定情報を情報端末装置の出力インターフェースに出力させる。

　当該構成の画像表示システムによれば、情報端末装置の出力インターフェースにおいて作業機械と操作者との相互作用に関する指定情報を当該情報端末装置のユーザに知得させることができる。

　前記構成の画像表示システムにおいて、
　指定エリア画像に映り込んでいる指定エリアに存在する前記作業機械の位置に対応付けられ、当該作業機械の選択または交代可能な複数の運転状態のうち現在運転状態を識別可能に表わす指標画像を前記指定情報として情報端末装置の出力インターフェースに出力させる
ことが好ましい。

　当該構成の画像表示システムによれば、情報端末装置の出力インターフェースにおいて指定エリア画像に映り込んでいる指定エリアに存在する作業機械の位置に対応付けられて出力される指標画像を通じて、当該作業機械の選択可能な複数の運転状態のうち現在運転状態を当該情報端末装置のユーザに知得させることができる。

　前記構成の画像表示システムにおいて、
　前記指定情報として前記作業機械の操作者の識別情報及び、前記操作者の前記作業機械の操作履歴情報を前記情報端末装置の出力インターフェースに出力させる
ことが好ましい。

　当該構成の画像表示システムによれば、操作者の識別情報及び当該操作者の作業機械の操作履歴情報を通じて、当該操作者に紐づけられた操作履歴情報を当該情報端末装置のユーザに知得させることができる。

　本発明の画像表示複合システムは、上記の画像表示システムと、前記情報端末装置、前記作業機械および前記作業機械を遠隔操作するための遠隔操作装置のうち少なくとも一方と、により構成されていることを特徴とする。

　本発明の画像表示方法は、指定エリア画像に映り込んでいる指定エリアに存在する作業機械の位置に対応付けられ、当該作業機械の選択または交代可能な複数の運転状態のうち現在運転状態を識別可能に表わす指標画像を情報端末装置の出力インターフェースに出力させる工程を含むことを特徴とする。

　本発明の画像表示方法は、作業機械の操作者の識別情報及び、前記操作者の前記作業機械の操作履歴情報を情報端末装置の出力インターフェースに出力させる工程を含むことを特徴とする。

本発明の第１実施形態としての画像表示複合システムおよび画像表示システムの構成に関する説明図である。本発明の第１実施形態としての遠隔操作装置の構成に関する説明図である。本発明の第１実施形態としての作業機械の構成に関する説明図である。本発明の第１実施形態としての画像表示システムの機能に関する説明図である。本発明の第１実施形態としての指定エリア画像および指標画像の第１表示形態に関する説明図である。本発明の第１実施形態としての指標画像の第２表示形態に関する説明図である。本発明の第１実施形態としての指標画像の第３表示形態に関する説明図である。本発明の第１実施形態としての指標画像の第４表示形態に関する説明図である。本発明の第１実施形態としての指定エリア画像における実機関連情報の一表示形態に関する説明図である。本発明の第１実施形態としての指定エリア画像における気象情報の一表示形態に関する説明図である。本発明の第１実施形態としての指定エリア画像における通知情報の一表示形態に関する説明図である。本発明の第２実施形態としての画像表示複合システムおよび画像表示システムの構成に関する説明図である。本発明の第２実施形態としての遠隔操作装置の構成に関する説明図である。本発明の第２実施形態としての作業機械の構成に関する説明図である。本発明の第２実施形態としての画像表示システムの機能に関する図である。本発明の第２実施形態としての情報端末装置の表示形態を示す説明図である。本発明の第２実施形態における他の表示形態を示す説明図である。本発明の第２実施形態における他の表示形態を示す説明図である。本発明の第２実施形態における他の表示形態を示す説明図である。本発明の第２実施形態における他の表示形態を示す説明図である。本発明の第２実施形態における他の表示形態を示す説明図である。本発明の第２実施形態における他の表示形態を示す説明図である。本発明の第２実施形態における他の表示形態を示す説明図である。本発明の第２実施形態における他の表示形態を示す説明図である。本発明の第２実施形態における他の表示形態を示す説明図である。本発明の第２実施形態における他の表示形態を示す説明図である。本発明の第２実施形態における他の表示形態を示す説明図である。本発明の第２実施形態としての操作履歴情報のデータ構造を示す説明図である。

　（第１実施形態）
　以下の説明は、本発明の第１実施形態としての画像複合システムに関する説明である。

　（画像表示複合システムの構成）
　図１に示されている画像表示複合システムは、画像表示システム１０と、遠隔操作装置２０および／または当該遠隔操作装置２０による遠隔操作対象である作業機械４０と、により構成されている。画像表示システム１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。画像表示システム１０および遠隔操作装置２０の相互通信ネットワークと、画像表示システム１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

　（画像表示システムの構成）
　画像表示システム１０は、本実施形態では、遠隔操作装置２０および作業機械４０とは別個に存在するコンピュータにより構成されており、データベース１０２と、第１機能要素１２１と、第２機能要素１２２と、を備えている。

　データベース１０２は、画像表示システム１０と相互通信可能なデータベースサーバにより構成されていてもよい。データベース１０２には、作業機械４０のオペレータを識別するためのオペレータ識別子と、当該オペレータの特定情報および／または属性と、が関連付けられて登録されている。オペレータの特定情報には、例えば、当該オペレータの顔写真画像、顔イラスト画像および／または氏名が含まれている。オペレータの属性には、例えば、当該オペレータの所属組織、使用言語および／または作業職務履歴などが含まれている。

　遠隔操作装置２０を通じて作業機械４０を遠隔操作しているオペレータの特定情報および／または属性が当該遠隔操作装置２０または当該作業機械４０から画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１０２に登録される。オペレータの特定情報および／または属性ならびにオペレータ識別子は、遠隔入力インターフェース２１０を構成するタッチパネルを通じて当該オペレータにより入力されてもよく、当該オペレータが所有しているカードまたは携帯情報端末装置などの電磁式記憶媒体から遠隔入力インターフェース２１０を構成する非接触式リーダにより読み取られてもよい。

　データベース１０２には、作業機械４０を識別するための実機識別子と、当該作業機械の関連情報と、が関連付けられて登録されている。作業機械４０の関連情報には、当該作業機械４０のクラス、仕様、アタッチメント４４５の種類および下部走行体４１０を構成するクローラの種類などの静的実機関連情報のほか、作業機械４０の作業機械４０が遠隔操作されている場合には遠隔操作装置２０の存在場所、１日または１月などの単位期間における累計運転時間、燃料残量、排気ガス浄化装置のスス残存量または尿素残水量などの動的実機関連情報が含まれている。

　作業機械４０から実機識別子および静的実機関連情報が画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１０２に登録される。作業機械４０から実機識別子および動的実機関連情報が画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１０２に累積的または逐次的に登録される。動的実機関連情報は、作業機械４０に搭載されている実機センサ群４１６を構成する適当なセンサを用いて計測される。動的実機関連情報には、作業機械４０の内部状態変数および／または外部状態変数が含まれていてもよい。「外部状態変数」は、作業機械４０の内部状態変数に影響を及ぼす、当該作業機械４０の環境を表わす変数である。例えば、作業機械４０の周囲の気温が外部状態変数に該当する。「内部状態変数」は、例えば、エンジン冷却水の配管内の水温、作業機構４４０等を作動させるための油圧系における油圧配管またはタンク等の温度など、当該作業機械４０の構成要素の状態を表わす変数である。

　遠隔操作装置２０を通じて作業機械４０の関連情報が画像表示システム１０に対して送信されたうえで、実機識別子に相互に関連付けられてデータベース１０２に登録される。

　作業機械４０を実機操作しているオペレータの特定情報および／または属性が画像表示システム１０に対して送信されたうえで、実機識別子に相互に関連付けられてデータベース１０２に登録されてもよい。オペレータの特定情報および／または属性は、実機入力インターフェース４１を構成するタッチパネルを通じて当該オペレータにより入力されてもよく、当該オペレータが所有しているカードまたは携帯端末などの電磁式記憶媒体から実機入力インターフェース４１を構成する非接触式リーダにより読み取られてもよい。

　各機能要素は、演算処理装置（例えば、シングルコアプロセッサおよび／またはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

　（遠隔操作装置の構成）
　遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（例えば、シングルコアプロセッサおよび／またはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

　遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、ネットワークを介した通信をするための遠隔無線通信機器２２２と、を備えている。

　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は、作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は、作業機械４０のバケットシリンダ４４６を動かすために操作される。

　遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

　遠隔画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

　図２に示されているように、中央遠隔画像出力装置２２１０の画面および左側遠隔画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側遠隔画像出力装置２２１１の右縁が、中央遠隔画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央遠隔画像出力装置２２１０の画面および右側遠隔画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側遠隔画像出力装置２２１２の左縁が中央遠隔画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

　中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの遠隔画像出力装置が、複数に分割された遠隔画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の遠隔画像出力装置により構成されていてもよい。

　遠隔画像出力装置２２１が、シートＳｔを取り囲むように湾曲または屈曲した単一の遠隔画像出力装置によって構成されていてもよい。単一の遠隔画像出力装置が、例えば、中央遠隔画像出力装置２２１０により構成されていてもよい。遠隔画像出力装置２２１が、２つの遠隔画像出力装置（例えば、中央遠隔画像出力装置２２１０および左側遠隔画像出力装置２２１１または右側遠隔画像出力装置２２１２）によって構成されていてもよい。

　（作業機械の構成）
　作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

　作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。

　実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、実機測位装置４１４と、実機センサ群４１６と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えば、キャブ４２４の内部に設置され、フロントウィンドウ越しに作業機構４４０の少なくとも一部（例えば、アタッチメント４４５）を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。実機測位装置４１４は、作業機械４０の現在位置を測定するための装置であり、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）および必要に応じてジャイロセンサにより構成されている。実機センサ群４１６は、作業機械４０の燃料残量など、作業機械４０の状況を測定するためのさまざまなセンサにより構成されている。

　実機出力インターフェース４２は、ネットワークを介した通信をするための実機無線通信機器４２２を備えている。

　図３に示されているように、作業機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているアタッチメント４４５（例えば、バケット）と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してアタッチメント４４５をアーム４４３に対して水平軸回りに回動させるように当該アタッチメント４４５と当該アーム４４３との間に介在する。

（情報端末装置の構成）
　情報端末装置６０は、スマートフォン、タブレット端末またはパーソナルコンピュータなどの端末装置であり、制御装置６００と、入力インターフェース６１０と、出力インターフェース６２０と、を備えている。制御装置６００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

　入力インターフェース６１０は、タッチパネル方式のボタンおよびスイッチなどにより構成されている。出力インターフェース６２０は、遠隔画像出力装置と、ネットワークを介した通信をするための無線通信機器と、を備えている。

　（機能）
　図４は、前記構成の画像表示システムおよび画像表示システムの機能について示しているフローチャートである。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

　情報端末装置６０において、制御装置６００により入力インターフェース６１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ６１０）。「第１指定操作」には、例えば、指定エリアを特定するための因子を指定するための入力インターフェース６１０を通じたキーボードおよび／またはメニューの選択肢のタップなどの操作が含まれている。

　当該判定結果が否定的である場合（図４／ＳＴＥＰ６１０‥ＮＯ）、第１指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ６１０‥ＹＥＳ）、制御装置６００により情報端末装置６０から、画像表示システム１０に対して指定エリア情報要求が送信される（図４／ＳＴＥＰ６１２）。当該要求には、例えば、指定エリアを特定するための特定因子が含まれている。当該特定因子には、指定エリアの名称またはその所在地の名称もしくは住所、または、代表地点の緯度および経度もしくは緯度経度範囲などが含まれていてもよい。当該特定因子には、当該指定エリアに存在する作業機械４０を識別するための実機識別子、当該作業機械４０を操作するオペレータを識別するためのオペレータ識別子および／または当該作業機械４０を遠隔操作しているもしくは操作することが予定されている遠隔操作装置２０を識別するための遠隔識別子が含まれていてもよい。

　画像表示システム１０において、指定エリア情報要求が受信された場合（図４／Ｃ１１）、第１機能要素１２１により当該要求に含まれている特定因子により特定される指定エリアの状況を示す指定エリア画像が取得される（図４／ＳＴＥＰ１１０）。これにより、例えば、図５に示されているように、８台の作業機械Ｑ１～Ｑ８が映り込んでいる指定エリアの鳥瞰画像が取得される。

　指定エリア画像は、指定エリアの上空を飛行している飛行機（例えば、無人飛行機）もしくは人工衛星に搭載されている撮像装置、指定エリアに設置された撮像装置、および／または、指定エリアに存在する作業機械４０に搭載されている実機撮像装置４１２を通じて取得される。当該撮像画像は、データベース１０２および／または外部データベースに集積され、第１機能要素１２１により検索されてもよい。

　画像表示システム１０において、第１機能要素１２１により指定エリア画像により表わされる指定エリアに存在する作業機械４０の位置（実機位置）および識別子（実機識別子）が認識される（図４／ＳＴＥＰ１１２）。

　具体的には、作業機械４０において、実機制御装置４００により実機測位装置４１４を通じて当該作業機械４０の実空間における実機位置（緯度および経度）が認識される。実機制御装置４００により実機無線通信機器４２２を通じて当該実機位置またはこれを表わす実機位置データが実機識別子とともに画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１０２に登録される。第１機能要素１２１により、指定エリアを表わす緯度経度範囲に含まれている作業機械４０の実機位置およびこれに関連付けられている実機識別子がデータベース１０２から検索される。第１機能要素１２１により、実空間座標系における実機位置に基づき、指定エリア画像座標系における実機位置（画素位置）が認識される。

　これにより、例えば、図５に示されているように指定エリア画像に映り込んでいる作業機械Ｑ１～Ｑ８のほか、例えば、構造物などに隠れているために指定エリア画像に映り込んでいなくても指定エリアに存在する作業機械４０の実機位置および実機識別子が認識される。

　画像表示システム１０において、第１機能要素１２１により指定エリア画像により表わされる指定エリアに存在する作業機械４０の選択または交代可能な複数の運転状態のうち現在運転状態が認識される（図４／ＳＴＥＰ１１４）。

　具体的には、作業機械４０において、実機制御装置４００により現在運転状態が認識される。作業機械４０がオペレータにより遠隔操作装置２０を通じて遠隔操作されている「遠隔操作状態」、作業機械４０がそのキャブ４２４に搭乗したオペレータにより操作されている「実機操作状態」および作業機械４０が操作されていない「無操作状態」が複数の運転状態に含まれている。無操作状態には、作業機械４０が停止している状態のほか、ソフトウェアにしたがって自動運転されている状態が含まれていてもよい。

　作業機械４０と遠隔操作装置２０との通信が確立され、実機制御装置４００に対して当該遠隔操作装置２０から遠隔操作機構２１１の操作態様に応じた遠隔操作指令が伝送され、当該遠隔操作指令に応じて作業機構４４０の動作等が制御されている場合、現在運転状態が「遠隔操作状態」であると認識される。この場合、遠隔操作装置２０を操作しているオペレータのオペレータ識別子が認識される。作業機械４０の遠隔操作に際して、実機撮像装置４１２を通じて取得された撮像画像またはこれに応じて生成されたモデル画像が、遠隔操作装置２０の遠隔画像出力装置２２１に出力されている。

　作業機械４０と遠隔操作装置２０との通信が確立されておらず、実機制御装置４００に対して実機操作機構４１１の操作態様に応じた実機操作指令が伝送され、当該実機操作指令に応じて作業機構４４０の動作等が制御されている場合、現在運転状態が「実機操作状態」であると認識される。この場合、作業機械４０を操作しているオペレータのオペレータ識別子が認識される。

　実機制御装置４００に対して当該操作指令が伝送されていない場合、現在運転状態が「無操作状態」であると認識される。

　実機制御装置４００により実機無線通信機器４２２を通じて当該現在運転状態またはこれを表わす現在運転状態データが実機識別子および／またはオペレータ識別子とともに画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１０２に登録される。そして、第１機能要素１２１により、実機識別子に関連付けられている当該作業機械４０の現在運転状態がデータベース１０２から検索される。

　画像表示システム１０において、第２機能要素１２２により指定エリア画像および指標画像の出力指令が生成されたうえで、情報端末装置６０に対して送信される（図４／ＳＴＥＰ１１６）。指定エリア画像の出力指令および指標画像の出力指令は、同じタイミングではなく異なるタイミングで情報端末装置６０に対して送信されてもよい。

　情報端末装置６０において、指標画像の出力指令が受信された場合（図４／Ｃ２１）、制御装置６００により出力インターフェース６２０を構成する遠隔画像出力装置に当該指標画像が指定情報として出力される（図４／ＳＴＥＰ６１４）。「指標画像」は、指定エリアに存在している作業機械４０の位置に対応付けられ、当該作業機械４０の現在運転状態を識別可能に表わす画像である。「位置に対応付けられる」とは、当該位置またはその近傍に配置されるほか、当該位置に線図などにより結び付けられることなど、当該位置に存在する作業機械４０との関連性が推察されるようなあらゆる形態を包含する概念である。

　これにより、例えば、図５に示されている指定エリア画像において、作業機械Ｑ１、Ｑ２およびＱ５のそれぞれを表わす画像の近傍に顔写真画像Ｍ１１、Ｍ１２およびＭ１５が指標画像として出力される。指標画像としての顔写真画像Ｍ１１、Ｍ１２およびＭ１５のそれぞれは、作業機械Ｑ１、Ｑ２およびＱ５のそれぞれを遠隔操作しているオペレータの顔写真画像である。各オペレータの顔写真画像は、例えば、実機識別子および／またはオペレータ識別子に基づいてデータベース１０２から検索される。指定エリア画像において作業機械４０の位置に対応付けられて出力されている指標画像としての顔写真画像は、作業機械４０の現在運転状態が遠隔操作状態（一の第１運転状態）であることを表わしている。指標画像Ｍ１ｉによりオペレータの特定情報のほかその属性が識別可能に表わされていてもよい。

　図５に示されている指定エリア画像において、作業機械Ｑ３、Ｑ４、Ｑ７およびＱ８のそれぞれを表わす画像の近傍に顔イラスト画像（または人間の姿を模したアイコン）Ｍ１３、Ｍ１４、Ｍ１７およびＭ１８が指標画像として出力される。指標画像としての顔イラスト画像Ｍ１３、Ｍ１４、Ｍ１７およびＭ１８のそれぞれは、作業機械Ｑ３、Ｑ４、Ｑ７およびＱ８のそれぞれを実機操作しているオペレータの顔イラスト画像である。各オペレータの顔イラスト画像は、例えば、実機識別子および／またはオペレータ識別子に基づいてデータベース１０２から検索される。指定エリア画像において作業機械４０の位置に対応付けられて出力されている指標画像としての顔イラスト画像は、作業機械４０の現在運転状態が実機操作状態（他の第１運転状態）であることを表わしている。作業機械４０が自動運転される場合には、指標画像としての顔イラスト画像は自動運転であることを表す画像（例えば、人型ロボットを模したアイコン画像）や、自動運転の指示をした者の顔イラスト画像が表示される。

　図５に示されている指定エリア画像において、作業機械Ｑ６を表わす画像の近傍には、顔写真画像および顔イラスト画像は表示されていない。指定エリア画像において作業機械４０の位置に対応付けられて指標画像が出力されていないことは、作業機械４０の現在運転状態が無操作状態（第２運転状態）であることを表わしている。

　顔写真画像および顔イラスト画像に加えてまたは代えて、図６Ａに示されているように、指定エリア画像において作業機械Ｑｉ（ｉ＝１，２，‥）またはその位置を取り囲む略環状の指標画像Ｍ２ｉが表示されてもよい。例えば、指標画像Ｍ２ｉの色彩および／または明滅パターンの相違により、当該作業機械Ｑｉの現在運転状態が識別可能に表わされている。現在運転状態には、作業機械４０の遠隔操作装置２０との通信状態、具体的には、通信確立状態および通信不確立状態、ならびに/または、遠隔操作状態および通信確立状態で作業機械４０が待機している状態が含まれていてもよい。

　そのほか、図６Ｂに示されているように、指定エリア画像において作業機械Ｑｉの位置の近傍に略三角形状の指標画像Ｍ３ｉが表示されてもよい。例えば、指標画像Ｍ３ｉの表示の有無により、当該作業機械Ｑｉの異常の有無が識別可能に表わされている。作業機械Ｑｉに何らかの異常（例：実機センサ群４１６の異常）がある場合には指標画像Ｍ３ｉが表示される。

　当該作業機械Ｑｉの異常が作業機械４０の遠隔操作装置２０との通信不良（例：通信速度の低下、通信速度の安定度の低下）である場合には、図６Ｃに示されているように、指定エリア画像において作業機械Ｑｉの位置の近傍に複数の円弧とバツ印からなる指標画像Ｍ４ｉが表示されてもよい。例えば、指標画像Ｍ４ｉの表示の有無により、当該作業機械Ｑｉの通信不良の有無が識別可能に表わされている。作業機械Ｑｉに通信不良がある場合には指標画像Ｍ４ｉが表示される。

　指定エリア画像および指標画像Ｍ１ｉが情報端末装置６０において、制御装置６００により入力インターフェース６１０を通じた第２指定操作の有無が判定される（図４／ＳＴＥＰ６１６）。「第２指定操作」には、例えば、入力インターフェース６１０を通じた指標画像Ｍ１ｉなどの指定箇所のタップなどの操作が含まれている。

　当該判定結果が否定的である場合（図４／ＳＴＥＰ６１６‥ＮＯ）、第１指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ６１６‥ＹＥＳ）、制御装置６００により情報端末装置６０から、画像表示システム１０に対して実機関連情報要求が送信される（図４／ＳＴＥＰ６１８）。当該要求には、例えば、オペレータ識別子および／または実機識別子が含まれている。

　画像表示システム１０において、実機関連情報要求が受信された場合（図４／Ｃ１２）、第１機能要素１２１により当該要求に含まれている識別子により識別される作業機械４０および／またはそのオペレータに関連する実機関連情報が認識される（図４／ＳＴＥＰ１１８）。例えば、実機識別子に基づいて実機関連情報がデータベース１０２から検索される。

　画像表示システム１０において、第２機能要素１２２により、情報端末装置６０に対して実機関連情報またはその出力指令が送信される（図４／ＳＴＥＰ１２０）。

　情報端末装置６０において、実機関連情報またはその出力指令が受信された場合（図４／Ｃ２２）、制御装置６００により出力インターフェース６２０を構成する遠隔画像出力装置に当該実機関連情報が出力される（図４／ＳＴＥＰ６２０）。作業機械４０のクラス、仕様、アタッチメント４４５の種類および下部走行体４１０を構成するクローラの種類などの静的実機関連情報のほか、作業機械４０の作業機械４０が遠隔操作されている場合には遠隔操作装置２０の存在場所、１日または１月などの単位期間における累計運転時間、燃料残量、排気ガス浄化装置のスス残存量または尿素残水量などの動的実機関連情報が含まれている。

　これにより、例えば、図７に示されているように、指定エリア画像において、作業機械Ｑ５の位置に対応付けられている指標画像Ｍ１５に対応付けられて実機関連情報を示すウィンドウＰＭが表示される。ウィンドウＰＭにおいては、作業機械４０の型式番号、作業機械Ｑ５に搭乗しているオペレータＯＰの氏名及びそのアイコン、作業機械４０の残燃料、作業機械４０の尿素水の残量、作業機械４０の前回の整備からの稼働時間、当該作業現場の時刻、当該作業現場の地図などが表示される。ウィンドウＰＭに含まれている指定アイコンがタップ操作されることにより、情報端末装置６０を通じて遠隔操作装置２０および／または作業機械４０を通じて、情報端末装置６０のユーザと作業機械４０のオペレータとの通話機能および／またはチャット機能が発揮されてもよい。

　（効果）
　当該構成の画像表示システム１０によれば、情報端末装置６０の出力インターフェース６２０において指定エリア画像に映り込んでいる指定エリアに存在する作業機械Ｑｉの位置に対応付けられ、指標画像Ｍ１ｉとしての顔写真画像および顔イラスト画像が指定情報として表示される（図４／ＳＴＥＰ６１０→ＳＴＥＰ６１２→‥→ＳＴＥＰ１１０→ＳＴＥＰ１１２→ＳＴＥＰ１１４→ＳＴＥＰ１１６→‥→ＳＴＥＰ６１４および図５参照）。指標画像Ｍ１ｉの種類および／または意匠（色、形状もしくは模様またはこれらの組み合わせ、あるいは、明滅パターンなどの意匠の動的変化態様を含む。）の別を通じて、当該作業機械Ｑｉの選択可能な複数の運転状態のうち現在運転状態としての遠隔操作状態および実機操作状態の別を当該情報端末装置６０のユーザに知得させることができる。顔写真画像および顔イラスト画像は、オペレータの特定情報を識別可能に表わす指標画像に該当する。

　指定エリア画像に映り込んでおり、指標画像Ｍ２ｉが表示されている作業機械Ｑｉは遠隔操作状態であり、指標画像Ｍ２ｉが表示されていない作業機械Ｑｉは実機操作状態又は自動運転されていることを情報端末装置６０のユーザに知得させることができる。また、指標画像Ｍ２ｉの表示態様により、作業機械Ｑｉと遠隔操作装置２０との通信状態（例：通信確立の有無など）を情報端末装置６０のユーザに知得させることができる（図６Ａ参照）。指標画像Ｍ３ｉにより、作業機械Ｑｉにおける異常の有無を情報端末装置６０のユーザに知得させることができる（図６Ｂ参照）。

　作業機械Ｑｉ（図５ではｉ＝１～５，７，８）の位置に対応付けられている指標画像Ｍ１ｉを通じて、当該作業機械Ｑｉの現在運転状態が「第１運転状態」としての遠隔操作状態または実機操作状態であることを情報端末装置６０のユーザに知得させることができる。その一方、作業機械Ｑｉ（図５ではｉ＝６）の位置に指標画像が対応付けられていないことを通じて、当該作業機械Ｑｉの現在運転状態が「第２運転状態」としての無操作状態であることを情報端末装置６０のユーザに知得させることができる。この意味で、指標画像Ｍ１ｉは、現在運転状態としてのオペレータの有無を識別可能に表わす指標画像に該当する。

　情報端末装置６０の入力インターフェース６１０を通じて第２指定操作があった場合、指標画像Ｍｉに位置が対応付けられている作業機械Ｑｉの実機関連情報が当該情報端末装置６０の出力インターフェース６２０に出力される（図４／ＳＴＥＰ６１６→ＳＴＥＰ６１８→‥→ＳＴＥＰ１１８→ＳＴＥＰ１２０→‥→ＳＴＥＰ６２０および図７参照）。これにより、当該実機関連情報を通じて情報端末装置６０のユーザに知得させることができる。

（本発明の第１実施形態の別の形態）
　前記実施形態では、画像表示システム１０およびこれ構成する第１機能要素１２１および第２機能要素１２２が遠隔操作装置２０および作業機械４０とは別個に存在するコンピュータにより構成されていたが、他の実施形態として、遠隔操作装置２０および／または作業機械４０に画像表示システムが搭載され、遠隔制御装置２００および／または実機制御装置４００により第１機能要素１２１および／または第２機能要素１２２が構成されていてもよい。

　情報端末装置６０が、遠隔操作装置２０または作業機械４０により構成されていてもよい。情報端末装置６０が遠隔操作装置２０により構成されている場合、遠隔画像出力装置２２１に図５に示されているような指定エリア画像および指標画像が出力される。

　第１機能要素１２１により気象データベースから気象情報ＷＲが取得され、第２機能要素１２２により当該気象情報ＷＲが情報端末装置６０に送信され、当該情報端末装置６０の制御装置６００により当該気象情報ＷＲが出力インターフェース６２０を構成する遠隔画像出力装置に表示されてもよい。これにより、図８に示されているように、指定エリア画像において作業機械４０が存在するエリアの気象またはその時系列に関する気象情報が情報端末装置６０の出力インターフェース６２０に出力される。気象情報を通じて、作業機械４０が存在するエリアにおける気象またはその時系列（過去の気象および／または将来の予測気象）を当該情報端末装置６０のユーザに知得させることができる。

　遠隔操作装置２０における遠隔入力インターフェース２１０、作業機械４０における実機入力インターフェース４１および／または情報端末装置６０における入力インターフェースを通じて入力されたメッセージＭＳＧ（通知情報）が遠隔出力インターフェース２２０、実機出力インターフェース４２および／または出力インターフェース６２０に出力されてもよい。例えば、図９に示されているように、出力インターフェース６２０に出力されている指定エリア画像において一のユーザおよび／またはオペレータから発信されたメッセージＭＳＧを他のユーザおよび／またはオペレータに通知することができる。

　（第２実施形態）
　以下の説明は、本発明の第２実施形態に関する説明である。

　（画像表示複合システムの構成）
　図１０に示されている本発明の第２実施形態としての画像表示複合システムは、画像表示システム１０と、遠隔操作装置２０および／または当該遠隔操作装置２０による遠隔操作対象である複数の作業機械４０と、情報端末装置６０と、により構成されている。画像表示システム１０と、遠隔操作装置２０、複数の作業機械４０のそれぞれとは共通のまたは別個のネットワークを介して相互に通信可能に構成されている。尚、本図においては、画像表示システム１０は、複数の作業機械４０と接続可能にされているが、画像表示システム１０は１台以上の作業機械４０と接続可能であればよく、その接続台数に制限はない。

　本発明の構成要素（ハードウェア）が、各種情報を「取得する」とは、当該情報を受信すること、当該情報を内部記憶装置（例えば、メモリ）および／または外部記憶装置（例えば、外部のデータベースサーバ）から読み取るまたは検索すること、受信、読み取り、検索等された情報を対象にして演算処理を実行することにより情報を算定、推定、予測、同定等すること、など、各種情報を後続の演算処理において利用可能な形態で準備するためのあらゆる演算処理を包含する概念である。

　（画像表示システムの構成）
　画像表示システム１０は、本実施形態では、遠隔操作装置２０および作業機械４０とは別個に存在するコンピュータにより構成されている。画像表示システム１０は、第１機能要素１２１と、第２機能要素１２２と、データベース１０２と、を備えている。

　第１機能要素１２１および第２機能要素１２２のそれぞれは、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアに従った後述の演算処理を実行する。

　データベース１０２は、画像表示システム１０と相互通信可能なデータベースサーバにより構成されていてもよい。データベース１０２には、作業機械４０の操作者であるオペレータＯＰを識別するための識別情報としてのオペレータ識別子と、当該オペレータＯＰの特定情報および／または属性と、が関連付けられて登録されている。オペレータＯＰの特定情報には、例えば、当該オペレータの顔写真画像、顔イラスト画像および／または氏名が含まれている。オペレータの属性には、例えば、当該オペレータの所属組織、使用言語および／または作業職務履歴などが含まれている。

　オペレータ識別子は、作業機械４０に直接に搭乗するオペレータＯＰの情報であってもよいし、遠隔操作装置２０を操作することにより作業機械４０を遠隔操作するオペレータＯＰの情報であってもよい。また、オペレータ識別子は、自動運転により作業機械４０が稼働するような場合は、当該作業機械４０に自動運転の指示を行った者の情報であってもよい。オペレータ識別子としては、例えば、社員番号等のＩＤ番号等が挙げられる。

　データベース１０２には、作業機械４０を識別するための実機識別子と、当該作業機械４０の関連情報と、が関連付けられて登録されている。作業機械４０の関連情報には、当該作業機械４０のクラス、仕様、アタッチメント４４５の種類および下部走行体４１０を構成するクローラの種類などの静的実機関連情報のほか、作業機械４０が遠隔操作されている場合には遠隔操作装置２０の存在場所、作業機械４０になされた操作内容、１日または１カ月などの単位期間における累計運転時間、燃料残量、排気ガス浄化装置のスス残存量または尿素水残量などの動的実機関連情報が含まれている。

　作業機械４０から実機識別子および静的実機関連情報が画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１０２に登録される。作業機械４０から実機識別子および動的実機関連情報が画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１０２に累積的または逐次的に登録される。動的実機関連情報は、作業機械４０に搭載されている実機制御装置４００に入力される実機センサ群（図示せず）を構成する適当なセンサを用いて計測される。動的実機関連情報には、例えば、単位時間当たりのリフティングマグネットの吸着回数、単位時間当たりの掘削した土砂量等の作業機械４０に対する操作内容が含まれる。また、動的実機関連情報には、作業機械４０の内部状態変数および／または外部状態変数が含まれていてもよい。「外部状態変数」は、作業機械４０の内部状態変数に影響を及ぼす、当該作業機械４０の環境を表わす変数である。例えば、作業機械４０の周囲の気温が外部状態変数に該当する。「内部状態変数」は、例えば、エンジン冷却水の配管内の水温、作業機構４４０等を作動させるための油圧系における油圧配管またはタンク等の温度など、当該作業機械４０の構成要素の状態を表わす変数である。

　また、データベース１０２は、オペレータ識別子と関連付けて作業機械４０の操作履歴情報を記憶している。操作履歴情報は、例えば、オペレータＯＰが操作した作業機械４０の種別、当該作業機械４０の種別ごとの操作時間、当該作業機械４０を操作している間に計測された要注意操作の回数、作業機械４０の操作の作業効率、当該作業機械４０の操作が行われた日付及び時刻に紐づいて記憶されている。また、操作履歴情報は、当該作業機械４０の操作が行われた作業現場毎、すなわち、位置情報と紐づいて記憶されていてもよい。

　操作履歴情報は、オペレータＯＰの操作に伴う作業機械４０の情報であってもよい。このような操作履歴情報としては、作業機械４０の燃料消費量の平均値（エコ運転評価）、作業機械４０の稼働時間に伴うメンテナンスに必要な数値等が挙げられる。

　操作履歴情報が当該遠隔操作装置２０または当該作業機械４０から画像表示システム１０に対して送信されたうえで、相互に関連付けられてデータベース１０２に登録される。

　尚、データベース１０２には、複数の作業機械４０の各々の実機撮像装置４１２によって撮像された撮像データが、オペレータ識別子と関連付けられて登録されている。撮像データは、オペレータ識別子と関連付けられて記憶される。また、撮像データは、操作履歴情報と関連付けられて登録されていることが好ましい。

　（遠隔操作装置の構成）
　遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。

　遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

　遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。

　遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、操作者であるオペレータＯＰによる操作を受け付ける受付状態と操作を受け付けない非受付状態とを切り替える油圧ロックレバー（遮断レバー）と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の左右一対のクローラを備える下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。遮断レバーは、受付状態においては遮断レバーになされる操作に応じて作業機械４０を操作するための信号が出力されこの信号に応じて作業機械４０が動作され、非受付状態においては遮断レバーに操作がなされても作業機械４０を操作するための信号は出力されず作業機械４０は動作されない。

　遠隔操作機構２１１を構成する各操作レバーは、例えば、図１１に示されているように、オペレータＯＰが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータＯＰが着座できる任意の形態の着座部であってもよい。

　シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図１１に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図１１に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータＯＰの操作指示によって任意に変更されてもよい。

　遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、ネットワークを介した通信をするための遠隔無線通信機器２２２とを備えている。

　表示装置としての遠隔画像出力装置２２１は、例えば図１１に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１、右側遠隔画像出力装置２２１２及び中央遠隔画像出力装置２２１０の下方に配置された略矩形状の画面を有する下側遠隔画像出力装置２２１３により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１、右側遠隔画像出力装置２２１２及び下側遠隔画像出力装置２２１３のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

　中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１、右側遠隔画像出力装置２２１２及び下側遠隔画像出力装置２２１３のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１、右側遠隔画像出力装置２２１２及び下側遠隔画像出力装置２２１３のうち少なくとも１つの遠隔画像出力装置が、複数に分割された遠隔画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の遠隔画像出力装置により構成されていてもよい。尚、中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１、右側遠隔画像出力装置２２１２及び下側遠隔画像出力装置２２１３は、タッチパネルディスプレイ等により、情報入力が可能な入力手段として機能することが可能である。

　（作業機械の構成）
　図１０に示されているように、作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、を備えている。

　実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

　作業機械４０は、例えば、油圧式、電動式または油圧式および電動式が組み合わされたハイブリッド駆動式のクローラショベル（作業機械）であり、図１２に示されているように、下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。

　実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の実機操作レバーを備えている。

　作業機械４０には、遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。

　実機撮像装置４１２（以後、メインカメラとも称される）は、例えばキャブ４２４の内部に設置される。実機撮像装置４１２は、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４４０の少なくとも一部を含む環境を撮像する。実機撮像装置４１２は、例えば、アタッチメントであるバケット４４５の少なくとも一部を含む環境を撮像する。

　また、実機撮像装置４１２は、実施の態様に応じて適宜増設してもよい。

　実機入力インターフェース４１は、実機状態センサ群（図示せず）を含む。実機状態センサ群（図示せず）は、上部旋回体４２０に対するブーム４４１の回動角度（起伏角度）、ブーム４４１に対するアーム４４３の回動角度、および、アーム４４３に対するバケット４４５の回動角度のそれぞれを測定するための角度センサ、下部走行体４１０に対する上部旋回体４２０の旋回角度を測定するための旋回角度センサ、バケット４４５に対して作用する外力を測定するための外力センサ、上部旋回体４２０に作用する３軸加速度を測定するための３軸加速度センサ、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）等の位置情報取得センサ等により構成されている。

　作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。作業部として、バケット４４５のほか、ニブラ、カッター、マグネットなど、さまざまなアタッチメントが用いられてもよい。

　ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

　（情報端末装置の構成）
　表示装置としての情報端末装置６０は、スマートフォン、タブレット端末またはパーソナルコンピュータなどの端末装置であり、制御装置６００と、入力インターフェース６１０と、出力インターフェース６２０と、を備えている。制御装置６００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアに従った演算処理を実行する。

　入力インターフェース６１０は、例えば、タッチパネル方式のボタンおよびスイッチなどにより構成されている。出力インターフェース６２０は、遠隔画像出力装置と、ネットワークを介した通信をするための無線通信機器と、を備えている。

　図１３は、上記の画像表示システム１０、遠隔操作装置２０、及び、作業機械４０の連携により発揮される画像表示システムの画像表示処理方法について説明するフローチャートである。

　画像表示システムは、遠隔操作装置２０の起動をトリガーとして、画像表示処理を開始する。操作者であるオペレータＯＰによって、例えば、遠隔操作装置２０が起動されると、遠隔操作装置２０は、操作信号を画像表示システム１０に送信する（ＳＴＥＰ２０１）。なお、当該操作信号は、オペレータＯＰにより遠隔操作装置２０と接続される（連携する）作業機械４０が選択されたタイミングや、オペレータＯＰにより遮断レバーがＯＮ状態からＯＦＦ状態に切り替えられたタイミングなど、遠隔操作装置２０の起動の後の処理に応じて送信されてもよい。

　画像表示システム１０は、第１機能要素１２１により操作信号を受信すると、第２機能要素１２２によりオペレータＯＰの識別情報としてのオペレータ識別子を送信するように遠隔操作装置２０に要求する（ＳＴＥＰ１０１）。

　遠隔操作装置２０は、オペレータ識別子送信要求を受信すると、オペレータ識別子を画像表示システム１０に送信する（ＳＴＥＰ２０２）。

　遠隔操作装置２０は、ＳＴＥＰ２０２の処理において、例えば、顔認証等の既存のユーザ認証手段で認証された認証結果に基づいて、オペレータ識別子を画像表示システム１０に送信する。

　また、オペレータ識別子の取得は、このような態様に限られず、例えば、識別情報であるオペレータ識別子を保持したＩＣカードを読み取ることによって取得されるようにしてもよいし、図示しないキーボードによって入力された社員番号等のＩＤ番号を入力することによって取得されるようにしてもよい。なお、識別情報は、オペレータＯＰが操作することにより取得されるようにしてもよいし、例えば、オペレータＯＰを管理する管理者等の第三者が操作することにより取得されるようにしてもよい。

　画像表示システム１０は、第１機能要素１２１によりオペレータ識別子を受信する。第２機能要素１２２は、遠隔操作装置２０と接続されている作業機械４０に操作情報を送信するように要求する（ＳＴＥＰ１０２）。なお、操作情報には、動的実機関連情報等のデータベース１０２に登録されうる情報が含まれる。

　作業機械４０は、操作情報要求を受信すると操作情報を逐次、画像表示システム１０に送信する（ＳＴＥＰ４０１）。なお、作業機械４０は、操作情報を送信する際に、位置情報取得センサ等によって得られた作業機械４０の現在値を示す位置情報も送信するとよい。また、作業機械４０は、例えば、遠隔操作装置２０との接続が解除された場合、作業機械４０の遮断レバーがＯＮにされた場合等においては、ＳＴＥＰ４０１の送信処理を停止してもよい。

　画像表示システム１０の第１機能要素１２１は、取得した操作情報をオペレータ識別子と紐づけてデータベース１０２に登録する。第２機能要素１２２は、データベース１０２に登録された操作情報を集計して操作履歴情報を生成する（ＳＴＥＰ１０３）。画像表示システム１０において、第２機能要素１２２により集計された情報の出力指令が生成されたうえで、第２機能要素１２２により、当該情報（オペレータ識別子及び操作履歴情報）が情報端末装置６０に対して送信される（ＳＴＥＰ１０４）。なお、ＳＴＥＰ１０４の送信処理の際に、第１機能要素１２１は、予め入力された作業現場情報に基づいて、当該作業現場の地図情報を取得し、第２機能要素１２２が取得した地図情報を情報端末装置６０に送信してもよい。

　情報端末装置６０は、オペレータ識別子及び操作履歴情報を受信すると、出力インターフェース６２０の遠隔画像出力装置２２１に指定情報として識別情報及び操作履歴情報を表示する（ＳＴＥＰ６０１）。

　なお、遠隔操作装置２０と接続される作業機械４０が一の作業機械から他の作業機械に切り替えられた場合には、図１３に示されている画像表示処理は、遠隔操作装置２０と接続されている切り替え後の作業機械４０に操作情報を送信するように要求する（ＳＴＥＰ１０２）ところから開始されるとよい。すなわち、既に画像表示システム１０においてオペレータ識別子が取得されているので、オペレータ識別子を要求するまでの処理（ＳＴＥＰ２０１→ＳＴＥＰ１０１→ＳＴＥＰ２０２）は省略することが可能である。また、遠隔操作装置２０との接続が解除された作業機械４０は操作情報の送信を停止するとよい。

　図１４は、表示装置としての情報端末装置６０の出力インターフェース６２０における表示態様を示している。図１４に示すように、出力インターフェース６２０の画面中央には、とある作業現場ＡＲ（以下、ヤードともいう）の地図と共に、６台の作業機械４０が配置されている各々の地図上の位置に作業機械４０のアイコンＡ～Ｆが表示されている。

　各々の作業機械４０のアイコンの近傍には、当該作業機械４０を操作するオペレータＯＰのアイコンＸ１～Ｘ６が表示されている。オペレータＯＰのアイコンＸ１～Ｘ６は、例えば、予め登録しているオペレータＯＰの写真を表示してもよいし、当該オペレータＯＰを示すアバターを表示してもよい。また、当該アイコンは、複数のオペレータの中から一のオペレータを識別できればよく、画像に限られず、例えば、氏名を示す文字情報であってもよい。

　情報端末装置６０の出力インターフェース６２０の左上には、情報端末装置６０のユーザを示すアイコンＸ７が表示されている。なお、出力インターフェース６２０のアイコンＸ７の下方には、様々な表示メニューを配列してもよい。

　図１５は、図１４に示されている作業機械４０のアイコンＡが選択された場合の表示を示している。なお、当該選択は、例えば、入力インターフェース６１０を通じたキーボードおよび／またはメニューの選択肢のタップなどの操作によって行うことができる。

　図１５に示されるように、作業機械４０のアイコンＡ～Ｆのいずれかが選択されると、当該作業機械４０の稼働状態を示す稼働情報と、当該作業機械４０を操作するオペレータＯＰの特定情報と、が表示される。

　稼働情報は、例えば、作業機械４０の型式番号、作業機械４０が操作されている際の動画、作業機械４０の残燃料、作業機械４０の前回の整備からの稼働時間、当該作業現場の時刻、当該作業現場の地図などが挙げられる。稼働情報は、作業機械４０に関する情報であれば、特には限定されず、例えば、作業機械４０のメンテナンスに必要な情報等が挙げられる。

　オペレータＯＰの特定情報は、図１５においては、その作業機械４０に搭乗しているオペレータＯＰの氏名及び、そのアイコンが表示されている。なお、識別情報の表示は、オペレータＯＰが作業機械４０に直接搭乗して操作している状態、オペレータＯＰが遠隔操作装置２０を介して作業機械４０を操作している状態、作業機械４０に自動運転の指示を与えている状態のいずれかの状態が識別可能なように、例えば、色分け等によって表示されているとよい。

　また、情報端末装置６０の出力インターフェース６２０に表示される情報としては、上記の情報に限られず、他の端末、例えば、管理者やオペレータが所持する通信機器（スマートフォン）及び／又は作業機械４０や遠隔操作装置２０や情報端末装置６０が有する音声通話機能を用いて通話を開始する通話ボタン、作業機械４０の尿素水の残量を示すアイコンが表示されていてもよい。

　図１５において、例えば、オペレータＯＰのアイコンＸ１が選択されると、図１６に示す表示がなされる。図１６において、オペレータ１～５が「リフマグ（リフティングマグネット）」、「ブレーカ」、「ハイリーチクレーン」、「ニブラ」の操作を行った累積時間が表示されている。累積時間の集計する起点日又は起点時と終点日又は終点時は任意に定めることが可能である。なお、オペレータ１～５は、図１４に表示されているオペレータのアイコンＸ１～Ｘ６のうちの任意の５人を示している。すなわち、図１６においては、とある作業現場ＡＲにおいて作業機械４０を操作するオペレータ１～５に関連付けられた情報が表示されている。

　また、例えば、ユーザが図示しないメニューバーを選択することにより、累積時間が多いオペレータの順に表示がなされるようにしてもよいし、累積時間が少ないオペレータの順に表示がなされるようにしてもよい。図１６においては、画面の左側から累積時間が多いオペレータの順に表示されている。

　さらに、累積時間に代えて、累積操作数を基にオペレータの操作履歴を並べて表示するようにしてもよい。累積操作数は、例えば、「リフマグ（リフティングマグネット）」、「ブレーカ」、「ハイリーチクレーン」、「ニブラ」等のアタッチメントを操作した日数が相当する。

　このように表示されることにより、オペレータの操作経験を視覚的に表示することが可能となる。なお、当該表示は、アイコンＸ１～Ｘ６の選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

　図１６において、例えば、下にスクロールする操作がなされると、図１７に示す表示がなされる。図１７において、２０１９年～２０２１年の間にオペレータ１～５が属する組織において、「リフマグ（リフティングマグネット）」、「ブレーカ」、「ハイリーチクレーン」、「ニブラ」の操作が行われた回数が表示されている。このように表示されることにより、業務で行われる特定の作業の頻度を把握することが可能となる。

　図１５において、例えば、オペレータＯＰのアイコンＸ１が選択されると、図１６に示す表示がなされる。図１６においては、オペレータ１～５のとある日付の時間帯における作業機械４０の操作の合計時間が示されている。このような表示が行われることにより、オペレータが行っている作業内容の比率を把握することが可能となる。なお、当該表示は、アイコンＸ１～Ｘ６の選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

　図１５において、例えば、オペレータＯＰのアイコンＸ１が選択されると、図１９に示す表示がなされる。図１９においては、オペレータ１のとある日付の時間帯における作業機械４０の作業効率が示されている。作業効率は、例えば、「リフマグ（リフティングマグネット）」の操作の場合、操作時間（分）／吸着回数で示される値である。このように表示が行われることにより、例えば、当該オペレータＯＰの技量を把握することができる。なお、当該表示は、アイコンＸ１～Ｘ６の選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

　図１５において、例えば、オペレータＯＰのアイコンＸ１が選択されると、図２０に示す表示がなされる。図２０においては、オペレータ１が複数の作業機械４０を操作した場合の単位時間当たりの燃料の消費量の平均（ｌ/Ｈｒ）が表されている。図２０においては、例えば、一の作業機械（黒三角：「▲」）において、１２時から１３時までの１時間に消費した燃料が１．２リットルであることを読み取ることができる。このような表示が行われることにより、オペレータのロスが少ない操作、すなわち、作業の効率性を把握することができる。なお、当該表示は、アイコンＸ１～Ｘ６の選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

　図１５において、例えば、オペレータＯＰのアイコンＸ１が選択されると、図２１に示す表示がなされる。図２１においては、とある作業現場におけるオペレータ１～４毎の作業機械４０の合計操作時間が時間帯毎に示されている。このような表示が行われることにより、各々の時間帯におけるオペレータ１～４毎の作業時間を把握することができる。なお、当該表示は、アイコンＸ１～Ｘ６の選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

　図１５において、例えば、オペレータＯＰのアイコンＸ１が選択されると、図２２に示す表示がなされる。図２２においては、オペレータ１，２毎の作業機械４０の作業効率が示されている。当該作業効率の算出は上記と同一であるので説明を省略する。このような表示が行われることにより、各々の時間帯におけるオペレータ１、２の作業効率を把握することができる。なお、当該表示は、アイコンＸ１～Ｘ６の選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

　図１５において、例えば、オペレータＯＰのアイコンＸ１が選択されると、図２３に示す表示がなされる。図２３においては、オペレータ１，２毎の作業機械４０の要注意作業回数が示されている。このような表示が行われることにより、各々の時間帯におけるオペレータ１、２の要注意作業回数を把握することができる。要注意作業は、例えば、操作履歴情報に急操作（発進、旋回、アッタッチメント動作）、急停止に相当する操作履歴が含まれる場合にその作業回数がカウントされる。要注意作業は、急操作（発進、旋回、アッタッチメント動作）、急停止に限らず作業機械４０の運転の状態を不安定にする作業や操作の回数がカウントされるようにしてよい。したがって、安全性に配慮した作業時間帯を認識することが可能である。なお、当該表示は、アイコンＸ１～Ｘ６の選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

　図１５において、例えば、天候を示すアイコン（図示せず）が選択されると、図２４に示す表示がなされる。図２４においては、当該オペレータＯＰが操作する作業機械４０が位置する場所における降水雨量及び気温を示している。このような表示が行われることにより、作業機械４０が位置する／していた場所の天候を把握することができる。これによって、作業の善し悪しが天候によるものであるか否かを確認することができる。なお、図２４に示されている当該表示は、図２５に示されるように、温度に代えて風速を表示してもよい。また、当該表示は、アイコンの選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

　図１５において、例えば、ビデオを示すアイコンが選択されると、図２６に示す表示がなされる。図２６においては、複数のオペレータＯＰ毎に、操作した作業機械４０の種類（図における建機名）、録画開始日付、録画開始時刻、録画に使用されたカメラの種類（Main）、動画の時間の長さ、動画がアップロードされているリンク、動画データの削除の状況が示さている。このような表示が行われることにより、オペレータＯＰ毎の作業機械４０の操作の態様を実機撮像装置４１２により撮像された動画にて確認することができる。例えば、図２０に示される燃料消費量の情報を基にロスが少ない操作をしていた時間を特定することで、当該時間に対応する動画を確認することで、ユーザはロスが少ない操作の態様を確認することができる。なお、当該表示は、アイコンの選択に限られず、メニューバーを適宜表示し、ユーザが当該メニューバーを選択することによって行ってもよい。

　以上の実施例に基づいて、オペレータＯＰが、一の作業機械４０から他の作業機械４０に乗り換えた場合においても、当該オペレータＯＰ毎の適切な作業成績を取得することが可能である。

　また、例えば、オペレータＯＰに対して支払われる報酬の算定を容易にすることができる。具体的には、オペレータＯＰが複数の作業機械４０を乗り換えて作業を行った場合、従来ではオペレータＯＰ毎の作業の集計がなされていないため、作業成績に基づいて当該報酬の算定が難しくなる。特に、遠隔操作装置２０を用いて作業機械４０を操作する場合、オペレータＯＰは作業機械４０に赴くことなく操作可能である。このため、オペレータＯＰが作業機械４０に実搭乗する場合と比べてより多くの作業機械４０を操作することが見込まれるため、オペレータＯＰ毎の各作業機械４０の操作情報の管理が必要となる。また、作業機械４０は複数のオペレータＯＰが交代されることよって操作されることが見込まれるため、操作情報をオペレータＯＰ毎に区別する必要がある。このような状況においても、オペレータＯＰ毎の作業実績を取得できるので、作業実績に基づいてオペレータＯＰの報酬を容易に算定することができる。さらに、オペレータＯＰ毎の作業実績を加算することで複数のオペレータＯＰが所属しているグループ（団体、会社）単位での作業実績の算定も可能となり、グループ内における特定のオペレータＯＰの順位も確認することできる。

　以上の実施例の説明においては、表示装置が情報端末装置６０であるとして説明した。表示装置は、このような態様に限られず、例えば、遠隔操作装置２０の遠隔画像出力装置２２１を表示装置として実施してもよい。また、情報端末装置６０は、一台に限られず、複数台の情報端末装置６０で実施してもよい。例えば、作業機械４０のキャブ４２４及び遠隔操作装置２０の近傍に情報端末装置６０を設置してもよい。

　また、図１６等の説明においてオペレータ１～５については、作業現場ＡＲ内において作業機械４０を操作するオペレータとして説明をした。しかし、当該オペレータ１～５については、作業現場ＡＲとは異なる作業現場で作業するオペレータを任意に選択して表示してもよい。また、図１６等に表示させるオペレータの人数や、図１７等に示されているアタッチメントの種類は、適宜変更して実施してもよい。

　さらに、以上の実施例の説明では、画像表示システム１０によって画像表示処理が実行される説明をした。しかし、画像表示処理は、遠隔操作装置２０によって行われてもよいし、作業機械４０によって行われてもよい。

　また、以上の実施例の説明では、画像表示システム１０によるオペレータ識別子の要求は遠隔操作装置２０の起動後の1回のみとなっている。しかし、遠隔操作装置２０の起動後に遠隔操作装置２０を操作するオペレータＯＰが操作を交代し、途中から別のオペレータＯＰが操作をする場合がある。このような場合には、画像表示システム１０は、オペレータＯＰ毎のオペレータ識別子を取得する必要がある。これを実現するために、例えば、オペレータＯＰの遠隔操作装置２０のシートＳｔからの離席が検出された後に、再度シートＳｔへの着席が検出された場合に、画像表示システム１０は、オペレータ識別子の送信を要求するようにしてもよい。オペレータＯＰの離席の検出については、例えば、顔認証に用いるカメラの撮像画像にオペレータＯＰの顔が検出されない場合や、シートＳｔに設けられた荷重センサの荷重が検出されない場合等により行うことが可能である。

　また、オペレータＯＰの乗り替わりをオペレータ識別子の変更により検出してもよく、例えば、オペレータ識別子の変更がないか確認するためにユーザ認証手段による認証結果を用いてオペレータＯＰの乗り替わりを検出するようにしてもよい。具体的には、画像表示システム１０は、一定時間ごとに顔認証等のユーザ認証手段で認証された認証結果を取得し、当該認証結果をもとにオペレータ識別子の変更がないかを確認するようにしてもよい。このようにすることで、確実にオペレータ識別子を設定することが可能となる。

　作業機械４０を実機操作しているオペレータＯＰが操作を交代し、途中から別のオペレータＯＰが操作をする場合にも同様にしてオペレータＯＰの乗り替わりを検出することにより、確実にオペレータ識別子を設定することが可能となる。

　また、以上の実施例の説明では、図１６において、オペレータ１～５について累積時間や累積操作数が多い順や少ない順に並べる機能について説明した。しかし、オペレータの操作スコアの高い順に並べて表示するようにしてもよい。操作スコアは、例えば、オペレータＯＰの操作履歴情報における評価が高いほどスコアが高くなるように設定される指標（数値）である。操作スコアが高くなる条件は、例えば、上述した累積時間や累積操作時間が多く操作経験が豊富であること、作業効率が高いこと、燃料消費量の平均が少ないこと、要注意作業が少ないこと、が挙げられる。また、操作スコアを算出する際には、悪天候時の操作履歴情報を高くして算出してもよい。また、作業効率は、例えば、単位時間あたりに掘削した土砂量の多さ、標準操作に対する操作量の偏差の少なさ等により評価されてもよい。複数の操作履歴情報を複合的に評価して操作スコアが算出されてもよい。

　本発明の画像表示システムにおいて、
　作業機械の現在運転状態が第１運転状態である場合、作業機械の位置に対応付けて指標画像を情報端末装置の出力インターフェースに出力させ、
　作業機械の現在運転状態が第２運転状態である場合、作業機械の位置に対応付けて指標画像を情報端末装置の出力インターフェースに出力させない
ことが好ましい。

　当該構成の画像表示システムによれば、情報端末装置の出力インターフェースにおいて指定エリアに存在する作業機械の位置に対応付けられている指標画像を通じて、当該作業機械の現在運転状態が第１運転状態であることを当該情報端末装置のユーザに知得させることができる。その一方、情報端末装置の出力インターフェースにおいて、指定エリアに存在している作業機械の位置に指標画像が対応付けられていないことを通じて、当該作業機械の現在運転状態が第２運転状態であることを情報端末装置のユーザに知得させることができる。

　本発明の画像表示システムにおいて、
　作業機械の位置に対応付けて、当該作業機械の現在運転状態として、オペレータの有無、オペレータの特定情報およびオペレータの属性のうち少なくとも１つを識別可能に表わす指標画像を情報端末装置の出力インターフェースに出力させる
ことが好ましい。

　当該構成の画像表示システムによれば、情報端末装置の出力インターフェースにおいて指定エリア画像に映り込んでいる指定エリアに存在する作業機械の位置に対応付けられている指標画像を通じて、現在運転状態としての当該作業機械のオペレータの有無、オペレータの特定情報および／またはオペレータの属性を当該情報端末装置のユーザに知得させることができる。

　本発明の画像表示システムにおいて、
　作業機械の位置に対応付けて、当該作業機械の現在運転状態としての、遠隔操作装置との通信状態を識別可能に表わす指標画像を情報端末装置の出力インターフェースに出力させる
ことが好ましい。

　当該構成の画像表示システムによれば、情報端末装置の出力インターフェースにおいて指定エリア画像に映り込んでいる指定エリアに存在する作業機械の位置に対応付けられている指標画像を通じて、現在運転状態としての当該作業機械と遠隔操作装置との通信状態（例：通信確立の有無など）を当該情報端末装置のユーザに知得させることができる。

　本発明の画像表示システムにおいて、
　指定エリア画像に加えて作業機械が存在するエリアの気象またはその時系列に関する気象情報を情報端末装置の出力インターフェースに出力させる
ことが好ましい。

　当該構成の画像表示システムによれば、情報端末装置の出力インターフェースに出力される気象情報を通じて、作業機械が存在するエリアにおける気象またはその時系列（現在時刻・時間帯以降の予測気象）を当該情報端末装置のユーザに知得させることができる。

　本発明の画像表示システムにおいて、
　情報端末装置の入力インターフェースを通じて指定操作があった場合、指標画像に位置が対応付けられている作業機械に関連する実機関連情報を情報端末装置の出力インターフェースに出力させる
ことが好ましい。

　当該構成の画像表示システムによれば、情報端末装置の入力インターフェースを通じて指定操作があった場合、出力インターフェースに出力される作業機械の実機関連情報を通じて当該情報端末装置のユーザに知得させることができる。

　本発明の画像表示システムにおいて、
　識別情報毎に各々の操作者の操作履歴情報に応じた一又は複数の作業機械の操作履歴情報を情報端末装置の出力インターフェースに出力させる
ことが好ましい。

　当該構成の画像表示システムによれば、複数の操作者毎に紐づけられた操作履歴情報を当該情報端末装置のユーザに知得させることができる。

　本発明の画像表示システムにおいて、
　情報端末装置の出力インターフェースに操作履歴情報が表示されている状態で、作業機械に対する所定の操作があった場合、地図情報を情報端末装置の出力インターフェースに出力させる
ことが好ましい。

　当該構成の画像表示システムによれば、作業機械に対する所定の操作があった場合、地図情報を当該情報端末装置のユーザに知得させることができる。また、当該情報端末装置に表示することにより、当該情報端末装置のユーザが操作者である場合、当該操作者による操作に応じた表示を行うことができる。

　本発明の画像表示システムにおいて、
　複数の操作履歴情報に含まれる数値の順位にしたがって複数の操作履歴情報を情報端末装置の出力インターフェースに出力させる
ことが好ましい。

　当該構成の画像表示システムによれば、操作履歴情報に含まれる数値の順位にしたがって操作履歴情報を当該情報端末装置のユーザに知得させることができる。該情報端末装置のユーザが管理者である場合、当該管理者は、例えば、複数の操作者を操作履歴の長短（大小）に応じて比較することができる。

　本発明の画像表示システムにおいて、
　予め定められた作業領域毎に複数の操作履歴情報を情報端末装置の出力インターフェースに出力させる
ことが好ましい。

　当該構成の画像表示システムによれば、作業領域に応じた操作履歴情報が、操作者毎に順位づけられている。このため、作業領域（作業環境）に応じた操作者の作業効率を当該情報端末装置のユーザに知得させることができる。

　本発明の画像表示システムにおいて、
　作業機械は遠隔操作される
ことが好ましい。

　当該構成の画像表示システムによれば、遠隔操作がされる作業機械について、操作者毎の操作履歴情報を表示装置に表示することができる。

　本発明の画像表示システムにおいて、
　作業機械を遠隔操作するための遠隔操作装置を備え、
　遠隔操作装置は、一の作業機械から他の作業機械に操作対象を切り替える
ことが好ましい。

　当該構成の画像表示システムによれば、一の遠隔操作装置によって操作された複数の作業機械の操作履歴情報を操作者毎に紐づけて表示することが可能となる。例えば、１の作業機械に接続される遠隔操作装置を切り替えることにより、２人の操作者が１の作業機械を操作する場合がある。このような場合であっても、操作者毎の操作履歴情報を表示装置に表示することができる。

１０‥画像表示システム、２０‥遠隔操作装置、４０‥作業機械、４１‥実機入力インターフェース、４２‥実機出力インターフェース、１０２‥データベース、１２１‥第１機能要素、１２２‥第２機能要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥遠隔画像出力装置、４００‥実機制御装置、４２４‥キャブ（運転室）、４４０‥作業機構、４４５‥アタッチメント（バケット）。

Claims

　作業機械と操作者との相互作用に関する指定情報を情報端末装置の出力インターフェースに出力させる
画像表示システム。
　請求項１に記載の画像表示システムにおいて、
　指定エリア画像に映り込んでいる指定エリアに存在する前記作業機械の位置に対応付けられ、当該作業機械の選択または交代可能な複数の運転状態のうち現在運転状態を識別可能に表わす指標画像を前記指定情報として情報端末装置の出力インターフェースに出力させる
画像表示システム。
　請求項２に記載の画像表示システムにおいて、
　前記作業機械の現在運転状態が第１運転状態である場合、前記作業機械の位置に対応付けて前記指標画像を前記情報端末装置の出力インターフェースに出力させ、
　前記作業機械の現在運転状態が第２運転状態である場合、前記作業機械の位置に対応付けて前記指標画像を前記情報端末装置の出力インターフェースに出力させない
画像表示システム。
　請求項２に記載の画像表示システムにおいて、
　前記作業機械の位置に対応付けて、当該作業機械の現在運転状態として、オペレータの有無、オペレータの特定情報およびオペレータの属性のうち少なくとも１つを識別可能に表わす前記指標画像を前記情報端末装置の出力インターフェースに出力させる
画像表示システム。
　請求項２に記載の画像表示システムにおいて、
　前記作業機械の位置に対応付けて、当該作業機械の現在運転状態としての、遠隔操作装置との通信状態を識別可能に表わす前記指標画像を前記情報端末装置の出力インターフェースに出力させる
画像表示システム。
　請求項２に記載の画像表示システムにおいて、
　前記指定エリア画像に加えて前記作業機械が存在するエリアの気象またはその時系列に関する気象情報を前記情報端末装置の出力インターフェースに出力させる
画像表示システム。
　請求項２に記載の画像表示システムにおいて、
　前記情報端末装置の入力インターフェースを通じて指定操作があった場合、前記指標画像に位置が対応付けられている前記作業機械に関連する実機関連情報を前記情報端末装置の出力インターフェースに出力させる
画像表示システム。
　請求項１に記載の画像表示システムにおいて、
　前記指定情報としての作業機械の操作者の識別情報及び、前記操作者の前記作業機械の操作履歴情報を情報端末装置の出力インターフェースに出力させる画像表示システム。
　請求項８に記載の画像表示システムにおいて、
　前記識別情報毎に各々の前記操作者の前記操作履歴情報に応じた一又は複数の前記作業機械の前記操作履歴情報を前記情報端末装置の出力インターフェースに出力させる
画像表示システム。
　請求項８に記載の画像表示システムにおいて、
　前記情報端末装置の出力インターフェースに前記操作履歴情報が表示されている状態で、前記作業機械に対する所定の操作があった場合、地図情報を前記情報端末装置の出力インターフェースに出力させる
画像表示システム。
　請求項８に記載の画像表示システムにおいて、
　複数の前記操作履歴情報に含まれる数値の順位にしたがって複数の前記操作履歴情報を前記情報端末装置の出力インターフェースに出力させる
画像表示システム。
　請求項８に記載の画像表示システムにおいて、
　予め定められた作業領域毎に複数の前記操作履歴情報を前記情報端末装置の出力インターフェースに出力させる
画像表示システム。
　請求項１～１２のうちいずれか１項に記載の画像表示システムにおいて、
　前記作業機械は遠隔操作される画像表示システム。
　請求項１３に記載の画像表示システムにおいて、
　前記作業機械を遠隔操作するための遠隔操作装置を備え、
　前記遠隔操作装置は、一の作業機械から他の作業機械に操作対象を切り替える
画像表示システム。
　請求項１～１２のうちいずれか１項に記載の画像表示システムと、
　前記情報端末装置、前記作業機械および前記作業機械を遠隔操作するための遠隔操作装置のうち少なくとも一方と、により構成されている
画像表示複合システム。
　請求項１３に記載の画像表示システムと、
　前記情報端末装置、前記作業機械および前記作業機械を遠隔操作するための遠隔操作装置のうち少なくとも一方と、により構成されている
画像表示複合システム。
　指定エリア画像に映り込んでいる指定エリアに存在する作業機械の位置に対応付けられ、当該作業機械の選択または交代可能な複数の運転状態のうち現在運転状態を識別可能に表わす指標画像を指定情報として情報端末装置の出力インターフェースに出力させる工程を含む
画像表示方法。
　作業機械の操作者の識別情報及び、前記操作者の前記作業機械の操作履歴情報を指定情報として情報端末装置の出力インターフェースに出力させる工程を含む画像表示方法。