JP6898816B2 - 表示システム、表示方法、及び表示装置 - Google Patents

Description

本発明は、表示システム、表示方法、及び表示装置に関する。

作業機械を遠隔操作する技術が知られている。作業機械を遠隔操作する場合、撮像装置によって作業現場が撮像される。撮像装置で撮像された作業現場の画像は、遠隔操作施設に設けられている表示装置に表示される。操作者は、表示装置に表示される作業現場の画像を見ながら、遠隔操作装置を操作する。

特許文献１には、作業機械に設けられたカメラで作業現場を撮像するとともに、作業現場に設置されたカメラで作業機械の様子を外方から撮像する技術が開示されている。

特開２０１３−１６８７７６号公報

作業機械を遠隔操作する場合、表示装置に表示される画像が２次元画像であると、操作者は、作業現場の遠近感を得難くなる可能性がある。作業現場の遠近感が得難いと、作業機械を使って運搬車両に対して積込作業を実施する場合、操作者は、作業機械と運搬車両との距離を把握することが困難となる。その結果、遠隔操作の作業効率が低下する可能性がある。

本発明の態様は、操作者が作業機械を快適に遠隔操作することができ、作業効率の低下を抑制することができる技術を提供することを目的とする。

本発明の態様に従えば、作業機を有する作業機械の位置の検出データと前記作業機械の姿勢の検出データとに基づいて、前記作業機械の外部の仮想視点から見た前記作業機械の仮想視点画像を示す作業機械画像を生成する作業機械画像生成部と、運搬車両の位置の検出データと前記運搬車両の姿勢の検出データとに基づいて、前記仮想視点から見た前記運搬車両の仮想視点画像を示す運搬車両画像を生成する運搬車両画像生成部と、前記作業機械画像と前記運搬車両画像とを重畳した合成画像を生成する合成部と、前記合成画像を前記作業機械の外部に存在する表示装置に表示させる表示制御部と、を備える表示システムが提供される。

本発明の態様によれば、操作者が作業機械を快適に遠隔操作することができ、作業効率の低下を抑制することができる技術が提供される。

図１は、本実施形態に係る作業機械の遠隔操作システムの一例を模式的に示す図である。 図２は、本実施形態に係る作業機械を模式的に示す側面図である。 図３は、本実施形態に係る作業機械を模式的に示す背面図である。 図４は、本実施形態に係る作業機械を模式的に示す平面図である。 図５は、本実施形態に係る運搬車両を模式的に示す側面図である。 図６は、本実施形態に係る運搬車両を模式的に示す背面図である。 図７は、本実施形態に係る運搬車両を模式的に示す平面図である。 図８は、本実施形態に係る距離検出装置及び撮像装置を模式的に示す図である。 図９は、本実施形態に係る距離検出装置及び撮像装置の動作の一例を模式的に示す図である。 図１０は、本実施形態に係る制御装置の一例を示す機能ブロック図である。 図１１は、本実施形態に係る表示装置の表示例を示す図である。 図１２は、本実施形態に係る表示方法の一例を示すフローチャートである。 図１３は、本実施形態に係る表示方法の一例を示すフローチャートである。 図１４は、本実施形態に係る表示方法の一例を示すフローチャートである。 図１５は、本実施形態に係るインポーズ画像の一例を模式的に示す図である。 図１６は、本実施形態に係るインポーズ画像の一例を模式的に示す図である。 図１７は、本実施形態に係る制御装置の一例を示す機能ブロック図である。

以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

［作業機械、遠隔操作システム、及び運搬車両の概要］
図１は、本実施形態に係る作業機械１の遠隔操作システム１００の一例を模式的に示す図である。遠隔操作システム１００は、作業機械１を遠隔操作する。本実施形態においては、作業機械１が油圧ショベルであることとする。以下の説明においては、作業機械１を適宜、油圧ショベル１、と称する。

油圧ショベル１は、走行体２と、旋回体３と、作業機４と、油圧シリンダ５と、距離検出装置２０と、位置検出装置３０（第１位置検出装置）と、姿勢検出装置４０（第１姿勢検出装置）と、撮像装置５０と、制御装置６０とを有する。油圧ショベル１は、作業現場に存在し、作業現場で作業する。

本実施形態においては、旋回体３に車体座標系（Ｘｍ−Ｙｍ−Ｚｍ座標系）が規定される。車体座標系とは、旋回体３に規定された原点ＰＬに対する相対位置を示す３次元の座標系である。旋回体３の車体座標系は、原点ＰＬを基準とする第１基準面のＸｍ軸と、第１基準面においてＸｍ軸と直交するＹｍ軸と、第１基準面と直交するＺｍ軸とによって規定される。Ｘｍ軸と平行な方向をＸｍ軸方向とし、Ｙｍ軸と平行な方向をＹｍ軸方向とし、Ｚｍ軸方向と平行な方向をＺｍ軸方向とする。Ｘｍ軸方向は旋回体３の前後方向であり、Ｙｍ軸方向は旋回体３の左右方向であり、Ｚｍ軸方向は旋回体３の上下方向である。

走行体２は、履帯２Ａ，２Ｂを有する。履帯２Ａ，２Ｂが回転することにより、油圧ショベル１が走行する。車体座標系のＺｍ軸は、履帯２Ａ，２Ｂの接地面と直交する。車体座標系の＋Ｚｍ方向は、旋回体３の上方向であり、履帯２Ａ，２Ｂの接地面から離れる方向である。車体座標系の−Ｚｍ方向は、旋回体３の下方向であり、＋Ｚｍ方向とは反対の方向である。

旋回体３は、走行体２に旋回可能に支持される。旋回体３は、旋回軸Ｚｒを中心に旋回可能である。旋回軸Ｚｒは、車体座標系のＺｍ軸と平行である。車体座標系の原点ＰＬは、旋回体３のスイングサークルの中心に規定される。スイングサークルの中心は、旋回体３の旋回軸Ｚｒに位置する。

作業機４は、旋回体３に支持される。車体座標系において、作業機４の少なくとも一部は、旋回体３よりも＋Ｘｍ方向に配置される。車体座標系の＋Ｘｍ方向は、旋回体３の前方向であり、旋回体３を基準として作業機４の先端部９が存在する方向である。車体座標系の−Ｘｍ方向は、旋回体３の後方向であり、＋Ｘｍ方向とは反対の方向である。

作業機４は、旋回体３に連結されるブーム６と、ブーム６に連結されるアーム７と、アーム７に連結されるバケット８とを有する。作業機４の先端部９は、バケット８の刃先を含む。なお、作業機４の先端部９は、バケット８のブレードの先端部でもよい。

油圧シリンダ５は、作業機４を駆動するための動力を発生する。油圧シリンダ５は、油圧ポンプから供給される作動油によって駆動する。油圧シリンダ５は、ブーム６を駆動するブームシリンダ１０と、アーム７を駆動するアームシリンダ１１と、バケット８を駆動するバケットシリンダ１２とを含む。

ブーム６は、回転軸ＡＸ１を中心に旋回体３に回転可能に連結される。アーム７は、回転軸ＡＸ２を中心にブーム６の先端部に回転可能に連結される。バケット８は、回転軸ＡＸ３を中心にアーム７の先端部に回転可能に連結される。ブーム６の回転軸ＡＸ１、アーム７の回転軸ＡＸ２、及びバケット８の回転軸ＡＸ３は、車体座標系のＹｍ軸と平行である。車体座標系の＋Ｙｍ方向は、旋回体３の左方向である。車体座標系の−Ｙｍ方向は、＋Ｙｍ方向とは反対の方向であり、旋回体３の右方向である。

距離検出装置２０は、油圧ショベル１に搭載される。距離検出装置２０は、油圧ショベル１の周囲の対象ＷＡａとの距離Ｌｄを検出する（図９参照）。

対象ＷＡａとして、作業現場において施工される施工対象、地表、旋回体３よりも前方向に存在する作業機４の少なくとも一部、構造物、及び油圧ショベル１とは別の作業機械の少なくとも一つが例示される。

本実施形態において、距離検出装置２０は、レーザレンジファインダを含む。距離検出装置２０は、検出光であるレーザ光を射出する射出部と、対象ＷＡａに照射されたレーザ光の反射光を受光する受光部とを有する。距離検出装置２０は、旋回体３の上部に設けられる。距離検出装置２０の受光部は、旋回体３の前方向（＋Ｘｍ方向）を向く。距離検出装置２０は、旋回体３の前方向の対象ＷＡａとの距離Ｌｄを検出する。距離検出装置２０の検出データは、制御装置６０に出力される。

位置検出装置３０は、油圧ショベル１に搭載される。位置検出装置３０は、グローバル座標系（Ｘｇ−Ｙｇ−Ｚｇ座標系）における油圧ショベル１の旋回体３の位置Ｐａを検出する。グローバル座標系とは、地球に規定された原点ＰＧを基準とする３次元の座標系であって、全地球測位システム（Global Positioning System：ＧＰＳ）のような全地球航法衛星システム（Global Navigation Satellite System：ＧＮＳＳ）により規定される絶対位置を示す座標系である。位置検出装置３０は、旋回体３に設けられる。位置検出装置３０は、ＧＮＳＳを利用して、旋回体３の位置Ｐａを検出する。位置検出装置３０の検出データは、制御装置６０に出力される。

姿勢検出装置４０は、油圧ショベル１に搭載される。姿勢検出装置４０は、油圧ショベル１の姿勢を検出する。油圧ショベル１の姿勢は、旋回体３の姿勢及び作業機４の姿勢を含む。旋回体３の姿勢は、旋回体３の傾斜角を含む。作業機４の姿勢は、作業機４の傾斜角を含む。姿勢検出装置４０は、旋回体３の姿勢を検出する旋回体姿勢センサ４１と、作業機４の姿勢を検出する作業機姿勢センサ４２とを含む。姿勢検出装置４０の検出データは、制御装置６０に出力される。

本実施形態において、旋回体姿勢センサ４１は、旋回体３に設けられた慣性計測装置（Inertial Measurement Unit：ＩＭＵ）を含む。作業機姿勢センサ４２は、油圧シリンダ５の作動量を示すシリンダストロークを検出するストロークセンサを含む。

撮像装置５０は、油圧ショベル１に搭載される。撮像装置５０は、油圧ショベル１の周囲の対象ＷＡａを撮像して、対象ＷＡａの画像を取得する。撮像装置５０は、光学系と、光学系を通過した光を受光するイメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。

本実施形態において、撮像装置５０は、単眼カメラである。撮像装置５０は、旋回体３の上部に設けられる。撮像装置５０の光学系の入射面は、旋回体３の前方向（＋Ｘｍ方向）を向く。撮像装置５０は、旋回体３の前方向の対象ＷＡａの画像を取得する。本実施形態において、撮像装置５０は、旋回体３よりも前方向に存在する作業機４の少なくとも一部の画像を取得可能である。撮像装置５０で取得された対象ＷＡａの画像データは、制御装置６０に出力される。

以下の説明においては、撮像装置５０で取得される画像を適宜、実画像ＲＧ、と称する。実画像ＲＧは、撮像装置５０で撮像された作業現場の実際の画像を示す。実画像ＲＧは、２次元画像である。

遠隔操作システム１００は、油圧ショベル１の外部に存在する遠隔操作施設に設けられる遠隔操作装置７０と、作業現場に存在する対象ＷＡａ及び運搬車両ＷＡｂの画像を遠隔操作施設において表示させる表示システム２００とを備える。

表示システム２００は、油圧ショベル１の外部に存在する表示装置８０と、油圧ショベル１の外部に存在し油圧ショベル１と通信可能な制御装置９０とを備える。遠隔操作装置７０、表示装置８０、及び制御装置９０のそれぞれは、遠隔操作施設に設けられる。遠隔操作装置７０、表示装置８０、及び制御装置９０のそれぞれは、油圧ショベル１及び運搬車両ＷＡｂとは別体で設けられる。

油圧ショベル１に搭載されている制御装置６０と遠隔操作施設に設けられている制御装置９０とは、通信システム３００を介して通信する。通信システム３００は、有線通信してもよいし、無線通信してもよい。通信システム３００は、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、携帯電話通信網、及び衛星通信網の少なくとも一つを含む。

油圧ショベル１は、遠隔操作装置７０によって遠隔操作される。遠隔操作装置７０は、油圧ショベル１の旋回体３及び作業機４を遠隔操作する作業レバー７１と、走行体２を遠隔操作する走行レバー７２とを含む。操作者は、遠隔操作施設において遠隔操作装置７０を操作する。遠隔操作装置７０が操作されることにより生成された操作信号は、通信システム３００を介して制御装置６０に送信される。制御装置６０は、操作信号に基づいて、旋回体３、作業機４、及び走行体２を制御する制御信号を出力する。これにより、油圧ショベル１は遠隔操作される。

作業レバー７１は、旋回体３及び作業機４の作動のために操作される左作業レバー７１Ｌ及び右作業レバー７１Ｒを含む。走行レバー７２は、走行体２の作動のために操作される左走行レバー７２Ｌ及び右走行レバー７２Ｒを含む。

作業現場において、運搬車両ＷＡｂが稼働する。運搬車両ＷＡｂは、ダンプトラックであり、荷台４０１と、荷台４０１を支持する車体４０２と、車体４０２を支持する走行装置４０３と、位置検出装置４３０（第２位置検出装置）と、姿勢検出装置４４０（第２姿勢検出装置）と、制御装置４６０とを有する。走行装置４０３は、タイヤを支持する車輪及び操舵装置を含む。

運搬車両ＷＡｂに運転者が搭乗する。運搬車両ＷＡｂは、運転者によって操作される。油圧ショベル１は、施工対象を作業機４で掘削して、掘削することにより生じた積荷を運搬車両ＷＡｂに積み込む。運搬車両ＷＡｂは、油圧ショベル１により積み込まれた積荷を運搬する。

なお、運搬車両ＷＡｂに運転者が搭乗しなくてもよい。すなわち、運搬車両ＷＡｂは、例えば管理システムから送信された指令信号に基づいて走行する無人運搬車両（無人ダンプトラック）でもよい。

本実施形態においては、車体４０２に車体座標系（Ｘｎ−Ｙｎ−Ｚｎ座標系）が規定される。車体座標系とは、車体４０２に規定された原点ＰＮに対する相対位置を示す３次元の座標系である。車体４０２の車体座標系は、原点ＰＮを基準とする第４基準面のＸｎ軸と、第４基準面においてＸｎ軸と直交するＹｎ軸と、第４基準面と直交するＺｎ軸とによって規定される。Ｘｎ軸と平行な方向をＸｎ軸方向とし、Ｙｎ軸と平行な方向をＹｎ軸方向とし、Ｚｎ軸方向と平行な方向をＺｎ軸方向とする。Ｘｎ軸方向は車体４０２の前後方向であり、Ｙｎ軸方向は車体４０２の左右方向であり、Ｚｎ軸方向は車体４０２の上下方向である。

位置検出装置４３０は、運搬車両ＷＡｂに搭載される。位置検出装置４３０は、グローバル座標系（Ｘｇ−Ｙｇ−Ｚｇ座標系）における運搬車両ＷＡｂの位置Ｐｂを検出する。位置検出装置４３０は、車体４０２に設けられる。位置検出装置４３０は、ＧＮＳＳを利用して、車体４０２の位置Ｐｂを検出する。位置検出装置４３０の検出データは、制御装置４６０に出力される。

姿勢検出装置４４０は、運搬車両ＷＡｂに搭載される。姿勢検出装置４４０は、運搬車両ＷＡｂの姿勢を検出する。運搬車両ＷＡｂの姿勢は、車体４０２の姿勢を含む。車体４０２の姿勢は、車体４０２の傾斜角を含む。姿勢検出装置４４０の検出データは、制御装置４６０に出力される。本実施形態において、姿勢検出装置４４０は、車体４０２に設けられた慣性計測装置（Inertial Measurement Unit：ＩＭＵ）を含む。

運搬車両ＷＡｂに搭載されている制御装置４６０と遠隔操作施設に設けられている制御装置９０とは、通信システム３００を介して通信する。

［作業機械］
図２は、本実施形態に係る油圧ショベル１を模式的に示す側面図である。図３は、本実施形態に係る油圧ショベル１を模式的に示す背面図である。図４は、本実施形態に係る油圧ショベル１を模式的に示す平面図である。

図２、図３、及び図４に示すように、油圧ショベル１は、距離検出装置２０と、位置検出装置３０と、旋回体姿勢センサ４１及び作業機姿勢センサ４２を含む姿勢検出装置４０と、撮像装置５０と、制御装置６０とを有する。

旋回体３に複数のＧＰＳアンテナ３１が設けられる。ＧＰＳアンテナ３１は、ＧＰＳ衛星から電波を受信して、受信した電波に基づいて生成した信号を位置検出装置３０に出力する。位置検出装置３０は、ＧＰＳアンテナ３１からの信号に基づいて、グローバル座標系で規定されるＧＰＳアンテナ３１が設置されている位置Ｐｒを検出する。位置検出装置３０は、ＧＰＳアンテナ３１が設置されている位置Ｐｒに基づいて、グローバル座標系における旋回体３の位置Ｐａを検出する。

ＧＰＳアンテナ３１は、左右方向に２つ設けられる。位置検出装置３０は、一方のＧＰＳアンテナ３１が設置されている位置Ｐｒａ及び他方のＧＰＳアンテナ３１が設置されている位置Ｐｒｂのそれぞれを検出する。位置検出装置３０は、位置Ｐｒａと位置Ｐｒｂとの少なくとも一方に基づいて演算処理を実施して、グローバル座標系における旋回体３の位置Ｐａを検出する。本実施形態において、旋回体３の位置Ｐａは、位置Ｐｒａである。なお、旋回体３の位置Ｐａは、位置Ｐｒｂでもよいし、位置Ｐｒａと位置Ｐｒｂとの間の位置でもよい。

旋回体姿勢センサ４１は、慣性計測装置（ＩＭＵ）を含む。旋回体姿勢センサ４１は、グローバル座標系で規定されるＸｇ−Ｙｇ平面（水平面）に対する旋回体３の傾斜角を検出する。旋回体３の傾斜角は、水平面に対する左右方向における旋回体３の傾斜角を示すロール角θ１と、水平面に対する前後方向における旋回体３の傾斜角を示すピッチ角θ２と、Ｚｍ軸を中心とする回転方向における旋回体３の傾斜角を示すヨー角θ３とを含む。ロール角θ１、ピッチ角θ２、及びヨー角θ３は、慣性計測装置によって検出された角速度を時間積分することにより算出される。旋回体３が旋回すると、ヨー角θ３が変化する。走行体２が停止した状態で旋回体３が旋回する場合、ヨー角θ３は、旋回体３の旋回角に相当する。

旋回体３の姿勢は、ロール角θ１、ピッチ角θ２、及びヨー角θ３の少なくとも一つを含む。

なお、ヨー角θ３は、位置検出装置３０によって検出されてもよい。位置検出装置３０は、一方のＧＰＳアンテナ３１の位置Ｐｒａと他方のＧＰＳアンテナ３１の位置Ｐｒｂとに基づいて、グローバル座標系における基準方位に対する旋回体３の方位を検出することができる。位置検出装置３０は、位置Ｐｒａと位置Ｐｒｂとに基づいて演算処理を実施して、基準方位に対する旋回体３の方位を検出する。基準方位と旋回体３の方位とがなす角度がヨー角θ３に相当する。位置検出装置３０は、位置Ｐｒａと位置Ｐｒｂとを結ぶ直線を算出し、算出した直線と基準方位とがなす角度に基づいて、ヨー角θ３を検出することができる。

作業機姿勢センサ４２は、ストロークセンサを含む。作業機姿勢センサ４２は、車体座標系で規定される作業機４の傾斜角を検出する。ストロークセンサは、ブームシリンダ１０のシリンダストロークを検出するブームストロークセンサ４２Ａと、アームシリンダ１１のシリンダストロークを検出するアームストロークセンサ４２Ｂと、バケットシリンダ１２のシリンダストロークを検出するバケットストロークセンサ４２Ｃとを含む。制御装置６０は、ブームストロークセンサ４２Ａの検出データに基づいて、車体座標系のＺｍ軸に対するブーム６の傾斜角αを算出する。制御装置６０は、アームストロークセンサ４２Ｂの検出データに基づいて、ブーム６に対するアーム７の傾斜角βを算出する。制御装置６０は、バケットストロークセンサ４２Ｃの検出データに基づいて、アーム７に対するバケット８の傾斜角γを算出する。

作業機４の姿勢は、傾斜角α、傾斜角β、及び傾斜角γの少なくとも一つを含む。

［運搬車両］
図５は、本実施形態に係る運搬車両ＷＡｂを模式的に示す側面図である。図６は、本実施形態に係る運搬車両ＷＡｂを模式的に示す背面図である。図７は、本実施形態に係る運搬車両ＷＡｂを模式的に示す平面図である。

図５、図６、及び図７に示すように、運搬車両ＷＡｂは、位置検出装置４３０と、姿勢検出装置４４０と、制御装置４６０とを有する。

車体４０２に複数のＧＰＳアンテナ４３１が設けられる。位置検出装置４３０は、ＧＰＳアンテナ４３１からの信号に基づいて、グローバル座標系で規定されるＧＰＳアンテナ４３１が設置されている位置を検出する。位置検出装置４３０は、ＧＰＳアンテナ４３１が設置されている位置に基づいて、グローバル座標系における車体４０２の位置Ｐｂを検出する。

姿勢検出装置４４０は、慣性計測装置（ＩＭＵ）を含む。姿勢検出装置４４０は、グローバル座標系で規定されるＸｇ−Ｙｇ平面（水平面）に対する車体４０２の傾斜角を検出する。車体４０２の傾斜角は、水平面に対する左右方向における車体４０２の傾斜角を示すロール角θ４と、水平面に対する前後方向における車体４０２の傾斜角を示すピッチ角θ５と、Ｚｎ軸を中心とする回転方向における車体４０２の傾斜角を示すヨー角θ６とを含む。ロール角θ４、ピッチ角θ５、及びヨー角θ６は、慣性計測装置によって検出された角速度を時間積分することにより算出される。なお、ヨー角θ６は、位置検出装置４３０によって検出されてもよい。車体４０２が旋回すると、ヨー角θ６が変化する。

車体４０２の姿勢は、ロール角θ４、ピッチ角θ５、及びヨー角θ６の少なくとも一つを含む。車体４０２が旋回すると、ヨー角θ６が変化する。

［座標系］
図８は、本実施形態に係る距離検出装置２０及び撮像装置５０を模式的に示す図である。上述のように、本実施形態においては、グローバル座標系（Ｘｇ−Ｙｇ−Ｚｇ座標系）と、車体座標系（Ｘｍ−Ｙｍ−Ｚｍ座標系）とが規定される。

また、本実施形態においては、距離検出装置座標系（Ｘｄ−Ｙｄ−Ｚｄ座標系）と、撮像装置座標系（Ｘｃ−Ｙｃ−Ｚｃ座標系）とが規定される。

距離検出装置座標系とは、距離検出装置２０に規定された原点ＰＤに対する相対位置を示す３次元の座標系である。距離検出装置座標系は、原点ＰＤを基準とする第２基準面のＸｄ軸と、第２基準面においてＸｄ軸と直交するＹｄ軸と、第２基準面と直交するＺｄ軸とによって規定される。距離検出装置座標系の原点ＰＤは、距離検出素子２０ＲＣの検出面２０Ｐの中心に規定される。

撮像装置座標系とは、撮像装置５０に規定された原点ＰＣに対する相対位置を示す３次元の座標系である。撮像装置座標系は、原点ＰＣを基準とする第３基準面のＸｃ軸と、第３基準面においてＸｃ軸と直交するＹｃ軸と、第３基準面と直交するＺｃ軸とによって規定される。撮像装置座標系の原点ＰＣは、イメージセンサ１９ＲＣの撮像面１９Ｐの中心に規定される。Ｘｃ軸は、撮像装置５０の光学中心を通り、撮像面１９Ｐと直交する。

位置検出装置３０で検出されるグローバル座標系における旋回体３の位置Ｐａと、旋回体３の車体座標系における原点ＰＬとの相対位置は、例えば油圧ショベル１の設計データ又は諸元データなどから導出される既知データである。また、旋回体３の車体座標系における原点ＰＬと距離検出装置座標系における原点ＰＤと撮像装置座標系における原点ＰＣとの相対位置は、例えば油圧ショベル１の設計データ、距離検出装置２０の設計データ又は諸元データ、及び撮像装置５０の設計データ又は諸元データなどから導出される既知データである。そのため、グローバル座標系における旋回体３の位置Ｐａと、旋回体３の車体座標系における位置と、距離検出装置座標系における位置と、撮像装置座標系における位置とは、相互に変換可能である。

また、位置検出装置４３０で検出されるグローバル座標系における車体４０２の位置Ｐｂと、車体４０２の車体座標系における原点ＰＮとの相対位置は、例えば運搬車両ＷＡｂの設計データ又は諸元データなどから導出される既知データである。また、グローバル座標系における旋回体３と車体４０２との相対位置は、位置検出装置３０によって検出される旋回体３の位置Ｐａと位置検出装置４３０によって検出される車体座標系４０２の位置Ｐｂとによって規定される。そのため、グローバル座標系における旋回体３の位置と、グローバル座標系における車体４０２の位置Ｐｂと、旋回体３の車体座標系における位置と、車体４０２の車体座標系における位置Ｐｂとは、相互に変換可能である。また、グローバル座標系における車体４０２の位置と、車体４０２の車体座標系における位置と、距離検出装置座標系における位置と、撮像装置座標系における位置とは、相互に変換可能である。

［距離検出装置及び撮像装置］
図９は、本実施形態に係る距離検出装置２０及び撮像装置５０の一例を模式的に示す図である。図９は、距離検出装置２０によって検出され撮像装置５０によって撮像される対象ＷＡａが施工対象の地表である例を示す。

図９に示すように、距離検出装置２０は、検出範囲ＭＡを有する。距離検出装置２０は、検出範囲ＭＡに存在する対象ＷＡａとの距離Ｌｄを検出する。距離Ｌｄは、距離検出装置座標系における原点ＰＤと対象ＷＡａの表面との距離である。

距離検出装置２０は、対象ＷＡａの表面との距離Ｌｄを検出して、距離検出装置座標系における対象物ＷＡａの表面の位置Ｐｄを検出する。位置Ｐｄは、原点ＰＤに対する方位及び角度を規定する。距離検出装置２０は、距離検出装置座標系における位置Ｐｄの３次元の座標（Ｘｄ，Ｙｄ，Ｚｄ）を検出することができる。

距離検出装置２０は、対象ＷＡａの表面の複数の部位のそれぞれとの距離Ｌｄを検出して、それら複数の部位それぞれの位置Ｐｄを検出することにより、距離検出座標系における対象ＷＡａの３次元形状を検出することができる。対象ＷＡａの３次元形状は、３次元の座標（Ｘｄ，Ｙｄ，Ｚｄ）が検出された複数の位置Ｐｄの点群データである。

距離検出装置２０は、旋回体３の前方向の対象ＷＡａの３次元形状を検出する。対象ＷＡａが地表である場合、距離検出装置２０は、地表の複数の部位のそれぞれとの距離Ｌｄを検出して、油圧ショベル１の前方向の地形を検出することができる。

上述のように、グローバル座標系における位置と、旋回体３の車体座標系における位置と、車体４０２の車体座標系における位置と、距離検出装置座標系における位置と、撮像装置座標系における位置とは、相互に変換可能である。したがって、距離検出装置座標系において規定された複数の位置Ｐｄ（Ｘｄ，Ｙｄ，Ｚｄ）の点群データは、旋回体３の車体座標系において規定される複数の位置Ｐｍ（Ｘｍ，Ｙｍ，Ｚｍ）の点群データに変換可能であり、車体４０２の車体座標系において規定される複数の位置Ｐｎ（Ｘｎ，Ｙｎ，Ｚｎ）の点群データに変換可能であり、グローバル座標系において規定される複数の位置Ｐｇ（Ｘｇ，Ｙｇ，Ｚｇ）の点群データに変換可能であり、撮像装置座標系において規定される複数の位置Ｐｃ（Ｘｃ，Ｙｃ，Ｚｃ）の点群データに変換可能である。換言すれば、距離検出装置座標系において規定される対象ＷＡａの３次元形状は、座標変換することによって、旋回体３の車体座標系、車体４０２の車体座標系、グローバル座標系、及び撮像装置座標系のそれぞれの対象ＷＡａの３次元形状に変換可能である。

撮像装置５０は、撮像範囲ＴＡを有する。撮像装置５０は、撮像範囲ＴＡに存在する対象ＷＡａの画像を取得することができる。対象ＷＡａの表面において、検出範囲ＭＡと撮像範囲ＴＡの少なくとも一部とが重複する。検出範囲ＭＡと撮像範囲ＴＡの少なくとも一部とが重複するように、旋回体３に対する距離検出装置２０の設置状態及び撮像装置５０の設置状態が調整される。検出範囲ＭＡと撮像範囲ＴＡとが重複する範囲は可能な限り大きいことが好ましい。撮像装置５０は、複数の位置Ｐｄのそれぞれに対応する画像を取得する。位置Ｐｄに対応する画像における位置Ｐｃは、撮像装置座標系において規定される。距離検出装置２０で検出された対象ＷＡａの３次元形状における位置Ｐｄを撮像装置座標系の画像における位置Ｐｃに変換することによって、撮像装置座標系において、対象ＷＡａの３次元形状と対象ＷＡａの画像とを重ね合わせることができる。また、対象ＷＡａの３次元形状における位置Ｐｄ及び対象ＷＡａの画像における位置Ｐｃは、旋回体３の車体座標系の位置Ｐｍ、車体４０２の車体座標系の位置Ｐｎ、又はグローバル座標系の位置Ｐｇに変換可能である。

［制御装置］
図１０は、本実施形態に係る制御装置６０、制御装置４６０、及び制御装置９０の一例を示す機能ブロック図である。

制御装置６０は、コンピュータシステムを含む。制御装置６０は、ＣＰＵ（Central Processing Unit）のようなプロセッサを含む演算処理装置６０Ａと、ＲＡＭ（Random Access Memory）のような揮発性メモリ及びＲＯＭ（Read Only Memory）のような不揮発性メモリを含む記憶装置６０Ｂと、信号及びデータを送受信可能な入出力回路を含む入出力インターフェース６０Ｃとを有する。

制御装置４６０は、コンピュータシステムを含む。制御装置４６０は、ＣＰＵ（Central Processing Unit）のようなプロセッサを含む演算処理装置４６０Ａと、ＲＡＭ（Random Access Memory）のような揮発性メモリ及びＲＯＭ（Read Only Memory）のような不揮発性メモリを含む記憶装置４６０Ｂと、信号及びデータを送受信可能な入出力回路を含む入出力インターフェース４６０Ｃとを有する。

制御装置９０は、コンピュータシステムを含む。制御装置９０は、ＣＰＵ（Central Processing Unit）のようなプロセッサを含む演算処理装置９０Ａと、ＲＡＭ（Random Access Memory）のような揮発性メモリ及びＲＯＭ（Read Only Memory）のような不揮発性メモリを含む記憶装置９０Ｂと、入出力インターフェース９０Ｃとを有する。

表示装置８０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイを含む。

距離検出装置２０が検出した対象ＷＡａとの距離Ｌｄを示す検出データは、制御装置６０に所定の周期で出力される。制御装置６０の入出力インターフェース６０Ｃは、距離検出装置２０の検出データを受信する。制御装置６０の入出力インターフェース６０Ｃは、通信システム３００を介して、距離検出装置２０の検出データを制御装置９０に所定の周期で送信する。

位置検出装置３０が検出した旋回体３の位置Ｐａを示す検出データは、制御装置６０に所定の周期で出力される。制御装置６０の入出力インターフェース６０Ｃは、位置検出装置３０の検出データを受信する。制御装置６０の入出力インターフェース６０Ｃは、通信システム３００を介して、位置検出装置３０の検出データを制御装置９０に所定の周期で送信する。

姿勢検出装置４０が検出した油圧ショベル１の姿勢を示す検出データは、制御装置６０に所定の周期で出力される。制御装置６０の入出力インターフェース６０Ｃは、姿勢検出装置４０の検出データを受信する。制御装置６０の入出力インターフェース６０Ｃは、通信システム３００を介して、姿勢検出装置４０の検出データを制御装置９０に所定の周期で送信する。

撮像装置５０が撮像した対象ＷＡａの画像データは、制御装置６０に所定の周期で出力される。制御装置６０の入出力インターフェース６０Ｃは、撮像装置５０の画像データを受信する。制御装置６０の入出力インターフェース６０Ｃは、通信システム３００を介して、対象ＷＡａの画像データを制御装置９０に所定の周期で送信する。

位置検出装置４３０が検出した車体４０２の位置Ｐｂを示す検出データは、制御装置４６０に所定の周期で出力される。制御装置４６０の入出力インターフェース４６０Ｃは、位置検出装置４３０の検出データを受信する。制御装置４６０の入出力インターフェース４６０Ｃは、通信システム３００を介して、位置検出装置４３０の検出データを制御装置９０に所定の周期で送信する。

姿勢検出装置４４０が検出した運搬車両ＷＡｂの姿勢を示す検出データは、制御装置４６０に所定の周期で出力される。制御装置４６０の入出力インターフェース４６０Ｃは、姿勢検出装置４４０の検出データを受信する。制御装置４６０の入出力インターフェース４６０Ｃは、通信システム３００を介して、姿勢検出装置４４０の検出データを制御装置９０に所定の周期で送信する。

制御装置９０は、通信システム３００を介して、距離検出装置２０の検出データ、位置検出装置３０の検出データ、姿勢検出装置４０の検出データ、撮像装置５０が撮像した対象ＷＡａの画像データ、位置検出装置４３０の検出データ、及び姿勢検出装置４４０の検出データを所定の周期で受信する。制御装置９０は、距離検出装置２０の検出データに基づいて、油圧ショベル１の外部の仮想視点から見た対象ＷＡａの仮想視点画像を示す対象画像ＡＧａを所定の周期で生成する。また、制御装置９０は、位置検出装置３０の検出データと姿勢検出装置４０の検出データとに基づいて、油圧ショベル１の外部の仮想視点から見た油圧ショベル１の仮想視点画像を示す作業機械画像ＢＧを所定の周期で生成する。また、制御装置９０は、位置検出装置４３０の検出データと姿勢検出装置４４０の検出データとに基づいて、油圧ショベル１及び運搬車両ＷＡｂの外部の仮想視点から見た運搬車両ＷＡｂの仮想視点画像を示す運搬車両画像ＡＧｂを所定の周期で生成する。また、制御装置９０は、対象画像ＡＧａと作業機械画像ＢＧと運搬車両画像ＡＧｂとを重畳した合成画像ＩＧを所定の周期で生成する。

表示装置８０は、制御装置９０で生成された合成画像ＩＧを表示する。対象画像ＡＧａ、作業機械画像ＢＧ、及び運搬車両画像ＡＧｂを含む合成画像ＩＧは、制御装置９０によって生成されるコンピュータグラフィックス（computer graphics）である。表示装置８０に表示される対象画像ＡＧａ、作業機械画像ＢＧ、及び運搬車両画像ＡＧｂのそれぞれは、油圧ショベル１及び運搬車両ＷＡｂの外部の仮想視点から俯瞰した３次元画像である。また、表示装置８０は、撮像装置５０で撮像された作業現場の対象ＷＡａの実際の画像を示す実画像ＲＧを表示する。実画像ＲＧは、２次元画像である。

仮想視点とは、実空間（本実施形態においては作業現場）を模擬した仮想空間において、仮想的に設定された視点をいう。仮想視点の位置及び向きは任意に設定可能である。仮想視点画像とは、仮想空間において、位置及び向きが設定された仮想視点から俯瞰した仮想的な画像をいう。例えば、仮想視点画像とは、仮想空間において、仮想視点に設置され、位置及び向きが設定された撮像装置で仮想空間を撮像したときに撮像される仮想的な画像をいう。仮想視点画像は、制御装置９０によって生成されるコンピュータグラフィックスである。

本実施形態において、仮想視点の位置は、油圧ショベル１及び運搬車両ＷＡｂの外部であって、油圧ショベル１及び運搬車両ＷＡｂの斜め上方向に設定される。仮想視点の向きは、油圧ショベル１、油圧ショベル１の周囲の対象ＷＡａ、及び運搬車両ＷＡｂを見下ろすように、斜め下方向に設定される。対象画像ＡＧａは、作業現場の仮想空間において仮想視点から俯瞰した対象ＷＡａの仮想的な３次元画像である。作業機械画像ＢＧは、作業現場の仮想空間において仮想視点から俯瞰した油圧ショベル１の仮想的な３次元画像である。運搬車両画像ＡＧｂは、作業現場の仮想空間において仮想視点から俯瞰した運搬車両ＷＡｂの仮想的な３次元画像である。

演算処理装置９０Ａは、データ受信部９７と、対象画像生成部９１と、作業機械画像生成部９２と、運搬車両画像生成部９５と、合成部９６と、表示制御部９３とを有する。記憶装置９０Ｂは、座標変換データ記憶部９４を有する。

データ受信部９７は、距離検出装置２０の検出データ、位置検出装置３０の検出データ、姿勢検出装置４０の検出データ、及び撮像装置５０の画像データを、通信システム３００を介して受信する。また、データ受信部９７は、位置検出装置４３０の検出データ、及び姿勢検出装置４４０の検出データを、通信システム３００を介して受信する。

対象画像生成部９１は、距離検出装置２０の検出データに基づいて、油圧ショベル１の外部の仮想視点から見た対象ＷＡａの仮想視点画像を示す対象画像ＡＧａを所定の周期で生成する。距離検出装置２０の検出データは、対象ＷＡａの表面の３次元形状を含む。対象画像ＡＧａは、仮想視点から見た対象ＷＡａの３次元画像である。対象画像生成部９１は、対象ＷＡａの３次元形状に基づいて、仮想視点から見た対象ＷＡａの３次元画像である対象画像ＡＧａを生成する。

本実施形態において、対象画像生成部９１は、距離検出装置座標系で規定される対象画像ＡＧａを所定の周期で生成する。対象画像ＡＧａが施工対象（地形）である場合、作業現場において、掘削作業又は整地作業等により対象ＷＡａの３次元形状が変化する。対象画像生成部９１は、対象画像ＡＧａを所定の周期で生成する。掘削作業又は整地作業等により対象ＷＡａの３次元形状が変化した場合、対象画像生成部９１は、対象ＷＡａの３次元形状の変化に連動した対象画像ＡＧａを生成する。

作業機械画像生成部９２は、位置検出装置３０の検出データ及び姿勢検出装置４０の検出データに基づいて、油圧ショベル１の外部の仮想視点から見た油圧ショベル１の仮想視点画像を示す作業機械画像ＢＧを所定の周期で生成する。姿勢検出装置４０の検出データは、油圧ショベル１の旋回体３の姿勢及び作業機４の姿勢を含む。作業機械画像ＢＧは、仮想視点から見た油圧ショベル１の３次元画像である。作業機械画像生成部９２は、旋回体３の姿勢及び作業機４の姿勢に基づいて、仮想視点から見た油圧ショベル１の３次元画像である作業機械画像ＢＧを所定の周期で生成する。

本実施形態において、作業機械画像生成部９２は、旋回体３の車体座標系で規定される作業機械画像ＢＧを所定の周期で生成する。また、例えば旋回体３が旋回してヨー角θ３が変化したとき、作業機械画像生成部９２は、旋回体３の旋回に連動するように、作業機械画像ＢＧを所定の周期で生成する。同様に、ロール角θ１及びピッチ角θ２の少なくとも一方が変化したとき、作業機械画像生成部９２は、ロール角θ１及びピッチ角θ２の少なくとも一方の変化に連動するように、作業機械画像ＢＧを所定の周期で生成する。また、作業機４が作動して、傾斜角α，β，γの少なくとも一つが変化したとき、作業機械画像生成部９２は、傾斜角α，β，γの少なくとも一つの変化に連動するように、作業機械画像ＢＧを所定の周期で生成する。

運搬車両画像生成部９５は、位置検出装置４３０の検出データ及び姿勢検出装置４４０の検出データに基づいて、油圧ショベル１及び運搬車両ＷＡｂの外部の仮想視点から見た運搬車両ＷＡｂの仮想視点画像を示す運搬車両画像ＡＧｂを所定の周期で生成する。運搬車両画像ＡＧｂは、仮想視点から見た運搬車両ＷＡｂの３次元画像である。運搬車両画像生成部９５は、運搬車両ＷＡｂの姿勢に基づいて、仮想視点から見た運搬車両ＷＡｂの３次元画像である運搬車両画像ＡＧｂを所定の周期で生成する。

本実施形態において、運搬車両画像生成部９５は、車体４０２の車体座標系で規定される運搬車両画像ＡＧｂを所定の周期で生成する。また、例えば運搬車両ＷＡｂが旋回してヨー角θ６が変化したとき、運搬車両画像生成部９５は、車体４０２の旋回に連動するように、運搬車両画像ＡＧｂを所定の周期で生成する。同様に、ロール角θ４及びピッチ角θ５の少なくとも一方が変化したとき、運搬車両画像生成部９５は、ロール角θ４及びピッチ角θ５の少なくとも一方の変化に連動するように、運搬車両画像ＡＧｂを所定の周期で生成する。また、積込作業又は運搬作業等により運搬車両ＷＡｂの３次元形状又は位置が変化したとき、運搬車両画像生成部９５は、運搬車両ＷＡｂの３次元形状又は位置の変化に連動するように、運搬車両画像ＡＧｂを生成する。

合成部９６は、作業機械画像生成部９２で生成された作業機械画像ＢＧと、運搬車両画像生成部９５で生成された運搬車両画像ＡＧｂとを合成して、合成画像ＩＧを生成する。合成部９６は、合成画像ＩＧを所定の周期で生成する。合成画像ＩＧは、作業機械画像ＢＧと運搬車両画像ＡＧｂとを重畳した画像である。

本実施形態において、合成部９６は、対象画像生成部９１で生成された対象画像ＡＧａと、作業機械画像生成部９２で生成された作業機械画像ＢＧと、運搬車両画像生成部９５で生成された運搬車両画像ＡＧｂとを合成する。合成画像ＩＧは、対象画像ＡＧａと作業機械画像ＢＧと運搬車両画像ＡＧｂとを重畳した画像である。なお、対象画像ＡＧａは、合成画像ＩＧに含まれなくてもよい。

表示制御部９３は、合成画像ＩＧを表示装置８０に表示させる。表示制御部９３は、合成部９６で生成された合成画像ＩＧを合成部９６から取得する。表示制御部９３は、合成画像ＩＧを表示装置８０が表示可能な表示データに変換して、表示装置８０に出力する。これにより、合成画像ＩＧが表示装置８０に表示される。

座標変換データ記憶部９４は、グローバル座標系における位置と、旋回体３の車体座標系における位置と、車体４０２の車体座標系における位置と、距離検出装置座標系における位置と、撮像装置座標系における位置とを相互に変換するための座標変換データを記憶する。座標変換データは、座標変換パラメータ又は座標変換行列式を含む。グローバル座標系における旋回体３の位置Ｐａと、グローバル座標系における車体４０２の位置Ｐｂと、旋回体３の車体座標系における原点ＰＬと、車体４０２の車体座標系における原点ＰＮと、距離検出装置座標系における原点ＰＤと、撮像装置座標系における原点ＰＣとの相対位置は、設計データ又は諸元データなどから導出される既知データである。そのため、座標変換データは、既知データに基づいて予め導出可能である。座標変換データ記憶部９４は、予め導出された座標変換データを記憶する。

合成部９６は、座標変換データ記憶部９４に記憶されている座標変換データに基づいて、所定の単一の座標系において合成画像ＩＧが表示装置８０に表示されるように、対象画像ＡＧａ、作業機械画像ＢＧ、及び運搬車両画像ＡＧｂの少なくとも一つを座標変換する。表示制御部９３は、単一の座標系において、合成画像ＩＧを表示装置８０に表示させる。

対象画像生成部９１は、距離検出装置２０の検出データに基づいて、距離検出装置座標系における対象画像ＡＧａを生成することができる。作業機械画像生成部９２は、姿勢検出装置４０の検出データに基づいて、旋回体３の車体座標系における作業機械画像ＢＧを生成することができる。また、作業機械画像生成部９２は、位置検出装置３０の検出データ及び姿勢検出装置４０の検出データに基づいて、グローバル座標系における作業機械画像ＢＧを生成することができる。運搬車両画像生成部９５は、姿勢検出装置４４０の検出データに基づいて、車体４０２の車体座標系における運搬車両画像ＡＧｂを生成することができる。運搬車両画像生成部９５は、位置検出装置４３０の検出データ及び姿勢検出装置４４０の検出データに基づいて、グローバル座標系における運搬車両画像ＡＧｂを生成することができる。合成部９６は、対象画像ＡＧａ、作業機械画像ＢＧ、及び運搬車両画像ＡＧｂが単一の座標系で表示されるように、対象画像ＡＧａの座標系、作業機械画像ＢＧの座標系、及び運搬車両画像ＡＧｂの座標系の少なくとも一つを調整する。

例えば旋回体３の車体座標系で規定された対象画像ＡＧａ、作業機械画像ＢＧ、及び運搬車両画像ＡＧｂを表示装置８０に表示させる場合、合成部９６は、座標変換データ記憶部９４に記憶されている座標変換データに基づいて、距離検出座標系で規定されている対象画像ＡＧａを旋回体３の車体座標系で規定される対象画像ＡＧａに変換する。また、合成部９６は、座標変換データ記憶部９４に記憶されている座標変換データに基づいて、車体４０２の車体座標系又はグローバル座標系で規定されている運搬車両画像ＡＧｂを旋回体３の車体座標系で規定される運搬車両画像ＡＧｂに変換する。これにより、対象画像ＡＧａと作業機械画像ＢＧと運搬車両画像ＡＧｂとが、旋回体３の車体座標系において規定される。表示制御部９３は、旋回体３の車体座標系において規定された対象画像ＡＧａ、作業機械画像ＢＧ、及び運搬車両画像ＡＧｂを含む合成画像ＩＧを表示装置８０に表示させる。

また、例えばグローバル座標系で規定された対象画像ＡＧａ、作業機械画像ＢＧ、及び運搬車両画像ＡＧｂを表示装置８０に表示させる場合、合成部９６は、座標変換データ記憶部９４に記憶されている座標変換データに基づいて、距離検出座標系で規定されている対象画像ＡＧａをグローバル座標系で規定される対象画像ＡＧａに変換し、旋回体３の車体座標系で規定されている作業機械画像ＢＧをグローバル座標系で規定される作業機械画像ＢＧに変換し、車体４０２の車体座標系で規定されている運搬車両画像ＡＧｂをグローバル座標系で規定される運搬車両画像ＡＧｂに変換する。これにより、対象画像ＡＧａと作業機械画像ＢＧと運搬車両画像ＡＧｂとが、グローバル座標系において規定される。表示制御部９３は、グローバル座標系において規定された対象画像ＡＧａ、作業機械画像ＢＧ、及び運搬車両画像ＡＧｂを含む合成画像ＩＧを表示装置８０に表示させる。

本実施形態において、表示制御部９３は、撮像装置５０で撮像された対象ＷＡａの実際の画像である実画像ＲＧと、対象画像ＡＧａ、作業機械画像ＢＧ、及び運搬車両画像ＡＧｂを含む合成画像ＩＧとを表示装置８０に同時に表示させる。本実施形態において、表示制御部９３は、実画像ＲＧを表示する表示画面の一部に合成画像ＩＧを表示させる。

図１１は、本実施形態に係る表示装置８０の表示例を示す図である。撮像装置５０は、旋回体３の前方向の対象ＷＡａの実際の画像である実画像ＲＧを取得する。表示制御部９３は、撮像装置５０で取得された作業現場の実画像ＲＧを表示装置８０の表示画面に表示させる。

撮像装置５０は、旋回体３の前方向の対象ＷＡａの実画像ＲＧを取得する。撮像装置５０の撮像において、作業機４の少なくとも一部が映り込む。撮像装置５０によって取得される実画像ＲＧは、作業機４の実画像を含む。本実施形態において、作業現場の実画像ＲＧを表示する表示装置８０の表示画面は、作業機４の実画像を含む。撮像装置５０で撮像された作業現場の実画像ＲＧが表示される表示装置８０の表示画面に作業機４の実画像が表示される。

表示制御部９３は、撮像装置５０で撮像された作業現場の実画像ＲＧを表示する表示装置８０の表示画面の一部に、対象画像ＡＧａ、作業機械画像ＢＧ、及び運搬車両画像ＡＧｂを含む合成画像ＩＧを同時に表示させる。すなわち、表示制御部９３は、作業現場の実画像ＲＧを表示する表示装置８０の表示画面の一部に、対象画像ＡＧａ、作業機械画像ＢＧ、及び運搬車両画像ＡＧｂをインポーズさせる。以下の説明において、表示装置８０の表示画面の一部にインポーズされる少なくとも作業機械画像ＢＧ及び運搬車両画像ＡＧｂを含む合成画像ＩＧを適宜、インポーズ画像ＩＧ、と称する。本実施形態において、インポーズ画像ＩＧは、作業機械画像ＢＧ及び運搬車両画像ＡＧｂのみならず、対象画像ＡＧａも含む。

インポーズ画像ＩＧにおいて、対象画像ＡＧａと作業機械画像ＢＧと運搬車両画像ＡＧｂとは重畳して表示される。

本実施形態において、表示制御部９３は、表示画面において、作業機４の実画像と作業機械画像ＢＧ及び運搬車両画像ＡＧｂを含むインポーズ画像ＩＧとを異なる位置に表示させる。図１１に示すように、本実施形態において、作業機４の実画像は、表示装置８０の表示画面の中央部及び右部に表示される。表示制御部９３は、作業機４の実画像とインポーズ画像ＩＧとが重複しないように、インポーズ画像ＩＧを表示装置８０の表示画面の角部に表示させる。本実施形態においては、作業機４の実画像のみならず、作業機４による施工対象である地表の実画像が表示装置８０の表示画面に表示される。そのため、表示制御部９３は、作業機４の実画像及び地表の実画像とインポーズ画像ＩＧとが重複しないように、インポーズ画像ＩＧを表示装置８０の表示画面の左上の角部に表示させる。なお、インポーズ画像ＩＧは、表示装置８０の表示画面の右上の角部に表示されてもよい。作業機４の実画像及び施工対象の実画像がインポーズ画像ＩＧで隠れないので、操作者は、実画像を見ながら、作業機４を使って施工対象を施工する作業を円滑に実施することができる。

仮想視点は、油圧ショベル１及び油圧ショベル１の周囲の対象ＷＡａの斜め上方向に設定される。本実施形態においては、対象ＷＡａとして、施工対象である地表が存在する。すなわち、本実施形態において、対象画像ＡＧａは、仮想視点から俯瞰した施工対象である地表ＷＡａの３次元形状を示す３次元画像である。

例えば、油圧ショベル１による掘削作業又は整地作業等の作業が進行すると、対象ＷＡａである地表の形状が変化する。地表の形状の変化に伴って、対象画像ＡＧａの形状も変化する。掘削作業又は整地作業等により対象ＷＡａである地表の形状が変化した場合、表示制御部９３は、距離検出装置２０の検出データに基づいて、地表の形状の変化に連動した対象画像ＡＧａを表示装置８０に表示させる。

本実施形態において、作業機械画像ＢＧは、仮想視点から俯瞰した油圧ショベル１を簡易的に模擬したスケルトン画像である。油圧ショベル１の移動及び油圧ショベル１の姿勢の変化に伴って、作業機械画像ＢＧがリアルタイムで動く。すなわち、作業機械画像ＢＧは、油圧ショベル１の位置及び姿勢の変化に同期して動く。表示制御部９３は、位置検出装置３０の検出データに基づいて、油圧ショベル１（走行体２）が移動していることを検出したとき、油圧ショベル１の位置の変化に連動するように、作業機械画像ＢＧを動かす。作業機械画像ＢＧは、走行体２を模擬した仮想視点画像である走行体画像２Ｇと、旋回体３を模擬した仮想視点画像である旋回体画像３Ｇと、作業機４を模擬した仮想視点画像である作業機画像４Ｇとを含む。作業機画像４Ｇは、ブーム６を模擬したブーム画像６Ｇと、アーム７を模擬したアーム画像７Ｇと、バケット８を模擬したバケット画像８Ｇとを含む。

走行体画像２Ｇは、走行体２の外形を簡易的に示すスケルトン画像を含む。旋回体画像３Ｇは、旋回体３の外形を簡易的に示すスケルトン画像を含む。作業機画像４Ｇは、作業機４の外形を簡易的に示すスケルトン画像を含む。走行体画像２Ｇ、旋回体画像３Ｇ、及び作業機画像４Ｇを含む作業機械画像ＢＧは、３次元コンピュータグラフィックスである。作業機械画像生成部９２は、記憶装置９０Ｂに記憶されているスケルトン画像（３次元ＣＧモデル）を記憶装置９０Ｂから取得し、位置検出装置３０の検出データ及び姿勢検出装置４０の検出データに基づいて、油圧ショベル１の位置の変化及び姿勢の変化と同期して動く作業機械画像ＢＧを生成する。

例えば、油圧ショベル１が移動すると、位置検出装置３０は、油圧ショベル１が移動したことを示す検出データを制御装置９０に所定の周期で送信する。作業機械画像生成部９２は、油圧ショベル１の移動と連動するように、作業機械画像ＢＧを移動させる。表示制御部９３は、作業機械画像ＢＧ（走行体画像２Ｇ）が移動するように、作業機械画像ＢＧを表示装置８０に表示させる。

また、油圧ショベル１の姿勢が変化しているとき、表示制御部９３は、姿勢検出装置４０の検出データに基づいて、油圧ショベル１の姿勢の変化に連動するように、作業機械画像ＢＧを動かす。油圧ショベル１の旋回体３が旋回すると、旋回体姿勢センサ４１は、旋回体３が旋回したことを示す検出データを制御装置９０に所定の周期で送信する。作業機械画像生成部９２は、油圧ショベル１の旋回体３の旋回と連動するように、作業機械画像ＢＧの旋回体画像３Ｇを旋回させる。表示制御部９３は、旋回体画像３Ｇが旋回するように、作業機械画像ＢＧを表示装置８０に表示させる。また、油圧ショベル１の作業機４が作動すると、作業機姿勢センサ４２は、作業機４が作動したことを示す検出データを制御装置９０に送信する。作業機械画像生成部９２は、油圧ショベル１の作業機４の作動と連動するように、作業機械画像ＢＧの作業機画像４Ｇを作動させる。表示制御部９３は、作業機画像４Ｇが作動するように、作業機械画像ＢＧを表示装置８０に表示させる。例えば、表示制御部９３は、傾斜角αの変化に連動するようにブーム画像６Ｇを動かし、傾斜角βの変化に連動するようにアーム画像７Ｇを動かし、傾斜角γの変化に連動するようにバケット画像８Ｇを動かす。

本実施形態において、運搬車両画像ＡＧｂは、仮想視点から俯瞰した運搬車両ＷＡｂを簡易的に模擬したスケルトン画像である。運搬車両ＷＡｂの移動及び運搬車両ＷＡｂの姿勢の変化に伴って、運搬車両画像ＡＧｂがリアルタイムで動く。すなわち、運搬車両画像ＡＧｂは、運搬車両ＷＡｂの位置及び姿勢の変化に同期して動く。表示制御部９３は、位置検出装置４３０の検出データに基づいて、運搬車両ＷＡｂが移動していることを検出したとき、運搬車両ＷＡｂの位置の変化に連動するように、運搬車両画像ＡＧｂを動かす。運搬車両ＷＡｂが移動すると、位置検出装置４３０は、運搬車両ＷＡｂが移動したことを示す検出データを制御装置９０に送信する。運搬車両画像生成部９５は、運搬車両ＷＡｂの移動と連動するように、運搬車両画像ＡＧｂを移動させる。表示制御部９３は、運搬車両画像ＡＧｂが移動するように、運搬車両画像ＡＧｂを表示装置８０に表示させる。

運搬車両画像ＡＧｂは、運搬車両ＷＡｂの外形を簡易的に示すスケルトン画像を含む。運搬車両画像ＡＧｂは、３次元コンピュータグラフィックスである。運搬車両画像生成部９５は、記憶装置９０Ｂに記憶されているスケルトン画像（３次元ＣＧモデル）を記憶装置９０Ｂから取得し、位置検出装置４３０の検出データ及び姿勢検出装置４４０の検出データに基づいて、油圧ショベル１の位置の変化及び姿勢の変化と同期して動く運搬車両画像ＡＧｂを生成する。

また、運搬車両ＷＡｂの姿勢が変化しているとき、表示制御部９３は、姿勢検出装置４４０の検出データに基づいて、運搬車両ＷＡｂの姿勢の変化に連動するように、運搬車両画像ＡＧｂを動かす。運搬車両ＷＡｂが傾斜又は旋回すると、姿勢検出装置４４０は、運搬車両ＷＡｂが傾斜又は旋回したことを示す検出データを制御装置９０に送信する。運搬車両画像生成部９５は、運搬車両ＷＡｂの傾斜又は旋回と連動するように、運搬車両画像ＡＧｂを傾斜又は旋回させる。表示制御部９３は、運搬車両画像ＡＧｂが傾斜又は旋回するように、運搬車両画像ＡＧｂを表示装置８０に表示させる。

また、運搬車両ＷＡｂの荷台に積み込まれる積荷の量が変化すると、運搬車両ＷＡｂの形状が変化する。距離検出装置２０は、運搬車両ＷＡｂの形状を検出可能である。運搬車両ＷＡｂの形状が変化しているとき、表示制御部９３は、距離検出装置２０の検出データに基づいて、運搬車両ＷＡｂの形状の変化に連動するように、キャラクタ画像である運搬車両画像ＡＧｂの形状又は表示形態を変化させてもよい。

［表示方法］
図１２、図１３、及び図１４は、本実施形態に係る表示方法の一例を示すフローチャートである。図１２は、油圧ショベル１の制御装置６０の処理を示すフローチャートである。図１３は、運搬車両ＷＡｂの制御装置４６０の処理を示すフローチャートである。図１４は、遠隔操作システム１００の制御装置９０の処理を示すフローチャートである。図１２、図１３、及び図１４に示す処理は、所定の周期で実施される。

図１２を参照しながら、油圧ショベル１の制御装置６０の処理について説明する。

距離検出装置２０は、対象ＷＡａとの距離Ｌｄを検出して、対象ＷＡａの３次元形状を検出する。

位置検出装置３０は、旋回体３の位置Ｐａを検出する。

姿勢検出装置４０は、旋回体３の姿勢及び作業機４の姿勢を含む油圧ショベル１の姿勢を検出する。旋回体３の姿勢は、ロール角θ１、ピッチ角θ２、及びヨー角θ３を含む。旋回体３が旋回すると、ヨー角θ３が変化する。走行体２が停止した状態で旋回体３が旋回する場合、ヨー角θ３は、旋回体３の旋回角に相当する。作業機４の姿勢は、傾斜角α、傾斜角β、及び傾斜角γを含む。

また、撮像装置５０は、作業現場の実画像ＲＧを示す画像データを取得する。

距離検出装置２０の検出データ、位置検出装置３０の検出データ、姿勢検出装置４０の検出データ、及び撮像装置５０の画像データは、制御装置６０に出力される。

制御装置６０の入出力インターフェース６０Ｃは、距離検出装置２０の検出データを距離検出装置２０から取得する（ステップＳ１０）。

また、制御装置６０の入出力インターフェース６０Ｃは、位置検出装置３０の検出データを位置検出装置３０から取得する（ステップＳ２０）。

また、制御装置６０の入出力インターフェース６０Ｃは、姿勢検出装置４０の検出データを姿勢検出装置４０から取得する（ステップＳ３０）。

また、検出装置６０の入出力インターフェース６０Ｃは、撮像装置５０の画像データを撮像装置５０から取得する（ステップＳ４０）。

なお、ステップＳ１０とステップＳ２０とステップＳ３０とステップＳ４０とが実施される順番は任意であり、同時に実施されてもよい。

制御装置６０の入出力インターフェース６０Ｃは、距離検出装置２０の検出データを、通信システム３００を介して、制御装置９０に送信する（ステップＳ５０）。

また、制御装置６０の入出力インターフェース６０Ｃは、位置検出装置３０の検出データを、通信システム３００を介して、制御装置９０に送信する（ステップＳ６０）。

また、制御装置６０の入出力インターフェース６０Ｃは、姿勢検出装置４０の検出データを、通信システム３００を介して、制御装置９０に送信する（ステップＳ７０）。

また、制御装置６０の入出力インターフェース６０Ｃは、撮像装置５０の画像データを、通信システム３００を介して、制御装置９０に送信する（ステップＳ８０）。

なお、ステップＳ５０とステップＳ６０とステップＳ７０とステップＳ８０とが実施される順番は任意であり、同時に実施されてもよい。

次に、図１３を参照しながら、運搬車両ＷＡｂの制御装置４６０の処理について説明する。

位置検出装置４３０は、車体４０２の位置Ｐｂを検出する。位置検出装置４３０の検出データは、制御装置４６０に出力される。

姿勢検出装置４４０は、車体４０２の姿勢を検出する。車体４０２の姿勢は、ロール角θ４、ピッチ角θ５、及びヨー角θ６を含む。姿勢検出装置４４０の検出データは、制御装置４６０に出力される。

制御装置４６０の入出力インターフェース４６０Ｃは、位置検出装置４３０の検出データを位置検出装置４３０から取得する（ステップＳ１１０）。

また、制御装置４６０の入出力インターフェース４６０Ｃは、姿勢検出装置４４０の検出データを姿勢検出装置４４０から取得する（ステップＳ１２０）。

なお、ステップＳ１１０とステップＳ１２０とが実施される順番は任意であり、同時に実施されてもよい。

制御装置４６０の入出力インターフェース４６０Ｃは、位置検出装置４３０の検出データを、通信システム３００を介して、制御装置９０に送信する（ステップＳ１３０）。

また、制御装置４６０の入出力インターフェース４６０Ｃは、姿勢検出装置４４０の検出データを、通信システム３００を介して、制御装置９０に送信する（ステップＳ１４０）。

なお、ステップＳ１３０とステップＳ１４０とが実施される順番は任意であり、同時に実施されてもよい。

次に、図１４を参照しながら、遠隔操作システム１００の制御装置９０の処理について説明する。

制御装置９０のデータ受信部９７は、距離検出装置２０の検出データを、通信システム３００を介して受信する（ステップＳ２１０）。

また、制御装置９０のデータ受信部９７は、位置検出装置３０の検出データを、通信システム３００を介して受信する（ステップＳ２２０）。

また、制御装置９０のデータ受信部９７は、姿勢検出装置４０の検出データを、通信システム３００を介して受信する（ステップＳ２３０）。

また、制御装置９０のデータ受信部９７は、撮像装置５０の画像データを、通信システム３００を介して受信する（ステップＳ２４０）。

また、制御装置９０のデータ受信部９７は、位置検出装置４３０の検出データを、通信システム３００を介して受信する（ステップＳ２５０）。

また、制御装置９０のデータ受信部９７は、姿勢検出装置４４０の検出データを、通信システム３００を介して受信する（ステップＳ２６０）。

なお、ステップＳ２１０とステップＳ２２０とステップＳ２３０とステップＳ２４０とステップＳ２５０とステップＳ２６０とが実施される順番は任意であり、同時に実施されてもよい。

対象画像生成部９１は、距離検出装置２０の検出データに基づいて、対象ＷＡａの仮想視点画像を示す対象画像ＡＧａを生成する（ステップＳ２７０）。

作業機械画像生成部９２は、位置検出装置３０の検出データ及び姿勢検出装置４０の検出データに基づいて、油圧ショベル１の仮想視点画像を示す作業機械画像ＢＧを生成する（ステップＳ２８０）。

運搬車両画像生成部９５は、位置検出装置４３０の検出データ及び姿勢検出装置４４０の検出データに基づいて、運搬車両ＷＡｂの仮想視点画像を示す運搬車両画像ＡＧｂを生成する（ステップＳ２９０）。

合成部９６は、対象画像ＡＧａと作業機械画像ＢＧと運搬車両画像ＡＧｂを合成してインポーズ画像ＩＧを生成する（ステップＳ３００）。

合成部９６は、対象画像ＡＧａと作業機械画像ＢＧと運搬車両画像ＡＧｂとを重畳したインポーズ画像ＩＧを生成する。合成部９６は、座標変換データ記憶部９４に記憶されている座標変換データを利用して、対象画像ＡＧａと作業機械画像ＢＧと運搬車両画像ＡＧｂとが単一の座標系で表示されるように、対象画像ＡＧａの座標系、作業機械画像ＢＧの座標系、及び運搬車両画像ＡＧｂの座標系を調整する。

表示制御部９３は、撮像装置５０で撮像された対象ＷＡａの実画像ＲＧを表示装置８０に出力する。また、表示制御部９３は、合成部９６で生成されたインポーズ画像ＩＧを合成部９６から取得する。表示制御部９３は、単一の座標系において規定された対象画像ＡＧａと作業機械画像ＢＧと運搬車両画像ＡＧｂとを含むインポーズ画像ＩＧを表示装置８０に出力する（ステップＳ３１０）。

表示装置８０は、少なくとも作業機４の実映像を含む対象ＷＡａの実画像ＲＧと、インポーズ画像ＩＧとを表示する（ステップＳ３２０）。表示制御部９３は、表示装置８０の表示画面において作業機４の実画像とインポーズ画像ＩＧとを異なる位置に表示させる。

操作者は、表示装置８０に表示されている実画像ＲＧ及びインポーズ画像ＩＧを見ながら、遠隔操作装置７０を操作して、油圧ショベル１を遠隔操作する。インポーズ画像ＩＧは、対象ＷＡａ、運搬車両ＷＡｂ、及び油圧ショベル１を俯瞰した３次元画像であるため、操作者は、インポーズ画像ＩＧを見ることによって、油圧ショベル１と対象ＷＡａとの遠近感を得易い。本実施形態においては、対象ＷＡａである地表の３次元形状を示す対象画像ＡＧａが表示されるため、操作者は、対象画像ＡＧａと作業機械画像ＢＧとを見て、対象ＷＡａと油圧ショベル１の作業機４との距離を把握することができる。そのため、操作者は、掘削作業又は整地作業等を円滑に実施することができる。また、運搬車両ＷＡｂの３次元形状を示す運搬車両画像ＡＧｂが表示されるため、操作者は、運搬車両画像ＡＧｂと作業機械画像ＢＧとを見て、運搬車両ＷＡｂと油圧ショベル１の作業機４との距離を把握することができる。そのため、操作者は、積込作業等を円滑に実施することができる。

図１５は、本実施形態に係るインポーズ画像ＩＧの一例を模式的に示す図である。図１５は、車体座標系において規定された作業機械画像ＢＧと運搬車両画像ＡＧｂとを含むインポーズ画像ＩＧを示す。図１５に示す例において、表示制御部９３は、車体座標系において固定された仮想視点から見た作業機械画像ＢＧ及び運搬車両画像ＡＧｂを表示装置８０に表示させる。仮想視点は車体座標系において固定されている。そのため、油圧ショベル１の走行体２が停止した状態で旋回体３が旋回した場合、作業機械画像ＢＧのうち旋回体画像３Ｇは停止しているように表示され、走行体画像２Ｇが旋回軸Ｚｒを中心に旋回するように表示される。また、運搬車両画像ＡＧｂも旋回軸Ｚｒを中心に旋回するように表示される。

図１６は、本実施形態に係るインポーズ画像ＩＧの一例を模式的に示す図である。図１６は、グローバル座標系において規定された作業機械画像ＢＧと運搬車両画像ＡＧｂとを含むインポーズ画像ＩＧを示す。図１６に示す例において、表示制御部９３は、グローバル座標系において固定された仮想視点から見た作業機械画像ＢＧ及び運搬車両画像ＡＧｂを表示装置８０に表示させる。仮想視点はグローバル座標系において固定されている。そのため、油圧ショベル１の走行体２が停止した状態で旋回体３が旋回した場合、作業機械画像ＢＧのうち走行体画像２Ｇは停止しているように表示され、旋回体画像３Ｇが旋回軸Ｚｒを中心に旋回するように表示される。また、運搬車両ＷＡｂが停止している場合、運搬車両画像ＡＧｂは停止しているように表示される。

［効果］
以上説明したように、本実施形態によれば、位置検出装置３０の検出データ及び姿勢検出装置４０の検出データに基づいて、油圧ショベル１の外部の仮想視点から見た作業機械画像ＢＧが生成される。また、位置検出装置４３０の検出データ及び姿勢検出装置４４０の検出データに基づいて、油圧ショベル１及び運搬車両ＷＡｂの外部の仮想視点から見た運搬車両画像ＡＧｂが生成される。作業機械画像ＢＧ及び運搬車両画像ＡＧｂは、３次元コンピュータグラフィックスであり、それら作業機械画像ＢＧ及び運搬車両画像ＡＧｂを含むインポーズ画像ＩＧが表示装置８０に表示される。操作者は、表示装置８０に表示された作業機械画像ＢＧ及び運搬車両画像ＡＧｂを見ることにより、作業現場の遠近感を得ることができる。そのため、操作者は、運搬車両ＷＡｂと油圧ショベル１との距離、特に運搬車両ＷＡｂの荷台４０１と油圧ショベル１のバケット８との距離を容易に把握することができる。したがって、操作者は、遠隔操作装置７０を操作して、油圧ショベル１の作業機４を使って、運搬車両ＷＡｂに対する積込作業を円滑に実施することができる。これにより、遠隔操作の作業効率の低下が抑制される。

また、本実施形態によれば、インポーズ画像ＩＧは、作業機械画像ＢＧと運搬車両画像ＡＧｂとを重畳した画像である。また、本実施形態においては、走行体２、旋回体３、及び作業機４が動いたとき、インポーズ画像ＩＧにおいて、走行体画像２Ｇ、旋回体画像３Ｇ、及び作業機画像４Ｇが同期して動き、運搬車両ＷＡｂが動いたとき、インポーズ画像ＩＧにおいて、運搬車両画像ＡＧｂが同期して動く。そのため、操作者が走行体２、旋回体３、及び作業機４の少なくとも一つを動かしたり、運搬車両ＷＡｂが動いたりしたとき、走行体画像２Ｇ、旋回体画像３Ｇ、及び作業機画像４Ｇの少なくとも一つが、運搬車両画像ＡＧｂに重畳した状態で動く。したがって、操作者は、作業機械画像ＢＧと運搬車両画像ＡＧｂとを重畳したインポーズ画像ＩＧを見ることによって、動いている状態の走行体２、旋回体３、及び作業機４の少なくとも一つと運搬車両ＷＡｂとの遠近感を認識し易くなる。

また、本実施形態においては、インポーズ画像ＩＧにおいて、作業機械画像ＢＧ及び運搬車両画像ＡＧｂのみならず、施工対象を含む作業現場の対象ＷＡａの対象画像ＡＧａが表示される。これにより、操作者は、対象ＷＡａと油圧ショベル１との距離を容易に把握することができる。そのため、操作者は、遠隔操作装置７０を操作して、油圧ショベル１の作業機４で対象ＷＡａを円滑に施工することができる。

また、本実施形態によれば、距離検出装置２０、位置検出装置３０、姿勢検出装置４０、及び撮像装置５０は、油圧ショベル１に搭載される。例えば、距離検出装置が油圧ショベル１の外部に設置される場合、距離検出装置を別途用意したり、距離検出装置の設置作業を実施したりする必要が生じる。この場合、装置コストが上昇したり、作業効率が低下したりする可能性がある。距離検出装置２０が油圧ショベル１に搭載されることにより、距離検出装置を別途用意する必要はなくなり、距離検出装置の設置作業を実施する必要はなくなる。そのため、装置コストを抑制することができ、作業効率の低下を抑制することができる。また、距離検出装置２０が油圧ショベル１に搭載されることにより、対象ＷＡａ（施工対象）の位置が徐々に変化する場合でも、距離検出装置の設置作業を実施する必要がなくなる。位置検出装置３０、姿勢検出装置４０、及び撮像装置５０についても同様である。

また、本実施形態においては、撮像装置５０で撮像された実画像ＲＧを含む表示装置８０の表示画面の一部に作業機械画像ＢＧ及び運搬車両画像ＡＧｂを含むインポーズ画像ＩＧが表示される。実画像ＲＧの一部にインポーズ画像ＩＧがインポーズされることにより、操作者は、実画像ＲＧを見ながら、視線を大きく動かすことなくインポーズ画像ＩＧを見ることができる。そのため、操作者は、安心感を抱くことができ、円滑な操作を実施することができる。

また、本実施形態においては、インポーズ画像ＩＧがインポーズされる実画像ＲＧは、作業機４の画像を含む。すなわち、旋回体３の＋Ｘｍ方向の実画像ＲＧにインポーズ画像ＩＧがインポーズされる。操作者は、実画像ＲＧを見ることにより、作業機４の作業状況を把握することができ、インポーズ画像ＩＧを見ることにより、運搬車両ＷＡｂと作業機４との距離を把握することができる。作業機４を使って作業をする場合、操作者は、作業機４の実画像を見ながら遠隔操作装置７０を操作する。そのため、作業機４の実画像を含む実画像ＲＧの一部にインポーズ画像ＩＧがインポーズされることにより、操作者は、実画像ＲＧを見ながら、視線を大きく動かすことなくインポーズ画像ＩＧを見ることができる。したがって、操作者は、円滑な操作を実施することができるため、作業効率の低下が抑制される。また、表示装置８０の表示画面において、作業機４の実画像とインポーズ画像ＩＧとは、異なる位置に表示される。これにより、作業機４の実画像がインポーズ画像ＩＧに遮られないため、操作者は、作業機４の実画像及びインポーズ画像ＩＧの両方を円滑に見ることができる。

また、本実施形態によれば、所定の単一の座標系において作業機械画像ＢＧ及び運搬車両画像ＡＧｂが表示される。これにより、操作者は、作業機械画像ＢＧ及び運搬車両画像ＡＧｂを見て、油圧ショベル１と運搬車両画像ＡＧｂとの距離及び相対位置を容易に把握することができる。

また、車体座標系において作業機械画像ＢＧ及び運搬車両画像ＡＧｂが生成され、車体座標系において固定された仮想視点から見た作業機械画像ＢＧ及び運搬車両画像ＡＧｂが表示されることにより、図１５を参照して説明したように、旋回体３が旋回したとき、旋回体画像３Ｇが停止し、走行体画像２Ｇ及び運搬車両画像ＡＧｂが旋回するように表示される。これにより、操作者は、旋回体３を基準とした作業現場の状況を俯瞰することができる。

また、グローバル座標系において作業機械画像ＢＧ及び運搬車両画像ＡＧｂが生成され、グローバル座標系において固定された仮想視点から見た作業機械画像ＢＧ及び運搬車両画像ＡＧｂが表示されることにより、図１６を参照して説明したように、旋回体３が旋回したとき、走行体画像２Ｇ及び運搬車両画像ＡＧｂが停止し、旋回体画像３Ｇが旋回するように表示される。これにより、操作者は、走行体２及び運搬車両画像ＡＧｂを基準とした作業現場の状況を俯瞰することができる。

また、本実施形態によれば、作業機械画像ＢＧは、作業機４の画像のみならず、旋回体３の画像も含む。そのため、操作者は、表示装置８０に表示された対象画像ＡＧａを見て、作業機４の作動状況及び対象ＷＡａと作業機４との距離のみならず、旋回体３の旋回状況及び対象ＷＡａと旋回体３との相対位置を把握することができる。また、旋回体３の姿勢を検出する旋回体姿勢センサ４１と作業機４の姿勢を検出する作業機姿勢センサ４２とが設けられることにより、旋回体姿勢センサ４１の検出データに基づいて、実際の旋回体３の旋回に連動するように旋回体画像３Ｇが表示され、作業機姿勢センサ４２の検出データに基づいて、実際の作業機４の作動に連動するように作業機画像４Ｇが表示される。これにより、操作者は、油圧ショベル１の姿勢及び作動状況を俯瞰することができる。

なお、上述の実施形態においては、ＩＭＵを含む姿勢検出装置４４０が運搬車両ＷＡｂに搭載され、姿勢検出装置４４０によって運搬車両ＷＡｂの姿勢（ロール角θ４、ピッチ角θ５、ヨー角θ６）が検出されることとした。運搬車両ＷＡｂの姿勢として、ヨー角θ６が検出され、ロール角θ４及びピッチ角θ５は検出されなくてもよい。積込作業においては、運搬車両ＷＡｂは水平面と実質的に平行な地面に位置付けられる場合が多く、ロール角θ４及びピッチ角θ５がゼロに近い場合が多い。そのため、ロール角θ４及びピッチ角θ５がゼロとみなされた状態で、ヨー角θ６の検出データに基づいて、運搬車両画像ＡＧｂが表示されてもよい。

また、図１７に示すように、姿勢検出装置４４０が省略されてもよい。上述のように、ヨー角θ６は、位置検出装置４３０によって検出することができる。図１７において、位置検出装置４３０の検出データは、制御装置４６０に出力される。制御装置４６０の演算処理装置４６０Ａは、位置検出装置４３０の検出データに基づいてヨー角θ６を算出する姿勢算出部４４０Ｂを含む。図５及び図６等を参照して説明したように、少なくとも２つのＧＰＳアンテナ４３１が運搬車両ＷＡｂに設けられている場合、姿勢算出部４４０は、一方のＧＰＳアンテナ４３１の位置と他方のＧＰＳアンテナ４３１の位置とに基づいて、グローバル座標系における基準方位に対する車体４０２の方位を検出することができる。姿勢算出部４４０は、一方のＧＰＳアンテナ４３１の位置と他方のＧＰＳアンテナ４３１の位置とに基づいて演算処理を実施して、基準方位に対する車体４０２の方位を検出する。基準方位と車体４０２の方位とがなす角度がヨー角θ６に相当する。姿勢算出部４４０Ｂは、一方のＧＰＳアンテナ４３１の位置と他方のＧＰＳアンテナ４３１の位置とを結ぶ直線を算出し、算出した直線と基準方位とがなす角度に基づいて、ヨー角θ６を検出することができる。なお、運搬車両ＷＡｂに設けられるＧＰＳアンテナ４３１（位置検出装置４３０）は、１つでもよい。姿勢算出部４４０Ｂは、１つの位置検出装置４３０の検出データに基づいて、水平面内における運搬車両ＷＡｂの移動軌跡を導出することができる。基準方位に対する運搬車両ＷＡｂの移動軌跡の接線の方向は、ヨー角θ６に相当する。姿勢算出部４４０Ｂは、１つの位置検出装置４３０の検出データに基づいて導出された移動軌跡の接線に基づいて、ヨー角θ６を検出することができる。

なお、上述の実施形態において、インポーズ画像ＩＧにおいて、対象画像ＡＧａの３次元形状と撮像装置５０で撮像された画像とが重ね合わされた状態で表示されてもよい。上述のように、距離検出装置２０で検出された対象ＷＡａの３次元形状における位置Ｐｄを撮像装置座標系の画像における位置Ｐｃに変換することによって、撮像装置座標系において、対象ＷＡａの３次元形状と対象ＷＡａの画像とを重ね合わせることができる。また、対象ＷＡａの３次元形状における位置Ｐｄ及び対象ＷＡａの画像における位置Ｐｃは、車体座標系の位置Ｐｍ又はグローバル座標系の位置Ｐｇに変換可能である。

なお、上述の実施形態においては、インポーズ画像ＩＧは、作業機械画像ＢＧと運搬車両画像ＡＧｂと対象画像ＡＧａとを含むこととした。インポーズ画像ＩＧは、作業機械画像ＢＧと運搬車両画像ＡＧｂとを含み、対象画像ＡＧａを含まなくてもよい。また、上述の実施形態において、距離検出装置２０が省略されてもよい。作業現場の対象ＷＡａ（施工対象）の実画像ＲＧが表示装置８０に表示されることにより、操作者は、対象ＷＡａの実画像ＲＧを見て、対象ＷＡａを確認することができる。一方、インポーズ画像ＩＧが、少なくとも作業機械画像ＢＧ及び運搬車両画像ＡＧｂを含むことにより、操作者は、荷台４０１とバケット８との遠近感（距離感）を得ることができるため、例えば積込作業において荷台４０１とバケット８とを接触させてしまうといったような不測の事態の発生を抑制することができる。

なお、上述の実施形態において、作業機械画像ＢＧは、走行体画像２Ｇ、旋回体画像３Ｇ、及び作業機画像４Ｇを含むこととした。作業機械画像ＢＧは、旋回体画像３Ｇ及び作業機画像４Ｇを含み、走行体画像２Ｇを含まなくてもよい。また、作業機械画像ＢＧは、作業機画像４Ｇを含み、走行体画像２Ｇ及び旋回体画像３Ｇを含まなくてもよい。

なお、上述の実施形態において、距離検出装置２０がレーザレンジファインダであることとした。距離検出装置２０は、レーザレンジファインダに限定されない。距離検出装置２０は、対象ＷＡａの３次元形状を検出できればよく、例えば超音波距離センサでもよいし、ステレオカメラでもよい。

なお、上述の実施形態において、距離検出装置２０が複数設けられてもよい。また、距離検出装置２０によって、旋回体３の前方向の対象ＷＡａの３次元形状のみならず、旋回体３の右方向の対象ＷＡａの３次元形状、旋回体３の左方向の対象ＷＡａの３次元形状、及び旋回体３の後方向の対象ＷＡａの３次元形状の少なくとも一つが検出されてもよい。

なお、上述の実施形態において、作業機姿勢センサ４２がストロークセンサであることとした。作業機姿勢センサ４２は、ストロークセンサに限定されない。作業機姿勢センサ４２は、作業機４の傾斜角を検出できればよく、例えばロータリーセンサでもよいし、加速度センサでもよいし、レーザスキャナのような光学センサでもよい。

なお、上述の実施形態において、撮像装置５０が単眼カメラであることとした。撮像装置５０は、単眼カメラに限定されない。撮像装置５０は、例えば対象ＷＡａの３次元形状を検出する機能と画像を取得する機能とを有するステレオカメラでもよい。

なお、上述の実施形態において、撮像装置５０が複数設けられてもよい。また、撮像装置５０によって、旋回体３の前方向の対象ＷＡａの画像のみならず、旋回体３の右方向の対象ＷＡａの画像、旋回体３の左方向の対象ＷＡａの画像、及び旋回体３の後方向の対象ＷＡａの画像の少なくとも一つが取得されてもよい。

なお、上述の実施形態において、距離検出装置２０、位置検出装置３０、姿勢検出装置４０、及び撮像装置５０の少なくとも一つが、油圧ショベル１に搭載されずに、油圧ショベル１の外部に設置されてもよい。

なお、上述の実施形態においては、運搬車両ＷＡｂの位置ＰｂがＧＮＳＳを利用して検出されることとした。運搬車両ＷＡｂの位置が、例えば油圧ショベル１に搭載されたステレオカメラ又はレーザ距離計等に基づいて検出されてもよいし、運搬車両ＷＡｂの運転者が所持するスマートフォン等のＧＮＳＳ機能によって検出されてもよい。

なお、上述の実施形態において、位置検出装置４３０及び姿勢検出装置４４０の少なくとも一方が、運搬車両ＷＡｂに搭載されずに、運搬車両ＷＡｂの外部に設置されてもよい。

なお、上述の実施形態において、仮想視点は移動してもよい。すなわち、表示制御部９３は、異なる複数の位置のそれぞれに設定される仮想視点から見た作業機械画像ＢＧ及び運搬車両画像ＡＧｂを含むインポーズ画像ＩＧを表示装置８０に表示させてもよい。例えば、インポーズ画像ＩＧが自由視点画像でもよい。自由視点画像とは、対象物（油圧ショベル１及び運搬車両２）に対する仮想視点を任意の位置に設定し、その設定された仮想視点から見た画像をいう。

なお、上述の実施形態においては、距離検出装置２０の検出データ、位置検出装置３０の検出データ、及び姿勢検出装置４０の検出データが、通信システム３００を介して制御装置９０に送信され、制御装置９０において作業機械画像ＢＧ及び運搬車両画像ＡＧｂが生成され、表示装置８０に表示されることとした。作業機械画像ＢＧ及び運搬車両画像ＡＧｂの少なくとも一方が、油圧ショベル１に搭載されている制御装置６０で生成され、生成された作業機械画像ＢＧ及び運搬車両画像ＡＧｂの少なくとも一方が、通信システム３００を介して制御装置９０に送信され、表示装置８０に表示されてもよい。

なお、上述の実施形態においては、位置検出装置４３０の検出データ及び姿勢検出装置４４０の検出データが、通信システム３００を介して制御装置９０に送信され、制御装置９０において運搬車両画像ＡＧｂが生成され、表示装置８０に表示されることとした。運搬車両画像ＡＧｂが、運搬車両ＷＡｂに搭載されている制御装置４６０で生成され、生成された運搬車両画像ＡＧｂが、通信システム３００を介して制御装置９０に送信され、表示装置８０に表示されてもよい。

なお、上述の実施形態においては、作業現場の実画像ＲＧを表示する表示装置８０の表示画面の一部にインポーズ画像ＩＧが表示されることとした。実画像ＲＧを表示する表示装置と、インポーズ画像ＩＧを表示する表示装置とが異なる表示装置でもよい。例えば、メイン表示装置に隣接するようにサブ表示装置が配置され、メイン表示装置に実画像ＲＧが表示され、サブ表示装置にインポーズ画像ＩＧが表示されてもよい。

なお、上述の実施形態においては、作業機械１が油圧ショベルであることとした。作業機械１は、作業機及び作業機を支持する旋回体を備えていればよく、油圧ショベルに限定されない。また、作業機械１は、作業機を備えていればよく、旋回体を備えていなくてもよい。例えば、作業機械１がホイールローダ等でもよい。

１…油圧ショベル（作業機械）、２…走行体、２Ａ…履帯、２Ｂ…履帯、３…旋回体、４…作業機、５…油圧シリンダ、６…ブーム、７…アーム、８…バケット、９…先端部、１０…ブームシリンダ、１１…アームシリンダ、１２…バケットシリンダ、２０…距離検出装置、３０…位置検出装置（第１位置検出装置）、３１…ＧＰＳアンテナ、４０…姿勢検出装置（第１姿勢検出装置）、４１…旋回体姿勢センサ、４２…作業機姿勢センサ、４２Ａ…ブームストロークセンサ、４２Ｂ…アームストロークセンサ、４２Ｃ…バケットストロークセンサ、５０…撮像装置、６０…制御装置、６０Ａ…演算処理装置、６０Ｂ…記憶装置、６０Ｃ…入出力インターフェース、７０…遠隔操作装置、７１…作業レバー、７１Ｌ…左作業レバー、７１Ｒ…右作業レバー、７２…走行レバー、７２Ｌ…左走行レバー、７２Ｒ…右走行レバー、８０…表示装置、９０…制御装置、９０Ａ…演算処理装置、９０Ｂ…記憶装置、９０Ｃ…入出力インターフェース、９１…対象画像生成部、９２…作業機械画像生成部、９３…表示制御部、９４…座標変換データ記憶部、９５…運搬車両画像生成部、９６…合成部、９７…データ受信部、１００…遠隔操作システム、２００…表示システム、３００…通信システム、４０１…荷台、４０２…車体、４０３…走行装置、４３０…位置検出装置（第２位置検出装置）、４４０…姿勢検出装置（第２姿勢検出装置）、４６０…制御装置、４６０Ａ…演算処理装置、４６０Ｂ…記憶装置、４６０Ｃ…入出力インターフェース、ＡＧａ…対象画像、ＢＧ…作業機械画像、ＩＧ…インポーズ画像（合成画像）、ＲＧ…実画像、ＭＡ…検出範囲、ＴＡ…撮像範囲、ＷＡａ…対象、ＷＡｂ…運搬車両、Ｚｒ…旋回軸。

Claims (9)

1. 作業機を有する作業機械の位置の検出データと前記作業機械の姿勢の検出データとに基づいて、前記作業機械の外部の仮想視点から見た前記作業機械の仮想視点画像を示す作業機械画像を生成する作業機械画像生成部と、
   運搬車両の位置の検出データと前記運搬車両の姿勢の検出データとに基づいて、前記仮想視点から見た前記運搬車両の仮想視点画像を示す運搬車両画像を生成する運搬車両画像生成部と、
   前記作業機械画像と前記運搬車両画像とを重畳した合成画像を生成する合成部と、
   前記合成画像を前記作業機械の外部に存在する表示装置に表示させる表示制御部と、
   を備える表示システム。
2. 前記表示制御部は、前記作業機械に搭載された撮像装置で撮影された前記作業機の実画像と前記合成画像とを前記表示装置に同時に表示させる、
   請求項１に記載の表示システム。
3. 前記表示制御部は、前記表示装置の表示画面において前記作業機の実画像と前記合成画像とを異なる位置に表示させる、
   請求項２に記載の表示システム。
4. 前記表示制御部は、所定の座標系において前記合成画像を表示させる、
   請求項１から請求項３のいずれか一項に記載の表示システム。
5. 前記座標系は、前記作業機を支持する旋回体に規定された車体座標系であり、
   前記表示制御部は、前記車体座標系において固定された前記仮想視点から見た前記合成画像を表示させる、
   請求項４に記載の表示システム。
6. 前記座標系は、グローバル座標系であり、
   前記表示制御部は、前記グローバル座標系において固定された前記仮想視点から見た前記合成画像を表示させる、
   請求項４に記載の表示システム。
7. 前記作業機械の姿勢は、前記作業機械に搭載された第１姿勢検出装置より検出され、
   前記第１姿勢検出装置は、前記作業機の姿勢を検出する作業機姿勢センサと前記作業機を支持する旋回体の姿勢を検出する旋回体姿勢センサとを含み、
   前記作業機械画像は、前記作業機の画像と前記旋回体の画像とを含む、
   請求項１から請求項６のいずれか一項に記載の表示システム。
8. 制御装置が、
   作業機を有する作業機械の位置の検出データと前記作業機械の姿勢の検出データとを受信し、
   運搬車両の位置の検出データと前記運搬車両の姿勢の検出データとを受信し、
   前記作業機械の位置の検出データと前記作業機械の姿勢の検出データとに基づいて、前記作業機械の外部の仮想視点から見た前記作業機械の仮想視点画像を示す作業機械画像を生成し、
   前記運搬車両の位置の検出データと前記運搬車両の姿勢の検出データとに基づいて、前記仮想視点から見た前記運搬車両の仮想視点画像を示す運搬車両画像を生成し、
   前記作業機械画像と前記運搬車両画像とを重畳した合成画像を生成し、
   前記合成画像を前記作業機械の外部に存在する表示装置に表示させる、
   表示方法。
9. 作業機を有する作業機械の外部の仮想視点から見た前記作業機械の仮想視点画像を示す作業機械画像と前記仮想視点から見た運搬車両の仮想視点画像を示す運搬車両画像とを重畳した合成画像を表示する表示装置。

Images