JP6807781B2 - 表示システム、表示方法、及び遠隔操作システム - Google Patents

Description

本発明は、表示システム、表示方法、及び遠隔操作システムに関する。

作業機械を無人化する方法の一つとして作業機械を遠隔操作する方法が提案されている。作業機械を遠隔操作する場合、作業現場の画像が遠隔地に存在する表示装置に送信される。作業者は、表示装置に表示された作業現場の画像を見ながら作業機械を遠隔操作する。特許文献１には、作業現場を撮影するＴＶカメラと、作業者の頭部の位置を検出する頭部位置検出センサと、ＴＶカメラの撮影方向が頭部位置検出センサの検出結果に対応する方向となるようにＴＶカメラの向きを制御するアクチュエータと、撮影信号から画像光波を作成してスクリーンに投影するプロジェクタとを備えるテレオペレーティングシステムが開示されている。

特開平０６−３３９１５３号公報

作業現場の２次元画像が表示装置に表示される場合、作業者は作業現場の遠近感を知覚し難い。その結果、作業者は遠隔操作を円滑に実施することができず、作業機械の作業効率が低下する可能性がある。頭部位置検出センサの検出信号が遠隔地から作業現場のアクチュエータに送信され、作業者の頭部に連動してカメラが移動するようにアクチュエータが作動され、そのカメラで撮影された画像が作業現場から遠隔地の表示装置に送信されることにより、表示装置に表示される画像の視点が作業者の頭部に連動して移動する。これにより、作業者は、視点移動に連動した運動視差が提示されることによって、運動立体視により遠近感を知覚することができ、遠隔操作を円滑に実施し易くなる。

しかし、遠隔地から作業現場に送信される検出信号の通信遅延又は作業現場から遠隔地に送信される画像の通信遅延などに起因して、表示装置に表示される画像の視点の移動が作業者の頭部の移動に対して遅延する可能性がある。その結果、視点に正しく対応した運動視差を提示し難くなり、作業者は運動立体視による遠近感を知覚し難くなる。

本発明の態様は、作業機械の遠隔操作において、作業現場の遠近感を作業者に効果的に知覚させることができる表示システム、表示方法、及び遠隔操作システムを提供することを目的とする。

本発明の第１の態様に従えば、作業現場における対象物の３次元データを含む画像データを取得する画像データ取得部と、作業者の視点位置データを取得する視点位置データ取得部と、前記画像データと前記視点位置データとに基づいて、前記対象物の自由視点画像を表示させる表示制御部と、を備える表示システムが提供される。

本発明の第２の態様に従えば、対象物の３次元データを含む画像データを取得することと、作業者の視点位置データを取得することと、前記画像データと前記視点位置データとに基づいて、前記対象物の自由視点画像を表示させることと、を含む表示方法が提供される。

本発明の第３の態様に従えば、作業機械に搭載され、作業現場における対象物の３次元データを含む画像データを取得する撮像装置と、前記作業現場の遠隔地に設けられた表示装置と、前記遠隔地に設けられ、作業者の頭部の位置及び姿勢を検出する頭部位置センサと、前記遠隔地に設けられ、前記作業機械と通信可能な制御装置と、を備え、前記制御装置は、前記撮像装置で撮影された前記画像データを取得する画像データ取得部と、前記頭部位置センサの計測データに基づいて、前記作業者の視点位置データを取得する視点位置データ取得部と、前記画像データと前記視点位置データとに基づいて、前記対象物の自由視点画像を前記表示装置に表示させる表示制御部と、を備える遠隔操作システムが提供される。

本発明の態様によれば、作業機械の遠隔操作において、作業現場の遠近感を作業者に効果的に知覚させることができる表示システム及び表示方法が提供される。

図１は、本実施形態に係る作業機械の遠隔操作システムの一例を模式的に示す図である。 図２は、本実施形態に係る作業機械の一例を模式的に示す図である。 図３は、本実施形態に係る遠隔操作施設の一例を模式的に示す図である。 図４は、本実施形態に係る表示システムの一例を示す機能ブロック図である。 図５は、本実施形態に係る自由視点画像により生じる運動視差を説明するための模式図である。 図６は、本実施形態に係る表示システムの表示方法の一例を示すフローチャートである。 図７は、本実施形態に係る表示システムの表示方法の一例を示すフローチャートである。 図８は、本実施形態に係る作業機械に設定される座標系を説明するための模式図である。 図９は、本実施形態に係る遠隔操作施設に設定される座標系を説明するための模式図である。 図１０は、本実施形態に係る基準座標系を説明するための模式図である。 図１１は、本実施形態に係るカメラによって取得される画像データを模式的に示す図である。 図１２は、本実施形態に係る距離センサによって取得される３次元データを模式的に示す図である。 図１３は、本実施形態に係る３次元データを説明するための模式図である。 図１４は、本実施形態に係る遠隔操作施設を模式的に示す図である。 図１５は、本実施形態に係るキャップの頭部マーカと作業者の視点位置との関係を模式的に示す図である。 図１６は、本実施形態に係る表示装置に規定される座標系を説明するための模式図である。 図１７は、本実施形態に係る作業者が遠隔操作を実施している状態を模式的に示す図である。

以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

［遠隔操作システム］
図１は、本実施形態に係る作業機械１の遠隔操作システム１００の一例を模式的に示す図である。図２は、本実施形態に係る作業機械１の一例を模式的に示す図である。本実施形態においては、作業機械１が油圧ショベルであることとする。以下の説明においては、作業機械１を適宜、油圧ショベル１、と称する。

油圧ショベル１は、作業機２と、旋回体３と、旋回体３を旋回可能に支持する走行体５とを有する。走行体５は、履帯を有する。履帯が回転することにより、油圧ショベル１が走行する。作業機２は、旋回体３に連結される。

作業機２は、旋回体３に連結されるブーム６と、ブーム６に連結されるアーム７と、アーム７に連結されるバケット８と、ブーム６を駆動するブームシリンダ１０と、アーム７を駆動するアームシリンダ１１と、バケット８を駆動するバケットシリンダ１２とを有する。ブームシリンダ１０、アームシリンダ１１、及びバケットシリンダ１２はそれぞれ、油圧によって駆動される油圧シリンダである。

油圧ショベル１は、作業現場に存在し、作業現場で作業する。遠隔操作システム１００は、作業現場の遠隔地に存在する遠隔操作施設に設けられる遠隔操作装置４０を有する。油圧ショベル１は、遠隔操作装置４０によって遠隔操作される。

遠隔操作システム１００は、作業現場に係る画像を遠隔操作施設において表示させる表示システム２００を有する。表示システム２００は、遠隔操作施設に設けられる表示装置５０及び制御装置６０を有する。遠隔操作装置４０、表示装置５０、及び制御装置６０のそれぞれは、油圧ショベル１とは別体で設けられる。

また、表示システム２００は、作業現場に設けられ、作業現場における対象物を撮影する撮像装置３０を有する。本実施形態において、撮像装置３０は、油圧ショベル１に搭載される。撮像装置３０は、カメラ３１と、作業現場の対象物までの距離を計測可能な距離センサ３２とを含む。カメラ３１及び距離センサ３２は、旋回体３に固定される。撮像装置３０は、旋回体３の前方に存在する対象物を撮影する。

本実施形態において、撮像装置３０によって撮影される対象物は、作業現場において施工される施工対象を含む。施工対象は、油圧ショベル１の作業機２で掘削される掘削対象を含む。なお、施工対象は、油圧ショベル１とは別の作業機械によって施工される施工対象でもよいし、作業者によって施工される施工対象でもよい。また、施工対象は、施工前の施工対象、施工中の施工対象、及び施工後の施工対象を含む概念である。

また、本実施形態において、撮像装置３０によって撮影される対象物は、油圧ショベル１の少なくとも一部を含む。撮像装置３０によって撮影される対象物は、例えば作業機２、旋回体３、及び走行体５の少なくとも一つを含む。対象物である作業機２は、掘削動作している状態の作業機２でもよいし、掘削動作していない状態の作業機２でもよい。対象物である旋回体３は、旋回している状態の旋回体３でもよいし、旋回していない状態の旋回体３でもよい。対象物である走行体５は、走行している状態の走行体５でもよいし、走行していない状態の走行体５でもよい。また、本実施形態において、撮像装置３０によって撮影される対象物は、遠隔操作される油圧ショベル１の周囲に配置される作業機械でもよい。撮像装置３０によって撮影される対象物は、遠隔操作される油圧ショベル１とは別の油圧ショベルでもよいし、ダンプトラックでもよい。

カメラ３１は、光学系と、光学系を通過した光を受光するイメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。距離センサ３２は、レーザレンジファインダ（Laser Range Finder）を含む。レーザレンジファインダは、対象物にレーザ光を照射して、対象物で反射したレーザ光の反射光に基づいて、対象物までの距離を計測する光学機器である。

カメラ３１は、作業現場の対象物の画像データを取得する。距離センサ３２は、カメラ３１の光学系の視野領域にレーザ光を照射して、視野領域に存在する対象物までの距離データを取得する。距離センサ３２は、例えばイメージセンサの複数の画素毎に対象物までの距離データを取得する。対象物の複数の部分のそれぞれまでの距離データが取得されることにより、対象物の３次元データが取得される。カメラ３１の視野領域における対象物の複数の部分のそれぞれまでの距離データが取得されることにより、撮像装置３０は、作業現場における対象物の３次元データを含む画像データを取得することができる。

油圧ショベル１は、制御装置３００を搭載する。制御装置３００と制御装置６０とは、通信システム４００を介して通信する。通信システム４００は、油圧ショベル１に搭載される無線通信機４０１を有する。通信システム４００は、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、携帯電話通信網、及び衛星通信網の少なくとも一つを含む。

遠隔操作装置４０は、油圧ショベル１の作業機２及び旋回体３を遠隔操作する作業レバー及び走行体５を遠隔操作する走行レバーを含む。作業者は、遠隔操作施設において遠隔操作装置４０を操作する。遠隔操作装置４０が操作されることにより生成された操作信号は、通信システム４００を介して制御装置３００に送信される。制御装置３００は、操作信号に基づいて、作業機２、旋回体３、及び走行体５を制御する制御信号を出力する。これにより、油圧ショベル１は遠隔操作される。

図２に示すように、本実施形態においては、３次元のグローバル座標系（Ｘｇ、Ｙｇ、Ｚｇ）及び３次元の車体座標系（Ｘｍ、Ｙｍ、Ｚｍ）が規定される。

［遠隔操作施設］
図３は、本実施形態に係る遠隔操作施設の一例を模式的に示す図である。図３に示すように、作業者の頭部の位置及び姿勢を検出する頭部位置センサ４１と、作業者の頭部に装着されるキャップ４２と、作業者が着座する操縦席４３と、遠隔操作装置４０と、表示装置５０と、制御装置６０とが、遠隔操作施設に設けられる。

頭部位置センサ４１は、作業者の頭部の位置及び姿勢データを計測する。本実施形態においては、キャップ４２が作業者の頭部に装着される。キャップ４２に頭部マーカが設けられる。頭部位置センサ４１は、キャップ４２の頭部マーカを光学的に計測して、作業者の頭部の位置及び姿勢データを計測する。

作業者は、表示装置５０の表示画面と正対するように操縦席４３に着座する。作業者は、表示装置５０の表示画面を見ながら、遠隔操作装置４０を操作する。頭部位置センサ４１は、操縦席に着座している作業者の頭部の位置及び姿勢データを計測する。

表示装置５０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイを含む。

制御装置６０は、コンピュータシステムを含む。制御装置６０は、ＣＰＵ（Central Processing Unit）のようなプロセッサを含む演算処理装置と、ＲＡＭ（Random Access Memory）のような揮発性メモリ及びＲＯＭ（Read Only Memory）のような不揮発性メモリを含む記憶装置と、入出力インターフェースとを有する。

［表示システム］
図４は、本実施形態に係る表示システム２００の一例を示す機能ブロック図である。図４に示すように、表示システム２００は、遠隔操作施設に設けられた頭部位置センサ４１と、表示装置５０と、制御装置６０とを有する。

撮像装置３０は、カメラ３１及び距離センサ３２を含む。撮像装置３０は、作業現場における対象物の３次元データを含む画像データを取得する。撮像装置３０で取得された画像データは、通信システム４００を介して制御装置６０に送信される。頭部位置センサ４１の計側データは、制御装置６０に出力される。

制御装置６０は、画像データ取得部６１と、３次元モデル生成部６２と、視点位置データ取得部６３と、表示制御部６６と、記憶部６７と、入出力部６８とを有する。

画像データ取得部６１は、作業現場における対象物の３次元データを含む画像データを撮像装置３０から通信システム４００を介して取得する。画像データ取得部６１で取得された画像データは、記憶部６７に一時的に記憶される。

３次元モデル生成部６２は、画像データ取得部６１で取得された画像データに基づいて、対象物の３次元モデルを生成する。３次元モデル生成部６２で生成された３次元モデルは、記憶部６７に一時的に記憶される。

視点位置データ取得部６３は、頭部位置センサ４１の計測データに基づいて、作業者の視点位置データを取得する。頭部位置センサ４１は、作業者の頭部の位置及び姿勢データを逐次取得可能である。視点位置データは逐次変化する。視点位置は、頭部の位置及び姿勢から従属的に決まるとみなせる。頭部と視点との相対位置は既知データであり、記憶部６７に記憶されている。視点位置データ取得部６３は、頭部位置センサ４１の計測データと記憶部６７に記憶されている既知データとに基づいて、作業者の視点位置データを取得することができる。

記憶部６７は、画像データ取得部６１で取得された画像データを一時的に記憶する。画像データ取得部６１は、所定の周期であるデータ更新周期で画像データを取得する。取得された画像データは、データ更新周期で記憶部６７に順次記憶される。本実施形態において、記憶部６７に記憶される画像データは、データ更新周期で順次更新される。すなわち、記憶部６７は、画像データ取得部６１で取得された最新の画像データを一時的に記憶し、古い画像データを消去する。

また、記憶部６７は、３次元モデル生成部６２で生成された３次元モデルを一時的に記憶する。３次元モデル生成部６２は、所定の周期であるデータ更新周期で３次元モデルを生成する。生成された３次元モデルは、データ更新周期で記憶部６７に順次記憶される。本実施形態において、記憶部６７に記憶される３次元モデルは、データ更新周期で順次更新される。すなわち、記憶部６７は、３次元モデル生成部６２で生成された最新の３次元モデルを一時的に記憶し、古い３次元モデルを消去する。

また、記憶部６７は、車体座標系における撮像装置３０の位置データを記憶する。車体座標系における撮像装置３０の位置データは、油圧ショベル１及び撮像装置３０の設計データ又は諸元データから導出される既知データであり、記憶部６７に記憶される。

表示制御部６６は、対象物の３次元データを含む画像データに基づいて、その対象物を任意の仮想視点から見た画像に変換する自由視点画像生成を実施する。自由視点画像生成によって生成された画像を自由視点画像という。

本実施形態において、表示制御部６６は、記憶部６７に一時的に記憶されている最新の画像データ及び直近の３次元モデルの少なくとも一方と、視点位置データ取得部６３で取得された視点位置データとに基づいて、自由視点画像生成を行い、自由視点画像を表示装置５０に表示させる。

本実施形態においては、表示制御部６６は、作業者の視点位置の移動に連動して、その視点位置に応じた仮想視点から見た対象物の画像、すなわち自由視点画像を連続的に表示装置５０に表示させることによって、作業者に運動視差を提示する。作業者は提示された運動視差に基づく運動立体視によって、表示された対象物の遠近感を知覚し認識することができる。

視点位置データは逐次変化する。表示制御部６６は、視点位置データの変化に対応して自由視点画像を逐次生成して表示装置６０に表示させる。

図５は、本実施形態に係る自由視点画像により生じる運動視差を説明するための模式図である。本実施形態において、表示制御部６６は、作業者の視点（瞳孔）の移動に連動して、視点位置に応じた仮想視点から見た対象物の自由視点画像を表示装置５０に連続的に表示させる。表示制御部６６は、連続的に表示される自由視点画像のうち作業者から近い部分の見かけの移動量が大きく、遠い部分の見かけの移動量が小さくなるように、自由視点画像を表示装置５０に表示させる。

すなわち、図５に示すように、作業者の視点が距離Ｍだけ移動した場合、表示制御部６６は、作業者から近い距離Ｌａに位置する部分Ｏａの視認位置を角度Ｄａだけ移動させ、作業者から遠い距離Ｌｂに位置する部分Ｏｂの視認位置を角度Ｄａよりも小さい角度Ｄｂだけ移動させ、作業者から更に遠い距離Ｌｃに位置する部分Ｏｃの視認位置を角度Ｄｂよりも更に小さい角度Ｄｃだけ移動させて、自由視点画像を表示させる。部分Ｏａ、部分Ｏｂ、及びＯｃそれぞれの視認位置が移動した角度Ｄａ、角度Ｄｂ、及び角度Ｄｃの違いにより、作業者は、部分Ｏａが距離Ｌａだけ離れた位置に存在し、部分Ｏｂが距離Ｌｂだけ離れた位置に存在し、部分Ｏｃが距離Ｌｃだけ離れた位置に存在することを知覚することができる。作業者の視点の移動に連動して自由視点画像が変化することにより、運動視差が生じ、作業者は運動立体視による遠近感を知覚することができる。

［表示方法］
図６及び図７は、本実施形態に係る表示システム２００の表示方法の一例を示すフローチャートである。本実施形態に係る表示方法は、図６に示すようなデータ更新ループＳＡと、図７に示すような表示ループＳＢとを含む。

データ更新ループＳＡは、作業現場に存在する撮像装置３０からの距離データ及び画像データの到達（受信）を待機するステップＳＡ１０と、作業現場の対象物の距離データを撮像装置３０の距離センサ３２から取得するステップＳＡ２０と、作業現場の対象物の画像データを撮像装置３０のカメラ３１から取得するステップＳＡ３０と、距離データを含む画像データに基づいて対象物の３次元モデルを生成し、生成された３次元モデルを記憶部６７に一時的に記憶するステップＳＡ４０とを含む。

表示ループＳＢは、頭部マーカの位置及び姿勢を取得するステップＳＢ１０と、頭部マーカの位置及び姿勢を視点位置に変換して作業者の視点位置データを取得するステップＳＢ２０と、視錐台を設定するステップＳＢ３０と、記憶部６７に一時的に記憶されている３次元モデルにアクセスするステップＳＢ４０と、作業者の視点位置データ及び記憶部６７から取得した３次元モデルに基づいて、対象物の自由視点画像を生成するステップＳＢ５０と、ステップＳＢ５０で生成された自由視点画像を表示装置５０に表示させるステップＳＢ６０とを含む。

撮像装置３０で撮影された画像データは、規定サンプリング周期で遠隔操作施設の画像データ取得部６１に送信される。データ更新ループＳＡは、データ更新周期で実施される。データ更新ループＳＡは、撮像装置３０からの距離データ及び画像データの受信を待機するステップＳＡ１０を含むため、データ更新周期は、規定サンプリング周期に依存する。また、通信システム４００の状態により、テータの受信が遅延したり、停滞したり、一定周期でなかったり、欠落したりする可能性があるため、データ更新周期は不安定となり得る。

表示制御部６６は、記憶部６７に記憶されている３次元モデルに基づいて、データ更新周期よりも短い表示周期で自由視点画像を表示装置５０に表示させる。すなわち、本実施形態において、表示ループＳＢは、データ更新周期よりも短い表示周期で実施される。

本実施形態において、データ更新ループＳＡと表示ループＳＢとは、互いに独立したタイミングで並行して実施される。

（座標系）
データ更新ループＳＡ及び表示ループＳＢの詳細を説明する前に、油圧ショベル１及び遠隔操作施設のそれぞれにおいて設定される座標系について説明する。図８は、本実施形態に係る油圧ショベル１に設定される座標系を説明するための模式図である。図９は、本実施形態に係る遠隔操作施設に設定される座標系を説明するための模式図である。

図８に示すように、上部旋回体３に車体座標系が設定される。また、カメラ３１にカメラ座標系が設定され、距離センサ３２に距離センサ座標系が設定される。カメラ３１の位置及び姿勢を、上部旋回体３の車体座標系において規定される行列であるＣmachineで表す。距離センサ３２の位置及び姿勢を、上部旋回体３の車体座標系において規定される行列であるＤmachineで表す。行列Ｃmachine及び行列Ｄmachineはそれぞれ、位置及び姿勢を表わす４行４列の同次変換行列である。

図９に示すように、遠隔操作施設に操作施設座標系が設定される。また、表示装置５０に表示装置座標系が設定され、頭部位置センサ４１に頭部位置センサ座標系が設定される。表示装置５０の位置及び姿勢を、遠隔操作施設の操作施設座標系において規定される行列であるＳcockpitで表す。頭部位置センサ４１の位置及び姿勢を、遠隔操作施設の操作施設座標系において規定される行列であるＴcockpitで表す。行列Ｓcockpit及び行列Ｔcockpitはそれぞれ、位置及び姿勢を表わす４行４列の同次変換行列である。

図１０は、本実施形態に係る基準座標系を説明するための模式図である。図１０に示すように、本実施形態においては、上部旋回体３に規定される車体座標系と遠隔操作施設に規定される操作施設座標系とが統合される。すなわち、油圧ショベル１及び遠隔操作施設のそれぞれに新たな行列Ｏmachine及び行列Ｏcockpitが導入される。上部旋回体３に規定される車体座標系と遠隔操作施設に規定される操作施設座標系とは、双方の基準位置及び姿勢が一致するように統合される。車体座標系と操作施設座標系とが統合されることにより、例えば遠隔操作施設のある部分の位置が油圧ショベル１のどの位置に相当するのかを決定することができる。

基準座標系における油圧ショベル１及び遠隔操作施設それぞれの構成要素の位置及び姿勢は、以下の（１）式から（４）式で表わされる。

（データ更新ループ）
次に、データ更新ループＳＡについて説明する。カメラ３１と距離センサ３２とは異なる位置及び姿勢で旋回体３に固定される。３次元モデル生成部６２は、カメラ３１で取得された画像データと距離センサ３２で取得された距離データとを合成して、有色の３次元モデルを生成する。３次元モデル生成部６２は、画像データの位置、角度、及び大きさと、距離データの位置、角度、及び大きさとを合わせて合成することによって、３次元モデルを生成する。

画像データ取得部６１は、カメラ３１からの画像データ及び距離センサ３２からの距離データの到達（受信）を待機する（ステップＳＡ１０）。上述のように、本実施形態においては、撮像装置３０で取得された距離データ及び画像データは、規定サンプリング周期で画像データ取得部６１に送信される。

画像データ取得部６１は、距離センサ３２から距離データを取得する（ステップＳＡ２０）。また、画像データ取得部６１は、カメラ３１から画像データを取得する（ステップＳＡ３０）。

図１１は、本実施形態に係るカメラ３１によって取得される画像データを模式的に示す図である。図１２は、本実施形態に係る距離センサ３２によって取得される距離データ（３次元データ）を模式的に示す図である。

図１１に示すように、カメラ３１で取得される画像データは、２次元のＵＶ座標上に配置された有色の画素データの集合を含む。

図１２に示すように、距離センサ３２で取得される距離データは、対象物の複数の部分の３次元データの集合を含む。

距離センサ３２で取得される３次元データは、距離センサ３２の局所座標系で表わされている。３次元モデル生成部６２は、距離センサの行列Ｄに基づいて３次元データを基準座標系に変換する。

３次元モデル生成部６２は、カメラ３１の位置及び姿勢と、カメラ３１の内部パラメータ（画角及び光軸中心）と、距離センサ３２の位置及び姿勢とに基づいて、距離センサ３２で取得された３次元データにカメラ３１の画素データを投影するように割り当てることによって有色の３次元モデルを生成する。

図１３は、本実施形態に係る３次元モデルを説明するための模式図である。図１３は、距離センサ３２で取得された３次元データにカメラ３１の画素データを投影して３次元データを着色することで得られた３次元モデルを模式的に示す図である。以上により、３次元モデル生成部６２は、対象物の色と形状を表現した３次元モデルを生成する（ステップＳＡ４０）。

３次元モデル生成部６２で生成された３次元モデルは、記憶部６７に一時的に記憶される。上述のように、３次元モデル生成部６２は、データ更新周期で３次元モデルを生成する。記憶部６７は、生成された３次元モデルをデータ更新周期で順次記憶する。記憶部６７に記憶される３次元モデルは、データ更新周期で順次更新される。記憶部６７は、最新の３次元モデルを一時的に記憶し、古い３次元モデルを消去する。

（表示ループ）
次に、表示ループＳＢについて説明する。図１４は、本実施形態に係る遠隔操作施設を模式的に示す図である。図１５は、本実施形態に係るキャップ４２の頭部マーカと作業者の視点位置との関係を模式的に示す図である。視点位置とは、右眼の瞳孔位置、又は左眼の瞳孔位置、又は右眼の瞳孔位置と左眼の瞳孔位置との中間位置（重心）をいう。両眼立体視と併用する場合、視点位置とは、両眼の瞳孔位置をいう。

頭部位置センサ４１は、作業者に装着されたキャップ４２に設けられている頭部マーカの位置及び姿勢を計測する。視点位置データ取得部６３は、頭部位置センサ４１で計測された頭部マーカの位置及び姿勢を取得する（ステップＳＢ１０）。

視点位置データ取得部６３は、頭部マーカの位置及び姿勢を作業者の視点の座標に変換する（ステップＳＢ２０）。頭部位置センサ４１により計測される頭部マーカの位置Ｍtrackerは、頭部位置センサ４１の局所座標系で示され、頭部位置センサ４１位置及び姿勢を表わす。そのため、視点位置データ取得部６３は、頭部マーカの位置及び姿勢を基準座標系における作業者の視点位置に変換する。

視点位置データ取得部６３は、頭部マーカの位置及び姿勢を作業者の視点位置に変換するために、（５）式で示す列ベクトルを導入する。

基準座標系における作業者の視点位置は、（６）式に基づいて求められる。

以上により、視点位置データ取得部６３は、基準座標系における作業者の視点位置、すなわち瞳孔の位置データを取得することができる。

（表示装置の位置、姿勢、及び大きさの計測）
次に、表示装置５０の表示画面の位置・姿勢と大きさの計測について説明する。運動立体視の成立には、表示装置５０の表示画面があたかも素通しの窓であるように、３次元空間を歪めることなく提示する必要がある。そのためには、表示装置５０の空間的配置情報を厳密に分かっている必要がある。

図１６は、本実施形態に係る表示装置５０に規定される座標系を説明するための模式図である。図１６に示すように、表示装置５０の空間配置は、行列Ｓ、表示領域の幅２ｗ、及び表示領域の高さ２ｈによって表現できる。これらの値は、予め表示装置５０に対するキャリブレーションを行い求めておく。

（自由視点画像の表示）
次に、表示制御部６６は、自由視点画像を表示するためにレンダリング(描画)処理を行う。

表示制御部６６は、視点位置から見た３次元モデルを透視投影変換して表示装置５０上へと写像する。その結果、カメラ３１で取得された画像データとは視点が異なる自由視点画像（完成画像）が得られる。Ｓが（７）式のとき、表示装置５０に正対する姿勢を持つ、（８）式で表わされる視点を考えると、Ｓ座標系をＰ座標系に変換する行列Ａは（９）式のようになる。

表示制御部６６は、Ｐを基準とした視錐台のパラメータ（ｌ_ｐ、ｒ_ｐ、ｂ_ｐ、ｔ_ｐ、ｎ_ｐ）を、（１０）式、（１１）式、（１２）式、（１３）式のように設定する（ステップＳＢ３０）。

表示制御部６６は、記憶部６７に記憶されている３次元モデルにアクセスする（ステップＳＢ４０）。記憶部６７に記憶されている３次元モデルは、データ更新周期で順次更新されている。そのため、表示制御部６６は、最新の３次元モデルを取得することができる。

遠方描画範囲ｆを適当に定めると、プロジェクション行列Ｆｐが（１４）式のように求まる。

図１７は、本実施形態に係る作業者が遠隔操作を実施している状態を模式的に示す図である。表示制御部６６は、（１４）式に基づいて、３次元モデルをＦｐ×Ｐ^−１により透視投影変換することによって、自由視点画像を生成する（ステップＳＢ５０）。表示制御部６６は、ステップＳＢ５０で生成された自由視点画像を表示装置５０に表示させる（ステップＳＢ６０）。以上により、作業者が視点を動かしたときに画面を通して見ている対象物の見え方が変わるように、かつ、対象物の３次元形状に対して正しい見え方となるように自由視点画像が生成される。

［効果］
以上説明したように、本実施形態によれば、３次元データを含む画像データが作業現場から遠隔操作施設に送信される。表示制御部６６は、遠隔操作施設において、作業者の視点位置データに基づいて、自由視点画像を表示装置５０に表示させる。本実施形態においては、作業者の視点位置データは、作業現場に送信されず、遠隔操作施設において自由視点画像の生成及び表示に利用される。そのため、表示制御部６６は、作業現場と遠隔操作施設との通信遅延の影響を受けることなく、作業者の視点位置データに基づいて、自由視点画像を表示させることができる。これにより、表示装置５０に表示される自由視点画像の表示が作業者の視点の移動に対して遅延することが抑制される。そのため、運動視差が作業者の視点の移動に対して遅延することが抑制され、運動立体視による作業現場の遠近感を作業者に効果的に知覚させることができる。したがって、作業者は、表示装置５０に表示された自由視点画像を見ながら、遠隔操作を円滑に実施することができる。これにより、油圧ショベル１の作業効率の低下が抑制される。

また、本実施形態においては、作業現場から遠隔操作施設に送信される３次元データを含む画像データに基づいてデータ更新周期で３次元モデルを生成し記憶部６７にデータ更新周期で順次記憶させるデータ更新ループＳＡと、記憶部６７に記憶されている３次元モデルから生成される自由視点画像を作業者の視点位置データに基づいてデータ更新周期よりも短い表示周期で順次表示させる表示ループＳＢとは、互いに独立したタイミングで並行して実施される。したがって、作業現場から遠隔操作施設への画像データの送信が遅延したり、送信が不可能になったりしても、表示制御部６６は、直近に生成された最新の３次元モデルに基づいて、自由視点画像を表示装置５０に表示させることができる。これにより、視点の移動に正しく対応した運動視差を提示し続けることができる。

また、データ更新ループＳＡと表示ループＳＢとは互いに独立したタイミングで並行して実施されるため、遠隔操作施設が作業現場から３次元データを含む画像データを受信するする頻度に依存するデータ更新周期が、自由視点画像を表示装置５０に順次表示させるときの表示周期よりも長くても、表示制御部６６は、直近に生成され記憶部６７に記憶されている最新の３次元モデルに基づいて自由視点画像を表示装置５０に表示させることができる。すなわち、遠隔操作施設が作業現場から３次元データを含む画像データを受信する頻度が低かったり、不安定になったりしても、制御装置６０は、表示ループＳＢを高速で廻して自由視点画像を表示装置５０に、視点移動から対応した画像が観察されるまでの遅延が認識されない程度に小さい良好な表示品質で表示させることができる。これにより、作業者は、良好な表示環境で表示された自由視点画像を見ながら遠隔操作装置４０を操作することができる。

［その他の実施形態］
なお、上述の実施形態においては、データ更新ループＳＡにおいて、３次元モデル生成部６２で生成された３次元モデルが記憶部６７にデータ更新周期で順次記憶されることとした。データ更新ループＳＡにおいて、画像データ取得部６１で取得された画像データが記憶部６７にデータ更新周期で順次記憶されてもよい。また、記憶部６７に記憶される画像データは、データ更新周期で順次更新されてもよい。表示制御部６６は、その記憶部６７に記憶されている最新の画像データに基づいて、データ更新周期よりも短い表示周期で自由視点画像を表示装置５０に表示させることができる。

なお、上述の実施形態においては、データ更新ループＳＡにおいて、記憶部６７に記憶される画像データ又は３次元モデルは、データ更新周期で順次更新されることとした。すなわち、最新の画像データ又は３次元モデルが一時的に記憶部６７に記憶され、古い画像データ又は３次元モデルは消去されることとした。古い画像データ又は３次元モデルが消去されず、記憶部６７に保持されてもよい。この場合、表示制御部６６は、データ更新周期で記憶部６７に記憶されている複数の画像データ又は複数の３次元モデルと、油圧ショベル１の旋回体３の旋回履歴又は走行体５の走行履歴とに基づいて、広範囲且つ高精細な自由視点画像を表示装置５０に表示させることができる。

なお、上述の実施形態において、表示装置５０は並列に複数設けられてもよい。また、表示装置５０の表示画面はフラット面でもよいしドーム状の曲面でもよい。また、表示装置５０が、作業者の頭部に装着されるヘッドマウントディスプレイでもよい。

なお、上述の実施形態においては、撮像装置３０が油圧ショベル１に搭載されることとした。撮像装置３０は、作業現場の対象物を撮影可能であれば任意の位置に設けることができる。例えば、撮像装置３０は遠隔操作対象である油圧ショベル１とは別の作業機械に搭載されてもよいし、ドローンのような飛行体に搭載されてもよいし、作業現場に設けられている構造物に設置されてもよい。

なお、上述の実施形態においては、光学式の頭部位置センサ４１で作業者の頭部の位置及び姿勢データを計測することによって、作業者の視点位置データが取得されることとした。例えば、磁気式の頭部位置センサで作業者の頭部の位置及び姿勢データを計測してもよいし、視線検出装置によって作業者の瞳孔の位置データが直接的に計測されてもよい。

なお、上述の実施形態においては、撮像装置３０は２次元画像データを取得するカメラ３１と距離データを取得する距離センサ３２とを含むこととした。撮像装置３０は、ステレオカメラでもよい。ステレオカメラにおいても、作業現場の対象物の３次元データを含む画像データを取得することができる。

なお、上述の各実施形態においては、作業機械１が油圧ショベルであることとした。作業機械１は、施工対象を施工可能な作業機械であればよく、施工対象を掘削可能な掘削機械及び土砂を運搬可能な運搬機械でもよい。作業機械１は、例えばホイールローダでもよいし、ブルドーザでもよいし、ダンプトラックでもよい。

１…油圧ショベル（作業機械）、２…作業機、３…旋回体、５…走行体、６…ブーム、７…アーム、８…バケット、１０…ブームシリンダ、１１…アームシリンダ、１２…バケットシリンダ、３０…撮像装置、３１…カメラ、３２…距離センサ、４０…遠隔操作装置、４１…頭部位置センサ、４２…キャップ、４３…操縦席、５０…表示装置、６０…制御装置、６１…画像データ取得部、６２…３次元モデル生成部、６３…視点位置データ取得部、６６…表示制御部、６７…記憶部、６８…入出力部、１００…遠隔操作システム、２００…表示システム、３００…制御装置、４００…通信システム、４０１…無線通信機。

Claims (12)

1. 作業現場における対象物の３次元データを含む画像データを取得する画像データ取得部と、
   作業者の視点位置データを取得する視点位置データ取得部と、
   前記画像データと前記視点位置データとに基づいて、前記作業者の視点位置に応じた仮想視点から見た前記対象物の自由視点画像を表示させる表示制御部と、を備える
   表示システム。
2. 前記画像データ取得部、前記視点位置データ取得部、及び前記表示制御部は、前記作業現場の遠隔地に設けられ、
   前記画像データ又は前記画像データに基づいて生成される前記対象物の３次元モデルは、前記遠隔地に設けられている記憶部にデータ更新周期で順次記憶され、
   前記表示制御部は、前記記憶部に記憶されている前記画像データ又は前記３次元モデルに基づいて、前記データ更新周期よりも短い表示周期で前記自由視点画像を表示させる、
   請求項１に記載の表示システム。
3. 前記視点位置は、前記作業者の瞳孔の位置を含む、
   請求項１又は請求項２に記載の表示システム。
4. 前記記憶部に記憶される前記画像データ又は前記３次元モデルは、前記データ更新周期で順次更新され、
   前記表示制御部は、前記記憶部に記憶されている最新の前記画像データ又は前記３次元モデルに基づいて前記自由視点画像を表示させる、
   請求項２に記載の表示システム。
5. 前記視点位置データは逐次変化し、
   前記表示制御部は、前記視点位置データの変化に対応して前記自由視点画像を逐次生成して表示させる、
   請求項１から請求項４のいずれか一項に記載の表示システム。
6. 前記作業現場に設けられる撮像装置は、カメラと、前記対象物までの距離を計測可能な距離センサとを含む、
   請求項１から請求項５のいずれか一項に記載の表示システム。
7. 前記作業現場に設けられる撮像装置は、前記作業現場で作業する作業機械に搭載される、
   請求項１から請求項６のいずれか一項に記載の表示システム。
8. 対象物の３次元データを含む画像データを取得することと、
   作業者の視点位置データを取得することと、
   前記画像データと前記視点位置データとに基づいて、前記作業者の視点位置に応じた仮想視点から見た前記対象物の自由視点画像を表示させることと、を含む
   表示方法。
9. 作業機械に固定されて搭載され、作業現場における対象物の３次元データを含む画像データを取得する撮像装置と、
   前記作業現場の遠隔地に設けられた表示装置と、
   前記遠隔地に設けられ、前記作業機械と通信可能な制御装置と、を備え、
   前記制御装置は、前記撮像装置で撮影された前記画像データを取得する画像データ取得部と、
   前記作業者の視点位置データを取得する視点位置データ取得部と、
   前記画像データと前記視点位置データとに基づいて、前記対象物の自由視点画像を前記表示装置に表示させる表示制御部と、を備える
   遠隔操作システム。
10. 前記作業者が前記作業機械の作業機を遠隔操作するための作業レバー及び前記作業者が前記作業機械の走行体を遠隔操作するための走行レバーの少なくとも一方を含む遠隔操作装置を備える、
    請求項９に記載の遠隔操作システム。
11. 前記対象物の自由視点画像は、前記作業者の視点位置に応じた仮想視点から見た前記対象物の自由視点画像である、
    請求項９に記載の遠隔操作システム。
12. 前記視点位置は、前記作業者の瞳孔の位置を含む、
    請求項１１に記載の遠隔操作システム。

Images