JP6803471B2 - 表示制御装置、表示制御方法、プログラムおよび表示システム - Google Patents

Description

本発明は、表示制御装置、表示制御方法、プログラムおよび表示システムに関する。
本願は、２０１７年７月１４日に日本に出願された特願２０１７−１３８４１８号について優先権を主張し、その内容をここに援用する。

特許文献１には、作業機械の操作者に、周囲で作業する他の作業者を認識させるために、表示手段に表示される撮影画像のうち、作業者が着用するヘルメットに描かれたマーカーの部分に、作業者がいることを示す画像を合成する技術が開示されている。

特開２０１３−９２６７号公報

ところで、施工現場の段取り時等に、作業機械がどのように配置され、動作するのかを、図面上ではなく、施工現場に臨んで確認したいという要望がある。施工現場に臨んで確認することにより、例えば、施工現場において作業機械が動作可能なスペースの有無や、作業機械の走行によって履帯が施工現場を損傷させないように施工現場に敷くべき鉄板の量を容易に確認することができる。一方で、段取り時において実際に施工現場に作業機械を配置して動作させることは容易ではない。
本発明の態様は、施工現場に臨んで作業機械の動作を容易に確認できる表示制御装置、表示制御方法、プログラムおよび表示システムを提供することを目的とする。

本発明の第１の態様によれば、表示制御装置は、実空間における視点の位置および姿勢を取得する位置・姿勢取得部と、前記視点の位置および姿勢に基づいて施工現場の形状を表す三次元データである現場データを仮想空間に配置する現場データ配置部と、作業機械の形状を表す三次元データである機械データを、前記仮想空間のうち選択された平面座標および前記現場データに対応する高さに係る位置に配置する機械データ配置部と、配置された前記機械データを描画する描画部とを備える。

上記態様のうち少なくとも１つの態様によれば、表示制御装置は、利用者に施工現場に臨んで作業機械の動作を容易に確認させることができる。

第１の実施形態に係る携帯端末の構成を示す概略ブロック図である。 描画部が生成する表示画像の例を示す図である。 第１の実施形態に係る携帯端末の表示制御方法を示すフローチャートである。 第１の実施形態に係る作業機械描画処理を示すフローチャートである。 作業機械の追加時に表示装置に表示される画像の例を示す図である。 第１のタイミングにおいて表示装置に表示される表示画像の例を示す図である。 第２のタイミングにおいて表示装置に表示される表示画像の第１の例を示す図である。 第２のタイミングにおいて表示装置に表示される表示画像の第２の例を示す図である。 第１の実施形態に係る計測処理を示すフローチャートである。 他の実施形態に係る表示画像の例を示す図である。 他の実施形態に係る表示制御装置を備えた油圧ショベルの外観を示す斜視図である。

〈第１の実施形態〉
第１の実施形態では、携帯端末が撮像する施工現場の画像に、作業機械の画像を合成して表示する。携帯端末の例としては、スマートフォン、タブレット端末、デジタルカメラなどが挙げられる。これにより、利用者は、施工現場に臨んで、作業機械がどのように配置され、動作するのかを視認することができる。作業機械の例としては、掘削作業および盛土作業を行う油圧ショベル、掘削作業および運搬作業を行うブルドーザおよびホイールローダ、締固め作業を行うロードローラ、整形作業を行うモータグレーダ、運搬作業を行うダンプトラックなどが挙げられる。

《携帯端末のハードウェア》
図１は、第１の実施形態に係る携帯端末の構成を示す概略ブロック図である。
携帯端末１は、プロセッサ１００、メインメモリ２００、ストレージ３００、インタフェース４００を備えるコンピュータを内蔵する。また、携帯端末１は、カメラ４１０、入力装置４２０、表示装置４３０、位置検出器４４０、ＩＭＵ４５０（Inertial Measuring Unit）を備え、インタフェース４００を介してコンピュータに接続される。また携帯端末１は、インタフェース４００を介してネットワークに接続される。当該コンピュータは、表示制御装置の一例である。

カメラ４１０は、携帯端末１の筐体のうち、表示装置４３０が配置される面の裏面に設けられる。カメラ４１０は、ＲＧＢ（Red Green Blue）カメラとデプスカメラとを備え、可視画像と距離画像とを生成する。距離画像とは、各画素の値がカメラ４１０と撮像対象との距離を示す画像である。距離画像は、ＴＯＦ（Time of Flight）計算により得ることができる。

入力装置４２０および表示装置４３０は、例えばタッチパネルによって実現される。位置検出器４４０は、ＧＮＳＳ（Global Navigation Satellite System）の信号を受信して携帯端末１の位置を検出する。ＩＭＵ４５０は、携帯端末１の角速度、方位、および傾きを検出する。ＩＭＵ４５０は、例えば、加速度センサ、電子コンパス、およびジャイロスコープを備える。位置検出器４４０およびＩＭＵ４５０は、実空間における視点の位置および姿勢を計測する位置・姿勢計測部の一例である。

ストレージ３００は、合成表示プログラムＰ、設計データＤ１、点群データＤ２、機械データＤ３、パターンデータＤ４を記憶する。
合成表示プログラムＰは、プロセッサ１００によってストレージ３００から読み出されてメインメモリ２００に展開されることで、プロセッサ１００に所定の処理を実行させるためのデータである。
設計データＤ１は、施工現場の目標形状を表す三次元データである。設計データＤ１は、例えばＣＡＤ（Computer-Aided Design）によって生成され、ＴＩＮサーフェスによって表される。設計データＤ１は、施工現場の形状を表す三次元データである現場データである。
点群データＤ２は、施工現場の過去形状を表す三次元データである。点群データＤ２は、例えば複数の空撮画像や、ステレオカメラが撮像したステレオ画像をステレオ処理することで得られる。点群データＤ２は、施工現場の形状を表す三次元データである現場データである。
機械データＤ３は、作業機械の形状を表す三次元データである。機械データＤ３には、関節で互いに接続された複数のスケルトンが設定される。例えば、油圧ショベルを表す機械データＤ３は、下部走行体、上部旋回体、ブーム、アーム、バケットのそれぞれにスケルトンが設定されることで、１つの機械データＤ３から複数の姿勢に係る油圧ショベルを再現することができる。
パターンデータＤ４は、各機械データＤ３のスケルトンの操作パターンを格納する。つまり、プロセッサ１００は、パターンデータＤ４に従って機械データＤ３のスケルトンを操作することで、機械データＤ３に所定の動作を再現するモーションをつけることができる。

ストレージ３００の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ３００は、携帯端末１のバスに直接接続された内部メディアであってもよいし、インタフェース４００を介して携帯端末１に接続される外部メディアであってもよい。ストレージ３００は、一時的でない有形の記憶媒体である。

《携帯端末のソフトウェア》
プロセッサ１００は、合成表示プログラムＰの実行により、画像取得部１０１、位置・姿勢取得部１０２、現場設定部１０３、現場データ取得部１０４、現場データ配置部１０５、機械データ取得部１０６、機械データ配置部１０７、動態設定部１０８、描画部１０９、表示制御部１１０、距離算出部１１１を備える。

画像取得部１０１は、カメラ４１０が撮影した可視画像および距離画像を取得する。

位置・姿勢取得部１０２は、位置検出器４４０が検出した位置データ、およびＩＭＵ４５０によって計測された角速度、方位、および傾きを取得する。以下、携帯端末１の角速度、方位、および傾きを、携帯端末１の姿勢データともよぶ。

現場設定部１０３は、入力装置４２０を介した利用者の操作に基づいて、表示装置４３０に表示する施工現場の形状を、現況形状、過去形状、目標形状のいずれかに設定する。

現場データ取得部１０４は、表示装置４３０に表示する画像を描画するための仮想空間に配置すべき現場データを取得する。現場データ取得部１０４は、現場設定部１０３により表示する形状が現況形状に設定された場合、画像取得部１０１が取得した距離画像ならびに位置・姿勢取得部１０２が取得した位置データおよび姿勢データに基づいて現況形状を表す三次元データである現場データ（現況データ）を生成する。例えば、現場データ取得部１０４は、距離画像に基づいて三次元形状を生成し、位置データおよび姿勢データを用いて、当該三次元形状を仮想空間にマッピングすることで、現況データを生成することができる。現場データ取得部１０４は、現場設定部１０３により表示する形状が過去形状に設定された場合、ストレージ３００から点群データＤ２を読み出す。現場データ取得部１０４は、現場設定部１０３により表示する形状が目標形状に設定された場合、ストレージ３００から設計データＤ１を読み出す。

現場データ配置部１０５は、メインメモリ２００に仮想空間用の記憶領域を確保する。現場データ配置部１０５は、仮想空間に現場データを配置する。このとき、現場データ配置部１０５は、仮想空間における視点と現場データとの相対的な位置および向きが、実空間におけるカメラ４１０の視点と施工現場との相対的な位置および向きに対応するように、現場データを配置する。

機械データ取得部１０６は、ストレージ３００から仮想空間に配置すべき機械データＤ３を読み出す。具体的には、機械データ取得部１０６は、利用者によって仮想空間への作業機械の配置指示があった場合に、利用者によって設定された車種に係る機械データＤ３をストレージ３００から読み出す。

機械データ配置部１０７は、仮想空間に機械データＤ３を配置する。具体的には、機械データ配置部１０７は、機械データＤ３を仮想空間の鉛直方向上側から下ろしたときに、走行体に相当する部分が現場データと鉛直方向に接する最も低い高さの点に、機械データＤ３を配置する。機械データ配置部１０７は、動態設定部１０８により設定された動態に従って、機械データＤ３の位置および姿勢を決定する。

動態設定部１０８は、入力装置４２０を介した利用者の操作に基づいて、機械データＤ３によって表される作業機械の動態を設定する。作業機械の動態は、作業機械の走行、旋回、作業機の駆動等を含む。なお、作業機械の旋回および作業機の駆動に係る動態は、ストレージ３００にパターンデータＤ４として格納されている。動態設定部１０８は、走行に係る動態を設定する場合、入力装置４２０を介して作業機械の走行ルートの入力を受け付ける。動態設定部１０８は、作業機械の旋回および作業機の駆動に係る動態を設定する場合、入力装置４２０を介してパターンデータＤ４の選択を受け付ける。

描画部１０９は、仮想空間に配置された機械データＤ３を仮想空間の視点に基づいて描画する。「描画する」とは、二次元画像を生成することをいう。描画部１０９は、画像取得部１０１が取得した可視画像に、描画された機械データＤ３を合成することで、合成現場画像Ｉ１を生成する。現場設定部１０３により表示する形状が過去形状または目標形状に設定された場合、描画部１０９は、機械データＤ３および現場データを描画し、可視画像に描画された機械データＤ３および現場データを合成することで合成現場画像Ｉ１を生成する。また描画部１０９は、合成現場画像Ｉ１に操作パネル画像Ｉ２を合成することで、表示画像Ｉを生成する。

表示制御部１１０は、描画部１０９によって生成された画像を、表示装置４３０に出力する。

距離算出部１１１は、入力装置４２０を介して仮想空間における２つの点の入力を受け付け、当該２つの点の間の距離を演算する。

《表示画像》
図２は、描画部が生成する表示画像の例を示す図である。
描画部１０９は、合成現場画像Ｉ１に操作パネル画像Ｉ２を合成することで、表示画像Ｉを生成する。操作パネル画像Ｉ２には、マップ領域Ｉ２１、掘削・盛土ボタンＩ２２、完成図面ボタンＩ２３、点群ボタンＩ２４、作業機械ボタンＩ２５、計測ボタンＩ２６が含まれる。

マップ領域Ｉ２１には、施工現場の上面図が表示される。
掘削・盛土ボタンＩ２２は、押下によりＯＮ／ＯＦＦの状態が切り替わる。掘削・盛土ボタンＩ２２がＯＮ状態になると、現場設定部１０３は、表示装置４３０に表示する施工現場の形状を、目標形状に設定する。掘削・盛土ボタンＩ２２がＯＮ状態である場合、合成現場画像Ｉ１として可視画像と設計データＤ１とが合成されたものが表示される。このときの設計データＤ１は、現況地形より窪んでいる箇所すなわち掘削すべき箇所と、現況地形より突出している箇所すなわち盛土すべき箇所とで、異なる態様（例えば色）で表示される。これにより、利用者は、施工現場に臨んで掘削すべき箇所と盛土すべき箇所を視認することができる。
完成図面ボタンＩ２３は、押下によりＯＮ／ＯＦＦの状態が切り替わる。完成図面ボタンＩ２３がＯＮ状態になると、現場設定部１０３は、表示装置４３０に表示する施工現場の形状を、目標形状に設定する。完成図面ボタンＩ２３がＯＮ状態である場合、合成現場画像Ｉ１として可視画像と設計データＤ１とが合成されたものが表示される。このときの設計データＤ１は、現況地形との差分によらない態様で表示される。
点群ボタンＩ２４は、押下によりＯＮ／ＯＦＦの状態が切り替わる。点群ボタンＩ２４がＯＮ状態になると、現場設定部１０３は、表示装置４３０に表示する施工現場の形状を、過去形状に設定する。点群ボタンＩ２４がＯＮ状態である場合、合成現場画像Ｉ１として可視画像と点群データＤ２とが合成されたものが表示される。

掘削・盛土ボタンＩ２２、完成図面ボタンＩ２３、および点群ボタンＩ２４は、同時にＯＮ状態となることがない。例えば、掘削・盛土ボタンＩ２２がＯＮ状態の時に完成図面ボタンＩ２３が押下されると、完成図面ボタンＩ２３がＯＮ状態に切り替わるとともに掘削・盛土ボタンＩ２２がＯＦＦ状態に切り替わる。他方、掘削・盛土ボタンＩ２２、完成図面ボタンＩ２３、および点群ボタンＩ２４が、いずれもＯＦＦ状態になると、現場設定部１０３は、表示装置４３０に表示する施工現場の形状を、現況形状に設定する。この場合、合成現場画像Ｉ１には現場データが合成されず、合成現場画像Ｉ１には可視画像によって表される現況の地形が表示される。

作業機械ボタンＩ２５は、押下によりＯＮ／ＯＦＦの状態が切り替わる。作業機械ボタンＩ２５のＯＮ／ＯＦＦの状態は、掘削・盛土ボタンＩ２２、完成図面ボタンＩ２３、および点群ボタンＩ２４とは独立して切り替わる。つまり、掘削・盛土ボタンＩ２２、完成図面ボタンＩ２３、および点群ボタンＩ２４の押下によって作業機械ボタンＩ２５のＯＮ／ＯＦＦの状態は切り替わらない。作業機械ボタンＩ２５がＯＮ状態である場合、合成現場画像Ｉ１に機械データＤ３が含まれる。他方、作業機械ボタンＩ２５がＯＦＦ状態である場合、図３に示すように、合成現場画像Ｉ１に機械データＤ３が含まれなくなる。

計測ボタンＩ２６は、押下によりＯＮ／ＯＦＦの状態が切り替わる。計測ボタンがＯＮ状態である場合、合成現場画像Ｉ１上の２点を選択することで、その２点間の実空間における距離が表示される。
なお、各ボタンのＯＮ／ＯＦＦの状態は、現場設定部１０３によって設定され、メインメモリ２００に記憶される。

《表示制御方法》
図３は、第１の実施形態に係る携帯端末の表示制御方法を示すフローチャートである。
利用者が携帯端末１を操作し、合成表示プログラムＰを実行すると、携帯端末１は、以下に示す表示制御処理を、カメラ４１０のフレームレートに係るタイミングごとに繰り返し実行する。

まず画像取得部１０１は、カメラ４１０から撮像された可視画像および距離画像を取得する（ステップＳ１）。また位置・姿勢取得部１０２は、位置検出器４４０およびＩＭＵ４５０から位置データおよび姿勢データを取得する（ステップＳ２）。次に、現場データ取得部１０４は、取得した距離画像、位置データ、および姿勢データに基づいて、施工現場の現況を表す現況データを生成する（ステップＳ３）。現場データ取得部１０４は、例えば、Ｔａｎｇｏなどの技術を用いることで現況データを生成することができる。

次に、現場データ配置部１０５は、メインメモリ２００を参照し、掘削・盛土ボタンＩ２２がＯＮ状態であるか否かを判定する（ステップＳ４）。掘削・盛土ボタンＩ２２がＯＮ状態である場合（ステップＳ４：ＹＥＳ）、現場データ取得部１０４は、ストレージ３００から設計データＤ１を読み出す（ステップＳ５）。次に、現場データ配置部１０５は、ステップＳ２で取得した位置データおよび姿勢データに基づいて、仮想空間に現況データと設計データＤ１とを配置する（ステップＳ６）。次に、描画部１０９は、設計データＤ１上の複数の点について、鉛直方向における現況データとの差を算出する（ステップＳ７）。このとき、設計データＤ１より鉛直方向上方向に現況データが位置する場合に、差は正数となり、設計データＤ１より鉛直方向下方向に現況データが位置する場合に、差は負数となる。次に、描画部１０９は、算出した差に基づいて、設計データＤ１を着色する（ステップＳ８）。例えば、描画部１０９は、設計データＤ１のうち差が正数となる領域と差が負数となる領域とで色調を異ならせる。具体的には、描画部１０９は、設計データＤ１との差がない領域を緑色に着色し、差が正数である領域について、差の絶対値が小さいほど緑色に近く、差の絶対値が大きいほど赤色に近い色に着色し、差が負数である領域について、差の絶対値が小さいほど緑色に近く、差の絶対値が大きいほど青色に近い色に着色する。描画部１０９は、着色された設計データＤ１を描画する（ステップＳ９）。

掘削・盛土ボタンＩ２２がＯＦＦ状態である場合（ステップＳ４：ＮＯ）、現場データ配置部１０５は、メインメモリ２００を参照し、完成図面ボタンＩ２３がＯＮ状態であるか否かを判定する（ステップＳ１０）。完成図面ボタンＩ２３がＯＮ状態である場合（ステップＳ１０：ＹＥＳ）、現場データ取得部１０４は、ストレージ３００から設計データＤ１を読み出す（ステップＳ１１）。次に、現場データ配置部１０５は、ステップＳ２で取得した位置データおよび姿勢データに基づいて、仮想空間に設計データＤ１を配置する（ステップＳ１２）。描画部１０９は、設計データＤ１を描画する（ステップＳ１３）。

完成図面ボタンＩ２３がＯＦＦ状態である場合（ステップＳ１０：ＮＯ）、現場データ配置部１０５は、メインメモリ２００を参照し、点群ボタンＩ２４がＯＮ状態であるか否かを判定する（ステップＳ１４）。点群ボタンＩ２４がＯＮ状態である場合（ステップＳ１４：ＹＥＳ）、現場データ取得部１０４は、ストレージ３００から点群データＤ２を読み出す（ステップＳ１５）。次に、現場データ配置部１０５は、ステップＳ２で取得した位置データおよび姿勢データに基づいて、仮想空間に点群データＤ２を配置する（ステップＳ１６）。描画部１０９は、点群データを描画する（ステップＳ１７）。

掘削・盛土ボタンＩ２２、完成図面ボタンＩ２３、および点群ボタンＩ２４のいずれもがＯＦＦ状態である場合（ステップＳ１４：ＮＯ）、現場データ配置部１０５は、ステップＳ２で取得した位置データおよび姿勢データに基づいて、仮想空間にステップＳ３で生成した現況データを配置する（ステップＳ１８）。なお、描画部１０９は、現況データを描画しない。

仮想空間に現場データが配置されると、機械データ配置部１０７は、メインメモリ２００を参照し、作業機械ボタンＩ２５がＯＮ状態であるか否かを判定する（ステップＳ１９）。作業機械ボタンＩ２５がＯＮ状態である場合（ステップＳ１９：ＹＥＳ）、携帯端末１は、作業機械描画処理を実行する（ステップＳ２０）。

図４は、第１の実施形態に係る作業機械描画処理を示すフローチャートである。
携帯端末１が作業機械描画処理を開始すると、機械データ取得部１０６は、入力装置４２０を介した利用者の操作により作業機械の追加指示がなされたか否かを判定する（ステップＳ５１）。なお、作業機械ボタンＩ２５がＯＦＦ状態からＯＮ状態に初めて切り替わった場合、機械データ取得部１０６は、作業機械の追加指示がなされたものとみなす。

作業機械の追加指示がなされた場合（ステップＳ５１：ＹＥＳ）、機械データ取得部１０６は、表示装置４３０に選択可能な作業機械の車種の一覧を表示し、利用者に選択させることで、車種を設定する（ステップＳ５２）。機械データ取得部１０６は、設定された車種に係る機械データＤ３をストレージ３００から読み出す（ステップＳ５３）。

図５は、作業機械の追加時に表示装置に表示される画像の例を示す図である。
次に、機械データ配置部１０７は、図５に示すように、表示装置４３０の全体に施工現場の上面図を拡大して表示させ、作業機械を配置する地点を利用者に選択させる（ステップＳ５４）。次に、動態設定部１０８は、入力装置４２０を介して作業機械の走行ルートおよびモーションの設定の入力を受け付ける（ステップＳ５５）。例えば、利用者は、入力装置４２０を介して、図５に示すように、ステップＳ５４で選択した地点を起点として、ドラッグアンドドロップ操作により線Ｌを描画することで、走行ルートを設定してもよい。このとき、図５に示す前進ボタンＩ３１または後退ボタンＩ３２を押下することで、作業機械を前進（通常走行）させるか後退（バック走行）させるかを切り替えることができる。また、利用者は、図５に示す複数のモーションアイコンＩ３３の１つを押下することで、作業機械の動作の種類を設定することができる。モーションアイコンＩ３３は、ストレージ３００に記憶されるパターンデータＤ４ごとに用意される。利用者は、図５に示す決定ボタンＩ３４を押下することで、作業機械の追加を確定する。

作業機械の追加が確定した場合、または作業機械の追加指示がない場合（ステップＳ５１：ＮＯ）、機械データ配置部１０７は、機械データＤ３の位置および設定された走行ルートに基づいて、仮想空間のうち機械データＤ３を配置する平面座標を特定する（ステップＳ５６）。具体的には、機械データ配置部１０７は、ステップＳ５２からステップＳ５５によって作業機械が新たに追加された場合、ステップＳ５４で設定された配置位置に相当する仮想空間上の平面座標を特定する。他方、既に作業機械が仮想空間に配置されている場合、既に配置されている仮想空間上の平面座標から、設定された走行ルートに従って所定距離（フレームレートに係る時間の間に作業機械が進む距離）だけ移動させた平面座標を特定する。このとき、機械データ配置部１０７は、ステップＳ５２で設定された車種に係るカタログ値等に基づいて、カーブ走行時の内輪差を特定する。また、機械データ配置部１０７は、機械データＤ３の向きを、ステップＳ５５で設定された走行ルートを表す線Ｌの接線（接ベクトル）方向に決定する。

次に、機械データ配置部１０７は、仮想空間の特定された平面座標上に、鉛直方向上側から機械データＤ３を下ろし、機械データＤ３の走行体に相当する部分が現場データと鉛直方向に接する最も低い高さを特定する（ステップＳ５７）。そして機械データ配置部１０７は、仮想空間のうち、特定した平面座標における特定した高さの点に、機械データＤ３を配置する（ステップＳ５８）。すなわち、機械データ配置部１０７は、機械データＤ３を重力に従って現場データ上に配置する。なお、ステップＳ５７で特定される位置は、機械データＤ３の走行体に相当する部分が現場データと干渉しない位置であるため、走行体以外の部分が現場データと干渉することを妨げない。例えば、現場データの建屋に相当する位置に機械データＤ３が配置される場合に、建屋内に機械データＤ３を配置することで建屋の一部と作業機とが干渉するとしても、建屋の屋上に相当する高さが特定されるのではなく、建屋の床面に相当する高さが特定される。なお、他の実施形態においては、機械データ配置部１０７は、機械データＤ３を現場データに対応する位置に配置するものであればよく、必ずしも現場データと鉛直方向に接するように配置しなくてもよい。例えば、他の実施形態に係る機械データ配置部１０７は、機械データＤ３の初期配置において、現場データと鉛直方向に接するように機械データＤ３を配置し、その後は、平面座標を異ならせながら同じ高さの位置に機械データＤ３を配置してもよい。また他の実施形態においては、現場データと機械データＤ３とが鉛直方向に微小に干渉していてもよいし、現場データと機械データＤ３との間に微小な隙間があってもよい。

次に、機械データ配置部１０７は、ストレージ３００から設定されたモーションに係るパターンデータＤ４を読み出し、当該パターンデータＤ４に従って作業機械の姿勢を決定する（ステップＳ５９）。そして描画部１０９は、機械データＤ３を描画する（ステップＳ６０）。このとき、描画部１０９は、機械データＤ３のうち現場データと干渉する部分を所定の色で着色してもよい。また描画部１０９は、現場データのうち機械データＤ３と干渉する部分を所定の色で着色してもよい。

図３に戻り、ステップＳ２０による作業機械描画処理が終了した場合、作業機械ボタンＩ２５がＯＦＦ状態である場合（ステップＳ１９：ＮＯ）、描画部１０９は、ステップＳ１で取得した可視画像と、描画された現場データまたは機械データＤ３とを合成することにより、合成現場画像Ｉ１を生成する。

具体的には、描画部１０９は、掘削・盛土ボタンＩ２２がＯＮであり、かつ作業機械ボタンＩ２５がＯＮである場合に、可視画像に設計データＤ１および機械データＤ３を合成することで、合成現場画像Ｉ１を生成する。描画部１０９は、掘削・盛土ボタンＩ２２がＯＮであり、かつ作業機械ボタンＩ２５がＯＦＦである場合に、可視画像に設計データＤ１を合成することで、合成現場画像Ｉ１を生成する。描画部１０９は、完成図面ボタンＩ２３がＯＮであり、かつ作業機械ボタンＩ２５がＯＮである場合に、可視画像に設計データＤ１および機械データＤ３を合成することで、合成現場画像Ｉ１を生成する。描画部１０９は、完成図面ボタンＩ２３がＯＮであり、かつ作業機械ボタンＩ２５がＯＦＦである場合に、可視画像に設計データＤ１を合成することで、合成現場画像Ｉ１を生成する。描画部１０９は、点群ボタンＩ２４がＯＮであり、かつ作業機械ボタンＩ２５がＯＮである場合に、可視画像に点群データＤ２および機械データＤ３を合成することで、合成現場画像Ｉ１を生成する。描画部１０９は、点群ボタンＩ２４がＯＮであり、かつ作業機械ボタンＩ２５がＯＦＦである場合に、可視画像に点群データＤ２を合成することで、合成現場画像Ｉ１を生成する。描画部１０９は、掘削・盛土ボタンＩ２２、完成図面ボタンＩ２３および点群ボタンＩ２４がすべてＯＦＦであり、かつ作業機械ボタンＩ２５がＯＮである場合に、可視画像に機械データＤ３を合成することで、合成現場画像Ｉ１を生成する。描画部１０９は、掘削・盛土ボタンＩ２２、完成図面ボタンＩ２３および点群ボタンＩ２４がすべてＯＦＦであり、かつ作業機械ボタンＩ２５がＯＦＦである場合に、可視画像をそのまま合成現場画像Ｉ１とする。

描画部１０９は、生成した合成現場画像Ｉ１に操作パネル画像Ｉ２を合成することで、表示画像Ｉを生成する（ステップＳ２１）。そして、表示制御部１１０は、生成された表示画像Ｉを表示装置４３０に出力する（ステップＳ２２）。

上述の処理により、携帯端末１の表示装置４３０には、カメラ４１０のフレームレートに係るタイミングごとに、施工現場の現況形状、過去形状または目標形状が携帯端末１の姿勢に追従してリアルタイムに表示される。また、作業機械ボタンＩ２５が押下されている場合、表示装置４３０には、施工現場を動く作業機械がリアルタイムに表示される。すなわち、表示装置４３０に表示される作業機械の位置または姿勢は、経時的に変化する。

図６は、第１のタイミングにおいて表示装置に表示される表示画像の例を示す図である。図７は、第２のタイミングにおいて表示装置に表示される表示画像の第１の例を示す図である。図８は、第２のタイミングにおいて表示装置に表示される表示画像の第２の例を示す図である。
作業機械ボタンＩ２５が押下され、油圧ショベルを表す機械データＤ３とダンプトラックを表す機械データＤ３とが仮想空間に配置されると、第１のタイミングにおいて表示装置４３０には、図６に示すように、施工現場に油圧ショベルＭ１とダンプトラックＭ２とが配置された画像が表示される。
ここで、利用者がステップＳ５４でダンプトラックＭ２を表す機械データＤ３の走行ルートを設定すると、第１のタイミングより後のタイミングである第２のタイミングにおいて表示装置４３０には、図７に示すように、ダンプトラックＭ２の位置が変化した表示画像Ｉが表示される。これにより、利用者は、ダンプトラックＭ２の走行ルートの幅や、施工現場に敷くべき鉄板の量などを、施工現場に臨んで確認することができる。
他方、利用者がステップＳ５４で油圧ショベルＭ１を表す機械データＤ３のモーションを設定すると、第１のタイミングより後のタイミングである第２のタイミングにおいて表示装置４３０には、図８に示すように、油圧ショベルＭ１の姿勢が変化した表示画像Ｉが表示される。これにより、利用者は、油圧ショベルＭ１が動作可能なスペースの有無を、施工現場に臨んで確認することができる。

《計測処理》
ところで、図２などに示す表示画像Ｉのうち、計測ボタンＩ２６が押下されると、距離算出部１１１は、仮想空間における２点間の距離を表示する計測処理を実行する。

図９は、第１の実施形態に係る計測処理を示すフローチャートである。
計測ボタンＩ２６が押下されると、距離算出部１１１は、入力装置４２０を介して、距離計測の始点として表示画像Ｉ上の座標の指定を受け付ける（ステップＳ１０１）。例えば、利用者は、表示画像Ｉ上の１点をクリックまたはタップすることで、座標を指定する。距離算出部１１１は、仮想空間上に、指定された始点に相当する直線を配置し、当該直線と現場データとが交差する点を特定する（ステップＳ１０２）。指定座標に機械データＤ３が配置されている場合には、距離算出部１１１は、直線と機械データＤ３とが交差する点を特定する。
また距離算出部１１１は、入力装置４２０を介して、距離計測の終点として表示画像Ｉ上の座標の指定を受け付ける（ステップＳ１０３）。距離算出部１１１は、仮想空間上に、指定された終点に相当する直線を配置し、当該直線と現場データとが交差する点を特定する（ステップＳ１０４）。指定座標に機械データＤ３が配置されている場合には、距離算出部１１１は、直線と機械データＤ３とが交差する点を特定する。

距離算出部１１１は、特定された始点と終点とを結ぶ距離を算出する（ステップＳ１０５）。すなわち、距離算出部１１１は、ステップＳ１０２およびステップＳ１０４で特定された２点の仮想空間における長さに所定のゲインを乗算することで、実空間における長さを算出する。そして、描画部１０９は、ステップＳ１０２およびステップＳ１０４で特定された２点を結ぶ直線を描画し、当該直線とステップＳ１０５で算出された距離とを、表示画像Ｉ上に合成する（ステップＳ１０６）。これにより、表示装置４３０には、指定された２点間の距離が表示される。

これにより、利用者は携帯端末１を見ながら容易に施工現場における長さを測ることができる。例えば、利用者は、合成現場画像Ｉ１に表示された作業機械の側面から施工現場における走行通路の壁面までの距離を測ることができる。

《作用・効果》
このように、第１の実施形態に係る携帯端末１は、実空間における視点の位置および姿勢を取得し、当該位置及び姿勢に基づいて現場データを仮想空間に配置し、機械データＤ３を現場データと鉛直方向に接するように仮想空間に配置する。これにより、携帯端末１は、施工現場に作業機械を仮想的に配置して表示することができる。したがって、携帯端末１の利用者は、施工現場に臨んで作業機械の動作を容易に確認することができる。なお、「取得する」とは、処理に用いる値を得ることをいう。例えば、「取得する」は、値を受信すること、値を計測すること、値の入力を受け付けること、テーブルから値を読み出すこと、値を算出することを含む。

また、第１の実施形態に係る携帯端末１は、機械データＤ３を、位置または姿勢を経時的に変化させて描画する。これにより、携帯端末１の利用者は、作業機械の動態を、施工現場に臨んでリアルタイムに確認することができる。また、第１の実施形態に係る携帯端末１は、機械データＤ３の動態を設定し、設定された動態に従って機械データの位置または姿勢を経時的に変化させて描画する。これにより、利用者は、簡易な設定で作業機械の動態を確認することができる。

〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
図１０は、他の実施形態に係る表示画像の例を示す図である。
例えば、第１の実施形態に係る携帯端末１は、機械データＤ３を、位置または姿勢を経時的に変化させて描画するが、これに限られない。例えば、他の実施形態に係る携帯端末１は、予め機械データＤ３の異なる姿勢を複数記憶してこのうちの１つを描画し、利用者によって図１０に示す姿勢切替ボタンＩ４１が押下された場合に、描画する姿勢を異ならせるものであってもよい。

また、第１の実施形態に係る携帯端末１では、図５に示す画面上に線Ｌを引くことで作業機械の走行ルートを決定するが、これに限られない。例えば、他の実施形態に係る動態設定部１０８は、入力装置４２０を介して走行ルートの記録の開始指示を受け付けると、位置・姿勢取得部１０２が取得した位置データおよび姿勢データをメインメモリ２００に蓄積させる。そして、動態設定部１０８は、入力装置４２０を介して走行ルートの記録の終了指示を受け付けると、メインメモリ２００に記録された位置データおよび姿勢データの時系列を、走行ルートとして設定してもよい。また他の実施形態に係る携帯端末１は、表示装置４３０に作業機械のコントローラ画像（例えば、作業機操作レバーに対応する画像）を表示させ、当該コントローラ画像に対する操作に従って機械データＤ３の位置および姿勢を変化させてもよい。

また、第１の実施形態に係る機械データＤ３にはスケルトンが設定され、携帯端末１は、当該スケルトンの角度を異ならせることで機械データＤ３の姿勢を異ならせるが、これに限られない。例えば、他の実施形態に係る機械データＤ３は、機械データＤ３が可動部を有しない三次元データで構成され、携帯端末１は作業機械の走行のみを模擬可能とするものであってもよい。

また、第１の実施形態では、スマートフォンやタブレット端末などの携帯端末１が、表示画像を表示するがこれに限られない。例えば、他の実施形態においては、投影型ＨＭＤ（Head Mounted Display）や透過型ＨＭＤが表示画像を表示するものであってもよい。なお、ＨＭＤが表示画像を表示する場合、位置・姿勢取得部１０２は、カメラの視点の位置および姿勢ではなく、利用者の位置および姿勢を取得してよい。また、透過型ＨＭＤが表示画像を表示する場合、表示画像には可視画像が含まれなくてもよい。この場合、透過型ＨＭＤが機械データＤ３のみを表示することで、利用者の肉眼で視認される施工現場に、機械データＤ３が重畳して表示される。

図１１は、他の実施形態に係る表示制御装置を備えた油圧ショベルの外観を示す斜視図である。
また他の実施形態においては、表示制御装置が図１１に示すような油圧ショベルに備えられていてもよい。
油圧ショベル１０００は、作業機１１００と、作業機１１００を支持する旋回体１２００と、旋回体１２００を支持する走行体１３００とを備える。旋回体１２００には、オペレータが搭乗する運転室１２１０が備えられる。運転室１２１０の内部には、表示装置１２１１が設けられる。運転室１２１０の上部には、ステレオカメラ１２１２が設けられる。ステレオカメラ１２１２は、運転室１２１０前面のフロントガラスを通して、運転室１２１０の前方を撮像する。ステレオカメラ１２１２は、少なくとも１対のカメラを備える。ステレオカメラ１２１２の少なくとも１対のカメラが撮像した１対の画像を用いることで、ステレオカメラ１２１２と撮像対象との距離を算出することができる。

油圧ショベル１０００は、位置方位演算器１２３０、傾斜検出器１２４０、表示制御装置１２５０を備える。位置方位演算器１２３０は、旋回体１２００の位置および旋回体１２００が向く方位を演算する。位置方位演算器１２３０は、第１受信器１２３１が受信した測位信号と、第２受信器１２３２が受信した測位信号とを用いて、旋回体１２００の方位を演算する。傾斜検出器１２４０は、旋回体１２００の加速度および角速度を計測し、計測結果に基づいて旋回体１２００の傾きを検出する。傾斜検出器１２４０は、例えば運転室１２１０の下面に設置される。傾斜検出器１２４０は、例えば、ＩＭＵを用いることができる。

表示制御装置１２５０は、ステレオカメラ１２１２が撮像した画像に基づいて現況データを取得する。このとき、表示制御装置１２５０は、位置方位演算器１２３０および傾斜検出器１２４０から得られる情報に基づいてステレオカメラ１２１２の位置データおよび姿勢データを取得する。これにより、表示制御装置１２５０は、表示画像を生成し、表示装置１２１１に表示させる。

また、他の実施形態においては、表示制御装置がカメラ４１０を備えないコンピュータであって、持ち運び可能なカメラ４１０から有線または無線で可視画像および距離画像を受信するものであってもよい。また、他の実施形態においては、表示装置と表示制御装置とが別個の装置として構成されてもよい。例えば、表示システムが、表示制御装置であるサーバと携帯端末１とを備える場合、以下のような処理がなされてもよい。携帯端末１は、カメラ４１０で撮像した画像、位置検出器４４０が検出した位置データ、およびＩＭＵ４５０が検出した姿勢データを、通信回線を介してサーバに送信する。サーバは、上述の処理により、受信したデータに基づいて表示画像を生成する。サーバは、生成した表示画像を携帯端末１に送信する。携帯端末１の表示装置４３０は、受信した表示画像を表示する。

また、第１の実施形態に係る携帯端末１は、距離画像から現況データを取得するが、これに限られない。例えば、他の実施形態に係る携帯端末１は、直近に計測された点群データＤ２を現況データとして扱ってもよい。

また、第１の実施形態に係る携帯端末１は、施工現場が写る画像に機械データＤ３を描画するが、これに限られない。例えば、他の実施形態に係る携帯端末１は、カメラ４１０で施工現場を再現したスケールモデルを撮像し、当該スケールモデルが写る画像に機械データＤ３を描画してもよい。スケールモデルのうち基準点に相当する位置にマーカー（例えば二次元コード）が付されている場合、現場データ配置部１０５は、基準点に相当する位置が、当該マーカーの位置に合うように現場データを配置する。
スケールモデルは、縮尺を異ならせて施工現場の形状を再現した模型である。したがって、スケールモデルが写る画像から生成される現況データは、施工現場の形状を表す三次元データである。携帯端末１は、スケールモデルの縮尺に基づいて機械データＤ３の大きさを異ならせる。スケールモデルの縮尺は、利用者によって指定されてもよいし、現況データと施工現場の設計データとの比較によって特定されてもよいし、スケールモデルに記載された値を読み取ってもよい。この場合、距離算出部１１１は、ステップＳ１０５で算出した距離に、スケールモデルの縮尺の逆数を乗算することで、施工現場における距離を算出してもよい。また、施工現場のスケールモデルと同じ縮尺で作業機械を再現したスケールモデルがある場合、利用者は、携帯端末１を用いて施工現場のスケールモデルと作業機械のスケールモデルとの間の距離を計測してもよい。この場合、携帯端末１は、必ずしも機械データを描画しなくてもよい。

第１の実施形態に係る携帯端末１においては、合成表示プログラムＰがストレージ３００に格納される場合について説明したが、これに限られない。例えば、他の実施形態においては、合成表示プログラムＰが通信回線によって携帯端末１に配信されるものであってもよい。この場合、配信を受けた携帯端末１が当該合成表示プログラムＰをメインメモリ２００に展開し、上記処理を実行する。

また、合成表示プログラムＰは、上述した機能の一部を実現するためのものであってもよい。例えば、合成表示プログラムＰは、上述した機能をストレージ３００に既に記憶されている他の合成表示プログラムＰとの組み合わせ、または他の装置に実装された他の合成表示プログラムＰとの組み合わせで実現するものであってもよい。

また、携帯端末１は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ１００によって実現される機能の一部が当該ＰＬＤによって実現されてよい。

上記表示制御装置によれば、利用者に施工現場に臨んで作業機械の動作を容易に確認させることができる。

１ 携帯端末
１００ プロセッサ
２００ メインメモリ
３００ ストレージ
４００ インタフェース
４１０ カメラ
４２０ 入力装置
４３０ 表示装置
４４０ 位置検出器
４５０ ＩＭＵ
１０１ 画像取得部
１０２ 位置・姿勢取得部
１０３ 現場設定部
１０４ 現場データ取得部
１０５ 現場データ配置部
１０６ 機械データ取得部
１０７ 機械データ配置部
１０８ 動態設定部
１０９ 描画部
１１０ 表示制御部
１１１ 距離算出部
Ｉ 表示画像
Ｉ１ 合成現場画像
Ｉ２ 操作パネル画像
Ｉ２１ マップ領域
Ｉ２２ 掘削・盛土ボタン
Ｉ２３ 完成図面ボタン
Ｉ２４ 点群ボタン
Ｉ２５ 作業機械ボタン
Ｉ２６ 計測ボタン

Claims (13)

1. 実空間における視点の位置および姿勢を取得する位置・姿勢取得部と、
   前記視点の位置および姿勢に基づいて施工現場の形状を表す三次元データである現場データを仮想空間に配置する現場データ配置部と、
   作業機械の形状を表す三次元データである機械データを、前記仮想空間のうち選択された平面座標および前記現場データに対応する高さに係る位置に配置する機械データ配置部と、
   配置された前記機械データを描画する描画部と
   を備える表示制御装置。
2. 前記描画部は、配置された前記機械データを、前記機械データの位置または姿勢を経時的に変化させて描画する
   請求項１に記載の表示制御装置。
3. 前記機械データの動態を設定する動態設定部を備え、
   前記描画部は、前記動態設定部によって設定された前記動態に従って、配置された前記機械データの位置または姿勢を経時的に変化させて描画する
   請求項２に記載の表示制御装置。
4. 前記描画部は、配置された前記機械データの複数の位置または複数の姿勢のうち１つを描画する
   請求項１に記載の表示制御装置。
5. 前記機械データは、可動部を有し、
   前記描画部は、配置された前記機械データの前記可動部の姿勢を異ならせて前記機械データを描画する
   請求項１から請求項４のいずれか１項に記載の表示制御装置。
6. 撮像装置が撮影した画像を取得する画像取得部を備え、
   前記位置・姿勢取得部は、前記撮像装置の視点の位置および姿勢を取得する
   請求項１から請求項５のいずれか１項に記載の表示制御装置。
7. 前記描画部は、前記画像に、描画された前記機械データを合成する
   請求項６に記載の表示制御装置。
8. 前記画像に基づいて前記現場データを取得する現場データ取得部を備える
   請求項６または請求項７に記載の表示制御装置。
9. 前記位置・姿勢取得部は、前記表示制御装置の位置および姿勢を取得する
   請求項１から請求項５のいずれか1項に記載の表示制御装置。
10. 前記位置・姿勢取得部は、描画された前記機械データを表示するＨＭＤの位置および姿勢を取得する
    請求項１から請求項５のいずれか１項に記載の表示制御装置。
11. 実空間における視点の位置および姿勢を取得することと、
    前記視点の位置および姿勢に基づいて施工現場の形状を表す三次元データである現場データを仮想空間に配置することと、
    作業機械の形状を表す三次元データである機械データを、前記仮想空間のうち選択された平面座標および前記現場データに対応する高さに係る位置に配置することと、
    配置された前記機械データを描画することと
    を有する表示制御方法。
12. コンピュータに、
    実空間における視点の位置および姿勢を取得することと、
    前記視点の位置および姿勢に基づいて施工現場の形状を表す三次元データである現場データを仮想空間に配置することと、
    作業機械の形状を表す三次元データである機械データを、前記仮想空間のうち選択された平面座標および前記現場データに対応する高さに係る位置に配置することと、
    配置された前記機械データを描画することと
    を実行させるためのプログラム。
13. 実空間における視点の位置および姿勢を計測する位置・姿勢計測部と、
    前記視点の位置および姿勢に基づいて施工現場の形状を表す三次元データである現場データを仮想空間に配置する現場データ配置部と、
    作業機械の形状を表す三次元データである機械データを、前記仮想空間のうち選択された平面座標および前記現場データに対応する高さに係る位置に配置する機械データ配置部と、
    配置された前記機械データを描画する描画部と、
    描画された前記機械データを表示する表示部と
    を備える表示システム。

Images