以下、本発明の実施形態による情報表示システム、及び情報表示方法について、図面を参照して説明する。
[第1の実施形態]
まず、図面を参照しながら本発明の第1の実施形態について説明する。
図1は、本実施形態に係る情報表示システム1の一例を示す概要図である。
情報表示システム1は、装置間で、例えば、構造物9の不具合(特定の対象の一例)の位置を仮想空間に投影した仮想空間情報や、構造物9の不具合に関する不具合情報(対象情報の一例)などの情報の送受信を行う情報表示システム1である。情報表示システム1は、処理装置2、GPS装置3、ホログラム装置6を備える。
ホログラム装置6は、ホログラムを現実空間に重ねて表示可能なHMD(Head Mounted Display)であり、不具合情報を、ホログラムを用いて表示する。また、ホログラム装置6は、撮影部62を備え、撮影部62から不具合情報の更新情報を取得する。GPS装置3は、ホログラム装置6を装着するユーザが保持し、GPS衛星からホログラム装置6を装着するユーザのGPS情報を取得し、ホログラム装置6にホログラム表示を開始する際のホログラム装置6の平面上の位置に関する情報を提供する。ホログラム装置6、GPS装置3についての詳細は後述する。
構造物9は、情報表示システム1が情報を表示する対象となる構造物であり、例えば、生活インフラ、社会インフラ、公共インフラ、公益インフラなど各種インフラの施設を含む。構造物9は、例えば、電気、ガス、水道、通信などに関する構造物、学校、病院、住宅などの建物、道路、港湾、鉄道などに関する施設などを含む。
なお、本実施形態では、説明の都合上、図示を省略するが、情報表示システム1は、GPS装置3と、ホログラム装置6とのそれぞれを複数備えることが可能である。また、複数のホログラム装置6は、同一の仮想空間情報に基づいて、同時にホログラム表示することが可能である。
また、処理装置2と、GPS装置3と、ホログラム装置6とは、ネットワークNWを介して接続されており、ネットワークNWを介して互いに通信する。
ネットワークNWは、例えば、携帯電話網、PHS(Personal Handy-phone System)網、VPN(Virtual Private Network)網、専用通信回線網、WAN(Wide Area Network)、LAN(Local Area Network)、PSTN(Public Switched Telephone Network;公衆交換電話網)などによって構成される情報通信ネットワークであり、または、これらの組み合わせである。
処理装置2は、例えば、サーバ装置である。処理装置2は、例えば、CPU(Central Processing Unit)や記憶装置を備える。処理装置2は、構造物9の3次元モデルと、構造物9の不具合の位置を示す位置情報を含む不具合情報とに基づいて、仮想空間に構造物9の3次元モデルと不具合情報とを投影する仮想空間投影処理を行う。また、処理装置2は、投影した情報である仮想空間情報と、不具合のメタデータと、ホログラム表示関連情報とを、ネットワークNWを介して、ホログラム装置6に送信する。また、処理装置2は、ホログラム装置6が新たに取得した不具合のメタデータを、ネットワークNWを介して、ホログラム装置6から受信する。また、処理装置2は、ホログラム装置6がホログラム表示を開始する際の、現実空間におけるホログラム装置6の位置の高さや方向に関する初期位置情報を、ネットワークNWを介してGPS装置3やホログラム装置6に送信する。
図2は、本実施形態に係る処理装置2の一例を示すブロック図である。
処理装置2は、通信部21、記憶部22、及び、処理部23を備える。
通信部21は、有線LAN(Local Area Network)通信、無線LAN通信などを利用してネットワークNWに接続し、ネットワークNWを介して各種通信を行う。通信部21は、例えば、ネットワークNWを介して、GPS装置3及びホログラム装置6に接続し、GPS装置3又はホログラム装置6との間で、各種通信を行う。
記憶部22は、例えば、HDD(Hard Disc Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)などを備え、ファームウェアやアプリケーションプログラムなど、処理装置2が備えるCPUが実行するための各種プログラムやCPUが実行した処理の結果などを記憶する。処理装置2は、例えば、処理装置2の備えるCPUが記憶部22に記憶されているプログラムを実行することによって機能する。
記憶部22は、3次元モデル記憶部221、表示情報記憶部222、ホログラム表示関連情報記憶部223、仮想空間情報記憶部224、及び初期位置情報記憶部225を備える。
3次元モデル記憶部221は、例えば、構造物9の3次元モデルを記憶する。3次元モデル記憶部221は、3次元モデルとして、例えば、構造物9を示す点群を記憶する。なお、3次元モデルはこれには限られない。他の方法によって、構造物9の3次元モデルが記憶されてもよい。以下では、説明を簡単にするため、3次元モデル記憶部221は、構造物9を点群である3次元点群モデルとして記憶する例について説明する。なお、点群モデルは、視認性向上のため、点群を用いたメッシュ構造などであってもよい。
3次元モデル記憶部221は、3次元点群モデルの各点に関する情報として、例えば3次元GIS(Geographic Information System)データなどの情報を記憶する。3次元GISデータは、各点の緯度、経度、高度の情報を含む。3次元GISデータは、例えば、ドローンなどの移動体による過去の撮影によって得られた情報に基づいて生成された情報などである。以下では、説明を簡単にするため、3次元モデル記憶部221は、各点が3次元GISデータを含む情報を持つ、3次元点群モデルとして、構造物9の3次元モデルを記憶する例について説明する。
なお、3次元モデル記憶部221は、構造物9の周囲にあるものについての3次元モデルを含めて記憶してもよい。
表示情報記憶部222は、例えば、構造物9の不具合の位置を示す不具合位置情報を含む不具合情報を記憶する。ここで、不具合とは、例えば、ひび割れ、欠損、タイル剥がれ、浮き、さび、塗装剥がれ、穴、断線、漏電などの構造物9の構造に関するものや、構造物9に存在する設備などから発せされる電磁波の受信強度など、電磁波に関するものを含む。なお、不具合は、ドローンなどの移動体などによって撮影された情報に基づいて、人の目によって判断された情報に基づいたものであってもよいし、ディープラーニングなどの手法によって不具合と判定された情報に基づいたものであってもよい。
不具合位置情報とは、不具合の中心の位置の緯度、経度、高度の3次元情報を示す。また、不具合が電磁波に関する場合、不具合位置情報は、弱い受信強度が測定された複数の地点をつないで生成される空間の3次元情報であってもよい。この場合、弱い受信強度が測定された複数の地点の位置を不具合位置情報として記憶してもよい。
不具合情報とは、不具合位置情報と、不具合のメタデータを含む。不具合のメタデータは、例えば、不具合の種類、重要度などを含む。不具合の重要度とは、不具合の危険度や、作業の観点から決定される重要性の程度を示す指標である。また、不具合がある領域を示す空間で示される場合、不具合のメタデータは、空間を示す点群の一部であること示す情報などを含んでもよい。
また、不具合のメタデータは、不具合の修理に関する修理情報を含む。修理情報は、不具合の修理方法のマニュアル、不具合に関する作業者のメモ、不具合の作業完了時の日時や、修理結果を示す写真などの情報を含む。
表示情報記憶部222は、例えば、図3に示すように、不具合情報を記憶する。
図3は、本実施形態に係る表示情報記憶部222のデータ例を示す図である。
図3に示すように、表示情報記憶部222は、例えば、「不具合ID」と「緯度」と「経度」と「高度」と「不具合の種類」と「不具合の重要度」とを対応付けて不具合情報を記憶する。「不具合ID」は、不具合情報を一意に識別する識別情報を示す。「緯度」、「経度」、及び「高度」は、不具合の位置を示す不具合位置情報であり、それぞれ、不具合の中心の緯度、経度、高度を示す。「不具合の種類」は不具合の種類を識別する識別情報を示す。不具合の種類を識別する識別情報は、例えば、“1”は剥離、“2”はさび、“3”はひび割れなどのように不具合の内容と対応した識別情報である。「不具合の重要度」は不具合の重要度を、段階的に区分けしたものを識別する識別情報を示す。重要度は、例えば、“1”は重要度小、“2”は重要度中、“3”は重要度大などのように、数値が大きくなるほど重要性が高い不具合であることを示す。
図3に示す例では、「不具合ID」が“XXXX001”に対応する「緯度」は“36.1102709051122”であり、「経度」は“139.6553620543340”であり、「高度」は“32.0602523524594”であり、「不具合の種類」は“1”、すなわち剥離であることを示し、「不具合の重要度」は“3”、つまり重要度が大きいことを示す。
ホログラム表示関連情報記憶部223は、例えば、不具合情報のホログラム表示関連情報を記憶する。ホログラム表示関連情報とは、不具合情報をホログラムとして表示する際の、表示するホログラムの形状、色、大きさなどの表示態様に関する情報である。また、ホログラム表示関連情報は、後述するように不具合の位置がホログラム装置6を装着するユーザの視界外にある場合、当該不具合の位置の表示方法に関する情報なども含む。また、ホログラム表示関連情報は、不具合が構造物の内部、壁の向こう側など直接視認できない場所に位置する場合のホログラムの表示方法に関する情報なども含む。
ホログラム表示関連情報記憶部223は、例えば、不具合をホログラムとして表示する際の、不具合毎の表示方法に関する情報を、不具合のメタデータと表示方法とを対応付けて記憶する。不具合毎の表示方法に関する情報については後述する。ホログラム表示関連情報記憶部223は、例えば、不具合の種類とホログラムの色とを対応付けて記憶する。また、ホログラム表示関連情報記憶部223は、例えば、不具合の重要度とホログラムの形状とを対応させて記憶する。また、ホログラム表示関連情報記憶部223は、後述するように、不具合がホログラム装置6のユーザの視界外に存在する際に、視界外の該不具合に関する情報のホログラム表示に関する情報を記憶する。
仮想空間情報記憶部224は、後述する仮想空間投影処理によって、仮想空間に構造物9の3次元モデルと構造物9の不具合位置情報とを対応付けた(以下、この対応付け処理を「投影」とも称する)情報を含む仮想空間情報を記憶する。
初期位置情報記憶部225は、後述するホログラム装置6の起動処理において、ホログラム装置6がホログラム処理を開始する際の、ホログラム装置6の高さ方向の情報と上下左右の方向とに関する初期位置情報を記憶する。
処理部23は、CPU(Central Processing Unit)などを含むプロセッサであり、処理装置2の統括的な制御処理を行う。処理部23は、例えば、3次元モデル記憶部221及び表示情報記憶部222から、それぞれ3次元モデル及び不具合位置情報を取得し、3次元モデル上に不具合位置をマッピングする処理を行う。また、処理部23は、例えば、マッピングした情報を仮想空間上に投影する仮想空間投影処理を行い、投影した仮想空間情報を仮想空間情報記憶部224に記憶させる。また、処理部23は、例えば、仮想空間情報、不具合のメタデータ、及び、ホログラム表示関連情報を、通信部21を介して、ホログラム装置6に送信する仮想空間情報転送処理を行う。また、処理部23は、例えば、通信部21を介して、ホログラム装置6から、不具合のメタデータを受信し、表示情報記憶部222に記憶させる。また、処理部23は、例えば、初期位置情報を、通信部21を介してGPS装置3に送信する。
処理部23は、仮想空間投影部231と、転送処理部232と、表示情報取得部233とを備える。
仮想空間投影部231は、3次元モデル上に不具合位置をマッピングし、マッピングした不具合位置と3次元モデルとを仮想空間上に投影する。具体的には、仮想空間投影部231は、3次元モデル記憶部221から、3次元モデルを読み出す。また、仮想空間投影部231は、表示情報記憶部222から、不具合位置情報を読み出す。仮想空間投影部231は、読みだした3次元モデルの各点の3次元GISデータと、不具合位置情報が含む3次元GISデータとに基づいて、3次元モデル上に、不具合の位置をマッピングする。仮想空間投影部231は、マッピングした3次元モデル(以下、「マップ済3次元モデル」とも称する)に基づいて、マップ済み3次元モデルの全ての点を包含することのできる仮想立方体を作成する。この際、仮想空間投影部231は、仮想立方体の中心点と、マップ済み3次元モデルの中心を合わせ、仮想立方体内にマップ済み3次元モデルを展開する展開処理を行う。ここで、展開処理とは、仮想立方体上の座標と、マップ済み3次元モデル上の座標である3次元GISデータとを対応付ける処理を示す。仮想空間投影部231は、展開処理を行った情報を仮想空間情報として、仮想空間情報記憶部224に記憶させる。
転送処理部232は、仮想空間情報と不具合のメタデータとホログラム表示関連情報と初期位置情報とをホログラム装置6に送信する処理を行う。転送処理部232は、仮想空間情報記憶部224、表示情報記憶部222、ホログラム表示関連情報記憶部223、初期位置情報記憶部225から、仮想空間情報、不具合のメタデータ、ホログラム表示関連情報、及び初期位置情報を読み出す。また、転送処理部232は、例えば、読み出した仮想空間情報と不具合のメタデータとホログラム表示関連情報と初期位置情報とを、通信部21を介してホログラム装置6に送信する転送処理を行う。
また、転送処理部232は、例えば、初期位置情報記憶部225から読みだした初期位置情報を、通信部21を介して、GPS装置3に送信する。
表示情報取得部233は、更新された不具合のメタデータを受信する。表示情報取得部233は、例えば、不具合に関する作業員のメモ、不具合の作業完了時の日時や、修理結果を示す写真などの情報を、通信部21を介して、ホログラム装置6から取得する。表示情報取得部233は、取得した不具合のメタデータを、表示情報記憶部222に記憶させる。
GPS装置3は、例えば、パーソナルコンピュータ、タブレット、スマートフォンなどであって、後述するホログラム装置6を装着したユーザが保持する。GPS装置3は、通信部、GPS情報取得部、及び表示部を少なくとも備える。GPS情報取得部は、GPS衛星などからGPS装置3の位置を示すGPS情報を取得する。通信部は、GPS情報取得部が取得したGPS情報を、ネットワークNWを介して、ホログラム装置6に送信する。また、通信部は、ホログラム装置6の起動時の初期位置情報を、ネットワークNWを介して、処理装置2から受信する。GPS装置3は、受信した初期位置情報を表示部に表示する。なお、GPS装置3は、GPS情報を、ネットワークNWを介して、ホログラム装置6に送信する代わりに、表示部に、例えば、2次元バーコードなどの形式で表示してもよい。GPS装置3を保持するユーザは、処理装置2から受信した初期位置情報とGPS情報とに基づいて、ホログラム装置6のホログラム表示を開始する際のユーザの位置に移動し、初期位置情報に示される方向を向く。
ホログラム装置6は、例えば、ホログラムを現実空間に重ねて表示可能なHMDである。ホログラム装置6は、例えば、仮想空間情報、不具合のメタデータ、ホログラム表示関連情報及び、初期位置情報を、ネットワークNWを介して、処理装置2から受信し、記憶部66に記憶させる。また、ホログラム装置6は、起動時のホログラム装置6の位置のGPSに関する情報を、ネットワークNWを介して、又は、後述する撮影部62を介して、GPS装置3から取得する。また、ホログラム装置6は、取得した初期位置情報と、仮想空間情報と、後述するセンサ部64から取得する3次元情報と、ホログラム表示関連情報とに基づいて、不具合情報をホログラムとして表示するホログラム表示処理を定期的に行う。また、ホログラム装置6は、後述する入力部63から入力される情報であってホログラム装置6を操作する操作情報と、ホログラム表示関連情報とに基づいて、操作情報をホログラムとして表示するホログラム表示処理を定期的に行う。また、ホログラム装置6は、後述する入力部63から入力された情報に基づいて、不具合のメタデータに関する情報を取得し、取得した情報に基づいた処理を行う。また、ホログラム装置6は、不具合のメタデータの更新情報を、ネットワークNWを介して、処理装置2に送信する。
図4は、本実施形態に係るホログラム装置6の一例を示すブロック図である。
ホログラム装置6は、通信部61、撮影部62、入力部63、センサ部64、表示部65、記憶部66、及び処理部67を備える。
通信部61は、有線LAN通信、無線LAN通信などを利用してネットワークNWに接続し、ネットワークNWを介して各種通信を行う。通信部21は、例えば、ネットワークNWを介して、処理装置2及びGPS装置3に接続し、処理装置2又はGPS装置3との間で、各種通信を行う。
撮影部62は、例えば、イメージセンサを有し3次元動画像、動画像及び静止画像を撮影する。イメージセンサは、CMOS(Complementary Meta Oxide Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等を用いることができる。3次元動画像とは、撮影部の撮影範囲にある構造物、人物などの物体の表面の凹凸などの情報を含む動画像である。撮影部62は、ホログラム装置6のユーザの視点からの上記各動画像、静止画像に近い各動画像、静止画像を撮影する。撮影部62は、撮影した撮影情報を、後述する入力・撮影情報処理部672に出力する。なお、撮影部62は、撮影部62から撮影する各動画像、静止画像を、ホログラム装置6を装着するユーザの視点からの各動画像、静止画像に補正する補正部を備えてもよい。この場合、撮影部62は、補正した各動画像、静止画像を入力・撮影情報処理部672に出力する。撮影部62は、例えば、ホログラム装置6を装着するユーザが不具合を修理するなどによって、不具合の状態が変化した場合に、その変化後の状態を撮影する。
入力部63は、例えば、カメラやイメージセンサを有し、ホログラム装置6のユーザのジェスチャーや音声などの入力を示す情報を取得する。入力部63は、例えば、ユーザが入力を始めることを示す特定のジェスチャーや音声の情報を認識する認識部を備える。入力部63は、例えば、認識部が入力を始めることを示す情報を認識すると、それ以降のジェスチャーや音声を入力情報として取得する。また、入力部63は、例えば、取得したジェスチャーや音声の情報により指示される操作信号を生成し、入力・撮影情報処理部672に出力する。なお、入力部63は、撮影部62の機能を有して形成されてもよい。また、入力部63は、キーボードやコントローラーなどを有し、入力部63は、これらを用いて入力を示す情報を取得してもよい。キーボードやコントローラーは、現実に存在するものであってもよいし、後述する表示部65でホログラムとして表示される仮想的なキーボードやコントローラーであってもよい。以下、説明を簡単にするため、以下、ホログラム装置6のユーザは、ジェスチャーによって入力を行う場合について説明するが、これには限られない。例えば、ホログラム装置6のユーザは、音声、キーボード、コントローラー、又はこれらの組み合わせによって入力を行ってもよい。
センサ部64は、例えば、6軸センサを有し、ホログラム装置6の移動、向き、回転に関する情報を検知する。6軸センサは、例えば、3軸の加速度センサと、3軸のジャイロセンサの組み合わせを用いることができる。また、6軸センサは、例えば、3軸の加速度センサと、東西南北を検出する地磁気センサの組み合わせを用いることもできる。センサ部64は、検知した情報を、3次元情報処理部673に出力する。
表示部65は、例えば、ホログラムディスプレイ装置などであり、各種情報をホログラム表示する。また、表示部65は、ビデオ透過型、又は、光学透過型のどちらでもよい。ホログラム装置6のユーザは、現実空間の様子とホログラムとを、表示部65を介して、重ね合わせて見ることができる。表示部65は、ビデオ透過型の場合、撮影部62の機能を有して形成されてもよい。以下では、説明の簡単のため、表示部65は光学透過型である場合について説明する。
表示部65は、例えば、各種情報をホログラム表示する。表示部65は、例えば、不具合情報をホログラム表示する。また、表示部65は、例えば、各種操作画面や情報の入力画面などの情報をホログラム表示する。ここで、各種操作画面や情報の入力画面とは、例えば、ホログラム装置6を操作するためのコントローラー、選択肢を示すボタン、文字などを入力するキーボードなどである。
記憶部66は、例えば、HDD、フラッシュメモリ、EEPROM、ROM、またはRAMなどを備え、ファームウェアやアプリケーションプログラムなど、ホログラム装置6が備えるCPUが実行するための各種プログラムやCPUが実行した処理の結果などを記憶する。ホログラム装置6は、例えば、ホログラム装置6の備えるCPUが記憶部66に記憶されているプログラムを実行することによって機能する。
記憶部66は、仮想空間情報記憶部661、視界情報記憶部662、及び、表示情報記憶部663を備える。
仮想空間情報記憶部661は、処理装置2から受信した情報であって、マップ済み3次元モデルを仮想空間に投影した仮想空間情報を記憶する。
視界情報記憶部662は、ホログラム装置6を装着しているユーザの視界に関する視界情報を記憶する。視界情報は、例えば、視点の位置(「視点位置」とも称する)と方向(「視点方向」とも称する)を示す視点情報、視野の領域を示す視野領域情報を含む。ここで、視点位置とは、後述する表示部65の表示画面の中心点を示し、視点方向とは、視点位置における表示画面の接平面の法線方向を示す。なお、視界情報は、ホログラム装置6を装着するユーザに応じて調整されるものであってもよい。視野の領域はユーザによって厳密には異なるが、平均的な視野の領域の情報を視野領域情報としてもよいし、予めホログラム装置6の装着時に調整されるものであってもよい。また、視界情報記憶部662は、GPS装置3から受け入れたGPS情報を記憶する。
表示情報記憶部663は、不具合のメタデータと、ホログラム表示関連情報とを記憶する。
処理部67は、CPUなどを含むプロセッサであり、ホログラム装置6の統括的な制御処理を行う。処理部67は、例えば、処理装置2から、通信部61を介して、仮想空間情報、不具合のメタデータ、ホログラム表示関連情情報、及び初期位置情報などを受信し、記憶部66に記憶させる。また、処理部67は、例えば、GPS装置3から、通信部61を介して、又は撮影部62を介して、GPS情報を受信し、記憶部66に記憶させる。また、処理部67は、例えば、撮影部62から撮影情報を取得し、記憶部66に記憶させる。また、処理部67は、例えば、入力部63から入力された入力情報を示す操作信号を受け入れ、後述する入力情報に対応する各種処理を行う。また、処理部67は、例えば、更新された不具合のメタデータを、通信部61を介して、処理装置2に送信する送信処理を行う。また、処理部67は、例えば、センサ部64から取得した情報に基づいて、ホログラム装置6の視界情報を取得し、記憶部66に記憶させる。また、処理部67は、例えば、入力された情報と記憶部66から読み出した情報とに基づいて、表示部65にホログラムを表示させるホログラム表示処理を行う。
処理部67は、取得処理部671と、入力・撮影情報処理部672と、3次元情報処理部673と、表示処理部674と、送信処理部675とを備える。
取得処理部671は、処理装置2及びGPS装置3から、通信部21を介して、各種情報を取得する。取得処理部671は、例えば、仮想空間情報、不具合のメタデータ、ホログラム表示関連情報、及び、初期位置情報を、通信部61を介して受信する。また、取得処理部671は、例えば、受信した仮想空間情報を、仮想空間情報記憶部661に記憶させる。また、取得処理部671は、例えば、受信した不具合のメタデータ、及びホログラム表示関連情報を、表示情報記憶部663に記憶させる。また、取得処理部671は、例えば、受信した初期位置情報を、視界情報記憶部662に記憶させる。また、取得処理部671は、例えば、GPS情報を、通信部61を介して受信し、受信したGPS情報を視界情報記憶部662に記憶させる。
入力・撮影情報処理部672は、撮影部62及び入力部63から、撮影した撮影情報及び入力情報を取得する。また、入力・撮影情報処理部672は、仮想空間情報、視界情報、及び、不具合のメタデータを仮想空間情報記憶部661、視界情報記憶部662、表示情報記憶部663から取得する。また、入力・撮影情報処理部672は、ホログラム装置6の操作に関する情報を記憶部66から取得する。入力・撮影情報処理部672は、取得した情報に基づいて、以下に示す各種処理を行う。
入力・撮影情報処理部672は、例えば、入力部63からホログラム装置6を操作する入力情報を取得した場合、入力情報に対応する操作を行うか、または入力情報に対応する操作に関連する情報を表示処理部674に出力する。また、入力・撮影情報処理部672は、例えば、ホログラム表示の調整を行う入力情報を取得した場合、取得した情報を、3次元情報処理部673に出力する。
また、入力・撮影情報処理部672は、例えば、入力部63から、不具合を修理するためのマニュアルや、作業者のメモの表示の指示、不具合の修理完了時の修理部位の撮影指示など、不具合のメタデータに関する指示を示す情報を入力部63から取得した場合、まず指示対象となっている不具合(以下、「対象不具合」とも称する)を特定する不具合特定処理を行う。
まず、入力・撮影情報処理部672は、仮想空間情報記憶部661、視界情報記憶部662、表示情報記憶部663から、それぞれ仮想空間情報、視界情報、不具合のメタデータを取得する。また、入力・撮影情報処理部672は、例えば、取得した仮想空間情報と、視界情報とから、ホログラム装置6の視界内にある不具合のうち、最近傍に存在する不具合を判定し、判定した不具合が対象不具合であると決定する。以上で、不具合特定処理を終了する。
続いて、入力・撮影情報処理部672は、例えば、対象不具合のメタデータを参照し、入力部63から入力された指示内容に対応するメタデータであって、表示部65に表示するメタデータを取得する。また、入力・撮影情報処理部672は、対象不具合と表示するメタデータとを示す情報を、表示処理部674に出力する。
また、入力・撮影情報処理部672は、例えば、不具合の修理完了時の修理部位の撮影情報を、撮影部62から取得した場合、上述した不具合特定処理を行い、対象不具合を特定する。入力・撮影情報処理部672は、例えば、対象不具合の撮影情報を、対象不具合のメタデータとして、表示情報記憶部663に記憶させる。また、入力・撮影情報処理部672は、対象不具合の重要度を、修理完了を示す情報に更新する。また、入力・撮影情報処理部672は、送信処理部675にメタデータが更新されたことを示す情報を出力する。また、入力・撮影情報処理部672は、撮影が完了し、メタデータが更新されたことを示す情報を、表示処理部674に出力する。
また、入力・撮影情報処理部672は、例えば、GPS装置3のGPS情報の撮影情報を、撮影部62から取得した場合、撮影情報から、GPS情報を取得する。入力・撮影情報処理部672は、取得したGPS情報を視界情報記憶部662に記憶させる。
3次元情報処理部673は、GPS情報、初期位置情報及びホログラム装置6の移動、向き、回転に関する情報(以下、「センサ情報」とも称する)を取得し、取得した情報に基づいて、視界情報を取得する。
3次元情報処理部673は、表示部65にホログラム表示する情報(以下、「表示情報」とも称する)の表示を行うホログラム表示処理をホログラム装置6が開始する場合、仮想空間情報記憶部661から仮想空間情報を取得する。また、3次元情報処理部673は、視界情報記憶部662から、GPS情報と初期位置情報とを取得する。3次元情報処理部673は、仮想空間情報における仮想立方体と3次元GISデータとを対応付ける情報と、GPS情報の緯度、経度情報に基づいて、ホログラム装置6の初期位置のうち、仮想空間上の視点の平面上の位置を決定する。ここで、平面上の位置とは、仮想空間の高さ方向の情報を含まない2次元の情報である。3次元情報処理部673は、続いて初期位置情報に基づいて、開始時の高さ方向の情報(高度)と方向の情報を取得し、取得した情報に基づいて、仮想空間上の開始時の視点位置と視点方向とを決定し、決定した情報を視界情報記憶部662に記憶させる。
また、3次元情報処理部673は、例えば、入力・撮影情報処理部672から、ホログラム表示の調整を行う情報を入力された場合、視界情報記憶部662から視界情報を読み出す。3次元情報処理部673は、入力された視界情報に基づいて、視界情報が示す視点位置及び視点方向を入力情報に従って調整する。3次元情報処理部673は、調整した視点情報を視界情報記憶部662に記憶させる。
上述したホログラム表示処理の開始時以外の場合、3次元情報処理部673は、定期的に、センサ情報を取得する。3次元情報処理部673は、視界情報記憶部662から、視界情報を取得し、取得したセンサ情報と視界情報とに基づいて、視界情報に含まれる視点位置と視点方向とを更新する。3次元情報処理部673は、更新した視界情報を視界情報記憶部662に記憶させる。
表示処理部674は、記憶部66に記憶される各種情報、及び入力・撮影情報処理部672から入力される情報に基づいて、表示部65にホログラムを表示させるホログラム表示処理を行う。表示処理部674は、例えば、ホログラム装置6のホログラム表示の開始時において、仮想空間情報記憶部661、視界情報記憶部662から、仮想空間情報、視点情報を読み出す。また、表示処理部674は、例えば、仮想空間情報に含まれる構造物9の情報と視界情報とに基づいて、表示部65にホログラム表示する構造物9の表示情報を決定する。表示情報は、視界内に含まれる構造物9の3次元モデルである。表示情報に含まれる3次元モデルは、例えば、構造物9を示す点群をつないだメッシュ構造であってもよい。
また、表示処理部674は、例えば、仮想空間情報記憶部661、視界情報記憶部662、表示情報記憶部663から、仮想空間情報、視点情報、視野領域情報、不具合のメタデータ、及び、ホログラム表示関連情報を取得する。表示処理部674は、例えば、視点情報と視野領域情報とに基づいて、仮想空間内における視界の範囲内となる空間の3次元情報(以下、「仮想空間内視界情報」とも称する)を求める。
表示処理部674は、例えば、仮想空間内視界情報と仮想空間情報とホログラム表示関連情報とに基づいて、表示部65にホログラム表示する不具合を決定する。ホログラム表示する不具合は、仮想空間の視野の範囲内に含まれる不具合と、仮想空間の視野の範囲外であるが、仮想空間の視野の近傍に位置する不具合のうち、表示関連情報に含まれる条件を満たす不具合である。表示関連情報に含まれる条件とは、例えば、視点位置からの距離が所定距離以内であって、視点方向からの角度が所定角度以内の領域(以下、この領域を「視界近傍領域」とも称する)に含まれる不具合である。なお、表示する不具合は複数であってもよい。
また、表示処理部674は、例えば、ホログラム表示する個々の不具合について、不具合のメタデータ及びホログラム表示関連情報を参照し、不具合情報を表示するホログラムの色、形状、大きさなどの表示方法などのホログラム表示関連情報を取得する。また、表示処理部674は、例えば、仮想空間上の不具合位置情報と視点位置情報とに基づいて、仮想空間上での視点位置及び視点方向から不具合位置までの距離と方向とを算出し、不具合をホログラム表示する位置を決定する。また、表示処理部674は、例えば、求めた距離を仮想空間情報に含まれる、仮想空間と現実空間とを対応付ける対応情報(以下、「位置対応情報」とも称する)に基づいて、現実空間での距離を算出する。位置対応情報は、仮想空間上の座標と、現実空間上の3次元GISデータとを対応付ける情報を含む。また、位置対応情報は、仮想空間上の単位長さと、仮想空間上の単位長さに対応する現実空間の長さとを対応付けた情報を含んでもよい。また、表示処理部674は、例えば、視界近傍領域にある不具合について、仮想空間上の不具合位置と視点位置とを結ぶ直線と、視界範囲の境界との交点を求める。表示処理部674は、交点近傍の直線上であって、視界範囲内にある領域を、視界近傍領域にある不具合を示す情報を表示する領域(表示位置)として決定する。
また、表示処理部674は、入力・撮影情報処理部672から、対象不具合と表示情報である対象不具合のメタデータとが入力された場合、表示情報記憶部663から、入力されたメタデータをホログラム表示するためのホログラム表示関連情報を取得する。
また、表示処理部674は、ホログラム装置6の操作に関する情報が入力・撮影情報処理部672から入力された場合、操作を表示するホログラムに関するホログラム表示関連情報を表示情報記憶部663から取得する。
表示処理部674は、以上の処理で決定した表示情報と、取得したホログラム表示関連情報とに基づいて、表示情報を表示部65にホログラム表示させる。
送信処理部675は、入力・撮影情報処理部672から、メタデータの更新を示す情報が入力されると、更新された不具合のメタデータを、通信部61を介して、処理装置2に送信する。送信処理部675は、例えば、表示情報記憶部663から、不具合のメタデータを読み出し、更新された不具合のメタデータを取得する。また、送信処理部675は、取得したメタデータを、通信部61を介して、処理装置2に送信する。
次に、図面を参照して、本実施形態に係る情報表示システム1の動作について説明する。
まず、図5を参照して、本実施形態に係る仮想空間投影処理の一例について説明する。
図5は、本実施形態に係る仮想空間投影処理の一例を示すフローチャートである。
まず、処理装置2の仮想空間投影部231は、3次元モデル記憶部221及び表示情報記憶部222から、3次元モデル及び不具合位置情報を取得する(ステップS101)。取得すると、仮想空間投影部231は処理をステップS102に進める。
次に、仮想空間投影部231は、3次元モデルに含まれる3次元GISデータと、不具合情報に含まれる3次元GISデータとに基づいて、不具合位置情報を、3次元モデル上にマッピングし、マップ済3次元モデルを生成する。生成処理が終了すると、仮想空間投影部231は、処理をステップS103に進める。
次に、仮想空間投影部231は、マップ済み3次元モデルが全て包含可能な仮想立方体を生成する(ステップS103)。包含可能な仮想立方体とは、例えば、マップ済み3次元モデルを包含する最小の直方体の最大辺の長さよりも所定の長さだけ大きな一辺を持つ立方体である。この仮想立方体は、ホログラム装置6が記憶可能な仮想空間に対応する。従って、例えば、ホログラム装置6が記憶可能な仮想空間が立方体以外の場合には、仮想立方体の形状も異なってもよい。仮想空間投影部231は、仮想立方体の生成処理が終了すると、処理をステップS104に進める。
次に、仮想空間投影部231は、仮想立方体の中心点と、マップ済み3次元モデルの中心点を求め、2点を重ね合わせて、仮想立方体内にマップ済み3次元モデルを展開する展開処理を行う。マップ済み3次元モデルの中心点は、マップ済み3次元モデルを包含する最小の直方体の中心点である。この際、仮想空間投影部231は、現実空間の単位長さと仮想空間の単位長さとの対応関係を示す情報(仮想空間情報の一部)を算出する。仮想空間投影部231は、以上の処理で生成された仮想空間情報を仮想空間情報記憶部224に記憶させる(ステップS104)。処理が終了すると、処理部23は、処理をステップS105に進める。
転送処理部232は、仮想空間情報と不具合のメタデータと表示関連情報と初期位置情報とを、通信部21を介して、ホログラム装置6に送信する転送処理を行う。ホログラム装置6は、受信した各種情報を記憶部66に記憶する(ステップS105)。転送処理部232は、処理を終了すると、仮想空間投影処理を終了する。なお、上述した仮想空間転送処理は、後述するホログラム装置6のホログラム表示処理の開始時より前の時点で別途行われてもよいし、ホログラム表示処理の開始時に行われるものであってもよい。
次に、図6を参照して、本実施形態に係るホログラム装置6のホログラム表示処理の一例について説明する。
図6は、本実施形態に係るホログラム装置6のホログラム表示処理の一例を示すフローチャートである。
まず、ホログラム装置6を装着したユーザは、GPS装置3に表示される初期位置情報に基づいて、ホログラム装置6を所定の初期高さ及び方向においてホログラムの表示処理を開始させる(ステップS201)。表示処理の開始とは、例えば、ホログラム装置6の起動などである。表示処理を開始すると、ホログラム装置6の処理部は処理をステップS202に進める。
続いて、ホログラム装置6の処理部67は、表示処理の開始時に、GPS情報を取得する(ステップS202)。処理部67は、GPS装置3から、ネットワークNWを介して、又は、GPS装置3に表示されたGPS情報を撮影部62で撮影し解析することによって、ホログラム装置6の位置に関する情報を取得する。処理部67は、GPS情報を取得すると、処理をステップS203に進める。
次に、3次元情報処理部673は、初期位置情報とGPS情報とに基づいて、視点位置を決定する(ステップS203)。なお、ホログラム装置6がGPS受信部を備える場合には、GPS受信部から取得した情報に基づいて、ホログラム装置6の視点位置を決定してもよい。処理部67は、視点位置を決定すると、処理をステップS204に進める。
次に、表示処理部674は、仮想空間情報に含まれる構造物9の情報をホログラムとして表示部65に表示させる。表示処理部674は、仮想空間情報記憶部661及び視界情報記憶部662から、仮想空間情報及び視界情報をそれぞれ取得する。表示処理部674は、視界情報に基づいて仮想空間情報から構造物9を示す点群のうち、視界に入る、すなわち表示部65に表示可能な点群とその表示位置とを決定する。表示処理部674は、表示情報記憶部663から構造物9のホログラム表示に関するホログラム表示関連情報を読み出し、ホログラム表示関連情報に含まれる表示方法で、決定した点群を表示部65にホログラム表示させる。例えば、表示処理部674は、点群を線で結んだメッシュ構造とするホログラムを表示部65に表示させる(ステップS204)。処理部67は処理が終了すると、処理をステップS205に進める。
ホログラム装置6を装着したユーザは、表示部65に表示される構造物9のホログラムと、現実空間での構造物9の情報とを比較し、構造物9と重なって見える位置(以下、「正しい位置」とも称する)にホログラムが表示されているか否かを判定する(ステップS205)。ホログラム装置6のユーザは、比較した結果、ホログラム表示が正しい位置に表示されていない場合、微調整を行う入力を示すジェスチャーを行う。処理部67は、入力部63から微調整を行う入力情報を取得した場合、表示にずれがあると判定し(ステップS205:YES)、処理をステップS206に進める。ホログラム装置6のユーザは、比較した結果、ホログラム表示が正しい位置に表示されている場合、微調整を行わない入力を示すジェスチャーを行う。処理部67は、微調整を行わない入力情報を取得した場合、表示にずれがないと判定し(ステップS205:NO)、処理をステップS207に進める。
処理部67は、微調整に関する入力情報に基づいて、微調整を行う(ステップS206)。まず、入力・撮影情報処理部672は、入力された情報に基づいて、微調整を行う操作画面の情報を表示処理部674に出力する。表示処理部674は、入力された情報とホログラム表示関連情報とに基づいて、表示部65に微調整を行う操作画面をホログラム表示する。入力・撮影情報処理部672は、つづいて微調整(上下、左右、遠近、3軸方向の回転)を示す入力情報である微調整情報を取得し、取得した微調整情報を3次元情報処理部673に出力する。3次元情報処理部673は、視界情報記憶部662から視点情報を読み出し、読み出した視点情報と、微調整情報とに基づいて、視点情報を更新する。3次元情報処理部673は、更新した視点情報を視界情報記憶部662に記憶させる。処理部67は、上述した処理が終了すると、処理をステップS204に戻す。処理部67は、ユーザから、微調整を行わない入力を示すジェスチャーが行われるまで、ステップS204からステップS206までを繰り返す。
処理部67は、表示情報を表示部65に表示させるホログラム表示処理を定期的に繰り返すホログラム表示更新処理を行う(ステップS207)。ホログラム表示更新処理については後述する。処理部67は、ホログラム表示を中止するジェスチャーの入力など、ホログラム表示の中止を示す情報である入力情報を取得すると、ホログラム表示処理を終了する。
次に、図7を参照して、本実施形態に係るホログラム表示更新処理の一例について説明する。
図7は、本実施形態に係るホログラム表示更新処理の一例を示すフローチャートである。
まず、3次元情報処理部673は、センサ部64から、センサ情報を取得する(ステップS301)。取得すると、3次元情報処理部673は、処理をステップS302に進める。
続いて、3次元情報処理部673は、取得したセンサ情報に基づいて、視点情報を更新する処理を行う(ステップS302)。まず、3次元情報処理部673は、仮想空間情報記憶部661から、位置対応情報を取得する。3次元情報処理部673は、取得したセンサ情報と対応情報とに基づいて、仮想空間における視点情報の移動量に関する情報を求める。次に、3次元情報処理部673は、視界情報記憶部662から、視点情報を取得する。3次元情報処理部673は、取得した視点情報と、視点情報の移動量に関する情報に基づいて、視点情報を更新する。3次元情報処理部673は、更新した視点情報を視界情報記憶部662に記憶させる。なお、3次元情報処理部673は、以上の視点情報の更新処理を仮想空間上で行ったが、現実空間上の情報として処理してもよい。例えば、3次元情報処理部673は、視点情報と対応情報に基づいて、現実空間における視点位置を算出した後、センサ情報に基づいて、現実空間における視点情報を更新し、更新した視点情報と対応情報とに基づいて、仮想空間における更新された視点情報を取得してもよい。処理部67は、上述した処理が終了すると、処理をステップS303に進める。
続いて、表示処理部674は、ホログラム表示を行う不具合情報を決定する(ステップS303)。まず、表示処理部674は、視界情報記憶部662から視界情報を取得する。また、表示処理部674は、仮想空間情報記憶部661から、仮想空間情報の不具合位置情報を取得する。表示処理部674は、視界情報と不具合位置情報とに基づいて、視界内に含まれる不具合を求める。また、表示処理部674は、表示情報記憶部663から、ホログラム表示関連情報を取得し、視界情報、不具合位置情報、及びホログラム表示関連情報に基づいて、視界近傍領域に存在する不具合を求める。表示処理部674は、表示部65にホログラム表示させる不具合を決定すると、処理をステップS304に進める。
以降、不具合情報毎に、表示するホログラムを決定する処理(ステップS304からステップS310まで)を繰り返す。以下、処理対象である不具合を「ホログラム処理対象不具合」とも称する。
表示処理部674は、ホログラム処理対象不具合の視点位置及び視点方向からの距離と方向を算出する(ステップS304)。表示処理部674は、視界情報記憶部662から、視点情報を取得する。また、表示処理部674は、仮想空間情報記憶部661から、ホログラム処理対象不具合の不具合位置情報と、位置対応情報を取得する。表示処理部674は、取得した情報に基づいて、現実空間における不具合と視点との間の距離を算出する。また、表示処理部674は、視点情報と不具合位置情報とに基づいて、ホログラム処理対象不具合の視点方向からの方向である角度情報を取得する。表示処理部674は、ホログラム処理対象不具合の視点位置からの距離と視点方向からの方向を算出すると、処理をステップS305に進める。
表示処理部674は、ホログラム表示関連情報と、ホログラム処理対象不具合の視点位置からの距離及び視点方向からの方向に基づいて、表示するホログラムを決定する(ステップS305)。表示処理部674は、表示情報記憶部663から、ホログラム表示関連情報を取得する。表示処理部674は、ホログラム処理対象不具合の視点位置からの距離及び方向に基づいて、表示情報に対応するホログラムを決定する。表示処理部674は、表示するホログラムを決定すると、処理をステップS306に進める。
表示処理部674は、入力・撮影情報処理部672から、ホログラム処理対象不具合に関する何らかの表示に関する情報が入力されているか否かを判定する(ステップS306)。入力・撮影情報処理部672から上述した情報が入力されている場合、表示処理部674は、ホログラム処理対象不具合に関する入力情報があると判定し(ステップS306:YES)、処理をステップS307に進める。表示処理部674は、入力・撮影情報処理部672から、上述した情報が入力されていない場合、入力情報がないと判定し(ステップS306:NO)、他の不具合について表示するホログラムを決定する処理に移行する。
表示処理部674は、入力・撮影情報処理部672から入力された入力情報を取得し(ステップS307)、処理をステップS308に進める。
表示処理部674は、入力・撮影情報処理部672から入力された入力情報が、撮影を指示する情報であるか否かを判定する(ステップS308)。表示処理部674は、撮影を指示する情報が入力された場合、撮影指示であると判定し(ステップS308:YES)、撮影を指示する情報を入力・撮影情報処理部672に出力し、処理をステップS309に進める。表示処理部674は、マニュアルの表示や、作業員のメモの表示を指示する情報が入力された場合、撮影指示ではないと判定し(ステップS308:NO)、処理をステップS310に進める。
入力・撮影情報処理部672は、撮影指示が入力された場合、撮影部62から、撮影情報を取得し、撮影情報の処理を行う(ステップS309)。入力・撮影情報処理部672は、不具合特定処理を行い、対象不具合の撮影情報を、対象不具合のメタデータとして、表示情報記憶部663に記憶させる。また、対象不具合の重要度を、修理完了を示す情報に更新する。入力・撮影情報処理部672は、撮影処理の終了と、メタデータの更新を示す情報を表示処理部674に出力する。表示処理部674は、入力・撮影情報処理部672から上述した情報が入力されると、処理をステップS310に進める。
表示処理部674は、入力情報に基づいて、表示するホログラムを決定する(ステップS310)。表示処理部674は、表示情報記憶部663から、表示するメタデータとその表示方法に関するホログラム表示関連情報を取得する。表示処理部674は、表示情報記憶部663から取得した情報に基づいて、表示部65に表示するホログラムを、ステップS305で決定したホログラムから置き換える。表示処理部674は、処理を終了すると、他の不具合についての処理を繰り返す。表示する全ての不具合についての処理が終了すると、処理をステップS311に進める。
表示処理部674は、入力・撮影情報処理部672から不具合以外に関する何らかの情報が入力されているか否かを判定する(ステップS311)。不具合以外に関する何らかの情報とは、例えば、ホログラム装置6の操作に関する情報などである。表示処理部674は、上述した情報が入力されている場合、その他の入力情報があると判定し(ステップS311:YES)、処理をステップS312に進める。表示処理部674は、上述した情報が入力されていない場合、その他の入力情報がないと判定し(ステップS311:NO)、処理をステップS314に進める。
表示処理部674は、入力・撮影情報処理部672から、不具合に以外に関する何らかの情報が入力されている場合、入力された情報を取得し(ステップS312)、処理をステップS313に進める。
表示処理部674は、記憶部66から入力された情報に対応する表示情報を決定し、表示情報を表示するホログラムを決定する(ステップS313)。表示処理部674は、表示情報記憶部663から、表示情報に関するホログラム表示関連情報を読み出し、表示情報とホログラム表示関連情報とに基づいて、表示するホログラムを決定し、処理をステップS314に進める。
表示処理部674は、以上の処理で決定したホログラムを、表示部65に表示させ、定期的な表示処理を終了する(ステップS315)。
次に、ステップS315で表示処理部674が表示部65に表示情報をホログラム表示させる場合の、表示部65の表示画面のいくつかの例について、図を参照して説明する。
まず、図8を参照して、本実施形態に係るホログラム装置6の表示画面の一例について説明する。
図8は、本実施形態に係るホログラム装置6の表示画面の一例を示す図である。図8(A)は、視界内に不具合が1つあり、視界近傍領域に不具合が2つある場合の表示画面の一例を示す図である。図8(B)は、図8(A)における視界内の不具合にホログラム装置6を装着したユーザが近づいた場合の、表示画面の一例を示す図である。図8(C)は、図8(A)における視界内の不具合にホログラム装置6を装着したユーザが更に近づいた場合の、表示画面の一例を示す図である。
図8(A)は、視界内に不具合が1つあり、視界近傍領域に不具合が2つある場合の表示画面D100のホログラム表示例を示す。図8(A)において、点線で示される情報は説明のために示すもので、表示画面D100には表示されない情報である。表示画面D100は、中心点Z101、視界内不具合を示すホログラム表示P102、視界近傍領域の不具合P104及びP106、視界近傍領域の不具合P104に関するホログラム表示A105、及び、視界近傍領域の不具合P106に関するホログラム表示A107を含んで構成される。また、表示画面D100には表示されない、視界近傍領域外の不具合P103についてもここで説明する。
中心点Z101は、表示画面D100の中心点であり、視点位置を示す。視界近傍領域の不具合は、中心点Z101からの距離及び方向に基づいて、表示画面D100の画面端近傍に不具合の情報をホログラム表示される。図8(A)では、ホログラム表示A105、A107が画面端近傍に表示されるホログラムである。視界近傍領域のホログラム表示の詳細については後述する。
視界内不具合のホログラム表示P102は、視界内に不具合がある場合のホログラム表示である。ホログラム表示P102は、中心点Z101からの距離と方向との情報に基づいて、表示画面D100内に、不具合の中心点を中心とする赤色の球状のホログラムとして表示されている。ホログラムの色及び形状は、表示情報記憶部663に記憶されたホログラム表示関連情報に基づいて決定される。本実施形態の例では、赤色のホログラムは、不具合の重要度が高いことを示す。また、球状のホログラムは、不具合が剥離であることを示す。
表示情報記憶部663は、中心点Z101からの距離に基づいて、不具合のメタデータのホログラム表示方法を異なるものにする。本実施形態の例では、距離が10m以上の場合は、所定の大きさのホログラムと、中心点Z101からの不具合までの距離の情報をホログラムとして、不具合の位置、種類、重要度を示すホログラムの近傍に表示する。ホログラム表示P102の例では、赤色かつ球状のホログラムの近傍に、実空間での距離の情報である“12m”という不具合の表示情報をホログラム表示する。なお、ホログラム表示P102の例では、距離情報が球体の上部にホログラム表示されているが、表示位置についてはこれに限られない。また、ホログラム表示も、例えば“10m以上遠方”などのように厳密な距離を示すものでなくてもよい。また、表示するホログラムの透明度、大きさなどが視点位置からの距離に応じて異なるものであってもよい。
視界近傍領域外の不具合P103は、中心点Z101からの距離が所定の距離以上、もしくは、視点方向からの角度が所定の角度以上であるために、視界近傍領域外となっており、不具合の情報が表示画面D100に表示されない。ホログラム装置6を装着したユーザが、表示画面D100を不具合P103の方向に向くなどの動作をすることによって、不具合P103が視界近傍領域に含まれた場合には、中心点Z101からの距離、方向に基づいて、表示画面D100の画面端近傍に不具合P103の情報がホログラム表示される。
視界近傍領域の不具合P104は、中心点Z101からの距離が所定の距離未満、かつ視点方向からの角度が所定の角度内であるが、視界外の視界近傍領域に存在する不具合である。この場合、表示画面D100には、中心点Z101から不具合P104への仮想的な直線(図8(A)では点線で表示されている)と視界の境界領域に不具合の位置・方向を示すホログラム表示A105が表示される。
なお、ホログラム表示A105の表示態様は、図示したものに限られない。例えば、ホログラム表示A105の形状は、矢印であるがこれには限られない。また、ホログラム表示A105の色は、例えば、不具合の重要度に応じて異なるものであってもよい。ここでは、ホログラム表示A105のホログラムの色は不具合が視界内にある場合に表示されるホログラムと同様の色である。すなわち、不具合P104が重要度の高い不具合である場合、ホログラム表示A105は赤色で表示される。また、図8(A)の例では、ホログラム表示A105の大きさは、不具合P104までの距離と方向によって定められる。表示情報記憶部663は、視界近傍領域を表示する矢印の大きさを、不具合までの距離に応じて数段階に分類し、また、視点方向から不具合までの角度に応じて数段階に分類する。表示処理部674は、上述した情報を表示情報記憶部663から読み取り、矢印の大きさを、距離に応じた大きさと、方向に応じた大きさの積算によって決定する。図8(A)の例では、矢印は、例えば、距離が15mで0%になるよう、距離に比例した大きさとする。また、角度は90度で0%になるように、角度に比例した大きさとし、両者の積算によって、最終的に表示するホログラム(矢印)の大きさを決定する。ホログラム表示A105の矢印は、不具合P104までの距離は近いものの、角度が90度に近いため、小さい矢印となる。
視界近傍領域の別の不具合P106は、不具合の重要度が中程度であるため、ホログラム表示A107はホログラム表示A105とは違う色で表示される。また、不具合P106は、不具合P104に比べると、距離が近く、また角度も小さいため、ホログラム表示A107の矢印は、ホログラム表示A105よりも大きい。
図8(B)は、図8(A)における視界内の不具合(ホログラム表示P102に対応する不具合)にホログラム装置6を装着したユーザが近づいた場合の、表示画面D110の一例を示す図である。
表示画面D110は、不具合位置、重要度、種類を示すホログラム表示P111と、不具合のメタデータのホログラム表示D112とを含んで構成される。
ホログラム表示P111は、ホログラム表示P102と同じ不具合を示すが、不具合までの距離が近いため、ホログラム表示P102のホログラムよりも大きなホログラムとして表示される。
ホログラム表示D112は、不具合のメタデータを示すホログラムである。本実施形態の例では、表示情報記憶部663は、中心点Z101からの距離が3m以上10m未満の場合は不具合のメタデータを含む吹き出し状のホログラムを、不具合の位置、種類、重要度を示すホログラムの近傍に表示する。図8(B)の例では、メタデータとして、不具合を識別する識別情報(“ID:XXXX001”)と、不具合が登録された日時情報(“2018/6/11”)と、不具合の種類と重要度(“タイル剥離:レベル3”)とがホログラム表示される。
図8(C)は、図8(A)における視界内の不具合(ホログラム表示P102に対応する不具合)にホログラム装置6を装着したユーザが3m以内に近づいた場合の、表示画面D120の一例を示す図である。
表示画面D120は、不具合位置、重要度、種類を示すホログラム表示P121と、不具合のメタデータの表示情報D122と、ホログラム表示された不具合の修理に関するボタンBT123、BT124、BT125を含んで構成される。
ホログラム表示P121は、ホログラム表示P102、ホログラム表示P111と同じ不具合を示すが、不具合までの距離が近いため、ホログラム表示P111のホログラムよりも大きなホログラムとして表示される。
ホログラム表示D122は、不具合のメタデータを示す情報であり、ホログラム表示D112と同様の情報を示している。ホログラム表示D122は、不具合までの距離が近いため、ホログラム表示D112のホログラムより大きなホログラムとして表示される。
ボタンBT123は、不具合の修理のマニュアルの表示を指示するボタンをホログラム表示したものである。ホログラム装置6のユーザのジェスチャーによって、ボタンBT123の押下が入力される場合、表示処理部674は、不具合のマニュアルをホログラムで表示させる。表示詳細については後述する。
ボタンBT124は、不具合についての作業員のメモの表示を指示するボタンをホログラム表示したものである。ホログラム装置6のユーザのジェスチャーによって、ボタンBT124の押下が入力される場合、表示処理部674は、不具合についての作業員のメモをホログラムで表示させる。表示詳細については後述する。
ボタンBT125は、不具合の作業が完了したことを指示するボタンをホログラム表示したものである。ホログラム装置6のユーザのジェスチャーによって、ボタンBT125の押下が入力される場合、表示処理部674は、不具合の作業完了時の写真撮影に関する情報をホログラムで表示させる。表示詳細については後述する。
なお、上述したメタデータの表示方法は、上述した方法に限られない。例えば、上述した方法では、10mや3mを、表示方法の変更を行う閾値としていたが、この閾値は他の値であってもよい。メタデータの表示位置や表示方法、表示するメタデータの内容についても、上述した方法と別の形状、表現、内容で示されるものであってもよい。
次に、図9を参照し、本実施形態に係るホログラム装置6のマニュアル表示画面の一例について説明する。
表示処理部674は、図8(C)の状態において、ボタンBT123の押下を示すジェスチャーを示す入力情報が入力・撮影情報処理部672から行われた場合、図9の表示画面D130を表示させる。
表示画面D130は、マニュアル表示D131と、表示停止ボタンBT132とを含んで構成される。
マニュアル表示D131は、表示情報記憶部663に記憶されたマニュアルであって、対象不具合のメタデータに含まれるマニュアルをホログラム表示したものである。例えば。図9の例では、タイル剥離の修理に関するマニュアルを図解したものが表示されている。なお、表示するマニュアルは、図解したものに限られない。例えば、マニュアルを文章で表示したものや動画であってもよい。
表示停止ボタンBT132は、マニュアル表示D131に表示されているマニュアルのホログラム表示を停止し、図8(C)と同様のホログラム表示を行うことを指示するためのボタンである。ホログラム装置6のユーザのジェスチャーによって、ボタンBT132の押下が入力される場合、表示処理部674は、マニュアル表示を中止し、図8(C)と同様のホログラムをホログラム表示させる。
次に、図10を参照し、本実施形態に係るホログラム装置6のメモ表示画面の一例について説明する。
表示処理部674は、図8(C)の状態において、ボタンBT124の押下を示すジェスチャーを示す入力情報が入力・撮影情報処理部672から行われた場合、図10の表示画面D140を表示させる。
表示画面D140は、メモ表示D141と、表示停止ボタンBT142とを含んで構成される。
メモ表示D141は、表示情報記憶部663に記憶された不具合に対する作業員のメモであって、対象不具合のメタデータに含まれるメモをホログラム表示したものである。例えば、図10の例では、“周囲も点検が必要。タイル浮きが激しい。錆が浮いている。”というメモが表示されている。
表示停止ボタンBT142は、メモ表示部D141に表示されている作業員のメモのホログラム表示を停止し、図8(C)と同様のホログラム表示を行うことを指示するためのボタンである。ホログラム装置6のユーザのジェスチャーによって、ボタンBT142の押下が入力される場合、表示処理部674は、メモ表示を中止し、図8(C)と同様のホログラムを表示させる。
次に、図11を参照し、本実施形態に係るホログラム装置6の作業完了時の表示画面の一例について説明する。
図11(A)は、作業完了時に撮影を行うためのメッセージを表示する場合の表示画面の一例を示す。図11(B)は、撮影を実際に行った場合の撮影情報を表示する場合の表示画面の一例を示す。図11(C)は、不具合のメタデータが更新された場合の表示画面の一例を示す。
表示処理部674は、図8(C)の状態において、ボタンBT125の押下を示すジェスチャーを示す入力情報が入力・撮影情報処理部672から行われた場合、図11(A)の表示画面D200を表示させる。
表示画面D200は、メッセージ表示D201と、撮影ボタンBT202とを含んで構成される。
メッセージ表示D201は、作業結果の撮影の操作方法を示すメッセージのホログラム表示である。図11(A)の例では、“作業結果を撮影します(「Photo」で撮影)”と、撮影ボタンBT202の押下をジェスチャーで行うことで、撮影が行われることを示す情報がホログラム表示されている。
撮影ボタンBT202は、撮影部62で撮影を行い、撮影された情報をホログラム表示することを指示するボタンである。ホログラム装置6を装着したユーザのジェスチャーによって、撮影ボタンBT202の押下が入力される場合、入力・撮影情報処理部672は、撮影部62から撮影された情報を取得し、表示処理部674に出力する。表示処理部674は、入力された情報に基づいて、例えば、図11(B)のような表示情報を表示画面に表示させる。
図11(B)は、図11(A)において撮影ボタンBT202の押下が入力された後、撮影部62が撮影した情報を表示する場合の表示画面D210の一例を示す図である。
表示画面D210は、撮影情報表示D211と、再撮影を指示する再撮影ボタンBT212と、撮影完了を指示する完了ボタンBT213とを含んで構成される。
撮影情報表示D211は、撮影部62で撮影された情報をホログラム表示する。
再撮影ボタンBT212は、撮影部62で撮影され、撮影情報表示D211にホログラム表示される撮影情報を破棄し、再び撮影部62で撮影を行い、撮影された情報をホログラム表示させることを指示するボタンをホログラム表示したものである。ホログラム装置6を装着したユーザのジェスチャーによって、再撮影ボタンBT212の押下が入力される場合、入力・撮影情報処理部672は、先に撮影部62から撮影された情報を破棄し、再度撮影部62から撮影された情報を取得し、表示処理部674に出力する。表示処理部674は、入力された情報に基づいて、再び、図11(B)のような表示情報を表示画面に表示させる。
完了ボタンBT213は、撮影された情報を、対象不具合のメタデータとして保存し、不具合の重要度を更新し、作業完了のホログラムの表示を指示するボタンをホログラム表示したものである。ホログラム装置6を装着したユーザのジェスチャーによって、完了ボタンBT213の押下が入力される場合、入力・撮影情報処理部672は、撮影部62から撮影された情報を対象不具合のメタデータとして、表示情報記憶部663に記憶させる。また、入力・撮影情報処理部672は、不具合のメタデータのうち、重要度の項目を、作業完了を示す情報に更新し、表示情報記憶部663に記憶させる。入力・撮影情報処理部672は、表示情報記憶部663に上述した情報を記憶させると、更新完了の情報を表示処理部674に出力する。表示処理部674は、更新完了の情報に基づいて、作業完了のホログラムを表示部65に表示させる。
図11(C)は、図12(B)において、完了ボタンBT213が押下された場合の、表示画面D220の一例を示す図である。
表示画面D220は、不具合位置、重要度、種類を示すホログラム表示P221、不具合のメタデータのホログラム表示D222、及び完了状態を示すホログラム表示D223を含んで構成される。
ホログラム表示P221は、図8(C)のホログラム表示P121と同じ不具合を表示する。ホログラム表示P221は、修理が完了したため、ホログラム表示P121と異なる色のホログラムとして表示されている。ここでは、ホログラム表示P221は、修理完了を示す青色のホログラムが表示されている。
ホログラム表示D222は、不具合のメタデータを表示するホログラムである。ホログラム表示D222に表示される情報は、図8(C)の表示情報D221と基本的に同じ情報であるが、図11(C)の場合には、修理が完了しているので、不具合の種類と重要度については“タイル剥離:修理完了”と、修理が完了したことを示す情報が表示される。
ホログラム表示D223は、不具合の完了状態を表示するホログラムである。図11(C)の場合には、ホログラム表示D223には、“完了済み”と修理が完了したことを示す文字情報と、完了時の撮影情報であって、対象不具合のメタデータである撮影情報とがホログラム表示される。
なお、表示画面D220は、対象不具合が視点位置から3m以内の場合の例であり、例えば、それより離れている場合には、図8(A)、図8(B)に準じた表示画面を表示する。即ち、例えば、10m以上距離が離れている場合には、図8(A)で示されるホログラム表示P102のホログラムが青色で示されるようであってもよい。
また、作業完了時の撮影に関する表示画面は上述したものに限られない。写真撮影を行わなくてもよいし、撮影を行った場合でも、ホログラム表示D223にホログラムとして表示しなくてもよい。
以上説明したように、本実施形態による情報表示システム1は、ホログラムを表示する表示部65と、構造物9に関する特定の対象の位置を仮想空間に対応付けた仮想空間情報と、現実空間の前記構造物の情報を含む現実空間情報とに基づいて、特定の対象に関する対象情報をホログラムとして、現実空間の特定の対象の位置に重ね合わせて表示部65に表示する表示処理部674を備える、情報表示システムである。
これにより、本実施形態による情報表示システム1は、例えば、構造物の特定の対象の位置や特定の対象の状況などの対象情報を、構造物9に重ね合わせて表示することができる。そのため、本実施形態による情報表示システム1を利用するユーザは、例えば、構造物が存在する場所でホログラム装置6を装着するだけで、必要な情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態では、上記の情報表示システム1において、仮想空間情報は、移動体が過去に取得した構造物9の情報に基づいて生成された構造物9の3次元モデルを仮想空間に対応付けた構造物情報を更に含み、表示処理部674は、現実空間情報と構造物情報とに基づいて、ホログラムの表示位置を決定する、ことを特徴とする。
これにより、本実施形態による情報表示システム1は、例えば、複雑な処理を行うことなく、ホログラム装置6を装着するだけで、対象情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態では、上記の情報表示システム1において、入力部63を更に備え、表示処理部674は、入力部63から入力された情報に基づいて、表示位置の調整を行う、ことを特徴とする。
これにより、本実施形態による情報表示システム1は、例えば、表示される情報が現実空間の情報と一致していない場合でも、調整し一致して見える位置に表示させることができ、現実空間の情報を容易に把握することができる。
また、本実施形態では、上記の情報表示システム1において、ホログラムは、対象情報に応じて表示態様が異なる、ことを特徴とする。
これにより、本実施形態による情報表示システム1は、例えば、特定の対象の近くにいる際に、特定の対象の詳細に関する情報を他の場所を見て確認しなくても、特定の対象に関する詳細情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態では、上記の情報表示システム1において、表示処理部674は、表示部65の表示領域に関する情報と仮想空間情報に基づいて、表示領域に前記ホログラムが表示できない場合に、特定の対象が視界外の場合に、特定の対象の位置を示す指示情報を表示領域に表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム1は、例えば、視界外に存在する特定の対象についても、その情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態では、上記の情報表示システム1において、表示部65の位置情報を取得する取得処理部671を更に備え、表示処理部674は、位置情報と対象情報とに基づいて求められる、表示部65から特定の対象までの距離及び方向に応じて、指示情報を異なる表示にする、ことを特徴とする。
これにより、本実施形態による情報表示システム1は、例えば、視界外など、距離感をつかみにくい状況においても、正確に特定の対象が存在する場所を把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態では、上記の情報表示システム1において、表示処理部674は、対象情報に関連付けて距離を表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム1は、例えば、視界内であっても、距離感をつかみにくい状況において、正確に特定の対象が存在する場所を把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態では、上記の情報表示システム1において、特定の対象の修理に関する修理情報を更に含み、表示処理部674は、距離が所定の距離以内である場合に、対象情報に関連付けて修理情報を表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム1は、例えば、ユーザが特定の対象の修理を行う際に、修理方法などの情報を、特定の対象を見ながら把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態では、上記の情報表示システム1において、特定の対象は不具合である、ことを特徴とする。
これにより、本実施形態による情報表示システム1は、例えば、インフラを支えるための構造物9の不具合について、該不具合を見ながら不具合の詳細情報を把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態では、上記の情報表示システム1において、不具合は、電磁波の受信状況に関する不具合を含む、ことを特徴とする。
これにより、本実施形態による情報表示システム1は、例えば、インフラを支えるため様々な用途で用いられるが、通常目視することができない電磁波について、構造物9の近傍の空間における受信状況の不具合についても、現実空間を見ながら把握することができ、現実空間の情報を容易に把握することができる。
[第2の実施形態]
次に、図面を参照しながら本発明の第2の実施形態について説明する。
本実施形態では、ドローンの操縦者がホログラム装置を装着し、予め定められた飛行予定に従って、ドローンを操縦する場合の変形例について説明する。
図12は、本実施形態に係る情報表示システム1aの一例を示す概要図である。情報表示システム1aは、装置間で、例えば、構造物9の周辺でのドローン4の飛行予定の情報である飛行予定情報や実際の飛行情報である実飛行情報など情報の送受信を行う情報表示システム1aである。
情報表示システム1aは、処理装置2a、GPS装置3、ドローン4(移動体の一例)、ドローン情報取得装置5、及び、ホログラム装置6aを備える。なお、この図において、上述した図1と同一の構成には、同一の符号を付与して、ここでの説明を省略する。
ホログラム装置6aは、ドローン4の飛行予定情報やドローン情報取得装置5が取得するドローン4の実飛行情報などを処理装置2aから取得し、該情報をホログラムとして表示する。各装置の詳細については後述する。なお、本実施形態では、説明の都合上、図示を省略するが、情報表示システム1aは、GPS装置3と、ホログラム装置6aとのそれぞれを複数備えることが可能である。
また、処理装置2aと、GPS装置3と、ドローン4と、ドローン情報取得装置5と、ホログラム装置6aとは、ネットワークNWを介して接続されており、ネットワークNWを介して互いに通信する。
処理装置2aは、例えば、サーバ装置である。処理装置2aは、例えば、CPUや記憶装置を備える。処理装置2aは、3次元モデルと、ドローン4の飛行予定情報と、ドローン4の実飛行情報とに基づいて、仮想空間に3次元モデルと飛行予定情報と実飛行情報とを投影する仮想空間投影処理を行う。また、処理装置2aは、投影した情報である仮想空間情報と、飛行予定情報及び実飛行情報のメタデータと、ホログラム表示関連情報と、初期位置情報とを、ネットワークNWを介して、ホログラム装置6aに送信する。また、処理装置2aは、ドローン情報取得装置5が取得したドローン4の実飛行情報のメタデータを、ネットワークNWを介して、ドローン情報取得装置5から受信する。また、処理装置2aは、ホログラム装置6aにおける表示処理を開始する際の現実空間におけるホログラム装置6aの初期位置情報を、ネットワークNWを介してGPS装置3に送信する。処理装置2aの基本的な機能は、処理装置2と同様である。
図13は、本実施形態に係る処理装置2aの一例を示すブロック図である。
処理装置2aは、通信部21、記憶部22a、及び、処理部23aを備える。
通信部21aは、有線LAN通信、無線LAN通信などを利用してネットワークNWに接続し、ネットワークNWを介して各種通信を行う。通信部21aの基本的な機能は、通信部21と同様である。通信部21aは、例えば、ネットワークNWを介して、GPS装置3、ドローン情報取得装置5及びホログラム装置6aに接続し、GPS装置3、ドローン情報取得装置5又はホログラム装置6aとの間で、各種通信を行う。
記憶部22aは、例えば、HDD、フラッシュメモリ、EEPROM、ROM、またはRAMなどを備え、ファームウェアやアプリケーションプログラムなど、処理装置2aが備えるCPUが実行するための各種プログラムやCPUが実行した処理の結果などを記憶する。記憶部22aの基本的な機能は記憶部22と同様である。
記憶部22aは、3次元モデル記憶部221、表示情報記憶部222a、ホログラム表示関連情報記憶部223a、仮想空間情報記憶部224a、及び初期位置情報記憶部225を備える。
表示情報記憶部222aは、例えば、構造物9の周辺を飛行するドローン4の飛行予定の位置に関する飛行予定情報や、ドローン4の実際の飛行の位置に関する実飛行情報などを記憶する。
飛行予定情報は、ドローン4が飛行の開始(離陸)から終了(着陸)までに通過(経由)する特定の位置(以下、「飛行経由ポイント」とも称する)を識別する識別情報と、緯度、経度、高度の3次元情報と、経由順を示す情報(経由順情報の一例)と、飛行経由ポイントを説明する情報を含む。ドローン4は、飛行予定において、飛行経由ポイントを経由順に線分で結んだ折れ線を飛行予定経路として、飛行経由ポイントを経由しながら飛行を行うことが予定される。なお、飛行経由ポイントを直線的に移動する経路上に構造物9が存在し、直線状に移動することが不可能な場合、飛行予定情報は、構造物9を回避するような飛行経路を示す飛行経路情報を含んでもよい。
また、飛行予定情報は、ドローン4が飛行経由ポイントで撮影を行う場合、撮影に関する情報(撮影予定情報の一例)も含む。また、飛行予定情報は、ドローン4が飛行経由ポイントを通過したか否かを示す通過情報も含む。また、以降、飛行経由ポイントの経由順を示す情報、飛行経由ポイントを説明する情報、撮影に関する情報、及び、通過情報などを「飛行予定情報のメタデータ」とも称する。
表示情報記憶部222aは、例えば、図3に示すように、飛行予定情報を記憶する。
図14は、本実施形態に係る表示情報記憶部222aの飛行予定情報のデータ例を示す図である。
図14に示すように、表示情報記憶部222aは、例えば、「ポイントID」と「ポイント名」と「緯度」と「経度」と「高度」と「通過」を対応付けて飛行予定情報を記憶する。「ポイントID」は、飛行経由ポイントを一意に識別する識別情報であり、またドローン4の飛行時の経由順を示す情報である。なお、経由順を示す情報は、ポイントIDとは異なる情報として記憶してもよい。「ポイント名」は各飛行経由ポイントを説明する情報を示す。例えば、ポイント名は撮影を行う飛行経由ポイントであることを示す情報を含む。「緯度」、「経度」、及び「高度」は、飛行経由ポイントの3次元情報を示し、それぞれ飛行経由ポイントの緯度、経度、高度を示す。「通過」は飛行経由ポイントを実際にドローン4が通過したか否かを示す情報である。
図14に示す例では、「ポイントID」が“1”に対応する「ポイント名」は“離陸地点”であり、「緯度」は“36.5570000000000”であり、「経度」は“140.1536999999990”であり、「高度」は“29.6000000000000”であり、「通過」は“〇”で、ドローン4が通過したことを示す。
実飛行情報は、ドローン4が実際に飛行を行う場合にドローン情報取得装置5がドローン4から定期的に取得するドローン4の位置に関する各種情報を含む。実飛行情報は、例えば、ドローン4の飛行位置の情報を取得した取得時刻と、取得した飛行位置の緯度、経度、高度の3次元情報(移動体位置情報の一例)を含む。また、実飛行情報は、ドローン4のテレメトリ情報を含む。テレメトリ情報とは、ドローン4の初期位置からの高度、距離の情報、及び、ドローン4の速度情報を含む。また、実飛行情報は、ドローン4のバッテリ残量情報、ドローン操作上注意すべき情報であるアラート情報を含む。また、実飛行情報は、ドローン4が撮影を行う場合には、ドローン4の撮影部から撮影された動画像や静止画像などの撮影情報を含む。以下では、説明の簡単のため、ドローン4は、常に撮影部から動画像を撮影しており、所定の飛行経由ポイントでは、静止画像(撮影結果情報の一例)を撮影するものとする。また、以降ドローン4の飛行位置の3次元情報以外の全ての情報を「実飛行情報のメタデータ」とも称する。なお、ドローン4の撮影部が移動中に動画像ではなく、静止画像を撮影してもよいし、所定の飛行経由ポイントで静止画像でなく動画像を撮影してもよい。
ホログラム表示関連情報記憶部223aは、例えば、ホログラムを表示する場合の、表示するホログラムに関する情報であるホログラム表示関連情報を記憶する、ホログラム表示関連情報は、例えば、飛行予定情報及び実飛行情報をホログラム表示する場合の表示するホログラムに関する情報や、ホログラム装置6aの操作に関する情報をホログラム表示する場合の表示するホログラムに関する情報である。
仮想空間情報記憶部224aは、後述する仮想空間投影処理によって、仮想空間に投影された構造物9の3次元モデルと飛行経由ポイントの3次元情報と実飛行情報の飛行位置(以降、「ドローン位置」とも称する)の3次元情報とを含む仮想空間情報を記憶する。
処理部23aは、CPUなどを含むプロセッサであり、処理装置2aの統括的な制御処理を行う。処理部23aの基本的な機能は、処理部23と同様である。処理部23aは、例えば、3次元モデル記憶部221及び表示情報記憶部222aから、それぞれ3次元モデル、飛行経由ポイントの3次元情報、及び、実飛行情報の飛行位置を取得し、3次元モデル上に飛行経由ポイントやドローン位置をマッピングする処理を行う。また、処理部23aは、例えば、マッピングした情報を仮想空間上に投影する仮想空間投影処理を行い、投影した仮想空間情報を仮想空間情報記憶部224aに記憶させる。また、処理部23aは、例えば、仮想空間情報、及び、ホログラム表示関連情報を、通信部21aを介して、ホログラム装置6aに送信する仮想空間情報転送処理を行う。また、処理部23aは、例えば、通信部21aを介して、ドローン情報取得装置5から、ドローン4の実飛行情報を受信する。また、処理部23aは、受信した情報を表示情報記憶部222aに記憶させる。また、処理部23aは、受信した情報に基づいて各種処理を行い、処理した情報を表示情報記憶部222aに記憶させる。また、処理部23aは、例えば、ホログラム装置6aの初期位置情報を、通信部21aを介してGPS装置3やホログラム装置6aに送信する。
処理部23aは、仮想空間投影部231aと、転送処理部232aと、表示情報取得部233aと、実飛行情報処理部234とを備える。
仮想空間投影部231aは、3次元モデル上に飛行経由ポイントとドローン位置をマッピングし、マッピングした情報を仮想空間上に投影する。なお、マッピングするドローン位置は、後述する実飛行情報処理部234によってホログラムに表示することが示されたドローン位置である。仮想空間投影部231aの基本的な機能は仮想空間投影部231と同様である。仮想空間投影部231aは、3次元モデル記憶部221から、3次元モデルを読み出す。また、仮想空間投影部231aは、表示情報記憶部222aから、飛行経由ポイントとドローン位置とを読み出す。仮想空間投影部231aは、読みだした情報に基づいて、3次元モデル上に、飛行経由ポイント及びドローン位置をマッピングする。仮想空間投影部231aは、マップ済3次元モデルに基づいて、マップ済み3次元モデルの全ての点を包含することのできる仮想立方体を作成し、仮想立方体内にマップ済み3次元モデルを展開する展開処理を行う。仮想空間投影部231aは、展開処理を行った情報を仮想空間情報として、仮想空間情報記憶部224aに記憶させる。なお、仮想空間投影部231aは、後述する実飛行情報処理部234によって、実飛行情報が更新されるたびに上述した処理を繰り返す。
転送処理部232aは、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、ホログラム表示関連情報、及び初期位置情報をホログラム装置6aに送信する処理を行う。転送処理部232aの基本的な機能は転送処理部232と同様である。転送処理部232aは、仮想空間情報記憶部224a、表示情報記憶部222a、ホログラム表示関連情報記憶部223a、初期位置情報記憶部225から、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、ホログラム表示関連情報、及び初期位置情報を読み出し、読み出した情報を、通信部21aを介してホログラム装置6aに送信する転送処理を行う。なお、転送処理部232aは、仮想空間情報、飛行予定情報のメタデータ、及び、実飛行情報のメタデータが更新されるたびに、転送処理を行う。
また、転送処理部232aは、例えば、初期位置情報記憶部225から読みだした初期位置情報を、通信部21aを介して、GPS装置3及びホログラム装置6aに送信する。
表示情報取得部233aは、ドローン4の実飛行情報を、通信部21aを介してドローン情報取得装置5から受信する。表示情報取得部233aは、取得した実飛行情報を、表示情報記憶部222aに記憶させる。
実飛行情報処理部234は、表示情報記憶部222aから取得したドローン4の実飛行情報に基づいて、各種処理を行い、処理した情報を表示情報記憶部222aに記憶させる。実飛行情報処理部234は、実飛行情報に含まれる取得時刻に基づいて、ドローン位置を示す情報のうち、ホログラム表示を行う情報を求める。表示情報記憶部222aは、ドローン4の時刻と位置とを対応付けた情報を多数記憶するが、その全てについてホログラム表示を行うと現時点の位置を捉えにくくなる。そこで、最近のドローンの位置のみをホログラム表示することで、現時点の位置を捉えやすくなる。そこで、実飛行情報処理部234は、例えば、最新の取得時刻から所定の秒数だけ遡った時刻から、最新の取得時刻までに含まれる時刻のドローンの位置のみをホログラム表示する。実飛行情報処理部234は、表示情報記憶部222aから過去の実飛行情報を読み出し、所定の時刻範囲に取得されたドローン位置を示す情報について、ホログラム表示することを示す情報を付加し、実飛行情報処理部234に記憶させる。
また、実飛行情報処理部234は、例えば、取得した撮影情報に静止画像が含まれる場合には、表示情報記憶部222aから飛行予定情報を読み出し、静止画像が取得された時刻のドローン位置の3次元情報と飛行予定情報とに基づいて、対応する飛行経由ポイントを決定する。実飛行情報処理部234は、決定した飛行経由ポイントと撮影情報とを対応付けて、実飛行情報のメタデータとして、表示情報記憶部222aに記憶させる。
また、実飛行情報処理部234は、取得したドローン位置と、飛行経由ポイントとに基づいて、飛行経由ポイントをドローン4が通過したか否かを判定する。例えば、実飛行情報処理部234は、ドローン位置と飛行経由ポイントとの距離を算出し、算出した距離が所定の距離以内である場合、当該飛行経由ポイントを通過したと判定し、当該飛行経由ポイントの通過を示す情報を、飛行予定情報のメタデータとして表示情報記憶部222aに記憶させる。
また、実飛行情報処理部234は、取得したドローン位置と、飛行予定情報とに基づいて、飛行予定ルートの近傍をドローンが飛行しているか否かを判定する。飛行予定ルートとは、経由順が隣り合う飛行経由ポイント間を直線で結んだ場合の、直線を示す。実飛行情報処理部234は、飛行予定ルートとドローン位置との距離を計算し、所定の数値より大きいときは、飛行予定ルートを飛行していないと判定する。この場合、実飛行情報処理部234は、飛行予定ルートとドローン位置とに基づいて、どちらにドローンを操作すると飛行予定ルートに近づくかを求め、求めた情報をアラート情報として、表示情報記憶部222aに記憶させる。
ドローン4は、ホログラム装置6を装着するユーザが保持する図示せぬコントローラーによって操作される。ドローン4は、例えば、構造物9の周囲を飛行し、構造物9の動画像や静止画像を撮影する。ドローン4は、撮影部と、センサ部と、GPS受信部と、通信部と、処理部とを少なくとも備える。
撮影部は、例えば、イメージセンサを有し、動画像及び静止画像を撮影する。イメージセンサは、CMOSイメージセンサ又はCCDイメージセンサ等を用いることができる。撮影部は撮影した情報を処理部に出力する。
センサ部は、例えば、6軸センサを有し、ドローン4の移動、向き、回転に関する情報を検知する。6軸センサは、例えば、3軸の加速度センサと、3軸のジャイロセンサの組み合わせを用いることができる。また、6軸センサは、例えば、3軸の加速度センサと、東西南北を検出する地磁気センサの組み合わせを用いることもできる。センサ部は、検知した情報を、処理部に出力する。
GPS受信部は、GPS衛星などから、ドローン4の位置を示すGPS情報を受信し、受信したGPS情報を処理部に出力する。
通信部は、無線LAN通信などを利用してネットワークNWに接続し、ネットワークNWを介して各種通信を行う。通信部は、例えば、ネットワークNWを介して、ドローン情報取得装置5に接続し、ドローン情報取得装置5との間で、各種通信を行う。また、通信部は、ホログラム装置6を装着するユーザが保持するコントローラーとの間で操作に関する情報の送受信を行う。
処理部は、CPUなどを含むプロセッサであり、ドローン4のホログラム装置6の統括的な制御処理を行う。処理部は、例えば、ドローン4の姿勢制御を行う。また、処理部は、撮影部、センサ部、GPS受信部から入力された情報を、通信部を介して、ドローン情報取得装置5に定期的に送信する。
ドローン情報取得装置5は、例えば、パーソナルコンピュータ、携帯電話、タブレット、スマートフォンなどである。ドローン情報取得装置5は、ドローン4から実飛行情報を取得する。ドローン情報取得装置5は、通信部と、時刻取得部と、処理部とを少なくとも備える。
通信部は、有線LAN通信、無線LAN通信などを利用してネットワークNWに接続し、ネットワークNWを介して各種通信を行う。通信部は、例えば、ネットワークNWを介して、処理装置2a及びドローン4に接続し、処理装置2a又はドローン4との間で、各種通信を行う。時刻取得部は、ドローン4から各種情報を取得した時刻情報を取得し、処理部に出力する。処理部は、ドローン4から通信部を介して取得した各種情報と、時刻取得部取得した時刻情報とに基づいて実飛行情報を作成し、通信部を介して、処理装置2aに送信する。
ホログラム装置6aは、例えば、ホログラムを現実空間に重ねて表示可能なHMDであり、基本的な機能は、ホログラム装置6と同様である。ホログラム装置6aは、例えば、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、ホログラム表示関連情報、及び初期位置情報を、ネットワークNWを介して、処理装置2から受信し、記憶部66aに記憶させる。また、ホログラム装置6aは、受信した情報と、後述するセンサ部64から取得する3次元情報とに基づいて、飛行予定情報及び実飛行情報をホログラムとして表示する表示処理を行う。
図15は、本実施形態に係るホログラム装置6aの一例を示すブロック図である。
ホログラム装置6は、通信部61、撮影部62、入力部63、センサ部64、表示部65a、記憶部66a、及び処理部67aを備える。
表示部65aは、例えば、ホログラムディスプレイ装置などであり、各種情報をホログラムとして表示する。表示部65aの基本的な機能は表示部65と同様である。表示部65aは、例えば、飛行予定情報や実飛行情報をホログラム表示する。
記憶部66aは、例えば、HDD、フラッシュメモリ、EEPROM、ROM、またはRAMなどを備える。記憶部66aの基本的な機能は記憶部66と同様である。
記憶部66aは、仮想空間情報記憶部661、視界情報記憶部662、及び、表示情報記憶部663aを備える。
表示情報記憶部663aは、飛行予定情報のメタデータ、実飛行情報のメタデータ、及びホログラム表示関連情報を記憶する。
処理部67aは、CPUなどを含むプロセッサである。処理部67aの基本的な機能は処理部67と同様である。処理部67と異なる機能として、処理部67aは、例えば、処理装置2aから、通信部61を介して、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、及びホログラム表示関連情情報などを受信し、仮想空間情報記憶部661、表示情報記憶部663aに記憶させる。また、記憶部66aに記憶された各種情報に基づいて、表示部65aにホログラムを表示させる。
処理部67aは、取得処理部671aと、入力・撮影情報処理部672aと、3次元情報処理部673と、表示処理部674aとを備える。
取得処理部671aは、処理装置2a及びGPS装置3から、通信部21aを介して、各種情報を取得する。取得処理部671aの基本的な機能は、取得処理部671と同様である。取得処理部671と異なる点として、取得処理部671aは、例えば、飛行予定情報のメタデータ、実飛行情報のメタデータを、通信部61を介して受信し、受信した情報を、表示情報記憶部663aに記憶させる。
入力・撮影情報処理部672aは、撮影部62及び入力部63から、撮影した撮影情報及び入力情報を取得する。入力・撮影情報処理部672aは、例えば、入力部63からホログラム装置6aを操作する入力情報を取得した場合、対応する操作を行うか、または対応する操作に基づいた情報を表示処理部674aに出力する。また、入力・撮影情報処理部672aは、例えば、ホログラム表示の調整を行う入力情報を取得した場合、取得した情報を、3次元情報処理部673に出力する。また、入力・撮影情報処理部672aは、例えば、GPS装置3のGPS情報の撮影情報を、撮影部62から取得した場合、撮影情報から、GPS情報を取得する。入力・撮影情報処理部672aは、取得したGPS情報を視界情報記憶部662に記憶させる。
表示処理部674aは、記憶部66aに記憶される各種情報、及び入力・撮影情報処理部672aから入力される情報に基づいて、表示部65aにホログラムを表示させるホログラム表示処理を行う。表示処理部674aの基本的な機能は、表示処理部674と同様である。
表示処理部674の機能と異なる点として、表示処理部674aは、例えば、仮想空間内視界情報と仮想空間情報とに基づいて、表示部65aにホログラム表示する飛行経由ポイント及びドローン位置を決定する。ホログラム表示する飛行経由ポイントは、仮想空間の視野の範囲内に含まれる飛行予定情報である。また、ホログラム表示するドローン位置は、実飛行情報処理部234によって表示することが決定されたドローン位置のうち、仮想空間の視野の範囲内に含まれるドローン位置である。また、表示処理部674aは、飛行予定情報のメタデータのうち、表示する飛行経由ポイントに関する飛行予定情報のメタデータを表示部65に表示する表示情報として決定する。また、表示処理部674aは、実飛行情報のメタデータのうち、ホログラム表示するドローン位置に関する実飛行情報のメタデータを表示情報として決定する。
また、表示処理部674aは、例えば、仮想空間情報と視点情報とに基づいて、ホログラム表示する飛行予定情報に含まれる飛行経由ポイント毎に、視点位置からの距離と視点方向からの方向を算出し、ホログラムを表示する表示位置を決定する。
また、表示処理部674aは、例えば、視界内の飛行予定ルートを表示情報として決定する。表示処理部674aは、飛行経由ポイントと視点位置とに基づいて、視界内に存在する飛行予定ルートをドローン4の飛行予定ルートのホログラムを表示する位置として決定する。この時、一方の飛行経由ポイントが仮想空間の視野の範囲外である場合、表示処理部674aは、飛行経由ポイントを結ぶ線分(飛行予定ルート)のうち、視野の範囲内に存在する線分をホログラム表示する位置として決定する。
また、表示処理部674aは、例えば、仮想空間情報と視点情報とに基づいて表示するドローン位置情報に含まれるドローン位置毎に、視点位置からの距離と方向を算出し、ホログラムを表示する表示位置を決定する。
また、表示処理部674aは、例えば、実飛行情報処理部234によって表示することが決定されたドローン位置に基づいて、過去のドローン位置の間を結ぶ線分を、ドローン4の飛行軌跡(移動体移動情報の一例)とし、飛行軌跡を表示情報として決定する。この時、一方のドローン位置が仮想空間の視界外に存在する場合、表示処理部674aは、ドローン位置を結ぶ線分(飛行軌跡)のうち、視界内に存在する線分を、ホログラム表示する飛行軌跡の位置として決定する。
また、表示処理部674aは、例えば、表示情報記憶部663からドローン4のテレメトリ情報、バッテリ残量情報、アラート情報、動画像情報を読み出し、表示情報として決定する。
また、表示処理部674aは、ホログラム装置6aの操作に関する情報が入力・撮影情報処理部672aから入力された場合、操作を表示するホログラムに関する情報を記憶部66aから読み出し、表示情報を取得する。
また、表示処理部674は、表示情報記憶部663から、以上の処理で決定した表示情報をホログラム表示するためのホログラム表示情報を読み出し、表示情報と、読み出したホログラム表示情報とに基づいて、表示するホログラムを決定する。
表示処理部674aは、例えば、表示する飛行予定情報の飛行経由ポイントと、ホログラム表示関連情報とを参照し、飛行経由ポイントを表示するホログラムの色、形状、大きさなどの表示方式に関する情報を取得し、上述した表示位置の情報と合わせて表示するホログラムを決定する。
また、表示処理部674aは、例えば、表示する飛行予定ルートと、ホログラム表示関連情報とに基づいて、飛行予定ルートを表示する線状のホログラムの色、形状、大きさなどの表示方式に関する情報を取得し、上述した表示位置の情報と合わせて、表示するホログラムを決定する。飛行予定ルートを示すホログラムの線の太さは、視点位置から飛行経由ポイントまでの距離に応じて異なるようなものであってもよい。このとき、表示処理部674aは、表示するホログラムを、例えば、無限遠方の線の太さが0(点状)になるように線の太さを変化するようなホログラムとしてもよい。また、飛行予定ルートを示すホログラムの形状は線状でなくともよい。例えば、ホログラムの形状は点線、破線、矢印、又はこれらの組み合わせなどであってもよい。
また、表示処理部674aは、表示する実飛行情報のドローン位置と、ホログラム表示関連情報とを参照し、ドローン位置を表示するホログラムの色、形状、大きさなどの表示方式に関する情報を取得し、上述した表示位置の情報と合わせて、表示するホログラムを決定する。なお、ドローン位置を表示するホログラムは、飛行経由ポイントを示すホログラムと区別がつくホログラムとする。例えば、両者を表すホログラムは、色、形状、大きさなどが異なるようにする。
また、表示処理部674aは、例えば、ホログラム表示関連情報とドローン位置とに基づいて、飛行軌跡を表示するホログラムの色、形状、大きさなどの表示方式に関する情報を取得する。飛行軌跡を示すホログラムの線の太さは、視点位置からドローン位置までの距離に応じて異なるようなものであってもよい。また、線の太さは、例えば、無限遠方の線の太さが0(点状)になるように線の太さが変化するようなものであってもよい。また、実飛行ルートを示すホログラムの形状は線状でなくともよい。例えば、ホログラムの形状は点線、破線、矢印、又はこれらの組み合わせなどであってもよい。表示処理部674aは、取得した表示方式に関する情報と上述した表示位置の情報とに基づいて、表示するホログラムを決定する。
また、表示処理部674aは、例えば、ホログラム表示関連情報と、操作に関する表示情報とに基づいて、操作に関する表示情報を表示するホログラムを決定する。
また、表示処理部674aは、例えば、上述した方法で決定したホログラムを表示部65aに表示させる。
次に、図面を参照して、本実施形態に係る情報表示システム1aの動作について説明する。
なお、情報表示システム1aの仮想空間投影処理については、基本的に図5を用いて説明した情報表示システム1の仮想空間投影処理と同様である。情報表示システム1の処理と異なる点は、仮想空間に投影する情報が、3次元モデルと、飛行予定情報と、実飛行情報とである点と、ホログラム装置6aに送信する情報が、仮想空間情報、飛行予定情報のメタデータ、実飛行情報のメタデータ、ホログラム表示関連情報、及び、初期位置情報である点が異なる。それ以外の点については、情報表示システム1と同様であるので、ここでは説明を省略する。
また、情報表示システム1aの表示処理における表示位置の調整までの処理については、図6を用いて説明した情報表示システム1の処理と同様であるので、ここでは説明を省略し、定期的に行われるホログラム表示更新処理(図6のステップS207)について、以降説明する。
図16は、本実施形態に係るホログラム表示更新処理の一例を示すフローチャートである。
まず、3次元情報処理部673は、センサ部64から、センサ情報を取得する(ステップS401)。取得すると、3次元情報処理部673は、処理をステップS402に進める。
続いて、3次元情報処理部673は、取得したセンサ情報に基づいて、視点位置を更新する処理を行う(ステップS402)。視点位置を更新する処理は、図7のステップS302と同様であるので説明を省略する。処理部67aは、視点位置の更新処理が終了すると、処理をステップS403に進める。
続いて、表示処理部674aは、表示処理を行う飛行予定情報、実飛行情報、操作情報を決定する(ステップS403)。まず、表示処理部674aは、視界情報記憶部662から視界情報を取得する。また、表示処理部674aは、仮想空間情報記憶部661及び表示情報記憶部663aから、飛行予定情報、ドローン位置情報を取得する。表示処理部674aは、視界情報と飛行予定情報とに基づいて、視界内に含まれる飛行予定情報を求める。また、表示処理部674aは、視界情報とドローン位置情報とに基づいて、視界内に含まれるドローン位置を求める。また、表示処理部674aは、表示情報記憶部663aから、テレメトリ情報、バッテリ残量情報、アラート情報を読み出す。また、表示処理部674aは、視界情報と最新のドローン位置情報とに基づいて、視点位置からのドローンの方向を算出する。また、表示処理部674aは、表示情報記憶部663aから、ドローン4が撮影した動画像、静止画像を取得する。また、表示処理部674aは、入力・撮影情報処理部672aから、ホログラム装置6aの操作を行う入力情報が入力された場合、入力された情報に対応する表示情報を記憶部66aから読み出す。表示処理部674aは、表示する情報を決定すると、処理をステップS404に進める。
続いて、表示処理部674aは、表示情報記憶部663aを参照し、表示情報毎に表示するホログラムの表示位置を算出する(ステップS404)。表示処理部674aは、飛行予定情報や、ドローン位置情報、飛行軌跡、飛行経由ポイントで撮影された静止画像について、ホログラムを表示する位置を算出し、処理をステップS405に進める。なお、テレメトリ情報、バッテリ残量情報、アラート情報、飛行経由ポイント以外での撮影情報については、表示位置が固定されているので、この処理を行わず、表示処理部674aは処理をステップS405に進める。
続いて、表示処理部674aは、表示情報記憶部663aからホログラム表示関連情報を読み出し、読み出した情報と表示情報とに基づいて、表示部65に表示するホログラムを決定する(ステップS405)。
表示処理部674aは、以上の処理で決定したホログラムを、表示部65aに表示させ、ホログラム表示更新処理を終了する(ステップS406)。
次に、ステップS406で、表示処理部674aが表示部65aに表示させるホログラムの例を、表示部65aの表示画面の図を参照して説明する。
まず、図17を参照して、本実施形態に係るホログラム装置6aの表示画面の一例について説明する。
図17は、本実施形態に係るホログラム装置6aの表示画面の一例を示す図である。図17は、ドローン4が離陸する前の時点における、表示部65aの表示画面D300の一例を示す図である。
表示画面D300は、飛行経由ポイントに関するホログラム表示D301、飛行予定ルートに関するホログラム表示L302、バッテリ残量に関するホログラム表示D303、アラート情報に関するホログラム表示D304、テレメトリ情報に関するホログラム表示D305、動画情報に関するホログラム表示D306、及び、方向情報に関するホログラム表示D307を含んで構成される。
ホログラム表示D301は、飛行経由ポイントに関するホログラム表示である。ホログラム表示D301は、飛行経由ポイントを示すホログラムの近傍に表示するホログラムであって、飛行経由ポイントの名称、経由順を示す情報などのホログラムを含む。図17の例では、ホログラム表示D301は、飛行経由ポイントを示す球体のホログラムと、その近傍に“1:離陸地点”と経由順と、飛行経由ポイントの名称を示す吹き出し状のホログラムを表示する。
ホログラム表示L302は、飛行予定ルートに関するホログラム表示である。図17の例では、飛行予定ルートのホログラムの線の太さは、飛行経由ポイントの距離に応じて異なるように表示される。この場合、ホログラム表示L302に表示されるホログラムは、“1:離陸地点”の名称が示される飛行経由ポイントよりも、“2:経由点α”の名称が示される飛行経由ポイントの方が視点位置から遠くにあることを示す。
ホログラム表示D303は、ドローン4のバッテリ残量をホログラム表示する。図17の例では、バッテリ残量が99%であることを示す情報がホログラム表示される。また、ホログラム表示D303は、ホログラム装置6aを装着したユーザがドローンの位置の視認を妨害しないように、表示画面D300の端に表示される。図17の例では、ホログラム表示D303は表示画面D300の画面左上部に位置する。
ホログラム表示D304は、ドローン4のアラート情報をホログラム表示する。図17の例では、ドローン4のGPS情報取得部が、GPS衛星の不足のためにGPS情報を十全に取得できていないことを示す情報を、ホログラム表示D304は“GPS衛星が不足”という文字情報としてホログラム表示する。また、ホログラム表示D304は、ホログラム装置6aを装着したユーザがドローンの位置の視認を妨害しないように、表示画面D300の端に表示される。図17の例では、ホログラム表示D304は表示画面D300の画面上部に位置する。
ホログラム表示D305は、ドローン4のテレメトリ情報を表示する。図17の例では、ドローンの初期位置(離陸地点)からの水平方向と垂直方向との移動距離と、ドローンの現在の水平方向と垂直方向との速度とを表示している。また、ホログラム表示D305は、ホログラム装置6aを装着したユーザがドローンの位置の視認を妨害しないように、表示画面D300の端に表示される。図17の例では、ホログラム表示D305は表示画面D300の画面下部に位置する。
ホログラム表示D306は、ドローン4が撮影している動画情報を表示する。また、ホログラム表示D306は、ホログラム装置6aを装着したユーザがドローンの位置の視認を妨害しないように、表示画面D300の端に表示される。図17の例では、ホログラム表示D306は表示画面D300の画面右部に位置する。
ホログラム表示D307は、視点位置から見た場合のドローン4が存在する方向に関する情報を表示する。図17の例では、ドローンは離陸地点にいるので、その方向を示す情報が表示されている。また、ホログラム表示D307は、ホログラム装置6aを装着したユーザがドローンの位置の視認を妨害しないように、表示画面D300の端に表示される。図17の例では、ホログラム表示D307は表示画面D300の画面右下部に位置する。
次に、図18を参照して、本実施形態に係るホログラム装置6aの表示画面の別の一例について説明する。
図18は、本実施形態に係るホログラム装置6aの表示画面の別の一例を示す図である。図18は、ドローン4が飛行中の時点における、表示部65aの表示画面D400の一例を示す図である。ここでは、図17における表示画面D300と同様のホログラム表示については説明を省略し、異なる点について、以下説明する。
表示画面D400は、ドローン位置に関するホログラム表示D401、通過済経由ポイントに関するホログラム表示D402、及び、経由ポイントでの撮影情報に関するホログラム表示D403を含んで構成される。
ホログラム表示D401は、直近のドローンの位置を示す情報を表示する。ホログラム表示D401は、複数のドローン位置を表示するホログラムと、その間の飛行軌跡を示すホログラムとを含む。図18の例では、表示部65aは、最新のドローン位置と、それ以前の3つの時間におけるドローン位置の情報をホログラム表示する。また、表示部65aは、飛行軌跡を複数の矢印によってホログラム表示する。また、図18の例では、表示部65aは、ドローン位置、及び飛行軌跡について、飛行予定情報のホログラム表示と異なる色で表示する。
ホログラム表示D402は、ドローン4が近傍を通過した飛行経由ポイントを表示する。図18の例では、ホログラム表示D402は、図17における飛行経由ポイントに関するホログラム表示D301で表示される表示情報と同様の情報を表示するホログラムを含むが、ホログラム表示D301とは表示するホログラムの色が異なる。
ホログラム表示D403は、飛行経由ポイントが撮影ポイントである場合に、ドローン4が撮影した情報を、飛行経由ポイントの近傍に表示する。図18の例では、ホログラム表示D403は、ホログラム表示D402と同様の表示に加えて、ドローン4が撮影した情報である写真を経由ポイント近傍にホログラム表示する。
なお、図17、図18の例で説明したホログラムの表示位置、表示方法については、上述した位置、方法に限られない。例えば、テレメトリ情報、バッテリ残量情報、アラート情報、動画情報、ドローン4の方向を示す情報などの各種情報を表示する位置は、他の位置や他の表示方法であってもよい。また、通常時には表示せず、ホログラム装置6aを装着したユーザのジェスチャーによって表示する情報を受け入れた場合にのみ表示するようであってもよい。また、バッテリ残量情報は、表示する必要がある場合にのみ表示するようであってもよい。表示する必要がある場合とは、例えば、バッテリ残量が所定の閾値以下である場合などである。
以上説明したように、本実施形態による情報表示システム1aは、表示部65aと、移動体の実際の飛行の位置に関する実飛行情報を取得する取得処理部671aと、移動体の飛行予定の位置に関する飛行予定情報、及び実飛行情報を仮想空間に対応付けた仮想空間情報と、現実空間の構造物9の情報を含む現実空間情報とに基づいて、飛行予定情報及び実飛行情報を、現実空間の移動体の飛行予定の位置及び現実空間の実際の飛行の位置にそれぞれ重ね合わせて、ホログラムとして表示部65aに表示する表示処理部674a、を備える。
これにより、本実施形態による情報表示システム1aは、例えば、移動体の操縦者が、その操縦に関する情報を、移動体を視認しながら把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態による情報表示システム1aは、仮想空間情報は、移動体が過去に取得した構造物9の情報に基づいて生成された構造物9の3次元モデルを仮想空間に対応付けた構造物情報を更に含み、表示処理部674aは、現実空間情報と構造物情報とに基づいて、ホログラムの表示位置を決定することを特徴とする。
これにより、本実施形態による情報表示システム1aのユーザは、例えば、複雑な処理を行うことなく、ホログラム装置6を装着するだけで、移動体の飛行に関する情報を感覚的に把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態による情報表示システム1aは、入力部63を更に備え、表示処理部674aは、入力部63から入力された情報に基づいて、表示位置の調整を行うことを特徴とする。
これにより、本実施形態による情報表示システム1aのユーザは、例えば、表示される情報が現実空間の情報と一致していない場合でも、調整し一致して見える位置に表示させることができ、現実空間の情報を容易に把握することができる。
また、本実施形態による情報表示システム1aは、飛行予定情報は、移動体が経由する位置である飛行経由ポイントに関する飛行経由情報を含み、表示処理部は、飛行経由ポイントをホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム1aのユーザは、例えば、移動体をどの位置を経由させて飛行させればよいかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態による情報表示システム1aは、飛行経由情報は、飛行経由ポイントの経由順に関する経由順情報を含み、表示処理部674aは、飛行経由ポイントに関連付けて経由順情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム1aのユーザは、例えば、移動体が通過しなければならない地点を、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態による情報表示システム1aは、表示処理部674aは、飛行経由情報及び実飛行情報に基づいて、移動体が飛行経由ポイントの近傍を通過したか否かを判定する判定処理を行い、表示処理部674aは、判定処理の結果、移動体が飛行経由ポイントの近傍を通過した場合、当該飛行経由ポイントを、移動体が飛行経由ポイントの近傍を通過していない場合と異なるホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム1aのユーザは、例えば、移動体の飛行予定において経由すべき飛行経由ポイントのうち、どのポイントをすでに飛行したのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態による情報表示システム1aは、飛行予定情報は、移動体の飛行予定経路に関する飛行予定経路情報を含み、表示処理部674aは、飛行予定経路情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム1aのユーザは、例えば、移動体の飛行経由ポイントがどのような理由で飛行経由するべきなのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態による情報表示システム1aは、移動体の一定時間毎の位置に関する移動体位置情報を含み、表示処理部674aは、移動体位置情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム1aのユーザは、例えば、移動体が現時点の近傍で視界のどのあたりを飛行しているのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態による情報表示システム1aは、表示処理部674aは、前記移動体位置情報に基づく移動体の一定時間毎の移動に関する移動体移動情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム1aのユーザは、例えば、移動体が現時点の近傍でどのように飛行しているのかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態による情報表示システム1aは、移動体移動情報を破線状のホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム1aのユーザは、例えば、移動体がホログラムによって見えづらくならないようにすることができ、現実空間の情報を容易に把握することができる。
また、本実施形態による情報表示システム1aは、移動体の移動の方向を示す情報をホログラムとして表示する、ことを特徴とする。
これにより、本実施形態による情報表示システム1aのユーザは、例えば、移動体がどの方向に移動しているかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態による情報表示システム1aは、飛行予定情報は、撮影を行う移動体の撮影の予定に関する撮影予定情報を含み、実飛行情報は、移動体の撮影の結果に関する撮影結果情報を含む、ことを特徴とする。
これにより、本実施形態による情報表示システム1aのユーザは、例えば、移動体がどのような撮影を行ったかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
また、本実施形態による情報表示システム1aは、飛行予定情報は、移動体の過去の実飛行情報に基づいて決定される、ことを特徴とする。
これにより、本実施形態による情報表示システム1aのユーザは、例えば、移動体を用いて、過去の飛行における撮影と同じように撮影を行う場合に、どのように移動体を操縦したらいいかを、移動体を見ながら感覚的に把握することができ、現実空間の情報を容易に把握することができる。
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上述した第1の実施形態において、対象不具合を決定する場合に、ホログラム装置6の視界内にある不具合のうち、最近傍に存在する不具合を対象不具合として決定する例を説明したが、対象不具合を、ジェスチャーが行われた位置の最近傍に存在する不具合として決定してもよい。この場合、入力・撮影情報処理部672は、撮影部62から取得した3次元動画像に基づいて、ジェスチャーが行われた場所について、視点位置からの距離及び方向の情報を取得する。入力・撮影情報処理部672は、取得したジェスチャーの位置に関する情報と、仮想空間情報とに基づいて、ジェスチャーが行われた位置の最近傍の不具合を対象不具合として決定する。
また、上述した第1の実施形態において、不具合のメタデータとして、修理前の撮影情報を含んでもよい。この場合、不具合の修理完了時の修理部位の撮影情報を、撮影部62から取得した場合に行う不具合特定処理を、修理前の撮影情報と、修理後の撮影情報とを用いて行ってもよい。この場合、入力・撮影情報処理部672は、修理前の不具合の撮影情報をメタデータに含む不具合の情報を表示情報記憶部663から取得し修理前の撮影情報と、修理後の撮影情報とを画像解析の手法を用いて比較し、修理後の撮影情報と最も似ていると判定された修理前の撮影情報をメタデータとして含む不具合を、対象不具合として決定する。
また、上述した実施形態において、ホログラム表示処理の開始時に、ホログラム装置6(6a)のユーザは、所定の初期位置及び方向において開始する例を説明したが、これには限られない。例えば、起動時に撮影部62から構造物9の3次元動画像を取得し、取得した情報と、仮想空間情報記憶部661に含まれる構造物9の3次元モデルとを比較し、比較した情報に基づいて、ホログラム装置6(6a)を装着したユーザの3次元情報や向いている方向に関する情報を取得し、視点位置を決定してもよい。この場合、入力・撮影情報処理部672は、撮影部62から取得した3次元動画像に基づいて、構造物9の特徴点を抽出する処理を行う。構造物9は、抽出した特徴点の情報と3次元モデルとに基づいて、視点位置、視点方向を決定する。また、ホログラム装置6(6a)のユーザが所定の初期位置において開始し、ホログラム装置6(6a)の方向については、撮影部62から取得した上記情報に基づいて決定してもよい。
また、上述した実施形態において、微調整を行う処理を、入力部63から入力されたユーザの微調整を行う情報に基づいて行う例を説明したが、上述した構造物9の3次元動画像の情報を用いる方法によって、微調整を行ってもよい。
また、上述した第1の実施形態において、視界の範囲内にある不具合については、視点位置から実際にその位置が視認できるか否かを考慮せず同様のホログラム表示を行う例について説明したが、これには限られない。例えば、視点位置から見た場合に、構造物9の向こう側や、構造物9の内部などに位置し、直接的には視認できないような位置に存在する不具合については、その不具合をホログラム表示する場合に、視認できる位置にある不具合の表示方法とは異なる表示方法を用いて表示するようにしてもよい。この場合、ホログラム表示関連情報記憶部223や、表示情報記憶部663は予め視認できない不具合についてのホログラム表示に関する情報を記憶する。表示処理部674は、仮想空間情報記憶部661と視界情報記憶部662から、構造物9の3次元モデルと不具合位置と視点位置とを読み出す。表示処理部674は読み出した情報に基づいて、表示する不具合のうち、視点位置から視認できる不具合と視認できない不具合とを判別する。表示処理部674は、判別した情報と、表示情報記憶部663に記憶された情報とに基づいて、視認できる不具合と視認できない不具合について、表示するホログラムを異なるものとする。例えば、視認できない不具合を示すホログラムは視認できる不具合を示すホログラムに比べ、ホログラムの透明度、色、形状などを異なるものにする。
また、例えば構造物9の壁など、ある面上に存在する不具合については、その面のどちら側に存在する不具合であるかをホログラム装置6のユーザが視認しやすいように、表示するホログラムを変更してもよい。上述した第1の実施形態においては、不具合について、球状のホログラムを表示する例を説明したが、これを構造物9の面を含む平面で切断し、構造物9の不具合が視認できる側に半球体のホログラムを表示させるようにしてもよい。この場合、表示処理部674は仮想空間情報記憶部661から、構造物9の3次元モデルを取得し、取得した情報に基づいて、表示するホログラムを決定する。
なお、上述した視認できない不具合や面上の不具合について、それ以外の不具合と異なる表示にするのは、構造物9の近傍にホログラム装置6を装着したユーザがいる場合に限ってもよい。例えば、構造物9から所定の距離以上離れている場合には、上述した処理を行わなくてもよい。
また、上述した第2の実施形態において、ドローン4の位置を取得毎に3次元モデル、飛行経由ポイント、及びドローン位置を仮想空間に投影する仮想空間投影処理を行う例を説明したが、これには限られない。例えば、処理装置2aの231aは、ドローン位置については、対応する仮想空間における位置の情報のみを算出する処理を行い、ホログラム装置6aに送信してもよい。この場合、仮想空間情報記憶部224及び仮想空間情報記憶部661は、3次元モデルと飛行経由ポイントとを仮想空間に投影した仮想空間情報を記憶する。ホログラム装置6aの表示処理部674は、仮想空間情報記憶部661に記憶された仮想空間情報と、仮想空間内のドローン位置についての情報とに基づいて、ドローン位置のホログラム表示位置を決定する。
また、上述した第2の実施形態において、ドローン4の実飛行情報のメタデータに関する情報を表示部65aに表示する例を説明したが、例えばホログラム装置6aを装着するユーザであって、ドローン4を操作しないユーザがいる場合には、当該ユーザが装着するホログラム装置6aについては、実飛行情報のメタデータをホログラム表示しないようであってもよいし、実飛行情報のメタデータの一部のみをホログラム表示するようであってもよい。
また、上述した第2の実施形態において、ドローン4が撮影する飛行経由ポイントについて説明したが、ドローン4が撮影を行った場合に、撮影情報を表示部65aに表示し、撮影情報を記憶させるか、再度撮影をやり直すか指示するようであってもよい。この場合、ホログラム装置6aは、表示処理部674aは、第1の実施形態におけるステップS306からステップS310までの処理と同様の処理を行う。また、ホログラム装置6aは、送信処理部675aを備え、記憶させる撮影情報とその撮影情報を撮影した撮影ポイントとを通信部61を介して、処理装置2aに送信する。また、処理装置2aは、受信した情報を表示情報記憶部222aに記憶させる。
また、上記処理を、ドローン4を操作しない他のユーザに装着されたホログラム装置6aの表示処理部674aで行ってもよい。この場合、処理装置2aは、記憶させる撮影情報とその撮影情報を撮影した撮影ポイントとを、撮影情報の判定に関する処理を行ったホログラム装置6a以外のホログラム装置6aに、通信部21aを介して送信する。この場合、ドローン4を操作するユーザの表示部65aには、処理装置2aから受信した表示情報記憶部663aに記憶された撮影情報がホログラム表示される。
また、ドローン4の操作を行うユーザがドローン4を把握しやすいように、表示部65aの表示画面中心部に、ドローン4に照準を合わせるためのレティクルや、ドローン4を捉えるターゲット枠をホログラム表示してもよい。
また、上述した第2の実施形態において、飛行予定情報は、ドローン4の飛行経由ポイントを複数含む情報である例を説明したが、この飛行予定情報は、例えば、以前ドローン4が構造物9の周辺を飛行した場合の実飛行情報に基づく情報であってもよい。例えば、構造物9の修理を行うために、修理を行う前に、ドローン4を用いて構造物9の状況を把握した場合、当該把握のためのドローン4の飛行に基づいて、飛行予定情報を決定する。また、修理が完了した後の飛行の場合、修理を行う場合のドローン4の飛行軌跡において、修理が行われた箇所に近い場所を、飛行予定情報の撮影ポイントとして設定してもよい。また、ドローン4を使用せずに構造物9の撮影を行った場合の撮影を行った場所の情報に基づいて、撮影ポイントを決定してもよい。また、飛行予定ルートが別途定められている場合に、修理が行われた位置から最も近い3次元モデルの点群の位置から最も近い飛行予定ルート上の位置を、撮影ポイントとして設定してもよい。
また、上述した実施形態において、処理装置2(2a)が行う仮想空間投影処理は、ホログラム装置6(6a)が行ってもよい。また、上述した第2の実施形態において、ドローン情報取得装置5が取得する各種情報を処理装置2aが処理する例を説明したが、処理装置2aの外部に別のドローン情報処理装置を設け、実飛行情報に関する処理を行うようにしてもよい。この場合、ホログラム装置6aは、飛行予定情報を処理装置2aから受信し、また、実飛行情報をドローン情報処理装置から受信する。表示処理部674aは受信した情報に基づいて、表示部65aに表示するホログラムを決定し、表示部65aに表示させる。
また、上述した各実施形態における処理装置2(2a)やホログラム装置6(6a)の一部、例えば、処理部23(23a)、処理部67(67a)などをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、処理装置2(2a)やホログラム装置6(6a)に内蔵されたコンピュータシステムであって、OS(Operating System)や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における処理部23(23a)、処理部67(67a)の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。処理部23(23a)、処理部67(67a)の各機能部は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。