JP6687556B2 - 画像表示制御装置、および、プログラム - Google Patents

Description

本発明は、拡張現実による画像を表示させる画像表示制御装置、および、当該画像表示制御装置を実現するためのプログラムに関する。

カメラで撮像された現実の風景画像に実在しない物体を合成した合成画像を、リアルタイムに表示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が提案されている。例えば、特許文献１には、建物の建築予定場所を含む風景画像に、建築を検討中の建物の画像を合成して表示するシミュレーション装置が記載されている。

また、建設工事や土木工事においては、施行計画の遅れやかかっている費用を管理する必要がある。設計段階で作成された建築物などの三次元モデルのデータを用いて、ＡＲ技術を利用することで、現場の風景画像に建築予定の建築物の画像を合成して表示することができる。しかし、現在の工事が計画通りにすすんでいるのか、どの程度遅れているのかということや、現在までにかかっている費用は妥当であるかということは、当該合成画像を見てもわからず、施行計画の工程表や見積書などを確認する必要がある。

特開２０１４−１１５９５７号公報

本発明は、上記の課題に鑑みてなされたものであって、施行計画の遅れやかかっている費用の多寡を直感的に認識させることができる画像表示制御装置、および、当該画像表示制御装置を実現するためのプログラムを提供することを目的とする。

本発明の第１の側面によって提供されるプログラムは、コンピュータを、記憶装置に記憶されている三次元物体のデータを取得するデータ取得手段と、撮像装置が撮像した画像を取得する撮像画像取得手段と、前記撮像画像取得手段が取得した画像に、前記データ取得手段が取得したデータに基づく前記三次元物体の画像を合成して、表示装置に表示させる表示制御手段と、日時または総費用を設定する設定手段として機能させ、前記三次元物体のデータは、構成要素ごとのデータを含んでおり、各構成要素のデータは、三次元の位置データと、日時データまたは費用データとを含んでおり、前記表示制御手段は、前記日時データおよび前記設定手段によって設定された日時、または、前記費用データおよび前記設定手段によって設定された総費用に基づいて、前記三次元物体の画像を合成することを特徴とする。

本発明の「構成要素」とは、三次元物体を構成する要素であり、例えばポリゴンなどの描画の最小単位の多角形を示している。なお、複数のポリゴンを合わせた要素も、「構成要素」に含まれる。また、三次元物体を構成する各点も、「構成要素」に含まれる。

本発明の好ましい実施の形態においては、前記表示制御手段は、前記日時データが前記設定手段によって設定された日時より前を示す構成要素に基づいて、前記三次元物体の画像を合成する。

本発明の好ましい実施の形態においては、前記各構成要素のデータは、順番を示す番号データをさらに含んでおり、前記表示制御手段は、前記構成要素の費用データを番号データの順に積算していき、積算値が前記設定手段によって設定された総費用を超える前までの各構成要素に基づいて、前記三次元物体の画像を合成する。

本発明の好ましい実施の形態においては、前記プログラムは、前記コンピュータを、前記撮像装置の位置および撮像方向を示す撮像情報を取得する撮像情報取得手段としてさらに機能させ、前記表示制御手段は、前記撮像情報に基づいて前記三次元物体を投影した二次元画像を合成する。

本発明の好ましい実施の形態においては、前記設定手段が設定する日時は現在の日時である。

本発明の好ましい実施の形態においては、前記撮像画像取得手段が取得した画像に合成される前記三次元物体の画像は、半透明である。

本発明の好ましい実施の形態においては、前記三次元物体は建築物である。

本発明の第２の側面によって提供される画像表示制御装置は、本発明の第１の側面によって提供されるプログラムを記憶したプログラム記憶部と、前記プログラム記憶部に記憶されたプログラムに基づいて処理を実行する制御部とを備えていることを特徴とする。

本発明によると、日時データおよび日時、または、費用データおよび総費用に基づいて、前記三次元物体の画像が、撮像装置によって撮像された画像に合成されて、表示装置に表示される。したがって、設定された日時または総費用に応じた三次元物体の画像を実際の画像に合成して表示させることができる。各構成要素の日時データを施行計画に応じて設定しておき、現在の日時を設定すれば、現在の日時までに完成している予定の部分の画像が、実際の画像に合成されて表示される。完成予定部分の画像と実際の画像との違いから、施行計画の遅れを直感的に認識させることができる。また、各構成要素の費用データを見積書に応じて設定しておき、現在までにかかっている総費用を設定すれば、当該総費用によって完成している予定の部分の画像が、実際の画像に合成されて表示される。完成予定部分の画像と実際の画像との違いから、かかっている費用の多寡を直感的に認識させることができる。

本発明のその他の特徴および利点は、添付図面を参照して以下に行う詳細な説明によって、より明らかとなろう。

第１実施形態に係る画像表示制御装置が生成する合成画像を説明するための図である。 第１実施形態に係る画像表示制御装置の内部構成の一例を示す機能ブロック図である。 第１実施形態に係る三次元画像データの一例を示す図である。 ＡＲ表示処理を示すフローチャートの一例である。 ＡＲ表示処理を示すフローチャートの他の例である。 第２実施形態に係る画像表示制御装置の内部構成の一例を示す機能ブロック図である。 第２実施形態に係る三次元画像データの一例を示す図である。 画像表示制御装置の表示画面の一例を示す図である。 費用算出処理を示すフローチャートの一例である。 第３実施形態に係る画像表示制御装置の内部構成の一例を示す機能ブロック図である。 第４実施形態に係る画像表示制御装置を含むシステムを説明するための図であり、（ａ）は当該システムの内部構成の一例を示す機能ブロック図であり、（ｂ）はヘッドマウントディスプレイの一例を簡略化して示す図である。

以下、本発明の好ましい実施の形態として、添付図面を参照して具体的に説明する。

第１実施形態に係る画像表示制御装置１は、ＡＲ技術を利用して、現場の風景画像に建築予定の建築物の画像を合成して表示する。本実施形態においては、建築物の現在の段階で完成している予定の部分のみの画像が合成されて、表示される。例えば、図１（ａ）に示す建築予定の８階建ての建築物について、現在の段階で１〜３階部分が完成している予定である（図１（ｂ）参照）が、実際には１〜２階部分しか完成していない場合（図１（ｃ）参照）、実際の１〜２階部分の画像に、１〜３階部分が完成した画像が合成される（図１（ｄ）参照）。この合成画像によって、予定では完成しているはずの３階部分が実際にはまだ完成しておらず、施行計画と比べて実際の工事が遅れていることを、直感的に認識することができる。なお、図１においては、簡略化した建築物を例にしているが、実際には、より複雑な構造をしている。また、施行計画はフロアごとではなく、同じフロアでも区画ごとに、また、建築物を構成する要素（壁、床、天井、窓、扉など）ごとに設定されていてもよい。この場合は、施行計画で完成している予定の区画、要素のみが合成される。

画像表示制御装置１は、汎用的なコンピュータにＡＲ表示プログラムをインストールすることで実現される。ＡＲ表示プログラムは、後述するＡＲ表示処理を、制御部１１に実行させるためのプログラムである。本実施形態では、カメラなどの撮像装置、液晶画面などの表示装置、および各種センサを備えたタブレット型コンピュータにＡＲ表示プログラムをインストールしたものを、画像表示制御装置１としている。

図２は、画像表示制御装置１の内部構成の一例を示す機能ブロック図である。画像表示制御装置１は、制御部１１、記憶部１２、操作部１３、撮像部１４、センサ部１５、表示部１６、通信部１７、および、バス１８を備えている。制御部１１、記憶部１２、操作部１３、撮像部１４、センサ部１５、表示部１６および通信部１７は、バス１８によって相互にデータ伝送可能に接続されている。

画像表示制御装置１は、通信回線２を介してサーバ３からＡＲ表示プログラムをダウンロードして、記憶部１２に読み込んでいる。なお、当該プログラムをフラッシュメモリやＣＤ−ＲＯＭなどの他の記録メディアから読み込むようにしてもよい。

記憶部１２は、各種情報を記憶するものである。記憶部１２は、一次記憶部としてのＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）と、二次記憶部とを備えている。ＲＯＭは、読み取り専用の記憶媒体であって、基本プログラムが記憶されている。ＲＡＭは、書き換え可能な記憶媒体であって、応用プログラムを格納するエリアとプログラムを処理するためのワークエリアとを提供する。二次記憶部は、例えばフラッシュメモリやハードディスクなどであり、ダウンロードした応用プログラムや各種データを記憶している。本実施形態では、サーバ３からダウンロードされたＡＲ表示プログラムが、記憶部１２の二次記憶部に記憶されている。また、後述する三次元画像データも二次記憶部に記憶されている。記憶部１２が、本発明に係る「プログラム記憶部」および「記憶装置」に相当する。

操作部１３は、操作者からの操作入力を受け付けるものであり、各種操作ボタンおよびタッチパネルを備えている。操作部１３は、操作者によって操作ボタンが押下された場合に、対応する操作信号を制御部１１に入力する。また、操作部１３は、タッチパネルから入力されるタッチ情報（タッチパネルのパネル面に格子状に配置された微小コンデンサまたは微小抵抗の変化情報）に基づいてパネル面における接触位置を算出し、その接触位置の情報を操作信号として制御部１１に入力する。タッチパネルは、後述する表示装置の表示画面上に配置されている。

撮像部１４は、ＣＣＤ（Charge Coupled Device）などの撮像素子を有する撮像装置（カメラ）を備えている。撮像部１４は、撮像装置によって撮像された静止画または動画の画像データを制御部１１に入力する。

センサ部１５は、各種センサを備えており、各センサが検出した検出信号を制御部１１に入力する。本実施形態では、センサ部１５は、３軸加速度センサ、３軸ジャイロセンサ、方位センサ、ＧＰＳ（Global Positioning System）を備えている。３軸加速度センサは、それぞれ直交する３軸の各方向の加速度を検出するセンサである。３軸ジャイロセンサは、それぞれ直交する３軸の各軸周りの角速度を検出するセンサである。方位センサは、方位を検出するセンサである。ＧＰＳは、衛星から発信される信号を受信して、位置情報を検出する。なお、これらの全てのセンサを備えていなくてもよいし、その他のセンサを備えていてもよい。

表示部１６は、例えば液晶表示装置などの表示装置を備えている。表示部１６は、制御部１１から入力される画像を表示装置に表示させる。

通信部１７は、通信回線２を介して、外部の装置との間で通信を行うものであり、例えば無線ＬＡＮモジュールなどの通信手段を備えている。なお、通信部１７は、無線通信を行うものに限定されず、有線通信を行うものであってもよい。本実施形態では、通信部１７は、サーバ３からＡＲ表示プログラムを受信している。また、三次元画像データを、他のコンピュータやサーバ３から受信している。

制御部１１は、画像表示制御装置１が備える各部の動作を統括制御するものであり、ＣＰＵ（Central Processing Unit）によって実現されている。制御部１１は、機能ブロックとして、少なくとも、データ取得部１１１、日時設定部１１２、撮像情報取得部１１３、撮像画像取得部１１４、および、表示制御部１１５を備えている。機能ブロックである各部１１１〜１１５は、制御部１１が記憶部１２に記憶されたＡＲ表示プログラムを実行することで実現される。

データ取得部１１１は、記憶部１２に記憶されている三次元画像データを取得する。三次元画像データは、あらかじめ取得されて、記憶部１２に記憶されている。本実施形態では、三次元画像データは、建築物の三次元モデルのデータであり、建築物を構成する壁や、床、天井、窓、扉などを、それぞれ複数に分割した構成要素ごとにデータとして備えている。本実施形態では、構成要素を、三次元コンピュータグラフィックスにおける描画の最小単位の多角形であるポリゴンとしている。つまり、三次元画像データは、複数のポリゴンのデータを備えている。図３は、三次元画像データの一例を示している。図３に示すように、三次元画像データは、ポリゴンごとに、番号、位置データ、テクスチャデータ、日時データ、および表示フラグを含んでいる。番号はポリゴンごとに付されている番号である。位置データは、ポリゴンの各頂点の位置を示す座標である。本実施形態では、ポリゴンを三角形としているので、３つの頂点の座標が含まれている。各座標は、三次元モデルを設計したときの三次元仮想空間上の座標である。なお、現実の位置を示す座標（緯度、経度、高さに基づく座標）であってもよい。テクスチャデータは、ポリゴンに貼り付けられるテクスチャを示すデータである。日時データは、当該ポリゴンを含む部分が完成する予定の日付を示すデータである。日時データは、施行計画に応じて設定される。なお、日時データは、設計時の三次元モデルのデータには含まれておらず、施行計画が決定されてから追加される。なお、データ取得部１１１が、設計時の三次元モデルのデータと、施行計画のデータとから、三次元画像データを作成するようにしてもよい。表示フラグは、ポリゴンを表示するか否かを表すものであり、「１」の場合（フラグが立っている場合）に表示が行われる。図３においては、ｎ番目のポリゴンについて、位置データとして３つの頂点の座標（Ｘ１，Ｙ１，Ｚ１）、（Ｘ２，Ｙ２，Ｚ２）、（Ｘ３，Ｙ３，Ｚ３）が設定され、テクスチャデータとしてＴｎが設定され、日時データとしてＤｎが設定され、表示フラグには「０」が設定されていることを示している。データ取得部１１１は、取得した三次元画像データを表示制御部１１５に出力する。

日時設定部１１２は、日時を設定するものである。本実施形態では、現在の日付を設定するので、日時設定部１１２は、画像表示制御装置１が備えている時計やカレンダーから現在の日付を入手して、表示制御部１１５に出力する。なお、日時設定部１１２は、現在の日付を設定するものに限定されず、所望の日付を設定するようにしてもよい。この場合は、表示装置に所望の日付の入力を促すメッセージを表示して、操作者の操作によって操作部１３から入力される操作信号に基づいて、日付を設定すればよい。

撮像情報取得部１１３は、撮像装置の位置および撮像方向を示す撮像情報を取得するものである。撮像情報取得部１１３は、センサ部１５より入力される各種検出信号に基づいて、撮像装置の位置および撮像方向を演算し、演算結果を撮像情報として表示制御部１１５に出力する。撮像装置の位置はＧＰＳの検出信号に基づいて演算され、撮像方向の水平面での方向は方位センサの検出信号に基づいて演算され、撮像方向の水平面に対する傾きは３軸加速度センサまたは３軸ジャイロセンサの検出信号に基づいて演算される。なお、各演算は、他のセンサの検出信号によって補正されてもよい。撮像情報取得部１１３による撮像情報の演算手法および演算に利用するセンサは限定されず、撮像装置の位置および撮像方向を演算できればよい。

撮像画像取得部１１４は、撮像装置が撮像している画像を取得するものである。撮像画像取得部１１４は、撮像部１４より入力される画像データを表示制御部１１５に出力する。

表示制御部１１５は、表示部１６の表示装置に表示させる表示画像を生成するものである。表示制御部１１５は、データ取得部１１１より入力される三次元画像データ、日時設定部１１２より入力される日時の情報、撮像情報取得部１１３より入力される撮像情報、および、撮像画像取得部１１４より入力される画像データに基づいて、表示画像の画像データを生成する。表示制御部１１５は、抽出部１１５ａ、投影処理部１１５ｂ、および、合成部１１５ｃを備えている。

抽出部１１５ａは、三次元画像データによる三次元画像のうち、表示画像に表示する部分を抽出するものである。抽出部１１５ａは、データ取得部１１１より三次元画像データを入力され、日時設定部１１２より日時の情報（以下では、「日時情報」とする）を入力される。そして、三次元画像データに含まれる日時データと日時設定部１１２より入力された日時情報とを比較する。抽出部１１５ａは、日時データが示す日時が、日時情報が示す日時より前であるポリゴンだけを抽出する。本実施形態では、日時データが当該ポリゴンを含む部分が完成する予定の日付を示しており、日時情報が現在の日付を示しているので、現在までに完成している予定の部分のポリゴンだけが抽出される。これら抽出されたポリゴンのみが表示画像に表示される。抽出部１１５ａで抽出されたポリゴンのデータは、表示フラグを立てて（「１」を設定して）、抽出されなかったポリゴンのデータと区別される。なお、ポリゴンのデータの番号によって、抽出されたか否かを区別するようにしてもよい。三次元画像データのうち、抽出されたポリゴンのデータが、投影処理部１１５ｂに出力される。

投影処理部１１５ｂは、三次元のデータであるポリゴンの各頂点の座標を、表示画面に表示するための二次元のデータに変換するものである。投影処理部１１５ｂは、抽出部１１５ａより抽出されたポリゴンのデータが入力され、撮像情報取得部１１３より撮像情報が入力される。投影処理部１１５ｂは、まず、抽出部１１５ａより入力される抽出されたポリゴンのデータの各頂点の座標を、現実の位置を示す座標に変換する。つまり、三次元モデルを実際の建築物として建築予定地に建築した場合に、各頂点が位置することになる位置座標に変換される。当該変換には、三次元画像データとともに記憶部１２に記憶されている、建築予定地の位置座標、建築物の向きおよび各寸法などの情報が用いられる。なお、ポリゴンのデータの各頂点の座標が現実の位置を示す座標で設定されていれば、当該変換は省略される。次に、投影処理部１１５ｂは、現実の位置座標に変換された各頂点の座標を、表示画面に透視投影した二次元の座標に変換する。透視投影とは、三次元コンピュータグラフィックスにおいて、三次元の物体を二次元平面に描画するための手法であって、視点から三次元の物体に視線を延ばし、視点と物体との間に仮想的に配置されたスクリーンと視線との交点に物体を描画するものである。透視投影の視点および視線の方向は、撮像情報取得部１１３より入力される撮像情報に基づいて設定される。すなわち、撮像情報に含まれる撮像装置の位置が透視投影の視点として設定され、撮像情報に含まれる撮像方向が透視投影の視線の方向として設定される。各頂点の座標が変換されたポリゴンのデータが、合成部１１５ｃに出力される。

合成部１１５ｃは、表示画像を生成するものである。合成部１１５ｃは、投影処理部１１５ｂより各頂点の座標が変換されたポリゴンのデータが入力され、撮像画像取得部１１４より画像データが入力される。合成部１１５ｃは、撮像画像取得部１１４より入力される画像データに基づく画像に、投影処理部１１５ｂより入力されるポリゴンを描画することで合成し、表示画像を生成する。ポリゴンの描画は、三つの頂点の座標からなる三角形を描画し、テクスチャを貼り付けることで行われる。このとき、視点（撮像装置の位置）側に存在するポリゴンによって見えなくなるポリゴンについては描画を行わないようにしてもよい。また、テクスチャは、実際の画像が透けて見えるように、半透明のテクスチャとしている。生成された表示画像は、表示部１６に出力されて、表示装置に表示される。なお、投影処理部１１５ｂおよび合成部１１５ｃの処理は、ＣＰＵとは別に設けられた描画のためのプロセッサで行うようにしてもよい。

これらの制御部１１での処理は、リアルタイムで行われる。すなわち、撮像画像取得部１１４は撮像装置が撮像している現在の画像を取得して、撮像情報取得部１１３はその時の撮像情報を取得する。そして、投影処理部１１５ｂが当該撮像情報に基づいて透視投影した各ポリゴンを、合成部１１５ｃが現在の画像に合成する。したがって、撮像装置が撮像している現在の実際の画像に、実際には存在しない建築物が合成されて、当該建築物が実際に存在するかのように表示される。また、本実施形態では、撮像画像取得部１１４より入力される画像データは、動画の画像データである。この場合、動画を構成する各静止画の画像データが入力される毎に、撮像情報取得部１１３はその時の撮像情報を取得し、投影処理部１１５ｂが当該撮像情報に基づいて透視投影した各ポリゴンを、合成部１１５ｃが静止画の画像に合成することを繰り返す。したがって、画像表示制御装置１を持った操作者が移動したり、撮像装置の撮像方向を変化させると、これに応じて建築物の位置や向きが変化する。これにより、建築物が実際に存在して、撮像装置に撮像されているかのように、表示画像を表示することができる。

図４は、制御部１１が行うＡＲ表示処理を説明するためのフローチャートである。当該ＡＲ表示処理は、例えば、メニュー画面で操作者がＡＲ表示を選択した場合に開始される。なお、ＡＲ表示処理を開始する前に、三次元画像データを入手して、記憶部１２に記憶しておく必要がある。

まず、データ取得部１１１が、記憶部１２に記憶されている三次元画像データを取得する（Ｓ１）。次に、日時設定部１１２が現在の日時を示す日時情報を取得する（Ｓ２）。そして、抽出部１１５ａが、三次元画像データに含まれる日時データと日時情報とを比較して、日時データが示す日時が、日時情報が示す日時より前であるポリゴンのデータだけを抽出する（Ｓ３）。以後の処理では、抽出されたポリゴンのデータのみが用いられる。

次に、撮像情報取得部１１３が、センサ部１５より入力される各種検出信号に基づいて、撮像情報を取得する（Ｓ４）。次に、投影処理部１１５ｂが、抽出されたポリゴンのデータの各頂点の座標を、現実の位置を示す座標に変換し、さらに、表示画面に透視投影した二次元の座標に変換する（Ｓ５）。

次に、撮像画像取得部１１４が、撮像装置が撮像している画像の画像データを取得する（Ｓ６）。次に、合成部１１５ｃが、撮像画像に、各頂点の座標が変換されたポリゴンを描画することで合成し、表示画像を生成する（Ｓ７）。次に、表示制御部１１５は、生成した表示画像を、表示部１６に出力して、表示装置に表示させる（Ｓ８）。そして、ステップＳ４に戻って、ステップＳ４〜Ｓ８を繰り返す。

ＡＲ表示処理は、操作者が終了を選択（例えば、表示画面に表示されている終了ボタンを操作者がタッチして、当該タッチをタッチパネルが読み取った場合など）した場合に終了される。なお、図４に示すフローチャートはＡＲ表示処理の一例であって、制御部１１が行うＡＲ表示処理は、これに限定されない。

例えば、先にまとめて、該当するポリゴンのデータを抽出する（図４のＳ３参照）のではなく、図５に示すフローチャートのように、該当するポリゴンのデータを抽出しながら、抽出されたデータに対して投影処理および画像の合成を行うようにしてもよい。図５に示すフローチャートでは、制御部１１は、三次元画像データ、日時情報、撮像情報および撮像画像を取得（ステップＳ１，Ｓ２，Ｓ４，Ｓ６）した後、ポリゴンの番号を示す変数ｎを増加させながら、ステップＳ９、Ｓ５、Ｓ７を、ポリゴンの数だけ繰り返す（Ｓ３’）。ステップＳ９では、制御部１１は、対応するポリゴンの日時データＤｎが日時情報Ｄ₀より小さい（日時データＤｎの示す日付が日時情報Ｄ₀の示す日付より前）であるか否かを判別する。そして、Ｄｎ＜Ｄ₀の場合（Ｓ９：ＹＥＳ）は投影処理（Ｓ５）および画像の合成（Ｓ７）を行い、Ｄｎ≧Ｄ₀の場合（Ｓ９：ＮＯ）は、投影処理および画像の合成を行わない。これをポリゴンの数だけ繰り返した後、表示装置に表示させる（Ｓ８）。

次に、本実施形態に係る画像表示制御装置１の作用および効果について説明する。

本実施形態によると、抽出部１１５ａは、データ取得部１１１より入力される三次元画像データに含まれる日時データと日時設定部１１２より入力された日時情報とを比較して、日時データが示す日時が日時情報が示す日時より前であるポリゴンだけを抽出する。日時データが当該ポリゴンを含む部分が完成する予定の日付を示しており、日時情報が現在の日付を示しているので、現在の日時までに完成している予定の部分のポリゴンだけが抽出される。そして、抽出されたポリゴンだけが、撮像装置によって撮像された画像に合成されて、表示装置に表示される。したがって、表示装置には、建築物のうち現在の日時までに完成している予定の部分だけが、実際の画像に合成されて表示される。これにより、完成予定部分の画像と実際の画像との違いから、施行計画の遅れを直感的に認識させることができる。また、本実施形態では、ポリゴンに貼り付けるテクスチャを半透明としているので、ポリゴンによる建築物が半透明に表示される。これにより、実際の画像が透けて見えるので、完成予定部分の画像と実際の画像との違いを見分けやすくできる。

また、本実施形態によると、撮像画像取得部１１４は撮像装置が撮像している現在の画像を取得して、撮像情報取得部１１３はその時の撮像情報を取得する。そして、投影処理部１１５ｂが当該撮像情報に基づいて透視投影した各ポリゴンを、合成部１１５ｃが現在の画像に合成する。これにより、撮像装置が撮像している現在の実際の画像に、撮像装置の現在の位置および撮像方向に応じた、ポリゴンからなる建築物が合成されて、当該建築物が実際に存在するかのように表示される。したがって、建築現場で、リアルタイムに、合成された画像を示すことができる。

また、本実施形態によると、撮像画像取得部１１４より入力される画像データは動画の画像データである。そして、制御部１１は、動画を構成する各静止画の画像データが入力される毎に、その時の撮像情報を取得して、当該撮像情報に基づいて透視投影した各ポリゴンを静止画の画像に合成することを繰り返す。したがって、画像表示制御装置１を持った操作者が移動したり、撮像装置の撮像方向を変化させると、これに応じて建築物の位置や向きが変化する。これにより、建築物を様々な方向から見た画像を、表示することができる。

なお、上記第１実施形態においては、三次元画像データの日時データとして、当該ポリゴンを含む部分が完成する予定の日付を設定する場合について説明したが、これに限られない。例えば、日付の代わりに、着工からの日数で設定（例えば４０日後など）してもよい。この場合、日時設定部１１２が設定する日時情報も着工からの日数で設定する必要がある。また、日付だけでなく時間まで指定して設定してもよい。この場合、日時設定部１１２が設定する日時も時間を含めて設定すればよい。この場合、施行状態をより細かく確認することができる。

上記第１実施形態においては、実際の画像にポリゴンからなる建築物の全体（完成している予定の部分の全体）が合成された画像が表示される場合について説明したが、これに限られない。例えば、ポリゴンからなる建築物のうち実際の画像に表示されていない部分（予定では完成しているはずであるが実際には完成していない部分）だけを合成するようにしてもよい。具体的には、画像処理によって、ポリゴンからなる建築物と実際の画像の建築物との共通部分を検出し、当該共通部分に対応するポリゴンを表示しないようにすればよい。図１の例であれば、図１（ｄ）において、実際の１〜２階部分の画像に、ポリゴンからなる３階部分だけが合成されるようになる。

上記第１実施形態においては、三次元画像データをポリゴンごとのデータとした場合について説明したが、これに限られない。例えば、三次元画像データを、複数のポリゴンからなる、建築物を構成する要素（壁、床、天井、窓、扉など）ごとのデータとしてもよい。また、建築物の三次元モデルの各点ごとのデータとしてもよい。なお、この場合、座標上同じ点であっても、日時データが異なる点は別の点として設定されている必要がある。例えば、日時Ｄ１に完成予定の部分の点と、日時Ｄ２に完成予定の部分の点とは、座標上は同じ点であっても、異なる点として設定される。

上記第１実施形態においては、いわゆるセンサ方式でＡＲ表示を行う場合について説明したが、これに限られない。その他の方式（例えば、マーカー方式やマーカーレス方式）でＡＲ表示を行うようにしてもよい。

上記第１実施形態においては、撮像装置が撮像している現在の画像に、透視投影したポリゴンからなる建築物をリアルタイムで合成する場合について説明したが、これに限られない。過去に撮像装置が撮像した画像に合成するようにしてもよい。この場合、画像が撮像された時に取得された撮像情報に基づいて透視投影を行う必要がある。また、上記第１実施形態においては、撮像装置が動画を撮像して、建築物を合成した動画が表示装置に表示される場合について説明したが、これに限られない。撮像装置が静止画を撮像して、建築物を合成した静止画が表示装置に表示されるようにしてもよい。

上記第１実施形態においては、三次元画像データが位置データなどの他に日時データを含んでおり、画像表示制御装置１が施行計画の進捗状況を確認するのに適していることを説明した。さらに、三次元画像データが建築費用に関するデータを含むようにして、予算の進捗状況を確認できるようにした場合を、第２実施形態として、以下に説明する。

図６は、第２実施形態に係る画像表示制御装置１’の内部構成の一例を示す機能ブロック図である。図６においては、記憶部１２、操作部１３、撮像部１４、センサ部１５、表示部１６、通信部１７およびバス１８を省略して、制御部１１のみを記載している。また、図６においては、第１実施形態に係る画像表示制御装置１（図２参照）と同一または類似の要素には、同一の符号を付している。図６に示すように、画像表示制御装置１’は、機能ブロックとして、選択受付部１１６、削除処理部１１７、および、費用算出部１１８を備えている点で、第１実施形態に係る画像表示制御装置１と異なる。

画像表示制御装置１’は、ＡＲ表示プログラムに加えて、費用算出プログラムをサーバ３からダウンロードして、記憶部１２に読み込んでいる。機能ブロックである選択受付部１１６、削除処理部１１７、および、費用算出部１１８は、制御部１１が記憶部１２に記憶された費用算出プログラムを実行することで実現される。

費用算出プログラムは、現在の完成部分の予定費用を算出するものであり、ＡＲ表示プログラムによって作成された表示画像から、未実施部分を削除して、残り部分（実際の完成部分）の予定費用を算出して表示する。このため、第２実施形態に係る三次元画像データには、予定費用を算出するための費用データが含まれている。

図７（ａ）は、第２実施形態に係る三次元画像データの一例を示している。当該三次元画像データは、第１実施形態に係る三次元画像データに、さらに費用データを追加したものである。費用データは、当該ポリゴンが含まれる部分（例えば、壁、床、天井、窓、扉など）の建築費用を、含まれるポリゴンの数で除算したものである。例えば、ある壁の建築費用が１００万円で、当該壁が１００個のポリゴンで構成されている場合、各ポリゴンには費用データとして１万円（＝１００万円÷１００個）が設定される。費用データは、見積書に応じて設定される。なお、費用データは、設計時の三次元モデルのデータには含まれていないので、見積書に応じて、後で追加される。なお、データ取得部１１１が、設計時の三次元モデルのデータと、施行計画のデータ（日時データの設定に使用）と、見積書のデータとから、三次元画像データを作成するようにしてもよい。

図８は、画像表示制御装置１’の表示画面４１の一例を示しており、ＡＲ表示プログラムによって作成された表示画像４２が表示されている状態を示している。表示画像４２の右側には、複数の機能ボタン４３が表示されている。表示画面４１上にはタッチパネルが配置されているので、操作者が表示画面４１上をタッチすることで、タッチパネルからタッチ位置の操作信号が制御部１１に入力される。これにより、制御部１１は、操作者がタッチした位置を認識して、何が選択されたかを認識することができる。機能ボタン４３としては、ＡＲ表示を開始する「表示開始」ボタン、ＡＲ表示を終了する「表示終了」ボタン、ＡＲ表示を一時停止する「一時停止」ボタン、表示画像４２から削除する部分の選択を開始する「選択開始」ボタン、および、選択を終了する「選択終了」ボタンが配置されている。また、表示画像４２上をタッチすることで、削除する部分を選択することができる。なお、選択はポリゴンごとに行うようにしてもよいし、複数のポリゴンをまとめた部分ごとに行うようにしてもよい。なお、表示画面４１のレイアウトや、表示される機能ボタン４３の種類および数は限定されない。また、表示画像４２上での選択の方法も限定されない。

選択受付部１１６は、ＡＲ表示プログラムによって作成された表示画像４２から削除するために、操作者が選択した部分の指定を受け付ける。選択受付部１１６は、操作部１３から入力される操作信号に基づいて、表示画像４２上で選択された部分に対応するポリゴンを認識し、該当するポリゴンの番号を削除処理部１１７に出力する。なお、選択受付部１１６は、ＡＲ表示が一時停止され、選択開始の入力が行われてから、選択の受付を開始する。

削除処理部１１７は、三次元画像データから、選択されたポリゴンの削除を行うものである。削除処理部１１７は、抽出部１１５ａより抽出されたポリゴンのデータ（表示フラグが反映された三次元画像データ）が入力され、選択受付部１１６よりポリゴンの番号が入力される。削除処理部１１７は、抽出部１１５ａより入力された三次元画像データにおいて、選択受付部１１６より入力された番号に対応するポリゴンの表示フラグを「０」にする。これにより、削除処理部１１７によって削除されたポリゴンは、表示画像４２に表示されなくなる。削除処理部１１７は、ポリゴンの削除処理を行った後の三次元画像データを、費用算出部１１８に出力する。

費用算出部１１８は、表示画像４２に表示されている部分の予定費用を算出するものである。費用算出部１１８は、削除処理部１１７より、削除処理後の三次元画像データを入力される。費用算出部１１８は、入力された削除処理後の三次元画像データのうち、表示フラグが立っている（「１」が設定されている）ポリゴン（表示画像４２に表示されているポリゴン）の費用データを合計する。これにより、表示画像４２に表示されている、実際の完成部分の予定費用を算出することができる。算出された予定費用は、表示画面４１に表示される（図８参照）。

図９は、制御部１１が行う費用算出処理を説明するためのフローチャートである。当該費用算出処理は、ＡＲ表示が一時停止され、選択開始の入力が行われた場合に開始される。

まず、制御部１１は、選択終了の入力が行われたか否かを判別する（Ｓ１１）。具体的には、操作部１３から、「選択終了」の機能ボタン４３のタッチを示す操作信号が入力されたか否かを判別する。選択終了の入力が行われていない場合（Ｓ１１：ＮＯ）、選択受付部１１６は、選択指定があったか否かを判別する（Ｓ１２）。具体的には、操作部１３から、表示画像４２上での選択を示す操作信号が入力されたか否かを判別する。選択指定があった場合（Ｓ１２：ＹＥＳ）、選択されたポリゴンが削除される。具体的には、選択受付部１１６が選択されたポリゴンの番号を削除処理部１１７に出力し、削除処理部１１７が抽出部１１５ａより入力された三次元画像データにおいて、選択受付部１１６より入力された番号に対応するポリゴンの表示フラグを「０」にする。そして、ステップＳ１１に戻る。ステップＳ１２において、選択指定がなかった場合（Ｓ１２：ＮＯ）も、ステップＳ１１に戻る。また、ステップＳ１１において、選択終了の入力が行わた場合（Ｓ１１：ＹＥＳ）、ステップＳ１４に進む。すなわち、選択終了の入力が行われるまで、ステップＳ１１〜Ｓ１３が繰り返され、選択指定があった場合には選択されたポリゴンが削除される。

そして、費用算出部１１８は、削除処理後の三次元画像データに基づいて、表示画像４２に表示されている部分の予定費用を算出する（Ｓ１４）。具体的には、費用算出部１１８は、削除処理後の三次元画像データのうち、表示フラグが立っているポリゴンの費用データを合計する。そして、表示制御部１１５が、算出された合計費用を表示画面４１に表示して（Ｓ１５）、費用算出処理が終了される。

なお、図９に示すフローチャートは費用算出処理の一例であって、制御部１１が行う費用算出処理は、これに限定されない。

第２実施形態においても、第１実施形態と同様の効果を奏することができる。さらに、第２実施形態においては、費用算出処理によって、現在の完成部分の予定費用を算出することができる。現在の完成部分の予定費用を実際に現在までにかかっている費用と比較することで、計画通りかどうか、どの程度予算をオーバーしているかを知ることができる。また、ＡＲ表示プログラムによって作成された表示画像４２を操作するだけなので、現場で容易に、予算の進捗状況を確認することができる。

なお、図７（ｂ）に示すように、建築費用を例えば材料費や人件費などの項目に細分化して、費用データとして項目ごとに設定してもよい。この場合、項目ごとの予定費用を算出して、項目ごとに実際にかかっている費用と比較することができる。

上記第２実施形態においては、ＡＲ表示プログラムによって作成された表示画像４２から、操作者が未実施部分を選択して削除する場合について説明したが、これに限られない。画像処理によって、未実施部分を自動的に削除するようにしてもよい。具体的には、画像処理によって、表示画像４２と実際の画像（撮像装置が撮像して、撮像画像取得部１１４が取得した画像）との差異部分を検出し、検出された差異部分に対応するポリゴンを自動的に削除すればよい。この場合、操作者による選択が必要ないので、予算の進捗状況をより容易に確認することができる。また、画像処理によって検出した差異部分を、色を変化させたり点滅表示させたりして、操作者による選択を補助するようにしてもよい。

上記第１または第２実施形態においては、日時データに基づいて表示するポリゴンを抽出する場合について説明したが、これに限られない。例えば、費用データに基づいて表示するポリゴンを抽出するようにしてもよい。費用データに基づいて表示するポリゴンを抽出する場合を、第３実施形態として、以下に説明する。

図１０は、第３実施形態に係る画像表示制御装置１”の内部構成の一例を示す機能ブロック図である。図１０においては、記憶部１２、操作部１３、撮像部１４、センサ部１５、表示部１６、通信部１７およびバス１８を省略して、制御部１１のみを記載している。また、図１０においては、第１実施形態に係る画像表示制御装置１（図２参照）と同一または類似の要素には、同一の符号を付している。図１０に示すように、画像表示制御装置１”は、機能ブロックとして、日時設定部１１２に代えて費用設定部１１２’を備え、抽出部１１５ａに代えて抽出部１１５ａ’を備えている点で、第１実施形態に係る画像表示制御装置１と異なる。

第３実施形態では、三次元画像データとして、図７（ａ）に示す第２実施形態に係る三次元画像データを用いる。なお、日時データを備えていなくても構わない。つまり、第３実施形態に係る三次元画像データは、少なくとも、番号、位置データ、テクスチャデータ、費用データ、および表示フラグを含んでいる。番号は、実際に建設される順に、振られている。

費用設定部１１２’は、総費用を設定するものである。本実施形態では、現在までに支出した費用の合計額の入力を促すメッセージを表示装置に表示して、操作者の操作によって操作部１３から入力される操作信号に基づいて、費用設定部１１２’は総費用を取得する。費用設定部１１２’は、取得した総費用を、表示制御部１１５に出力する。なお、費用設定部１１２’は、現在までに支出した費用を経理のシステムから自動的に読み出して、その合計額を算出して設定するようにしてもよい。なお、現在までの総費用に限定されず、所望の総費用を設定するようにしてもよい。

抽出部１１５ａ’は、三次元画像データによる三次元画像のうち、表示画像に表示する部分を抽出するものである。抽出部１１５ａ’は、データ取得部１１１より三次元画像データを入力され、費用設定部１１２’より総費用を入力される。そして、抽出部１１５ａ’は、三次元画像データに含まれる費用データを番号の順に積算していき、積算値を費用設定部１１２’より入力された総費用と比較する。抽出部１１５ａ’は、積算値が総費用を超える前までのポリゴンを抽出する。本実施形態では、費用データがポリゴン毎の建築費用を示しており、総費用が現在までに支出した費用の合計額を示しているので、現在までに支出した費用で完成している予定の部分のポリゴンだけが抽出される。これら抽出されたポリゴンのみが表示画像に表示される。抽出部１１５ａ’で抽出されたポリゴンのデータは、表示フラグを立てて（「１」を設定して）、抽出されなかったポリゴンのデータと区別される。三次元画像データのうち、抽出されたポリゴンのデータが、投影処理部１１５ｂに出力される。

第３実施形態によると、抽出部１１５ａ’は、三次元画像データに含まれる費用データを番号の順に積算していき、積算値が総費用を超える前までのポリゴンを抽出する。したがって、現在までに支出した費用で完成している予定の部分のポリゴンだけが抽出され、撮像装置によって撮像された画像に合成されて、表示装置に表示される。したがって、表示装置には、建築物のうち、現在までに支出した費用で完成している予定の部分だけが、実際の画像に合成されて表示される。これにより、完成予定部分の画像と実際の画像との違いから、かかっている費用の多寡を直感的に認識させることができる。すなわち、完成予定部分の画像が実際の画像より工程が進んでいる場合、例えば図１（ｄ）のような表示となった場合、計画より多くの費用がかかっていることが判る。逆に、実際の画像が完成予定部分の画像より工程が進んでいる場合、支出した費用が計画より少なくて済んでいることが判る。

なお、上記第１〜第３実施形態では、タブレット型コンピュータを用いて画像表示制御装置１を実現した場合について説明したが、これに限られない。例えば、スマートフォンやノートパソコンを用いるようにしてもよい。また、デスクトップ型のコンピュータを用いて、画像表示制御装置を実現してもよい。デスクトップ型のコンピュータを用いた場合について、第４実施形態として、以下に説明する。

図１１（ａ）は、第４実施形態に係る画像表示制御装置６を含むシステムの内部構成の一例を示す機能ブロック図である。図１１（ａ）においては、第１実施形態に係る画像表示制御装置１（図２参照）と同一または類似の要素には、同一の符号を付している。図１１（ａ）に示すように、画像表示制御装置６は、撮像部１４およびセンサ部１５を備えておらず、代わりに、第２通信部１９を備えている点で、第１実施形態に係る画像表示制御装置１と異なる。

画像表示制御装置６は、デスクトップ型のコンピュータに、ＡＲ表示プログラムをインストールしたものである。画像表示制御装置６は、一般的に机上に据え置きするものであって、操作者が現場に持って行くものではない。画像表示制御装置６は、第１実施形態に係る画像表示制御装置１における撮像部１４およびセンサ部１５を備えておらず、表示部１６も据え置き型の液晶表示装置などである。第３実施形態においては、第１実施形態に係る画像表示制御装置１の撮像部１４、センサ部１５および表示部１６に代わるものとして、例えばヘッドマウントディスプレイ５を使用する。

第２通信部１９は、ヘッドマウントディスプレイ５の通信部５９（後述）との間で、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信を行うものである。なお、第２通信部１９と通信部５９とは、無線通信を行うものに限定されず、有線通信を行うものであってもよい。

図１１（ｂ）は、ヘッドマウントディスプレイ５の一例を簡略化して示す図である。ヘッドマウントディスプレイ５は、操作者が頭部に装着する眼鏡型の表示装置であり、制御部５１、撮像部５４、センサ部５５、表示部５６、通信部５９、および、バス５８を備えている。

撮像部５４は、撮像装置（カメラ）を備えている。撮像部５４は、撮像装置によって撮像された静止画または動画の画像データを制御部５１に入力する。センサ部５５は、３軸加速度センサ、３軸ジャイロセンサ、方位センサ、ＧＰＳを備えている。センサ部５５は、各センサが検出した検出信号を制御部５１に入力する。表示部５６は、例えば液晶表示装置などの表示装置を備えている。表示部５６は、制御部５１から入力される画像を表示装置に表示させる。通信部５９は、画像表示制御装置６の第２通信部１９との間で無線通信を行うものである。制御部５１は、ヘッドマウントディスプレイ５が備える各部の動作を統括制御するものであり、ＣＰＵによって実現されている。制御部５１は、撮像部５４より入力される画像データ、および、センサ部５５より入力される検出信号を、通信部５９によって、画像表示制御装置６に送信させる。また、制御部５１は、通信部５９が画像表示制御装置６より受信した画像を、表示部５６に表示させる。

つまり、ヘッドマウントディスプレイ５は、第１実施形態に係る画像表示制御装置１における撮像部１４、センサ部１５および表示部１６の機能を有するデバイスであって、操作者の移動に伴って移動可能としたものである。ヘッドマウントディスプレイ５と画像表示制御装置６とは、通信部５９と第２通信部１９とで各種信号を送受信することにより、全体として、第１実施形態に係る画像表示制御装置１と同様の機能を有する。

第４実施形態においても、第１実施形態と同様の効果を奏することができる。

なお、上記第１〜第４実施形態においては、汎用的なコンピュータにＡＲ表示プログラム（および費用算出プログラム）をインストールすることで画像表示制御装置１（１’，１”，６）を実現した場合について説明したが、これに限られない。例えば、初めから（製造時から）、ＡＲ表示プログラム（および費用算出プログラム）を記憶している、専用の画像表示制御装置１（１’，１”，６）であってもよい。

上記第１〜第４実施形態においては、本発明を建物の建築に利用した場合について説明したが、これに限られない。本発明は、高速道路や橋の建設などにも利用することができるし、土木工事においても利用することができる。

また、本発明は、建設工事や土木工事以外でも利用することができる。例えば、ＡＲ技術で、実際の画像に実在しない物体を合成した合成画像をリアルタイムに表示するときに、合成する物体が日時によって変化する場合に、本発明を利用することができる。

本発明に係る画像表示制御装置およびプログラムは、上述した実施形態に限定されるものではない。本発明に係る画像表示制御装置およびプログラムの各部の具体的な構成は、種々に設計変更自在である。

１，１’，１”，６ ：画像表示制御装置
１１ ：制御部
１１１ ：データ取得部
１１２ ：日時設定部（設定手段）
１１２’ ：費用設定部（設定手段）
１１３ ：撮像情報取得部
１１４ ：撮像画像取得部
１１５ ：表示制御部
１１５ａ，１１５ａ’ ：抽出部
１１５ｂ ：投影処理部
１１５ｃ ：合成部
１１６ ：選択受付部
１１７ ：削除処理部
１１８ ：費用算出部
１２ ：記憶部（記憶装置、プログラム記憶部）
１３ ：操作部
１４ ：撮像部
１５ ：センサ部
１６ ：表示部
１７ ：通信部
１８ ：バス
１９ ：第２通信部
２ ：通信回線
３ ：サーバ
４１ ：表示画面
４２ ：表示画像
４３ ：機能ボタン
５ ：ヘッドマウントディスプレイ
５１ ：制御部
５４ ：撮像部
５５ ：センサ部
５６ ：表示部
５８ ：バス
５９ ：通信部

Claims (6)

1. コンピュータを、
   記憶装置に記憶されている三次元物体のデータを取得するデータ取得手段と、
   撮像装置が撮像した画像を取得する撮像画像取得手段と、
   前記撮像画像取得手段が取得した画像に、前記データ取得手段が取得したデータに基づく前記三次元物体の画像を合成して、表示装置に表示させる表示制御手段と、
   総費用を設定する設定手段と、
   して機能させ、
   前記三次元物体のデータは、構成要素ごとのデータを含んでおり、
   各構成要素のデータは、三次元の位置データと費用データとを含んでおり、
   前記表示制御手段は、前記費用データおよび前記設定手段によって設定された総費用に基づいて、前記三次元物体の画像を合成する、
   ことを特徴とするプログラム。
2. 前記各構成要素のデータは、順番を示す番号データをさらに含んでおり、
   前記表示制御手段は、前記構成要素の費用データを番号データの順に積算していき、積算値が前記設定手段によって設定された総費用を超える前までの各構成要素に基づいて、前記三次元物体の画像を合成する、
   請求項１に記載のプログラム。
3. 前記コンピュータを、前記撮像装置の位置および撮像方向を示す撮像情報を取得する撮像情報取得手段としてさらに機能させ、
   前記表示制御手段は、前記撮像情報に基づいて前記三次元物体を投影した二次元画像を合成する、
   請求項１または２に記載のプログラム。
4. 前記撮像画像取得手段が取得した画像に合成される前記三次元物体の画像は、半透明である、請求項１ないし３のいずれかに記載のプログラム。
5. 前記三次元物体は建築物である、請求項１ないし４のいずれかに記載のプログラム。
6. 請求項１ないし５のいずれかに記載のプログラムを記憶したプログラム記憶部と、
   前記プログラム記憶部に記憶されたプログラムに基づいて処理を実行する制御部と、
   を備えていることを特徴とする画像表示制御装置。

Images