JP6783179B2 - 三次元空間情報表示システム、及び三次元空間情報表示方法 - Google Patents

Description

本発明は、三次元空間情報表示システム、及び三次元空間情報表示方法に関する。

非特許文献１、２には、センサとカメラとを組み合わせたシステムが開示される。このシステムはカメラとセンサの情報により端末装置の現在位置と向きを特定することができる。

Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：https://get.google.com/tango/＞ Googleの空間認識技術「Tango」を搭載する初のスマホ「Lenovo PHAB2 Pro」によるAR体験はこんな感じになる、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：http://gigazine.net/news/20160630-snapdragon-tango-ar/＞

ここで、装置の新設、撤去等の作業を行う作業者は、当該作業が行われる建物内部の空間を撮像し、撮像画像と当該作業の情報等を示すオブジェクトとが重畳し表示された画像を確認することにより、当該作業について簡便に確認することができる。
本発明は、上記問題に鑑みて為されたものであり、建物内部の作業に関する情報と、建物内部が撮像された画像とを作業者に平易に提示する技術を提供することを目的とする。

（１）本発明の一態様は、通信端末装置と、サーバ装置とを備える三次元空間情報表示システムであって、前記通信端末装置は、建物内部において行われる作業の位置を示す作業位置情報と、前記作業の内容を示す作業内容情報と、前記作業対象の装置である対象装置情報とのうち、少なくとも１つを空間指定情報として送信する端末送信部と、前記端末送信部が前記空間指定情報を送信することに応じて、建物内部の実空間の三次元空間情報と、前記三次元空間情報に対応付けられたオブジェクト情報とを受信する端末受信部と、前記実空間内を撮像し、画像を生成する撮像部と、前記オブジェクト情報の表示を制御する表示制御部と、を備え、前記端末送信部は、前記撮像部が生成する画像と前記三次元空間情報とに基づいて、前記撮像部が生成する画像に重畳して前記オブジェクト情報が表示されたことを示す情報と、自装置を識別する端末識別情報とを送信し、前記サーバ装置は、前記作業位置情報と、前記作業内容情報と、前記対象装置情報とのうち、少なくとも１つと、前記オブジェクト情報と、前記三次元空間情報とを対応付けて記憶する記憶部と、前記空間指定情報と、前記オブジェクト情報が表示されたことを示す情報と、前記端末識別情報とを受信するサーバ受信部と、前記空間指定情報と、前記オブジェクト情報が表示されたことを示す情報と、前記端末識別情報との少なくともいずれか一つを前記サーバ受信部が受信した時刻である受信時刻を、前記作業の開始時刻として検出する検出部と、前記サーバ受信部が受信する前記空間指定情報に基づいて、前記空間指定情報に対応付けられる前記三次元空間情報と、前記オブジェクト情報とを選択する選択部と、前記選択部が選択する前記三次元空間情報と、前記オブジェクト情報とを前記通信端末装置に送信するサーバ送信部と、を備える三次元空間情報表示システムである。

（２）本発明の一態様は、上記（１）に記載の三次元空間情報表示システムにおいて、前記通信端末装置は、自装置の位置を検出する位置検出部、を備え、前記端末送信部は、前記位置検出部が検出する位置情報を送信し、前記サーバ受信部は、前記位置情報を更に受信し、前記サーバ装置は、前記位置情報が示す位置の周辺に位置する前記建物の名称を示す建物名称情報、前記建物内の部屋の名称又は場所を示す部屋名称情報、及び前記建物内部に設置される装置の位置を示す装置位置情報のうち、少なくとも１つを前記作業位置情報の候補として選択する候補選択部、を備え、前記サーバ送信部は、前記候補選択部が選択した前記作業位置情報の候補を前記通信端末装置に送信する、請求項１に記載の三次元空間情報表示システム。

（３）本発明の一態様は、上記（１）又は（２）に記載の三次元空間情報表示システムにおいて、前記撮像部が生成する画像に基づいて当該画像に撮像される物体の特徴点を検出して、検出した特徴点を示す特徴点情報を生成する特徴点検出部と、前記特徴点検出部が生成する前記特徴点情報と、前記端末受信部が受信する前記三次元空間情報とに基づいて、前記特徴点情報が示す特徴点と、前記三次元空間情報が示す特徴点とを対応付けることにより、実空間における自装置の位置を特定する位置特定部と、をさらに備え、前記表示制御部は、前記位置特定部が特定する自装置の位置と、前記三次元空間情報とに基づいて、前記作業の位置、前記作業の内容、及び対象装置のうち、少なくともいずれかを前記オブジェクト情報として前記画像に重畳して表示する。

（４）本発明の一態様は、上記（３）に記載の三次元空間情報表示システムにおいて、前記通信端末装置は、前記作業の開始、及び前記作業の終了を検出し、前記作業の間に前記撮像部が生成する前記画像と、前記作業の前記作業内容情報とを対応付けて、前記記憶部に記憶する。

（５）本発明の一態様は、上記（４）に記載の三次元空間情報表示システムにおいて、前記通信端末装置は、前記表示制御部が前記オブジェクト情報を表示することに応じて、前記作業の開始を検出する。
（６）本発明の一態様の前記サーバ装置は、前記受信時刻と、前記記憶部に記憶されている前記作業内容情報とを対応付けて前記記憶部に記憶させ、前記検出部は、前記記憶部に記憶された前記受信時刻に基づいて、前記作業が前記受信時刻に開始されたことを検出する。

（７）本発明の一態様は、コンピュータが、建物内部において行われる作業の位置を示す作業位置情報と、前記作業の内容を示す作業内容情報と、作業対象の装置である対象装置情報とのうち、少なくとも１つを空間指定情報として指定する指定手順と、コンピュータが、前記指定手順において指定される前記空間指定情報に基づいて、前記作業位置情報と、前記作業内容情報と、前記対象装置情報とのうち、少なくとも１つと、建物内部の実空間の三次元空間情報と、オブジェクト情報とを対応付けて記憶する記憶部から前記空間指定情報に対応付けられる前記三次元空間情報と、前記オブジェクト情報とを選択する選択手順と、コンピュータが、前記指定手順において前記空間指定情報が指定されることに応じて、建物内部の実空間の三次元空間情報と、前記三次元空間情報に対応付けられたオブジェクト情報とを受信する受信手順と、コンピュータが、前記実空間内を撮像し、画像を生成する撮像手順と、コンピュータが、前記オブジェクト情報の表示を制御する表示制御手順と、コンピュータが、前記撮像手順において生成される画像と前記三次元空間情報とに基づいて、前記撮像手順において生成される画像に重畳して前記オブジェクト情報が表示されたことを示す情報と、自装置を識別する端末識別情報とを、前記作業が開始されたことを示す情報として送信する端末識別情報送信手順と、を備える三次元空間情報表示方法である。

本発明によれば、建物内部の作業に関する情報を作業者に平易に提示する技術することができる。

実施形態に係る重畳画像の一例を示す図である。 実施形態に係る通信端末装置の構成の一例を示す図である。 実施形態に係るサーバ装置の構成の一例を示す図である。 実施形態に係る作業内容情報、作業位置情報、及び対象装置情報と、三次元空間情報との対応の一例を示す表である。 実施形態に係る三次元空間情報と、オブジェクト情報との対応の一例を示す表である。 実施形態に係る通信端末装置と、サーバ装置との動作の一例を示す流れ図である。 実施形態に係る操作部の入力の一例を示す図である。 実施形態に係る通信端末装置の動作の一例を示す流れ図である。 変形例１に係る表示部の表示の一例を示す図である。

［実施形態］
以下、図を参照して本発明の実施形態について説明する。
建物内部等の実空間において、当該実空間に配置される物体（以下、物体ＯＢ）を撤去、又は交換したり、当該実空間に物体ＯＢを新設したりする作業が発生する場合がある。作業者は、建物内部等の実空間において行われる作業に関する情報を当該作業の前に把握することが好ましい。また、作業者は、当該作業に関する情報を平易に把握したい場合がある。

図１は、実施形態に係る重畳画像ＳＰＩの一例を示す図である。
重畳画像ＳＰＩとは、作業者が可搬する装置（以下、通信端末装置２０）によって実空間を撮像した画像（以下、画像ＩＭ）に、オブジェクト情報ＯＢＩが配置（重畳）された画像である。オブジェクト情報ＯＢＩとは、画像ＩＭに撮像される実空間に対応する情報であって、当該実空間において行われる作業に関する情報である。

図１に示す重畳画像ＳＰＩは、第３サーバ装置が設置される前の実空間を撮像した画像ＩＭに、オブジェクト情報ＯＢＩ１と、オブジェクト情報ＯＢＩ２とが配置された画像である。図示するオブジェクト情報ＯＢＩ１は、画像ＩＭに撮像される実空間において行われる作業の位置を明示する情報である。また、図示するオブジェクト情報ＯＢＩ２のオブジェクト画像ＯＢＧは、画像ＩＭに撮像される実空間において行われる作業の内容を示すメッセージ情報である。作業者は、重畳画像ＳＰＩを参照することにより、実空間において行われる作業を平易に把握することができる。

以下、重畳画像ＳＰＩを表示する三次元空間情報表示システムについて説明する。
三次元空間情報表示システムは、通信端末装置２０と、サーバ装置３０とによって構成される。以下、通信端末装置２０と、サーバ装置３０との具体的な構成について説明する。

＜通信端末装置について＞
図２は、実施形態に係る通信端末装置２０の構成の一例を示す図である。
通信端末装置２０とは、例えば、携帯電話、スマートフォン及びタブレット型のコンピュータ（タブレットＰＣ）等の携帯型のパーソナルコンピュータなどである。
通信端末装置２０は、測定装置１１０と、制御部２３０と、操作部ＣＴと、表示部ＤＰと、通信部２３２とを備える。
測定装置１１０と、制御部２３０と、操作部ＣＴと、表示部ＤＰと、通信部２３２とは、内部バスによって接続されており、情報の送受信が可能である。

測定装置１１０は、撮像部１０１と、測距部１０２と、特徴点検出部１０３と、相対位置検出部１０４と、位置特定部１０５をその機能部として備える。
撮像部１０１は、実空間内を撮像し、画像ＩＭを生成する。撮像部１０１は、例えば、常時、又は所定の時間間隔において実空間を撮影し、画像ＩＭを生成する。
測距部１０２は、通信端末装置２０から、実空間内に設置される物体や、実空間を構成する物体（以下、物体ＯＢ）までの距離を測定する。実空間を構成する物体とは、例えば、壁、天井、及び床等である。測距部１０２とは、例えば、ステレオカメラや赤外線センサである。

特徴点検出部１０３は、実空間を撮像部１０１が撮像して得られた画像ＩＭに基づき、当該画像ＩＭに撮像される物体ＯＢの特徴点を検出する。特徴点検出部１０３は、例えば、画像ＩＭに撮像される物体ＯＢの特徴点を点群として表した点群画像を生成する。
相対位置検出部１０４は、特徴点検出部１０３が検出した特徴点と、特徴点を撮像した際の通信端末装置２０の位置と、向きとを複数記憶し、通信端末装置２０の位置から特定可能な特徴点と、当該特徴点の相対位置とを示す情報（以下、周辺三次元空間情報ＡＳＰ）を生成する。本実施形態の一例では、実空間における相対位置が、ＸＹＺ直交座標系によって示される。

位置特定部１０５は、制御部２３０から供給される三次元空間情報ＳＰと、特徴点検出部１０３が生成する画像とに基づいて、実空間における通信端末装置２０の現在位置（以下、現在位置ＣＰ）とを特定する。
三次元空間情報ＳＰとは、実空間の特徴点と、当該特徴点の実空間における相対位置とが対応付けられた情報である。本実施形態の一例では、三次元空間情報ＳＰは、実空間の物体ＯＢの特徴点の点群を示す点群画像と、当該点群画像を撮像した撮像位置とが対応付けられた情報である。撮像位置は、実空間における相対位置によって示される。
具体的には、位置特定部１０５は、三次元空間情報ＳＰに含まれる点群画像のうち、特徴点検出部１０３が画像ＩＭに基づいて生成する特徴点の点群画像と一致する画像を判定（マッチング）する。位置特定部１０５は、判定した当該画像に対応付けられる撮像位置を、通信端末装置２０の現在位置ＣＰとして特定する。これにより、位置特定部１０５は、三次元空間情報ＳＰにおける通信端末装置２０の現在位置ＣＰを特定した後は、通信端末装置２０が移動しても、加速度センサ、ジャイロセンサ、及び地磁気センサの検出結果に基づいて、三次元空間情報ＳＰ上の座標、及び向きを特定可能である。
なお、位置特定部１０５は、撮像部１０１が撮像して得られた画像ＩＭに基づいて、エリアラーニングにより、モーショントラッキングでのずれの累積を補正してもよい。

操作部ＣＴとは、例えば、キーボードやマウス等である。作業者は、操作部ＣＴを用いて通信端末装置２０に各種情報を入力する。
表示部ＤＰとは、ディスプレイパネル等の表示装置である。表示部ＤＰは、制御部２３０の制御に基づいて、重畳画像ＳＰＩを表示する。作業者は、表示部ＤＰに表示される重畳画像ＳＰＩを参照する。ここでは、操作部ＣＴと、表示部ＤＰとが一体のタッチパネルによって構成される場合について説明する。
通信部２３２は、サーバ装置３０と各種情報の送受信を行う。
制御部２３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えており、アプリケーション実行部２３５をその機能部として備える。
アプリケーション実行部２３５は、サーバ装置３０から受信する情報に基づいて、重畳画像ＳＰＩを生成する。

＜サーバ装置について＞
以下、図３を参照してサーバ装置３０の構成について説明する。
図３は、実施形態に係るサーバ装置３０の構成の一例を示す図である。
図３に示す通り、サーバ装置３０は、制御部３００と、記憶部６００とを備える。
制御部３００はＣＰＵを備えており、受信部３１０と、選択部３２０と、送信部３３０とをその機能部として備える。
受信部３１０は、通信端末装置２０から送信される情報を受信する。
選択部３２０は、受信部３１０が受信する情報に基づいて、制御装置１０に送信する情報を選択する。
送信部３３０は、選択部３２０が選択する情報を通信端末装置２０に送信する。

記憶部６００には、三次元空間情報ＳＰと、オブジェクト情報ＯＢＩと、作業内容情報ＣＷ、作業位置情報ＰＷ、及び対象装置情報ＴＤＷとが対応付けられて記憶される。具体的には、記憶部６００には、作業内容情報ＣＷ、作業位置情報ＰＷ、及び対象装置情報ＴＤＷと、三次元空間情報ＳＰとが対応付けられて記憶され、三次元空間情報ＳＰと、オブジェクト情報ＯＢＩとが対応付けて記憶される。

以下、記憶部６００に記憶される作業内容情報ＣＷと、作業位置情報ＰＷと、対象装置情報ＴＤＷと、三次元空間情報ＳＰとの対応について説明する。
図４は、実施形態に係る作業内容情報ＣＷ、作業位置情報ＰＷ、及び対象装置情報ＴＤＷと、三次元空間情報ＳＰとの対応の一例を示す表である。
図４に示す通り、記憶部６００には、作業内容情報ＣＷと、作業位置情報ＰＷと、対象装置情報ＴＤＷと、三次元空間情報ＳＰとが対応付けられて記憶される。
作業内容情報ＣＷとは、作業者が行う作業の内容を示す情報である。
作業位置情報ＰＷは、作業が行われる位置を示す情報である。作業位置情報ＰＷは、例えば、作業が行われる建物の名称を示す情報（以下、建物名称情報）や、建物内の部屋の名称（例えば、１０１号室等）又は部屋の場所（例えば、１Ｆ南側）を示す情報（以下、部屋名称情報）や、作業が行われる建物内部に配置される装置の位置（例えば、１０１号室第１ラック上段等）を示す情報（以下、装置位置情報）である。
対象装置情報ＴＤＷとは、作業が行われる作業対象の装置を示す情報である。対象装置情報ＴＤＷは、例えば、作業対象の装置の名称を示す情報である。

本実施形態の一例では、記憶部６００には、作業内容情報ＣＷ１〜作業内容情報ＣＷ６の６つの作業内容情報ＣＷが記憶される。具体的には、作業内容情報ＣＷ１が示す作業内容は、「第３サーバ新設」である。また、作業内容情報ＣＷ２が示す作業内容は、「第１サーバ撤去」である。また、作業内容情報ＣＷ３が示す作業内容は、「第２サーバ交換」である。また、作業内容情報ＣＷ４が示す作業内容は、「第４サーバ新設」である。また、作業内容情報ＣＷ５が示す作業内容は、「第５サーバ撤去」である。また、作業内容情報ＣＷ６が示す作業内容は、「第６サーバ交換」である。

本実施形態の一例では、作業位置情報ＰＷが建物名称情報である場合について説明する。したがって、記憶部６００には、建物名称情報によって示される作業位置情報ＰＷ１、及び作業位置情報ＰＷ２の２つの作業位置情報ＰＷが記憶される。具体的には、作業位置情報ＰＷ１が示す作業位置は、「第１局舎」である。また、作業位置情報ＰＷ２が示す作業位置は、「第２局舎」である。

本実施形態の一例では、記憶部６００には、対象装置情報ＴＤＷ１〜対象装置情報ＴＤＷ６の６つの対象装置情報ＴＤＷが記憶される。具体的には、対象装置情報ＴＤＷ１が示す作業対象の装置は、「第１サーバ装置」である。また、対象装置情報ＴＤＷ２が示す作業対象の装置は、「第２サーバ装置」である。また、対象装置情報ＴＤＷ３が示す作業対象の装置は、「第３サーバ装置」である。また、対象装置情報ＴＤＷ４が示す作業対象の装置は、「第４サーバ装置」である。また、対象装置情報ＴＤＷ５が示す作業対象の装置は、「第５サーバ装置」である。また、対象装置情報ＴＤＷ６が示す作業対象の装置は、「第６サーバ装置」である。

また、本実施形態の一例では、第１局舎を示す情報（作業内容情報ＣＷ１〜作業内容情報ＣＷ３、作業位置情報ＰＷ１、又は対象装置情報ＴＤＷ１〜対象装置情報ＴＤＷ３）と、三次元空間情報ＳＰ１とが対応付けられ、記憶部６００に記憶される。また、第２局舎を示す情報（作業内容情報ＣＷ４〜作業内容情報ＣＷ６、作業位置情報ＰＷ２、又は対象装置情報ＴＤＷ４〜対象装置情報ＴＤＷ６）と、三次元空間情報ＳＰ２とが対応付けられ、記憶部６００に記憶される。換言すると、三次元空間情報ＳＰ１は、第１局舎内部の実空間の三次元空間情報ＳＰであって、三次元空間情報ＳＰ２は、第２局舎内部の実空間の三次元空間情報ＳＰである。

以下、記憶部６００に記憶される三次元空間情報ＳＰと、オブジェクト情報ＯＢＩとの対応について説明する。
図５は、実施形態に係る三次元空間情報ＳＰと、オブジェクト情報ＯＢＩとの対応の一例を示す表である。
ここで、オブジェクト情報ＯＢＩには、オブジェクト画像ＯＢＧと、オブジェクト位置ＯＢＰとが含まれる。オブジェクト画像ＯＢＧとは、画像ＩＭに配置する画像である。オブジェクト位置ＯＢＰとは、三次元空間情報ＳＰにおいて当該オブジェクト画像ＯＢＧが配置される位置である。

本実施形態の一例では、記憶部６００には、オブジェクト情報ＯＢＩ１〜オブジェクト情報ＯＢＩ６の６つのオブジェクト情報ＯＢＩが記憶される。
ここで、オブジェクト情報ＯＢＩ１には、オブジェクト画像ＯＢＧ１と、オブジェクト位置ＯＢＰ１とが含まれる。オブジェクト画像ＯＢＧ１は、ピン画像である。オブジェクト位置ＯＢＰ１は、三次元空間情報ＳＰ１が示す第１局舎内部の実空間のうち、（ｘ１，ｙ１，ｚ１）の位置を示す。
また、オブジェクト情報ＯＢＩ２には、オブジェクト画像ＯＢＧ２と、オブジェクト位置ＯＢＰ２とが含まれる。オブジェクト画像ＯＢＧ２は、メッセージ画像（図１に示す「第３サーバ装置新設予定位置」）である。オブジェクト位置ＯＢＰ２は、三次元空間情報ＳＰ１が示す第１局舎内部の実空間のうち、（ｘ１，ｙ１，ｚ２）の位置を示す。
また、オブジェクト情報ＯＢＩ３には、オブジェクト画像ＯＢＧ３と、オブジェクト位置ＯＢＰ３とが含まれる。オブジェクト画像ＯＢＧ３は、メッセージ画像である。オブジェクト位置ＯＢＰ３は、三次元空間情報ＳＰ１が示す第１局舎内の実空間のうち、（ｘ３，ｙ３，ｚ３）の位置を示す。

また、オブジェクト情報ＯＢＩ４には、オブジェクト画像ＯＢＧ１と、オブジェクト位置ＯＢＰ４とが含まれる。オブジェクト画像ＯＢＧ１は、ピン画像である。オブジェクト位置ＯＢＰ４は、三次元空間情報ＳＰ２が示す第２局舎内部の実空間のうち、（ｘ４，ｙ４，ｚ４）の位置を示す。
また、オブジェクト情報ＯＢＩ５には、オブジェクト画像ＯＢＧ４と、オブジェクト位置ＯＢＰ５とが含まれる。オブジェクト画像ＯＢＧ４は、メッセージ画像である。オブジェクト位置ＯＢＰ５は、三次元空間情報ＳＰ２が示す第２局舎内部の実空間のうち、（ｘ４，ｙ４，ｚ５）の位置を示す。
また、オブジェクト情報ＯＢＩ６には、オブジェクト画像ＯＢＧ５と、オブジェクト位置ＯＢＰ６とが含まれる。オブジェクト画像ＯＢＧ５は、メッセージ画像である。オブジェクト位置ＯＢＰ６は、三次元空間情報ＳＰ２が示す第２局舎内部の実空間のうち、（ｘ６，ｙ６，ｚ６）の位置を示す。

＜通信端末装置とサーバ装置の動作について＞
以下、図６を参照して、通信端末装置２０と、サーバ装置３０との動作の詳細について説明する。
図６は、実施形態に係る通信端末装置２０と、サーバ装置３０との動作の一例を示す流れ図である。具体的には、図６は、通信端末装置２０と、サーバ装置３０との情報の送受信に係る動作の一例を示す流れ図である。
通信端末装置２０は、作業者が作業対象の実空間を指定する情報（以下、空間指定情報ＤＳＰ）が操作部ＣＴにより入力される（ステップＳ３１０）。

以下、図７を参照して操作部ＣＴにより入力される操作について説明する。
図７は、実施形態に係る操作部ＣＴの入力の一例を示す図である。
通信端末装置２０には、例えば、空間指定情報ＤＳＰを選択する選択操作が操作部ＣＴにより入力される。ここで、作業者が作業を行う実空間は、例えば、作業内容情報ＣＷ、作業位置情報ＰＷ、及び対象装置情報ＴＤＷによって指定される。換言すると、作業内容情報ＣＷ、作業位置情報ＰＷ、及び対象装置情報ＴＤＷは、空間指定情報ＤＳＰの選択肢の一例である。
通信端末装置２０は、例えば、空間指定情報ＤＳＰをサーバ装置３０に送信する際、サーバ装置３０にアクセスする。その際、表示部ＤＰには、空間指定情報ＤＳＰの選択を促すが表示される（図示する「作業位置情報を選択してください」等）。また、表示部ＤＰには、サーバ装置３０に記憶される情報に基づいて、空間指定情報ＤＳＰの選択肢が表示される。表示部ＤＰには、例えば、空間指定情報ＤＳＰの選択肢として、作業位置情報ＰＷ（作業位置情報ＰＷ１（図示する第１局舎）、及び作業位置情報ＰＷ２（図示する第２局舎））が表示される。通信端末装置２０には、重畳画像ＳＰＩの参照対象の実空間を指定する操作、つまり空間指定情報ＤＳＰ選択する選択操作が操作部ＣＴにより入力される。作業者は、表示部ＤＰに表示される作業位置情報ＰＷ１、及び作業位置情報ＰＷ２のうち、重畳画像ＳＰＩの参照対象の作業位置情報ＰＷを選択する選択操作を操作部ＣＴに入力する。以下、作業者が、作業位置情報ＰＷ１を選択する場合について説明する。

なお、記憶部６００には、作業内容情報ＣＷ、作業位置情報ＰＷ、及び対象装置情報ＴＤＷが対応付けられて記憶される場合について説明したが、これに限られない。記憶部６００には、作業内容情報ＣＷ、作業位置情報ＰＷ、及び対象装置情報ＴＤＷのうち、少なくとも１つが記憶されていればよい。この場合、通信端末装置２０がサーバ装置３０にアクセスした際、表示部ＤＰには、記憶部６００に記憶される情報に基づく空間指定情報ＤＳＰの選択肢が表示される。

また、上述では、空間指定情報ＤＳＰの選択肢として作業位置情報ＰＷが表示部ＤＰに表示される場合について説明したが、これに限られない。表示部ＤＰには、例えば、空間指定情報ＤＳＰの選択肢として作業内容情報ＣＷが表示されてもよく、対象装置情報ＴＤＷが表示されてもよい。また、表示部ＤＰには、作業内容情報ＣＷ、作業位置情報ＰＷ、及び対象装置情報ＴＤＷのすべてが空間指定情報ＤＳＰの選択肢として表示されてもよい。この場合、サーバ装置３０は、空間指定情報ＤＳＰとして選択された作業位置情報ＰＷ、作業内容情報ＣＷ、及び対象装置情報ＴＤＷに対応付けられる三次元空間情報ＳＰと、オブジェクト情報ＯＢＩとを通信端末装置２０に送信する。

また、上述では、記憶部６００には、作業内容情報ＣＷ、作業位置情報ＰＷ、及び対象装置情報ＴＤＷが対応付けられて記憶される場合について説明したが、これに限られない。記憶部６００には、作業内容情報ＣＷ、作業位置情報ＰＷ、対象装置情報ＴＤＷ、及び端末ＩＤが対応付けられて記憶されていてもよい。端末ＩＤとは、通信端末装置２０を識別する識別情報である。この場合、通信端末装置２０がサーバ装置３０にアクセスした際、サーバ装置３０に対して当該通信端末装置２０の端末ＩＤを送信する。また、表示部ＤＰには、記憶部６００に記憶される空間指定情報ＤＳＰの選択肢のうち、受信した端末ＩＤに対応付けられた空間指定情報ＤＳＰの選択肢が表示される。

図６に戻り、通信部２３２は、操作部ＣＴにより入力された空間指定情報ＤＳＰをサーバ装置３０に送信する（ステップＳ３２０）。
サーバ装置３０が備える受信部３１０は、通信端末装置２０から空間指定情報ＤＳＰを受信する（ステップＳ３３０）。選択部３２０は、受信した空間指定情報ＤＳＰに基づいて、三次元空間情報ＳＰ、及びオブジェクト情報ＯＢＩを選択する（ステップＳ３４０）。

具体的には、選択部３２０は、空間指定情報ＤＳＰを検索キーとして記憶部６００を検索し、当該空間指定情報ＤＳＰに対応付けられている三次元空間情報ＳＰ、及びオブジェクト情報ＯＢＩを選択する。
図４に示す通り、作業位置情報ＰＷ１には、三次元空間情報ＳＰ１が対応付けられている。このため、選択部３２０は、記憶部６００に記憶される三次元空間情報ＳＰのうち、三次元空間情報ＳＰ１を選択する。また、図５に示す通り、三次元空間情報ＳＰ１には、オブジェクト情報ＯＢＩ１〜オブジェクト情報ＯＢＩ３が対応付けられている。このため、選択部３２０は、記憶部６００に記憶されるオブジェクト情報ＯＢＩのうち、オブジェクト情報ＯＢＩ１〜オブジェクト情報ＯＢＩ３を選択する。

図６に戻り、送信部３３０は、選択した三次元空間情報ＳＰ、及びオブジェクト情報ＯＢＩを通信端末装置２０に送信する（ステップＳ３５０）。
通信端末装置２０が備える通信部２３２は、サーバ装置３０から三次元空間情報ＳＰ、及びオブジェクト情報ＯＢＩを受信する（ステップＳ３６０）。

＜通信端末装置の動作について＞
以下、図８を参照してサーバ装置３０の動作の詳細について説明する。
図８は、実施形態に係る通信端末装置２０の動作の一例を示す流れ図である。
撮像部１０１は、実空間を撮像し、画像ＩＭを生成する（ステップＳ４００）。位置特定部１０５は、通信部２３２が受信した三次元空間情報ＳＰと、画像ＩＭとに基づいて、現在位置ＣＰを特定する（ステップＳ４１０）。

アプリケーション実行部２３５は、位置特定部１０５によって特定された現在位置ＣＰに基づいて、オブジェクト情報ＯＢＩを画像ＩＭに配置する（ステップＳ４２０）。具体的には、アプリケーション実行部２３５は、通信部２３２が受信したオブジェクト情報ＯＢＩ（この一例では、オブジェクト情報ＯＢＩ１〜オブジェクト情報ＯＢＩ３）のうち、現在位置ＣＰから視認可能なオブジェクト情報ＯＢＩを画像ＩＭに配置する。アプリケーション実行部２３５は、例えば、測距部１０２によって、現在位置ＣＰから実空間の物体ＯＢまでの距離を測定する。アプリケーション実行部２３５は、現在位置ＣＰの座標からオブジェクト位置ＯＢＰが示す座標までの距離が測定した当該距離以内のオブジェクト情報ＯＢＩを、現在位置ＣＰから視認可能なオブジェクト情報ＯＢＩとして画像ＩＭに配置する。

アプリケーション実行部２３５は、画像ＩＭにオブジェクト位置ＯＢＰを重畳して配置した重畳画像ＳＰＩを生成する（ステップＳ４２５）。アプリケーション実行部２３５は、表示部ＤＰに重畳画像ＳＰＩを表示させる（ステップＳ４３０）。図１に示す一例では、受信したオブジェクト情報ＯＢＩのうち、オブジェクト情報ＯＢＩ１、及びオブジェクト情報ＯＢＩ２が現在位置ＣＰから視認可能なオブジェクト情報ＯＢＩであって、オブジェクト情報ＯＢＩ３は、現在位置ＣＰから視認不可能なオブジェクト情報ＯＢＩである。したがって、重畳画像ＳＰＩには、オブジェクト情報ＯＢＩ１、及びオブジェクト情報ＯＢＩ２が重畳して配置され、オブジェクト情報ＯＢＩ３が配置されない。
アプリケーション実行部２３５は、常時、又は所定の時間間隔においてステップＳ４００からステップＳ４３０の処理を繰り返す。これにより、アプリケーション実行部２３５は、通信端末装置２０の位置や向きの変化に伴う撮像部１０１が撮像する範囲の変化に応じた重畳画像ＳＰＩを生成し、表示させる。

＜実施形態のまとめ＞
以上説明したように、本実施形態の通信端末装置２０は、重畳画像ＳＰＩの参照対象の実空間を指定する空間指定情報ＤＳＰを取得する。本実施形態のサーバ装置３０は、通信端末装置２０から受信した空間指定情報ＤＳＰに基づいて、当該空間指定情報ＤＳＰによって指定される実空間の三次元空間情報ＳＰと、オブジェクト情報ＯＢＩとを選択し、通信端末装置２０に送信する。
ここで、サーバ装置３０の記憶部６００に記憶される三次元空間情報ＳＰ、及びオブジェクト情報ＯＢＩのデータ量が多い場合、通信端末装置２０は、三次元空間情報ＳＰ、及びオブジェクト情報ＯＢＩを記憶することが困難である。
本実施形態の通信端末装置２０、及びサーバ装置３０によれば、通信端末装置２０の操作者（この一例では、作業者）の所望する三次元空間情報ＳＰ、及びオブジェクト情報ＯＢＩを供給することができる。

本実施形態の通信端末装置２０は、受信した三次元空間情報ＳＰと、オブジェクト情報ＯＢＩとに基づいて、測定装置１１０が撮像する画像ＩＭにオブジェクト情報ＯＢＩを重畳して表示する。
したがって、本実施形態の通信端末装置２０、及びサーバ装置３０によれば、作業者は、表示部ＤＰに表示される重畳画像ＳＰＩを参照することにより、建物内部の作業に関する情報を平易に把握することができる。

また、本実施形態の通信端末装置２０は、画像ＩＭと、当該画像ＩＭに撮像される実空間の三次元空間情報ＳＰとに基づいて、重畳画像ＳＰＩを表示する。このため、通信端末装置２０（作業者）が移動したり、通信端末装置２０の位置から実空間を撮像する方向が変わったりする場合であっても、通信端末装置２０が撮像する画像ＩＭに応じたオブジェクト情報ＯＢＩを配置（重畳）し、表示することができる。

また、本実施形態の通信端末装置２０は、作業内容情報ＣＷ、作業位置情報ＰＷ（建物名称情報、部屋名情報、及び装置位置情報）、及び対象装置情報ＴＤＷ等によって空間指定情報ＤＳＰを指定し、空間指定情報ＤＳＰに応じた三次元空間情報ＳＰ、及びオブジェクト情報ＯＢＩを受信する。
ここで、実空間において行われる作業が複数存在し、作業者がすべてを把握することが困難である場合がある。この場合、作業者は、当該作業者が把握している情報に基づいて、空間指定情報ＤＳＰを選択可能であることが好ましい。
本実施形態の通信端末装置２０によれば、作業者は、多様な表現（作業内容情報ＣＷ、作業位置情報ＰＷ、及び対象装置情報ＴＤＷ等）によって空間指定情報ＤＳＰが示されることにより、簡便に空間指定情報ＤＳＰに選択することができる。

また、上述では、作業内容情報ＣＷと、作業位置情報ＰＷと、対象装置情報ＴＤＷとが、同一の三次元空間情報ＳＰに対応付けられ、通信端末装置２０は、同一の三次元空間情報ＳＰが対応付けられているすべてのオブジェクト情報ＯＢＩを重畳画像ＳＰＩに表示する場合について説明したが、これに限られない。通信端末装置２０は、例えば、作業者が、空間指定情報ＤＳＰとして対象装置情報ＴＤＷを選択した場合、当該対象装置情報ＴＤＷを示すオブジェクト情報ＯＢＩのみを重畳画像ＳＰＩとして表示する構成であってもよい。
この場合、記憶部６００には、対象装置情報ＴＤＷと、三次元空間情報ＳＰと、オブジェクト情報ＯＢＩとが対応付けて記憶される。

サーバ装置３０は、空間指定情報ＤＳＰとして受信した対象装置情報ＴＤＷと、当該対象装置情報ＴＤＷに対応付けられた三次元空間情報ＳＰと、オブジェクト情報ＯＢＩとを通信端末装置２０に送信する。通信端末装置２０は、受信した三次元空間情報ＳＰと、オブジェクト情報ＯＢＩとに基づいて、重畳画像ＳＰＩを生成することにより、空間指定情報ＤＳＰとして選択した対象装置情報ＴＤＷが示す装置に関する情報のみを重畳画像ＳＰＩに表示する。
本実施形態の通信端末装置２０、及びサーバ装置３０によれば、作業者は、表示部ＤＰに表示される重畳画像ＳＰＩを参照することにより、作業対象の装置に関する情報を平易に把握することができる。

また、通信端末装置２０は、例えば、作業者が、空間指定情報ＤＳＰとして作業内容情報ＣＷを選択した場合、当該作業内容情報ＣＷを示すオブジェクト情報ＯＢＩのみを重畳画像ＳＰＩとして表示する構成であってもよい。
この場合、記憶部６００には、作業内容情報ＣＷと、三次元空間情報ＳＰと、オブジェクト情報ＯＢＩとが対応付けて記憶される。

サーバ装置３０は、空間指定情報ＤＳＰとして受信した作業内容情報ＣＷと、当該作業内容情報ＣＷに対応付けられた三次元空間情報ＳＰと、オブジェクト情報ＯＢＩとを通信端末装置２０に送信する。通信端末装置２０は、受信した三次元空間情報ＳＰと、オブジェクト情報ＯＢＩとに基づいて、重畳画像ＳＰＩを生成することにより、空間指定情報ＤＳＰとして選択した作業内容情報ＣＷが示す装置に関する情報のみを重畳画像ＳＰＩに表示する。
本実施形態の通信端末装置２０、及びサーバ装置３０によれば、作業者は、表示部ＤＰに表示される重畳画像ＳＰＩを参照することにより、作業対象の作業内容に関する情報を平易に把握することができる。

なお、アプリケーション実行部２３５は、現在位置ＣＰ、及びオブジェクト位置ＯＢＰに基づいて、オブジェクト画像ＯＢＧの大きさを変換する構成を有していてもよい。アプリケーション実行部２３５は、例えば、測距部１０２が測定した現在位置ＣＰからオブジェクト位置ＯＢＰまでの距離と、オブジェクト画像ＯＢＧの寸法を示す情報とに基づいて、当該距離に応じた大きさのオブジェクト画像ＯＢＧを画像ＩＭに重畳し、配置する。これにより、重畳画像ＳＰＩを参照する作業者は、より平易にオブジェクト情報ＯＢＩを把握することができる。

また、上述では、オブジェクト画像ＯＢＧがピン画像やメッセージ画像である場合について説明したが、これに限られない。オブジェクト画像ＯＢＧは、例えば、対象装置情報ＴＤＷが示す作業対象の装置の形状を示す画像であってもよい。ここで、ある実空間において行われる作業が、対象装置情報ＴＤＷが示す作業対象の装置を新設する作業である場合がある。この場合、重畳画像ＳＰＩには、当該作業対象の装置が画像ＩＭに重畳して配置される。したがって、作業者は、重畳画像ＳＰＩを参照することにより、当該作業対象の装置が配置された後の実空間の様子を把握することができる。

＜変形例１：現在地に基づく空間指定情報の選択肢の提示について＞
なお、上述では、表示部ＤＰには、空間指定情報ＤＳＰの選択肢が表示される場合について説明した。ここで、空間指定情報ＤＳＰの選択肢が多数である場合（例えば、予定されている作業が多数である場合）、空間指定情報ＤＳＰを選択する選択操作が、作業者にとって手間である場合がある。
ここで、通信端末装置２０は、当該通信端末装置２０（作業者）が存在する現在位置を絶対座標によって検出する位置検出部を備え、サーバ装置３０は、当該現在位置に基づいて、空間指定情報ＤＳＰの候補を選択する候補選択部を備える構成であってもよい。
以下、位置検出部、及び候補選択部の詳細について説明する。

通信部２３２は、位置検出部が検出する通信端末装置２０の現在位置を示す情報（以下、現在位置情報ＡＣＰ）をサーバ装置３０に送信する。
候補選択部は、通信端末装置２０から受信した現在位置情報ＡＣＰに基づいて、記憶部６００に記憶される作業位置情報ＰＷのうち、当該現在位置情報ＡＣＰの位置の近傍に存在する作業位置情報ＰＷ、又は作業位置情報ＰＷと対応付けられている作業内容情報ＣＷや対象装置情報ＴＤＷを通信端末装置２０に送信する。
通信端末装置２０は、受信した作業位置情報ＰＷ、又は作業位置情報ＰＷと対応付けられている作業内容情報ＣＷや対象装置情報ＴＤＷを空間指定情報ＤＳＰの選択肢として表示部ＤＰに表示する。

図９は、変形例１に係る表示部ＤＰの表示の一例を示す図である。図９に示す通り、表示部ＤＰには、通信端末装置２０の現在位置情報ＡＣＰを示す情報と、現在位置情報ＡＣＰの近傍に存在する空間指定情報ＤＳＰの選択肢を示す情報（この一例では、作業位置情報ＰＷ１、及び作業位置情報ＰＷ２）が表示される。
作業者は、表示部ＤＰに表示される情報であって、空間指定情報ＤＳＰの選択肢を示す情報のうち、重畳画像ＳＰＩの参照対象の実空間の作業位置情報ＰＷを選択する選択操作を操作部ＣＴにより入力する。以降の処理は上述した実施形態と同様であるため、説明を省略する。

上述した構成により、通信端末装置２０の表示部ＤＰには、複数の空間指定情報ＤＳＰの選択肢のうち、通信端末装置２０（作業者）の位置（現在位置情報ＡＣＰが示す位置）の近傍に存在する空間指定情報ＤＳＰの候補（この一例では、作業位置情報ＰＷ１、及び作業位置情報ＰＷ２）のみが表示される。
したがって、作業者が空間指定情報ＤＳＰを選択する手間を低減することができる。

＜変形例２：作業者ＩＤに基づく空間指定情報の選択肢の提示について＞
また、記憶部６００には、作業内容情報ＣＷ、作業位置情報ＰＷ、及び対象装置情報ＴＤＷに対して、作業者を識別する情報（以下、作業者ＩＤ）が更に対応付けられて、記憶されていてもよい。この場合、通信端末装置２０には、当該通信端末装置２０を操作する作業者の作業者ＩＤが操作部ＣＴにより入力され、通信部２３２は、入力された作業者ＩＤをサーバ装置３０に送信する。
候補選択部は、受信した作業者ＩＤを検索キーとして記憶部６００を検索し、当該作業者ＩＤが対応付けられている作業内容情報ＣＷ、作業位置情報ＰＷ、又は対象装置情報ＴＤＷを空間指定情報ＤＳＰの候補として選択する。通信端末装置２０の表示部ＤＰには、作業者ＩＤに基づいて選択された空間指定情報ＤＳＰの選択肢が表示される。
作業者は、表示部ＤＰに表示される情報であって、空間指定情報ＤＳＰの選択肢を示す情報に基づいて、空間指定情報ＤＳＰを選択する選択操作を操作部ＣＴにより入力する。

上述した構成により、通信端末装置２０の表示部ＤＰには、複数の空間指定情報ＤＳＰの選択肢のうち、当該通信端末装置２０を操作する作業者の作業者ＩＤが対応付けられている空間指定情報ＤＳＰの候補のみが表示される。
したがって、作業者が空間指定情報ＤＳＰを選択する手間を低減することができる。

＜変形例３：作業時刻に基づく三次元空間情報の送信について＞
また、記憶部６００には、作業内容情報ＣＷ、作業位置情報ＰＷ、及び対象装置情報ＴＤＷに対して、作業の開始予定時刻を示す作業予定時刻情報が更に対応付けられて、記憶されていてもよい。サーバ装置３０は、例えば、作業予定時刻情報が示す作業の開始予定時刻、又は作業の開始予定時刻より以前に当該作業予定時刻が対応付けられた作業内容情報ＣＷや作業位置情報ＰＷを通信端末装置２０にプッシュ配信する機能を有する。
これにより、作業者は、プッシュ配信によって通知された時刻において行われる作業の詳細を把握することができる。

なお、サーバ装置３０は、作業内容情報ＣＷや作業位置情報ＰＷを通信端末装置２０にプッシュ配信しつつ、作業予定時刻情報に対応付けられた三次元空間情報ＳＰを通信端末装置２０に送信する構成であってもよい。これにより、作業者が、三次元空間情報ＳＰをサーバ装置３０から取得（ダウンロード）する手間を低減することができる。
また、通信端末装置２０は、現在位置情報ＡＣＰを常時、又は所定の時間間隔においてサーバ装置３０に送信する構成であってもよい。この場合、サーバ装置３０は、作業予定時刻情報が示す時刻に行われる作業であって、現在位置情報ＡＣＰの近傍である作業位置（作業位置情報ＰＷ）と対応付けられている三次元空間情報ＳＰを通信端末装置２０に送信する構成を有していてもよい。
これにより、作業者は、より簡便に三次元空間情報ＳＰをサーバ装置３０から取得（ダウンロード）することができる。

＜変形例４：三次元空間情報の送信に伴うオブジェクト情報の取得＞
なお、上述では、通信端末装置２０が空間指定情報ＤＳＰを送信することに応じて、サーバ装置３０が三次元空間情報ＳＰ、及びオブジェクト情報ＯＢＩを送信する場合について説明したが、これに限られない。
通信端末装置２０は、例えば、常時、又は所定の時間間隔において周辺三次元空間情報ＡＳＰを生成し、生成した周辺三次元空間情報ＡＳＰに基づいて、三次元空間情報ＳＰを生成する三次元空間情報取得部を備えていてもよい。ここで、通信端末装置２０の操作者（この一例では、作業者）は、重畳画像ＳＰＩを参照したい実空間において、画像ＩＭを撮像しつつ、当該実空間を把握可能に移動する（例えば、実空間内を一周する）。三次元空間情報取得部は、当該移動に伴って生成された周辺三次元空間情報ＡＳＰに基づいて、三次元空間情報ＳＰを生成する。通信端末装置２０は、サーバ装置３０に三次元空間情報ＳＰを送信する。

サーバ装置３０の選択部３２０は、記憶部６００に記憶される三次元空間情報ＳＰのうち、受信した三次元空間情報ＳＰと類似する三次元空間情報ＳＰを検索する。サーバ装置３０は、受信した三次元空間情報ＳＰと類似する三次元空間情報ＳＰに対応付けられているオブジェクト情報ＯＢＩを選択する。送信部３３０は、選択部３２０が選択したオブジェクト情報ＯＢＩを通信端末装置２０に送信する。
アプリケーション実行部２３５は、三次元空間情報取得部が生成した三次元空間情報ＳＰと、受信したオブジェクト情報ＯＢＩとに基づいて、重畳画像ＳＰＩを生成し、表示部ＤＰに表示させる。

上述した構成によれば、作業者が重畳画像ＳＰＩの参照対象の実空間において行われる作業に関する情報を把握していない場合であっても、通信端末装置２０によって画像ＩＭを撮像しつつ、当該実空間を把握可能に移動した後に、重畳画像ＳＰＩを参照することができる。したがって、作業者は、空間指定情報ＤＳＰの選択肢を入力することなく、簡便に実空間の作業に関する情報を把握することができる。

＜変形例５：実空間内における作業の記録について＞
また、サーバ装置３０は、当該作業の開始時刻、及び終了時刻を検出する機能を有していてもよい。以下、サーバ装置３０が有する作業の開始時刻、及び終了時刻を検出する機能について説明する。

通信端末装置２０は、例えば、作業者（通信端末装置２０）が空間指定情報ＤＳＰによって指定された場所に到着し、重畳画像ＳＰＩを表示部ＤＰに表示したこと、つまり、作業を開始したことに応じて、作業開始を示す情報（この一例では、重畳画像ＳＰＩ、又は重畳画像ＳＰＩを表示したことを示す情報、及び端末ＩＤ）をサーバ装置３０に送信する。サーバ装置３０は、受信した作業開始を示す情報に基づいて、作業内容情報ＣＷが示す作業のうち、開始された作業がどの作業であるかを特定する。

この一例では、記憶部６００には、作業内容情報ＣＷと、作業内容情報ＣＷが示す作業を行う作業者（通信端末装置２０）の端末ＩＤとが対応付けられて記憶される。
サーバ装置３０は、受信した端末ＩＤに基づいて作業内容情報ＣＷを特定し、作業開始を示す情報を受信した時刻を作業の開始時刻として検出する。なお、サーバ装置３０は、検出した作業の開始時刻を作業内容情報ＣＷに対応付けて記憶部６００に記憶する機能を有していてもよい。

通信端末装置２０は、操作者（作業者）の誤操作等によって作業の開始時刻ではない時刻に端末ＩＤのみをサーバ装置３０に送信する場合がある。この場合、通信端末装置２０は、端末ＩＤと併せて重畳画像ＳＰＩ、又は重畳画像ＳＰＩを表示したことを示す情報を送信しない。これは、通信端末装置２０が重畳画像ＳＰＩを表示部ＤＰに表示するためには、作業が行われる場所において実空間を撮像することが求められるためである。上述したように、サーバ装置３０は、通信端末装置２０から作業開始を示す情報として端末ＩＤと、重畳画像ＳＰＩ、又は重畳画像ＳＰＩを表示したことを示す情報との２つを受信したことに応じて、作業の開始時刻を検出する。したがって、サーバ装置３０は、操作者の誤操作によって端末ＩＤのみが送信された場合には、作業の開始時刻を検出しない。これにより、サーバ装置３０は、精度高く作業の開始時刻を検出することができる。

なお、サーバ装置３０は、作業開始を示す情報を受信した時刻を作業の開始時刻として検出する構成に代えて、通信端末装置２０において重畳画像ＳＰＩが表示された時刻を作業の開始時刻として検出する構成であってもよい。この場合、通信端末装置２０は、表示部ＤＰに重畳画像ＳＰＩが表示された時刻を示す時刻情報をサーバ装置３０に送信してもよい。サーバ装置３０は、作業開始を示す情報と、時刻情報とを受信し、当該時刻情報が示す時刻を作業の開始時刻として検出する。

また、通信端末装置２０は、作業開始を示す情報として作業内容情報ＣＷを示す情報を送信する構成であってもよい。この場合、サーバ装置３０は、作業内容情報ＣＷを受信することに応じて、受信した作業内容情報ＣＷが示す作業が開始されたことを検出する。
また、サーバ装置３０は、重畳画像ＳＰＩに基づいて、作業内容情報ＣＷを特定する構成であってもよい。この場合、通信端末装置２０は、作業を開始したことに応じて、重畳画像ＳＰＩを送信する。サーバ装置３０は、受信した重畳画像ＳＰＩに基づいて、記憶部６００に記憶される三次元空間情報ＳＰのうち、当該重畳画像ＳＰＩに撮像される実空間と合致する三次元空間情報ＳＰを特定する。サーバ装置３０は、重畳画像ＳＰＩを受信することに応じて、特定した三次元空間情報ＳＰに対応付けられている作業内容情報ＣＷの作業が開始されたことを検出する。

また、サーバ装置３０は、作業内容情報ＣＷと、作業内容情報ＣＷが示す作業の開始予定時刻とを対応付けて記憶部６００に予め記憶しておき、開始予定時刻から所定時間経過しても当該作業の開始が検出されなければ、作業内容情報ＣＷに対応付けられた端末ＩＤの通信端末装置２０に対して、作業が開始されていないことや、作業に関する情報を通知する機能を有していてもよい。
また、サーバ装置３０は、作業開始を検出した際、作業開始を示す情報を、端末ＩＤを送信した作業者（通信端末装置２０）以外の通信端末装置２０に送信してもよい。これにより、作業開始を作業者以外の管理者や監督者も作業の開始を把握することができる。なお、通信端末装置２０は、作業の開始を検出した際に撮像部１０１が実空間を撮像した画像ＩＭ（作業開始画像）を、端末ＩＤと合わせてサーバ装置３０に送信する構成であってもよい。

サーバ装置３０が有する作業の終了を検出する機能も、前述の作業開始を検出する機能と基本的には同じである。通信端末装置２０の操作部ＣＴに作業の終了を示す操作が入力されると、通信端末装置２０は、作業終了を示す情報（この一例では、端末ＩＤ）をサーバ装置３０に送信する。サーバ装置３０は、受信した端末ＩＤに基づいて作業内容情報ＣＷを特定し、特定した作業内容情報ＣＷが示す作業の開始時刻が検出後である場合、作業終了を示す情報を受信した時刻を作業の終了時刻として検出する。

また、通信端末装置２０は、作業終了を示す情報として作業内容情報ＣＷを示す情報を送信する構成であってもよい。この場合、サーバ装置３０は、作業内容情報ＣＷを受信することに応じて、受信した作業内容情報ＣＷが示す作業が終了されたことを検出する。

なお、通信端末装置２０は、撮像部１０１が実空間を撮像しながら操作部ＣＴに作業の終了を示す操作が入力されると、時刻情報と、撮影された画像ＩＭ（作業終了画像）と、作業終了を示す情報とをサーバ装置３０に送信する構成であってもよい。
これにより、サーバ装置３０は、作業の開始や終了の進捗状況だけでなく、作業終了の状態を表す画像を対応付けて記憶部６００に記憶しておくができる。
これらによって、サーバ装置３０に記憶された情報を参照可能な参照者は、作業開始画像、及び作業終了画像を参照することにより、作業に伴う実空間の変化、及び当該作業の詳細について把握することができる。

なお、通信端末装置２０は、作業開始から作業終了まで、常時、又は所定の時間間隔において画像ＩＭを撮像し、サーバ装置３０に送信する構成であってもよい。
サーバ装置３０は、通信端末装置２０の作業開始を判定してから、当該作業に対応付けられた作業時間内に作業が終了したか否かを判定する。具体的には、サーバ装置３０は、通信端末装置２０から作業開始時に送信される端末ＩＤを受信してから当該作業に対応付けられた作業時間が経過するまでの間に、作業終了時に送信される端末ＩＤを受信したか否かを判定する。サーバ装置３０は、作業時間内に作業が終了しなかった場合、当該作業に対応付けられた端末ＩＤを有する通信端末装置２０に、作業が終了していないこと（又は、作業終了時間を徒過していること）を通知する。

なお、上記の各実施形態における通信端末装置２０、及びサーバ装置３０が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。

なお、通信端末装置２０、及びサーバ装置３０が備える各部は、メモリおよびＣＰＵ（中央演算装置）により構成され、通信端末装置２０、及びサーバ装置３０が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

また、通信端末装置２０、及びサーバ装置３０が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。

２０…通信端末装置、３０…サーバ装置、１０１…撮像部、１０３…特徴点検出部、１０４…相対位置検出部、１０５…位置特定部、１１０…測定装置、２３０…制御部、３００…制御部、２３２…通信部、２３５…アプリケーション実行部、３１０…受信部、３２０…選択部、３３０…送信部、６００…記憶部、ＡＣＰ…現在位置情報、ＡＳＰ…周辺三次元空間情報、ＣＰ…現在位置、ＣＴ…操作部、ＣＷ、ＣＷ１、ＣＷ２、ＣＷ３、ＣＷ４、ＣＷ５、ＣＷ６…作業内容情報、ＤＰ…表示部、ＤＳＰ…空間指定情報、ＤＴ…距離、ＩＤ…作業者、ＩＭ…画像、ＯＢＧ、ＯＢＧ１、ＯＢＧ２、ＯＢＧ３、ＯＢＧ５、ＯＢＧ６…オブジェクト画像、ＯＢＩ、ＯＢＩ１、ＯＢＩ２、ＯＢＩ３、ＯＢＩ４、ＯＢＩ５、ＯＢＩ６…オブジェクト情報、ＯＢＰ、ＯＢＰ１、ＯＢＰ２、ＯＢＰ３、ＯＢＰ４、ＯＢＰ５、ＯＢＰ６…オブジェクト位置、ＰＣ…タブレット、ＰＷ、ＰＷ１、ＰＷ２…作業位置情報、ＳＰ、ＳＰ１、ＳＰ２…三次元空間情報、ＳＰＩ…重畳画像、ＴＤＷ、ＴＤＷ１、ＴＤＷ２、ＴＤＷ３、ＴＤＷ４、ＴＤＷ５、ＴＤＷ６…対象装置情報

Claims (7)

1. 通信端末装置と、サーバ装置とを備える三次元空間情報表示システムであって、
   前記通信端末装置は、
   建物内部において行われる作業の位置を示す作業位置情報と、前記作業の内容を示す作業内容情報と、前記作業対象の装置である対象装置情報とのうち、少なくとも１つを空間指定情報として送信する端末送信部と、
   前記端末送信部が前記空間指定情報を送信することに応じて、建物内部の実空間の三次元空間情報と、前記三次元空間情報に対応付けられたオブジェクト情報とを受信する端末受信部と、
   前記実空間内を撮像し、画像を生成する撮像部と、
   前記オブジェクト情報の表示を制御する表示制御部と、
   を備え、
   前記端末送信部は、前記撮像部が生成する画像と前記三次元空間情報とに基づいて、前記撮像部が生成する画像に重畳して前記オブジェクト情報が表示されたことを示す情報と、自装置を識別する端末識別情報とを送信し、
   前記サーバ装置は、
   前記作業位置情報と、前記作業内容情報と、前記対象装置情報とのうち、少なくとも１つと、前記オブジェクト情報と、前記三次元空間情報とを対応付けて記憶する記憶部と、
   前記空間指定情報と、前記オブジェクト情報が表示されたことを示す情報と、前記端末識別情報とを受信するサーバ受信部と、
   前記空間指定情報と、前記オブジェクト情報が表示されたことを示す情報と、前記端末識別情報との少なくともいずれか一つを前記サーバ受信部が受信した時刻である受信時刻を、前記作業の開始時刻として検出する検出部と、
   前記サーバ受信部が受信する前記空間指定情報に基づいて、前記空間指定情報に対応付けられる前記三次元空間情報と、前記オブジェクト情報とを選択する選択部と、
   前記選択部が選択する前記三次元空間情報と、前記オブジェクト情報とを前記通信端末装置に送信するサーバ送信部と、
   を備える三次元空間情報表示システム。
2. 前記通信端末装置は、
   自装置の位置を検出する位置検出部、
   を備え、
   前記端末送信部は、
   前記位置検出部が検出する位置情報を送信し、
   前記サーバ受信部は、
   前記位置情報を更に受信し、
   前記サーバ装置は、
   前記位置情報が示す位置の周辺に位置する前記建物の名称を示す建物名称情報、前記建物内の部屋の名称又は場所を示す部屋名称情報、及び前記建物内部に設置される装置の位置を示す装置位置情報のうち、少なくとも１つを前記作業位置情報の候補として選択する候補選択部、
   を備え、
   前記サーバ送信部は、
   前記候補選択部が選択した前記作業位置情報の候補を前記通信端末装置に送信する、
   請求項１に記載の三次元空間情報表示システム。
3. 前記撮像部が生成する画像に基づいて当該画像に撮像される物体の特徴点を検出して、検出した特徴点を示す特徴点情報を生成する特徴点検出部と、
   前記特徴点検出部が生成する前記特徴点情報と、前記端末受信部が受信する前記三次元空間情報とに基づいて、前記特徴点情報が示す特徴点と、前記三次元空間情報が示す特徴点とを対応付けることにより、実空間における自装置の位置を特定する位置特定部と、 をさらに備え、
   前記表示制御部は、
   前記位置特定部が特定する自装置の位置と、前記三次元空間情報とに基づいて、前記作業の位置、前記作業の内容、及び対象装置のうち、少なくともいずれかを前記オブジェクト情報として前記画像に重畳して表示する、
   請求項１又は請求項２に記載の三次元空間情報表示システム。
4. 前記通信端末装置は、
   前記作業の開始、及び前記作業の終了を検出し、前記作業の間に前記撮像部が生成する前記画像と、前記作業の前記作業内容情報とを対応付けて、前記記憶部に記憶する、
   請求項３に記載の三次元空間情報表示システム。
5. 前記通信端末装置は、
   前記表示制御部が前記オブジェクト情報を表示することに応じて、前記作業の開始を検出する
   請求項４に記載の三次元空間情報表示システム。
6. 前記サーバ装置は、
   前記受信時刻と、前記記憶部に記憶されている前記作業内容情報とを対応付けて前記記憶部に記憶させ、
   前記検出部は、
   前記記憶部に記憶された前記受信時刻に基づいて、前記作業が前記受信時刻に開始されたことを検出する
   請求項１から請求項５のいずれか一項に記載の三次元空間情報表示システム。
7. コンピュータが、建物内部において行われる作業の位置を示す作業位置情報と、前記作業の内容を示す作業内容情報と、作業対象の装置である対象装置情報とのうち、少なくとも１つを空間指定情報として指定する指定手順と、
   コンピュータが、前記指定手順において指定される前記空間指定情報に基づいて、前記作業位置情報と、前記作業内容情報と、前記対象装置情報とのうち、少なくとも１つと、建物内部の実空間の三次元空間情報と、オブジェクト情報とを対応付けて記憶する記憶部から前記空間指定情報に対応付けられる前記三次元空間情報と、前記オブジェクト情報とを選択する選択手順と、
   コンピュータが、前記指定手順において前記空間指定情報が指定されることに応じて、建物内部の実空間の三次元空間情報と、前記三次元空間情報に対応付けられたオブジェクト情報とを受信する受信手順と、
   コンピュータが、前記実空間内を撮像し、画像を生成する撮像手順と、
   コンピュータが、前記オブジェクト情報の表示を制御する表示制御手順と、
   コンピュータが、前記撮像手順において生成される画像と前記三次元空間情報とに基づいて、前記撮像手順において生成される画像に重畳して前記オブジェクト情報が表示されたことを示す情報と、自装置を識別する端末識別情報とを、前記作業が開始されたことを示す情報として送信する端末識別情報送信手順と、
   を備える三次元空間情報表示方法。

Images