JP7296220B2 - 支援システム、及び支援プログラム - Google Patents

Description

本発明は、支援システム、及び支援プログラムに関する。

従来、様々な建築物が建設されていた（例えば、特許文献１）。特許文献１の建築物を含めて一般的な建築物を建築する場合、作業員が手作業又は重機を用いて、建築物を構成するための部材を、予め定められた位置に取付けることにより行われていた。

特開２０１６－５７１８８号公報

しかしながら、建築物を構成するための部材は複数種類存在し、各部材が相互に外観が似ていることがあり、この場合、作業員が各部材を取り違えることを防止するために、各部材の確認作業に時間を要してしまい、建設作業の作業効率が低下してしまうことがあった。

本発明は上記事実に鑑みなされたもので、対象構造物に関する作業の作業効率を向上させることを可能にする支援システム、及び支援プログラムを提供する事を目的とする。

上述した課題を解決し、目的を達成するために、請求項１に記載の支援システムは、三次元実空間の対象構造物に関する作業についてのユーザへの支援を行う支援システムであって、前記対象構造物を構成する対象部材の取付位置を特定するための取付位置特定用情報を取得する取得手段と、前記取得手段が取得した前記取付位置特定用情報に基づいて、前記対象部材の取付位置を特定する特定手段と、前記特定手段の特定結果に基づいて、前記ユーザに保持される端末装置の表示部を介して、前記三次元実空間に対して前記対象部材の取付位置を示す取付位置画像を重畳して表示する表示手段と、を備え、前記取得手段は、少なくとも、前記対象部材に付されているコード情報を、前記取付位置特定用情報として取得し、前記コード情報は、当該コード情報が付されている前記対象部材を一意に識別する対象部材識別情報である。

請求項２に記載の支援システムは、請求項１に記載の支援システムにおいて、前記対象部材は、所定位置に相互に積み重ねられて設けられている複数のパネル状部材であり、前記複数のパネル状部材各々に付されている前記コード情報の内の、最上段に積まれている１個のみのパネル状部材に付されている前記コード情報のみが撮影可能に露出しており、前記取得手段は、前記１個のみのパネル状部材に付されている前記コード情報が撮影された場合に、撮影された前記１個のみのパネル状部材に付されている前記コード情報を、前記取付位置特定用情報として取得し、前記特定手段は、前記取得手段が取得した前記１個のみのパネル状部材に付されている前記コード情報に基づいて、前記１個のみのパネル状部材の取付位置を特定し、前記表示手段は、前記特定手段の特定結果に基づいて、前記ユーザに保持される前記端末装置の表示部を介して、前記１個のみのパネル状部材の取付位置を示す前記取付位置画像を重畳して表示する。

請求項３に記載の支援システムは、請求項１又は２に記載の支援システムにおいて、前記取得手段は、前記対象部材の外観情報を、前記取付位置特定用情報として取得し、前記特定手段は、前記取得手段が取得した前記外観情報に基づいて、前記対象部材の取付位置を特定する。

請求項４に記載の支援システムは、請求項１から３の何れか一項に記載の支援システムにおいて、前記表示手段は、前記取付位置画像として、前記対象部材の外観を仮想的に示す画像を、前記三次元実空間における前記対象部材の取付位置に重畳して表示する。

請求項５に記載の支援システムは、請求項１から４の何れか一項に記載の支援システムにおいて、前記表示手段は、前記端末装置の前記表示部を介し前記三次元実空間に対して前記対象部材が取り付けられる場合の動線を示す動線画像を重畳して表示し、前記動線画像は、取り付けられる前の前記対象部材が設けられている位置から、前記特定手段が特定した前記対象部材の取付位置に至る前記動線を示している。

請求項６に記載の支援システムは、請求項５に記載の支援システムにおいて、前記支援システムは、前記動線画像が表示されている位置に対応する位置に、作業員が近づいたか否かを判定し、近づいたものと判定した場合に、警報を出力する。

請求項７に記載の支援システムは、請求項１から６の何れか一項に記載の支援システムにおいて、前記表示手段は、前記端末装置の前記表示部を介し前記三次元実空間に対して前記対象部材の取付順序を示す順序画像を重畳して表示する。
請求項８に記載の支援システムは、請求項１から７の何れか一項に記載の支援システムにおいて、前記表示手段は、前記対象部材の取付位置が前記ユーザの視野外である場合、前記対象部材の取付位置の方向を示す情報を表示する。
請求項９に記載の支援プログラムは、三次元実空間の対象構造物に関する作業についてのユーザへの支援を行う支援プログラムであって、コンピュータを、前記対象構造物を構成する対象部材の取付位置を特定するための取付位置特定用情報を取得する取得手段と、前記取得手段が取得した前記取付位置特定用情報に基づいて、前記対象部材の取付位置を特定する特定手段と、前記特定手段の特定結果に基づいて、前記ユーザに保持される端末装置の表示部を介して、前記三次元実空間に対して前記対象部材の取付位置を示す取付位置画像を重畳して表示する表示手段と、として機能させ、前記取得手段は、少なくとも、前記対象部材に付されているコード情報を、前記取付位置特定用情報として取得し、前記コード情報は、当該コード情報が付されている前記対象部材を一意に識別する対象部材識別情報である。

請求項１に記載の支援システム、及び請求項９に記載の支援プログラムによれば、三次元実空間に対して対象部材の取付位置を示す取付位置画像を重畳して表示することにより、例えば、対象部材の取付位置を容易且つ確実に把握させることができるので、対象構造物に関する作業の作業効率を向上させることが可能となる。特に、対象部材に付されているコード情報を取付位置特定用情報として取得することにより、例えば、取付位置特定用情報を確実に取得することができるので、取付位置特定用情報の誤取得を防止することができ、対象構造物に関する作業の作業効率を確実に向上させることが可能となる。

請求項３に記載の支援システムによれば、対象部材の外観情報を取付位置特定用情報として取得することにより、例えば、対象部材に対して二次元コード等を付す必要がないので、作業の手間を低減することができ、作業効率を向上させることが可能となる。特に、例えば、対象部材の外観を撮像する等の比較的簡単な手法にて、当該対象部材の取付位置を特定することが可能となる。

請求項４に記載の支援システムによれば、対象部材の外観を仮想的に示す画像を、三次元実空間における対象部材の取付位置に重畳して表示することにより、例えば、対象部材の取付位置を直観的に把握させることができるので、対象構造物に関する作業の作業効率を向上させることが可能となる。

請求項５に記載の支援システムによれば、対象部材が取り付けられる場合の動線を示す動線画像を重畳して表示することにより、例えば、作業現場の安全性を確保することが可能となる。

請求項７に記載の支援システムによれば、対象部材の取付順序を示す順序画像を重畳して表示することにより、例えば、作業順序の誤認等を防止することができるので、作業の手戻り等を防止することが可能となる。
請求項８に記載の支援システムによれば、対象部材の取付位置がユーザの視野外である場合、対象部材の取付位置の方向を示す情報を表示することにより、例えば、取付位置を迅速に把握させることが可能となるので、対象構造物に関する作業の作業効率を向上させることが可能となる。

建設中の対象構造物を示す図である。 対象部材が取り付けられた状態の対象構造物を示す図である。 端末装置を例示するブロック図である。 対象部材特定情報を例示した図である。 支援処理のフローチャートである。 レンズ部を介して視認されるユーザの視界を例示した図である。 レンズ部を介して視認されるユーザの視界を例示した図である。 レンズ部を介して視認されるユーザの視界を例示した図である。

以下に添付図面を参照して、この発明に係る支援システム、及び支援プログラムの実施の形態を詳細に説明する。まず、〔Ｉ〕実施の形態の基本的概念を説明した後、〔ＩＩ〕実施の形態の具体的内容について説明し、最後に、〔ＩＩＩ〕実施の形態に対する変形例について説明する。ただし、実施の形態によって本発明が限定されるものではない。

〔Ｉ〕実施の形態の基本的概念
まず、実施の形態の基本的概念について説明する。実施の形態は、概略的に、支援システム、及び支援プログラムに関する。

本発明に係る支援システムは、三次元実空間の対象構造物に関する作業についてのユーザへの支援を行うシステムであり、例えば、ユーザへの支援を行う専用システム、あるいは、汎用的に用いられるコンピュータ（一例としては、サーバ装置、パーソナルコンピュータ、スマートフォン、タブレット端末、ゴーグル型又は他の型のウエアラブル端末装置等）に対して支援プログラムをインストールしてユーザへの支援を行う機能を実装することにより実現されるシステム等を含む概念である。また、支援システムは、例えば、取得手段、特定手段、及び表示手段を備える。

ここで、「三次元実空間」とは、三次元の実際の空間であり、具体的には、屋外又は屋内の空間等を含む概念であり、例えば、建設又は工事現場の屋外又は屋内空間、オフィス内の空間、自室内の空間、玄関、外庭、公園、及び道路等の任意の空間等を含む概念である。

「対象構造物」とは、作業を行う対象となる構造であり、具体的には、少なくとも建築物又は工作物等を含む概念である。「建築物」とは、土地に定着した建物であり、例えば、屋根及び壁を備える物等を含む概念である。「工作物」とは、土地に定着した建物以外の物であって、例えば、バス停等の建物、標識、橋梁、及び柵等を含む概念である。

「取得手段」とは、対象構造物を構成する対象部材の取付位置を特定するための取付位置特定用情報を取得する手段であり、具体的には、少なくとも、対象部材に付されているコード情報を、取付位置特定用情報として取得する手段等を含む概念であり、例えば、対象部材の外観情報を、取付位置特定用情報として取得する手段等を含む概念である。

「対象部材」とは、対象構造物を構成する部材であり、例えば、建物の建設用の部材等を含む概念である。「対象部材の取付位置」とは、対象部材を取り付けるべき位置等を含む概念であり、例えば、対象部材を取り付けるべき位置及び向き等を含む概念であり、また、予め定められている位置及び向き等を含む概念である。

「取付位置特定用情報」とは、対象部材の取付位置を特定するために用いられる情報であり、具体的には、対象部材を取り付けるべき位置及び向き自体を特定する情報、あるいは、対象部材を取り付けるべき位置及び向き自体を特定する情報に対応付けられている情報等を含む概念であり、例えば、対象部材に付されているコード情報、及び対象部材の外観情報等を含む概念である。

なお、ここでの「座標及び回転角度等に対応付けられている情報」とは、例えば、対象部材を一意に識別する部材識別情報（以下、識別情報を「ＩＤ」とも称する）と当該対象部材の座標及び回転角度が相互に関連付けられている情報が記録されていることを前提として、当該情報にアクセスして座標及び回転角度を特定するための情報である「部材ＩＤ」等を含む概念である。また、「座標及び回転角度等に対応付けられている情報」とは、例えば、対象部材の外観（色又は形状等）と当該対象部材の座標及び回転角度が相互に関連付けられている情報が記録されていることを前提として、当該情報にアクセスして座標及び回転角度を特定するための情報である「対象部材の外観（色又は形状等）」等を含む概念でもある。

「対象部材に付されているコード情報」とは、例えば、対象部材に物理的に付されている（つまり、実際に貼付又は取り付けられている）任意の媒体（例えば、バーコード又はＱＲコード（登録商標）等の二次元コードが記載されているシール、あるいは、ＲＦＩＤ又はＮＦＣ等の任意の技術で自己が格納する情報について近距離無線通信を行う電子タグ等）から読み取り可能な情報等を含む概念である。また、「対象部材の外観情報」とは、例えば、対象部材の外観の情報であり、例えば、対象部材の色又は形状等を特定する情報等を含む概念である。

「特定手段」とは、取得手段が取得した取付位置特定用情報に基づいて、対象部材の取付位置を特定する手段である。

「表示手段」とは、特定手段の特定結果に基づいて、ユーザに保持される端末装置の表示部を介して、三次元実空間に対して対象部材の取付位置を示す取付位置画像を重畳して表示する手段であり、例えば、取付位置画像として、対象部材の外観を仮想的に示す画像を、三次元実空間における対象部材の取付位置に重畳して表示する手段等を含む概念であり、また、端末装置の表示部を介し三次元実空間に対して対象部材が取り付けられる場合の動線を示す動線画像を重畳して表示する手段等を含む概念であり、また、端末装置の表示部を介し三次元実空間に対して対象部材の取付順序を示す順序画像を重畳して表示する手段等を含む概念であり、また、対象部材の取付位置がユーザの視野外である場合、対象部材の取付位置の方向を示す情報を表示する手段等を含む概念である。

「取付位置画像」とは、対象部材の取付位置を示す画像の情報であり、例えば、対象部材の外観を仮想的に示す画像、あるは、外観には無関係な画像（一例としては、矢印画像、あるいは、文字や数字等のテキストが記載された画像）等を含む概念である。「対象部材の外観を仮想的に示す画像」とは、例えば、対象部材と少なくとも同一のサイズ及び同一の形状となる三次元オブジェクトに対応する画像等を含む概念である。

「端末装置」とは、ユーザに保持される装置であり、例えば、前述のコンピュータのうちの一部の機器（一例としては、スマートフォン、タブレット端末、ゴーグル型又は他の型のウエアラブル端末装置等）を含む概念である。

そして、以下に示す実施の形態では、「支援システム」及び「端末装置」がゴーグル型のウエアラブル端末装置である場合を例示して説明する。

〔ＩＩ〕実施の形態の具体的内容
次に、実施の形態の具体的内容について説明する。

（構成－対象構造物）
まず、本実施の形態に係る端末装置を適用して作業の支援を行う対象構造物について説明する。図１は、建設中の対象構造物を示す図である。対象構造物２１は、例えば、建設現場で建設されている建設中の建築物である。この対象構造物２１は、例えば、当該対象構造物２１の周辺に仮置きされている対象部材２２を取付て固定することにより建設されるものであり、また、図示されているユーザによって建設作業が行われているものである。

（構成－対象構造物－対象部材）

対象部材２２は、対象構造物２１を構成するものである。この対象部材２２の具体的な種類や構成は任意であるが、例えば、相互にほぼ同様な構成のパネル状の部材であり、また、図１に示すように、対象構造物２１の周辺に複数個が積み重ねられて仮置きされているものである。なお、以下の説明では、図１の積み重ねられている複数の対象部材２２のうちの最も上側の１個を特定する場合、対象部材２２１と称し、また、上側から２番目の１個を特定する場合、対象部材２２２と称して説明し、一方、特定する必要がない場合、対象部材２２と総称して説明する。また、各対象部材２２には、二次元コード２３が貼付されている。

「二次元コード」２３とは、前述のコード情報（つまり、取付位置特定用情報）が記載されているものであり、例えば、対象部材２２各々を一意に識別する前述の部材ＩＤに対応する情報が記載されているものである。ここでは、例えば、対象部材２２１、２２２の二次元コード２３には、部材ＩＤとして「ＩＤ２２１」、「ＩＤ２２２」に対応する情報が記載されているものとして、以下説明する。

図２は、対象部材が取り付けられた状態の対象構造物を示す図である。なお、図２では、図１の対象構造物２１に対して、１個の対象部材２２１が取り付けられた状態が図示されている。ここでは、例えば、この図１の対象部材２２１を図２に示すように、所定の取付位置に取り付ける作業を支援する場合を例示して説明する。

（構成－端末装置）
図３は、端末装置を例示するブロック図である。端末装置１は、支援システムであり、例えば、図１に示すユーザに装着されるゴーグル型のウエアラブル端末装置であり、一例としては、通信部１１、センサ部１２、レンズ部１３、記録部１４、及び制御部１５を備える。

（構成－端末装置－通信部）
通信部１１は、ネットワーク（図示省略）を介して外部装置（例えば、不図示のサーバ装置等）との間で通信するための通信手段である。この通信部１１の具体的な種類や構成は任意であるが、例えば、公知の無線通信手段を用いることができる。

（構成－端末装置－センサ部）
センサ部１２は、情報を検出又は取得する検出手段である。このセンサ部１２の具体的な種類や構成は任意であるが、例えば、方向又は傾き等を検出する慣性センサ、周辺環境を三次元として認識するための情報を検出するデプスセンサ、色を認識するためのＲＧＢカメラ、周辺環境を二次元として認識する環境認識カメラ、静止画又は動画を撮影（又は撮像）するカメラ、及び音声情報を取得するマイク等を含む任意の技術を用いることができる。そして、このようにセンサ部１２を構成することにより、端末装置１にて方向又は傾き等を検出したり、あるいは、三次元空間認識を行ったり、あるいは、端末装置１自体の相対位置を検出したり、あるいは、ユーザが空間にてジェスチャーを行って情報を入力したり、音声にて情報を入力したり、あるいは、静止画又は動画を撮影したりすることが可能となる。

（構成－端末装置－レンズ部）
レンズ部１３は、端末装置１を装着したユーザが当該レンズ部１３を介して三次元実空間を視認する視認手段（表示部）である。このレンズ部１３の具体的な種類や構成は任意であるが、例えば、ユーザが三次元実空間を視認できるように透明となっており、また、少なくとも表示対象を表示できるように画像表示機能も備えているものを用いることができる。そして、このようなレンズ部１３に表示対象を表示することにより、当該レンズ部１３を介して実環境を視認したユーザは、三次元実空間上に表示対象が表示されているように視認することが可能となる。

（構成－端末装置－記録部）
記録部１４は、端末装置１の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記録装置としてのフラッシュメモリ（図示省略）を用いて構成されている。ただし、フラッシュメモリに代えてあるいはフラッシュメモリと共に、ハードディスク、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。この記録部１４には、対象部材特定情報が記録されている。

（構成－端末装置－記録部－対象部材特定情報）
図４は、対象部材特定情報を例示した図である。なお、図４で具体的に図示されている各情報は、説明の便宜上の記載である。「対象部材特定情報」とは、対象部材を特定する情報である。対象部材特定情報は、例えば、図４に示すように、項目「部材ＩＤ」、項目「仮想対象部材情報」、及び項目「位置情報」と、これらの各項目に対応する情報とを関連付けている情報である。項目「部材ＩＤ」に対応する情報は、前述の部材ＩＤである（図４では、図１の対象部材２２１の二次元コード２３に記載されている「ＩＤ２２１」、及び対象部材２２２の二次元コード２３に記載されている「ＩＤ２２２」等）。項目「仮想対象部材情報」に対応する情報は、対象部材２２の仮想対象部材オブジェクトを特定する仮想対象部材情報であり、例えば、前述の対象部材２２の外観を仮想的に示す画像に対応する情報である。なお、「対象部材２２の仮想対象部材オブジェクト」とは、例えば、対象部材２２と少なくとも同一のサイズ、及び同一形状の仮想的に表示される三次元オブジェクト等を含む概念である。この仮想対象部材情報としては、例えば、対象部材２２１の仮想対象部材オブジェクトを特定する「３Ｄｍ００１」、及び対象部材２２２の仮想対象部材オブジェクトを特定する「３Ｄｍ００２」等が可能されている。項目「位置情報」に対応する情報は、対象部材２２の取付位置を特定する位置情報である。この位置情報としては、任意の情報を用いることができるが、例えば、実空間上の任意の物を基準にした位置（Ｘ軸、Ｙ軸、Ｚ軸からなる直交座標系における座標）及び向き（Ｘ軸、Ｙ軸、Ｚ軸を基準にした回転角度）を特定する情報を用いることとし、一例としては、図２の対象部材２２１の位置及び向きを特定する「Ｄｐ００１」等が記録されている。なお、ここでの位置及び向きの基準は任意であるが、三次元実空間上の任意の位置に基準物（不図示）を設け、当該基準物を基準としてもよいし、あるいは、対象構造物２１が下側から上側に順次計画通りに建設されていくことを考慮して、対象構造物２１の既に建設されている一部の特徴的な部分（例えば、四隅等）を基準としてもよい。

そして、このような対象部材特定情報の具体的な格納手法は任意であるが、例えば、対象構造物２１の設計時に作成したＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）情報に基づいて、ユーザ又は管理者が生成し任意の手法（例えば、通信を行う手法、あるいは、メモリスティック等の記録媒体を用いる手法等）で端末装置１に対して入力することにより格納されることとしてもよい。

（構成－端末装置－制御部）
図１の制御部１５は、端末装置１を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。特に、実施の形態に係るプログラムは、任意の記録媒体又はネットワークを介して端末装置１にインストールされることで、制御部１５の各部を実質的に構成する。

また、制御部１５は、機能概念的には、例えば、取得部１５１、特定部１５２、及び表示部１５３を備える。取得部１５１は、対象構造物２１を構成する対象部材２２の取付位置を特定するための取付位置特定用情報を取得する取得手段である。特定部１５２は、取得部１５１が取得した取付位置特定用情報に基づいて、対象部材２２の取付位置を特定する特定手段である。表示部１５３は、特定部１５２の特定結果に基づいて、ユーザに保持される端末装置１のレンズ部１３を介して、三次元実空間に対して対象部材２２の取付位置を示す取付位置画像を重畳して表示する表示手段である。なお、この制御部１５の各部により行われる処理については、後述する。

（処理）
次に、このように構成される端末装置１によって実行される支援処理について説明する。図５は、支援処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。支援処理は、概略的には、端末装置１によって行われる処理であり、具体的には、対象構造物２１に関するユーザによる作業を支援する処理である。この支援処理を実行するタイミングは任意であるが、例えば、端末装置１の電源をオンした場合に、起動されて実行を開始することとして、実行を開始したところから説明する。

図５のＳＡ１において取得部１５１は、取付位置特定用情報を取得する。具体的には任意であるが、例えば、図１の端末装置１を装着しているユーザが、積み重ねられている対象部材２２の周辺に移動し、当該対象部材２２のコード情報２３側に当該端末装置１を向けた場合（つまり、図１のレンズ部１３を介して対象部材２２を視認した場合）に、センサ部１２のカメラがコード情報２３を撮像することとし、当該カメラがコード情報２３を撮像した場合に、撮像したコード情報２３に記載されている部材ＩＤを、取付位置特定用情報として取得する。ここでは、例えば、センサ部１２のカメラが対象部材２２１のコード情報２３を撮像した場合に、撮像したコード情報２３に記載されている部材ＩＤとして「ＩＤ２２１」を、取付位置特定用情報として取得する。

図５のＳＡ２において特定部１５２は、対象部材２２の取付位置を特定する。具体的には任意であるが、例えば、ＳＡ１で取得した取付位置特定用情報である部材ＩＤを取得し、図４の対象部材特定情報を参照して、当該取得した部材ＩＤに対応する位置情報を取得し、取得した位置情報が特定する対象部材２２の取付位置を特定する。ここでは、例えば、ＳＡ１で取得した取付位置特定用情報である部材ＩＤとしての「ＩＤ２２１」を取得し、図４の対象部材特定情報を参照して、当該取得した部材ＩＤである「ＩＤ２２１」に対応する位置情報である「Ｄｐ００１」を取得し、取得した位置情報である「Ｄｐ００１」が特定する対象部材２２の取り付けられる位置及び向きとして、図２の対象部材２２１の位置及び向きを特定する。

図５のＳＡ３において表示部１５３は、端末装置１のレンズ部１３を介して、三次元実空間に対して対象部材２２の取付位置を示す取付位置画像を重畳して表示する。具体的には任意であるが、例えば、ＳＡ１で取得した取付位置特定用情報である部材ＩＤを取得し、図４の対象部材特定情報を参照して、当該取得した部材ＩＤに対応する仮想対象部材情報を取得し、取得した仮想対象部材情報が特定する対象部材２２の仮想対象部材オブジェクトを、ＳＡ２で特定した対象部材２２の取付位置に仮想的に重畳して固定表示する。

なお、仮想対象部材オブジェクトを対象部材２２の取付位置に仮想的に重畳して表示する具体的な手法は任意であり、例えば、前述の位置及び向きの基準の点、及び三次元実空間上の特徴点の点群データ等に基づく三次元空間認識を行って、ユーザがレンズ部１３を介して視認した場合に、仮想対象部材オブジェクトが三次元実空間の対象部材２２の取付位置に設けられているように視認できるよう重畳して表示してもよい。なお、ここでの具体的な表示手法は三次元空間認識に関する公知の手法を用いることができるので、詳細の説明を省略する。

図６は、レンズ部を介して視認されるユーザの視界を例示した図である。なお、図６では、仮想対象部材オブジェクト３１については、説明の便宜上、一点鎖線にて図示されている（図８も同様である）。ここでは、例えば、ＳＡ１で取得した取付位置特定用情報である部材ＩＤとしての「ＩＤ２２１」を取得し、図４の対象部材特定情報を参照して、当該取得した部材ＩＤである「ＩＤ２２１」に対応する仮想対象部材情報である「３Ｄｍ００１」を取得し、取得した仮想対象部材情報が特定する対象部材２２の仮想対象部材オブジェクト３１（対象部材２２１と同一のサイズ、及び同一形状のオブジェクト）（対象部材２２１の外観を仮想的に示す画像）を、ＳＡ２で特定した対象部材２２の取付位置に仮想的に重畳して固定表示する。このように処理することにより、ユーザは、レンズ部１３を介して視認した場合、図６に示すように視認することができ、図１の対象部材２２１の取付位置を容易に把握することができ、作業精度及び作業効率を向上させることが可能となる。なお、この場合、端末装置１が三次元空間認識に基づく公知の処理を行うことにより、端末装置１の位置が変更された場合（つまり、ユーザが移動した場合）であっても、図６の仮想対象部材オブジェクト３１は、対象構造物２１に対して固定されて表示されることになるので、作業精度及び作業効率を確実に向上させることが可能となる。これにて、支援処理を終了する。

（本実施の形態の効果）
本実施の形態によれば、三次元実空間に対して対象部材２２の取付位置を示す取付位置画像（対象部材２２の仮想対象部材オブジェクト３１）を重畳して表示することにより、例えば、対象部材２２の取付位置を容易且つ確実に把握させることができるので、対象構造物２１に関する作業の作業効率を向上させることが可能となる。

また、対象部材２２に付されている二次元コード２３のコード情報を取付位置特定用情報として取得することにより、例えば、取付位置特定用情報を確実に取得することができるので、取付位置特定用情報の誤取得を防止することができ、対象構造物２１に関する作業の作業効率を確実に向上させることが可能となる。

また、対象部材２２の外観を仮想的に示す画像（対象部材２２の仮想対象部材オブジェクト３１）を、三次元実空間における対象部材２２の取付位置に重畳して表示することにより、例えば、対象部材２２の取付位置を直観的に把握させることができるので、対象構造物２１に関する作業の作業効率を向上させることが可能となる。

〔ＩＩＩ〕実施の形態に対する変形例
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。

（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏したりすることがある。

（分散や統合について）
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。例えば、端末装置１の機能の一部を不図示のサーバ装置に設けて、当該サーバ装置との間で通信を行うことにより、前述の各処理を行うように構成してもよい。

（形状、数値、構造、時系列について）
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。

（対象部材特定情報について（その１））
また、上記実施の形態では、図１の二次元コード２３に、部材ＩＤに対応する情報が記載されている場合について説明したが、これに限らない。例えば、図１の二次元コード２３に、部材ＩＤの代わりに又は部材ＩＤと共に、図４の位置情報に対応する情報を記載してもよい。この場合、二次元コード２３のコード情報を読み取ることにより、対象部材２２の取付位置を直接的に特定することが可能となる。また、例えば、図１の二次元コード２３に、部材ＩＤの代わりに又は部材ＩＤと共に、対象部材２２の仮想対象部材オブジェクトを特定する情報（例えば、対象部材２２の寸法、形状等のデータ）を記録してもよい。この場合、二次元コード２３のコード情報を読み取ることにより、表示する仮想対象部材オブジェクトを特定することが可能となる。

また、上記実施の形態では、図４の対象部材特定情報において、複数種類の仮想対象部材情報が記録されている場合について説明したが、これに限らない。例えば、対象部材２２の仮想対象部材オブジェクトとして、１種類のみが想定される場合、図４の対象部材特定情報を参照せずに、当該１種類のみの仮想対象部材オブジェクトを用いて処理するように構成してもよい（つまり、図４の仮想対象部材情報を１種類のみとしてもよい）。

また、上記実施の形態では、図４の対象部材特定情報に部材ＩＤが記録されている場合について説明したが、これに限らない。例えば、対象構造物２１を構成するための対象部材の外観が相互に異なることが想定される場合、部材ＩＤの代わりに、対象部材２２の外観を特定する外観情報を記録してもよい。この場合、端末装置１で対象部材２２の外観を撮影し、図４の対象部材特定情報において、撮影した外観に対応する位置情報を特定することにより、図１の対象部材２２に二次元コード２３を付すことなく、当該対象部材２２の位置を特定することが可能となる。このように構成することにより、対象部材２２の外観情報を取付位置特定用情報として取得することにより、例えば、対象部材２２に対して二次元コード２３等を付す必要がないので、作業の手間を低減することができ、作業効率を向上させることが可能となる。

（対象部材特定情報について（その２））
また、「（対象部材特定情報について（その１））」で説明した技術と、実施の形態で説明した技術とを相互に組み合わせてもよい。具体的には、図４の対象部材特定情報に図示されている各情報に加えて、対象部材２２の外観を特定する外観情報を記録してもよい。そして、図１の対象部材２２に付されている二次元コード２３、又は対象部材２２の外観を撮像して、実施の形態又は「（対象部材特定情報について（その１））」で説明した処理を行うことにより、対象部材２２の取付位置を特定するように構成してもよい。このように構成した場合、対象部材２２の外観情報を取付位置特定用情報として取得することにより、例えば、対象部材２２の外観を撮像する等の比較的簡単な手法にて、当該対象部材２２の取付位置を特定することが可能となる。

（表示部による表示について）
また、表示部１５３が、実施の形態で説明した画像以外の任意の情報を、レンズ部１３を介して表示するように構成してもよい。図７及び図８は、レンズ部を介して視認されるユーザの視界を例示した図である。例えば、表示部１５３が、図７の方向オブジェクト３２を重畳して表示するように構成してもよい。「方向オブジェクト」３２は、例えば、対象部材２２の取付位置がユーザの視野外である場合に、対象部材２２の取付位置の方向を示す情報である。表示部１５３の処理は任意であるが、例えば、図３のセンサ部１２の検出結果に基づいて、端末装置１が向けられている方向（つまり、ユーザが向いている方向）を特定し、特定結果に基づいて図５のＳＡ３で重畳表示し仮想対象部材オブジェクト３１が、ユーザの視界に表示されなくなったものと判定した場合、当該仮想対象部材オブジェクト３１を表示させるためにユーザが向くべき方向を示す方向オブジェクト３２を生成し、生成した方向オブジェクト３２を表示するように構成してもよい。また、当該方向オブジェクト３２と共に、あるいは、代わりに、「取付位置は左方向です」等のメッセージ情報を表示するように構成してもよい。このように構成することにより、対象部材２２の取付位置がユーザの視野外である場合、対象部材２２の取付位置の方向を示す情報を表示することにより、例えば、取付位置を迅速に把握させることが可能となるので、対象構造物２１に関する作業の作業効率を向上させることが可能となる。

また、例えば、表示部１５３は、図８の仮想動線オブジェクト３３を重畳して表示するように構成してもよい。「仮想動線オブジェクト」３３は、例えば、対象部材２２が取り付けられる場合の動線を示す画像であり、一例としては、対象部材２２の仮置き場から取付位置までの動線上の矢印等に対応する画像である。表示部１５３の処理は任意であるが、例えば、動線を特定する情報（例えば、三次元実空間上の動線上の複数の座標等）が記録部１４に記録されていることとし、この記録されている情報を任意のタイミング（例えば、図５のＳＡ３を実行するタイミング等）に取得し、取得した当該情報に基づいて仮想動線オブジェクト３３を生成して表示するように構成してもよい。このように構成することにより、対象部材２２が取り付けられる場合の動線を示す動線画像（仮想動線オブジェクト３３）を重畳して表示することにより、例えば、作業現場の安全性を確保することが可能となる。

また、例えば、表示部１５３が、対象部材２２の取付順序を示す順序画像を重畳して表示するように構成してもよい。具体的には任意であるが、例えば、図４の対象部材特定情報において、取付順序を特定する取付順情報（例えば、「ＩＤ２２１」に対する「１」（取付順序が１番目であることを特定する情報）、及び「ＩＤ２２２」に対する「２」（取付順序が２番目であることを特定する情報））が記録されていることする。この場合、任意のタイミング（例えば、ユーザの所定のジェスチャー操作を受け付けたタイミング等）に、この記録されている情報を参照して、記録されている取付順序情報に対応する順序で、各対象部材２２に対応する仮想対象部材オブジェクトを、対象構造物２１に順序重畳する動画（アニメーション）を重畳して表示するように構成してもよい。なお、この場合、取得部１５１が対象部材特定情報を取得し、特定部１５２が取得した当該取得部１５１に基づいて各対象部材２２の取付位置を特定し、表示部１５３が前述の取得した対象部材特定情報の取付順情報に基づいて取付順序を特定する処理を行い、これらの処理結果に基づいて前述の動画を表示するように構成してもよい。あるいは、動画ではなく、取付順序自体を示す画像（例えば、「１番目」、「２番目」等の画像）を表示するように構成してもよい。このように構成することにより、対象部材２２の取付順序を示す順序画像（動画、又は、例えば、「１番目」、「２番目」等の画像）を重畳して表示することにより、例えば、作業順序の誤認等を防止することができるので、作業の手戻り等を防止することが可能となる。

（様々な構成について）
また、例えば、図１の二次元コード２３の代わりに電子タグ（例えば、部材ＩＤが格納されており、ＲＦＩＤ又はＮＦＣ等の任意の技術で近距離無線通信を行う電子タグ）を用いてもよい。この場合、端末装置１との間で通信可能な他の端末装置（例えば、スマートフォンやタブレット端末）を介して、端末装置１の取得部１５１が、電子タグに格納されている部材ＩＤを取得した上で、実施の形態で説明した処理と同様な処理を行うように構成してもよい。また、例えば、図１の対象構造物２１自体又は当該対象構造物２１の周辺に、前述の基準物として任意の座標を表す二次元コードを物理的付して、当該二次元コードに基づいて位置合わせを行うように構成してもよい。また、例えば、二次元コードや電子タグに記録する情報を生成する機能を、前述のＢＩＭのアプリケーションに組み込むことで、一元管理を実現してもよい。また、例えば、図６のように表示されている仮想対象部材オブジェクト３１について、端末装置１に対してユーザが音声入力又はジェスチャー入力を行うことにより、表示位置を微調整できるように構成してもよい。あるいは、事故防止の観点から、端末装置１が、図８の仮想動線オブジェクト３３の周囲に作業員（端末装置１を装着しているユーザ以外の作業員）が近づいたか否かを、センサ部１２の検出結果に基づいて判定し、近付いたものと判定した場合、ユーザに対してレンズ部１３を介して警報を表示するように構成してもよいし、あるいは、不図示のスピーカを介して警報を周囲に音声出力するように構成してもよい。

（組み合わせについて）
また、上記実施の形態の技術及び変形例の技術を任意に組み合わせてもよい。特に、例えば、取得部１５１による取付位置特定用情報の取得については、実施の形態の技術と、変形例の技術を組み合わせて、両者を採用してもよい。

（付記）
付記１の支援システムは、三次元実空間の対象構造物に関する作業についてのユーザへの支援を行う支援システムであって、前記対象構造物を構成する対象部材の取付位置を特定するための取付位置特定用情報を取得する取得手段と、前記取得手段が取得した前記取付位置特定用情報に基づいて、前記対象部材の取付位置を特定する特定手段と、前記特定手段の特定結果に基づいて、前記ユーザに保持される端末装置の表示部を介して、前記三次元実空間に対して前記対象部材の取付位置を示す取付位置画像を重畳して表示する表示手段と、を備え、前記取得手段は、少なくとも、前記対象部材に付されているコード情報を、前記取付位置特定用情報として取得する。

付記２の支援システムは、付記１に記載の支援システムにおいて、前記取得手段は、前記対象部材の外観情報を、前記取付位置特定用情報として取得する。

付記３の支援システムは、付記１又は２に記載の支援システムにおいて、前記表示手段は、前記取付位置画像として、前記対象部材の外観を仮想的に示す画像を、前記三次元実空間における前記対象部材の取付位置に重畳して表示する。

付記４の支援システムは、付記１から３の何れか一項に記載の支援システムにおいて、前記表示手段は、前記端末装置の前記表示部を介し前記三次元実空間に対して前記対象部材が取り付けられる場合の動線を示す動線画像を重畳して表示する。

付記５の支援システムは、付記１から４の何れか一項に記載の支援システムにおいて、前記表示手段は、前記端末装置の前記表示部を介し前記三次元実空間に対して前記対象部材の取付順序を示す順序画像を重畳して表示する。

付記６の支援システムは、付記１から５の何れか一項に記載の支援システムにおいて、前記表示手段は、前記対象部材の取付位置が前記ユーザの視野外である場合、前記対象部材の取付位置の方向を示す情報を表示する。

付記７の支援プログラムは、三次元実空間の対象構造物に関する作業についてのユーザへの支援を行う支援プログラムであって、コンピュータを、前記対象構造物を構成する対象部材の取付位置を特定するための取付位置特定用情報を取得する取得手段と、前記取得手段が取得した前記取付位置特定用情報に基づいて、前記対象部材の取付位置を特定する特定手段と、前記特定手段の特定結果に基づいて、前記ユーザに保持される端末装置の表示部を介して、前記三次元実空間に対して前記対象部材の取付位置を示す取付位置画像を重畳して表示する表示手段として機能させ、前記取得手段は、少なくとも、前記対象部材に付されているコード情報を、前記取付位置特定用情報として取得する。

（付記の効果）
付記１に記載の支援システム、及び付記７に記載の支援プログラムによれば、三次元実空間に対して対象部材の取付位置を示す取付位置画像を重畳して表示することにより、例えば、対象部材の取付位置を容易且つ確実に把握させることができるので、対象構造物に関する作業の作業効率を向上させることが可能となる。特に、対象部材に付されているコード情報を取付位置特定用情報として取得することにより、例えば、取付位置特定用情報を確実に取得することができるので、取付位置特定用情報の誤取得を防止することができ、対象構造物に関する作業の作業効率を確実に向上させることが可能となる。

付記２に記載の支援システムによれば、対象部材の外観情報を取付位置特定用情報として取得することにより、例えば、対象部材に対して二次元コード等を付す必要がないので、作業の手間を低減することができ、作業効率を向上させることが可能となる。特に、例えば、対象部材の外観を撮像する等の比較的簡単な手法にて、当該対象部材の取付位置を特定することが可能となる。

付記３に記載の支援システムによれば、対象部材の外観を仮想的に示す画像を、三次元実空間における対象部材の取付位置に重畳して表示することにより、例えば、対象部材の取付位置を直観的に把握させることができるので、対象構造物に関する作業の作業効率を向上させることが可能となる。

付記４に記載の支援システムによれば、対象部材が取り付けられる場合の動線を示す動線画像を重畳して表示することにより、例えば、作業現場の安全性を確保することが可能となる。

付記５に記載の支援システムによれば、対象部材の取付順序を示す順序画像を重畳して表示することにより、例えば、作業順序の誤認等を防止することができるので、作業の手戻り等を防止することが可能となる。

付記６に記載の支援システムによれば、対象部材の取付位置がユーザの視野外である場合、対象部材の取付位置の方向を示す情報を表示することにより、例えば、取付位置を迅速に把握させることが可能となるので、対象構造物に関する作業の作業効率を向上させることが可能となる。

１ 端末装置
１１ 通信部
１２ センサ部
１３ レンズ部
１４ 記録部
１５ 制御部
２１ 対象構造物
２２ 対象部材
２３ 二次元コード
３１ 仮想対象部材オブジェクト
３２ 方向オブジェクト
３３ 仮想動線オブジェクト
１５１ 取得部
１５２ 特定部
１５３ 表示部
２２１ 対象部材
２２２ 対象部材

Claims (9)

1. 三次元実空間の対象構造物に関する作業についてのユーザへの支援を行う支援システムであって、
   前記対象構造物を構成する対象部材の取付位置を特定するための取付位置特定用情報を取得する取得手段と、
   前記取得手段が取得した前記取付位置特定用情報に基づいて、前記対象部材の取付位置を特定する特定手段と、
   前記特定手段の特定結果に基づいて、前記ユーザに保持される端末装置の表示部を介して、前記三次元実空間に対して前記対象部材の取付位置を示す取付位置画像を重畳して表示する表示手段と、を備え、
   前記取得手段は、少なくとも、前記対象部材に付されているコード情報を、前記取付位置特定用情報として取得し、
   前記コード情報は、当該コード情報が付されている前記対象部材を一意に識別する対象部材識別情報である、
   支援システム。
2. 前記対象部材は、所定位置に相互に積み重ねられて設けられている複数のパネル状部材であり、
   前記複数のパネル状部材各々に付されている前記コード情報の内の、最上段に積まれている１個のみのパネル状部材に付されている前記コード情報のみが撮影可能に露出しており、
   前記取得手段は、前記１個のみのパネル状部材に付されている前記コード情報が撮影された場合に、撮影された前記１個のみのパネル状部材に付されている前記コード情報を、前記取付位置特定用情報として取得し、
   前記特定手段は、前記取得手段が取得した前記１個のみのパネル状部材に付されている前記コード情報に基づいて、前記１個のみのパネル状部材の取付位置を特定し、
   前記表示手段は、前記特定手段の特定結果に基づいて、前記ユーザに保持される前記端末装置の表示部を介して、前記１個のみのパネル状部材の取付位置を示す前記取付位置画像を重畳して表示する、
   請求項１に記載の支援システム。
3. 前記取得手段は、前記対象部材の外観情報を、前記取付位置特定用情報として取得し、
   前記特定手段は、前記取得手段が取得した前記外観情報に基づいて、前記対象部材の取付位置を特定する、
   請求項１又は２に記載の支援システム。
4. 前記表示手段は、前記取付位置画像として、前記対象部材の外観を仮想的に示す画像を、前記三次元実空間における前記対象部材の取付位置に重畳して表示する、
   請求項１から３の何れか一項に記載の支援システム。
5. 前記表示手段は、前記端末装置の前記表示部を介し前記三次元実空間に対して前記対象部材が取り付けられる場合の動線を示す動線画像を重畳して表示し、
   前記動線画像は、取り付けられる前の前記対象部材が設けられている位置から、前記特定手段が特定した前記対象部材の取付位置に至る前記動線を示している、
   請求項１から４の何れか一項に記載の支援システム。
6. 前記支援システムは、前記動線画像が表示されている位置に対応する位置に、作業員が近づいたか否かを判定し、近づいたものと判定した場合に、警報を出力する、
   請求項５に記載の支援システム。
7. 前記表示手段は、前記端末装置の前記表示部を介し前記三次元実空間に対して前記対象部材の取付順序を示す順序画像を重畳して表示する、
   請求項１から６の何れか一項に記載の支援システム。
8. 前記表示手段は、前記対象部材の取付位置が前記ユーザの視野外である場合、前記対象部材の取付位置の方向を示す情報を表示する、
   請求項１から７の何れか一項に記載の支援システム。
9. 三次元実空間の対象構造物に関する作業についてのユーザへの支援を行う支援プログラムであって、
   コンピュータを、
   前記対象構造物を構成する対象部材の取付位置を特定するための取付位置特定用情報を取得する取得手段と、
   前記取得手段が取得した前記取付位置特定用情報に基づいて、前記対象部材の取付位置を特定する特定手段と、
   前記特定手段の特定結果に基づいて、前記ユーザに保持される端末装置の表示部を介して、前記三次元実空間に対して前記対象部材の取付位置を示す取付位置画像を重畳して表示する表示手段と、として機能させ、
   前記取得手段は、少なくとも、前記対象部材に付されているコード情報を、前記取付位置特定用情報として取得し、
   前記コード情報は、当該コード情報が付されている前記対象部材を一意に識別する対象部材識別情報である、
   支援プログラム。

Images