JP2024054002A - 表示装置及びプログラム - Google Patents

Abstract

【課題】記録箇所の状態を容易に認識させる。【解決手段】表示装置１０はメモリ１１とコントローラ１３と出力部１２とを有する。メモリ１１は第１の情報を第２の情報とともに記憶する。第１の情報は建造物の不具合箇所の状態を示す。第２の情報は建造物に対して定められる三次元座標系における不具合箇所の位置を示す。コントローラ１３は任意の視線で任意の位置から見た第２の情報に相当する位置に第１の情報を描画した第１の画像を生成する。出力部１２は第１の画像を表示する。【選択図】図２

Description

本発明は、表示装置及びプログラムに関するものである。

マンションなどの建造物においては、定期的に外壁タイル等(屋上、天井、床、手摺、外構、外装)の状態の調査が行われている。外壁タイル等の状態の調査では、現地において、打診棒等を用いた調査により報告が必要なタイル等が特定され、当該タイル等の位置が記録される。現地における調査後に、建造物の図面における、報告が必要なタイル等の位置に、当該タイル等の状態を記載した書類の作成が行われる。

このような状態調査および書類の作成は煩雑であり、簡易化が求められている。例えば、表示中のライブビュー映像内でマークを付与し、当該マークに対象付随情報を関連付けることが提案されている（特許文献１参照）。

特開２０２０－９８５６８号公報

特許文献１に記載の記録方法では、全体視を表示する際に、ライブビュー映像等において付与した位置にマークが表示され、当該マークを選択すると対象付随情報の一覧が表示され得る。しかし、マークの表示だけでは、選択をしなければ、当該マークの箇所に何があるかが不明であり、使用者には不便であった。

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、記録箇所の状態を容易に認識させる表示装置を提供することにある。

上述した諸課題を解決すべく鋭意研究を重ね、本発明者らは、本発明に想到した。即ち、本発明は以下のとおりである。
［１］
建造物の不具合箇所の状態を示す第１の情報を、該建造物に対して定められる三次元座標系における該不具合箇所の位置を示す第２の情報とともに記憶するメモリと、
任意の視線で任意の位置から見た第２の情報に相当する位置に第１の情報を描画した第１の画像を生成するコントローラと、
前記第１の画像を表示する出力部と、を備える
表示装置。
［２０］
コンピュータに、
建造物の不具合箇所の状態を示す第１の情報とともに記憶される該建造物に対して定められる三次元座標系における該不具合箇所の位置を示す第２の情報をメモリから読出すことと、
前記第１の情報及び前記第２の情報に基づいて、任意の視線で任意の位置から見た第２の情報に相当する位置に第１の情報を描画した第１の画像を生成することと、
前記第１の画像を、出力部に表示させることと、を含む動作を実行させる
プログラム。

上記のように構成された本開示に係る表示装置およびプログラムによれば、記録箇所の状態が容易に認識され得る。

本実施形態に係る表示装置外観図である。 図１の表示装置の概略構成を示すブロック図である。 マーカを所定の位置に載置した状態を撮像した画像の一例である。 第２の状態に相当する位置を四角形の外縁で強調表示した第１の画像を出力部の裏の光景に重畳した画像である。 不具合箇所がひび割れである場合における第２の状態に相当する位置を強調線で表示した第１の画像を出力部の裏の光景に重畳した画像である。 縮小したモデル画像を重畳した第１の画像である。 対象物体の状態の選択肢のリストの一例である。 図２のコントローラが実行する表示処理を説明するためのフローチャートである。

以下、本開示を適用した表示装置の実施形態について、図面を参照して説明する。

図１に示すように、本開示の一実施形態に係る表示装置１０は、透過型のヘッドマウントディスプレイ型の装置である。表示装置１０は、以下に説明する構造および機能を有するスマートホン、タブレット等の携行可能な端末装置であってよい。

表示装置１０には、前後方向、左右方向、および上下方向が定められている。本実施形態において、表示装置１０が使用者に装着された状態において、使用者の前後方向、左右方向、および上下方向が、表示装置１０の前後方向、左右方向、および上下方向に略合致するように、表示装置１０の前後方向、左右方向、および上下方向が定められている。

図２に示すように、表示装置１０は、メモリ１１、出力部１２、及びコントローラ１３を備える。表示装置１０は、更に、カメラ１４、測距センサ１５、入力部１６、方向指定部１７、インターフェース１８、重力方向センサ１９、傾斜センサ２０、変位センサ２１、及びタイマ２２を備えてよい。

メモリ１１は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ１１は、コントローラ１３を機能させる多様なプログラム、およびコントローラ１３が用いる多様な情報を記憶する。

メモリ１１は、例えば、第１の情報を第２の情報とともに記憶する。第１の情報は、建造物の不具合箇所の状態を示す情報である。第２の情報は、建造物座標系における当該不具合箇所の位置を示す情報である。建造物座標系は、各建造物に対して予め定められる三次元座標系である。不具合箇所別に、対応する第１の情報及び第２の情報が組合わせられて記憶されてよい。メモリ１１は、後述する方法により第１の情報及び第２の情報を記憶してよい。

第１の情報は、建造物の物件名、点検名、点検時期、及び対応する不具合箇所の存在する階の少なくとも一つのグループ種を示す情報を含んでよい。点検名称は、例えば、「点検（１０年）」等のように個々の点検を識別可能にする名称である。更に、第１情報は、不具合箇所の修繕履歴を示す情報を含んでよい。

第２の情報は、不具合箇所の存在する位置における建造物表面の法線方向の情報を含んでよい。

又、メモリ１１は、例えば、建造物のモデル画像を記憶してよい。メモリ１１は、後述する方法により建造物のモデル画像を記憶してよい。

出力部１２は、後述するように、コントローラ１３が生成する第１の画像を表示する。出力部１２は、透過型ディスプレイまたは非透過型ディスプレイである。本実施形態においては、出力部１２は透過型ディスプレイである。透過型ディスプレイは、裏の光景を透過し、当該光景に重畳して第１の画像を表示可能である。出力部１２は、表示装置１０が使用者に装着された状態において、使用者の眼前に位置するように表示装置１０に設けられている。使用者は表示装置１０を装着した状態で、所望の画像が重畳された眼前の光景を、出力部１２を介して視認し得る。

カメラ１４は、光学系および撮像素子を有し、物体を撮像して画像を信号として生成する。カメラ１４は、出力部１２の裏の光景を撮像可能な位置に設けられていてよい。本実施形態において、カメラ１４は、表示装置１０が使用者に装着された状態において、透過型のディスプレイを介した使用者の視野が撮像範囲に含まれるように表示装置１０の所定の位置に所定の姿勢で固定される。カメラ１４は、例えば、表示装置１０の左右方向における中央位置近傍に、表示装置１０の前後方向と光軸とが平行且つ前方を撮像範囲に含む姿勢で、表示装置１０に固定される。

測距センサ１５は、検出範囲内の物体の距離を方向別に検出する。測距センサ１５は、例えば、赤外線センサ、ミリ波レーダ、およびＬｉｄａｒなどである。測距センサ１５は、検出軸を有してよく、例えば、検出軸に垂直な２方向への傾斜角により、距離が検出される物体の方向が区別されてよい。

又は、測距センサ１５は、撮影範囲の一部が互いに重複する複数のカメラ及びコントローラ１３の組合わせ、単眼カメラ、コントローラ１３、傾斜センサ２０、及び変位センサ２１の組合わせ等であってよい。例えば、複数のカメラ及びコントローラ１３の組合わせにおいては同一の物点に複数のカメラで撮像した画像で対応する位置の視差の算出、及び視差に基づく測距がコントローラ１３により行われる。又、例えば、単眼カメラ、コントローラ１３、傾斜センサ２０、及び変位センサ２１の組合わせにおいては、傾斜センサ２０及び変位センサ２１により検出され得る異なる姿勢及び位置で単眼カメラに撮像させたそれぞれの画像における、同一の物点に対応する位置の視差の算出、及び示唆に基づく測距がコントローラ１３により行われる。複数のカメラは、上述のカメラ１４を含んでよく、カメラ１４とは異なる複数のカメラであってよい。単眼カメラは、上述のカメラ１４であってよく、カメラ１４とは別のカメラであってよい。

測距センサ１５は、上記に例示した具体例の１つを含んでよく、複数を含んでよい。測距センサ１５が複数の具体例を含む構成においては、目的に応じていずれかのセンサが用いられてよい。

測距センサ１５には、測距センサ座標系が定められていてよい。測距センサ座標系は、検出軸、及び当該検出軸に垂直且つ互いに垂直な２直線を座標軸とする三次元座標系であってよい。

測距センサ１５は、検出範囲の少なくとも一部がカメラ１４の撮像範囲内に含まれるように、表示装置１０に固定されてよい。更に、本実施形態において、測距センサ１５は、表示装置１０が使用者に装着された状態において、透過型のディスプレイを介した使用者の視野の少なくとも一部が検出範囲に含まれるように表示装置１０の所定の位置に所定の姿勢で固定されてよい。測距センサ１５は、例えば、表示装置１０の左右方向における中央位置近傍に、表示装置１０の前後方向と検出軸とが平行且つ前方を検出範囲に含む姿勢で、表示装置１０に固定される。

入力部１６は、操作入力を検出する。入力部１６は、例えば、カメラ１４及びコントローラ１３の組合せと、ボタンスイッチのように複数の状態のいずれかの状態であるかを検出可能なスイッチ機構及びコントローラ１３の組合せ、マイク、及び出力部１２と一体的に設けられたタッチスクリーンの少なくともいずれかであってよい。本実施形態において、入力部１６は、カメラ１４及びコントローラ１３の組合せである。

入力部１６がカメラ１４及びコントローラ１３の組合せである構成において、コントローラ１３は、カメラ１４が撮像する画像から所定のジェスチャを検出する場合、当該ジェスチャをユーザの操作入力として検出する。後に詳細に説明するように、コントローラ１３は、後述の方向指定部１７が指定方向を検出するときの操作入力に基づいて、指定方向に存在する物体の状態の入力を検出する。

入力部１６がスイッチ機構およびコントローラ１３の組合せである構成において、後に詳細に説明するように、コントローラ１３は、後述の方向指定部１７が指定方向を検出するときのスイッチ機構への操作入力に基づいて、指定方向に存在する物体の状態の入力を検出する。

方向指定部１７は、測距センサ１５の検出範囲内の任意の一方向を、指定方向として検出する。方向指定部１７は、例えば、視線センサと、カメラ１４単体と、カメラ１４及び打診棒などのポインタの組合せとの少なくともいずれかである。本実施形態において、方向指定部１７は、カメラ１４単体である。

視線センサは、表示装置１０の使用者の視線方向を、指定方向として検出する。本実施形態において、視線センサは、表示装置１０が使用者に装着された状態において、使用者の視線を検出可能な表示装置１０における位置および姿勢で固定されてよい。

方向指定部１７がカメラ１４単体である構成においては、方向指定部１７は、カメラ１４の撮像範囲内で測距センサ１５の検出範囲と重なる特定の方向を、指定方向として検出する。

方向指定部１７がカメラ１４及びポインタの組合せである構成においては、カメラ１４が撮像する画像においてポインタの位置が画像認識等により検出される。画像内において検出される位置に相当する実空間の方向が指定方向として検出されてよい。

インターフェース１８は、外部機器および記憶メディアの少なくとも一方と、情報を通信する。インターフェース１８は、外部機器と、有線または無線で通信してよい。

インターフェース１８は、例えば、事前に採取された第１の情報及び第２の情報を読込み可能である。読込まれた第１の情報及び第２の情報は、メモリ１１に格納されてよい。

又は、インターフェース１８は、例えば、建造物のモデル画像を、当該建造物座標系及び当該建造物座標系における原点の位置情報とともに読込み可能である。読込まれた建造物のモデル画像は、メモリ１１に格納されてよい。

建造物のモデル画像は、実測による３Ｄモデルに基づく三次元画像及び建造物の設計図に基づく画像の少なくとも一方を含んでよい。実測による３Ｄモデルは、後に詳細に説明するように、任意の地点から実際の建造物の表面上の複数の地点の実測値に基づいて作成される三次元モデルである。設計図に基づく画像は、例えば、建造物の平面図及び立面図等の二次元画像、建造物の設計図に基づく三次元画像の少なくともいずれかを含む。平面図は、任意の単一または複数の階の平面図であってよい。三次元画像は、例えば、ＣＡＤデータのような壁面などを構成する多数の点を三次元座標化したデータである。原点は、表示装置１０が検出する特定の位置の三次元座標を上述の設計図の位置に対応付けるために、当該設計図において所定の位置に付加される点である。また、本実施形態において、設計図は、設計した建造物等の形状、構造、寸法を一定の決まりに従って記した、上述の平面図などの図面に限定されず、建造物の構造などを示す図面であればよく、例えば、パンフレットに用いられる間取り図であってもよい。

傾斜センサ２０は、表示装置１０の傾斜を検出する。傾斜センサ２０は、表示装置１０の起動後で傾斜センサ２０及び変位センサ２１の両者が検出可能となる第１の時点の表示装置１０の姿勢を基準姿勢として、基準姿勢からの傾斜を検出してよい。傾斜センサ２０は、例えば、互いに平行でない３方向を軸とした傾斜角度を表示装置１０の傾斜として検出してよい。本実施形態において、傾斜センサ２０は、表示装置１０の前後方向、左右方向、および上下方向の３方向を軸とした傾斜角を検出する。傾斜センサ２０は、例えば、ジャイロセンサである。

変位センサ２１は、表示装置１０の変位量を検出する。変位センサ２１は、第１の時点の表示装置１０の位置を基準位置として、基準位置からの変位量を検出してよい。変位センサ２１は、例えば、互いに直交する３方向に沿った表示装置１０の変位量を検出してよい。本実施形態において、変位センサ２１は、表示装置１０の前後方向、左右方向、および上下方向の３方向に沿った変位量を検出する。変位センサ２１は、例えば、加速度センサである。変位センサ２１が加速度センサである構成においては、変位センサ２１が検出する変位量が、利用環境によっては、高精度ＧＮＳＳデータ、３Ｄ実空間モデル２点間測量などによって補完されてもよい。

タイマ２２は、日時を計測する。

コントローラ１３は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。コントローラ１３は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。コントローラ１３は、表示装置１０全体の動作を制御する。

コントローラ１３は、基準位置及び基準姿勢における測距センサ座標系を、第１の測距センサ座標系と認定してよい。コントローラ１３は、表示装置１０の起動中の任意の時点における、言換えると基準位置及び基準姿勢のいずれかとは異なる位置及び姿勢であり得る時点における測距センサ座標系を、第２の測距センサ座標系と呼ぶ。第２の測距センサ座標系は、常に変動し得る。

コントローラ１３は、上述の任意の時点における傾斜センサ２０が検出する傾斜及び変位センサ２１が検出する変位量、表示装置１０の自己位置等に基づいて、第２の測距センサ座標系及び第１の測距センサ座標系の間の座標変換を行ってよい。表示装置１０の自己位置は、カメラ１４により検出される画像、ＧＰＳ位置情報、予め取ったモデル、深度センサ、及び気圧センサの少なくとも一つを用いて算出されてよい。

コントローラ１３は、図３に示すように、カメラ１４が撮像する画像２３に所定のマーカ像２４が含まれる場合、測距センサ１５にマーカを測距させてよい。マーカは、コントローラ１３による画像２３の解析により存否が確認されるので、そのままカメラ１４及びコントローラ１３等の組合わせにより測距されることが好ましい。コントローラ１３は、測距センサ１５によるマーカの測距及びカメラ１４が撮像する画像２３の解析に基づいて、第１の測距センサ座標系及び建造物座標系の間の座標変換を行ってよい。座標変換について、以下に詳細に説明する。

なお、マーカは、原点を含む線分でよく、ＱＲコード（登録商標）等の所定のパターンであってもよい。マーカとしての原点は、コントローラ１３が画像２３において認識可能な点であればよく、例えば、建設現場で任意の箇所に墨で描かれた十字の交点、又はシートなどに印刷された点である。又、マーカとしての原点は、建造物座標系における原点と重なっていてよい。マーカとしての原点を含む線分は、コントローラ１３が画像２３において認識可能な線分であればよく、例えば、玄関の上がり框と巾木の境界線の一部となる線分、またはシートなどに印刷された線分である。又、当該線分は建造物座標系における座標軸のいずれかに重なっていてよい。マーカとしての原点を含む線分は、単一のマーカから認識されずに、複数のマーカを用いて認識されてよい。例えば、一方のマーカに原点が含まれ、他方のマーカに当該線分を通る原点以外の点が含まれてよい。コントローラ１３が両方の点を結ぶことにより、原点を含む線分を認識し得る。なお、マーカとしての原点を含む線分は、実際の建造物においては水平方向に平行であることが想定されている。したがって、複数のマーカを用いる構成において、それぞれのマーカにおける点の鉛直方向における高さ位置が同一となるように、マーカが設置されることが想定されている。マーカとしての所定のパターンは、直方体のシートまたは板に印刷されており、板面を平面視して互いに垂直な２辺が建造物の２つの壁面にそれぞれ密着するように載置することが定められていてよい。所定のパターンには、原点位置の情報が予め対応付けられていてよい。

マーカは、建造物全体の階の少なくとも一部である複数の階別に載置されてカメラ１４に撮像されてよい。マーカが複数の階に載置される場合、載置される階別に定められる異なるパターンであってよい。

コントローラ１３は、測距センサ１５にマーカを測距させることにより、第２の測距センサ座標系における原点の三次元座標を算出してよい。又、コントローラ１３は、原点を含む線分上の原点以外の点、例えば、２つのマーカにおける原点とは異なる点を測距させることにより、第２の測距センサ座標系における当該点の三次元座標を算出してよい。更に、コントローラ１３は、原点及び当該点それぞれの第２の測距センサ座標系における方向ベクトル、言換えると建造物座標系の第１の座標軸の、第２の測距センサ座標系における方向ベクトルを算出してよい。又、コントローラ１３は、重力方向センサ１９が検出する重力方向を用いて、建造物座標系の別の第２の座標軸の、第２の測距センサ座標系における方向ベクトルを算出してよい。コントローラ１３は、第２の測距センサ座標系における、建造物座標系の第１の座標軸及び第２の座標軸の方向ベクトルに基づいて、建造物座標系の第３の座標軸の第２の測距センサ座標系における方向ベクトルを算出してよい。

コントローラ１３は、マーカの測距時点の第２の測距センサ座標系における原点の三次元座標、及び当該第２の測距センサ座標系における建造物座標系の座標軸の方向ベクトルに基づいて、当該第２の測距センサ座標系を、建造物座標系に変換してよい。

コントローラ１３は、測距センサ１５によるマーカの測距時に傾斜センサ２０が検出する傾斜及び変位センサ２１が検出する基準位置からの変位量に基づいて、建造物座標系及び第１の測距センサ座標系の間の座標変換を行ってよい。

コントローラ１３は、第１の情報及び第２の情報に基づいて、任意の視線で任意の位置から見た第２の情報に相当する位置に第１の情報を描画した第１の画像を生成する。

コントローラ１３は、傾斜センサ２０が検出する傾斜に基づく表示装置１０の方向を任意の視線として決定してよい。又、コントローラ１３は、変位センサ２１が検出する変位量に基づく表示装置１０の位置を任意の位置として決定してよい。より具体的には、コントローラ１３は、第２の情報に相当する建造物座標系における位置、第１の測距センサ座標系、傾斜及び変位量に基づく第２の測距センサ座標系を介して、出力部座標系の位置に変換する。出力部座標系は、第１の画像を形成する二次元座標系である。第２の測距センサ座標系から出力部座標系への変換は、例えば、第２の測距センサ座標系の各三次元座標を検出軸に垂直な平面に投影することにより行われてよい。

又は、コントローラ１３は、入力部１６への操作入力に基づいて、建造物における任意の位置及び任意の視線を決定してよい。

コントローラ１３は、第１の画像に、任意の視線で任意の位置から見た出力部１２の裏側に位置する不具合箇所を描画してよい。更に、コントローラ１３は、出力部１２の裏側で表示装置１０側に露出した不具合箇所のみを描画対象に含めてよい、言換えると壁等の裏側に位置する不具合箇所を、第１の画像の描画対象から排除してよい。コントローラ１３は、出力部１２が透過型ディスプレイである構成においては、第１の情報のみを描画した第１の画像を生成して、出力部１２に表示させてよい。

コントローラ１３は、表示装置１０が出力部１２の裏の光景を撮像可能なカメラ１４を有する構成においては、カメラ１４が撮像する光景画像に第１の情報を重畳することにより第１の画像を生成して、出力部１２に表示させてよい。

コントローラ１３は、建造物のモデル画像に第１の情報を重畳することにより第１の画像を生成して、出力部１２に表示させてよい。コントローラ１３は、第１の画像に、建造物のモデル画像を用いる構成において、モデル画像を透明化して第１の画像を生成してよい。言換えると、コントローラ１３は、モデル画像において壁等の裏側に位置する不具合箇所を透過するように第１の画像を生成してよい。

コントローラ１３は、第１の情報を、記号化、数値化、色分けの少なくともいずれかを施した態様で描画することにより第１の画像を生成してよい。

例えば、不具合の状態に応じて別々の記号が用いられてよい。具体的には、例えば、不具合の状態が「浮き」である場合、記号「Ｕ」が用いられる。又、例えば、不具合の状態が「ひび割れ」である場合、記号「Ｃ」が用いられる。

又、例えば、不具合の状態の数量を示す数値が用いられてよい。具体的には、例えば、浮きの生じたタイルの枚数が記号「Ｕ」に隣接して描画されてよい。又、例えば、ひび割れの長さが記号「Ｃ」に隣接して描画されてよい。

又、例えば、不具合箇所が生じている対象物体の種類、当該対象物体の面の素材、及び当該面の仕上げ材に応じて別々の色が用いられてよい。

コントローラ１３は、第１の画像の範囲内に複数の不具合箇所の存在位置が含まれる場合、複数の不具合箇所をグループ化した第１の情報を描画することにより第１の画像を生成してよい。例えば、コントローラ１３は、グループ化された第１の情報を、他の第１の情報と区別可能な態様で描画した第１の画像を生成してよい。

コントローラ１３は、各不具合箇所が属するグループ種にグループ化を行ってよい。コントローラ１３は、入力部１６が検出するグループ種を選択する操作入力に基づいて選択されたグループ種を特定し、特定されたグループ種にグループ化した第１の情報を描画することにより第１の画像を生成してよい。コントローラ１３は、例えば、入力部１６が特定の点検時期を選択する操作入力を検出する場合、当該特定の点検時期のグループ種に属する第１の情報のみを描画した第１の画像を生成してよい。又は、コントローラ１３は、入力部１６が特定の点検時期を選択する操作入力を検出する場合、当該第１の情報のみを他の第１の情報とは区別される同一の色等の共通する態様で描画することにより第１の画像を生成してよい。

コントローラ１３は、複数の異なるグループ種に含めた第１の情報を、グループ種別に態様を変えて描画した第１の画像を生成してよい。コントローラ１３は、例えば、特定の第１の点検時期のグループ種に属する第１の情報と、第１の点検時期とは異なる第２の点検時期のグループ種に属する第１の情報とを、グループ種別に異なり且つ同一のグループ種では同一の色等の共通する態様で描画してよい。

コントローラ１３は、複数の不具合個所をグループ化した第１の情報と、別の複数の不具合個所を別のグループとしてグループ化した第１の情報とを、更に上位グループ化してよい。

更に、コントローラ１３は、各不具合箇所に対する修繕履歴を含む第１の情報を描画してよい。修繕履歴は、例えば、修繕の有無及び過去の修繕時期、又はこれらを記号化若しくは色分けした態様で描画されてよい。

コントローラ１３は、第２の情報に相当する位置を強調表示して示す第１の画像を生成してよい。

強調表示は、例えば、図４に示すように、不具合箇所の位置を四角形の外縁ｅｒを用いて示す表示である。又は、強調表示は、外縁だけでなく、四角形による塗潰しであってよい。四角形の外縁ｅｒは、周囲の色に対して目立つ色又は太線化することにより更に、強調されてよい。周囲の色に対して目立つ色は、例えば、周囲の色の色相の補色である。なお、図４において、正方形の囲い及び内部の『Ｕ』の字を含む描画は、前述のように不具合の状態がタイルの浮きであること、及び当該不具合の生じている位置の中心を示す。四角形の外縁ｅｒは、不具合の生じている位置及び範囲を示す。コントローラ１３は、不具合箇所における第２の情報に含まれる建造物表面の法線方向と、任意の視線とに基づいて、当該法線方向から見て矩形である四角形の外縁ｅｒを任意の視線から見た形状に変形させて強調表示を行ってよい。

又、強調表示は、第１の情報が塗装面やモルタル・コンクリート面等のタイル面以外の面におけるひび割れを示す情報を含む場合、図５に示すようにひび割れの始点及び終点までを示す強調線ｈｌとして示す表示である。なお、図５において、円状の囲い及び内部の『Ｃ以』の字を含む描画は、前述のように不具合の状態が塗装面のひび割れであること、及び当該不具合の生じている位置の中心を示す。図５において、記号化した不具合の状態の下方に描画されている数値は、ひび割れの長さである。

コントローラ１３は、測距センサ１５が多様な方向に位置する物体、言換えると物点までの距離に基づいて算出される三次元座標に基づいて、測距センサ１５の検出範囲内の構造物の３Ｄモデルを生成してよい。更に、コントローラ１３は、ユーザが表示装置１０を装着した状態で、多様な方向に向いて移動しながら検出される方向別の多数の物体までの距離、並びに表示装置１０の傾斜、変位量等に基づいて、第１の測距センサ座標系における位置を示す、構造物の少なくとも一部の３Ｄモデルを生成してよい。コントローラ１３は、３Ｄモデルを構成する物体の第１の測距センサ座標系における三次元座標を、建造物座標系における三次元座標に変換して、３Ｄモデルとしてメモリ１１に格納してよい。

コントローラ１３は、作成した３Ｄモデルに基づいて三次元状の建造物のモデル画像を生成してよい。コントローラ１３は、生成したモデル画像を縮小して第１の画像に重畳してよい。コントローラ１３は、図６に示すように、縮小したモデル画像ｍｉを重畳した第１の画像を出力部１２に表示させてよい。なお、モデル画像ｍｉは、表示装置１０の任意の視線から見た三次元画像であってよい。モデル画像ｍｉの縮小率は、変更可能であってよい。

コントローラ１３は、前述のように入力部１６の一部として機能し、以下に説明するように、指定方向に存在する物体の状態の入力を検出する。コントローラ１３は、入力部１６がカメラ１４を含む構成において、カメラ１４が連続的に撮像する複数の画像２３に、位置指定のジェスチャの存否を判別する。位置指定のジェスチャは、例えば指を弾く動きなどの予め定められた動作である。

コントローラ１３は、位置指定のジェスチャの存在を検出する時に方向指定部１７が検出する指定方向に位置する物体を測定の対象である対象物体として確定する。コントローラ１３は、事前に当該対象物体の状態の選択肢をユーザに提示し、対象物体を確定する。ユーザへの提示は、画像の表示または音声の出力によって行われてよい。本実施形態において、コントローラ１３は、対象物体の状態として事前に想定されている選択肢のリストを表示するように、出力部１２を制御する。コントローラ１３は、状態の選択肢のリストの提示に先立って、又は同時に、対象物体として事前に想定されている選択肢のリストをユーザに提示してよい。

本実施形態において、事前に想定されている対象物体の状態は、対象物体の不具合の状態である。例えば、図７に示すように、不具合の状態の選択肢のリスト２５に含まれる選択肢は、「鉄筋爆裂・露出」、「欠損・剥落」、「エフロレッセンス・錆汁」、「ひび割れ」、「浮き」、「ひび割れ（面積）」、「浮き（面積）」を含む。又、例えば、対象物体の選択肢のリスト２６は、「塗装」、「コンクリート・モルタル」、「タイル」、「シート」「ＡＬＣ」、「鉄部」、「シーリング」、「ウレタン防水」、「アスファルト防水」、「シート防止」を含む。

事前に想定されている対象物体は、外壁に存在するものに限定されず、建造物の屋内に存在するものであってよい。屋内に存在する対象物体としては、玄関の石張り床、床石、天井、壁クロス、およびダウンライト、洋室の床フローリング、収納扉、引き戸、内壁、天井、およびコンセントプレート、廊下のフローリングと巾木、上り框とフローリング、壁クロス、フローリング、および扉の建枠とクロス、トイレのペーパーホルダ、天井換気扇、点検口、吊り戸の扉、および扉、浴室の天井、蛇口、照明、カウンター、および浴槽と壁、洗面室の洗面台、蛇口、洗面台、リネン庫の扉、および防水パンの換気扇、キッチンのカウンター、照明、食器棚と内壁、報知機、およびディスポーザ、リビング・ダイニングのカーテンレール、ガラス、サッシ、ウォールドア、およびスリーブ、バルコニーの物干し金物、手摺、配管カバー、換気スリーブ、およびパーティション、ならびに開放廊下の天井リシン、メータボックスの扉、玄関扉、および面格子が挙げられる。

コントローラ１３は、不具合箇所の状態の複数の選択肢の中の一つの選択肢を選択する入力を検出するとき、当該選択肢により特定される不具合箇所の状態を、対象物体の状態を示す第１の情報としてメモリ１１に格納してよい。又、コントローラ１３は、当該入力を検出する時のタイマ２２が計測する日時を示す情報を第１の情報に含めてよい。又、コントローラ１３は、選択肢の種類によっては更なる入力の要求をユーザに要求してよい。更なる入力は、例えば、不具合の状態がひび割れである場合の、ひび割れの始点から終点までの位置である。

コントローラ１３は、例えば、出力部１２に表示されている複数の選択肢の中の一つの表示位置に対応する方向を方向指定部１７に検出させた状態で、選択を確定するジェスチャを検出することにより、選択する入力を検出してよい。又は、コントローラ１３は、例えば、マイクによって検出される音声分析によって選択する入力を検出してよい。コントローラ１３は、対象物体を特定するための複数の選択肢の中の一つの選択肢を選択する入力を、状態の複数の選択肢と同様に検出して、メモリ１１に格納してよい。

コントローラ１３は、入力部１６がスイッチ機構を含む構成において、スイッチ機構への操作入力を、上述のカメラ１４の画像２３におけるジェスチャの検出の代わりに用いて、指定方向に存在する物体の状態の入力を検出する。

又、コントローラ１３は、不具合箇所が属するグループ種を特定する操作入力を入力部１６が検出する場合、特定されたグループ種を第１の情報に含めてよい。コントローラ１３は、グループ種を特定する操作入力が検出されない場合、自動で選択したグループ種を第１の情報に含めてよい。自動で選択したグループ種は、例えば、タイマ２２が計測する日付であってよい。

コントローラ１３は、第１の情報に修繕履歴の有無を含めてよい。例えば、コントローラ１３は、出力部１２に表示される第１の画像の中に含まれる第１の情報の一つを使用者が選択すると、修繕の記録の要否を使用者に問合わせてよい。問合わせは、出力部１２への表示、スピーカからの問いかけにより行われてよい。コントローラ１３は、修繕を行ったことを示す操作入力を検出する場合、修繕を行ったこと及び修繕時期を示す情報を第１の情報に修繕履歴として第１の情報に含めてメモリ１１に格納する。修繕時期は入力部１６を介して入力されてよく、タイマ２２が計測する日付によって定められてよい。

コントローラ１３は、対象物体の不具合箇所の状態の入力が検出されるとき、対象物体を測距させることにより、第２の測距センサ座標系における対象物体の三次元座標を算出してよい。コントローラ１３は、測距センサ１５による対象物体の測距時に傾斜センサ２０が検出する傾斜及び変位センサ２１等が検出する基準位置からの変位量に基づいて、対象物体の三次元座標を、第２の測距センサ座標系から第１の測距センサ座標系に変換してよい。更に、コントローラ１３は、上述のように、対象物体の三次元座標を第１の測距センサ座標系から建造物座標系に変換してよい。コントローラ１３は、対象物体の建造物座標系における三次元座標を第２の情報として、第１の情報と関連付けてメモリ１１に格納してよい。

コントローラ１３は、不具合箇所毎に関連付けられている第１の情報及び第２の情報の少なくとも１組、及び建造物の３Ｄモデルを外部サーバに送信するように、インターフェース１８を制御してよい。

次に、本実施形態においてコントローラ１３が実行する、表示処理について、図８のフローチャートを用いて説明する。表示処理は、表示装置１０の起動後に開始する。表示処理は、表示装置１０の起動の停止時に終了する。

ステップＳ１００において、コントローラ１３は、傾斜センサ２０及び変位センサ２１の両者等が検出を開始する時点における測距センサ座標系を、第１の測距センサ座標系と認定する。認定後、プロセスはステップＳ１０１に進む。

ステップＳ１０１では、コントローラ１３は、カメラ１４が撮像する画像２３にマーカ像が含まれているか否かを判別する。マーカ像が含まれていない場合、プロセスはステップＳ１０１に戻る。マーカ像が含まれている場合、プロセスはステップＳ１０２に進む。

ステップＳ１０２では、コントローラ１３は、測距センサ１５にマーカを測距させる。測距後、プロセスはステップＳ１０３に進む。

ステップＳ１０３では、コントローラ１３は、ステップＳ１０２におけるマーカの測距時の、カメラ１４が撮像する画像２３、傾斜センサ２０が検出する傾斜、及び変位センサ２１が検出する変位量を取得する。取得後、プロセスはステップＳ１０４に進む。

ステップＳ１０４では、コントローラ１３は、ステップＳ１０２におけるマーカの測距に基づいて、建造物座標系で用いられる原点の第１の測距センサ座標系における三次元座標を算出する。又、コントローラ１３は、当該三次元画像、並びにステップＳ１０３において取得した画像２３、傾斜、及び変位量に基づいて、建造物座標系から第１の測距センサ座標系への変換式を作成する。作成後、プロセスはステップＳ１０５に進む。

ステップＳ１０５では、コントローラ１３は、メモリ１１から第２の情報を読出す。読出し後、プロセスはステップＳ１０６に進む。

ステップＳ１０６では、コントローラ１３は、傾斜センサ２０が検出する傾斜及び変位センサ２１が検出する変位量等を取得する。取得後、プロセスはステップＳ１０７に進む。

ステップＳ１０７では、コントローラ１３は、ステップＳ１０５で読出した第２の情報が示す建造物座標系における不具合箇所の位置の三次元座標を、ステップＳ１０４で作成した変換式並びにステップＳ１０５において取得した傾斜及び変位量に基づいて、第１の測距センサ座標系及び第２の測距センサ座標系を介して、出力部座標系に変換する。返還後、プロセスはステップＳ１０８に進む。

ステップＳ１０８では、コントローラ１３は、ステップＳ１０７において変換した出力部座標系における不具合箇所の位置に対応する第１の情報をメモリ１１から読出す。更にコントローラ１３は、当該位置に、第１の情報を表示する第１の画像を生成する。生成後、プロセスはステップＳ１０９に進む。

ステップＳ１０９では、コントローラ１３は、ステップＳ１０８において生成した第１の画像を出力部１２に表示させる。表示後、プロセスはステップＳ１０５に戻る。

以上のような構成の本実施形態の表示装置１０は、建造物の不具合箇所の状態を示す第１の情報を当該建造物に対して定められる三次元座標系における当該不具合箇所の位置を示す第２の情報とともに記憶するメモリ１１と、任意の視線で任意の位置から見た第２の情報に相当する位置に第１の情報を描画した第１の画像を生成するコントローラ１３と、第１の画像を表示する出力部１２とを備える。このような構成により、表示装置１０は、建造物における不具合箇所の位置に第１の情報が表示されるので、記録された不具合の状態を容易に認識し得る。

又、本実施形態の表示装置１０は、建造物のモデル画像に第１の情報を重畳した第１の画像を生成する。このような構成により、表示装置１０は、実際の光学像又は実際に撮像された画像以外の建造物の像上に第１の情報が重畳されるので、表示装置１０の位置及び姿勢に関わらず、建造物に対する第１の情報の位置を容易に視認させ得る。

又、本実施形態の表示装置１０は、モデル画像を透明化して第１の画像を生成する。このような構成により、表示装置１０は、モデル画像における壁等の裏側に位置する不具合箇所に対応する第１の情報を視認させ得る。

又、本実施形態の表示装置１０は、傾斜センサ２０及び変位センサ２１を更に備え、コントローラ１３は傾斜センサ２０が検出する傾斜に基づいて任意の視線を決定し、変位センサ２１が検出する変位量に基づいて任意の位置を決定する。このような構成により、表示装置１０は、出力部１２の裏側の建造物上に第１の情報と第２の情報を表示し得る。したがって、表示装置１０は、実際の建造物の建造場所において、表示装置１０の位置及び視線により定まる範囲で建造物の不具合箇所の状態を位置とともに視認させ得る。この結果、表示装置１０は、実際の建造現場における不具合箇所の状態及び場所を、より正確に認識させ得る。

又、本実施形態の表示装置１０は、検出範囲内の物体の距離を方向別に検出する測距センサ１５を更に備え、コントローラ１３は傾斜センサ２０が検出する傾斜、変位センサ２１が検出する変位量、及び測距センサ１５が検出する方向別の物体の距離に基づいて三次元状の建造物のモデル画像を生成し、モデル画像を縮小して第１の画像に重畳する。上述の構成により生成されるモデル画像において、物体の距離及び方向、傾斜、並びに変位量に誤差が生じる場合、モデル画像の形状と実際の建造物の形状との間にずれが生じる。このような事象に対して、上述の構成を有する表示装置１０は、実際の建造現場で表示装置１０を視認する使用者に生成中のモデル画像ｍｉを視認させるので、モデル画像ｍｉにずれが生じていないかを感覚的に認識させ得る。

又、本実施形態の表示装置１０は、第２の情報に相当する位置を強調表示して示す第１の画像を生成する。このような構成により、表示装置１０は、不具合箇所の位置を容易に認識させ得る。

又、本実施形態の表示装置１０は、第１の情報を、記号化、数値化、色分けの少なくともいずれかを施した態様で描画した前記第１の画像を生成する。このような構成により、表示装置１０は、不具合箇所の内容を容易に認識させ得る。又、表示装置１０は、不具合箇所の内容に誤りがある場合に当該誤りを容易に把握させ得る。

又、本実施形態の表示装置１０では、メモリ１１は第１の情報に不具合箇所の修繕履歴を含めて記憶し、コントローラ１３は修繕履歴も含めて第１の情報を描画した第１の画像を生成する。このような構成により、表示装置１０は、不具合箇所の修繕履歴を容易に認識させ得る。

以上、表示装置１０の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。

また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。

本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、本実施形態の表示装置１０は携行可能な端末装置であるが、デスクトップＰＣ等の携行に不適な端末装置であってよい。表示装置１０が携行に不適な端末装置には、カメラ１４、測距センサ１５、傾斜センサ２０、及び変位センサ２１を有することに基づく構成以外の構成が適用され得る。又、表示装置１０が携行に不適な端末装置である構成においては、入力部１６への操作入力により第１の画像を生成するための任意の位置及び任意の視線が決められてよい。

本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。

さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の情報は、第２の情報と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

１０ 表示装置
１１ メモリ
１２ 出力部
１３ コントローラ
１４ カメラ
１５ 測距センサ
１６ 入力部
１７ 方向指定部
１８ インターフェース
１９ 重力方向センサ
２０ 傾斜センサ
２１ 変位センサ
２２ タイマ
２３ カメラが撮像した画像
２４ マーカ像
２５ 状態の選択肢のリスト
２６ 対象物体の選択肢のリスト
ｅｒ 四角形の外縁
ｈｌ 強調線
ｍｉ モデル画像

Claims (21)

1. 建造物の不具合箇所の状態を示す第１の情報を、該建造物に対して定められる三次元座標系における該不具合箇所の位置を示す第２の情報とともに記憶するメモリと、
   任意の視線で任意の位置から見た第２の情報に相当する位置に第１の情報を描画した第１の画像を生成するコントローラと、
   前記第１の画像を表示する出力部と、を備える
   表示装置。
2. 請求項１に記載の表示装置であって、
   前記コントローラは、前記建造物のモデル画像に前記第１の情報を重畳した前記第１の画像を生成する
   表示装置。
3. 請求項２に記載の表示装置であって、
   前記建造物のモデル画像は、任意の地点から前記建造物の表面上の複数の地点までの距離に基づいて作成される三次元画像、前記建造物の設計図に基づく三次元画像、及び前記建造物の設計図に基づく二次元画像の少なくとも１つである
   表示装置。
4. 請求項２又は３に記載の表示装置であって、
   前記コントローラは、前記モデル画像を透明化して前記第１の画像を生成する
   表示装置。
5. 請求項１から３のいずれか１項に記載の表示装置であって、
   前記表示装置の傾斜を検出する傾斜センサと、
   前記表示装置の変位量を検出する変位センサと、を更に備え、
   前記コントローラは、前記傾斜センサが検出する傾斜に基づいて前記任意の視線を決定し、前記変位センサが検出する変位量に基づいて前記任意の位置を決定する
   表示装置。
6. 請求項５に記載の表示装置であって、
   前記出力部は、裏の光景を透過する透過型ディスプレイである
   表示装置。
7. 請求項５に記載の表示装置であって、
   前記出力部の裏の光景を撮像するカメラを、更に備え、
   前記コントローラは、前記カメラが撮像する光景画像に前記第１の情報を重畳した前記第１の画像を生成する
   表示装置。
8. 請求項５に記載の表示装置であって、
   検出範囲内の物体の距離を方向別に検出する測距センサを、更に備え、
   前記コントローラは、前記傾斜センサが検出する傾斜、前記変位センサが検出する変位量、及び前記測距センサが検出する方向別の物体の距離に基づいて三次元状の建造物のモデル画像を生成し、前記モデル画像を縮小して第１の画像に重畳する
   表示装置。
9. 請求項１から３のいずれか１項に記載の表示装置であって、
   前記コントローラは、前記第２の情報に相当する位置を強調表示して示す前記第１の画像を生成する
   表示装置。
10. 請求項９に記載の表示装置であって、
    前記強調表示は、四角形を用いて示す表示である
    表示装置。
11. 請求項１０に記載の表示装置であって、
    前記第２の情報は、前記不具合箇所の存在する位置における前記建造物の表面の法線方向の情報を含み、
    前記コントローラは、前記法線方向及び前記任意の視線に基づいて、前記法線方向から見て矩形である前記四角形を、前記任意の視線から見た形状に変形させる
    表示装置。
12. 請求項１０に記載の表示装置であって、
    前記第１の情報がタイル面以外のひび割れを含む場合、前記強調表示は、該ひび割れの始点及び終点までを示す強調線として示す表示である
    表示装置。
13. 請求項１から３のいずれか１項に記載の表示装置であって、
    前記コントローラは、前記第１の情報を、記号化、数値化、色分けの少なくともいずれかを施した態様で描画した前記第１の画像を生成する
    表示装置。
14. 請求項１から３のいずれか１項に記載の表示装置であって、
    前記コントローラは、複数の前記不具合箇所をグループ化する
    表示装置。
15. 請求項１４に記載の表示装置であって、
    前記複数の不具合個所をグループ化した前記第１の情報は、別の複数の不具合個所を別グループとしてグループ化した第１の情報と、更に上位グループ化される
    表示装置。
16. 請求項１４に記載の表示装置であって、
    前記コントローラは、物件名、点検名、点検時期、及び前記建造物の階の少なくとも１つのグループ種へのグループ化を行う
    表示装置。
17. 請求項１６に記載の表示装置であって、
    操作入力を検出する入力部を、更に備え、
    前記コントローラは、前記入力部が検出する操作入力に基づいて、選択された前記グループ種を特定し、該グループ種にグループ化した前記第１の情報を描画した前記第１の画像を生成する
    表示装置。
18. 請求項１６に記載の表示装置であって、
    前記メモリは、前記第１の情報に、前記グループ種を含めて記憶する
    表示装置。
19. 請求項１６に記載の表示装置であって、
    前記コントローラは、複数の異なるグループ種に含めた第１の情報を、態様を変えて描画した第１の画像を生成する
    表示装置。
20. 請求項１から３のいずれか１項に記載の表示装置であって、
    前記メモリは、前記第１の情報に、前記不具合箇所の修繕履歴を含めて記憶し、
    前記コントローラは、前記修繕履歴も含めて前記第１の情報を描画した前記第１の画像を生成する
    表示装置。
21. コンピュータに、
    建造物の不具合箇所の状態を示す第１の情報とともに記憶される該建造物に対して定められる三次元座標系における該不具合箇所の位置を示す第２の情報をメモリから読出すことと、
    前記第１の情報及び前記第２の情報に基づいて、任意の視線で任意の位置から見た第２の情報に相当する位置に第１の情報を描画した第１の画像を生成することと、
    前記第１の画像を、出力部に表示させることと、を含む動作を実行させる
    プログラム。
    
    

Images