JP2024031861A - 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】対象空間に含まれるオブジェクトの属性及び位置を関連付けて出力することができる情報処理装置を提供する。【解決手段】対象空間内を複数の位置から測定して得られる対象空間データを取得する取得部と、取得したデータを処理する処理部とを情報処理装置に備える。処理部は、対象空間の環境に影響を及ぼすオブジェクトの属性及び位置を認識し、対象空間データに、オブジェクトの属性及び位置を関連付けて出力する。【選択図】図１

Description

本開示は、情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラムに関する。

特許文献１は、３次元点群データを基に物体の形状を示すモデルデータを作成し、作成したモデルデータを用いて流体計算を行う技術を開示する。
特許文献２は、３次元点群データと画像を組み合わせたデータベースを作成し、このデータベースと対象物を撮影した画像のマッチングにより対象物の位置を特定する技術を開示する。

特許第６２８６９０２号公報 特許第６６１０６４０号公報

流体解析を行うための流体計算用モデルを作成する場合、室内形状や什器の採寸及びモデル化、熱源などの条件の設定に多くの時間がかかっている。従来技術を用いる場合においても、各種条件設定に多くの時間がかかっている。

本開示の目的は、対象空間内を複数の位置から測定して得られる対象空間データに基づいて、対象空間に含まれるオブジェクトの属性及び位置を関連付けて出力することができる情報処理装置等を提供することにある。

本開示の第１の観点に係る情報処理装置は、対象空間内を複数の位置から測定して得られる対象空間データを取得する取得部と、取得したデータを処理する処理部とを備え、前記処理部は、取得した前記対象空間データから、前記対象空間の環境に影響を及ぼす前記対象空間のオブジェクトの属性及び位置を認識し、前記対象空間データに、前記対象空間のオブジェクトの属性及び位置を関連付けて出力する。

本開示の第２の観点に係る情報処理装置は、第１の観点に係る情報処理装置であって、前記取得部が取得した前記対象空間データと、前記対象空間のオブジェクトの属性及び位置とに基づいて、前記対象空間の環境に影響を及ぼす前記対象空間のオブジェクトの属性及び位置を反映した、前記対象空間の拡張現実映像を作成する。

本開示の第３の観点に係る情報処理装置は、前記取得部が取得した前記対象空間データと、前記対象空間のオブジェクトの属性及び位置とに基づいて、前記対象空間の環境に影響を及ぼす前記対象空間のオブジェクトの属性及び位置を反映した、前記対象空間の３次元空間モデルを作成する。

本開示の第１－２の観点に係る情報処理装置は、対象空間内を複数の位置から測定して得られる対象空間データを取得する取得部と、処理部とを備え、前記処理部は、前記取得部が取得した前記対象空間データに基づいて、前記対象空間の環境に影響を及ぼすオブジェクトの属性及び位置を認識し、前記取得部が取得した前記対象空間データと、前記オブジェクトの属性及び位置とに基づいて、前記対象空間の環境に対する前記オブジェクトの前記属性及び位置を関連付けて出力する。

本開示の第２－２の観点に係る情報処理装置は、第１の観点に係る情報処理装置であって、前記取得部が取得した前記対象空間データと、前記オブジェクトの属性及び位置とに基づいて、前記対象空間の環境に対する前記オブジェクトの前記属性及び位置を反映した、前記対象空間の３次元空間モデルを作成する。

本開示の第４の観点に係る情報処理装置は、第１の観点から第３の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記３次元空間モデルは前記対象空間の環境を予測するためのモデルである。

本開示の第５の観点に係る情報処理装置は、第１の観点から第４の観点並びに第１－２及び第２－２の観点のいずれか１つに係る情報処理装置であって、前記対象空間のオブジェクトは、対象空間の気流に影響を及ぼすオブジェクトと、対象空間の熱環境に影響を及ぼすオブジェクトと、対象空間の空気質に影響を及ぼすオブジェクトと、対象空間の環境を制御するオブジェクトとの少なくとも一つを含む。

本開示の他の観点に係る情報処理装置は、第１の観点から第５の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、空調の型式、能力、位置、制御を変更する事で、対象空間において、改善効果の試算を実施する。

本開示の第６の観点に係る情報処理装置は、第１の観点から第５の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記対象空間のオブジェクトは、什器と、建具と、人と、産業機械と、植物と、空調機と、換気装置との少なくとも一つを含む。

本開示の第７の観点に係る情報処理装置は、第１の観点から第６の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記対象空間のオブジェクトは空調機又は換気装置を含み、前記処理部は前記空調機又は前記換気装置の制気口を認識して、前記制気口が吸込口であるか吹出口であるかを判別する。

本開示の第８の観点に係る情報処理装置は、第１の観点から第７の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記処理部は、前記対象空間における前記吸込口又は前記吹出口に関連するダクト系統を表したダクト系統データを取得し、取得した前記ダクト系統データに基づいて、前記対象空間における前記吸込口又は前記吹出口を判別する。

本開示の第９の観点に係る情報処理装置は、第１の観点から第８の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記ダクト系統データは、前記ダクト系統の方位及び外形を示す方位情報及び外形情報を含み、前記処理部は、前記対象空間の方位に関連する方位情報を取得し、取得した前記方位情報と、前記対象空間データに基づく前記対象空間の外形を表す情報と、前記ダクト系統データとに基づいて、前記対象空間データによって表される前記対象空間と、前記ダクト系統データによって表される前記ダクト系統との位置合わせを行う。

本開示の第１０の観点に係る情報処理装置は、第１の観点から第９の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記処理部は、前記対象空間のサーモグラフィデータを取得し、取得したサーモグラフィデータに基づいて、前記吸込口又は前記吹出口を判別する。

本開示の第１１の観点に係る情報処理装置は、第１の観点から第１０の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記対象空間データは前記対象空間の画像データを含み、前記処理部は、取得した前記画像データに基づいて、前記吸込口又は前記吹出口に関連する特徴量を算出し、算出された前記特徴量に基づいて前記吸込口又は前記吹出口を判別する。

本開示の第１２の観点に係る情報処理装置は、第１の観点から第１１の観点並びに第１－２及び第２－２の観点いずれか一つに係る情報処理装置であって、前記対象空間のオブジェクトの属性は、前記対象空間のオブジェクトの寸法と、形状と、顕熱と、潜熱と、風量と、風向と、風速との少なくとも一つを含む。

本開示の第１３の観点に係る情報処理装置は、第１の観点から第１２の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記処理部は、前記対象空間のオブジェクトの属性に応じた熱境界条件を含む前記３次元空間モデルを作成する。

本開示の第１４の観点に係る情報処理装置は、第１の観点から第１３の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記処理部は、前記対象空間における空調機の配管系統を表した配管系統データを取得し、取得した前記配管系統データに基づいて、前記空調機の熱境界条件を含む前記３次元空間モデルを作成する。

本開示の第１５の観点に係る情報処理装置は、第１の観点から第１４の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記配管系統データは、前記配管系統の方位及び外形を示す方位情報及び外形情報を含み、前記処理部は、前記対象空間の方位に関連する方位情報を取得し、取得した前記方位情報と、前記対象空間データに基づく前記対象空間の外形を表す情報と、前記配管系統データとに基づいて、前記対象空間データによって表される前記対象空間と、前記配管系統データによって表される前記配管系統との位置合わせを行う。

本開示の第１６の観点に係る情報処理装置は、第１の観点から第１５の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記処理部は、前記対象空間のサーモグラフィデータを取得し、取得したサーモグラフィデータに基づいて、前記オブジェクトの温度を熱境界条件として含む前記３次元空間モデルを作成する。

本開示の第１７の観点に係る情報処理装置は、第１の観点から第１６の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記処理部は、前記対象空間のサーモグラフィデータ、前記対象空間の外気温データ、日照量データ、及び建具の厚みデータを取得し、取得した各データに基づいて、前記建具の熱貫流率を熱境界条件として含む前記３次元空間モデルを作成する。

本開示の第１８の観点に係る情報処理装置は、第１の観点から第１７の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記処理部は、前記対象空間のオブジェクトの属性及び位置の編集を受け付け、前記３次元空間モデルを変更する。

本開示の第１９の観点に係る情報処理装置は、第１の観点から第１８の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記処理部は、前記対象空間のオブジェクトの追加を受け付け、前記３次元空間モデルを変更する。

本開示の第２０の観点に係る情報処理装置は、第１の観点から第１９の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記取得部は、前記対象空間内の形状に係る物理量を測定する測定装置を移動又は回転させて得た前記対象空間データを取得する。

本開示の第２１の観点に係る情報処理装置は、第１の観点から第２０の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記処理部は、自己位置推定処理又は視線方向推定処理により、前記対象空間及び前記対象空間のオブジェクトの位置を特定する。

本開示の第２２の観点に係る情報処理装置は、第１の観点から第２１の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記取得部は、前記対象空間の方位に関連する方位情報を取得し、前記処理部は、前記取得部が取得した前記方位情報、又は前記方位情報に基づく情報を含む前記３次元空間モデルを作成する。

本開示の第２３の観点に係る情報処理装置は、第１の観点から第２２の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記方位情報は、前記対象空間の緯度、経度、時刻及び天体の位置に基づく情報、又は前記対象空間の緯度、経度、時刻、屋内の影の向き及び影の長さに基づく情報である。

本開示の第２４の観点に係る情報処理装置は、第１の観点から第２３の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記対象空間データは、ＲＧＢデータ及び時間データを含み、前記処理部は、前記ＲＧＢデータ及び前記時間データに基づいて、前記対象空間の方位を特定し、特定された方位を示す方位情報、又は前記方位情報に基づく情報を含む前記３次元空間モデルを作成する。

本開示の第２５の観点に係る情報処理装置は、第１の観点から第２４の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記対象空間データは、ＲＧＢデータ及び時間データを含み、前記処理部は、前記ＲＧＢデータ及び前記時間データに基づいて、前記対象空間の利用シーンを特定する。

本開示の第２６の観点に係る情報処理装置は、第１の観点から第２５の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記処理部は、前記対象空間データが前記対象空間のオブジェクトを重複して含んでいるかどうかを判別する。

本開示の第２７の観点に係る情報処理装置は、第１の観点から第２６の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記処理部は、前記対象空間に含まれる前記オブジェクトを重複して認識した場合、重複する前記オブジェクトを除外する。

本開示の第２８の観点に係る情報処理装置は、第１の観点から第２７の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置であって、前記取得部が取得した前記対象空間データに基づいて、前記対象空間の秘匿対象オブジェクトの属性及び位置を認識し、前記取得部が取得した前記対象空間データと、前記対象空間における前記オブジェクトの属性及び位置と、前記対象空間における前記秘匿対象オブジェクトの属性及び位置とに基づいて、前記対象空間の環境に対する前記オブジェクト及び前記秘匿対象オブジェクトの前記属性及び位置を反映した、前記対象空間の前記３次元空間モデルを作成し、前記秘匿対象オブジェクトを加工する。

本開示の第２９の観点に係る情報処理システムは、第１の観点から第２８の観点並びに第１－２及び第２－２の観点のいずれか一つに係る情報処理装置と、前記対象空間内の形状に係る物理量を測定する測定装置とを備え、前記情報処理装置は、前記測定装置から前記対象空間データを取得する。

本開示の第３０の観点に係る情報処理システムは、対象空間内を複数の位置から測定して得られる対象空間データを取得する取得部と、取得したデータを処理する処理部とを備え、前記処理部は、前記対象空間の環境に影響を及ぼす前記対象空間のオブジェクトの属性及び位置を認識し、前記対象空間データに、前記対象空間のオブジェクトの属性及び位置を関連付けて出力する。

本開示の第３１の観点に係る情報処理方法は、対象空間内を複数の位置から測定して得られる対象空間データを取得し、前記対象空間の環境に影響を及ぼす前記対象空間のオブジェクトの属性及び位置を認識し、前記対象空間データに、前記対象空間のオブジェクトの属性及び位置を関連付けて出力する。

本開示の第３２の観点に係るコンピュータプログラムは、対象空間内を複数の位置から測定して得られる対象空間データを取得し、前記対象空間の環境に影響を及ぼす前記対象空間のオブジェクトの属性及び位置を認識し、前記対象空間データに、前記対象空間のオブジェクトの属性及び位置を関連付けて出力する処理をコンピュータに実行させる。

本開示の第３０－２の観点に係る情報処理システムは、対象空間内を複数の位置から測定して得られる対象空間データを取得する取得部と、処理部とを備え、前記処理部は、前記取得部が取得した前記対象空間データに基づいて、前記対象空間の環境に影響を及ぼすオブジェクトの属性及び位置を認識し、前記取得部が取得した前記対象空間データと、前記オブジェクトの属性及び位置とに基づいて、前記対象空間の環境に対する前記オブジェクトの前記属性及び位置を関連付けて出力する。

本開示の第３１－２の観点に係る情報処理方法は、対象空間内を複数の位置から測定して得られる対象空間データを取得し、取得した前記対象空間データに基づいて、前記対象空間の環境に影響を及ぼすオブジェクトの属性及び位置を認識し、取得した前記対象空間データと、前記オブジェクトの属性及び位置とに基づいて、前記対象空間の環境に対する前記オブジェクトの前記属性及び位置を関連付けて出力する。

本開示の第３２－２の観点に係るコンピュータプログラムは、対象空間内を複数の位置から測定して得られる対象空間データを取得し、取得した前記対象空間データに基づいて、前記対象空間の環境に影響を及ぼすオブジェクトの属性及び位置を認識し、取得した前記対象空間データと、前記オブジェクトの属性及び位置とに基づいて、前記対象空間の環境に対する前記オブジェクトの前記属性及び位置を関連付けて出力する処理をコンピュータに実行させる。

本実施形態に係る情報処理システムの構成例を示すブロック図である。 本実施形態に係る測定装置の構成例及び使用例を示す斜視図である。 本実施形態に係る学習モデルの概念図である。 本実施形態に係るオブジェクトＤＢの概念図である。 本実施形態に係る情報処理装置システムの処理手順を示すフローチャートである。 ３次元空間モデルの作成処理手順を示すフローチャートである。 ３次元空間モデルの作成処理手順を示すフローチャートである。 ３次元点群及び撮影画像の一例を示す説明図である。 ３次元空間モデルの一例を示す説明図である。 秘匿対象オブジェクトの秘匿化処理を示す概念図である。 重複オブジェクトの除外処理を示す概念図である。 オブジェクトの編集処理手順を示すフローチャートである。 オブジェクトの変更方法を示す概念図である。 オブジェクトの追加方法を示す概念図である。 対象空間を構成する平面の編集方法を示す概念図である。

本開示の本実施形態に係る空調関連機器及び空調システムを、以下に図面を参照しつつ説明する。本実施形態の概要は以下の通りである。
顧客の物件へ訪問し、空調関連の営業活動を行う際、実際の物件の条件における気流解析を行うことにより、実際に顧客物件で発生していると考えられる温度ムラや淀みなどの空気環境の問題を明らかにしたうえで機器の提案が可能となる。しかし、実際に気流解析を行うための流体計算用モデルを作成する場合、室内形状や什器の採寸及びモデル化、熱源などの条件の設定に多くの時間がかかっている。
上記課題を解決する手段として、流体計算用モデル自動作成手法を提案する。システム例としては、手持ちのデプスカメラ、カメラ、サーモグラフィー、スマートフォン一体型モジュールを用いて空間内を歩行しながら撮影し、空間内のデプス画像、画像をスマートフォンに保存する。スマートフォンに保存したデータを情報処理装置１へ転送し、３次元再構成用のソフトを用いて３次元点群データを作成する。３次元点群データから床、壁、天井を検出し、面の空間モデルである流体計算用モデルを作成する。ここで、撮影画像に対して事前に機械学習により学習した画像認識を行うことによってオブジェクトの種類（空調機、什器等）と位置を特定し、３次元空間モデルに反映する。人が手持ちで撮影する代わりにお掃除ロボットやドローンなどを用いて撮影しても良い。

図１は、本実施形態に係る情報処理システムの構成例を示すブロック図、図２は、本実施形態に係る測定装置２の構成例及び使用例を示す斜視図である。本実施形態に係る情報処理システムは、情報処理装置１と、測定装置２と、端末装置３とを備える。情報処理システムは、少なくとも一部に面を有する空間を撮像及び測距し、測定して得られたデータに基づいて当該空間の環境を予測するための３次元空間モデルを半自動的に作成するものである。以下、モデル化対象の空間を対象空間と呼ぶ。

対象空間には、当該対象空間の環境に影響を及ぼし得る一又は複数のオブジェクトが含まれている。オブジェクトは、対象空間の気流に影響を及ぼすオブジェクトと、対象空間の熱環境に影響を及ぼすオブジェクトと、対象空間の空気質に影響を及ぼすオブジェクトと、対象空間の環境を制御するオブジェクトとの少なくとも一つを含む。具体的には、オブジェクトは、什器と、建具と、人と、産業機械と、植物と、空調機と、換気装置との少なくとも一つを含む。什器は、コンピュータと、モニタと、照明器具と、ヒータ、椅子の少なくとも一つを含む。建具は、窓と、ブラインドと、間仕切りと、ドアとの少なくとも一つを含む。空調機は、空気清浄機を含む。

対象空間は、換気用のダクト系統を有する。ダクト系統は、空調機又は換気装置の吸込口又は吹出口を含む。対象空間は空調機の配管系統を有する。

一方、オブジェクトには、機密性を有する秘匿対象オブジェクトと、機密性を有しない非秘匿対象オブジェクトとが含まれる。秘匿対象オブジェクトは、表示装置と、人と、産業機械と、書類と、行先表示板と、掲示物と、ホワイトボードと、黒板と、付箋と、郵便物との少なくとも一つを含む。

測定装置２は、ＲＧＢセンサ２１と、深度センサ２２と、ＩＲ投射器２３と、赤外線カメラ２４と、把持部と、端末保持部とを備え、対象空間内の形状に係る物理量を測定する装置である。把持部は、測定装置２の使用者によって把持される部材である。把持部は例えば棒状の部材である。端末保持部は、端末装置３を保持する部材である。

ＲＧＢセンサ２１は、例えばＣＭＯＳセンサ、ＣＣＤセンサ等の撮像素子を有し、対象空間のカラー撮影するカメラである。ＲＧＢセンサ２１は動画を撮影することができる。ＲＧＢセンサ２１は、対象空間を撮像して得た時系列の画像データ（ＲＧＢデータ）を出力する。動画を構成する時系列の画像データには、撮像日時を示す時間データが含まれているものとする。

深度センサ２２は、測定装置２から対象空間の壁面、対象空間に含まれる各種オブジェクトまでの距離（深度）を測定する。深度センサ２２は、測距して得られた深度を表す深度データを出力する。ＩＲ投射器２３は、より正確な深度データを得るために、赤外線を対象空間及びオブジェクトに投射するための素子である。

赤外線カメラ２４は、赤外線撮像素子を有し、対象空間を赤外線にて撮影するカメラである。赤外線カメラ２４は、対象空間を撮像して得たサーモグラフィ画像データを出力する。

このように構成された測定装置２は、画像データ、深度データ及びサーモグラフィ画像データを端末装置３へ出力する。測定装置２は、画像データ、深度データ及びサーモグラフィ画像データを外部の可搬型の記憶装置へ出力して記憶させるように構成してもよい。測定装置２は、画像データ、深度データ及びサーモグラフィ画像データを直接的に情報処理装置１へ送信するように構成してもよい。以下、画像データ及び深度データを対象空間データと呼ぶ。

端末装置３は、例えばスマートフォン、携帯電話、タブレット端末、ＰＤＡ（Personal Digital Assistant）等の可搬型の情報処理端末である。端末装置３は、画像データ、深度データ、サーモグラフィ画像及び方位データが入力される入力インタフェースを備える。また、端末装置３は方位センサ３１を備える。

方位センサ３１は、例えば電子コンパス等の方位計であり、測定装置２の方位を示す方位データを出力する。

なお、方位データは、対象空間の方位を特定することが可能な情報であれば、その内容は特に限定されるものでは無い。例えば、方位データは、対象空間の緯度、経度、時刻及び天体の位置に基づく情報であってもよい。天体は、天球における位置が既知で、撮像可能な宇宙に存在する物体である。天体は、例えば、太陽、月、人工衛星等である。天球上の位置が既知の天体が撮像画像に含まれていて、撮像された対象空間の緯度経度と、撮像時刻とが分かれば、対象空間の方位を特定することができる。
方位データは、対象空間の緯度、経度、時刻、屋内の影の向き及び影の長さに基づく情報であってもよい。影の向き及び影の長さから太陽の位置が特定されるため、上記同様、対象空間の方位を特定することができる。
情報処理装置１の処理部１１は、これらの情報に基づいて、対象空間の方位を特定することができる。

端末装置３は、入力インタフェースを介して入力した画像データに基づいて、測定装置２が撮像した画像を表示装置に表示させる。端末装置３は、入力された画像データ、深度データ、及びサーモグラフィ画像と、方位センサ３１にて得られた方位データとを記憶し、適宜のタイミングで情報処理装置１へ送信する。端末装置３は、入力された画像データ、深度データ、及びサーモグラフィ画像と、方位センサ３１にて得られた方位データとを可搬型の記憶装置に記憶させるように構成してもよい。

このように構成された測定装置２によれば、使用者は、測定装置２を把持し、対象空間内を移動し、また測定装置２を様々な方向へ向けることにより、対象空間の壁面、床面、天井面及びオブジェクトを複数の位置及び方向から撮像及び測距することができる。測定装置２は、対象空間内を複数の位置から測定して得られる対象空間データ、サーモグラフィ画像データ及び方位データを情報処理装置１へ提供する。

＜情報処理装置１＞
情報処理装置１は、処理部１１、記憶部１２、取得部１３、表示部１４及び操作部１５を備える。
処理部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などの演算回路、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などの内部記憶装置、Ｉ／Ｏ端子などを有するプロセッサである。処理部１１は、物体検出及び画像認識に係る画像処理に特化したＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）又はＡＩチップ（ＡＩ用半導体）などの１又は複数の演算回路を備えてもよい。処理部１１は、記憶部１２に記憶されたコンピュータプログラムＰを読み出して実行することにより、対象空間の３次元空間モデルを作成する。３次元空間モデルの作成に係る各機能部は、ソフトウェア的に実現してもよいし、一部又は全部をハードウェア的に実現してもよい。

記憶部１２は、例えば、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリなどのストレージである。記憶部１２は、処理部１１が実行する各種のプログラム、処理部１１の処理に必要な各種のデータを記憶する。本実施形態において記憶部１２は、少なくとも処理部１１が実行するコンピュータプログラムＰと、学習モデル１６と、制気口判別モデル１７と、オブジェクトＤＢ１８とを記憶している。学習モデル１６、制気口判別モデル１７及びオブジェクトＤＢ１８の詳細は後述する。

コンピュータプログラムＰは、情報処理装置１の製造段階において記憶部１２に書き込まれる態様でもよいし、他の情報処理装置１などからネットワークを介して配信される態様でもよい。情報処理装置１は通信にてコンピュータプログラムＰを取得して記憶部１２に書き込む。コンピュータプログラムＰは、フラッシュメモリなどの半導体メモリ、光ディスク、光磁気ディスク、磁気ディスクなどの記録媒体１０に読み出し可能に記録された態様でもよい。情報処理装置１はコンピュータプログラムＰを読み出して記憶部１２に記憶する。

取得部１３は、外部装置との間でデータを有線又は無線で送受信する通信回路、又は可搬型の記憶装置からデータを読み出す読出回路である。情報処理装置１は、取得部１３を介して測定装置２から画像データ、深度データ、サーモグラフィ画像データ、方位データ等を取得する。
情報処理装置１は、取得部１３を介して、対象空間における換気装置の吸込口又は吹出口に関連するダクト系統を表したダクト系統図データを外部装置から取得する。ダクト系統図データは、ダクト系統の方向を表す方向情報と、ダクト系統の外形を示す外形情報とを含む。外形情報には、空調機又は換気装置の吸込口又は吹出口の位置を示す情報が含まれている。
情報処理装置１は、取得部１３を介して、対象空間の配管系統図を表した配管系統図データを外部装置から取得する。配管系統図データは、配管系統の方向を表す方向情報と、配管系統の外形を示す外形情報とを含む。配管系統図データは、室内機の位置、空調機の熱境界条件に係る情報等を含む。
情報処理装置１は、取得部１３を介して、対象空間の外気温時系列データ、対象空間における日照量時系列データを外部装置から取得する。

表示部１４は、例えば液晶表示パネル、有機ＥＬ表示パネルなどの表示装置である。処理部１１は、３次元空間モデルに係る画像を表示部１４に表示する。

操作部１５は、情報処理装置１の使用者の操作を受け付けるマウス、キーボード、タッチパネルなどの入力装置である。処理部１１は、操作部１５を介して使用者による３次元空間モデルの編集等を受け付ける。

なお、情報処理装置１は、ネットワークに接続されたサーバ装置であっても良い。情報処理装置１は、端末コンピュータと、サーバ装置とで構成してもよい。情報処理装置１は、複数台のコンピュータで構成し分散処理する構成でもよいし、１台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよいし、クラウドサーバを用いて実現されていてもよい。また、情報処理装置１は端末装置３であってもよい。つまり、端末装置３が情報処理装置１として機能するように構成してもよい。

＜学習モデル１６＞
図３は、本実施形態に係る学習モデル１６の概念図である。学習モデル１６は、例えば深層学習による学習済みの畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）を含む。学習モデル１６は、測定装置２を用いて撮像された画像データが入力される入力層１６ａと、画像データの特徴量を抽出する中間層１６ｂと、検出されたオブジェクトに係る推論結果を出力する出力層１６ｃとを有する。学習モデル１６は、例えばＹＯＬＯモデルである。

学習モデル１６の各層は複数のノードを有する。各層のノードはエッジで結ばれている。各層は、活性化関数（応答関数）を有し、エッジは重みを有する。各層のノードから出力される値は、前の層のノードの値と、エッジの重みと、層が持つ活性化関数とから計算される。エッジの重みは、学習によって変化させることができる。

学習モデル１６の入力層１６ａは、画像データ、つまり、対象空間及びオブジェクトの表面の画像を構成する各画素の画素値の入力を受け付ける複数のノードを有し、入力された画素値を中間層１６ｂに受け渡す。
中間層１６ｂは、複数組みの畳み込み層（ＣＯＮＶ層）及びプーリング層と、全結合層とを有する。畳み込み層は、前層のノードから出力された値に対してフィルタ処理を実行し、特徴マップを抽出する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップを得る。

出力層１６ｃは、画像データから検出されたオブジェクトに係る最終的な推論結果を出力するノードを有する。推論結果は、オブジェクトを囲むバウンディングボックスの中心座標位置及び縦横サイズ、バウンディングボックスで囲まれた画像がオブジェクトの画像であることの確からしさを示す物体検出スコアと、オブジェクトが特定のクラスに属する確からしさを示すクラススコアなどを含む。

なお、出力層１６ｃから得られる出力には、互いに重複する複数のバウンディングボックスが含まれているが、重複するバウンディングボックスを除去する後処理、例えばＮＭＳ（Non-Maximum Suppression）処理によって、対象空間の画像に含まれる一又は複数のオブジェクトそれぞれを囲む最も確からしいバウンディングボックスの位置及びサイズ、物体検出スコア及びクラススコアが得られる。

学習モデル１６の生成方法を説明する。まず、オブジェクトを含む対象空間の複数の画像データと、各画像データのアノテーションファイルとを含む訓練データを用意する。アノテーションファイルは、対応する画像に付与される正解値を示す教師データである。具体的には、アノテーションファイルは、対応する画像に含まれるオブジェクトの画像を囲むバウンディングボックスの中心座標位置、縦横サイズ、クラスを示すデータである。クラスは、オブジェクトの属性に応じて分類されるグループを示す。

訓練データの画像が、ＣＮＮに入力された場合に、当該ＣＮＮから出力されるデータと、教師データが示すデータとの誤差（所定の損失関数又は誤差関数の値）が小さくなるように、誤差逆伝播法、誤差勾配降下法などを用いて、ニューラルネットワークの重み係数を最適化することによって、学習モデル１６を生成することができる。

なお、学習モデル１６の一例としてＹＯＬＯを説明したが、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、その他のＣＮＮ、ビジョン・トランスフォーマ（Vision Transformer）などを用いて学習モデル１６を構成してもよい。また、決定木、ランダムフォレスト、ＳＶＭ（Support Vector Machine）などのアルゴリズムを用いた学習モデル１６を用いてもよい。更に学習モデル１６は、上記した複数のアルゴリズムを組み合わせて構成してもよい。

制気口判別モデル１７は、空調機又は換気装置の制気口の画像データに基づいて、制気口が吸込口であるか吹出口であるかを判別する画像認識学習モデルである。制気口判別モデル１７は、例えば深層学習による学習済みの畳み込みニューラルネットワーク（CNN: Convolutional neural network）を含む。ニューラルネットワークの構成自体は、学習モデル１６と同様である。制気口判別モデル１７は、空調機又は換気装置の制気口の画像部分（以下、制気口画像と呼ぶ）のデータである制気口画像データが入力される入力層と、制気口画像データの特徴量を抽出する中間層と、制気口画像が吸込口又は吹出口に該当する確度を示す確度データを出力する出力層とを有する。

制気口判別モデル１７の生成方法を説明する。まず、複数の制気口画像データと、各制気口画像が吸込口又は吹出口のいずれに該当するかを示す教師データとを含む訓練データを用意する。そして、処理部１１は、訓練データの制気口画像が、ＣＮＮに入力された場合に、当該ＣＮＮから出力されるデータと、教師データが示すデータとの誤差（所定の損失関数又は誤差関数の値）が小さくなるように、誤差逆伝播法、誤差勾配降下法などを用いて、ニューラルネットワークの重み係数を最適化することによって、制気口判別モデル１７を生成することができる。

なお、十分な判別精度が得られるのであれば、学習モデル１６を用いて、吸込口及び吹出口を判別するように構成してもよい。

＜オブジェクトＤＢ１８＞
図４は、本実施形態に係るオブジェクトＤＢ１８の概念図である。オブジェクトＤＢ１８は、例えば、オブジェクトのクラスと、オブジェクトの種類と、機密性と、境界条件の種類と、境界条件のパラメータとを対応付けて記憶している。オブジェクトの種類は、上記した什器、建具、人、産業機械、植物、空調機、換気装置等が含まれる。機密性は、オブジェクトが秘匿対象オブジェクトであるか、非秘匿対象オブジェクトであるかを示すデータである。境界条件のパラメータは、例えば、オブジェクト表面における温度、圧力、流速のディリクレ境界条件、ノイマン境界条件等を示すデータである。パラメータは、例えば、顕熱、潜熱、風量、風向、風速等を含む。

環境条件のパラメータは、対象空間の環境に対する秘匿対象オブジェクトの影響を規定する影響規定データの一例である。

＜情報処理方法＞
図５は、本実施形態に係る情報処理装置１システムの処理手順を示すフローチャートである。使用者によって測定装置２は対象空間内を移動又は回転し、対象空間を撮像及び測距する（ステップＳ１１１）。赤外線カメラ２４は対象空間を赤外線にて撮像する（ステップＳ１１２）。方位センサ３１は測定装置２の方位を検出する（ステップＳ１１３）。

端末装置３は、対象空間データと、サーモグラフィ画像データと、方位データとを情報処理装置１へ送信する（ステップＳ１１４）。

情報処理装置１の処理部１１は、端末装置３から出力された対象空間データ、サーモグラフィ画像データ、及び方位データを取得する（ステップＳ１１５）。

方位データが、対象空間の方位を直接的に表すもので無い場合、処理部１１は演算処理によって、方位を直接的に示すデータに変換するとよい。
例えば、処理部１１は、対象空間の緯度、経度、時刻及び天体の位置に基づいて、方位を示すデータを算出する。
例えば、処理部１１は、対象空間の緯度、経度、時刻、屋内の影の向き及び影の長さに基づいて、方位を示すデータを算出する。
なお、処理部１１は、画像データ及び時間データに基づいて、３次元空間の方位を示すデータを算出してもよい。

処理部１１は、外部装置からダクト系統図データを取得し（ステップＳ１１６）、配管系統図データを取得する（ステップＳ１１７）。処理部１１は、外部装置から外気温時系列データを取得する（ステップＳ１１８）。処理部１１は、外部装置から日照量時系列データを取得する（ステップＳ１１９）。
例えば、対象空間の周辺に設けられたセンサが外気温時及び日照量を検出し、外気温時系列データ及び日照量時系列データを情報処理装置１へ送信する。処理部１１は、当該センサから外気温時系列データ及び日照量時系列データを取得する。
なお、処理部１１は、外気温時系列データ及び日照量時系列データ等の気象情報を配信する外部サーバからこれらのデータを取得するように構成してもよい。

処理部１１は、取得した対象空間データ等の各種データに基づいて、オブジェクトが対象空間に与える影響を反映させた３次元空間モデルを作成する（ステップＳ１２０）。

＜３次元空間モデル作成＞
図６及び図７は、３次元空間モデルの作成処理手順を示すフローチャート、図８は、３次元点群及び撮影画像の一例を示す説明図、図９は、３次元空間モデルの一例を示す説明図、図１０は、秘匿対象オブジェクトの秘匿化処理を示す概念図である。

処理の概要は次の通りである。流体解析のための３次元空間モデルを作成するにあたって、画像データ及び深度データを解析することにより、対象空間の３次元点群データを作成し、流体解析を行う際に考慮する必要がある熱源などの要素ついて、事前学習済みの学習モデル１６を用いることにより、撮影画像からその種類と３次元点群データにおける位置を特定し、３次元空間モデルに反映させる。

情報処理装置１の処理部１１は、図８に示すように、画像データ及び深度データに基づいて、対象空間の３次元点群を復元する（ステップＳ１３１）。図８中、上図は画像データと深度データを示し、左下図は３次元点群データを示している。右下図は、当該３次元点群データに対応する画像データを示している。

処理部１１は、図９に示すように、３次元点群データに基づいて、自己位置推定技術及び視線方向推定技術を用いて流体計算用の３次元空間モデルを作成する（ステップＳ１３２）。処理部１１は、自己位置推定技術及び視線方向推定技術を用いて、対象空間の壁面、床面、天井面に相当する平面、各種機器、什器等のオブジェクトの外面に相当する平面、各平面の位置を特定することができ、複数の面で構成される３次元空間モデルを作成する。

処理部１１は、画像データを学習モデル１６に入力することによって、図８右下図に示すように、オブジェクト（非秘匿対象オブジェクト及び秘匿対象オブジェクト）を検出し、当該オブジェクトの位置及びクラスを認識する（ステップＳ１３３）。また、処理部１１は、オブジェクトの寸法を認識する。クラスをキーにしてオブジェクトＤＢ１８を参照することによって、処理部１１は、検出したオブジェクトが秘匿対象オブジェクトであるか否かを認識する。オブジェクトの画像データに熱境界条件に関連する文字、記号等の文字等情報が含まれている場合、処理部１１は、当該文字等情報を読み取り、オブジェクトの属性、熱境界条件に係る情報を取得するように構成してもよい。

処理部１１は、オブジェクトの認識結果に基づいて、非秘匿対象オブジェクト及び秘匿対象オブジェクトの境界条件を特定する（ステップＳ１３４）。具体的には、処理部１１は非秘匿対象オブジェクト及び秘匿対象オブジェクトのクラスに対応する境界条件のパラメータを読み出すことによって、境界条件の値を特定する。

処理部１１は、非秘匿対象オブジェクト及び秘匿対象オブジェクトの境界条件を３次元空間モデルに付与する（ステップＳ１３５）。３次元空間において境界条件が設定される位置は、ステップＳ１３２で認識したオブジェクトの位置及び寸法、３次元点群に基づいて、特定される。

なお、処理部１１は、対象空間において、椅子のオブジェクトを認識した場合は、椅子のオブジェクトに人の熱境界条件を付与するように構成してもよい。情報処理装置１の記憶部１２は、人のオブジェクトの典型的な所定の熱境界条件、例えば顕熱、潜熱を記憶しており、処理部１１は当該熱境界条件を椅子のオブジェクトに付与するとよい。

処理部１１は、サーモグラフィ画像データに基づいて、非秘匿対象オブジェクト及び秘匿対象オブジェクトの温度、熱量又は温度特性を特定し、当該オブジェクトの発熱条件を付与する（ステップＳ１３６）。

什器等のオブジェクトの熱量を用いることで対象空間の環境をより詳細に解析を行うことが可能となる。そこで、サーモグラフィを用いて計測することによって、オブジェクトの温度又は熱量を算出し、流体計算用モデルに反映する。

３次元空間モデルに含まれる秘匿対象オブジェクトを、秘匿情報を含まないモデルオブジェクトに置換する（ステップＳ１３７）。モデルオブジェクトの形状は、秘匿対象オブジェクトを囲む略直方体のオブジェクトであってもよいし、秘匿対象オブジェクトに応じた形状のオブジェクトであってもよい。例えば、記憶部１２は、秘匿対象オブジェクトのクラスに対応付けて、モデルオブジェクトを記憶するように構成してもよい。処理部１１は、秘匿対象オブジェクトのクラスに対応するモデルオブジェクトを読み出し、当該秘匿対象オブジェクトを、読み出した当該モデルオブジェクトに置換する。

秘匿対象オブジェクトをモデルオブジェクトに置換する方法は、秘匿対象オブジェクトの秘匿化方法の一例である。秘匿対象オブジェクトを秘匿化することができれば、任意の方法で秘匿対象オブジェクトを加工するように構成してもよい。
秘匿対象オブジェクトを秘匿化するコンピュータ及びタイミングは特に限定されるものでは無い。情報処理装置１が端末コンピュータと、サーバ装置とで構成されている場合、端末コンピュータで実行してもよいし、サーバ装置で実行してもよい。端末装置３が秘匿対象オブジェクトを秘匿化する処理を実行するように構成してもよい。

以下、その他の境界条件設定方法を説明する。
処理部１１は、空調機又は換気装置の制気口の画像データを、制気口判別モデル１７に入力することによって、制気口が吸込口及び吹出口のいずれであるかを判別する（ステップＳ１３８）。

ステップＳ１３８においては、機械学習モデルを用いて吸込口及び吹出口の判別する例を説明したが、制気口の画像データに基づいて、吸込口及び吹出口に関連する特徴量を算出し、算出された特徴量に基づいて、当該制気口が吸込口又は吹出口のいずれであるか判別するように構成してもよい。

処理部１１は、学習モデル１６を用いたステップＳ１３３の画像認識処理によって、十分な確度で吸込口及び吹出口を判別できた場合、ステップＳ１３８～ステップＳ１４１の処理を省略してもよい。

処理部１１は、取得した対象空間の方位に関連する方位データと、対象空間データに基づく対象空間の外形を表す情報と、ダクト系統図データとに基づいて、対象空間データによって表される対象空間と、ダクト系統データによって表されるダクト系統との位置合わせを行う（ステップＳ１３９）。なお、エレベータ、階段、柱などの正確な位置が客観的に分かっていて不変のものの位置を基準として、対象空間とダクト系統との位置合わせを行うように構成してもよい。

処理部１１は、取得したダクト系統図データに基づいて、制気口が吸込口及び吹出口のいずれであるかを判別する（ステップＳ１４０）。ステップＳ１４０では、画像認識では判定しづらい情報であるダクト式の吸込口と吹出口についてはダクト系統図を用いて判定する。
ダクト式の空調機又は換気装置の吸込口及び吹出口に関しては、吸込口か吹出口かによって流体計算の結果が大きく異なるため、これらを正しく判別する必要があるが、これらの見た目に大きな違いが無いため、画像認識のみでは吸込口か吹出口を判別することが難しい。そこで、対象空間におけるダクト系統図から吸込口及び吹出口の情報を取得することにより、３次元空間モデルに反映する。

ステップＳ１４０によれば、３次元空間モデルを作成する際にダクト系統図を用いることで、空調機又は換気装置のダクト系統を認識し、吸込口と吹出口の熱境界条件の設定を支援することができる。

処理部１１は、制気口が含まれるサーモグラフィ画像データに基づいて、当該制気口が吸込口及び吹出口のいずれであるかを判別する（ステップＳ１４１）。ステップＳ１４１では、サーモグラフィ画像を用いることによって、空調機又は換気装置の吸込口と吹出口の温度、天井面の温度を測定することにより、吸込口及び吹出口を判別し、吸込口及び吹出口の熱境界条件を３次元空間モデルに反映する。

処理部１１は、対象空間の方位に関連する方位データを取得し、取得した方位データと、対象空間データに基づく対象空間の外形を表す情報と、配管系統図データとに基づいて、対象空間データによって表される対象空間と、配管系統図データによって表される配管系統との位置合わせを行う（ステップＳ１４２）。

取得した配管系統図データに基づく空調機の熱境界条件を３次元空間モデルに付与する（ステップＳ１４３）。空調機の配管系統と、対象空間との位置合わせが行われているため、処理部１１は、当該対象空間に含まれる空調機のオブジェクトと、配管系統との関係を特定することができる。処理部１１は、空調機のオブジェクトに対応する配管系統の熱境界条件に係る情報を特定することができ、当該オブジェクトの熱境界条件を３次元空間モデルに付与することができる。

ステップＳ１４２及びステップＳ１４３では、気流解析を行う際、空調機の系統情報が重要となる。しかし、オブジェクトの画像認識のみでは、空調機の十分な情報を得ることができない。そこで配管系統図データを用いることにより、室内機の系統情報を３次元空間モデルに反映さえることができる。なお、３次元空間モデルに配管系統図を重畳表示してもよい。

処理部１１は、サーモグラフィ画像データと、対象空間の外気温時系列データと、日照量時系列データと、建具の厚みデータに基づいて、建具の熱貫流率を算出する（ステップＳ１４４）。処理部１１は算出した熱貫流率を建具の熱境界条件として付与する（ステップＳ１４５）。建具の厚みは、ステップＳ１３３の画像認識処理により得られる。処理部１１は、ステップＳ１３３の画像認識処理結果と、３次元点群のデータとを組み合わせて、建具の厚みを算出するように構成してもよい。

壁、窓等の建具の熱貫流率を用いることで対象空間の環境をより詳細に解析を行うことが可能となる。そこで、ステップＳ１４４及びステップＳ１４５では、サーモグラフィを用いて計測することによって、建具の熱貫流率を算出し、３次元空間モデルに反映する。
ステップＳ１４４及びステップＳ１４５によれば、サーモグラフィ画像と、外気温時系列データ及び日射量時系列データを用いることで、壁、窓等の建具の熱貫流率を算出し、熱境界条件の入力を支援することができる。

処理部１１は、画像データに基づいて、対象空間の利用シーンを特定し（ステップＳ１４６）、特定した対象空間の利用シーンを示す利用シーンデータを３次元空間データに付与する（ステップＳ１４７）。例えば、病院、学校、工場、オフィスなどのシーンに合わせた３次元空間データに属性を付与する。

処理部１１は、画像データに基づいて、対象空間に含まれる床下コンセントを特定し、床下コンセントの位置を示すデータを３次元空間データに付与してもよい。

処理部１１は、取得した方位データ又は方位データに基づく情報を３次元空間モデルに付加し（ステップＳ１４８）、３次元空間モデルの作成処理を終える。例えば、３次元空間モデルの方位を示すデータを、当該３次元空間モデルに付加する。

図５に戻り、処理部１１は、対象空間データがオブジェクトを重複して含んでいるかどうかを判別する（ステップＳ１２１）。処理部１１は、例えば、複数のオブジェクトの形状及び属性の類似性が所定値以上であって、複数のオブジェクトの距離が所定距離未満である場合、当該複数のオブジェクトを重複したオブジェクトと判定する。

図１１は、重複オブジェクトの除外処理を示す概念図である。オブジェクトが重複している場合（ステップＳ１２１：ＹＥＳ）、処理部１１は、図１１に示すように、重複するオブジェクトを除外する（ステップＳ１２２）。

ステップＳ１２２の処理を終えた場合、オブジェクトが重複していないと判定した場合（ステップＳ１２１：ＮＯ）、処理部１１は、３次元空間モデルの編集処理を実行する（ステップＳ１２３）。

３次元空間モデルの自動作成に加えて任意の編集を可能とし、３次元点群データを重畳表示しながら流体計算用モデルの編集を受け付けることにより、正確な流体計算用モデルの作成を可能とする。ガラスやミラーなど赤外線が透過、反射するような特殊な面については正しく面として認識されない場合があるため、このような場合については３次元空間モデルにおける対象の面を手作業で修正及び作成し、特定した要素の種類や位置が実際と異なる場合についても手作業で修正及び作成する。この際、３次元点群データを重畳表示しながら修正及び作成を受け付けることにより、より正確な流体計算用モデルの作成を可能とする。

図１２は、オブジェクトの編集処理手順を示すフローチャートである。処理部１１は、作成した３次元空間モデルに３次元点群を重畳させて表示部１４に表示させる（ステップＳ１５１）。処理部１１は、操作部１５を介して、オブジェクトの変更を受け付け（ステップＳ１５２）、受け付けた操作に従って、オブジェクトを変更する（ステップＳ１５３）。例えば、処理部１１は、オブジェクトの形状、クラス、境界条件のパラメータの変更を受け付け、変更する。

対象空間において、人が移動した際や、集合した際は、３次元空間モデルが変化する。処理部１１は、対象空間における人のオブジェクトの増減、位置の変更を受け付け、人のオブジェクトの数及び位置を変更する。

処理部１１は、対象空間の座席配置図に関連するデータを取得し、取得したデータと、対象空間データに基づく対象空間の外形を表す情報とに基づいて、座席のオブジェクトに人の熱境界条件を付与するように構成してもよい。座席配置図は、対象空間における座席のオブジェクトの位置を示すデータである。処理部１１は、対象空間データによって表される対象空間と、座席配置図に関連するデータによって表される座席のオブジェクトの位置とから、当該座席のオブジェクトに、人のオブジェクトの熱境界条件を付与する。情報処理装置１の記憶部１２は、人のオブジェクトの典型的な所定の熱境界条件を記憶しており、処理部１１は当該熱境界条件を座席のオブジェクトに付与するとよい。

図１３は、オブジェクトの変更方法を示す概念図である。図１３Ａは、認識済みのオブジェクトを含む対象空間の３次元空間モデルを示している。図１３Ｂは、編集対象のオブジェクトが選択された状態を示し、図１３Ｃは、オブジェクトの形状が変更された状態を示している。

処理部１１は、操作部１５を介して、オブジェクトの追加を受け付け（ステップＳ１５４）、受け付けた操作に従って、オブジェクトを追加する（ステップＳ１５５）。

図１４は、オブジェクトの追加方法を示す概念図である。図１４Ａは、実際には存在するオブジェクトが認識されていない対象空間の３次元空間モデルを示している。図１４Ｂは、オブジェクトの追加操作が行われている状態を示し、図１４Ｃは、オブジェクトが追加された状態を示している。

処理部１１は、操作部１５を介して、３次元空間の平面の変更及び追加を受け付け（ステップＳ１５６）、受け付けた操作に従って、３次元空間の平面を変更し、又は追加する（ステップＳ１５７）。平面は、対象空間における壁面等に相当する部分である。使用者は操作部１５を操作することによって、壁面の位置及び寸法を変更することができる。また使用者は操作部１５を操作することによって、３次元空間モデルに反映させていなかった壁面を追加することができる。

図１５は、対象空間を構成する平面の編集方法を示す概念図である。図１５Ａは、実際には存在する壁平面が認識されていない対象空間の３次元空間モデルを示している。図１５Ｂは、壁平面の追加操作が行われている状態を示し、図１５Ｃは、壁平面が追加された状態を示している。

なお、処理部１１は、上記した処理ステップの任意のタイミングで、ステップＳ１３２及びステップＳ１３３と同様の処理により、オブジェクトの寸法、形状、顕熱、潜熱、風量、風向、風速、境界条件のパラメータなどの属性を特定し、特定されたオブジェクトの属性を画像データに反映させた拡張現実画像を作成してもよい。例えば、処理部１１は、測定装置２にて対象空間を撮像して得た画像データに、該画像に含まれるオブジェクトの属性を現す画像を重畳表示させるデータを付加する。対象空間の画像データを再生する任意の表示装置は、拡張現実画像を再生することによって拡張現実映像を再現することができる。

＜作用効果＞
本実施形態に係る情報処理装置１等によれば、対象空間内を複数の位置から測定して得られる対象空間データに基づいて、対象空間に含まれるオブジェクトが対象空間の環境に及ぼす影響を反映させた３次元空間モデルを作成することができる。
流体計算用モデル（室内モデル、什器や熱源などの要素モデル）である３次元空間モデルの作成工数を削減することができる。室内形状及び什器の採寸作業が無くなり、採寸誤差が無くなる。

ダクト系統図データを用いて、吸込口又は吹出口の差異を考慮した境界条件を付与した３次元空間モデルを作成することができる。

サーモグラフィ画像を用いて、吸込口又は吹出口の差異を考慮した境界条件を付与した３次元空間モデルを作成することができる。

画像認識処理により、吸込口又は吹出口の差異を考慮した境界条件を付与した３次元空間モデルを作成することができる。

配管系統図データを用いることにより、室内機の系統情報を付与した３次元空間モデルを作成することができる。

サーモグラフィ画像等に基づいて、壁、窓等の建具の熱貫流率を付与した３次元空間モデルを作成することができる。

使用者の操作により、３次元空間モデルに含まれる対象空間及びオブジェクトを編集して変更することができる。

使用者の操作により、３次元空間モデルに対象空間の壁平面、オブジェクトを追加することができる。

方位情報を含む３次元空間モデルを作成することができる。

対象空間の利用シーンを示すデータを含む３次元空間モデルを作成することができる。

重複オブジェクトを除去した３次元空間モデルを作成することができる。

対象空間に含まれる機密性を有するオブジェクトを秘匿化すると共に、当該オブジェクトが対象空間の環境に及ぼす影響を反映させた３次元空間モデルを作成することができる。

秘匿対象オブジェクトをモデルオブジェクトに置換した３次元空間モデルを作成することができる。

以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。上記の実施形態の少なくとも一部を任意に組み合わせてもよい。

１ 情報処理装置
２ 測定装置
３ 端末装置
１１ 処理部
１２ 記憶部
１３ 取得部
１４ 表示部
１５ 操作部
１６ 学習モデル
１７ 制気口判別モデル
１８ オブジェクトＤＢ
２１ ＲＧＢセンサ
２２ 深度センサ
２３ ＩＲ投射器
２４ 赤外線カメラ
３１ 方位センサ
Ｐ コンピュータプログラム

Claims (32)

1. 対象空間内を複数の位置から測定して得られる対象空間データを取得する取得部と、
   取得したデータを処理する処理部とを備え、
   前記処理部は、
   取得した前記対象空間データから、前記対象空間の環境に影響を及ぼす前記対象空間のオブジェクトの属性及び位置を認識し、
   前記対象空間データに、前記対象空間のオブジェクトの属性及び位置を関連付けて出力する
   情報処理装置。
2. 前記取得部が取得した前記対象空間データと、前記対象空間のオブジェクトの属性及び位置とに基づいて、前記対象空間の環境に影響を及ぼす前記対象空間のオブジェクトの属性及び位置を反映した、前記対象空間の拡張現実映像を作成する
   請求項１に記載の情報処理装置。
3. 前記取得部が取得した前記対象空間データと、前記対象空間のオブジェクトの属性及び位置とに基づいて、前記対象空間の環境に影響を及ぼす前記対象空間のオブジェクトの属性及び位置を反映した、前記対象空間の３次元空間モデルを作成する
   請求項１に記載の情報処理装置。
4. 前記３次元空間モデルは前記対象空間の環境を予測するためのモデルである
   請求項３に記載の情報処理装置。
5. 前記対象空間のオブジェクトは、
   対象空間の気流に影響を及ぼすオブジェクトと、
   対象空間の熱環境に影響を及ぼすオブジェクトと、
   対象空間の空気質に影響を及ぼすオブジェクトと、
   対象空間の環境を制御するオブジェクトと
   の少なくとも一つを含む請求項１に記載の情報処理装置。
6. 前記対象空間のオブジェクトは、
   什器と、建具と、
   人と、産業機械と、植物と、
   空調機と、換気装置と
   の少なくとも一つを含む請求項１に記載の情報処理装置。
7. 前記対象空間のオブジェクトは空調機又は換気装置を含み、
   前記処理部は前記空調機又は前記換気装置の制気口を認識して、前記制気口が吸込口であるか吹出口であるかを判別する
   請求項１に記載の情報処理装置。
8. 前記処理部は、
   前記対象空間における前記吸込口又は前記吹出口に関連するダクト系統を表したダクト系統データを取得し、
   取得した前記ダクト系統データに基づいて、前記対象空間における前記吸込口又は前記吹出口を判別する
   請求項７に記載の情報処理装置。
9. 前記ダクト系統データは、前記ダクト系統の方位及び外形を示す方位情報及び外形情報を含み、
   前記処理部は、
   前記対象空間の方位に関連する方位情報を取得し、取得した前記方位情報と、前記対象空間データに基づく前記対象空間の外形を表す情報と、前記ダクト系統データとに基づいて、前記対象空間データによって表される前記対象空間と、前記ダクト系統データによって表される前記ダクト系統との位置合わせを行う
   請求項８に記載の情報処理装置。
10. 前記処理部は、
    前記対象空間のサーモグラフィデータを取得し、
    取得したサーモグラフィデータに基づいて、前記吸込口又は前記吹出口を判別する
    請求項７に記載の情報処理装置。
11. 前記対象空間データは前記対象空間の画像データを含み、
    前記処理部は、
    取得した前記画像データに基づいて、前記吸込口又は前記吹出口に関連する特徴量を算出し、算出された前記特徴量に基づいて前記吸込口又は前記吹出口を判別する
    請求項７に記載の情報処理装置。
12. 前記対象空間のオブジェクトの属性は、前記対象空間のオブジェクトの寸法と、形状と、顕熱と、潜熱と、風量と、風向と、風速との少なくとも一つを含む
    請求項１から請求項３のいずれか１項に記載の情報処理装置。
13. 前記処理部は、
    前記対象空間のオブジェクトの属性に応じた熱境界条件を含む前記３次元空間モデルを作成する
    請求項３又は請求項４に記載の情報処理装置。
14. 前記処理部は、
    前記対象空間における空調機の配管系統を表した配管系統データを取得し、
    取得した前記配管系統データに基づいて、前記空調機の熱境界条件を含む前記３次元空間モデルを作成する
    請求項１３に記載の情報処理装置。
15. 前記配管系統データは、前記配管系統の方位及び外形を示す方位情報及び外形情報を含み、
    前記処理部は、
    前記対象空間の方位に関連する方位情報を取得し、取得した前記方位情報と、前記対象空間データに基づく前記対象空間の外形を表す情報と、前記配管系統データとに基づいて、前記対象空間データによって表される前記対象空間と、前記配管系統データによって表される前記配管系統との位置合わせを行う
    請求項１４に記載の情報処理装置。
16. 前記処理部は、
    前記対象空間のサーモグラフィデータを取得し、取得したサーモグラフィデータに基づいて、前記オブジェクトの温度を熱境界条件として含む前記３次元空間モデルを作成する
    請求項１３に記載の情報処理装置。
17. 前記処理部は、
    前記対象空間のサーモグラフィデータ、前記対象空間の外気温データ、日照量データ、及び建具の厚みデータを取得し、取得した各データに基づいて、前記建具の熱貫流率を熱境界条件として含む前記３次元空間モデルを作成する
    請求項１３に記載の情報処理装置。
18. 前記処理部は、
    前記対象空間のオブジェクトの属性及び位置の編集を受け付け、前記３次元空間モデルを変更する
    請求項３又は請求項４に記載の情報処理装置。
19. 前記処理部は、
    前記対象空間のオブジェクトの追加を受け付け、前記３次元空間モデルを変更する
    請求項３又は請求項４に記載の情報処理装置。
20. 前記取得部は、
    前記対象空間内の形状に係る物理量を測定する測定装置を移動又は回転させて得た前記対象空間データを取得する
    請求項１から請求項３のいずれか１項に記載の情報処理装置。
21. 前記処理部は、
    自己位置推定処理又は視線方向推定処理により、前記対象空間及び前記対象空間のオブジェクトの位置を特定する
    請求項１から請求項３のいずれか１項に記載の情報処理装置。
22. 前記取得部は、
    前記対象空間の方位に関連する方位情報を取得し、
    前記処理部は、
    前記取得部が取得した前記方位情報、又は前記方位情報に基づく情報を含む前記３次元空間モデルを作成する
    請求項３又は請求項４に記載の情報処理装置。
23. 前記方位情報は、
    前記対象空間の緯度、経度、時刻及び天体の位置に基づく情報、又は前記対象空間の緯度、経度、時刻、屋内の影の向き及び影の長さに基づく情報である
    請求項２２に記載の情報処理装置。
24. 前記対象空間データは、ＲＧＢデータ及び時間データを含み、
    前記処理部は、
    前記ＲＧＢデータ及び前記時間データに基づいて、前記対象空間の方位を特定し、
    特定された方位を示す方位情報、又は前記方位情報に基づく情報を含む前記３次元空間モデルを作成する
    請求項３又は請求項４に記載の情報処理装置。
25. 前記対象空間データは、ＲＧＢデータ及び時間データを含み、
    前記処理部は、
    前記ＲＧＢデータ及び前記時間データに基づいて、前記対象空間の利用シーンを特定する
    請求項１から請求項３のいずれか１項に記載の情報処理装置。
26. 前記処理部は、前記対象空間データが前記対象空間のオブジェクトを重複して含んでいるかどうかを判別する
    請求項１から請求項３のいずれか１項に記載の情報処理装置。
27. 前記処理部は、
    前記対象空間に含まれる前記オブジェクトを重複して認識した場合、重複する前記オブジェクトを除外する
    請求項２４のいずれか１項に記載の情報処理装置。
28. 前記取得部が取得した前記対象空間データに基づいて、前記対象空間の秘匿対象オブジェクトの属性及び位置を認識し、
    前記取得部が取得した前記対象空間データと、前記対象空間における前記オブジェクトの属性及び位置と、前記対象空間における前記秘匿対象オブジェクトの属性及び位置とに基づいて、前記対象空間の環境に対する前記オブジェクト及び前記秘匿対象オブジェクトの前記属性及び位置を反映した、前記対象空間の前記３次元空間モデルを作成し、
    前記秘匿対象オブジェクトを加工する
    請求項３又は請求項４に記載の情報処理装置。
29. 請求項１から請求項３のいずれか１項に記載の情報処理装置と、
    前記対象空間内の形状に係る物理量を測定する測定装置と
    を備え、
    前記情報処理装置は、
    前記測定装置から前記対象空間データを取得する
    情報処理システム。
30. 対象空間内を複数の位置から測定して得られる対象空間データを取得する取得部と、取得したデータを処理する処理部とを備え、
    前記処理部は、
    前記対象空間の環境に影響を及ぼす前記対象空間のオブジェクトの属性及び位置を認識し、
    前記対象空間データに、前記対象空間のオブジェクトの属性及び位置を関連付けて出力する
    情報処理システム。
31. 対象空間内を複数の位置から測定して得られる対象空間データを取得し、
    前記対象空間の環境に影響を及ぼす前記対象空間のオブジェクトの属性及び位置を認識し、
    前記対象空間データに、前記対象空間のオブジェクトの属性及び位置を関連付けて出力する
    情報処理方法。
32. 対象空間内を複数の位置から測定して得られる対象空間データを取得し、
    前記対象空間の環境に影響を及ぼす前記対象空間のオブジェクトの属性及び位置を認識し、
    前記対象空間データに、前記対象空間のオブジェクトの属性及び位置を関連付けて出力する
    処理をコンピュータに実行させるためのコンピュータプログラム。

Images