JP7502698B2 - 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム Download PDF

Info

Publication number
JP7502698B2
JP7502698B2 JP2023111612A JP2023111612A JP7502698B2 JP 7502698 B2 JP7502698 B2 JP 7502698B2 JP 2023111612 A JP2023111612 A JP 2023111612A JP 2023111612 A JP2023111612 A JP 2023111612A JP 7502698 B2 JP7502698 B2 JP 7502698B2
Authority
JP
Japan
Prior art keywords
target space
data
concealed
target
concealment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023111612A
Other languages
English (en)
Other versions
JP2024031827A (ja
Inventor
大輔 佐藤
寛明 金山
俊介 左部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Publication of JP2024031827A publication Critical patent/JP2024031827A/ja
Application granted granted Critical
Publication of JP7502698B2 publication Critical patent/JP7502698B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示は、情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラムに関する。
特許文献1は、3次元点群データを基に物体の形状を示すモデルデータを作成し、作成したモデルデータを用いて流体計算を行う技術を開示する。特許文献1では、3次元点群データを用いて3次元空間の形状情報を取得し、室内外形モデルを作成することが可能である。
特許第6286902号公報
しかしながら、3次元点群データに機密性を有するオブジェクトが含まれている場合、機密性のあるオブジェクトがそのままモデル化されるという問題があった。単純に機密情報を要するオブジェクトをマスクすることも考えられるが、流体計算に必要な境界条件が設定されず、流体計算の精度が低下するという問題があった。
本開示の目的は、対象空間に含まれる機密性を有するオブジェクトを秘匿化すると共に、秘匿対象オブジェクトの属性及び位置を関連付けて出力することができる情報処理装置等を提供することにある。
本開示の第1の観点に係る情報処理装置は対象空間内を測定して得られる対象空間データを取得する取得部と、処理部とを備え、前記処理部は、前記取得部が取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、前記取得部が取得した前記対象空間データと、前記対象空間における前記秘匿対象オブジェクトの属性及び位置とに基づいて、前記対象空間の環境に対する前記秘匿対象オブジェクトの前記属性及び位置を関連付けて出力し、前記秘匿対象オブジェクトの秘匿情報を加工する。
すなわち、本開示の第1の観点に係る情報処理装置は対象空間内を測定して得られる対象空間データを取得する取得部と、処理部とを備え、前記処理部は、前記取得部が取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、前記対象空間データと前記秘匿対象オブジェクトの属性及び位置を関連付けて出力し、前記秘匿対象オブジェクトの秘匿情報を加工する。
本開示の第2の観点に係る情報処理装置は、第1の観点に係る情報処理装置であって、前記取得部が取得した前記対象空間データと、前記対象空間における前記秘匿対象オブジェクトの属性及び位置とに基づいて、前記対象空間の環境に対する前記秘匿対象オブジェクトの前記属性及び位置を反映した、前記対象空間の3次元空間モデルを作成し、前記3次元空間モデル内における前記秘匿対象オブジェクトの秘匿情報を加工する。
本開示の第3の観点に係る情報処理装置は、第1の観点又は第2の観点に係る情報処理装置であって、前記秘匿対象オブジェクトは、表示装置と、人と、産業機械と、書類と、行先表示板と、掲示物と、ホワイトボードと、黒板と、付箋と、郵便物との少なくとも一つを含む。
本開示の第4の観点に係る情報処理装置は、第1の観点から第3の観点に係る情報処理装置であって、前記処理部は、前記対象空間のサーモグラフィデータを取得する。
本開示の第5の観点に係る情報処理装置は、第1の観点から第4の観点のいずれか一つに係る情報処理装置であって、前記処理部は、取得したサーモグラフィデータに基づいて、前記秘匿対象オブジェクトの発熱条件を含む前記3次元空間モデルを作成する。
本開示の第6の観点に係る情報処理装置は、第1の観点から第5の観点のいずれか一つに係る情報処理装置であって、前記処理部は、前記秘匿対象オブジェクトの属性と、前記対象空間の環境に対する前記秘匿対象オブジェクトの影響を規定する影響規定データとを対応付けて記憶した記憶部から、前記秘匿対象オブジェクトの前記影響規定データを取得し、取得した前記対象空間データ及び前記影響規定データに基づいて、前記3次元空間モデルを作成する。
本開示の第7の観点に係る情報処理装置は、第1の観点から第6の観点のいずれか一つに係る情報処理装置であって、前記影響規定データは熱境界条件を含む。
本開示の第8の観点に係る情報処理装置は、第1の観点から第7の観点のいずれか一つに係る情報処理装置であって、前記処理部は、前記対象空間データが前記秘匿対象オブジェクトを重複して含んでいるかどうかを判別する。
本開示の第9の観点に係る情報処理装置は、第1の観点から第8の観点のいずれか一つに係る情報処理装置であって、前記処理部は、前記対象空間に含まれる前記秘匿対象オブジェクトを重複して認識した場合、重複する前記秘匿対象オブジェクトを除外する。
本開示の第10の観点に係る情報処理装置は、第1の観点から第9の観点のいずれか一つに係る情報処理装置であって、前記処理部は、前記秘匿対象オブジェクトを、秘匿情報を含まないモデルオブジェクトに置換して前記3次元空間モデルを作成する。
本開示の第11の観点に係る情報処理システムは、第1の観点から第10の観点のいずれか一つに係る情報処理装置と、前記対象空間内の形状に係る物理量を測定する測定装置とを備え、前記情報処理装置は、前記測定装置から前記対象空間データを取得する。
本開示の第12の観点に係る情報処理システムは情報処理装置を備える情報処理システムであって、前記情報処理装置は、対象空間内を測定して得られる対象空間データを取得する取得部と、処理部とを備え、前記処理部は、前記取得部が取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、前記取得部が取得した前記対象空間データと、前記対象空間における前記秘匿対象オブジェクトの属性及び位置とに基づいて、前記対象空間の環境に対する前記秘匿対象オブジェクトの前記属性及び位置を関連付けて出力し、前記秘匿対象オブジェクトの秘匿情報を加工する。
すなわち、本開示の第12の観点に係る情報処理システムは情報処理装置を備える情報処理システムであって、前記情報処理装置は、対象空間内を測定して得られる対象空間データを取得する取得部と、処理部とを備え、前記処理部は、前記取得部が取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、前記対象空間データと前記秘匿対象オブジェクトの属性及び位置を関連付けて出力し、前記秘匿対象オブジェクトの秘匿情報を加工する。
本開示の第13の観点に係る情報処理方法は対象空間内を測定して得られる対象空間データを取得し、取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、取得した前記対象空間データと、前記対象空間における前記秘匿対象オブジェクトの属性及び位置とに基づいて、前記対象空間の環境に対する前記秘匿対象オブジェクトの前記属性及び位置を関連付けて出力し、前記秘匿対象オブジェクトの秘匿情報を加工する。
すなわち、本開示の第13の観点に係る情報処理方法は対象空間内を測定して得られる対象空間データを取得し、取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、前記対象空間データと前記秘匿対象オブジェクトの属性及び位置を関連付けて出力し、前記秘匿対象オブジェクトの秘匿情報を加工する。
本開示の第14の観点に係るコンピュータプログラムは対象空間内を測定して得られる対象空間データを取得し、取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、取得した前記対象空間データと、前記対象空間における前記秘匿対象オブジェクトの属性及び位置とに基づいて、前記対象空間の環境に対する前記秘匿対象オブジェクトの前記属性及び位置を関連付けて出力し、前記秘匿対象オブジェクトの秘匿情報を加工する処理をコンピュータに実行させる。
すなわち、本開示の第14の観点に係るコンピュータプログラムは対象空間内を測定して得られる対象空間データを取得し、取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、前記対象空間データと前記秘匿対象オブジェクトの属性及び位置を関連付けて出力し、前記秘匿対象オブジェクトの秘匿情報を加工する処理をコンピュータに実行させる。
本実施形態に係る情報処理システムの構成例を示すブロック図である。 本実施形態に係る測定装置の構成例及び使用例を示す斜視図である。 本実施形態に係る学習モデルの概念図である。 本実施形態に係るオブジェクトDBの概念図である。 本実施形態に係る情報処理装置システムの処理手順を示すフローチャートである。 3次元空間モデルの作成処理手順を示すフローチャートである。 3次元空間モデルの作成処理手順を示すフローチャートである。 3次元点群及び撮影画像の一例を示す説明図である。 3次元空間モデルの一例を示す説明図である。 秘匿対象オブジェクトの秘匿化処理を示す概念図である。 重複オブジェクトの除外処理を示す概念図である。 オブジェクトの編集処理手順を示すフローチャートである。 オブジェクトの変更方法を示す概念図である。 オブジェクトの追加方法を示す概念図である。 対象空間を構成する平面の編集方法を示す概念図である。
本開示の本実施形態に係る空調関連機器及び空調システムを、以下に図面を参照しつつ説明する。本実施形態の概要は以下の通りである。
顧客の物件へ訪問し、空調関連の営業活動を行う際、実際の物件の条件における気流解析を行うことにより、実際に顧客物件で発生していると考えられる温度ムラや淀みなどの空気環境の問題を明らかにしたうえで機器の提案が可能となる。しかし、実際に気流解析を行うための流体計算用モデルを作成する場合、室内形状や什器の採寸及びモデル化、熱源などの条件の設定に多くの時間がかかっている。
上記課題を解決する手段として、流体計算用モデル自動作成手法を提案する。システム例としては、手持ちのデプスカメラ、カメラ、サーモグラフィー、スマートフォン一体型モジュールを用いて空間内を歩行しながら撮影し、空間内のデプス画像、画像をスマートフォンに保存する。スマートフォンに保存したデータを情報処理装置1へ転送し、3次元再構成用のソフトを用いて3次元点群データを作成する。3次元点群データから床、壁、天井を検出し、面の空間モデルである流体計算用モデルを作成する。ここで、撮影画像に対して事前に機械学習により学習した画像認識を行うことによってオブジェクトの種類(空調機、什器等)と位置を特定し、3次元空間モデルに反映する。人が手持ちで撮影する代わりにお掃除ロボットやドローンなどを用いて撮影しても良い。
図1は、本実施形態に係る情報処理システムの構成例を示すブロック図、図2は、本実施形態に係る測定装置2の構成例及び使用例を示す斜視図である。本実施形態に係る情報処理システムは、情報処理装置1と、測定装置2と、端末装置3とを備える。情報処理システムは、少なくとも一部に面を有する空間を撮像及び測距し、測定して得られたデータに基づいて当該空間の環境を予測するための3次元空間モデルを半自動的に作成するものである。以下、モデル化対象の空間を対象空間と呼ぶ。
対象空間には、当該対象空間の環境に影響を及ぼし得る一又は複数のオブジェクトが含まれている。オブジェクトは、対象空間の気流に影響を及ぼすオブジェクトと、対象空間の熱環境に影響を及ぼすオブジェクトと、対象空間の空気質に影響を及ぼすオブジェクトと、対象空間の環境を制御するオブジェクトとの少なくとも一つを含む。具体的には、オブジェクトは、什器と、建具と、人と、産業機械と、植物と、空調機と、換気装置との少なくとも一つを含む。什器は、コンピュータと、モニタと、照明器具と、ヒータ、椅子の少なくとも一つを含む。建具は、窓と、ブラインドと、間仕切りと、ドアとの少なくとも一つを含む。空調機は、空気清浄機を含む。
対象空間は、換気用のダクト系統を有する。ダクト系統は、空調機又は換気装置の吸込口又は吹出口を含む。対象空間は空調機の配管系統を有する。
一方、オブジェクトには、機密性を有する秘匿対象オブジェクトと、機密性を有しない非秘匿対象オブジェクトとが含まれる。秘匿対象オブジェクトは、表示装置と、人と、産業機械と、書類と、行先表示板と、掲示物と、ホワイトボードと、黒板と、付箋と、郵便物との少なくとも一つを含む。
測定装置2は、RGBセンサ21と、深度センサ22と、IR投射器23と、赤外線カメラ24と、把持部と、端末保持部とを備え、対象空間内の形状に係る物理量を測定する装置である。把持部は、測定装置2の使用者によって把持される部材である。把持部は例えば棒状の部材である。端末保持部は、端末装置3を保持する部材である。
RGBセンサ21は、例えばCMOSセンサ、CCDセンサ等の撮像素子を有し、対象空間のカラー撮影するカメラである。RGBセンサ21は動画を撮影することができる。RGBセンサ21は、対象空間を撮像して得た時系列の画像データ(RGBデータ)を出力する。動画を構成する時系列の画像データには、撮像日時を示す時間データが含まれているものとする。
深度センサ22は、測定装置2から対象空間の壁面、対象空間に含まれる各種オブジェクトまでの距離(深度)を測定する。深度センサ22は、測距して得られた深度を表す深度データを出力する。IR投射器23は、より正確な深度データを得るために、赤外線を対象空間及びオブジェクトに投射するための素子である。
赤外線カメラ24は、赤外線撮像素子を有し、対象空間を赤外線にて撮影するカメラである。赤外線カメラ24は、対象空間を撮像して得たサーモグラフィ画像データを出力する。
このように構成された測定装置2は、画像データ、深度データ及びサーモグラフィ画像データを端末装置3へ出力する。測定装置2は、画像データ、深度データ及びサーモグラフィ画像データを外部の可搬型の記憶装置へ出力して記憶させるように構成してもよい。測定装置2は、画像データ、深度データ及びサーモグラフィ画像データを直接的に情報処理装置1へ送信するように構成してもよい。以下、画像データ及び深度データを対象空間データと呼ぶ。
端末装置3は、例えばスマートフォン、携帯電話、タブレット端末、PDA(Personal
Digital Assistant)等の可搬型の情報処理端末である。端末装置3は、画像データ、深度データ、サーモグラフィ画像及び方位データが入力される入力インタフェースを備える。また、端末装置3は方位センサ31を備える。
方位センサ31は、例えば電子コンパス等の方位計であり、測定装置2の方位を示す方位データを出力する。
なお、方位データは、対象空間の方位を特定することが可能な情報であれば、その内容は特に限定されるものでは無い。例えば、方位データは、対象空間の緯度、経度、時刻及び天体の位置に基づく情報であってもよい。天体は、天球における位置が既知で、撮像可能な宇宙に存在する物体である。天体は、例えば、太陽、月、人工衛星等である。天球上の位置が既知の天体が撮像画像に含まれていて、撮像された対象空間の緯度経度と、撮像時刻とが分かれば、対象空間の方位を特定することができる。
方位データは、対象空間の緯度、経度、時刻、屋内の影の向き及び影の長さに基づく情報であってもよい。影の向き及び影の長さから太陽の位置が特定されるため、上記同様、対象空間の方位を特定することができる。
情報処理装置1の処理部11は、これらの情報に基づいて、対象空間の方位を特定することができる。
端末装置3は、入力インタフェースを介して入力した画像データに基づいて、測定装置2が撮像した画像を表示装置に表示させる。端末装置3は、入力された画像データ、深度データ、及びサーモグラフィ画像と、方位センサ31にて得られた方位データとを記憶し、適宜のタイミングで情報処理装置1へ送信する。端末装置3は、入力された画像データ、深度データ、及びサーモグラフィ画像と、方位センサ31にて得られた方位データとを可搬型の記憶装置に記憶させるように構成してもよい。
このように構成された測定装置2によれば、使用者は、測定装置2を把持し、対象空間内を移動し、また測定装置2を様々な方向へ向けることにより、対象空間の壁面、床面、天井面及びオブジェクトを複数の位置及び方向から撮像及び測距することができる。測定装置2は、対象空間内を複数の位置から測定して得られる対象空間データ、サーモグラフィ画像データ及び方位データを情報処理装置1へ提供する。
<情報処理装置1>
情報処理装置1は、処理部11、記憶部12、取得部13、表示部14及び操作部15を備える。
処理部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などの演算回路、ROM(Read Only Memory)、RAM(Random Access Memory)などの内部記憶装置、I/O端子などを有するプロセッサである。処理部11は、物体検出及び画像認識に係る画像処理に特化したGPU(Graphics Processing Unit)、TPU(Tensor Processing Unit)又はAIチップ(AI用半導体)などの1又は複数の演算回路を備えてもよい。処理部11は、記憶部12に記憶されたコンピュータプログラムPを読み出して実行することにより、対象空間の3次元空間モデルを作成する。3次元空間モデルの作成に係る各機能部は、ソフトウェア的に実現してもよいし、一部又は全部をハードウェア的に実現してもよい。
記憶部12は、例えば、ハードディスク、EEPROM(Electrically Erasable Programmable ROM)、フラッシュメモリなどのストレージである。記憶部12は、処理部11が実行する各種のプログラム、処理部11の処理に必要な各種のデータを記憶する。本実施形態において記憶部12は、少なくとも処理部11が実行するコンピュータプログラムPと、学習モデル16と、制気口判別モデル17と、オブジェクトDB18とを記憶している。学習モデル16、制気口判別モデル17及びオブジェクトDB18の詳細は後述する。
コンピュータプログラムPは、情報処理装置1の製造段階において記憶部12に書き込まれる態様でもよいし、他の情報処理装置1などからネットワークを介して配信される態様でもよい。情報処理装置1は通信にてコンピュータプログラムPを取得して記憶部12に書き込む。コンピュータプログラムPは、フラッシュメモリなどの半導体メモリ、光ディスク、光磁気ディスク、磁気ディスクなどの記録媒体10に読み出し可能に記録された態様でもよい。情報処理装置1はコンピュータプログラムPを読み出して記憶部12に記憶する。
取得部13は、外部装置との間でデータを有線又は無線で送受信する通信回路、又は可搬型の記憶装置からデータを読み出す読出回路である。情報処理装置1は、取得部13を介して測定装置2から画像データ、深度データ、サーモグラフィ画像データ、方位データ等を取得する。
情報処理装置1は、取得部13を介して、対象空間における換気装置の吸込口又は吹出口に関連するダクト系統を表したダクト系統図データを外部装置から取得する。ダクト系統図データは、ダクト系統の方向を表す方向情報と、ダクト系統の外形を示す外形情報とを含む。外形情報には、空調機又は換気装置の吸込口又は吹出口の位置を示す情報が含まれている。
情報処理装置1は、取得部13を介して、対象空間の配管系統図を表した配管系統図データを外部装置から取得する。配管系統図データは、配管系統の方向を表す方向情報と、配管系統の外形を示す外形情報とを含む。配管系統図データは、室内機の位置、空調機の熱境界条件に係る情報等を含む。
情報処理装置1は、取得部13を介して、対象空間の外気温時系列データ、対象空間における日照量時系列データを外部装置から取得する。
表示部14は、例えば液晶表示パネル、有機EL表示パネルなどの表示装置である。処理部11は、3次元空間モデルに係る画像を表示部14に表示する。
操作部15は、情報処理装置1の使用者の操作を受け付けるマウス、キーボード、タッチパネルなどの入力装置である。処理部11は、操作部15を介して使用者による3次元空間モデルの編集等を受け付ける。
なお、情報処理装置1は、ネットワークに接続されたサーバ装置であっても良い。情報処理装置1は、端末コンピュータと、サーバ装置とで構成してもよい。情報処理装置1は、複数台のコンピュータで構成し分散処理する構成でもよいし、1台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよいし、クラウドサーバを用いて実現されていてもよい。また、情報処理装置1は端末装置3であってもよい。つまり、端末装置3が情報処理装置1として機能するように構成してもよい。
<学習モデル16>
図3は、本実施形態に係る学習モデル16の概念図である。学習モデル16は、例えば深層学習による学習済みの畳み込みニューラルネットワーク(CNN:Convolutional neural network)を含む。学習モデル16は、測定装置2を用いて撮像された画像データが入力される入力層16aと、画像データの特徴量を抽出する中間層16bと、検出されたオブジェクトに係る推論結果を出力する出力層16cとを有する。学習モデル16は、例えばYOLOモデルである。
学習モデル16の各層は複数のノードを有する。各層のノードはエッジで結ばれている。各層は、活性化関数(応答関数)を有し、エッジは重みを有する。各層のノードから出力される値は、前の層のノードの値と、エッジの重みと、層が持つ活性化関数とから計算される。エッジの重みは、学習によって変化させることができる。
学習モデル16の入力層16aは、画像データ、つまり、対象空間及びオブジェクトの表面の画像を構成する各画素の画素値の入力を受け付ける複数のノードを有し、入力された画素値を中間層16bに受け渡す。
中間層16bは、複数組みの畳み込み層(CONV層)及びプーリング層と、全結合層とを有する。畳み込み層は、前層のノードから出力された値に対してフィルタ処理を実行し、特徴マップを抽出する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップを得る。
出力層16cは、画像データから検出されたオブジェクトに係る最終的な推論結果を出力するノードを有する。推論結果は、オブジェクトを囲むバウンディングボックスの中心座標位置及び縦横サイズ、バウンディングボックスで囲まれた画像がオブジェクトの画像であることの確からしさを示す物体検出スコアと、オブジェクトが特定のクラスに属する確からしさを示すクラススコアなどを含む。
なお、出力層16cから得られる出力には、互いに重複する複数のバウンディングボックスが含まれているが、重複するバウンディングボックスを除去する後処理、例えばNMS(Non-Maximum Suppression)処理によって、対象空間の画像に含まれる一又は複数のオブジェクトそれぞれを囲む最も確からしいバウンディングボックスの位置及びサイズ、物体検出スコア及びクラススコアが得られる。
学習モデル16の生成方法を説明する。まず、オブジェクトを含む対象空間の複数の画像データと、各画像データのアノテーションファイルとを含む訓練データを用意する。アノテーションファイルは、対応する画像に付与される正解値を示す教師データである。具体的には、アノテーションファイルは、対応する画像に含まれるオブジェクトの画像を囲むバウンディングボックスの中心座標位置、縦横サイズ、クラスを示すデータである。クラスは、オブジェクトの属性に応じて分類されるグループを示す。
訓練データの画像が、CNNに入力された場合に、当該CNNから出力されるデータと、教師データが示すデータとの誤差(所定の損失関数又は誤差関数の値)が小さくなるように、誤差逆伝播法、誤差勾配降下法などを用いて、ニューラルネットワークの重み係数を最適化することによって、学習モデル16を生成することができる。
なお、学習モデル16の一例としてYOLOを説明したが、R-CNN、Fast R-CNN、Faster R-CNN、その他のCNN、ビジョン・トランスフォーマ(Vision Transformer)などを用いて学習モデル16を構成してもよい。また、決定木、ランダムフォレスト、SVM(Support Vector Machine)などのアルゴリズムを用いた学習モデル16を用いてもよい。更に学習モデル16は、上記した複数のアルゴリズムを組み合わせて構成してもよい。
制気口判別モデル17は、空調機又は換気装置の制気口の画像データに基づいて、制気口が吸込口であるか吹出口であるかを判別する画像認識学習モデルである。制気口判別モデル17は、例えば深層学習による学習済みの畳み込みニューラルネットワーク(CNN: Convolutional neural network)を含む。ニューラルネットワークの構成自体は、学習モデル16と同様である。制気口判別モデル17は、空調機又は換気装置の制気口の画像部分(以下、制気口画像と呼ぶ)のデータである制気口画像データが入力される入力層と、制気口画像データの特徴量を抽出する中間層と、制気口画像が吸込口又は吹出口に該当する確度を示す確度データを出力する出力層とを有する。
制気口判別モデル17の生成方法を説明する。まず、複数の制気口画像データと、各制気口画像が吸込口又は吹出口のいずれに該当するかを示す教師データとを含む訓練データを用意する。そして、処理部11は、訓練データの制気口画像が、CNNに入力された場合に、当該CNNから出力されるデータと、教師データが示すデータとの誤差(所定の損失関数又は誤差関数の値)が小さくなるように、誤差逆伝播法、誤差勾配降下法などを用いて、ニューラルネットワークの重み係数を最適化することによって、制気口判別モデル17を生成することができる。
なお、十分な判別精度が得られるのであれば、学習モデル16を用いて、吸込口及び吹出口を判別するように構成してもよい。
<オブジェクトDB18>
図4は、本実施形態に係るオブジェクトDB18の概念図である。オブジェクトDB18は、例えば、オブジェクトのクラスと、オブジェクトの種類と、機密性と、境界条件の種類と、境界条件のパラメータとを対応付けて記憶している。オブジェクトの種類は、上記した什器、建具、人、産業機械、植物、空調機、換気装置等が含まれる。機密性は、オブジェクトが秘匿対象オブジェクトであるか、非秘匿対象オブジェクトであるかを示すデータである。境界条件のパラメータは、例えば、オブジェクト表面における温度、圧力、流速のディリクレ境界条件、ノイマン境界条件等を示すデータである。パラメータは、例えば、顕熱、潜熱、風量、風向、風速等を含む。
環境条件のパラメータは、対象空間の環境に対する秘匿対象オブジェクトの影響を規定する影響規定データの一例である。
<情報処理方法>
図5は、本実施形態に係る情報処理装置1システムの処理手順を示すフローチャートである。使用者によって測定装置2は対象空間内を移動又は回転し、対象空間を撮像及び測距する(ステップS111)。赤外線カメラ24は対象空間を赤外線にて撮像する(ステップS112)。方位センサ31は測定装置2の方位を検出する(ステップS113)。
端末装置3は、対象空間データと、サーモグラフィ画像データと、方位データとを情報処理装置1へ送信する(ステップS114)。
情報処理装置1の処理部11は、端末装置3から出力された対象空間データ、サーモグラフィ画像データ、及び方位データを取得する(ステップS115)。
方位データが、対象空間の方位を直接的に表すもので無い場合、処理部11は演算処理によって、方位を直接的に示すデータに変換するとよい。
例えば、処理部11は、対象空間の緯度、経度、時刻及び天体の位置に基づいて、方位を示すデータを算出する。
例えば、処理部11は、対象空間の緯度、経度、時刻、屋内の影の向き及び影の長さに基づいて、方位を示すデータを算出する。
なお、処理部11は、画像データ及び時間データに基づいて、3次元空間の方位を示すデータを算出してもよい。
処理部11は、外部装置からダクト系統図データを取得し(ステップS116)、配管系統図データを取得する(ステップS117)。処理部11は、外部装置から外気温時系列データを取得する(ステップS118)。処理部11は、外部装置から日照量時系列データを取得する(ステップS119)。
例えば、対象空間の周辺に設けられたセンサが外気温時及び日照量を検出し、外気温時系列データ及び日照量時系列データを情報処理装置1へ送信する。処理部11は、当該センサから外気温時系列データ及び日照量時系列データを取得する。なお、処理部11は、外気温時系列データ及び日照量時系列データ等の気象情報を配信する外部サーバからこれらのデータを取得するように構成してもよい。
処理部11は、取得した対象空間データ等の各種データに基づいて、オブジェクトが対象空間に与える影響を反映させた3次元空間モデルを作成する(ステップS120)。
<3次元空間モデル作成>
図6及び図7は、3次元空間モデルの作成処理手順を示すフローチャート、図8は、3次元点群及び撮影画像の一例を示す説明図、図9は、3次元空間モデルの一例を示す説明図、図10は、秘匿対象オブジェクトの秘匿化処理を示す概念図である。
処理の概要は次の通りである。流体解析のための3次元空間モデルを作成するにあたって、画像データ及び深度データを解析することにより、対象空間の3次元点群データを作成し、流体解析を行う際に考慮する必要がある熱源などの要素ついて、事前学習済みの学習モデル16を用いることにより、撮影画像からその種類と3次元点群データにおける位置を特定し、3次元空間モデルに反映させる。
情報処理装置1の処理部11は、図8に示すように、画像データ及び深度データに基づいて、対象空間の3次元点群を復元する(ステップS131)。図8中、上図は画像データと深度データを示し、左下図は3次元点群データを示している。右下図は、当該3次元点群データに対応する画像データを示している。
処理部11は、図9に示すように、3次元点群データに基づいて、自己位置推定技術及び視線方向推定技術を用いて流体計算用の3次元空間モデルを作成する(ステップS132)。処理部11は、自己位置推定技術及び視線方向推定技術を用いて、対象空間の壁面、床面、天井面に相当する平面、各種機器、什器等のオブジェクトの外面に相当する平面、各平面の位置を特定することができ、複数の面で構成される3次元空間モデルを作成する。
処理部11は、画像データを学習モデル16に入力することによって、図8右下図に示すように、オブジェクト(非秘匿対象オブジェクト及び秘匿対象オブジェクト)を検出し、当該オブジェクトの位置及びクラスを認識する(ステップS133)。また、処理部11は、オブジェクトの寸法を認識する。クラスをキーにしてオブジェクトDB18を参照することによって、処理部11は、検出したオブジェクトが秘匿対象オブジェクトであるか否かを認識する。オブジェクトの画像データに熱境界条件に関連する文字、記号等の文字等情報が含まれている場合、処理部11は、当該文字等情報を読み取り、オブジェクトの属性、熱境界条件に係る情報を取得するように構成してもよい。
処理部11は、オブジェクトの認識結果に基づいて、非秘匿対象オブジェクト及び秘匿対象オブジェクトの境界条件を特定する(ステップS134)。具体的には、処理部11は非秘匿対象オブジェクト及び秘匿対象オブジェクトのクラスに対応する境界条件のパラメータを読み出すことによって、境界条件の値を特定する。
処理部11は、非秘匿対象オブジェクト及び秘匿対象オブジェクトの境界条件を3次元空間モデルに付与する(ステップS135)。3次元空間において境界条件が設定される位置は、ステップS132で認識したオブジェクトの位置及び寸法、3次元点群に基づいて、特定される。
なお、処理部11は、対象空間において、椅子のオブジェクトを認識した場合は、椅子のオブジェクトに人の熱境界条件を付与するように構成してもよい。情報処理装置1の記憶部12は、人のオブジェクトの典型的な所定の熱境界条件、例えば顕熱、潜熱を記憶しており、処理部11は当該熱境界条件を椅子のオブジェクトに付与するとよい。
処理部11は、サーモグラフィ画像データに基づいて、非秘匿対象オブジェクト及び秘匿対象オブジェクトの温度、熱量又は温度特性を特定し、当該オブジェクトの発熱条件を付与する(ステップS136)。
什器等のオブジェクトの熱量を用いることで対象空間の環境をより詳細に解析を行うことが可能となる。そこで、サーモグラフィを用いて計測することによって、オブジェクトの温度又は熱量を算出し、流体計算用モデルに反映する。
3次元空間モデルに含まれる秘匿対象オブジェクトを、秘匿情報を含まないモデルオブジェクトに置換する(ステップS137)。モデルオブジェクトの形状は、秘匿対象オブジェクトを囲む略直方体のオブジェクトであってもよいし、秘匿対象オブジェクトに応じた形状のオブジェクトであってもよい。例えば、記憶部12は、秘匿対象オブジェクトのクラスに対応付けて、モデルオブジェクトを記憶するように構成してもよい。処理部11は、秘匿対象オブジェクトのクラスに対応するモデルオブジェクトを読み出し、当該秘匿対象オブジェクトを、読み出した当該モデルオブジェクトに置換する。
秘匿対象オブジェクトをモデルオブジェクトに置換する方法は、秘匿対象オブジェクトの秘匿化方法の一例である。秘匿対象オブジェクトを秘匿化することができれば、任意の方法で秘匿対象オブジェクトを加工するように構成してもよい。
秘匿対象オブジェクトを秘匿化するコンピュータ及びタイミングは特に限定されるものでは無い。情報処理装置1が端末コンピュータと、サーバ装置とで構成されている場合、端末コンピュータで実行してもよいし、サーバ装置で実行してもよい。端末装置3が秘匿対象オブジェクトを秘匿化する処理を実行するように構成してもよい。
以下、その他の境界条件設定方法を説明する。
処理部11は、空調機又は換気装置の制気口の画像データを、制気口判別モデル17に入力することによって、制気口が吸込口及び吹出口のいずれであるかを判別する(ステップS138)。
ステップS138においては、機械学習モデルを用いて吸込口及び吹出口の判別する例を説明したが、制気口の画像データに基づいて、吸込口及び吹出口に関連する特徴量を算出し、算出された特徴量に基づいて、当該制気口が吸込口又は吹出口のいずれであるか判別するように構成してもよい。
処理部11は、学習モデル16を用いたステップS133の画像認識処理によって、十分な確度で吸込口及び吹出口を判別できた場合、ステップS138~ステップS141の処理を省略してもよい。
処理部11は、取得した対象空間の方位に関連する方位データと、対象空間データに基づく対象空間の外形を表す情報と、ダクト系統図データとに基づいて、対象空間データによって表される対象空間と、ダクト系統データによって表されるダクト系統との位置合わせを行う(ステップS139)。なお、エレベータ、階段、柱などの正確な位置が客観的に分かっていて不変のものの位置を基準として、対象空間とダクト系統との位置合わせを行うように構成してもよい。
処理部11は、取得したダクト系統図データに基づいて、制気口が吸込口及び吹出口のいずれであるかを判別する(ステップS140)。ステップS140では、画像認識では判定しづらい情報であるダクト式の吸込口と吹出口についてはダクト系統図を用いて判定する。
ダクト式の空調機又は換気装置の吸込口及び吹出口に関しては、吸込口か吹出口かによって流体計算の結果が大きく異なるため、これらを正しく判別する必要があるが、これらの見た目に大きな違いが無いため、画像認識のみでは吸込口か吹出口を判別することが難しい。そこで、対象空間におけるダクト系統図から吸込口及び吹出口の情報を取得することにより、3次元空間モデルに反映する。
ステップS140によれば、3次元空間モデルを作成する際にダクト系統図を用いることで、空調機又は換気装置のダクト系統を認識し、吸込口と吹出口の熱境界条件の設定を支援することができる。
処理部11は、制気口が含まれるサーモグラフィ画像データに基づいて、当該制気口が吸込口及び吹出口のいずれであるかを判別する(ステップS141)。ステップS141では、サーモグラフィ画像を用いることによって、空調機又は換気装置の吸込口と吹出口の温度、天井面の温度を測定することにより、吸込口及び吹出口を判別し、吸込口及び吹出口の熱境界条件を3次元空間モデルに反映する。
処理部11は、対象空間の方位に関連する方位データを取得し、取得した方位データと、対象空間データに基づく対象空間の外形を表す情報と、配管系統図データとに基づいて、対象空間データによって表される対象空間と、配管系統図データによって表される配管系統との位置合わせを行う(ステップS142)。
取得した配管系統図データに基づく空調機の熱境界条件を3次元空間モデルに付与する(ステップS143)。空調機の配管系統と、対象空間との位置合わせが行われているため、処理部11は、当該対象空間に含まれる空調機のオブジェクトと、配管系統との関係を特定することができる。処理部11は、空調機のオブジェクトに対応する配管系統の熱境界条件に係る情報を特定することができ、当該オブジェクトの熱境界条件を3次元空間モデルに付与することができる。
ステップS142及びステップS143では、気流解析を行う際、空調機の系統情報が重要となる。しかし、オブジェクトの画像認識のみでは、空調機の十分な情報を得ることができない。そこで配管系統図データを用いることにより、室内機の系統情報を3次元空間モデルに反映さえることができる。なお、3次元空間モデルに配管系統図を重畳表示してもよい。
処理部11は、サーモグラフィ画像データと、対象空間の外気温時系列データと、日照量時系列データと、建具の厚みデータに基づいて、建具の熱貫流率を算出する(ステップS144)。処理部11は算出した熱貫流率を建具の熱境界条件として付与する(ステップS145)。建具の厚みは、ステップS133の画像認識処理により得られる。処理部11は、ステップS133の画像認識処理結果と、3次元点群のデータとを組み合わせて、建具の厚みを算出するように構成してもよい。
壁、窓等の建具の熱貫流率を用いることで対象空間の環境をより詳細に解析を行うことが可能となる。そこで、ステップS144及びステップS145では、サーモグラフィを用いて計測することによって、建具の熱貫流率を算出し、3次元空間モデルに反映する。
ステップS144及びステップS145によれば、サーモグラフィ画像と、外気温時系列データ及び日射量時系列データを用いることで、壁、窓等の建具の熱貫流率を算出し、熱境界条件の入力を支援することができる。
処理部11は、画像データに基づいて、対象空間の利用シーンを特定し(ステップS146)、特定した対象空間の利用シーンを示す利用シーンデータを3次元空間データに付与する(ステップS147)。例えば、病院、学校、工場、オフィスなどのシーンに合わせた3次元空間データに属性を付与する。
処理部11は、画像データに基づいて、対象空間に含まれる床下コンセントを特定し、床下コンセントの位置を示すデータを3次元空間データに付与してもよい。
処理部11は、取得した方位データ又は方位データに基づく情報を3次元空間モデルに付加し(ステップS148)、3次元空間モデルの作成処理を終える。例えば、3次元空間モデルの方位を示すデータを、当該3次元空間モデルに付加する。
図5に戻り、処理部11は、対象空間データがオブジェクトを重複して含んでいるかどうかを判別する(ステップS121)。処理部11は、例えば、複数のオブジェクトの形状及び属性の類似性が所定値以上であって、複数のオブジェクトの距離が所定距離未満である場合、当該複数のオブジェクトを重複したオブジェクトと判定する。
図11は、重複オブジェクトの除外処理を示す概念図である。オブジェクトが重複している場合(ステップS121:YES)、処理部11は、図11に示すように、重複するオブジェクトを除外する(ステップS122)。
ステップS122の処理を終えた場合、オブジェクトが重複していないと判定した場合(ステップS121:NO)、処理部11は、3次元空間モデルの編集処理を実行する(ステップS123)。
3次元空間モデルの自動作成に加えて任意の編集を可能とし、3次元点群データを重畳表示しながら流体計算用モデルの編集を受け付けることにより、正確な流体計算用モデルの作成を可能とする。ガラスやミラーなど赤外線が透過、反射するような特殊な面については正しく面として認識されない場合があるため、このような場合については3次元空間モデルにおける対象の面を手作業で修正及び作成し、特定した要素の種類や位置が実際と異なる場合についても手作業で修正及び作成する。この際、3次元点群データを重畳表示しながら修正及び作成を受け付けることにより、より正確な流体計算用モデルの作成を可能とする。
図12は、オブジェクトの編集処理手順を示すフローチャートである。処理部11は、作成した3次元空間モデルに3次元点群を重畳させて表示部14に表示させる(ステップS151)。処理部11は、操作部15を介して、オブジェクトの変更を受け付け(ステップS152)、受け付けた操作に従って、オブジェクトを変更する(ステップS153)。例えば、処理部11は、オブジェクトの形状、クラス、境界条件のパラメータの変更を受け付け、変更する。
対象空間において、人が移動した際や、集合した際は、3次元空間モデルが変化する。処理部11は、対象空間における人のオブジェクトの増減、位置の変更を受け付け、人のオブジェクトの数及び位置を変更する。
処理部11は、対象空間の座席配置図に関連するデータを取得し、取得したデータと、対象空間データに基づく対象空間の外形を表す情報とに基づいて、座席のオブジェクトに人の熱境界条件を付与するように構成してもよい。座席配置図は、対象空間における座席のオブジェクトの位置を示すデータである。処理部11は、対象空間データによって表される対象空間と、座席配置図に関連するデータによって表される座席のオブジェクトの位置とから、当該座席のオブジェクトに、人のオブジェクトの熱境界条件を付与する。情報処理装置1の記憶部12は、人のオブジェクトの典型的な所定の熱境界条件を記憶しており、処理部11は当該熱境界条件を座席のオブジェクトに付与するとよい。
図13は、オブジェクトの変更方法を示す概念図である。図13Aは、認識済みのオブジェクトを含む対象空間の3次元空間モデルを示している。図13Bは、編集対象のオブジェクトが選択された状態を示し、図13Cは、オブジェクトの形状が変更された状態を示している。
処理部11は、操作部15を介して、オブジェクトの追加を受け付け(ステップS154)、受け付けた操作に従って、オブジェクトを追加する(ステップS155)。
図14は、オブジェクトの追加方法を示す概念図である。図14Aは、実際には存在するオブジェクトが認識されていない対象空間の3次元空間モデルを示している。図14Bは、オブジェクトの追加操作が行われている状態を示し、図14Cは、オブジェクトが追加された状態を示している。
処理部11は、操作部15を介して、3次元空間の平面の変更及び追加を受け付け(ステップS156)、受け付けた操作に従って、3次元空間の平面を変更し、又は追加する(ステップS157)。平面は、対象空間における壁面等に相当する部分である。使用者は操作部15を操作することによって、壁面の位置及び寸法を変更することができる。また使用者は操作部15を操作することによって、3次元空間モデルに反映させていなかった壁面を追加することができる。
図15は、対象空間を構成する平面の編集方法を示す概念図である。図15Aは、実際には存在する壁平面が認識されていない対象空間の3次元空間モデルを示している。図15Bは、壁平面の追加操作が行われている状態を示し、図15Cは、壁平面が追加された状態を示している。
<作用効果>
本実施形態に係る情報処理装置1等によれば、対象空間内を複数の位置から測定して得られる対象空間データに基づいて、対象空間に含まれるオブジェクトが対象空間の環境に及ぼす影響を反映させた3次元空間モデルを作成することができる。
流体計算用モデル(室内モデル、什器や熱源などの要素モデル)である3次元空間モデルの作成工数を削減することができる。室内形状及び什器の採寸作業が無くなり、採寸誤差が無くなる。
ダクト系統図データを用いて、吸込口又は吹出口の差異を考慮した境界条件を付与した3次元空間モデルを作成することができる。
サーモグラフィ画像を用いて、吸込口又は吹出口の差異を考慮した境界条件を付与した3次元空間モデルを作成することができる。
画像認識処理により、吸込口又は吹出口の差異を考慮した境界条件を付与した3次元空間モデルを作成することができる。
配管系統図データを用いることにより、室内機の系統情報を付与した3次元空間モデルを作成することができる。
サーモグラフィ画像等に基づいて、壁、窓等の建具の熱貫流率を付与した3次元空間モデルを作成することができる。
使用者の操作により、3次元空間モデルに含まれる対象空間及びオブジェクトを編集して変更することができる。
使用者の操作により、3次元空間モデルに対象空間の壁平面、オブジェクトを追加することができる。
方位情報を含む3次元空間モデルを作成することができる。
対象空間の利用シーンを示すデータを含む3次元空間モデルを作成することができる。
重複オブジェクトを除去した3次元空間モデルを作成することができる。
対象空間に含まれる機密性を有するオブジェクトを秘匿化すると共に、当該オブジェクトが対象空間の環境に及ぼす影響を反映させた3次元空間モデルを作成することができる。
秘匿対象オブジェクトをモデルオブジェクトに置換した3次元空間モデルを作成することができる。
以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。上記の実施形態の少なくとも一部を任意に組み合わせてもよい。
1 情報処理装置
2 測定装置
3 端末装置
11 処理部
12 記憶部
13 取得部
14 表示部
15 操作部
16 学習モデル
17 制気口判別モデル
18 オブジェクトDB
21 RGBセンサ
22 深度センサ
23 IR投射器
24 赤外線カメラ
31 方位センサ
P コンピュータプログラム

Claims (16)

  1. 対象空間内を測定して得られる対象空間データを取得する取得部と、処理部とを備え、
    前記処理部は、
    前記取得部が取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、
    前記対象空間のサーモグラフィデータを取得し、
    前記取得部が取得した前記対象空間データと、前記対象空間における前記秘匿対象オブジェクトの属性及び位置と、前記対象空間のサーモグラフィデータとに基づいて、前記秘匿対象オブジェクトの発熱条件を含み、前記対象空間の環境に対する前記秘匿対象オブジェクトの前記属性及び位置を反映した、前記対象空間の3次元空間モデルを作成し、
    前記3次元空間モデル内における前記秘匿対象オブジェクトの秘匿情報を加工する
    情報処理装置。
  2. 前記処理部は、
    前記秘匿対象オブジェクトの属性と、前記対象空間の環境に対する前記秘匿対象オブジェクトの影響を規定する影響規定データとを対応付けて記憶した記憶部から、前記秘匿対象オブジェクトの前記影響規定データを取得し、取得した前記対象空間データ及び前記影響規定データに基づいて、前記3次元空間モデルを作成する
    請求項1に記載の情報処理装置。
  3. 対象空間内を測定して得られる対象空間データを取得する取得部と、処理部とを備え、
    前記処理部は、
    前記取得部が取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、
    前記秘匿対象オブジェクトの属性と、熱境界条件を含み、前記対象空間の環境に対する前記秘匿対象オブジェクトの影響を規定する影響規定データとを対応付けて記憶した記憶部から、前記秘匿対象オブジェクトの前記影響規定データを取得し、
    前記取得部が取得した前記対象空間データと、前記対象空間における前記秘匿対象オブジェクトの属性及び位置と、取得した前記影響規定データとに基づいて、前記対象空間の環境に対する前記秘匿対象オブジェクトの前記属性及び位置を反映した、前記対象空間の3次元空間モデルを作成し、
    前記3次元空間モデル内における前記秘匿対象オブジェクトの秘匿情報を加工する
    情報処理装置。
  4. 前記処理部は、
    前記対象空間のサーモグラフィデータを取得する
    請求項3に記載の情報処理装置。
  5. 前記処理部は、取得したサーモグラフィデータに基づいて、前記秘匿対象オブジェクトの発熱条件を含む前記3次元空間モデルを作成する
    請求項4に記載の情報処理装置。
  6. 前記秘匿対象オブジェクトは、
    表示装置と、人と、産業機械と、書類と、行先表示板と、掲示物と、ホワイトボードと、黒板と、付箋と、郵便物との少なくとも一つを含む
    請求項1から請求項5のいずれか1項に記載の情報処理装置。
  7. 前記処理部は、前記対象空間データが前記秘匿対象オブジェクトを重複して含んでいるかどうかを判別する
    請求項1から請求項5のいずれか1項に記載の情報処理装置。
  8. 前記処理部は、
    前記対象空間に含まれる前記秘匿対象オブジェクトを重複して認識した場合、重複する前記秘匿対象オブジェクトを除外する
    請求項1から請求項5のいずれか1項に記載の情報処理装置。
  9. 前記処理部は、
    前記秘匿対象オブジェクトを、秘匿情報を含まないモデルオブジェクトに置換して前記3次元空間モデルを作成する
    請求項1から請求項5のいずれか1項に記載の情報処理装置。
  10. 請求項1から請求項5のいずれか1項に記載の情報処理装置と、
    前記対象空間内の形状に係る物理量を測定する測定装置と
    を備え、
    前記情報処理装置は、
    前記測定装置から前記対象空間データを取得する
    情報処理システム。
  11. 情報処理装置を備える情報処理システムであって、
    前記情報処理装置は、
    対象空間内を測定して得られる対象空間データを取得する取得部と、処理部とを備え、
    前記処理部は、
    前記取得部が取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、
    前記対象空間のサーモグラフィデータを取得し、
    前記取得部が取得した前記対象空間データと、前記対象空間における前記秘匿対象オブジェクトの属性及び位置と、前記対象空間のサーモグラフィデータとに基づいて、前記秘匿対象オブジェクトの発熱条件を含み、前記対象空間の環境に対する前記秘匿対象オブジェクトの前記属性及び位置を反映した、前記対象空間の3次元空間モデルを作成し、
    前記3次元空間モデル内における前記秘匿対象オブジェクトの秘匿情報を加工する
    情報処理システム。
  12. 情報処理装置を備える情報処理システムであって、
    前記情報処理装置は、
    対象空間内を測定して得られる対象空間データを取得する取得部と、処理部とを備え、
    前記処理部は、
    前記取得部が取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、
    前記秘匿対象オブジェクトの属性と、熱境界条件を含み、前記対象空間の環境に対する前記秘匿対象オブジェクトの影響を規定する影響規定データとを対応付けて記憶した記憶部から、前記秘匿対象オブジェクトの前記影響規定データを取得し、
    前記取得部が取得した前記対象空間データと、前記対象空間における前記秘匿対象オブジェクトの属性及び位置と、取得した前記影響規定データとに基づいて、前記対象空間の環境に対する前記秘匿対象オブジェクトの前記属性及び位置を反映した、前記対象空間の3次元空間モデルを作成し、
    前記3次元空間モデル内における前記秘匿対象オブジェクトの秘匿情報を加工する
    情報処理システム。
  13. 対象空間内を測定して得られる対象空間データを取得し、
    取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、
    前記対象空間のサーモグラフィデータを取得し、
    取得した前記対象空間データと、前記対象空間における前記秘匿対象オブジェクトの属性及び位置と、前記対象空間のサーモグラフィデータとに基づいて、前記秘匿対象オブジェクトの発熱条件を含み、前記対象空間の環境に対する前記秘匿対象オブジェクトの前記属性及び位置を反映した、前記対象空間の3次元空間モデルを作成し、
    前記3次元空間モデル内における前記秘匿対象オブジェクトの秘匿情報を加工する
    情報処理方法。
  14. 対象空間内を測定して得られる対象空間データを取得し、
    取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、
    前記秘匿対象オブジェクトの属性と、熱境界条件を含み、前記対象空間の環境に対する前記秘匿対象オブジェクトの影響を規定する影響規定データとを対応付けて記憶した記憶部から、前記秘匿対象オブジェクトの前記影響規定データを取得し、
    取得した前記対象空間データと、前記対象空間における前記秘匿対象オブジェクトの属性及び位置と、取得した前記影響規定データとに基づいて、前記対象空間の環境に対する前記秘匿対象オブジェクトの前記属性及び位置を反映した、前記対象空間の3次元空間モデルを作成し、
    前記3次元空間モデル内における前記秘匿対象オブジェクトの秘匿情報を加工する
    情報処理方法。
  15. 対象空間内を測定して得られる対象空間データを取得し、
    取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、
    前記対象空間のサーモグラフィデータを取得し、
    取得した前記対象空間データと、前記対象空間における前記秘匿対象オブジェクトの属性及び位置と、前記対象空間のサーモグラフィデータとに基づいて、前記秘匿対象オブジェクトの発熱条件を含み、前記対象空間の環境に対する前記秘匿対象オブジェクトの前記属性及び位置を反映した、前記対象空間の3次元空間モデルを作成し、
    前記3次元空間モデル内における前記秘匿対象オブジェクトの秘匿情報を加工する
    処理をコンピュータに実行させるためのコンピュータプログラム。
  16. 対象空間内を測定して得られる対象空間データを取得し、
    取得した前記対象空間データに基づいて、秘匿対象オブジェクトの属性及び位置を認識し、
    前記秘匿対象オブジェクトの属性と、熱境界条件を含み、前記対象空間の環境に対する前記秘匿対象オブジェクトの影響を規定する影響規定データとを対応付けて記憶した記憶部から、前記秘匿対象オブジェクトの前記影響規定データを取得し、
    取得した前記対象空間データと、前記対象空間における前記秘匿対象オブジェクトの属性及び位置と、取得した前記影響規定データとに基づいて、前記対象空間の環境に対する前記秘匿対象オブジェクトの前記属性及び位置を反映した、前記対象空間の3次元空間モデルを作成し、
    前記3次元空間モデル内における前記秘匿対象オブジェクトの秘匿情報を加工する
    処理をコンピュータに実行させるためのコンピュータプログラム。
JP2023111612A 2022-08-23 2023-07-06 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム Active JP7502698B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022132597 2022-08-23
JP2022132597 2022-08-23

Publications (2)

Publication Number Publication Date
JP2024031827A JP2024031827A (ja) 2024-03-07
JP7502698B2 true JP7502698B2 (ja) 2024-06-19

Family

ID=90013203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023111612A Active JP7502698B2 (ja) 2022-08-23 2023-07-06 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP7502698B2 (ja)
WO (1) WO2024043119A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150084755A1 (en) 2013-09-23 2015-03-26 Audi Ag Driver assistance system for displaying surroundings of a vehicle
JP2015148410A (ja) 2014-02-07 2015-08-20 株式会社東芝 空調制御装置、空調制御システム、空調制御方法及びプログラム
JP2017046196A (ja) 2015-08-27 2017-03-02 キヤノン株式会社 画像情報生成装置、画像情報生成方法、画像処理システム及びプログラム
CN110910503A (zh) 2019-10-15 2020-03-24 珠海格力电器股份有限公司 一种空调环境的仿真方法及装置
CN112944562A (zh) 2021-02-18 2021-06-11 格力电器(武汉)有限公司 一种空调控制方法、装置、存储介质及空调

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150084755A1 (en) 2013-09-23 2015-03-26 Audi Ag Driver assistance system for displaying surroundings of a vehicle
JP2015148410A (ja) 2014-02-07 2015-08-20 株式会社東芝 空調制御装置、空調制御システム、空調制御方法及びプログラム
JP2017046196A (ja) 2015-08-27 2017-03-02 キヤノン株式会社 画像情報生成装置、画像情報生成方法、画像処理システム及びプログラム
CN110910503A (zh) 2019-10-15 2020-03-24 珠海格力电器股份有限公司 一种空调环境的仿真方法及装置
CN112944562A (zh) 2021-02-18 2021-06-11 格力电器(武汉)有限公司 一种空调控制方法、装置、存储介质及空调

Also Published As

Publication number Publication date
WO2024043119A1 (ja) 2024-02-29
JP2024031827A (ja) 2024-03-07

Similar Documents

Publication Publication Date Title
AU2021282413B2 (en) System and method for generating computerized models of structures using geometry extraction and reconstruction techniques
US10679046B1 (en) Machine learning systems and methods of estimating body shape from images
US10482674B1 (en) System and method for mobile augmented reality
Chang et al. Matterport3d: Learning from rgb-d data in indoor environments
US10297070B1 (en) 3D scene synthesis techniques using neural network architectures
US20200320327A1 (en) Systems and methods for extracting information about objects from scene information
WO2021175050A1 (zh) 三维重建方法和三维重建装置
Li et al. Camera localization for augmented reality and indoor positioning: a vision-based 3D feature database approach
US20230138762A1 (en) Automated Building Floor Plan Generation Using Visual Data Of Multiple Building Images
US11842464B2 (en) Automated exchange and use of attribute information between building images of multiple types
US10657712B2 (en) System and techniques for automated mesh retopology
CN115222896B (zh) 三维重建方法、装置、电子设备及计算机可读存储介质
TW202238449A (zh) 室內定位系統及室內定位方法
Daneshmand et al. Real-time, automatic shape-changing robot adjustment and gender classification
Ward et al. Estimating energy consumption of residential buildings at scale with drive-by image capture
JP7502698B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム
JP7502702B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びコンピュータプログラム
JP7160295B1 (ja) 学習モデルの生成方法、情報処理装置、情報処理方法、コンピュータプログラム
Lakaemper et al. Integrating robot mapping and augmented building simulation
Chang et al. Using line consistency to estimate 3D indoor Manhattan scene layout from a single image
Oh et al. Vision-based 3D reconstruction using a compound eye camera
Akunuru 3D Digital Twin Representation of Building Indoors
Hou et al. A Computer Vision Approach for Building Facade Component Segmentation on 3D Point Cloud Models Reconstructed by Aerial Images
Alawadhi Building energy model generation using a digital photogrammetry-based 3D model
Sharma et al. Automatic Digitization and Orientation of Scanned Mesh Data for Floor Plan and 3D Model Generation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240520