以下に、本願に係る情報処理装置、情報処理プログラム及び情報処理システムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理プログラム及び情報処理システムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
〔1.第1の実施形態〕
〔1-1.はじめに〕
従来、人の暑さ寒さに関する温熱環境における快適さに基づいて空調制御する技術が知られている。例えば、空間の快適さを評価する指標として、人体の熱収支に影響する6つの要素からなるPMV(Predicted Mean Vote)が知られている。PMVは、温度[℃]、湿度[%]、(熱)放射[℃]、気流[m/s]の4つの環境要素と、着衣量[clo]、代謝量(活動量)[met]の2つの人的要素から算出される。ここで、温度、湿度、放射、気流の4つの環境要素は、空間に対するセンシングによって得ることができる。一方、着衣量、代謝量(活動量)の2つの人的要素は、外気温などから推定される推定値が用いられるのが一般的であった。そのため、従来の手法に基づいて算出されたPMV値は、必ずしも実際に人が感じている空間の快適さを反映しているとは限らなかった。すなわち、従来は、空間の快適さを精度よく推定できるとは限らなかった。
そこで、本願発明に係る発明者らは、機械学習モデルを用いて、RGBカメラ、赤外線カメラ等の撮影装置により撮影された画像、および環境センサによって検出された空間の温度や湿度などの環境に関する情報(以下、環境情報ともいう)から空間の快適さを推定する技術(以下、提案技術ともいう)を提案している。具体的には、提案技術は、空間を撮像した画像に含まれる人物が撮像された領域(以下、人物領域ともいう)に関する情報に基づいて空間の快適さを推定する。例えば、提案技術は、個々の人物の姿勢を推定する姿勢推定処理に基づいて特定された人物領域に関する情報に基づいて空間の快適さを推定する。このように、提案技術は、姿勢推定処理を用いることにより、画像の中から人物領域を精緻に特定することができるので、推定対象となる人物の着衣量や代謝量(活動量)に関する情報を精度よく推定することができる。また、提案技術は、着衣量や代謝量(活動量)といった2つの人的要素を精度よく推定することができるため、空間の快適さの推定精度を向上させることができる。
ここで、姿勢推定処理は、動画や静止画から人物の姿勢を推定し、人物領域を特定する処理であってよい。姿勢推定処理は、任意の公知技術により実現されてよい。例えば、姿勢推定処理は、姿勢推定(Pose Estimation)の技術(以下、姿勢推定技術ともいう)を用いた画像の処理により実現されてよい。例えば、姿勢推定処理は、姿勢推定モデルと呼ばれる深層学習モデルを用いて、動画や静止画から人物や動物の姿勢(骨格)を推定する姿勢推定技術により実現されてよい。なお、1枚の画像に複数の人物が写っている場合には、姿勢推定処理により、複数の人物について特徴点を検出して、複数の人物の姿勢を推定してもよい。すなわち、情報処理装置100は、複数の人物について、それぞれの人物が所在する空間の快適さをそれぞれ推定してもよい。
例えば、姿勢推定モデルの一例として、画像に含まれる人物の身体の特徴を示す特徴点(キーポイントともいう)を推定し、特徴点を結んだ人物の姿勢を検出するものがある。例えば、姿勢推定モデルの一例として、画像に含まれる人物の身体の特徴点として、人物の身体の関節の位置を示す関節点を推定し、関節点を連結して生成される人物の身体の骨格を示す骨格モデルを人物の姿勢として検出するものがある。このように、姿勢推定技術を用いると、画像中の人物の身体の関節点や骨格モデルを推定することができるので、画像中の人物の身体の部位を精緻に推定することができる。例えば、特徴点を検出するタイプの姿勢推定モデルの中には、画像中の人物の身体の30種類の部位を推定可能なものがある。具体的には、特徴点を検出するタイプの姿勢推定モデルを用いると、画像中の人物の身体の部位として、頭、目(右、左)、耳(右、左)、鼻、首、肩(右、中央、左)、肘(右、左)、背骨、手首(右、左)、手(右、左)、親指(右、左)、手先(右、左)、腰(右、中央、左)、膝(右、左)、足首(右、左)、足(右、左)を特定することができる。
また、姿勢推定モデルの一例として、DensePose(参考URL:http://openaccess.thecvf.com/content_cvpr_2018/html/Guler_DensePose_Dense_Human_CVPR_2018_paper.html)が知られている。DensePoseは、2次元の画像中の人物の人物領域を検出し、検出した人物領域に対応する3次元身体表面モデルを生成する技術である。より具体的には、DensePoseは、RGB画像を入力として、RGB画像中の人物の3次元表面のUV座標を推定する技術である。DensePoseを用いると、2次元の画像に写る人物領域から3次元身体表面のUV座標を推定することができるので、2次元の画像に写る人物領域の各人体パーツ(人物の身体の部位)を精緻に推定することができる。DensePoseを用いると、画像中の人物の身体の24種類の部位を推定することができる。具体的には、DensePoseを用いると、RGB画像から、画像中の人物の身体の部位として、頭(左、右)、首、胴体、腕(左、右/上、前/前、後)、脚(左、右/太もも、ふくらはぎ/前、後)、手(左、右)、足(左、右)を特定することができる。
しかしながら、一般的に、プライバシーに配慮する必要がある場所(トイレや脱衣所など)には、RGBカメラや赤外線カメラといった撮影装置を設置することが困難な場合がある。そのため、上記の提案技術では、プライバシーに配慮する必要がある場所(以下、プライバシーな空間ともいう)を撮影した画像の入手が難しいため、プライバシーな空間の快適さを推定するのが困難な場合があった。また、上記の提案技術では、RGBカメラ、赤外線カメラ等の撮影装置および環境センサを同じ場所に設置する必要があった。そのため、上記の提案技術では、快適さを推定する対象となる各空間にRGBカメラや赤外線カメラといった高額な機材をそれぞれ設置するのに高額な機材費用を要し、コストが増加するという課題があった。
これに対し、実施形態に係る情報処理装置100は、撮影装置によって撮影可能な空間で撮影された画像のうち人物が撮像された領域である人物領域に関する情報に基づいて、撮影装置によって撮影不可能な空間における人物にとっての空間の快適さを推定する。このように、情報処理装置100は、例えば、撮影装置が設置されない場所における空間の快適さを推定するために、撮影装置が設置されない場所の近くの撮影装置が設置されている場所で撮影された画像に関する画像情報を利用する。例えば、施設内の人物は自由に移動することができることから、情報処理装置100は、施設の出入口などに設置された撮影装置の画像情報をその後の施設内での快適さを推定するための情報として利用する。
これにより、情報処理装置100は、撮影装置が設置されない場所における空間の快適さを精度よく推定することができる。また、情報処理装置100は、利用者のプライバシーを保護するため撮影装置を設置することができない場所(トイレや脱衣所など)における空間の快適さを精度よく推定することができる。すなわち、情報処理装置100は、撮影装置によって撮影不可能な場所における空間の快適さの推定精度を向上させることができる。また、情報処理装置100は、RGBカメラや赤外線カメラといった撮影装置の設置台数を減らすことができる。したがって、情報処理装置100は、空間の快適さを精度よく推定するためのコストを抑えることができる。
ここで、撮影装置によって撮影可能な空間とは、例えば、撮影装置が設置されている空間のうち、撮影装置によって撮影可能な空間であってよい。一方、撮影装置によって撮影不可能な空間とは、例えば、撮影装置の死角となるため撮影装置による撮影が不可能な空間や、撮影装置が設置されないため撮影装置による撮影が不可能な空間のことであってよい。つまり、撮影措置によって撮影不可能な空間とは、必ずしも撮影ができないわけではない(撮影装置があれば撮影は可能な)空間であってよい。例えば、撮影装置によって撮影不可能な空間の一例として、利用者のプライバシーを保護するため、撮影装置が設置されない空間(トイレや脱衣所、更衣室など)がある。なお、本開示において撮影装置は画像を取得することができる装置であれば特に限定されない。例えば、撮影装置は、静止画を取得するカメラであってもよいし、動画を取得し、フレームの一部を静止画として取得するビデオカメラであってもよい。また、例えば、撮影装置は、静止画と動画の両方を取得可能な機能を有し、適宜これらの機能を切換えつつ、静止画を取得するような撮影モジュールであってもよい。
また、人物領域は、情報処理装置100が推定対象の人物を特定可能な領域であれば、任意の領域であってよい。例えば、人物領域は、人物を示す領域に加えて、その人物の周囲の空間を示す領域を含んでもよい。例えば、人物領域は、人物が撮像された領域に加えて、その人物の周囲の空間が撮像された領域を含んでもよい。例えば、人物領域は、人物の周囲に存在する家具等を示す領域を含んでもよい。なお、以下では、空間に所在する人物のことを「利用者」と記載する場合がある。
〔1-2.情報処理システムの構成〕
まず、図1を用いて、第1の実施形態に係る情報処理システム1の構成について説明する。図1は、第1の実施形態に係る情報処理システム1の構成例を示す図である。情報処理システム1には、空調装置10と、RGBカメラ20と、赤外線カメラ30と、環境センサ40と、認証装置50と、情報処理装置100とが含まれてよい。空調装置10と、RGBカメラ20と、赤外線カメラ30と、環境センサ40と、認証装置50と、情報処理装置100とは所定のネットワークNを介して、有線または無線により通信可能に接続されてよい。なお、情報処理システム1には、任意の数の空調装置10と、任意の数のRGBカメラ20と、任意の数の赤外線カメラ30と、任意の数の環境センサ40と、任意の数の認証装置50と、任意の数の情報処理装置100とが含まれてもよい。RGBカメラ20および赤外線カメラ30は、撮影装置の一例であってよい。
空調装置10は、空間の空気の温度や湿度などを調整する装置である。例えば、空調装置10は、情報処理装置100による空調制御の対象となる各空間に設置されたエアコンであってよい。例えば、空調装置10は、情報処理装置100による空調制御の対象となる空間における場所(例えば、部屋)ごとに設置されたエアコンであってよい。また、空調装置10は、IoT(Internet of Things)技術により、他の装置と通信可能であってよい。空調装置10は、情報処理装置100の制御に従って制御対象となる空間の空調を調整することができる。具体的には、まず、空調装置10は、情報処理装置100から空調の制御に関する制御情報を受信してよい。例えば、空調装置10は、情報処理装置100から空調に設定する設定温度や設定湿度に関する情報を受信してよい。続いて、空調装置10は、情報処理装置100から受信した制御情報に従って、空間の空調を調整してよい。例えば、空調装置10は、設定温度や設定湿度に関する情報を受信すると、空間の温度や湿度が、設定温度や設定湿度に保たれるように空調を調整してよい。
RGBカメラ20は、空間のRGB画像を取得する装置である。具体的には、RGBカメラ20は、RGBカメラ20によって撮影可能な空間のRGB画像を取得してよい。例えば、RGBカメラ20は、撮影可能な空間において新たな人物を検出する度にRGB画像を取得してよい。例えば、RGBカメラ20は、常時RGB画像を取得してもよい。また、RGBカメラ20は、情報処理装置100による空調制御の対象となる空間に設置されてよい。例えば、RGBカメラ20は、情報処理装置100による空調制御の対象となる施設(例えば、多数のオフィスが入居しているビルや商業施設など)の入口や出口に設置されてよい。また、RGBカメラ20は、赤外線カメラ30と同じ空間を撮影してよい。また、RGBカメラ20は、IoT技術により、他の装置と通信可能であってよい。例えば、RGBカメラ20は、RGB画像を取得すると、取得したRGB画像を情報処理装置100に送信してよい。
赤外線カメラ30は、空間のサーマル画像を取得する装置である。具体的には、赤外線カメラ30は、赤外線カメラ30によって撮影可能な空間のサーマル画像を取得してよい。例えば、赤外線カメラ30は、撮影可能な空間において新たな人物を検出する度にサーマル画像を取得してよい。例えば、赤外線カメラ30は、常時サーマル画像を取得してもよい。また、赤外線カメラ30は、情報処理装置100による空調制御の対象となる空間に設置されてよい。例えば、赤外線カメラ30は、情報処理装置100による空調制御の対象となる施設の入口や出口に設置されてよい。また、赤外線カメラ30は、RGBカメラ20と同じ空間を撮影してよい。また、赤外線カメラ30は、IoT技術により、他の装置と通信可能であってよい。例えば、赤外線カメラ30は、サーマル画像を取得すると、取得したサーマル画像を情報処理装置100に送信してよい。
環境センサ40は、空間の温度や湿度などの環境に関する環境情報を取得するセンサ装置である。具体的には、環境センサ40は、環境センサ40が設置された空間の温度や湿度を検出してよい。環境センサ40は、USB型の環境センサであってよい。また、環境センサ40は、情報処理装置100による空調制御の対象となる空間に少なくとも1以上設置されてよい。例えば、環境センサ40は、情報処理装置100による空調制御の対象となる施設に数メートルおきに設置されてよい。また、環境センサ40は、IoT技術により、他の装置と通信可能であってよい。例えば、環境センサ40は、空間の温度や湿度を検出すると、検出した空間の温度や湿度に関する情報を情報処理装置100に送信してよい。なお、環境センサ40が取得する環境情報は、後述する快適さの判定において利用可能な情報であればよく、上記の例に限定されない。例えば、環境センサ40は、環境情報として気圧や照度などの任意の情報を取得してよい。
認証装置50は、利用者の個人認証を行う装置である。認証装置50は、情報処理装置100による空調制御の対象となる空間の入口や出口に設置されてよい。認証装置50は、センサを用いて利用者の個人認証情報を取得してよい。続いて、認証装置50は、個人認証情報を取得すると、あらかじめ記憶された個人認証情報と取得した個人認証情報とを照合して、個人認証を行う。また、認証装置50は、IoT技術により、他の装置と通信可能であってよい。例えば、認証装置50は、情報処理装置100にあらかじめ記憶された個人認証情報を情報処理装置100から取得してよい。また、認証装置50は、個人認証を行った場合、個人認証の認証結果を情報処理装置100に送信してよい。例えば、認証装置50は、個人認証に成功した場合、個人認証に成功したことを示す情報とともに、個人認証に成功した利用者を識別可能な情報(例えば、利用者ID)を情報処理装置100に送信してよい。
第1の実施形態に係る認証装置50は、顔認証装置である。顔認証装置である認証装置50は、個人認証情報の一例として、RGBカメラを用いて利用者の顔画像情報を取得してよい。続いて、認証装置50は、利用者の顔画像情報を取得すると、あらかじめ記憶された顔画像情報と取得した顔画像情報とを照合して、顔認証を行う。例えば、顔認証装置は、RGBカメラ20から取得した画像に基づいて、利用者の顔画像情報を取得してよい。また、認証装置50は、顔認証に成功した場合、顔認証に成功したことを示す認証情報とともに、顔認証に成功した利用者を識別可能な利用者の顔画像情報を情報処理装置100に送信してよい。
情報処理装置100は、第1の実施形態に係る情報処理を実行する情報処理装置である。具体的には、情報処理装置100は、人物領域に関する情報が入力情報として入力された場合に、利用者にとっての空間の快適さを出力情報として出力するよう学習された機械学習モデル(以下、快適さ推定モデルともいう)を用いて、撮影装置によって撮影不可能な空間における人物にとっての空間の快適さを推定してよい。例えば、情報処理装置100は、撮影装置によって撮影可能な空間で撮影された人物領域に関する情報を快適さ推定モデルに入力して、撮影装置によって撮影不可能な空間における人物にとっての空間の快適さを快適さ推定モデルの出力情報として出力してよい。
また、情報処理装置100は、空調装置10を制御する制御装置である。具体的には、情報処理装置100は、推定した空間の快適さに基づいて、利用者が所在する場所に設置された空調装置10を制御してよい。例えば、情報処理装置100は、推定した空間の快適さが「寒い」である場合には、その場所における温度を高くするように空調装置10を制御してよい。また、情報処理装置100は、推定した空間の快適さが「普通」である場合には、その場所における温度を保つように空調装置10を制御してよい。また、情報処理装置100は、推定した空間の快適さが「暑い」である場合には、その場所における温度を低くするように空調装置10を制御してよい。
〔1-3.情報処理の概要〕
次に、図2を用いて、第1の実施形態に係る情報処理の概要について説明する。図2は、第1の実施形態に係る情報処理の概要を説明するための図である。図2に示す符号P11~P16は、情報処理装置100による空調制御の対象となる建物における6つの場所をそれぞれ示している。以下では、「P1*」(*=1~6)で示す場所を、「場所P1*」(*=1~6)と記載する場合がある。
図2には、利用者U1が、情報処理装置100による空調制御の対象となる建物(空間の一例)の中の場所P11~場所P16を順番に移動する場合が例示されている。例えば、利用者U1は、建物の入口付近のエントランスである場所P11から場所P11に続く廊下である場所P12へ移動する。その後、利用者U1は、廊下である場所P12から場所P12の奥に位置する共有スペースである場所P13に移動する。その後、利用者U1は、共有スペースである場所P13から場所P13に隣接する第1会議室である場所P14へ移動する。その後、利用者U1は、第1会議室である場所P14から場所P14に隣接する執務室である場所P15へ移動する。その後、利用者U1は、執務室である場所P15から場所P15に隣接する第2会議室である場所P16へ移動する。
また、図2に示すチェックの印は、RGBカメラ20、赤外線カメラ30、または環境センサ40が設置されている場所を示す。例えば、場所P11と場所P14と場所P16は、RGBカメラ20、赤外線カメラ30、および環境センサ40が設置されている場所であることを示す。一方、場所P12と場所P13と場所P15は、RGBカメラ20および赤外線カメラ30が設置されておらず、環境センサ40のみが設置されている場所であることを示す。なお、図示は省略するが、場所P11には、顔認証装置である認証装置50が設置されているものとする。また、以下の説明において、RGBカメラ20および赤外線カメラ30等の撮影装置を単に「カメラ」と呼称する場合がある。
また、以下では、RGBカメラ20が設置された空間に応じて、RGBカメラ20をRGBカメラ20-*(*=1、4、6)のように区別して説明する場合がある。例えば、RGBカメラ20-1は、場所P11に設置されているRGBカメラ20である。また、例えば、RGBカメラ20-4は、場所P14に設置されているRGBカメラ20である。また、以下では、RGBカメラ20-*(*=1、4、6)について、特に区別なく説明する場合には、RGBカメラ20と記載する。
また、以下では、赤外線カメラ30が設置された空間に応じて、赤外線カメラ30を赤外線カメラ30-*(*=1、4、6)のように区別して説明する場合がある。例えば、赤外線カメラ30-1は、場所P11に設置されている赤外線カメラ30である。また、例えば、赤外線カメラ30-4は、場所P14に設置されている赤外線カメラ30である。また、以下では、赤外線カメラ30-*(*=1、4、6)について、特に区別なく説明する場合には、赤外線カメラ30と記載する。
また、以下では、環境センサ40が設置された空間に応じて、環境センサ40を環境センサ40-*(*=1~6)のように区別して説明する場合がある。例えば、環境センサ40-1は、場所P11に設置されている環境センサ40である。また、例えば、環境センサ40-2は、場所P12に設置されている環境センサ40である。また、以下では、環境センサ40-*(*=1~6)について、特に区別なく説明する場合には、環境センサ40と記載する。
また、以下では、認証装置50が設置された空間に応じて、認証装置50を認証装置50-*(*=1)のように区別して説明する場合がある。例えば、認証装置50-1は、場所P11に設置されている認証装置50である。また、以下では、認証装置50-*(*=1)について、特に区別なく説明する場合には、認証装置50と記載する。
まず、図2では、利用者U1が、カメラが設置されている場所P11を訪れる。このとき、情報処理装置100は、利用者U1の顔認証が成功したという認証情報とともに利用者U1を識別する利用者ID「U1」および利用者U1の顔画像情報#11を場所P11に設置された認証装置50-1から取得してよい。
続いて、情報処理装置100は、認証装置50-1から認証情報を取得すると、場所P11に設置されたRGBカメラ20-1によって撮影されたRGB画像#11をRGBカメラ20-1から取得してよい。続いて、情報処理装置100は、RGB画像#11に新たに写り込んだ人物(の領域)を利用者ID「U1」で識別される利用者U1であると特定してよい。
また、情報処理装置100は、RGB画像#11を取得すると、RGB画像#11に関する画像情報(以下、RGB画像情報#11ともいう)を生成してよい。例えば、情報処理装置100は、RGB画像#11を取得すると、姿勢推定処理によってRGB画像#11のうち利用者U1の人物領域R11を特定してよい。続いて、情報処理装置100は、人物領域R11を特定すると、RGB画像情報#11の一例として、学習モデルM1を用いて、人物領域R11の特徴を示す特徴ベクトルV11を生成してよい。
また、情報処理装置100は、場所P11に設置された赤外線カメラ30-1によって撮影されたサーマル画像#11を赤外線カメラ30-1から取得してよい。情報処理装置100は、サーマル画像#11を取得すると、サーマル画像#11に関する画像情報(以下、サーマル画像情報#11ともいう)を生成してよい。例えば、情報処理装置100は、サーマル画像#11を取得すると、姿勢推定処理に基づいてサーマル画像#11のうち利用者U1の人物領域R12を特定してよい。続いて、情報処理装置100は、人物領域R12を特定すると、サーマル画像情報#11の一例として、学習モデルM2を用いて、人物領域R12の特徴を示す特徴ベクトルV12を生成してよい。
また、情報処理装置100は、RGB画像情報#11(特徴ベクトルV11)およびサーマル画像情報#11(特徴ベクトルV12)を生成すると、RGB画像情報#11(特徴ベクトルV11)とサーマル画像情報#11(特徴ベクトルV12)と認証装置50-1から取得した利用者U1の顔画像情報#11とを対応付けて記憶してよい。
また、情報処理装置100は、場所P11に設置された環境センサ40-1によって検出されたその時の温度および湿度に関する環境情報(以下、環境情報#11ともいう)を環境センサ40-1から取得してよい。情報処理装置100は、環境情報#11を取得すると、学習モデルM3を用いて、環境情報#11の特徴を示す特徴ベクトルV13を生成してよい。
また、情報処理装置100は、環境情報#11を取得すると、環境センサ40-1を識別するセンサID「40-1」と環境情報#11と環境情報#11の取得時刻とを対応付けて記憶してよい。
続いて、情報処理装置100は、快適さ推定モデルM4を用いて、カメラが設置されている場所P11における利用者U1にとっての空間の快適さを推定してよい。例えば、情報処理装置100は、特徴ベクトルV11と特徴ベクトルV12と特徴ベクトルV13を快適さ推定モデルM4に入力して、カメラが設置されている場所P11における利用者U1にとっての空間の快適さを快適さ推定モデルM4の出力情報として出力してよい。
次に、図2では、利用者U1が、カメラが設置されている場所P11からカメラが設置されていない場所P12へ移動してよい。このとき、情報処理装置100は、場所P12に設置された環境センサ40-2によって検出されたその時の温度および湿度に関する環境情報(以下、環境情報#12ともいう)を環境センサ40-2から取得してよい。情報処理装置100は、環境情報#12を取得すると、学習モデルM3を用いて、環境情報#12の特徴を示す特徴ベクトルV23を生成してよい。また、情報処理装置100は、環境情報#12を取得すると、環境センサ40-2を識別するセンサID「40-2」と環境情報#12と環境情報#12の取得時刻とを対応付けて記憶してよい。
続いて、情報処理装置100は、快適さ推定モデルM4を用いて、カメラが設置されていない場所P12における利用者U1にとっての空間の快適さを推定してよい。具体的には、情報処理装置100は、カメラが設置されている場所P11における人物領域R11の特徴を示す特徴ベクトルV11および人物領域R12の特徴を示す特徴ベクトルV12を用いて、カメラが設置されていない場所P12における利用者U1にとっての空間の快適さを推定してよい。例えば、情報処理装置100は、特徴ベクトルV11と特徴ベクトルV12と特徴ベクトルV23を快適さ推定モデルM4に入力して、カメラが設置されていない場所P12における利用者U1にとっての空間の快適さを快適さ推定モデルM4の出力情報として出力してよい。
このように、情報処理装置100は、カメラが設置されていない場所P12の近くのカメラが設置されている場所P11における利用者U1のRGB画像情報やサーマル画像情報に基づいて、カメラが設置されていない場所P12における利用者U1にとっての空間の快適さを推定する。ここで、カメラが設置されていない場所P12とカメラが設置されている場所P11は距離が近いので、場所P11と場所P12における利用者U1の着衣量や代謝量(活動量)に関する情報はほとんど同じとみなすことができる。したがって、情報処理装置100は、カメラが設置されない場所P12における利用者U1にとっての空間の快適さを精度よく推定することができる。
次に、図2では、利用者U1が、カメラが設置されていない場所P12からカメラが設置されていない場所P13へ移動する。このとき、情報処理装置100は、場所P13に設置された環境センサ40-3によって検出されたその時の温度および湿度に関する環境情報(以下、環境情報#13ともいう)を環境センサ40-3から取得してよい。情報処理装置100は、環境情報#13を取得すると、学習モデルM3を用いて、環境情報#13の特徴を示す特徴ベクトルV33を生成してよい。また、情報処理装置100は、環境情報#13を取得すると、環境センサ40-3を識別するセンサID「40-3」と環境情報#13と環境情報#13の取得時刻とを対応付けて記憶してよい。
続いて、情報処理装置100は、快適さ推定モデルM4を用いて、カメラが設置されていない場所P13における利用者U1にとっての空間の快適さを推定してよい。具体的には、情報処理装置100は、カメラが設置されている場所P11における人物領域R11の特徴を示す特徴ベクトルV11および人物領域R12の特徴を示す特徴ベクトルV12を用いて、カメラが設置されていない場所P13における利用者U1にとっての空間の快適さを推定してよい。例えば、情報処理装置100は、特徴ベクトルV11と特徴ベクトルV12と特徴ベクトルV33を快適さ推定モデルM4に入力して、カメラが設置されていない場所P13における利用者U1にとっての空間の快適さを快適さ推定モデルM4の出力情報として出力してよい。
このように、情報処理装置100は、カメラが設置されていない場所P13の近くのカメラが設置されている場所P11における利用者U1のRGB画像情報やサーマル画像情報に基づいて、カメラが設置されていない場所P13における利用者U1にとっての空間の快適さを推定する。ここで、カメラが設置されていない場所P13とカメラが設置されている場所P11は距離が近いので、場所P11と場所P13における利用者U1の着衣量や代謝量(活動量)に関する情報はほとんど同じとみなすことができる。したがって、情報処理装置100は、カメラが設置されない場所P13における利用者U1にとっての空間の快適さを精度よく推定することができる。
次に、図2では、利用者U1が、カメラが設置されていない場所P13からカメラが設置されている場所P14へ移動する。このとき、情報処理装置100は、場所P14に設置されたRGBカメラ20-4によって撮影されたRGB画像#14をRGBカメラ20-4から取得してよい。続いて、情報処理装置100は、RGB画像#14を取得すると、RGB画像#14に含まれる利用者U1の顔画像情報と認証装置50-1から取得した利用者U1の顔画像情報#11とを照合して、RGB画像#14に含まれる利用者U1を特定してよい。
また、情報処理装置100は、RGB画像#14を取得すると、RGB画像#14に関する画像情報(以下、RGB画像情報#14ともいう)を生成してよい。例えば、情報処理装置100は、RGB画像#14を取得すると、姿勢推定処理によってRGB画像#14のうち利用者U1の人物領域R14を特定してよい。続いて、情報処理装置100は、人物領域R14を特定すると、RGB画像情報#14の一例として、学習モデルM1を用いて、人物領域R14の特徴を示す特徴ベクトルV41を生成してよい。
また、情報処理装置100は、場所P14に設置された赤外線カメラ30-4によって撮影されたサーマル画像#14を赤外線カメラ30-4から取得してよい。情報処理装置100は、サーマル画像#14を取得すると、サーマル画像#14に関する画像情報(以下、サーマル画像情報#14ともいう)を生成してよい。例えば、情報処理装置100は、サーマル画像#14を取得すると、姿勢推定処理に基づいてサーマル画像#14のうち利用者U1の人物領域R15を特定してよい。続いて、情報処理装置100は、人物領域R15を特定すると、サーマル画像情報#14の一例として、学習モデルM2を用いて、人物領域R15の特徴を示す特徴ベクトルV42を生成してよい。
また、情報処理装置100は、RGB画像情報#14(特徴ベクトルV41)およびサーマル画像情報#14(特徴ベクトルV42)を生成すると、利用者U1の画像情報#1と対応付けて記憶したRGB画像情報#11(特徴ベクトルV11)とサーマル画像情報#11(特徴ベクトルV12)を削除してよい。続いて、情報処理装置100は、RGB画像情報#14(特徴ベクトルV41)とサーマル画像情報#14(特徴ベクトルV42)と認証装置50-1から取得した利用者U1の顔画像情報#11とを対応付けて記憶してよい。
このように、情報処理装置100は、RGB画像情報やサーマル画像情報を取得する度に、利用者の顔画像情報と対応付けて記憶するRGB画像情報やサーマル画像情報を更新してよい。
また、情報処理装置100は、場所P14に設置された環境センサ40-4によって検出されたその時の温度および湿度に関する環境情報(以下、環境情報#14ともいう)を環境センサ40-4から取得してよい。情報処理装置100は、環境情報#14を取得すると、学習モデルM3を用いて、環境情報#14の特徴を示す特徴ベクトルV43を生成してよい。
また、情報処理装置100は、環境情報#14を取得すると、環境センサ40-4を識別するセンサID「40-4」と環境情報#14と環境情報#14の取得時刻とを対応付けて記憶してよい。
続いて、情報処理装置100は、快適さ推定モデルM4を用いて、カメラが設置されている場所P14における利用者U1にとっての空間の快適さを推定してよい。例えば、情報処理装置100は、特徴ベクトルV41と特徴ベクトルV42と特徴ベクトルV43を快適さ推定モデルM4に入力して、カメラが設置されている場所P14における利用者U1にとっての空間の快適さを快適さ推定モデルM4の出力情報として出力してよい。
次に、図2では、利用者U1が、カメラが設置されている場所P14からカメラが設置されていない場所P15へ移動する。このとき、情報処理装置100は、場所P15に設置された環境センサ40-5によって検出されたその時の温度および湿度に関する環境情報(以下、環境情報#15ともいう)を環境センサ40-5から取得してよい。情報処理装置100は、環境情報#15を取得すると、学習モデルM3を用いて、環境情報#15の特徴を示す特徴ベクトルV53を生成してよい。また、情報処理装置100は、環境情報#15を取得すると、環境センサ40-5を識別するセンサID「40-5」と環境情報#15と環境情報#15の取得時刻とを対応付けて記憶してよい。
続いて、情報処理装置100は、快適さ推定モデルM4を用いて、カメラが設置されていない場所P15における利用者U1にとっての空間の快適さを推定してよい。具体的には、情報処理装置100は、カメラが設置されている場所P14における人物領域R14の特徴を示す特徴ベクトルV41および人物領域R15の特徴を示す特徴ベクトルV42を用いて、カメラが設置されていない場所P15における利用者U1にとっての空間の快適さを推定してよい。例えば、情報処理装置100は、特徴ベクトルV41と特徴ベクトルV42と特徴ベクトルV53を快適さ推定モデルM4に入力して、カメラが設置されていない場所P15における利用者U1にとっての空間の快適さを快適さ推定モデルM4の出力情報として出力してよい。
このように、情報処理装置100は、カメラが設置されていない場所P15の近くのカメラが設置されている場所P14における利用者U1のRGB画像情報やサーマル画像情報に基づいて、カメラが設置されていない場所P15における利用者U1にとっての空間の快適さを推定する。ここで、カメラが設置されていない場所P15とカメラが設置されている場所P14は距離が近いので、場所P14と場所P15における利用者U1の着衣量や代謝量(活動量)に関する情報はほとんど同じとみなすことができる。したがって、情報処理装置100は、カメラが設置されない場所P15における利用者U1にとっての空間の快適さを精度よく推定することができる。
また、情報処理装置100は、利用者U1の最新のRGB画像情報やサーマル画像情報に基づいて、利用者U1にとっての空間の快適さを推定することができる。そのため、情報処理装置100は、利用者U1の着衣量や代謝量(活動量)に関する情報が時間経過とともに変化する場合であっても、利用者U1の最新の着衣量や代謝量(活動量)に関する情報に基づいて、利用者U1にとっての空間の快適さを推定することができる。したがって、情報処理装置100は、カメラが設置されない場所P15における利用者U1にとっての空間の快適さを精度よく推定することができる。
次に、図2では、利用者U1が、カメラが設置されていない場所P15からカメラが設置されている場所P16へ移動する。このとき、情報処理装置100は、場所P16に設置されたRGBカメラ20-6によって撮影されたRGB画像#16をRGBカメラ20-6から取得してよい。続いて、情報処理装置100は、RGB画像#16を取得すると、RGB画像#16に含まれる利用者U1の顔画像情報と認証装置50-1から取得した利用者U1の顔画像情報#11とを照合して、RGB画像#16に含まれる利用者U1を特定してよい。
また、情報処理装置100は、RGB画像#16を取得すると、RGB画像#16に関する画像情報(以下、RGB画像情報#16ともいう)を生成してよい。例えば、情報処理装置100は、RGB画像#16を取得すると、姿勢推定処理によってRGB画像#16のうち利用者U1の人物領域R16を特定してよい。続いて、情報処理装置100は、人物領域R16を特定すると、RGB画像情報#16の一例として、学習モデルM1を用いて、人物領域R16の特徴を示す特徴ベクトルV61を生成してよい。
また、情報処理装置100は、場所P16に設置された赤外線カメラ30-6によって撮影されたサーマル画像#16を赤外線カメラ30-6から取得してよい。情報処理装置100は、サーマル画像#16を取得すると、サーマル画像#16に関する画像情報(以下、サーマル画像情報#16ともいう)を生成してよい。例えば、情報処理装置100は、サーマル画像#16を取得すると、姿勢推定処理に基づいてサーマル画像#16のうち利用者U1の人物領域R17を特定してよい。続いて、情報処理装置100は、人物領域R17を特定すると、サーマル画像情報#16の一例として、学習モデルM2を用いて、人物領域R17の特徴を示す特徴ベクトルV62を生成してよい。
また、情報処理装置100は、RGB画像情報#16(特徴ベクトルV61)およびサーマル画像情報#16(特徴ベクトルV62)を生成すると、利用者U1の画像情報#1と対応付けて記憶したRGB画像情報#14(特徴ベクトルV41)およびサーマル画像情報#14(特徴ベクトルV42)を削除してよい。続いて、情報処理装置100は、RGB画像情報#16(特徴ベクトルV61)とサーマル画像情報#16(特徴ベクトルV62)と認証装置50-1から取得した利用者U1の顔画像情報#11とを対応付けて記憶してよい。
このように、情報処理装置100は、RGB画像情報やサーマル画像情報を取得する度に、利用者の顔画像情報と対応付けて記憶するRGB画像情報やサーマル画像情報を更新する。
また、情報処理装置100は、場所P16に設置された環境センサ40-6によって検出されたその時の温度および湿度に関する環境情報(以下、環境情報#16ともいう)を環境センサ40-6から取得してよい。情報処理装置100は、環境情報#16を取得すると、学習モデルM3を用いて、環境情報#16の特徴を示す特徴ベクトルV63を生成してよい。
また、情報処理装置100は、環境情報#16を取得すると、環境センサ40-6を識別するセンサID「40-6」と環境情報#16と環境情報#16の取得時刻とを対応付けて記憶してよい。
続いて、情報処理装置100は、快適さ推定モデルM4を用いて、カメラが設置された場所P16における利用者U1にとっての空間の快適さを推定してよい。例えば、情報処理装置100は、特徴ベクトルV61と特徴ベクトルV62と特徴ベクトルV63を快適さ推定モデルM4に入力して、カメラが設置された場所P16における利用者U1にとっての空間の快適さを快適さ推定モデルM4の出力情報として出力してよい。
〔1-4.情報処理装置の構成〕
次に、図3を用いて、第1の実施形態に係る情報処理装置100の構成について説明する。図3は、第1の実施形態に係る情報処理装置100の構成例を示す図である。情報処理装置100は、通信部110と、記憶部120と、制御部130とを有してよい。なお、情報処理装置100は、情報処理装置100の管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示させるための表示部(例えば、液晶ディスプレイ等)を有してもよい。
(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークと有線または無線で接続され、例えば、空調装置10やRGBカメラ20や赤外線カメラ30や環境センサ40との間で情報の送受信を行う。
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部120は、各種の学習モデルに関する情報を記憶してよい。例えば、記憶部120は、各種の学習モデルとして、学習モデルM1~M3および快適さ推定モデルM4に関する情報を記憶してよい。例えば、記憶部120は、各種の学習モデルの接続係数に関する情報を記憶してよい。
(利用者情報記憶部121)
利用者情報記憶部121は、利用者に関する各種の情報を記憶してよい。ここで、図4を用いて、第1の実施形態に係る利用者情報記憶部121の一例について説明する。図4は、第1の実施形態に係る利用者情報記憶部121の一例を示す図である。
図4に示す例では、利用者情報記憶部121は、RGBカメラ20によって撮影可能な空間で撮影されたRGB画像に関するRGB画像情報と、顔認証装置である認証装置50から取得した利用者の顔画像情報とを対応付けて記憶してよい。例えば、利用者情報記憶部121は、RGB画像情報の一例として、RGB画像に含まれる利用者の人物領域R1の特徴を示す特徴ベクトルV1と利用者の顔画像情報とを対応付けて記憶してよい。
また、利用者情報記憶部121は、赤外線カメラ30によって撮影可能な空間で撮影されたサーマル画像に関するサーマル画像情報と、顔認証装置である認証装置50から取得した利用者の顔画像情報とを対応付けて記憶してよい。例えば、利用者情報記憶部121は、サーマル画像情報の一例として、サーマル画像に含まれる利用者の人物領域R2の特徴を示す特徴ベクトルV2と利用者の顔画像情報とを対応付けて記憶してよい。
また、利用者情報記憶部121は、撮影時刻が異なる2以上の画像のうち、撮影時刻が最も新しい画像に関する画像情報と利用者を識別可能な情報とを対応付けて記憶してよい。
なお、図4では、利用者を識別可能な情報の一例として、顔認証装置である認証装置50から取得した利用者の顔認証用の顔画像情報と画像情報を対応付けて記憶する例について説明したが、利用者を識別可能な情報は利用者の顔画像情報に限られない。例えば、利用者情報記憶部121は、利用者を識別可能な情報の一例として、指紋認証や虹彩認証などの利用者の生体認証処理に用いられる生体認証用情報(指紋認証用情報や虹彩認証用情報など)と画像情報とを対応付けて記憶してよい。また、利用者情報記憶部121は、利用者を識別可能な情報の一例として、ICカード認証などの利用者のアイテム認証処理に用いられるアイテム認証用情報(ICカード認証用情報など)と画像情報とを対応付けて記憶してよい。
(環境情報記憶部122)
環境情報記憶部122は、環境センサによって検出された環境情報を記憶してよい。ここで、図5を用いて、第1の実施形態に係る環境情報記憶部122の一例について説明する。図5は、第1の実施形態に係る環境情報記憶部122の一例を示す図である。図5に示す例では、環境情報記憶部122は、環境センサを識別可能なセンサIDと、環境情報が検出された時刻と、環境情報とを対応づけて記憶してよい。また、環境情報記憶部122は、所定時間ごとに環境センサによって検出された環境情報のログを記憶してよい。
(制御部130)
制御部130は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
制御部130は、取得部131と、推定部132と、空調制御部133とを機能部として有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部130の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部130の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
(取得部131)
取得部131は、利用者を識別する利用者IDと顔認証に用いられる利用者の顔画像情報を取得してよい。例えば、取得部131は、利用者IDと利用者の顔画像情報を顔認証装置である認証装置50から取得してよい。取得部131は、利用者IDと利用者の顔画像情報を取得すると、利用者IDと利用者の顔画像情報とを対応付けて利用者情報記憶部121に記憶してよい。
また、取得部131は、利用者の顔認証が成功したという認証情報とともに利用者を識別する利用者IDおよび利用者の顔画像情報を認証装置50から取得してよい。
また、取得部131は、RGBカメラ20によって撮影可能な空間で撮影されたRGB画像をRGBカメラ20から取得してよい。例えば、取得部131は、RGBカメラ20によって撮影可能な空間の一例として、RGBカメラ20が設置された場所で撮影されたRGB画像をRGBカメラ20から取得してよい。
また、取得部131は、2以上の異なるRGBカメラ20それぞれから撮影時刻の異なる2以上の画像をそれぞれ取得してよい。例えば、取得部131は、異なる場所に設置された2以上の異なるRGBカメラ20それぞれから移動中の利用者を撮像したRGB画像を取得してよい。
また、取得部131は、赤外線カメラ30によって撮影可能な空間で撮影されたサーマル画像を赤外線カメラ30から取得してよい。例えば、取得部131は、赤外線カメラ30によって撮影可能な空間の一例として、赤外線カメラ30が設置された場所で撮影されたサーマル画像を赤外線カメラ30から取得してよい。
また、取得部131は、2以上の異なる赤外線カメラ30それぞれから撮影時刻の異なる2以上のサーマル画像をそれぞれ取得してよい。例えば、取得部131は、異なる場所に設置された2以上の異なる赤外線カメラ30それぞれから移動中の利用者を撮像したサーマル画像を取得してよい。
また、取得部131は、撮影装置によって撮影不可能な空間に設置された環境センサ40によって検出された温度および湿度に関する環境情報を環境センサ40から取得してよい。例えば、取得部131は、撮影不可能な空間の一例として、撮影装置が設置されていない場所に設置された環境センサ40によって検出された温度および湿度に関する環境情報を環境センサ40から取得してよい。取得部131は、環境情報を取得すると、環境センサ40を識別するセンサIDと、取得した環境情報と、環境情報の取得時刻とを対応付けて環境情報記憶部122に記憶してよい。
また、取得部131は、撮影装置によって撮影可能な空間に設置された環境センサ40によって検出された温度および湿度に関する環境情報を環境センサ40から取得してよい。例えば、取得部131は、撮影可能な空間の一例として、撮影装置が設置されている場所に設置された環境センサ40によって検出された温度および湿度に関する環境情報を環境センサ40から取得してよい。取得部131は、環境情報を取得すると、環境センサ40を識別するセンサIDと、取得した環境情報と、環境情報の取得時刻とを対応付けて環境情報記憶部122に記憶してよい。
また、取得部131は、各種の機械学習モデル(以下、「学習モデル」と記載する場合がある)に関する情報を外部の情報処理装置から取得してよい。具体的には、取得部131は、学習モデルの一例として、RGB画像が入力情報として入力された場合に、RGB画像の特徴を示す特徴ベクトルV1を出力情報として出力する学習モデルM1を取得してよい。例えば、取得部131は、ImageNet等の画像データベースに登録されている多数の(例えば、1000万枚を超える)画像から画像に写っている物体名(クラス)を推定するよう学習された学習モデルM1を取得してよい。例えば、取得部131は、畳み込みニューラルネットワークである学習モデルM1を取得してよい。例えば、取得部131は、Resnet50である学習モデルM1を取得してよい。例えば、取得部131は、RGB画像が入力情報として入力された場合に、RGB画像の特徴を示す2048次元の特徴ベクトルV1を出力情報として出力する機械学習モデルM1を取得してよい。続いて、取得部131は、学習モデルM1を取得すると、学習モデルM1に関する情報と学習モデルM1を識別する識別情報「M1」とを対応付けて記憶部120に格納してよい。
また、取得部131は、学習モデルの一例として、サーマル画像が入力情報として入力された場合に、サーマル画像の特徴を示す特徴ベクトルV2を出力情報として出力する学習モデルM2を取得してよい。例えば、取得部131は、ImageNet等の画像データベースに登録されている多数の(例えば、1000万枚を超える)サーマル画像からサーマル画像に写っている物体名(クラス)を推定するよう学習された学習モデルM2を取得してよい。例えば、取得部131は、畳み込みニューラルネットワークである学習モデルM2を取得してよい。例えば、取得部131は、Resnet50である学習モデルM2を取得してよい。例えば、取得部131は、サーマル画像が入力情報として入力された場合に、サーマル画像の特徴を示す2048次元の特徴ベクトルV2を出力情報として出力する機械学習モデルM2を取得してよい。続いて、取得部131は、学習モデルM2を取得すると、学習モデルM2に関する情報と学習モデルM2を識別する識別情報「M2」とを対応付けて記憶部120に格納してよい。
また、取得部131は、学習モデルの一例として、環境情報が入力情報として入力された場合に、環境情報の特徴を示す特徴ベクトルV3を出力情報として出力する学習モデルM3を取得してよい。具体的には、例えば、取得部131は、環境情報として空間の温度および湿度に関する情報が入力情報として入力された場合に、空間の温度および湿度に関する情報の特徴を示す特徴ベクトルV3を出力情報として出力する学習モデルM3を取得してよい。例えば、取得部131は、環境情報から環境情報の特徴を示す特徴ベクトルを推定するよう学習された学習モデルM3を取得してよい。例えば、取得部131は、ニューラルネットワークである学習モデルM3を取得してよい。例えば、取得部131は、環境情報が入力情報として入力された場合に、環境情報の特徴を示す2048次元の特徴ベクトルV3を出力情報として出力する機械学習モデルM3を取得してよい。続いて、取得部131は、学習モデルM3を取得すると、学習モデルM3に関する情報と学習モデルM3を識別する識別情報「M3」とを対応付けて記憶部120に格納してよい。
また、取得部131は、学習モデルの一例として、空間に所在する人物の特徴を示す特徴ベクトルV4が入力情報として入力された場合に、人物にとっての空間の快適さを出力情報として出力する快適さ推定モデルM4を取得してよい。例えば、取得部131は、特徴ベクトルV4が入力情報として入力された場合に、快適さを示す各カテゴリに特徴ベクトルV4が分類される確率を出力情報として出力するよう学習された快適さ推定モデルM4を取得してよい。例えば、取得部131は、特徴ベクトルV4が入力情報として入力された場合に、「寒い」カテゴリに分類される確率と「暑い」カテゴリに分類される確率と「普通」カテゴリに分類される確率を出力情報として出力する快適さ推定モデルM4を取得してよい。
なお、快適さを示すカテゴリは、任意の分類であってよく、上記の例に限定されない。例えば、快適さの分類は、「涼しい」、「暖かい」など他の分類を含んでよい。また、取得部131は、特徴ベクトルV4が入力情報として入力された場合に、特徴ベクトルV4が分類される快適さのカテゴリのラベルを出力情報として出力するよう学習された快適さ推定モデルM4を取得してよい。例えば、取得部131は、特徴ベクトルV4が入力情報として入力された場合に、快適さを示す各カテゴリに特徴ベクトルV4が分類される確率が最も高いカテゴリのラベルを出力情報として出力するよう学習された快適さ推定モデルM4を取得してよい。続いて、取得部131は、快適さ推定モデルM4を取得すると、快適さ推定モデルM4に関する情報と快適さ推定モデルM4を識別する識別情報「M4」とを対応付けて記憶部120に格納してよい。
(推定部132)
推定部132は、空間に所在する利用者を特定してよい。具体的には、推定部132は、撮影装置によって撮影可能な空間に所在する利用者を特定してよい。推定部132は、撮影装置によって撮影可能な空間の一例として、撮影装置が設置されている場所に所在する利用者を特定してよい。例えば、推定部132は、認証装置50から認証情報を取得すると、RGBカメラ20によって撮影されたRGB画像とRGBカメラ20によって所定時間前(例えば、5分前)に撮影されたRGB画像´をRGBカメラ20から取得してよい。続いて、推定部132は、RGB画像とRGB画像´を取得すると、取得したRGB画像とRGB画像´を比較して、RGB画像´に写っていない人物であってRGB画像に写っている人物(つまり、RGB画像に新たに写り込んだ人物)を認証装置50によって認証された利用者であると特定してよい。
あるいは、推定部132は、RGBカメラ20によって撮影されたRGB画像をRGBカメラ20から取得してよい。続いて、推定部132は、RGB画像を取得すると、利用者情報記憶部121に記憶された顔画像情報とRGB画像を照合して、利用者情報記憶部121に記憶された顔画像情報によって識別される利用者がRGB画像に含まれるか否かを判定してよい。
また、推定部132は、撮影装置によって撮影不可能な空間に所在する利用者を特定してよい。推定部132は、撮影装置によって撮影不可能な空間の一例として、撮影装置が設置されていない場所に所在する利用者を特定してよい。より具体的には、推定部132は、撮影装置によって撮影不可能な空間の入口に設置された認証装置50から取得した認証用情報と、利用者情報記憶部121に記憶された利用者を識別可能な認証用情報とを照合することによって、撮影装置によって撮影不可能な空間に存在する利用者を特定してよい。例えば、推定部132は、撮影装置によって撮影不可能な空間の入口に設置された顔認証装置である認証装置50から取得した顔画像情報と、利用者情報記憶部121に記憶された利用者の顔画像情報とを照合することによって、撮影装置によって撮影不可能な空間に存在する利用者を特定してよい。
また、推定部132は、RGB画像に関するRGB画像情報を生成してよい。例えば、推定部132は、取得部131によってRGB画像が取得されると、姿勢推定処理によって取得部131によって取得されたRGB画像のうち利用者の人物領域R1を特定してよい。続いて、推定部132は、人物領域R1を特定すると、RGB画像情報の一例として、人物領域R1に関する情報を生成してよい。例えば、推定部132は、人物領域R1を特定すると、記憶部120から学習モデルM1に関する情報を取得してよい。続いて、推定部132は、学習モデルM1に関する情報を取得すると、人物領域R1に関する情報の一例として、学習モデルM1を用いて、人物領域R1の特徴を示す特徴ベクトルV1を生成してよい。
また、推定部132は、サーマル画像に関するサーマル画像情報を生成してよい。具体的には、推定部132は、取得部131によってサーマル画像が取得されると、姿勢推定処理によって取得部131によって取得されたサーマル画像のうち利用者の人物領域R2を特定してよい。例えば、推定部132は、同じ空間を撮影したRGB画像とサーマル画像とを重ね合わせて、RGB画像に対する姿勢推定処理に基づいて特定された人物領域R1と重複するサーマル画像の領域をサーマル画像の人物領域R2として特定してよい。続いて、推定部132は、人物領域R2を特定すると、サーマル画像情報の一例として、人物領域R2に関する情報を生成してよい。例えば、推定部132は、人物領域R2を特定すると、記憶部120から学習モデルM2に関する情報を取得してよい。続いて、推定部132は、学習モデルM2に関する情報を取得すると、人物領域R2に関する情報の一例として、学習モデルM2を用いて、人物領域R2の特徴を示す特徴ベクトルV2を生成してよい。
また、推定部132は、RGB画像情報およびサーマル画像情報を生成すると、生成したRGB画像情報およびサーマル画像情報と利用者の顔画像情報を対応付けて利用者情報記憶部121に記憶してよい。例えば、推定部132は、人物領域R1の特徴を示す特徴ベクトルV1と人物領域R2の特徴を示す特徴ベクトルV2を生成すると、生成した特徴ベクトルV1および特徴ベクトルV2と利用者の顔画像情報を対応付けて利用者情報記憶部121に記憶してよい。
また、推定部132は、環境情報の特徴を示す特徴ベクトルV3を生成してよい。具体的には、推定部132は、取得部131によって環境情報が取得されると記憶部120から学習モデルM3に関する情報を取得してよい。続いて、推定部132は、学習モデルM3に関する情報を取得すると、学習モデルM3を用いて、取得部131によって取得された環境情報の特徴を示す特徴ベクトルV3を生成してよい。例えば、推定部132は、撮影装置が設置されている場所における環境情報の特徴を示す特徴ベクトルV3を生成してよい。また、推定部132は、撮影装置が設置されていない場所における環境情報の特徴を示す特徴ベクトルV3´を生成してよい。
また、推定部132は、快適さ推定モデルM4を用いて、利用者にとっての空間の快適さを推定してよい。具体的には、推定部132は、快適さ推定モデルM4を用いて、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを推定してよい。推定部132は、撮影装置によって撮影不可能な空間の一例として、撮影装置が設置されていない場所における利用者にとっての空間の快適さを推定してよい。より具体的には、推定部132は、RGBカメラ20が設置された場所における人物領域R1の特徴を示す特徴ベクトルV1および赤外線カメラ30が設置された場所における人物領域R2の特徴を示す特徴ベクトルV2を用いて、撮影装置が設置されていない場所における利用者にとっての空間の快適さを推定してよい。例えば、推定部132は、RGBカメラ20が設置された場所における特徴ベクトルV1と、赤外線カメラ30が設置された場所における特徴ベクトルV2と、撮影装置が設置されていない場所における環境情報の特徴を示す特徴ベクトルV3´を快適さ推定モデルM4に入力して、撮影装置が設置されていない場所における利用者にとっての空間の快適さを快適さ推定モデルM4の出力情報として出力してよい。
より具体的には、推定部132は、特徴ベクトルV1、特徴ベクトルV2、および特徴ベクトルV3´を生成すると、生成した特徴ベクトルV1、特徴ベクトルV2、および特徴ベクトルV3´に基づいて、特徴ベクトルV1、特徴ベクトルV2、および特徴ベクトルV3´の特徴を示す特徴マップMP1´を生成してよい。続いて、推定部132は、特徴マップMP1´を生成すると、特徴マップMP1´に対する最大値プーリングにより、特徴マップMP1´から特徴マップMP1´の特徴を示す特徴ベクトルV4´を生成してよい。例えば、推定部132は、最大値プーリングにより、特徴マップMP1´の特徴を示す2048次元の特徴ベクトルV4´を生成してよい。続いて、推定部132は、特徴ベクトルV4´を生成すると、快適さ推定モデルM4を用いて、特徴ベクトルV4´から撮影装置が設置されていない場所における利用者にとっての空間の快適さを推定してよい。
例えば、推定部132は、特徴ベクトルV4´を快適さ推定モデルM4の入力情報として入力してよい。続いて、推定部132は、撮影装置が設置されていない場所における利用者にとっての空間の快適さを快適さ推定モデルM4の出力情報として出力してよい。例えば、推定部132は、特徴ベクトルV4´が快適さ推定モデルM4の入力情報として入力された場合に、快適さを示す3つのカテゴリのうち特徴ベクトルV4´が分類される確率が最も高いカテゴリのラベルを出力情報として出力してよい。例えば、推定部132は、特徴ベクトルV4´が入力情報として入力された場合に、空間の温度が低いことを示す「寒い」カテゴリと、空間の温度が高いことを示す「暑い」カテゴリと、空間の温度がちょうどよいことを示す「普通」カテゴリのうち、特徴ベクトルV4´が分類される確率が最も高いカテゴリのラベルを出力情報として出力してよい。
また、推定部132は、快適さ推定モデルM4を用いて、撮影装置によって撮影可能な空間における利用者にとっての空間の快適さを推定してよい。推定部132は、撮影装置によって撮影可能な空間の一例として、撮影装置が設置されている場所における利用者にとっての空間の快適さを推定してよい。例えば、推定部132は、RGBカメラ20が設置された場所における特徴ベクトルV1と、赤外線カメラ30が設置された場所における特徴ベクトルV2と、撮影装置が設置されている場所における環境情報の特徴を示す特徴ベクトルV3を快適さ推定モデルM4に入力して、撮影装置が設置されている場所における利用者にとっての空間の快適さを快適さ推定モデルM4の出力情報として出力してよい。
より具体的には、推定部132は、特徴ベクトルV1~特徴ベクトルV3を生成すると、生成した特徴ベクトルV1~特徴ベクトルV3に基づいて、特徴ベクトルV1~特徴ベクトルV3の特徴を示す特徴マップMP1を生成してよい。続いて、推定部132は、特徴マップMP1を生成すると、特徴マップMP1に対する最大値プーリングにより、特徴マップMP1から特徴マップMP1の特徴を示す特徴ベクトルV4を生成してよい。例えば、推定部132は、最大値プーリングにより、特徴マップMP1の特徴を示す2048次元の特徴ベクトルV4を生成してよい。続いて、推定部132は、特徴ベクトルV4を生成すると、快適さ推定モデルM4を用いて、特徴ベクトルV4から撮影装置が設置されている場所における利用者にとっての空間の快適さを推定してよい。
例えば、推定部132は、特徴ベクトルV4を快適さ推定モデルM4の入力情報として入力してよい。続いて、推定部132は、撮影装置が設置されている場所における利用者にとっての空間の快適さを快適さ推定モデルM4の出力情報として出力してよい。例えば、推定部132は、特徴ベクトルV4が快適さ推定モデルM4の入力情報として入力された場合に、快適さを示す3つのカテゴリのうち特徴ベクトルV4が分類される確率が最も高いカテゴリのラベルを出力情報として出力してよい。例えば、推定部132は、特徴ベクトルV4が入力情報として入力された場合に、空間の温度が低いことを示す「寒い」カテゴリと、空間の温度が高いことを示す「暑い」カテゴリと、空間の温度がちょうどよいことを示す「普通」カテゴリのうち、特徴ベクトルV4が分類される確率が最も高いカテゴリのラベルを出力情報として出力してよい。
(空調制御部133)
空調制御部133は、推定部132によって推定された空間の快適さに基づいて、空間の空調を制御してよい。具体的には、空調制御部133は、推定部132によって推定された空間の快適さに基づいて、撮影装置によって撮影不可能な空間の空調を制御してよい。例えば、空調制御部133は、推定部132によって推定された空間の快適さに基づいて、利用者が所在する空間を空調する空調装置10を制御してよい。例えば、空調制御部133は、推定部132によって推定された空間の快適さが「寒い」カテゴリである場合には、利用者が所在する空間の温度を高くするように利用者が所在する空間に設置された空調装置10を制御してよい。また、空調制御部133は、推定部132によって推定された空間の快適さが「普通」カテゴリである場合には、利用者が所在する空間の温度を保つように利用者が所在する空間に設置された空調装置10を制御してよい。また、空調制御部133は、推定部132によって推定された空間の快適さが「暑い」カテゴリである場合には、利用者が所在する空間の温度を低くするように利用者が所在する空間に設置された空調装置10を制御してよい。
また、空調制御部133は、撮影装置によって撮影不可能な空間と同様に、推定部132によって推定された空間の快適さに基づいて、撮影装置によって撮影可能な空間の空調を制御してよい。
〔1-5.変形例〕
上述した第1の実施形態に係る情報処理システム1は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。
〔1-5-1.快適さ推定モデル〕
第1の実施形態では、推定部132が画像のうち人物領域に関する情報のみに基づいて、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを推定する例について説明した。しかしながら、推定部132は、姿勢推定処理を施す前の画像(人物領域以外の領域を含む画像)に関する情報に基づいて、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを推定してよい。例えば、推定部132は、人物が撮像された領域に加えて、その人物の周囲の空間が撮像された領域を含む画像に基づいて、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを推定してよい。
より具体的には、推定部132は、取得部131によって利用者が撮像されたRGB画像が取得されると、撮影装置によって撮影不可能な空間で取得された環境情報に基づいてRGB画像を補正してよい。例えば、推定部132は、撮影装置によって撮影不可能な空間に設置された環境センサ40によって取得された温度および湿度に関する情報に基づいて、RGB画像を補正してよい。すなわち、推定部132は、撮影装置によって撮影不可能な空間における温度および湿度に関する情報に基づいて補正されたRGB画像を生成してよい。
続いて、推定部132は、補正されたRGB画像を生成すると、姿勢推定処理によって補正されたRGB画像のうち利用者の人物領域R1´を特定してよい。続いて、推定部132は、人物領域R1´を特定すると、補正されたRGB画像情報の一例として、人物領域R1´に関する情報を生成してよい。例えば、推定部132は、人物領域R1´を特定すると、記憶部120から学習モデルM1に関する情報を取得してよい。続いて、推定部132は、学習モデルM1に関する情報を取得すると、人物領域R1´に関する情報の一例として、学習モデルM1を用いて、人物領域R1´の特徴を示す特徴ベクトルV1´を生成してよい。
また、推定部132は、補正されたRGB画像を生成すると、記憶部120から学習モデルM1に関する情報を取得してよい。続いて、推定部132は、学習モデルM1に関する情報を取得すると、補正されたRGB画像情報の一例として、補正されたRGB画像の特徴を示す特徴ベクトルV5を生成してよい。例えば、推定部132は、学習モデルM1を用いて、補正されたRGB画像から、補正されたRGB画像の特徴を示す特徴ベクトルV5を生成してよい。
また、推定部132は、取得部131によって利用者が撮像されたサーマル画像が取得されると、撮影装置によって撮影不可能な空間で取得された環境情報に基づいてサーマル画像を補正してよい。例えば、推定部132は、撮影装置によって撮影不可能な空間に設置された環境センサ40によって取得された温度および湿度に関する情報に基づいて、サーマル画像を補正してよい。すなわち、推定部132は、撮影装置によって撮影不可能な空間における温度および湿度に関する情報に基づいて補正されたサーマル画像を生成してよい。
続いて、推定部132は、補正されたサーマル画像を生成すると、補正されたサーマル画像のうち利用者の人物領域R2´を特定してよい。続いて、推定部132は、人物領域R2´を特定すると、補正されたサーマル画像情報の一例として、人物領域R2´に関する情報を生成してよい。例えば、推定部132は、人物領域R2´を特定すると、記憶部120から学習モデルM2に関する情報を取得してよい。続いて、推定部132は、学習モデルM2に関する情報を取得すると、人物領域R2´に関する情報の一例として、学習モデルM2を用いて、人物領域R2´の特徴を示す特徴ベクトルV2´を生成してよい。
また、推定部132は、補正されたサーマル画像を生成すると、記憶部120から学習モデルM2に関する情報を取得してよい。続いて、推定部132は、学習モデルM2に関する情報を取得すると、補正されたサーマル画像情報の一例として、補正されたサーマル画像の特徴を示す特徴ベクトルV6を生成してよい。例えば、推定部132は、学習モデルM2を用いて、補正されたサーマル画像から、補正されたサーマル画像の特徴を示す特徴ベクトルV6を生成してよい。
また、推定部132は、学習モデルM3を用いて、撮影装置によって撮影不可能な空間における温度および湿度に関する情報の特徴を示す特徴ベクトルV3´を生成してよい。
また、推定部132は、特徴ベクトルV1´~特徴ベクトルV3´および特徴ベクトルV5~特徴ベクトルV6を生成すると、特徴ベクトルV1´~特徴ベクトルV3´および特徴ベクトルV5~特徴ベクトルV6に基づく特徴マップMP2を生成してよい。続いて、推定部132は、特徴マップMP2に対して最大値プーリング処理を行って、快適さ推定モデルM5の入力情報として、特徴マップMP2の特徴を示す特徴ベクトルV7を生成してよい。
また、取得部131は、空間に所在する利用者の特徴を示す特徴ベクトルV7が入力情報として入力された場合に、利用者にとっての空間の快適さを出力情報として出力する快適さ推定モデルM5を取得してよい。例えば、取得部131は、特徴ベクトルV7が入力情報として入力された場合に、快適さを示す各カテゴリに特徴ベクトルV7が分類される確率を出力情報として出力するよう学習された快適さ推定モデルM5を取得してよい。例えば、取得部131は、特徴ベクトルV7が入力情報として入力された場合に、「寒い」カテゴリに分類される確率と「暑い」カテゴリに分類される確率と「普通」カテゴリに分類される確率を出力情報として出力する快適さ推定モデルM5を取得してよい。
推定部132は、特徴ベクトルV7を生成すると、取得部131によって取得された快適さ推定モデルM5に特徴ベクトルV7を入力してよい。続いて、推定部132は、快適さ推定モデルM5の出力情報として、空間の快適さの状態を示すクラス情報を出力してよい。
〔1-5-2.着衣量に関する情報〕
また、第1の実施形態では、利用者情報記憶部121が、人物領域に関する情報の一例として、RGB画像に含まれる利用者の人物領域R1の特徴を示す特徴ベクトルV1と利用者の顔画像情報とを対応付けて記憶する例について説明したが、これに限られない。
具体的には、利用者情報記憶部121は、人物領域に関する情報の一例として、利用者の着衣量に関する情報と利用者の顔画像情報とを対応付けて記憶してよい。
より具体的には、取得部131は、RGB画像のうち姿勢推定処理に基づいて特定された利用者の身体の部位ごとの部位領域に関する情報から利用者の着衣量に関する情報を推定するよう学習された学習モデルM6を取得してよい。例えば、取得部131は、学習用の画像と学習用の画像に含まれる利用者の着衣量に関する情報との組み合わせに基づいて、任意の画像から任意の画像に含まれる利用者の着衣量に関する情報を推定する学習モデルM6を取得してよい。
また、推定部132は、人物領域に関する情報の一例として、利用者の身体の部位ごとの部位領域に関する情報に基づいて、利用者の着衣量に関する情報を推定してよい。より具体的には、推定部132は、RGB画像のうち姿勢推定処理に基づいて利用者の身体の部位ごとの部位領域をそれぞれ特定してよい。続いて、推定部132は、利用者の各部位領域を特定すると、各部位領域を切り抜くプログラムを用いて、利用者の部位領域をパーツごとに切り抜いた部位領域画像を生成してよい。続いて、推定部132は、部位領域画像を生成すると、取得部131によって取得された学習モデルM6を用いて、部位領域に関する情報から利用者の着衣量に関する情報を推定してよい。
例えば、推定部132は、学習モデルM6を用いて、人物領域と部位領域画像が結合された結合画像が入力情報として入力された場合に、結合画像が各クラスに分類される確率を出力してよい。続いて、推定部132は、出力された各クラスの確率値と各クラスの着衣量を示すclo値とに基づいて、結合画像に含まれる人物の着衣量に関する情報を推定してよい。例えば、推定部132は、出力された各クラスの確率値と各クラスのclo値とをそれぞれ掛け合わせた値を加算した値を推定着衣量として算出してよい。推定部132は、利用者の着衣量に関する情報として、推定着衣量を算出してよい。推定部132は、推定着衣量を算出すると、利用者の推定着衣量と利用者の顔画像情報とを対応付けて利用者情報記憶部121に記憶してよい。
〔1-5-3.端末装置の位置情報〕
また、第1の実施形態では、利用者情報記憶部121が、利用者を識別可能な情報の一例として、利用者の顔画像情報と画像情報を対応付けて記憶する例について説明したが、これに限られない。具体的には、利用者情報記憶部121は、利用者を識別可能な情報の一例として、利用者によって利用される端末装置(スマートフォンなど)の位置情報と画像情報を対応付けて記憶してよい。
より具体的には、取得部131は、利用者を識別可能な情報の一例として、利用者の位置情報を取得してよい。例えば、取得部131は、利用者によって利用される端末装置(スマートフォンなど)の位置情報を取得してよい。例えば、取得部131は、GPS(Global Positioning System)に代表されるGNSS(Global Navigation Satellite System)、WiFi(登録商標)測位、磁気測位、BLE(Bluetooth(登録商標) Low Energy)測位、ビーコン測位等を用いて、利用者の位置情報を取得してよい。取得部131は、利用者の位置情報を取得すると、利用者の位置情報と画像情報とを対応付けて記憶部120に記憶してよい。
また、推定部132は、利用者の位置から所定範囲内に位置する環境センサによって検出された温度および湿度に関する環境情報に基づいて、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを推定してよい。例えば、推定部132は、取得部131によって取得された位置情報に基づいて利用者の位置から所定範囲内に位置する環境センサを特定し、特定した環境センサによって検出された温度および湿度に関する環境情報に基づいて、撮影不可能な空間における利用者にとっての空間の快適さを推定してよい。
これにより、情報処理装置100は、例えば、利用者の現在位置から最寄りの環境センサによって検出された温度および湿度に関する環境情報に基づいて、撮影不可能な空間における利用者にとっての空間の快適さを推定することができる。したがって、情報処理装置100は、撮影不可能な空間における利用者にとっての空間の快適さを精度よく推定することができる。
〔2.第2の実施形態〕
〔2-1.はじめに〕
第1の実施形態に係る情報処理装置100と同様に、第2の実施形態に係る情報処理装置100Aは、施設の出入口などに設置された撮影装置の画像情報に基づいて推定された着衣量や代謝量(活動量)に関する情報をその後の施設内での快適さを推定する情報として利用する。また、情報処理装置100Aは、施設内に設置された撮影装置によって人物が撮影される度に、その人物の着衣量や代謝量(活動量)に関する情報を更新する。
これにより、情報処理装置100Aは、利用者がこれから移動する場所における空間の快適さをあらかじめ推定することができる。例えば、情報処理装置100Aは、利用者がこれから移動する可能性のある複数の場所それぞれの空間の快適さをあらかじめ推定することができる。そして、情報処理装置100Aは、推定した空間の快適さに基づいて、利用者が最も快適に過ごせる場所に関する情報を利用者に対して提供することができる。また、情報処理装置100Aは、推定した空間の快適さに基づいて、利用者が特定の場所に移動する前に、事前に特定の場所の空調の状態を最適に制御することができる。
〔2-2.情報処理装置の構成〕
次に、図6を用いて、第2の実施形態に係る情報処理装置100Aの構成について説明する。図6は、第2の実施形態に係る情報処理装置100Aの構成例を示す図である。図6に示すように、情報処理装置100Aは、提供部134Aをさらに備える点が情報処理装置100と異なる。
(提供部134A)
提供部134Aは、推定部132によって推定された空間の快適さに基づいて、利用者が快適に過ごせる場所に関する情報を利用者に対して提供してよい。具体的には、提供部134Aは、推定部132によって推定された空間の快適さに基づいて、利用者が快適に過ごせる場所に関する情報を生成してよい。続いて、提供部134Aは、利用者が快適に過ごせる場所に関する情報を生成すると、生成した情報を利用者に対して提供してよい。
〔2-3.情報処理の概要〕
次に、図7-図8を用いて、第2の実施形態に係る情報処理の概要について説明する。まず、図7を用いて説明する。図7は、第2の実施形態に係る情報処理の概要を説明するための図である。図7に示す符号P21~P25は、情報処理装置100Aによる空調制御の対象となるフロアF2における5つの場所をそれぞれ示している。以下では、「P2*」(*=1~5)で示す場所を、「場所P2*」(*=1~5)と記載する場合がある。
図7では、情報処理装置100Aが、撮影装置が設置されている場所P11にいる利用者U1に対して、利用者U1がこれから移動する場所の候補である4つの場所P22~場所P25の中から、利用者U1が最も快適に過ごせる場所に関する情報を提供する。
具体的には、推定部132は、撮影装置が設置されている場所P11におけるRGB画像情報およびサーマル画像情報に基づいて、撮影装置が設置されていない場所P22~場所P25それぞれにおける利用者U1にとっての空間の快適さを推定してよい。提供部134Aは、推定部132によって推定された場所P22~場所P25の快適さを比較して、場所P22~場所P25の中から利用者U1が最も快適に過ごせる場所を選択してよい。例えば、提供部134Aは、利用者U1が最も快適に過ごせる場所として、推定部132によって推定された場所P22~場所P25の中から、空間の温度がちょうどよいことを示す「普通」カテゴリのラベルが出力された場所を選択してよい。提供部134Aは、利用者U1が最も快適に過ごせる場所を選択すると、利用者U1に対して、選択した場所に関する情報を提供してよい。
次に、図8を用いて説明する。図8は、第2の実施形態に係る情報処理の概要を説明するための図である。図8に示すように、提供部134Aは、人物が快適に過ごせる場所を視認可能に表示した地図情報を人物によって視認可能な端末装置の画面に表示してよい。
〔3.効果〕
上述してきたように、実施形態に係る情報処理装置100は、推定部132を備える。推定部132は、撮影装置によって撮影可能な空間で撮影された画像のうち人物が撮像された領域である人物領域に関する情報であって、人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、撮影装置によって撮影不可能な空間における人物にとっての空間の快適さを推定する。また、推定部132は、撮影装置として、赤外線カメラによって撮影可能な空間で撮影されたサーマル画像のうち人物領域に関する情報に基づいて、赤外線カメラによって撮影不可能な空間における人物にとっての空間の快適さを推定する。
このように、情報処理装置100は、例えば、撮影装置が設置されない場所における空間の快適さを推定するために、撮影装置が設置されている近くの場所で撮影された画像に関する画像情報を代替して利用する。これにより、情報処理装置100は、撮影装置が設置されない場所における空間の快適さを精度よく推定することができる。また、情報処理装置100は、利用者のプライバシーを保護するため撮影装置を設置することができない場所(トイレや脱衣所など)における空間の快適さを精度よく推定することができる。すなわち、情報処理装置100は、撮影装置によって撮影不可能な場所における空間の快適さの推定精度を向上させることができる。また、情報処理装置100は、RGBカメラや赤外線カメラといった撮影装置の設置台数を減らすことができる。したがって、情報処理装置100は、空間の快適さを精度よく推定するためのコストを抑えることができる。
また、情報処理装置100は、取得部131をさらに備える。取得部131は、撮影不可能な空間に設置された環境センサによって検出された温度および湿度に関する環境情報を取得する。推定部132は、取得部131によって取得された温度および湿度に関する環境情報に基づいて、撮影不可能な空間における人物にとっての空間の快適さを推定する。
これにより、情報処理装置100は、撮影装置によって撮影不可能な空間における環境要素を精度よく推定することができる。したがって、情報処理装置100は、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを精度よく推定することができる。
また、推定部132は、人物の位置から所定範囲内に位置する環境センサによって検出された温度および湿度に関する環境情報に基づいて、撮影不可能な空間における人物にとっての空間の快適さを推定する。具体的には、取得部131は、人物の位置情報を取得する。推定部132は、取得部131によって取得された位置情報に基づいて人物の位置から所定範囲内に位置する環境センサを特定し、特定した環境センサによって検出された温度および湿度に関する環境情報に基づいて、撮影不可能な空間における人物にとっての空間の快適さを推定する。
これにより、情報処理装置100は、例えば、利用者の現在位置から最寄りの環境センサによって検出された温度および湿度に関する環境情報に基づいて、撮影不可能な空間における利用者にとっての空間の快適さを推定することができる。したがって、情報処理装置100は、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを精度よく推定することができる。
また、情報処理装置100は、記憶部120をさらに備える。取得部131は、画像を撮影装置から取得する。記憶部120は、画像に関する画像情報と人物を識別可能な情報とを対応付けて記憶する。
これにより、情報処理装置100は、撮影装置によって撮影不可能な空間の快適さを推定するために、撮影装置によって撮影可能な空間で撮影された画像をいつでも利用することができる。
また、取得部131は、2以上の異なる撮影装置それぞれから撮影時刻の異なる2以上の画像をそれぞれ取得する。記憶部120は、2以上の画像のうち、撮影時刻が最も新しい画像に関する画像情報と人物を識別可能な情報とを対応付けて記憶する。
これにより、情報処理装置100は、利用者の最新のRGB画像情報やサーマル画像情報に基づいて、利用者にとっての空間の快適さを推定することができる。そのため、情報処理装置100は、利用者の着衣量や代謝量(活動量)に関する情報が時間経過とともに変化する場合であっても、利用者の最新の着衣量や代謝量(活動量)に関する情報に基づいて、利用者にとっての空間の快適さを推定することができる。したがって、情報処理装置100は、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さをより精度よく推定することができる。
また、記憶部120は、画像情報として、人物領域に関する情報と人物を識別可能な情報とを対応付けて記憶する。また、推定部132は、人物領域に関する情報として、人物の身体の部位ごとの部位領域に関する情報に基づいて、人物の着衣量に関する情報を推定する。記憶部120は、人物の着衣量に関する情報と人物を識別可能な情報とを対応付けて記憶する。
これにより、情報処理装置100は、個々の利用者の快適さを推定するための快適環境情報に関するデータベースを構築することができる。
また、記憶部120は、人物を識別可能な情報として、人物のアイテム認証処理に用いられるアイテム認証用情報または人物の生体認証処理に用いられる生体認証用情報と画像情報とを対応付けて記憶する。また、推定部132は、認証装置から取得したアイテム認証用情報または生体認証用情報と、記憶部120に記憶された人物を識別可能な情報とを照合することによって、撮影装置によって撮影不可能な空間に存在する人物を特定し、特定した人物にとっての空間の快適さを推定する。
これにより、情報処理装置100は、撮影装置によって撮影不可能な空間に所在する利用者を特定することができる。
また、情報処理装置100は、空調制御部133をさらに備える。空調制御部133は、推定部132によって推定された空間の快適さに基づいて、撮影装置によって撮影不可能な空間の空調を制御する。
これにより、情報処理装置100は、撮影装置によって撮影不可能な空間の空調を快適に制御することができる。
また、情報処理装置100Aは、提供部134Aをさらに備える。提供部134Aは、推定部132によって推定された空間の快適さに基づいて、人物が快適に過ごせる場所に関する情報を人物に対して提供する。
これにより、情報処理装置100Aは、推定した空間の快適さに基づいて、利用者が最も快適に過ごせる場所に関する情報を利用者に対して提供することができる。また、情報処理装置100Aは、推定した空間の快適さに基づいて、利用者が特定の場所に移動する前に、事前に特定の場所の空調の状態を最適に制御することができる。
また、提供部134Aは、人物が快適に過ごせる場所を視認可能に表示した地図情報を人物によって視認可能な端末装置の画面に表示する。
これにより、情報処理装置100は、利用者が最も快適に過ごせる場所に関する情報の提供を受ける利用者のユーザビリティを向上させることができる。
〔4.ハードウェア構成〕
また、上述してきた第1の実施形態に係る情報処理装置100または第2の実施形態に係る情報処理装置100Aは、例えば図9に示すような構成のコンピュータ1000によって実現される。図9は、情報処理装置100または情報処理装置100Aの機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を備える。
CPU1100は、ROM1300またはHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、所定の通信網を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを所定の通信網を介して他の機器へ送信する。
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを入出力インターフェイス1600を介して出力装置へ出力する。
メディアインターフェイス1700は、記録媒体1800に格納されたプログラムまたはデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が第1の実施形態に係る情報処理装置100または第2の実施形態に係る情報処理装置100Aとして機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130または制御部130Aの機能を実現する。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
〔5.その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、推定部は、推定手段や推定回路に読み替えることができる。