JP4274758B2 - Information processing apparatus, information processing method, and environment control apparatus - Google Patents
Information processing apparatus, information processing method, and environment control apparatus Download PDFInfo
- Publication number
- JP4274758B2 JP4274758B2 JP2002233798A JP2002233798A JP4274758B2 JP 4274758 B2 JP4274758 B2 JP 4274758B2 JP 2002233798 A JP2002233798 A JP 2002233798A JP 2002233798 A JP2002233798 A JP 2002233798A JP 4274758 B2 JP4274758 B2 JP 4274758B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- human
- image information
- thermal image
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Radiation Pyrometers (AREA)
- Geophysics And Detection Of Objects (AREA)
- Air Conditioning Control Device (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置、情報処理方法及び環境制御装置に係り、より詳しくは、処理対象とする空間内を２次元平面として捉え、当該２次元平面の予め定められた分割領域毎の温度を示す温熱画像情報に対する処理を行う情報処理装置及び情報処理方法と、当該情報処理装置によって得られた情報に基づいて上記空間内が快適な環境となるように制御する環境制御装置に関する。
【０００２】
【従来の技術】
近年、化石燃料等の有用天然資源の保護や地球環境の保護等の観点から、建築物に対する省エネルギー化の要求が高まっている。また、その一方で、建築物に対する居住環境の快適化の要求も年々高まっている。
【０００３】
これらの点に鑑み、従来、制御対象とする空間内の温度、湿度、風速、輻射温度等の環境的要素と、当該空間内に存在する人の着衣量、代謝量（活動量）等の人に関する要素と、の二つの要素に基づいて当該空間内の快適性を示す快適性指数（例えば、ＰＭＶ（Predicted Mean Vote）値）を求め、当該快適性指数が快適域に含まれるように当該空間内に設けられた空気調和装置や暖房装置等を制御する環境制御装置があった。この装置によれば、上記環境的要素と人に関する要素の二つの要素に基づいて適切に空気調和装置や暖房装置等の制御が行われるので、環境的要素のみに基づいて制御が行われる場合に比較して、これらの装置の無駄な作動を抑制することができ、この結果として省エネルギー化することができると共に、居住環境を快適化することができる。
【０００４】
なお、上記ＰＭＶ値は、Ｆａｎｇｅｒにより開発され、ＩＳＯ−７７３０として採用されたものであり、人間と環境との熱交換量に基づいて熱的中立温度を予測する快適方程式により得られるものである。
【０００５】
ところで、上記快適性指標を用いて空間内の温熱環境を制御する場合、従来、人の着衣表面温度については計算によって得られた予測値や、予め与えられた固定値を適用していたので、制御対象とする空間内に存在する人の実態を反映しておらず、温熱環境の制御を必ずしも適切に行うことができるとは限らない、という問題点があった。
【０００６】
この問題点に鑑み、特開平６−１８０１３９号公報に記載の技術では、センサーを用いて室内の在室者及び環境の温度を計測して温熱画像を取得し、当該温熱画像の中から人間部分の領域を検出し、当該領域に対応する温熱画像により示される温度に基づいて人の着衣表面温度を取得し、当該着衣表面温度を用いて快適性指標を導出していた。
【０００７】
ここで、上記特開平６−１８０１３９号公報に記載の技術では、温熱画像から人間の温度範囲である領域を人間部分の領域であるものとして抽出する技術において、人間と略同一の温度で発熱する装置の領域を人間部分の領域であるものと誤って抽出してしまう、という問題点を回避するために、人間は移動するものである、という点に着目し、図１８に示すように、実空間から得られた２枚の時間的に異なる温熱画像Ａ及び温熱画像Ｂの差分をとって差分画像を得ている。そして、当該差分画像では、移動している人間のみが残り、パーソナル・コンピュータ（図１８では、「ＰＣ」と表記。）等の静止物は発熱温度にかかわらず相殺されて消去された状態となるので、当該差分画像で残っている画像領域を人間部分の領域であるものとして検出していた。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記特開平６−１８０１３９号公報に記載の技術では、人間部分の領域を２枚の時間的に異なる温熱画像の差分をとることにより得られた差分画像に基づいて検出しているので、上記２枚の時間的に異なる温熱画像の同一領域に人間が重複して存在する場合には、当該重複部分の領域を検出することができず、人間部分の領域を適切に検出することができない、という問題点があった。
【０００９】
すなわち、通常、室内の人間が常時移動していることは少なく、腕、足、首等の体の一部のみを動かしている場合が殆どである。この場合、人間の胴体部分は、上記２枚の時間的に異なる温熱画像の同一領域に重複して存在することになり、上記差分画像では胴体部分の領域が消去された状態となる。従って、この場合、人間の主要な部分となる胴体部分を検出することができないことになる。この問題は、前述の人間部分の領域に対応する温熱画像により示される温度に基づいて人の着衣表面温度を取得する場合においては、着衣は、その多くが人間の胴体部分に位置される点を考えると、深刻な問題である。
【００１０】
本発明は上記問題点を解消するためになされたものであり、温熱画像から人間部分の領域を高精度に抽出することのできる情報処理装置及び情報処理方法を提供することを第１の目的とし、制御対象とする空間内の実態に即した適切な温熱環境の制御を行うことのできる環境制御装置を提供することを第２の目的とする。
【００１１】
【課題を解決するための手段】
上記第１の目的を達成するために、請求項１記載の情報処理装置は、処理対象とする空間内を２次元平面として捉え、当該２次元平面の予め定められた分割領域毎の温度を示す温熱画像情報を収集する収集手段と、前記収集手段により収集された時間的に異なる二つの温熱画像情報における前記分割領域毎の減算によって前記分割領域毎の差分画像情報を導出する差分画像導出手段と、前記差分画像情報における零を含む所定範囲の外の値となる分割領域により構成される領域を人間の前記二つの温熱画像情報間の非重複領域として抽出する非重複領域抽出手段と、前記二つの温熱画像情報の何れかと、人間の温度に対応する領域を抽出するための閾値との前記分割領域毎の比較により当該温熱画像情報における人間の領域の候補となる領域を抽出する候補領域抽出手段と、前記候補領域抽出手段によって抽出された領域のうち、前記非重複領域抽出手段によって抽出された前記非重複領域から所定距離以内に位置する領域のみを前記人間に対応する領域として抽出する人間領域抽出手段と、を備えている。
【００１２】
【００１３】
【００１４】
【００１５】
【００１６】
【００１７】
【００１８】
【００１９】
【００２０】
【００２１】
請求項１記載の情報処理装置によれば、処理対象とする空間内を２次元平面として捉え、当該２次元平面の予め定められた分割領域毎の温度を示す温熱画像情報を収集する収集手段により収集された時間的に異なる二つの温熱画像情報における上記分割領域毎の減算によって当該分割領域毎の差分画像情報が差分画像導出手段によって導出される。なお、上記収集手段には、赤外線カメラや、放射温度計等の、温熱画像情報を得ることのできるあらゆる機器が含まれる。
【００２２】
ここで、本発明では、非重複領域抽出手段により、上記差分画像情報における零を含む所定範囲の外の値となる分割領域により構成される領域が、人間の上記二つの温熱画像情報間の非重複領域として抽出され、候補領域抽出手段により、上記二つの温熱画像情報の何れかと、人間の温度に対応する領域を抽出するための閾値との上記分割領域毎の比較により当該温熱画像情報における人間の領域の候補となる領域が抽出され、更に、人間領域抽出手段により、候補領域抽出手段によって抽出された領域のうち、非重複領域抽出手段によって抽出された非重複領域から所定距離以内に位置する領域のみが人間に対応する領域として抽出される。
【００２３】
なお、上記「非重複領域から所定距離以内に位置する領域」には、非重複領域内に位置する領域（非重複領域と重複する領域）、及び非重複領域に接する領域が含まれる。また、上記所定距離に対応する距離として、非重複領域と人間の領域の候補となる領域との間の最も近接する分割領域間の距離や、非重複領域と人間の領域の候補となる領域との間の各々の重心間の距離等を適用することができる。
【００２４】
すなわち、本発明では、人間は、例えば椅子に着座しているような状態であっても、顔、腕、肩等の一部は動くものである、という点に着目し、上記のような差分画像情報に基づいて確実に人間の動いている領域（非重複領域）を抽出し、抽出した領域に近接する人間の領域の候補となる領域を人間に対応する領域として抽出しており、処理対象とする空間内に人間の温度と略等しい温度の発熱体が存在する場合であっても、当該発熱体が人間から比較的離れて存在する場合には、当該発熱体を抽出対象から除外することができ、人間部分の領域のみを高精度に抽出することができるようにしている。
【００２５】
このように、請求項１に記載の情報処理装置によれば、処理対象とする空間内を２次元平面として捉え、当該２次元平面の予め定められた分割領域毎の温度を示す温熱画像情報を収集する収集手段により収集された時間的に異なる二つの温熱画像情報における上記分割領域毎の減算によって当該分割領域毎の差分画像情報を導出し、当該差分画像情報における零を含む所定範囲の外の値となる分割領域により構成される領域を人間の上記二つの温熱画像情報間の非重複領域として抽出し、当該二つの温熱画像情報の何れかと、人間の温度に対応する領域を抽出するための閾値との上記分割領域毎の比較により当該温熱画像情報における人間の領域の候補となる領域を抽出し、抽出した領域のうち、上記非重複領域から所定距離以内に位置する領域のみを人間に対応する領域として抽出しているので、温熱画像から人間部分の領域を高精度に抽出することができる。
【００２６】
また、請求項２記載の情報処理装置は、請求項１記載の発明において、前記二つの温熱画像情報における前記分割領域毎の加算又は乗算によって前記分割領域毎の合成画像情報を導出する合成画像導出手段を更に備え、前記候補領域抽出手段は、前記合成画像情報と、前記人間の前記二つの温熱画像情報間の重複領域を抽出するための閾値との前記分割領域毎の比較により前記人間の領域の候補となる領域を抽出し、前記人間領域抽出手段は、前記候補領域抽出手段によって抽出された領域のうちの前記非重複領域抽出手段によって抽出された前記非重複領域から所定距離以内に位置する領域と、当該非重複領域とを合成することによって前記人間に対応する領域を抽出するものである。
【００２７】
請求項２記載の情報処理装置によれば、合成画像導出手段により、上記二つの温熱画像情報における上記分割領域毎の加算又は乗算によって当該分割領域毎の合成画像情報が導出され、候補領域抽出手段により、上記合成画像情報と、人間の上記二つの温熱画像情報間の重複領域を抽出するための閾値との上記分割領域毎の比較により人間の領域の候補となる領域が抽出され、更に、人間領域抽出手段により、上記候補領域抽出手段によって抽出された領域のうちの上記非重複領域抽出手段によって抽出された非重複領域から所定距離以内に位置する領域と、当該非重複領域とが合成されることによって人間に対応する領域が抽出される。
【００２８】
すなわち、本発明では、上記二つの温熱画像情報における分割領域毎の加算又は乗算によって当該分割領域毎の合成画像情報を導出している。従って、この合成画像情報は、処理対象とする空間内に人間の温度と略等しい温度の発熱体が存在し、かつ当該発熱体の温度が僅かに人間の温度と異なる場合において、上記二つの温熱画像情報間の人間部分の重複領域と、上記発熱体部分の重複領域と、の値の差分が大きくされたものとなる。
【００２９】
従って、この合成画像情報から、上記重複領域を抽出するための閾値に基づいて人間の領域の候補となる領域を抽出することにより、単に温熱画像情報から抽出する場合に比較して、より高精度に上記候補となる領域を抽出することができ、この結果として、より高精度に人間に対応する領域を抽出することができる。
【００３０】
このように、請求項２に記載の情報処理装置によれば、二つの温熱画像情報における上記分割領域毎の加算又は乗算によって当該分割領域毎の合成画像情報を導出し、当該合成画像情報と、人間の上記二つの温熱画像情報間の重複領域を抽出するための閾値との上記分割領域毎の比較により人間の領域の候補となる領域を抽出し、抽出した領域のうちの非重複領域から所定距離以内に位置する領域と、当該非重複領域とを合成することによって人間に対応する領域を抽出しているので、単に温熱画像情報から人間の領域の候補となる領域を抽出する場合に比較して、より高精度に人間に対応する領域を抽出することができる。
【００３１】
なお、請求項１又は請求項２記載の発明において、例えば請求項３に記載したように、非重複領域に対応する温熱画像情報により示される温度に基づいて前記閾値を導出する閾値導出手段が更に設けられていてもよい。
【００３２】
【００３３】
【００３４】
【００３５】
一方、上記第１の目的を達成するために、請求項４記載の情報処理方法は、処理対象とする空間内を２次元平面として捉え、当該２次元平面の予め定められた分割領域毎の温度を示す温熱画像情報を所定の時間間隔で収集し、収集した時間的に異なる二つの温熱画像情報における前記分割領域毎の減算によって前記分割領域毎の差分画像情報を導出し、前記差分画像情報における零を含む所定範囲の外の値となる分割領域により構成される領域を人間の前記二つの温熱画像情報間の非重複領域として抽出し、前記二つの温熱画像情報の何れかと、人間の温度に対応する領域を抽出するための閾値との前記分割領域毎の比較により当該温熱画像情報における人間の領域の候補となる領域を抽出し、抽出した領域のうち、前記非重複領域から所定距離以内に位置する領域のみを前記人間に対応する領域として抽出するものである。
【００３６】
従って、請求項４に記載の情報処理方法によれば、請求項１記載の発明と同様に作用するので、請求項１記載の発明と同様に、温熱画像から人間部分の領域を高精度に抽出することができる。
【００３７】
更に、請求項５記載の情報処理方法は、請求項４記載の発明において、前記二つの温熱画像情報における前記分割領域毎の加算又は乗算によって前記分割領域毎の合成画像情報を導出し、前記合成画像情報と、前記人間の前記二つの温熱画像情報間の重複領域を抽出するための閾値との前記分割領域毎の比較により前記人間の領域の候補となる領域を抽出し、抽出した領域のうちの前記非重複領域から所定距離以内に位置する領域と、当該非重複領域とを合成することによって前記人間に対応する領域を抽出するものである。
従って、請求項５に記載の情報処理方法によれば、請求項２記載の発明と同様に作用するので、請求項２記載の発明と同様に、単に温熱画像情報から人間の領域の候補となる領域を抽出する場合に比較して、より高精度に人間に対応する領域を抽出することができる。
【００３８】
また、請求項４又は請求項５記載の発明において、例えば請求項６に記載したように、人間の領域の候補となる領域を抽出するに先立ち、非重複領域に対応する温熱画像情報により示される温度に基づいて前記閾値を導出するようにしてもよい。
【００３９】
一方、上記第２の目的を達成するために、請求項７記載の環境制御装置は、請求項１〜請求項３の何れか１項記載の情報処理装置と、前記情報処理装置の前記人間領域抽出手段によって抽出された前記人間に対応する領域と、当該領域を抽出する際に用いた温熱画像情報とに基づいて得られるパラメータを用いて前記処理対象とする空間内の快適性を示す快適性指標を導出する快適性指標導出手段と、前記快適性指標に基づいて前記空間内の環境を制御する環境制御手段と、を備えている。
【００４０】
請求項７記載の環境制御装置によれば、快適性指標導出手段により、請求項１〜請求項３の何れか１項記載の情報処理装置の人間領域抽出手段によって抽出された人間に対応する領域と、当該領域を抽出する際に用いた温熱画像情報とに基づいて得られるパラメータが用いられて処理対象とする空間内の快適性を示す快適性指標が導出され、環境制御手段により、当該快適性指標に基づいて処理対象とする空間内の環境が制御される。
【００４１】
なお、上記パラメータには、上記人間に対応する領域の温熱画像情報の平均値等として得られる人間の着衣表面温度、上記人間に対応する領域の温熱画像情報により示される温度と通常の人体の温度との差分に基づいて得られる着衣量、上記人間に対応する領域以外の領域の温熱画像情報の平均値として得られる平均輻射温度等を例示することができる。また、上記快適性指標には、ＰＭＶ値やＥＴ＊等が含まれる。更に、上記環境制御手段による制御対象には、処理対象とする空間内の温度の制御、湿度の制御、風速の制御等の快適性に関するあらゆる制御が含まれる。
【００４２】
すなわち、本発明では、本発明の情報処理装置により高精度に抽出された人間に対応する領域と、当該領域を抽出する際に用いた、実際に処理対象とする空間内から収集された温熱画像情報と、に基づいて得られるパラメータを用いて、処理対象とする空間内の快適性を示す快適性指標を導出して温熱環境の制御を行っており、当該パラメータに計算によって得られた予測値や、予め与えられた固定値を適用して快適性指標を導出する場合に比較して、制御対象とする空間内の実態に即した、より的確な温熱環境の制御を行うことができるようにしている。
【００４３】
この結果、例えば、本発明に係る環境制御装置を建築物内の温熱環境の制御用装置として適用した場合には、非定常性を考慮した高品質で、人に優しい、やわらかい（コールド／ホットショックの少ない）建築環境を実現できる。
【００４４】
このように、請求項７に記載の環境制御装置によれば、本発明に係る情報処理装置の人間領域抽出手段によって抽出された人間に対応する領域と、当該領域を抽出する際に用いた温熱画像情報と、に基づいて得られるパラメータを用いて処理対象とする空間内の快適性を示す快適性指標を導出し、当該快適性指標に基づいて当該空間内の環境を制御しているので、制御対象とする空間内の実態に即した適切な温熱環境の制御を行うことができる。
【００４５】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、以下に示す各実施の形態において、人間部分の一部領域（後述する非重複領域）の抽出手法は、全ての実施の形態について共通である。
【００４６】
すなわち、各実施の形態（及び比較例）とも、図１に示すように、実空間から得られた２枚の時間的に異なる温熱画像Ａ及び温熱画像Ｂの差分をとって差分画像Ｃを導出し、当該差分画像に残った画像領域（差分画像Ｃの斜線が付された領域）を人間部分の非重複領域であるものとして抽出する。
【００４７】
なお、図１において温熱画像Ａ及び温熱画像Ｂは、便宜上、線画像で表現しているが、実際には、例えば、５０℃の領域を赤とし、５０℃から１０℃にかけて温度が低くなるに従って予め定められた温度範囲毎に寒色系の色に徐々に変化する、というように、各温熱画像は温度を示す色が付された状態で表わされる。
【００４８】
また、ここでは、本発明に係る情報処理装置、情報処理方法及び環境制御装置を空気調和装置により温熱環境を制御する環境制御システムに適用した場合について説明する。また、以下では本発明の実施形態の説明に先立ち、本発明の比較例を説明する。
【００４９】
〔第１比較例〕
まず、図２を参照して、本第１比較例に係る環境制御システム１０の全体構成について説明する。同図に示すように、本第１比較例に係る環境制御システム１０は、温熱環境の制御対象とする略直方体状の実空間Ｓにおける温度分布をできるだけ広い領域に亘って収集できる位置（例えば、実空間Ｓの何れかの壁面付近でかつ当該壁面の略中心の位置。）に設置されると共に、実空間Ｓ内を２次元平面として捉え、当該２次元平面の予め定められた分割領域（ここでは、画素）毎の温度を示す温熱画像情報を動画像の情報として収集する収集手段としての赤外線カメラ１２を含んで構成されている。
【００５０】
また、環境制御システム１０は、赤外線カメラ１２により収集された温熱画像情報によって示される温熱画像を動画像として表示するディスプレイ１４と、赤外線カメラ１２により収集された温熱画像情報を逐次記録する録画装置１６と、録画装置１６に記録された温熱画像情報から任意の情報をキャプチャリングする機能を有するキャプチャボード１８Ａと、キャプチャボード１８Ａによるキャプチャリングの制御を行うと共に、キャプチャボード１８Ａによりキャプチャされた温熱画像情報を取得することができるパーソナル・コンピュータ（以下、「ＰＣ」という。）２０Ａと、を備えている。
【００５１】
更に、環境制御システム１０は、赤外線カメラ１２により収集された温熱画像情報から任意の情報をキャプチャリングする機能を有するキャプチャボード１８Ｂが装着されたＰＣ２０Ｂも備えている。
【００５２】
なお、図２では図示を省略するが、環境制御システム１０は、以上の構成要素の他、実空間Ｓ内若しくは実空間Ｓの近くに設けられた空気調和装置（以下、「空調装置」という。）と、実空間Ｓ内の温度、湿度、及び風速を検知するための温度センサ、湿度センサ、及び風速センサも備えている。
【００５３】
次に、図３を参照して、本第１比較例に係るＰＣ２０Ａの電気系の構成を説明する。同図に示すように、ＰＣ２０Ａは、ＰＣ２０Ａ全体の動作を司るＣＰＵ（中央処理装置）２２と、ＣＰＵ２２による各種処理プログラムの実行時のワークエリア等として用いられるＲＡＭ（Random Access Memory）２４と、各種処理プログラムや各種パラメータ等を記憶したＲＯＭ（Read Only Memory）２６と、各種情報を記憶するために用いられるハードディスク２８と、各種情報を表示するために用いられるディスプレイ３０と、キーボード及びマウスにより構成された入力装置３２と、前述のキャプチャボード１８Ａ、温度センサ３８、湿度センサ４０、及び風速センサ４２に接続され、かつこれら各部との間で各種情報の授受を制御するインタフェース（以下、「Ｉ／Ｆ」という。）３４と、前述の空調装置４４との間で各種情報の授受を制御するＩ／Ｆ３６と、がシステムバスＢＵＳにより相互に接続されて構成されている。
【００５４】
従って、ＣＰＵ２２は、ＲＡＭ２４、ＲＯＭ２６、及びハードディスク２８に対するアクセス、ディスプレイ３０に対する各種情報の表示の制御、入力装置３２を介した各種情報の取得、Ｉ／Ｆ３４を介したキャプチャボード１８Ａの制御、Ｉ／Ｆ３４を介した温度センサ３８、湿度センサ４０、及び風速センサ４２の各々の検知結果を示す情報の取得、及びＩ／Ｆ３６を介した空調装置４４の制御、を各々行うことができる。
【００５５】
なお、ＰＣ２０Ｂの構成も、キャプチャボード１８Ａがキャプチャボード１８Ｂとなる点以外はＰＣ２０Ａと同一であるので、ここでの説明は省略する。
【００５６】
次に、図４を参照して、本第１比較例に係る環境制御システム１０の作用を説明する。なお、図４は、環境制御システム１０において温熱環境の制御を行う際にＰＣ２０ＡのＣＰＵ２２によって実行される環境制御処理プログラムの処理の流れを示すフローチャートであり、当該プログラムはＲＯＭ２６の所定領域に予め記憶されている。また、ここでは、赤外線カメラ１２によって実空間Ｓ内の温熱画像情報が動画像情報として得られており、当該温熱画像情報が録画装置１６を介してキャプチャボード１８Ａに逐次入力されている場合について説明する。
【００５７】
図４のステップ１００では、予め定められた固定パラメータ設定画面を表示するようにディスプレイ３０を制御し、次のステップ１０２では、入力装置３２を介した所定情報の入力待ちを行う。
【００５８】
図５には、上記ステップ１００の処理によってディスプレイ３０に表示された固定パラメータ設定画面が示されている。同図に示すように、本第１比較例に係る固定パラメータ設定画面では、代謝率及び着衣量の入力を促す旨のメッセージが表示されると共に、これらのパラメータを入力するための矩形枠が表示される。同図に示すような固定パラメータ設定画面がディスプレイ３０に表示されると、ＰＣ２０Ａの操作者は、入力装置３２を構成するキーボード及びマウスに対する操作により、実空間Ｓ内における代謝率及び実空間Ｓに存在する人間の着衣量の各情報を対応する矩形枠内に入力した後に、上記マウスによって当該画面の最下に表示されている「入力終了」ボタンをポインティング指定する。これによりＣＰＵ２２には、操作者によって入力された代謝率及び着衣量を各々示す情報と、「入力終了」ボタンが指定された旨を示す情報とが入力され、上記ステップ１０２が肯定判定となってステップ１０４に移行する。
【００５９】
なお、上記代謝率は、人間の活動量を示すものであり、通常はＭｅｔ値と呼ばれる値で表現される。例えば、臥位で横になりリラックスしている状態でＭｅｔ値は０．８であり、静かに椅子に座っている状態で１．０、立位でリラックスしている状態で１．４、立位で軽作業をしている状態で１．６、時速３ｋｍで歩行している状態で２．０、時速５ｋｍで走っている状態や激しく動いている状態で３．０である。本第１比較例では、代謝率として［Ｗ／ｍ2］を単位とする値に１Ｍｅｔ＝５８［Ｗ／ｍ2］として換算したものを適用する。
【００６０】
ステップ１０４では、キャプチャボード１８Ａに入力されている温熱画像情報をキャプチャリングするようにキャプチャボード１８Ａを制御することにより、この時点において赤外線カメラ１２により収集されている温熱画像情報を収集してハードディスク２８の所定領域（以下、「第１領域」という。）に記憶し、次のステップ１０６では、所定時間（本第１比較例では、１分。）の経過待ちを行い、次のステップ１０８では、上記ステップ１０４と同様にして、この時点において赤外線カメラ１２により収集されている温熱画像情報を収集してハードディスク２８の上記第１領域とは異なる領域（以下、「第２領域」という。）に記憶する。
【００６１】
次のステップ１１０では、上記ステップ１０４においてハードディスク２８に記憶した温熱画像情報と、上記ステップ１０８においてハードディスク２８に記憶した温熱画像情報と、を用いて、人間領域検出処理を行う。以下、本第１比較例に係る人間領域検出処理について、図６を参照しつつ詳細に説明する。なお、図６は、人間領域検出処理を行う際に、ＰＣ２０ＡのＣＰＵ２２によって実行される人間領域検出処理プログラムの処理の流れを示すフローチャートであり、当該プログラムもＲＯＭ２６の所定領域に予め記憶されている。
【００６２】
図６のステップ２００では、上記ステップ１０４においてハードディスク２８に記憶した温熱画像情報と、上記ステップ１０８においてハードディスク２８に記憶した温熱画像情報と、の画素毎の減算を行うことにより、差分画像情報を導出する。なお、この減算は、どちらの温熱画像情報から他方の温熱画像情報を減算してもよいが、ここでは、後で収集された温熱画像情報から先に収集された温熱画像情報を減算する場合について説明する。
【００６３】
また、当該差分画像情報を導出するにあたり、本第１比較例に係る人間領域検出処理では、上記減算によって得られた画素毎の値（温度差を示す値）の絶対値が、予め定められた閾値ＴＨ１（ここでは、０．１℃）より小さい場合には、当該画素値を０（零）とする。
【００６４】
例えば、図７に示すように、先に収集された温熱画像情報により示される画像が温熱画像ＩＤ１であり、後で収集された温熱画像情報により示される画像が温熱画像ＩＤ２である場合、本ステップ２００で得られる差分画像情報により示される画像は差分画像ＳＤのようになる。なお、図７においてＡ及びＢは人間の領域を、Ｗは静止物である発熱体（例えば、ＰＣ、プリンタ等）の領域を、Ｈは発熱体以外の静止物（例えば、処理対象空間の内壁、机、椅子等）の領域を、各々示す。
【００６５】
図７に示すように、本ステップ２００で得られる差分画像情報により示される差分画像ＳＤは、人間の上記二つの温熱画像ＩＤ１、ＩＤ２間の非重複領域のみが、当該領域に対応する人間の領域の温度と静止物の領域の温度との差の温度を示す画像となり、他の領域は全て画素値が０（零）となる。また、（領域Ａの温度＞領域Ｈの温度）かつ（領域Ｂの温度＞領域Ｈの温度）のとき、本第１比較例に係る環境制御システム１０では、温熱画像ＩＤ１に含まれる人間の領域Ａに対応する非重複領域の画素値は負の値となり、温熱画像ＩＤ２に含まれる人間の領域Ｂに対応する非重複領域の画素値は正の値となる。
【００６６】
なお、一方の温熱画像情報を収集した時点と、他方の温熱画像情報を収集した時点とで静止物の温度が若干変化する場合も考えられるが、前述のように、上記減算によって得られた画素毎の値の絶対値が予め定められた閾値ＴＨ１より小さい場合には当該画素値を０（零）としているので、当該静止物の領域の画素値を０とすることができる。従って、閾値ＴＨ１は、処理対象空間内に存在する静止物の温度の変化量に応じて、当該変化量が大きいほど大きな値を設定するようにする。
【００６７】
次のステップ２０２では、上記ステップ２００で得られた差分画像情報において正の値を示す画素により構成される領域を非重複領域として抽出する。これにより、図７に示す例では、非重複領域Ｂ’のみが抽出されることになる。
【００６８】
次のステップ２０４では、抽出した非重複領域の画素に対応する画素値（温度値）を、後で収集された温熱画像情報（図７に示す例では温熱画像ＩＤ２）から抽出し、抽出した温度値に基づいて、次の（１）式及び（２）式により、上記非重複領域と同一の温度を示す領域を抽出するための二つの閾値（下限閾値ＴＨＬ及び上限閾値ＴＨＨ）を導出する。
【００６９】
ＴＨＬ＝Ｂｔ−ＴＨ２ ・・・（１）
ＴＨＨ＝Ｂｔ＋ＴＨ２ ・・・（２）
ここで、Ｂｔは本ステップ２０４で抽出した温度値の平均値を、ＴＨ２は閾値ＴＨＬ、ＴＨＨの許容誤差（例えば、０．１℃）を、各々示す。
【００７０】
次のステップ２０６では、後で収集された温熱画像情報から、上記ステップ２０４で導出された下限閾値ＴＨＬから上限閾値ＴＨＨまでの範囲内の値を示す画素により構成される領域を抽出する。これにより、図７に示す例では、人間領域Ｂのみが抽出されることになる。
【００７１】
このように、本第１比較例に係る人間領域検出処理では、人間は、例えば椅子に座っているような状態であっても、顔、腕、肩等の一部は動くものである、という点に着目し、上記のような差分画像情報を導出することによって人間の動いている領域（非重複領域）を抽出し、抽出した領域に対応する温熱画像情報に基づいて人間領域を抽出するための閾値（下限閾値ＴＨＬ及び上限閾値ＴＨＨ）を導出しており、この閾値は、処理対象空間内の気温や季節等の環境状態に応じた実際の人間の温度に基づくものであるので、処理対象空間内に人間の温度と略等しい温度の発熱体が存在する場合であっても、当該発熱体の温度が僅かでも人間の温度と異なる場合には、当該発熱体を抽出対象から除外することができ、人間部分の領域のみを高精度に抽出することができる。
【００７２】
上記ステップ２０６の処理が終了すると本人間領域検出処理を終了し、環境制御処理プログラム（図４参照）のステップ１１２に移行する。
【００７３】
【００７４】
ステップ１１２では、後で収集された温熱画像情報（図７に示す例では温熱画像ＩＤ２）から、人間領域検出処理によって得られた人間領域に対応する画素値（温度値）を抽出して当該温度値の平均値を人の着衣表面温度（℃）として算出し、次のステップ１１４では、後で収集された温熱画像情報から、人間領域検出処理によって得られた人間領域以外の領域の温度値を抽出して当該温度値の平均値を平均輻射温度（℃）として算出する。
【００７５】
次のステップ１１６では、温度センサ３８から室温を示す情報を、湿度センサ４０から湿度を示す情報を、風速センサ４２から風速を示す情報を、各々取得し、次のステップ１１８では、以上の処理によって得られたパラメータ（代謝率、着衣表面温度、平均輻射温度）以外の快適性指標を算出するために必要とされるパラメータを導出する。
【００７６】
なお、本第１比較例に係る環境制御システム１０では、一例として上記快適性指標として次の（３）式により算出されるＰＭＶ値を適用する。
【００７７】
【数１】
【００７８】
また、（３）式におけるｈｃ及びｆｃｌは次の式により算出される。
【００７９】
【数２】
【００８０】
但し、Ｍ：代謝率（Ｗ／ｍ2）
Ｗ：外部仕事（Ｗ／ｍ2）・・・通常は０
Ｉｃｌ：衣服の熱抵抗（ｍ2Ｋ／Ｗ）
ｆｃｌ：人間の裸の場合に対する着衣時の表面積の比
ｔａ：室温（℃）
ｔｒ：平均輻射温度（℃）
ｖａｒ：風速（ｍ／ｓ）
Ｐａ：水蒸気分圧（Ｐａ）
ｈｃ：対流熱伝導率（Ｗ／ｍ2Ｋ）
ｔｃｌ：着衣の表面温度（℃）
である。
【００８１】
ここで、代謝率Ｍ、室温ｔａ、平均輻射温度ｔｒ、風速ｖａｒ、及び着衣の表面温度ｔｃｌは、以上の処理によって得られている。
【００８２】
従って、ここでは、衣服の熱抵抗Ｉｃｌ及び水蒸気分圧Ｐａを算出する必要があるが、熱抵抗Ｉｃｌは上記ステップ１０２において得られた情報によって示される着衣量（ｃｌｏ）を用いた周知の演算式により導出することができ、水蒸気分圧Ｐａは室温ｔａ及び湿度センサ４０によって得られた湿度を用いた周知の演算式により導出することができる。
【００８３】
次のステップ１２０では、以上の処理によって得られた各種パラメータを（３）式に代入することによりＰＭＶ値を算出する。
【００８４】
ところで、通常、着衣の表面温度ｔｃｌは次の（４）式で表わされる。
【００８５】
【数３】
【００８６】
しかしながら、（４）式を（３）式に代入すると、（３）式は未知数ｔｃｌ、ｈｃに関する非線形方程式となり、収束演算（繰り返し演算）を行う必要がある。
【００８７】
これに対し、本第１比較例に係る環境制御システム１０では、温熱画像情報に基づく着衣の表面温度ｔｃｌ及び平均輻射温度ｔｒの測定値を直接（３）式に代入しているので、上記収束演算を省略することができる。
【００８８】
次のステップ１２２では、上記ステップ１２０において算出したＰＭＶ値に基づいて空調装置４４の作動を制御する空調制御処理を実行する。
【００８９】
なお、本第１比較例に係る空調制御処理は、図８に示すように、ＰＭＶ値が＋０．５以上である（１）の領域にあるときは、空調装置４４から吹き出される空気の温度を所定温度だけ低下させると共に、当該空気の湿度を所定湿度だけ低下させ、かつ当該空気の風量を所定量だけ増加させる。これに対し、ＰＭＶ値が−０．５以下である（２）の領域にあるときは、空調装置４４から吹き出される空気の温度を所定温度だけ上昇させると共に、当該空気の湿度を所定湿度だけ上昇させ、かつ当該空気の風量を所定量だけ増加させる。
【００９０】
次のステップ１２４では、本環境制御処理を終了させるタイミングか否かを判定し、否定判定の場合は上記ステップ１０６に戻って、再び上記ステップ１０６〜ステップ１２２の処理を実行し、肯定判定となった時点で本環境制御処理を終了する。なお、上記の本環境制御処理を終了させるタイミングか否かの判定は、ＰＣ２０Ａの操作者により本環境制御処理を終了させる旨の指示入力があった否かを判定することや、予め定められた運転時間を経過したか否かを判定すること等によって行うことができる。また、上記ステップ１０６〜ステップ１２４の処理を繰り返し実行する際にステップ１１０では、その直前にステップ１０８において収集された温熱画像情報と、その前回にステップ１０８において収集された温熱画像情報とを処理対象とする温熱画像情報とするようにする。
【００９１】
上記ステップ１０６〜ステップ１２４の繰り返し処理により、的確なタイミングで空調動作を行うことにより、必要以上の空調動作を行うことなくＰＭＶ値を一例として−０．５から＋０．５までの範囲内である快適域（図８参照）に入るようにすることができ、この結果として、快適化及び省エネルギー化を推進することができる。
【００９２】
以上詳細に説明したように、本第１比較例に係る環境制御システムでは、処理対象とする空間内を２次元平面として捉え、当該２次元平面の予め定められた分割領域（本第１比較例では、画素）毎の温度を示す温熱画像情報を収集する赤外線カメラ１２により収集された時間的に異なる二つの温熱画像情報における上記分割領域毎の減算によって当該分割領域毎の差分画像情報を導出し、当該差分画像情報における零を含む所定範囲の外の値となる分割領域により構成される領域を人間の上記二つの温熱画像情報間の非重複領域として抽出し、当該非重複領域に対応する上記温熱画像情報により示される温度に基づいて、当該非重複領域と同一の温度を示す領域を抽出するための閾値を導出し、上記二つの温熱画像情報の何れかと上記閾値との上記分割領域毎の比較により当該温熱画像情報における上記人間に対応する領域を抽出しているので、温熱画像から人間部分の領域を高精度に抽出することができる。
【００９３】
また、本第１比較例に係る環境制御システムでは、以上のように抽出された人間に対応する領域と、当該領域を抽出する際に用いた温熱画像情報と、に基づいて得られるパラメータを用いて処理対象とする空間内の快適性を示す快適性指標を導出し、当該快適性指標に基づいて当該空間内の環境を制御しているので、制御対象とする空間内の実態に即した適切な温熱環境の制御を行うことができる。
【００９４】
なお、本第１比較例では、人間領域を検出する際に用いる閾値を、後で収集された温熱画像情報（図７に示す例では温熱画像ＩＤ２）の非重複領域に対応する温度値に基づいて導出した場合について説明したが、本発明はこれに限定されるものではなく、先に収集された温熱画像情報（図７に示す例では温熱画像ＩＤ１）の非重複領域（図７に示す例では非重複領域Ａ’）に対応する温度値に基づいて導出する形態とすることもでき、双方の温熱画像情報の非重複領域（図７に示す例では、非重複領域Ａ’及びＢ’）に対応する温度値に基づいて導出する形態とすることもできる。これらの場合も、本第１比較例と同様の効果を奏することができる。
【００９５】
また、本第１比較例では、後で収集された温熱画像情報から人間領域を抽出した場合について説明したが、本発明はこれに限定されるものではなく、先に収集された温熱画像情報から人間領域を抽出する形態とすることもできる。この場合も、本第１比較例と同様の効果を奏することができる。
【００９６】
〔第２比較例〕
上記第１比較例では、収集された温熱画像情報から直接人間領域を抽出する場合の形態について説明したが、本第２比較例では、収集時間の異なる二つの温熱画像情報に基づいて生成される合成画像情報を用いて、人間の当該二つの温熱画像情報間の重複領域を抽出し、当該重複領域と前述の非重複領域とを合成することにより人間領域を抽出する場合について説明する。なお、本第２比較例に係る環境制御システム１０の構成は、上記第１比較例に係る環境制御システム１０と同様であるので、ここでの説明は省略する。
【００９７】
以下、本第２比較例に係る環境制御システム１０の環境制御処理実行時の作用を説明する。なお、本第２比較例に係る環境制御処理は、上記第１比較例に係る環境制御処理（図４参照）に比較して、ステップ１１０において実行される人間領域検出処理のみが異なるので、ここでは、本第２比較例に係る人間領域検出処理のみについて、図９及び図１０を参照しつつ説明する。ここで、図９は、本第２比較例に係る人間領域検出処理を行う際に、ＰＣ２０ＡのＣＰＵ２２によって実行される人間領域検出処理プログラムの処理の流れを示すフローチャートであり、当該プログラムもＲＯＭ２６の所定領域に予め記憶されている。また、図９における図６と同一の処理を行うステップについては図６と同一のステップ番号を付して、その説明を省略する。
【００９８】
図９のステップ２０２’では、上記ステップ２００で得られた差分画像情報において負の値を示す画素により構成される領域と、正の値を示す画素により構成される領域とを、非重複領域として抽出する。これにより、図１０に示す例では、非重複領域Ａ’及び非重複領域Ｂ’のみが抽出されることになる。なお、同図における温熱画像ＩＤ１、温熱画像ＩＤ２及び差分画像ＳＤは、図７と同様のものである。
【００９９】
次のステップ２０４’では、上記負の値を示す画素により構成される領域として抽出した非重複領域の画素に対応する画素値（温度値）と、上記正の値を示す画素により構成される領域として抽出した非重複領域の画素に対応する画素値とを、各々、先に収集された温熱画像情報（図１０に示す例では温熱画像ＩＤ１）と、後で収集された温熱画像情報（図１０に示す例では温熱画像ＩＤ２）とから抽出することにより、各温熱画像情報における非重複領域の温度値を抽出する。これにより、図１０に示す例では、非重複領域Ａ’及び非重複領域Ｂ’の各領域の温度値が領域別に抽出されることになる。
【０１００】
そして、ステップ２０４’では、抽出した各非重複領域毎の温度値に基づいて、次の（５）式及び（６）式により、二つの異なるタイミングで収集された温熱画像情報の各々に含まれる人間の当該二つの温熱画像情報間の重複領域を抽出するための二つの閾値（下限閾値ＴＨＬ及び上限閾値ＴＨＨ）を導出する。
【０１０１】
ＴＨＬ＝Ａｔ＋Ｂｔ−ＴＨ２ ・・・（５）
ＴＨＨ＝Ａｔ＋Ｂｔ＋ＴＨ２ ・・・（６）
ここで、Ａｔは本ステップ２０４’で負の値を示す画素に対応するものとして抽出した温度値の平均値を、Ｂｔは本ステップ２０４’で正の値を示す画素に対応するものとして抽出した温度値の平均値を、ＴＨ２は各閾値ＴＨＬ、ＴＨＨの許容誤差（例えば、０．１℃）を、各々示す。
【０１０２】
次のステップ２０８では、上記ステップ１０４においてハードディスク２８に記憶した温熱画像情報（先に収集された温熱画像情報）と、上記ステップ１０８においてハードディスク２８に記憶した温熱画像情報（後で収集された温熱画像情報）と、の画素毎の加算を行うことにより、合成画像情報を導出する。
【０１０３】
例えば、図１０に示す例では、本ステップ２０８で得られる合成画像情報により示される画像は合成画像ＧＤのようになる。同図に示すように、本ステップ２０８で得られる合成画像情報により示される合成画像ＧＤは、発熱体以外の静止物の領域Ｈについては、当該領域Ｈに対応する二つの温熱画像ＩＤ１、ＩＤ２の各々の温度値が加算された値（図１０では、‘２Ｈ’と表現。）を示す画像となり、静止物である発熱体の領域Ｗについては、当該領域Ｗに対応する二つの温熱画像ＩＤ１、ＩＤ２の温度値が加算された値（図１０では、‘２Ｗ’と表現。）を示す画像となる。また、人間の上記二つの温熱画像ＩＤ１、ＩＤ２間の非重複領域Ａ’、Ｂ’については、当該領域Ａ’、Ｂ’に対応する人間の領域の温度値と静止物の領域の温度値とが加算された値（図１０では、‘Ａ＋Ｈ’及び‘Ｂ＋Ｈ’と表現。）を示す画像となり、人間の上記二つの温熱画像ＩＤ１、ＩＤ２間の重複領域については、当該領域に対応する二つの温熱画像情報ＩＤ１、ＩＤ２の各々の温度値が加算された値（図１０では、‘Ａ＋Ｂ’と表現。）を示す画像となる。
【０１０４】
次のステップ２１０では、上記ステップ２０８において導出された合成画像情報から、上記ステップ２０４’で導出された下限閾値ＴＨＬから上限閾値ＴＨＨまでの範囲内の値を示す画素を抽出することにより、当該合成画像情報における人間の上記重複領域を抽出する。これにより、図１０に示す例では、重複領域のみ（‘Ａ＋Ｂ’の領域）が抽出されることになる。
【０１０５】
次のステップ２１２では、上記ステップ２０２’において画素値が正の値であるものとして抽出した非重複領域と、上記ステップ２１０において抽出した重複領域とを合成することにより、人間領域を抽出する。これによって、図１０に示す例では、人間領域Ｂのみが得られることになる。
【０１０６】
このように、本第２比較例に係る人間領域検出処理でも、上記第１比較例と同様に、人間は、例えば椅子に座っているような状態であっても、顔、腕、肩等の一部は動くものである、という点に着目し、差分画像情報を導出することによって人間の動いている領域（非重複領域）を抽出し、抽出した領域に対応する温熱画像情報に基づいて人間領域を抽出するための閾値（下限閾値ＴＨＬ及び上限閾値ＴＨＨ）を導出しており、この閾値は、処理対象空間内の気温や季節等の環境状態に応じた実際の人間の温度に基づくものであるので、処理対象空間内に人間の温度と略等しい温度の発熱体が存在する場合であっても、当該発熱体の温度が僅かでも人間の温度と異なる場合には、当該発熱体を抽出対象から除外することができ、人間部分の領域のみを高精度に抽出することができる。
【０１０７】
上記ステップ２１２の処理が終了すると本人間領域検出処理を終了し、環境制御処理プログラム（図４参照）のステップ１１２に移行する。
【０１０８】
【０１０９】
図１１及び図１２には、本第２比較例に係る環境制御システム１０による環境制御処理の実行途中で実際に得られた各種画像情報により示される画像の一例が示されている。なお、図１１では、便宜上、温熱画像における温度の差異を線の密度で５段階程度で表現しているが、実際には、例えば、５０℃の領域を赤とし、５０℃から１０℃にかけて温度が低くなるに従って予め定められた温度範囲毎に多段階で寒色系の色に徐々に変化する、というように、各温熱画像は温度を示す色が付された状態とされている。
【０１１０】
図１１（Ａ）は、環境制御処理（図４）のステップ１０４の処理で得られた温熱画像情報により示される温熱画像を、図１１（Ｂ）は、環境制御処理のステップ１０８の処理で得られた温熱画像情報により示される温熱画像を、各々示している。なお、同図に示すように、ここでは、処理対象空間内に多数の人間が着席した状態で存在し、発熱体としてＰＣ及びプリンタが固定的に設置されている場合について示されている。
【０１１１】
この場合、ＰＣ及びプリンタは静止しているため、図１１（Ａ）及び図１１（Ｂ）とも略同様の状態となっているが、人間については若干の動きがあるため、図１１（Ａ）と図１１（Ｂ）とで若干異なる温度分布となっている。
【０１１２】
これに対し、図１１（Ｃ）は、人間領域検出処理（図９）のステップ２００の処理によって得られた差分画像情報により示される差分画像を示しており、図１２（Ａ）は、人間領域検出処理のステップ２０２’の処理によって抽出された非重複領域の画像を示している。なお、図１２（Ａ）では、図１１（Ｃ）に示す画像を２値化することにより非重複領域を抽出した場合の２値化画像が示されている。
【０１１３】
図１１（Ｃ）及び図１２（Ａ）に示す画像では、静止しているＰＣ及びプリンタの領域と、人間の重複領域については殆どの画像が消去され、人間の非重複領域の殆どの画像が残っている。従って、図１１（Ｃ）に示すような差分画像となる差分画像情報に基づいて得られた閾値によって人間領域を抽出することにより、人間領域を高精度に抽出できることがわかる。
【０１１４】
一方、図１２（Ｂ）は、人間領域検出処理のステップ２１０の処理によって抽出された重複領域の画像を示しており、図１２（Ｃ）は、人間領域検出処理のステップ２１２の処理によって抽出された人間領域の画像を示している。なお、図１２（Ｂ）及び図１２（Ｃ）では、抽出された重複領域ないし人間領域のみを黒レベルとした場合の２値化画像が示されている。
【０１１５】
図１２（Ｂ）に示す画像では、人間の重複領域のみが的確に抽出できている。この結果、図１２（Ｃ）に示されるように、人間領域のみを高精度に抽出することができる。
【０１１６】
以上詳細に説明したように、本第２比較例に係る環境制御システムでは、非重複領域に対応する温熱画像情報により示される温度に基づいて、人間の上記二つの温熱画像情報間の重複領域を抽出するための閾値を導出すると共に、上記二つの温熱画像情報における分割領域（本第２比較例では、画素）毎の加算によって当該分割領域毎の合成画像情報を導出し、当該合成画像情報と上記閾値との上記分割領域毎の比較により人間の上記二つの温熱画像情報間の重複領域を抽出し、上記非重複領域と上記重複領域とを合成することにより人間に対応する領域を抽出しているので、単に温熱画像情報から抽出する場合に比較して、より高精度に人間に対応する領域を抽出することができる。
【０１１７】
また、本第２比較例に係る環境制御システムでは、以上のように抽出された人間に対応する領域と、当該領域を抽出する際に用いた温熱画像情報と、に基づいて得られるパラメータを用いて処理対象とする空間内の快適性を示す快適性指標を導出し、当該快適性指標に基づいて当該空間内の環境を制御しているので、制御対象とする空間内の実態に即した適切な温熱環境の制御を行うことができる。
【０１１８】
なお、本第２比較例では、下限閾値ＴＨＬ及び上限閾値ＴＨＨを（５）式及び（６）式を用いて算出した場合について説明したが、本発明はこれに限定されるものではなく、例えば、次の（７）式及び（８）式を用いて算出する形態とすることもできる。また、（７）式及び（８）式のＢｔをＡｔに置き換えて算出することもできる。
【０１１９】
ＴＨＬ＝２×Ｂｔ−ＴＨ２ ・・・（７）
ＴＨＨ＝２×Ｂｔ＋ＴＨ２ ・・・（８）
これらの場合には、当該閾値を算出するために、一例として図１０に示される領域Ａ’及び領域Ｂ’の何れか一方のみを抽出すればよいので、本第２比較例に比較して、演算負荷を低減することができる。
【０１２０】
また、本第２比較例では、人間領域検出処理のステップ２０８における合成画像情報を二つの温熱画像情報の画素毎の加算によって導出した場合について説明したが、本発明はこれに限定されるものではなく、例えば、二つの温熱画像情報の画素毎の乗算によって導出する形態とすることもできる。この場合は、本第２比較例に比較して、生成された合成画像情報における人間領域の重複領域の情報と、発熱体の重複領域の情報との差を大きくすることができるので、本第２比較例に比較して、より高精度に人間領域の重複領域を抽出することができる。
【０１２１】
〔第１実施形態〕
次に本発明の実施形態について、第１比較例及び第２比較例と異なる部分を説明する。上記第１、第２比較例では、差分画像情報に基づいて導出した閾値を用いることにより、人間領域を抽出する場合の形態について説明したが、本第１実施形態では、温熱画像情報から人間の領域の候補となる領域を抽出し、当該領域から差分画像情報に基づいて抽出された非重複領域に近接する領域を人間領域であるものとして抽出する場合の形態、すなわち、人間領域の抽出手法として請求項１及び請求項４に記載の発明を適用した場合の形態について説明する。なお、本第１実施形態に係る環境制御システム１０の構成は、上記第１、第２比較例に係る環境制御システム１０と同様であるので、ここでの説明は省略する。
【０１２２】
以下、本第１実施形態に係る環境制御システム１０の環境制御処理実行時の作用を説明する。なお、本第１実施形態に係る環境制御処理も、上記第１比較例に係る環境制御処理（図４参照）に比較して、ステップ１１０において実行される人間領域検出処理のみが異なるので、ここでも、本第１実施形態に係る人間領域検出処理のみについて、図１３及び図１４を参照しつつ説明する。なお、図１３は、本第１実施形態に係る人間領域検出処理を行う際に、ＰＣ２０ＡのＣＰＵ２２によって実行される人間領域検出処理プログラムの処理の流れを示すフローチャートであり、当該プログラムもＲＯＭ２６の所定領域に予め記憶されている。また、図１３における図６と同一の処理を行うステップについては図６と同一のステップ番号を付して、その説明を省略する。
【０１２３】
図１３のステップ２１４では、後で収集された温熱画像情報（図１４に示す例では温熱画像ＩＤ２）から、人間の温度に対応する領域を抽出するために予め定めた下限閾値ＴＨＬ（ここでは、３０℃）から上限閾値ＴＨＨ（ここでは、３７℃）までの範囲内の値を示す画素により構成される領域を人間候補領域として抽出する。これにより、図１４に示す例では、人間領域Ｂ及び人間の温度域と略同様の温度となる発熱体の領域Ｗが人間候補領域として抽出されることになる。なお、図１４における温熱画像ＩＤ１、温熱画像ＩＤ２、差分画像ＳＤ及び非重複領域Ｂ’は、図７と同様のものである。
【０１２４】
次のステップ２１６では、上記ステップ２１４で抽出された人間候補領域のうち、上記ステップ２０２の処理によって抽出された非重複領域から所定距離以内に位置する領域のみを人間領域として抽出する。なお、上記非重複領域から所定距離以内に位置する領域には、非重複領域内に位置する領域（非重複領域と重複する領域）、及び非重複領域に接する領域が含まれる。また、ここでは、上記所定距離に対応する距離として、非重複領域と人間候補領域との間の最も近接する画素間の距離を適用するものとする。
【０１２５】
これにより、図１４に示す例では、非重複領域Ｂ’から所定距離以内に位置する領域として、非重複領域Ｂ’と重複する領域及び非重複領域Ｂ’に接する領域から構成される人間領域Ｂのみが的確に抽出される。
【０１２６】
このように、本第１実施形態に係る人間領域検出処理でも、人間は、例えば椅子に座っているような状態であっても、顔、腕、肩等の一部は動くものである、という点に着目し、差分画像情報を導出することによって確実に人間の領域（非重複領域）を抽出し、抽出した領域に近接する人間候補領域を人間領域として抽出しており、処理対象空間内に人間の温度と略等しい温度の発熱体が存在する場合であっても、当該発熱体を抽出対象から除外することができ、人間部分の領域のみを高精度に抽出することができるようにしている。
【０１２７】
上記ステップ２１６の処理が終了すると本人間領域検出処理を終了し、環境制御処理プログラム（図４参照）のステップ１１２に移行する。
【０１２８】
本第１実施形態に係る人間領域検出処理プログラムにおけるステップ２００の処理が請求項１記載の発明の差分画像導出手段に、ステップ２０２の処理が請求項１記載の発明の非重複領域抽出手段に、ステップ２１４の処理が請求項１記載の発明の候補領域抽出手段に、ステップ２１６の処理が請求項１記載の発明の人間領域抽出手段に、各々相当する。
【０１２９】
以上詳細に説明したように、本第１実施形態に係る環境制御システムでは、処理対象とする空間内を２次元平面として捉え、当該２次元平面の予め定められた分割領域（本第１実施形態では、画素）毎の温度を示す温熱画像情報を収集する赤外線カメラ１２により収集された時間的に異なる二つの温熱画像情報における上記分割領域毎の減算によって当該分割領域毎の差分画像情報を導出し、当該差分画像情報における零を含む所定範囲の外の値となる分割領域により構成される領域を人間の上記二つの温熱画像情報間の非重複領域として抽出し、当該二つの温熱画像情報の何れかと、人間の温度に対応する領域を抽出するために予め定めた閾値との上記分割領域毎の比較により当該温熱画像情報における人間の領域の候補となる領域を抽出し、抽出した領域のうち、上記非重複領域から所定距離以内に位置する領域のみを人間に対応する領域として抽出しているので、温熱画像から人間部分の領域を高精度に抽出することができる。
【０１３０】
また、本第１実施形態に係る環境制御システムでは、以上のように抽出された人間に対応する領域と、当該領域を抽出する際に用いた温熱画像情報と、に基づいて得られるパラメータを用いて処理対象とする空間内の快適性を示す快適性指標を導出し、当該快適性指標に基づいて当該空間内の環境を制御しているので、制御対象とする空間内の実態に即した適切な温熱環境の制御を行うことができる。
【０１３１】
なお、本第１実施形態では、後で収集された温熱画像情報（図１４に示す例では温熱画像ＩＤ２）から非重複領域を抽出した場合について説明したが、本発明はこれに限定されるものではなく、先に収集された温熱画像情報（図１４に示す例では温熱画像ＩＤ１）から非重複領域（図１４に示す例では非重複領域Ａ’）を抽出する形態とすることもでき、双方の温熱画像情報から非重複領域（図１４に示す例では、非重複領域Ａ’及びＢ’）を抽出する形態とすることもできる。これらの場合も、本第１実施形態と同様の効果を奏することができる。
【０１３２】
また、本第１実施形態では、後で収集された温熱画像情報から人間候補領域を抽出した場合について説明したが、本発明はこれに限定されるものではなく、先に収集された温熱画像情報から人間候補領域を抽出する形態とすることもできる。この場合も、本第１実施形態と同様の効果を奏することができる。
【０１３３】
更に、本第１実施形態では、人間候補領域を抽出するために用いる閾値として予め定められた閾値を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、上記第１比較例に係る人間領域検出処理（図６）のステップ２０４において導出した閾値や、上記第２比較例に係る人間領域検出処理（図９）のステップ２０４’において導出した閾値を適用する形態とすることもできる。この場合、これらの閾値は、処理対象空間内の気温や季節等の環境状態に応じた実際の人間の温度に基づくものであるので、処理対象空間内に人間の温度と略等しい温度の発熱体が存在する場合であっても、当該発熱体の温度が僅かでも人間の温度と異なる場合には、当該発熱体を抽出対象から除外することができ、より的確に人間候補領域を抽出することができる。
【０１３４】
〔第２実施形態〕
上記第１実施形態では、収集された温熱画像情報から直接人間候補領域を抽出する場合の形態について説明したが、本第２実施形態では、収集時間の異なる二つの温熱画像情報に基づいて生成される合成画像情報を用いて、人間の当該二つの温熱画像情報間の重複領域を人間候補領域として抽出する場合の形態、すなわち、人間領域の抽出手法に請求項２及び請求項５に記載の発明を適用した場合の実施の形態について説明する。なお、本第２実施形態に係る環境制御システム１０の構成も、上記第１実施形態に係る環境制御システム１０と同様であるので、ここでの説明は省略する。
【０１３５】
以下、本第２実施形態に係る環境制御システム１０の環境制御処理実行時の作用を説明する。なお、本第２実施形態に係る環境制御処理も、上記第１比較例に係る環境制御処理（図４参照）に比較して、ステップ１１０において実行される人間領域検出処理のみが異なるので、ここでは、本第２実施形態に係る人間領域検出処理のみについて、図１５及び図１６を参照しつつ説明する。ここで、図１５は、本第２実施形態に係る人間領域検出処理を行う際に、ＰＣ２０ＡのＣＰＵ２２によって実行される人間領域検出処理プログラムの処理の流れを示すフローチャートであり、当該プログラムもＲＯＭ２６の所定領域に予め記憶されている。また、図１５における図６と同一の処理を行うステップについては図６と同一のステップ番号を付して、その説明を省略する。
【０１３６】
図１５のステップ２１８では、第２比較例に係る人間領域検出処理（図９）のステップ２０８と同様にして合成画像情報を導出する。これにより、図１６に示す例では、合成画像ＧＤを示す合成画像情報を得ることができる。なお、同図における温熱画像ＩＤ１、温熱画像ＩＤ２、差分画像ＳＤ及び合成画像ＧＤは、図１０と同様のものである。
【０１３７】
次のステップ２２０では、上記ステップ２１８において導出された合成画像情報と、人間の異なるタイミングで収集された二つの温熱画像情報間の重複領域を抽出するためのものとして予め定めた下限閾値ＴＨＬ（ここでは、６０℃）から上限閾値ＴＨＨ（ここでは、７４℃）までの範囲内の値を示す画素により構成される領域を人間候補領域として抽出する。これにより、図１６に示す例では、人間の重複領域、及び人間の温度域と略同様の温度となる発熱体の領域Ｗが人間候補領域として抽出されることになる。
【０１３８】
次のステップ２２２では、上記ステップ２２０で抽出された人間候補領域のうち、上記ステップ２０２の処理によって抽出された非重複領域から所定距離以内に位置する領域のみを人間領域として抽出する。なお、上記非重複領域から所定距離以内に位置する領域には、上記第１実施形態と同様に、非重複領域内に位置する領域（非重複領域と重複する領域）、及び非重複領域に接する領域が含まれる。また、ここでも、上記所定距離に対応する距離として、非重複領域と人間候補領域との間の最も近接する画素間の距離を適用するものとする。これにより、図１６に示す例では、非重複領域Ｂ’から所定距離以内に位置する領域として、人間の重複領域のみが抽出される。
【０１３９】
そして、本ステップ２２２では、抽出された領域（人間の重複領域）と上記ステップ２０２の処理によって抽出された非重複領域とを合成することによって人間領域を抽出する。これにより、図１６に示す例では、人間領域Ｂのみが高精度に抽出される。
【０１４０】
本第２実施形態に係る人間領域検出処理プログラムにおけるステップ２００の処理が請求項２記載の発明の差分画像導出手段に、ステップ２０２の処理が請求項２記載の発明の非重複領域抽出手段に、ステップ２１８の処理が請求項２記載の発明の合成画像導出手段に、ステップ２２０の処理が請求項２記載の発明の候補領域抽出手段に、ステップ２２２の処理が請求項２記載の発明の人間領域抽出手段に、各々相当する。
【０１４１】
以上詳細に説明したように、本第２実施形態に係る環境制御システムでは、二つの温熱画像情報における分割領域（本第２実施形態では、画素）毎の加算によって当該分割領域毎の合成画像情報を導出し、当該合成画像情報と、人間の上記二つの温熱画像情報間の重複領域を抽出するために予め定めた閾値との上記分割領域毎の比較により人間の領域の候補となる領域を抽出し、抽出した領域のうちの非重複領域から所定距離以内に位置する領域と、当該非重複領域とを合成することによって人間に対応する領域を抽出しているので、単に温熱画像情報から人間の領域の候補となる領域を抽出する場合に比較して、より高精度に人間に対応する領域を抽出することができる。
【０１４２】
また、本第２実施形態に係る環境制御システムでは、以上のように抽出された人間に対応する領域と、当該領域を抽出する際に用いた温熱画像情報と、に基づいて得られるパラメータを用いて処理対象とする空間内の快適性を示す快適性指標を導出し、当該快適性指標に基づいて当該空間内の環境を制御しているので、制御対象とする空間内の実態に即した適切な温熱環境の制御を行うことができる。
【０１４３】
なお、本第２実施形態では、後で収集された温熱画像情報（図１６に示す例では温熱画像ＩＤ２）から非重複領域を抽出した場合について説明したが、本発明はこれに限定されるものではなく、先に収集された温熱画像情報（図１６に示す例では温熱画像ＩＤ１）から非重複領域（図１６に示す例では非重複領域Ａ’）を抽出する形態とすることもでき、双方の温熱画像情報から非重複領域（図１６に示す例では、非重複領域Ａ’及びＢ’）を抽出する形態とすることもできる。これらの場合も、本第２実施形態と同様の効果を奏することができる。
【０１４４】
更に、本第２実施形態では、人間候補領域を抽出するために用いる閾値として予め定められた閾値を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、上記第１比較例に係る人間領域検出処理（図６）のステップ２０４において導出した閾値や、上記第２比較例に係る人間領域検出処理（図９）のステップ２０４’において導出した閾値を適用する形態とすることもできる。この場合、これらの閾値は、処理対象空間内の気温や季節等の環境状態に応じた実際の人間の温度に基づくものであるので、処理対象空間内に人間の温度と略等しい温度の発熱体が存在する場合であっても、当該発熱体の温度が僅かでも人間の温度と異なる場合には、当該発熱体を抽出対象から除外することができ、より的確に人間候補領域を抽出することができる。
【０１４５】
また、上記各実施形態（及び各比較例）では、快適域をＰＭＶ値が＋０．５から−０．５までの範囲であるものとした場合について説明したが、本発明はこれに限定されるものではなく、例えば、＋０．６から−０．６までの範囲や、＋０．４から−０．４までの範囲等、当該快適域を示す値は、環境制御の対象とする空間の条件等に応じて適宜変更することができることは言うまでもない。
【０１４６】
また、上記各実施形態（及び各比較例）では、空調制御処理（図４のステップ１２２参照）において、空調装置４４から吹き出される空気の温度、当該空気の湿度、及び当該空気の風量の三つのパラメータを全て調整する場合について説明したが、本発明はこれに限定されるものではなく、これら三つのパラメータの一つ又は二つを調整する形態とすることもできる。この場合には、上記各実施形態（及び各比較例）に比較して調整対象の数が減るので、当該調整によって快適性が変化するまでに要する時間が長時間化するものの、調整のための制御を簡易化することができる。
【０１４７】
また、上記各実施形態（及び各比較例）では、録画装置１６を介して温熱画像情報を収集することができるＰＣ２０Ａによって環境制御処理を実行する場合について説明したが、本発明はこれに限定されるものではなく、録画装置１６を介することなく温熱画像情報を収集することのできるＰＣ２０Ｂによって環境制御処理を実行する形態とすることもできることはいうまでもない。この場合も、上記各実施形態と同様の効果を奏することができる。
【０１４８】
また、上記各実施形態（及び各比較例）では、本発明の情報処理装置及び情報処理方法を温熱環境を制御する環境制御装置に適用した場合について説明したが、本発明はこれに限定されるものではなく、一例として図１７に示すように、防災・施設維持管理装置５０を用いた防災・施設維持管理システムに適用する形態とすることもできる。
【０１４９】
この場合、上記各実施形態に係るＰＣ２０Ａは、人間領域検出処理によって人間領域が検出された場合に、処理対象空間内に人間が存在することを示す信号及び人間の存在位置を示す信号を防災・施設維持管理装置５０に出力する。これに応じて防災・施設維持管理装置５０では、この時点が人間の存在しない時間帯（深夜や休日等）であるときには、不審者が処理対象空間内に侵入している可能性があるものと判断して、当該空間内を確認する、警報を発する、警備会社に通報する、といった対応を行う。
【０１５０】
なお、このようなシステムでは、通常、処理対象空間内の生画像をビデオカメラを用いて収集する、といったことを行うが、この場合、当該空間内に存在する個人が特定されるので、プライバシーの問題があった。しかしながら、本発明に係る情報処理装置を適用したシステムでは、生画像を用いることなくシステムを構築することができるので、このようなプライバシーの問題が生じることはない。
【０１５１】
更に、上記各実施形態（及び各比較例）では、本発明の快適性指標としてＰＭＶ値を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、Ｇａｇｇｅらによって開発され、ＡＳＨＲＡＥ（米国空調学会）により採用されたものであり、発汗を含めた熱平衡式に基づく温熱指標であるＥＴ＊（ＥＴスター：新有効温度）を適用する形態とすることもできる。この場合にも、上記各実施形態と同様の効果を奏することができる。
【０１５２】
【発明の効果】
請求項１に記載の情報処理装置及び請求項４に記載の情報処理方法によれば、処理対象とする空間内を２次元平面として捉え、当該２次元平面の予め定められた分割領域毎の温度を示す温熱画像情報を収集する収集手段により収集された時間的に異なる二つの温熱画像情報における上記分割領域毎の減算によって当該分割領域毎の差分画像情報を導出し、当該差分画像情報における零を含む所定範囲の外の値となる分割領域により構成される領域を人間の上記二つの温熱画像情報間の非重複領域として抽出し、当該二つの温熱画像情報の何れかと、人間の温度に対応する領域を抽出するための閾値との上記分割領域毎の比較により当該温熱画像情報における人間の領域の候補となる領域を抽出し、抽出した領域のうち、上記非重複領域から所定距離以内に位置する領域のみを人間に対応する領域として抽出しているので、温熱画像から人間部分の領域を高精度に抽出することができる、という効果が得られる。
【０１５３】
【０１５４】
【０１５５】
また、請求項２に記載の情報処理装置及び請求項５に記載の情報処理方法によれば、二つの温熱画像情報における上記分割領域毎の加算又は乗算によって当該分割領域毎の合成画像情報を導出し、当該合成画像情報と、人間の上記二つの温熱画像情報間の重複領域を抽出するための閾値との上記分割領域毎の比較により人間の領域の候補となる領域を抽出し、抽出した領域のうちの非重複領域から所定距離以内に位置する領域と、当該非重複領域とを合成することによって人間に対応する領域を抽出しているので、単に温熱画像情報から人間の領域の候補となる領域を抽出する場合に比較して、より高精度に人間に対応する領域を抽出することができる、という効果が得られる。
【０１５６】
更に、請求項７に記載の環境制御装置によれば、本発明に係る情報処理装置の人間領域抽出手段によって抽出された人間に対応する領域と、当該領域を抽出する際に用いた温熱画像情報と、に基づいて得られるパラメータを用いて処理対象とする空間内の快適性を示す快適性指標を導出し、当該快適性指標に基づいて当該空間内の環境を制御しているので、制御対象とする空間内の実態に即した適切な温熱環境の制御を行うことができる、という効果が得られる。
【図面の簡単な説明】
【図１】各実施形態及び各比較例に係る人間部分の非重複領域の抽出手法の説明に供する概略図である。
【図２】各実施形態及び各比較例に係る環境制御システム１０の全体構成を示す概略ブロック図である。
【図３】各実施形態及び各比較例に係るＰＣ２０Ａの電気系の構成を示すブロック図である。
【図４】各実施形態及び各比較例に係る環境制御処理プログラムの処理の流れを示すフローチャートである。
【図５】固定パラメータ設定画面の一例を示す概略図である。
【図６】第１比較例に係る人間領域検出処理プログラムの処理の流れを示すフローチャートである。
【図７】第１比較例に係る人間領域検出処理の処理手順の説明に供する説明図である。
【図８】第１比較例に係る環境制御処理の説明に供する、ＰＭＶ値と不満足者率との関係、及び快適域を示すグラフである。
【図９】第２比較例に係る人間領域検出処理プログラムの処理の流れを示すフローチャートである。
【図１０】第２比較例に係る人間領域検出処理の処理手順の説明に供する説明図である。
【図１１】第２比較例に係る環境制御システム１０による環境制御処理の実行途中で実際に得られた温熱画像情報により示される温熱画像の一例を示す図である。
【図１２】第２比較例に係る環境制御システム１０による環境制御処理の実行途中で実際に得られた画像情報により示される２値化画像の一例を示す図である。
【図１３】第１実施形態に係る人間領域検出処理プログラムの処理の流れを示すフローチャートである。
【図１４】第１実施形態に係る人間領域検出処理の処理手順の説明に供する説明図である。
【図１５】第２実施形態に係る人間領域検出処理プログラムの処理の流れを示すフローチャートである。
【図１６】第２実施形態に係る人間領域検出処理の処理手順の説明に供する説明図である。
【図１７】本発明の情報処理装置及び情報処理方法の他の適用例を示すブロック図である。
【図１８】従来技術の説明に供する模式図である。
【符号の説明】
１０ 環境制御システム
１２ 赤外線カメラ（収集手段）
１８Ａ、１８Ｂ キャプチャボード
２０Ａ、２０Ｂ パーソナル・コンピュータ
２２ ＣＰＵ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information processing apparatus, an information processing method, and an environment control apparatus. More specifically, the space to be processed is regarded as a two-dimensional plane, and the temperature for each predetermined divided area of the two-dimensional plane is determined. The present invention relates to an information processing apparatus and an information processing method for performing processing on thermal image information to be shown, and an environment control apparatus for controlling the inside of the space to be a comfortable environment based on information obtained by the information processing apparatus.
[0002]
[Prior art]
In recent years, there has been an increasing demand for energy saving for buildings from the viewpoint of protecting useful natural resources such as fossil fuels and protecting the global environment. On the other hand, the demand for comfortable living environment for buildings is increasing year by year.
[0003]
In view of these points, environmental factors such as temperature, humidity, wind speed, and radiation temperature in the space to be controlled and people such as the amount of clothes and metabolism (activity) of people existing in the space. And a comfort index (for example, PMV (Predicted Mean Vote) value) indicating comfort in the space based on the two elements, and the space so that the comfort index is included in the comfort area. There was an environmental control device that controls an air conditioner, a heating device, and the like provided in the interior. According to this apparatus, since control of an air conditioner, a heating apparatus, etc. is appropriately performed based on the two elements of the environmental element and the human element, when the control is performed based only on the environmental element. In comparison, useless operation of these devices can be suppressed, and as a result, energy can be saved and the living environment can be made comfortable.
[0004]
The PMV value was developed by Fanger and adopted as ISO-7730, and is obtained by a comfortable equation that predicts the thermal neutral temperature based on the amount of heat exchange between the human and the environment.
[0005]
By the way, when controlling the thermal environment in the space using the comfort index, conventionally, the predicted value obtained by calculation and the fixed value given in advance were applied to the human clothing surface temperature. There is a problem that it does not reflect the actual situation of the person existing in the space to be controlled, and the thermal environment cannot always be controlled appropriately.
[0006]
In view of this problem, in the technique described in Japanese Patent Laid-Open No. 6-180139, a thermal image is obtained by measuring the temperature of a room occupant and the environment using a sensor, and a human part is obtained from the thermal image. This area is detected, the person's clothing surface temperature is acquired based on the temperature indicated by the thermal image corresponding to the area, and the comfort index is derived using the clothing surface temperature.
[0007]
Here, in the technique described in Japanese Patent Laid-Open No. Hei 6-180139, heat is generated at substantially the same temperature as that of a human in the technique of extracting a human temperature range from a thermal image as a human part area. In order to avoid the problem of erroneously extracting the area of the device as the area of the human part, paying attention to the fact that the person moves, as shown in FIG. A difference image is obtained by taking the difference between two temporally different thermal images A and B obtained from the space. In the difference image, only the moving human remains, and a stationary object such as a personal computer (indicated as “PC” in FIG. 18) is canceled and erased regardless of the heat generation temperature. Therefore, the remaining image area in the difference image is detected as a human part area.
[0008]
[Problems to be solved by the invention]
However, in the technique described in JP-A-6-180139, the human part region is detected based on the difference image obtained by taking the difference between two temporally different thermal images. When humans overlap in the same region of the two temporally different thermal images, the overlapping region cannot be detected, and the human region cannot be detected properly. There was a problem that.
[0009]
That is, in general, a person in the room rarely moves constantly, and in most cases, only a part of the body such as an arm, a leg, or a neck is moved. In this case, the human torso portion overlaps the same region of the two temporally different thermal images, and the torso region is erased from the difference image. Therefore, in this case, it is impossible to detect the body part which is the main part of human beings. This problem is that, when the surface temperature of a person's clothing is acquired based on the temperature indicated by the thermal image corresponding to the region of the human part, the majority of the clothes are located on the human torso. Considering it is a serious problem.
[0010]
The present invention has been made to solve the above-described problems, and has as its first object to provide an information processing apparatus and an information processing method capable of extracting a human part region from a thermal image with high accuracy. A second object is to provide an environment control device capable of controlling an appropriate thermal environment according to the actual condition in the space to be controlled.
[0011]
[Means for Solving the Problems]
In order to achieve the first object, the information processing apparatus according to claim 1 regards the space to be processed as a two-dimensional plane, and indicates a temperature for each predetermined divided area of the two-dimensional plane. Collecting means for collecting thermal image information; and difference image deriving means for deriving difference image information for each divided region by subtraction for each divided region in two temporally different thermal image information collected by the collecting unit; A non-overlapping region extracting means for extracting a region constituted by a divided region having a value outside a predetermined range including zero in the difference image information as a non-overlapping region between the two thermal image information of a human,A candidate area for extracting a candidate area for a human area in the thermal image information by comparing each of the two thermal image information with a threshold value for extracting an area corresponding to the human temperature for each divided area. Of the regions extracted by the extraction unit and the candidate region extraction unit, only a region located within a predetermined distance from the non-overlapping region extracted by the non-overlapping region extracting unit is extracted as a region corresponding to the human. Human area extraction means;It has.
[0012]
[0013]
[0014]
[0015]
[0016]
[0017]
[0018]
[0019]
[0020]
[0021]
Claim1According to the information processing apparatus described, the space to be processed is regarded as a two-dimensional plane, and is collected by a collecting unit that collects thermal image information indicating the temperature of each predetermined divided area of the two-dimensional plane. Difference image information for each divided area is derived by the difference image deriving means by subtraction for each of the divided areas in the two temporally different thermal image information. The collecting means includes any device that can obtain thermal image information, such as an infrared camera or a radiation thermometer.
[0022]
Here, in the present invention, the non-overlapping area extracting means uses a non-overlapping area extracting unit to create a non-overlapping area between the two pieces of thermal image information of the human being. In order to extract one of the two pieces of thermal image information and the region corresponding to the human temperature by the candidate region extraction means, which is extracted as an overlapping regionofA region that is a candidate for the human region in the thermal image information is extracted by comparison with the threshold value for each of the divided regions, and further, a non-overlapping region among the regions extracted by the candidate region extracting unit by the human region extracting unit. Only a region located within a predetermined distance from the non-overlapping region extracted by the extracting means is extracted as a region corresponding to a human.
[0023]
The “region located within a predetermined distance from the non-overlapping region” includes a region located in the non-overlapping region (a region overlapping with the non-overlapping region) and a region in contact with the non-overlapping region. Further, as the distance corresponding to the predetermined distance, the distance between the closest divided areas between the non-overlapping area and the human area candidate area, the non-overlapping area and the human area candidate area, The distance between the respective centroids between, etc. can be applied.
[0024]
That is, in the present inventionIsFocusing on the fact that even if a person is sitting on a chair, for example, some of his face, arms, shoulders, etc. are moving, based on the above difference image information An area in which a person is moving (non-overlapping area) is reliably extracted, and an area that is a candidate for a human area close to the extracted area is extracted as an area corresponding to a person. Even when a heating element having a temperature substantially equal to the human temperature exists, if the heating element exists relatively far from a human, the heating element can be excluded from the extraction target. It is possible to extract only those areas with high accuracy.
[0025]
Thus, the claim1According to the information processing apparatus described in (2), the space to be processed is regarded as a two-dimensional plane, and is collected by a collecting unit that collects thermal image information indicating the temperature of each predetermined divided area of the two-dimensional plane. The difference image information for each divided region is derived by subtraction for each of the divided regions in two temporally different thermal image information, and is constituted by divided regions that are values outside a predetermined range including zero in the difference image information. In order to extract a region corresponding to the human temperature and one of the two thermal image information as a non-overlapping region between the two thermal image information of the humanofA region that is a candidate for the human region in the thermal image information is extracted by comparison with the threshold value for each of the divided regions, and only a region that is located within a predetermined distance from the non-overlapping region among the extracted regions corresponds to the human. Therefore, the region of the human part can be extracted with high accuracy from the thermal image.
[0026]
Claims2The information processing apparatus according to claim1The combined image deriving means for deriving synthesized image information for each of the divided areas by addition or multiplication for each of the divided areas in the two thermal image information, wherein the candidate area extracting means includes the synthesized image To extract the overlap area between the information and the two thermal image information of the humanofA region that is a candidate for the human region is extracted by comparing each of the divided regions with a threshold, and the human region extracting unit is configured to extract the non-overlapping region extracting unit from among the regions extracted by the candidate region extracting unit. A region corresponding to the person is extracted by synthesizing the non-overlapping region and the region located within a predetermined distance from the extracted non-overlapping region.
[0027]
Claim2According to the described information processing apparatus, the composite image deriving unit derives the composite image information for each divided region by addition or multiplication for each of the divided regions in the two thermal image information, and the candidate region extracting unit performs the above To extract the overlap area between the composite image information and the above two thermal image information of humanofA region that is a candidate for a human region is extracted by comparing each of the divided regions with a threshold value, and further, by the non-overlapping region extracting unit among the regions extracted by the candidate region extracting unit by the human region extracting unit. A region corresponding to a human is extracted by combining a region located within a predetermined distance from the extracted non-overlapping region and the non-overlapping region.
[0028]
That is, in the present invention, the composite image information for each divided area is derived by addition or multiplication for each divided area in the two pieces of thermal image information. Therefore, the composite image information is obtained when the heating element having a temperature substantially equal to the human temperature exists in the space to be processed and the temperature of the heating element is slightly different from the human temperature. The difference between the values of the overlapping area of the human part between the image information and the overlapping area of the heating element part is increased.
[0029]
Therefore, in order to extract the overlapping area from this composite image informationofBy extracting a region that is a candidate for a human region based on a threshold value, it is possible to extract the region that is a candidate with higher accuracy than in the case of simply extracting from the thermal image information. Therefore, it is possible to extract a region corresponding to a human with higher accuracy.
[0030]
Thus, the claim2According to the information processing device described in the above, the combined image information for each divided region is derived by addition or multiplication for each of the divided regions in the two pieces of thermal image information, and the combined image information and the two thermal images of the human To extract overlapping areas between informationofExtracting candidate regions of human regions by comparing each of the divided regions with a threshold value, and combining the non-overlapping regions with regions located within a predetermined distance from the non-overlapping regions of the extracted regions Since the region corresponding to the person is extracted by the method, the region corresponding to the person can be extracted with higher accuracy than when the candidate region of the human region is simply extracted from the thermal image information. .
[0031]
In the invention described in claim 1 or claim 2, for example, as described in claim 3, threshold deriving means for deriving the threshold based on the temperature indicated by the thermal image information corresponding to the non-overlapping region is further provided. It may be provided.
[0032]
[0033]
[0034]
[0035]
Meanwhile, in order to achieve the first object,4The described information processing method regards the inside of the space to be processed as a two-dimensional plane, collects thermal image information indicating the temperature of each predetermined divided area of the two-dimensional plane, and collects it at a predetermined time interval. The difference image information for each divided region is derived by subtraction for each of the divided regions in two temporally different thermal image information, and is configured by divided regions that are values outside a predetermined range including zero in the difference image information. To extract a region corresponding to the human temperature and one of the two thermal image information.ofA region that is a candidate for a human region in the thermal image information is extracted by comparison with the threshold value for each of the divided regions, and only a region that is located within a predetermined distance from the non-overlapping region is extracted from the extracted region. It is extracted as a corresponding area.
[0036]
Therefore, the claims4According to the information processing method described in claim1Since it works in the same way as the described invention,1Similar to the described invention, the region of the human part can be extracted from the thermal image with high accuracy.
[0037]
Further claims5The information processing method described is a claim.4In the described invention, the composite image information for each of the divided regions is derived by addition or multiplication for each of the divided regions in the two thermal image information, and between the composite image information and the two thermal image information of the human To extract overlapping areasofA region that is a candidate for the human region is extracted by comparison with a threshold value for each divided region, and a region that is located within a predetermined distance from the non-overlapping region among the extracted regions is combined with the non-overlapping region. By doing so, the region corresponding to the person is extracted.
Therefore, according to the information processing method described in claim 5, since it operates in the same manner as in the invention described in claim 2, as in the invention described in claim 2, a candidate for a human region is simply obtained from the thermal image information. Compared with the case of extracting a region, a region corresponding to a human can be extracted with higher accuracy.
[0038]
Further, in the invention according to claim 4 or claim 5, for example, as described in claim 6, the thermal image information corresponding to the non-overlapping area is indicated before extracting the candidate area of the human area. The threshold value may be derived based on temperature.
[0039]
Meanwhile, in order to achieve the second object,7The environmental control apparatus described in claim 1.~ClaimAny one of 3Using parameters obtained on the basis of the information processing apparatus described in the above, the area corresponding to the person extracted by the human area extraction means of the information processing apparatus, and the thermal image information used when extracting the area Comfort index deriving means for deriving a comfort index indicating comfort in the space to be processed, and environment control means for controlling the environment in the space based on the comfort index .
[0040]
Claim7According to the environmental control apparatus described above, the comfort index deriving means can claim~ClaimAny one of 3In the space to be processed using parameters obtained based on the region corresponding to the person extracted by the human region extracting means of the information processing apparatus described and the thermal image information used when extracting the region A comfort index indicating the comfort level is derived, and the environment control means controls the environment in the space to be processed based on the comfort index.
[0041]
The parameters include the human clothing surface temperature obtained as the average value of the thermal image information of the region corresponding to the human, the temperature indicated by the thermal image information of the region corresponding to the human, and the normal human body temperature. The amount of clothes obtained on the basis of the difference between them and the average radiation temperature obtained as the average value of the thermal image information in the region other than the region corresponding to the human can be exemplified. The comfort index includes a PMV value, ET *, and the like. Furthermore, the control targets by the environment control means include all controls relating to comfort such as temperature control, humidity control, and wind speed control in the space to be processed.
[0042]
That is, in the present invention, a region corresponding to a person extracted with high accuracy by the information processing apparatus of the present invention, and a thermal image collected from the space that is actually processed and used when extracting the region. Using the parameters obtained based on the information, a comfort index indicating the comfort in the space to be processed is derived to control the thermal environment, and the predicted value obtained by calculation for that parameter Compared to the case where the comfort index is derived by applying a fixed value given in advance, it is possible to control the thermal environment more accurately according to the actual condition in the space to be controlled. ing.
[0043]
As a result, for example, when the environment control device according to the present invention is applied as a device for controlling a thermal environment in a building, it is high quality, non-stationary, and friendly to humans (cold / hot shock) Can be realized.
[0044]
Thus, the claim7According to the environment control device described in the above, based on the region corresponding to the person extracted by the human region extraction means of the information processing device according to the present invention and the thermal image information used when extracting the region. A comfort index indicating the comfort in the space to be processed is derived using the obtained parameters, and the environment in the space is controlled based on the comfort index. It is possible to control the appropriate thermal environment according to the actual situation.
[0045]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In each of the embodiments described below, a technique for extracting a partial region (non-overlapping region described later) of a human part is common to all the embodiments.
[0046]
That is, each embodiment(And comparative example)In both cases, as shown in FIG. 1, a difference image C is derived by taking a difference between two temporally different thermal images A and B obtained from the real space, and an image area remaining in the difference image ( (A hatched region of the difference image C) is extracted as a non-overlapping region of the human part.
[0047]
In FIG. 1, the thermal image A and the thermal image B are represented by line images for convenience, but in practice, for example, the region of 50 ° C. is red and the temperature decreases from 50 ° C. to 10 ° C. Each thermal image is represented with a color indicating a temperature, such that the color gradually changes to a cold color for each predetermined temperature range.
[0048]
Here, a case will be described in which the information processing apparatus, the information processing method, and the environment control apparatus according to the present invention are applied to an environment control system that controls a thermal environment using an air conditioner.In the following, a comparative example of the present invention will be described prior to the description of the embodiment of the present invention.
[0049]
[FirstComparative example]
First, referring to FIG.First comparative exampleThe overall configuration of the environmental control system 10 according to the above will be described. As shown in the figure,First comparative exampleThe environmental control system 10 according to the present invention is capable of collecting a temperature distribution in a substantially rectangular parallelepiped real space S to be controlled in a thermal environment over as wide a region as possible (for example, near any wall surface of the real space S and Thermal image information indicating the temperature of each of the predetermined divided areas (here, pixels) of the two-dimensional plane, and the real space S is regarded as a two-dimensional plane. Is included including an infrared camera 12 as a collecting means for collecting moving image information as moving image information.
[0050]
The environment control system 10 also includes a display 14 that displays a thermal image indicated by the thermal image information collected by the infrared camera 12 as a moving image, and a recording device 16 that sequentially records the thermal image information collected by the infrared camera 12. And a capture board 18A having a function of capturing arbitrary information from the thermal image information recorded in the recording device 16, and control of the capture by the capture board 18A, and thermal image information captured by the capture board 18A A personal computer (hereinafter referred to as “PC”) 20A.
[0051]
Furthermore, the environment control system 10 also includes a PC 20B on which a capture board 18B having a function of capturing arbitrary information from the thermal image information collected by the infrared camera 12 is mounted.
[0052]
Although not shown in FIG. 2, the environmental control system 10 is an air conditioner (hereinafter referred to as “air conditioner”) provided in or near the real space S in addition to the above-described components. ), And a temperature sensor, a humidity sensor, and a wind speed sensor for detecting the temperature, humidity, and wind speed in the real space S are also provided.
[0053]
Next, referring to FIG.First comparative exampleThe configuration of the electrical system of the PC 20A according to the above will be described. As shown in the figure, the PC 20A includes a CPU (central processing unit) 22 that controls the operation of the entire PC 20A, a RAM (Random Access Memory) 24 used as a work area when the CPU 22 executes various processing programs, A ROM (Read Only Memory) 26 storing a processing program and various parameters, a hard disk 28 used for storing various information, a display 30 used for displaying various information, a keyboard and a mouse are included. The input device 32 is connected to the capture board 18A, the temperature sensor 38, the humidity sensor 40, and the wind speed sensor 42 described above, and an interface (hereinafter referred to as “I / F”) that controls transmission / reception of various information between these components. ) 34) and control of the exchange of various information between the air conditioner 44 described above. And I / F 36, but is configured by mutually connected by a system bus BUS.
[0054]
Accordingly, the CPU 22 accesses the RAM 24, the ROM 26, and the hard disk 28, controls display of various information on the display 30, acquires various information via the input device 32, controls the capture board 18A via the I / F 34, Acquisition of information indicating the detection results of the temperature sensor 38, the humidity sensor 40, and the wind speed sensor 42 via the F34, and control of the air conditioner 44 via the I / F 36, respectively, can be performed.
[0055]
The configuration of the PC 20B is also the same as that of the PC 20A except that the capture board 18A becomes the capture board 18B, and a description thereof will be omitted here.
[0056]
Next, referring to FIG.First comparative exampleThe operation of the environmental control system 10 according to the above will be described. FIG. 4 is a flowchart showing the flow of processing of the environmental control processing program executed by the CPU 22 of the PC 20A when the thermal control of the environmental control system 10 is performed. The program is stored in a predetermined area of the ROM 26 in advance. Has been. Also, here, a case where the thermal image information in the real space S is obtained as moving image information by the infrared camera 12 and the thermal image information is sequentially input to the capture board 18A via the recording device 16 will be described. To do.
[0057]
In step 100 of FIG. 4, the display 30 is controlled so as to display a predetermined fixed parameter setting screen, and in the next step 102, input of predetermined information via the input device 32 is waited.
[0058]
FIG. 5 shows a fixed parameter setting screen displayed on the display 30 by the processing of step 100 described above. As shown in the figure,First comparative exampleIn the fixed parameter setting screen according to the above, a message for prompting input of the metabolic rate and the amount of clothing is displayed, and a rectangular frame for inputting these parameters is displayed. When the fixed parameter setting screen as shown in the figure is displayed on the display 30, the operator of the PC 20 </ b> A operates the metabolic rate in the real space S and the real space S by operating the keyboard and mouse constituting the input device 32. After inputting each piece of information on the amount of human clothing that exists, pointing to the “input end” button displayed at the bottom of the screen with the mouse is designated. As a result, information indicating the metabolic rate and the amount of clothes input by the operator and information indicating that the “input end” button has been designated are input to the CPU 22, and step 102 is affirmative. The process proceeds to step 104.
[0059]
The metabolic rate indicates the amount of human activity and is usually expressed as a value called a Met value. For example, the Met value is 0.8 when lying in a lying position and relaxing, 1.0 when sitting quietly in a chair, 1.4 when standing and relaxing, It is 1.6 when lightly working in the middle, 2.0 when walking at 3 km / h, and 3.0 when running at 5 km / h and moving violently. BookFirst comparative exampleThen, the metabolic rate [W / m2] 1Met = 58 [W / m2] Converted.
[0060]
In step 104, the capture board 18A is controlled so as to capture the thermal image information input to the capture board 18A, whereby the thermal image information collected by the infrared camera 12 at this time is collected and the hard disk 28 is collected. In a predetermined area (hereinafter referred to as “first area”), and in the next step 106, a predetermined time (mainFirst comparative exampleThen one minute. In the next step 108, the thermal image information collected by the infrared camera 12 at this time is collected and the area different from the first area of the hard disk 28 is obtained in the next step 108, as in the above step 104. (Hereinafter referred to as “second region”).
[0061]
In the next step 110, human region detection processing is performed using the thermal image information stored in the hard disk 28 in step 104 and the thermal image information stored in the hard disk 28 in step 108. The bookFirst comparative exampleThe human region detection process according to the above will be described in detail with reference to FIG. FIG. 6 is a flowchart showing the flow of processing of a human region detection processing program executed by the CPU 22 of the PC 20A when performing human region detection processing. The program is also stored in a predetermined region of the ROM 26 in advance. .
[0062]
In step 200 of FIG. 6, the difference image information is derived by performing subtraction for each pixel of the thermal image information stored in the hard disk 28 in step 104 and the thermal image information stored in the hard disk 28 in step 108. To do. Note that this subtraction may subtract the other thermal image information from either thermal image information, but here, the case where the previously collected thermal image information is subtracted from the thermal image information collected later. explain.
[0063]
In deriving the difference image information,First comparative exampleIn the human region detection processing according to the above, when the absolute value of the value for each pixel (value indicating the temperature difference) obtained by the subtraction is smaller than a predetermined threshold TH1 (here, 0.1 ° C.). The pixel value is set to 0 (zero).
[0064]
For example, as shown in FIG. 7, if the image indicated by the previously collected thermal image information is the thermal image ID1, and the image indicated by the later collected thermal image information is the thermal image ID2, this step The image indicated by the difference image information obtained in 200 is a difference image SD. In FIG. 7, A and B are human regions, W is a region of a heating element that is a stationary object (for example, PC, printer, etc.), and H is a stationary object other than the heating element (for example, an inner wall of a processing target space). , Desk, chair, etc.) are shown respectively.
[0065]
As shown in FIG. 7, the difference image SD indicated by the difference image information obtained in this step 200 is a human region corresponding only to a non-overlapping region between the two thermal images ID1 and ID2 of the human. An image showing the difference between the temperature of the stationary object region and the temperature of the stationary object region, and the pixel values of all other regions are 0 (zero). Further, when (the temperature of the region A> the temperature of the region H) and (the temperature of the region B> the temperature of the region H),First comparative exampleIn the environmental control system 10 according to the above, the pixel value of the non-overlapping area corresponding to the human area A included in the thermal image ID1 is a negative value, and the non-overlapping area corresponding to the human area B included in the thermal image ID2 is set. The pixel value is a positive value.
[0066]
Note that the temperature of the stationary object may slightly change between the time when one of the thermal image information is collected and the time when the other thermal image information is collected. However, as described above, the pixel obtained by the above subtraction is used. When the absolute value of each value is smaller than the predetermined threshold value TH1, the pixel value is set to 0 (zero). Therefore, the pixel value of the region of the stationary object can be set to 0. Therefore, the threshold value TH1 is set to a larger value as the change amount is larger in accordance with the change amount of the temperature of the stationary object existing in the processing target space.
[0067]
In the next step 202, an area composed of pixels showing a positive value in the difference image information obtained in step 200 is extracted as a non-overlapping area. Thereby, in the example shown in FIG. 7, only the non-overlapping region B 'is extracted.
[0068]
In the next step 204, pixel values (temperature values) corresponding to the extracted pixels in the non-overlapping region are extracted from the thermal image information (thermal image ID2 in the example shown in FIG. 7) collected later, and the extracted temperature Based on the values, two thresholds (lower threshold THL and upper threshold THH) for extracting a region showing the same temperature as the non-overlapping region are derived by the following equations (1) and (2).
[0069]
THL = Bt−TH2 (1)
THH = Bt + TH2 (2)
Here, Bt represents an average value of the temperature values extracted in step 204, and TH2 represents an allowable error (for example, 0.1 ° C.) between the threshold values THL and THH.
[0070]
In the next step 206, a region constituted by pixels indicating values in the range from the lower limit threshold value THL to the upper limit threshold value THH derived in step 204 is extracted from the thermal image information collected later. Thereby, in the example shown in FIG. 7, only the human region B is extracted.
[0071]
Like thisFirst comparative exampleIn the human region detection processing according to the above, focusing on the fact that even if a human is sitting on a chair, for example, a part of his face, arms, shoulders, etc. is moving, Threshold values for extracting a human region based on the thermal image information corresponding to the extracted region (the lower limit threshold value THL and the upper limit threshold value) are extracted by deriving the difference image information. THH) is derived, and this threshold value is based on the actual human temperature according to the environmental conditions such as the temperature and season in the processing target space, and is therefore substantially equal to the human temperature in the processing target space. Even when there is a heating element having a temperature, if the temperature of the heating element is slightly different from the human temperature, the heating element can be excluded from the extraction target, and only the human part area is increased. Can be extracted accurately
[0072]
When the process of step 206 is completed, the human region detection process is terminated, and the process proceeds to step 112 of the environment control processing program (see FIG. 4).
[0073]
[0074]
In step 112, a pixel value (temperature value) corresponding to the human region obtained by the human region detection process is extracted from the thermal image information collected later (the thermal image ID2 in the example shown in FIG. 7) to obtain the temperature. The average value is calculated as the person's clothing surface temperature (° C.), and in the next step 114, the temperature value of the region other than the human region obtained by the human region detection process is obtained from the thermal image information collected later. The average value of the temperature values is extracted and calculated as the average radiation temperature (° C.).
[0075]
In the next step 116, information indicating the room temperature is acquired from the temperature sensor 38, information indicating the humidity is acquired from the humidity sensor 40, and information indicating the wind speed is acquired from the wind speed sensor 42. In the next step 118, the above processing is performed. Parameters required for calculating a comfort index other than the obtained parameters (metabolic rate, clothing surface temperature, average radiation temperature) are derived.
[0076]
BookFirst comparative exampleIn the environment control system 10 according to the above, as an example, the PMV value calculated by the following equation (3) is applied as the comfort index.
[0077]
[Expression 1]
[0078]
Further, hc and fcl in the equation (3) are calculated by the following equations.
[0079]
[Expression 2]
[0080]
Where M: metabolic rate (W / m2)
W: External work (W / m2) ... Normally 0
Icl: Thermal resistance of clothes (m2K / W)
fcl: Ratio of the surface area during clothing to the naked human case
ta: Room temperature (° C)
tr: Average radiation temperature (° C)
var: Wind speed (m / s)
Pa: Water vapor partial pressure (Pa)
hc: Convective thermal conductivity (W / m2K)
tcl: clothing surface temperature (° C)
It is.
[0081]
Here, the metabolic rate M, the room temperature ta, the average radiation temperature tr, the wind speed var, and the clothing surface temperature tcl are obtained by the above processing.
[0082]
Therefore, here, it is necessary to calculate the thermal resistance Icl and the water vapor partial pressure Pa of the clothes, but the thermal resistance Icl is a well-known arithmetic expression using a clothing amount (clo) indicated by the information obtained in step 102 above. The water vapor partial pressure Pa can be derived from a well-known arithmetic expression using the room temperature ta and the humidity obtained by the humidity sensor 40.
[0083]
In the next step 120, the PMV value is calculated by substituting various parameters obtained by the above processing into the equation (3).
[0084]
By the way, the clothing surface temperature tcl is normally expressed by the following equation (4).
[0085]
[Equation 3]
[0086]
However, if the equation (4) is substituted into the equation (3), the equation (3) becomes a nonlinear equation related to the unknowns tcl and hc, and it is necessary to perform a convergence operation (repetitive operation).
[0087]
In contrast, the bookFirst comparative exampleIn the environmental control system 10 according to the above, since the measured values of the clothing surface temperature tcl and the average radiation temperature tr based on the thermal image information are directly substituted into the equation (3), the convergence calculation can be omitted.
[0088]
In the next step 122, air conditioning control processing for controlling the operation of the air conditioner 44 based on the PMV value calculated in step 120 is executed.
[0089]
BookFirst comparative exampleAs shown in FIG. 8, in the air conditioning control process according to the above, when the PMV value is in the region (1) of +0.5 or more, the temperature of the air blown out from the air conditioner 44 is decreased by a predetermined temperature. The air humidity is decreased by a predetermined humidity, and the air volume of the air is increased by a predetermined amount. On the other hand, when the PMV value is in the region (2) of −0.5 or less, the temperature of the air blown out from the air conditioner 44 is increased by a predetermined temperature, and the humidity of the air is set to a predetermined humidity. The air volume of the air is increased by a predetermined amount.
[0090]
In the next step 124, it is determined whether or not it is time to end the environmental control process. If the determination is negative, the process returns to step 106, and the processes in steps 106 to 122 are executed again. At this point, the environment control process is terminated. The determination as to whether or not it is the timing to end the environmental control process described above may be whether the operator of the PC 20A has input an instruction to end the environmental control process or a predetermined time. This can be done by determining whether or not the operating time has elapsed. Further, when repeatedly executing the processing of step 106 to step 124, in step 110, the thermal image information collected in step 108 immediately before and the thermal image information collected in step 108 immediately before are processed. To be thermal image information.
[0091]
By performing the air conditioning operation at an appropriate timing by repeating the above steps 106 to 124, the PMV value is within a range from −0.5 to +0.5 as an example without performing an air conditioning operation more than necessary. A comfortable area (see FIG. 8) can be entered, and as a result, comfort and energy saving can be promoted.
[0092]
As detailed above, the bookFirst comparative exampleIn the environment control system according to the present invention, the space to be processed is regarded as a two-dimensional plane, and a predetermined divided area (the book) of the two-dimensional plane is selected.First comparative exampleThen, the difference image information for each divided region is derived by subtraction for each divided region in two temporally different thermal image information collected by the infrared camera 12 that collects the thermal image information indicating the temperature of each pixel). , The region constituted by the divided regions that are values outside the predetermined range including zero in the difference image information is extracted as a non-overlapping region between the two thermal image information of the human, the above corresponding to the non-overlapping region Based on the temperature indicated by the thermal image information, a threshold value for extracting a region showing the same temperature as the non-overlapping region is derived, and one of the two thermal image information and the threshold value for each divided region is derived. Since the region corresponding to the person in the thermal image information is extracted by the comparison, the region of the human part can be extracted from the thermal image with high accuracy.
[0093]
Also bookFirst comparative exampleIn the environment control system according to the above, in the space to be processed using the parameters obtained based on the region corresponding to the person extracted as described above and the thermal image information used when extracting the region. Deriving a comfort index indicating the comfort of the vehicle, and controlling the environment in the space based on the comfort index, control the appropriate thermal environment according to the actual condition in the space to be controlled be able to.
[0094]
BookFirst comparative exampleIn the above description, the threshold value used when detecting the human region is derived based on the temperature value corresponding to the non-overlapping region of the thermal image information collected later (thermal image ID2 in the example shown in FIG. 7). However, the present invention is not limited to this, and the non-overlapping region (the non-overlapping region A ′ in the example shown in FIG. 7) of the previously collected thermal image information (the thermal image ID1 in the example shown in FIG. 7). Can be derived based on the temperature value corresponding to the temperature value, and based on the temperature value corresponding to the non-overlapping regions (non-overlapping regions A ′ and B ′ in the example shown in FIG. 7) of both the thermal image information. It is also possible to adopt a form derived from the above. In these cases too, the bookFirst comparative exampleThe same effect can be achieved.
[0095]
Also bookFirst comparative exampleIn the above description, the human region is extracted from the thermal image information collected later, but the present invention is not limited to this, and the human region is extracted from the previously collected thermal image information. You can also Again, the bookFirst comparative exampleThe same effect can be achieved.
[0096]
[SecondComparative example]
The firstComparative exampleIn the above description, the form in the case where the human region is directly extracted from the collected thermal image information has been described.Comparative exampleThen, using composite image information generated based on two thermal image information having different collection times, an overlapping region between the two thermal image information of a human is extracted, and the overlapping region and the non-overlapping region described above are extracted. To extract human regions by combiningTogetherexplain about. This secondComparative exampleThe configuration of the environmental control system 10 according to the first configurationComparative exampleSince it is the same as that of the environmental control system 10 which concerns on this, description here is abbreviate | omitted.
[0097]
Hereinafter, this secondComparative exampleThe operation of the environmental control system 10 according to the present invention when executing environmental control processing will be described. This secondComparative exampleThe environmental control processing according to the firstComparative exampleCompared with the environmental control process according to FIG. 4 (see FIG. 4), only the human region detection process executed in step 110 is different.Comparative exampleOnly the human region detection processing according to the above will be described with reference to FIGS. Here, FIG. 9 shows the secondComparative example6 is a flowchart showing a flow of processing of a human region detection processing program executed by the CPU 22 of the PC 20A when performing the human region detection processing according to FIG. 2, and the program is also stored in a predetermined region of the ROM 26 in advance. In addition, steps in FIG. 9 that perform the same processing as in FIG. 6 are assigned the same step numbers as in FIG.
[0098]
In step 202 ′ in FIG. 9, a region constituted by pixels showing a negative value and a region constituted by pixels showing a positive value in the difference image information obtained in step 200 are defined as non-overlapping regions. Extract. Thereby, in the example shown in FIG. 10, only the non-overlapping area A ′ and the non-overlapping area B ′ are extracted. In addition, the thermal image ID1, the thermal image ID2, and the difference image SD in the same figure are the same as those in FIG.
[0099]
In the next step 204 ′, the pixel value (temperature value) corresponding to the pixel in the non-overlapping area extracted as the area constituted by the pixel showing the negative value and the area constituted by the pixel showing the positive value The pixel values corresponding to the pixels in the non-overlapping region extracted as are respectively the thermal image information collected earlier (thermal image ID1 in the example shown in FIG. 10) and the thermal image information collected later (FIG. 10). In the example shown in FIG. 8, the temperature value of the non-overlapping region in each piece of thermal image information is extracted by extracting from the thermal image ID2). As a result, in the example shown in FIG. 10, the temperature values of the non-overlapping regions A ′ and B ′ are extracted for each region.
[0100]
In step 204 ′, the thermal image information collected at two different timings is included according to the following equations (5) and (6) based on the extracted temperature value for each non-overlapping region. Two threshold values (lower limit threshold value THL and upper limit threshold value THH) for extracting an overlapping region between the two thermal image information of the human are derived.
[0101]
THL = At + Bt−TH2 (5)
THH = At + Bt + TH2 (6)
Here, At is extracted as the average value of the temperature values extracted as corresponding to the pixels showing a negative value in this step 204 ′, and Bt is extracted as corresponding to the pixels showing the positive value in this step 204 ′. An average value of the temperature values, TH2 indicates an allowable error (for example, 0.1 ° C.) of each of the threshold values THL and THH.
[0102]
In the next step 208, the thermal image information stored in the hard disk 28 in the above step 104 (the previously collected thermal image information) and the thermal image information stored in the hard disk 28 in the above step 108 (the thermal image collected later). Information) and pixel-by-pixel addition to derive composite image information.
[0103]
For example, in the example shown in FIG. 10, the image indicated by the composite image information obtained in this step 208 is a composite image GD. As shown in the figure, the composite image GD indicated by the composite image information obtained in this step 208 has two thermal images ID1 and ID2 corresponding to the region H for the region H of the stationary object other than the heating element. An image showing a value obtained by adding the respective temperature values (represented as '2H' in FIG. 10), and for the region W of the heating element that is a stationary object, two thermal images ID1 corresponding to the region W, An image showing a value obtained by adding the temperature value of ID2 (expressed as “2W” in FIG. 10). Further, regarding the non-overlapping areas A ′ and B ′ between the two thermal images ID1 and ID2 of the human, the temperature value of the human area corresponding to the areas A ′ and B ′ and the temperature value of the area of the stationary object Are added to each other (represented as “A + H” and “B + H” in FIG. 10), and an overlapping area between the above two thermal images ID1 and ID2 of a human is two corresponding to the area. The image shows a value obtained by adding the temperature values of the thermal image information ID1 and ID2 (expressed as “A + B” in FIG. 10).
[0104]
In the next step 210, by extracting pixels indicating values within the range from the lower limit threshold value THL to the upper limit threshold value THH derived in step 204 ′ from the synthesized image information derived in step 208, the synthesis is performed. The above human overlapping area in the image information is extracted. As a result, in the example shown in FIG. 10, only the overlapping region (“A + B” region) is extracted.
[0105]
In the next step 212, the human region is extracted by synthesizing the non-overlapping region extracted in step 202 'as a pixel value having a positive value and the overlapping region extracted in step 210. Thereby, in the example shown in FIG. 10, only the human region B is obtained.
[0106]
Like thisSecond comparative exampleEven in the human region detection processing related toComparative exampleAs in the case of human beings, for example, even when sitting in a chair, a part of the face, arms, shoulders, etc. moves, and by deriving difference image information Extracting human moving areas (non-overlapping areas) and deriving thresholds (lower threshold THL and upper threshold THH) for extracting human areas based on thermal image information corresponding to the extracted areas, Since this threshold value is based on the actual human temperature according to the temperature in the processing target space and the environmental conditions such as the season, there is a heating element in the processing target space with a temperature substantially equal to the human temperature. However, when the temperature of the heating element is slightly different from the human temperature, the heating element can be excluded from the extraction target, and only the human part region can be extracted with high accuracy.
[0107]
When the process of step 212 is completed, the human region detection process is terminated, and the process proceeds to step 112 of the environment control processing program (see FIG. 4).
[0108]
[0109]
FIG. 11 and FIG.Comparative exampleAn example of an image indicated by various image information actually obtained during the execution of the environmental control process by the environmental control system 10 according to FIG. In FIG. 11, for the sake of convenience, the temperature difference in the thermal image is expressed by the line density in about five levels, but in practice, for example, the region of 50 ° C. is red and the temperature ranges from 50 ° C. to 10 ° C. Each thermal image is in a state in which a color indicating a temperature is added, such that the temperature gradually changes to a cold color in multiple stages for each predetermined temperature range as the temperature decreases.
[0110]
11A shows the thermal image indicated by the thermal image information obtained in the process of step 104 of the environmental control process (FIG. 4). FIG. 11B shows the thermal image obtained by the process of step 108 of the environmental control process. Thermal images indicated by the obtained thermal image information are respectively shown. As shown in the figure, here, there is shown a case where a large number of people are seated in the processing target space, and a PC and a printer are fixedly installed as heating elements.
[0111]
In this case, since the PC and the printer are stationary, the state is substantially the same as in FIGS. 11A and 11B, but there is some movement for humans, so FIG. And FIG. 11B show slightly different temperature distributions.
[0112]
On the other hand, FIG. 11C shows the difference image indicated by the difference image information obtained by the process of step 200 of the human area detection process (FIG. 9), and FIG. The image of the non-overlapping area extracted by the process of step 202 ′ of the detection process is shown. Note that FIG. 12A shows a binarized image when a non-overlapping region is extracted by binarizing the image shown in FIG.
[0113]
In the images shown in FIGS. 11C and 12A, most of the images in the stationary PC and printer area and the human overlapping area are erased, and most of the images in the human non-overlapping area are deleted. Remaining. Therefore, it can be seen that the human region can be extracted with high accuracy by extracting the human region based on the threshold value obtained based on the difference image information as the difference image as shown in FIG.
[0114]
On the other hand, FIG. 12B shows an image of the overlapping area extracted by the process of step 210 of the human area detection process, and FIG. 12C is extracted by the process of step 212 of the human area detection process. An image of a human area is shown. Note that FIGS. 12B and 12C show binarized images when only the extracted overlapping area or human area is set to the black level.
[0115]
In the image shown in FIG. 12B, only human overlapping regions can be accurately extracted. As a result, as shown in FIG. 12C, only the human region can be extracted with high accuracy.
[0116]
As explained in detail above, this secondComparative exampleIn the environment control system according to the above, based on the temperature indicated by the thermal image information corresponding to the non-overlapping region, a threshold for extracting the overlapping region between the two human thermal image information is derived, and the two Divided regions in thermal image information (bookSecond comparative exampleThen, the synthesized image information for each divided area is derived by addition for each pixel), and the overlapping area between the two thermal image information of the human is extracted by comparing the synthesized image information and the threshold for each divided area. Since the region corresponding to the human is extracted by synthesizing the non-overlapping region and the overlapping region, the region corresponding to the human is more accurately compared with the case of extracting from the thermal image information. Can be extracted.
[0117]
Also bookSecond comparative exampleIn the environment control system according to the above, in the space to be processed using the parameters obtained based on the region corresponding to the person extracted as described above and the thermal image information used when extracting the region. Deriving a comfort index indicating the comfort of the vehicle, and controlling the environment in the space based on the comfort index, control the appropriate thermal environment according to the actual condition in the space to be controlled be able to.
[0118]
BookSecond comparative exampleIn the above, the case where the lower limit threshold THL and the upper limit threshold THH are calculated using the expressions (5) and (6) has been described, but the present invention is not limited to this, and for example, the following expression (7): And it can also be set as the form calculated using (8) Formula. It is also possible to calculate by replacing Bt in the equations (7) and (8) with At.
[0119]
THL = 2 × Bt−TH2 (7)
THH = 2 × Bt + TH2 (8)
In these cases, in order to calculate the threshold value, only one of the region A ′ and the region B ′ shown in FIG.Second comparative exampleCompared to the above, the calculation load can be reduced.
[0120]
Also bookSecond comparative exampleIn the above description, the case where the synthesized image information in step 208 of the human region detection process is derived by adding two pieces of thermal image information for each pixel has been described. However, the present invention is not limited to this. It is also possible to adopt a form derived by multiplication of image information for each pixel. In this case, bookSecond comparative exampleThe difference between the information on the overlapping area of the human area and the information on the overlapping area of the heating element in the generated composite image information can be increased.Second comparative exampleCompared to the above, it is possible to extract the overlapping region of the human region with higher accuracy.
[0121]
[No.1Embodiment)
Next, the embodiment of the present invention will be described with respect to differences from the first comparative example and the second comparative example.First and second aboveComparative exampleIn the above, the form in the case of extracting the human region by using the threshold derived based on the difference image information has been described.1In the embodiment, a region that is a candidate for a human region is extracted from the thermal image information, and a region that is close to the non-overlapping region extracted based on the difference image information is extracted from the region as a human region. Claim as a form, ie, human area extraction technique1And claims4An embodiment when the invention described in 1 is applied will be described. This book1The configuration of the environmental control system 10 according to the embodiment includes the first and second configurations described above.Comparative exampleSince it is the same as that of the environmental control system 10 which concerns on this, description here is abbreviate | omitted.
[0122]
The following1The operation of the environment control system 10 according to the embodiment when the environment control process is executed will be described. This book1The environmental control processing according to the embodiment is also the first described above.Comparative exampleCompared to the environmental control process (see FIG. 4) according to FIG. 4, only the human area detection process executed in step 110 is different.1Only the human region detection processing according to the embodiment will be described with reference to FIGS. 13 and 14. Note that FIG.15 is a flowchart showing a flow of processing of a human region detection processing program executed by the CPU 22 of the PC 20A when performing human region detection processing according to the embodiment, and the program is also stored in a predetermined region of the ROM 26 in advance. Further, steps in FIG. 13 that perform the same processing as in FIG. 6 are assigned the same step numbers as in FIG.
[0123]
In step 214 of FIG. 13, a predetermined lower threshold THL (here, the temperature corresponding to the human temperature is extracted from the thermal image information collected later (thermal image ID2 in the example shown in FIG. 14)). (30 ° C.) to an upper limit threshold THH (here, 37 ° C.), an area composed of pixels indicating values in the range is extracted as a human candidate area. As a result, in the example shown in FIG. 14, the heating element region W having a temperature substantially similar to the human region B and the human temperature region is extracted as the human candidate region. Note that the thermal image ID1, the thermal image ID2, the difference image SD, and the non-overlapping region B 'in FIG. 14 are the same as those in FIG.
[0124]
In the next step 216, out of the human candidate regions extracted in step 214, only a region located within a predetermined distance from the non-overlapping region extracted by the processing in step 202 is extracted as a human region. The region located within a predetermined distance from the non-overlapping region includes a region located in the non-overlapping region (a region overlapping with the non-overlapping region) and a region in contact with the non-overlapping region. Here, the distance between the closest pixels between the non-overlapping area and the human candidate area is applied as the distance corresponding to the predetermined distance.
[0125]
Accordingly, in the example illustrated in FIG. 14, as a region located within a predetermined distance from the non-overlapping region B ′, a human region B composed of a region overlapping with the non-overlapping region B ′ and a region in contact with the non-overlapping region B ′. Only is accurately extracted.
[0126]
Like thisFirst embodimentIn the human region detection processing according to the above, it is noted that even if a human is sitting in a chair, for example, a part of the face, arms, shoulders, etc. is moving, and the difference image information is The human area (non-overlapping area) is reliably extracted by deriving, and the human candidate area close to the extracted area is extracted as the human area, and the heat generated at the temperature substantially equal to the human temperature in the processing target space Even when a body exists, the heating element can be excluded from the extraction target, and only the region of the human part can be extracted with high accuracy.
[0127]
When the process of step 216 is completed, the human region detection process is terminated, and the process proceeds to step 112 of the environment control processing program (see FIG. 4).
[0128]
BookFirst embodimentClaim 200 in the human region detection processing program according to claim1The difference image deriving means according to the invention described in claim 202 includes the process of step 202.1In the non-overlapping area extracting means of the invention described in the above, the process of step 214 is claimed.1The candidate area extracting means of the invention described in claim 2 includes the process of step 216.1Each corresponds to the human region extracting means of the described invention.
[0129]
As detailed above, the bookFirst embodimentIn the environment control system according to the present invention, the space to be processed is regarded as a two-dimensional plane, and a predetermined divided area (the book) of the two-dimensional plane is selected.First embodimentThen, the difference image information for each divided region is derived by subtraction for each divided region in two temporally different thermal image information collected by the infrared camera 12 that collects the thermal image information indicating the temperature of each pixel). , A region constituted by divided regions having values outside the predetermined range including zero in the difference image information is extracted as a non-overlapping region between the two thermal image information of the human, and any of the two thermal image information A region that is a candidate for a human region in the thermal image information is extracted by comparing each divided region with a predetermined threshold value for extracting a region corresponding to the human temperature, and among the extracted regions, Since only a region located within a predetermined distance from the non-overlapping region is extracted as a region corresponding to a human, it is possible to extract a human part region from a thermal image with high accuracy. Kill.
[0130]
Also bookFirst embodimentIn the environment control system according to the above, in the space to be processed using the parameters obtained based on the region corresponding to the person extracted as described above and the thermal image information used when extracting the region. Deriving a comfort index indicating the comfort of the vehicle, and controlling the environment in the space based on the comfort index, control the appropriate thermal environment according to the actual condition in the space to be controlled be able to.
[0131]
BookFirst embodimentIn the above description, the case where the non-overlapping region is extracted from the thermal image information collected later (the thermal image ID2 in the example shown in FIG. 14) has been described. However, the present invention is not limited to this and is collected first. The non-overlapping region (non-overlapping region A ′ in the example shown in FIG. 14) can be extracted from the thermal image information (thermal image ID1 in the example shown in FIG. 14). A region (non-overlapping regions A ′ and B ′ in the example shown in FIG. 14) may be extracted. In these cases too, the bookFirst embodimentThe same effect can be achieved.
[0132]
Also bookFirst embodimentIn the above description, the human candidate region is extracted from the thermal image information collected later. However, the present invention is not limited to this, and the human candidate region is extracted from the previously collected thermal image information. It can also be in the form. Again, the bookFirst embodimentThe same effect can be achieved.
[0133]
In addition, bookFirst embodimentIn the above description, the case where a predetermined threshold value is applied as the threshold value used for extracting the human candidate region has been described. However, the present invention is not limited to this, and for example, the first aspect described above.Comparative exampleThe threshold derived in step 204 of the human region detection process (FIG. 6) related toComparative exampleThe threshold derived in step 204 ′ of the human region detection process (FIG. 9) according to the above may be applied. In this case, since these threshold values are based on the actual human temperature according to the environmental conditions such as the temperature and season in the processing target space, the heating element having a temperature substantially equal to the human temperature in the processing target space. Even if the temperature of the heating element is slightly different from the human temperature, the heating element can be excluded from the extraction target, and the human candidate region can be extracted more accurately. it can.
[0134]
[No.2Embodiment)
Above1In the embodiment, the form in the case of extracting the human candidate region directly from the collected thermal image information has been described.2In the embodiment, using the combined image information generated based on two pieces of thermal image information having different collection times, a form in which an overlapping region between the two pieces of thermal image information of a human is extracted as a human candidate region, that is, Claim to human region extraction method2And claims5Embodiments in the case where the invention described in 1 is applied will be described. This book2Since the configuration of the environment control system 10 according to the embodiment is also the same as that of the environment control system 10 according to the first embodiment, description thereof is omitted here.
[0135]
The following2The operation of the environment control system 10 according to the embodiment when the environment control process is executed will be described. This book2The environmental control processing according to the embodiment is also the first described above.Comparative exampleCompared to the environmental control process (see FIG. 4) according to FIG. 4, only the human region detection process executed in step 110 is different.2Only the human region detection processing according to the embodiment will be described with reference to FIGS. 15 and 16. Here, FIG.25 is a flowchart showing a flow of processing of a human region detection processing program executed by the CPU 22 of the PC 20A when performing human region detection processing according to the embodiment, and the program is also stored in a predetermined region of the ROM 26 in advance. Further, steps in FIG. 15 that perform the same processing as in FIG. 6 are assigned the same step numbers as in FIG.
[0136]
In step 218 of FIG.Comparative exampleThe composite image information is derived in the same manner as in step 208 of the human region detection process (FIG. 9). Thereby, in the example illustrated in FIG. 16, the composite image information indicating the composite image GD can be obtained. In addition, the thermal image ID1, the thermal image ID2, the difference image SD, and the composite image GD in the same figure are the same as those in FIG.
[0137]
In the next step 220, a lower limit threshold THL (here, a predetermined threshold value THL) is extracted to extract an overlapping area between the combined image information derived in step 218 and two pieces of thermal image information collected at different timings of humans. Then, an area composed of pixels indicating values in a range from 60 ° C. to the upper limit threshold THH (here, 74 ° C.) is extracted as a human candidate region. Thus, in the example shown in FIG. 16, the overlapping region of humans and the heating element region W having a temperature substantially similar to the human temperature region are extracted as human candidate regions.
[0138]
In the next step 222, only the regions located within a predetermined distance from the non-overlapping regions extracted by the processing in step 202 are extracted as human regions from the human candidate regions extracted in step 220. Note that the area located within a predetermined distance from the non-overlapping area includes the first1Similar to the embodiment, a region located in the non-overlapping region (a region overlapping with the non-overlapping region) and a region in contact with the non-overlapping region are included. In this case as well, the distance between the closest pixels between the non-overlapping area and the human candidate area is applied as the distance corresponding to the predetermined distance. Thereby, in the example shown in FIG. 16, only a human overlapping region is extracted as a region located within a predetermined distance from the non-overlapping region B '.
[0139]
In this step 222, the human region is extracted by synthesizing the extracted region (human overlapping region) and the non-overlapping region extracted by the processing in step 202 described above. Thereby, in the example shown in FIG. 16, only the human region B is extracted with high accuracy.
[0140]
BookSecond embodimentClaim 200 in the human region detection processing program according to claim2The difference image deriving means according to the invention described in claim 202 includes the process of step 202.2In the non-overlapping area extracting means of the invention described in the above, the processing of step 218 is2In the composite image deriving means of the invention described above, the processing of step 220 is claimed.2The candidate area extracting means of the invention described in claim 222 is the process of step 222.2Each corresponds to the human region extracting means of the described invention.
[0141]
As detailed above, the bookSecond embodimentIn the environmental control system related to theSecond embodimentThen, the composite image information for each of the divided regions is derived by addition for each pixel), and the above-described threshold of a predetermined threshold for extracting the composite image information and the overlapping region between the two thermal image information of the human A human region candidate is extracted by comparing each divided region, and a region located within a predetermined distance from the non-overlapping region in the extracted region is combined with the non-overlapping region to support humans Since the region to be extracted is extracted, the region corresponding to the human can be extracted with higher accuracy compared to the case where the region that is a candidate for the human region is simply extracted from the thermal image information.
[0142]
Also bookSecond embodimentIn the environment control system according to the above, in the space to be processed using the parameters obtained based on the region corresponding to the person extracted as described above and the thermal image information used when extracting the region. Deriving a comfort index indicating the comfort of the vehicle, and controlling the environment in the space based on the comfort index, control the appropriate thermal environment according to the actual condition in the space to be controlled be able to.
[0143]
BookSecond embodimentIn the above description, the case where the non-overlapping region is extracted from the thermal image information collected later (thermal image ID2 in the example shown in FIG. 16) has been described. However, the present invention is not limited to this and is collected first. The non-overlapping region (non-overlapping region A ′ in the example shown in FIG. 16) can be extracted from the thermal image information (thermal image ID1 in the example shown in FIG. 16). A region (non-overlapping regions A ′ and B ′ in the example shown in FIG. 16) may be extracted. In these cases too, the bookSecond embodimentThe same effect can be achieved.
[0144]
In addition, bookSecond embodimentIn the above description, the case where a predetermined threshold value is applied as the threshold value used for extracting the human candidate region has been described. However, the present invention is not limited to this, and for example, the first aspect described above.Comparative exampleThe threshold derived in step 204 of the human region detection process (FIG. 6) related toComparative exampleThe threshold derived in step 204 ′ of the human region detection process (FIG. 9) according to the above may be applied. In this case, since these threshold values are based on the actual human temperature according to the environmental conditions such as the temperature and season in the processing target space, the heating element having a temperature substantially equal to the human temperature in the processing target space. Even if the temperature of the heating element is slightly different from the human temperature, the heating element can be excluded from the extraction target, and the human candidate region can be extracted more accurately. it can.
[0145]
Each of the aboveProcessingstate(And each comparative example)In the above description, the comfort range is assumed to have a PMV value in the range from +0.5 to -0.5. However, the present invention is not limited to this, for example, from +0.6 to -0. It goes without saying that the value indicating the comfort zone, such as the range up to .6 or the range from +0.4 to -0.4, can be changed as appropriate according to the conditions of the space subject to environmental control. .
[0146]
Each of the aboveProcessingstate(And each comparative example)In the air conditioning control process (see step 122 in FIG. 4), the case where all three parameters of the temperature of the air blown out from the air conditioner 44, the humidity of the air, and the air volume of the air are adjusted has been described. The present invention is not limited to this, and one or two of these three parameters can be adjusted. In this case,Processingstate(And each comparative example)Since the number of objects to be adjusted is reduced as compared with the above, it takes a long time to change the comfort due to the adjustment, but the control for the adjustment can be simplified.
[0147]
Each of the aboveProcessingstate(And each comparative example)In the above, the case where the environment control process is executed by the PC 20A that can collect the thermal image information via the recording device 16 has been described. However, the present invention is not limited to this, and the recording device 16 is not used. It goes without saying that the environment control process may be executed by the PC 20B that can collect thermal image information. In this case as well,ProcessingThe same effect as the state can be achieved.
[0148]
Each of the aboveProcessingstate(And each comparative example)In the above description, the information processing apparatus and the information processing method of the present invention are applied to an environment control apparatus that controls a thermal environment. However, the present invention is not limited to this, and an example is shown in FIG. The disaster prevention / facility maintenance / management system 50 may be applied to a disaster prevention / facility maintenance / management system.
[0149]
In this case,ProcessingWhen the human area is detected by the human area detection process, the PC 20A according to the state sends a signal indicating that the person exists in the processing target space and a signal indicating the position of the person to the disaster prevention / facility maintenance management device 50. Output. Accordingly, in the disaster prevention / facility maintenance / management apparatus 50, when this time is a time zone where a human does not exist (such as midnight or a holiday), a suspicious person may have entered the processing target space. Judging and confirming the inside of the space, issuing an alarm, and reporting to a security company.
[0150]
In such a system, normally, a raw image in the processing target space is collected using a video camera. In this case, since an individual existing in the space is specified, There was a problem. However, in a system to which the information processing apparatus according to the present invention is applied, the system can be constructed without using a raw image, and thus such a privacy problem does not occur.
[0151]
In addition, each of the aboveProcessingstate(And each comparative example)Then, although the case where PMV value was applied as a comfort parameter | index of this invention was demonstrated, this invention is not limited to this, For example, it developed by Gage etc. and was adopted by ASHRAE (American Air Conditioning Society). It is also possible to adopt a form in which ET * (ET star: new effective temperature), which is a thermal index based on a thermal equilibrium formula including sweating, is applied. In this case, each of the aboveEmbodimentThe same effect can be achieved.
[0152]
【The invention's effect】
The information processing apparatus according to claim 1 and the claim4According to the information processing method described in (2), the space to be processed is regarded as a two-dimensional plane and collected by a collecting unit that collects thermal image information indicating the temperature of each predetermined divided area of the two-dimensional plane. The difference image information for each divided region is derived by subtraction for each of the divided regions in two temporally different thermal image information, and is constituted by divided regions that are values outside a predetermined range including zero in the difference image information. The region to be extracted as a non-overlapping region between the above two thermal image information of human beings,Extract a region that is a candidate for a human region in the thermal image information by comparing either of the two thermal image information and a threshold for extracting a region corresponding to the human temperature for each divided region. Of those areas, only areas that are located within a predetermined distance from the non-overlapping areas are areas corresponding to humans.Since extraction is performed, the effect that the region of the human part can be extracted from the thermal image with high accuracy is obtained.
[0153]
[0154]
[0155]
Claims2Information processing apparatus according to claim and claim5According to the information processing method described in the above, the combined image information for each divided region is derived by addition or multiplication for each of the divided regions in the two pieces of thermal image information, and the combined image information and the two thermal images of the human To extract overlapping areas between informationofExtracting candidate regions of human regions by comparing each of the divided regions with a threshold value, and combining the non-overlapping regions with regions located within a predetermined distance from the non-overlapping regions of the extracted regions Since the region corresponding to the person is extracted by the method, the region corresponding to the person can be extracted with higher accuracy than when the candidate region of the human region is simply extracted from the thermal image information. The effect of is obtained.
[0156]
Further claims7According to the environment control device described in the above, based on the region corresponding to the person extracted by the human region extraction means of the information processing device according to the present invention and the thermal image information used when extracting the region. A comfort index indicating the comfort in the space to be processed is derived using the obtained parameters, and the environment in the space is controlled based on the comfort index. The effect that the control of the suitable thermal environment according to the actual condition can be performed is obtained.
[Brief description of the drawings]
[Figure 1]Each embodiment and each comparative exampleIt is the schematic where it uses for description of the extraction method of the non-overlapping area | region of the human part which concerns on.
[Figure 2]Each embodiment and each comparative exampleIt is a schematic block diagram which shows the whole structure of the environmental control system 10 concerning.
[Fig. 3]Each embodiment and each comparative exampleIt is a block diagram which shows the structure of the electric system of PC20A which concerns.
[Fig. 4]Each embodiment and each comparative exampleIt is a flowchart which shows the flow of a process of the environmental control processing program concerning.
FIG. 5 is a schematic diagram illustrating an example of a fixed parameter setting screen.
FIG. 6 FirstComparative exampleIt is a flowchart which shows the flow of a process of the human area | region detection processing program concerning.
FIG. 7 FirstComparative exampleIt is explanatory drawing with which it uses for description of the process sequence of the human area | region detection process which concerns on.
[Fig. 8]First comparative exampleIt is a graph which shows the relationship between a PMV value and a dissatisfied person rate, and a comfortable area for the description of the environmental control process which concerns.
FIG. 9Comparative exampleIt is a flowchart which shows the flow of a process of the human area | region detection processing program concerning.
FIG. 10 shows the secondComparative exampleIt is explanatory drawing with which it uses for description of the process sequence of the human area | region detection process which concerns on.
FIG. 11Comparative exampleIt is a figure which shows an example of the thermal image shown by the thermal image information actually obtained in the middle of execution of the environmental control process by the environmental control system 10 concerning.
FIG. 12Comparative exampleIt is a figure which shows an example of the binarized image shown by the image information actually obtained in the middle of execution of the environmental control process by the environmental control system 10 concerning.
FIG. 131It is a flowchart which shows the flow of a process of the human area | region detection processing program which concerns on embodiment.
FIG. 141It is explanatory drawing with which it uses for description of the process sequence of the human area | region detection process which concerns on embodiment.
FIG. 152It is a flowchart which shows the flow of a process of the human area | region detection processing program which concerns on embodiment.
FIG. 162It is explanatory drawing with which it uses for description of the process sequence of the human area | region detection process which concerns on embodiment.
FIG. 17 is a block diagram illustrating another application example of the information processing apparatus and the information processing method of the present invention.
FIG. 18 is a schematic diagram for explaining the related art.
[Explanation of symbols]
10 Environmental control system
12 Infrared camera (collection means)
18A, 18B capture board
20A, 20B Personal computer
22 CPU
Claims (7)
前記収集手段により収集された時間的に異なる二つの温熱画像情報における前記分割領域毎の減算によって前記分割領域毎の差分画像情報を導出する差分画像導出手段と、
前記差分画像情報における零を含む所定範囲の外の値となる分割領域により構成される領域を人間の前記二つの温熱画像情報間の非重複領域として抽出する非重複領域抽出手段と、
前記二つの温熱画像情報の何れかと、人間の温度に対応する領域を抽出するための閾値との前記分割領域毎の比較により当該温熱画像情報における人間の領域の候補となる領域を抽出する候補領域抽出手段と、
前記候補領域抽出手段によって抽出された領域のうち、前記非重複領域抽出手段によって抽出された前記非重複領域から所定距離以内に位置する領域のみを前記人間に対応する領域として抽出する人間領域抽出手段と、
を備えた情報処理装置。A collecting unit that captures the space to be processed as a two-dimensional plane and collects thermal image information indicating the temperature of each predetermined divided area of the two-dimensional plane;
Difference image deriving means for deriving difference image information for each divided region by subtraction for each divided region in two temporally different thermal image information collected by the collecting unit;
A non-overlapping region extracting means for extracting a region constituted by a divided region having a value outside a predetermined range including zero in the difference image information as a non-overlapping region between the two thermal image information of a human;
A candidate area for extracting a candidate area for a human area in the thermal image information by comparing each of the two thermal image information with a threshold value for extracting an area corresponding to the human temperature for each divided area. Extraction means;
A human region extracting unit that extracts only a region located within a predetermined distance from the non-overlapping region extracted by the non-overlapping region extracting unit among the regions extracted by the candidate region extracting unit as a region corresponding to the human. When,
An information processing apparatus comprising:
を更に備え、
前記候補領域抽出手段は、前記合成画像情報と、前記人間の前記二つの温熱画像情報間の重複領域を抽出するための閾値との前記分割領域毎の比較により前記人間の領域の候補となる領域を抽出し、
前記人間領域抽出手段は、前記候補領域抽出手段によって抽出された領域のうちの前記非重複領域抽出手段によって抽出された前記非重複領域から所定距離以内に位置する領域と、当該非重複領域とを合成することによって前記人間に対応する領域を抽出する
請求項１記載の情報処理装置。 Composite image deriving means for deriving composite image information for each divided region by addition or multiplication for each of the divided regions in the two thermal image information
Further comprising
The candidate area extracting means is an area that is a candidate for the human area based on a comparison of each of the divided areas between the composite image information and a threshold value for extracting an overlapping area between the two thermal image information of the human. Extract
The human region extracting means includes a region located within a predetermined distance from the non-overlapping region extracted by the non-overlapping region extracting unit among the regions extracted by the candidate region extracting unit, and the non-overlapping region. The information processing apparatus according to claim 1 , wherein an area corresponding to the human is extracted by combining the areas .
収集した時間的に異なる二つの温熱画像情報における前記分割領域毎の減算によって前記分割領域毎の差分画像情報を導出し、Deriving difference image information for each of the divided regions by subtraction for each of the divided regions in the collected two temporally different thermal image information,
前記差分画像情報における零を含む所定範囲の外の値となる分割領域により構成される領域を人間の前記二つの温熱画像情報間の非重複領域として抽出し、Extracting a region composed of divided regions that are values outside a predetermined range including zero in the difference image information as a non-overlapping region between the two thermal image information of a human,
前記二つの温熱画像情報の何れかと、人間の温度に対応する領域を抽出するための閾値との前記分割領域毎の比較により当該温熱画像情報における人間の領域の候補となる領域を抽出し、Extracting a region that is a candidate for a human region in the thermal image information by comparing each of the two thermal image information and a threshold for extracting a region corresponding to the human temperature for each divided region,
抽出した領域のうち、前記非重複領域から所定距離以内に位置する領域のみを前記人間に対応する領域として抽出するOf the extracted regions, only regions that are located within a predetermined distance from the non-overlapping regions are extracted as regions corresponding to the human.
情報処理方法。Information processing method.
前記合成画像情報と、前記人間の前記二つの温熱画像情報間の重複領域を抽出するための閾値との前記分割領域毎の比較により前記人間の領域の候補となる領域を抽出し、Extracting a region that is a candidate for the human region by comparing each of the divided regions with the composite image information and a threshold for extracting an overlapping region between the two thermal image information of the human,
抽出した領域のうちの前記非重複領域から所定距離以内に位置する領域と、当該非重複領域とを合成することによって前記人間に対応する領域を抽出するThe region corresponding to the human is extracted by combining the region located within a predetermined distance from the non-overlapping region in the extracted region and the non-overlapping region.
請求項４記載の情報処理方法。The information processing method according to claim 4.
前記情報処理装置の前記人間領域抽出手段によって抽出された前記人間に対応する領域と、当該領域を抽出する際に用いた温熱画像情報とに基づいて得られるパラメータを用いて前記処理対象とする空間内の快適性を示す快適性指標を導出する快適性指標導出手段と、The space to be processed using parameters obtained based on the region corresponding to the human extracted by the human region extracting means of the information processing apparatus and the thermal image information used when extracting the region A comfort index deriving means for deriving a comfort index indicating comfort in the interior;
前記快適性指標に基づいて前記空間内の環境を制御する環境制御手段と、Environmental control means for controlling the environment in the space based on the comfort index;
を備えた環境制御装置。Environmental control device with
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002233798A JP4274758B2 (en) | 2002-08-09 | 2002-08-09 | Information processing apparatus, information processing method, and environment control apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002233798A JP4274758B2 (en) | 2002-08-09 | 2002-08-09 | Information processing apparatus, information processing method, and environment control apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004078297A JP2004078297A (en) | 2004-03-11 |
| JP4274758B2 true JP4274758B2 (en) | 2009-06-10 |
Family
ID=32018835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002233798A Expired - Fee Related JP4274758B2 (en) | 2002-08-09 | 2002-08-09 | Information processing apparatus, information processing method, and environment control apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4274758B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102176067A (en) * | 2010-12-29 | 2011-09-07 | 神华集团有限责任公司 | Method for obtaining underground coal-fire change information |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3906845B2 (en) * | 2004-02-06 | 2007-04-18 | 日産自動車株式会社 | Occupant detection apparatus and method |
| JP2005301719A (en) * | 2004-04-13 | 2005-10-27 | Nissan Motor Co Ltd | Occupant detection apparatus and method |
| JP2006333133A (en) | 2005-05-26 | 2006-12-07 | Sony Corp | Imaging apparatus and method, program, program recording medium and imaging system |
| CN107296592B (en) * | 2007-06-25 | 2021-06-15 | 湖南瑞尔伊敏生物科技有限公司 | Method, device and system for analyzing images |
| JP5300602B2 (en) * | 2008-10-31 | 2013-09-25 | 三菱電機株式会社 | Air conditioner |
| JP5478075B2 (en) * | 2009-01-06 | 2014-04-23 | 三菱電機株式会社 | Air conditioner |
| JP5010670B2 (en) * | 2009-12-14 | 2012-08-29 | 株式会社東芝 | Air conditioning control device, air conditioning control method, and radiation temperature measuring device |
| JP5561520B2 (en) * | 2010-01-29 | 2014-07-30 | ソニー株式会社 | Image processing apparatus, image processing method, program, and electronic apparatus |
| CN109974244B (en) * | 2014-02-17 | 2021-01-26 | 松下电器产业株式会社 | Control method for air conditioner |
| JP6473308B2 (en) * | 2014-09-29 | 2019-02-20 | アズビル株式会社 | Control system |
| CN104697114B (en) * | 2015-03-06 | 2017-07-04 | 广东美的制冷设备有限公司 | A kind of air conditioning control method and device |
| JP6481563B2 (en) * | 2015-08-25 | 2019-03-13 | 株式会社デンソー | Clothing amount estimation device and air conditioning system |
| JP2017216006A (en) * | 2017-08-10 | 2017-12-07 | パラマウントベッド株式会社 | Watching support device |
| CN110285538A (en) * | 2019-06-27 | 2019-09-27 | 广东美的制冷设备有限公司 | Air conditioner and its control method and computer readable storage medium |
| JP7418185B2 (en) * | 2019-11-18 | 2024-01-19 | 三菱電機株式会社 | Control device, control system, and control method |
| CN110967117B (en) * | 2019-12-05 | 2021-06-15 | 广东森旭通用设备科技有限公司 | Thermal imaging early warning system for power transmission line |
| JP7459248B2 (en) * | 2020-05-25 | 2024-04-01 | 三菱電機株式会社 | Air conditioning control system, controller, and air conditioning control method |
| KR102247631B1 (en) * | 2020-06-30 | 2021-05-03 | (주)프롬 | Apparatus, System or Method for detecting heating element in association with multiple thermal imaging cameras |
| WO2022176732A1 (en) * | 2021-02-22 | 2022-08-25 | パナソニックＩｐマネジメント株式会社 | Person-detecting system, detection method, and program |
| CN114941893B (en) * | 2022-06-13 | 2023-08-04 | 青岛海信日立空调系统有限公司 | Air conditioning device |
-
2002
- 2002-08-09 JP JP2002233798A patent/JP4274758B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102176067A (en) * | 2010-12-29 | 2011-09-07 | 神华集团有限责任公司 | Method for obtaining underground coal-fire change information |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004078297A (en) | 2004-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4274758B2 (en) | Information processing apparatus, information processing method, and environment control apparatus | |
| Aryal et al. | A comparative study of predicting individual thermal sensation and satisfaction using wrist-worn temperature sensor, thermal camera and ambient temperature sensor | |
| Aryal et al. | Thermal comfort modeling when personalized comfort systems are in use: Comparison of sensing and learning methods | |
| CN110110629B (en) | Personnel information detection method and system for indoor environment control | |
| CN107084795B (en) | Human body heat source identification method and device and equipment with device | |
| EP2362351B1 (en) | Image processing apparatus, image processing method, and air conditioning control apparatus | |
| JP5238679B2 (en) | Air conditioning control device, air conditioning control method, and radiation temperature measuring device | |
| JP3453870B2 (en) | Image processing device and applied equipment using the image processing device | |
| JP7217058B2 (en) | Detecting the presence of one or more human occupants in the built space in real time using one or more thermographic cameras and one or more RGB-D sensors to estimate thermal comfort | |
| CN111426393B (en) | Temperature correction method, device and system | |
| JP7172394B2 (en) | Air conditioner and biological information analysis system | |
| CN111538030A (en) | Method, system, and non-transitory computer readable medium for detecting human activity | |
| CN105739339A (en) | Human body identification and locating method and system | |
| CN112101115A (en) | Temperature control method and device based on thermal imaging, electronic equipment and medium | |
| CN112178785A (en) | Dehumidification control method and dehumidification control equipment for air conditioner | |
| JP5010670B2 (en) | Air conditioning control device, air conditioning control method, and radiation temperature measuring device | |
| Jazizadeh et al. | Can computers visually quantify human thermal comfort? Short Paper | |
| CN113158974A (en) | Attitude estimation method, attitude estimation device, computer equipment and storage medium | |
| Choi et al. | Seasonal effects of thermal comfort control considering real-time clothing insulation with vision-based model | |
| JP2017120167A (en) | Air-conditioning management system and program | |
| KR20160123227A (en) | Air conditioning control device | |
| JP6303731B2 (en) | Thermal environment reproduction system | |
| Liu et al. | Vision-based individual factors acquisition for thermal comfort assessment in a built environment | |
| JP7329967B2 (en) | IMAGE PROCESSING APPARATUS, SYSTEM, IMAGE PROCESSING APPARATUS CONTROL METHOD, AND PROGRAM | |
| CN114829871A (en) | Space temperature estimation system, warm/cold feeling estimation system, space temperature estimation method, warm/cold feeling estimation method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050809 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090303 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140313 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |