JP3453870B2

JP3453870B2 - 画像処理装置と画像処理装置を用いた応用機器

Info

Publication number: JP3453870B2
Application number: JP22663594A
Authority: JP
Inventors: 秀行 ▲吉▼田; 正章佐藤; 武彦志田; 基孫中
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1994-09-21
Filing date: 1994-09-21
Publication date: 2003-10-06
Anticipated expiration: 2018-10-06
Also published as: JPH0894400A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明の画像処理装置は、主に赤
外線センサから得られる熱画像から人の情報を検出する
画像処理装置に関するものであり、空調関連機器、監視
システム、住宅関連機器、インテリジェントビルデイン
グシステム（ＩＢＳ）等の多数の産業分野に利用でき
る。

【０００２】

【従来の技術】本発明が解決しようとする分野は、赤外
線センサの熱画像を用いて、そこから得られる人間の情
報を用いる機器制御に関するものである。従来より赤外
線センサを用いて人の位置検出を行ない空調制御を行な
うものがあった。例えば、特開平６−１１７８３６号公
報記載の構成が知られている。以下に簡単にその構成を
説明する。検出エリア内の人間および環境の温度を赤外
線センサで計測する。赤外線センサの出力である熱画像
はブロックに分割され、ブロック毎の平均温度から切り
出し温度を決定し人体領域を検出する。ニューラルネッ
トまたはパターン認識で人体領域の形状や大きさによっ
て、人数や足元位置などの個人情報信号と環境情報信号
を出力する。個人情報信号と環境情報信号から個人別の
快適度を検出して、空調機器の制御が行なわれる。

【０００３】また、空気調和機以外でも監視システムな
どで人間に関する正確な情報が要求されているが、人間
に関する情報を検出する方法は、可視監視カメラを設置
し人がモニタリングするか、ビデオなどに記録すること
が一般的である。また、画像処理を用いた監視システム
も存在するが、照度や色などの問題で検出困難な場合も
多い。さらに、赤外線カメラを用いる監視システムも存
在するが、解像度の高い熱画像を得るには検出素子数を
多く必要とするか、冷却装置を必要とするものが一般的
で、複雑な処理と高いコストが要求される。

【０００４】

【発明が解決しようとする課題】しかし、従来の技術で
示した赤外線の熱画像を用いた空気調和機の制御装置
は、人体と背景が分離されていない固定した領域毎の平
均温度に対応して、あらかじめ定められた切り出し温度
幅で人体領域の検出を行なっていた。このため、室内温
度が高くなると正確な人体領域の検出ができなくなるこ
とがあった。また、複数人が近くにいる場合には、人数
検出や個々人の位置などに関する正確な情報を検出する
ことは困難であった。

【０００５】上記従来の技術の第１の課題は、外界の熱
分布に関係なく、赤外線センサの熱画像から人体温度を
切り出す温度があらかじめ設定してあるために生じる問
題である。第２の課題は、画像の読み取りセンサの分解
能の低さに起因する問題である。画像の解像度が低いと
複数人が近くにいる場合には、人数や個々人の位置を正
確に検出することが難しい。

【０００６】本発明は、このような従来の問題を解決す
るものであり、赤外線画像から検出エリア内の人体の領
域を正確に検出すること、赤外線画像から人体の領域を
検出した時に、１つの人体の領域が複数の人間の重なり
である場合に、１人１人を正確に個人の領域に分割する
ことを目的とする。

【０００７】

【課題を解決するための手段】本発明における第１の技
術的解決手段は、上記の目的を達成するために、画像処
理装置に関して、少なくとも検出エリア内の人間および
環境の温度を熱画像信号として出力するセンサ部と、前
記センサ部からの出力である熱画像信号を処理し、熱画
像信号から背景温度を算出する背景温度算出部と、前記
背景温度算出部の出力信号と熱画像信号を基に熱画像内
の人体領域を検出する人体領域検出部と、前記人体領域
検出部の出力信号より詳細な人間の個人情報信号もしく
は環境情報信号を出力する画像情報検出部で構成する。

【０００８】また、第２の技術的解決手段は、前記人体
領域検出部の出力である人体領域を１人１人の領域であ
る個人領域に分割する人間領域分割部を付加することに
より構成されている。

【０００９】

【作用】本発明の画像処理装置は、前記の構成によって
次のような作用を有する。第１の作用として本発明にお
いては、２次元赤外線センサの出力である熱画像信号か
ら背景と考えられる領域の温度を算出し、この背景温度
から人体領域の切り出し温度を決定し、より正確な人体
領域検出ができる。

【００１０】また、第２の作用としては、人間領域分割
部において１人の人間は１つの極大値を持つものとし
て、熱画像信号の極大値に基づいて、複数人が存在する
１つの人体領域を１人１人の個人領域に分割することに
より、人体の一部分が重なりあっている場合も正確に人
数を検出することができる。

【００１１】１人の人間を１つの極大値を持つものとし
た根拠は、赤外線センサの検知エリアに１人の人間がい
た場合、肌が露出している部分が服を着ている部分より
も温度が高く検出される。また、肌が露出している顔や
手などの部分のうち、顔の部分が一番高い温度を検出す
る。画素数の少ない赤外線センサを用いている場合に
は、熱画像上では１人１人の顔の温度が熱画像上の極大
値を示すためである。

【００１２】

【実施例】

（実施例１）以下、本発明の画像処理装置の第１の実施
例について、図面を参照して説明する。図１は本実施例
の画像処理装置の構成図である。１はセンサ部で熱画像
信号を出力する。２は背景温度算出部で熱画像信号から
背景温度信号を検出する。３は人体領域検出部で人体領
域を検出する。４は人間領域分割部で人体領域を個人領
域に分割する。５は画像情報検出部で検出エリア内の人
数や着衣量などを熱画像から推定する。

【００１３】次に、図１の各部の説明をする。最初にセ
ンサ部１の説明をする。外界６は人間のいる領域で、セ
ンサ部１に含まれる２次元赤外線センサ１４で走査し
て、熱画像情報として検出可能なエリアの温度を検出
し、熱画像信号８を出力する。

【００１４】次に、背景温度算出部２の説明をする。１
５は２次元赤外線センサ１４で検出した熱画像信号８の
２階微分を算出し、２階微分画像信号を出力する２階微
分算出手段、１６は２階微分算出手段からの出力である
２階微分画像信号から熱画像信号８の凹凸を検出し、人
間領域の温度Ｔｍａｎが室内温度Ｔｒｏｏｍより高い場
合は背景温度である凹部の温度を算出し、室内温度Ｔｒ
ｏｏｍより低い場合は背景領域である凸部の温度を算出
し、背景温度信号９を出力する背景領域温度算出手段で
ある。

【００１５】次に、人体領域検出部３の説明をする。１
７は背景温度算出部２の出力である背景温度信号９か
ら、人間領域の温度Ｔｍａｎが室内温度Ｔｒｏｏｍより
高い場合は背景温度Ｔｂａｃｋとしきい値θを足した温
度を切り出し温度とし、室内温度Ｔｒｏｏｍより低い場
合は背景温度Ｔｂａｃｋからしきい値θを引いた温度を
切り出し温度とし、切り出し温度信号を出力する切り出
し温度決定手段、１８は前記切り出し温度決定手段１７
で決定した切り出し温度信号により、Ｔｍａｎ≧Ｔｒｏｏｍならば、Ｔｂａｃｋ＋θ＜ＧＴｍａｎ＜Ｔｒｏｏｍならば、Ｔｂａｃｋ−θ＞Ｇで求められる画素Ｇを人体領域として検出し、人体領域
信号１０を出力する人体検出手段である。

【００１６】次に、画像情報検出部５の説明をする。１
９は人間領域分割部４の出力である個人領域信号１１か
ら検出エリア内の人数を検出し、人数信号を出力する人
数検出手段である。

【００１７】図２は人間領域分割部４の詳しい内部構成
を示すブロック図である。２０は熱画像信号から熱画像
の極大値を検出し、極大値信号を出力する極大値検出手
段、２１は前記極大値検出手段の出力である極大値信号
と人体領域信号から、極大値から人体領域を示す画素の
距離によって人体領域を個人領域に分割し、個人領域信
号を出力する極大値個人領域分割手段である。

【００１８】次に、以上のように構成された本実施例の
動作について説明する。まず、全体の動作について説明
する。外界６は人間がいる領域で、センサ部１に含まれ
る２次元赤外線センサ１４で走査して、熱画像情報とし
て検出可能なエリアの温度を検出する。人の居住するエ
リアとして室内を示す場合もある。外界６の熱分布が２
次元赤外線センサ１４により走査され、熱画像信号８と
して背景温度算出部２に入力される。背景温度算出部２
でセンサ部１の出力である熱画像信号８より背景領域を
検出し、背景温度を算出する。熱画像信号８と熱画像信
号８の背景領域の温度である背景温度信号９は、人体領
域検出部３に入力される。人体領域検出部３で熱画像信
号８と背景領域信号９に基づいて人体領域を検出し、人
体領域信号１０を出力する。人間領域分割部４で熱画像
信号８と人体領域検出部３で出力された人体領域信号１
０に基づいて、人体領域から１人１人の領域である個人
領域に分割し、個人領域信号１１を出力する。熱画像信
号８と背景温度信号９と個人領域信号１１が画像情報検
出部５に入力される。画像情報検出部５では、熱画像信
号８と背景温度信号９と個人領域信号１１から、検出エ
リア内の人数や着衣量などの個人情報信号１２と、背景
温度や人間以外の発熱体の位置などの環境情報信号１３
を出力する。

【００１９】次に、上記実施例の動作の細部について説
明する。最初に背景温度算出部２の動作について説明す
る。従来は、熱画像信号８から背景温度を検出する場
合、室内に人間以外の発熱がなく、室内温度が２５度以
下であるとすれば、２６度から３４度の温度の画素を検
出することにより人体の領域を検出し、それ以外の領域
を背景として背景温度を検出していた。しかし、以上の
ような構成では２次元の熱画像から背景温度の算出が正
確に行なえない場合があった。例えば、室内の温度分布
が床や各壁面によって温度が違う場合がある。また、人
の切り出しを温度範囲を用いずに人の境界線より人間を
検出する方法もあるが、良好なエッジの検出ができない
と正確な検出は困難である。

【００２０】そこで、本実施例では人間を発熱物体とし
て捉え、人間領域の温度が周囲温度に対して、周囲温度
が低い場合は凸になり、周囲温度が高い場合は凹になる
ことを利用する。熱画像信号８の２階微分を算出する２
階微分算出手段１５で、熱画像信号内の凹凸を見つけ
る。人間領域の温度Ｔｍａｎが３０度であるとして、こ
の人間領域の温度Ｔｍａｎが周囲温度より高い場合は凹
の部分、周囲温度より低い場合は凸の部分を背景領域と
して、背景領域温度算出手段１６で背景温度を算出す
る。

【００２１】ここで、熱画像内の大きな凹凸を捉える方
法として、画像処理でよく知られた移動平均法の１つで
ある多項式適合法を用いる。画像の微分は多項式適合法
の重み係数を変更することによって求められ、同時に画
像の平滑化も行なわれる。この多項式適合法の微分を２
回行なうことにより、雑音を除去しながら熱画像の２階
微分を求める。この２階微分画像信号から、熱画像上の
人間にあたる凹凸を見つけて、その凹凸の部分の温度を
基準に領域を切り出す方法を用いた。また、多項式適合
法の他に、４近傍型または８近傍型のラプラシアンオペ
レータを用いて、熱画像の２階微分を求め、熱画像上の
凹凸を捉えることもできる。

【００２２】次に、人体領域検出部３の動作を説明す
る。本実施例では背景温度信号９から、人間の領域が室
内温度より高い場合は背景温度信号９としきい値θを足
したものよりも大きい部分の熱画像信号８を人体領域と
して検出し、室内温度より低い場合は背景温度信号９か
らしきい値θを引いたものよりも小さい部分の熱画像信
号８を人体領域として検出する。

【００２３】次に、人間領域分割部４の動作を説明す
る。２次元赤外線センサ１４で検出した熱画像信号８
と、人体領域検出部３の出力である人体領域信号１０か
ら、個人領域を検出する。従来は、検出エリア内に複数
の人間が存在している場合、人体領域検出部３で１人１
人が切り出されなければ、複数の人間が１つの人体領域
に存在していても、１人だけがその人体領域に存在して
いるものと認識していた。そこで、本実施例では、複数
の人間が１つの人体領域に存在している場合、人間が２
次元熱画像上で１つの極大値を持つものとして１つの人
体領域を個人領域に分割する。

【００２４】人間領域分割部４の動作の詳細な説明を図
２を参照しながら行う。人体領域検出部３で検出した１
つの人体領域に、複数の人間が存在しているものとす
る。１人の人間は１つの極大値を持つものとして、極大
値検出手段２０で熱画像信号８から極大値を算出し極大
値信号を出力する。人体領域内にある１つの極大値は１
人の人間であるとして、極大値検出手段２０で出力され
た極大値信号と人体領域検出部３で出力された人体領域
信号に基づいて、極大値個人領域分割手段２１で個人領
域に分割する。極大値個人領域分割手段２１で熱画像上
の距離を用いて、極大値からの人体領域の距離が近いも
のは、この極大値が示す人間の個人領域であるとして分
割する。ここで、熱画像の縦横比が１でない場合には、
熱画像の縦横比を用いて、距離の重み付けを行い、この
重みによって１つの人体領域を個人領域に分割する。

【００２５】次に人数検出手段１９の動作について説明
する。従来は、画像から画像内の人数を検出する場合
は、画像より人間らしい部分の領域を検出し、その領域
の形状から人間かどうかを判断し、その数がいくつある
かによって、人数の算出を行なっていた。しかし、この
方法では画像から領域の形状認識が正確に行なえないと
人数の良好な検出は難しい。また人間が重なった場合
も、人数算出が難しくなる。そこで、本実施例では人体
領域検出部３と人間領域分割部４により人数を求めてい
る。

【００２６】まず、人体領域検出部３で人体領域を検出
する。２次元赤外線センサ１４で検出可能なエリアに複
数人が重なっていて、人体領域検出部３で１つの人体領
域しか検出できなかった場合には、人間領域分割部４の
動作により、１人１人の個人領域に分割される。この個
人領域の数が検知エリア内の人数を示している。

【００２７】（実施例２）以下、本発明の画像処理装置
の第２の実施例について、図面を参照して説明する。第
１の実施例においては、人体領域分割部４はセンサ部１
の出力である熱画像信号８の極大値を求めて、この極大
値信号と人体領域検出部３の出力である人体領域信号１
０から、１つの人体領域を個人領域に分割させていた。
本実施例においては、センサ部１の出力である熱画像信
号８の縦方向および横方向の微分をとり、縦方向および
横方向の極小値を見つけ、この極小値のつながりを１つ
の人体領域を個人領域に分割する境界線とするものであ
る。

【００２８】図３は人間領域分割部４の詳しい内部構成
を示すブロック図である。２２は熱画像信号の縦方向お
よび横方向の微分をとり、縦方向および横方向の極小値
を求め、極小値信号を出力する極小値検出手段、２３は
前記極小値検出手段の出力である極小値信号を連結し、
極小値連結信号を出力する極小値連結手段、２４は前記
極小値連結手段の出力である極小値連結信号を個人領域
の境界線として、人体領域信号から個人領域を分割し、
個人領域信号を出力する極小値個人領域分割手段であ
る。

【００２９】人体領域分割部４の動作の詳細な説明を図
３を参照しながら行う。人体領域検出部３で検出した１
つの人体領域に複数の人間が存在しているものとする。
１人の人間は１つの極大値を持つものとして、他の人間
の境界には縦横それぞれに、極小値が存在する。そこ
で、本実施例では、縦横それぞれの微分をとり、極小値
を見つけ、この極小値のつながりを人間の境界線として
１つの人体領域を個人領域に分割する。

【００３０】図３の人体領域分割部４では、熱画像信号
８に縦方向および横方向の微分オペレータをかけて、縦
方向および横方向の極小値を極小値検出手段２２で検出
する。極小値検出手段２２の出力である極小値信号は、
熱画像の形状によっては、連続した線を示さない。そこ
で、熱画像の縦横比に注意しながら、極小値の画素間の
距離に応じて極小値の連結を行う。極小値信号を入力と
する極小値連結手段２３で極小値信号を連結し、１つの
人体領域を１人１人の領域に分割する境界線として極小
値連結信号を出力する。この極小値連結信号が示す個人
領域の境界線と人体領域検出部３の出力である人体領域
信号に基づいて、極小値個人領域分割手段２４で１つの
人体領域を個人領域に分割する。

【００３１】ここで、用いた微分オペレータは、雑音を
除去しながら、熱画像の微分をとる平滑化機能を持つＰ
ｒｅｗｉｔｔオペレータまたはＳｏｂｅｌオペレータで
ある。

【００３２】（実施例３）次に、本発明の画像処理装置
を用いた具体的な実施例として監視装置を示す。

【００３３】従来監視システムでは人が可視画像を常時
監視することが行なわれている。これは可視画像から人
の認識を行なう技術の開発は行なわれているが、実用化
に至ったものが少ないためである。しかし、可視画像か
ら移動物体を検出する技術は実用化されているものが多
い。ただし、動きによって捉えられる物体には人以外の
ものも含まれるため、移動物体から人を正確に捉えるこ
とは難しい。また、動きが少ない人の検出は不可能であ
る。これに対して、赤外線画像は発熱物体として人間を
捉えることが容易であるが、人以外の発熱物体も同時に
検出されてしまう。

【００３４】そこで、本実施例では可視画像処理から移
動物体を検出する装置と赤外線センサを用いた画像処理
から発熱物体を検出する本発明の画像処理装置を併用す
ることで人間または環境情報の検出精度を向上させた監
視装置を示す。

【００３５】以下、本発明の一実施例について図面を参
照して説明する。図４は本発明の一実施例における監視
装置の概略ブロック図である。２５は可視画像のセンサ
部（カメラ）で可視画像信号３０を出力する。２６は可
視画像処理部で可視画像信号２９から差分画像信号３１
を出力する。２７は可視画像情報検出部で差分画像信号
３１から移動物体信号３２を出力する。２８は監視情報
検出部で可視画像情報検出部２７の出力である移動物体
信号３１と本発明の画像処理装置の出力である個人情報
信号１２と環境情報信号１３から不審者警告信号３３と
異常信号３４を出力する。

【００３６】ここで、画像情報検出部５は足元位置推測
手段３５と姿勢判定推測手段３６を付加したものとす
る。それぞれの手段は画像情報検出部５の入力である人
体領域信号１０または個人領域信号１１に基づいて、ニ
ューラルネットワークまたはパターン認識を用いて足元
位置、姿勢を推測する。各手段の出力は画像情報検出部
５の出力である個人情報信号１２に付加して出力する。

【００３７】次に、以上のように構成された上記実施例
について説明する。カメラ２５で外界６から可視光２９
を可視画像信号３０を出力する。可視画像信号３０を可
視画像処理部２６で時間的に連続した差分をとることに
より、差分画像信号３１を出力する。可視画像情報検出
部２７において、差分画像信号３１から移動物体の有
無、移動物体の数、移動物体の位置を移動物体信号３２
として出力する。監視画像情報検出部２８において、前
記移動物体信号３２と本発明の画像処理装置の出力であ
る個人情報信号１２と環境情報信号１３から、検知エリ
ア内に移動物体と発熱物体が数、位置ともに対応が取れ
ているか調べ、人体を検出する。人体が検出された位置
が立ち入り禁止領域であり、人体の位置が変化しなくな
れば、不審者警告信号３３と異常信号３４を出力する。
また、検知エリア内に人体の温度よりもはるかに高温な
領域が存在すれば、火事の可能性があるとして異常信号
３４を出力する。

【００３８】（実施例４）次に、本発明の画像処理装置
を用いた具体的な実施例として個人認識装置を示す。以
下、本実施例について図面を参照して説明する。図５は
本実施例における個人識別装置の概略ブロック図であ
る。図５は実施例３の概略ブロック図である図４に示し
た監視情報検出部２８を個人識別部３７に入れ換え、入
力にカメラ部２５の出力である可視画像信号３０を付加
し、個人識別信号３８を出力するものである。また、個
人識別部３７は個人情報記憶手段３９と個人認識手段４
０を持つ。

【００３９】個人識別部３７の動作を説明する。個人情
報記憶手段３９は人間の位置と姿勢と体格と着衣の色な
どを記憶する。個人認識手段４０は個人情報記憶手段３
９に記憶されている個人の特徴に基づき、ニューラルネ
ットワークまたはパターン認識により個人の識別または
追尾を行なうことができる。このことより、室内に誰が
いるのかを識別することが可能になる。この個人認識装
置から個人視聴率測定装置などの応用がある。

【００４０】（実施例５）次に、本発明の画像処理装置
を用いた具体的な実施例として看護装置を示す。

【００４１】以下、本実施例について図面を参照して説
明する。図６は本実施例における看護装置の概略ブロッ
ク図である。４１は被看護者状態判別部で画像情報検出
部５の出力である個人情報信号１２と環境情報信号１３
に基づいて、被看護者状態信号４２を出力する。ここ
で、画像情報検出部５に姿勢判定推測手段３６と着衣量
推測手段４３と皮膚温度推測手段４４を付加したものと
する。それぞれの手段は画像情報検出部５の入力である
人体領域信号１０または個人領域信号１１に基づいて、
ニューラルネットワークまたはパターン認識を用いて、
姿勢、着衣量、皮膚温度を推測する。各手段の出力は画
像情報検出部５の出力である個人情報信号１２に付加し
て出力する。

【００４２】被看護者状態判別部４１の動作の説明をす
る。画像情報検出部５の出力である個人情報信号１２か
ら被看護者の姿勢を判別し、被看護者が在床している
か、目を覚ましているか、体を起こしているか、眠って
いるかなどの状態を出力する。また、着衣量や皮膚温度
から寝具がずれていないか、体温が通常より高くないか
などの状態を出力する。環境情報信号１３からは、室内
の温度が被看護者にとって不快でないか、空調をいれる
必要があるかなどの室内の状況を出力する。この看護装
置は被看護者の状態や室内の状況などを出力するため、
看護する人が２４時間そばにいなくても看護できる。

【００４３】（実施例６）次に、本発明の画像処理装置
を用いた具体的な実施例として空気調和機を示す。以
下、本実施例について図面を参照して説明する。図７は
本実施例における空気調和機の概略ブロック図である。
４５は室温センサで室内の温度を室温信号５１として出
力する。４６は湿度センサで室内の湿度を湿度信号５２
として出力する。４７は外気温センサで室外の気温を外
気温信号５３として出力する。４８は風向・風量情報で
空調機の吹き出し口から出される風の風向・風量信号５
４を出力する。４９は制御指標決定部で本発明の画像処
理装置の出力である個人情報信号１２と環境情報信号１
３と、室温センサ４５の出力である室温信号５１と、湿
度センサ４６の出力である湿度信号５２と、外気温セン
サ４７の出力である外気温信号５３と、風向・風量情報
４８の出力である風向・風量信号５４を入力として、室
内にいる各人間の活動量と快適度を制御信号５５として
出力する。５０は空調制御部で前記制御指標決定部４９
の出力である制御信号５５から空調機の制御を行なう。

【００４４】制御指標決定部４９の説明をする。５６は
活動量検出手段で制御指標決定部４９に入力される個人
情報信号１２のうち、個人の足元位置の変化から得られ
る移動量や立位、座位、臥位といった姿勢の変化から活
動量を検出する。５７は快適度検出手段で制御指標決定
部４９に入力される個人情報信号１２と環境情報信号１
３と室温信号５１と湿度信号５２と外気温信号５３と風
向・風量信号５４に基づいて、ＰＭＶ（ＩＳＯ７７３
０−１９８４）などの快適度を検出し、快適度に応じた
制御信号５５を空調制御部５０に出力する。

【００４５】ここで、画像情報検出部５は足元位置推測
手段３５と姿勢推測手段３６と着衣量推測手段４３の構
成を有するものとする。それぞれの手段は画像情報検出
部５の入力である人体領域信号１０または個人領域信号
１１に基づいて、ニューラルネットワークまたはパター
ン認識を用いて足元位置、姿勢、着衣量を推測する。各
手段の出力は画像情報検出部５の出力である個人情報信
号１２に付加して出力する。

【００４６】活動量検出手段５６の動作の説明をする。
快適度としてＰＭＶを制御指標とする場合、人間の状態
として活動量が重要な要素であることは知られている。
活動量を検出するために、画像情報検出部５の出力であ
る個人情報信号１２を用いて、在室者毎の足元位置と姿
勢を記憶し、時間経過とともに在室者毎の動きを検出す
る。動きがある場合はその移動速度から、動きがない場
合は姿勢の違いから活動量を対応付け、活動量を検出す
る。

【００４７】快適度検出手段５７の動作の説明をする。
快適度の指標の一つであるＰＭＶを算出する場合、空気
温度と輻射温度と湿度と気流と代謝量と着衣量を必要と
するが、人間に関する物理量である代謝量や着衣量は測
定することは困難である。そこで、本実施例では個人情
報信号１２、環境情報信号１３、室温信号５１、湿度信
号５２、風向・風量信号５４から画像情報検出部５にお
いて着衣量を推測し、活動量検出手段５６において活動
量から代謝量を推測することにより、個人毎の快適度Ｐ
ＭＶを算出する。本画像処理装置より正確な人数情報が
個人情報信号１２から出力されるので、より正確な室内
の人体による内部発熱が検出でき、室内の熱負荷に応じ
た補正を加えられる。この補正より室内の代表となるＰ
ＭＶを算出し、空調制御部５０に出力する。

【００４８】本実施例では、画像処理装置の出力である
個人情報信号１２と環境情報信号１３と室温信号５１と
湿度信号５２と外気温信号５３と風向・風量情報５４か
ら個人別の快適度を検出し、室内の代表となる快適度を
求め、室内の温度や風量および風向きの制御を行なうこ
とにより、個人の快適度の向上が図れる。また、画素数
が少ない画像処理装置を用いるためコストが安価となり
用いられやすい。

【００４９】本発明の画像処理装置は、このほかにも各
種の機器に用いることができる。

【００５０】

【発明の効果】以上のように本発明は、赤外線画像の背
景温度を基に人体領域の切り出し温度を決定することに
より、人体領域検出部が赤外線画像から検出エリア内の
人体の領域を正確に検出することができる。

【００５１】また、赤外線画像から人体の領域を検出し
た時に、１つの人体の領域が複数の人間の重なりである
場合に、人間領域分割部において、１つの人体領域を１
人１人の正確な個人領域に分割することができる。

【００５２】このように本発明は、赤外線画像から検出
エリア内の人間の領域および一人一人の人間を正確に検
出できるので、これを用いた監視装置や看護装置などで
は、人の労力を軽減することができ、空気調和機などで
は、在室者の状況に合った制御が可能になる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における画像処理装置の
構成図

【図２】同実施例における人間領域分割部の構成図

【図３】本発明の第２の実施例における人間領域分割部
の構成図

【図４】本発明の第３の実施例における監視装置の構成
図

【図５】本発明の第４の実施例における個人認識装置の
構成図

【図６】本発明の第５の実施例における看護装置の構成
図

【図７】本発明の第６の実施例における空気調和機の制
御装置の構成図

【符号の説明】

１センサ部２背景温度算出部３人体領域検出部４人間領域分割部５画像情報検出部６外界７外界の熱分布８熱画像信号９背景温度信号１０人体領域信号１１個人領域信号１２個人情報信号１３環境情報信号１４２次元赤外線センサ１５２階微分算出手段１６背景領域温度算出手段１７切り出し温度決定手段１８人間検出手段１９人数検出手段２０極大値検出手段２１極大値領域分割手段２２極小値検出手段２３極小値連結手段２４極小値領域分割手段２５カメラ２６可視画像処理部２７可視画像情報検出部２８監視情報検出部２９可視光３０可視画像信号３１差分画像信号３２移動物体信号３３不審者警告信号３４異常信号３５足元位置推測手段３６姿勢判定推測手段３７個人識別部３８個人識別信号３９個人情報記憶手段４０個人認識手段４１被看護者状態判別部４２被看護者状態信号４３着衣量推測手段４４皮膚温度推測手段４５室温センサ４６湿度センサ４７外気温センサ４８風向・風量情報４９制御指標決定部５０空調制御機５１室温信号５２湿度信号５３外気温信号５４風向・風量信号５５制御信号５６活動量検出手段５７快適度検出手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩＧ０１Ｖ 8/10 Ｇ０１Ｂ 11/24 8/12 Ｇ０１Ｖ 9/04 ＳＧ０６Ｍ 11/00 Ｊ (72)発明者中基孫神奈川県川崎市多摩区東三田３丁目10番１号松下技研株式会社内 (56)参考文献特開平２−196931（ＪＰ，Ａ) 特開平６−117836（ＪＰ，Ａ) 特開昭64−16986（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01D 21/00 F24F 11/02 G01B 11/24 G01J 1/02 G01V 8/00 G06M 11/00

Claims

(57)【特許請求の範囲】

【請求項１】温度を計測して赤外線画像（以降、熱画
像信号と呼ぶ）を出力するセンサ部と、前記センサ部の
出力である熱画像信号から背景領域の温度を算出し、背
景温度信号を出力する背景温度算出部と、前記背景温度
算出部の出力である背景温度信号と、センサ部の出力で
ある熱画像信号に基づいて、センサ部の出力である熱画
像信号の中から人体部分の領域を検出し、人体領域信号
を出力する人体領域検出部と、前記人体領域検出部の出
力である人体領域信号と、センサ部の出力である熱画像
信号と、背景温度算出部の出力である背景温度信号に基
づいて、人間の個人情報信号または環境情報信号を出力
する画像情報検出部を有し、前記背景温度算出部が、前
記センサ部の出力である前記熱画像信号を２階微分し、
２階微分画像信号を出力する２階微分算出手段と、前記
２階微分算出手段の出力である前記２階微分画像信号
と、前記センサ部の出力である前記熱画像信号に基づい
て、熱画像信号の凹部（または凸部）である領域を背景
と考え、その平均温度を算出し、前記背景温度信号を出
力する背景領域温度算出手段を有することを特徴とする
画像処理装置。
【請求項２】背景領域は、人間領域温度により、熱画
像信号の凹部又は凸部から選択される領域であることを
特徴とする請求項１記載の画像処理装置。
【請求項３】人体領域検出部が、背景温度算出部の出
力である背景温度信号に基づいて人体の切り出し温度を
定め、切り出し温度信号を出力する切り出し温度決定手
段と、前記切り出し温度決定手段の出力である切り出し
温度信号と、センサ部の出力である熱画像信号に基づい
て、人体領域を検出し、人体領域信号を出力する人体検
出手段を有することを特徴とする請求項１または２記載
の画像処理装置。
【請求項４】人体領域検出部の出力である人体領域信
号と、センサ部の出力である熱画像信号に基づいて、人
体領域を個人領域に分割し、個人領域信号を出力する人
間領域分割部と、前記人間領域分割部の出力である個人
領域信号と、センサ部の出力である熱画像信号と、背景
温度算出部の出力である背景温度信号に基づいて、少な
くとも検出エリア内の人数を個人情報信号として出力す
る画像情報検出部を付加することを特徴とする請求項１
から３のいずれかに記載の画像処理装置。
【請求項５】人間領域分割部が、センサ部の出力であ
る熱画像信号から極大値を算出し、極大値信号を出力す
る極大値検出手段と、前記極大値検出手段の出力である
極大値信号と、人体領域検出部の出力である人体領域信
号に基づいて人間領域を分割し、個人領域信号を出力す
る極大値個人領域分割手段を有することを特徴とする請
求項４記載の画像処理装置。
【請求項６】人間領域分割部が、センサ部の出力であ
る熱画像信号から極小値を検出し、極小値信号を出力す
る極小値検出手段と、前記極小値検出手段の出力である
極小値信号を連結し、極小値連結信号を出力する極小値
連結手段と、前記極小値連結手段の出力である極小値連
結信号と、人体領域検出部の出力である人体領域信号に
基づいて人体領域を分割し、個人領域信号を出力する極
小値個人領域分割手段を有すること特徴とする請求項４
記載の画像処理装置。
【請求項７】画像情報検出部が、人間領域分割部の出
力である個人領域信号に基づいて検出エリア内の人数を
検出し、人数信号を出力する人数検出手段を有すること
を特徴とする請求項４から６のいずれかに記載の画像処
理装置。
【請求項８】請求項１から７のいずれかに記載の画像
処理装置を有する監視装置。
【請求項９】請求項１から７のいずれかに記載の画像
処理装置に、画像処理装置から得られる人間に関する特
徴量を学習し、個人の識別を行なう個人識別部を付加し
たことを特徴とする個人識別装置。
【請求項１０】請求項１から７のいずれかに記載の画
像処理装置を有する看護装置。
【請求項１１】請求項１から７のいずれかに記載の画
像処理装置を有する空気調和機の制御装置。
【請求項１２】請求項１から７のいずれかに記載の画
像処理装置を用いた応用機器。