JPH06147594A

JPH06147594A - 自動空調機

Info

Publication number: JPH06147594A
Application number: JP4306721A
Authority: JP
Inventors: Eiichi Tanaka; 栄一田中; Takuo Shimada; 拓生嶋田; Shunichi Nagamoto; 俊一長本
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1992-11-17
Filing date: 1992-11-17
Publication date: 1994-05-27

Abstract

(57)【要約】【目的】人体を識別し、各人の快適度に応じて自動空
調する。【構成】空調機１と、画像入力手段２より得られた信
号から動体を検出する動体検出手段３と、熱画像を検出
する熱画像検出手段４とが設けられている。またこの熱
画像検出手段４で得られた熱画像と動体検出手段３とか
ら人間の位置を検出する人体検出手段５とが設けられ、
さらにこの人体検出手段５検出された位置情報及び熱画
像検出手段４で得られた温度情報から人間の快適度を判
定する快適度判定手段６が設けられている。これによっ
て、各人に合わせた快適な空調を行うことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像中から人体を検出
し、検出した人体の情報により空調機を制御する自動空
調機に関するものである。

【０００２】

【従来の技術】従来のこの種の自動空調機は赤外線温度
センサを複数個配置して、各赤外線温度センサの検出領
域を人が横切った場合に、その人の存在を検出して空調
機を制御する方法があった。一方、快適性の向上のため
に赤外温度センサによる２次元の温度情報により人体の
皮膚表面温度を検出し、その皮膚温度に応じて空調機の
能力を制御する方法の提案もあった。

【０００３】また、画像による人体の検出方法には、図
５に示すように、背景画像Ａと現画面Ｂの差分画面Ｃを
取り、動いた部分のみを抽出する手段があった。

【０００４】

【発明が解決しようとする課題】しかしながら上記従来
例の構成において、室内全体の温度検出を赤外線温度セ
ンサで行い人体位置を検出し、そして、赤外線温度セン
サにより２次元で温度場の測定を行い、人体の皮膚温で
ある３１〜３３度程度の温度から人の存在の検出と快適
性を確保する方法は、第１に人体ばかりでなくその温度
帯である太陽光に照らされたガラス窓、テレビの放熱部
分、電灯等人体以外のいろいろな部分を検出してしまう
という課題、第２に室内全体の温度検出を赤外線温度セ
ンサで行い人体位置を検出し、一方、人の皮膚温度のよ
うなスポット検出を行うことは広範な検出と細かな検出
とを両立させることになり、非常に高速なセンシングを
しなければならないという課題があった。

【０００５】一方、従来の画像により動いている人等の
検出方法の中で差分画面を取り、動いた部分のみを抽出
するという手段は、背景画面を取り除くため、動体の形
状を取り出すことができ、正確な動体形状から各部の位
置を検出できるという長所がある反面、昼日中に動作さ
せる場合には明るさが変化してきて一定限度を超えると
画面にノイズが発生するという課題があった。そこで背
景を補正する手段を設けた動体検出の方法が提案されて
いる。即ち、図６において画像入力手段２で撮像された
画像の背景画像を記憶する背景画像メモリ部１０と、画
像入力手段２で撮像された画像の現画像画像を記憶する
現画像メモリ部１１と、背景画像メモリ部１０の画像と
現画像メモリ部１１の画像との差分演算を行い所定のし
きい値で２値化する差分２値化手段１２と、差分２値化
手段１２で２値化された部分以外のところの現画像を背
景画像に書き換える背景書換え手段１５とで構成されて
いる。このことにより、動いているところ（差分２値化
されたところ）以外の部分の背景を最新の画像に置き換
えることにより背景の更新を行う方法があった。しか
し、この方法は一定の向きに移動している物体を検出す
ることはできるが、いろいろな向きに動く物体の場合、
その物体の端部付近の影に相当する部分まで背景の書き
換えを行ってしまうために物体が存在しないにもかかわ
らず差分２値化された部分が残るという課題があった。
更に、その物体の検出ができたとしてもその動いている
ものが確実に人体であると決定するには大きさや動きパ
ターンなどの知識を必要としていた。そして、たとえ人
体であると判別できたとしても、画像から認識されるも
のからは人の快適度は判別できないという課題があっ
た。

【０００６】本発明は上記課題を解決するもので、人体
の検出を画像と赤外線温度センサによる熱画像から検出
することにより確実にそして速く人体の快適度を判定し
て快適な空調制御を行うことを第１の目的としている。

【０００７】また、空調機に設けるため左右方向に広い
範囲で歪無く正確な検出を行うことを第２の目的として
いる。

【０００８】

【課題を解決するための手段】そして、上記第１の目的
を達成するために、本発明は空調機と、画像を入力する
画像入力手段と、画像入力手段より得られた信号から動
体を検出する動体検出手段と、赤外線温度センサにより
２次元の熱画像を検出する熱画像検出手段と、熱画像検
出手段で得られた熱画像と動体検出手段とから人間の位
置を検出する人体検出手段と、人体検出手段で検出され
た位置情報及び前記熱画像検出手段で得られた温度情報
から人間の快適度を判定する快適度判定手段と、前記快
適度判定手段の出力にしたがって空調機を制御する制御
手段とを設けてある。

【０００９】また、上記第２の目的を達成するために、
本発明は１次元赤外線温度センサを駆動部で走査するこ
とによって２次元の温度分布を記憶する熱画像メモリ部
とで構成されている。

【００１０】

【作用】本発明の自動空調機は上記構成によって、動い
ているものの中から人体のみを検出し、更に、人の皮膚
温度の検出により人の快適度を判定し、その快適度に応
じて空調機の能力を制御する。

【００１１】

【実施例】以下、本発明の一実施例を添付図面を参照し
て説明する。

【００１２】図１、図２において、１は空調機、２は空
調機に取り付けられた画像入力手段、３は画像入力手段
２で得られた画像から動体を検出する動体検出手段、４
は２次元温度分布を入力する熱画像検出手段、５は熱画
像検出手段４で得られた熱画像と動体検出手段２とから
人間の位置を検出する人体検出手段、６は人体検出手段
５で検出された位置情報及び熱画像検出手段３で得られ
た温度情報から人間の快適度を判定する快適度判定手
段、７は快適度判定手段の出力に従って空調機１の風向
可変部８及び能力制御部９を制御するための制御手段で
ある。

【００１３】また、動体検出手段２は画像入力手段２で
撮像された画像の背景画像を記憶する背景画像メモリ部
１０と、画像入力手段２で撮像された画像の現画像画像
を記憶する現画像メモリ部１１と、背景画像メモリ部１
０の画像と現画像メモリ部１１の画像との差分演算を行
い所定のしきい値で２値化する差分２値化手段１２と、
差分２値化手段１２で２値化された部分を拡大して動き
部分の端部周辺も含めた動き部分を抽出する動体抽出手
段１３と、動体抽出手段１３で抽出された画像の過去か
らの時間変化から現画像を背景画像に書き換えるか否か
を判定する背景変化判定手段１４と、背景変化判定手段
１４で判定した出力に従って現画像を背景画像に書き換
える背景書換え手段１５とで構成されている。そして、
差分２値化手段１２は差分演算部１６としきい値設定部
１７と２値化手段１８とで構成してあり、また、動体抽
出手段１３はノイズ除去部１９と拡大部２０とで構成し
てあり、動体の位置等の情報を抽出する動体情報検出手
段２１に接続されている。なお、２２は部屋２３に存在
する人である。

【００１４】一方、熱画像検出手段４は１次元赤外線温
度センサ２４を駆動部２５で走査することによって２次
元の温度分布を記憶する熱画像メモリ部２６とで構成さ
れている。

【００１５】次に、この一実施例の構成に於ける動作を
説明する。図３はこの動作を示すフローチャートであ
る。ステップ１０１において画像入力手段２により動体
の存在しない背景画像を背景画像メモリ部１０に入力す
る。次に、ステップ１０２において画像入力手段２によ
り現画像を現画像メモリ部１１に入力する。ステップ１
０３ではそれぞれ記憶された背景画像と現画像の同一場
所の画素について差分２値化手段１２の差分演算部１６
において差分演算し、ステップ１０４でしきい値設定部
１７により所定のしきい値により２値化する。その後、
ステップ１０５にて２値化された部分の中で孤立点のノ
イズをノイズ除去部１９で除去する。

【００１６】次に、ステップ１０６にてノイズ除去され
た２値化画像の周辺を拡大部２０で拡大して動体の周辺
を含む形で動体抽出手段１３により抽出する。この処理
を行う理由は、抽出された動体の周辺は動体の存在によ
り背景と現画像とで若干の輝度差が存在するのでステッ
プ１０８で行う背景書換えを必要以上に行なわず、安全
側にするためである。

【００１７】この様子を図４を用いて説明する。図４
ａ、ｄにおいて縦軸は輝度レベル、横軸は場所を表す番
地である。ここでは分かりやすくするために１次元で考
える。図４ａは各番地における物体の輝度及び背景の輝
度を表している。●印は物体の輝度、×印は背景の輝度
を示している。図４のｂ、ｃは差分２値化したグラフで
図４のｂは背景書き換えを差分２値化で抽出した物体の
拡大を行わない場合の２値化のグラフ、図４のｃは背景
書き換えを差分２値化で抽出した物体の拡大を行った場
合の２値化のグラフを示している。図のｄはその時刻の
処理終了後に書き換えられた背景の輝度レベルを示して
いる。今、灰色地（６４諧調で規定し、この灰色地の輝
度は２０／６４とする。以降／６４は省略する）に白地
の物体（輝度は６０とする）が右方向に移動し（時刻II
で２番地分右に移動）、少し戻り（時刻III において１
番地分左に移動）、再び右方向に移動して去った場合
（時刻IV）を考える。時刻Ｉにおける現画像、背景画像
（拡大あり）、差分演算（拡大あり）、２値化（拡大あ
り）、背景画像（拡大なし）、差分演算（拡大なし）、
２値化（拡大なし）、書き換え後の背景（拡大なし）の
輝度を記述すると次に示すようになる。

【００１８】時刻Ｉ番地１２３４５６７８現画像輝度２２２４２７３２４５６０６０６０背景画像（拡大あり）２０２０２０２０２０２０２０２０差分演算（同上）２４７１２２５４０４０４０２値化（同上）０００１１１１１背景画像（拡大なし）２０２０２０２０２０２０２０２０差分演算（同上）２４７１２２５４０４０４０２値化（同上）０００１１１１１書換え後背景（同上）２２２４２７２０２０２０２０２０尚、番地１から番地５の間の現画像の輝度が輝度２０あ
るいは輝度６０でないのは端部にあたるためである。

【００１９】時刻Ｉにおいて、背景画像と現画像の差分
演算を行い、しきい値設定部１７で設定された値が８と
して２値化すると図４のｂのＩのように２値化される。
即ち、番地４から８までが１で他は０である（時刻Ｉの
背景は書き換えられた後の背景とする。もっとも、この
場合背景の変化はないため背景書き換えを行っても行わ
なくとも同じ輝度となる。）。図４のｃのＩは背景書き
換えするために物体の拡大を５番地分行い拡大後の物体
の存在しないところの現画像を背景に書き換えした場合
の２値化で図４のｂのＩと同じ結果となる（ここに示し
た抽出された２値化部分は拡大する前を示してい
る。）。

【００２０】次に、図４のｂで抽出された物体を拡大せ
ずに閾値以下のところの現画像を背景画像に書き換える
と背景の輝度は図４のｄのようになる。この輝度を新た
な背景として時刻IIにおける現画像、背景画像（拡大あ
り）、差分演算（拡大あり）、２値化（拡大あり）、背
景画像（拡大なし）、差分演算（拡大なし）、２値化
（拡大なし）、書き換え後の背景（拡大なし）の輝度を
記述すると次に示すようになる。

【００２１】時刻II 番地１２３４５６７８現画像輝度２０２０２２２４２７３２４５６０背景画像（拡大あり）２０２０２０２０２０２０２０２０差分演算（同上）００２４７１２２５４０２値化（同上）０００００１１１背景画像（拡大なし）２２２４２７２０２０２０２０２０差分演算（同上）２４５４７１２２５４０２値化（同上）０００００１１１書換え後背景（同上）２０２０２２２４２７２０２０２０時刻IIにおいて、背景画像と現画像の差不演算を行い、
しきい値設定部１７で設定された値が８として２値かす
ると図４のｂのIIのように２値化される。即ち、番地６
から８までが１で他は０である。図４のｃのIIは背景書
き換えするために物体の拡大を５番地分行い拡大後の物
体の存在しないところの現画像を背景に書き換えした場
合の２値化で図４のｂのIIと同じ結果となる（ここに示
した抽出された２値化部分は拡大する前を示してい
る。）。

【００２２】次に、図４のｂで抽出された物体を拡大せ
ずに閾値以下のところの現画像を背景画像に書き換える
と背景の輝度は図４のｄのIIのようになる。この輝度を
新たな背景として時刻III における現画像、背景画像
（拡大あり）、差分演算（拡大あり）、２値化（拡大あ
り）、背景画像（拡大なし）、差分演算（拡大なし）、
２値化（拡大なし）、書き換え後の背景（拡大なし）の
輝度を記述すると次に示すようになる。

【００２３】時刻III 番地１２３４５６７８現画像輝度２０２２２４２７３２４５６０６０背景画像（拡大あり）２０２０２０２０２０２０２０２０差分演算（同上）０２４７１２２５４０４０２値化（同上）００００１１１１背景画像（拡大なし）２０２０２２２４２７２０２０２０差分演算（同上）０２２３５２５４０４０２値化（同上）０００００１１１書換え後背景（同上）２０２２２４２７３２２０２０２０時刻III において、背景画像と現画像の差分演算を行
い、しきい値８で２値化すると図４のｂのIII のように
２値化される。即ち、番地６から８までが１で他は０で
ある。実際のしきい値から得られる物体の大きさより小
さくなっている。一方物体を拡大して書き換える領域を
少なくする場合を図４のｃのIII に示す。即ち、背景書
き換えするために物体の拡大を５番地分行い拡大後の物
体の存在しないところの現画像を背景に書き換えした場
合の２値化である。（ここに示した抽出された２値化部
分は拡大する前を示している。）これは図４のｂの場合
と異なり５番地から８番地までが１で残りは０で、実際
の物体の大きさに合っている。

【００２４】次に、図４のｂで抽出された物体を拡大せ
ずに閾値以下のところの現画像を背景画像に書き換える
と背景の輝度は図４のｄのIII のようになる。図４のｄ
のIII の５番地がしきい値８を越えて輝度が１２となっ
ている。これらの輝度を新たな背景として時刻IVにおけ
る現画像、背景画像（拡大あり）、差分演算（拡大あ
り）、２値化（拡大あり）、背景画像（拡大なし）、差
分演算（拡大なし）、２値化（拡大なし）、書き換え後
の背景（拡大なし）の輝度を記述すると次に示すように
なる。時刻IVでは物体がすべて去った後の状態を示して
いる。

【００２５】時刻IV 番地１２３４５６７８現画像輝度２０２０２０２０２０２０２０２０背景画像（拡大あり）２０２２２４２７１２２０２０２０差分演算（同上）０２４７１２０００２値化（同上）００００１０００背景画像（拡大なし）２０２０２０２０２０２０２０２０差分演算（同上）００００００００２値化（同上）００００００００書換え後背景（同上）２０２０２０２０３２２０２０２０時刻IVにおいて、背景画像と現画像の差分演算を行い、
しきい値８で２値化すると図４のｂのIVのように２値化
される。ここでは５番地が１で他は０である。即ち、実
際には物体が存在しないにも関わらず２値化出力が抽出
される。一方物体を拡大して書き換える領域を少なくす
る場合を図４のｃのIVに示す。即ち、背景書き換えする
ために物体の拡大を５番地分行い拡大後の物体の存在し
ないところの現画像を背景に書き換えした場合の２値化
である。これは図４のｂの場合と異なりすべて０で、実
際の状況通りになっている。

【００２６】尚、図４のｂでしきい値以下のところの現
画像を背景画像に書き換えると背景の輝度は図４のｄの
III のようになる。図４のｄのIVの５番地がしきい値８
を越えて輝度が１２となっている。

【００２７】このように、物体が一方向に順次動いてい
る場合は抽出した物体を拡大せずに抽出した物体以外の
ところの現画像を背景に書き換えることにより背景の更
新が行えるが、物体が一方向に移動するだけでなく、戻
ったりする場合には物体の周辺の現画像を背景に書き換
えず、物体から少し離れた領域のみ現画像を背景画像に
書き換えることにより背景の更新を行う。

【００２８】以上の現象を考慮してステップ１０７で背
景の書き換えをするかどうかを判断し、背景書き換えを
行う場合にはステップ１０８で背景書き換えをしてステ
ップ１０９へ行く。背景書き換えを行わないとステップ
１０７で判断した場合にはステップ１０９へ行き全ての
画素が終了するまで続ける。全ての画素が終了した場合
は抽出した動体の位置情報等をステップ１１０で検出す
る。ここで位置情報の求め方としていろいろあるが、例
えば、抽出した動体の塊をラベリングして、その後、動
体の塊の重心を求めて位置情報とする事ができる。ま
た、ラベリングすることにより動体の数情報の収集も可
能である。このようにして画像から動体の情報を得るこ
とができる。その後、ステップ１０２へ行き次の画像の
処理のために待機する。

【００２９】一方、赤外線温度センサにより２次元の温
度分布を熱画像入力手段４でステップ２０１で行う。ス
テップ２０１はフローチャートでは現画像入力のステッ
プ１０２と同時に行うようにしてあるが、順番はどちら
でも良い。ステップ２０１で熱画像を検出して人体皮膚
温相当の２８度前後から３４度程度の部分を検出し、ス
テップ２０２にてステップ１１０で検出した動体画像と
同一番地で比較する。即ち、動体が検出されてあるとこ
ろで、かつ、温度が人体皮膚温相当の２８度前後から３
４度程度であればステップ２０２で人体であるとの判断
ができる。ステップ２０２で人体が存在しない場合はス
テップ１０２及びステップ２０１へ行き次の時間帯の検
出を行う。ステップ２０２で人体であればその部分の温
度をステップ２０３で抽出して人体にとって快適皮膚温
かどうかをステップ２０４で検証する。通常、皮膚温３
２度前後の温度帯が快適温度であると実験的に調べられ
ている。ここでは冷房の場合について風向制御、能力制
御について説明する。ステップ２０４で快適温度帯より
高い温度が検出された場合にはステップ２０５で風向を
検出された人体の方向に向ける。その後ステップ２０６
で能力を上げ、ステップ２０１へ行く。また、ステップ
１０２で待機している現画像入力を行う。次に、ステッ
プ２０４で快適温度帯より低い温度が検出された場合に
はステップ２０７で風向を検出された人体の方向以外の
ところに向ける。その後ステップ２０８で能力を下げ、
ステップ２０１へ行く。また、ステップ１０２で待機し
ている現画像入力を行う。一方、ステップ２０４で快適
温度帯の温度が検出された場合にはステップ２０９で風
向を検出された人体の方向以外のところに向ける。この
時は冷房能力はそのままにする。その後、ステップ２０
１へ行く。また、ステップ１０２で待機している現画像
入力を行う。

【００３０】ところで、抽出した人数が複数である場
合、ステップ２０４で皮膚温の検出により得られた値が
人毎に異なっている場合は次のようにする。即ち、快適
温度帯の皮膚温の人がいる場合はその人の方向には風向
を向けない。また、快適温度帯より高い皮膚温の人がい
る場合はその人の方向に向ける。この時、冷房能力は下
げないでおく。それは快適である人がいるからであり、
暑いと感じている人は風を向けることにより温度を下げ
ることができるからである。さらに、快適であると感じ
ている人と、暑いと感じている人と、寒いと感じている
人の３種類の人間が存在する場合も同様に冷房能力を下
げないようにする。しかし、暑いと感じている人が多い
場合は冷房能力を上げ、寒いと感じている人が多い場合
は冷房能力を下げる。また、人数が多い場合はその状況
に応じて風向をいろいろな角度に振ることによってより
多くの人が快適であると感じるようにする事も可能であ
る。

【００３１】尚、熱画像検出手段４は１次元の赤外線温
度センサ２４を駆動部２５を用いて２次元化しているが
水平、垂直の２軸の駆動部を用いて一点センシングする
赤外線温度センサを用いても同様の働きをする。

【００３２】また、１次元赤外線温度センサの駆動によ
り２次元化するのと同様に１次元画像入力手段（１次元
ＣＣＤ等）を回転させることにより２次元化して画像と
温度のセンシングを同じような手段で検出しても良い。
特に、縦方向のセンサを左右方向に回転させて検出する
方法は左右方向に広角度に振っても画像の歪が生じない
ため正確な検出ができる。

【００３３】一般に、ＣＣＤは画素数を大きくとって密
度を上げることができるため、また、高速の処理が可能
なため２次元で検出した画像の歪を補正する事が可能で
あるため２次元ＣＣＤを用いても良い。一方、赤外線温
度センサは高価であるためポイントあるいはリニアセン
サが中心で回転させることにより２次元化している場合
が多い。また、赤外線温度センサはチョッパーを設けて
チョッパー温度との比較により温度検出する方法はチョ
ッパー速度を速くすることが難しい。従って、画像で検
出した動体を中心に温度検出する方が時間的に速く処理
が行える。そして、動体の形状の中から皮膚温の測定で
きるところは顔が一般的であり、顔の位置を特定するこ
とにより座っているか立っているかの判別が可能であ
る。従って、これにより人体の生活状況に応じて空調機
の制御を行うことも可能である。

【００３４】

【発明の効果】以上説明したように本発明の自動空調機
は、動いているものの中から人体のみを検出し、更に、
人の皮膚温度の検出により人の快適度を判定し、その快
適度に応じて空調機の能力を制御することにより次の効
果が得られる。

【００３５】（１）動体の中から皮膚温を検出するため
確実に人体を認識することができる。

【００３６】（２）画像で検出した動体の温度検出を行
うことにより温度検出領域を限定することができるた
め、素早く人体の快適度を判定して快適な空調制御を行
うことができる。

【００３７】（３）各人の内部発熱や皮下脂肪量の違い
により生じる快適感の違いを人の皮膚温を離れたところ
から検出することにより各人に応じた空調能力や風向に
制御することができる。

【００３８】（４）複数の人間がいても風向を振らせた
り、集中させたりすることにより各人の快適性を順次改
善させることができる。

【００３９】（５）顔の位置を特定することにより座っ
ているか立っているか等の生活状況に応じて空調機の制
御を行うことができる。

【００４０】（６）画像入力手段より得られた信号から
背景画像と現画像の差分演算を行い所定のしきい値で２
値化して、２値化された画像の拡大を行って動体を抽出
し、抽出した動体部分以外の現画像を背景画像メモリ部
に書き換えることにより、撮像された画像の照度が除々
に変化しても最新の背景を常に更新しているので、室内
の明るさが変化しても空調機の制御に影響を与えない。

【図面の簡単な説明】

【図１】本発明の一実施例における自動空調機を室内に
設置した構成を示すブロック図

【図２】同装置の詳細を説明するブロック図

【図３】同装置のフローチャート

【図４】同装置の動体検出における背景更新時の輝度変
化データを示す特性図

【図５】従来の動体検出装置の背景差分方式の模式図

【図６】同装置の構成図を示すブロック図

【符号の説明】

１空調機２画像入力手段３動体検出手段４熱画像検出手段５人体検出手段６快適度判定手段７制御手段

Claims

【特許請求の範囲】

【請求項１】空調機と、画像を入力する画像入力手段
と、前記画像入力手段より得られた信号から動体を検出
する動体検出手段と、赤外線温度センサにより２次元の
熱画像を検出する熱画像検出手段と、前記熱画像検出手
段で得られた熱画像と前記動体検出手段とから人間の位
置を検出する人体検出手段と、前記人体検出手段で検出
された位置情報及び前記熱画像検出手段で得られた温度
情報から人間の快適度を判定する快適度判定手段と、前
記快適度判定手段の出力にしたがって前記空調機を制御
する制御手段とを有した自動空調機。
【請求項２】１次元の画像を入力する１次元画像入力手
段と、１次元の温度情報を入力する１次元熱画像入力手
段と、前記１次元画像入力手段と前記１次元熱画像入力
手段とを回転させて２次元化する駆動部により２次元の
画像入力手段及び熱画像検出手段を有した請求項１記載
の自動空調機。