JP6428144B2 - エリア情報推定装置、エリア情報推定方法、および空気調和装置 - Google Patents

Description

本発明は、カメラの画像からセンシングエリアに関する情報を推定する技術に関する。

昨今、カメラで撮影した画像から人を検出し、その検出結果を基に人の動線、床面、部屋や通路の形状などを推定したいとのニーズが高まっている。この種の技術は、監視カメラや画像センサにおいてセンシングエリアの構造認識に応用されたり、最近では、家電機器などにも組み込まれ始めている。

例えば、特許文献１には、カメラの画像を用いて人が移動しているか否かを検出し、人が移動している場合には当該人物の身長推定を行ったり、人物の移動履歴から部屋内の障害物を検出すること、さらには、障害物の検出結果を空気調和装置（エアコン）の空調制御に利用することが開示されている。また、特許文献２には、複数のフレーム画像間での頭頂部の座標変化を監視することで、人の静止／移動の判定や姿勢の判定を行う方法が提案されている。また、特許文献３には、画像中の頭部の検出結果を用いて、身長を推定する方法が提案されている。

特開２０１３−２４５３４号公報 特開２００２−１９７４６３号公報 特開２０１３−３７４０６号公報

カメラの画像から人の存在位置（実世界上の位置）を計算する手法の代表的なものとしては、（１）画像中の人のサイズから奥行距離（カメラと人の間の距離）を推定し、人の存在位置を計算する手法、（２）２台のカメラを用いて２方向から人を撮影し、三角測量の原理によって人の存在位置を計算する手法、などが知られている。

しかしながら、これらの手法には次のような問題がある。（１）の手法では、画像中の人のサイズを基準に奥行距離を推定するが、サイズの検出結果は画像品質、解像度、人の体格や体形、人の姿勢や向きなどよるバラツキが大きいために、距離推定精度が安定しない。一方、（２）の手法では、カメラが２台必要なために、単眼カメラの装置に比べて装置コストが高くなる。また、２台のカメラの画像をそれぞれ処理し、それらの情報を組み合わせた上で結果を出すことから、処理が複雑となる。

本発明は上記実情に鑑みなされたものであり、カメラの画像から人を検出し、その検出結果を基にセンシングエリアに関する情報を推定する処理において、簡易な方法で推定精度の向上を図る技術を提供することを目的とする。

上記目的を達成するために、本発明では以下の構成を採用する。

本発明の第一態様に係るエリア情報推定装置は、センシングエリアを撮影するカメラと、前記カメラの画像から人を検出する人検出部と、前記人検出部によって人が検出された前記画像上の座標に基づき、当該人の前記センシングエリア内の存在位置を計算する位置
算出部と、を有し、前記人検出部は、画像上の座標とサイズの関係が所定の条件を満たさない人を、検出の対象から除外することを特徴とする。

この構成によれば、画像上の座標とサイズの関係が所定の条件を満たさない人（推定精度を低下させるデータ）が除外されるため、センシングエリアに関する情報を精度良く推定することが可能となる。また、画像上の座標とサイズの関係が所定の条件を満たすか否かを評価・判定するだけでよいので、きわめて簡易な処理で済み、高速処理が容易に実現できる。

前記人検出部は、人の上半身を検出するものであって、前記位置算出部は、前記人検出部によって検出された人の上半身の画像上の座標及びサイズから当該人の足元の画像上の座標を求め、前記足元の画像上の座標から当該人の前記センシングエリア内の存在位置を計算するとよい。この構成によれば、足元の座標（つまり、床面に接する点の座標）から存在位置を計算するため、距離精度を向上することができる。よって、センシングエリアに関する情報を精度良く推定することが可能となる。

前記人検出部は、検出された人が座位である場合と立位である場合とで、前記所定の条件を異ならせるとよい。座位の場合と立位の場合で画像上の座標が異なるため、それに合わせて所定の条件を変更することで、座位の人と立位の人の両方の存在位置を精度良く求めることができる。

前記人検出部は、人の上半身を検出する上半身検出と、人の全身を検出する全身検出とを行い、上半身検出と全身検出の両方で検出された場合に当該人が立位であると判断し、上半身検出で検出されるが全身検出で検出されなかった場合に当該人が座位であると判断するとよい。これにより、簡易な方法で座位の人と立位の人を分類することができる。

また、本発明の第二態様に係るエリア情報推定装置は、センシングエリアを撮影するカメラと、前記カメラの画像から人を検出する人検出部と、前記人検出部によって人が検出された前記画像上の座標に基づき、当該人の前記センシングエリア内の存在位置を計算する位置算出部と、を有し、前記人検出部は、画像中に全身が写り且つ立位の人のみを、検出の対象とすることを特徴とする。この構成によれば、全身検出の結果のみを用いることで、座っている人や身体の一部が隠れている人などを検出対象から除外することができる。よって、センシングエリアに関する情報を精度良く推定することが可能となる。

前記位置算出部は、前記人検出部によって検出された人の足元の画像上の座標から当該人の前記センシングエリア内の存在位置を計算するとよい。この構成によれば、足元の座標（つまり、床面に接する点の座標）から存在位置を計算するため、距離精度を向上することができる。よって、センシングエリアに関する情報を精度良く推定することが可能となる。

また、本発明の第三態様に係るエリア情報推定装置は、センシングエリアを撮影するカメラと、前記カメラの画像から人を検出する人検出部と、前記人検出部によって人が検出された前記画像上の座標に基づき、当該人の前記センシングエリア内の存在位置を計算する位置算出部と、を有し、前記人検出部は、人の上半身を検出するものであって、前記位置算出部は、前記人検出部によって検出された人の上半身の画像上の座標及びサイズから当該人の足元の画像上の座標を求め、前記足元の画像上の座標から当該人の前記センシングエリア内の存在位置を計算することを特徴とする。この構成によれば、足元の座標（つまり、床面に接する点の座標）から存在位置を計算するため、距離精度を向上することができる。よって、センシングエリアに関する情報を精度良く推定することが可能となる。

前記位置算出部は、上半身のサイズに対する比率計算によって足元の座標を求めるとよい。一般的に、人の身体の寸法比率は概ね同じであるため、上半身のサイズに対する比率計算だけでも妥当な推定結果を得ることができるからである。これにより、簡易な処理を実現できる。

前記センシングエリア内で所定の期間内に検出された人の存在位置の分布に基づき、前記センシングエリア内で人が存在し得る存在可能エリアを推定する推定部をさらに有するとよい。また、前記推定部は、検出された存在位置のそれぞれを確率密度分布で平面図上に重ね合せていき、累積確率が所定のレベル以上になったエリアを前記存在可能エリアと判定するとよい。この構成によれば、検出された存在位置を確率密度分布で捉えることで、検出誤差の影響を低減することができ、人の存在可能エリアの推定を精度良く行うことが可能となる。

なお、本発明は、上記構成ないし機能の少なくとも一部を有するエリア情報推定装置として捉えることができる。また、本発明は、このエリア情報推定装置を有する空気調和装置、監視カメラ、画像センサ、ロボットビジョン、コンピュータビジョン、家電機器として捉えることもできる。また、本発明は、上記処理の少なくとも一部を含むエリア情報推定方法、又は、かかる方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、カメラの画像から人を検出し、その検出結果を基にセンシングエリアに関する情報を推定する処理において、簡易な方法で推定精度の向上を図ることができる。

エアコン装置の機能ブロックを示す図。 エアコン装置の外観を示す図。 空調制御処理の全体の流れを示すフローチャート。 画像からの人検出処理および存在位置の算出処理を説明する図。 位置算出部による座標計算の具体例を示す図。 所定の期間に蓄積された存在位置情報を部屋の平面図にプロットした図。 体形が異なる場合の推定精度の低下について説明する図。 検出座標と検出サイズの相関関係について説明する図。 第１実施形態における人検出処理の流れを示すフローチャート。 第２実施形態における人検出部と位置算出部の処理の流れを示す図。 第３実施形態における人検出部と位置算出部の処理の流れを示す図。 第４実施形態における人検出処理を説明する図。 第４実施形態における人検出処理の流れを示すフローチャート。 第５実施形態における推定処理を説明する図。

以下に図面を参照して、この発明を実施するための好ましい形態を例示的に詳しく説明する。ただし、以下の実施形態に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。

＜第１実施形態＞
（装置構成）
図１および図２を参照して、本発明の実施形態に係る空気調和装置（以下、「エアコン装置」と称する）の全体構成について説明する。図１は、エアコン装置の機能ブロックを示す図であり、図２は、エアコン装置の外観を示す図である。このエアコン装置１は、人検出機能を用いたエリア情報推定装置２を備えており、エリア情報推定装置２によって推定された部屋ないし空間に関する情報（以下、「エリア情報」又は「空間情報」とも称す）をもとに空調制御を実施する機能を有している。

エアコン装置１は、主な構成として、エリア情報推定装置２、エリア情報記憶部３、空調制御部４、温度センサ５、熱交換器６、送風ファン７を有している。エリア情報記憶部３には、エアコン装置１が設置された部屋のエリア情報が記憶される。エリア情報推定装置２は、カメラ２１、人検出部２２、位置算出部２３、位置記憶部２４、推定部２５を有している。

空調制御部４は、プロセッサやメモリなどから構成され、プロセッサがプログラムを実行することにより、所望の温度、風向、風量の運転条件を決定し、この運転条件で動作するように熱交換器６や送風ファン７などを制御する。空調制御部４は、運転条件を決定する際に、リモコン８から入力される設定条件（設定温度など）や温度センサ５から得られる室内温度に加えて、エリア情報推定装置２によって推定されエリア情報記憶部３に登録されたエリア情報も考慮して運転条件を決定することができる。また、エリア情報推定装置２は人検出機能を有しているので、空調制御部４は、リアルタイムの人検出結果も考慮して運転条件を決定することもできる。

温度センサ５は、例えば、赤外線センサなどを用いて室内の温度を取得する。熱交換器６は、室外機（不図示）と接続されて冷凍サイクルを構成し、熱交換器６内に取り込んだ空気を暖めたり冷やしたりする。送風ファン７は、気流を発生させる装置であり、室内の空気を循環させる。送風ファン７は、風量および風向（上下方向および左右方向）を調整可能である。

エリア情報推定装置２は、推定対象となるエリア（以下、「センシングエリア」と称す）を撮影した画像から人を検出して、センシングエリア内での人の存在位置を記録していき、その存在位置の分布に基づいてエリア情報を生成するユニットである。本実施形態では、エリア情報として、センシングエリア内において床面が露出している領域（以下、「床面領域」と称す）を推定する。ここで、「床面が露出」とは、什器、柱、壁などの人の通行や活動を妨げる物体が存在しない状態をいう。言い換えれば、床面領域は、センシングエリア内において人が存在（通行）し得る領域（以下、「存在可能エリア」とも称す）である。このような床面領域を考慮した空調制御を行うことにより、効率的な暖房または冷房を実現することができる。

エリア情報推定装置２は、プロセッサ、メモリ、カメラ２１などを備えるコンピュータにより構成され、プロセッサがプログラムを実行することによって人検出部２２、位置算出部２３、位置記憶部２４、推定部２５などの機能を実現する。なお、これらの機能部のうち一部または全部をＡＳＩＣやＦＰＧＡ回路で構成してもよい。エリア情報推定装置２は、例えば、プロセッサ、各種プログラムを格納したメモリ、カメラモジュール、外部Ｉ／Ｆを基板上に搭載した機器組み込み型のボードコンピュータとして提供される。

カメラ２１は、図２（ａ）に示すようにエアコン装置１の前面に取り付けられており、センシングエリア（例えば部屋）の内部を撮影し、画像を取得することが可能である。本実施形態のカメラ２１の撮影方向（光軸方向）は、図２（ｂ）に示すように、水平面に対し、所定の角度だけ下向きの方向であり、センシングエリアを斜め上方から撮影できるよ
うになっている。このような設定によりエアコン装置１に近いエリアをカメラ２１の画角内（視野内）に入れることが可能となる。ただし、カメラ２１の光軸方向を水平面に対し下向きに設定することは必須でなく、例えば光軸方向を水平、又は、水平面よりもやや上向きに設定してもよい（すなわち、カメラ２１の画角内（視野内）に撮影すべきエリアが収まっていればよい）。カメラ２１は定期的に撮影（画像の取り込み）を行い、撮影画像に基づいて人検出部２２による人検出処理が実施される。撮影の間隔は任意に設定することができる。例えば、数秒から数分といった所定の間隔で撮影してもよいし、時間帯によって撮影間隔を変えたり、人を検出したら撮影間隔を短くするような制御を行ってもよい。

人検出部２２は、カメラ２１によって撮影された画像から人を検出する機能を有する。画像から人を検出する手法としては、例えば、目や口元などの局所的な濃度差や髪色・肌色などの色特徴に基づいて顔らしい部分を検出する「顔検出」、シルエット（外形状）に基づいて頭部、上半身、もしくは全身を検出する「人体検出」など、様々なアルゴリズムが提案されている。人検出部２２はいずれのアルゴリズムを採用してもよいし、複数種類のアルゴリズムを組み合わせてもよい。顔検出は人以外の物を誤検出する可能性が低いという利点がある。一方の人体検出（シルエット検出）は、人の向きや姿勢に対するロバスト性が高いという利点がある。なお、人体検出において頭部、上半身、全身のいずれを検出対象とするかは、判別器の学習に用いるデータの与え方による。すなわち、上半身検出を行うのであれば、上半身（例えば胸より上）が写った教師画像を用いて、上半身のシルエットの特徴を判別器に学習させる。また、全身検出を行うのであれば、頭部から足元までが写った教師画像を用いて学習を行えばよい。このとき、前向き、斜め向き、横向き、後ろ向き、直立姿勢、歩行姿勢など様々な向き・姿勢の教師画像を学習に用いることで、姿勢変化に対しロバストな人体検出が実現できる。

位置算出部２３は、人検出部２２によって人が検出された画像上の座標に基づき、その人のセンシングエリア内の存在位置を計算する機能を有する。詳しくは、位置算出部２３は、カメラ２１の画角や設置角度などの既知パラメータを用いた幾何学計算により、画像座標（Ｘ，Ｙ）を実空間における床面上の位置座標（Ｔ，Ｌ）へと変換する処理を行う。本実施形態では、画像座標系は、画像の下端の中心を原点Ｏとし、画像の水平方向にＸ軸、画像の垂直方向にＹ軸をとる。また、床面座標系は、図２に示すように、カメラ２１から床面に降ろした垂線の足を原点Ｏ、カメラ２１の光軸を床面に投影した直線をＬ軸とし、Ｌ軸に直交するようにＴ軸をとる。つまり、Ｌは光軸方向の水平距離、Ｔは光軸に直交する方向の水平距離である。

位置記憶部２４は、位置算出部２３によって算出された人の存在位置（Ｔ，Ｌ）を記憶するデータベースである。位置記憶部２４には、人の存在位置の情報だけでなく、検出時刻などの付加情報を関連付けて記憶してもよい。人検出処理をある程度の期間（例えば数時間から数日間）継続的に実行することで、位置記憶部２４には、当該期間内に取得された人の存在位置の分布（履歴）が蓄積される。

推定部２５は、位置記憶部２４に蓄積された人の存在位置の分布に基づいて、床面領域（人の存在可能エリア）を推定する機能を有する。部屋内に什器などが設置されている場合、人が通行（存在）し得るのは什器などが設定されていない領域、すなわち床面領域に限られる。したがって、ある期間に蓄積された人の存在位置の分布を解析することで、部屋内の床面領域を推定することができる。推定部２５により得られたエリア情報は、エリア情報記憶部３に格納されて、空調制御部４の空調制御に利用される。

（処理フロー）
次に、図３のフローチャートに沿って、エアコン装置１で行われる空調制御処理の流れ
について説明する。図３は、空調制御処理の全体の流れを示すフローチャートである。

まず、カメラ２１が、エアコン装置１が設置されている部屋（センシングエリア）の俯瞰画像を取り込む（ステップＳ１０）。本実施形態では水平画素数Ｈｐ＝１２００、垂直画素数Ｖｐ＝１６００のグレースケール画像が取り込まれる。

次に、人検出部２２が画像から人の検出を行う（ステップＳ１１）。図４（ａ）は、一枚の画像から三人の人物４１ａ、４１ｂ、４１ｃが検出された検出結果例を示している。人検出部２２は、検出された各人物４１ａ〜４１ｃの画像上の座標およびサイズを取得する。本実施形態では、人検出アルゴリズムとして上半身検出（胸から上の部分のシルエットによる人体検出）を用い、検出された各人物４１ａ〜４１ｃの上半身を囲む正方形の中心座標（Ｘｃ，Ｙｃ）と検出矩形のサイズ（一辺のピクセル数）Ｓとが出力される。以下、検出された人物を囲む矩形を「検出矩形」と呼び、検出矩形の中心座標（Ｘｃ，Ｙｃ）を「検出座標」とも呼ぶ。

次に、位置算出部２３が、検出された各人物４１ａ〜４１ｃの検出座標（Ｘｃ，Ｙｃ）およびサイズＳに基づいて、各人物４１ａ〜４１ｃのセンシングエリア内の存在位置（Ｔ，Ｌ）を求める（ステップＳ１２）。図４（ｂ）は、検出された各人物４１ａ〜４１ｃの存在位置（Ｔ，Ｌ）の計算例を示している。図４（ｂ）は床面を鉛直上方からみた平面図に対応し、人物４１ａ、４１ｂ、４１ｃの順にカメラ２１よりも遠方に存在することが示されている。

図４と図５を用いて、位置算出部２３による座標計算の具体例を説明する。ここでは、画像の水平画素数Ｈｐ［ｐｉｘｅｌ］、垂直画素数Ｖｐ［ｐｉｘｅｌ］、人体幅Ｗ［ｍｍ］、カメラの見下ろし角度（水平面と光軸のなす角度）α［度］、カメラ水平画角θ［度］、カメラ垂直画角β［度］が既知パラメータとして与えられるものとする。なお、Ｈｐ，Ｖｐ，βはカメラ２１の仕様から定まり、αはエアコン装置１に対するカメラ２１の設置角度から定まる。また、Ｗは成人の平均的な肩幅の値（例えば４５０ｍｍ）を用いればよい。

カメラ２１から光軸方向距離Ｄ［ｍｍ］の位置に人物が存在したときに、当該人物の検出座標が（Ｘｃ，Ｙｃ）、サイズがＳ［ｐｉｘｅｌ］であったとする。そうすると、カメラ２１から距離Ｄだけ離れた位置においては、画像上のサイズ［ｐｉｘｅｌ］と実空間上のサイズ［ｍｍ］の比がＳ［ｐｉｘｅｌ］：Ｗ［ｍｍ］となるから、当該人物の水平位置Ｔ［ｍｍ］は、図５（ａ）に示すように、
Ｔ＝（Ｘ２×Ｗ）／Ｓ
と求まる。ただし、Ｘ２は、画像の中心（０，Ｖｐ／２）から人物の検出座標（Ｘｃ，Ｙｃ）までの水平方向ピクセル数である（Ｘ２＝Ｘｃ）。

次に奥行位置Ｌ［ｍｍ］の導出について述べる。図５（ｂ）に示すように、カメラ２１から距離Ｄだけ離れた位置において、垂直画角β内に収まる物体側の垂直距離をＶ［ｍｍ］とおくと、
ｔａｎ（β／２）＝（Ｖ／２）／Ｄ
が成り立つ。ここで、カメラ２１から距離Ｄだけ離れた位置においては、
Ｖｐ／Ｖ＝Ｓ／Ｗ
が成り立つから、両式からＶを消して整理すると、
Ｄ＝（Ｖｐ×Ｗ）／（２×Ｓ×ｔａｎ（β／２））
が得られる。したがって、図５（ｂ）に示す奥行位置Ｌ１［ｍｍ］は、
Ｌ１＝Ｄ×ｃｏｓα
＝（Ｖｐ×Ｗ×ｃｏｓα）／（２×Ｓ×ｔａｎ（β／２））
と求まる。

また、カメラ２１から距離Ｄだけ離れた位置において、画像中心から人物の検出座標までの垂直方向ピクセル数をＹ２（＝Ｙｃ−Ｖｐ／２）、実空間での垂直方向距離をＶ２［ｍｍ］とおくと、
Ｙ２／Ｖ２＝Ｓ／Ｗ
が成り立つから、図５（ｂ）に示す奥行位置Ｌ２［ｍｍ］は、
Ｌ２＝Ｖ２×ｓｉｎα＝（Ｙ２×Ｗ×ｓｉｎα）／Ｓ
と求まる。

以上より、人物の奥行位置Ｌ［ｍｍ］は、
Ｌ＝Ｌ１＋Ｌ２
＝（Ｖｐ×Ｗ×ｃｏｓα）／（２×Ｓ×ｔａｎ（β／２））＋（Ｙｃ×Ｗ×ｓｉｎα）／Ｓ
として計算できる。

ここで述べた座標計算手法は、人体幅Ｗが一定値であると仮定し、画像上のサイズＳに基づき当該人物の平面位置を推定する手法である（つまり、サイズが小さいほどカメラ２１から離れていると仮定する）。この手法は、カメラ２１の設置高さ（床面からの高さ）が不明でも、存在位置（Ｔ，Ｌ）を計算できるという利点がある。

上記計算により、画像から検出された各人物４１ａ〜４１ｃの存在位置（Ｔ，Ｌ）が得られたら、図３のステップＳ１３に進む。ステップＳ１３では、位置算出部２３が、各人物４１ａ〜４１ｃの位置座標を位置記憶部２４に格納する。ステップＳ１０からステップＳ１３の処理は、繰り返し実行される。したがって、複数の検出結果における人の存在位置が位置記憶部２４に蓄積されることになる。

所定の期間だけステップＳ１０からステップＳ１３の処理を繰り返したら、位置記憶部２４に蓄積された人の存在位置の情報に基づいて、推定部２５が床面領域（人の存在可能エリア）を推定する（ステップＳ１４）。図６は、位置記憶部２４に蓄積された存在位置の情報を部屋の床面を示す平面図上にプロットした模式図である。図６のバツ印（×）の位置において人が検出されたことを示し、バツ印の分布により、部屋内のどの領域で人が活動しているかが分かる。つまり、バツ印がプロットされた領域が、人が通行（存在）し得る床面領域とみなすことができ、一方、バツ印がまったくプロットされていない領域は、什器などが設置された領域又はデッドスペースであり、人が通行（存在）することはほとんど無い領域とみなすことができる。図６においてハッチングで示した領域が、推定された床面領域である。このようにして得られたエリア情報は、エリア情報記憶部３に格納される。

ステップＳ１５では、取得されたエリア情報に基づいて、空調制御部４が空調制御を実施する。例えば、人がよく通行（存在）する場所に優先的に風を送ることによって、快適性を効率的に向上させる制御を行うことができる。あるいは、部屋形状に基づき風の流れを予測して、風通しがよくなるように風向きなどを制御してもよい。

（精度向上のための工夫）
上記方法は多くの場合に良好な結果を得ることができるが、標準体形から大きく外れた人が画像に写っている場合に、エリア情報の推定精度の低下を招く可能性がある。成人の平均的な人体幅Ｗを基に距離計算を行っているため、図４のように、「奥行位置が遠い人ほど画像上のサイズが小さい」という関係が保たれている場合は精度が期待できるが、図７のように、小柄な人物７１ａは実際の距離（標準体形の人物７０ａの距離）よりも遠く
に、逆に大柄な人物７１ｂは実際の距離よりも近くにいると誤認識されてしまうからである。もちろんある程度の誤差は許容しても構わないが、例えば、床面上の距離で１ｍを超えるような誤差が生じると、アプリケーションによっては誤差を無視できない場合がある。

そこで本実施形態の人検出部２２は、検出対象（エリア情報の推定に用いるデータ）を特定範囲の体形で且つ立位の人に限定することで、エリア情報の推定精度の低下を抑制することとする。具体的には、人検出部２２は、画像から検出された人のうち、画像上の検出座標とサイズの関係が所定の条件を満たさない人をノイズ（推定精度を低下させるデータ）とみなし、検出対象から除外するという操作を行う。

図８（ａ）は、標準体形の被験者をいろいろな距離に立たせて撮影したサンプル画像から、被検者の検出座標（Ｘｃ，Ｙｃ）と検出サイズＳ［ｐｉｘｅｌ］を取得し、横軸Ｙｃ、縦軸Ｓのグラフにプロットした結果を示す。なお、図８（ｂ）に示す実験条件は次のとおりである。
・被検者の人体幅（肩幅）Ｗ＝４５０ｍｍ、身長Ｈ＝１７５０ｍｍ
・カメラの設置高さｈ＝２２００ｍｍ、カメラの見下ろし角度α＝２５度、カメラ垂直画角β＝５６．６度、垂直画素数Ｖｐ＝１６００ｐｉｘｅｌ

図８（ａ）から分かるように、同じ体形・姿勢の人に限定した場合、画像上のサイズＳと垂直座標Ｙｃは相関関係を有しており、垂直座標Ｙｃが小さくなるほど（画像の下にいくほど）サイズＳは大きくなる。このような実験結果から、Ｙｃ値ごとに対応するＳ値を定めることができる。以後、Ｙｃ値に対応する適切なＳ値を「基準値Ｓｒｅｆ」と称す。ＹｃとＳｒｅｆの関係は、関数Ｓｒｅｆ＝ｆ（Ｙｃ）で保持してもよいし、図８（ｃ）に示すようなルックアップテーブルで保持してもよい。

では、画像上の検出座標Ｙｃと検出サイズＳの関係を考慮した人検出処理について、図９のフローチャートを用いて説明する。図９のフローチャートは、図３のステップＳ１１の詳細フローに該当する。

まず、人検出部２２は、画像から人の上半身検出を行う（ステップＳ９０）。図７の画像を用いた場合には、標準体形の人物７０ａ及び７０ｂと、小柄な人物７１ａ、大柄な人物７１ｂの４人が検出される。

次に、人検出部２２は、ステップＳ９０で検出された人物ごとに、検出座標Ｙｃと検出サイズＳの関係が所定の条件を満たすか否かを判定する（ステップＳ９１）。本実施形態では、人検出部２２は、検出座標Ｙｃに対応する基準値Ｓｒｅｆを図８（ｃ）のルックアップテーブルから取得し、検出サイズＳと基準値Ｓｒｅｆの差の絶対値｜Ｓ−Ｓｒｅｆ｜を計算する。そして、その値が所定の閾値Ｔｈより小さい場合（｜Ｓ−Ｓｒｅｆ｜＜Ｔｈ）に、検出座標Ｙｃと検出サイズＳの関係が所定の条件を満たしていると判定する。ここで、閾値Ｔｈは、検出対象として許容する体形（人体幅Ｗ）のバラツキを決めるパラメータである。Ｔｈを小さくするほど検出対象の限定が厳しくなり、Ｔｈを大きくするほどバラツキの許容が大きくなる。Ｔｈの値は、存在位置の推定誤差の許容値に応じて決めればよい。

ステップＳ９１において「所定の条件を満たさない」と判定された人物は、検出結果から取り除かれる（ステップＳ９２）。図７の例では、小柄な人物７１ａと大柄な人物７１ｂの２人が除外され、人検出部２２は、標準体形の人物７０ａ及び７０ｂの２人の検出結果のみを出力する。

このようにノイズを除外した人検出結果のみを用いて以後の処理（図３のステップＳ１２〜Ｓ１４）を行うことによって、センシングエリア内の床面領域を精度良く推定することが可能となる。

なお、図８に示した実験結果、ＹｃとＳｒｅｆの対応関係、許容範囲Ｔｈなどはあくまでも一例であり、想定される体形やカメラの仕様・設置条件が変われば、それに応じて適宜設定されるべきものである。また、本実施形態では、被検者実験によりＹｃとＳｒｅｆの対応関係を求めたが、想定される体形やカメラの仕様・設置条件などに基づく幾何学計算により、ＹｃとＳｒｅｆの対応関係を下記式のように求めてもよい。

また、人体幅Ｗ［ｍｍ］および身長Ｈ［ｍｍ］については成人の平均値を用いることとし、カメラの設置高さｈ［ｍｍ］、カメラの見下ろし角度α［度］、カメラ垂直画角β［度］、垂直画素数Ｖｐ［ｐｉｘｅｌ］については既知のパラメータである。

＜第２実施形態＞
次に本発明の第２実施形態について説明する。第２実施形態では、人検出アルゴリズムとして全身検出を用いる点、及び、足元の座標から実空間上の存在位置を計算する点が、第１実施形態のものと異なる。

図１０（ａ）は、人検出部２２による検出結果例を模式的に示している。本実施形態の人検出部２２は、人検出アルゴリズムとして全身検出（頭から足元までの全身のシルエットによる人体検出）を用いる。これにより、画像中に全身が写り且つ立位の人（図１０（ａ）の人物１００ａ〜１００ｃ）のみが検出対象となり、座っている人１０１や身体の一部が隠れている人１０２などはノイズ（推定精度を低下させるデータ）として除外される。検出結果としては、例えば、検出矩形の中心座標（Ｘｃ，Ｙｃ）と検出矩形の水平サイズＳｈ、垂直サイズＳｖが出力される。

図１０（ｂ）に、位置算出部２３による座標計算の例を模式的に示す。ここでは、画像の水平画素数Ｈｐ［ｐｉｘｅｌ］、垂直画素数Ｖｐ［ｐｉｘｅｌ］、カメラの設置高さｈ［ｍｍ］、カメラの見下ろし角度α［度］、カメラ垂直画角β［度］が既知パラメータとして与えられるものとする。なお、Ｈｐ，Ｖｐ，βはカメラ２１の仕様から定まり、ｈはエアコン装置１の設置高さから定まり、αはエアコン装置１に対するカメラ２１の設置角度から定まる。

位置算出部２３は、まず、人物の検出座標（Ｘｃ，Ｙｃ）及び検出サイズ（Ｓｈ，Ｓｖ）から、当該人物の足元の垂直座標Ｙｂ［ｐｉｘｅｌ］を計算する。

Ｙｂ＝Ｙｃ−Ｓｖ／２
足元の垂直座標Ｙｂが分かれば、図１０（ｂ）に示すとおり、当該人物の奥行位置Ｌ［ｍｍ］の値を下記式により幾何学的に計算することができる。

水平位置Ｔについては、第１実施形態と同じ手法で計算してもよいし、水平画素数Ｈｐと検出垂直座標Ｙｃの比から計算してもよい。

以上述べた第２実施形態の手法によれば、全身検出の結果のみを用いることで、座っている人や身体の一部が隠れている人などを検出対象から除外することができる。加えて、足元の座標（つまり、床面に接する点の座標）から奥行位置Ｌを計算するため、第１実施形態のように検出サイズＳの大きさから奥行位置Ｌを計算する手法に比べて距離精度を向上することができる。よって、センシングエリア内の床面領域を精度良く推定することが可能となる。

＜第３実施形態＞
次に本発明の第３実施形態について説明する。第３実施形態では、上半身検出の結果から足元の座標を推定する方法を採用する。

以下、図１１を用いて、第３実施形態における人検出部２２と位置算出部２３の処理の流れを説明する。本実施形態の人検出部２２は、第１実施形態と同じく、人検出アルゴリズムとして上半身検出（胸より上の部分のシルエットによる人体検出）を用いる。図１１（ａ）は、二人の人物１１０ａ、１１０ｂが検出された例を示している。人物１１０ａと１１０ｂの体格の違いにより、互いの検出座標Ｙｃ１、Ｙｃ２および検出サイズＳ１、Ｓ２に差が生じている。そのため、第１実施形態で述べた方法で奥行位置Ｌを計算すると、人物１１０ａと１１０ｂはほぼ同じ距離に存在しているにもかかわらず、人物１１０ａと１１０ｂとでは計算結果に誤差が発生してしまう。

そこで本実施形態では、図１１（ｂ）に示すように、位置算出部２３が、各人物１１０ａ、１１０ｂの検出座標Ｙｃ１、Ｙｃ２と検出サイズＳ１、Ｓ２から、各人物１１０ａ、１１０ｂの足元の座標Ｙｂ１、Ｙｂ２を求め、その足元の座標Ｙｂ１、Ｙｂ２から各人物１１０ａ、１１０ｂの奥行位置を計算する。足元の座標の推定にはどのようなアルゴリズムを用いてもよいが、ここでは単純に、検出サイズ（つまり上半身のサイズ）に対する比率計算によって足元の座標を求める。一般的に、人の身体の寸法比率は概ね同じであるため、上半身のサイズに対する比率計算だけでも妥当な推定結果を得ることができるからである。例えば、上半身のサイズ：全身のサイズ＝１：３とした場合には、足元の座標Ｙｂは、
Ｙｂ＝Ｙｃ−５Ｓ／２
と計算できる。図１１（ｂ）に示すように、検出座標Ｙｃ１、Ｙｃ２や検出サイズＳ１、Ｓ２が異なっていても、比率計算で求めた足元の座標Ｙｂ１、Ｙｂ２は概ね一致することが分かる。

このように足元の座標Ｙｂ１、Ｙｂ２を求めた後、位置算出部２３は、足元の座標に基づき各人物１１０ａ、１１０ｂの存在位置を計算する。具体的な計算方法は第２実施形態と同じである。

以上述べた第３実施形態の手法によれば、足元の座標（つまり、床面に接する点の座標）から奥行位置Ｌを計算するため、第１実施形態のように検出サイズＳの大きさから奥行位置Ｌを計算する手法に比べて距離精度を向上することができる。よって、センシングエリア内の床面領域を精度良く推定することが可能となる。なお、第３実施形態においても、第１実施形態と同じく、検出座標Ｙｃと検出サイズＳの関係が所定の条件を満たさないものを検出対象から除外する操作を行ってもよい。かかる除外操作を行うことにより、精度のさらなる向上を期待できる。

＜第４実施形態＞
次に本発明の第４実施形態について説明する。第４実施形態では、上半身検出と全身検出とを組み合わせる方法を採用する。

図１２（ａ）に示すように、立位の人物１２０ａと座位の人物１２０ｂが同じ距離に存在した場合（体形は同じであるとする）、二人の人物１２０ａ、１２０ｂの検出サイズＳは同じであるが、画像上の検出座標Ｙｃに差が生じる。つまり、座位の人物１２０ｂの方が検出座標Ｙｃが低くなる。そのため、第１実施形態のように検出座標Ｙｃと検出サイズＳの関係に基づき検出対象を取捨選択した場合、座位の人物１２０ｂは検出対象から除外されてしまう。

そこで本実施形態では、検出された人が座位である場合と立位である場合とで所定の条件を異ならせることで、座位の人物１２０ｂも検出対象として選ばれるようにする。以下、具体的な処理フローについて図１３を用いて説明する。なお、図１３のフローチャートは、第１実施形態における図３のステップＳ１１の詳細フローに該当する。

まず、人検出部２２が画像から上半身検出を行う（ステップＳ１３０）。また、人検出部２２は、同じ画像に対し全身検出も行う（ステップＳ１３１）。なお、上半身検出と全身検出の順番は逆でもよい。図１２（ｂ）に検出結果の一例を示す。立位の人物１２１ａ、１２１ｂは上半身検出と全身検出の両方で検出されているが、座位の人物１２２ａは上半身検出でのみ検出されていることが分かる。

次に、人検出部２２は、検出された人物ごとに、検出座標Ｙｃと検出サイズＳの関係が所定の条件を満たすか否かを判定する。このとき、検出された人物が立位である場合（上半身検出と全身検出の両方で検出された場合）と、座位である場合（上半身検出でのみ検出された場合）とで、処理を分岐する（ステップＳ１３２）。すなわち、人検出部２２は、立位の人物に対しては、立位用のルックアップテーブル（又は関数）から、検出座標Ｙｃに対応する基準値Ｓｒｅｆを取得して（ステップＳ１３３）、立位の人の上半身サイズＳが許容範囲に収まっているかを評価し（ステップＳ１３４）、許容範囲外の場合は検出対象から除外する（ステップＳ１３５）。一方、座位の人物に対しては、座位用のルックアップテーブル（又は関数）から、検出座標Ｙｃに対応する基準値Ｓｒｅｆを取得して（ステップＳ１３６）、座位の人の上半身サイズＳが許容範囲に収まっているかを評価し（ステップＳ１３７）、許容範囲外の場合は検出対象から除外する（ステップＳ１３８）。

以上のように、立位の人物のデータと座位の人物のデータとを別々の基準で取捨選択した後、残った検出結果のみを出力する。このようにノイズを除外した人検出結果のみを用いて以後の処理（図３のステップＳ１２〜Ｓ１４）を行うことによって、センシングエリア内の床面領域を精度良く推定することが可能となる。本実施形態の場合は、座位の人物のデータも床面領域の推定に利用することができるため、人の存在可能エリアを漏れなく且つ精度良く推定することができる。

＜第５実施形態＞
次に本発明の第５実施形態について説明する。前述の実施形態では、図６に示すように、検出された存在位置を平面図上にプロットしたマップを用い、プロット点（バツ印）の分布（有無や粗密）に基づき床面領域を推定している。これに対し、第５実施形態では、推定部２５が、検出された存在位置を、点ではなく、検出誤差を考慮した確率密度分布（又はそれに類する形式）で平面図上に重ね合せていき、累積確率が所定のレベル以上になったエリアを床面領域と判定する、という構成を採る。

図１４（ａ）は、点（Ｔ１，Ｌ１）の位置で人が検出された場合に、平面図にプロットされる確率密度分布の例を示す。この場合、点（Ｔ１，Ｌ１）の存在確率が最も高いと考えられるため点（Ｔ１，Ｌ１）に対し最大値（例えば１０ポイント）を与える。さらに、検出誤差を考慮し、点（Ｔ１，Ｌ１）の周辺の点に対しても、点（Ｔ１，Ｌ１）からの距離に応じた確率の値（例えば、点（Ｔ１，Ｌ１）に近い側から順に８ポイント、６ポイント、・・・、１ポイント）を付与する。このとき、検出誤差は全方位に均等ではなく、カメラからみて奥行方向の検出誤差の方が大きいと考えられることから、図１４（ａ）に示すように、奥行方向に長い分布を用いることが好ましい。

図１４（ｂ）は、位置記憶部２４に蓄積された多数の検出位置それぞれの確率密度分布を重ね合せた例である。累積確率（累積ポイント）が大きいところほど濃い色で示されている。つまり、色の濃いところほど人の通行が多いところと考えられる。このような累積マップを作成した後、推定部２５は、例えば累積確率（累積ポイント）が８０ポイントを超えたエリアを床面領域と判定すればよい。

以上述べた第５実施形態の構成によれば、検出された存在位置を確率密度分布で捉えることで、検出誤差の影響を低減することができ、床面領域（人の存在可能エリア）の推定を精度良く行うことが可能となる。

＜その他の実施形態＞
上述した実施形態の構成は本発明の一具体例を示したものにすぎず、本発明の範囲を限定する趣旨のものではない。本発明はその技術思想を逸脱しない範囲において、種々の具体的構成を採り得るものである。

例えば、上述した実施形態では、エリア推定結果をエアコン装置の空調制御に利用する構成を示したが、これは本発明の一適用例に過ぎない。本発明は、監視カメラ、画像センサ、コンピュータビジョン、ロボットビジョンなどにおけるセンシングエリア内の構造認識（人の動線、床面（地面含む）、作業エリア、通路や障害物の把握など）に好ましく適用することができる。また、上述した各実施形態は、技術的な矛盾が生じない限りにおいて、互いに組み合わせてもよい。

１：エアコン装置、２：エリア情報推定装置、３：エリア情報記憶部、４：空調制御部、５：温度センサ、６：熱交換器、７：送風ファン、８：リモコン
２１：カメラ、２２：人検出部、２３：位置算出部、２４：位置記憶部、２５：推定部

Claims (12)

1. センシングエリアを撮影するカメラと、
   前記カメラの画像から人を検出する人検出部と、
   前記人検出部によって人が検出された前記画像上の座標に基づき、当該人の前記センシングエリア内の存在位置を計算する位置算出部と、
   を有し、
   前記人検出部は、人の上半身を検出するものであって、
   前記位置算出部は、前記人検出部によって検出された人の上半身の画像上の座標及びサイズから当該人の足元の画像上の座標を求め、前記足元の画像上の座標から当該人の前記センシングエリア内の存在位置を計算する
   ことを特徴とするエリア情報推定装置。
2. 前記人検出部は、画像上の座標とサイズの関係が所定の条件を満たさない人を、検出の対象から除外する
   ことを特徴とする請求項１に記載のエリア情報推定装置。
3. 前記位置算出部は、上半身のサイズに対する比率計算によって足元の座標を求める
   ことを特徴とする請求項１又は２に記載のエリア情報推定装置。
4. センシングエリアを撮影するカメラと、
   前記カメラの画像から人を検出する人検出部と、
   前記人検出部によって人が検出された前記画像上の座標に基づき、当該人の前記センシングエリア内の存在位置を計算する位置算出部と、
   を有し、
   前記人検出部は、画像上の座標とサイズの関係が所定の条件を満たさない人を、検出の対象から除外し、検出された人が座位である場合と立位である場合とで、前記所定の条件を異ならせる
   ことを特徴とするエリア情報推定装置。
5. 前記人検出部は、人の上半身を検出する上半身検出と、人の全身を検出する全身検出と
   を行い、上半身検出と全身検出の両方で検出された場合に当該人が立位であると判断し、上半身検出で検出されるが全身検出で検出されなかった場合に当該人が座位であると判断する
   ことを特徴とする請求項４に記載のエリア情報推定装置。
6. 前記センシングエリア内で所定の期間内に検出された人の存在位置の分布に基づき、前記センシングエリア内で人が存在し得る存在可能エリアを推定する推定部をさらに有することを特徴とする請求項１〜５のうちいずれか１項に記載のエリア情報推定装置。
7. 前記推定部は、検出された存在位置のそれぞれを確率密度分布で平面図上に重ね合せていき、累積確率が所定のレベル以上になったエリアを前記存在可能エリアと判定する
   ことを特徴とする請求項６に記載のエリア情報推定装置。
8. 請求項１〜７のうちいずれか１項に記載のエリア情報推定装置と、
   前記エリア情報推定装置によって推定される存在可能エリアの情報に基づいて、空調制御を行う制御手段と、
   を有することを特徴とする空気調和装置。
9. エリア情報推定装置と、
   制御手段と、
   を有する空気調和装置であって、
   前記エリア情報推定装置は、
   センシングエリアを撮影するカメラと、
   前記カメラの画像から人を検出する人検出部と、
   前記人検出部によって人が検出された前記画像上の座標に基づき、当該人の前記センシングエリア内の存在位置を計算する位置算出部と、
   を有し、
   前記制御手段は、前記エリア情報推定装置によって推定される存在可能エリアの情報に基づいて、空調制御を行う
   ことを特徴とする空気調和装置。
10. センシングエリアを撮影するカメラから画像を取得するステップと、
    前記カメラの画像から人を検出する人検出ステップと、
    前記人検出ステップにおいて人が検出された前記画像上の座標に基づき、当該人の前記センシングエリア内の存在位置を計算する位置計算ステップと、
    を有し、
    前記人検出ステップでは、人の上半身を検出し、
    前記位置計算ステップでは、前記人検出ステップにおいて検出された人の上半身の画像上の座標及びサイズから当該人の足元の画像上の座標を求め、前記足元の画像上の座標から当該人の前記センシングエリア内の存在位置を計算する
    ことを特徴とするエリア情報推定方法。
11. センシングエリアを撮影するカメラから画像を取得するステップと、
    前記カメラの画像から人を検出する人検出ステップと、
    前記人検出ステップにおいて人が検出された前記画像上の座標に基づき、当該人の前記センシングエリア内の存在位置を計算する位置計算ステップと、
    を有し、
    前記人検出ステップでは、画像上の座標とサイズの関係が所定の条件を満たさない人を、検出の対象から除外し、検出された人が座位である場合と立位である場合とで、前記所定の条件を異ならせる
    ことを特徴とするエリア情報推定方法。
12. 請求項１０又は１１に記載のエリア情報推定方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images