JP6314712B2 - 部屋情報推定装置、部屋情報推定方法、および空気調和装置 - Google Patents

Description

本発明は、部屋に関する情報を推定する技術に関する。

室内で利用される家電機器は、設置される部屋の形状等に応じて制御を行うことが好ましい場合がある。例えば、空気調和装置において部屋の形状に応じた空調制御を行わないと、空気が循環せずに熱だまりが発生する可能性がある。

近年のエアコンでは、部屋の形状をユーザに入力させて、入力された部屋形状に応じて空調制御を実施するものも存在する（特許文献１等）。しかしながら、装置設置時に、部屋の形状が縦長・横長・正方形などのいずれであるか、エアコンの設置位置が中央・右・左のいずれであるか、壁までの距離が遠め・標準・近めのいずれであるかなどの情報を入力しなければならずユーザの手間がかかる。また、エアコンのユーザインタフェースは貧弱であるので、大まかな部屋形状しか入力することができない。したがって、大まかな部屋形状は分かっても壁までの距離は分からないという事態も発生する。さらに、実際の部屋の形状がより複雑な形状であったり部屋内に家具が存在したりする場合には、これらも考慮して空調制御を実施することが好ましいが、大まかな部屋形状のみの入力では最適な空調制御は実現困難である。

また、部屋の形状を取得するために、ＴＯＦ方式の測距センサやステレオカメラ方式の測距センサを用いる技術も知られている（特許文献２等）。測距センサを用いれば、部屋の形状を的確に把握することができ、したがって、部屋の形状に応じた適切な空調制御が可能である。しかしながら、ＴＯＦ方式の測距センサは高価である。またステレオカメラ方式の測距センサは２つもカメラが必要なので単眼カメラと比較するとコストが高くなる。

また、室内の人の存在やその分布などに基づいて、空調制御を行う技術も知られている（特許文献３等）。特許文献３には、人の頭部を認識して、室内における経時的な人の数や分布などを取得して、これらの情報に基づいてエアコンの空調制御などを行うことが開示されている。しかしながら、特許文献３の手法では、部屋の形状は取得できないので、部屋の形状に応じた空調制御を行うことはできない。

ここでは主に空気調和装置を例にとって装置が使用される部屋の形状が制御に有用である旨を説明したが、空調制御に有用な情報は部屋の形状だけではない。その他の部屋に関する情報、例えば、室内における家具の配置や室内における人の存在領域なども空調制御に有用である。また、部屋情報が有用となるのは空気調和装置には限られず、例えば、照明制御装置などにおいても、部屋の形状等を考慮することで、より適切な照明制御が実現できる。

特開２０００−３４６４３２号公報 特開２００８−２６１５６７号公報 特開２０１２−１７９３６号公報

本発明は上記実情に鑑みなされたものであって、部屋に関する情報を簡易かつ精度良く推定可能な技術を提供することを目的とする。

上記目的を達成するため本発明では、撮像手段によって部屋を撮影して、撮影画像から人体を検出して、人体検出位置の履歴に基づいて部屋に関する情報を推定する、という構成を採用する。

具体的には、本発明に係る部屋情報推定装置は、部屋を推定する部屋情報推定装置であって、推定対象の部屋を撮影する撮像手段と、前記撮像手段によって撮影された画像から人体を検出して、前記部屋における前記人体の位置を取得する人体検出手段と、異なる時刻に撮影された複数の画像から検出された人体の検出点の分布を表す存在マップを生成する存在マップ生成手段と、前記存在マップに基づいて前記部屋に関する情報を推定する推定手段と、を備える部屋情報推定装置である。

部屋に関する情報は、例えば、部屋の形状、部屋における家具の設置領域、人物の存在領域などが例示できる。この構成によれば、ユーザが自ら情報を入力しなくても、撮影画像から検出される人体の検出位置を蓄積し、その検出点の分布から部屋に関する情報を推定することができる。特に、人体検出結果を蓄積するほど、部屋に関する情報を正確に推定することができる。

人体検出は、種々の手法によって行うことができる。例えば、前記人体検出手段は、前記画像から人の顔、頭部、または上半身を検出し、前記画像中における顔、頭部、または上半身の位置および大きさに基づいて、前記部屋における人体の位置を取得するとよい。画像中における顔、頭部、または上半身の位置と大きさに基づいて、部屋内における水平位置だけでなく高さ位置も判別可能である。撮影画像から顔、頭部、または上半身の検出を行う手法なので、前記撮像手段として通常の単眼カメラを採用可能であり、製造コストを抑制できる。また、検出した顔または頭部を追跡することで、人体の追跡処理も可能であり、移動軌跡の取得や、移動しているか停留しているかなどの判別もできる。これらの情報を使うことで、部屋についてのより詳細な情報を取得することもできる。

本発明において、部屋に関する情報として、存在マップに基づいて部屋の形状を推定することができる。存在マップに基づいて部屋の形状を推定する処理は、例えば、次のように行うことができる。すなわち、前記推定手段は、前記存在マップにおける検出点分布に外接する多角形を、前記部屋の形状であると推定することができる。ここで多角形は何角形であってもよいが、例えば、四角形を採用することが考えられる。この際、前記推定手段は、前記部屋が互いに直交する２つの方向に平行な直線によって仕切られていると仮定して、前記部屋の形状を推定することができる。一般的に部屋の壁は互いに直交する方向を有しているためである。また、前記２つの方向は、前記撮像手段の撮影方向と、当該撮影方向に直交する方向である、ことも好ましい。撮像手段を壁面に設置して壁面に直交する方向を撮影方向とする場合には、これら２つの方向が壁の方向となるためである。

また、前記推定手段は、前記存在マップにおける検出点分布に外接する多角形として求められる形状よりも、所定の距離だけ壁面が外側にあるとみなして、前記部屋の形状を推定することも好ましい。一般に、ユーザは壁面ぎりぎりに位置することはなく、壁面から所定の距離だけ離れた位置を移動するためである。なお、移動する際には壁面に沿って移動はしないが、壁にもたれかかった体勢で停止することはあり得る。そこで、前記人体検出手段は、人体の検出位置において当該人体が移動しているか停留しているかも検出し、前記推定手段は、人体が停留している検出点については、人体が移動している検出点と比較して前記所定の距離を小さく設定することも好ましい。

また、推定手段は、部屋に関する情報として、家具等の設置領域などを推定することも好ましい。例えば、前記推定手段は、前記存在マップに、検出点が存在しない空白領域であって、周囲を検出点に囲まれた空白領域が存在する場合には、当該空白領域は家具が設置された領域であると推定することができる。家具が設置された場所にはユーザは進入せず、したがって、家具設置領域では人体検出がされないためである。

さらに、前記人体検出手段は、人体の検出位置において当該人体が移動しているか停留しているかも検出し、前記空白領域の周りに停留点が固まっている場合には、前記空白領域にはテーブルおよび椅子が設置されていると推定することができる。周辺に停留することが多い家具の典型はテーブルおよび椅子だからである。なお、椅子に着席する場合には頭部は低い高さに検出される。したがって、空白領域にテーブルが設置されていると推定するための条件として、頭部の検出高さが低い検出点が多いという条件をさらに付加することも好ましい。

また、前記推定手段は、検出点が存在しない空白領域であって、周囲を検出点に囲まれていない空白領域が存在する場合には、当該空白領域は壁際に家具が設置された領域または壁領域であると推定することができる。この空白領域が、家具が設置された領域であるか壁領域であるかを、別のセンサを用いて判別することも好ましい。

また、前記推定手段は、部屋に関する情報として、存在マップに基づいて人の存在領域を推定することができる。例えば、前記推定手段は、存在マップのうち、検出点の検出回数が所定の割合よりも多い領域を、人の存在領域として推定することができる。また、前記人体検出手段は、人体の検出位置において当該人体が移動しているか停留しているかも検出し、前記推定手段は、前記人の存在領域のうち、停留中の検出点が所定の割合よりも多い領域を停留領域であると推定することもできる。あるいは、前記人の存在領域のうち、移動中の検出点が所定の割合よりも多い領域を移動領域であると推定することもできる。

また、人体検出を用いた人体追跡処理の結果に基づいて、部屋の出入り口や収納スペースなどを判別することもできる。例えば、前記人体検出手段は、検出された人体を追跡する処理も行い、前記推定手段は、人体の移動軌跡と推定された部屋形状の境界とが所定の回数以上交わる場所を、部屋の出入り口または収納スペースであると推定することが好ましい。移動軌跡と多く交わる部屋形状の境界は、部屋の出入り口か、タンスや押し入れなどの収納スペースであることが多いためである。ここで、前記推定手段は、人体の移動軌跡と推定された部屋形状の境界とが所定の回数以上交わる場所であって、人体の追跡が行えなくなる場所、または、人体が新たに検出される場所を、前記部屋の出入り口であると推定することができる。また、前記推定手段は、人体の移動軌跡と推定された部屋形状の境界とが所定の回数以上交わる場所であって、人体の追跡が継続できる場所を、収納スペースであると推定することができる。出入り口から退出する場合には人体の追跡ができなくなり、出入り口から侵入する場合はそこから人体の追跡が開始するので、出入り口の位置は人体追跡の終了点または開始点となる。一方、収納スペースでは人体追跡が継続できる。このような相違があるので、出入り口か収納スペースかを判別できる。

また、人体検出結果と時刻情報とをあわせて使用すると、生活シーンを推定することもできる。すなわち、前記人体検出手段は、前記人体が検出された時刻情報も取得し、時間帯および行動パターンを含む生活シーン定義を記憶した記憶手段を更に有し、と、前記推定手段は、前記人体検出手段の検出結果から得られる人体の行動パターンと人体検出を行った時刻情報と、前記記憶手段に記憶された生活シーン定義とに基づいて、前記部屋においてとられる生活シーンを推定することができる。例えば、生活シーン定義に、所定の時
間帯に所定の行動パターンを行われれば、ある特定の生活シーンがとられているという情報を格納しておく。そして、生活シーン定義に定義された時間帯において定義された行動パターンが現れれば、この部屋において当該生活シーンがとられていると判断できる。この際、この生活シーンが実際に行われる時間帯や場所などを特定することもできる。例えば、夕方の時間帯にある特定の範囲の場所に立っている時間が長い場合に、この場所で料理をしているという生活シーンを定義できる。生活シーン推定手段によって、「料理」の生活シーンがとられることが推定されれば、実際に料理を行う時間帯がいつであるか、および、キッチンがどこであるかなども判断できる。

なお、本発明は、上記手段の少なくとも一部を含む部屋情報推定装置として捉えることができる。また、本発明は、部屋情報推定方法や、その方法の各ステップをコンピュータに実行させるためのコンピュータプログラムや、当該プログラムを非一時的に記憶したコンピュータ読取可能な記憶媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

また、本発明は、上記の部屋情報推定装置や部屋情報推定方法を用いて推定された部屋情報に基づいて、制御を行う装置として捉えることができる。例えば、本発明の一実施形態は、上記の部屋情報推定装置と、前記部屋情報推定装置によって推定される部屋情報に基づいて、空調制御を行う制御手段と、を備える空気調和装置である。また、本発明の別の形態は、上記の部屋情報推定装置と、前記部屋情報推定装置によって推定される部屋情報に基づいて、照明制御を行う制御手段と、を備える照明制御装置である。

本発明によれば、ユーザからの入力がなくても、簡易かつ精度良く部屋に関する情報を推定できる。

図１は、第１の実施形態にかかる部屋情報推定装置を含むエアコン装置の機能ブロックを示す図。 図２は、エアコン装置の外観を示す図。 図３は、エアコン装置による空調制御処理の流れを示すフローチャート。 図４は、顔検出結果と人体位置の関係を説明する図。 図５は、顔検出結果と人体位置の関係を説明する図。 図６は、部屋情報推定装置による部屋情報推定処理の流れを示すフローチャート。 図７は、人体検出結果の例を示す図。 図８は、人体検出結果から推定される部屋形状を説明する図。 図９は、人体と壁面との距離を考慮した部屋形状の補正処理を説明する図。 図１０は、室内の家具設置領域を検出する処理を説明する図。 図１１は、移動軌跡に基づく出入り口および収納スペースを推定する処理の流れのフローチャート。 図１２は、人体の移動軌跡に基づいて出入り口および収納スペースを推定する処理を説明する図。 図１３は、第２の実施形態にかかる部屋情報推定装置を含むエアコン装置の機能ブロック図。 図１４は、第２の実施形態における生活シーン情報推定処理の流れを示すフローチャート。

以下に図面を参照して、この発明を実施するための好ましい形態を例示的に詳しく説明
する。ただし、以下の実施形態に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。

＜第１の実施形態＞
（空気調和装置の構成）
図１および図２を参照して、本発明の実施形態に係る空気調和装置（以下、エアコン装置と称する）の全体構成について説明する。図１は、エアコン装置の機能ブロックを示す図であり、図２は、エアコン装置の外観を示す図である。このエアコン装置１は、人体検出機能を用いた部屋情報推定装置２を備えており、部屋情報推定装置２によって推定された部屋に関する情報をもとに空調制御を実施するものである。なお、本実施形態においては、部屋情報として、部屋の形状および家具設置領域を推定し、これらの部屋情報に基づいて空調制御を実施する。

エアコン装置１は、主な構成として、部屋情報推定装置２、部屋情報記憶部３、空調制御部４、温度センサ５、熱交換器６、送風ファン７を有している。部屋情報記憶部３には、部屋形状情報３ａおよび家具配置情報３ｂがそれぞれ記憶される。部屋情報推定装置２は、カメラ２１、人体検出部２２、人体位置算出部２３、検出位置記憶部２４、部屋情報推定部２５を有している。

空調制御部４は、プロセッサやメモリなどから構成され、プロセッサがプログラムを実行することにより、所望の温度、風向、風量の運転条件を決定し、この運転条件で動作するように熱交換器６や送風ファン７などを制御する。空調制御部４は、運転条件を決定する際に、リモコン８から入力される設定条件（設定温度など）や温度センサ５から得られる室内温度に加えて、部屋情報推定装置２から得られる部屋に関する情報（部屋形状情報３ａ、家具配置情報３ｂ）も考慮して運転条件を決定する。また、部屋情報推定装置２は人体検出機能を有しているので、空調制御部４は、リアルタイムの人体検出結果も考慮して運転条件を決定する。

温度センサ５は、例えば、赤外線センサなどを用いて室内の温度を取得する。熱交換器６は、室外機（不図示）と接続されて冷凍サイクルを構成し、熱交換器６内に取り込んだ空気を暖めたり冷やしたりする。送風ファン７は、気流を発生させる装置であり、室内の空気を循環させる。送風ファン７は、風量および風向（上下方向および左右方向）を調整可能である。

部屋情報推定装置２は、部屋全体の画像を撮影し、撮影画像から人体を検出して、人体の検出位置の分布に基づいて部屋に関する情報を推定する装置である。本実施形態の部屋情報推定装置２は、部屋の形状および家具設置領域を推定する。部屋情報推定装置２は、プロセッサやメモリなどを備えるコンピュータとして構成され、プロセッサがプログラムを実行することによって人体検出部２２、人体位置算出部２３、検出位置記憶部２４、部屋情報推定部２５などの機能を実現する。なお、これらの機能部のうち一部または全部をＡＳＩＣやＦＰＧＡ回路で構成してもよい。

カメラ２１は、図２（ａ）に示すようにエアコン装置１の前面に取り付けられ、部屋全体を撮影可能に構成される。カメラ２１の撮影方向は、図２（ｂ）に示すように、エアコン装置１が設置される壁面と垂直な方向から、所定の角度だけ下向きの方向である。カメラ２１は定期的に撮影を行い、撮影画像に基づいて人体検出部２２による人体検出処理が実施される。撮影の間隔は任意であってよいが、人体の追跡ができるようにある程度短い間隔であることが望ましい。撮影間隔は、例えば１秒間隔とする。

人体検出部２２は、カメラ２１によって撮影された画像から人体を検出する機能部である。人体検出部２２は、撮影画像から顔または顔の一部の器官（目、鼻、口など）を検出することによって人体を検出することができる。あるいは、人体検出部２２は、撮影画像から頭部や上半身を検出することによって人体を検出してもよい。人体検出部２２は、撮影画像中における人体の位置および顔、頭部、または上半身の大きさを検出する。さらに、人体検出部２２は、検出された人物の顔や体や視線の向きなどを検出してもよい。

人体位置算出部２３は、人体検出部２２が検出した撮影画像における顔、頭部、または上半身の位置および大きさに基づいて、室内における人体の位置を取得する機能部である。人体位置算出部２３は、撮影画像における顔、頭部、または上半身の位置や大きさと、カメラ２１の画角、設置角度、設置高さから、検出された人物の３次元的な位置（平面位置および高さ）を算出する。人体位置算出部２３によって算出された人物の位置は、検出位置記憶部２４に記憶・蓄積される。なお、付加的な情報として、人体が検出された時刻情報も関連付けて記憶される。その他の付加的な情報として、撮影がされた時刻情報、検出された人物が立っているか座っているか、検出人物の移動軌跡、検出された際に移動していたか停留していたかといった情報も検出位置と関連付けて記憶される。検出された人物が立っているか座っているかは、検出位置の高さから求めることができる。なお、寝転がっている場合を座っているとみなしてもよいし、これらを別々に扱って、立っているか座っているか寝転がっているかを判別するようにしてもよい。移動軌跡は、人体追跡処理によって取得することができる。また、検出された人物が移動中であったか停留していたかは移動軌跡から取得することができる。以下では、移動中に検出された検出点のことを動点と称し、停留中に検出された検出点のことを停留点と称する。

検出位置記憶部２４は、人体位置算出部２３によって算出された人体の室内における位置（現実の位置）を記憶する。この際、上述したように、検出時刻、対応する移動軌跡、動点であるか停留点であるかといった情報も関連付けて記憶される。人体検出処理をある程度の期間継続的に実行することで、検出位置記憶部２４には、異なる時刻に検出された複数の検出点に関する情報が蓄積される。

部屋情報推定部２５は、検出位置記憶部２４に蓄積された人体検出の結果に基づいて、部屋情報を推定する。部屋情報推定部２５は、人体の検出点の分布に基づいて、部屋の形状（壁面の形状）や家具配置（家具の設置領域）や出入り口の設置位置などを推定する。本実施形態では、これらの情報を総称して部屋情報と称する。部屋情報推定部２５が推定した部屋情報は、部屋情報記憶部３に格納されて、空調制御部４が空調制御を行う際に参照する。部屋情報推定部２５による、より詳細な処理内容については、以下でフローチャートともに説明する。

（処理フロー）
次に、図３および図６のフローチャートを用いて、エアコン装置１で行われる空調制御処理の流れについて説明する。図３は、空調制御処理の全体の流れを示すフローチャートであり、図６は、部屋情報推定処理の流れを示すフローチャートである。

まず、カメラ２１が、エアコン装置１が設置されている部屋（部屋情報推定対象の部屋）の撮影を行い（ステップＳ１０）、人体検出部２２が撮影画像から人体の検出を行う（ステップＳ１１）。人体検出結果の例を、図４（ａ）に示す。図４（ａ）では、３人の人物４１ａ、４１ｂ、４１ｃが検出されている。人体検出部２２は、検出された人物の画像中での位置および人物の大きさ（ここでは顔を検出しているので顔の大きさ）を取得する。

人体位置算出部２３は、検出された人物の画像内における位置、検出された人物の大き
さ、カメラ２１の画角、設置高さなどに基づいて、検出された人物の室内での位置を特定する（ステップＳ１２）。図４（ｂ）は、図４（ａ）において検出された人物４１ａ、４１ｂ、４１ｃにそれぞれ対応する、室内の平面位置４２ａ、４２ｂ、４２ｃを示す。撮影画像中における人物の位置から人物の存在方向が分かり、人物（ここでは顔）の大きさからカメラ２１との距離が分かるので、人物の３次元位置を算出することができる。図５は、ほぼ同じ水平位置で高さが異なる人物を検出する場合の例である。図５（ａ）はこの状況においてカメラ２１によって撮影された画像を示す。図５（ａ）では、２人の人物４３、４４が検出されている。人物４４は撮影画像中で下方向に位置するにもかかわらず顔の大きさが比較的大きいことから、低い位置にいることが分かる。すなわち、画像内における位置と大きさをもとに、人物４３、４４の存在位置は図５（ｂ）（ｃ）に示す場所であると判断できる。

人体位置算出部２３は、ステップＳ１２で算出した人物の位置（検出位置）を、検出位置記憶部２４に格納する。この際、検出時刻（撮影時刻）も検出位置と合わせて検出位置記憶部２４に格納する。また、検出位置のうちの高さ情報に基づいて、検出された人物が立っていたか座っていたかを判別して、検出点と関連付けて検出位置記憶部２４に格納する。

ステップＳ１０からステップＳ１３の処理は、繰り返し実行される。したがって、複数の検出結果における検出位置が検出位置記憶部２４に蓄積されることになる。また、人体検出を繰り返し実行する際に、人体位置算出部２３は、人体の移動軌跡の追跡処理も行う。取得された移動軌跡は検出位置記憶部２４に記憶されるとともに、それぞれの検出点がどの移動軌跡に対応するものであるかという情報も検出位置記憶部２４に記憶される。また、移動軌跡に基づいて、検出された人物が移動していたか停留していたかも記憶する。例えば、移動軌跡から求まる移動の速度が所定の閾値以上の場合に移動していると判断し、この閾値未満の場合に停留していると判断することができる。

所定の期間ステップＳ１０からステップＳ１３の処理を繰り返したら、検出位置記憶部２４に蓄積された情報に基づいて、部屋情報推定部２５が部屋情報を推定する（ステップＳ１４）。この部屋情報推定処理の詳細なフローを、図６のフローチャートに示す。

ステップＳ６０１で、部屋情報推定部２５は、検出位置記憶部２４から蓄積された人体検出点に関する情報を取得し、検出点の分布（存在マップ）を生成する。存在マップ生成処理においては、人体の検出位置のうち平面位置をプロットしたマップを生成する。

ここでは、図７（ａ）に示す部屋７０において一定期間人体検出を行った場合を例に説明する。部屋７０の中央にはテーブル７１が設置され、その周囲に椅子７２ａ−７２ｆが設置されている。また、部屋７０の図中右下隅には本棚（収納家具）７３が設置され、図中左下隅にはドア（出入り口）７４が設置されている。この部屋の図中上側の壁面に本実施形態のエアコン装置１が設置され、カメラ撮影および人体検出が行われる。

図７（ｂ）は、上記の例において検出された検出点の分布を示す存在マップ７５である。図７（ｂ）のバツ印の位置（水平位置）において、人体が検出されたことを示す。

部屋情報推定部２５は、まず、部屋の形状を推定する。部屋形状推定処理はステップＳ６０２およびステップＳ６０３からなる。ステップＳ６０２では、部屋情報推定部２５は、存在マップにおける人体検出点の分布に外接する多角形を算出して、この多角形を部屋の形状（壁面の形状）であると推定する。多角形は任意の多角形であってよいが、部屋の形状は矩形（長方形）であることが一般的なので、部屋情報推定部２５は、人体検出点分布に外接する矩形を部屋の形状として推定することができる。この際、矩形の各辺は、エ
アコン装置１が設置された壁面の方向と、これに直交する方向（カメラ２１の水平撮影方向と、これに直交する水平方向と同じ）と平行とする。

図７（ｂ）に示す存在マップ７５に基づいて得られる部屋形状を図８に示す。ここでは、存在マップ７５における複数の検出点の最小外接矩形として、部屋形状８０が求められている。

なお、存在マップから推定する部屋形状は矩形に限る必要はなく、外接する多角形として部屋形状を推定すればよい。この際、エアコン装置１が設置された壁面方向とこれに直交する方向（カメラ２１の水平撮影方向とこれに直交する水平方向）の２つの方向と平行な直線（壁）で部屋が仕切られていると仮定して、存在マップに外接する多角形を求めることも好ましい。部屋に柱などが存在すると部屋の形状は矩形とはならないが、それぞれの壁面は互いに直交する２つの方向しかとらないことが一般的なためである。

次に、部屋情報推定部２５は、ステップＳ６０２で推定された部屋形状に対して、壁面位置（部屋形状）を補正する補正処理を施す（ステップＳ６０３）。ステップＳ６０２では、人体の検出点に外接する矩形として部屋形状を求めている。しかしながら、実際には人物が壁と接触して位置することは少ない。一般に、図９（ａ）に示すように、人物９１は壁面９２からある程度の距離９３だけ離れた位置に存在すると考えられる。特に、人物９１が移動している場合には、人物９１と壁面９２との間の距離は大きくなる。そこで、部屋情報推定部２５は、実際の部屋の形状は、ステップＳ６０２で推定した外接矩形８０よりも所定の距離だけ壁面が外側にあるものと仮定して、部屋の形状を推定する。ただし、人物９１が壁面９２に寄りかかって停留することは考えられ、この場合は壁面との間の距離９３は動点の場合と比較すると小さくなる（ゼロになるとみなしてもよい）。そこで、検出点が動点である場合には、上記の所定の距離を大きく設定する一方、検出点が停留点である場合には、上記の所定の距離を小さく設定するとよい。

例えば、図９（ｂ）に示すような検出点分布に基づいて、ステップＳ６０２において部屋形状９４が推定されたとする。なお、図９（ｂ）において黒丸は動点を表し、白丸は停留点を表す。部屋情報推定部２５は、推定された部屋形状９４の境界付近に位置する動点を抽出し、実際の検出点よりも外側に検出点があるものとみなす。図９（ｃ）に示すように、壁面の付近の動点については、付近の壁面と直交する方向に所定の距離だけ離れた位置に検出点があるものとみなす（バツ印がついた丸）。部屋の隅付近の検出点については、みなし検出点はそれぞれの壁面について設定される。また、停留点についてはこのような処理は行わないか、動点の場合よりも短い距離だけ離れた位置に検出点があるものとみなす（図９（ｃ）では、停留点についてはみなし検出点を設定する処理を行っていない）。部屋情報推定部２５は、このようにして設定されたみなし検出点も含めて検出点に外接する矩形を再度求めることで、図９（ｃ）に示す部屋形状９５を取得することができる。このようにして得た部屋形状９５の方が、壁面と人体との距離を考慮している分だけより正確な形状であるといえる。

なお、上記の例では、検出点に外接する矩形を２回求めているが、ステップＳ６０２とステップＳ６０３の処理をまとめて行うこともできる。図９（ｄ）に示すように、動点については所定の距離の拡がりを有するものとみなす。この所定の拡がりを点線の円で示している。停留点については、拡がりがないものとするか、動点よりも小さい半径の拡がりを有するものとみなす。そして、このような拡がりを有する検出点に外接する矩形を求めれば、上記と同じ部屋形状９５を得ることができる。

次に、部屋情報推定部２５は、室内に存在する家具の設置領域を検出する。家具設置領域推定処理は、以下のステップＳ６０４〜ステップＳ６０７からなる。具体的には、まず
ステップＳ６０４において、部屋情報推定部２５は、存在マップにおいて人体検出点が存在しない領域（空白領域と称する）が存在するか判断し、存在する場合にはその空白領域の範囲を特定する。図８の例では図中の中央と右下に人体検出点が存在しない領域があるので、図１０に示すように２つの空白領域１００１、１００２が特定される。この空白領域の位置は、周囲の検出点に内接する矩形として求めてもよいが、空白領域内にいくつかの検出点が位置するように空白領域の位置を決定してもよい。人物の頭部が家具の上方に位置することもあるためである。また、空白領域の形状は矩形に限られず、その他の多角形や、円や楕円など、あるいはその他の任意の形状であっても構わない。

空白領域が特定されたら、部屋情報推定部２５はそれぞれの空白領域について、当該空白領域が人体検出点によって囲まれているか否かを判断する（Ｓ６０５）。そして、人体検出点に囲まれる空白領域（Ｓ６０５−ＹＥＳ）はテーブルであると推定し（Ｓ６０６）、人体検出点に囲まれていない空白領域（Ｓ６０５−ＮＯ）は壁際に設置された家具または壁領域であると推定する（Ｓ６０７）。例えば、図１０における空白領域１００１は周囲が人体検出点に囲まれているので、その領域にテーブルが設置されているものと推定できる。一方、空白領域１００２は周囲が人体検出点に囲まれていないので、その領域は壁際に設置された家具または壁領域であると推定できる。

さらに、部屋情報推定部２５は、ステップＳ６０８において、人体追跡処理によって得られる人体の移動軌跡に基づいて、部屋形状についての付加情報を推定する。付加情報として、出入り口の場所、収納家具等の場所、通路の場所などが含まれる。

出入り口や収納家具の場所を推定する手法を、図１１および図１２を用いて説明する。部屋情報推定部２５は、ステップＳ６０７までの処理によって推定された部屋形状情報を取得して、部屋の境界を特定する（Ｓ１１０１）。部屋形状の境界は、室内の実質的な居室スペースの境界を意味し、したがって壁際に設置された家具を含まない領域の境界を意味する。ステップＳ６０７までの処理によって、図１２（ａ）に示すように部屋形状１２０１が推定されているとする。また、領域１２０２は、周囲が人体検出点に囲まれていない空白領域すなわち、壁際に設置された家具または壁の領域として推定されている。このような場合は、部屋形状１２０１から領域１２０２を除いた領域の境界１２０３が、部屋形状の境界として特定される。なお、部屋形状の境界は、存在マップにおける外周として決定してもよい。

次に、部屋情報推定部２５は、検出位置記憶部２４に記憶されている人体の移動軌跡（人体追跡処理の結果）を取得する（Ｓ１１０２）。図１２（ｂ）は移動軌跡の例を示す図であり、移動軌跡を矢印付きの線で示している。なお、バツ印は人体追跡が行えなくなった場所を示し、丸印は人体追跡が開始された（人体が新たに検出された）場所を示す。

部屋情報推定部２５は、移動軌跡と所定の回数以上交わる境界１２０３の場所を特定する（Ｓ１１０３）。図１１（ｂ）の例では、領域１２０４、１２０５の２つの領域が特定できる。ここで、所定の回数というのは、例えば、ある定められた値であってもよいし、検出位置記憶部２４に格納されている移動軌跡の数に応じて定められる値であってもよい。

部屋情報推定部２５は、ステップＳ１１０３で特定された場所で、人体追跡が継続可能か否かを判断する（Ｓ１１０４）。そして、人体追跡が継続できない場所（Ｓ１１０４−ＮＯ）は出入り口が設置された箇所であると推定し（Ｓ１１０５）、人体追跡が継続できる場所（Ｓ１１０４−ＹＥＳ）は収納スペースであると推定する（Ｓ１１０６）。出入り口から人が入出する場合は新たに人体が検出され、出入り口から人が退出する場合はそこで人体追跡が行えなくなる。一方、押し入れやタンスなどの収納スペースに接近しても部
屋から退出はしないので、人体追跡を継続できる。したがって、上記のような判断を行うことができる。

なお、ステップＳ１３０８の付加情報推定の例として、出入り口および収納スペースの設置箇所を推定する例を説明した。しかしながら、付加情報としてその他の情報を取得してもよい。例えば、人が移動するだけであり停留しない場所（移動領域）を、通路と判断することができる。また、人が停留することが多い場所（停留領域）をテーブル、ソファ、ベッド、キッチンなどと判断することができる。さらに、停留時の人体の検出高さに基づいてこれらのうちのいずれであるかを判断することもできる。また、停留点における視線方向または顔向きに基づいて、テーブルであるかソファであるかなども判断できる。テーブルでは複数の人物が向かい合って座ることが多いのに対し、ソファでは向かい合って座ることは少ないため、これらの区別が可能である。このように、人体検出結果に基づいて、部屋の形状のみならず種々の付加情報を取得することができる。

部屋情報推定部２５は、以上のようにして求めた、部屋の形状や、家具の設置位置、出入り口の場所などの情報を出力し、部屋情報記憶部３に格納する。以上が、図３のステップ１４における部屋情報推定処理である。

ステップ１５では、推定された部屋情報に基づいて、空調制御部４が空調制御を実施する。例えば、部屋の形状に基づいて、送風ファン７の風量や風向きを適切に制御する。具体的には、壁までの距離が長い向きについては風量を強くしたり、室内で熱だまりが生じず空気が循環するように風向きを調整する。また、人が停留する場所には風を直接当てないという制御や、逆に人が停留している場所に風を直接当てるという制御もできる。人の停留場所の分類（テーブル、ソファ、ベッド、キッチンなど）が分かる場合には、その分類に応じた制御も行える。例えば、テーブル、ソファ、ベッドに対しては風を直接当てないが、キッチンに対しては風を直接当てるという制御が考えられる。また、出入り口や通路の場所も分かる場合には、これらの情報も考慮して空調制御を実施することが好ましい。なお、空調制御部４は、あらかじめ推定された部屋情報だけでなく、人体位置算出部２３がリアルタイムに取得する人物の位置や数なども考慮して空調制御を行うことができる。

（本実施形態の利点）
以上述べた本実施形態のエアコン装置によれば、ユーザが部屋に関する情報を自ら入力しなくても、部屋情報推定装置によって自動的に部屋情報を推定することができる。部屋情報推定において、顔や頭部や上半身に基づく人体検出技術を用いているため通常の単眼カメラで撮影する画像で十分であり、ステレオカメラやＴＯＦ方式カメラなどの高価なカメラは不要なため、装置の製造コストを抑えることができる。さらに、人体の３次元位置（特に高さ）が分かり、また、移動軌跡に基づいて移動しているか停留しているかも分かる。これらの情報を考慮することで、室内の場所のカテゴリを判別することができる。そして、このような部屋の形状や各場所のカテゴリなどが分かることで、エアコン装置は、設置された部屋に応じた適切な空調制御が実施可能となる。

＜第１の実施形態の変形例＞
第１の実施形態においては、部屋の形状を推定しているが、部屋に関する情報として必ずしも部屋の形状を推定する必要はない。例えば、人体検出点をプロットした存在マップから、人が存在する領域を推定してもよい。部屋の形状が分からなくても、人の存在領域が分かればそれに応じて適切な空調制御が実施できる。

人の存在領域は、例えば、次のようにして推定することができる。部屋情報推定部２５は、存在マップから人体検出点が所定の割合以上存在する領域（人体検出点の密度が高い
領域とも表現できる）を特定し、この領域を人の存在領域と推定する。すなわち、人が高い確率で存在する場所を、人の存在領域として推定していることになる。

なお、人体検出部が人体追跡処理を行っており、それぞれの検出点が動点であるか停留点であるか分かる場合には、人の存在領域を更に細分化できる。具体的には、人の存在領域のうち、停留点が多く含まれる領域を停留領域と推定する。停留領域は、例えば、テーブルやソファなど、人が比較的長い間滞在する場所である。逆に、人の存在領域のうち、動点が大含まれる領域を移動領域と推定する。移動領域は、通路など、人がもっぱら移動のみに用いる領域である。なお、停留点や動点が多く含まれるか否かは、領域内における全検出点のうちの所定の割合以上が停留点や動点であるか否かによって判断することができる。

人の存在領域を用いることで、例えば、ユーザのニーズに応じて人の存在領域とくに停留領域を重点的に冷やすという空調制御が行える。また、人の存在領域とくに停留領域には直接風が当てないような空調制御も行える。このように、部屋形状が分からなくても人の存在領域が分かれば、快適かつ省エネルギーな空調制御が行える。

＜第２の実施形態＞
本実施形態のエアコン装置は、第1の実施形態の構成に加えて、人体検出結果に基づい
て生活シーンライフサイクルを推定して、部屋形状に合わせて生活シーンも考慮して適切な空調制御を実施する。

生活シーンは、生活の場において生じる典型的な行動パターンである。たとえば、料理をする、食事をする、団らんをする、勉強をするなどといった行動パターンなどを生活シーンの例として挙げることができる。生活シーンライフサイクルは、どのような生活シーンがどの時間帯に現れるかというサイクルである。生活シーンに応じて適切な空調制御方法は異なるので、このような生活シーンライフサイクルが分かれば、それを利用して好適な空調制御が実現できる。

図１３は本実施形態のエアコン装置１の機能ブロック図である。第１の実施形態と比較すると、部屋情報推定装置２が生活シーンルール記憶部２６を備えており、部屋情報推定部２５が生活シーン情報も推定する点で異なる。また、部屋情報記憶部３には生活シーン情報３ｃも記憶され、生活シーン情報３ｃも考慮して空調制御を行う。

生活シーンルール記憶部２６には、生活シーンを定義するルールが記憶される。生活シーンは、その生活シーンがどの時間帯に現れるか、どのような行動パターンが取られるかという情報を含む。以下に、「料理中」および「夕食中」という２つの生活シーンについての生活シーンルールを例示する。

生活シーン名：料理中
時間帯 ：夕方〜夜
行動パターン：特定の範囲内（キッチン）で長時間（たとえば３０分以上）立ったまま移動している

生活シーン名：夕食中
時間帯 ：夕方〜夜
行動パターン：特定の場所（ダイニングテーブル）に座って停留している。特に、複数人が向かい合って座って停留している。

上記のルールは比較的単純なルールであるが、より詳細なルールを記載してもよい。ま
た、上記で例示した生活シーン以外のより多くの生活シーンについてのルールが生活シーンルール記憶部２６に記憶される。

部屋情報推定部２５は、第１の実施形態で説明した部屋情報に加えて、検出位置記憶部２４に記憶されている人体検出結果から、生活シーンルールに該当する行動パターンを判別する。なお、本実施形態では各検出点が検出された時刻情報が必要であるため、検出位置記憶部２４には人体検出点の位置とともにその検出点が検出された時刻情報も一緒に記憶される必要がある。

本実施形態における空調制御処理および部屋情報推定処理は基本的に第１の実施形態（図３および図６）と同様である。ただし、本実施形態では、部屋情報推定処理において、生活シーン情報推定処理が追加される点で異なる。生活シーン推定処理の流れを示すフローチャートを図１４に示す。この生活シーン推定処理は、例えば、部屋情報推定処理のステップＳ６０８の処理の後に行われる。

まず、部屋情報推定部２５は、生活シーンルール記憶部２６から、１つの生活シーンを選択して、そのルールを取得する（Ｓ１５０１）。次に、部屋情報推定部２５は、検出位置記憶部２４を参照して、選択したルールに合致する行動パターンが取られているかどうかを判断する（Ｓ１５０２）。たとえば、「料理中」の生活シーンであれば、夕方の時間帯に、特定の範囲内で長時間立ったまま移動しているという行動パターンが現れるかどうか判断する。また、「夕食中」の生活シーンであれば、夕方から夜の時間帯にかけて座って停留しているという停留パターンが現れるかどうか判断する。

人体検出結果に生活ルールに合致する行動パターンがある場合（Ｓ１５０２−ＹＥＳ）には、部屋情報推定部２５は、当該生活シーン（行動パターン）をとること、および、その生活シーンが実際に現れる時間帯とその場所とを含む生活シーン情報を生成する（Ｓ１５０３）。たとえば、「料理中」の生活シーンが午後６時から午後７時の間に現れることや、その行動パターンが取られる場所（キッチン）がどの場所であるかという情報が得られる。また、「夕食中」の生活シーンが午後７時から午後８時の間に現れることや、その行動パターンが取られる場所（ダイニングテーブル）がどの場所であるかという情報が得られる。

以上の処理により、１つの生活シーンについての処理が完了する。部屋情報推定部２５は、未処理の生活シーンが存在するか判定し（Ｓ１５０４）、存在する場合（Ｓ１５０４−ＹＥＳ）にはステップＳ１５０１へ戻って次の生活シーンについての処理を行う。一方、全ての生活シーンについての処理が完了した場合（Ｓ１５０４−ＮＯ）には、生成した生活シーン情報を出力する（Ｓ１５０５）。生活シーン情報は、部屋情報の一部として部屋情報記憶部３に格納される。

最後に、生活シーン情報を利用した空調制御について簡単に説明する。以上のような生活シーン情報が分かることで、空調制御部４はより好適な空調制御が実現できる。たとえば、「料理中」の生活シーンにおいては、キッチンでの料理中は暑いので比較的強い風を直接当てる制御を行うことができる。この際、「料理中」の生活シーンが現れる時間帯や、キッチンの場所がどこであるかという情報が生活シーン情報に含まれるので、その時間帯にキッチンの場所に向けて風を当てるという制御が実現できる。同様に、「夕食中」の生活シーンにおいては、風を直接当てるのは快適ではないのでテーブルの周囲に向けて送風するという制御が実現できる。

本実施形態によれば、人体検出の結果に基づいてエアコン装置が設置される場所において取られる生活シーンに関する情報を取得でき、生活シーンを考慮した適切な空調制御が
実現できる。この際、ユーザは生活シーンに関する情報を直接入力する必要がないので、ユーザにとっての利便性が高い。

＜他の実施形態＞
上記の実施形態の説明は、本発明を例示的に説明するものに過ぎず、本発明は上記の具体的な形態には限定されない。本発明は、その技術的思想の範囲内で種々の変形が可能である。

上記の第１および第２の実施形態では、部屋情報推定装置は、部屋情報として種々の情報を推定し、エアコン装置はこれらの情報に基づいて空調制御を行っている。どのような部屋情報を推定して空調制御に用いるかは、種々の変形が可能である。例えば、第１の実施形態では、部屋の形状、家具配置、出入り口、収納家具、人の停留領域や移動領域（人存在領域）などの部屋情報を取得しているが、これらの少なくとも一部の情報があれば空調制御に役立てることができる。したがって、部屋情報推定装置はこれらの情報のうち少なくとも一部を推定するものであってよい。また、第２の実施形態において、生活シーン情報と部屋形状などの情報を組み合わせて空調制御を行っているが、生活シーン情報以外に利用する部屋情報も同様に任意であって構わない。例えば、生活シーン情報と家具配置情報だけから空調制御は可能であるし、生活シーン情報と人存在領域だけから空調制御も可能である。

上記の説明では、エアコン装置１に部屋情報推定装置２が内蔵されている。しかしながら、部屋情報推定装置２は、エアコン装置１と別の装置として構成されてもよい。部屋情報推定装置２が推定した部屋情報や生活シーン情報を、たとえば、無線通信などによってエアコン装置に送信するようにすれば、エアコン装置はこれらの情報に基づいて空調制御を実現できる。

また、空気調和装置の例としてエアコン装置（冷暖房機）を例に説明したが、空気清浄機、加湿器、送風機などの装置に部屋情報推定装置を組み込んでもよい。また、最適な制御が部屋情報に応じて決定される装置であれば、空気調和装置以外の任意の装置に部屋情報推定装置を組み込んで使用することができる。たとえば、照明制御装置などに部屋情報推定装置を組み込んで使用することが考えられる。

１：空気調和装置（エアコン装置）
２：部屋情報推定装置
２１：カメラ
２２：人体検出部
２３：人体位置算出部
２４：検出結果記憶部
２５：部屋情報推定部

Claims (14)

1. 部屋に関する情報を推定する部屋情報推定装置であって、
   推定対象の部屋を撮影する撮像手段と、
   前記撮像手段によって撮影された画像から人体を検出して、前記部屋における前記人体の位置を取得する人体検出手段と、
   異なる時刻に撮影された複数の画像から検出された人体の検出点の分布を表す存在マップを生成する存在マップ生成手段と、
   前記存在マップに基づいて前記部屋の形状を推定する推定手段と、
   を備え、
   前記人体検出手段は、人体の検出位置において当該人体が移動しているか停留しているかも検出し、
   前記推定手段は、前記存在マップにおける検出点分布に外接する多角形として求められる形状よりも、所定の距離だけ壁面が外側にあるとみなして、前記部屋の形状を推定し、人体が停留している検出点については、人体が移動している検出点と比較して前記所定の距離を小さく設定する、
   部屋情報推定装置。
2. 前記人体検出手段は、前記画像から人の顔、頭部、または上半身を検出し、前記画像中における顔、頭部または上半身の位置および大きさに基づいて、前記部屋における人体の位置を取得する、
   請求項１に記載の部屋情報推定装置。
3. 前記推定手段は、前記部屋が互いに直交する２つの方向に平行な直線によって仕切られていると仮定して、前記部屋の形状を推定する、
   請求項１または２に記載の部屋情報推定装置。
4. 前記２つの方向は、前記撮像手段の撮影方向と、当該撮影方向に直交する方向である、
   請求項３に記載の部屋情報推定装置。
5. 前記推定手段は、前記存在マップに、検出点が存在しない空白領域であって、周囲を検
   出点に囲まれた空白領域が存在する場合には、当該空白領域は家具が設置された領域であると推定する、
   請求項１〜４のいずれか１項に記載の部屋情報推定装置。
6. 前記人体検出手段は、人体の検出位置において当該人体が移動しているか停留しているかも検出し、
   前記空白領域の周りに停留点が固まっている場合には、前記空白領域にはテーブルが設置されていると推定する、
   請求項５に記載の部屋情報推定装置。
7. 前記推定手段は、前記存在マップに、検出点が存在しない空白領域であって、周囲を検出点に囲まれていない空白領域が存在する場合には、当該空白領域は壁際に家具が設置された領域または壁領域であると推定する、
   請求項１〜６のいずれか１項に記載の部屋情報推定装置。
8. 前記推定手段は、前記存在マップに基づいて人の存在領域を推定する、
   請求項１〜７のいずれか１項に記載の部屋情報推定装置。
9. 前記人体検出手段は、人体の検出位置において当該人体が移動しているか停留しているかも検出し、
   前記推定手段は、前記人の存在領域のうち、停留中の検出点が所定の割合よりも多い領域を停留領域であると推定する、
   請求項８に記載の部屋情報推定装置。
10. 前記人体検出手段は、人体の検出位置において当該人体が移動しているか停留しているかも検出し、
    前記推定手段は、前記人の存在領域のうち、移動中の検出点が所定の割合よりも多い領域を移動領域であると推定する、
    請求項８または９に記載の部屋情報推定装置。
11. 前記人体検出手段は、前記人体が検出された時刻情報も取得し、
    時間帯および行動パターンを含む生活シーン定義を記憶した記憶手段を更に有し、
    前記推定手段は、前記人体検出手段の検出結果から得られる人体の行動パターンと人体検出を行った時刻情報と、前記記憶手段に記憶された生活シーン定義とに基づいて、前記部屋においてとられる生活シーンを推定する、
    を備える、請求項１から１０のいずれか１項に記載の部屋情報推定装置。
12. 部屋情報推定装置によって実施される部屋情報推定方法であって、
    推定対象の部屋を撮影する撮像ステップと、
    前記撮像ステップにおいて撮影された画像から人体を検出して、前記部屋における前記人体の位置を取得する人体検出ステップと、
    異なる時刻に撮影された複数の画像から検出された人体の検出点の分布を表す存在マップを生成する存在マップ生成ステップと、
    前記存在マップに基づいて前記部屋の形状を推定する推定ステップと、
    を含み、
    前記人体検出ステップでは、人体の検出位置において当該人体が移動しているか停留しているかも検出し、
    前記推定ステップでは、前記存在マップにおける検出点分布に外接する多角形として求められる形状よりも、所定の距離だけ壁面が外側にあるとみなして、前記部屋の形状を推定し、人体が停留している検出点については、人体が移動している検出点と比較して前記
    所定の距離を小さく設定する、
    部屋情報推定方法。
13. 請求項１２に記載の部屋情報推定方法の各ステップをコンピュータに実行させるためのプログラム。
14. 請求項１から１１のいずれか１項に記載の部屋情報推定装置と、
    前記部屋情報推定装置によって推定される部屋に関する情報に基づいて、空調制御を行う制御手段と、
    を備える、空気調和装置。