JP7199614B1 - 人検知装置、人検知システム、人検知方法、及び人検知プログラム - Google Patents

Abstract

人検知装置（１０）は、可視画像カメラ（６０）で撮影範囲を撮影して得られた画像（Ｄ６０）内における人の形状を示す人形状情報（Ｄ１１）を抽出する人形状抽出部（１１）と、赤外線カメラ（７０）で撮影された熱画像（Ｄ７０）内における発熱量の大きい領域を示す発熱領域情報（Ｄ１２）を抽出する発熱領域抽出部（１２）と、人の形状の予め定められた特定形状の部位を選択し、人形状情報（Ｄ１１）と発熱領域情報（Ｄ１２）とに基づいて、選択された特定形状の部位が、撮影範囲内に実際に存在する人の部位であることの確からしさを表す数値である人らしさ（Ｄ１３）を計算する人らしさ演算部（１３）と、選択された特定形状の部位について計算された人らしさ（Ｄ１３）に基づいて、人形状情報（Ｄ１１）が示す人の形状が、実際に存在する人の形状であるのか、媒体内人物の形状であるのかを判定する人判定部（１４）とを有する。

Description

本開示は、人検知装置、人検知システム、人検知方法、及び人検知プログラムに関する。

例えば、特許文献１は、被写体からの可視光成分から第１の画像データを生成する第１の光電変換素子と被写体からの赤外線成分から第２の画像データを生成する第２の光電変換素子とを有する撮像部と、第２の光電変換素子の被写体側かつ被写体からの光軸上に設けられ、可視光成分を除去して赤外線成分を透過させるフィルタと、第１の画像データにおいて被写体像及び画面内における被写体像の位置を特定する位置特定部と、第２の画像データにおいて被写体からの赤外線強度を検出する強度検出部と、画面内における被写体像の位置と当該位置の赤外線強度とに基づいて、生体を検出する生体検出部とを有する撮像装置に関する技術を提案している。

特開２０１０－１３６２２３号公報（第１８頁、第４図）

しかしながら、特許文献１の装置は、第２の光電変換素子としての赤外線カメラで撮影した第２の画像データとしての熱画像を使って生体（例えば、実際に存在する人）を検出しているので、発熱するテレビなどの表示機に表示されている人物（「媒体内人物」ともいう。）を生体として誤検出することがあるという問題があった。

本開示は、可視画像カメラで撮影された人が、実際に存在する人であるのか、媒体上に表示された又は描かれた媒体内人物であるのかを高い精度で判定することを可能にする人検知装置、人検知システム、人検知方法、及び人検知プログラムを提供することを目的とする。

本開示の人検知装置は、少なくとも可視光の波長領域の画像を撮影する可視画像カメラで撮影して得られた画像を受信し、前記画像内における人の形状を示す人形状情報を抽出する人形状抽出部と、赤外線カメラで撮影された熱画像を受信し、前記熱画像内における発熱量の大きい領域を示す発熱領域情報を抽出する発熱領域抽出部と、前記人の形状の予め定められた特定形状の部位として球形状の球形部位又は線状の線分部位を選択し、前記人形状情報と前記発熱領域情報とに基づいて、選択された前記特定形状の部位が、前記画像の撮影範囲内に実際に存在する人の部位であることの確からしさを表す数値である人らしさを計算する人らしさ演算部と、選択された前記特定形状の部位について計算された前記人らしさに基づいて、前記人形状情報が示す前記人の形状が、前記撮影範囲内に存在する前記人の形状であるのか否かを判定する人判定部と、を有することを特徴とする。

本開示の人検知方法は、人検知装置によって実行される方法であって、少なくとも可視光の波長領域の画像を撮影する可視画像カメラで撮影して得られた画像を受信し、前記画像内における人の形状を示す人形状情報を抽出するステップと、赤外線カメラで撮影された熱画像を受信し、前記熱画像内における発熱量の大きい領域を示す発熱領域情報を抽出するステップと、前記人の形状の予め定められた特定形状の部位として球形状の球形部位又は線状の線分部位を選択し、前記人形状情報と前記発熱領域情報とに基づいて、選択された前記特定形状の部位が、前記画像の撮影範囲内に実際に存在する人の部位であることの確からしさを表す数値である人らしさを計算するステップと、選択された前記特定形状の部位について計算された前記人らしさに基づいて、前記人形状情報が示す前記人の形状が、前記撮影範囲内に存在する前記人の形状であるのか否かを判定するステップと、を有することを特徴とする。

本発明によれば、可視画像カメラで撮影された人の形状が、実際に存在する人の形状であるのか、媒体上に表示された又は描かれた媒体内人物の形状であるのかを高い精度で判定することができる。

実施の形態１に係る人検知装置及び人検知システムの構成を概略的に示すブロック図である。 実施の形態１に係る人検知装置のハードウェア構成の例を示す図である。 （Ａ）から（Ｃ）は、実施の形態１に係る人検知装置の各ブロックで取得された情報の例を示す図であり、（Ａ）は可視画像カメラで撮影された可視画像、（Ｂ）は可視画像から抽出された人形状情報、（Ｃ）は赤外線カメラで撮影された熱画像から抽出された発熱領域情報を示す。 実施の形態１に係る人検知装置の動作を示すフローチャートである。 実施の形態１における球形部位人らしさ演算部の動作を示すフローチャートである。 （Ａ）及び（Ｂ）は、実施の形態１における球形部位人らしさ演算部の動作を示す模式図である。 実施の形態１における線分部位人らしさ演算部の動作を示すフローチャートである。 （Ａ）及び（Ｂ）は、実施の形態１における線分部位人らしさ演算部の動作を示す模式図である。 実施の形態２に係る人検知装置及び人検知システムの構成を概略的に示すブロック図である。 実施の形態３に係る人検知装置及び人検知システムの構成を概略的に示すブロック図である。 実施の形態４に係る人検知装置及び人検知システムの構成を概略的に示すブロック図である。

以下に、実施の形態に係る人検知装置、人検知システム、人検知方法、及び人検知プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。

《１》実施の形態１
《１－１》構成
図１は、実施の形態１に係る人検知装置１０及び人検知システム１の構成を概略的に示すブロック図である。図１に示されるように、人検知システム１は、人検知装置１０と、可視画像カメラ６０と、赤外線カメラ７０とを有している。人検知装置１０は、実施の形態１に係る人検知方法を実施することができる装置である。

人検知装置１０は、可視画像カメラ６０で撮影範囲を撮影して得られた可視画像（単に「画像」ともいう。）Ｄ６０を受信し、この可視画像Ｄ６０内における人の形状を示す人形状情報Ｄ１１を抽出する人形状抽出部１１と、赤外線カメラ７０で撮影された熱画像（すなわち、赤外線画像）Ｄ７０を受信し、この熱画像Ｄ７０内における発熱量の大きい領域を示す発熱領域情報Ｄ１２を抽出する発熱領域抽出部１２とを有している。可視画像Ｄ６０、人形状情報Ｄ１１、及び発熱領域情報Ｄ１２の例は、後述の図３（Ａ）から（Ｃ）に示されている。可視画像カメラ６０は、少なくとも可視光の波長領域の画像を撮影するカメラであり、可視光カメラとも呼ばれる。赤外線カメラ７０は、赤外線の波長領域の画像を撮影するカメラであり、熱画像カメラ又はサーモカメラとも呼ばれる。可視画像カメラ６０と赤外線カメラ７０とは、可視画像カメラ６０によって撮影される領域である撮影範囲と熱画像カメラによって撮影される領域である撮影範囲とが互いに重なるように（すなわち、共通の撮影範囲を有するように）、設置される。また、人検知装置１０は、複数台の可視画像カメラ６０から可視画像Ｄ６０を受信してもよい。また、人検知装置１０は、複数台の赤外線カメラ７０から熱画像Ｄ７０を受信してもよい。可視画像カメラ６０及び赤外線カメラ７０は、人検知システム１に専用のものである必要はなく、既存の設備の一部として使用されているカメラであってもよい。

また、人検知装置１０は、人の形状の予め定められた特定形状の部位を選択し、人形状情報Ｄ１１と発熱領域情報Ｄ１２とに基づいて、特定形状の部位が、撮影範囲内に実際に存在する人の部位であることの確からしさを表す数値である人らしさＤ１３を計算する人らしさ演算部１３と、人らしさＤ１３に基づいて、人形状情報Ｄ１１が示す人の形状が、実際に存在する人の形状であるのか、媒体（例えば、表示機のスクリーン又はポスターなどの印刷物）に表示された又は描かれた媒体内人物の形状であるのかを判定して、判定結果Ｄ１４を出力する人判定部１４とを有している。

人らしさ演算部１３は、体の特定形状の部位（すなわち、特定部位）として球形状の球形部位（例えば、頭、手、など）を選択し、選択された球形部位に基づいて人らしさ（「第１の人らしさ」ともいう。）Ｄ１３ａを計算する球形部位人らしさ演算部１３ａと、体の特定形状の部位として線状の線分部位（例えば、関節間の部位）を選択し、選択された線分部位に基づいて人らしさ（「第２の人らしさ」ともいう。）Ｄ１３ｂを計算する線分部位人らしさ演算部１３ｂとを有している。この場合、人判定部１４は、人形状情報Ｄ１１の特定の部位の人らしさＤ１３ａ、Ｄ１３ｂに基づいて、人形状情報Ｄ１１が示す人全体の形状が、実際に存在する人の形状であるのか、媒体内人物の形状であるのかを判定して判定結果Ｄ１４を出力する。なお、人形状情報Ｄ１１が示す人全体の形状の判定は、「人形状情報Ｄ１１全体の人らしさ判定」という。また、人らしさ演算部１３は、球形部位人らしさ演算部１３ａ及び線分部位人らしさ演算部１３ｂの一方だけを有してもよい。

球形部位人らしさ演算部１３ａは、人形状情報Ｄ１１と発熱領域情報Ｄ１２に基づいて、人の特定部位を球形とみなした場合の当該特定部位の人らしさＤ１３ａの計算を行う。計算された人らしさＤ１３ａは、人判定部１４にて人形状情報Ｄ１１全体の人らしさ判定に使用される。具体的には、球形部位人らしさ演算部１３ａは、球形部位を含む円形状領域に関して横軸を温度値Ｔとし縦軸を度数＃Ｎとするヒストグラムを作成し、このヒストグラムの形状に基づいて人らしさＤ１３ａを計算する。球形部位人らしさ演算部１３ａは、ヒストグラムの形状が双峰性を示す場合における人らしさを、ヒストグラムの形状が双峰性を示さない場合における人らしさよりも、高い値（すなわち、実際に存在する人である可能性が高いことを示す値）に設定する。ヒストグラムの具体例は、図６（Ａ）及び（Ｂ）を用いて後述される。

線分部位人らしさ演算部１３ｂは、人形状情報Ｄ１１と発熱領域情報Ｄ１２に基づいて、人の特定部位を線分形状とみなした場合の当該特定部位の人らしさＤ１３ｂの計算を行う。計算された特定部位の人らしさＤ１３ｂは、人判定部１４にて人形状情報Ｄ１１全体の人らしさ判定に使用される。具体的には、線分部位人らしさ演算部１３ｂは、線分部位に関して横軸を位置とし縦軸を温度値Ｔとする温度分布グラフを作成し、この温度分布グラフの形状に基づいて人らしさＤ１３ｂを計算する。線分部位人らしさ演算部１３ｂは、温度分布グラフの形状が単峰性を示す場合における人らしさＤ１３ｂを、温度分布グラフの形状が単峰性を示さない場合における人らしさＤ１３ｂよりも、高い値（すなわち、実際に存在する人である可能性が高いことを示す値）に設定する。温度分布グラフの具体例は、図８（Ａ）及び（Ｂ）を用いて後述される。

図２は、実施の形態１に係る人検知装置１０のハードウェア構成の例を示す図である。人検知装置１０は、例えば、コンピュータである。人検知装置１０は、実施の形態１に係る人検知プログラムを実行することができる装置である。人検知装置１０は、プロセッサ９１と、揮発性の記憶装置であるメモリ９２とを有している。また、人検知装置１０は、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの不揮発性の記憶装置９３と、インタフェース９４とを有している。メモリ９２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの半導体メモリである。図１に示される人検知装置１０の各ブロックは、例えば、記録媒体から又は通信回線を介してインストールされメモリ９２に記憶されたソフトウェアプログラムである人検知プログラムを実行するプロセッサにより構成される。

人検知装置１０の各機能は、処理回路により実現されてもよい。処理回路は、専用のハードウェアであってもよく、又はメモリ９２に格納される人検知プログラムを実行するプロセッサ９１であってもよい。プロセッサ９１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、及びＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のいずれであってもよい。処理回路が専用のハードウェアである場合、処理回路は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などである。

なお、人検知装置１０は、一部をハードウェアで実現し、他の一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらのうちのいずれかの組み合わせによって、上述の各機能を実現することができる。

図３（Ａ）から（Ｃ）は、人検知装置１０の各ブロックで取得された情報の例を示す図である。図３（Ａ）は可視画像カメラ６０で撮影された可視画像Ｄ６０を示し、図３（Ｂ）は可視画像Ｄ６０から抽出された人形状情報Ｄ１１を示し、図３（Ｃ）は赤外線カメラ７０で撮影された熱画像Ｄ７０から抽出された発熱領域情報Ｄ１２を示す。

例えば、人検知装置１０が人（例えば、高齢者）を見守る見守りシステムの一部である場合、可視画像カメラ６０が撮影する撮影範囲は、例えば、見守り対象としての人が生活する居住区域（例えば、住居の内部）である。この場合、可視画像Ｄ６０には、テレビなどの表示媒体である表示機が含まれる場合が多い。したがって、図３（Ａ）に示されるように、可視画像カメラ６０によって取得される可視画像Ｄ６０には、撮影範囲内に実際に存在する人１００の映像と、表示機２００のスクリーンに表示される人物（すなわち、表示媒体内の人物である媒体内人物）２１０とが含まれる場合がある。

人形状抽出部１１は、可視画像カメラ６０によって取得された可視画像Ｄ６０から、ＭｏｖｅＮｅｔなどの公知の姿勢検出アルゴリズムを用いて、可視画像Ｄ６０内の人物の人形状情報Ｄ１１を抽出する。人形状情報Ｄ１１には、体の部位の座標が含まれる。また、人形状情報Ｄ１１には、体の部位の座標と体の部位の信頼度とが含まれてもよい。体の部位としては、例えば、頭、両肩、両肘、両手首、腰、両足の付け根、両膝、両足首などが挙げられる。体の部位の信頼度が明示的に得られない場合は、すべての部位の信頼度を同じ値（例えば、１）として、以降の処理が行われる。また、人形状情報Ｄ１１には、可視画像Ｄ６０内に存在する媒体内人物であるポスターに描かれている人物も含まれる。したがって、図３（Ｂ）に示されるように、取得される人形状情報Ｄ１１において、実際に存在する人１００の人形状情報Ｄ１１が示す球形部位１０１と表示機２００のスクリーンに表示される媒体内人物２１０の人形状情報Ｄ１１が示す媒体内部位２１１が含まれる場合がある。図３（Ｂ）において実線で示される線分は、人形状情報Ｄ１１に含まれる各特定部位の座標点どうしを線でつなぐことで人体の部位を表現したものである。また、図３（Ｂ）において点線で示される線分は、線分の両端の点の信頼度が低い場合を表している。図３（Ｂ）の例では、表示機のスクリーンに表示される媒体内人物２１０について、下半身が表示されていないために、下半身を表現する部位の点の信頼度が低くなっている。

赤外線カメラ７０は、人が生活する居住区域内を撮影して、温度が高い部分を高い輝度値で表現する熱画像Ｄ７０を出力する。熱画像Ｄ７０において、高温のものとして表現される物体は、人間及び動物などの生物、並びに、発熱する機器（例えば、テレビなどの表示機、家電機器、暖房機器、など）が挙げられる。また、熱画像Ｄ７０において低温のものとしで表現される物体は、壁及び床などを含む非発熱物体（例えば、壁に貼られたポスターなど）が挙げられる。

発熱領域抽出部１２は、赤外線カメラ７０によって取得された熱画像Ｄ７０内の塊検出の技術などを用いて温度の高い画素の集合を抽出することで、発熱領域情報Ｄ１２を出力する。発熱領域情報Ｄ１２では、居室内の人物及び発熱物体の形状が表現されており、小さい発熱物及び赤外線カメラ７０で発生したノイズ値について、除外する処理が行われている。図３（Ｃ）に示されるように、取得される発熱領域情報Ｄ１２は、実際に存在する人１００の発熱領域情報Ｄ１２である人領域１０２と表示機２００の発熱領域情報Ｄ１２である機器領域２０１とが含まれる。図３（Ｃ）において、グレーで示された部分は、白色の領域より高温であり、発熱領域情報Ｄ１２において高い画素値である部分を示している。

人判定部１４は、人形状情報Ｄ１１と発熱領域情報Ｄ１２を入力とし、人らしさ演算部１３に、人形状情報Ｄ１１と発熱領域情報Ｄ１２の対応関係から人らしさＤ１３（Ｄ１３ａ、Ｄ１３ｂ）を算出させて、人形状情報Ｄ１１のフィルタリングを行う。人らしさＤ１３（Ｄ１３ａ、Ｄ１３ｂ）の算出は、球形部位人らしさ演算部１３ａ及び線分部位人らしさ演算部１３ｂのうちの少なくとも１つを使用して行われる。なお、人らしさＤ１３（Ｄ１３ａ、Ｄ１３ｂ）の算出による人形状情報Ｄ１１のフィルタリング方法の詳細は、後述される。人判定部１４により、得られた人形状情報Ｄ１１から、ポスターに描かれた人物及び表示機２００のスクリーンに表示された人物のような媒体内人物を除外することができる。その結果として、人判定部１４は、実際に居室内に存在する人の人形状情報Ｄ１１だけを取得することができる。

《１－２》動作
図４は、人検知装置１０の人判定部１４の動作を示すフローチャートである。人判定部１４は、人形状情報Ｄ１１で表現される人のそれぞれについて、人らしさＤ１３（Ｄ１３ａ、Ｄ１３ｂ）を用いてフィルタリングを行うことで、媒体内人物を除去して、実際に存在する人を検出する処理を行う。

ステップＳ１において、人判定部１４は、ある人形状情報Ｄ１１の画像内での大きさから、当該人形状情報Ｄ１１で表現される人の、可視画像カメラ６０からの距離を推定（すなわち、計算）する。

次のステップＳ２～Ｓ４において、人判定部１４は、人形状情報Ｄ１１の体の部位を選択し、選択した特定部位の人らしさＤ１３（Ｄ１３ａ、Ｄ１３ｂ）を人らしさ演算部１３に計算させる。選択される人形状情報Ｄ１１の体の部位の例としては、頭、上腕、下腕、手、胴、大腿、下腿などが挙げられる。また、各特定部位について、その中心位置が可視画像Ｄ６０の領域外にあると推定された部位については、人らしさの評価から除外してもよい。ステップＳ２～Ｓ４の処理は、人の各特定部位について繰り返し実行される。

人らしさＤ１３（Ｄ１３ａ、Ｄ１３ｂ）の計算は、球形部位人らしさ演算部１３ａ及び線分部位人らしさ演算部１３ｂによって行われるが、球形部位人らしさ演算部１３ａ又は線分部位人らしさ演算部１３ｂの一方だけを使用しても計算してもよい。また、人らしさＤ１３ａ、Ｄ１３ｂの両方を計算し、人らしさの平均を使用してもよい。また、２つの人らしさＤ１３ａ、Ｄ１３ｂのうち、人らしさが高い方を使用するなどの選択を行ってもよい。さらには、選択する部位に応じて球形部位人らしさ演算部１３ａ又は線分部位人らしさ演算部１３ｂのいずれかを使用するかを決定してもよい。例えば、頭部及び手であれば球形部位人らしさ演算部１３ａを使用し、四肢及び胴であれば線分部位人らしさ演算部１３ｂを使用するという方式を採用してもよい。

ステップＳ５において、人判定部１４は、各特定部位の人らしさＤ１３ａ、Ｄ１３ｂと人形状情報Ｄ１１の信頼度とを組み合わせることで、人形状情報Ｄ１１全体の人らしさＥを計算する。人判定部１４は、各特定部位について各特定部位の人らしさＤ１３ａ、Ｄ１３ｂと人形状情報Ｄ１１の信頼度とをかけ合わせて得られた値の平均値を、人形状情報Ｄ１１全体の人らしさＥとして用いてもよい。なお、人判定部１４は、人形状情報Ｄ１１の信頼度について、球形部位については、人形状情報Ｄ１１の信頼度そのままを、線分部位については、両端の人形状情報Ｄ１１の信頼度の平均を使用してもよい。

ステップＳ６において、人判定部１４は、ステップＳ５にて計算した人形状情報Ｄ１１全体の人らしさＥがしきい値以上であるかどうかを判定する。Ｅがしきい値以上である場合（ステップＳ６においてＹＥＳの場合）、処理はステップＳ７に進み、Ｅがしきい値未満である場合（ステップＳ６においてＮＯの場合）、処理はステップＳ８に進む。

ステップＳ７において、人判定部１４は、判定対象である人形状情報Ｄ１１について、実際に存在する人であるとみなし、当該の人形状情報Ｄ１１を採用する。ステップＳ８において、人判定部１４は、判定対象である人形状情報Ｄ１１について、媒体内人物であるとみなし、当該の人形状情報Ｄ１１を除外する。以上で、人判定部１４が人形状情報Ｄ１１で表現される人物それぞれについての人らしさの算出による人形状情報Ｄ１１のフィルタリングを行う処理が完了となる。

図５は、実施の形態１における球形部位人らしさ演算部１３ａの動作を示すフローチャートである。図５は、球形部位人らしさ演算部１３ａにて選択された特定部位が球形である球体部位である仮定した場合の人らしさＤ１３ａを算出する方法を示す。また、図６（Ａ）及び（Ｂ）は、球形部位人らしさ演算部１３ａの動作を示す模式図である。

図５のステップＳ３１において、球形部位人らしさ演算部１３ａは、人形状情報Ｄ１１の球形部位の位置の中心点Ｇを取得する。特定部位が頭及び手などのように１つの塊で構成される部位であれば、部位の中心の座標が中心点Ｇとして使用される。なお、特定部位が四肢及び胴など線分で表現される部位であれば、線分の中心の座標が中心点Ｇとして使用される。

次のステップＳ３２において、球形部位人らしさ演算部１３ａは、発熱領域情報Ｄ１２において、中心点Ｇの周辺領域（図６（Ａ）における１０１ａ、図６（Ｂ）における２０１ａ）を円形に切り出し、その周辺領域内の温度値Ｔを取得する。なお、周辺領域の円形の半径は、人形状情報Ｄ１１で表現される人物の球形部位（図６（Ａ）における１０１、図６（Ｂ）における２０１）のサイズよりも少し大きい領域であり、例えば、球形部位依存の係数、可視画像カメラ６０の解像度とステップＳ１で推定された距離に基づいて決定される。

次のステップＳ３３においては、球形部位人らしさ演算部１３ａは、取得した温度値Ｔの分布の形状から人らしさを算出する。図６（Ａ）及び（Ｂ）内のグラフは、横軸が温度値Ｔ、縦軸が温度値の個数（すなわち、度数＃Ｎ）であるヒストグラム分布である。例えば、ステップＳ３２で定める円形領域の半径を、人物の距離から算出される人の球形部位（図中では頭部）の半径の√２倍に設定する。この場合、理想状態として人の球形部位が完全な球形であり、球形部位の全体が高温であるとすると、周辺領域の円形の内部において、人物の球形部位に由来する高温部の面積と人物以外（すなわち、球形部位の周囲の領域）に由来する低温部の面積とが同一になり、ヒストグラムは、理論的には、図６（Ａ）に示されるように、２つの等しい高さを持つ山のような形状になると考えられる。実際には、頭部のうちの髪の毛ある部分の温度は少し低いこと、頭部以外に肩及び腕、その他の発熱物体なども円形内に含まれること、手の形状が球形から遠い場合が多いことなどが考えられるため、２つの山のような形状の高さ及び広がりは等しくない。ただし、ヒストグラムは、概形として双峰性を示すと考えられる。

一方で、表示機のスクリーンに表示される人物の場合は、人物の球形部位以外の領域も表示機により一様に高温になることが考えられるため、ヒストグラムは、図６（Ｂ）に示すように、単峰性を示すグラフになる。また、ポスターなど非高温物に表示される人物についても、温度が異なるものの同様に単峰性を示す。

以上のことから、人らしさを表す数値として、ヒストグラムが２つの正規分布の合計で表現されると仮定し、正規分布のフィッティングを行った際の各正規分布のパラメータである平均及び分散を使用することが考えられる。以降、フィッティングを行って得られた２つの正規分布のうち、分散が小さく鋭いピークを持つ正規分布を第１の正規分布、分散が大きくなだらかなピークを持つ正規分布を第２の正規分布とする。このとき、双峰性を示す場合は、第１の正規分布と第２の正規分布の値が近い数値になり、単峰性を示す場合は、第１の正規分布と第２の正規分布の値が大きく異なる数値となることが考えられる。このことから、例えば、（第１の正規分布の分散／第２の正規分布の分散）の計算で得られた値を、球形部位の人らしさＤ１３ａとしてもよい。以上で、球形部位人らしさ演算部１３ａにて選択された部位が球形であると仮定した場合の人らしさの算出処理が完了する。

図７は、線分部位人らしさ演算部１３ｂが人らしさＤ１３ｂの動作を示すフローチャートである。図７は、線分部位人らしさ演算部１３ｂにて選択された特定部位が線状である線分部位である仮定した場合の人らしさＤ１３ｂを算出する方法を示す。また、図８（Ａ）及び（Ｂ）は、線分部位人らしさ演算部１３ｂの動作を示す模式図である。

図７のステップＳ３４において、線分部位人らしさ演算部１３ｂは、人形状情報Ｄ１１として選択した線分部位を表現するパラメータを取得する。図８（Ａ）及び（Ｂ）における太い実線で示された線分が、線分部位に対応する。具体的には、線分部位は、線分の両端を表現する座標値などで特定される、例えば、右上腕が線分部位として選択される場合は、右肩の座標値と右肘の座標値との組み合わせが、線分部位を表現するパラメータである。

ステップＳ３５においては、線分部位人らしさ演算部１３ｂは、選択した線分に鉛直な線分（例えば、選択した線分の中央位置を通り、選択した線分に鉛直な線分）を計算する。図８（Ａ）及び（Ｂ）における細い実線がこれに該当する。この鉛直な線分の長さは、例えば、選択された線状部位と、可視画像カメラ６０の解像度と、ステップＳ１とから推定された距離とによって決定される。

ステップＳ３６においては、線分部位人らしさ演算部１３ｂは、ステップＳ３５で計算された鉛直な線分上の座標について、発熱領域情報Ｄ１２から温度値Ｔを取得し、線分上の温度値Ｔから人らしさを計算する。図８（Ａ）及び（Ｂ）における温度分布グラフは、横軸が線分上の画像内の横軸方向の値（すなわち、位置）、縦軸が温度値Ｔであって、線分上の温度値の変化を得るためのグラフである。

ここで、理想状態として、人物の線分部位が同一人物の他の線分部位と重なっていない場合、線分上の温度値の変化は、図８（Ａ）に示されるように、単峰性を示すグラフとなると考えられる。実際には、同一人物の他の部位と重なったり、他の発熱物体と重複したりするために、山の裾野が広がる場合又は線分端にて温度値の下降が見られない場合が考えられるが、少なくとも片方の線分端においては、下降するケースがほとんどである。一方で、表示機のスクリーンに表示される媒体内人物の場合は、人物の線分部位の以外の領域も表示機により一様に高温になることが考えられるため、線分上の温度値の変化の形状は、図７（Ｂ）の右下部に示すように、一様なグラフになる。また、ポスターなど非高温物に表示される人物についても、温度が異なるものの同様に一様なグラフを示す。

以上のことから、人らしさを表す数値として、線分上の温度値の変化が１つの正規分布で表現されると仮定し、正規フィッティングを行った際の正規分布のパラメータである平均及び分散を使用することが考えられる。このとき、一様なグラフに正規分布をフィッティングした場合は、分散の値が１００００を超える大きな値になることが考えられる。一方で、単峰性を示すグラフの場合は、分散の値は、１０以下のような小さな値になることが考えられる。このことから、例えば、Ｍｉｎ関数を与えられた引数のうち小さい方を選択する関数、Ｋを基準となる分散値（上記の例では、１０）、Ｍｉｎ（１，√（Ｋ／［正規分布の分散］））の計算で得られた値を「線分部位の人らしさ」としてもよい。以上で、線分部位人らしさ演算部１３ｂにて選択された部位が線分であると仮定した場合の人らしさの算出処理が完了する。

《１－３》効果
以上に説明したように、実施の形態１によれば、人検知装置１０が、可視画像カメラ６０から得た可視画像Ｄ６０から抽出された人形状情報Ｄ１１を赤外線カメラ７０の熱画像Ｄ７０から抽出された発熱領域情報Ｄ１２を用いてフィルタリングすることにより、媒体内人物に相当する人形状情報Ｄ１１を除外することができる。このため、実施の形態１によれば、可視画像Ｄ６０内に存在するポスター及びテレビなどに表示される媒体内人物を除外することで、実際に存在する人を高い精度で検出することができる。また、実施の形態１によれば、実際に存在する人の姿勢を検出することも可能である。

《２》実施の形態２
図９は、実施の形態２に係る人検知装置２０及び人検知システム２の構成を概略的に示すブロック図である。図９において、図１に示される構成と同一又は対応する構成には、図１に示される符号と同じ符号が付されている。実施の形態２に係る人検知装置２０は、撮影範囲内に存在する１つ以上の発熱を伴う機器３００の使用状況を示す機器使用情報を取得する機器使用情報取得部２１と、機器使用情報と発熱領域情報Ｄ１２の関連を学習する機器学習部２２と、機器３００が使用中である場合に発熱領域情報Ｄ１２から機器３００の発熱に起因する熱領域を除外することで修正された発熱領域情報Ｄ２３を出力する機器除外部２３とを更に有する点が、実施の形態１に係る人検知装置１０と相違する。

機器使用情報取得部２１は、撮影範囲内に存在する１つ以上の機器３００の使用状況を示す機器使用情報を取得する。機器使用情報は、機器３００が、例えば、家電製品などを管理・コントロールするシステムであるＨＥＭＳ（Ｈｏｍｅ Ｅｎｅｒｇｙ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）などの通信方法により電源オン又はオフの情報を発信できるものである場合には、ＨＥＭＳから機器３００の電源オン又はオフの情報を収集することができる。また、通信機能を備えた電力メーター（すなわち、電力消費量計測器）であるスマートメーターと、人検知装置２０とが通信可能である場合、機器３００の電力の使用情報から機器３００のオン又はオフの状態を取得することが可能である。

機器学習部２２は、発熱領域抽出部１２の発熱領域情報Ｄ１２と機器使用情報取得部２１の機器使用情報とを照らし合わせ、機器使用情報において、いずれかの電気機器が使用中となっている場合に、機器と発熱領域情報Ｄ１２で高温を示す領域との関連性を学習する。この学習は、人検知装置２０を設置した直後では、関連性の学習が完了していないが、ある程度、学習を行い続けることで、公知の技術である画像の背景差分の技術のように、正確な関連付けを行うことが期待できる。なお、背景差分は、観測画像と事前に取得した画像とを比較することで、事前に取得した画像には存在しない物体を抽出する処理である。

機器除外部２３は、撮影範囲内に存在する１つ以上の機器３００が使用中である場合に、発熱領域抽出部１２の発熱領域情報Ｄ１２から機器３００に関連付けられる熱領域を除外することで修正された発熱領域情報Ｄ２３を取得する。なお、実施の形態２の人判定部１４、球形部位人らしさ演算部１３ａ及び線分部位人らしさ演算部１３ｂは、機器除外部２３が出力する機器３００に関連付けられる熱領域を除外することで得られた、修正された発熱領域情報Ｄ２３を使用する。そのため、球形部位人らしさ演算部１３ａ及び線分部位人らしさ演算部１３ｂが人形状情報Ｄ１１の各特定部位の人らしさの計算を行う際に、人以外の発熱を伴う機器の発熱領域情報を無視して計算することができる。このため、人らしさ演算部１３は、より正確に人らしさの計算を行うことができる。

以上に説明したように、実施の形態２によれば、人検知装置２０が、人形状情報Ｄ１１の人らしさの計算を行う際に、実際に存在する人とは関係のない発熱を伴う機器の発熱領域情報を無視できるように構成されているので、より正確な人らしさの計算を行うことができる。このため、実施の形態２によれば、可視画像Ｄ６０内に存在する媒体内人物を除外することで、実際に存在する人を高い精度で検出することができる。

なお、上記以外に関し、実施の形態２は、実施の形態１と同じである。

《３》実施の形態３
図１０は、実施の形態３に係る人検知装置３０及び人検知システム３の構成を概略的に示すブロック図である。図１０において、図１に示される構成と同一又は対応する構成には、図１に示される符号と同じ符号が付されている。実施の形態３に係る人検知装置３０は、撮影範囲内に存在する１つ以上の発熱を伴う機器３００の使用情報についてユーザが入力操作を行う機器使用情報入力部３１と、機器使用情報と発熱領域情報Ｄ１２の関連を学習する機器学習部２２と、機器３００が使用中である場合に発熱領域情報Ｄ１２から機器３００の発熱に起因する熱領域を除外することで得られた、修正された発熱領域情報Ｄ２３を出力する機器除外部２３とを更に有する点が、実施の形態１に係る人検知装置１０と相違する。また、実施の形態３に係る人検知装置３０は、図９の機器使用情報取得部２１を、撮影範囲内に存在する１つ以上の発熱を伴う機器３００の使用情報についてユーザが入力操作を行う機器使用情報入力部３１で置き換えた点が、実施の形態２に係る人検知装置２０と相違する。ただし、実施の形態３に係る人検知装置３０は、図９の人検知装置２０の構成に加えて、機器使用情報入力部３１を備えてもよい。

機器使用情報入力部３１は、撮影範囲内に存在する１つ以上の機器３００が使用中である場合に、ユーザが、当該機器３００が使用中である旨を入力操作することで、機器使用情報を機器学習部２２に送信する。これは、人検知装置３０の筐体に付された操作部（例えば、ボタン）によって入力されてもよいし、人検知装置３０のユーザが所有する携帯端末などの通信端末を経由して情報を入力する形態でもよい。機器学習部２２及び機器除外部２３の動作は、実施の形態２で説明されている。

機器使用情報入力部３１は、実際の生活の最中にユーザが機器３００の入力を行う形態でも有効に機能するが、人検知装置１０の導入直後に機器３００を一つずつ電源オン状態にし、機器学習部２２が、発熱領域抽出部１２の発熱領域情報Ｄ１２で高温を示す領域との関連性を学習するというフェーズを設けることでより効果を発揮できる。また、新規に機器３００を購入し居室内に設置したことが検知できた場合に、当該機器３００を電源オン状態にし、機器学習部２２が、発熱領域抽出部１２の発熱領域情報Ｄ１２で高温を示す領域との関連性を学習するというフェーズを設けることでも、より効果を発揮できる。

以上に説明したように、実施の形態３によれば、ユーザが、機器３００の使用情報を入力できることで、居室内の機器が、当該機器の使用状況を通信によって発信できない場合においても、人検知装置３０が、人形状情報Ｄ１１の人らしさの計算を行う際に、人物とは関係のない発熱を伴う機器の発熱領域情報を無視できるようになる。このため、人検知装置３０は、より高い精度で人らしさの計算を行うことができる。実施の形態３によれば、可視画像Ｄ６０内に存在する媒体内人物を除外することで、実際に存在する人を高い精度で検出することができる。

なお、上記以外に関し、実施の形態３は、実施の形態１又は２と同じである。

《４》実施の形態４
図１１は、実施の形態４に係る人検知装置４０及び人検知システム４の構成を概略的に示すブロック図である。図１１において、図１に示される構成と同一又は対応する構成には、図１に示される符号と同じ符号が付されている。実施の形態４に係る人検知装置４０は、可視画像カメラ６０と有線又は無線で通信を行う第１の通信部としての通信部４１と、赤外線カメラ７０と有線又は無線で通信を行う第２の通信部としての通信部４２とを有し、カメラ搭載機器６１に搭載された可視画像カメラ６０で撮影された可視画像Ｄ６０が通信部４１を介して人形状抽出部１１に入力され、カメラ搭載機器７１に搭載された赤外線カメラ７０によって撮影された熱画像Ｄ７０が通信部４２を介して発熱領域抽出部１２に入力される点が、実施の形態１に係る人検知装置１０と相違する。

実施の形態４では、可視画像カメラ６０が人検知装置４０の外部に存在するものの、人検知装置１０が通信部４１を介することで可視画像Ｄ６０を取得し、実施の形態１と同様に人形状情報Ｄ１１の人らしさＤ１３（Ｄ１３ａ、Ｄ１３ｂ）を計算し、媒体内人物を除外する処理を行うことができる。また、実施の形態４に係る人検知装置４０は、人形状情報Ｄ１１と発熱領域情報Ｄ１２との座標の相互の関係を示す情報が予め与えられているので、両者の座標の紐付けを行うことができる。

以上に説明したように、実施の形態４によれば、実施の形態１で説明した効果と同様の効果を得ることができる。

なお、上記以外に関し、実施の形態４は、実施の形態１と同じである。また、実施の形態４で説明した通信部４１及び４２を実施の形態２又は３に適用することも可能である。さらに、人検知装置４０は、可視画像カメラ６０又は赤外線カメラ７０の一方を内蔵し、他方を通信部を介して有線又は無線で通信する構成とすることも可能である。

《５》変形例
実施の形態１から４に係る人検知装置１０、２０、３０、４０及び人検知システム１～４は、例えば、高齢者の見守りなどを目的として施設内及び宅内などに設置され、高齢者の行動に異常が発生した場合に、所定の通知先（例えば、施設管理者又は家族、など）に対して異常発生を通知する見守りシステムに適用可能である。実際に存在する人を高い精度で検知できる人検知装置１０、２０、３０、４０及び人検知システム１～４を採用することによって、異常発生の誤通知を減らすことができる。人検知装置１０、２０、３０、４０の人らしさ演算部１３の機能を用いれば、人の姿勢を検出することが可能であるため、異常発生時における人の状態を通知することも可能である。

１～４ 人検知システム、 １０、２０、３０、４０ 人検知装置、 １１ 人形状抽出部、 １２ 発熱領域抽出部、 １４ 人判定部、 １３ 人らしさ演算部、 １３ａ 球形部位人らしさ演算部、 １３ｂ 線分部位人らしさ演算部、 ２１ 機器使用情報取得部、 ２２ 機器学習部、 ２３ 機器除外部、 ３１ 機器使用情報入力部、 ４１、４２ 通信部、 ６０ 可視画像カメラ、 ７０ 赤外線カメラ、 ６１ カメラ搭載機器、 ７１ カメラ搭載機器、 １０１ 球形部位、 １０１ａ 周辺領域、 ３００ 機器、 Ｄ１１ 人形状情報、 Ｄ１２ 発熱領域情報、 Ｄ１３ａ 人らしさ、 Ｄ１３ｂ 人らしさ、 Ｄ２３ 修正された発熱領域情報、 Ｄ６０ 可視画像（画像）、 Ｄ７０ 熱画像、 Ｄ１４ 判定結果。

Claims (15)

1. 少なくとも可視光の波長領域の画像を撮影する可視画像カメラで撮影して得られた画像を受信し、前記画像内における人の形状を示す人形状情報を抽出する人形状抽出部と、
   赤外線カメラで撮影された熱画像を受信し、前記熱画像内における発熱量の大きい領域を示す発熱領域情報を抽出する発熱領域抽出部と、
   前記人の形状の予め定められた特定形状の部位として球形状の球形部位又は線状の線分部位を選択し、前記人形状情報と前記発熱領域情報とに基づいて、選択された前記特定形状の部位が、前記画像の撮影範囲内に実際に存在する人の部位であることの確からしさを表す数値である人らしさを計算する人らしさ演算部と、
   選択された前記特定形状の部位について計算された前記人らしさに基づいて、前記人形状情報が示す前記人の形状が、前記撮影範囲内に存在する前記人の形状であるのか否かを判定する人判定部と、
   を有することを特徴とする人検知装置。
2. 前記人形状情報は、人の姿勢の情報を含むことを特徴とする請求項１に記載の人検知装置。
3. 前記人らしさ演算部は、前記特定形状の部位として球形状の前記球形部位を選択し、前記球形部位と前記球形部位を囲う周辺領域とに基づいて前記人らしさを計算する球形部位人らしさ演算部を有する
   ことを特徴とする請求項１に記載の人検知装置。
4. 前記球形部位人らしさ演算部は、前記周辺領域に関して横軸を温度値とし縦軸を度数とするヒストグラムを作成し、前記ヒストグラムの形状に基づいて前記人らしさを計算する
   ことを特徴とする請求項３に記載の人検知装置。
5. 前記球形部位人らしさ演算部は、前記ヒストグラムが双峰性分布を示す場合における前記人らしさを、前記ヒストグラムの形状が単峰性分布を示す場合における前記人らしさよりも、高い値に設定する
   ことを特徴とする請求項４に記載の人検知装置。
6. 前記人らしさ演算部は、前記特定形状の部位として線状の前記線分部位を選択し、前記線分部位に基づいて前記人らしさを計算する線分部位人らしさ演算部を有する
   ことを特徴とする請求項１に記載の人検知装置。
7. 前記線分部位人らしさ演算部は、前記線分部位に関して横軸を前記線分部位に鉛直な方向の位置とし縦軸を温度値とする温度分布グラフを作成し、前記温度分布グラフの形状に基づいて前記人らしさを計算する
   ことを特徴とする請求項６に記載の人検知装置。
8. 前記線分部位人らしさ演算部は、前記温度分布グラフが単峰性分布を示す場合における前記人らしさを、前記温度分布グラフが単峰性分布を示さない場合における前記人らしさよりも、高い値に設定する
   ことを特徴とする請求項７に記載の人検知装置。
9. 前記人らしさ演算部は、
   前記特定形状の部位として球形状の前記球形部位を選択し、前記球形部位に基づいて第１の人らしさを計算する球形部位人らしさ演算部と、
   前記特定形状の部位として線状の前記線分部位を選択し、前記線分部位に基づいて第２の人らしさを計算する線分部位人らしさ演算部と、
   を有し、
   前記人判定部は、前記第１の人らしさと前記第２の人らしさとに基づいて、前記人形状情報が示す前記人の形状が、実際に存在する前記人の形状であるのか否かを判定する
   ことを特徴とする請求項１に記載の人検知装置。
10. 前記撮影範囲内に設置されている発熱を伴う機器の使用情報を取得する機器使用情報取得部と、
    前記使用情報と前記発熱領域情報との関連を学習する機器学習部と、
    前記機器が使用中である場合に、前記発熱領域情報から前記機器に起因する発熱部分の情報を除外して、修正された発熱領域情報を生成する機器除外部と
    を更に有し、
    前記人らしさ演算部は、前記人形状情報と修正された前記発熱領域情報とに基づいて、前記人らしさを計算する
    ことを特徴とする請求項１から９のいずれか１項に記載の人検知装置。
11. 前記撮影範囲内に設置されている発熱を伴う機器の使用情報を取得する機器使用情報入力部と、
    前記使用情報と前記発熱領域情報との関連を学習する機器学習部と、
    前記機器が使用中である場合に、前記発熱領域情報から前記機器に起因する発熱部分の情報を除外して、修正された発熱領域情報を生成する機器除外部と
    を更に有し、
    前記人らしさ演算部は、前記人形状情報と修正された前記発熱領域情報とに基づいて、前記人らしさを計算する
    ことを特徴とする請求項１から９のいずれか１項に記載の人検知装置。
12. 前記可視画像カメラから送信された前記画像を受信する第１の通信部と、
    前記赤外線カメラから送信された前記熱画像を受信する第２の通信部と、
    を更に有し、
    前記人形状抽出部は、前記第１の通信部を介して前記画像を受け取り、
    前記発熱領域抽出部は、前記第２の通信部を介して前記熱画像を受け取る
    ことを特徴とする請求項１から９のいずれか１項に記載の人検知装置。
13. 請求項１から９のいずれか１項に記載の人検知装置と、
    前記可視画像カメラと、
    前記赤外線カメラと、
    を有することを特徴とする人検知システム。
14. 人検知装置によって実行される人検知方法であって、
    少なくとも可視光の波長領域の画像を撮影する可視画像カメラで撮影して得られた画像を受信し、前記画像内における人の形状を示す人形状情報を抽出するステップと、
    赤外線カメラで撮影された熱画像を受信し、前記熱画像内における発熱量の大きい領域を示す発熱領域情報を抽出するステップと、
    前記人の形状の予め定められた特定形状の部位として球形状の球形部位又は線状の線分部位を選択し、前記人形状情報と前記発熱領域情報とに基づいて、選択された前記特定形状の部位が、前記画像の撮影範囲内に実際に存在する人の部位であることの確からしさを表す数値である人らしさを計算するステップと、
    選択された前記特定形状の部位について計算された前記人らしさに基づいて、前記人形状情報が示す前記人の形状が、前記撮影範囲内に存在する前記人の形状であるのか否かを判定するステップと、
    を有することを特徴とする人検知方法。
15. 少なくとも可視光の波長領域の画像を撮影する可視画像カメラで撮影して得られた画像を受信し、前記画像内における人の形状を示す人形状情報を抽出するステップと、
    赤外線カメラで撮影された熱画像を受信し、前記熱画像内における発熱量の大きい領域を示す発熱領域情報を抽出するステップと、
    前記人の形状の予め定められた特定形状の部位として球形状の球形部位又は線状の線分部位を選択し、前記人形状情報と前記発熱領域情報とに基づいて、選択された前記特定形状の部位が、前記画像の撮影範囲内に実際に存在する人の部位であることの確からしさを表す数値である人らしさを計算するステップと、
    選択された前記特定形状の部位について計算された前記人らしさに基づいて、前記人形状情報が示す前記人の形状が、前記撮影範囲内に存在する前記人の形状であるのか否かを判定するステップと、
    をコンピュータに実行させることを特徴とする人検知プログラム。

Images