JP6189170B2 - 姿勢推定装置 - Google Patents

Description

本発明は、人物が写された画像から算出される特徴量に基づいて当該人物の姿勢を推定する装置に関する。

人物が写された画像から当該人物の姿勢を推定する装置が提案されている。姿勢の推定には、入力された画像に写された人物の領域を求め、当該領域について各種の特徴量を抽出して閾値処理する等の処理が行われる。

例えば、特徴量として、入力画像中の人物領域の長軸方向が入力画像の横軸（Ｘ軸）となす角度を用いる技術が開示されている（特許文献１）。

また、特徴量として、背景差分により得られた人物領域の面積を用い、閾値以上の場合には人物は床面に横臥していると判定する装置が開示されている（特許文献２）。

特開２００２−１９７４６３号公報 特開２０００−２０７６６４号公報

図１１（ａ）〜（ｃ）は、実際の空間を模擬した図（右図）とカメラ１２０が撮影した画像（左図）を示している。図１１（ａ）〜（ｃ）は、カメラ１２０を左上方に設置して、斜め上方から人物を撮影した画像である。

図１１（ａ）では、立位の人物１２１がカメラ１２０にて撮影されている図である。図１１（ｂ）は、人物とカメラ１２０とを含む鉛直面１０１に沿った方向に横臥している人物１２２がカメラ１２０にて撮影されている図である。図１１（ｃ）は、人物とカメラ１２０とを含む鉛直面１０１に垂直となる方向に横臥している人物１２３がカメラ１２０にて撮影されている図である。

特許文献１では、画像中の人物領域の長軸方向（足と頭を結ぶ方向）が画像の横軸（Ｘ軸）となす角度を主軸角θとして算出し、立位であれば９０°に近く、横臥であれば０°に近くなるとして、人物の姿勢を判定している。

このため、図１１（ａ）の立位の人物領域１０３と、図１１（ｃ）の横臥している人物領域１０５は、人物領域の長軸方向と画像の横軸（Ｘ軸）となす角度である主軸角θが９０°近辺と０°近辺と大きく異なり、立位なのか横臥なのか判別は容易である。しかしながら、図１１（ａ）の立位の人物領域１０３と、図１１（ｂ）の横臥している人物領域１０４とは、人物領域の長軸方向と画像の横軸（Ｘ軸）となす角度である主軸角θがどちらも９０°近辺となり判別が困難となる。したがって、特許文献１の方法では、立位と横臥を判別することが困難である。

特許文献２では、人物領域の面積から人物が転倒したかを検出している。図１１（ａ）の立位の人物領域１０３と、図１１（ｂ）の横臥している人物領域１０４とは、図から明らかなように面積が大きく変動しているので立位と横臥の区別は可能である。しかしながら、図１１（ａ）立位の人物領域１０３と図１１（ｃ）の横臥の人物領域１０５の面積は、略同じ面積を示すため立位なのか横臥なのか判別できない。したがって、特許文献２の方法では、立位と横臥を判別することが困難になる。

このように、特徴量を１つのみ用いて人物の姿勢を推定した場合、高い確度での推定が困難であった。さらに、仮に複数の特徴量を用いたとしても、単に併用しただけでは高い精度での推定は困難である。

そこで、本発明は、人物の姿勢を推定するにあたって複数の特徴量を用い、正しい姿勢が推定されるように特徴量を重み付けして姿勢の判別をする姿勢推定装置を提供することを目的とする。

本発明にかかる姿勢推定装置は、所定位置に設置された撮像部が撮影した入力画像中の人物領域画像から複数種類の特徴量を算出して人物の姿勢を推定する姿勢推定装置であって、撮像部にて撮影された第一姿勢の人物を模した第一モデル画像と、撮像部にて撮影された第二姿勢の人物を模した第二モデル画像を生成するモデル画像生成手段と、画像から複数種類の特徴量を算出する特徴量算出手段と、特徴量ごとに、第一モデル画像の特徴量と第二モデル画像の特徴量との相違に応じて姿勢評価用の重みを決定して姿勢評価式を生成する姿勢評価式生成手段と、入力画像から人物領域画像を抽出する人物領域抽出手段と、人物領域画像について算出した特徴量から姿勢評価式に基づいて姿勢を推定する姿勢判定手段を有することを特徴とする。

本発明にかかる姿勢推定装置は、姿勢の違いによる特徴量の差に応じて重み付けをして姿勢評価式を生成して用いるため、姿勢を精度良く推定できる。

さらに、モデル画像生成手段は、人物領域画像から撮像部の撮影空間にて推定された人物の体格に合致するように、予め記憶した所定の人物モデルを拡大又は縮小し、人物モデルを撮像部にて撮影したと仮定して第一モデル画像および第二モデル画像を生成することが好適である。

これにより、人物の体格を反映させて重みを決定するので、さらに精度良く人物の姿勢を推定できる。

さらに、モデル画像生成手段は、人物領域画像から撮像部の撮影空間における人物位置を推定し、位置に予め記憶した所定の人物モデルを配置し、人物モデルを撮像部が撮影したと仮定して第一モデル画像および第二モデル画像を生成することが好適である。

これにより、撮影空間における人物の位置による写り方の違いを反映させて重みを決定するので、さらに精度良く人物の姿勢を推定できる。

さらに、所定の人物モデルは、単一形状の人物モデルであって、モデル画像生成手段は、人物領域画像から撮像部の撮影空間における人物の足元位置を推定し、足元位置を合わせて立位姿勢と横臥姿勢のモデルを配置し、立位姿勢の人物モデルを撮像部が撮影したと仮定して第一モデル画像を生成し、横臥姿勢の人物モデルを撮像部が撮影したと仮定して第二モデル画像を生成することが好適である。

これにより、第一の姿勢として立位の姿勢、第二の姿勢として横臥の姿勢としたときに、立位姿勢と横臥姿勢との特徴量の差を反映して重み付けをした姿勢評価式を生成し、用いるため、精度良く立位姿勢または横臥姿勢の推定ができる。

さらに、所定の人物モデルは、第一姿勢の人物モデルおよび第一姿勢の人物モデルと形状が異なる第二姿勢の人物モデルであることが好適である。

これにより、形状の違いによる特徴量の差に応じて重み付けをするため、人物の形状の違いが生じる姿勢を精度良く推定できる。

本発明によれば、人物の姿勢を推定するにあたって複数の特徴量を用いて姿勢評価式を生成し、当該姿勢評価式を用いて姿勢の判別をする姿勢推定装置を提供することができる。

本発明の実施の形態における横臥判定装置の構成を示すブロック図である。 本発明の実施の形態における特徴量の算出方法を説明するための図である。 本発明の実施の形態における入力画像の人物領域と監視領域における実際の位置の関係及び大きさの関係を例示する図である。 本発明の実施の形態における入力画像の人物領域と監視領域において横臥していたときの位置の関係を例示する図である。 本発明の実施の形態における立位モデル及び横臥モデルを監視領域に配置したと仮定した状態を例示する図である。 本発明の実施の形態における立位モデル画像及び横臥モデル画像を例示する図である。 本発明の実施の形態における横臥推定方法のメインフローチャートを示す図である。 本発明の実施の形態における重みの算出方法のサブフローチャートを示す図である。 本発明の変形例１における特徴量の算出方法を説明するための図である。 本発明の変形例２における特徴量の算出方法を説明するための図である。 従来技術を説明するための図である。

本発明の姿勢推定装置を、立位姿勢と横臥姿勢を識別する横臥判定装置に適用した形態について説明する。
本発明の実施の形態における横臥判定装置１は、図１に示すように、撮像部１０、記憶部２０、画像処理部３０及び出力部４０を含んで構成される。横臥判定装置１は、撮像部１０で撮像された画像に写された人物の立位姿勢と横臥姿勢を識別して判定する。

本実施の形態では、横臥判定装置１として各部を一体的に説明するが、撮像部１０、記憶部２０、画像処理部３０、出力部４０とをそれぞれ別筐体とし、通信技術を駆使して必要な制御信号等を通信するようにしてもよい。また、これらを適宜組み合わせて筐体に組み込むようにしてもよい。

撮像部１０は、撮像空間を撮影した画像を入力画像として画像処理部３０に出力する。撮像部１０は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される。これらの撮像素子は、明るさを電気信号に変換する可視光タイプでもよいし、赤外線に反応して温度を電気信号に変換する熱画像タイプとしてもよい。撮影は所定時間間隔で行う。
入力画像は、撮像部１０から撮影される都度、画像処理部３０を介して一時的に記憶部２０に記憶される。

本実施の形態では、撮像部１０は、人物の姿勢を推定するべき場所（監視領域）の床面の上方、例えば天井に設置される。撮像部１０は、支柱に取り付けてもよい。撮像部１０は、撮像方向が斜め下向きに向けられて設置されているものとする。

記憶部２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリ、ハードディスク等のメモリ装置で構成される。記憶部２０は、画像処理部３０からアクセス可能であり、カメラ情報２１、追跡情報２２、人物モデル２３の他、図示しないプログラム、入力画像、背景画像、判定処理に用いられる閾値等のデータを記憶する。

カメラ情報２１は、入力画像中の領域と監視領域の実際の位置との関係を幾何学的な方法で算出するために用いられる情報である。カメラ情報２１は、撮像部１０の画角、床面からの高さ、俯角の情報などの各種パラメータを含む。

追跡情報２２は、撮像部１０が入力画像を取得した現時刻、入力画像から抽出された人物領域画像の位置情報（重心位置座標）、人物領域画像を追跡したフレーム数である追跡回数、後述する体格推定処理にて推定された体格情報（身長および身幅）を対応付けた情報である。人物領域画像の位置情報は、入力画像に複数の人物が存在した場合の追跡処理、および各人物の体格を推定するために用いられる。追跡回数は、後述する追跡手段により新規に出現したと判断されると、初期値として１が設定される。

人物モデル２３は、撮影対象である人物をポリゴンモデルやサーフェースモデルなどで３次元形状を表現した情報であり、少なくとも標準的な人間の身長（１７０ｃｍ）、身幅（６０ｃｍ）および頭頂と足下を結ぶ軸（主軸）を表現したモデルである。かかる人物モデル２３は、後述する体格推定処理にて推定された体格に合わせて拡大縮小される。また、本実施の形態では、「気を付け」の姿勢が人物モデル２３として記憶されているものとする。
尚、予め記憶される背景画像とは、入力画像のうち撮像範囲内に人物が存在しないときの画像である。

画像処理部３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）又はＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等を含む演算装置（コンピュータ）により実現される。画像処理部３０は、記憶部２０に記憶している各種プログラムを読み出して実行することにより、以下に述べる各手段として機能する。

画像処理部３０は、撮像部１０で撮影された入力画像を順次処理する。なお、処理する画像は、１フレーム毎に撮影時間順に処理してもよいし、数フレームおきに処理を行ってもよい。

画像処理部３０は、人物領域抽出手段３０１、追跡手段３０２、特徴量算出手段３０３、姿勢評価式生成手段３０４、評価値算出手段３１１及び姿勢判定手段３１２の各モジュールから構成されている。

人物領域抽出手段３０１は、記憶部２０に一時的に記憶された入力画像において生じた変化領域を抽出し、その内部を切り出す手段である。具体的には、入力画像と記憶部２０に記憶された背景画像とにおいて対応する画素どうしの輝度差を求め、その差分値が輝度閾値以上となる画素を変化領域として抽出する。なお、変化領域の抽出方法は、これに限られるものではなく、時間的に隣り合う入力画像のフレーム間差分処理によって抽出した領域を変化領域として抽出する方法を採用してもよい。

人物領域抽出手段３０１は、変化領域として特定された画素群について、同一の物体によるものと考えられる領域を纏めてラベリング処理を行う。ラベリング処理には、周知の処理を適用すればよい。変化領域は、通常、照明の変動やノイズの重畳等の理由により、大小様々な領域が抽出されるが、撮像部１０の解像度やカメラ情報２１を参照して、人らしい条件を満たす大きさ、縦横比を有する変化領域に人が写っているものとして以後の処理対象とする。この処理対象となった変化領域を、以下「人物領域」と呼び、入力画像からその内部を切り出した部分画像を以下「人物領域画像」と呼ぶ。
なお、人物領域画像の抽出方法は、これに限られるものではなく、検出対象である人物画像を学習した学習識別器によって人物領域画像を抽出する方法、人物テンプレートとのマッチング処理にて類似するとされた領域を人物領域画像として抽出する方法など種々の方法を採用してもよい。

また、人物領域抽出手段３０１は、人物領域画像の入力画像中の重心位置を求め、追跡処理のために追跡手段３０２に出力する。

追跡手段３０２は、記憶部２０に追跡情報２２として記憶されている前時刻における人物領域画像の位置を参照して、その位置から所定の距離以内にある現時刻における人物領域画像を同一人物によるものとみなして対応付けることにより追跡処理をする。また、前時刻における人物領域画像に対応付いた現時刻の人物領域画像の重心位置を、現時刻と対応付けて記憶部２０の追跡情報２２として記憶させる。なお、現時刻の人物領域画像が前時刻おける人物領域画像と対応付くと、追跡情報２２の追跡回数を１加算する。
現時刻の人物領域画像に対応する記憶部２０に記憶されている前時刻の人物領域画像が無かった場合、現時刻において撮像部１０によって新規の人が撮像され始めたものとして、次の時刻から追跡の対象とする。
逆に、記憶部２０に前時刻の人物領域画像として記憶されており、現時刻において対応する人物領域画像が無い場合には、これまで撮像部１０によって撮像されていた人が入力画像に撮像されなくなったものとして、以後の処理対象から外し、記憶部２０から消去する。
これらの追跡処理は、周知の方法を適用すればよいので詳細は省略する。

なお、監視領域において人が１人しか入らないことが前提となる場合や、時間の推移による特徴量の変化を用いない場合には、追跡手段３０２による追跡処理は不要である。

特徴量算出手段３０３は、人物領域抽出手段３０１にて抽出した人物領域画像から、体格特徴量、横臥判定用特徴量を求める。また、姿勢評価式生成手段３０４から、後述する立位モデル画像と横臥モデル画像を取得して、後述する重みを決定するための立位モデル特徴量と横臥モデル特徴量の値を求める。体格特徴量、横臥判定用特徴量、立位モデル特徴量及び横臥モデル特徴量は、抽出された人物領域画像毎に算出する。

図２を参照して、特徴量算出手段３０３での処理を説明する。
図２（ａ）には、入力画像における縦軸（ｙ軸）と横軸（ｘ軸）に沿い、人物２００を含む人物領域画像２０１の外接矩形２０２が示されている。外接矩形２０２は横幅ｐと高さｑを有する。
図２（ｂ）には、人物領域画像２０１の主軸２０４の方向に長辺の方向を一致させた外接矩形２０３が示されている。外接矩形２０３は、横幅ｗと高さｈを有する。

特徴量算出手段３０３は、人物の体格を推定するための体格特徴量として、以下の２つを求める。
（Ａ）人物の身長に対応する外接矩形２０２の高さｑ
（Ｂ）人物の身幅に対応する外接矩形２０２の横幅ｐ
そして、求めた体格特徴量を姿勢評価式生成手段３０４に出力する。

また、特徴量算出手段３０３は、横臥検知に用いるための横臥判定用特徴量として、以下の５つの値を計算する。
（１）外接矩形面積ｆｊ１＝外接矩形２０２の横幅ｐ×高さｑ
（２）外接矩形アスペクト比ｆｊ２＝外接矩形２０２の横幅ｐ／高さｑ
（３）外接矩形高さｆｊ３＝外接矩形２０２の高さｑ
（４）主軸方向アスペクト比ｆｊ４＝外接矩形２０３の横幅ｗと高さｈについて（短い方／長い方）
（５）主軸方向長辺長ｆｊ５＝外接矩形２０３の横幅ｗと高さｈの長い方
そして、求めた横臥判定用特徴量を評価値算出手段３１１に出力する。

また、特徴量算出手段３０３は、後述するように、姿勢評価式生成手段３０４のモデル画像生成手段３１３が生成した立位モデル画像の外接矩形から、上記（１）〜（５）と同様に、立位モデル特徴量（外接矩形面積ｆｓ１、外接矩形アスペクト比ｆｓ２、外接矩形高さｆｓ３、主軸アスペクト比ｆｓ４、主軸方向長辺長ｆｓ５）を算出する。
そして、求めた立位モデル特徴量を姿勢評価式生成手段３０４に出力する。

また、特徴量算出手段３０３は、後述するように、姿勢評価式生成手段３０４のモデル画像生成手段３１３が生成した横臥モデル画像の外接矩形から、上記（１）〜（５）と同様に、横臥モデル特徴量（外接矩形面積ｆｔ１、外接矩形アスペクト比ｆｔ２、外接矩形高さｆｔ３、主軸アスペクト比ｆｔ４、主軸方向長辺長ｆｔ５）を算出する。
そして、求めた横臥モデル特徴量を姿勢評価式生成手段３０４に出力する。

上記（１）〜（５）は画像の形状に関する特徴量であったが、このほか、特徴量算出手段３０３は、平均輝度値やテクスチャ情報など、内部に含まれる画素の画素値に基づいた特徴量を算出して用いてもよい。

姿勢評価式生成手段３０４は、人物領域画像に写った人物が、立位か横臥かを識別するために用いる判定用評価値を算出するための姿勢評価式を生成する。
姿勢評価式生成手段３０４は、人物領域画像が１０フレーム分追跡されると体格情報（身長、身幅）を求め、特徴量算出手段３０３が算出した各特徴量、記憶部２０に記憶されている人物モデル２３などを参照して姿勢評価式を生成する。
姿勢評価式生成手段３０４は、モデル画像生成手段３１３、重み算出処理３０９、評価式決定処理３１０からなる。以下、各処理を説明する。

モデル画像生成手段３１３は、人物領域画像に写っている人物と同じ体格の人物の姿勢が、立位であることを仮定した場合の立位モデル画像と横臥であることを仮定した場合の横臥モデル画像を生成し、重み算出処理３０９に出力する。
モデル画像生成手段３１３は、２次元／３次元変換処理３０５、体格推定処理３０６、３次元モデル生成処理３０７、モデル領域生成処理３０８からなる。

２次元／３次元変換処理３０５は、入力画像における２次元の座標値と、監視領域を世界座標系にて表現した３次元の位置を相互に変換する処理である。
変換する処理は、記憶部２０にカメラ情報２１として記憶されている撮像部１０の画角、設置高さ、俯角等の情報に基づいて周知の幾何学的方法により実現される。
２次元／３次元変換処理３０５により、例えば入力画像における人物領域画像の座標情報に基づき、監視領域に存在する人物の位置を算出することができる。その例を、図３を用いて説明する。

図３（ａ）には、入力画像において人物２００により生じた人物領域画像２０１が抽出された様子が示されている。２次元／３次元変換処理３０５は、人物領域画像２０１の最下点２０５を人物２００の足下位置（人物位置）とみなし、最下点２０５の入力画像内での座標値を、図３（ｂ）に示すように、監視領域に別途定義された世界座標系における座標値に変換する。図３（ｂ）には、監視領域に実際に立っている人物２０６が示されており、人物領域画像２０１の最下点２０５に相当するのが監視領域における実際の足下位置２０７である。

体格推定処理３０６は、人物領域画像に写っている人物の体格を推定する。体格は、身長及び身幅とし、推定された身長及び身幅を「推定身長」及び「推定身幅」と称する。

体格推定処理３０６は、図３（ａ）に示す人物領域画像２０１の高さと幅、即ち人物領域画像２０１の外接矩形２０２の高さｑと横幅ｐを、２次元／３次元変換処理３０５により、図３（ｂ）に示すように、監視領域の足下位置２０７に実際に立っている人物２０６の推定身長ｑ’および推定身幅ｐ’として求める。
求められた推定身長と推定身幅の値は、現時刻の人物領域画像の情報と関連づけられて、記憶部２０の追跡情報２２に記憶される。

なお、本実施の形態では、人物が画像に写り始めてから所定フレーム数は、その人物が立って歩行している立位の人物と仮定している。体格推定処理３０６は、人物が入力画像に写り始めてから所定フレーム数に亘り推定身長及推定身幅を求め、その平均値を体格情報として追跡情報２２に記憶し、その後、さらなる推定身長及び推定身幅の算出処理は省略する。この所定フレーム数は、人物の体格を画像から推定する際に精度を向上させるのに適切なフレーム数であり、横臥判定装置１の設置条件などによって定められる。本実施の形態では１０フレームとしている。
体格推定処理３０６は、１０フレーム分の平均値を用いるのではなく、１フレームごとに算出された推定身長と推定身幅をそのまま用いてもよい。

３次元モデル生成処理３０７は、体格推定処理３０６にて算出された推定身長と推定身幅を用い、記憶部２０の人物モデル２３を読み出し、変形して、立位モデル及び横臥モデルを生成する。

まず、３次元モデル生成処理３０７は、まず人物領域抽出手段３０１にて抽出された人物領域画像について、床面身体方向を決定する。これについて、図４を用いて説明する。床面身体方向とは、人物領域画像に写った人物が床面に横臥していると仮定した場合の身体の方向である。
図４（ａ）に示すように、３次元モデル生成処理３０７は、人物領域画像２０１の主軸３５０を求め、主軸３５０上の画面上における２つの点として、頭頂である端点Ａと足下である端点Ｂの座標を求める。そして、３次元モデル生成処理３０７は、図４（ｂ）に示すように、２次元／３次元変換処理３０５により、端点Ａと端点Ｂを監視領域の床面上の点Ａ’及び点Ｂ’の座標（世界座標）として算出する。

３次元モデル生成処理３０７は、撮像部１０の視軸３５１と床面との交点および撮像部１０の鉛直下の床面位置を通るｖ軸、撮像部１０の視軸３５１と床面との交点を原点として、ｖ軸に直交するｕ軸を考え、図４（ｃ）に示すように、床面上にて点Ａ’と点Ｂ’を結んだ直線３５２がｕ軸と成す角度を床面身体方向３５３として求める。なお、床面上の点Ｂ’は、図３（ｂ）に示す足下位置２０７を用いてもよい。

続いて、３次元モデル生成処理３０７は、「立位モデル」と「横臥モデル」を算出して、仮想的に監視領域における床面上に両モデルを配置する処理を行う。

図５を参照して、両モデルを仮想的に配置する処理を説明する。３次元モデル生成処理３０７は、記憶部２０に記憶されている人物モデル２３を読み出し、体格推定処理３０６にて推定された推定身長及び推定身幅に合致するよう、人物モデル２３を拡大又は縮小する。そして、３次元モデル生成処理３０７は、監視領域の床面における点Ｂ’に人物モデル２３の足下の位置を一致させ、立位モデル４００を仮想的に配置する。立位モデル４００は、床面上にて直立しているものとする。さらに、同じく点Ｂ’に足下の位置を一致させ、立位モデル４００と同じ大きさの横臥モデル４０１を仮想的に配置する。横臥モデル４０１の、頭頂と足下を結んだ方向は、図４（ｃ）の床面身体方向３５３と一致させる。

モデル領域生成処理３０８は、監視領域の床面に仮想的に配置した立位モデル４００と横臥モデル４０１を、撮像部１０にて撮影したと仮定したときの画像中における立位モデル領域及び横臥モデル領域とを算出する。

図６（ａ）は、監視領域の床面の点Ｂ’の位置に立位モデル４００を配置したときに、撮像部１０が撮影したと仮定した立位モデル４００の輪郭を表わす立位モデル領域の内部をモデル画像生成手段３１３が切り出した立位モデル画像５００を示したものである。また入力画像における縦軸（ｙ軸）と横軸（ｘ軸）に沿い、立位モデル画像５００を含む外接矩形５０１及び図示しない主軸方向に長辺の方向を一致させた外接矩形５０２が示されている。なお、立位モデルの場合は主軸方向がｙ軸に一致することになる。
図６（ｂ）は、監視領域の床面の点Ｂ’の位置に横臥モデル４０１を配置したときに、撮像部１０が撮影したと仮定した横臥モデル４０１の輪郭を表わす横臥モデル領域の内部をモデル画像生成手段３１３が切り出した横臥モデル画像５０３を示したものである。また入力画像における縦軸（ｙ軸）と横軸（ｘ軸）に沿い、横臥モデル画像５０３を含む外接矩形５０１、および横臥モデル画像５０３の図示しない主軸方向に長辺の方向を一致させた外接矩形５０２が示されている。

前述したように、特徴量算出手段３０３は、モデル領域生成処理３０８が生成した立位モデル画像５００から立位モデル特徴量、横臥モデル画像５０３から横臥モデル特徴量を求める。
すなわち、特徴量算出手段３０３は、立位モデル画像５００の外接矩形５０１と外接矩形５０２から、立位モデル特徴量（外接矩形面積ｆｓ１、外接矩形アスペクト比ｆｓ２、外接矩形高さｆｓ３、主軸アスペクト比ｆｓ４、主軸方向長辺長ｆｓ５）を算出する。
また、特徴量算出手段３０３は、横臥モデル画像５０３の外接矩形５０１と外接矩形５０２から横臥モデル特徴量（外接矩形面積ｆｔ１、外接矩形アスペクト比ｆｔ２、外接矩形高さｆｔ３、主軸アスペクト比ｆｔ４、主軸方向長辺長ｆｔ５）を算出する。
立位モデル特徴量と横臥モデル特徴量の算出方法は、特徴量算出手段３０３の説明の箇所で述べた通りであり、外接矩形５０１の高さｑ、横幅ｐ、外接矩形５０２の高さｈ、横幅ｗを用いて算出される。

立位モデル特徴量ｆｓｉ（ｉ＝１〜５）は、図３（ｂ）における人物の足下位置２０７にて、その入力画像に写っている人物の体格と同じ人物が立位であった場合に得られる各特徴量を表わしている。同様に、横臥モデル特徴量ｆｔｉ（ｉ＝１〜５）は、図３（ｂ）における人物の足下位置２０７にて、その入力画像に写っている人物の体格と同じ人物が横臥していた場合に得られる各特徴量を表わしている。

重み算出処理３０９は、前述の立位モデル特徴量及び横臥モデル特徴量に基づいて、横臥判定用特徴量のそれぞれに対する重みｗ１〜ｗ５を算出する。重みは、抽出された人物領域の各々について横臥判定用特徴量毎に算出する。
具体的には、以下の条件式に応じて重みｗ１〜ｗ５を決定する。以下では、ｉは１〜５の整数とする。

すなわち、｜ｆｓｉ−ｆｔｉ｜≦ｔｈｉの条件が成立すれば重みｗｉ＝０．２、成立しなければ重みｗｉ＝０．８とする。ｔｈｉは、ｆｓｉとｆｔｉの差が、立位と横臥とで有意な差と認められる値であって、実験的経験的に予め定められた閾値である。

つまり、これらの立位モデル特徴量ｆｓｉと横臥モデル特徴量ｆｔｉとの差が小さいということは、立位と横臥の違いによる特徴量の値の変化が小さく、その特徴量に対応する横臥判定用特徴量ｆｊｉを用いて立位と横臥を峻別するのは難しいことを意味している。そのような横臥判定用特徴量ｆｊｉは、姿勢推定のための評価値を求める際には重視すべきではないので、立位モデル特徴量ｆｓｉと横臥モデル特徴量ｆｔｉとの差が小さいほど重みｗｉを小さな値とする。
逆に、立位モデル特徴量ｆｓｉと横臥モデル特徴量ｆｔｉとの差が大きいということは、立位と横臥の違いによる特徴量の値の変化が大きく、その特徴量に対応する横臥判定用特徴量ｆｊｉを用いて立位と横臥を峻別するのは容易であることを意味している。そのような横臥判定用特徴量ｆｊｉは、姿勢推定のための評価値を求める際には重視すべきであるので、立位モデル特徴量ｆｓｉと横臥モデル特徴量ｆｔｉとの差が大きいほど重みｗｉを大きな値とする。

なお、判定に用いられる特徴量は、これらの特徴量に限定されるものではなく、判別される姿勢の間において相違が生ずるであろうと考えられる特徴量であればよい。本実施の形態では、立位と横臥との間で値に違いが生ずると考えられる特徴量であればよい。

また重みｗｉの数値は例示であり、重みｗｉは、立位モデル特徴量と横臥モデル特徴量との差が閾値以下の場合に当該差が閾値より大きい場合よりも小さくなるように設定することが好適である。

例えば、立位モデル特徴量と横臥モデル特徴量との差が閾値以下という条件が成立した場合には重みｗｉ＝０、成立しない場合には重みｗｉ＝１としてもよい。この場合、重みｗｉが０である特徴量については後述する判定用評価値には反映されず、重みｗｉが１である特徴量については後述する判定用評価値に完全に反映させることになる。

また、重みｗｉは、立位モデル特徴量と横臥モデル特徴量の差に応じた連続値としてもよい。例えば、｜ｆｓｉ−ｆｔｉ｜の最小値は両者が等しいときの０であり、最大値はカメラ情報２１に基づいて算出することができる。よって、｜ｆｓｉ−ｆｔｉ｜が最小の０のときには重みｗｉを０とし、最大のときには重みｗｉを１とするように、重みｗｉを｜ｆｓｉ−ｆｔｉ｜の値に比例する値に設定してもよい。ここで、｜ｆｓｉ−ｆｔｉ｜が最大とは、監視領域に仮想的に立位モデルと横臥モデルを多数配置して求められた｜ｆｓｉ−ｆｔｉ｜の最大のものをいう。

評価式決定処理３１０は、重み算出処理３０９にて算出されたｗｉを用い、入力画像中の人物が立位か横臥かを峻別するための判定用評価値を算出する姿勢評価式を決定する。
本実施の形態では、姿勢評価式として次式を用いる。

数式（１）において、ｖｍｉは中間評価値であり、横臥判定用特徴量ｆｊｉと立位モデル特徴量ｆｓｉとの差の大きさと、横臥判定用特徴量ｆｊｉと横臥モデル特徴量ｆｔｉとの差の大きさを比較し、前者が小さい場合には立位であるとして中間評価値ｖｍｉに＋１が設定され、後者が小さい場合には横臥であるとして中間評価値ｖｍｉに−１が設定される。

評価値算出手段３１１は、特徴量算出手段３０３において算出された横臥判定用特徴量ｆｊｉ（ｉ＝１〜５）を用いて、評価式決定処理３１０で決定された数式（１）に従い、入力画像中の人物の横臥の有無を判定するための判定用評価値Ｖｊを算出する。そして、評価値算出手段３１１は、算出した判定用評価値Ｖｊを姿勢判定手段３１２に出力する。

例えば、外接矩形面積ｆｊ１と外接矩形面積ｆｓ１との差の大きさと、外接矩形面積ｆｊ１と外接矩形面積ｆｔ１との差の大きさを比較し、前者が小さい場合には、外接矩形面積によれば人物は立位であるとして中間評価値ｖｍ１に＋１を設定し、後者が小さい場合には人物は横臥であるとして中間評価値ｖｍ１に−１を設定する。同様に、外接矩形アスペクト比、外接矩形高さ、主軸方向アスペクト比及び主軸方向長辺長の特徴量のそれぞれについて人物が立位であるか、横臥であるかを判定し、中間評価値ｖｍ２〜ｖｍ５に＋１又は−１を設定する。

これは、横臥判定用特徴量ｆｊｉと立位モデル特徴量ｆｓｉとの差が小さいほど横臥判定用特徴量ｆｊｉを用いて姿勢判定すると、人物領域の人物の体格と同じ人物が立位である可能性が高いことを意味し、横臥判定用特徴量ｆｊｉと横臥モデル特徴量ｆｔｉとの差が小さいほど横臥判定用特徴量ｆｊｉを用いて姿勢判定すると、人物領域の人物の体格と同じ人物が横臥である可能性が高いことを意味する。そして、中間評価値ｖｍｉは、人物が立位である可能性が高いと大きな値（例えば＋１）に設定し、横臥である可能性が高いと小さな値（例えば−１）に設定される。

評価値算出手段３１１が求めた判定用評価値Ｖｊは、評価対象となっている人物領域が立位モデル領域に近いほど大きな値となり、横臥モデル領域に近いほど小さな値となる。すなわち、評価対象となっている人物領域の人物が人物モデルの立位に近いほど判定用評価値Ｖｊの値は大きくなり、人物モデルの横臥に近いほど判定用評価値Ｖｊの値は小さくなる。

姿勢判定手段３１２は、判定用評価値Ｖｊが所定の判定閾値を超えていると、入力画像中の人物は立位であると判定し、そうでなければ横臥であると判定して、その旨を出力部４０に出力する。ここで、判定閾値は、人物が立位であるときと人物が横臥であるときとを識別可能な値として、実験的に決められた値である。

出力部４０は、外部の機器に接続するためのインターフェースである。例えば、図示しない警備装置の制御装置に接続され、姿勢判定手段３１２から横臥を表わす信号を受け取ると、当該制御装置が受信できる形式の信号に変換して出力する。

例えば、横臥判定装置１がオフィスビルや商業ビルに設置されている場合、急病で高齢者が行き倒れたとして、その旨を守衛室に設置された警備装置に通報する。

次に、横臥判定装置１の動作を図７に示すフローチャートに沿って説明する。図７のフローは、入力画像を１フレーム取得する毎に実行する。

ステップＳ１００では、撮像部１０が入力画像を取得して画像処理部３０に出力し、画像処理部３０は入力画像を記憶部２０に一時記憶させる。入力画像は、画像処理部３０による処理に供される。ステップＳ１２０では、人物領域抽出手段３０１が入力画像から人物領域画像を抽出する。

ここでは、以下のステップＳ１３０〜Ｓ４２０を、人物領域画像が１つ抽出された場合について説明するが、人物領域画像が複数抽出された場合には人物領域画像毎に行われる。

ステップＳ１３０では、追跡手段３０２にて、抽出された人物領域画像の追跡処理を行う。
ステップＳ１４０では、姿勢評価式生成手段３０４が、記憶部２０に記憶されている追跡情報２２を参照して、抽出された人物領域画像の追跡回数が「１１」未満か否かを判定する。追跡回数が「１１」未満の場合には、体格推定処理をするためにステップＳ１６０に進み（Ｎｏの分岐）、追跡回数が「１１」以上の場合には、ステップＳ２６０〜Ｓ３４０の姿勢評価式を決定する処理、およびＳ２４０の横臥判定用の特徴量を算出する処理（Ｙｅｓの分岐）に進む。

まず、ステップＳ１６０では、２次元／３次元変換処理３０５と体格推定処理３０６が、記憶部２０のカメラ情報２１を参照し、人物領域画像に写っている人物の身長と身幅を推定する処理を行う。
体格推定処理３０６は、現時刻において、追跡情報２２の追跡回数が「１０」になっていると（ステップＳ１８０のＹｅｓの分岐）、１０フレーム分の推定身長と推定身幅について平均を求めて体格情報とする（ステップＳ２００）。
現時刻において、追跡情報２２の追跡回数が「１０」になっていないと、推定身長と推定身幅について平均を求める処理（ステップＳ２００）は行わない。

ステップＳ２２０では、追跡情報２２の追跡回数が「９」までは、ステップＳ１６０において体格推定処理３０６が求めた推定身長と推定身幅がそのまま人物領域画像に関する情報のひとつとして追跡情報２２に記憶される。追跡情報２２の追跡回数が「１０」になると、ステップＳ２００において体格推定処理３０６が求めた推定身長と推定身幅の平均値が体格情報として追跡情報２２に記憶される。
そして、現時刻の人物領域画像についての処理を終了する。

ステップＳ１４０においてＹｅｓとなると、評価式を決定するための処理に進む。
ステップＳ２６０では、３次元モデル生成処理３０７が、人物モデル２３と、ステップＳ２２０において記憶された体格情報（推定身長と推定身幅の平均値）を読み出す。

ステップＳ２８０では、３次元モデル生成処理３０７が、人物モデル２３を体格情報に合致するように拡大縮小して３次元モデルを生成する。
ステップＳ３００では、モデル領域生成処理３０８が、３次元モデルを監視領域に立位させて、撮像部１０にて撮影したと仮定した画像における立位モデルの領域である立位モデル領域と、３次元モデルを監視領域に横臥させて、撮像部１０にて撮影したと仮定した画像における横臥モデルの領域である横臥モデル領域を求める。そして、モデル画像生成手段３１３が、立位モデル領域と横臥モデル領域の内部を切り出して、それぞれ立位モデル画像と横臥モデル画像を生成する。

ステップＳ３２０では、重み算出処理３０９が、立位モデル画像と横臥モデル画像を用いて、外接矩形面積、外接矩形アスペクト比、外接矩形高さ、主軸アスペクト比、主軸方向長辺長のそれぞれの重みを求める。
図８を参照して、重み算出処理について詳細に説明する。

ステップＳ３２０１では、重み算出処理３０９が、５つの特徴量から１つを選択し、立位モデル領域から求めた立位モデル特徴量の値と、横臥モデル領域から求めた横臥モデル特徴量の値の差を求める。
当該差が閾値を超える場合には（ステップＳ３２０３のＹｅｓの分岐）、その特徴量についての重みｗｉを大きな値、例えば０．８とし（ステップＳ３２０３）、さもなくは重みｗｉを小さな値、例えば０．２とする（ステップＳ３２０４）。
全ての特徴量について重みの値を決定すると、図７のステップＳ３４０に戻る。

ステップＳ３４０では、評価式決定処理３１０が、人物が立位か横臥かを判定する判定用評価値Ｖｊを算出するための姿勢評価式を決定する処理を行う。本実施の形態では数式（１）に、ステップＳ３２０にて算出した重みｗｉを代入して定める。

一方、ステップＳ２４０では、特徴量算出手段３０３が、人物領域画像の高さや幅などから、横臥判定用特徴量を算出する。

ステップＳ３６０では、評価値算出手段３１１が、ステップＳ２４０にて求めた横臥判定用特徴量の値を、ステップＳ３４０にて定めた姿勢評価式に代入し、判定用評価値Ｖｊを求める。

ステップＳ３８０では、姿勢判定手段３１２が、判定用評価値Ｖｊと判定用閾値を比較し、人物領域画像に写っている人物が立位か横臥かを判定する。
ステップＳ４００では、姿勢判定手段３１２が、人物領域画像に写っている人物の横臥を判定した場合には（Ｙｅｓの分岐）、その旨を出力部４０に出力する。ステップＳ４２０では、出力部４０は、外部の機器に通知する。
姿勢判定手段３１２が、人物領域画像のいずれについても立位を判定した場合には特に処理を行わない（ステップＳ４００のＮｏの分岐）。

＜変形例１＞
上記実施の形態では、監視領域に入った人物が立位であるときと横臥したときとの姿勢を推定する態様について説明したが、本発明の適用範囲はこれに限定されるもではない。例えば、立位からしゃがんだ姿勢に変化したときは、急病で意識不明ほどの重要性はないが、警備員へ注意を喚起するようにしてもよい。

図９を参照して、ここでの処理を説明する。図９（ａ）は、監視領域の床面において人物が立っているときに撮像部１０によって撮像された入力画像中における人物領域画像８００と、その外接矩形８０１を示している。また、図９（ｂ）は、監視領域の床面において人物がしゃがんでいるときに撮像部１０によって撮像された入力画像中における人物領域画像８０４と、その外接矩形８０５を示したものである。さらに、本変形例１では、特徴量算出手段３０３は、人物領域画像８００，８０４の主軸８０２，８０６を求める。また、図９の例では、入力画像における縦軸（ｙ軸）と横軸（ｘ軸）に沿い、人物領域画像８００，８０４の外接矩形８０１，８０５は横幅ｐと高さｑを有する。

また、モデル領域生成処理３０８により、図５に示す場合と同様に、監視領域の床面に立位モデルとしゃがみモデルを仮想的に配置して、立位モデルの輪郭を表わす立位モデル領域としゃがみモデルの輪郭を表わすしゃがみモデル領域を求め、モデル画像生成手段３１３は、それぞれの内部から切り出した立位モデル画像としゃがみモデル画像を生成する。
ここで、しゃがみモデルは、撮像対象である人物がしゃがんでいる姿勢をポリゴンモデルやサーフェースモデルなどで表現した情報である。

そして、特徴量算出手段３０３は、入力画像における人物領域からしゃがみ検知用特徴量と、立位モデル画像としゃがみモデル画像から重みを決定するための立位モデル特徴量としゃがみモデル特徴量の値を求める。

特徴量算出手段３０３は、しゃがみ検知に用いるためのしゃがみ検知用特徴量と、立位モデル特徴量と、しゃがみモデル特徴量の値として、以下の５つを計算する。
（１１）外接矩形の高さｑ
（１２）外接矩形アスペクト比＝横幅ｐ／高さｑ
（１３）外接矩形の画素数に対する人物領域の画素数の比
（１４）人物領域外周画素数に対する人物領域の画素数
（１５）画像のｘ軸に対する主軸の角度８０３，８０７

重み算出処理３０９は、立位モデル特徴量及びしゃがみモデル特徴量に基づいて、しゃがみ検知用特徴量のそれぞれに対する重みｗ１〜ｗ５を算出する。この重みｗｉの算出方法は、上記実施の形態と同様である。

評価値算出手段３１１は、本実施の形態と同様に、しゃがみ検知用特徴量と算出された重みを用いて、入力画像中の人物がしゃがんでいるか否かを判定するための判定用評価値を算出する。
以下、上記実施の形態と同様に、判定用評価値を判定閾値と比較すればよいので、詳細は省略する。

＜変形例２＞
また、監視領域に入った人物が両手を下ろした気を付けの姿勢でいるときと両手を挙げて万歳しているときとの姿勢を推定する態様についての変形例２について説明する。本例は、立位であっても両手を下ろした姿勢から両手を挙げた姿勢へと移った場合には、賊等に脅されている可能性があるので警備員へ注意を喚起する用途を想定している。

図１０を参照して、ここでの処理を説明する。図１０（ａ）は、監視領域の床面において人物が両手を下げて立っている姿勢（気を付けの姿勢）のときに撮像部１０によって撮像された入力画像中における人物領域画像８１０と、その外接矩形８１１を示している。また、図１０（ｂ）は、監視領域の床面において人物が両手を挙げて立っている姿勢（万歳の姿勢）のときに撮像部１０によって撮像された入力画像中における人物領域画像８１２と、その外接矩形８１３を示したものである。また、図１０の例では、入力画像における縦軸（ｙ軸）と横軸（ｘ軸）に沿い、人物領域画像８１０，８１２の外接矩形８１１，８１３は横幅ｐと高さｑを有する。

また、モデル領域生成処理３０８により、図５に示す場合と同様に、監視領域の床面に気を付けモデルと万歳モデルを仮想的に配置して、気を付けモデルの輪郭を表わす気を付けモデル領域と万歳モデルの輪郭を表わす万歳モデル領域を求め、モデル画像生成手段３１３は、それぞれの内部から切り出した気を付けモデル画像と万歳モデル画像を生成する。
ここで、気を付けモデル及び万歳モデルは、撮像対象である人物が両手を下げた気を付けの姿勢で立っている姿勢及び両手を挙げた万歳の姿勢で立っている姿勢をポリゴンモデルやサーフェースモデルなどで表現した情報である。

そして、特徴量算出手段３０３は、入力画像における人物領域画像から万歳検知用特徴量と、気を付けモデル画像と万歳モデル画像から重みを決定するための気を付けモデル特徴量と万歳モデル特徴量の値を求める。

特徴量算出手段３０３は、万歳検知に用いるための万歳検知用特徴量と、気を付けモデル特徴量と、万歳モデル特徴量の値として、以下の３つを計算する。
（２１）外接矩形の高さｑ
（２２）外接矩形アスペクト比＝横幅ｐ／高さｑ
（２３）外接矩形の上半分（上半身に対応）の画素数に対する人物領域の上半分の画素数の比

以下、上記実施の形態や変形例１と同様に、各特徴量に対応した重みを算出し、判定用評価値を求めて、判定閾値と比較すればよいので、詳細は省略する。

なお、これまで述べてきた実施の形態とその変形例では、記憶部に記憶する人物モデルとして、ポリゴンモデルやサーフェースモデルなどの３次元形状を表す情報を記憶するとしていた。これに代え、人物モデルとして、２次元の人物の輪郭情報を記憶してもよい。この場合、モデル領域生成処理は、人物の足下位置と、記憶部に記憶されているカメラ情報を参照しつつ、人物モデルを拡大縮小、および変形して、入力画像中におけるモデル領域を求める。

また、体格推定処理あるいは３次元モデル生成処理において、人物領域画像の最下点を足下と見なして、監視領域における足下位置とする代わりに、人物領域画像の最上点を足下と見なして同じく足下位置を求めてもよい。これは人物が撮像部に対して手前方向に横臥すると、入力画像中では人物領域画像の最上点が足下に相当するからである。

また、最初の数フレーム（例えば１０フレーム）においても横臥判定を行いたい場合には、体格情報として標準的な身長と身幅（例えば、身長として１７０ｃｍ、身幅として６０ｃｍ）を用いても良い。

また、記憶手段に記憶される人物モデルは、前述の人物の標準的な寸法を有する人物モデルを予め記憶しておき、姿勢の推定にあたっては共通してその人物モデルを用いることとしてもよい。この場合、体格推定処理は省略することができる。

また、平均輝度やテクスチャ情報など、画素値を用いた特徴量を用いない場合には、特徴量を算出するために、人物領域などの内部から切り出した部分画像を用いる代わりに、人物領域そのものを用いてもよい。この場合、部分画像の切り出し処理を省略することができる。

以上のように、上記実施の形態及び変形例によれば、人物の姿勢を推定するにあたって複数の特徴量を用い、正しい姿勢が推定されるように特徴量を重み付けして正しい姿勢の判別をする姿勢推定装置を提供することができる。

１ 横臥判定装置、２３ 人物モデル、３０３ 特徴量算出手段、３０４ 姿勢評価式生成手段、３０６ 体格推定処理、３０８ モデル領域生成処理、３０９ 重み算出処理、３１１ 評価値算出手段、３１２ 姿勢判定手段、３１３ モデル画像生成手段。

Claims (5)

1. 所定位置に設置された撮像部が撮影した入力画像中の人物領域画像から複数種類の特徴量を算出して人物の姿勢を推定する姿勢推定装置であって、
   前記撮像部にて撮影された第一姿勢の人物を模した第一モデル画像と、前記撮像部にて撮影された第二姿勢の人物を模した第二モデル画像を生成するモデル画像生成手段と、
   画像から複数種類の特徴量を算出する特徴量算出手段と、
   前記特徴量ごとに、第一モデル画像の特徴量と第二モデル画像の特徴量との相違に応じて姿勢評価用の重みを決定して姿勢評価式を生成する姿勢評価式生成手段と、
   前記入力画像から人物領域画像を抽出する人物領域抽出手段と、
   前記人物領域画像について算出した特徴量から前記姿勢評価式に基づいて姿勢を推定する姿勢判定手段を有することを特徴とした姿勢推定装置。
2. 前記モデル画像生成手段は、前記人物領域画像から前記撮像部の撮影空間にて推定された人物の体格に合致するように、予め記憶した所定の人物モデルを拡大又は縮小し、当該人物モデルを前記撮像部にて撮影したと仮定して第一モデル画像および第二モデル画像を生成する請求項１に記載の姿勢推定装置。
3. 前記モデル画像生成手段は、前記人物領域画像から前記撮像部の撮影空間における人物位置を推定し、当該位置に予め記憶した所定の人物モデルを配置し、当該人物モデルを前記撮像部が撮影したと仮定して第一モデル画像および第二モデル画像を生成する請求項１または請求項２に記載の姿勢推定装置。
4. 前記所定の人物モデルは、単一形状の人物モデルであって、
   前記モデル画像生成手段は、前記人物領域画像から前記撮像部の撮影空間における人物の足元位置を推定し、当該足元位置を合わせて立位姿勢と横臥姿勢に人物モデルを配置し、立位姿勢の人物モデルを前記撮像部が撮影したと仮定して第一モデル画像を生成し、横臥姿勢の人物モデルを前記撮像部が撮影したと仮定して第二モデル画像を生成する請求項２または請求項３に記載の姿勢推定装置。
5. 前記所定の人物モデルは、第一姿勢の人物モデルおよび当該第一姿勢の人物モデルと形状が異なる第二姿勢の人物モデルである請求項２または請求項３に記載の姿勢推定装置。

Images