JP6163732B2 - 画像処理装置、プログラム、及び方法 - Google Patents
画像処理装置、プログラム、及び方法 Download PDFInfo
- Publication number
- JP6163732B2 JP6163732B2 JP2012242243A JP2012242243A JP6163732B2 JP 6163732 B2 JP6163732 B2 JP 6163732B2 JP 2012242243 A JP2012242243 A JP 2012242243A JP 2012242243 A JP2012242243 A JP 2012242243A JP 6163732 B2 JP6163732 B2 JP 6163732B2
- Authority
- JP
- Japan
- Prior art keywords
- angle
- image
- human body
- shoulder
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本明細書で議論される実施態様は、画像処理装置、プログラム、及び方法に関する。
防犯カメラを用いて、犯罪の抑止をするために犯罪の瞬間や証拠を記録、監視するだけでなく、事件が起きた際、その周辺の防犯カメラの画像を確認し、不審者がいないか捜索する技術が知られている。
例えば、多数のカメラ画像を用いた人の追跡システムは、セキュリティに使用された場合、それぞれ異なる場所で撮影された映像を利用して、検出した人の移動ルートを示すことで、犯罪捜査に役に立つことができる。視野の重なりがない異なる場所に設置した複数カメラを用いて人を自動的に追跡するためには、異なるカメラ画像から同一人物を同定することが好ましい。
例えば、監視カメラが取得をした画像の中から同一人物を抽出し、同一人物か否かの同定を人物画像における画像の特徴量の近似から判断する際、ある同一人物の画像の特徴量は、正面を向いている時と側面を向いている時などのように、その人物が向いている方向により大きく変わる。そこで、同じ方向を向いている時の画像について、特徴量から同一人物か否かを判断することが好ましい。そのため、人物画像がどの向きを向いているかを自動的に判断することが好ましい。
人物画像の向きを推定する技術として、例えば、動画像の連続するフレームにおいて、体の各ブロックの動きから、人体の向きを判断する技術が知られている。
また、同一人物の同定手法としては、顔、歩容情報や形状特徴などを用いた認証方法が提案されている。しかし、顔認証は人が後ろを向いている場合は適用できない。また、歩容情報を用いた方法も、人同士の重なりで遮蔽される可能性が高いため適用できない場合がある。そのため、人の画像特徴を用いて同定する技術が知られている（例えば、非特許文献１参照）。
また、同一人物の同定手法としては、顔、歩容情報や形状特徴などを用いた認証方法が提案されている。しかし、顔認証は人が後ろを向いている場合は適用できない。また、歩容情報を用いた方法も、人同士の重なりで遮蔽される可能性が高いため適用できない場合がある。そのため、人の画像特徴を用いて同定する技術が知られている（例えば、非特許文献１参照）。
また、１枚の画像で、画像の中心線の左右が対称か非対称かで、正面か側面かを判断する技術が知られている（例えば、特許文献１参照）。例えば、レントゲン写真が正面向きのレントゲン写真か、あるいは、横向きのレントゲン写真かの判断において、中心線から左右が対称か否かで判断をする技術が知られている。
また、顔画像と非顔画像とを識別ずる技術が知られている（例えば、特許文献２参照）。
また、１枚の画像で、人体を表現する複数のパーツに対応するテンプレートを作成し、分割領域との類似度を計算することで人体の向きを推定する技術が知られている（例えば、非特許文献２参照）。
また、１枚の画像で、人体を表現する複数のパーツに対応するテンプレートを作成し、分割領域との類似度を計算することで人体の向きを推定する技術が知られている（例えば、非特許文献２参照）。
川合諒,槇原靖,八木康史:"STHOG特徴を用いた複数カメラ間での人物照合" ,情報処理学会CVIM研究報告Vol.2011-CVIM-177 No.10, pp. 1-8, 2011.
岡野慎介, 浮田宗伯, 萩田紀博:"領域特徴量による複雑背景下での人体姿勢推定" ,情報処理学会CVIM研究報告Vol.2012-CVIM-180 No.9, pp. 1-8, 2012.
佐藤雄隆, 金子俊一, 丹羽義典, 山本和彦："Radial Reach Filter(RRF)によるロバストな物体検出", 信学論(D-II), Vol. J86-D-II No.5,pp 616-624, 2003.
山内悠嗣, 山下隆義, 藤吉弘亘"Boostingに基づく特徴量の共起表現による人検出", 信学論Ｄ, Vol. J92-D, No. 8, pp. 1125-1134, 2009.
早坂光晴,富永英義,小宮一三:"逆投影法とカルマンフィルタを用いた複数移動物体位置認識とその追跡",PRMU2001-132,pp.133-138,Nov,2001.
しかしながら、監視カメラが取得した画像から、同一人物の同定をしたいという状況は、撮影中のリアルタイムよりも、後刻に要求されることが多い。例えば、犯罪現場から立ち去った人物がどこに立ち去ったかの確認などに用いられる場合がある。そのため、人の画像特徴を用いて同定する方法では、人体の向きの違いによって画像上の映り方が異なるため、同一の人物の同定は非常に難しくなるという問題がある。
また、監視カメラの画像は、その保管用の装置の容量の都合から、撮影時のデータをすべて記録しているのではなく、例えば１秒１フレームなどに大きく間引きをしてデータを格納している。そのため、前後のフレームにおける体のブロックの動きから、体がどこを向いているのかの判断ができない。そこで、動画像から、検出された人の位置を連続フレームで観測し移動方向を求める方法では、人体の向きを推定することが可能だが、人が立ち止まっている場合や、蓄積された不連続の画像を処理する場合は適用できないという問題がある。
更に、長期間に渡って映像を蓄積するには、膨大な容量が必要になるため、不連続な画像を保存することが現実的・経済的である。
また、実環境で人体を表現する各パーツの領域を抽出しにくい場面では、非特許文献２による人体の向きの推定が困難であるという問題がある。
また、実環境で人体を表現する各パーツの領域を抽出しにくい場面では、非特許文献２による人体の向きの推定が困難であるという問題がある。
また、レントゲン写真などにおいて、中心線から左右が対称か否かで、正面向きのレントゲン写真か、あるいは、横向きのレントゲン写真かを判断する方法を用いる場合、正面か側面かの判断しかできない。監視カメラに映る人の画像は、正面あるいは側面以外に斜めからの画像も多い。そのような画像に、正面あるいは側面の時にしか向きを判断できない方法を用いて向きの判断を行う場合、正面あるいは側面の時の画像の数が判断可能な数だけ揃わないことがあり、同一人物の同定が行えないという問題がある。
つまり、１枚の画像で、画像の中心線の左右が対称か非対称かで、正面か側面かを判断する方法では、例えば斜め方向については判定が困難である。人体の向きは正面、横、斜め方向によって見え方が大きく変わるため、少なくとも画像から検出された人の８方向の人体の向きを推定することが望ましい。
１つの側面において、本発明は、１枚の画像において対象人物の人体の向きを容易に推定することを目的とする。
本明細書で後述する人体の向きを推定するための画像処理装置に、検出部と、画像特徴算出部と、記憶部と、判定部とを備えているというものがある。ここで、検出部は、画像から検出された人の肩周りの領域の輪郭線を求める。また、画像特徴算出部は、検出部で得られた輪郭線から画像特徴を算出する。記憶部は、画像特徴と人体の向きとの対応関係を示す情報を記憶する。判定部は、対応関係を示す情報に基づいて、画像特徴算出部によって算出された画像特徴から人体の向きを求める。
本明細書で後述する人体の向きを推定するための画像処理装置は、１枚の画像において対象人物の人体の向きを容易に推定することができる。
以下、図面を参照しながら、実施形態を詳細に説明する。
発明者らは、撮影をした人物画像で、肩の部分の中心線と、体の中心線との角度の差が、体の向きと一定の間隔を有することを見出した。そこで、向きを判断すべき人物画像について、肩の部分の中心線と体の中心線との角度の差を求めて、体の向きとの関連付けから体の向きを判定することで、課題が解決されることを見出した。
発明者らは、撮影をした人物画像で、肩の部分の中心線と、体の中心線との角度の差が、体の向きと一定の間隔を有することを見出した。そこで、向きを判断すべき人物画像について、肩の部分の中心線と体の中心線との角度の差を求めて、体の向きとの関連付けから体の向きを判定することで、課題が解決されることを見出した。
本実施形態に係る人体の向きを推定するための画像処理装置は、検出部と、画像特徴算出部と、記憶部と、判定部とを備えている。ここで、検出部は、画像から検出された人の肩周りの領域の輪郭線を求める。また、画像特徴算出部は、検出部で得られた輪郭線から画像特徴を算出する。記憶部は、画像特徴と人体の向きとの対応関係を示す情報を記憶する。判定部は、対応関係を示す情報に基づいて、画像特徴算出部によって算出された画像特徴から人体の向きを推定する。
更に、画像特徴算出部は、肩輪郭の角度算出部と、肩の傾き算出部と、顔領域の判定部とを備えている。肩輪郭の角度算出部は、画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する。肩の傾き算出部は、第１の角度と第２の角度とを比較するとともに、第１の角度と第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する。顔領域の判定部は、頭部に顔を含むか否かを判定する。
更に、肩輪郭の角度算出部は、頭部を中央とした左右の輪郭線を通る二つの直線を求め、二つの直線と中心線でなす角度をそれぞれ第１の角度及び第２の角度として算出し、顔領域の判定部は、頭部のエッジ量を求め、画像特徴算出部は、二つの直線でなす角度の大きさと、第１の角度及び第２の角度の大きさの論理関係と、頭部のエッジ量とから顔の方向を判定することができる。
図１は、本実施形態に係る人体の向きを推定するための画像処理装置１０の構成の概要を示す。人体の向きを推定するための画像処理装置１０は、カメラ１０２と接続可能であり、画像入力部１０４、検出部１０６、画像特徴算出部１０８、記憶部１０９、判定部１１０、及び出力部１１２を備える。
検出部１０６は、移動体検出部１０６２と、頭部及び肩領域検出部１０６４とを含む。
画像特徴算出部１０８は、肩輪郭の角度算出部１０８２、肩の傾き算出部１０８４、及び、顔領域の判定部１０８６を含む。
画像特徴算出部１０８は、肩輪郭の角度算出部１０８２、肩の傾き算出部１０８４、及び、顔領域の判定部１０８６を含む。
まず、画像入力部１０４は、カメラ１０２が撮影した画像を電気信号に変換した画像データを取得する。また、人体の向きを推定するための画像処理装置１０は、カメラ１０２と接続せずに、クラウド上のサーバ等から画像データを取得することもできる。以下、画像の画像データを、単に画像と省略する。
なお、カメラ１０２は、ネットワークを介して人体の向きを推定するための画像処理装置１０と接続されてもよく、人体の向きを推定するための画像処理装置１０に直接接続されてもよい。
検出部１０６は、画像入力部１０４が取得した画像を受信し、以下のような前処理を行う。まず、移動体検出部１０６２は、画像入力部１０４が取得した入力画像から対象人物を検出する。続いて、頭部及び肩領域検出部１０６４は、検出された対象人物の画像領域において、対象人物の頭部及び肩部分に相当する領域を選択し、輪郭線を検出する。
次に、画像特徴算出部１０８は、検出部１０６によって前処理が施された画像を受信し、画像の特徴を算出する。まず、肩輪郭の角度算出部１０８２は、肩周りの輪郭線に近似する、左右の直線を求め、二つの直線と中心角がなす角度の大きさを比較する。続いて、肩の傾き算出部１０８４は、二つの直線がなす角度を求める。更に、顔領域の判定部１０８６は、頭部のエッジ画像が顔を含むか否かを判定する。例えば、頭部のエッジヒストグラムを求め、顔が前向きか後向きかを判断すればよい。
また、記憶部１０９は、図６に示すような画像特徴と人体の向きとの対応関係を示す情報が記憶されている。図６については、後で詳細に述べる。
最後に、判定部１１０は、記憶部１０９に記憶されている画像特徴と人体の向きとの対応関係を示す情報（図６参照）に基づいて、画像特徴算出部１０８によって算出された画像特徴から人体の向きを推定する。出力部１１２は、判定部１１０が推定した結果を出力する。
このようにして、本実施形態に係る人体の向きを推定するための画像処理装置１０は、対象人物の手や足の動きに影響されない画像特徴を用いて、１枚の画像において対象人物の肩領域から人体の向きを推定することができる。また、人体の向き毎に人の特徴を取得することで、同一人物の同定に有効な特徴情報が提供できる。更に、人体の向き毎に異なる人の画像特徴を抽出することで、異なるカメラ画像における同一人物の同定が可能になるという効果を奏する。
以下に、人体の向きについて詳細に説明する。
まず、図２Ａ〜図２Ｃを参照しながら、人体の向きの定義について説明する。図２Ａは、人の体がＹ軸周りに左右に傾く状態を示す図であり、図２Ｂは、人の体がＸ軸周りに前後に傾く状態を示す図であり、図２Ｃは、人の体がＺ軸周りに回転する状態を示す図である。ここで、人体の向きとは、図２Ｃに示すように、人の体がＺ軸周りに回転している方向を指す。
まず、図２Ａ〜図２Ｃを参照しながら、人体の向きの定義について説明する。図２Ａは、人の体がＹ軸周りに左右に傾く状態を示す図であり、図２Ｂは、人の体がＸ軸周りに前後に傾く状態を示す図であり、図２Ｃは、人の体がＺ軸周りに回転する状態を示す図である。ここで、人体の向きとは、図２Ｃに示すように、人の体がＺ軸周りに回転している方向を指す。
続いて、図３Ａ〜図３Ｃを参照しながら、人体の向きによる異なる特徴について説明する。図３Ａは、正面向きを示す図であり、図３Ｂは、横向きを示す図であり、図３Ｃは、斜め向きを示す図である。図３Ａ〜図３Ｃに示されるように、人はこのような人体の向きの違いによって、体の各部における形状、すなわち角度、長さ、幅等のそれぞれ異なる特徴がある。
次に、図４を参照しながら、人体の向きの８方向定義について説明する。地面をＸ軸とＹ軸でなる平面とみなし、人の胴体をＺ軸に平行であるとみなす。このとき、Ｙ軸の正方向を０度とし、４５度刻みに時計回りで8方向を人体の向きと定義する。
続いて、図５〜図７Ｃを参照しながら、人体の向き推定に有効な特徴について説明する。
まず、１枚の画像から検出された人体の向きを推定するためには、画像から得られる特徴パターンと人体の向きが１対１で対応する必要がある。そこで、人体の向き推定には以下の条件を同時に満たすことが考えられる。
＜条件１＞人体の向きの違いによって、異なるパターン情報が得られる。
＜条件２＞人体の向きを一意的に表すパターンは、人の手や足の動きで影響を受けにくい。
まず、１枚の画像から検出された人体の向きを推定するためには、画像から得られる特徴パターンと人体の向きが１対１で対応する必要がある。そこで、人体の向き推定には以下の条件を同時に満たすことが考えられる。
＜条件１＞人体の向きの違いによって、異なるパターン情報が得られる。
＜条件２＞人体の向きを一意的に表すパターンは、人の手や足の動きで影響を受けにくい。
図５は、人体の向きの推定に有効な情報の比較を示す表である。全身または上半身の領域部分は、条件１を満たすものの、手や足の動きで画像上写りのパターンが不特定に変化するため条件２は満たさない。肩以上の部分は、人の足や手の動きによって影響を受けにくいことから、条件１と２を満たす。また、肩以上の部分は、監視カメラなどを用いた場合に遮蔽される確率が低く最も安定して撮像される確率が高い。
図６Ａ〜図７Ｃに、人体の向きの推定に有効な特徴を示す。図６Ａ〜図６Ｃは、胴体の場合を示す図である。図６Ａは、胴体の場合の体全体を示す図であり、図６Ｂは、胴体の場合の上半身を示す図であり、図６Ｃは、胴体の場合の肩周り部分を示す図である。図７Ａ〜図７Ｃは輪郭の場合を示す図であり、それぞれ図６Ａ〜図６Ｃに対応している。図７Ａは、輪郭の場合の体全体を示す図であり、図７Ｂは、輪郭の場合の上半身を示す図であり、図７Ｃは、輪郭の場合の肩周り部分を示す図である。
ここで、画像上において見える頭部と肩部分は、以下の（１）〜（３）のような特徴を持つ。
（１）肩がカメラ側から前後一列になる(横向き)ときは左右輪郭線間が狭く、肩がカメラ側から左右に並ぶときは左右輪郭線間が広い。
（２）頭部を中心とした左右の肩周りの輪郭線は、人体の向きによって同じ高さか一方が高い。
（３）頭部の顔が見える場合は、顔の輪郭特徴で頭部領域内のエッジが多く、頭部の顔が見えない場合は、頭部領域内のエッジ量が少ない。
（１）肩がカメラ側から前後一列になる(横向き)ときは左右輪郭線間が狭く、肩がカメラ側から左右に並ぶときは左右輪郭線間が広い。
（２）頭部を中心とした左右の肩周りの輪郭線は、人体の向きによって同じ高さか一方が高い。
（３）頭部の顔が見える場合は、顔の輪郭特徴で頭部領域内のエッジが多く、頭部の顔が見えない場合は、頭部領域内のエッジ量が少ない。
そこで、画像上の肩周りの輪郭線でなす角度の大きさが狭いか広いかを判断することと、左右肩周りのどちらが高いかを判断することと、頭部に顔を含むか含まないかを判断することとを有し、これらで構成される画像特徴と人体の向きの対応表に基づいて、人体の向きを推定することによって、同一人物の同定に有効な特徴情報を提供することが可能である。
本実施形態に係る人体の向きを推定するための画像処理方法は、まず、画像から検出された人の肩周りの領域の輪郭線を求める。次に、得られた輪郭線から画像特徴を算出する。そして、予め画像特徴と人体の向きとの対応関係を示す情報が記憶されており、その対応関係を示す情報に基づいて、算出された画像特徴から人体の向きを推定する。
更に、画像特徴を算出することは、画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する。また、第１の角度と第２の角度とを比較するとともに、第１の角度と第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する。更にまた、頭部に顔を含むか否かを判定する。
更に、画像特徴を算出することは、頭部を中央とした左右の輪郭線を通る二つの直線を求め、二つの直線と中心線でなす角度をそれぞれ第１の角度及び第２の角度として算出し、頭部のエッジ量を求め、二つの直線でなす角度の大きさと、第１の角度及び第２の角度の大きさの論理関係と、頭部のエッジ量とから顔の方向を判定することができる。
以下、図８Ａ〜図１７Ｂを参照しながら、本実施形態に係る人体の向きを推定するための画像処理方法について詳細に説明する。
まず、この実施例において用いる用語について簡単に説明する。
背景画像：天井、壁など見え方が変化しない、人が映っていない画像。
対象領域：画像から検出された頭部と肩部分の領域。
まず、この実施例において用いる用語について簡単に説明する。
背景画像：天井、壁など見え方が変化しない、人が映っていない画像。
対象領域：画像から検出された頭部と肩部分の領域。
次に、人体の向きを推定するための画像処理方法における処理の実施例について、下記の（１）〜（１１）によって説明する。図８Ａ〜図８Ｄは、人体の向きを推定するための画像処理方法における処理の実施例を示す図である。図８Ａは、検出された人の領域を示す図であり、図８Ｂは、対象領域を示す図あり、図８Ｃは、エッジ検出による輪郭線を示す図であり、図８Ｄは、直線検出で求めた角度を示す図である。
（１）入力画像から人を検出する（図８Ａ参照）。ここで、入力画像から人を検出する方法は、例えば、非特許文献３に記載されているように、予め準備した人が存在しない画像（背景画像）を入力画像から差し引いた背景差分画像により、移動体の人の領域を前景として抽出する方法を用いることができる。例えば、背景画像を用いて出現物体から分離するためのフィルタ処理として、背景画像と対象画像との間の類似部分と非類似部分を画素ごとに判定するための統計量を定義し、明度変動の影響を抑えながら画素単位の分解能で局所的なテクスチャを評価する方法が知られている（非特許文献３参照）。また、例えば、移動体の領域を検出する方法を用いることができる。また、認識対象が人らしい特徴モデルであることを利用して、人の輪郭を前景として抽出する方法を用いることができる。
更に、例えば、非特許文献４に記載されているように、人の特徴を学習し、入力画像から人の特徴を抽出する方法を用いることができる。例えば、Ｂｏｏｓｔｉｎｇに基づく特徴量の共起表現による人検出法として、弱識別器の出力が連続値である方法を用いて、出力を演算子によって結合した共起表現による人検出法が知られている（非特許文献４参照）。
更に、例えば、非特許文献４に記載されているように、人の特徴を学習し、入力画像から人の特徴を抽出する方法を用いることができる。例えば、Ｂｏｏｓｔｉｎｇに基づく特徴量の共起表現による人検出法として、弱識別器の出力が連続値である方法を用いて、出力を演算子によって結合した共起表現による人検出法が知られている（非特許文献４参照）。
（２）検出された人の対象領域（頭部と肩部分）を検出する（図８Ｂ参照）。検出された人の領域に対しては、人の身長を基に、肩に相当する位置は比例的に決まるので、その部分を人の頭部及び肩部分（以下対象領域とする）とすることができる。例えば、非特許文献５に記載されているように、逆投影法とカルマンフィルタを用いて、画像上の人の領域から、３次元上の人の位置を得ることができ、人の３次元上の頭部位置を基に、画像上人の対象領域を推定することができる。例えば、多視点画像を用いて複数移動物体の位置認識及び追跡を行う方法として、物体の運動予測と対応付けを用いる方法が知られている（非特許文献５参照）。
また、例えば、人の身長をＨとした場合、肩以上の範囲をＨ〜Ｈ＊７／８に設定し、人の対象領域を求めることができる。
あるいは、画像上頭部と肩部分が示すオメガ（Ω）形状を検出することで、対象領域を推定することができる。例えば、非特許文献４に記載されているように、頭部と肩を含む部分とそれ以外の部分の二つのカテゴリに分けて、数多くのサンプルを学習させることで、検出された人の領域画像から認識することが可能である。
また、例えば、人の身長をＨとした場合、肩以上の範囲をＨ〜Ｈ＊７／８に設定し、人の対象領域を求めることができる。
あるいは、画像上頭部と肩部分が示すオメガ（Ω）形状を検出することで、対象領域を推定することができる。例えば、非特許文献４に記載されているように、頭部と肩を含む部分とそれ以外の部分の二つのカテゴリに分けて、数多くのサンプルを学習させることで、検出された人の領域画像から認識することが可能である。
（３）対象領域のエッジ画像を求める。検出された対象領域に対してエッジ検出処理を行う。エッジ検出処理は、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタなど１次微分（差分）系のフィルタや、Ｌａｐｌａｃｉａｎ（ラプラシアン）フィルタなど２次微分（差分）系のフィルタを用いることができる。
（４）輪郭線を抽出する（図８Ｃ参照）。閾値ＴＨを用いてエッジ画像の２値化処理を行い、肩部分の輪郭線を抽出することができる。この輪郭線上の点をｐ(ｘ,ｙ)とする。
（５）頭部を中央とした左右両側の輪郭線位置で直線を求める（図９参照）。図９は、直線の定義を示す図である。例えば、Ｈｏｕｇｈ（ハフ）変換に基づいて直線を求めることができる。図９の左上に示すように、画像の左上角を原点として、画像のｘ−ｙ座標上の点ｐ（ｘ,ｙ）を通るすべての直線は、その直線と直角に交わる垂線のｘ軸との角度θと長さρで表わされる。
ρ=ｘ・cosθ＋ｙ・sinθ ・・・（式１）
上記の式１を用いて、輪郭線上の点ｐ(ｘ,ｙ)を変えながら、θ−ρ空間上の曲線が共有する点（ピーク点）を求めることで、ｘ−ｙ座標上の直線を求める。
ρ=ｘ・cosθ＋ｙ・sinθ ・・・（式１）
上記の式１を用いて、輪郭線上の点ｐ(ｘ,ｙ)を変えながら、θ−ρ空間上の曲線が共有する点（ピーク点）を求めることで、ｘ−ｙ座標上の直線を求める。
（６）求めた左右の直線と画像上Ｘ軸に垂直となる中心線との角度(α及びβ)を算出する（図１０及び図１１参照）。図１０は、左側直線及び角度αの算出方法を示す図である。まず、頭部を中央として求めた左側直線を下記の式２で示すことができる。図１０に示すように、左側直線とｘ軸が交差する交点Ａ(ｘ,ｙ０)を通る垂線を中心線とみなした場合、左側直線と中心線でなす角度αは、左側直線の角度θ１と等しい（式３）。
ρ１=ｘ・cosθ１＋ｙ・sinθ１ ・・・（式２）
α=θ１ ・・・（式３）
図１１は、右側直線及び角度βの算出方法を示す図である。右側直線を下記の式４で示すことができる。図１１に示すように、右側直線とｘ軸が交差する交点Ｂ（ｘ,ｙ０）を通る垂線を中心線とみなした場合、右側直線と中心線でなす角度βは、左側直線の角度π−θ２と等しい（式５）。
ρ２=ｘ・cosθ２＋ｙ・sinθ２ ・・・（式４）
β=π−θ２ ・・・（式５）
ρ１=ｘ・cosθ１＋ｙ・sinθ１ ・・・（式２）
α=θ１ ・・・（式３）
図１１は、右側直線及び角度βの算出方法を示す図である。右側直線を下記の式４で示すことができる。図１１に示すように、右側直線とｘ軸が交差する交点Ｂ（ｘ,ｙ０）を通る垂線を中心線とみなした場合、右側直線と中心線でなす角度βは、左側直線の角度π−θ２と等しい（式５）。
ρ２=ｘ・cosθ２＋ｙ・sinθ２ ・・・（式４）
β=π−θ２ ・・・（式５）
（７）角度αとβを比較して論理関係を判定する（図１２及び図１３参照）。角度αとβの差分を求め、下記の式６〜式８に基づいて論理関係を判定する。ここでは、誤差範囲を考慮して閾値Ｔｈ１用いる。これを人体の向き対応基準１とする。
|α-β|≦Ｔｈ１ の場合は α=β・・・（式６）
α-β＜−Ｔｈ１ の場合は α＜β・・・（式７）
α-β＞Ｔｈ１ の場合は α＞β・・・（式８）
図１２及び図１３は、左右角度の比較の実施例を示す。図１２は、左右角度の比較１を示す図であり、α＜βの場合である。図１３は、左右角度の比較２を示す図であり、α=βの場合である。
|α-β|≦Ｔｈ１ の場合は α=β・・・（式６）
α-β＜−Ｔｈ１ の場合は α＜β・・・（式７）
α-β＞Ｔｈ１ の場合は α＞β・・・（式８）
図１２及び図１３は、左右角度の比較の実施例を示す。図１２は、左右角度の比較１を示す図であり、α＜βの場合である。図１３は、左右角度の比較２を示す図であり、α=βの場合である。
（８）算出した角度αとβの合計を求め、大きさで２分類する（図１４Ａ及び図１４Ｂ参照）。左右両直線間の角度（α＋β）は、所定の閾値Ｔｈ２を設け、閾値Ｔｈ２以上か閾値Ｔｈ２未満かによって２分類する。このとき、角度（α＋β）が閾値Ｔｈ２以上の場合は１（ケース１）とし、閾値Ｔｈ２未満の場合は０（ケース２）とする。これを人体の向き対応基準２とする。なお、閾値Ｔｈ２は、特に限定されるものではないが、例えば、Ｔｈ２＝９０度等とすればよい。
図１４Ａ及び図１４Ｂは、Ｔｈ２＝９０度の場合の実施例における左右両直線間の角度（α＋β）を示す。図１４Ａは、ケース１すなわち（α＋β）≧Ｔｈ２（＝９０度）の場合を示す。図１４Ｂは、ケース２すなわち（α＋β）＜Ｔｈ２（＝９０度）の場合を示す。
図１４Ａ及び図１４Ｂは、Ｔｈ２＝９０度の場合の実施例における左右両直線間の角度（α＋β）を示す。図１４Ａは、ケース１すなわち（α＋β）≧Ｔｈ２（＝９０度）の場合を示す。図１４Ｂは、ケース２すなわち（α＋β）＜Ｔｈ２（＝９０度）の場合を示す。
（９）頭部の顔向きを判定する（図１５Ａ及び図１５Ｂ参照）。例えば、特許文献２に記載されているような顔画像と非顔画像とを識別する方法を用いることができる。
図１５Ａ及び図１５Ｂは、頭部に顔を含むか否かの判定方法を示す図である。図１４Ａは、頭部に顔を含む場合（前方）を示す図であり、図１５Ｂは、頭部に顔を含まない場合（後方）を示す図である。図１５Ａ及び図１５Ｂに示すように、例えば、エッジ画像から頭部位置のエッジヒストグラムを求め、指定の閾値Ｔｈ２（＝９０度）以上であれば顔が前方向、逆に閾値以下である場合は後ろ向きと判断することができる。但し、左右両直線間の角度(α＋β)がＴｈ２（＝９０度）未満の場合は、顔の向きは判定しない。これを人体の向き対応基準３とする。
図１５Ａ及び図１５Ｂは、頭部に顔を含むか否かの判定方法を示す図である。図１４Ａは、頭部に顔を含む場合（前方）を示す図であり、図１５Ｂは、頭部に顔を含まない場合（後方）を示す図である。図１５Ａ及び図１５Ｂに示すように、例えば、エッジ画像から頭部位置のエッジヒストグラムを求め、指定の閾値Ｔｈ２（＝９０度）以上であれば顔が前方向、逆に閾値以下である場合は後ろ向きと判断することができる。但し、左右両直線間の角度(α＋β)がＴｈ２（＝９０度）未満の場合は、顔の向きは判定しない。これを人体の向き対応基準３とする。
（１０）対応表に基づいて人体の向きを推定する（図１９参照）。手順７〜９で求めた対応基準１〜３を用いて、図１６に示すような、画像特徴と人体の向きとの対応表に従って人体の向きを推定する。
図１７Ａ及び図１７Ｂは、人体の向きを推定するための画像処理方法における推定結果を示す図である。図１７Ａは、人体の向きが１３５度と推定された図であり、図１７Ｂは、人体の向きが２２５度と推定された図である。
図１７Ａ及び図１７Ｂは、人体の向きを推定するための画像処理方法における推定結果を示す図である。図１７Ａは、人体の向きが１３５度と推定された図であり、図１７Ｂは、人体の向きが２２５度と推定された図である。
（１１）推定した人体の向きに対応する特徴を抽出し、同一人物の同定を行う。
このようにして、本実施形態に係る人体の向きを推定するための画像処理方法は、対象人物の手や足の動きに影響されない画像特徴を用いて、１枚の画像から人体の向きを推定することができる。また、人体の向き毎に人の特徴を取得することで、同一人物の同定に有効な特徴情報が提供できる。更に、人体の向き毎に異なる人の画像特徴を抽出することで、異なるカメラ画像における同一人物の同定が可能になるという効果を奏する。
このようにして、本実施形態に係る人体の向きを推定するための画像処理方法は、対象人物の手や足の動きに影響されない画像特徴を用いて、１枚の画像から人体の向きを推定することができる。また、人体の向き毎に人の特徴を取得することで、同一人物の同定に有効な特徴情報が提供できる。更に、人体の向き毎に異なる人の画像特徴を抽出することで、異なるカメラ画像における同一人物の同定が可能になるという効果を奏する。
ここで、上記実施の形態による人体の向きを推定するための画像処理装置の動作、及び人体の向きを推定するための画像処理方法の処理をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１８は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図１８に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。
ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送信する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。
外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
上記それぞれの実施の形態による人体の向きを推定するための画像処理方法をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶される。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、画像検出の動作を行う。このとき、画像検出の処理をＣＰＵ３０２に行わせるための制御プログラムは、予め外部記憶装置３１２に記憶されている。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。
続いて、上記の画像処理方法をコンピュータに行わせるプログラムについて説明する。
本実施形態に係るプログラムは、以下の処理をコンピュータに実行させる。この処理は、まず、画像から検出された人の肩周りの領域の輪郭線を求める。次に、得られた輪郭線から画像特徴を算出する。そして、画像特徴と人体の向きとの対応関係を示す情報が記憶されており、その対応関係を示す情報に基づいて、算出された画像特徴から人体の向きを推定する。
本実施形態に係るプログラムは、以下の処理をコンピュータに実行させる。この処理は、まず、画像から検出された人の肩周りの領域の輪郭線を求める。次に、得られた輪郭線から画像特徴を算出する。そして、画像特徴と人体の向きとの対応関係を示す情報が記憶されており、その対応関係を示す情報に基づいて、算出された画像特徴から人体の向きを推定する。
更に、画像特徴を算出することは、画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する。また、第１の角度と第２の角度とを比較するとともに、第１の角度と第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する。更にまた、頭部に顔を含むか否かを判定する。
更に、画像特徴を算出することは、頭部を中央とした左右の輪郭線を通る二つの直線を求め、二つの直線と中心線でなす角度をそれぞれ第１の角度及び第２の角度として算出し、頭部のエッジ量を求め、二つの直線でなす角度の大きさと、第１の角度及び第２の角度の大きさの論理関係と、頭部のエッジ量とから顔の方向を判定することができる。
図１９及び図２０に処理の流れを示す。具体的な処理の流れは下記のとおりである。
図１９について説明する。図１９は、本実施形態に係るプログラムの処理内容の全体を図解したフローチャートである。
図１９について説明する。図１９は、本実施形態に係るプログラムの処理内容の全体を図解したフローチャートである。
まず、Ｓ１００において、画像入力部１０４は、カメラ１０２が撮影した画像を電気信号に変換した画像データを取得する。また、人体の向きを推定するための画像処理装置１０は、カメラ１０２と接続せずに、クラウド上のサーバ等から画像データを取得することもできる。
なお、カメラ１０２は、ネットワークを介して人体の向きを推定するための画像処理装置１０と接続されてもよく、人体の向きを推定するための画像処理装置１０に直接接続されてもよい。
次に、Ｓ１０２及びＳ１０４において、検出部１０６は、画像入力部１０４が取得した画像を受信し、以下のような前処理を行う。まず、Ｓ１０２において、移動体検出部１０６２は、画像入力部１０４が取得した入力画像から対象人物を検出する。続いて、Ｓ１０４において、頭部及び肩領域検出部１０６４は、検出された対象人物の画像領域において、対象人物の頭部及び肩部分に相当する領域を選択し、輪郭線を検出する。
続いて、Ｓ１０６〜Ｓ１１２において、画像特徴算出部１０８は、検出部１０６によって前処理が施された画像を受信し、画像の特徴を算出する。まず、Ｓ１０６において、肩輪郭の角度算出部１０８２は、肩周りの輪郭線に近似する、左右の直線を求める。続いて、Ｓ１０８において、肩輪郭の角度算出部１０８２は、二つの直線と中心線でなす角度の大きさを比較する。次に、Ｓ１１０において、肩の傾き算出部１０８４は、二つの直線がなす角度を求める。更に、Ｓ１１２において、顔領域の判定部１０８６は、頭部のエッジ画像が顔を含むか否かを判定する。例えば、頭部のエッジヒストグラムを求め、顔が前向きか後向きかを判断すればよい。
続いて、Ｓ１１４において、判定部１１０は、予め記憶部１０９に記憶されている画像特徴と人体の向きとの対応関係を示す情報（図６参照）に基づいて、画像特徴算出部１０８によって算出された画像特徴から人体の向きを推定する。
ここで、図２０を参照しながら、画像特徴と人体の向きの対応表に基づいて人体の向きを推定する処理内容について更に詳細に説明する。
まず、Ｓ２００において、判定部１１０は、角度α及びβの大きさを比較する。Ｓ２００における比較の結果、α＜βならば、Ｓ２０２に進み、α＝βならば、Ｓ２０４に進み、α＞βならば、Ｓ２０６に進む。
まず、Ｓ２００において、判定部１１０は、角度α及びβの大きさを比較する。Ｓ２００における比較の結果、α＜βならば、Ｓ２０２に進み、α＝βならば、Ｓ２０４に進み、α＞βならば、Ｓ２０６に進む。
Ｓ２０２において、判定部１１０は、（α＋β）≧閾値Ｔｈ２であるか否かを判定する。ここで、判定の結果がＮＯ、すなわち（α＋β）＜閾値Ｔｈ２である場合、人体の向き９０度と判定する。判定の結果がＹＥＳ、すなわち（α＋β）≧閾値Ｔｈ２である場合、Ｓ２０８に進む。Ｓ２０８において、判定部１１０は、顔向きが前方か否かを判定する。Ｓ２０８の判定の結果がＹＥＳ、すなわち顔向きが前方の場合、人体の向き３１５度と判定する。Ｓ２０８の判定の結果がＮＯ、すなわち顔向きが前方ではない場合、人体の向き１３５度と判定する。
Ｓ２０４において、判定部１１０は、顔向きが前方か否かを判定する。Ｓ２０４の判定の結果がＹＥＳ、すなわち顔向きが前方の場合、人体の向き０度と判定する。Ｓ２０４の判定の結果がＮＯ、すなわち顔向きが前方ではない場合、人体の向き１８０度と判定する。
Ｓ２０６において、判定部１１０は、（α＋β）≧閾値Ｔｈ２であるか否かを判定する。ここで、判定の結果がＮＯ、すなわち（α＋β）＜閾値Ｔｈ２である場合、人体の向き２７０度と判定する。判定の結果がＹＥＳ、すなわち（α＋β）≧閾値Ｔｈ２である場合、Ｓ２１０に進む。Ｓ２１０において、判定部１１０は、顔向きが前方か否かを判定する。Ｓ２１０の判定の結果がＹＥＳ、すなわち顔向きが前方の場合、人体の向き４５度と判定する。Ｓ２１０の判定の結果がＮＯ、すなわち顔向きが前方ではない場合、人体の向き２２５度と判定する。
最後に、Ｓ１１６において、出力部１１２は、判定部１１０が推定した結果を出力する。
このようにして、本実施形態に係るプログラムは、対象人物の手や足の動きに影響されない画像特徴を用いて、１枚の画像において対象人物の肩領域から人体の向きを推定することができる。また、人体の向き毎に人の特徴を取得することで、同一人物の同定に有効な特徴情報が提供できる。更に、人体の向き毎に異なる人の画像特徴を抽出することで、異なるカメラ画像における同一人物の同定が可能になる。
本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、ＰＣ上で動作をするプログラムの提供だけでなく、クラウド上のサーバによるサービスの提供であってもよい。また、画像検出の方法は上記に限定されるものではなく、公知の別の方法を用いてもよい。詳細処理の方法も、公知の別の方法を用いてもよい。
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
画像から検出された人の肩周りの領域の輪郭線を求める検出部と、
前記検出部で得られた輪郭線から画像特徴を算出する画像特徴算出部と、
画像特徴と人体の向きとの対応関係を示す情報を記憶する記憶部と、
前記対応関係を示す情報に基づいて、前記画像特徴算出部によって算出された画像特徴に対応する人体の向きを求める判定部と、
を備えていることを特徴とする画像処理装置。
（付記２）
前記画像特徴算出部は、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する肩輪郭の角度算出部と、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する肩の傾き算出部と、
前記頭部に顔を含むか否かを判定する顔領域の判定部と、
を備えている、付記１に記載の画像処理装置。
（付記３）
更に、前記肩輪郭の角度算出部は、頭部を中央とした左右の輪郭線を通る二つの直線を求め、前記二つの直線と中心線でなす角度をそれぞれ前記第１の角度及び前記第２の角度として算出し、
前記顔領域の判定部は、頭部のエッジ量を求め、
前記画像特徴算出部は、前記二つの直線でなす角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記頭部のエッジ量とから顔の方向を判定する、
ことを特徴とする付記１に記載の画像処理装置。
（付記４）
画像から検出された人の肩周りの領域の輪郭線を求め、
前記得られた輪郭線から画像特徴を算出し、
記憶部に記憶された、画像特徴と人体の向きとの対応関係を示す情報に基づいて、前記算出された画像特徴から人体の向きを求める、
処理をコンピュータに実行させるプログラム。
（付記５）
更に、前記画像特徴を算出することは、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出し、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定し、
前記頭部に顔を含むか否かを判定する、
ことを含む、付記４に記載のプログラム。
（付記６）
更に、前記画像特徴を算出することは、前記頭部を中央とした左右の輪郭線を通る二つの直線を求め、前記二つの直線と中心線でなす角度をそれぞれ前記第１の角度及び前記第２の角度として算出し、
前記頭部のエッジ量を求め、
前記二つの直線でなす角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記頭部のエッジ量とから顔の方向を判定する、
ことを含む、付記４に記載のプログラム。
（付記７）
コンピュータによって実行される画像処理方法であって、
画像から検出された人の肩周りの領域の輪郭線を求め、
前記得られた輪郭線から画像特徴を算出し、
記憶部に記憶された、画像特徴と人体の向きとの対応関係を示す情報に基づいて、前記算出された画像特徴から人体の向きを求める、
ことを特徴とする画像処理方法。
（付記８）
更に、前記画像特徴を算出することは、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出し、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定し、
前記頭部に顔を含むか否かを判定する、
ことを含む、付記７に記載の画像処理方法。
（付記９）
更に、前記画像特徴を算出することは、前記頭部を中央とした左右の輪郭線を通る二つの直線を求め、前記二つの直線と中心線でなす角度をそれぞれ前記第１の角度及び前記第２の角度として算出し、
前記頭部のエッジ量を求め、
前記二つの直線でなす角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記頭部のエッジ量とから顔の方向を判定する、
ことを含む、付記７に記載の画像処理方法。
（付記１）
画像から検出された人の肩周りの領域の輪郭線を求める検出部と、
前記検出部で得られた輪郭線から画像特徴を算出する画像特徴算出部と、
画像特徴と人体の向きとの対応関係を示す情報を記憶する記憶部と、
前記対応関係を示す情報に基づいて、前記画像特徴算出部によって算出された画像特徴に対応する人体の向きを求める判定部と、
を備えていることを特徴とする画像処理装置。
（付記２）
前記画像特徴算出部は、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する肩輪郭の角度算出部と、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する肩の傾き算出部と、
前記頭部に顔を含むか否かを判定する顔領域の判定部と、
を備えている、付記１に記載の画像処理装置。
（付記３）
更に、前記肩輪郭の角度算出部は、頭部を中央とした左右の輪郭線を通る二つの直線を求め、前記二つの直線と中心線でなす角度をそれぞれ前記第１の角度及び前記第２の角度として算出し、
前記顔領域の判定部は、頭部のエッジ量を求め、
前記画像特徴算出部は、前記二つの直線でなす角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記頭部のエッジ量とから顔の方向を判定する、
ことを特徴とする付記１に記載の画像処理装置。
（付記４）
画像から検出された人の肩周りの領域の輪郭線を求め、
前記得られた輪郭線から画像特徴を算出し、
記憶部に記憶された、画像特徴と人体の向きとの対応関係を示す情報に基づいて、前記算出された画像特徴から人体の向きを求める、
処理をコンピュータに実行させるプログラム。
（付記５）
更に、前記画像特徴を算出することは、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出し、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定し、
前記頭部に顔を含むか否かを判定する、
ことを含む、付記４に記載のプログラム。
（付記６）
更に、前記画像特徴を算出することは、前記頭部を中央とした左右の輪郭線を通る二つの直線を求め、前記二つの直線と中心線でなす角度をそれぞれ前記第１の角度及び前記第２の角度として算出し、
前記頭部のエッジ量を求め、
前記二つの直線でなす角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記頭部のエッジ量とから顔の方向を判定する、
ことを含む、付記４に記載のプログラム。
（付記７）
コンピュータによって実行される画像処理方法であって、
画像から検出された人の肩周りの領域の輪郭線を求め、
前記得られた輪郭線から画像特徴を算出し、
記憶部に記憶された、画像特徴と人体の向きとの対応関係を示す情報に基づいて、前記算出された画像特徴から人体の向きを求める、
ことを特徴とする画像処理方法。
（付記８）
更に、前記画像特徴を算出することは、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出し、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定し、
前記頭部に顔を含むか否かを判定する、
ことを含む、付記７に記載の画像処理方法。
（付記９）
更に、前記画像特徴を算出することは、前記頭部を中央とした左右の輪郭線を通る二つの直線を求め、前記二つの直線と中心線でなす角度をそれぞれ前記第１の角度及び前記第２の角度として算出し、
前記頭部のエッジ量を求め、
前記二つの直線でなす角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記頭部のエッジ量とから顔の方向を判定する、
ことを含む、付記７に記載の画像処理方法。
１０ 画像処理装置
１０２ カメラ
１０４ 画像入力部
１０６ 検出部
１０６２ 移動体検出部
１０６４ 頭部及び肩領域検出部
１０８ 画像特徴算出部
１０８２ 肩輪郭の角度算出部
１０８４ 肩の傾き算出部
１０８６ 顔領域の判定部
１０９ 記憶部
１１０ 判定部
１１２ 出力部
１０２ カメラ
１０４ 画像入力部
１０６ 検出部
１０６２ 移動体検出部
１０６４ 頭部及び肩領域検出部
１０８ 画像特徴算出部
１０８２ 肩輪郭の角度算出部
１０８４ 肩の傾き算出部
１０８６ 顔領域の判定部
１０９ 記憶部
１１０ 判定部
１１２ 出力部
Claims (5)
- 画像から検出された人の肩周りの領域の輪郭線を求める検出部と、
前記検出部で得られた輪郭線から画像特徴を算出する画像特徴算出部と、
画像特徴と人体の向きとの対応関係を示す情報を記憶する記憶部と、
前記情報に基づいて、前記画像特徴算出部によって算出された画像特徴に対応する人体の向きを求める判定部と、
を備え、
前記画像特徴算出部は、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する肩輪郭の角度算出部と、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する肩の傾き算出部と、
前記画像において前記人の頭部に含まれる顔の方向を判定する顔領域の判定部とを含み、
前記第１の角度及び前記第２の角度に基づく角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記顔の方向とを、前記画像特徴として算出する、
ことを特徴とする画像処理装置。 - 前記肩輪郭の角度算出部は、前記頭部を中央とした左右の輪郭線を通る二つの直線を求め、前記二つの直線と中心線でなす角度をそれぞれ前記第１の角度及び前記第２の角度として算出し、
前記顔領域の判定部は、前記頭部のエッジ量を求め、前記頭部のエッジ量から前記顔の方向を判定し、
前記画像特徴算出部は、前記二つの直線でなす角度の大きさを、前記第１の角度及び前記第２の角度に基づく角度の大きさとして用いる、
ことを特徴とする請求項１に記載の画像処理装置。 - 画像から検出された人の肩周りの領域の輪郭線を求め、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出し、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定し、
前記画像において前記人の頭部に含まれる顔の方向を判定し、
前記第１の角度及び前記第２の角度に基づく角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記顔の方向とを、画像特徴として算出し、
記憶部に記憶された、画像特徴と人体の向きとの対応関係を示す情報に基づいて、前記算出された画像特徴から人体の向きを求める、
処理をコンピュータに実行させるプログラム。 - コンピュータによって実行される画像処理方法であって、
画像から検出された人の肩周りの領域の輪郭線を求め、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出し、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定し、
前記画像において前記人の頭部に含まれる顔の方向を判定し、
前記第１の角度及び前記第２の角度に基づく角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記顔の方向とを、画像特徴として算出し、
記憶部に記憶された、画像特徴と人体の向きとの対応関係を示す情報に基づいて、前記画像特徴算出部によって算出された画像特徴から人体の向きを求める、
ことを特徴とする画像処理方法。 - 画像から検出された人の肩周りの領域の輪郭線及び頭部を中央とする中心線を求める検出部と、
前記検出部で得られた輪郭線及び中心線から、右の肩周りの輪郭線と前記中心線とでなす第１の角度と、左の肩周りの輪郭線と前記中心線とでなす第２の角度とを、画像特徴として算出する画像特徴算出部と、
画像特徴と頭部を中央とした中心線を軸とする人体の向きとの対応関係を示す情報を記憶する記憶部と、
前記情報に基づいて、前記画像特徴算出部によって算出された画像特徴に対応する前記頭部を中央とした中心線を軸とする人体の向きを求める判定部と、
を備えていることを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012242243A JP6163732B2 (ja) | 2012-11-01 | 2012-11-01 | 画像処理装置、プログラム、及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012242243A JP6163732B2 (ja) | 2012-11-01 | 2012-11-01 | 画像処理装置、プログラム、及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014092886A JP2014092886A (ja) | 2014-05-19 |
| JP6163732B2 true JP6163732B2 (ja) | 2017-07-19 |
Family
ID=50936927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012242243A Expired - Fee Related JP6163732B2 (ja) | 2012-11-01 | 2012-11-01 | 画像処理装置、プログラム、及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6163732B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6500500B2 (ja) | 2015-02-27 | 2019-04-17 | 富士通株式会社 | 画像判定装置、画像判定方法、及びプログラム |
| JP6561639B2 (ja) | 2015-07-09 | 2019-08-21 | 富士通株式会社 | 関心度判定装置、関心度判定方法および関心度判定プログラム |
| WO2021251184A1 (ja) * | 2020-06-11 | 2021-12-16 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、並びに記録媒体 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4647289B2 (ja) * | 2004-11-10 | 2011-03-09 | 富士フイルム株式会社 | 画像処理方法および装置並びにプログラム |
| JP5595655B2 (ja) * | 2008-12-24 | 2014-09-24 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
-
2012
- 2012-11-01 JP JP2012242243A patent/JP6163732B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014092886A (ja) | 2014-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11727661B2 (en) | Method and system for determining at least one property related to at least part of a real environment | |
| Soltani et al. | Skeleton estimation of excavator by detecting its parts | |
| JP6043856B2 (ja) | Ｒｇｂｄカメラを用いた頭部ポーズ推定 | |
| KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| JP6700752B2 (ja) | 位置検出装置、位置検出方法及びプログラム | |
| CN109977833B (zh) | 物体追踪方法、物体追踪装置、存储介质及电子设备 | |
| US8331614B2 (en) | Method and apparatus for tracking listener's head position for virtual stereo acoustics | |
| JP6221390B2 (ja) | 画像処理装置、プログラム、および画像処理方法 | |
| Walha et al. | Video stabilization with moving object detecting and tracking for aerial video surveillance | |
| KR101784183B1 (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| JP6184271B2 (ja) | 撮像管理装置、撮像管理システムの制御方法およびプログラム | |
| KR20150144728A (ko) | 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법 | |
| TWI438702B (zh) | 影像環境邊界之動態設定方法及人員活動內容之即時判定方法 | |
| JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
| JP5936561B2 (ja) | 画像における外観及びコンテキストに基づく物体分類 | |
| KR102295183B1 (ko) | Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법 | |
| JP6620443B2 (ja) | 監視プログラム、監視装置、及び監視方法 | |
| JP2018120283A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2019212148A (ja) | 情報処理装置及び情報処理プログラム | |
| JP6163732B2 (ja) | 画像処理装置、プログラム、及び方法 | |
| KR20140043159A (ko) | 그래프 매칭 및 사이클 검출에 의한 자동 모델 초기화로의 라인 트래킹 | |
| KR101241813B1 (ko) | Ｇｐｕ를 이용한 파노라마 영상의 객체 검출 장치 및 방법 | |
| Pane et al. | A people counting system for business analytics | |
| JP6606340B2 (ja) | 画像検出装置、画像検出方法およびプログラム | |
| WO2017042852A1 (en) | Object recognition appratus, object recognition method and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150706 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160628 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170117 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170317 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170605 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6163732 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |