JP3962803B2 - 頭部検出装置、頭部検出方法および頭部検出プログラム - Google Patents

頭部検出装置、頭部検出方法および頭部検出プログラム Download PDF

Info

Publication number
JP3962803B2
JP3962803B2 JP2005363851A JP2005363851A JP3962803B2 JP 3962803 B2 JP3962803 B2 JP 3962803B2 JP 2005363851 A JP2005363851 A JP 2005363851A JP 2005363851 A JP2005363851 A JP 2005363851A JP 3962803 B2 JP3962803 B2 JP 3962803B2
Authority
JP
Japan
Prior art keywords
head
region
foreground
ellipse
main axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005363851A
Other languages
English (en)
Other versions
JP2007164720A (ja
Inventor
潤治 前田
宏毅 中野
石川　　浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2005363851A priority Critical patent/JP3962803B2/ja
Priority to US11/640,473 priority patent/US7450737B2/en
Publication of JP2007164720A publication Critical patent/JP2007164720A/ja
Application granted granted Critical
Publication of JP3962803B2 publication Critical patent/JP3962803B2/ja
Priority to US12/212,954 priority patent/US7720285B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、頭部検出装置、頭部検出方法および頭部検出プログラムに関する。特に本発明は、入力画像上の人物の頭部に楕円を当てはめる頭部検出装置、頭部検出方法および頭部検出プログラムに関する。
撮影装置および情報処理装置の進化、画像処理技術の発展に伴って、動画像を自動解析して利用することが現実的になってきた。動画像の解析技術のうち、映っている人物の行動を推定することは、監視カメラ、ロボットビジョン等、人間が関わる多くの応用分野で用いられる可能性があり、実用的価値が高い。人物の行動を推定する際に、顔面を含む頭部の動きは重要な情報になる。動画像を解析して人物頭部を認識し、当該人物頭部の動きを推定する技術は、例えば、非特許文献１、および、特許文献１〜１４に示されている。
輪郭線のくびれ（凹部）を検出して、動画像中の人物と見なせる動オブジェクトから頭部を認識する方法が知られている（例えば、非特許文献１等参照。）。また、形状のマッチング等をして頭部を認識する方法が知られている（例えば特許文献１、２、３等参照。）。特許文献１には、検出した顔パターンに含まれる色分布を元に顔の実時間トラッキングを行い、その動的変化に顔検出を適用していく方法が記載されている。特許文献２には、顔特徴（目、眉、毛、鼻、及び、口）の検出に基づいて潜在的な顔を識別するアルゴリズムが記載されている。特許文献３には、記憶部に記憶されている顔情報と比較して顔らしさの類似度を算出する顔類似算出手段を具備する顔検知装置が記載されている。
また、特許文献４には、頭部の形状をモデル化した投票テンプレートであって検出距離の範囲に幅を持たせるため線分状の投票部を備える人の存在位置検出装置が記載されている。特許文献５には、人体部位候補の部位らしさの確率と部位間の相互関係とを利用して人体らしさを確率的に計算する検出装置が記載されている。特許文献６には、乗員頭部の外輪郭形状に基づいて乗員の頭部を抽出する自動車用衝突安全制御装置が記載されている。
また、頭部あるいは顔面は抽出できているという前提において、頭部の動きを推定する技術が、例えば特許文献７〜１４に記載されている。特許文献７には、例えば、目、鼻、口等の特徴領域を抽出して楕円形で近似した顔領域の中心位置等を検出することにより顔の方向を検出する装置が記載されている。特許文献８、９には、異なる方向の顔画像のテンプレートとマッチングする装置が記載されている。特許文献１０には、登録時の顔画像に関する情報と認識時に入力された顔画像に関する情報とを同時に表示する装置が記載されている。特許文献１１には、時系列的に収集した画像の差分値に基づいてドライバの顔の向きを判定する判定手段を具備するドライバモニタ装置が記載されている。
特許文献１２には、オプティカルフローを検出して脇見状態を検出する装置が記載されている。特許文献１３には、正面顔、左向き顔、右向き顔などの顔画像を用意しておき、正準判別分析を用いてどの向きの顔に最もよく一致するかを判定する装置が記載されている。特許文献１４には、平均顔３次モデルから作られた角度に対応する角度別平均顔画像を記憶するデータベース作成手段を備える画像処理装置が記載されている。
特開２００２−１５７５９６号公報 特開２００２−２０３２３９号公報 特開２００５−４９９７９号公報 特開２００４−１７８２２９号公報 特開２００４−２０６６５６号公報 特開２００４−５３３２４号公報 特開平１０−２７４５１６号公報 特開２００１−２１６５１８号公報 特開２００１−２４３４６６号公報 特開２００３−１４１５４１号公報 特開２００４−７８７７８号公報 特開２００５−１８６５４号公報 特開２００４−２７２９３３号公報 特開２００１−２９１１０８号公報 Y. Tian, et al., "Absolute Head Pose Estimation from Overhead Wide-Angle Cameras," Proceedings of the IEEE International Workshop on Analysis and Modeling of Faces and Gestures (AMFG '03), pp. 92-99, 2003.
非特許文献１に記載された方法は、画質または背景の性質により動オブジェクトの抽出精度が悪くなった場合、輪郭線のくびれを判断できず、頭部の認識が困難となる。例えば、背景にカラフルで細かなテクスチャが含まれている場合、動オブジェクトの輪郭が滑らかにならず凹部が多数出現するので、この方法では、輪郭線のくびれを判断することが難しくなる。また、両手を頭に当てるポーズをとっている場合および襟の高い服装の場合等、本来部分以外に凹部が現れるので、この方法では、輪郭線のくびれを判断することが難しくなる。
特許文献１〜３に記載された方法は、パラメータ数が多くマッチングに時間がかかる。また、これらの方法は、輪郭線が滑らかでないような場合には、マッチング結果が安定しない。特許文献４〜６に記載された装置も、輪郭が滑らかにならないような場合には、人物頭部を認識することは困難である。
特許文献７〜１１に記載された装置は、画像の解像度が低く顔内のパーツの認識が困難な場合、顔がカメラの撮像面に対して真横より向こう側を向く場合等には、頭部の動きを検出することができない。
特許文献１２に記載されたオプティカルフローを検出する装置は、車載カメラのようなよい条件により動画像が取得できる場合には計算可能であるが、顔が小さい場合、カメラの撮像面に対して斜め向こうを向いていて目または鼻のような特徴的な部分が取得できない場合、背景がカラフルでテクスチャが細かいような場合には、正確に計算できない。
特許文献１３、１４の装置は、どの程度の角度間隔のデータを用意しておくかが問題になる。すなわち、角度間隔を細かく取るとマッチングに時間がかかり、角度間隔を粗くすると動き検出の精度が低下する。また、用意された画像の顔と入力されてくる顔の違いにより誤検出が生じる。同様に、眼鏡または帽子などにより、用意されたデータとのマッチング精度が低下する。さらに、画質または背景の性質により動オブジェクトの抽出が粗くなる場合にも、用意されたデータとのマッチング精度が低下する。
以上のように、従来技術においては、人物の抽出の精度が悪く輪郭線が滑らかに取れないような状況またはアプリケーションの下では、頭部の認識精度、頭部の動き推定精度が良くなかった。例えば、小売店舗内に監視カメラを設置するような状況においては、従来技術においては、背景（商品棚等）がカラフルでテクスチャが細かいので、人物の輪郭が滑らかに抽出できないことが多かった。
本発明の第１の形態によれば、入力画像から人物が撮像された前景領域を抽出する前景抽出部と、前記前景領域の主軸を算出する第１主軸算出部と、前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部とを備え、前記第１主軸算出部は、前記前景領域の重心の周りのモーメントを算出する第１モーメント算出部を有し、前記前景領域の重心の周りのモーメントに基づいて、前記前景領域の主軸を算出する頭部検出装置と、当該頭部検出装置に関する頭部検出方法および頭部検出プログラムとを提供する。
本発明の第２の形態によれば、入力画像から人物が撮像された前景領域を抽出する前景抽出部と、前記前景領域の主軸を算出する第１主軸算出部と、前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部とを備え、前記頭部算出部は、前記前景領域の輪郭と前記主軸との交点のうち撮像対象空間内においてより上側に位置すると判断した交点を始点とし、前記前景領域の輪郭上の画素をたどって前記人物の頭頂点を探索する探索部と、前記頭頂点と前記前景領域の重心とを結ぶ中心線上の点を中心とし、前記頭頂点を通る円のうち、円内に含まれる前記前景領域の画素の割合が予め定められた基準割合となる円を、頭部を囲む円として算出する円算出部とを有し、前記頭部を囲む円内に含まれる前記前景領域を前記頭部領域として算出する頭部検出装置と、当該頭部検出装置に関する頭部検出方法および頭部検出プログラムとを提供する。
本発明の第３の形態によれば、入力画像から人物が撮像された前景領域を抽出する前景抽出部と、前記前景領域の主軸を算出する第１主軸算出部と、前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部とを備え、前記楕円決定部は、前記頭部領域の主軸を算出する第２主軸算出部を有し、前記主軸を長軸とする前記楕円を決定し、前記第２主軸算出部は、前記頭部領域の重心の周りのモーメントを算出する第２モーメント算出部と、前記頭部領域の重心の周りのモーメントに基づいて、前記頭部領域について直交する２つの軸を算出する第２直交軸算出部と、直交する２つの軸のうち、前記前景領域の主軸と交差する角度が小さい軸を前記頭部領域の主軸として選択する第２主軸選択部とを含む頭部検出装置と、当該頭部検出装置に関する頭部検出方法および頭部検出プログラムとを提供する。
本発明の第４の形態によれば、入力画像から人物が撮像された前景領域を抽出する前景抽出部と、前記前景領域の主軸を算出する第１主軸算出部と、前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部とを備え、前記楕円決定部は、前記頭部領域の主軸を算出する第２主軸算出部と、前記頭部領域内の最大の肌色領域を抽出する肌色抽出部と、前記頭部領域の主軸と前記肌色領域内の画素との最大距離に応じて前記楕円の短軸の長さを決定する短軸決定部とを有し、前記主軸を長軸とする前記楕円を決定する頭部検出装置と、当該頭部検出装置に関する頭部検出方法および頭部検出プログラムとを提供する。
本発明の第５の形態によれば、監視目的で撮像装置により撮像された動画を構成する複数のフレーム画像を複数の入力画像として入力する入力部と、複数の人物のそれぞれについて、前記人物の頭部の位置および向きの変化の履歴を記憶する記憶部と、前記入力画像から前記人物が撮像された前景領域を抽出する前景抽出部と、前記前景領域の主軸を算出する第１主軸算出部と、前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部と前記複数のフレーム画像に応じて決定された前記楕円の変化に基づいて、前記人物の頭部の位置および向きの変化を検出する検出部と、一の前記人物の頭部の位置および向きの変化量と、前記記憶部に記憶された他の前記人物の頭部の位置および変化に基づく基準変化量との差が予め定められたしきい値以上大きいことを条件として、当該人物が異常な動作をしていることを検出する異常検出部とを備える頭部検出装置と、当該頭部検出装置に関する頭部検出方法および頭部検出プログラムとを提供する。
本発明においては、入力画像から人物が撮像された前景領域を抽出する前景抽出部と、前記前景領域の主軸を算出する第１主軸算出部と、前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、前記頭部領域の形状に基づいて、前記人物の頭部に当てはめる楕円を決定する楕円決定部とを備える頭部検出装置、当該頭部検出装置を用いた頭部検出方法、および、当該頭部検出装置としてコンピュータを機能させる頭部検出プログラムを提供する。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明によれば、前景領域の抽出の精度に関わらず、人物の頭部に対して的確に楕円を当てはめることができる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、本実施形態に係る監視システム１０の構成を示す。監視システム１０は、入力部２１と、前景抽出部２２と、第１主軸算出部２３と、頭部算出部２４と、楕円決定部２５と、検出部２６と、記憶部２７と、異常検出部２８とを備える。監視システム１０は、カメラ等により撮像された入力画像に含まれている人物画像を抽出して、その頭部に対して楕円を当てはめ、当てはめた楕円の動きに基づき頭部の動きを推定する。監視システム１０によれば、人物画像が精度良く抽出できない場合であっても、頭部に的確な楕円を当てはめて、頭部の動きを正確に推定することができる。さらに、監視システム１０によれば、楕円内の肌色領域を利用して頭部の動きを正確に推定することができる。
入力部２１は、動画を構成する複数のフレーム画像を複数の入力画像として入力する。例えば、入力部２１は、店舗内に設けられた撮像装置により撮像された動画を構成する複数のフレーム画像を入力する。前景抽出部２２は、前記入力部２１に入力された入力画像から人物が撮像された前景領域を抽出する。
第１主軸算出部２３は、前景抽出部２２により抽出された前景領域の主軸を算出する。第１主軸算出部２３は、一例として、前景領域の重心を通り、頭部の方向へ伸びる軸を主軸として算出してよい。頭部算出部２４は、第１主軸算出部２３により算出された前景領域の主軸および前景領域の形状に基づいて、前景領域の一部として含まれる頭部領域を算出する。頭部算出部２４は、一例として、前景領域の主軸と前景領域の輪郭に基づき頭部と推定される部分を概略的に含む円を算出し、当該円に含まれた前景領域の部分を頭部領域として算出してよい。楕円決定部２５は、頭部算出部２４により算出された頭部領域の形状に基づいて、人物の頭部に当てはめる楕円を決定する。
検出部２６は、複数のフレーム画像に応じて、楕円決定部２５により決定された楕円の変化に基づいて、人物の頭部の位置および向きの変化を検出する。検出部２６は、一例として、楕円決定部２５により決定された楕円のフレーム内における中心位置の変化、楕円の大きさの変化、楕円の主軸（長軸）の角度の変化、楕円の長軸および短軸の比の変化等に基づき、人物の頭部の位置および向きの変化を判断してよい。また、検出部２６は、複数のフレーム画像に応じて決定された楕円内の肌色領域の面積および分布の少なくとも一方の変化に基づいて、人物の頭部の回転量を検出してもよい。
さらに、検出部２６は、楕円に関する情報に加え、前景領域から算出されるその他の部位（胴体等）の位置および大きさを用いて、頭部の位置および向きの変化を算出してもよい。また、検出部２６は、楕円の変化量が所定量より大きい場合、当該変化量を検出の誤りと判断してもよい。また、検出部２６は、数フレームに１回は、前後フレームの値を用いずに楕円の変化を算出して、検出の誤りが連続することを防止してもよい。
記憶部２７は、複数の人物のそれぞれについて、検出部２６が検出した人物の頭部の位置および向きの変化の履歴を記憶する。異常検出部２８は、記憶部２７が記憶する変化の履歴に基づき、一の人物の頭部の位置および向きの変化量と、記憶部２７に記憶された他の人物の頭部の位置および変化に基づく基準変化量との差が予め定められたしきい値以上大きいことを条件として、当該人物が異常な動作をしていることを検出する。これにより、異常検出部２８によれば、例えば、店内における不審人物は、監視カメラまたは他の人を気にして頭部を頻繁に動かしたり、上方を向いたりして、他の一般の来店客とは異なる頭部の動きがあるので、このような異常な頭部の動きを検出することができる。
監視システム１０によれば、前景領域の主軸に基づき頭部が含まれる頭部領域を算出し、当該頭部領域の形状に基づいて楕円を決定するので、前景領域の抽出の精度に影響されずに、的確な楕円を当てはめることができる。従って、監視システム１０によれば、例えば、前景領域と背景画像との分離が滑らかに行えないような悪条件の下においても、楕円を当てはめることができる。さらに、監視システム１０によれば、楕円を的確に当てはめることができるので、人物の頭の動きを正確に推定することができる。
図２は、本実施形態に係る第１主軸算出部２３の構成の一例を示す。第１主軸算出部２３は、一例として、第１モーメント算出部３１と、第１直交軸算出部３２と、第１主軸選択部３３とを有してよい。第１モーメント算出部３１は、前景領域の重心の周りのモーメントを算出する。第１直交軸算出部３２は、前景領域の重心の周りのモーメントに基づいて、前景領域について直交する２つの軸を算出する。第１主軸選択部３３は、第１直交軸算出部３２により算出された直交する２つの軸のうち、直前および直後の少なくとも一方のフレーム画像について算出された前景領域の主軸との間の角度がより小さい軸を、前景領域の主軸として選択する。このような第１主軸算出部２３によれば、前景領域の重心の周りのモーメントに基づき主軸を算出するので、前景領域の中心線を主軸することができる。従って、第１主軸算出部２３によれば、重心から頭部へ向かう方向の軸を確実に主軸とすることができる。
図３は、本実施形態に係る頭部算出部２４の構成の一例を示す。頭部算出部２４は、一例として、探索部４１と、円算出部４２とを有してよい。探索部４１は、前景領域の輪郭と主軸との交点のうち撮像対象空間内においてより上側に位置すると判断した交点を始点とし、前景領域の輪郭上の画素をたどって人物の頭頂点を探索する。円算出部４２は、頭頂点と前景領域の重心とを結ぶ中心線上の点を中心とし、頭頂点を通る円のうち、円内に含まれる前景領域の画素の割合が予め定められた基準割合以上となる円を、頭部を囲む円として算出する。
このような頭部算出部２４は、円算出部４２により算出された頭部を囲む円内に含まれる前景領域を、頭部領域として決定する。これにより、頭部算出部２４によれば、人物の頭と推定される部分を確実に含んだ部分を、頭部領域として抽出することができる。また、頭部算出部２４によれば、初期頭頂点から、更に輪郭をたどって頭頂点を探索するので、例えば、体の傾きと頭部の傾きが異なる場合（例えば、うつむいていたり、上を向いていたりする場合）であっても、正確に頭部領域を抽出することができる。
図４は、本実施形態に係る楕円決定部２５の構成の一例を示す。楕円決定部２５は、一例として、第２主軸算出部５１と、肌色抽出部５２と、短軸決定部５３と、長軸決定部５４とを有してよい。第２主軸算出部５１は、頭部領域の主軸を算出する。楕円決定部２５は、第２主軸算出部５１により算出された主軸を、楕円の長軸と決定する。第２主軸算出部５１は、第１主軸算出部２３による前景領域の主軸の算出方法と同様の方法により、頭部領域の主軸を算出してよい。
第２主軸算出部５１は、一例として、第２モーメント算出部６１と、第２直交軸算出部６２と、第２主軸選択部６３とを含んでよい。第２モーメント算出部６１は、頭部領域の重心の周りのモーメントを算出する。第２直交軸算出部６２は、頭部領域の重心の周りのモーメントに基づいて、頭部領域について直交する２つの軸を算出する。第２主軸選択部６３は、直交する２つの軸のうち、前景領域の主軸と交差する角度が小さい軸を頭部領域の主軸として選択する。これにより、第２主軸算出部５１は、頭部領域の主軸（楕円の長軸）を的確に算出することができる。
肌色抽出部５２は、頭部領域内の最大の肌色領域を抽出する。短軸決定部５３は、頭部領域の主軸と、肌色抽出部５２により抽出された肌色領域内の画素との最大距離に応じて楕円の短軸の長さを決定する。短軸決定部５３は、肌色領域内のそれぞれの画素から主軸までの距離を算出し、算出された距離のうちの最大の距離を、楕円の短軸の長さとする。これにより、肌色抽出部５２は、顔部分に一致した短軸の楕円を形成することができる。また、これに代えて、短軸決定部５３は、頭部領域の主軸と頭部領域内の画素との最大距離に応じて楕円の短軸の長さを決定してもよい。これにより、例えば、人物がカメラに対して後ろ向きの場合であっても、楕円の短軸を決定することができる。長軸決定部５４は、短軸決定部５３が決定した楕円の短軸の長さに予め定められた１を超える値を乗じた値を楕円の長軸の長さとする。なお、肌色抽出部５２は、カラー画像に基づき肌色領域を検出してもよいし、白黒画像の頭および顔のコントラスト等に基づき肌色領域を検出してもよい。
このような楕円決定部２５によれば、頭部領域の主軸を楕円の長軸とするので、前景領域の抽出の精度が悪い場合であっても、当てはめる楕円に与える影響が少ない。従って、楕円決定部２５は、人物の頭部に対して的確に楕円を当てはめることができる。
図５は、本実施形態に係る監視システム１０による、前景領域から頭部領域を抽出する処理フローの一例を示す。まず、ステップＳ１０において、前景抽出部２２は、入力画像から人物が撮像された前景領域を抽出する。前景抽出部２２は、一例として、フレーム内に人物が存在しない場合に撮像された背景画像と、入力画像とを比較し、不一致部分を前景領域として抽出してよい。また、前景抽出部２２は、フレーム間で移動しているオブジェクトを前景領域として抽出してもよい。
次に、第１主軸算出部２３は、前景領域の主軸を算出する。第１主軸算出部２３は、一例として、以下のステップＳ１１からステップＳ１３のように、モーメント特徴を用いて前景領域の主軸を算出してよい。
ステップＳ１１において、第１モーメント算出部３１は、抽出された前景領域の重心の座標を算出する。第１モーメント算出部３１は、一例として、前景領域に属する画素の座標値の平均を算出することにより、当該前景領域の重心の座標を算出する。第１モーメント算出部３１は、所定の画素と、前景画像に属する各画素との間の距離（座標の差）の平均に基づいて、重心の座標を求めてもよい。次に、ステップＳ１２において、第１モーメント算出部３１は、重心の周りのモーメントＭｐｑを、下記式（１）のように算出する。
Figure 0003962803
式（１）において、p，q はモーメントの次数、ｆｉｊは前景領域を表す２値画像（前景領域の画素の値が１、前景領域外の画素の値が０となる画像）、（ｉｇ，ｊｇ）は重心の座標を表す。なお、ここでは、画素の座標を（ｉ，ｊ）と表し、ｉは水平方向の画素位置を表して右方向が正となり、ｊは垂直方向の画素位置を表して下方向が正となる。
続いて、ステップＳ１３において、第１直交軸算出部３２は、式（１）で算出した重心の周りのモーメントＭｐｑに基づき、重心で交わり互いに直交する２つの軸（第１軸および第２軸）を算出する。第１直交軸算出部３２は、第１軸のｉ軸との角度θを下記式（２）のように算出する。
Figure 0003962803
すなわち、第１直交軸算出部３２は、上記式（２）に示すように、３つの２次モーメントＭ１１、Ｍ２０、Ｍ０２を用いて、２つの軸を算出する。
ただし、第１直交軸算出部３２は、Ｍ２０＝Ｍ０２の場合は、一方の軸の角度θを下記式（３）のように算出する。
Figure 0003962803
第１直交軸算出部３２は、ｉ軸との角度がθで、前景領域の重心座標（ｉｇ，ｊｇ）を通る直線を、第１軸として設定する。ここで、θは、−π／４以上π／４以下の値をとる。続いて、第１直交軸算出部３２は、当該第１軸に直交し、重心座標（ｉｇ，ｊｇ）を通る線を、第２軸として設定する。
続いて、ステップＳ１４において、第１主軸選択部３３は、互いに直交する第１軸および第２軸のうちの一方の軸を、前景領域の主軸として選択する。第１主軸選択部３３は、一例として、前景領域に含まれる長さが長い方を主軸として選択する方法、前フレームまたは後フレーム（または両者のフレーム）の主軸との角度がより小さい方を主軸として選択する方法、対象は人間であるので撮像面に最初に現れるときには鉛直に近い方を主軸とする方法、または、これらに重みをつけて組み合わせて主軸を選択する方法等を用いてよい。
第１主軸算出部２３によれば、以上のステップＳ１１〜Ｓ１４のように、前景領域の輪郭線が不正確であっても安定して検出できる重心座標および重心の周りのモーメントＭｐｑを用いて、前景領域の主軸を算出する。これにより、第１主軸算出部２３は、前景領域の抽出の精度が悪い場合であっても、当てはめる楕円に与える影響を少なくすることができる。
次に、ステップＳ１５において、探索部４１は、前景領域の主軸と前景領域の輪郭との交点のうち、撮像対象空間内においてより上側に位置すると判断した交点を、初期頭頂点として算出する。ここで、撮像対象空間内において上側とは、フレーム上での座標の上下に関わらず、撮影されたフレームを実空間に対応させた場合の上側を意味する。
次に、ステップＳ１６において、探索部４１は、初期頭頂点を始点として、前景領域の輪郭上の画素をたどって人物の頭頂点を探索する。探索部４１は、一例として、始点から開始して前景領域の輪郭を前景領域の重心から離れる方向にたどっていき、重心との距離が極大となる点を頭頂点としてよい。この場合において、探索部４１は、前景領域の輪郭線が滑らかに抽出できず、例えば輪郭がギザギザであることをある程度許容するために、輪郭をたどる際に重心との距離がこれまでの最大値より一定値以下減少する程度であれば許容して探索を継続する。また、探索部４１は、頭頂点と前景領域の重心とを結ぶ線（以下、中心線と称する。）と前景領域の主軸との間の角度が予め定められた基準角度以下となることを条件として、頭頂点を決定してよい。なお、頭部算出部２４は、ステップＳ１６をスキップして、初期頭頂点をそのまま頭頂点としてもよい。
次に、ステップＳ１８〜ステップＳ２１において、円算出部４２は、中心線上の点を中心とし、頭頂点を通る円のうち、円内に含まれる前景領域の画素の割合が予め定められた基準割合以上となる範囲で最大の円を、頭部を囲む円として算出する。
例えば、まず、円算出部４２は、頭頂点から微小距離だけ離れた中心線上を中心とした頭頂点を通る円を描く（Ｓ１８）。続いて、円算出部４２は、当該円内に含まれる前景領域の割合が基準割合以上か否かを判断する（Ｓ１９）。基準割合以上である場合（Ｓ１９のＹｅｓ）、円算出部４２は、円の中心位置を重心方向にずらし（Ｓ２０）、処理をステップＳ１８に戻す。円算出部４２により描かれる円は、中心が重心方向にずらされることにより、だんだんと大きくなり、前景領域以外の部分が増加していく。続いて、円内に含まれる前景領域の割合が基準割合を下回った場合、円算出部４２は、基準割合を下回った直前の円を、頭部エリア円として設定する（Ｓ２１）。
そして、ステップＳ２２において、頭部算出部２４は、円算出部４２により算出された頭部エリア円に含まれる前景領域を、頭部領域として抽出する。
円算出部４２は、このように頭頂点から徐々に基準割合まで円を大きくしていくことにより、頭部の全体を頭部エリア円内に含ませることができる。なお、円算出部４２は、前景領域内に顔と推定される肌色領域がある場合には、円内に含まれる前景領域の画素の割合が予め定められた基準割合となるように算出した頭部を囲む円が、前景領域の肌色領域を横切ることを条件として、肌色領域全体を円内に含むように頭部を囲む円をより大きく補正してよい。これにより、円算出部４２は、顔と推定される部分を頭部エリア円内に含ませることができる。また、円算出部４２は、前後のフレームにおける円の大きさに基づき頭部エリア円を修正してもよい。
図６は、本実施形態に係る楕円決定部２５による、頭部に当てはめる楕円を決定する処理フローの一例を示す。まず、ステップＳ３１において、第２モーメント算出部６１は、頭部領域（頭部エリア円内に含まれる前景領域）の重心を算出する。当該重心は、頭部に当てはめる楕円の中心となる。次に、例えばステップＳ３２において、第２モーメント算出部６１は、例えばステップＳ１２と同様の方法で、頭部領域の重心の周りのモーメントを算出する。次に、ステップＳ３３において、第２直交軸算出部６２は、例えばステップＳ１３と同様の方法で、重心の周りのモーメントを用いて、重心で交わり互いに直交する２つの軸を算出する。
次に、ステップＳ３４において、第２主軸選択部６３は、ステップＳ３３において算出した二つの軸のうちの一方を頭部領域の主軸として選択する。選択した頭部領域の主軸は、頭部に当てはめる楕円の主軸（長軸）となる。第２主軸選択部６３は、ステップＳ１４と同様の方法で頭部領域の主軸を選択してよい。また、これに加えて、第２主軸選択部６３は、前景領域の主軸と角度が近い方を選択してもよい。楕円決定部２５は、ステップＳ３４までの処理おいて、楕円のパラメータのうち、位置（中心）、長軸および短軸の区別および傾きが決定できる。
次に、以下のステップＳ３５〜Ｓ３８において、短軸決定部５３は、短軸の長さを決定する。まず、短軸決定部５３は、肌色領域が利用可能か否かを判断する（Ｓ３５）。短軸決定部５３は、一例として、頭部領域内に肌色が所定割合以上含まれていれば、肌色領域が利用できると判断する。
肌色領域が利用できる場合（Ｓ３５のＹｅｓ）、肌色抽出部５２は、頭部領域内で最大の肌色領域を顔部として抽出する（Ｓ３６）。続いて、短軸決定部５３は、顔部に基づき楕円の短軸の長さを決定する（Ｓ３７）。短軸決定部５３は、一例として、顔部に含まれる各画素から楕円の長軸に対して垂線を下ろしてその長さを検出し、それらうちの最大長の２倍を短軸の長さとする。肌色の領域は、胸元の開いた服などで実際の顔より縦方向に対して長くなることが多いのに対し、横幅方向に対しては実際の顔の横幅とほぼ一致する。従って、短軸決定部５３は、顔部から楕円長軸に下ろした垂線を利用することにより、顔の横幅と短軸の長さをほぼ一致させることができる。
肌色領域が利用できない場合（Ｓ３５のＮｏ）、短軸決定部５３は、頭部領域に基づき楕円の短軸の長さを決定する（Ｓ３８）。短軸決定部５３は、一例として、頭部領域に含まれる各画素から楕円の長軸に対して垂線を下ろして長さを検出し、それらの長さうちの最大の長さの２倍を短軸の長さとする。
次に、ステップＳ３９において、長軸決定部５４は、長軸の長さを決定する。長軸決定部５４は、一例として、楕円の中心から頭頂点までの長さの２倍を長軸長としてもよいし、短軸長に予め定められた１を超える値を乗じた値を長軸長としてもよい。
楕円決定部２５は、以上のように、頭部領域の形状等に基づき、頭部に対して正確に楕円を当てはめることができる。なお、短軸決定部５３および長軸決定部５４は、前後フレームの情報を利用して、楕円の短軸長および長軸長を決定してもよい。例えば、短軸決定部５３および長軸決定部５４は、前後フレームの値と現フレームの値が極端に異なる場合には、現フレームの値を誤りと判断して、前後フレームと現フレームの平均を新たに現フレームの値としてもよい。
図７は、入力画像１０１の一例を示す。図８は、入力画像１０１から抽出された前景領域１０３の一例を示す。前景抽出部２２は、例えば図７に示すような入力画像１０１から、人物画像１０２を抽出する。これにより、前景抽出部２２は、図８に示すような人物画像１０２の輪郭を切り出した前景領域１０３を抽出することができる。ここで、背景画像がカラフルでテクスチャが細かい場合、前景抽出部２２は、前景領域１０３の輪郭を滑らかに抽出できない（例えば、輪郭がギザギザとなる）。
図９は、図８の前景領域１０３から算出された主軸１０６の一例を示す。第１主軸算出部２３は、図８に示した前景領域１０３の主軸１０６を算出する。第１主軸算出部２３は、例えば、前景領域１０３の重心１０４を算出して、当該重心の周りのモーメントから二つの直交軸１０５−１，１０５−２を算出し、そのうちの一方を主軸１０６とする。前景領域１０３の輪郭が滑らかであっても滑らかでなくても、重心１０４の位置および重心の周りのモーメントに大きく影響は与えないので、第１主軸算出部２３は、重心１０４および重心の周りのモーメントを用いることにより、安定的に正確な主軸１０６を算出することができる。
図１０は、前景領域１０３の主軸１０６から探索された初期頭頂点１１１および頭頂点１１２の一例を示す。頭部算出部２４は、前景領域１０３の主軸１０６と、前景領域１０３の輪郭とが交わった点を初期頭頂点１１１として算出する。頭部算出部２４は、初期頭頂点１１１から前景領域１０３の輪郭をたどり、重心１０４との距離Ｌが極大となる点を頭頂点１１２とする。ここで、重心１０４と頭頂点１１２を結ぶ直線は、中心線１１３である。頭部算出部２４は、頭頂点１１２を基準に頭部領域を抽出することにより、例えば、うつむいた状態、上を向いた状態等の体全体の軸に対して頭部の軸が傾いている状態であっても、的確に頭頂点１１２を算出することができる。
図１１は、頭部領域を決定するための円１１５を示す。頭部算出部２４は、頭頂点１１２を通り中心１１４が中心線１１３上に配置された円１１５を、徐々に大きくしながら、その円１１５内における前景領域１０３の割合を算出する。円１１５内の前景領域１０３の割合は、円１１５が大きくなるほど少なくなっていく。頭部算出部２４は、予め定められた所定割合を超えない最大の大きさとなった時点の円１１５を、頭部エリア円１１６として決定する。
図１２は、決定された頭部エリア円１１６および頭部領域１２１の一例を示す。頭部算出部２４は、前景領域１０３のなかの頭部エリア円１１６に含まれた部分を、頭部領域１２１とする。このように、頭部算出部２４は、頭部エリア円１１６を用いることにより、前景領域１０３の中から的確に頭部が含まれた部分を特定することができる。
図１３は、楕円中心１２２、長軸１２４および短軸１２５の一例を示す。楕円決定部２５は、頭部に当てはめる楕円の各パラメータを決定する。楕円決定部２５は、例えば、頭部領域１２１の重心を算出して、算出した重心を楕円中心１２２とする。また、楕円決定部２５は、頭部領域１２１の重心の周りのモーメントに基づき、頭部領域１２１の主軸を算出する。楕円決定部２５は、算出した主軸を楕円の長軸１２４とし、主軸に直交する軸を短軸１２５とする。
図１４は、短軸１２５の長さの決定方法の一例を示す。楕円決定部２５は、長軸１２４および短軸１２５の角度を決定すると、続いて、長軸１２４および短軸１２５の長さを決定する。楕円決定部２５は、一例として、まず、顔部１２６を抽出して短軸１２５の長さを決定し、その後に、短軸長に１を超える値を乗じた値（例えば、１．２等）を長軸１２４の長さとして決定する。
図１５は、頭部に当てはめた楕円を示す。楕円決定部２５は、以上のように、中心、長軸１２４の傾き、長軸１２４の長さおよび短軸１２５の長さを決定することにより、入力画像１０１の人物画像１０２の頭部に当てはめる楕円１３１を特定することができる。このように人物画像１０２の頭部に楕円１３１を当てはめることにより、当該人物画像１０２の動きの解析を容易に行うことができる。
図１６は、天井３０３に配置されたカメラ３０１を示す。図１６に示すカメラ３０１は、店舗３０２内の斜め下方を撮影している。このようなカメラ３０１から得られた入力画像が入力した場合、検出部２６は、一例として、次のように人物の動きを推定することができる。
検出部２６は、頭部に当てはめた楕円の左右の移動を、カメラ３０１に向かって左右の移動と推定する。検出部２６は、楕円の上下方向の移動を、楕円の大きさの変化を伴う場合はカメラ３０１に向かって奥行き〜手前方向の移動と推定し、大きさの変化を伴わない場合は３次元空間の上下方向の移動と推定する。人物の全身と推定される前景領域が利用できる場合、すなわち、フレームの端で前景領域が切れていない場合、検出部２６は、人物がジャンプしないと仮定して、前景領域のフレーム内における位置から奥行き方向の動きを推定してもよい。
また、検出部２６は、楕円内の肌色領域の面積の変化から、頭部の軸の周りの回転（すなわち、首を横に振る動き）を推定してもよい。この場合において、肌色領域の面積が増加するならばカメラ３０１に顔の正面を向ける方向への回転、面積が減少するならカメラ３０１に背（後頭部）を向ける方向の回転と推定することができる。
さらに、検出部２６は、楕円内の肌色領域の分布と楕円の主軸の傾きから、頭部の軸の傾く動き（首を縦に振る、あるいは横に傾ける動き）を推定してもよい。検出部２６は、例えば、肌色領域が楕円の左側に分布している場合、当該人物の顔は概略左側を向いていると推定してよい。この場合において、楕円の主軸が左側に傾いていれば、検出部２６は、頭部がうつむいたと推定してよい。また、検出部２６は、肌色領域の分布に左右の差がないとき（肌色領域が無い場合も含む）、当該人物の顔は、カメラ３０１に向いているか、或いは、（肌色領域が無い場合は）カメラ３０１に完全に背を向けていると推定してよい。また、楕円の主軸が傾いていれば、頭部もそちらの方向に傾いたとも推定できる。
検出部２６は、以上のように楕円の変化に基づき人物の動きを推定することにより、例えば、店舗３０２において、カメラ３０１または他の人を気にして頭部をキョロキョロ動かしたり、上方を向いたりして、他の一般の来店客とは異なる頭部の動きがある場合には、その人物を不審な人物として判断することができる。なお、頭部に当てはめる形状は、楕円以外の他の形状であってよい。この他の形状は、例えば、入力画像中の人物の頭部の形状を近似した形状であり、頭部の縦横方向を識別可能な形状であってよい。この場合において、本実施形態は、当該他の形状を入力画像における頭部に当てはめて、頭部の動きを推定する。
図１７は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。
ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。
また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラムや、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。
コンピュータ１９００にインストールされ、コンピュータ１９００を監視システム１０として機能させるプログラムは、入力モジュールと、前景抽出モジュールと、第１主軸算出モジュールと、頭部算出モジュールと、楕円決定モジュールと、検出モジュールと、記憶モジュールと、異常検出モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、入力部２１、前景抽出部２２、第１主軸算出部２３、頭部算出部２４、楕円決定部２５、検出部２６、記憶部２７、異常検出部２８としてそれぞれ機能させる。
以上に示したプログラム又はモジュールは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤやＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
本実施形態に係る監視システム１０の構成を示す。 本実施形態に係る第１主軸算出部２３の構成の一例を示す。 本実施形態に係る頭部算出部２４の構成の一例を示す。 本実施形態に係る楕円決定部２５の構成の一例を示す。 本実施形態に係る監視システム１０による、前景領域から頭部領域を抽出する処理フローの一例を示す。 本実施形態に係る楕円決定部２５による、頭部に当てはめる楕円を決定する処理フローの一例を示す。 入力画像１０１の一例を示す。 入力画像１０１から抽出された前景領域１０３の一例を示す。 図８の前景領域１０３から算出された主軸１０６の一例を示す。 前景領域１０３の主軸１０６から探索された初期頭頂点１１１および頭頂点１１２の一例を示す。 頭部領域を決定するための円１１５を示す。 決定された頭部エリア円１１６および頭部領域１２１の一例を示す。 楕円中心１２２、長軸１２４および短軸１２５の一例を示す。 短軸１２５の長さの決定方法の一例を示す。 頭部に当てはめた楕円１３１を示す。 天井３０３に備え付けられたカメラ３０１を示す。 本発明の実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。
符号の説明
１０ 監視システム
２１ 入力部
２２ 前景抽出部
２３ 第１主軸算出部
２４ 頭部算出部
２５ 楕円決定部
２６ 検出部
２７ 記憶部
２８ 異常検出部
３１ 第１モーメント算出部
３２ 第１直交軸算出部
３３ 第１主軸選択部
４１ 探索部
４２ 円算出部
５１ 第２主軸算出部
５２ 肌色抽出部
５３ 短軸決定部
５４ 長軸決定部
６１ 第２モーメント算出部
６２ 第２直交軸算出部
６３ 第２主軸選択部
１０１ 入力画像
１０２ 人物画像
１０３ 前景領域
１０４ 重心
１０５ 直交軸
１０６ 主軸
１１１ 初期頭頂点
１１２ 頭頂点
１１３ 中心線
１１４ 中心
１１５ 円
１１６ 頭部エリア円
１２１ 頭部領域
１２２ 楕円中心
１２４ 長軸
１２５ 短軸
１２６ 顔部
１３１ 楕円
３０１ カメラ
３０２ 店舗
３０３ 天井
１９００ コンピュータ
２０００ ＣＰＵ
２０１０ ＲＯＭ
２０２０ ＲＡＭ
２０３０ 通信インターフェイス
２０４０ ハードディスクドライブ
２０５０ フレキシブルディスク・ドライブ
２０６０ ＣＤ−ＲＯＭドライブ
２０７０ 入出力チップ
２０７５ グラフィック・コントローラ
２０８０ 表示装置
２０８２ ホスト・コントローラ
２０８４ 入出力コントローラ
２０９０ フレキシブルディスク
２０９５ ＣＤ−ＲＯＭ

Claims (31)

  1. 入力画像から人物が撮像された前景領域を抽出する前景抽出部と、
    前記前景領域の主軸を算出する第１主軸算出部と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部と
    を備え、
    前記第１主軸算出部は、前記前景領域の重心の周りのモーメントを算出する第１モーメント算出部を有し、前記前景領域の重心の周りのモーメントに基づいて、前記前景領域の主軸を算出する
    頭部検出装置。
  2. 動画を構成する複数のフレーム画像を複数の前記入力画像として入力する入力部を更に備え、
    前記第１主軸算出部は、
    前記前景領域の重心の周りのモーメントに基づいて、前記前景領域について直交する２つの軸を算出する第１直交軸算出部と、
    前記第１直交軸算出部により算出された直交する２つの軸のうち、直前および直後の少なくとも一方の前記フレーム画像について算出された前記前景領域の主軸との間の角度がより小さい軸を、前記前景領域の主軸として選択する第１主軸選択部と
    を有する請求項１に記載の頭部検出装置。
  3. 入力画像から人物が撮像された前景領域を抽出する前景抽出部と、
    前記前景領域の主軸を算出する第１主軸算出部と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部と
    を備え、
    前記頭部算出部は、
    前記前景領域の輪郭と前記主軸との交点のうち撮像対象空間内においてより上側に位置すると判断した交点を始点とし、前記前景領域の輪郭上の画素をたどって前記人物の頭頂点を探索する探索部と、
    前記頭頂点と前記前景領域の重心とを結ぶ中心線上の点を中心とし、前記頭頂点を通る円のうち、円内に含まれる前記前景領域の画素の割合が予め定められた基準割合となる円を、頭部を囲む円として算出する円算出部と
    を有し、前記頭部を囲む円内に含まれる前記前景領域を前記頭部領域として算出する
    頭部検出装置。
  4. 前記探索部は、前記始点から開始して前記前景領域の輪郭を前記前景領域の重心から離れる方向にたどっていき、前記重心との距離が極大となる点を前記頭頂点とする請求項３に記載の頭部検出装置。
  5. 前記探索部は、前記頭頂点と前記前景領域の重心とを結ぶ中心線と前記前景領域の主軸との間の角度が予め定められた基準角度以下となることを条件として、前記頭頂点を決定する請求項３に記載の頭部検出装置。
  6. 前記探索部は、前記始点から前記頭頂点までの間の前記輪郭の長さが予め定められた基準値以下となることを条件として、前記頭頂点を決定する請求項３に記載の頭部検出装置。
  7. 前記円算出部は、円内に含まれる前記前景領域の画素の割合が予め定められた基準割合以上となるように算出した前記頭部を囲む円が、前記前景領域の肌色領域を横切ることを条件として、前記肌色領域全体を円内に含むように前記頭部を囲む円をより大きく補正する請求項３に記載の頭部検出装置。
  8. 入力画像から人物が撮像された前景領域を抽出する前景抽出部と、
    前記前景領域の主軸を算出する第１主軸算出部と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部と
    を備え、
    前記楕円決定部は、前記頭部領域の主軸を算出する第２主軸算出部を有し、前記主軸を長軸とする前記楕円を決定し、
    前記第２主軸算出部は、
    前記頭部領域の重心の周りのモーメントを算出する第２モーメント算出部と、
    前記頭部領域の重心の周りのモーメントに基づいて、前記頭部領域について直交する２つの軸を算出する第２直交軸算出部と、
    直交する２つの軸のうち、前記前景領域の主軸と交差する角度が小さい軸を前記頭部領域の主軸として選択する第２主軸選択部と
    を含む
    頭部検出装置。
  9. 前記楕円決定部は、前記頭部領域の主軸と前記頭部領域内の画素との最大距離に応じて前記楕円の短軸の長さを決定する請求項８に記載の頭部検出装置。
  10. 入力画像から人物が撮像された前景領域を抽出する前景抽出部と、
    前記前景領域の主軸を算出する第１主軸算出部と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部と
    を備え、
    前記楕円決定部は、
    前記頭部領域の主軸を算出する第２主軸算出部と、
    前記頭部領域内の最大の肌色領域を抽出する肌色抽出部と、
    前記頭部領域の主軸と前記肌色領域内の画素との最大距離に応じて前記楕円の短軸の長さを決定する短軸決定部と
    を有し、前記主軸を長軸とする前記楕円を決定する
    頭部検出装置。
  11. 前記楕円決定部は、前記短軸長決定部が決定した前記楕円の短軸の長さに予め定められた１を超える値を乗じた値を前記楕円の長軸の長さとする長軸決定部を更に有する請求項１０に記載の頭部検出装置。
  12. 監視目的で撮像装置により撮像された動画を構成する複数のフレーム画像を複数の入力画像として入力する入力部と、
    複数の人物のそれぞれについて、前記人物の頭部の位置および向きの変化の履歴を記憶する記憶部と、
    前記入力画像から前記人物が撮像された前景領域を抽出する前景抽出部と、
    前記前景領域の主軸を算出する第１主軸算出部と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部と
    前記複数のフレーム画像に応じて決定された前記楕円の変化に基づいて、前記人物の頭部の位置および向きの変化を検出する検出部と、
    一の前記人物の頭部の位置および向きの変化量と、前記記憶部に記憶された他の前記人物の頭部の位置および変化に基づく基準変化量との差が予め定められたしきい値以上大きいことを条件として、当該人物が異常な動作をしていることを検出する異常検出部と
    を備える頭部検出装置。
  13. 前記検出部は、前記複数のフレーム画像に応じて決定された前記楕円内の肌色領域の面積および分布の少なくとも一方の変化に基づいて、前記人物の頭部の回転量を検出する請求項１２に記載の頭部検出装置。
  14. 入力画像から人物が撮像された前景領域を抽出する前景抽出段階と、
    前記前景領域の主軸を算出する第１主軸算出段階と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出段階と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定段階と
    を備え、
    前記第１主軸算出段階は、前記前景領域の重心の周りのモーメントを算出する第１モーメント算出段階を有し、前記前景領域の重心の周りのモーメントに基づいて、前記前景領域の主軸を算出する
    頭部検出方法。
  15. 入力画像から人物が撮像された前景領域を抽出する前景抽出段階と、
    前記前景領域の主軸を算出する第１主軸算出段階と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出段階と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定段階と
    を備え、
    前記頭部算出段階は、
    前記前景領域の輪郭と前記主軸との交点のうち撮像対象空間内においてより上側に位置すると判断した交点を始点とし、前記前景領域の輪郭上の画素をたどって前記人物の頭頂点を探索する探索段階と、
    前記頭頂点と前記前景領域の重心とを結ぶ中心線上の点を中心とし、前記頭頂点を通る円のうち、円内に含まれる前記前景領域の画素の割合が予め定められた基準割合となる円を、頭部を囲む円として算出する円算出段階と
    を有し、前記頭部を囲む円内に含まれる前記前景領域を前記頭部領域として算出する
    頭部検出方法。
  16. 入力画像から人物が撮像された前景領域を抽出する前景抽出段階と、
    前記前景領域の主軸を算出する第１主軸算出段階と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出段階と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定段階と
    を備え、
    前記楕円決定段階は、前記頭部領域の主軸を算出する第２主軸算出段階を有し、前記主軸を長軸とする前記楕円を決定し、
    前記第２主軸算出段階は、
    前記頭部領域の重心の周りのモーメントを算出する第２モーメント算出段階と、
    前記頭部領域の重心の周りのモーメントに基づいて、前記頭部領域について直交する２つの軸を算出する第２直交軸算出段階と、
    直交する２つの軸のうち、前記前景領域の主軸と交差する角度が小さい軸を前記頭部領域の主軸として選択する第２主軸選択段階と
    を含む
    頭部検出方法。
  17. 入力画像から人物が撮像された前景領域を抽出する前景抽出段階と、
    前記前景領域の主軸を算出する第１主軸算出段階と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出段階と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定段階と
    を備え、
    前記楕円決定段階は、
    前記頭部領域の主軸を算出する第２主軸算出段階と、
    前記頭部領域内の最大の肌色領域を抽出する肌色抽出段階と、
    前記頭部領域の主軸と前記肌色領域内の画素との最大距離に応じて前記楕円の短軸の長さを決定する短軸決定段階と
    を有し、前記主軸を長軸とする前記楕円を決定する
    頭部検出方法。
  18. 監視目的で撮像装置により撮像された動画を構成する複数のフレーム画像を複数の入力画像として入力する入力段階と、
    複数の人物のそれぞれについて、前記人物の頭部の位置および向きの変化の履歴を記憶部に記憶する記憶段階と、
    前記入力画像から前記人物が撮像された前景領域を抽出する前景抽出段階と、
    前記前景領域の主軸を算出する第１主軸算出段階と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出段階と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定段階と
    前記複数のフレーム画像に応じて決定された前記楕円の変化に基づいて、前記人物の頭部の位置および向きの変化を検出する検出段階と、
    一の前記人物の頭部の位置および向きの変化量と、前記記憶部に記憶された他の前記人物の頭部の位置および変化に基づく基準変化量との差が予め定められたしきい値以上大きいことを条件として、当該人物が異常な動作をしていることを検出する異常検出段階と
    を備える頭部検出方法。
  19. コンピュータを、
    入力画像から人物が撮像された前景領域を抽出する前景抽出部と、
    前記前景領域の主軸を算出する第１主軸算出部と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部と
    して機能させ、
    前記第１主軸算出部は、前記前景領域の重心の周りのモーメントを算出する第１モーメント算出部を有し、前記前景領域の重心の周りのモーメントに基づいて、前記前景領域の主軸を算出する頭部検出プログラム。
  20. 当該プログラムは、前記コンピュータを、
    動画を構成する複数のフレーム画像を複数の前記入力画像として入力する入力部
    として更に機能させ、
    前記第１主軸算出部は、
    前記前景領域の重心の周りのモーメントに基づいて、前記前景領域について直交する２つの軸を算出する第１直交軸算出部と、
    前記第１直交軸算出部により算出された直交する２つの軸のうち、直前および直後の少なくとも一方の前記フレーム画像について算出された前記前景領域の主軸との間の角度がより小さい軸を、前記前景領域の主軸として選択する第１主軸選択部と
    を有する請求項１９に記載の頭部検出プログラム。
  21. コンピュータを、
    入力画像から人物が撮像された前景領域を抽出する前景抽出部と、
    前記前景領域の主軸を算出する第１主軸算出部と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部と
    して機能させ、
    前記頭部算出部は、
    前記前景領域の輪郭と前記主軸との交点のうち撮像対象空間内においてより上側に位置すると判断した交点を始点とし、前記前景領域の輪郭上の画素をたどって前記人物の頭頂点を探索する探索部と、
    前記頭頂点と前記前景領域の重心とを結ぶ中心線上の点を中心とし、前記頭頂点を通る円のうち、円内に含まれる前記前景領域の画素の割合が予め定められた基準割合となる円を、頭部を囲む円として算出する円算出部と
    を有し、前記頭部を囲む円内に含まれる前記前景領域を前記頭部領域として算出する
    頭部検出プログラム。
  22. 前記探索部は、前記始点から開始して前記前景領域の輪郭を前記前景領域の重心から離れる方向にたどっていき、前記重心との距離が極大となる点を前記頭頂点とする請求項２１に記載の頭部検出プログラム。
  23. 前記探索部は、前記頭頂点と前記前景領域の重心とを結ぶ中心線と前記前景領域の主軸との間の角度が予め定められた基準角度以下となることを条件として、前記頭頂点を決定する請求項２１に記載の頭部検出プログラム。
  24. 前記探索部は、前記始点から前記頭頂点までの間の前記輪郭の長さが予め定められた基準値以下となることを条件として、前記頭頂点を決定する請求項２１に記載の頭部検出プログラム。
  25. 前記円算出部は、円内に含まれる前記前景領域の画素の割合が予め定められた基準割合以上となるように算出した前記頭部を囲む円が、前記前景領域の肌色領域を横切ることを条件として、前記肌色領域全体を円内に含むように前記頭部を囲む円をより大きく補正する請求項２１に記載の頭部検出プログラム。
  26. コンピュータを、
    入力画像から人物が撮像された前景領域を抽出する前景抽出部と、
    前記前景領域の主軸を算出する第１主軸算出部と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部と
    として機能させ、
    前記楕円決定部は、前記頭部領域の主軸を算出する第２主軸算出部を有し、前記主軸を長軸とする前記楕円を決定し、
    前記第２主軸算出部は、
    前記頭部領域の重心の周りのモーメントを算出する第２モーメント算出部と、
    前記頭部領域の重心の周りのモーメントに基づいて、前記頭部領域について直交する２つの軸を算出する第２直交軸算出部と、
    直交する２つの軸のうち、前記前景領域の主軸と交差する角度が小さい軸を前記頭部領域の主軸として選択する第２主軸選択部と
    を含む
    頭部検出プログラム。
  27. 前記楕円決定部は、前記頭部領域の主軸と前記頭部領域内の画素との最大距離に応じて前記楕円の短軸の長さを決定する請求項２６に記載の頭部検出プログラム。
  28. コンピュータを、
    入力画像から人物が撮像された前景領域を抽出する前景抽出部と、
    前記前景領域の主軸を算出する第１主軸算出部と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部と
    して機能させ、
    前記楕円決定部は、
    前記頭部領域の主軸を算出する第２主軸算出部と、
    前記頭部領域内の最大の肌色領域を抽出する肌色抽出部と、
    前記頭部領域の主軸と前記肌色領域内の画素との最大距離に応じて前記楕円の短軸の長さを決定する短軸決定部と
    を有し、前記主軸を長軸とする前記楕円を決定する
    頭部検出プログラム。
  29. 前記楕円決定部は、前記短軸長決定部が決定した前記楕円の短軸の長さに予め定められた１を超える値を乗じた値を前記楕円の長軸の長さとする長軸決定部を更に有する請求項２８に記載の頭部検出プログラム。
  30. コンピュータを、
    監視目的で撮像装置により撮像された動画を構成する複数のフレーム画像を複数の入力画像として入力する入力部と、
    複数の人物のそれぞれについて、前記人物の頭部の位置および向きの変化の履歴を記憶する記憶部と、
    前記入力画像から前記人物が撮像された前景領域を抽出する前景抽出部と、
    前記前景領域の主軸を算出する第１主軸算出部と、
    前記前景領域の主軸および前記前景領域の形状に基づいて、前記前景領域の一部として含まれる頭部領域を算出する頭部算出部と、
    前記頭部領域の形状に基づいて、前記入力画像における人物の頭部に当てはめる楕円を決定する楕円決定部と
    前記複数のフレーム画像に応じて決定された前記楕円の変化に基づいて、前記人物の頭部の位置および向きの変化を検出する検出部と、
    一の前記人物の頭部の位置および向きの変化量と、前記記憶部に記憶された他の前記人物の頭部の位置および変化に基づく基準変化量との差が予め定められたしきい値以上大きいことを条件として、当該人物が異常な動作をしていることを検出する異常検出部と
    して機能させる頭部検出プログラム。
  31. 前記検出部は、前記複数のフレーム画像に応じて決定された前記楕円内の肌色領域の面積および分布の少なくとも一方の変化に基づいて、前記人物の頭部の回転量を検出する請求項３０に記載の頭部検出プログラム。
JP2005363851A 2005-12-16 2005-12-16 頭部検出装置、頭部検出方法および頭部検出プログラム Expired - Fee Related JP3962803B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005363851A JP3962803B2 (ja) 2005-12-16 2005-12-16 頭部検出装置、頭部検出方法および頭部検出プログラム
US11/640,473 US7450737B2 (en) 2005-12-16 2006-12-15 Head detecting apparatus, head detecting method, and head detecting program
US12/212,954 US7720285B2 (en) 2005-12-16 2008-09-18 Head detecting apparatus, head detecting method, and head detecting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005363851A JP3962803B2 (ja) 2005-12-16 2005-12-16 頭部検出装置、頭部検出方法および頭部検出プログラム

Publications (2)

Publication Number Publication Date
JP2007164720A JP2007164720A (ja) 2007-06-28
JP3962803B2 true JP3962803B2 (ja) 2007-08-22

Family

ID=38232809

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005363851A Expired - Fee Related JP3962803B2 (ja) 2005-12-16 2005-12-16 頭部検出装置、頭部検出方法および頭部検出プログラム

Country Status (2)

Country Link
US (2) US7450737B2 (ja)
JP (1) JP3962803B2 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US8675059B2 (en) 2010-07-29 2014-03-18 Careview Communications, Inc. System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients
US9311540B2 (en) * 2003-12-12 2016-04-12 Careview Communications, Inc. System and method for predicting patient falls
US20110102643A1 (en) * 2004-02-04 2011-05-05 Tessera Technologies Ireland Limited Partial Face Detector Red-Eye Filter Method and Apparatus
JP2008197722A (ja) * 2007-02-08 2008-08-28 Denso Corp 顔追跡装置
JP5227639B2 (ja) 2008-04-04 2013-07-03 富士フイルム株式会社 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
US9866797B2 (en) 2012-09-28 2018-01-09 Careview Communications, Inc. System and method for monitoring a fall state of a patient while minimizing false alarms
US10645346B2 (en) 2013-01-18 2020-05-05 Careview Communications, Inc. Patient video monitoring systems and methods having detection algorithm recovery from changes in illumination
US9959471B2 (en) 2008-05-06 2018-05-01 Careview Communications, Inc. Patient video monitoring systems and methods for thermal detection of liquids
US9794523B2 (en) 2011-12-19 2017-10-17 Careview Communications, Inc. Electronic patient sitter management system and method for implementing
US9579047B2 (en) 2013-03-15 2017-02-28 Careview Communications, Inc. Systems and methods for dynamically identifying a patient support surface and patient monitoring
US8471899B2 (en) 2008-12-02 2013-06-25 Careview Communications, Inc. System and method for documenting patient procedures
CN102257529B (zh) 2008-12-22 2014-03-19 日本电气株式会社 判断人的设备、方法
EP2339507B1 (en) 2009-12-28 2013-07-17 Softkinetic Software Head detection and localisation method
CN102122343A (zh) * 2010-01-07 2011-07-13 索尼公司 躯干倾斜角度确定及姿势估计方法和装置
JP5675229B2 (ja) 2010-09-02 2015-02-25 キヤノン株式会社 画像処理装置及び画像処理方法
US9251854B2 (en) * 2011-02-18 2016-02-02 Google Inc. Facial detection, recognition and bookmarking in videos
WO2013086137A1 (en) 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
US20130314401A1 (en) 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user for a virtual try-on product
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9437011B2 (en) * 2012-06-11 2016-09-06 Samsung Electronics Co., Ltd. Method and apparatus for estimating a pose of a head for a person
US20140357369A1 (en) * 2013-06-04 2014-12-04 Microsoft Corporation Group inputs via image sensor system
TWI492193B (zh) * 2013-06-14 2015-07-11 Utechzone Co Ltd 觸發訊號的方法及車用電子裝置
KR101501487B1 (ko) * 2013-07-18 2015-03-12 전자부품연구원 깊이 영상 기반 머리 검출방법 및 장치
WO2017037754A1 (en) * 2015-08-28 2017-03-09 Nec Corporation Analysis apparatus, analysis method, and storage medium
CN109313805A (zh) * 2016-06-22 2019-02-05 索尼公司 图像处理装置、图像处理系统、图像处理方法和程序
US11132538B2 (en) 2016-06-22 2021-09-28 Sony Corporation Image processing apparatus, image processing system, and image processing method
FR3057692A1 (fr) * 2016-10-13 2018-04-20 Parrot Drones Procede et systeme electronique de detection d'une cible, programme d'ordinateur associe
WO2018123413A1 (ja) * 2016-12-27 2018-07-05 シャープ株式会社 画像処理装置、画像印刷装置、撮像装置、および画像処理プログラム
CA3074445A1 (en) 2019-03-08 2020-09-08 Waddington North America, Inc. Cup lid with roll and spill limiting rim
CN111723610B (zh) * 2019-03-20 2024-03-08 北京沃东天骏信息技术有限公司 图像识别方法、装置及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400374B2 (en) * 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US6184926B1 (en) * 1996-11-26 2001-02-06 Ncr Corporation System and method for detecting a human face in uncontrolled environments
US6674485B2 (en) * 1998-08-31 2004-01-06 Hitachi Software Engineering Co., Ltd. Apparatus and method for image compositing
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
US7103211B1 (en) * 2001-09-04 2006-09-05 Geometrix, Inc. Method and apparatus for generating 3D face models from one camera
US7310442B2 (en) * 2003-07-02 2007-12-18 Lockheed Martin Corporation Scene analysis surveillance system
JP2005196519A (ja) 2004-01-08 2005-07-21 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
US7450737B2 (en) 2008-11-11
US20070160293A1 (en) 2007-07-12
US20090022398A1 (en) 2009-01-22
US7720285B2 (en) 2010-05-18
JP2007164720A (ja) 2007-06-28

Similar Documents

Publication Publication Date Title
JP3962803B2 (ja) 頭部検出装置、頭部検出方法および頭部検出プログラム
JP4921486B2 (ja) 視覚的に頭と目を追跡するシステムにおける眼鏡の視覚的追跡
EP2400370B1 (en) Information processing device and information processing method
US9275273B2 (en) Method and system for localizing parts of an object in an image for computer vision applications
JP4829141B2 (ja) 視線検出装置及びその方法
KR101588254B1 (ko) 3차원 근거리 상호작용
KR101169533B1 (ko) 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP4625074B2 (ja) サインに基づく人間−機械相互作用
US20220148333A1 (en) Method and system for estimating eye-related geometric parameters of a user
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
KR20080073933A (ko) 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
JP2007004767A (ja) 画像認識装置、方法およびプログラム
MX2013002904A (es) Aparato de proceso de imagenes de personas y metodo para procesar imagenes de personas.
JP2009020761A (ja) 画像処理装置及びその方法
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
JP2001101429A (ja) 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体
CN111709269B (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置
US20210158565A1 (en) Pose selection and animation of characters using video data and training techniques
KR101844367B1 (ko) 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치
Tang et al. Face pose estimation based on integral slice features of single depth images
JP2017227687A (ja) カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体
CN112183215A (zh) 一种结合多特征级联svm与人眼模板的人眼定位方法及系统
Batista Locating facial features using an anthropometric face model for determining the gaze of faces in image sequences
Aleksandrova et al. Approach for Creating a 3D Model of a Face from its 2D Image

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070417

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20070417

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees