JP5227639B2 - オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム - Google Patents

オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム Download PDF

Info

Publication number
JP5227639B2
JP5227639B2 JP2008098601A JP2008098601A JP5227639B2 JP 5227639 B2 JP5227639 B2 JP 5227639B2 JP 2008098601 A JP2008098601 A JP 2008098601A JP 2008098601 A JP2008098601 A JP 2008098601A JP 5227639 B2 JP5227639 B2 JP 5227639B2
Authority
JP
Japan
Prior art keywords
filter
difference image
image
search
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008098601A
Other languages
English (en)
Other versions
JP2009251893A (ja
Inventor
軼 胡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008098601A priority Critical patent/JP5227639B2/ja
Priority to PCT/JP2009/057151 priority patent/WO2009123354A1/en
Priority to US12/921,502 priority patent/US8577151B2/en
Priority to CN2009801115175A priority patent/CN101981582B/zh
Publication of JP2009251893A publication Critical patent/JP2009251893A/ja
Application granted granted Critical
Publication of JP5227639B2 publication Critical patent/JP5227639B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Description

本発明は、それぞれが二次元的に配列された画素で表現された複数フレームからなる連続画像から特定種類のオブジェクトを検出するオブジェクト検出方法およびオブジェクト検出装置、並びに、プログラムを実行する演算装置をオブジェクト検出装置として動作させるオブジェクト検出プログラムに関する。
例えば人物頭部などは、画像上に様々の寸法、多様な形状で写し出される。人間が目で見て判断するときは人物頭部であるか否かは瞬時に容易に判断できるものの、これを装置で自動的に判別させるのはかなり難しい技術である。一方、画像上の人物頭部の検出は、人物検出の重要な前処理かつ基盤技術と考えられている。特に映像監視の場合、様々な環境における人物の検出、人物の追跡、人の流れの計測を自動かつ高精度に行なうために、その前処理である人物頭部の高精度な検出を行なうことのできる技術の実用化のニーズが極めて高い状況にある。
人物頭部検出方法について従来より様々な方法が提案されているが（特許文献１〜４、非特許文献１）、これらの検出方法は、人物頭部を基本的に円や楕円と仮定して、様々な手法で円や楕円を当てはめる方法である。
例えば特許文献１には、連続２フレーム画像から時間差分と空間差分により作成した明度エッジ階層画像群に、Ｈｏｕｇｈ変換投票をかけて楕円を抽出することにより、人物頭部を検出する手法が開示されている。
また、特許文献２には、二つ以上のカメラで撮影された映像からまず空間距離画像を生成し、生成した空間距離画像からラベリング手法で領域を分割してオブジェクトを決め、決めたオブジェクトに円フィッティングすることにより、人物頭部を決定する手法が開示されている。
また、特許文献３には、頭部を判断する際、単なる楕円テンプレートではなく、エッジ画像のエッジ方向に垂直となる接線との接点付近の強度を小さく設定して得られたパターン（楕円の一部）を参照パターンとして比較する手法が開示されている。
さらに、特許文献４には、入力画像から抽出した人物の前景領域におけるモーメントや重心などを計算することにより、前景の一部である頭部領域を推定して、その領域の形状に基づいて、人物の頭部に当てはめる楕円を決定する方法が開示されている。
さらに、非特許文献１には、まずＨｏｕｇｈ変換を用いて半円を見つけ、頭部の候補を探し出し、その候補から、輪郭線上の各点のプロフィール確率を計算することにより、その候補が頭部か否かを判定する手法が開示されている。
これらの手法は、人物頭部を円や楕円と仮定して画像上から円や楕円を探索する手法であるが、基本的に画像全域をサーチしながら円や楕円を探索していくため時間を要し、例えばビデオ映像など、次々に送られてくる多数枚の画像をリアルタイムで分析するには難がある。
また、別の手法として、ビデオ映像等の連続画像を用いて差分の画像を作成することでその連続画像上で移動している人物を捉える手法が提案されている（特許文献５、６参照）。
図１は、背景画像との差分の画像を作成する方法の説明図である。
図１（Ａ）は、連続する多数のフレームからなる動画像を用いて、例えば直前のフレームと今回のフレームなど、異なる２枚のフレームの画像の差分画像を作成し、その差分画像上にあらわれた、その２枚のフレーム画像間での動体（例えば人物）を抽出する手法を示している。
また、図１（Ｂ）は、多数枚のフレーム画像から平均的な背景画像を作成し、その背景画像と今回のフレーム画像との差分画像を作成し、その差分画像上にあらわれた動体を抽出するという手法を示している。
これらの差分画像を作成する手法の場合、差分画像上に人物の輪郭全体がきれいに浮かび上がる訳ではなく差分画像上で人物の部分部分が消えいくつかの小さい部分に分かれてあらわれたり、例えば照明の変化などで人物以外の背景もところどころ差分画像上にあらわれるため、差分画像上にあらわれたいくつかのパターンを結合したり消去したりしながら人物の輪郭を推定するという、分析・まとめの演算が必要となり、この分析・まとめを高精度に行なわないと該検出を招き、高精度に行なおうとする時間を要し、リアルタイム分析には難がある。
特開２００４−２９５７７６号公報 特開２００５−９２４５１号公報 特開２００５−２５５６８号公報 特開２００７−１６４７２０号公報 特開２００７−３２３５７２号公報 特開２００６−３１８３４１号公報 Ｊａｃｋｙ Ｓ．Ｃ．Ｙｕｋ, Ｋｗａｎ−Ｙｅｅ Ｋ．Ｗｏｎｇ， Ｒｏｎａｌｄ Ｈ．Ｙ．Ｃｈｕｎｇ， Ｆ．Ｙ．Ｌ Ｃｈｉｎ， Ｋ．Ｐ．Ｃｈｏｗ，Ｒｅａｌ−ｔｉｍｅ ｍｕｌｔｉｐｌｅ ｈｅａｄ ｓｈａｐｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｓｙｓｔｅｍ ｗｉｔｈ ｄｅｃｅｎｔｒａｌｉｚｅｄ ｔｒａｃｋｅｒｓ， ＩＳＤＡ，２００６
本発明は、上記事情に鑑み、画像上にあらわれる検出対象のオブジェクトを高速に検出することができるオブジェクト検出方法およびオブジェクト検出装置、並びに、プログラムを実行する演算装置を、オブジェクトを高速に検出するオブジェクト検出装置として動作させるオブジェクト検出プログラムを提供することを目的とする。
上記目的を達成する本発明のオブジェクト検出方法は、それぞれが二次元的に配列された画素で表現された複数フレームからなる連続画像から特定種類のオブジェクトを検出するオブジェクト検出方法であって、
連続画像を構成する複数フレームの中の互いに異なる第１フレームと第２フレームとの間の差分画像を作成する差分画像作成ステップと、
上記第１フレームおよび上記第２フレームそれぞれについて各画素の周囲に二次元的に所定の広さに広がる平均化領域内の複数の画素の値の平均的な値を各画素の新たな値としたときの、第１フレームと第２フレームとの間の互いに対応する画素の新たな値どうしの差分値を算出しその差分値と閾値とを比較することにより、上記差分画像上の、上記特定種類のオブジェクトの存在を探索する探索画素を抽出する探索画素抽出ステップと、
画像上の、上記平均化領域と同一の面積および同一の形状に広がる探索領域に作用して、特定種類のオブジェクトがその探索領域に存在する確率を表わす評価値を求めるフィルタを、差分画像作成ステップで作成された差分画像上の、探索画素抽出ステップで抽出された探索画素を含む探索領域に作用させて、そのフィルタに評価値を求めさせ、その評価値と閾値とを比較することにより差分画像上の、特定種類のオブジェクトが存在する領域を抽出するオブジェクト検出ステップとを有することを特徴とする。
本発明のオブジェクト検出方法は、前掲の特許文献５と同様、２つのフレーム間の差分画像を用いるものであるが、その差分画像とは別に、特定種類のオブジェクト検出用のフィルタが作用する探索領域と同じ広さの平均化領域を用いて各画素の新たな値の差分値を算出して差分画像上の探索領域を決定しているため、画像上の全域をサーチする場合と比べ狭い領域のみサーチの対象とすることができ高速検出が可能となる。
ここで、本発明のオブジェクト検出方法において、上記差分画像作成ステップが、上記第１フレームと上記第２フレームとの間の差分画像を作成するとともに、それら第１フレームおよび第２フレームそれぞれについて各フレームを構成する画素が所定比率で間引かれてなる、又は所定比率で段階的に間引かれてなる、互いに対応する広さの第１間引フレームと第２間引フレームとの間の１枚以上の差分画像を作成することにより、同一シーンであって解像度が異なる複数の差分画像からなる差分画像群を作成するステップであり、
上記オブジェクト検出ステップが、
差分画像作成ステップにより作成された差分画像群のうちの相対的に小さい第１の差分画像に、画像上の二次元的に広がる探索領域に作用しその探索領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成するフィルタであって、画像上の領域の広さに対応する画素数が上記所定比率で異なる、又はその所定比率で段階的に異なる、複数の広さの探索領域にそれぞれ作用する複数のフィルタからなるフィルタ群のうちの相対的に狭い探索領域に作用する第１のフィルタを作用させて、所定の第１の閾値を越える評価値が得られる一次候補領域を抽出する第１の抽出過程と、
差分画像作成ステップにより作成された差分画像群のうちの前記第１の差分画像よりも画素数が一段階多い第２の差分画像の、上記一次候補領域に相当する領域に、上記フィルタ群のうちの上記第１のフィルタよりも一段階広い探索領域に作用する第２のフィルタを作用させて所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい差分画像に相対的に狭い探索領域に作用するフィルタを作用させる抽出過程から相対的に大きい差分画像に相対的に広い探索領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、上記差分画像中から特定種類のオブジェクトを検出するステップであり、
上記探索画素抽出ステップが、上記平均化領域として、上記フィルタ群のうちの最大の探索領域に作用する最大領域フィルタが作用する、その最大の探索領域と比べ同一面積および同一形状に広がる平均化領域を採用して、差分画像作成ステップで作成された差分画像群を構成する複数の差分画像のうちの、オブジェクト検出ステップにおいて上記の最大領域フィルタを作用させる差分画像から、探索画素を抽出するステップであり、
上記オブジェクト検出ステップが、上記第１過程において、上記第１のフィルタを、上記第１の差分画像上の、探索画素抽出ステップで抽出された探索画素に対応する画素を含む、その第１のフィルタが作用する広さの探索領域に作用させることにより、その探索領域の中から上記一次候補領域を抽出するステップであることが好ましい。
このように、段階的に異なる複数の広さの探索領域に作用してオブジェクト検出を行なう複数のフィルタを用意しておき、一方、検出対象の差分画像についても、間引きにより複数の寸法の差分画像からなる差分画像群を作成し、差分画像にフィルタを作用させて領域を抽出する過程を、相対的に小さい差分画像に相対的に狭い探索領域に作用するフィルタを作用させる過程から相対的に大きい差分画像に相対的に広い探索領域に作用するフィルタを作用させる過程へと順次に進み、かつ、後の過程では直前の過程で抽出された抽出領域のみにフィルタを作用させるようにしたため、高速処理が可能となる。
また、ここでは、上記第１過程において上記の第１の差分画像全域について第１のフィルタをサーチさせるのではなく、上記の最大領域フィルタを作用させる差分画像上から探索画素を抽出して第１の差分画像上のサーチ範囲を絞り込んでいるため、さらなる高速化が可能となっている。
また、本発明のオブジェクト検出方法において、上記差分画像作成ステップが、上記差分画像群の生成に加え、さらに、補間演算により求められた、その差分画像群を構成する最大面積の差分画像の画素数よりも少なく、かつその最大面積の差分画像を前記所定比率で間引いて得られた間引差分画像の画素数よりも多い画素数の範囲内の１つの補間差分画像、又は該範囲内で画素数が互いに異なる複数の補間差分画像と、当該補間差分画像それぞれについて、当該補間差分画像を構成する画素を上記所定比率で間引くことにより形成された、又はその所定比率で段階的に間引くことにより形成された、一枚以上の間引差分画像とからなる新たな１つ以上の差分画像群を生成するステップであり、
上記段階的検出ステップは、差分画像作成ステップで作成された複数の差分画像群それぞれに関し、上記抽出過程を、相対的に小さい画像に相対的に狭い探索領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い探索領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、特定種類のオブジェクトを検出するステップであることが好ましい。
このように、寸法が異なる複数の画像群を作成してオブジェクトの検出に用いると、多様な寸法のオブジェクトを検出することができる。
さらに、本発明のオブジェクト検出方法において、１つの広さの探索領域につき複数種類の、それぞれが、特定種類のオブジェクトの輪郭および内部のうちのいずれかの特徴量を算出するフィルタを用意するとともに、各フィルタにより算出される特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係とを用意しておき、
上記オブジェクト検出ステップは、１つの探索領域に、その探索領域の広さに応じた複数種類のフィルタを作用させて複数の特徴量を算出し、各特徴量に対応する各一次評価値を求め、複数の一次評価値を総合した二次評価値と閾値とを比較することにより、その探索領域が特定種類のオブジェクトが存在する候補領域であるか否かを判定するステップであることが好ましい。
このように、オブジェクトの輪郭や内部の様々な特徴を表わす特徴量を抽出する複数のフィルタを組み合わせることにより、例えば従来のように輪郭の形状のみに着目した演算と比べ高精度の抽出が可能となる。
また、上記オブジェクト検出ステップで複数の領域が検出された場合におけるそれらの複数の領域を、それらの複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合ステップをさらに有することが好ましい。
例えば人物頭部を検出対象とする場合において、画像上の人物の顔をほぼ中心に含む第１の領域と、同じ画像上の同じ人物の、髪を含んだ頭部をほぼ中心に含む、上記の第１の領域と比べると一部が重なり一部が外れた第２の領域との双方が人物頭部の領域として抽出されることがある。このようなことが予想されるオブジェクトを検出対象とする場合には、領域統合ステップを実行し、複数の領域の重なりの程度に応じて１つの領域に統合することが好ましい。
ここで、本発明のオブジェクト検出方法は、上記フィルタ群が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなり、画像内にあらわれる人間の頭部を検出対象とするオブジェクト検出方法であってもよい。
本発明のオブジェクト検出方法は、人物頭部を検出対象する場合に好適である。ただし、本発明のオブジェクト検出方法は、人物頭部の検出にのみ好適なものではなく、人物の顔の検出、屋外での野鳥視察用の野鳥の検出など、特定種類のオブジェクトを検出する様々な分野に適用することができるものである。
また、上記目的を達成する本発明のオブジェクト検出装置は、それぞれが二次元的に配列された画素で表現された複数フレームからなる連続画像から特定種類のオブジェクトを検出するオブジェクト検出装置であって、
連続画像を構成する複数フレームの中の互いに異なる第１フレームと第２フレームとの間の差分画像を作成する差分画像作成部と、
上記第１フレームおよび上記第２フレームそれぞれについて各画素の周囲に二次元的に所定の広さに広がる平均化領域内の複数の画素の値の平均的な値を各画素の新たな値としたときの、第１フレームと第２フレームとの間の互いに対応する画素の新たな値どうしの差分値を算出しその差分値と閾値とを比較することにより、上記差分画像上の、特定種類のオブジェクトの存在を探索する探索画素を抽出する探索画素抽出部と、
画像上の、上記平均化領域と同一の面積および同一の形状に広がる探索領域に作用して、特定種類のオブジェクトがその探索領域に存在する確率を表わす評価値を求めるフィルタを記憶しておくフィルタ記憶部と、
フィルタ記憶部に記憶されたフィルタを、差分画像作成部で作成された差分画像上の、探索画素抽出部で抽出された探索画素の周囲に広がる探索領域に作用させて、そのフィルタに評価値を求めさせ、その評価値と閾値とを比較することにより差分画像上の、特定種類のオブジェクトが存在する領域を抽出するオブジェクト検出部とを備えたことを特徴とする。
ここで、本発明のオブジェクト検出装置において、上記差分画像作成部が、上記第１フレームと上記第２フレームとの間の差分画像を作成するとともに、それら第１フレームおよび第２フレームそれぞれについて各フレームを構成する画素が所定比率で間引かれてなる、又は所定比率で段階的に間引かれてなる、互いに対応する広さの第１間引フレームと第２間引フレームとの間の１枚以上の差分画像を作成することにより、同一シーンであって解像度が異なる複数の差分画像からなる差分画像群を作成するものであり、
上記フィルタ記憶部が、画像上の二次元的に広がる探索領域に作用しその探索領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成するフィルタであって、画像上の領域の広さに対応する画素数が上記所定比率で異なる、又はその所定比率で段階的に異なる、複数の広さの探索領域にそれぞれ作用する複数のフィルタからなるフィルタ群を記憶しておくものであり、
上記オブジェクト検出部が、
差分画像作成部により作成された差分画像群のうちの相対的に小さい第１の差分画像に、フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い探索領域に作用する第１のフィルタを作用させて、所定の第１の閾値を越える評価値が得られる一次候補領域を抽出する第１の抽出過程と、
差分画像作成部により作成された差分画像群のうちの前記第１の差分画像よりも画素数が一段階多い第２の差分画像の、上記一次候補領域に相当する領域に、上記フィルタ群のうちの上記第１のフィルタよりも一段階広い探索領域に作用する第２のフィルタを作用させて所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい差分画像に相対的に狭い探索領域に作用するフィルタを作用させる抽出過程から相対的に大きい差分画像に相対的に広い探索領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、上記差分画像中から特定種類のオブジェクトを検出するものであり、
上記探索画素抽出部が、上記平均化領域として、上記フィルタ群のうちの最大の探索領域に作用する最大領域フィルタが作用する、その最大の探索領域と比べ同一面積および同一形状に広がる平均化領域を採用して、差分画像作成部で作成された差分画像群を構成する複数の差分画像のうちの、オブジェクト検出部において上記の最大領域フィルタを作用させる差分画像から、探索画素を抽出するものであり、
上記オブジェクト検出部が、上記第１過程において、上記第１のフィルタを、上記第１の差分画像上の、探索画素抽出部で抽出された探索画素に対応する画素を含む、その第１のフィルタが作用する広さの探索領域に作用させることにより、その探索領域の中から上記一次候補領域を抽出するものであることが好ましい。
また、本発明のオブジェクト検出装置において、上記差分画像作成部が、上記差分画像群の生成に加え、さらに、補間演算により求められた、その差分画像群を構成する最大面積の差分画像の画素数よりも少なく、かつその最大面積の差分画像を前記所定比率で間引いて得られた間引差分画像の画素数よりも多い画素数の範囲内の１つの補間差分画像、又は該範囲内で画素数が互いに異なる複数の補間差分画像と、当該補間差分画像それぞれについて、当該補間差分画像を構成する画素を上記所定比率で間引くことにより形成された、又はその所定比率で段階的に間引くことにより形成された、一枚以上の間引差分画像とからなる新たな１つ以上の差分画像群を生成するものであり、
上記段階的検出部は、差分画像作成部で作成された複数の差分画像群それぞれに関し、上記抽出過程を、相対的に小さい画像に相対的に狭い探索領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い探索領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、特定種類のオブジェクトを検出するものであることが好ましい。
さらに、本発明のオブジェクト検出装置において、上記フィルタ記憶部が、１つの広さの探索領域につき複数種類の、それぞれが、特定種類のオブジェクトの輪郭および内部のうちのいずれかの特徴量を算出するフィルタを記憶するとともに、各フィルタにより算出される特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係を記憶するものであり、
上記オブジェクト検出部は、１つの探索領域に、その探索領域の広さに応じた複数種類のフィルタを作用させて複数の特徴量を算出し、各特徴量に対応する各一次評価値を求め、複数の一次評価値を総合した二次評価値と閾値とを比較することにより、その探索領域が特定種類のオブジェクトが存在する候補領域であるか否かを判定するものであることが好ましい。
さらに、本発明のオブジェクト検出装置において、上記オブジェクト検出部で複数の領域が検出された場合におけるそれらの複数の領域を、それらの複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに備えることが好ましい。
ここで、上記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、本発明のオブジェクト検出装置は、画像内にあらわれる人間の頭部を検出対象とするものであることが好ましい。
また、上記目的を達成する本発明のオブジェクト検出プログラムは、プログラムを実行する演算装置内で実行され、その演算装置を、それぞれが二次元的に配列された画素で表現された複数フレームからなる連続画像から特定種類のオブジェクトを検出するオブジェクト検出装置として動作させるオブジェクト検出プログラムであって、
前記演算装置を、
連続画像を構成する複数フレームの中の互いに異なる第１フレームと第２フレームとの間の差分画像を作成する差分画像作成部と、
上記第１フレームおよび上記第２フレームそれぞれについて各画素の周囲に二次元的に所定の広さに広がる平均化領域内の複数の画素の値の平均的な値を各画素の新たな値としたときの、第１フレームと第２フレームとの間の互いに対応する画素の新たな値どうしの差分値を算出しその差分値と閾値とを比較することにより、上記差分画像上の、特定種類のオブジェクトの存在を探索する探索画素を抽出する探索画素抽出部と、
画像上の、上記平均化領域と同一の面積および同一の形状に広がる探索領域に作用して、特定種類のオブジェクトがその探索領域に存在する確率を表わす評価値を求めるフィルタを記憶しておくフィルタ記憶部と、
フィルタ記憶部に記憶されたフィルタを、差分画像作成部で作成された差分画像上の、探索画素抽出部で抽出された探索画素の周囲に広がる探索領域に作用させて、そのフィルタに評価値を求めさせ、その評価値と閾値とを比較することにより前記差分画像上の、特定種類のオブジェクトが存在する領域を抽出するオブジェクト検出部とを有するオブジェクト検出装置として動作させることを特徴とする。
ここで、本発明のオブジェクト検出プログラムにおいて、上記差分画像作成部が、上記第１フレームと上記第２フレームとの間の差分画像を作成するとともに、それら第１フレームおよび第２フレームそれぞれについて各フレームを構成する画素が所定比率で間引かれてなる、又は所定比率で段階的に間引かれてなる、互いに対応する広さの第１間引フレームと第２間引フレームとの間の１枚以上の差分画像を作成することにより、同一シーンであって解像度が異なる複数の差分画像からなる差分画像群を作成するものであり、
上記フィルタ記憶部が、画像上の二次元的に広がる探索領域に作用しその探索領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成するフィルタであって、画像上の領域の広さに対応する画素数が上記所定比率で異なる、又はその所定比率で段階的に異なる、複数の広さの探索領域にそれぞれ作用する複数のフィルタからなるフィルタ群を記憶しておくものであり、
上記オブジェクト検出部が、差分画像作成部により作成された差分画像群のうちの相対的に小さい第１の差分画像に、フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い探索領域に作用する第１のフィルタを作用させて、所定の第１の閾値を越える評価値が得られる一次候補領域を抽出する第１の抽出過程と、
差分画像作成部により作成された差分画像群のうちの前記第１の差分画像よりも画素数が一段階多い第２の差分画像の、上記一次候補領域に相当する領域に、上記フィルタ群のうちの上記第１のフィルタよりも一段階広い探索領域に作用する第２のフィルタを作用させて所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい差分画像に相対的に狭い探索領域に作用するフィルタを作用させる抽出過程から相対的に大きい差分画像に相対的に広い探索領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、上記差分画像中から特定種類のオブジェクトを検出するものであり、
上記探索画素抽出部が、上記平均化領域として、上記フィルタ群のうちの最大の探索領域に作用する最大領域フィルタが作用する、その最大の探索領域と比べ同一面積および同一形状に広がる平均化領域を採用して、差分画像作成部で作成された差分画像群を構成する複数の差分画像のうちの、オブジェクト検出部において上記最大領域フィルタを作用させる差分画像から、探索画素を抽出するものであり、
上記オブジェクト検出部が、上記第１過程において、上記第１のフィルタを、上記第１の差分画像上の、探索画素抽出部で抽出された探索画素に対応する画素を含む、その第１のフィルタが作用する広さの探索領域に作用させることにより、その探索領域の中から上記一次候補領域を抽出するものであることが好ましい。
また、本発明のオブジェクト検出プログラムにおいて、上記差分画像作成部が、上記差分画像群の生成に加え、さらに、補間演算により求められた、その差分画像群を構成する最大面積の差分画像の画素数よりも少なく、かつその最大面積の差分画像を前記所定比率で間引いて得られた間引差分画像の画素数よりも多い画素数の範囲内の１つの補間差分画像、又は該範囲内で画素数が互いに異なる複数の補間差分画像と、当該補間差分画像それぞれについて、当該補間差分画像を構成する画素を上記所定比率で間引くことにより形成された、又はその所定比率で段階的に間引くことにより形成された、当該補間差分画像と当該補間差分画像の画素が間引かれてなる一枚以上の間引差分画像とからなる新たな１つ以上の差分画像群を生成するものであり、
上記段階的検出部は、差分画像作成部で作成された複数の差分画像群それぞれに関し、上記抽出過程を、相対的に小さい画像に相対的に狭い探索領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い探索領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、特定種類のオブジェクトを検出するものであることが好ましい。
さらに、本発明のオブジェクト検出プログラムにおいて、上記フィルタ記憶部が、１つの広さの探索領域につき複数種類の、それぞれが、特定種類のオブジェクトの輪郭および内部のうちのいずれかの特徴量を算出するフィルタを記憶するとともに、各フィルタにより算出される特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係を記憶するものであり、
上記オブジェクト検出部は、１つの探索領域に、その探索領域の広さに応じた複数種類のフィルタを作用させて複数の特徴量を算出し、各特徴量に対応する各一次評価値を求め、複数の一次評価値を総合した二次評価値と閾値とを比較することにより、その探索領域が特定種類のオブジェクトが存在する候補領域であるか否かを判定するものであることが好ましい。
さらに、本発明のオブジェクト検出プログラムは、上記演算装置を、上記オブジェクト検出部で複数の領域が検出された場合におけるそれら複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに有するオブジェクト検出装置として動作させるプログラムであることが好ましい。
ここで、本発明のオブジェクト検出プログラムにおいて、上記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、このオブジェクトプログラムは、上記演算装置を、画像内にあらわれる人間の頭部を検出対象とするオブジェクト検出装置として動作させるプログラムであることが好ましい。
以上の本発明によれば、差分画像上の特定種類のオブジェクトを検出するためのサーチ領域が絞り込まれ、そのオブジェクトを高速に検出することができる。
以下、図面を参照して本発明の実施の形態を説明する。
図２は、本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。
図２に示す監視カメラシステム１の概略構成図には、監視カメラ１０と、インターネット２０と、本発明にいうオブジェクト検出装置の一実施形態である頭部検出装置として動作するパーソナルコンピュータ３０とが示されている。
監視カメラ１０は、例えば銀行に設置されたものであって、店内の様子を撮影するものである。この監視カメラ１０は、インターネット２０に接続されており、ネットワーク通信を介して、動画像を表す画像データをパーソナルコンピュータ３０に向けて送信する。尚、以下では、データ上の画像も単に「画像」と称する。
パーソナルコンピュータ３０は、インターネット２０に接続されており、ネットワーク通信を介して、監視カメラ１０から送信される動画像を受け取る。また、このパーソナルコンピュータ３０は、監視カメラ１０で撮影された動画像を一括管理するものである。
監視カメラ１０は本発明の主題ではないため詳細な説明を省略し、以下では、本発明の一実施形態の頭部検出装置として動作するパーソナルコンピュータ３０についてさらに説明する。
図３は、図２に１つのブロックで示すパーソナルコンピュータ３０の外観斜視図、図４は、そのパーソナルコンピュータ３０のハードウエア構成図である。
ここでは、このパーソナルコンピュータ３０のハードウエアおよびＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と、このパーソナルコンピュータ３０にインストールされて実行される頭部検出プログラムとにより、本発明の一実施形態としての頭部検出装置が構成されている。
このパーソナルコンピュータ３０は、外観構成上、本体装置３１、その本体装置３１からの指示に応じて表示画面３２ａ上に画像を表示する画像表示装置３２、本体装置３１に、キー操作に応じた各種の情報を入力するキーボード３３、および、表示画面３２ａ上の任意の位置を指定することにより、その指定時にその位置に表示されていた、例えばアイコン等に応じた指示を入力するマウス３４を備えている。この本体装置３１は、外観上、光磁気ディスク（ＭＯ）を装填するためのＭＯ装填口３１ａ、およびＣＤやＤＶＤを装填するためのＣＤ／ＤＶＤ装填口３１ｂを有する。
本体装置３１の内部には、図４に示すように、各種プログラムを実行するＣＰＵ３０１、ハードディスク装置３０３に格納されたプログラムが読み出されＣＰＵ３０１での実行のために展開される主メモリ３０２、各種プログラムやデータ等が保存されたハードディスク装置３０３、ＭＯ３３１が装填されてその装填されたＭＯ３３１をアクセスするＭＯドライブ３０４、ＣＤやＤＶＤ（ここでは区別せずにＣＤ／ＤＶＤと称する）が装填され、その装填されたＣＤ／ＤＶＤ３３２をアクセスするＣＤ／ＤＶＤドライブ３０５、および図２に示すインターネット２０に接続され監視カメラ１０での撮影により得られた画像データを受信するインターフェース３０６が内蔵されている。これらの各種要素と、さらに図３にも示す画像表示装置３２、キーボード３３、およびマウス３４は、バス３０７を介して相互に接続されている。
ここで、ＣＤ／ＤＶＤ３３２には、このパーソナルコンピュータを頭部検出装置として動作させるための頭部検出プログラムが記憶されており、そのＣＤ／ＤＶＤ３３２は、ＣＤ／ＤＶＤドライブ３０５に装填され、そのＣＤ／ＤＶＤ３３２に記憶された頭部検出プログラムがこのパーソナルコンピュータ３０にアップロードされてハードディスク３０３に格納される。このハードディスク装置３０３に格納された頭部検出プログラムは、このハードディスク装置３０３から読み出され主メモリ３０２上に展開されてＣＰＵ３０１で実行されることにより、このパーソナルコンピュータ３０が頭部検出装置として動作する。
また、ハードディスク装置３０３には、頭部検出プログラムの他にも、画像表示装置３２の表示画面３２ａの上に画像を表示し、オペレータの操作に応じて、その画像を縦横独立に変倍したり回転したり一部を切り出したりなど、その画像に様々な画像処理を施すための画像処理プログラムや、後述するような機械学習を行なってフィルタを抽出するためプログラムなど、図４に示す学習ステップＳ１０を実現するための各種の支援プログラムも格納されている。
図５は、図２〜図４に示すパーソナルコンピュータ３０を利用して実施される頭部検出方法の一例を示すフローチャートである。
この図５に示す頭部検出方法は、学習ステップＳ１０と、この学習ステップＳ１０を除いた他のステップＳ２１〜Ｓ２４の集合からなる検出ステップＳ２０とを有する。学習ステップＳ１０は検出ステップＳ２０のための準備のステップであり、ここでは、厖大な数の画像を使っての機械学習（例えばＡｂａ Ｂｏｏｓｔｉｎｇのアルゴリズムを用いた学習）を行なって、検出ステップＳ２０での頭部検出対象の原画像に作用させる各種のフィルタを抽出するための処理が行なわれる。詳細は後述する。
また、検出ステップＳ２０は、学習ステップＳ１０で抽出された各種のフィルタを使って、検出対象の原画像から人物頭部を自動検出するステップであり、差分画像作成ステップＳ２１、探索画素抽出ステップＳ２２、頭部検出ステップＳ２３、および領域統合ステップＳ２４から構成され、差分画像作成ステップＳ２１は、さらに、画像群生成ステップＳ２１１、輝度補正ステップＳ２１２、および差分演算ステップ２１３から構成され、頭部検出ステップＳ２３は、さらに、一次評価値算出ステップＳ２３１、二次評価値算出ステップＳ２３２、領域抽出ステップＳ２３３と、それらの各ステップＳ２３１，Ｓ２３２，Ｓ２３３の繰り返しが終了したか否かを判定する判定ステップＳ２３４とから構成されている。検出ステップＳ２０を構成する各ステップについての詳細説明も後に譲る。
図６は、頭部検出装置の一例を示すブロック図である。この頭部検出装置１００は、図２〜図４に示すパーソナルコンピュータ３０内にアップロードされた頭部検出プログラムがパーソナルコンピュータ３０内で実行されることによりそのパーソナルコンピュータ３０内に実現されるアルゴリズムであり、差分画像作成部１１０、探索画素抽出部１２０、頭部検出部１３０、領域統合部１４０、フィルタ記憶部１５０、および領域抽出演算制御部１６０を有する。このうちの差分画像作成部１１０は、画像群生成部１１１、輝度補正部１１２、および差分演算部１１３から構成され、頭部検出部１３０は、一次評価値算出部１３１、二次評価値算出部１３２、および領域抽出部１３３から構成されている。
図５に示す頭部検出方法との対比では、図６の頭部検出装置１００の全体が図５の頭部検出方法における検出ステップＳ２０に相当し、差分画像作成部１１０が差分画像作成ステップＳ２１に相当し、探索画素抽出部１２０が探索画素抽出Ｓ２２に相当し、頭部検出部１３０と領域抽出演算制御部１６０とを合わせた構成が頭部検出ステップＳ２３に相当し、領域統合部１４０が領域統合ステップＳ２４に相当する。また、フィルタ記憶部１５０は、学習ステップＳ１０で抽出された各種のフィルタ（後述する）を格納しておく、図５にも示す記憶部１５０である。
また、差分画像作成部１１０を構成する画像群生成部１１１、輝度補正部１１２、および差分演算部１１３は、それぞれ、図５に示す頭部検出ステップＳ２０のうちの画像群生成ステップＳ２１１、輝度補正ステップＳ２１２、および差分演算ステップＳ２１３に相当する。
さらに、また、頭部検出部１３０を構成する一次評価値算出部１３１、二次評価値算出部１３２、および領域抽出部１３３は、それぞれ図５に示す頭部検出ステップＳ２０のうちの頭部検出ステップＳ２３を構成する一次評価値算出ステップＳ２３１、二次評価値算出ステップＳ２３２、および領域抽出ステップＳ２３３に相当し、領域抽出演算制御部１６０は、頭部検出ステップＳ２３を構成する判定ステップＳ２３４に相当する。
尚、パーソナルコンピュータ３０内で頭部検出プログラムが実行されたときの頭部検出プログラムの作用は、図６に示す頭部検出装置の作用と同一であり、ここでは、頭部検出プログラムを取り上げての図示および説明は省略する。
以下では、図６に示す頭部検出装置１００の各部の作用について概括的に説明する。この説明により頭部検出プログラムおよび図５に示す頭部検出方法の検出ステップＳ２０を構成する各ステップの説明を兼ねるものとする。その後、図５に示す頭部検出方法の学習ステップＳ１０の具体的な詳細説明、および頭部検出装置の具体的な詳細説明を行なう。
図６に示す頭部検出装置１００は、それぞれが二次元的に配列された画素で表現された複数フレームからなる連続画像から特定種類のオブジェクトを検出するオブジェクト検出装置である。
フィルタ記憶部１５０には、図５に示す頭部検出方法の学習ステップＳ１０で抽出された多数のフィルタが格納されている。これらのフィルタは、画像上の二次元的に広がる所定の広さの探索領域に作用し人物頭部の輪郭および内部のうちの互いに異なるいずれかの特徴量を算出するフィルタであり、これらのフィルタは、それらのフィルタそれぞれにより算出される各特徴量と人物頭部である確率を表わす一次評価値との対応関係に対応づけられてフィルタ記憶部１５０に格納されている。さらにこれらのフィルタは、画像上の領域の広さに対応する画素数が縦横それぞれ１／２の比率で段階的に異なる、複数（ここでは画素数で３２×３２、１６×１６、および８×８）の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタから構成されている。
差分画像作成部１１０を構成する画像群生成部１１１では、入力されてきた原画像を構成する画素が縦横それぞれ１／２の比率で段階的に間引かれ、原画像と何枚かの間引画像とからなる画像群が生成される。さらに、この画像群生成部１１１では、１／２の比率で原画像を間引いて生成した画像群のほか、さらに、その原画像に補間演算を施すことにより、その原画像を含む画像群を構成する、その原画像を縦横１／２の比率で間引いて得られた間引画像（画素数は原画像の１／４（縦横それぞれ１／２））の画素数よりも多く、かつ原画像の画素数よりも少ない画素数の範囲内の補間画像が生成され、生成された補間画像について、その補間画像を構成する画素を上記の縦横１／２の比率で段階的に間引くことにより、その補間画像とその補間画像の画素を間引いて得られた間引画像とからなる新たな画像群が生成される。
また、輝度補正部１１２は、画像上の１つの画素を注目画素としたとき、その注目画素を含むある領域内に存在する複数の画素の画素値（輝度値）の平均値と分散を用いてその注目画素の画素値（輝度値）を補正する輝度補正処理を、画像上の各画素をそれぞれ注目画素として画像全体に亘って行なうものである。この輝度補正処理は、画像群生成部１１１から受け取った画像群を構成する各画像それぞれについて行なわれる。
この輝度補正部１１２における輝度補正処理は、画素によって輝度が大きくばらつく画像を頭部検出対象の画像とする場合に、頭部検出精度の向上に役立つものであり、本実施形態はこの輝度補正部１１２を備えているが、本発明では必ずしも必要な処理ではない。
また差分演算部１１３は、図１に示す監視カメラ１０からの動画像が画像群生成部１１１による画像群生成処理および輝度補正部１１２による輝度補正処理を経た後に入力され、隣接するフレームの差分画像を作成して、その差分画像を、探索画素抽出部１２０および頭部検出部１３０に渡す役割りを担っている。本実施形態には、画像群生成部１１１が備えられており、この画像群生成部では隣接フレームそれぞれについて画像群が生成され、差分演算部１１３においても２つのフレームについての２つの画像群を構成する、互いに対応する広さの画像について差分画像が作成され、したがってこの差分演算部１１３では差分画像の画像群が作成される。
ここで、本実施形態においては、頭部検出部１３０には、輝度補正部１１２で輝度補正された画像が差分演算部１１３に入力され、その差分演算部１１３で作成された差分画像が入力されるとともに、輝度補正部１１２で輝度補正された後の画像が直接にも入力される。これは、頭部検出対象の画像として、差分画像を利用することによって人物頭部の動きの情報を利用するとともに、１枚１枚の静止画像を利用することによって、より高精度な頭部検出を行なうためである。
探索画素抽出部１２０では、詳細は後述するが、差分演算部１１３で作成された差分画像群を構成する複数の差分画像のうちの、頭部検出部１３０において、フィルタ記憶部１５０に記憶された段階的に異なる複数の広さの探索領域のうちの最大の探索領域に作用する最大領域フィルタを作用させる差分画像について、その画素の周囲に二次元的に広がる、上記の最大探索領域と同一面積および同一形状の平均化領域内の複数の画素の値の平均値をその画素の値とする平均化処理を行ない、その平均化処理により求められた平均化差分画像の画素の値と閾値とを比較して、値の大きい探索画素を抽出する処理が行なわれる。
すなわち、この探索画像抽出部１２０では差分画像のうちの面積の大きい方の差分画像（最大面積の差分画像のみとは限らず、最大面積側の複数の差分画像の場合もある）について上記の最大探索領域と同じ広さの平均化領域の平均値をその平均化領域の中心に存在する画素の値とする平均化処理を行ない、閾値以上の新たな画素値が得られた画素のみ、オブジェクト検出部１３０における頭部検出の対象とするものであり、これにより、検出対象の画像上のフィルタによるサーチ範囲が絞り込まれ、高速な検出処理が可能となる。
尚、ここでは、差分演算部１１３で作成された差分画像を対象に平均化処理が行なわれているが、差分演算部１１３における差分画像作成前の２つのフレーム画像それぞれについて上記の平均化処理を行ない、探索画素抽出用として平均化処理後の２つのフレーム画像の差分演算により平均化差分画像を作成して、その平均化差分画像から探索画像を抽出してもよい。
頭部検出部１３０では、先ず一次評価値算出部１３１により、頭部検出対象の画像上の各領域に複数のフィルタを作用させて複数の特徴量を算出し各フィルタに対応づけられている上述の対応関係（フィルタにより算出される特徴量と人物頭部である確率を表わす一次評価値との対応関係）に基づいて、各特徴量に対応する各一次評価値が求められる。次に、二次評価値算出部１３２により、一次評価値算出部１３１で求められた、複数のフィルタに対応する複数の一次評価値を、例えば加算、平均値算出等の演算を用いて総合することにより、その領域に人物頭部が存在する確率を表わす二次評価値が求められる。次いで領域抽出部１３３では、二次評価値算出部１３２で求められた二次評価値と閾値とが比較され、閾値を越えて人物頭部が存在する確率が高い領域が抽出される。図６に示す頭部検出装置１００では、領域抽出部１３３で領域が抽出されることをもって、人物頭部が検出されることになる。
この頭部検出部１３０では、領域抽出演算制御部１６０のシーケンス制御を受けて、一次評価値算出部１３１、二次評価値算出部１３２、および領域抽出部１３３が繰り返し動作し、最終的に極めて高い確率で人物頭部が写し出された領域が抽出される。領域抽出演算制御部１６０は、頭部検出部１３０を構成する一次評価値算出部１３１、二次評価値算出部１３２、および領域抽出部１３３の動作を以下のように制御する。
領域抽出演算制御部１６０は、先ず、一次評価値算出部１３１に、画像群生成部１１１により生成された画像群（差分演算部１１３により生成された差分画像群を含む）のうちの相対的に小さい第１の画像上の、探索画素抽出部１２０で抽出された探索画素に対応する画素を中心とする探索領域に、フィルタ記憶部１５０に記憶された多数のフィルタのうちの相対的に狭い探索領域に作用する複数の第１のフィルタを作用させて、複数の特徴量を算出させ、前述した対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、二次評価値算出部１３２に、一次評価値算出部１３１で求められた、複数の第１のフィルタに対応する複数の一次評価値を総合させることにより、その領域に人物頭部が存在する確率を表わす二次評価値を求めさせ、領域抽出部１３３に、二次評価値算出部１３２で求められた二次評価値と第１の閾値とを比較させてその第１の閾値を越えて人物頭部が存在する確率が高い一次候補領域を抽出させる第１の抽出過程を実行させる。
ここでは、第１の画像全域を第１のフィルタでサーチするのではなく、頭部が存在する可能性のある探索画素に対応する画素にのみ第１のフィルタを作用させており、このように狭いサーチ範囲のみサーチすることによって高速処理を可能としている。
尚、第１の画像上の、探索画素に相当する画素に第１のフィルタを作用させるにあたっては、本実施形態では、差分画像群の中の相対的に小さい第１の画像のみでなく、その差分画像作成の基になった２つのフレーム画像それぞれからなる２枚の静止画像それぞれについての画像群の中の相対的に小さい第１の画像についても、探索画素に相当する画素にのみ第１のフィルタを作用させている。このように、本実施形態では、差分画像から求めた頭部が存在する可能性のある探索画素を静止画像にも適用することにより、静止画像についてもサーチの高速化を図っている。ただし、人物が静止している場合は、静止画像には人物頭部が写し出されていても差分画像上からは消えてしまい、したがって静止画像については差分画像から求めた探索画素によるサーチ範囲の絞り込みを行なわずに、静止画像についての画像群のうちの相対的に小さい第１の画像をフィルタでサーチするにあたっては、その第１の画像全域をサーチの対象としてもよい。
次に、再び一次評価値算出部１３１に、画像群生成部１１１および差分演算部１１３により生成された画像群のうちの、上記の第１の画像よりも画素数が一段階多い第２の画像の、一次候補領域に相当する領域に、フィルタ記憶部１５０に記憶されたフィルタ群のうちの、上記の複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、前述した対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び二次評価値算出部１３２に、一次評価値算出部１３１で求められた、複数の第２のフィルタに対応する複数の一次評価値を総合させることにより、当該一次候補領域に人物頭部が存在する確率を表わす二次評価値を求めさせ、再び領域抽出部１３３に、二次評価値算出部１３２で求められた二次評価値と第２の閾値とを比較させて第２の閾値を越えて人物頭部が存在する確率が高い二次候補領域を抽出させる第２の抽出過程を実行させる。
領域抽出演算制御部１６０は、以上のような第１の抽出過程および第２の抽出過程を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価値算出部１３１、二次評価値算出部１３２、および領域抽出部１３３に繰り返させる。
図６の頭部検出装置１００は、この繰り返しにより頭部抽出部１３３で最終的に領域が抽出されることにより人物頭部が高精度に検出される。
ここで、前述したように、画像群生成部１１１では、補間演算と間引演算とにより１枚の原画像から複数の画像群が生成されるが、領域抽出演算制御部１６０は、画像群生成部１１１で生成された複数の画像群（差分演算部１１３で作成された差分画像の画像群を含む）それぞれに関し、上記の複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価算出部１３１、二次評価算出部１３２、および領域抽出部１３３に繰り返させる。
これにより、様々の寸法の人物頭部を検出することができる。
ここで、領域抽出部１３３からは、例えば、画像上の人物の顔をほぼ中心に含む第１の領域と、同じ画像上の同じ人物の、髪を含んだ頭部をほぼ中心に含む、上記の第１の領域と比べると一部が重なり一部が外れた第２の領域との双方が人物頭部の領域として抽出されることがある。そこで、図６の頭部検出装置１００は、領域統合部１４０を備え、このような場合に１つの領域に統合する処理を行なっている。具体的には、領域抽出部１３３で複数の領域が抽出された場合におけるそれら複数の領域が、それら複数の領域どうしの重なりの程度に応じて、１つの領域に統合される。更なる詳細については後述する。
次に、本発明の実施形態をさらに具体的に説明する。
図７は、図５に示す頭部検出方法の学習ステップＳ１０の詳細フロー図である。
この図７は、上下２段に示されており、上段は差分をとる前の静止画像１枚１枚を取り扱うフローであり、下段は、差分画像を取り扱うフローである。
ここでは先ず教師画像を作成するための多数の画像２００が用意される。これらの多数の画像２００は、多数枚の静止画像２０１と、差分画像作成のための動画像２０２からなる。動画像２０２の１枚１枚を静止画像２０１として利用してもよい。これらの画像２００は、頭部検出用の原画像の撮影を行なう監視カメラ１０（図１参照）での撮影により得ることが好ましいが、それに限られるものではなく、監視カメラ１０による撮影とは別に、人物が存在する様々なシーン、および人物が存在しない様々なシーンの画像を収集したものであってもよい。
これらの画像２００には、アフィン（Ａｆｆｉｎｅ）変換処理２１０、多重解像度展開処理２２０、輝度補正処理２３０がこの順に施され、動画像２０２からは差分演算処理２４０により差分画像が生成され、その後、切出し処理２５０により教師画像２５１が生成される。この教師画像２５１は、１つのシーンにつき、３２×３２画素の教師画像と、１６×１６画素の教師画像と、８×８画素の教師画像とからなる教師画像群からなり、多数のシーンについてそれぞれ教師画像群が生成される。
以下、先ず、ここまでの各処理について説明する。
アフィン変換処理２１０は、極めて多数の画像を収集することに代えて、１枚の画像を少しずつ変形して多数枚の画像を生成し、これにより、教師画像の基になる画像の数を増やす処理である。ここでは、元々の１枚の画像を−１２°、−６°、０°、＋６°、＋１２°だけそれぞれ傾けた画像を作成し、さらに縦方向に１．２倍、１．０倍、０．８倍に伸縮した画像、さらに横方向に１．２倍、１．０倍、０．８倍に伸縮した画像を作成する。これらのうち、傾き０°、縦方向１．０倍、かつ横方向１．０倍の画像は元々の画像そのものである。これらの傾きや伸縮を組み合わせ、元々の１枚の画像から元々の１枚の画像を含め、５×３×３＝４５枚の画像が作成される。こうすることにより極めて多数の教師画像が作成され、高精度な学習が可能となる。
次に多重解像度展開処理２２０について説明する。
図８は、多重解像度展開処理の説明図である。
ここには、人物の頭部が写し出されており、既に教師画像のイメージとなっているが、図７の多重解像度展開処理２２０では教師画像として切り出す前の画像全体について以下に説明する処理が行なわれる。
すなわち、図８（Ａ）に示す元の１枚の画像全体をＬ０とし、その画像Ｌ０から縦横それぞれ１つおきに画素を間引くことにより縦横それぞれ１／２（面積で１／４）に縮小された画像Ｌ１を作成し、これと同様に、画像Ｌ１から縦横それぞれ１つおきに画素を間引くことにより縦横それぞれについてさらに１／２（面積でさらに１／４）に縮小された画像Ｌ２を作成する。図８（Ｂ）には、このようにして作成された、元々の画像Ｌ０を含む３枚の画像Ｌ０，Ｌ１，Ｌ２からなる画像群が逆ピラミッド構造で示されている。
次に、輝度補正処理２３０が行なわれる。
この輝度補正処理２３０では、補正前の画素Ｘの画素値（輝度値）をＸｏｒｇ、補正後の輝度をＸｃｏｒとしたとき、
Figure 0005227639
但し、Ｅ（Ｘｏｒｇ）、σ（Ｘｏｒｇ）は、画素Ｘの近傍（例えば９×９画素）の画素値（輝度値）の、それぞれ平均値と分散である。
に従って補正後の画素値（輝度値）が求められ、この処理を画像全域について行なうことにより輝度補正が行なわれる。
この輝度補正は、図８（Ｂ）に示す３層の画像Ｌ０，Ｌ１，Ｌ２のそれぞれについて行なわれる。すなわち、下層の画像Ｌ２側の画像ほど、元々の画像のシーンからすると広い領域のシーンを利用した輝度補正が行なわれることになる。
次に、動画像について差分処理２４０が行なわれる。
図９は、動画像の差分処理の説明図である。
図９（Ａ）には、動画像のうちの隣接する２つのフレームの画像が示されており、これら２枚の画像からは、多重解像度展開処理２２０により、それぞれが３枚の画像Ｌ０，Ｌ１，Ｌ２；Ｌ０′，Ｌ１′，Ｌ２′からなる２つの画像群が作成される（図９（Ｂ））。
これら２つの画像群を構成する各画像Ｌ０，Ｌ１，Ｌ２；Ｌ０′，Ｌ１′，Ｌ２′には、輝度補正処理２３０が施された後、差分処理２４０が行なわれる。
この差分処理２４０では、同じ寸法の画像について、対応する画素ごとの差分値の絶対値が求められ（｜Ｌｉ′−Ｌｉ｜、ｉ＝０，１，２）、図９（Ｃ）に示す３枚の差分画像からなる逆ピラミッド型の画像群が作成される。
次に切出処理２５０が行なわれる。
この切出処理２５０は、図８（Ｂ）や図９（Ｃ）に示すような３層構造の画像から、様々な形態の人物頭部が写し出された領域や人物頭部以外のものが写し出された領域が切り出され、人物頭部が写し出されている領域からは人物頭部が存在する、という教師画像、人物頭部以外のものが写し出されている領域からは人物頭部は存在しない、という教師画像が作成される。
教師画像を切り出すにあたっては、図８（Ｂ）あるいは図９（Ｃ）に示す三層構造の画像のうちの最上層の画像から３２×３２画素の領域が教師画像として切り出され、これを受けて二層目の画像からは同一部分の１６×１６画素の領域が切り出され、三層目の画像からは同一部分の８×８画素の領域が切り出される。これら切り出された三層の教師画像は、画像の寸法が異なることにより分解能は異なるものの、画像上の同一部分が切り出されたものである。したがって、教師画像も、図８（Ｂ）や図９（Ｃ）に示すような、三層構造の逆ピラミッド型の教師画像群となる。
ここでは、このような三層構造の教師画像群２５１が多数作成され、学習に用いられる。
次に、それらの教師画像により学習される側のフィルタについて説明する。
図１０は、フィルタの構造の説明図、図１０は各種のフィルタを図解して例示した図である。
ここには多数種類のフィルタが用意される。これらのフィルタは、画像上の３２×３２画素の領域に作用するフィルタと、画像上の１６×１６画素の領域に作用するフィルタと、画像上の８×８画素の領域に作用するフィルタとに分けられる。これらのフィルタは、学習により抽出されるまでは頭部検出に用いるためのフィルタの候補の地位にある。これらのフィルタ候補のうちの３２×３２画素の領域に作用するフィルタ候補は図１０（Ａ）に示す三層構造の教師画像群のうちの３２×３２画素の教師画像による学習で選別されて頭部検出に採用すべきフイルタが抽出され、これと同様に、多数のフィルタ候補のうちの１６×１６画素の領域に作用するフィルタ候補は三層構造の教師画像群のうちの１６×１６画素の教師画像による学習で選別されて頭部検出に採用すべきフィルタが抽出され、さらに、多数のフィルタ候補のうちの８×８画素の領域に作用するフィルタ候補は、三層構造の教師画像群のうちの８×８画素の教師画像により選択されて頭部検出に採用すべきフィルタが抽出される。
図１０（Ｂ）に示すように、１つのフィルタは、タイプと、層と、６つの画素座標｛ｐｔ０，ｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４，ｐｔ５｝の属性を持ち、それら６つの画素座標にある画素の画素値（輝度値）をそれぞれ、Ｘｐｔ０，Ｘｐｔ１，Ｘｐｔ２，Ｘｐｔ３，Ｘｐｔ４，Ｘｐｔ５としたとき、
Figure 0005227639
なる演算により、３つの差分値のベクトルが算出される。
「タイプ」は、図１１にタイプ０〜タイプ８を示すような、大分類を表わしている。例えば、図１１左上のタイプ０は、横方向（θ＝０°）の方向の差分をとるフィルタであることを表わしており、タイプ１は、縦方向（θ＝±９０°）の方向の差分をとるフィルタであることを表わしており、タイプ２〜４は、そのタイプごとの方向の差分をとるフィルタであることを表わしている。タイプ５〜８は、図示のような差分演算により各曲線のエッジを検出するフィルタであることを表わしている。また、「層」は、３２×３２画素の領域に作用するフィルタであるか、１６×１６画素の領域に作用するフィルタであるか、８×８画素の領域に作用するフィルタであるかの識別標識である。
さらに、６つの画素座標｛ｐｔ０，ｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４，ｐｔ５｝は、例えば８×８画素の領域に作用する場合の８×８＝６４画素のうちの６つの画素の座標を指定するものである。１６×１６画素の領域に作用するフィルタ、３２×３２画素の領域に作用する画素の場合も同様である。
上記（２）式による演算は、６つの画素座標｛ｐｔ０，ｐｔ１，ｐｔ２，ｐｔ３，ｐｔ４，ｐｔ５｝で指定される６つの画素について行なわれ、例えば、図１０の左上のタイプ０のうちのさらに最上段のフィルタの場合は、数値０を付した画素の輝度値をＸ０、数値１を付した画素の輝度値をＸ１、数値２を付した画素（ここでは、数値２を付した画素は数値１を付した画素と同一の画素である）の輝度値をＸ２（＝Ｘ１）、数値３を付した画素の輝度値をＸ３、数値４を付した画素（ここでは数値４を付した画素は数値１を付した画素と同一である）の輝度値をＸ４（＝Ｘ３）、数値５を付した画素の輝度値をＸ５としたとき、
Figure 0005227639
となる。
タイプ５の左側のフィルタにも数値０〜５を付してあり、（３）式と同じ演算が行なわれる。
これらは例示であり、図１０に示す各種のフィルタは、これらの例示と同様の演算を行なうフィルタである。
図７に示すように、教師画像群２５１が作成されると機械学習により、多数のフィルタ候補の中から、頭部検出に採用されるフィルタ２７０が抽出される。
次に、機械学習について説明する。
図１２は、機械学習の概念図である。
これまで説明してきたようにして、多数の教師画像群２５１が用意されるとともに、多数のフィルタ候補２６０が用意され、先ずは、それらの教師画像群２５１のうちの８×８画素の多数の教師画像２５１Ａを使って８×８画素の領域に作用するフィルタ候補２６０Ａの中から頭部検出に用いられるフィルタ２７０Ａが抽出され、次にその抽出結果を反映させながら、１６×１６画素の多数の教師画像２５１Ｂを使って１６×１６画素の領域に作用するフィルタ候補２６０Ｂの中から頭部検出に用いられるフィルタ２７０Ｂが抽出され、さらに、その抽出結果を反映させながら、３２×３２画素の多数の教師画像２５１Ｃを使って、３２×３２画素の領域に作用するフィルタ候補２６０Ｃの中から頭部検出に用いられるフィルタ２７０Ｃが抽出される。
ここでは、機械学習の一例としてＡｂａ Ｂｏｏｓｔアルゴリズムが採用されている。このアルゴリズムは既に広範な分野で採用されているものであり、以下では簡単に説明する。
図１３は、教師画像の概念図である。
ここでは、８×８画素の多数枚の教師画像ａ０，ｂ０，ｃ０，…，ｍ０が用意されているものとする。これらの教師画像には、頭部である教師画像と、頭部ではない教師画像が含まれている。
図１４は、各種フィルタとそれらのフィルタの学習結果を示す概念図である。
ここでは、８×８画素の領域に作用する多数種類のフィルタ（この段階ではフィルタ候補）ａ，ｂ，…，ｎが用意され、図１３に示す多数枚の教師画像を用いて各フィルタａ，ｂ，…，ｎについてそれぞれ学習が行なわれる。
図１４に示す各グラフは、各フィルタについての学習結果を示している。
各フィルタでは、（２）式に示すような三次元ベクトルからなる特徴量が算出されるが、ここでは簡単のため一次元の特徴量として示している。
各グラフの横軸は、そのフィルタを使って多数枚の教師画像それぞれについて求めた特徴量の値、縦軸は、そのフィルタを使ったときの頭部である、という正答率を表わしている。この確率は前述した一次評価値として利用される。
ここでは、各フィルタａ，ｂ，…，ｎについてそれぞれ一回目の学習を行なった結果、図１４に示すような学習結果が表われ、フィルタｎを使ったときの正答率が最高であったとする。この場合、先ずはフィルタｎを頭部検出用のフィルタとして採用し、２回目の学習はフィルタｎを除く他のフィルフタａ，ｂ，…について行なわれる。
図１４（Ｃ）に示すように、各教師画像ａ０，ｂ０，ｃ０，…，ｍ０についての一次評価値がｘ，ｙ，ｚ，ｚであったとする。
図１５は、教師画像の重み付けを示す説明図である。
一回目の学習では、全ての教師画像ａ０，ｂ０，ｃ０，…，ｍ０について同一の重み１．０で学習が行なわれるが、２回目の学習では、各教師画像ａ０，ｂ０，ｃ０，…，ｍ０は１回目の学習で最高の正答率を得たフィルタｎによる各教師画像ごとの確率ｘ，ｙ，ｚ，ｚが加味され、正しく判定される確率が高い教師画像ほど重みを下げ、誤って判定される確率の高い教師画像ほど大きな重みが与えられる。この重みは、二回目の学習の各教師画像ごとの正答率に反映される。すなわち、この重みは２回目の学習において、各教師画像をその重みの回数だけ繰り返して学習に利用することと同じである。このようにして２回目の学習を行ない、２回目の学習で最高の正答率を得たフィルタ候補が頭部検出用のフィルタとして抽出される。さらに、その抽出されたフィルタの特徴量の正答率のグラフを利用して各教師画像ａ０，ｂ０，ｃ０，…，ｍ０についての重みが再度修正され、今回抽出されたフィルタを除く、さらに残ったフィルタについて学習が行なわれる。以上が繰り返されて、頭部検出用の、８×８画素の領域に作用する多数のフィルタ２７０Ａ（図１２参照）が抽出される。
図１６は、８×８画素用のフィルタの抽出が終了し、１６×１６画素のフィルタの学習への移行時の重み付け方法の説明図である。
８×８画素のフィルタの抽出が終了した後、それらのフィルタと、それらのフィルタを１つずつ独立に使ったときの、特徴量と一次評価値との対応関係（例えば図１４に示すグラフ）が求められ、１つ１つの教師画像（例えば教師画像ａ０）について８×８画素用の多数のフィルタで得た特徴量から得られる各フィルタごとの一次評価値が加算されて二次評価値が求められる。ここでは、図１６に示すように、各教師画像ａ０，ｂ０，ｃ０，…，ｍ０について、各二次評価値Ａ，Ｂ，Ｃ，…，Ｍが求められたものとする。このとき、８×８画素の教師画像ａ０，ｂ０，ｃ０，…，ｍ０のそれぞれに対応する１６×１６画素の教師画像ａ１，ｂ１，ｃ１，…，ｍ１の重みが、各二次評価値Ａ，Ｂ，Ｃ，…，Ｍを使って、全ての画像について平等な１．０から変更され、１６×１６画素の領域に作用するフィルタの抽出のための学習に利用される。
これ以降の１６×１６画素の領域のフィルタの抽出アルゴリズム、重み付け変更アルゴリズム、３２×３２画素の領域のフィルタの抽出への移行のアルゴリズム等は全て同様であり、説明は割愛する。
以上のようにして、８×８画素の領域に作用する多数のフィルタ２７０Ａ、１６×１６画素の領域に作用する多数のフィルタ２７０Ｂ、および３２×３２の領域に作用する多数のフィルタ２７０Ｃからなるフィルタ群２７０が抽出されるとともに、各フィルタについての特徴量（前述した（２）式のベクトル）と一次評価値との対応関係（グラフ、表、関数式などのいずれでもよい）が求められ、図５、図６に示すフィルタ記憶部１５０に格納される。
次に、以上のようにしてフィルタ記憶部１５０に格納されたフィルタを利用した頭部検出処理について説明する。
図６に示す画像群生成部１１１、輝度補正部１１２、および差分演算部１１３では、学習時における、図７に示す多重解像度展開処理２２０、輝度補正処理２３０、差分演算処理２４０とそれぞれ同様の処理が行なわれる。ただし、画像群生成部１１１における処理は、前述の多重解像度展開処理２２０とは多少異なっており、以下において説明する。
図１７は、図５に示す画像群生成部１１１の処理を示す模式図である。
この画像群生成部１１１には、図２に示す監視カメラ１０での撮影により得られた動画像が入力され、その動画像を構成する１枚１枚の画像について図１７に示す処理が行なわれる。
ここでは、入力画像である原画像に補間演算処理が施されて、その原画像よりもサイズが少しだけ小さい補間画像１が求められ、さらにその補間画像１よりもサイズが少しだけ小さい補間画像２が求められ、同様にして補間画像３も求められる。
原画像と補間画像１との間の画像サイズの比率Ｓσは、縦横それぞれについて
Figure 0005227639
但し、Ｎは、原画像を含む補間画像の数（図１７に示す例ではＮ＝４）である。
の比率である。
このようにして補間画像（図１７に示す例では補間画像１，２，３）を作成した後、原画像および補間画像のそれぞれについて縦横それぞれについて１画素おきに間引くことにより縦横それぞれについて１／２のサイズの画像が作成され、縦横それぞれについてさらに１／２のサイズの画像が作成され、もう１つさらに１／２のサイズの画像が作成され、これにより図１６に示す例では、１枚の原画像から４層の逆ピラミッド型の画像群が４つ作成される。
このようにして多数のサイズの画像を作成することにより、様々なサイズの頭部を抽出することができる。
図６の輝度補正部１１２および差分演算部１１３の処理は、図７を参照して説明した、輝度補正処理２３０および差分演算処理２４０と同じであり、重複説明は省略する。
ただし、図７の差分演算処理２４０では、図９を参照して隣接フレーム間の、３層の逆ピラミッド型の差分画像群が作成されたが、図６の差分演算部１１３では、隣接する２つのフレームにつき、図１７に示す構造と同一構造の、それぞれが４層の差分画像からなる画像群が４群作成される。
差分演算部１１３で作成された差分画像の画像群は、探索画素抽出部１２０に入力される。この探索画素抽出部１２０では、入力されてきた差分画像の画像群のうちの、最大サイズの領域（本実施形態では３２×３２画素の領域）に作用するフィルタを作用させる差分画像（ここでは、図１７に示す４つの画像群それぞれについて、最大面積の差分画像と最大面積よりも一段小さい面積の差分画像）について、以下に説明する平均化処理が行なわれ、探索画素が抽出される。
ここで、本実施形態では、フィルタは、寸法的には、３２×３２画素の領域に作用するフィルタと、１６×１６画素の領域に作用するフィルタと、８×８画素の領域に作用するフィルタとの３種類のフィルタが存在し、後述する頭部検出部１３０の一次評価値算出部１３１では、図１７に示す４つの画像群それぞれについて、一番小さい画像と二番目に小さい画像について８×８画素の領域に作用するフィルタを作用させ、二番目に小さい画像と三番目に小さい（すなわち二番目に大きい）画像について１６×１６画素の領域に作用するフィルタを作用させ、二番目に大きい画像と最も大きい画像には３２×３２画素の領域に作用するフィルタを作用させる。したがって、探索画素抽出部１２０では、差分画像の画像群それぞれにおける、一次評価値算出部１３１において最大面積の領域（３２×３２画素の領域）に作用するフィルタを作用させる画像である最も大きな差分画像と二番目に大きな差分画像について平均化処理が行なわれて探索画素が抽出される。
図１８は探索画素抽出部における処理の概念図である。
図１８（Ａ）には１枚の差分画像２０３が示されており、画素Ｐａについては、その画素Ｐａの周囲の３２×３２画素からなる領域Ｄａ内の、３２×３２画素の画素値（輝度値）の平均値が求められ、その平均値が画素Ｐａの新たな画素値（輝度値）となる。これと同様に、画素Ｐｂについては、その画素Ｐｂの周囲の３２×３２画素からなる領域Ｄｂ内の、３２×３２画素の画素値（輝度値）の平均値が求められ、その平均値が画素Ｐｂの新たな画素値として割り当てられる。この平均化処理では、差分画像２０３の全域に渡って以上の処理が繰り返され、その差分画像２０３の全域に渡って平均化されて平均化差分画像が求められる。
図１８（Ｂ）は、平均化差分画像の画素を横に並べ、各画素の画素値（上記のようにして平均化された画素値）を縦軸に示した模式図である。
平均化差分画像の各画素の画素値が閾値Ｔｈと比較され、その閾値Ｔｈを越える画素値を持つ画素が探索画素として抽出される。
図１９は、図１８を参照して説明した平均化処理の高速化の手法を示す図である。
図１９（Ａ）は、１枚の差分画像の左上隅の一部を示した図である。
各升目の１つ１つが１つの画素を表わしており、各升目の中の記号Ｐ００，Ｐ０１，…は、その画素の画素値（輝度値）を表わしている。
図１９（Ｂ）は、計算途中の図を表わしており、ここでは、以下の計算が行なわれる。
Ｐ００＝ｐ００
Ｐ０１＝ｐ００＋ｐ０１
Ｐ０２＝ｐ００＋ｐ０１＋ｐ０２
……
Ｐ１０＝ｐ００＋ｐ１０
Ｐ１１＝ｐ００＋ｐ０１＋ｐ１０＋ｐ１１
Ｐ１２＝ｐ００＋ｐ０１＋ｐ０２＋ｐ１０＋ｐ１１＋ｐ１２
……
Ｐ２０＝ｐ００＋ｐ１０＋ｐ２０
Ｐ２１＝ｐ００＋ｐ０１＋ｐ１０＋ｐ１１＋ｐ２０＋ｐ２１
Ｐ２２＝ｐ００＋ｐ１１＋ｐ０２＋ｐ１０＋ｐ１１＋ｐ１２＋ｐ２０＋ｐ２１＋ｐ２２
……
すなわち、例えば図１９（Ｂ）にハッチングの枠で示した画素の画素値Ｐ３２は、図１９（Ａ）に示す差分画像上のハッチングで示した領域内の複数の画素の画素値の合計値となる。このように、各画素について、その画素を含む左側および上側に広がる領域の画素の画素値の合計値がその画素の画素値と割り当てられる。
図１９（Ｃ）は、領域Ｓ３内の画素の画素値の合計値の求め方の説明図である。領域Ｓ３は図１８（Ａ）に示す３２×３２画素の１つの領域を示している。尚、ここでは領域とその領域内の画素の画素値（輝度値）の合計値とを区別せずに同一の符号で示してある。
ここでは、図１９（Ｂ）ようにして算出した各画素の画素値Ｐ００，Ｐ０１，…を用いて図１９（Ａ）に示す差分画像上の領域Ｓ３内の画素の画素値（輝度値）の合計値Ｓ３が
Figure 0005227639
但し、Ｐ０，Ｐ１，Ｐ２，Ｐ３は、それぞれ領域Ｓ０，Ｓ１，Ｓ２，Ｓ３の、図１９（Ｂ）における画素値（輝度値）である。
図１９（Ａ）の差分画像から図１９（Ｂ）を参照して説明した演算を一度行なっておくだけで、後は（５）式の簡単な演算で差分画像上の３２×３２画素の領域の画素値（輝度値）の平均値を容易に算出することができる。
図６に示す探索画素抽出部１２０で抽出された探索画素の、差分画像上の位置情報は、頭部検出部１３０に伝えられる。また、この頭部検出部１３０には、輝度補正部１１２における輝度補正処理を受けた後の、図１７に示す画像群、さらには、差分演算部１１３で作成された差分画像の画像群が入力される。この頭部検出部１３０では、領域抽出演算制御部１６０によるシーケンス制御を受けながら後述する演算処理が行なわれる。
先ず、一次評価値算出部１３１において、フィルタ記憶部１５０から８×８画素の領域に作用する多数のフィルタが読み出され、図１７に示す４層の画像群（差分演算部１１３で作成された差分画像の画像群を含む）を構成する各４枚の画像のうちの、サイズが最も小さい画像、および２番目に小さい画像に８×８画素の各フィルタに作用させて各領域ごとに特徴量を表わすベクトル（（２）式参照）が求められ、各フィルタごとの、特徴量と一次評価値との対応関係（図１３参照）が参照されて、その特徴量が一次評価値に換算される。
ここで、この一次評価値算出部１３１において、逆ピラミッド型の４層の画像群を構成する各４枚の画像のうちの、サイズが最も小さい画像、および２番目に小さい画像に、８×８画素の各フィルタを作用させるにあたっては、探索画素抽出部１２０で抽出された探索画素の差分画像上の位置情報が参照され、その探索画素に対応した画素に８×８画素のサイズのフィルタの中心を重ねて、そのフィルタによる評価値が算出される。さらに具体的には、探索画像は、差分演算部１１３で作成されたそれぞれが４層からなる差分画像の画像群のうちの、最大面積の差分画像と、２番目に大きい差分画像について３２×３２画素の広さの平均値を求める平均化処理により探索画素が抽出されるが、最大面積の差分画像から抽出された探索画素については、小さい方から２番目の画像について８×８画素のフィルタを作用させる領域の指標として用いられ、２番目の面積の差分画像から抽出された探索画素については、最も面積の狭い画像について８×８画素のフィルタを作用させる領域の指標として用いられる。すなわち、小さい方から２番目の画像の、最大面積の差分画像から抽出された探索画素に対応する画素を中心とした８×８画素の領域に、８×８画素の領域に作用するフィルタを作用させ、１番小さい画像の、２番目に大きい面積の差分画像から抽出された探索画素に対応する画素を中心とした８×８画素の領域に、８×８画素の領域に作用するフィルタを作用させる。これは、本実施形態では、画像は４層構造であり（図１７参照）、フィルタは３層構造（図１０参照）であることから、１番小さい、８×８画素の領域に作用するフィルタは、１番小さい画像と小さい方から２番目の画像に作用させ、１６×１６画素の領域に作用するフィルタは、小さい方から２番目の画像と小さい方から３番目（大きい方から２番目）の画像に作用させ、３２×３２画素の領域に作用するフィルタは、大きい方から２番目の画像と最も大きな画像に作用させる仕組みとなっている。このことから最も広い３２×３２画素に作用するフィルタを作用させる、最大面積の差分画像と大きい方から２番目の差分画像について、上記の平均化処理および探索画素抽出処理が行なわれ、上記のように、各画像群のうちの１番小さい画像と小さい方から２番目の画像についての探索範囲の絞り込みに利用される。
尚、差分画像を基にして抽出した探索画素の情報は、その差分画像に関する一連の（図１７に示す４つの）画像群（図１７参照）と、その差分画像作成の基になった２枚のフレーム画像それぞれに関する一連の（各フレームにつき４つの）画像群に適用される。探索画素の情報を各フレームごとの画像群にも適用することにより、静止画像についても高速処理が可能となる。ただし、前述したように、静止画像については、探索画素の情報を適用せずに、各画像群の中の１番小さい画像と小さい方から２番目の画像の全域を８×８画素のフィルタでサーチしてもよい。
一次評価値算出部１３１で、以上のようにして探索画素の情報を参照して絞り込んだ領域について８×８画素のフィルタを作用させて一次評価値を求めた後、複数の８×８画素のフィルタそれぞれについての一次評価値が二次評価値算出部１３２に入力される。二次評価値算出部１３２では、８×８画素の領域に作用する多数のフィルタによる多数の一次評価値が互いに加算されて二次評価値が求められ、領域抽出部１３３ではその二次評価値が所定の第１の閾値以上である（頭部が写されている可能性が高い）一次抽出領域が抽出される。
次にその一次抽出領域の位置情報が一次評価値算出部１３１に伝達され、一次評価値算出部１３１では、今度は、フィルタ記憶部１５０から１６×１６画素の領域に作用する多数のフィルタが読み出されて、図１７に示す逆ピラミッド型の４つの画像群それぞれについて、小さい方から２番目の画像と３番目（大きい方から２番目）の画像上の、領域抽出部１３３で抽出された一次抽出領域に対応する領域に１６×１６の画素の領域に作用する各フィルタを作用させて特徴量を算出し、その特徴量を一次評価値に換算する。それらの、１６×１６画素の領域に作用する多数のフィルタによる多数の一次評価値は二次評価値算出部１３２において互いに加算されて二次評価値が求められ、その求められた二次評価値が領域抽出部１３３において第２の閾値と比較されて、上述の一次抽出領域に対応する領域の中から頭部が写されている可能性がさらに高い二次抽出領域が抽出される。この二次抽出領域の位置情報は一次評価値算出部１３１に伝達され、今度は、その一次評価値算出部１３１では、フィルタ記憶部１５０から３２×３２画素の領域に作用する多数のフィルタが読み出されて、図１７に示す逆ピラミッド型の４つの画像群それぞれを構成する大きい方から２番目の画像と最も大きい画像上の、領域抽出部１３３で抽出された二次抽出領域に対応する領域に、３６×３６画素の領域に作用する各フィルタを作用させて特徴量が抽出され、その特徴量が一次評価値に換算される。それらの３２×３２画素の領域に作用する多数のフィルタによる多数の一次評価値は二次評価値算出部１３２において互いに加算されて二次評価値が求められ、その求められた二次評価値が領域抽出部１３３において第３の閾値と比較されて、二次抽出領域に対応する領域の中から頭部が写し込まれていると確信できるレベルの三次抽出領域が抽出される。この三次抽出領域の情報、すなわち、その領域の画像上の位置ｐｏｓ（領域の左上隅の座標（ｌ，ｔ）と右下隅の座標（ｒ，ｂ）と最終的な二次評価値ｌｉｋｅｎｅｓｓが、図６に示す領域統合部１４０に入力される。
図２０は領域統合部１４０における領域統合処理の説明図である。
この領域統合部１４０は複数の頭部領域（三次抽出領域）Ｈｉ（ｉ＝１，…，Ｍ）の情報Ｈｉ（ｐｏｓ，ｌｉｋｅｎｅｓｓ）が入力されると、その領域統合部１４０では、それらの頭部領域情報Ｈｉが二次評価値ｌｉｋｅｎｅｓｓの順に並べ替えられる。ここでは、２つの領域Ｈｒｅｆ，Ｈｘについて互いの領域の一部の重なりが存在するものとし、領域
Ｈｒｅｆの方が領域Ｈｘよりも二次評価値ｌｉｋｅｎｅｓｓが高いものとする。
領域Ｈｒｅｆの面積をＳＨｒｅｆ、領域Ｈｘの面積をＳＨｘ、相互に重なった部分の面積をＳｃｒｏｓｓとしたとき、重なりの比率
Figure 0005227639
が算出され、この比率ρが閾値ρｌｏｗ以上であったときに、領域統合演算が行なわれる。すなわち、領域Ｈｒｅｆの４隅の座標と領域Ｈｘの４隅の座標のうちの対応する座標にその領域のｌｉｋｅｎｅｓｓによる重みが付されて、１つに統合される。
例えば、各領域Ｈｒｅｆ，Ｈｘの左上隅の左右方向の座標ｌｒｅｆ，ｌｘが、各領域Ｈｒｅｆ，Ｈｘの各ｌｉｋｅｎｅｓｓであるｌｉｋｅｎｅｓｓ（ｒｅｆ），ｌｉｋｅｎｅｓｓ（ｘ）を用いて、統合された座標
Figure 0005227639
に変換される。このような演算が位置ｐｏｓを表わす４つの座標
ｐｏｓ＝（ｌ，ｔ，ｒ，ｂ）ｔ
のそれぞれについて行なわれ、２つの領域Ｈｒｅｆ，Ｈｘが１つの領域に統合される。
３つ以上の領域が重なっている場合も同様である。
本実施形態では、以上の処理により、人物頭部が写されている領域が高精度かつ高速に抽出される。
尚、本実施形態では、探索画素抽出部１２０において、差分演算部１１３で作成された差分画像を平均化処理することにより探索画素を抽出したが、輝度補正部１１２又は、さらに上段の画像群生成部１１１から差分演算前の画像群を受け取り差分演算前の２枚のフレーム画像をそれぞれについて平均化処理を先に行なってから差分をとることにより平均化差分画像を求め、その平均化差分画像から探索画素を抽出してもよい。
また、上記実施形態は、フィルタや画像を層構造にして、小さい画像、小さいフィルタから大きい画像、大きいフィルタの順に処理することにより、頭部検出の高速化と高精度化を狙った実施形態であるが、本発明は、層構造ではなく従来からの一層構造のものにも同様に適用することができる。
背景画像との差分の画像を作成する方法の説明図である。 本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。 図２に１つのブロックで示すパーソナルコンピュータの外観斜視図である。 パーソナルコンピュータのハードウエア構成図である。 頭部検出方法の一例を示すフローチャートである。 頭部検出装置の一例を示すブロック図である。 図５に示す頭部検出方法の学習ステップの詳細フロー図である。 多重解像度展開処理の説明図である。 動画像の差分処理の説明図である。 フィルタの構造の説明図である。 各種のフィルタを図解して例示した図である。 機械学習の概念図である。 教師画像の概念図である。 各種フィルタとそれらのフィルタの学習結果を示す概念図である。 教師画像の重み付けを示す説明図である。 ８×８画素用のフィルタの抽出が終了し、１６×１６画素のフィルタの学習への移行時の重み付け方法の説明図である。 図６に示す画像群生成部の処理を示す模式図である。 探索画素抽出部における処理の概念図である。 平均化処理の高速化の手法を示す図である。 領域統合部における領域統合処理の説明図である。
符号の説明
１０ 監視カメラ
２０ インターネット
３０ パーソナルコンピュータ
３１ 本体装置
３２ 画像表示装置
３３ キーボード
３４ マウス
１００ 頭部検出装置
１１０ 差分画像作成部
１１１ 画像群生成部
１１２ 輝度補正部
１１３ 差分演算部
１２０ 探索画素抽出部
１３０ 頭部検出部
１３１ 一次評価値算出部
１３２ 二次評価値算出部
１３３ 領域抽出部
１４０ 領域統合部
１５０ フィルタ記憶部
１６０ 領域抽出演算制御部
２００ 画像
２０１ 静止画像
２０２ 動画像
２１０ アフィン変換処理
２２０ 多重解像度展開処理
２３０ 輝度補正処理
２４０ 差分演算処理
２５０ 切出し処理
２５１ 教師画像群
２６０ フィルタ候補
２７０ フィルタ

Claims (18)

  1. それぞれが二次元的に配列された画素で表現された複数フレームからなる連続画像から特定種類のオブジェクトを検出するオブジェクト検出方法であって、
    連続画像を構成する複数フレームの中の互いに異なる第１フレームと第２フレームとの間の差分画像を作成する差分画像作成ステップと、
    前記第１フレームおよび前記第２フレームそれぞれについて各画素の周囲に二次元的に所定の広さに広がる平均化領域内の複数の画素の値の平均的な値を該各画素の新たな値としたときの、該第１フレームと該第２フレームとの間の互いに対応する画素の該新たな値どうしの差分値を算出し該差分値と閾値とを比較することにより、前記差分画像上の、前記特定種類のオブジェクトの存在を探索する探索画素を抽出する探索画素抽出ステップと、
    画像上の、前記平均化領域と同一の面積および同一の形状に広がる探索領域に作用して、前記特定種類のオブジェクトが該探索領域に存在する確率を表わす評価値を求めるフィルタを、前記差分画像作成ステップで作成された差分画像上の、前記探索画素抽出ステップで抽出された探索画素を含む探索領域に作用させて該フィルタに該評価値を求めさせ、該評価値と閾値とを比較することにより前記差分画像上の、前記特定種類のオブジェクトが存在する領域を抽出するオブジェクト検出ステップとを有することを特徴とするオブジェクト検出方法。
  2. 前記差分画像作成ステップが、前記第１フレームと前記第２フレームとの間の差分画像を作成するとともに、該第１フレームおよび該第２フレームそれぞれについて各フレームを構成する画素が所定比率で間引かれてなる、又は該所定比率で段階的に間引かれてなる、互いに対応する広さの第１間引フレームと第２間引フレームとの間の１枚以上の差分画像を作成することにより、同一シーンであって解像度が異なる複数の差分画像からなる差分画像群を作成するステップであり、
    前記オブジェクト検出ステップが、
    前記差分画像作成ステップにより作成された差分画像群のうちの相対的に小さい第１の差分画像に、画像上の二次元的に広がる探索領域に作用し該探索領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成するフィルタであって、画像上の領域の広さに対応する画素数が前記所定比率で異なる、又は該所定比率で段階的に異なる、複数の広さの探索領域にそれぞれ作用する複数のフィルタからなるフィルタ群のうちの相対的に狭い探索領域に作用する第１のフィルタを作用させて、所定の第１の閾値を越える評価値が得られる一次候補領域を抽出する第１の抽出過程と、
    前記差分画像作成ステップにより作成された差分画像群のうちの前記第１の差分画像よりも画素数が一段階多い第２の差分画像の、前記一次候補領域に相当する領域に、前記フィルタ群のうちの前記第１のフィルタよりも一段階広い探索領域に作用する第２のフィルタを作用させて所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する第２の抽出過程と
    を含む複数の抽出過程を、相対的に小さい差分画像に相対的に狭い探索領域に作用するフィルタを作用させる抽出過程から相対的に大きい差分画像に相対的に広い探索領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記差分画像中から特定種類のオブジェクトを検出するステップであり、
    前記探索画素抽出ステップが、前記平均化領域として、前記フィルタ群のうちの最大の探索領域に作用する最大領域フィルタが作用する該最大の探索領域と比べ同一面積および同一形状に広がる平均化領域を採用して、前記差分画像作成ステップで作成された差分画像群を構成する複数の差分画像のうちの、前記オブジェクト検出ステップにおいて該最大領域フィルタを作用させる差分画像から、前記探索画素を抽出するステップであり、
    前記オブジェクト検出ステップが、前記第１過程において、前記第１のフィルタを、前記第１の差分画像上の、前記探索画素抽出ステップで抽出された探索画素に対応する画素を含む、該第１のフィルタが作用する広さの探索領域に作用させることにより、該探索領域の中から前記一次候補領域を抽出するステップであることを特徴とする請求項１記載のオブジェクト検出方法。
  3. 前記差分画像作成ステップが、前記差分画像群の生成に加え、さらに、補間演算により求められた、該差分画像群を構成する最大面積の差分画像の画素数よりも少なく、かつ該最大面積の差分画像を前記所定比率で間引いて得られた間引差分画像の画素数よりも多い画素数の範囲内の１つの補間差分画像、又は該範囲内で画素数が互いに異なる複数の補間差分画像と、当該補間差分画像それぞれについて、当該補間差分画像を構成する画素を前記所定比率で間引くことにより形成された、又は該所定比率で段階的に間引くことにより形成された、一枚以上の間引差分画像とからなる新たな１つ以上の差分画像群を生成するステップであり、
    前記段階的検出ステップは、前記差分画像作成ステップで作成された複数の差分画像群それぞれに関し、前記抽出過程を、相対的に小さい画像に相対的に狭い探索領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い探索領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、特定種類のオブジェクトを検出するステップであることを特徴とする請求項２記載のオブジェクト検出方法。
  4. １つの広さの探索領域につき複数種類の、それぞれが、特定種類のオブジェクトの輪郭および内部のうちのいずれかの特徴量を算出するフィルタを用意するとともに、各フィルタにより算出される特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係を用意しておき、
    前記オブジェクト検出ステップは、１つの探索領域に、該探索領域の広さに応じた複数種類のフィルタを作用させて複数の特徴量を算出し、各特徴量に対応する各一次評価値を求め、複数の一次評価値を総合した二次評価値と閾値とを比較することにより、該探索領域が特定種類のオブジェクトが存在する候補領域であるか否かを判定するステップであることを特徴とする請求項２又は３記載のオブジェクト検出方法。
  5. 前記オブジェクト検出ステップで複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに有することを特徴とする請求項１から４のうちいずれか１項記載のオブジェクト検出方法。
  6. 前記フィルタ群が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなり、当該オブジェクト検出方法は画像内にあらわれる人間の頭部を検出対象とするものであることを特徴とする請求項１から５のうちいずれか１項記載のオブジェクト検出方法。
  7. それぞれが二次元的に配列された画素で表現された複数フレームからなる連続画像から特定種類のオブジェクトを検出するオブジェクト検出装置であって、
    連続画像を構成する複数フレームの中の互いに異なる第１フレームと第２フレームとの間の差分画像を作成する差分画像作成部と、
    前記第１フレームおよび前記第２フレームそれぞれについて各画素の周囲に二次元的に所定の広さに広がる平均化領域内の複数の画素の値の平均的な値を該各画素の新たな値としたときの、該第１フレームと該第２フレームとの間の互いに対応する画素の該新たな値どうしの差分値を算出し該差分値と閾値とを比較することにより、前記差分画像上の、前記特定種類のオブジェクトの存在を探索する探索画素を抽出する探索画素抽出部と、
    画像上の、前記平均化領域と同一の面積および同一の形状に広がる探索領域に作用して、前記特定種類のオブジェクトが該探索領域に存在する確率を表わす評価値を求めるフィルタを記憶しておくフィルタ記憶部と、
    前記フィルタ記憶部に記憶されたフィルタを、前記差分画像作成部で作成された差分画像上の、前記探索画素抽出部で抽出された探索画素の周囲に広がる探索領域に作用させて該フィルタに該評価値を求めさせ、該評価値と閾値とを比較することにより前記差分画像上の、前記特定種類のオブジェクトが存在する領域を抽出するオブジェクト検出部とを備えたことを特徴とするオブジェクト検出装置。
  8. 前記差分画像作成部が、前記第１フレームと前記第２フレームとの間の差分画像を作成するとともに、該第１フレームおよび該第２フレームそれぞれについて各フレームを構成する画素が所定比率で間引かれてなる、又は該所定比率で段階的に間引かれてなる、互いに対応する広さの第１間引フレームと第２間引フレームとの間の１枚以上の差分画像を作成することにより、同一シーンであって解像度が異なる複数の差分画像からなる差分画像群を作成するものであり、
    前記フィルタ記憶部が、画像上の二次元的に広がる探索領域に作用し該探索領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成するフィルタであって、画像上の領域の広さに対応する画素数が前記所定比率で異なる、又は該所定比率で段階的に異なる、複数の広さの探索領域にそれぞれ作用する複数のフィルタからなるフィルタ群を記憶しておくものであり、
    前記オブジェクト検出部が、
    前記差分画像作成部により作成された差分画像群のうちの相対的に小さい第１の差分画像に、前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い探索領域に作用する第１のフィルタを作用させて、所定の第１の閾値を越える評価値が得られる一次候補領域を抽出する第１の抽出過程と、
    前記差分画像作成部により作成された差分画像群のうちの前記第１の差分画像よりも画素数が一段階多い第２の差分画像の、前記一次候補領域に相当する領域に、前記フィルタ群のうちの前記第１のフィルタよりも一段階広い探索領域に作用する第２のフィルタを作用させて所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する第２の抽出過程と
    を含む複数の抽出過程を、相対的に小さい差分画像に相対的に狭い探索領域に作用するフィルタを作用させる抽出過程から相対的に大きい差分画像に相対的に広い探索領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記差分画像中から特定種類のオブジェクトを検出するものであり、
    前記探索画素抽出部が、前記平均化領域として、前記フィルタ群のうちの最大の探索領域に作用する最大領域フィルタが作用する該最大の探索領域と比べ同一面積および同一形状に広がる平均化領域を採用して、前記差分画像作成部で作成された差分画像群を構成する複数の差分画像のうちの、前記オブジェクト検出部において該最大領域フィルタを作用させる差分画像から、前記探索画素を抽出するものであり、
    前記オブジェクト検出部が、前記第１過程において、前記第１のフィルタを、前記第１の差分画像上の、前記探索画素抽出部で抽出された探索画素に対応する画素を含む、該第１のフィルタが作用する広さの探索領域に作用させることにより、該探索領域の中から前記一次候補領域を抽出するものであることを特徴とする請求項７記載のオブジェクト検出装置。
  9. 前記差分画像作成部が、前記差分画像群の生成に加え、さらに、補間演算により求められた、該差分画像群を構成する最大面積の差分画像の画素数よりも少なく、かつ該最大面積の差分画像を前記所定比率で間引いて得られた間引差分画像の画素数よりも多い画素数の範囲内の１つの補間差分画像、又は該範囲内で画素数が互いに異なる複数の補間差分画像と、当該補間差分画像それぞれについて、当該補間差分画像を構成する画素を前記所定比率で間引くことにより形成された、又は該所定比率で段階的に間引くことにより形成された、一枚以上の間引差分画像とからなる新たな１つ以上の差分画像群を生成するものであり、
    前記段階的検出部は、前記差分画像作成部で作成された複数の差分画像群それぞれに関し、前記抽出過程を、相対的に小さい画像に相対的に狭い探索領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い探索領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、特定種類のオブジェクトを検出するものであることを特徴とする請求項８記載のオブジェクト検出装置。
  10. 前記フィルタ記憶部が、１つの広さの探索領域につき複数種類の、それぞれが、特定種類のオブジェクトの輪郭および内部のうちのいずれかの特徴量を算出するフィルタを記憶するとともに、各フィルタにより算出される特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係を記憶するものであり、
    前記オブジェクト検出部は、１つの探索領域に、該探索領域の広さに応じた複数種類のフィルタを作用させて複数の特徴量を算出し、各特徴量に対応する各一次評価値を求め、複数の一次評価値を総合した二次評価値と閾値とを比較することにより、該探索領域が特定種類のオブジェクトが存在する候補領域であるか否かを判定するものであることを特徴とする請求項８又は９記載のオブジェクト検出装置。
  11. 前記オブジェクト検出部で複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに有することを特徴とする請求項７から１０のうちいずれか１項記載のオブジェクト検出装置。
  12. 前記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、当該オブジェクト検出装置は、画像内にあらわれる人間の頭部を検出対象とするものであることを特徴とする請求項７から１１のうちいずれか１項記載のオブジェクト検出装置。
  13. プログラムを実行する演算装置内で実行され、該演算装置を、それぞれが二次元的に配列された画素で表現された複数フレームからなる連続画像から特定種類のオブジェクトを検出するオブジェクト検出装置として動作させるオブジェクト検出プログラムであって、
    前記演算装置を、
    連続画像を構成する複数フレームの中の互いに異なる第１フレームと第２フレームとの間の差分画像を作成する差分画像作成部と、
    前記第１フレームおよび前記第２フレームそれぞれについて各画素の周囲に二次元的に所定の広さに広がる平均化領域内の複数の画素の値の平均的な値を該各画素の新たな値としたときの、該第１フレームと該第２フレームとの間の互いに対応する画素の該新たな値どうしの差分値を算出し該差分値と閾値とを比較することにより、前記差分画像上の、前記特定種類のオブジェクトの存在を探索する探索画素を抽出する探索画素抽出部と、
    画像上の、前記平均化領域と同一の面積および同一の形状に広がる探索領域に作用して、前記特定種類のオブジェクトが該探索領域に存在する確率を表わす評価値を求めるフィルタを記憶しておくフィルタ記憶部と、
    前記フィルタ記憶部に記憶されたフィルタを、前記差分画像作成部で作成された差分画像上の、前記探索画素抽出部で抽出された探索画素の周囲に広がる探索領域に作用させて該フィルタに該評価値を求めさせ、該評価値と閾値とを比較することにより前記差分画像上の、前記特定種類のオブジェクトが存在する領域を抽出するオブジェクト検出部とを有するオブジェクト検出装置として動作させることを特徴とするオブジェクト検出プログラム。
  14. 前記差分画像作成部が、前記第１フレームと前記第２フレームとの間の差分画像を作成するとともに、該第１フレームおよび該第２フレームそれぞれについて各フレームを構成する画素が所定比率で間引かれてなる、又は該所定比率で段階的に間引かれてなる、互いに対応する広さの第１間引フレームと第２間引フレームとの間の１枚以上の差分画像を作成することにより、同一シーンであって解像度が異なる複数の差分画像からなる差分画像群を作成するものであり、
    前記フィルタ記憶部が、画像上の二次元的に広がる探索領域に作用し該探索領域内に特定種類のオブジェクトが存在する確率を表わす評価値を生成するフィルタであって、画像上の領域の広さに対応する画素数が前記所定比率で異なる、又は該所定比率で段階的に異なる、複数の広さの探索領域にそれぞれ作用する複数のフィルタからなるフィルタ群を記憶しておくものであり、
    前記オブジェクト検出部が、前記差分画像作成部により作成された差分画像群のうちの相対的に小さい第１の差分画像に、前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い探索領域に作用する第１のフィルタを作用させて、所定の第１の閾値を越える評価値が得られる一次候補領域を抽出する第１の抽出過程と、
    前記差分画像作成部により作成された差分画像群のうちの前記第１の差分画像よりも画素数が一段階多い第２の差分画像の、前記一次候補領域に相当する領域に、前記フィルタ群のうちの前記第１のフィルタよりも一段階広い探索領域に作用する第２のフィルタを作用させて所定の第２の閾値を越える評価値が得られる二次候補領域を抽出する第２の抽出過程と
    を含む複数の抽出過程を、相対的に小さい差分画像に相対的に狭い探索領域に作用するフィルタを作用させる抽出過程から相対的に大きい差分画像に相対的に広い探索領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、前記差分画像中から特定種類のオブジェクトを検出するものであり、
    前記探索画素抽出部が、前記平均化領域として、前記フィルタ群のうちの最大の探索領域に作用する最大領域フィルタが作用する該最大の探索領域と比べ同一面積および同一形状に広がる平均化領域を採用して、前記差分画像作成部で作成された差分画像群を構成する複数の差分画像のうちの、前記オブジェクト検出部において該最大領域フィルタを作用させる差分画像から、前記探索画素を抽出するものであり、
    前記オブジェクト検出部が、前記第１過程において、前記第１のフィルタを、前記第１の差分画像上の、前記探索画素抽出部で抽出された探索画素に対応する画素を含む、該第１のフィルタが作用する広さの探索領域に作用させることにより、該探索領域の中から前記一次候補領域を抽出するものであることを特徴とする請求項１３記載のオブジェクト検出プログラム。
  15. 前記差分画像作成部が、前記差分画像群の生成に加え、さらに、補間演算により求められた、該差分画像群を構成する最大面積の差分画像の画素数よりも少なく、かつ該最大面積の差分画像を前記所定比率で間引いて得られた間引差分画像の画素数よりも多い画素数の範囲内の１つの補間差分画像、又は該範囲内で画素数が互いに異なる複数の補間差分画像と、当該補間差分画像それぞれについて、当該補間差分画像を構成する画素を前記所定比率で間引くことにより形成された、又は該所定比率で段階的に間引くことにより形成された、当該補間差分画像と当該補間差分画像の画素が間引かれてなる一枚以上の間引差分画像とからなる新たな１つ以上の差分画像群を生成するものであり、
    前記段階的検出部は、前記差分画像作成部で作成された複数の差分画像群それぞれに関し、前記抽出過程を、相対的に小さい画像に相対的に狭い探索領域に作用するフィルタを作用させる抽出過程から相対的に大きい画像に相対的に広い探索領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことにより、特定種類のオブジェクトを検出するものであることを特徴とする請求項１４記載のオブジェクト検出プログラム。
  16. 前記フィルタ記憶部が、１つの広さの探索領域につき複数種類の、それぞれが、特定種類のオブジェクトの輪郭および内部のうちのいずれかの特徴量を算出するフィルタを記憶するとともに、各フィルタにより算出される特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係を記憶するものであり、
    前記オブジェクト検出部は、１つの探索領域に、該探索領域の広さに応じた複数種類のフィルタを作用させて複数の特徴量を算出し、各特徴量に対応する各一次評価値を求め、複数の一次評価値を総合した二次評価値と閾値とを比較することにより、該探索領域が特定種類のオブジェクトが存在する候補領域であるか否かを判定するものであることを特徴とする請求項１４又は１５記載のオブジェクト検出プログラム。
  17. 前記演算装置を、前記オブジェクト検出部で複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに有するオブジェクト検出装置として動作させることを特徴とする請求項１３から１６のうちいずれか１項記載のオブジェクト検出プログラム。
  18. 前記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、当該オブジェクト検出プログラムは、前記演算装置を、画像内にあらわれる人間の頭部を検出対象とするオブジェクト検出装置として動作させるものであることを特徴とする請求項１３から１７のうちいずれか１項記載のオブジェクト検出プログラム。
JP2008098601A 2008-04-04 2008-04-04 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム Active JP5227639B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008098601A JP5227639B2 (ja) 2008-04-04 2008-04-04 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
PCT/JP2009/057151 WO2009123354A1 (en) 2008-04-04 2009-04-01 Method, apparatus, and program for detecting object
US12/921,502 US8577151B2 (en) 2008-04-04 2009-04-01 Method, apparatus, and program for detecting object
CN2009801115175A CN101981582B (zh) 2008-04-04 2009-04-01 用于检测对象的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008098601A JP5227639B2 (ja) 2008-04-04 2008-04-04 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム

Publications (2)

Publication Number Publication Date
JP2009251893A JP2009251893A (ja) 2009-10-29
JP5227639B2 true JP5227639B2 (ja) 2013-07-03

Family

ID=40984857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008098601A Active JP5227639B2 (ja) 2008-04-04 2008-04-04 オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム

Country Status (4)

Country Link
US (1) US8577151B2 (ja)
JP (1) JP5227639B2 (ja)
CN (1) CN101981582B (ja)
WO (1) WO2009123354A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5371685B2 (ja) * 2009-10-20 2013-12-18 キヤノン株式会社 情報処理装置及び制御方法、プログラム
JP2011160379A (ja) * 2010-02-04 2011-08-18 Sony Corp 画像処理装置および方法、並びにプログラム
JP5178797B2 (ja) * 2010-09-13 2013-04-10 キヤノン株式会社 表示制御装置及び表示制御方法
JP5873959B2 (ja) * 2010-09-27 2016-03-01 パナソニックＩｐマネジメント株式会社 ホワイトリスト内外判定装置及び方法
JP5206782B2 (ja) * 2010-12-28 2013-06-12 ブラザー工業株式会社 画像処理装置、画像処理方法およびプログラム
EP2710507B1 (en) * 2011-05-20 2019-10-16 BAE Systems PLC Supervised data transfer
JP6000602B2 (ja) * 2012-03-30 2016-09-28 キヤノン株式会社 体検出方法及び物体検出装置
US9147123B2 (en) * 2012-05-31 2015-09-29 Qualcomm Incorporated System and method to perform feature detection and to determine a feature score
US9165190B2 (en) * 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
CN103400117B (zh) * 2013-07-29 2016-02-10 电子科技大学 一种基于计算机视觉的井下人员定位跟踪方法
EP3686754A1 (en) * 2013-07-30 2020-07-29 Kodak Alaris Inc. System and method for creating navigable views of ordered images
CN103500331B (zh) * 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
US9122958B1 (en) * 2014-02-14 2015-09-01 Social Sweepster, LLC Object recognition or detection based on verification tests
US9183225B2 (en) * 2014-02-21 2015-11-10 Siemens Energy, Inc. Computerized method for transforming an image from an image-searchable domain to a pixel-searchable domain
US9262681B1 (en) * 2014-11-19 2016-02-16 Amazon Technologies, Inc. Probabilistic registration of interactions, actions or activities from multiple views
JP6375920B2 (ja) * 2014-12-11 2018-08-22 富士通株式会社 ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム
CN107025633B (zh) * 2016-01-29 2020-11-27 中兴通讯股份有限公司 一种图像处理方法及装置
CN109478333A (zh) * 2016-09-30 2019-03-15 富士通株式会社 目标检测方法、装置以及图像处理设备
CN106651803B (zh) * 2016-12-27 2020-04-24 杭州群核信息技术有限公司 户型数据的识别方法及装置
IL252032A0 (en) * 2017-04-30 2017-07-31 Pointgrab Ltd A method and system for determining presence from images
JP6822929B2 (ja) * 2017-09-19 2021-01-27 株式会社東芝 情報処理装置、画像認識方法および画像認識プログラム
CN113038868A (zh) * 2018-11-14 2021-06-25 富士胶片株式会社 医疗图像处理系统
CN110706253B (zh) * 2019-09-19 2022-03-08 中国科学院自动化研究所 基于表观特征和深度特征的目标跟踪方法、系统、装置
US11523055B1 (en) * 2020-05-29 2022-12-06 Humane, Inc. Super resolution/super field of view (FOV) digital photography

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596242B2 (en) * 1995-06-07 2009-09-29 Automotive Technologies International, Inc. Image processing for vehicular applications
JP3276547B2 (ja) * 1995-12-01 2002-04-22 シャープ株式会社 画像認識方法
US20060153447A1 (en) * 2002-12-05 2006-07-13 Seiko Epson Corporation Characteristic region extraction device, characteristic region extraction method, and characteristic region extraction program
JP2004295776A (ja) 2003-03-28 2004-10-21 Minolta Co Ltd 画像認識装置および画像認識プログラム
JP4390487B2 (ja) 2003-07-03 2009-12-24 セコム株式会社 頭部領域抽出装置
JP2005092451A (ja) 2003-09-16 2005-04-07 Sony Corp 頭部検出装置及び頭部検出方法、並びに頭部検出プログラム
JP4563740B2 (ja) * 2004-07-13 2010-10-13 グローリー株式会社 画像照合装置、画像照合方法および画像照合プログラム。
JP2006318341A (ja) 2005-05-16 2006-11-24 Sony Corp 検知対象画像判定装置、検知対象画像判定方法および検知対象画像判定プログラム
JP3962803B2 (ja) 2005-12-16 2007-08-22 インターナショナル・ビジネス・マシーンズ・コーポレーション 頭部検出装置、頭部検出方法および頭部検出プログラム
US7720288B2 (en) * 2006-03-21 2010-05-18 Eastman Kodak Company Detecting compositing in a previously compressed image
JP4631806B2 (ja) * 2006-06-05 2011-02-16 日本電気株式会社 物体検出装置、物体検出方法および物体検出プログラム

Also Published As

Publication number Publication date
US20110019920A1 (en) 2011-01-27
CN101981582B (zh) 2013-10-16
JP2009251893A (ja) 2009-10-29
WO2009123354A1 (en) 2009-10-08
US8577151B2 (en) 2013-11-05
CN101981582A (zh) 2011-02-23

Similar Documents

Publication Publication Date Title
JP5227639B2 (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
JP5227629B2 (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
JP5214533B2 (ja) 人物追跡方法、人物追跡装置および人物追跡プログラム
JP5227888B2 (ja) 人物追跡方法、人物追跡装置および人物追跡プログラム
JP7482181B2 (ja) 画像処理装置、画像処理方法
Li et al. Robust visual tracking based on convolutional features with illumination and occlusion handing
JP5027030B2 (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
CN110210276A (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN107871106A (zh) 人脸检测方法和装置
CN108985210A (zh) 一种基于人眼几何特征的视线追踪方法及系统
CN110310285B (zh) 一种精确的基于三维人体重建的烧伤面积计算方法
CN106650619A (zh) 一种人体动作识别方法
JP6207210B2 (ja) 情報処理装置およびその方法
JP2009020761A (ja) 画像処理装置及びその方法
CN108681711A (zh) 一种面向移动机器人的自然路标提取方法
JP2005242640A (ja) 対象物検出方法および装置並びにプログラム
JP2019212148A (ja) 情報処理装置及び情報処理プログラム
Zhou et al. Human recognition at a distance in video by integrating face profile and gait
JP2009251892A (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
Xie et al. A method of small face detection based on CNN
JP2017182436A (ja) 画像認識装置、及び画像認識プログラム
Kourbane et al. Skeleton-aware multi-scale heatmap regression for 2D hand pose estimation
JP2021064120A (ja) 情報処理装置、情報処理方法、及びプログラム
Jiang [Retracted] Application of Rotationally Symmetrical Triangulation Stereo Vision Sensor in National Dance Movement Detection and Recognition
Liu et al. Free-head pose estimation under low-resolution scenarios

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130318

R150 Certificate of patent or registration of utility model

Ref document number: 5227639

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250