JP3714350B2 - 画像中の人物候補領域抽出方法及び人物候補領域抽出システム並びに人物候補領域抽出プログラム - Google Patents

Description

本発明は、パターン認識（Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ）やオブジェクト認識技術に係り、特に人物像が含まれる画像の天地判定及び当該画像中から人物が存在する可能性が高い領域を抽出することを目的とした画像中の人物候補領域抽出方法及び人物候補領域抽出システム並びに人物候補領域抽出プログラムに関するものである。

近年のパターン認識技術やコンピュータ等の情報処理装置の高性能化に伴ってマシンによる文字や音声の認識精度は飛躍的に向上してきているが、人物や物体・景色等が映っている画像、例えば、ディジタルスチルカメラ等によって取り込まれた画像のパターン認識のうち、特にその画像中に人の顔が映っているか否かを正確且つ高速に識別するといった点に関しては未だに極めて困難な作業であることが知られている。

しかしながら、このように画像中に人の顔が映っているか否か、さらにはその人物が誰であるのかをコンピュータ等によって自動的に正確に識別することは、生体認識技術の確立やセキュリティの向上、犯罪捜査の迅速化、画像データの整理・検索作業の高速化等を実現する上で極めて重要なテーマとなってきている。

このように将来極めて有用性が高い顔認識技術を確立するためには、先ず、検出対象となる画像中の人物顔が存在する領域を可能な限り迅速にかつ正確に検出して特定する技術が必要となってくる。

例えば、以下の特許文献１等では、先ず画像中の肌色領域を抽出し、抽出した領域に合わせてモザイクデータを作成し、これを画像辞書と比較してその一致度を計算して顔画像領域を検出するようにしている。
特開平９−５０５２８号公報

しかしながら、肌色領域は必ずしも人間の顔領域とは一致せず、肌色領域を広く定義すれば、不要な領域を抽出し、反対に狭く定義すれば抽出漏れを起こすといった不都合がある。

一方、顔画像の検出対象画像中から人物顔を高速で探索する場合は、その画像中の探索領域をできるだけ絞り込むことが重要となってくる。

そこで、本発明はこのような課題を有効に解決するために案出されたものであり、その主な目的は、人物像が含まれる画像の天地判別及び当該画像中の人物像が存在する領域を頑健（ロバスト）かつ高速に抽出することができる新規な画像中の人物候補領域抽出方法及び人物候補領域抽出システム、人物候補領域抽出プログラム、並びに人物像の天地判定方法及び天地判定システム、天地判定プログラムを提供するものである。

〔発明１〕上記課題を解決するために発明１の画像中の人物候補領域抽出方法は、
人物像が含まれる画像中から当該人物像が存在する領域を抽出する方法であって、前記画像を構成する縦横の画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量の分散値を求めると共に、前記縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値が閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士の重なり合う画像中の領域を前記人物が存在する領域として抽出するようにしたことを特徴とするものである。

このように画像を構成する縦方向の画素列からなる縦ライン及び横方向の画素列からなる横ラインについてそれぞれの画像特徴量の分散値を求めるのは、一般にこの画像特徴量の分散値は、証明写真を撮影するような、一様、あるいは一定のパターンで構成される背景の場合、後に詳述するように人物が存在している領域では高くなり、人物が存在していない背景領域等では低くなる傾向があるからである。

従って、前記縦ライン方向及び横ライン方向についてそれぞれ得られた画像特徴量の分散値について閾値を設定し、その閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士が重なり合う画像中の領域を特定するようにすれば、画像中の人物像が存在する領域を頑健（ロバスト）かつ高速に抽出することができる。

〔発明２〕上記課題を解決するために発明２の画像中の人物候補領域抽出方法は、
人物像が含まれる画像中から当該人物像が存在する領域を抽出する方法であって、前記画像中の人物像の天地方向を判別し、その判別結果に基づいて前記画像を回転させて前記人物像を実際の天地方向に修正し、その後、当該画像を構成する縦横の画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量の分散値を求めると共に、前記縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値が閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士の重なり合う画像中の領域を抽出するようにしたことを特徴とするものである。

すなわち、発明１のように画像特徴量の分散値を利用して人物像が存在する領域を頑健かつ高速に抽出するためには、その前提として、対象となる画像の天地方向と実際の天地方向とが一致していなければならない。そのため、本発明では、先ず、その画像中の人物像の天地方向を判別してその人物像を実際の天地方向に修正することで人物顔を本来の天地方向に一致させるようにしたものである。

そして、このようにして人物顔の位置の修正が終了したならば、その後は発明１と同様にその画像を構成する縦方向の画素列からなる縦ライン及び横方向の画素列からなる横ラインについてそれぞれの画像特徴量の分散値を求めた後、前記縦ライン方向及び横ライン方向についてそれぞれ得られた画像特徴量の分散値について閾値を設定し、その閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士が重なり合う画像中の領域を特定する。

これによって、発明１と同様に画像中の人物像が存在する領域を頑健かつ高速に抽出できることに加え、その画像中の人物像の天地方向の判別及びその修正を自動的に行うことが可能となるため、より容易に人物像が存在する領域を抽出することができる。

〔発明３〕発明３の画像中の人物候補領域抽出方法は、
発明２に記載の画像中の人物候補領域抽出方法において、前記画像中の人物像の天地方向の判別は、前記画像が三角形以上の多角形の枠で囲まれており、かつ当該画像中に含まれる人物像が上半身または頭部を中心とした一部であるときは、当該画像枠の各辺又は各辺近傍のラインを構成する画素列について画像特徴量の分散値を求め、その分散値が最も大きい辺又はライン近傍の辺側を地面方向とするようにしたことを特徴とするものである。

すなわち、対象となる画像中に含まれる人物像が上半身または頭部を中心とした一部であるときは、その人物像の一部が画像枠のいずれかの辺で切れているのが通常である。

従って、その画像枠の各辺又は各辺近傍のラインを構成する画素列について画像特徴量の分散値を求め、その分散値が最も大きい辺又はライン近傍の辺側を当該人物像の切れている部分とみなすことができるため、その辺側を地面方向とすることで画像の人物像の天地判定を確実かつ容易に行うことができる。

〔発明４〕発明４の画像中の人物候補領域抽出方法は、
発明３に記載の画像中の人物候補領域抽出方法において、前記画像の各ラインを複数本近接して選択し、当該各ラインについての画像特徴量の分散値の平均値を用いるようにしたことを特徴とするものである。

これによって、画像の辺近傍にノイズや汚れが存在していても、その影響による誤検出を回避して各辺毎の的確な分散値を求めることができる。

〔発明５〕発明５の画像中の人物候補領域抽出方法は、
発明１〜４のいずれかに記載の画像中の人物候補領域抽出方法において、前記縦ライン及び横ラインは、前記画像の幅方向及び高さ方向に一定間隔毎のラインを用いるようにしたことを特徴とするものである。

前記画像特著量の分散値は、その画像の幅方向及び高さ方向の全ラインを用いて算出しても良いが、本発明のように一定間隔毎のラインを用いれば、分散値を得るための情報処理量が大幅に削減されるため、より高速に人物像が存在する領域を抽出することができる。

〔発明６〕発明６の画像中の人物候補領域抽出方法は、
発明１〜６のいずれかに記載の画像中の人物候補領域抽出方法において、前記画像特徴量は、前記各ラインを構成する画素列の各画素のエッジ強度または色相角のいずれか、あるいは双方に基づいて算出するようにしたことを特徴とするものである。

すなわち、画像のエッジは公知のエッジ検出オペレータを利用することで高速に算出できる上に、照明の影響等を軽減することができるため、これを画像特徴量として採用すれば、その分散値を正確かつ高速に算出することが可能となる。

一方、背景と人物像のエッジ強度の差異が小さい場合等には、色相角を用いることにより、その分散値を正確かつ高速に算出することが可能となる。

さらに、画像の種類等、必要に応じてこれらの双方を画像特徴量として採用すれば、その分散値をより正確かつ高速に算出することが可能となる。

〔発明７〕発明７の画像中の人物候補領域抽出方法は、
発明６に記載の画像中の人物候補領域抽出方法において、前記エッジ強度は、Ｓｏｂｅｌのエッジ検出オペレータを用いるようにしたことを特徴とするものである。

すなわち、画像中の急激な濃淡変化を検出する最も代表的な方法は濃淡に関する微分を求めることである。そして、デジタル画像の微分は差分で代用されることから前記顔検出枠内の画像を一次微分することによって当該画像中の濃淡が急激に変化しているエッジ部分を効果的に検出することができる。

そして、本発明は、この一次微分型のエッジ検出オペレータ（フィルタ）として、検出性能に優れている公知のＳｏｂｅｌのエッジ検出オペレータを用いるようにしたものであり、これによって前記画像内の人物像のエッジを確実に検出することができる。

〔発明８〕発明８の画像中の人物候補領域抽出システムは、
人物像が含まれる画像中から当該人物像が存在する領域を抽出するシステムであって、前記画像を読み取る画像読取手段と、当該画像読取手段で読み取られた画像を構成する画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量を算出する画像特徴量算出手段と、当該画像特徴量算出手段で得られた縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値を求める分散値算出手段と、当該分散値算出手段で得られた画像特徴量の分散値が縦ライン方向及び横ライン方向でそれぞれ閾値を超える各ライン方向の領域から前記人物が存在する領域を検出する人物候補領域検出手段と、を備えたことを特徴とするものである。

これによって、発明１と同様に、画像中の人物像が存在する領域を頑健（ロバスト）かつ高速に抽出することができる。

また、これら各手段を専用の回路やコンピュータシステムを利用して実現することで、これらの作用・効果を自動的に発揮することが可能となる。

〔発明９〕発明９の画像中の人物候補領域抽出システムは、
人物像が含まれる画像中から当該人物像が存在する領域を抽出するシステムであって、前記画像を読み取る画像読取手段と、当該画像読取手段で読み取った画像中の人物像の天地方向を判別する天地判別手段と、当該天地判別手段の結果に基づいて前記画像を回転させて前記人物像を実際の天地方向に修正する天地修正手段と、当該天地修正手段で天地方向が修正された後の当該画像を構成する画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量を算出する画像特徴量算出手段と、当該画像特徴量算出手段で得られた縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値を求める分散値算出手段と、当該分散値算出手段で得られた画像特徴量の分散値が縦ライン方向及び横ライン方向でそれぞれ閾値を超える各ライン方向の領域から前記人物が存在する領域を検出する人物候補領域検出手段と、を備えたことを特徴とするものである。

これによって、発明２と同様に、画像中の人物像が存在する領域を頑健かつ高速に抽出することができる。

また、発明８と同様にこれら各手段を専用の回路やコンピュータシステムを利用して実現することで、これらの作用・効果を自動的に発揮することが可能となる。

〔発明１０〕発明１０の画像中の人物候補領域抽出システムは、
発明９に記載の画像中の人物候補領域抽出システムにおいて、前記画像中の人物像の天地方向を判別する天地判別手段は、前記画像が三角形以上の多角形の枠で囲まれており、かつ当該画像中に含まれる人物像が上半身または頭部を中心とした一部であるときは、当該画像の各辺又は各辺近傍のラインについて画像特徴量の分散値を求め、その分散値が最も大きい辺又はライン近傍の辺側を地面方向とするようになっていることを特徴とするものである。

これによって、発明３と同様に、画像枠の人物像の切れている辺を検出することができるため、前記画像の人物像の天地判定を確実かつ容易に行うことができる。

〔発明１１〕発明１１の画像中の人物候補領域抽出システムは、
発明１０に記載の画像中の人物候補領域抽出方システムにおいて、前記画像中の人物像の天地方向を判別する天地判別手段は、前記画像の各ラインを複数本近接して選択し、当該各ラインについての画像特徴量の分散値の平均値を用いるようになっていることを特徴とするものである。

これによって、発明４と同様に画像の辺近傍にノイズや汚れが存在していても、その影響による誤検出を回避して各辺毎の的確な分散値を求めることができる。

〔発明１２〕発明１２の画像中の人物候補領域抽出システムは、
発明９〜１１のいずれかに記載の画像中の人物候補領域抽出システムにおいて、画像特徴量算出手段は、前記縦ライン及び横ラインとして、前記画像の幅方向及び高さ方向に一定間隔毎のラインを用いるようになっていることを特徴とするものである。

これによって、発明５と同様に分散値を得るための情報処理量が大幅に削減されるため、より高速に人物像が存在する領域を抽出することができる。

〔発明１３〕発明１３の画像中の人物候補領域抽出システムは、
発明９〜１２のいずれかに記載の画像中の人物候補領域抽出システムにおいて、画像特徴量算出手段は、前記画像特徴量を、前記各ラインを構成する画素列の各画素のエッジ強度または色相角のいずれか、あるいは双方に基づいて算出するようになっていることを特徴とするものである。

これによって、発明５と同様に画像特徴量の分散値をより正確かつ高速に算出することが可能となる。

〔発明１４〕発明１４の画像中の人物候補領域抽出システムは、
発明１３に記載の画像中の人物候補領域抽出システムにおいて、画像特徴量算出手段は、前記エッジ強度を、Ｓｏｂｅｌのエッジ検出オペレータを用いて算出するようになっていることを特徴とするものである。

これによって、発明７と同様に画像のエッジ部分を確実に検出することができる。

〔発明１５〕発明１５の画像中の人物候補領域抽出プログラムは、
人物像が含まれる画像中から当該人物が存在する領域を抽出するプログラムであって、 前記画像を構成する画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量を算出する画像特徴量算出手段と、当該画像特徴量算出手段で得られた縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値を求める分散値算出手段と、当該分散値算出手段で得られた画像特徴量の分散値が縦ライン方向及び横ライン方向でそれぞれ閾値を超える各ライン方向の領域から前記人物が存在する領域を検出する人物候補領域検出手段と、をコンピュータに機能させることを特徴とするものである。

これによって、発明１と同様な効果を得られると共に、パソコン（ＰＣ）等の汎用のコンピュータ（ハードウェア）を用いてソフトウェア上でその機能を実現することが可能となるため、専用の装置を作成して実現する場合に比べて経済的且つ容易に実現することができる。また、多くの場合プログラムの書き換えだけでその機能の変更、改良等のバージョンアップを容易に達成することが可能となる。

〔発明１６〕発明１６の画像中の人物候補領域抽出プログラムは、
人物像が含まれる画像中から当該人物が存在する領域を抽出するプログラムであって、前記画像中の人物像の天地方向を判別する天地判別手段と、当該天地判別手段の結果に基づいて前記画像を回転させて前記人物像を実際の天地方向に修正する天地修正手段と、
当該天地修正手段で天地方向が修正された後の当該画像を構成する画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量を算出する画像特徴量算出手段と、当該画像特徴量算出手段で得られた縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値を求める分散値算出手段と、当該分散値算出手段で得られた画像特徴量の分散値が縦ライン方向及び横ライン方向でそれぞれ閾値を超える各ライン方向の領域から前記人物が存在する領域を検出する人物候補領域検出手段と、をコンピュータに機能させることを特徴とするものである。

これによって、発明２と同様な効果を得られると共に、発明１５と同様にパソコン（ＰＣ）等の汎用のコンピュータ（ハードウェア）を用いてソフトウェア上でその機能を実現することが可能となるため、専用の装置を作成して実現する場合に比べて経済的且つ容易に実現することができる。また、多くの場合プログラムの書き換えだけでその機能の変更、改良等のバージョンアップを容易に達成することが可能となる。

〔発明１７〕発明１７の画像中の人物候補領域抽出プログラムは、
発明１６に記載の画像中の人物候補領域抽出プログラムにおいて、前記画像中の人物像の天地方向を判別する天地判別手段は、前記画像が三角形以上の多角形の枠で囲まれており、かつ当該画像中に含まれる人物像が上半身または頭部を中心とした一部であるときは、当該画像の各辺又は各辺近傍のラインについて画像特徴量の分散値を求め、その分散値が最も大きい辺又はライン近傍の辺側を地面方向とするようになっていることを特徴とするものである。

これによって、発明３と同様な効果が得られると共に、発明１５と同様に、より経済的且つ容易に実現することが可能となる。

〔発明１８〕発明１８の画像中の人物候補領域抽出プログラムは、
発明１７に記載の画像中の人物候補領域抽出方プログラムにおいて、前記画像中の人物像の天地方向を判別する天地判別手段は、前記画像の各ラインを複数本近接して選択し、当該各ラインについての画像特徴量の分散値の平均値を用いるようになっていることを特徴とするものである。

これによって、発明４と同様に的確な分散値を求めることができると共に、発明１５と同様により経済的且つ容易に実現することが可能となる。

〔発明１９〕発明１９の画像中の人物候補領域抽出プログラムは、
発明１５〜１８のいずれかに記載の画像中の人物候補領域抽出プログラムにおいて、画像特徴量算出手段は、前記縦ライン及び横ラインとして、前記画像の幅方向及び高さ方向に一定間隔毎のラインを用いるようになっていることを特徴とするものである。

これによって、発明５と同様により高速に人物像が存在する領域を抽出できると共に、発明１５と同様により経済的且つ容易に実現することが可能となる。

〔発明２０〕発明２０の画像中の人物候補領域抽出プログラムは、
発明１５〜１９のいずれかに記載の画像中の人物候補領域抽出プログラムにおいて、画像特徴量算出手段は、前記画像特徴量を、前記各ラインを構成する画素列の各画素のエッジ強度または色相角のいずれか、あるいは双方に基づいて算出するようになっていることを特徴とするものである。

これによって、発明６と同様に画像特徴量の分散値をより正確かつ高速に算出することが可能となると共に、発明１５と同様により経済的且つ容易に実現することが可能となる。

〔発明２１〕発明２１の画像中の人物候補領域抽出プログラムは、
発明２０に記載の画像中の人物候補領域抽出プログラムにおいて、画像特徴量算出手段は、前記エッジ強度を、Ｓｏｂｅｌのエッジ検出オペレータを用いて算出するようになっていることを特徴とするものである。

これによって、発明７と同様に画像のエッジ部分を確実に検出することができると共に、発明１５と同様により経済的且つ容易に実現することが可能となる。

〔発明２２〕発明２２の人物像の天地判定方法は、
三角形以上の多角形の枠内に上半身又は頭部を中心とした人物像が存在する画像中の当該人物像の天地方向を判別する方法であって、前記画像の各辺又は各辺近傍のラインを構成する画素列の画像特徴量の分散値を求め、その分散値が最も大きい辺又はライン近傍の辺側を地面方向と判別するようにしたことを特徴とするものである。

すなわち、三角形以上の多角形の枠内に上半身又は頭部を中心とした人物像が存在する画像の場合では、その人物像の一部が画像枠のいずれかの辺で切れているのが通常である。

そのため、その画像枠の各辺又は各辺近傍のラインを構成する画素列について画像特徴量の分散値を求め、その分散値が最も大きい辺又はライン近傍の辺側を当該人物像の切れている部分とみなすことができる。

従って、その人物像の切れている辺側を地面方向とすることで、人物像の天地判定を確実かつ容易に行うことができる。

〔発明２３〕発明２３の人物像の天地判定システムは、
三角形以上の多角形の枠内に上半身又は頭部を中心とした人物像が存在する画像中の当該人物像の天地方向を判別するシステムであって、前記画像の各辺又は各辺近傍のラインを構成する画素列の画像特徴量の分散値を算出する分散値算出手段と、当該分散値算出手段で得られた分散値が最も大きい辺又はライン近傍の辺側を地面方向と判別する天地判別手段と、を備えたことを特徴とするものである。

これによって、発明２２と同様に人物像の天地判定を確実かつ容易に行うことができると共に、これらの処理を専用の回路やコンピュータシステムを利用して実現することで、その判定を自動的に行うことが可能となる。

〔発明２４〕発明２４の人物像の天地判定プログラムは、
三角形以上の多角形の枠内に上半身又は頭部を中心とした人物像が存在する画像中の当該人物像の天地方向を判別するプログラムであって、コンピュータを、前記画像の各辺又は各辺近傍のラインを構成する画素列の画像特徴量の分散値を算出する分散値算出手段と、当該分散値算出手段で得られた分散値が最も大きい辺又はライン近傍の辺側を地面方向と判別する天地判別手段と、して機能させることを特徴とするものである。

これによって、発明２２と同様に人物像の天地判定を確実かつ容易に行うことができると共に、パソコン（ＰＣ）等の汎用のコンピュータ（ハードウェア）を用いてソフトウェア上でその機能を実現することが可能となるため、専用の装置を作成して実現する場合に比べて経済的且つ容易に実現することができる。また、多くの場合プログラムの書き換えだけでその機能の変更、改良等のバージョンアップを容易に達成することが可能となる。

以下、本発明を実施するための最良の形態を添付図面を参照しながら詳述する。

図１は、本発明に係る画像中の人物候補領域抽出システム１００の実施の一形態を示したものである。

図示するように、この人物候補領域抽出システム１００は、人物候補領域抽出の対象となる画像Ｇを読み取る画像読取手段１０と、この画像読取手段１０で読み取った画像Ｇ中の人物像の天地方向を判別する天地判別手段１１と、この天地判別手段１１の結果に基づいてその人物像を実際の天地方向に修正する天地修正手段１２と、この天地修正手段１２で天地方向が修正された後の画像Ｇの画像特徴量を算出する画像特徴量算出手段１３と、この画像特徴量算出手段１３で得られた画像特徴量の分散値を求める分散値算出手段１４と、この分散値算出手段１４で得られた画像特徴量の分散値に基づいて人物が存在する領域を検出する人物候補領域検出手段１５とから主に構成されている。

先ず、画像読取手段１０は、パスポートや運転免許証等の身分証明書用の写真や一部のスナップ写真等のように、背景が一様か、あるいは複雑な変化がない、矩形状の枠（縁）内に上半身又は頭部を中心とした人物像が含まれる画像Ｇを、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像センサを利用して、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれの画素データからなるデジタル画像データとして読み取って取り込むような機能を提供するようになっている。

具体的には、ディジタルスチルカメラやデジタルビデオカメラ等のＣＣＤ、ＣＭＯＳカメラやビジコンカメラ、イメージスキャナ、ドラムスキャナ等であり、前記撮像センサ光学的に読み込んだ顔画像ＧをＡ／Ｄ変換してそのディジタル画像データを天地判別手段１１へ順次送る機能を提供するようになっている。

尚、この画像読取手段１０にはデータ保存機能が備えられており、読み込んだ顔画像データをハードディスクドライブ装置（ＨＤＤ）等の記憶装置やＤＶＤ−ＲＯＭ等の記憶媒体等に適宜保存可能となっている。また、画像Ｇがネットワークや記憶媒体等を介してデジタル画像データとして供給される場合には、この画像読取手段１０は不要となるか、あるいは、ＤＣＥ（Ｄａｔａ Ｃｉｒｃｕｉｔ Ｔｅｒｍｉｎａｔｉｎｇ Ｅｑｕｉｐｍｅｎｔ）やＣＣＵ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、ＣＣＰ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｃｅｓｓｏｒ）等の通信手段やインターフェース（Ｉ／Ｆ）等として機能することになる。

次に、天地判別手段１１は、三角形以上の多角形の画像枠内に上半身又は頭部を中心とした人物像が存在する画像Ｇの天地方向を判別する機能を提供するものであり、その人物像が欠けている画像枠の一つの辺を検出し、この辺を地面方向としてその画像Ｇの天地方向を判別するようになっている。

すなわち、例えば、画像読取手段１０で読み取られた画像Ｇが、図４に示すような矩形状の画像枠Ｆ内にほぼ胸部より上の上半身の人物像が存在しているようなものである場合、その画像枠Ｆの４つの辺ｆ１、ｆ２、ｆ３、ｆ４、またはその近傍に設定された４つのラインＬ１、Ｌ２、Ｌ３、Ｌ４を構成する画素列から得られる画像特徴量の分散値に基づいてその人物像の天地方向を判別するようになっている。尚、この画像枠Ｆの各辺またはその近傍に設定された各ラインを構成する画素列から得られる画像特徴量の分散値の具体的な算出方法などについては後に詳述する。

次に、天地修正手段１２は、この天地判別手段１１の結果に基づいてその人物像を実際の天地方向に修正する機能を提供するものであり、例えば、図４の例では、図中左側の辺、すなわち、人物像が切れている側の辺ｆ４が地面方向となるように画像Ｇ全体を反時計回りに９０°（あるいは時計回りに２７０°）回転させてその天地方向を実際の天地方向と一致するように修正するようになっている。

画像特徴量算出手段１３は、前記天地修正手段１２で天地方向が修正された後の画像Ｇを構成する画素の画像特徴量を算出する機能を提供するものであり、具体的にはエッジ算出部２０または色相角算出部２１によって縦横の画素列からなる縦ライン及び横ラインを構成する画素列の各画素のエッジ強度または色相角のいずれか、あるいは双方を検出し、検出された値に基づいて各画素の画像特徴量を算出するようになっている。

また、分散値算出手段１４は、この画像特徴量算出手段１３で得られた画像特徴量の分散値を求める機能を提供するようになっており、その具体例については後述する。

人物候補領域検出手段１５は、この分散値算出手段１４で得られた画像特徴量の分散値に基づいて人物が存在する領域を検出する機能を提供するものであり、前記縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値が閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士の重なり合う画像中の領域を前記人物が存在する領域として抽出するようになっている。

尚、このような本発明の人物候補領域抽出システム１００を構成する各手段１０、１１，１２，１３，１４，１５等は、実際には、図２に示すようにＣＰＵやＲＡＭ等からなるハードウェアと、図３等に示すようなアルゴリズムを記述した専用のコンピュータプログラム（ソフトウェア）とからなるパソコン（ＰＣ）等のコンピュータシステムによって実現されるようになっている。

すなわち、この人物候補領域抽出システム１００を実現するためのハードウェアは、図２に示すように、各種制御や演算処理を担う中央演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０と、主記憶装置（Ｍａｉｎ Ｓｔｏｒａｇｅ）に用いられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４１と、読み出し専用の記憶装置であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２と、ハードディスクドライブ装置（ＨＤＤ）や半導体メモリ等の補助記憶装置（Ｓｅｃｏｎｄａｒｙ Ｓｔｏｒａｇｅ）４３、及びモニタ（ＬＣＤ（液晶ディスプレイ）やＣＲＴ（陰極線管））等からなる出力装置４４、イメージスキャナやキーボード、マウス、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像センサ等からなる入力装置４５と、これらの入出力インターフェース（Ｉ／Ｆ）４６等との間を、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスやＩＳＡ（Ｉｎｄｕｓｔｒｉａｌ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ；アイサ）バス等からなるプロセッサバス、メモリバス、システムバス、入出力バス等の各種内外バス４７によってバス接続したものである。

そして、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等の記憶媒体、あるいは通信ネットワーク（ＬＡＮ、ＷＡＮ、インターネット等）Ｎを介して供給される各種制御用プログラムやデータを補助記憶装置４３等にインストールすると共にそのプログラムやデータを必要に応じて主記憶装置４１にロードし、その主記憶装置４１にロードされたプログラムに従ってＣＰＵ４０が各種リソースを駆使して所定の制御及び演算処理を行い、その処理結果（処理データ）をバス４７を介して出力装置４４に出力して表示すると共に、そのデータを必要に応じて補助記憶装置４３によって形成されるデータベースに適宜記憶、保存（更新）処理するようにしたものである。

次に、このような構成をした本発明の人物候補領域抽出システム１００を用いた人物候補領域抽出方法の一例を図４〜図７を用いて説明する。

図３は、本発明の人物候補領域抽出に関する処理の流れの一例を示したフローチャートである。

先ず、画像読取手段１１によって対象となる画像Ｇを読み取ったならば、最初のステップＳ１００に示すように、その画像Ｇの画像枠を構成する各辺、又は各辺に近いラインを構成する画素毎の画像特徴量を算出すると共にその画像特徴量の分散値を算出する。例えば、画像読取手段１１によって読み取られた画像Ｇが図４に示すような矩形状の画像枠Ｆを有するものである場合、その画像枠Ｆは４つの辺ｆ１，ｆ２，ｆ３，ｆ４からなっていることから、その４つの辺ｆ１，ｆ２，ｆ３，ｆ４をそれぞれ構成する各画素、または、これら各辺ｆ１，ｆ２，ｆ３，ｆ４の近傍であってそれぞれ各辺ｆ１，ｆ２，ｆ３，ｆ４と平行に延びるラインＬ１，Ｌ２，Ｌ３，Ｌ４を構成する各画素について、エッジ強度または色相角、あるいは双方に基づく画像特徴量を算出する。

ここで、本発明でいう「エッジ強度」及び「色相角」とは、画像処理分野で一般的に定義されている意味と同じ意味である。

すなわち、エッジ強度は、例えば、予め各画素の輝度（Ｙ）を算出し、その輝度値を基に「Ｓｏｂｅｌのエッジ検出オペレータ」等に代表される公知の一次微分型（差分型）のエッジ検出オペレータを用いることで容易に算出することができる。

図９（ａ）、（ｂ）は、この「Ｓｏｂｅｌのエッジ検出オペレータ」を示したものであり、同図（ａ）に示すオペレータ（フィルタ）は、注目画素を囲む８つの画素値のうち、左列及び右列に位置するそれぞれ３つの画素値を調整することで横方向のエッジを強調し、同図（ｂ）に示すオペレータは、注目画素を囲む８つの画素値のうち、上行及び下列に位置するそれぞれ３つの画素値を調整して縦方向のエッジを強調することで縦横のエッジを検出するものである。そして、このようなオペレータで生成した結果を二乗和した後、平方根をとることでエッジの強度を求めることができるようになっている。また、この「Ｓｏｂｅｌのオペレータ」に代えて「Ｒｏｂｅｒｔｓ」や「Ｐｒｅｗｉｔｔ」等の他の一次微分型のエッジ検出オペレータ等を適用することも可能である。

一方、色相角は、色の違いを示す属性であり、「色相角」とは「マンセルの色相環」や「マンセルの色立体」等の色指標図を用いて、その背景色を基準としたときの頭髪の色の位置までの角度をいうものである。例えば、「マンセルの色相環」によれば、基準となる背景色を「Ｂｌｕｅ」とした場合、頭髪の色が「Ｇｒｅｅｎ」よりも「Ｙｅｌｌｏｗ」や「Ｒｅｄ」の方が色相角が大きい（画像特徴量が大きい）ということになる。

そして、このようにして各辺ｆ１，ｆ２，ｆ３，ｆ４又はその近傍のラインＬ１，Ｌ２，Ｌ３，Ｌ４を構成する各画素について画像特徴量が算出されたならば、その各辺ｆ１，ｆ２，ｆ３，ｆ４又はその近傍のラインＬ１，Ｌ２，Ｌ３，Ｌ４毎の画像特徴量の分散値を算出する。

次に、ステップＳ１０２に移行して、各辺ｆ１，ｆ２，ｆ３，ｆ４又はその近傍のラインＬ１，Ｌ２，Ｌ３，Ｌ４のなかで算出された画像特徴量の分散値が最も大きいものを選択し、その辺又はラインがある部分を地面方向であるとみなす。

図４の例では、各辺ｆ１，ｆ２，ｆ３，ｆ４又はその近傍のラインＬ１，Ｌ２，Ｌ３，Ｌ４のうち、辺ｆ４又はラインＬ４を除く部分が、一様あるいは変化の少ない背景のみで構成され、辺ｆ４又はラインＬ４の部分に人物の一部（胸部）がかかっていることから、辺ｆ４又はラインＬ４の画像特徴量の分散値が最も大きくなる。その結果、図中左側の辺ｆ４又はラインＬ４側が地面方向とみなされることになる。

そして、このようにして人物候補領域抽出対象となる画像Ｇの天地方向が判別されたならば、ステップＳ１０４に移行してその画像Ｇを天地方向に合わせて回転させる。

図４の例では辺ｆ４又はラインＬ４側が地面方向とみなされたことから、辺ｆ４又はラインＬ４側が図中矢印で示すような実際の地面方向に向くように、その画像Ｇを反時計回りに９０°、あるいは時計回りに２７０°回転させる。

次に、このようにして画像Ｇを回転させてその天地方向を実際の天地方向に一致させたならば、次のステップＳ１０６に移行して全ての垂直ラインについてその画像特徴量の分散値を求める。

例えば、図６に示すように、ある画像Ｇが、縦（図中Ｙ方向）３００画素×横（図中Ｘ方向）５００画素からなるものである場合には、縦（垂直）方向に並んだ３００個の画素列からなる一つの垂直ライン毎にそれぞれの画像特徴量の分散値を算出することになることから、合計５００の垂直ラインについてそれぞれの分散値を求めることになる。

そして、このようにして全ての垂直ライン毎の画像特徴量の分散値を算出したならば、次のステップＳ１０８に移行して、その分散値に閾値を設定し、閾値を超える垂直ラインを画像Ｇの左辺（左枠）及び右辺（右枠）から順に内側に探索し、閾値を超える領域を人物候補領域とみなすと共に、それぞれの水平位置の中心を人物候補領域の中心とする。

図６の例では、左辺（左枠）及び右辺（右枠）から順に内側に探索した結果、点ａ及び点ｂの部分で閾値を超えたことから、垂直方向では点ａ及び点ｂ間が人物候補領域であると特定され、また、点ａ及び点ｂ間の中点が人物像の中心であると特定されることになる。

次に、このようにして垂直方向の人物候補領域が特定されたならば、次のステップＳ１１０に移行して、前記と同様に今度は全ての水平ラインについてそれぞれの分散値を求める。図６の例では、画素が縦（垂直）方向に３００個並んでいることから、合計５００の垂直ラインについてそれぞれの分散値を求めることになる。

このようにして全ての水平ライン毎の分散値を求めたならば、前記ステップＳ１０８と同様に、その分散値に閾値を設定し、次のステップＳ１１２に移行して、閾値を超える水平ラインを画像Ｇの上辺（上枠）から順に下方向に探索し、閾値を超えるその下部の領域を人物候補領域とみなす。

図６の例では、上辺（上枠）から順に下方に探索した結果、点ｃの部分で閾値を超えたことから、水平方向では点ｃ以下の領域が人物候補領域であると特定され、また、点ｃ付近が人物像の頂点、すなわち、頭頂部であると特定されることになる。尚、前述したように、この画像Ｇはその人物の一部がかかった領域が必ず地面方向に位置していることから下辺からの探索は不要である。

そして、次のステップＳ１１４に移行して、垂直方向及び水平方向でそれぞれ分散値を超える領域が特定されたならば、それら各領域の重なり合った領域を特定することで、その領域を人物候補領域として抽出することができる。

図６の例では図７に示すように、ａ−ｂ領域とｃ以下領域との重なり合った領域が人物候補領域として抽出されることになる。

このように本発明は、画像特徴量の分散値が人物が存在している領域では高くなり、人物が存在していない背景領域等では低くなる傾向があることを利用して画像の天地方向を判別すると共に、その分散値が閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士が重なり合う画像中の領域を人物候補領域として抽出するようにしたことから、画像Ｇの天地方向の修正は勿論、その画像Ｇ中の人物像が存在する領域を頑健（ロバスト）かつ高速に抽出することができる。

尚、本実施の形態では、矩形状の画像枠Ｆの画像Ｇの場合で説明したが、三角形の画像枠Ｆやそれ以上の多角形の画像枠の場合でも同様な手法によって容易にその天地方向の判別及び人物候補領域の抽出を行うことができる。また、真円形や楕円形の画像枠Ｆでもその外縁部を一定の距離毎に分割して判断すれば、多角形の画像枠Ｆと同様にその天地方向の判別及び人物候補領域の抽出を行うことが可能となる。

また、閾値の具体的な設定方法も特に限定されるものではないが、図６に示すように、背景部分と人物部分とで画像特徴量の分散値に顕著な違いが見られる場合には、その閾値を低く設定すれば人物候補領域をより正確に抽出することが可能となるが、背景に人物以外のものが写っている等の理由によって顕著な違いが見られない場合はその閾値はより高く設定する必要がある。通常の閾値は、画像枠付近の分散値に、最大分散値の１／４程度を足した付近が適当であると考えられる。

また、画像特徴量としてエッジの強度を用いれば、高速に算出できる上に照明の影響を軽減できるといった効果が得られる反面、背景に人物以外のものが写っていて背景と人物のエッジ強度の差異が小さいなどの場合にはエッジ強度を用いることが適当でないため、このような場合は、色相角を用いればより確実に人物候補領域の抽出に寄与することができる。

また、天地判定に利用するラインは、各辺毎に１本ずつであれば天地判定が可能であるが、画像Ｇのノイズや汚れ等を考慮して複数本選択し、各ラインの分散値の平均値を用いるようにしても良く、また、人物候補領域を抽出する場合には全てのラインを使う他に、適宜一定間隔毎の一部のラインを用いるようにすれば、正確性はやや劣るものの、その分だけ分散値等の計算量が大幅に減ることになるため、より迅速に人物候補領域を抽出することが可能となる。

また、本実施の形態では、人物領域の抽出前に画像中の人物像の天地方向の判定及びその修正を行うようにしたが、対象となる画像中の人物像の天地方向が全て実際の天地方向と一致しているようなケースでは、これらの判定及び修正処理を省略できることは勿論である。

本発明の人物候補領域抽出システムの実施の一形態を示すブロック図である。 本発明システムで利用可能なハードウェアを示す構成図である。 本発明の人物候補領域抽出方法の処理の流れを示すフローチャート図である。 人物候補領域抽出対象となる画像の一例を示す図である。 Ｓｏｂｅｌのオペレータを示す図である。 垂直及び水平方向の各ライン毎の画像特徴量分散値の変化を示した図である。 分散値が閾値を超える領域同士が重なり合った状態を示す概念図である。

符号の説明

１０…画像読取手段、１１…天地判別手段、１２…天地修正手段、１３…画像特徴量算出手段、１４…分散値算出手段、１５…人物候補領域検出手段、２０…エッジ算出部、２１…色相角算出部、４０…ＣＰＵ、４１…ＲＡＭ、４２…ＲＯＭ、４３…補助記憶装置、４４…出力装置、４５…入力装置、４６…入出力インターフェース（Ｉ／Ｆ）、４７…バス、Ｆ…画像枠、ｆ１，ｆ２，ｆ３，ｆ４…辺、Ｇ…画像、Ｌ１，Ｌ２，Ｌ３，Ｌ４…ライン、１００…人物候補領域抽出システム。

Claims (9)

1. 人物像が含まれる画像中から当該人物像が存在する領域を抽出する方法であって、
   前記画像を読み取る画像読取ステップと、
   当該画像読取ステップで読み取った画像中の人物像の天地方向を判別する天地判別ステップと、
   当該天地判別ステップの判別結果に基づいて前記画像を回転させて前記人物像を実際の天地方向に修正する天地修正ステップと、
   当該天地修正手段で天地方向が修正された画像を構成する縦横の画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量を算出する画像特徴量算出ステップと、
   当該画像特徴量算出ステップで得られた縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値を求める分散値算出ステップと、
   当該分散値算出ステップで求められた前記縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値が閾値を超える領域をそれぞれ選択すると共に、選択された各ライン方向の領域同士の重なり合う画像中の領域を抽出する人物候補領域抽出ステップと、を含み、
   前記天地判別ステップは、前記画像が三角形以上の多角形の枠で囲まれており、かつ当該画像中に含まれる人物像が上半身又は頭部を中心とした一部であるときは、当該画像枠の各辺又は各辺近傍のラインを構成する各画素列について画像特徴量の分散値を求め、その分散値が最も大きい辺又はライン近傍の辺側を地面方向と判別するようにしたことを特徴とする人物候補領域抽出方法。
2. 請求項１に記載の画像中の人物候補領域抽出方法において、
   前記天地判別ステップは、画像枠の各辺又は各辺近傍のラインを構成する各画素列をそれぞれ複数本近接して選択し、当該各画素列についての画像特徴量の分散値の平均値を用いて天地を判別することを特徴とする人物候補領域抽出方法。
3. 請求項１又は２のいずれか１項に記載の画像中の人物候補領域抽出方法において、
   前記画像特徴量算出ステップは、画像特徴量を算出するための前記縦ライン及び横ラインとして前記画像の幅方向及び高さ方向に一定間隔毎のラインを用いることを特徴とする人物候補領域抽出方法。
4. 人物像が含まれる画像中から当該人物像が存在する領域を抽出するシステムであって、
   前記画像を読み取る画像読取手段と、
   当該画像読取手段で読み取った前記画像中の人物像の天地方向を判別する天地判別手段と、
   当該天地判別手段の判別結果に基づいて前記画像を回転させて前記人物像を実際の天地方向に修正する天地修正手段と、
   当該天地修正手段で天地方向が修正された画像を構成する縦横の画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量を算出する画像特徴量算出手段と、
   当該画像特徴量算出手段で得られた縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値を求める分散値算出手段と、
   当該分散値算出手段で求められた画像特徴量の分散値が縦ライン方向及び横ライン方向でそれぞれ閾値を超える各ライン方向の領域から前記人物が存在する領域を検出する人物候補領域検出手段と、を含み、
   前記天地判別手段は、前記画像が三角形以上の多角形の枠で囲まれており、かつ当該画像中に含まれる人物像が上半身又は頭部を中心とした一部であるときは、当該画像枠の各辺又は各辺近傍のラインを構成する画素列について画像特徴量の分散値を求め、その分散値が最も大きい辺又はライン近傍の辺側を地面方向とするようになっていることを特徴とする人物候補領域抽出システム。
5. 請求項４に記載の画像中の人物候補領域抽出システムにおいて、
   前記天地判別手段は、画像枠の各辺又は各辺近傍のラインを構成する各画素列をそれぞれ複数本近接して選択し、当該各画素列についての画像特徴量の分散値の平均値を用いて天地を判別するようになっていることを特徴とする人物候補領域抽出システム。
6. 請求項４又は５のいずれか１項に記載の画像中の人物候補領域抽出システムにおいて、
   前記画像特徴量算出手段は、画像特徴量を算出するための前記縦ライン及び横ラインとして前記画像の幅方向及び高さ方向に一定間隔毎のラインを用いるようになっていることを特徴とする人物候補領域抽出システム。
7. 人物像が含まれる画像中から当該人物像が存在する領域を抽出するプログラムであって、コンピュータを、
   前記画像を読み取る画像読取手段と、
   当該画像読取手段で読み取った前記画像中の人物像の天地方向を判別する天地判別手段と、
   当該天地判別手段の判別結果に基づいて前記画像を回転させて前記人物像を実際の天地方向に修正する天地修正手段と、
   当該天地修正手段で天地方向が修正された画像を構成する縦横の画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量を算出する画像特徴量算出手段と、
   当該画像特徴量算出手段で得られた縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値を求める分散値算出手段と、
   当該分散値算出手段で求められた画像特徴量の分散値が縦ライン方向及び横ライン方向でそれぞれ閾値を超える各ライン方向の領域から前記人物が存在する領域を検出する人物候補領域検出手段と、して機能させると共に、
   前記天地判別手段を、前記画像が三角形以上の多角形の枠で囲まれており、かつ当該画像中に含まれる人物像が上半身又は頭部を中心とした一部であるときは、当該画像枠の各辺又は各辺近傍のラインを構成する画素列について画像特徴量の分散値を求め、その分散値が最も大きい辺又はライン近傍の辺側を地面方向とするように機能させることを特徴とする人物候補領域抽出プログラム。
8. 請求項７に記載の画像中の人物候補領域抽出プログラムにおいて、
   前記天地判別手段を、前記画像枠の各辺又は各辺近傍のラインを構成する各画素列をそれぞれ複数本近接して選択し、当該各画素列についての画像特徴量の分散値の平均値を用いて天地を判別するように機能させることを特徴とする人物候補領域抽出プログラム。
9. 請求項７又は８のいずれか１項に記載の画像中の人物候補領域抽出プログラムにおいて、
   前記画像特徴量算出手段を、画像特徴量を算出するための前記縦ライン及び横ラインとして前記画像の幅方向及び高さ方向に一定間隔毎のラインを用いるように機能させることを特徴とする人物候補領域抽出プログラム。

Images