WO2005071611A1

WO2005071611A1 - 画像中の人物候補領域抽出方法及び人物候補領域抽出システム、人物候補領域抽出プログラム、並びに人物像の天地判定方法及び天地判定システム、天地判定プログラム

Info

Publication number: WO2005071611A1
Application number: PCT/JP2005/001568
Authority: WO
Inventors: Toshinori Nagahashi; Takashi Hyuga
Original assignee: Seiko Epson Corporation
Priority date: 2004-01-27
Filing date: 2005-01-27
Publication date: 2005-08-04
Also published as: US20050196044A1; EP1710747A4; JP2005215760A; EP1710747A1; CN1910613A; JP3714350B2; KR20060129332A

Abstract

人物像が含まれる画像の天地方向を判別し、その判別結果に基づいて前記画像を実際の天地方向に修正した後、当該画像を構成する縦横の画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量の分散値を求めると共に、前記縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値が閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士の重なり合う画像中の領域を抽出するこれによって、画像中の人物像が存在する領域を頑健かつ高速に抽出できる。

Description

明細書画像中の人物候補領域抽出方法及び人物候補領域抽出システム、人物候補領域抽出プログラム、並びに人物像の天地判定方法及び天地判定システム、天地判定プログラム技術分野

本発明は、パターン認、識 (P a t t e r n r e c o g n i t i o n) やオブジェクト認識技術に係り、特に人物像が含まれる画像の天地判定及ぴ当該画像中から人物が存在する可能性が高い領域を抽出することを目的とした画像中の人物候補領域抽出方法及び人物候補領域抽出システム、人物候補領域抽出プログラム、並びに人物像の天地判定方法及び天地判定システム、天地判定プログラムに関するものである。背景技術

近年のパターン認識技術やコンピュータ等の情報処理装置の高性能化に伴ってマシンによる文字や音声の認識精度は飛躍的に向上してきている力 S、人物や物体 ·景色等が映っている画像、例えば、デジタルスチルカメラ等によって取り込まれた画像のパターン言忍識のうち、特にその画像中に人の顔が映っているか否かを正確かつ高速に識別するといった点に関しては未だに極めて困難な作業であることが知られている。

しかしながら、このように画像中に人の顔が映っているか否か、さらにはその人物が誰であるのかをコンピュータ等によって自動的に正確に識別することは、生体認識技術の確立やセキュリティの向上、犯罪捜査の迅速化、画像データの整理■検索作業の高速化等を実現する上で極めて重要なテーマとなってきている。

このように将来極めて有用性が高い顔認識技術を確立するためには、先ず、検出対象となる画像中の人物顔が存在する領域を可能な限り迅速にかつ正確に検出して特定する技術が必要となってくる。

例えば、特開平 9一 5 0 5 2 8号公報では、先ず画像中の肌色領域を抽出し、抽出した領域に合わせてモザイクデータを作成し、これを画像辞書と比較してその一致度を計算して顔画像镩域を検出するようにしている。しかしながら、肌色領域は必ずしも人間の顔領域とは一致せず、肌色領域を広く定義すれば、不要な領域を抽出し、反対に狭く定義すれば抽出漏れを起こすといった不都合がある。

一方、顔画像の検出対象画像中から人物顔を高速で探索する場合は、その画像中の探索領域をできるだけ絞り込むことが重要となってくる。

そこで、本発明はこのような課題を有効に解決するために案出されたものであり、その主な目的は、人物像が含まれる画像の天地判別及び当該画像中の人物像が存在する領域を頑健（ロバスト）かつ高速に抽出することができる新規な画像中の人物候補領域抽出方法及び人物候補領域抽出システム、人物候補領域抽出プログラム、並びに人物像の天地判定方法及ぴ天地判定システム、天地判定プログラムを提供するものである。発明の開示

上記課題を解決するために発明 1の画像中の人物候捕領域抽出方法は、人物像が含まれる画像中から当該人物像が存在する領域を抽出する方法であって、前記画像を構成する縦横の画素列からなる縦ライン及ぴ横ラインについてそれぞれの画像特徴量の分散値を求めると共に、前記縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値が閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士の重なり合う画像中の領域を前記人物が存在する領域として抽出するようにしたことを特徴とするものである。

このように画像を構成する縦方向の画素列からなる縦ライン及ぴ横方向の画素列からなる横ラインについてそれぞれの画像特徴量の分散値を求めるのは、一般にこの画像特徴量の分散値は、証明写真を撮影するような、一様、あるいは一定のパターンで構成される背景の場合、後に詳述するように人物が存在している領域では高くなり、人物が存在していない背景領域等では低くなる傾向があるからである。

従って、前記縦ライン方向及び横ライン方向についてそれぞれ得られた画像特徴量の分散値について閾値を設定し、その閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士が重なり合う画像中の領域を特定するようにすれば、画像中の人物像が存在する領域を頑健（ロバスト）かつ高速に抽出することができる。

上記課題を解決するために発明 2の画像中の人物候補領域抽出方法は、人物像が含まれる画像中から当該人物像が存在する領域を抽出する方法であって、前記画像中の人物像の天地方向を判別し、その判別結果に基づいて前記画像を回転させて前記人物像を実際の天地方向に修正し、その後、当該画像を構成する縦横の画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量の分散値を求めると共に、前記縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値が閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士の重なり合う画像中の領域を抽出するようにしたことを特徴とするものである。

すなわち、発明 1のように画像特徴量の分散値を利用して人物像が存在する領域を頑健かつ高速に抽出するためには、その前提として、対象となる画像の天地方向と実際の天地方向とがー致していなければならない。そのため、本発明では、先ず、その画像中の人物像の天地方向を判別してその人物像を実際の天地方向に修正することで人物顔を本来の天地方向に一致させるようにしたものである。

そして、このようにして人物顔の位置の修正が終了したならば、その後は発明 1 と同様にその画像を構成する縦方向の画素列からなる縦ライン及ぴ横方向の画素列からなる横ラインについてそれぞれの画像特徴量の分散値を求めた後、前記縦ライン方向及び横ライン方向についてそれぞれ得られた画像特徴量の分散値について閾値を設定し、その閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士が重なり合う画像中の領域を特定する。

これによつて、発明 1 と同様に画像中の人物像が存在する領域を頑健かつ高速に抽出できることに加え、その画像中の人物像の天地方向の判別及びその修正を自動的に行うことが可能となるため、より容易に人物像が存在する領域を抽出することができる。

発明 3の画像中の人物候捕領域抽出方法は、

発明 2に記載の画像中の人物候補領域抽出方法において、前記画像中の人物像の天地方向の判別は、前記画像が三角形以上の多角形の枠で囲まれており、かつ当該画像中に含まれる人物像が上半身または頭部を中心とした一部であるときは、当該画像枠の各辺または各辺近傍のラインを構成する画素列について画像特徴量の分散値を求め、その分散値が最も大きい辺またはライン近傍の辺側を地面方向とするようにしたことを特徴とするものである。

すなわち、対象となる画像中に含まれる人物像が上半身または頭部を中心とした一部であるときは、その人物像の一部が画像枠のいずれかの辺で切れているのが通常である。

従って、その画像枠の各辺または各辺近傍のラインを構成する画素列について画像特徴量の分散値を求め、その分散値が最も大きい.辺またはライン近傍の辺側を当該人物像の切れている部分とみなすことができるため、その辺側を地面方向とすることで画像の人物像の天地判定を確実かつ容易に行うことができる。

発明 4の画像中の人物候補領域抽出方法は、

発明 3に記載の画像中の人物候補領域抽出方法において、前記画像の各ラインを複数本近接して選択し、当該各ラインについての画像特徴量の分散値の平均値を用いるようにしたことを特徴とするものである。

これによつて、画像の辺近傍にノイズや汚れが存在していても、その影響による誤検出を回避して各辺毎の的確な分散値を求めることができる。発明 5の画像中の人物候補領域抽出方法は、 ' 発明 1〜 4のいずれかに記載の画像中の人物候補領域抽出方法において、前記縦ライン及び横ラインは、前記画像の幅方向及び高さ方向に一定間隔毎のラインを用いるようにしたことを特徴とするものである。

前記画像特著量の分散値は、その画像の幅方向及び高さ方向の全ラインを用いて算出しても良いが、本発明のように一定間隔毎のラインを用いれば、分散値を得るための情報処理量が大幅に削減されるため、より高速に人物像が存在する領域を抽出することができる。

発明 6の画像中の人物候補領域抽出方法は、

発明 1〜 6のいずれかに記載の画像中の人物候補領域抽出方法において、前記画像特徴量は、前記各ラインを構成する画素列の各画素のエッジ強度または色相角のいずれか、あるいは双方に基づいて算出するようにしたことを特徴とするものである。

すなわち、画像のエッジは公知のエッジ検出オペレータを利用することで高速に算出できる上に、照明の影響等を軽減することができるため、これを画像特徴量として採用すれば、その分散値を正確かつ高速に算出することが可能となる。

—方、背景と人物像のエッジ強度の差異が小さい場合等には、色相角を用いることにより、その分散値を正確かつ高速,に算出することが可能となる。

さらに、画像の種類等、必要に応じてこれらの双方を画像特徴量として採用すれば、その分散値をより正確かつ高速に算出することが可能となる。発明 7の画像中の人物候補領域抽出方法は、

発明 6に記載の画像中の人物候捕領域抽出方法において、前記エッジ強度は、 S o b e 1のエッジ検出オペレータを用いるようにしたことを特徴とするものである。

すなわち、画像中の急激な濃淡変化を検出する最も代表的な方法は濃淡に関する微分を求めることである。そして、デジタル画像の微分は差分で代用されることから前記顔検出枠内の画像を一次微分することによって当該画像中の濃淡が急激に変化しているエッジ部

分を効果的に検出することができる。

そして、本発明は、この一次微分型のエッジ検出オペレータ（フィルタ）として、検出性能に優れている公知の S o b e 1 のエッジ検出オペレータを用いるようにしたものであり、これによつて前記画像内の人物像のェッジを確実に検出することができる。

発明 8の画像中の人物候捕領域抽出システムは、

人物像が含まれる画像中から当該人物像が存在する領域を抽出するシステムであって、前記画像を読み取る画像読取手段と、当該画像読取手段で読み取られた画像を構成する画素列からなる縦ライン及ぴ横ラインについてそれぞれの画像特徴量を算出する画像特徴量算出手段と、当該画像特徴量算出手段で得られた縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値を求める分散値算出手段と、当該分散値算出手段で得られた画像特徴量の分散値が縦ライン方向及び横ライン方向でそれぞれ閾値を超える各ライン方向の領域から前記人物が存在する領域を検出する人物候補領域検出手段と、を備えたことを特徴とするものである。

これによつて、発明 1 と同様に、画像中の人物像が存在する領域を頑健 (ロバスト）かつ高速に抽出することができる。

また、これら各手段を専用の回路やコンピュータシステムを利用して実現することで、これらの作用 ·効果を自動的に発揮することが可能となる。発明 9の画像中の人物候捕領域抽出システムは、

人物像が含まれる画像中から当該人物像が存在する領域を抽出するシステムであって、前記画像を読み取る画像読取手段と、当該画像読取手段で読み取った画像中の人物像の天地方向を判別する天地判別手段と、当該天地判別手段の結果に基づいて前記画像を回転させて前記人物像を実際の天地方向に修正する天地修正手段と、当該天地修正手段で天地方向が修正さ. れた後の当該画像を構成する画素列からなる縦ライン及ぴ横ラインについてそれぞれの画像特徴量を算出する画像特徴量算出手段と、当該画像特徴量算出手段で得られた縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値を求める分散値算出手段と、当該分散値算出手段で得られた画像特徴量の分散値が縦ライン方向及び横ライン方向でそれぞれ閾値を超える各ライン方向の領域から前記人物が存在する領域を検出する人物候補領域検出手段と、を備えたことを特徴とするものである。

これによつて、発明 2と同様に、画像中の人物像が存在する領域を頑健かつ高速に抽出することができる。

また、発明 8と同様にこれら各手段を専用の回路やコンピュータシステムを利用して実現することで、これらの作用 ■効果を自動的に発揮することが可能となる。

発明 1 0の画像中の人物候補領域抽出システムは、

発明 9に記載の画像中の人物候補領域抽出システムにおいて、前記画像中の人物像の天地方向を判別する天地判別手段は、前記画像が三角形以上の多角形の枠で囲まれており、かつ当該画像中に含まれる人物像が上半身または頭部を中心とした一部であるときは、当該画像の各辺または各辺近傍のラインについて画像特徴量の分散値を求め、その分散値が最も大きい辺またはライン近傍の辺側を地面方向とするようになつていることを特徴とするものである。

これによつて、発明 3と同様に、画像枠の人物像の切れている辺を検出することができるため、前記画像の人物像の天地判定を確実かつ容易に行うことができる。

発明 1 1の画像中の人物候捕領域抽出システムは、

発明 1 0に記載の画像中の人物候補領域抽出方システムにおいて、前記画像中の人物像の天地方向を判別する天地判別手段は、前記画像の各ラインを複数本近接して選択し、当該各ラインについての画像特徴量の分散値の平均値を用いるようになつていることを特徴とするものである。これによつて、発明 4と同様に画像の辺近傍にノイズや汚れが存在していても、その影響による誤検出を回避して各辺毎の的確な分散値を求めることができる。 . 発明 1 2の画像中の人物候補領域抽出システムは、

発明 9〜 1 1のいずれかに記載の画像中の人物候補領域抽出システムにおいて、画像特徴量算出手段は、前記縦ライン及び横ラインとして、前記画像の幅方向及び高さ方向に一定間隔毎のラインを用いるようになつていることを特徴とするものである。

これによつて、発明 5と同様に分散値を得るための情報処理量が大幅に削減されるため、より高速に人物像が存在する領域を抽出することができる。 .

発明 1 3の画像中の人物候捕領域抽出システムは、

発明 9〜 1 2のいずれかに記載の画像中の人物候捕領域抽出システムにおいて、画像特徴量算出手段は、前記画像特徴量を、前記各ラインを構成する画素列の各画素のエッジ強度または色相角のいずれか、あるいは双方に基づいて算出するようになつていることを特徴とするものである。

これによつて、発明 5と同様に画像特徴量の分散値をより正確かつ高速に算出することが可能となる。

発明 1 4の画像中の人物候補領域抽出システムは、

発明 1 3に記載の画像中の人物候捕領域抽出システムにおいて、画像特徴量算出手段は、前記エッジ強度を、 S o b e 1 のエッジ検出オペレータを用いて算出するようになつていることを特徴とするものである。

これによつて、発明 7と同様に画像のエッジ部分を確実に検出することができる。

発明 1 5の画像中の人物候補領域抽出プログラムは、

人物像が含まれる画像中から当該人物が存在する領域を抽出するプログラムであって、

前記画像を構成する画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量.を算出する画像特徴量算出手段と、当該画像特徴量算出手段で得られた縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値を求める分散値算出手段と、当該分散値算出手段で得られた画像特徴量の分散値が縦ライン方向及び横ライン方向でそれぞれ閾値を超える各.ライン方向の領域から前記人物が存在する領域を検出する人物候補領域検出手段と、をコンピュータに機能させることを特徴とするものである。

これによつて、発明 1 と同様な効果を得られると共に、パソコン（P C ) 等の汎用のコンピュータ (ハードウエア) を用いてソフトウェア上でその機能を実現することが可能となるため、専用の装置を作成して実現する場合に比べて経済的かつ容易に実現することができる。また、多くの場合プログラムの書き換えだけでその機能の変更、改良等のパージョンァップを容易に達成することが可能となる。

発明 1 6の画像中の人物候補領域抽出プログラムは、

人物像が含まれる画像中から当該人物が存在する領域を抽出するプログラムであって、前記画像中の人物像の天地方向を判別する天地判別手段と、当該天地判別手段の結果に基づいて前記画像を回転させて前記人物像を実，際の天地方向に修正する天地修正手段と、

当該天地修正手段で天地方向が修正された後の当該画像を構成する画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量を算出する画像特徴量算出手段と、当該画像特徴量算出手段で得られた縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値を求める分散値算出手段と、当該分散値算出手段で得られた画像特徴量の分散値が縦ラィン方向及び横ライン方向でそれぞれ閾値を超える各ライン方向の領域から前記人物が存在する領域を検出する人物候補領域検出手段と、をコンビユータに機能させることを特徴とするものである。

これによつて、発明 2と同様な効果を得られると共に、発明 1 5と同様にパソコン ( P C ) 等の汎用のコンピュータ (ハードウエア) を用いてソフトウェア上でその機能を実現することが可能となるため、専用の装置を作成して実現する場合に比べて経済的かつ容易に実現することができる。また、多くの場合プログラムの書き換えだけでその機能の変更、改良等のバージョンァップを容易に達成することが可能となる。

発明 1 7の画像中の人物候捕領域抽出プログラムは、

発明 1 6に記載の画像中の人物候補領域抽出プログラムにおいて、前記画像中の人物像の天地方向を判別する天地判別手段は、前記画像が三角形以上の多角形の枠で囲まれており、かつ当該画像中に含まれる人物像が上半身または頭部を中心とした一部であるときは、当該画像の各辺または各辺近傍のラインについて画像特徴量の分散値を求め、その分散値が最も大きい辺またはライン近傍の辺側を地面方向とするようになっていることを特徴とするものである。

これによつて、発明 3と同様な効果が得られると共に、発明 1 5と同様に、より経済的かつ容易に実現することが可能となる。

発明 1 8の画像中の人物候補領域抽出プログラムは、

発明 1 7に記載の画像中の人物候補領域抽出方プログラムにおいて、前記画像中の人物像の天地方向を判別する天地判別手段は、前記画像の各ラインを複数本近接して選択し、当該各ラインについての画像特徴量の分散値の平均値を用いるようになつていることを特徴とするものである。

これによつて、発明 4と同様に的確な分散値を求めることができると共に、発明 1 5と同様により経済的かつ容易に実現することが可能となる。発明 1 9の画像中の人物候捕領域抽出プログラムは、

発明 1 5 ~ 1 8のいずれかに記載の画像中の人物候補領域抽出プログラムにおいて、画像特徴量算出手段は、前記縦ライン及び横ラインとして、前記画像の幅方向及び高さ方向に一定間隔毎のラインを用いるようになつていることを特徴とするものである。

これによつて、発明 5と同様により高速に人物像が存在する領域を抽出できると共に、発明 1 5と同様により経済的かつ容易に実現することが可能となる。

発明 2 0の画像中の人物候捕領域抽出プログラムは、

発明 1 5〜 1 9のいずれかに記載の画像中の人物候補領域抽出プログラムにおいて、画像特徴量算出手段は、前記画像特徴量を、前記各ラインを構成する画素列の各画素のエッジ強度または色相角のいずれか、あるいは双方に基づいて算出するようになつていることを特徴とするものである。

これによつて、発明 6と同様に画像特徴量の分散値をより正確かつ高速に算出することが可能となると共に、発明 1 5 と同様により経済的かつ容易に実現することが可能となる。

発明 2 1の画像中の人物候補領域抽出プログラムは、

発明 2 0に記載の画像中の人物候補領域抽出プログラムにおいて、画像特徴量算出手段は、前記エッジ強度を、 S o b e 1 のエッジ検出オペレータを用いて算出するようになつていることを特徴とするものである。

これによつて、発明 7と同様に画像のエッジ部分を確実に検出することができると共に、発明 1 5と同様により経済的かつ容易に実現することが可能となる。

発明 2 2の人物像の天地判定方法は、

三角形以上の多角形の枠内に上半身または頭部を中心とした人物像が存在する画像中の当該人物像の天地方向を判別する方法であって、前記画像の各辺または各辺近傍のラインを構成する画素列の画像特徴量の分散値を求め、その分散値が最も大きい辺またはライン近傍の辺側を地面方向と判別するようにしたことを特徴とするものである。

すなわち、三角形以上の多角形の枠内に上半身または頭部を中心とした人物像が存在する画像の場合では、その人物像の一部が画像枠のいずれかの辺で切れているのが通常である。

そのため、その画像枠の各辺または各辺近傍のラインを構成する画素列について画像特徴量の分散値を求め、その分散値が最も大きい辺またはラィン近傍の辺側を当該人物像の切れている部分とみなすことができる。従って、その人物像の切れている辺側を地面方向とすることで、人物像の天地判定を確実かつ容易に行うことができる。

発明 2 3の人物像の天地判定システムは、

三角形以上の多角形の枠内に上半身または頭部を中心とした人物像が存在する画像中の当該人物像の天地方向を判別するシステムであって、前記画像の各辺または各辺近傍のラインを構成する画素列の画像特徴量の分散値を算出する分散値算出手段と、.当該分散値算出手段で得られた分散値が最も大きい辺またはライン近傍の辺側を地面方向と判別する天地判別手段と、を備えたことを特徴とするものである。

これによつて、発明 2 2と同様に人物像の天地判定を確実かつ容易に行うことができると共に、これらの処理を専用の回路やコンピュータシステムを利用して実現することで、その判定を自動的に行うことが可能となる。発明 2 4の人物像の天地判定プログラムは、

三角形以上の多角形の枠内に上半身または頭部を中心とした人物像が存在する画像中の当該人物像の天地方向を判別するプログラムであって、コンピュータを、前記画像の各辺または各辺近傍のラインを構成する画素列の画像特徴量の分散値を算出する分散値算出手段と、当該分散値算出手段で得られた分散値が最も大きい辺またはライン近傍の辺側を地面方向と判別する天地判別手段と、して機能させることを特徴とするものである。

これによつて、発明 2 2と同様に人物像の天地判定を確実かつ容易に行うことができると共に、パソコン ( P C ) 等の汎用のコンピュータ（ハードウエア）を用いてソフトウェ

ァ上でその機能を実現することが可能となるため、専用の装置を作成して実現する場合に比べて経済的かつ容易に実現することができる。また、多くの場合プログラムの書き換えだけでその機能の変更、改良等のバージョンァップを容易に達成することが可能となる。図面の簡単な説明図 1は、本発明の人物候補領域抽出システムの実施の一形態を示すプロック図である。

図 2は、本発明システムで利用可能なハードウエアを示す構成図である。図 3は、本発明の人物候補領域抽出方法の処理の流れを示すフローチヤート図である。

図 4は、人物候捕領域抽出対象となる画像の一例を示す図である。

図 5は、 S o b e 1のオペレータを示す図である。

図 6は、垂直及び水平方向の各ライン毎の画像特徴量分散値の変化を示した図である。

図 7は、分散値が閾値を超える領域同士が重なり合った状態を示す概念図である。発明を実施するための最良の形態

以下、本発明を実施するための最良の形態を添付図面を参照しながら詳述する。

図 1は、本発明に係る画像中の人物候補領域抽出システム 1 0 0の実施の一形態を示したものである。

図示するように、この人物候補領域抽出システム 1 0 0は、人物候補領域抽出の対象となる画像 Gを読み取る画像読取手段 1 0と、この画像読取手段 1 0で読み取った画像 G中の人物像の天地方向を判別する天地判別手段 1 1 と、この天地判別手段 1 1の結果に基づいてその人物像を実際の天地方向に修正する天地修正手段 1 2と、この天地修正手段 1 2で天地方向が修正された後の画像 Gの画像特徴量を算出する画像特徴量算出手段 1 3 と、この画像特徴量算出手段 1 3で得られた画像特徴量の分散値を求める分散値算出手段 1 4と、この分散値算出手段 1 4で得られた画像特徴量の分散値に基づいて人物が存在する領域を検出する人物候補領域検出手段 1 5とから主に構成されている。

先ず、画像読取手段 1 0は、パスポートや運転免許証等の身分証明書用の写真や一部のスナップ写真等のように、背景が一様か、あるいは複雑な変化がない、矩形状の枠（縁）内に上半身または頭部を中心とした人物像が含まれる画像 Gを、 C CD (C h a r g e C o u l e d D e v i c e ：電荷結合素子）や、 CMO S (C o m l e m e n t a r y Me t a 1 O i d e S e m i c o n d u c t o r ) 等の撮像センサを利用して、 R (赤）、 G (緑）、 B (青）のそれぞれの画素データからなる' デジタル画像データとして読み取って取り込むような機能を提供するようになっている。

具体的には、デジタルスチルカメラゃデジタルビデオ力メラ等の C C D、 CMO Sカメラやビジコンカメラ、イメージスキャナ、ドラムスキャナ等であり、前記撮像センサ光学的に読み込んだ顔画像 Gを AZD変換してそのデジタル画像データを天地判別手段 1 1へ順次送る機能を提供するようになっている。

なお、この画像読取手段 1 0にはデータ保存機能が備えられており、読み込んだ顔画像データをハードディスクドライブ装置（HDD) 等の記憶装置や DVD— ROM等の記憶媒体等に適宜保存可能となっている。また、画像 Gがネットワークや記憶媒体等を介してデジタル画像データとして供給される場合には、この画像読取手段 1 0は不要となるか、あるいは、 D C E 、D a t a C i r c u i t T e r m i n a t i n g E q u i m e n tリゃ C CU (C ommu n i c a t i o n C o n t r o l U n i t ) C C P (C o mmu n i c a t i o n C o n t r o l P r o c e s s o r ) 等の通信手段ゃィンターフェース ( I /F) 等として機能することになる。

次に、天地判別手段 1 1は、三角形以上の多角形の画像枠内に上半身または頭部を中心とした人物像が存在する画像 Gの天地方向を判別する機能を提供するものであり、その人物像が欠けている画像枠の一つの辺を検出し、この辺を地面方向としてその画像 Gの天地方向を判別するようになつている。すなわち、例えば、画像読取手段 1 0で読み取られた画像 Gが、図 4に示すような矩形状の画像枠 F内にほぼ胸部より上の上半身の人物像が存在しているようなものである場合、その画像枠 Fの 4つの辺 f 1、 f 2、 f 3、 f 4、またはその近傍に設定された 4つのライン L 1、 L 2、 L 3、 L 4を構成する画素列から得られる画像特徴量の分散値に基づいてその人物像の天地方向を判別するようになっている。なお、この画像枠 Fの各辺またはその近傍に設定された各ラインを構成する画素列から得られる画像特徴量の分散値の具体的な算出方法などについては後に詳述する。

次に、天地修正手段 1 2は、この天地判別手段 1 1の結果に基づいてその人物像を実際の天地方向に修正する機能を提供するものであり、例えば、図 4の例では、図中左側の辺、すなわち、人物像が切れている側の辺 f 4 が地面方向となるよ'うに画像 G全体を反時計回りに 9 0 ° (あるいは時計回りに 2 7 0 ° ) 回転させてその天地方向を実際の天地方向と一致するように修正するようになっている。

画像特徴量算出手段 1 3は、前記天地修正手段 1 2で天地方向が修正された後の画像 Gを構成する画素の画像特徴量を算出する機能を提供するものであり、具体的にはエッジ算出部 2 0または色相角算出部 2 1によって. 縦横の画素列からなる縦ライン及び横ラインを構成する画素列の各画素のエッジ強度または色相角のいずれか、あるいは双方を検出し、検出された値に基づいて各画素の画像特徴量を算出するようになっている。

また、分散値算出手段 1 4は、この画像特徴量算出手段 1 3で得られた画像特徴量の分散値を求める機能を提供するようになっており、その具体例については後述する。

人物候補領域検出手段 1 5は、この分散値算出手段 1 4で得られた画像特徴量の分散値に基づいて人物が在する領域を検出する機能を提供するものであり、前記縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値が閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士の重なり合う画像中の領域を前記人物が存在する領域として抽出するようになっている。

なお、このような本発明の人物候補領域抽出システム 1 0 0を構成する各手段 1 0、 1 1， 1 2， 1 3， 1 4 , 1 5等は、実際には、図 2に示すように C PUや RAM等からなるハードウエアと、図 3等に示すようなァルゴリズムを記述した専用のコンピュータプログラム（ソフトウェア）とからなるパソコン（P C) 等のコンピュータシステムによって実現されるようになつている。

すなわち、この人物候補領域抽出システム 1 0 0を実現するためのハードウアは、図 2に示すように、各種制御や演算処理を担う中央演算処理装置である C PU (C e n t r a l P r o c e s s i n g U n i t ) 4 0と、主記憶装置（Ma i n S t o r a g e ) に用いられる RAM

(R a n d o m A c c e s s Me m o r y) 4 1 と、読み出し専用の記憶装置である ROM (R e a d O n l y Me m o r y) 4 2と、ノヽードディスクドライブ装置（HDD) や半導体メモリ等の補助記憶装置 (S e c o n d a r y S t o r a g e ) 4 3、及びモニタ（L CD (液晶ディスプレイ）や C RT (陰極線管））等からなる出力装置 44、ィメージスキャナやキーボード、マウス、 C CD (C h a r g e C o u 1 e d D e v i c e ) や CMO S (C o mp l e m e n t a r y M e t a 1 O i d e S e m i c o n d u c t o r ) 等の撮像センサ等からなる入力装置 4 5と、これらの入出力インターフェース（ I /F) 4 6等との間を、 P C I (P e r i p h e r a l C o m p o n e n t I n t e r c o n n e c t ) ノスや I SA ( I n d u s t r i a 1 S t a n d a r d A r c h i t e c t u r e ；アイサ）バス等力、らなるプロセッサバス、メモリバス、システムバス、入出力バス等の各種内外バス 4 7によつてバス接続したものである。

そして、例えば、 C D— R OMや D VD— R OM、フレキシブルディスク（F D) 等の記憶媒体、あるいは通信ネットワーク（LAN、 WANs インターネット等） Nを介して供給される各種制御用プログラムやデータを補助記憶装置 4 3等にインストールすると共にそのプログラムやデータを必要に応じて主記憶装置 4 1にロードし、その主記憶装置 4 1にロードされたプログラムに従って C P U 4 0が各種リソースを駆使して所定の制御及び演算処理を行い、その処理結果（処理データ）をバス 4 7を介して出力装置 4 4に出力して表示すると共に、そのデータを必要に応じて補助記憶装置 4 3によって形成されるデータベースに適宜記憶、保存' （更新）処理するようにしたものである。

次に、このような構成をした本発明の人物候補領域抽出システム 1 0 0 を用いた人物候補領域抽出方法の一例を図 4〜図 7を用いて説明する。 · 図 3は、本発明の人物候補領域抽出に関する処理の流れの一例を示したフローチャートである。

先ず、画像読取手段 1 1によって対象となる画像 Gを読み取ったならば、最初のステップ S 1 0 0に示すように、その画像 Gの画像枠を構成する各' 辺、または各辺に近いラインを構成する画素毎の画像特徴量を算出すると共にその画像特徴量の分散値を算出する。例えば、画像読取手段 1 1によつて読み取られた画像 Gが図 4に示すような矩形状の画像枠 Fを有するものである場合、その画像枠 Fは 4つの辺 f 1 , f 2， f 3， f 4からなつていること力ら、その 4つの辺 f 1 , f 2 , f 3 , f 4をそれぞれ構成す' る各画素、または、これら各辺 f 1， f 2 , f 3 , f 4の近傍であってそれぞれ各辺 f 1， f 2 , f 3 ， f 4と平行に延びるライン L 1 , L 2 , L 3 , L 4を構成する各画素について、エッジ強度または色相角、あるいは双方に基づく画像特徴量を算出する。

ここで、本発明でいう「エッジ強度」及び「色相角」とは、画像処理分野で一般的に定義されている意味と同じ意味である。

すなわち、エッジ強度は、例えば、予め各画素の輝度（Y ) を算出し、その輝度値を基に「S o b e 1のエッジ検出オペレータ」等に代表される公知の一次微分型（差分型）のエッジ検出オペレータを用いることで容易に算出することができる。図 9 ( a ) 、（b ) は、この「S o b e lのエッジ検出オペレータ」を示したものであり、同図（a ) に示すオペレータ（フィルタ）は、注目画素を囲む 8つの画素値のうち、左列及び右列に位置するそれぞれ 3つの画素値を調整することで横方向のエッジを強調し、同図（b ) に示すオペレータは、注目画素を囲む 8つの画素値のうち、上行及び下列に位置するそれぞれ 3つの画素値を調整して縦方向のエッジを強調することで縦横のェッジを検出するものである。そして、このようなオペレータで生成した結果を二乗和した後、平方根をとることでエッジの強度を求めることができるようになっている。また、この「S o b e 1のオペレータ」に代えて「R o b e r t s」「P r e w i t t」等の他の一次微分型のエツジ検出オペレータ等を適用することも可能である。

—方、色相角は、色の違いを示す属性であり、「色相角」とは「マンセルの色相環」や「マンセルの色立体」等の色指標図を用いて、その背景色を基準としたときの頭髪の色の位置までの角度をいうものである。例えば、「マンセルの色相環」によれば、基準となる背景色を「B l u e」とした場合、頭髪の色が「 G r e e n」よりも「Y e l l o w」や「R e d」の方が色相角が大きい（画像特徴量が大きい）ということになる。

そして、このようにして各辺 f l， f 2 , f 3 , f 4またはその近傍のライン L I , L 2 , L 3 , L 4を構成する各画素について画像特徴量が算出されたならば、その各辺 f 1， f 2 , f 3 , f 4またはその近傍のライン L l， L 2 , L 3 , L 4毎の画像特徴量の分散値を算出する。

次に、ステップ S 1 0 2に移行して、各辺 f l， f 2, f 3 , f 4またはその近傍のライン L I , L 2 , L 3， L 4のなかで算出された画像特徴量の分散値が最も大きいものを選択し、その辺またはラインがある部分を地面方向であるとみなす。

図 4の例では、各辺 f l， f 2 , f 3 , f 4またはその近傍のライン L 1 , L 2， L 3 , L 4のうち、辺 f 4またはライン L 4を除く部分が、一様あるいは変化の少ない背景のみで構成され、辺 f 4またはライン L 4の部分に人物の一部（胸部）がかかっていることから、辺 f 4またはライン L 4の画像特徴量の分散値が最も大きくなる。その結果、図中左側の辺 f 4またはライン L 4側が地面方向とみなされることになる。

そして、このようにして人物候捕領域抽出対象となる画像 Gの天地方向が判別されたならば、ステップ S 1 0 4に移行してその画像 Gを天地方向に合わせて回転させる。

図 4の例では辺 f 4またはライン L 4側が地面方向とみなされたこと力ら、辺 f 4またはライン L 4側が図中矢印で示すような実際の地面方向に向くように、その画像 Gを反時計回りに 9 0 ° 、あるいは時計回りに 2 7 0 ° 回転させる。 . 次に、このようにして画像 Gを回転させてその天地方向を実際の天地方向に一致させたならば、次のステップ S 1 0 6に移行して全ての垂直ラインについてその画像特徴量の分散値を求める。

例えば、図 6に示すように、ある画像 Gが、縦（図中 Y方向） 3 0 0画素 X横（図中 X方向） 5 0 0画素からなるものである場合には、縦（垂直）方向に並んだ 3 0 0個の画素列からなる一つの垂直ライン毎にそれぞれの画像特徴量の分散値を算出することになることから、合計 5 0 0の垂直ラインについてそれぞれの分散値を求めることになる。

そして、このようにして全ての垂直ライン毎の画像特徴量の分散値を算出したならば、次のステップ S 1 0 8に移行して、その分散値に閾値を設定し、閾値を超える垂直ラインを画像 Gの左辺（左枠）及び右辺（右枠）から順に内側に探索し、閾値を超える領域を人物候補領域とみなすと共に、それぞれの水平位置の中心を人物候補領域の中心とする。

図 6の例では、左辺（左枠）及び右辺（右枠）から順に内側に探索した結果、点 a及び点 bの部分で閾値を超えたことから、垂直方向では点 a及び点 b間が人物候補領域であると特定され、また、点 a及び点 b間の中点が人物像の中心であると特定されることになる。

次に、このようにして垂直方向の人物候捕領域が特定されたならば、次のステップ S 1 1 0に移行して、前記と同様に今度は全ての水平ラインについてそれぞれの分散値を求める。図 6の例では、画素が縦（垂直）方向に 3 0 0個並んでいることから、合計 5 0 0の垂直ラインについてそれぞれの分散値を求めることになる。 '

このようにして全ての水平ライン毎の分散値を求めたならば、前記ステップ S 1 0 8 と同様に、その分散値に閾値を設定し、次のステップ S 1 1 2に移行して、閾値を超える水平ラインを画像 Gの上辺（上枠）から順に下方向に探索し、閾値を超えるその下部の領域を人物候補領域とみなす。図 6の例では、上辺（上枠）から順に下方に探索した結果、点 cの部分で閾値を超えたことから、水平方向では点 c以下の領域が人物候補領域であると特定され、また、点 c付近が人物像の頂点、すなわち、頭頂部であると特定されることになる。なお、前述したように、この画像 Gはその人物の一部がかかった領域が必ず地面方向に位置していることから下辺からの探索は不要である。

そして、次のステップ S 1 1 4に移行して、垂直方向及び水平方向でそれぞれ分散値を超える領域が特定されたならば、それら各領域の重なり合つた領域を特定することで、その領域を人物候補領域として抽出することができる。 .

図 6の例では図 7に示すように、 a — b領域と c以下領域との重なり合つた領域が人物候補領域として抽出されることになる。

このように本発明は、画像特徴量の分散値が人物が存在している領域では高くなり、人物が存在していない背景領域等では低くなる傾向があることを利用して画像の天地方向を判別すると共に、その分散値が閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士が重なり合う画像中の領域を人物候補領域として抽出するようにしたことから、画像 Gの天地方向の修正は勿論、その画像 G中の人物像が存在する領域を頑健 (ロバスト）かつ高速に抽出することができる。

なお、本実施の形態では、矩形状の画像枠 Fの画像 Gの場合で説明した力 S、三角形の画像枠 Fやそれ以上の多角形の画像枠の場合でも同様な手法によって容易にその天地方向の判別及び人物候捕領域の抽出を行うことができる。また、真円形や楕円形の画像枠 Fでもその外縁部を一定の距離毎に分割して判断すれば、多角形の画像枠 Fと同様にその天地方向の判別及ぴ人物候補領域の抽出を行うことが可能となる。

また、閾値の具体的な設定方法も特に限定されるものではないが、図 6 に示すように、背景部分と人物部分とで画像特徴量の分散値に顕著な違いが見られる場合には、その閾値を低く設定すれば人物候補領域をより正確に抽出することが可能となるが、背景に人物以外のものが写っている等の理由によって顕著な違いが見られない場合はその閾値はより高く設定する必要がある。通常の閾値は、画像枠付近の分散値に、最大分散値の 1 / 4 程度を足した付近が適当であると考えられる。

また、画像特徴量としてエッジの強度を用いれば、高速に算出できる上に照明の影響を軽減できるといった効果が得られる反面、背景に人物以外のものが写っていて背景と人物のエッジ強度の差異が小さいなどの場合にはエッジ強度を用いることが適当でないため、このような場合は、色相角を用いればより確実に人物候補領域の抽出に寄与することができる。

また、天地判定に利用するラインは、各辺毎に 1本ずつであれば天地判定が可能であるが、画像 Gのノイズや汚れ等を考慮して複数本選択し、各ラインの分散値の平均値を用いるようにしても良く、また、人物候捕領域を抽出する場合には全てのラインを使う他に、適宜一定間隔毎の一部のラインを用いるようにすれば、正確性はやや劣るものの、その分だけ分 m値等の計算量が大幅に減ることになるため、より迅速に人物候補領域を抽出することが可能となる。

また、本実施の形態では、人物領域の抽出前に画像中の人物像の天地方向の判定及びその修正を行うようにしたが、対象となる画像中の人物像の天地方向が全て実際の天地方向と一致しているようなケースでは、これらの判定及び修正処理を省略できることは勿論である。

Claims

請求の範囲

1 . 人物像が含まれる画像中から当該人物像が存在する領域を抽出する方法であって、

前記画像を構成する縦横の画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量の分散値を求めると共に、前記縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値が閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士の重なり合う画像中の領域を前記人物が存在する領域として抽出するようにしたことを特徴とする画像中の人物候補領域抽出方法。

2 . 人物像が含まれる画像中から当該人物像が存在する領域を抽出する方法であって、

前記画像中の人物像の天地方向を判別し、その判別結果に基づいて前記画像を回転させて前記人物像を実際の天地方向に修正し、その後、当該画像を構成する縦横の画素列からなる縦ライン及び横ラインについてそれぞれの鲔像特徴量の分散値を求めると共に、前記縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値が閾値を超える領域をそれぞれ選択し、選択された各ライン方向の領域同士の重なり合う画像中の領域を前記人物が存在する領域として抽出するようにしたことを特徴とする画像中の人物候補領域抽出方法。

3 . 請求項 2に記載の画像中の人物候補領域抽出方法において、

前記画像中の人物像の天地方向の判別は、前記画像が三角形以上の多角形の枠で囲まれており、かつ当該画像中に含まれる人物像が上半身または頭部を中心とした一部であるときは、当該画像枠の各辺または各辺近傍のラインを構成する画素列について画像特徴量の分散値を求め、その分散値が最も大きい辺またはライン近傍の辺側を地面方向とするようにしたことを特徴とする画像中の人物候補領域抽出方法。

4 . 請求項 3に記載の画像中の人物候補領域抽出方法において、前記画像の各ラインを複数本近接して選択し、当該各ラインについての画像特徴量の分散値の平均値を用いるようにしたことを特徴とする画像中の人物候補領域抽出方法。

5 . 請求項 1〜 4のいずれか 1項に記載の画像中の人物候捕領域抽出方法において、

前記縦ライン及び横ラインは、前記画像の幅方向及び高さ方向に一定間隔毎のラインを用いるようにしたことを特徴とする画像中の人物候補領域抽出方法。

6 . 請求項 1〜 5のいずれか 1項に記載の画像中の人物候補領域抽出方法において、

前記画像特徴量は、前記各ラインを構成する画素列の各画素のエッジ強度または色相角のいずれか、あるいは双方に基づいて算出するようにしたことを特徴とする画像中の人物候補領域抽出方法。

7 . 請求項 6に記載の画像中の人物候補領域抽出方法において、

前記エッジ強度は、 S o b e 1のエッジ検出オペレータを用いるようにしたことを特徴とする画像中の人物候補領域抽出方法。

8 . 人物像が含まれる画像中から当該人物像が存在する領域を抽出するシステムであって、

前記画像を読み取る画像読取手段と、

当該画像読取手段で読み取られた画像を構成する画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量を算出する画像特徴量算出手段と、

当該画像特徴量算出手段で得られた縦ライン方向及び横ライン方向についてそれぞれの画像特徴量の分散値を求める分散値算出手段と、

当該分散値算出手段で得られた画像特徴量の分散値が縦ライン方向及び横ライン方向でそれぞれ閾値を超える各ライン方向の領域から前記人物が存在する領域を検出する人物候補領域検出手段と、

を備えたことを特徴とする画像中の人物候補領域抽出システム。

9 . 人物像が含まれる画像中から当該人物像が存在する領域を抽出するシステムであって、

前記画像を読み取る画像読取手段と、

当該画像読取手段で読み取った画像中の人物像の天地方向を判別する天地判別手段と、

当該天地半 ϋ別手段の結果に基づいて前記画像を回転させて前記人物像を実際の天地方向に修正する天地修正手段と、

当該天地修正手段で天地方向が修正された後の当該画像を構成する画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量を算出する画像特徴量算出手段と、

当該画像特徴量算出手段で得られた縦ライン方向及ぴ横ライン方向についてそれぞれの画像特徴量の分散値を求める分散値算出手段と、

1 0 . 請求項 9に記載の画像中の人物候補領域抽出システムにおいて、前記画像中の人物像の天地方向を判別する天地判別手段は、前記画像が三角形以上の多角形の枠で囲まれており、かつ当該画像中に含まれる人物像が上半身または頭部を中心とした一部であるときは、当該画像の各辺または各辺近傍のラインについて画像特徴量の分散値を求め、その分散値が最も大きい辺またはライン近傍の辺側を地面方向とするようになつていることを特徴とする画像中の人物候補領域抽出システム。

1 1 . 人物像が含まれる画像中から当該人物が存在する領域を抽出するプログラムであって、

前記画像中の人物像の天地方向を判別する天地判別手段と、

当該天地判別手段の結果に基づいて前記画像を回転させて前記人物像を実際の天地方向に修正する天地修正手段と、当該天地修正手段で天地方向が修正された後の当該画像を構成する画素列からなる縦ライン及び横ラインについてそれぞれの画像特徴量を算出する画像特徴量算出手段と、

をコンピュータに機能させることを特徴とする画像中の人物候補領域抽出プログラム。

1 2 . 請求項 1 1に記載の画像中の人物候補領域抽出プログラムにおいて、前記画像中の人物像の天地方向を判別する天地判別手段は、前記画像が三角形以上の多角形の枠で囲まれており、かつ当該画像中に含まれる人物像が上半身または頭部を中心とした一部であるときは、当該画像の各辺または各辺近傍のラインについて画像特徴量の分散値を求め、その分散値が最も大きい辺またはライン近傍の辺側を地面方向とするようになつていることを特徴とする画像中の人物候補領域抽出プログラム。

1 3 . 三角形以上の多角形の枠内に上半身または頭部を中心とした人物像が存在する画像中の当該人物像の天地方向を判別する方法であって、

前記画像の各辺または各辺近傍のラインを構成する画素列の画像特徴量の分散値を求め、その分散値が最も大きい辺またはライン近傍の辺側を地面方向と判別するようにしたことを特徴とする人物像の天地判定方法。

1 4 . 三角形以上の多角形の枠内に上半身または頭部を中心とした人物像が存在する画像中の当該人物像の天地方向を判別するシステムであって、前記画像の各辺または各辺近傍のラインを構成する画素列の画像特徴量の分散値を算出する分散値算出手段と、

当該分散値算出手段で得られた分散値が最も大きい辺またはライン近傍の辺側を地面方向と判別する天地判別手段と、を備えたことを特徴とする人物像の天地判定システム。

1 5 . 三角形以上の多角形の枠内に上半身または頭部を中心とした人物像が存在する画像中の当該人物像の天地方向を判別するプログラムであって、コンピュータを、

前記画像の各辺または各辺近傍のラインを構成する画素列の画像特徴量の分散値を算出する分散値算出手段と、

当該分散値算出手段で得られた分散値が最も大きい辺またはライン近傍の辺側を地面方向と判別する天地判別手段と、

して機能させることを特徴とする人物像の天地判定プログラム。