JPH10111943A - 画像内正面人物像抽出方法 - Google Patents

Abstract

(57)【要約】 【課題】画像内正面人物像を個人差や人物像の背景の環
境変化の影響の中で安定に抽出する方法を提供する。 【解決手段】人物の正面から撮影された正面人物像を含
む静止画像ディジタルデータから前記正面人物像の輪郭
線によって構成される正面人物輪郭像を抽出する手段
と、複数の前記正面人物輪郭像を用いた正面人物像テン
プレート画像作成手段と、正面人物像テンプレート画像
を用い、画像内に存在する正面人物像抽出手段とを具備
することを特徴とする画像内正面人物像抽出方法。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像内正面向きの人
物像を抽出し、画像内における正面人物像の位置を求め
る方法に関する。

【０００２】

【従来の技術】人間と計算機との間の円滑かつ自然な情
報伝達を実現するためには、計算機に人間に関する視覚
的な情報を認識させることが必要である。特に、カメラ
で撮影された画像内正面を向いた胸像程度の大きさの人
物像を抽出し、その正面人物像の画像内における位置を
把握することは、その後のより詳細な人物に関する情報
認識処理、例えば性別判別や顔特徴による個人識別もし
くは表情認識等を行うための重要な前提処理となる。

【０００３】画像内から正面人物像を抽出する方法とし
ては、カラー画像をモザイク画像化し、肌色領域に着目
することによって顔領域を抽出する手法（“顔領域抽出
に有効な修正ＨＳＶ表色系の提案”，テレビジョン学会
誌，Ｖol.４９，Ｎo.６，pp.７８７−７９７(１９９
５)）が提案されているが、色彩情報のみを用いている
ため、画像内他の類似色領域の影響を受け、また、抽出
された正面人物像の画像内における位置精度が不足する
問題がある。

【０００４】また、髪や目や口など正面人物像の頭部を
構成する各部分に関する幾何学的な形状特徴を利用して
正面人物像の頭部領域を抽出する手法（“静止濃淡情景
画像からの顔領域の抽出”，電子情報通信学会誌，Ｖo
l.Ｊ７４−Ｄ−II，Ｎo.１１,pp.１６２５−１６２７，
（１９９１)）が提案されているが、個人差の影響を大
きく受け、また、抽出対象である人物像の大きさの変化
に追従することが困難である。

【０００５】さらに、動画像の場合は、フレーム間の人
物の微妙な動きによって発生する人物像の輪郭エッジを
利用して正面人物像を抽出する手法（“テレビ電話用顔
領域検出とその効果”，画像ラボ，１９９１−１１(１
９９１)）が提案されているが、人物が静止している状
態では抽出が困難であり、局所的なエッジ情報のみを利
用しているために周辺のノイズ等の影響を受けやすい。
以上のいずれの手法も適用条件が限定されており、従
来、人物の個人差や人物像の背景の環境変化に追従可能
な正面人物像抽出手法は提案されていなかった。

【０００６】

【発明が解決しようとする課題】本発明が解決しようと
する課題は、画像内正面人物像を個人差や人物像の背景
の環境変化の影響の中で安定に抽出する方法を提供する
ことである。

【０００７】

【課題を解決するための手段】上記課題を解決するため
に、人物の正面から撮影された静止画像ディジタルデー
タから正面人物輪郭像を抽出する手段と、複数の前記正
面人物像輪郭像を用いた正面人物像テンプレート画像作
成手段と、前記正面人物像テンプレート画像を用いた画
像内正面人物像抽出手段とを具備した方法により、画像
内正面人物像を抽出する。

【０００８】正面人物輪郭像の抽出では、正面人物像を
構成する輪郭線を人間の視覚と手作業によって抽出す
る。すなわち、胸像程度の大きさの正面人物像を含む静
止画像内からマウス等のポインティングデバイスを用い
て、画像内正面人物像の外枠輪郭線を追跡することによ
って人物像輪郭線を抽出し、正面人物輪郭像を得る。

【０００９】次に、得られた正面人物輪郭像をある一定
の大きさに正規化する。正面人物輪郭像は、複数枚の静
止画像を用い、各々の静止画像について求める。

【００１０】次に、正面人物像テンプレート画像の作成
では、大きさに関する正規化が完了した複数の正面人物
輪郭像をすべて重ね合わせ、輪郭線が重なり合う部分に
重なった輪郭線の本数分の輝度値を持つ一枚の濃淡情報
によって構成される正面人物像テンプレート画像を作成
する。

【００１１】次に、画像内正面人物像抽出手段では、対
象となる静止画からエッジ点を抽出することによって二
値エッジ画像を得て、この二値エッジ画像内から正面人
物像テンプレート画像と類似した部分画像を探し出す。

【００１２】対象画像内人物像は、一般的に位置が不明
であり、また、正面人物像テンプレート画像に対して大
きさが異なり、さらに傾いている可能性がある。そこ
で、正面人物像テンプレート画像の位置，大きさおよび
傾きの各々の要素について取り得る値を設定し、各設定
値について変換を施した正面人物像テンプレート画像を
作成し、これらと対象となる二値エッジ画像内の部分画
像と類似度を評価し、高い類似度を持つ部分画像位置に
正面人物像が存在していると判定する。

【００１３】

【発明の実施の形態】図１は、本発明を実現するための
システム構成の一例である。７は表示装置であり、計算
機６の出力結果を表示する。計算機６に対する命令は、
マウス等のポインティングデバイス９または鍵盤８によ
って行う。カメラ１によって撮影された画像またはビデ
オレコーダ２，ディジタルビデオディスク３等から送出
された画像はアナログディジタル変化器４によって量子
化され、画像メモリ５に格納される。画像メモリ５は計
算機によってアクセスされる。

【００１４】本発明では、図２に示すように、画面に胸
像程度の大きさで一人の人物が正面向きで撮影されてい
る画像を扱う。人物の背景は任意であるとする。例え
ば、テレビ放送のニュース番組等において、解説者がニ
ュースを読み上げているような場面等が該当する。この
ような画像内から人物像を抽出することが本発明の目的
である。

【００１５】画像は、濃淡画像およびカラー画像を対象
とする。本発明で扱う画像情報は輝度値であるため、カ
ラー画像の場合は、赤（Ｒ），緑（Ｇ），青（Ｂ）のカ
ラー３原色情報を用いて濃淡画像への変換処理（例え
ば、“顔領域抽出に有効な修正ＨＳＶ表色系の提案”，
テレビジョン学会誌，Ｖol.４９，Ｎo.６，pp.７８７−
７９７(１９９５)）を行う。本発明で提案する人物像抽
出処理は、事前に正面人物像テンプレート画像を作成す
る過程と、作成された正面人物像テンプレート画像を用
いて対象画像内から人物像を探し出す過程から構成され
る。

【００１６】正面人物像テンプレート画像作成のための
フローチャートを図３に示す。まず、正面を向いた一人
の人物が存在する複数枚の画像を準備し、ステップ１０
２において、これらの画像の中からある画像を選び、表
示装置７に表示する。ただし、男性と女性では、人物の
特徴が大きく異なるため、男女が混合しない、男性もし
くは女性のいずれかのみが撮影されている画像を各々複
数枚準備し、男性と女性に関する各々個別の人物像テン
プレート画像を作成する。ステップ１０１で、男女いず
れの人物像テンプレート画像を作成するかを選択する。
正面人物像が含まれる各画像を見ながら、ステップ１０
３で、作業を行う人間が画像内人物像の頭部および体部
を構成する外枠の輪郭線をマウス等のポインティングデ
バイスによって追跡し、正面人物像を構成する連続した
輪郭線、すなわち正面人物輪郭像を得る。具体的には、
マウス等のポインティングデバイスによって画像メモリ
内に格納された正面人物像の輪郭線を追跡する際、その
追跡された輪郭線を構成する点の画像内における各座標
を逐次求める。

【００１７】また、ステップ１０４で、図４に示すよう
に、正面人物輪郭像における代表点として、人物の眉間
部（両目の中心部）の点Ａおよび両肩の位置、すなわち
肩部分を構成する輪郭線の視覚的な曲率が最大となる点
Ｂと点Ｃを指定する。ステップ１０５で、これら３点か
ら構成される三角形ＡＢＣの重心Ｇを３点Ａ，Ｂ，Ｃの
座標を用いて算出し、求められた重心Ｇを正面人物輪郭
像の基準点とする。

【００１８】次に、ステップ１０６で、得られた正面人
物輪郭像の位置と大きさに関する正規化を行う。位置に
関する正規化は、設定した正面人物輪郭像の代表点から
構成される三角形ＡＢＣの重心Ｇと画像メモリ内の基準
点Ｏとの相対位置を求め、三角形ＡＢＣの重心Ｇが基準
点Ｏと一致するように、人物輪郭像を平行移動させる。
すなわち、三角形ＡＢＣの重心Ｇと画像メモリ内の基準
点Ｏとの相対位置分だけ人物輪郭像を構成するすべての
輪郭点の座標を平行移動させる。

【００１９】大きさに関する正規化は、三角形ＡＢＣが
ある定まった面積を持つ三角形ABCと相似な三角形ＰＱ
Ｒとなるように拡大縮尺率Ｓ_C を設定する。拡大縮尺率
Ｓ_Cによって、点Ｏを基準として正面人物輪郭像を構成
するすべての輪郭点の座標を変換する。ここで、図５に
示すように、三角形ＡＢＣの面積をＳ，底辺ＢＣの長さ
をＬとし、三角形ＡＢＣと相似でかつ同一の重心を持つ
ある定まった面積Ｓ′を持つ基準三角形ＰＱＲの底辺Ｑ
Ｒの長さをＬ′とすると、Ｌ′＝Ｌ√(Ｓ′／Ｓ）であ
るから、三角形ＡＢＣに対する三角形ＰＱＲの拡大縮尺
率Ｓ_C はＳ_C ＝√(Ｓ′／Ｓ)となる。基準点Ｏの座標を
基準として、アフィン変換（“コンピュータ・ビジョ
ン”，日本コンピュータ協会，pp.５９５−６００（１
９８７)）によって正面人物輪郭像の大きさがＳ_C 倍と
なるように正面人物輪郭像を構成するすべての輪郭点の
座標に関して座標変換を行う。

【００２０】以上の処理によって、位置と大きさに関し
て正規化された正面人物輪郭像を構成する輪郭点の座標
が得られる。以上に述べた正規化された正面人物輪郭像
を構成する輪郭点座標の抽出処理は、ステップ１０７
で、複数枚の正面人物画像の各々について行われる。

【００２１】次に、ステップ１０８で、複数枚の画像か
ら得られた各正面人物輪郭像を各々の基準点が一致する
ように重ね合わせる。すなわち、複数枚の正面人物画像
の各々を用いて正面人物輪郭像に関する基準点の座標と
正規化された正面人物輪郭像を構成するすべての輪郭点
の座標を抽出し、これらの座標から各々の正面人物輪郭
画像を生成し、図６に示すように、生成したすべての正
面人物輪郭画像を重ね合わせる。この時、各正面人物輪
郭画像を構成する輪郭線の輝度値は１とする。すなわ
ち、各輪郭線には各々輝度値１を持たせ、複数の輪郭線
が重なる部分は、重なった輪郭線の本数分だけ輝度を累
積する。したがって、正面人物輪郭画像を数多く重ね合
わせるにしたがって、多くの輪郭線が重なる部分の輝度
値は増加することになる。

【００２２】最終的に、ステップ１０９で、すべての正
面人物像画像を重ね合わせた累積結果画像内から正面人
物像画像の近傍画像領域部分を切り出し、図７に示すよ
うな部分画像を正面人物像テンプレート画像とする。正
面人物像テンプレート画像で、多くの正面人物像に共通
の輪郭線部分に該当する部分の輝度値は相対的に高くな
り、逆に、少数の人物像のみに固有の輪郭線部分、すな
わち個人差が激しい部分の輝度値は相対的に低くなる。
次に、ステップ１１０で、男女双方の人物像テンプレー
ト画像の作成が完了したかを調べる。ここで作成した正
面人物像テンプレート画像が、次に述べる正面人物像抽
出過程におけるマッチング処理のための基準テンプレー
ト画像として用いられる。

【００２３】次に、作成された正面人物像テンプレート
画像を用いて対象画像内から正面人物像を抽出する過程
について述べる。図８は、正面人物像抽出の処理過程を
示す。

【００２４】まず、ステップ２０１で、カメラ１，ビデ
オレコーダ２，ディジタルビデオディスク３等から入力
された画像を量子化したディジタル原画像から空間的に
輝度が大きく変化するエッジ点を抽出し、エッジ画像を
得る。エッジ点抽出には、近傍画素間の微分処理とし
て、対象画素の輝度値とその画素に隣接する近傍画素の
輝度値との差を求める処理、例えばPrewitt オペレータ
（“コンピュータ・ビジョン”，日本コンピュータ協
会，pp.９７−１０３（１９８７)）等を用いる。

【００２５】次に、ステップ２０２で、得られたエッジ
画像をあるしきい値で二値化し、エッジ点のみから構成
される二値エッジ画像を得る。二値化のための輝度しき
い値の設定手法としては、画像全体の輝度変化への追従
性が高く、かつ自動的にしきい値設定が可能な判別分析
法（“判別および最小２乗基準に基づく自動しきい値選
定法”，電子情報通信学会誌，Ｖol.Ｊ６３−Ｄ，Ｎo.
４，pp.３４９−３５６(１９８０)）等を用いる。ここ
で得られた二値エッジ画像が、正面人物像テンプレート
画像とのマッチング処理のための処理対象画像となる。

【００２６】二値エッジ画像には、一般的に、目的とす
る正面人物像の輪郭線を構成するエッジ情報以外に、人
物の顔や衣服，人物の周辺各種物体や背景等を構成する
様々なエッジ情報が含まれる。ステップ２０５で、これ
ら多くのエッジ情報を含む二値エッジ画像の中から、基
準となる正面人物像テンプレート画像と類似した部分画
像を探し出す。二値エッジ画像内から正面人物像テンプ
レート画像を探索する処理は、図７に示した正面人物像
テンプレート画像を二値エッジ画像内で逐次移動させな
がら各移動位置で両者の画像間の類似度を評価し、最も
類似度の高い位置を求めることによって行われる。

【００２７】ここで、類似度は、正面人物像テンプレー
ト画像と二値エッジ画像内のマッチングの対象となる正
面人物像テンプレート画像と同一の大きさを持つ部分画
像を重ね合わせた場合の各エッジ点位置に対応する正面
人物像テンプレート画像が持つ輝度値の総和値によって
評価する。例えば、正面人物像テンプレート画像の輝度
が高い部分に二値エッジ画像内の多くのエッジ点が含ま
れている場合は、両者の類似度は大きくなる。図９に示
すように、二値エッジ画像内人物像の輪郭エッジが正面
人物像テンプレート画像内に多く含まれる場合、すなわ
ち両者の重なり具合が大きい場合、両者の類似度は最大
となり、この場合における正面人物像テンプレート画像
の基準位置を求めることによって、対象画像内正面人物
像の位置を求める。以上のマッチング処理は、ステップ
２０６で、二値エッジ画像内の探索対象範囲内について
行われる。

【００２８】正面人物像テンプレート画像と二値エッジ
画像間のマッチング処理を行う場合、両者の大きさの違
いおよび対象となる正面人物像の左右への傾きが類似度
に影響を与える。特に、対象画像内正面人物像が大きく
左右に傾く可能性はテレビ放送のニュース番組などでは
比較的小さいと言えるが、正面人物像大きさに関しては
一般的に正面人物像テンプレート画像と異なるのが普通
である。

【００２９】本発明では、正面人物像テンプレート画像
に対して二値エッジ画像内の人物像が僅かに傾いてお
り、かつ大きさが異なる一般的な場合に対応するため
に、正面人物像テンプレート画像に対して抽出対象とな
る正面人物像が取り得る範囲の離散化されたすべての拡
大縮尺率と傾き角度の値についてマッチング処理を行
う。このために、ステップ２０４で、図１０に示すよう
に、正面人物像テンプレート画像の基準点Ｏを基準とし
て、正面人物像テンプレート画像の大きさを拡大縮尺率
Ｓ_T だけ変化させ、かつ角度φだけ傾かせたマッチング
処理用の正面人物像テンプレート画像を作成する。この
場合、正面人物像テンプレート画像内で値を持つすべて
の画素について、基準点Ｏの座標を基準とするアフィン
変換によって座標変換を行う。

【００３０】座標変換計算の際に用いる拡大縮尺率Ｓ_T
および傾き角度φは、ステップ207で、抽出対象となる
正面人物像が正面人物像テンプレート画像に対して取り
得る範囲のすべての値を用いる。すなわち、マッチング
処理は、離散化された拡大縮尺率Ｓ_T および傾き角度φ
の各組み合わせの結果得られた複数の正面人物像テンプ
レート画像を用いて行われる。これらすべての正面人物
像テンプレート画像と人物抽出処理の対象となる二値エ
ッジ画像とのマッチング処理を行い、最も類似度が大き
くなる場合を求める。

【００３１】本発明で人物抽出対象としている画像は、
テレビ放送のニュース番組等であるため、正面人物像の
大きさ，人物像の左右への傾き角度は一般的に各々限定
された範囲内の値となる。また、人物像の位置について
もほぼ画面中央部に存在している場合が多いため、正面
人物像テンプレート画像の対象画像内における探索範囲
も画面中央付近のみに限定することができる。正面人物
像の大きさ，傾き角度および存在位置に関する各範囲を
限定することにより、正面人物像テンプレート画像と二
値エッジ画像とのマッチング処理による正面人物像抽出
処理を高速化することができる。

【００３２】抽出対象人物が男性の場合と女性の場合で
は、体格や髪型をはじめとして、正面人物像の特徴が異
なることから、ステップ２０３で、男性と女性いずれか
の正面人物像テンプレート画像を選択すると共に、ステ
ップ２０８で、これら双方の正面人物像テンプレート画
像を用いて各々マッチング処理を行い、ステップ209で
最も類似度が大きくなる場合を求める。

【００３３】

【発明の効果】本発明によって、画像内胸像程度の大き
さを持つ正面向き人物像を抽出することが可能となる。
正面人物像テンプレート画像の作成過程では、正面人物
像から抽出した正面人物輪郭像を位置と大きさに関して
正規化した後、多くの正面人物像から得られた正面人物
輪郭像を各々重ね合わせ、多くの輪郭線が重なる部分に
はより高い重み、すなわち輝度を持たせることによっ
て、人物の体格や髪型等の個人差に対応した正面人物像
テンプレート画像を生成する。また、マッチング処理で
は、マッチングの基準となる正面人物像テンプレート画
像から拡大縮尺率と傾き角度を変化させた複数の正面人
物像テンプレート画像を作成し、これらを用いることに
よって、対象画像内人物像が正面人物像テンプレート画
像と異なる大きさであり、かつ傾いている場合であって
も抽出が可能となる。

【図面の簡単な説明】

【図１】本発明を実施するための正面人物像抽出システ
ムのブロック図。

【図２】本発明で処理対象とする正面人物像を含む画像
例の説明図。

【図３】正面人物像テンプレート画像の作成過程を表す
フローチャート。

【図４】正面人物輪郭像の基準点を表す説明図。

【図５】正面人物輪郭像の基準点を結ぶ三角形と基準と
なる三角形の関係を表す説明図。

【図６】複数の正面人物輪郭像を重ね合わせた状態を表
す説明図。

【図７】正面人物像テンプレート画像を表す説明図。

【図８】対象画像内から正面人物像を抽出する処理過程
を表すフローチャート。

【図９】二値エッジ画像と正面人物像テンプレート画像
との類似度が大きくなる場合を表す説明図。

【図１０】大きさの変化と傾き角度を与えた正面人物像
テンプレート画像を表す説明図。

【符号の説明】

１…カメラ、２…ビデオレコーダ、３…ディジタルビデ
オディスク、４…アナログディジタル変換器、５…画像
メモリ、６…計算機、７…表示装置、８…鍵盤、９…マ
ウス。

Claims (5)

【特許請求の範囲】
1. 【請求項１】人物の正面から撮影された正面人物像を含
   む静止画像ディジタルデータから前記正面人物像の輪郭
   線によって構成される正面人物輪郭像を抽出する手段
   と、複数の前記正面人物輪郭像を用いた正面人物像テン
   プレート画像作成手段と、正面人物像テンプレート画像
   を用い、画像内に存在する正面人物像抽出手段とを具備
   することを特徴とする画像内正面人物像抽出方法。
2. 【請求項２】請求項１に記載の前記正面人物輪郭像抽出
   手段は、撮影された静止画像内前記正面人物像の体部お
   よび頭部の外枠を構成する輪郭線を、ポインティングデ
   バイスを用いて追跡することによって前記正面人物輪郭
   像として抽出する手段と、前記ポインティングデバイス
   を用いて前記正面人物輪郭像における基準点を設定する
   手段を設けた画像内正面人物像抽出方法。
3. 【請求項３】請求項１に記載の前記正面人物像テンプレ
   ート画像作成手段は、抽出した前記正面人物輪郭像を一
   定の大きさに正規化し、大きさに関して正規化された複
   数の前記正面人物輪郭像を基準点位置を基に重ね合わせ
   ることによって前記正面人物像テンプレート画像を作成
   する画像内正面人物像抽出方法。
4. 【請求項４】請求項１に記載の前記正面人物像抽出手段
   は、縮尺および傾き角度に関して変化させた複数の前記
   正面人物像テンプレート画像を作成し、前記正面人物像
   の抽出対象となる画像から二値エッジ画像を抽出し、前
   記二値エッジ画像内の各所にて複数の前記正面人物像テ
   ンプレート画像との重ね合わせを行い、前記正面人物像
   テンプレート画像に含まれる前記二値エッジ画像内にお
   けるエッジ点に関する評価値がしきい値以上の場合にそ
   の位置に前記正面人物像が存在すると判定し、対象画像
   内における前記正面人物像の位置を抽出する画像内正面
   人物像抽出方法。
5. 【請求項５】請求項４に記載の前記二値エッジ画像は、
   濃淡画像内のある画素の水平および垂直近傍画素間の輝
   度差を用いて抽出する画像内正面人物像抽出方法。