JP4502645B2

JP4502645B2 - 人物画像抽出装置、及びコンピュータプログラム

Info

Publication number: JP4502645B2
Application number: JP2004012363A
Authority: JP
Inventors: 浩佐藤; 拓斎藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2004-01-20
Filing date: 2004-01-20
Publication date: 2010-07-14
Anticipated expiration: 2024-01-20
Also published as: JP2005208760A

Description

本発明は、障害物の写っている一般的な背景画像とともに撮影されている人物画像から、背景を消去して人物画像を抽出する人物画像抽出装置、及びコンピュータプログラムに関する。

従来、免許証、パスポート、種々の証明書用の肖像写真、葬儀用の遺影、犯罪捜査用の肖像写真の撮影等には、背景が白色又は青色になるようにして本来要求されているサイズよりも広い範囲を写真撮影し、人物の顔が要求されている条件に合致するようにトリミングする、又はプリントした写真を要求されているサイズに合わせて裁断することによって、要求されているサイズの肖像写真を作成していた。

上述した従来の肖像写真の撮影方法では、白色又は青色の背景を得るために専用のスクリーン及び適当な照明が必要であり、加えてプリントした写真を要求されている条件に合致するようにトリミング又は裁断する必要があり、手間がかかっていた。

一方、近年のパーソナルコンピュータの性能向上及び普及に伴って種々の画像処理ソフトウェアが開発されており、一枚の画像中から任意の領域、例えば人物の全体像、顔等をユーザが指定することにより抽出し、他の画像、例えば風景画像に合成することが可能な機能が備えられているソフトウェアも多々開発されている。しかし、一枚の画像から任意領域を自動的に抽出する処理は困難であり、ユーザが画像の境界をマウスなどのポインティングデバイスでなぞってやる必要があるソフトウェアが主流であり、自動的に抽出処理を行うことができると謳っているソフトウェアであっても、実際にはユーザの手動操作によって、輪郭の指示が必要となっているソフトウェアが多い。

斯かる問題に対応すべく、例えば特許文献１では、背景画像は白色又は青色になるようにする必要はあるものの、写っている人物の頭頂、目の位置、あごの位置を指定することによって、人物の輪郭をマウスなどのポインティングデバイスでなぞってやる必要がない自動顔画像処理装置が開示されている。

特許文献２では、人物の写っていない背景画像のみを撮像し、同一の背景上で人物を撮像することによって、背景画像を効果的に排除して人物の輪郭を自動的にトリミングする前景画像抽出方法が開示されている。

特許文献３又は特許文献４では、一般的な背景画像に写っている人物画像から、色、特に人間の顔の色である肌色を中心とした画像を抽出することにより、自動的に顔画像を抽出することができる顔画像抽出方法が開示されている。
特開２００１−００５９７７号公報特開２０００−０３６０３２号公報特開平９−０５０５２８号公報特開平１０−３３４２１３号公報

上述した従来の技術では、以下のような問題点があった。すなわち、特許文献１に開示されている顔画像処理方法では、結局は肖像写真を撮影するために専用の設備（スクリーン、照明等）が必要となるとともに、写っている人物の頭頂、目の位置、あごの位置を指定する必要がある。また、対象となる人物画像が背景画像よりも明るく、背景が一様であることが要求されることから、障害物を含む背景画像の状態によっては人物画像を抽出することが困難になるおそれがあるという問題点があった。

また、特許文献２に開示されている前景画像抽出方法では、顔画像だけでなく肖像画像として人物の上半身を抽出することが可能となっているが、背景画像を事前に撮影しておく必要があるとともに、人物を同一の背景画像で撮影する必要があり、簡便性に欠けるという問題点があった。

また、特許文献３又は特許文献４に開示されている顔画像抽出方法では、人物の顔画像だけを抽出することができ、肖像画像として人物の上半身を抽出することは困難であるという問題点があった。

本発明は斯かる事情に鑑みてなされたものであり、最小限のオペレーションによって、障害物の写っている一般的な背景画像とともに撮影されている人物画像から背景画像を消去して人物画像を抽出する人物画像抽出装置、及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために本発明に係る人物画像抽出装置は、人物を撮影して得られる撮影画像から前記人物に対応した人物画像を抽出する人物画像抽出装置において、前記人物画像の頭頂部及び顎部を示す点の座標の指定を受付ける手段と、指定された前記頭頂部を示す座標を含む矩形領域内に位置する画素の画素値の色空間内での分散を算出する手段と、算出した画素値の分散が閾値より小さいか否か判断する手段と、該手段で画素値の分散が閾値より小さいと判断した場合、前記色空間における明度、彩度及び色相の度数分布を一様にする手段と、前記画素値の分散が閾値以上であると判断した場合、前記撮影画像に対して微分フィルタを適用することにより、又は前記度数分布を一様にして得られる撮影画像に対して微分フィルタを適用することにより、人物画像の輪郭を抽出する輪郭抽出部と、前記撮影画像から人物の背景に対応した背景画像を除去する背景画像除去部とを備え、該背景画像除去部は、人物画像である確度の高い領域と背景画像である確度の高い領域とを予め定めてあり、２つの領域間を、夫々の領域について設定した色の中間色による階調データとしてある人物の形状を模した多値テンプレートを記憶しておき、前記人物画像の頭頂部及び顎部の座標を前記多値テンプレートの顔部分に適合させ、前記微分フィルタを適用した後に白黒反転させた撮影画像の各画素の画素値をＲ’，Ｇ’，Ｂ’、前記各画素に対応した前記多値テンプレートの値をＴとしたとき、
Ｒ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｒ’＋Ｔ−１２８）
Ｇ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｇ’＋Ｔ−１２８）
Ｂ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｂ’＋Ｔ−１２８）
により得られるＲ”，Ｇ”，Ｂ”を各画素値とした合成画像を生成することにより、背景画像の少なくとも一部を除去すべくなしてあることを特徴とする。

本発明に係る人物画像抽出装置では、抽出すべき人物画像の頭頂部及び顎部の座標のみを取得し、取得した頭頂部を示す座標を含む矩形領域内に位置する画素の画素値の色空間内での分散を算出することにより、必要に応じて色空間の平均化を行い、人物画像における頭部分を明確に特定することができるとともに、多値テンプレートを人物画像の頭頂部及び顎部の座標に合わせて適合し、段階的な階調表示により人物画像として抽出すべき領域を明確にする。これにより、背景画像の種類、状態等に左右されず、人物画像の頭頂部及び顎部のみを特定するだけで人物画像を確実に抽出することができ、免許証、パスポート、種々の証明書用の肖像写真、葬儀用の遺影、犯罪捜査用の肖像写真を作成することが可能となる。

本発明に係る人物画像抽出装置では、抽出すべき人物画像の頭頂部の座標に基づいて、従来の色に基づく顔画像の抽出方法では抽出が困難であった頭髪部分を確実に抽出することができる。これにより、背景画像の種類、状態等に左右されず、人物画像の頭髪部分を特定することができ、免許証、パスポート、種々の証明書用の肖像写真、葬儀用の遺影、犯罪捜査用の肖像写真を精度良く作成することが可能となる。

また、本発明に係る人物画像抽出装置は、前記背景画像除去部は、前記顎部として指定された座標を含む矩形領域に対し、肌色であるか否かを判別することにより、人物画像の首周り部分と背景画像との境界を特定すべくなしてあることを特徴とする。

本発明に係る人物画像抽出装置では、抽出すべき人物画像の頭頂部の座標に基づいて、従来の色に基づく顔画像の抽出方法では抽出が困難であった首周り部分を確実に抽出することができる。これにより、背景画像の種類、状態等に左右されず、人物画像の首周り部分を特定することができ、免許証、パスポート、種々の証明書用の肖像写真、葬儀用の遺影、犯罪捜査用の肖像写真を精度良く作成することが可能となる。

また、本発明に係る人物画像抽出装置は、前記背景画像除去部は、前記人物画像の肩近傍の輪郭線を抽出し、輪郭線の傾きが所定の範囲内にない輪郭線を消去すべくなしてあることを特徴とする。

本発明に係る人物画像抽出装置では、抽出すべき人物画像の頭頂部の座標に基づいて、従来の色に基づく顔画像の抽出方法では消去することが困難であった肩近傍における障害物の輪郭に基づいて生じる不要なエッジを確実に消去することができる。これにより、背景画像の種類、状態等に左右されず、人物画像の肩部分における不要なエッジを確実に消去することができ、免許証、パスポート、種々の証明書用の肖像写真、葬儀用の遺影、犯罪捜査用の肖像写真を精度良く作成することが可能となる。

次に上記目的を達成するために本発明に係るコンピュータプログラムは、人物を撮影して得られる撮影画像から前記人物に対応した人物画像を抽出する処理をコンピュータに実行させるコンピュータプログラムにおいて、前記人物画像の頭頂部及び顎部を示す点の座標の指定を受付けるステップと、指定された前記頭頂部を示す座標を含む矩形領域内に位置する画素の画素値の色空間内での分散を算出するステップと、算出した画素値の分散が閾値より小さいか否か判断するステップと、画素値の分散が閾値より小さいと判断した場合、前記色空間における明度、彩度及び色相の度数分布を一様にするステップと、前記画素値の分散が閾値以上であると判断した場合、前記撮影画像に対して微分フィルタを適用することにより、又は前記度数分布を一様にして得られる撮影画像に対して微分フィルタを適用することにより、人物画像の輪郭を抽出するステップと、前記撮影画像から人物の背景に対応した背景画像を除去するステップとを含み、前記背景画像を除去するステップは、人物画像である確度の高い領域と背景画像である確度の高い領域とを予め定めてあり、２つの領域間を、夫々の領域について設定した色の中間色による階調データとしてある人物の形状を模した多値テンプレートを記憶しておき、前記人物画像の頭頂部及び顎部の座標を前記多値テンプレートの顔部分に適合させ、前記微分フィルタを適用した後に白黒反転させた撮影画像の各画素の画素値をＲ’，Ｇ’，Ｂ’、前記各画素に対応した多値テンプレートの値をＴとしたとき、
Ｒ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｒ’＋Ｔ−１２８）
Ｇ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｇ’＋Ｔ−１２８）
Ｂ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｂ’＋Ｔ−１２８）
により得られるＲ”，Ｇ”，Ｂ”を各画素値とした合成画像を生成することにより、背景画像の少なくとも一部を除去するものであることを特徴とする。

本発明に係るコンピュータプログラムでは、抽出すべき人物画像の頭頂部及び顎部の座標のみを取得し、取得した頭頂部を示す座標を含む矩形領域内に位置する画素の画素値の色空間内での分散を算出することにより、必要に応じて色空間の平均化を行い、人物画像における頭部分を明確に特定することができるとともに、多値テンプレートを人物画像の頭頂部及び顎部の座標に合わせて適合し、段階的な階調表示により人物画像として抽出すべき領域を明確にする。これにより、背景画像の種類、状態等に左右されず、人物画像の頭頂部及び顎部のみを特定するだけで人物画像を確実に抽出することができ、免許証、パスポート、種々の証明書用の肖像写真、葬儀用の遺影、犯罪捜査用の肖像写真を作成することが可能となる。

本発明によれば、背景画像の種類、状態等に左右されず、人物画像の頭頂部及び顎部のみを特定するだけで人物画像を確実に抽出することができ、免許証、パスポート、種々の証明書用の肖像写真、葬儀用の遺影、犯罪捜査用の肖像写真を作成することが可能となる。

また、本発明によれば、背景画像の種類、状態等に左右されず、人物画像の頭髪部分を特定することができ、免許証、パスポート、種々の証明書用の肖像写真、葬儀用の遺影、犯罪捜査用の肖像写真を精度良く作成することが可能となる。

また、本発明によれば、背景画像の種類、状態等に左右されず、人物画像の首周り部分を特定することができ、免許証、パスポート、種々の証明書用の肖像写真、葬儀用の遺影、犯罪捜査用の肖像写真を精度良く作成することが可能となる。

また、本発明によれば、背景画像の種類、状態等に左右されず、人物画像の肩部分における不要なエッジを確実に消去することができ、免許証、パスポート、種々の証明書用の肖像写真、葬儀用の遺影、犯罪捜査用の肖像写真を精度良く作成することが可能となる。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、本発明の実施の形態に係る人物画像抽出装置を具現化するコンピュータの概略構成図である。図１に示すように、人物画像抽出装置を具現化するコンピュータは、少なくとも、ＣＰＵ（中央演算装置）１１、記憶手段１２、ＲＡＭ（メモリ）１３、外部の通信手段と接続する通信手段１４、マウス、キーボード等の入力手段１５、モニタ等の表示手段１６、カメラ、ＣＣＤ等の画像入力手段１７、及び補助記憶手段１８で構成される。

ＣＰＵ１１は、バスを介して上述したようなハードウェア各部と接続されており、上述したハードウェア各部を制御するとともに、記憶手段１２に格納されたプログラムに従って、種々のソフトウェア的機能を実行する。画像入力手段１６は、例えばＣＣＤを利用して画像を撮像し、撮像した画像データを入力する。

表示手段１６は、液晶表示装置、ＣＲＴディスプレイ等の表示装置であり、撮像した画像データを表示したり、人物画像として抽出された画像データを表示する。

補助記憶手段１８は、人物画像抽出装置を具現化するコンピュータで使用するプログラムを記録した可搬型記録媒体１９であり、ＤＶＤ、ＣＤ−ＲＯＭ等が該当する。また、人物画像の背景除去に用いる多値テンプレート・データ等の人物画像抽出装置で使用するデータを記録する可搬型記録媒体１９等も含む。

図２は、本発明の実施の形態に係る人物画像抽出装置のＣＰＵ１１での前処理のフローチャートである。図２において、カメラ等の画像入力手段１７は、背景画像を含めた人物画像を撮影し、撮影した背景画像を含む人物画像を画像データとして入力する。画像データが入力された場合、ＣＰＵ１１は、入力された画像データを記憶手段１２の人物画像記憶部１２１に記憶する（ステップＳ２０１）。

なお、画像入力手段１７により撮影された人物画像は、通常、ＲＧＢ色空間で表されている。色空間はＲＧＢ色空間に限定されるものではなく、他にもＨＳＶ色空間、ＣＩＥＬＡＢ（Ｌ＊ａ＊ｂ）色空間等であってもよい。

ＣＰＵ１１は、人物画像記憶部１２１に記憶した画像データを読み出して、表示手段１６で表示する（ステップＳ２０２）。ユーザは、入力手段１５であるマウス、タブレット等のポインティングデバイスによって、画面に表示されている背景画像を含む人物画像における頭頂部及び顎部を指定する。図３は、表示手段１６で表示された、背景画像を含む人物画像の例示図である。図３の○印に示すように、背景画像を含む人物画像上で、頭頂部３１と、顎部３２が画面上で指定された場合、ＣＰＵ１１は、画面上で選択された点の表示座標値を算出して、ＲＡＭ１３に記憶する（ステップＳ２０３）。

ＣＰＵ１１は、頭頂部として指定された点の表示座標値を囲む所定の矩形領域を設定し、該矩形領域内に相当する座標に位置するすべての画素について、それぞれのＲ値、Ｇ値又はＢ値の平均値を求める。ＣＰＵ１１は、求めた画素毎のＲ値、Ｇ値又はＢ値の平均値を色空間内で相互に比較し、該色空間内におけるＲ値、Ｇ値又はＢ値の分散を算出する（ステップＳ２０４）。

ＣＰＵ１１は、算出した色空間内におけるＲ値、Ｇ値又はＢ値の分散に基づいて、例えば分散が小さいと判断する部分については、背景画像と人物画像の頭頂部との判別が困難であると判断することができる。具体例としては、背景画像が白色であるのに対して人物画像の頭頂部に白髪が存在する場合がこれに相当する。

そこで、ＣＰＵ１１は、算出された色空間内におけるＲ値、Ｇ値又はＢ値の分散が、所定の閾値よりも小さいと判断した場合（ステップＳ２０５：ＹＥＳ）、ＣＰＵ１１は、色空間の平均化を行い（ステップＳ２０６）、背景画像と人物画像の頭頂部との間に色覚的な差異が生じやすいように変換する。

図４は、色空間における明度に関する平均化処理の概要を示す図である。ＣＰＵ１１は、図４（ａ）に示すように明度の度数分布が一様でない色空間を、図４（ｂ）に示すように明度の度数分布が一様であるように色空間を平均化（ストレッチ）する。明度だけでなく、彩度、色相についても同様の処理を行うことで、色の帯域を延ばすこと（ストレッチすること）ができ、後述する輪郭抽出処理において人物画像の頭頂部における輪郭の抽出が容易になるとともに、従来は困難であった白髪を含む頭髪部分についても、人物画像の頭部分として輪郭線を抽出することが可能となる。

次にＣＰＵ１１は、人物画像において、なだらかな色変化をしている部分を同じ色の領域として平滑化する（ステップＳ２０７）。図５は、平滑化処理の原理の説明図である。取得した人物画像の全画素について、所定の画素の近傍、例えば上下左右１０ピクセル以内に位置する画素とのＲ値、Ｇ値又はＢ値の差異を求める。求めた差異が所定の閾値以下である場合、所定の画素のＲ値、Ｇ値又はＢ値の値を、所定の画素の近傍に位置する画素とのＲ値、Ｇ値又はＢ値の平均値に置換する。図５では、左に位置する肌色領域では、Ｒ値、Ｇ値又はＢ値がなだらかに変化していることから、略均一なＲ値、Ｇ値又はＢ値へと置換される。しかし、輪郭線５１の近傍では、背景画像の色へと大きく変化することから、Ｒ値、Ｇ値又はＢ値は平均値に置換されることはなく、輪郭線５１が存在する画素のＲ値、Ｇ値又はＢ値が、隣接する画素のＲ値、Ｇ値又はＢ値と比べて突出し、結果として輪郭線５１を強調することになる。

以上の前処理を行った上で、ＣＰＵ１１は、画素のＲ値、Ｇ値又はＢ値が急激に変化する部分を人物画像の輪郭として抽出する輪郭抽出処理を行う。図６は、本発明の実施の形態に係る人物画像抽出装置のＣＰＵ１１での輪郭抽出処理のフローチャートである。図６に示す輪郭抽出処理は、一般的なフィルタ、例えばｓｏｂｅｌフィルタを用いて、画素のＲ値、Ｇ値又はＢ値が急激に変化する座標を強調する処理である。

図７は、輪郭抽出処理に用いるｓｏｂｅｌフィルタの例示図である。図７（ａ）は画面のｘ軸方向のフィルタ行列パラメータｆｘを、図７（ｂ）は画面のｙ軸方向のフィルタ行列パラメータｆｙを、それぞれ示している。

ＣＰＵ１１は、図７に示すフィルタ行列値を用いて、（数１）に示すようにＲ値、Ｇ値又はＢ値を、それぞれＲ'値、Ｇ’値又はＢ’値へと変換する（ステップＳ６０１）。なお、（数１）において、Ｒｉｎ、Ｇｉｎ又はＢｉｎは、それぞれ画素のＲ値、Ｇ値又はＢ値を示している。

（数１）
Ｒ'＝２５５−｜ｆｘ（Ｒｉｎ）＋ｆｙ（Ｒｉｎ）｜
Ｇ’＝２５５−｜ｆｘ（Ｇｉｎ）＋ｆｙ（Ｇｉｎ）｜
Ｂ’＝２５５−｜ｆｘ（Ｂｉｎ）＋ｆｙ（Ｂｉｎ）｜

ｓｏｂｅｌフィルタは、黒色を基調として、輪郭線を白色で表現するフィルタであることから、（数１）では、視認性を高めるべく白黒反転させ、白色を基調として、輪郭線を黒色で表現している。

図８は、ｓｏｂｅｌフィルタを適用して輪郭線を抽出した後の人物画像の例示図である。図８では、輪郭線が強調されているものの、前処理途上のノイズ等が人物画像上に残されている。なお、従来の輪郭抽出処理では、この時点で輪郭を二値化処理を行っている。二値化処理を行うことにより輪郭線のラベリングが容易になるというメリットはあるものの、計算機負荷が増大することから、本発明ではあえて二値化処理を行わず、多値テンプレートによる背景画像の除去を容易ならしめている。

ＣＰＵ１１は、図８に示す輪郭線を抽出した人物画像に対して、記憶部１２に事前に記憶しておいた人物画像の多値テンプレートを適用する。すなわち、記憶部１２に記憶してある多値テンプレートにおける頭頂部及び顎部を示す位置に、対象となる前処理を行った人物画像の頭頂部及び顎部が合致するように、人物画像を拡大又は縮小する。そして、ＣＰＵ１１は、多値テンプレートを用いた演算処理を行うことによって、人物画像の輪郭を強調し、背景画像の輪郭を弱める処理を行う。

図９は、人物画像に適用する多値テンプレートの例示図である。図９に示すように、人物画像の中心部、すなわち人物画像である確度の高い部分を白色、人物画像から離れている周辺部、すなわち背景画像である確度の高い部分を黒色、その中間部分を順次階調データとして生成したテンプレートとして記憶手段１２の多値テンプレート記憶部１２２に記憶しておく。

多値テンプレート記憶部１２２に記憶した多値テンプレートが、例えば２５６階調のグレースケールの多値テンプレートである場合、黒を０、白を２５５とし、中間色であるグレーを１２８で表す。該多値テンプレートを上述した白色を基調として、輪郭線を黒色で表現した人物画像に適用する。

具体的には、ＣＰＵ１１は、人物画像の頭頂部及び顎部の座標を多値テンプレートに合わせるように人物画像を拡大縮小する（ステップＳ６０２）。頭頂部及び顎部の座標が多値テンプレートに合致した場合、テンプレート値をＴとして、各画素のＲ’値、Ｂ’値又はＧ’値を、それぞれ（数２）に示すようにＲ”値、Ｇ”値又はＢ”値へと変換する（ステップＳ６０３）。なお、（数２）において、ｍａｘ（）、ｍｉｎ（）は、それぞれ最大値、最小値を求める関数を示している。なお、多値テンプレートを人物画像の頭頂部及び顎部の座標に合わせるように拡大縮小するものであってもよい。

（数２）
Ｒ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｒ’＋Ｔ−１２８）
Ｇ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｇ’＋Ｔ−１２８）
Ｂ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｂ’＋Ｔ−１２８）

（数２）により、多値テンプレートが黒色である部分は白く表現され、輪郭を除去することが可能となり、多値テンプレートが白色である部分は黒く表現され、輪郭として抽出することが可能となる。したがって、背景画像である確度が高い多値テンプレートが黒色である部分は確実に除去することができるとともに、人物画像である確度が高い多値テンプレートが白色である部分は、確実に輪郭線を残すことが可能となる。図１０は、多値テンプレート適用後の人物画像の例示図である。図１０のように、画像全体に残存していたノイズ等を効果的に消去することが可能となる。

次に、ＣＰＵ１１は、ＲＧＢ色空間をＨＳＶ色空間へと変換処理を行う（ステップＳ６０４）。そして、色彩変化の度合いを画素毎に算出し（ステップＳ６０５）、所定の画素の近傍において色彩変化の度合いが一様であると判断された場合（ステップＳ６０６：ＹＥＳ）、該画素の近傍の画素については背景画像として一様な画素値、例えば灰色を示す画素へと置換する（ステップＳ６０７）。図１１は、人物画像周縁の背景画像塗りつぶし処理の概要説明図である。図１１に示すように、ＣＰＵ１１は、頭頂部の座標より上方はすべて背景画像であると判断でき、抽出した輪郭線の外側も背景画像であると判断できる。したがって、頭頂部３１及び顎部３２の座標に基づいて、輪郭抽出処理を行った人物画像を内包する矩形領域１１１を設定し、矩形領域１１１内で色彩の変化の度合いを画素毎に算出し、変化の度合いが一様である部分の画素については、一様な画素値を有する画素へと置換する。これにより、人物画像の周辺のノイズのほとんどを消去することが可能となる。

以下、ＣＰＵ１１は、輪郭線に対する細部調整処理を行うことによって、人物画像のより鮮明な輪郭線を特定する。まず、ＣＰＵ１１は、尖端障害物を除去すべく、背景画像塗りつぶし処理終了後の人物画像を縮小した後、元の大きさへ再拡大する。人物画像を縮小することによって、尖端障害物も縮小することから、尖端障害物が小さい場合は再拡大した時点で消去される。また、消去されないまでも、線幅が細くなり、表示が薄くなる。これを利用して、ＣＰＵ１１は、縮小・拡大処理をした人物画像と、元の人物画像とを対比し、消去された部分又は表示が薄くなった部分を不要な尖端障害物として抽出し、背景画像として一様な画素値を有する画素へと置換する。これにより、人物画像の尖端障害物を確実に消去することが可能となる。

また、ＣＰＵ１１は、従来の顔画像抽出処理で行われている肌色抽出処理により、人物画像の顔画像を検出し、顎部の座標を中心とした周囲の矩形領域に対して、肌色であるか否かを判断する。同系色である部分は、顔画像の一部又は首部であると判断でき、その他の部分は抽出されるエッジの傾きに応じて、衣服部分、肩部分、背景部分であると区別することが可能となる。

例えば肩部分においては、抽出されたエッジの方向は所定の範囲内に収まる。図１２は、左肩部分におけるエッジ角度抽出の説明図である。すなわち、左肩部分である場合、図１２に示すように、水平方向を０度とした場合に、肩を示す輪郭線は必ず下向きに角度θ傾斜している。したがって、ＣＰＵ１１は、当該左肩部分で上向きに傾斜しているエッジ１２１が検出された場合、エッジ１２１は人物画像の肩を示す輪郭線ではないと容易に判断することができる。よって、ＣＰＵ１１は、肩部分のエッジの傾斜角度θを抽出し、傾斜角度θが所定の範囲内にない、すなわち水平下向きを正とした場合θ＜０と判断した場合、該エッジ部分について背景画像として背景画像として一様な画素値を有する画素へと置換する。これにより、人物画像の肩部分の輪郭線をより明確にし、不要なエッジを消去することが可能となる。図１３は、不要なエッジ部分消去後の人物画像の例示図である。図１３に示すように、最初の画像に障害物としていかなる背景画像が映っている場合であっても、上述した処理を行うことにより確実に人物画像を抽出することが可能となる。

以上のように、本実施の形態によれば、背景画像を含む人物画像について頭頂部及び顎部を指定さえすれば、背景画像が一様な画像でない場合であっても、人物画像を確実に抽出できるよう輪郭線を定めることが可能となる。

以下、付記する。

（付記１）画像中の前景に撮影されている人物画像を抽出する人物画像抽出装置において、
前記人物画像の頭頂部及び顎部を示す点の座標を取得する手段と、
取得した前記頭頂部を示す座標を含む矩形領域内に位置する画素の画素値の色空間内での分散を算出する手段と、
算出した画素値の分散が閾値より小さいか否か判断する手段と、
該手段で画素値の分散が閾値より小さいと判断した場合、前記色空間の平均化を行う手段と、
人物画像の輪郭を隣接する画素の画素値の変化の度合が閾値よりも大きい部分として抽出する輪郭抽出部と、
背景画像を除去する背景画像除去部とを備え、
該背景画像除去部は、人物の形状を模した多値テンプレートを記憶しておき、前記人物画像の頭頂部及び顎部の座標を前記多値テンプレートの顔部分に適合させ、前記人物画像と前記多値テンプレートとの合成画像を生成すべくなしてあることを特徴とする人物画像抽出装置。

（付記２）前記背景画像除去部は、
前記頭頂部を示す座標を含む矩形領域内に位置する画素の画素値の色空間内での分散に基づいて頭髪部分を抽出し、頭髪画像と背景画像との境界を特定すべくなしてあることを特徴とする付記１記載の人物画像抽出装置。

（付記３）前記背景画像除去部は、
前記顎部として取得した座標に基づいて、顔面画像の画素値の平均値を求め、求めた平均値との画素値の差異が所定の閾値より大きいか否かを判別することにより、人物画像の首周り部分と背景画像との境界を特定すべくなしてあることを特徴とする付記１又は２に記載の人物画像抽出装置。

（付記４）前記背景画像除去部は、
前記人物画像の肩近傍の輪郭線を抽出し、輪郭線の傾きが所定の範囲内にない輪郭線を消去すべくなしてあることを特徴とする付記１乃至３のいずれか一項に記載の人物画像抽出装置。

（付記５）画像中の前景に撮影されている人物画像を抽出する人物画像抽出方法において、
前記人物画像の頭頂部及び顎部を示す点の座標を取得するステップと、
取得した前記頭頂部を示す座標を含む矩形領域内に位置する画素の画素値の色空間内での分散を算出するステップと、
算出した画素値の分散が閾値より小さいか否か判断するステップと、
画素値の分散が閾値より小さいと判断した場合、前記色空間の平均化を行うステップと、
人物画像の輪郭を隣接する画素の画素値の変化の度合が閾値よりも大きい部分として抽出するステップと、
背景画像を除去するステップとを含み、
前記背景画像を除去するステップは、人物の形状を模した多値テンプレートを記憶しておき、前記人物画像の頭頂部及び顎部の座標を前記多値テンプレートの顔部分に適合させ、前記人物画像と前記多値テンプレートとの合成画像を生成するものであることを特徴とする人物画像抽出方法。

（付記６）前記背景画像を除去するステップは、
前記頭頂部を示す座標を含む矩形領域内に位置する画素の画素値の色空間内での分散に基づいて頭髪部分を抽出し、頭髪画像と背景画像との境界を特定することを特徴とする付記５記載の人物画像抽出方法。

（付記７）前記背景画像を除去するステップは、
前記顎部として取得した座標に基づいて、顔面画像の画素値の平均値を求め、求めた平均値との画素値の差異が所定の閾値より大きいか否かを判別することにより、人物画像の首周り部分と背景画像との境界を特定することを特徴とする付記５又は６に記載の人物画像抽出方法。

（付記８）前記背景画像を除去するステップは、
前記人物画像の肩近傍の輪郭線を抽出し、輪郭線の傾きが所定の範囲内にない輪郭線を消去することを特徴とする付記５乃至７のいずれか一項に記載の人物画像抽出方法。

（付記９）画像中の前景に撮影されている人物画像を抽出する処理をコンピュータに実行させるコンピュータプログラムにおいて、
前記人物画像の頭頂部及び顎部を示す点の座標を取得するステップと、
取得した前記頭頂部を示す座標を含む矩形領域内に位置する画素の画素値の色空間内での分散を算出するステップと、
算出した画素値の分散が閾値より小さいか否か判断するステップと、
画素値の分散が閾値より小さいと判断した場合、前記色空間の平均化を行うステップと、
人物画像の輪郭を隣接する画素の画素値の変化の度合が閾値よりも大きい部分として抽出するステップと、
背景画像を除去するステップとを含み、
前記背景画像を除去するステップは、人物の形状を模した多値テンプレートを記憶しておき、前記人物画像の頭頂部及び顎部の座標を前記多値テンプレートの顔部分に適合させ、前記人物画像と前記多値テンプレートとの合成画像を生成するものであることを特徴とするコンピュータプログラム。

（付記１０）前記背景画像を除去するステップは、
前記頭頂部を示す座標を含む矩形領域内に位置する画素の画素値の色空間内での分散に基づいて頭髪部分を抽出し、頭髪画像と背景画像との境界を特定することを特徴とする付記９記載のコンピュータプログラム。

（付記１１）前記背景画像を除去するステップは、
前記顎部として取得した座標に基づいて、顔面画像の画素値の平均値を求め、求めた平均値との画素値の差異が所定の閾値より大きいか否かを判別することにより、人物画像の首周り部分と背景画像との境界を特定することを特徴とする付記９又は１０に記載のコンピュータプログラム。

（付記１２）前記背景画像を除去するステップは、
前記人物画像の肩近傍の輪郭線を抽出し、輪郭線の傾きが所定の範囲内にない輪郭線を消去することを特徴とする付記９乃至１１のいずれか一項に記載のコンピュータプログラム。

本発明の実施の形態に係る人物画像抽出装置を具現化するコンピュータの概略構成図である。本発明の実施の形態に係る人物画像抽出装置のＣＰＵでの前処理のフローチャートである。表示手段で表示された背景画像を含む人物画像の例示図である。色空間における明度に関する平均化処理の概要を示す図である。平滑化処理の原理の説明図である。本発明の実施の形態に係る人物画像抽出装置のＣＰＵでの輪郭抽出処理のフローチャートである。輪郭抽出処理に用いるｓｏｂｅｌフィルタの例示図である。ｓｏｂｅｌフィルタを適用して輪郭線を抽出した後の人物画像の例示図である。人物画像に適用する多値テンプレートの例示図である。多値テンプレート適用後の人物画像の例示図である。人物画像周縁の背景画像塗りつぶし処理の概要説明図である。左肩部分におけるエッジ角度抽出の説明図である。不要なエッジ部分消去後の人物画像の例示図である。

符号の説明

１１ＣＰＵ
１２記憶手段
１３ＲＡＭ
１４通信手段
１５入力手段
１６表示手段
１７画像入力手段
１８補助記憶手段
１９可搬型記録媒体
３１頭頂部
３２顎部
５１輪郭線

Claims

人物を撮影して得られる撮影画像から前記人物に対応した人物画像を抽出する人物画像抽出装置において、
前記人物画像の頭頂部及び顎部を示す点の座標の指定を受付ける手段と、
指定された前記頭頂部を示す座標を含む矩形領域内に位置する画素の画素値の色空間内での分散を算出する手段と、
算出した画素値の分散が閾値より小さいか否か判断する手段と、
該手段で画素値の分散が閾値より小さいと判断した場合、前記色空間における明度、彩度及び色相の度数分布を一様にする手段と、
前記画素値の分散が閾値以上であると判断した場合、前記撮影画像に対して微分フィルタを適用することにより、又は前記度数分布を一様にして得られる撮影画像に対して微分フィルタを適用することにより、人物画像の輪郭を抽出する輪郭抽出部と、
前記撮影画像から人物の背景に対応した背景画像を除去する背景画像除去部とを備え、
該背景画像除去部は、人物画像である確度の高い領域と背景画像である確度の高い領域とを予め定めてあり、２つの領域間を、夫々の領域について設定した色の中間色による階調データとしてある人物の形状を模した多値テンプレートを記憶しておき、前記人物画像の頭頂部及び顎部の座標を前記多値テンプレートの顔部分に適合させ、前記微分フィルタを適用した後に白黒反転させた撮影画像の各画素の画素値をＲ’，Ｇ’，Ｂ’、前記各画素に対応した前記多値テンプレートの値をＴとしたとき、
Ｒ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｒ’＋Ｔ−１２８）
Ｇ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｇ’＋Ｔ−１２８）
Ｂ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｂ’＋Ｔ−１２８）
により得られるＲ”，Ｇ”，Ｂ”を各画素値とした合成画像を生成することにより、背景画像の少なくとも一部を除去すべくなしてあることを特徴とする人物画像抽出装置。
前記背景画像除去部は、
前記顎部として指定された座標を含む矩形領域に対し、肌色であるか否かを判別することにより、人物画像の首周り部分と背景画像との境界を特定すべくなしてあることを特徴とする請求項１に記載の人物画像抽出装置。
前記背景画像除去部は、
前記人物画像の肩近傍の輪郭線を抽出し、輪郭線の傾きが所定の範囲内にない輪郭線を消去すべくなしてあることを特徴とする請求項１又は２に記載の人物画像抽出装置。
人物を撮影して得られる撮影画像から前記人物に対応した人物画像を抽出する処理をコンピュータに実行させるコンピュータプログラムにおいて、
前記人物画像の頭頂部及び顎部を示す点の座標の指定を受付けるステップと、
指定された前記頭頂部を示す座標を含む矩形領域内に位置する画素の画素値の色空間内での分散を算出するステップと、
算出した画素値の分散が閾値より小さいか否か判断するステップと、
画素値の分散が閾値より小さいと判断した場合、前記色空間における明度、彩度及び色相の度数分布を一様にするステップと、
前記画素値の分散が閾値以上であると判断した場合、前記撮影画像に対して微分フィルタを適用することにより、又は前記度数分布を一様にして得られる撮影画像に対して微分フィルタを適用することにより、人物画像の輪郭を抽出するステップと、
前記撮影画像から人物の背景に対応した背景画像を除去するステップとを含み、
前記背景画像を除去するステップは、人物画像である確度の高い領域と背景画像である確度の高い領域とを予め定めてあり、２つの領域間を、夫々の領域について設定した色の中間色による階調データとしてある人物の形状を模した多値テンプレートを記憶しておき、前記人物画像の頭頂部及び顎部の座標を前記多値テンプレートの顔部分に適合させ、前記微分フィルタを適用した後に白黒反転させた撮影画像の各画素の画素値をＲ’，Ｇ’，Ｂ’、前記各画素に対応した多値テンプレートの値をＴとしたとき、
Ｒ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｒ’＋Ｔ−１２８）
Ｇ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｇ’＋Ｔ−１２８）
Ｂ”＝ｍａｘ（０，ｍｉｎ（２５５，Ｂ’＋Ｔ−１２８）
により得られるＲ”，Ｇ”，Ｂ”を各画素値とした合成画像を生成することにより、背景画像の少なくとも一部を除去するものであることを特徴とするコンピュータプログラム。