JP3480370B2 - 自動顔画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタルカメラ
やスキャナ等によって生成されたディジタル画像からの
顔部分の切り抜きや背景の塗りつぶし等の処理を自動的
に行い、大きさが均一で、かつ、顔部分の大きさも均一
な顔画像を作成する自動顔画像処理装置に関する。

【０００２】

【従来の技術】新聞紙面の政治欄やスポーツ欄には多く
の顔写真が登場する。特に、選挙の際には、大量の顔写
真が並べて掲載される。また、新聞紙面に限らず、卒業
アルバム等の写真集には、大量の顔写真が並べて掲載さ
れる。そのような顔写真には、以下の条件が求められ
る。

【０００３】（１）画像の大きさが均一であること。 （２）画像に占める顔部分の大きさが均一であることが
望まれる。 （３）特定の背景色で画像における顔以外の部分が塗り
つぶされる。

【０００４】例えば、新聞社では、上記の条件を満たす
ために、ディジタル画像を処理装置に取り込み、熟練者
が、処理装置の画面を見ながら手作業で（１），（２）
を満たすための作業を行う。特に、顔部分を切り出すた
めに、背景と顔部分との間の境界線をなぞる作業が必要
であるが、その作業に要する工数は大きい。また、記事
の入稿が遅れ、記事に関する顔写真を作成するための十
分な時間がないということもしばしば発生する。

【０００５】従って、短時間で、大量に、均一な顔写真
をいかに生成するかが重要な課題になっている。そのた
めに、上記の条件を満たす顔写真を生成する処理の自動
化が望まれている。

【０００６】画像から背景と顔部分とを分離するための
処理については様々な考案がなされている。例えば、特
開平７−２７１９８９号公報には、画像に対して帯状領
域を設定し、帯状領域内の画素についてエッジ値の投影
波形を算出し、投影波形の値があらかじめ定められてい
るしきい値以上となる点を境界候補とする処理が記載さ
れている。その処理では、さらに、境界位置候補の点で
領域を分割し、各分割区間を対象として背景であるのか
物体であるのかが認識される。

【０００７】顔写真生成のための処理ではないが、個人
認証等のために画像から顔部分を切り出す技術が、特開
平１０−２１３９４号公報に開示されている。また、顔
画像における特徴点を抽出するために、入力された顔画
像から、頭頂点、左右の目、顎下点等を検出する技術が
特開平８−７７３３４号公報に記載されている。

【０００８】

【発明が解決しようとする課題】上述したように、画像
から背景と顔部分とを分離するための技術や顔画像から
特徴点を抽出するための技術は知られているが、顔部分
を分離してから、いかにして画像の大きさが均一であっ
て画像中の顔部分の大きさも均一である画像を得るかに
ついては知られていない。

【０００９】本発明は、各サイズのディジタル画像を取
り込んで、大きさが均一で、顔部分の大きさも均一な顔
画像を自動的に生成することができる自動顔画像処理装
置を提供することを目的とする。

【００１０】

【課題を解決するための手段】本発明による自動顔画像
処理装置は、人物を含む画像から自動的に顔画像を作成
する装置であって、入力画像の人物部分と背景部分を判
別する背景抽出手段と、人物部分における頭頂、両目お
よび顎下（下顎の最下点）の位置を決定する位置決定手
段と、位置決定手段が決定した各位置と顔領域を指定す
る入力値とにもとづいて切り取るべき顔画像部分を決定
する切り取り領域決定手段と、切り取り領域決定手段が
決定した部分を入力画像から切り取る画像切り取り手段
とを備えたことを特徴とする。なお、顔画像とは、顔部
分を含む矩形等の画像である。

【００１１】自動顔画像処理装置は、顔画像サイズを指
定する入力値に応じて画像サイズを調整する画像調整手
段を備えていてもよい。そのような画像調整手段を含む
場合には、出力される各顔画像の大きさを均一にするこ
とができる。

【００１２】位置決定手段は、両目の位置から顎下位置
を推測するように構成されている。そのように構成され
ている場合には、画像処理では決定が難しい顎下位置を
素速く決定することができる。

【００１３】位置決定手段は、両目の中間点のｘ座標を
顎下位置のｘ座標とし、両目の間隔を所定倍した値を両
目の中間点から顎下までのｙ方向の距離として顎下位置
を決定する。

【００１４】切り取り領域決定手段は、両目の中間点を
切り取り領域のｘ方向の中央とし、位置決定手段が決定
した頭頂および顎下の位置と、顔領域を指定する値とし
て入力された頭頂から切り取り領域の上端までの空き比
率および顎下から切り取り領域の下端までの空き比率と
から矩形の切り取り領域を決定するように構成されてい
る。そのように構成により、顔画像における顔部分の大
きさを均一にすることができる。

【００１５】画像調整手段は、顔画像における人物部分
背景部分との境界をなめらかにするために、人物部分と
背景部分の境界でアンチエイリアス処理を行うように構
成されていてもよい。

【００１６】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は、本発明による自動顔画像
処理装置の一構成例を示すブロック図である。図１に示
す例では、自動顔写真処理装置１には、画像入力装置
２、入力装置３および印刷装置４が接続されている。画
像入力装置２は、スキャナ等の画像読取装置や撮像装置
でもよいし、画像読取装置や撮像装置で生成され記憶媒
体に記憶されたディジタル画像データを記憶媒体から入
力するための記憶媒体読取装置であってもよい。入力装
置３は、生成される顔写真におけるパラメータ等を操作
者が入力するための装置である。

【００１７】自動顔写真処理装置１において、画像入力
装置２からの顔部分を含む画像のディジタル画像データ
および入力装置３からのパラメータ等は入力部１１を介
して取り込まれ、パラメータ等はパラメータ記憶部１２
に格納され、ディジタル画像データは画像記憶部１３に
格納される。

【００１８】背景抽出部１４は、画像記憶部１３からデ
ィジタル画像データを読み出し、背景と顔部分との境界
を検出する。切り取り領域設定部１５は、パラメータ記
憶部１２に格納されているパラメータと背景抽出部１４
の検出結果とに応じて、ディジタル画像データからの切
り取り領域を決定する。

【００１９】切り取り処理部１６は、切り取り領域設定
部１５の決定に応じてディジタル画像データから画像を
切り取って画像生成部１７に出力する。画像生成部１７
は、パラメータ記憶部１２に格納されているサイズ等の
パラメータに従って最終的な顔写真画像を作成する。そ
して、画像生成部１７は、作成した顔写真画像のデータ
を出力部１８を介して印刷装置４に出力する。

【００２０】なお、自動顔写真処理装置１はワークステ
ーション等の情報処理装置で実現され、背景抽出部１
４、切り取り領域設定部１５、切り取り処理部１６およ
び画像生成部１７は、ソフトウェアで実現される。

【００２１】次に動作について説明する。図２は、自動
顔写真処理装置１の動作を示すフローチャートである。
図２に示すように、操作者は、入力装置３を介して顔写
真画像における背景色を入力する（ステップＳ１０
０）。次いで、顔写真画像の出力サイズを入力する（ス
テップＳ１０１）。また、顔写真画像における頭頂から
切り取り領域の上端までの空き比率（顔写真画像の縦サ
イズに対する頭頂から切り取り領域の上端までの距離の
割合）を入力する（ステップＳ１０２）。さらに、顔写
真画像における顎下から切り取り領域の下端までの空き
比率（顔写真画像の縦サイズに対する顎下から切り取り
領域の下端までの距離の割合）を入力する（ステップＳ
１０３）。入力された各パラメータは、パラメータ記憶
部１２に格納される。

【００２２】なお、操作者は、ステップＳ１００〜Ｓ１
０３の操作を毎回行う必要はない。それらのパラメータ
を１度設定してしまえば、以後、起動操作を行うだけで
所望の顔写真画像を得ることができる。

【００２３】操作者が入力装置３から顔写真画像生成の
ための起動操作を行うと、まず、背景抽出部１４が、画
像記憶部１３からディジタル画像データを読み出し、背
景と顔部分との境界を検出する（ステップＳ２００）。
次に、切り取り領域設定部１５は、背景抽出部１４が決
定した顔部分の画像データから頭頂および両目の位置を
検出する（ステップＳ２２０）。

【００２４】さらに、切り取り領域設定部１５は、両目
の位置にもとづいて顎下位置を推測する（ステップＳ２
４０）。そして、頭頂位置、両目の位置、顎下位置、頭
頂から切り取り領域の上端までの空き比率、および顎下
から切り取り領域の下端までの空き比率に応じて、切り
取り領域（矩形領域または円を囲む矩形領域）を算出す
る（ステップＳ２６０）。

【００２５】切り取り処理部１６は、切り取り領域設定
部１５の処理結果に応じて、ディジタル画像データによ
る画像から矩形領域を切り取る（ステップＳ２８０）。
画像生成部１７は、切り取られた領域における背景部分
を、パラメータ記憶部１２に格納されている背景色で塗
りつぶす（ステップＳ２９０）。このとき、背景領域と
人物領域の境界をなじませるためのアンチエイリアス処
理を行う。画像生成部１７は、さらに、パラメータ記憶
部１２に格納されている出力サイズに合致するようにサ
イズ変更処理を行う（ステップＳ３００）。そして、作
成した画像のデータを出力部１８を介して印刷装置４に
出力する（ステップＳ１０４）。

【００２６】図３は、背景領域の自動切り取り処理の一
例を示すフローチャートである。この処理は、特開平１
１−１１０５５９号公報に記載された処理である。この
処理は、１枚の画像を部分画像に分割し、背景だけを含
んでいる部分画像から背景だけを取り出せるようなしき
い値を推定し、さらに、推定値から画面全体の各画素に
対するしきい値を決定し、それらのしきい値にもとづい
て背景と人物部分とを分離する方法である。

【００２７】背景抽出部１４は、まず、図４（Ａ）に示
すようなディジタル画像データによる画像を、図４
（Ｂ）に示すような部分画像（各タイル状領域）に分割
する（ステップＳ２０２）。そして、各部分画像領域に
おける輝度の平均と標準偏差を算出する（ステップＳ２
０４）。さらに、背景部分のみを含む確度の高い部分画
像として、標準偏差が最小の部分画像Ｐmin を決定する
（ステップＳ２０６）。

【００２８】次いで、部分画像Ｐmin の標準偏差に近い
（所定のしきい値以下）標準偏差を持つ部分画像を、背
景部分のみを含むと推定される部分画像とする（ステッ
プＳ２０８）。そして、背景部分のみを含むと推定され
る部分画像以外の部分画像について、その近傍の背景部
分のみを含むと推定される部分画像の輝度の平均と標準
偏差から、部分画像の背景としての（背景であった場合
の）輝度の平均と標準偏差を推定する（ステップＳ２１
０）。推定の仕方は、例えば、近傍部分画像の輝度の平
均と標準偏差のそれぞれの平均値をとることである。背
景としての輝度の平均と標準偏差が推定済みの部分画像
は、他の部分画像の背景としての輝度の平均と標準偏差
を推定する際に、背景部分のみを含むと推定される部分
画像に含めて扱われる。

【００２９】背景抽出部１４は、背景部分のみを含むと
推定される部分画像の輝度の平均と標準偏差、および背
景部分のみを含むと推定される部分画像以外の部分画像
についての背景としての輝度の平均と標準偏差（それぞ
れ推定値）から、画像中の各画素に関する背景か否かを
決めるためのしきい値を算出する（ステップＳ２１
２）。そして、それぞれの画素にしきい値を適用して背
景画素か否かを決定する（ステップＳ２１４）。

【００３０】以上のような処理によって、画像の背景部
分と人物部分（髪を含む）との境界を検出することがで
きる。なお、ここでは特開平１１−１１０５５９号公報
に記載された方法を用いる場合を例示したが、背景・人
物分離のための方法として知られているいずれの方法で
もこの実施の形態に適用することができる。

【００３１】図５は、頭頂および両目を検出する処理の
一例を示すフローチャートである。図５に示すように、
切り取り領域設定部１５は、背景抽出部１４が決定した
人物領域を構成する各画素のうちｙ座標値が最大の画素
の位置を頭頂位置（ｘt ，ｙt ）とする（ステップＳ２
２２：図６（Ａ）参照）。

【００３２】人物領域の中で両目の位置は、個人差はあ
るが、ほぼ固定的な位置にある。また、一般に、人物領
域中で、瞳と白眼との境界が輝度差最大の箇所である。
そこで、切り取り領域設定部１５は、人物領域中で両目
を含むと考えられる領域をサーチ領域とし、ｘ方向に輝
度差が大である箇所をサーチする（ステップＳ２２４：
図６（Ｂ）参照）。

【００３３】ここで、顔の両端の影、耳、中央の鼻や口
部分は、瞳検出処理の障害になりうるので、サーチ領域
に含まれないようにすることが望ましい。また、瞳位置
をサーチしていくにあたって、単純に輝度差を調べるの
ではなく、輝度差の積分値や積分値をスムージングした
値を活用してもよい。

【００３４】そして、ステップＳ２２４の処理を、ｙ座
標値を変えて順次実行する（ステップＳ２２６）。サー
チ領域全てについてステップＳ２２４，Ｓ２２６の処理
を行うと、輝度差が大である箇所の集まりが得られる
が、それらを瞳と白眼との境界とする（ステップＳ２２
８）。そして、境界内の中心位置を、両目の位置（ｘr
e，ｙre），（ｘle，ｙle）とする（ステップＳ２３
０）。

【００３５】以上のようにして、両目の位置が決定され
るが、この方法は両目位置決定処理の一例である。顔画
像において構成要素（鼻や目）の位置を決定する方法と
して他にも知られている方法があるが、他のどのような
方法でも、この実施の形態に適用することができる。

【００３６】図７は、顎下位置の推測処理を示すフロー
チャートである。顎下位置は、頭部と首部との間にある
が、その位置を輝度等の特性値から判定することは難し
い。人物画像において、頭部の輝度と首部の輝度との間
に大きな違いはないからである。ある程度の個人差はあ
るが、顎下位置は、両目の中間点の真下にあると考えら
れる。また、ある程度の個人差はあるが、両目の中間点
から顎下までの距離と両目の間隔とは、ほぼ一定の距離
関係にあると考えられる。

【００３７】そこで、切り取り領域設定部１５は、ま
ず、両目の中間点のｘ座標ｘj （＝（ｘre＋ｘle）／
２））を決める（ステップＳ２４２）。そして、ｘ座標
ｘj を顎下のｘ座標とする。次いで、両目のｘ座標ｘr
e，ｘle間の距離｜ｘre−ｘle｜を所定倍（Ａ倍）して
顎下のｙ座標ｙj とする（ステップＳ２４４）。ここ
で、Ａは、（目のｙ座標から顎下までの距離／両目の間
隔）に相当する値である。

【００３８】以上のようにして、両目の位置（ｘre，ｙ
re），（ｘle，ｙle）および顎下の位置（ｘj ，ｙj ）
が決定された。次に、切り取り領域設定部１５は、切り
取り領域のｘ方向の中心を両目の中間点とし、頭頂から
切り取り領域の上端までの空き比率およびおよび顎下か
ら切り取り領域の下端までの空き比率を満たすように、
切り取り領域を決定する。図７に示すように、頭頂から
切り取り領域の上端までの空き比率をａ％、顎下から切
り取り領域の下端までの空き比率をｂ％とすると、図８
に示すような切り取り領域Ｄが決定される。

【００３９】切り取り領域Ｄが決定されると、切り取り
処理部１６は、ディジタル画像データによる画像から切
り取り領域Ｄに相当する画像を切り取る。画像生成部１
７は、切り取られた画像における背景領域を、操作者に
よって指定されている色で塗りつぶす。さらに、人物領
域と背景領域の境界をなめらかにするために、アンチエ
イリアス処理を施す。例えば、人物領域の画素src1に対
して所定の係数msk で重み付けし、背景領域の画素src2
に対して（１−msk ）で重み付けする。

【００４０】入力される画像のサイズは様々であるか
ら、それに応じて切り取り領域Ｄのサイズすなわち生成
された顔写真画像のサイズも様々になる。従って、その
画像が有している解像度をそのまま適用した場合には、
印刷後の顔写真のサイズが均一にならない。そこで、画
像生成部１７は、印刷後のサイズが均一になるように解
像度の変更を行う。

【００４１】例えば、操作者が、出力サイズとして、幅
２インチ、高さ４インチを指定していたとする。また、
入力された画像の解像度は１０００画素／インチであ
り、生成された顔写真画像のサイズは幅１インチ、高さ
２インチであったする。その場合、出力される顔写真画
像の解像度を５００画素／インチに決定する。

【００４２】画像サイズを変更する場合に、画像解像度
を一定に保ったままサイズ変更してもよい。例えば、出
力サイズとして幅２インチおよび高さ４インチが指定さ
れ、入力された画像の解像度は１０００画素／インチで
あり、生成された顔写真画像のサイズが幅１インチ、高
さ２インチであったときに、画像解像度が一定に保たれ
るように、横方向の画素数を１０００画素から２０００
画素に増やし、縦方向の画素数を２０００画素から４０
００画素に増やす。

【００４３】画像解像度を一定に保つために画素補間／
間引き処理が必要になるが、代表的な補間／間引き方法
として、ニアレストネイバー法（補間／間引き対象の各
画素として、原画像の対応位置に最も近い画素をそのま
ま採用する方法）、バイリニア法（原画像の対応位置近
傍の数画素を用いて２次関数による演算を施して、補間
／間引き後の画素値を決定する方法）、バイキュービッ
ク法（原画像の対応位置近傍の数画素を用いて３次関数
による演算を施して、補間／間引き後の画素値を決定す
る方法）があるが、いずれの方法を用いてもよい。

【００４４】画像生成部１７は、出力部１８を介して印
刷装置４に顔写真画像のデータを解像度を示すデータと
ともに出力する。印刷装置４は、顔写真画像を印刷出力
する。なお、ここでは、出力装置として印刷装置４を例
示したが、顔写真画像の出力先は、他の装置やシステム
であってもよい。

【００４５】図９および図１０に、撮影条件と人物が異
なる２枚の画像を示す。図９に示す画像Ａの画素数は、
幅６１４画素、高さ９０２画素であった。また、図１０
に示す画像Ｂの画素数は、幅４７１画素、高さ６８１画
素であった。

【００４６】これらの画像に対して、幅：１．３２イン
チ、高さ：１．７６インチ、背景色：Ｒ＝Ｇ＝Ｂ＝１４
８を指定した。その場合、自動顔写真処理装置１が出力
した切り取り領域Ｄのサイズと解像度は以下のようであ
った。

【００４７】画像Ａに関して； 幅 ：４１２画素 高さ ：５５０画素 解像度：３１２．５画素／インチ 画像Ｂに関して； 幅 ：３４８画素 高さ ：４６５画素 解像度：２６４．２画素／インチ

【００４８】出力画像の例を図１１（画像Ａ）および図
１２（画像Ｂ）に示す。図１１に示す画像と図１２に示
す画像では、幅および高さの画素サイズは異なるが、解
像度が変更されているので、印刷出力では同じ大きさで
あり、かつ、顔領域の大きさも同じになる。

【００４９】以上に説明したように、自動顔写真処理装
置１を用いると、操作者は、指定したい各種パラメータ
を事前に設定することが出きる。よって、操作者は、キ
ーボード等の入力装置から自動処理開始のための１回の
操作を行うだけで、画像の大きさおよび顔部分の大きさ
が均一な最終的な画像を得ることができる。この結果、
従来は、熟練した操作者が２０分以上かけていた作業
を、１０秒以下に短縮することができる。

【００５０】

【発明の効果】本発明によれば、自動顔画像処理装置
を、入力画像の人物部分と背景部分を判別し、人物部分
における頭頂、両目および顎下（下顎の最下点）の位置
を決定し、決定した各位置と入力された顔領域を指定す
る値とにもとづいて切り取るべき顔画像部分を決定し、
決定した部分を入力画像から切り取る構成としたので、
顔画像中の顔部分の大きさが均一である画像を自動的に
得ることができる効果がある。また、それらの処理は全
て自動顔画像処理装置によって行われるので、操作者の
作業効率が向上する。

【００５１】自動顔画像処理装置を、顔画像サイズを指
定する値に応じて画像サイズを調整する画像調整手段を
備えた構成とした場合には、出力される矩形等の各顔画
像の大きさを均一にすることができる。従って、印刷装
置に処理結果を出力する場合に、均一な印刷結果を短時
間に大量に得ることができる。

【図面の簡単な説明】

【図１】 本発明による自動顔画像処理装置の一構成例
を示すブロック図である。

【図２】 自動顔写真処理装置の動作を示すフローチャ
ートである。

【図３】 背景領域の自動切り取り処理の一例を示すフ
ローチャートである。

【図４】 背景領域の自動切り取り処理を説明するため
の説明図である。

【図５】 頭頂および両目を検出する処理の一例を示す
フローチャートである。

【図６】 頭頂および両目を検出する処理を説明するた
めの説明図である。

【図７】 顎下位置の推測処理を示すフローチャートで
ある。

【図８】 切り取り領域を示す説明図である。

【図９】 入力画像の一例を示す説明図である。

【図１０】 入力画像の他の例を示す説明図である。

【図１１】 出力画像の一例を示す説明図である。

【図１２】 出力画像の他の例を示す説明図である。

【符号の説明】

１ 自動顔写真処理装置 ２ 画像入力装置 ３ 入力装置 ４ 印刷装置 １１ 入力部 １２ パラメータ記憶部 １３ 画像記憶部 １４ 背景抽出部 １５ 切り取り領域設定部 １６ 切り取り処理部 １７ 画像生成部 １８ 出力部

フロントページの続き (56)参考文献 特開 平９−69165（ＪＰ，Ａ) 特開 平６−44365（ＪＰ，Ａ) 特開 平７−38884（ＪＰ，Ａ) 特開 平11−8814（ＪＰ，Ａ) 特開 平６−52209（ＪＰ，Ａ) 特開 平５−20442（ＪＰ，Ａ) 特開 昭62−120160（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 人物を含む画像から顔画像を作成する自
   動顔画像処理装置であって、 入力画像の人物部分と背景部分を判別する背景抽出手段
   と、 人物部分における頭頂、両目および顎下の位置を決定す
   る位置決定手段と、 前記位置決定手段が決定した各位置と入力された顔領域
   を指定する値とにもとづいて切り取るべき顔画像部分を
   決定する切り取り領域決定手段と、 前記切り取り領域決定手段が決定した部分を入力画像か
   ら切り取る画像切り取り手段とを備え、前記位置決定手段は、両目の中間点のｘ座標を顎下位置
   のｘ座標とし、両目の間隔を所定倍した値を両目の中間
   点から顎下までのｙ方向の距離として顎下位置を決定
   し、 前記切り取り領域決定手段は、両目の中間点を切り取り
   領域のｘ方向の中央とし、前記位置決定手段が決定した
   頭頂および顎下の位置と、顔領域を指定する値として入
   力された頭頂から切り取り領域の上端までの空き比率お
   よび顎下から切り取り領域の下端までの空き比率とから
   矩形の切り取り領域を決定する ことを特徴とする自動顔
   画像処理装置。
2. 【請求項２】 顔画像サイズを指定する入力値に応じて
   画像の解像度を調整する画像調整手段を備えた請求項１
   記載の自動顔画像処理装置。
3. 【請求項３】 画像調整手段は、人物部分と背景部分の
   境界でアンチエイリアス処理を行う請求項２記載の自動
   顔画像処理装置。