JP2638701B2

JP2638701B2 - 特徴画像データの抽出方法

Info

Publication number: JP2638701B2
Application number: JP32159691A
Authority: JP
Inventors: 博明中村
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1991-12-05
Filing date: 1991-12-05
Publication date: 1997-08-06
Anticipated expiration: 2012-08-06
Also published as: JPH05158164A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は特徴画像データの抽出方
法に係り、より詳しくは、カラー原画像をカラー複写材
料または黒白複写材料に複写するときに使用する、人物
の顔の濃度データ等の特徴画像データを抽出する方法に
関する。

【０００２】

【従来の技術及び発明が解決しようとする課題】人物写
真を観賞するときに最も注目される部位は、人物の顔で
あり、品質の良い写真を作成するためには人物の顔の色
を適正な色に焼付ける必要がある。

【０００３】従来では、カラーフィルムの原画像中の顔
領域をライトペンで指定して人物の顔の濃度データを抽
出し、この抽出した濃度データに基づいて顔の色が適正
に焼付けられるように露光量を決定している。このよう
な技術としては、特開昭６２−１１５４３０号公報、特
開昭６２−１１５４３１号公報、特開昭６２−１１５４
３２号公報、特開昭６２−１８９４５６号公報、特開昭
６２−１８９４５７号公報、特開昭６３−１３８３４０
号公報、特開昭６３−１７８２２２号公報に記載のもの
がある。

【０００４】しかしながら、上記従来の技術では、画像
毎にオペレータがライトペンで顔領域を指定しなければ
ならないため、焼付作業に時間がかかる、という問題が
ある。また、オペレータが目視して顔領域を指定しなけ
ればならないため、無人化が困難である。

【０００５】また、特開昭５２−１５６６２４号公報、
特開昭５２−１５６６２５号公報、特開昭５３−１２３
３０号公報、特開昭５３−１４５６２０号公報、特開昭
５３−１４５６２１号公報、特開昭５３−１４５６２２
号公報には、肌色データを抽出することによって人物の
顔のデータを抽出する以下の方法が記載されている。す
なわち、カラー原画像を多数の測光点に分割すると共に
各測光点をＲ（赤）、Ｇ（緑）、Ｂ（青）の３色に分解
して測光し、測光データから計算した各測光点の色が肌
色範囲内か否か判断する。そして、肌色範囲と判断され
た測光点のクラスタ（群）を顔の濃度データとする。し
かしながら、この方法では肌色範囲内の色を顔の濃度デ
ータと仮定しているため、地面、木の幹、洋服等の肌色
または肌色に近似した色をした顔以外の部位も顔の濃度
データとして抽出されてしまう。また、同一被写体を同
一条件で撮影した場合であってもフィルム種によって撮
影画像の色味が異るため、フィルム種が異ると顔の濃度
データを自動的に抽出できないことがある。更に、被写
体を照明する光源の色が異ると撮影画像の色味が異る
（例えば、蛍光灯を光源として撮影した画像は緑味にな
る）ため、光源色が異ると顔の濃度データを自動的に抽
出できないことがある。

【０００６】上記の光源色が異ることによって発生する
問題点を解決するためには、光源色補正を行ってから肌
色範囲の測光データを抽出すればよい。光源としては、
太陽光、蛍光灯、タングステン光に大別できるが、太陽
光は季節、時間帯によって色味が異り、また季節や時間
帯が同じでも直接光か間接光かによって色味が異る。ま
た、蛍光灯等の人工光は製品の多種多様化に伴い様々な
色味がある。従って、光源の各々について光源種を特定
して光源補正を行うのは困難である。また、仮に光源補
正が完全に行えたとしても地面や木の幹等の肌色または
肌色に近似した部位を抽出しないようにすることはでき
ず、更にフィルム種が異ったときに対処することができ
ない。

【０００７】また、原画像内に濃度や大きさが異なる多
くの対象物が存在する場合のような複雑な画像において
原画像を分割する方法として、再帰的閾値処理がある。
この方法では、原画像を色領域毎に分割するために原画
像から得られる測光データに基づいて２次元ヒストグラ
ムを求め、求めた２次元ヒストグラムを原画像の色相、
明度及び彩度等を基にした特徴軸に画像データを投影
し、１次元ヒストグラムに変換し、変換した１次元ヒス
トグラムの最も先鋭度の高い山に属する画素を取り出
し、それらの画素からなる連結領域を求める。これらの
処理を再帰的に繰り返し行なって領域を細分化すること
によって全ての特徴に対するヒストグラムが完全に単峰
性になるまで分割を繰り返す。

【０００８】しかしながら、通常、原画像には色相や彩
度等が類似した画像を多く含んでおり、得られる２次元
ヒストグラムは複数の山が合成したような複雑な形状に
なる。このため、２次元ヒストグラムを上記のような１
次元ヒストグラムに変換することが困難なため、明確に
分離することができない。

【０００９】また、クラスタの状態、例えばクラスタの
数や広がり等に関するパラメータから得られる類似性に
よって２次元ヒストグラムをクラスタリングするＩＳＯ
ＤＡＴＡアルゴリズム等の一般的クラスタリング方法が
ある。

【００１０】しかしながら、上記のように２次元ヒスト
グラムが単純な形状であることは稀であるので、この方
法によって複雑な形状の２次元ヒストグラムをクラスタ
リングするためには、予めクラスタの分布やクラスタの
数等に関するパラメータを最適に推定しなければなら
ず、実用的ではない。

【００１１】本発明は上記問題点を解決するために成さ
れたもので、ネガフィルム等のカラー原画像から人物の
顔のデータ等の特徴画像データのみを高い確度で自動的
に抽出することができる特徴画像データの抽出方法を提
供することを目的とする。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に請求項１の発明は、カラー原画像を多数画素に分割し
て各画素を赤光、緑光及び青光の３色に分解して測光
し、測光により得られたデータに基づいて色相値及び彩
度値についての２次元ヒストグラムを求め、求めた２次
元ヒストグラムの特定の１つの山の頂上に対応する断面
を含みかつ２次元ヒストグラムの色相値軸及び彩度値軸
を含む座標平面に平行な特徴平面によって、２次元ヒス
トグラムを切断して２次元ヒストグラムの断面を求め、
特徴平面上で隣接する断面の境界の間隔が所定値以下に
なるまで各断面を膨張させるかまたは断面の境界の度数
が最小値または最小値近傍の所定値以下になるまでの断
面を膨張させる排他的膨張処理を行なって排他的膨張処
理後の断面の境界で２次元ヒストグラムを山毎に分割
し、カラー原画像の各画素が分割された山のどれに属す
るかを判断して画素を分割された山に対応する群に分け
ると共に、各々の群毎にカラー原画像を分割し、分割さ
れた領域の少なくとも１つを選択して選択された領域の
データを特徴画像データとして抽出する。

【００１３】また、本発明では領域を選択するときに、
分割された領域が人物の顔か否かを判断し、人物の顔と
判断された領域を選択することにより、人物の顔の濃度
データを特徴画像データとして抽出することができる。

【００１４】

【作用】本発明では、カラー原画像を多数画素に分割し
て各画素を赤光、緑光及び青光の３色に分解して測光
し、測光により得られたデータに基づいて色相値及び彩
度値の２次元ヒストグラムを求める。

【００１５】測光によるデータに基づいて得られる色相
値及び彩度値の２次元ヒストグラムの山の形状が単純で
あることは稀であるため、各山が複雑な形状になると、
求めた２次元ヒストグラムを山毎に分割することが困難
である。

【００１６】そこで本発明では、求めた２次元ヒストグ
ラムの特定の１つの山の頂上に対応する断面を含みかつ
２次元ヒストグラムの色相値軸及び彩度値軸を含む座標
平面に平行な特徴平面によって、２次元ヒストグラムを
切断して２次元ヒストグラムの断面を求める。この求め
た断面を該特徴平面上で排他的膨張処理する。排他的膨
張処理は、特徴平面上で隣接する断面の境界の間隔が所
定値以下になるまで各断面を膨張させる。これにより、
特徴平面上に存在する各断面が膨張することになるが、
山と山との境界すなわち谷で膨張が停止する。また、膨
張させようとする断面の境界の度数、すなわち画素値が
２次元ヒストグラムにおいて最小値または最小値近傍の
所定値以下になるときに膨張処理を停止する。これによ
り、各山の裾で断面の膨張は停止する。このため、山の
谷と裾とによって山の輪郭が求められる。

【００１７】この特徴平面上における排他的膨張処理後
の断面の境界、すなわち山の輪郭で２次元ヒストグラム
を山毎に分割する。これにより、２次元ヒストグラムに
おいて、複数の山が重なるような複雑な形状の場合で
も、複数の山毎に２次元ヒストグラムを分割することが
できる。次に、分割された各山の色相値範囲及び彩度値
範囲の何れの範囲内に、カラー原画像の画素の色相値及
び彩度値が属するかを判断することにより、各画素が分
割された山のどれに属するかを判断し、多数画素を分割
された山に対応する群（クラスタ）に分ける。続いて、
カラー原画像を分割された群に対応する領域に分ける。
このとき、同じ群に含まれる画素が異る領域に分けられ
る場合もあるが、異る群に含まれる画素が同じ領域に含
まれることはない。これによって、カラー原画像は、ヒ
ストグラムによって分けられた色相値範囲及び彩度値範
囲内の色相値及び彩度値を持つ画素を含む領域毎に分け
られることになる。従って、カラー原画像上の１つの領
域内には、色相値及び彩度値が所定範囲内の画素が含ま
れることになり、画像の特徴を表す少なくとも１つの領
域を選択すれば、選択された領域のデータが特徴画像デ
ータを表すことになるから、領域の選択によって特徴画
像データを抽出することができる。

【００１８】本発明では、色相値と彩度値とを用いてい
るため、特徴画像と色相が同一または近似した部位が混
在していても特徴画像データを抽出することができる。

【００１９】人物写真を観賞するときに最も注目される
部位は、人物の顔であるので、カラー原画像の分割され
た領域が人物の顔か否かを判断し、人物の顔と判断され
た領域のデータを特徴画像データとして抽出するのが好
ましい。人物の顔の色相は、地面、木等の肌色部分と近
似しているが、ほとんどの場合彩度が異るため、色相値
及び彩度値の２次元ヒストグラムに基づいて人物の顔の
データを抽出するようにすれば、顔、地面、木等が混合
する画像からも人物の顔のデータを抽出することができ
る。

【００２０】なお、特徴画像データとして抽出するデー
タは、人物の顔のデータ以外であってもよい。

【００２１】

【実施例】以下図面を参照して本発明の実施例を詳細に
説明する。本実施例は、オートプリンタに本発明を適用
したものである。図１に示されるように、本実施例のオ
ートプリンタは、カラーネガフィルム１０を搬送する搬
送ローラ１２を備えている。搬送ローラ１２によって搬
送されるカラーネガフィルム１０の下方には、光源１
４、調光フイルタ等の色補正フィルタ１６および拡散ボ
ックス１８が順に配列されている。また、ネガフィルム
１０の上方には、ネガフィルム１０を透過した光線を２
方向に分配する分配用プリズム２０が配置されている。
分配用プリズム２０によって分配された一方の光路上に
は、投影光学系２２、ブラックシャッタ２３及びカラー
ペーパー（印画紙）２４が順に配列され、他方の光路上
には投影光学系２６及びＣＣＤイメージセンサ２８が順
に配列されている。このＣＣＤイメージセンサ２８は、
ネガフィルム１０の１画面（１コマ）全体を多数の画素
（例えば２５６×２５６画素）に分割して各画素をＲ
（赤）、Ｇ（緑）、及びＢ（青）の３色に分解して測光
する。ＣＣＤイメージセンサ２８は、ＣＣＤイメージセ
ンサ出力を増幅する増幅器３０及びアナログ−デジタル
（Ａ／Ｄ）変換器３２を介してＣＣＤイメージセンサの
感度補正用の３×３マトリックス回路３４に接続されて
いる。３×３マトリックス回路３４は、以下で説明する
ルーチンのプログラムを記憶したマイクロコンピュータ
で構成された顔抽出回路３６を介して適正露光量計算回
路４０に接続されると共に、１画面全体の平均濃度を演
算する平均濃度演算回路３８を介して適正露光量計算回
路４０に接続されている。そして、適正露光量計算回路
４０は、色補正フイルタを駆動するドライバ４２を介し
て色補正フィルタ１６に接続されている。

【００２２】次に本実施例の作用を説明する。光源１４
から照射された光線は、色補正フィルタ１６、拡散ボッ
クス１８及びカラーネガフィルム１０を透過し、分配用
プリズム２０によって分配され、投影光学系２６を介し
てＣＣＤイメージセンサ２８に受光される。なお、この
ときブラックシャツタ２３は閉じられている。この受光
によってＣＣＤイメージセンサ２８は、１画面全体を多
数の画素に分割して各画素をＲ、Ｇ、Ｂ３色に分解して
測光し、測光データ信号を出力する。測光データ信号は
増幅器３０で増幅された後Ａ／Ｄ変換器３２でデジタル
信号に変換され、３×３マトリックス回路３４でイメー
ジセンサの感度補正が行われ、顔抽出回路３６と平均濃
度演算回路３８に入力される。この平均濃度演算回路３
８では、１画面全体の平均濃度を演算する。顔抽出回路
３６では、以下で説明するように１画面中の人物の顔の
部位を推定し、顔と推定された部位のＲ、Ｇ、Ｂ３色測
光データを出力する。露光量演算回路４０は、顔抽出回
路３６から出力された３色測光データと平均濃度演算回
路３８で求められた平均濃度とを用いて露光量を演算
し、ドライバ４２を介して色補正フイルタ１６を制御す
ると共にブラックシャッタ２３を開閉して焼付けを行
う。なお、平均濃度演算回路３８で求めた平均濃度を用
いるとき、平均濃度に対する露光補正量を求めることが
できる。露光補正量を求めない場合、必ずしも平均濃度
演算回路３８を必要とせず、直接顔抽出回路３６から出
力された３色測光データより露光量を求めてもよい。

【００２３】図２は顔抽出回路３６よる顔抽出ルーチン
を示すものであり、ステップ１００において入力された
３色測光データのノイズ除去、すなわちスムージングを
行う。次のステップ１０２では下記の（１）〜（３）式
によってＲ、Ｇ、Ｂ３色測光データをＨ（色相値）、Ｌ
（明度値）、Ｓ（彩度値）に変換する。

【００２４】Ｌ＝（Ｒ＋Ｇ＋Ｂ）／３・・・・（１）Ｓ＝１−ｍｉｎ（ｒ’，ｇ’，ｂ’）・・・・（２）Ｈ＝Ｈ’／２Ｐｉ・・・・（３）ただし、Ｒ、Ｇ、Ｂは図３の３次元色座標に示すように
各々最小値が０、最大値が１になるように規格された３
色測光データ、ｍｉｎ（）は（）内の数値の最小
値、ｒ’、ｇ’、ｂ’はｒ’＝Ｒ／Ｌ、ｇ’＝Ｇ／Ｌ、
ｂ’＝Ｂ／Ｌを表す。またＨ’は次の（４）式で与えら
れ、Ｐｉ（ｉは、Ｒ、Ｇ、Ｂのうちの１つ）は図３のＰ
である。

【００２５】

【数１】

【００２６】ただし、

【００２７】

【数２】

【００２８】ステップ１０４では、図４（３）に示すよ
うに、各々直交する色相値軸Ｈ、彩度値軸Ｓ及び画素数
（または度数）軸から成る座標系を用いて色相値及び彩
度値についての２次元ヒストグラムを求め、次のステッ
プ１０６において、後述するように、求めた２次元ヒス
トグラムに基づいて多数の画素のクラスタリングを行
い、このクラスタリングに基づいて画面を分割し、分割
された領域から人物の顔の候補となる領域を抽出する。
次のステップ１１０では、顔の候補として抽出された領
域から顔の領域を推定し、顔として推定された領域の
Ｒ、Ｇ、Ｂ３色測光データを出力する。そして、ステッ
プ１１２において全コマの焼付けが終了したか否か判断
し、焼付終了と判断されたときにこのルーチンを終了す
る。

【００２９】なお、本実施例では、説明を簡単にするた
めに、１コマ全てについての２次元ヒストグラムから評
価するものとするが、色相値及び彩度値についての２次
元ヒストグラムから評価すべき領域を予め特定してお
き、この領域を切り出すようにしてもよい。

【００３０】次に、上記ステップ１０６〜１１０の詳細
を説明する。図５はステップ１０６の詳細を示すもの
で、ステップ１２０では、色相値軸及び彩度値軸からな
る座標平面に平行な平面を徐々に平行移動させることに
よって２次元ヒストグラムの各山の頂上を検出する。先
ず、色相値軸及び彩度値軸からなる座標平面に平行な平
面を、画素数を０から増加する方向に平行移動させる。
このとき、平面で切り出された２次元ヒストグラムの各
山の断面の面積は減少してゆき、山の頂上で０になる。
この断面積が０になった時点を山の頂上と判断する。す
なわち、図４（３）に示した２次元ヒストグラムを色相
値軸及び彩度値軸からなる座標平面に平行な平面ＳＴ１
（画素数ｎ）上では、図４（２）に示したように、平面
ＳＴ１によってスライスされた山の断面領域である各閉
領域が存在する。例えば、２次元ヒストグラムの山Ｍ２
は閉領域Ｅａ１になる。次に、画素数が増加する方向に
平面を平行移動させた平面ＳＴ２上では、上記領域Ｅａ
１は消失する。この閉領域が消失した時点（０になった
とき）がこの山の頂上であるものとして頂点の数を計数
する。またこのとき、頂上を検出したときの平面の高さ
（画素数または度数）を読み取ることによって山の高さ
Ｖを読み取る。なお、複数の山が重なっている場合に
は、徐々に画素数が増加する方向に平面を平行移動して
ゆくことで、１つの閉領域が頂上に対応される閉領域毎
に分離される。また、座標平面に平行な平面の平行移動
は、２次元ヒストグラムの最大高さから画素数が減少す
る方向であってもよい。この場合は閉領域が生じた（面
積が０を越えた）ときをその頂上とする。処理時間の短
縮が必要な場合は、精度が多少低下するが、所定の画素
数毎の段階的に平面を平行移動させて頂上を求めるよう
にしてもよい。

【００３１】次のステップ１２２では、２次元ヒストグ
ラムで最も高さの低い山を選択する。すなわち、図６
（１）に示したように、山Ｍ１において高さが最低の山
Ｍ１ａを選択する。そして、選択された山の高さＶを取
り込む。またこのとき、山の高さＶより小さな値、例え
ば、山の高さＶの所定割合の値ｖを求める。なお、この
値ｖは、予め設定された値でもよい。次のステップ１２
４では、選択された山を切り出すための閾値（Ｖ−ｖ）
を設定する。ステップ１２６において、設定された閾値
によって定まる平面ＳＩ１で２次元ヒストグラムを切り
出す。これにより、この断面は図６（２）に斜線で示し
たように閉領域Ｅｂ１になる。ステップ１２８では切り
出された山を識別するために断面の各々にラベルを付け
る処理（ラベリング）を行なう。

【００３２】次のステップ１３０では、選択された山の
頂上（高さ最低）に対応する１つの閉領域に２以上の山
の頂上が対応しているか否かを判断する。すなわち、図
６（２）に示したように、閉領域Ｅｂ１には、高さが最
低の山Ｍ１ａの頂上以外に山Ｍ１ｂ及び山Ｍ１ｃの２つ
の頂上が対応している。このため、閉領域Ｅｂ１に各山
の頂上を投影して投影された頂上が高さ最低の山Ｍ１ａ
の頂上のみであるか否かを判断するものである。これに
よって、閉領域に対応する山が高さ最低の山のみか否か
判断し、２以上の山に対応する場合は、ステップ１３２
において値ｖを減少（ｖ＝ｖ−ｖ’）させたのち、ステ
ップ１２４へ戻る。これにより、山を切り出すための閾
値は増加し、山を切り出すための平面の高さは高くな
る。この平面の上昇により、図６（３）に示したよう
に、閉領域Ｅｂ１は閉領域Ｅｂ２と閉領域Ｅｂ３とに分
離される。これにより、閉領域Ｅｂ２には高さが最低の
山の頂上のみが対応することになる。また、この高さが
最低の山Ｍ１ａのみに対応するような閉領域Ｅｂ２が得
られる平面を特徴平面とする。なお、値ｖ’は値ｖより
小さな値になるように設定される。このように、高さ最
低の山の頂上と断面とが１対１に対応するまでステップ
１２４〜ステップ１３０を繰り返す。

【００３３】ステップ１３４では、上記高さが最低の山
の閾値による平面（特徴平面）上で２次元ヒストグラム
の断面部分の閉領域全てについて排他的膨張処理を行な
う。この排他的膨張処理について図７を参照して説明す
る。先ず、特徴平面を、所定の色相値及び所定の彩度値
から形成される単位領域によって複数に分割する。そし
て、上記特徴平面によって切り出された２次元ヒストグ
ラムの断面部分の閉領域（図７（１）斜線部）の全ての
単位領域を濃度値「１」、それ以外の領域に属する単位
領域を濃度値「０」に対応させる。この濃度値「０」に
対応させた単位領域について濃度値「１」になるように
排他的に膨張させる。この排他的膨張処理は、各断面の
周辺領域（境界部分）から行なうようにする。

【００３４】例えば、８近傍の手法によって評価を行な
う場合には、濃度値「０」に対応させた単位領域を評価
するための領域として３Ｘ３の単位領域の大きさからな
る評価領域を採用する。そして、この評価領域の中心領
域に評価する単位領域を設定し、その周辺の８領域に上
記濃度値「１」に対応させた単位領域が存在する場合に
は、評価する単位領域を濃度値「１」とする。特徴平面
の濃度値「０」の単位領域全てについて上記処理を行な
うことにより上記閉領域の面積が増加し膨張する。この
処理を繰り返して特徴平面における閉領域の全てについ
て膨張処理する。なお、膨張処理は、各々の閉領域の境
界の間隔が所定値（例えば、１単位領域）になった時点
で終了する。すなわち、各々の閉領域の境界の間隔が所
定値である単位領域は濃度値「０」に決定する。これに
より、１つの山に複数の頂上が存在しても、その谷の部
分までを境界とする膨張処理を行なうことができる。更
に、上記の評価領域をもって濃度値「０」の単位領域を
評価するときには、図７（１）において想像線で示した
ように、求めた２次元ヒストグラムを参照し、この評価
する単位領域が２次元ヒストグラムにおいて画素数がい
くらであるかを読み取る。この読み取った画素数が１以
下のときには膨張処理の必要がないため、排他的膨張処
理を行なわないようにする。これによって、山の裾の部
分までの膨張処理を行なうことができる。従って、上記
求めた山の谷と裾とによる山の輪郭が求められる。

【００３５】このように、排他的膨張処理を行ない山の
輪郭を求めることによって２次元ヒストグラムを単峰の
山に分割することがきる。

【００３６】次のステップ１３６では、選択された頂上
に対する原画像の色領域を切り出す。すなわち、上記排
他的膨張処理によって求めた色相値範囲及び彩度値範囲
に対応する原画像を分割して切り出す。ステップ１３８
では、残存する頂上があるか否かを判断して、２以上あ
る場合には、ステップ１２２へ戻り、全ての頂上に対す
る原画像の色領域を切り出しが終了した場合には、本ル
ーチンを終了する。また、残存する頂上が１つの場合に
は、既に色相値範囲及び彩度値範囲が求められているた
め、上記処理を繰り返すことなく断面にラベルを付ける
処理（ラベリング）を行なって次の処理へ進む。この原
画像を分割して切り出す処理を繰り返し処理することに
よって、原画像の全ての色領域に亘って分割して切り出
すことができる。

【００３７】このように、２次元ヒストグラムの山の頂
上を検出し、この頂上毎に対応して２次元ヒストグラム
の山を切り出し、その切り出した断面を排他的膨張処理
し、この膨張された断面によって２次元ヒストグラムを
分割するため、原画像が複雑な形状にクラスタリングさ
れても、容易に分割することができる。

【００３８】なお、上記２次元ヒストグラムの分割及び
原画像を分割して切り出す処理を各断面毎に行なった場
合について説明したが、２次元ヒストグラムを全て分割
したのちに原画像を切り出すようにしてもよい。

【００３９】図８はステップ１１０の詳細を示すもの
で、ステップ１６２においてステップ１０６、すなわち
図５のルーチンで抽出された領域の中から１つの領域を
注目領域として選択し、注目領域の水平フィレ径および
垂直フィレ径が所定値になるように注目領域の拡大縮小
処理を行って注目領域のサイズの規格化を行うと共に、
次の（６）式に従って濃度値または輝度値の規格化を行
う。

【００４０】

【数３】

【００４１】ただし、ｄmax ：領域内最大濃度値（または輝度値) ｄmin ：領域内最低濃度値（または輝度値) ｄs ：イメージセンサのフルスケール濃度値（または
輝度値）ｄ：規格化前濃度値（または輝度値）ｄr ：規格化後濃度値（または輝度値）ステップ１６４では、予め記憶された複数種（本実施例
では１０種類）の標準的な顔画像（正面から見た顔画
像、横から見た顔画像（左右）、下向き顔画像、上向き
顔画像等）に対する注目領域の相関係数ｒを次の（７）
式によって演算し、この相関係数を特徴量とする。この
標準的な顔画像は、顔の輪郭のみのデータであっても、
顔の輪郭のデータに顔の内部構造（眼、鼻、口等）デー
タを加えたデータであってもよい。

【００４２】

【数４】

【００４３】ただし、

【００４４】

【数５】

【００４５】であり、Ｔは画像の水平、垂直フィレ径の
長さ（ここでは、フィレ径の長さは同じとした）、ｆ
（ｘ、ｙ）は注目領域、ｇ（ｘ、ｙ）は標準的な顔画像
を表す。

【００４６】そして、ステップ１６６において上記特徴
量を変量とした線形判別分析により注目領域が人物の顔
であるか否かを判断し、顔であると判断された領域の
Ｒ、Ｇ、Ｂ測光データを適正露光量計算回路４０に出力
する。ステップ１６８では抽出された全領域について顔
か否かの判定が終了したか否か判断し、終了していない
ときにはステップ１６２〜ステップ１６８を繰り返す。

【００４７】上記では人物の顔か否かの判定を行うため
に用いる特徴量として相関係数を使用したが、以下で説
明する重心回りの正規化されたセントラル・モーメント
から導出される不変量、自己相関関数または幾何学的不
変量を用いてもよい。

【００４８】画像ｆ（ｘ、ｙ）の（ｐ＋ｑ）次の重心回
りのセントラル・モーメントμ_pqを

【００４９】

【数６】

【００５０】ただし、

【００５１】

【数７】

【００５２】とすれば、重心回りの正規化されたセント
ラル・モーメントは次のようになる。

【００５３】

【数８】

【００５４】ただし、ｙ＝（ｐ＋ｑ＋２）／２ｐ＋ｑ＝２，３，…… 以上のことより、２次、３次の重心回りの正規化された
セントラル・モーメントから次の七つの不変量ψ_i,（ｉ
＝１，２，……，７）が導出される。

【００５５】

【数９】

【００５６】また、自己相関関数Ｒ_fは次のように表さ
れる。

【００５７】

【数１０】

【００５８】そして、幾何学的不変特徴量は次の式で表
わされる。

【００５９】

【数１１】

【００６０】適正露光量計算回路４０は、顔抽出回路３
６で上記のように抽出された顔領域のＲ、Ｇ、Ｂ測光デ
ータと平均濃度演算回路３８で演算された１コマの画面
平均濃度Ｄ_i（ｉ＝Ｒ、Ｇ、Ｂのうちのいずれか）とを
用いて以下の式に従って適正露光量Ｅ_iを演算し、ドラ
イバ４２に出力する。ドライバ４２は適正露光量Ｅ_iか
ら露光コントロール値を演算して調光フイルタ１６を制
御する。

【００６１】ｌ_ogＥ_i＝ＬＭ_i・ＣＳ_i・（ＤＮ_i−Ｄ_i）＋ＰＢ_i＋ＬＢ_i＋ＭＢ_i ＋ＮＢ_i＋Ｋ₁＋Ｋ₂…（８）ただし、各記号は次のものを表す。

【００６２】ＬＭ：倍率スロープ係数であり、ネガの種
類とプリントサイズから決まる引伸倍率に応じて予め設
定されている。

【００６３】ＣＳ：ネガの種類毎に用意されたカラース
ロープ係数でアンダー露光用とオーバー露光用とがあ
り、プリントすべきコマの平均濃度が標準ネガ濃度値に
対してアンダーかオーバーかを判定してアンダー露光用
またはオーバー露光用のいずれかが選択される。

【００６４】ＤＮ：標準ネガ濃度値。Ｄ：プリントコマの平均濃度値。

【００６５】ＰＢ：標準カラーペーパーに対する補正バ
ランス値であり、カラーペーパーの種類に応じて決定さ
れている。

【００６６】ＬＢ：標準焼付レンズに対する。補正レン
ズバランス値であり、焼付レンズの種類に応じて決定さ
れてる。

【００６７】ＭＢ：プリント光源の変動やペーパー現像
性能の変化に対する補正値（マスターバランス値）。

【００６８】ＮＢ：ネガフィルムの特性によって定めら
れるネガバランス（カラーバランス）値。

【００６９】Ｋ₂：カラー補正量。Ｋ₁：以下の式で表される濃度補正量。

【００７０】

【数１２】

【００７１】ここで、Ｋ_a、Ｋ_bは定数であり、ＦＤは
顔領域平均濃度である。また、上記（８）式の濃度補正
量Ｋ₁をフィルム検定装置によって求められた補正値と
し、カラー補正量Ｋ₂を次のように顔領域平均濃度を用
いて表してもよい。

【００７２】

【数１３】

【００７３】ただし、Ｋ_cは定数である。更に、上記
（８）式の濃度補正量Ｋ₁、カラー補正量Ｋ₂をフィル
ム検定装置によって求められた補正量とし、（８）式の
プリントコマの平均濃度Ｄ_iを顔領域の平均濃度ＦＤ_i
置きかえて露出量を求めてもよい。

【００７４】本実施例では、領域の輪郭及び内部構造を
用いて判断しているため、色相が類似している顔、地
面、木等が混在する画像からも顔のデータを抽出するこ
とができる。

【００７５】次に本発明の第２実施例を説明する。本実
施例は、ステップ１０６で抽出された候補領域の各々に
ついて注目領域の形状及び色情報と注目領域の周辺に位
置する領域である近傍領域の形状及び色情報とから注目
領域が顔か否かを判断するものである。図９はこの顔か
否かを判断するルーチンを示すものであり、ステップ１
７０において注目領域の周辺に注目領域と同一色相値、
及び彩度値または近似した色相値及び彩度値を持ち、か
つ、サイズ（例えば、水平フィレ径、垂直フィレ径を採
用することができる）が注目領域のサイズの２５〜１０
０％の範囲の領域が抽出されているか否か判断すること
によって、人物の手または足に対応する領域が抽出され
ているか否か判断する。判断の対象となる範囲は人物の
身体が存在する範囲、例えば注目領域を中心として注目
領域の面積と同一面積の円の直径の５倍を半径とする範
囲とする。なお、画像情報が途切れてしまう場合は、途
切れる方向については対象範囲を画像情報が途切れる位
置までとする。そして、注目領域の周辺に手または足に
対応する領域が存在する場合にはステップ１７２でフラ
グＦ_aをセットする。

【００７６】次のステップ１７４では、注目領域と連続
する領域が存在しかつその領域が人物の体に対応するか
否かを判断することにより人物の体の領域が抽出されて
いるか否かを判断する。人物の体は、通常左右軸対象で
かつ上下方向に非対象であると共に顔に連続しているの
で、注目領域と連続する領域が存在しかつその領域が左
右軸対象でかつ上下非対象かを判断することにより人物
の体に対応する領域が存在するか否かを判断することが
できる。そして、人物の体に対応する領域が存在すると
きはステップ１７６でフラグＦ_bをセットする。

【００７７】次のステップ１７８では以下の条件を判断
することにより頭部が存在するか否か判断する。頭部は
顔と隣接し、顔と統合したとき略惰円形になり、通常頭
部には帽子、ヘルメット、頭髪等が存在するから色相ま
たは彩度が顔と相異している。従って、注目領域に隣接
する領域についてこの領域の周囲長と、注目領域との隣
接部の境界長との比が３０％以上であるか、注目領域と
隣接する領域とを統合したときの円形度が向上するか、
注目領域の色相値と注目領域に隣接する領域の色相値と
の色相差に対する彩度値差または明度値差が大きいか、
注目領域に隣接する領域の彩度値または明度値が注目領
域に比較して小さいかを判断することにより頭部が存在
するか否かを判断することができる。そして、頭部に対
応する領域が存在すると判断されたときにはステップ１
８０においてフラグＦ_cをセットする。

【００７８】ステップ１８２では、フラグＦ_a及びフラ
グＦ_bがセットされているか否か判断し、肯定判断され
たとき、すなわち注目領域の周辺に手または足に対応す
る領域が存在しかつ注目領域に連続する領域が体に対応
する領域のときは、注目領域は人物の顔であると判断し
て、ステップ１８８において注目領域のＲ、Ｇ、Ｂ測光
データを出力する。ステップ１８２で否定判断されたと
きはステップ１８４においてフラグＦ_b及びフラグＦ_c
がセットされているか否か判断する。この判断が肯定さ
れたとき、すなわち注目領域に連続する領域が体に対応
する領域でかつ注目領域に隣接する領域が頭部に対応す
る領域のときは、注目領域は人物の顔であると判断して
ステップ１８８へ進む。ステップ１８４で否定判断され
たときはステップ１８６でフラグＦ_a、フラグＦ_b及び
フラグＦ_cがセットされているか否か判断し、肯定判断
されたときは注目領域は人物の顔であると判断してステ
ップ１８８ヘ進む。次のステップ１９０では次の注目領
域の判断のためにフラグＦ _a、Ｆ_b、Ｆ_cをリセットす
る。

【００７９】なお、本実施例で注目領域が手または足、
体、頭部か否かを判断する場合に、上記第１実施例で説
明したように複数の標準的な手または足の画像、複数の
標準的な体の画像、複数の標準的な頭部の画像を予め記
憶しておいて、注目領域とこれらの標準的な画像とを比
較して判断してもよい。

【００８０】次に本発明の第３実施例を説明する。本実
施例は抽出された領域を線図形化して注目領域の周辺に
位置する近傍領域の形状及び注目領域の形状に基づいて
注目領域が顔か否かを判断するようにしたものである。
図１０は線図形化による顔判定ルーチンを示すもので、
上記のように抽出された一画面分の領域の線情報抽出処
理を行って各領域を線図形に変換する。ステップ２０２
では、予め記憶された人物の肩を表す標準線図形と一画
面の線図形とを比較することによって肩を表す線図形が
存在するか否かを判断する。肩を表す線図形が存在しな
い場合にはこのルーチンを終了し、肩を表す線図形が存
在する場合にはその上側に線図形が存在するか否かを判
断する。線図形が存在すれば、この線図形を注目線図形
としてステップ２０６において、この注目線図形の上側
に頭部（例えば、帽子、頭髪、ヘルメット等）を表す線
図形が存在するか判断する。ステップ２０６の判断が肯
定のときは、注目線図形の上側に頭部を表す線図形が存
在しかつ注目線図形の下側に肩を表す線図形が存在する
ため注目線図形は顔の線図形である確立が高い。このた
めステップ２０８においてこの注目線図形の輪郭が標準
的な顔の線図形の輪郭に近似しているか否か判断する。
ステップ２０８の判断が肯定のときはステップ２１０に
おいて注目線図形が顔であると判断してこの注目線図形
に対応する領域のＲ、Ｇ、Ｂ測光データを出力する。一
方、ステップ２０８の判断が否定のときはステップ２１
２において肩を表す線図形の上側の線図形の下側の部分
を顔と判断し、この部分のＲ、Ｇ、Ｂ測光データを出力
する。

【００８１】本実施例では、注目領域の形状等から顔か
否かを判断しているため、色相が類似している顔、地
面、木等が混在する画像からも顔のデータを抽出するこ
とができる。また、顔の徴細構造を用いて顔を判定して
いないため、判定対象画像の分解能が低くても少ない演
算時間で顔か否かを判定できる。

【００８２】図１１はプリンタまたはプリンタプロセッ
サとは別体の露光量決定装置に本発明を適用した変形例
を示すものである。なお、図１１において図１と対応す
る部分には同一符号を付して説明を省略する。また、平
均濃度演算回路３８は必ずしも必要ではないが、これに
代えて画面全体のＬＡＴＤを検出する積算透過濃度検出
回路を用いてもよい。

【００８３】図１２は、図１１の顔抽出回路を複数の顔
抽出回路３６₁、３６₂・・・３６ｎで構成し、並列処
理により露光量を演算するものである。顔抽出回路３６
₁、３６₂・・・３６ｎは図１３のタイムチャートに従
って画像を読込み、露光量を演算し、その結果を出力す
る。図１３においてｔ₁は１コマの画像読込み時間、ｔ
₂は１コマの露光量演算時間、ｔ₃は１コマの露光量演
算結果転送時間であり、ｔ₂＞＞ｔ₁、ｔ₃である。顔
抽出回路３６₁はｔ₁時間で１コマの画像を読込み、ｔ
₂時間で露光量を演算し、ｔ₃時間で演算結果を転送す
る。顔抽出回路３６₁による１コマの画像読込みが終了
すると同時にフィルムが１コマ分送られ顔抽出回路３６
₂による１コマり画像読込みが開始され、顔抽出回路３
６₁の露光量演算と顔抽出回路３６₂の画像読込みとが
並列して行われ、以下同様に顔抽出回路３６₃、３６₄
・・・３６ｎによって並列処理される。

【００８４】ｍｘｎのコマを並列処理するに要する時間
Ｔｐは、Ｔｐ＝ｍ（ｔ₁＋ｔ₂＋ｔ₃）＋（ｎ−１）ｔ₁ である。一方、並列処理を行わない場合の処理時間Ｔｓ
はＴｓ＝ｍ・ｎ（ｔ₁＋ｔ₂＋ｔ₃）である。従って、

【００８５】

【数１４】

【００８６】倍高速化が可能である。なお、この並列処
理装置は図１のプリンタにも適用できる。

【００８７】本発明は写真焼付装置の露光量決定以外
に、ディジタルカラープリンタの露光量決定、複写機の
複写条件決定、カメラの露出量決定、ＣＲＴ画面の表示
条件決定、磁気画像データからハードコピーを作成する
ときの光量決定にも適用することができる。

【００８８】

【発明の効果】以上説明したように本発明によれば、色
相値及び彩度値の２次元ヒストグラムに基づいて特徴画
像データを抽出しているため、特徴画像と色相が同一ま
たは近似した部位が混在していても特徴画像データを抽
出することができる、という効果が得られる。

【００８９】また、２次元ヒストグラムの山毎に特徴平
面における断面を求め、その断面を膨張させた境界によ
る山の領域に基づいて原画像を分割することができるた
め、原画像が複雑な形状にクラスタリングされても特徴
画像データを抽出することができる、という効果が得ら
れる。

【図面の簡単な説明】

【図１】本発明の第１実施例のプリンタを示す概略図で
ある。

【図２】顔抽出回路の顔抽出ルーチンを示す流れ図であ
る。

【図３】色座標を示す線図である。

【図４】（１）、（２）は２次元ヒストグラムを切り出
した座標平面に平行な平面を示す断面斜視図である。
（３）は色相値及び彩度値についての２次元ヒストグラ
ムを示す斜視図である。（４）は原画像を分割した状態
を示す線図である。

【図５】図２のステップ１０６の詳細を示す線図であ
る。

【図６】（１）は、２次元ヒストグラムの１つの山の側
面図及び平面図である。（２）、（３）は、座標平面に
平行な平面によって切り出された断面を含む２次元ヒス
トグラムを示す断面図である。

【図７】（１）は、特徴平面を示す斜視図である。
（２）は、２次元ヒストグラムを示す斜視図である。

【図８】図２のステップ１１０の詳細を示す線図であ
る。

【図９】本発明の第２実施例の顔推定ルーチンの流れ図
である。

【図１０】本発明の第３実施例の顔推定ルーチンの流れ
図である。

【図１１】本発明を適用した露光量演算装置の概略図で
ある。

【図１２】複数の顔抽出回路によって並列処理を行う露
光量演算装置の概略図である。

【図１３】並列処理のタイムチャートを示す線図であ
る。

【符号の説明】

２８ＣＣＤイメージセンサ３０増幅器３６顔抽出回路

Claims

(57)【特許請求の範囲】

【請求項１】カラー原画像を多数画素に分割して各画
素を赤光、緑光及び青光の３色に分解して測光し、測光により得られたデータに基づいて色相値及び彩度値
についての２次元ヒストグラムを求め、求めた２次元ヒストグラムの特定の１つの山の頂上に対
応する断面を含みかつ２次元ヒストグラムの色相値軸及
び彩度値軸を含む座標平面に平行な特徴平面によって、
２次元ヒストグラムを切断して２次元ヒストグラムの断
面を求め、特徴平面上で隣接する断面の境界の間隔が所定値以下に
なるまで各断面を膨張させるかまたは断面の境界の度数
が最小値または最小値近傍の所定値以下になるまでの断
面を膨張させる排他的膨張処理を行なって排他的膨張処
理後の断面の境界で２次元ヒストグラムを山毎に分割
し、カラー原画像の各画素が分割された山のどれに属するか
を判断して画素を分割された山に対応する群に分けると
共に、各々の群毎にカラー原画像を分割し、分割された領域の少なくとも１つを選択して選択された
領域のデータを特徴画像データとして抽出する、特徴画像データの抽出方法。
【請求項２】領域を選択するときに、分割された領域
が人物の顔か否かを判断し、人物の顔と判断された領域
を選択する請求項１の特徴画像データの抽出方法。