JPH08122944A - 露光量決定方法 - Google Patents

露光量決定方法

Info

Publication number
JPH08122944A
JPH08122944A JP26585094A JP26585094A JPH08122944A JP H08122944 A JPH08122944 A JP H08122944A JP 26585094 A JP26585094 A JP 26585094A JP 26585094 A JP26585094 A JP 26585094A JP H08122944 A JPH08122944 A JP H08122944A
Authority
JP
Japan
Prior art keywords
person
face
shape pattern
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP26585094A
Other languages
English (en)
Other versions
JP3499305B2 (ja
Inventor
Naoto Kaneshiro
金城  直人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP26585094A priority Critical patent/JP3499305B2/ja
Priority to US08/549,181 priority patent/US5629752A/en
Publication of JPH08122944A publication Critical patent/JPH08122944A/ja
Application granted granted Critical
Publication of JP3499305B2 publication Critical patent/JP3499305B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Control Of Exposure In Printing And Copying (AREA)

Abstract

(57)【要約】 【目的】 原画像中の人物の顔に相当する領域及びその
周辺の領域の色の影響を受けることなく人物の顔に相当
する領域のみを抽出する。 【構成】 画像データを取込み、2値化やその他手法に
より画像を複数領域に分割し、更に非人物領域を除外し
た後に(100〜104)、人物の頭部の輪郭を表す形状パター
ンを検出し、検出したパターンに応じて顔候補領域を設
定する(106) 。次に人物の顔の輪郭を表す形状パター
ン、人物の顔の内部構造を表す形状パターン、人物の胴
体の輪郭を表す形状パターンを各々検出し、検出したパ
ターンにより顔候補領域の整合性を判定することを順次
行い、人物の顔に相当する領域である確度が最も高い領
域を判定する(108〜118)。上記処理を2値化のしきい値
又は画像分割の粗密度制御パラメータ等を変更しながら
複数回行い、最終的に判定した顔領域のデータを判定結
果として出力する(120〜126)。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は露光量決定方法に係り、
特に、原画像中に存在する人物の顔に相当する領域を抽
出し、抽出した領域が適正な色に焼付けされるように露
光量を決定する露光量決定方法に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】人物写
真を観賞するときに最も注目される部位は人物の顔であ
り、例えばフィルム等に記録された原画像を印画紙等に
焼付ける場合には、人物の顔の色が適正な色に焼付けさ
れるように露光量を決定する必要がある。
【0003】このため本出願人は、人物写真では人物が
画像の略中央部に位置している確率が高いとの経験則に
基づいて、フィルム画像を予め固定的に定められた複数
の領域に分割すると共に、画像の略中央部に位置してい
る領域の重みが重くなるように各領域を重み付けし、各
領域の3色の濃度の加重平均値を求め、該加重平均値に
基づいて露光量を決定する方法を既に提案している(特
開昭63-80242号公報参照)。しかし、上記では人物が実
際に画像の略中央部付近に位置していれば、該人物が適
正な色で焼付される露光量を得ることができるが、人物
が画像の中央部から大きく外れた位置に位置している場
合には適正な露光量を得ることができない、という問題
があった。
【0004】また本出願人は、カラー原画像を多数画素
に分割し各画素毎に3色に分解して測光し、測光により
得られたデータに基づいて色相値(及び彩度値)につい
てのヒストグラムを求め、求めたヒストグラムを山毎に
分割し、各画素が分割した山の何れに属するかを判断し
て各画素を分割した山に対応する群に分け、各群毎にカ
ラー原画像を複数の領域に分割し、該複数の領域のうち
人物の顔に相当する領域を推定し、推定した領域の測光
データに基づいて露光量を決定することを提案している
(特開平4-346332号公報参照)。
【0005】また、特開平6-160993号公報には、人物の
顔に相当する領域を抽出する確度を向上させるために、
画像の外縁に接している領域を背景領域と判断して除去
したり、抽出した領域を線図形化し、抽出した領域の周
辺に位置している近傍領域の形状及び抽出した領域の形
状に基づいて、抽出した領域が人物の顔に相当する領域
であるか否かを判断することも記載されている。
【0006】しかしながら、上記では、原画像に例えば
地面や木の幹等の肌色領域が存在しており、該肌色領域
の色相及び彩度が原画像中の人物の顔に相当する領域の
色相及び彩度と近似していた場合、この領域を人物の顔
に相当する領域と誤判定する可能性がある。また、この
肌色領域が人物の顔に相当する領域と隣接していた場
合、肌色領域と人物の顔に相当する領域とを分離でき
ず、原画像を適正な範囲の領域に分割できないことがあ
った。上記従来技術では、分割した領域の何れかが人物
の顔に相当する領域であることを前提として処理を行っ
ているため、原画像を適正な範囲の領域に分割できなか
った場合には、人物の顔に相当する領域を誤判定し、人
物の顔が適正に焼付けできる露光量を得ることができな
い、という問題があった。
【0007】本発明は上記事実を考慮して成されたもの
で、原画像中の人物の顔に相当する領域及びその周辺の
領域の色の影響を受けることなく人物の顔に相当する領
域のみを抽出し、前記領域を適正に焼付けできるように
露光量を決定できる露光量決定方法を得ることが目的で
ある。
【0008】
【課題を解決するための手段】上記目的を達成するため
に請求項1記載の発明に係る露光量決定方法は、原画像
中に存在する、人物の第1の部分に特有の第1の形状パ
ターンを探索し、検出した第1の形状パターンの大き
さ、向き及び人物の顔と前記第1の部分との位置関係に
応じて、人物の顔に相当すると推定される領域を設定し
た後に、人物の前記第1の部分と異なる少なくとも1つ
の第2の部分に特有の第2の形状パターンが、原画像中
の前記設定した領域の大きさ、向き及び人物の顔と前記
第2の部分との位置関係に応じて設定した探索範囲内に
存在するかを探索することにより、原画像中の人物の顔
に相当する領域である確度が高い領域を判断し、判断し
た領域の色又は濃度の少なくとも一方に基づいて複写材
料への露光量を決定する。
【0009】請求項2記載の発明は、請求項1記載の発
明において、第1の形状パターン及び第2の形状パター
ンが、人物の頭部の輪郭を表す形状パターン、人物の顔
の輪郭を表す形状パターン、人物の顔の内部構造を表す
形状パターン、及び人物の胴体の輪郭を表す形状パター
ンの少なくとも何れかを含むことを特徴としている。
【0010】請求項3記載の発明は、請求項1記載の発
明において、第1の形状パターン及び第2の形状パター
ンの探索は、原画像を濃度又は色が同一又は近似してい
る複数の画素で構成される複数の領域に分割し、該複数
の領域の各々の輪郭を用いて行うことを特徴としてい
る。
【0011】請求項4記載の発明は、請求項1記載の発
明において、第1の形状パターン及び第2の形状パター
ンの探索は、原画像中に存在するエッジを検出し、検出
したエッジの中心線を求め、求めた中心線を用いて行う
ことを特徴としている。
【0012】請求項5記載の発明は、請求項1記載の発
明において、第1の形状パターンの探索に先立ち、原画
像中の人物に相当する確度の低い領域を第1の形状パタ
ーンの探索対象から除外することを特徴としている。
【0013】
【作用】請求項1記載の発明では、原画像中に存在す
る、人物の第1の部分に特有の第1の形状パターンを探
索し、検出した第1の形状パターンの大きさ、向き及び
人物の顔と第1の部分との位置関係に応じて、人物の顔
に相当すると推定される領域を設定する。なお、第1の
形状パターンは複数であっても単数であってもよく、例
えば請求項2にも記載したように、人物の頭部の輪郭を
表す形状パターン、人物の顔の輪郭を表す形状パター
ン、人物の顔の内部構造を表す形状パターン、及び人物
の胴体の輪郭を表す形状パターンの少なくとも何れかを
用いることができる。特に、人物の各部の形状パターン
のうちの何れかは、原画像によっては検出できない可能
性があることを考慮すると、第1の形状パターンとして
複数の形状パターンを定め、各々を探索するようにして
もよい。
【0014】例えば人物の頭部(頭髪部)に対応する原
画像上の領域は、その輪郭に、人物の頭頂部に相当する
所定の円曲度の凸部と、該凸部の下方に人物の頭部と顔
との境界に相当する所定の円曲度の凹部と、が含まれて
いることが一般的である。このため、人物の頭部に対し
ては、頭部の輪郭を表す特有の形状パターンとして、例
えば所定範囲内の円曲度の凸部と所定範囲内の円曲度の
凹部とを用いることができる。そして、前述の形状パタ
ーンを第1の形状パターンとし、原画像中に前述の形状
パターンを検出した場合には、人物の顔に相当すると推
定される領域を、例えば以下のようにして抽出すること
ができる。
【0015】すなわち、人物の顔は、頭部に対し下方側
(前述の形状パターンの凹部側)に隣接した位置に存在
し、かつその大きさが頭部の大きさに略比例し、更に向
きが頭部の向きに一致する。また、人物の顔の輪郭は略
楕円形状であることが一般的である。従って、原画像中
に前述の形状パターンが検出された場合には、検出され
た形状パターンの大きさ、向きに応じた大きさ、向き
で、かつ人物の顔と頭部との位置関係に応じた位置(検
出した形状パターンの凹部側に隣接した位置)に楕円形
状の領域を設定し、該領域を人物の顔に相当すると推定
される領域として設定することができる。
【0016】このように、請求項1の発明に係る抽出処
理では、原画像から検出した人物の第1の部分に特有の
第1の形状パターンの大きさ、向き、及び人物の顔と第
1の部分との位置関係に応じて人物の顔に相当すると推
定される領域を設定するので、人物の顔に相当する領域
及びその周辺の領域の色等の影響を受けることなく、人
物の顔に相当すると推定される領域を適正に設定するこ
とができる。また、逆に原画像に人物の顔に相当する領
域でないものの、顔領域に似た輪郭の肌色領域が含まれ
ていたとしても、これを人物の顔に相当する領域と誤判
定することを防止できる。
【0017】また、上記のようにして第1の形状パター
ンを用いて設定した領域が人物の顔に対応する領域と一
致していれば、前記設定した領域の近傍に、人物の第1
の部分と異なる他の部分に特有の形状パターンが存在す
る可能性が高い。このため請求項1記載の発明では、人
物の顔に相当すると推定される領域を設定した後に、人
物の第1の部分と異なる少なくとも1つの第2の部分に
特有の第2の形状パターンが、原画像中の前記設定した
領域の大きさ、向き及び人物の顔と前記第2の部分との
位置関係に応じて設定した探索範囲内に存在するかを探
索することにより、原画像中の人物の顔に相当する領域
である確度が高い領域を判断する。
【0018】なお、第2の形状パターンも、複数であっ
ても単数であってもよく、請求項2にも記載したよう
に、人物の頭部の輪郭を表す形状パターン、人物の顔の
輪郭を表す形状パターン、人物の顔の内部構造を表す形
状パターン、及び人物の胴体の輪郭を表す形状パターン
の少なくとも何れかを用いることができる。
【0019】上記により、原画像中の前記設定した領域
の大きさ、向き及び人物の顔と第2の部分との位置関係
に応じて設定した探索範囲内に第2の形状パターンが検
出された場合には、前記設定した領域が人物の顔に相当
する領域である確度が高いと判断できる。このように、
第1の形状パターンを用いて設定した人物の顔に相当す
ると推定される領域に対し、該領域に対応する探索範囲
内に第2の形状パターンが存在するかを探索するので、
原画像中の非人物領域で第1の形状パターンが偶然検出
されたとしても、該偶然検出された形状パターンに基づ
いて求めた領域を人物の顔に相当する領域として誤判断
することが防止される。また、第1の形状パターンによ
り人物の顔に相当すると推定される領域が複数設定され
た場合にも、第2の形状パターンにより、人物の顔に相
当する確度が最も高い領域を判断できる。
【0020】本発明は、このようにして判断された領域
の色又は濃度の少なくとも一方を表すデータに基づいて
露光量を決定するので、人物の顔に相当する領域を適正
に焼付けできるように露光量を決定することができる。
また、第2の形状パターンについては、人物の顔に相当
すると推定される領域として設定した領域の大きさ、向
き及び人物の顔と第2の部分との位置関係に応じて設定
した探索範囲内でのみ探索を行うので、各形状パターン
に対し画像全体を対象として探索を行う場合と比較し
て、処理時間を短縮することができ、人物の顔に相当す
る領域である確度の高い領域を高速で抽出することがで
きる。
【0021】なお形状パターンの探索は、例えば請求項
3に記載したように、原画像を濃度又は色が同一又は近
似している複数の画素で構成される複数の領域に分割
し、該複数の領域の各々の輪郭を用いて行うことができ
る。画像を上記のように複数の領域に分割すると、輪郭
に、例えば人物と背景との境界等のように人物の各部に
特有の形状パターンが含まれている確率の高い複数の領
域が得られる。従って、この複数の領域の輪郭から人物
の各部に特有の形状パターンを効率良く検出することが
できる。
【0022】原画像の分割は、例えば特開平4-346332号
のように、原画像の各画素毎の3色の測光データに基づ
いて色相値についての1次元ヒストグラム、又は色相値
及び彩度値についての2次元ヒストグラムを求め、求め
たヒストグラムを山毎に分割し、各画素が分割した山の
何れに属するかを判断して各画素を分割した山に対応す
る群に分け、各群毎に原画像を複数の領域に分割するこ
とができる。また、原画像を構成する各画素のうち隣接
する画素との濃度差或いは色差の大きな画素を領域の境
界とすることにより原画像を複数の領域に分割するよう
にしてもよい。また、2値化を行うことにより原画像を
複数の領域に分割したり、該2値化を各々値の異なる複
数のしきい値を用いて複数回行って分割するようにして
もよく、更に上記の組み合わせにより複数の領域に分割
するようにしてもよい。
【0023】本発明では、上記のようにして分割した領
域を各形状パターンを検出するために用い、人物の顔に
相当すると推定される領域の設定は、先にも説明したよ
うに原画像から検出した第1の形状パターンの大きさ、
向き等に応じて行う。従って、複数の領域の輪郭から複
数の形状パターンのうちの一部を検出できなかったとし
ても、人物の顔に相当すると推定される領域を設定でき
ると共に、従来のように、分割した複数の領域の何れか
が人物の顔に相当する領域と一致している必要はない。
【0024】また、形状パターンの探索は、請求項4に
記載したように、原画像中に存在するエッジを検出し、
検出したエッジの中心線を求め、求めた中心線を用いて
行うようにしてもよい。なお、エッジの検出は、例えば
各画素に対し濃度又は色について微分等を行うことによ
り検出することができ、エッジの中心線は、例えば周知
の細線化や尾根検出等の処理により求めることができ
る。画像中に存在するエッジについても、人物の各部に
特有の形状パターンが含まれている確率が高いので、請
求項3の発明と同様に、人物の各部に特有の形状パター
ンを効率良く検出することができる。
【0025】ところで、画像中には人物に相当する領域
である確率が低いと判断できる特徴を備えた領域が存在
していることがある。例えば、輪郭に含まれる直線部分
の比率が所定値以上の領域については、人工物を表して
いる領域である確率が高い。また人体は、人体の左右を
分割する仮想線に関して略線対称であるが、対称度が所
定値以下の領域は人物に相当する領域である確率は低
い。また、凹凸数が所定値以上の領域についても人物に
相当する領域である確率は低いと判断できる。また、人
物は一般に画像の略中央部に位置している確率が高いこ
とから、画像外縁との接触率が所定値以上の領域につい
ても、画像の周縁部に位置していると判断でき、人物に
相当する領域である確率は低い。
【0026】また、領域内の濃度のコントラストが所定
値以下の場合には、表面が平滑、或いは凹凸の少ない物
体を表している領域である可能性が高く、人物の、特に
顔に相当する領域である確率は低い。更に、領域内の濃
度が所定のパターンで変化していたり、領域内の濃度が
所定の変化パターンを繰り返している場合にも、人物に
相当する領域である確率は低いと判断できる。このよう
に、人物の何れの部分にも相当しない確度の高い領域
を、人物の顔に相当する確度の低い領域とし、請求項5
にも記載したように、第1の形状パターンの探索に先立
ち、原画像中の人物に相当する確度の低い領域を第1の
形状パターンの探索対象から除外すれば、第1の形状パ
ターンの探索処理に要する時間が短縮され、更に高速に
処理を行うことができる。
【0027】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。図1には本発明を適用可能な写真焼付装置
10が示されている。写真焼付装置10はネガフィルム
12を搬送する搬送ローラ14を備えている。ネガフィ
ルム12の搬送路の下方には、光源16、調光フィルタ
等の色補正フィルタ18、拡散ボックス20が順に配列
されている。また、ネガフィルム12の搬送路の上方に
は、ネガフィルム12を透過した光を2方向に分配する
分配用プリズム22が配置されている。
【0028】分配用プリズム22によって2方向に分配
された光の一方の光路上には、投影光学系24、ブラッ
クシャッタ26、及び複写材料としてのカラーペーパ
(印画紙)28が順に配置されており、他方の光路上に
は投影光学系30、CCDイメージセンサ32が順に配
置されている。CCDイメージセンサ32はネガフィル
ム12に記録された画像(1コマ)全体を多数の画素
(例えば256×256画素)に分割し、各画素をR
(赤)、G(緑)、B(青)の3色に分解して測光す
る。
【0029】CCDイメージセンサ32の信号出力端に
は、CCDイメージセンサ32から出力された信号を増
幅する増幅器34、アナログ−デジタル(A/D)変換
器36、CCDイメージセンサ32の感度補正用の3×
3マトリクス回路38が順に接続されている。3×3マ
トリクス回路38は、マイクロプロセッシングユニット
(MPU)で構成され、ROMに後述する顔領域抽出処
理を実現するプログラムが予め記憶された顔領域抽出部
40、及び画像全体の平均濃度を演算する平均濃度演算
部42に各々接続されている。また、顔領域抽出部40
及び平均濃度演算部42は露光量演算部44に接続され
ている。露光量演算部44は、色補正フィルタ18を駆
動するドライバ46を介して色補正フィルタ18に接続
されている。
【0030】次に本実施例の作用を説明する。光源16
から照射された光は、色補正フィルタ18、拡散ボック
ス20及びネガフィルム12を透過し、分配用プリズム
22によって分配され、投影光学系30を介してCCD
イメージセンサ32に入射される。なお、このときブラ
ックシャッタ26は閉じられている。CCDイメージセ
ンサ32では、入射された光により、1画面全体を多数
の画素に分割し各画素をR、G、Bの3色に分解して測
光し、測光データ信号を出力する。測光データ信号は増
幅器34で増幅され、A/D変換器36でデジタル信号
に変換された後に、更に3×3マトリクス回路38でC
CDイメージセンサ32の感度補正が行われて、顔領域
抽出部40及び平均濃度演算部42に画像データとして
各々入力される。
【0031】平均濃度演算部42では、1画面全体の平
均濃度を演算する。顔領域抽出部40では、後に詳述す
るようにして1画面中の人物の顔に相当する部分を推定
し、該部分のR、G、B3色の測光データを出力する。
露光量演算部44は人物領域演算部40から出力された
3色の測光データと、平均濃度演算部42から出力され
た平均濃度とを用いて露光量を演算し、演算した露光量
でネガフィルム12の画像がカラーペーパ28に焼付け
されるように、ドライバ46を介して色補正フィルタ1
8を移動させると共に、ブラックシャッタ26を開閉し
て画像の焼付けを行う。
【0032】なお、平均濃度演算部42で演算される画
面全体の平均濃度は、露光量演算部44による露光量演
算において必須の情報ではなく、平均濃度演算部42を
省略し、露光量演算部44では顔領域抽出部40から出
力された3色の測光データのみを用いて露光量を演算す
るようにしてもよい。
【0033】次に図2のフローチャートを参照し、顔領
域抽出部40の図示しないCPUで実行される顔領域抽
出処理を説明する。ステップ100では3×3マトリク
ス回路38からの画像データの取込みを行う。
【0034】ステップ102では、原画像を複数の領域
に分割する方法の一例として、画像データを所定のしき
い値で2値化する。以下、ポジ画像の例で説明する。こ
の2値化により、原画像は、しきい値よりも高い濃度の
画素で各々構成される領域(以下、この領域を「黒領
域」と称する)と、しきい値以下の濃度の画素で各々構
成される領域(以下、この領域を「白領域」と称する)
とに分割される。これにより、一例として図8(A)に
示す原画像では、図8(B)に示すように原画像中の人
物の頭髪部に相当する黒領域50を含む多数の黒領域が
抽出されることになる。更にステップ102では、分割
された複数の黒領域及び白領域の各々を識別するため
に、各領域に対してナンバリングを行う。
【0035】ステップ104では非人物領域判定処理を
行う。この非人物領域判定処理について図3のフローチ
ャートを参照して説明する。ステップ130では、図2
のフローチャートのステップ102で2値化によって抽
出された黒領域及び白領域の各々に対し、輪郭の直線部
分を各々検出し、ステップ132では、輪郭に占める直
線部分の比率を各領域毎に演算する。ステップ134で
は前記比率が所定値以上の領域が有るか否か判定する。
輪郭に占める直線部分の比率が所定値以上の領域は、人
工物を表している領域である確率が高く、人物に相当す
る領域である確率は低いと判断できる。このため、ステ
ップ134の判定が肯定された場合には、ステップ13
6で直線部分の比率が所定値以上の領域を、後述する人
物の頭部の輪郭を表す領域の判定対象から除外し(これ
により、該領域が第1の形状パターンの探索対象から除
外される)、ステップ138へ移行する。
【0036】ステップ138では、各領域に対し、各領
域における画像左右方向中心部付近に、画像の上下方向
に沿って延びる線対称軸を設定し、ステップ140では
上記で設定した線対称軸に関する線対称性類似度を各領
域毎に演算する。なお、線対称性類似度の演算方法につ
いては後述する。ステップ142では線対称性類似度が
所定値以下の領域が有るか否か判定する。一般に人体
は、人体の左右を分割する仮想線に関して略線対称であ
り、線対称性類似度が所定値以下の領域は人物に相当す
る領域である確率は低いと判断できる。このため、ステ
ップ142の判定が肯定された場合には、ステップ14
4で線対称性類似度が所定値以下の領域を人物の頭部の
輪郭を表す領域の判定対象から除外し、ステップ146
へ移行する。
【0037】ステップ146では輪郭に占める画像外縁
との接触率を各領域毎に演算し、ステップ148では接
触率が所定値以上の領域が有るか否か判定する。前記接
触率が所定値以上の領域は画像の周縁部に位置している
と判断できるが、一般に人物は画像の略中央部に位置し
ている確率が高いので、接触率が所定値以上の領域が人
物に相当する領域である確率は低いと判断できる。この
ため、ステップ148の判定が肯定された場合には、ス
テップ150で画像外縁との接触率が所定値以上の領域
を人物の頭部の輪郭を表す領域の判定対象から除外し、
ステップ152へ移行する。
【0038】ステップ152では各領域の内部の濃度の
コントラスト(最大濃度値と最小濃度値との差)を演算
し、ステップ154で濃度コントラストが所定値以下の
領域が有るか否か判定する。領域内の濃度のコントラス
トが所定値以下の場合には、表面が平滑、或いは凹凸の
少ない物体を表している領域である可能性が高く、人物
に相当する領域である確率は低い。このため、ステップ
154の判定が肯定された場合には、ステップ156で
内部の濃度コントラストが所定値以下の領域を人物の頭
部の輪郭を表す領域の判定対象から除外し、ステップ1
58へ移行する。
【0039】ステップ158では、各領域の各画素毎の
濃度値を各々異なる複数の方向(例えば画像の左右方
向、上下方向、及び左右方向に対して±45°傾斜した方
向)に沿って微分し、ステップ160で複数の方向に沿
った微分値の少なくとも何れかが規則的に変化している
領域が有るか否か判定する。上記判定は、濃度が所定の
パターンで変化している領域や、濃度が所定の変化パタ
ーンを繰り返している領域に対して肯定される。このよ
うな領域は人物に相当する領域である確率は低いと判断
できるので、ステップ160の判定が肯定された場合に
は、ステップ162で微分値が規則的に変化している領
域を人物の頭部の輪郭を表す領域の判定対象から除外す
る。以上で非人物領域判定処理を終了し、図2のフロー
チャートのステップ106へ移行する。
【0040】次のステップ106では頭部抽出による顔
候補領域設定処理を行う。この処理は、人物の第1の部
分としての頭部に特有の形状パターン(第1の形状パタ
ーン)として、人物の頭部の輪郭を表す形状パターンを
探索し顔候補領域を設定するものであり、以下、図4の
フローチャートを参照して説明する。
【0041】ステップ172では先に説明した2値化に
よって抽出された複数の黒領域のうち、先に説明した非
人物領域除外処理によって除外されていない黒領域の1
つを取り出す。ステップ174では取り出した黒領域の
輪郭をトレースし、輪郭の曲率を演算する。例えば図8
(A)に示す原画像に対して2値化を行うことによって
黒領域が多数抽出され、このうち図8(B)に示すよう
な黒領域50を取り出したとすると、輪郭のトレースは
図8(B)に示すように時計回りに行うことができる。
また曲率の演算は、図8(C)に示すように、所定長さ
で前記トレース方向に略沿った向きでかつ始点及び終点
が黒領域の輪郭に接しているベクトルを順に設定し(図
8(C)ではベクトルP1P0とベクトルP0P2)、
隣合うベクトルの内積により、曲率としてのθを演算す
ることができる。また、θの向き(符号の正負)はベク
トルの外積より求めることができる。
【0042】このとき、トレースの進行方向に対し、黒
領域の輪郭が右にカーブしているときには負の値、左に
カーブしているときには正の値となるように、角度演算
式を設定するものとする。例えば図8(C)には黒領域
の輪郭のうち、トレースの進行方向に対して右にカーブ
している部分を示しており、θは負の値となる。
【0043】なお、ベクトルの長さは固定としてもよい
し、黒領域の輪郭の周囲長に応じて変更するようにして
もよい。また、曲率の演算を複数回行うと共に、各回に
おいて長さを段階的に変更するようにしてもよい。
【0044】次のステップ176では、上記で演算され
た黒領域の輪郭の曲率に基づいて、人物の頭部の輪郭を
表す形状パターンとして、輪郭に、人物の頭部と顔との
境界に相当すると推定される凹部、及び人物の頭頂部に
相当すると推定される凸部を備えた黒領域を抽出する。
この凹部及び凸部は、トレース方向と先に求めたθの向
き(符号の正負)に基づいて判断することができる。す
なわち、θの符号が反転している箇所が凹部と凸部との
境界であり、時計回りにトレースしたときにθの符号が
正であれば凹部、負であれば凸部であると判断できる。
これにより、一例として図8(D)に示すように、黒領
域の輪郭における凹部及び凸部を抽出できる。
【0045】ステップ178では上記で抽出した凹部及
び凸部に対し、各々の特徴量を演算する。本実施例では
凹部及び凸部の特徴量として、以下のように演算した円
曲度を用いる。すなわち、図9(A)に示すように、凹
部又は凸部を構成する曲線の長さをL、凹部又は凸部の
両端点Q1、Q2間の距離をM、両端点Q1、Q2を結
ぶ直線に対する凹部又は凸部の高さをhとし、円曲度と
してL÷M及びh÷Mを演算する。また、凹部及び凸部
の開いた方向へ向かうベクトルとして、方向ベクトルV
を求める。
【0046】ステップ180では上記で演算した特徴量
を用いて、黒領域を人物の頭部(頭髪部)と判断できる
か、すなわち人物の頭部である確度が高いか否か判定す
る。この判定は、黒領域の輪郭から各々所定値以上の輪
郭の凹部及び凸部が各々抽出され、黒領域の輪郭の周囲
長に対する凹部及び凸部の長さの比率が各々所定範囲内
にあり、更に位置及び方向より人物の頭部として整合性
評価が高い場合に肯定される。この整合性評価は、一例
として次のように行うことができる。まず凹部、凸部の
単位での整合性を以下の手順で評価する。
【0047】 凹部又は凸部の曲線上の任意の3点
(例えば両端点と曲線の中央の点、但し同一直線上にな
い3点)を選択し、選択した3点を各々通る円を仮定
し、該円の中心点を求める。
【0048】 凹部又は凸部の曲線を構成する全画素
と、前記円の中心点と、の距離を各々求め、距離のばら
つきが所定値以下の曲線を整合性があると評価する。な
お、ばらつきが所定値よりも大きい場合には評価対象か
ら除外するか、曲率が大きくなっている部分で前記曲線
を更に分割して再度処理を行う。
【0049】次に凹部と凸部とを含めての整合性を以下
のように評価する。 凹部及び凸部の各曲線毎に求めた前記円の中心点の
重心を用い、総合的な中心点及び総合的な中心エリア
(各曲線の長さの平均に応じて定めた半径の円形のエリ
ア、図9(B)に破線で示すエリア)を設定する。そし
て各曲線毎に求めた前記中心点が総合的な中心エリア内
に収まっているか、又は各曲線の中心軸(方向ベクトル
V又はその延長線)が前記中心エリア内に収束している
場合に、人物の頭部としての整合性が高いと評価する。
【0050】また、上記の評価に代えて、先のと同
様にして、凹部及び凸部の曲線を構成する全画素と、前
記円の中心点と、の距離のばらつきが各々所定値以下の
場合に、人物の頭部としての整合性が高いと評価する。
【0051】そして、ステップ180の判定が肯定され
た場合には、人物の頭髪部と顔との境界部分では、頭髪
部が凹の形状となっている人物が殆どであることから、
ステップ182において、黒領域の輪郭の凹部の大き
さ、及びその中心位置を基準とし、凹部に内接する楕円
形状の領域を顔候補領域(人物の顔に相当すると推定さ
れる領域)として設定する。ステップ182を実行した
後はステップ186に移行する。また、ステップ180
の判定が否定された場合には、何ら処理を行うことなく
ステップ186へ移行する。
【0052】ステップ186では、2値化によって抽出
された全ての黒領域について上記処理を行ったか否か判
定する。ステップ186の判定が否定された場合にはス
テップ172に戻り、ステップ172〜186を繰り返
す。ステップ186の判定が肯定されると頭部抽出によ
る顔候補領域設定処理を終了し、図2のフローチャート
のステップ108に移行する。
【0053】ステップ108では顔輪郭による整合性判
定処理を行う。この処理は、人物の第2の部分としての
顔に特有の形状パターン(第2の形状パターン)とし
て、人物の顔の輪郭を表す形状パターンを探索し、人物
の顔に相当する領域である確度が高い顔候補領域を判断
するものであり、以下、図5のフローチャートを参照し
て説明する。
【0054】ステップ190では、先に説明した頭部抽
出による顔候補領域設定処理によって設定された顔候補
領域の1つを取り出す。次のステップ192では前記取
り出した顔候補領域の大きさ、向き及び人物の顔と第2
の部分(顔の輪郭)との位置関係に応じて、顔の輪郭を
表す形状パターンを探索する探索範囲を設定する。一例
として、取り出した顔候補領域が図10(A)に破線で
囲んだ範囲であった場合には、この顔候補領域に対し顔
の輪郭(ここでは顔の側部の輪郭)を表す形状パターン
が存在すると推定される、図10(A)にハッチングで
示す範囲を探索範囲として設定する。
【0055】次のステップ194では、2値化によって
抽出された多数の領域(黒領域及び白領域)のうち前記
探索範囲内に存在する領域に対し、先に説明した図4の
フローチャートのステップ174、176と同様にし
て、各領域の輪郭をトレースし、輪郭の曲率を演算して
凹部及び凸部を抽出する。これにより、例えば図8
(A)に示す原画像については、図10(A)に示す探
索範囲内に存在する凹部及び凸部として、図10(B)
に、として示す凹部、凸部を含む、多数の凹部及び
凸部が抽出されることになる。
【0056】なお、凹部及び凸部を抽出した後に、凹部
又は凸部として抽出した曲線のうち長さの長い曲線に優
先的に着目し、曲率(角度θ)が所定範囲内に収まるよ
うに、或いは円曲度が所定値以下となるように、或いは
曲線の法線方向の角度の大まかな分類により、前記曲線
を更に分割するようにしてもよい。例えば図10(C)
において曲線と曲線が何れも探索範囲内にあり、か
つこれらが連続した曲線として抽出された場合、これら
の円曲度が大であることから2本の曲線に分割する。な
お、以下では上記のようにして抽出された各領域の輪郭
を分割して得られた曲線を総称して「ライン」という。
【0057】ステップ196では、人物の顔の輪郭を表
す形状パターンとして、ステップ194で抽出された多
数の凹部、凸部(ライン)の中から、人物の顔の側部に
対応すると推定されるラインの対、すなわち顔輪郭の候
補となり得るラインの対を全て抽出する。具体的には、
上記で抽出されたラインのうち、互いの方向ベクトルV
が向きあっており、互いの方向ベクトルV(又はその延
長線)の交差角度の大きさが所定値以内であり、かつ長
さ及び円曲度の類似度が所定値以上のラインの対を、顔
輪郭の候補となり得るラインの対として全て抽出する。
例えば、図10に示す例では、ステップ194で抽出さ
れた多数のラインの中から、顔輪郭の候補となり得るラ
イン対としてラインとラインの対、等が抽出され
る。なお、V2、V4は各ラインの方向ベクトルであ
る。
【0058】次のステップ198では、顔輪郭の候補と
なり得るラインの対があったか否か判定する。探索範囲
内に上述した条件に沿ったラインが探索範囲内から抽出
された場合には、ステップ198の判定が肯定され、ス
テップ200へ移行する。
【0059】ステップ200では、ステップ196で抽
出された全てのライン対に対し、図10(D)に示すよ
うにライン対の間に線対称軸を設定し、次のステップ2
02でライン対の線対称性類似度を各ライン対毎に判定
する。この線対称性類似度の判定は、まず図10(D)
に示すように、線対称軸に平行な方向に沿った両ライン
の長さをv、線対称軸に直交する方向に沿った両ライン
の間隔をhとし、縦横比v/hが人物の顔の縦横比に対
応する所定範囲内の値であるか判定する。次に図11
(A)に示すように、各ラインにマッチング用拡張エリ
アを設定し(ラインを中心に膨張させる処理等)、ライ
ン対の一方に対し、線対称軸に関して対称な曲線エリア
パターンを求め(図ではラインと対称なライン
’)、求めた曲線エリアパターンと他方のライン拡張
エリアパターンとの類似度を判定する。
【0060】類似度の判定方法としては、例えば、マッ
チングを行うエリアパターン同士の対応する位置に存在
する画素データ間の差分絶対値又は差分2乗値の累積値
を演算し、この累積値が小であるほどエリア間類似度を
大と判定することができる。また各画素のデータとして
は、画像データそのもの、2値化データ、画像データを
微分することにより得られたデータ等を用いることがで
きる。
【0061】更に、次のステップ204では、各ライン
対を人物の顔の両側部に対応するラインであると仮定し
たときに、頭部との境界に対応する位置に、方向ベクト
ルが垂直に近いラインが存在しているか探索する。例え
ば先に説明したラインとラインの対に対しては、頭
部との境界に対応する位置として図11(B)に示す範
囲52Aを探索し、この範囲52A内に存在する方向ベ
クトルが垂直に近いラインとしてラインが抽出される
ことになる。
【0062】次のステップ206では前述の線対称性類
似度の判定結果、及び頭部との境界に対応するラインの
有無に基づいて、各ライン対が人物の顔の輪郭を表すラ
イン対である確度を判定し、ステップ196で抽出した
各ライン対のうち顔の輪郭に対応するライン対と判断で
きるライン対が有るか否か判定する。ステップ206の
判定が否定された場合には、ステップ208へ移行す
る。また、ステップ206の判定が肯定された場合に
は、人物の顔の輪郭を表すライン対である確度が最も高
いと判定されたライン対を人物の顔の両側部に対応する
ラインであるとみなし、次のステップ207で、ステッ
プ190で取り出した顔候補領域に対し符号が正の重み
係数を付与する。
【0063】この重み係数は、人物の顔の輪郭を表すラ
イン対である確度が最も高いと判定されたライン対に基
づき、そのライン対の線対称性類似度が高くなるに従っ
て値が高くなり、そのライン対について頭部との境界に
対応するラインが抽出された場合に値が高くなるように
設定することができる。ステップ207の処理を実行す
るとステップ209に移行する。一方、ステップ198
或いはステップ206の判定が否定された場合には、ス
テップ190で取り出した顔候補領域に対し、人物の顔
の輪郭を表すライン対である確度が高いライン対が検出
されなかった場合であるので、ステップ208で前記顔
候補領域に対して符号が負の重み係数を付与し、ステッ
プ209へ移行する。
【0064】ステップ209では、全ての顔候補領域に
対して上記処理を行ったか否か判定する。先に説明した
頭部抽出による顔候補領域設定処理により、顔候補領域
が複数設定されていればステップ209の判定が否定さ
れ、ステップ190の判定が肯定される迄ステップ19
0〜209を繰り返し、全ての顔候補領域に対し、人物
の顔の輪郭を表すライン対である確度が高いライン対の
検出の有無に応じて、符号が正又は負の重み係数を付与
する。この重み係数が、顔候補領域に対する、人物の顔
に相当する領域としての整合性(すなわち確度)に相当
する。ステップ209の判定が肯定されると、顔輪郭に
よる整合性判定処理を終了し、図2のフローチャートの
ステップ110に移行する。
【0065】ステップ110では顔内部構造による整合
性判定処理を行う。この処理は、人物の第2の部分とし
ての顔の内部構造に特有の形状パターン(第2の形状パ
ターン)として、人物の顔の内部に存在する眼部対を表
す形状パターンを探索し、人物の顔に相当する領域であ
る確度が高い顔候補領域を判断するものであり、以下、
図6のフローチャートを参照して説明する。ステップ2
10では顔候補領域の1つを取り出す。次のステップ2
12では眼部対を表す形状パターンの探索範囲を設定す
るが、眼部対は顔の内部に存在しているので、前記取り
出した顔候補領域と一致するように探索範囲を設定す
る。ステップ214では2値化によって抽出された多数
の黒領域のうち、探索範囲内に存在する眼部の候補とな
り得る黒領域、すなわち図12(A)に示すように、長
手方向(長軸方向)と幅方向(短軸方向)の寸法比(長
軸短軸比)が所定範囲内の楕円形状の黒領域を全て抽出
する。ステップ216では、ステップ214で抽出され
た黒領域のうち、眼部対の候補となり得る黒領域対を全
て抽出する。具体的には、ステップ214で抽出した黒
領域の各々の1次慣性モーメントに基づいて長軸方向の
角度を求め、長軸方向の角度の差異が所定範囲内の黒領
域の対を全て抽出する。
【0066】次のステップ218では、上記抽出処理に
より眼部対の候補となり得る黒領域の対が有ったか否か
判定する。ステップ218の判定が肯定された場合には
ステップ220へ移行し、ステップ216で抽出された
全ての黒領域対に対し、図12(B)に示すように、双
方の黒領域の重心を結ぶ線に垂直な線対称軸を各々設定
し、各黒領域を中心にマッチング用拡張エリアを設定
し、ステップ222で黒領域対の線対称性類似度を判定
する。次のステップ224では、各黒領域対の線対称性
類似度の判定結果に基づいて、各黒領域対が眼部対を表
す黒領域対である確度を判定し、ステップ216で抽出
した黒領域対のうち眼部対に対応する黒領域対と判断で
きる黒領域対が有るか否か判定する。
【0067】ステップ224の判定が否定された場合に
はステップ227へ移行する。またステップ224の判
定が肯定された場合には、人物の眼部対を表す黒領域対
である確度が最も高いと判定された黒領域対を人物の眼
部対に対応する黒領域対であるとみなし、次のステップ
226で、ステップ210で取り出した顔候補領域に対
し符号が正の重み係数を付与する。この重み係数は、人
物の眼部対を表す黒領域対である確度が最も高いと判定
された黒領域対に基づき、該黒領域対の線対称性類似度
が高くなるに従って値が高くなるように設定することが
できる。ステップ226の処理を実行するとステップ2
28に移行する。
【0068】一方、ステップ218又はステップ224
の判定が否定された場合には、ステップ210で取り出
した顔候補領域に対し人物の眼部対を表す黒領域対であ
る確度が高い黒領域対が検出されなかった場合であるの
で、ステップ227で前記顔候補領域に対して符号が負
の重み係数を付与し、ステップ228へ移行する。
【0069】ステップ228では、全ての顔候補領域に
対して上記処理を行ったか否か判定する。顔候補領域が
複数設定されていればステップ228の判定が否定さ
れ、ステップ228の判定が肯定される迄ステップ21
0〜228を繰り返し、全ての顔候補領域に対し、人物
の眼部対を表す黒領域対である確度が高い黒領域対の検
出の有無に応じて、符号が正又は負の重み係数を付与す
る。この重み係数が、各顔候補領域に対する、人物の顔
に相当する領域としての整合性(すなわち確度)に相当
する。ステップ228の判定が肯定されると、顔内部構
造による整合性判定処理を終了し、図2のフローチャー
トのステップ112に移行する。
【0070】ステップ112では胴体輪郭による整合性
判定処理を行う。この処理は、人物の第2の部分として
の胴体に特有の形状パターン(第2の形状パターン)と
して、人物の胴体の輪郭(より詳しくは、人物の首から
肩、肩から腕部分又は胴体下部にかけて連続する輪郭)
を表す形状パターンを探索し、人物の顔に相当する領域
である確度が高い顔候補領域を判断するものであり、以
下、図7のフローチャートを参照して説明する。
【0071】ステップ230では顔候補領域の1つを取
り出し、ステップ232では前記取り出した顔候補領域
の大きさ、向き及び人物の顔と第2の部分(胴体の輪
郭)との位置関係に応じて、胴体輪郭を表す形状パター
ンの探索範囲を設定する。一例として、取り出した顔候
補領域が図13(A)に破線で囲んだ範囲であった場合
には、この顔候補領域に対し胴体の輪郭(人物の首から
肩、肩から腕部分又は胴体下部にかけて連続する輪郭)
を表す形状パターンが存在すると推定される、図13
(A)にハッチングで示す範囲を探索範囲として設定す
る。
【0072】次のステップ234では、2値化によって
抽出された多数の領域のうち前記探索範囲内に存在する
領域に対し、図4のフローチャートのステップ174、
176と同様にして、各領域の輪郭をトレースし、輪郭
の曲率を演算して凹部及び凸部(ライン)を抽出する。
これにより、例えば図8(A)に示す原画像について
は、図13(A)に示す探索範囲内に存在するラインと
して、図13(B)に〜として示すラインを含む、
多数のラインが抽出されることになる。
【0073】ステップ236では、胴体輪郭の片側候補
となり得るラインの組を全て抽出する。具体的には、双
方のラインの端点の距離が近く、かつ双方のラインの交
差する角度が所定範囲内のラインの対を探索し、上記条
件に合致するラインの組を胴体輪郭の片側候補となり得
るラインの組として全て抽出する。例えば図13(B)
に示すようなラインが抽出されていた場合、図13
(C)に示すように、交差する角度が各々所定範囲内
(θ1及びθ2)のラインとの組、ラインとの
組が各々抽出されることになる。また抽出したラインの
組に対しては、双方のラインを延長して連結し、胴体輪
郭の片側候補を生成する。
【0074】ステップ238では、胴体輪郭の片側候補
となり得るラインの組が抽出されたか否か判定する。ス
テップ238の判定が肯定された場合にはステップ24
0へ移行し、上記で生成した胴体輪郭の片側候補に対
し、双方の胴体輪郭の片側候補の凹部が互いに向き合っ
ている対を探索し、上記条件に合致する片側候補の対を
胴体輪郭候補になり得る胴体輪郭の片側候補の対として
全て抽出する。ステップ242では胴体輪郭の候補とな
り得る片側候補の対が有ったか否か判定する。
【0075】ステップ242の判定が肯定された場合に
はステップ244へ移行し、ステップ240で抽出され
た全ての胴体輪郭の片側候補の対(胴体輪郭候補)に対
し、図13(C)に示すように線対称軸を各々設定し、
次のステップ246で胴体輪郭候補の線対称性類似度を
判定する。また、人物の首から肩にかけての輪郭に相当
すると推定されるライン(例えば図13(B)のライン
、)について、線対称軸となす角度(例えば図13
(B)のラインの場合のψ1)が所定範囲内か否か判
定する。
【0076】ステップ248では線対称性類似度の判定
結果に基づいて、各胴体輪郭候補が人物の胴体の輪郭を
表すライン対である確度を判定し、ステップ240で抽
出した各胴体輪郭候補のうち、胴体の輪郭に対応するラ
イン対と判断できる胴体輪郭候補が有るか否か判定す
る。ステップ248の判定が肯定された場合には、人物
の胴体の輪郭を表すライン対である確度が最も高いと判
定された胴体輪郭候補を人物の胴体の輪郭に対応するラ
インであるとみなし、次のステップ250で、ステップ
230で取り出した顔候補領域に対し符号が正の重み係
数を付与する。この重み係数は、人物の胴体の輪郭を表
すライン対である確度が最も高いと判定されたライン対
(胴体輪郭候補)に基づき、その胴体輪郭候補の線対称
性類似度が高くなるに従って値が高くなように設定する
ことができる。ステップ250の処理を実行するとステ
ップ254に移行する。
【0077】一方、ステップ238或いはステップ24
2或いはステップ248の判定が否定された場合には、
ステップ230で取り出した顔候補領域に対し、人物の
胴体の輪郭を表すライン対である確度が高いライン対が
検出されなかった場合であるので、ステップ252で前
記顔候補領域に対して符号が負の重み係数を付与し、ス
テップ254へ移行する。
【0078】ステップ254では、全ての顔候補領域に
対して上記処理を行ったか否か判定する。顔候補領域が
複数設定されていればステップ254の判定が否定さ
れ、ステップ254の判定が否定される迄ステップ23
0〜254を繰り返し、全ての顔候補領域に対し、人物
の胴体の輪郭を表すライン対である確度が高いライン対
の検出の有無に応じて、符号が正又は負の重み係数を付
与する。この重み係数が、各顔候補領域に対する、人物
の顔に相当する領域としての整合性(すなわち確度)に
相当する。ステップ254の判定が肯定されると胴体輪
郭による整合性判定処理を終了し、図2のフローチャー
トのステップ118へ移行する。
【0079】ステップ118では顔領域の総合判定を行
う。すなわち、ステップ106で設定された各顔候補領
域に対し、ステップ108〜ステップ122で各々付与
された重み係数を積算し(又は各処理で付与された複数
の重み係数を符号の正負毎に分けて乗算した後に加算
し、各顔候補領域の総合的な重み係数を演算する。そし
て、総合的な重み係数が最も高い領域を、人物の顔領域
に相当する領域である確度が最も高い領域として判定す
る。
【0080】次のステップ120では、ステップ102
〜118の処理を所定回実行したか否か判定する。ステ
ップ120の判定が否定された場合には、ステップ12
2で各種パラメータ(2値化に用いるしきい値や、輪郭
の曲率を演算するためのベクトルの長さ(図8(C)参
照)等)を変更し、ステップ102以降の処理を再度実
行する。また、ステップ122において、ステップ10
2における画像分割の粗密度を変更するために、各種制
御パラメータを変更するようにしてもよい。ステップ1
02〜118の処理を所定回実行するとステップ120
の判定が肯定され、ステップ124へ移行する。
【0081】ステップ124では所定回の処理で各々判
定された顔領域及びそれらに各々付与されている重み係
数に基づいて、最終的に人物の顔領域に相当する領域で
ある確度が最も高い領域を先のステップ118と同様に
して最終的に判定する。そして次のステップ126で判
定結果として、最終的に判定した領域のR、G、Bの測
光データを露光量演算部44へ出力し、顔領域抽出処理
を終了する。
【0082】上述した顔領域抽出処理では、人物の顔に
相当すると推定される顔候補領域を、該領域の濃度や色
に基づいて判断するものではない。従って、ネガフィル
ム12のフィルム種、光源の種類や逆光か否かの撮影条
件等に応じて前記領域の色バランスが変化したとして
も、顔領域抽出処理の結果がこの影響を受けて変化する
ことはない。また、上述した顔領域抽出処理は原画像が
モノクロ画像であっても適用可能である。更に、上述し
た顔領域抽出処理のうち、人物の各部に特有の形状パタ
ーンを検出する処理(図2のフローチャートのステップ
106〜112の処理の一部)は、基本的には各々凹部
及び凸部の抽出と、線対称性類似度の判定と、で構成さ
れる。従って、これを利用してソフトウエア、ハードウ
エアの共通化を図れば、ソフトウエアの簡素化、ハード
ウエア構成の簡素化を実現することも可能となる。
【0083】また、上記では非人物領域除外処理を行う
ことにより処理対象範囲を限定し、更に、人物の頭部の
輪郭を表す形状パターンに基づいて顔候補領域を設定し
た後は、該顔候補領域に応じて設定した探索範囲内に存
在する、顔の輪郭を表す形状パターン、顔の内部構造を
表す形状パターン、胴体の輪郭を表す形状パターンを探
索するので、各形状パターンに対し画像全体を対象とし
て探索を行う場合と比較して、処理時間を短縮すること
ができ、人物の顔に相当する領域である確度の高い領域
を高速で抽出することができる。
【0084】一方、露光量演算部44では、顔領域抽出
部40で上記のようにして抽出されたR、G、Bの測光
データと、平均濃度演算部42で演算された1コマの画
面平均濃度Di (i=R、G、Bの何れか)と、を用い
て以下の式に従って適正露光量Ei を演算し、ドライバ
46に出力する。ドライバ46は適正露光量Ei に基づ
いて、適正露光量に対応する位置に色補正フィルタ18
を移動させる。
【0085】 logEi =LMi ・CSi ・(DNi −Di )+PBi +LBi +MBi +NBi +K1 +K2 …(1) 但し、各記号の意味は次の通りである。
【0086】LM:倍率スロープ係数。ネガフィルムの
種類とプリントサイズとで定まる引き伸ばし倍率に応じ
て予め設定されている。
【0087】CS:カラースロープ係数。ネガフィルム
の種類毎に用意されており、アンダ露光用とオーバ露光
用とがある。プリントすべき画像コマの平均濃度が標準
ネガ濃度値に対してアンダかオーバかを判定してアンダ
露光用とオーバ露光用の何れかを選択する。
【0088】DN:標準ネガ濃度値。 D :プリントすべき画像コマの濃度値。
【0089】PB:標準カラーペーパに対する補正バラ
ンス値。カラーペーパの種類に応じて決定される。
【0090】LB:標準焼付レンズに対する補正バラン
ス値。焼付けに用いるレンズの種類に応じて決定され
る。
【0091】MB:光源光量の変動やペーパ現像性能の
変化に対する補正値(マスタバランス値)。
【0092】NB:ネガフィルムの特性によって定まる
ネガバランス(カラーバランス)値。
【0093】K2 :カラー補正量。 K1 :以下の式で表される濃度補正量。
【0094】
【数1】
【0095】ここで、Ka、Kbは定数であり、FDは
顔領域平均濃度である。また、上記(8)式の濃度補正
量K1 をフィルム検定装置によって求められた補正値と
し、カラー補正量K2 を次のように顔領域平均濃度を用
いて表してもよい。
【0096】
【数2】
【0097】但し、Kcは定数である。更に、上記
(1)式の濃度補正量K1 、カラー補正量K2 をフィル
ム検定装置によって求められた補正量とし、(1)式の
プリントコマの平均濃度Di を顔領域の平均濃度FDi
に置き換えて露光量を求めてもよい。
【0098】なお、上記では原画像の記録媒体としてネ
ガフィルム12を例に説明したが、ポジフィルム等の他
のフィルムや、紙等の各種記録媒体に記録された画像を
原画像として用いることが可能である。また、複写材料
としてカラーペーパを例に説明したが、紙等の他の材料
を適用してもよい。
【0099】また、上記では頭部抽出による顔候補領域
設定処理において、人物の頭部に特有の形状パターンと
して、人物の頭頂部に対応する凸部及び人物の頭部と顔
との境界に対応する凹部を用いていたが、これに限定さ
れるものではない。例えば、頭髪のない頭部、頭髪の濃
度の低い頭部を抽出するためには、2値化以外の方法に
よる領域分割、或いは画像のエッジの検出を行い、頭部
に特有の形状パターンとして凸部のみを用いて頭部を抽
出するようにしてもよい。
【0100】更に、上記では画像を複数の領域に分割す
る方法の一例として2値化を例に説明したが、これに限
定されるものではなく、特開平4-346332号公報に記載さ
れているようにヒストグラムを用いて分割してもよい。
また、画像の各画素毎の濃度値を各々異なる複数の方向
(例えば図14(A)に示すように、画像の左右方向
(0°)、上下方向(90°)、及び左右方向に対して±
45°傾斜した方向)に沿って微分することにより画像の
エッジを検出し、上記実施例で説明したラインに代え
て、このエッジに対して周知の細線化処理を行って得ら
れたエッジの中心線を用いて処理を行うようにしてもよ
い。
【0101】なお、上記各方向に沿った微分は、図14
(B)に示す4種類の微分フィルタを各々用いることで
実現でき、画像のエッジの検出は、微分フィルタ出力の
大きさが所定のしきい値よりも大きいときに、着目画素
をエッジであるとみなすことができる。また、エッジ判
定用のしきい値を段階的に変更しながらエッジ抽出処理
を繰り返し実施するようにしてもよい。
【0102】また、上記では顔の内部構造を表す形状パ
ターンとして眼部対を用いた場合を例に説明したが、こ
れに限定されるものではなく、鼻、口、眉毛の対等を用
いたり、これらを組み合わせて総合的に顔候補領域を設
定するようにしてもよい。
【0103】更に、上記では胴体輪郭を表す形状パター
ンとして、人物の首から肩、肩から腕部分又は胴体下部
にかけて連続する輪郭に相当するラインの対を抽出する
例を説明したが、これに限定されるものではなく、人物
の首から肩にかけての輪郭に相当するラインの対、及び
人物の肩から腕部分にかけての輪郭に相当するラインの
対を各々別個に検出するようにしてもよい。
【0104】また、上記では、第1の形状パターンとし
て人物の頭部の輪郭を表す形状パターンを、第2の形状
パターンとして、人物の顔の輪郭を表す形状パターン、
人物の顔の内部構造を表す形状パターン、及び人物の胴
体構造を表す形状パターンを各々用いた例を説明した
が、これに限定されるものではなく、例えば人物の頭部
の輪郭を表す形状パターンと顔の内部構造を表す形状パ
ターン等のように、第1の形状パターンとして複数の形
状パターンを用いるようにしてもよい。
【0105】以上本発明の実施例について説明したが、
上記実施例は特許請求の範囲に記載した技術的事項以外
に、以下に記載するような技術的事項の実施態様を含ん
でいる。
【0106】(1)第1の形状パターン又は第2の形状
パターンとしての人物の頭部の輪郭を表す形状パターン
の探索は、請求項3記載の発明により分割された領域の
輪郭、又は請求項4記載の発明により求められたエッジ
の中心線より凹部と凸部を検出し、検出した1つ以上の
凹部又は凸部の各々の特徴量(円曲度、位置、大きさ、
方向)に基づいて、前記凹部又は凸部が人物の頭部の輪
郭に対応しているか否かを判断することで行うことを特
徴とする露光量決定方法。
【0107】(2)第1の形状パターン又は第2の形状
パターンとしての人物の顔の輪郭を表す形状パターンの
探索は、請求項3記載の発明により分割された領域の輪
郭、又は請求項4記載の発明により求められたエッジの
中心線より凹部と凸部を検出し、検出した2つ以上の凹
部又は凸部の各々の特徴量(円曲度、位置、大きさ、方
向)の関係に基づいて、線対称の度合いにより前記2つ
以上の凹部又は凸部が人物の顔の輪郭に対応しているか
否かを判断することで行うことを特徴とする露光量決定
方法。
【0108】(3)第1の形状パターン又は第2の形状
パターンとしての、人物の顔構造を表す形状パターンの
うち眼部対を表す形状パターンの探索は、請求項3記載
の発明により分割された領域、又は請求項4記載の発明
により求められたエッジの中心線により分割される領域
のうち楕円形状の領域を抽出し、抽出された複数の楕円
領域の各々の特徴量(形状、濃度)を用いたマッチング
処理により所定値以上の類似度の楕円領域の対を検出
し、検出した楕円領域の対の線対称の度合いにより前記
楕円領域の対が人物の顔の眼部対に対応しているか否か
を判断することで行うことを特徴とする露光量決定方
法。
【0109】(4)第1の形状パターン又は第2の形状
パターンとしての人物の胴体の輪郭を表す形状パターン
の探索は、請求項3記載の発明により分割された領域の
輪郭、又は請求項4記載の発明により求められたエッジ
の中心線より凹部と凸部を検出し、検出した2つ以上の
凹部又は凸部の各々の特徴量(円曲度、位置、大きさ、
方向)の関係に基づいて、人物の首から肩にかけての輪
郭、及び肩から腕部分又は胴体下部にかけての輪郭に相
当する凹部又は凸部の組を複数検出し、更にその組同士
の線対称の度合いにより人物の胴体の輪郭に対応してい
るかを判断することで行うことを特徴とする露光量決定
方法。
【0110】(5)原画像中の人物に相当する確度の低
い領域として、請求項3記載の発明により分割された領
域、又は請求項4記載の発明により求められたエッジの
中心線により分割される領域のうち、領域の輪郭に含ま
れる直線部分の比率が所定値以上の領域、又は線対称度
が所定値以下の領域、又は凹凸数が所定値以上の領域、
又は画像外縁との接触率が所定値以上の領域、又は内部
の濃度のコントラストが所定値以下の領域、又は内部の
濃度が所定のパターンで変化している、或いは所定の変
化パターンを繰り返している領域を除外することを特徴
とする露光量決定方法。
【0111】
【発明の効果】以上説明したように請求項1記載の発明
は、原画像中に存在する、人物の第1の部分に特有の第
1の形状パターンを探索し、検出した第1の形状パター
ンの大きさ、向き及び人物の顔と前記第1の部分との位
置関係に応じて、人物の顔に相当すると推定される領域
を設定した後に、人物の少なくとも1つの第2の部分に
特有の第2の形状パターンが、原画像中の前記設定した
領域の大きさ、向き及び人物の顔と第2の部分との位置
関係に応じて設定した探索範囲内に存在するかを探索す
ることにより、原画像中の人物の顔に相当する領域であ
る確度が高い領域を判断し、判断した領域の色又は濃度
の少なくとも一方に基づいて複写材料への露光量を決定
するようにしたので、原画像中の人物の顔に相当する領
域及びその周辺の領域の色の影響を受けることなく人物
の顔に相当する領域のみを抽出し、該領域を適正に焼付
けできるように露光量を決定できる、という優れた効果
を有する。
【0112】請求項3記載の発明は、原画像を濃度又は
色が同一又は近似している複数の画素で構成される複数
の領域に分割し、該複数の領域の各々の輪郭を用いて形
状パターンを探索するので、人物の各部に特有の形状パ
ターンを効率良く検出できる、という効果を有する。
【0113】請求項4記載の発明は、原画像中に存在す
るエッジを検出し、検出したエッジの中心線を求め、求
めた中心線を用いて形状パターンを探索するので、人物
の各部に特有の形状パターンを効率良く検出できる、と
いう効果を有する。
【0114】請求項5記載の発明は、第1の形状パター
ンの探索に先立ち、原画像中の人物に相当する確度の低
い領域を第1の形状パターンの探索対象から除外するの
で、第1の形状パターンの探索処理に要する時間が短縮
され、更に高速に処理を行うことができる、という効果
を有する。
【図面の簡単な説明】
【図1】本実施例に係る写真焼付装置の概略構成図であ
る。
【図2】顔領域抽出部で実行される顔領域抽出処理のメ
インルーチンを説明するフローチャートである。
【図3】非人物領域判定処理を説明するフローチャート
である。
【図4】頭部抽出による顔候補領域設定処理を説明する
フローチャートである。
【図5】顔輪郭による整合性判定処理を説明するフロー
チャートである。
【図6】顔内部構造による整合性判定処理を説明するフ
ローチャートである。
【図7】胴体輪郭による整合性判定処理を説明するフロ
ーチャートである。
【図8】頭部抽出による顔候補領域設定処理の詳細とし
て、(A)は原画像、(B)は2値化により抽出された
黒領域の輪郭のトレース、(C)は輪郭の曲率の演算、
(D)は凹部及び凸部の抽出を各々説明するためのイメ
ージ図である。
【図9】頭部抽出による整合性判定処理の詳細として、
(A)は凹部及び凸部の特徴量の演算、(B)は頭部の
判定、(C)は顔候補領域の設定を各々説明するための
イメージ図である。
【図10】顔輪郭による整合性判定処理の詳細として、
(A)は顔輪郭の探索範囲の設定、(B)は凹部及び凸
部の抽出、(C)は顔輪郭の候補となり得るライン対の
抽出、(D)は線対称性類似度の判定を各々説明するた
めのイメージ図である。
【図11】顔輪郭による整合性判定処理の詳細として、
(A)は線対称性類似度の判定、(B)は頭部との境界
の探索を各々説明するためのイメージ図である。
【図12】顔構造による整合性判定処理の詳細として、
(A)は眼部の候補となり得る黒領域の抽出、(B)は
黒領域対の線対称類似度の判定各々説明するためのイメ
ージ図である。
【図13】胴体輪郭による整合性判定処理の詳細とし
て、(A)は胴体輪郭の探索範囲の設定、(B)は凹部
及び凸部の抽出、(C)は線対称性類似度の判定を各々
説明するためのイメージ図である。
【図14】(A)はエッジ検出における微分方向の一例
を示す概念図、(B)は各方向への微分を行うための微
分フィルタの一例を示す概念図である。
【符号の説明】
10 写真焼付装置 12 ネガフィルム 18 色補正フィルタ 28 カラーペーパ 32 CCDイメージセンサ 40 顔領域抽出部 44 露光量演算部

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 原画像中に存在する、人物の第1の部分
    に特有の第1の形状パターンを探索し、検出した第1の
    形状パターンの大きさ、向き及び人物の顔と前記第1の
    部分との位置関係に応じて、人物の顔に相当すると推定
    される領域を設定した後に、 人物の前記第1の部分と異なる少なくとも1つの第2の
    部分に特有の第2の形状パターンが、原画像中の前記設
    定した領域の大きさ、向き及び人物の顔と前記第2の部
    分との位置関係に応じて設定した探索範囲内に存在する
    かを探索することにより、原画像中の人物の顔に相当す
    る領域である確度が高い領域を判断し、 判断した領域の色又は濃度の少なくとも一方に基づいて
    複写材料への露光量を決定する、 露光量決定方法。
  2. 【請求項2】 前記第1の形状パターン及び第2の形状
    パターンは、 人物の頭部の輪郭を表す形状パターン、人物の顔の輪郭
    を表す形状パターン、人物の顔の内部構造を表す形状パ
    ターン、及び人物の胴体の輪郭を表す形状パターンの少
    なくとも何れかを含む、 ことを特徴とする請求項1記載の露光量決定方法。
  3. 【請求項3】 前記第1の形状パターン及び第2の形状
    パターンの探索は、原画像を濃度又は色が同一又は近似
    している複数の画素で構成される複数の領域に分割し、
    該複数の領域の各々の輪郭を用いて行う、 ことを特徴とする請求項1記載の露光量決定方法。
  4. 【請求項4】 前記第1の形状パターン及び第2の形状
    パターンの探索は、原画像中に存在するエッジを検出
    し、検出したエッジの中心線を求め、求めた中心線を用
    いて行う、 ことを特徴とする請求項1記載の露光量決定方法。
  5. 【請求項5】 前記第1の形状パターンの探索に先立
    ち、 原画像中の人物に相当する確度の低い領域を第1の形状
    パターンの探索対象から除外する、 ことを特徴とする請求項1記載の露光量決定方法。
JP26585094A 1994-10-28 1994-10-28 顔領域抽出方法及び露光量決定方法 Expired - Lifetime JP3499305B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP26585094A JP3499305B2 (ja) 1994-10-28 1994-10-28 顔領域抽出方法及び露光量決定方法
US08/549,181 US5629752A (en) 1994-10-28 1995-10-27 Method of determining an exposure amount using optical recognition of facial features

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26585094A JP3499305B2 (ja) 1994-10-28 1994-10-28 顔領域抽出方法及び露光量決定方法

Publications (2)

Publication Number Publication Date
JPH08122944A true JPH08122944A (ja) 1996-05-17
JP3499305B2 JP3499305B2 (ja) 2004-02-23

Family

ID=17422946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26585094A Expired - Lifetime JP3499305B2 (ja) 1994-10-28 1994-10-28 顔領域抽出方法及び露光量決定方法

Country Status (1)

Country Link
JP (1) JP3499305B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995194A (en) * 1996-12-26 1999-11-30 Fuji Photo Film Co., Ltd. Reproducing machine and a method of determining reproducing conditions
KR100447268B1 (ko) * 2001-12-18 2004-09-07 한국전자통신연구원 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출방법
US6919924B1 (en) 1998-03-09 2005-07-19 Fuji Photo Film Co., Ltd. Image processing method and image processing apparatus
US6999113B1 (en) 1998-10-22 2006-02-14 Fuji Photo Film Co., Ltd. Portable printer and camera
US7092569B1 (en) 1999-07-29 2006-08-15 Fuji Photo Film Co., Ltd. Method and device for extracting specified image subjects
US7106887B2 (en) 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
US7224851B2 (en) 2001-12-04 2007-05-29 Fujifilm Corporation Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same
US7508550B2 (en) 2004-06-17 2009-03-24 Fujifilm Corporation Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program
US7515773B2 (en) 2004-08-27 2009-04-07 Aisin Seiki Kabushiki Kaisha Facial parts position detection device, method for detecting facial parts position, and program for detecting facial parts position
US7599093B2 (en) 2004-09-30 2009-10-06 Fujifilm Corporation Image processing apparatus, method and program
US7630630B2 (en) 2005-09-29 2009-12-08 Fujifilm Corporation Person image correction apparatus, method, and program
US7663788B2 (en) 2004-06-29 2010-02-16 Fujifilm Corporation Image correcting apparatus and method, and image correction program
JP2013042201A (ja) * 2011-08-11 2013-02-28 Nikon Corp 画像処理装置、撮像装置、及びプログラム
EP2757767A1 (en) 2000-10-20 2014-07-23 Samsung Electronics Co., Ltd Image processing system and ordering system
CN114694386A (zh) * 2020-12-31 2022-07-01 博泰车联网科技(上海)股份有限公司 信息推送方法、装置、电子装置及存储介质

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995194A (en) * 1996-12-26 1999-11-30 Fuji Photo Film Co., Ltd. Reproducing machine and a method of determining reproducing conditions
US6919924B1 (en) 1998-03-09 2005-07-19 Fuji Photo Film Co., Ltd. Image processing method and image processing apparatus
US6999113B1 (en) 1998-10-22 2006-02-14 Fuji Photo Film Co., Ltd. Portable printer and camera
US7092569B1 (en) 1999-07-29 2006-08-15 Fuji Photo Film Co., Ltd. Method and device for extracting specified image subjects
US7379591B2 (en) 1999-07-29 2008-05-27 Fujiflim Corporation Method and device for extracting specified image subject
US7577310B2 (en) 2000-04-13 2009-08-18 Fujifilm Corporation Image processing method
US7106887B2 (en) 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
EP2757767A1 (en) 2000-10-20 2014-07-23 Samsung Electronics Co., Ltd Image processing system and ordering system
US7224851B2 (en) 2001-12-04 2007-05-29 Fujifilm Corporation Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same
KR100447268B1 (ko) * 2001-12-18 2004-09-07 한국전자통신연구원 최적 이진화 임계치 탐색에 의한 얼굴 영상에서 눈 검출방법
US7508550B2 (en) 2004-06-17 2009-03-24 Fujifilm Corporation Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program
US8035871B2 (en) 2004-06-17 2011-10-11 Fujifilm Corporation Determining target luminance value of an image using predicted noise amount
US7663788B2 (en) 2004-06-29 2010-02-16 Fujifilm Corporation Image correcting apparatus and method, and image correction program
US7515773B2 (en) 2004-08-27 2009-04-07 Aisin Seiki Kabushiki Kaisha Facial parts position detection device, method for detecting facial parts position, and program for detecting facial parts position
US7599093B2 (en) 2004-09-30 2009-10-06 Fujifilm Corporation Image processing apparatus, method and program
US7630630B2 (en) 2005-09-29 2009-12-08 Fujifilm Corporation Person image correction apparatus, method, and program
JP2013042201A (ja) * 2011-08-11 2013-02-28 Nikon Corp 画像処理装置、撮像装置、及びプログラム
CN114694386A (zh) * 2020-12-31 2022-07-01 博泰车联网科技(上海)股份有限公司 信息推送方法、装置、电子装置及存储介质
CN114694386B (zh) * 2020-12-31 2023-07-07 博泰车联网科技(上海)股份有限公司 信息推送方法、装置、电子装置及存储介质

Also Published As

Publication number Publication date
JP3499305B2 (ja) 2004-02-23

Similar Documents

Publication Publication Date Title
US5629752A (en) Method of determining an exposure amount using optical recognition of facial features
JP3557659B2 (ja) 顔抽出方法
US5881171A (en) Method of extracting a selected configuration from an image according to a range search and direction search of portions of the image with respect to a reference point
JP3499305B2 (ja) 顔領域抽出方法及び露光量決定方法
US8391595B2 (en) Image processing method and image processing apparatus
JP4428737B2 (ja) 赤目検出方法
US7333653B2 (en) Detecting and correcting redeye in an image
US8254644B2 (en) Method, apparatus, and program for detecting facial characteristic points
JP2008004123A (ja) 特定形状領域の抽出装置及び方法、特定領域の抽出装置及び方法、複写条件決定装置及び方法
JP3576654B2 (ja) 露光量決定方法、図形抽出方法及び顔領域判断方法
KR101048582B1 (ko) 칼라 이미지에서 얼굴들을 검출하기 위한 방법 및 디바이스
JP3516786B2 (ja) 顔領域抽出方法及び複写条件決定方法
JP2004265431A (ja) 顔抽出方法
JPH10268447A (ja) 画像処理装置及び写真焼付装置
JPH08138024A (ja) 画像の向き判定方法
JPH04346332A (ja) 露光量決定方法
JP2848749B2 (ja) 特徴画像データの抽出方法
JP3636783B2 (ja) 顔領域判断方法、複写方法及び露光量決定方法
JP2638702B2 (ja) 特徴画像データの抽出方法
JP2642262B2 (ja) 露光量決定方法
JP2004234689A (ja) 顔抽出方法
JPH04346334A (ja) 特徴画像データの抽出方法
JP2638701B2 (ja) 特徴画像データの抽出方法
CN107833199B (zh) 一种用于临摹卡通图像质量分析的方法
CN113537178B (zh) 基于船舶安防数据识别的人脸图片补偿识别方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071205

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081205

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081205

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091205

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101205

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101205

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131205

Year of fee payment: 10

EXPY Cancellation because of completion of term