JP4153108B2 - Image processing method, image processing apparatus, and recording medium - Google Patents
Image processing method, image processing apparatus, and recording medium Download PDFInfo
- Publication number
- JP4153108B2 JP4153108B2 JP30832298A JP30832298A JP4153108B2 JP 4153108 B2 JP4153108 B2 JP 4153108B2 JP 30832298 A JP30832298 A JP 30832298A JP 30832298 A JP30832298 A JP 30832298A JP 4153108 B2 JP4153108 B2 JP 4153108B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- face
- region
- image
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は画像処理方法、画像処理装置及び記録媒体に係り、特に、画像中の人物の顔に相当すると推定される領域を抽出する画像処理方法、前記画像処理方法を適用可能な画像処理装置、及び前記画像処理方法をコンピュータで実行させるためのプログラムが記録された記録媒体に関する。
【0002】
【従来の技術】
人物写真を観賞するときに最も注目される部位は人物の顔であり、例えば写真フィルム等に記録された原画像を印画紙等の記録材料に露光記録(面露光或いは走査露光により記録)する場合には、人物の顔の色及び濃度が適正となるように露光を制御することが望ましいが、この露光制御を実現するためには原画像中の人物の顔に相当する領域の色味や濃度を正確に検知する必要がある。また、画像を読み取ることで得られた画像データに対し、該画像データが表す画像の画質向上を目的として開発された種々の画像処理の中には、画像中の人物の顔に相当する領域又はその一部に対してのみ特定の画像処理(例えば局所的な濃度補正や赤目修正等)を施すものがあるが、この処理を行うためには画像中の人物の顔に相当する領域の位置や大きさを正確に検知する必要がある。
【0003】
このため、従来より、画像中の人物の顔等の主要部に相当すると推定される領域を抽出するための手法が種々提案されている。例えば特開平8-184925号公報には、画像データに基づいて、画像中に存在する人物の各部に特有の形状パターン(例えば頭部の輪郭、顔の輪郭、顔の内部構造、胴体の輪郭等を表す形状パターン)の何れか1つを探索し、検出した形状パターンの大きさ、向き、検出した形状パターンが表す人物の所定部分と人物の顔との位置関係に応じて、人物の顔に相当する領域としての整合性が高い領域(候補領域)を設定すると共に、検出した形状パターンと異なる他の形状パターンを探索し、先に設定した候補領域の、人物の顔としての整合性を評価し、人物の顔に相当すると推定される領域(顔領域)を抽出する顔領域の抽出方法が開示されている。
【0004】
【発明が解決しようとする課題】
上記公報に記載の技術では、二値化により処理対象の画像を白領域と黒領域とに分割しており、例えば顔の内部構造に基づく候補領域の設定では、分割によって得られた各黒領域に対し、人物の顔の眼部に相当する領域としての形状等の整合性を各々判定することで、人物の顔の眼部に相当すると推定される黒領域を抽出し、抽出した黒領域に基づいて候補領域を設定している。しかしながら、処理対象の画像の濃度範囲は一定ではなく、眼部の所謂黒目の部分の濃度も一定ではないので、眼部に相当する領域を精度良く抽出するためには、二値化に用いる閾値を変更しながら、二値化による領域分割を含む上記の処理を複数回繰り返し、各回の処理で抽出された領域を評価する必要がある。従って、処理に多大な時間がかかるという問題があった。
【0005】
また二値化では、例えば人物の顔の眼部に相当する領域と、頭髪部等の比較的高濃度部に相当する領域とが画像上で隣接している場合に、眼部に相当する黒領域が他の高濃度部に相当する黒領域と結合することがあり、この場合、眼部に相当する領域を正しく抽出することが困難になるという問題もある。この問題は、二値化に代わる方法として上記公報に記載されている、画像から抽出したエッジ(濃度又は輝度が所定値以上変化している部分)に基づいて画像を分割する場合においても、眼部に相当する領域と他の高濃度部に相当する領域との境界における濃度又は輝度の変化が小さければ同様に生じ得る。
【0006】
このように、顔の内部構造を利用した従来の処理では、抽出対象である顔内部の特定部分に相当する領域を正しく抽出できなかった場合に、人物の顔に相当する領域を精度良く抽出することができない、という問題があった。
【0007】
ところで、人物等の主要部を含むシーンを撮影した場合、画像中の主要部に相当する領域は、ストロボを発光させて撮影したときも含めて、背景に相当する領域よりも高輝度になることが多い。このため、主要部に相当する領域としても低輝度の領域は除外されて高輝度の領域が抽出されることが多いが、これに伴い、処理対象の画像が逆光の照明条件下で人物等の主要部を含むシーンを表す画像であった場合に、画像中の高輝度の背景部分を主要部に相当する領域として誤抽出することがあった。この場合、抽出した領域の色及び濃度に基づいて記録材料に画像を露光記録する際の露光量を制御したとすると、記録画像は、主要部に相当する領域が黒く潰れた不適切な画質になる。
【0008】
本発明は上記事実を考慮して成されたもので、人物の顔の内部構造に基づき、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる画像処理方法、画像処理装置及び記録媒体を得ることが目的である。
【0010】
【課題を解決するための手段】
上記目的を達成するために、請求項1記載の発明に係る画像処理方法は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出し、前記抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を、各小領域毎に複数の方向について各々求め、前記各小領域毎に前記複数の方向について各々求めた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと各々照合して一致度を演算し、前記複数の方向についての一致度の演算結果に基づいて前記画像の天地方向を判定すると共に、判定した天地方向についての一致度の演算結果に基づいて前記候補領域の人物の顔に相当する領域としての確度を評価する。
【0011】
請求項1記載の発明では、まず、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する。この候補領域の抽出に際しては、従来より周知の任意のアルゴリズムを適用可能である。次に、抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を、各小領域毎に複数の方向について各々求める。なお、濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量としては、例えば所定方向に沿って隣り合う画素間の濃度又は輝度の変化量を積算していくことを、各小領域毎に行うことで求めることができる。
【0012】
画像中の人物の顔に相当する領域内には、濃度又は輝度が複雑に変化している部分と、濃度又は輝度の変化が緩やかであったり濃度又は輝度が殆ど均一な部分と、がおおよそ一定の位置に各々存在している。例えば前記領域のうち眼部やその周辺に相当する部分領域内では、眼球、瞼、睫毛、眉毛等が近接した位置に存在しており、眼球内の瞳孔や虹彩の周辺でも濃度や輝度が複雑に変化していることから、濃度又は輝度が頻繁にかつ大きく変化している(特に、眼球、瞼、睫毛、眉毛等の配列方向、すなわち顔の上下方向については、濃度又は輝度の変化の頻度や変化の大きさが大きい)。一方、人物の顔に相当する領域のうち頬部やその周辺に相当する部分領域内では、照明条件にもよるが濃度や輝度の変化は緩やかである。従って、候補領域が人物の顔に相当する領域であれば、候補領域を所定数の小領域に分割して各小領域毎に求めた特徴量は、各小領域が人物の顔の何れの部分に対応しているかによって大幅に異なる値となる。また、複数の方向について各々求めた個々の小領域の特徴量は、人物の顔に相当する領域を小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンとの一致度が、特徴量の方向が画像の天地方向に一致しているか否かによって大幅に異なる値となる。
【0013】
請求項1の発明では、各小領域毎に複数の方向について各々求めた特徴量を、人物の顔に相当する領域を所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと各々照合して一致度を演算し、複数の方向についての一致度の演算結果に基づいて画像の天地方向を判定すると共に、判定した天地方向についての一致度の演算結果に基づいて、候補領域の人物の顔に相当する領域としての確度を評価する(例えば各小領域毎に複数の方向について各々求めた特徴量から演算した一致度のうち判定した天地方向についての一致度が、前記パターンと合致するか、或いは一致度が高いことを示す値である場合に前記評価を高くする)ので、人物の顔の内部構造に基づいて画像の天地方向を精度良く判定できると共に、候補領域に対し、人物の顔の内部構造に基づき、人物の顔に相当する領域としての確度を精度良く評価することができる。そして、候補領域に対する評価結果に基づいて、人物の顔に相当する領域を精度良く抽出することができる。
【0014】
請求項1の発明では、顔内部の特定部分を抽出したり、二値化のように閾値を変更しながら繰り返し処理を行う必要が無いので処理が簡略化されると共に、顔内部の特定部分が正しく抽出されないことで、候補領域に対する評価の精度が低下することも防止できる。従って、請求項1の発明によれば、画像の天地方向が不明であったとしても、人物の顔の内部構造に基づき、画像の天地方向を精度良く判定できると共に、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【0016】
ところで、人物の顔の眼部は顔の正面から見て略左右対称な位置に存在しており、また、例えば人物を含むシーンの撮影においても左右の眼部が各々画像中に存在するように撮影することが殆どである等のように、画像中に人物の顔に相当する領域が存在している場合、人物の顔の眼部対に対応する領域は非常に高い確率で画像中に存在している。そして、画像中の眼部やその周辺に相当する領域内では、先にも説明したように、濃度又は輝度が頻繁にかつ大きく変化するという特徴を有している。
【0017】
このため、請求項2記載の発明では、請求項1の発明において、人物の顔の眼部対を構成する個々の眼部に相当する領域が異なる小領域内に位置するように、分割対象領域を分割するようにしている。これは、小領域のサイズ(候補領域との面積比)、数(請求項1に記載の所定数)、及び候補領域内における配置の少なくとも何れかを調整することで実現することができる。
【0018】
候補領域が人物の顔に相当する領域である場合、人物の顔の眼部対に対応する小領域対は非常に高い確率で所定数の小領域の中に存在していると共に、眼部は特有の位置(顔の正面から見て略左右対称な位置)に存在しているので、眼部対に対応すると推定される小領域対を容易に判別することができる。従って、請求項2の発明によれば、眼部対に対応すると推定される小領域対についての特徴量の値から、候補領域に対する人物の顔に相当する領域としての確度の評価をより精度良く行うことができる。
【0019】
また、請求項3記載の発明に係る画像処理方法は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出し、前記抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出し、前記抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも1つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合度を演算することを複数の方向について各々行い、前記複数の方向についての整合度の演算結果に基づいて前記画像の天地方向を判定すると共に、判定した天地方向についての整合度の演算結果に基づいて前記候補領域の人物の顔に相当する領域としての確度を評価する。
【0020】
請求項3記載の発明では、請求項1の発明と同様に、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出した後に、抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する。
【0021】
人物の顔には凹凸があるので、一般的な照明条件で人物の顔を照明しているシーンを表す画像において、人物の顔の凹部(例えば眼部等)に相当する部分領域では、凹部の底部付近を頂点として高濃度方向(低輝度方向)に凸の濃度分布又は輝度分布となる。なお先に説明したように、眼部やその周辺に相当する部分領域内では濃度又は輝度が頻繁にかつ大きく変化しているが、凹部に相当する部分領域全体としては上記のような濃度分布(輝度分布)となる。一方、人物の顔の凸部(例えば頬部等)に相当する部分領域では、凸部の頂点付近を頂点として低濃度方向(高輝度方向)に凸の濃度分布又は輝度分布となる。
【0022】
請求項3の発明では、例えば上記のような人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも1つに基づいて、抽出した領域の特定の部分に相当する領域としての整合度を演算することを複数の方向について各々行い、複数の方向についての整合度の演算結果に基づいて画像の天地方向を判定すると共に、判定した天地方向についての整合度の演算結果に基づいて候補領域の人物の顔に相当する領域としての確度を評価するので、人物の顔の内部構造に基づいて画像の天地方向を精度良く判定できると共に、候補領域に対し、人物の顔の内部構造に基づき、人物の顔に相当する領域としての確度を精度良く評価することができる。そして、候補領域に対する評価結果に基づいて、人物の顔に相当する領域を精度良く抽出することができる。
【0023】
請求項3の発明は、エッジに基づく領域分割のようにエッジが存在している位置で領域を分割するものではないので、人物の顔の特定の部分に相当する領域の外縁にエッジが存在している必要はなく、前記領域の外縁にエッジが存在していない場合であっても候補領域に対する評価の精度が低下することを防止できる。また、二値化に基づく領域分割のように、閾値を変更しながら繰り返し処理を行う必要が無いので処理が簡略化される。従って、請求項3の発明によれば、請求項1の発明と同様に、画像の天地方向が不明であったとしても、人物の顔の内部構造に基づき、画像の天地方向を精度良く判定できると共に、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【0024】
なお、請求項3の発明において、人物の顔の特定の部分に特有の濃度又は輝度のパターンとしては、人物の顔の任意の部分における濃度又は輝度のパターンを採用することができるが、請求項4に記載したように、人物の顔の眼部に特有の高濃度方向又は低輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の前記眼部に対応する領域としての整合性を判定するか、又は人物の顔の頬部に特有の低濃度方向又は高輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の前記頬部に対応する領域としての整合性を判定することが好ましい。
【0025】
なお、高濃度方向又は低輝度方向に凸の濃度又は輝度のパターンが生じている領域に対する眼部に相当する領域としての整合性の判定は、抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも1つを、人物の顔における眼部の位置、人物の顔全体と眼部との面積比、人物の顔の眼部における濃度又は輝度のヒストグラムの形状の少なくとも1つと照合することで行うことができる。同様に、低濃度方向又は高輝度方向に凸の濃度又は輝度のパターンが生じている領域に対する頬部に対応する領域としての整合性の判定についても、抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも1つを、人物の顔における頬部の位置、人物の顔全体と頬部との面積比、人物の顔の頬部における濃度又は輝度のヒストグラムの形状の少なくとも1つと照合することで行うことができる。
【0026】
上述した眼部や頬部は、人物の顔の正面から見て略左右対称な位置に存在しているので、眼部に相当する濃度又は輝度のパターンが生じている領域、或いは頬部に相当する濃度又は輝度のパターンが生じている領域が略左右対称な位置に一対抽出されれば、抽出した領域対の眼部又は頬部に対応する領域としての整合性が高いと判定することができる。従って、候補領域に対する人物の顔に相当する領域としての確度の評価をより精度良く行うことができる。
【0027】
ところで、処理対象の画像が、逆光の照明条件下で人物等の主要部が存在しているシーンを表す画像であった場合、画像中の高輝度の背景部分が主要部に相当する領域と誤抽出されることがあるが、本願発明者は、上記のように誤抽出が生ずるケースについて更に検討を行った。その結果、例えばシーン中の空等に対応する高輝度の背景領域が画像上で単一の領域を成している(複数の領域に分割されていない)場合には誤抽出が生ずる確率が低いのに対し、例えばシーン中の背景部の手前に存在する物体によって高輝度の背景領域が画像上で複数の領域に分割されている場合に誤抽出が生ずる確率が高いことを見い出した。
【0028】
上記に基づき、請求項5記載の発明は、請求項1又は請求項2記載の発明において、前記候補領域の明度が所定値以上の場合に、前記候補領域との明度の差が所定範囲内の画素から成る背景候補領域を、前記候補領域外の範囲内で探索し、前記背景候補領域が抽出され、かつ抽出された背景候補領域の前記候補領域に対する面積比が所定値以上の場合、又は抽出された背景候補領域が画像中の周縁部に偏在している場合に、前記候補領域に対する主要部に相当する領域としての確度の評価を低くすることを特徴としている。
【0029】
請求項5記載の発明では、まず、候補領域の明度が所定値以上の場合に、候補領域との明度の差が所定範囲内の画素から成る背景候補領域を、候補領域外の範囲内で探索する。これにより、抽出した候補領域が、実際には画像中の背景部に相当する領域の一部である場合には、該候補領域外の範囲に存在する前記背景部に相当する領域の他の一部が抽出されることになる。
【0030】
そして、候補領域との明度の差が所定範囲内の画素から成る背景候補領域が抽出され、かつ抽出された背景候補領域の候補領域に対する面積比が所定値以上の場合、又は抽出された背景候補領域が画像中の周縁部に偏在している場合に、候補領域に対する主要部に相当する領域としての確度の評価を低くする。背景候補領域の候補領域に対する面積比が所定値以上の場合(画像中に候補領域と同程度の明度の領域が広い面積で分布している場合)や、背景候補領域が画像中の周縁部に偏在している場合には、背景候補領域及び先に抽出した候補領域は背景部に相当する領域である可能性が高い。従って、上記のように候補領域に対する主要部に相当する領域としての確度の評価を低くすることにより、画像中の背景に相当する領域が主要部に相当する領域として誤抽出されることを抑制することができる。
【0031】
また、主要部がストロボ等によって照明されているシーンを表す画像等では、主要部と同等の明度の領域(背景候補領域)が画像中に存在していたとしても、該背景候補領域の面積は小さく、また画像中の周縁部に偏在している可能性は低いので、請求項5の発明によれば、上記のような画像において、主要部に相当すると推定される候補領域に対する主要部に相当する領域としての確度の評価が不当に低くなることも防止することができる。
【0032】
請求項6記載の発明に係る画像処理装置は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第1の抽出手段と、前記第1の抽出手段によって抽出された候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を、各小領域毎に複数の方向について各々求める演算手段と、前記演算手段によって前記各小領域毎に前記複数の方向について各々求められた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと各々照合して一致度を演算し、前記複数の方向についての一致度の演算結果に基づいて前記画像の天地方向を判定すると共に、判定した天地方向についての一致度の演算結果に基づいて前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段と、を含んで構成されているので、請求項1の発明と同様に、画像の天地方向が不明であったとしても、人物の顔の内部構造に基づき、画像の天地方向を精度良く判定できると共に、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【0033】
請求項7記載の発明に係る画像処理装置は、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第1の抽出手段と、前記第1の抽出手段によって抽出された候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する第2の抽出手段と、前記第2の抽出手段によって抽出された領域の、前記候補領域内における位置、前記候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも1つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合度を演算することを複数の方向について各々行い、前記複数の方向についての整合度の演算結果に基づいて前記画像の天地方向を判定すると共に、判定した天地方向についての整合度の演算結果に基づいて前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段と、を含んで構成されているので、請求項3の発明と同様に、画像の天地方向が不明であったとしても、人物の顔の内部構造に基づき、画像の天地方向を精度良く判定できると共に、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【0034】
請求項8記載の発明に係る記録媒体は、コンピュータを、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第1の抽出手段、前記第1の抽出手段によって抽出された候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を、各小領域毎に複数の方向について各々求める演算手段、及び、前記演算手段によって前記各小領域毎に前記複数の方向について各々求められた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと各々照合して一致度を演算し、前記複数の方向についての一致度の演算結果に基づいて前記画像の天地方向を判定すると共に、判定した天地方向についての一致度の演算結果に基づいて前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段として機能させるためのプログラムが記録されている。
【0035】
請求項8記載の発明に係る記録媒体には、コンピュータを上記の第1の抽出手段、演算手段及び評価手段として機能させるためのプログラム、すなわちコンピュータを請求項6記載の発明に係る画像処理装置として機能させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されているプログラムを読み出して実行することにより、請求項1、6の発明と同様に、画像の天地方向が不明であったとしても、人物の顔の内部構造に基づき、画像の天地方向を精度良く判定できると共に、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【0036】
請求項9記載の発明に係る記録媒体は、コンピュータを、画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第1の抽出手段、前記第1の抽出手段によって抽出された候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する第2の抽出手段、及び、前記第2の抽出手段によって抽出された領域の、前記候補領域内における位置、前記候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも1つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合度を演算することを複数の4方向について各々行い、前記複数の方向についての整合度の演算結果に基づいて前記画像の天地方向を判定すると共に、判定した天地方向についての整合度の演算結果に基づいて前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段として機能させるためのプログラムが記録されている。
【0037】
請求項9記載の発明に係る記録媒体には、コンピュータを上記の第1の抽出手段、第2の抽出手段及び評価手段として機能させるためのプログラム、すなわちコンピュータを請求項7記載の発明に係る画像処理装置として機能させるためのプログラムが記録されているので、コンピュータが前記記録媒体に記録されているプログラムを読み出して実行することにより、請求項3、7の発明と同様に、画像の天地方向が不明であったとしても、人物の顔の内部構造に基づき、画像の天地方向を精度良く判定できると共に、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる。
【0038】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
【0039】
〔第1実施形態〕
図1には、本発明が適用された画像処理システム10が示されている。画像処理システム10は、スキャナ12、画像処理装置14及びプリンタ16が直列に接続されて構成されている。
【0040】
スキャナ12は、写真フィルム(例えばネガフィルムやリバーサルフィルム)等の写真感光材料(以下単に写真フィルムと称する)に記録されているフィルム画像(被写体を撮影後、現像処理されることで可視化されたネガ画像又はポジ画像)を読み取り、該読み取りによって得られた画像データを出力するものであり、光源20から射出され光拡散ボックス22によって光量むらが低減された光が、フィルムキャリア24にセットされているネガフィルムやリバーサルフィルム等の写真フィルム26に照射され、写真フィルム26を透過した光がレンズ28を介してCCDセンサ30(エリアセンサであってもラインセンサであってもよい)の受光面上に結像されるように構成されている。
【0041】
フィルムキャリア24は、写真フィルム26上のフィルム画像が記録されている箇所が、光源20からの射出光の光軸上に順に位置するように写真フィルム26を搬送する。これにより、写真フィルム26に記録されているフィルム画像がCCDセンサ30によって順に読み取られ、CCDセンサ30からはフィルム画像に対応する信号が出力される。CCDセンサ30から出力された信号はA/D変換器32によってデジタルの画像データに変換されて画像処理装置14に入力される。
【0042】
画像処理装置14のラインスキャナ補正部36は、入力されたスキャンデータ(スキャナ12から入力されるR、G、Bのデータ)から各画素毎に対応するセルの暗出力レベルを減ずる暗補正、暗補正を行ったデータを濃度値を表すデータに対数変換する濃度変換、写真フィルム26を照明する光の光量むらに応じて濃度変換後のデータを補正するシェーディング補正、該シェーディング補正を行ったデータのうち入射光量に対応した信号が出力されないセル(所謂欠陥画素)のデータを周囲の画素のデータから補間して新たに生成する欠陥画素補正の各処理を順に行う。ラインスキャナ補正部36の出力端はI/Oコントローラ38の入力端に接続されており、ラインスキャナ補正部36で前記各処理が施されたデータはスキャンデータとしてI/Oコントローラ38に入力される。
【0043】
I/Oコントローラ38の入力端は、イメージプロセッサ40のデータ出力端にも接続されており、イメージプロセッサ40からは画像処理(詳細は後述)が行われた画像データが入力される。また、I/Oコントローラ38の入力端はパーソナルコンピュータ42にも接続されている。パーソナルコンピュータ42は拡張スロット(図示省略)を備えており、この拡張スロットには、デジタルスチルカメラ等によって画像データが書き込まれたデジタルカメラカードや、図示しないCD−R書込装置によって画像データが書き込まれたCD−R等の情報記憶媒体に対し、データの読出し/書込みを行うドライバ(図示省略)や、他の情報処理機器と通信を行うための通信制御装置が接続される。拡張スロットを介して外部からファイル画像データ(デジタルカメラカードやCD−Rから読み出した画像データ、或いは他の情報処理機器から受信した画像データ)が入力された場合、入力されたファイル画像データはI/Oコントローラ38へ入力される。
【0044】
I/Oコントローラ38の出力端は、イメージプロセッサ40のデータ入力端、オートセットアップエンジン44、パーソナルコンピュータ42に各々接続されており、更にI/F回路54を介してプリンタ16に接続されている。I/Oコントローラ38は、入力された画像データを、出力端に接続された前記各機器に選択的に出力する。
【0045】
本実施形態では、写真フィルム26に記録されている個々のフィルム画像に対し、スキャナ12において異なる解像度で2回の読み取りを行う。1回目の比較的低解像度での読み取り(以下、プレスキャンという)では、フィルム画像の濃度が非常に低い場合(例えばネガフィルムにおける露光アンダのネガ画像)にも、CCDセンサ30で蓄積電荷の飽和が生じないように決定した読取条件(写真フィルム26に照射する光のR、G、Bの各波長域毎の光量、CCDセンサ30の電荷蓄積時間)で写真フィルム26の全面の読み取りが行われる。このプレスキャンによって得られたデータ(プレスキャンデータ)は、I/Oコントローラ38からオートセットアップエンジン44へ入力される。
【0046】
オートセットアップエンジン44は、CPU46、RAM48(例えばDRAM)、ROM50(例えば記憶内容を書換え可能なROM)、入出力ポート52を備え、これらがバスを介して互いに接続されて構成されている。オートセットアップエンジン44は、I/Oコントローラ38から入力されたプレスキャンデータに基づいてフィルム画像のコマ位置を判定し、写真フィルム26上のフィルム画像記録領域に対応するデータ(プレスキャン画像データ)を抽出する。また、プレスキャン画像データに基づいて、フィルム画像のサイズを判定すると共に濃度等の画像特徴量を演算し、プレスキャンを行った写真フィルム26に対し、スキャナ12が比較的高解像度での再度の読み取り(以下、ファインスキャンという)を行う際の読取条件を決定する。そしてコマ位置及び読取条件をスキャナ12に出力する。
【0047】
また、オートセットアップエンジン44は、プレスキャン画像データ(又は低解像度化したファイル画像データ)に基づいて、画像中の主要部(例えば人物の顔に相当する領域(顔領域))の抽出を含む画像特徴量の演算を行い、スキャナ12がファインスキャンを行うことによって得られるファインスキャン画像データ(又はファイル画像データ)に対する各種の画像処理の処理条件を演算により自動的に決定し(セットアップ演算)、決定した処理条件をイメージプロセッサ40へ出力する。
【0048】
パーソナルコンピュータ42には、ディスプレイ、キーボード、及びマウスが接続されている(何れも図示省略)。パーソナルコンピュータ42は、オートセットアップエンジン44から低解像度の画像データを取込むと共に、オートセットアップエンジン44によって決定された画像処理の処理条件を取込み、取り込んだ処理条件に基づき、高解像度画像データを対象としてイメージプロセッサ40で行われる画像処理と等価な画像処理を低解像度画像データに対して行ってシミュレーション画像データを生成する。
【0049】
そして、生成したシミュレーション画像データを、ディスプレイに画像を表示するための信号に変換し、該信号に基づいてディスプレイにシミュレーション画像を表示する。また、表示されたシミュレーション画像に対しオペレータによって画質等の検定が行われ、検定結果として処理条件の修正を指示する情報がキーボードを介して入力されると、該情報をオートセットアップエンジン44へ出力する。これにより、オートセットアップエンジン44では画像処理の処理条件の再演算等の処理が行われる。
【0050】
一方、スキャナ12でフィルム画像に対してファインスキャンが行われることによってI/Oコントローラ38に入力されたファインスキャン画像データ(又は高解像度のファイル画像データ)は、I/Oコントローラ38からイメージプロセッサ40へ入力される。イメージプロセッサ40は、階調変換や色変換を含む色・濃度補正処理、画素密度変換処理、画像の超低周波輝度成分の階調を圧縮するハイパートーン処理、粒状を抑制しながらシャープネスを強調するハイパーシャープネス処理等の各種の画像処理を行う画像処理回路を各々備えており、入力された画像データに対し、オートセットアップエンジン44によって各画像毎に決定されて通知された処理条件に従って種々の画像処理を行う。
【0051】
イメージプロセッサ40で実行可能な画像処理としては、上記以外に、例えば画像全体又は一部分(例えば人物の顔に相当する領域)に対するシャープネス補正又はソフトフォーカス処理や、画調を意図的に変更する画像処理(出力画像をモノトーンに仕上げる画像処理、出力画像をポートレート調に仕上げる画像処理、出力画像をセピア調に仕上げる画像処理等)や、画像を加工する画像処理(例えば原画像中に存在する人物を主画像上で細身に仕上げるための画像処理、赤目を修正する画像処理等)や、LF(レンズ付きフィルム)によって撮影された画像に対し、LFのレンズの歪曲収差、倍率色収差に起因する画像の幾何学的歪み、色ずれを補正するLF収差補正処理や、LFのレンズの周辺減光に起因する画像の周縁部の明度低下を補正する周辺減光補正処理や、LFのレンズの特性に起因する画像の鮮鋭度の低下を補正するピントボケ補正処理等のように、LFのレンズの特性に起因する出力画像の画質の低下を補正する各種のLF収差補正処理等が挙げられる。
【0052】
イメージプロセッサ40で画像処理が行われた画像データを印画紙への画像の記録に用いる場合には、イメージプロセッサ40で画像処理が行われた画像データは、I/Oコントローラ38からI/F回路54を介し記録用画像データとしてプリンタ16へ出力される。また、画像処理後の画像データを画像ファイルとして外部へ出力する場合は、I/Oコントローラ38からパーソナルコンピュータ42に画像データが出力される。これにより、パーソナルコンピュータ42では、外部への出力用としてI/Oコントローラ38から入力された画像データを、拡張スロットを介して画像ファイルとして外部(前記ドライバや通信制御装置等)に出力する。
【0053】
プリンタ16は、画像メモリ58、R,G,Bのレーザ光源60、該レーザ光源60の作動を制御するレーザドライバ62を備えている。画像処理装置14から入力された記録用画像データは画像メモリ58に一旦記憶された後に読み出され、レーザ光源60から射出されるR,G,Bのレーザ光の変調に用いられる。レーザ光源60から射出されたレーザ光は、ポリゴンミラー64、fθレンズ66を介して印画紙68上を走査され、印画紙68に画像が露光記録される。画像が露光記録された印画紙68は、プロセッサ部18へ送られて発色現像、漂白定着、水洗、乾燥の各処理が施される。これにより、印画紙68に露光記録された画像が可視化される。
【0054】
次に本実施形態の作用として、スキャナ12から画像処理装置14にプレスキャンデータが入力され、オートセットアップエンジン44において、プレスキャンデータからの画像データの切り出し等の処理を行った後で行われる顔領域抽出・濃度演算処理について説明する。
【0055】
本第1実施形態に係る顔領域抽出・濃度演算処理は、請求項1の発明に係る画像処理方法が適用された処理であり、オートセットアップエンジン44のCPU46により、顔領域抽出・濃度補正プログラムが実行されることにより実現される。顔領域抽出・濃度補正プログラムは、その他の処理をCPU46で実行させるためのプログラムと共に、当初は、情報記憶媒体72(図1参照)に記憶されている。なお、図1では情報記憶媒体72をフロッピーディスクとして示しているが、CD−ROMやメモリカード等の他の情報記憶媒体で構成してもよい。パーソナルコンピュータ42に接続された情報読出装置(図示省略)に情報記憶媒体72が装填され、情報記憶媒体72から画像処理装置14へのプログラムの移入(インストール)が指示されると、情報読出装置によって情報記憶媒体72から顔領域抽出・濃度補正プログラム等が読み出され、記憶内容を書換え可能なROM50に記憶される。
【0056】
そして、顔領域抽出・濃度補正処理を実行すべきタイミングが到来すると、ROM50から顔領域抽出・濃度補正プログラムが読み出され、顔領域抽出・濃度補正プログラムがCPU46によって実行される。これにより、オートセットアップエンジン44は請求項6の発明に係る画像処理装置として機能する。このように、顔領域抽出・濃度補正プログラム等を記憶している情報記憶媒体72は請求項8に記載の記録媒体に対応している。
【0057】
以下、顔領域抽出・濃度補正処理について、図2のフローチャートを参照して説明する。ステップ100では、処理対象の画像データに基づき、画像データが表す画像中の主要部として、画像中の人物の顔に相当すると推定される領域(顔候補領域を抽出する顔候補領域抽出処理を行う。この顔候補領域抽出処理を行うための抽出方式としては、画像中の人物の顔に相当すると推定される領域を判断し、該領域を顔候補領域として抽出する顔候補領域抽出方式や、画像中の背景に相当すると推定される領域(背景領域)を判断し、背景領域以外の領域を顔候補領域として抽出する背景部除去方式等があり、具体的には、従来より公知の、下記のような顔候補抽出方式、背景除去方式のうちの少なくとも何れかを採用して顔候補領域抽出処理を行うことができる。
【0058】
〔顔候補領域抽出方式の例1〕
画像を多数の測定点に分割すると共に各測定点をR、G、Bの3色に分解することにより得られたデータ(画像データ)に基づいて、各測定点が色座標上で肌色の範囲内に含まれているか否か判定し、肌色の範囲内と判断した測定点のクラスタ(群)が存在している領域を顔候補領域として抽出する(特開昭 52-156624号公報、特開昭 52-156625号公報、特開昭53-12330号公報、特開昭 53-145620号公報、特開昭 53-145621号公報、特開昭 53-145622号公報等参照)。
【0059】
〔顔候補領域抽出方式の例2〕
前記画像データに基づいて、色相値(及び彩度値)についてのヒストグラムを求め、求めたヒストグラムを山毎に分割し、各測定点が分割した山の何れに属するかを判断して各測定点を分割した山に対応する群に分け、各群毎に画像を複数の領域に分割し、該複数の領域のうち人物の顔に相当する領域を推定し、推定した領域を顔候補領域として抽出する(特開平4-346333号公報参照)。
【0060】
〔顔候補領域抽出方式の例3〕
前記画像データに基づいて、画像中に存在する人物の各部に特有の形状パターン(例えば頭部の輪郭や顔の輪郭等を表す形状パターン:顔の内部構造に関しては後述する処理で利用するのでここでは不要)の何れか1つを探索し、検出した形状パターンの大きさ、向き、検出した形状パターンが表す人物の所定部分と人物の顔との位置関係に応じて、人物の顔に相当すると推定される領域を設定する。また、検出した形状パターンと異なる他の形状パターンを探索し、先に設定した領域の、人物の顔としての整合性を求め、顔候補領域を抽出する(特開平8-122944号公報、特開平8-183925号公報、特開平9-138471号公報等参照)。
【0061】
〔顔候補領域抽出方式の例4〕
前記画像データに基づいて画像中の各箇所における濃度又は輝度の変化量を各方向毎に求め、基準点を設定すると共に、該基準点に対し、探索範囲及び該探索範囲内の各箇所における探索すべき濃度又は輝度の変化方向を表す探索方向パターンを顔領域の輪郭形状に応じて設定し、前記探索範囲内に存在しかつ前記探索方向パターンが表す方向に沿った濃度又は輝度の変化量が所定値以上の箇所を探索し、探索条件を満足する箇所を検出した場合に該箇所を次の基準点として設定することを繰り返し、前記基準点として順に設定した画像中の複数箇所を結んで成る線を、顔領域の輪郭を表す輪郭線として抽出することにより、顔候補領域を抽出する(特開平9-138471号公報等参照)。
【0062】
〔背景部除去方式の例1〕
前記画像データに基づいて、各測定点が、色座標上で明らかに背景に属する特定の色(例えば空や海の青、芝生や木の緑等)の範囲内に含まれているか否か判定し、前記特定の色範囲内と判断した測定点のクラスタ(群)が存在している領域を背景領域と判断して除去し、残った領域を非背景領域(人物の顔に相当する領域が含まれている可能性の高い領域:これも本発明の顔候補領域)として抽出する。
【0063】
〔背景部除去方式の例2〕
前記画像データに基づき、先の主要部抽出方式の例2と同様にして画像を複数の領域に分割した後に、各領域毎に背景に相当する領域としての特徴量(輪郭に含まれる直線部分の比率、線対称度、凹凸数、画像外縁との接触率、領域内の濃度コントラスト、領域内の濃度の変化パターンの有無等)を求め、求めた特徴量に基づいて各領域が背景領域か否か判定し背景部と判断した領域を除去し、残った領域を非背景領域(顔候補領域)として抽出する(特開平8-122944号公報、特開平8-183925号公報等参照)。
【0064】
なお上記の抽出方式は単なる一例であり、画像から人物の顔に相当すると推定される領域を抽出する抽出方式であれば、どのような方式であっても適用可能であることは言うまでもない。またステップ100では、複数種の抽出方式を各々適用して顔候補領域抽出処理を複数回行ってもよいし、単一種の抽出方式で処理条件を各々変えて顔候補領域抽出処理を複数回行ってもよい。なお、ステップ100は請求項6(及び請求項7)に記載の第1の抽出手段に対応している。
【0065】
次のステップ102では、処理対象の画像データが表す画像の天地方向を表す天地情報が有るか否か判定する。例えば処理対象の画像データが、磁気層が形成された写真フィルムに記録されている画像を読み取ることによって得られた画像データである場合、磁気層に磁気記録されている種々の情報の中に、画像の撮影記録時に磁気記録された天地情報が含まれていることが多い。このような場合には、磁気層に磁気記録されている情報を磁気的に読み取ることによって天地情報が取得され、ステップ102の判定が肯定されてステップ104へ移行する。
【0066】
ステップ104では、ステップ100の顔候補領域抽出処理によって抽出された顔候補領域の中から単一の顔候補領域のデータを取り込み、次のステップ106では、データを取り込んだ処理対象の顔候補領域を、例として図4(A)に示すように所定数のブロックに分割する。例として図4(A)では、一辺の長さが顔候補領域の長手方向(通常は画像の天地方向)長さに一致するように正規化した正方形領域(図4(A)の最外縁の破線に相当する領域)を用い、該正方形領域を5×5個の正方形のブロック(請求項1等に記載の小領域)に分割したときの分割線(破線で示す線)に沿って顔候補領域を分割している。
【0067】
なお、図4(A)に示す顔候補領域の分割パターン(ブロックへの分割数やブロックの形状・配置)は、図からも明らかなように人物の顔の眼部対を構成する個々の眼部に相当する領域が互いに異なるブロック内に位置するように定められている。従って、図4(A)に示す分割パターンに従って顔候補領域を分割することは、請求項2に記載の分割に対応している。また、分割パターンは上記に限定されるものではなく、ブロックの数、個々のブロックの形状・配置は、本発明を逸脱しない範囲内で適宜変更可能である。
【0068】
ステップ108では、顔候補領域の各ブロック毎に、天地情報が表す天地方向に応じた所定方向についてのエッジ強度(濃度変化量)を演算し積算することでエッジ強度積算値を求める。なお、エッジ強度積算値は本発明に係る「小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量」に対応しており、ステップ108は請求項6に記載の演算手段に対応している。本第1実施形態では、人物の顔の眼部に相当する領域における濃度が頻繁にかつ大きく変化することを利用して顔領域の抽出を行うため、眼部に相当する領域における濃度の変化の頻度及び変化の大きさが顕著に大きくなる方向、すなわち天地方向に一致する方向を、天地方向に応じた所定方向としている。
【0069】
図5には特定の画素から該特定の画素の近傍に存在する8個の画素へ各々向かう方向(合計8方向:図5では方向の異なる8本の矢印として示している)に沿った濃度変化値を演算するための微分フィルタが示されている。ブロック毎のエッジ強度積算値の演算は、例えば上記の8個の微分フィルタのうち天地方向に応じた所定方向に対応する微分フィルタを選択し、選択した微分フィルタを用いて顔候補領域内の全画素について前記所定方向に沿った濃度変化量(エッジ強度)を各々演算し、演算結果を各ブロック毎に積算することによって得ることができる。
【0070】
次のステップ110では、ステップ108で演算した各ブロック毎のエッジ強度積算値を、顔候補領域に対し人物の顔に相当する領域としての確度を評価するために予め設定されたマッチング用パターンにおける各ブロック毎のエッジ強度積算値(の標準値)と照合し、マッチング用パターンとの一致度を求める。マッチング用パターンは、画像中の人物の顔に相当する領域(顔領域)を顔候補領域に対する分割パターンと同様に分割し(図4(B)参照)、各ブロック毎にエッジ強度積算値を求めることを多数の画像の多数の顔領域について行い、各ブロックに対し、多数の画像の多数の顔領域について各々求めた各ブロック毎のエッジ強度積算値の平均値を標準値として設定することによって定められている。
【0071】
上記により、マッチング用パターンにおける各ブロック毎のエッジ強度積算値の標準値は、人物の顔の一対の眼部に相当する一対のブロック(図4(A)も参照)については、図4(B)に記したように非常に高い値になると共に、人物の顔のうち一対の頬部及び眉間に相当するブロック(図4(A)も参照)については図4(B)に記したように低い値になり、人物の顔の各部における濃度(又は輝度)の変化の頻度及び変化の大きさを反映した値となる。
【0072】
本第1実施形態では、5×5個のブロックのうち、人物の顔のうちの一対の眼部、一対の頬部及び眉間に相当する5個のブロック(図4(B)に実線で囲んで示すブロック)について、エッジ強度積算値の演算値とマッチング用パターンで設定されているエッジ強度積算値の標準値とを比較することにより照合を行う。そして、前記5個のブロックについてのエッジ強度積算値の標準値に対する演算値の差異に応じて値が変化する物理量(例えば個々のブロックのエッジ強度積算値の標準値の偏差を基準としたときの、個々のブロックのエッジ強度積算値の演算値の偏差の比率等)を一致度として演算・設定する。なお、全てのブロックのエッジ強度積算値を比較・照合して一致度を設定するようにしてもよい。
【0073】
ステップ112では、ステップ100で抽出した全ての顔候補領域に対してステップ104〜110の処理を行ったか否か判定する。判定が否定された場合にはステップ104に戻り、前記判定が肯定される迄ステップ104〜112を繰り返す。これにより、全ての顔候補領域に対してマッチング用パターンとの一致度が各々演算・設定されることになる。そして、ステップ112の判定が肯定されるとステップ142へ移行する。
【0074】
一方、天地情報が無い場合には、ステップ102の判定が否定されてステップ120へ移行し、ステップ100の顔候補領域抽出処理によって抽出された顔候補領域の中から単一の顔候補領域のデータを取り込んだ後に、次のステップ122において、データを取り込んだ顔候補領域を、先のステップ106と同様に所定数のブロックに分割する。このステップ122も請求項2に記載の分割に対応している。ステップ124では、処理対象の画像の天地方向が不明であるので、処理対象の画像の外縁を成す4本の辺に平行な所定の4方向(以下、便宜的に第1方向〜第4方向と称する)について、エッジ強度(濃度変化量)を演算し積算することで、第1〜第4方向についてのエッジ強度積算値を各々求める。このステップ124も請求項6に記載の演算手段に対応している。
【0075】
ステップ126では変数nに1を代入し、次のステップ128では、第n方向(この場合は第1方向)についての各ブロック毎のエッジ強度積算値を、第n方向を天地方向と仮定してマッチング用パターンと照合し、先のステップ110と同様にして一致度を演算する。ステップ130では変数nの値が4になったか否か判定し、判定が否定された場合にはステップ132で変数nの値を1だけインクリメントしてステップ128へ戻る。これにより、ステップ128では、第1〜第4方向を各々天地方向と仮定してマッチング用パターンとの一致度が各々演算されることになる。
【0076】
なお、一致度を演算する方向は第1〜第4の4方向に限定されるものではなく、例えば図5に8本の矢印で示す8方向について一致度を演算するようにしてもよい(後述する第2実施形態についても同様)。
【0077】
各方向について一致度が各々演算されると、ステップ130の判定が肯定されてステップ134へ移行し、第1〜第4方向のうち一致度が最大となった方向を記憶する。次のステップ136では、全ての顔候補領域に対して処理を行ったか否か判定する。判定が否定された場合にはステップ120に戻り、ステップ120〜136を繰り返す。これにより、全ての顔候補領域に対し、第1〜第4方向についてマッチング用パターンとの一致度が各々演算・設定される。
【0078】
ステップ136の判定が肯定されるとステップ138へ移行し、先のステップ134で各顔候補領域について各々記憶した一致度が最大の方向に基づいて、画像の天地方向を判定する。この判定は、一致度最大の方向が一致している顔候補領域の数を各方向毎に演算し、顔候補領域の数が最多の方向を天地方向と判定するようにしてもよい。また、特定の顔候補領域の第1〜第4方向についての一致度に基づき、一致度の値が高くなるに従って重み点数が高くなるように各方向に重み点数を付加することを全ての顔候補領域に対して行い、各方向に対して付加した重み点数の積算値が最大の方向を天地方向と判定するようにしてもよい。
【0079】
上記のようにして天地方向を判定すると、次のステップ140では、判定した天地方向に対応する所定方向についての各顔候補領域毎の一致度を各顔候補領域に設定し、ステップ142へ移行する。
【0080】
ステップ142では各顔候補領域に対して設定した一致度に応じて、各顔候補領域に対して重み点数を設定する。なお、この重み点数は顔候補領域の人物の顔に相当する領域としての確度を評価する評価値に対応しており、ステップ142はステップ110、128、140と共に請求項6に記載の評価手段に対応している。
【0081】
重み点数は、例として図6(A)に示すように、一致度が増加するに伴って重み点数Pが高くなるように変換特性が定められたマップを用い、該マップを用いて一致度を重み点数Pに変換することで設定することができる。なお、図6(A)に示す変換特性は単なる一例であり、例えば図6(A)に示す変換特性では一致度の変化に対して重み点数Pが変化しない不感領域が存在するが、このような不感領域のない変換特性(例として図6(B)参照)であってもよい。また、一致度の変化に対して重み点数Pが非線形に変化する変換特性を用いてもよく、一致度が大きくなるに伴って重み点数Pが増加する変換特性であればよい。
【0082】
上記では、各ブロック毎に求めたエッジ強度積算値を、実際の顔領域における各ブロック毎のエッジ強度積算値を表すマッチング用パターンと照合して一致度を求め、顔候補領域に対する顔領域としての確度の評価結果に相当する重み点数を、前記一致度に基づいて設定しているので、各顔候補領域に対し、人物の顔の内部構造に基づき、顔領域としての確度を精度良く評価することができる。また、顔内部の特定部分を抽出したり、二値化のように閾値を変更しながら繰り返し処理を行う必要が無いので処理が簡略化されると共に、顔内部の特定部分が正しく抽出されないことで、顔候補領域に対する評価の精度が低下することも防止できる。
【0083】
次のステップ144では背景領域判定処理を行う。この背景領域判定処理について、図3のフローチャートを参照して説明する。ステップ160では顔候補領域抽出処理(ステップ100)によって抽出された顔候補領域の中から判定対象の単一の顔候補領域のデータを取り込み、次のステップ162では判定対象の顔候補領域の明度Mを演算する。なお、明度Mは判定対象の顔候補領域内の明度の平均値(絶対値)であってもよいし、処理対象画像の明度の全画面平均値に対する判定対象の顔候補領域内の平均明度の比(相対値)であってもよい。
【0084】
ステップ164では、ステップ162で求めた明度が所定値以上か否か判定する。前記判定が否定された場合には何ら処理を行うことなくステップ176へ移行するが、前記判定が肯定された場合にはステップ166へ移行し、処理対象画像のうち判定対象の顔候補領域外に相当する範囲から、顔候補領域との明度の差が所定範囲内の画素のみから成る領域(背景候補領域)を抽出する。なお、ステップ166は請求項5に記載の「候補領域との明度の差が所定範囲内の画素から成る背景候補領域を探索」することに対応している。
【0085】
そして、次のステップ168では、抽出した背景候補領域の総面積を演算し、判定対象の顔候補領域の面積に対する背景候補領域の総面積の比率(面積比)を演算する。また、次のステップ170では抽出した背景候補領域の画像周縁部への偏在度合いを演算する。この偏在度合いとしては、例えば処理対象画像の画面中心と、背景候補領域を構成する各画素と、の距離を積算した値を用いることができる。
【0086】
ステップ172では、背景候補領域の面積比が第1の所定値以上か否か、及び背景候補領域の偏在度合いが第2の所定値以上か否か、の少なくとも一方を満足するか否か判定する。例えば処理対象の画像が、図7に示すように高明度で面積の広い背景領域(図7では空に相当する領域)が、手前に存在する物体(図7では木)に相当する領域によって複数の領域に分割されて画像である場合、図7にハッチングで示すように背景領域の一部が顔候補領域として誤抽出される可能性がある。
【0087】
しかし、このような画像では、誤抽出された顔候補領域の周囲に、該顔候補領域と同様の明度の領域が存在しており、多くの場合、この領域は広面積であると共に画像周縁部に偏在している。従って、ステップ172の判定が肯定された場合には、判定対象の顔候補領域は背景領域の一部である可能性が高いと推定される。このため、ステップ172の判定が否定された場合には何ら処理を行うことなくステップ176へ移行するが、判定が肯定された場合にはステップ174へ移行し、背景候補領域の面積比及び偏在度合いに応じて、判定対象の顔候補領域に対する重み点数が低下するように重み点数を修正する。
【0088】
この重み点数Pの修正は、例えば図8(A)に示すマップを用いて行うことができる。このマップは、初期(当初の)重み点数を横軸に、修正後の重み点数を縦軸にとった座標上で、原点を通りかつ傾きが1よりも小さい直線によって表される変換特性を有している。上記のようなマップを用いて重み点数Pを変換(下方修正)することにより、実際には顔領域ではない可能性が高い判定対象の顔候補領域が後処理に及ぼす悪影響の程度を小さくすることができる。なお、ステップ174における重み点数の修正は、請求項5に記載の「候補領域に対する主要部に相当する領域としての確度の評価を低くする」ことに対応している。
【0089】
次のステップ176では全ての顔候補領域に対して処理を行ったか否か判定する。判定が否定された場合にはステップ160に戻り、全ての顔候補領域に対してステップ160〜176を繰り返す。ステップ176の判定が肯定されると背景領域判定処理を終了し、図2のフローチャートのステップ146へ移行する。なお、上述した処理を経て各顔候補領域に対して最終的に設定される重み点数Pは、各顔候補領域に対する人物の顔に相当する領域としての確度の最終評価を表す評価値に対応している。
【0090】
ステップ146では、各顔候補領域の重み点数Pを顔領域判定用の閾値THF と各々比較し、重み点数Pが閾値THF 以上の顔候補領域を顔領域として抽出(選択)する。なお、マッチング用パターンとの一致度が高く、背景候補領域の経面積比・偏在度合いが低い顔候補領域については、最終的な重み点数Pが高くなるので、顔領域である確度が高い顔候補領域が顔領域として抽出されることになる。
【0091】
また次のステップ148では、次の(1)式又は(2)式に従って処理対象の画像の顔領域濃度Mfaceを演算し、顔領域抽出・濃度演算処理を終了する。
【0092】
【数1】
但し、iは各顔候補領域を識別するための符号、Nは顔候補領域の総数、Mi は顔候補領域iの濃度、Pi は顔候補領域iの重み点数、Si は顔候補領域iの面積である。
【0093】
(1)式及び(2)式より明らかなように、顔領域濃度Mfaceは各顔候補領域の濃度Mの加重平均値であり、(1)式では各顔候補領域の重み点数Pに基づいて各顔候補領域を重み付けしており、(2)式では重み点数P及び面積Sに基づいて各顔候補領域を重み付けしている。
【0094】
上記の顔領域抽出・濃度演算処理を行うと、オートセットアップエンジン44は、更に、イメージプロセッサ40で実行される各種の画像処理の処理条件を演算するが、顔領域抽出・濃度演算処理の処理結果は一部の画像処理の処理条件の演算に利用される。例えば先のステップ146で抽出された顔領域は、イメージプロセッサ40で実行される顔領域又はその一部のみを対象とした画像処理(例えば顔領域に対するシャープネス補正や赤目補正等)の演算に利用され、前記画像処理が顔領域のみを対象として行われるように処理条件が設定される。また、先のステップ148で演算された顔領域濃度Mfaceは、例えばイメージプロセッサ40で実行される画像全体を対象とした画像処理(例えば色・濃度補正等)に利用され、例えば顔領域濃度Mfaceが所定濃度になるように濃度補正条件等の処理条件が演算される。
【0095】
先にも説明したように、顔領域の抽出及び顔領域濃度Mfaceはマッチング用パターンとの一致度に基づいて設定した重み点数を用いて行っているので、顔候補領域抽出処理によって抽出された顔候補領域の中に、実際には顔領域でない顔候補領域が誤抽出により混在していたとしても、実際には顔領域でない顔候補領域が顔領域として抽出される確率が大幅に低減されると共に、実際には顔領域でない顔候補領域の濃度によって顔領域濃度が大幅に変化することも防止することができる。従って、顔領域の抽出結果又は顔領域濃度Mfaceを利用して処理条件が演算される各画像処理に対しても適正な処理条件が得られ、ファインスキャン画像データを対象としてイメージプロセッサ40で実行される各画像処理についても適正な処理結果が得られる。
【0096】
〔第2実施形態〕
次に本発明の第2実施形態について説明する。なお、本第2実施形態は第1実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第2実施形態に係る顔領域抽出・濃度演算処理について、図9のフローチャートを参照し、第1実施形態と異なる部分についてのみ説明する。
【0097】
なお、本第2実施形態に係る顔領域抽出・濃度演算処理は、請求項3の発明に係る画像処理方法が適用された処理であり、オートセットアップエンジン44のCPU46により、顔領域抽出・濃度補正プログラムが実行されることにより実現される。顔領域抽出・濃度補正プログラムは、当初は、情報記憶媒体72(図1参照)に記憶されており、パーソナルコンピュータ42に接続された情報読出装置(図示省略)に情報記憶媒体72が装填され、情報記憶媒体72から画像処理装置14へのプログラムの移入が指示されると、情報読出装置によって情報記憶媒体72から顔領域抽出・濃度補正プログラム等が読み出され、記憶内容を書換え可能なROM50に記憶される。そして顔領域抽出・濃度補正処理を実行すべきタイミングが到来すると、ROM50から顔領域抽出・濃度補正プログラムが読み出され、顔領域抽出・濃度補正プログラムがCPU46によって実行される。これにより、オートセットアップエンジン44は請求項7の発明に係る画像処理装置として機能する。このように、本第2実施形態に係る情報記憶媒体72は請求項9に記載の記録媒体に対応している。
【0098】
本第2実施形態に係る顔領域抽出・濃度演算処理では、顔候補領域抽出処理を行い(ステップ100)、天地情報の有無を判定し(ステップ102)、天地情報が有る場合にはステップ200へ移行し、顔候補領域抽出処理によって抽出された顔候補領域の中から単一の顔候補領域のデータを取り込む。ステップ202では、ステップ200でデータを取り込んだ顔候補領域に対し、高濃度方向に凸の濃度パターンの領域及び低濃度方向(高輝度方向)に凸の濃度パターンの領域が存在しているか否かを探索する。なお、ステップ202は請求項7に記載の第2の抽出手段に対応している。
【0099】
人物の顔に相当する顔領域のうち濃度が所定値以上の領域(高濃度領域)は、例として図10(A)に示すように、眼部及びその周囲に相当する領域(眼部領域)に存在しており、眼部領域内における濃度変化は、図10(B)に示すように急峻な傾きで高濃度方向に凸の変化パターンとなっている。なお、眼部領域には眼球、瞼、睫毛、眉毛等が近接した位置に存在していることから、眼部領域における実際の濃度変化はより複雑であるが、人物の顔のうち眼部及びその周辺は窪んでいるので、眼部領域内のおおよその濃度変化は、図10(A)に示すような変化パターンを示す。
【0100】
また、人物の顔に相当する顔領域のうち輝度が所定値以上の領域(高輝度領域)は、例として図11(A)に示すように、頬部に相当する領域(頬部領域)や鼻に相当する領域、額に相当する領域に存在しており、例えば頬部領域内における輝度変化は、図11(B)に示すように緩やかな傾きで高輝度方向に凸の変化パターンとなっている。従って、処理対象の顔候補領域が人物の顔に相当する顔領域である場合には、ステップ202の処理により、高濃度方向に凸の濃度パターンの領域として眼部領域が抽出され、低濃度方向に凸の濃度パターンの領域として頬部領域が抽出されることになる。
【0101】
次のステップ204では、ステップ202の探索により濃度パターンが発見されたか否か判定する。判定が否定された場合には、処理対象の顔候補領域は顔領域でない可能性が非常に高いので、ステップ206で顔領域としての整合度に0を代入してステップ210へ移行する。一方、ステップ204の判定が肯定された場合にはステップ208へ移行し、天地情報が表す天地方向を基準として、ステップ202で発見・抽出した濃度パターン領域の顔領域内における位置及び面積(濃度パターン領域についての濃度ヒストグラムの形状や、濃度パターン領域内の濃度の変化の仕方(例えば濃度変化の傾きや濃度パターンにおける山の高さとすそ野の広さとの比等)も含めてもよい)に基づいて、抽出した全ての濃度パターン領域について眼部及び頬部に相当する領域としての整合度を判定する。
【0102】
すなわち、処理対象の顔候補領域が顔領域である場合、眼部領域に相当する高濃度方向に凸の濃度パターン領域が例えば図4(B)にハッチングで示すブロック対内に各々存在しており、前記濃度パターン領域と処理対象の顔候補領域との面積比も、眼部領域としての面積比に相当する所定の数値範囲内である可能性が高い。従って、高濃度方向に凸の濃度パターン領域の眼部に相当する領域としての整合度は、例えば天地情報が表す天地方向を基準にして眼部領域が存在しているべき範囲(図4(B)にハッチングで示すブロック対)を設定し、設定した範囲と前記濃度パターン領域の位置との一致度を求めると共に、前記濃度パターン領域と処理対象の顔候補領域との面積比を、眼部領域としての面積比に相当する所定の数値範囲と比較して一致度を求め、双方の一致度に基づき2次元のマップ等を用いて判定することができる。
【0103】
また、処理対象の顔候補領域が顔領域である場合、頬部領域に相当する低濃度方向(高輝度方向)に凸の濃度パターン領域が、例えば図4(B)にハッチングで示すブロックの下方に隣接するブロック対内に各々存在しており、前記濃度パターン領域と処理対象の顔候補領域との面積比も、頬部領域としての面積比に相当する所定の数値範囲内である可能性が高い。従って、低濃度方向に凸の濃度パターン領域の頬部に相当する領域としての整合度についても、例えば天地情報が表す天地方向を基準にして頬部領域が存在しているべき範囲(図4(B)にハッチングで示すブロックの下方に隣接するブロック対)を設定し、設定した範囲と前記濃度パターン領域の位置との一致度を求めると共に、前記濃度パターン領域と処理対象の顔候補領域との面積比を、頬部領域としての面積比に相当する所定の数値範囲と比較して一致度を求め、双方の一致度に基づき2次元のマップ等を用いて判定することができる。
【0104】
そしてステップ209では、抽出した各濃度パターン領域に対して判定した整合度に基づいて、処理対象の顔候補領域に対して顔領域としての整合度を演算・設定し、ステップ210へ移行する。なお、顔領域の整合度としては、例えば各濃度パターン領域毎の整合度の総合計等を用いることができる。
【0105】
なお、上記では抽出した濃度パターン領域に対して眼部又は頬部に相当する領域としての整合度を判定しているが、特に低濃度方向に凸の濃度パターン領域に対しては、鼻や額に相当する領域としての整合度も併せて判定するようにしてもよい。但し、眼部及び頬部が顔領域の略左右対称な位置に一対存在しているのに対し、鼻や額は顔領域の左右方向に沿った略中央に1個のみ存在しているので、特定の濃度パターン領域について鼻や額に相当する領域としての整合度が高くなったとしても、該濃度パターン領域が実際には鼻や額に相当する領域ではなく、偶然に整合度が高くなる場合もあり、眼部や頬部と比較して整合度判定の信頼性は若干低い。このため、顔候補領域に対する顔領域としての整合度の設定にあたっては、鼻や額に相当する領域としての整合度は、低い重みで顔領域としての整合度に反映されるように設定することが望ましい。
【0106】
次のステップ210では全ての顔候補領域について処理(整合度の判定)を行ったか否か判定する。判定が否定された場合にはステップ200に戻り、各顔候補領域に対してステップ200〜208の処理・判定を各々行う。これにより、各顔候補領域に対して顔領域としての整合度が各々判定・設定されることになる。ステップ210の判定が肯定されるとステップ244へ移行する。
【0107】
一方、ステップ102の判定が否定された場合(天地情報が無かった場合)にはステップ220へ移行し、ステップ100の顔候補領域抽出処理によって抽出された顔候補領域の中から単一の顔候補領域のデータを取り込んだ後に、次のステップ222において、先のステップ202と同様に、高濃度方向に凸の濃度パターンの領域及び低濃度方向(高輝度方向)に凸の濃度パターンの領域が存在しているか否かを探索する。このステップ222も請求項7に記載の第2の抽出手段に対応している。
【0108】
ステップ224では、ステップ222の探索により濃度パターンが発見されたか否か判定する。判定が否定された場合には、処理対象の顔候補領域は顔領域でない可能性が非常に高いので、ステップ226で顔領域としての整合度に0を代入してステップ238へ移行する。
【0109】
一方、ステップ224の判定が肯定された場合にはステップ228へ移行して変数nに1を代入し、次のステップ230では、第n方向(この場合は第1方向)を基準(天地方向)として、ステップ222で発見・抽出した濃度パターン領域の顔領域内における位置及び面積に基づいて、抽出した全ての濃度パターン領域について、眼部に相当する領域としての整合度及び頬部に相当する領域としての整合度を判定する。そして次のステップ231では、抽出した各濃度パターン領域に対して判定した整合度に基づいて、先のステップ209と同様にして処理対象の顔候補領域に対して顔領域としての整合度を演算・設定する。
【0110】
ステップ232では変数nの値が4になったか否か判定し、判定が否定された場合にはステップ234で変数nの値を1だけインクリメントしてステップ230へ戻る。これにより、ステップ230、231では、第1〜第4方向を各々天地方向と仮定して、処理対象の顔候補領域に対し、顔領域としての整合度が各々判定されることになる。
【0111】
各方向について整合度が各々判定されると、ステップ232の判定が肯定されてステップ236へ移行し、第1〜第4方向のうち整合度が最大となった方向を記憶する。次のステップ238では、全ての顔候補領域に対して処理を行ったか否か判定する。判定が否定された場合にはステップ220に戻り、ステップ220〜238を繰り返す。これにより、全ての顔候補領域に対し、第1〜第4方向について顔領域としての整合度が各々判定される。
【0112】
ステップ238の判定が肯定されるとステップ240へ移行し、先のステップ236で各顔候補領域について各々記憶した整合度が最大の方向に基づいて、第1実施形態で説明したステップ138と同様にして画像の天地方向を判定する。次のステップ242では、判定した天地方向に対応する所定方向についての各顔候補領域毎の顔領域としての整合度を各顔候補領域に設定し、ステップ244へ移行する。
【0113】
そしてステップ244では、各顔候補領域に対して設定した整合度に応じて、各顔候補領域に対して重み点数を設定する。このステップ244は、ステップ208、209、230、231、242と共に請求項7に記載の評価手段に対応している。ステップ244における重み点数の設定についても、例として図6(A)や図6(B)に示すように、整合度が高くなるに伴って重み点数Pが高くなるように変換特性が定められたマップを用い、該マップを用いて整合度を重み点数Pに変換することで行うことができる。なお、次のステップ144以降の処理は第1実施形態と同様であるので説明を省略する。
【0114】
上記では、眼部及び頬部に特有の濃度パターンが生じている濃度パターン領域を抽出し、抽出した濃度パターン領域の、顔候補領域内における位置及び面積比に基づいて、抽出した濃度パターン領域の眼部に相当する領域としての整合度及び頬部に相当する領域としての整合度を判定して顔候補領域に対する顔領域としての整合度を判定し、顔候補領域に対する重み点数を前記整合度に基づいて設定しているので、顔候補領域に対し、人物の顔の内部構造に基づき、顔領域としての確度を精度良く評価することができる。また、上記では眼部や頬部に相当する領域の外縁にエッジが存在していない場合であっても候補領域に対する評価の精度が低下することを防止できると共に、二値化に基づく領域分割のように、閾値を変更しながら繰り返し処理を行う必要が無いので処理も簡略化される。
【0115】
なお、上記では背景候補領域の面積比が第1の所定値以上か否か、及び背景候補領域の偏在度合いが第2の所定値以上か否か、の少なくとも一方の判定を満足する顔候補領域に対し、重み点数が低下するように修正していたが、これに限定されるものではなく、顔候補領域から顔領域を抽出する処理を行う場合には、該顔領域の抽出において、前記少なくとも一方の判定を満足する顔候補領域に対しては、例として図8(B)に示すように顔領域判定用の閾値が高くなるように閾値を変更してもよい。これにより、背景領域である可能性が比較的高い顔候補領域が顔領域として抽出されにくくすることができる。なお閾値THF の変更量は一定値としてもよいし、背景候補領域の面積比と第1の所定値との差、及び背景候補領域の偏在度合いと第2の所定値との差に応じて閾値THF の変更量を変化させてもよい。
【0116】
また、各顔候補領域に設定する重み点数P、顔領域判定用の閾値THF 、或いは顔領域濃度Mfaceにおいて各顔候補領域の濃度Mに付与する重みは、顔領域抽出・濃度演算処理の処理結果を利用して行われる画像処理の種類に応じて変更するようにしてもよい。
【0117】
例えば顔領域抽出・濃度演算処理による顔領域の抽出結果を利用して、イメージプロセッサ40において、抽出された顔領域に対してのみ局所的にエッジ強調フィルタをかけて顔領域のシャープネスを強調するシャープネス強調処理が行われる場合、シャープネス強調の程度やフィルタの種類にも依存するが、実際には顔領域でない領域にもシャープネスの強調が行われたとしても視覚上は悪影響が小さい(目立たない)ことがある。このような場合には、顔領域判定用の閾値THF の値を通常よりも小さくし(すなわち顔候補領域の選択の基準を変更し)、より多くの顔候補領域が顔領域と判定されるようにしてもよい。顔領域判定用の閾値THF の値を低くするに従って、実際の顔領域に対応する顔候補領域が顔領域でないと誤判定される確率が低くなるので、上記により、画像中の顔領域に対して漏れなくシャープネス強調処理を施すことができる。
【0118】
また、顔領域判定用の閾値THF の値を変更することに代えて、第1実施形態に記載した一致度や第2実施形態に記載した整合度に対し、重み点数Pとして通常よりも大きな値を設定する(すなわち各顔候補領域に対する評価の基準を変更する)ことで、より多くの顔候補領域が顔領域と判定されるようにすることも可能である。特にシャープネス強調処理として、重み点数Pが大きくなるに従ってシャープネスの強調度合いを強くする処理が行われる場合には、重み点数Pを上記のように設定することでシャープネスの強調度合いを強めにコントロールすることも可能となる。
【0119】
また例えば、顔領域抽出・濃度演算処理による顔領域の抽出結果及び顔領域濃度Mfaceを利用して、抽出された顔領域に対してのみ顔領域濃度Mfaceに基づき局所的に濃度を補正する濃度補正処理が行われる場合、濃度補正の程度にも依存するが、実際には顔領域でない領域にも濃度補正が行われたとしても視覚上は悪影響が小さい(目立たない)ことがある。このような場合には、顔領域判定用の閾値THF の値を通常よりも小さくし、より多くの顔候補領域が顔領域と判定されるようにしてもよい。顔領域判定用の閾値THF の値を低くするに従って、実際の顔領域に対応する顔候補領域が顔領域でないと誤判定される確率が低くなるので、上記により、画像中の顔領域に対して漏れなく濃度補正処理を施すことができる。
【0120】
上記の説明は、顔領域の抽出において、実際には顔領域でない領域を誤って顔領域として抽出した場合にも影響が小さい画像処理が行われる場合であるが、逆に実際には顔領域でない領域を誤って顔領域として抽出した場合に多大な影響を受ける画像処理が行われる場合には、例えば顔領域判定用の閾値THF の値を通常よりも大きくしたり、一致度や整合度に対し重み点数Pとして通常よりも小さな値を設定することで、顔領域としての確度がより高い顔候補領域のみが顔領域として抽出されるようにすることも可能である。
【0121】
また、顔領域濃度についても、例えば次の(3)式に示すように、先の(1)式((2)式でもよい)で求まる顔領域濃度Mfaceと、他の画像特徴量D(例えば画像全体の平均濃度、非顔候補領域の平均濃度等)との加重平均値Mface’(但し、αF は顔領域濃度Mfaceに対する重み係数、α0 は画像特徴量Dに対する重み係数)を顔領域濃度として演算する場合、演算した顔領域濃度を利用して行われる画像処理の種類に応じて重み係数αF ,α0 の値を変更する(すなわち各顔候補領域に対する重み付けの基準を相対的に変更する)ことで、各顔候補領域の濃度Mに付与する重みを変更するようにしてもよい。
【0122】
Mface’=αF ・Mface+α0 ・D …(3)
また、顔領域抽出・濃度演算処理の処理結果を利用して行われる画像処理として、顔領域抽出・濃度演算処理の処理結果に対する要求が異なる複数種の画像処理(例えば、抽出された顔領域の中に実際には顔領域でない領域が混在していないことが望ましい画像処理と、抽出された顔領域の中に画像中の全ての顔領域が含まれていることが望ましい画像処理等)が各々行われる場合には、それぞれの画像処理に対応して顔領域の抽出や顔領域濃度の演算を複数回行ってもよい。本実施形態では、一致度や整合度を各顔候補領域の顔領域としての信頼度(確度)として用いることができ、上述したように、各顔候補領域に対する重み点数設定の基準、顔領域判定の基準(閾値THF )、各顔候補領域に対する重み付けの基準の少なくとも1つを変更することで、顔領域抽出結果や顔領域濃度演算結果としてそれぞれの画像処理が要求する結果を各々得ることができるので、前記複数種の画像処理が各々行われる場合にも、非常に複雑かつ時間がかかる顔候補領域抽出処理を、前記複数種の画像処理に対応して処理条件を変更しながら画像処理の種類数と同数回繰り返す必要はなく、顔領域抽出・濃度演算処理の処理時間を短縮することができ、画像処理装置14の性能向上を実現できる。
【0123】
また、上記ではプレスキャン画像データに基づきオートセットアップエンジン44によって顔領域抽出・濃度演算処理を含む処理条件の演算を行い、ファインスキャン画像データに対する実際の画像処理はイメージプロセッサ40で行う場合を説明したが、これに限定されるものでなく、単一の画像データに対して処理条件の演算、演算した処理条件での画像処理を順に行うようにしてもよく、これらの一連の処理を単一の処理部で行うようにしてもよい。
【0124】
更に、上記では各顔候補領域に対して設定した重み点数に基づき、顔領域の抽出及び顔領域濃度の演算を各々行っていたが、これに限定されるものではなく、何れか一方のみを行うようにしてもよい。
【0125】
また、上記では写真フィルムに記録された画像を読み取ることで得られた画像データを処理対象としていたが、これに限定されるものではなく、紙等の他の記録材料に記録された画像を読み取ることで得られた画像データや、デジタルカメラによる撮像によって得られた画像データ、或いはコンピュータによって生成された画像データを処理対象としてもよい。また、本発明は写真フィルムに記録されたフィルム画像を面露光により印画紙に露光記録する際の露光条件の決定に利用してもよいことは言うまでもない。
【0127】
【発明の効果】
以上説明したように請求項1、6、8記載の発明は、画像中の人物の顔に相当すると推定される候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を、各小領域毎に複数の方向について各々求め、人物の顔に相当する領域を所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと照合して一致度を演算し、複数の方向についての一致度の演算結果に基づいて画像の天地方向を判定すると共に、判定した天地方向についての一致度の演算結果に基づいて候補領域の人物の顔に相当する領域としての確度を評価するので、画像の天地方向が不明であったとしても、人物の顔の内部構造に基づき、画像の天地方向を精度良く判定できると共に、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる、という優れた効果を有する。
【0128】
請求項2記載の発明は、請求項1の発明において、人物の顔の眼部対を構成する個々の眼部に相当する領域が異なる小領域内に位置するように分割対象領域を分割するので、上記効果に加え、候補領域に対する人物の顔に相当する領域としての確度の評価をより精度良く行うことができる、という効果を有する。
【0129】
請求項3及び請求項7記載の発明は、人物の顔に相当すると推定される候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも1つに基づいて、抽出した領域の特定の部分に相当する領域としての整合度を演算することを複数の方向について各々行い、複数の方向についての整合度の演算結果に基づいて画像の天地方向を判定すると共に、判定した天地方向についての整合度の演算結果に基づいて候補領域の人物の顔に相当する領域としての確度を評価するので、画像の天地方向が不明であったとしても、人物の顔の内部構造に基づき、画像の天地方向を精度良く判定できると共に、人物の顔に相当する領域を簡易な処理により精度良く抽出することができる、という優れた効果を有する。
【0130】
請求項4記載の発明は、請求項3の発明において、高濃度方向又は低輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の眼部に対応する領域としての整合性を判定するか、又は低濃度方向又は高輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の頬部に対応する領域としての整合性を判定するので、上記効果に加え、候補領域に対する人物の顔に相当する領域としての確度の評価をより精度良く行うことができる、という効果を有する。
【0131】
請求項5記載の発明は、請求項1又は請求項2の発明において、画像中の主要部に相当すると推定される候補領域の明度が所定値以上の場合に、候補領域との明度の差が所定範囲内の画素から成る背景候補領域を、候補領域外の範囲内で探索し、抽出された背景候補領域の候補領域に対する面積比が所定値以上の場合、又は抽出された背景候補領域が画像中の周縁部に偏在している場合に、候補領域に対する主要部に相当する領域としての確度の評価を低くするので、画像中の背景に相当する領域が主要部に相当する領域として誤抽出されることを抑制できる、という効果を有する。
【図面の簡単な説明】
【図1】本実施形態に係る画像処理システムの概略構成図である。
【図2】第1実施形態に係る顔領域抽出・濃度演算処理の内容を示すフローチャートである。
【図3】背景領域判定処理の内容を示すフローチャートである。
【図4】(A)は顔候補領域の分割、(B)は分割によって得られた所定数のブロックと照合するためのマッチング用パターンの一例を各々示す概念図である。
【図5】濃度変化値(エッジ強度)を求めるための微分フィルタの一例を示す概念図である。
【図6】(A)及び(B)はマッチング用パターンとの一致度に応じて顔候補領域に重み点数を設定するためのマップを各々示す線図である。
【図7】背景領域が顔候補領域として誤抽出される可能性が高い画像の一例を示すイメージ図である。
【図8】(A)は背景領域である可能性が比較的高い顔候補領域に対する重み点数を修正するためのマップを示す線図、(B)は前記顔候補領域が存在していた場合の顔領域判定用の閾値の変更を説明する線図である。
【図9】第2実施形態に係る顔領域抽出・濃度演算処理の内容を示すフローチャートである。
【図10】(A)は顔領域内の濃度が所定値以上の高濃度領域の分布の一例を示すイメージ図、(B)は顔領域のうち眼部に相当する領域内における濃度変化の一例を示す線図である。
【図11】(A)は顔領域内の輝度が所定値以上の高輝度領域の分布の一例を示すイメージ図、(B)は顔領域のうち頬部に相当する領域内における輝度変化の一例を示す線図である。
【符号の説明】
10 画像処理システム
14 画像処理装置
40 イメージプロセッサ
44 オートセットアップエンジン
72 情報記憶媒体[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method, an image processing apparatus, and a recording medium, and in particular, an image processing method for extracting an area estimated to correspond to a human face in an image, an image processing apparatus to which the image processing method can be applied, And a recording medium on which a program for causing the computer to execute the image processing method is recorded.
[0002]
[Prior art]
The most noticeable part when viewing a portrait is the face of a person. For example, when an original image recorded on a photographic film or the like is recorded on a recording material such as photographic paper by exposure (recorded by surface exposure or scanning exposure) It is desirable to control the exposure so that the color and density of the person's face are appropriate, but in order to realize this exposure control, the color and density of the area corresponding to the person's face in the original image Must be detected accurately. In addition, in various image processing developed for the purpose of improving the image quality of an image represented by the image data obtained by reading the image, an area corresponding to a human face in the image or Some image processing (for example, local density correction or red-eye correction) is performed only on a part of the image. In order to perform this processing, the position of an area corresponding to a human face in the image, It is necessary to detect the size accurately.
[0003]
For this reason, conventionally, various methods for extracting a region estimated to correspond to a main part such as a human face in an image have been proposed. For example, in Japanese Patent Laid-Open No. 8-184925, based on image data, a shape pattern peculiar to each part of a person existing in an image (for example, head contour, face contour, face internal structure, trunk contour, etc.) The shape of the person's face is determined according to the size and orientation of the detected shape pattern, and the positional relationship between the predetermined portion of the person represented by the detected shape pattern and the person's face. Set a highly consistent area (candidate area) as the corresponding area, search for another shape pattern different from the detected shape pattern, and evaluate the consistency of the previously set candidate area as a human face However, a face area extraction method for extracting an area (face area) estimated to correspond to a human face has been disclosed.
[0004]
[Problems to be solved by the invention]
In the technique described in the above publication, the image to be processed is divided into a white area and a black area by binarization. For example, in setting a candidate area based on the internal structure of the face, each black area obtained by the division On the other hand, a black region estimated to correspond to the eye part of the person's face is extracted by determining the consistency of the shape as the area corresponding to the eye part of the person's face, and the extracted black region Candidate areas are set based on this. However, since the density range of the image to be processed is not constant and the density of the so-called black eye part of the eye part is not constant, the threshold value used for binarization is used in order to accurately extract the area corresponding to the eye part. While changing the above, it is necessary to repeat the above-described processing including region division by binarization a plurality of times, and to evaluate the region extracted by each processing. Therefore, there is a problem that it takes a lot of time for processing.
[0005]
In binarization, for example, when an area corresponding to an eye part of a person's face and an area corresponding to a relatively high density part such as a hair part are adjacent to each other on an image, black corresponding to an eye part is obtained. The region may be combined with a black region corresponding to another high density portion. In this case, there is a problem that it is difficult to correctly extract the region corresponding to the eye portion. This problem occurs even when the image is divided based on the edge extracted from the image (the portion where the density or luminance changes by a predetermined value or more), which is described in the above publication as an alternative method of binarization. If the change in density or luminance at the boundary between the area corresponding to the part and the area corresponding to the other high density part is small, it can occur similarly.
[0006]
As described above, in the conventional process using the internal structure of the face, when the area corresponding to the specific part inside the face to be extracted cannot be correctly extracted, the area corresponding to the human face is accurately extracted. There was a problem that it was not possible.
[0007]
By the way, when a scene including a main part such as a person is photographed, the area corresponding to the main part in the image is brighter than the area corresponding to the background, including when shooting with a strobe light. There are many. For this reason, even in the region corresponding to the main part, the low-luminance region is often excluded and the high-luminance region is extracted, but with this, the image to be processed is a person or the like under backlight illumination conditions. In the case of an image representing a scene including a main part, a high-luminance background part in the image may be erroneously extracted as an area corresponding to the main part. In this case, assuming that the exposure amount when the image is exposed and recorded on the recording material is controlled based on the color and density of the extracted area, the recorded image has an inappropriate image quality in which the area corresponding to the main part is crushed in black. Become.
[0008]
The present invention has been made in consideration of the above facts, and based on the internal structure of a person's face, an image processing method and an image processing apparatus capable of accurately extracting a region corresponding to a person's face by simple processing And obtaining a recording mediumEyesIs.
[0010]
[Means for Solving the Problems]
the aboveTo achieve the object, the image processing method according to the first aspect of the present invention extracts a candidate area estimated to correspond to a human face in the image represented by the image data based on the image data, and The extracted candidate area is divided into a predetermined number of small areas, and the feature amount related to the frequency and magnitude of the change in density or brightness in the small area,For each small areaEach in multiple directionsFor each small areaFor each of the plurality of directionsA pattern representing the relationship between the feature amounts of each small region when the obtained feature amount is divided into the predetermined number of small regions from a region corresponding to a person's faceEachCollationThe degree of coincidence is calculated, and the vertical direction of the image is determined based on the calculation result of the degree of coincidence for the plurality of directions, and based on the calculation result of the degree of coincidence for the determined vertical direction.The accuracy of the candidate area as an area corresponding to a person's face is evaluated.
[0011]
In the first aspect of the present invention, first, based on the image data, a candidate area estimated to correspond to a human face in the image represented by the image data is extracted. In extracting the candidate region, any conventionally known algorithm can be applied. Next, the extracted candidate area is divided into a predetermined number of small areas, and the feature amount related to the frequency and magnitude of change in density or luminance in the small area is calculated.,For each small areaEach in multiple directionsAsk. Note that, as the feature amount related to the frequency of change in density or luminance and the magnitude of the change, for example, the amount of change in density or luminance between adjacent pixels along a predetermined direction may be integrated. It can be obtained by performing every time.
[0012]
Within the area corresponding to the face of a person in the image, there are roughly constant areas where the density or brightness changes in a complex manner and areas where the density or brightness changes slowly or is almost uniform. Each exists in the position. For example, the eyeball, eyelashes, eyelashes, eyebrows, etc. are located close to each other in the partial area corresponding to the eye area and the periphery of the eye area, and the density and brightness are complex around the pupil and iris in the eyeball. Therefore, the density or luminance changes frequently and greatly (particularly, in the direction of arrangement of the eyeball, eyelashes, eyelashes, eyebrows, etc., that is, in the vertical direction of the face, the frequency of change in density or luminance And the magnitude of change is large). On the other hand, in the area corresponding to the face of the person, in the partial area corresponding to the cheek and its periphery, changes in density and luminance are gradual depending on the illumination conditions. Therefore, if the candidate area is an area corresponding to a person's face, the feature amount obtained for each small area by dividing the candidate area into a predetermined number of small areas is any part of the person's face. The value varies greatly depending on whether it corresponds to.Further, the feature amount of each small area obtained for each of a plurality of directions is the degree of coincidence with a pattern representing the relationship between the feature quantities for each small area when the area corresponding to the face of a person is divided into small areas. However, the value varies greatly depending on whether or not the direction of the feature value matches the vertical direction of the image.
[0013]
In the invention of
[0014]
According to the first aspect of the present invention, it is not necessary to extract a specific part inside the face or to repeat the process while changing the threshold as in binarization. By not extracting correctly, it can also prevent that the precision of evaluation with respect to a candidate area | region falls. Therefore, according to the invention of
[0016]
By the way, the eyes of a person's face are present at positions that are substantially symmetrical when viewed from the front of the face. For example, when photographing a scene including a person, the left and right eyes are present in the image. When there is an area corresponding to a person's face in the image, as in most cases of shooting, the area corresponding to the eye pair of the person's face exists in the image with a very high probability. is doing. And in the area | region equivalent to the eye part in an image, and its periphery, it has the characteristic that a density | concentration or a brightness | luminance changes frequently and largely as demonstrated previously.
[0017]
Therefore, in the invention according to
[0018]
If the candidate area is an area corresponding to a person's face, a small area pair corresponding to the eye pair of the person's face is present in the predetermined number of small areas with a very high probability, and the eye part is Since it exists in a peculiar position (a position that is substantially bilaterally symmetric when viewed from the front of the face), it is possible to easily determine a small region pair that is estimated to correspond to the eye pair. Therefore, according to the second aspect of the present invention, it is possible to more accurately evaluate the accuracy of a candidate region as a region corresponding to a person's face from a feature value value of a small region pair estimated to correspond to an eye pair. It can be carried out.
[0019]
Also, ContractThe image processing method according to the third aspect of the present invention extracts a candidate area estimated to correspond to a human face in an image represented by the image data based on the image data, and the density in the extracted candidate area Alternatively, based on the luminance distribution, an area where a specific density or luminance pattern is generated in a specific part of the person's face is extracted, and the position of the extracted area in the candidate area and the area ratio with the candidate area Matching the extracted region as the region corresponding to the particular portion based on at least one of the shape of the density or luminance histogramEvery timeTheCalculationDoThis is performed for each of a plurality of directions, and the vertical direction of the image is determined based on the calculation result of the degree of matching for the plurality of directions, and based on the calculation result of the degree of matching for the determined vertical direction.The accuracy of the candidate area as an area corresponding to a person's face is evaluated.
[0020]
In the third aspect of the invention, similar to the first aspect of the invention, based on the image data, after extracting a candidate area estimated to correspond to a human face in the image represented by the image data, the extracted candidates Based on the density or luminance distribution in the area, an area in which a specific density or luminance pattern is generated in a specific portion of the human face is extracted.
[0021]
Since a person's face has irregularities, in an image representing a scene in which the person's face is illuminated under general lighting conditions, in a partial area corresponding to a depression (for example, an eye) of the person's face, The density distribution or luminance distribution is convex in the high density direction (low luminance direction) with the vicinity of the bottom as a vertex. As described above, the density or luminance frequently and greatly changes in the partial area corresponding to the eye part and the periphery thereof, but the density distribution (luminance as described above) Distribution). On the other hand, in a partial region corresponding to a convex portion (for example, cheek portion) of a person's face, a density distribution or luminance distribution convex in the low density direction (high luminance direction) with the vicinity of the vertex of the convex portion as the vertex.
[0022]
In the invention of claim 3, for example, an area where a specific density or luminance pattern is generated in a specific part of the human face as described above is extracted, and the position of the extracted area in the candidate area, the candidate area, As a region corresponding to a specific part of the extracted region based on at least one of the shape of the histogram of area ratio, density or luminanceEvery timeTheCalculationDoThis is performed for each of a plurality of directions, and the top / bottom direction of the image is determined based on the calculation result of the matching degree for the plurality of directions, and based on the calculation result of the matching degree for the determined top / bottom direction.Since we evaluate the accuracy of the candidate area as the area corresponding to the person's face,Based on the internal structure of the person's face, it can accurately determine the vertical direction of the image,The accuracy of the candidate area as an area corresponding to the person's face can be accurately evaluated based on the internal structure of the person's face. And based on the evaluation result with respect to a candidate area | region, the area | region equivalent to a person's face can be extracted accurately.
[0023]
The invention of claim 3 does not divide the area at the position where the edge exists unlike the area division based on the edge, so that the edge exists at the outer edge of the area corresponding to the specific part of the human face. It is not necessary, and even if there is no edge at the outer edge of the area, it is possible to prevent the evaluation accuracy for the candidate area from being lowered. Further, unlike the region division based on binarization, it is not necessary to perform the repeated processing while changing the threshold value, so that the processing is simplified. Therefore, according to the invention of claim 3, as in the invention of
[0024]
In the invention of claim 3, as the density or luminance pattern peculiar to a specific part of the person's face, a pattern of density or luminance in any part of the person's face can be adopted. As described in 4, a region in which a convex density or luminance pattern is generated in a high density direction or low luminance direction peculiar to the eye part of a person's face is extracted, and the region corresponding to the eye part of the extracted region is extracted. Determine the consistency as a region, or extract a region where a pattern of convex density or luminance in the low density direction or high luminance direction peculiar to the cheek part of a person's face is generated, and the cheek of the extracted region It is preferable to determine consistency as a region corresponding to a part.
[0025]
It should be noted that the determination of the consistency of the region corresponding to the eye portion with respect to the region where the convex density or luminance pattern is generated in the high density direction or the low luminance direction is performed by determining the position of the extracted region in the candidate region, the candidate region At least one of the shape of the histogram of the area ratio, density or brightness of the eye, the position of the eye part on the face of the person, the area ratio of the whole face of the person to the eye part, the density or brightness of the eye part of the person face This can be done by matching with at least one of the shapes of the histogram. Similarly, regarding the determination of consistency as a region corresponding to the cheek portion with respect to a region where a convex density or luminance pattern occurs in the low density direction or the high luminance direction, the position of the extracted region in the candidate region, At least one of the shape of the area ratio, density or luminance histogram with the candidate area, the position of the cheek in the person's face, the area ratio of the whole person's face to the cheek, the density in the cheek of the person's face or This can be done by collating with at least one of the shapes of the luminance histogram.
[0026]
Since the above-described eye part and cheek part are present at positions that are substantially symmetrical when viewed from the front of the person's face, it corresponds to a region having a density or luminance pattern corresponding to the eye part or a cheek part. If a pair of regions having a density or luminance pattern to be extracted is extracted at substantially symmetrical positions, it can be determined that the consistency of the extracted region pair as a region corresponding to the eye part or cheek part is high. . Therefore, it is possible to more accurately evaluate the accuracy of the candidate region as a region corresponding to a person's face.
[0027]
By the way, when the image to be processed is an image representing a scene in which a main part such as a person exists under backlight illumination conditions, the high-luminance background part in the image is mistaken as an area corresponding to the main part. In some cases, the present inventor further examined the case where erroneous extraction occurs as described above. As a result, for example, when a high-luminance background area corresponding to the sky in the scene forms a single area on the image (not divided into a plurality of areas), the probability of erroneous extraction is low. On the other hand, for example, it has been found that there is a high probability of erroneous extraction when a high-luminance background region is divided into a plurality of regions on the image by an object existing before the background portion in the scene.
[0028]
Based on the above, ContractOrigin of claim 5Tomorrow,In the invention of
[0029]
In the invention of claim 5,WithoutWhen the brightness of the candidate area is equal to or greater than a predetermined value, a background candidate area composed of pixels whose brightness difference from the candidate area is within a predetermined range is searched for within a range outside the candidate area. Thus, when the extracted candidate area is actually a part of the area corresponding to the background portion in the image, another candidate area corresponding to the background portion existing outside the candidate area is included. Parts will be extracted.
[0030]
Then, when a background candidate region composed of pixels whose brightness difference from the candidate region is within a predetermined range is extracted and the area ratio of the extracted background candidate region to the candidate region is a predetermined value or more, or the extracted background candidate When the area is unevenly distributed in the peripheral part in the image, the evaluation of the accuracy as the area corresponding to the main part with respect to the candidate area is lowered. When the area ratio of the background candidate area to the candidate area is greater than or equal to a predetermined value (when areas with the same brightness as the candidate area are distributed over a wide area in the image), or the background candidate area is at the periphery of the image If it is unevenly distributed, the background candidate area and the previously extracted candidate area are likely to be areas corresponding to the background portion. Therefore, by reducing the evaluation of the accuracy of the candidate region as the region corresponding to the main part as described above, the region corresponding to the background in the image is prevented from being erroneously extracted as the region corresponding to the main part. be able to.
[0031]
In addition, in an image or the like representing a scene in which the main part is illuminated by a strobe or the like, even if a region (background candidate region) having the same brightness as the main part exists in the image, the area of the background candidate region is Since it is small and has a low possibility of being unevenly distributed in the peripheral part in the image, according to the invention of claim 5, it corresponds to the main part for the candidate area estimated to correspond to the main part in the image as described above. It is possible to prevent the evaluation of the accuracy as the area to be performed from being unduly lowered.
[0032]
An image processing apparatus according to a sixth aspect of the present invention is based on image data, and includes first extraction means for extracting a candidate area estimated to correspond to a human face in an image represented by the image data; The candidate area extracted by one extraction means is divided into a predetermined number of small areas, and the feature quantity related to the frequency of change in density or luminance in the small area and the magnitude of the change is obtained.,For each small areaEach in multiple directionsCalculating means for obtaining, and for each small region by the calculating meansFor each of the plurality of directionsA pattern representing a relationship between the feature quantities for each small area when the area corresponding to a human face is divided into the predetermined number of small areas.EachCollationThe degree of coincidence is calculated, and the vertical direction of the image is determined based on the calculation result of the degree of coincidence for the plurality of directions, and based on the calculation result of the degree of coincidence for the determined vertical direction.And an evaluation unit that evaluates the accuracy of the candidate region as a region corresponding to a person's face.Even if the top and bottom direction of the image is unknown,Based on the internal structure of the human face,In addition to accurately determining the vertical direction of the image,An area corresponding to a human face can be extracted with a simple process with high accuracy.
[0033]
An image processing apparatus according to a seventh aspect of the invention is based on image data, and includes first extraction means for extracting a candidate area estimated to correspond to a human face in an image represented by the image data; Second extraction means for extracting a region in which a specific density or luminance pattern is generated in a specific part of a person's face based on the density or luminance distribution in the candidate area extracted by one extraction means; The aboveBy the second extraction meansExtractionIsOf the areaAbovePosition within the candidate area,AboveMatching the extracted region as the region corresponding to the specific portion based on at least one of the shape of the histogram of the area ratio, density or luminance with the candidate regionEvery timeTheCalculationDoThis is performed for each of a plurality of directions, and the vertical direction of the image is determined based on the calculation result of the degree of matching for the plurality of directions, and based on the calculation result of the degree of matching for the determined vertical direction.And an evaluation unit that evaluates the accuracy of the candidate region as a region corresponding to a person's face.Even if the top and bottom direction of the image is unknown,Based on the internal structure of the human face,In addition to accurately determining the vertical direction of the image,An area corresponding to a human face can be extracted with a simple process with high accuracy.
[0034]
The recording medium according to the invention of
[0035]
The recording medium according to the invention of
[0036]
A recording medium according to the invention of claim 9 is provided.First extraction means for extracting a candidate area estimated to correspond to the face of a person in the image represented by the image data based on the image data; in the candidate area extracted by the first extraction means; A second extracting unit that extracts a region where a specific density or luminance pattern is generated in a specific portion of a person's face based on the density or luminance distribution, and the second extracting unit extracts A region corresponding to the specific portion of the extracted region based on at least one of a position in the candidate region, an area ratio with the candidate region, a density or luminance histogram shape, and the like. The degree is calculated for each of a plurality of four directions, and the top and bottom direction of the image is determined based on the calculation result of the degree of matching for the plurality of directions. About for matching degree on the basis of the calculation result to function as an evaluation means for evaluating the accuracy of a region corresponding to a person's face in the candidate regionThe program is recorded.
[0037]
The recording medium according to the invention of claim 9 includesComputeraboveFirst extraction means, second extraction means, and evaluation meansClaims a program for functioning as a computer, ie a computer7 related to the inventionImage processingFunction as a deviceSince a program for recording is recorded, the computer reads out and executes the program recorded on the recording medium, and, 7Like the invention ofEven if the top and bottom direction of the image is unknown,Based on the internal structure of the human face,In addition to accurately determining the vertical direction of the image,An area corresponding to a human face can be extracted with a simple process with high accuracy.
[0038]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an example of an embodiment of the present invention will be described in detail with reference to the drawings.
[0039]
[First Embodiment]
FIG. 1 shows an
[0040]
The
[0041]
The
[0042]
The line
[0043]
The input end of the I /
[0044]
The output end of the I /
[0045]
In this embodiment, each film image recorded on the
[0046]
The auto setup engine 44 includes a
[0047]
Further, the auto setup engine 44 is an image including extraction of a main part (for example, a region corresponding to a human face (face region)) in the image based on the pre-scan image data (or the file image data with a reduced resolution). A feature amount calculation is performed, and various image processing conditions for the fine scan image data (or file image data) obtained by the fine scan performed by the
[0048]
The
[0049]
Then, the generated simulation image data is converted into a signal for displaying the image on the display, and the simulation image is displayed on the display based on the signal. When the displayed simulation image is verified by an operator, such as image quality, and information for instructing correction of processing conditions is input as a verification result via the keyboard, the information is output to the auto setup engine 44. . As a result, the auto setup engine 44 performs processing such as recalculation of processing conditions for image processing.
[0050]
On the other hand, fine scan image data (or high resolution file image data) input to the I /
[0051]
In addition to the above, image processing that can be executed by the
[0052]
When image data that has been subjected to image processing by the
[0053]
The
[0054]
Next, as an operation of the present embodiment, prescan data is input from the
[0055]
The face area extraction / density calculation process according to the first embodiment is a process to which the image processing method according to the invention of
[0056]
When the timing for executing the face area extraction / density correction process arrives, the face area extraction / density correction program is read from the
[0057]
The face area extraction / density correction process will be described below with reference to the flowchart of FIG. In
[0058]
[Example of face candidate area extraction method 1]
Based on the data (image data) obtained by dividing the image into a large number of measurement points and separating each measurement point into three colors R, G, and B, each measurement point has a skin color range on the color coordinates. A region containing a cluster (group) of measurement points determined to be within the skin color range is extracted as a face candidate region (Japanese Patent Laid-Open No. 52-156624, Japanese Patent Laid-Open No. (See JP-A-52-156625, JP-A-53-12330, JP-A-53-145620, JP-A-53-145621, JP-A-53-145622, etc.).
[0059]
[Example 2 of face candidate area extraction method]
Based on the image data, a histogram for the hue value (and saturation value) is obtained, the obtained histogram is divided for each mountain, and it is determined to which of the divided mountains each measurement point belongs. Are divided into groups corresponding to the divided mountains, the image is divided into a plurality of regions for each group, a region corresponding to a human face is estimated from the plurality of regions, and the estimated region is extracted as a face candidate region (See JP-A-4-346333).
[0060]
[Example 3 of face candidate area extraction method]
Based on the image data, a shape pattern peculiar to each part of the person existing in the image (for example, a shape pattern representing the contour of the head, the contour of the face, etc .: the internal structure of the face is used in the processing described later, so here 1) is detected and corresponds to a human face according to the size and orientation of the detected shape pattern and the positional relationship between the predetermined portion of the person represented by the detected shape pattern and the human face. Set the estimated area. Also, another shape pattern different from the detected shape pattern is searched, the consistency of the previously set region as a human face is obtained, and face candidate regions are extracted (Japanese Patent Laid-Open Nos. 8-122944 and No. 8-183925, Japanese Patent Laid-Open No. 9-138471, etc.).
[0061]
[Example 4 of face candidate area extraction method]
Based on the image data, the amount of change in density or brightness at each location in the image is obtained for each direction, a reference point is set, and a search range and a search at each location within the search range are set for the reference point. A search direction pattern indicating a change direction of density or luminance to be set is set in accordance with the contour shape of the face area, and a change amount of density or luminance that exists in the search range and along the direction indicated by the search direction pattern is set. Searching for a location that is equal to or greater than a predetermined value, and when a location that satisfies the search condition is detected, repeatedly setting that location as the next reference point, and connecting multiple locations in the image set in sequence as the reference point A face candidate region is extracted by extracting a line as a contour line representing the contour of the face region (see JP-A-913871).
[0062]
[Example 1 of background removal method]
Based on the image data, it is determined whether or not each measurement point is included in a range of a specific color clearly belonging to the background on the color coordinates (for example, sky, sea blue, lawn, tree green, etc.) Then, an area where a cluster (group) of measurement points determined to be within the specific color range exists is determined as a background area, and the remaining area is removed as a non-background area (an area corresponding to a human face is Region that is likely to be included: this is also extracted as a face candidate region of the present invention.
[0063]
[Example 2 of background removal method]
Based on the image data, the image is divided into a plurality of areas in the same manner as in the second example of the main part extraction method, and then the feature amount as the area corresponding to the background for each area (the straight line portion included in the outline). Ratio, line symmetry, number of irregularities, contact rate with the outer edge of the image, density contrast in the area, presence / absence of density change pattern in the area, etc.) and whether each area is a background area based on the obtained feature quantity Thus, the area determined as the background portion is removed, and the remaining area is extracted as a non-background area (face candidate area) (see JP-A-8-122944, JP-A-8-183925, etc.).
[0064]
Note that the above extraction method is merely an example, and it goes without saying that any method can be applied as long as it is an extraction method that extracts an area estimated to correspond to a human face from an image. Further, in
[0065]
In the
[0066]
In step 104, data of a single face candidate area is fetched from the face candidate areas extracted by the face candidate area extraction process in
[0067]
It should be noted that the division pattern of the face candidate area shown in FIG. 4A (the number of divisions into blocks and the shape and arrangement of the blocks) is, as is apparent from the figure, the individual eyes that constitute the eye pair of the human face. The areas corresponding to the sections are determined to be located in different blocks. Therefore, dividing the face candidate area according to the division pattern shown in FIG. 4A corresponds to the division described in
[0068]
In step 108, for each block of the face candidate area, the edge intensity integrated value is obtained by calculating and integrating the edge intensity (density change amount) in a predetermined direction corresponding to the vertical direction represented by the vertical information. Note that the edge intensity integrated value corresponds to the “feature amount related to the frequency and magnitude of changes in density or luminance within a small region” according to the present invention, and step 108 is the calculation according to claim 6. Corresponds to the means. In the first embodiment, since the face area is extracted using the fact that the density in the area corresponding to the eye part of the person's face changes frequently and greatly, the change in the density in the area corresponding to the eye part is changed. The direction in which the frequency and the magnitude of the change are remarkably increased, that is, the direction that coincides with the top and bottom direction is set as a predetermined direction corresponding to the top and bottom direction.
[0069]
FIG. 5 shows density changes along a direction from a specific pixel toward each of the eight pixels existing in the vicinity of the specific pixel (total of eight directions: shown as eight arrows having different directions in FIG. 5). A differential filter for computing the value is shown. For the calculation of the edge intensity integrated value for each block, for example, a differential filter corresponding to a predetermined direction corresponding to the top-and-bottom direction is selected from the above eight differential filters, and all of the face candidate regions are selected using the selected differential filter. It can be obtained by calculating the amount of change in density (edge intensity) along the predetermined direction for each pixel and integrating the calculation results for each block.
[0070]
In the
[0071]
As described above, the standard value of the edge intensity integrated value for each block in the matching pattern is as shown in FIG. 4 (B) for a pair of blocks (see also FIG. 4 (A)) corresponding to a pair of eyes of a person's face. As shown in FIG. 4B, the block corresponding to a pair of cheeks and eyebrows (see also FIG. 4A) of the person's face is very high as described in FIG. The value becomes a low value and reflects the frequency of change in density (or luminance) and the magnitude of the change in each part of the human face.
[0072]
In the first embodiment, out of 5 × 5 blocks, five blocks corresponding to a pair of eyes, a pair of cheeks, and an eyebrow in a human face (enclosed by a solid line in FIG. 4B). For the block indicated by (5), collation is performed by comparing the calculated value of the edge intensity integrated value with the standard value of the edge intensity integrated value set in the matching pattern. Then, a physical quantity whose value changes in accordance with the difference of the calculated value with respect to the standard value of the edge intensity integrated value for the five blocks (for example, when the deviation of the standard value of the edge intensity integrated value of each block is used as a reference) The ratio of the deviation of the calculated value of the edge intensity integrated value of each block is calculated and set as the degree of coincidence. The degree of coincidence may be set by comparing and collating the edge strength integrated values of all blocks.
[0073]
In
[0074]
On the other hand, if there is no top-and-bottom information, the determination in
[0075]
In
[0076]
Note that the direction in which the degree of coincidence is calculated is not limited to the first to fourth directions. For example, the degree of coincidence may be calculated in eight directions indicated by eight arrows in FIG. The same applies to the second embodiment.
[0077]
When the degree of coincidence is calculated for each direction, the determination in
[0078]
If the determination in
[0079]
When the top / bottom direction is determined as described above, in the next step 140, the degree of coincidence of each face candidate region in a predetermined direction corresponding to the determined top / bottom direction is set in each face candidate region, and the process proceeds to step 142. .
[0080]
In step 142, a weight score is set for each face candidate area in accordance with the matching degree set for each face candidate area. The weight score corresponds to an evaluation value for evaluating the accuracy of the face candidate area as an area corresponding to a person's face, and step 142 includes
[0081]
For example, as shown in FIG. 6A, the weight score is obtained by using a map in which conversion characteristics are determined so that the weight score P increases as the matching score increases. It can be set by converting to weight point number P. Note that the conversion characteristic shown in FIG. 6A is merely an example. For example, in the conversion characteristic shown in FIG. 6A, there is a dead area where the weight point P does not change with respect to the change in matching degree. It may be a conversion characteristic having no insensitive area (see FIG. 6B as an example). Also, a conversion characteristic in which the weight point number P changes nonlinearly with respect to the change in the degree of coincidence may be used, as long as the conversion characteristic increases as the degree of coincidence increases.
[0082]
In the above, the edge intensity integrated value obtained for each block is collated with a matching pattern representing the edge intensity integrated value for each block in the actual face area to obtain the degree of coincidence, and as the face area for the face candidate area Since the weight score corresponding to the accuracy evaluation result is set based on the degree of coincidence, the accuracy as the face region is accurately evaluated for each face candidate region based on the internal structure of the person's face. Can do. Also, it is not necessary to extract a specific part inside the face or to repeat the process while changing the threshold as in binarization, so that the process is simplified and the specific part inside the face is not correctly extracted. It is also possible to prevent the evaluation accuracy for the face candidate area from being lowered.
[0083]
In the
[0084]
In
[0085]
In the next step 168, the total area of the extracted background candidate regions is calculated, and the ratio (area ratio) of the total area of the background candidate regions to the area of the face candidate region to be determined is calculated. In the next step 170, the degree of uneven distribution of the extracted background candidate region in the peripheral portion of the image is calculated. As the uneven distribution degree, for example, a value obtained by integrating the distance between the screen center of the processing target image and each pixel constituting the background candidate region can be used.
[0086]
In
[0087]
However, in such an image, a region having the same brightness as that of the face candidate region exists around the erroneously extracted face candidate region. In many cases, this region has a large area and a peripheral portion of the image. Is unevenly distributed. Therefore, when the determination in
[0088]
The correction of the weight point number P can be performed using, for example, a map shown in FIG. This map has a conversion characteristic represented by a straight line passing through the origin and having a slope of less than 1 on the coordinates with the initial (initial) weight points on the horizontal axis and the corrected weight points on the vertical axis. is doing. By converting the weight point P using the map as described above (downward correction), it is possible to reduce the degree of the adverse effect on the post-processing of the face candidate area to be judged that is likely not actually a face area. Can do. The correction of the number of weight points in
[0089]
In the
[0090]
In step 146, the weight point P of each face candidate area is set to the threshold TH for face area determination.FAnd the weight point P is the threshold value TH.FThe above face candidate areas are extracted (selected) as face areas. For face candidate areas that have a high degree of coincidence with the matching pattern and a low background area ratio and low degree of uneven distribution, the final weight score P is high, so that the face candidate has a high probability of being a face area. An area is extracted as a face area.
[0091]
In the
[0092]
[Expression 1]
Where i is a code for identifying each face candidate area, N is the total number of face candidate areas, MiIs the density of the face candidate region i, PiIs the weight score of the face candidate area i, SiIs the area of the face candidate region i.
[0093]
As is clear from the expressions (1) and (2), the face area density Mface is a weighted average value of the density M of each face candidate area, and in the expression (1), based on the weight point P of each face candidate area. Each face candidate area is weighted, and each face candidate area is weighted based on the number of weight points P and area S in equation (2).
[0094]
When the face area extraction / density calculation process is performed, the auto setup engine 44 further calculates various image processing conditions executed by the
[0095]
As described above, since the face area extraction and the face area density Mface are performed using the weight points set based on the degree of matching with the matching pattern, the face extracted by the face candidate area extraction process Even if face candidate areas that are not actually face areas are mixed due to erroneous extraction in the candidate areas, the probability that face candidate areas that are not actually face areas will be extracted as face areas is greatly reduced. In fact, it is possible to prevent the face area density from significantly changing depending on the density of the face candidate area that is not a face area. Therefore, an appropriate processing condition is obtained for each image processing in which the processing condition is calculated using the face region extraction result or the face region density Mface, and is executed by the
[0096]
[Second Embodiment]
Next, a second embodiment of the present invention will be described. Since the second embodiment has the same configuration as that of the first embodiment, the same reference numerals are given to the respective parts, and the description of the configuration is omitted. Hereinafter, the face area extraction / decoding according to the second embodiment will be described. Concerning the density calculation process, only the parts different from the first embodiment will be described with reference to the flowchart of FIG.
[0097]
The face area extraction / density calculation process according to the second embodiment is a process to which the image processing method according to the invention of claim 3 is applied, and the face area extraction / density correction is performed by the
[0098]
In the face area extraction / density calculation process according to the second embodiment, a face candidate area extraction process is performed (step 100), the presence / absence of top / bottom information is determined (step 102), and if there is top / bottom information, the process proceeds to step 200. Then, the data of a single face candidate area is captured from the face candidate areas extracted by the face candidate area extraction process. In
[0099]
Of the face area corresponding to a human face, an area having a density equal to or higher than a predetermined value (high density area) is an area corresponding to the eye and its surroundings (eye area) as shown in FIG. 10A as an example. As shown in FIG. 10B, the density change in the eye region is a change pattern convex in the high density direction with a steep slope. Since the eyeball area, eyelashes, eyelashes, eyebrows, etc. are present in the eye area, the actual density change in the eye area is more complicated. Since the periphery is depressed, the approximate density change in the eye region shows a change pattern as shown in FIG.
[0100]
In addition, as shown in FIG. 11A, for example, an area having a luminance equal to or higher than a predetermined value (high luminance area) in a face area corresponding to a person's face is an area corresponding to a cheek (cheek area) or The luminance change in the region corresponding to the nose and the region corresponding to the forehead, for example, the luminance change in the cheek region is a change pattern convex in the high luminance direction with a gentle inclination as shown in FIG. ing. Accordingly, if the face candidate area to be processed is a face area corresponding to a human face, the eye area is extracted as a density pattern area convex in the high density direction by the process of
[0101]
In the next step 204, it is determined whether or not a density pattern has been found by the search in
[0102]
That is, when the face candidate area to be processed is a face area, a density pattern area convex in the high density direction corresponding to the eye area exists, for example, in each block pair indicated by hatching in FIG. The area ratio between the density pattern area and the face candidate area to be processed is also likely to be within a predetermined numerical range corresponding to the area ratio as the eye area. Accordingly, the degree of matching as a region corresponding to the eye part of the density pattern region convex in the high density direction is, for example, a range in which the eye region should exist with reference to the top / bottom direction represented by the top / bottom information (FIG. 4B ) Is set to the block pair indicated by hatching), the degree of coincidence between the set range and the position of the density pattern area is obtained, and the area ratio between the density pattern area and the face candidate area to be processed is determined as the eye area. The degree of coincidence can be obtained by comparison with a predetermined numerical range corresponding to the area ratio, and a determination can be made using a two-dimensional map or the like based on the degree of coincidence.
[0103]
When the face candidate area to be processed is a face area, a density pattern area convex in the low density direction (high luminance direction) corresponding to the cheek area is, for example, below the block indicated by hatching in FIG. The area ratio between the density pattern area and the face candidate area to be processed is also likely to be within a predetermined numerical range corresponding to the area ratio as the cheek area. . Therefore, for the degree of matching as a region corresponding to the cheek portion of the density pattern region convex in the low density direction, for example, a range in which the cheek region should exist with reference to the top and bottom direction represented by the top and bottom information (FIG. 4 ( B) is set to a block adjacent to the lower part of the block indicated by hatching, and the degree of coincidence between the set range and the position of the density pattern area is obtained, and the density pattern area and the face candidate area to be processed are The degree of coincidence can be obtained by comparing the area ratio with a predetermined numerical range corresponding to the area ratio as the cheek region, and can be determined using a two-dimensional map or the like based on the degree of coincidence.
[0104]
In
[0105]
In the above description, the degree of matching is determined as an area corresponding to the eye or cheek for the extracted density pattern area. However, the nose and the forehead are particularly suitable for the density pattern area convex in the low density direction. It is also possible to determine the matching degree as a region corresponding to. However, while there are a pair of eyes and cheeks at substantially symmetrical positions in the face area, there is only one nose and forehead at substantially the center along the left and right direction of the face area. Even if the degree of matching as a region corresponding to the nose or forehead is high for a specific density pattern region, the density pattern region is not actually a region corresponding to the nose or forehead, and the matching degree is increased by chance. Therefore, the reliability of the matching degree determination is slightly lower than that of the eye or cheek. For this reason, in setting the degree of matching as a face area with respect to the face candidate area, the degree of matching as an area corresponding to the nose or forehead may be set to be reflected in the degree of matching as a face area with a low weight. desirable.
[0106]
In the
[0107]
On the other hand, when the determination in
[0108]
In
[0109]
On the other hand, if the determination in
[0110]
In
[0111]
When the degree of matching is determined for each direction, the determination in
[0112]
If the determination in
[0113]
In step 244, a weight score is set for each face candidate area according to the matching degree set for each face candidate area. This step 244 corresponds to the evaluation means described in claim 7 together with
[0114]
In the above, the density pattern region where the density pattern peculiar to the eye part and the cheek part is generated is extracted, and the extracted density pattern region is extracted based on the position and area ratio of the extracted density pattern region in the face candidate region. The degree of matching as the area corresponding to the eye part and the degree of matching as the area corresponding to the cheek part are determined to determine the degree of matching as the face area with respect to the face candidate area, and the weight score for the face candidate area is set as the degree of matching. Therefore, the accuracy as the face area can be accurately evaluated based on the internal structure of the person's face with respect to the face candidate area. Further, in the above, even when there is no edge at the outer edge of the area corresponding to the eye part or cheek part, it is possible to prevent the accuracy of the evaluation for the candidate area from being lowered, and the area division based on binarization can be performed. Thus, since it is not necessary to repeat the process while changing the threshold value, the process is also simplified.
[0115]
In the above, the face candidate area satisfying at least one of the determination of whether the area ratio of the background candidate area is equal to or greater than the first predetermined value and whether the uneven distribution degree of the background candidate area is equal to or greater than the second predetermined value. On the other hand, the weight points are corrected so as to decrease. However, the present invention is not limited to this, and when performing a process of extracting a face area from a face candidate area, For a face candidate region that satisfies one determination, the threshold value may be changed so that the threshold value for determining the face region is increased as shown in FIG. 8B as an example. Thereby, it is possible to make it difficult to extract a face candidate area that is relatively likely to be a background area as a face area. Threshold THFThe change amount of the threshold value TH may be a constant value, or the threshold TH according to the difference between the area ratio of the background candidate region and the first predetermined value, and the difference between the degree of uneven distribution of the background candidate region and the second predetermined value.FThe amount of change may be changed.
[0116]
Further, the number of weight points P set for each face candidate area, the threshold TH for face area determinationFAlternatively, the weight given to the density M of each face candidate area in the face area density Mface may be changed according to the type of image processing performed using the processing result of the face area extraction / density calculation process. .
[0117]
For example, using the result of face area extraction by face area extraction / density calculation processing, the
[0118]
Further, the threshold TH for face area determinationFInstead of changing the value of, a larger value than usual is set as the weight point P for the degree of matching described in the first embodiment and the degree of matching described in the second embodiment (that is, each face candidate region) It is also possible to determine more face candidate areas as face areas by changing the evaluation criteria for. In particular, when sharpness enhancement processing is performed to increase the sharpness enhancement degree as the weight point P increases, the sharpness enhancement degree is controlled to be stronger by setting the weight point P as described above. Is also possible.
[0119]
Further, for example, by using the face area extraction result and the face area density Mface by the face area extraction / density calculation processing, the density correction for locally correcting the density only for the extracted face area based on the face area density Mface. When processing is performed, although depending on the degree of density correction, even if density correction is actually performed on an area that is not a face area, there is a case where an adverse visual effect is small (not noticeable). In such a case, the threshold TH for determining the face areaFMay be made smaller than usual so that more face candidate areas are determined as face areas. Threshold value TH for face area determinationFSince the probability that a face candidate area corresponding to an actual face area is erroneously determined not to be a face area decreases as the value of is reduced, density correction processing is performed without omission on the face area in the image. be able to.
[0120]
In the above description, in the face area extraction, an image process that has a small influence is performed even when an area that is not actually a face area is mistakenly extracted as a face area. When image processing that is greatly affected when an area is mistakenly extracted as a face area is performed, for example, a threshold TH for determining a face areaFBy setting a larger value than normal, or by setting a smaller value than normal for the degree of coincidence and consistency, a face candidate area with higher accuracy as a face area is extracted as a face area. It is also possible to do so.
[0121]
As for the face area density, for example, as shown in the following expression (3), the face area density Mface obtained by the above expression (1) (or expression (2) may be used) and other image feature amount D (for example, Weighted average value Mface ′ (where α is the average density of the entire image, average density of the non-face candidate area, etc.)FIs a weighting factor for the face area density Mface, α0Is a weighting coefficient for the image feature amount D) as a face area density, the weighting coefficient α is determined according to the type of image processing performed using the calculated face area density.F, Α0The weight given to the density M of each face candidate area may be changed by changing the value of (i.e., relatively changing the weighting criterion for each face candidate area).
[0122]
Mface ’= αF・ Mface + α0・ D (3)
In addition, as image processing performed using the processing result of the face area extraction / density calculation process, there are a plurality of types of image processing (for example, extracted face areas that have different requirements for the processing result of the face area extraction / density calculation process). Image processing in which it is desirable that no non-face area is actually mixed, and image processing in which all the face areas in the image are preferably included in the extracted face area) When performed, face area extraction and face area density calculation may be performed a plurality of times corresponding to each image processing. In the present embodiment, the degree of matching and the degree of matching can be used as the reliability (accuracy) of each face candidate area as the face area. As described above, the criterion for setting the weight score for each face candidate area, the face area determination Criteria (threshold THF) By changing at least one of the weighting criteria for each face candidate area, the results required by the respective image processing can be obtained as face area extraction results and face area density calculation results. Even when each of the image processes is performed, the extremely complex and time-consuming face candidate region extraction process is repeated the same number of times as the number of types of image processes while changing the processing conditions corresponding to the plurality of types of image processes. This is not necessary, and the processing time of face area extraction / density calculation processing can be shortened, and the performance of the
[0123]
In the above description, the processing conditions including face area extraction / density calculation processing are calculated by the auto setup engine 44 based on the pre-scan image data, and the actual image processing for the fine scan image data is performed by the
[0124]
Further, in the above, the extraction of the face area and the calculation of the face area density are performed based on the weight points set for each face candidate area, but the present invention is not limited to this, and only one of them is performed. You may do it.
[0125]
In the above, image data obtained by reading an image recorded on a photographic film is a processing target. However, the present invention is not limited to this, and an image recorded on another recording material such as paper is read. Image data obtained in this way, image data obtained by imaging with a digital camera, or image data generated by a computer may be processed. Further, it goes without saying that the present invention may be used for determining exposure conditions when a film image recorded on a photographic film is exposed and recorded on photographic paper by surface exposure.
[0127]
【The invention's effect】
[0128]
In the invention of
[0129]
According to the third and seventh aspects of the present invention, the density or luminance pattern specific to a specific part of the human face is based on the density or luminance distribution in the candidate area estimated to correspond to the human face. Extracts the generated region and corresponds to a specific portion of the extracted region based on at least one of the position of the extracted region in the candidate region, the area ratio with the candidate region, the density or luminance histogram shape Alignment as a regionEvery timeTheCalculationDoThis is performed for each of a plurality of directions, and the top / bottom direction of the image is determined based on the calculation result of the matching degree for the plurality of directions, and based on the calculation result of the matching degree for the determined top / bottom direction.Since we evaluate the accuracy of the candidate area as the area corresponding to the person's face,Even if the top and bottom direction of the image is unknown,Based on the internal structure of the human face,In addition to accurately determining the vertical direction of the image,It has an excellent effect that a region corresponding to a human face can be extracted with high accuracy by simple processing.
[0130]
According to a fourth aspect of the present invention, in the third aspect of the invention, a region where a convex density or luminance pattern is generated in the high density direction or the low luminance direction is extracted, and the region corresponding to the eye part of the extracted region is obtained. The region where convex density or luminance pattern is generated in the low density direction or high luminance direction is extracted, and the consistency as the region corresponding to the cheek part of the extracted region is determined. Therefore, in addition to the above effect, there is an effect that the accuracy of the candidate region as the region corresponding to the person's face can be evaluated with higher accuracy.
[0131]
The invention according to claim 5In the invention of
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of an image processing system according to an embodiment.
FIG. 2 is a flowchart showing the contents of face area extraction / density calculation processing according to the first embodiment;
FIG. 3 is a flowchart showing the contents of background area determination processing;
4A is a conceptual diagram showing an example of a matching pattern for collating with a predetermined number of blocks obtained by the division, and FIG.
FIG. 5 is a conceptual diagram illustrating an example of a differential filter for obtaining a density change value (edge strength).
FIGS. 6A and 6B are diagrams each showing a map for setting the number of weight points in the face candidate region in accordance with the degree of matching with the matching pattern.
FIG. 7 is an image diagram illustrating an example of an image with a high possibility that a background area is erroneously extracted as a face candidate area;
8A is a diagram showing a map for correcting the number of weight points for a face candidate area that is relatively likely to be a background area, and FIG. 8B is a diagram in the case where the face candidate area exists. It is a diagram explaining the change of the threshold value for face area determination.
FIG. 9 is a flowchart showing the contents of face area extraction / density calculation processing according to the second embodiment.
FIG. 10A is an image diagram showing an example of a distribution of a high density region where the density in the face region is equal to or higher than a predetermined value, and FIG. FIG.
FIG. 11A is an image diagram showing an example of a distribution of a high-luminance region in which the luminance in the face region is equal to or higher than a predetermined value, and FIG. FIG.
[Explanation of symbols]
10 Image processing system
14 Image processing device
40 Image processor
44 Auto Setup Engine
72 Information storage media
Claims (9)
前記抽出した候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を、各小領域毎に複数の方向について各々求め、
前記各小領域毎に前記複数の方向について各々求めた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと各々照合して一致度を演算し、前記複数の方向についての一致度の演算結果に基づいて前記画像の天地方向を判定すると共に、判定した天地方向についての一致度の演算結果に基づいて前記候補領域の人物の顔に相当する領域としての確度を評価する
画像処理方法。Based on the image data, a candidate area estimated to correspond to a human face in the image represented by the image data is extracted,
With dividing the candidate regions the extracted predetermined number of small regions, the feature quantities relating to the magnitude of the frequency and the change of the change in density or brightness in the small region, determined each plurality of directions in each small area ,
A pattern representing the relationship between the feature quantities for each small area when the area corresponding to the face of a person is divided into the predetermined number of small areas for each of the small areas for each of the plurality of directions. And collating with each other to calculate the degree of coincidence, determining the vertical direction of the image based on the calculation result of the degree of coincidence for the plurality of directions, and based on the calculation result of the degree of coincidence for the determined vertical direction An image processing method for evaluating the accuracy of a candidate area as an area corresponding to a human face.
前記抽出した候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出し、
前記抽出した領域の、候補領域内における位置、候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも1つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合度を演算することを複数の方向について各々行い、前記複数の方向についての整合度の演算結果に基づいて前記画像の天地方向を判定すると共に、判定した天地方向についての整合度の演算結果に基づいて前記候補領域の人物の顔に相当する領域としての確度を評価する
画像処理方法。Based on the image data, a candidate area estimated to correspond to a human face in the image represented by the image data is extracted,
Based on the density or luminance distribution in the extracted candidate area, extract a region where a specific density or luminance pattern is generated in a specific part of the person's face,
Matching the extracted region as a region corresponding to the specific portion based on at least one of a position in the candidate region, an area ratio with the candidate region, a shape of density or luminance histogram The degree is calculated for each of a plurality of directions, and the vertical direction of the image is determined based on the calculation result of the matching degree for the plurality of directions, and based on the calculation result of the matching degree for the determined vertical direction. an image processing method of assessing the accuracy of a region corresponding to a person's face in the candidate region Te.
又は人物の顔の頬部に特有の低濃度方向又は高輝度方向に凸の濃度又は輝度のパターンが生じている領域を抽出し、抽出した領域の前記頬部に対応する領域としての整合性を判定する
ことを特徴とする請求項3記載の画像処理方法。Extracts areas with convex density or luminance patterns in the high density direction or low luminance direction peculiar to the eye part of a person's face, and determines the consistency of the extracted area as the area corresponding to the eye part Or,
Alternatively, a region where a pattern having a convex density or luminance in the low density direction or high luminance direction peculiar to the cheek portion of a person's face is extracted, and the consistency of the extracted region as the region corresponding to the cheek portion is extracted. The image processing method according to claim 3, wherein the determination is performed.
前記背景候補領域が抽出され、かつ抽出された背景候補領域の前記候補領域に対する面積比が所定値以上の場合、又は抽出された背景候補領域が画像中の周縁部に偏在している場合に、前記候補領域に対する主要部に相当する領域としての確度の評価を低くすることを特徴とする請求項1又は請求項2記載の画像処理方法。 When the brightness of the candidate area is greater than or equal to a predetermined value, a background candidate area consisting of pixels whose brightness difference with the candidate area is within a predetermined range is searched within a range outside the candidate area,
When the background candidate area is extracted and the area ratio of the extracted background candidate area to the candidate area is a predetermined value or more, or when the extracted background candidate area is unevenly distributed in the peripheral portion of the image, The image processing method according to claim 1, wherein the evaluation of the accuracy as an area corresponding to a main part with respect to the candidate area is lowered.
前記第1の抽出手段によって抽出された候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を、各小領域毎に複数の方向について各々求める演算手段と、
前記演算手段によって前記各小領域毎に前記複数の方向について各々求められた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと各々照合して一致度を演算し、前記複数の方向についての一致度の演算結果に基づいて前記画像の天地方向を判定すると共に、判定した天地方向についての一致度の演算結果に基づいて前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段と、
を含む画像処理装置。First extraction means for extracting a candidate area estimated to correspond to a human face in an image represented by the image data based on the image data;
While dividing the candidate region extracted by the first extracting means into a predetermined number of small regions, the feature quantities relating to the magnitude of the frequency and the change of the change in density or brightness in the small area, each small area per Computing means for each of a plurality of directions ,
The feature amount obtained for each of the plurality of directions for each of the small regions by the calculation means, and the feature amount for each small region when the region corresponding to the face of a person is divided into the predetermined number of small regions The degree of coincidence is calculated by collating each pattern with the pattern representing the relationship between the plurality of directions, and the top and bottom direction of the image is determined based on the result of the degree of coincidence calculation for the plurality of directions. Evaluation means for evaluating the accuracy of the candidate area as an area corresponding to a person's face based on the result ;
An image processing apparatus.
前記第1の抽出手段によって抽出された候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する第2の抽出手段と、
前記第2の抽出手段によって抽出された領域の、前記候補領域内における位置、前記候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも1つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合度を演算することを複数の方向について各々行い、前記複数の方向についての整合度の演算結果に基づいて前記画像の天地方向を判定すると共に、判定した天地方向についての整合度の演算結果に基づいて前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段と、
を含む画像処理装置。First extraction means for extracting a candidate area estimated to correspond to a human face in an image represented by the image data based on the image data;
Second extraction for extracting a region in which a specific density or luminance pattern is generated in a specific part of a human face based on the density or luminance distribution in the candidate region extracted by the first extraction unit Means,
Said extracted region by the second extraction means, the position in the candidate area, the area ratio of the candidate region based on at least one of the shape of the histogram of the density or brightness, the specific of the extracted area And calculating the degree of matching as a region corresponding to the portion for each of a plurality of directions, and determining the top and bottom direction of the image based on the calculation result of the degree of matching for the plurality of directions, and the determined top and bottom direction and evaluating means for evaluating the accuracy of a region corresponding to a person's face of the candidate region based on alignment of the calculation results for,
An image processing apparatus.
画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第1の抽出手段、
前記第1の抽出手段によって抽出された候補領域を所定数の小領域に分割すると共に、小領域内における濃度又は輝度の変化の頻度及び変化の大きさに関連する特徴量を、各小領域毎に複数の方向について各々求める演算手段、
及び、前記演算手段によって前記各小領域毎に前記複数の方向について各々求められた特徴量を、人物の顔に相当する領域を前記所定数の小領域に分割したときの各小領域毎の前記特徴量の関係を表すパターンと各々照合して一致度を演算し、前記複数の方向についての一致度の演算結果に基づいて前記画像の天地方向を判定すると共に、判定した天地方向についての一致度の演算結果に基づいて前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段
として機能させるためのプログラムが記録された記録媒体。 Computer
First extraction means for extracting a candidate area estimated to correspond to a human face in an image represented by the image data based on the image data;
The candidate area extracted by the first extracting means is divided into a predetermined number of small areas, and the feature quantity related to the frequency of change in density or luminance in the small area and the magnitude of the change are determined for each small area. Computing means for each of a plurality of directions,
And the feature amount obtained for each of the plurality of directions for each of the small areas by the computing means, the area corresponding to the face of a person is divided into the predetermined number of small areas, The degree of coincidence is calculated by comparing each of the patterns representing the relationship between the feature amounts, and the vertical direction of the image is determined based on the calculation result of the degree of coincidence for the plurality of directions. Evaluation means for evaluating the accuracy of the candidate area as an area corresponding to the face of a person based on the calculation result of
A recording medium on which a program for causing the program to function is recorded.
画像データに基づいて、該画像データが表す画像中の人物の顔に相当すると推定される候補領域を抽出する第1の抽出手段、
前記第1の抽出手段によって抽出された候補領域内の濃度又は輝度の分布に基づいて、人物の顔の特定の部分に特有の濃度又は輝度のパターンが生じている領域を抽出する第2の抽出手段、
及び、前記第2の抽出手段によって抽出された領域の、前記候補領域内における位置、前記候補領域との面積比、濃度又は輝度のヒストグラムの形状の少なくとも1つに基づいて、前記抽出した領域の前記特定の部分に相当する領域としての整合度を演算することを複数の4方向について各々行い、前記複数の方向についての整合度の演算結果に基づいて前記画像の天地方向を判定すると共に、判定した天地方向についての整合度の演算結果に基づいて前記候補領域の人物の顔に相当する領域としての確度を評価する評価手段
として機能させるためのプログラムが記録された記録媒体。 Computer
First extraction means for extracting a candidate area estimated to correspond to a human face in an image represented by the image data based on the image data;
Second extraction for extracting a region in which a specific density or luminance pattern is generated in a specific part of a human face based on the density or luminance distribution in the candidate region extracted by the first extraction unit means,
And, based on at least one of the position of the region extracted by the second extracting means in the candidate region, the area ratio with the candidate region, the shape of the histogram of density or luminance, the extracted region The degree of matching as a region corresponding to the specific part is calculated for each of a plurality of four directions, and the vertical direction of the image is determined based on the calculation result of the degree of matching for the plurality of directions. Evaluation means for evaluating the accuracy of the candidate area as an area corresponding to the face of a person based on the calculation result of the degree of matching for the vertical direction
A recording medium on which a program for causing the program to function is recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30832298A JP4153108B2 (en) | 1998-10-29 | 1998-10-29 | Image processing method, image processing apparatus, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30832298A JP4153108B2 (en) | 1998-10-29 | 1998-10-29 | Image processing method, image processing apparatus, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000137788A JP2000137788A (en) | 2000-05-16 |
JP4153108B2 true JP4153108B2 (en) | 2008-09-17 |
Family
ID=17979669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30832298A Expired - Fee Related JP4153108B2 (en) | 1998-10-29 | 1998-10-29 | Image processing method, image processing apparatus, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4153108B2 (en) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7289664B2 (en) | 2002-01-17 | 2007-10-30 | Fujifilm Corporation | Method of detecting and correcting the red eye |
KR100980915B1 (en) | 2002-08-30 | 2010-09-07 | 소니 주식회사 | Image Processing Apparatus and Method, and Photographic Apparatus |
US7397969B2 (en) | 2002-08-30 | 2008-07-08 | Fujifilm Corporation | Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer |
JP4204336B2 (en) | 2003-01-30 | 2009-01-07 | 富士通株式会社 | Facial orientation detection device, facial orientation detection method, and computer program |
JP4118773B2 (en) * | 2003-09-11 | 2008-07-16 | 日産ディーゼル工業株式会社 | Gaze direction detection device and gaze direction detection method |
JP4173083B2 (en) * | 2003-09-12 | 2008-10-29 | 日産ディーゼル工業株式会社 | Arousal state determination device and arousal state determination method |
JP4373828B2 (en) | 2004-03-22 | 2009-11-25 | 富士フイルム株式会社 | Specific area detection method, specific area detection apparatus, and program |
JP4320272B2 (en) | 2004-03-31 | 2009-08-26 | 富士フイルム株式会社 | Specific area detection method, specific area detection apparatus, and program |
US7620242B2 (en) | 2004-04-06 | 2009-11-17 | Fujifilm Corporation | Particular-region detection method and apparatus, and program therefor |
JP4606955B2 (en) * | 2004-07-07 | 2011-01-05 | 三星電子株式会社 | Video recognition system, video recognition method, video correction system, and video correction method |
KR100609952B1 (en) * | 2004-09-22 | 2006-08-09 | 한국원자력연구소 | Area measurement method for the inside of boundary line by the hierarchical distance-angle graphs |
JP2006318255A (en) * | 2005-05-13 | 2006-11-24 | Konica Minolta Photo Imaging Inc | Image processing method, image processor and image processing program |
JP4420459B2 (en) * | 2005-06-14 | 2010-02-24 | キヤノン株式会社 | Image processing apparatus and method |
JP4457980B2 (en) | 2005-06-21 | 2010-04-28 | ソニー株式会社 | Imaging apparatus, processing method of the apparatus, and program for causing computer to execute the method |
JP4752409B2 (en) * | 2005-09-09 | 2011-08-17 | ソニー株式会社 | Image processing apparatus and method, and program |
JP4752408B2 (en) * | 2005-09-09 | 2011-08-17 | ソニー株式会社 | Image processing apparatus and method, and program |
JP4752410B2 (en) * | 2005-09-09 | 2011-08-17 | ソニー株式会社 | Image processing apparatus and method, and program |
JP2007219815A (en) | 2006-02-16 | 2007-08-30 | Seiko Epson Corp | Printer, image processor, printing method and image processing method |
JP4549997B2 (en) | 2006-03-30 | 2010-09-22 | 富士フイルム株式会社 | Red-eye detection device, red-eye detection method, and red-eye detection program |
JP4554548B2 (en) | 2006-03-31 | 2010-09-29 | 富士フイルム株式会社 | Image processing apparatus, image processing method, and image processing program |
JP4554547B2 (en) | 2006-03-31 | 2010-09-29 | 富士フイルム株式会社 | Image processing apparatus, image processing method, and image processing program |
JP4804989B2 (en) | 2006-03-31 | 2011-11-02 | 富士フイルム株式会社 | Image processing apparatus, image processing method, image processing program, image processing system, and image processing management apparatus |
JP2007324856A (en) * | 2006-05-31 | 2007-12-13 | Sony Corp | Imaging apparatus and imaging control method |
EP1883020B1 (en) * | 2006-07-28 | 2013-05-22 | Dassault Systèmes | Method and system for navigating in a database of a computer system |
KR100857463B1 (en) * | 2006-11-17 | 2008-09-08 | 주식회사신도리코 | Face Region Detection Device and Correction Method for Photo Printing |
JP5009172B2 (en) * | 2007-03-20 | 2012-08-22 | 株式会社リコー | Image processing apparatus, imaging apparatus, image processing method, face detection program, and recording medium |
US8363909B2 (en) | 2007-03-20 | 2013-01-29 | Ricoh Company, Limited | Image processing apparatus, image processing method, and computer program product |
JP5109182B2 (en) * | 2007-03-30 | 2012-12-26 | 富士フイルム株式会社 | Image processing system and image processing method |
US8254712B2 (en) | 2007-03-30 | 2012-08-28 | Fujifilm Corporation | Image processing apparatus, image processing method, image managing apparatus, image managing method, computer program product, and image order sheet |
JP5025322B2 (en) * | 2007-05-09 | 2012-09-12 | 東光電気株式会社 | Air conditioning control system |
JP2009217607A (en) * | 2008-03-11 | 2009-09-24 | Seiko Epson Corp | Calculation for reliability in detecting face region in image |
JP2009217609A (en) * | 2008-03-11 | 2009-09-24 | Seiko Epson Corp | Processing for correcting image region set based on face region |
JP2009230557A (en) * | 2008-03-24 | 2009-10-08 | Seiko Epson Corp | Object detection device, object detection method, object detection program, and printer |
JP4726251B2 (en) * | 2008-09-18 | 2011-07-20 | キヤノン株式会社 | Imaging apparatus and image processing method |
CN101477692B (en) * | 2009-02-13 | 2012-08-22 | 阿里巴巴集团控股有限公司 | Method and apparatus for image characteristic extraction |
CN102715912A (en) * | 2012-05-25 | 2012-10-10 | 苏州市职业大学 | Abnormal state detection device for driver |
JP5799179B2 (en) * | 2013-03-29 | 2015-10-21 | 楽天株式会社 | TERMINAL DEVICE, TERMINAL DEVICE CONTROL METHOD, PROGRAM, AND INFORMATION STORAGE MEDIUM |
US10552706B2 (en) | 2016-10-24 | 2020-02-04 | Fujitsu Ten Limited | Attachable matter detection apparatus and attachable matter detection method |
-
1998
- 1998-10-29 JP JP30832298A patent/JP4153108B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000137788A (en) | 2000-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4153108B2 (en) | Image processing method, image processing apparatus, and recording medium | |
JP3506958B2 (en) | Image processing method, image processing apparatus, and recording medium | |
JP3961734B2 (en) | Image processing method, apparatus, and recording medium | |
JP4050842B2 (en) | Image processing method | |
US6445819B1 (en) | Image processing method, image processing device, and recording medium | |
JP3557659B2 (en) | Face extraction method | |
JP4856086B2 (en) | Method and apparatus for detecting red eye in an acquired digital image | |
JP3181472B2 (en) | Automatic detection and correction of poor pupil color tone by flash emission | |
US8391595B2 (en) | Image processing method and image processing apparatus | |
US8265388B2 (en) | Analyzing partial face regions for red-eye detection in acquired digital images | |
US7953251B1 (en) | Method and apparatus for detection and correction of flash-induced eye defects within digital images using preview or other reference images | |
JP3903083B2 (en) | Image processing apparatus, method, and recording medium | |
US7408569B1 (en) | Image processing device, image processing method and recording medium | |
JP2000148980A (en) | Image processing method, image processor and recording medium | |
US6701007B1 (en) | Image processing device, image processing method, and recording medium for correcting color balance of output images | |
JP4599110B2 (en) | Image processing apparatus and method, imaging apparatus, and program | |
JP3576025B2 (en) | Main subject extraction method and apparatus | |
JP2004265431A (en) | Face extraction method | |
JP3575976B2 (en) | Main subject extraction method | |
JP2004234689A (en) | Face extracting method | |
JPH11308474A (en) | Image processor | |
JP2001167277A (en) | Method and device for processing image, recording medium and transmitting medium | |
JP2004206738A (en) | Face extraction method | |
JP2004234688A (en) | Face extracting method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050307 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080703 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |