JP4050842B2 - 画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法に関し、特に、ディジタル画像内の被写体の瞳の色調不良を検出して修正する画像処理方法に関する。
【０００２】
【従来の技術】
従来より、撮影中の光の反射状態により被写体が実際とは異なる色の画像として写る場合が多々あり、この赤目はあまりにも不自然で見栄えが悪いため画像処理により自然に見えるように修正することがなされている。
【０００３】
例えば、ストロボで人物を正面から撮影すると、瞳孔が真っ赤又は金色に写るいわゆる赤目現象が生じる場合がある。この赤目現象は、暗い場所で瞳孔が開いた状態の目に対してストロボの光が正面から入射することによって、ストロボの光が正反射され、この状態が画像に写り込むために起こる現象であり、瞳が赤く写る赤目と瞳が金色に写る金目とがある（以後、両方を含めて赤目と称す。）。
【０００４】
このような赤目は、写り栄えが悪いため、従来よりこの赤目を修正するための様々な画像処理方法が提案されている。例えば、特開平７−７２５３７号公報では、赤目修正対象となる目の周囲を領域指定して、この領域内で彩度、輝度、色相における閾値処理を行い、対象となる画素が予め定めた閾値内であれば赤目と判断して修正する方法が挙げられている。また、特開平９−２６１５８０号公報では、エッジに囲まれる領域内の色情報と色彩情報とに基づいて瞳候補領域を選択し、選択されたすべての瞳候補領域内の色調不良画素を修正することにより赤目修正を行う方法が挙げられている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した特開平７−７２５３７号公報や特開平９−２６１５８０号公報等の従来の方法では、彩度、輝度、色相における閾値処理により赤目領域を判別して修正しており、赤目の彩度、輝度、色相は幅広いため、多数のサンプルにおいては誤抽出や抽出漏れが起こることは避けられない。また、例えば、肌色部分も瞳の赤目処理と共に黒く修正され、結果として違和感のある画像となる恐れもある。
【０００６】
また、特開平９−２６１５８０号公報等のように画像のエッジを抽出する場合では、一般に、画像のエッジはかなり複雑であるため、過剰分割や、領域分割ミスが発生する恐れもある。
【０００７】
すなわち、前者の方法では、領域ごとに区切らずに色の閾値のみで赤目かどうかを判別するため、修正の必要のない領域が修正の必要な領域とともに修正対象領域として検出されやすく、後者の方法では、領域の分割が正確に行えないので修正対象領域である瞳領域だけを修正するのが難しいという問題がある。
【０００８】
そこで、本発明は、どのような画像であっても正確に領域を分割して修正の必要のある領域だけを修正対象領域として選択できる画像処理方法を提供することを第１の目的とする。また、瞳領域だけを正確に選択できる画像処理方法を提供することを第２の目的とする。さらに、修正対象領域である瞳領域を正確に修正可能な画像処理方法を提供することを第３の目的とする。また、修正された画像を自然な雰囲気に仕上げることが可能な画像処理方法を提供することを第４の目的とする。
【０００９】
【課題を解決するための手段】
上記第１の目的を達成するために、色調不良となった目領域を含む予め指定した画像領域をｘｙ平面とし、各画素ごとに色相、彩度、明度のうちのいずれか１つまたは２つ以上の組み合わせにより画像特徴量を求め、該特徴量をｚ軸に配置する３次元のｘｙｚ空間を設定し、ｘｙ平面の広がりに対しｚ軸の値が山状の分布形状を持つ領域毎にｘｙ平面を、前記予め指定した画像領域内の各画素毎に、番号割り付け処理対象の着目画素を中心とするＮ行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域内で、着目画素の前記特徴量の値が最大である場合はこの着目画素を山の頂点として新規番号を割り付け、着目画素の前記特徴量の値が最大でなく、かつ、前記参照領域内の着目画素以外の最大の特徴量の値を持つ画素が割り付け番号を持つ場合は、該割り付け番号を着目画素に付与する番号割り付け処理を、前記予め指定した画像領域内の全画素についていずれかの山の頂点番号が付与されるまで繰り返し、同一番号を持つ画素の集合を１つの領域とすることにより画像領域分割し、各分割領域のｘｙ平面上での形状情報、位置情報、面積情報、統計的画像特徴量のうちのいずれか１つまたは２つ以上の組み合わせにより、瞳の色調不良領域の判別を行い、色調不良領域と判別された領域を視覚的に正常な目の画像となるように修正する。
【００１０】
すなわち、本発明は、キャッチライト部分を含めた赤目領域等の色調不良領域を一括して切り出し、修正する方法である。赤目部分は、瞳孔部の中心程網膜からの反射が強いため、明度は中央から周辺部に向けて低下する傾向を持つ。したがって、キャッチライトも含めて明度が山状に分布することを利用する。また、虹彩部は、ブラウン系瞳では虹彩部が明度の谷間となることを利用し、青目系瞳では赤みの値の大きさについて赤目となった瞳孔部との谷間となることを利用する。
【００１１】
即ち、明度や赤味を組み合わせた特徴量を用いて、赤目部とその隣接する白目及び肌部との間に谷間ができることを利用し、前記特徴量の山毎に領域分割することで赤目部を白目及び肌部と分離する。
【００１２】
また、請求項１の発明は、前記山状の分布形状を持つ領域毎にｘｙ平面を領域分割する際に、前記予め指定した画像領域内の各画素毎に、番号割り付け処理対象の着目画素を中心とするＮ行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域内で、着目画素の前記特徴量の値が最大である場合はこの着目画素を山の頂点として新規番号を割り付け、着目画素の前記特徴量の値が最大でなく、かつ、前記参照領域内の着目画素以外の最大の特徴量の値を持つ画素が割り付け番号を持つ場合は、該割り付け番号を付与する番号割り付け処理を、前記予め指定した画像領域内の全画素についていずれかの山の頂点番号が付与されるまで繰り返し、同一番号を持つ画素の集合を１つの領域とすることにより画像領域分割を行う。この方法によれば、領域分割をプログラム処理などに行うことができるので、ユーザを煩わすことがなく好ましい。
【００１３】
さらに、請求項２に記載の発明は、前記山状の分布形状を持つ領域毎にｘｙ平面を領域分割する際に、前記予め指定した画像領域内の各画素において番号が未決定の画素を着目画素とし、該着目画素を中心とするＮ行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域内に現着目点よりも大きい前記特徴量の値を有する画素がある場合、現着目点の位置を蓄積記憶し、前記特徴量の値が大きい画素を新規着目点とする処理を繰り返し、前記新規着目点の特徴量の値が参照領域内で最大である場合に、前記新規着目点の番号が未決定であればこの新規着目点を山の頂点として新規番号を割り付け、前記新規着目点に番号が既に割り付けられていればその番号を前記蓄積した座標の全画素に付与する番号割付処理を、前記予め指定した画像領域内の全画素についていずれかの山の頂点番号が付与されるまで繰り返し、同一番号を持つ画素の集合を１つの領域とすることにより画像領域分割を行う。
【００１４】
このように、番号が付与できない画素については、例えば、座標としてその位置を記憶し、最後に新規着目点となった画素に番号が付与されると、記憶した座標の画素の全てに最後に新規着目点となった画素の番号を付与するように処理することによって前記特徴量の山毎に領域分割する処理を高速に行うことができる。
【００１５】
請求項３の発明は、請求項１に記載の画像処理方法において、前記瞳の色調不良領域の判別において、各分割領域ごとに、円形度特徴量を用いてより円形に近い程大となる形状情報としての第１の点数、分割領域の重心が指定領域の中心位置に近い程大となる位置情報としての第２の点数、分割領域の面積と指定領域の面積との比率が所定範囲から外れる程小となる面積情報としての第３の点数、色相、彩度、明度のうちのいずれか１つ以上における平均値、最大値、最小値、コントラスト、ヒストグラム形状のうちのいずれか１つ以上を用い、統計的な色調不良領域情報との比較より、色調不良度合いを示す統計的画像特徴量としての第４の点数、及び、予め指定された瞳の中心位置と両目の間隔とに応じて求められ、瞳の中心から外れる程小となる位置情報としての第５の点数の５つの点数のうちの少なくとも１つの点数を求め、最も点数の高いものを色調不良領域と判定する。
【００１６】
すなわち、請求項３に記載の発明は、請求項１に記載の分割領域から赤目領域等の色調不良領域を判定する方法であり、分割領域の形状、面積、位置、濃度に関する統計的特徴量を、それぞれ瞳に近い部分は高い点数、かつ、瞳から遠ざかるにつれて低い点数となる傾向を有する第１〜第５の点数に換算し、これら第１〜第５の点数の少なくとも１つを用いて色調不良領域を判別する。
【００１７】
なお、第５点数は、両目の間隔に所定の係数(一般的には、０．０７〜０．１１)を乗算すると瞳の直径となるという関係があることから、予め指定された瞳の中心と両目の間隔とに基いて瞳の直径を算出し、該直径を有する円状領域内が最高の点数を持ち、中心から離れると点数が低くなる傾向を有している。
【００１８】
好ましくは、請求項４に記載したように、前記５つの点数のうちのいずれか２つ以上における平均点数または加重平均点数により、上位Ｌ（ただし、Ｌは１以上の整数）個の領域を色調不良領域と判定すると良い。加重平均を取ることで、それぞれの領域の傾向がより差別化されて、明確になるので、精度良く色調不良領域を判別することができる。
【００１９】
また、上記第３と第４の目的を達成するために、請求項５の発明は、色調不良となった目領域を含む予め指定した画像領域をｘｙ平面とし、各画素ごとに色相、彩度、明度のうちのいずれか１つまたは２つ以上の組み合わせにより画像特徴量を求め、該特徴量をｚ軸に配置する３次元のｘｙｚ空間を設定し、ｘｙ平面の広がりに対しｚ軸の値が山状の分布形状を持つ領域毎にｘｙ平面を、前記予め指定した画像領域内の各画素毎に、番号割り付け処理対象の着目画素を中心とするＮ行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域内で、着目画素の前記特徴量の値が最大である場合はこの着目画素を山の頂点として新規番号を割り付け、着目画素の前記特徴量の値が最大でなく、かつ、前記参照領域内の着目画素以外の最大の特徴量の値を持つ画素が割り付け番号を持つ場合は、該割り付け番号を着目画素に付与する番号割り付け処理を、前記予め指定した画像領域内の全画素についていずれかの山の頂点番号が付与されるまで繰り返し、同一番号を持つ画素の集合を１つの領域とすることにより画像領域分割し、各分割領域のｘｙ平面上での形状情報、位置情報、面積情報、統計的画像特徴量のうちのいずれか１つまたは２つ以上の組み合わせにより、瞳の色調不良領域の判別を行い、色調不良領域と判別された瞳の色調不良領域の周辺部から中央部にかけて明度と彩度とのいずれか１つ又は両方が徐々に低下するようにグラデーションをかける処理を含む修正を行って、前記瞳の色調不良領域を視覚的に正常な目の画像となるように修正する。
【００２０】
すなわち、請求項５の発明では、上記請求項１と同様の方法で前記色調不良領域の判別を行っているため、赤目などの色調不良領域を白目及び肌部と正確に分離でき、精度よく修正することができる。
【００２１】
それに加えて、請求項５の発明では、上記第４の目的を達成するために、瞳の色調不良領域の修正の際に、周辺部から中央部にかけて明度と彩度とのいずれか１つ又は両方が徐々に低下するように、グラデーションをかける処理を行っている。これより、中央部分の色の方が周辺部分よりも濃い色となっている実際の瞳部分の色と近くなるため、修正後の瞳画像を自然な雰囲気とすることができる。なお、請求項６から請求項７は、上記請求項２から請求項４同様の作用を有するので、説明は省略する。
【００２２】
また、請求項８の発明は、色調不良となった目領域を含む予め指定した画像領域をｘｙ平面とし、各画素ごとに色相、彩度、明度のうちのいずれか１つまたは２つ以上の組み合わせにより画像特徴量を求め、該特徴量をｚ軸に配置する３次元のｘｙｚ空間を設定し、ｘｙ平面の広がりに対しｚ軸の値が山状の分布形状を持つ領域毎にｘｙ平面を領域分割し、各分割領域のｘｙ平面上での形状情報、位置情報、面積情報、統計的画像特徴量のうちのいずれか１つまたは２つ以上の組み合わせにより、瞳の色調不良領域の判別を行い、色調不良領域と判別された瞳の色調不良領域の最大明度位置をキャッチライト位置と判別し、該キャッチライト位置にキャッチライトパターンを形成する処理を含む修正を行って、前記瞳の色調不良領域を視覚的に正常な目の画像となるように修正する。
【００２３】
すなわち、請求項８の発明では、上記請求項５と同様に上記請求項１と同様の方法で前記色調不良領域の判別を行っているため、赤目などの色調不良領域を白目及び肌部と正確に分離でき、精度よく修正することができる。
【００２４】
それに加えて、請求項８の発明では、瞳部分の領域内の最大明度位置をキャッチライト位置と判別してキャッチライトパターンを形成している。すなわち、キャッチライトは濃度の濃い瞳部分において部分的に濃度の薄い領域であるので、キャッチライト位置は最も明るい位置であることがわかる。従って、瞳部分の領域内の最大明度位置にキャッチライトを設ける処理を施すことにより、自然で生き生きとした印象の目の画像が得られる。なお、請求項９から請求項１２は、上記請求項１から請求項４同様の作用を有するので、説明は省略する。
【００２５】
請求項１３の発明は、色調不良となった目領域を含む予め指定した画像領域をｘｙ平面とし、各画素ごとに色相、彩度、明度のうちのいずれか１つまたは２つ以上の組み合わせにより画像特徴量を求め、該特徴量をｚ軸に配置する３次元のｘｙｚ空間を設定し、ｘｙ平面の広がりに対しｚ軸の値が山状の分布形状を持つ領域毎にｘｙ平面を、前記予め指定した画像領域内の各画素毎に、番号割り付け処理対象の着目画素を中心とするＮ行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域内で、着目画素の前記特徴量の値が最大である場合はこの着目画素を山の頂点として新規番号を割り付け、着目画素の前記特徴量の値が最大でなく、かつ、前記参照領域内の着目画素以外の最大の特徴量の値を持つ画素が割り付け番号を持つ場合は、該割り付け番号を着目画素に付与する番号割り付け処理を、前記予め指定した画像領域内の全画素についていずれかの山の頂点番号が付与されるまで繰り返し、同一番号を持つ画素の集合を１つの領域とすることにより画像領域分割し、各分割領域のｘｙ平面上での形状情報、位置情報、面積情報、統計的画像特徴量のうちのいずれか１つまたは２つ以上の組み合わせにより、瞳の色調不良領域の判別を行い、色調不良領域と判別された瞳領域のサイズに合うように正常な瞳領域から切り出した色調正常の瞳を拡大縮小後、前記色調不良領域と判別された瞳領域に貼り込む処理を含む修正を行って、前記瞳の色調不良領域を視覚的に正常な目の画像となるように修正する。
【００２６】
すなわち、請求項１３の発明は、色調不良領域と判別された瞳領域に正常な瞳領域から切り出した色調正常の瞳を拡大縮小して貼り付けるため、比較的簡単な修正処理で瞳の色調不良領域を視覚的に正常な目の画像となるように修正できる。
なお、請求項１４から請求項１６は、上記請求項２から請求項４同様の作用を有するので、説明は省略する。
【００２７】
さらに、上記第４の目的を達成するために、請求項１７の発明は、請求項１から請求項１６のいずれか１項に記載の画像処理方法において、前記色調不良の目領域を含む指定領域の指定回数に応じて、画像の領域分割手法または領域分割に用いる特徴量を変更し、あるいは、色調不良領域判定に用いる特徴量の種類または特徴量の計算方法または判定基準を変更し、あるいは、色調不良領域の修正方法を変更する。
【００２８】
これにより、修正の必要のないもう一方の目の位置と修正した目の画像の位置とを比較して修正した目の画像の位置を自然な位置に配置されるようにずらしたり、修正した目の色を、修正の必要のないもう一方の目の色と同じ雰囲気にするなどの微修正を行えるため、自然な雰囲気に仕上げることが可能である。また、キャッチライトの瞳内の位置関係が両目で揃うように、キャッチライトの位置補正も行う。
【００２９】
請求項１８の発明は、赤目修正処理を複数回行う場合に対応する発明であり、請求項１から請求項１７のいずれか１項に記載の画像処理方法において、前記色調不良の目領域を含む指定領域について、特徴量算出、領域分割及び色調不良領域判定を複数回繰り返して行い、該回数に応じて、画像の領域分割手法または領域分割に用いる特徴量を変更し、あるいは、色調不良領域判定に用いる特徴量の種類または特徴量の計算方法または判定基準を変更し、あるいは、色調不良領域の修正方法を変更する。
【００３０】
例えば、赤目領域判定基準が上記特徴量の山毎領域分割である場合、二回目の赤目領域判定基準を上記特徴量の山毎領域分割ではなく、色味の類似度による領域分割に変更したり、判定において一回目の判定で用いていた円形度基準を除外する、あるいは一回目の判定で用いていた面積基準を除外するなどが挙げられる。
【００３１】
【発明の実施形態】
図１及び図２には、本実施形態に係るディジタルラボシステム１０の概略構成が示されている。
【００３２】
図１に示すように、このディジタルラボシステム１０は、ラインＣＣＤスキャナ１４、画像処理部１６、レーザプリンタ部１８、及びプロセッサ部２０を含んで構成されており、ラインＣＣＤスキャナ１４と画像処理部１６は、図２に示す入力部２６として一体化されており、レーザプリンタ部１８及びプロセッサ部２０は、図２に示す出力部２８として一体化されている。
【００３３】
ラインＣＣＤスキャナ１４は、ネガフィルムやリバーサルフィルム等の写真フィルムに記録されているコマ画像を読み取るためのものであり、例えば１３５サイズの写真フィルム、１１０サイズの写真フィルム、及び透明な磁気層が形成された写真フィルム（２４０サイズの写真フィルム：所謂ＡＰＳフィルム）、１２０サイズ及び２２０サイズ（ブローニサイズ）の写真フィルムのコマ画像を読取対象とすることができる。ラインＣＣＤスキャナ１４は、上記の読取対象のコマ画像をラインＣＣＤ３０で読み取り、Ａ／Ｄ変換部３２においてＡ／Ｄ変換した後、画像データを画像処理部１６へ出力する。
【００３４】
なお、本実施の形態では、２４０サイズの写真フィルム（ＡＰＳフィルム）６８を適用した場合のディジタルラボシステム１０として説明する。
【００３５】
画像処理部１６は、ラインＣＣＤスキャナ１４から出力された画像データ（スキャン画像データ）が入力されると共に、デジタルカメラ３４等での撮影によって得られた画像データ、原稿（例えば反射原稿等）をスキャナ３６（フラットベット型）で読み取ることで得られた画像データ、他のコンピュータで生成され、フロッピディスクドライブ３８、ＭＯドライブ又はＣＤドライブ４０に記録された画像データ、及びモデム４２を介して受信する通信画像データ等（以下、これらをファイル画像データと総称する）を外部から入力することも可能なように構成されている。
【００３６】
画像処理部１６は、入力された画像データを画像メモリ４４に記憶し、色階調処理部４６、ハイパートーン処理部４８、ハイパーシャープネス処理部５０等の各種の補正等の画像処理を行って、記録用画像データとしてレーザプリンタ部１８へ出力する。また、画像処理部１６は、画像処理を行った画像データを画像ファイルとして外部へ出力する（例えばＦＤ、ＭＯ、ＣＤ等の記憶媒体に出力したり、通信回線を介して他の情報処理機器へ送信する等）ことも可能とされている。
【００３７】
レーザプリンタ部１８はＲ、Ｇ、Ｂのレーザ光源５２を備えており、レーザドライバ５４を制御して、画像処理部１６から入力された記録用画像データ（一旦、画像メモリ５６に記憶される）に応じて変調したレーザ光を印画紙に照射して、走査露光（本実施の形態では、主としてポリゴンミラー５８、ｆθレンズ６０を用いた光学系）によって印画紙６２に画像を記録する。また、プロセッサ部２０は、レーザプリンタ部１８で走査露光によって画像が記録された印画紙６２に対し、発色現像、漂白定着、水洗、乾燥の各処理を施す。これにより、印画紙上に画像が形成される。
【００３８】
（ラインＣＣＤスキャナの構成）
次にラインＣＣＤスキャナ１４の構成について説明する。図１にはラインＣＣＤスキャナ１４の光学系の概略構成が示されている。この光学系は、写真フィルム６８に光を照射する光源６６を備えており、光源６６の光射出側には、写真フィルム６８に照射する光を拡散光とする光拡散板７２が配置されている。
【００３９】
写真フィルム６８は、光拡散板７２が配設された側に配置されたフィルムキャリア７４によって、コマ画像の画面が光軸と垂直になるように搬送される。
【００４０】
写真フィルム６８を挟んで光源６６と反対側には、光軸に沿って、コマ画像を透過した光を結像させるレンズユニット７６、ラインＣＣＤ３０が順に配置されている。なお、レンズユニット７６として単一のレンズのみを示しているが、レンズユニット７６は、実際には複数枚のレンズから構成されたズームレンズである。なお、レンズユニット７６として、セルフォックレンズを用いてもよい。この場合、セルフォックレンズの両端面をそれぞれ、可能な限り写真フィルム６８及びラインＣＣＤ３０に接近させることが好ましい。
【００４１】
ラインＣＣＤ３０は、複数のＣＣＤセル搬送される写真フィルム６８の幅方向に沿って一列に配置され、かつ電子シャッタ機構が設けられたセンシング部が、間隔を空けて互いに平行に３ライン設けられており、各センシング部の光入射側にＲ、Ｇ、Ｂの色分解フィルタの何れかが各々取付けられて構成されている（所謂３ラインカラーＣＣＤ）。ラインＣＣＤ３０は、各センシング部の受光面がレンズユニット７６の結像点位置に一致するように配置されている。
【００４２】
また、図示は省略するが、ラインＣＣＤ３０とレンズユニット７６との間にはシャッタが設けられている。
（画像処理部１６の制御系の構成）
図３には、図１に示す画像処理部１６の主要構成である画像メモリ４４、色階調処理４６、ハイパートーン処理４８、ハイパーシャープネス処理５０の各処理を実行するための詳細な制御ブロック図が示されている。
【００４３】
ラインＣＣＤスキャナ１４から出力されたＲＧＢの各デジタル信号は、データ処理部２００において、暗時補正、欠陥画素補正、シェーディング補正等の所定のデータ処理が施された後、ｌｏｇ変換器２０２によってデジタル画像データ（濃度データ）に変換され、プレスキャンデータはプレスキャンメモリ２０４に記憶され、ファインスキャンデータはファインスキャンメモリ２０６に記憶される。
【００４４】
プレスキャンメモリ２０４に記憶されたプレスキャンデータは、画像データ処理部２０８と画像データ変換部２１０とで構成されたプレスキャン処理部２１２に送出される。一方、ファインスキャンメモリ２０６に記憶されたファインスキャンデータは、画像データ処理部２１４と画像データ変換部２１６とで構成されたファインスキャン処理部２１８へ送出される。
【００４５】
これらのプレスキャン処理部２１２及びファインスキャン処理部２１８では、画像を撮影したときレンズ特性及びストロボを使用した撮影したときのストロボ配光特性に基づく補正等を実行する。
【００４６】
また、画像データ処理部２０８、２１４には、各種フィルムの特性を記憶するフィルム特性記憶部２３２と、フィルムを撮影したカメラを判別する情報を取得して対応する撮影カメラに応じたレンズ特性を出力するレンズ特性データ供給部２３４とが接続されている。
【００４７】
フィルムの特性とは、階調特性（γ特性）であり、一般には、露光量に応じて濃度が三次元的に変化する曲線で表される。なお、この点は周知の技術であるため、詳細な説明は省略する。
【００４８】
また、フィルム種の特定は、本実施の形態であれば、ＡＰＳフィルムの磁気記録層にフィルム種を示す情報を記録しており、ラインＣＣＤスキャナ１４のキャリア７４での搬送時に、磁気ヘッドによって読み取ることが可能である。また、１３５サイズフィルムの場合には、その形状（幅方向両端に比較的短いピッチでパーフォレーションが設けられている）等で判断してもよいし、オペレータがキー入力するようにしてもよい。フィルム種を特定することにより、画像のフィルムベース濃度からの相対的な濃度を正確に算出できる。
【００４９】
画像データ処理部２０８、２１４では、フィルム特性記憶部２３２とレンズ特性データ供給部２３４とから得られるフィルム種及びカメラ種に合わせて基準値の補正を行い、カラーバランス調整、コントラスト調整（色階調処理）、明るさ補正、彩度補正（ハイパートーン処理）、ハイパーシャープネス処理等が、ＬＵＴやマトリクス（ＭＴＸ）演算等により実行されるようになっている。
【００５０】
また、画像データ処理部２０８、２１４には、前記各調整、補正後に、赤目となった瞳部分を自然な色に修正する赤目処理部２２０、２２２が設けられている。この赤目処理部２２０、２２２における赤目修正については、後述する。
【００５１】
プレスキャン側の画像データ変換部２１０では、画像データ処理部２０８によって処理された画像データを３Ｄ−ＬＵＴに基づいてモニタ１６Ｍへ表示するためのディスプレイ用画像データに変換している。一方、ファインスキャン側の画像データ変換部２１６では、画像データ処理部２１４によって処理された画像データを、３Ｄ−ＬＵＴに基づいてレーザプリンタ部１８でのプリント用画像データに変換している。なお、上記ディスプレイ用の画像データと、プリント用画像データとは、表色系が異なるが、以下のような様々な補正によって一致を図っている。
【００５２】
すなわち、プレスキャン処理部２１２及びファインスキャン処理部２１８には、条件設定部２２４が接続されている。条件設定部２２４は、セットアップ部２２６、キー補正部２２８、パラメータ統合部２３０とで構成されている。
【００５３】
セットアップ部２２６は、プレスキャンデータを用いて、ファインスキャンの読取条件を設定し、ラインＣＣＤスキャナ１４に供給し、また、プレスキャン処理部２１２及びファインスキャン処理部２１８の画像処理条件を演算し、パラメータ統合部２３０に供給している。
【００５４】
キー補正部２２８は、キーボード１６Ｋに設定された濃度、色、コントラスト、シャープネス、彩度等を調整するキーやマウスで入力された各種の指示等に応じて、画像処理条件の調整量を演算し、パラメータ統合部２３０へ供給している。
【００５５】
パラメータ統合部２３０では、上記セットアップ部２２６及びキー補正部２２８から受け取った画像処理条件をプレスキャン側及びファインスキャン側の画像データ処理部２０８，２１４へ送り、画像処理条件を補正あるいは再設定する。
【００５６】
ここで、赤目処理部２２０、２２２における赤目修正について、図４のフロー図を参照しながら説明する。
【００５７】
ステップ１００では、カラーバランス調整、コントラスト調整、明るさ補正、彩度補正（ハイパートーン処理）、ハイパーシャープネス処理等が、ＬＵＴやマトリクス（ＭＴＸ）演算等の各種補正処理が施されてモニタ１６Ｍに表示された画像の中から、赤目となった目の画像をその周囲を含めて処理対象領域として指定する。
【００５８】
処理対象領域の指定は、オペレータによってキー補正部２２８から入力したり、画像内の部分的に赤色が集中している領域を画像データ処理部２１４をによって抽出することにより行える。本実施形態では、オペレータによるキー入力によってキー補正部２２８から処理対象領域を指定している。
【００５９】
なお、オペレータによる処理対象領域の指定方法としては、例えば、図１１（Ａ）〜（Ｆ）に示すように、両目一括指定モード１、両目一括指定モード２、単独指定モード１、単独指定モード２、単独指定モード３、及び単独指定モード４の６つのモードから選択して指定できる。
【００６０】
両目一括指定モード１は、図１１（Ａ）に示すように、両目と両目の周辺領域を含む領域を、画像処理部１６に設けられたマウスやキーボード等により矩形状の枠１３で囲んで枠１３内の領域を指定するモードである。この場合、図１１（Ａ）の破線で示すように、指定領した枠１３の長軸の両外側から所定の比率で指定して領域を分割し、得られた分割領域を処理対象領域とする。なお、所定の比率とは枠１３の長軸の寸法に対する目の寸法の比率を統計的に算出して得られる比率であり、分割された領域が各々少なくとも１つの目を含み、眉間の領域が除かれるように設定される。なお、枠１３は矩形状に限らず楕円形状等他の形状としてもよい。
【００６１】
また、両目一括指定モード２は、図１１（Ｂ）に示すように、両目の瞳の中心部を画像処理部１６に設けられたマウスやキーボード等により指定して、両目と両目の周辺領域を含む領域を指定するモードである。この場合、指定した両目の瞳の中心部を結ぶ直線の両端から所定の比率となる長さを長軸の１／２の長さとする楕円状の領域を個々の目の領域とし、得られた分割領域を処理対象領域とする。
【００６２】
なお、この場合も上記の両目一括指定モード１と同様に、所定の比率とは指定した両目の瞳の中心部を結ぶ直線に対する目の寸法の比率を統計的に算出して得られる比率であり、楕円状の領域は各々少なくとも１つの目を含み、眉間の領域が除かれるように設定される。
【００６３】
また、上記両目一括指定モード１及び両目一括指定モード２においては、個々の目領域に領域を分割せずに両目を含んだ領域を処理対象領域とし、一括して赤目抽出処理を行うようにすることもできる。
【００６４】
単独指定モード１は、図１１（Ｃ）に示すように、１つの目の周辺領域を含む領域を、画像処理部１６に設けられたマウスやキーボード等により矩形状の枠１３で囲んで指定し、枠１３内の領域を処理対象領域とするモードである。この場合も、枠１３は矩形状に限らず楕円形状等他の形状としてもよい。
【００６５】
また、単独指定モード２は、図１１（Ｄ）に示すように、目の中心部と、目全体を含むように形成する枠の位置とを指定して、中心部に対する枠の位置から統計的に得られる比率に基いて１つの目を含む枠１３を自動的に形成するように設定してこの枠１３内の領域を処理対象領域として指定するモードである。
【００６６】
単独指定モード３は、図１１（Ｅ）に示すように、目の中心部、または目の周辺部との一方を一ヶ所１５指定することにより、目全体を含むデフォルトサイズの枠１３を自動的に形成するように設定してこの枠１３内の領域を処理対象領域として指定するモードである。なお、この場合、顔全体を矩形状、又は楕円形状等の枠等で囲んで指定後、顔と目の比率に応じて片目若しくは両目領域サイズの枠を自動的に形成するように設定してこの枠内の領域を処理対象領域として指定するモードとすることもできる。或いは、両目の中心部を指定して両目を包含する枠を自動的に形成してこの枠内の領域を処理対象領域として指定するモードとすることもできる。
【００６７】
単独指定モード４は、図１１（Ｆ）に示すように、目を含む目の周辺の領域を画像処理部１６に設けられたマウスやキーボード等により手書きの要領で囲みこんで形成した枠内の領域を処理対象領域として指定するモードである。
【００６８】
次に、ステップ１０２では、上記６つのモードうちのいずれか１つのモードによって指定された処理対象領域の特徴量を算出する。ここでは、抽出要素として色相、彩度、明度から得られる色の値を選択し、瞳部分の画像を一括して切り出せるような特徴量を選択する。
【００６９】
ここで、赤味をｒ値で表すと、ｒ値は赤味が強い程大きくなるので、赤目部では大となり、また、青い目ではマイナス値となる。また、明度をグレーｄ値で表すと、明るい画素はｄ値は大となるので、キャッチライト部や、白目部では大となり、ブラウン系瞳の虹彩部では小となる。
【００７０】
具体的には、レッド値（ｒ）を特徴量Ａ、グレー値（ｄ）を特徴量Ｂとしたとき、α×Ｂ＋（１−α）×｜Ａ｜…式（１）（ただし、αの好ましい値としては実験的に、α＝０．３以上、０．５以下が得られているが、その他の値とすることもできる。）によって得られる特徴量Ｃの値を横軸を瞳を通る直線上の位置としてグラフ化すると、画像を構成する要素（例えば、白目部分、瞳部分、肌部分）の領域ごとに山状波形を有するものとなる。なお、上記の特徴量の定義において、ＲＧＢによる色表現により、ｄ＝（Ｒ＋Ｇ＋Ｂ）／３、Ａ＝（Ｒ−ｄ）としてもよい。
【００７１】
例えば、目尻を通る長手方向の線に沿って算出した特徴量Ｃのグラフは、図１０に示すように、瞳の左右にある２つの白目部分の領域と瞳部分の領域とに対応して３つの山状波形を有するものとなる。なお、上記特徴量Ｃの式においては特徴量Ａを絶対値化することにより、赤目の抽出がブラウン系よりも難しい青目系の瞳の赤目抽出性能を向上させている。
【００７２】
また、別の特徴量の例として図１０（ｂ）に特徴量Ａのグラフ、図１０（ｃ）に特徴量Ｂのグラフをそれぞれ開示するが、図１０（ｂ）と図１０（ｃ）とにおいて、実線は瞳が赤く写る赤目の特徴量を示し、点線は瞳が金色に写る金目の特徴量を示しており、重なっている領域は実線となっている。これらのグラフにより金目は反射光が強いため、色味的には黄に近く明度が高いことがわかる。
【００７３】
次のステップ１０４においては、特徴量が山を形成する領域毎に画像を領域分割する。
【００７４】
領域分割の方法としては、例えば、図１０（ｂ）と図１０（ｃ）に示すように最も低い特徴量の画素(すなわち谷となる位置の画素)を領域として分割するようにユーザが指定したり、プログラムによる処理を行う。図１０（ｂ）および図１０（ｃ）では、キャッチライトを含む赤目領域が山を形成し、また、白目部分や肌部分との間では虹彩部が谷間となり、領域分割の境界となっている。なお、青目系瞳が赤目の場合、虹彩部が上記｜Ａ｜により青い虹彩部と瞳孔部の境界に領域分割の境界となる。
【００７５】
また、別の方法として、図１２（Ｂ）に示すように、両側の白目の部分と中央の瞳部分との３つの領域ごとに対応した山形状を有する特徴量Ｄを選択し、番号割り付け処理により領域を分割することができる。
【００７６】
この番号割り付け処理は、例えば、図１２（Ａ）に示すように、例えば、中央の画素を着目画素２１とする３行×３列の９つの画素からなる参照エリア２４を番号割り付け処理領域とし、９つの画素からなる参照エリアの中の最も大きな特徴量を有する画素の番号を着目画素２１に割り付ける処理である。
【００７７】
１例として、図１２（Ｂ）の特徴量Ｄを選択し、説明のため、部分的に拡大した領域について説明する。図１３（Ｂ）及び図１３（Ｃ）には、図１３（Ａ）に示すように、図１２（Ｂ）の特徴量Ｄの１つ目の山形状と２つ目の山形状の部分に対応する画素であるＮ行の画素行とその上のＮ−１行の画素列及び下のＮ＋１行の画素列の合計３行の画素行がそれぞれｎ列ずつ示されている。なお、各注目画素の座標を（Ｘ_N，Ｙ_m）(ただし、ｍは１以上の自然数)と記す。
【００７８】
図１３（Ｂ）に示すように、まず、１列目〜３列目までを参照エリア２４としたとき、注目画素２１となる画素（Ｘ_N，Ｙ₂）の特徴量Ｄが参照エリア２４の中で最も大きいかを判断する。この場合、図１３（Ａ）に示すように、注目画素２１となる画素（Ｘ_N，Ｙ₂）の特徴量よりも隣列の画素（Ｘ_N，Ｙ₃）の特徴量の方が大きいので、注目画素２１となる画素（Ｘ_N，Ｙ₂）には番号を付与せず、次の参照エリアの注目画素について参照エリアの中で特徴量が大きいかを判断する。
【００７９】
なお、この例では、注目画素がＮ列に沿って１つずつ矢印Ｉ方向にに移動するように処理するものとする。したがって、次の参照エリアは２列目〜４列目、その次の参照エリアは３列目〜５列目、…というように、参照エリアが移動することとなる。
【００８０】
図１３（Ｃ）に示すように、３〜５列目までを参照エリア２４としたとき、注目画素２１となる画素（Ｘ_N，Ｙ₄）の特徴量はちょうど図１３（Ａ）に示す山形状の頂点に対応しているため、最も大きくなる。したがって、新規割付番号として『１』を付与して次の参照エリア、(すなわち、４列目〜６列目)の注目画素について特徴量の大きさを判断する。
【００８１】
４列目〜６列目の参照エリアから谷部に対応する画素を注目画素とする８列目〜１０列目までの参照エリアの注目画素は、全て前回の注目画素よりも特徴量が小さいので、全て『１』が付与されることとなる。
【００８２】
前記谷部に対応する画素の１つ次の画素を注目画素とする７列目〜９列目までの参照エリアから次の山部に対応する画素の１つ前の画素を注目画素とする１３列目〜１５列目までの参照エリアは全て前回の注目画素よりも特徴量が大きいので、全て番号が付与されず、次の山部に対応する画素を注目画素とする１４列目〜１６列目までの参照エリアから次の谷部に対応する画素を注目画素とする参照エリアの注目画素までが全て新規割付番号として『２』が付与され、この繰り返しにより、図１３（Ｄ）に示すように、一列目の割付処理では、それぞれの山に対応した新規割付番号が部分的に付与されることとなる。
【００８３】
したがって、次の行、例えば、Ｎ＋１行目を注目画素としたとき既にＮ行目の番号割付処理により割り付けられた番号との比較を含んだ参照エリア内での特徴量の比較を行うこととなるため、何度も繰り返して番号割付処理を行うことにより、各山形状を構成する画素は全て各山形状に対応して付与された番号が付与され、最終的には全ての画素に番号が付与されることとなる。したがって、特徴量の山形状ごとに対応した番号で分割された複数の領域が得られることとなる。
【００８４】
なお、参照エリア内において注目画素（Ｘ_n，Ｙ_m）の特徴量よりも特徴量の大きい画素（Ｘ_n，Ｙ_m+1）が存在し、該画素に番号が付与されていない場合、注目画素（Ｘ_n，Ｙ_m）の位置を座標として記憶し、前記隣列の画素（Ｘ_n，Ｙ_m+1）を新規の注目画素として参照エリアを決定し、該新規の注目画素（Ｘ_n，Ｙ_m+1）が新たに決定した参照エリア内で最も大きな特徴量を有しているかを判断する。
【００８５】
前記新規の注目画素（Ｘ_n，Ｙ_m+1）よりも大きな特徴量を有する画素が新たに決定した参照エリア内に存在すれば、さらに、新規の注目画素（Ｘ_n，Ｙ_m+1）の位置を座標として記憶し、前記新規の注目画素（Ｘ_n，Ｙ_m+1）よりも大きな特徴量を有する画素（Ｘ_n+i，Ｙ_m+j）(ただし、ｉ，ｊは整数)を新規の注目画素として同様な処理を繰り返すように処理をしても良い。
【００８６】
この場合、必ずしも同一行の画素のみが注目画素になるわけではないが、１回特徴量を比較した画素については番号が付与できない場合も記憶しておき、その領域内で最も特徴量が高い画素に番号が付与されると、図１４に示すように、記憶した画素全てにその番号が付与されることとなるので、何度も繰り返してと特徴量を比較して番号を付与する場合に比べて速い速度で番号割付処理を行うことができる。このような番号割付処理により、図６に示すように、ほぼ目の部位に対応する領域ごとに領域分割されたエリアが得られる。
【００８７】
ステップ１０６では、ステップ１０４で分割した領域についてそれぞれ、形状、他の領域との配置関係（位置）、面積比率、濃度、平均色味の各々についてチェックし、瞳部分の特徴を最も有するものを赤目領域として選択する。なお、１つの目の画像の中で２つ以上の領域が赤目領域として選択された場合は、形状、他の領域との配置関係（位置）、面積比率、濃度、平均色味の各々について評価し、最も評価の高い領域を赤目領域として選択する。
【００８８】
評価の方法としては、例えば、各分割領域ごとに、円形度が大きいほど点数が高くなる第１の点数を求め、最も点数の高いものを瞳部分の特徴を最も有するもの、すなわち、赤目領域とする方法がある。また、各分割領域ごとに、重心の位置と指定領域の中心位置との間の距離を算出して、距離が短いほど点数が大となる第２の点数を求め、最も点数の高いものを瞳部分の特徴を最も有するもの、すなわち、赤目領域とする方法がある。
【００８９】
さらに、各分割領域ごとに、分割領域の面積と指定領域の面積との比率を求め、得られた比率が予め求めた瞳の面積と指定領域の面積との比率の範囲等の所定範囲から外れる程点数が小さくなる第３の点数を求め、最も点数の高いものを瞳部分の特徴を最も有するもの、すなわち、赤目領域とする方法がある。
【００９０】
また、色相、彩度、明度のうちのいずれか１つ以上における平均値、最大値、最小値、コントラスト、ヒストグラム形状のうちのいずれか１つ以上を用い、予め測定されている統計的な色調不良領域情報との比較より、色調不良領域の特徴に近い特徴を有するものほど点数が高くなる第４の点数を求め、最も点数の高いものを瞳部分の特徴を最も有するもの、すなわち、赤目領域とする方法がある。
【００９１】
さらには、予め指定された瞳の中心位置と両目の間隔とに応じて求められ、瞳の中心から外れる程点数が小さくなる第５の点数を求め、最も点数の高いものを瞳部分の特徴を最も有するもの、すなわち、赤目領域とする方法がある。第５の点数は、例えば、図１５（Ａ）に示す破線の上の点数を表した図１５（Ｂ）に示すように、瞳部分が最高点を持ち瞳から離れると点数が低くなるように設定している。
【００９２】
これら５つの点数のうちの少なくとも１つの点数を選択し、この点数に基いて赤目領域を判別しても良いが、より好ましくは、前記５つの点数のうちの２つ以上における平均点数または加重平均点数により、上位Ｌ（ただし、Ｌは１以上）個の領域を色調不良領域と判定するようにすると良い。
【００９３】
例えば、図１６に示すように６つのエリア(分割領域)に分割されている場合、図１６（Ａ）に示すように、第１の点数が、エリア１はＡ４点、エリア２はＡ６点、エリア３はＡ２点、エリア４はＡ３点、エリア５はＡ１点、エリア６はＡ５点であり、第２の点数が、エリア１はＢ５点、エリア２はＢ４点、エリア３はＢ２点、エリア４はＢ３点、エリア５はＢ１点、エリア６はＢ６点であるとする。ただし、Ａ１＞Ａ２＞Ａ３＞Ａ４＞Ａ５＞Ａ６…（１）、Ｂ１＞Ｂ２＞Ｂ３＞Ｂ４＞Ｂ５＞Ｂ６…（２）である。
【００９４】
したがって、それぞれの領域ごとに第１の点数と第２の点数との平均点を出すと、図１６（Ｂ）に示すように、エリア１は(Ａ４＋Ｂ５)／２点、エリア２は(Ａ６＋Ｂ４)／２点、エリア３は(Ａ２＋Ｂ２)／２点、エリア４は(Ａ３＋Ｂ３)／２点、エリア５は(Ａ１＋Ｂ１)／２点、エリア６は(Ａ５＋Ｂ６)／２点となり、上記（１）の式及び（２）の式からエリア５が最も点数が高いことは明白である。
【００９５】
なお、点数の高い順に重い重みをつけた加重平均を取ることによって、より一層点数の高いものは高く、低いものは低くなるので、点数差が広がり瞳部分の特徴を最も有するものを明確に区別できる。
【００９６】
ステップ１０８では、上記のようにして選択された赤目領域の画素に対し、赤目領域の画素の中で最小明度の画素に基づきすべての画素の明度を最小明度の画素の明度と同じ又は近づくように補正する。例えば、赤目領域の画素の中で最小明度の画素の明度をｄmin 、補正対象となる赤目領域の画素の明度をｘとしたとき、補正対象となる赤目領域の画素の補正後の明度ｘ’は以下の式（２）により算出することが挙げられる。
【００９７】
ｘ’＝ｘ−（ｘ−ｄmin ）×ａ …式（２）
（なお、ａの値を１≦ａ≦１．３とすると修正後の画像を自然な雰囲気とできるため好ましい。）結果的に赤目となった瞳孔部は、修正後に周辺から中央にかけて徐々に明度が低下する画像となる。
【００９８】
修正例として、目尻を通る線に沿って、図７（ａ）に修正前の明度、図７（ｂ）に修正後の明度を示す。
【００９９】
彩度についても上記明度の修正方法と同様に最小彩度の画素の彩度に合わせて補正する。もちろん、自然な雰囲気に仕上がるのであれば、明度だけ補正する構成としても彩度だけ補正する構成してもよい。なお、特徴量の補正量をユーザーの好みに合わせて予め設定しておいてもよく、この場合、ユーザーの好みに合わせた特殊な色合いとすることも可能である。
【０１００】
または、他の修正手法として、修正した赤目領域の中心から周縁に向かって放射状に階調パターンを形成し、中心から周縁に向かって濃度が薄くなるようにグラデーションパターンを指定された色で付ける。ここで、指定された色とは、例えば、赤目になっていない他の領域の瞳部分から検出された最大濃度値と最小濃度値や、前記最大濃度値と最小濃度値から調整した最大濃度値と最小濃度値や、ユーザーにより予め定めた最大濃度値と最小濃度値等を選択できる。なお、グラデーションパターンを付与する処理方法は、周知の技術であるため、詳細な説明は省略する。
【０１０１】
上記式（２）のｄｍｉｎや、グラデーションパターン制御用の濃度の最大値や最小値を決定する際に、赤目領域内、目の指定領域内、顔領域内、画像全体のいずれかを比較領域として切り替えてもよい。
【０１０２】
ステップ１１０では、修正した赤目領域内に部分的な高輝度領域、すなわちハイライト領域を形成しこれをキャッチライトとする。キャッチライトの位置は、修正前の赤目領域の最大明度位置とし、その最大明度位置に基づいて放射状の輝点を形成することにより行う。
【０１０３】
例えば、赤目領域の画素の中で最小明度の画素の明度をｄmin 、明度の調整係数をｋ、補正対象となる赤目領域のある位置の画素の明度をｙ（ｉ，ｊ）としたとき、赤目領域内のキャッチライト位置の画素の明度ｙ’（ｉ，ｊ）は以下の式（３）により算出することが挙げられる。
【０１０４】
ｙ’（ｉ，ｊ）＝ｄmin ＋ｋ（ｉ，ｊ）×｛ｙ（ｉ，ｊ）−ｄmin ｝…式（３）
ただし、ｉとｊはキャッチライト内の位置を示しており、キャッチライトを構成する画素の明度は中心から放射状に徐々に低くなるため、例えば、図８に示す表のように、明度の調整係数ｋを設定し、キャッチライト内の位置（ｉ，ｊ）に応じて明度の調整係数ｋ（ｉ，ｊ）を変更する。
【０１０５】
なお、修正する赤目領域の画像寸法に対応させてキャッチライトの寸法及び明度の調整係数を設定することにより一層自然な雰囲気の瞳画像とすることができる。
【０１０６】
また、本実施形態では、キャッチライト部分を形成するために、画素がキャッチライトのどの位置に対応するかに応じて個々の画素の明度を変化させるようにしているが、予めキャッチライトパターンを形成してキャッチライト位置に貼りつけるように構成することもできる。この場合も寸法の拡大縮小を自由にできるように設定し、修正する赤目領域の画像寸法に対応させてキャッチライトの寸法を換えることでより一層自然な雰囲気の瞳画像とすることができる。もちろん明度についても同様に、自由に明度を設定できるようにすることでより一層自然な雰囲気の瞳画像とできる。
【０１０７】
図９に、赤目修正を施してキャッチライトパターンを形成した画像の目尻を通る長手方向の線に沿った明度のグラフを示す。
【０１０８】
なお、本実施形態では、同じ指定領域についてステップ１０２からステップ１０６までの処理を一回行うものとしているが、ステップ１０２からステップ１０６までの処理を複数回繰り返して行う設定とすることもでき、この場合、赤目領域の抽出をより一層精度よく抽出することができる。
【０１０９】
なお、本発明は以上述べた構成に限らず、隣接する分割領域を連結して赤目評価を適用することもできる。例えば、本来の赤目部分が２分割されている場合、赤目部分が含まれる領域を連結し１つの領域として認識することにより、円形度の評価が高まる。その結果、連結した領域の評価点が、個別の分割領域での評価点を上回る場合は、連結した領域を赤目領域と判定する。
【０１１０】
なお、上記の、赤目抽出、赤目領域修正、キャッチライト付加等の各処理は独立して実行可能であるため、各処理のそれぞれについて他の手法あるいはマニュアル処理に代替えした組み合わせにより赤目修正処理を行うこともできる。
【０１１１】
また、抽出した赤目領域に正常な瞳を拡大縮小して貼り付ける補正処理を行っても良い。この場合、目を貼り付けた後、さらに修正して全体の感じと合うようにすると良い。
【０１１２】
【発明の効果】
以上説明したように、請求項１から請求項３の発明によれば、どのような画像であっても正確に領域を分割して修正の必要のある領域だけを修正対象領域として選択できる、という効果を達成する。
【０１１３】
また、請求項４及び請求項５の発明によれば、瞳領域だけを正確に選択できる、という効果を達成する。
【０１１４】
さらに、請求項６から請求項２０の発明によれば、修正対象領域である瞳領域を正確に修正できる、という効果を達成する。
【０１１５】
また、請求項２１の発明によれば、修正された画像を自然な雰囲気に仕上げることができる、という効果を達成する。
【０１１６】
また、請求項２２の発明によれば、赤目補正処理を精度良く行うことができる、という効果を達成する。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかるデジタルラボシステムの概略構成図である。
【図２】デジタルラボシステムの概観図である。
【図３】画像処理部の制御ブロック図である。
【図４】赤目処理部２２０、２２２における赤目修正処理の流れを示すフロー図である。
【図５】目尻を通る長手方向の線に沿って算出した場合の特徴量Ｃのグラフである。
【図６】特徴量Ｃに基づいて山毎に分割した場合の説明図である。
【図７】（ａ）は、目尻を通る長手方向の線に沿った明度のグラフであり、（ｂ）は、ａ＝１．３とした式（２）に基づいて、（ａ）における赤目領域の明度を修正した状態を示すグラフである。
【図８】キャッチライト内の画素の位置と明度の調整係数との関係を示す図である。
【図９】赤目修正を施してキャッチライトパターンを形成した画像の目尻を通る長手方向の線に沿った明度のグラフである。
【図１０】（ａ）は目の正面概略図であり、（ｂ）は目尻を通る長手方向の線に沿って算出した特徴量Ａのグラフであり、（ｃ）は目尻を通る長手方向の線に沿って算出した特徴量Ｂのグラフである。
【図１１】オペレータによる処理対象領域の指定方法の例を示す説明図である。
【図１２】番号割付処理の方法を説明する説明図であり、図１２（Ａ）は参照エリアを示し、図１２（Ｂ）は選択した特徴量Ｄのグラフを示している。
【図１３】図１３（Ａ）は特徴量Ｄの一部を示すグラフであり、図１３（Ｂ）〜図１３（Ｄ）は番号割付手順を示す説明図である。
【図１４】番号割付処理の別の方法を説明する説明図である。
【図１５】図１５（Ａ）は、処理対象領域を示し、図１５（Ｂ）は、図１５（Ａ）の視線に沿った領域の点数を示すグラフである。
【図１６】図１６（Ａ）は、６つの分割領域それぞれにつけた第１の点数と第２の点数とを示した説明図であり、 図１６（Ｂ）は、６つの分割領域ごとのそれぞれの平均点数を示した説明図である。
【符号の説明】
１０ ディジタルラボシステム
１４ ラインＣＣＤスキャナ
１６ 画像処理部
６６ 光源部
６８ 写真フィルム
２００ データ処理部
２０２ log 変換器
２０４ プレスキャンメモリ
２０６ ファインスキャンメモリ
２０８ 画像データ処理部
２１２ プレスキャン処理部
２１４ 画像データ処理部
２１８ ファインスキャン処理部
２２０ 赤目処理部
２２４ 条件設定部
２３４ レンズ特性データ供給部

Claims (18)

1. 色調不良となった目領域を含む予め指定した画像領域をｘｙ平面とし、各画素ごとに色相、彩度、明度のうちのいずれか１つまたは２つ以上の組み合わせにより画像特徴量を求め、
   該特徴量をｚ軸に配置する３次元のｘｙｚ空間を設定し、ｘｙ平面の広がりに対しｚ軸の値が山状の分布形状を持つ領域毎にｘｙ平面を、前記予め指定した画像領域内の各画素毎に、番号割り付け処理対象の着目画素を中心とするＮ行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域内で、着目画素の前記特徴量の値が最大である場合はこの着目画素を山の頂点として新規番号を割り付け、着目画素の前記特徴量の値が最大でなく、かつ、前記参照領域内の着目画素以外の最大の特徴量の値を持つ画素が割り付け番号を持つ場合は、該割り付け番号を着目画素に付与する番号割り付け処理を、前記予め指定した画像領域内の全画素についていずれかの山の頂点番号が付与されるまで繰り返し、同一番号を持つ画素の集合を１つの領域とすることにより画像領域分割し、
   各分割領域のｘｙ平面上での形状情報、位置情報、面積情報、統計的画像特徴量のうちのいずれか１つまたは２つ以上の組み合わせにより、瞳の色調不良領域の判別を行い、色調不良領域と判別された領域を視覚的に正常な目の画像となるように修正する画像処理方法。
2. 前記山状の分布形状を持つ領域毎にｘｙ平面を領域分割する際に、
   前記予め指定した画像領域内の各画素において番号が未決定の画素を着目画素とし、該着目画素を中心とするＮ行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域内に着目画素よりも大きい前記特徴量の値を有する画素がある場合、着目画素の位置を記憶し、前記特徴量の値が大きい画素を新規着目点とする処理を繰り返し、
   前記新規着目点の特徴量の値が参照領域内で最大である場合に、前記新規着目点の番号が未決定であればこの新規着目点を山の頂点として新規番号を割り付け、前記新規着目点に番号が既に割り付けられていればその番号を前記記憶した座標の全画素に付与する番号割付処理を、前記予め指定した画像領域内の全画素についていずれかの山の頂点番号が付与されるまで繰り返し、
   同一番号を持つ画素の集合を１つの領域とすることにより画像領域分割を行う請求項１記載の画像処理方法。
3. 前記瞳の色調不良領域の判別において、各分割領域ごとに、
   円形度特徴量を用いてより円形に近い程大となる形状情報としての第１の点数、
   分割領域の重心が指定領域の中心位置に近い程大となる位置情報としての第２の点数、
   分割領域の面積と指定領域の面積との比率が所定範囲から外れる程小となる面積情報としての第３の点数、
   色相、彩度、明度のうちのいずれか１つ以上における平均値、最大値、最小値、コントラスト、ヒストグラム形状のうちのいずれか１つ以上を用い、統計的な色調不良領域情報との比較より、色調不良度合いを示す統計的画像特徴量としての第４の点数、
   及び、予め指定された瞳の中心位置と両目の間隔とに応じて求められ、瞳の中心から外れる程小となる位置情報としての第５の点数、
   の５つの点数のうちの少なくとも１つの点数を求め、最も点数の高いものを色調不良領域と判定する請求項１又は請求項２に記載の画像処理方法。
4. 前記いずれか２つ以上の点数の平均値または加重平均点数により、上位Ｌ（ただし、Ｌは１以上の整数）個の領域を色調不良領域と判定する請求項３に記載の画像処理方法。
5. 色調不良となった目領域を含む予め指定した画像領域をｘｙ平面とし、各画素ごとに色相、彩度、明度のうちのいずれか１つまたは２つ以上の組み合わせにより画像特徴量を求め、
   該特徴量をｚ軸に配置する３次元のｘｙｚ空間を設定し、ｘｙ平面の広がりに対しｚ軸の値が山状の分布形状を持つ領域毎にｘｙ平面を、前記予め指定した画像領域内の各画素毎に、番号割り付け処理対象の着目画素を中心とするＮ行×Ｍ列（ただし、Ｎ、Ｍは１以 上）画素分の参照領域内で、着目画素の前記特徴量の値が最大である場合はこの着目画素を山の頂点として新規番号を割り付け、着目画素の前記特徴量の値が最大でなく、かつ、前記参照領域内の着目画素以外の最大の特徴量の値を持つ画素が割り付け番号を持つ場合は、該割り付け番号を着目画素に付与する番号割り付け処理を、前記予め指定した画像領域内の全画素についていずれかの山の頂点番号が付与されるまで繰り返し、同一番号を持つ画素の集合を１つの領域とすることにより画像領域分割し、
   各分割領域のｘｙ平面上での形状情報、位置情報、面積情報、統計的画像特徴量のうちのいずれか１つまたは２つ以上の組み合わせにより、瞳の色調不良領域の判別を行い、色調不良領域と判別された瞳の色調不良領域の周辺部から中央部にかけて明度と彩度とのいずれか１つ又は両方が徐々に低下するようにグラデーションをかける処理を含む修正を行って、前記瞳の色調不良領域を視覚的に正常な目の画像となるように修正する画像処理方法。
6. 前記山状の分布形状を持つ領域毎にｘｙ平面を領域分割する際に、
   前記予め指定した画像領域内の各画素において番号が未決定の画素を着目画素とし、該着目画素を中心とするＮ行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域内に着目画素よりも大きい前記特徴量の値を有する画素がある場合、着目画素の位置を記憶し、前記特徴量の値が大きい画素を新規着目点とする処理を繰り返し、
   前記新規着目点の特徴量の値が参照領域内で最大である場合に、前記新規着目点の番号が未決定であればこの新規着目点を山の頂点として新規番号を割り付け、前記新規着目点に番号が既に割り付けられていればその番号を前記記憶した座標の全画素に付与する番号割付処理を、前記予め指定した画像領域内の全画素についていずれかの山の頂点番号が付与されるまで繰り返し、
   同一番号を持つ画素の集合を１つの領域とすることにより画像領域分割を行う請求項５に記載の画像処理方法。
7. 前記瞳の色調不良領域の判別において、各分割領域ごとに、
   円形度特徴量を用いてより円形に近い程大となる形状情報としての第１の点数、
   分割領域の重心が指定領域の中心位置に近い程大となる位置情報としての第２の点数、
   分割領域の面積と指定領域の面積との比率が所定範囲から外れる程小となる面積情報としての第３の点数、
   色相、彩度、明度のうちのいずれか１つ以上における平均値、最大値、最小値、コントラスト、ヒストグラム形状のうちのいずれか１つ以上を用い、統計的な色調不良領域情報との比較より、色調不良度合いを示す統計的画像特徴量としての第４の点数、
   及び、予め指定された瞳の中心位置と両目の間隔とに応じて求められ、瞳の中心から外れる程小となる位置情報としての第５の点数、
   の５つの点数のうちの少なくとも１つの点数を求め、最も点数の高いものを色調不良領域と判定する請求項５又は請求項６に記載の画像処理方法。
8. 前記いずれか２つ以上の点数の平均値または加重平均点数により、上位Ｌ（ただし、Ｌは１以上の整数）個の領域を色調不良領域と判定する請求項７に記載の画像処理方法。
9. 色調不良となった目領域を含む予め指定した画像領域をｘｙ平面とし、各画素ごとに色相、彩度、明度のうちのいずれか１つまたは２つ以上の組み合わせにより画像特徴量を求め、
   該特徴量をｚ軸に配置する３次元のｘｙｚ空間を設定し、ｘｙ平面の広がりに対しｚ軸の値が山状の分布形状を持つ領域毎にｘｙ平面を、前記予め指定した画像領域内の各画素毎に、番号割り付け処理対象の着目画素を中心とするＮ行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域内で、着目画素の前記特徴量の値が最大である場合はこの着目画素を山の頂点として新規番号を割り付け、着目画素の前記特徴量の値が最大でなく、かつ、前記参照領域内の着目画素以外の最大の特徴量の値を持つ画素が割り付け番号を持つ場合は、該割り付け番号を着目画素に付与する番号割り付け処理を、前記予め指定した画像領域内の全画素についていずれかの山の頂点番号が付与されるまで繰り返し、同一番号を持 つ画素の集合を１つの領域とすることにより画像領域分割し、
   各分割領域のｘｙ平面上での形状情報、位置情報、面積情報、統計的画像特徴量のうちのいずれか１つまたは２つ以上の組み合わせにより、瞳の色調不良領域の判別を行い、色調不良領域と判別された瞳の色調不良領域の最大明度位置をキャッチライト位置と判別し、該キャッチライト位置にキャッチライトパターンを形成する処理を含む修正を行って、前記瞳の色調不良領域を視覚的に正常な目の画像となるように修正する画像処理方法。
10. 前記山状の分布形状を持つ領域毎にｘｙ平面を領域分割する際に、
    前記予め指定した画像領域内の各画素において番号が未決定の画素を着目画素とし、該着目画素を中心とするＮ行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域内に着目画素よりも大きい前記特徴量の値を有する画素がある場合、着目画素の位置を記憶し、前記特徴量の値が大きい画素を新規着目点とする処理を繰り返し、
    前記新規着目点の特徴量の値が参照領域内で最大である場合に、前記新規着目点の番号が未決定であればこの新規着目点を山の頂点として新規番号を割り付け、前記新規着目点に番号が既に割り付けられていればその番号を前記記憶した座標の全画素に付与する番号割付処理を、前記予め指定した画像領域内の全画素についていずれかの山の頂点番号が付与されるまで繰り返し、
    同一番号を持つ画素の集合を１つの領域とすることにより画像領域分割を行う請求項９に記載の画像処理方法。
11. 前記瞳の色調不良領域の判別において、各分割領域ごとに、
    円形度特徴量を用いてより円形に近い程大となる形状情報としての第１の点数、
    分割領域の重心が指定領域の中心位置に近い程大となる位置情報としての第２の点数、
    分割領域の面積と指定領域の面積との比率が所定範囲から外れる程小となる面積情報としての第３の点数、
    色相、彩度、明度のうちのいずれか１つ以上における平均値、最大値、最小値、コントラスト、ヒストグラム形状のうちのいずれか１つ以上を用い、統計的な色調不良領域情報との比較より、色調不良度合いを示す統計的画像特徴量としての第４の点数、
    及び、予め指定された瞳の中心位置と両目の間隔とに応じて求められ、瞳の中心から外れる程小となる位置情報としての第５の点数、
    の５つの点数のうちの少なくとも１つの点数を求め、最も点数の高いものを色調不良領域と判定する請求項９又は請求項１０に記載の画像処理方法。
12. 前記いずれか２つ以上の点数の平均値または加重平均点数により、上位Ｌ（ただし、Ｌは１以上の整数）個の領域を色調不良領域と判定する請求項１１に記載の画像処理方法。
13. 色調不良となった目領域を含む予め指定した画像領域をｘｙ平面とし、各画素ごとに色相、彩度、明度のうちのいずれか１つまたは２つ以上の組み合わせにより画像特徴量を求め、
    該特徴量をｚ軸に配置する３次元のｘｙｚ空間を設定し、ｘｙ平面の広がりに対しｚ軸の値が山状の分布形状を持つ領域毎にｘｙ平面を、前記予め指定した画像領域内の各画素毎に、番号割り付け処理対象の着目画素を中心とするＮ行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域内で、着目画素の前記特徴量の値が最大である場合はこの着目画素を山の頂点として新規番号を割り付け、着目画素の前記特徴量の値が最大でなく、かつ、前記参照領域内の着目画素以外の最大の特徴量の値を持つ画素が割り付け番号を持つ場合は、該割り付け番号を着目画素に付与する番号割り付け処理を、前記予め指定した画像領域内の全画素についていずれかの山の頂点番号が付与されるまで繰り返し、同一番号を持つ画素の集合を１つの領域とすることにより画像領域分割し、
    各分割領域のｘｙ平面上での形状情報、位置情報、面積情報、統計的画像特徴量のうちのいずれか１つまたは２つ以上の組み合わせにより、瞳の色調不良領域の判別を行い、色調不良領域と判別された瞳領域のサイズに合うように正常な瞳領域から切り出した色調正常の瞳を拡大縮小後、前記色調不良領域と判別された瞳領域に貼り込む処理を含む修正を行って、前記瞳の色調不良領域を視覚的に正常な目の画像となるように修正する画像処理方法。
14. 前記山状の分布形状を持つ領域毎にｘｙ平面を領域分割する際に、
    前記予め指定した画像領域内の各画素において番号が未決定の画素を着目画素とし、該着目画素を中心とするＮ行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域内に着目画素よりも大きい前記特徴量の値を有する画素がある場合、着目画素の位置を記憶し、前記特徴量の値が大きい画素を新規着目点とする処理を繰り返し、
    前記新規着目点の特徴量の値が参照領域内で最大である場合に、前記新規着目点の番号が未決定であればこの新規着目点を山の頂点として新規番号を割り付け、前記新規着目点に番号が既に割り付けられていればその番号を前記記憶した座標の全画素に付与する番号割付処理を、前記予め指定した画像領域内の全画素についていずれかの山の頂点番号が付与されるまで繰り返し、
    同一番号を持つ画素の集合を１つの領域とすることにより画像領域分割を行う請求項１３に記載の画像処理方法。
15. 前記瞳の色調不良領域の判別において、各分割領域ごとに、
    円形度特徴量を用いてより円形に近い程大となる形状情報としての第１の点数、
    分割領域の重心が指定領域の中心位置に近い程大となる位置情報としての第２の点数、
    分割領域の面積と指定領域の面積との比率が所定範囲から外れる程小となる面積情報としての第３の点数、
    色相、彩度、明度のうちのいずれか１つ以上における平均値、最大値、最小値、コントラスト、ヒストグラム形状のうちのいずれか１つ以上を用い、統計的な色調不良領域情報との比較より、色調不良度合いを示す統計的画像特徴量としての第４の点数、
    及び、予め指定された瞳の中心位置と両目の間隔とに応じて求められ、瞳の中心から外れる程小となる位置情報としての第５の点数、
    の５つの点数のうちの少なくとも１つの点数を求め、最も点数の高いものを色調不良領域と判定する請求項１３又は請求項１４に記載の画像処理方法。
16. 前記いずれか２つ以上の点数の平均値または加重平均点数により、上位Ｌ（ただし、Ｌは１以上の整数）個の領域を色調不良領域と判定する請求項１５に記載の画像処理方法。
17. 修正した瞳部分を含む目の画像と、修正の不要な目の画像とが同じ雰囲気となるように、或いは、両目とも色調不良を修正した場合において両目の画像の雰囲気が揃うようにさらに修正する請求項１から請求項１６のいずれか１項に記載の画像処理方法。
18. 前記色調不良の目領域を含む指定領域について、特徴量算出、領域分割及び色調不良領域判定を複数回繰り返して行い、該回数に応じて、画像の領域分割手法または領域分割に用いる特徴量を変更し、
    あるいは、色調不良領域判定に用いる特徴量の種類または特徴量の計算方法または判定基準を変更し、
    あるいは、色調不良領域の修正方法を変更する請求項１から請求項１７のいずれか１項に記載の画像処理方法。

Images