JP4281541B2 - 色不良領域補正方法、色不良領域補正処理プログラム、色領域特定方法、色領域特定処理プログラムおよび画像処理装置 - Google Patents

Description

本発明は、画像処理において、色不良領域などの特定の色領域を特定する色領域特定方法、色領域特定処理プログラム、および、色領域特定方法を用い、色不良領域を補正する色不良領域補正方法、色不良領域補正処理プログラム、および、色領域特定処理プログラムまたは色不良領域補正処理プログラムのいずれか、またはその両方の実行が可能な画像処理装置に関する。特に、フラッシュ撮影時の赤目現象による色不良を改善する技術に関する。

フラッシュ撮影をしたとき、人の目が赤くなったり金色になったりするいわゆる赤目現象が知られている。この赤目を修正する装置が開示されている（特許文献１）。この赤目修正装置では、色不良となった瞳を含むなるべく小さな矩形領域をユーザが指定する。そして、指定された領域内部全体において、色度の平均値等のパラメータからしきい値処理を行うことにより、赤目現象による色不良領域を抽出して修正するものである。

特開平７−１３２７４号公報

しかし、瞳の色不良を単純に赤目といっても、撮影環境や照明条件などの影響によって、普通の赤色をした赤目、明るい赤色をした金目と呼ばれるもの、またはグラデーションを持った赤目など、様々な種類のものが存在する。そのため、特許文献１に開示されているようにしきい値処理によって色不良領域を抽出する方法では、これらの様々な赤目現象による色不良領域の全てを正確に抽出することが実際上困難であり、抽出しきれずに補正できない色不良領域が残ることがある。

請求項１の発明による色領域特定方法は、補正すべき、赤目現象によって生じた赤目領域を含む画像より、その赤目領域に対して欠損部分を有する第１の領域を抽出する領域抽出ステップと、第１の領域の欠損部分を補間する第２の領域をモルフォロジ演算によって特定する領域補間ステップと、領域補間ステップにより特定された第２の領域の境界から所定範囲内における色情報に基づいて赤さレベルを求め、その結果から赤目領域の境界を求めて、第２の領域を赤目領域に一致させるように変形する領域変形ステップとを有するものである。
請求項２の発明による色領域特定方法は、補正すべき、赤目現象によって生じた赤目領域を含み、その赤目領域に対して欠損部分を有する第１の領域が抽出された画像を取得する画像取得ステップと、第１の領域の欠損部分を補間する第２の領域をモルフォロジ演算によって特定する領域補間ステップと、領域補間ステップにより特定された第２の領域の境界から所定範囲内における色情報に基づいて赤さレベルを求め、その結果から赤目領域の境界を求めて、第２の領域を赤目領域に一致させるように変形する領域変形ステップとを有するものである。
請求項３の発明は、請求項１または２の色領域特定方法において、第２の領域は、第１の領域よりも大きいこととするものである。
請求項４の発明は、請求項１〜３のいずれかの色領域特定方法において、画像の各画素におけるＲＧＢ値を、Ｒ，Ｇ，Ｂとして、赤さレベルＲ’が下記の式によって表され、この赤さレベルＲ’の値を最小とする画素が形成する境界線を境界とするものである。
Ｒ’＝Ｃｒ・Ｒ／（Ｒ＋Ｇ＋Ｂ）、ただし、Ｃｒ＝０．７１３（Ｒ−Ｙ）、Ｙ＝０．５８７Ｇ＋０．１１４Ｂ＋０．２９９Ｒ
請求項５の発明による色不良領域補正方法は、請求項１〜４のいずれかの色領域特定方法により特定され変形された第２の領域の色情報を変更することにより、赤目領域の色補正を行う色補正ステップを有するものである。
請求項６の発明は、請求項５の色不良領域補正方法において、色補正ステップは、画像よりキャッチライトの部分を探索し、このキャッチライトの部分の色情報を取得して記憶する記憶ステップと、記憶ステップにより記憶された色情報に基づいて赤目領域に含まれるキャッチライトの部分を無彩色に変換することで色補正を行う部分色補正ステップとを含むものである。
請求項７の発明による色領域特定処理プログラムは、請求項１〜４いずれか１項に記載の色領域特定方法のステップをコンピュータに実行させるためのものである。
請求項８の発明による色不良領域補正処理プログラムは、請求項５〜６いずれか１項に記載の色不良領域補正方法のステップをコンピュータに実行させるためのものである。
請求項９の発明によるコンピュータ読みとり可能な記録媒体は、請求項７の色領域特定処理プログラムまたは請求項８の色不良領域補正処理プログラムのいずれか、またはその両方を記録したものである。
請求項１０の発明による画像処理装置は、請求項７の色領域特定処理プログラムまたは請求項８の色不良領域補正処理プログラムのいずれか、またはその両方を搭載し、実行するものである。

本発明によれば、抽出しきれずに欠損した色不良領域の欠損部分を補間するようにしたので、補正すべき色不良領域を、自然な色状態へ、容易に、短時間で、確実に補正することができる。

−第１の実施の形態−
図１は、本発明の色不良領域補正方法を実施する一実施の形態を示す図である。符号１は、一般に市販されているパーソナルコンピュータ（以下パソコンと言う）である。パソコン１は、ＣＰＵ、メモリ、ハードディスク、Ｉ／Ｏポート、各種のインターフェース等からなる制御装置２と、各種画像や情報を表示するモニタ３と、キーボード４と、マウス５と、ＣＤ−ＲＯＭ駆動装置６とからなる。ＣＤ−ＲＯＭ駆動装置６は、ＣＤ−ＲＯＭやＤＶＤなどの記録媒体７が搭載され、各種のデジタルデータを読み込むことができる。制御装置２は、ＵＳＢ等のインターフェースを介してデジタルカメラ（電子カメラ）８と接続可能である。また、モデムやＬＡＮボード等を介してインターネット９とも接続可能である。

本実施の形態のパソコン１は、記録媒体７、デジタルカメラ８、あるいはインターネット９を介した他のコンピュータ１０等から、デジタルカメラ等で撮像して得られた画像データを取得することができる。パソコン１は、画像処理プログラムを実行することが可能であり、取得した画像データに各種の画像処理を加えることが可能である。本実施の形態では、画像処理の１つとして赤目現象を補正する処理を行うことができる。

画像処理プログラムは、制御装置２内部のハードディスクに格納され、制御装置２のメモリに読みこまれて、制御装置２により実行される。画像処理プログラムは、記録媒体７等に格納されて、あるいは、インターネット９などの電気通信回線を通じてデータ信号としてパソコン１に提供される。提供された画像処理プログラムは、制御装置２内部のハードディスクに格納される。インターネット９を通じて画像処理プログラムが提供される場合、インターネット９を介して接続されるサーバコンピュータから提供される。図１において、例えば、コンピュータ１０がサーバコンピュータとなり得る。サーバコンピュータ１０は、内部のハードディスク等の記録媒体に提供すべき画像処理プログラムを格納している。

以下、本実施の形態における赤目現象の補正処理について説明する。赤目現象とは、カメラ等を使用して人物をフラッシュ撮影したとき、撮影された人物の目がウサギの目のように赤く写る現象をいう。目が赤くなるのは、目の網膜の毛細血管が写るためであり、正確には目の瞳孔部分が赤くなる。撮影条件によっては金色になる場合もあり、このような金目も、まとめて赤目現象と言う。すなわち、赤目現象とは、フラッシュ撮影などにより人物の目が違和感のある色になっている現象であり、言いかえれば瞳孔あたりの領域で色不良が生じている現象である。また、動物の目において赤目現象が生じる場合もある。

本実施形態において、赤目補正処理はパソコン１で実行される画像処理プログラムの一部として行われるものであり、制御装置２内部のメモリに読みこまれた画像データを対象として実行される。画像データがメモリに読み込まれると、パソコン１はその画像データを使用して画像をモニタ３に表示した後、ユーザによって選択された各種の画像処理コマンドに応じた様々な画像処理プログラムを、その画像に対して実行する。すなわち、図２に示す赤目補正処理は、画像処理コマンドの１つとして赤目補正が選択されたときに実行される。

なお、メモリに読み込まれる前の画像データは、記録媒体７、デジタルカメラ８、あるいはインターネット９を介した他のコンピュータ１０等から取得され、制御装置２内部のハードディスクに格納されている。その中からユーザによって選択された画像データがメモリに読み込まれ、赤目補正処理を始めとする各種の画像処理プログラムが実行される。ここで、前述したように赤目領域は色不良領域の一種であることから、赤目補正処理は色不良領域補正処理とも言える。

本実施形態で扱う画像データは、格子状に配列された複数の画素から構成される。データ自体が格子状に並んでいるものではないが、撮像素子を構成する画素、あるいは、画像を表示する場合の表示画素が格子状に配列されている。画像データの各画素は、表色系で規定される色成分の色情報を有する。例えば、ＲＧＢ表色系の場合、各画素は、Ｒ（赤）成分の色情報と、Ｇ（緑）成分の色情報と、Ｂ（青）成分の色情報を有する。

デジタルカメラ等で撮影する場合、例えば単板式ＲＧＢベイア配列の撮像素子で撮像された画像データは、各画素には１つの色成分の色情報しか有しない。このようにして得られた画像データに、各種の補間処理を施すことにより、各画素にＲＧＢの色成分の色情報を有するようになる。本実施の形態で処理する画像データでは、各画素はすでにＲＧＢの色成分の色情報を有している。すなわち、表色系で規定される複数の色成分の色情報を有している。また、ここでいう色情報とは、各色のフィルターを通して受光された光量に対応して撮像素子の各画素で蓄積された電荷に対応した値である。本実施の形態では、色情報の値を８ビットのデータとして表す。具体的には、０〜２５５の値で表すものとする。

図２は、本実施の形態における赤目補正処理のフローチャートを示す図である。ステップＳ１では、処理対象とする画像より赤目領域を抽出する処理を行う。この画像には、赤目現象による色不良領域が含まれているものとする。ここで、ステップＳ１における赤目領域の抽出処理には様々な方法を用いることができる。たとえば、特許文献１に開示される方法によって赤目領域を抽出してよい。この方法は、色不良となった瞳を含むなるべく小さな矩形領域をユーザが指定し、その領域内部の各画素について色度変換を行うことにより求められた色度に基づいて、所定の条件に当てはまる画素の領域を赤目領域として抽出するものである。あるいは違う方法、たとえば楕円形などの図形を当てはめることによって設定された領域を赤目領域として抽出してもよい。このように、本発明ではどのような赤目領域の抽出方法を用いてもよい。すなわち、これより説明するステップＳ２以降の方法は、ステップＳ１における赤目領域の抽出方法を問わずに適用することができる。

なお、これ以降の説明においては、ステップＳ１で抽出された赤目領域は、画像上の赤目現象が生じている領域、すなわち補正すべき色不良領域に対して欠損部分を有しているものとする。ここでいう欠損部分とは、ステップＳ１で抽出された赤目領域において内側に欠けている部分のことである。このような欠損部分の例を図３に示す。図３において、ハッチング部分に示す領域３１は抽出された赤目領域を表している。この領域３１は、補正すべき色不良領域である領域４０に対して、符号３２〜３４に示すような欠損部分を有している。

欠損部分３２、３３は、領域１の内部で欠損している部分であり、その周囲は領域３１によって囲まれている。また、欠損部分３４は領域３１が内側に抉れるように欠損している部分であり、その周囲の大部分は領域３１に囲まれている。この欠損部分の現れ方は、ステップＳ１においてどのような方法で赤目領域を抽出するかによって変化する。

図２のステップＳ２では、ステップＳ１で抽出した欠損部分を有する赤目領域に基づいて新たな領域を特定することにより、その欠損部分を補間する処理を行う。ここで新たに特定される領域は、ステップＳ１で抽出した赤目領域よりも大きくなるようにする。このステップＳ２を実行する目的は、ステップＳ１で抽出した赤目領域が有する欠損部分を補間することにある。具体的には、図３の欠損部分３２〜３４がステップＳ２で補間する対象となる。こうした目的のため、次に説明するような処理をステップＳ２で行い、これによってステップＳ１で抽出した赤目領域よりも大きな領域を新たに特定する。

ステップＳ２で行う領域補間処理のフローチャートを図４に示す。ステップＳ２１では、構造要素の設定を行う。この構造要素は、後で説明するステップＳ２２のミンコフスキー和演算処理およびステップＳ２３のミンコフスキー差演算処理において、元の領域を移動させる範囲を決定するものである。なお、ここでいう領域の移動については、ステップＳ２２およびＳ２３において詳しく説明する。

ステップＳ２１では、構造要素として縦ｍ画素、横ｎ画素の四辺形を設定する。この画素数ｍおよびｎは、ステップＳ１で抽出した赤目領域の大きさに基づいて決定する。たとえば、ステップＳ１で抽出した図３の赤目領域３１において、図示するように縦方向の最大画素数がｈ、横方向の最大画素数がｗであるときに、ｍおよびｎの値を次の式（１）により決定する。
ｍ＝αｈ、ｎ＝αｗ ・・・・・・・・・・・・・・・・・・・（１）
ただし、αは定数

上記の式（１）における定数αの値をあらかじめ設定しておけば、ステップＳ１で抽出した赤目領域より求められるｈとｗの値に比例して、ｍおよびｎの値をそれぞれ決定することができる。たとえばα＝０．５とする。これにより、ステップＳ２１において構造要素を設定することができる。なお、式（１）以外の関係を用いてｈとｗに基づいてｍおよびｎを決定することにより、構造要素を設定してもよい。

ステップＳ２２では、ステップＳ２１で決定した構造要素を用いて、ステップＳ１で抽出した赤目領域に対してミンコフスキー和演算処理を行う。ミンコフスキー和演算処理は、元の領域を構造要素内で移動させたときの論理和の領域を求める処理である。このミンコフスキー和演算処理の様子を図５を用いて説明する。なお図５では、説明を簡単にするため、構造要素の大きさを縦１画素、横３画素としている。

図５（ａ）は、ミンコフスキー和演算処理を行う前の元の領域を示している。この図において各マスのそれぞれは画素を表しており、斜線部分に示す複数の画素によって元の領域５０が構成されている。この領域５０は、内部にその領域内に含まれない欠損画素５５を有している。また、符号６０に示す太線で囲った縦１画素、横３画素の部分は、ミンコフスキー和演算処理に用いる構造要素を表している。この構造要素６０は、領域５０の中心部分に当たる画素を中心として設定される。

領域５０に対してミンコフスキー和演算処理を実行すると、はじめに領域５０を構造要素６０内で移動させる。その様子を図５（ｂ）および（ｃ）に示す。（ｂ）は、（ａ）に示す元の位置から右側に１画素分移動した状態を示しており、（ｃ）は元の位置から左側に１画素分移動した状態を示している。このように、領域５０の中心部分に当たる画素が構造要素６０内の全てに位置するように、領域５０を移動させる。なお、ここでは構造要素６０が縦１画素、横３画素であるために、領域５０の移動範囲は図５（ｂ）、（ｃ）に示す範囲に限定されている。しかし、構造要素の画素数に応じて移動する範囲は大きくなり、構造要素の縦方向の画素数が２以上になれば、縦方向にも移動することとなる。

次に、図５（ａ）、（ｂ）および（ｃ）のいずれかで領域５０が位置している画素を全て合わせた領域を求めることにより、領域５０を構造要素６０内で移動させたときの論理和の領域を求める。図５（ｄ）には、このようにして求められた論理和領域５１を示している。この論理和領域５１を求めることで、領域５０に対してミンコフスキー和演算処理が実行されたことになる。以上説明したようにして、ステップＳ２２のミンコフスキー和演算処理を実行する。

ステップＳ２３では、ステップＳ２１で決定した構造要素を用いて、ステップＳ２２のミンコフスキー和演算処理で求められた領域に対してミンコフスキー差演算処理を行う。ミンコフスキー差演算処理とは、元の領域を構造要素内で移動させたときの論理差の領域を求める処理である。このミンコフスキー差演算処理の様子を図６を用いて説明する。

図６（ａ）は、ミンコフスキー差演算処理を行う前の領域、すなわちミンコフスキー和演算処理で求められた領域を示している。この領域５１は、図５（ｄ）に示したミンコフスキー和演算処理後の領域５１と同じものであり、同様に構造要素６０が設定されている。この領域５１に対してミンコフスキー差演算処理を実行すると、前に説明したミンコフスキー和演算処理と同じように、領域５１を構造要素６０内で移動させる。その様子を図６（ｂ）および（ｃ）に示す。（ｂ）は（ａ）の位置から右側に１画素分移動した状態であり、（ｃ）は左側に１画素分移動した状態である。

次に、領域５１を構造要素６０内で移動させたときの論理差の領域を求める。この論理差の領域には、図６（ａ）、（ｂ）および（ｃ）の全てにおいて領域５１に含まれている画素が相当する。こうして求められた論理差領域５２を図６（ｄ）に示す。この論理差領域５２を求めることで、領域５１に対してミンコフスキー差演算処理が実行されたことになる。

ここで、図５（ａ）の元の領域５０と図６（ｄ）の論理差領域５２とを比較すると、これらは互いに外形は等しいが、領域５０が有していた欠損画素５５は領域５２には無いことが分かる。このように、ミンコフスキー和演算処理とミンコフスキー差演算処理を組み合わせて用いることで、ステップＳ１で抽出された赤目領域の欠損部分を補うことができる。以上説明したようにしてステップＳ２３のミンコフスキー差演算処理を実行した後は、求められた論理差領域を新たな領域として特定し、図２のステップＳ３に進む。こうしてステップＳ２の領域補間処理が実行される。

以上説明したような領域補間処理を図２のステップＳ２で行うことにより、新たな領域が特定される。これにより、ステップＳ１で抽出された赤目領域が有する欠損部分を補うことができる。こうして図３の領域３１に基づいてステップＳ２により特定された新たな領域を、図７の領域３１Ａに例示する。この領域３１Ａでは、図示するように図３の欠損部分３２〜３４が補われている。なお、このステップＳ２で行う処理は、画像処理において使用されるモルフォロジ演算と呼ばれる演算方法の一部を用いたものである。

ステップＳ３では、ステップＳ２で特定された領域を対象として、補正すべき色不良領域に対する一致性の評価を行う。このステップＳ３と後で説明するステップＳ４を実行する目的は、ステップＳ２により欠損部分が補間された赤目領域を、補正すべき色不良領域に一致させるように変形することにある。こうした目的のため、次に説明するような一致性の評価処理をステップＳ３で行い、さらに後で説明する変形処理をステップＳ４で行って、これにより補正すべき色不良領域に境界位置が最も一致するように領域を変形する。

ステップＳ３における一致性の評価は、ステップＳ２で特定された領域の境界から縦または横方向の所定範囲内における各画素の色情報に基づいて行う。その様子を図８（ａ）に例示する。図８（ａ）は図７の領域３１Ａの一部分を拡大したものであり、領域３１Ａの境界３７から横方向の所定範囲内について評価を行う様子を示している。ここで、図中に円形で図示する画素３８に代表される各画素は、いずれも境界３７の上にある。

ステップＳ３では、画素３８をはじめとする各画素を中心に、矢印３９に示す所定範囲内の各画素について、下記の式（２）によって表される赤さレベルを求める。こうすることで、領域３１Ａの、補正すべき色不良領域（図７の領域４０）に対する一致性を評価する。このとき、式（２）のＲ’の値を最小とする画素が形成する境界線を境界３６とすると、この境界３６が補正すべき色不良領域に最も一致していると評価される。なお、下記の式（２）におけるＲ，Ｇ，Ｂは、その画素におけるＲＧＢ値のそれぞれを表す。
Ｒ’＝Ｃｒ・Ｒ／（Ｒ＋Ｇ＋Ｂ） ・・・・・・・・・・・・・・（２）
ただし
Ｃｒ＝０．７１３（Ｒ−Ｙ）
Ｙ＝０．５８７Ｇ＋０．１１４Ｂ＋０．２９９Ｒ

なお、上記の式（２）を用いて一致性の評価を行うとき、領域の境界が斜め４５度よりも垂直に近い場合には、図８（ａ）のように、横方向の所定範囲内にある画素を評価の対象とすることが好ましい。一方、境界が４５度より水平に近い場合は、式（２）の計算を縦方向の画素に対して行うのがよい。このとき、縦方向と横方向とで対象とする画素の数を変えるようにしてもよい。さらに、境界から斜め方向などにある画素を対象としてもよい。こうして式（２）のＲ’が最小となる画素の位置を求めることにより、ステップＳ３において補正すべき色不良領域に対する一致性の評価を行う。

なお、上記の式（２）は最も一致性が高い境界位置を求めるための条件式の一例であって、他の条件式を用いることもできる。たとえば、輝度が最も低い画素によって表される境界位置を最も一致性が高いと評価してもよい。後で説明するステップＳ６において色を補正したときに、補正した部分が目立ちにくいように境界位置を設定できる条件式であれば、どのようなものを用いてもよい。

ステップＳ４では、ステップＳ３の結果に基づいて、ステップＳ２で特定された領域を変形する処理を行う。具体的には、ステップＳ３において最も一致性が高いと認識された境界位置に、ステップＳ２で特定された領域の境界位置を移動させる。その様子を図８（ｂ）に例示する。図中に矢印で示すように、領域３１Ａの境界位置をそれまでの境界３７から、図８（ａ）のようにしてステップＳ３で求められた境界３６の方向に移動する。これにより、領域３１Ａを補正すべき色不良領域に一致させるように変形することができる。こうして変形した領域の例を図９に示す。図９の領域３１Ｂは、図７の領域３１Ａの境界位置を全体的に移動することにより、領域３１Ａを変形した結果を示したものである。この領域３１Ｂは、補正すべき赤目領域４０と一致している。

ステップＳ５では、元の画像からキャッチライトの部分を探索し、その部分の色情報を取得する。ここでキャッチライトの色情報を取得する理由は、後で説明するステップＳ６において赤目領域の色を補正したときに、キャッチライトの部分を元に戻すことで見た目の自然さを失わないようにするためである。ここでは、色情報の値が次の式（３）を満たし、かつ所定の大きさ（たとえば、２０画素四方の正方形）を超えない部分をキャッチライトとして判断する。こうしてキャッチライトの部分が求められたら、その部分に含まれる画素全ての色情報を取得し記憶しておく。
Ｒ＞２００ かつ Ｇ＞２００ かつ Ｂ＞２００ ・・・・・・（３）

ステップＳ６では、ステップＳ４で求められた領域内の色を変えることにより、画像上の赤目領域の色補正を行う。たとえば、求められた領域内の全ての画素の色情報値を所定の値にすることで、色補正を行う。あるいは、明度、色相または彩度を変更することで色補正することもできる。さらに、境界部分の画素については、領域内と領域外の色情報の中間値を使用するようにしてもよい。このようにすると、色補正後にその境界部分を目立たなくすることができる。

ステップＳ６ではさらに、ステップＳ５で記憶されたキャッチライト部分の色情報に基づいて、ステップＳ４で求められた領域内のうちキャッチライト部分の色を補正前の状態に戻すことにより、キャッチライト部分の色補正を行う。このとき、キャッチライトにも赤目現象が生じている可能性があるので、白に近い無彩色となるように色情報を変換したものを用いることが好ましい。このようにすることで、赤目領域の色補正後にもキャッチライトを残して見た目の自然さを保つことができる。ステップＳ６によって赤目領域の色補正を行った後は、図２の処理フローを終了する。

以上説明した実施の形態によれば、次の作用効果を奏する。
（１）抽出しきれずに欠損した色不良領域の欠損部分を補間するようにしたので、補正すべき赤目領域などの色不良領域を、自然な色状態へ、容易に、短時間で、確実に補正することができる。
（２）欠損部分を有する赤目領域に対して、ミンコフスキー和演算処理とミンコフスキー差演算処理を行うことにより欠損部分を補間することとしたので、簡単な処理で確実に欠損部分を補間することができる。
（３）ミンコフスキー和演算処理とミンコフスキー差演算処理を行うときの構造要素の大きさを、処理対象である抽出された赤目領域の大きさに基づいて決定することとしたので、処理対象の領域の大きさに応じた的確な処理を実行できる。
（４）欠損部分を補間された赤目領域に対して補正すべき色不良領域に対する一致性を評価し、その評価結果に基づいて領域を変形することとした。このようにしたので、その赤目領域を補正すべき色不良領域に一致するように変形することができる。
（５）一致性評価の対象とする領域の境界から所定範囲内における色情報に基づいて、補正すべき色不良領域に最も一致する境界位置を求め、その領域の境界を求められた境界位置とすることにより領域を変形することとした。このようにしたので、色情報に基づいて領域を変形することができ、特に、白目との境目部分を抽出しづらく、領域が欠けて抽出されることの多い金目を補正するときに有効である。
（６）元の画像からキャッチライトの部分を探索してその部分の色情報を取得して記憶し、その記憶された色情報に基づいてキャッチライト部分の色補正を行うようにした。このようにしたので、赤目領域の色補正後にも、キャッチライトを残して見た目の自然さを保つことができる。

上記の実施の形態では、パソコン１で赤目補正処理を行う例を説明したが、この内容に限定する必要はない。デジタルカメラ上でそのような処理プログラムを搭載し処理するようにしてもよい。また、カメラから直接画像データを取得してプリントするプリンタにおいて、そのような処理プログラムを搭載し処理するようにしてもよい。すなわち、画像データを処理するあらゆる画像処理装置に本発明を適用することができる。言いかえれば、取得した画像より赤目領域などの色不良領域を抽出し、その抽出した色不良領域の色補正を行うような画像処理方法を実行する画像処理装置において、本発明を適用できる。また、色不良領域の色補正だけに限られず、特定の色を示す領域を特定するだけでも本発明の適用範囲内である。特に、特定の色を表す領域のみを特定し、異なる画像を当てはめたりするような画像処理に対しても、本発明に開示された手法は有効である。具体的には、図２のフローチャートにおいて、Ｓ６のステップを実行する前で終わるものでも構わない。

上記の実施の形態では、取得した画像より欠損部分を有する赤目領域を抽出し、その赤目領域の欠損部分を補間する例について説明したが、あらかじめ欠損部分を有する赤目領域が抽出された画像を取得するようにしてもよい。この場合は、図２のフローチャートにおいて、ステップＳ２から実行するようにすればよい。

上記の実施の形態では、図２のフローチャートのステップＳ２において、ミンコフスキー和演算処理とミンコフスキー差演算処理を用いることで新たな領域を特定することとしたが、他の方法を用いてこの領域特定処理を行ってもよい。たとえば、楕円形などの図形を近似させることによりステップＳ１で抽出された赤目領域よりも大きな領域を特定することでも、抽出された赤目領域の欠損部分を補間することができる。

上記の実施の形態では、図２のフローチャートのステップＳ５において元の画像よりキャッチライトの部分の色情報を取得することとしたが、この処理はステップＳ５で実行しなくともよい。ステップＳ６においてキャッチライト部分を赤目補正前の状態に戻す前であれば、どのステップ位置で実行してもよい。また、上記の実施の形態ではキャッチライト部分を対象に、元の画像の色情報を取得し、赤目補正後にその部分を元に戻す例を説明したが、キャッチライト以外の部分を対象にしてもよい。

上記の実施の形態では、図２のフローチャートのステップＳ２において、抽出された赤目領域にある欠損部分を補間する処理を行い、ステップＳ３およびＳ４において、補正すべき色不良領域に一致するように赤目領域を変形する処理を行う例を説明した。しかし、これらの処理は順番を逆にして実行してもよい。あるいは、いずれか一方のみを実行してもよい。

上記の実施の形態では、ＲＧＢ表色系の例で説明をしたが、この内容に限定する必要はない。その他の表色系の画像データであってもよい。

上記で説明した実施の形態および変形例はあくまで一例であり、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

本発明の色不良領域補正方法を実施する一実施の形態を示す図である。 本実施の形態における赤目補正処理のフローチャートを示す図である。 抽出された赤目領域と欠損部分の例を示す図である。 赤目補正処理において実行される領域補間処理のフローチャートを示す図である。 ミンコフスキー和演算処理の様子を説明する図である。 ミンコフスキー差演算処理の様子を説明する図である。 領域補間処理により特定された新たな領域を例示する図である。 領域の境界から所定範囲内について一致性の評価を行い、その結果に従って領域を変形する様子を示す図である。 領域変形処理により変形された領域を例示する図である。

符号の説明

１ パーソナルコンピュータ
２ 制御装置
３ モニタ
４ キーボード
５ マウス
６ ＣＤ−ＲＯＭ駆動装置
７ 記録媒体
８ デジタルカメラ
９ インターネット
１０ コンピュータ

Claims (10)

1. 補正すべき、赤目現象によって生じた赤目領域を含む画像より、その赤目領域に対して欠損部分を有する第１の領域を抽出する領域抽出ステップと、
   前記第１の領域の欠損部分を補間する第２の領域をモルフォロジ演算によって特定する領域補間ステップと、
   前記領域補間ステップにより特定された前記第２の領域の境界から所定範囲内における色情報に基づいて赤さレベルを求め、その結果から前記赤目領域の境界を求めて、前記第２の領域を前記赤目領域に一致させるように変形する領域変形ステップとを有することを特徴とする色領域特定方法。
2. 補正すべき、赤目現象によって生じた赤目領域を含み、その赤目領域に対して欠損部分を有する第１の領域が抽出された画像を取得する画像取得ステップと、
   前記第１の領域の欠損部分を補間する第２の領域をモルフォロジ演算によって特定する領域補間ステップと、
   前記領域補間ステップにより特定された前記第２の領域の境界から所定範囲内における色情報に基づいて赤さレベルを求め、その結果から前記赤目領域の境界を求めて、前記第２の領域を前記赤目領域に一致させるように変形する領域変形ステップとを有することを特徴とする色領域特定方法。
3. 請求項１または２の色領域特定方法において、
   前記第２の領域は、前記第１の領域よりも大きいことを特徴とする色領域特定方法。
4. 請求項１〜３のいずれかの色領域特定方法において、
   前記画像の各画素におけるＲＧＢ値を、Ｒ，Ｇ，Ｂとして、前記赤さレベルＲ’が下記の式によって表され、前記赤さレベルＲ’の値を最小とする画素が形成する境界線を前記境界とすることを特徴とする色領域特定方法。
   Ｒ’＝Ｃｒ・Ｒ／（Ｒ＋Ｇ＋Ｂ）
   ただし
   Ｃｒ＝０．７１３（Ｒ−Ｙ）
   Ｙ＝０．５８７Ｇ＋０．１１４Ｂ＋０．２９９Ｒ
5. 請求項１〜４のいずれかの色領域特定方法により特定され変形された第２の領域の色情報を変更することにより、前記赤目領域の色補正を行う色補正ステップを有することを特徴とする色不良領域補正方法。
6. 請求項５の色不良領域補正方法において、
   前記色補正ステップは、前記画像よりキャッチライトの部分を探索し、前記キャッチライトの部分の色情報を取得して記憶する記憶ステップと、
   前記記憶ステップにより記憶された色情報に基づいて前記赤目領域に含まれる前記キャッチライトの部分を無彩色に変換することで色補正を行う部分色補正ステップとを含むことを特徴とする色不良領域補正方法。
7. 請求項１〜４いずれか１項に記載の色領域特定方法のステップをコンピュータに実行させるための色領域特定処理プログラム。
8. 請求項５〜６いずれか１項に記載の色不良領域補正方法のステップをコンピュータに実行させるための色不良領域補正処理プログラム。
9. 請求項７の色領域特定処理プログラムまたは請求項８の色不良領域補正処理プログラムのいずれか、またはその両方を記録したコンピュータ読みとり可能な記録媒体。
10. 請求項７の色領域特定処理プログラムまたは請求項８の色不良領域補正処理プログラムのいずれか、またはその両方を搭載し、実行する画像処理装置。
    

Images