JP4457586B2 - 赤目領域補正方法、赤目領域補正処理プログラム、記録媒体、画像処理装置 - Google Patents
赤目領域補正方法、赤目領域補正処理プログラム、記録媒体、画像処理装置 Download PDFInfo
- Publication number
- JP4457586B2 JP4457586B2 JP2003194222A JP2003194222A JP4457586B2 JP 4457586 B2 JP4457586 B2 JP 4457586B2 JP 2003194222 A JP2003194222 A JP 2003194222A JP 2003194222 A JP2003194222 A JP 2003194222A JP 4457586 B2 JP4457586 B2 JP 4457586B2
- Authority
- JP
- Japan
- Prior art keywords
- red
- eye
- color
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 241000593989 Scardinius erythrophthalmus Species 0.000 title claims abstract description 260
- 201000005111 ocular hyperemia Diseases 0.000 title claims abstract description 260
- 238000012937 correction Methods 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000012545 processing Methods 0.000 title claims abstract description 50
- 239000000284 extract Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 18
- 230000002950 deficient Effects 0.000 abstract description 5
- 230000007547 defect Effects 0.000 description 26
- 235000002673 Dioscorea communis Nutrition 0.000 description 17
- 241000544230 Dioscorea communis Species 0.000 description 17
- 208000035753 Periorbital contusion Diseases 0.000 description 17
- 210000001747 pupil Anatomy 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000003672 processing method Methods 0.000 description 7
- 241001469893 Oxyzygonectes dovii Species 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 3
- 239000010931 gold Substances 0.000 description 3
- 229910052737 gold Inorganic materials 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241000534672 Hiodon alosoides Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000283973 Oryctolagus cuniculus Species 0.000 description 1
- POJOORKDYOPQLS-UHFFFAOYSA-L barium(2+) 5-chloro-2-[(2-hydroxynaphthalen-1-yl)diazenyl]-4-methylbenzenesulfonate Chemical compound [Ba+2].C1=C(Cl)C(C)=CC(N=NC=2C3=CC=CC=C3C=CC=2O)=C1S([O-])(=O)=O.C1=C(Cl)C(C)=CC(N=NC=2C3=CC=CC=C3C=CC=2O)=C1S([O-])(=O)=O POJOORKDYOPQLS-UHFFFAOYSA-L 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 229910001112 rose gold Inorganic materials 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Description
【発明の属する技術分野】
本発明は、画像処理において、色不良領域などの特定の色領域を特定する色領域特定方法、色領域特定処理プログラム、および、色領域特定方法を用い、色不良領域を補正する色不良領域補正方法、色不良領域補正処理プログラム、および、色領域特定処理プログラムまたは色不良領域補正処理プログラムのいずれか、またはその両方の実行が可能な画像処理装置に関する。特に、フラッシュ撮影時の赤目現象による色不良を改善する技術に関する。
【0002】
【従来の技術】
フラッシュ撮影をしたとき、人の目が赤くなったり金色になったりするいわゆる赤目現象が知られている。この赤目を修正する装置が開示されている(特許文献1)。この赤目修正装置では、色不良となった瞳を含むなるべく小さな矩形領域をユーザーが指定する。そして、指定された領域内部全体において、色度の平均値等のパラメータから、赤目の場合、金目の場合、それぞれについてしきい値処理を行うことにより色不良画素を見つけて補正するものである。
【0003】
【特許文献1】
特開平7−13274号公報
【0004】
【発明が解決しようとする課題】
しかし、瞳の色不良を単純に赤目といっても、撮影環境や照明条件などの影響によって、普通の赤色をした赤目、明るい赤色をした金目と呼ばれるもの、またはグラデーションを持った赤目など、様々な種類のものが存在する。ある指定領域内のしきい値処理だけでこれらの色不良画素を全て正確に見つけることは困難である。その結果、赤目として認識しないもの、もしくは赤目内部を一部のみしか認識しないなど、確実な補正ができなくなる場合がある。また、ユーザーによる矩形領域指定においては、目以外の赤色のものを含んだ領域指定をしないようにする必要があり面倒である。さらに、指定領域内全てのデータをパラメータとして使用する場合、データ処理が指定領域の大きさに依存するため、必ずしも有効な手段とは言えない。
【0005】
本発明は、様々な撮影条件下で撮影された様々な画像において、色不良領域などの所定の領域を容易にかつ確実に特定する色領域特定方法、色領域特定処理プログラム、および、色不良時の補正に色領域特定方法を用いた色不良領域補正方法、色不良領域補正処理プログラム、および、色領域特定処理プログラムまたは色不良領域補正処理プログラムのいずれか、またはその両方の実行が可能な画像処理装置を提供する。
【0006】
【課題を解決するための手段】
請求項1の発明は、赤目領域補正方法に適用され、赤目現象を補正すべき画像を取得する画像取得ステップと、画像取得ステップで取得した画像上で、補正すべき赤目領域の内部の点を指定する指定ステップと、指定ステップで指定された点に基づき複数の起点を設定し、設定した複数の起点の各々からそれぞれ放射状に延びる複数の方向と赤目領域の境界とが交差する複数の境界点を検出することにより、赤目領域の境界を探索する探索ステップと、探索ステップで検出された複数の境界点に基づき赤目領域に対応する楕円形状の領域を特定する領域特定ステップと、特定された領域の色を変更する色変更ステップとを有し、指定ステップでは複数の点を指定し、指定ステップで指定された複数の点毎に、探索ステップと領域特定ステップとを組み合わせて複数回行い、色変更ステップでは探索ステップと領域特定ステップとを複数回行うことにより特定された複数の楕円形状の領域の論理和により得られる領域の色を変更するものである。
請求項2の発明は、赤目領域補正方法に適用され、赤目現象を補正すべき画像を取得する画像取得ステップと、画像取得ステップで取得した画像上で、補正すべき赤目領域の内部の点を指定する指定ステップと、指定ステップで指定された点に基づき複数の起点を設定し、設定した複数の起点の各々からそれぞれ放射状に延びる複数の方向と赤目領域の境界とが交差する複数の境界点を検出することにより、赤目領域の境界を探索する探索ステップと、探索ステップで検出された複数の境界点に基づき赤目領域に対応する楕円形状の領域を特定する領域特定ステップと、特定された領域の色を変更する色変更ステップとを有し、指定ステップと探索ステップと領域特定ステップとを組み合わせて複数回行い、色変更ステップでは指定ステップと探索ステップと領域特定ステップとを組み合わせて複数回行うことにより特定された複数の楕円形状の領域の論理和により得られる領域の色を変更するものである。
請求項3の発明は、赤目領域補正方法に適用され、赤目現象を補正すべき画像を取得する画像取得ステップと、画像取得ステップで取得した画像上で、補正すべき赤目領域の内部の点を指定する指定ステップと、指定ステップで指定された点に基づき複数の起点を設定し、設定した複数の起点の各々からそれぞれ放射状に延びる複数の方向と赤目領域の境界とが交差する複数の境界点を検出することにより、赤目領域の境界を探索する探索ステップと、探索ステップで検出された複数の境界点に基づき赤目領域に対応する楕円形状の領域を特定する領域特定ステップと、特定された領域の色を変更する色変更ステップとを有し、領域特定ステップにおいて特定された領域内の複数の点を起点として、さらに探索ステップと領域特定ステップとを組み合わせて複数回行い、色変更ステップでは探索ステップと領域特定ステップとを複数回行うことにより特定された複数の楕円形状の領域の論理和により得られる領域の色を変更するものである。
請求項4の発明は、請求項1〜3のいずれか1項記載の赤目領域補正方法において、複数の楕円形状の領域は、それぞれ軸の角度が異なることとするものである。
請求項5の発明は、赤目領域補正方法に適用され、赤目現象を補正すべき画像を取得する画像取得ステップと、画像取得ステップで取得した画像上で、補正すべき赤目領域の内部の点を指定する指定ステップと、指定ステップで指定された点に基づき複数の起点を設定し、設定した複数の起点の各々からそれぞれ放射状に延びる複数の方向と赤目領域の境界とが交差する複数の境界点を検出することにより、赤目領域の境界を探索する探索ステップと、探索ステップで検出された複数の境界点に基づき赤目領域に対応する楕円形状の領域を特定する領域特定ステップと、特定された領域の色を変更する色変更ステップとを有し、領域特定ステップでは複数の境界点に基づきそれぞれ軸の角度が異なる複数の楕円形状の領域を特定し、色変更ステップでは領域特定ステップにより特定された複数の楕円形状の領域の論理和により得られる領域の色を変更するものである。
請求項6の発明は、請求項5記載の赤目領域補正方法において、指定ステップと探索ステップと領域特定ステップとを組み合わせて複数回行い、色変更ステップでは指定ステップと探索ステップと領域特定ステップとを組み合わせて複数回行うことによりそれぞれ特定された複数組の楕円形状の領域の論理和により得られる領域の色を変更するものである。
請求項7の発明は、請求項1〜6のいずれか1項記載の赤目領域補正方法において、画像は複数の画素から構成され、各画素は複数の色成分の色情報を有し、色変更ステップは、特定された赤目領域を構成する各画素の複数の色成分の色情報の値を、その画素の複数の色成分の元の色情報に基づいた値で統一することとするものである。
請求項8の発明は、請求項1〜6のいずれか1項記載の赤目領域補正方法において、画像は複数の画素から構成され、各画素は複数の色成分の色情報を有し、色変更ステップは、特定された赤目領域を構成する各画素の複数の色成分の色情報の値を、その画素の複数の色成分の元の色情報の最低値以上の値で統一することとするものである。
請求項9の発明は、請求項1〜8のいずれか1項記載の赤目領域補正方法において、指定ステップは、画像取得ステップで取得した画像上に指定された点の周囲の所定範囲内から赤目領域に位置する候補点を抽出し、その抽出された候補点を補正すべき赤目領域の内部の点として指定するものである。
請求項10の発明は、請求項9記載の赤目領域補正方法において、指定ステップは、抽出された候補点について、周囲の色情報に基づいてその候補点が赤目領域に含まれるのが妥当か否かを判定し、妥当でないと判定された候補点を除外するものである。
請求項11の発明は、請求項9または10に記載の赤目領域補正方法において、指定ステップは、抽出された候補点に位置する画素の色情報に基づいて、探索ステップにおける探索の優先度をその候補点に対して設定するものである。
請求項12の発明は、請求項9〜11のいずれか1項記載の赤目領域補正方法において、探索ステップは、指定ステップで抽出された候補点の周囲の色情報に基づいて得られたしきい値に基づいて、赤目領域の境界を探索するものである。
請求項13の発明は、赤目領域補正処理プログラムに適用され、請求項1〜12いずれか1項に記載の赤目領域補正方法のステップをコンピュータに実行させるものである。
請求項14の発明は、コンピュータ読みとり可能な記録媒体に適用され、請求項13の赤目領域補正処理プログラムを記録したものである。
請求項15の発明は、画像処理装置に適用され、請求項13の赤目領域補正処理プログラムを搭載し、実行するものである。
【0007】
【発明の実施の形態】
−第1の実施の形態−
図1は、本発明の色不良領域補正方法を実施する一実施の形態を示す図である。符号1は、一般に市販されているパーソナルコンピュータ(以下パソコンと言う)である。パソコン1は、CPU、メモリ、ハードディスク、I/Oポート、各種のインターフェース等からなる制御装置2と、各種画像や情報を表示するモニタ3と、キーボード4と、マウス5と、CD−ROM駆動装置6とからなる。CD−ROM駆動装置6は、CD−ROMやDVDなどの記録媒体7が搭載され、各種のデジタルデータを読み込むことができる。制御装置2は、USB等のインターフェースを介してデジタルカメラ(電子カメラ)8と接続可能である。また、モデムやLANボード等を介してインターネット9とも接続可能である。
【0008】
本実施の形態のパソコン1は、記録媒体7、デジタルカメラ8、あるいはインターネット9を介した他のコンピュータ10等から、デジタルカメラ等で撮像して得られた画像データを取得することができる。パソコン1は、画像処理プログラムを実行することが可能であり、取得した画像データに各種の画像処理を加えることが可能である。本実施の形態では、画像処理の1つとして赤目現象を補正する処理を行うことができる。
【0009】
画像処理プログラムは、制御装置2内部のハードディスクに格納され、制御装置2のメモリに読みこまれて、制御装置2により実行される。画像処理プログラムは、記録媒体7等に格納されて、あるいは、インターネット9などの電気通信回線を通じてデータ信号としてパソコン1に提供される。提供された画像処理プログラムは、制御装置2内部のハードディスクに格納される。インターネット9を通じて画像処理プログラムが提供される場合、インターネット9を介して接続されるサーバコンピュータから提供される。図1において、例えば、コンピュータ10がサーバコンピュータとなり得る。サーバコンピュータ10は、内部のハードディスク等の記録媒体に提供すべき画像処理プログラムを格納している。
【0010】
以下、本実施の形態における赤目現象の補正処理について説明する。赤目現象とは、カメラ等を使用して人物をフラッシュ撮影したとき、撮影された人物の目がウサギの目のように赤く写る現象をいう。目が赤くなるのは、目の網膜の毛細血管が写るためであり、正確には目の瞳孔部分が赤くなる。撮影条件によっては金色になる場合もあり、このような金目も、まとめて赤目現象と言う。すなわち、赤目現象とは、フラッシュ撮影などにより人物の目が違和感のある色になっている現象であり、言いかえれば瞳孔あたりの領域で色不良が生じている現象である。また、動物の目において赤目現象が生じる場合もある。
【0011】
図2は、本実施の形態における赤目補正処理のフローチャートを示す図である。赤目補正処理は、パソコン1で実行される画像処理プログラムの一部である。前述したように、赤目領域は色不良領域の一種であり、赤目補正処理は色不良領域補正処理と言える。通常、画像処理プログラムは、画像データを取得し、取得した画像データを使用して画像をモニタに表示した後、ユーザが各種の画像処理コマンドを選択する。そのコマンドの1つとして赤目補正が選択されると、赤目補正処理に入る。しかし、ここでは画像データの取得から赤目補正処理として説明する。
【0012】
ステップS1において、赤目を補正すべき画像の画像データを取得する。画像データは、記録媒体7、デジタルカメラ8、あるいはインターネット9を介した他のコンピュータ10等から取得し、制御装置2内部のハードディスクに格納されている。そこから、制御装置2内部のメモリに読みこまれる。ステップS2において、制御装置2はメモリに読みこんだ画像データをモニタ3に表示する。ここでは、フラッシュ撮影され、赤目現象が生じている人物像が表示されているものとして説明する。ステップS3において、モニタ3に表示された表示画像上で、ユーザがマウス5等を使用して赤目領域の内部の点を指定するのを待つ。
【0013】
図3および図4を使用して赤目領域内部の点を指定する様子を説明する。図3は、赤目が生じている黒目部分を拡大した図である。符号101は黒目部分である。黒目部分とは白目以外の部分で、虹彩および瞳孔部分である。人の目は、明るさに応じて虹彩が調整され、瞳孔の大きさが調整される。この瞳孔部分に赤目現象が生じる。瞳孔は円形をしているが、赤目領域は必ずしも円形を呈するものではない。目の撮影角度やフラッシュライトの反射の具合により必ずしも円形にはならない。図3において、符号102で示される領域が、赤目現象が生じている領域である。
【0014】
ユーザは、図3のような黒目部分が表示された画像上で、マウス5等のポインティングデバイスで赤目領域102の内部の任意の点を指定する。図3では、点103が指定されたとする。
【0015】
図4は、画像データを画素が認識できる程度にまで拡大した図である。画像データは、格子状に配列された複数の画素から構成される。データ自体が格子状に並んでいるものではないが、撮像素子を構成する画素、あるいは、画像を表示する場合の表示画素が格子状に配列されている。画像データの各画素は、表色系で規定される色成分の色情報を有する。例えば、RGB表色系の場合、各画素は、R(赤)成分の色情報と、G(緑)成分の色情報と、B(青)成分の色情報を有する。
【0016】
デジタルカメラ等で撮影する場合、例えば単板式RGBベイア配列の撮像素子で撮像された画像データは、各画素には1つの色成分の色情報しか有しない。このようにして得られた画像データに、各種の補間処理を施すことにより、各画素にRGBの色成分の色情報を有するようになる。本実施の形態で処理する画像データでは、各画素はすでにRGBの色成分の色情報を有している。すなわち、表色系で規定される複数の色成分の色情報を有している。また、ここでいう色情報とは、各色のフィルターを通して受光された光量に対応して撮像素子の各画素で蓄積された電荷に対応した値である。本実施の形態では、色情報の値を8ビットのデータとして表す。具体的には、0〜255の値で表すものとする。
【0017】
ステップS3では、ユーザがマウス5等で赤目領域102の内部の点103を指定すると、制御装置2は、点103に対応する画素111のRGBの各色成分の色情報の値をそれぞれR0、G0、B0としたときに、これらが式(1)または(1)’を満たすか否かを判定する。式(1)または(1)’を満たす場合、ユーザにより指定された点は赤目領域内部の点であると判断して、画素111を指定する。ここで、式(1)は赤目領域であることを表し、式(1)’はキャッチライトであることを表す。キャッチライトは赤目領域に含まれるが、式(1)では表すことができないため、式(1)’が用いられる。さらに、本実施の形態では、画素111の周辺(近傍)の画素112〜115も指定する。式(1)または(1)’を満たさない場合、ユーザにより指定された点は赤目領域内部の点ではないと判断して、再度ユーザにより点を指定されるのを待つ。
【数1】
R0≧(G0+B0) (1)
R0>200 かつ G0>200 かつ B0>200 (1)’
なお、本発明は上述の式(1)や式(1)’の評価式に限られず、赤目領域やキャッチライトを的確に判定できる式であればよい。
【0018】
図2のステップS4では、ステップS3で指定された点を起点に、赤目領域102のエッジ、すなわち赤目領域102の境界を探索する。図3を参照してさらに説明する。指定された点に対応する画素111を起点に符号104で示される8つの方向にエッジを探索する。水平方向、垂直方向、45度方向、135度方向の、それぞれにおいて相反する2方向の計8方向である。図4で指定された周辺の他の画素112〜115についても、同様に、それぞれの画素を起点に8方向にエッジを探索する。
【0019】
図4で指定された5つの画素を起点とする8方向は、それぞれ重複しない方向である。すなわち、8×5=40方向が重複しないように、かつ、1画素ずつずれて設定されるように、画素111および周辺の画素112〜115が選択されている。画素111のみを起点に8方向について探索するだけでもよいが、上記のように40方向について探索することにより、より精度よくエッジを探索することができる。
【0020】
図5は、エッジ探索の様子を説明する図である。エッジ探索は、探索方向121に並ぶ隣り合った画素群の色情報の値の比較により行う。図5(a)は、画素群が1画素の場合を示す。図5(b)は、画素群が3画素の場合を示す。
【0021】
図5(a)において、注目画素122とその隣接画素123との間で、色情報の比較を行う。注目画素122のRGBの各色成分の色情報の値をそれぞれR、G、Bとし、隣接画素123のRGBの各色成分の色情報の値をそれぞれR’、G’、B’とする。注目画素122と隣接画素123が、式(2)または式(3)を満たすか否かを判断し、探索方向121に画素を順次ずらして判断を繰り返す。そして、注目画素122と隣接画素123が、式(2)または式(3)を満たしたとき、注目画素122をエッジ(境界)画素とする。式(2)(3)のt、lは条件(4)によるものとする。
【数2】
R/(R+G+B)−R’/(R’+G’+B’)≧t (2)
(R+G+B)/3−(R’+G’+B’)/3≧l (3)
0.1≦t≦0.12、l≒30 (4)
【0022】
式(2)は赤目領域102(図3)のエッジを見つけるための式である。基本的には、赤目領域102のエッジは、黒目部分101の内部にある。しかし、場合によってはエッジを見つけることができずに白目部分へと探索が広がることもある。式(3)は、輝度変化の大きい白目部分と黒目部分の境界をエッジとして抽出するものである。この式により、黒目部分101を超えてエッジを見つけるという誤探索を防止することができる。なお、条件(4)は、各種の実験やシミュレーションによって算出したものである。また、各色成分の色情報の値が8ビット、0〜255の値であることを前提とした値である。条件(4)以外の値であっても、赤目領域102のエッジ、および、黒目部分101のエッジを的確に見つけることができる値であればよい。
【0023】
図5(a)のように、1画素の比較でも赤目領域102のエッジを見つけることが可能である。しかし、エッジがある程度鮮明である必要がある。図5(b)の3画素群比較は、エッジが少々不鮮明であってもエッジを検出することが可能である。注目画素を符号124とし、注目画素124を含む注目画素群125と、注目画素124に隣接する隣接画素群126との間で、色情報の比較を行う。図5(b)の例では、注目画素群125と隣接画素群126は隣接するが、構成画素は重複しない。しかし、注目画素群と隣接画素群の画素を、重複するように設定してもよい。3画素群の場合、1画素あるいは2画素重複させるようにしてもよい。
【0024】
各画素群において各色成分の色情報の3つの画素の平均を計算する。注目画素群125のRGBの各色成分の色情報の平均値をそれぞれR、G、Bとし、隣接画素群126のRGBの各色成分の色情報の平均値をそれぞれR’、G’、B’とする。注目画素群125と隣接画素群126が、前述した式(2)または式(3)を満たすか否かを判断し、探索方向121に画素を順次ずらして判断を繰り返す。そして、注目画素群125と隣接画素群126が、式(2)または式(3)を満たしたとき、注目画素群125の注目画素124をエッジ(境界)画素とする。
【0025】
なお、各種実験の結果、3画素の画素群で比較を行うのが最も効果的であった。ただし、2画素や4画素や5画素等の3画素以外の複数の画素でもよい。
【0026】
図5は、探索方向が水平方向の例を示すものである。垂直方向においても同様である。探索方向が、45度方向や135度方向の場合は、本実施の形態ではその斜め方向に並ぶ画素を選択した。例えば、45度方向であれば、注目画素とその右斜め上の画素との比較を行う。画素群の場合は、注目画素とその斜め左下の画素、さらにその斜め左下の画素を注目画素群とし、注目画素の斜め右上の画素と、さらにその斜め右上の画素と、さらにまたその斜め右上の画素を隣接画素群とする。なお、画像群はこのように探索方向と同方向に配列したものだけで構成されたものに限られず、たとえば探索方向に対して垂直方向に配列された画素で画素群を構成してもよい。
【0027】
式(2)で赤目領域102のエッジが検出できなかった場合に備えて、式(3)で黒目部分101を検出するようにした。しかし、黒目部分101も検出できない場合も生じる。そのような場合、何ら制限を設けなければ画像の端部まで探索することになる。これを、防止するために、起点から所定数の画素範囲を探索することにする。目の大きさ等を考慮して例えば40画素までとする。この値は、適宜変更してもよい。このようにすることにより、無駄な探索を防止することができる。
【0028】
以上の探索により、赤目領域102のエッジを適切に検出できた場合、黒目部分101のエッジしか検出できなかった場合、さらにいずれも検出できなかった場合が生じる。図6は、その様子を説明する図である。ただし、説明の便宜上8方向しか記載していない。水平方向131、135度方向134、45度方向136、垂直方向137では、赤目領域102のエッジ139、140、142、143が検出できた。水平方向135では、黒目部分101のエッジ141が検出できた。45度方向132、垂直方向133、135度方向138では、いずれのエッジも検出できなかった。
【0029】
このようにいずれのエッジも検出できない場合が生じるが、本実施の形態では、所定の数以上のエッジが検出できた場合、探索が成功したとする。所定の数とは探索方向数のn倍とする。nは1/2程度あるいはそれ以上の値が適当である。例えば、n=1/2とすると、探索方向の半分以上においてエッジが検出できれば探索が成功したとする。8方向の場合は4個以上であり、40方向の場合は20個以上である。
【0030】
ステップS4においてエッジ画素(境界点)が検出されると、すなわち、エッジが抽出できると、ステップS5において、検出されたエッジ情報に基づき赤目領域102に対応する領域を特定する。領域の特定とは、検出されたエッジ情報に基づく楕円や多角形などの幾何学的図形を当てはめることにより行う。図形を当てはめることにより、検出できなかったエッジの箇所を補うことができ、一つの閉じた領域として指定することができる。図形を当てはめるとは、数学的には、検出されたエッジ情報に基づく楕円や多角形などの幾何学的図形の領域指定関数を求めることである。
【0031】
本実施の形態では、当てはめる図形を楕円とする。図7は、その様子を説明する図である。図6で説明したように、エッジ画素(境界点)139〜143の5つが検出できたとする。この5つのエッジ画素139〜143をすべて含む最小の長方形151を求める(図7(a))。次に、求められた長方形151に内接する楕円152を求める(図7(b))。このようにして求めた楕円152を、赤目領域102に対応する領域として当てはめ、赤目領域102に対応する領域を特定する。すなわち、エッジ画素139〜143をすべて含む最小の長方形151に内接する楕円152の領域指定関数を求める。ここで、長方形151と、それに内接する楕円152を求めることは、すなわち楕円152の中心の位置と、長軸および短軸の長さとを求めることと同義である。
【0032】
なお、上記のように楕円152で赤目領域102を近似すると、図7(b)における領域153のように、本来赤目領域102の一部であるにもかかわらず、特定された領域152に含まれない場合が生じる。このような現象を極力防止するために、図2のステップS3〜S5を複数回繰り返すようにする。すなわち、ユーザは赤目領域102の内部の点を少しずらしながら複数指定する。複数の指定により、複数の形状の異なる楕円が特定される。この、形状が異なる複数の楕円の論理和を取った領域を特定する。このようにすることにより、より一層実際の赤目領域102に近似した領域を特定することができる。なお、ステップS3で、ユーザが複数の点を一度に指定するようにしてもよい。
【0033】
なお、当てはめる図形を楕円としたのは、瞳孔が円形であること、また実際に生じている赤目領域の形状や、各種の実験結果等を考慮して判断したものである。ただし、楕円以外の形状、例えば円形にしてもよい。また、単に検出したエッジを直線で結んだ多角形や、最小2乗法によって検出したエッジすべてに近い境界線で規定される図形で当てはめてもよい。
【0034】
図2のステップS6では、ステップS5において特定された領域の色を変更(補正)する。色の補正は、例えば、黒やグレイ(灰色)などの一色の色で塗りつぶすなど各種の方法が考えられる。しかし、一色の色で塗りつぶすと、キャッチライトまで塗りつぶすことになってしまい、非常に不自然な補正となってしまう。そこで、本実施の形態では、キャッチライトを残したままの自然な補正とするために、補正領域の輝度の濃淡情報を残したままの補正を考える。領域内の各画素において、RGBそれぞれの色成分の色情報を最小値Min(R,G,B)で統一する。あるいは、各画素において、RGBそれぞれの色成分の色情報を、輝度情報Y=(R+G+B)/3に統一する方法にしてもよい。これらの場合、各画素において複数の色成分の色情報の最小値あるいはそれよりも大きな値で統一することになる。また、画像が明るすぎる場合は、最小値Min(R,G,B)や輝度情報Y=(R+G+B)/3に所定の比率(例えば1/2)を掛けた値で統一してもよい。すなわち、各画素において複数の色成分の元の色情報に基づいた値で統一する。これにより、補正領域の輝度の濃淡情報を残したまま、赤色をなくすことができる。すなわち、キャッチライトを残しながら、赤色や金色を無彩色に変更することができる。
【0035】
なお、以上の手順で赤目補正を行うが、楕円で近似する場合、どうしても赤目領域の一部が補正できない場合が生じる。上記に説明したように、ステップS3〜S5を複数回繰り返しても赤目領域が残る場合が生じる。そのような場合には、赤目補正処理後の画像データを使用して、再度図2の処理を行うようにすればよい。例えば、図7(b)の領域153の赤目領域がどうしても残る場合、補正後の画像データを使用して再度赤目補正処理を行う。その場合、領域153が赤目領域とされ、領域153と楕円152のエッジが検出されるようになるので、確実に領域153の赤目が補正されるようになる。
【0036】
以上説明したような本実施の形態の赤目補正処理方法を実施すると、次のような効果を奏する。
(1)補正すべき赤目領域などの色不良領域を、自然な色状態へ、容易に、短時間で、確実に補正することができる。
(2)ユーザが赤目領域の内部を指定できるようにしているので、探索対象の赤目領域が確実に指定される。すなわち、赤目領域以外の赤色領域を誤って検出することがなくなる。また、目を含む領域を指定する場合に比べて、極めて指定が容易となる。ユーザは、例えばマウスで一発クリックするだけでよい。
(3)ユーザが指定した赤目領域の内部の点を起点に赤目領域のエッジ(境界)を探索するようにしているので、様々な種類の赤目領域を容易に短時間に確実に特定することができる。例えば、様々な形状の赤目領域を容易に短時間に確実に特定することができる。また、グラデーションがある赤目であっても、探索条件の適当な設定により確実に特定することができる。さらに、指定された目を含む領域全体において画像処理をする場合に比べて、処理時間が極めて短時間で済む。すなわち、赤目領域内部の範囲の画像処理だけで済む。また、探索のアルゴリズムが簡単で、プログラムの開発等が容易となる。
(4)放射状に延びる複数の方向を探索しているので、2次元的な形状が容易にかつ確実に探索することができる。
(5)ユーザの1回の指定で探索の起点を複数選択するので、容易な操作でより精度の高いエッジ(境界)探索が可能となる。
(6)エッジ(境界)の探索処理は、色成分の色情報値の比較で行っているので、処理が簡単である。
(7)複数の画素群の比較で探索処理を行う場合、エッジが少々不鮮明(ボケている)であっても、確実にエッジを探索することができる。特に、3画素群が効果的である。
(8)探索したエッジ情報に基づき楕円形状を当てはめているので、円形の瞳孔において生じる赤目領域をより正確に近似でき、かつ、数学的な処理が容易である。また、楕円などの図形を当てはめるので、探索が成功しなかった方向についても補うことができる。
(9)色補正において、補正領域の輝度の濃淡情報を残したまま補正しているので、キャッチライトを残したままで赤目を補正することができる。すなわち、違和感のない自然な色の補正が可能となる。
(10)複数回処理により複数の異なる楕円を特定してその論理和を取るので、赤目領域をより一層正確に近似できる。
(11)補正後の画像データを使用して、さらに、赤目補正処理を行うので、隈なく赤目補正が可能となる。
【0037】
−第2の実施の形態−
本発明の色不良領域補正方法を実施する第2の実施の形態を以下に説明する。第2の実施の形態では、第1の実施の形態で説明した赤目補正処理方法のうち、エッジ探索起点の選択、エッジの探索、赤目領域の特定において、異なる処理方法を用いる。第2の実施の形態は、第1の実施の形態と同一の、図1に示す構成により実施される。
【0038】
第2の実施の形態における赤目補正処理のフローチャートを図8に示す。この赤目補正処理は、第1の実施の形態と同じく、パソコン1で実行される画像処理プログラムの一部である。ステップS1、S2では、第1の実施の形態と同一の処理を実行する。
【0039】
ステップS3Aでは、モニタ3に表示された表示画像上で、ユーザがマウス5等を使用して赤目付近の点を指定するのを待つ。ここでユーザが指定する点は、図2のステップS3における処理のように必ずしも赤目領域内部である必要はなく、赤目付近の点であれば、赤目領域の外でもよい。あるいは、ステップS3において、式(1)および(1)’の条件により、ユーザが指定した点が赤目領域外と判断された場合に、ステップS3Aを実行するようにしてもよい。ユーザが指定した点に基づき、フラッシュ撮影の際に目に生じるストロボ光源のキャッチライトを探索し、探索されたキャッチライトの画素全てを指定する。
【0040】
ユーザが指定した点に基づき、キャッチライトを探索する方法を、図9により説明する。図9は、赤目が生じている画像の目の部分を拡大した図である。符号201がキャッチライトであり、符号205が黒目206のうち赤目が生じている部分である。
【0041】
ユーザのマウス5等のポインティングデバイスの操作によって、赤目領域付近の点が、カーソル202により指定される。このとき、指定された点を中心とした所定範囲、たとえば20画素四方を範囲とする、領域203が設定される。ここで、領域203をあまり広い範囲とすると、たとえば、眼鏡の縁に生じているキャッチライト等も認識してしまうことがある。したがって、領域203はこれらも考慮して適切な範囲とする。次に、領域203の内部において、式(5)を満たす画素を特定する。ここで、式(5)のR0、G0、B0は、それぞれ領域203の内部にある画素のRGBの各色成分の色情報の値を表す。なお、式(5)の条件は、各色成分の色情報の値が8ビット、0〜255の値であることを前提とした値である。式(5)の値以外であっても、キャッチライトを的確に見つけることができる値であればよい。
【数3】
R0>200 かつ G0>200 かつ B0>200 (5)
【0042】
式(5)を満たす画素を全て特定したら、特定された画素による画素群が、所定の大きさ、たとえば10画素四方の、領域204の内部にあるか否かを判別する。領域204の内部にある場合は、特定された画素群はキャッチライトであると判断して、これらを全て指定する画素とする。領域204の内部にない場合は、特定された画素群はキャッチライトでないと判断して、これらの画素は指定する画素から除外する。この処理を行うことで、眼鏡の反射による部分などを除外することができる。このようにして、キャッチライトの画素を指定する。図9に示す例では、領域201の画素群は領域204の内部にあり、キャッチライトの画素として指定される。
【0043】
なお、上述した方法によってキャッチライトの画素を指定できなかった場合には、たとえば、ユーザによって赤目領域付近の点が再度指定されるのを待ち、同じ処理を繰り返してもよい。あるいは、ユーザによって赤目内部の点が指定されるのを待ち、図2のS3における処理と同様の処理内容を実行してもよい。
【0044】
次のステップS4Aでは、ステップS3Aで指定された画素を全て起点として、赤目領域のエッジを探索する。このとき、起点からの探索方向、およびエッジ探索において比較する画素群は、図2のS4における処理と同様である。すなわち、起点の画素に対して、水平方向、垂直方向、45度方向、135度方向の、それぞれにおいて相反する2方向の計8方向を探索する。また、図5に示すように、探索方向121に並ぶ、隣り合った画素群の色情報の値を比較する。
【0045】
以下、図5(a)に示す注目画素122とその隣接画素123との間で色情報の比較を行うときの、本実施の形態における条件を説明する。注目画素122のRGBの各色成分の色情報の値R、G、Bと、隣接画素123のRGBの各色成分の色情報の値R’、G’、B’とが、式(6)を満たすか否かを判断することにより、エッジを探索する。そして、第1の実施の形態と同様に、探索方向121に画素を順次ずらして判断を繰り返し、注目画素122と隣接画素123が、式(6)を満たしたとき、注目画素122をエッジ(境界)画素とする。ここで、式(6)のrおよびr’は式(7)、CrおよびCr’は式(8)、f(d)は式(10)によるものとする。また、式(8)におけるYおよびY’は、式(9)によるものとする。
【数4】
r・Cr>f(d) かつ r’・Cr’≦f(d) (6)
r=R/(R+G+B)、r’=R’/(R’+G’+B’) (7)
Cr=0.713(R−Y)、Cr’=0.713(R’−Y’)(8)
Y=0.587G+0.114B+0.299R 、
Y’=0.587G’+0.114B’+0.299R’ (9)
f(d)=S1(d≦uのとき)またはS2(d>uのとき) (10)
【0046】
f(d)は、式(10)に表されるように、dの値によって、S1またはS2(S1<S2)のどちらかの値をとる関数である。f(d)の値は、エッジを判定するための判定値として用いられる。ここで、dの値は、探索の起点から探索位置までの距離を表し、起点とする画素から注目画素122までの画素数によって、表すことができる。dがしきい値u以下のときは、赤目の部分が小さく、エッジが鮮明でない可能性があるため、f(d)=S1として、判定値を小さくする。dがしきい値uを越えると、赤目の部分が大きく、エッジが鮮明であると考えられるため、f(d)=S2として、判定値を大きくする。判定値S1、S2およびしきい値uは、各種の実験やシミュレーションによって調整され、最適化された値が用いられる。また、YおよびCr、Y’およびCr’は、YCbCr信号として一般に用いられている信号フォーマットによるものであり、YおよびY’は輝度信号、CrおよびCr’は赤の色差信号を表す。
【0047】
なお、上記では、1画素の比較について説明したが、図2のステップS4における処理と同様に、図5(b)のように3画素群の比較や、それ以外の複数画素群の比較によって、エッジを探索してもよい。このときのRGB各色成分の色情報の値は、ステップS4と同様に、比較する画素群の平均値が用いられる。複数画素群を比較することで、エッジが少々不鮮明であっても、エッジを検出することが可能となる。
【0048】
また、探索開始点から探索位置までの距離により、2つのエッジ判定値のどちらかを用いることとしたが、エッジ判定値の数を変えてもよい。任意の数のエッジ判定値と、それに対応する数の、探索開始点から探索位置までの距離に対するしきい値を設定することができる。
【0049】
ここで、式(6)で赤目領域のエッジが検出できなかった場合、何ら制限を設けなければ画像の端部まで無駄に探索することになり、処理時間の増大を招くことになる。それを避けるため、8方向の探索方向において、起点から最初にエッジを検出した位置までの距離に対して、一定の範囲内、たとえば2倍までの距離を、最大の探索範囲とする。
【0050】
図10を用いて以下に説明する。赤目領域211に対して、符号212に示す点の画素を起点として、符号213に示す8方向にエッジを探索する。その結果、符号214に示す点の画素が、赤目領域のエッジとして最初に検出されたとする。このとき、起点212からエッジ214までの8−近傍距離が、たとえば20であったとすると、20の2倍、すなわち符号212に示す点の画素からの8−近傍距離が40以内の範囲215が、最大の探索範囲として設定される。範囲215を越えても赤目領域のエッジが検出できなかった場合は、その方向における探索は中断される。
【0051】
なお、上述の説明では、起点から最初にエッジを検出した点までの距離に対して、その2倍までの距離を最大の探索範囲としたが、この値は適宜変更してもよい。あるいは、第1の実施の形態と同様に、式(3)で黒目部分を検出するようにするとともに、所定数の画素範囲を探索することとしてもよい。
【0052】
図11(a)に、エッジの検出結果の例を示す。ただし、説明の便宜上、1つの起点に対する分しか記載していない。黒目部分221における赤目領域222に対して、符号223に示す点の画素を起点として、符号224〜231に示す8方向へのエッジ探索を行った。その結果、135°方向227および垂直方向230では、エッジを検出できなかった。その他の方向では、エッジ232〜237が検出できた。
【0053】
このようにエッジが検出できない場合があるが、第1の実施の形態と同様に、探索方向数のn倍以上(nは1/2程度あるいはそれ以上の値)のエッジが検出できた場合、探索が成功したとする。たとえば、n=1/2とし、起点となる画素数が10画素であったとすると、探索方向は計80方向となり、40個以上のエッジが検出できた場合に探索が成功したことになる。
【0054】
ステップS5Aでは、ステップS4Aで検出したエッジ情報に楕円を当てはめることにより、赤目領域に対応する領域を特定する。ここで、第1の実施の形態では1つであった楕円を、本実施の形態ではもう1つ加えて2つとすることで、赤目領域をより近似する領域を特定する。以下、図11を用いて説明する。ステップS4Aで、図11(a)に示すとおり、赤目領域222に対してエッジ232〜237が検出できたとする。このとき、第1の実施の形態と同様にして、図11(b)に示すとおり、エッジ232〜237をすべて含む最小の長方形240と、長方形240に内接する楕円241とを、まず求める。しかし、これだけでは、図7(b)における領域242のように、本来赤目領域222の一部であるにもかかわらず、楕円241に含まれない領域が生じる。
【0055】
そこで、図11(c)に示すとおり、エッジ232〜237を全て含む最小の長方形を、もう一つ求める。ここで求める長方形243は、図11(b)における長方形240とは異なり、四辺が45°方向または135°方向の探索方向225、227、229、231のいずれかと平行な長方形である。次に、長方形243に内接する楕円244を求める。すなわち、楕円244は、図11(b)における楕円241から、軸(長軸および短軸)の角度を45°変えることにより、決定される楕円である。
【0056】
上記のようにして、楕円241および楕円244を求めたら、図11(d)に示すように、楕円241と楕円244との論理和によって示される領域245を求める。この領域245を、赤目領域222に対応する領域とする。このようにすることで、1つの楕円だけではカバーできなかった領域242についても、そのほとんどの部分を、赤目領域222に対応する領域245の中に含めることができる。すなわち、赤目領域により近似した領域を特定することができる。
【0057】
なお、上述の説明では、軸の角度を45°変えた楕円を2つ求め、その論理和により赤目領域に対応する領域を特定することとしたが、楕円の数は適宜変更してもよい。軸の角度が異なる任意の数の楕円を求め、それらの論理和による領域を、赤目領域に対応する領域として特定することができる。
【0058】
ステップS6では、第1の実施の形態と同一の処理により、ステップS5Aにおいて特定された領域の色を補正する。このようにして、赤目領域の色が補正される。なお、本実施の形態においても、第1の実施の形態と同様に、ステップS3A〜S5Aを複数回繰り返してもよい。
【0059】
以上説明したような本実施の形態の赤目補正処理方法を実施すると、第1の実施の形態による作用効果に加えて、次のような効果を奏する。
(1)ユーザが指定する点を、赤目領域の内部に限定しないこととしたので、赤目領域が小さく指定が困難である場合にも、確実に指定することができる。
(2)キャッチライトの画素全てを探索開始点としたので、より多くのエッジ(境界)を検出することができる。
(3)輝度情報と色差情報に基づいてエッジ(境界)を検出しているので、より人間の視覚感覚に近いエッジ検出を行うことができる。
(4)探索の起点からの距離に応じて、エッジ判定値を変えることとしたので、画像の大きさによって変化するエッジ(境界)の鮮明さに応じて、より確実にエッジを検出することができる。
(5)探索の起点から、最初にエッジ(境界)を検出した点までの距離に基づいて、最大の探索範囲を決めることとしたので、目の画像の大きさに影響を受けることなく、安定したエッジ探索が可能となるとともに、不要な探索による処理時間の増大や、エッジの誤検出を防ぐことができる。
(6)探索したエッジ情報に基づき、軸の角度が異なる複数の楕円を当てはめ、その論理和の領域を赤目領域に対応させているので、一度ユーザから点を指定されると、より正確に赤目領域を近似できる。
【0060】
−第3の実施の形態−
本発明の色不良領域補正方法を実施する第3の実施の形態を以下に説明する。第3の実施の形態では、一度赤目領域に対応させて特定した領域に基づいて、さらに領域を特定する処理を繰り返し行う。そして、特定された領域全ての論理和を、最終的に赤目領域に対応する領域とする。第3の実施の形態は、第1および第2の実施の形態と同一の、図1に示す構成により実施される。
【0061】
第3の実施の形態における赤目補正処理のフローチャートを図12に示す。この赤目補正処理は、第1および第2の実施の形態と同じく、パソコン1で実行される画像処理プログラムの一部である。ステップS1〜S3では、第1の実施の形態と同一の処理を実行する。
【0062】
ステップS4Bでは、ステップS3で指定された点を起点に、赤目領域のエッジを探索する。このときの起点は、ステップS3でユーザに指定された点に対応する画素のみとする。すなわち、図4を用いて説明すると、画素111のみを起点としてエッジを探索し、画素112〜115を起点としたエッジ探索は行わない。エッジを検出する条件は、第1の実施の形態と同じく、式(2)〜(4)によるものとする。この処理により、8方向の探索方向に対して最大8個のエッジが検出される。このうち、所定の数以上、たとえば4個以上のエッジが検出された場合は、探索が成功したとする。
【0063】
ステップS5では、ステップS4Bで検出したエッジ情報に基づき、第1の実施の形態と同一の処理により、赤目領域を特定する。この領域は、たとえば図7(b)において、楕円152で示される領域である。
【0064】
次に、ステップS51では、1回目のステップS5で特定した赤目領域内に含まれる全ての画素を、探索の起点としたかを判定する。全ての画素は探索の起点としていないと判定した場合は、ステップS52へ進む。全ての画素を探索の起点としたと判定した場合は、ステップS53へ進む。最初にステップS51を実行する場合は、ステップS3でユーザに指定された点に対応する画素以外は、探索の起点としていない。そのため、全ての画素は探索の起点としていないと判定し、ステップS52へ進む(赤目領域内に含まれる画素が、ユーザに指定された点に対応する画素の1画素しかない場合を除く)。
【0065】
ステップS52では、ステップS5で特定した赤目領域内に含まれる画素のうち、まだ探索の起点としていない画素の1つを、探索の起点として設定する。ステップS52の処理が終わると、ステップS4Bに戻って、設定した画素を起点としたエッジ探索を実施する。このように、ステップS4B〜S51と、ステップS52とを繰り返し行うことで、一旦赤目領域内として特定した領域における、全ての画素を探索起点とした、新たな赤目領域が特定される。この新たに特定される赤目領域の数は、ステップS52で探索起点とした画素の数だけ存在することになる。
【0066】
ステップS53では、それまで実行したステップS5で特定した赤目領域の全てについて、その論理和を求める。そして、この求めた領域を、新たな赤目領域とする。次のステップS6では、第1の実施の形態と同一の処理により、ステップS53において赤目領域とした領域の色を補正する。このようにして、赤目領域の色が補正される。
【0067】
以上説明したような本実施の形態の赤目補正処理方法を実施すると、第1の実施の形態による作用効果に加えて、次のような効果を奏する。一度特定した領域内の全ての画素を探索の起点として、領域を繰り返し特定し、それら全ての領域の論理和を、赤目領域に対応させているので、一度ユーザから点を指定されると、さらにより正確に赤目領域を近似できる。
【0068】
−第4の実施の形態−
本発明の色不良領域補正方法を実施する第4の実施の形態を以下に説明する。本実施形態では、ユーザに指定された画像上の点の周囲に赤目領域の候補点を抽出し、抽出された候補点の周囲の色情報によって、その候補点の中からエッジ探索の開始点を決定し、さらにエッジ探索のしきい値を決定する。第4の実施の形態は、第1〜第3の実施の形態と同一の、図1に示す構成により実施される。
【0069】
第4の実施の形態における赤目補正処理のフローチャートを図13に示す。この赤目補正処理は、第1〜第3の実施の形態と同じく、パソコン1で実行される画像処理プログラムの一部である。ステップS1とS2では、第1の実施の形態と同一の処理ステップを実行して、モニタ3に赤目補正処理の対象画像を表示する。
【0070】
ステップS3Bでは、モニタ3に表示された表示画像上で、ユーザがマウス5等を使用して赤目付近の点を指定するのを待つ。ここでユーザが指定する点は必ずしも赤目領域内部である必要はなく、赤目付近の点であれば、赤目領域の外でもよい。なお、このステップS3Bでは、第2の実施の形態で図8に示すステップS3Aにおいてユーザが指定した点に基づいてキャッチライトを探索したのとは異なり、ユーザが点を指定したら、直ちに次のステップS3Cへ進む。
【0071】
ステップS3Cでは、ステップS3Bにおいて指定された点に基づいて、赤目領域に含まれる色不良領域の探索開始候補点(以下、候補点とする)の抽出を行う。その方法を次に説明する。
【0072】
ステップS3Cにおいて実行する候補点の抽出について、その詳細な処理内容のフローチャートを図14に示す。ステップS31において、ステップS2でユーザに指定された点の周囲の所定範囲内に含まれる画素の全てに対して、その画素がキャッチライトまたは赤目を表すか否かを判定する。このとき、判定の対象とする画素の色情報について、はじめに下記の式(11)によってHSV値を求める。なお、以下の説明におけるR,G,Bは、それぞれR(赤)、G(緑)、B(青)の各成分値を表す。また、H,S,Vは、それぞれH(色相)、S(彩度)、V(明度)の各成分値を表す。
【数5】
V=Max(R,G,B)
S=255(V−X)/V
H=(5.0+b)/6.0(r=V かつ g=X のとき)
=(1.0−g)/6.0(r=V かつ g≠X のとき)
=(1.0+r)/6.0(g=V かつ b=X のとき)
=(3.0−b)/6.0(g=V かつ b≠X のとき)
=(3.0+g)/6.0(b=V かつ r=X のとき)
=(5.0−r)/6.0(b=V かつ r≠X のとき)・・(11)
ただし、
X=Min(R,G,B)
r=(V−R)/(V−X)
g=(V−G)/(V−X)
b=(V−B)/(V−X)
Min(R,G,B):RGB各値のうち最小の値
Max(R,G,B):RGB各値のうち最大の値
【0073】
上記の式(11)によって判定対象画素のHSV値を求めたら、次にその各画素について、下記の式(12)、(13)によりキャッチライトまたは赤目を表すか否かを判定する。
【数6】
R>200 かつ G>200 かつ B>200 ・・・・・・・(12)
【数7】
(G+B)/R<0.8 かつ H>0.8
かつ Cr・R/(R+G+B)>15 ・・・・・・・・・・(13)
ただし
Cr=0.713(R−Y)
Y=0.587G+0.114B+0.299R
【0074】
上記の式(12)は、第2の実施の形態で説明したキャッチライトを見つけるための式(5)と同じ式である。判定対象画素のいずれかが式(12)を満たし、さらにその式(12)を満たす画素によって形成される画素群が、第2の実施の形態と同様に所定の大きさ、たとえば10画素四方以下の大きさである場合、その画素はキャッチライトであると判定する。また、上記の式(13)は、赤目であるか否かを判定するための式である。判定対象画素のいずれかが式(13)を満たす場合、その画素は赤目であると判定する。
【0075】
なお、式(12)および(13)はそれぞれキャッチライトまたは赤目を表す式の一例であり、本発明はこれに限定されるものではない。キャッチライトや赤目であること又は色不良領域の特徴的な色を的確に判定できる式であれば、どのようなものを用いてもよい。
【0076】
以上説明した判定処理により、判定対象画素であるステップS2でユーザに指定された点の周囲の所定範囲内に含まれる画素のそれぞれについて、ステップS31において、キャッチライトまたは赤目であるか否かを判定する。このようにしてステップS31においてキャッチライトまたは赤目であると判定された画素を、次のステップS32において、赤目領域の候補画素として抽出する。なお、ステップS31においてキャッチライトまたは赤目であると判定された画素が一つもなかった場合は、ステップS32において、ステップS2でユーザが指定した点に位置する画素を赤目領域の候補画素として抽出する。このようにして抽出された候補画素について、ステップS33において、その周囲の色情報を取得する。
【0077】
ステップS33において候補画素の周囲の情報を取得する方法を、図15を用いて説明する。図15は、ステップS32において抽出された候補画素の1つ(候補点403とする)が画像上に位置し、その候補点403の周辺部分を拡大したものであり、その中には目領域400が含まれている。目領域400には黒目部分401が含まれており、その内部には前述のように赤目が生じている。その赤目領域を符号402に示す。
【0078】
ステップS33では、候補点403に対して、その周囲の色情報を取得する。ここでは、候補点403を中心とした符号404に示す直径eの円形の範囲について、その内部の色情報を取得することとする。なお、これに限らず、様々な形状や大きさの範囲について色情報を取得することとできる。
【0079】
範囲404の内部の色情報として、範囲404内部に含まれるすべての画素を対象とし、赤み度Rnの平均値および最大値と、彩度Sの平均値とを求める。なお、ここでいう赤み度Rnは、下記の式(14)によって表されるものとする。
【数8】
Rn=Cr・R/(R+G+B) ・・・・・・・・・・・・・・(14)
【0080】
以上説明したようにして、範囲404内のすべての画素による赤み度Rnの平均値および最大値と、彩度Sの平均値とを求めることにより、候補点403の周囲の色情報を取得する。ステップS32において複数の候補画素が抽出されているときは、同様にして、すべての候補画素による候補点について周囲の色情報を取得する。
【0081】
ステップS34において、ステップS33で取得された色情報に基づいて、各候補画素が赤目領域の画素として妥当であるか否かを判定する。すなわち、各候補画素による候補点が赤目領域に含まれるのが妥当であるか否かを判定する。妥当でないと判定された候補画素(候補点)は、これ以降の処理対象より除外される。ここで妥当であると判定された画素は、図13のステップS4において、エッジ探索を行うときの探索開始点とされる。この判定は、たとえば、各候補画素の彩度Sの値を基準値Srと比較することにより行われる。このときの彩度の基準値Srは、ステップS33で取得された色情報に基づいて決定される。
【0082】
たとえば、ステップS33で取得された範囲404内のすべての画素による彩度Sの平均値を基準値Srとし、各候補画素の彩度Sがこの基準値Srを中心値とした所定範囲内、たとえば±10%以内に入っているか否かを判定する。所定範囲内に入っている場合、その候補画素は赤目領域の画素として妥当であると判定し、入っていない場合は、その候補画素は赤目領域の画素として妥当でないと判定する。このとき、妥当と判定された複数の候補画素に対して、各候補画素の色情報に基づいて、ステップS4においてそれらの画素を探索開始点としてエッジ探索を行うときの優先度をこのステップS34で設定してもよい。たとえば、各候補画素のそれぞれの赤み度Rnを上記の式(14)により計算し、その値が全候補画素の赤み度Rnの平均値と最大値の中間値以上である候補画素については、ステップS4で優先的にエッジ探索を行うようにする。
【0083】
ステップS35において、ステップS33で取得された色情報に基づいて、エッジ探索時のしきい値Tを設定する。たとえば、ステップS33で取得された範囲404内のすべての画素による赤み度Rnの平均値と最大値により、たとえばそれらの中間値をしきい値Tとする。なお、ここで設定されたしきい値は、図13のステップS4において、エッジ探索を行うときに用いられる。
【0084】
ステップS35を実行した後、図14の処理フローを終了する。これにより、図13のステップS3Cの処理が終了する。このようにして、赤目領域に含まれる候補点が抽出され、図13のステップS4に移行する。ステップS4以降は、第1の実施の形態と同一の処理ステップを実行する。このとき、ステップS3Cで抽出された候補点を起点として、ステップS4における赤目領域のエッジ探索を行う。
【0085】
以上説明したような本実施の形態の赤目補正処理方法を実施すると、第1の実施の形態による作用効果に加えて、次のような効果を奏する。
(1)ユーザが指定する点を赤目領域内部に限定しないこととし、ユーザに指定された点の周囲から赤目またはキャッチライトを表す画素を赤目領域内部の候補点として抽出しているので、赤目領域が小さく指定が困難である場合にも、確実に赤目領域内部の点を指定することができる。
(2)抽出された候補点の周囲の色情報に基づいて赤目領域に含まれるのが妥当か否かを判定し、妥当でないと判定された候補点を除外しているので、赤目領域に含まれない画素を探索開始点としないことができる。
(3)抽出された候補点の色情報に基づいてエッジ探索の優先度を設定しているので、赤目領域の内部に確実に含まれる点を優先的にエッジ探索の起点とすることができる。
(4)抽出された候補点の周囲の色情報に基づいてエッジ探索のしきい値を設定しているので、赤目領域の色状態に応じたエッジ探索ができる。
【0086】
上記の実施の形態では、パソコン1で赤目補正処理を行う例を説明したが、この内容に限定する必要はない。デジタルカメラ上でそのような処理プログラムを搭載し処理するようにしてもよい。また、カメラから直接画像データを取得してプリントするプリンタにおいて、そのような処理プログラムを搭載し処理するようにしてもよい。すなわち、画像データを処理するあらゆる画像処理装置に本発明を適用することができる。言いかえれば、取得した画像において補正対象の内部の点を指定し、指定された点に基づく点を起点として補正対象とする色不良領域を特定し、特定された色不良領域の色補正を行うような画像処理方法を実行する画像処理装置において、本発明を適用できる。また、色不良領域の色補正だけに限られず、特定の色を示す領域を特定するだけでも本発明の適用範囲内である。特に、特定の色を表す領域のみを特定し、異なる画像を当てはめたりするような画像処理に対しても、本発明に開示された領域探索の手法は有効である。具体的には、図2、8、12および13のフローチャートにおいて、S6のステップを実行する前で終わるものでも構わない。
【0087】
上記の実施の形態では、RGB表色系の例で説明をしたが、この内容に限定する必要はない。その他の表色系の画像データであってもよい。
【0088】
上記の実施の形態では、赤目補正処理として様々な処理内容を組み合わせた例を説明したが、この組み合わせに限定する必要はない。各実施の形態の処理内容は、他の実施の形態の処理内容と、任意に組み合わせて実行することができる。
【0089】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【0090】
【発明の効果】
本発明は、以上説明したように構成しているので、補正すべき色不良領域を、自然な色状態へ、容易に、短時間で、確実に補正することができる。
【図面の簡単な説明】
【図1】本発明の色不良領域補正方法を実施する一実施の形態を示す図である。
【図2】第1の実施の形態における赤目補正処理のフローチャートを示す図である。
【図3】赤目が生じている黒目部分を拡大した図である。
【図4】画像データを画素が認識できる程度にまで拡大した図である。
【図5】エッジ探索の様子を説明する図である。
【図6】探索結果の様子を説明する図である。
【図7】楕円図形をあてはめる様子を説明する図である。
【図8】第2の実施の形態における赤目補正処理のフローチャートを示す図である。
【図9】ユーザが指定した点よりキャッチライトを探索する様子を説明する図である。
【図10】起点から最初にエッジを検出した位置までの距離に対して、一定の範囲内を、エッジの最大探索範囲とする様子を説明する図である。
【図11】複数の楕円図形をあてはめ、その論理和の領域を特定する様子を説明する図である。
【図12】第3の実施の形態における赤目補正処理のフローチャートを示す図である。
【図13】第4の実施の形態における赤目補正処理のフローチャートを示す図である。
【図14】第4の実施の形態における赤目補正処理のうち、候補点の抽出処理のフローチャートを示す図である。
【図15】候補点の周囲の色情報を取得する様子を説明する図である。
【符号の説明】
1 パーソナルコンピュータ
2 制御装置
3 モニタ
4 キーボード
5 マウス
6 CD−ROM駆動装置
7 記録媒体
8 デジタルカメラ
9 インターネット
10 コンピュータ
Claims (15)
- 赤目現象を補正すべき画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像上で、補正すべき赤目領域の内部の点を指定する指定ステップと、
前記指定ステップで指定された点に基づき複数の起点を設定し、設定した複数の起点の各々からそれぞれ放射状に延びる複数の方向と前記赤目領域の境界とが交差する複数の境界点を検出することにより、前記赤目領域の境界を探索する探索ステップと、
前記探索ステップで検出された複数の境界点に基づき前記赤目領域に対応する楕円形状の領域を特定する領域特定ステップと、
前記特定された領域の色を変更する色変更ステップとを有し、
前記指定ステップでは複数の点を指定し、
前記指定ステップで指定された複数の点毎に、前記探索ステップと前記領域特定ステップとを組み合わせて複数回行い、
前記色変更ステップでは前記探索ステップと前記領域特定ステップとを複数回行うことにより特定された複数の楕円形状の領域の論理和により得られる領域の色を変更することを特徴とする赤目領域補正方法。 - 赤目現象を補正すべき画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像上で、補正すべき赤目領域の内部の点を指定する指定ステップと、
前記指定ステップで指定された点に基づき複数の起点を設定し、設定した複数の起点の各々からそれぞれ放射状に延びる複数の方向と前記赤目領域の境界とが交差する複数の境界点を検出することにより、前記赤目領域の境界を探索する探索ステップと、
前記探索ステップで検出された複数の境界点に基づき前記赤目領域に対応する楕円形状の領域を特定する領域特定ステップと、
前記特定された領域の色を変更する色変更ステップとを有し、
前記指定ステップと前記探索ステップと前記領域特定ステップとを組み合わせて複数回行い、
前記色変更ステップでは前記指定ステップと前記探索ステップと前記領域特定ステップとを組み合わせて複数回行うことにより特定された複数の楕円形状の領域の論理和により得られる領域の色を変更することを特徴とする赤目領域補正方法。 - 赤目現象を補正すべき画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像上で、補正すべき赤目領域の内部の点を指定する指定ステップと、
前記指定ステップで指定された点に基づき起点を設定し、設定した起点からそれぞれ放射状に延びる複数の方向と前記赤目領域の境界とが交差する複数の境界点を検出することにより、前記赤目領域の境界を探索する探索ステップと、
前記探索ステップで検出された複数の境界点に基づき前記赤目領域に対応する楕円形状の領域を特定する領域特定ステップと、
前記特定された領域の色を変更する色変更ステップとを有し、
前記領域特定ステップにおいて特定された領域内の複数の点を起点として、さらに前記探索ステップと前記領域特定ステップとを組み合わせて複数回行い、
前記色変更ステップでは前記探索ステップと前記領域特定ステップとを複数回行うことにより特定された複数の楕円形状の領域の論理和により得られる領域の色を変更することを特徴とする赤目領域補正方法。 - 請求項1〜3のいずれか1項記載の赤目領域補正方法において、
前記複数の楕円形状の領域は、それぞれ軸の角度が異なることを特徴とする赤目領域補正方法。 - 赤目現象を補正すべき画像を取得する画像取得ステップと、
前記画像取得ステップで取得した画像上で、補正すべき赤目領域の内部の点を指定する指定ステップと、
前記指定ステップで指定された点に基づき複数の起点を設定し、設定した複数の起点の各々からそれぞれ放射状に延びる複数の方向と前記赤目領域の境界とが交差する複数の境界点を検出することにより、前記赤目領域の境界を探索する探索ステップと、
前記探索ステップで検出された複数の境界点に基づき前記赤目領域に対応する楕円形状の領域を特定する領域特定ステップと、
前記特定された領域の色を変更する色変更ステップとを有し、
前記領域特定ステップでは前記複数の境界点に基づきそれぞれ軸の角度が異なる複数の楕円形状の領域を特定し、
前記色変更ステップでは前記領域特定ステップにより特定された複数の楕円形状の領域の論理和により得られる領域の色を変更することを特徴とする赤目領域補正方法。 - 請求項5記載の赤目領域補正方法において、
前記指定ステップと前記探索ステップと前記領域特定ステップとを組み合わせて複数回行い、
前記色変更ステップでは前記指定ステップと前記探索ステップと前記領域特定ステップとを組み合わせて複数回行うことによりそれぞれ特定された複数組の楕円形状の領域の論理和により得られる領域の色を変更することを特徴とする赤目領域補正方法。 - 請求項1〜6のいずれか1項記載の赤目領域補正方法において、
前記画像は複数の画素から構成され、各画素は複数の色成分の色情報を有し、
前記色変更ステップは、前記特定された赤目領域を構成する各画素の複数の色成分の色情報の値を、その画素の複数の色成分の元の色情報に基づいた値で統一することを特徴とする赤目領域補正方法。 - 請求項1〜6のいずれか1項記載の赤目領域補正方法において、
前記画像は複数の画素から構成され、各画素は複数の色成分の色情報を有し、
前記色変更ステップは、前記特定された赤目領域を構成する各画素の複数の色成分の色情報の値を、その画素の複数の色成分の元の色情報の最低値以上の値で統一することを特徴とする赤目領域補正方法。 - 請求項1〜8のいずれか1項記載の赤目領域補正方法において、
前記指定ステップは、前記画像取得ステップで取得した画像上に指定された点の周囲の所定範囲内から前記赤目領域に位置する候補点を抽出し、その抽出された候補点を補正すべき赤目領域の内部の点として指定することを特徴とする赤目領域補正方法。 - 請求項9記載の赤目領域補正方法において、
前記指定ステップは、前記抽出された候補点について、周囲の色情報に基づいてその候補点が前記赤目領域に含まれるのが妥当か否かを判定し、妥当でないと判定された候補点を除外することを特徴とする赤目領域補正方法。 - 請求項9または10に記載の赤目領域補正方法において、
前記指定ステップは、前記抽出された候補点に位置する画素の色情報に基づいて、前記探索ステップにおける探索の優先度をその候補点に対して設定することを特徴とする赤目領域補正方法。 - 請求項9〜11のいずれか1項記載の赤目領域補正方法において、
前記探索ステップは、前記指定ステップで抽出された候補点の周囲の色情報に基づいて得られたしきい値に基づいて、前記赤目領域の境界を探索することを特徴とする赤目領域補正方法。 - 請求項1〜12いずれか1項に記載の赤目領域補正方法のステップをコンピュータに実行させるための赤目領域補正処理プログラム。
- 請求項13の赤目領域補正処理プログラムを記録したコンピュータ読みとり可能な記録媒体。
- 請求項13の赤目領域補正処理プログラムを搭載し、実行する画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003194222A JP4457586B2 (ja) | 2002-07-15 | 2003-07-09 | 赤目領域補正方法、赤目領域補正処理プログラム、記録媒体、画像処理装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002205723 | 2002-07-15 | ||
JP2002356591 | 2002-12-09 | ||
JP2003194222A JP4457586B2 (ja) | 2002-07-15 | 2003-07-09 | 赤目領域補正方法、赤目領域補正処理プログラム、記録媒体、画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004242272A JP2004242272A (ja) | 2004-08-26 |
JP4457586B2 true JP4457586B2 (ja) | 2010-04-28 |
Family
ID=32966250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003194222A Expired - Fee Related JP4457586B2 (ja) | 2002-07-15 | 2003-07-09 | 赤目領域補正方法、赤目領域補正処理プログラム、記録媒体、画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4457586B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100727935B1 (ko) | 2005-05-24 | 2007-06-14 | 삼성전자주식회사 | 이미지 보정 방법 및 장치 |
JP2007072568A (ja) * | 2005-09-05 | 2007-03-22 | Nec Electronics Corp | デバッグ装置及びデバッグ方法 |
US20080212843A1 (en) | 2007-01-10 | 2008-09-04 | Rhoda David K | Pet eye correction |
JP2010178258A (ja) * | 2009-02-02 | 2010-08-12 | Nikon Corp | 画像処理プログラム、画像処理装置、およびカメラ |
JP6458569B2 (ja) | 2015-03-12 | 2019-01-30 | オムロン株式会社 | 画像処理装置および画像処理方法 |
-
2003
- 2003-07-09 JP JP2003194222A patent/JP4457586B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004242272A (ja) | 2004-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8184900B2 (en) | Automatic detection and correction of non-red eye flash defects | |
JP3810776B2 (ja) | ディジタル画像中の赤目を検出し補正する方法 | |
US7747071B2 (en) | Detecting and correcting peteye | |
US8285002B2 (en) | Image processing apparatus and method, image sensing apparatus, and program | |
JP3506958B2 (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
JP4416724B2 (ja) | 画像処理方法およびその装置 | |
KR20040047834A (ko) | 적목현상 부분을 제거하기 위한 이미지 처리 | |
KR20040085220A (ko) | 디지털 이미지의 적목 특징을 검출 및 보정하는 방법 | |
JP2000137788A (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
WO2015070723A1 (zh) | 眼部图像处理方法和装置 | |
JP2005518722A (ja) | デジタル画像における赤目特徴の検出および補正 | |
JPWO2006036027A1 (ja) | 画像処理装置および方法,ならびに画像処理プログラム | |
WO2014133844A1 (en) | Multi-spectral imaging system for shadow detection and attenuation | |
CN110458803A (zh) | 基于彩带校准的帧图像偏色和亮度检测方法及装置 | |
CN102893292B (zh) | 用于补偿眼睛颜色缺陷的方法及装置 | |
JP4457586B2 (ja) | 赤目領域補正方法、赤目領域補正処理プログラム、記録媒体、画像処理装置 | |
CN108399617A (zh) | 一种动物健康状况的检测方法和装置 | |
JPH09261580A (ja) | 画像処理方法 | |
JP4123954B2 (ja) | 赤目領域補正方法、赤目領域補正処理プログラム、画像処理装置 | |
JP2004208132A (ja) | 色不良領域補正方法、色不良領域補正処理プログラム、画像処理装置 | |
JP4269808B2 (ja) | 色不良領域補正方法、色不良領域補正処理プログラム、色領域特定方法、色領域特定処理プログラムおよび画像処理装置 | |
WO2020107196A1 (zh) | 一种对拍摄装置的拍摄质量评测方法、装置及终端设备 | |
JP2010015463A (ja) | 目の位置の検出方法 | |
JP4281541B2 (ja) | 色不良領域補正方法、色不良領域補正処理プログラム、色領域特定方法、色領域特定処理プログラムおよび画像処理装置 | |
JP2007200289A (ja) | 目の位置の検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090109 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100119 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4457586 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130219 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140219 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |