JP4246810B2 - デジタル画像におけるカラー調節 - Google Patents
デジタル画像におけるカラー調節 Download PDFInfo
- Publication number
- JP4246810B2 JP4246810B2 JP15104598A JP15104598A JP4246810B2 JP 4246810 B2 JP4246810 B2 JP 4246810B2 JP 15104598 A JP15104598 A JP 15104598A JP 15104598 A JP15104598 A JP 15104598A JP 4246810 B2 JP4246810 B2 JP 4246810B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- red
- iris
- pixel
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 241000593989 Scardinius erythrophthalmus Species 0.000 claims description 48
- 201000005111 ocular hyperemia Diseases 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 36
- 230000000694 effects Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 6
- 230000004313 glare Effects 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000002845 discoloration Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- ADTDNFFHPRZSOT-PVFUSPOPSA-N ram-330 Chemical compound C([C@H]1N(CC2)C)C3=CC=C(OC)C(OC)=C3[C@]32[C@@]1(O)CC[C@@H](OC(=O)OCC)C3 ADTDNFFHPRZSOT-PVFUSPOPSA-N 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/624—Red-eye correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30216—Redeye defect
Description
【発明の属する技術分野】
本発明は、デジタル画像におけるカラー調節技術に関するものである。
【0002】
【従来の技術】
デジタル画像は、各々がカラーデータのような情報を有する複数個の画素(即ち「ピクセル」からなる行及び列のラスターである。カラーデータは多様なカラー系のいずれかを使用してピクセルカラーを記述する。例えば、RGB(赤−緑−青)系においては、カラーは赤成分、緑成分、青成分の組合わせとして表わされる。従って、1個のピクセルに対するカラーデータはピクセルカラーの赤成分、緑成分、青成分の強度を反映する数値を有している。その他のカラー系はCMYK(シアン−マゼンタ−イエロー−キー)及びHSV(色合い−飽和−値)等があり、それらは同様にそれらの夫々のカラー成分の組合わせとしてカラー即ち色を表わす。
【0003】
ユーザがデジタル画像のカラーを調節することを可能とするアプリケーションが存在している。幾つかのアプリケーションにおいては、ユーザは、例えば既存のカラーデータを所望のカラーデータで置換し、特定したカラー成分を強調又は減少させ、又は既存のカラーデータを別のカラーに対するカラーデータと混合させる等の方法によって1個のピクセルのカラーを手作業によって調節することが可能である。然しながら、ユーザが特定のピクセルを識別し且つ所望のカラーが得られるまでこれらのピクセルのカラーデータを調節することは時間がかかるプロセスとなる場合がある。
【0004】
【発明が解決しようとする課題】
本発明は、以上の点に鑑みなされたものであって、上述した如き従来技術の欠点を解消し、デジタル画像におけるカラーを調節する技術を提供することを目的とする。
【0005】
【課題を解決するための手段】
一般的に、本発明の1側面においては、所定のカラー及び形状特性に対応するオリジナルのカラーデータを持ったデジタル画像のピクセルを識別し且つ所望の結果を得るために該識別したピクセルのオリジナルのカラーデータを調節することによってデジタル画像のピクセルのカラーデータを調節するコンピュータによって実行される方法が提供される。
【0006】
本発明のある実現例では、以下の特徴のうちの1つ又はそれ以上を包含することが可能である。本方法は、ユーザ入力に応答してデジタル画像の一部を画定することを包含しており、その場合にピクセルの識別はユーザが画定した部分内のデジタル画像のピクセルのみを識別する。
【0007】
所定のカラー及び形状特性に対応するオリジナルのカラーデータを持ったデジタル画像のピクセルを識別することは、所定のカラー特性に基づいて且つ所定の形状特性に対応するフィルタを使用してデジタル画像をフィルタする。所定のカラー及び形状特性に対応するオリジナルのカラーデータを持ったデジタル画像のピクセルは、オリジナルのカラーデータに基づいてデジタル画像のピクセルに対するカラーを強調させたデータを作成し、且つ所定のカラー特定に基づいて且つ所定の形状特性に対応するフィルタを使用してデジタル画像に対するカラーを強調したデータをフィルタすることによって識別される。該デジタル画像は、該デジタル画像のピクセルのカラーデータを該フィルタで畳み込むことによってフィルタすることが可能である。
【0008】
本方法は、識別したピクセルが実際に所定のカラー及び形状特性に対応することをユーザ入力に基づいて検証することを包含している。
【0009】
所定のカラー及び形状特性は赤目効果に対応している。識別したピクセルはデジタル画像における目の一部に対応しており、且つ識別したピクセルのオリジナルのカラーデータを調節することは虹彩カラーを決定し、識別したピクセルのオリジナルのカラーデータにおける赤色成分を減少させ、且つオリジナルのカラーデータを虹彩カラーに向かって修正する。虹彩カラーを決定する場合に、赤目効果によって影響される目の虹彩区域に対応するデジタル画像のピクセルを識別し、且つ虹彩ピクセルのカラーデータを評価して虹彩カラーを決定する。虹彩カラーを決定する場合に、別法として、ユーザによって選択することの可能なデフォルトカラーを使用することが可能である。
【0010】
一般的に、本発明の別の側面においては、デジタル画像のピクセルのカラーデータをコンピュータが調節することを可能とするコンピュータによって読取可能な命令を格納するメモリ装置を使用して該コンピュータによって実行される方法を使用することを可能とする。
【0011】
一般的に、本発明の別の側面によれば、デジタル画像のピクセルのカラーデータを調節する装置が提供され、該装置は、画像データを格納する格納媒体を有すると共に、該格納媒体へ動作結合されており且つ該コンピュータによって実行される方法を実行する形態とされているプロセサを有している。
【0012】
本発明の利点としては、以下のようなものがある。本発明はユーザに対して調節されるべきカラー画像のピクセルを識別する。本発明は、識別したピクセルのカラーデータを自動的に調節する。
【0013】
【発明の実施の形態】
デジタル画像における自動的カラー調節は幾つかの状態において望ましいものである。例えば、自動カラー調節は、繰返し発生し且つ識別可能な写真の変色を調節するために所望される場合がある。このような変色の1例は写真においてしばしば発生する「赤目」効果である。図1は目100の自然のカラーを示しており、カラーの付いた虹彩110及び黒色の瞳120を有している。図2は赤目効果を伴った目200を示しており、その場合には、赤色の円形の形状220が虹彩210を少なくとも部分的に(且つ時折完全に)隠しており、且つ典型的に瞳120(図1)全体を隠している。赤目部分220の中心においてしばしば小さな白色の円形状のグレア即ち光っている部分230が表われる。
【0014】
赤目効果の発生はこれらの共通の特徴を共用し、従ってしばしば、赤色でないバックグラウンド210によって取囲まれており白色の中心部230を有する赤色の円形状の区域220によって識別することが可能である。ある場合には、赤色でないバックグラウンド210は図2に示したように虹彩カラーのリングである場合があり、他の場合には赤色の円形区域220が虹彩全体を隠す場合には、赤色でないバックグラウンド210は目の白色部分である場合がある。本発明はこのように識別可能な効果のカラーを自動的に検知し且つ調節する方法を提供している。
【0015】
本発明は特別目的ハードウエア、汎用ハードウエア上で稼動するソフトウエアアプリケーション、又は両者の結合で実現することが可能である。好適には、本発明は、コンピュータシステムにおいて実行されるソフトウエアアプリケーションとして実現される。例えば、本発明は、カリフォルニア州サンノゼのアドビシステムズインコーポレイテッドから入手可能なホトデラックス(Photo Deluxe)(商標)コンピュータプログラムのような画像処理アプリケーションにおけるフィーチャー即ち呼び物として実現することが可能である。
【0016】
図3は適宜のコンピュータシステム300を示しており、それはCPUバス340によって結合されているCPU310、RAM320、I/Oコントローラ330を有している。I/Oコントローラ330は、更に、I/Oバス350によって例えばキーボード360及びマウス370のような入力装置及びモニタ380のような出力装置へ結合されている。
【0017】
図4を参照すると、ユーザがカラー調節用のデジタル画像内におけるエリア即ち区域を選択する(ステップ410)。選択した区域は単に1個の目、2個又はそれ以上の目、又はデジタル画像全体を取囲むことが可能である。区域選択は、例えばユーザが矩形の頂点又はエッジを画定することを可能とするユーザインターフェースを設ける等の種々の方法を使用して実現することが可能である。
【0018】
次いで、画像のユーザが選択した区域内の候補区域が自動的に識別される(ステップ420)。種々の識別方法を使用することが可能である。図5を参照すると、赤目効果を識別する1つの方法は、特定のカラー特性を有するピクセルをより明瞭に区別させるためにデジタル画像のユーザが選択した区域をカラー強調させることである(ステップ421)。赤目効果を識別するためには、該画像内の赤色のカラーを強調させて赤色の円形区域220をより容易に識別させるようにすることが可能である。
【0019】
種々のカラー強調方法を使用することが可能である。デジタル画像がRGBカラー系を使用して画定されている場合には、各ピクセルに対するカラーデータはそのピクセルに対する赤色成分、緑色成分、青色成分を夫々表わす値r,g,bを有している。赤色強調方法は、その赤色成分の相対的強度に基づいて、その選択した区域内の各ピクセルに対して値を割当てることが可能である。
【0020】
例えば、赤色のカラーを有するピクセルはその緑色成分g又は青色成分bの何れかに対するよりもその赤色成分rに対してより大きな値を有し、従ってそのカラーデータがr>k1 g及びr>k2 bの関係を満足するか否かを識別することが可能であり、尚k1 及びk2 は所定の定数である。あるピクセルがこれらの関係を満足するものではない場合には、そのピクセルのカラーは赤色ではないものと判別され、且つそのピクセルに対して0の赤色強調値cr が割当てられる。
【0021】
一方、上述した関係を満足するピクセルの場合には赤色であると判別され、且つ次式に従って赤色強調値cr を計算することが可能である。
【0022】
【数1】
【0023】
尚、avg.intensityは該区域の各ピクセルのr,g,b成分の平均和(合計)として計算したユーザが選択した区域のピクセルの平均強度を表わしている。この式は所望により修正することが可能である。
【0024】
赤色強調値cr に基づいて、赤色効果を示す可能性のある候補区域が識別される。この場合にも種々の方法を使用することが可能である。1つの方法では、赤色強調画像データを図6に示したように畳み込みの計算を行なう(図5のステップ422)。フィルタ600はユーザが選択した画像区域のピクセルに対応するデータビットから構成されており、その場合にフィルタ区域610のデータビットは1の値が割当てられており且つ周りの区域620におけるデータビットには0の値が割当てられている。
【0025】
一般的に、赤目効果によって影響される画像内の区域の寸法、位置及び数は不知である。そのために、デジタル画像のユーザが選択した区域内において種々の寸法のフィルタをテストする。図6に示したようなフィルタを使用して、種々のフィルタと赤色強調させた画像データとの間の内積として畳み込みを計算する。その内積はフィルタと赤色のカラーを有するものとして識別した画像ピクセル(ゼロでない赤色強調させた画像データ)との間の対応性を表わす。
【0026】
再度図5を参照すると、赤目区域に対する候補が畳み込み計算に基づいて識別される(ステップ423)。種々のテストを使用することが可能である。例えば、畳み込み計算が所定のスレッシュホールドを超える場合に赤目区域候補が識別されるものとテストによって判別することが可能である。別のテストでは、畳み込み計算が種々のフィルタ寸法及び位置にわたって最大である場合に赤目候補が識別されたことを判別することが可能である。
【0027】
一方、図4のステップ421−423は、赤色の円形区域(図2における220)ばかりではなく、赤色でないバックグラウンド210を有する赤色の円形区域220を識別するように修正することが可能である。
【0028】
例えば、赤色でないバックグラウンド210に対応する区域内のピクセルは、典型的に、例えば黒色、白色、灰色のシェーディング、茶色又は明るい青色又は緑色等の弱いカラーを有している。RGBで表わされる場合には、弱いカラーは赤色、緑色、青色のカラー成分の各々に対し同様の値を有しており、且つ弱いカラーを有するピクセルはその画像に対し別の組のカラー強調させたデータを派生させることにより(図4のステップ421)強いカラーを有するピクセルから区別することが可能である。例えば、以下のようにしてカラー強調させた値cW をピクセルに割当てることが可能である。
【0029】
【数2】
【0030】
尚、avg.intensityは上に説明した如くに計算される。従って、cWは強いカラーのピクセルに対して比較的大きな値を有しており、且つ弱いカラーのピクセルに対しては比較的小さな値を有している。
【0031】
弱いカラーの強調させたカラーデータ及び図7に示したようなものであって、その場合にはリング720に対応する区域のデータビットが−1の値を有しておりその他の区域710,730においては0の値を有しているようなリング形状をしたフィルタ700の内積は、フィルタ区域720が弱いカラーを有する画像における区域に対応する場合に小さな負の値を有する値を発生し、且つフィルタ区域720がより強いカラーを有する画像内の区域に対応する場合にはより大きな負の値を有する値を発生する。図6のフィルタ600の場合のように、内積は異なる寸法及び位置のフィルタ700を使用して計算される。
【0032】
弱いカラーの付いたバックグラウンド210によって取囲まれている赤色の円形区域220を有する画像における区域を識別するために、2つの内積の和として畳み込みを計算することが可能であり、即ち、(1)その画像に対する赤色を強調させたカラーデータと図6の円形フィルタとの内積、及び(2)その画像に対する弱いカラーを強調させたカラーデータと図7のリング形状フィルタとの内積である。赤目部分は弱いカラーの区域210によって取囲まれている赤目リング220を有するものであることに注意し、畳み込みは対応する寸法及び位置を有するフィルタで計算される。特に、図8に示したように、半径rを有する円形状のフィルタ区域610の場合には、リング形状をしたフィルタ区域720は内側の半径rを有しており且つその中心において円形状のフィルタ区域610が位置されている。
【0033】
この畳み込みがあり得る赤目区域候補を識別するか否かを判別するために種々のテストを使用することが可能である。例えば、候補は、それらの畳み込み計算が最大となるか又は所定のスレッシュホールドを超えるかに基づいて決定することが可能である。
【0034】
再度図4を参照して、赤目区域候補が畳み込みデータに基づいて識別されると(ステップ420)、識別された赤目区域候補が実際に赤目区域に対応するものであるか否かをユーザが検証することを可能とするためにオプションとして付加的な対話的テストを設けることが可能である(ステップ430)。例えば、特定のフィルタに対する畳み込み計算が所定のスレッシュホールドを超える場合には、図6の円形フィルタによって識別された区域に対応するデジタル画像の区域をハイライトさせるためにユーザインターフェースを実行させることが可能であり、且つ表示された区域が赤目効果を示すものであるか否かをユーザが確認することを求めるダイヤログボックスを表示することが可能である。
【0035】
赤目区域が識別されると(且つオプションとして検証されると)(ステップ420及び430)、その区域内のピクセルに対するカラーデータが評価され且つ赤目効果を減少させるために調節させる(ステップ440)。
【0036】
ピクセルデータを変更する特定の方法を変化させることが可能である。例えば、図9を参照すると、虹彩の自然のカラーを決定することが可能であり(ステップ441)且つ赤目効果によって影響されたピクセルを、決定した虹彩カラーに基づいてそれらのカラーデータを変更することによって赤味を減少させるべく修正することが可能である(ステップ442)。
【0037】
図2に示したように、ある場合には、虹彩210が赤目の円形区域220を取囲んでいる。従って、図4のステップ420及び430において識別された赤目区域をすぐ取囲んでいる区域内のピクセルの画像のオリジナルのカラーデータ(該画像のカラー強調したデータではない)を評価して虹彩カラーに対するr:g及びr:bの平均比を決定することが可能である(図9のステップ441)。赤目区域内の各ピクセルのオリジナルのカラーデータを次に識別し、且つピクセルのカラーが赤色であると識別される場合には(強い赤色成分rを有している)、虹彩カラーに対して計算した比を近似させるために(ステップ441)新たな値r′,g′,b′を計算する(ステップ442)。
【0038】
カラーを調節する1つの方法は、全体的な強度(それは、典型的に、赤目区域内において不釣り合いに大きい)を減少させる新たな値r′,g′,b′を決定し且つ以下の1組の方程式を解くことによって虹彩カラーのカラー成分の比を近似させる。
【0039】
r+g+b=k(r′+g′+b′)
r:g =r′:g′
r:b =r′:b′
尚、kは1より小さな定数である。
【0040】
然しながら、ある場合には、赤目の円形区域220は虹彩区域210の殆ど又は全てを隠す場合があり、従って虹彩カラーを適切に識別するために充分な虹彩カラーの付いたピクセルが存在しない場合がある。このような場合には、識別した赤目区域における赤色ピクセルに対してカラーデータを置換させるために使用した虹彩カラー(図9のステップ442)をデフォルトカラーとすることが可能である。例えば、赤目効果は明るい色の目の場合に殆どしばしば発生するので、明るい青色又は灰色のカラーを使用することが可能である。一方、ユーザがデフォルトカラーを設定することを可能とするためのユーザインターフェースを設けることが可能である。別法として、虹彩カラーを識別することが不可能である場合を識別し且つユーザが特定の場合に対して虹彩カラーを特定することを可能とするためのユーザインターフェースを設けることが可能である。ユーザは、例えば、表示されているパレットからカラーを選択するか又は混合するか又は表示したピクセルのカラーを選択することによってカラーを特定することが可能である。
【0041】
上述したように且つ図2に示したように、赤目効果は、典型的に、瞳区域100(図1)を隠す。従って、瞳区域は識別された赤目区域内のピクセルに対して黒っぽいカラーに対するカラーデータを割当てることによって再形成させる(図9のステップ443)。再形成した瞳区域の特定の寸法及び位置は変化する場合がある。例えば、瞳は再形成した虹彩の直径の1/3である直径を有する再形成した虹彩区域内に中心位置決めした円形区域として形成することが可能である。より複雑なアプローチでは、画像内のピクセルの全体的な平均輝度を計算し、且つその寸法が画像面内において検知された光の平均的な量を反映するように瞳を形成させる。
【0042】
赤目効果にとって一般的な付加的な特徴は、図2に示した白い円形状のグレア即ち光った部分230である。グレアを完全に取除くことは画像に対して人工的な様相を与える場合があるが、グレア区域の強度を減少させることが美的な観点から望ましい場合がある(図9のステップ444)。RGBシステムにおいては、グレア区域内のピクセルは高いr,g,bの値を有する識別された赤目区域内の位置によって識別することが可能である。このようなピクセルに対するカラーデータは、例えばr,g,bの値の強度を減少させることによるか、又は該カラーデータを中程度の強度の白色カラーに対する所定の値r′,g′,b′で置換することによる等の種々の方法を使用して修正することが可能である。
【0043】
再度図4を参照すると、赤目調節が完了すると(ステップ440)、選択した区域全体(ステップ410)がフィルタ寸法及び位置の範囲を使用して評価されるまで、ステップ420,430,440を繰返し行なうことが可能である。所望により、終了条件を与えることが可能である。例えば、本発明は、カラー調節に対する所定数の区域のみを識別するために実行することが可能であり、その場合に所定数はデフォルト数とすることが可能であり、又はステップ410において区域を選択する場合にユーザによって特定される数とすることが可能である。その他の実施例は本発明の請求の範囲に含まれるものである。本発明は、その他の認識可能な特徴に対するカラーデータを調節するために実行することが可能である。例えば、3穴パンチした用紙のコピーは穴の位置において暗い円形を有している。本発明は、このような円を有するピクセルを識別し且つこれらのピクセルに対するカラーデータを調節するために実行することが可能である。
【0044】
本発明をRGBカラー系において表わされたカラーデータに対して説明したが、本発明はその他のカラー系について使用することが可能であることは勿論である。
【0045】
種々のフィルタ及び畳み込み関数を必要に応じて設けることが可能である。例えば、図6及び7のフィルタは赤色部分を識別するために組合わせて又は単独で使用することが可能である。更に、付加的なカラー強調を実施することが可能であり且つ畳み込みは赤目リングの中心における白色の円形状のグレアを識別するためにエキストラなフィルタを考慮することが可能である。赤目効果以外の識別可能な効果の場合には、フィルタ及び畳み込み関数を必要に応じて設けることが可能である。
【0046】
以上、本発明の具体的実施の態様について詳細に説明したが、本発明は、これら具体例にのみ限定されるべきものではなく、本発明の技術的範囲を逸脱することなしに種々の変形が可能であることは勿論である。
【図面の簡単な説明】
【図1】 目を示した概略図。
【図2】 目に関する赤色効果を示した概略図。
【図3】 本発明に使用するのに適したコンピュータシステムを示した概略図。
【図4】 本発明に基づいてデジタル画像における赤色効果を最小とするためにカラーを調節する方法のプロセスを示したフローチャート。
【図5】 本発明に基づいてデジタル画像における赤目区域候補を識別するための方法のプロセスを示したフローチャート。
【図6】 デジタル画像における赤目区域候補を識別するための本発明に基づいて使用されるフィルタを示した概略図。
【図7】 デジタル画像における赤目区域候補を識別するための本発明に基づいて使用されるフィルタを示した概略図。
【図8】 デジタル画像における赤目区域候補を識別するための本発明に基づいて使用されるフィルタを示した概略図。
【図9】 本発明に基づいてデジタル画像における識別された赤目区域におけるカラーを調節するための方法のプロセスを示したフローチャート。
【符号の説明】
100 目
110 虹彩
120 瞳
200 目
210 虹彩
220 赤目部分
230 グレア
300 コンピュータシステム
310 CPU
320 RAM
330 I/Oコントローラ
340 CPUバス
350 I/Oバス
360 キーボード
370 マウス
380 モニタ
Claims (10)
- 赤目効果を減少させるためにデジタル画像のピクセルのカラーデータを調節するコンピュータによって実行される方法において、
前記デジタル画像の選択された区域に対して赤色強調処理を行って前記区域内の各ピクセルに赤色強調値を割り当て、
前記赤色強調値を円形フィルタで畳み込みを行って各ピクセルに対して畳み込み値を決定し、
前記畳み込み値が最大値であるか又は所定のスレッシュホールドを超えているピクセルを選択して赤目区域のピクセルを識別し、
前記識別したピクセルのオリジナルのカラーデータを調節して所望の結果を得る、
ものであって、前記識別したピクセルが前記デジタル画像における目の一部に対応しており、且つ前記識別したピクセルのオジリナルのカラーデータを調節する場合に、
虹彩カラーを決定し、
前記識別したピクセルのオリジナルのカラーデータにおける赤色成分を減少させ、
前記オリジナルのカラーデータを前記虹彩カラーに向けて修正する、
ことを特徴とする方法。 - 請求項1において、更に、ユーザ入力に基づいて、前記識別したピクセルが実際に所定のカラー及び形状特性に対応するものであることを検証することを特徴とする方法。
- 請求項1において、前記虹彩カラーを決定する場合に、更に、
赤目効果によって影響される目の虹彩区域に対応するデジタル画像のピクセルを識別し、
虹彩カラーを決定するために虹彩ピクセルのカラーデータを評価する、
ことを特徴とする方法。 - 請求項1において、虹彩カラーを決定する場合に、更に、デフォルトカラーを使用することを特徴とする方法。
- 請求項4において、前記デフォルトカラーがユーザによって選択されることを特徴とする方法。
- コンピュータに、
前記デジタル画像の選択された区域に対して赤色強調処理を行って前記区域内の各ピクセルに赤色強調値を割り当てる手順、
前記赤色強調値を円形フィルタで畳み込みを行って各ピクセルに対して畳み込み値を決定する手順、
前記畳み込み値が最大値であるか又は所定のスレッシュホールドを超えているピクセルを選択して赤目区域のピクセルを識別する手順、
前記識別したピクセルのオリジナルのカラーデータを調節して所望の結果を得る手順、
を実行させるためのデジタル画像のピクセルのカラーデータを調節して赤目効果を減少させるためのプログラムであって、前記識別したピクセルが前記デジタル画像における目の一部に対応しており、且つ前記識別したピクセルのオジリナルのカラーデータを調節する場合に、更に、コンピュータをして、
虹彩カラーを決定する手順、
前記識別したピクセルのオリジナルのカラーデータにおける赤色成分を減少させる手順、
前記オリジナルのカラーデータを前記虹彩カラーに向けて修正する手順、
を実行させる前記プログラムを記録したコンピュータ読み取り可能な記録媒体。 - 請求項6において、更に、コンピュータをして、ユーザ入力に基づいて、前記識別したピクセルが実際に所定のカラー及び形状特性に対応するものであることを検証する手順、を実行させる前記プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項7において、前記虹彩カラーを決定する場合に、更に、コンピュータをして、
赤目効果によって影響される目の虹彩区域に対応するデジタル画像のピクセルを識別する手順、
虹彩カラーを決定するために虹彩ピクセルのカラーデータを評価する手順、
を実行させる前記プログラムを記録したコンピュータ読み取り可能記録媒体。 - 請求項8において、虹彩カラーを決定する場合に、更に、デフォルトカラーを使用する前記プログラムを記録したコンピュータ読み取り可能記録媒体。
- 請求項9において、前記デフォルトカラーがユーザによって選択される前記プログラムを記録したコンピュータ読み取り可能記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/866093 | 1997-05-30 | ||
US08/866,093 US6204858B1 (en) | 1997-05-30 | 1997-05-30 | System and method for adjusting color data of pixels in a digital image |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1173499A JPH1173499A (ja) | 1999-03-16 |
JP4246810B2 true JP4246810B2 (ja) | 2009-04-02 |
Family
ID=25346901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15104598A Expired - Lifetime JP4246810B2 (ja) | 1997-05-30 | 1998-06-01 | デジタル画像におけるカラー調節 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6204858B1 (ja) |
EP (1) | EP0884694A1 (ja) |
JP (1) | JP4246810B2 (ja) |
CA (1) | CA2236910A1 (ja) |
Families Citing this family (87)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7042505B1 (en) | 1997-10-09 | 2006-05-09 | Fotonation Ireland Ltd. | Red-eye filter method and apparatus |
US7352394B1 (en) | 1997-10-09 | 2008-04-01 | Fotonation Vision Limited | Image modification based on red-eye filter analysis |
US7738015B2 (en) * | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
US7630006B2 (en) * | 1997-10-09 | 2009-12-08 | Fotonation Ireland Limited | Detecting red eye filter and apparatus using meta-data |
US6631208B1 (en) * | 1998-05-29 | 2003-10-07 | Fuji Photo Film Co., Ltd. | Image processing method |
JP3590265B2 (ja) * | 1998-06-11 | 2004-11-17 | 富士写真フイルム株式会社 | 画像処理方法 |
US7024035B1 (en) * | 1999-09-07 | 2006-04-04 | Fuji Photo Film Co., Ltd. | Method of setting region to be subjected to red eye correction and red eye correcting method |
JP3961734B2 (ja) * | 1999-12-24 | 2007-08-22 | 富士フイルム株式会社 | 画像処理方法、装置及び記録媒体 |
US6920237B2 (en) * | 2000-12-19 | 2005-07-19 | Eastman Kodak Company | Digital image processing method and computer program product for detecting human irises in an image |
EP1229734A1 (en) * | 2001-01-31 | 2002-08-07 | GRETAG IMAGING Trading AG | Automatic colour defect correction |
US6895112B2 (en) * | 2001-02-13 | 2005-05-17 | Microsoft Corporation | Red-eye detection based on red region detection with eye confirmation |
US6873743B2 (en) * | 2001-03-29 | 2005-03-29 | Fotonation Holdings, Llc | Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances |
US7269303B2 (en) * | 2001-06-04 | 2007-09-11 | Hewlett-Packard Development Company, L.P. | Remote digital image enhancement system and method |
US6980691B2 (en) * | 2001-07-05 | 2005-12-27 | Corel Corporation | Correction of “red-eye” effects in images |
GB2379819B (en) * | 2001-09-14 | 2005-09-07 | Pixology Ltd | Image processing to remove red-eye features |
GB2384639B (en) * | 2002-01-24 | 2005-04-13 | Pixology Ltd | Image processing to remove red-eye features |
AU2003207336A1 (en) * | 2002-02-22 | 2003-09-09 | Pixology Software Limited | Detection and correction of red-eye features in digital images |
US20040114829A1 (en) * | 2002-10-10 | 2004-06-17 | Intelligent System Solutions Corp. | Method and system for detecting and correcting defects in a digital image |
AU2004222927A1 (en) * | 2003-03-19 | 2004-10-07 | Nik Software, Inc. | Selective enhancement of digital images |
US7599524B2 (en) * | 2003-04-04 | 2009-10-06 | Sarnoff Corporation | Method and apparatus for providing a robust object finder |
US7116820B2 (en) | 2003-04-28 | 2006-10-03 | Hewlett-Packard Development Company, Lp. | Detecting and correcting red-eye in a digital image |
US7689009B2 (en) * | 2005-11-18 | 2010-03-30 | Fotonation Vision Ltd. | Two stage detection for photographic eye artifacts |
US8036458B2 (en) * | 2007-11-08 | 2011-10-11 | DigitalOptics Corporation Europe Limited | Detecting redeye defects in digital images |
US8170294B2 (en) * | 2006-11-10 | 2012-05-01 | DigitalOptics Corporation Europe Limited | Method of detecting redeye in a digital image |
US7970182B2 (en) | 2005-11-18 | 2011-06-28 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US7920723B2 (en) * | 2005-11-18 | 2011-04-05 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7536036B2 (en) | 2004-10-28 | 2009-05-19 | Fotonation Vision Limited | Method and apparatus for red-eye detection in an acquired digital image |
US7336821B2 (en) | 2006-02-14 | 2008-02-26 | Fotonation Vision Limited | Automatic detection and correction of non-red eye flash defects |
US7587085B2 (en) * | 2004-10-28 | 2009-09-08 | Fotonation Vision Limited | Method and apparatus for red-eye detection in an acquired digital image |
US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US8254674B2 (en) | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
EP1499111B1 (en) | 2003-07-15 | 2015-01-07 | Canon Kabushiki Kaisha | Image sensiting apparatus, image processing apparatus, and control method thereof |
US20050140801A1 (en) * | 2003-08-05 | 2005-06-30 | Yury Prilutsky | Optimized performance and performance for red-eye filter method and apparatus |
US9412007B2 (en) * | 2003-08-05 | 2016-08-09 | Fotonation Limited | Partial face detector red-eye filter method and apparatus |
US8520093B2 (en) * | 2003-08-05 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Face tracker and partial face tracker for red-eye filter method and apparatus |
US20050031224A1 (en) * | 2003-08-05 | 2005-02-10 | Yury Prilutsky | Detecting red eye filter and apparatus using meta-data |
US6912298B1 (en) | 2003-08-11 | 2005-06-28 | Adobe Systems Incorporation | Object detection using dynamic probability scans |
US7664322B1 (en) * | 2003-08-11 | 2010-02-16 | Adobe Systems Incorporated | Feature-based color adjustment |
US8462244B2 (en) * | 2003-08-27 | 2013-06-11 | Hewlett-Packard Development Company, L.P. | Adaptively reading one or more but fewer than all pixels of image sensor |
EP1517542B1 (en) * | 2003-09-01 | 2010-11-10 | Samsung Electronics Co., Ltd. | Method and apparatus for adjusting colors of an image |
US7310443B1 (en) * | 2003-09-17 | 2007-12-18 | Sonic Solutions, Inc. | Automatic red eye detection and correction in digital images |
US7835572B2 (en) * | 2003-09-30 | 2010-11-16 | Sharp Laboratories Of America, Inc. | Red eye reduction technique |
US7412105B2 (en) * | 2003-10-03 | 2008-08-12 | Adobe Systems Incorporated | Tone selective adjustment of images |
US7466868B2 (en) * | 2003-10-03 | 2008-12-16 | Adobe Systems Incorporated | Determining parameters for adjusting images |
US7071948B2 (en) * | 2003-10-21 | 2006-07-04 | Adobe Systems Incorporated | Adjusting images based on previous modifications |
US20110102643A1 (en) * | 2004-02-04 | 2011-05-05 | Tessera Technologies Ireland Limited | Partial Face Detector Red-Eye Filter Method and Apparatus |
JP4505362B2 (ja) * | 2004-03-30 | 2010-07-21 | 富士フイルム株式会社 | 赤目検出装置および方法並びにプログラム |
US7852377B2 (en) * | 2004-04-16 | 2010-12-14 | Arcsoft, Inc. | Automatic red eye removal |
US7403654B2 (en) * | 2004-10-04 | 2008-07-22 | Arcsoft, Inc. | Enhanced automatic red eye removal |
JP4901229B2 (ja) * | 2005-03-11 | 2012-03-21 | 富士フイルム株式会社 | 赤目検出方法および装置並びにプログラム |
GB0510793D0 (en) * | 2005-05-26 | 2005-06-29 | Bourbay Ltd | Segmentation of digital images |
US7599577B2 (en) * | 2005-11-18 | 2009-10-06 | Fotonation Vision Limited | Method and apparatus of correcting hybrid flash artifacts in digital images |
EP2033142B1 (en) | 2006-06-12 | 2011-01-26 | Tessera Technologies Ireland Limited | Advances in extending the aam techniques from grayscale to color images |
KR100857463B1 (ko) | 2006-11-17 | 2008-09-08 | 주식회사신도리코 | 포토프린팅을 위한 얼굴영역 검출장치 및 보정 방법 |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
JP2010520567A (ja) * | 2007-03-05 | 2010-06-10 | フォトネーション ビジョン リミテッド | 顔の位置および向きを用いた赤目の誤検出フィルタリング |
US8503818B2 (en) | 2007-09-25 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Eye defect detection in international standards organization images |
DE102007055924B4 (de) * | 2007-12-21 | 2009-11-26 | Carl Zeiss Surgical Gmbh | Verfahren zur Ermittlung charakteristischer Eigenschaften und/oder der Position charakteristischer Augenbestandteile |
US8662667B2 (en) * | 2007-12-21 | 2014-03-04 | Carl Zeiss Meditec Ag | Ophthalmologic visualization system |
US8212864B2 (en) * | 2008-01-30 | 2012-07-03 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for using image acquisition data to detect and correct image defects |
US8081254B2 (en) * | 2008-08-14 | 2011-12-20 | DigitalOptics Corporation Europe Limited | In-camera based method of detecting defect eye with high accuracy |
US8295593B2 (en) * | 2009-01-07 | 2012-10-23 | Seiko Epson Corporation | Method of detecting red-eye objects in digital images using color, structural, and geometric characteristics |
US8308298B2 (en) * | 2009-06-24 | 2012-11-13 | Carl Zeiss Meditec Ag | Microscopy system for eye surgery |
DE102009033931B4 (de) * | 2009-07-20 | 2016-03-10 | Carl Zeiss Meditec Ag | Verfahren zur Ermittlung einer Größenveränderung und/oder Positionsveränderung eines ringförmigen Bestandteils eines Auges in einem Abbild |
US8837785B2 (en) | 2011-03-21 | 2014-09-16 | Apple Inc. | Red-eye removal using multiple recognition channels |
US8837822B2 (en) | 2011-03-21 | 2014-09-16 | Apple Inc. | Red-eye removal using multiple recognition channels |
US8837827B2 (en) | 2011-03-21 | 2014-09-16 | Apple Inc. | Red-eye removal using multiple recognition channels |
US8818091B2 (en) | 2011-03-21 | 2014-08-26 | Apple Inc. | Red-eye removal using multiple recognition channels |
US8786735B2 (en) | 2011-03-21 | 2014-07-22 | Apple Inc. | Red-eye removal using multiple recognition channels |
US8811683B2 (en) | 2011-06-02 | 2014-08-19 | Apple Inc. | Automatic red-eye repair using multiple recognition channels |
TWI486063B (zh) * | 2012-03-09 | 2015-05-21 | Altek Corp | 車牌攝像裝置及其影像白平衡調整方法 |
CN103310500A (zh) * | 2012-03-09 | 2013-09-18 | 华晶科技股份有限公司 | 车牌摄像装置及其影像白平衡调整方法 |
FR3008814B1 (fr) | 2013-07-18 | 2016-12-23 | Allegorithmic | Systeme et procede de generation de textures procedurales a l'aide de particules |
FR3008815B1 (fr) | 2013-07-18 | 2017-02-24 | Allegorithmic | Systeme et procede de generation de textures procedurales sur un objet |
US20150161078A1 (en) * | 2013-12-10 | 2015-06-11 | International Business Machines Corporation | Content management |
US9504925B2 (en) | 2014-02-14 | 2016-11-29 | Right Foot Llc | Doll or action figure with facial features customized to a particular individual |
US20150234942A1 (en) * | 2014-02-14 | 2015-08-20 | Possibility Place, Llc | Method of making a mask with customized facial features |
FR3024916B1 (fr) | 2014-08-14 | 2017-11-24 | Allegorithmic | Systeme et procede de parametrage colorimetrique et geometrique de textures procedurales sur un objet |
JP2017530476A (ja) | 2014-09-24 | 2017-10-12 | プリンストン・アイデンティティー・インコーポレーテッド | バイオメトリックキーを用いたモバイルデバイスにおけるワイヤレス通信デバイス機能の制御 |
US10484584B2 (en) | 2014-12-03 | 2019-11-19 | Princeton Identity, Inc. | System and method for mobile device biometric add-on |
US9830708B1 (en) * | 2015-10-15 | 2017-11-28 | Snap Inc. | Image segmentation of a video stream |
EP3403217A4 (en) | 2016-01-12 | 2019-08-21 | Princeton Identity, Inc. | SYSTEMS AND METHODS FOR BIOMETRIC ANALYSIS |
WO2017172695A1 (en) | 2016-03-31 | 2017-10-05 | Princeton Identity, Inc. | Systems and methods of biometric anaysis with adaptive trigger |
US10366296B2 (en) | 2016-03-31 | 2019-07-30 | Princeton Identity, Inc. | Biometric enrollment systems and methods |
WO2018187337A1 (en) | 2017-04-04 | 2018-10-11 | Princeton Identity, Inc. | Z-dimension user feedback biometric system |
KR102573482B1 (ko) | 2017-07-26 | 2023-08-31 | 프린스톤 아이덴티티, 인크. | 생체 보안 시스템 및 방법 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5701519A (en) * | 1988-03-16 | 1997-12-23 | Nikon Corporation | Control device for preventing red-eye effect on camera |
GB2238928B (en) * | 1989-09-05 | 1994-06-08 | Canon Kk | Image data converting method and image processing apparatus |
US5130789A (en) | 1989-12-13 | 1992-07-14 | Eastman Kodak Company | Localized image recoloring using ellipsoid boundary function |
US5202935A (en) | 1990-10-19 | 1993-04-13 | Matsushita Electric Industrial Co., Ltd. | Color conversion apparatus for altering color values within selected regions of a reproduced picture |
FR2674354A1 (fr) * | 1991-03-22 | 1992-09-25 | Thomson Csf | Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles. |
JP3191266B2 (ja) * | 1991-09-17 | 2001-07-23 | 株式会社日立製作所 | イメージシミュレーションシステム |
FR2681967B1 (fr) * | 1991-10-01 | 1994-11-25 | Electronics For Imaging Inc | Procede et appareil pour modifier les couleurs d'une image a l'aide d'un ordinateur. |
US5270806A (en) * | 1991-10-07 | 1993-12-14 | Xerox Corporation | Image editing system and method having improved multi-dimensional editing controls |
US5432863A (en) * | 1993-07-19 | 1995-07-11 | Eastman Kodak Company | Automated detection and correction of eye color defects due to flash illumination |
EP0693852A3 (en) | 1994-07-22 | 1997-05-28 | Eastman Kodak Co | Method and apparatus for applying a function to a localized domain of a digital image using a window |
-
1997
- 1997-05-30 US US08/866,093 patent/US6204858B1/en not_active Expired - Lifetime
-
1998
- 1998-04-30 EP EP98303400A patent/EP0884694A1/en not_active Withdrawn
- 1998-05-06 CA CA002236910A patent/CA2236910A1/en not_active Abandoned
- 1998-06-01 JP JP15104598A patent/JP4246810B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH1173499A (ja) | 1999-03-16 |
CA2236910A1 (en) | 1998-11-30 |
EP0884694A1 (en) | 1998-12-16 |
US6204858B1 (en) | 2001-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4246810B2 (ja) | デジタル画像におけるカラー調節 | |
US9786031B2 (en) | Distortion of digital images using spatial offsets from image reference points | |
US6980691B2 (en) | Correction of “red-eye” effects in images | |
US6148113A (en) | System for stimulating the depth of field of an image in two dimensional space and method of operation | |
US6728401B1 (en) | Red-eye removal using color image processing | |
GB2385736A (en) | Detection of red eye features in digital images by determination of the profile of image pixel values along a row of values | |
US20080049970A1 (en) | Automatic detection and correction of non-red eye flash defects | |
JP2004326805A (ja) | ディジタル画像中の赤目を検出し補正する方法 | |
JP2005518722A (ja) | デジタル画像における赤目特徴の検出および補正 | |
CA2306593A1 (en) | Smart erasure brush | |
KR20040047834A (ko) | 적목현상 부분을 제거하기 위한 이미지 처리 | |
JP4445026B2 (ja) | 画像処理方法および装置並びにプログラム | |
JP2004208132A (ja) | 色不良領域補正方法、色不良領域補正処理プログラム、画像処理装置 | |
JP2009070103A (ja) | 画像処理装置および画像処理方法 | |
CA2768909C (en) | User definable image reference points | |
JP4586963B2 (ja) | 自動瞳補正方法 | |
CN117522802A (zh) | 视网膜图像预处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071009 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071225 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071228 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080206 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080212 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080310 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080402 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080903 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081209 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090109 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |