JPH1173499A - デジタル画像におけるカラー調節 - Google Patents

デジタル画像におけるカラー調節

Info

Publication number
JPH1173499A
JPH1173499A JP10151045A JP15104598A JPH1173499A JP H1173499 A JPH1173499 A JP H1173499A JP 10151045 A JP10151045 A JP 10151045A JP 15104598 A JP15104598 A JP 15104598A JP H1173499 A JPH1173499 A JP H1173499A
Authority
JP
Japan
Prior art keywords
color
digital image
pixels
red
color data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10151045A
Other languages
English (en)
Other versions
JP4246810B2 (ja
Inventor
Naresh Gupta
グプタ ナレッシュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of JPH1173499A publication Critical patent/JPH1173499A/ja
Application granted granted Critical
Publication of JP4246810B2 publication Critical patent/JP4246810B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/624Red-eye correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30216Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Or Creating Images (AREA)
  • Processing Of Color Television Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 デジタル画像におけるカラーを調節する技術
を提供する。 【解決手段】 本発明によれば、所定のカラー及び形状
特性に対応するオリジナルのカラーデータを持ったデジ
タル画像のピクセルを識別し且つ所望の結果を得るため
に識別したピクセルのオリジナルのカラーデータを調節
することによってデジタル画像のピクセルのカラーデー
タを調節する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、デジタル画像にお
けるカラー調節技術に関するものである。
【0002】
【従来の技術】デジタル画像は、各々がカラーデータの
ような情報を有する複数個の画素(即ち「ピクセル」か
らなる行及び列のラスターである。カラーデータは多様
なカラー系のいずれかを使用してピクセルカラーを記述
する。例えば、RGB(赤−緑−青)系においては、カ
ラーは赤成分、緑成分、青成分の組合わせとして表わさ
れる。従って、1個のピクセルに対するカラーデータは
ピクセルカラーの赤成分、緑成分、青成分の強度を反映
する数値を有している。その他のカラー系はCMYK
(シアン−マゼンタ−イエロー−キー)及びHSV(色
合い−飽和−値)等があり、それらは同様にそれらの夫
々のカラー成分の組合わせとしてカラー即ち色を表わ
す。
【0003】ユーザがデジタル画像のカラーを調節する
ことを可能とするアプリケーションが存在している。幾
つかのアプリケーションにおいては、ユーザは、例えば
既存のカラーデータを所望のカラーデータで置換し、特
定したカラー成分を強調又は減少させ、又は既存のカラ
ーデータを別のカラーに対するカラーデータと混合させ
る等の方法によって1個のピクセルのカラーを手作業に
よって調節することが可能である。然しながら、ユーザ
が特定のピクセルを識別し且つ所望のカラーが得られる
までこれらのピクセルのカラーデータを調節することは
時間がかかるプロセスとなる場合がある。
【0004】
【発明が解決しようとする課題】本発明は、以上の点に
鑑みなされたものであって、上述した如き従来技術の欠
点を解消し、デジタル画像におけるカラーを調節する技
術を提供することを目的とする。
【0005】
【課題を解決するための手段】一般的に、本発明の1側
面においては、所定のカラー及び形状特性に対応するオ
リジナルのカラーデータを持ったデジタル画像のピクセ
ルを識別し且つ所望の結果を得るために該識別したピク
セルのオリジナルのカラーデータを調節することによっ
てデジタル画像のピクセルのカラーデータを調節するコ
ンピュータによって実行される方法が提供される。
【0006】本発明のある実現例では、以下の特徴のう
ちの1つ又はそれ以上を包含することが可能である。本
方法は、ユーザ入力に応答してデジタル画像の一部を画
定することを包含しており、その場合にピクセルの識別
はユーザが画定した部分内のデジタル画像のピクセルの
みを識別する。
【0007】所定のカラー及び形状特性に対応するオリ
ジナルのカラーデータを持ったデジタル画像のピクセル
を識別することは、所定のカラー特性に基づいて且つ所
定の形状特性に対応するフィルタを使用してデジタル画
像をフィルタする。所定のカラー及び形状特性に対応す
るオリジナルのカラーデータを持ったデジタル画像のピ
クセルは、オリジナルのカラーデータに基づいてデジタ
ル画像のピクセルに対するカラーを強調させたデータを
作成し、且つ所定のカラー特定に基づいて且つ所定の形
状特性に対応するフィルタを使用してデジタル画像に対
するカラーを強調したデータをフィルタすることによっ
て識別される。該デジタル画像は、該デジタル画像のピ
クセルのカラーデータを該フィルタで畳み込むことによ
ってフィルタすることが可能である。
【0008】本方法は、識別したピクセルが実際に所定
のカラー及び形状特性に対応することをユーザ入力に基
づいて検証することを包含している。
【0009】所定のカラー及び形状特性は赤目効果に対
応している。識別したピクセルはデジタル画像における
目の一部に対応しており、且つ識別したピクセルのオリ
ジナルのカラーデータを調節することは虹彩カラーを決
定し、識別したピクセルのオリジナルのカラーデータに
おける赤色成分を減少させ、且つオリジナルのカラーデ
ータを虹彩カラーに向かって修正する。虹彩カラーを決
定する場合に、赤目効果によって影響される目の虹彩区
域に対応するデジタル画像のピクセルを識別し、且つ虹
彩ピクセルのカラーデータを評価して虹彩カラーを決定
する。虹彩カラーを決定する場合に、別法として、ユー
ザによって選択することの可能なデフォルトカラーを使
用することが可能である。
【0010】一般的に、本発明の別の側面においては、
デジタル画像のピクセルのカラーデータをコンピュータ
が調節することを可能とするコンピュータによって読取
可能な命令を格納するメモリ装置を使用して該コンピュ
ータによって実行される方法を使用することを可能とす
る。
【0011】一般的に、本発明の別の側面によれば、デ
ジタル画像のピクセルのカラーデータを調節する装置が
提供され、該装置は、画像データを格納する格納媒体を
有すると共に、該格納媒体へ動作結合されており且つ該
コンピュータによって実行される方法を実行する形態と
されているプロセサを有している。
【0012】本発明の利点としては、以下のようなもの
がある。本発明はユーザに対して調節されるべきカラー
画像のピクセルを識別する。本発明は、識別したピクセ
ルのカラーデータを自動的に調節する。
【0013】
【発明の実施の形態】デジタル画像における自動的カラ
ー調節は幾つかの状態において望ましいものである。例
えば、自動カラー調節は、繰返し発生し且つ識別可能な
写真の変色を調節するために所望される場合がある。こ
のような変色の1例は写真においてしばしば発生する
「赤目」効果である。図1は目100の自然のカラーを
示しており、カラーの付いた虹彩110及び黒色の瞳1
20を有している。図2は赤目効果を伴った目200を
示しており、その場合には、赤色の円形の形状220が
虹彩210を少なくとも部分的に(且つ時折完全に)隠
しており、且つ典型的に瞳120(図1)全体を隠して
いる。赤目部分220の中心においてしばしば小さな白
色の円形状のグレア即ち光っている部分230が表われ
る。
【0014】赤目効果の発生はこれらの共通の特徴を共
用し、従ってしばしば、赤色でないバックグラウンド2
10によって取囲まれており白色の中心部230を有す
る赤色の円形状の区域220によって識別することが可
能である。ある場合には、赤色でないバックグラウンド
210は図2に示したように虹彩カラーのリングである
場合があり、他の場合には赤色の円形区域220が虹彩
全体を隠す場合には、赤色でないバックグラウンド21
0は目の白色部分である場合がある。本発明はこのよう
に識別可能な効果のカラーを自動的に検知し且つ調節す
る方法を提供している。
【0015】本発明は特別目的ハードウエア、汎用ハー
ドウエア上で稼動するソフトウエアアプリケーション、
又は両者の結合で実現することが可能である。好適に
は、本発明は、コンピュータシステムにおいて実行され
るソフトウエアアプリケーションとして実現される。例
えば、本発明は、カリフォルニア州サンノゼのアドビシ
ステムズインコーポレイテッドから入手可能なホトデラ
ックス(Photo Deluxe)(商標)コンピュ
ータプログラムのような画像処理アプリケーションにお
けるフィーチャー即ち呼び物として実現することが可能
である。
【0016】図3は適宜のコンピュータシステム300
を示しており、それはCPUバス340によって結合さ
れているCPU310、RAM320、I/Oコントロ
ーラ330を有している。I/Oコントローラ330
は、更に、I/Oバス350によって例えばキーボード
360及びマウス370のような入力装置及びモニタ3
80のような出力装置へ結合されている。
【0017】図4を参照すると、ユーザがカラー調節用
のデジタル画像内におけるエリア即ち区域を選択する
(ステップ410)。選択した区域は単に1個の目、2
個又はそれ以上の目、又はデジタル画像全体を取囲むこ
とが可能である。区域選択は、例えばユーザが矩形の頂
点又はエッジを画定することを可能とするユーザインタ
ーフェースを設ける等の種々の方法を使用して実現する
ことが可能である。
【0018】次いで、画像のユーザが選択した区域内の
候補区域が自動的に識別される(ステップ420)。種
々の識別方法を使用することが可能である。図5を参照
すると、赤目効果を識別する1つの方法は、特定のカラ
ー特性を有するピクセルをより明瞭に区別させるために
デジタル画像のユーザが選択した区域をカラー強調させ
ることである(ステップ421)。赤目効果を識別する
ためには、該画像内の赤色のカラーを強調させて赤色の
円形区域220をより容易に識別させるようにすること
が可能である。
【0019】種々のカラー強調方法を使用することが可
能である。デジタル画像がRGBカラー系を使用して画
定されている場合には、各ピクセルに対するカラーデー
タはそのピクセルに対する赤色成分、緑色成分、青色成
分を夫々表わす値r,g,bを有している。赤色強調方
法は、その赤色成分の相対的強度に基づいて、その選択
した区域内の各ピクセルに対して値を割当てることが可
能である。
【0020】例えば、赤色のカラーを有するピクセルは
その緑色成分g又は青色成分bの何れかに対するよりも
その赤色成分rに対してより大きな値を有し、従ってそ
のカラーデータがr>k1 g及びr>k2 bの関係を満
足するか否かを識別することが可能であり、尚k1 及び
2 は所定の定数である。あるピクセルがこれらの関係
を満足するものではない場合には、そのピクセルのカラ
ーは赤色ではないものと判別され、且つそのピクセルに
対して0の赤色強調値cr が割当てられる。
【0021】一方、上述した関係を満足するピクセルの
場合には赤色であると判別され、且つ次式に従って赤色
強調値cr を計算することが可能である。
【0022】
【数1】
【0023】尚、avg.intensityは該区域
の各ピクセルのr,g,b成分の平均和(合計)として
計算したユーザが選択した区域のピクセルの平均強度を
表わしている。この式は所望により修正することが可能
である。
【0024】赤色強調値cr に基づいて、赤色効果を示
す可能性のある候補区域が識別される。この場合にも種
々の方法を使用することが可能である。1つの方法で
は、赤色強調画像データを図6に示したように畳み込み
の計算を行なう(図5のステップ422)。フィルタ6
00はユーザが選択した画像区域のピクセルに対応する
データビットから構成されており、その場合にフィルタ
区域610のデータビットは1の値が割当てられており
且つ周りの区域620におけるデータビットには0の値
が割当てられている。
【0025】一般的に、赤目効果によって影響される画
像内の区域の寸法、位置及び数は不知である。そのため
に、デジタル画像のユーザが選択した区域内において種
々の寸法のフィルタをテストする。図6に示したような
フィルタを使用して、種々のフィルタと赤色強調させた
画像データとの間の内積として畳み込みを計算する。そ
の内積はフィルタと赤色のカラーを有するものとして識
別した画像ピクセル(ゼロでない赤色強調させた画像デ
ータ)との間の対応性を表わす。
【0026】再度図5を参照すると、赤目区域に対する
候補が畳み込み計算に基づいて識別される(ステップ4
23)。種々のテストを使用することが可能である。例
えば、畳み込み計算が所定のスレッシュホールドを超え
る場合に赤目区域候補が識別されるものとテストによっ
て判別することが可能である。別のテストでは、畳み込
み計算が種々のフィルタ寸法及び位置にわたって最大で
ある場合に赤目候補が識別されたことを判別することが
可能である。
【0027】一方、図4のステップ421−423は、
赤色の円形区域(図2における220)ばかりではな
く、赤色でないバックグラウンド210を有する赤色の
円形区域220を識別するように修正することが可能で
ある。
【0028】例えば、赤色でないバックグラウンド21
0に対応する区域内のピクセルは、典型的に、例えば黒
色、白色、灰色のシェーディング、茶色又は明るい青色
又は緑色等の弱いカラーを有している。RGBで表わさ
れる場合には、弱いカラーは赤色、緑色、青色のカラー
成分の各々に対し同様の値を有しており、且つ弱いカラ
ーを有するピクセルはその画像に対し別の組のカラー強
調させたデータを派生させることにより(図4のステッ
プ421)強いカラーを有するピクセルから区別するこ
とが可能である。例えば、以下のようにしてカラー強調
させた値cW をピクセルに割当てることが可能である。
【0029】
【数2】
【0030】尚、avg.intensityは上に説
明した如くに計算される。従って、cWは強いカラーの
ピクセルに対して比較的大きな値を有しており、且つ弱
いカラーのピクセルに対しては比較的小さな値を有して
いる。
【0031】弱いカラーの強調させたカラーデータ及び
図7に示したようなものであって、その場合にはリング
720に対応する区域のデータビットが−1の値を有し
ておりその他の区域710,730においては0の値を
有しているようなリング形状をしたフィルタ700の内
積は、フィルタ区域720が弱いカラーを有する画像に
おける区域に対応する場合に小さな負の値を有する値を
発生し、且つフィルタ区域720がより強いカラーを有
する画像内の区域に対応する場合にはより大きな負の値
を有する値を発生する。図6のフィルタ600の場合の
ように、内積は異なる寸法及び位置のフィルタ700を
使用して計算される。
【0032】弱いカラーの付いたバックグラウンド21
0によって取囲まれている赤色の円形区域220を有す
る画像における区域を識別するために、2つの内積の和
として畳み込みを計算することが可能であり、即ち、
(1)その画像に対する赤色を強調させたカラーデータ
と図6の円形フィルタとの内積、及び(2)その画像に
対する弱いカラーを強調させたカラーデータと図7のリ
ング形状フィルタとの内積である。赤目部分は弱いカラ
ーの区域210によって取囲まれている赤目リング22
0を有するものであることに注意し、畳み込みは対応す
る寸法及び位置を有するフィルタで計算される。特に、
図8に示したように、半径rを有する円形状のフィルタ
区域610の場合には、リング形状をしたフィルタ区域
720は内側の半径rを有しており且つその中心におい
て円形状のフィルタ区域610が位置されている。
【0033】この畳み込みがあり得る赤目区域候補を識
別するか否かを判別するために種々のテストを使用する
ことが可能である。例えば、候補は、それらの畳み込み
計算が最大となるか又は所定のスレッシュホールドを超
えるかに基づいて決定することが可能である。
【0034】再度図4を参照して、赤目区域候補が畳み
込みデータに基づいて識別されると(ステップ42
0)、識別された赤目区域候補が実際に赤目区域に対応
するものであるか否かをユーザが検証することを可能と
するためにオプションとして付加的な対話的テストを設
けることが可能である(ステップ430)。例えば、特
定のフィルタに対する畳み込み計算が所定のスレッシュ
ホールドを超える場合には、図6の円形フィルタによっ
て識別された区域に対応するデジタル画像の区域をハイ
ライトさせるためにユーザインターフェースを実行させ
ることが可能であり、且つ表示された区域が赤目効果を
示すものであるか否かをユーザが確認することを求める
ダイヤログボックスを表示することが可能である。
【0035】赤目区域が識別されると(且つオプション
として検証されると)(ステップ420及び430)、
その区域内のピクセルに対するカラーデータが評価され
且つ赤目効果を減少させるために調節させる(ステップ
440)。
【0036】ピクセルデータを変更する特定の方法を変
化させることが可能である。例えば、図9を参照する
と、虹彩の自然のカラーを決定することが可能であり
(ステップ441)且つ赤目効果によって影響されたピ
クセルを、決定した虹彩カラーに基づいてそれらのカラ
ーデータを変更することによって赤味を減少させるべく
修正することが可能である(ステップ442)。
【0037】図2に示したように、ある場合には、虹彩
210が赤目の円形区域220を取囲んでいる。従っ
て、図4のステップ420及び430において識別され
た赤目区域をすぐ取囲んでいる区域内のピクセルの画像
のオリジナルのカラーデータ(該画像のカラー強調した
データではない)を評価して虹彩カラーに対するr:g
及びr:bの平均比を決定することが可能である(図9
のステップ441)。赤目区域内の各ピクセルのオリジ
ナルのカラーデータを次に識別し、且つピクセルのカラ
ーが赤色であると識別される場合には(強い赤色成分r
を有している)、虹彩カラーに対して計算した比を近似
させるために(ステップ441)新たな値r′,g′,
b′を計算する(ステップ442)。
【0038】カラーを調節する1つの方法は、全体的な
強度(それは、典型的に、赤目区域内において不釣り合
いに大きい)を減少させる新たな値r′,g′,b′を
決定し且つ以下の1組の方程式を解くことによって虹彩
カラーのカラー成分の比を近似させる。
【0039】 r+g+b=k(r′+g′+b′) r:g =r′:g′ r:b =r′:b′ 尚、kは1より小さな定数である。
【0040】然しながら、ある場合には、赤目の円形区
域220は虹彩区域210の殆ど又は全てを隠す場合が
あり、従って虹彩カラーを適切に識別するために充分な
虹彩カラーの付いたピクセルが存在しない場合がある。
このような場合には、識別した赤目区域における赤色ピ
クセルに対してカラーデータを置換させるために使用し
た虹彩カラー(図9のステップ442)をデフォルトカ
ラーとすることが可能である。例えば、赤目効果は明る
い色の目の場合に殆どしばしば発生するので、明るい青
色又は灰色のカラーを使用することが可能である。一
方、ユーザがデフォルトカラーを設定することを可能と
するためのユーザインターフェースを設けることが可能
である。別法として、虹彩カラーを識別することが不可
能である場合を識別し且つユーザが特定の場合に対して
虹彩カラーを特定することを可能とするためのユーザイ
ンターフェースを設けることが可能である。ユーザは、
例えば、表示されているパレットからカラーを選択する
か又は混合するか又は表示したピクセルのカラーを選択
することによってカラーを特定することが可能である。
【0041】上述したように且つ図2に示したように、
赤目効果は、典型的に、瞳区域100(図1)を隠す。
従って、瞳区域は識別された赤目区域内のピクセルに対
して黒っぽいカラーに対するカラーデータを割当てるこ
とによって再形成させる(図9のステップ443)。再
形成した瞳区域の特定の寸法及び位置は変化する場合が
ある。例えば、瞳は再形成した虹彩の直径の1/3であ
る直径を有する再形成した虹彩区域内に中心位置決めし
た円形区域として形成することが可能である。より複雑
なアプローチでは、画像内のピクセルの全体的な平均輝
度を計算し、且つその寸法が画像面内において検知され
た光の平均的な量を反映するように瞳を形成させる。
【0042】赤目効果にとって一般的な付加的な特徴
は、図2に示した白い円形状のグレア即ち光った部分2
30である。グレアを完全に取除くことは画像に対して
人工的な様相を与える場合があるが、グレア区域の強度
を減少させることが美的な観点から望ましい場合がある
(図9のステップ444)。RGBシステムにおいて
は、グレア区域内のピクセルは高いr,g,bの値を有
する識別された赤目区域内の位置によって識別すること
が可能である。このようなピクセルに対するカラーデー
タは、例えばr,g,bの値の強度を減少させることに
よるか、又は該カラーデータを中程度の強度の白色カラ
ーに対する所定の値r′,g′,b′で置換することに
よる等の種々の方法を使用して修正することが可能であ
る。
【0043】再度図4を参照すると、赤目調節が完了す
ると(ステップ440)、選択した区域全体(ステップ
410)がフィルタ寸法及び位置の範囲を使用して評価
されるまで、ステップ420,430,440を繰返し
行なうことが可能である。所望により、終了条件を与え
ることが可能である。例えば、本発明は、カラー調節に
対する所定数の区域のみを識別するために実行すること
が可能であり、その場合に所定数はデフォルト数とする
ことが可能であり、又はステップ410において区域を
選択する場合にユーザによって特定される数とすること
が可能である。その他の実施例は本発明の請求の範囲に
含まれるものである。本発明は、その他の認識可能な特
徴に対するカラーデータを調節するために実行すること
が可能である。例えば、3穴パンチした用紙のコピーは
穴の位置において暗い円形を有している。本発明は、こ
のような円を有するピクセルを識別し且つこれらのピク
セルに対するカラーデータを調節するために実行するこ
とが可能である。
【0044】本発明をRGBカラー系において表わされ
たカラーデータに対して説明したが、本発明はその他の
カラー系について使用することが可能であることは勿論
である。
【0045】種々のフィルタ及び畳み込み関数を必要に
応じて設けることが可能である。例えば、図6及び7の
フィルタは赤色部分を識別するために組合わせて又は単
独で使用することが可能である。更に、付加的なカラー
強調を実施することが可能であり且つ畳み込みは赤目リ
ングの中心における白色の円形状のグレアを識別するた
めにエキストラなフィルタを考慮することが可能であ
る。赤目効果以外の識別可能な効果の場合には、フィル
タ及び畳み込み関数を必要に応じて設けることが可能で
ある。
【0046】以上、本発明の具体的実施の態様について
詳細に説明したが、本発明は、これら具体例にのみ限定
されるべきものではなく、本発明の技術的範囲を逸脱す
ることなしに種々の変形が可能であることは勿論であ
る。
【図面の簡単な説明】
【図1】 目を示した概略図。
【図2】 目に関する赤色効果を示した概略図。
【図3】 本発明に使用するのに適したコンピュータシ
ステムを示した概略図。
【図4】 本発明に基づいてデジタル画像における赤色
効果を最小とするためにカラーを調節する方法のプロセ
スを示したフローチャート。
【図5】 本発明に基づいてデジタル画像における赤目
区域候補を識別するための方法のプロセスを示したフロ
ーチャート。
【図6】 デジタル画像における赤目区域候補を識別す
るための本発明に基づいて使用されるフィルタを示した
概略図。
【図7】 デジタル画像における赤目区域候補を識別す
るための本発明に基づいて使用されるフィルタを示した
概略図。
【図8】 デジタル画像における赤目区域候補を識別す
るための本発明に基づいて使用されるフィルタを示した
概略図。
【図9】 本発明に基づいてデジタル画像における識別
された赤目区域におけるカラーを調節するための方法の
プロセスを示したフローチャート。
【符号の説明】
100 目 110 虹彩 120 瞳 200 目 210 虹彩 220 赤目部分 230 グレア 300 コンピュータシステム 310 CPU 320 RAM 330 I/Oコントローラ 340 CPUバス 350 I/Oバス 360 キーボード 370 マウス 380 モニタ

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 デジタル画像のピクセルのカラーデータ
    を調節するコンピュータによって実行される方法におい
    て、 所定のカラー及び形状特性に対応するオリジナルのカラ
    ーデータを持ったデジタル画像のピクセルを識別し、 前記識別したピクセルのオリジナルのカラーデータを調
    節して所望の結果を得る、ことを特徴とする方法。
  2. 【請求項2】 請求項1において、更に、ユーザ入力に
    応答してデジタル画像の一部を画定し、その場合に所定
    のカラー及び形状特性に対応するオリジナルのカラーデ
    ータを持ったデジタル画像のピクセルを識別する場合に
    ユーザが画定した部分内におけるデジタル画像のピクセ
    ルのみを識別することを特徴とする方法。
  3. 【請求項3】 請求項1において、所定のカラー及び形
    状特性に対応するオルジナルのカラーデータを持ったデ
    ジタル画像のピクセルを識別する場合に、更に、所定の
    カラー特性に基づいてデジタル画像をフィルタし且つ所
    定の形状特性に対応するフィルタを使用することを特徴
    とする方法。
  4. 【請求項4】 請求項3において、 所定のカラー及び形状特性に対応するオリジナルのカラ
    ーデータを持ったデジタル画像のピクセルを識別する場
    合に、更に、前記オリジナルのカラーデータに基づいて
    前記デジタル画像のピクセルに対するカラーを強調させ
    たデータを作成し、 所定のカラー特性に基づいてデジタル画像をフィルタし
    且つ所定の形状特性に対応するフィルタを使用して前記
    デジタル画像に対するカラーを強調したデータをフィル
    タする、ことを特徴とする方法。
  5. 【請求項5】 請求項3において、所定の形状特性に対
    応するフィルタを使用してデジタル画像をフィルタする
    場合に、更に、前記デジタル画像のピクセルのカラーデ
    ータを前記フィルタで畳み込むことを特徴とする方法。
  6. 【請求項6】 請求項1において、更に、ユーザ入力に
    基づいて、前記識別したピクセルが実際に所定のカラー
    及び形状特性に対応するものであることを検証すること
    を特徴とする方法。
  7. 【請求項7】 請求項1において、前記所定のカラー及
    び形状特性が赤目効果に対応していることを特徴とする
    方法。
  8. 【請求項8】 請求項7において、前記識別したピクセ
    ルが前記デジタル画像における目の一部に対応してお
    り、且つ前記識別したピクセルのオジリナルのカラーデ
    ータを調節する場合に、更に、 虹彩カラーを決定し、 前記識別したピクセルのオリジナルのカラーデータにお
    ける赤色成分を減少させ、 前記オリジナルのカラーデータを前記虹彩カラーに向け
    て修正する、ことを特徴とする方法。
  9. 【請求項9】 請求項8において、前記虹彩カラーを決
    定する場合に、更に、 赤目効果によって影響される目の虹彩区域に対応するデ
    ジタル画像のピクセルを識別し、 虹彩カラーを決定するために虹彩ピクセルのカラーデー
    タを評価する、ことを特徴とする方法。
  10. 【請求項10】 請求項8において、虹彩カラーを決定
    する場合に、更に、デフォルトカラーを使用することを
    特徴とする方法。
  11. 【請求項11】 請求項10において、前記デフォルト
    カラーがユーザによって選択されることを特徴とする方
    法。
  12. 【請求項12】 デジタル画像のピクセルのカラーデー
    タを調節するためにコンピュータが使用するコンピュー
    タによって読取可能な命令を格納するメモリ装置におい
    て、 所定のカラー及び形状特性に対応するオリジナルのカラ
    ーデータを持ったデジタル画像のピクセルを識別し、 所望の結果を得るために前記識別したピクセルのオリジ
    ナルのカラーデータを調節する、上記各命令を有するこ
    とを特徴とするメモリ装置。
  13. 【請求項13】 デジタル画像のピクセルのカラーデー
    タを調節する装置において、 デジタル画像を格納するための格納媒体、 前記格納媒体で動作結合されており且つ所定のカラー及
    び形状特性に対応するオリジナルのカラーデータを持っ
    たデジタル画像のピクセルを識別し且つ所望の結果を得
    るために前記識別したピクセルのオリジナルのカラーデ
    ータを調節するための形態とされているプロセサ、を有
    することを特徴とする装置。
JP15104598A 1997-05-30 1998-06-01 デジタル画像におけるカラー調節 Expired - Lifetime JP4246810B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/866,093 US6204858B1 (en) 1997-05-30 1997-05-30 System and method for adjusting color data of pixels in a digital image
US08/866093 1997-05-30

Publications (2)

Publication Number Publication Date
JPH1173499A true JPH1173499A (ja) 1999-03-16
JP4246810B2 JP4246810B2 (ja) 2009-04-02

Family

ID=25346901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15104598A Expired - Lifetime JP4246810B2 (ja) 1997-05-30 1998-06-01 デジタル画像におけるカラー調節

Country Status (4)

Country Link
US (1) US6204858B1 (ja)
EP (1) EP0884694A1 (ja)
JP (1) JP4246810B2 (ja)
CA (1) CA2236910A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186325A (ja) * 1999-12-24 2001-07-06 Fuji Photo Film Co Ltd 画像処理方法、装置、記録媒体、及び伝送媒体
US7024035B1 (en) 1999-09-07 2006-04-04 Fuji Photo Film Co., Ltd. Method of setting region to be subjected to red eye correction and red eye correcting method
JP2006285956A (ja) * 2005-03-11 2006-10-19 Fuji Photo Film Co Ltd 赤目検出方法および装置並びにプログラム
JP2007525121A (ja) * 2004-02-04 2007-08-30 フォトネーション ビジョン リミテッド 赤目フィルターの性能を最適化する方法及びその装置

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630006B2 (en) * 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7352394B1 (en) 1997-10-09 2008-04-01 Fotonation Vision Limited Image modification based on red-eye filter analysis
US7738015B2 (en) * 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US6631208B1 (en) * 1998-05-29 2003-10-07 Fuji Photo Film Co., Ltd. Image processing method
JP3590265B2 (ja) * 1998-06-11 2004-11-17 富士写真フイルム株式会社 画像処理方法
US6920237B2 (en) * 2000-12-19 2005-07-19 Eastman Kodak Company Digital image processing method and computer program product for detecting human irises in an image
EP1229734A1 (en) * 2001-01-31 2002-08-07 GRETAG IMAGING Trading AG Automatic colour defect correction
US6895112B2 (en) * 2001-02-13 2005-05-17 Microsoft Corporation Red-eye detection based on red region detection with eye confirmation
US6873743B2 (en) * 2001-03-29 2005-03-29 Fotonation Holdings, Llc Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
US7269303B2 (en) * 2001-06-04 2007-09-11 Hewlett-Packard Development Company, L.P. Remote digital image enhancement system and method
US6980691B2 (en) * 2001-07-05 2005-12-27 Corel Corporation Correction of “red-eye” effects in images
GB2379819B (en) * 2001-09-14 2005-09-07 Pixology Ltd Image processing to remove red-eye features
GB2384639B (en) * 2002-01-24 2005-04-13 Pixology Ltd Image processing to remove red-eye features
CA2477097A1 (en) * 2002-02-22 2003-08-28 Pixology Software Limited Detection and correction of red-eye features in digital images
US20040114829A1 (en) * 2002-10-10 2004-06-17 Intelligent System Solutions Corp. Method and system for detecting and correcting defects in a digital image
WO2004086293A1 (en) * 2003-03-19 2004-10-07 Nik Multimedia, Inc. Selective enhancement of digital images
US7599524B2 (en) * 2003-04-04 2009-10-06 Sarnoff Corporation Method and apparatus for providing a robust object finder
US7116820B2 (en) * 2003-04-28 2006-10-03 Hewlett-Packard Development Company, Lp. Detecting and correcting red-eye in a digital image
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7336821B2 (en) 2006-02-14 2008-02-26 Fotonation Vision Limited Automatic detection and correction of non-red eye flash defects
US7536036B2 (en) 2004-10-28 2009-05-19 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7920723B2 (en) * 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US8036458B2 (en) * 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7587085B2 (en) * 2004-10-28 2009-09-08 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US8170294B2 (en) * 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US7689009B2 (en) * 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
EP1499111B1 (en) 2003-07-15 2015-01-07 Canon Kabushiki Kaisha Image sensiting apparatus, image processing apparatus, and control method thereof
US8520093B2 (en) * 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
US20050031224A1 (en) * 2003-08-05 2005-02-10 Yury Prilutsky Detecting red eye filter and apparatus using meta-data
US9412007B2 (en) * 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
US6912298B1 (en) 2003-08-11 2005-06-28 Adobe Systems Incorporation Object detection using dynamic probability scans
US7664322B1 (en) * 2003-08-11 2010-02-16 Adobe Systems Incorporated Feature-based color adjustment
US8462244B2 (en) * 2003-08-27 2013-06-11 Hewlett-Packard Development Company, L.P. Adaptively reading one or more but fewer than all pixels of image sensor
EP1517542B1 (en) * 2003-09-01 2010-11-10 Samsung Electronics Co., Ltd. Method and apparatus for adjusting colors of an image
US7310443B1 (en) * 2003-09-17 2007-12-18 Sonic Solutions, Inc. Automatic red eye detection and correction in digital images
US7835572B2 (en) * 2003-09-30 2010-11-16 Sharp Laboratories Of America, Inc. Red eye reduction technique
US7466868B2 (en) 2003-10-03 2008-12-16 Adobe Systems Incorporated Determining parameters for adjusting images
US7412105B2 (en) 2003-10-03 2008-08-12 Adobe Systems Incorporated Tone selective adjustment of images
US7071948B2 (en) * 2003-10-21 2006-07-04 Adobe Systems Incorporated Adjusting images based on previous modifications
US20110102643A1 (en) * 2004-02-04 2011-05-05 Tessera Technologies Ireland Limited Partial Face Detector Red-Eye Filter Method and Apparatus
JP4505362B2 (ja) * 2004-03-30 2010-07-21 富士フイルム株式会社 赤目検出装置および方法並びにプログラム
US7852377B2 (en) * 2004-04-16 2010-12-14 Arcsoft, Inc. Automatic red eye removal
US7403654B2 (en) * 2004-10-04 2008-07-22 Arcsoft, Inc. Enhanced automatic red eye removal
GB0510793D0 (en) * 2005-05-26 2005-06-29 Bourbay Ltd Segmentation of digital images
US7599577B2 (en) * 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
ATE497218T1 (de) 2006-06-12 2011-02-15 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam- techniken aus grauskalen- zu farbbildern
KR100857463B1 (ko) 2006-11-17 2008-09-08 주식회사신도리코 포토프린팅을 위한 얼굴영역 검출장치 및 보정 방법
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
EP2145288A4 (en) * 2007-03-05 2013-09-04 Digitaloptics Corp Europe Ltd FILTERING OF POSITIVE FALSE OF RED EYES USING A LOCATION AND FACE ORIENTATION
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
DE102007055924B4 (de) * 2007-12-21 2009-11-26 Carl Zeiss Surgical Gmbh Verfahren zur Ermittlung charakteristischer Eigenschaften und/oder der Position charakteristischer Augenbestandteile
US8662667B2 (en) 2007-12-21 2014-03-04 Carl Zeiss Meditec Ag Ophthalmologic visualization system
US8212864B2 (en) * 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US8081254B2 (en) * 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
US8295593B2 (en) * 2009-01-07 2012-10-23 Seiko Epson Corporation Method of detecting red-eye objects in digital images using color, structural, and geometric characteristics
US8308298B2 (en) * 2009-06-24 2012-11-13 Carl Zeiss Meditec Ag Microscopy system for eye surgery
DE102009033931B4 (de) * 2009-07-20 2016-03-10 Carl Zeiss Meditec Ag Verfahren zur Ermittlung einer Größenveränderung und/oder Positionsveränderung eines ringförmigen Bestandteils eines Auges in einem Abbild
US8786735B2 (en) 2011-03-21 2014-07-22 Apple Inc. Red-eye removal using multiple recognition channels
US8818091B2 (en) 2011-03-21 2014-08-26 Apple Inc. Red-eye removal using multiple recognition channels
US8837827B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8837822B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8837785B2 (en) 2011-03-21 2014-09-16 Apple Inc. Red-eye removal using multiple recognition channels
US8811683B2 (en) 2011-06-02 2014-08-19 Apple Inc. Automatic red-eye repair using multiple recognition channels
CN103310500A (zh) * 2012-03-09 2013-09-18 华晶科技股份有限公司 车牌摄像装置及其影像白平衡调整方法
TWI486063B (zh) * 2012-03-09 2015-05-21 Altek Corp 車牌攝像裝置及其影像白平衡調整方法
FR3008815B1 (fr) 2013-07-18 2017-02-24 Allegorithmic Systeme et procede de generation de textures procedurales sur un objet
FR3008814B1 (fr) 2013-07-18 2016-12-23 Allegorithmic Systeme et procede de generation de textures procedurales a l'aide de particules
US20150161078A1 (en) * 2013-12-10 2015-06-11 International Business Machines Corporation Content management
US20150234942A1 (en) * 2014-02-14 2015-08-20 Possibility Place, Llc Method of making a mask with customized facial features
US9504925B2 (en) 2014-02-14 2016-11-29 Right Foot Llc Doll or action figure with facial features customized to a particular individual
FR3024916B1 (fr) 2014-08-14 2017-11-24 Allegorithmic Systeme et procede de parametrage colorimetrique et geometrique de textures procedurales sur un objet
EP3198913A4 (en) 2014-09-24 2018-05-23 Princeton Identity, Inc. Control of wireless communication device capability in a mobile device with a biometric key
KR20170092545A (ko) 2014-12-03 2017-08-11 프린스톤 아이덴티티, 인크. 모바일 디바이스 생체측정 애드-온을 위한 시스템 및 방법
US9830708B1 (en) * 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
KR20180102637A (ko) 2016-01-12 2018-09-17 프린스톤 아이덴티티, 인크. 바이오메트릭 분석의 시스템 및 방법
US10373008B2 (en) 2016-03-31 2019-08-06 Princeton Identity, Inc. Systems and methods of biometric analysis with adaptive trigger
US10366296B2 (en) 2016-03-31 2019-07-30 Princeton Identity, Inc. Biometric enrollment systems and methods
WO2018187337A1 (en) 2017-04-04 2018-10-11 Princeton Identity, Inc. Z-dimension user feedback biometric system
CA3071100A1 (en) 2017-07-26 2019-01-31 Princeton Identity, Inc. Biometric security systems and methods

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5701519A (en) * 1988-03-16 1997-12-23 Nikon Corporation Control device for preventing red-eye effect on camera
GB2238928B (en) * 1989-09-05 1994-06-08 Canon Kk Image data converting method and image processing apparatus
US5130789A (en) 1989-12-13 1992-07-14 Eastman Kodak Company Localized image recoloring using ellipsoid boundary function
US5202935A (en) 1990-10-19 1993-04-13 Matsushita Electric Industrial Co., Ltd. Color conversion apparatus for altering color values within selected regions of a reproduced picture
FR2674354A1 (fr) * 1991-03-22 1992-09-25 Thomson Csf Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles.
JP3191266B2 (ja) * 1991-09-17 2001-07-23 株式会社日立製作所 イメージシミュレーションシステム
FR2681967B1 (fr) * 1991-10-01 1994-11-25 Electronics For Imaging Inc Procede et appareil pour modifier les couleurs d'une image a l'aide d'un ordinateur.
US5270806A (en) * 1991-10-07 1993-12-14 Xerox Corporation Image editing system and method having improved multi-dimensional editing controls
US5432863A (en) 1993-07-19 1995-07-11 Eastman Kodak Company Automated detection and correction of eye color defects due to flash illumination
EP0693852A3 (en) 1994-07-22 1997-05-28 Eastman Kodak Co Method and apparatus for applying a function to a localized domain of a digital image using a window

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7024035B1 (en) 1999-09-07 2006-04-04 Fuji Photo Film Co., Ltd. Method of setting region to be subjected to red eye correction and red eye correcting method
JP2001186325A (ja) * 1999-12-24 2001-07-06 Fuji Photo Film Co Ltd 画像処理方法、装置、記録媒体、及び伝送媒体
JP2007525121A (ja) * 2004-02-04 2007-08-30 フォトネーション ビジョン リミテッド 赤目フィルターの性能を最適化する方法及びその装置
JP2006285956A (ja) * 2005-03-11 2006-10-19 Fuji Photo Film Co Ltd 赤目検出方法および装置並びにプログラム

Also Published As

Publication number Publication date
US6204858B1 (en) 2001-03-20
CA2236910A1 (en) 1998-11-30
JP4246810B2 (ja) 2009-04-02
EP0884694A1 (en) 1998-12-16

Similar Documents

Publication Publication Date Title
JP4246810B2 (ja) デジタル画像におけるカラー調節
US9786031B2 (en) Distortion of digital images using spatial offsets from image reference points
US6728401B1 (en) Red-eye removal using color image processing
US6148113A (en) System for stimulating the depth of field of an image in two dimensional space and method of operation
US6980691B2 (en) Correction of “red-eye” effects in images
GB2385736A (en) Detection of red eye features in digital images by determination of the profile of image pixel values along a row of values
AU2002336660A1 (en) User definable image reference points
JP2004326805A (ja) ディジタル画像中の赤目を検出し補正する方法
JP2008086011A (ja) 色欠損画像をエンハンスするためのシステムおよび方法
JP2000134486A (ja) 画像処理装置及び画像処理方法及び記憶媒体
US6181321B1 (en) Combined color cast removal and contrast enhancement for digital color images
JP4445026B2 (ja) 画像処理方法および装置並びにプログラム
JPH10340332A (ja) 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体
JP4586963B2 (ja) 自動瞳補正方法
JP2009070103A (ja) 画像処理装置および画像処理方法
CA2768909C (en) User definable image reference points

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071009

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071225

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080206

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080310

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080402

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080903

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090109

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term