JP4143279B2 - 画像欠陥の検出方法および画像読取装置 - Google Patents

画像欠陥の検出方法および画像読取装置 Download PDF

Info

Publication number
JP4143279B2
JP4143279B2 JP2001160238A JP2001160238A JP4143279B2 JP 4143279 B2 JP4143279 B2 JP 4143279B2 JP 2001160238 A JP2001160238 A JP 2001160238A JP 2001160238 A JP2001160238 A JP 2001160238A JP 4143279 B2 JP4143279 B2 JP 4143279B2
Authority
JP
Japan
Prior art keywords
image
image signal
visible
signal
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001160238A
Other languages
English (en)
Other versions
JP2002354258A (ja
Inventor
博司 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2001160238A priority Critical patent/JP4143279B2/ja
Priority to EP02011747A priority patent/EP1263206A3/en
Priority to US10/156,769 priority patent/US7035437B2/en
Publication of JP2002354258A publication Critical patent/JP2002354258A/ja
Application granted granted Critical
Publication of JP4143279B2 publication Critical patent/JP4143279B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00092Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to the original or to the reproducing medium, e.g. imperfections or dirt
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795Reading arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795Reading arrangements
    • H04N1/00798Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
    • H04N1/00801Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity according to characteristics of the original
    • H04N1/00803Presence or absence of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4097Removing errors due external factors, e.g. dust, scratches

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimiles In General (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Projection-Type Copiers In General (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、フィルムに撮影された画像等を光電的に読み取る画像読取方法および装置の技術分野に属し、詳しくは、フィルム種や画像の状態によらず、フィルムに付着した異物やフィルムの傷に起因する画像欠陥を正確に検出することができる画像欠陥の検出方法および画像読取装置に関する。
【0002】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム(以下、フィルムとする)に撮影された画像の感光材料(印画紙)への焼き付けは、フィルムの画像を感光材料に投影して露光する、いわゆる直接露光が主流である。
これに対し、近年では、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を露光してプリントとして出力し、また、画像データを画像ファイルとしてCD−RやHD(ハードディスク)等の記録媒体に出力することも行われている。
【0003】
このようなデジタルの処理によれば、フィルムに撮影された画像を読み取って、デジタルの画像データとして画像処理を行うので、非常に好適に色や濃度を補正できるばかりか、階調補正やシャープネス処理(鮮鋭度補正)等、通常の直接露光のプリンタでは基本的に不可能な画像処理を行って、高画質な画像を得ることができる。
【0004】
ところで、フィルムを原稿とする画像の出力において、画質劣化を起こす重大な要因として、フィルムに付着したゴミや埃等の異物、摩擦等で形成されたフィルムの傷等に起因する画像欠陥(以下、ゴミ傷とする)が有る。
従来の直接露光のプリンタでは、オペレータの手作業によって、フィルムを清浄化し、また、色材で画像(フィルム)を修正することにより、このようなゴミ傷を修正したプリントの出力を行っている。これに対し、フィルムの画像を光電的に読み取り、デジタルの画像データとして取り扱うデジタルの処理では、読み取って得られた画像データを画像解析することで、ゴミ傷を検出し、かつ、画像処理によって修正することができる。
【0005】
デジタルのプリンタにおいては、このようなフィルムのゴミ傷の検出方法としては、従来より、赤外光(IR光)等の非可視領でフィルムの画像を読み取って、この非可視像像を解析する方法が知られている(特開平6−28468号、同11−75039号公報等参照)。
すなわち、IR光は、フィルムに撮影された画像(色素)には吸収されず、ゴミ傷によっては散乱されるので、IR光でフィルムを読み取った際における信号強度の変化からゴミ傷を検出することができる。
【0006】
【発明が解決しようとする課題】
ところが、フィルムの種類や画像の状態、さらには、非可視光の波長によっては、画像が非可視光に吸収を有する場合があり、この際には、ゴミ傷ではない、適正な部分まで、ゴミ傷と判定して、誤検出してしまう。
そのため、IR光等を用いたゴミ傷の検出結果に応じて画像の補正を行うと、ゴミ傷ではない適正な部分まで画像の修正を行ってしまう場合があり、この場合には、逆に、画質を低下してしまう。また、本来は修正する必要が無い、適正な部分まで処理を行うので、処理に時間がかかり、生産性(処理効率)を低下してしまうという問題もある。
これらの不都合を回避するためには、非可視光の波長を色素の吸収が全く無い波長にする必要があり、収差等の点で光学系の設計が非常に困難になり、また、大幅なコストアップを伴うという問題もある。
【0007】
本発明の目的は、前記従来技術の問題点を解決することにあり、フィルムに撮影された画像等を光電的に読み取る画像読取装置において、フィルムの種類や画像の状態によらず、フィルムに付着したゴミや埃等の異物、フィルムに付いた傷等に起因する画像欠陥を誤検出なく高精度に検出することができ、従って、これらに起因する画像欠陥を好適に修正した、高画質な画像を出力でき、かつ、生産性も良好で、しかも低コストな画像読取装置および画像欠陥の検出方法を提供することにある。
【0008】
【課題を解決するための手段】
前記課題を解決するために、本発明は、原稿画像が担持するカラーの可視像を読み取るための読取光によって、前記原稿画像を読み取って、可視像信号を取得するとともに、非可視光によって、前記原稿画像を読み取って、参照画像信号を取得し、取得した前記可視像信号および前記参照画像信号に基づいて、読み取った全ての画素について、前記可視像信号から前記参照画像信号を減算してなる可視色素像信号を求めて、前記可視色素像信号の濃度に対する前記参照画像信号の濃度相関的な画素分布を生成し、生成した前記画素分布に基づいて、前記読み取った全ての画素における同一の可視色素像信号を有する画素の群において最小の前記参照画像信号を検出してその群における前記原稿画像に残留する残留銀に起因する残留銀像の信号とし、各画素の前記参照画像信号から、その画素が属する群の前記残留銀像の信号を減算して、補正参照画像信号を得、前記補正参照画像信号、および、前記原稿画像に付着した異物または原稿の傷の検出基準として予め設定された前記参照画像信号の閾値に基づいて、前記原稿画像に付着した異物および原稿の傷に起因する画像欠陥を検出する、画像欠陥の検出方法を提供する。
また、本発明は、原稿画像が担持するカラーの可視像を読み取るための読取光によって、前記原稿画像を読み取って、可視像信号を取得するとともに、非可視光によって、前記原稿画像を読み取って、参照画像信号を取得し、取得した前記可視像信号および前記参照画像信号に基づいて、読み取った全ての画素について、前記可視像信号から前記参照画像信号を減算してなる可視色素像信号を求めて、前記可視色素像信号の濃度に対する前記参照画像信号の濃度相関的な画素分布を生成し、生成した前記画素分布に基づいて、前記読み取った全ての画素における同一の可視色素像信号を有する画素の群において最小の前記参照画像信号を検出してその可視色素像信号を有する画素における前記原稿画像に残留する残留銀に起因する残留銀像の信号とし、前記原稿画像に付着した異物または原稿の傷の検出基準として予め設定された前記参照画像信号の各可視色素像信号に対応する閾値に、その可視色素像信号を有する画素における前記残留銀像の信号の分を加算して、前記閾値を変更し、前記参照画像信号および前記変更された閾値に基づいて、前記原稿画像に付着した異物および原稿の傷に起因する画像欠陥を検出する、画像欠陥の検出方法を提供する。
また、本発明は、原稿画像を光電的に読み取る画像読取装置であって、前記原稿画像が担持するカラーの可視像を読取光によって読み取る第1読取手段、および、非可視光によって前記原稿画像を読み取って参照画像を得る第2読取手段を有する画像読取手段と、前記画像読取手段が読み取った前記可視像の可視像信号および前記参照画像の参照画像信号に基づいて、読み取った全ての画素について、前記可視像信号から前記参照画像信号を減算してなる可視色素像信号を求めて、前記可視色素像信号の濃度に対する前記参照画像信号の濃度相関的な画素分布を生成し、生成した前記画素分布から得られる、前記読み取った全ての画素における同一の可視色素像信号を有する画素の群の中で最小の前記参照画像信号を、その群における前記原稿画像に残留する残留銀に起因する残留銀像の信号であるとして、各画素の前記参照画像信号から、その画素が属する群の前記残留銀像の信号を減算して得られる補正参照画像信号を得、前記補正参照画像信号と、前記原稿画像に付着した異物または原稿の傷の検出基準として予め設定された前記参照画像信号の閾値とに基づいて、前記原稿画像に付着した異物および前記原稿の傷に起因する画像欠陥を検出する検出手段とを有することを特徴とする画像読取装置を提供する。
さらに、本発明は、原稿画像を光電的に読み取る画像読取装置であって、前記原稿画像が担持するカラーの可視像を読取光によって読み取る第1読取手段、および、非可視光によって前記原稿画像を読み取って参照画像を得る第2読取手段を有する画像読取手段と、前記画像読取手段が読み取った前記可視像の可視像信号および前記参照画像の参照画像信号に基づいて、読み取った全ての画素について、前記可視像信号から前記参照画像信号を減算してなる可視色素像信号を求めて、前記可視色素像信号の濃度に対する前記参照画像信号の濃度相関的な画素分布を生成し、生成した前記画素分布から得られる、前記読み 取った全ての画素における同一の可視色素像信号を有する画素の群の中で最小の前記参照画像信号を、その可視色素像信号を有する画素における前記原稿画像に残留する残留銀に起因する残留銀像の信号であるとして、前記原稿画像に付着した異物または原稿の傷の検出基準として予め設定された前記参照画像信号の各可視色素像信号に対応する閾値に、その可視色素像信号を有する画素における前記残留銀像の信号の分を加算して、前記閾値を変更し、前記参照画像信号と、前記変更された閾値とに基づいて、前記原稿画像に付着した異物および前記原稿の傷に起因する画像欠陥を検出する検出手段とを有することを特徴とする画像読取装置を提供する。
【0009】
このような本発明の画像欠陥の検出方法および画像読取装置において、前記原稿画像がネガフィルムであり、前記可視像信号は、R、G、Bの3色からなるものであって、前記ネガフィルムの層構成の順に、下層に配される感光層に対応する色の信号ほど大きい係数を、前記R、G、Bの3色の前記可視像信号にかけて、その総和を取ったものから求めた前記可視色素像信号に対する前記参照画像信号の画素分布成するのが好ましい。
また、前記画素分布の生成は、R、G、Bのいずれか一色の前記可視像信号と、前記参照画像信号とに基づいて行うのが好ましい。
【0010】
【発明の実施の形態】
以下、本発明の画像欠陥の検出方法および画像読取装置について、添付の図面に示される好適実施例を基に詳細に説明する。
【0011】
図1に、本発明の画像読取装置を利用するデジタルフォトプリントシステムの一例のブロック図が示される。
図1に示されるデジタルフォトプリントシステム10(以下、プリントシステム10とする)は、フィルムFに撮影された画像を光電的に読み取り、(写真)プリントとして出力するもので、基本的に、スキャナ12と、画像処理部14と、ディスプレイ18と、操作系20(キーボード20aならにマウス20b)と、プリンタ22とを有して構成される。
【0012】
スキャナ12は、フィルムFの各コマに撮影された画像を光電的に読み取る装置で、図2の概念図に示すように、光源24、ドライバ26、拡散ボックス28、キャリア30、結像レンズユニット32、読取部34、アンプ(増幅器)36、およびA/D(アナログ/デジタル)変換器38を有して構成される。
【0013】
図示例のスキャナ12において、光源24は、LED(Light Emitting Diode)を利用するもので、R(赤)光、G(緑)光およびB(青)光の各可視光を出射する3種のLEDと、非可視光であるIR(赤外)光を出射するLEDとが配列されて構成される。このような光源24は、ドライバ26によって駆動され、各可視光およびIR光が、順次、出射される。
拡散ボックス28は、フィルムFに入射する光を、フィルム面方向で均一にするものである。
【0014】
キャリア30は、フィルムFを断続的に搬送して、フィルムFに撮影された各画像(各コマ)を、順次、所定の読取位置に搬送/保持するものである。スキャナ30は、フィルムサイズ等に応じた複数種が用意され、スキャナ12の本体に着脱自在に構成される。
図示例において、キャリア30は、読取位置を挟んで配置される、フィルムFを長手方向に搬送する搬送ローラ対40aおよび40bと、所定の読取位置において、各コマの読取領域を規制するマスク42とを有する。
【0015】
結像レンズユニット32は、フィルムFの投影光を読取部34の所定位置に決結像するものである。
読取部34は、エリアCCDセンサを用いて、フィルムFに撮影された画像を光電的に読み取るもので、キャリア30のマスク42で規制された1コマの全面を読み取る(面露光による画像読取)。
【0016】
このようなスキャナ12において、フィルムFを読み取る際には、まず、キャリア30によってフィルムFを搬送し、読み取りを行うコマ(通常は、1コマ目か最終コマ)を読取位置に搬送する。
次いで、ドライバ26による作用の下、例えば、光源24のRのLEDを駆動して、R光を出射する。R光は、拡散ボックス28によってフィルムFの面方向で光量を均一にされた後、読取位置に入射して、此処に保持されるコマに入射、透過して、このコマに撮影された画像を担持する投影光となる。この投影光は、結像レンズユニット32によって読取部34の所定位置(エリアCCDセンサの受光面)に結像され、このコマのR画像が光電的に読み取られる。
【0017】
同様にして、光源24のGおよびBのLEDを、順次、発光して、このコマのG画像およびB画像の読み取りを行い、最後に、光源24のIRのLEDを発光して、IRによる読み取り(IR画像の読み取り)を行って、このコマの読み取りを終了する。従って、スキャナ12からは、R、GおよびBの各可視像と、IR画像(非可視像)との、4チャネルの画像信号が出力される。
1コマの読み取りを終了したら、キャリア30は、フィルムFを搬送して、次に読み取りを行うコマを読取位置に搬送する。
【0018】
読取部34からの出力信号は、アンプ36で増幅され、A/D変換器38によってデジタルの画像信号に変換されて、画像処理部14(データ補正部44)に出力される。
【0019】
本発明において、画像読取手段は、図示例のスキャナ12に限定はされない。例えば、4色のLEDではなく、ハロゲンランプ等の白色光源を用いると共に、拡散ボックス28の上流にR,G,BおよびIRのフィルタ挿入手段を設けることにより、フィルムに撮影された画像を同様の4チャネルで読み取るものであってもよい。あるいは、同様の白色光源と、R、G、BおよびIRの画像を読み取る4ラインのCCDセンサを用いて、いわゆるスリット走査によって、フィルムに撮影された画像を同様の4チャネルで画像を読み取るものであってもよい。
【0020】
プリントシステム10においては、通常、1コマにつき、プリント等の出力のために高解像度で画像を読み取るファインスキャンと、ファインスキャンの読取条件やデータ処理部14における画像処理条件を決定するために、ファインスキャンに先立って行われる、低解像度での画像読取であるプレスキャンとの、2回の画像読取が行われる。
この際において、通常、プレスキャンとファインスキャンの出力信号は、解像度と出力レベルが異なる以外は、基本的に同じデータである。
【0021】
前述のように、スキャナ12から出力されたデジタルの画像信号は、画像処理部14に出力される。図3に、画像処理部14のブロック図を示す。
図3に示されるように、画像処理部14は、データ補正部44、Log変換器46、フレームメモリ48(以下、FM48とする)、ゴミ傷修正部50、画像補正部54、およびデータ変換部(3D−LUT)58を有して構成される。
【0022】
図示は省略するが、プリントシステム10の画像処理部14は、プレスキャンデータを処理して、検定用のシミュレーション画像をディスプレイ20に表示するために、Log変換器46からデータの流れ方向の下流(以下、下流とする)で分岐して、FM48〜データ変換部58と基本的に同様の処理経路を有する。なお、この処理経路には、ゴミ傷修正部50は、有っても無くてもよい。
【0023】
データ補正部44は、スキャナ12から出力されたR、G、BおよびIRの各画像の出力データに、DCオフセット補正、暗時補正、シェーディング補正等の所定の補正を施す部位である。
Log変換器46は、データ補正部44で処理された出力データを、例えばLUT(ルックアップテーブル)等によってLog変換して、デジタルの画像(濃度)データとする。
Log変換器46で変換された、R、G、B、およびIRの各画像の画像データは、それぞれ、対応するFM48に記憶される。
【0024】
FM48に記憶された画像データは、ゴミ傷修正部50で処理される。
ゴミ傷修正部50は、R、GおよびBの可視像の画像データ、および、IR画像(非可視像)の画像データを用いて、フィルムFに付着したゴミや埃等の異物、フィルムFに入った傷などに起因する画像欠陥(以下、ゴミ傷とする)を検出し、検出したゴミ傷を修正する部位である。なお、可能であれば、以下に説明するゴミ傷の検出は、プレスキャンの画像データを用いて行ってもよい。
ここで、ゴミ傷修正部50においては、単純にIRの画像データ(以下、IRデータとする)の強度からゴミ傷を検出するのではなく、R、GおよびBの可視像の画像データ(以下、可視像データとする)と、IRデータとを用いて、両者の画像濃度(画像信号)の相関関係から画像欠陥を検出する。
【0025】
フィルムのゴミ傷を修正するために、従来より、IR画像を読み取り、そのIR画像の濃度(IRの信号強度)の変動を用いてゴミ傷を検出することが行われている。しかしながら、この方法では、画像の状態やフィルムの種類等によっては、フィルムに撮影された画像がIR光を吸収する場合があり、その結果、ゴミ傷の誤検出を生じ、不要な部分(適正部分)の画像修正によって、画質の劣化や処理時間の増大等の不都合を招いていたのは、前述の通りである。
【0026】
本発明者は、画像欠陥の誤検出を生じさせるIR光の吸収要因について、詳細に検討を重ねた結果、画像中(フィルム中)に残存する銀成分がIR光を吸収し、その結果、前述のような誤検出を生じていることを突き止めた。
いわゆるカラーの銀塩写真フィルムは、基本的に、発色/現像処理の後に行われる漂白処理および定着処理によって、存在する銀成分は全て取り除かれるように設計されている。ところが、処理液の劣化やフィルム特性等に起因して、漂白処理等で除去しきれずに、画像中に銀成分が残留(以下、これを残留銀とする)してしまう場合がある。また、本発明者の検討によれば、ネガフィルムの場合には、処理液の限界に応じて、低濃度〜中濃度の領域よりも、高濃度部(撮影シーンの高輝度部)に、銀成分が残留してしまう場合が多い。
【0027】
この残留銀は、IR光を吸収する。そのため、IR画像の濃度のみを利用して、例えば、IR濃度(IRデータ)が閾値よりも高い部分(読取部34における受光量が低い部分)をゴミ傷として検出してしまうと、ゴミ傷では無いにも関わらず、残留銀に起因してIR濃度が高い部分もゴミ傷として検出してしまう。その結果、ゴミ傷では無い適正な部分を不要に修正する結果となり、画質の低下や処理時間の増加を招いているのは、前述の通りである。
しかも、残留銀の量は、処理液の状態やフィルムの特性に応じて、種々、変化するため、固定のパラメータでは適正に対応することは不可能である。
【0028】
これに対し、本発明においては、R,GおよびBの可視像濃度と、IR濃度との相関的な画素分布を利用することにより、残留銀の影響を排除して、高精度にゴミ傷の検出することを実現している。
【0029】
図4に、ある画像の各画素に付いて、可視像の濃度(画像データ)と、IR画像の濃度との相関を取った一例を示す。
なお、図4において、(A)はR濃度(DR )とIR濃度(DIR)の相関を、(B)はG濃度(DG )とIR濃度(DIR)の相関を、(C)はB濃度(DB )とIR濃度(DIR)の相関を、それぞれ示す。また、(D)は、R、GおよびBの全てを含む画像濃度(DV )とIR濃度(DIR)の相関を示す。
なお、DV は、例えば、下記式
V =αDR +βDG +γDB
で算出すればよい。ここで、α、βおよびγは係数(好ましくは、α+β+γ=1)であり、装置特性やフィルム種等に応じて適宜決定すればよいが、ネガフィルムの場合には、通常、R感光層が最も下で、B感光層が最も上に有るので、層構成に起因する銀成分の洗浄性を考慮すると、「α>β>γ」とするのが好ましい。
【0030】
図4に示されるように、何れの可視像においても、高濃度側においてIR濃度の最低ラインが上がっている。
残留銀およびゴミ傷が全く無ければ、IR濃度は、可視像濃度によらず均一、すなわち、DIRは一直線となるはずであるので、このIR濃度の最低ラインが上昇している部分が、残留銀に起因するIR濃度であると考えられる。
【0031】
残留銀に起因するIR濃度をDAg、ゴミ傷に起因するIR濃度をDde、フィルム自身が元々有しているIR濃度をCとすると、測定されたIR濃度DIRは、
IR=DAg+Dde+C
で示すことができる。
すなわち、測定されたIR濃度DIRから、残留銀に起因するIR濃度をDAgを取り除くことができれば、ゴミ傷に起因する画像欠陥を、残留銀に影響されることなく、高精度に検出することができる。
【0032】
ここで、残留銀がIR濃度に影響を与えているのであれば、同じ画素(画像位置)のIR濃度と、可視像濃度とは、相関を有するはずである。
また、一般的なフィルムFおいては、画像(1コマ)の殆どの領域には、ゴミ傷は存在しない。本発明の検討によれば、ゴミ傷を有する画素は、通常、1画像中で0.3%程度であり、1%を超えることは、極めて稀である。
【0033】
従って、可視像が同じ画像濃度の画素の集合を考えれば、必ずゴミ傷を有さない画素が存在するはずであり、この画素集合においては、最もIR濃度の低い画素のIRデータが、ゴミ傷に起因する画像欠陥を有さない画素のIRデータ、すなわち、残留銀のみに依存するIRデータであると考えられる。
言い換えれば、フィルムFにゴミ傷が無ければ、可視像濃度に対するIR濃度(適正なIR濃度)は、図4に示されるIR濃度DIRの最低ラインとなり、この最低ラインよりも上に存在する画素が、ゴミ傷を有する画素と判定できる。
本発明は、これを用いることにより、ゴミ傷に起因する画像欠陥の検出を、残留銀に影響を受ることなく、高精度に行うことを可能にしている。
【0034】
以下、図5を参照して、ゴミ傷修正部50における処理について、具体的に説明する。
FM48にR、GおよびBの可視像データと、IRデータとが記憶されたら、ゴミ傷修正部50は、両者を読み出し、まず、全ての画素(xi ,yi )について、可視像データであるRGB(xi ,yi )からIRデータであるIR(xi ,yi )を減算して、可視色素像データCMY(xi ,yi )を求める。
CMY(xi ,yi )=RGB(xi ,yi )−IR(xi ,yi
なお、RGB(xi ,yi )は、例えば、前述の「DV =αDR +βDG +γDB 」で求めればよい。
【0035】
次いで、全ての画素(xi ,yi )について、図4(D)に示されるような、可視色素像データCMY(xi ,yi )とIR(xi ,yi )との相関的な画素分布を求める。
【0036】
画素分布を求めたら、ゴミ傷修正部50は、同じ可視色素像データCMY(xi ,yi )を有する画素の集合において、最小のIRデータを検出し、これを、この画素集合gにおけるMinIR[CMY(xg ,yg )]とする。
【0037】
さらに、MinIR[CMY(xg ,yg )]を求めたら、これを残留銀像AgImage (xg ,yg )とする。すなわち、図4(D)を参照すれば、IR濃度DIRの最低ラインが、残留銀像AgImage (xg ,yg )となる。
AgImage (xg ,yg )=MinIR[CMY(xg ,yg )]
なお、残留銀像AgImage (xg ,yg )は、各画素集合g毎にテーブル化して記憶してもよく、あるいは、全画素集合gに対応して、F[CMY(xg ,yg )]のように関数化してもよい。
【0038】
残留銀像AgImage (xg ,yg )を求めたら、各画素のIR(xi ,yi )から、対応する画素集合gの残留銀像AgImage (xg ,yg )を減算することにより、補正されたIRデータであるIR’(xi ,yi )を求める。すなわち、ゴミ傷が無い場合の適正なIR濃度を用いて、IR画像を補正する。
IR’(xi ,yi )=IR(xi ,yi )−AgImage (xg ,yg
【0039】
次いで、補正されたIRデータであるIR’(xi ,yi )を用いて、ゴミ傷を有する画素を検出する。検出方法には、特に限定はなく、例えば、IR’(xi ,yi )が所定の閾値を超えた画素は、ゴミ傷を有する画素として検出する方法が例示される。
【0040】
ゴミ傷を有する画素を検出したら、そのアドレス情報を用いて、可視像を修正すなわちR、GおよびBの可視像データを修正して、ゴミ傷の無い画像とする。なお、可視像(ゴミ傷)の修正方法には、特に限定はなく、例えば、補間による修正や、画素の連続性を利用する修正等、公知の方法が各種利用可能である。
ゴミ傷を修正した可視像データは、次の画像補正部54に送られる。
【0041】
以上の例では、測定されたIRデータ(IR濃度)を補正して、所定の閾値によってゴミ傷を検出した。しかしながら、本発明は、これに限定はされず、例えば、IRデータを補正するのではなく、算出した残留銀像AgImage に応じて、閾値を変更して、変更した閾値と測定したIRデータとを用いて、ゴミ傷を検出してもよい。
また、図示例においては、残留銀の影響を強く意識して、画像濃度RGBを用いて処理を行っているが、これ以外にも、一色の可視像データ(例えば、R画像データ)のみを用いて、可視像データとIRデータとの相関、および残留銀像AgImage を求め、同様にして、ゴミ傷の検出を行ってもよい。
【0042】
また、以上の例では、参照画像としてIR画像(非可視像)を読み取って、ゴミ傷の検出を行っている。
しかしながら、本発明は、これに限定はされず、例えば、R、GおよびBの可視像の何れか1色に対応する色で、かつ、可視像の読み取りとは異なる波長で参照画像を読み取り、可視像と参照画像との相関的な画素分布から、ゴミ傷を検出してもよい。
【0043】
図6(A)に、フィルムFの或る1色(色素)の発色特性の一例を示す。
図6(A)に示される色による画像読取を、発色のピークに対応する波長aと、発色濃度がそれよりも低い長波長側の波長bで行ったとする。この際における両波長の測定濃度は、発色のピークである波長aを横軸にすると、図6(B)に示すように、傾きが1以下の直線となる。
【0044】
ここで、ゴミ傷に起因するフィルムFの透過光量の低下、すなわちスキャナ12で読み取られる画像濃度の変動は、色素とは無関係で、読み取りの波長には影響を受けないので、波長aでも波長bでも同様である。そのため、ゴミ傷を有する画素における波長aの測定濃度と、波長bの測定濃度との関係は、図6(C)に示されるように、傾き1の方向の成分となる。
従って、同色に対応し、かつ複数の異なる波長での測定濃度の適正な関係が傾き1よりも小さければ、ゴミ傷を有する画素は、図6(D)に示されるように、低発色濃度側(波長b)による測定濃度が、両測定濃度の適正な関係よりも高濃度になり、すなわち分離できる。
【0045】
本方法は、これを利用することにより、可視像濃度と参照画像濃度との相関的な画素分布から、ゴミ傷を検出する。
前述のように、1つの画像の大部分はゴミ傷を有さない画素である。また、ゴミ傷を有さなければ、同色に対応し、かつ異なる波長で読み取った二つの画像は、発色特性と読み取り波長差との関係に応じたものになる。
従って、例えば、可視像を発色のピークで読み取り、参照画像を同色に対応する異なる波長で読み取り、各画素毎に可視像濃度と参照画像濃度との相関関係を求めることにより、図6(B)に示されるような、この画像における可視像濃度と参照画像濃度との適正な相関関係を知見できる。その上で、ゴミ傷に起因する画像欠陥を有する画素は、この相関から外れ、通常、参照画像の濃度がこの相関よりも高くなるので、この相関から外れる画素をゴミ傷として検出する。すなわち、前述のIR画像を読み取る方法は、この方法を極端にしたものと考えることができる。
【0046】
同じ画素であれば、残留銀による影響は、可視像も参照画像も同様に受ける。従って、本方法においても、残留銀に起因する誤検出を生じることが無く、ゴミ傷に起因する画像欠陥を高精度に検出できる。
また、IR光のような長波長の光を用いる必要がなく、可視光を用いて、ゴミ傷を検出できる。可視光とIR光とを扱う光学系は、軸上収差等の関係で設計が非常に困難であるのは周知の通りであるが、本方法によれば、これを解決し、可視光のみを用いる光学系と同様に設計を行えばよい。
さらに、一部のフィルム(例えばイーストマンコダック社のコダクローム等)は、IR等の非可視像に吸収を有するので、従来から利用されているIRを用いた画像欠陥の検出を利用することができないが、可視光を用いる本方法によれば、何ら問題無く、ゴミ傷に起因する画像欠陥を検出できる。
【0047】
すなわち、本方法によれば、残留銀に起因する誤検出を無くした高精度な画像欠陥の検出を可能にした上で、さらに、参照画像の読み取り光源(フィルタ)等の光学系の選択幅の拡大、光学系の設計容易化、フィルム種による非適正を無くす等、各種の効果を得ることができる。
【0048】
このようなゴミ傷検出は、R、GおよびBの何れの色で行ってもよい。
ここで、参照画像の読み取りは、可視像の読み取りと同色に対応し、かつ、異なる波長であればよいが、発色濃度の差が大きい程、画像欠陥の検出が容易かつ高精度になる傾向にある。その反面、参照画像の読み取り波長が、他の色の発色が有る領域であると、可視像の読み取りと発色濃度の差が大きくても、逆に、画像欠陥の検出が困難になる。従って、参照画像の読み取り波長は、これらを加味して、適宜、決定すればよい。
【0049】
前述のように、ゴミ傷修正部50で画像欠陥を修正されたR、GおよびBの可視像データは、次いで、画像補正部54で処理される。
画像補正部54は、デジタルのプリントシステムで施されている、各種の画像処理を行う部位で、一例として、画像の拡縮処理(電子変倍処理)、シャープネス(鮮鋭度強調)処理、濃度補正、色補正(彩度補正)、覆い焼き処理(画像濃度ダイナミックレンジの拡縮処理)、階調変換等の画像処理を施す。
【0050】
画像補正部54で各種の画像処理を施された処理された可視像データは、データ変換部58に出力される。
データ変換部58は、例えば、三次元(3D)−LUT等を用いて可視像データを変換して、プリンタ22におけるプリント出力に対応する画像データとして、プリンタ22に出力する。
なお、プリントシステム10においては、画像補正部54で処理した可視像データを各種の画像フォーマット、例えばJPEGのフォーマットの画像ファイrに変換して、画像ファイルとしてCD−RやMD(ミニディスク)等の記録媒体に出力してもよく、また、プリントと画像ファイルの両方を出力してもよい。
【0051】
プリンタ22は、公知のカラープリンタで、例えば、供給されたR、GおよびBの画像データに応じて変調したレーザビームによって、印画紙を二次元的に走査露光して潜像を記録し、露光済の感光材料に、現像/定着/水洗の湿式現像処理を施して潜像を顕像化した後、乾燥して、プリントとして出力する。
【0052】
以上、本発明の画像欠陥の検出方法および画像読取装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
例えば、以上の例では、写真フィルムを対象として画像読取を行って、ゴミ傷に起因する画像欠陥の検出を行ったが、本発明は、これに限定はされず、印画紙や印刷物等の反射原稿等の画像読取にも、好適に利用可能である。
【0053】
【発明の効果】
以上、詳細に説明したように、本発明の画像欠陥の検出方法および画像読取装置によれば、フィルムに撮影された画像等を光電的に読み取る画像読取において、フィルムの種類や画像の状態によらず、フィルムのゴミ傷を誤検出なく高精度に検出することができ、従って、ゴミ傷を好適に修正した高画質な画像を、良好な生産性で出力できる。しかも、本発明によれば、利用可能なフィルム種の拡大、光源やフィルタ等の光学部材の選択幅の拡大、光学系の設計容易化等も図ることができる。
【図面の簡単な説明】
【図1】 本発明の画像読取装置を利用するデジタルプリントシステムの一例のブロック図である。
【図2】 図1に示されるデジタルフォトプリントシステムのスキャナの概念図である。
【図3】 図1に示されるデジタルフォトプリントシステムの画像処理部のブロック図である。
【図4】 (A),(B),(C)および(D)は、本発明における画像欠陥の検出を説明するためのグラフである。
【図5】 本発明における画像欠陥の検出、および修正処理を説明するためのフローチャートである。
【図6】 (A),(B),(C)および(D)は、本発明における画像欠陥の検出の別の例を説明するためのグラフである。
【符号の説明】
10 (デジタルフォト)プリントシステム
12 スキャナ
14 画像処理部
18 ディスプレイ
20 操作系
22 プリンタ
24 光源
26 ドライバ
28 拡散ボックス
30 キャリア
32 結像レンズユニット
34 読取部
36 アンプ
38 A/D変換器
40 搬送ローラ対
42 マスク
44 データ補正部
46 Log変換器
48 FM(フレームメモリ)
50 ゴミ傷修正部
54 画像補正部
58 データ変換部

Claims (8)

  1. 原稿画像が担持するカラーの可視像を読み取るための読取光によって、前記原稿画像を読み取って、可視像信号を取得するとともに、非可視光によって、前記原稿画像を読み取って、参照画像信号を取得し、
    取得した前記可視像信号および前記参照画像信号に基づいて、読み取った全ての画素について、前記可視像信号から前記参照画像信号を減算してなる可視色素像信号を求めて、前記可視色素像信号の濃度に対する前記参照画像信号の濃度相関的な画素分布を生成し、
    生成した前記画素分布に基づいて、前記読み取った全ての画素における同一の可視色素像信号を有する画素の群において最小の前記参照画像信号を検出してその群における前記原稿画像に残留する残留銀に起因する残留銀像の信号と
    各画素の前記参照画像信号から、その画素が属する群の前記残留銀像の信号を減算して、補正参照画像信号を得、
    前記補正参照画像信号、および、前記原稿画像に付着した異物または原稿の傷の検出基準として予め設定された前記参照画像信号の閾値に基づいて、前記原稿画像に付着した異物および原稿の傷に起因する画像欠陥を検出する、画像欠陥の検出方法。
  2. 原稿画像が担持するカラーの可視像を読み取るための読取光によって、前記原稿画像を読み取って、可視像信号を取得するとともに、非可視光によって、前記原稿画像を読み取って、参照画像信号を取得し、
    取得した前記可視像信号および前記参照画像信号に基づいて、読み取った全ての画素について、前記可視像信号から前記参照画像信号を減算してなる可視色素像信号を求めて、前記可視色素像信号の濃度に対する前記参照画像信号の濃度相関的な画素分布を生成し、
    生成した前記画素分布に基づいて、前記読み取った全ての画素における同一の可視色素像信号を有する画素の群において最小の前記参照画像信号を検出してその可視色素像信号を有する画素における前記原稿画像に残留する残留銀に起因する残留銀像の信号とし、
    前記原稿画像に付着した異物または原稿の傷の検出基準として予め設定された前記参照画像信号の各可視色素像信号に対応する閾値に、その可視色素像信号を有する画素における前記残留銀像の信号の分を加算して、前記閾値を変更し、
    前記参照画像信号および前記変更された閾値に基づいて、前記原稿画像に付着した異物および原稿の傷に起因する画像欠陥を検出する、画像欠陥の検出方法。
  3. 前記原稿画像がネガフィルムであり、
    前記可視像信号は、R、G、Bの3色からなるものであって、
    前記ネガフィルムの層構成の順に、下層に配される感光層に対応する色の信号ほど大きい係数を、前記R、G、Bの3色の前記可視像信号にかけて、その総和を取ったものから求めた前記可視色素像信号に対する前記参照画像信号の画素分布成する、請求項1または2に記載の画像欠陥の検出方法。
  4. 前記画素分布の生成は、R、G、Bのいずれか一色の前記可視像信号と、前記参照画像信号とに基づいて行う、請求項1または2に記載の画像欠陥の検出方法。
  5. 原稿画像を光電的に読み取る画像読取装置であって、
    前記原稿画像が担持するカラーの可視像を読取光によって読み取る第1読取手段、および、非可視光によって前記原稿画像を読み取って参照画像を得る第2読取手段を有する画像読取手段と、
    前記画像読取手段が読み取った前記可視像の可視像信号および前記参照画像の参照画像信号に基づいて、読み取った全ての画素について、前記可視像信号から前記参照画像信号 を減算してなる可視色素像信号を求めて、前記可視色素像信号の濃度に対する前記参照画像信号の濃度相関的な画素分布を生成し、生成した前記画素分布から得られる、前記読み取った全ての画素における同一の可視色素像信号を有する画素の群の中で最小の前記参照画像信号を、その群における前記原稿画像に残留する残留銀に起因する残留銀像の信号であるとして、各画素の前記参照画像信号から、その画素が属する群の前記残留銀像の信号を減算して得られる補正参照画像信号を得、前記補正参照画像信号と、前記原稿画像に付着した異物または原稿の傷の検出基準として予め設定された前記参照画像信号の閾値とに基づいて、前記原稿画像に付着した異物および前記原稿の傷に起因する画像欠陥を検出する検出手段とを有することを特徴とする画像読取装置。
  6. 原稿画像を光電的に読み取る画像読取装置であって、
    前記原稿画像が担持するカラーの可視像を読取光によって読み取る第1読取手段、および、非可視光によって前記原稿画像を読み取って参照画像を得る第2読取手段を有する画像読取手段と、
    前記画像読取手段が読み取った前記可視像の可視像信号および前記参照画像の参照画像信号に基づいて、読み取った全ての画素について、前記可視像信号から前記参照画像信号を減算してなる可視色素像信号を求めて、前記可視色素像信号の濃度に対する前記参照画像信号の濃度相関的な画素分布を生成し、生成した前記画素分布から得られる、前記読み取った全ての画素における同一の可視色素像信号を有する画素の群の中で最小の前記参照画像信号を、その可視色素像信号を有する画素における前記原稿画像に残留する残留銀に起因する残留銀像の信号であるとして、前記原稿画像に付着した異物または原稿の傷の検出基準として予め設定された前記参照画像信号の各可視色素像信号に対応する閾値に、その可視色素像信号を有する画素における前記残留銀像の信号の分を加算して、前記閾値を変更し、前記参照画像信号と、前記変更された閾値とに基づいて、前記原稿画像に付着した異物および前記原稿の傷に起因する画像欠陥を検出する検出手段とを有することを特徴とする画像読取装置。
  7. 前記原稿画像がネガフィルムであり、
    前記可視像信号は、R、G、Bの3色からなるものであって、
    前記検出手段は、前記ネガフィルムの層構成の順に、下層に配される感光層に対応する色の信号ほど大きい係数を、前記R、G、Bの3色の前記可視像信号にかけて、その総和を取ったものから求めた前記可視色素像信号に対する前記参照画像信号の画素分布成する、請求項5または6に記載の画像読取装置
  8. 前記検出手段は、R、G、Bのいずれか一色の前記可視像信号と、前記参照画像信号とに基づいて、前記画素分布を生成する請求項またはに記載の画像読取装置
JP2001160238A 2001-05-29 2001-05-29 画像欠陥の検出方法および画像読取装置 Expired - Fee Related JP4143279B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001160238A JP4143279B2 (ja) 2001-05-29 2001-05-29 画像欠陥の検出方法および画像読取装置
EP02011747A EP1263206A3 (en) 2001-05-29 2002-05-27 Image reading apparatus
US10/156,769 US7035437B2 (en) 2001-05-29 2002-05-29 Image reading apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001160238A JP4143279B2 (ja) 2001-05-29 2001-05-29 画像欠陥の検出方法および画像読取装置

Publications (2)

Publication Number Publication Date
JP2002354258A JP2002354258A (ja) 2002-12-06
JP4143279B2 true JP4143279B2 (ja) 2008-09-03

Family

ID=19003684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001160238A Expired - Fee Related JP4143279B2 (ja) 2001-05-29 2001-05-29 画像欠陥の検出方法および画像読取装置

Country Status (3)

Country Link
US (1) US7035437B2 (ja)
EP (1) EP1263206A3 (ja)
JP (1) JP4143279B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1289267A3 (en) * 2001-08-28 2004-10-06 Fuji Photo Film Co., Ltd. Image reader and image reading method
JP4186699B2 (ja) * 2003-05-16 2008-11-26 株式会社ニコン 撮像装置および画像処理装置
JP4738778B2 (ja) * 2003-10-15 2011-08-03 富士通テン株式会社 画像処理装置、運転支援装置および運転支援システム
US7359545B2 (en) * 2003-12-31 2008-04-15 Tokyo Electron Limited Method and system to compensate for lamp intensity differences in a photolithographic inspection tool
US9247090B2 (en) 2005-10-20 2016-01-26 Hewlett-Packard Development Company, L.P. Printing and printers
US8115972B2 (en) * 2007-05-30 2012-02-14 Hewlett-Packard Development Company, L.P. Color scanning
CN109155809A (zh) * 2016-03-04 2019-01-04 惠普发展公司,有限责任合伙企业 使用参考图像校正捕获的图像

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5266805A (en) 1992-05-05 1993-11-30 International Business Machines Corporation System and method for image recovery
US5509086A (en) * 1993-12-23 1996-04-16 International Business Machines Corporation Automatic cross color elimination
US6442301B1 (en) * 1997-01-06 2002-08-27 Applied Science Fiction, Inc. Apparatus and method for defect channel nulling
JPH1175039A (ja) 1997-06-17 1999-03-16 Fuji Photo Film Co Ltd 画像読取装置
US6075590A (en) * 1998-03-02 2000-06-13 Applied Science Fiction, Inc. Reflection infrared surface defect correction

Also Published As

Publication number Publication date
US7035437B2 (en) 2006-04-25
EP1263206A2 (en) 2002-12-04
US20020181759A1 (en) 2002-12-05
JP2002354258A (ja) 2002-12-06
EP1263206A3 (en) 2004-10-06

Similar Documents

Publication Publication Date Title
JP4056670B2 (ja) 画像処理方法
US6751349B2 (en) Image processing system
US20040027618A1 (en) Image defect detecting method
US7200280B2 (en) Image processing apparatus
US7113619B1 (en) Image reading method, image reading apparatus and method of discriminating defect of image data
JP2001358928A (ja) 画像修正装置
JP4143279B2 (ja) 画像欠陥の検出方法および画像読取装置
JP2004061500A (ja) 画像欠陥検出方法
US7061000B2 (en) Image processing apparatus for detecting and correcting defects
JP2000209396A (ja) 画像読取方法および装置
US7292379B2 (en) Image reader and image reading method
JP4121807B2 (ja) 画像読取装置および画像読取方法
JP2003179750A (ja) 画像処理装置
JP2000341473A (ja) 傷補正画像処理方法およびそのための装置
JP2000059637A (ja) 色補正方法および画像読取装置
JP3775312B2 (ja) 画像処理方法、画像処理プログラム、および該プログラムを記録したコンピュータ読取り可能な記録媒体
JP2001148769A (ja) 画像読取方法および装置ならびに画像データの欠陥判別方法
JP2006253798A (ja) 画像処理方法及び画像処理装置
JP4731695B2 (ja) 多点測距カメラを利用した画像処理システム
JPH11220621A (ja) 画像読取装置
JP3313141B2 (ja) カラー画像情報処理方法
JP2006246199A (ja) 画像読取装置
JP2000092326A (ja) 濃度特性補正方法および色補正方法
JP4652949B2 (ja) 画像生成方法および画像生成装置
JP2003110801A (ja) 画像読取装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060106

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080610

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080616

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130620

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees