JP3714282B2 - Image processing method, image processing program, and computer-readable recording medium on which image processing program is recorded - Google Patents
Image processing method, image processing program, and computer-readable recording medium on which image processing program is recorded Download PDFInfo
- Publication number
- JP3714282B2 JP3714282B2 JP2002146555A JP2002146555A JP3714282B2 JP 3714282 B2 JP3714282 B2 JP 3714282B2 JP 2002146555 A JP2002146555 A JP 2002146555A JP 2002146555 A JP2002146555 A JP 2002146555A JP 3714282 B2 JP3714282 B2 JP 3714282B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel value
- visible light
- light image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003672 processing method Methods 0.000 title claims description 35
- 238000000611 regression analysis Methods 0.000 claims description 31
- 239000000428 dust Substances 0.000 claims description 9
- 230000015556 catabolic process Effects 0.000 claims description 7
- 238000006731 degradation reaction Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 description 47
- 238000004364 calculation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000007423 decrease Effects 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000002411 adverse Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、写真用フィルム等の記録媒体に記録された画像を、スキャナ等の画像読取装置によって読み取られた画像データに対し、画像処理を行なう方法に関するものである。具体的には、本発明は、前記画像データを用いて、前記記録媒体に付いた傷やごみの影響を除去する処理を行う方法に関するものである。
【０００２】
【従来の技術】
ネガフィルム、ポジフィルム等の写真用フィルム（以下、「フィルム」と略称する。）に記録された画像を印画紙へ出力するプリンタには、フィルムの画像を透過した光を用いて印画紙を露光するアナログ方式のプリンタと、フィルムの画像を透過した光がＣＣＤ(Charge Coupled Device)などで光電変換され、さらにデジタル化されて画像データを作成し、この画像データに基づいて変調した光を用いて印画紙を露光するデジタル方式のプリンタとがある。
【０００３】
両方式とも、フィルムに傷やごみが（以下、「傷」と総称する。）付いていると、印画紙に焼き付けられた画像に濃度変動や欠落などの不具合が生じる場合がある。このため、従来は、フィルムを透過させる光として拡散光が両方式ともに利用されている。
【０００４】
デジタル方式のプリンタの場合は、さらに、デジタル化された画像データに画像処理を施すことにより、傷の影響を効果的に除去することが可能である。このような画像処理方法は、例えば、特開平6-28468号公報（公開日：平成６年２月４日（1994.2.4））、特開2000-341473号公報（公開日：平成１２年１２月８日（2000.12.8））、特開2001-157003号公報（公開日：平成１３年６月８日（2001.6.8））などに開示されている。
【０００５】
これらの公報に開示された画像処理方法では、フィルムに赤外光を透過させている。フィルムを透過する赤外光は、フィルムに付いた傷により散乱されるが、フィルムの画像を形成する色素には、基本的に影響を受けることがない。したがって、フィルムを透過した赤外光により形成される赤外画像には、傷の情報のみが含まれることになり、この赤外画像を用いることにより、傷の影響を除去することができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記デジタル方式のプリンタには、光源とＣＣＤとの間の光軸上に赤外分光フィルタが備えられており、上記赤外分光フィルタの特性によっては、フィルムからＣＣＤへ入射する赤外光の波長領域が若干シフトすることがある。さらに、フィルムの種類、メーカー、感度などによって、フィルムが吸収する赤色成分光の波長領域は、僅かに異なるものである。したがって、使用するフィルムの種類等とプリンタに設置されている赤外分光フィルタとの組み合わせによっては、図６に示すように、上記赤外光の波長領域とフィルムが吸収する赤色成分光の波長領域とに重なりが生じたり、生じなかったりする。つまり、ＣＣＤによって読み取られる赤外画像には、赤色成分の画像が微妙に含まれることがあり、この現象は、「赤色リーケージ」と呼ばれている。したがって、この赤色リーケージによって赤外画像に含まれた赤成分は、傷やほこりと同様に赤外光の画素値を低下させるので、上記赤外画像における傷の情報に悪影響を及ぼす。
【０００７】
すなわち、赤外画像から赤色リーケージ分を除去しなければ、上記赤外画像に、傷の情報以外の余分な情報が含まれることになり、上述した傷の影響を除去する画像処理に悪影響を及ぼすこととなる。したがって、上述した傷の除去処理の前提として、上記赤外画像から赤色リーケージ分を除去する処理が必要とされる。
【０００８】
ここで、上記赤外画像に赤色リーケージが生じている場合、上記写真フィルムから得られる赤画像の画素値と赤外画像の画素値との間で相関関係が生じている。この相関関係を利用し、最小二乗法（回帰計算）などの統計計算によって、赤色リーケージ分の画素値を算出する方法がある。しかし、赤外画像においては、傷のある画素（以下、「劣化画素」と称する）が多いほど、傷による画素値の低下を無視することができなくなり、正確な赤色リーケージ分を求めるのが困難になるという問題が生じる。
【０００９】
そこで、赤外画像から傷のない画素（以下、「非劣化画素」と称する）の画素値を求めることができれば、非劣化画素値を閾値として、閾値以上の画素の画素値のみを上記統計計算の対象とすることにより、上記問題点を解決することができる。この非劣化画素値に近い値としては、赤外画像における画素値の平均値（以下、「平均画素値」と称する。）がある。
【００１０】
従来は、赤外画像について画素値が５．７以上の画素を対象に平均画素値を求め、上記平均画素値の約９７パーセントの値を上記閾値としていた。しかしながら、前述のように、劣化画素は非劣化画素よりも画素値が小さくなるから、フィルムに傷が多いと赤外画素の平均画素値は低下することになり、以下に示す問題が生じる。
【００１１】
図７(ａ)および(ｂ)は、フィルムの傷が少ない場合の赤外画像と、該赤外画像における画素値の度数分布とをそれぞれ示している。同様に、図８(ａ)および(ｂ)は、フィルムの傷が多い場合の赤外画像と、該赤外画像における画素値の度数分布とをそれぞれ示している。
【００１２】
図７(ａ)に示されるように、フィルムの傷が少ない場合には、赤外画像における画素値の度数分布は、図７(ｂ)に示されるように、非劣化画素値付近に集中している。このとき、赤外画像の平均画素値（赤外画素値が５．７以上に係る画素の平均画素値）は、図には示していないが、非劣化画素値に近い値となる。
【００１３】
しかしながら、図８(ａ)に示されるように、フィルムの傷が多い場合には、赤外画像における画素値の度数分布は、図８(ｂ)に示されるように、非劣化画素値から画素値の小さい方（同図の左側）に移っている。このとき、赤外画像の平均画素値（赤外画素値が５．７以上に係る画素の平均画素値）は、非劣化画素値よりも小さい値となる。この平均画素値を閾値として劣化画素の判別を行うと、上記平均画素値と非劣化画素値との間の画素値を有する画素は、劣化画素であるにもかかわらず劣化画素であると判別されなくなる。これにより、劣化画素値が上記統計計算に用いられるため、赤色リーケージ分の画素値を精度よく求めることができず、上記赤外画像から赤色リーケージ分の画素値を精度よく除去することができない。
【００１４】
本発明は上記の問題点を解決するためになされたもので、その目的は、傷の影響を除去する処理に用いられる赤外画像において、劣化画素の多少にかかわらず、赤色リーケージ分の画素値を精度よく除去できる画像処理方法を提供することにある。
【００１５】
【課題を解決するための手段】
本発明の画像処理方法は、上記課題を解決するために、記録媒体から非可視光を介して取得され、かつ上記記録媒体に付いた傷やごみによる画質劣化の情報を含む非可視光画像について、可視光画像からのリーケージによる影響を除去する画像処理方法において、記録媒体から可視光を介して取得される可視光画像と、非可視光画像とにおける互いに対応する画素に関して、上記可視光画像の画素値から上記非可視光画像の画素値を減算して上記非可視光画像の平均画素値を加算した第１の変数と、上記可視光画像の画素値である第２の変数とを用いて第１の回帰分析を行い、仮非劣化画素値を算出するステップと、仮非劣化画素値から閾値を決定し、非可視光画像の画素値が上記閾値以上である画素のみを対象として、可視光画像の画素値である第３の変数と、上記非可視光画像の画素値である第４の変数とを用いて第２の回帰分析を行うことにより、上記リーケージの割合を取得するステップと、上記非可視光画像の画素値から、上記可視光画像の画素値に上記リーケージの割合を乗じた値を減算することにより、上記非可視光画像を補正するステップとを備えることを特徴とする。
【００１６】
非劣化画素値とは、非可視光画像における上記画質劣化の無い画素の画素値をいう。すなわち、仮非劣化画素値とは、仮の上記画質劣化の無い画素の画素値をいう。
【００１７】
上記可視光画像の画素値から上記非可視光画像の画素値を減算し、上記非劣化画素値を加算できれば、傷による影響が除去された可視光の画像の画素値が得られる。これは、傷による画素値の低下分は、可視光画像および非可視光画像のいずれにおいてもほぼ等しいことと、非劣化画素値と可視光画像の画素値との差は、傷による影響分と考えることができるからである。
【００１８】
しかしながら、上記手順における第１の変数によれば、上記非劣化画素値は未だ決定されていないので、上記非劣化画素値の代わりに、上記非劣化画像の平均画素値を用いている。この場合、上記非可視光画像の平均画素値は、傷の影響により上記非劣化画素値よりも低下しているから、第１の変数は、傷による影響が除去された可視光の画像の画素値よりも低下している。
【００１９】
そこで、上記手順では、上記可視光画像と上記非可視光画像とにおける互いに対応する画素に関して、第１の変数と、上記可視光画像の画素値である第２の変数とを用いて第１の回帰分析を行っている。これにより、上記非可視光画像の平均画素値が上記非劣化画素値から低下した低下分を算出することができる。したがって、上記非可視光画像の平均画素値に上記低下分を加算することにより、画像の傷の多少に依存せず適正な非劣化画素値、すなわち、上記非劣化画素値に準じた値を算出することができる。また、この値は、上記平均画素値および、回帰分析により算出された上記差分から求められるから、ノイズなどによる画素値の変動やフィルムの種類の相違（ネガ／ポジ）に対して安定している。したがって、この値を仮非劣化画素値として、劣化／非劣化画素を区別するための閾値とすることにより、非可視光画像において、画像ごとに劣化画素と非劣化画素とを精度よく判別することができる。
【００２０】
また、非可視光画像において、可視光画像からのリーケージが含まれている場合、非可視光画像と可視光画像とで相関関係が生じている。したがって、上記可視光画像と上記非可視光画像とにおける互いに対応する画素に関して、上記可視光画像の画素値である第３の変数と、上記非可視光画像の画素値である第４の変数とを用いて回帰分析を行うことにより、可視光画像に含まれる上記リーケージの割合を求めることができる。ここで、第２の回帰分析では、上記閾値以上の赤外画素値である画素のみを上記回帰分析の対象にしているので、傷による影響を受けずに、上記リーケージ割合を精度よく算出することができる。
【００２１】
そして、上記非可視光画像の画素値から、上記可視光画像の画素値に上記リーケージ割合を乗じた値を減算する。ここで、可視光画像の画素値に上記リーケージ割合を乗じた値は、非可視光画像へのリーケージ分に相当する。したがって、上記減算により、上記非可視光画像に含まれる、上記可視光画像からのリーケージ分を除去することができる。すなわち、劣化画素の多少に関わらず、上記非可視光画像について、可視光画像からのリーケージによる影響を精度よく除去することができる。
【００２２】
本発明の画像処理方法は、上記の手順に加えて、第１の変数が第２の変数以下である画素のみを第１の回帰分析の対象としてもよい。
【００２３】
第１の変数は、傷による影響が除去された可視光の画像の画素値よりも低下したものであるから、上記可視光画像の画素値である第２の変数が第１の変数よりもさらに小さい場合には、対応する画素は傷のある画素である可能性が著しく高い。
【００２４】
したがって、上記手順によれば、第２の変数が第１の変数以上である画素、すなわち第１の変数が第２の変数以下である画素のみを第１の回帰分析の対象とすることにより、傷のある画素を排除できるから、第１の回帰分析により上記低下分を精度よく算出することができ、上記した仮非劣化画素値の精度を向上することができる。
【００２５】
本発明の画像処理方法は、上記の手順に加えて、上記仮非劣化画素値の９５〜９９％値を上記閾値として決定してもよい。
【００２６】
非可視光画像に含まれるノイズ等によって、非劣化画素値は若干変動するものである。したがって、仮非劣化画素値の９５〜９９％値を上記閾値とすることにより、第２の回帰分析において、非劣化画素を漏れなく第２の回帰分析の対象とすることができる。
【００２７】
本発明の画像処理方法は、上記の手順に加えて、上記非可視光画像の画素値から、上記可視光画像の画素値に上記リーケージの割合を乗じた値を減算して得られた値を、（１−上記リーケージ割合）で除算することにより、上記非可視光画像の画素値を補正してもよい。
【００２８】
上記非可視光画像の画素値から、上記可視光画像の画素値に上記リーケージの割合を乗じた値を減算すると、上記非可視光画像に含まれる、上記可視光画像からのリーケージ分を除去することができるのだが、非可視光画像の画素値が低下する。
【００２９】
ところが、上記手順によれば、さらに、（１−上記リーケージ割合）で除算することにより、リーケージ分を除去した後の非可視光画像の画素値について正規化を行っている。このような正規化を行うことにより、上述した非可視光画像の画素値の低下を防ぎ、非可視光画像と可視光画像とを比較して、非可視光画像から、画像劣化の情報を精度よく検出することができる。
【００３０】
本発明の画像処理方法は、上記の手順に加えて、上記可視光画像と、補正された非可視光画像とにおける互いに対応する画素に関して、第１の回帰分析を実行することにより、本非劣化画素値を取得するステップをさらに備えてもよい。
【００３１】
補正された非可視光画像は、可視光画像からのリーケージによる影響が除去されていて、画像劣化の情報を精度よく含んでいる。したがって、補正された非可視光画像と上記可視光画像とで、第１の回帰分析を行うことにより得られる値は、上述した仮非劣化画素値よりも非劣化画素値に近い値となる。したがって、ここで得られる値を本非劣化画素値として決定すると、上記リーケージによる影響が除去された高精度の本非劣化画素値が得られることになる。
【００３２】
本発明の画像処理方法は、上記の手順に加えて、上記可視光画像および上記非可視光画像における互いに対応する画素に関して、本非劣化画素値から上記非可視光画像の画素値を減算して得られる値を、上記可視光画像の画素値に加算してもよい。
【００３３】
上述のように、上記リーケージによる影響が除去された高精度の本非劣化画素値を得ることができれば、本非劣化画素値から上記非可視光画像の画素値を減算して得られる値を、上記可視光画像の画素値に加算することにより、上記可視光画像から、上記記録媒体に付いた傷やごみによる画質劣化による影響を精度よく除去することが可能になる。
【００３４】
本発明の画像処理方法では、上記の手順に加えて、上記非可視光画像は、記録媒体から赤外光を介して取得される赤外画像であり、上記可視光画像は、赤色成分の画像であってもよい。
【００３５】
分光スペクトルにおいて、赤色光領域と赤外光領域とは互いに隣接するため、赤外画像へのリーケージは、赤色成分の画像であることが多い。したがって、上記手順を実行することにより、特に、赤色成分のリーケージ分を赤外画像から効率よく除去することが可能になる。
【００３６】
また、上記記録媒体は写真フィルムであってもよい。さらに、上記画像処理方法は、コンピュータに実行させることも可能である。また、上記の画像処理プログラムをコンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で、上記画像処理方法を実行させることができる。
【００３７】
【発明の実施の形態】
本発明は、写真フィルム（記録媒体）から取り込んだ画像データについて、フィルムの傷による影響を除去するための赤外画像（非可視光画像）に含まれる赤色リーケージ分の除去に関するものである。したがって、本実施の形態では、上記画像データの処理および本発明が実行されるシステム、フィルムの傷による影響を除去する処理、赤色リーケージを除去する処理を順に説明する。
【００３８】
本発明の実施の一形態について図に基づいて説明すれば、以下のとおりである。図２は、本実施形態の画像出力システムの概略構成を示すブロック図である。該画像出力システムは、フィルムスキャナ１と、画像処理装置２と、写真焼付装置３とを備えた構成となっている。
【００３９】
フィルムスキャナ１は、例えば、光源からの光を、写真フィルムであるネガフィルムに照射し、その透過光をＣＣＤなどで受光することにより、ネガフィルムに記録された画像を読み取るものである。フィルムスキャナ１は、読み取った画像データを赤色成分、緑色成分、および青色成分ごとに画像処理装置２に出力する。なお、以下では、赤色成分、緑色成分、および青色成分の画像データを、それぞれ「赤画像」、「緑画像」、および「青画像」と称する。
【００４０】
さらに、本実施形態では、フィルムスキャナ１は、赤外領域の透過光をＣＣＤなどで受光することにより、ネガフィルムの傷情報を読み取るものである。フィルムスキャナ１は、読み取った傷データを画像処理装置２に出力する。なお、以下では、傷データを「赤外画像」と称する。
【００４１】
写真焼付装置３は、画像処理装置２によって処理がなされた画像データに基づいて感光材料である印画紙を露光することにより、印画紙上に画像を焼き付けるものである。デジタル画像データに応じた光を印画紙に照射するヘッドとしては、デジタル画像データに応じて画素ごとに印画紙への照射光を変調できる光変調素子が用いられる。このような光変調素子としては、例えばＰＬＺＴ露光ヘッド、ＤＭＤ（デジタル・マイクロミラー・デバイス）、ＬＣＤ（液晶表示装置）、ＬＥＤ(Light Emitting Diode)パネル、レーザー、ＦＯＣＲＴ(Fiber Optic Cathode Ray Tube)、ＣＲＴ(Cathode Ray Tube)等が挙げられる。
【００４２】
なお、写真焼付装置３は、ネガフィルムのスキャニングと印画紙の露光とを両方行なうことができるオートプリンタとして構成してもよい。この場合、画像出力システムを、画像の読み取りから焼付けまでを行うオートプリンタと、ＰＣ(Personal Computer)などによって構成される画像処理装置２とを接続した構成とすることにより、システムの簡素化を図ることができる。
【００４３】
画像処理装置２は、フィルムスキャナ１から送られた画像データおよび赤外画像（傷データ）を用いて、傷のある画素か否かを判別し、傷のある画素に対して、傷による影響を除去するように画像データが処理され（以下、傷処理とする）、傷処理された画像データを写真焼付装置３に供給するものである。以下、画像処理装置２における補正処理方法について図１および図３に基づいて説明する。
【００４４】
まず、図３に示すように、フィルムスキャナ１から赤外画像を取得する（ステップ１０、以降、Ｓ１０と称する）。次に、赤外画像を用いて、傷のない画素の画素値である非劣化画素値を決定する（Ｓ１１）。この決定処理の詳細については後述する。
【００４５】
次に、非劣化画素値から、赤外画像における各画素の画素値を減算することにより、傷による各画素の画素値の損失分を算出する（Ｓ１２）。そして、赤画像、緑画像、および青画像のそれぞれに対し、前記損失分を画素ごとに加算することにより、画像データの傷処理が終了し、傷処理された画像データを写真焼付装置３に供給する（Ｓ１３）。
【００４６】
なお、ステップＳ１２・Ｓ１３では、損失分の算出や加算は、傷があると判断された画素に対してのみ行なうこともできる。なぜなら、傷がないと判断された画素における損失分は、フィルムの傷によるものではなく、ノイズ、ＣＣＤカメラの画素ごとの感度、フィルムのむらなどによるものであると考えられるからである。また、傷処理された画像データに対し、鮮鋭化処理などの他の画像処理を施してから写真焼付装置３に出力することもできる。
【００４７】
次に、非劣化画素値の決定処理（Ｓ１１）の詳細について図１に基づいて説明する。本実施形態の回帰分析は、単回帰のモデルを用いて最小二乗法により分析が行なわれるものである。
【００４８】
まず、赤外画像における全画素の画素値の平均値である赤外平均値Ａｖｅを算出する（Ｓ２０）。前述のように、傷の多い画像は、赤外平均値Ａｖｅが低下することになる。
【００４９】
次に、フィルムスキャナ１から赤画像（可視光画像）を取得する（Ｓ２１）。なお、赤画像が、既にフィルムスキャナ１から画像処理装置２に供給され、画像処理装置２の記憶部（図示せず）に記憶されている場合には、該記憶部から赤画像を読み出せばよい。
【００５０】
次に、第１の変数Ｘ＝(赤画像の画素値)−(赤外画像の画素値)＋(赤外平均値Ａｖｅ)と、第２の変数Ｙ＝(赤画像の画素値)とを画素ごとに求め（Ｓ２２）、最小二乗法を用いて、回帰式Ｙ＝ａＸ＋ｂの係数ａ，ｂを求める第１の回帰分析を行う（Ｓ２３）。なお、前記Ｘ，Ｙの定義から、係数ａ（傾き）がほぼ１であることは明らかである。
【００５１】
さらに、係数ｂ（Ｙ切片）は、赤外平均値Ａｖｅが非劣化画素値（以下、ＣＦ値とする）から低下した低下分となる。ここで、ＣＦ＝Ａｖｅ+ｂの演算式により、すなわち赤外平均値Ａｖｅにｂを加算した値からＣＦ値を算出し、ここで得たＣＦ値を仮非劣化画素値（仮ＣＦ値）として設定する（Ｓ２４）。
【００５２】
なお、第１の変数Ｘが第２の変数Ｙ以下である画素のみをＳ２３の回帰計算の対象としてもよい。これは、第１の変数は、傷による影響が除去された赤画像の画素値よりも低下したものであるから、上記赤画像の画素値である第２の変数が第１の変数よりもさらに小さい場合、対応する画素は傷のある画素である可能性が著しく高く、このような画素を回帰計算から除外することで、算出される仮ＣＦ値の精度を向上させるためである。
【００５３】
さらに、仮ＣＦ値の９６％値を閾値として決定する（Ｓ２５）。なお、ＣＦは対数であることから、閾値＝ＣＦ＋ｌｏｇ（０．９６）の式に仮ＣＦ値を代入することで、閾値を算出することができる。ここで、９６％としているのは、ＣＣＤから生じるノイズ等によりＣＦ値に多少変動があることから、明らかに劣化画素と判断できる値がＣＦ値の９６％未満であることが経験的に認められていることによる。なお、ここでは、上記仮ＣＦ値の９６％値を閾値としているが、９５％から１００％までの範囲であれば、許容範囲内であることも経験的に認められている。
【００５４】
つぎに、上記閾値以上の赤外画素値に係る画素のみを対象にして、第３の変数ｘ＝（赤画像の画素値）と、第４の変数ｙ＝（赤外画像の画素値）とを画素ごとに求める（Ｓ２６）。そして、最小二乗法を用いて、回帰式ｙ＝ｃｘの係数ｃを求める第２の回帰分析を行う。算出されたｃ値は、赤画像に含まれる赤色リーケージ分の画素値の割合（以下、リーケージ割合とする）に相当するので、ｃをリーケージ割合とする（Ｓ２７）。ここで、赤色リーケージとは、赤外光の波長領域とフィルムが吸収する赤色成分光の波長領域とに重なりが生じ、赤外画像に赤色成分の画像が含まれてしまう現象をいう。つまり、上記リーケージ割合に赤画像をかけた値は、赤画像のうち赤外画像へのリーケージ分に相当すると共に、赤外画像に含まれる赤成分の画素値に相当する。
【００５５】
さらに、Ｓ２７で算出したｃ値、すなわちリーケージ割合を用いて、各赤外画素の画素値から赤成分の画素値を除去することにより、各赤外画素の画素値を補正する演算を行う（Ｓ２８）。以下、演算式を示す。
ＩＲ´＝（ＩＲ−ｃ×Ｒ）／（１−ｃ）
なお、ＩＲ´は補正後の各赤外画素の画素値、ＩＲは補正前の各赤外画素の画素値、Ｒは、赤外画素に対応する赤画素の画素値を示す。ここで、上記演算について説明する。（ＩＲ−ｃ×Ｒ）は、赤外画像の画素値から、リーケージ分の画素値（赤成分の画素値）としてのｃ×Ｒを引くことにより、各赤外画素の画素値から赤成分の画素値を除去したものである。さらに、（ＩＲ−ｃ×Ｒ）を（１−ｃ）で割っているのは、リーケージ分を除去した後の赤外画像の画素値について正規化を行うためである。
【００５６】
さらに、このようにして補正した赤外画像を用いて、Ｓ２２と同様の手順で、第１の変数Ｘ＝(赤画像の画素値)−(赤外画像の画素値)＋(赤外平均値Ａｖｅ)と、第２の変数Ｙ＝(赤画像の画素値)とを画素ごとに求めた後、Ｓ２３と同様の手順で、回帰式Ｙ＝ａＸ＋ｂの係数ａ，ｂを求める第１の回帰分析を行い、ＣＦ＝Ａｖｅ+ｂの演算式によりＣＦ値を算出する。ここで得たＣＦ値を本非劣化画素値（本ＣＦ値）として設定する（Ｓ２９）。ここで、求めた本ＣＦ値をＳ１１の非劣化画素値として決定する。また、Ｓ２５における手順と同様の理由により、上記本ＣＦ値の９５〜９９％値を非劣化画素値としても構わない。
【００５７】
このように、赤色リーケージ分を除去した後の赤外画像データに基づいて、Ｓ２１〜Ｓ２４と同様の処理を行うことで本ＣＦ値を算出するので、本ＣＦ値は、仮ＣＦ値よりも、非劣化画素値として近い値である。つまり、本実施の形態は、非劣化画素値を求めるにあたって、まず、仮ＣＦ値を算出することで、劣化画素の多少に依存せず、高精度で劣化／非劣化画素を区別することにより、高精度の赤色リーケージ分を算出できるようにしたものである。これにより、原赤外画像から赤色リーケージ分を精度よく除去することが可能になり、赤色リーケージ分が除去された赤外画像データから本ＣＦ値を算出できる。つまり、上記仮ＣＦ値および本ＣＦ値は、劣化画素の多少に応じて最適な閾値を設定し、回帰計算により算出されるので、精度よく上記赤色リーケージ分および非劣化画素値としての本ＣＦ値を算出することができる。
【００５８】
〔実施例〕
次に、上記の非劣化画素値を決定する実施例について、図４および図５に基づいて説明する。図４（ａ）は、本実施例で使用される原赤外画像を示している。図中の黒い部分がフィルムに付いた傷やほこりである。また、原赤外画像にみられる左下部の像は、原赤外画像に赤成分の像が混入したものである。
【００５９】
ここで、図４（ａ）に示す原赤外画像に対して、従来の手順で、各赤外画素の画素値から赤成分を除去する処理を行った場合の赤外画像を図４（ｂ）に示す。この従来の手順においても、Ｓ２６からＳ２８の手順が実行されるが、本実施の形態との相違は、一定の値（５．７）以上の赤外画素値を示す画素から平均画素値を求めて、これを劣化／非劣化画素を区別するための閾値とする点にある。
【００６０】
図４（ａ）に示す原赤外画像と図４（ｂ）に示す赤外画像とを比較すると、図４（ｂ）に示す赤外画像では、図４（ａ）に示す原赤外画像に見られる赤成分の像が濃度反転した像として確認することができる。これは、各赤外画素の画素値から赤成分を除去する処理において、過補正がなされているからである。このような過補正がなされる要因として、従来の手順では、一定（固定）の値（５．７）以上の赤外画素値を示す画素の平均画素値を閾値（本実施例では７．５）としているため、劣化／非劣化画素を精度よく区別できず、リーケージ割合を算出するための回帰計算において、劣化画素の画素値が含まれてしまうことがあり、適正なリーケージ割合を算出できないからである。
【００６１】
一方、図４（ａ）に示す原赤外画像に対して、Ｓ２０からＳ２８の手順を実行して、各赤外画素の画素値から赤成分の画素値を除去する処理を行った場合の赤外画像を図４（ｃ）に示す。この手順の特徴は、全画素の画像の傷を考慮して、回帰分析を行うことにより閾値を求め（本実施例では８．１）、リーケージ割合を算出する点にある。
【００６２】
図４（ａ）に示す原赤外画像と図４（ｃ）に示す赤外画像とを比較すると、図４（ｃ）に示す赤外画像では、原赤外画像に見られる赤成分の像を殆ど確認することができない。これは、Ｓ２０からＳ２４の手順で、原画像における全画素における劣化画素の多少に依存せず適正な閾値が求められるので、Ｓ２７のリーケージ割合を算出する回帰計算において、劣化画素の画素値が含まれてしまうことが殆どないからである。すなわち、Ｓ２７において適正なリーケージ割合を算出することができると共に、Ｓ２８において各赤外画素の画素値から赤成分をほぼ除去することができるのである。
【００６３】
ここで、上記原赤外画像についての各画素の度数分布を図５に示す。この度数分布においては、縦軸は赤外画素の画素値を示し、横軸は赤画素の画素値を示す。なお、この度数分布において、赤外画素の画素値が８．０以上で密集している画像データについては、非劣化画素に係る画像データであるものと経験的に認められる。この原赤外画像について、上述した従来の手順で、各赤外画素の画素値から赤成分の画素値の除去を行うと、上記閾値が７．５に設定されるため、かなりの劣化画素の画像データが、リーケージ割合を算出する回帰計算に使用されることがわかる。
【００６４】
一方、上記原画像に対して、本実施例の手順でリーケージ割合を算出すると、上記閾値が８．１と算出される。したがって、本実施例の手順によれば、赤外画像の画素値が８．０以上で密集している非劣化画素に係る画像データのみが、リーケージ割合を算出する回帰計算に使用されることがわかる。つまり、本実施の形態の手順によれば、原画像における非劣化画素の割合に依存せず、適正な閾値を算出することができ、劣化画素と非劣化画素とを精度よく判別することができ、適正なリーケージ割合を算出することができる。
【００６５】
さらに、このようにして求めたリーケージ割合を用いて、原画像から赤色リーケージ分を除去する処理を行い、リーケージ除去がなされた画像に基づいて、本ＣＦ値を算出するので、算出された本ＣＦ値は、仮ＣＦ値よりも、非劣化画素値として近い値である。したがって、本ＣＦ値を非劣化画素値として、Ｓ１２およびＳ１３の処理を行えば、良好な傷消し処理を行うことができる。
【００６６】
ここで、あるフィルムについて、仮ＣＦ値と本ＣＦ値と赤色リーケージ値と算出した結果を表１に示す。この表によれば、１〜３パーセントの赤画像が赤外画像に漏れこんでいることがわかる。
【００６７】
【表１】
なお、本実施形態では、傷の検出のために赤外光を用いている。しかしながら、フィルムに記憶された画像は、基本的には、可視光の波長領域でのみ発色するものであるから、傷の検出には、フィルムに記憶された画像により変調されることなく透過する光であれば、任意の波長域の光を使用することができる。
【００６９】
また、本実施形態では、赤外画像と赤画像とを回帰分析に利用しているが、これは、波長領域が隣り合うことにより、傷による影響の程度が近いと考えられるからである。したがって、他の可視光画像である緑画像および青画像でも、傷による影響の程度が赤外画像と近い場合には、赤外画像と共に回帰分析に利用することができる。
【００７０】
【発明の効果】
本発明の画像処理方法は、以上のように、記録媒体から非可視光を介して取得され、かつ上記記録媒体に付いた傷やごみによる画質劣化の情報を含む非可視光画像について、可視光画像からのリーケージによる影響を除去する画像処理方法において、記録媒体から可視光を介して取得される可視光画像と、非可視光画像とにおける互いに対応する画素に関して、上記可視光画像の画素値から上記非可視光画像の画素値を減算して上記非可視光画像の平均画素値を加算した第１の変数と、上記可視光画像の画素値である第２の変数とを用いて第１の回帰分析を行い、仮非劣化画素値を算出するステップと、仮非劣化画素値から閾値を決定し、非可視光画像の画素値が上記閾値以上である画素のみを対象として、可視光画像の画素値である第３の変数と、上記非可視光画像の画素値である第４の変数とを用いて第２の回帰分析を行うことにより、上記リーケージの割合を取得するステップと、上記非可視光画像の画素値から、上記可視光画像の画素値に上記リーケージの割合を乗じた値を減算することにより、上記非可視光画像を補正するステップとを備えることを特徴とする。
【００７１】
これにより、劣化画素の多少に関わらず、上記非可視光画像について、可視光画像からのリーケージによる影響を精度よく除去することができる。
【００７２】
本発明の画像処理方法は、上記の手順に加えて、第１の変数が第２の変数以下である画素のみを第１の回帰分析の対象としてもよい。
【００７３】
これにより、上記した仮非劣化画素値の精度を向上することができる。
【００７４】
本発明の画像処理方法は、上記の手順に加えて、上記仮非劣化画素値の９５〜９９％値を上記閾値として決定してもよい。
【００７５】
これにより、第２の回帰分析において、非劣化画素を漏れなく第２の回帰分析の対象とすることができる。
【００７６】
本発明の画像処理方法は、上記の手順に加えて、上記非可視光画像の画素値から、上記可視光画像の画素値に上記リーケージの割合を乗じた値を減算して得られた値を、（１−上記リーケージ割合）で除算することにより、上記非可視光画像の画素値を補正してもよい。
【００７７】
これにより、上述した非可視光画像の画素値の低下を防ぎ、非可視光画像と可視光画像とを比較して、非可視光画像から、画像劣化の情報を精度よく検出することができる。
【００７８】
本発明の画像処理方法は、上記の手順に加えて、上記可視光画像と、補正された非可視光画像とにおける互いに対応する画素に関して、第１の回帰分析を実行することにより、本非劣化画素値を取得するステップをさらに備えてもよい。
【００７９】
これにより、上記リーケージによる影響が除去された高精度の本非劣化画素値が得られることになる。
【００８０】
本発明の画像処理方法は、上記の手順に加えて、上記可視光画像および上記非可視光画像における互いに対応する画素に関して、本非劣化画素値から上記非可視光画像の画素値を減算して得られる値を、上記可視光画像の画素値に加算してもよい。
【００８１】
これにより、上記可視光画像から、上記記録媒体に付いた傷やごみによる画質劣化による影響を精度よく除去することが可能になる。
【００８２】
本発明の画像処理方法では、上記の手順に加えて、上記非可視光画像は、記録媒体から赤外光を介して取得される赤外画像であり、上記可視光画像は、赤色成分の画像であってもよい。
【００８３】
これにより、赤色成分のリーケージ分を赤外画像から効率よく除去することが可能になる。
【００８４】
また、上記記録媒体は写真フィルムであってもよい。さらに、上記画像処理方法は、コンピュータに実行させることも可能である。また、上記の画像処理プログラムをコンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で、上記画像処理方法を実行させることができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態における非劣化画素値の決定処理の詳細を示すフローチャートである。
【図２】本実施形態における画像出力システムの概略構成を示すブロック図である。
【図３】本実施形態における劣化画素の補正処理の概要を示すフローチャートである。
【図４】本実施例にて使用される赤外画像を示す図であって、（ａ）は原赤外画像を示す図であり、（ｂ）は従来の手順により（ａ）から赤色リーケージ分を除去した画像を示す図であり、（ｃ）は本実施の形態の手順により（ａ）から赤色リーケージ分を除去した画像を示す図である。
【図５】図４（ａ）に示す赤外画像の各画素の度数分布を示すグラフであって、縦軸は赤外画素値を示し、横軸は赤色画素値を示す。
【図６】従来の画像処理において、ＣＣＤが取り込む可視光と赤外光との波長領域を示した説明図である。
【図７】 (ａ)は、フィルムの傷が少ない場合の赤外画像を示す模式図であり、(ｂ)は、該赤外画像における画素値の度数分布を示すグラフである。
【図８】 (ａ)は、フィルムの傷が多い場合の赤外画像を示す模式図であり、(ｂ)は、該赤外画像における画素値の度数分布を示すグラフである。
【符号の説明】
１ フィルムスキャナ
２ 画像処理装置
３ 写真焼付装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method of performing image processing on image data read by an image reading device such as a scanner, on an image recorded on a recording medium such as a photographic film. Specifically, the present invention relates to a method for performing processing for removing the influence of scratches and dust attached to the recording medium using the image data.
[0002]
[Prior art]
In a printer that outputs an image recorded on a photographic film (hereinafter abbreviated as “film”) such as a negative film or a positive film to a photographic paper, the photographic paper is exposed using light transmitted through the image of the film. Using an analog printer and light that has passed through the image of the film is photoelectrically converted by a CCD (Charge Coupled Device), etc., and further digitized to create image data, and using the light modulated based on this image data There are digital printers that expose photographic paper.
[0003]
In both types, if the film has scratches or dust (hereinafter collectively referred to as “scratches”), the image burned on the photographic paper may have problems such as density fluctuations and omissions. For this reason, conventionally, both types of diffused light have been used as light transmitted through the film.
[0004]
In the case of a digital printer, it is possible to effectively remove the influence of scratches by performing image processing on the digitized image data. Such image processing methods are disclosed in, for example, JP-A-6-28468 (publication date: February 4, 1994 (1994.2.4)) and JP-A-2000-341473 (publication date: 2000). Month 8 (December 8, 2000)), JP-A-2001-157003 (publication date: June 8, 2001 (2001.6.8)), and the like.
[0005]
In the image processing methods disclosed in these publications, infrared light is transmitted through the film. Infrared light transmitted through the film is scattered by scratches on the film, but is basically unaffected by the dye that forms the image of the film. Therefore, the infrared image formed by the infrared light transmitted through the film contains only the information on the flaw, and the influence of the flaw can be removed by using this infrared image.
[0006]
[Problems to be solved by the invention]
However, the digital printer is provided with an infrared spectral filter on the optical axis between the light source and the CCD. Depending on the characteristics of the infrared spectral filter, infrared light incident on the CCD from the film may be used. There may be a slight shift in the wavelength region. Furthermore, the wavelength region of red component light absorbed by the film is slightly different depending on the type of film, manufacturer, sensitivity, and the like. Therefore, depending on the combination of the type of film to be used and the infrared spectral filter installed in the printer, as shown in FIG. 6, the wavelength range of the infrared light and the wavelength range of the red component light absorbed by the film are as shown in FIG. There may or may not overlap. That is, an infrared image read by the CCD may include a subtle red component image, and this phenomenon is called “red leakage”. Therefore, the red component contained in the infrared image by the red leakage reduces the pixel value of the infrared light similarly to the scratches and dust, and thus adversely affects the information on the scratches in the infrared image.
[0007]
That is, if the red leakage component is not removed from the infrared image, the infrared image includes extra information other than the information on the scratch, which adversely affects the image processing for removing the above-described scratch effect. It will be. Therefore, as a premise of the above-described scratch removal process, a process for removing red leakage from the infrared image is required.
[0008]
Here, when red leakage occurs in the infrared image, there is a correlation between the pixel value of the red image obtained from the photographic film and the pixel value of the infrared image. There is a method of calculating a pixel value for red leakage by a statistical calculation such as a least square method (regression calculation) using this correlation. However, in an infrared image, as the number of scratched pixels (hereinafter referred to as “degraded pixels”) increases, the decrease in pixel value due to scratches cannot be ignored, making it difficult to obtain an accurate red leakage component. The problem of becoming.
[0009]
Therefore, if the pixel value of an intact image pixel (hereinafter referred to as “non-degraded pixel”) can be obtained from the infrared image, the above statistical calculation is performed only for the pixel value of the pixel equal to or greater than the threshold value with the non-degraded pixel value as a threshold value. The above-mentioned problems can be solved by using the above. As a value close to the non-degraded pixel value, there is an average value of pixel values in an infrared image (hereinafter referred to as “average pixel value”).
[0010]
Conventionally, an average pixel value is obtained for pixels having a pixel value of 5.7 or more for an infrared image, and a value of about 97% of the average pixel value is used as the threshold value. However, as described above, since the pixel value of the deteriorated pixel is smaller than that of the non-deteriorated pixel, the average pixel value of the infrared pixel is lowered when the film has many scratches, resulting in the following problems.
[0011]
FIGS. 7A and 7B respectively show an infrared image when there are few scratches on the film and a frequency distribution of pixel values in the infrared image. Similarly, FIGS. 8A and 8B respectively show an infrared image when there are many scratches on the film and a frequency distribution of pixel values in the infrared image.
[0012]
As shown in FIG. 7 (a), when there are few scratches on the film, the frequency distribution of the pixel values in the infrared image is concentrated near the non-degraded pixel values as shown in FIG. 7 (b). ing. At this time, the average pixel value of the infrared image (the average pixel value of the pixels having an infrared pixel value of 5.7 or more) is a value close to the non-degraded pixel value, although not shown in the drawing.
[0013]
However, as shown in FIG. 8 (a), when there are many scratches on the film, the frequency distribution of the pixel values in the infrared image is changed from the non-degraded pixel values to the pixels as shown in FIG. 8 (b). It moves to the one with the smaller value (left side of the figure). At this time, the average pixel value of the infrared image (the average pixel value of the pixels having an infrared pixel value of 5.7 or more) is smaller than the non-degraded pixel value. When this average pixel value is used as a threshold value to determine a deteriorated pixel, a pixel having a pixel value between the average pixel value and the non-deteriorated pixel value is determined to be a deteriorated pixel even though it is a deteriorated pixel. Disappear. Thereby, since the deteriorated pixel value is used for the statistical calculation, the pixel value for red leakage cannot be obtained with high accuracy, and the pixel value for red leakage cannot be accurately removed from the infrared image.
[0014]
The present invention has been made to solve the above-described problems, and its purpose is to provide a pixel value for red leakage regardless of the number of deteriorated pixels in an infrared image used for processing to remove the influence of scratches. It is an object to provide an image processing method capable of accurately removing the image.
[0015]
[Means for Solving the Problems]
In order to solve the above-described problem, the image processing method of the present invention is a non-visible light image that is acquired from a recording medium via invisible light and includes information on image quality deterioration due to scratches and dust attached to the recording medium. In the image processing method for removing the influence of leakage from a visible light image, the visible light image is related to mutually corresponding pixels in a visible light image and a non-visible light image acquired from a recording medium via visible light. Using a first variable obtained by subtracting a pixel value of the invisible light image from a pixel value and adding an average pixel value of the invisible light image, and a second variable that is a pixel value of the visible light image Performing a first regression analysis and calculating a temporary non-degraded pixel value; determining a threshold value from the temporary non-degraded pixel value; and viewing only a pixel whose pixel value of the non-visible light image is equal to or greater than the threshold value. Pixel value of light image Performing a second regression analysis using a third variable and a fourth variable that is a pixel value of the invisible light image to obtain a leakage ratio; and the invisible light image. A step of correcting the invisible light image by subtracting a value obtained by multiplying the pixel value of the visible light image by the ratio of the leakage from the pixel value.
[0016]
The non-degraded pixel value refers to a pixel value of a pixel in the non-visible light image that has no image quality deterioration. That is, the temporary non-degraded pixel value means a pixel value of a pixel that has not been temporarily deteriorated in image quality.
[0017]
If the pixel value of the non-visible light image can be subtracted from the pixel value of the visible light image and the non-degraded pixel value can be added, the pixel value of the visible light image from which the influence of scratches has been removed can be obtained. This is because the decrease in the pixel value due to the flaw is substantially the same in both the visible light image and the non-visible light image, and the difference between the non-degraded pixel value and the pixel value in the visible light image is the influence due to the flaw. Because you can think.
[0018]
However, according to the first variable in the above procedure, since the non-degraded pixel value has not been determined yet, the average pixel value of the non-degraded image is used instead of the non-degraded pixel value. In this case, since the average pixel value of the non-visible light image is lower than the non-degraded pixel value due to the effect of scratches, the first variable is the pixel of the visible light image from which the effect of scratches has been removed. It is lower than the value.
[0019]
Therefore, in the above procedure, the first variable and the second variable that is the pixel value of the visible light image are used for the corresponding pixels in the visible light image and the non-visible light image. Regression analysis is performed. Thereby, it is possible to calculate the amount of decrease in the average pixel value of the non-visible light image that has decreased from the non-degraded pixel value. Therefore, by adding the decrease to the average pixel value of the non-visible light image, an appropriate non-degraded pixel value, that is, a value according to the non-degraded pixel value is calculated regardless of the degree of image scratches. can do. In addition, since this value is obtained from the average pixel value and the difference calculated by regression analysis, it is stable against variations in pixel value due to noise or the like, or differences in film type (negative / positive). . Therefore, by using this value as a temporary non-degraded pixel value and a threshold value for distinguishing degraded / non-degraded pixels, it is possible to accurately determine degraded pixels and non-degraded pixels for each image in a non-visible light image. Can do.
[0020]
Further, when leakage from the visible light image is included in the non-visible light image, there is a correlation between the non-visible light image and the visible light image. Therefore, regarding the pixels corresponding to each other in the visible light image and the non-visible light image, the third variable that is the pixel value of the visible light image and the fourth variable that is the pixel value of the non-visible light image; By performing regression analysis using, the ratio of the leakage included in the visible light image can be obtained. Here, in the second regression analysis, only the pixels having an infrared pixel value equal to or greater than the threshold value are subjected to the regression analysis, and therefore the leakage ratio is accurately calculated without being affected by scratches. Can do.
[0021]
Then, a value obtained by multiplying the pixel value of the visible light image by the leakage ratio is subtracted from the pixel value of the invisible light image. Here, a value obtained by multiplying the pixel value of the visible light image by the leakage ratio corresponds to the amount of leakage to the non-visible light image. Therefore, the leakage from the visible light image included in the invisible light image can be removed by the subtraction. That is, regardless of the number of deteriorated pixels, the influence of leakage from the visible light image can be accurately removed for the invisible light image.
[0022]
In the image processing method of the present invention, in addition to the above procedure, only pixels whose first variable is equal to or smaller than the second variable may be the target of the first regression analysis.
[0023]
Since the first variable is lower than the pixel value of the visible light image from which the influence of scratches has been removed, the second variable, which is the pixel value of the visible light image, is more than the first variable. If it is small, the corresponding pixel is very likely to be a flawed pixel.
[0024]
Therefore, according to the above procedure, only pixels whose second variable is equal to or greater than the first variable, that is, pixels whose first variable is equal to or less than the second variable are subject to the first regression analysis. Since scratched pixels can be eliminated, the above-mentioned decrease can be calculated with high accuracy by the first regression analysis, and the accuracy of the above-described provisional non-degraded pixel value can be improved.
[0025]
In addition to the above procedure, the image processing method of the present invention may determine a value of 95% to 99% of the temporary non-degraded pixel value as the threshold value.
[0026]
The non-degraded pixel value varies slightly due to noise or the like included in the non-visible light image. Therefore, by setting the 95 to 99% value of the provisional non-degraded pixel value as the threshold value, in the second regression analysis, the non-degraded pixel can be the target of the second regression analysis without omission.
[0027]
In the image processing method of the present invention, in addition to the above procedure, a value obtained by subtracting a value obtained by multiplying the pixel value of the visible light image by the ratio of the leakage from the pixel value of the non-visible light image. , (1−leakage ratio), the pixel value of the invisible light image may be corrected.
[0028]
By subtracting a value obtained by multiplying the pixel value of the visible light image by the ratio of the leakage from the pixel value of the non-visible light image, a leakage component from the visible light image included in the non-visible light image is removed. Although it is possible, the pixel value of the invisible light image is lowered.
[0029]
However, according to the above procedure, the pixel value of the non-visible light image after removing the leakage is further normalized by dividing by (1-leakage ratio). By performing such normalization, the pixel value of the non-visible light image described above is prevented from being reduced, and the non-visible light image is compared with the visible light image, and the information on the image degradation is accurately obtained from the non-visible light image. Can be detected well.
[0030]
In addition to the above-described procedure, the image processing method of the present invention performs the first regression analysis on pixels corresponding to each other in the visible light image and the corrected non-visible light image. You may further provide the step which acquires a pixel value.
[0031]
The corrected non-visible light image has the influence of leakage from the visible light image removed, and includes information on image degradation with high accuracy. Therefore, the value obtained by performing the first regression analysis on the corrected non-visible light image and the visible light image is closer to the non-degraded pixel value than the temporary non-degraded pixel value described above. Therefore, if the value obtained here is determined as the main non-degraded pixel value, a high-precision main non-degraded pixel value from which the influence of leakage is removed can be obtained.
[0032]
In addition to the above procedure, the image processing method of the present invention relates to mutually corresponding pixels in the visible light image and the non-visible light image. The value obtained by subtracting the pixel value of the non-visible light image from the non-degraded pixel value is added to the pixel value of the visible light image. May be.
[0033]
As described above, if it is possible to obtain a highly accurate non-degraded pixel value from which the influence of leakage is removed, The value obtained by subtracting the pixel value of the non-visible light image from the non-degraded pixel value is added to the pixel value of the visible light image. By doing so, it is possible to accurately remove the influence of image quality degradation due to scratches and dust on the recording medium from the visible light image.
[0034]
In the image processing method of the present invention, in addition to the above procedure, the non-visible light image is an infrared image acquired from a recording medium via infrared light, and the visible light image is an image of a red component. It may be.
[0035]
In the spectral spectrum, since the red light region and the infrared light region are adjacent to each other, the leakage to the infrared image is often an image of a red component. Therefore, by executing the above procedure, it becomes possible to efficiently remove the leakage component of the red component from the infrared image.
[0036]
The recording medium may be a photographic film. Furthermore, the image processing method can be executed by a computer. Further, by storing the image processing program in a computer-readable recording medium, the image processing method can be executed on an arbitrary computer.
[0037]
DETAILED DESCRIPTION OF THE INVENTION
The present invention relates to removal of red leakage contained in an infrared image (non-visible light image) for removing the influence of film scratches on image data taken from a photographic film (recording medium). Therefore, in the present embodiment, the processing of the image data, the system in which the present invention is executed, the processing of removing the influence of film scratches, and the processing of removing the red leakage will be described in order.
[0038]
An embodiment of the present invention will be described below with reference to the drawings. FIG. 2 is a block diagram showing a schematic configuration of the image output system of the present embodiment. The image output system includes a film scanner 1, an
[0039]
The film scanner 1 reads, for example, an image recorded on a negative film by irradiating light from a light source onto a negative film, which is a photographic film, and receiving the transmitted light with a CCD or the like. The film scanner 1 outputs the read image data to the
[0040]
Further, in this embodiment, the film scanner 1 reads flaw information on a negative film by receiving transmitted light in the infrared region with a CCD or the like. The film scanner 1 outputs the read flaw data to the
[0041]
The photographic printing apparatus 3 prints an image on the photographic paper by exposing the photographic paper as a photosensitive material based on the image data processed by the
[0042]
Note that the photographic printing apparatus 3 may be configured as an auto printer capable of performing both negative film scanning and photographic paper exposure. In this case, by simplifying the system, the image output system is configured such that an auto printer that performs image reading to printing is connected to an
[0043]
The
[0044]
First, as shown in FIG. 3, an infrared image is acquired from the film scanner 1 (step 10, hereinafter referred to as S10). Next, a non-deteriorated pixel value that is a pixel value of a pixel having no flaw is determined using the infrared image (S11). Details of this determination process will be described later.
[0045]
Next, by subtracting the pixel value of each pixel in the infrared image from the non-degraded pixel value, the loss of the pixel value of each pixel due to the flaw is calculated (S12). Then, for each of the red image, the green image, and the blue image, by adding the loss for each pixel, the scratch processing of the image data is completed, and the image data subjected to the scratch processing is supplied to the photographic printing apparatus 3. (S13).
[0046]
In steps S12 and S13, the calculation and addition of the loss can be performed only for the pixels that are determined to be flawed. This is because the loss in pixels determined not to be scratched is not due to scratches on the film, but is considered to be due to noise, sensitivity of each pixel of the CCD camera, unevenness of the film, and the like. Further, the image data subjected to the scratch processing can be output to the photographic printing apparatus 3 after other image processing such as sharpening processing is performed.
[0047]
Next, details of the non-degraded pixel value determination process (S11) will be described with reference to FIG. The regression analysis of the present embodiment is performed by the least square method using a single regression model.
[0048]
First, an infrared average value Ave that is an average value of pixel values of all the pixels in the infrared image is calculated (S20). As described above, the infrared average value Ave decreases in an image with many scratches.
[0049]
Next, a red image (visible light image) is acquired from the film scanner 1 (S21). If the red image is already supplied from the film scanner 1 to the
[0050]
Next, the first variable X = (pixel value of red image) − (pixel value of infrared image) + (infrared average value Ave) and second variable Y = (pixel value of red image) It calculates | requires for every pixel (S22) and performs the 1st regression analysis which calculates | requires the coefficient a and b of regression equation Y = aX + b using the least squares method (S23). From the definitions of X and Y, it is clear that the coefficient a (slope) is approximately 1.
[0051]
Furthermore, the coefficient b (Y intercept) is a decrease in which the infrared average value Ave is reduced from the non-degraded pixel value (hereinafter referred to as CF value). Here, a CF value is calculated from an arithmetic expression of CF = Ave + b, that is, a value obtained by adding b to the infrared average value Ave, and the obtained CF value is used as a temporary non-deteriorated pixel value (temporary CF value). Set (S24).
[0052]
Note that only pixels whose first variable X is equal to or smaller than the second variable Y may be subjected to regression calculation in S23. This is because the first variable is lower than the pixel value of the red image from which the influence of the scratch has been removed, so the second variable, which is the pixel value of the red image, is more than the first variable. If it is small, it is highly likely that the corresponding pixel is a scratched pixel, and by excluding such a pixel from the regression calculation, the accuracy of the calculated temporary CF value is improved.
[0053]
Further, a 96% value of the provisional CF value is determined as a threshold value (S25). Since CF is a logarithm, the threshold value can be calculated by substituting the temporary CF value into the formula of threshold = CF + log (0.96). Here, the value of 96% is empirically recognized that the value that can be clearly judged as a deteriorated pixel is less than 96% of the CF value because the CF value varies somewhat due to noise generated from the CCD. It depends on. Here, the 96% value of the provisional CF value is used as the threshold value, but it is empirically recognized that the value is within the allowable range within the range of 95% to 100%.
[0054]
Next, for only pixels related to infrared pixel values equal to or greater than the threshold, the third variable x = (pixel value of red image) and the fourth variable y = (pixel value of infrared image) For each pixel (S26). Then, a second regression analysis is performed to obtain the coefficient c of the regression equation y = cx using the least square method. Since the calculated c value corresponds to the ratio of pixel values for red leakage included in the red image (hereinafter referred to as leakage ratio), c is defined as the leakage ratio (S27). Here, red leakage refers to a phenomenon in which an infrared light wavelength region overlaps with a red component light wavelength region absorbed by a film, and an infrared image is included in the infrared image. That is, the value obtained by multiplying the leakage ratio by the red image corresponds to the leakage of the red image to the infrared image, and also corresponds to the pixel value of the red component included in the infrared image.
[0055]
Further, by using the c value calculated in S27, that is, the leakage ratio, the pixel value of each infrared pixel is corrected by removing the red component pixel value from the pixel value of each infrared pixel (S28). ). An arithmetic expression is shown below.
IR ′ = (IR−c × R) / (1-c)
IR ′ represents the pixel value of each infrared pixel after correction, IR represents the pixel value of each infrared pixel before correction, and R represents the pixel value of a red pixel corresponding to the infrared pixel. Here, the calculation will be described. (IR−c × R) is obtained by subtracting c × R as a pixel value for leakage (a pixel value of a red component) from a pixel value of an infrared image to obtain a red component from the pixel value of each infrared pixel. The pixel value is removed. Furthermore, (IR−c × R) is divided by (1−c) in order to normalize the pixel value of the infrared image after removing the leakage.
[0056]
Further, using the infrared image corrected in this manner, the first variable X = (pixel value of red image) − (pixel value of infrared image) + (infrared average value) in the same procedure as S22. Ave) and the second variable Y = (pixel value of the red image) for each pixel, and then the first regression analysis for obtaining the coefficients a and b of the regression equation Y = aX + b in the same procedure as S23 The CF value is calculated by the calculation formula CF = Ave + b. The CF value obtained here is set as the main non-degraded pixel value (main CF value) (S29). Here, the obtained CF value is determined as the non-degraded pixel value in S11. Further, for the same reason as the procedure in S25, the value of 95 to 99% of the CF value may be set as the non-degraded pixel value.
[0057]
Thus, since this CF value is calculated by performing the same processing as S21 to S24 based on the infrared image data after removing the red leakage component, this CF value is more than the temporary CF value. It is a close value as a non-degraded pixel value. That is, in this embodiment, when determining the non-degraded pixel value, first, by calculating the temporary CF value, it is not dependent on the degree of the degraded pixel, and the degraded / non-degraded pixel is distinguished with high accuracy. It is designed to calculate a high-accuracy red leakage component. As a result, the red leakage component can be accurately removed from the original infrared image, and the main CF value can be calculated from the infrared image data from which the red leakage component has been removed. That is, the temporary CF value and the main CF value are calculated by regression calculation by setting an optimum threshold according to the degree of the deteriorated pixel, and thus the main CF value as the red leakage amount and the non-deteriorated pixel value are accurately obtained. Can be calculated.
[0058]
〔Example〕
Next, an embodiment for determining the non-degraded pixel value will be described with reference to FIGS. FIG. 4A shows an original infrared image used in this embodiment. The black parts in the figure are scratches and dust on the film. The lower left image seen in the original infrared image is a red component image mixed into the original infrared image.
[0059]
Here, with respect to the original infrared image shown in FIG. 4 (a), an infrared image when the process of removing the red component from the pixel value of each infrared pixel is performed according to the conventional procedure is shown in FIG. 4 (b). ). Also in this conventional procedure, the procedure from S26 to S28 is executed, but the difference from the present embodiment is that an average pixel value is obtained from a pixel indicating an infrared pixel value equal to or greater than a certain value (5.7). Therefore, this is used as a threshold value for distinguishing between degraded / non-degraded pixels.
[0060]
When the original infrared image shown in FIG. 4 (a) is compared with the infrared image shown in FIG. 4 (b), the infrared image shown in FIG. 4 (b) is the original infrared image shown in FIG. 4 (a). Can be confirmed as an image whose density is inverted. This is because overcorrection is performed in the process of removing the red component from the pixel value of each infrared pixel. As a factor for such overcorrection, in the conventional procedure, an average pixel value of pixels showing infrared pixel values equal to or greater than a fixed (fixed) value (5.7) is set as a threshold value (7.5 in this embodiment). Therefore, the deterioration / non-deterioration pixel cannot be accurately distinguished, and the regression calculation for calculating the leakage ratio may include the pixel value of the deterioration pixel, and an appropriate leakage ratio cannot be calculated. It is.
[0061]
On the other hand, red is obtained when the process from S20 to S28 is executed on the original infrared image shown in FIG. 4A to remove the red component pixel value from the pixel value of each infrared pixel. The outside image is shown in FIG. A feature of this procedure is that a threshold value is obtained by performing regression analysis in consideration of flaws in the image of all pixels (8.1 in this embodiment), and a leakage ratio is calculated.
[0062]
Comparing the original infrared image shown in FIG. 4 (a) with the infrared image shown in FIG. 4 (c), the infrared image shown in FIG. 4 (c) is an image of the red component found in the original infrared image. Can hardly be confirmed. This is because the appropriate threshold value is obtained in the procedure from S20 to S24 without depending on the number of deteriorated pixels in all pixels in the original image, and therefore the pixel value of the deteriorated pixel is included in the regression calculation for calculating the leakage ratio in S27. This is because there is almost no loss. That is, an appropriate leakage ratio can be calculated in S27, and the red component can be substantially removed from the pixel value of each infrared pixel in S28.
[0063]
Here, the frequency distribution of each pixel for the original infrared image is shown in FIG. In this frequency distribution, the vertical axis indicates the pixel value of the infrared pixel, and the horizontal axis indicates the pixel value of the red pixel. In this frequency distribution, image data that is dense with pixel values of infrared pixels of 8.0 or more is empirically recognized as image data relating to non-degraded pixels. For this original infrared image, when the pixel value of the red component is removed from the pixel value of each infrared pixel in the conventional procedure described above, the threshold value is set to 7.5. It can be seen that the image data is used for regression calculation to calculate the leakage ratio.
[0064]
On the other hand, when the leakage ratio is calculated for the original image according to the procedure of this embodiment, the threshold value is calculated as 8.1. Therefore, according to the procedure of the present embodiment, only the image data relating to the non-degraded pixels that are dense with the pixel values of the infrared image being 8.0 or more are used for the regression calculation for calculating the leakage ratio. Understand. That is, according to the procedure of the present embodiment, it is possible to calculate an appropriate threshold without depending on the ratio of non-deteriorated pixels in the original image, and to accurately determine deteriorated pixels and non-deteriorated pixels. An appropriate leakage ratio can be calculated.
[0065]
Further, processing for removing red leakage from the original image is performed using the leakage ratio thus obtained, and the main CF value is calculated based on the image from which leakage has been removed. The value is closer to the non-degraded pixel value than the provisional CF value. Therefore, if the processing of S12 and S13 is performed with the present CF value as the non-degraded pixel value, good scratch removal processing can be performed.
[0066]
Here, Table 1 shows the calculated results of the temporary CF value, the actual CF value, and the red leakage value for a certain film. According to this table, it can be seen that 1 to 3 percent of red images leak into the infrared image.
[0067]
[Table 1]
In the present embodiment, infrared light is used for detection of scratches. However, since the image stored on the film basically develops color only in the visible light wavelength region, the light that is transmitted without being modulated by the image stored on the film is used to detect scratches. If so, light in an arbitrary wavelength region can be used.
[0069]
In the present embodiment, the infrared image and the red image are used for regression analysis because it is considered that the degree of influence due to scratches is close because the wavelength regions are adjacent to each other. Therefore, the green image and the blue image, which are other visible light images, can be used for regression analysis together with the infrared image if the degree of the influence of the scratch is close to that of the infrared image.
[0070]
【The invention's effect】
As described above, the image processing method of the present invention can be applied to a non-visible light image obtained from a recording medium via invisible light and includes information on image quality degradation due to scratches and dust attached to the recording medium. In the image processing method for removing the influence of leakage from an image, with respect to pixels corresponding to each other in a visible light image acquired from a recording medium via visible light and a non-visible light image, the pixel value of the visible light image is calculated. The first variable obtained by subtracting the pixel value of the invisible light image and adding the average pixel value of the invisible light image and the second variable that is the pixel value of the visible light image are used as the first variable. Performing a regression analysis, calculating a temporary non-degraded pixel value, determining a threshold value from the temporary non-degraded pixel value, and targeting only pixels whose pixel value of the non-visible light image is equal to or greater than the threshold value; The third pixel value Performing a second regression analysis using the number and a fourth variable that is a pixel value of the invisible light image to obtain the leakage ratio, and from the pixel value of the invisible light image And correcting the invisible light image by subtracting a value obtained by multiplying the pixel value of the visible light image by the leakage ratio.
[0071]
Thereby, regardless of the number of deteriorated pixels, the influence of leakage from the visible light image can be accurately removed from the invisible light image.
[0072]
In the image processing method of the present invention, in addition to the above procedure, only pixels whose first variable is equal to or smaller than the second variable may be the target of the first regression analysis.
[0073]
As a result, the accuracy of the provisional non-deteriorated pixel value can be improved.
[0074]
In addition to the above procedure, the image processing method of the present invention may determine a value of 95% to 99% of the temporary non-degraded pixel value as the threshold value.
[0075]
As a result, in the second regression analysis, non-degraded pixels can be the target of the second regression analysis without omission.
[0076]
In the image processing method of the present invention, in addition to the above procedure, a value obtained by subtracting a value obtained by multiplying the pixel value of the visible light image by the ratio of the leakage from the pixel value of the non-visible light image. , (1−leakage ratio), the pixel value of the invisible light image may be corrected.
[0077]
Thereby, the pixel value of the invisible light image described above can be prevented from being reduced, and the information on the image degradation can be accurately detected from the invisible light image by comparing the invisible light image with the visible light image.
[0078]
In addition to the above-described procedure, the image processing method of the present invention performs the first regression analysis on pixels corresponding to each other in the visible light image and the corrected non-visible light image. You may further provide the step which acquires a pixel value.
[0079]
As a result, a highly accurate non-deteriorated pixel value from which the influence of leakage is removed can be obtained.
[0080]
In addition to the above procedure, the image processing method of the present invention relates to mutually corresponding pixels in the visible light image and the non-visible light image. The value obtained by subtracting the pixel value of the non-visible light image from the non-degraded pixel value is added to the pixel value of the visible light image. May be.
[0081]
As a result, it is possible to accurately remove the influence of image quality degradation due to scratches and dust on the recording medium from the visible light image.
[0082]
In the image processing method of the present invention, in addition to the above procedure, the non-visible light image is an infrared image acquired from a recording medium via infrared light, and the visible light image is an image of a red component. It may be.
[0083]
Thereby, the leakage component of the red component can be efficiently removed from the infrared image.
[0084]
The recording medium may be a photographic film. Furthermore, the image processing method can be executed by a computer. Further, by storing the image processing program in a computer-readable recording medium, the image processing method can be executed on an arbitrary computer.
[Brief description of the drawings]
FIG. 1 is a flowchart showing details of a process for determining a non-degraded pixel value according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a schematic configuration of an image output system in the present embodiment.
FIG. 3 is a flowchart showing an outline of a process for correcting a deteriorated pixel in the present embodiment.
FIGS. 4A and 4B are diagrams showing an infrared image used in the present embodiment, where FIG. 4A is a diagram showing an original infrared image, and FIG. 4B is a diagram showing a red leakage from FIG. It is a figure which shows the image which removed the part, (c) is a figure which shows the image which removed the red leakage part from (a) by the procedure of this Embodiment.
5 is a graph showing the frequency distribution of each pixel of the infrared image shown in FIG. 4A, in which the vertical axis indicates the infrared pixel value and the horizontal axis indicates the red pixel value.
FIG. 6 is an explanatory diagram showing wavelength regions of visible light and infrared light captured by a CCD in conventional image processing.
7A is a schematic diagram showing an infrared image when there are few scratches on the film, and FIG. 7B is a graph showing a frequency distribution of pixel values in the infrared image.
8A is a schematic diagram showing an infrared image when there are many scratches on the film, and FIG. 8B is a graph showing a frequency distribution of pixel values in the infrared image.
[Explanation of symbols]
1 Film scanner
2 Image processing device
3 Photo printing device
Claims (10)
記録媒体から可視光を介して取得される可視光画像と、非可視光画像とにおける互いに対応する画素に関して、
上記可視光画像の画素値から上記非可視光画像の画素値を減算して上記非可視光画像の平均画素値を加算した第１の変数と、上記可視光画像の画素値である第２の変数とを用いて第１の回帰分析を行い、仮非劣化画素値を算出するステップと、
仮非劣化画素値から閾値を決定し、非可視光画像の画素値が上記閾値以上である画素のみを対象として、可視光画像の画素値である第３の変数と、上記非可視光画像の画素値である第４の変数とを用いて第２の回帰分析を行うことにより、上記リーケージの割合を取得するステップと、
上記非可視光画像の画素値から、上記可視光画像の画素値に上記リーケージの割合を乗じた値を減算することにより、上記非可視光画像を補正するステップとを備えることを特徴とする画像処理方法。In an image processing method for removing the influence of leakage from a visible light image on a non-visible light image obtained from the recording medium via invisible light and including information on image quality degradation due to scratches and dust attached to the recording medium. ,
Regarding the corresponding pixels in the visible light image and the non-visible light image acquired via visible light from the recording medium,
A first variable obtained by subtracting a pixel value of the non-visible light image from a pixel value of the visible light image and adding an average pixel value of the non-visible light image, and a second variable that is a pixel value of the visible light image Performing a first regression analysis using variables and calculating a provisional non-degraded pixel value;
A threshold value is determined from the provisional non-degraded pixel value, and only a pixel whose pixel value of the non-visible light image is equal to or greater than the threshold value is set as a third variable that is a pixel value of the visible light image, and the non-visible light image Performing a second regression analysis using a fourth variable that is a pixel value to obtain the leakage ratio;
And correcting the invisible light image by subtracting a value obtained by multiplying the pixel value of the visible light image by the leakage ratio from the pixel value of the invisible light image. Processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002146555A JP3714282B2 (en) | 2002-05-21 | 2002-05-21 | Image processing method, image processing program, and computer-readable recording medium on which image processing program is recorded |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002146555A JP3714282B2 (en) | 2002-05-21 | 2002-05-21 | Image processing method, image processing program, and computer-readable recording medium on which image processing program is recorded |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003338909A JP2003338909A (en) | 2003-11-28 |
| JP3714282B2 true JP3714282B2 (en) | 2005-11-09 |
Family
ID=29705512
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002146555A Expired - Lifetime JP3714282B2 (en) | 2002-05-21 | 2002-05-21 | Image processing method, image processing program, and computer-readable recording medium on which image processing program is recorded |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3714282B2 (en) |
-
2002
- 2002-05-21 JP JP2002146555A patent/JP3714282B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003338909A (en) | 2003-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4056670B2 (en) | Image processing method | |
| JP4005277B2 (en) | Image processing apparatus, method, and recording medium | |
| JP2002281303A (en) | Device, method for processing image and recording medium | |
| US7164496B2 (en) | Image correction apparatus | |
| JP3775312B2 (en) | Image processing method, image processing program, and computer-readable recording medium recording the program | |
| JP3714282B2 (en) | Image processing method, image processing program, and computer-readable recording medium on which image processing program is recorded | |
| JP3951939B2 (en) | Image processing method, image processing apparatus, image processing program, and recording medium recording image processing program | |
| JP2000209396A (en) | Picture reading method and picture reader | |
| JP4143279B2 (en) | Image defect detection method and image reading apparatus | |
| JP3939466B2 (en) | Image processing apparatus, method, and recording medium | |
| JP3904635B2 (en) | Imaging device | |
| JP3823910B2 (en) | Emulsion scratch determination method, emulsion scratch determination device, emulsion scratch determination program, and recording medium recording emulsion scratch determination program | |
| US20050063026A1 (en) | Calibration arrangement for a scanner | |
| JP2002135591A (en) | Method and device for deciding characteristic correction data | |
| JP2000341473A (en) | Image processing method for flaw correction and processor therefor | |
| JP3772812B2 (en) | Image processing method, image processing program, and recording medium on which image processing program is recorded | |
| JPH06242521A (en) | Method for correcting gray balance | |
| JP4731695B2 (en) | Image processing system using a multi-point camera | |
| JP3280346B2 (en) | Image processing method, recording medium storing image processing program, and image processing apparatus | |
| JP2003069818A (en) | Image processing method, image processing program and recording medium recorded with image processing program | |
| JP2006174349A (en) | Method and processor for image repair | |
| JP2001007987A (en) | Image processing method, image reader and its adjustment method | |
| JP2006184657A (en) | Method for detecting faulty desilvering and image processing method | |
| JP2001148769A (en) | Method and device for image read and defect deciding method for image data | |
| JPH11220621A (en) | Picture reader |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050406 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050802 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050815 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080902 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110902 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110902 Year of fee payment: 6 |
|
| S801 | Written request for registration of abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311801 |
|
| ABAN | Cancellation due to abandonment | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110902 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |