JP4401590B2 - 画像データ処理方法及び画像データ処理装置 - Google Patents

画像データ処理方法及び画像データ処理装置 Download PDF

Info

Publication number
JP4401590B2
JP4401590B2 JP2001074738A JP2001074738A JP4401590B2 JP 4401590 B2 JP4401590 B2 JP 4401590B2 JP 2001074738 A JP2001074738 A JP 2001074738A JP 2001074738 A JP2001074738 A JP 2001074738A JP 4401590 B2 JP4401590 B2 JP 4401590B2
Authority
JP
Japan
Prior art keywords
image data
infrared
infrared image
threshold
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001074738A
Other languages
English (en)
Other versions
JP2002084421A (ja
JP2002084421A5 (ja
Inventor
謙悟 絹村
勉 高山
敦子 柏▲崎▼
貢 英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001074738A priority Critical patent/JP4401590B2/ja
Priority to US09/883,467 priority patent/US20020048411A1/en
Publication of JP2002084421A publication Critical patent/JP2002084421A/ja
Priority to US11/733,098 priority patent/US7724951B2/en
Publication of JP2002084421A5 publication Critical patent/JP2002084421A5/ja
Application granted granted Critical
Publication of JP4401590B2 publication Critical patent/JP4401590B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4097Removing errors due external factors, e.g. dust, scratches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73
    • G06T5/77
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document

Description

【0001】
【発明の属する技術分野】
本発明は、信号処理方法、信号処理装置及び画像読取装置に関し、更に詳しくは透過原稿上のゴミやキズ等による欠陥部分を補正する信号処理方法、信号処理装置及び画像読取装置に関するものである。
【0002】
【従来の技術】
従来の透過原稿の画像読取装置における概略構成を図28に示す。図28において、原稿台ガラス141上に載置されたポジ、ネガ等の透過原稿142を、さらにその上部に設置された拡散板143を介して透過原稿照明用ランプ144で照明し、透過原稿142からの透過光を、ミラー147、ハノ字ミラー148、結像レンズ149を介してCCD150に送り、多数の単位個体撮像素子がライン状に配置されたCCD150にて電気信号に変換することにより主走査方向の画像を形成する。
【0003】
この場合の副走査方向の画像形成は、透過原稿142に対して透過原稿照明用ランプ144、ミラー147を同一速度、同一位相を保ったまま、副走査方向に機械的に移動させ、ハノ字ミラー148を同方向に走査速度2分の1で追従させ、透過原稿142からCCD150までの光路長(共役関係)を一定に保ちながら行い、主走査と合わせてトータルで2次元の画像を形成する。
【0004】
また、上記のような透過原稿の画像読取装置において、不透明の用紙に記載された原稿に光を照射して該用紙から反射する光が処理されるタイプの所謂、反射原稿を読み取ることも可能である。その場合は、透過原稿142の代わりに反射原稿を載置し、透過原稿照明用ランプ144を消灯し、反射原稿照明用ランプ145を点灯させて反射原稿照明用ランプ145による直接光束と反射笠146による反射光束とにより照明し、反射原稿からの反射光をCCD150にて読み取れば、透過原稿の場合と同様に、主走査方向の画像を形成することができる。
【0005】
特にカラー読み取り方式では、反射原稿照明用ランプ145に白色の分光特性を持つランプを用い、且つCCD150に、RGBそれぞれの色のフィルタを有する3ラインタイプCCDを用いて、1回の走査にてRGBの各色の画像情報を同時に読み、画像処理回路上にて、同一ライン上のRGBの各色の信号を重ね合わせることによってカラー画像を形成する3ラインカラー画像読み取り方式が一般に知られている。
【0006】
ところで、上記のような透過原稿の画像読取装置において、透過原稿上のゴミ・キズなどによる画像上の欠陥部分を補正するためには、画像読取後に画像編集ソフトによりレタッチ修正する以外に有効な方法がなかった。そのために、欠陥部分の補正には非常に時間を要していた。
【0007】
近年、このような透過原稿用の画像読取装置において、透過原稿上に存在する埃などのゴミや、フィルム面の損傷(キズ)を検知し(以下、この検知を「ゴミキズ検知」という)、読み取られた画像から、これらのゴミやキズの影響を画像処理にて取り除く、いわゆるゴミキズ除去のための機能を備えた画像読取装置が開発されてきている。
【0008】
図29は、従来のゴミキズ検知用の機能を有する画像読取装置1を示す図であり、図28に示した画像処理装置と同一の構成部分には同一の参照符号を付して、その説明を省略する。
【0009】
図29において、151は波長約880nmに発光強度のピークを有するLEDから成る赤外光ランプである。
【0010】
また、図30は、画像読取装置1により得られる画像データを用いて、ゴミキズ除去を行うゴミキズ除去部2の機能構成を示すブロック図である。図30において、21は画像読み取り装置1により読み込んだ画像データを入力するためのインターフェース(I/F)、22は透過原稿照明用ランプ144または反射原稿照明用ランプ145を用いて読み込んだ画像(以下、「普通画像」と呼ぶ。)を記憶するための画像メモリ、23は赤外線ランプ151を用いて読み込んだ画像(以下、「赤外線画像」と呼ぶ。)を記憶するための赤外線画像メモリ、24は予め決められた閾値を保持する閾値保持部、25はゴミキズ検知部、26はゴミキズ補正部である。
【0011】
図31は、透過原稿照明用ランプ144及び赤外光ランプ151の分光強度分布を示す図であり、各ランプの特性を実線、一点鎖線によってそれぞれ示す。また、図32は一般的なネガ、ポジカラーフィルムのシアン色、イエロー色、マゼンタ色の各色素の分光透過率特性と、赤外光ランプ151の分光強度分布のピーク波長(約880mm)を示したものである。図32にて明らかなように、一般的なカラーフィルムの場合には、どの色素であっても約880nmにおける透過率は非常に高いため、フィルム上の画像によらず赤外光ランプの光束はほとんど通過することになる。
【0012】
以下、ゴミキズ除去動作を行う場合の透過原稿読取動作について、図33に示すフローチャートに従って詳細に説明する。
【0013】
先ず、ステップS10において、図29の反射原稿照明用ランプ145及び赤外光ランプ151を消灯し、透過原稿照明用ランプ144を点灯させる。このとき透過原稿照明用ランプ144の照明光束は拡散板143によって斑なく拡散され、その拡散光束が透過原稿142を透過する。この透過光束がミラー147、ハノ字ミラー148を通過し、さらに結像レンズ149を通過し、CCD150に投影される。CCD150上に投影された画像は電気信号に変換され、図30のI/F21を介して画像メモリ22に一時記憶される。
【0014】
次に、ステップS20において、図29の反射原稿照明用ランプ145と透過原稿照明用ランプ144とを消灯し、赤外光ランプ151を点灯させる。図31に示すような特性を備えた赤外光ランプ151の照明光束は拡散板143によって斑なく拡散され、その拡散光束が透過原稿142を透過し、更にミラー147、ハノ字ミラー148、結像レンズ149を通過した光はCCD150に投影される。従って、透過原稿142を透過した赤外光ランプ151の照明光束は、図32に示すようにネガ、ポジ等の透過原稿142の画像(感光像)によらず透過し、物理的に光路を遮る埃、ゴミ、キズ等の像がCCD150上に蔭として投影される。CCD150上に投影された赤外線画像は電気信号に変換され、図30のI/F21を介して赤外線画像メモリ23に一時記憶される。
【0015】
次にステップS30以降の工程でゴミキズの検出及び補正を行うが、ゴミキズ検知の原理についてここで詳しく説明する。
【0016】
図34は、透過原稿照明用ランプ144及び赤外光ランプ151による読取画像の階調レベルを主走査方向にプロットしたものと、ゴミなどの関係をわかりやすく図示したものである。図34(a)において、181はポジフィルム、182はポジフィルム181上のゴミである。図34(b)は図34(a)の部分を透過原稿照明用ランプ144で読み取った場合の階調レベルであり、暗い部分ほど階調レベルは低い値を示しており、ゴミ182の部分の階調レベルは、ポジフィルム上の画像によらずに当然低くなっている。図34(c)は同じく図34(a)の部分を赤外光ランプ151で読み取った場合の階調レベルであり、ゴミ182の部分の階調レベルは赤外光も通過しないために低くなり、ゴミ182以外の部分は赤外光が通過してしまうためにほぼ一定のレベル183となる。そこでレベル183よりも低い階調レベルに閾値184を設定し、閾値184以下の部分を抽出することでゴミによる欠陥領域185の検出が可能となる。
【0017】
この閾値184は閾値保持部24に予め保持されており、従って、ステップS30において、ゴミキズ検知部25は閾値保持部24からこの閾値184を読み出し、赤外線画像メモリ23から赤外線画像データを読み出して、順次赤外線画像データと閾値184とを比較することで、欠陥領域185を検出する。
【0018】
赤外線画像データが閾値184よりも小さい場合は(ステップS30でNO)、ステップS40でこの欠陥領域185を欠陥領域185の周囲の正常な領域から補間処理などを行うことにより、ゴミ182による影響を軽減する。上記比較動作を全ての赤外線画像データについて行い、欠陥領域が検出されると、対応する普通画像のデータに対して補間処理を行う(ステップS50)。
【0019】
【発明が解決しようとする課題】
しかしながら、上記のような従来技術ではその検出精度が不充分なために、欠陥部分を正しく検出できない、または正常部分まで誤検出してしまう、といった問題があった。つまり、赤外線が通過するほぼ一定のレベル183は赤外光ランプ151の光量誤差や、赤外光ランプ151の発光波長880nmにおけるカラーフィルムの種類による透過率誤差や、発光波長880nmにおけるCCD150の感度誤差などによって大きく変動するために、閾値184を固定値で設定すると、レベル183が閾値184よりも低い値となって正常画像部分まで検出してしまったり、逆に、閾値184がレベル183に比べて低い階調レベルになり過ぎて欠陥領域を正確に検出できなかったりしてしまうことがあった。
【0020】
本発明は上記問題点を鑑みてなされたものであり、透過原稿を読み取ってゴミキズを補正する場合に、赤外光ランプの特性やカラーフィルム種類、光電変換素子の感度特性に関わらず、適切なゴミキズ検出を安定して行うことを目的とする。
【0021】
【課題を解決するための手段】
上記目的を達成するために、本発明の好適な一様態によれば、可視光を照射する可視光照射手段と、赤外光を照射する赤外光照射手段とにより、保持手段により保持された透過原稿をそれぞれ照射し、透過原稿の光学像を複数の画素を有する撮像手段により光電変換して得られる可視光画像データおよび赤外線画像データを処理する画像データ処理方法であって、前記撮像手段の全画素から得られる全赤外線画像データそれぞれの階調レベルと、予め設定された第1の閾値とを比較し、前記第1の閾値よりも低い階調レベルを有する赤外線画像データを出力した画素を、前記保持手段の影が投影された画素として検出する検出工程と、前記全赤外線画像データの階調レベルの平均値を算出する平均値算出工程と、前記検出工程において検出された画素から出力された赤外線画像データの階調レベルを削除し、前記平均値算出工程で算出された平均値を挿入する置き換え工程と、前記置き換え工程を経た後の前記全赤外線画像データに基づいてヒストグラムを生成する生成工程と、前記生成工程で生成したヒストグラムに基づいて、第2の閾値を算出する閾値算出工程と、前記算出工程で算出した第2の閾値と、前記置き換え工程を経た後の前記赤外線画像データの階調レベルとを比較し、前記第2の閾値以下の階調レベルを有する赤外線画像データを出力した画素を抽出する抽出工程と、前記抽出工程において抽出された画素から出力された可視光画像データを、その周辺の画素から出力された可視光画像データの階調レベルを用いて補間する補間工程とを有する。
【0022】
また、可視光を照射する可視光照射手段と、赤外光を照射する赤外光照射手段とにより、保持手段により保持された透過原稿をそれぞれ照射し、透過原稿の光学像を複数の画素を有する撮像手段により光電変換して得られる可視光画像データおよび赤外線画像データを処理する本発明の画像データ処理装置は、前記撮像手段の全画素から得られる全赤外線画像データそれぞれの階調レベルと、予め設定された第1の閾値とを比較し、前記第1の閾値よりも低い階調レベルを有する赤外線画像データを出力した画素を、前記保持手段の影が投影された画素として検出する検出手段と、前記全赤外線画像データの階調レベルの平均値を算出する平均値算出手段と、前記検出手段が検出した画素から出力された赤外線画像データの階調レベルを削除し、前記平均値算出手段により算出された平均値を挿入する置き換え手段と、前記置き換え手段による処理後の前記全赤外線画像データに基づいてヒストグラムを生成する生成手段と、前記生成手段により生成したヒストグラムに基づいて、第2の閾値を算出する閾値算出手段と、前記算出手段により算出した第2の閾値と、前記置き換え手段による処理後の前記赤外線画像データの階調レベルとを比較し、前記第2の閾値以下の階調レベルを有する赤外線画像データを出力した画素を抽出する抽出手段と、前記抽出手段により抽出された画素から出力された可視光画像データを、その周辺の画素から出力された可視光画像データの階調レベルを用いて補間する補間手段とを有する。
【0024】
また、上記目的を達成するために、本発明の好適な別の一様態によれば、可視光を照射する可視光照射手段と、赤外光を照射する赤外光照射手段とにより、保持手段により保持された透過原稿をそれぞれ照射し、透過原稿の光学像を複数の画素を有する撮像手段により光電変換して得られる可視光画像データおよび赤外線画像データを処理する画像データ処理方法であって、前記撮像手段の全画素から得られる全赤外線画像データそれぞれの階調レベルと、予め設定された第1の閾値とを比較し、前記第1の閾値よりも低い階調レベルを有する赤外線画像データを出力した画素を、前記保持手段の影が投影された画素として検出する検出工程と、前記検出工程において検出された画素から出力された赤外線画像データを、前記全赤外線画像データから削除する削除工程と、前記削除工程を経た後の残りの赤外線画像データに基づいてヒストグラムを生成する生成工程と、前記生成工程で生成したヒストグラムに基づいて、第2の閾値を算出する閾値算出工程と、前記閾値算出工程で算出した第2の閾値と、前記残りの赤外線画像データの階調レベルとを比較し、前記第2の閾値以下の階調レベルを有する赤外線画像データを出力した画素を抽出する抽出工程と、前記抽出工程において抽出された画素から出力された可視光画像データを、その周辺の画素から出力された可視光画像データを用いて補間する補間工程とを有する。
【0025】
また、可視光を照射する可視光照射手段と、赤外光を照射する赤外光照射手段とにより、保持手段により保持された透過原稿をそれぞれ照射し、透過原稿の光学像を複数の画素を有する撮像手段により光電変換して得られる可視光画像データおよび赤外線画像データを処理する本発明の画像データ処理装置は、前記撮像手段の全画素から得られる全赤外線画像データそれぞれの階調レベルと、予め設定された第1の閾値とを比較し、前記第1の閾値よりも低い階調レベルを有する赤外線画像データを出力した画素を、前記保持手段の影が投影された画素として検出する検出手段と、前記検出手段が検出した画素から出力された赤外線画像データを、前記全赤外線画像データから削除する削除手段と、前記削除手段による処理後の残りの赤外線画像データに基づいてヒストグラムを生成する生成手段と、前記生成手段により生成したヒストグラムに基づいて、第2の閾値を算出する閾値算出手段と、前記閾値算出手段により算出した第2の閾値と、前記残りの赤外線画像データの階調レベルとを比較し、前記第2の閾値以下の階調レベルを有する赤外線画像データ出力した画素を抽出する抽出手段と、前記抽出手段により抽出された画素から出力された可視光画像データを、その周辺の画素から出力された可視光画像データを用いて補間する補間手段とを有する。
【0049】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【0050】
<第1の実施形態>
以下、第1の実施形態について説明する。なお、本第1の実施形態で用いられる画像読み取り装置の構成は図29に示すものと同様であるので、説明を省略する。
【0051】
また図1は、本第1の実施形態の画像読取装置1から出力される画像信号に対してゴミキズ除去を行うゴミキズ除去部3の機能構成を示すブロック図である。なお、図1では、ゴミキズ除去部3は画像読み取り装置1とは別の装置として示されているが、画像読み取り装置1内部に構成しても構わない。
【0052】
図1において、21は画像読み取り装置1により読み込んだ画像データを入力するためのインターフェース(I/F)、22は透過原稿照明用ランプ144または反射原稿照明用ランプ145を用いて読み込んだ画像(以下、「普通画像」と呼ぶ。)を記憶するための画像メモリ、23は赤外線ランプ151を用いて読み込んだ画像(以下、「赤外線画像」と呼ぶ。)を記憶するための赤外線画像メモリ、25はゴミキズ検知部、26はゴミキズ補正部である。更に、本第1の実施形態においては、ヒストグラム生成部31と、閾値決定・保存部32とを有する。
【0053】
次に、図2のフローチャートを参照しながら、本第1の実施形態におけるゴミキズ除去動作を行う場合の透過原稿読取動作について詳細に説明する。
【0054】
先ず、ステップS10において、図29の反射原稿照明用ランプ145及び赤外光ランプ151を消灯し、透過原稿照明用ランプ144を点灯させる。このとき透過原稿照明用ランプ144の照明光束は拡散板143によって斑なく拡散され、その拡散光束が透過原稿142を透過する。この透過光束がミラー147、ハノ字ミラー148を通過し、さらに結像レンズ149を通過し、CCD150に投影される。CCD150上に投影された画像は電気信号に変換され、図1のI/F21を介して画像メモリ22に一時記憶される。
【0055】
次に、ステップS20において、図29の反射原稿照明用ランプ145と透過原稿照明用ランプ144とを消灯し、赤外光ランプ151を点灯させる。図31に示すような特性を備えた赤外光ランプ151の照明光束は拡散板143によって斑なく拡散され、その拡散光束が透過原稿142を透過し、更にミラー147、ハノ字ミラー148、結像レンズ149を通過した光はCCD150に投影される。従って、透過原稿142を透過した赤外光ランプ151の照明光束は、図32に示すようにネガ、ポジ等の透過原稿142の画像(感光像)によらず透過し、物理的に光路を遮る埃、ゴミ、キズ等の像がCCD150上に蔭として投影される。CCD150上に投影された赤外線画像は電気信号に変換され、図1のI/F21を介して赤外線画像メモリ23に一時記憶される。
【0056】
ここで本第1の実施形態においては、赤外線画像メモリ23に一時記憶された赤外線画データを用いて、ステップS30で用いる閾値L2を算出する(ステップS21)。この算出方法について図3乃至図5を参照して以下詳しく説明する。
【0057】
図3は、ステップS21で行われる閾値L2の算出方法を示すフローチャトであり、図4(a)は、ポジフィルム101上にゴミ102がある状態、図4(b)は図4(a)の部分を図29に示す透過原稿照明用ランプ144で読み取った場合の階調レベル、図4(c)は同じく図4(a)の部分を図29の赤外光ランプ151で読み取った場合の階調レベルを示す。
【0058】
まず、ステップS210において、図1のヒストグラム生成部31は、赤外線画像メモリ23から赤外線画像データを読み出し、ステップS211で階調レベルに対するその出現回数のヒストグラムを生成する。
【0059】
図5は、赤外線画像メモリ23から読み出した赤外線画像の階調レベルを基にして生成したヒストグラムの一例であり、縦軸は画素数単位の頻度数を表し、横軸は階調レベルを示し、高い数値ほど明るい画像データであることを示す。
【0060】
次のステップS212において、閾値決定・保存部32は、作成されたヒストグラムから頻度数の中間値を算出し、対応する階調レベルL1を得る。なお、頻度数の中間値とは頻度数の合計を2分した値であり、階調レベルの低い方または高い方から、高い方または低い方へ順に頻度数を加算して行った時に、和が頻度数の中間値を越えた時の階調レベルをL1とする。一般的に全体画像の中でゴミ102の占める割合は少ないので、頻度数の中間値に対応する階調レベルL1はゴミ102部分以外の画像の階調レベルの中間値にほぼ等しくなる。また、ゴミ102部分の階調レベルは図5の201に示すように分布しており、頻度数の中間値に対応する階調レベルL1よりも低い値である。
【0061】
従って、本第1の実施形態では、このヒストグラムデータの頻度数の中間値に対応する階調レベルL1に注目し、ゴミ102を検出するための閾値を、ゴミ102の分布する階調レベル201の最大値近辺となるように、この階調レベルL1より所定レベルΔL1だけ低い階調レベルL2に設定する(ステップS213)。なお、この所定レベルΔL1は、予め設定してあるものを閾値決定・保存部32に格納しておいても良いし、作成したヒストグラム及び階調レベルL1を表示部に表示し、ユーザーがΔL1をマニュアルで入力設定できるように構成しても良い。
【0062】
閾値決定・保存部32は、このようにして決定した閾値L2を保存し、処理は図2のステップS30に進む。ステップS30において、ゴミキズ検知部25は閾値決定・保持部32から閾値L2を読み出し、赤外線画像メモリ23から赤外線画像データを読み出して、順次赤外線画像データと閾値L2とを比較することで、欠陥領域105を検出する。
【0063】
赤外線画像データが閾値L2よりも小さい場合は(ステップS30でYES)、その画像データがゴミ102によりデータの欠損が生じた欠陥領域105内にあると判断し、ステップS40でこの欠陥領域105を欠陥領域105の周囲の正常な領域から補間処理などを行うことにより(ステップS40)、ゴミ102による影響を軽減する。逆に、赤外線画像データが閾値L2以上であれば(ステップS30でNO)ゴミなどによる影響を受けていない無い領域のデータであると判断する。上記比較動作を全ての赤外線画像データについて行い(ステップS50)、欠陥領域105が検出された場合には、補間処理を行う。
【0064】
このように第1の実施形態によれば、閾値レベル104、すなわち閾値L2によって検出される欠陥領域105として、ゴミ102部分をほぼ正確に検出することが可能となる。
【0065】
<第2の実施形態>
次に、第2の実施形態について説明する。
【0066】
上記第1の実施形態においては、閾値L2を決定する際に階調レベルの頻度数のヒストグラムを生成し、頻度数の中間値に対応する階調レベルL1から予め決めておいたΔL1を差し引くことにより閾値L2を求めたが、本第2の実施形態においては、頻度数が最大となる階調レベルを用いて、閾値を決定する。閾値の決定方法以外の動作は第1の実施形態と同様であるため、説明を省略する。以下、閾値決定動作について図6及び図7を参照して説明するが、図6及び図7において、図4及び図5と共通するものについては、同一の符号を付して説明を省略する。
【0067】
図6(a)は、ポジフィルム101上にゴミ102がある状態を示し、図6(b)は図6(a)の部分を図29に示す透過原稿照明用ランプ144で読み取った場合の階調レベルを示す。また、図6(c)は同じく図6(a)の部分を図29に示す赤外光ランプ151で読み取った場合の階調レベルを示す。
【0068】
図7は、第1の実施形態と同様に、赤外線画像メモリ23から読み出した赤外線画像の階調レベルを基にして生成したヒストグラムの一例であり、縦軸は画素数単位の頻度数を表し、横軸は階調レベルを示す。
【0069】
閾値決定・保存部32は、このようにして生成したヒストグラムから頻度数が最大となる階調レベルL3を得る。図7に示す例では、頻度数が最大となる階調レベルは図6の303にも示すようにL3である。一般的に全体画像の中でゴミ102の占める割合は少ないので、頻度数の最大値に対応する階調レベルL3はゴミ102部分以外の画像の階調レベルの平均値にほぼ等しくなる。また、ゴミ102部分の階調レベルは図7の201に示すように分布しており、頻度数の最大値に対応する階調レベルL3よりも低い値である。
【0070】
従って、本第2の実施形態では、このヒストグラムデータの頻度数の最大値に対応する階調レベルL3を求め、ゴミ102を検出するための閾値を、ゴミ102の分布する階調レベル201の最大値近辺となるように、この階調レベルL3より所定レベルΔL3だけ低い階調レベルL4に設定する。なお、この所定レベルΔL3は、予め設定してあるものを閾値決定・保存部32に格納しておいても良いし、作成したヒストグラム及び階調レベルL3を表示部に表示し、ユーザーがΔL3をマニュアルで入力設定できるように構成しても良い。
【0071】
本第2の実施形態では、このようにして得た閾値L4を図2のステップS30で閾値L2の代わりに用いる。
【0072】
このように第2の実施形態によれば、閾値レベル304、すなわち閾値L4によって検出される欠陥領域305として、ゴミ102部分をほぼ正確に検出することが可能となる。
【0073】
<第3の実施形態>
次に、第3の実施形態について説明する。
【0074】
本第3の実施形態は、最大階調レベルを用いて閾値を決定する点が、上記第1及び第2の実施形態とは異なる。閾値の決定方法以外の動作は第1または第2の実施形態と同様であるため、説明を省略する。以下、閾値決定動作について図8及び図9を参照して説明するが、図8及び図9において、図4及び図5と共通するものについては、同一の符号を付して説明を省略する。
【0075】
図8(a)は、ポジフィルム101上のゴミ102がある状態を示す。図8(b)は図8(a)の部分を図29に示す透過原稿照明用ランプ144で読み取った場合の階調レベルを示す。また、図8(c)は同じく図8(a)の部分を図29に示す赤外光ランプ151で読み取った場合の階調レベルを示す。
【0076】
図9は、第1の実施形態と同様に、赤外線画像メモリ23から読み出した赤外線画像の階調レベルを基にして生成したヒストグラムの一例であり、縦軸は画素数単位の頻度数を表し、横軸は階調レベルを示す。
【0077】
閾値決定・保存部32は、このようにして生成したヒストグラムから最大の階調レベルL5を得る。図9に示す例では、画像全体のデータの中で最大階調レベルは図8の503にも示すようにL5である。全体画像の中で階調レベルが最大となるのはゴミ102がない部分となるので、最大階調レベルL5はゴミ102部分以外の画像の階調レベルの最大値に等しくなる。また、ゴミ102部分の階調レベルは図9の201に示すように分布しており、最大階調レベルL5よりも低い値となっている。
【0078】
従って、本第3の実施形態では、この最大階調レベルL5を求め、ゴミ102を検出するための閾値を、ゴミ102の分布する階調レベル201の最大値近辺となるように、この階調レベルL5より所定レベルΔL5だけ低い階調レベルL6に設定する。なお、この所定レベルΔL5は、予め設定してあるものを閾値決定・保存部32に格納しておいても良いし、作成したヒストグラム及び階調レベルL3を表示部に表示し、ユーザーがΔL5をマニュアルで入力設定できるように構成しても良い。
【0079】
本第3の実施形態では、このようにして得た閾値L6を図2のステップS30で閾値L2の代わりに用いる。
【0080】
このように第3の実施形態によれば、閾値レベル504、すなわち閾値L6によって検出される欠陥領域505として、ゴミ102部分をほぼ正確に検出することが可能となる。
【0081】
<第4の実施形態>
次に第4の実施形態について説明する。
【0082】
本第4の実施形態は、平均階調レベルを用いて閾値を決定する点が、上記第1乃至第3の実施形態とは異なる。閾値の決定方法以外の動作は第1乃至第3の実施形態と同様であるため、説明を省略する。以下、閾値決定動作について説明する。
【0083】
まず、第1の実施形態と同様に、赤外線画像メモリ23から読み出した赤外線画像の階調レベルを基にしてヒストグラムを生成する。閾値決定・保存部32は、このようにして生成したヒストグラムの平均階調レベルLaveを得る。その後予め決めておいたΔLaveを差し引くことにより閾値Lth1を求める。これを式で表すと、
Lth1=Lave−ΔLave
【0084】
となる。
なお、この所定レベルΔLaveは、予め設定してあるものを閾値決定・保存部32に格納しておいても良いし、作成したヒストグラム及び平均階調レベルLaveを表示部に表示し、ユーザーがΔLaveをマニュアルで入力設定できるように構成しても良い。
【0085】
本第4の実施形態では、このようにして得た閾値Lth1を図2のステップS30で閾値L2の代わりに用いる。
【0086】
このように第4の実施形態によれば、閾値Lth1によって検出される欠陥領域として、ゴミ部分をほぼ正確に検出することが可能となる。
【0087】
<第5の実施形態>
次に、第5の実施形態について説明する。
【0088】
本第5の実施形態では、第1〜第4の実施形態で用いた値ΔL1、ΔL3、ΔL5、ΔLaveを、図29における赤外光ランプ151で読み取った画像のヒストグラムデータより算出した標準偏差値を用いて設定する。ここでは、頻度数の中間値に対応する階調レベルを基にして閾値を決定する第1の実施形態で説明した方法を例に取って、図10及び図11を参照して説明する。なお、図10及び図11において、図4及び図5と共通するものについては、同一の符号を付して説明を省略する。
【0089】
図11に示すように、赤外線画像メモリ23から読み出した赤外線画像の階調レベルを基にして生成したヒストグラムの標準偏差値σを算出する。一般的に全体画像の中でゴミ102の占める割合は少ないので、標準偏差値σはゴミ102部分以外の画像の階調レベルの標準偏差値にほぼ等しくなる。
【0090】
そして、ゴミ102を検出するための閾値を、ゴミ102の分布する階調レベル201の最大値近辺となるように、頻度数の中間値に対応する階調レベルL1より標準偏差値σのk倍(kは任意の正の数)だけ低い階調レベルL7に設定する。なお、kの値は、上記第1〜第4の実施形態のどの方法を用いるかにより適宜決定すればよい。
【0091】
本第5の実施形態では、このようにして得た閾値L7を図2のステップS30で閾値L2の代わりに用いる。
【0092】
このように第5の実施形態によれば、閾値レベル704、すなわち閾値L7によって検出される欠陥領域705として、ゴミ102部分をほぼ正確に検出することが可能となる。
【0093】
<第6の実施形態>
次に第6の実施形態について説明する。
【0094】
本第6の実施形態では、最大階調レベルを用いて閾値を決定するが、第3の実施形態において最大階調レベルL5を用いて決定した方法とは異なる方法で閾値を決定する。なお、以下に示す最大階調レベルLmaxは、第3の実施形態における最大階調レベルL5と同様である。閾値の決定方法以外の動作は第1乃至第5の実施形態と同様であるため、説明を省略する。以下、閾値決定動作について説明する。
【0095】
まず、第1の実施形態と同様に、赤外線画像メモリ23から読み出した赤外線画像の階調レベルを基にしてヒストグラムを生成する。閾値決定・保存部32は、このようにして生成したヒストグラムの最大階調レベルLmaxを得る。その後予め決めておいた係数n(<1)を最大階調レベルLaveに掛けることにより、閾値Lth2を求める。これを式で表すと、
Lth2=Lmax×n
【0096】
となる。
なお、この係数nは、予め設定してあるものを閾値決定・保存部32に格納しておいても良いし、作成したヒストグラム及び最大階調レベルLmaxを表示部に表示し、ユーザーが係数nをマニュアルで入力設定できるように構成しても良い。
【0097】
本第6の実施形態では、このようにして得た閾値Lth2を図2のステップS30で閾値L2の代わりに用いる。
【0098】
このように第6の実施形態によれば、閾値Lth2によって検出される欠陥領域として、ゴミ部分をほぼ正確に検出することが可能となる。
【0099】
<第7の実施形態>
次に第7の実施形態について説明する。
【0100】
本第7の実施形態では、平均階調レベル及び最大階調レベルを用いて閾値を決定する点が、上記第1乃至第6の実施形態とは異なる。なお、以下に示す平均階調レベルLaveは、第4の実施形態における平均階調レベルLaveと、最大階調レベルLmaxは、第3の実施形態における最大階調レベルL5と同様である。閾値の決定方法以外の動作は第1乃至第6の実施形態と同様であるため、説明を省略する。以下、閾値決定動作について説明する。
【0101】
まず、第1の実施形態と同様に、赤外線画像メモリ23から読み出した赤外線画像の階調レベルを基にしてヒストグラムを生成する。閾値決定・保存部32は、このようにして生成したヒストグラムの平均階調レベルLave及び最大階調レベルLmaxを得る。その後、最大階調レベルLmaxと平均階調レベルLaveとの差に予め決めておいた係数nを掛け、得られた積を平均階調レベルLaveから引くことにより、閾値Lth3を求める。これを式で表すと、
Lth3=Lave−(Lmax−Lave)×n
【0102】
となる。
なお、この係数nは、予め設定してあるものを閾値決定・保存部32に格納しておいても良いし、作成したヒストグラム及び最大階調レベルLmaxを表示部に表示し、ユーザーが係数nをマニュアルで入力設定できるように構成しても良い。
【0103】
本第7の実施形態では、このようにして得た閾値Lth3を図2のステップS30で閾値L2の代わりに用いる。
【0104】
このように第6の実施形態によれば、閾値Lth3によって検出される欠陥領域として、ゴミ部分をほぼ正確に検出することが可能となる。
【0105】
<第8の実施形態>
次に、第8の実施形態について説明する。
【0106】
第1〜第7の実施形態においては、図29における赤外光ランプ151で読み取った画像全体のヒストグラムデータに基づいて、ゴミを検出するための閾値を設定したが、本第8の実施形態においては、図12に示すように、画像全体を所定のM画素×N画素サイズ毎にブロック化し、各ブロック毎にヒストグラムを生成して、それをもとにゴミを検出するための閾値をそれぞれ設定する。このようにブロック毎に閾値を設定する方法は、赤外光ランプ151の発光波長域において、カラーフィルムのシアン色の色素の透過率が充分でないようなフィルムを読み込む場合に効果的である。
【0107】
図13は、ある種類のカラーフィルムにおける3色(イエロー、マゼンタ、シアン)の色素の分光透過率特性と、赤外光ランプ151の分光強度分布のピーク波長(約880nm)を示したものである。フィルム上の画像にシアン色の色素があった場合に、約880nmにおけるシアン色の透過率がイエロー色やマゼンタ色に比べて低いために、その部分の読取画像の階調レベルが下がり、赤外線画像にフィルム画像の階調データが混入してしまうことになる。こういった場合に、ブロック毎に閾値を決定することで、欠陥領域の誤判断を削減することが可能になる。
【0108】
以下、第8の実施形態における処理について、図12〜図13を参照して説明する。なお、図14において、図4と共通するものについては、同一の符号を付して説明を省略する。
【0109】
図14(a)は、ポジフィルム101上のゴミ102がある状態を示す。図14(b)は図14(a)の部分を図29に示す透過原稿照明用ランプ144で読み取った場合の階調レベルを示す。また、図14(c)は同じく図14(a)の部分を図29に示す赤外光ランプ151で読み取った場合の階調レベルを示す。本第8の実施形態における図14(c)に示す例では、ポジフィルム101上のゴミ102以外に、ポジ画像の階調データ成分1001が多少混入している。
【0110】
このような場合の赤外線画像を前述したように所定サイズ毎にブロック化し、それぞれのブロック毎にヒストグラムを算出する。ヒストグラムを作成する対象領域を小さくすることにより、図14(c)に示すように、ポジ画像の階調データ成分1001の頻度の影響がより大きくなるため、ヒストグラムの頻度数の中央値に対応する階調レベル1002が、第1の実施形態の場合のL1よりもΔL6だけ低いL8となる。
【0111】
従って、第1の実施形態と同様の方法でゴミ検出のための閾値を設定すれば、閾値レベル1003(L9)はL8よりもΔL1だけ低くなり、検出される欠陥領域1004は、ポジ画像の階調データの混入の影響を受けずにゴミ102部分をほぼ正確に検出することが可能となり、更に、シアン色領域の誤判断を軽減することができる。
【0112】
本第8の実施形態では、このようにして得た閾値L9を図2のステップS30で閾値L2の代わりに用いる。
【0113】
このように第8の実施形態によれば、各ブロック毎にゴミによる欠陥領域を算出することで、赤外光ランプ151で読み取った画像のゴミ以外の部分に、フィルム画像の階調データが混入した場合でも、ゴミ部分のみをほぼ正確に検出することが可能となる。
【0114】
また、本第8の実施形態の場合における各ブロック毎に検出された欠陥領域と、前述した第1〜第7の実施形態にて検出された欠陥領域とを総合的に判断してゴミやキズを補正するための領域を決定すれば、より精度の高い補正が可能となる。
【0115】
<第9の実施形態>
次に、第9の実施形態について図15を参照して説明する。なお、図15において、図4と共通するものについては、同一の符号を付して説明を省略する。
【0116】
上記第1〜第8の実施形態で説明してきたように、赤外光ランプ151で読み取った赤外線画像のヒストグラムデータを用いてゴミ検出のための閾値を設定することで、ほぼ正確にゴミ部分のみを検出することが可能となるが、この閾値は必ずゴミのない部分の平均レベルよりも低く設定される。従って、検出される領域は、実際にゴミによる影響を受ける領域よりも僅かに狭い領域となることが多い。
【0117】
従って、例えば第1の実施形態に示す方法で欠陥領域105を検出した場合、本第9の実施形態では図15(c)に示すように検出された欠陥領域105よりも所定サイズだけ広い範囲1201を欠陥領域として判断させる。
【0118】
また、透過原稿照明用ランプによる読取画像上のゴミの位置と、赤外光ランプによる読取画像上のゴミの位置とに僅かなズレが発生した場合にも、本第9の実施形態を適用することで、その影響を大幅に緩和することが可能である。
【0119】
<第10の実施形態>
次に、第10の実施形態について図16を参照して説明する。なお、図16において、図4と共通するものについては、同一の符号を付して説明を省略する。
【0120】
図16は本発明の第10の実施形態を説明したものである。図4にて説明した内容と共通するものについては、同一の符号を付して説明を省略する。
【0121】
本第10の実施形態では、透過原稿照明用ランプによる読取画像のゴミの鮮明さに比べて、赤外光ランプによる読取画像上のゴミの鮮明さが悪いような場合に効果的な方法について説明する。このような現象は、赤外光ランプの発光主波長が透過原稿照明用ランプによる読取画像に用いられる可視波長域(400nm〜700nm)に比べて長波長であるが故に、いわゆるレンズの色収差と称するピントズレにより発生する場合がある。
【0122】
このような場合には、図16(c)に示すように、赤外光ランプで読み取った画像のゴミ102の部分の階調データは実際のゴミ102の飯域よりも広がってしまう。このとき、欠陥領域検出のための閾値L11を、ヒストグラムデータの頻度数の中間値に対応する階調レベル1301、即ちL10に対し、ΔL7だけ低いレベル1302に設定すると、検出された欠陥領域1303は実際のゴミの領域よりも広い範囲となってしまう。従って本第10の実施形態では、図16(c)に示すように、検出された欠陥領域1303を所定サイズだけ狭い範囲1304を欠陥領域として判断させることにより、適切に補正することが可能となる。
【0123】
<第11の実施形態>
次に、本発明の第11の実施形態を図16を参照して説明する。
【0124】
本第11の実施形態では、第10の実施形態と同様に透過原稿照明用ランプによる読取画像のゴミの鮮明さに比べて、赤外光ランプによる読取画像上のゴミの鮮明さが悪いような場合に効果的な方法について説明する。
【0125】
本第11の実施形態では、先ず図16(c)のように赤外光ランプで読み取った画像のゴミ102の部分の階調データは実際のゴミ102の領域よりも広がってしまったときに、図16(d)に示すように赤外光ランプで読み取った画像を一旦輪郭補正し、鮮明度を透過原稿照明用ランプによる読取画像のゴミとほぼ同等にする。その上で、欠陥領域検出のための閾値をヒストグラムデータの平均頻度数に対応する階調レベル1305、即ちL12に対し、ΔL8だけ低いレベル1306、即ちL13に設定することで、閾値レベル1306によって検出される欠陥領域1307はゴミ102部分をほぼ正確に検出することが可能となる。
【0126】
本第11の実施形態において、前述した輪郭補正の方式や輪郭補正量は特に規定しないが、赤外光ランプによる読取画像上のゴミの鮮明さが悪くなる原因が前述したようにレンズの色収差に起因する場合には、その色収差によるMTF、劣化分を補正するように輪郭補正の方式や輪郭補正量を設定すると、より効果的である。
【0127】
<第12の実施形態>
次に、本発明の第12の実施形態を説明する。本第12の実施形態では、透過原稿を読み込む際に、フィルムホルダを用いる場合について説明する。
【0128】
図17は透過原稿読み取り時に、ポジフィルムやネガフィルムをセットするためのフィルムホルダを画像読取装置1の原稿台ガラス14上に設置した場合の上面図である。同図において、401はフィルムホルダ全体を示し、原稿台ガラス14上の所定の位置に設置する。402は透過原稿照明用ランプ144及び赤外光ランプ151からの光の有無や光量をCCD150でチェックするための穴である。また、エリア403はスリーブタイプのフィルム406を設置するための領域であり、エリア404はマウントタイプのフィルム405を設置するための領域である。
【0129】
実際にフィルムを読み取る時は、画像読取装置1に接続されるPCのディスプレイ上でプレビューした画像を確認しながら、フィルムがある領域をユーザーが選択し、選択した領域について読み取りを行う。
【0130】
図17に示すようなフィルムホルダ401を用いた場合、読み取り範囲はプレビュー画像上で自由に選択することができるため、選択範囲の中にフィルムホルダが含まれてしまうことがある。そのような場合に上記の第1,2,4,5,7乃至第11の実施形態で説明した方法によりゴミキズの検出及び補正を行うと、閾値の計算をする時にフィルムホルダ401のデータが計算に入れられてしまうため、望ましい閾値が得られなくなり、その結果、除去するべきゴミ・キズが残ってしまうという問題がある。
【0131】
赤外線ランプ151を用いて、フィルム及びその周辺のフィルムホルダ401部分を読み込んだ場合、フィルムホルダ401部分(以下、「ホルダシャドウ」と呼ぶ。)は赤外光を透過しないので、CCD150から出力される階調レベルは、低いレベル(255階調の場合、通常0〜50)を示す。
【0132】
図18(a)は、フィルムホルダ401を含まない場合の読み取り領域を示し、図18(b)は、図18(a)に示す領域を読み取って得られる赤外線画像のヒストグラムの一例を示す。また、図19(a)は、読み取り領域がフィルムホルダ401を含む場合を示し、図19(b)は、図19(a)に示す領域を読み取って得られる赤外線画像のヒストグラムの一例を示す。図19(b)ではフィルムホルダ401が読み取り領域に存在するために、低いレベルの頻度が図18(a)に比べて高いことが分かる。
【0133】
図19に示す例の場合に、例えば上記第4の実施形態に示す係数nを、第5の実施形態で説明したように標準偏差σを用いて閾値を算出する方法を適用した場合、フィルムホルダ401を含まない場合の閾値をTaとすると、フィルムホルダ401を含む場合は標準偏差σが大きくなるので、閾値TbはTaよりも低くなる。つまり、フィルムホルダ401を含む場合は、TaとTbの間の階調レベルを有するゴミキズの補正ができずに残ってしまう。
【0134】
本第12の実施形態では、このようにフィルムホルダ401が読み取り領域に入ることによるゴミキズ判定の閾値が低下し、ゴミキズが補正されずに残ってしまうことの無いようにする方法について説明する。
【0135】
図20は、本第12の実施形態におけるゴミキズ除去動作を示すフローチャートである。図20と図2との差は、ステップS20とS21の間に、ホルダシャドウ補正処理(ステップS120)が追加されていることである。その他の動作には同じであるために参照番号を付し、説明を省略する。以下、ステップS120におけるホルダシャドウ補正処理について、図19乃至図27を参照して詳細に説明する。
【0136】
まず、取得した赤外線画像にホルダシャドウが存在するかどうかを判断しなければならない。図22はフィルムホルダ401が写りこんでいる場合のスキャン画像の一部を表した模式図である。同図において、Dはホルダシャドウに対応する画素、Aは通常の原稿が写っている画素、Bはホルダシャドウ画素Dと原稿画素Aとの境界を表す。フィルムシャドウは、画像に対して必ず画像の上下左右の4辺のいずれか、若しくは、図22に示すように複数辺に表れる。また、前述の通りホルダシャドウは必ずある階調レベルより低い値を示すので、その性質を利用してホルダシャドウを判別することが可能である。従って、ステップS121において、ホルダシャドウを識別するための閾値をTsbに設定する。
【0137】
次に、ステップS122において、赤外線画像中のホルダシャドウを判別するために、図23に示すようにまず右辺の画素から階調レベルと閾値Tsbを比較する。この比較を右辺から行い、ホルダシャドウ画素Dの存在が確認されたら、ホルダシャドウ画素Dが終わる部分、すなわち、図22で境界画素Bが現れるまで比較を続け、境界画素Bが現れたらそこをホルダシャドウの境界部として、一定の画素分を255階調の場合、図23に示すように255(B’)に置き換える。置き換える画素数は高い解像度ほど多くなる。一例として、図22においては、1画素を置き換えている。
【0138】
次にステップS123においては、同様の処理を下方向からも行う(図24)。さらにステップS124及びS125において、同様に左及び上方向からも行う。
【0139】
ステップS126において、ホルダシャドウが存在するかどうか判断する。これは、B’の値に置き換えた画素があったかどうかをステップS122乃至S125で記憶しておくことにより簡単に行うことができる。存在しなければ、ホルダシャドウの補正を行う必要がないために、そのまま図20のステップS21へ進む。
【0140】
一方、ホルダシャドウが存在する場合(ステップS126でYES)、ステップS127へ進み、図25に示すように、右辺から順に、255に置き換えた領域B’とホルダシャドウの領域Dを、読み取り領域全体の階調レベルの平均値Vに置き換える。この置き換え処理においては、ホルダシャドウ画素Dであるか、あるいは置き換えられた画素B’(レベル255)であるときは平均値に置き換えて、次の画素を調べに行く。そして、画素B’(レベル255)でもなく、ホルダシャドウ画素Dでも無い画素があった時点で、平均値への置き換え処理を終了する(図26)。右辺からの処理を終了すると、ステップS128(図27)及びS130において、同様の処理を下、左、上からも行う。
【0141】
ホルダシャドウ画素Dと原稿画像画素Aとの境界部分もホルダシャドウDと同様に平均値に置き換えているのは、ホルダシャドウと原稿との境界は不連続的に階調レベルが変化しているのではなく、連続的に変化するので、ホルダシャドウ画素Dのみを置き換えるだけでは、境界部がゴミキズ処理後に残ってしまい、処理後の画像が枠を縁どったようになり、不具合が生じるためである。
【0142】
また、前述の通り、置き換える境界部分の画素数は解像度が高くなるにつれて、多くなるように設定する。これは解像度が高くなると画像に残る境界部の画素数も同様に多くなるためである。
【0143】
平均値への置き換え処理が終了すると、図20のステップS21へ進む。
【0144】
上記のように、ホルダシャドウ画素D及び境界画素Bの部分を平均値に置き換えることにより、標準偏差σを用いて閾値を計算する場合に、置き換えない場合に比べて画像の標準偏差σが小さくなるため、ゴミキズ判定の閾値が低下したりという問題が発生せず、より適切な閾値を求めることができ、より適正なゴミキズ除去が可能となる。また、平均値に置き換えることで、ホルダシャドウ画素Dの部分を完全に除去した場合に比べて、ホルダシャドウが存在することの影響を最小限に抑えることが可能となり、適切なゴミキズ除去につながる。
【0145】
なお、上記第12の実施形態においては、標準偏差σを用いて閾値を算出する方法に適した方法について説明したが、図21のステップS127〜S130において、ホルダシャドウ画素D及び境界画素B’の値の置き換えをせずに、除去するようにすれば、第1,2,4,7の実施形態の閾値算出方法においても適切な閾値を求めることが可能である。
【0146】
上記の通り本第12の実施形態によれば、読み取り範囲にフィルムホルダが含まれる場合であっても、適切にゴミキズ補正を行うことができる。
【0147】
【他の実施形態】
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【0148】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0149】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0150】
【発明の効果】
以上説明したように、本発明によれば透過原稿の画像読取装置において、赤外光ランプによる読取画像のヒストグラムを生成し、生成したヒストグラムに基づいて透過原稿上のゴミやキズによる欠陥領域を検出するための閾値を設定することで、精度の高いゴミやキズの補正が可能となる。
【0151】
また、ヒストグラム生成の際に、赤外光ランプによる読取画像を所定サイズ毎にブロック化し、各ブロック毎にヒストグラムを作成することで、赤外光ランプによる読取画像に透過原稿用ランプの読取画像が混入した場合でも、ゴミ部分のみをほぼ正確に検出することが可能となる。
【0152】
また、検出されたゴミやキズによる欠陥領域を所定サイズだけ拡大することで、実際のゴミの領域と正確に一致させることが可能となる。
【0153】
また、検出されたゴミやキズによる欠陥領域を所定サイズだけ縮小したり、赤外光ランプによる読取画像を輪郭補正した上で欠陥領域の検出をすることで、赤外光ランプによる読取画像上のゴミの鮮明度が悪い場合であっても精度の高いゴミやキズの補正が可能となる。
【0154】
また、読み取り範囲にフィルムホルダが含まれる場合であっても、適切にゴミキズ補正を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態における画像読み取りシステムの構成を示すブロック図である。
【図2】本発明の実施の形態におけるゴミキズ除去部での処理を示すフローチャートである。
【図3】本発明の第1の実施形態における閾値算出処理を示すフローチャートである。
【図4】本発明の第1の実施形態における、フィルム上のゴミと、透過原稿照明用ランプ及び赤外光ランプによりフィルムを読み込んで得た階調レベルとの関係を示す図である。
【図5】本発明の第1の実施形態における、赤外光ランプで読み取った画像のヒストグラムを示す図である。
【図6】本発明の第2の実施形態における、フィルム上のゴミと、透過原稿照明用ランプ及び赤外光ランプによりフィルムを読み込んで得た階調レベルとの関係を示す図である。
【図7】本発明の第2の実施形態における、赤外光ランプで読み取った画像のヒストグラムを示す図である。
【図8】本発明の第3の実施形態における、フィルム上のゴミと、透過原稿照明用ランプ及び赤外光ランプによりフィルムを読み込んで得た階調レベルとの関係を示す図である。
【図9】本発明の第3の実施形態における、赤外光ランプで読み取った画像のヒストグラムを示す図である。
【図10】本発明の第5の実施形態における、フィルム上のゴミと、透過原稿照明用ランプ及び赤外光ランプによりフィルムを読み込んで得た階調レベルとの関係を示す図である。
【図11】本発明の第5の実施形態における、赤外光ランプで読み取った画像のヒストグラムを示す図である。
【図12】本発明の第8の実施形態における、画像の分割を示す図である。
【図13】ある種類のカラーフィルムにおける3色の色素の分光透過率特性と、赤外光ランプの分光強度分布のピーク波長を示す図である。
【図14】本発明の第8の実施形態における、フィルム上のゴミと、透過原稿照明用ランプ及び赤外光ランプによりフィルムを読み込んで得た階調レベルとの関係を示す図である。
【図15】本発明の第9の実施形態における、フィルム上のゴミと、透過原稿照明用ランプ及び赤外光ランプによりフィルムを読み込んで得た階調レベルとの関係を示す図である。
【図16】本発明の第7、及び第11の実施形態における、フィルム上のゴミと、透過原稿照明用ランプ及び赤外光ランプによりフィルムを読み込んで得た階調レベルとの関係を示す図である。
【図17】本発明の第12の実施形態におけるフィルムホルダを画像読取装置の原稿台ガラス上に設置した場合の上面図である。
【図18】フィルムホルダを含まない読み込み領域及び当該領域を赤外光ランプで読み取った画像のヒストグラムを示す図である。
【図19】フィルムホルダを含む読み込み領域及び当該領域を赤外光ランプで読み取った画像のヒストグラムを示す図である。
【図20】本発明の第12の実施形態におけるゴミキズ除去部での処理を示すフローチャートである。
【図21】本発明の第12の実施形態におけるホルダシャドウ補正処理を示すフローチャートである。
【図22】本発明の第12の実施形態におけるホルダシャドウ補正処理動作を説明するための図である。
【図23】本発明の第12の実施形態におけるホルダシャドウ補正処理動作を説明するための図である。
【図24】本発明の第12の実施形態におけるホルダシャドウ補正処理動作を説明するための図である。
【図25】本発明の第12の実施形態におけるホルダシャドウ補正処理動作を説明するための図である。
【図26】本発明の第12の実施形態におけるホルダシャドウ補正処理動作を説明するための図である。
【図27】本発明の第12の実施形態におけるホルダシャドウ補正処理動作を説明するための図である。
【図28】従来の画像読取装置の構成図である。
【図29】透過原稿上のゴミキズによる欠陥領域を検出する従来の画像読取装置の構成図である。
【図30】従来の画像読み取りシステムの構成を示すブロック図である。
【図31】透過原稿照明用ランプと、赤外光ランプの分光強度分布を示す図である。
【図32】一般のカラーフィルムにおける3色の色素の分光透過率特性と、赤外光ランプの分光強度分布のピーク波長を示す図である。
【図33】ゴミキズ除去部での従来の処理を示すフローチャートである。
【図34】従来例における、フィルム上のゴミと、透過原稿照明用ランプ及び赤外光ランプによりフィルムを読み込んで得た階調レベルとの関係を示す図である。

Claims (6)

  1. 可視光を照射する可視光照射手段と、赤外光を照射する赤外光照射手段とにより、保持手段により保持された透過原稿をそれぞれ照射し、透過原稿の光学像を複数の画素を有する撮像手段により光電変換して得られる可視光画像データおよび赤外線画像データを処理する画像データ処理方法であって、
    前記撮像手段の全画素から得られる全赤外線画像データそれぞれの階調レベルと、予め設定された第1の閾値とを比較し、前記第1の閾値よりも低い階調レベルを有する赤外線画像データを出力した画素を、前記保持手段の影が投影された画素として検出する検出工程と、
    前記全赤外線画像データの階調レベルの平均値を算出する平均値算出工程と、
    前記検出工程において検出された画素から出力された赤外線画像データの階調レベルを削除し、前記平均値算出工程で算出された平均値を挿入する置き換え工程と、
    前記置き換え工程を経た後の前記全赤外線画像データに基づいてヒストグラムを生成する生成工程と、
    前記生成工程で生成したヒストグラムに基づいて、第2の閾値を算出する閾値算出工程と、
    前記算出工程で算出した第2の閾値と、前記置き換え工程を経た後の前記赤外線画像データの階調レベルとを比較し、前記第2の閾値以下の階調レベルを有する赤外線画像データを出力した画素を抽出する抽出工程と、
    前記抽出工程において抽出された画素から出力された可視光画像データを、その周辺の画素から出力された可視光画像データの階調レベルを用いて補間する補間工程と
    を有することを特徴とする画像データ処理方法。
  2. 前記閾値算出工程は、
    標準偏差を求める工程と、
    前記標準偏差に基づいて前記第2の閾値を決定する工程と
    を有することを特徴とする請求項1に記載の画像データ処理方法。
  3. 可視光を照射する可視光照射手段と、赤外光を照射する赤外光照射手段とにより、保持手段により保持された透過原稿をそれぞれ照射し、透過原稿の光学像を複数の画素を有する撮像手段により光電変換して得られる可視光画像データおよび赤外線画像データを処理する画像データ処理方法であって、
    前記撮像手段の全画素から得られる全赤外線画像データそれぞれの階調レベルと、予め設定された第1の閾値とを比較し、前記第1の閾値よりも低い階調レベルを有する赤外線画像データを出力した画素を、前記保持手段の影が投影された画素として検出する検出工程と、
    前記検出工程において検出された画素から出力された赤外線画像データを、前記全赤外線画像データから削除する削除工程と、
    前記削除工程を経た後の残りの赤外線画像データに基づいてヒストグラムを生成する生成工程と、
    前記生成工程で生成したヒストグラムに基づいて、第2の閾値を算出する閾値算出工程と、
    前記閾値算出工程で算出した第2の閾値と、前記残りの赤外線画像データの階調レベルとを比較し、前記第2の閾値以下の階調レベルを有する赤外線画像データを出力した画素を抽出する抽出工程と、
    前記抽出工程において抽出された画素から出力された可視光画像データを、その周辺の画素から出力された可視光画像データを用いて補間する補間工程と
    を有することを特徴とする画像データ処理方法。
  4. 可視光を照射する可視光照射手段と、赤外光を照射する赤外光照射手段とにより、保持手段により保持された透過原稿をそれぞれ照射し、透過原稿の光学像を複数の画素を有する撮像手段により光電変換して得られる可視光画像データおよび赤外線画像データを処理する画像データ処理装置であって、
    前記撮像手段の全画素から得られる全赤外線画像データそれぞれの階調レベルと、予め設定された第1の閾値とを比較し、前記第1の閾値よりも低い階調レベルを有する赤外線画像データを出力した画素を、前記保持手段の影が投影された画素として検出する検出手段と、
    前記全赤外線画像データの階調レベルの平均値を算出する平均値算出手段と、
    前記検出手段が検出した画素から出力された赤外線画像データの階調レベルを削除し、前記平均値算出手段により算出された平均値を挿入する置き換え手段と、
    前記置き換え手段による処理後の前記全赤外線画像データに基づいてヒストグラムを生成する生成手段と、
    前記生成手段により生成したヒストグラムに基づいて、第2の閾値を算出する閾値算出手段と、
    前記算出手段により算出した第2の閾値と、前記置き換え手段による処理後の前記赤外線画像データの階調レベルとを比較し、前記第2の閾値以下の階調レベルを有する赤外線画像データを出力した画素を抽出する抽出手段と、
    前記抽出手段により抽出された画素から出力された可視光画像データを、その周辺の画素から出力された可視光画像データの階調レベルを用いて補間する補間手段と
    を有することを特徴とする画像データ処理装置。
  5. 可視光を照射する可視光照射手段と、赤外光を照射する赤外光照射手段とにより、保持手段により保持された透過原稿をそれぞれ照射し、透過原稿の光学像を複数の画素を有する撮像手段により光電変換して得られる可視光画像データおよび赤外線画像データを処理する画像データ処理装置であって、
    前記撮像手段の全画素から得られる全赤外線画像データそれぞれの階調レベルと、予め設定された第1の閾値とを比較し、前記第1の閾値よりも低い階調レベルを有する赤外線画像データを出力した画素を、前記保持手段の影が投影された画素として検出する検出手段と、
    前記検出手段が検出した画素から出力された赤外線画像データを、前記全赤外線画像データから削除する削除手段と、
    前記削除手段による処理後の残りの赤外線画像データに基づいてヒストグラムを生成する生成手段と、
    前記生成手段により生成したヒストグラムに基づいて、第2の閾値を算出する閾値算出手段と、
    前記閾値算出手段により算出した第2の閾値と、前記残りの赤外線画像データの階調レベルとを比較し、前記第2の閾値以下の階調レベルを有する赤外線画像データ出力した画素を抽出する抽出手段と、
    前記抽出手段により抽出された画素から出力された可視光画像データを、その周辺の画素から出力された可視光画像データを用いて補間する補間手段と
    を有することを特徴とする画像データ処理装置。
  6. コンピュータに、請求項1乃至のいずれか1項に記載の画像データ処理方法の各工程を実行させるためのプログラム。
JP2001074738A 2000-06-19 2001-03-15 画像データ処理方法及び画像データ処理装置 Expired - Fee Related JP4401590B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001074738A JP4401590B2 (ja) 2000-06-19 2001-03-15 画像データ処理方法及び画像データ処理装置
US09/883,467 US20020048411A1 (en) 2000-06-19 2001-06-14 Signal processing method, signal processing apparatus, and image reading apparatus
US11/733,098 US7724951B2 (en) 2000-06-19 2007-04-09 Signal processing method, signal processing apparatus, and image reading apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000182905 2000-06-19
JP2000-182905 2000-06-19
JP2001074738A JP4401590B2 (ja) 2000-06-19 2001-03-15 画像データ処理方法及び画像データ処理装置

Publications (3)

Publication Number Publication Date
JP2002084421A JP2002084421A (ja) 2002-03-22
JP2002084421A5 JP2002084421A5 (ja) 2008-05-01
JP4401590B2 true JP4401590B2 (ja) 2010-01-20

Family

ID=26594178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001074738A Expired - Fee Related JP4401590B2 (ja) 2000-06-19 2001-03-15 画像データ処理方法及び画像データ処理装置

Country Status (2)

Country Link
US (2) US20020048411A1 (ja)
JP (1) JP4401590B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220042940A1 (en) * 2018-12-18 2022-02-10 Marposs Societa' Per Azioni Checking methods and systems for checking a mechanical piece manufactured by using a mold and a manufacturing process in a foundry

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW563345B (en) 2001-03-15 2003-11-21 Canon Kk Image processing for correcting defects of read image
US7110152B2 (en) * 2001-08-31 2006-09-19 Hewlett-Packard Development Company, L.P. Virtual scanning from a scanned image preview
US7428080B2 (en) * 2002-02-05 2008-09-23 Canon Kabushiki Kaisha Image reading apparatus, method of controlling image reading apparatus, program, and computer readable storage medium
JP3775312B2 (ja) * 2002-03-04 2006-05-17 ノーリツ鋼機株式会社 画像処理方法、画像処理プログラム、および該プログラムを記録したコンピュータ読取り可能な記録媒体
JP3951939B2 (ja) * 2003-02-28 2007-08-01 ノーリツ鋼機株式会社 画像処理方法、画像処理装置、画像処理プログラム、画像処理プログラムを記録した記録媒体
JP4117556B2 (ja) * 2003-09-08 2008-07-16 ノーリツ鋼機株式会社 フィルム画像処理装置及びフィルム画像処理方法
JP4971598B2 (ja) * 2004-06-11 2012-07-11 キヤノン株式会社 照明装置、画像読取装置及び画像読取方法
US7401576B2 (en) * 2004-10-01 2008-07-22 Prescott Ted W Corral panel
JP2008271024A (ja) * 2007-04-18 2008-11-06 Fujifilm Corp 画像処理装置および方法並びにプログラム
US8406554B1 (en) * 2009-12-02 2013-03-26 Jadavpur University Image binarization based on grey membership parameters of pixels
JP2013520228A (ja) * 2010-02-22 2013-06-06 アンドリュー, アール. スプリーゲル, 栄養価をより正確に決定し、食品の無駄を削減する方法およびシステム
CN104509102B (zh) * 2012-07-27 2017-12-29 日产自动车株式会社 三维物体检测装置和异物检测装置
WO2016018395A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Document region detection
KR101665977B1 (ko) * 2014-09-23 2016-10-24 주식회사 신도리코 이미지 보정 장치 및 방법
CN105137670A (zh) * 2015-09-25 2015-12-09 京东方科技集团股份有限公司 液晶滴注系统及控制方法
US10043070B2 (en) * 2016-01-29 2018-08-07 Microsoft Technology Licensing, Llc Image-based quality control
EP3239929B1 (en) * 2016-04-27 2019-06-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
US10701244B2 (en) * 2016-09-30 2020-06-30 Microsoft Technology Licensing, Llc Recolorization of infrared image streams
CN107644410B (zh) * 2017-09-29 2020-05-19 上海天马有机发光显示技术有限公司 图像处理方法、图像处理装置、图像处理系统及显示装置
CN109523562A (zh) * 2018-12-14 2019-03-26 哈尔滨理工大学 一种基于人眼视觉特性的红外图像分割方法
CN110288566B (zh) * 2019-05-23 2021-12-07 北京中科晶上科技股份有限公司 一种目标缺陷提取方法
CN112132910B (zh) * 2020-09-27 2023-09-26 上海科技大学 基于红外的适用于低光环境的含半透明信息的抠像系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325443A (en) * 1990-07-06 1994-06-28 Westinghouse Electric Corporation Vision system for inspecting a part having a substantially flat reflective surface
US5506917A (en) * 1990-07-13 1996-04-09 Nippon Telegraph And Telephone Corporation Thresholding method for segmenting gray scale image, method for determining background concentration distribution, and image displacement detection method
FR2670979A1 (fr) * 1990-12-21 1992-06-26 Philips Electronique Lab Procede de segmentation binaire locale d'images numerisees, par seuillage d'histogramme.
US5357353A (en) * 1991-05-17 1994-10-18 Minolta Camera Kabushiki Kaisha Image forming apparatus
US5266805A (en) * 1992-05-05 1993-11-30 International Business Machines Corporation System and method for image recovery
US6064494A (en) * 1994-11-18 2000-05-16 Minolta Co., Ltd. Image processor
US5949905A (en) * 1996-10-23 1999-09-07 Nichani; Sanjay Model-based adaptive segmentation
US6341172B1 (en) * 1997-02-28 2002-01-22 Siemens Medical Systems, Inc. Acquisition scheme for an electron portal imaging system
JPH1198370A (ja) * 1997-07-24 1999-04-09 Nikon Corp 画像処理方法、画像処理装置及び制御手順を記憶する記憶媒体
US6078051A (en) * 1998-01-08 2000-06-20 Xerox Corporation Image input device and method for providing scanning artifact detection
US6222642B1 (en) * 1998-08-10 2001-04-24 Xerox Corporation System and method for eliminating background pixels from a scanned image
JP3563975B2 (ja) 1998-09-25 2004-09-08 キヤノン株式会社 画像読取装置及び画像読取方法及び記憶媒体
JP2000115465A (ja) 1998-10-05 2000-04-21 Canon Inc 画像読取装置及び画像読取方法及び記憶媒体
JP2000115464A (ja) 1998-10-05 2000-04-21 Canon Inc 画像読取装置及び画像読取方法及び記憶媒体
US6832008B1 (en) * 1998-09-25 2004-12-14 Canon Kabushiki Kaisha Image reading apparatus and method, and storage medium
JP2000349976A (ja) 1999-03-26 2000-12-15 Canon Inc 画像入力装置及びその制御方法及び記憶媒体
US6707557B2 (en) * 1999-12-30 2004-03-16 Eastman Kodak Company Method and system for estimating sensor dark current drift and sensor/illumination non-uniformities

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220042940A1 (en) * 2018-12-18 2022-02-10 Marposs Societa' Per Azioni Checking methods and systems for checking a mechanical piece manufactured by using a mold and a manufacturing process in a foundry

Also Published As

Publication number Publication date
JP2002084421A (ja) 2002-03-22
US20070189636A1 (en) 2007-08-16
US7724951B2 (en) 2010-05-25
US20020048411A1 (en) 2002-04-25

Similar Documents

Publication Publication Date Title
JP4401590B2 (ja) 画像データ処理方法及び画像データ処理装置
US7245784B2 (en) Image processing for correcting defects of read image
JP4056670B2 (ja) 画像処理方法
US20040027618A1 (en) Image defect detecting method
JP3176101B2 (ja) 画像読取装置
JP2009164951A (ja) 撮像システム、画像処理装置、画像処理方法、およびプログラム
JP5531464B2 (ja) 画像処理プログラム、画像処理装置および画像処理方法
JP2004061500A (ja) 画像欠陥検出方法
JP4630477B2 (ja) 画像信号処理方法
JP4933402B2 (ja) 画像読取装置
JPH0454681A (ja) 画像処理装置および画像処理方法
JP4143279B2 (ja) 画像欠陥の検出方法および画像読取装置
JP4636714B2 (ja) 信号処理方法、画像読取装置、プログラム及び媒体
JP7391653B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2009164949A (ja) 画像処理装置、画像処理方法、およびプログラム
JP3950851B2 (ja) 画像読取装置及び画像処理システム、方法、プログラム及び記録媒体
JP2004318425A (ja) 画像処理方法、画像処理装置及びプログラム
JPH02226966A (ja) 原稿読取装置
JP4630476B2 (ja) 画像信号処理装置、画像信号処理方法、画像読取システム、プログラム及び媒体
JP3334925B2 (ja) 画像読取装置
JP2009164950A (ja) 撮像システム
JP2009224873A (ja) 画像処理装置、画像処理方法、並びにプログラム
JPS62203469A (ja) 画像読取装置
JPH07115514A (ja) 画像読取装置
JP2004312465A (ja) 画像読取装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091023

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091028

R150 Certificate of patent or registration of utility model

Ref document number: 4401590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131106

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees