JP4687626B2 - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
JP4687626B2
JP4687626B2 JP2006273045A JP2006273045A JP4687626B2 JP 4687626 B2 JP4687626 B2 JP 4687626B2 JP 2006273045 A JP2006273045 A JP 2006273045A JP 2006273045 A JP2006273045 A JP 2006273045A JP 4687626 B2 JP4687626 B2 JP 4687626B2
Authority
JP
Japan
Prior art keywords
pixel
coordinate value
pixels
image
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006273045A
Other languages
English (en)
Other versions
JP2008092442A (ja
Inventor
孝亮 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2006273045A priority Critical patent/JP4687626B2/ja
Publication of JP2008092442A publication Critical patent/JP2008092442A/ja
Application granted granted Critical
Publication of JP4687626B2 publication Critical patent/JP4687626B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

この発明は、原稿から画像を読み取る画像読取位置におけるゴミの付着を検出し、このゴミに起因したノイズ画像を読取画像から除去するための技術に関する。
画像処理装置は、搬送装置によって搬送される原稿の画像を所定の読取位置においてCCD等のラインセンサを用いてプラテンガラス越しに読み取る。ところが、プラテンガラス上の読取位置にゴミが付着していると、そのゴミに起因したスジ状のノイズ画像が読み取った画像に入り込んでしまう。このような問題を解決するべく、特許文献1には、原稿を読み取る前に背景板を読み取っておき、原稿画像の濃度と背景板の濃度とを比較してゴミに起因するノイズ画像を検知し、これを除去する技術が開示されている。また、特許文献2には、画像データを二次微分することでノイズ画像の存在を検知する技術が開示されている。
特開2005−64913号公報 特許第3554130号公報
特許文献1に記載の技術は、背景板との濃度の違いに基づいてノイズ画像の存在を検出しているため、その比較基準である背景板の濃度とノイズ画像の濃度とがほぼ同じ場合には、ノイズ画像を検知することができない。例えば背景板として白色のものを用いた場合、白色のゴミ(例えば紙粉)は背景板との濃度差が極めて小さいために検出することができない虞がある。また、特許文献2の二次微分を用いた方法では、ゴミに起因するスジ状のノイズ画像と、原稿にもともとあった線画像とを区別することができない虞がある。
また、これらの技術では、原稿画像に網点画像が含まれ、網点画像自体や網点画像間の領域のサイズが微小で、且つ、これらの濃度差が比較的大きいような場合には、これらの領域がノイズ画像と判定される虞があった。このような場合には、ノイズ画像が除去されることによって網点画像が潰されてしまい、原稿画像の色を忠実に再現することが困難であった。
本発明は、上述した背景に鑑みてなされたものであり、その目的は、原稿の読取位置におけるゴミの存在をより正確に検出し、これに起因したノイズ画像を読取画像から除去することにある。
上記課題を解決するため、本発明は、原稿上の像を走査ライン単位で読み取って、明度に関連する成分と色相および彩度に関連する成分とで定義された任意の色空間における各画素の座標値を求める算出手段と、前記算出手段によって求められた色相および彩度に関連する成分の座標値に基づいて、自画素の位置から所定範囲内に存在する画素群の座標値に対して閾値以上乖離した座標値を有し、且つ、前記走査ラインにおいて連続して並んだ所定数以下の画素を異常画素として検出する検出手段と、前記原稿上の像に存在する網点画像領域に含まれる画素を抽出する抽出手段と、前記抽出手段によって抽出されなかった画素のうち、前記検出手段によって異常画素として検出された画素の座標値を当該座標値よりも前記画素群の座標値に近い座標値に補正する補正手段と、前記補正手段によって補正された座標値を含む画像データを出力する出力手段とを備えることを特徴とする画像処理装置を提供する。
また、本発明は、原稿上の像を走査ライン単位で読み取って、明度に関連する成分と色相および彩度に関連する成分とで定義された任意の色空間における各画素の座標値を求める算出手段と、前記算出手段によって得られた色相および彩度に関連する成分の座標値に基づいて、各々の走査ライン上に連なる画素群のライン方向の座標値の変化を検出し、各走査ライン上で自画素の位置から所定範囲内に存在する画素群の座標値に対して閾値以上乖離した座標値を有し、且つ、前記走査ラインにおいて連続して並んだ所定数以下の画素を異常画素として検出する検出手段と、前記原稿上の像に存在する網点画像領域に含まれる画素を抽出する抽出手段と、前記抽出手段によって抽出されなかった画素のうち、前記検出手段によって異常画素として検出された画素の座標値を当該座標値よりも前記画素群の座標値に近い座標値に補正する補正手段と、前記補正手段によって補正された座標値を含む画像データを出力する出力手段とを備えることを特徴とする画像処理装置を提供する。
前記検出手段は、検出された異常画素の明度に関連する成分の座標値が、前記画素群の明度に関連する成分の座標値に対して低明度側に閾値以上乖離している場合には、当該異常画素を異常画素として検出しないことが望ましい。
また、前記検出手段は、ある注目画素の走査方向手前側に連続して位置する所定数の画素群の座標値の平均値と、当該注目画素の走査方向奥側に位置する画素の座標値または当該注目画素の走査方向奥側に連続して位置する所定数の画素群の座標値の平均値とを算出し、当該注目画素の座標値が走査方向手前側に位置する前記画素群の座標値の平均値から閾値以上乖離し、且つ、当該注目画素の座標値が走査方向奥側に位置する前記画素の座標値または所定数の前記画素群の座標値の平均値よりも閾値以上乖離している場合には、当該注目画素を前記異常画素であると判定して検出するようにしてもよい。
また、前記抽出手段は、前記検出手段によって或る注目画素の位置から主走査ラインの所定範囲内において検出された前記異常画素の数が閾値を超えた場合には、当該異常画素を前記網点画像領域に含まれる画素として抽出するようにしてもよい。あるいは、前記検出手段によって検出された前記異常画素の主走査ライン上の間隔を検出し、検出した間隔が等間隔である場合には、当該異常画素を前記網点画像領域に含まれる画素として抽出するようにしてもよい。
また、前記補正手段は、前記抽出手段によって抽出された異常画素の座標値を、当該異常画素の走査方向手前に位置する画素の座標値または当該異常画素の走査方向奥に位置する画素の座標値に補正するようにしてもよい。
また、本発明は、コンピュータを、原稿上の像を走査ライン単位で読み取って、明度に関連する成分と色相および彩度に関連する成分とで定義された任意の色空間における各画素の座標値を求める算出手段と、前記算出手段によって求められた色相および彩度に関連する成分の座標値に基づいて、自画素の位置から所定範囲内に存在する画素群の座標値に対して閾値以上乖離した座標値を有し、且つ、前記走査ラインにおいて連続して並んだ所定数以下の画素を異常画素として検出する検出手段と、前記原稿上の像に存在する網点画像領域に含まれる画素を抽出する抽出手段と、前記抽出手段によって抽出されなかった画素のうち、前記検出手段によって異常画素として検出された画素の座標値を当該座標値よりも前記画素群の座標値に近い座標値に補正する補正手段と、前記補正手段によって補正された座標値を含む画像データを出力する出力手段として機能させるためのプログラムを提供する。
また、本発明は、コンピュータを、原稿上の像を走査ライン単位で読み取って、明度に関連する成分と色相および彩度に関連する成分とで定義された任意の色空間における各画素の座標値を求める算出手段と、前記算出手段によって得られた色相および彩度に関連する成分の座標値に基づいて、各々の走査ライン上に連なる画素群のライン方向の座標値の変化を検出し、各走査ライン上で自画素の位置から所定範囲内に存在する画素群の座標値に対して閾値以上乖離した座標値を有し、且つ、前記走査ラインにおいて連続して並んだ所定数以下の画素を異常画素として検出する検出手段と、前記原稿上の像に存在する網点画像領域に含まれる画素を抽出する抽出手段と、前記抽出手段によって抽出されなかった画素のうち、前記検出手段によって異常画素として検出された画素の座標値を当該座標値よりも前記画素群の座標値に近い座標値に補正する補正手段と、前記補正手段によって補正された座標値を含む画像データを出力する出力手段として機能させるためのプログラムを提供する。
本発明の画像処理装置によれば、原稿の読取位置におけるゴミの存在を検知し、これに起因したノイズ画像を読取画像から除去することができる。
以下、図面を参照し、本発明の実施の形態について説明する。
図1はこの発明の一実施形態である画像読み取り装置の構成を示すブロック図である。図1において、CCD部1は、図示しない搬送装置によって搬送される原稿を読み取る手段である。本実施形態では、このCCD部1が、CCD駆動回路2からの駆動信号によって駆動されることにより、原稿の搬送経路上の最上流側読み取り位置から最下流側読み取り位置までの3箇所の読み取り位置の各々において原稿画像を読み取り、アナログ画像信号R、G、Bを出力する。
原稿の搬送装置の構成および原稿の搬送経路上の読み取り位置からCCD部1に至るまでの光学系の構成を図2に示す。この図2において、原稿13は、引き込みローラ14により、1枚ずつ搬送ローラ15まで運ばれる。搬送ローラ15は、原稿搬送方向を変えてコンタクトガラス16に向けて原稿13を搬送する。このようにして搬送される原稿13は、バックプラテン18によってコンタクトガラス16に押さえつけられ、最後に排出ローラ19によって搬送装置から排出される。上述した上流側読み取り位置から下流側読み取り位置までの3箇所の読み取り位置は、コンタクトガラス16上に各々設けられている。これらの各読み取り位置における各原稿画像は、第1ミラー20、第2ミラー21、第3ミラー22により光路を変え、レンズ23により縮小され、CCD部1を構成する3個のCCDラインセンサ1A、1B、1Cに至る。
ここで、CCDラインセンサ1Cは、コンタクトガラス16上の最上流側の読み取り位置Cにおいて、原稿搬送方向を横切る方向(主走査方向)に一直線上に並んだN個の画素のB色成分を表す画像信号Bを出力する。また、CCDラインセンサ1Bは、最上流側の読み取り位置から主走査線2本分の距離(以下、単に2ライン相当という)だけ下流に進んだ読み取り位置Bにおいて、主走査方向に一直線上に並んだN個の画素のG色成分を表す画像信号Gを出力する。そして、CCDラインセンサ1Aは、画像信号Gに対応した読み取り位置からさらに2ライン相当下流に進んだ最下流側の読み取り位置Aにおいて、主走査方向に一直線上に並んだN個の画素のR色成分を表す画像信号Rを出力する。
図1において、CCD部1の後段には、サンプルホールド回路3A、出力増幅回路4A、A/D変換回路5Aおよびシェーディング補正回路6Aからなる信号処理系Aと、サンプルホールド回路3Bと、出力増幅回路4Bと、A/D変換回路5Bおよびシェーディング補正回路6Bからなる信号処理系Bと、同様に3C〜6Cからなる信号処理系Cが設けられている。信号処理系A〜Cは、読み取り位置A、B、Cにおいて各々得られた画像信号R、画像信号G、画像信号Bに各々対応した信号処理系である。
ここで、CCD部1から得られるアナログの画像信号R、G、Bは、サンプルホールド回路3A〜3Cにより各々サンプリングされた後、出力増幅回路4A〜4Cによって各々適正なレベルに増幅され、A/D変換回路5A〜5Cにより各々デジタル画像データR,G,Bに変換される。これらのデジタル画像データR,G,Bに対し、シェーディング補正回路6A〜6Cにより、CCDラインセンサ1A〜1Cの感度バラツキや光学系の光量分布特性に対応した補正が施される。以上が画像信号R,G,Bに対応した各信号処理系の概要である。
出力遅延回路7B,7Cは、シェーディング補正回路6B,6Cから出力される画像データG,Bをそれぞれ2ライン相当、4ライン相当の遅延時間だけ遅延させ、画像データRと同相の画像データとして出力する。
色空間変換回路8は、シェーディング補正回路6Aから出力された画像データR、出力遅延回路7B,7Cから出力される画像データG,Bに対してガンマ補正およびCIELAB色空間への変換を行う。
図9は、ガンマ補正における入出力特性を示す図である。横軸が濃度の入力値、縦軸が濃度の出力値を表す。濃度は256階調で表され、0から255へ向かって濃度が濃くなる。同図に示されるように、本実施形態のガンマ補正においては、入出力特性は下に凸の曲線を描く。すなわち、濃度が高いほどコントラストが大きくなるように濃度が補正される。CIELAB色空間は、明度に関連する成分(座標値)L*と、色相(a*)または彩度(b*)に関連する成分(座標値)とで定義された色空間である。このCIELAB色空間への変換においては、色空間変換回路8は、例えば図10に示されるようなマトリックス演算によってガンマ補正後の各色の濃度をCIELAB色空間における3成分の座標値L*、a*、b*に変換し、これらの座標値を表す画像データを出力する。
ゴミ検知回路9は、色空間変換回路8から出力される画像データに基づいてゴミの影響を受けている画素を異常画素として検知し、その所在位置を示すゴミ検出データを出力する手段である。ノイズ除去回路10は、ゴミ検知回路9からのゴミ検出データに基づき、画像データからノイズ画像を除去し、画像処理回路11に出力する手段である。
画像処理回路11は、ノイズ除去回路10から出力された画像データに対し、この画像処理装置が搭載された装置(デジタル複写機、スキャナなど)が必要とする画像処理、例えば拡大縮小処理、地肌除去処理、2値化処理などを施す。そして、画像処理回路11は、これらの処理を施した画像データを出力する。この画像データに基づいて画像形成が行われるなどの各種処理がなされる。
次に図3を参照し、ゴミ検知回路9について説明する。本実施形態におけるゴミ検知回路9は、ゴミ検出回路90と、網点検出回路91と、ゴミ判定回路92により構成されている。
ここで、ゴミ検出回路90が画像データから異常画素を検出するアルゴリズムについて説明する。まず、ゴミ検出回路90は、色空間変換回路8から出力された画像データから各走査ラインに連なる各画素の座標値L*、a*、b*を抽出する。図4は、主走査方向における座標値の変化の例を表す図である。図4(a)の横軸は主走査方向における位置を表し、縦軸は座標値a*(またはb*)を表している。また、図4(b)の横軸は主走査方向における位置を表し、縦軸は座標値L*を示し、それぞれ256階調で表している。また、(a)において、画素群k1においてa*成分の分布が周囲に対して上に凸となるように変化し、画素群k2においては下に凸となるように変化している。また、(b)において、画素群k1においてL*成分の分布が周囲に対して下に凸となるように変化し、画素群k2においては上に凸となるように変化している。ゴミ検出回路90の目的は、図4に示すような、周囲にある画素よりもCIELAB色空間における座標値が著しく変化し、且つ、所定数以内(本実施形態では2画素以内)で連続して並ぶ画素群を特定することにある。本実施形態では、画像読取位置に付着するゴミとして、記録紙から発生した紙粉を想定している。
図5は、異常画素の検出方法を説明するための図である。ここでは、まず、CIELAB色空間における3成分のうち、a*成分に対する処理について説明する。同図において横軸は主走査方向における位置、縦軸はa*成分を256階調で表している。
ゴミ検出回路90は同図に示すように、主走査ライン上のある画素p1に注目し、その注目画素p1の位置から走査方向手前側の所定範囲内に位置する画素群(ここでは走査方向手前側に位置する16個の画素群Pf)のa*成分の平均値a1を算出する。そして、ゴミ検出回路90は、注目画素p1のa*成分x1が画素群Pfのa*成分の平均値a1から閾値s1以上乖離している場合には、“a*成分の段差がある”と判定する。
次に、ゴミ検出回路90は、注目画素p1から走査方向に2画素分だけ奥に存在する画素から連なる4個の画素群Pbのa*成分の平均値a2を算出する。そして、ゴミ検出回路90は、注目画素p1のa*成分x1と、画素群Pbのa*成分の平均値a2とを比較し、注目画素p1のa*成分x1が画素群Pbのa*成分の平均値a2から閾値s2以上乖離している場合には、“a*成分の段差がある”と判定する。
ゴミ検出回路90は、このように走査方向手前側の画素群Pfおよび奥側の画素群Pbに対してa*成分の段差があると判定された注目画素p1を、ゴミの影響によって原稿画像の色を正確に表していない「異常画素」と判定する。
さらに、ゴミ検出回路90は、異常画素と判定された注目画素p1の1画素分奥に存在する隣の画素p2のa*成分x2を、画素群Pfのa*成分の平均値a1及び画素群Pbのa*成分の平均値a2と比較する。この比較の結果、注目画素p2のa*成分x2が、画素群Pfのa*成分の平均値a1から閾値s1以上乖離し、且つ、画素群Pfのa*成分の平均値a2から閾値s2以上乖離している場合には、ゴミ検出回路90は注目画素p2も「異常画素」と判定する。なお、注目画素p2のa*成分x2がこれらの条件を満たさない場合には、注目画素p1のみが異常画素として判定されることになる。
なお、図5においては、注目画素p1、p2のa*成分x1、x2の値が画素群Pf,Pbのa*成分の平均値a1、a2よりも低い、すなわちa*成分の分布が下に凸になっている例を示したが、上に凸である場合にも、上記の条件を満たすならば注目画素p1、p2を異常画素と判定する。つまり、図4(a)においては、画素群k1およびk2に含まれる画素のa*成分が周囲にある画素に対して著しく変化し、上述した異常画素の検出条件を満たしているため、これらは異常画素と判定されることになる。
以上がa*成分に対する処理の内容である。
a*成分に対する処理が完了したならば、続いてb*成分に対する処理を行う。b*成分に対する処理の内容はa*成分に対する処理と同様である。すなわち、b*成分に対して以下の処理を行う。
ゴミ検出回路90は、注目画素p1の位置から走査方向手前側の所定範囲内に位置する画素群(ここでは走査方向手前側に位置する16個の画素群Pf)のb*成分の平均値b1を算出する。そして、ゴミ検出回路90は、注目画素p1のb*成分y1が画素群Pfのb*成分の平均値b1から閾値s3以上乖離している場合には、“b*成分の段差がある”と判定する。
次に、ゴミ検出回路90は、注目画素p1から走査方向に2画素分だけ奥に存在する画素から連なる4個の画素群Pbのb*成分の平均値b2を算出する。そして、ゴミ検出回路90は、注目画素p1のb*成分y2と、画素群Pbのb*成分の平均値b2とを比較し、注目画素p1のb*成分y1が画素群Pbのb*成分の平均値b2から閾値s4以上乖離している場合には、“b*成分の段差がある”と判定する。
ゴミ検出回路90は、このように走査方向手前側の画素群Pfおよび奥側の画素群Pbに対してb*成分の段差があると判定された注目画素p1を、ゴミの影響によって原稿画像の色を正確に表していない「異常画素」と判定する。
さらに、ゴミ検出回路90は、異常画素と判定された注目画素p1の1画素分奥に存在する隣の画素p2のb*成分y2を、画素群Pfのb*成分の平均値b1及び画素群Pbのb*成分の平均値b2と比較する。この比較の結果、注目画素p2のb*成分y2が、画素群Pfのb*成分の平均値b1から閾値s3以上乖離し、且つ、画素群Pfのb*成分の平均値b2から閾値s4以上乖離している場合には、ゴミ検出回路90は注目画素p2も「異常画素」であると判定する。なお、注目画素p2のb*成分y2がこれらの条件を満たさない場合には、注目画素p1のみが異常画素として判定されることになる。
なお、a*成分と同様に、b*成分の分布が下に凸、上に凸のいずれの場合にも、上記の条件を満たしているならば画素p1、p2を異常画素と判定する。
以上がb*成分に対する処理の内容である。
CIELAB色空間におけるa*成分、b*成分は、色相または彩度に関連する成分である。つまり、上記の処理によって、原稿画像の色相または彩度の変化が検出されることになる。
b*成分に対する処理が完了したならば、続いてL*成分に対する処理を行う。この処理は、a*成分またはb*成分に対する処理によって異常画素と判定された画素に対して行う。
ゴミ検出回路90は、注目画素p1の位置から走査方向手前側の所定範囲内に位置する画素群(ここでは走査方向手前側に位置する16個の画素群Pf)のL*成分の平均値L1を算出する。そして、ゴミ検出回路90は、注目画素p1のL*成分z1が画素群PfのL*成分の平均値L1から閾値s5以上低明度側に乖離している場合には、“L*成分の低明度側への段差がある”と判定する。
次に、ゴミ検出回路90は、注目画素p1から走査方向に2画素分だけ奥に存在する画素から連なる4個の画素群PbのL*成分の平均値L2を算出する。そして、ゴミ検出回路90は、注目画素p1のL*成分z1と、画素群PbのL*成分の平均値L2とを比較し、注目画素p1のL*成分z1が画素群PbのL*成分の平均値L2から閾値s6以上低明度側に乖離している場合には、“L*成分の低明度側への段差がある”と判定する。
ゴミ検出回路90は、このように走査方向手前側および奥側の画素群に対してL*成分の低明度側への段差があると判定された注目画素p1を「異常画素ではない」と判定する。すなわち、a*成分またはb*成分に対する処理によって異常画素と判定された画素のうち、L*成分の低明度側への段差があると判定された画素を異常画素から除外する。
さらに、ゴミ検出回路90は、注目画素p1の1画素分奥に存在する隣の画素p2のL*成分z2を、画素群PfのL*成分の平均値L1及び画素群PbのL*成分の平均値L2と比較する。この比較の結果、注目画素p2のL*成分z2が、画素群PfのL*成分の平均値L1から閾値s5以上低明度側に乖離し、且つ、画素群PbのL*成分の平均値L2から閾値s6以上低明度側に乖離している場合には、ゴミ検出回路90は注目画素p2を「異常画素ではない」と判定する。つまり、図4(b)においては、画素群k1についてはL*成分の分布が高明度側に変化しているが、画素群k2については低明度側に変化している。よって、ゴミ検出回路90は、画素群k1に含まれる画素を異常画素と判定するが、画素群k2に含まれる画素ついては、異常画素でないと判定する。このようにしてゴミ検出回路90は異常画素を抽出し、その主走査ライン上の位置を示すゴミ検出データを出力する。
本実施形態においては、L*成分の低明度側への段差があると判定された場合にその画素を異常画素から除外するようにした。その理由は以下のとおりである。
紙粉等のゴミが画像読取位置に付着した場合にスジ状のノイズが発生する。このノイズは、原稿画像よりも淡い色の線として現れる。このノイズが発生した画像をCIELAB色空間の3成分で表した場合、a*成分、b*成分の座標値はノイズ発生位置において増加または減少の両方の場合があり得る。これに対してL*成分の座標値が低明度側、すなわち暗くなる側への変化は起こり得ない。この事実を鑑み、本実施形態では、L*成分の低明度側への段差があると判定された場合にその画素を異常画素から除外するようにした。これによって、a*成分またはb*成分に対する処理によって異常画素と判定された画素は、L*が高明度側へ変化している場合、またはL*の変化がない場合に限り異常画素と判定される。
また、本実施形態においては、連続して並んだ2画素以下の画素群について異常画素と判定するようにした。その理由は以下のとおりである。
前述したように、本発明では、画像読取位置に付着するゴミとして、記録紙から発生した紙粉を想定している。例えばCCD部1の読み取り解像度を600dpiとしたとき、紙粉の大きさはおおよそ2/600inch以内に収まる。このため、走査方向に連続して並んだ2画素がその周囲の画素群と比較して上記のような条件を満たす場合には、その画素群を「異常画素」と判定する。従って、仮に走査方向に連続して並んだ3画素が上記のような条件を満たしたとしても、その画素群が異常画素と判定されることはない。原稿上の画像に低濃度の線分画像が含まれている場合(例えば比較的暗い背景画像中に白っぽい線分が引かれているような場合)があるが、そのような線分画像のうち最も細い線分画像は3画素程度の太さしかない。このような低濃度で細い線分画像とノイズ画像とを区別するために、ゴミ検出回路90は、上記のような条件を満たす連続画素群が2画素以内であれば異常画素と判定する一方、上記のような濃度条件を満たす連続画素群が3画素以上であれば異常画素とは判定しない。なお、本実施形態では、画像読み取り時の解像度600dpiであるから、異常画素と判定する連続画素数を最高2画素としているが、画像読み取り時の解像度が変われば、異常画素と判定する連続画素数も変わる。また、細い線分画像が含まれていない画像においては、異常画素と判定する連続画素数を2画素よりも大きくしてもよい。よって、異常画素の判定基準となる連続画素数は、画像読み取り時の解像度や、画像の内容、用いる用紙から発生する紙粉の大きさなどを勘案して適宜定めればよい。特に紙粉の大きさは、使用される原稿の用紙の種類などに依存するので、異常画素の判定基準となる連続画素数を、用紙の種類などに応じて適宜変えるようにしてもよい。
網点検出回路91は、主走査ラインから、網点画像領域に含まれる画素を抽出する。用紙に形成された画像は、イエロー、マゼンタ、シアン、ブラックのような各色の微細な色材の網点によって色が再現されており、種々の色や濃度を決定するべく、このような網点の大小や密度が適切に指定されている。ところが、複数の網点が密集して位置することによって、網点と網点との間の幅が微小となる場合には、この網点間の範囲に位置する画素がゴミ検出回路90による異常画素の検出条件を満たす場合もある。
より具体的に図6を参照しつつ説明する。図6は網点画像を例示した模式図で、白抜き矢印部分が主走査ラインWを示すものとする。図に示すように、原稿上の「網点画像」であると判断される領域には、インクやトナー等の色材により等間隔に形成された網点A1,A2,A3,・・・,Anと、これら網点が形成されていない部分、すなわち用紙そのものの色(または背景色)を示す背景部B1,B2,B3,・・・,Bn−1とが存在する。この図6では、網点A4に重なるようにノイズ画像Cが存在し、そのノイズ画像の一部が主走査ラインW上に位置している様子を示している。なお、以下において、各々の網点をそれぞれ区別する必要がないときには、単に「網点A」という。同様に、背景部についても「背景部B」と表現する。
図6に示すように、主走査ラインW上においては、網点Aの大きさに対して背景部Bが微小で、且つ、網点Aと背景部Bとの座標値L*、a*、b*の差異が比較的大きい。よって、背景部Bが、上述したゴミ検出回路90による異常画素の検出条件を満たすことがあり、この場合には、ノイズ画像Cとともに、背景部Bの画素が異常画素と判定されてしまう。そこで、網点検出回路91は、網点画像領域に含まれる画素を抽出することによって、本来は異常画素ではない画素を異常画素と誤判定しないようにする。
次に、網点検出回路91が、網点画像領域に含まれる画素を抽出するアルゴリズムについて、図6に示した主走査ラインWの場合を例に説明する。
まず、色空間変換回路8によって算出された主走査ラインW上に位置する画素のa*成分の値を図7(a)に示し、L*成分の値を図7(b)に示す。なお、b*成分については図示を省略する。本来は、ゴミ検出回路90が異常画素を検出する際には、ノイズ画像Cに位置する異常画素群のみが検出されるべきである。ところが、図7(a)および(b)に示したように、背景部Bに含まれる画素群のa*成分が周囲にある画素(つまり、網点Aに位置する画素)に対して上に凸となるように変化し、L*成分が下に凸となるように変化しており、背景部B1,B2,・・・,Bn−1に位置する画素が上述した異常画素の検出条件を満たせば、これらはすべて異常画素として検出される。
上記のような理由によって異常画素と誤検出された画素を抽出するべく、例えば、網点検出回路91は、主走査ラインW上の画素に注目し、当該注目画素の位置から所定範囲内に存在する異常画素の数を検出する。ここでいう「所定範囲内」とは、例えば注目画素から主走査方向の手前および奥方向にM個ずつの画素とするという具合である。これにより、主走査ラインW上の当該範囲内においては、ゴミ検出回路90によって背景部に含まれる画素群とノイズ画像Cに位置する異常画素群とに基づいた数の異常画素が検出される。よって、検出される異常画素の数は、当該範囲内における背景部Bの数に従って多くなるから、網点画像が形成された領域では、当該範囲内における異常画素の検出数が比較的多くなる。
ところが、ノイズ画像として想定しているものは、読取手段の読取位置における紙粉などのゴミに起因するものであるから、1ライン上に存在するゴミに起因する異常画素の数が膨大になることはほとんどない。よって、網点検出回路91は、上記範囲内における異常画素の数が所定の閾値T以上であると判断した場合には、それらは網点画像領域に含まれる画素であると判定する。一方、網点検出回路91は当該範囲内の異常画素の数が閾値T未満であると判断した場合には、それらは異常画素であると判定する。
また、図6の場合において、網点Aが微小で背景部Bが比較的大きく、且つ、網点Aが周囲の画素(つまり、背景部Bに含まれる画素)に対して低明度に変化していないような場合には、網点Aに位置する画素が異常画素として検出されてしまうこともある。このような場合にも、網点Aは主走査方向に周期的に配置されているから、主走査ラインWに着目すれば、同様にして網点検出回路91は、網点画像領域に含まれる画素を抽出することができる。
なお、図6においては、主走査方向に網点A(および背景部B)が等間隔で配置されている例を示したが、主走査方向に対して平行でない場合や、網点の色や大きさが異なる複数の網点が混在する網点画像もしばしば用いられる。このような場合、主走査方向に対して網点や背景部の大きさが一定でなかったり、座標値a*、b*、L*が主走査方向に対して複雑に変化したりすることもある。ところが、上述したように網点画像は或る範囲内においては規則的に形成されているから、主走査方向に着目すれば、周期性が現れることが多く、網点画像領域に含まれる画素を抽出することができる。
ゴミ判定回路92は、網点検出回路91による網点画像領域に含まれる画素の抽出結果に基づいて、ゴミ検出データを生成して出力する。上述したような方法によって、網点検出回路91が網点画像領域に含まれる画素でないと判定した画素については、ゴミ検出回路90による判定結果を表すゴミ検出データを出力する。一方、網点検出回路91が網点画像領域に含まれる画素であると判定した画素と判定した画素については、ゴミ検出回路90から出力されるゴミ検出データに関わらず、当該画素が異常画素でないことを表すゴミ検出データを出力する。
また、本実施形態においては、色空間変換回路8の後段にゴミ検知回路9を設けた。その理由は以下のとおりである。
R,G,Bの画像データに対してガンマ補正および色空間変換を行った場合、スジ状のノイズが強調されることがある。図9に示すように、一般にガンマ補正においては、濃度が高いほどコントラストが大きくなるように補正が行われる。そのため、原稿画像の濃度が高いほどスジ状のノイズが強調される。また、CIELAB色空間への変換においては、図10に示すマトリックスを構成する係数の絶対値が1を上回る場合がある。例えば、Bの係数の絶対値が1を上回る場合、B色が強調され、その結果、ノイズが青味がかった線として現れる。ノイズ画像の色はR,G,Bのいずれか1つの色によって表される場合が多く、これら3成分全ての色を含むことはほとんどないため、CIELAB色空間への変換がノイズ画像を強調させるための効果的な手段となり得るのである。ガンマ補正および色空間変換が行われる前の画像データに対してノイズ検出のための処理を行ったとしても、この処理で検出されなかったノイズがガンマ補正および色空間変換によって顕在化することがあり得る。本発明では、ガンマ補正および色空間変換によって強調されたノイズをも検出するために、色空間変換回路8の後段にゴミ検知回路9を設けた。
次に、ノイズ除去回路10について説明する。ノイズ除去回路10は、ゴミ検知回路9によって出力されたゴミ検出データに基づいて異常画素の位置を特定し、その異常画素のCIELAB色空間における座標値を当該座標値よりも画素群Pf、Pbの座標値に近い値に補正することによって、画像データL*、a*、b*からノイズ画像を除去する。ここで、図8は、ノイズ除去回路10によって行われるノイズ除去のための処理の内容を示す図である。同図に示すように、ノイズ除去回路10は、異常画素として抽出された注目画素p1の座標値を走査方向手前側に位置する画素p1’の座標値に置換し、異常画素として抽出された注目画素p2の座標値を走査方向奥側に位置する画素p2’の座標値に置換する。仮に、異常画素として1つの注目画素p1のみが抽出された場合は、走査方向手前側に位置する画素p1’の座標値で置換してもよいし、走査方向奥に位置する画素p2’の座標値に置換してもよい。このような処理が、ゴミ検出データによって示される全ての異常画素について実行されることにより、色空間変換回路8から出力された画像データからゴミに起因したスジ状のノイズ画像が除去される。そして、このノイズ除去の行われた画像データが画像処理回路11に送られる。
以上説明したように、本実施形態によれば、任意の色空間において色相または彩度に関する座標値が周囲の画素群に対して著しく異なり、且つ、周囲の画素群に対して明度が低くない画素を異常画素として抽出する。次に、網点画像領域に含まれる画素を抽出して、異常画素と網点画像領域に含まれる画素とを分類して、異常画素の座標値を適切に補正する。従来は、背景板との濃度差で異常画素を検出していたが故に背景板と同程度の濃度の異常画素を検出することが出来なかったが、本実施形態によれば任意の色空間における座標値の差に着目して異常画素を見つけ出すので、紙粉などの白色のゴミの影響を受けた異常画素であっても正確に検出することが可能となる。
上述した実施形態は次のような変形が可能である。
実施形態では、注目画素p1の位置から走査方向手前側の所定範囲内に位置する画素群Pfを16個の画素としたが、画素数はこれに限らない。同様に、実施形態では、注目画素p1の位置から走査方向奥側の所定範囲内に位置する画素群Pbを4個の画素としたが、画素数はこれに限らない。画素群Pfは、前述したように比較的高い密度で画像が分布していることを確認するという目的から、比較的多くの画素であることが望ましいが、画素群Pbは最低1つであってもよい。画素(群)Pbが1つの画素からなる場合には、ゴミ検知回路9は、画素(群)Pbの平均値を算出する必要はなく、その画素そのものの濃度を注目画素の濃度を比較すればよい。
また、ゴミ検知回路9による判定は、実施形態で示した以外の方法でもよい。例えば、注目画素p1のa*成分x1がa1+αよりも大きく、且つ、注目画素p1の走査方向奥側にa*成分がa1+βよりも小さい画素が存在した場合に、“a*成分の段差がある”と判定するようにしてもよい。ただし、a1は画素群Pfのa*成分の平均値、αおよびβは一定値である。
また、実施形態では、網点検出回路91は、注目画素の位置から所定範囲内に存在する異常画素の数を検出し、当該異常画素の数が閾値Tを超える場合に注目画素が網点画像領域に含まれる画素であると判定していたが、異常画素の発生間隔を検出し、等間隔に分布する異常画素を網点画像領域に含まれる画素と判定してもよい。言い換えれば、主走査方向に周期的に現れる異常画素を網点画像領域に含まれる画素と判定する。上述したように、図6においては各々のサイズが等しい網点A同士が主走査方向に等間隔を空けて配置されており、画像の或る大きさの範囲内においてはこのような形式となることが多い。つまり、図7に示したように、網点Aおよび背景部Bによる主走査方向の座標値a*およびL*に着目すれば、それらの値は主走査方向に対して周期性をもって変化している。よって、網点検出回路91は、等間隔に分布する異常画素を網点画像領域に含まれる画素と判定すれば、ゴミ判定回路92は、周期性のない異常画素のみをゴミに起因する異常画素と判定する。このようにすれば、網点画像領域に含まれる画素か、異常画素であるかを精度良く分類することができる。
また、実施形態では、色空間変換部8によってCIELAB色空間へ変換された画像データがゴミ検知回路9およびノイズ除去回路10に供給されるようにしていたが、ノイズ除去回路10へ供給される画像データはRGB形式の画像データであってもよい。この場合、図1の回路において、ノイズ除去回路10に供給される画像データが、シェーディング補正回路6Aから出力される画像データRと、出力遅延回路7B、7Cから出力される画像データG、Bとなるようなバスを設ることによって実現される。このようにすれば、画像データR、G、Bに基づいてノイズ除去処理を行うから、従来のノイズ除去の手段をそのまま適用することもできる。
上述した実施形態では、ハードウェア(回路)によって、異常画素の検出とその除去を行っていたが、これをソフトウェア(コンピュータプログラム)によって実現するようにしてもよい。つまり、画像処理装置が画像データを記憶可能な大容量の画像メモリを備え、且つ、図示せぬ記憶部にソフトウェアを記憶している。CPUがソフトウェアを実行することで、画像メモリに記憶された画像データに対して、上述のゴミ検知回路9及びノイズ除去回路10と同等の処理を実行する。つまり、このソフトウェアには、コンピュータを、原稿上の像を走査ライン単位で読み取って、明度に関連する成分と色相または彩度に関連する成分とで定義された任意の色空間における各画素の座標値を求める算出手段と、前記算出手段によって得られた色相または彩度に関連する成分の座標値に基づいて、自画素の位置から所定範囲内に存在する画素群の座標値に対して閾値以上乖離した座標値を有し、且つ、前記走査ラインにおいて連続して並んだ所定数以下の画素を異常画素として検出する検出手段と、前記原稿上の像に存在する網点画像領域に含まれる画素を抽出する抽出手段と、前記抽出手段によって抽出されなかった画素のうち、前記検出手段によって異常画素として検出された画素の座標値を当該座標値よりも前記画素群の座標値に近い値に補正する補正手段と、前記補正手段によって補正された座標値を含む画像データを出力する出力手段として機能させるものである。なお、このソフトウェアは、磁気テープ、磁気ディスク、フロッピー(登録商標)ディスク、光記録媒体、光磁気記録媒体、CD(Compact Disk)−ROM、DVD(Digital Versatile Disk)−RAMなどの記録媒体に記録した状態で画像処理装置に提供し得る。また、インターネットのようなネットワークを介して画像処理装置に提供することも可能である。
この発明の一実施形態である画像処理装置の構成を示すブロック図である。 原稿の搬送装置および原稿の読取位置からCCD部に至るまでの光学系の構成を示す図である。 ゴミ検知回路の構成を示すブロック図である。 主走査方向における座標値の一例を示す図である。 異常画素の検出方法を説明する図である。 網点画像を含む主走査ラインの一例を示す模式図である。 網点画像を含む主走査ラインの座標値の一例を示す図である。 異常画素を補正する処理の内容を示す図である。 ガンマ補正における入出力特性を示す図である。 色空間変換で用いるマトリックスを示す図である。
符号の説明
1…CCD部、2…CCD駆動回路、7B,7C…出力遅延回路、8…色空間変換回路、9…ゴミ検知回路、10…ノイズ除去回路、11…画像処理回路、90…ゴミ検出回路、91…網点検出回路、92…ゴミ判定回路。

Claims (9)

  1. 原稿上の像を走査ライン単位で読み取って、明度に関連する成分と色相および彩度に関連する成分とで定義された任意の色空間における各画素の座標値を求める算出手段と、
    前記算出手段によって求められた色相および彩度に関連する成分の座標値に基づいて、自画素の位置から所定範囲内に存在する画素群の座標値に対して閾値以上乖離した座標値を有し、且つ、前記走査ラインにおいて連続して並んだ所定数以下の画素を異常画素として検出する検出手段と、
    前記原稿上の像に存在する網点画像領域に含まれる画素を抽出する抽出手段と、
    前記抽出手段によって抽出されなかった画素のうち、前記検出手段によって異常画素として検出された画素の座標値を当該座標値よりも前記画素群の座標値に近い座標値に補正する補正手段と、
    前記補正手段によって補正された座標値を含む画像データを出力する出力手段と
    を備えることを特徴とする画像処理装置。
  2. 原稿上の像を走査ライン単位で読み取って、明度に関連する成分と色相および彩度に関連する成分とで定義された任意の色空間における各画素の座標値を求める算出手段と、
    前記算出手段によって得られた色相および彩度に関連する成分の座標値に基づいて、各々の走査ライン上に連なる画素群のライン方向の座標値の変化を検出し、各走査ライン上で自画素の位置から所定範囲内に存在する画素群の座標値に対して閾値以上乖離した座標値を有し、且つ、前記走査ラインにおいて連続して並んだ所定数以下の画素を異常画素として検出する検出手段と、
    前記原稿上の像に存在する網点画像領域に含まれる画素を抽出する抽出手段と、
    前記抽出手段によって抽出されなかった画素のうち、前記検出手段によって異常画素として検出された画素の座標値を当該座標値よりも前記画素群の座標値に近い座標値に補正する補正手段と、
    前記補正手段によって補正された座標値を含む画像データを出力する出力手段と
    を備えることを特徴とする画像処理装置。
  3. 前記検出手段は、検出された異常画素の明度に関連する成分の座標値が、前記画素群の明度に関連する成分の座標値に対して低明度側に閾値以上乖離している場合には、当該異常画素を異常画素として検出しない
    ことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記検出手段は、ある注目画素の走査方向手前側に連続して位置する所定数の画素群の座標値の平均値と、当該注目画素の走査方向奥側に位置する画素の座標値または当該注目画素の走査方向奥側に連続して位置する所定数の画素群の座標値の平均値とを算出し、当該注目画素の座標値が走査方向手前側に位置する前記画素群の座標値の平均値から閾値以上乖離し、且つ、当該注目画素の座標値が走査方向奥側に位置する前記画素の座標値または所定数の前記画素群の座標値の平均値よりも閾値以上乖離している場合には、当該注目画素を前記異常画素であると判定して検出する
    ことを特徴とする請求項1または2に記載の画像処理装置。
  5. 前記抽出手段は、前記検出手段によって或る注目画素の位置から主走査ラインの所定範囲内において検出された前記異常画素の数が閾値を超えた場合には、当該異常画素を前記網点画像領域に含まれる画素として抽出する
    ことを特徴とする請求項1または2に記載の画像処理装置。
  6. 前記抽出手段は、前記検出手段によって検出された前記異常画素の主走査ライン上の間隔を検出し、検出した間隔が等間隔である場合には、当該異常画素を前記網点画像領域に
    含まれる画素として抽出する
    ことを特徴とする請求項1または2に記載の画像処理装置。
  7. 前記補正手段は、前記抽出手段によって抽出された異常画素の座標値を、当該異常画素の走査方向手前に位置する画素の座標値または当該異常画素の走査方向奥に位置する画素の座標値に補正する
    ことを特徴とする請求項1または2に記載の画像処理装置。
  8. コンピュータを、
    原稿上の像を走査ライン単位で読み取って、明度に関連する成分と色相および彩度に関連する成分とで定義された任意の色空間における各画素の座標値を求める算出手段と、
    前記算出手段によって求められた色相および彩度に関連する成分の座標値に基づいて、自画素の位置から所定範囲内に存在する画素群の座標値に対して閾値以上乖離した座標値を有し、且つ、前記走査ラインにおいて連続して並んだ所定数以下の画素を異常画素として検出する検出手段と、
    前記原稿上の像に存在する網点画像領域に含まれる画素を抽出する抽出手段と、
    前記抽出手段によって抽出されなかった画素のうち、前記検出手段によって異常画素として検出された画素の座標値を当該座標値よりも前記画素群の座標値に近い座標値に補正する補正手段と、
    前記補正手段によって補正された座標値を含む画像データを出力する出力手
    して機能させるためのプログラム。
  9. コンピュータを、
    原稿上の像を走査ライン単位で読み取って、明度に関連する成分と色相および彩度に関連する成分とで定義された任意の色空間における各画素の座標値を求める算出手段と、
    前記算出手段によって得られた色相および彩度に関連する成分の座標値に基づいて、各々の走査ライン上に連なる画素群のライン方向の座標値の変化を検出し、各走査ライン上で自画素の位置から所定範囲内に存在する画素群の座標値に対して閾値以上乖離した座標値を有し、且つ、前記走査ラインにおいて連続して並んだ所定数以下の画素を異常画素として検出する検出手段と、
    前記原稿上の像に存在する網点画像領域に含まれる画素を抽出する抽出手段と、
    前記抽出手段によって抽出されなかった画素のうち、前記検出手段によって異常画素として検出された画素の座標値を当該座標値よりも前記画素群の座標値に近い座標値に補正する補正手段と、
    前記補正手段によって補正された座標値を含む画像データを出力する出力手
    して機能させるためのプログラム。
JP2006273045A 2006-10-04 2006-10-04 画像処理装置及びプログラム Expired - Fee Related JP4687626B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006273045A JP4687626B2 (ja) 2006-10-04 2006-10-04 画像処理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006273045A JP4687626B2 (ja) 2006-10-04 2006-10-04 画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2008092442A JP2008092442A (ja) 2008-04-17
JP4687626B2 true JP4687626B2 (ja) 2011-05-25

Family

ID=39376072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006273045A Expired - Fee Related JP4687626B2 (ja) 2006-10-04 2006-10-04 画像処理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP4687626B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4998410B2 (ja) * 2008-08-22 2012-08-15 富士ゼロックス株式会社 画像処理装置、及び画像処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000051337A1 (fr) * 1999-02-25 2000-08-31 Fujitsu Limited Dispositif de traitement d'images et procede de traitement d'images
JP2002262083A (ja) * 2001-03-06 2002-09-13 Ricoh Co Ltd 画像処理装置
JP2004289648A (ja) * 2003-03-24 2004-10-14 Ricoh Co Ltd 画像読取り装置および画像処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3426747B2 (ja) * 1994-11-24 2003-07-14 京セラミタ株式会社 カラー網点領域判定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000051337A1 (fr) * 1999-02-25 2000-08-31 Fujitsu Limited Dispositif de traitement d'images et procede de traitement d'images
JP2002262083A (ja) * 2001-03-06 2002-09-13 Ricoh Co Ltd 画像処理装置
JP2004289648A (ja) * 2003-03-24 2004-10-14 Ricoh Co Ltd 画像読取り装置および画像処理装置

Also Published As

Publication number Publication date
JP2008092442A (ja) 2008-04-17

Similar Documents

Publication Publication Date Title
CN101155251B (zh) 图像处理装置及方法和图像形成装置
JP4848742B2 (ja) 画像読み取り装置およびノイズ検出方法
US9649839B2 (en) Image processing apparatus and image processing method
US20090080033A1 (en) Image processing apparatus, image forming apparatus, image forming method, image processing program, and recording medium
US6266156B1 (en) Area judging apparatus
US7746503B2 (en) Method of and device for image enhancement
US20060152765A1 (en) Image processing apparatus, image forming apparatus, image reading process apparatus, image processing method, image processing program, and computer-readable storage medium
JP3882803B2 (ja) 画像処理装置、および画像処理方法
US20060165292A1 (en) Noise resistant edge detection
JP4867564B2 (ja) 画像読取装置
JP4539546B2 (ja) 画像処理装置及びプログラム
US8170365B2 (en) Image processing device, image processing method, and computer readable medium
JP4600350B2 (ja) 画像処理装置及びプログラム
US7528997B2 (en) Systems and methods for streak detection in image array scanning
JP4687626B2 (ja) 画像処理装置及びプログラム
JP3073837B2 (ja) 画像領域分離装置及び画像領域分離方法
JPH10294870A (ja) 画像処理装置
JP4787776B2 (ja) 画像処理装置およびこれを備えた画像形成装置、並びに画像処理方法
JP2006245739A (ja) 画像読取装置および画像読取方法
JP3480887B2 (ja) 画像処理装置および画像処理方法
JP2005064913A (ja) 画像読み取り装置
JP2007312233A (ja) 画像処理装置及びプログラム
JP2017175270A (ja) 画像読取装置
JP2020127096A (ja) 検査装置、検査方法および検査プログラム
JP2009042814A (ja) 画像評価装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110131

R150 Certificate of patent or registration of utility model

Ref document number: 4687626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees