JP3961192B2 - 像域分離装置およびその方法 - Google Patents

像域分離装置およびその方法 Download PDF

Info

Publication number
JP3961192B2
JP3961192B2 JP2000111326A JP2000111326A JP3961192B2 JP 3961192 B2 JP3961192 B2 JP 3961192B2 JP 2000111326 A JP2000111326 A JP 2000111326A JP 2000111326 A JP2000111326 A JP 2000111326A JP 3961192 B2 JP3961192 B2 JP 3961192B2
Authority
JP
Japan
Prior art keywords
area
region
bar
edge
white background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000111326A
Other languages
English (en)
Other versions
JP2001298611A (ja
JP2001298611A5 (ja
Inventor
水納  亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2000111326A priority Critical patent/JP3961192B2/ja
Publication of JP2001298611A publication Critical patent/JP2001298611A/ja
Publication of JP2001298611A5 publication Critical patent/JP2001298611A5/ja
Application granted granted Critical
Publication of JP3961192B2 publication Critical patent/JP3961192B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、スキャナ、カメラ、複写機等で得られる画像の中から文字領域と絵柄領域とを高精度に分離する像域分離装置に関するものである。
【0002】
【従来の技術】
従来から、文字の書かれた領域(文字領域)と絵柄の描かれた領域(絵柄領域)とが混在する画像に対する処理を行う際、まず文字領域と絵柄領域とを分離し、その後それぞれの領域に適切な処理を行っていた。
【0003】
図14は、従来の像域分離装置の構成を示すブロック図である。図14において、像域分離装置100は、網点検出部112、エッジ検出部113、棒状パターン検出部114、および総合判定部115を有する。
【0004】
網点検出部112は、画像データS1内の網点を検出し、検出結果を網点検出結果S2として総合判定部115に出力する。エッジ検出部113は、画像データS1内のエッジを検出し、検出結果をエッジ検出結果S3として総合判定部115に出力する。棒状パターン検出部114は、画像データS1内の棒状の領域をパターンマッチングによって検出し、検出結果を棒状パターン検出結果S14として総合判定部115に出力する。総合判定部115は、網点検出結果S2、エッジ検出結果S3、棒状パターン検出結果S14をもとに、画像データS1のにおける注目領域が文字領域であるか、絵柄領域であるかの総合判定を行い、総合判定結果S5を出力する。
【0005】
つぎに、網点検出部112について詳細に説明する。網点検出部112は、たとえば4×4画素を1ブロックとし、4ブロックにおいて、ピーク画素を含むブロックが2ブロック以上存在すれば、注目ブロックを網点候補領域とする。網点候補領域が、ある程度の大きさをもって存在していれば、注目ブロックを網点領域と判定し、網点検出結果S2として出力する。網点候補領域が存在しないか十分な領域数でないと、この注目ブロックを非網点領域と判定し、網点検出結果S2として出力する。
【0006】
つぎに、エッジ検出部113について詳細に説明する。エッジ検出部113は、たとえば画像データS1をエッジ強調し、3値化した後、黒画素および白画素の連続部分をパターンマッチングによってそれぞれ抽出し、黒画素および白画素がともに連続して存在する箇所をエッジ領域と判定し、エッジ検出結果S3として出力する。黒画素または白画素の一方が連続して存在しなかったとき、あるいは黒画素および白画素がともに連続して存在しなかったとき、非エッジ領域と判定し、エッジ検出結果S3として出力する。
【0007】
つぎに、棒状パターン検出部114について詳細に説明する。棒状パターン検出部114は、たとえば画像データS1を閾値を用いて2値化し、「―」、「|」、「+」、「\」などのパターンを用いたパターンマッチングを行う。黒画素であって上述したパターンが存在する場合、注目画素を棒状パターンと判定し、棒状パターン検出結果S14として出力する。一方、上述したパターンが存在しない場合、棒状パターンでないと判定し、棒状パターン検出結果S14として出力する。
【0008】
つぎに、図15に示すフローチャートを参照して、総合判定部115による総合判定処理手順について説明する。図15において、総合判定部115は、まず、棒状パターン検出部114によって棒状パターンが検出されたか否かを判断する(ステップS401)。棒状パターンが検出された場合(ステップS401,YES)、総合判定部115は現ブロックが文字領域であると判定し(ステップS404)、現ブロックに対する総合判定処理を終了する。
【0009】
一方、棒状パターンが検出されない場合(ステップS401,NO)、さらにエッジ検出部113によってエッジが検出されたブロックであるか否かを判定する(ステップS402)。エッジが検出されない場合(ステップS402,NO)、現ブロックは絵柄領域であると判定し(ステップS405)、現ブロックに対する総合判定処理を終了する。
【0010】
また、エッジが検出された場合(ステップS402,YES)には、さらに網点検出部112によって網点が検出されたか否かを判定する(ステップS403)。網点が検出された場合(ステップS403,YES)、現ブロックは絵柄領域であると判定し(ステップS404)、現ブロックに対する総合判定処理を終了する。
【0011】
一方、網点が検出されない場合(ステップS403,NO)には、現ブロックは文字領域であると判定し(ステップS404)、現ブロックに対する総合判定処理を終了する。
【0012】
なお、上述した総合判定部115は、各注目画素に対して、図16に示すような判定テーブルを用いて総合判定処理を行う。網点検出部112は網点を検出した場合に、値「1」を総合判定部115に出力し、網点を検出しない場合に、値「0」を総合判定部115に出力する。また、エッジ検出部113は、エッジを有するブロックを検出した場合に、値「1」を総合判定部115に出力し、エッジを有するブロックを検出しない場合に、値「0」を総合判定部115に出力する。また、棒状パターン検出部114は、棒状パターンを検出した場合に値「1」を総合判定部115に出力し、棒状パターンを検出しない場合に、値「0」を総合判定部115に出力する。
【0013】
したがって、図16に示すように、総合判定部115は、棒状パターン検出結果S14の値が「1」の場合、または網点検出結果S2の値が「0」でかつエッジ検出結果S3の値が「1」の場合に現ブロックが文字領域であると判定し、その他の場合には絵柄領域であると判定する。
【0014】
たとえば、像域分離装置100は、図17に示すように文字領域F101と絵柄領域E101とを含む画像を有する原原稿201を、文字領域F101と絵柄領域E101とに分離することができる。また、原原稿201に含まれる領域E102は、等高線のような高密度な線を有する画像である。領域E102の画像は、濃淡の情報が重要でないことから、文字領域として扱うのが適切である。像域分離装置100は、棒状パターンマッチングによって棒状パターン有りと判断された領域を文字領域と判定するようにしているので、領域E201は文字領域と判定出力される。
【0015】
【発明が解決しようとする課題】
しかしながら、上述した従来の像域分離装置を用いて、原原稿201を複写機などによって複製した複写原稿202を像域分離すると、本来、絵柄領域として判定されるべき絵柄領域E101'内の部分絵柄領域E301が文字領域として判定されるという問題点があった。
【0016】
一般に、複写機などは、万線パターンとドットパターンとのいずれか、あるいは双方を組み合わせて原原稿201を再現出力する。万線パターンは、極微細線の集合によって絵柄の濃淡を表現する印刷パターンである。上述した部分絵柄領域E301が文字領域として判定されるのは、原原稿201を万線パターンを用いて複写原稿202として再現するからである。
【0017】
すなわち、万線パターンによって表現された部分絵柄領域E301は、従来の像域分離装置100によって棒状パターンが存在すると認識され、その結果、エッジ検出あるいは網点検出の有無にかかわらず文字領域と判定されていた。
【0018】
部分絵柄領域E301が文字領域として判定されると、この部分絵柄領域E301の再生画像に干渉縞(モアレ)が発生し、画像の品質が劣化するという問題点を生じさせることになる。
【0019】
この発明は上記に鑑みてなされたものであって、万線パターンによって再生された絵柄領域を確実に絵柄領域と判定し、画像劣化を減少させる像域分離を行うことができる像域分離装置を提供することを目的とする。
【0020】
【課題を解決するための手段】
上記目的を達成するため、請求項1の発明に係る像域分離装置は、入力画像を形成する部分画像領域内の網点を検出する網点検出手段と、該部分画像領域内のエッジを検出するエッジ検出手段と、該部分画像領域内の白画素塊の有無をもとに該部分画像領域が白背景であるか否かを検出する白背景検出手段と、前記網点検出手段、前記エッジ検出手段および前記白背景検出手段の検出結果をもとに前記部分画像領域が文字領域であるか絵柄領域であるかを判定する判定手段とを有し、前記入力画像全体を文字領域と絵柄領域とに分離する処理を行う像域分離装置において、前記白背景検出手段は、前記エッジ検出手段が検出したエッジが前記部分画像領域内に存在する場合に該部分画像領域を棒状画像が存在する棒状領域として検出する棒状領域検出手段を備え、前記白背景検出手段は、前記棒状領域検出手段が前記棒状領域を検出した場合に白背景が存在すると判定し、該棒状領域が検出されない場合に前記白画素塊の有無によって前記部分画像領域が白背景であるか否かを判定し、前記判定手段は、前記網点検出手段が網点を検出せず、前記エッジ検出手段がエッジを検出し、前記棒状領域検出手段が前記棒状領域を検出し、前記白背景検出手段が前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出手段が網点を検出せず、前記エッジ検出手段がエッジを検出し、前記棒状領域検出手段が前記棒状領域を検出せず、前記白背景検出手段が前記白画素塊を検出して前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出手段が網点を検出した場合、または前記エッジ検出手段がエッジを検出しなかった場合、または前記棒状領域検出手段が前記棒状領域を検出せず前記白背景検出手段が前記白画素塊を検出しなかった場合、前記部分画像領域を絵柄領域と判定することを特徴とする。
【0021】
請求項1の発明によれば、白背景検出手段内の棒状領域検出手段が、前記エッジ検出手段が検出したエッジが前記部分画像領域内に存在する場合に該部分画像領域を棒状画像が存在する棒状領域として検出し、前記白背景検出手段が、前記棒状領域検出手段が前記棒状領域を検出した場合に白背景が存在すると判定し、該棒状領域が検出されない場合に前記白画素塊の有無によって前記部分画像領域が白背景であるか否かを判定し、前記判定手段が、前記網点検出手段が網点を検出せず、前記エッジ検出手段がエッジを検出し、前記棒状領域検出手段が前記棒状領域を検出し、前記白背景検出手段が前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出手段が網点を検出せず、前記エッジ検出手段がエッジを検出し、前記棒状領域検出手段が前記棒状領域を検出せず、前記白背景検出手段が前記白画素塊を検出して前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出手段が網点を検出した場合、または前記エッジ検出手段がエッジを検出しなかった場合、または前記棒状領域検出手段が前記棒状領域を検出せず前記白背景検出手段が前記白画素塊を検出しなかった場合、前記部分画像領域を絵柄領域と判定するようにしている。
【0022】
また、請求項2の発明に係る像域分離装置は、上記の発明において、前記棒状領域検出手段は、前記部分画像領域内において該部分画像領域を形成する画素群の注目画素の上下または左右にエッジが存在した場合、該部分画像領域を前記棒状領域であると判定することを特徴とする。
【0023】
請求項2の発明によれば、前記棒状領域検出手段が、前記部分画像領域内において該部分画像領域を形成する画素群の注目画素の上下または左右にエッジが存在した場合、該部分画像領域を前記棒状領域であると判定するようにしている。
【0024】
また、請求項3の発明に係る像域分離装置は、上記の発明において、前記白背景検出手段は、異なる2つの閾値を用いて前記入力画像を黒色領域、中間色領域、白色領域に3値化する3値化手段を有し、前記棒状領域検出手段は、前記3値化手段の結果が中間色領域である場合に非棒状領域と判定し、前記3値化手段の結果が黒色領域または白色領域の場合に前記エッジの有無によって棒状領域であるか否かを判定することを特徴とする。
【0025】
請求項3の発明によれば、前記白背景検出手段内の3値化手段が、異なる2つの閾値を用いて前記入力画像を黒色領域、中間色領域、白色領域に3値化し、前記棒状領域検出手段が、前記3値化手段の結果が中間色領域である場合に非棒状領域と判定し、前記3値化手段の結果が黒色領域または白色領域の場合に前記エッジの有無によって棒状領域であるか否かを判定するようにしている。
【0026】
また、請求項4の発明に係る像域分離方法は、入力画像を形成する部分画像領域内の網点を検出する網点検出工程と、該部分画像領域内のエッジを検出するエッジ検出工程と、該部分画像領域内の白画素塊の有無をもとに該部分画像領域が白背景であるか否かを検出する白背景検出工程と、前記網点検出工程、前記エッジ検出工程および前記白背景検出工程の検出結果をもとに前記部分画像領域が文字領域であるか絵柄領域であるかを判定する判定工程とを含み、前記入力画像全体を文字領域と絵柄領域とに分離する処理を行う像域分離方法において、前記白背景検出工程は、前記エッジ検出工程が検出したエッジが前記部分画像領域内に存在する場合に該部分画像領域を棒状画像が存在する棒状領域として検出する棒状領域検出工程を含み、前記白背景検出工程は、前記棒状領域検出工程が前記棒状領域を検出した場合に白背景が存在すると判定し、該棒状領域が検出されない場合に前記白画素塊の有無によって前記部分画像領域が白背景であるか否かを判定し、前記判定工程は、前記網点検出工程が網点を検出せず、前記エッジ検出工程がエッジを検出し、前記棒状領域検出工程が前記棒状領域を検出し、前記白背景検出工程が前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出工程が網点を検出せず、前記エッジ検出工程がエッジを検出し、前記棒状領域検出工程が前記棒状領域を検出せず、前記白背景検出工程が前記白画素塊を検出して前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出工程が網点を検出した場合、または前記エッジ検出工程がエッジを検出しなかった場合、または前記棒状領域検出工程が前記棒状領域を検出せず前記白背景検出工程が前記白画素塊を検出しなかった場合、前記部分画像領域を絵柄領域と判定することを特徴とする。
【0027】
請求項4の発明によれば、棒状領域検出工程が、前記エッジ検出工程が検出したエッジが前記部分画像領域内に存在する場合に該部分画像領域を棒状画像が存在する棒状領域として検出し、前記白背景検出工程が、前記棒状領域検出工程が前記棒状領域を検出した場合に白背景が存在すると判定し、該棒状領域が検出されない場合に前記白画素塊の有無によって前記部分画像領域が白背景であるか否かを判定し、前記判定工程は、前記網点検出工程が網点を検出せず、前記エッジ検出工程がエッジを検出し、前記棒状領域検出工程が前記棒状領域を検出し、前記白背景検出工程が前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出工程が網点を検出せず、前記エッジ検出工程がエッジを検出し、前記棒状領域検出工程が前記棒状領域を検出せず、前記白背景検出工程が前記白画素塊を検出して前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出工程が網点を検出した場合、または前記エッジ検出工程がエッジを検出しなかった場合、または前記棒状領域検出工程が前記棒状領域を検出せず前記白背景検出工程が前記白画素塊を検出しなかった場合、前記部分画像領域を絵柄領域と判定するようにしている。
【0028】
また、請求項5の発明に係る像域分離方法は、上記の発明において、前記棒状領域検出工程は、前記部分画像領域内において該部分画像領域を形成する画素群の注目画素の上下または左右にエッジが存在した場合、該部分画像領域を前記棒状領域であると判定することを特徴とする。
【0029】
請求項5の発明によれば、前記棒状領域検出工程が、前記部分画像領域内において該部分画像領域を形成する画素群の注目画素の上下または左右にエッジが存在した場合、該部分画像領域を前記棒状領域であると判定するようにしている。
【0030】
また、請求項6の発明に係る像域分離方法は、上記の発明において、前記白背景検出工程は、異なる2つの閾値を用いて前記入力画像を黒色領域、中間色領域、白色領域に3値化する3値化工程を含み、前記棒状領域検出工程は、前記3値化工程の結果が中間色領域である場合に非棒状領域と判定し、前記3値化工程の結果が黒色領域または白色領域の場合に前記エッジの有無によって棒状領域であるか否かを判定することを特徴とする。
【0031】
請求項6の発明によれば、3値化工程が、前記白背景検出工程は、異なる2つの閾値を用いて前記入力画像を黒色領域、中間色領域、白色領域に3値化し、前記棒状領域検出工程が、前記3値化工程の結果が中間色領域である場合に非棒状領域と判定し、前記3値化工程の結果が黒色領域または白色領域の場合に前記エッジの有無によって棒状領域であるか否かを判定するようにしている。
【0036】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る像域分離装置の好適な実施の形態を詳細に説明する。
【0037】
図1は、この発明の第1の実施の形態である像域分離装置の構成を示すブロック図である。図1において、スキャナ11は、像域分離対象の原稿の画像を読み取り、画像データS1として像域分離装置10に出力する。なお、スキャナ11は、画像読取装置の一例を示したものであり、複写機などの複合機器内における画像読取部であってもよいし、カメラなどに用いる固体撮像装置であってもよい。
【0038】
像域分離装置10は、網点検出部12、エッジ検出部13、白背景検出部14、および総合判定部15を有する。網点検出部12は、画像データS1内の網点を検出し、この網点検出結果S2を総合判定部15に出力する。エッジ検出部13は、画像データS1内のエッジを検出し、このエッジ検出結果S3を総合判定部15および白背景検出部14に出力する。
【0039】
白背景検出部14は、画像データS1内の注目領域が白背景か否かを判定する処理を行う。ここで、白背景検出部14は、棒状領域検出部41を有し、棒状領域検出部41は、画像データS1の注目領域におけるエッジ検出結果S3をもとに、この注目領域が棒状領域であるか否かを判定する。白背景検出部14は、白背景か否かの判定結果と棒状領域か否かの判定結果とをもとに、注目領域が白背景であるか否かを最終的に判定し、この白背景検出結果S4を総合判定部15に出力する。
【0040】
総合判定部15は、網点検出結果S2、エッジ検出結果S3、白背景検出結果S4をもとに、画像データS1における注目領域が文字領域であるか絵柄領域であるかの総合判定を行い、この総合判定結果S5を出力する。
【0041】
つぎに、図2を参照して網点検出部12について詳細に説明する。図2は、網点検出部12の詳細構成を示すブロック図である。図2において、網点検出部12は、ピーク画素検出部21、網点領域検出回路22、網点領域補正回路23を有する。
【0042】
ピーク画素検出部21は、画像データS1内のピーク画素を検出する。ピーク画素とは、中心画素の濃度レベルが、周囲の他の画素の濃度レベルに比して全て高い、あるいは周囲の他の画素の濃度レベルに比して全て低い画素であり、かつ、中心画素の濃度レベル「L」が、中心画素を挟んで対角線に存在する他の画素対の濃度レベル「a」,「b」が、全4対ともに、
|2×L−a−b|>TH
を満足する画素である。ここで、「TH」は、所定の閾値を示す。
【0043】
網点領域検出回路22は、4×4画素を1ブロックとし、ピーク画素検出部21によって検出されたピーク画素が4ブロックのうち、2ブロック以上存在する場合に注目ブロックを網点領域として判定し、この判定結果を網点領域補正回路23に出力する。
【0044】
網点領域補正回路23は、入力された注目ブロックを中心した9ブロックのうち、4ブロック以上が網点候補領域である場合に、この注目ブロックを網点領域とし、網点検出結果S2をして総合判定部15に出力する。すなわち、網点領域補正回路23は、ある程度の大きさをもって網点領域が存在する場合に、注目ブロックを網点領域として判定出力する。
【0045】
つぎに、図3を参照して、エッジ検出部13について詳細に説明する。図3は、エッジ検出部13の詳細構成を示すブロック図である。図3において、エッジ強調回路31は、入力された画像データS1に対するエッジ強調処理を行い、エッジ強調されたデータを3値化回路32に出力する。3値化回路32は、エッジ強調されたデータに対して、異なる2つの閾値th1,th2を用いて3値化し、3値化されたデータをそれぞれ黒画素連続性検出部33および白画素連続性検出部34に出力する。
【0046】
黒画素連続性検出部33は、所定数の連続黒画素をパターンマッチングによって検出し、検出結果をアンド回路35に出力する。一方、白画素連続性検出部34は、所定数の連続白画素をパターンマッチングによって検出し、検出結果をアンド回路35に出力する。アンド回路35は、黒画素連続性検出部33および白画素連続性検出部34から出力されたデータの論理積をとり、連続黒画素と連続白画素とがともに存在する領域をエッジと判定し、エッジ検出結果S3として、総合判定部15および白背景検出部14に出力する。
【0047】
つぎに、図4を参照して、白背景検出部14について説明する。図4は、白背景検出部14の詳細構成を示すブロック図である。図4において、2値化部42は、画像データS1を所定の閾値th11によって2値化し、この2値化したデータを白画素塊パターンマッチング部43に出力する。
【0048】
棒状領域検出部41は、画像データS1とエッジ検出結果S3とをもとに、注目画素が棒状領域であるか否かを判定し、この判定結果を白背景総合判定部44に出力する。棒状領域検出部41は、注目画素51の上下に長いエッジが存在する場合、すなわち、図5(a)に示すように、エッジ検出結果51a,51bが注目画素51を挟んで存在する場合に、注目画素51を棒状領域として判定する。また、棒状領域検出部41は、注目画素52の左右に長いエッジが存在する場合、すなわち、図5(b)に示すように、エッジ検出結果52a,52bが注目画素52を挟んで存在する場合に、注目画素52を棒状領域として判定する。なお、棒状領域検出部41は、注目画素51,52の周囲に長いエッジが存在しない場合、あるいは、長いエッジが存在しても注目画素51,52を挟むように長いエッジが配置されていない場合には、注目画素51,52を棒状領域として判定しない。
【0049】
白画素塊パターンマッチング部43は、注目画素の近傍にある白画素の塊をパターンマッチングによって検出し、この検出結果を白背景総合判定部44に出力する。
【0050】
白背景総合判定部44は、棒状領域検出部41の棒状領域検出結果および白画素塊パターンマッチング部43の検出結果をもとに、注目画素の近傍が白背景である注目画素であるか否かを判定し、この判定結果を膨張部45に出力する。膨張部45は、白背景総合判定部44の判定結果をもとに、注目画素を中心とした所定の大きさのブロック内の白背景画素数を計数し、このブロック内に所定数以上の白背景画素数が存在すれば、このブロック全体を白背景とする判定を行う。たとえば、5×5画素の大きさのブロック内に、少なくとも1つの白背景と判定された画素が存在すれば、このブロックすなわち領域を白背景と判定する。この判定結果、すなわち白背景検出結果S4は、総合判定部15に出力される。
【0051】
ここで、図6に示すフローチャートを参照して、白背景総合判定部44の判定処理手順について説明する。図6において、白背景総合判定部44は、まず棒状領域検出部41が棒状領域を検出したか否かを判断する(ステップS101)。棒状領域を検出した場合(ステップS101,YES)には、現注目画素を白背景をもつ注目画素として判定し、この判定結果を膨張部45に出力し(ステップS103)、現注目画素に対する判定処理を終了する。
【0052】
一方、棒状領域を検出しない場合(ステップS101,NO)には、さらに白画素塊パターンマッチング部43による判定結果によって、現注目画素が、白背景をもつ注目画素であるとして検出されているか否かを判断する(ステップS102)。白背景をもつ注目画素として検出されている場合(ステップS102,YES)には、現注目画素を白背景をもつ注目画素として総合判定し、この判定結果を膨張部45に出力し(ステップS103)、現注目画素に対する判定処理を終了する。
【0053】
白背景をもつ注目画素として検出されていない場合(ステップS102,NO)には、現注目画素を白背景をもつ注目画素でないと総合判定し、この判定結果を膨張部45に出力し(ステップS104)、現注目画素に対する判定処理を終了する。
【0054】
なお、上述した白背景総合判定部44は、各注目画素に対して、図7に示すような判定テーブルを用いて総合判定処理を行う。棒状領域検出部41は、棒状領域を検出した場合に、値「1」を白背景総合判定部44に出力し、棒状領域を検出しない場合に、値「0」を白背景総合判定部44に出力する。また、白画素塊パターンマッチング部43は、注目画素が白画素塊の画素であると検出した場合に、値「1」を白背景総合判定部44に出力し、注目画素が白画素塊の画素でない場合に、値「0」を白背景総合判定部44に出力する。
【0055】
図7に示すように、白背景総合判定部44は、棒状領域検出部41による検出結果の値が「0」で、かつ白画素塊パターンマッチング部43による検出結果の値が「0」のときにのみ、現注目画素が、白背景をもたない画素として判定し、値「0」を膨張部45に出力する。また、白背景総合判定部44は、棒状領域検出部41による検出結果の値、または白画素塊パターンマッチング部43による検出結果の値のいずれか一方が少なくとも「1」の場合に、現注目画素が、白背景をもつ画素として判定し、値「1」を膨張部45に出力する。
【0056】
つぎに、図8に示すフローチャートを参照して、総合判定部15による総合判定処理手順について説明する。図8において、総合判定部15は、まず、網点検出部12によって網点が検出されたか否かを判断する(ステップS201)。網点が検出された場合、現ブロックは絵柄領域であると判定し(ステップS205)、現ブロックに対する総合判定処理を終了する。
【0057】
一方、網点が検出されないブロックである場合(ステップS201,NO)、さらにエッジ検出部13によってエッジが検出されたブロックであるか否かを判断する(ステップS202)。エッジが検出されない場合(ステップS202,NO)には、現ブロックは絵柄領域であると判定し(ステップS205)、現ブロックに対する総合判定処理を終了する。
【0058】
また、エッジが検出された場合(ステップS202,YES)には、さらに白背景検出部41によって白背景を有するブロックが検出されたか否かを判断し(ステップS203)、白背景を有するブロックが検出されない場合(ステップS203,NO)には、現ブロックは絵柄領域であると判定し(ステップS205)、現ブロックに対する総合判定処理を終了する。
【0059】
一方、白背景を有するブロックが検出されない場合(ステップS203,YES)には、現ブロックは文字領域であると判定し(ステップS204)、現ブロックに対する総合判定処理を終了する。
【0060】
なお、上述した総合判定部15は、各注目画素に対して、図9に示すような判定テーブルを用いて総合判定処理を行う。網点検出部12は、網点を検出した場合に、値「1」を総合判定部15に出力し、網点を検出しない場合に、値「0」を総合判定部15に出力する。また、エッジ検出部13は、エッジを有するブロックを検出した場合に、値「1」を総合判定部15に出力し、エッジを有するブロックを検出しない場合に、値「0」を総合判定部15に出力する。また、白背景検出部14は、上述した白背景総合判定部44の判定結果をもとに、ブロック単位で、ブロックが白背景を有する場合に、値「1」を総合判定部15に出力し、ブロックが白背景を有しない場合に、値「0」を総合判定部15に出力する。
【0061】
したがって、図9に示すように、総合判定部15は、網点検出結果S2の値が「0」で、エッジ検出結果S3の値が「1」で、かつ白背景検出結果S4の値が「1」の場合にのみ、現ブロックが文字領域であると判定し、その他の場合には、全て絵柄領域であると判定する。
【0062】
ここで、図17に示した複写原稿202における絵柄領域E301は、万線パターンによって形成されている。この万線パターンでは、万線の密集度が等高線などの細線に比して高いため、エッジ検出部13がエッジを検出できない。したがって、万線パターンの場合、棒状領域検出部41は、結果として常に棒状領域として検出しない、すなわち値「0」として白背景総合判定部44に出力する。
【0063】
一方、図17に示した複写原稿202における文字領域E302は、等高線が密集した細線パターンを形成するが、この細線パターンに対して、エッジ検出部13はエッジを検出することができるため、棒状領域検出部41は、結果として、常に棒状領域である、すなわち値「1」として白背景総合判定部44に出力する。
【0064】
この結果、万線パターンによって描かれた絵柄領域E301は、常に絵柄領域として判定され、等高線が密集した細線パターンなどの場合には、常に文字領域として判定されることになる。たとえば、図16に示した従来の判定テーブルでは、棒状パターン検出部114によって棒状パターン(棒状画素群)が検出された場合、万線パターンあるいは細線パターンの如何にかかわらず、常に文字領域として判定していたが、この第1の実施の形態では、万線パターンによる領域と細線パターンによる領域とを確実に峻別し、それぞれ絵柄領域および文字領域として判定出力する。
【0065】
この第1の実施の形態によれば、エッジ検出部13が、万線パターンによる領域に対してはエッジを検出せず、等高線などの細線が密集した細線パターンによる領域に対してはエッジを検出するという特性に着目し、このエッジ検出部13のエッジ検出結果を用いて、万線パターンによる領域を絵柄領域として判定し、細線パターンによる領域を文字領域として判定する像域分離を行うようにしているので、万線パターンによる領域を文字領域と判定することによって生起する干渉縞(モアレ)による画像劣化を確実になくすことができる。
【0066】
つぎに、この発明の第2の実施の形態について説明する。この第2の実施の形態では、棒状画素の存在を3値化されたデータをもとに判定処理するようにしている。
【0067】
図10は、この発明の第2の実施の形態である像域分離装置の構成を示すブロック図である。図10に示す第2の実施の形態では、第1の実施の形態における白背景検出部14に対応する白背景検出部64の構成が異なり、その他の構成は、第1の実施の形態と同じ構成であり、同一構成部分には同一符号を付している。
【0068】
図11は、白背景検出部64の詳細構成を示すブロック図である。図11に示す白背景検出部64では、白背景検出部14の構成に、3値化部71をさらに設け、棒状領域検出部72が3値化部71による3値化データをもとに棒状画素の判定を行うようにしている。その他の構成は、白背景検出部14と同じ構成であり、同一構成部分には同一符号を付している。
【0069】
3値化部71は、入力された画像データS1の色成分の最小値を取り出し、この取り出された色成分の濃度が、異なる2つの閾値T1,T2によって区分された黒色領域、中間色領域、白色領域のいずれの領域に対応するかを判定する3値化を行い(図12参照)、この判定結果を棒状領域検出部72に出力する。なお、この3値化における2つの閾値T1,T2は、取り出された色成分によって切替設定できるようにしてもよい。
【0070】
棒状領域検出部72は、3値化部71から出力された判定結果が、黒色領域あるいは白色領域である場合、注目画素を棒状画素として判定し、その後、エッジ検出結果S3をもとに現注目画素が棒状領域であるか否かを判定し、判定結果を白背景総合判定部44に出力する。一方、3値化部71から出力された判定結果が、中間色領域である場合、注目画素を棒状画素でないと判定するとともに、棒状領域でないと判定し、判定結果を白背景総合判定部44に出力する。
【0071】
図13は、棒状領域検出部72による棒状領域判定処理手順を示すフローチャートである。図13において、まず棒状領域検出部72は、3値化部71から入力された3値化結果が「黒色領域」または「白色領域」であるか否かを判断する(ステップS301)。3値化結果が、「黒色領域」または「白色領域」でない場合(ステップS301,NO)、すなわち3値化結果が、「中間色領域」である場合には、エッジ検出結果S3にかかわらず、現注目画素を棒状領域でないと判定し(ステップS304)、判定結果を白背景総合判定部44に出力し、現注目画素に対する処理を終了する。
【0072】
一方、3値化結果が、「黒色領域」または「白色領域」である場合(ステップS301,YES)には、エッジ検出結果S3をもとに、現注目画素近傍にエッジが検出されているか否かを判断する(ステップS302)。エッジが検出されていない場合には、現注目画素は、棒状領域でないと判定し(ステップS304)、判定結果を白背景総合判定部44に出力し、現注目画素に対する処理を終了する。一方、エッジが検出されている場合には、現注目画素は、棒状領域であると判定し(ステップS303)、現注目画素に対する処理を終了する。
【0073】
このようにして、第2の実施の形態では、第1の実施の形態による作用効果に加えて、棒状領域検出部72が、3値化部71による3値化結果をもとに棒状領域判定を行っているので、迅速かつ確実な棒状領域判定を行うことができる。
【0074】
【発明の効果】
以上説明したように、請求項1の発明によれば、白背景検出手段内の棒状領域検出手段が、前記エッジ検出手段が検出したエッジが前記部分画像領域内に存在する場合に該部分画像領域を棒状画像が存在する棒状領域として検出し、前記白背景検出手段が、前記棒状領域検出手段が前記棒状領域を検出した場合に白背景が存在すると判定し、該棒状領域が検出されない場合に前記白画素塊の有無によって前記部分画像領域が白背景であるか否かを判定し、前記判定手段が、前記網点検出手段が網点を検出せず、前記エッジ検出手段がエッジを検出し、前記棒状領域検出手段が前記棒状領域を検出し、前記白背景検出手段が前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出手段が網点を検出せず、前記エッジ検出手段がエッジを検出し、前記棒状領域検出手段が前記棒状領域を検出せず、前記白背景検出手段が前記白画素塊を検出して前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出手段が網点を検出した場合、または前記エッジ検出手段がエッジを検出しなかった場合、または前記棒状領域検出手段が前記棒状領域を検出せず前記白背景検出手段が前記白画素塊を検出しなかった場合、前記部分画像領域を絵柄領域と判定するようにしているので、たとえば等高線のような高密度の線が密集した領域は、エッジ検出手段によってエッジが検出されるために文字領域と判定され、本来、絵柄領域と判定されるべき万線パターンの領域は、エッジ検出手段によってエッジが検出されないために確実に絵柄領域と判定され、画像劣化を一層減少した像域分離を実現することができるという効果を奏する。
【0075】
また、請求項2の発明によれば、前記棒状領域検出手段が、前記部分画像領域内において該部分画像領域を形成する画素群の注目画素の上下または左右にエッジが存在した場合、該部分画像領域を前記棒状領域であると判定し、固定的なパターンマッチングに限定されず、各種の棒状領域を検出するようにしているので、棒状領域の判定を柔軟に行うことができ、簡易な構成で、画像劣化を一層減少した像域分離を実現することができるという効果を奏する。
【0076】
また、請求項3の発明によれば、前記白背景検出手段内の3値化手段が、異なる2つの閾値を用いて前記入力画像を黒色領域、中間色領域、白色領域に3値化し、前記棒状領域検出手段が、前記3値化手段の結果が中間色領域である場合に非棒状領域と判定し、前記3値化手段の結果が黒色領域または白色領域の場合に前記エッジの有無によって棒状領域であるか否かを判定するようにしているので、一層、精度の高い白背景検出の判定を行うことができ、結果として画像劣化の少ない像域分離を実現することができるという効果を奏する。
【0077】
また、請求項4の発明によれば、棒状領域検出工程が、前記エッジ検出工程が検出したエッジが前記部分画像領域内に存在する場合に該部分画像領域を棒状画像が存在する棒状領域として検出し、前記白背景検出工程が、前記棒状領域検出工程が前記棒状領域を検出した場合に白背景が存在すると判定し、該棒状領域が検出されない場合に前記白画素塊の有無によって前記部分画像領域が白背景であるか否かを判定し、前記判定工程は、前記網点検出工程が網点を検出せず、前記エッジ検出工程がエッジを検出し、前記棒状領域検出工程が前記棒状領域を検出し、前記白背景検出工程が前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出工程が網点を検出せず、前記エッジ検出工程がエッジを検出し、前記棒状領域検出工程が前記棒状領域を検出せず、前記白背景検出工程が前記白画素塊を検出して前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出工程が網点を検出した場合、または前記エッジ検出工程がエッジを検出しなかった場合、または前記棒状領域検出工程が前記棒状領域を検出せず前記白背景検出工程が前記白画素塊を検出しなかった場合、前記部分画像領域を絵柄領域と判定するようにしているので、たとえば、等高線のような高密度の線が密集した領域は、エッジ検出手段によってエッジが検出されるために文字領域と判定され、本来、絵柄領域と判定されるべき万線パターンの領域は、エッジ検出手段によってエッジが検出されないために確実に絵柄領域と判定され、画像劣化を一層減少した像域分離を実現することができるという効果を奏する。
【0078】
また、請求項5の発明によれば、前記棒状領域検出工程が、前記部分画像領域内において該部分画像領域を形成する画素群の注目画素の上下または左右にエッジが存在した場合、該部分画像領域を前記棒状領域であると判定し、固定的なパターンマッチングに限定されず、各種の棒状領域を検出するようにしているので、棒状領域の判定を柔軟に行うことができ、簡易な処理によって、画像劣化を一層減少した像域分離を実現することができるという効果を奏する。
【0079】
また、請求項6の発明によれば、3値化工程が、前記白背景検出工程は、異なる2つの閾値を用いて前記入力画像を黒色領域、中間色領域、白色領域に3値化し、前記棒状領域検出工程が、前記3値化工程の結果が中間色領域である場合に非棒状領域と判定し、前記3値化工程の結果が黒色領域または白色領域の場合に前記エッジの有無によって棒状領域であるか否かを判定するようにしているので、一層、精度の高い白背景検出の判定を行うことができ、結果として画像劣化の少ない像域分離を実現することができるという効果を奏する。
【図面の簡単な説明】
【図1】 この発明の第1の実施の形態の構成を示すブロック図である。
【図2】 図1に示した網点領域検出部の詳細な構成を示すブロック図である。
【図3】 図1に示したエッジ検出部の詳細な構成を示すブロック図である。
【図4】 図1に示した白背景検出部の詳細な構成を示すブロック図である。
【図5】 図1に示した棒状領域検出部による棒状領域の検出を示す説明図である。
【図6】 図4に示した白背景検出部による白背景検出処理手順を示すフローチャートである。
【図7】 白背景総合判定部が有する判定テーブルの一例を示す図である。
【図8】 総合判定部による像域分離手順を示すフローチャートである。
【図9】 総合判定が有する判定テーブルの一例を示す図である。
【図10】 本発明の第2の実施の形態の構成を示すブロック図である。
【図11】 図10に示した白背景検出部の詳細な構成を示すブロック図である。
【図12】 3値化を説明する図である。
【図13】 図10に示した棒状領域検出部の棒状領域検出処理手順を示すフローチャートである。
【図14】 従来の像域分離装置の構成例を示すブロック図である。
【図15】 従来の像域分離装置の像域分離手順を示すフローチャートである。
【図16】 従来の像域分離装置が有する判定テーブルの一例を示す図である。
【図17】 文字領域と絵柄領域とが混在する画像の一例を示す図である。
【符号の説明】
11 スキャナ
12 網点検出部
13 エッジ検出部
14,64 白背景検出部
15 総合判定部
21 ピーク画素検出部
22 網点領域検出回路
31 エッジ強調回路
32 3値化回路
33 黒画素連続性検出部
34 白画素連続性検出部
35 アンド回路
41,72 棒状領域検出部
42 2値化部
43 白画素塊パターンマッチング部
44 白背景総合判定部
45 膨張部
71 3値化部

Claims (6)

  1. 入力画像を形成する部分画像領域内の網点を検出する網点検出手段と、該部分画像領域内のエッジを検出するエッジ検出手段と、該部分画像領域内の白画素塊の有無をもとに該部分画像領域が白背景であるか否かを検出する白背景検出手段と、前記網点検出手段、前記エッジ検出手段および前記白背景検出手段の検出結果をもとに前記部分画像領域が文字領域であるか絵柄領域であるかを判定する判定手段とを有し、前記入力画像全体を文字領域と絵柄領域とに分離する処理を行う像域分離装置において、
    前記白背景検出手段は、前記エッジ検出手段が検出したエッジが前記部分画像領域内に存在する場合に該部分画像領域を棒状画像が存在する棒状領域として検出する棒状領域検出手段を備え、
    前記白背景検出手段は、前記棒状領域検出手段が前記棒状領域を検出した場合に白背景が存在すると判定し、該棒状領域が検出されない場合に前記白画素塊の有無によって前記部分画像領域が白背景であるか否かを判定し、
    前記判定手段は、前記網点検出手段が網点を検出せず、前記エッジ検出手段がエッジを検出し、前記棒状領域検出手段が前記棒状領域を検出し、前記白背景検出手段が前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出手段が網点を検出せず、前記エッジ検出手段がエッジを検出し、前記棒状領域検出手段が前記棒状領域を検出せず、前記白背景検出手段が前記白画素塊を検出して前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出手段が網点を検出した場合、または前記エッジ検出手段がエッジを検出しなかった場合、または前記棒状領域検出手段が前記棒状領域を検出せず前記白背景検出手段が前記白画素塊を検出しなかった場合、前記部分画像領域を絵柄領域と判定することを特徴とする像域分離装置。
  2. 前記棒状領域検出手段は、前記部分画像領域内において該部分画像領域を形成する画素群の注目画素の上下または左右にエッジが存在した場合、該部分画像領域を前記棒状領域であると判定することを特徴とする請求項1に記載の像域分離装置。
  3. 前記白背景検出手段は、異なる2つの閾値を用いて前記入力画像を黒色領域、中間色領域、白色領域に3値化する3値化手段を有し、
    前記棒状領域検出手段は、前記3値化手段の結果が中間色領域である場合に非棒状領域と判定し、前記3値化手段の結果が黒色領域または白色領域の場合に前記エッジの有無によって棒状領域であるか否かを判定することを特徴とする請求項1または請求項2に記載の像域分離装置。
  4. 入力画像を形成する部分画像領域内の網点を検出する網点検出工程と、該部分画像領域内のエッジを検出するエッジ検出工程と、該部分画像領域内の白画素塊の有無をもとに該部分画像領域が白背景であるか否かを検出する白背景検出工程と、前記網点検出工程、前記エッジ検出工程および前記白背景検出工程の検出結果をもとに前記部分画像領域が文字領域であるか絵柄領域であるかを判定する判定工程とを含み、前記入力画像全体を文字領域と絵柄領域とに分離する処理を行う像域分離方法において、
    前記白背景検出工程は、前記エッジ検出工程が検出したエッジが前記部分画像領域内に存在する場合に該部分画像領域を棒状画像が存在する棒状領域として検出する棒状領域検出工程を含み、
    前記白背景検出工程は、前記棒状領域検出工程が前記棒状領域を検出した場合に白背景が存在すると判定し、該棒状領域が検出されない場合に前記白画素塊の有無によって前記部分画像領域が白背景であるか否かを判定し、
    前記判定工程は、前記網点検出工程が網点を検出せず、前記エッジ検出工程がエッジを検出し、前記棒状領域検出工程が前記棒状領域を検出し、前記白背景検出工程が前記部分画像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出工程が網点を検出せず、前記エッジ検出工程がエッジを検出し、前記棒状領域検出工程が前記棒状領域を検出せず、前記白背景検出工程が前記白画素塊を検出して前記部分画 像領域を白背景であると判定した場合に該部分画像領域を文字領域と判定し、前記網点検出工程が網点を検出した場合、または前記エッジ検出工程がエッジを検出しなかった場合、または前記棒状領域検出工程が前記棒状領域を検出せず前記白背景検出工程が前記白画素塊を検出しなかった場合、前記部分画像領域を絵柄領域と判定することを特徴とする像域分離方法。
  5. 前記棒状領域検出工程は、前記部分画像領域内において該部分画像領域を形成する画素群の注目画素の上下または左右にエッジが存在した場合、該部分画像領域を前記棒状領域であると判定することを特徴とする請求項4に記載の像域分離方法。
  6. 前記白背景検出工程は、異なる2つの閾値を用いて前記入力画像を黒色領域、中間色領域、白色領域に3値化する3値化工程を含み、
    前記棒状領域検出工程は、前記3値化工程の結果が中間色領域である場合に非棒状領域と判定し、前記3値化工程の結果が黒色領域または白色領域の場合に前記エッジの有無によって棒状領域であるか否かを判定することを特徴とする請求項4または請求項5に記載の像域分離方法。
JP2000111326A 2000-04-12 2000-04-12 像域分離装置およびその方法 Expired - Fee Related JP3961192B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000111326A JP3961192B2 (ja) 2000-04-12 2000-04-12 像域分離装置およびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000111326A JP3961192B2 (ja) 2000-04-12 2000-04-12 像域分離装置およびその方法

Publications (3)

Publication Number Publication Date
JP2001298611A JP2001298611A (ja) 2001-10-26
JP2001298611A5 JP2001298611A5 (ja) 2005-07-07
JP3961192B2 true JP3961192B2 (ja) 2007-08-22

Family

ID=18623675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000111326A Expired - Fee Related JP3961192B2 (ja) 2000-04-12 2000-04-12 像域分離装置およびその方法

Country Status (1)

Country Link
JP (1) JP3961192B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6200797B2 (ja) * 2013-12-18 2017-09-20 株式会社沖データ 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP2001298611A (ja) 2001-10-26

Similar Documents

Publication Publication Date Title
JP3276985B2 (ja) イメージピクセル処理方法
JP3097785B2 (ja) 画像処理装置
EP0899685B1 (en) Image processing apparatus for discriminating image field of original document plural times and method therefor
JPH04356869A (ja) 画像処理装置及び方法
JPH05328121A (ja) 画像処理方法およびその装置
JPH06133159A (ja) 画像処理装置
JP3961192B2 (ja) 像域分離装置およびその方法
JP2008227732A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4228466B2 (ja) 画像処理装置、画像処理方法、および画像処理手順を記憶したコンピュータ読み取り可能な記憶媒体
JP3100383B2 (ja) 文字領域分離方法および装置
JP2004104635A (ja) 画像処理装置
JP2003309725A (ja) 画像処理方法、画像処理装置、及びそれを備えた画像形成装置
JPH04248766A (ja) 像域分離装置
JPS63246076A (ja) フイルタ処理装置
JP3336046B2 (ja) 像域分離装置
JP3251119B2 (ja) 画像処理装置
JPH04362870A (ja) 画像処理装置
JPH05292312A (ja) 網点領域分離装置
JP3245586B2 (ja) 極点画素検出装置
JP2521744B2 (ja) 画像処理装置
JP2001352453A (ja) 画像再生装置
JP2507948B2 (ja) 画像領域識別装置
JP2002232704A (ja) 画像処理装置及び画像形成装置
JP3788669B2 (ja) カラー画像処理装置
JP2002262074A (ja) 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041027

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20041027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061128

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070516

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110525

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120525

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120525

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130525

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees