JP4497684B2 - 画像処理装置及びその方法 - Google Patents

画像処理装置及びその方法 Download PDF

Info

Publication number
JP4497684B2
JP4497684B2 JP2000275477A JP2000275477A JP4497684B2 JP 4497684 B2 JP4497684 B2 JP 4497684B2 JP 2000275477 A JP2000275477 A JP 2000275477A JP 2000275477 A JP2000275477 A JP 2000275477A JP 4497684 B2 JP4497684 B2 JP 4497684B2
Authority
JP
Japan
Prior art keywords
image
color
image data
data
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000275477A
Other languages
English (en)
Other versions
JP2002094809A (ja
JP2002094809A5 (ja
Inventor
健一 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000275477A priority Critical patent/JP4497684B2/ja
Publication of JP2002094809A publication Critical patent/JP2002094809A/ja
Publication of JP2002094809A5 publication Critical patent/JP2002094809A5/ja
Application granted granted Critical
Publication of JP4497684B2 publication Critical patent/JP4497684B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Color, Gradation (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、カラー画像処理を可能とする画像処理装置及びその方法に関する。
【0002】
【従来の技術】
従来、カラー原稿画像をデジタル信号として読み取って、その複写画像を生成するシステムとして、カラー複写機が知られている。
【0003】
図13に、従来のカラー複写機の構成を示す。1001はスキャナ部であり、原稿を読み取り、デジタル信号処理を行う部分である。また、1002はプリンタ部であり、スキャナ部1001によって読み取られた原稿画像に対応した画像を、記録用紙にフルカラーで印刷出力する部分である。
【0004】
スキャナ部1001において、1000は鏡面圧板であり、原稿台ガラス(以下プラテン)1003上の原稿1004は、ランプ1005で照射され、その反射光がミラー1006,1007,1008に導かれ、レンズ1009によって、3ラインの個体撮像素子センサ(以下CCD)1010上に像を結ぶ。これにより、フルカラー情報としてのレッド(R),グリーン(G),ブルー(B)の3色の画像信号が信号処理部1011に送られる。
【0005】
尚、ランプ1005及びミラー1006は速度Vで、ミラー1007,1008は速度1/2Vで、CCD1010の電気的走査(主走査)方向に対して垂直方向に機械的に移動することによって、原稿全面を走査(副走査)する。原稿1004は、主走査および副走査ともに600dpi(dots/inch)の解像度で読み取られる。
【0006】
信号処理部1011においては、読み取られた画像信号を電気的に処理し、マゼンタ(M),シアン(C),イエロー(Y),ブラック(Bk)の各色成分に分解し、プリンタ部1002に送る。また、スキャナ部1001における一回の原稿走査につき、M,C,Y,Bkのうちのひとつの色成分がプリンタ部1002に送られ、計4回の原稿走査によって、一回の印刷出力用の画像信号が完成する。
【0007】
プリンタ部1002において、スキャナ部1001より送られてくるM,C,Y,Bkの各画像信号は、レーザドライバ1012に送られる。レーザドライバ1012は、送られてきた画像信号に応じて半導体レーザ1013を変調駆動する。発振されたレーザ光は、ポリゴンミラー1014、f−θレンズ1015、ミラー1016を介して、感光ドラム1017上を走査する。この時、読取時と同様に、感光ドラム1017上には主走査および副走査ともに、600dpi(dots/inch)の解像度で潜像が書き込まれる。
【0008】
1018は回転現像器であり、マゼンタ現像部1019、シアン現像部1020、イエロ現像部1021、ブラック現像部1022より構成され、これら4つの現像部が交互に感光ドラム1017に接し、感光ドラム1017上に形成された静電潜像をトナーで現像する。1023は転写ドラムであり、用紙カセット1024または1025より供給される記録用紙を巻き付け、感光ドラム1017上に現像されたトナー像を記録用紙に転写する。
【0009】
この様にして、M,C,Y,Bkの4色が記録用紙に順次転写されると、該記録用紙は定着ユニット1026を通過することによって、各色のトナー像が定着され、その後に機外へ排紙される。
【0010】
上述したように従来のカラー複写機においては、スキャナ部1001においてCCD1010で読み取られたR,G,Bの画像信号が、信号処理部1011で画素毎に処理されてM,C,Y,Bk信号に変換された後、逐次プリンタ部1002に送られて感光ドラム1017上へレーザ露光されることによって、複写画像を形成する。このとき、プリンタ部1002で実行される画像形成はM,C,Y,Bkのいずれか1色ずつについて順次行われ、即ち画像形成プロセスを4回繰り返すため、スキャナ部1001における原稿の読み取りは、連続して計4回行われていた。
【0011】
【発明が解決しようとする課題】
上述したように、従来のカラー複写機においては、原稿を読み取るスキャナ部1001と、複写画像を形成・出力するプリンタ部1002が、互いに同期して動作する必要があった。
【0012】
従って、例えばプリンタ部1002内の定着ユニット1026が加熱定着タイプである場合、そのヒータ部が十分に加熱されていなければ、プリンタ部1002は待機状態となり、複写動作は勿論、スキャナ部1001による原稿読み取り動作さえも行えなくなる。
【0013】
そこで、スキャナ部による原稿の読み取り動作を一回だけとするために、M,C,Y,Bkに変換された画像データを保持する一時記憶手段を設け、各色の画像形成タイミングに同期して、該保持された画像データを読み出して出力する構成が考えられる。該構成によれば、スキャナ部においてはプリンタ部との同期を取ることなく、原稿読み取り動作を行うことができる。また、複数部数の複写出力を行う場合にも、原稿読み取り動作は一枚の原稿につき1回で良い。
【0014】
しかしながら、このようにカラー複写機に対して一時記憶手段を設けた場合であっても、原稿画像の特徴に応じて、最適な画像処理を施すことは困難であった。
【0015】
例えば、カラー複写機においても白黒原稿の複写要求は発生する。この場合、M,C,Y,Bkの4色全てにより印刷を行うことは、トナー消費量及び複写時間等の観点において好ましくなく、Bkの単色トナーによる印刷を行うことが望ましい。
【0016】
しかしながら、カラー原稿に対する印刷用画像信号として、M,C,Y,Bkのカラー信号の生成と白黒原稿に対するBk単色信号の生成とでは、その方法が異なる、従って、原稿読み取り時に、原稿に応じて印刷用の画像信号生成手投を切り替える必要がある。
【0017】
そのために、上記従来のカラー画像複写機においては、原稿画像に対して予備的スキャン(以降、ブリスキャンと称する)を行って、カラー原稿であるか白黒原稿であるかを判別した後に、該判別結果に応じて出力画像信号生成部を切り替え、改めて原稿画像の再スキャン(以降、本スキャンと称する)を行う必要があった。即ち、同一原稿に対して2度の読み取り動作を行う必要があった。
【0018】
本発明は上述した問題を解決するために成されたものであり、原稿画像の特徴に応じて、最適な画像処理かつ高速な出力を可能とする画像処理装置及びその方法を提供することを目的とする。
【0019】
【課題を解決するための手段】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【0020】
即ち、原稿画像を構成する各画素のカラー画像データから、該各画素が文字、図形、網点の何れの像域に対応するかを示すフラグデータを生成する生成手段と、前記カラー画像データから前記原稿画像がカラーであるか白黒であるか識別する識別手段と、前記カラー画像データと前記フラグデータとを互いに異なる圧縮処理を用いて圧縮する圧縮手段と、前記圧縮されたカラー画像データおよび前記圧縮されたフラグデータを記憶する記憶手段と、前記記憶手段に記憶された前記圧縮されたカラー画像データおよび前記圧縮されたフラグデータを伸長する伸長手段と、前記伸長されたカラー画像データの各画素に対して、該伸長されたカラー画像データの画素に対応する前記伸長されたフラグデータの示す像域の種別と前記識別手段の識別結果とに応じた画像処理を行う画像処理手段と、を有し、前記識別手段は、前記圧縮手段により圧縮されていないカラー画像データから前記原稿画像がカラーであるか白黒であるか識別し、前記画像処理手段は、前記識別結果が前記原稿画像が白黒であることを示す場合、前記伸長されたカラー画像データからモノクロ画像データを生成し該モノクロ画像データに対して前記画像処理を行い、前記識別結果が前記原稿画像がカラーであることを示す場合、前記伸長されたカラー画像データに対して前記画像処理を行うことを特徴とする。
【0021】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。
【0022】
<第1実施形態>
図1は、本実施形態におけるカラー複写機の概要構成を示すブロック図である。101は原稿画像を読み取ってRGB信号を発生するスキャナ部、130はスキャナ部101からのRGB信号をMCYBk信号に変換する信号処理部、117はMCYBk信号に基づいて、記録用紙上への印刷を行うプリンタ部、である。尚、信号処理部130は、色空間変換のみならず後述する様々な画像処理を行う。以下、本実施形態における主な処理について、詳細に説明する。
【0023】
[スキャナ部]
複写対象となる原稿は、スキャナ部101の不図示の原稿載置台ガラスに載置され、光学的に読みとられる。スキャナ部101は、上述した図12に示したスキャナ部1001と同様に、カラーの3ラインCCDによって原稿画像を画素毎に読み取って、得られたRGBのカラー画像信号を信号処理部130内の入力画像処理部102に転送する。
【0024】
入力画像処理部102では、スキャナ部101から送られてきたRGBのカラー画像信号に対して、シェーディング補正、CCDライン間補正、色補正等の周知の画像処理を施す。
【0025】
103は像域分離部であり、入力画像処理部102から出力された処理済みのカラー画像信号に対して像域分離処理を施す。即ち、入力画像に対してその画像特徴を検出することにより、写真領域、文字領域、網点領域等の像域を判定し、画素毎に像域属性を表すフラグデータを生成する。
【0026】
104は特徴量検出部であり、像域分離部103のような画素毎の特徴ではなく、原稿1ページ全体における特徴量として、例えば原稿画像がカラーであるか白黒であるかを判別するための特徴量を検出する。詳細については後述するが、その他の原稿全体の特徴量としては、原稿の背景部分(下地部)の濃度、原稿の大きさ(サイズ)、あるいは原稿のメディアタイプ(銀塩写真か、印刷物か、あるいはカラー複写機で出力された複写画像か、など)、など様々な特徴検出の必要性が考えられる。
【0027】
[像域分離処理]
ここで、像域分離部103における像域分離処理について説明する。
【0028】
像域分離処理とは、原稿画像に含まれる画像の特徴に応じて最適な画像処理を施すために、原稿画像の特徴を抽出して像域属性を示す信号(以降、フラグデータと称する)を生成するために行われる。例えば、1枚の原稿には、連続階調のフルカラー写真領域や、黒一色の文字領域、あるいは新聞印刷のような網点印刷領域等、様々な画像領域が混在していることが多い。
【0029】
これらの各領域に対して一律に、同一の画像処理手順による処理を施すと、その出力画像は好ましい画質が得られない場合が多い。
【0030】
そこで本実施形態の像域分離部103においては、入力画像処理部102から出力されたカラー画像信号を用いて、原稿画像中に含まれる画像データの属性を検出し、それを識別するためのフラグデータを生成する。この具体的な手順を、図2を参照して説明する。
【0031】
図2は、原稿画像の一例を示す図であり、1ページの原稿201内に、銀塩写真領域202、黒文字領域203、網点印刷領域204、カラーのグラフィック領域205、が混在している様子を示している。
【0032】
スキャナ部101は、この原稿201をカラーCCDセンサによって走査し、画素毎のカラーデジタル信号(R,G,B)として読み取る。読み取られたRGB信号は、画像領域毎の属性に依存する特徴を有する。各領域においてCCDセンサが読み取る信号値(R,G,B)のうち、G信号をCCDの並び方向にプロットしてみると、例えば図3のようになる。図3において、302〜305はそれぞれ、図2に示す202〜205の各領域を読み取った場合の特性を示す。図3において、横軸はCCDならび方向の画素位置、縦軸は読み取り信号値を示し、縦軸の上に行くほど白に近い(明るい)画素であることを表している。
【0033】
各領域ごとの特徴を説明すると、202は写真領域であるので、読み取られる画像信号の位置による変化302は比較的ゆるやかであり、近距離の画素値の差分312は比較的小さな値となる。
【0034】
303は黒文字領域203の特性であり、白地に黒い文字が書かれているので、その信号値のプロットは白地部313から文字部323にかけて急激に変化するような特性となる。
【0035】
304は網点領域204の特性であり、網点領域においては白地314とその上に印刷された網点324との繰り返しとなるので、信号値のプロットは図のように白と黒が高頻度で繰り返される特性となる。
【0036】
305はグラフィック領域のプロット図である。グラフィックのエッジ部315では信号値は急激に小さくなり、内部の色塗り部分316は一定の中間レベルが連続するような特性となる。
【0037】
これらの属性を判定するためには、読み取り信号値から上記領域毎の特徴を検出すればよい。例えば、注目画素近傍における画像データの変化量、あるいは変化量の一定区間内の積算値、周辺画素の輝度値(背景が白地であるか否かの判定に用いる)、一定区間内の白から黒への変化回数、等に基づき、周知の特徴抽出手法によって属性判別を行うことができる。
【0038】
図4に、図2に示す原稿画像201に対して生成された属性フラグの一例を示す。ここでは属性フラグ(フラグデータ)として、文字フラグ、図形フラグ、網点フラグの3種類のフラグを生成する例について説明するが、もちろん、フラグデータの種類はこれに限定されない。図4(a)は文字フラグを示し、文字領域203において文字フラグ=1が生成され、それ以外の領域では文字フラグ=0となっている。即ち、図中の黒で表す画素が文字属性(文字フラグ=1)を有する画素である。図4(b)は図形フラグを示し、グラフィック領域205で1となり、それ以外の領域で0となる。図4(c)は網点フラグを示し、網点領域204で1となり、それ以外の領域で0となる。尚、写真領域202については、文字、図形、グラフィックのいずれの領域にも該当しないため、これらすべてのフラグが0となる。
【0039】
像域分離部103で生成されたフラグデータは、106のフラグメモリaに格納される。
【0040】
[原稿画像特徴量検出]
次に、特徴量検出部104における原稿画像特徴量検出処理について説明する。
【0041】
ここでは、原稿画像がカラーであるか白黒であるかを識別する場合の特徴量検出方法について、図5を参照して説明する。図5は、特徴量検出部104の詳細構成を示すブロック図である。
【0042】
像域分離部103から出力されたRGB画像信号は、そのまま105の画像メモリaへ送られると同時に、Ca,Cb変換部501へ送られ、次式により色相信号Ca,Cbに変換される。
【0043】
Ca=(R−G)/2
Cb=(R/2+G/2−B)/2 ・・・(1)
そして彩度検出部502において、次式に基づいてCa,Cb信号から彩度信号Sを生成する。
【0044】
S=Max(|Ca|+|Cb|) ・・・(2)
ここで|X|はXの絶対値を表す。
【0045】
生成されたS信号は、しきい値処理部503において所定のしきい値Thと比較され、Th以上の場合にSb=1を出力し、Th以下の場合にSb=0を出力する。
【0046】
原稿が白黒画像である場合、読み取られるR,G,B信号は無彩色を示すR=G=Bとなるため、(1)式で得られる色差信号Ca,Cbはいずれも0となり、従って彩度信号Sも0となる。即ち、彩度信号Sがあるしきい値以上の値を有するということは、原稿の対象画素が有彩色である(無彩色でない)ということを表し、言い替えれば、原稿がカラー原稿であれば、Sb=1となる画素が多数存在することになる。
【0047】
そこで、カウンタ504においてSb=1となる画素数をカウントし、原稿1ページ全体におけるカウント値を、Scntとして出力する。
【0048】
原稿種別判定部505においては、Scntに基づき、白黒原稿であるかカラー原稿であるかを判別する。例えば、Scntが所定値以上であればカラー原稿であると判定してBkFlag=0を出力し、Scntが所定値以下であれば白黒原稿であると判定してBkFlag=1を出力する。BkFlagは後述する出力画像処理部116へ送られ、出力画像処理を制御する。
【0049】
[画像データの蓄積]
スキャナ部101で読み取られ、種々の入力画像処理が施された画像データ、および上記の手順で生成された属性フラグデータは、それぞれ画像メモリa105およびフラグメモリa106に一時的に記憶される。一時記憶された画像データおよび属性フラグデータは、更にデータ圧縮部109で圧縮されて、記憶装置110に記憶される。記憶装置110としては、半導体記憶装置のような高速の記憶手段であることが望ましい。
【0050】
データ圧縮部109では、画像データ及びフラグデータに対し、それぞれ異なるデータ圧縮処理を施す。即ち、画像データに対してはJPEG圧縮のように、非可逆ではあるが人間の視覚特性を考慮して画像劣化を目立たなくするような、高能率の圧縮処理を施し、またフラグデータに対しては、属性フラグ情報の欠落や変化が発生しないように、JBIG圧縮のような可逆圧縮方式を用いることが望ましい。
【0051】
このように異なる圧縮処理を施された画像データ及びフラグデータが、記憶装置110に原稿のページ単位で記憶される。尚、特徴量検出部104において生成されたBkFlagを、画像データ及びフラグデータと共に記憶しておき、必要に応じて読み出すことも可能である。
【0052】
記憶装置110に記憶されたデータはまた、補助記憶装置111に書き出される場合もある。補助記憶装置111として好ましくは、ハードディスクのような、記録速度は若干遅くても大容量のデータ記憶を可能とする媒体を用いる。このような補助記憶装置111を用いることにより、多数ページの原稿画像を効率的に記憶蓄積することが可能となる。
【0053】
[画像データの読み出し]
記憶装置110または補助記憶装置111に記憶された画像データ及び属性フラグデータは、プリンタ部117において画像形成を行う際に読み出され、データ伸長部112で圧縮データが解凍された後、それぞれ画像メモリb114及びフラグメモリb115に書き出される。
【0054】
このとき、画素密度変換部113a,113bにおいて、画像データの画素密度の変換を行う場合がある。これは例えば、蓄積された画像データを拡大、または縮小して印刷出力したい場合や、蓄積された複数ページを合成して1枚の記録用紙上に印刷出力したい場合等に使用される。ここで、画像データの画素密度変換とフラグデータの画素密度変換とは、それぞれ異なる手法を適用することが望ましい。例えば、画像データに対しては線形補間法や双3次スプライン補間法などの周知の手法を適用することができる。またフラグデータの画素密度変換には、最近傍処理法などの2値データに適した画素密度変換方法を用いることが望ましい。例えば、画素密度変換部113a,113bがそれぞれ、画像データ,フラグデータ用の変換部であるとする。
【0055】
[画像データの出力]
画像メモリb114及びフラグメモリb115に一時的に記憶された画像データ及びフラグデータは、原稿1ページ分の読み取りが終了すると出力画像処理部116に転送される。
【0056】
出力画像処理部116においては、RGBの画像データを記録用紙上に印刷出力するために、輝度濃度変換、RGB→CMYK変換、ガンマ補正、2値化処理、等の周知の画像処理を施し、プリンタ部117へ転送する。
【0057】
プリンタ部117では、転送されたCMYKの画像信号に基づいてレーザ部を駆動し、上述した図12と同様の手順によって記録用紙上に可視画像を形成し、出力する。
【0058】
ここで、出力画像処理部116においては、フラグメモリb115に記憶されたフラグデータに基づいてその処理を切り替えることを特徴とする。
【0059】
例えば、RGBからCMYKへの変換処理における変換係数を、写真領域と文字領域とで異ならせることにって、出力画像の画質を向上させることができる。例えば、文字領域(文字フラグ=1)である画素に対しては、黒文字が黒トナーのみで再現できるような変換係数、即ち、画像データが無彩色を示すR=G=Bの場合はC,M,Y=0となるような係数を適用し、文字領域以外の画素に対しては、たとえ無彩色であってもC,M,Yが0とならず、深みのある黒を再現できるような係数を用いるれば良い。
【0060】
また2値化処理においては、C,M,Y,K信号を周知の誤差拡散処理やディザ処理を用いて0または1の2値信号に変換するが、このとき文字領域やグラフ領域では出力画像の鮮鋭度が優先されるので誤差拡散処理を適用し、写真や網点領域では階調性が重視されるのでディザ処理を適用することができる。このように、2値化処理の内容をやはり属性フラグデータに基づいて切り替えることによって、出力画像の画質向上が図られる。
【0061】
図6は、出力画像処理部116の詳細構成を示すブロック図である。画像メモリb114から読み出されたRGBのカラー画像データは、後述するカラー→モノクロ変換部600を介してRGB→CMYK変換部601,602に並列に入力され、それぞれ独立にCMYK画像信号に変換される。RGB→CMYK変換部601,602の出力はセレクタ603において、フラグメモリb115から提供されるフラグデータに従っていずれか一方が選択される。
【0062】
ここで、RGB→CMYK変換部601には文字領域用の変換係数として、無彩色信号に対してC=M=Y=0となるような係数が設定されており、RGB→CMYK変換部602にはそれ以外の領域用の係数が設定されている。従ってセレクタ603は、フラグメモリb115からの文字フラグが1のときにRGB→CMYK変換部601の出力を選択し、0のときはRGB→CMYK変換部602の出力を選択する。これにより、文字領域(文字フラグ=1)と判定された画素が無彩色であれば、Bkトナー単色で出力されることになる。
【0063】
セレクタ603の出力はやはり並列に2系統に分離され、一方はガンマ補正部604と誤差拡散処理部606を介した2値のCMYK信号として、セレクタ608に入力される。他方は、ガンマ補正部605とディザ処理部507を介したやはり2値のCMYK信号として、セレクタ608に入力される。
【0064】
セレタタ608では、誤差拡散処理部606またはディザ処理部607のいずれかの出力を選択してプリンタ部117へ転送するが、ここでは、文字領域およびグラフ領域について誤差拡散処理を選択する。従ってセレクタ608は、文字フラグ=1または図形フラグ=1の場合に誤差拡散処理部606の出力を選択し、そうでない場合はディザ処理部607の出力を選択する。
【0065】
カラー→モノクロ変換部600においては、原稿が白黒画像である場合の処理が行われる。原稿を読み取って得られたRGB信号は通常、たとえ白黒原稿であっても厳密に無彩色信号、即ちR=G=Bとなるとは限らない。そこで本実施形態においては、カラー→モノクロ変換部600に上述したBkFlagを入力し、これが1である原稿画像に対しては次式に基づく変換を施すことによって、厳密なモノクロ信号であるのR’,G’,B’信号として出力する。
【0066】
R’=0.30×R+0.59×G+0.11×B
G’=R’
B’=R’ ・・・(3)
この変換により、カラー画像信号の読み取り信号がR=G=B(R’=G’=B’)の無彩色信号となることが保証される。
【0067】
BkFlagはまた、セレクタ603にも入力される。セレクタ603においては、BkFlag=0の場合、通常のカラー原稿に対する処理として上述したようなフラグデータに基づく選択が行われるが、BkFlag=1の場合はページ全体が無彩色であるとし、強制的にRGB→CMYK変換部601の出力を選択するようにする。
【0068】
上述したように、BkFlag=1であれば、(3)式に示す変換によってR,G,B信号が無彩色であることが保証されているため、RGB→CMYK変換部601における無彩色処理に適した変換係数に基づく処理によって、原稿全体がBkトナー単色(即ちC=M=Y=0)で出力されることになる。
【0069】
以上説明したように本実施形態によれば、プリスキャンを行うことなく、カラー原稿であるか白黒原稿であるかを判断することによって、例えば白黒原稿であれば黒単色による出力を行う等、最適な画像処理による高速出力が可能となる。
【0070】
<第2実施形態>
以下、本発明に係る第2実施形態について説明する。第2実施形態において、上述した第1実施形態で図1に示したカラー複写機と同様の構成については同一番号を付し、説明を省略する。第2実施形態においては、原稿画像の背景濃度を検出して、これを除去することを特徴とする。
【0071】
図7は、第2実施形態における原稿画像及びその複写出力の一例を示す図である。図7の(a)は、背景部701が所定値以上の濃度を有している原稿画像の例を示す。このような原稿としては例えば、新聞等、特定の背景色を有するものや、また、該原稿が複写出力によって作成されたものであるとすると、記録用紙の表面が経時変化により変色してしまっていた場合や、記録用紙が低品質であるために白色度が低かった場合、が考えられる。
【0072】
このような背景色を有する原稿を複写する場合、予め原稿の背景濃度を検出しておき、読み取られた画像信号を該背景濃度に応じて加工することによって、図7(b)に示すように背景部は白として出力されることが望ましい。そのために第2実施形態では、特徴量抽出部104において以下に示すヒストグラム生成処理を行う。
【0073】
図8は、第2実施形態における特徴量抽出部104の詳細構成を示すブロック図である。像域分離部103から出力されたRGB画像信号は、そのまま105の画像メモリaへ送られると同時に、平均化処理部801へ送られる。平均化処理部801では、入力画像信号の注目画素を含む例えば3×3画素のデータを参照して、R,G,B各々について周知の平均化処理を行う。
【0074】
平均化された画像信号Rs,Gs,Bsは、ヒストグラムメモリ802のアドレスとして利用され、該当するアドレスのヒストグラム値に1を加算する。原稿1ページ分の処理が終了すると、背景濃度検出部803においてヒストグラムメモリ802を参照して背景濃度値を決定する。
【0075】
生成されたヒストグラムの一例を、図9の(a),(b),(c)に示す。それぞれ、R信号、G信号、B信号に対するヒストグラムを表しており、各々横軸が平均化後の画像信号値、縦軸が対応する画像信号値の発生頻度を示している。即ち、横軸が右へ行くほど白に近い画像信号であることを表しており、発生頻度が0でない最も右のレベル値(255に近い値、即ち最高輝度値)が各色の背景濃度値として検出される。
【0076】
このようにして検出された各色の背景濃度値を、それぞれRbkgnd,Gbkgnd,Bbkgndとする。これらは第1実施形態におけるBkFlagと同様に、出力画像処理部116へ送られる。
【0077】
図10は、第2実施形態における出力画像処理部116の詳細構成を示すブロック図である。同図によれば、第1実施形態で図6で示した構成に対して、カラー→モノクロ変換部600に代えて背景濃度除去部900を備えることを特徴とし、ここに背景濃度値Rbkgnd,Gbkgnd,Bbkgndが入力される。
【0078】
背景濃度除去部900においては、次式に基づいて背景濃度除去処理を施すことによって、R’,G’,B’信号を生成する。
【0079】
R’=255×(R/Rbkgnd)
G’=255×(G/Gbkgnd)
B’=255×(B/Bbkgnd) ・・・(4)
それ以降の処理は、第1実施形態における図6と同様であり、即ち、フラグデータに応じた画像処理が選択的に施される。
【0080】
以上のような背景濃度除去処理を、図7(a)のような背景色を有する原稿画像を読み取った画像データに対して行ない、その後に第1実施形態と同様の画像処理を施すことにより、図7(b)のように背景部をにトナー像の形成されない良好な出力が得られる。
【0081】
尚、背景濃度除去部900における背景濃度除去処理は、もちろん上記(4)式に限定されるものではなく、種々の方法を適用することが可能である。例えば、(4)式をそのまま用いると、R,G,B各々の背景濃度値が大きく異なっていた場合には、出力画像の色調が崩れてしまうことが考えられる。そこで、(4)式における分母の数値が全て同じ値となるように補正することによって、以下の(5)式による背景濃度除去処理を行うことも有効である。
【0082】
R’=255×(R/Min(Rbkgnd,Gbkgnd,Bbkgnd)
G’=255×(G/Min(Rbkgnd,Gbkgnd,Bbkgnd)
B’=255×(B/Min(Rbkgnd,Gbkgnd,Bbkgnd)
・・・(5)
尚、(5)式において、Min(X,Y,Z)はX,Y,Zの最小値を示す。
【0083】
以上説明したように第2実施形態によれば、背景色を有する原稿を複写する場合であっても、該背景色を除去した後に最適な画像処理を施した印刷出力が可能となる。
【0084】
<第3実施形態>
以下、本発明に係る第3実施形態について説明する。図11は、第3実施形態におけるカラー複写機の概要構成を示すブロック図であり、同図において上述した第1実施形態で図1に示したカラー複写機と同様の構成については同一番号を付し、説明を省略する。
【0085】
上述した第1及び第2実施形態においては、スキャナ部101から入力された画像データを処理対象としたが、第3実施形態においては、外部通信路119から通信インタフェース118を介して入力される画像データを処理対象とする例について説明する。
【0086】
外部通信路119から送られてくる画像データとしては、所謂PDL(頁記述言語)で記述された画像データ(以下、PDLデータと称する)が代表的である。ここで、PDLデータとは画像を記述するコマンド群であるから、これをスキャナ部101による読み取りによって得られた画像データと同形式のビットマップデータに変換する必要がある。第3実施形態においては、PDLデータをビットマップデータへ変換する際に、1ページを構成するPDLデータのコマンド群が全て無彩色の部品のみで構成されているか、即ち1ぺージ全てが白黒であるかを判別することによって、本発明を適用することが可能となる。
【0087】
即ち、通信インタフェース118から入力されたPDLデータは、まずインタプリタ108において、ディスプレイリストと呼ばれる中間言語形式のデータに変換される。
【0088】
このとき、インタプリタ108は1ページを構成する全てのディスプレイリスト中に、有彩色のオブジェクトが含まれるか否かを判別する。該判別の結果、有彩色のオブジェクトがページ内に含まれる場合は、120に示すようにBkFlag=0を生成し、含まれない場合はBkFlag=1を生成する。インタプリタ108で生成されたBkFlagは出力画像処理部116へ入力される。
【0089】
インタプリタ108で変換されたディスプレイリストは、ラスタイメージプロセッサ(RIP)107に送られてビットマップデータに展開され、画像メモリa105に格納される。
【0090】
このときRIP107は、PDLデータが部品ごとに保持している属性情報(写真/文字/グラフィック等)を参照することによって、展開したビットマップデータの属性情報を画素毎のフラグデータとして生成する。例えば、文字属性を有する部品を生成するPDLコマンドが入力された場合、RIP107は対応する文字データのビットマップ画像を生成すると同時に、当該文字データの領域に対応するフラグデータとして、文字フラグ=1を生成する。RIP107で生成されたフラグデータは、フラグメモリa106に格納される。
【0091】
以上の処理によって、1ぺージ分のビットマップデータ及び属性情報を示すフラグデータがそれぞれ画像メモリa105,フラグメモリa106に格納され、更に原稿判別信号BkFlagが生成されているため、以降は第1実施形態と同様の画像処理を行うことができる。第3実施形態によれば、RIP107において展開画像のフラグデータを生成するため、第1実施形態のように画像データに対して像域分離処理を施す必要がなく、処理が簡略化される。
【0092】
以上説明したように第3実施形態によれば、通信インタフェース118を介して外部から入力された画像データについて、該画像データの特徴(カラー/白黒)に応じた画像処理を高速に施すことが可能となる。
【0093】
尚、上述した第1実施形態と第3実施形態の両方を同時に実現する構成も可能である。このようなカラー複写機の構成を図12に示す。同図によれば即ち、スキャナ部101及び通信インタフェース118のいずれから入力された画像データであっても同様に、原稿に応じた最適な画像処理を施すことができる。
【0094】
尚、上述した第1乃至第3実施形態においては、原稿種別判定信号(BkFlag)あるいは背景濃度検出信号(Rbkgnd,Gbkgnd,Bbkgnd)が出力画像処理部116へ直接入力される構成について説明したが、もちろん不図示のCPU等を介することによって、これらが出力画像処理部116へ間接的に入力されるような構成とすることも可能である。
【0095】
<第4実施形態>
以下、本発明に係る第4実施形態について説明する。第4実施形態におけるカラー複写機の構成は、上述した第3実施形態で図12に示したカラー複写機と同様であるとし、説明を省略する。
【0096】
上述した第1乃至第3実施形態においては、処理後の画像データをプリンタ部117に対して出力する例について説明したが、第4実施形態においては更に、処理後の画像データを外部通信路119を介して外部装置に転送することを可能とする。尚、ここで外部機器(外部通信路119)とは、当該カラー複写機とネットワークによって接続された一般機器、例えば他のコンピュータや画像データベース、あるいはカラープリンタ等である。
【0097】
図12においては、補助記憶装置111から通信インターフェース118を経由して外部通信路119への経路が示されている。即ち第4実施形態においては、補助記憶装置111に記憶された画像データに対して、不図示のCPUが上述した第1乃至第3実施形態と同様に、原稿種別判定信号(BkFlag)や背景濃度検出信号(Rbkgnd,Gbkgnd,Bbkgnd)に基づく画像特徴に応じた画像処理を施した後に、処理後の画像データを外部通信路119へ送出することが可能となる。
【0098】
以下に、第4実施形態における画像処理を具体的に説明するが、これらの処理は不図示のCPUによってソフトウェア的に実行される。尚、補助記憶装置111には、RGB画像データが保持されているものとする。
【0099】
例えば、補助記憶装置111に保持されているRGB画像データに対して、特徴量検出部104と同様の原稿種別判定を行なう。これにより、該画像データが白黒原稿によるものである、即ちBkFlag=1と判定された場合、CPUは補助記憶装置111に記憶されているRGB画像データを読み込み、上記(3)式を実行してR’信号を生成する。そして、このR’信号をモノクロ画像データとして外部通信路119へ送出する。この場合、転送すべきデータはR’信号のみで良く、G’,B’信号は不要となるため、外部通信路119におけるデータ転送の負荷を1/3に減らすことができる。
【0100】
また、補助記憶装置111に保持されているRGB画像データに対して、第2実施形態で説明したような背景濃度除去処理を行うことも勿論可能である。この場合、背景濃度信号(Rbkgnd,Gbkgnd,Bbkgnd)が検出されると、CPUは補助記憶装置111に記憶されているRGB画像データを読み込み、上記(4)または(5)式を実行することによって得られた、背景除去後のR’,G’,B’信号を外部通信路119へ送出する。この場合、背景部に存在していた画像データが除去されるため、例えば該画像データの外部機器への転送に伴って何らかのデータ圧縮処理を施す場合に、圧縮率の向上が望める。尚、背景除去後のR’,G’,B’信号に対して更に原稿種別判定を行って、白黒原稿であれば上記(3)式によりR”信号を作成してこれを転送することも勿論可能である。
【0101】
尚、第4実施形態においては、補助記憶装置111に予め記憶されている画像データを処理対象とする例について説明したが、スキャナ部101または通信インタフェース118を介して入力された画像データを処理対象とすることも勿論可能である。
【0102】
以上説明したように第4実施形態によれば、画像特徴に応じて最適な画像処理を施した画像データを、他装置へ効率良く転送すること可能となる。
【0103】
【他の実施形態】
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
【0104】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0105】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0106】
【発明の効果】
以上説明したように本発明によれば、原稿画像の特徴に応じて、最適な画像処理かつ高速な出力を行うことが可能となる。
【図面の簡単な説明】
【図1】本発明に係る一実施形態におけるカラー複写機の構成を示すブロック図である。
【図2】原稿画像の一例を示す図である。
【図3】像域分離処理を説明するための図である。
【図4】フラグデータを説明するための図である。
【図5】特徴量検出部の詳細構成を示すブロック図である。
【図6】出力画像処理部の詳細構成を示すブロック図である。
【図7】第2実施形態における背景濃度を有する原稿画像及びその複写出力の一例を示す図である。
【図8】第2実施形態における特徴量検出部の詳細構成を示すブロック図である。
【図9】第2実施形態における背景濃度検出処理の一例を説明するための図である。
【図10】第2実施形態における出力画像処理部の詳細構成を示す図である。
【図11】第3実施形態におけるカラー複写機の構成を示すブロック図である。
【図12】第1及び第3実施形態を実現するカラー複写機の構成を示すブロック図である。
【図13】従来のカラー複写機の側断面図である。
【符号の説明】
101 スキャナ部
102 入力画像処理部
103 像域分離部
104 特徴量検出部
105,114 画像メモリ
106,115 フラグメモリ
107 RIP
108 インタプリタ
109 データ圧縮部
110 記憶装置
111 補助記憶装置
112 データ伸長部
113 画素密度変換部
116 出力画像処理部
117 プリンタ部
118 通信インタフェース
119 外部通信路
130 信号処理部

Claims (4)

  1. 原稿画像を構成する各画素のカラー画像データから、該各画素が文字、図形、網点の何れの像域に対応するかを示すフラグデータを生成する生成手段と、
    前記カラー画像データから前記原稿画像がカラーであるか白黒であるか識別する識別手段と、
    前記カラー画像データと前記フラグデータとを互いに異なる圧縮処理を用いて圧縮する圧縮手段と、
    前記圧縮されたカラー画像データおよび前記圧縮されたフラグデータを記憶する記憶手段と、
    前記記憶手段に記憶された前記圧縮されたカラー画像データおよび前記圧縮されたフラグデータを伸長する伸長手段と、
    前記伸長されたカラー画像データの各画素に対して、該伸長されたカラー画像データの各画素に対応する前記伸長されたフラグデータの示す像域の種別と前記識別手段の識別結果とに応じた画像処理を行う画像処理手段と、
    を有し、
    前記識別手段は、前記圧縮手段により圧縮されていないカラー画像データから前記原稿画像がカラーであるか白黒であるか識別し、
    前記画像処理手段は、前記識別結果が前記原稿画像が白黒であることを示す場合、前記伸長されたカラー画像データからモノクロ画像データを生成し該モノクロ画像データに対して前記画像処理を行い、前記識別結果が前記原稿画像がカラーであることを示す場合、前記伸長されたカラー画像データに対して前記画像処理を行う
    ことを特徴とする画像処理装置。
  2. さらに、前記伸長されたカラー画像データおよび前記伸長されたフラグデータに対して解像度変換する解像度変換手段を有することを特徴とする請求項1記載の画像処理装置。
  3. 原稿画像を構成する各画素のカラー画像データから、該各画素が文字、図形、網点の何れの像域に対応するかを示すフラグデータを生成する生成工程と、
    前記カラー画像データから前記原稿画像がカラーであるか白黒であるか識別する識別工程と、
    前記カラー画像データと前記フラグデータとを互いに異なる圧縮処理を用いてを圧縮する圧縮工程と、
    前記圧縮されたカラー画像データおよび前記圧縮されたフラグデータを記憶部に記憶する記憶工程と、
    前記記憶部に記憶された前記圧縮されたカラー画像データおよび前記圧縮されたフラグデータを伸長する伸長工程と、
    前記伸長されたカラー画像データの各画素に対して、該伸長されたカラー画像データの各画素に対応する前記伸長されたフラグデータの示す像域の種別と前記識別工程における識別結果とに応じた画像処理を行う画像処理工程と、
    を有し、
    前記識別工程では、前記圧縮工程により圧縮されていないカラー画像データから前記原稿画像がカラーであるか白黒であるか識別し、
    前記画像処理工程では、前記識別結果が前記原稿画像が白黒であることを示す場合、前記伸長されたカラー画像データからモノクロ画像データを生成し該モノクロ画像データに対して前記画像処理を行い、前記識別結果が前記原稿画像がカラーであることを示す場合、前記伸長されたカラー画像データに対して前記画像処理を行う
    ことを特徴とする画像処理方法。
  4. コンピュータに請求項記載の画像処理方法を実行させるためのプログラムを記録したコンピュータ可読の記憶媒体。
JP2000275477A 2000-09-11 2000-09-11 画像処理装置及びその方法 Expired - Fee Related JP4497684B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000275477A JP4497684B2 (ja) 2000-09-11 2000-09-11 画像処理装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000275477A JP4497684B2 (ja) 2000-09-11 2000-09-11 画像処理装置及びその方法

Publications (3)

Publication Number Publication Date
JP2002094809A JP2002094809A (ja) 2002-03-29
JP2002094809A5 JP2002094809A5 (ja) 2007-11-01
JP4497684B2 true JP4497684B2 (ja) 2010-07-07

Family

ID=18761090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000275477A Expired - Fee Related JP4497684B2 (ja) 2000-09-11 2000-09-11 画像処理装置及びその方法

Country Status (1)

Country Link
JP (1) JP4497684B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003320715A (ja) 2002-04-30 2003-11-11 Canon Inc 情報処理装置、情報処理システム、情報出力制御方法、記憶媒体、及びプログラム
US7551318B2 (en) 2003-10-24 2009-06-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2006123507A (ja) * 2004-09-29 2006-05-18 Seiko Epson Corp 印刷装置
JP4787039B2 (ja) * 2006-03-17 2011-10-05 シャープ株式会社 画像判別装置および画像処理装置
US9013750B2 (en) 2009-06-25 2015-04-21 Canon Kabushiki Kaisha Image processing for processing image data in correspondence with each pixel of an image
US8976411B2 (en) 2009-07-01 2015-03-10 Canon Kabushiki Kaisha Image processing in correspondence with each pixel of an image
US9635218B2 (en) 2009-07-03 2017-04-25 Canon Kabushiki Kaisha Image processing based on a pixel value in image data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02205982A (ja) * 1989-02-06 1990-08-15 Canon Inc カラー画像処理装置
JPH0490258A (ja) * 1990-08-02 1992-03-24 Canon Inc 画像処理装置
JPH06253155A (ja) * 1993-02-24 1994-09-09 Canon Inc 画像送信装置
JPH0927898A (ja) * 1996-08-02 1997-01-28 Canon Inc 画像処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3039675B2 (ja) * 1990-08-03 2000-05-08 キヤノン株式会社 カラー画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02205982A (ja) * 1989-02-06 1990-08-15 Canon Inc カラー画像処理装置
JPH0490258A (ja) * 1990-08-02 1992-03-24 Canon Inc 画像処理装置
JPH06253155A (ja) * 1993-02-24 1994-09-09 Canon Inc 画像送信装置
JPH0927898A (ja) * 1996-08-02 1997-01-28 Canon Inc 画像処理装置

Also Published As

Publication number Publication date
JP2002094809A (ja) 2002-03-29

Similar Documents

Publication Publication Date Title
US7319548B2 (en) Image processing device having functions for detecting specified images
US6977754B2 (en) Image processing apparatus, an image processing method and computer program product for combining page description language image data and bitmap image data
US8270046B2 (en) Image processor and image processing method for extracting removal color and color around removal color in an image prior to image color/monochrome determination
US7916352B2 (en) Image processing apparatus, image processing method, program, and recording medium
US7365873B2 (en) Image processing apparatus, image processing method, and storage medium
JP4280404B2 (ja) 画像処理装置及びその方法
JPH08331398A (ja) 画像処理システム及びコントローラ
JP4497684B2 (ja) 画像処理装置及びその方法
JP4208369B2 (ja) 画像処理装置及び画像処理方法、記憶媒体及び画像処理システム
JP2004350240A (ja) 画像処理装置及び画像処理方法
JP4659789B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2001186356A (ja) 画像圧縮装置及び画像圧縮方法及びコンピュータ読み取り可能な記憶媒体
JP2001309183A (ja) 画像処理装置および方法
JP2004112140A (ja) 画像処理装置
JP4454786B2 (ja) 画像処理装置およびその制御方法
JP4217302B2 (ja) 画像処理装置及び画像処理方法
JP4474001B2 (ja) 画像処理装置および方法
JP3619120B2 (ja) 画像処理装置およびその方法
JP2007019602A (ja) 画像入出力装置
JP2001211318A (ja) 画像処理装置及び画像処理方法、記憶媒体及び画像処理システム
JP2001211336A (ja) 画像処理装置及び画像処理方法、記憶媒体及び画像処理システム
JP4500393B2 (ja) 画像形成システム、情報処理装置、及び、画像処理装置の制御方法
JP2001309180A (ja) 画像処理装置および方法
JP2001309156A (ja) 画像処理装置およびその方法
JP2003037739A (ja) データ転送制御装置、その制御方法、及び制御プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070910

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070910

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090313

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090626

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091224

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100409

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100413

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4497684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees