JP4363817B2 - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP4363817B2 JP4363817B2 JP2002055911A JP2002055911A JP4363817B2 JP 4363817 B2 JP4363817 B2 JP 4363817B2 JP 2002055911 A JP2002055911 A JP 2002055911A JP 2002055911 A JP2002055911 A JP 2002055911A JP 4363817 B2 JP4363817 B2 JP 4363817B2
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- image data
- feature
- data
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、圧縮・伸張処理を含む画像処理装置および画像処理方法に関し、具体的には、画像データを像域分離することによって得た特徴量データに基づいて適応処理を行う画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
近年、コンピュータで処理されたデジタルカラー画像、あるいは、デジタルカラー複写機で読み取られたデジタルカラー画像をデジタル的に処理し、カラー出力するカラープリンタやカラー複写機が普及している。
また、これらの普及に伴い、カラー画像の印字品質や出力の高速化に対する要求も高くなってきている。
【０００３】
しかし、このようなデジタルカラー画像をそのままメモリに取り込むと、大容量のメモリが必要となりコストアップとなるので画像の圧縮を施して画像メモリの縮小化を図っている。
この場合、カラー画像そのものは固定長で非可逆圧縮し、画質面から必要とされる像域分離データは解像度を落として生データのままハードディスクやメモリに保存するようになっている。
【０００４】
例えば、特開平５−３０８５２６号公報の「画像処理装置」では、像域分離データを画像データの固定長・非可逆圧縮の圧縮率に応じて要求される画質に最適な解像度で蓄積するようにしている。
【０００５】
特許第３１３４７５６号公報の「画像処理装置および画像処理方法」では、画像データを蓄積する場合には、画像データと共に像域分離データを４×４のブロックに分割して圧縮して蓄積し、蓄積された画像データを使用する場合には、伸張した画像データに対する像域分離データを得て、これら２種類の像域分離データを用いて、伸張した画像データに対して最適な処理を行うようにしている。
【０００６】
【発明が解決しようとする課題】
しかし、像域分離データの解像度を落としてしまうと、出力した時にジャギーのような文字再現性が極端に悪化するという不具合があるため、特許第３１３４７５６号公報の技術のように、伸張後のデータに対してさらに像域分離を行い、これを改善している。
しかしながら、このように２種類の像域分離を行うため新たに回路が増加し、コストアップとなり、また、像域分離データと画像データの圧縮・非圧縮という二通りの蓄積方法で別個に管理する必要があり、制御やデータフローが非常に複雑なものになってしまっていた。
【０００７】
さらに、像域分離データを保持しないという方法もあるが、伸張後のデータに対して均一な処理となってしまい、文字と写真の混在した原稿などでは画質面での不利は否めなかった。
このため、画像蓄積の際に像域分離データを保存するが、画像データと同様に非可逆な圧縮を行うと、データが圧縮による劣化のために変化してしまう。よって、生データのまま保存していたため、メモリ容量が増加するという問題があった。
【０００８】
本発明は、上述した実情を考慮してなされたものであって、生データに近い形で特徴量データを圧縮して、全体のメモリ容量を少なくしながら、画質面で不可欠な特徴量データを後段の処理で使用することができる画像処理装置および画像処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述の課題を解決するため、本発明の請求項１の画像処理装置は、入力された画像データの特徴量を抽出する特徴量抽出手段と、前記入力された画像データに対して、特徴量に最適化した複数の変換を行い、前記特徴量抽出手段で抽出された特徴量に応じて、前記複数の変換結果から１つの変換結果を選択し、該選択された変換結果に前記抽出された特徴量を混合する特徴量混合手段と、前記特徴量混合手段で特徴量を混合された特徴量混合画像データを非可逆データ圧縮方式で圧縮してデータ蓄積手段に蓄積する圧縮手段と、前記データ蓄積手段に蓄積された圧縮データを読み出して特徴量混合画像データへと伸張する伸張手段と、前記伸張された特徴量混合画像データを画像データと特徴量とに分離する特徴量分離手段と、前記分離された特徴量に基づいて前記分離された画像データに対して画像処理を施す画像処理手段とを備えたことを特徴とする。
また、本発明の請求項２の画像処理装置は、入力された画像データの特徴量を抽出する特徴量抽出手段と、前記入力された画像データに対して色空間の変換処理を施す色変換手段と、前記抽出された特徴量を、前記色変換後の画像データに混合する特徴量混合手段と、前記特徴量混合手段で特徴量を混合された特徴量混合画像データを非可逆データ圧縮方式で圧縮してデータ蓄積手段に蓄積する圧縮手段と、前記データ蓄積手段に蓄積された圧縮データを読み出して特徴量混合画像データへと伸張する伸張手段と、前記伸張された特徴量混合画像データを画像データと特徴量とに分離する特徴量分離手段と、前記分離された特徴量に基づいて前記分離された画像データに対して画像処理を施す画像処理手段とを備えたことを特徴とする。
また、本発明の請求項３の画像処理装置は、入力された画像データの特徴量を抽出する特徴量抽出手段と、前記入力された画像データに対して、特徴量に最適化した複数の変換を行い、前記特徴量抽出手段で抽出された特徴量に応じて、前記複数の変換結果から１つの変換結果を選択し、該選択された変換結果に前記抽出された特徴量を混合する特徴量混合手段と、前記特徴量混合手段で特徴量を混合された特徴量混合画像データを非可逆データ圧縮方式で圧縮してデータ蓄積手段に蓄積する圧縮手段と、前記データ蓄積手段に蓄積された圧縮データを読み出して特徴量混合画像データへと伸張する伸張手段と、前記伸張された特徴量混合画像データを画像データと特徴量とに分離し、分離された画像データに対して、特徴量に最適化した複数の逆変換を行い、前記分離された特徴量に応じて、前記複数の逆変換結果から１つの逆変換結果を選択し、該選択された逆変換結果を出力する特徴量分離手段と、前記分離された特徴量に基づいて前記分離された画像データに対して画像処理を施す画像処理手段とを備えたことを特徴とする。
また、本発明の請求項４の画像処理装置は、入力された画像データの特徴量を抽出する特徴量抽出手段と、データの圧縮率に応じて、混合する特徴量の割合を変化させて、前記抽出された特徴量を前記入力された画像データに混合する特徴量混合手段と、前記特徴量混合手段で特徴量を混合された特徴量混合画像データを非可逆データ圧縮方式で圧縮してデータ蓄積手段に蓄積する圧縮手段と、前記データ蓄積手段に蓄積された圧縮データを読み出して特徴量混合画像データへと伸張する伸張手段と、前記伸張された特徴量混合画像データを画像データと特徴量とに分離する特徴量分離手段と、前記分離された特徴量に基づいて前記分離された画像データに対して画像処理を施す画像処理手段とを備えたことを特徴とする。
【００１０】
また、本発明の請求項５は、請求項１乃至４のいずれか１に記載の画像処理装置において、前記特徴量抽出手段は、前記入力された画像データに対して、網点領域または非網点領域、エッジ領域または非エッジ領域、有彩領域または無彩領域、白地領域または非白地領域、これらを総合して判定される文字領域または写真領域のいずれかまたはそれらの組合せであるかを識別する像域分離手段であり、前記入力された画像データから抽出される特徴量は、この像域分離手段で識別された識別結果であることを特徴とする。
【００１１】
また、本発明の請求項６は、請求項５に記載の画像処理装置において、前記特徴量混合手段は、前記像域分離手段で識別された領域が、文字領域、網点領域、またはエッジ領域であるとき、１を最上位ビットに混合することを特徴とする。
【００１２】
また、本発明の請求項７は、請求項１乃至６のいずれか１に記載の画像処理装置において、前記特徴量に最適化した圧縮手段を複数備え、前記特徴量抽出手段によって抽出された特徴量に基づき、これら圧縮手段で圧縮された結果を選択するようにしたことを特徴とする。
【００１３】
また、本発明の請求項８は、請求項７に記載の画像処理装置において、前記特徴量に最適化した圧縮手段に対応する伸張手段を複数備え、これら伸張手段で伸張した結果の特徴量に基づき伸張結果を選択するようにしたことを特徴とする。
【００１４】
また、本発明の請求項９の画像処理方法は、入力された画像データの特徴量を抽出する特徴量抽出ステップと、前記入力された画像データに対して、特徴量に最適化した複数の変換を行い、前記特徴量抽出ステップで抽出された特徴量に応じて、前記複数の変換結果から１つの変換結果を選択し、該選択された変換結果に前記抽出された特徴量を混合する特徴量混合ステップと、前記特徴量混合ステップで特徴量を混合された特徴量混合画像データを非可逆データ圧縮方式で圧縮してデータ蓄積手段に蓄積する圧縮ステップと、前記データ蓄積手段に蓄積された圧縮データを読み出して特徴量混合画像データへと伸張する伸張ステップと、前記伸張された特徴量混合画像データを画像データと特徴量とに分離する特徴量分離ステップと、前記分離された特徴量に基づいて前記分離された画像データに対して画像処理を施す画像処理ステップとを備えたことを特徴とする。
また、本発明の請求項１０の画像処理方法は、入力された画像データの特徴量を抽出する特徴量抽出ステップと、前記入力された画像データに対して色空間の変換処理を施す色変換ステップと、前記抽出された特徴量を、前記色変換後の画像データに混合する特徴量混合ステップと、前記特徴量混合ステップで特徴量を混合された特徴量混合画像データを非可逆データ圧縮方式で圧縮してデータ蓄積手段に蓄積する圧縮ステップと、前記データ蓄積手段に蓄積された圧縮データを読み出して特徴量混合画像データへと伸張する伸張ステップと、前記伸張された特徴量混合画像データを画像データと特徴量とに分離する特徴量分離ステップと、前記分離された特徴量に基づいて前記分離された画像データに対して画像処理を施す画像処理ステップとを備えたことを特徴とする。
また、本発明の請求項１１の画像処理方法は、入力された画像データの特徴量を抽出する特徴量抽出ステップと、前記入力された画像データに対して、特徴量に最適化した複数の変換を行い、前記特徴量抽出ステップで抽出された特徴量に応じて、前記複数の変換結果から１つの変換結果を選択し、該選択された変換結果に前記抽出された特徴量を混合する特徴量混合ステップと、前記特徴量混合ステップで特徴量を混合された特徴量混合画像データを非可逆データ圧縮方式で圧縮してデータ蓄積手段に蓄積する圧縮ステップと、前記データ蓄積手段に蓄積された圧縮データを読み出して特徴量混合画像データへと伸張する伸張ステップと、前記伸張された特徴量混合画像データを画像データと特徴量とに分離し、分離された画像データに対して、特徴量に最適化した複数の逆変換を行い、前記分離された特徴量に応じて、前記複数の逆変換結果から１つの逆変換結果を選択し、該選択された逆変換結果を出力する特徴量分離ステップと、前記分離された特徴量に基づいて前記分離された画像データに対して画像処理を施す画像処理ステップとを備えたことを特徴とする。
また、本発明の請求項１２の画像処理方法は、入力された画像データの特徴量を抽出する特徴量抽出ステップと、データの圧縮率に応じて、混合する特徴量の割合を変化させて、前記抽出された特徴量を前記入力された画像データに混合する特徴量混合ステップと、前記特徴量混合ステップで特徴量を混合された特徴量混合画像データを非可逆データ圧縮方式で圧縮してデータ蓄積手段に蓄積する圧縮ステップと、前記データ蓄積手段に蓄積された圧縮データを読み出して特徴量混合画像データへと伸張する伸張ステップと、前記伸張された特徴量混合画像データを画像データと特徴量とに分離する特徴量分離ステップと、前記分離された特徴量に基づいて前記分離された画像データに対して画像処理を施す画像処理ステップとを備えたことを特徴とする。
【００１５】
以上のような構成により、画像データの特徴量データをその画像データと混合してブロックごとに非可逆圧縮することにより生データに近い形で特徴量データを圧縮することが可能となり、全体のメモリ容量を少なくしながら、画質面で不可欠な特徴量データを後段の処理で使用することができる。
【００１６】
【発明の実施の形態】
以下、図面を参照しながら本発明の画像処理装置の一実施形態を説明する。
図１は、本発明の画像処理装置をフルカラーデジタル複写機に適用した場合の構成例である。以下では、入力画像データをＲＧＢ ６００ｄｐｉ ８ビットとして説明するが、これに限るものではない。
【００１７】
スキャナのような画像入力装置から入力された入力画像信号は、スキャナγ補正回路１で反射率リニアなＲＧＢ画像信号を濃度リニアなＲＧＢ画像信号に変換される。また、入力された入力画像信号は並行して、像域分離回路２で画像の特徴量が抽出される（例えば、特開２００１−２６８３８３号公報参照）。
この抽出された特徴量を判定して、次のような信号としてフィルタ３へ出力され、以降、それぞれの分離データに基づいて適応的に画像処理を切り替えるために用いられる。
【００１８】
網点領域か非網点領域かを判定する網点分離信号、
エッジか非エッジかを判定するエッジ分離信号、
有彩か無彩かを判定する色判定信号、
白地領域か非白地領域かを判定する白背景分離信号、
文字領域か写真領域かを判定する文字／写真分離信号。
（前４者を総合的に判定して文字領域と写真領域を分離する。）
【００１９】
ここで、文字／写真分離信号、網点分離信号、エッジ分離信号は、それぞれ文字領域、網点領域、エッジ部であると判定されたとき、１となるようにした方が良い。これは、一般に圧縮のアルゴリズムが文字領域の高域成分の劣化を防ぐため、エッジ部・非エッジ部において処理を切り替えているためである。このため、エッジ成分と大きな相関を持つこれら三つの特徴量は、１にした方が圧縮時にエッジに適した圧縮が行われるため画質的に有利となる。
【００２０】
フィルタ３は、平滑化処理とエッジ強調処理を行う。
網点分離信号が網点領域を示す場合には、強い平滑化処理および弱いエッジ強調処理を行う。一方、非網点領域を示した場合には、弱い平滑化処理および弱いエッジ強調処理を行う。
また、文字・写真分離信号が文字領域を示す場合には、文字のエッジを保存するために、平滑化処理をほとんど行わず、強いエッジ強調処理を行う。
このような適応的な処理を行うことによって、写真領域は滑らかに、文字領域はくっきりと読みやすくすることができる。
【００２１】
次に、色補正回路４は、フィルタ３から入力された画像信号と各種像域分離信号によって、濃度リニアなＲＧＢ画像信号をそれぞれの補色であるＣＭＹ画像信号に変換し、変換後のデータに対して下色除去や墨生成を行って、最終的にＣＭＹＫの４色のデータとなる。
この際にも、各種像域分離された画像データが用いられ、これらの判定結果をそのまま、或いは組み合わせて適応的に処理を行う。例えば、黒文字に対して適応的に処理を行うためには、白背景分離で白地判定かつ色判定で無彩色、且つ、エッジ分離でエッジとなる領域とそれ以外の領域とに区別するとよい。
【００２２】
次に、特徴量混合回路５（図２参照）は、色補正回路４でＣＭＹＫのデータに変換された画像データへ、いずれか一つの像域分離信号を織り込む。なお、図２において、ＣＭＹＫの４色の画像データうち一つの色成分に対する単一の回路のみを示してある。したがって、ＣＭＹＫ各色に適用する場合には４つの同様な回路が必要となる。
特徴量混合回路５は、各画像データに対して、８ビットの画像データを右シフトレジスタ１１で１ビット右シフトすることにより最下位ビット（ＬＳＢ）を削られた７ビットの画像データに、特徴量選択レジスタ１３に設定された情報に基づいてセレクタ１２で選択された特徴量データ（１ビット）を最上位ビット（ＭＳＢ）に設定して、８ビットの画像データとして再構築する。
ＭＳＢに画質的に重要度が高い特徴量データを挿入することによって、後段での固定長非可逆圧縮による特徴量データの致命的なデータ化けを防ぐことが可能となる。
【００２３】
また、図３は、特徴量混合回路５の他の構成例である。
この特徴量混合回路５では、８ビットの画像データを７ビットのデータへ特徴量に最適化した変換を行う複数の変換方法を実施する複数のビット数変換回路（ビット数変換回路Ａ１４とビット数変換回路Ｂ１５等）を用意する。
この構成の特徴量混合回路５は、特徴量選択レジスタ１３に設定された情報に基づいてセレクタ１２で選択された特徴量データ（１ビット）によって、ビット数変換の方法をセレクタ１６により適応的に選択して、７ビットの画像データを生成し、その７ビットの画像データに特徴量データを合成する。
【００２４】
尚、上記では、一つの特徴量データをセレクタ１２で選択して混合したが、圧縮率に応じて特徴量を混ぜる割合を変化させても良い。一般的には、圧縮率が低くなる（データサイズ大）場合には複数の特徴量を、圧縮率が高い場合には一つの特徴量を混ぜた方が良い結果が得られる。
【００２５】
以上のようにして特徴量混合回路５で特徴量が混合された８ビットの画像データを圧縮・伸張回路６でブロック単位に固定長の非可逆データ圧縮処理を行う（例えば、特開２００１−２８５６４６号公報参照）。この圧縮・伸張回路６は、ＣＭＹＫの４色の画像データを同時に処理するため、同じ構成の回路を４つ用意することになる。
例えば、圧縮率を５０％とした場合、８ビットの画像データは４ビットに変換されが、特徴量がＭＳＢに置かれているため、通常の非可逆圧縮では劣化はほとんど発生しない。
固定長で圧縮すると、個々の圧縮データが等しいデータ量になるため、データの取り扱いが容易となるので、データの回転などの操作をブロックごとに行うことができる。
【００２６】
圧縮・伸張回路６で圧縮されたＣＭＹＫの画像データは、一旦、データ蓄積装置７へ蓄積される。このデータ蓄積装置７は、汎用メモリやハードディスク（ＨＤＤ）のような大容量のデバイス等、様々なものを使用することができる。
データ蓄積装置７に蓄積されたＣＭＹＫの圧縮画像データは、出力エンジンの現像タイミングに合わせて所定のタイミングで読み出され、再び圧縮・伸張回路７へと転送される。また、出力エンジンがタンデム構成の場合には、ＣＭＹＫ各色に対応する現像ユニット間隔分のディレイを考慮して読み出す必要がある。
【００２７】
圧縮・伸張回路６に送られてきた圧縮画像データは、圧縮時のアルゴリズムに対応する伸張アルゴリズムに基づいて、特徴量の混合された８ビットの画像データへと伸張される（例えば、特開２００１−２８５６４６号公報参照）。
特徴量分離回路８は、伸張された８ビットの混合画像データを、特徴量混合回路５で混合された特徴量と画像データに分離する。
【００２８】
図４は、特徴量分離回路８の一例を示したもので、入力された特徴量混合データ８ビットのうち、ＭＳＢ１ビットを特徴量として抽出し、これを除いた下位７ビットを左シフトレジスタ１９で１ビット左シフトすることによって８ビットの画像データとして抽出する。この特徴量分離回路８は、ＣＭＹＫの４色の画像データを同時に処理するため、同じ構成の回路を４つ用意することになる。
【００２９】
また、図３の特徴量混合回路５を用いた場合には、一色を処理する特徴量分離回路８の構成は、図５に示すようになる。
この特徴量分離回路８では、８ビットの特徴量混合画像データの下位７ビットを８ビットに逆変換する複数の方法を実施する複数のビット数逆変換回路（ビット数逆変換回路Ａ２０とビット数逆変換回路Ｂ２１等）を用意する。このビット数逆変換回路は、図３におけるビット数変換方法に対応したものとする。
【００３０】
この特徴量分離回路８の構成は、まず、８ビットの特徴量混合画像データのＭＳＢ１ビットを特徴量データ（１ビット）として分離し、この特徴量データに基づいていずれかのビット数逆変換の方法をセレクタ２２により適応的に選択して、特徴量混合画像データから８ビットの画像データを分離する。これにより、混合された特徴量に最適化したビット数逆変換を行うことができる。
【００３１】
尚、上記では、一つの特徴量データを抽出したが、前述した圧縮率に応じて特徴量を混ぜる割合を変化させる場合には複数個の特徴量データを抽出する。
【００３２】
次に、特徴量分離回路８で分離された特徴量データ１ビットと画像データ８ビットは、プリンタγ補正回路９へと送られ、画像データを特徴量データに応じて適応的にプリンタγの補正を行う。
最後に、中間調処理回路１０は、補正された画像データを特徴量データに応じて最適な中間調処理を施し、出力エンジンへ転送する。
【００３３】
図６は、タンデムエンジンでの構成例を示したもので、伸張後のデータをＣＭＹＫの４色を並列に処理する回路構成になっている。図６の各回路は、上述した回路と同様に動作する。
【００３４】
圧縮・伸張回路６の他の構成例について説明する。
図７は、圧縮・伸張回路６の圧縮部分の回路構成である。
まず、８ビットデータを特徴量に最適化した圧縮方法を実施する複数の圧縮回路（圧縮回路Ａ２３、圧縮回路Ｂ２４等）を用意する。
この圧縮部分の回路は、混合されたデータを複数の圧縮回路で圧縮された圧縮データを、混合された特徴量に基づいてセレクタ２５で選択することにより、適応的に最適な圧縮方法を切り替える。
例えば、特徴量が文字領域を示す文字・写真分離信号である場合、文字のエッジ情報をできる限り失わないようにチューニングされた圧縮回路を用い、写真領域を示す信号である場合には、階調の滑らかさを重視したチューニングのなされた圧縮回路を用いると良い。
【００３５】
図８は、圧縮部分に図７のような圧縮回路を使う場合の圧縮・伸張回路６の伸張部分の回路構成である。
まず、上記の圧縮方法に対応した伸張方法による伸張回路（伸張回路Ａ２６、伸張回路Ｂ２７等）を用意する。
この伸張部分の回路は、圧縮された特徴量混合画像データをそれぞれの伸張回路に入力し、それぞれデータ伸張後、伸張された特徴量混合画像データの特徴量データに基づいてセレクタ２８で伸張された特徴量混合画像データを選択する。
このデータに基づき、図４または図５に示した特徴量分離回路８によって最終的に特徴量と画像データを抽出し、プリンタγ補正回路９および中間画像処理回路１０を経て出力エンジンへ転送される。
このように、伸張回路も混合された特徴量によって適応的に選択して使うと画質的に良い結果が得られる。
【００３６】
また、図９は、伸張部分の他の回路構成例である。この場合には、伸張回路（上記の図８と同様）でそれぞれデータ伸張後、図４または図５で示した特徴量分離回路（２９および３０）で特徴量データと画像データを抽出し、この抽出された特徴量データ（１ビット）に基づいてセレクタ３１で最終的に画像データを選択する。
この伸張回路の構成の場合には、図１や図６の実施形態における特徴量分離回路８は省略できる。
【００３７】
【発明の効果】
以上説明したように本発明によれば、画像データの特徴量データをその画像データと混合してブロックごとに非可逆圧縮することにより生データに近い形で特徴量データを圧縮することが可能となり、全体のメモリ容量を少なくしながら、画質面で不可欠な特徴量データを後段の処理で使用することができる。
【図面の簡単な説明】
【図１】 本発明の画像処理装置をフルカラーデジタル複写機に適用した場合の構成例である。
【図２】 特徴量混合回路の構成例である。
【図３】 他の特徴量混合回路の構成例である。
【図４】 特徴量分離回路の構成例である。
【図５】 他の特徴量分離回路の構成例である。
【図６】 本発明の画像処理装置をタンデムエンジンとして構成した例である。
【図７】 他の圧縮回路の構成例である。
【図８】 図７の圧縮回路に対応する伸張回路の構成例である。
【図９】 伸張回路と特徴量分離回路の他の構成例である。
【符号の説明】
１…スキャナγ補正回路、２…像域分離回路、３…フィルタ、４…色補正回路、５…特徴量混合回路、６…圧縮・伸張回路、７…データ蓄積装置、８…特徴量分離回路、９…プリンタγ補正回路、１０…中間調処理回路、１１…右シフトレジスタ、１２…セレクタ、１３…特徴量選択レジスタ、１４…ビット数変換回路Ａ、１５…ビット数変換回路Ｂ、１６…セレクタ、１９…左シフトレジスタ、２０…ビット数逆変換回路Ａ、２１…ビット数逆変換回路Ｂ、２２…セレクタ、２３…圧縮回路Ａ、２４…圧縮回路Ｂ、２５…セレクタ、２６…伸張回路Ａ、２７…伸張回路Ｂ、２８…セレクタ、２９，３０…特徴量分離回路、３１…セレクタ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method including compression / decompression processing, and more specifically, an image processing apparatus and an image processing apparatus that perform adaptive processing based on feature amount data obtained by performing image area separation on image data. It relates to the processing method.
[0002]
[Prior art]
In recent years, color printers and color copiers that digitally process a digital color image processed by a computer or digitally read a digital color image read by a digital color copier and output a color are widely used.
In addition, with these popularizations, there are increasing demands for color image printing quality and higher output speed.
[0003]
However, if such a digital color image is directly taken into the memory, a large-capacity memory is required and the cost is increased. Therefore, the image is compressed to reduce the image memory.
In this case, the color image itself is irreversibly compressed with a fixed length, and image area separation data required from the viewpoint of image quality is stored in a hard disk or memory as raw data with a reduced resolution.
[0004]
For example, in the “image processing apparatus” disclosed in Japanese Patent Laid-Open No. 5-308526, image area separation data is stored at an optimal resolution for the required image quality according to the fixed length / lossy compression ratio of the image data. ing.
[0005]
In the “image processing apparatus and image processing method” disclosed in Japanese Patent No. 3134756, when image data is stored, the image area separation data is divided into 4 × 4 blocks and stored together with the image data. When using the image data thus obtained, image area separation data for the decompressed image data is obtained, and optimum processing is performed on the decompressed image data using these two types of image area separation data. ing.
[0006]
[Problems to be solved by the invention]
However, if the resolution of the image area separation data is lowered, there is a problem that the character reproducibility such as jaggies is extremely deteriorated when the image is output. Therefore, as in the technique of Japanese Patent No. 3134756, the data after decompression This is further improved by performing image area separation.
However, since the two types of image area separation are performed in this way, the number of circuits is newly increased and the cost is increased, and the image area separation data and the compression / non-compression of the image data are separately managed by two storage methods. It was necessary, and the control and data flow became very complicated.
[0007]
Further, although there is a method of not retaining the image area separation data, the processing after the expansion is uniform, and a disadvantage in terms of image quality cannot be denied for a manuscript in which characters and photos are mixed.
For this reason, the image area separation data is stored at the time of image accumulation. However, when irreversible compression is performed as in the case of image data, the data changes due to deterioration due to compression. Therefore, since the raw data is stored, there is a problem that the memory capacity increases.
[0008]
The present invention has been made in consideration of the above-described circumstances, and compresses feature data in a form close to raw data, thereby reducing the total memory capacity and reducing essential feature data in terms of image quality. An object of the present invention is to provide an image processing apparatus and an image processing method that can be used in subsequent processing.
[0009]
[Means for Solving the Problems]
In order to solve the above-described problems, an image processing apparatus according to claim 1 of the present invention includes a feature amount extracting unit that extracts a feature amount of input image data, and a feature amount for the input image data. A plurality of optimized conversions are performed, one conversion result is selected from the plurality of conversion results according to the feature amount extracted by the feature amount extraction means, and the extracted feature is selected as the selected conversion result. Feature quantity mixing means for mixing quantities; compression means for compressing feature quantity mixed image data mixed with feature quantities by the feature quantity mixing means in an irreversible data compression method; A decompression unit that reads compressed data stored in the unit and decompresses the compressed data into feature amount mixed image data; a feature amount separation unit that separates the decompressed feature amount mixed image data into image data and feature amount; and the separation Is Characterized by comprising an image processing means for performing image processing on the separated image data based on the feature quantity.
According to a second aspect of the present invention, there is provided an image processing device for extracting feature amounts of input image data, and color conversion means for performing color space conversion processing on the input image data. A feature amount mixing unit that mixes the extracted feature amount with the image data after the color conversion, and the feature amount mixed image data obtained by mixing the feature amount by the feature amount mixing unit using an irreversible data compression method. Compression means for compressing and storing the data in the data storage means, decompression means for reading the compressed data stored in the data storage means and decompressing it to the feature amount mixed image data, and the decompressed feature amount mixed image data as an image The image processing apparatus includes a feature amount separation unit that separates data and feature amounts, and an image processing unit that performs image processing on the separated image data based on the separated feature amounts.
According to a third aspect of the present invention, there is provided an image processing device for extracting a feature amount of input image data, and a plurality of conversions optimized for the feature amount for the input image data. And selecting one conversion result from the plurality of conversion results according to the feature amount extracted by the feature amount extraction unit, and mixing the extracted feature amount into the selected conversion result Mixing means; compression means for compressing feature quantity mixed image data mixed with feature quantities by the feature quantity mixing means by an irreversible data compression method and storing the compressed data in the data storage means; and compression stored in the data storage means Decompressing means for reading data and expanding it to feature amount mixed image data, and separating the decompressed feature amount mixed image data into image data and feature amount, and optimal for the feature amount for the separated image data Doubled A feature amount separation means for performing an inverse transformation of the image, selecting one inverse transformation result from the plurality of inverse transformation results according to the separated feature amount, and outputting the selected inverse transformation result; and the separation And image processing means for performing image processing on the separated image data based on the feature amount.
According to a fourth aspect of the present invention, there is provided an image processing apparatus according to a fourth aspect of the present invention, wherein the feature amount extracting means for extracting the feature amount of the input image data and the ratio of the feature amount to be mixed are changed according to the data compression rate, A feature amount mixing unit that mixes the extracted feature amount with the input image data, and a feature amount mixed image data obtained by mixing the feature amount by the feature amount mixing unit is compressed by an irreversible data compression method. Compression means for accumulating in the accumulating means; decompression means for reading out the compressed data accumulated in the data accumulating means and decompressing the compressed data into feature quantity mixed image data; and image data and feature quantities for the decompressed feature quantity mixed image data And a feature amount separating means for separating the image data, and an image processing means for performing image processing on the separated image data based on the separated feature amount.
[0010]
According to a fifth aspect of the present invention, in the image processing apparatus according to any one of the first to fourth aspects, the feature amount extraction unit performs a halftone dot region or a non-halftone region on the input image data. Identify point area, edge area or non-edge area, chromatic area or achromatic area, white area or non-white area area, character area or photo area determined by combining them, or a combination of them An image area separating unit, wherein the feature amount extracted from the input image data is an identification result identified by the image area separating unit.
[0011]
According to a sixth aspect of the present invention, in the image processing apparatus according to the fifth aspect, the feature amount mixing unit is configured such that the region identified by the image region separation unit is a character region, a dot region, or an edge region. In this case, 1 is mixed with the most significant bit .
[0012]
According to a seventh aspect of the present invention, in the image processing apparatus according to any one of the first to sixth aspects, the image processing apparatus includes a plurality of compression units optimized for the feature amount, and is extracted by the feature amount extraction unit. Based on the quantity, the result compressed by these compression means is selected.
[0013]
According to an eighth aspect of the present invention, in the image processing apparatus according to the seventh aspect, a plurality of decompression units corresponding to the compression unit optimized for the feature amount are provided, and the feature amount obtained as a result of decompression by the decompression unit is provided. Based on this, the extension result is selected .
[0014]
The image processing method according to claim 9 of the present invention includes a feature amount extraction step for extracting feature amounts of input image data, and a plurality of conversions optimized for the feature amounts for the input image data. And selecting one conversion result from the plurality of conversion results according to the feature amount extracted in the feature amount extraction step, and mixing the extracted feature amount into the selected conversion result A mixing step, a compression step of compressing the feature amount mixed image data mixed with the feature amount in the feature amount mixing step by an irreversible data compression method and storing the compressed data in the data storage unit, and a compression stored in the data storage unit A decompression step of reading data and decompressing it to feature amount mixed image data; a feature amount separation step of separating the decompressed feature amount mixed image data into image data and feature amount; and Characterized by comprising an image processing step for performing image processing on the isolated feature amount to the separated image data on the basis of.
The image processing method according to
An image processing method according to an eleventh aspect of the present invention includes a feature amount extraction step for extracting a feature amount of input image data, and a plurality of conversions optimized for the feature amount with respect to the input image data. And selecting one conversion result from the plurality of conversion results according to the feature amount extracted in the feature amount extraction step, and mixing the extracted feature amount into the selected conversion result A mixing step, a compression step of compressing the feature amount mixed image data mixed with the feature amount in the feature amount mixing step by an irreversible data compression method and storing the compressed data in the data storage unit, and a compression stored in the data storage unit A decompression step of reading out the data and decompressing it to the feature amount mixed image data; and separating the decompressed feature amount mixed image data into image data and feature amounts; A plurality of inverse transformations optimized for the feature quantity, select one inverse transformation result from the plurality of inverse transformation results according to the separated feature quantity, and output the selected inverse transformation result A feature amount separating step, and an image processing step for performing image processing on the separated image data based on the separated feature amount.
According to the image processing method of
[0015]
With the configuration as described above, it is possible to compress feature data in a form close to raw data by irreversibly compressing the feature data of the image data with the image data and for each block. It is possible to use feature amount data indispensable in terms of image quality in subsequent processing while reducing the capacity.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of an image processing apparatus of the present invention will be described with reference to the drawings.
FIG. 1 shows a configuration example when the image processing apparatus of the present invention is applied to a full-color digital copying machine. In the following description, the input image data is described as RGB 600 dpi 8 bits, but the present invention is not limited to this.
[0017]
An input image signal input from an image input device such as a scanner is converted by a scanner γ correction circuit 1 into a linear RGB image signal having a linear reflectance. Further, in parallel with the input image signal that has been input, the image feature amount is extracted by the image area separation circuit 2 (see, for example, JP-A-2001-268383).
This extracted feature amount is determined and output to the filter 3 as the following signal, and thereafter used for adaptively switching image processing based on the respective separated data.
[0018]
A halftone dot separation signal that determines whether a halftone dot area or a non-halftone dot area;
Edge separation signal to determine whether edge or non-edge,
A color determination signal for determining whether chromatic or achromatic,
A white background separation signal that determines whether the area is white or non-white
A character / photo separation signal for determining whether a character area or a photo area
(The former four are comprehensively determined to separate the character area and the photo area.)
[0019]
Here, the character / photo separation signal, the halftone dot separation signal, and the edge separation signal are preferably set to 1 when it is determined that the character region, the halftone dot region, and the edge portion, respectively. This is because the compression algorithm generally switches processing in the edge portion and the non-edge portion in order to prevent deterioration of the high frequency component of the character region. For this reason, if these three feature quantities having a large correlation with the edge component are set to 1, compression suitable for the edge is performed at the time of compression, which is advantageous in terms of image quality.
[0020]
The filter 3 performs smoothing processing and edge enhancement processing.
When the halftone dot separation signal indicates a halftone dot region, strong smoothing processing and weak edge enhancement processing are performed. On the other hand, when a non-halftone area is indicated, weak smoothing processing and weak edge enhancement processing are performed.
In addition, when the character / photo separation signal indicates a character region, a strong edge enhancement process is performed without performing smoothing processing in order to preserve the edge of the character.
By performing such adaptive processing, it is possible to make the photograph area smooth and the character area clear and easy to read.
[0021]
Next, the color correction circuit 4 converts the density linear RGB image signal into a CMY image signal that is a complementary color by the image signal input from the filter 3 and various image area separation signals, and the converted data Then, under color removal and black generation are performed, and finally the data of four colors of CMYK is obtained.
Also in this case, image data separated into various image areas is used, and these determination results are adaptively processed as they are or in combination. For example, in order to adaptively process black characters, it is preferable to distinguish between a white background determination in white background separation and an achromatic color in color determination, and an edge region in edge separation and other regions.
[0022]
Next, the feature amount mixing circuit 5 (see FIG. 2) weaves any one image area separation signal into the image data converted into CMYK data by the color correction circuit 4. In FIG. 2, only a single circuit for one color component of the CMYK four-color image data is shown. Therefore, four similar circuits are required when applied to each color of CMYK.
The feature amount mixing circuit 5 converts the 8-bit image data into 7-bit image data in which the least significant bit (LSB) is removed by shifting the 8-bit image data to the right by the right shift register 11 for each image data. The feature amount data (1 bit) selected by the
By inserting feature quantity data having a high importance in terms of image quality into the MSB, it becomes possible to prevent fatal data corruption of feature quantity data due to fixed-length irreversible compression at a later stage.
[0023]
FIG. 3 shows another configuration example of the feature amount mixing circuit 5.
In the feature amount mixing circuit 5, a plurality of bit number conversion circuits (a bit number conversion circuit A14 and a bit number) for performing a plurality of conversion methods for performing conversion optimized for feature amounts from 8-bit image data to 7-bit data. A conversion circuit B15).
The feature quantity mixing circuit 5 having this configuration adaptively selects the bit number conversion method by the
[0024]
In the above description, one feature value data is selected by the
[0025]
The compression / decompression circuit 6 performs fixed-length irreversible data compression processing for each block on the 8-bit image data mixed with the feature values by the feature value mixing circuit 5 as described above (for example, Japanese Patent Laid-Open No. 2001-285646). No. publication). The compression / decompression circuit 6 prepares four circuits having the same configuration in order to simultaneously process CMYK four-color image data.
For example, when the compression rate is set to 50%, 8-bit image data is converted to 4 bits, but the feature amount is placed in the MSB, so that the ordinary lossy compression hardly causes deterioration.
When compression is performed at a fixed length, each piece of compressed data has the same amount of data, so that the data can be handled easily, and operations such as data rotation can be performed for each block.
[0026]
The CMYK image data compressed by the compression / expansion circuit 6 is temporarily stored in the data storage device 7. The data storage device 7 can use various devices such as a general-purpose memory and a large-capacity device such as a hard disk (HDD).
The compressed image data of CMYK stored in the data storage device 7 is read at a predetermined timing in accordance with the development timing of the output engine, and transferred to the compression / decompression circuit 7 again. When the output engine has a tandem configuration, it is necessary to read in consideration of a delay corresponding to the development unit interval corresponding to each color of CMYK.
[0027]
The compressed image data sent to the compression / decompression circuit 6 is decompressed into 8-bit image data with mixed feature amounts based on a decompression algorithm corresponding to the algorithm at the time of compression (for example, JP-A-2001-2001). No. -285646).
The feature amount separation circuit 8 separates the expanded 8-bit mixed image data into the feature amount and the image data mixed by the feature amount mixing circuit 5.
[0028]
FIG. 4 shows an example of the feature quantity separation circuit 8. The MSB 1 bit is extracted from the inputted feature quantity mixed data 8 bits as a feature quantity, and the lower 7 bits excluding this are extracted to the
[0029]
When the feature quantity mixing circuit 5 of FIG. 3 is used, the configuration of the feature quantity separation circuit 8 for processing one color is as shown in FIG.
In the feature amount separation circuit 8, a plurality of bit number inverse conversion circuits (a bit number inverse conversion circuit A20 and a bit number) for performing a plurality of methods for inversely transforming the lower 7 bits of 8-bit feature amount mixed image data into 8 bits. An inverse conversion circuit B21) is prepared. This bit number inverse conversion circuit corresponds to the bit number conversion method in FIG.
[0030]
The configuration of the feature amount separation circuit 8 first separates the MSB 1 bit of 8-bit feature amount mixed image data as feature amount data (1 bit), and performs any number of bit inverse transform based on the feature amount data. A method is adaptively selected by the selector 22 to separate 8-bit image data from the feature amount mixed image data. As a result, the bit number inverse transform optimized for the mixed feature amount can be performed.
[0031]
In the above description, one piece of feature amount data is extracted. However, a plurality of pieces of feature amount data are extracted when the ratio of mixing feature amounts is changed according to the above-described compression rate.
[0032]
Next, 1 bit of feature data and 8 bits of image data separated by the feature separation circuit 8 are sent to the printer γ correction circuit 9, and the image data is adaptively corrected by the printer γ according to the feature data. I do.
Finally, the
[0033]
FIG. 6 shows a configuration example of the tandem engine, which has a circuit configuration for processing the decompressed data in four colors of CMYK in parallel. Each circuit in FIG. 6 operates in the same manner as the circuit described above.
[0034]
Another configuration example of the compression / decompression circuit 6 will be described.
FIG. 7 shows the circuit configuration of the compression part of the compression / decompression circuit 6.
First, a plurality of compression circuits (compression circuit A23, compression circuit B24, etc.) that implement a compression method in which 8-bit data is optimized for feature quantities are prepared.
The compression part circuit adaptively switches the optimum compression method by selecting the compressed data obtained by compressing the mixed data by a plurality of compression circuits by the
For example, if the feature value is a character / photo separation signal indicating a character area, a compression circuit tuned so as not to lose the edge information of the character as much as possible is used, and if the signal is a signal indicating a photo area, It is recommended to use a compression circuit that is tuned to emphasize smoothness.
[0035]
FIG. 8 shows a circuit configuration of the decompression portion of the compression / decompression circuit 6 when the compression circuit as shown in FIG. 7 is used for the compression portion.
First, decompression circuits (expansion circuit A26, decompression circuit B27, etc.) using a decompression method corresponding to the compression method described above are prepared.
The decompression portion circuit inputs the compressed feature amount mixed image data to each decompression circuit, and after decompressing the data, the decompressed portion is decompressed by the
Based on this data, the feature quantity and image data are finally extracted by the feature quantity separation circuit 8 shown in FIG. 4 or 5, and transferred to the output engine via the printer γ correction circuit 9 and the intermediate
As described above, when the decompression circuit is adaptively selected and used according to the mixed feature amount, a good image quality can be obtained.
[0036]
FIG. 9 shows another circuit configuration example of the expansion part. In this case, after the data is decompressed by the decompression circuit (similar to FIG. 8 above), the feature amount data and the image data are extracted by the feature amount separation circuit (29 and 30) shown in FIG. 4 or FIG. Based on the extracted feature data (1 bit), the
In the case of this decompression circuit configuration, the feature amount separation circuit 8 in the embodiment of FIGS. 1 and 6 can be omitted.
[0037]
【The invention's effect】
As described above, according to the present invention, it is possible to compress feature quantity data in a form close to raw data by mixing feature quantity data of image data with the image data and performing lossy compression for each block. Therefore, it is possible to use feature amount data indispensable in terms of image quality in subsequent processing while reducing the overall memory capacity.
[Brief description of the drawings]
FIG. 1 is a configuration example when an image processing apparatus of the present invention is applied to a full-color digital copying machine.
FIG. 2 is a configuration example of a feature amount mixing circuit.
FIG. 3 is a configuration example of another feature amount mixing circuit;
FIG. 4 is a configuration example of a feature amount separation circuit.
FIG. 5 is a configuration example of another feature amount separation circuit;
FIG. 6 is an example in which the image processing apparatus of the present invention is configured as a tandem engine.
FIG. 7 is a configuration example of another compression circuit.
8 is a configuration example of a decompression circuit corresponding to the compression circuit of FIG.
FIG. 9 is another configuration example of a decompression circuit and a feature amount separation circuit.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Scanner gamma correction circuit, 2 ... Image area separation circuit, 3 ... Filter, 4 ... Color correction circuit, 5 ... Feature quantity mixing circuit, 6 ... Compression / decompression circuit, 7 ... Data storage device, 8 ... Feature quantity separation circuit , 9 ... Printer γ correction circuit, 10 ... Halftone processing circuit, 11 ... Right shift register, 12 ... Selector, 13 ... Feature quantity selection register, 14 ... Bit number conversion circuit A, 15 ... Bit number conversion circuit B, 16 ... Selector, 19 ... Left shift register, 20 ... Bit number reverse conversion circuit A, 21 ... Bit number reverse conversion circuit B, 22 ... Selector, 23 ... Compression circuit A, 24 ... Compression circuit B, 25 ... Selector, 26 ... Expansion circuit A, 27 ... expansion circuit B, 28 ... selector, 29, 30 ... feature amount separation circuit, 31 ... selector.
Claims (12)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002055911A JP4363817B2 (en) | 2002-03-01 | 2002-03-01 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002055911A JP4363817B2 (en) | 2002-03-01 | 2002-03-01 | Image processing apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003259131A JP2003259131A (en) | 2003-09-12 |
| JP4363817B2 true JP4363817B2 (en) | 2009-11-11 |
Family
ID=28666635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002055911A Expired - Fee Related JP4363817B2 (en) | 2002-03-01 | 2002-03-01 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4363817B2 (en) |
-
2002
- 2002-03-01 JP JP2002055911A patent/JP4363817B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003259131A (en) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5818970A (en) | Image encoding apparatus | |
| US6342950B1 (en) | Method and apparatus for encoding image, image decoding apparatus and image forming apparatus | |
| US20060044576A1 (en) | Apparatus for image processing | |
| JP2001218060A (en) | Image processor | |
| JP2004228811A (en) | Image processor, image processing method and program for computer to perform execution | |
| JP4156631B2 (en) | Image processing method and image processing apparatus | |
| JP2004140683A (en) | Image processor | |
| EP1103918B1 (en) | Image enhancement on JPEG compressed image data | |
| US8218911B2 (en) | Image processing apparatus and image processing method | |
| US20040179237A1 (en) | Method of, apparatus for, and computer program for image processing | |
| JP4780215B2 (en) | Image processing apparatus and image processing program | |
| JP4363817B2 (en) | Image processing apparatus and image processing method | |
| JPH09205647A (en) | Image coder, image decoder and image processor | |
| JP4847092B2 (en) | Image processing apparatus and toner saving method | |
| JP3983922B2 (en) | Image processing apparatus, image reading apparatus and image forming apparatus equipped with the same, and image processing method | |
| JP4050639B2 (en) | Image processing apparatus, image processing method, and program executed by computer | |
| JP3815214B2 (en) | Image processing apparatus and storage medium storing screen processing program | |
| US6879417B1 (en) | Color image processing apparatus that performs color conversion processing | |
| JP4209174B2 (en) | Color image processing apparatus and method | |
| JP3889279B2 (en) | Image processing device | |
| JP2002247386A (en) | Color image-processing device | |
| JP2010028796A (en) | Image forming apparatus, image converting device, and image forming method | |
| JP2004112604A (en) | Image processing apparatus | |
| JP2008206186A (en) | Image processing apparatus, image processing system, and image processing method | |
| JPH11355575A (en) | Image processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041105 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20041108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090818 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |