JP4871015B2 - 画像処理装置、および画像処理方法 - Google Patents

画像処理装置、および画像処理方法 Download PDF

Info

Publication number
JP4871015B2
JP4871015B2 JP2006123888A JP2006123888A JP4871015B2 JP 4871015 B2 JP4871015 B2 JP 4871015B2 JP 2006123888 A JP2006123888 A JP 2006123888A JP 2006123888 A JP2006123888 A JP 2006123888A JP 4871015 B2 JP4871015 B2 JP 4871015B2
Authority
JP
Japan
Prior art keywords
data
image
image data
image processing
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006123888A
Other languages
English (en)
Other versions
JP2007300165A (ja
Inventor
英臣 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2006123888A priority Critical patent/JP4871015B2/ja
Priority to US11/783,945 priority patent/US20080037073A1/en
Publication of JP2007300165A publication Critical patent/JP2007300165A/ja
Application granted granted Critical
Publication of JP4871015B2 publication Critical patent/JP4871015B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像処理装置、および画像処理方法に関するものである。
従来、画像処理装置は、印刷出力する際に、はっきりと黒色を表現した方がよい文字画像と、中間調色をきめ細かく表現する方がよい写真画像が混在する場合、いずれか一方を重視した画像処理を施して出力していた。しかしながら、文字と写真のように特徴の異なる画像が混在した場合に、一方の画像に好適な画像処理を施すと、他方の画像の画質が低下するという問題があった。
この問題を解決するために、画像データと該画像データについての特徴を表す分離データとを、別々のメモリに保持し、画素ごとに画像データと分離データとを読み込み、読み込んだ分離データに基づいて読み込んだ画像データに対して画素ごとに画像処理を施し、画像処理した画像データを画素ごとに書き込む技術が考案されている(特許文献1)。
特開2001−211329号公報
しかしながら、特許文献1の技術によると、1画素について画像処理を施す際に、画素当たり画像データの読み込み、分離データの読み込み、および画像処理後の画像データの書き込みと、合計3回のメモリアクセスの必要があった。このため、メモリアクセスに伴う資源の消費を抑え、高速の画像処理が求められていた。
本願発明は、このような問題に鑑みてなされ、その目的は、画像処理において、高速処理が可能な画像処理装置、および画像処理方法を提供することである。また、本願発明の目的は、画像処理において、データが格納されているメモリへのメモリアクセスの回数を低減できる画像処理装置、および画像処理方法を提供することである。
上述した課題を解決し、目的を達成するために、請求項1にかかる発明は、画像処理装置において、R,G,B各色にて構成され圧縮された画像データに復号化処理を施してRGB画像データを得る画像データ復号化手段と、画像の特徴を示す分離データを圧縮された状態で受け取復号化処理を施す分離データ復号化手段と、前記分離データ複合化手段によって復号化処理を施された前記分離データに多値化処理を施して画素単位あたり第1の複数ビット数の多値化分離データを得る多値化手段と、前記RGB画像データおよび前記多値化分離データを画素毎に合成する合成処理を施して画素単位あたり第2の複数ビット数の合成画像データを得る合成手段と、前記合成画像データの画素毎に、該画素の多値化分離データおよびRGB画像データに応じて、該RGB画像データに所定の処理を施し、更に該所定の処理を施したRGB画像データから決定されるC,M,Y,Kのデータに変換して出力する画像処理手段と、を備えることを特徴とする。
請求項2にかかる発明は、請求項1に記載の画像処理装置において、前記画像処理手段は、前記合成画像データの画素毎に、該画素の多値化分離データが文字領域を示し、該画素のRGB画像データが閾値よりも黒に近い場合、該RGB画像データに文字強調処理を施すことを特徴とする。
請求項3にかかる発明は、請求項1または2に記載の画像処理装置において、前記分離データ復号化手段は、ブロック単位で1次元可逆圧縮された分離データを受信する場合、前記ブロック単位で復号化処理を施すものであることを特徴とする。
請求項4にかかる発明は、請求項3に記載の画像処理装置において、前記画像データ復号化手段は、前記ブロック単位と同一のブロック単位で1次元圧縮された画像データを受信する場合、前記ブロック単位で復号化処理を施し、前記合成手段は、前記ブロック単位で合成処理を施すものであることを特徴とする。
請求項5にかかる発明は、請求項1〜4のいずれか1つに記載の画像処理装置において、前記画像データ復号化手段によって復号化された前記RGB画像データを格納し、前記合成手段に出力する画像データ記憶手段と、前記分離データ復号化手段によって復号化処理を施された前記分離データを格納し、前記多値化手段に出力する分離データ記憶手段と、前記合成手段によって合成された前記合成画像データを保持する合成データ記憶手段とを、さらに、備えることを特徴とする。
請求項6にかかる発明は、請求項1〜5のいずれか1つに記載の画像処理装置において、前記画像データ復号化手段は、非可逆圧縮された画像データに対して復号化処理を施すものであることを特徴とする。
請求項7にかかる発明は、請求項1〜6のいずれか1つに記載の画像処理装置において、前記分離データ復号化手段は、可逆圧縮された分離データに対して復号化処理を施すものであることを特徴とする。
請求項にかかる発明は、請求項1〜7のいずれか1つに記載の画像処理装置において、前記画像処理手段は、前記C,M,Y,Kのデータに2値化処理を更に施すものであることを特徴とする。
請求項にかかる発明は、3または4に記載の画像処理装置において、前記ブロック単位は、縦横8画素のブロック単位または縦横16画素のブロック単位であることを特徴とする。
請求項10にかかる発明は、請求項1〜のいずれか1つに記載の画像処理装置において、前記第2の複数ビット数は、32ビットの整数倍であることを特徴とする。
請求項11にかかる発明は、請求項1〜10のいずれか1つに記載の画像処理装置において、前記画像データ復号化手段は、JPEG(JointPhotographicExpertsGroup)圧縮された画像データを入力した場合、JPEG復号化処理を施すものであることを特徴とする。
請求項12にかかる発明は、請求項1〜11のいずれか1つに記載の画像処理装置において、前記分離データ復号化手段は、MMR(ModifiedModifiedRead)圧縮された分離データを入力した場合、MMR復号化処理を施すものであることを特徴とする。
請求項13にかかる発明は、画像処理装置の画像処理方法であって、画像データ復号化手段によって、R,G,B各色にて構成され圧縮された画像データに対して復号化処理を施してRGB画像データを得る画像データ復号化工程と、分離データ復号化手段によって、画像の特徴を示す分離データを圧縮された状態で受け取復号化処理を施す分離データ復号化工程と、多値化手段によって、前記分離データ複合化工程によって復号化処理を施された前記分離データに多値化処理を施して画素単位あたり第1の複数ビット数の多値化分離データを得る多値化工程と、合成手段によって、前記RGB画像データおよび前記多値化分離データを画素毎に合成する合成処理を施して画素単位あたり第2の複数ビット数の合成画像データを得る合成工程と、画像処理手段によって、前記合成画像データの画素毎に、該画素の多値化分離データおよびRGB画像データに応じて、該RGB画像データに所定の処理を施し、更に該所定の処理を施したRGB画像データから決定されるC,M,Y,Kのデータに変換して出力する画像処理工程と、を含むことを特徴とする。
請求項14にかかる発明は、請求項13に記載の画像処理方法において、前記画像処理工程では、前記合成画像データの画素毎に、該画素の多値化分離データが文字領域を示し、該画素のRGB画像データが閾値よりも黒に近い場合、該RGB画像データに文字強調処理を施すことを特徴とする。
請求項15にかかる発明は、請求項13または14に記載の画像処理方法において、前記第2の複数ビット数は、32ビットの整数倍であることを特徴とする。
請求項1にかかる発明によれば、R,G,B各色にて構成され圧縮された画像データに復号化処理を施してRGB画像データを得、画像の特徴を示す分離データを圧縮された状態で受け取復号化処理を施し、復号化処理を施された分離データに多値化処理を施して画素単位あたり第1の複数ビット数の多値化分離データを得、RGB画像データおよび多値化分離データを画素毎に合成する合成処理を施して画素単位あたり第2の複数ビット数の合成画像データを得合成画像データの画素毎に、該画素の多値化分離データおよびRGB画像データに応じて、該RGB画像データに所定の処理を施し、更に該所定の処理を施したRGB画像データから決定されるC,M,Y,Kのデータに変換して出力するので、効率良く高速な画像処理が可能になる画像処理装置を提供できるという効果を奏する。特に請求項1にかかる発明によれば、画像処理する際に、画素ごとに合成画像データを読み込んで、読み込んだ合成画像データに応じてRGB画像データを処理できるので、画素ごとに多値化分離データとRGB画像データとを読み込んで処理を施すよりも、メモリアクセスの回数を低減し、高速の画像処理が可能となる。更に請求項1にかかる発明によれば、RGB画像データから変換されるC,M,Y,Kデータを一意に決定することができる。
請求項2にかかる発明によれば、合成画像データの画素毎に、該画素の多値化分離データが文字領域を示し、該画素のRGB画像データが閾値よりも黒に近い場合、該RGB画像データに文字強調処理を施すので、好適な画像処理を施すことができるという効果を奏する。
請求項3にかかる発明によれば、ブロック単位で1次元可逆圧縮された分離データを受信する場合、ブロック単位で復号化処理を施すことによって、分離データに対してブロック単位で復号化処理を施すことができるという効果を奏する。
請求項4にかかる発明によれば、上記のブロック単位で圧縮された画像データを受信する場合、復号化処理を施し、復号化処理を施された上記ブロック単位で分離データおよび画像データを合成することによって、分離データおよび画像データに対してブロック単位で合成処理を施すことができるという効果を奏する。
請求項5にかかる発明によれば、復号化されたRGB画像データを格納し、復号化処理を施された分離データを格納して、多値化処理を施し、格納されたRGB画像データおよび多値化分離データを合成して保持することによって、それぞれの処理を施す際に同期を取りやすくなるという効果を奏する。
請求項6にかかる発明によれば、非可逆圧縮された画像データに対して復号化処理を施すので、人間の目には差異が分かりにくい非可逆圧縮による高圧縮された画像データを使用することができるという効果を奏する。
請求項7にかかる発明によれば、可逆圧縮された分離データに対して復号化処理を施すので、情報としての正確さが要求される分離データに対しては、可逆圧縮によって正確さを保証された分離データを使用することができるという効果を奏する。
請求項にかかる発明によれば、C,M,Y,Kのデータに2値化処理を更に施すことによって、それぞれの画素において画像の特徴に応じて好適な2値化処理を施すことができるという効果を奏する。
請求項にかかる発明によれば、ブロック単位は、縦横8画素のブロック単位または縦横16画素のブロック単位であるため、それぞれの画素における合成のタイミングを取ることが容易となり、また、縦横8画素のブロック単位であれば、特にモノクロ画像のJPEG画像を処理するのに適しているという効果を奏し、縦横16画素のブロック単位であれば、特にカラーのJPEG圧縮を復号化処理を施して処理するのに適しているという効果を奏する。
請求項10にかかる発明によれば、第2の複数ビット数は、32ビットの整数倍であるため、高速なメモリアクセスが可能となり、一般的な32ビット長でのデータ処理に適合した合成処理を施すことができ、さらに、画像処理を施す場合も効率良く高速な処理が可能になる画像処理装置を提供できるという効果を奏する。
請求項11にかかる発明によれば、JPEG圧縮された画像データを入力してJPEG復号化処理を施して合成処理を施すことができるという効果を奏する。
請求項12にかかる発明によれば、MMR圧縮された分離データを入力してMMR復号化処理を施して合成処理を施すことができるという効果を奏する。
請求項13にかかる発明によれば、R,G,B各色にて構成され圧縮された画像データに復号化処理を施してRGB画像データを得、画像の特徴を示す分離データを圧縮された状態で受け取復号化処理を施し、復号化処理を施された分離データに多値化処理を施して画素単位あたり第1の複数ビット数の多値化分離データを得、RGB画像データおよび多値化分離データを画素毎に合成する合成処理を施して画素単位あたり第2の複数ビット数の合成画像データを得合成画像データの画素毎に、該画素の多値化分離データおよびRGB画像データに応じて、該RGB画像データに所定の処理を施し、更に該所定の処理を施したRGB画像データから決定されるC,M,Y,Kのデータに変換して出力するので、効率良く高速な画像処理が可能になる画像処理装置を提供できるという効果を奏する。特に請求項13にかかる発明によれば、画像処理する際に、画素ごとに合成画像データを読み込んで、読み込んだ合成画像データに応じてRGB画像データを処理できるので、画素ごとに多値化分離データとRGB画像データとを読み込んで処理を施すよりも、メモリアクセスの回数を低減し、高速の画像処理が可能となる。更に請求項13にかかる発明によれば、RGB画像データから変換されるC,M,Y,Kデータを一意に決定することができる。
請求項14にかかる発明によれば、合成画像データの画素毎に、該画素の多値化分離データが文字領域を示し、該画素のRGB画像データが閾値よりも黒に近い場合、該RGB画像データに文字強調処理を施すので、好適な画像処理を施すことができるという効果を奏する。
請求項15にかかる発明によれば、第2の複数ビット数は、32ビットの整数倍であるため、高速なメモリアクセスが可能となり、一般的な32ビット長でのデータ処理に適合した合成処理を施すことができ、さらに、画像処理を施す場合も効率良く高速な処理が可能になる画像処理装置を提供できるという効果を奏する。
以下に添付図面を参照して、この発明にかかる画像処理装置、および画像処理方法の最良な実施の形態を、実施の形態1〜3、および変形例に沿って、詳細に説明する。
(1.実施の形態1)
(1.1.全体構成)
実施の形態1による画像処理装置は、JPEG(Joint Photographic Experts Group)復号部が圧縮された画像データに対して復号化処理を施して記憶させ、MMR(Modified Modified Read)復号部が画像特徴量である分離データを圧縮された状態で受信して復号化処理を施して記憶させ、多値化部が復号化処理を施された分離データおよび復号化処理を施された画像データの合計が画素ごとに32ビットになるように分離データに多値化処理を施し、画像合成部が画素ごとに多値化された分離データおよび画像データを32ビットのデータ長になるように合成処理を施す。
この画像データおよび分離データを復号する画像復号ユニットが、データに対して32ビットのデータ長になるように合成処理を施す構成によって、画像データに画像処理を施す画像処理ユニット、CPU(Central Processing Unit)、および画像出力する画像出力ユニットは、処理単位である32ビット長のデータに対してアクセスおよび画像処理を施すことができるので、高速なメモリアクセスおよび高速な画像処理が可能となる。また、画像処理する際には、32ビット化された合成データを一度だけ読み込んで、読み込んだ分離データに基づいて画像データを処理できるので、画素データに対して分離データをリードアクセスする必要が無く、メモリアクセスを低減し、高速の画像処理が可能となる。
図1は、実施の形態1による画像処理装置の機能的ブロック図である。実施の形態1による画像処理装置100は、画像復号ユニット10、画像処理ユニット20、画像出力ユニット30、調停回路2、CPU4、DDR(Double Data Rate)メモリ6、およびバス8を備える。
画像復号ユニット10は、JPEG復号部11、第1のSRAM12(Static RAM)、MMR復号部13、第2のSRAM14、多値化部15、画像合成部16、第1のDMA(Direct Memory Access)17を有する。画像処理ユニット20は、画像処理部21、および第2のDMA22を有する。画像出力ユニット30は、変換出力部31、および第3のDMA32を有する。
(1.2.合成データに対する画像処理)
画像復号ユニット10への入力データは、JPEG圧縮された画像データ、およびMMR圧縮された分離データである。JPEG圧縮された画像データは、ここでは、3200×3200のRGB(Red Green Blue(赤緑青)各8ビット)画像がJPEG圧縮されたものである。
分離データは、ここでは、上記画像データに対応する3200×3200の分離画像から、JPEGカラー圧縮のブロック単位にあわせ、16×16画素のブロック単位でMMR圧縮された分離データである。ここで分離データの各画素の値は、対応する画像データの画素が文字画像部分であると判断されていれば”1”であり、非文字画像部分であると判断されていれば”0”と定める。ここでは分離データは、1画素当たり1ビットである。分離データを以降、Xと表記する。
画像処理装置100では、画像復号ユニット10が上記の符号データを入力して復号化処理を施す。画像処理ユニット20が、画像復号ユニット10によって復号化処理を施された画像データに対して画像処理を施す。画像出力ユニット30が画像処理ユニット20の結果をプロッターに出力する。
上記の各ユニット10、20、および30は、32ビットのデータバス幅を持ったそれぞれのDMAを有しており、PCI Expressバスなどのバス8を経由してDDRメモリ6とのデータ転送を行う。ここで、不図示のCrossbarスイッチを、CPU4とメモリ間の接続の経路セレクトを行う装置として介することができる。
調停回路2は、画像復号ユニット10および画像処理ユニット20が、DDRメモリ6へアクセスする経路のセレクトを行う回路である。バス8を構成する例えば、PCI−Expressバスは、CPU4、調停回路2、画像出力ユニット30、およびDDRメモリ6を非常に高速なデータ転送を可能として、接続している。
この画像処理装置100に入力されたJPEG符号データとMMR符号データは、それぞれJPEG復号部11とMMR復号部13に入力される。JPEG復号部11は、1画素RGB24ビット(各8ビット)の画像データに対して復号化処理を施して出力する。MMR復号部13は、1画素1ビットの分離データを復号して出力する。
図2は、JPEG復号部11によって復号される画像データを説明する図である。JPEG復号部11によって伸張された画像データ121は、1ワード24ビットの3200pixelラインのSRAMが16本から構成される第1のSRAM12に蓄積される。
1ワードには、RGB24ビットの1画素分のデータが蓄積される。この際、カラーJPEGは、JPEG標準上、縦横16即ち、16×16画素のブロック単位で符号化されるため、JPEG復号部11からも1画素RGB24ビットの16×16画素のブロック単位で画像データが出力される。最初のブロックにおける1行目の16画素を、第1のSRAM12の1ライン目のアドレス0〜15までに、2行目の16画素を、第1のSRAM12の2ライン目のアドレス0〜15までに、3行目の16画素を、第1のSRAM12の3ライン目のアドレス0〜15までに、というように、ブロック(図2中の符号121)の16画素・16行を、第1のSRAM12の16ラインに分配して蓄積していく(図2中の符号121’)。
次のブロックは、同様に、第1のSRAM12のそれぞれの16ラインのアドレス16〜31(図2中の符号122’)までに蓄積する。上記の作業を繰り返し、3200×16ラインまでを、第1のSRAM12に蓄積し、いったんJPEG復号部11の処理を停止する。
一方、MMR復号部13も同様に、分離データが16×16画素のブロック単位で符号化されているので、1画素1ビットの16×16画素のブロック単位で分離データを出力する。MMR復号部13によって伸張(復号)された分離データは、1ワード8ビットの400pixelラインのSRAM、16本から構成される第2のSRAM14に蓄積され、1ワードには、分離データ1ビットの8画素分が蓄積される。このため、分離データの最初のブロックの1行目の16画素は、第2のSRAM14の1ライン目のアドレス0〜1までに、2行目の16画素は、第2のSRAM14の2ライン目のアドレス0〜1までに、3行目の16画素は、第2のSRAM14の3ライン目のアドレス0〜1までに、というように、ブロックの16画素の16行を、第2のSRAM14の16ラインに分配して蓄積していく。
次の分離データブロックは同様に、第2のSRAM14のそれぞれの16ラインの、アドレス2〜3までに蓄積する。上記の作業を繰り返し、400×16ラインまでを、第2のSRAM14に蓄積し、いったんMMR復号部13の処理を停止する。
第1のSRAM12、第2のSRAM14に、16ライン分のデータが蓄積完了すると、第2のSRAM14からは、分離データ1ビットの画像データを出力し、多値化部15で、1ビットから8ビットへの多値化処理が施される。多値化の方法としては単純に、“1”⇒“10000000”、“0”⇒“”00000000”というように、1ビットの分離データを7ビット上位シフトする方法などでよい。
図3は、画像合成部16が分離データおよび画像データを合成した合成データの一例を示す図である。画像合成部16は、多値化された分離データ8ビットと、第1のSRAM12に蓄積された画像データRGB24ビットを、1画素単位で同期を取りながら入力する。画像合成部16は、画像データと、分離データを合成して合成画像データ(1画素32ビットのRGBXデータ(Xは分離データ))を生成し、第1のDMA17によるアクセスで、後段の調停回路2、およびバス8を経由して、DDRメモリ6に、32ビットRGBXデータ単位でメモリライトする。上記処理を第1のSRAM12、第2のSRAM14の蓄積されたデータが全て出力し終えるまで行う。これにより、DDRメモリ6上には、3200×16画素の合成画像データが展開される。
画像処理ユニット20は、その後、DDRメモリ6上の3200×16画素の合成画像データを、第2のDMA22により32ビットRGBXデータ単位でメモリリードし、入力を開始する。画像処理ユニット20は、合成画像データを1画素32ビットRGBX単位で入力し、処理することを可能としている。
図4は、画像処理部21の機能的ブロック図である。画像処理部21は、黒文字強調処理部211、色変換部212、情報テーブル213、および2値化処理部214を有する。黒文字強調処理部211は、RGBX(32ビット)を入力してRGB(24ビット)データを出力するが、この画像処理部21は、黒い文字を、よりはっきりとした黒文字にすることを可能とするように構成する。この処理例としては、RGBX(32ビット)で、Xが”00000000”でない、つまり予め定めた規定によって当該画素点が文字領域であると判定し、かつ、R,G,Bの各8ビット(0〜255)が全て”64”以下、つまり黒に近い画素であれば、R,G,Bの各8ビットを全て”0”に設定する。これによって黒色に近い画像データを有する文字画素は、文字画像の黒を強調する黒のみのRGB(24ビット)に変換することができる。
また、色変換処理部212は、RGB(各8ビット、計24ビット)からCMYK(各8ビット、32ビット)のデータを生成する。変換方法としては、あらかじめ用意した情報テーブル213をもとに、RGB(24ビット)のデータ値から、CMYK(各8ビット、32ビット)を一意的に決定し変換する。但し、このような変換方法は一例として説明のために挙げたものである。
2値化処理部214は、CMYK(32ビット)のC、M、Y、Kの各8ビット(0〜255)を、128ビット以上であれば”1”とし、そうでなければ”0”とするように、単純な閾値を用いた2値化処理を施す。
以上の処理によって画像処理ユニット20から出力されるCMYK(各1ビット、合計4ビットのデータ)は、再度第2のDMA22によりDDRメモリ6にメモリライトし、画像処理ユニット20の処理結果をDDRメモリ6に返す。ここで、第2のDMA22は32ビット単位でアクセスするので、CMYK(4ビット)は、8画素単位でメモリライトすることとなるが、この問題は、第2のDMA22内に32ビットのバッファを持っていれば吸収することができる。
上記の画像復号ユニット10、画像処理ユニット20の処理を繰り返し、1ページ分のCMYK(各1ビット、合計4ビット)による画像処理結果がDDRメモリ6に蓄積完了すると、第3のDMA32はバス8を経由して変換出力部31に転送し、プロッター出力させる。
(1.3.画像処理手順)
図5および図6は、実施の形態1による画像処理手順を説明するフローチャートである。MMR復号部13はMMR符号化された分離データを入力すると、MMR伸張処理を施して(ステップS101)、第2のSRAM14に記憶させる(ステップS102)。多値化部15は、伸張した分離データが1画素8ビットであるか否かを判定し(ステップS103)、8ビットではない場合(ステップS103のNo)、8ビット化処理を施す(ステップS104)。
一方、JPEG復号部11は、JPEG符号化された画像データを入力してJPEG符号を画像に伸張する処理を施し(ステップS105)、JPEG画像を16×16画素のブロック単位で第1のSRAM12に記憶させる(ステップS106)。第1のDMA17は、第1のSRAM12から、ライン単位で、蓄積された画像データを読み出して画像合成部16に送信する(ステップS107)。
合成画像部は、第1のSRAM12から入力した24ビットの画像データと、多値化処理を施された8ビットの分離データとに対して合成処理を施す(ステップS108)。第1のDMA17は、画像合成処理を施されたデータを、調停回路2を介してDDRメモリ6に出力する(ステップS109)。以上が画像復号ユニット10における処理である(図5)。
画像処理ユニット20の第2のDMA22は、画像データおよび分離データが合成されたデータを、32ビット単位で、DDRメモリ6から読み込み(ステップS110)、画像処理部21に出力する。黒文字強調処理部211は、分離データの情報に応じて文字か非文字かを判定し、文字部分の画素に対して強調処理を施す(ステップS111)。色変換部212は、RGBデータを、情報テーブル213に基づいて、一意的に32ビットのCMYKデータに変換する(ステップS112)。
2値化処理部214は、32ビットのCMYKデータを、各色を閾値によって2値化し、各色1ビットのCMYKデータ(合計4ビット)を生成する(ステップS113)。第2のDMA22は、4ビット化した画像処理結果をDDRメモリ6に出力する(ステップS114)。以上が画像処理ユニット20における処理である。
画像出力ユニット30の第3のDMA32は、ステップS114で生成された画像処理結果のデータを、DDRメモリ6から読み込み、変換出力部31に送る(ステップS115)。変換出力部31は、画像データをレーザ信号に変換し、プロッター(不図示)に送信する(ステップS116)。不図示のプロッターは、受信したレーザ信号を出力して画像を形成する(ステップS117)。以上が、画像出力ユニット30における処理である(図6)。
なお、ここで、画像データについてはJPEG以外でも非可逆圧縮されたものを使用することができる。画像は、人間は画像中で高周波は認識しづらく、色差に鈍感であるという人間の知覚特性に合わせて、より高い圧縮率を実現することができるからである。
また、ここで、分離データは、可逆圧縮されたものであることが望ましい。分離データは、画像処理ユニット20で画像特徴を示す情報として利用されるので、圧縮による劣化が無いことが好ましいからである。可逆圧縮することによって、分離データの情報を完全に維持しながら圧縮されているので、正確なデータの復号が可能となるからである。
図7は、分離データをブロック化して1次元圧縮することを説明する図である。分離データのブロックサイズは、画像データの圧縮ブロック単位であるm×nにあわせて圧縮されていることが望ましい。
画像データがブロック単位で圧縮される場合、JPEGカラーの場合は、16×16画素のブロック単位で圧縮される場合が多い。また、JPEGモノクロで圧縮される場合は、8×8画素のブロック単位で圧縮される場合が多い。
このようなブロック単位の圧縮に対応する分離画像データ(図中符号601)も、画像データの圧縮方法に応じて、カラーの場合は16×16、あるいはモノクロの場合は8×8画素のブロック単位で圧縮されていると、復号後において、分離データおよび画像データを合成する際に、それぞれの画素の対応が取りやすい。また、分離データ自体を、図7中符号602に示すように1次元の圧縮方式にしておくと、m×nのブロックサイズを画像データの圧縮ブロック単位にあわせて自由に制御することが可能となる。
(1.4.効果)
図8は、従来例による画像処理装置の機能的ブロック図である。ここで、従来例との比較を行う。ここで従来例は、例えばスキャナ画像を、画像データと分離データに分割し、HDD等の記憶装置に蓄積することを考慮し、データ量削減のため、画像データはJPEG圧縮され、分離データが2値のMMR圧縮されている状態を想定する。図7に示した構成では、画像データを復号化処理を施すJPEG復号器701に、圧縮されたJPEG符号が入力され、復号化処理を施された画像データが、メモリ702に展開される。画像データは、各画素がR(8bit)、G(8bit)、B(8bit)から構成される。
また、分離データを復号化処理を施すMMR復号器703には、MMR符号データが入力され、復号化処理を施された分離データは、メモリ704に展開される。分離データは、各画素ごとに1bitである。後段の画像処理ブロック705は、それぞれのメモリ702および704に、画素単位で蓄積されている画像データ(RGB=24bit)、分離データ(1bit)を同期入力し、画像データ画素(RGB=24bit)に対して、分離データ画素(1bit)を参考に画像処理を行う。出力結果は、2値化されたCMYKデータとして後段のプロッター部(不図示)へ出力される。
図9は、図8における画像処理ブロック705の代わりにCPU801を備える画像処理装置の機能的ブロック図である。CPU801が、ワード単位(32bit)でメモリ702および704からデータを読み込み、出力をメモリ802に書き込む。
図9の構成のような従来例では、CPU801は1画素単位で画像処理を行う場合、メモリ702から画像データ画素(RGB=24bit)をメモリリードし、メモリ704から分離データ(1bit)をメモリリードする。画像処理結果の画像データ(CMYK=4bit)をメモリ802に書き込む。画像出力ブロック803は、メモリ802から、画像処理結果の画像データ(CMYK=4bit)を読み出し、プロッター(不図示)に出力する。この場合、CPU801は、1画素分の画像データ、分離データを入力し、1画素分の画像処理結果の画像を出力する手順において、3回のメモリアクセスが発生することとなる。例え、メモリ702、メモリ704、およびメモリ802が物理的に同じメモリであったとしても、メモリ上に3回異なるアドレスへのアクセスを実行することによって、同様に頻繁なメモリアクセスが必要となってしまう。
しかしながら、このような従来例と異なって、実施の形態1による画像処理装置100では、分離データおよび画像データを画素単位で1ワードのデータ長に合成してメモリ出力し、合成されたデータを読み込むことによって分離データおよび画像データを取得するので、CPU4がより効率的なメモリアクセスを行って画像処理を実行することができる。
また、実施の形態1によるCPU4に限らず、ワード単位(32bit)でメモリリードする画像処理ユニット20でも同様に効果的なメモリアクセスを行って画像処理を実行することができる。
即ち、実施の形態1による画像処理装置においては、画像データに処理を施す画像処理ユニット20、CPU4、および画像出力ユニット30は、処理単位である32ビット長のデータに対してアクセスおよび画像処理を施すことができるので、高速なメモリアクセスおよび高速な画像処理が可能となる。また、画像処理する際に、32ビット化された合成データを一度だけ読み込んで、読み込んだ分離データに基づいて画像データを処理できるので、画素ごとに分離データと画像データとを読み込んで処理を施すよりも、メモリアクセスの回数を低減し、高速の画像処理が可能となる。
(変形例1)
実施の形態1においては、画像処理ユニット20をチップでハード的に構成したが、変形例1として、画像処理ユニット20を、一般的な32ビットCPU4で構成することもできる。この場合、CPU4が画像処理ユニット20と同様に32ビット単位でメモリアクセスおよび処理を行うので、アクセスの効率を低下させることなく画像処理を施すことができる。
(変形例2)
実施の形態1においては、DMA、メモリ、およびCPU4などを32ビットの処理系として構成したが、変形例2として、上記それぞれが64ビット処理系として構成することができる。64ビット処理系は、32ビットの整数倍処理系の一つとして実現性が高いからである。
この場合、RGBをそれぞれ21ビットで計63ビット、および分離データを1ビットとして、分離データに対しては多値化処理を施すことなく合成して64ビットの合成データにすることができる。
あるいはまた、RGBをそれぞれ20ビットで計60ビット、および分離データを1ビットとして、分離データに対しては多値化処理を施して4ビットとし、合成して64ビットの合成データにすることができる。あるいはまた、画像特徴量データをもともと4ビットとして、合成されたデータを64ビットとして利用することもできる。
(2.実施の形態2)
実施の形態2が実施の形態1と異なる点は、復号化処理を施された画像データおよび復号化処理を施された分離データをメモリに格納せず、分離データに対して合成データが32ビットになるように多値化処理を施して、画素ごとに、画像データと分離データとを合成して32ビット長になるように処理を施す点である。この構成によって、復号化された画像データおよび復号化された分離データを格納するメモリを省略することができ、また、復号化された画像データおよび分離データへのアクセスを省略することができるので、装置規模を簡易なものとし、メモリアクセスを低減した高速の画像処理が可能となる。
図10は、実施の形態による画像処理装置の機能的ブロック図である。実施の形態2による画像処理装置200は、実施の形態1における第1のSRAM12および第2のSRAM14を備えない。
図11は、実施の形態2による画像処理手順を説明するフローチャートである。MMR復号部13は、MMR符号化された分離データを入力してMMR復号化処理を施し(ステップS201)、多値化部15は、復号され伸張された分離データが1画素8ビットであるか否かを判定し(ステップS202)、8ビットでない場合(ステップS202のNo)、多値化部15は、8ビットへの多値化処理を施す(ステップS203)。
一方、JPEG復号部11は、JPEG符号データを入力し、JPEG復号化処理を施す(ステップS204)。画像合成部16は、多値化部15によって8ビット化された分離データと、JPEG復号部11によって復号化処理を施された24ビットの画像データを、同期して入力し、32ビットに合成する(ステップS205)。これより以降の手順は、実施の形態1における手順のステップS109以降と同様であるので、説明を省略する。
この構成によって、実施の形態1において備えていた第1のSRAM12および第2のSRAM14を備えずに、復号されたJPEGデータおよび復号された分離データを、同期を取りながら直接、画像合成部16が入力して、合成処理を施すことによって、頻繁なメモリアクセスを省略することができる。また、画像合成部16によって合成されたデータについては、後段の画像処理においても、合成データを1度読み取ることによって、読み取られた合成データ中の画像データを、読み取られた分離データに基づいて画像処理を施すので、それぞれ別々のメモリから読み取って処理を施すのに比較してメモリアクセスを減らすことができ、高速の画像処理が可能になる。
(3.実施の形態3)
図12は、実施の形態3による画像形成装置の機能的ブロック図である。実施の形態3による画像形成装置300は、実施の形態1による画像処理装置100を備えたものであり、画像形成のための印刷出力部40を備える。
印刷出力部40は、変換出力部31によって生成された変換データに従って、帯電されたCMYK各色の回転体にレーザ光による画像データを書き込み静電潜像を形成し、現像装置によって、中間転写体に転写して、記録紙などに転写する。これらの印刷出力に関する技術は公知技術であるので詳細な説明を省略する。
このように実施の形態3による画像形成装置においては、実施の形態1において述べたように、画像データの処理単位である32ビット長の合成データに対してアクセスおよび画像処理を施すことができるので、高速なメモリアクセスおよび高速な画像処理に伴う画像形成が可能となる。
ここで、分離データを文字か非文字かの1ビットによる表現としたが、文字、写真、グラフなどの図表画像、および印刷されたドットによる画像など、詳細に画像特徴を判別できるデータとすることができる。この場合、1ビットではなく、2ビット、3ビット、あるいは4ビットなど、任意のビットに設定することができる。
以上のように、本発明にかかる画像処理装置、および画像処理方法は、画像処理技術に有用であり、特に、画像処理を高速化する技術に適している。
実施の形態1による画像処理装置の機能的ブロック図である。 JPEG復号部11によって復号される画像データを説明する図である。 画像合成部16が分離データおよび画像データを合成した合成データの一例を示す図である。 画像処理部21の機能的ブロック図である。 実施の形態1による画像処理手順を説明するフローチャートである。 実施の形態1による画像処理手順を説明するフローチャートである。 分離データをブロック化して1次元圧縮することを説明する図である。 従来例による画像処理装置の機能的ブロック図である。 図8における画像処理ブロック705の代わりにCPU801を備える画像処理装置の機能的ブロック図である。 実施の形態による画像処理装置の機能的ブロック図である。 実施の形態2による画像処理手順を説明するフローチャートである。 実施の形態3による画像形成装置の機能的ブロック図である。
符号の説明
2 調停回路
4 CPU
6 DDRメモリ
8 バス
10 画像復号ユニット
11 JPEG復号部
12 第1のSRAM
13 MMR復号部
14 第2のSRAM
15 多値化部
16 画像合成部
17 第1のDMA
20 画像処理ユニット
21 画像処理部
22 第2のDMA
30 画像出力ユニット
31 変換出力部
32 第3のDMA
100、200 画像処理装置
300 画像形成装置

Claims (15)

  1. R,G,B各色にて構成され圧縮された画像データに復号化処理を施してRGB画像データを得る画像データ復号化手段と、
    画像の特徴を示す分離データを圧縮された状態で受け取復号化処理を施す分離データ復号化手段と、
    前記分離データ複合化手段によって復号化処理を施された前記分離データに多値化処理を施して画素単位あたり第1の複数ビット数の多値化分離データを得る多値化手段と、
    前記RGB画像データおよび前記多値化分離データを画素毎に合成する合成処理を施して画素単位あたり第2の複数ビット数の合成画像データを得る合成手段と、
    前記合成画像データの画素毎に、該画素の多値化分離データおよびRGB画像データに応じて、該RGB画像データに所定の処理を施し、更に該所定の処理を施したRGB画像データから決定されるC,M,Y,Kのデータに変換して出力する画像処理手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記画像処理手段は、前記合成画像データの画素毎に、該画素の多値化分離データが文字領域を示し、該画素のRGB画像データが閾値よりも黒に近い場合、該RGB画像データに文字強調処理を施すことを特徴とする請求項1に記載の画像処理装置。
  3. 前記分離データ復号化手段は、ブロック単位で1次元可逆圧縮された分離データを受信する場合、前記ブロック単位で復号化処理を施すものであることを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記画像データ復号化手段は、前記ブロック単位と同一のブロック単位で1次元圧縮された画像データを受信する場合、前記ブロック単位で復号化処理を施し、
    前記合成手段は、前記ブロック単位で合成処理を施すものであることを特徴とする請求項3に記載の画像処理装置。
  5. 前記画像データ復号化手段によって復号化された前記RGB画像データを格納し、前記合成手段に出力する画像データ記憶手段と、
    前記分離データ復号化手段によって復号化処理を施された前記分離データを格納し、前記多値化手段に出力する分離データ記憶手段と、
    前記合成手段によって合成された前記合成画像データを保持する合成データ記憶手段とを、さらに、備えることを特徴とする請求項1〜4のいずれか1つに記載の画像処理装置。
  6. 前記画像データ復号化手段は、非可逆圧縮された画像データに対して復号化処理を施すものであることを特徴とする請求項1〜5のいずれか1つに記載の画像処理装置。
  7. 前記分離データ復号化手段は、可逆圧縮された分離データに対して復号化処理を施すものであることを特徴とする請求項1〜6のいずれか1つに記載の画像処理装置。
  8. 前記画像処理手段は、前記C,M,Y,Kのデータに2値化処理を更に施すものであることを特徴とする請求項1〜7のいずれか1つに記載の画像処理装置。
  9. 前記ブロック単位は、縦横8画素のブロック単位または縦横16画素のブロック単位であることを特徴とする請求項3または4に記載の画像処理装置。
  10. 前記第2の複数ビット数は、32ビットの整数倍であることを特徴とする請求項1〜9のいずれか1つに記載の画像処理装置。
  11. 前記画像データ復号化手段は、JPEG(Joint Photographic Experts Group)圧縮された画像データを入力した場合、JPEG復号化処理を施すものであることを特徴とする請求項1〜10のいずれか1つに記載の画像処理装置。
  12. 前記分離データ復号化手段は、MMR(Modified Modified Read)圧縮された分離データを入力した場合、MMR復号化処理を施すものであることを特徴とする請求項1〜11のいずれか1つに記載の画像処理装置。
  13. 画像処理装置の画像処理方法であって、
    画像データ復号化手段によって、R,G,B各色にて構成され圧縮された画像データに対して復号化処理を施してRGB画像データを得る画像データ復号化工程と、
    分離データ復号化手段によって、画像の特徴を示す分離データを圧縮された状態で受け取復号化処理を施す分離データ復号化工程と、
    多値化手段によって、前記分離データ複合化工程によって復号化処理を施された前記分離データに多値化処理を施して画素単位あたり第1の複数ビット数の多値化分離データを得る多値化工程と、
    合成手段によって、前記RGB画像データおよび前記多値化分離データを画素毎に合成する合成処理を施して画素単位あたり第2の複数ビット数の合成画像データを得る合成工程と、
    画像処理手段によって、前記合成画像データの画素毎に、該画素の多値化分離データおよびRGB画像データに応じて、該RGB画像データに所定の処理を施し、更に該所定の処理を施したRGB画像データから決定されるC,M,Y,Kのデータに変換して出力する画像処理工程と、
    を含むことを特徴とする画像処理方法。
  14. 前記画像処理工程では、前記合成画像データの画素毎に、該画素の多値化分離データが文字領域を示し、該画素のRGB画像データが閾値よりも黒に近い場合、該RGB画像データに文字強調処理を施すことを特徴とする請求項13に記載の画像処理方法。
  15. 前記第2の複数ビット数は、32ビットの整数倍であることを特徴とする請求項13または14に記載の画像処理方法。
JP2006123888A 2006-04-27 2006-04-27 画像処理装置、および画像処理方法 Expired - Fee Related JP4871015B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006123888A JP4871015B2 (ja) 2006-04-27 2006-04-27 画像処理装置、および画像処理方法
US11/783,945 US20080037073A1 (en) 2006-04-27 2007-04-13 Image processor and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006123888A JP4871015B2 (ja) 2006-04-27 2006-04-27 画像処理装置、および画像処理方法

Publications (2)

Publication Number Publication Date
JP2007300165A JP2007300165A (ja) 2007-11-15
JP4871015B2 true JP4871015B2 (ja) 2012-02-08

Family

ID=38769323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006123888A Expired - Fee Related JP4871015B2 (ja) 2006-04-27 2006-04-27 画像処理装置、および画像処理方法

Country Status (2)

Country Link
US (1) US20080037073A1 (ja)
JP (1) JP4871015B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270716B2 (en) * 2007-12-04 2012-09-18 Ricoh Company, Limited Selectively compressing picture and text areas of an image to maintain highest quality and effective compaction
JP4565038B2 (ja) * 2008-02-22 2010-10-20 株式会社リコー 画像形成装置、画像形成方法、画像形成プログラム、及び記録媒体
JP4950929B2 (ja) * 2008-04-01 2012-06-13 キヤノン株式会社 画像ファイル編集装置、画像ファイル編集方法及びプログラム
CN110446041B (zh) * 2018-05-02 2021-11-19 中兴通讯股份有限公司 一种视频编解码方法、装置、系统及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6804016B2 (en) * 1993-01-18 2004-10-12 Canon Kabushiki Kaisha Control apparatus for a scanner/printer
US6198850B1 (en) * 1998-06-12 2001-03-06 Xerox Corporation System and method for segmentation dependent lossy and lossless compression for higher quality
US6396955B1 (en) * 1998-06-25 2002-05-28 Asahi Kogaku Kogyo Kabushiki Kaisha Image compression and expansion device
JP2000244746A (ja) * 1999-02-23 2000-09-08 Minolta Co Ltd 画像処理装置
JP3754873B2 (ja) * 2000-06-05 2006-03-15 キヤノン株式会社 画像通信装置およびその制御方法
JP2002369010A (ja) * 2001-06-05 2002-12-20 Nec Corp 画像符号化装置及び画像復号装置
JP2003087573A (ja) * 2001-09-12 2003-03-20 Ricoh Co Ltd 画像圧縮装置及び画像伸張装置
JP4006333B2 (ja) * 2002-12-26 2007-11-14 キヤノン株式会社 画像圧縮方法、画像処理装置、コンピュータプログラム、コンピュータ可読記憶媒体
JP4001284B2 (ja) * 2003-03-11 2007-10-31 株式会社リコー 画像処理装置および画像処理方法
JP4131205B2 (ja) * 2003-07-23 2008-08-13 セイコーエプソン株式会社 画像処理装置及び画像処理をコンピュータに実行させる画像処理プログラム
US7653265B2 (en) * 2004-01-16 2010-01-26 Nvidia Corporation Video image processing with utility processing stage
US20050207658A1 (en) * 2004-03-05 2005-09-22 Nortel Networks Limited Method and apparatus for extracting information from a medical image
US7933333B2 (en) * 2004-06-30 2011-04-26 Pelco, Inc Method and apparatus for detecting motion in MPEG video streams
JP4360335B2 (ja) * 2005-03-15 2009-11-11 セイコーエプソン株式会社 カラー画像形成装置、カラー画像形成システム、カラー画像処理方法及びプログラム
US7852510B2 (en) * 2005-04-28 2010-12-14 Xerox Corporation Systems and methods for setting configuring rendering parameters for high-speed rendering devices
US7548657B2 (en) * 2005-06-25 2009-06-16 General Electric Company Adaptive video compression of graphical user interfaces using application metadata
US7889233B2 (en) * 2005-08-26 2011-02-15 Nvidia Corporation Video image processing with remote diagnosis and programmable scripting
US7720288B2 (en) * 2006-03-21 2010-05-18 Eastman Kodak Company Detecting compositing in a previously compressed image

Also Published As

Publication number Publication date
JP2007300165A (ja) 2007-11-15
US20080037073A1 (en) 2008-02-14

Similar Documents

Publication Publication Date Title
US8660347B2 (en) Image processing apparatus and processing method therefor
US20020061140A1 (en) Image processing apparatus and method, program and storage medium
JP4871015B2 (ja) 画像処理装置、および画像処理方法
JP2830690B2 (ja) 画像処理装置
JP2008278232A (ja) 画像処理装置および画像処理プログラム
US8259347B2 (en) Image processing apparatus and computer readable medium
JP2007074412A (ja) 固定長圧縮画像と属性情報のパッキングデータを処理する画像処理装置
JP2004201302A (ja) 画像の解像度変換方法
JP5538996B2 (ja) 画像処理装置、画像処理方法、プログラム、および記憶媒体
JP2003087558A (ja) 画像処理装置および方法
JP5441676B2 (ja) 画像処理装置及びその処理方法
KR101937718B1 (ko) 유효 픽셀 기반의 버스 프로토콜을 이용한 영상 처리 장치 및 방법
JP5267147B2 (ja) 画像処理装置、画像処理方法、及び、コンピュータプログラム
JP2006217379A (ja) 画像処理装置および画像処理方法
JP2008033488A (ja) 画像処理装置
CN110913223B (zh) 图像解压缩装置、其控制方法及计算机可读存储介质
US20090021755A1 (en) Image processing apparatus, data processing method, and printing system
JP4878040B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラムおよび記録媒体
JP5719665B2 (ja) 画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラム
JP2000227848A (ja) 画像処理装置
JPH064070A (ja) 画像処理装置
JP3576575B2 (ja) 画像処理装置及び画像処理方法
JP2009284092A (ja) 画像符号化装置、画像符号化方法、画像符号化プログラムおよび記録媒体
JP2005244748A (ja) 画像処理方法及び画像処理装置
JP4860558B2 (ja) 符号化装置及び符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111115

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111118

R150 Certificate of patent or registration of utility model

Ref document number: 4871015

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees