JP3909924B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3909924B2 JP3909924B2 JP21955597A JP21955597A JP3909924B2 JP 3909924 B2 JP3909924 B2 JP 3909924B2 JP 21955597 A JP21955597 A JP 21955597A JP 21955597 A JP21955597 A JP 21955597A JP 3909924 B2 JP3909924 B2 JP 3909924B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- character
- information
- data
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理装置、特に符号化を用いる画像処理装置に関する。
【0002】
【従来の技術】
画像処理装置の分野で、画像データを圧縮するために、ブロックトランケーション符号化方式が用いられている。ブロックトランケーション符号化方式の圧縮率は他の方法に比べて低いので、メモリ容量を削減するために、さらなる再符号化が行われる。メモリ容量をさらに削減するための1つの再符号化方法では、画像データをブロック分割し、符号化の前に、そのブロック単位で文字属性か非文字属性かの属性判別を行う。各属性に応じた再符号化を行う。
【0003】
【発明が解決しようとする課題】
上述のブロックトランケーション符号化と属性判別結果を用いた再符号化において、1つの方法では、文字属性ブロックである時には、そのブロックに含まれる画像データより2値化を行う。そして、ブロックトランケーション符号化方式を用いて圧縮した後、文字属性時には、符号情報を2値化した情報(各画素1ビット)から2値データの状態を示すモード情報と2値データ混合のブロック時には、ブロックトランケーション符号化の符号情報を記憶する。しかし、この方法では、スキャナ等の入力装置により読み取られた文字画像データは、その入力装置の読み取り精度により本来は文字画像の急勾配のエッジ部においても、比較的緩やかな勾配のエッジとして読み取られてしまったりする。また、ブロックトランケーション符号化のブロック切り出し位置の影響により、文字属性の場合、ブロックトランケーション符号化データでの符号情報の偏りにより2値化を行い、その2値データ(1画素1ビット)を記憶して高圧縮率で符号化しても、復号時の文字画像のエッジの周辺にがたつき、欠け、ノイズ等が発生してしまい、文字画像の画質が見苦しくなってしまう可能性がある。
また、1つの方法では、文字属性であるときには、ブロック内の画素データを2値化して0(黒)か255(白)に置換した後、ブロックトランケーション符号化を行う。そして、文字属性であるときは、すべて黒、すべて白、白黒混合を表すモード情報を符号化し、さらに白黒混合のときにはブロックトランケーション符号データの符号情報を符号化する。ここで、文字属性時には、符合情報を2値化した情報(各画素1ビット)のみを記憶することで再符号化を行う場合、4×4画素のブロックあたり、各画素の符号情報(00と11)の2バイトのみの情報量を記憶することで、高い圧縮率を得ることができる。しかし、この方法では、文字画像を0、255に2値化してしまうため、復号時に非文字ブロックと文字ブロックの境界に濃度差が生じ、画像が見苦しいものとなってしまっていた。
また、1つの方法では、文字属性のときにそのブロック内の文字情報と文字背景情報を算出し、各画素を前記の2種類の情報に置き換える。その後、ブロックトランケーション符号化をおこなう。そして、文字情報と、文字背景情報と、すべて文字、すべて文字背景、文字と文字背景との混合を表すモード情報とを記憶し、さらに文字と文字背景の混合である場合にブロックトランケーショントランケーション符号化の符号情報を記憶し再符号化をおこなう。しかし、この方法では、ブロックトランケーション符号化の処理の前の大量の画像データを用いて、属性判別処理および文字変換処理をおこなわねばならず、多数のバッファメモリを必要とし、回路構成が複雑になってしまう。
【0004】
本発明の目的は、文字領域と非文字領域(写真等)の混在する画像をブロックトランケーション符号化方式を用いて符号化を行う場合、画像データの画質を損なうことなく、文字画像の解像度を保持した状態で、復号時に文字属性と非文字属性の境界に生じる画像の不具合を生じることなく、高い圧縮率の符号化を得ることができる画像処理装置を提供することである。
【0005】
【課題を解決するための手段】
本発明に係る第1の画像処理装置は、画像データを複数画素の領域に分割する分割手段と、前記分割手段によって分割された領域が文字属性であるか非文字属性であるかを画像データを基に判別する属性判別手段と、前記属性判別手段によって文字属性であると判別された領域について当該領域内の文字レベルと下地レベルとを算出し、当該領域の各画像データを前記文字レベル又は前記下地レベルに置き換える置換手段と、前記置換手段によって置き換えられた前記領域内の画像データを、当該領域に含まれる複数のブロックの各々についてブロックトランケーション符号化方式によって符号化する符号化手段と、前記符号化手段により得られた符号化データに基づいて、各ブロックが全画素が文字を示すブロック、全画素が下地を示すブロック、および、文字と下地の混合のブロックのいずれであるかを判定する判定手段と、ブロックの各画素が文字なのか下地なのかを示すコードを符号化データから決定するコード決定手段と、各ブロックについて、前記置換手段により算出された文字レベルと下地レベル、及び、前記判定手段により判定されたブロックの種類を記憶し、前記判定手段により文字と下地の混合ブロックであると判定されたブロックについては、さらに、コード決定手段により決定されたコードを記憶する再符号化手段とを備える。好ましくは、この画像処理装置は、再符号化手段により記憶されたデータを伸長する伸長手段を備える。
【0006】
すなわち、文字領域と非文字領域(写真等)の混在する画像がスキャナ等の読み取り装置により読み取られると、この画像処理装置において、画像データの符号化が行われる。まず、ブロックトランケーション符号化前の画像データにおいて、所定の領域単位(たとえば8×8画素)で文字属性か非文字属性かの属性判別を行う。画像データは、濃度データ(カラー時には、輝度と色度データ)である。その領域が文字属性である時には、濃度データ(カラー時には、輝度データ)から、領域内の文字情報(白下地上の黒文字レベル)と下地情報(文字背景レベル)を算出し、領域内の各画素の濃度データ(カラー時には、輝度データ)を文字情報と文字背景情報の2種類の濃度に置き換える。次に、全画像データについて所定のブロック単位(たとえば4×4画素のブロック)でブロックトランケーション符号化を行い、情報量を削減する。次に、ブロックトランケーション符号化データを以下のように利用してさらに情報量を削減する。文字属性であると判別された場合は、ブロックトランケーション符号化によって得られた平均値情報と階調幅情報により、注目ブロックは、すべて文字、すべて下地、または、文字と下地の混合の3種類に分類されることに留意して、ブロックの種類をモード情報として記憶し、それを利用して再符号化をする。このモード情報は、すべて文字情報であることを表す全文字モード、すべて下地情報であることを表す全下地モード、および、文字と下地とからなる混合モードからなる。すなわち、再符号化において、文字属性の領域において、上述の文字レベル、下地レベルおよびモード情報を記憶するとともに、さらに、モード情報が文字と下地との混合である場合には(すなわち、文字のエッジ部である場合には)、各画素が文字なのか下地なのかを示すコード(各画素について1ビット)を符号化データから求める。具体的には、ブロックトランケーション符号化の符号情報(各画素について上位1ビット)を記憶する。こうして、たとえば8×8画素を属性判定の1領域とし、4×4画素を1ブロックとすると、従来のブロックトランケーション符号化では1領域あたり16バイト(階調レベル数を2とする)が必要であったデータ量が、文字レベル(1バイト)、下地レベル(1バイト)、モード情報(2ビット)、および、モード情報が文字と下地の混合である場合にはさらに符号情報(各画素1ビット)となる。これによりもともと64バイト(カラー時には192バイト)の情報量が3〜11バイトに圧縮できる。そして、伸長手段により、復号時にも原画像の文字画像がもつ文字情報と下地情報を再現することが可能となり、良好な画像品質を得ることが可能になる。
【0007】
本発明に係る第2の画像処理装置は、画像を複数画素のブロックに分割する分割手段と、前記分割手段によって分割された画像データに基づいてブロック内の画像データをブロックトランケーション符号化方式により符号化する符号化手段と、前記符号化手段によって得られた符号化データに基づいて、各ブロックが文字属性であるか非文字属性であるかを判別する属性判別手段と、前記符号化手段によって得られた符号化データに基づいて、前記属性判別手段により文字属性であると判別されたブロックの文字レベルと下地レベルとを算出し、この文字レベルと下地レベルを基に、前記符号化手段によって得られた符号化データを変換する変換手段と、前記変換手段により変換された符号化データに基づいて、前記文字レベルと前記下地レベル、および、各ブロックが、全画素が文字を示すブロック、全画素が下地を示すブロック、および、文字と下地の混合のブロックのいずれであるかを示すブロック情報を記憶し、文字と下地の混合のブロックについては、さらに、各画素が文字なのか下地なのかを示すコードを記憶する再符号化手段とを備える。
この画像処理装置においては、スキャナ等の読み取り装置により読み取られた文字領域と非文字領域(写真等)の混在する画像の符号化において、まず、所定のブロックの単位でブロックトランケーション符号化を行い、情報量を削減する。次に、ブロックトランケーション符号化により得られた符号化データは、画像の特徴を保持しているので、この符号化データを用いて、所定のブロック単位で文字画像か非文字画像かの属性判別を行う。そして、そのブロックが文字属性である時には、その属性に相当する複数ブロックに相当する平均値情報と階調幅情報より、そのブロックを代表する文字情報と下地情報の各1バイトのデータを抽出する。そして、当該ブロックのブロックトランケーション符号化データ(各平均値情報と階調幅情報、および、各画素の符号情報)を、抽出された文字情報と下地情報で変換する。この処理により、文字属性であるとき、変換された符号化データより、すべて文字、すべて下地、または、文字と下地の混合の3種類に分類される。そして、その状態を表すモード情報に各ブロックについて2ビットを割り当て、記憶する。このモード情報を利用して再符号化を行う。モード情報が文字と下地との混合である場合には、各画素についてブロックトランケーション符号化データより上位1ビットを、文字または下地を表すデータとして抽出し、1ビットの符号情報として記憶する。これにより、属性判別および文字属性変換は、ブロックトランケーション符号化をした符号化データを用いて行うことができ、もともとの原画像データを扱うより比較的少ない画像データをアクセスするだけでよい。そのため、属性判別処理や文字変換処理にかかわる回路の規模を削減できる。そして、復号時にも伸長手段により、原画像の文字画像がもつ文字情報と下地情報を再現することが可能となり、良好な画像品質を得ることが可能になる。
【0008】
【発明の実施の形態】
以下、添付の図面を参照して本発明の実施形態を説明する。
(第1実施形態)
図1は、第1実施形態のデジタルフルカラー複写機の構成を示す。デジタルフルカラー複写機は、画像読み取り部100とプリンタ部200から構成される。通常は画像読み取り部100で読み取られた画像データをプリンタ部200に送信し、画像を形成することにより、複写機能を達成する。またインターフェイス108を介して外部機器との接続が可能であるため、画像読み取り部100で読み取った画像データを外部機器に出力したり、逆に外部機器からの画像データをプリンタ部200に送ることにより、画像を形成することが可能である。
【0009】
次に、画像読み取り部100について説明する。画像読み取り部100は、原稿の画像データを読み取る。露光ランプ101により照射された原稿ガラス107上の原稿の反射光は、3枚のミラー群103によりレンズ104に導かれCCDセンサ105に結像する。また,露光ランプ101とミラー103aは,スキャナモータ102により矢印の方向へ倍率に応じた速度Vでスキャンすることにより原稿ガラス107上の原稿を全面にわたって走査することができる。またミラー103bと103cは,露光ランプ101とミラー103aのスキャンに伴い、速度V/2で同方向へ移動される。
CCDセンサ105に入射した原稿の反射光は、センサ内で電気信号に変換される。次に、電気信号は、画像処理回路106によりアナログ処理、A/D変換、デジタル画像処理が行なわれた後、インターフェイス108またはプリンタ部200へ送られる。
【0010】
次に、プリンタ部200について説明する。プリンタ部200は、入力された画像データを電子写真プロセスで印字する。
はじめに露光について説明する。プリンタ部200には露光ヘッド202、感光体204、転写ベルト218を中心に各エレメントが配置されている。まず、画像データ補正部201は、画像読み取り部100またはインターフェイス108から送られてきた画像データについて、色補正やγ補正等の補正処理をし、露光ヘッド202に送る。露光ヘッド202の内部では、送られてきた画像データの電気信号に応じてレーザーを発光させてその光をポリゴンミラーにより1次元走査し、その光はミラー対203を経て感光体204へ到達する。
【0011】
次に、感光体204の周りの構成について説明する。感光体204の周辺には電子写真プロセスを行なうためのエレメントが配置されている。感光体を図において時計周りに回転することにより各プロセスが連続的に行なわれる。電子写真プロセスでは帯電/露光/現像/転写/清掃の工程を1ルーチンとし、この処理を繰り返し行なうことにより画像形成を行なう。特にフルカラー画像においてはこの処理を各現像色毎に4回繰り返すことによりフルカラー画像を形成する。まず帯電チャージャ205により感光体204を帯電させ、帯電された感光体204が前記レーザー光によって露光される。レーザーの発光は画像データが高濃度であるほど明るく光るようになっているため感光体上の電荷は除去される。そして除去された部分(潜像)は現像器群206により現像色毎に現像される。感光体204上に形成されたトナー像は転写前イレーサ208により余分な電荷が除去された後、転写チャージャ209により転写ベルト218上の用紙上に転写される。感光体204は、その後クリーナー210で余分なトナーを清掃した後、メインイレーサ211により再度除電され次の工程に備える。
【0012】
次に、用紙の給紙/搬送について説明する。用紙は、以下の順序で転写ベルト218に供給され最終出力画像を形成する。給紙カセット群212の中には様々なサイズの用紙がセットされており、所望のサイズの用紙は各給紙カセット212に取付けられている給紙ローラー213により搬送路へ供給され、搬送ローラー群214によりタイミングローラー217へ送られる。また給紙カセット群212の中に所望の用紙がセットされていない場合には、手差しトレイ216に用紙をセットすることにより、手差し用給紙ローラー215により同様にタイミングローラー217へ送られる。
【0013】
次に、転写/定着について説明する。転写ベルト218は,表面に転写フィルムが貼り付けられた円筒体であり、感光体204の回転速度と同じスピードで反時計周りに回転している。タンミングローラー217は所定のタイミングで用紙を供給し、転写ベルト218に供給された用紙は、吸着チャージャー219により転写ベルト218に静電吸着される。そして転写チャージャ209により用紙上にトナー像を保持しながら各現像色のトナーを用紙上に重ね合わせる。そして用紙上に全てのトナー像が転写されたら、除電分離チャージャ対221により静電吸着していた用紙の電荷を除電し、転写ベルト218から用紙を分離する。そして、次の用紙吸着に備えて転写ベルト上を除電チャージャー対222により再度除電する。転写ベルト218上から分離された用紙上のトナー像は、定着ローラー対223により加熱され溶かされて用紙上に定着された後、トレイ225へ排出される。
【0014】
図2は、CCDセンサ105で読み取った画像データがプリンタの露光部に到達するまでの処理の概略を示す。まず、CCDセンサ105に入射した光は、光電変換により赤、緑、青の電気信号R、G、Bとして出力される。ここで、A/D変換やシェーディング処理についての説明は省略する。
次に、色補正処理部601において、これらのR、G、B信号を後段の画像処理で扱いやすくするために標準RGBのデータOR/OG/OB(NTSC規格やハイビジョン規格等で規格化されている)に変換しておく。
OR=F1R(R,G,B)
OG=F1G(R,G,B)
OB=F1B(R,G,B)
ここで用いる変換関数F1R/F1G/F1Bは、それぞれ引数R,G,Bに一定比率を掛け総和したものであり、例えばF1Rでは引数Rに対する係数が最も高く、引数G,Bに対する係数は低くなっている。
次に、色空間変換処理部602により、標準化されたOR/OG/OBデータをL*a*b*色空間に変換する。L*a*b*空間に変換する理由は、画像劣化が比較的少なく画像の符号化が行なえることと、様々な装置の間でカラー画像データをやり取りするうえで都合がよいからである。
L*=F2L(OR,OG,OB)
a*=F2a(OR,OG,OB)
b*=F2b(OR,OG,OB)
ここで用いる変換関数F2L/F2a/F2bは、入力データOR/OG/OBをNTSC規格やハイビジョン規格等で決められている変換式に基づいてまずXYZ表色系に変換し、その後L*a*b*表色系に変換する。
次に、色空間の最適化処理部603は、L*a*b*データに対して、さらに符号化を行う前に符号化/復号化による画質劣化を最小限に抑さえるために色空間の最適化処理を行う。
L*1=F3L(L*)
a*1=F3a(L*,a*)
b*1=F3b(L*,b*)
ここで用いる変換関数F3L/F3a/F3bは、入力データL*/a*/b*を線形変換する関数であり、変換後のデータL*1, a*1, b*1はもはや色情報は保持していないことになる。
【0015】
次に、符号化/復号化処理部604は、符号化時にはL*1,a*1,b*1データをブロックトランケーション符号化方式により符号化して圧縮画像メモリ610に蓄え、また、復号化時には、逆に圧縮画像メモリ610内の符号化データを復号化して後段の画像処理に画像データを送る。ブロックトランケーション符号化/復号化方式は不可逆方式であるため、入力データL*1,a*1,b*1と出力データL*2,a*2,b*2は若干異なるデータになる。
L*2=F4L(L*1)
a*2=F4a(a*1)
b*2=F4b(b*1)
ここで用いる変換関数F4L/F4a/F4bは、意図時に変換を行なう関数ではなく、符号化/復号化を行なう際に発生するデータの劣化を表すものであり、周辺データの分布具合により変化するものであり、符号化/復号化を行なってみないとわからないところである。
【0016】
次に、色空間逆最適化処理部605は、上述の色空間最適化処理部603で行った処理とちょうど逆の処理を行う。
L*3=F5L(L*2)
a*3=F5a(L*2,a*2)
b*3=F5b(L*2,b*2)
ここで用いる変換関数F5L/F5a/F5bは、F3L/F3a/F3bの逆関数である。この処理を行うことにより逆変換後のL*3/a*3/b*3データは色空間最適化処理前のL*a*b*に相当するデータとなるため、再び色情報をあらわすデータとなる。
【0017】
次に、色空間逆変換処理部606は、復号されたL*3,a*3,b*3をもとのOR,OG,OBデータに相当するデータに変換する。ただし、前段の処理で画像データの劣化がおきているため、完全には復帰しない。そのためここではOR1,OG1,OB1と表現する。
OR1=F6R(L*3,a*3,b*3)
OG1=F6G(L*3,a*3,b*3)
OB1=F6B(L*3,a*3,b*3)
ここで用いる変換関数F6R/F6G/F6Bは、ちょうどF2L/F2a/F2bの逆関数となっている。
次に、反射濃度変換部607は、反射データOR1、OG1、OB1を濃度データDR、DG、DBに変換する。
DR=F7R(OR1)
DG=F7G(OG1)
DB=F7B(OB1)
ここで用いる変換関数F7R/F7G/F7Bはlog関数である。
【0018】
さらに、マスキング処理部608は、プリンタ部200で印字を行なうために濃度データDR、DG、DBを現像器206のトナー色であるシアン、マゼンタ、イエロー、ブラックのデータC、M、Y、Bkに変換する。
Y=F8Y(DR,DG,DB)
M=F8M(DR,DG,DB)
C=F8C(DR,DG,DB)
Bk=F8Bk(DR,DG,DB)
ここで用いる変換関数F8Y/F8M/F8C/F8Bkは、それぞれ引数DR、DG、DBに一定比率を掛け総和したものであり、例えばF8Yでは引数DBに対する係数が最も高く、引数DR/DGに対する係数は低くなっている。
最終段であるガンマ補正処理部609は、これらのYMCBkデータに対して印字濃度がリニアに再現されるようにγ補正を行ない、データY1、M1、C1、Bk1を出力する。
Y1=F9Y(Y)
M1=F9M(M)
C1=F9C(C)
Bk1=F9Bk(Bk)
ここで用いる変換関数F9Y/F9M/F9C/F9Bkは、実験的に求められた階調カーブの補正用テーブルとして用いられる。プリンタの露光ヘッド202は、補正データY1、M1、C1、Bk1に基づき印字を行う。
【0019】
これらの画像処理回路は、CPU611によりパラメータ等の設定や変更が可能となっている。また圧縮画像メモリ610内のデータはCPU611により読み込み及び書き込みが可能になっている。そしてCPU611により実行される処理はROM612に書き込まれており、その処理途中で必要なパラメータや計算用のバッファはRAM613を用いて読み込み及び書き込みが行われている。また、CPU611により再圧縮によって得られる再圧縮データは、データ記憶装置であるハードディスク614に記憶される。
【0020】
上述の符号化/復号化処理部604は、画像データの符号化/復号化において、ブロックトランケーション符号化(GBTC)と再符号化を組み合わせる。画像データの符号化/復号化について説明する前に、まず、図3により、ブロックトランケーション符号化の概念を説明するが、ここで用いるブロックトランケーション符号化は従来と同様である。まず原稿画像の画像データから所定サイズのM*N画素の画像データブロックを切り出す(ここではM=N=4)。そしてこの切り出された画像ブロック毎に、次に説明するように特徴量を抽出し、特徴量をもとにそれぞれの画素データの符号化を行なう。符号化された画像データは6バイトデータ(LA、LD、φij)で表されるため原画像データ16バイトに対して3/8に圧縮されたことになる。これらの操作を原稿画像全領域にわたって行なうことにより、全原稿画像データの圧縮が可能となる。
ブロックトランケーション符号化では、画像の種類にかかわらず必ず3/8の圧縮画像を得ることができるため、メモリ容量の確定が行ないやすく、圧縮後の画像が領域情報を保持していることから圧縮後の画像データに対して編集加工が行ないやすい。また、圧縮された画像データは、符号化の逆の操作により復号され、原画像に近い比較的劣化の少ない画像を再現出来る。
【0021】
図4は、ブロックトランケーション方式の具体的な符号化/復号化アルゴリズムを示し、以下のステップに従って符号化/復号化が行なわれる。
(1) ブロック内の画像データXijの最大値Lmaxと最小値Lminを求める。
(2) 求められたLmaxとLminを基にパラメータP1とP2を求める。
P1=(Lmax+3*Lmin)/4
P2=(3*Lmax+Lmin)/4
(3) ブロック内の画像データの内P1以下の画像データ全ての平均値Q1を求める。
(4) 同様にP2以上の平均値Q4を求める。
(5) Q1とQ4から平均値LAを求める。
LA=(Q1+Q2)/2
(6) Q1とQ4から階調幅指数LDを求める。
LD=Q4−Q1
(7) 求められた平均値LAと階調幅指数LDから符号化レベルL1とL2を求める。
L1=LA+LD/4
L2=LA−LD/4
(8) ブロック内の画像データと、求められたLAとL1とL2との大小関係によってブロック内の画像データを4つのデータブロックに分類する。
(9) 分類された4つのデータブロックに対して2ビットの符号φij(i,j=0,1)を割り当てる。ここに、
Xij≦L1なら、 φij=01
L1<Xij≦LAなら、 φij=00
LA<Xij≦L2なら、 φij=10
L2<Xij なら、 φij=11
(10) 以上のステップにより得られた平均値LAと階調幅指数LDと計32ビットの符号化画像データφijをメモリに蓄える。
(11) 復号時には、メモリに蓄えられた平均値LAと階調幅指数LDから復号後の画像データを4種類計算する。
φij=01なら、 Xij=LA−LD/2
φij=00なら、 Xij=LA−LD/6
φij=10なら、 Xij=LA+LD/6
φij=11なら、 Xij=LA+LD/2
(12) 符号化画像データの各画素データφij毎に(11)で求められた復号後の画像データXijを割り当てる。
【0022】
以上のように符号化し、復号化した後の画像は、各ブロック内において4種類の画像データに分類されてしまうため、原画像に対して明らかにデータの誤差が存在する。しかし、その誤差レベルが人間の視覚特性上非常に目立ちにくいレベルであるため、自然画像の圧縮では画質劣化はほとんどわからない。
一方、文字画像では、圧縮を行なうと高周波成分が除去されることによるエッジ部分のボケによる画質劣化が起こると一般的に言われている。しかし、GBTC方式によればパラメータQ4とQ1が完全に保存されていることから、文字の黒部分がパラメータP1以下であり、白部分がP2以上であれば完全に復元可能であるといえる。
図5は、符号化/復号化処理部604におけるブロックトランケーション(GBTC)符号化部502(図6)のブロック図を示す。原稿画像から切り出した4*4画素の16個の画像データから、最大値検出回路301、最小値検出回路302、平均値回路303、305において最大値Lmax、最小値Lmin、平均値Q1、Q4等を求め、符号割当部304は、これらのデータを元に16個の画像データについてそれぞれ2ビットの符号割り当て(φij)を行う。復号器306は、平均輝度情報LAと階調幅情報LDと各符号データφijを基に画像データの復元を行う。
【0023】
以下に、符号化/復号化処理部604における、上述のブロックトランケーション符号化を用いた画像データの符号化と復号化について説明する。図6は、符号化/復号化処理部604の符号化ブロックのブロック図である。まず、スキャナ等の読み取り装置により読み取られた文字(白黒2値および白黒べた)領域と非文字領域(写真など)の混在する画像について、画像データは、濃度データ(カラー時には、輝度と色度データ)である。読取装置により読み取られたカラー画像データは、図2に示される色空間変換部602により明度データと色度データに分離される。明度データと色度データのそれぞれを所定のN×M(N、Mは整数)の領域に分割し、その領域内のデータを用いて、文字属性か非文字属性かの属性判別を行う。この領域は、ブロックトランケーション符号化のためのブロックより大きい。本実施形態では、領域は8×8画素の大きさであり、ブロックは、4×4画素の大きさである。図2に示される色空間最適化処理部603から入力された輝度情報L*、色度情報a*およびb*は、ブロックトランケーション符号化の前に、それぞれ文字属性変換部501に入力される。文字属性変換部401は、上述の領域単位(たとえば8×8画素)で文字属性か非文字属性かの属性判別を行い、8×8画素の領域あたり一つの属性として、属性データを出力する。その領域が文字属性である時には、濃度データ(カラー時には、輝度データ)から、後で図9で説明する文字属性変換処理による2値化後のデータに置き換える。すなわち、領域内の文字情報(白下地上の黒文字)と文字背景情報(文字背景とは下地を意味する)を算出し、領域内の各画素の濃度データ(カラー時には、輝度データ)を文字情報と文字背景情報の2種類の濃度に置き換える。また、文字属性変換部401によって判別された結果は、属性データとしてメモリに記憶される。
次に、GBTC符号化部402は、全画像データについて所定のブロック単位(たとえば4×4画素)でブロックトランケーション符号化を行い、情報量を削減する。すなわち、色空間最適化処理部603により入力された色度情報a*およびb*と文字属性変換部401より得た輝度情報L*とを、4×4画素を1ブロックとして、16バイトの情報が6バイト(平均値情報LA、階調幅情報LDおよび符号情報φij)に符号化される。そして、圧縮画像メモリ部610に符号化されたデータを保存する。
【0024】
次に、再符号化部403は、文字属性変換部401より入力される属性データとGBTC符号化部402より入力される符号化データより、再符号化処理を行なう。すなわち、再び属性判別結果を呼び出し、ここで、GBTC符号化部502から入力される2×2ブロック(8×8画素)の符号化データのうち、その2×2ブロックに相当する属性データ(文字属性か非文字属性か)に応じて、必要な情報のみを出力して、不必要な情報は削除することにより、再符号化を行なう。文字属性のブロックである場合は、次のように再符号化をおこなう。この場合、ブロックトランケーション符号化方式によって得られた平均値情報と階調幅情報により、すべて文字(全文字モード)か、すべて文字背景(全文字背景モード)か、または、文字と文字背景の混合(混合モード)かの3種類に分類される。そこで、再符号化部403は、これをモード情報として記憶し、それを利用して以下の再符号化処理を行う。すなわち、
(1) 当該ブロックの文字濃度と背景濃度(各1バイト)を出力する。
(2) GBTC符号化データの平均値情報が文字情報と等しい時、すべて文字情報を示すモード情報(2ビット)を出力する。
(3) GBTC符号化データの平均値情報が背景情報と等しい時、すべて背景情報を示すモード情報(2ビット)を出力する。
(4) GBTC符号化データの平均値情報が背景情報、文字情報とともに等しくない時(すなわち、(文字情報+背景情報)/2に等しい時)、文字背景濃度混合を示すモード情報(2ビット)とその時のGBTC符号化データの符号データを出力する。
このように、再符号化において、文字属性の領域において、文字情報、下地情報、モード情報、および、モード情報が文字と下地との混合である場合にはブロックトランケーション符号化の符号情報(各画素1ビット)を記憶する。
こうして、再符号化により情報量がさらに削減される。たとえば8×8画素を属性判定の1領域とし、4×4画素を1ブロックとすると、1領域は4ブロックからなる。従来のブロックトランケーション符号化では1領域あたり16バイト(階調レベル数を2とする)が必要であったデータ量が、文字情報(1バイト)、下地情報(1バイト)、モード情報(2ビット)、および、モード情報が文字と下地との混合である場合にはさらに符号情報(各画素1ビット)からなる。これによりもともと64バイト(カラー時には192バイト)の情報量が3〜11バイトに圧縮できる。そして、復号時にも原画像の文字画像がもつ文字情報と下地情報を再現することが可能となり、良好な画像品質を得ることが可能になる。
【0025】
図7は、図6に示した符号化ブロックにより符号化された符号データの復号化を行なう復号化ブロックのブロック図である。まず、メモリに記憶された属性データが伸長処理部404に入力され、その属性データに応じて、入力すべき輝度情報L*、色度情報a*およびb*の符号データを選択する。そして、入力された各情報の符号データを属性データに応じて1ブロックあたり6バイトの符号データ(平均値情報LA、階調幅情報LDと符号情報φij)を生成し出力する。伸長処理部404により出力された1ブロックあたり6バイトの符号データ(平均値情報LA、階調幅情報LDおよび符号情報φij)は、画像編集/加工部405により、必要に応じて符号化されたデータの状態で画像編集/加工処理をおこない、GBTC復号化部406により、もとの画像に復号される。
【0026】
図8は、CPU611の全体制御のフローチャートを示す。電源が投入されると、まず、画像処理装置を制御するために必要な内部変数の初期化や、各エレメントの初期化を行なう(ステップ#10)。
次に、ユーザーの所望している操作モードを設定し(ステップ#11)、設定されたモードに基づき、画像読み取りのためのシェーディング処理や画像形成のための各エレメントの準備等の前処理を行なう(ステップ#12)。ステップ#11と#12の処理を、操作パネル(図示せず)のプリントキーが押される(ステップ#13でYES)まで繰り返す。プリントキーが押されると、設定されたモードに基づき、スキャナや画像処理回路を制御する画像読み取り処理を行なう(ステップ#14)。
次に、読み取った画像データから、8×8画素を1ブロックとしてブロック切り出しを行ない、注目ブロックが文字ブロックであるか、中間調の非文字ブロックなのかの決定をする属性判別処理を行ない、その結果、注目ブロックの属性が文字属性の時、読み取った画像データの2値化を行なう文字属性変換処理を行なう(ステップ#15、図9参照)。また、得られた属性判別の結果を属性マップメモリに記憶する。なお、本実施形態においては、属性を決定するブロックの大きさは8×8画素と設定しているが、その大きさの設定は8×8画素に限られない。
【0027】
次に、文字属性のブロックは文字属性変換処理を施した画像データを、それ以外のブロックは元の読み取った画像データを圧縮してメモリに蓄えるための画像符号化処理を行なう(ステップ#16)。ここでいう画像符号化処理は符号化そのものではなく、圧縮の条件を予め設定したり、圧縮後のデータに何らかの処理を施すことを示す。(なお、符号化処理そのものはハードウェアで行なう。)
圧縮された画像データをさらに注目ブロックに応じて、属性に応じた最適な再圧縮を行ない、その再圧縮データをメモリに書き込む(ステップ#17、図10参照)。
次に、再圧縮されたデータを呼び出し、伸長を行う(ステップ#18、図21参照)。ここでの再符号化処理および、そこからの復号化処理そのものはソフトウェアで行なう。
次に、画像復号化処理(ステップ#19)を行なうが、ここでは符号化された画像データをプリンタで印字可能なデータに復号を行なうことを目的としているため、基本的には画像符号化処理で行なった処理の逆の処理を行なう。
次に、画像形成処理では画像データを可視化するために必要な、帯電/露光/現像/定着等の電子写真プロセスの制御を行なう(ステップ#20)。次に、作像後の感光体清掃等、直接作像動作とは関係しないが、装置のコンディションを維持するために必要な後処理を行なう(ステップ#21)。最後に、上記制御とは直接関係しないが、定着器の温度制御や通信制御等を行なう(ステップ#22)。
以上の処理を電源が切られるまで繰り返し行なう。
【0028】
図9は、文字属性変換処理(図8、ステップ#15)のフローチャートを示す。この処理において、読み込まれた画像データにおいて、8×8画素を1ブロックとし、そのブロックが文字属性ブロックの時、そのブロック内での黒文字濃度(本実施形態においては、反射率)と黒文字背景の下地濃度(本実施形態においては、反射率)を求め、ブロック内のすべての画素をその2種類の濃度のいずれかに置き換える。
読み込まれた画像データ(輝度データL*と色度データa*、b*)から8×8画素を切り出し、それを1ブロックとする(ステップ#151)。
そして入力された1ブロックの画像データによりそのブロックが文字属性(本実施形態においては黒文字属性)が非文字属性のいずれかの属性に属するかを判別する(ステップ#152)。そして、注目ブロックの判定された属性が文字属性か否かにより分岐する(ステップ#153)。注目ブロックが文字属性であるとき、ブロック内のすべての画素のヒストグラムを計算し、そのヒストグラムにできる2つのピーク値から、そのブロック内の黒文字反射率RE1と下地反射率RE2(ここでは文字データと下地データを反射率で表す)を求める(ステップ#154)。次に、そのブロック内の画素データが以下の式で計算されるしきい値TH1以上であるか否かを判断する(ステップ#155)。
TH1=(RE1+RE2)/2
そして、注目すべき画素データが所定値TH1以上のとき、その画素データを下地濃度であることを表す白反射率データRE2に置き換え(ステップ#156)、注目すべき画素データが所定値TH1未満のとき、その画素データを黒文字であることを表す黒反射率データRE1に置き換える(ステップ#157)。次にステップ#155に戻り、以上の処理を注目ブロックに含まれるすべての画素データにおいて行う(ステップ#158)。
ブロック内のすべての画素データについての処理が終わると(ステップ#158でYES)、ステップ#151に戻り、画像に含まれるすべてのブロックの処理が終わる(ステップ#159でYESとなる)まで、上記の処理を繰り返す。
【0029】
図10は、再圧縮処理(図8、ステップ#17)のフローチャートを示す。再圧縮処理の具体的な方法は、各ブロックが文字属性か非文字属性のいずれの属性に属するかを判別した後に、そのブロックに相当するブロックトランケーション符号化処理後の符号化データ(輝度と色度の平均値情報LA、階調幅情報LD、各符号情報φij)を再圧縮する方法である。各属性における再圧縮方法に関しては後で述べることとし、ここでは再圧縮手順について説明する。
まずブロックトランケーション符号化により得られた符号化データを、2×2ブロック(画素単位にすると、8×8画素)と、それらのブロックに相当する属性情報を読み込み(ステップ#171)、読み込まれた属性データにより各再圧縮処理に分岐する(ステップ#172)。注目すべき2×2ブロックの属性データが文字属性と判定されたら、その2×2ブロック内の符号化データにおいて文字画像の再圧縮処理を行う(ステップ#173、図11参照)。また、注目すべき2×2ブロックの属性データが非文字属性と判定されたら、その2×2ブロック内の符号化データにおいて非文字画像の再圧縮処理を行う(ステップ#174)。そして、各属性別での再圧縮処理をしたデータを書き込む(ステップ#175)。以上の処理を画像ブロックすべてについて終了するまで繰り返して行う(ステップ#176)。
なお、上述の非文字画像の再圧縮処理(ステップ#174)において、さらにカラーか白黒かの属性判別により、色度情報a*、b*の符号化データを削除し、輝度情報L*のみを再符号化したり、また符号化データのうち、階調幅情報LDの大きさによって、符号情報φijを割り当てる階調数(量子化レベル)を切り替えて再符号化をおこなってもよい。(たとえば、LDが大きければ、各φijに割り当てるビット数を2ビット(4階調)とし、LDが小さければ、各φijに割り当てるビット数を1ビット(2階調数以下)に減らす)。
【0030】
図11は、文字画像の再圧縮処理(黒文字、黒文字背景の白下地部など)(図10、ステップ#173)のフローチャートを示す。この処理において、ブロック内の各画素データは、文字属性変換処理(図9参照)で設定した所定データ(文字データRE1か下地データRE2のいずれか)であるので、符号化された画像ブロックの輝度L*の平均値情報LA、階調幅情報LDの取り得る値の組み合わせは、以下の3種類(すべてRE1、すべてRE2、RE1とRE2の混合)しか有り得ない。
1) すべてRE2 LA=RE2、LD=0
2) すべてRE1 LA=RE1、LD=0
3) RE1とRE2の混合 LA=(RE2+RE1)/2、LD=RE2−RE1
よって、文字属性のブロックに相当する符号化データのうち、階調幅情報LDが0に等しい時、すべてRE1なのかすべてRE2なのかが判断できる。また、1つの属性に相当する2×2ブロックにおいて、階調幅情報LDが0になる時の平均値情報LAは、2つ以上(RE1とRE2のみ)存在しないことも明らかである。また、属性に相当する2×2ブロックがすべてRE1とRE2の混合であっても、その4ブロックにおける平均値情報LAと階調幅情報LDは互いに等しくなり、その2つの値より、RE1およびRE2を以下の式で簡単に計算することができる。
RE1=LA−LD/2
RE2=LA+LD/2
さらに、各符号情報φij(i,j=0,1,…,8)に関しても、すべてRE1かすべてRE2のときは、0(各画素2ビット表現で、“00")となり、RE1とRE2の混合時も、各画素2ビット表現で“11"か“00"の2種類しか有り得ない。よって、再符号化時には、その3種類のモードを示す情報(各ブロックにおいて、2ビットで表現、2×2画素で1バイト)とRE1とRE2の混合時のみ、符号情報φijの上位1ビットのみ(1ブロックあたり2バイト)を残して再符号化してやればよい。さらに、属性が黒文字(白下地)であるならば、色相(色成分)を示すa*、b*の情報は必要ではないので、それらの平均値情報LAと階調幅情報LDおよび各符号情報φijのデータは保存する必要性はない。結果として、1ブロック(4×4画素)内の画素がすべてRE1か、すべてRE2か、または、RE1とRE2の混合かを表すモード情報の2ビットと、RE1とRE2の混合のモードの時のみ各符号情報の2バイト(各画素のφijでの上位1ビットのデータ)とに再符号化すればよい。この処理において1/64〜11/192の情報量に圧縮されたことになる。
【0031】
以上の文字属性再圧縮処理の手順を以下に説明する。まず、文字属性に相当するブロックトランケーション符号化データのうち、平均値情報LAと階調幅情報LDの各1バイトを読み込む(ステップ#1731)。
そして、文字属性に相当する2×2ブロックに関して、ブロックトランケーション符号化データのうち、平均値情報LAと階調幅情報LDを用い、後に説明する濃度抽出処理により、そのブロックの2種類の濃度データA、B(ここにA<B)を求める(ステップ#1732)。
次に、各ブロックの平均値情報LAにより、フローが分岐する(ステップ#173)。LA=A(符号化データがすべてA)ならば、その符号化データがすべてAを表すモード情報を出力する(ステップ#1734)。すなわち、1ブロック(4×4画素)に対し、2進法で“00"の2ビットデータを出力する。LA=B(符号化データがすべてB)ならば、その符号化データがすべてBを表すモード情報を出力する(ステップ#1735)。すなわち、1ブロック(4×4画素)に対し、2進法で“01"の2ビットデータを出力する。LA=(A+B)/2(符号データがAとBの混合)ならば、その符号化データがA、Bの混合を表すモード情報を出力する(ステップ#1736)。すなわち、1ブロック(4×4画素)に対し、2進法で"10"の2ビットデータを出力する。
また、LA=(A+B)/2ならば、そのブロックにおけるブロックトランケーション符号化データの符号情報φijの4バイトを読み込み、各画素の符号情報に相当する2ビットデータの上位1ビットのみを出力する(ステップ#1737)。そして、この上位1ビット出力をその符号化データのすべての符号情報φijについて繰り返し(ステップ#1738)、符号情報に対応する2バイトのデータを出力する。
平均値情報LAによって、3種類のモードを判定する上記の処理を属性データに相当するすべての2×2ブロック(8×8画素の領域)の符号化データについて行う(ステップ#1739)。
そして、その結果(2種類の濃度データA、B、モード情報および符号情報)を再圧縮処理より得た結果として出力し、メモリに記憶する(ステップ#17310)。すなわち、2×2ブロックに存在する2種類の濃度データA、Bの2バイト(各1バイト)と各ブロックのモード情報を表す1バイト(2ビット×4)と、モード情報がA、B混合の場合のみ、1ブロックに対し、符号情報φijの上位1ビットを表す2バイトを記憶する。
【0032】
図12は、濃度抽出処理(図11、ステップ#1732)に関するフローチャートを示す。これは図11に説明した文字属性再圧縮で符号化する2種類の濃度データA、B(A<B、各1バイト)を求める処理である。まず、初期設定として、2種類のデータを格納する変数A、Bを0にリセットし、また、その格納状態を示すフラグFLGも0にする(ステップ#17321)。
次に、読み込まれたブロックの階調幅情報LD(2×2ブロックのうちの1つ)が0か否かを判断する(ステップ#17322)。対象となる階調幅情報LDが0に等しいとき、次に、フラグFLGが0に等しい(A、Bのいずれにもデータが格納されていない状態)か否かを判断する(ステップ#17323)。フラグFLG=0ならば、その時のLAを変数Aに格納し、フラグFLGをインクリメントする(ステップ#17324)。また、FLG≠0かつLA≠Aならば(ステップ#17325)、その時のLAを変数Bに格納し、フラグFLGをインクリメントする(ステップ#17326)。
上記のステップ#17322からステップ#17326までの処理をフラグFLGが2より大きくなるまで、あるいは、2×2ブロックのすべての階調幅指数LDに関して終了するまで繰り返す(ステップ#17327)。
次に、依然としてFLGが0に等しいならば(ステップ#17328でYES)、2×2ブロックのどの階調幅指数LDも0でないことより、1つのブロックのLA、LDを用いて以下の式より計算し、その結果を変数A、Bにそれぞれ格納する(ステップ#17329)。
A ← LA−LD/2
B ← LA+LD/2
また、フラグFLGが0に等しくないなら(ステップ#17328でNO)、変数A、Bを調べ(ステップ#173210)、もし、AがBより大きいならば、そのA、Bの各々のデータを入れ替え(ステップ#173211)、常にBがA以上になるようにする。
【0033】
図13は、文字属性再圧縮からの伸長処理のフローチャートを示す。この伸長処理は、図8の伸長処理(ステップ#18)の一部である。属性データによりその画像ブロックは文字属性と判定されている。また、8×8画素単位に対し1つの属性を割り当てていることにより、その属性に相当するブロックトランケーション符号化方式の符号化データ数は、2×2ブロックの4個が含まれている。そのため、4個の符号化データが文字画像のどのモード(すべて文字、すべて背景か、あるいは、文字背景混合かの3種類のうちいずれか)に属するか知るために再圧縮データからモード情報を1バイト(2ビット×4)を読み出す(ステップ#181)。そして、その文字属性における文字と背景を示す2種類の濃度情報A、B(A<B)を各1バイト(2バイト)読み出す(ステップ#182)。
読み取られたモードデータの1バイトから、先頭2ビット(モード情報)を読み込み、モード情報が2進法で“00"(すべてAを表す)なのか、“01"(すべてBを表す)なのか、あるいは、“10"(A、B混合を表す)なのかで分岐する(ステップ#183)。
先頭2ビットが“00"である場合、そのブロック(4×4画素)はすべてAであることより、L*の符号化データを以下のように処理して、ブロックトランケーション符号化データからの復号のための復号化データ(6バイト)を生成する(ステップ#184)。
平均値情報LA ← A: 1バイト
階調幅情報LD ← 16進法で“00"(10進法で0): 1バイト
符号情報φij ← 16進法で“00"(10進法で0)×4: 4バイト
【0034】
先頭2ビットが“01"である場合、そのブロック(4×4画素)はすべてBであることより、L*の符合化データを以下のように処理して、ブロックトランケーション符合化データからの復号のための復号化データ(6バイト)を生成する(ステップ#185)。
平均値情報LA ← B: 1バイト
階調幅情報LD ← 16進法で“00"(10進法で0): 1バイト
符号情報φij ← 16進法で“00"(10進法で0)×4: 4バイト
先頭2ビットが“10"の場合、そのブロック(4×4画素)はAB混合であることより、L*の符号化データのうち、平均値情報LAと階調幅情報LDを以下のようにして、ブロックトランケーション符号化データからの復号のための復号化データのうち、平均値情報LAと階調幅情報LDの2バイトを生成する(ステップ#186)。
平均値情報LA ← (A+B)/2: 1バイト
階調幅情報LD ← B−A: 1バイト
さらに、そのブロック(4×4画素)の各画素のAかBかを表す符号情報を2バイト読み出す(ステップ#187)。そして、そのうちの1バイトの符号情報の先頭1ビットが2進法で“0"か“1"かを判断する(ステップ#188)。先頭1ビットが“0"の場合、その画素の符号情報φijは、2進法で“00"とする(ステップ#189)。一方、先頭1ビットが“1"の場合、その画素の符号情報φijは、2進法で“11"とする(ステップ#1810)。次に、ステップ#186で読み込まれた符号情報の1バイトを1ビットシフトし、次のビットをその先頭にもってくる(ステップ#1811)。以上の符号情報の先頭1ビットから、各画素の符号情報φijの各2ビット(全体で4バイト)を生成する処理を2バイト(16回)終了するまで行う。これにより、ブロックトランケーション符号化データからの復号のための復号化データのうち、符号情報φijの4バイトを生成する(ステップ#1812)。
【0035】
次に、色度(a*、b*)におけるブロックトランケーション符号化データからの復号のための復号化データは以下のようにして各6バイト(6×2)生成する(ステップ#1813)。
平均値情報LA → 16進法で“00"(10進法で0): 1バイト
階調幅情報LD → 16進法で“00"(10進法で0): 1バイト
符号情報φij → 16進法で“00"(10進法で0)×4:4バイト
以上で得られたL*、a*およびb*の復号化データの各6バイト(6×3)をそのモードにおける各復号化データとして書き出す。
次に、次のブロック(4×4画素)のモード情報を知るために、1バイトのモードデータを2ビット分、ビットシフトをする(ステップ#1814)。そして、以上の処理を、読み込まれたモードデータが1バイト分終了するまで、すなわち、2×2ブロックの4ブロック分終了するまで繰り返す(ステップ#1815)。
これにより、8×8画素に対し、1〜9バイトの再圧縮データから、4ブロックの輝度情報L*、色度情報a*、b*におけるブロックトランケーション符号化データからの復号のための復号化データの各6バイト、合計72バイト(4ブロック×6バイト×3情報)を得たことになる。
【0036】
(第2実施形態)
本実施形態のデジタルフルカラー複写機は、画像データのブロックトランケーション符号化と再符号化をする点では、第1実施形態の複写機と共通するが、ブロックトランケーション符号化と再符号化の内容が異なる。本実施形態の複写機の構成は第1実施形態の複写機と共通するので、説明の簡略のため、異なる点だけを説明する。
本実施形態では、属性判別および文字属性変換処理は、ブロックトランケーション符号化をした符号化データを用いて行う。これにより、もともとの原画像データを扱うより比較的少ない画像データをアクセスするだけでよい。そのため、属性判別処理や文字変換処理にかかわる回路の規模を削減できる。さらに説明すると、まず、文字領域と非文字領域(写真等)の混在する画像について、ブロックトランケーション符号化により情報量を削減する。ブロックトランケーション符号化により得られた符号データは、画像の特徴量を保持した状態で符号化されている。そこで、再符号化によりさらに情報量を削減するため、ブロックトランケーション符号化により得られた符号データを用いて、所定のブロック単位で文字画像か非文字画像かの属性判別を行う。そして、そのブロックが文字属性である時には、その属性に相当する複数のブロックよりそのブロックを代表する文字情報と下地情報の各1バイトのデータを抽出し、メモリに記憶する。また、当該ブロックのブロックトランケーション符号化データ(平均値情報と階調幅情報、および、各画素の符号情報)を、抽出された文字情報と下地情報により変換する。この処理により、文字属性であるとき、変換された符号化データより、すべて文字か、すべて文字背景か、または、文字と下地の混合かの3種類に分類される。そして、そのブロックが、すべて文字か、すべて下地か、または、文字と下地の混合かを調べ、その状態を表すモード情報を各ブロックに2ビットを割り当て、記憶する。さらに、モード情報が文字と下地との混合である場合には各画素が文字か下地かを表す符号情報を抽出して記憶する。
【0037】
具体的には、本実施形態では、符号化/復号化処理部604において、画像読取部100により読み取られた文字領域と非文字領域(写真等)の混在する画像の符号化をおこなう。まず、ブロックトランケーション符号化部411(図14参照)が所定のブロックの単位でブロックトランケーション符号化を行い、情報量を削減する。次に、文字属性変換部412は、ブロックトランケーション符号化により得られた符号データを用いて、所定のブロック単位で文字画像か非文字画像かの属性判別を行い、その結果を記憶する。そのブロックが文字属性である時には、その属性に相当する複数ブロックに相当する平均値情報と階調幅情報より、そのブロックを代表する文字情報と文字背景情報の各1バイトのデータを抽出する。そして、当該ブロックのブロックトランケーション符号化データ(各平均値情報と階調幅情報、および、各画素の符号情報)を、抽出された文字情報と下地情報(文字背景情報)で変換する。この処理により、文字属性であるとき、変換された符号化データより、すべて文字か、すべて文字背景か、または、文字と文字背景の混合かの3種類に分類される。そして、その状態を表すモード情報各ブロックに2ビットを割り当て、記憶する。再符号化部413は、このモード情報を利用して再符号化を行う。モード情報が文字と文字背景との混合である場合にはブロックトランケーション符号化データより上位1ビットを抽出し、各画素1ビットの符号情報として記憶する。
【0038】
図14は、本実施形態の符号化/復号化処理部604の符号化ブロックのブロック図である。符号化ブロックにおいて、まず、図2により色空間最適化処理部603により入力された輝度情報L*、色度情報a*およびb*は、それぞれGBTC符号化部411により、4×4画素を1ブロックとして、各情報L*,a*,b*が16バイトから6バイト(平均値情報LA、階調幅情報LDと符号情報φij)に符号化される。そして、GBTC符号化部411により符号化された各符号化データは文字属性変換部412に入力され、それらの複数の符号化データにより2×2ブロック当たり一つの属性として、文字属性(黒文字)が非文字属性(黒文字以外)かを判別され、その属性データを出力する。また、輝度情報L*において、文字属性に相当する2×2ブロックの各符号化データのうち、平均値情報LAと階調幅情報LDを用い、図15で説明する文字属性変換処理により、2×2ブロックの文字情報と文字背景情報を算出し、各符号化データをそれらの文字情報と文字背景情報を用いて変換処理を行い、出力する。次に、文字属性変換部412により変換された輝度情報L*の符号化データとGBTC符号化部411により符号化された状態の色度情報a*およびb*の符号化データとが再符号化部703に入力され、2×2ブロックに相当する属性データ(文字属性か、非文字属性か)に応じて、必要な情報のみを出力して、不必要な情報は削除することにより、再符号化を行う。また、文字属性変換部412による属性判別の結果は、属性データとしてメモリに記憶される。
なお、本実施形態の符号化/復号化処理部604の復号化ブロックは、第1実施形態の復号化部(図7)と同じなので説明を省略する。
【0039】
本実施形態のCPU11の全体制御のフローは、第1実施形態のフロー(図8)と同じなので、説明を省略する。
図15は、本実施形態の文字属性変換処理(図8、ステップ#15)のフローチャートを示す。この処理の前に、読み込まれた画像データのブロックトランケーション符号化を行う。符号化により得られた符号化データ(平均値情報LA、階調幅情報LD、符号情報φij)において、2×2ブロックを1領域とし、その領域が文字属性(白下地上の黒文字)か非文字属性かの属性判別を行う。さらに文字属性である時には、そのブロック内での黒文字情報(本実施形態においては、反射率)と黒文字背景の白下地情報(本実施形態においては、反射率)を求め、その黒文字情報と白下地情報により、そのブロック内の平均値情報LA、階調幅情報LDおよび符号情報φijを変換する。以下にその手順を説明する。
まず、1領域(2×2ブロック)のブロックトランケーション符号化データ(平均値情報LA、階調幅情報LDと符号情報φij)を読み出す(ステップ#151)。そして、入力された2×2ブロックの平均値情報LA、階調幅情報LDと符号情報φijにより、その領域が文字属性(白下地の上の黒文字)と非文字属性のいずれかに属するかを判別する(ステップ#152)。
次に、注目領域が文字属性の領域か否かを判断し(ステップ#153)、注目領域が文字属性であるとき、2×2ブロックの平均値情報LA、階調幅情報LDより、黒文字反射率データ(文字情報)と下地反射率データ(下地情報)を求め、それらのデータより符号化データ(平均値情報LA、階調幅情報LDと符号情報φij)を置換する(ステップ#154、図16〜図17参照)。次にステップ#151に戻り、上記の処理を、符号化されたすべての領域に対して繰り返す(ステップ#155)。
【0040】
図16と図17は、符号化データ置換処理(図15、ステップ#154)のフローチャートを示す。この処理は、属性判別(図15、ステップ#153)の結果から、文字属性時には、注目領域(2×2ブロック)のブロックトランケーション符号化データのうち、輝度L*の平均値情報LAと階調幅情報LDを用い、その2×2ブロックの文字情報と文字背景情報を算出する。そして、それらの情報を用い、その2×2ブロックの輝度L*の平均値情報LA、階調幅情報LDおよび各符号情報を変換する。以下にその手順を説明する。
まず、2×2ブロックからなる1領域の文字情報MINと文字背景情報MAXを算出するための変数MIN、MAXの初期設定を行う(ステップ#1541)。すなわち、MAXを0とし、MINを255とする。そして、その領域の中の1つのブロックに関して輝度L*の平均値情報LAと階調幅情報LDからLA+LD/2(ブロック内の最大値)を計算し、その値が変数MAXより大きいか調べ(ステップ#1542)、大きければ、変数MAXにその値(ブロック内の最大値)を格納する(ステップ#1543)。そして、その値がMAX以下ならば、さらに、LA−LD/2(ブロック内の最小値)を計算し、その値が変数MINより小さいか調べ(ステップ#1544)、小さければ、変数MINにその値(ブロック内の最小値)を格納する(ステップ#1545)。上記の処理をその領域(2×2ブロック)の中のすべてのブロックについて繰り返す(ステップ#1546)。これにより、注目領域の2×2ブロックの最大値(変数MAX)すなわち文字背景情報、および、最小値(変数MIN)すなわち文字情報を算出する。
【0041】
次に、再び注目領域のうちの1ブロックの階調幅情報LDを抽出し、その値がしきい値TH1以下であるかを調べる(ステップ#1547)。これにより、その注目ブロックがエッジ部なのか、非エッジ部なのかを調べる。なお、ここでは、しきい値TH1は、10進法で10と設定されている。
そして、階調幅情報LDがしきい値TH1以下であるならば(ステップ#1547でYES)、その注目ブロックはエッジを持たない非エッジ部であるので、次に、それが黒文字(黒べた)部分なのか、白下地(白べた)部分なのかを調べるために、その注目ブロックの平均値情報LAが以下の式により算出されるしきい値TH2より大きいかを調べる(ステップ#1548)。
TH2=(MAX+MIN)/2
次に、もし平均値情報LAがしきい値TH2より大きければ(ステップ#1548でYES)、その注目ブロックは白下地部分と判断し、平均値情報LAを文字背景情報である変数MAXに変換する(ステップ#1549)。また、平均値情報LAがしきい値TH2以下ならば(ステップ#1548でNO)、その注目ブロックは黒文字部分と判断し、平均値情報LAを文字情報である変数MINに変換する(ステップ#15410)。次に、この注目ブロックは非エッジ部であるので、その階調幅情報LDは非常に小さくなり、各画素の符号情報φijは無視することが可能となる。そのため、その階調幅情報LDと各画素の符号情報φijをすべて0に変換する(ステップ#15411)。
【0042】
一方、階調幅情報LDがしきい値TH1より大きければ(ステップ#1547でNO)、その注目ブロックはエッジを持つエッジ部、すなわち、文字と文字背景(下地)が混合するブロックであるので、各画素が文字なのか、文字背景なのかを調べる必要がある。そのためにその注目ブロックが持つ符号情報φijを抽出し、その符号情報φijの先頭2ビットにより分岐する(ステップ#15412)。先頭2ビットが“01"ならば、その平均値情報LAと階調幅情報LDより、LA−LD/2を計算し、変数Aに格納する(ステップ#15413)。先頭2ビットが“00"ならば、その平均値情報LAと階調幅情報LDより、LA−LD/6を計算し、変数Aに格納する(ステップ#15414)。先頭2ビットが“10"ならば、その平均値情報LAと階調幅情報LDより、LA+LD/6を計算し、変数Aに格納する(ステップ#15415)。先頭2ビットが“11"ならば、その平均値情報LAと階調幅情報LDより、LA+LD/2を計算し、変数Aに格納する(ステップ#15416)。
【0043】
次に、平均値情報LAと階調幅情報LDにより格納された変数Aのデータが前に説明した式で計算されたしきい値TH2より大きいかを調べる(ステップ#15417)。変数Aがしきい値TH2より大きければ、新しい符号情報φijとして“11"を2ビット出力し(ステップ#15418)、その注目ブロックの符号情報φijを2ビットシフトし、次の画素の符号情報を示す2ビットを先頭に移動する(ステップ#15419)。また、変数Aがしきい値TH2以下ならば(ステップ#15417でNO)、新しい符号情報φijとして“00"を2ビット出力する(ステップ#15420)。
次にステップ#15412に戻り、以上の新しい符号情報φijを作り出す処理を、注目ブロックの1ブロックが終了するまで繰り返す(ステップ#15421でYES)。
次に、文字と文字背景が混合するブロックの平均値情報LAと階調幅情報LDを以下の式で計算し、それを新しい平均値情報LAと階調幅情報LDとして変換し出力する(ステップ#15422)。
LA ← (MAX+MIN)/2
LD ← MAX−MIN
次に、ステップ#1547に戻り、以上に説明した、注目ブロックの階調幅情報LDの大きさを調べ新しい符号化データを算出する過程を2×2ブロックについて終了するまで(ステップ#15423でYES)、繰り返す。
【0044】
図18と図19は、文字画像再圧縮処理(図10、ステップ#173)のフローを示す。上述の文字属性変換処理では、ブロックトランケーション符号化データの平均値情報、階調幅情報、各画素の符号情報が文字情報と下地情報とを用いて変換されている。この変換された符号化データを用いて、1ブロック内の画素が、すべての文字か、すべて文字背景か、文字と文字背景の混合なのかを判断できる。そこで、これを利用して再符号化が行われる。すなわち、文字属性時にはブロックトランケーション符号化処理により符号化された1領域(2×2ブロック)の符号化データのうち、輝度L*の平均値情報LAと階調幅情報LDを用い、2×2ブロックの文字情報と文字背景情報を算出し、記憶する。次に、それらの情報とその2×2ブロックの輝度L*の平均値情報LA、階調幅情報LDおよび各符号情報φijより、注目ブロック(2×2ブロックのうちの1ブロック)内の画素が、すべての文字か、すべて文字背景か、文字と文字背景の混合なのかを調べ、その状態を示すモード情報を記憶する。さらに注目ブロックが文字と文字背景の混合の場合のみ、各画素が文字なのか文字背景なのかを示す符号情報を記憶する。以下にその手順を説明する。
【0045】
まず、文字情報と下地情報を符号化データから求める。はじめに1領域(2×2ブロック)の文字情報MINと文字背景情報MAXを算出するための変数MIN、MAXの初期設定を行う(ステップ#17351)。ここでは、MAXを0とし、MINを255とする。次に、1ブロックに関して輝度L*の平均値情報LAと階調幅情報LDからLA+LD/2(ブロック内の最大値)を計算し、その値が変数MAXより大きいか調べ(ステップ#17352)、大きければ、変数MAXにその値(ブロック内の最大値)を格納する(ステップ#17353)。一方、その値がMAX以下ならば、さらに、LA−LD/2(ブロック内の最小値)を計算し、その値が変数MINより小さければ(ステップ#17354でYES)、変数MINにその値(ブロック内の最小値)を格納する(ステップ#17355)。次に、ステップ#17352に戻り、上記の処理を2×2ブロックのすべてのブロックについて繰り返す(ステップ#17356)。これにより、2×2ブロックの最大値(変数MAX)すなわち文字背景情報、および、最小値(変数MIN)すなわち文字情報を算出する。そして、得られた文字情報(変数MIN)と下地情報(変数MAX)を出力する(ステップ#17357)。
【0046】
次に、再び2×2ブロックのうちの1ブロックの階調幅情報LDを抽出し、その値がしきい値TH1以下であるかを調べる(ステップ#17358)。これにより、その注目ブロックがエッジ部なのか、非エッジ部なのかを調べる。なお、本実施形態では、そのしきい値は、10進法で10と設定されている。もし階調幅情報LDがしきい値TH1以下であるならば、その注目ブロックはエッジを持たない非エッジ部すなわち、すべて文字かすべて文字背景かのいずれかであるので、それがすべて文字なのか、すべて文字背景なのかを調べるために、その注目ブロックの平均値情報LAがを調べる(ステップ#17359)。
TH2=(MAX+MIN)/2
次に、平均値情報LAがしきい値TH2より大きければ、その注目ブロックはすべて文字と判断し、注目ブロックがすべて文字であることを示す2ビットモード情報“00"を出力する(ステップ#17360)。また、平均値情報(LA)がしきい値TH2以下ならば、その注目ブロックはすべて文字背景と判断し、注目ブロックがすべて文字背景であることを示す2ビットモード情報“01"を出力する(ステップ#17361)。階調幅情報LDがしきい値TH1より大きければ、その注目ブロックはエッジを持つエッジ部、すなわち文字と文字背景が混合するブロックであるので、注目ブロックが文字と文字背景が混合するブロックであることを示す2ビットモード情報“11"を出力する(ステップ#17362)。
【0047】
また、その注目ブロックが文字と文字背景が混合するブロックである場合、各画素が文字なのか、文字背景なのかを調べる必要がある。そのためにその注目ブロックが持つ符号情報φijを抽出し、その符号情報φijの先頭2ビットにより分岐する(ステップ#17363)。先頭2ビットが“01"ならば、その平均値情報LAと階調幅情報LDより、LA−LD/2を計算し、変数Aに格納する(ステップ#17364)。先頭2ビットが“00"ならば、その平均値情報LAと階調幅情報LDより、LA−LD/6を計算し、変数Aに格納する(ステップ#17365)。先頭2ビットが“10"ならば、その平均値情報LAと階調幅情報LDより、LA+LD/6を計算し、変数Aに格納する(ステップ#17366)。先頭2ビットが“11"ならば、その平均値情報LAと階調幅情報LDより、LA+LD/2を計算し、変数Aに格納する(ステップ#17367)。
そして、算出された変数Aのデータが前に説明した式で計算されたしきい値TH2より大きいかを調べる(ステップ#17368)。変数Aがしきい値TH2より大きいならば、新しい符号情報φijとして“1"を1ビット出力し(ステップ#17369)、その注目ブロックの符号情報φijを2ビットシフトし、次の画素の符号情報を示す2ビットを先頭に移動する(ステップ#17370)。また、変数Aがしきい値TH2以上ならば、新しい符号情報φijとして“0"を1ビット出力する(ステップ#17371)。
次に、ステップ#17363に戻り、以上の新しい符号情報φijを作り出す処理を、注目ブロックの1ブロックが終了するまで(ステップ#17372でYES)、繰り返す。
次に、ステップ#17373を経てステップ#17358に戻り、以上の注目ブロックの階調幅情報LDの大きさを調べ、文字属性時の再符号化データを算出する過程を、2×2ブロックが終了するまで(ステップ#17373でYES)、繰り返す。
【0048】
【発明の効果】
以上説明したように、ブロックトランケーション符号化方式と再符号化とを組み合わせることにより、符号化後の情報量が大幅に削減できる。
また、文字ブロック属性において、そのブロック内の文字情報と背景情報を算出し、各画像データをその文字情報と背景情報に置き換えることにより、ブロックトランケーション符号化データを3種類の状態(すべて文字、すべて下地、文字下地混合のいずれか)に分けることができ、符合情報を2値化しても、従来の再符号化処理からの復号時に生じていた文字画像でのがたつき、欠け、ノイズ等をなくすことができる。さらに、文字ブロック属性のブロック内の文字情報と背景情報を保持した状態で、再符号化を行っているため、復号時に文字濃度と下地濃度(カラー時は、各輝度)を再現することが可能となり、非文字属性と文字属性の境界部分において、両属性間の画像データの濃度に違いが生じなくなり、良好な画質を再現することができる。
また、属性判別および文字属性変換処理は、ブロックトランケーション符号化された符号化データを用いて行うことができ、もともとの原画像データを扱うより比較的少ない画像データをアクセスするだけでよい。そのため、属性判別処理や文字変換処理に係わる回路規模(バッファメモリの大きさ等)を削減することができる。さらに、文字画像を解像度を保持した状態で復号時に生じる文字画像の劣化を防ぎ高い圧縮率で符号化することができる。特に文字属性と非文字属性の境界に生じる画像濃度の違いによる画質劣化を防ぎながら、高い圧縮率を得ることが可能となる。また、ブロック毎にブロックトランケーション符号化データに関連づけて再符号化しているので、符号化された状態での画像加工/編集等の処理が容易となる。
【図面の簡単な説明】
【図1】 デジタルカラー複写機の概略断面図。
【図2】 画像処理部のブロック図。
【図3】 ブロックトランケーション符号化の概念図。
【図4】 ブロックトランケーション符号化の概念図。
【図5】 ブロックトランケーション符号化回路のブロック図。
【図6】 符号化部のブロック図。
【図7】 復号化部のブロック図。
【図8】 全体制御のフローチャート。
【図9】 文字属性変換のフローチャート。
【図10】 画像再圧縮のフローチャート。
【図11】 文字画像再圧縮のフローチャート。
【図12】 濃度抽出処理のフローチャート。
【図13】 文字属性再圧縮からの伸長のフローチャート。
【図14】 第2実施形態の符号化部のブロック図。
【図15】 文字属性変換のフローチャート。
【図16】 符号化データ置換処理の一部のフローチャート。
【図17】 符号化データ置換処理の一部のフローチャート。
【図18】 文字画像再圧縮処理の一部のフローチャート。
【図19】 文字画像再圧縮処理の一部のフローチャート。
【符号の説明】
401 文字属性変換部、 402 GBTC符号化部、 403 再符号化部、 411 GBTC符号化部、 412 文字属性変換部、 413 再符号化部、 602 色空間変換処理、 604 符号化復号処理部、 610 圧縮画像メモリ、 611 CPU。
Claims (2)
- 画像データを複数画素の領域に分割する分割手段と、
前記分割手段によって分割された領域が文字属性であるか非文字属性であるかを画像データを基に判別する属性判別手段と、
前記属性判別手段によって文字属性であると判別された領域について当該領域内の文字レベルと下地レベルとを算出し、当該領域の各画像データを前記文字レベル又は前記下地レベルに置き換える置換手段と、
前記置換手段によって置き換えられた前記領域内の画像データを、当該領域に含まれる複数のブロックの各々についてブロックトランケーション符号化方式によって符号化する符号化手段と、
前記符号化手段により得られた符号化データに基づいて、各ブロックが全画素が文字を示すブロック、全画素が下地を示すブロック、および、文字と下地の混合のブロックのいずれであるかを判定する判定手段と、
ブロックの各画素が文字なのか下地なのかを示すコードを符号化データから決定するコード決定手段と、
各ブロックについて、前記置換手段により算出された文字レベルと下地レベル、及び、前記判定手段により判定されたブロックの種類を記憶し、前記判定手段により文字と下地の混合ブロックであると判定されたブロックについては、さらに、コード決定手段により決定されたコードを記憶する再符号化手段と
を備えたことを特徴とする画像処理装置。 - 画像を複数画素のブロックに分割する分割手段と、
前記分割手段によって分割された画像データに基づいてブロック内の画像データをブロックトランケーション符号化方式により符号化する符号化手段と、
前記符号化手段によって得られた符号化データに基づいて、各ブロックが文字属性であるか非文字属性であるかを判別する属性判別手段と、
前記符号化手段によって得られた符号化データに基づいて、前記属性判別手段により文字属性であると判別されたブロックの文字レベルと下地レベルとを算出し、この文字レベルと下地レベルを基に、前記符号化手段によって得られた符号化データを変換する変換手段と、
前記変換手段により変換された符号化データに基づいて、前記文字レベルと前記下地レベル、および、各ブロックが、全画素が文字を示すブロック、全画素が下地を示すブロック、および、文字と下地の混合のブロックのいずれであるかを示すブロック情報を記憶し、文字と下地の混合のブロックについては、さらに、各画素が文字なのか下地なのかを示すコードを記憶する再符号化手段と
を備えたことを特徴とする画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21955597A JP3909924B2 (ja) | 1997-08-14 | 1997-08-14 | 画像処理装置 |
US09/133,803 US6404919B1 (en) | 1997-08-14 | 1998-08-13 | Image processor for encoding image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21955597A JP3909924B2 (ja) | 1997-08-14 | 1997-08-14 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1169168A JPH1169168A (ja) | 1999-03-09 |
JP3909924B2 true JP3909924B2 (ja) | 2007-04-25 |
Family
ID=16737350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21955597A Expired - Fee Related JP3909924B2 (ja) | 1997-08-14 | 1997-08-14 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3909924B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002252770A (ja) * | 2001-02-22 | 2002-09-06 | Matsushita Graphic Communication Systems Inc | 画像情報の分類方法,画像符号化方法および画像符号化装置 |
JP2004236220A (ja) * | 2003-01-31 | 2004-08-19 | Ricoh Co Ltd | 符号化装置、情報管理装置、復号化装置、画像形成装置、符号化プログラム、情報管理プログラム、復号化プログラムおよび記憶媒体 |
-
1997
- 1997-08-14 JP JP21955597A patent/JP3909924B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1169168A (ja) | 1999-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6404919B1 (en) | Image processor for encoding image data | |
JP4732488B2 (ja) | 画像処理装置、画像形成装置、画像読取装置、画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体 | |
US8606014B2 (en) | Image Processing apparatus, extracting foreground pixels for extracted continuous variable density areas according to color information | |
JP3176052B2 (ja) | 画像処理装置 | |
US8280160B2 (en) | Image compressing method, image compressing apparatus and image forming apparatus | |
US8254672B2 (en) | Image compressing method, image compressing apparatus and image forming apparatus | |
EP0434429B1 (en) | Image processing apparatus | |
US6330076B1 (en) | Image processing apparatus | |
JPH1169164A (ja) | 画像符号化方法および画像符号化装置および画像復号化装置および画像形成装置 | |
JP3161172B2 (ja) | 符号化装置 | |
JP3134756B2 (ja) | 画像処理装置および画像処理方法 | |
US6538771B1 (en) | Image processor | |
JPH08317218A (ja) | 画像処理装置 | |
JP3909924B2 (ja) | 画像処理装置 | |
JP2004112695A (ja) | 画像処理装置及びその処理方法 | |
JP2003110869A (ja) | 画像処理装置、画像形成装置、画像処理方法、プログラム、および記録媒体 | |
JP2003008913A (ja) | 画像処理装置 | |
JP3376870B2 (ja) | 画像処理装置 | |
JP3425847B2 (ja) | 画像処理装置 | |
JP2001186356A (ja) | 画像圧縮装置及び画像圧縮方法及びコンピュータ読み取り可能な記憶媒体 | |
JPH099071A (ja) | 画像処理装置 | |
JPH08307691A (ja) | 画像処理装置 | |
JP3284827B2 (ja) | 画像処理装置 | |
JPH07307869A (ja) | 画像処理装置 | |
JP2003134350A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040427 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040625 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040628 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040628 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040628 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040824 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070123 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110202 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120202 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130202 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140202 Year of fee payment: 7 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |