JP4047192B2 - 画像圧縮装置及び方法、画像伸張装置及び方法、プログラム - Google Patents

画像圧縮装置及び方法、画像伸張装置及び方法、プログラム Download PDF

Info

Publication number
JP4047192B2
JP4047192B2 JP2003046226A JP2003046226A JP4047192B2 JP 4047192 B2 JP4047192 B2 JP 4047192B2 JP 2003046226 A JP2003046226 A JP 2003046226A JP 2003046226 A JP2003046226 A JP 2003046226A JP 4047192 B2 JP4047192 B2 JP 4047192B2
Authority
JP
Japan
Prior art keywords
character area
area
image
color
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003046226A
Other languages
English (en)
Other versions
JP2004260327A (ja
Inventor
玲司 三沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003046226A priority Critical patent/JP4047192B2/ja
Priority to US10/781,671 priority patent/US7386168B2/en
Priority to CNB2004100045687A priority patent/CN1301492C/zh
Publication of JP2004260327A publication Critical patent/JP2004260327A/ja
Application granted granted Critical
Publication of JP4047192B2 publication Critical patent/JP4047192B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding

Description

【0001】
【発明の属する技術分野】
本発明は、入力された多値画像を圧縮する画像圧縮装置、その画像圧縮装置で生成された圧縮データを伸長する画像処理技術に関するものである。
【0002】
【従来の技術】
近年、スキャナの普及により文書の電子化が進んでいる。電子化された文書をフルカラービットマップ形式で保存すると、例えば、A4サイズの場合では、読取解像度300dpiで、約24Mbyteにもなり、必要なメモリが膨大になる。このような大容量のデータは、メールに添付して送信するのに適したサイズとはいえない。
【0003】
そこで、フルカラー画像を圧縮することが通常行われており、その圧縮方法としてJPEGが知られている。JPEGは、写真等の自然画像を圧縮するには非常に効果的だが、文字部をJPEG圧縮するとモスキートノイズと呼ばれる画像劣化が発生する。そこで、従来では、入力された画像を文字領域及び写真領域に領域分割を行い、文字領域部分は2値化した上でMMR圧縮、写真領域部分はJPEG圧縮を行うことで、文字領域の品位を保ったまま、フルカラー画像も小さなデータサイズで表現する方法があった。
【0004】
この方法は、伸長時には、2値画像の白部分はJPEG画像を透過し、黒部分は代表色をのせた文字で表現することを特徴としている。また、別の特徴としては、単位文字当り1色を割り当てる。これにより、元々単色で表現されていた文字画像のスキャナ読込によるバラツキを除去することが可能となり、加えて、圧縮システムに利用すると、高画質高圧縮が得られる。
【0005】
また、拡張技術として、圧縮時におけるJPEG圧縮前に文字領域を文字近辺の色で穴埋めすることにより、さらに圧縮率を向上させる方法なども提案されている。更に、文字領域部分において、文字の代表色を抽出する色抽出技術も不可欠であり、以前より提案されている。この色抽出技術は、文字領域の2値画像とその文字領域の座標及びカラー画像を入力し、文字領域部における所望の色をカラー画像から抽出するものである。
【0006】
【発明が解決しようとする課題】
しかしながら、従来の技術では、色が反転した反転文字領域部分の特定ができなかったため、反転文字領域には、JPEG圧縮が施されてしまい、反転文字部は劣化してしまうという問題があった。
【0007】
近年、反転文字領域部分を特定する技術が提案されたことで、反転文字領域の色抽出を行う技術が必要となった。ここで、従来の色抽出技術をそのまま利用すると、スキャナ読込によるバラツキや圧縮作用により滲み込んでしまった入力画像中の反転文字領域の色をそのまま再現(抽出)してしまうという課題があった。
【0008】
本発明は上記の課題に鑑みてなされたものであり、良好な復元画像を生成することでき、かつ圧縮対象の画像品位を低下させない画像圧縮を行うことができる画像処理技術を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像圧縮装置は以下の構成を備える。即ち、 入力された多値画像を圧縮する画像圧縮装置であって、
前記多値画像を2値化する2値化手段と、
前記2値化手段で2値化された2値画像中の文字領域の位置を特定し、かつ特定された文字領域が反転文字領域であるか否かを判定する第1領域特定手段と、
前記第1領域特定手段で特定された文字領域中の単位文字領域の位置を特定する第2領域特定手段と、
前記多値画像を縮小して縮小多値画像を生成する縮小手段と、
前記第1領域特定手段で特定された文字領域が反転文字領域であるか否かを示す領域種別情報と、前記第2領域特定手段で特定された単位文字領域の位置情報及び前記縮小多値画像とに基づいて、前記単位文字領域の代表色を抽出する代表色抽出手段と、
前記第1領域特定手段で特定された文字領域の位置情報に基づいて、前記縮小多値画像の文字領域内の単位文字領域をその周辺色で穴埋めする穴埋め手段と、
前記穴埋め手段で生成された穴埋め縮小多値画像を圧縮する第1圧縮手段と、
前記第1領域特定手段で特定された文字領域に対応する部分2値画像を圧縮する第2圧縮手段と、
前記第1及び第2領域特定手段で特定された位置情報と、前記第1及び第2圧縮手段で生成された第1及び第2圧縮コードと、前記代表色抽出手段で抽出された単位文字領域の代表色情報を含む圧縮データを出力する出力手段とを備え、
前記代表色抽出手段は、
前記第2領域特定手段で特定された単位文字領域の位置情報を用いて、前記縮小多値画像の色情報を参照することにより、前記単位文字領域の平均色を算出する平均色算出手段と、
前記平均色算出手段で生成された単位文字領域の平均色を用いて、前記単位文字領域からなる文字領域内における色空間ヒストグラムを第1ヒストグラムを作成する第1ヒストグラム作成手段と、
前記第1ヒストグラム中で出力頻度の高い色分布から順に、前記単位文字領域の代表色の候補となる候補代表色を抽出する抽出手段と、
前記第1領域特定手段で特定された文字領域が反転文字領域であるか否かを示す領域種別情報と、前記抽出手段で抽出された候補代表色と前記単位文字領域の平均色に基づいて、前記候補代表色を前記単位文字領域の代表色に割り当てる色割当手段とを備え、
前記色割当手段は、前記抽出手段で抽出された候補代表色と、前記単位文字領域の平均色との間の色空間上の距離を計算し、
その距離が所定範囲内であり、かつ前記領域種別情報が単位文字領域からなる文字領域が反転文字領域であることを示している場合には、所定色を前記単位文字領域の代表色として割り当て、
その距離が所定範囲内であり、かつ前記領域種別情報が単位文字領域からなる文字領域が反転文字領域でないことを示している場合には、前記候補代表色を前記単位文字領域の代表色として割り当てる。
【0010】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【0011】
尚、以下に説明する実施形態の画像圧縮装置及び画像伸長装置の各構成要素の相対配置、各処理に用いられる数式、数値等は、特に、特定的な記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
【0012】
図1は本発明の実施形態の画像圧縮装置の概略構成を示す図である。
【0013】
図1において、実線は画像の流れ及び入力を示し、点線は情報の流れ及び入力を示すものとする。
【0014】
カラー多値画像である入力画像101は、2値化部102で2値化され、2値画像103が作成される。領域特定部A104は、2値画像103を入力とし、例えば、所定値をとる画素(例えば、黒画素)の輪郭線追跡等により文字領域を検出して、文字領域座標106を作成する。文字領域座標106は、文字領域の位置(座標)やサイズを示す情報である。また、領域特定部A104が文字領域を特定することで、それ以外の写真やイラスト等の自然(階調)画像を示す自然画像領域の位置やサイズも特定されることは言うまでもない。更に、各領域の種類を特定するための属性情報(文字や画像)も別途生成する。
【0015】
領域特定部B105は、2値画像103と領域特定部A104により作成された文字領域座標106を入力とし、文字領域内における各文字(単位文字領域)の位置及びサイズを特定する。説明を簡単にするため、実施形態1では、各単位文字領域の位置及びサイズの情報も文字領域座標106に追加するものとする。また、領域特定部A104により作成された文字領域座標106により、文字領域毎の2値画像(部分2値画像107)を作成する。また、多値画像112は、縮小部113により縮小され、縮小多値画像114が作成される。
【0016】
尚、縮小部113は、設定された解像度変換パラメータに基づいて、多値画像112の解像度変換を行う。また、この解像度変換パラメータは、処理対象の多値画像の空間周波数に基づいて適宜制御するようにしても良い。例えば、多値画像の高周波成分が小さい場合には、大きい場合に比べて、より低解像度に変換するように、この解像度変換パラメータを制御しても良い。
【0017】
代表色抽出部110は、部分2値画像107と文字領域座標106及び縮小多値画像114を入力・参照し、部分2値画像107の黒部分と縮小多値画像114とを位置対応させながら、文字領域中の各単位文字領域の各文字代表色111を算出する。尚、多値画像112は入力画像101と同一である。
【0018】
文字領域穴埋め部115は、部分2値画像107と縮小多値画像114及び文字領域座標106を入力・参照とし、縮小多値画像114上の各文字領域あるいは単位文字領域毎に、その周辺色で塗り潰す処理(周辺色に置換する処理)を行う。
【0019】
以上の処理の後、部分2値画像107は各々順次、MMR圧縮部108により圧縮コードA109として圧縮される。また、文字領域穴埋め部115にて穴埋めされた穴埋め縮小多値画像は、JPEG圧縮部116により圧縮コードB117としてJPEG圧縮される。尚、MMR圧縮部108の代わりに、MMR圧縮以外の2値画像圧縮、例えば、JBIG圧縮、MR圧縮、MH圧縮等を用いても良い。
【0020】
このようにして、各構成要素から得られる文字領域座標106、圧縮コードA109、各文字代表色111、圧縮コードB117のデータ群を結合した圧縮データ118が作成される。この圧縮データ118を、更に、PDFなどに可逆圧縮しても良い。
【0021】
尚、入力画像101中に文字領域が存在しない場合、圧縮データ118は圧縮コードB117のみとなる。
【0022】
また、画像圧縮装置及び後述するこの画像圧縮装置で生成された圧縮データを伸長する画像伸長装置を実現するハードウエア構成としては、例えば、パーソナルコンピュータ等の汎用コンピュータで実現される。また、この汎用コンピュータには、その標準的な構成要素として、例えば、CPU、RAM、ROM、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等を有している。
【0023】
また、これらの画像圧縮装置及び画像伸長装置は、このような汎用コンピュータに対する拡張カードとして実現される専用ハードウエアとして実現されても良い。
【0024】
更に、これらの画像圧縮装置及び画像伸長装置を搭載する装置の具体例としては、ネットワーク通信機能を有する複合機(コピー、プリンタ、スキャナ、ファクシミリ機能等を有する装置)、カラースキャナ、カラーファクシミリ等が挙げられる。
【0025】
次に、2値化部102が実行する2値化処理について、図2及び図3を用いて説明する。
【0026】
図2は本発明の実施形態の入力画像の一例を示す図である。また、図3は本発明の実施形態の2値化部が実行する2値化処理を示すフローチャートである。
【0027】
図2において、入力画像201はカラー多値画像であり、領域203の文字は白色、領域204の文字は黄色、領域205の文字は青色、領域207の文字は黒、領域206の画像は任意の複数色であるとする。尚、この入力画像201がスキャナで読み取ったものである場合には、その読取時のバラツキやJPEG圧縮の劣化を含んでいるものとするが、劣化を含んでいない画像も本実施形態の対象であることは言うまでもない。
【0028】
以下では、例として、入力画像101をスキャナで読み取った後のRGBデータ(24bit)とする場合、まず、ステップS301にて、下記の変換式により輝度変換を行い、輝度画像を作成する。
【0029】
Y = 0.299×R + 0.587×G + 0.114×B
次に、ステップS302にて、輝度画像の全面ヒストグラムを作成する。ここで、ヒストグラムの一例を図示すると図4のようになる。図4において、横軸はY信号の輝度レベル0〜255であり、縦軸はその出現頻度を示している。図4の場合、401が文字や画像の分布であり、402が下地の分布であることを示している。
【0030】
次に、ステップS303にて、最適な2値化閾値Tを算出する。但し、ここでの2値化閾値Tの算出方法は、特に限定はしない。図4では、例えば、分布401と分布402の頂点の輝度レベル間の中間点403を2値化閾値Tとしている。
【0031】
最後に、ステップS304にて、輝度画像を2値化閾値Tに基づいて、2値化する。
【0032】
以上の処理により、図1の2値画像103が作成される。また、図2の多値画像201を2値化した場合の2値画像は、例えば、図7の2値画像701のようになる。
【0033】
次に、領域特定部A104が実行する処理について、図5を用いて説明する。
【0034】
図5は本発明の実施形態の領域特定部A104が実行する処理を示すフローチャートである。
【0035】
まず、ステップS501にて、2値画像103の黒画素を参照しながら、輪郭線追跡を行う。次に、ステップS502にて、追跡された輪郭線内をさらに追跡し、その追跡結果に基づいて、輪郭線内の領域から文字領域と、その位置やサイズを特定する。更に、特定された文字領域が反転文字領域であるか否かを特定し、その反転文字領域であるか否かを示す領域種別情報を生成して、メモリに記憶する。尚、文字領域以外の領域は、自然画像領域として特定する。
【0036】
以上の処理により、文字領域、反転文字領域及び自然画像領域の位置、サイズ及びその領域の種類を示す属性が特定される。ここで、図7の2値画像701に領域特定部A104の処理を施した結果を、図8に示す。図8では、全部で4つの領域が特定され、801〜803が文字領域で、特に、文字領域801は反転文字領域で、804が自然画像領域に特定されている。
【0037】
次に、領域特定部B105が実行する処理について、図6を用いて説明する。
【0038】
図6は本発明の実施形態の領域特定部B105が実行する処理を示すフローチャートである。
【0039】
図6で説明する処理は、領域特定部A104により特定された文字領域群、図8の例では、文字領域801〜803に対して順次行われる。
【0040】
まず、ステップS601にて、未処理の文字領域の有無を判定する。未処理の文字領域がない場合(ステップS601でNO)、処理を終了する。一方、未処理の文字領域がある場合(ステップS601でYES)、ステップS602に進む。
【0041】
次に、ステップS602にて、2値画像の所定値(黒画素、但し、反転文字領域の場合は、白画素)をとる画素の集合を単位文字とみなし、単位文字領域の位置を特定する。ここで、図8の文字領域801に領域特定部B105の処理を施した結果を、図9に示す。図9では、全部で5つの単位文字領域902〜906が特定されている。以降、同様にして、図8の文字領域802、803についても処理が実行される。
【0042】
以上のようにして、領域特定部A104及び領域特定部B105により特定された文字領域・単位文字領域の領域情報(位置、サイズ、反転の有無)を、文字領域座標106として、例えば、画像圧縮装置内のメモリ(例えば、RAM)に保存する。
【0043】
次に、代表色抽出部110が実行する処理について、図10〜図12A及び図12Bのフローチャート、及び図13及び図14の説明図を用いて説明する。
【0044】
図10は本発明の実施形態の代表色抽出部が実行する処理を示すフローチャートである。
【0045】
代表色抽出部110では、上述したように、入力として、文字領域座標106と部分2値画像107及び縮小多値画像114を使用する。部分2値画像107は、2値画像103の文字領域を切り取って別のワークメモリ等のメモリに格納してあるものとする。縮小多値画像114は、多値画像112を縮小部113により縮小されたものであり、同様に別のワークメモリ等のメモリに格納してあるものとする。
【0046】
尚、本実施形態では、縮小部113の縮小度を50%として説明する。この場合、縮小多値画像用のワークメモリは、縮小前の多値画像用のワークメモリよりもそのメモリ容量が1/4に軽減することができる。但し、縮小度は50%に限定されるものではなく、用途や目的に応じて任意の縮小率が設定できることは言うまでもない。
【0047】
代表色抽出部110では、全ての文字領域、即ち、全ての部分2値画像107に対して順に処理を行う(本実施形態では、文字領域は、図8の文字領域801〜803の3つがあり、この順番で処理される)ため、最初に、ステップS1101にて、文字領域座標106を参照しながら、未処理の文字領域の有無を判定する。未処理の文字領域がない場合(ステップS1101でNO)、処理を終了する。一方、未処理の文字領域がある場合(ステップS1101でYES)、ステップS1102に進む。
【0048】
次に、ステップS1102で、文字領域座標106を参照しながら、文字領域が反転文字領域であるか否かを判定する。反転文字領域である場合(ステップS1102でYES)、ステップS1103に進み、その反転文字領域の色を反転処理によって反転する、即ち、白文字から黒文字にする。その後、代表色抽出部110で代表色抽出処理を実行する(ステップS1104)。
【0049】
尚、反転文字領域に対して、ステップS1103の反転処理を実行する理由は、通常の文字領域に施す代表色抽出処理と処理条件を共通にして、代表色抽出部110で共通アルゴリズムを適用するためである。但し、代表色抽出部110の処理後は、元の反転文字領域に戻す必要があるため、ステップS1105で、ステップS1103で反転処理を施した文字領域の色を再度反転処理によって再反転する、即ち、黒文字から白文字にする。
【0050】
一方、ステップS1102において、文字領域が反転文字領域でない場合(ステップS1102でNO)、ステップS1106に進み、代表色抽出部110で代表色抽出処理を実行する。
【0051】
次に、ステップS1104あるいはステップS1106の代表色抽出処理の詳細について、図11を用いて説明する。
【0052】
図11は本発明の実施形態の代表色抽出処理の詳細を示すフローチャートである。
【0053】
尚、上述のように代表色抽出処理での処理対象は、通常の文字領域、反転文字領域の両方となる。但し、反転文字領域に対する代表色抽出処理では、後述する特別な処理を伴う。そこで、本実施形態では、反転文字領域が処理対象である場合の処理例として、図9の反転文字領域901に対する代表色抽出処理について説明する。
【0054】
まず、ステップS1201にて、文字領域の代表色数nに1を設定する。これは、「第1色目の色を抽出する」という意味である。次に、ステップS1202にて、文字領域座標106を参照し、かつ部分2値画像107の黒画素に位置的に対応する縮小多値画像114の色(RGB)を参照しながら、単位文字毎にRGBの平均色を算出する。
【0055】
次に、ステップS1203にて、上記で算出された各単位文字領域のRGBの平均色を、例えば、YCbCrのような、輝度Yと色差CbCrで表現できる色空間に変換する。尚、色空間は、LabやYuv等の他の色空間でも構わないものとするが、ここでは、YCbCrで説明を行う。また、RGBからYCbCrへの変換式は省略する。
【0056】
尚、入力画像101がJPEG画像である場合は、JPEG解凍時に一般的に行われるYCbCr−>RGB変換を行わずに、YCbCr色空間のまま、入力が可能であるという特徴を備える。そのため、この場合には、ステップS1203の処理は不要となり、より高速な処理が達成される。
【0057】
例えば、上述の図9の5つの単位文字領域902〜906に対して、YCbCr変換を施すと、
単位文字領域902:(Y1,Cb1,Cr1)
単位文字領域903:(Y2,Cb2,Cr2)
単位文字領域904:(Y3,Cb3,Cr3)
単位文字領域905:(Y4,Cb4,Cr4)
単位文字領域906:(Y5,Cb5,Cr5)
となる。
【0058】
次に、ステップS1204にて、ステップS1205のヒストグラム作成の準備として、ヒストグラム初期化(ヒストグラムクリア)を行う。次に、ステップS1205にて、色差Cb,Crの2次元ヒストグラムを作成する。これを、図13に示す。図13の5つのプロット1301〜1305は、それぞれ
プロット1301(Cb1,Cr1) → 単位文字領域902のプロット
プロット1302(Cb2,Cr2) → 単位文字領域903のプロット
プロット1303(Cb3,Cr3) → 単位文字領域904のプロット
プロット1304(Cb4,Cr4) → 単位文字領域905のプロット
プロット1305(Cb5,Cr5) → 単位文字領域906のプロット
である。
【0059】
また、プロット1301、1302及び1303の集合と、プロット1304及び1305の集合の距離が離れているのは、図2の入力画像(カラー多値画像)201の領域203及び領域204で示される色の違いを表すためである。更に、プロット1301、1302及び1303の間の差、または、プロット1304及び1305の間の差は、スキャナで読み取られた入力画像のバラツキ、あるいは、その後の処理(例えば、JPEG圧縮)によるバラツキを表している。
【0060】
加えて、文字領域801中の単位文字領域の内、単位文字領域(反転単位文字領域)902〜904、即ち、プロット1301〜1303は、本来、白(Cb,Cr)=(0,0)であることが望まれるが、上記のバラツキと同様の理由で、反転文字領域の背景部の色が反転単位文字領域の文字部に影響してしまい、(Cb,Cr)=(0,0)から離れた場所にプロットされてしまっている。
【0061】
尚、本実施形態では、処理の高速化のため、ステップS1205で、2次元ヒストグラムを作成しているが、精度を上げるために、Y,Cb,Crの3次元ヒストグラムを作成してもよい。
【0062】
図11の説明に戻る。
【0063】
次に、ステップS1206にて、各単位文字領域の代表色抽出と色割当を行う。尚、この処理の詳細については後述する。
【0064】
次に、ステップS1207にて、ステップS1206で色が未割当の単位文字の有無を判定する。未割当の単位文字がある場合(ステップS1207でYES)、ステップS1208に進み、代表色数nに1を加算して、先に作成したヒストグラムを初期化し(ステップS1204)、色が未割当の単位文字に対してのみ、ヒストグラムを作成する(ステップS1205)。以下、同様にして、ステップS1207にて、色が未割当の単位文字がなくなるまで処理を続ける。そして、未割当の単位文字がない場合(ステップS1207でNO)、処理を終了する。
【0065】
次に、ステップS1206の各単位文字領域の代表色抽出と色割当の処理の詳細について、図12A及び図12Bを用いて説明する。
【0066】
図12A及び図12Bは本発明の実施形態のステップS1206の代表色抽出と色割当の処理の詳細を示すフローチャートである。
【0067】
まず、ステップS1501にて、単位文字領域の代表色の候補となる候補代表色C’(n)の抽出を行う。尚、nは代表色数であり、図11で使用されているnと同じである。また、候補代表色C’(n)は、Cb,Crの情報をもつ構造体であり、n番目の代表色のCbをC’(n)_b、n番目の代表色のCrをC’(n)_rと表すことにする。
【0068】
具体的な候補代表色の抽出方法について、図14を用いて説明する。
【0069】
図14で示される点線で囲まれる四角は、予め設定されたエリアを示しており、各エリアには1つの代表色(Cb,Cr)が設定されているものとする。エリアの大小は任意であるが、精度と処理効率のトレードオフを考慮して設定することが望ましい。
【0070】
YCbCrがそれぞれ8bitである場合、本実施形態では、エリアの縦横幅を3bitに設定することにする。但し、図14では、説明を簡単にするため、エリアを大きく図示している。ここで、各エリアをCb−Cr方向に走査し、エリア内のプロット数の最大値を取得する。ここでは、エリア1で最大プロット数3が得られるので、候補代表色として1401(黒三角▲)が得られる。または、これらの3つのプロットから、代表色を改めて算出しても良い。
【0071】
図12Aの説明に戻る。
【0072】
次に、ステップS1502にて、処理対象の文字領域が反転文字領域であるか否かを判定する。反転文字領域である場合(ステップS1502でYES)、ステップS1503にて抽出したC’(n)の調整を行う。これは、スキャナ読取のバラツキやJPEG圧縮等の劣化により、入力画像の反転文字領域の背景色が、本来は、白であるはずの文字部に滲んでしまったために誤って抽出された代表色を所定色(白)として補正するための調整である。
【0073】
このステップS1503の詳細について、図12Bを用いて説明する。
【0074】
図12Bは本発明の実施形態のステップS1503の詳細を示すフローチャートである。
【0075】
まず、ステップS1511にて、WhiteFlagをOFFに初期設定する。次に、ステップS1512にて、代表色C’(n)の色空間上の原点(Cb,Cr)=(0,0)からの距離Distance_Rを算出する。次に、ステップS1513にて、距離Distance_Rが゛所定値value_R以下であるか否かを判定する。
【0076】
距離Distance_Rが所定値value_Rより大きい場合(ステップS1513でNO)、処理を終了し、ステップS1504に進む。一方、距離Distance_Rが所定値value_R以下である場合(ステップS1513でYES)、WhiteFlagをONに設定し、ステップS1504に進む。
【0077】
尚、WhiteFlagは、代表色C’(n)を所定色(白)を示す(Cb,Cr)=(0,0)に設定するか否かを示すためのフラグであり、ONの場合には、後述するステップS1509にて、代表色C’(n)を(Cb,Cr)=(0,0)に設定する。
【0078】
図12Aの説明に戻る。
【0079】
一方、ステップS1502において、処理対象の文字領域が反転文字領域でない場合(ステップS1502でNO)、ステップS1504に進み、単位文字数mに1を設定する。次に、ステップS1505にて、mがM以下であるか否かを判定する。M以下である場合(ステップS1505でYES)、ステップS1506に進む。一方、Mより大きい場合(ステップS1505でNO)、処理を終了する。
【0080】
ここで、Mは、処理対象の文字領域内の単位文字数(総数)であり、例えば、図9の文字領域801では、M=5である。この場合は、m=1の時は、ステップS1505の条件がYESとなり、ステップS1506へ進む。そして、m=6になった時、ステップS1505の条件がNOとなり、ステップS1206のループを抜ける。
【0081】
ステップS1506にて、単位文字領域の平均色である単位文字色C(m)が未決定であるか否かを判定する。未決定でない場合(ステップS1506でNO)、ステップS1507に進む。一方、未決定である場合(ステップS1506でYES)、ステップS1507に進む。
【0082】
ここで、単位文字色C(m)は、Cb,Crの情報をもつ構造体であり、m番目の単位文字色のCbをC(m)_b、m番目の代表色のCrをC(m)_rと表すことにする。単位文字色C(m)は、最初、値が割り当てられていないため、C(m)は未決定となり、ステップS1507へ進む。
【0083】
次に、ステップS1507にて、候補代表色C’(n)と単位文字色C(m)の色空間上の距離(Distance)を算出する。
【0084】
次に、ステップS1508にて、予め設定された値valueに対して、Distance≦valueであるか否かを判定する。Distance≦valueでない場合(ステップS1508でNO)、ステップS1510に進む。一方、Distance≦valueである場合(ステップS1508でYES)、つまり、単位文字色C(m)が候補代表色C’(n)の近似色であるとみなせる場合、ステップS1509に進む。
【0085】
ステップS1509にて、候補代表色C’(n)を単位文字色C(m)(単位文字領域の代表色)に設定する。即ち、C’(n)_bをC(m)_bに代入し、C’(n)_rをC(m)_rに代入する。そして、ステップS1510にて、単位文字数mに1を加算し、ステップS1505に戻る。
【0086】
尚、ステップS1508におけるvalueは、単位文字色C(m)が候補代表色C’(n)の近似色であるか否かを判定するための閾値であり、任意にその値を調整可能である。また、上述したように、処理対象の文字領域が反転文字領域で、かつWhiteFlagがONである場合には、C(m)_b及びC(m)_rそれぞれに0を代入する。
【0087】
また、2次元ヒストグラムから代表色を算出した場合、代表色は、輝度成分Yをもたないため、文字領域内の同一の代表色をもつ単位文字間で輝度成分Yを算出する必要がある。さらに代表色のRGB情報を必要とする場合は、YCbCrからRGBへの色空間変換を行う。
【0088】
以上のようにして、図10、図11、図12A及び図12Bで示されるフローチャートで、特に、部分2値画像107と縮小多値画像114を用いて、各単位文字領域の代表色抽出と色割当が行われる。また、抽出された代表色は、図1の各文字代表色111として、圧縮データ118に格納される。
【0089】
次に、文字領域穴埋め部115が実行する処理について、図15を用いて説明する。
【0090】
図15は本発明の実施形態の文字領域穴埋め部が実行する処理を示すフローチャートである。
【0091】
文字領域穴埋め部115は、縮小多値画像114と部分2値画像107及び文字領域座標106を入力・参照し、縮小多値画像114中の文字にあたる画素を周りの背景色で塗りつぶす処理である。これにより、後のJPEG圧縮部116の圧縮率が向上する。
【0092】
まず、ステップS1701にて、文字領域毎に処理を行うため、未処理の文字領域の有無を判定する。未処理の文字領域がない場合(ステップS1701でNO)、処理を終了する。一方、未処理の文字領域がある場合(ステップS1701でYES)、ステップS1702に進み、部分2値画像107の白画素に位置的に対応する縮小多値画像114の色を参照することにより、文字領域内の背景色の平均値を算出する。部分2値画像107と縮小多値画像114の座標対応の方法は、代表色抽出部110で説明した方法と同様であるため、その詳細については省略する。
【0093】
次に、ステップS1703にて、算出した背景色の平均値を縮小多値画像114の文字領域に割り当てる、つまり、算出した背景色で縮小多値画像114の文字領域あるいはその文字領域内の単位文字領域を穴埋めする。
【0094】
次に、圧縮データ118を伸長する画像伸長装置について、図16を用いて説明する。
【0095】
図16は本発明の実施形態の画像伸長装置の概略構成を示す図である。
【0096】
MMR伸長部1803は、圧縮コードA109を入力し、MMR伸長処理を行い、2値画像1804を作成する。JPEG伸長部1809は、圧縮コードB117を入力し、JPEG伸長処理を行い、さらに拡大部1810で拡大処理を行うことで、多値画像1811を作成する。合成部1805は、文字領域座標106を参照しながら、各文字代表色111を2値画像1804中の対応する単位文字領域の各黒画素に割り当て、その2値画像を多値画像1811の上に表示する。この際、2値画像1804の白画素は多値画像1811を透過する。
【0097】
このようにして、図16の画像伸長装置は、図1の画像圧縮装置により作成された圧縮データ118を伸長し、最終的な復元画像である伸長画像1806を生成することができる。
【0098】
以上説明したように、本実施形態によれば、文字領域が反転文字領域であるか否かを判定し、その判定結果に基づいて、文字領域の2値画像とその文字領域を構成する単位文字領域における代表色を抽出して割り当てることで、各文字領域に対して適切な代表色を抽出して割り当てることができる。
【0099】
また、この単位文字領域毎の代表色を圧縮データの一部として生成する。そして、この圧縮データを伸長して復元画像を得る場合には、この代表色を利用して、各文字領域内の各単位文字領域の色を再現する。これにより、入力画像の画品位、特に、反転文字領域の画品位を良好に維持した復元画像を再現することができる。
【0100】
また、文字領域に関しては、従来使用されていたJPEG圧縮に代って、MMR圧縮を利用して圧縮することで、より高圧縮な圧縮画像を生成することができる。
【0101】
以上説明した実施形態における、画像圧縮装置及び画像伸長装置は、画像圧縮機能及び画像伸長機能を有するパーソナルコンピュータ等の情報処理装置でもって実現できるし、その機能を実現する手順としての方法の発明として捉えることができる。また、コンピュータにより実現できるわけであるから、本発明はそれぞれの装置で実行されるコンピュータプログラム、更には、そのコンピュータプログラムを格納し、コンピュータが読み込めるCD−ROM等のコンピュータ可読記憶媒体にも適用できるのは明らかであろう。
【0102】
従って、上記実施形態に係る実施態様を列挙すると、次の通りである。すなわち、画像圧縮装置及び画像伸長装置、それらの方法、プログラムは、次のようになる。
【0103】
<実施態様1> 入力された多値画像を圧縮する画像圧縮装置であって、
前記多値画像を2値化する2値化手段と、
前記2値化手段で2値化された2値画像中の文字領域の位置を特定し、かつ特定された文字領域が反転文字領域であるか否かを判定する第1領域特定手段と、前記第1領域特定手段で特定された文字領域中の単位文字領域の位置を特定する第2領域特定手段と、
前記多値画像を縮小する縮小手段と、
前記第1領域特定手段で特定された文字領域が反転文字領域であるか否かを示す領域種別情報と、前記第2領域特定手段で特定された単位文字領域の位置情報及び前記縮小多値画像とに基づいて、前記単位文字領域の代表色を抽出する代表色抽出手段と、
前記第1領域特定手段で特定された文字領域の位置情報に基づいて、前記縮小多値画像の文字領域内の単位文字領域をその周辺色で穴埋めする穴埋め手段と、前記穴埋め手段で生成された穴埋め縮小多値画像を圧縮する第1圧縮手段と、前記第1領域特定手段で特定された文字領域に対応する部分2値画像を圧縮する第2圧縮手段と、
前記第1及び第2領域特定手段で特定された位置情報と、前記第1及び第2圧縮手段で生成された第1及び第2圧縮コードと、前記代表色抽出手段で抽出された単位文字領域の代表色情報を含む圧縮データを出力する出力手段と
を備えることを特徴とする画像圧縮装置。
【0104】
<実施態様2> 前記代表色抽出手段は、前記第2領域特定手段で特定された単位文字領域の位置情報を用いて、前記縮小多値画像の色情報を参照することにより、前記単位文字領域の平均色を算出する平均色算出手段と、
前記平均色算出手段で生成された単位文字領域の平均色から第1ヒストグラムを作成する第1ヒストグラム作成手段と、
前記第1ヒストグラムに基づいて、前記単位文字領域の代表色の候補となる候補代表色を抽出する抽出手段と、
前記第1領域特定手段で特定された文字領域が反転文字領域であるか否かを示す領域種別情報と、前記抽出手段で抽出された候補代表色と前記単位文字領域の平均色に基づいて、前記候補代表色を前記単位文字の代表色に割り当てる色割当手段と
を備えることを特徴とする実施態様1に記載の画像圧縮装置。
【0105】
<実施態様3> 前記2値化手段は、前記多値画像に基づく第2ヒストグラムを作成する第2ヒストグラム作成手段と、
前記第2ヒストグラムに基づいて、前記多値画像を2値化するための2値化閾値を算出する2値化閾値算出手段と
を備えることを特徴とする実施態様2に記載の画像圧縮装置。
【0106】
<実施態様4> 前記第1領域特定手段は、前記2値画像において所定値をとる画素の輪郭線追跡を行って特定される領域群を、それぞれ文字領域あるいは自然画像領域に特定し、かつ文字領域に対しては反転文字領域であるか否かを特定し、前記領域群の各領域の位置情報、サイズ情報及びその種類を示す属性情報を特定する
ことを特徴とする実施態様1に記載の画像圧縮装置。
【0107】
<実施態様5> 前記第2領域特定手段は、前記第1領域特定手段で特定された文字領域中の所定値をとる画素の集合を単位文字領域として特定し、前記単位文字領域の位置情報とサイズ情報を特定する
ことを特徴とする実施態様1に記載の画像圧縮装置。
【0108】
<実施態様6> 前記平均色算出手段は、前記第2領域特定手段で特定された単位文字領域の位置情報を用いて、前記単位文字領域内の所定値をとる画素に対応する前記縮小多値画像の色情報を参照することにより、該単位文字領域の平均色を算出する
ことを特徴とする実施態様2に記載の画像圧縮装置。
【0109】
<実施態様7> 前記第1ヒストグラム作成手段は、前記平均色算出手段で算出された単位文字領域の平均色を用いて、前記単位文字領域からなる文字領域内における色空間ヒストグラムを第1ヒストグラムとして作成する
ことを特徴とする実施態様2に記載の画像圧縮装置。
【0110】
<実施態様8> 前記抽出手段は、前記色空間ヒストグラム中で出力頻度の高い色分布から順に、前記単位文字領域の代表色の候補となる候補代表色を抽出する
ことを特徴とする実施態様7に記載の画像圧縮装置。
【0111】
<実施態様9> 前記色割当手段は、前記抽出手段で抽出された候補代表色と、前記単位文字領域の平均色との間の色空間上の距離を計算し、その距離が所定範囲内である場合に、前記候補代表色を前記単位文字領域の代表色として割り当る
ことを特徴とする実施態様8に記載の画像圧縮装置。
【0112】
<実施態様10> 前記色割当手段は、前記抽出手段で抽出された候補代表色と、前記単位文字領域の平均色との間の色空間上の距離を計算し、その距離が所定範囲内であり、かつ単位文字領域からなる文字領域が反転文字領域である場合に、所定色を前記単位文字領域の代表色として割り当る
ことを特徴とする実施態様8に記載の画像圧縮装置。
【0113】
<実施態様11> 前記縮小手段は、解像度変換パラメータを用いて、前記多値画像を解像度変換することで該多値画像を縮小する
ことを特徴とする実施態様1に記載の画像圧縮装置。
【0114】
<実施態様12> 前記穴埋め手段は、前記第1領域特定手段で特定された文字領域の位置情報に基づいて、前記縮小手段で設定されている縮小度に応じた位置に対応する前記縮小多値画像の文字領域内の単位文字領域をその周辺色で穴埋めする
ことを特徴とする実施態様1に記載の画像圧縮装置。
【0115】
<実施態様13> 前記第1圧縮手段は、JPEG圧縮準拠である
ことを特徴とする実施態様1に記載の画像圧縮装置。
【0116】
<実施態様14> 前記第2圧縮手段は、MMR圧縮準拠である
ことを特徴とする実施態様1に記載の画像圧縮装置。
【0117】
<実施態様15> 前記圧縮データを可逆圧縮する第3圧縮手段と
を更に備えることを特徴とする実施態様1に記載の画像圧縮装置。
【0118】
<実施態様16> 圧縮データを伸長する画像伸長装置であって、
多値画像を2値化した2値画像中の文字領域あるいは反転文字領域を圧縮した第1圧縮コードと、前記多値画像の縮小多値画像の文字領域あるいは反転文字領域内の単位文字領域がその周辺色で穴埋めされた前記縮小多値画像を圧縮した第2圧縮コードと、前記文字領域あるいは反転文字領域の位置情報と、該文字領域あるいは反転文字領域内の単位文字領域の代表色情報を含む圧縮データを入力する入力手段と、
前記圧縮データ中の前記第1圧縮コードを伸長する第1伸長手段と、
前記圧縮データ中の前記第2圧縮コードを伸長する第2伸長手段と、
前記第2伸長手段で伸長された縮小多値画像を拡大する拡大手段と、
前記圧縮データ中の前記位置情報及び前記代表色に基づいて、前記第1伸長段で伸長された2値画像と前記拡大手段で拡大された多値画像を合成する合成手段と
を備えることを特徴とする画像伸長装置。
【0119】
<実施態様17> 入力された多値画像を圧縮する画像圧縮方法であって、
前記多値画像を2値化する2値化工程と、
前記2値化工程で2値化された2値画像中の文字領域の位置を特定し、かつ特定された文字領域が反転文字領域であるか否かを判定する第1領域特定工程と、
前記第1領域特定工程で特定された文字領域中の単位文字領域の位置を特定する第2領域特定工程と、
前記多値画像を縮小する縮小工程と、
前記第1領域特定工程で特定された文字領域が反転文字領域であるか否かを示す領域種別情報と、前記第2領域特定工程で特定された単位文字領域の位置情報及び前記縮小多値画像とに基づいて、前記単位文字領域の代表色を抽出する代表色抽出工程と、
前記第1領域特定工程で特定された文字領域の位置情報に基づいて、前記縮小多値画像の文字領域内の単位文字領域をその周辺色で穴埋めする穴埋め工程と、
前記穴埋め工程で生成された穴埋め縮小多値画像を圧縮する第1圧縮工程と、
前記第1領域特定工程で特定された文字領域に対応する部分2値画像を圧縮する第2圧縮工程と、
前記第1及び第2領域特定工程で特定された位置情報と、前記第1及び第2圧縮工程で生成された第1及び第2圧縮コードと、前記代表色抽出工程で抽出された単位文字領域の代表色情報を含む圧縮データを出力する出力工程と
を備えることを特徴とする画像圧縮方法。
【0120】
<実施態様18> 圧縮データを伸長する画像伸長方法であって、
多値画像を2値化した2値画像中の文字領域あるいは反転文字領域を圧縮した第1圧縮コードと、前記多値画像の縮小多値画像の文字領域あるいは反転文字領域内の単位文字領域がその周辺色で穴埋めされた前記縮小多値画像を圧縮した第2圧縮コードと、前記文字領域あるいは反転文字領域の位置情報と、該文字領域あるいは反転文字領域内の単位文字領域の代表色情報を含む圧縮データを入力する入力工程と、
前記圧縮データ中の前記第1圧縮コードを伸長する第1伸長工程と、
前記圧縮データ中の前記第2圧縮コードを伸長する第2伸長工程と、
前記第2伸長工程で伸長された縮小多値画像を拡大する拡大工程と、
前記圧縮データ中の前記位置情報及び前記代表色に基づいて、前記第1伸長段で伸長された2値画像と前記拡大工程で拡大された多値画像を合成する合成工程と
を備えることを特徴とする画像伸長方法。
【0121】
<実施態様19> 入力された多値画像を圧縮する画像圧縮を実現するプログラムであって、
前記多値画像を2値化する2値化工程のプログラムコードと、
前記2値化工程で2値化された2値画像中の文字領域の位置を特定し、かつ特定された文字領域が反転文字領域であるか否かを判定する第1領域特定工程のプログラムコードと、
前記第1領域特定工程で特定された文字領域中の単位文字領域の位置を特定する第2領域特定工程のプログラムコードと、
前記多値画像を縮小する縮小工程のプログラムコードと、
前記第1領域特定工程で特定された文字領域が反転文字領域であるか否かを示す領域種別情報と、前記第2領域特定工程で特定された単位文字領域の位置情報及び前記縮小多値画像とに基づいて、前記単位文字領域の代表色を抽出する代表色抽出工程のプログラムコードと、
前記第1領域特定工程で特定された文字領域の位置情報に基づいて、前記縮小多値画像の文字領域内の単位文字領域をその周辺色で穴埋めする穴埋め工程のプログラムコードと、
前記穴埋め工程で生成された穴埋め縮小多値画像を圧縮する第1圧縮工程のプログラムコードと、
前記第1領域特定工程で特定された文字領域に対応する部分2値画像を圧縮する第2圧縮工程のプログラムコードと、
前記第1及び第2領域特定工程で特定された位置情報と、前記第1及び第2圧縮工程で生成された第1及び第2圧縮コードと、前記代表色抽出工程で抽出された単位文字領域の代表色情報を含む圧縮データを出力する出力工程のプログラムコードと
を備えることを特徴とするプログラム。
【0122】
<実施態様20> 圧縮データを伸長する画像伸長を実現するプログラムであって、
多値画像を2値化した2値画像中の文字領域あるいは反転文字領域を圧縮した第1圧縮コードと、前記多値画像の縮小多値画像の文字領域あるいは反転文字領域内の単位文字領域がその周辺色で穴埋めされた前記縮小多値画像を圧縮した第2圧縮コードと、前記文字領域あるいは反転文字領域の位置情報と、該文字領域あるいは反転文字領域内の単位文字領域の代表色情報を含む圧縮データを入力する入力工程のプログラムコードと、
前記圧縮データ中の前記第1圧縮コードを伸長する第1伸長工程のプログラムコードと、
前記圧縮データ中の前記第2圧縮コードを伸長する第2伸長工程のプログラムコードと、
前記第2伸長工程で伸長された縮小多値画像を拡大する拡大工程のプログラムコードと、
前記圧縮データ中の前記位置情報及び前記代表色に基づいて、前記第1伸長段で伸長された2値画像と前記拡大工程で拡大された多値画像を合成する合成工程のプログラムコードと
を備えることを特徴とするプログラム。
【0123】
以上、実施形態例を詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【0124】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【0125】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【0126】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
【0127】
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
【0128】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【0129】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0130】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【0131】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【0132】
【発明の効果】
以上説明したように、本発明によれば、良好な復元画像を生成することでき、かつ圧縮対象の画像品位を低下させない画像圧縮を行うことができる画像処理技術を提供できる。
【図面の簡単な説明】
【図1】本発明の実施形態の画像圧縮装置の概略構成を示す図である。
【図2】本発明の実施形態の入力画像の一例を示す図である。
【図3】本発明の実施形態の2値化部が実行する2値化処理を示すフローチャートである。
【図4】本発明の実施形態の入力画像のヒストグラムの一例を示す図である。
【図5】本発明の実施形態の領域特定部Aが実行する処理を示すフローチャートである。
【図6】本発明の実施形態の領域特定部Bが実行する処理を示すフローチャートである。
【図7】本発明の実施形態の2値画像の一例を示す図である。
【図8】本発明の実施形態の領域特定部Aによる処理結果の一例を示す図である。
【図9】本発明の実施形態の領域特定部Bによる処理結果の一例を示す図である。
【図10】本発明の実施形態の代表色抽出部が実行する処理を示すフローチャートである。
【図11】本発明の実施形態の代表色抽出処理の詳細を示すフローチャートである。
【図12A】本発明の実施形態のステップS1006の代表色抽出と色割当の処理の詳細を示すフローチャートである。
【図12B】本発明の実施形態のステップS1503の詳細を示すフローチャートである。
【図13】本発明の実施形態の代表色抽出部の処理を説明するための図である。
【図14】本発明の実施形態の代表色抽出部の処理を説明するための図である。
【図15】本発明の実施形態の文字領域穴埋め部が実行する処理を示すフローチャートである。
【図16】本発明の実施形態の画像伸長装置の概略構成を示す図である。
【符号の説明】
101 入力画像
102 2値化部
103 2値画像
104 領域特定部A
105 領域特定部B
106 文字領域座標
107 部分2値画像
108 MMR圧縮部
109 圧縮コードA
110 代表色抽出部
111 各文字代表色
112 多値画像
113 縮小部
114 縮小多値画像
115 文字領域穴埋め部
116 JPEG圧縮部
117 圧縮コードB
118 圧縮データ
1803 MMR伸長部
1804 2値画像
1805 合成部
1806 伸長画像
1809 JPEG伸長部
1810 拡大部
1811 多値画像

Claims (15)

  1. 入力された多値画像を圧縮する画像圧縮装置であって、
    前記多値画像を2値化する2値化手段と、
    前記2値化手段で2値化された2値画像中の文字領域の位置を特定し、かつ特定された文字領域が反転文字領域であるか否かを判定する第1領域特定手段と、
    前記第1領域特定手段で特定された文字領域中の単位文字領域の位置を特定する第2領域特定手段と、
    前記多値画像を縮小して縮小多値画像を生成する縮小手段と、
    前記第1領域特定手段で特定された文字領域が反転文字領域であるか否かを示す領域種別情報と、前記第2領域特定手段で特定された単位文字領域の位置情報及び前記縮小多値画像とに基づいて、前記単位文字領域の代表色を抽出する代表色抽出手段と、
    前記第1領域特定手段で特定された文字領域の位置情報に基づいて、前記縮小多値画像の文字領域内の単位文字領域をその周辺色で穴埋めする穴埋め手段と、
    前記穴埋め手段で生成された穴埋め縮小多値画像を圧縮する第1圧縮手段と、
    前記第1領域特定手段で特定された文字領域に対応する部分2値画像を圧縮する第2圧縮手段と、
    前記第1及び第2領域特定手段で特定された位置情報と、前記第1及び第2圧縮手段で生成された第1及び第2圧縮コードと、前記代表色抽出手段で抽出された単位文字領域の代表色情報を含む圧縮データを出力する出力手段とを備え、
    前記代表色抽出手段は、
    前記第2領域特定手段で特定された単位文字領域の位置情報を用いて、前記縮小多値画像の色情報を参照することにより、前記単位文字領域の平均色を算出する平均色算出手段と、
    前記平均色算出手段で生成された単位文字領域の平均色を用いて、前記単位文字領域からなる文字領域内における色空間ヒストグラムを第1ヒストグラムを作成する第1ヒストグラム作成手段と、
    前記第1ヒストグラム中で出力頻度の高い色分布から順に、前記単位文字領域の代表色の候補となる候補代表色を抽出する抽出手段と、
    前記第1領域特定手段で特定された文字領域が反転文字領域であるか否かを示す領域種別情報と、前記抽出手段で抽出された候補代表色と前記単位文字領域の平均色に基づいて、前記候補代表色を前記単位文字領域の代表色に割り当てる色割当手段とを備え、
    前記色割当手段は、前記抽出手段で抽出された候補代表色と、前記単位文字領域の平均色との間の色空間上の距離を計算し、
    その距離が所定範囲内であり、かつ前記領域種別情報が単位文字領域からなる文字領域が反転文字領域であることを示している場合には、所定色を前記単位文字領域の代表色として割り当て、
    その距離が所定範囲内であり、かつ前記領域種別情報が単位文字領域からなる文字領域が反転文字領域でないことを示している場合には、前記候補代表色を前記単位文字領域の代表色として割り当てる
    ことを特徴とする画像圧縮装置。
  2. 前記2値化手段は、前記多値画像に基づく第2ヒストグラムを作成する第2ヒストグラム作成手段と、
    前記第2ヒストグラムに基づいて、前記多値画像を2値化するための2値化閾値を算出する2値化閾値算出手段と
    を備えることを特徴とする請求項1に記載の画像圧縮装置。
  3. 前記第1領域特定手段は、前記2値画像において所定値をとる画素の輪郭線追跡を行って特定される領域群を、それぞれ文字領域あるいは自然画像領域に特定し、かつ文字領域に対しては反転文字領域であるか否かを特定し、前記領域群の各領域の位置情報、サイズ情報及びその種類を示す属性情報を特定する
    ことを特徴とする請求項1に記載の画像圧縮装置。
  4. 前記第2領域特定手段は、前記第1領域特定手段で特定された文字領域中の所定値をとる画素の集合を単位文字領域として特定し、前記単位文字領域の位置情報とサイズ情報を特定する
    ことを特徴とする請求項1に記載の画像圧縮装置。
  5. 前記平均色算出手段は、前記第2領域特定手段で特定された単位文字領域の位置情報を用いて、前記単位文字領域内の所定値をとる画素に対応する前記縮小多値画像の色情報を参照することにより、該単位文字領域の平均色を算出する
    ことを特徴とする請求項1に記載の画像圧縮装置。
  6. 前記縮小手段は、解像度変換パラメータを用いて、前記多値画像を解像度変換することで該多値画像を縮小して縮小多値画像を生成する
    ことを特徴とする請求項1に記載の画像圧縮装置。
  7. 前記穴埋め手段は、前記第1領域特定手段で特定された文字領域の位置情報に基づいて、前記縮小手段で設定されている縮小度に応じた位置に対応する前記縮小多値画像の文字領域内の単位文字領域をその周辺色で穴埋めする
    ことを特徴とする請求項1に記載の画像圧縮装置。
  8. 前記第1圧縮手段は、JPEG圧縮準拠である
    ことを特徴とする請求項1に記載の画像圧縮装置。
  9. 前記第2圧縮手段は、MMR圧縮準拠である
    ことを特徴とする請求項1に記載の画像圧縮装置。
  10. 前記圧縮データを可逆圧縮する第3圧縮手段を更に備える
    ことを特徴とする請求項1に記載の画像圧縮装置。
  11. 圧縮データを伸長する画像伸長装置であって、
    多値画像を2値化した2値画像中の文字領域あるいは反転文字領域を圧縮した第1圧縮コードと、前記多値画像の縮小多値画像の文字領域あるいは反転文字領域内の単位文字領域がその周辺色で穴埋めされた前記縮小多値画像を圧縮した第2圧縮コードと、前記文字領域あるいは反転文字領域の位置情報と、該文字領域あるいは反転文字領域内の単位文字領域の代表色情報を含む圧縮データを入力する入力手段と、
    前記圧縮データ中の前記第1圧縮コードを伸長する第1伸長手段と、
    前記圧縮データ中の前記第2圧縮コードを伸長する第2伸長手段と、
    前記第2伸長手段で伸長された縮小多値画像を拡大する拡大手段と、
    前記圧縮データ中の前記位置情報及び前記代表色に基づいて、前記第1伸長段で伸長された2値画像と前記拡大手段で拡大された多値画像を合成する合成手段とを備え、
    前記代表色抽出情報は、前記圧縮データを出力する請求項1に記載の画像圧縮装置の代表色抽出手段によって生成されたものである
    ことを特徴とする画像伸長装置。
  12. 入力された多値画像を圧縮する画像圧縮方法であって、
    前記多値画像を2値化する2値化工程と、
    前記2値化工程で2値化された2値画像中の文字領域の位置を特定し、かつ特定された文字領域が反転文字領域であるか否かを判定する第1領域特定工程と、
    前記第1領域特定工程で特定された文字領域中の単位文字領域の位置を特定する第2領域特定工程と、
    前記多値画像を縮小して縮小多値画像を生成する縮小工程と、
    前記第1領域特定工程で特定された文字領域が反転文字領域であるか否かを示す領域種別情報と、前記第2領域特定工程で特定された単位文字領域の位置情報及び前記縮小多値画像とに基づいて、前記単位文字領域の代表色を抽出する代表色抽出工程と、
    前記第1領域特定工程で特定された文字領域の位置情報に基づいて、前記縮小多値画像の文字領域内の単位文字領域をその周辺色で穴埋めする穴埋め工程と、
    前記穴埋め工程で生成された穴埋め縮小多値画像を圧縮する第1圧縮工程と、
    前記第1領域特定工程で特定された文字領域に対応する部分2値画像を圧縮する第2圧縮工程と、
    前記第1及び第2領域特定工程で特定された位置情報と、前記第1及び第2圧縮工程で生成された第1及び第2圧縮コードと、前記代表色抽出工程で抽出された単位文字領域の代表色情報を含む圧縮データを出力する出力工程とを備え、
    前記代表色抽出工程は、
    前記第2領域特定工程で特定された単位文字領域の位置情報を用いて、前記縮小多値画像の色情報を参照することにより、前記単位文字領域の平均色を算出する平均色算出工程と、
    前記平均色算出工程で生成された単位文字領域の平均色を用いて、前記単位文字領域からなる文字領域内における色空間ヒストグラムを第1ヒストグラムを作成する第1ヒストグラム作成工程と、
    前記第1ヒストグラム中で出力頻度の高い色分布から順に、前記単位文字領域の代表色の候補となる候補代表色を抽出する抽出工程と、
    前記第1領域特定工程で特定された文字領域が反転文字領域であるか否かを示す領域種別情報と、前記抽出工程で抽出された候補代表色と前記単位文字領域の平均色に基づいて、前記候補代表色を前記単位文字領域の代表色に割り当てる色割当工程とを備え、
    前記色割当工程は、前記抽出工程で抽出された候補代表色と、前記単位文字領域の平均色との間の色空間上の距離を計算し、
    その距離が所定範囲内であり、かつ前記領域種別情報が単位文字領域からなる文字領域が反転文字領域であることを示している場合には、所定色を前記単位文字領域の代表色として割り当て、
    その距離が所定範囲内であり、かつ前記領域種別情報が単位文字領域からなる文字領域が反転文字領域でないことを示している場合には、前記候補代表色を前記単位文字領域の代表色として割り当てる
    ことを特徴とする画像圧縮方法。
  13. 圧縮データを伸長する画像伸長方法であって、
    多値画像を2値化した2値画像中の文字領域あるいは反転文字領域を圧縮した第1圧縮コードと、前記多値画像の縮小多値画像の文字領域あるいは反転文字領域内の単位文字領域がその周辺色で穴埋めされた前記縮小多値画像を圧縮した第2圧縮コードと、前記文字領域あるいは反転文字領域の位置情報と、該文字領域あるいは反転文字領域内の単位文字領域の代表色情報を含む圧縮データを入力する入力工程と、
    前記圧縮データ中の前記第1圧縮コードを伸長する第1伸長工程と、
    前記圧縮データ中の前記第2圧縮コードを伸長する第2伸長工程と、
    前記第2伸長工程で伸長された縮小多値画像を拡大する拡大工程と、
    前記圧縮データ中の前記位置情報及び前記代表色に基づいて、前記第1伸長段で伸長された2値画像と前記拡大工程で拡大された多値画像を合成する合成工程とを備え、
    前記代表色抽出情報は、前記圧縮データを出力する請求項12に記載の画像圧縮方法の代表色抽出工程によって生成されたものである
    ことを特徴とする画像伸長方法。
  14. 入力された多値画像を圧縮する画像圧縮をコンピュータに実行させるためのプログラムであって、
    前記多値画像を2値化する2値化工程と、
    前記2値化工程で2値化された2値画像中の文字領域の位置を特定し、かつ特定された文字領域が反転文字領域であるか否かを判定する第1領域特定工程と、
    前記第1領域特定工程で特定された文字領域中の単位文字領域の位置を特定する第2領域特定工程と、
    前記多値画像を縮小して縮小多値画像を生成する縮小工程と、
    前記第1領域特定工程で特定された文字領域が反転文字領域であるか否かを示す領域種別情報と、前記第2領域特定工程で特定された単位文字領域の位置情報及び前記縮小多値画像とに基づいて、前記単位文字領域の代表色を抽出する代表色抽出工程と、
    前記第1領域特定工程で特定された文字領域の位置情報に基づいて、前記縮小多値画像 の文字領域内の単位文字領域をその周辺色で穴埋めする穴埋め工程と、
    前記穴埋め工程で生成された穴埋め縮小多値画像を圧縮する第1圧縮工程と、
    前記第1領域特定工程で特定された文字領域に対応する部分2値画像を圧縮する第2圧縮工程と、
    前記第1及び第2領域特定工程で特定された位置情報と、前記第1及び第2圧縮工程で生成された第1及び第2圧縮コードと、前記代表色抽出工程で抽出された単位文字領域の代表色情報を含む圧縮データを出力する出力工程とをコンピュータに実行させ、
    前記代表色抽出工程は、
    前記第2領域特定工程で特定された単位文字領域の位置情報を用いて、前記縮小多値画像の色情報を参照することにより、前記単位文字領域の平均色を算出する平均色算出工程と、
    前記平均色算出工程で生成された単位文字領域の平均色を用いて、前記単位文字領域からなる文字領域内における色空間ヒストグラムを第1ヒストグラムを作成する第1ヒストグラム作成工程と、
    前記第1ヒストグラム中で出力頻度の高い色分布から順に、前記単位文字領域の代表色の候補となる候補代表色を抽出する抽出工程と、
    前記第1領域特定工程で特定された文字領域が反転文字領域であるか否かを示す領域種別情報と、前記抽出工程で抽出された候補代表色と前記単位文字領域の平均色に基づいて、前記候補代表色を前記単位文字領域の代表色に割り当てる色割当工程とを備え、
    前記色割当工程は、前記抽出工程で抽出された候補代表色と、前記単位文字領域の平均色との間の色空間上の距離を計算し、
    その距離が所定範囲内であり、かつ前記領域種別情報が単位文字領域からなる文字領域が反転文字領域であることを示している場合には、所定色を前記単位文字領域の代表色として割り当て、
    その距離が所定範囲内であり、かつ前記領域種別情報が単位文字領域からなる文字領域が反転文字領域でないことを示している場合には、前記候補代表色を前記単位文字領域の代表色として割り当てる
    ことを特徴とするプログラム。
  15. 圧縮データを伸長する画像伸長をコンピュータに実行させるためのプログラムであって、
    多値画像を2値化した2値画像中の文字領域あるいは反転文字領域を圧縮した第1圧縮コードと、前記多値画像の縮小多値画像の文字領域あるいは反転文字領域内の単位文字領域がその周辺色で穴埋めされた前記縮小多値画像を圧縮した第2圧縮コードと、前記文字領域あるいは反転文字領域の位置情報と、該文字領域あるいは反転文字領域内の単位文字領域の代表色情報を含む圧縮データを入力する入力工程と、
    前記圧縮データ中の前記第1圧縮コードを伸長する第1伸長工程と、
    前記圧縮データ中の前記第2圧縮コードを伸長する第2伸長工程と、
    前記第2伸長工程で伸長された縮小多値画像を拡大する拡大工程と、
    前記圧縮データ中の前記位置情報及び前記代表色に基づいて、前記第1伸長段で伸長された2値画像と前記拡大工程で拡大された多値画像を合成する合成工程とをコンピュータに実行させ、
    前記代表色抽出情報は、前記圧縮データを出力する請求項12に記載の画像圧縮方法の代表色抽出工程によって生成されたものである
    ことを特徴とするプログラム。
JP2003046226A 2003-02-24 2003-02-24 画像圧縮装置及び方法、画像伸張装置及び方法、プログラム Expired - Fee Related JP4047192B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003046226A JP4047192B2 (ja) 2003-02-24 2003-02-24 画像圧縮装置及び方法、画像伸張装置及び方法、プログラム
US10/781,671 US7386168B2 (en) 2003-02-24 2004-02-20 Image processing apparatus
CNB2004100045687A CN1301492C (zh) 2003-02-24 2004-02-23 图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003046226A JP4047192B2 (ja) 2003-02-24 2003-02-24 画像圧縮装置及び方法、画像伸張装置及び方法、プログラム

Publications (2)

Publication Number Publication Date
JP2004260327A JP2004260327A (ja) 2004-09-16
JP4047192B2 true JP4047192B2 (ja) 2008-02-13

Family

ID=32866530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003046226A Expired - Fee Related JP4047192B2 (ja) 2003-02-24 2003-02-24 画像圧縮装置及び方法、画像伸張装置及び方法、プログラム

Country Status (3)

Country Link
US (1) US7386168B2 (ja)
JP (1) JP4047192B2 (ja)
CN (1) CN1301492C (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4441300B2 (ja) * 2004-03-25 2010-03-31 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラムおよびこのプログラムを記憶した記録媒体
JP2006166355A (ja) * 2004-12-10 2006-06-22 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP2006222940A (ja) * 2005-01-14 2006-08-24 Ricoh Co Ltd 画像処理装置
JP4609155B2 (ja) * 2005-03-30 2011-01-12 セイコーエプソン株式会社 画像圧縮方法、画像圧縮装置、画像圧縮プログラム及び画像読み取り装置
JP4817821B2 (ja) * 2005-12-01 2011-11-16 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
US20070176934A1 (en) * 2006-01-30 2007-08-02 Nokia Corporation Method, program, and apparatus enabling font color selection enhancement
JP4732250B2 (ja) 2006-06-14 2011-07-27 キヤノン株式会社 情報処理装置、制御方法、およびコンピュータプログラム
JP4816328B2 (ja) 2006-08-24 2011-11-16 富士ゼロックス株式会社 画像処理システム、画像圧縮システム、画像編集システム、画像処理プログラムおよび画像処理装置
US8041135B2 (en) * 2006-10-20 2011-10-18 Canon Kabushiki Kaisha Image encoding apparatus and control method thereof
JP4990751B2 (ja) * 2007-12-25 2012-08-01 京セラドキュメントソリューションズ株式会社 画像処理装置、画像読取装置
JP4957570B2 (ja) * 2008-01-30 2012-06-20 富士ゼロックス株式会社 画像処理装置
JP2009217811A (ja) * 2008-02-12 2009-09-24 Seiko Epson Corp 画像読取装置、画像読取方法および画像読取プログラム
US20090202151A1 (en) * 2008-02-13 2009-08-13 Kabushiki Kaisha Toshiba Format processing apparatus for document image and format processing method for the same
JP5132530B2 (ja) * 2008-02-19 2013-01-30 キヤノン株式会社 画像符号化装置及び画像処理装置及びそれらの制御方法
JP4902569B2 (ja) * 2008-02-19 2012-03-21 キヤノン株式会社 画像符号化装置及びその制御方法
WO2010140291A1 (ja) * 2009-06-02 2010-12-09 日本電気株式会社 情報処理装置
JP2012199669A (ja) * 2011-03-18 2012-10-18 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置
US8855413B2 (en) * 2011-05-13 2014-10-07 Abbyy Development Llc Image reflow at word boundaries
JP5701182B2 (ja) * 2011-08-18 2015-04-15 株式会社Pfu 画像処理装置、画像処理方法及びコンピュータプログラム
JP5701181B2 (ja) 2011-08-18 2015-04-15 株式会社Pfu 画像処理装置、画像処理方法及びコンピュータプログラム
JP5893379B2 (ja) 2011-12-13 2016-03-23 キヤノン株式会社 画像圧縮装置、画像圧縮方法、コンピュータプログラム
JP5847062B2 (ja) * 2012-11-27 2016-01-20 京セラドキュメントソリューションズ株式会社 画像処理装置
JP5730274B2 (ja) * 2012-11-27 2015-06-03 京セラドキュメントソリューションズ株式会社 画像処理装置
KR102016424B1 (ko) * 2013-04-12 2019-09-02 삼성디스플레이 주식회사 데이터 처리 장치 및 이를 갖는 디스플레이 시스템
JP6370080B2 (ja) 2014-04-02 2018-08-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム。
KR101890831B1 (ko) * 2017-01-11 2018-09-28 주식회사 펍플 전자책 서비스 제공방법 및 그를 위한 컴퓨터 프로그램
JP7185451B2 (ja) * 2018-09-10 2022-12-07 キヤノン株式会社 画像処理装置と画像処理方法、及びプログラム
JP7362405B2 (ja) 2019-10-09 2023-10-17 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5250109B2 (ja) * 1974-06-28 1977-12-22
JP3231800B2 (ja) * 1991-04-26 2001-11-26 キヤノン株式会社 画像符号化装置及び画像符号化方法
JPH04358475A (ja) * 1991-06-05 1992-12-11 Canon Inc 画像符号化装置
JP2001134773A (ja) * 1999-11-08 2001-05-18 Canon Inc 画像処理装置およびその方法
US6965695B2 (en) * 2000-03-23 2005-11-15 Ricoh Company, Ltd. Method and system for processing character edge area data
DE60138073D1 (de) * 2000-07-12 2009-05-07 Canon Kk Bildverarbeitungsverfahren und Bildverarbeitungsvorrichtung
JP3904840B2 (ja) * 2000-08-15 2007-04-11 富士通株式会社 多値画像から罫線を抽出する罫線抽出装置
US7133565B2 (en) 2000-08-25 2006-11-07 Canon Kabushiki Kaisha Image processing apparatus and method
JP4366003B2 (ja) 2000-08-25 2009-11-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP2002165105A (ja) 2000-11-27 2002-06-07 Canon Inc 画像処理装置及びその方法並びに記憶媒体
JP2002271611A (ja) * 2001-03-14 2002-09-20 Fujitsu Ltd 画像処理装置

Also Published As

Publication number Publication date
CN1301492C (zh) 2007-02-21
JP2004260327A (ja) 2004-09-16
US20040165782A1 (en) 2004-08-26
US7386168B2 (en) 2008-06-10
CN1525403A (zh) 2004-09-01

Similar Documents

Publication Publication Date Title
JP4047192B2 (ja) 画像圧縮装置及び方法、画像伸張装置及び方法、プログラム
US8077986B2 (en) Information processing apparatus, method of controlling same and computer program
JP4717562B2 (ja) 画像処理装置及び方法
US8284451B2 (en) Generating print data based on attributes of segmented regions of an input image
US20140320872A1 (en) Image processing apparatus, image processing method, and image processing program
JP5036430B2 (ja) 画像処理装置及びその制御方法
JP4366003B2 (ja) 画像処理装置及び画像処理方法
JP5137759B2 (ja) 画像処理装置
JP4708888B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP5893379B2 (ja) 画像圧縮装置、画像圧縮方法、コンピュータプログラム
JP4235583B2 (ja) 画像処理装置、画像処理用プログラム及び記憶媒体
US8532385B2 (en) Image processing apparatus and image processing method
JP4364809B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
US20110019911A1 (en) Image processing method, image processing apparatus, and computer-readable medium
JP2003338935A (ja) 画像処理装置および方法
JP6370080B2 (ja) 画像処理装置、画像処理方法及びプログラム。
JP3870147B2 (ja) 画像圧縮装置、画像伸長装置及びそれらの方法、プログラム
JP3817506B2 (ja) 画像圧縮装置、画像伸長装置及びそれらの方法、プログラム
JP2003348361A (ja) 画像処理装置
JP2007005907A (ja) 画像処理方法、画像処理装置、画像処理プログラム及び記録媒体
JP3346051B2 (ja) 画像処理装置
JP2003338934A (ja) 画像処理装置および方法
JP2007335983A (ja) 画像処理装置
JP2005204206A (ja) 画像処理装置、画像処理用プログラム及び記憶媒体
JP4383187B2 (ja) 画像処理装置、画像処理用プログラム及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4047192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101130

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111130

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121130

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131130

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees