JP3230122B2 - 二値画像のデータ圧縮方法及び装置 - Google Patents

二値画像のデータ圧縮方法及び装置

Info

Publication number
JP3230122B2
JP3230122B2 JP02105194A JP2105194A JP3230122B2 JP 3230122 B2 JP3230122 B2 JP 3230122B2 JP 02105194 A JP02105194 A JP 02105194A JP 2105194 A JP2105194 A JP 2105194A JP 3230122 B2 JP3230122 B2 JP 3230122B2
Authority
JP
Japan
Prior art keywords
data
pixel
binary image
image
area determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP02105194A
Other languages
English (en)
Other versions
JPH06311372A (ja
Inventor
隆広 本宮
Original Assignee
日本電気エンジニアリング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気エンジニアリング株式会社 filed Critical 日本電気エンジニアリング株式会社
Priority to JP02105194A priority Critical patent/JP3230122B2/ja
Publication of JPH06311372A publication Critical patent/JPH06311372A/ja
Application granted granted Critical
Publication of JP3230122B2 publication Critical patent/JP3230122B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、二値画像の符号化方法
および装置に関し、特に、文書書画、線図形、網点画、
写真などが混在した二値画像を対象としたデータ圧縮方
法および装置に関する。
【0002】
【従来の技術】各画素が"0"または"1"で表わされる二
値画像を符号化する標準的な方法として、G3ファクシ
ミリにおけるMH(Modefied Huffman)符号化やMR(Mod
efiedREAD, Modefied Relative Element Address Desig
nate)符号化があり、これらは国際規格としてCCIT
T(国際電信電話諮問委員会)において制定されてい
る。これらMH符号化やMR符号化は、事務文書などの
ファクシミリ伝送には適しているが、テキスト、線図
形、網点画、写真などが混在する二値画像(混在二値画
像)を高精細度で伝送するためには不十分であり、また
画像データベース検索などにおいてユーザ端末に画像を
表示するという用途への適用には向いていない。
【0003】そこで、二値静止画像データを対象とし、
テキストや線図形と網点画や写真とが混在する場合であ
っても高いデータ圧縮率での符号化が可能であり、かつ
ユーザ端末側での階層的(プログレッシブ)な表示が可
能である符号化方式として、JBIG(Joint Bi-level
Image coding experts Group)方式が国際標準規格とし
て提案されている。JBIG符号化方式による二値画像
データ圧縮装置は、概略的には、近接10画素を参照す
る二値マルコフモデルによってモデル化を行なう部分
と、エントロピ符号化を行なう符号化器とによって構成
される。エントロピ符号化としては、算術符号化が採用
されており、Qコード及びMelコードに基づいて開発
されたQMコード(以下、QM−Codeと表記する)
を標準符号として用いることが決まっている。以下、図
11および図12を用いて、JBIG方式についてさら
に説明する。
【0004】図11は、JBIG方式による従来の二値
画像データ圧縮装置を示している。ここでは、画像の左
上から逐次的に画素の走査を行うラスタスキャンによっ
て、入力二値画像の走査が行なわれているものとする。
図中、xi,jは第iラインのj番目に入力される画素
(注目画素)を示している。この装置には、画像の相関
を計算する相関演算部91と、相関の強い画素について
その位置を変更させる画素移動位置決定部92と、マル
コフモデル符号化における参照データを生成する参照デ
ータ作成部93と、実際に符号化を行なうQMコーダ9
4とによって構成されており、QMコーダ94の出力が
符号化出力となる。この装置では、注目画素xi,jがQ
Mコーダ94によって符号化される場合、参照データ作
成部93から出力される参照データに基づいてマルコフ
モデル符号化が行われる。また、マルコフモデル符号化
の参照データとして、符号化しようとする注目画素x
i,jに近接する10個の画素(近接10画素)を用いて
いる。図12は、注目画素xi, jとその近接10画素と
の位置関係を示している。また、この装置では、参照デ
ータについて、その参照する画素位置を画像の相関に応
じて1画素だけ変更できるよう考慮されている。その変
更方法は、周辺画素を用いて相関演算部91で演算され
たデータに基づき、画素移動位置決定部92によって、
上記近接10画素のうちの図12に示される位置Aの画
素を相関の強い別の画素位置の画素(置換画素)に置き
換えようとするものである。すなわち、画素Aの代りに
置換画素を使用して参照データを作成しようとすもので
ある。ただし、置換画素の位置の情報は、符号化側から
復号化側に伝達する必要がある。
【0005】
【発明が解決しようとする課題】ところで、QM−co
deを用いてマルコフモデル符号化を行う従来のJBI
G方式には、以下に述べるような、解決すべき課題があ
る。
【0006】(1) マルコフモデル符号化の参照データと
して近接10画素を利用するので、文書書画や線図形の
ような二値画像の圧縮効率は高いが、誤差拡散法を用い
た疑似中間調画像に対する圧縮効率が低い。
【0007】(2) 参照データの近接10画素のうち1画
素だけが相関の強い画素位置の画素と置換されることが
可能であるが、これだけでは、網点画像および組織ディ
ザ法を用いた疑似中間調画像のような二値画像データが
特定の周期を有している画像に対して、十分有効ではな
い。すなわちこれら特定の周期を有する二値画像データ
では、注目画素xi,jから特定の周期だけ離れた複数の
画素が注目画素と強い相関を有しており、1画素だけの
画素位置変更では不十分である。
【0008】(3) 参照データの画素位置変更において、
画像のライン単位でのみ画素位置の移動が可能となって
いる。しかし文書書画と疑似中間調画像が混在する場
合、1つのラインの中で文書書画と疑似中間調画像が混
在するのが一般的であり、このような場合には参照デー
タの画素位置変更ができない。
【0009】(4) 画素位置変更を行なう際、画素の移動
位置を求めるため、周辺画素との相関やマルコフモデル
エントロピを計算する必要がある。これらの演算処理
は、計算量が膨大である上に、データを一時的に蓄積す
るための大容量のメモリを必要とすることから、実現す
る際にコスト的なあるいはシステム的な大きな負担を伴
う。
【0010】本発明の目的は、二値画像データの種別に
よらず、混在画像を含む二値画像データ全般に関して効
率の良くデータ圧縮を行なうことのできる方法および装
置を提供することにある。
【0011】
【課題を解決するための手段】本発明二値画像のデータ
圧縮方法は、二値画像のデータ圧縮方法であって、入力
二値画像から画像統計量を求める第1のステップと、前
記画像統計量に応じて前記入力二値画像の画素ごとに
記入力二値画像の領域判定を行ない領域判定データを生
成する第2のステップと、マルコフモデル符号化におけ
る参照データを生成する第3のステップと、前記参照デ
ータを使用し各画素領域のマルコフ状態を区別して前記
画素のマルコフモデル符号化を行なう第4のステップ
と、を有し、前記参照データが前記領域判定データに対
応する第1のデータ部分と前記第1のデータ部分以外の
データ部分である第2のデータ部分とによって構成さ
、前記第3のステップにおいて、複数のデータの中か
ら前記領域判定データに応じて選択を行なうことにより
前記第2のデータ部分が生成され、前記第2のデータ部
分が、(1)符号化済みの画素から算出された注目画素
の推定濃度値と、前記注目画素に対して強い相関を有す
る符号化済みの画素の1つの画素値、および前記注目画
素に近接する画素の画素値とを組み合わせたもの、また
は(2)符号化済みの画素から算出された注目画素の推
定濃度値と、前記注目画素に対して強い相関を有する符
号化済みの複数の画素の画素値、および前記注目画素に
近接する画素の画素値とを組み合わせたものである
【0012】本発明の二値画像のデータ圧縮装置は、入
力二値画像から画像統計量を算出する画像統計量演算手
段と、前記画像統計量に応じて前記入力二値画像の画素
ごとに前記入力二値画像の領域判定を行ない領域判定デ
ータを生成する領域判定手段と、マルコフモデル符号化
における参照データを生成する参照データ生成手段と
を有し、前記参照データが前記領域判定データに対応す
る第1のデータ部分と前記第1のデータ部分以外のデー
タ部分である第2のデータ部分とによって構成され、前
記第2のデータ部分が、複数のデータの中から前記領域
判定データに応じて前記参照データ生成手段によって選
択されたものであり、前記第2のデータ部分が、(1)
符号化済みの画素から算出された注目画素の推定濃度値
と、前記注目画素に対して強い相関を有する符号化済み
の画素の1つの画素値、および前記注目画素に近接する
画素の画素値とを組み合わせたもの、または(2)符号
化済みの画素から算出された注目画素の推定濃度値と、
前記注目画素に対して強い相関を有する符号化済みの複
数の画素の画素値、および前記注目画素に近接する画素
の画素値とを組み合わせたものである
【0013】
【作用】本発明の二値画像のデータ圧縮方法では、入力
二値画像から画像の構造的な統計量を求め、この統計量
に応じて入力二値画像の領域判定を行ない、マルコフモ
デル符号化における参照データをこの領域判定の結果を
含む形態で作成するので、画像の性質に応じた適応的な
マルコフモデル符号化を行なうことが可能となる。その
結果、符号化済みの近接画素のみを参照データとして符
号化を行なう従来の場合に比べ、大幅なデータ圧縮が実
現される。入力二値画像を適当なブロックに分けて領域
判定を行なうことも可能であるが、非ブロック符号化で
あるマルコフモデル符号化との適合性を考慮すると、領
域判定が入力二値画像の各画素ごとに行なわれることが
好ましい。
【0014】本発明の二値画像のデータ圧縮方法は、マ
ルコフモデル符号化に使用される参照データを作成する
ものであるが、参照データの作成に引続き、この参照デ
ータを用いて入力二値画像のマルコフモデル符号化を行
なう第4のステップを設けることにより、適応的な参照
データを使用した符号化が行なわれることとなって、高
いデータ圧縮率での混在画像の符号化を行なうことが可
能となる。画素ごとに領域判定が行なわれる場合には、
第4のステップは、上述した参照データを使用し各画素
領域のマルコフ状態を区別して各画素のマルコモデル符
号化を行なうものとすることが望ましく、このようにす
ることによって、より高い圧縮率でのデータ符号化が達
成される。
【0015】本発明の二値画像のデータ圧縮方法におい
て、参照データは、領域判定データに対応する第1のデ
ータ部分と第1のデータ部分以外のデータ部分である第
2のデータ部分とによって構成されている。この第2の
データ部分も、領域判定データに応じて適応的に決定さ
れることが望ましい。具体的には、第2のデータ部分の
候補となるべき複数のデータの中から、領域判定データ
に応じて選択を行ない、第2のデータ部分とすることが
できる。このような第2のデータ部分の例として、注
目画素の近接する符号化済みの画素の画素値のみで構成
されているもの、符号化済みの画素から算出された注
目画素の推定濃度値と、注目画素に対して強い相関を有
する符号化済みの1つの画素値、および注目画素に近接
する画素の画素値とを組み合わせたもの、さらには、
符号化済みの画素から算出された注目画素の推定濃度値
と、注目画素に対して強い相関を有する符号化済みの複
数の画素値、および注目画素に近接する画素の画素値と
を組み合わせたもの、などを挙げることができる。第2
のデータ部分をどのように構成するかは、入力二値画像
としてどのような画像を主として取り扱うか、所望のデ
ータ圧縮率、必要なハードウェアあるいはソフトウェア
の量などに応じて決定される。
【0016】本発明の二値画像のデータ圧縮方法におい
て、領域判定の基準として何を取り上げるかは適宜に定
めることができる。しかし、マルコフモデル符号化の性
質を考慮し、参照データがより適応的なものとなるよう
にするため、注目画素が画像の輪郭部にあるのか平坦
部にあるのか、入力二値画像中に周期構造があるのか
ないのか、などを判定するようにすることが好ましい。
【0017】本発明の二値画像のデータ圧縮装置では、
入力二値画像から画像の構造的な統計量を求める画像統
計量演算手段と、この統計量に応じて入力二値画像の領
域判定を行なう領域判定手段と、マルコフモデル符号化
における参照データをこの領域判定の結果を含む形態で
作成する参照データ生成手段とを有するので、画像の性
質に応じた適応的なマルコフモデル符号化を行なうこと
が可能となる。その結果、符号化済みの近接画素のみを
参照データとして符号化を行なう従来のデータ圧縮装置
を使用する場合に比べ、大幅なデータ圧縮が実現され
る。入力二値画像を適当なブロックに分けて領域判定を
行なうことも可能であるが、非ブロック符号化であるマ
ルコフモデル符号化との適合性を考慮すると、領域判定
が入力二値画像の各画素ごとに行なわれることが好まし
い。
【0018】本発明の二値画像のデータ圧縮装置は、マ
ルコフモデル符号化に使用される参照データを作成する
ものであるが、さらに、この参照データを用いて入力二
値画像のマルコフモデル符号化を行なう符号化手段を設
けることにより、適応的な参照データを使用した符号化
が行なわれることとなって、高いデータ圧縮率での混在
画像の符号化を画像入力から一貫して行なうことが可能
となる。画素ごとに領域判定が行なわれる場合には、符
号化手段は、上述した参照データを使用し各画素領域の
マルコフ状態を区別して各画素のマルコモデル符号化を
行なうものとすることが望ましく、このようにすること
によって、より高い圧縮率でのデータ符号化が達成され
る。
【0019】
【実施例】次に、図面を参照して本発明の実施例を説明
する。図1は、本発明の一実施例の二値画像データ圧縮
装置の構成を示すブロック図である。
【0020】この二値画像データ圧縮装置は、入力され
る二値画像データから画像統計量を算出する画像統計量
演算部10と、算出された画像統計量に基づいて画素ご
とに入力した二値画像を領域判定する領域判定部11
と、マルコフモデル符号化における参照データを生成す
る参照データ作成部12と、参照データを参照してマル
コフモデル符号化を行なうQMコーダ13とによって構
成されている。画像統計量演算部10は画像統計量演算
手段であり、領域判定部11は領域判定手段であり、参
照データ作成部12は参照データ生成手段であり、そし
てQMコーダ13は符号化手段である。画像統計量演算
部10には、分散演算部14と推定濃度値演算部15と
周期演算部16が設けられている。QMコーダ13の出
力がこの装置の符号化出力である。また、参照データ作
成部12で参照データを生成する場合、領域判定部11
での領域判定結果に応じた領域判定データが、参照デー
タに付加されるようになっている。この装置に入力され
る二値画像の走査方法は、画像の左上部分から逐次走査
を行なうラスタスキャン方法となっている。xi,jは、
画像の第i番目のラインの第j番目の画素を表わしてい
る。
【0021】分散演算部14は、注目画素xi,jを符号
化する場合に、すでに符号化された近接10画素の変化
点を算出し、その変化点の数Vi,jを出力するものであ
る。具体的には、注目画素xi,jに対し、図2の太実線
で囲まれた10個の近接画素を対象とし、これら近接画
素相互間の12本の境界の両側で画素値が異なっている
かを判定し、画素値が異なっている境界の数を変化点数
i,jとして出力するものである。近接画素相互間の境
界は、図において太破線で示されている。
【0022】図3は、分散演算部14の構成例を示して
いる。分散演算部14は、入力画像データを3ライン分
蓄積することによって注目画素xi,jに対する近接10
画素(図示斜線で表わされた画素)を格納するラインメ
モリ21と、近接画素相互間の境界にそれぞれ対応する
12個の排他的OR回路221〜2212と、排他的OR
回路221〜2212の出力のうち"1"であるものの数を
数える加算器23とによって構成されている。各排他的
OR回路には、対応する境界の両側に位置する画素の値
が入力する。例えば、1番目の排他的OR回路221
は、画素xi-2,j -1とxi-2,jの値が入力する。これら画
素xi-2,j-1とxi-2,jの値が相互に異なれば排他的OR
回路221の出力は"1"となり、同じであれば出力は"
0"となる。同様にして他の排他的OR回路222〜22
12の出力も、対応する境界の両側で画素値が異なるとき
に"1"となるから、"1"となっている排他的OR回路の
数を加算器23で計数することにより、変化点数(分散
値)Vi,jが求められることになる。
【0023】推定濃度値演算部15は、注目画素xi,j
の周辺の画素であって符号化済みの画素の値から、注目
画素xi,jを推定し、推定濃度値L* i,jとして出力する
ものである。推定濃度値L* i,jを求めるための計算式の
一例を以下に示す。また推定濃度値L* i,jは、例えば5
ビットの値として表わされる。
【0024】
【数1】 ここで、xi-m,j-nは、注目画素xi,jを含まない符号化
済の周辺画素であり、その画素値は"0"または"1"であ
る。(1)式のLi,jを求めるときに使用する周辺画素の配
置の一例が図4に示されている。図示太実線内にある3
6個の画素が、Li,jの算出に使用される。
【0025】図5は、推定濃度値演算部15の構成例を
示すブロック図である。推定濃度値演算部15は、入力
画像データを5ライン分蓄積することによって注目画素
i, jに対する上述の周辺36画素(図示斜線で表わさ
れた画素)を格納するラインメモリ31と、これら周辺
36画素の画素値を加算し式(1)に応じててLi,jを算出
する加算器32と、算出されたLi,jの値を蓄積するラ
インメモリ33と、式(2)に応じて推定濃度値L* i,j
算出する演算器34とによって構成されている。
【0026】周期演算部16は、符号化済の周辺画素か
ら画素の周期性を求め、その求められた画素周期データ
を出力するものである。図6は、周期演算部16の構成
の一例を示すブロック図である。注目画素xi,jの値が
最下位ビット(LSB)に逐次入力する8段のシフトレ
ジスタ41が設けられており、このシフトレジスタ41
の最上位ビット(MSB)側の2ビットの出力は、周期
2画素のたたみ込み系列P2i,jを算出するための第1
の排他的OR回路421に接続されている。シフトレジ
スタの最上位側から数えて次の2ビットの出力と第1の
排他的OR回路421の出力とは、周期4画素のたたみ
込み系列P4i,jを算出するための第2の排他的OR回
路422に入力する。そして、シフトレジスタの最下位
側4ビットの出力と第2の排他的OR回路422の出力
とは、周期8画素のたたみ込み系列P8i,jを算出する
ための第3の排他的OR回路423に接続されている。
【0027】周期4画素のたたみ込みP4i,jと周期8
画素のたたみ込み系列P8i,jは、それぞれ、シフトレ
ジスタ43,44に入力し、これらシフトレジスタ43,
44の出力側には、各たたみ込み系列P4i,j,P8i,j
中での変化点数をカウントするための変化点カウンタ4
5,46が設けられている。すなわち変化点カウンタ4
5は、P4i,jからP4i,j-7までのビット列における変
化点の数を算出する。これら変化点カウンタ45,46
の出力は、それぞれ3ビット幅である。そして、各変化
点カウンタ45,46ごとに、その変化点カウンタから
の3ビットの出力が入力するAND回路47,48が設
けられ、さらにこれらAND回路47,48の出力が入
力するAND回路49が設けられている。最後のAND
回路49の出力Pi,jは、画素に周期があるか否を示す
ものであって、Pi,jが"0"であれば画素に周期がある
ことを示し、"1"であれば画素に周期がないことを示し
ている。また、周期8画素側のAND回路の出力はP4
/8信号である。このP4/8信号の値は、画素の周期
を示すものであって、"0"であれば8画素周期を示
し、"1"であれば4画素周期を示す。結局、この周期演
算部16は、たたみ込み系列P4i,j,P8i,jにおいて
連続4画素あるいは8画素分のあいだ変化点がない場合
には、それぞれ、画素xi,jに対応する画素系列が4画
素あるいは8画素の周期を有していると判断することに
なる。
【0028】次に、領域判定部11について説明する。
領域判定部11は、入力画像の第iラインのj番目の注
目画素xi,jに対し、その画素xi,jがどのような領域中
にあるのかを判定するものである。この判定には、分散
演算部14で算出された変化点数Vi,j、推定濃度値演
算部15で算出された推定濃度値L* i,j、および周期演
算部16で算出された画素周期データが使用される。ま
た判定の内容は、対象とする画素が画像中の平坦部分に
あるか輪郭部分にあるかということと、画素周期の存在
する部分にあるか画素周期の存在しない部分にあるかと
いうことである。ここで画素周期の存在する部分にある
かどうかは周期演算部16からの出力によって直ちに判
るから、結局、平坦部分にあるか輪郭部分にあるかの判
定を行なうことが領域判定部11の主要な動作となる。
【0029】図7は、領域判定部11の要部の構成の一
例を示すブロック図である。この領域判定部11には、
推定濃度値演算部15から入力する推定濃度値L* i,j
格納するラインメモリ51と、ラインメモリ51に蓄積
された推定濃度値L* i,jのうの最大値L* maxおよび最小
値L* minをそれぞれ検出する最大値検出部52および最
小値検出部53が設けられている。また、最大値L* max
と最小値L* minとの差を算出する減算器54と、減算器
54の出力と第1のしきい値Th1とを比較する第1の
比較器55と、分散演算部14からの変化点数Vi,j
第2のしきい値Th2とを比較する第2の比較器56と
が設けられている。第1の比較器55の出力は、L* max
−L* min>Th1の場合に"1"となり、それ以外の場合
に"0"となる。第2の比較器56の出力は、Vi,j>T
2の場合に"0"となり、それ以外の場合に"1"とな
る。さらに、推定濃度値L* i,jが第3および第4のしき
い値Th3,Th4の間にあるかどうかを判定する濃度領
域分離部57が設けられている。濃度領域分離部57の
出力は、Th3<L* i,j≦Th4の場合に"1"となり、そ
れ以外の場合には"0"となる。第2の比較器56および
濃度領域分離部57の出力はAND回路58に入力し、
第1の比較器55およびAND回路58の出力がOR回
路59に入力する。OR回路59の出力Ai,jは平坦部
であるか輪郭部であるかを表わすものであって、Ai,j
が"0"であれば平坦部に、"1"であれば輪郭部に注目画
素が存在していることを示している。
【0030】次に、領域判定部11での領域判定の手順
について説明する。本実施例の装置では、注目画素x
i,jをQMコーダ13で符号化する場合、まず、領域判
定部11においてこの注目画素xi,jの領域判定が行な
われる。変化点数Vi,j、推定濃度値L* i,j、および画
素周期データが入力した領域判定部11では、画素単位
に領域判定を行なっていく。まず、注目画素xi,jの推
定濃度値L* i,jおよび符号化済の周辺画素の推定濃度値
* i-m,j-n(m=0,1,..., n=0,1,..., ただしm
2+n2≠0)の中での最大値L* maxと最小値L* minを求
め、最大値L* maxと最小値L* minとの差を求める。そし
て、その差について次の判定条件に従って画素の領域を
判定する。第1の比較器55の出力が、この判定結果に
対応する。
【0031】
【数2】 この判定条件で平坦部候補であると判定された画素は、
誤差拡散法、組織ディザ法を用いて二値化された疑似中
間調画像の濃度平坦部、もしくは解像度の高い細かい網
点、文字背景、太い線、及び、文字の中等の領域にある
画素である。そして、輪郭部であると判定された画素
は、文字、線図形、解像度の低い粗い網点、疑似中間調
画像の輪郭部等の領域にある画素である。
【0032】ところで、疑似中間調画像の濃度平坦部の
特徴としては、上述の判定条件のような推定濃度値の変
化量(L* max−L* min)が小さくなる特徴のほかに、白
と黒との変化点数が大きくなるという特徴がある。これ
は、写真などの中間調画像の平坦部を二値化した場合
に、白と黒の画素が均等に分散し、白又は黒の孤立点が
多数発生するためである。白と黒との変化点数が大きく
する領域を平坦部と扱うことは、以後の符号化に支障を
きたすので、このような領域を、平坦部と判定される領
域から削除し、輪郭部として扱う必要がある。そこで、
平坦部候補であると判定された注目画素xi,jの中から
二値画像のテクスチャ領域を削除するために、近接10
画素の変化点数を用いて領域判定の補正を行なう。具体
的には、平坦部候補であると判定された場合に、予め第
2から第4までのしきい値Th2〜Th4を定めておいた
上で、分散演算部14で求められた変化点数Vi,jと、
濃度推定値L* i,jとを使用し、以下の判定条件によって
平坦部と輪郭部との分離を行なう。
【0033】
【数3】 このようにして、画素xi,jが輪郭部に属するのか、平
坦部に属するのかが判定されたことになり、判定結果A
i,jが出力されることになる。
【0034】続いて領域判定部11は、周期演算部16
からの画素周期データに基づき、輪郭部と平坦部のそれ
ぞれを画素周期の有無で区別する。その結果、二値画像
が、画素単位で下記I〜IVの4種類の領域に分割され
る。
【0035】(I) 画素周期有、かつ平坦部 → 組織デ
ィザ画像、細かい網点: (II) 画素周期無、かつ平坦部 → 誤差拡散画像、背
景、太い線及び文字の中: (III) 画素周期有、かつ輪郭部 → 粗い網点: (IV) 画素周期無、かつ輪郭部 → 文字、線図形、疑似
中間調画像の輪郭部:
【0036】このようにして領域判定部11において、
各画素ごとに領域判定が行なわれ、領域判定の結果は判
定データとして参照データ作成部12に送られる。
【0037】次に、参照データ作成部12について説明
する。参照データ作成部12は、マルコフモデル符号化
における参照データを生成するものであり、参照データ
作成部12には、入力画素信号および領域判定部11か
らの判定データのほか、周期演算部16から画素の周期
を表わす信号P4/8が入力し、推定濃度値演算部15
から推定濃度値L* i,jが入力している。生成される参照
データの構成の一例が図8に示されている。図示される
参照データは、12ビット幅であり、領域判定データ2
ビット、注目画素xi,jの近接6画素の画素データ計6
ビット、適応データ4ビットによって構成されている。
領域判定データの各ビットは、それぞれ、平坦部/輪郭
部を表わすデータと、画素周期の有無を表わすデータで
ある。近接6画素は、図9の太実線内で表わされる画素
(xi-2,j,xi-1,j-1,xi-1,j,x i-1,j+1,xi,j-2,x
i,j-1)であり、領域判定の結果如何によらず参照デー
タに含められるものである。以下、この近接6画素のこ
とを固定参照画素データと呼ぶことにする。一方、適応
データは、領域判定の結果によってその内容が変化する
データである。すなわち、領域判定データが上述のI〜
IVの場合のいずれかに応じ、以下のようなデータとな
る。
【0038】
【表1】 ここで、固定参照画素以外の近接4画素とは、例えば画
素xi-1,j-2、xi-2,j -1、xi-2,j+1、xi-1,j+2であ
る。また周期画素は、符号化済の周辺画素からの画像の
周期性の解析した場合に、注目画素xi,jとの周期相関
の強い画素のことである。kは0〜4の整数であり、周
期相関の強さに応じて、周期画素として採用する画素の
数が変化するようになっている。さらに、推定濃度値L
* i,jの量子化データは、符号化済みの周辺画素の情報を
状態圧縮したものである。
【0039】次に、参照データ作成部12の具体的な構
成例について、図10を用いて説明する。この参照デー
タ作成部12は、kが0〜1の場合に対応するものであ
って、領域判定部11からの領域判定データ(2ビッ
ト)と、固定参照画素データ(6ビット)と、濃度推定
値L* i,j(5ビット幅)と、信号P4/8と、固定参照
画素以外の近接画素データ(xi-2,j-1,xi-2,j+1,x
i-1,j-2,xi-1,j+2,xi,j- 4,xi,j-8)とを入力とす
る。このうち領域判定データと固定参照画素データは、
そのままの形で参照データ作成部12から出力される。
そして、参照データ作成部12には、濃度推定値L* i,j
をさらに量子化する第1および第2の量子化器61,6
2、信号P4/8に応じて画素xi,j-4とxi,j-8のいず
れかを選択するセレクタ63、および領域判定データの
値に応じて適応データを生成する適応データ選択部64
とによって構成されている。第1および第2の量子化器
61,62は、それぞれ、濃度推定値L* i,jを3ビット
幅の値L** i,jおよび4ビット幅の値L*** i,jに変換す
るものである。セレクタ63は、信号P4/8が"0"の
場合に画素xi,j-8を選択し、"1"であれば画素xi,j-4
を選択するように構成されている。一方、適応データ選
択部64は、Pi,jとAi,jの値に応じて、以下のように
入力信号を選択するように構成されている。ここでx
i,j-4/xi,j-8は、x i,j-4とxi,j-8の中からセレクタ
63によって選択されたものを示している。
【0040】
【表2】 このように参照データ作成部12を構成することによ
り、参照データに、領域判定部11での領域判定結果に
応じた領域判定データが加えられ、また、領域判定デー
タに応じて適応的に近接画素のデータあるいは周辺画素
の状態を表わすデータが付加されることになる。参照デ
ータ作成部12から出力される参照データはQMコーダ
13に入力し、これにより、QMコーダ13において、
参照データにしたがって、注目画素xi,jの符号化が行
なわれることになる。
【0041】以上の説明から明らかなように、本実施例
では、画像の構造的な統計量を求めて画像の画素単位で
領域判定を行ない、画素ごとの領域判定結果に応じて画
素ごとに適応的なマルコフモデル符号化が行なわれる。
このため、参照データとして符号化済の近接画素のみを
使用する従来のJBIG符号化方式に比べ、データ圧縮
率が大幅に改善される。領域判定データに応じてマルコ
フモデル符号化の参照データを切り替えるので、線図形
などの単純な二値画像であるか、組織ディザ法や誤差拡
散法による疑似中間調画像であるかに応じ、最適な符号
化を施すことが可能となり、全体的なデータ圧縮率の改
善が図ることができる。また、画像のラインの途中であ
っても参照データの切り替えを行なうことが可能なの
で、入力二値画像の種別を問わないという利点もある。
さらに、画像の構造的な統計量の算出は、周辺画素との
相関の算出やマルコフモデルエントロピを画素毎に算出
することに比べ、簡単に行なえる処理であって必要とす
るハードウェアも小規模である。したがって、従来法に
比べコストの低減も図ることができる。
【0042】次に、本実施例に関して行なったシミュレ
ーションの結果について説明する。このシミュレーショ
ンは、高精細カラー標準画像SCID(Standard Color
Image Data)のポートレイトを16分の1に縮小しそ
の輝度成分を誤差拡散法によって二値化した画像512
×640画素と、CCITTのテストチャートNo.7
から512×640画素を切り出した画像とを左右に並
べて構成した1024×640画素の混在画像によって
行なった。このシミュレーション用混在画像を領域判定
すると、画素周期が無しで平坦部である領域と、画素周
期が無しで輪郭部である領域の2領域に分割された。そ
こで、上述した12ビットの参照データから画素周期の
有無を表わすビットPi,jを削除した参照データを使用
した。すなわちこの参照データは、領域判定データ1ビ
ット、適応データ4ビット、固定参照画素6ビットの合
計11ビットからなる。この参照データを用いて2
11(=2048通り)の状態からなるマルコフモデルを適用
した。つまり、混在画像に対する本発明の有効性を検証
するため、状態数を211通りに限定した。
【0043】そして、参照データとして近接11画素を
用いる従来の方法による場合(モデルI)、領域判定デ
ータ1ビットと近接10画素を参照データとして用いる
場合(モデルII)、領域判定データ1ビットと近接6画
素と適応データ4ビットとを参照データとして用いる場
合(モデルIII)のそれぞれについて、下記式により、
マルコフモデルエントロピHを求めた。ここで、モデル
IIとモデルIIIは、本発明の範囲に含まれるものであ
る。
【0044】
【数4】 (3)式において、Siは参照データの状態、xjは二値画
像のシンボル、P(Si)は状態Siの出現確率、P(xj
i)は状態Siのとき上記シンボルxjが出現する条件付
確率である。各モデルでのマルコフモデルエントロピH
は、それぞれ次のとおりであった。
【0045】 モデルI :H=0.335ビット/画素. モデルII :H=0.328ビット/画素. モデルIII :H=0.297ビット/画素. 従来の方法によるモデルIと本発明の方法によるモデル
IIのマルコフモデルエントロピHを相互に比較すること
によって、画素ごとに領域判定を行ない領域判定の結果
に応じて状態分けを行なうことの効果が確認された。ま
た、モデルIIとモデルIIIのマルコフモデルエントロピ
Hを比較することによって、領域判定データに従って参
照データを適応的に切り替えることの効果が確認でき
た。本発明に基づき適応的に参照データを生成するモデ
ルIIIによれば、従来法によるモデルIと比較してマル
コフモデルエントロピHが約11%削減できた。このこ
とは、マルコフモデル符号化の圧縮率が約11%改善さ
れることを意味している。
【0046】次に、周期特性を有する画像に対するシミ
ュレーションを行なった。上述の高精細カラー標準画像
SCIDのポートレイトを16分の1に縮小し、その輝
度成分を組織ディザ法によって二値化した512×64
0画素の画像を作成してシミュレーション用の画像とし
た。このシミュレーション用の画像を領域判定した結
果、画素周期が有って平坦部である領域と、画素周期が
有って輪郭部である領域の2領域に分割された。そこ
で、参照データとして、領域判定データ1ビット、適応
データ4ビット、固定参照画素6ビットの合計11ビッ
トからなるものを用いることとした。領域判定データと
しては上述のAi,jで表わされるデータを使用した。参
照データが11ビットなので上述のシミュレーションと
同様に、マルコフモデルの状態数は211である。つま
り、周期特性を有する画像に対する本発明の有効性を検
証するため、状態数を211通りに限定した。
【0047】そして、近接10画素及び周期画素1画素
を参照データとして用いる従来の方法による場合(モデ
ルIV)と、本発明の方法に基づき領域判定1データビッ
トと近接6画素と適応データ4ビットとを参照データと
して用いる場合(モデルV)のそれぞれの場合につい
て、マルコフモデルエントロピHを(3)式によって求め
た。ただし、適応データとしては、周期画素1画素及び
推定濃度値L* i,jの3ビット量子化データを用いた。得
られた結果を以下に示す。
【0048】 モデルIV :H=0.176ビット/画素. モデルV :H=0.160ビット/画素. 本発明に基づくモデルVによれば、従来の方法によるモ
デルIVの場合に比べ、マルコフモデルエントロピHを約
9%削減できた。このことは、モデルVによれば、マル
コフモデル符号化の圧縮率が約9%改善されることを意
味している。また、上述の実施例によれば、周期画素と
して採用する画素の数kを0からまでで任意に選択する
ことができる。そこで、kを2とした場合(モデルV
I)、すなわち4ビットの適応データの構成を、周期画
素2画素及び推定濃度値L* i,jの2ビット量子化データ
とした場合のマルコフモデルエントロピーHを求めた。
その結果、H=0.142ビット/画素となり、モデルI
Vで代表される従来の方法に比ベて、モデルVIではマル
コフモデルエントロピが約19%削減できた。このよう
に、周期特性を有する画像については、参照データにお
ける適応データとして、相関の強い周期画素を数画素用
いることにより、マルコフモデル符号化の圧縮率が大幅
に向上することがわかった。
【0049】
【発明の効果】以上説明したように本発明の二値画像の
データ圧縮方法は、入力二値画像から画像の構造的な統
計量を求め、この統計量に応じて入力二値画像の領域判
定を行ない、マルコフモデル符号化における参照データ
をこの領域判定の結果を含む形態で作成することによ
り、画像の性質に応じた適応的なマルコフモデル符号化
が行なわれることになって、符号化済みの近接画素のみ
を参照データとして符号化を行なう従来の場合に比べ、
小さなハードウェア規模で、大幅なデータ圧縮を実現す
ることができるという効果がある。また本発明の二値画
像のデータ圧縮装置は、入力二値画像から画像の構造的
な統計量を求める画像統計量演算手段と、この統計量に
応じて入力二値画像の領域判定を行なう領域判定手段
と、マルコフモデル符号化における参照データをこの領
域判定の結果を含む形態で作成する参照データ生成手段
とを設けることにより、画像の性質に応じた適応的なマ
ルコフモデル符号化を行なわれるので、従来のデータ圧
縮装置を使用する場合に比べ、小さなハードウェア量で
大幅なデータ圧縮が実現できるという効果がある。
【図面の簡単な説明】
【図1】本発明の一実施例の二値画像データ圧縮装置の
構成を示すブロック図である。
【図2】分散の演算に用いる符号化済の近接10画素を
示す図である。
【図3】分散演算部の構成を示すブロック図である。
【図4】推定濃度値の演算に使用する周辺画素の一例を
示す図である。
【図5】推定濃度値演算部の構成を示すブロック図であ
る。
【図6】周期演算部の構成を示すブロック図である。
【図7】領域判定部の要部の構成を示すブロック図であ
る。
【図8】マルコフデータ符号化における参照データ構成
の一例を示す図である。
【図9】参照データにおける固定参照画素の例を示す図
である。
【図10】参照データ作成部の要部の構成を示すブロッ
ク図である。
【図11】JBIG方式による従来の二値画像データ圧
縮装置を示すブロック図である。
【図12】マルコフモデル符号化における参照画素位置
を示す図である。
【符号の説明】
10 画像統計量演算部 11 領域判定部 12 参照データ作成部 13 QMコーダ 14 分散演算部 15 推定濃度値演算部 16 周期演算部 21,31,33,51 ラインメモリ 23,32 加算器 34 演算器 41,43,44 シフトレジスタ 45,46 変化点カウンタ 52 最大値検出部 53 最小値検出部 54 減算器 57 濃度領域分離部 61,62 量子化器 63 セレクタ 64 適応データ選択部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 1/41 - 1/419 H03M 7/40

Claims (9)

    (57)【特許請求の範囲】
  1. 【請求項1】 二値画像のデータ圧縮方法であって、 入力二値画像から画像統計量を求める第1のステップ
    と、 前記画像統計量に応じて前記入力二値画像の画素ごとに
    前記入力二値画像の領域判定を行ない領域判定データを
    生成する第2のステップと、 マルコフモデル符号化における参照データを生成する第
    3のステップと 前記参照データを使用し各画素領域のマルコフ状態を区
    別して前記画素のマルコフモデル符号化を行なう第4の
    ステップと、 を有し、 前記参照データが前記領域判定データに対応する第1の
    データ部分と前記第1のデータ部分以外のデータ部分で
    ある第2のデータ部分とによって構成され 前記第3のステップにおいて、複数のデータの中から前
    記領域判定データに応じて選択を行なうことにより前記
    第2のデータ部分が生成され、 前記第2のデータ部分が、符号化済みの画素から算出さ
    れた注目画素の推定濃度値と、前記注目画素に対して強
    い相関を有する符号化済みの画素の1つの画素値、およ
    び前記注目画素に近接する画素の画素値とを組み合わせ
    たものである、 二値画像のデータ圧縮方法。
  2. 【請求項2】 二値画像のデータ圧縮方法であって、 入力二値画像から画像統計量を求める第1のステップ
    と、 前記画像統計量に応じて前記入力二値画像の画素ごとに
    前記入力二値画像の領域判定を行ない領域判定データを
    生成する第2のステップと、 マルコフモデル符号化における参照データを生成する第
    3のステップと、 前記参照データを使用し各画素領域のマルコフ状態を区
    別して前記画素のマルコフモデル符号化を行なう第4の
    ステップと、を有し、 前記参照データが前記領域判定データに対応する第1の
    データ部分と前記第1のデータ部分以外のデータ部分で
    ある第2のデータ部分とによって構成され、 前記第3のステップにおいて、複数のデータの中から前
    記領域判定データに応じて選択を行なうことにより前記
    第2のデータ部分が生成され、 前記第2のデータ部分が、符号化済みの画素から算出さ
    れた注目画素の推定濃度値と、前記注目画素に対して強
    い相関を有する符号化済みの複数の画素の画素 値、およ
    び前記注目画素に近接する画素の画素値とを組み合わせ
    たものである、二値画像のデータ圧縮方法。
  3. 【請求項3】 二値画像のデータ圧縮方法であって、 入力二値画像から画像統計量を求める第1のステップ
    と、 前記画像統計量に応じて前記入力二値画像の画素ごとに
    前記入力二値画像の領域判定を行ない領域判定データを
    生成する第2のステップと、 マルコフモデル符号化における参照データを生成する第
    3のステップと、 を有し、 前記参照データが前記領域判定データに対応する第1の
    データ部分と前記第1のデータ部分以外のデータ部分で
    ある第2のデータ部分とによって構成され、前記第2の
    データ部分が、複数のデータの中から前記領域判定デー
    タに応じて選択されたものであり、前記領域判定データ
    に応じて選択される前記第2のデータ部分のいずれか
    が、符号化済みの画素から算出された注目画素の推定濃
    度値と、前記注目画素に対して強い相関を有する符号化
    済みの画素の1つの画素値、および前記注目画素に近接
    する画素の画素値とを組み合わせたものである、二値画
    像のデータ圧縮方法。
  4. 【請求項4】 二値画像のデータ圧縮方法であって、 入力二値画像から画像統計量を求める第1のステップ
    と、 前記画像統計量に応じて前記入力二値画像の画素ごとに
    前記入力二値画像の領域判定を行ない領域判定データを
    生成する第2のステップと、 マルコフモデル符号化における参照データを生成する第
    3のステップと、 を有し、 前記参照データが前記領域判定データに対応する第1の
    データ部分と前記第1のデータ部分以外のデータ部分で
    ある第2のデータ部分とによって構成され、前記第2の
    データ部分が、複数のデータの中から前記領域判定デー
    タに応じて選択されたものであり、前記領域判定データ
    に応じて選択される前記第2のデータ部分のいずれか
    が、符号化済みの画素から算出された注目画素の推定濃
    度値と、前記注目画素に対して強い相関を有する符号化
    済みの複数の画素の画素値、および前記注目画素に近接
    する画素の画素値とを組み合わせたものである、二値画
    像の データ圧縮方法。
  5. 【請求項5】 前記領域判定データに応じて選択される
    前記第2のデータ部分のいずれかが、注目画素に近接す
    る符号化済みの画素の画素値のみで構成されている請求
    項3または4に記載の二値画像のデータ圧縮方法。
  6. 【請求項6】 前記参照データを使用し各画素領域のマ
    ルコフ状態を区別して前記画素のマルコフモデル符号化
    を行なう第4のステップをさらに有する請求項3乃至5
    のいずれか1項に記載の二値画像のデータ圧縮方法。
  7. 【請求項7】 二値画像のデータ圧縮装置であって、 入力二値画像から画像統計量を算出する画像統計量演算
    手段と、 前記画像統計量に応じて前記入力二値画像の画素ごとに
    前記入力二値画像の領域判定を行ない領域判定データを
    生成する領域判定手段と、 マルコフモデル符号化における参照データを生成する参
    照データ生成手段と を有し、 前記参照データが前記領域判定データに対応する第1の
    データ部分と前記第1のデータ部分以外のデータ部分で
    ある第2のデータ部分とによって構成され、前記第2の
    データ部分が、複数のデータの中から前記領域判定デー
    タに応じて前記参照データ生成手段によって選択された
    ものであり、前記領域判定データに応じて選択される前
    記第2のデータ部分のいずれかが、符号化済みの画素か
    ら算出された注目画素の推定濃度値と、前記注目画素に
    対して強い相関を有する符号化済みの画素の1つの画素
    値、および前記注目画素に近接する画素の画素値とを組
    み合わせたものである、二値画像のデータ圧縮装置。
  8. 【請求項8】 二値画像のデータ圧縮装置であって、 入力二値画像から画像統計量を算出する画像統計量演算
    手段と、 前記画像統計量に応じて前記入力二値画像の画素ごとに
    前記入力二値画像の領域判定を行ない領域判定データを
    生成する領域判定手段と、 マルコフモデル符号化における参照データを生成する参
    照データ生成手段と、 を有し、 前記参照データが前記領域判定データに対応する第1の
    データ部分と前記第1のデータ部分以外のデータ部分で
    ある第2のデータ部分とによって構成され、前 記第2の
    データ部分が、複数のデータの中から前記領域判定デー
    タに応じて前記参照データ生成手段によって選択された
    ものであり、前記領域判定データに応じて選択される前
    記第2のデータ部分のいずれかが、符号化済みの画素か
    ら算出された注目画素の推定濃度値と、前記注目画素に
    対して強い相関を有する符号化済みの複数の画素の画素
    値、および前記注目画素に近接する画素の画素値とを組
    み合わせたものである、二値画像のデータ圧縮装置。
  9. 【請求項9】 前記参照データを使用し各画素領域のマ
    ルコフ状態を区別して前記画素のマルコフモデル符号化
    を行なう符号化手段をさらに有する請求項7または8
    記載の二値画像のデータ圧縮装置。
JP02105194A 1993-02-26 1994-02-18 二値画像のデータ圧縮方法及び装置 Expired - Lifetime JP3230122B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02105194A JP3230122B2 (ja) 1993-02-26 1994-02-18 二値画像のデータ圧縮方法及び装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP5-37979 1993-02-26
JP3797993 1993-02-26
JP02105194A JP3230122B2 (ja) 1993-02-26 1994-02-18 二値画像のデータ圧縮方法及び装置

Publications (2)

Publication Number Publication Date
JPH06311372A JPH06311372A (ja) 1994-11-04
JP3230122B2 true JP3230122B2 (ja) 2001-11-19

Family

ID=26358064

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02105194A Expired - Lifetime JP3230122B2 (ja) 1993-02-26 1994-02-18 二値画像のデータ圧縮方法及び装置

Country Status (1)

Country Link
JP (1) JP3230122B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5487401B2 (ja) * 2011-07-15 2014-05-07 株式会社アクセル 画像データ符号化方法

Also Published As

Publication number Publication date
JPH06311372A (ja) 1994-11-04

Similar Documents

Publication Publication Date Title
JP3108479B2 (ja) 符号化復号化方法およびその装置
JP4773678B2 (ja) 文書システム
Baharav et al. Watermarking of dither halftoned images
EP0613290B1 (en) Method and apparatus for binary image data compression
US5159468A (en) Image reduction system
KR100611705B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 및 화상 처리 장치
KR20030096438A (ko) 화상 부호화장치, 화상 복호화장치, 화상 부호화방법,화상 복호화방법 및 매체
US5136396A (en) Image encoding method
US5271072A (en) Image reduction of binary images using filtering processing
EP0858210A1 (en) Image processing apparatus
JP3877892B2 (ja) 2値形状信号符号化装置
JP2007306513A (ja) 画像データの圧縮方法および装置
Martins et al. Lossless, near-lossless, and refinement coding of bilevel images
JP3230122B2 (ja) 二値画像のデータ圧縮方法及び装置
JPH0944128A (ja) 2値画像多値化縮小処理装置
JP2651209B2 (ja) 画像の符号化方法及び装置
JP3139460B2 (ja) 2値文書画像の符号化方法および符号化装置
JPH04238462A (ja) 画像処理装置
US20060132850A1 (en) Systems and methods for improved line edge quality
Deng et al. Low-bit-rate image coding using sketch image and JBIG
JP2832072B2 (ja) 画像符号化方法及び装置
JPH0537775A (ja) 擬似中間調処理方法及びその装置
KR910002773B1 (ko) 의사중간조 화상 데이터의 데이터 압축 및 복원방법
JP2001103315A (ja) 画像符号化方法および画像符号化装置
JP2966426B2 (ja) カラー画像処理装置および方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080914

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080914

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080914

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080914

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090914

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090914

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130914

Year of fee payment: 12

EXPY Cancellation because of completion of term