JPH0965136A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JPH0965136A
JPH0965136A JP7239103A JP23910395A JPH0965136A JP H0965136 A JPH0965136 A JP H0965136A JP 7239103 A JP7239103 A JP 7239103A JP 23910395 A JP23910395 A JP 23910395A JP H0965136 A JPH0965136 A JP H0965136A
Authority
JP
Japan
Prior art keywords
area
value
image processing
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7239103A
Other languages
English (en)
Other versions
JP3379300B2 (ja
Inventor
Hideo Kumashiro
秀郎 熊城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP23910395A priority Critical patent/JP3379300B2/ja
Priority to US08/545,412 priority patent/US5870503A/en
Publication of JPH0965136A publication Critical patent/JPH0965136A/ja
Application granted granted Critical
Publication of JP3379300B2 publication Critical patent/JP3379300B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 簡単にかつ安価に所望の画像の得られる画像
処理装置を提供する。 【解決手段】 入力された多値の画像データf(x,
y)は加算器21で補正され、比較器22で所定のしき
い値Thを用いて2値化される。2値化されたデータは
第1の演算ループ23〜26を用いて2値化誤差が周辺
誤差へ分散される。一方、2値化データg(x,y)は
第2の演算ループ27〜30によって2値化平均誤差を
算出され、2値化平均誤差に対して少なくとも1以外の
係数を乗じ、その値を用いて入力画像データf(x,
y)の補正が行なわれる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は画像処理装置に関
し、特に誤差拡散2値化方法を用いた画像処理装置に関
する。
【0002】
【従来の技術】従来、画像処理において連続した階調を
含んだ画像の明暗を0と1に2値化するデータ処理が行
なわれている。
【0003】図19は従来の画像処理装置の構成を示す
ブロック図である。図19を参照して、従来の画像処理
装置100は、装置全体を制御するMPU(Micro Proc
essor Unit)11と、画像処理装置100の操作を行な
うための操作パネル12と、CCDなどの光電変換素子
およびこれを操作する駆動系からなる画像入力装置(読
み取りセンサ)13と、入力された画像データをアナロ
グデータからデジタルデータに変換するA/D変換装置
14と、Log変換装置15と、先鋭度補正装置MTF
(Modulator Transfer Function )16と、ガンマ補正
装置117と、画像2値化装置118と、プリンタ(画
像記録装置)19とを含む。各装置はMPUシステムバ
ス18を介してMPU11および操作パネル12に接続
され、各装置は相互に画像バス20を用いて接続されて
いる。
【0004】画像入力装置13は、たとえば連続階調画
像と線画像などからなる混在原稿をスキャンして標本化
アナログ信号を生成する読出センサを含む。A/D変換
装置14は、その標本化アナログ信号を1画素がたとえ
ば8ビット(256階調)の値を持つ連続階調反射率デ
ータとして量子化する。Log変換装置15は、連続階
調反射率データから、連続階調反射率データとはlog
の関係であるところの8ビット連続階調濃度データを算
出する。
【0005】先鋭度補正装置16は、たとえばラプラシ
アルフィルタなどのデジタルフィルタを用いて、連続階
調濃度画像の先鋭度補正を行なう。ガンマ補正装置11
7は、画像入力装置13とプリンタ19の階調カーブの
差異を補正して画像処理装置100全体として望ましい
ガンマ特性を実現するため、もしくは操作者が自己の望
ましいガンマ特性を設定するために、たとえば256ワ
ード8ビット程度のLUT(ルックアップテーブル)R
AMを用いて、MPU11により非線形ガンマ補正デー
タがRAMに設定され、ガンマ補正を行なうものであ
る。
【0006】画像2値化装置118は、たとえば誤差拡
散2値化方式等の面積階調2値化法を用いて、前述のガ
ンマ補正された8ビット連続階調濃度データを明暗に応
じた1ビット2値データに変換する。変換された1ビッ
ト2値データは、プリンタ19(電子写真プリンタもし
くはインクジェットプリンタなど)で記録媒体に印字さ
れる。
【0007】ところで、ガンマ補正装置117は、シス
テムのガンマ特性を望ましい特性に設定するために、あ
るいは操作者が原稿に応じて任意のガンマ特性を設定す
るために、画像処理装置100には欠くことのできない
重要な装置であることはいうまでもない。
【0008】通常、線画原稿に対しては、非線形ガンマ
特性が望ましい。この理由を以下に説明する。一般的に
線画原稿の濃度分布は背景部(低濃度領域)と線画部
(中〜高濃度領域)に分かれる。線形のガンマ特性であ
る場合、線画部分の濃度変更を意図してガンマの傾きを
変更すると、背景部分の濃度も線形に変更される。この
ため、たとえば線画部分の濃度をより濃くするために、
ガンマの傾きを大きくした場合、背景部の濃度も濃くな
り、結果として背景部に「かぶり」が発生する。
【0009】これを防止するためには、たとえば背景部
が存在する低濃度領域ではガンマの傾きを小さくし、線
画部が存在する中濃度から高濃度領域ではガンマの傾き
を急峻にしている、いわゆる非線形S字型のガンマ特性
が望ましい。このようなガンマ特性のうち線形ガンマ特
性を図20に、いわゆる非線形S字型のガンマ特性を図
21に示す。
【0010】図20および21を参照して、線形ガンマ
特性の場合は、ガンマが大きくなるほど傾斜がきつくな
り、非線形S字型のガンマ特性においては、ガンマが大
きいほど立上がりが大きくなる。なお図中において背景
領域とかぶりの程度を同時に示す。
【0011】線形ガンマ特性は少数の加算論理回路を組
合せて実現可能であるが、非線形ガンマ特性は論理回路
の組合せによる線形演算装置では所望の特性を得ること
が困難である。したがって、一般的には256ワード8
ビット程度の容量のRAMを用いたLUTを用いて実現
されている。MPU11は所望の変換データLUTに設
定し、ガンマ補正画像処理の際には、入力されたアドレ
ス値に応じて変換データが出力される。
【0012】図22は図19で示したRAMを用いたガ
ンマ補正装置117の詳細を示すブロック図である。
【0013】図22を参照して、ガンマ補正装置117
はMPUシステムバス18を介してチップセクト信号
(/CS)が端子/Gに入力され、読出/書込信号(R
/W)が端子/Xに入力されるゲート41と、チップセ
レクト信号、アドレス信号がシステムバス18を介して
入力され、画像バス20を介して画像信号が入力されア
ドレス信号を出力するセレクタ42と、ゲート41から
読出/書込信号を、セレクタ42からアドレス信号を、
システムバス18を介してMPU11からデータ入力信
号を受け、データ出力を行なうRAM43と、チップセ
レクト信号を端子/Gに受け、データ出力信号を端子X
に受け、端子Yからシステムバス18を介してMPU1
1にデータ出力信号を出力するゲート44とを含む。
【0014】MPU11は、チップセレクト信号を
“L”にしてゲート41でMPU11の読出/書込信号
を有効にしてセレクタ42でMPUアドレスを選択し、
ゲート44でMPU11からのデータ出力を有効にす
る。これにより、RAM43が画像バス20から切離さ
れ、システムバス18に接続され、MPU11からの書
込/読出が可能になる。MPU11がチップセレクト信
号を“H”にすると、RAM43はシステムバス18か
ら切離され、画像バス20に接続され、前述のガンマ補
正が行なわれる。
【0015】一方で、前述の2値化手法である誤差拡散
法の特性を利用してガンマ補正を行なう試みがある。誤
差拡散法は、入力画像濃度と出力画像濃度の画素ごとの
濃度差(2値化誤差)を算出し、この算出結果を周辺画
素に特定の重み付けを施した後に分散させていく方法で
ある。これについては、文献R.W.Floyd,L.
Steinberg “An adaptive algorithm for sp
atial gray scale”SID.17.pp.75〜77
(1976)で報告がなされている。
【0016】ここで、特に誤差拡散2値化回路におい
て、2値化誤差算出の際の基準値を変更することでガン
マ特性を変更する手法が「画像処理ハンドブック」(東
大出版)にて報告されている。
【0017】図23は「画像処理ハンドブック」に開示
された誤差拡散2値化回路の要部を示すブロック図であ
る。図23を参照して、誤差拡散2値化回路110は多
値(たとえば256階調)の画像データf(x,y)を
誤差データEavexyで補正するための加算器21と、
加算器21に接続され誤差補正データf1(x,y)を
所定の2値化しきい値Thで2値化する比較器22と、
1ビットの2値データg(x,y)を入力し、その値に
応じてMPU11の指示によりHまたはLのいずれかの
基準値に基づいて所定の値を出力するセレクタ23と、
セレクタ23から出力された値e1(x,y)と誤差補
正データf1(x,y)との差を算出する減算器24
と、算出された2値化誤差Exyを3ライン分ストアする
誤差格納メモリ25と、2値化された誤差データExy
他の画素へ拡散するための重み付け平均値Eavexy
算出する誤差重み付けフィルタ26とを含む。
【0018】2値化誤差Exyおよび重み付け平均値Ea
vexyを表わす式を以下に示す。
【0019】
【数1】
【0020】なお、ここで、x,yは、画像データの画
素のアドレスを示す変数で、xの値は、副走査方向のア
ドレス、yの値は主走査方向のアドレスを示す。したが
って、f(x,y)は、アドレス(x,y)の画素の画
像データの値、g(x,y)は、アドレス(x,y)の
画素の出力画像濃度、同様にExyおよびEavexyはそ
れぞれアドレス(x,y)の画素に対する2値化誤差、
積分データの値を示す。
【0021】また、k,lは係数がマトリックス状に配
置された誤差重み付けフィルタ26の縦、横方向のアド
レスを示しており、k,lはフィルタの範囲内で変動す
る。式(2)におけるmk,l は誤差重み付けフィルタ2
6におけるアドレス(k,l)の係数を示す。
【0022】この方式によれば、2つの基準値H,Lを
設定するだけで任意の線形ガンマ補正特性を得ることが
できるので、たとえば画像処理の最中にMPU11もし
くは図示のない領域判別装置から高速にガンマ補正特性
を変更することが可能である。
【0023】また、2値化誤差Exyは実際には、 Exy=f(x,y)+Eavexy−g(x,y) …(3) で表わされ、図に示すようなフィードバックループを構
成する。
【0024】
【発明が解決しようとする課題】RAMを用いたガンマ
補正装置117を用いた場合には、RAMはシステムバ
ス18から切離される場合があり、したがって、通常、
MPU11からRAM43にアクセスしている最中は、
ガンマ補正処理は行なえず、またガンマ補正処理中はM
PU11からのアクセスは禁止しなければならない。か
つ、RAM43の書込ワード数は通常256ワード程度
必要であるから、MPU11からのアクセス時間がアク
セスタイム×256と長時間になり、その間ガンマ補正
は長い時間中断されてしまう。したがって、従来のRA
Mを用いて非線形S字ガンマ補正を行なうガンマ補正装
置117は画像処理の最中に任意にガンマ補正データを
変更することが困難であるという問題があった。
【0025】また、誤差拡散法の特性を利用したガンマ
補正方法では、線形のガンマ補正しか設定することがで
きず、したがって、前述の「かぶり」の問題を解消する
ことができない。図24は図23に示した誤差拡散2値
化法において基準値を変更したときの「かぶり」の例を
示す図である。図中(A)は基準値が384のときの例
であり、(B)は基準値が255のときの例であり、
(C)は基準値が128のときの例である。図24
(A)〜(C)を参照して、線画部の濃度を上げるため
にガンマ係数を大きくすると、背景部の濃度も上昇し、
結果として「かぶり」が発生しているのがわかる。
【0026】さらに、誤差拡散2値化法の重大な原理的
問題点として、低濃度の細線の再現性がよくないことが
挙げられる。誤差拡散は、1ドットの大きさが固定で、
その密度の変化によって画像の濃淡を表わすため、薄い
濃度領域では原理的に高周波画像が再現できないという
問題点があった。
【0027】以上要約すると、従来のガンマ補正法で
は、次のような問題があった。 (i) 線形補正法では「かぶり」問題が発生する。
【0028】(ii) 特に誤差拡散2値化法において
2値化誤差算出の基準値を操作することにより線形ガン
マ変換をする方法においては、「かぶり」問題に加え、
低濃度細線の制限が不十分である。
【0029】(iii) 非線形補正法では、高速な補
正特性の変更ができない。またRAMを搭載する必要が
あるため装置が高価になる。
【0030】という問題点があった。さらに、上記に加
えて誤差拡散2値化方式においては、特に分散の少ない
一様な濃度レベルの画像を処理する際、図25に示すよ
うなSNAKE−LIKE(もしくはWORM−LIK
E)テクスチャと呼ばれる独特の縞模様が発生するとい
う問題点があった。これらは一様な濃度レベルの画像で
ある一定のパターンで誤差の拡散が行なわれてしまうこ
とに起因する。
【0031】これらの問題に対処するために、従来SN
AKE−LIKEテクスチャを低減するために、図23
に示した誤差拡散のフィードバック要素のいずれかを乱
数によって制御し、前述の一定パターンの誤差の拡散を
防止しようとする試みが数多くなされている。このよう
にして得られた出力画像を図26に示す。しかしなが
ら、これらの試みはSNAKE−LIKEテクスチャの
低減には効果があるものの、図26に示すように上述し
た他の問題については解消されないという問題点があっ
た。
【0032】この発明は上記のような問題点を解消する
ためになされたもので、簡単にかつ安価に非線形ガンマ
補正が可能、またはSNAKE−LIKEテクスチャの
低減が可能な所望の画像の得られる画像処理装置を提供
することを目的とする。
【0033】
【課題を解決するための手段】請求項1に係る、入力さ
れたM値の画像をデータをN値の画像データ(M>N)
に変換する誤差拡散法を用いた階調変換方式を有する画
像処理装置は、N値データを記憶する記憶手段と、記憶
されたN値データに対して局所的重み付け平均値を算出
する第1演算手段と、算出された局所的重み付け平均値
に対して少なくとも1でない係数を乗じる乗算器と、乗
算器によって得られた乗算結果と入力された画像データ
との差を求めて補正データを演算する第2演算手段と、
補正データで入力画像データを補正する補正手段とを含
む。
【0034】変換されたN値データに対して局所的重み
付け平均値を算出し、それに対して少なくとも1でない
係数を乗じ、その結果得られた値と入力画像データとの
差から得られる補正データで入力画像を補正する。N値
化平均濃度に対して1と異なる係数を乗算するためその
結果は入力データに対して常に高濃度または低濃度とな
り、その値と入力画像データとの差を求めて補正が行な
われるため、入力データに対してその変動を打ち消そう
とする誤差補正作用が行なわれる。したがって、RAM
を用いることなく非線形補正が可能になる。
【0035】請求項2に係る画像処理装置においては、
請求項1の係数は操作パネルからの画像の濃度設定量に
応じて設定される。
【0036】請求項3および4に係る画像処理装置にお
いては、乗算結果に対してその最大値濃度を限定する制
限器が設けられる。制御器を設けることにより、特に線
画から構成される原稿において、線画濃度を濃く維持し
た状態で背景部のかぶりを防止できる。この最大値濃度
の制限は操作パネルからの濃度設定値の設定に応じて設
定してもよい。
【0037】請求項5に係る画像処理装置においては、
さらに入力画像データの特性を判別する領域判別手段を
設け、領域判別手段の判別結果によって乗算係数が制御
される。そうすれば入力画像データの特性に応じた乗算
係数が自動的に設定される。
【0038】請求項6または7に係る画像処理装置にお
いては、領域判別手段は所定の局所領域の濃度の最大値
/最小値を演算するか、所定の局所領域のエッジを検出
することによって領域判別を行なう。
【0039】請求項8に係る画像処理装置においては、
領域判別手段は局所領域が文字領域か写真領域かを判別
し、文字領域では乗算係数を1より小さく設定する。文
字領域では乗算係数を1より小さく設定するため、ガン
マ特性は濃いめの特性になり、文字がはっきり表わされ
る。
【0040】請求項9に係る、入力されたM値の画像デ
ータをN値(M>N)に変換する誤差拡散法を用いた階
調変換方式を有する画像処理装置は、N値データを記憶
する記憶手段と、記憶されたN値データに対して局所的
重み付け平均値を算出する第1演算手段と、局所的重み
付け平均値と入力M値画像データとの差を求めて補正デ
ータを算出する第2演算手段と、補正データを用いて入
力M値画像を補正する補正手段とを備え、補正手段は補
正データに乱数を加算する乱数加算手段を含む。
【0041】変換されたN値データに対して局所的重み
付け平均値を算出しその平均値と入力M値画像データと
の差を求めて補正データを算出し、その補正データに乱
数が加算され、乱数が加算されたデータを用いて入力M
値画像データに対してフィードバック補正が行なわれ
る。
【0042】非線形ガンマ特性を持つ局所的重み付け平
均値を算出する演算手段を含むフィードバックループに
おいて乱数を加算するため、背景領域の乱数ノイズによ
るかぶりが少なく、かつ低濃度細線の再現性が良好にな
る。
【0043】請求項10または11に係る画像処理装置
においては、乱数加算手段は局所的重み付け平均値を算
出する第1演算手段の前に設けてもよいしまたその後に
設けてもよい。乱数加算手段を所望の位置に設けること
ができるため、装置の構成の自由度が増す。
【0044】請求項12に係る画像処理装置において
は、加算される乱数は操作パネルからの入力画像データ
の画質モードに応じて設定される。
【0045】請求項13に係る画像処理装置において
は、入力画像データの領域の特性を判別する領域判別手
段を設けこの領域判別手段の判別結果に応じて加算する
乱数値が制御される。そうすることによって入力画像デ
ータの領域特性に応じた画像の補正が可能になる。
【0046】請求項14または16に係る画像処理装置
においては、領域判別手段は局所領域の入力画像データ
の最大値/最小値を演算することにより、または局所領
域のエッジを検出することによって領域が判別される。
【0047】請求項15に係る画像処理装置において
は、領域判別手段は入力画像データの属する領域が文字
領域か写真領域かを判別し、その判別結果に応じて加算
される乱数値を文字領域では写真領域よりも低く設定す
る。こうすることによってSNAKE−LIKEテクス
チャの発生する写真画像領域においてのみ乱数の加算を
大きくし、文字領域においては乱数の加算を少なくして
各領域に応じた所望の画像が得られる。
【0048】
【発明の実施の形態】
(1) 第1実施形態 以下この発明の実施形態を図面を参照して説明する。
【0049】図1はこの発明に係る画像処理装置10の
構成を示すブロック図である。図1を参照して、この発
明に係る画像処理装置は図18に示した従来の画像処理
装置100と比べてガンマ補正回路117と画像2値化
装置118の代わりに画像2値化回路17が設けられて
いる点が異なる。それ以外の部分については従来の画像
処理装置100と同様であるので、同一部分に同一符号
を付してその説明は省略する。
【0050】図2は図1で示した画像2値化回路17の
第1の実施形態の構成を示すブロック図である。図2を
参照して、画像2値化回路17は、図23に示した従来
の画像2値化装置118と同様の、2値化誤差を周辺画
素へ分散させるための第1の演算ループを含む。この第
1の演算ループは、加算器21、比較器22、セレクタ
23、減算器24、誤差格納メモリ25、誤差重み付け
フィルタ26とから構成されている。各構成要素は図2
3で説明した従来の画像2値化装置118と同様である
ので同一部分に同一符号を付してその説明は省略する。
【0051】この発明に係る画像2値化回路17は、第
1の演算ループに加えて、2値化結果g(x,y)(0
または1の1ビットデータ)を数ライン分格納する2値
画像メモリ27と、注目画素の周辺の2値化結果の重み
付け平均(2値化平均濃度)Bavexy(アドレス
(x,y)の画素に対する加算データ、以下同じ)を算
出するための2値化平均濃度重み付けフィルタ28と、
2値化平均誤差に対してガンマ補正を行なうための演算
を施す乗算器29と、乗算器29からの出力Bave′
xyと入力画像データとの差を演算するための減算器30
とを含み、これら要素で第2の演算ループを構成してい
る。減算器30からの減算結果データEBavexyが誤
差重み付けフィルタ26からの誤差重み付けデータEa
vexyとともに加算器21に加えられ、2値化誤差が周
辺画素へ分散される。このようにして面積階調によって
前述の8ビット連続階調濃度データが明暗に応じた1ビ
ット2値データに変換される。変換された1ビット2値
データは、プリンタ19(電子写真プリンタインクジェ
ットプリンタなど)で記録媒体に印字される。
【0052】図3はこの発明に係る画像処理装置の操作
パネル12の構成を示す図である。図3を参照して、操
作パネル12は、液晶等から構成される情報を表示用デ
ィスプレイ71と、数値などを入力するためのテンキー
72と、読取・複写・プリントなどの動作を開始させる
ためのスタートキー73と、上記動作状態を表示するた
めのランプ74と、情報表示用ディスプレイ71に表示
された各種の選択肢から1つを選ぶためのカーソルキー
75と、情報表示用ディスプレイ71に表示させた3つ
の選択肢から1つを選ぶためのファンクションキー76
と、リセットキー77とを含む。
【0053】図4は図3に示した操作パネル12におい
て濃度調整モードを設定した場合の表示状態を示す図で
あり、図5は濃度調整モードにおける動作を示すフロー
チャートである。図4および図5を参照して、濃度調整
モードについて説明する。
【0054】ユーザの設定によって操作パネル12の動
作モードが濃度調整モードに遷移するとディスプレイ7
1にたとえば9ステップの濃度設定画面が表示される
(図5においてステップS11、以下ステップを略
す)。同時にファンクションキー76のF1〜F3に対
応した「濃い」、「AE」および「薄い」が画面に表示
される。「濃い」を選択すると、△印のカーソルが1つ
ずつ左へ移動し、出力される画像が中央値に対してより
濃くなるようにγ特性が設定される。「薄い」を選択す
ると、△印のカーソルが1つずつ右へ移動し、出力され
る画像が中央値に大してより薄くなるようγ特性が設定
される。「AE」を選択すると濃度は原稿に応じて最適
に自動設定される(S12〜S15)。
【0055】その後選択された値に応じたディスプレイ
の表示が行なわれ、濃度設定が終了する(S16,S1
7)。
【0056】次に乗算器29で行なわれるガンマ補正演
算について説明する。Bavexyで表わされる2値化平
均濃度に対して、MPU11から与えられる係数k1が
乗算され、データBave′xyが演算されるが、2値化
平均濃度Bavexyに対して係数k1が1よりも大きい
ときは(たとえば1.5)、第2のループにおいて出力
2値化結果が入力データに対して常に高濃度になるの
で、それを打消そうとする誤差補正作用が第2のループ
に発生する。したがって、ガンマ特性は図6(A)に示
すように薄めの特性になる。
【0057】逆に1よりも小さい係数k1(たとえば
0.5)を乗算すると、第2のループにおいて出力2値
化結果が入力データに対して常に低濃度になるので、そ
れを打消そうとする誤差補正作用が第2のループに発生
する。したがって、ガンマ特性は図6(C)に示すよう
に濃いめの特性になる。なお、図6(B)は係数k1が
1.0の場合である。
【0058】ここで2値化平均の濃度重み付けフィルタ
28は、図2に示すように、注目画素に近くなるに従っ
て大きく、総和が1の係数から構成されており、2値化
結果の重み付けがされた平均値なっており、ガウス分布
に近い積分特性を持つ。したがって、得られる2値化画
像の空間周波数に対する2値化平均値は当然非線形とな
る。
【0059】ここで注目すべきは、誤差拡散法は前述の
ようにドットの大きさは一定(1ドット)で、その密度
で濃度を表現する特性を持つことである。
【0060】図7(A)〜(C)は画像の濃度レベルが
それぞれ16,128,255の3種類の一様な入力画
像f(x,y)を誤差拡散法にて2値化し、その出力2
値画像を高速フーリエ変換(FFT)解析した結果を示
すグラフである。このグラフに従って、非線形ガンマ補
正を実現する原理について説明する。
【0061】図7を参照して、入力画像が低濃度のとき
(レベル=16)のドットの密度分布は(A)に示すよ
うに「疎」になる。言い換えると、1ドットが単独で存
在する(白/黒のどちらかの孤立点ドットとなる)確率
が高くなる。この状態は、空間周波数変換すると最も高
周波成分が含まれる比率が高い状態である。逆にいうと
全周波数領域に占める低周波成分の比率が低い。
【0062】逆に(B)、(C)に示されるように、入
力画像濃度が高くなるに従い、ドットが「密」になり、
孤立点ドットの発生確率は低くなり、空間周波数上では
低周波成分の占める比率が高くなっていく。然るに、2
値化平均濃度重み付けフィルタ28のように、ガウス分
布に近い積分フィルタを用いて2値化平均濃度を算出す
ると、2値化平均値は低周波に対して感度が高いが高周
波に対しては感度が低い特性を持つため、ドットが
「疎」な場合はその出力は「密」な場合と比較して低
い。
【0063】したがって、2値化平均濃度にある定数を
乗算した場合も、ドットが「疎」な場合は「密」な場合
と比較してその影響が少ない。このようにして、低濃度
では変化が少なく、中/高濃度になるに従って変化が大
きくなる非線形ガンマ補正特性を得ることができる。ま
た、かぶりの少なく、かつ高速で特性変更が可能でかつ
低コストのガンマ補正装置が実現できる。
【0064】(2) 第2実施形態 図8はこの発明に係る画像2値化回路17の他の構成を
示すブロック図である。図8を参照して、第2の実施形
態においては、第1の実施形態に対して乗算器29から
の出力に対して最大値制限器31が設けられ、それによ
って濃度の最大値が制限される。この制限はMPU11
から送られる係数k2で制御される。最大値制限器31
からの出力が減算器30に入力される。この最大値制限
器31以外については第1の実施形態と同様であるの
で、それ以外の部分には同一符号を付してその説明は省
略する。
【0065】次に、この第2の実施形態におけるガンマ
補正演算の具体例について説明する。2値化平均濃度B
avexyに対して、1よりも大きい係数k1(たとえば
1.5)を乗算すると、第2のループにおいて出力2値
化結果が入力データに対して常に高濃度になるので、そ
れを打消そうとする誤差補正作用が第2のループに発生
する。
【0066】したがって、ガンマ特性は図6の(A)に
示すように背景部も線画部のどちらも薄めの特性にな
る。しかしながら、特に線画から構成される原稿の場
合、濃度調整で薄めに設定する目的は、背景部のかぶり
の防止であって、線画濃度は濃くしたいという要求があ
る。この要求を実現するためには、乗算器29による係
数乗算演算の後に最大濃度を限定する最大値制限器31
を設ける。
【0067】図9は最大値制限器31の具体的構成を示
すブロック図である。図9を参照して、最大値制限器3
1は、乗算器29から出力される乗算後の濃度データを
a端子に入力し、MPU11からの最大制限値k2を端
子bに入力する比較器35と、比較器35からの比較結
果データと、乗算器29からの濃度データおよびMPU
からの最大制限値k2を入力し最大値が制限されたデー
タを出力するセレクタ36とを含む。
【0068】入力されたデータは比較器35によってM
PUから設定される最大値制限値k2と比較され、最大
値制限値k2を超える場合はセレクタ36によって上記
の最大値が選択されて出力される。入力されたデータは
Bave′xyが最大値制限値k2以下であれば、セレク
タ36により入力データBave′xyが選択されて出力
される。これによって上記した最大値制限処理が可能に
なる。
【0069】最大値制限器を設けた場合の出力画像のサ
ンプル例を図10(A)〜(C)に示す。図10(A)
〜(C)を参照して、図6の場合と比較して低濃度がよ
り薄めになるが、最高濃度が維持されているのがわか
る。
【0070】(3) 第3実施形態 次に、画像2値化回路の第3実施形態について説明す
る。図11は第3実施形態に係る画像2値化回路の構成
を示すブロック図である。図11を参照して、第3実施
形態においては、第1実施形態と比べて乗算器29へ与
えられる係数k1がMPU11から与えられるのではな
く、入力画像データf(x,y)に基づいて領域判別を
行なう領域判別装置32からの出力データによって制御
される点が異なる。それ以外の部分については第1実施
形態と同様であるので、同一部分に同一符号を付してそ
の説明は省略する。
【0071】上記のように、2値化平均濃度Bavexy
に対して1よりも小さな係数k1(たとえば0.5)を
乗算すると、第2のループにおいて出力2値化結果が入
力データに対して常に低濃度になるので、それを打消そ
うとする誤差補正作用が第2のループに発生する。した
がって、ガンマ特性は図6の(C)に示すように線画部
が濃いめの特性になり、線画画像の再現には適してい
る。しかしながら、特に連続階調画像から構成される写
真原稿の場合、ガンマ特性はガンマ=1の線形特性が望
ましい。したがって、特に文字/写真混在原稿において
は、前述の画像の係数を文字/写真領域を判別する領域
判別回路により自動的に異なる値に切換える処理が画質
上かつ操作性上有効である。この場合、係数k3として
は文字であれば1以下を設定し、写真であれば1を設定
するのが好ましい。
【0072】次に、領域判別装置の具体的構成について
説明する。図12は領域判別装置32の第1の具体的な
構成を示すブロック図である。図12を参照して、入力
された画像データf(x,y)はメモリ51によって4
ライン分記憶され、最大値/最小値検出フィルタ52に
より5×5局所領域内のaからxまでの25画素の最大
値/最小値がそれぞれ検出される。検出された最大値/
最小値は減算器53によりその差(最大値−最小値)が
算出され、比較器54によりMPU11が与える領域判
別しきい値th1と比較される。上記の差がしきい値t
h1より大きければ文字領域と判定し、セレクタ55に
よってMPU11が設定する文字領域用係数T(1より
も小さい値)が選択されて出力される。上記の差がしき
い値th1よりも小さければ写真領域と判定し、セレク
タ55によってMPU11が設定する写真領域用係数P
(たとえば1)が選択され出力される。
【0073】このような処理により、文字領域は背景領
域がかぶることなく、かつコントラストの高い高品位な
画像が得られ、写真領域はガンマ=1の線形な階調特性
で忠実に再現される。
【0074】次に領域判別装置32の第2の具体例につ
いて説明する。図13は領域判別装置32の第2の具体
例を示すブロック図である。図13を参照して、入力さ
れた画像データf(x,y)はメモリ61により4ライ
ン分記憶されて、1次微分フィルタや2次微分フィル
タ、あるいはそれらの組合せフィルタなどからなるエッ
ジ検出フィルタ62により5×5局所領域内エッジ量が
検出され、それらの絶対値が出力される。検出された絶
対値エッジ量は、比較器63によりMPU11が与える
領域判別しきい値th2と比較される。上記の値がしき
い値th2よりも大きければ文字領域と判定し、セレク
タ65によってMPU11が設定する文字領域用係数T
(1よりも小さい値)が選択され出力される。上記の差
がしきい値th2よりも小さければ写真領域と判定し、
セレクタ64によってMPU11が設定する写真領域用
係数P(たとえば1)が選択されて出力される。
【0075】このような処理により、文字領域は背景領
域がかぶることなく、かつコントラストの高い高品位な
画像が得られ、写真領域はガンマ=1の線形な階調特性
で忠実に再現される。
【0076】(4) 第4実施形態 図14はこの発明の第4実施形態に係る画像2値化回路
の構成を示すブロック図である。図14を参照して、こ
の発明の第4実施形態に係る画像2値化回路は図8に示
した第1実施形態の回路の2値化出力データg(x,
y)に対して加算器37を用いて乱数発生器38から乱
数ZRand(randmax)が加えられている。こ
れ以外の部分については第1実施形態と同様であるの
で、同一部分に同一符号を付してその説明は省略する。
【0077】第4実施形態においては、乱数発生器38
によって乱数ZRand(randmax)が加算器3
7によって2値化平均濃度Bavexyに加算される。こ
こでZRand(randmax)は−randmax
から+randmaxの値を取る乱数発生関数である。
【0078】乱数加算出力をg(x,y)とし、2値化
平均値をBavexyとし、2値化平均値Bavexyと原
画像f(x,y)との差をEBavexyとすれば、それ
ぞれは式(4)〜(6)で表わされる。
【0079】
【数2】
【0080】なお、ここで、式(5)におけるm2k,l
は濃度重み付けフィルタ28におけるアドレス(k,
l)の係数を示す。
【0081】EBavexyを用いて入力画像f(x,
y)を補正する。図15は第4実施形態における効果を
説明するための図であり、従来の図25に対応する。図
14に示すように2値化平均濃度誤差拡散法の非線形ガ
ンマ特性により、背景領域の乱数ノイズによるかぶりが
少なく、かつ低濃度細線の再現性が良好で、かつ一様な
連続階調画像のSNAKE−LIKEテクスチャが低減
されているのがわかる。
【0082】なお、ここで乱数ZRand(randm
ax)は操作パネル12における所望の画質モードの設
定に応じて決定される。
【0083】(5) 第5実施形態 次にこの発明の第5実施形態について説明する。図16
はこの発明の第5実施形態に係る画像2値化回路の構成
を示すブロック図である。図16を参照して第5実施形
態においては第4実施形態と異なり、乱数発生器38に
よる乱数の加算が2値化平均濃度重み付けフィルタ28
の後で行なわれている。
【0084】それ以外の部分については第4実施形態と
同様であるので、同一部分に同一参照符号を付してその
説明は省略する。
【0085】図16を参照して、2値化平均誤差Bav
xyに乱数発生器38で発生された乱数ZRand(r
andmax)を加算する。この乱数は第4実施形態の
場合と同じものである。
【0086】すると加算器37からの加算出力Bav
e′xyは Bave′xy=Bavexy+ZRand(randmax) …(7) となる。
【0087】これを用いて入力画像データf(x,y)
に対して補正する。この構成の効果を図17に示す。2
値化平均濃度誤差拡散法の非線形ガンマ特性により、背
景領域の乱数ノイズによるかぶりが少なく、かつ低濃度
細線の再現性が良好でかつ一様な連続階調画像のSNA
KE−LIKEテクスチャが低減されているのがわか
る。
【0088】(6) 第6実施形態 第4および第5実施形態において、線画領域と連続階調
写真画像領域からなる混在原稿に対してすべての領域で
等しく乱数を加算すると、線画領域のエッジにジャギー
(がたつき)が発生するという問題がある。
【0089】線画領域は元々前述のSNAKE−LIK
Eテクスチャは発生しないので、乱数の加算は上記ジャ
ギーの発生を考慮すれば非合理的である。したがって、
文字/写真を領域判別し、自動的に乱数の加算を制御す
れば、画質的にも操作上も効果的である。
【0090】このような文字/写真領域の判別を組込ん
だ第6実施形態に係る画像2値化回路の構成を図18に
示す。図18を参照して、第6実施形態は第3実施形態
に対して領域判別装置32に乱数発生器38が接続され
ている点が異なり、それ以外の部分については第3実施
形態と同様である。したがって、同一部分に同一符号を
付してその説明は省略する。ここで領域判別手段32お
よび乱数発生器はそれぞれ第3実施形態および第4実施
形態で述べたものと同様である。図18を参照して、領
域判別装置32によって入力画像データf(x,y)が
文字領域のデータであると判定されれば、乱数発生器3
8からの乱数の加算は行なわれない。写真領域と判定さ
れれば、乱数発生器38から乱数の加算が行なわれる。
このように構成することによって上記した効果を得るこ
とができる。
【0091】なお、領域判別装置32の具体的構成は第
3実施形態で説明したものと同様であるので、その説明
は省略する。
【0092】このような構成により、文字領域は乱数加
算によるエッジのジャギーが抑えられ、かつ写真領域は
SNAKE−LIKEテクスチャの発生しない高品位な
画像で再現される。
【0093】本実施形態においては、256階調(25
6値)の画像データを2値画像データに変換するものを
示したが、これに限るものではなく、多値画像データを
これより階調数の少ない画像データに変換するもの、す
なわち、M値の画像データをN値の画像データ(M>
N)に変換する画像処理装置に適用できることはいうま
でもない。
【0094】
【発明の効果】上記のように、請求項1に係る発明によ
れば、局所的重み付けされた平均値に対して少なくとも
1でない係数を乗じた値を用いて入力データが補正され
る。局所的重み付けされた平均値はガウス分布に近い積
分特性を持つため非線形特性を有し、その値に対して1
以外の係数が乗算されるため、非線形ガンマ補正特性を
保持すると同時にかつその特性を大きくした状態で入力
多像の補正が行なわれるため、RAMを搭載することな
く非線形ガンマ補正特性が得られると同時に、元の画像
特性が反映した状態で補正されるため、簡単にかつ安価
に非線形ガンマ補正の可能な画像処理装置が提供でき
る。
【0095】請求項2に係る画像処理装置においては、
入力画像データの濃度設定値に応じて乗算係数が設定さ
れるため、入力画像データの処理に応じた画像処理がで
きる。
【0096】請求項3および4に係る画像処理装置にお
いては、乗算結果に対して最大濃度を限定されるため、
線画濃度を濃くした状態で背景部のかぶりを防ぐことが
できる。
【0097】請求項5〜8に係る画像処理装置において
は、画像の領域判別が行なわれ、その領域に応じた係数
を用いて補正データが算出されるため、文字/写真混在
原稿においても各領域に適した画像処理が行なわれる。
【0098】請求項9〜11に係る画像処理装置におい
ては、非線形ガンマ特性を持つN値化平均値誤差拡散フ
ィードバックループにおいて乱数を加算するため、低濃
度細線の再現性がよく、特に薄い背景領域での乱数加算
による「かぶり」ノイズの発生が防止できる。その結
果、低濃度細線の再現性がよくかつSNAKE−LIK
Eテクスチャの低減が可能な所望の画像を得ることがで
きる画像処理装置が提供できる。
【0099】請求項12に係る画像処理装置において
は、補正データの加算される乱数は操作パネルからの画
質モードの設定に応じて設定されるため、画質モードに
応じた所望の画素データ補正ができる画像処理装置が提
供できる。
【0100】請求項13〜17に係る画像処理装置にお
いては、入力画像データの属する領域の判別が行なわ
れ、その判別結果に応じて加算される乱数値が制御され
るため、線画領域と連続階調写真画像領域からなる混在
原稿に対して各領域に応じた補正が自動的に行なわれ
る。
【図面の簡単な説明】
【図1】この発明に係る画像処理装置の構成を示すブロ
ック図である。
【図2】この発明が適用された画像2値化回路の構成を
示すブロック図である。
【図3】操作パネルの構成を示す図である。
【図4】濃度調整モードが設定された状態における操作
パネルを示す図である。
【図5】濃度調整モードにおける濃度設定動作を示すフ
ローチャートである。
【図6】この発明の第1実施形態の効果を示す図であ
る。
【図7】各濃度レベルごとの入力画像を2値化してその
出力2値画像をFET解析したグラフである。
【図8】この発明の第2の実施形態に係る画像2値化回
路の構成を示すブロック図である。
【図9】最大値制限器の構成を示すブロック図である。
【図10】この発明の第2実施形態の効果を示す図であ
る。
【図11】この発明の第3実施形態に係る画像2値化回
路の構成を示すブロック図である。
【図12】領域判別装置の具体例を示すブロック図であ
る。
【図13】領域判別装置の具体例を示すブロック図であ
る。
【図14】この発明の第4実施形態に係る画像2値化回
路の構成を示すブロック図である。
【図15】この発明の第4実施形態における効果を説明
するための図である。
【図16】この発明の第5実施形態に係る画像2値化回
路の構成を示すブロック図である。
【図17】この発明の第5実施形態における効果を説明
するための図である。
【図18】この発明の第6実施形態に係る画像2値化回
路の構成を示すブロック図である。
【図19】従来の画像処理装置の構成を示すブロック図
である。
【図20】線形ガンマ特性を示す図である。
【図21】非線形S字ガンマ特性を示す図である。
【図22】従来のRAMを用いたガンマ補正装置の具体
的構成を示すブロック図である。
【図23】従来のガンマ特性を変更する画像2値化装置
の構成を示すブロック図である。
【図24】従来の方法でガンマ補正を行なった場合の画
像の状態を示す図である。
【図25】誤差拡散2値化方式の問題点を説明するため
の図である。
【図26】誤差拡散2値化方式の問題点を説明するため
の図である。
【符号の説明】
10 画像処理装置 11 MPU 12 操作パネル 13 画像入力装置 14 A/D変換装置 15 Log変換装置 16 先鋭度補正装置 17 画像2値化回路 18 システムバス 19 プリンタ 20 画像バス 21 加算器 22 比較器 23 セレクタ 24 減算器 25 誤差格納メモリ 26 誤差重み付けフィルタ 27 2値画像メモリ 28 2値化平均濃度重み付けフィルタ 29 乗算器 30 減算器 31 最大値制限器 32 領域判別装置 37 加算器 38 乱数発生器

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 入力されたM値の画像データをN値の画
    像データ(M>N)に変換する誤差拡散法を用いた階調
    変換方式を有する画像処理装置であって、 前記N値データを記憶する記憶手段と、 前記記憶されたN値データに対して局所的重み付け平均
    値を演算する第1演算手段と、 前記算出された局所的重み付け平均値に対して少なくと
    も1でない係数を乗じる乗算手段と、 前記乗算手段によって得られた乗算結果と前記入力され
    たM値の画像データとの差を求めて補正データを演算す
    る第2演算手段と、 前記演算された補正データで前記入力画像データを補正
    する補正手段とを含む、画像処理装置。
  2. 【請求項2】 前記画像処理装置は操作パネルを含み、 前記係数は前記操作パネルからの濃度設定値に応じて設
    定される、請求項1に記載の画像処理装置。
  3. 【請求項3】 前記乗算結果に対して、その最大値の制
    限を行なう最大値制限手段をさらに含む、請求項1に記
    載の画像処理装置。
  4. 【請求項4】 前記画像処理装置は操作パネルを含み、 前記最大値制限は前記操作パネルからの濃度設定値の設
    定に応じて設定される、請求項3に記載の画像処理装
    置。
  5. 【請求項5】 前記画像処理装置はさらに、入力画像デ
    ータの特性を判別する領域判別手段を含み、 前記領域判別手段の演算結果によって前記係数が制御さ
    れる、請求項1に記載の画像処理装置。
  6. 【請求項6】 前記領域判別装置は所定の局所領域の最
    大値/最小値を演算することにより前記領域を判別する
    判別手段を含む、請求項5に記載の画像処理装置。
  7. 【請求項7】 前記領域判別手段は、所定の局所領域の
    エッジを検出することにより、前記領域の特性を判別す
    る判別手段を含む、請求項5に記載の画像処理装置。
  8. 【請求項8】 前記領域判別手段は前記領域が文字領域
    か写真領域かを判別し、 前記文字領域では、前記係数を1より小さく設定する、
    請求項6または7に記載の画像処理装置。
  9. 【請求項9】 入力されたM値の画像データをN値の画
    像データ(M>N)に変換する誤差拡散法を用いた階調
    変換方式を有する画像処理装置であって、 前記N値データを記憶する記憶手段と、 前記記憶されたN値データに対して局所的重み付け平均
    値を算出する第1演算手段と、 前記局所的重み付け平均値と前記入力M値画像データと
    の差を求めて補正データを算出する第2演算手段と、 前記補正データを用いて前記入力M値画像を補正する補
    正手段とを含み、前記補正手段は、前記補正データに乱
    数を加算する乱数加算手段を含む、画像処理装置。
  10. 【請求項10】 前記乱数加算手段は前記算出された局
    所的重み付け平均値に対して乱数を加算する、請求項9
    に記載の画像処理装置。
  11. 【請求項11】 前記乱数加算手段は前記算出されたN
    値データに乱数を加算する、請求項9に記載の画像処理
    装置。
  12. 【請求項12】 前記画像処理装置は操作パネルを含
    み、前記乱数は前記操作パネルからの所望の画質モード
    の設定に応じて設定される、請求項9に記載の画像処理
    装置。
  13. 【請求項13】 前記画像処理装置は前記入力M値画像
    データの属する領域を判別する領域判別手段を含み、前
    記領域判別手段の判別結果によって前記乱数が制御され
    る、請求項9に記載の画像処理装置。
  14. 【請求項14】 前記領域判別手段は局所領域の最大値
    /最小値を演算することにより前記領域を判別する、請
    求項13に記載の画像処理装置。
  15. 【請求項15】 前記領域判別手段は前記領域が文字領
    域か写真領域かを判別し、 前記乱数加算手段は、前記領域が文字領域であるとき
    は、前記乱数加算手段は写真領域よりも低い乱数を加算
    する、請求項14または15に記載の画像処理装置。
  16. 【請求項16】 前記領域判別手段は、局所領域のエッ
    ジを検出することにより領域を判別する、請求項13に
    記載の画像処理装置。
JP23910395A 1994-10-20 1995-08-23 画像処理装置 Expired - Fee Related JP3379300B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP23910395A JP3379300B2 (ja) 1995-08-23 1995-08-23 画像処理装置
US08/545,412 US5870503A (en) 1994-10-20 1995-10-19 Image processing apparatus using error diffusion technique

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23910395A JP3379300B2 (ja) 1995-08-23 1995-08-23 画像処理装置

Publications (2)

Publication Number Publication Date
JPH0965136A true JPH0965136A (ja) 1997-03-07
JP3379300B2 JP3379300B2 (ja) 2003-02-24

Family

ID=17039858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23910395A Expired - Fee Related JP3379300B2 (ja) 1994-10-20 1995-08-23 画像処理装置

Country Status (1)

Country Link
JP (1) JP3379300B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012158059A (ja) * 2011-01-31 2012-08-23 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012158059A (ja) * 2011-01-31 2012-08-23 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
JP3379300B2 (ja) 2003-02-24

Similar Documents

Publication Publication Date Title
US5870503A (en) Image processing apparatus using error diffusion technique
US8259357B2 (en) Image processing apparatus, image forming apparatus, image processing method, and computer readable recording medium
JP2500837B2 (ja) 画素値量子化方法
US7064862B2 (en) Printer and printing method for image-quality correction
JP4368833B2 (ja) 画像処理装置、画像処理方法、画像形成装置、プログラム、および記録媒体
EP0781034B1 (en) Image processing apparatus and method
US5493416A (en) Method combining error diffusion and traditional halftoning with arbitrary screen orientation
US5835238A (en) Phantom level edge enhanced error diffusion
JPH0591328A (ja) 画像処理装置
US6552824B2 (en) Method of processing pixels with binary or multibit error diffusion
US6356361B1 (en) Image processing apparatus and method for processing gradation image data using error diffusion
JP3379300B2 (ja) 画像処理装置
US7253926B2 (en) Image-processing apparatus, method and program for outputting an image to a plurality of functions
JPH01115271A (ja) 画像処理装置
JP2570890B2 (ja) 画像処理装置
JP3346111B2 (ja) 画像処理装置
JP3157870B2 (ja) 画像処理方式
JP3774127B2 (ja) 画像処理装置、画像形成装置、画像処理方法、プログラム及び記録媒体
JP2857906B2 (ja) 中間調の2値化処理装置
JPH11136510A (ja) 画像処理装置
JPH10283460A (ja) 画像処理装置
JPH11136513A (ja) 画像処理装置
JPH06253133A (ja) 画像処理装置
JPH0554190A (ja) 画像処理装置
JPH1166300A (ja) シャープネス強調方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20021112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071213

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081213

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081213

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091213

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101213

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101213

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111213

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111213

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121213

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131213

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees