JP3583048B2 - 画像処理方法、その装置及びその記憶媒体 - Google Patents
画像処理方法、その装置及びその記憶媒体 Download PDFInfo
- Publication number
- JP3583048B2 JP3583048B2 JP2000067562A JP2000067562A JP3583048B2 JP 3583048 B2 JP3583048 B2 JP 3583048B2 JP 2000067562 A JP2000067562 A JP 2000067562A JP 2000067562 A JP2000067562 A JP 2000067562A JP 3583048 B2 JP3583048 B2 JP 3583048B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- error
- pixel value
- screen function
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/405—Halftoning, i.e. converting the picture signal of a continuous-tone original into a corresponding signal showing only two levels
- H04N1/4055—Halftoning, i.e. converting the picture signal of a continuous-tone original into a corresponding signal showing only two levels producing a clustered dots or a size modulated halftone pattern
- H04N1/4057—Halftoning, i.e. converting the picture signal of a continuous-tone original into a corresponding signal showing only two levels producing a clustered dots or a size modulated halftone pattern the pattern being a mixture of differently sized sub-patterns, e.g. spots having only a few different diameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/405—Halftoning, i.e. converting the picture signal of a continuous-tone original into a corresponding signal showing only two levels
- H04N1/4051—Halftoning, i.e. converting the picture signal of a continuous-tone original into a corresponding signal showing only two levels producing a dispersed dots halftone pattern, the dots having substantially the same size
- H04N1/4052—Halftoning, i.e. converting the picture signal of a continuous-tone original into a corresponding signal showing only two levels producing a dispersed dots halftone pattern, the dots having substantially the same size by error diffusion, i.e. transferring the binarising error to neighbouring dot decisions
- H04N1/4053—Halftoning, i.e. converting the picture signal of a continuous-tone original into a corresponding signal showing only two levels producing a dispersed dots halftone pattern, the dots having substantially the same size by error diffusion, i.e. transferring the binarising error to neighbouring dot decisions with threshold modulated relative to input image data or vice versa
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力画像を誤差拡散法を用いてハーフトーン処理するための画像処理方法、装置及び記憶媒体に関し、特に、誤差拡散法における出力画像の幾何学的テクスチャと粒状性を向上させた画像処理方法、装置及びその記憶媒体に関する。
【０００２】
【従来の技術】
近年、カラー画像処理の進展に伴い、フルカラー画像の処理が可能となってきた。例えば、シアンＣ，マゼンダＭ，イェローＹの各色に対し、２５６レベルの諧調レベルの処理が行われている。一方、これを表示するデイスプレイやプリンタ等のデバイスは、諧調数に限りがあるため、フルカラー画像を表示、印刷できない。このため、諧調表現数に限度のあるディスプレイやプリンタ等のデバイスでは、誤差拡散法によってフルカラー入力画像をハーフトーン画像に変換している。
【０００３】
誤差拡散法とは、入力画像を出力デバイスの持つ階調数で量子化した時に発生する量子化誤差を周辺画素に拡散することによって、階調保存性を満足したハーフトーン画像を得るアルゴリズムである。
【０００４】
しかし、誤差拡散法の欠点として、出力画像のドット低密度領域（黒ドットの少ない領域）に発生するテクスチャ（ｗｏｒｍという）、ドット高密度領域（黒ドットの多い領域）に発生するテクスチャ（ｆｉｎｇｅｒｐｒｉｎｔという）と言った幾何学的テクスチャが発生する点が指摘され、従来から多くの改良が試みられている。以下に、これまで提案された改良技法を説明する。
【０００５】
第１の方法は、入力画像を双方向に走査する双方向走査（Ｕｌｉｃｈｎｅｙ， １９８７）であり、ドット低密度領域では、量子化誤差の拡散方向が分散されるために、ｗｏｒｍは軽減される。
【０００６】
第２の方法は、量子化誤差を周辺画素に拡散するための誤差フィルタを切り替える誤差フィルタ切替方式（Ｒ．Ｅｓｃｈｂａｃｈ， ”Ｒｅｄｕｃｔｉｏｎ ｏｆ ａｒｔｉｆａｃｔｓ ｉｎ ｅｒｒｏｒ ｄｉｆｆｕｓｉｏｎ ｂｙ ｍｅａｎｓ ｏｆ ｉｎｐｕｔ ｄｅｐｅｎｄｅｎｔ ａｒｅａｓ”， Ｊｏｕｒｎａｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ， ２（４） ｐｐ ３５２−３５８ （１９９３）．）である。入力画素やその周辺画素に依存して数種の誤差フィルタを使い分け、ｗｏｒｍ及びｆｉｎｇｅｒｐｒｉｎｔを軽減する。使用するフィルタを大サイズにするほどｗｏｒｍは軽減する。
【０００７】
又、双方向走査方式と誤差フィルタ切替方式を併用したものも提案されている（例えば、日本国特開平９−６５１２６号公報）。
【０００８】
第３の方法は、正弦波重畳方式（Ｙ．Ｋｉｓｈｉｍｏｔｏ， Ｍ．Ｎｏｓｅ， Ｒ．Ｓａｉｔｏ ａｎｄ Ｈ．Ｋｏｔｅｒａ， ”Ｉｍｐｒｏｖｅｄ ｅｒｒｏｒ ｄｉｆｆｕｓｉｏｎ ｍｅｔｈｏｄ ｗｉｔｈ ＡＭ／ＦＭ ｐｅｒｉｏｄｉｃ ｎｏｉｓｅ”， Ｒｒｏｃ．ＩＳ＆Ｔ ｓＮＩＰ１５ ｐｐ ３６６−３６９ （１９９９））であり、量子化処理の前に、振幅・周波数変調の正弦波を入力画素値に重畳することでドットを矯正配置する。計算量も比較的少ない。
【０００９】
【発明が解決しようとする課題】
しかし、上述の従来技術では、次の問題がある。
【００１０】
第１の方法の双方向走査では、ドット低密度領域では量子化誤差の拡散方向が分散されるためにｗｏｒｍは軽減されるが、ドット高密度領域領域では量子化誤差の干渉によってｆｉｎｇｅｒｐｒｉｎｔは増幅してしまうという問題がある。
【００１１】
第２の方法の誤差フィルタ切替方式及び双方向走査を兼用したものでは、幾何学的テクスチャ（ｗｏｒｍ及びｆｉｎｇｅｒｐｒｉｎｔ）は軽減するが、ドット低密度領域において、網点のような均一な周期的ドットパターンを形成できず、ドットの粒状性が目立ち、色再現範囲は向上しない。
【００１２】
第３の方法の正弦波重畳方式では、単純に入力レベルの強さに応じて、正弦波を印加していたため、出力画像のエッジが不明瞭となり、濃淡の激しい画像では改善力に乏しいという問題がある。
【００１３】
また、以上の単独の技法ではｗｏｒｍ、ｆｉｎｇｅｒｐｒｉｎｔを同時に改善することは難しく、その一方それぞれので技法のむやみな併用では計算量が増大する一方になってしまう。
【００１４】
本発明の目的は、幾何学的テクスチャの防止だけでなく、粒状性の低下を防止するための画像処理方法、装置及び記憶媒体を提供することにある。
【００１５】
本発明の他の目的は、ドット密度の低い領域において、網点に近い粒状性の少ない画像をえるための画像処理方法、装置及び記憶媒体を提供するにある。
【００１６】
本発明の更に他の目的は、出力画像のエッジの不明瞭さを防止し、濃淡の激しい画像でも、誤差拡散の効果を発揮するための画像処理方法、装置及び記憶媒体を提供することにある。
【００１７】
【課題を解決するための手段】
この目的の達成のため、本発明の入力画像を誤差拡散法を用いてハーフトーン処理を行う画像処理方法は、注目画素値及び周辺画素値の平均値に従った振幅及び周波数のスクリーン関数値を算出するステップと、前記拡散された量子化誤差と、前記注目画素値と、前記スクリーン関数値とを加算するステップと、前記加算結果を、所定の諧調数で量子化するステップと、前記量子化による誤差から前記周辺画素の量子化誤差を算出するステップとを有する。
【００１８】
本発明の入力画像を誤差拡散法を用いてハーフトーン処理を行う画像処理装置は、前記入力画像を格納するメモリと、前記入力画像を前記ハーフトーン処理する処理部とを有し、前記処理部は、注目画素値及び周辺画素値の平均値に従った振幅及び周波数のスクリーン関数値と、前記拡散された量子化誤差と、前記注目画素値とを加算した後、前記加算結果を、所定の諧調数で量子化し、更に、前記量子化による誤差から前記周辺画素の量子化誤差を算出する。
【００１９】
本発明の入力画像を誤差拡散法を用いてハーフトーン処理を行うプログラムを格納するコンピュータ読み取り可能な記憶媒体のプログラムは、前記注目画素値及び周辺画素値の平均値に従った振幅及び周波数のスクリーン関数値を算出するプログラムと、前記拡散された量子化誤差と、前記注目画素値と、前記スクリーン関数値とを加算するプログラムと、前記加算結果を、所定の諧調数で量子化するプログラムと、前記量子化による誤差から前記周辺画素の量子化誤差を算出するプログラムとを有する。
【００２０】
本発明では、重畳する正弦波の振幅、周波数を、注目画素値と周辺画素値の平均値を用いて、変調している。平均値は、ドット密度の高低を示すため、ドット密度に応じた、振幅、周波数の正弦波を重畳できる。このため、諧調性を維持するため、誤差拡散しても、ドット密度の低い所では、網点のような均一で周期的なドットパターンを、ドット密度の高い所では、市松模様に近い高周波なドットパターンに、配置でき、視覚的により良好なハーフトーン画像が得られる。
【００２１】
本発明の画像処理方法では、前記スクリーン関数値を算出するステップは、前記注目画素値及び前記周辺画素値の平均値を算出するステップと、前記注目画素値と前記平均値との差分を算出するステップと、前記平均値と前記差分とにより、前記スクリーン関数の振幅を変調するステップを有することもできる。差分を用いているため、画像のエッジを検出して、正弦波の効果を低減することができ、エッジでのドットの強制配置を防止し、エッジを明瞭に保存できる。このため、濃淡の激しい画像でも、良好なハーフトーン画像を得ることができる。
【００２２】
本発明の画像処理方法では、前記スクリーン関数値を算出するステップは、前記スクリーン関数の水平方向の周期と、垂直方向の周期とを独立に制御するステップを有することもできる。水平方向と垂直方向とを独立に制御するため、正弦波が、２次元的に作用し、正弦波により、ドットの配置を、２次元で制御できる。このため、２次元平面で、より良好なハーフトーン画像が得られる。
【００２３】
本発明の画像処理方法では、前記スクリーン関数値を算出するステップは、各色の入力画像に対し、異なる前記スクリーン関数の初期位相を設定するステップを有することができる。カラー画像を取り扱った場合に、各色のドットが重ならないように、ドットを強制分散でき、各色のドットを比較的等間隔で、併置させることができる。これにより、ハーフトーン画像の空間周波数を高くでき、粒状性の減少をもたらし、且つ色域も拡大する。
【００２４】
本発明の画像処理方法では、前記入力画像を、双方向に走査して、前記注目画素値と、前記周辺画素値を読み出すステップを更に有し、前記周辺画素の量子化誤差を算出するステップは、複数の誤差フィルタから、前記注目画像値に応じて選択した誤差フィルタを用いて、前記量子化誤差を算出するステップを有することができる。この態様では、双方向走査と小サイズ誤差フィルタ切替方式を併用することで、計算量の増加を抑えて、幾何学的テクスチャの抑制を図ることができる。
【００２５】
【発明の実施の形態】
以下に、本発明を、画像処理、ＡＭ−ＦＭスクリーン関数の順で、図面を用いて説明する。
【００２６】
［画像処理］
図１は、本発明の一実施の態様のブロック図、図２は、その画像処理装置の機能ブロック図、図３は、双方向走査の説明図、図４は、画像処理装置の部分ブロック図である。
【００２７】
図１は、カラーインクジエットプリンタに適用した例を示しており、メモリ２０は、入力画像を、Ｃ（シアン），Ｍ（マゼンダ），Ｙ（イェロー）プレーンにそれぞれ０〜２５５の濃度値（０：黒、２５５：白）を持つフルカラー画像で格納する。画像処理ユニット２１は、ＭＰＵで構成され、Ｑ値化のハーフトーン処理を行うものとし、量子化閾値は一定間隔に取るものとする。例えば、２値化処理の場合には１２７．５レベルに閾値を取り、６値化処理の場合には、２５．５、７６．５、１２７．５、１７８．５、２２９．５の各々のレベルに閾値を取るものとする。
【００２８】
出力メモリ２２は、ハーフトーン処理された出力画像を、Ｃ，Ｍ，Ｙプレーンに格納する。カラーインクジエットヘッド２３は、出力画像に応じて、各色のインク滴を噴射し、図示しない印刷媒体に印刷を行う。ＭＰＵ２１は、各色の入力画像を、各色別に処理する。尚、メモリ２０，２１は、１つのメモリでも構成できる。
【００２９】
画像処理ユニット２１を、図２で説明する。図２において、１は入力画像を示す。２は入力画素値Ｉと誤差フィルタ６を通じて決定された量子化誤差Ｅを加算する加算回路、３は加算回路２で加算された値を量子化閾値によって量子化を行う量子化回路、４は量子化誤差を計算する減算回路、５は量子化誤差を記録する誤差バッファ、６は誤差の拡散割合を記録した誤差フィルタ、７は入力画像内の注目画素及び周辺画素の値を検出する濃度レベル検出回路、８は検出回路７からの値を元にＡＭ−ＦＭスクリーン関数（正弦波）を発生する回路、９は正弦波の周期を格納するバッファである。
【００３０】
この構成の動作を説明する前に、この実施の形態に用いられる双方向走査を、説明する。双方向走査とは、図３に示すように、走査方向を走査線毎に往復させる走査方法である。ドット低密度領域に発生するｗｏｒｍの発生原因は、量子化誤差の拡散方向がある一定方向に偏ってしまうことに主にあるが、この走査方法の導入によって、誤差の拡散方向の分散性が向上するので、ｗｏｒｍが軽減される。
【００３１】
しかし、双方向走査の導入は、副作用としてｆｉｎｇｅｒｐｒｉｎｔを増幅してしまう現象がしばしば見られる。そこで、図４に示す２種類の小サイズ誤差フィルタ６０，６１を誤差フィルタ６に設けている。小サイズ誤差フィルタ６０，６１を、図２の検出回路７から検出した値、つまり注目画像値の濃度レベルに応じて使い分けることによってｆｉｎｇｅｒｐｒｉｎｔの抑制を可能とする。
【００３２】
図４の誤差フィルタ６０はハイライト領域（低ドット密度領域）でのドットの均一性を高くする特性を有し、誤差フィルタ６１は中間調領域（高ドット密度領域）でドットの高周波性をもたらす特性を持つ。図４に示すように、ドットの低密度域とは、黒ドットの少ない（白ドットの多い）領域と、黒ドットの多い（白ドットの少ない）領域とを示し、誤差フィルタ６０が選択される。ドットの高密度域とは、その中間の領域を示し、画像変化の激しい領域である。ここでは、誤差フィルタ６１が選択される。
【００３３】
以上に示した双方向走査、小サイズ誤差フィルタ切替操作の２つの技法を併用することで、計算量の増大を最小限に抑えてｗｏｒｍ、ｆｉｎｇｅｒｐｒｉｎｔと言った幾何学的テクスチャを解消することができる。
【００３４】
更に、量子化処理の際に、図２の濃度レベル検出回路７から得られた値に依存した振幅と周波数を持つＡＭ−ＦＭスクリーン関数（正弦波）を発生回路８で計算し、その算出値を、量子化誤差と共に、加算回路２に重畳させる。このことで、出力画像のドット低密度領域でかなり網点に近似した粒状性の少ないドットパターンを得られる。
【００３５】
次に、図２の構成の動作を説明する。まず、走査方向を決定する。最初の走査方向は、通常のラスタ走査と同様、右方向でよい。次に、濃度レベル検出回路７で、入力画像の注目画素値及び周辺画素値の濃度レベルを検出する。その回路７から検出された注目画素値の濃度レベルに応じて、その画素値に対して使用する誤差フィルタ６０，６１（図２の６）を決定する。
【００３６】
その誤差フィルタに従い、誤差バッファ５で蓄えられた量子化誤差を回路６で重み付けして加算する。ここでまた、検出回路７で検出された注目画素値と、その近傍の周辺画素値８の平均濃度レベルＡｖｇを、図４の検出回路７のローパスフィルタ７０により、計算し、差分回路７１により、注目画素値Ｉと平均濃度レベルＡｖｇとの差分δを算出する。
【００３７】
そこで得られた平均濃度レベルＡｖｇと差分レベルδを元に、発生回路８でＡＭ−ＦＭスクリーン関数の振幅・周波数を算出し、重畳する濃度レベルを決定する。後述するように、図４において、振幅計算回路８０は、平均濃度レベルＡｖｇと差分レベルδとから、振幅を計算し、周波数計算回路８１は、平均濃度レベルＡｖｇから周波数を計算する。そして、関数計算回路８２は、振幅及び周波数から重畳する関数を計算する。
【００３８】
図２に戻り、注目画素値Ｉ（ｘ，ｙ）と，回路６からの量子化誤差と、回路８で算出されたＡＭ−ＦＭスクリーン関数値を、加算回路２で加算する。加算回路２で加算した値を、量子化回路３での閾値によって定められたレベルに量子化し、その値を出力画像の画素値とする。
【００３９】
回路２で決定した値から、回路３で決定された濃度レベルを、回路４で減算する。減算回路４で算出した値を、誤差バッファ５に記録する。この操作を終えたら注目画素値を右に１つずらし、以上の一連の操作を繰り返す。
【００４０】
以上の一連の操作をその主走査線の最後の画素まで繰り返したら、次に処理する走査線の走査方向は先ほどと反転させ（つまり右から左とし）、同様の操作を行う。この時には、操作方向が反対であるので、６での誤差フィルタ６０，６１の形状も左右反転させる。
【００４１】
［ＡＭ−ＦＭスクリーン関数］
このＡＭ−ＦＭスクリーン関数の振幅特性と周波数特性を以下に説明する。まず、図５乃至図１０により、ＡＭ−ＦＭスクリーン関数の振幅（以下Ａｍｐ）特性を説明する。振幅Ａｍｐは、検出回路７内のローパスフィルタ７０を用いて周辺９画素からの平均値（以下Ａｖｇ）を算出し、それを利用して制御する。そのＡＭ−ＦＭスクリーン関数はドット低密度領域で高振幅、ドット高密度領域で低振幅となるようにする。
【００４２】
ここで、図６（Ａ）に示すように、Ｑが「２」である、２値化の例で説明すると、平均値が、しきい値より大きい程、黒ドットが疎であり、ドット低密度領域と定義する。３×３のマトリックスでこの状態を、図５（Ａ）に示す。又、平均値が、閾値より小さい程、白ドットが疎であり、これもドット低密度領域と定義する。これは、図５（Ｃ）に示す。平均値が中間、即ち、しきい値近傍では、図５（Ｂ）に示すように、黒ドットと白ドットが混在する。これを、ドット高密度領域と定義する。４値化の場合には、図６（Ｂ）に示すようになる。
【００４３】
つまり、このＡＭ−ＦＭスクリーン関数の振幅はハイライト部（ドット低密度領域）のドットを矯正配置する強さを意味する。ここで、単純に入力レベルの強さに応じて正弦波の振幅を決定すると、出力画像のエッジが不明瞭になる副作用も見られる。そこで、注目画素値とローパスフィルタの算出値との差分δを導入し、その差分も正弦波の振幅パラメータとする。このように振幅制御することによって、エッジが明瞭に保たれ、ドット分散性もより安定したものとなる。
【００４４】
振幅Ａｍｐを式で表すと以下のようになる。
【００４５】
Ａｍｐ＝Ｃ（定数）・（ｍｏｄ（Ａｖｇ， ２５５／（Ｑ−１））−２５５／２（Ｑ−１））γ／（δ４＋１） （１）
ここで、ｍｏｄ（ａ，ｂ）はａをｂで割った余りを示す。
【００４６】
この振幅式は、ＡｍｐはＱ値化処理において、ドット低密度となる領域で高い値を取り、ドット高密度領域で低い値を取る一般式を示しており、１つの式で容易に制御できる。
【００４７】
この式の意味を、図７乃至図１０により、説明する。図７（Ａ）は、２値化（即ち、Ｑ＝２）の時の平均値Ａｖｇと、余りｍｏｄとの関係を示す。次に、図８（Ａ）は、平均値Ａｖｇとｍｏｄ（Ａｖｇ， ２５５／（Ｑ−１））−２５５／２（Ｑ−１）を示す。更に、べき乗した場合には、図９（Ａ）のように、平均値Ａｖｇとべき乗値（ｍｏｄ（Ａｖｇ， ２５５／（Ｑ−１））−２５５／２（Ｑ−１））γの関係となる。したがって、平均値（以下Ａｖｇ）から、ドット低密度領域で高振幅、ドット高密度領域で低振幅となる振幅が得られる。更に、式（１）では、べき乗値を、差分δに比例する（δ４＋１）で割っている。図１０に示すように、濃淡変動の少ない部分では、δは、小さいため、式（１）の振幅Ａｍｐは、大きい。即ち、正弦波が強く作用し、ドット分散の作用を強く発揮する。一方、濃淡の多い部分では、差分δは、大きくなり、式（１）の振幅Ａｍｐは、小さくなる。これにより、ＡＭ−ＦＭスクリーン関数の付加により、エッジがなまることを防止でき、よりドット配置を均一にできる。
【００４８】
図７（Ｂ）は、４値化（即ち、Ｑ＝４）の時の平均値Ａｖｇと、余りｍｏｄとの関係を示す。次に、図８（Ｂ）は、平均値Ａｖｇとｍｏｄ（Ａｖｇ， ２５５／（Ｑ−１））−２５５／２（Ｑ−１）を示す。更に、べき乗した場合には、図９（Ｂ）のように、平均値Ａｖｇとべき乗値（ｍｏｄ（Ａｖｇ， ２５５／（Ｑ−１））−２５５／２（Ｑ−１））γ 関係となる。したがって、同様に、平均値（以下Ａｖｇ）から、ドット低密度領域で高振幅、ドット高密度領域で低振幅となる振幅が得られる。更に、式（１）では、べき乗値を、差分δに比例する（δ４＋１）で割っている。図１０に示すように、濃淡変動の少ない部分では、δは、小さいため、式（１）の振幅Ａｍｐは、大きい。即ち、正弦波が強く作用し、ドット分散の作用を強く発揮する。一方、濃淡の多い部分では、差分δは、大きくなり、式（１）の振幅Ａｍｐは、小さくなる。
【００４９】
次に、ＡＭ−ＦＭスクリーン関数の周波数Ｆｒｑを図１１乃至図１４により説明する。周波数も検出回路７から得られた入力画素値に依存させる。それは、その注目画素値における理想ドット間隔と強い相関を持たせる。図１１に示すように、例えば、１６×１６画素で、均一な濃度レベル２４７とし、この入力値を誤差拡散により２値化処理する場合を例にする。誤差拡散により、黒ドットは２５６画素中に８つある計算となる。
【００５０】
１次元で考えると、２５６画素中に８つと言うことは、３２画素辺りに１個の割合で黒ドットの出現率となる。これを２次元に拡張して考えると、平方根を取ればいい訳で、平均√３２＝４√２画素間隔で黒ドットが並ぶことになり、これが２次元空間における黒ドットの理想間隔と考えられる。
【００５１】
更に、ここで、人間の視覚特性では４５°のドット配置が快適であることを考慮して、そのようにドットを配置させることを意図すると、水平方向、垂直方向のドット間隔は４√２×√１／２×２＝８となり、８画素おきに黒ドットが配置されればいいことになる。
【００５２】
つまり、レベル２４７においては、ＡＭ−ＦＭスクリーン関数の周期（１／Ｆｒｑ）は２π／８＝π／４となり、量子化処理の際に、この周期に準じて黒ドットをトラップするイメージとなる。また、ハイライト部は白い背景に黒ドットが分散されるので、黒ドットの制御を中心に、シャドウ部は黒い背景に白いドットが分散されるので、白ドットの制御を中心に考えるべきである。
【００５３】
従って、Ｃ言語プログラムで一般式で示せば、以下のように入力画素値に応じて周波数を使い分ける。
図１２は、２値化の場合と、４値化の場合との平均値と周波数の関係である。即ち、ドット高密度領域では、高周波数に、ドット低密度領域では、低周波数に制御している。このことから、ＡＭ−ＦＭスクリーン関数の周期は１／Ｆｒｑとなる。
【００５４】
ここで、ＡＭ−ＦＭスクリーン関数の周期を２次元で考える。水平方向の周期をｃｘ（＝１／Ｆｒｑｘ）、垂直方向の周期をｃｙ（＝１／Ｆｒｑｙ）とすると、ＡＭ−ＦＭスクリーン関数（ＡＦ（ｘ，ｙ））の概形は、以下のようになる。
【００５５】
ＡＦ（ｘ，ｙ）＝Ａｍｐ・ｓｉｎ（ｃｘ＋ｃｙ＋σ） （σ：初期位相） （４）
従って、ＡＭ−ＦＭスクリーン関数は、ドットの低密度領域では高振幅・低周波数、ドットの高密度領域では低振幅・高周波数となることを示している。ここで、ｃｘ のみを誤差拡散処理と同時に１画素単位にインクリメントすると、図１３に示すように、ＡＦ（ｘ，ｙ）は１次元での振動となり、主走査方向には、変化する。
【００５６】
しかし、そのままでは、垂直方向の正弦波の成分がばらつく。このため、２次元性を持たせるとよい。このためには、ｃｙもインクリメントさせる必要がある。しかし、ｃｘ、ｃｙを同時にインクリメントするとＡＦ（ｘ，ｙ）は意図する波形ではなくなってしまう。
そこで、上手くＡＭ−ＦＭスクリーン関数を２次元空間で制御するために、水平インクリメントと垂直インクリメントを交互にスイッチさせることにより、擬似的に２次元性を持たせる。
【００５７】
即ち、図１３に示すよう、そのスイッチ条件は、一定画素間隔でのスイッチと、垂直方向の画像のエッジのあるときのスイッチである。従って、これらの条件にあてはまる時は、正弦波の進行をリセットし、ｃｙをインクリメントして、垂直方向に、正弦波を進行させる。このスイッチ処理を行うために、図２のメモリ回路９に記録した１ライン前の走査線の正弦波の周期を用いる。
【００５８】
この２つのスイッチ条件によって、ＡＭ−ＦＭスクリーン関数は画像の濃淡変動に応じて２次元的に振る舞う。図１４に示すように、ＡＭ−ＦＭスクリーン関数は、ドットの低密度領域では高振幅・低周波数、ドットの高密度領域では低振幅・高周波数となることを示している。
【００５９】
図１５は、これらの制御を行うための本発明の一実施の形態のハーフトーン処理フロー図である。
【００６０】
（Ｓ１）注目画素のアドレスｘ，ｙを「１」に初期化する。また、スクリーン関数の周期ｃｘ，ｃｙを「０」に初期化する。
【００６１】
（Ｓ２）ｙが垂直画素数以下かを判定する。ｙが垂直画素数を越えていると、この処理を終了する。
【００６２】
（Ｓ３）ｘが水平画素数以下かを判定する。ｘが水平画素数を越えていると、ステップＳ１１に進む。
【００６３】
（Ｓ４）前述の式（１）から振幅Ａｍｐを計算し、式（２）、（３）から周波数ｆｒｅｑを計算する。
【００６４】
（Ｓ５）前述の垂直方向のスイッチ条件を判定するため、ｍｏｄ（ｘ，ｃ１）を計算し、計算値が「０」かを判定する。ｃ１は、前述の水平方向の一定間隔である。又、差分δが「０」かを判定する。
【００６５】
（Ｓ６）いずれも、「０」でない場合は、スイッチしないため、式（４）の周期ｃｘに、π／ｆｒｅｑを加算する。
【００６６】
（Ｓ７）いずれかが「０」である場合は、前述のスイッチ条件を満たすため、垂直方向にスイッチする。即ち、ｃｘを「０」にし、水平方向の進行を止め、ｃｙに１走査前の正弦波の周期ｒｉｒｅｋｉ（ｘ）をセットする。
【００６７】
（Ｓ８）次に、式（４）により、ＡＭ−ＦＭスクリーン関数値を計算し、注目画素値Ｉに、周辺画素からの量子化誤差Ｅと共に加える。その後、量子化処理を行い、出力Ｏを計算する。
【００６８】
（Ｓ９）その時に生じた量子化誤差Ｅを算出し、誤差バッファに記録する。更に、周期ｒｉｒｅｋｉ（ｘ）に、π／ｆｒｅｑを格納する。
【００６９】
（Ｓ１０）ｘをインクリメントして、ステップＳ３に戻る。
【００７０】
（Ｓ１１）ｙをインクリメントして、ステップＳ２に戻る。９ｗｏ・？
以上の逐次処理での誤差拡散とＡＭ−ＦＭスクリーン関数の作用によって、出力画像のドットパターンを良好に制御することが可能となる。
【００７１】
更に、カラー画像の場合には、Ｃ，Ｍ，Ｙ各プレーンにおける正弦波の初期位相（式４のσ）を、図１６のように、異なる値σ１、σ２、σ３にすることで、Ｃ，Ｍ，Ｙの１次色ドットを比較的等間隔で併置させることが可能となる。図１７に示すように、Ｃ，Ｍ，Ｙドットを併置させることで、ハーフトーン画像の空間周波数成分も高まり、結果的に粒状性の減少をもたらし、ドット併置混色によって色域も拡大する。
【００７２】
次に、実施例を説明する。図１８は、比較例であるＦｌｏｙｄの誤差拡散法による出力パターン図であり、図１９は、比較例である双方向走査と誤差フィルタ切替とを併用した場合の出力パターン図であり、図２０は、本発明により、図１９の場合に、ＡＭ−ＦＭスクリーン関数を加えた場合の出力パターン図である。図１９の比較例では、図１８の比較例と比べ、図１８の左側に見られるｗｏｒｍ、右側に見られるｆｉｎｇｅｒｐｒｉｎｔ共々、軽減されていることが窺える。更に、図２０の本発明による出力画像は、図１９の比較例で選られたドットパターンよりも更にドット低密度領域でかなり網点に近似した粒状性の少ないドットパターンを得られていることが窺える。
【００７３】
以上、本発明を実施例により、説明したが、本発明の趣旨の範囲内において、種種の変形が可能であり、これらを、本発明の範囲から排除するものではない。
【００７４】
【発明の効果】
本発明では、重畳する正弦波の振幅、周波数を、注目画素値と周辺画素値の平均値を用いて、変調している。平均値は、ドット密度の高低を示すため、ドット密度に応じた、振幅、周波数の正弦波を重畳できる。このため、諧調性を維持するため、誤差拡散しても、ドット密度の低い所では、網点のような均一で周期的なドットパターンを、ドット密度の高い所では、市松模様に近い高周波なドットパターンに、配置でき、視覚的により良好なハーフトーン画像が得られる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の画像処理装置のブロック図である。
【図２】図１の画像処理ユニットの機能ブロック図である。
【図３】図２の双方向走査の説明図である。
【図４】図２の要部ブロック図である。
【図５】本発明のドット密度の説明図である。
【図６】平均値とドット密度の関係図である。
【図７】ＡＭ−ＦＭスクリーン関数の振幅計算の説明図である。
【図８】ＡＭ−ＦＭスクリーン関数の振幅計算の動作図である。
【図９】ＡＭ−ＦＭスクリーン関数の振幅制御の説明図である。
【図１０】ＡＭ−ＦＭスクリーン関数の振幅制御の動作図である。
【図１１】ＡＭ−ＦＭスクリーン関数の周波数計算の説明図である。
【図１２】ＡＭ−ＦＭスクリーン関数の周波数計算の動作図である。
【図１３】ＡＭ−ＦＭスクリーン関数の２次元制御の説明図である。
【図１４】ＡＭ−ＦＭスクリーン関数の振幅・周波数制御の動作図である。
【図１５】本発明の一実施の形態の画像処理フロー図である。
【図１６】本発明の一実施の形態のカラー画像処理の説明図である。
【図１７】図１６のカラー画像処理の説明図である。
【図１８】比較例の出力パターン図である。
【図１９】他の比較例の出力パターン図である。
【図２０】本発明の実施例による出力パターン図である。
【符号の説明】
１ フルカラー入力画像
２ 加算回路
３ 量子化回路
４ 減算回路
５ 誤差バッファ
６ 誤差フィルタ
７ 濃度レベル検出回路
８ ＡＭ・ＦＭ正弦波回路
９ 正弦波記録バッファ
１０ 出力画像
【発明の属する技術分野】
本発明は、入力画像を誤差拡散法を用いてハーフトーン処理するための画像処理方法、装置及び記憶媒体に関し、特に、誤差拡散法における出力画像の幾何学的テクスチャと粒状性を向上させた画像処理方法、装置及びその記憶媒体に関する。
【０００２】
【従来の技術】
近年、カラー画像処理の進展に伴い、フルカラー画像の処理が可能となってきた。例えば、シアンＣ，マゼンダＭ，イェローＹの各色に対し、２５６レベルの諧調レベルの処理が行われている。一方、これを表示するデイスプレイやプリンタ等のデバイスは、諧調数に限りがあるため、フルカラー画像を表示、印刷できない。このため、諧調表現数に限度のあるディスプレイやプリンタ等のデバイスでは、誤差拡散法によってフルカラー入力画像をハーフトーン画像に変換している。
【０００３】
誤差拡散法とは、入力画像を出力デバイスの持つ階調数で量子化した時に発生する量子化誤差を周辺画素に拡散することによって、階調保存性を満足したハーフトーン画像を得るアルゴリズムである。
【０００４】
しかし、誤差拡散法の欠点として、出力画像のドット低密度領域（黒ドットの少ない領域）に発生するテクスチャ（ｗｏｒｍという）、ドット高密度領域（黒ドットの多い領域）に発生するテクスチャ（ｆｉｎｇｅｒｐｒｉｎｔという）と言った幾何学的テクスチャが発生する点が指摘され、従来から多くの改良が試みられている。以下に、これまで提案された改良技法を説明する。
【０００５】
第１の方法は、入力画像を双方向に走査する双方向走査（Ｕｌｉｃｈｎｅｙ， １９８７）であり、ドット低密度領域では、量子化誤差の拡散方向が分散されるために、ｗｏｒｍは軽減される。
【０００６】
第２の方法は、量子化誤差を周辺画素に拡散するための誤差フィルタを切り替える誤差フィルタ切替方式（Ｒ．Ｅｓｃｈｂａｃｈ， ”Ｒｅｄｕｃｔｉｏｎ ｏｆ ａｒｔｉｆａｃｔｓ ｉｎ ｅｒｒｏｒ ｄｉｆｆｕｓｉｏｎ ｂｙ ｍｅａｎｓ ｏｆ ｉｎｐｕｔ ｄｅｐｅｎｄｅｎｔ ａｒｅａｓ”， Ｊｏｕｒｎａｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ， ２（４） ｐｐ ３５２−３５８ （１９９３）．）である。入力画素やその周辺画素に依存して数種の誤差フィルタを使い分け、ｗｏｒｍ及びｆｉｎｇｅｒｐｒｉｎｔを軽減する。使用するフィルタを大サイズにするほどｗｏｒｍは軽減する。
【０００７】
又、双方向走査方式と誤差フィルタ切替方式を併用したものも提案されている（例えば、日本国特開平９−６５１２６号公報）。
【０００８】
第３の方法は、正弦波重畳方式（Ｙ．Ｋｉｓｈｉｍｏｔｏ， Ｍ．Ｎｏｓｅ， Ｒ．Ｓａｉｔｏ ａｎｄ Ｈ．Ｋｏｔｅｒａ， ”Ｉｍｐｒｏｖｅｄ ｅｒｒｏｒ ｄｉｆｆｕｓｉｏｎ ｍｅｔｈｏｄ ｗｉｔｈ ＡＭ／ＦＭ ｐｅｒｉｏｄｉｃ ｎｏｉｓｅ”， Ｒｒｏｃ．ＩＳ＆Ｔ ｓＮＩＰ１５ ｐｐ ３６６−３６９ （１９９９））であり、量子化処理の前に、振幅・周波数変調の正弦波を入力画素値に重畳することでドットを矯正配置する。計算量も比較的少ない。
【０００９】
【発明が解決しようとする課題】
しかし、上述の従来技術では、次の問題がある。
【００１０】
第１の方法の双方向走査では、ドット低密度領域では量子化誤差の拡散方向が分散されるためにｗｏｒｍは軽減されるが、ドット高密度領域領域では量子化誤差の干渉によってｆｉｎｇｅｒｐｒｉｎｔは増幅してしまうという問題がある。
【００１１】
第２の方法の誤差フィルタ切替方式及び双方向走査を兼用したものでは、幾何学的テクスチャ（ｗｏｒｍ及びｆｉｎｇｅｒｐｒｉｎｔ）は軽減するが、ドット低密度領域において、網点のような均一な周期的ドットパターンを形成できず、ドットの粒状性が目立ち、色再現範囲は向上しない。
【００１２】
第３の方法の正弦波重畳方式では、単純に入力レベルの強さに応じて、正弦波を印加していたため、出力画像のエッジが不明瞭となり、濃淡の激しい画像では改善力に乏しいという問題がある。
【００１３】
また、以上の単独の技法ではｗｏｒｍ、ｆｉｎｇｅｒｐｒｉｎｔを同時に改善することは難しく、その一方それぞれので技法のむやみな併用では計算量が増大する一方になってしまう。
【００１４】
本発明の目的は、幾何学的テクスチャの防止だけでなく、粒状性の低下を防止するための画像処理方法、装置及び記憶媒体を提供することにある。
【００１５】
本発明の他の目的は、ドット密度の低い領域において、網点に近い粒状性の少ない画像をえるための画像処理方法、装置及び記憶媒体を提供するにある。
【００１６】
本発明の更に他の目的は、出力画像のエッジの不明瞭さを防止し、濃淡の激しい画像でも、誤差拡散の効果を発揮するための画像処理方法、装置及び記憶媒体を提供することにある。
【００１７】
【課題を解決するための手段】
この目的の達成のため、本発明の入力画像を誤差拡散法を用いてハーフトーン処理を行う画像処理方法は、注目画素値及び周辺画素値の平均値に従った振幅及び周波数のスクリーン関数値を算出するステップと、前記拡散された量子化誤差と、前記注目画素値と、前記スクリーン関数値とを加算するステップと、前記加算結果を、所定の諧調数で量子化するステップと、前記量子化による誤差から前記周辺画素の量子化誤差を算出するステップとを有する。
【００１８】
本発明の入力画像を誤差拡散法を用いてハーフトーン処理を行う画像処理装置は、前記入力画像を格納するメモリと、前記入力画像を前記ハーフトーン処理する処理部とを有し、前記処理部は、注目画素値及び周辺画素値の平均値に従った振幅及び周波数のスクリーン関数値と、前記拡散された量子化誤差と、前記注目画素値とを加算した後、前記加算結果を、所定の諧調数で量子化し、更に、前記量子化による誤差から前記周辺画素の量子化誤差を算出する。
【００１９】
本発明の入力画像を誤差拡散法を用いてハーフトーン処理を行うプログラムを格納するコンピュータ読み取り可能な記憶媒体のプログラムは、前記注目画素値及び周辺画素値の平均値に従った振幅及び周波数のスクリーン関数値を算出するプログラムと、前記拡散された量子化誤差と、前記注目画素値と、前記スクリーン関数値とを加算するプログラムと、前記加算結果を、所定の諧調数で量子化するプログラムと、前記量子化による誤差から前記周辺画素の量子化誤差を算出するプログラムとを有する。
【００２０】
本発明では、重畳する正弦波の振幅、周波数を、注目画素値と周辺画素値の平均値を用いて、変調している。平均値は、ドット密度の高低を示すため、ドット密度に応じた、振幅、周波数の正弦波を重畳できる。このため、諧調性を維持するため、誤差拡散しても、ドット密度の低い所では、網点のような均一で周期的なドットパターンを、ドット密度の高い所では、市松模様に近い高周波なドットパターンに、配置でき、視覚的により良好なハーフトーン画像が得られる。
【００２１】
本発明の画像処理方法では、前記スクリーン関数値を算出するステップは、前記注目画素値及び前記周辺画素値の平均値を算出するステップと、前記注目画素値と前記平均値との差分を算出するステップと、前記平均値と前記差分とにより、前記スクリーン関数の振幅を変調するステップを有することもできる。差分を用いているため、画像のエッジを検出して、正弦波の効果を低減することができ、エッジでのドットの強制配置を防止し、エッジを明瞭に保存できる。このため、濃淡の激しい画像でも、良好なハーフトーン画像を得ることができる。
【００２２】
本発明の画像処理方法では、前記スクリーン関数値を算出するステップは、前記スクリーン関数の水平方向の周期と、垂直方向の周期とを独立に制御するステップを有することもできる。水平方向と垂直方向とを独立に制御するため、正弦波が、２次元的に作用し、正弦波により、ドットの配置を、２次元で制御できる。このため、２次元平面で、より良好なハーフトーン画像が得られる。
【００２３】
本発明の画像処理方法では、前記スクリーン関数値を算出するステップは、各色の入力画像に対し、異なる前記スクリーン関数の初期位相を設定するステップを有することができる。カラー画像を取り扱った場合に、各色のドットが重ならないように、ドットを強制分散でき、各色のドットを比較的等間隔で、併置させることができる。これにより、ハーフトーン画像の空間周波数を高くでき、粒状性の減少をもたらし、且つ色域も拡大する。
【００２４】
本発明の画像処理方法では、前記入力画像を、双方向に走査して、前記注目画素値と、前記周辺画素値を読み出すステップを更に有し、前記周辺画素の量子化誤差を算出するステップは、複数の誤差フィルタから、前記注目画像値に応じて選択した誤差フィルタを用いて、前記量子化誤差を算出するステップを有することができる。この態様では、双方向走査と小サイズ誤差フィルタ切替方式を併用することで、計算量の増加を抑えて、幾何学的テクスチャの抑制を図ることができる。
【００２５】
【発明の実施の形態】
以下に、本発明を、画像処理、ＡＭ−ＦＭスクリーン関数の順で、図面を用いて説明する。
【００２６】
［画像処理］
図１は、本発明の一実施の態様のブロック図、図２は、その画像処理装置の機能ブロック図、図３は、双方向走査の説明図、図４は、画像処理装置の部分ブロック図である。
【００２７】
図１は、カラーインクジエットプリンタに適用した例を示しており、メモリ２０は、入力画像を、Ｃ（シアン），Ｍ（マゼンダ），Ｙ（イェロー）プレーンにそれぞれ０〜２５５の濃度値（０：黒、２５５：白）を持つフルカラー画像で格納する。画像処理ユニット２１は、ＭＰＵで構成され、Ｑ値化のハーフトーン処理を行うものとし、量子化閾値は一定間隔に取るものとする。例えば、２値化処理の場合には１２７．５レベルに閾値を取り、６値化処理の場合には、２５．５、７６．５、１２７．５、１７８．５、２２９．５の各々のレベルに閾値を取るものとする。
【００２８】
出力メモリ２２は、ハーフトーン処理された出力画像を、Ｃ，Ｍ，Ｙプレーンに格納する。カラーインクジエットヘッド２３は、出力画像に応じて、各色のインク滴を噴射し、図示しない印刷媒体に印刷を行う。ＭＰＵ２１は、各色の入力画像を、各色別に処理する。尚、メモリ２０，２１は、１つのメモリでも構成できる。
【００２９】
画像処理ユニット２１を、図２で説明する。図２において、１は入力画像を示す。２は入力画素値Ｉと誤差フィルタ６を通じて決定された量子化誤差Ｅを加算する加算回路、３は加算回路２で加算された値を量子化閾値によって量子化を行う量子化回路、４は量子化誤差を計算する減算回路、５は量子化誤差を記録する誤差バッファ、６は誤差の拡散割合を記録した誤差フィルタ、７は入力画像内の注目画素及び周辺画素の値を検出する濃度レベル検出回路、８は検出回路７からの値を元にＡＭ−ＦＭスクリーン関数（正弦波）を発生する回路、９は正弦波の周期を格納するバッファである。
【００３０】
この構成の動作を説明する前に、この実施の形態に用いられる双方向走査を、説明する。双方向走査とは、図３に示すように、走査方向を走査線毎に往復させる走査方法である。ドット低密度領域に発生するｗｏｒｍの発生原因は、量子化誤差の拡散方向がある一定方向に偏ってしまうことに主にあるが、この走査方法の導入によって、誤差の拡散方向の分散性が向上するので、ｗｏｒｍが軽減される。
【００３１】
しかし、双方向走査の導入は、副作用としてｆｉｎｇｅｒｐｒｉｎｔを増幅してしまう現象がしばしば見られる。そこで、図４に示す２種類の小サイズ誤差フィルタ６０，６１を誤差フィルタ６に設けている。小サイズ誤差フィルタ６０，６１を、図２の検出回路７から検出した値、つまり注目画像値の濃度レベルに応じて使い分けることによってｆｉｎｇｅｒｐｒｉｎｔの抑制を可能とする。
【００３２】
図４の誤差フィルタ６０はハイライト領域（低ドット密度領域）でのドットの均一性を高くする特性を有し、誤差フィルタ６１は中間調領域（高ドット密度領域）でドットの高周波性をもたらす特性を持つ。図４に示すように、ドットの低密度域とは、黒ドットの少ない（白ドットの多い）領域と、黒ドットの多い（白ドットの少ない）領域とを示し、誤差フィルタ６０が選択される。ドットの高密度域とは、その中間の領域を示し、画像変化の激しい領域である。ここでは、誤差フィルタ６１が選択される。
【００３３】
以上に示した双方向走査、小サイズ誤差フィルタ切替操作の２つの技法を併用することで、計算量の増大を最小限に抑えてｗｏｒｍ、ｆｉｎｇｅｒｐｒｉｎｔと言った幾何学的テクスチャを解消することができる。
【００３４】
更に、量子化処理の際に、図２の濃度レベル検出回路７から得られた値に依存した振幅と周波数を持つＡＭ−ＦＭスクリーン関数（正弦波）を発生回路８で計算し、その算出値を、量子化誤差と共に、加算回路２に重畳させる。このことで、出力画像のドット低密度領域でかなり網点に近似した粒状性の少ないドットパターンを得られる。
【００３５】
次に、図２の構成の動作を説明する。まず、走査方向を決定する。最初の走査方向は、通常のラスタ走査と同様、右方向でよい。次に、濃度レベル検出回路７で、入力画像の注目画素値及び周辺画素値の濃度レベルを検出する。その回路７から検出された注目画素値の濃度レベルに応じて、その画素値に対して使用する誤差フィルタ６０，６１（図２の６）を決定する。
【００３６】
その誤差フィルタに従い、誤差バッファ５で蓄えられた量子化誤差を回路６で重み付けして加算する。ここでまた、検出回路７で検出された注目画素値と、その近傍の周辺画素値８の平均濃度レベルＡｖｇを、図４の検出回路７のローパスフィルタ７０により、計算し、差分回路７１により、注目画素値Ｉと平均濃度レベルＡｖｇとの差分δを算出する。
【００３７】
そこで得られた平均濃度レベルＡｖｇと差分レベルδを元に、発生回路８でＡＭ−ＦＭスクリーン関数の振幅・周波数を算出し、重畳する濃度レベルを決定する。後述するように、図４において、振幅計算回路８０は、平均濃度レベルＡｖｇと差分レベルδとから、振幅を計算し、周波数計算回路８１は、平均濃度レベルＡｖｇから周波数を計算する。そして、関数計算回路８２は、振幅及び周波数から重畳する関数を計算する。
【００３８】
図２に戻り、注目画素値Ｉ（ｘ，ｙ）と，回路６からの量子化誤差と、回路８で算出されたＡＭ−ＦＭスクリーン関数値を、加算回路２で加算する。加算回路２で加算した値を、量子化回路３での閾値によって定められたレベルに量子化し、その値を出力画像の画素値とする。
【００３９】
回路２で決定した値から、回路３で決定された濃度レベルを、回路４で減算する。減算回路４で算出した値を、誤差バッファ５に記録する。この操作を終えたら注目画素値を右に１つずらし、以上の一連の操作を繰り返す。
【００４０】
以上の一連の操作をその主走査線の最後の画素まで繰り返したら、次に処理する走査線の走査方向は先ほどと反転させ（つまり右から左とし）、同様の操作を行う。この時には、操作方向が反対であるので、６での誤差フィルタ６０，６１の形状も左右反転させる。
【００４１】
［ＡＭ−ＦＭスクリーン関数］
このＡＭ−ＦＭスクリーン関数の振幅特性と周波数特性を以下に説明する。まず、図５乃至図１０により、ＡＭ−ＦＭスクリーン関数の振幅（以下Ａｍｐ）特性を説明する。振幅Ａｍｐは、検出回路７内のローパスフィルタ７０を用いて周辺９画素からの平均値（以下Ａｖｇ）を算出し、それを利用して制御する。そのＡＭ−ＦＭスクリーン関数はドット低密度領域で高振幅、ドット高密度領域で低振幅となるようにする。
【００４２】
ここで、図６（Ａ）に示すように、Ｑが「２」である、２値化の例で説明すると、平均値が、しきい値より大きい程、黒ドットが疎であり、ドット低密度領域と定義する。３×３のマトリックスでこの状態を、図５（Ａ）に示す。又、平均値が、閾値より小さい程、白ドットが疎であり、これもドット低密度領域と定義する。これは、図５（Ｃ）に示す。平均値が中間、即ち、しきい値近傍では、図５（Ｂ）に示すように、黒ドットと白ドットが混在する。これを、ドット高密度領域と定義する。４値化の場合には、図６（Ｂ）に示すようになる。
【００４３】
つまり、このＡＭ−ＦＭスクリーン関数の振幅はハイライト部（ドット低密度領域）のドットを矯正配置する強さを意味する。ここで、単純に入力レベルの強さに応じて正弦波の振幅を決定すると、出力画像のエッジが不明瞭になる副作用も見られる。そこで、注目画素値とローパスフィルタの算出値との差分δを導入し、その差分も正弦波の振幅パラメータとする。このように振幅制御することによって、エッジが明瞭に保たれ、ドット分散性もより安定したものとなる。
【００４４】
振幅Ａｍｐを式で表すと以下のようになる。
【００４５】
Ａｍｐ＝Ｃ（定数）・（ｍｏｄ（Ａｖｇ， ２５５／（Ｑ−１））−２５５／２（Ｑ−１））γ／（δ４＋１） （１）
ここで、ｍｏｄ（ａ，ｂ）はａをｂで割った余りを示す。
【００４６】
この振幅式は、ＡｍｐはＱ値化処理において、ドット低密度となる領域で高い値を取り、ドット高密度領域で低い値を取る一般式を示しており、１つの式で容易に制御できる。
【００４７】
この式の意味を、図７乃至図１０により、説明する。図７（Ａ）は、２値化（即ち、Ｑ＝２）の時の平均値Ａｖｇと、余りｍｏｄとの関係を示す。次に、図８（Ａ）は、平均値Ａｖｇとｍｏｄ（Ａｖｇ， ２５５／（Ｑ−１））−２５５／２（Ｑ−１）を示す。更に、べき乗した場合には、図９（Ａ）のように、平均値Ａｖｇとべき乗値（ｍｏｄ（Ａｖｇ， ２５５／（Ｑ−１））−２５５／２（Ｑ−１））γの関係となる。したがって、平均値（以下Ａｖｇ）から、ドット低密度領域で高振幅、ドット高密度領域で低振幅となる振幅が得られる。更に、式（１）では、べき乗値を、差分δに比例する（δ４＋１）で割っている。図１０に示すように、濃淡変動の少ない部分では、δは、小さいため、式（１）の振幅Ａｍｐは、大きい。即ち、正弦波が強く作用し、ドット分散の作用を強く発揮する。一方、濃淡の多い部分では、差分δは、大きくなり、式（１）の振幅Ａｍｐは、小さくなる。これにより、ＡＭ−ＦＭスクリーン関数の付加により、エッジがなまることを防止でき、よりドット配置を均一にできる。
【００４８】
図７（Ｂ）は、４値化（即ち、Ｑ＝４）の時の平均値Ａｖｇと、余りｍｏｄとの関係を示す。次に、図８（Ｂ）は、平均値Ａｖｇとｍｏｄ（Ａｖｇ， ２５５／（Ｑ−１））−２５５／２（Ｑ−１）を示す。更に、べき乗した場合には、図９（Ｂ）のように、平均値Ａｖｇとべき乗値（ｍｏｄ（Ａｖｇ， ２５５／（Ｑ−１））−２５５／２（Ｑ−１））γ 関係となる。したがって、同様に、平均値（以下Ａｖｇ）から、ドット低密度領域で高振幅、ドット高密度領域で低振幅となる振幅が得られる。更に、式（１）では、べき乗値を、差分δに比例する（δ４＋１）で割っている。図１０に示すように、濃淡変動の少ない部分では、δは、小さいため、式（１）の振幅Ａｍｐは、大きい。即ち、正弦波が強く作用し、ドット分散の作用を強く発揮する。一方、濃淡の多い部分では、差分δは、大きくなり、式（１）の振幅Ａｍｐは、小さくなる。
【００４９】
次に、ＡＭ−ＦＭスクリーン関数の周波数Ｆｒｑを図１１乃至図１４により説明する。周波数も検出回路７から得られた入力画素値に依存させる。それは、その注目画素値における理想ドット間隔と強い相関を持たせる。図１１に示すように、例えば、１６×１６画素で、均一な濃度レベル２４７とし、この入力値を誤差拡散により２値化処理する場合を例にする。誤差拡散により、黒ドットは２５６画素中に８つある計算となる。
【００５０】
１次元で考えると、２５６画素中に８つと言うことは、３２画素辺りに１個の割合で黒ドットの出現率となる。これを２次元に拡張して考えると、平方根を取ればいい訳で、平均√３２＝４√２画素間隔で黒ドットが並ぶことになり、これが２次元空間における黒ドットの理想間隔と考えられる。
【００５１】
更に、ここで、人間の視覚特性では４５°のドット配置が快適であることを考慮して、そのようにドットを配置させることを意図すると、水平方向、垂直方向のドット間隔は４√２×√１／２×２＝８となり、８画素おきに黒ドットが配置されればいいことになる。
【００５２】
つまり、レベル２４７においては、ＡＭ−ＦＭスクリーン関数の周期（１／Ｆｒｑ）は２π／８＝π／４となり、量子化処理の際に、この周期に準じて黒ドットをトラップするイメージとなる。また、ハイライト部は白い背景に黒ドットが分散されるので、黒ドットの制御を中心に、シャドウ部は黒い背景に白いドットが分散されるので、白ドットの制御を中心に考えるべきである。
【００５３】
従って、Ｃ言語プログラムで一般式で示せば、以下のように入力画素値に応じて周波数を使い分ける。
【００５４】
ここで、ＡＭ−ＦＭスクリーン関数の周期を２次元で考える。水平方向の周期をｃｘ（＝１／Ｆｒｑｘ）、垂直方向の周期をｃｙ（＝１／Ｆｒｑｙ）とすると、ＡＭ−ＦＭスクリーン関数（ＡＦ（ｘ，ｙ））の概形は、以下のようになる。
【００５５】
ＡＦ（ｘ，ｙ）＝Ａｍｐ・ｓｉｎ（ｃｘ＋ｃｙ＋σ） （σ：初期位相） （４）
従って、ＡＭ−ＦＭスクリーン関数は、ドットの低密度領域では高振幅・低周波数、ドットの高密度領域では低振幅・高周波数となることを示している。ここで、ｃｘ のみを誤差拡散処理と同時に１画素単位にインクリメントすると、図１３に示すように、ＡＦ（ｘ，ｙ）は１次元での振動となり、主走査方向には、変化する。
【００５６】
しかし、そのままでは、垂直方向の正弦波の成分がばらつく。このため、２次元性を持たせるとよい。このためには、ｃｙもインクリメントさせる必要がある。しかし、ｃｘ、ｃｙを同時にインクリメントするとＡＦ（ｘ，ｙ）は意図する波形ではなくなってしまう。
そこで、上手くＡＭ−ＦＭスクリーン関数を２次元空間で制御するために、水平インクリメントと垂直インクリメントを交互にスイッチさせることにより、擬似的に２次元性を持たせる。
【００５７】
即ち、図１３に示すよう、そのスイッチ条件は、一定画素間隔でのスイッチと、垂直方向の画像のエッジのあるときのスイッチである。従って、これらの条件にあてはまる時は、正弦波の進行をリセットし、ｃｙをインクリメントして、垂直方向に、正弦波を進行させる。このスイッチ処理を行うために、図２のメモリ回路９に記録した１ライン前の走査線の正弦波の周期を用いる。
【００５８】
この２つのスイッチ条件によって、ＡＭ−ＦＭスクリーン関数は画像の濃淡変動に応じて２次元的に振る舞う。図１４に示すように、ＡＭ−ＦＭスクリーン関数は、ドットの低密度領域では高振幅・低周波数、ドットの高密度領域では低振幅・高周波数となることを示している。
【００５９】
図１５は、これらの制御を行うための本発明の一実施の形態のハーフトーン処理フロー図である。
【００６０】
（Ｓ１）注目画素のアドレスｘ，ｙを「１」に初期化する。また、スクリーン関数の周期ｃｘ，ｃｙを「０」に初期化する。
【００６１】
（Ｓ２）ｙが垂直画素数以下かを判定する。ｙが垂直画素数を越えていると、この処理を終了する。
【００６２】
（Ｓ３）ｘが水平画素数以下かを判定する。ｘが水平画素数を越えていると、ステップＳ１１に進む。
【００６３】
（Ｓ４）前述の式（１）から振幅Ａｍｐを計算し、式（２）、（３）から周波数ｆｒｅｑを計算する。
【００６４】
（Ｓ５）前述の垂直方向のスイッチ条件を判定するため、ｍｏｄ（ｘ，ｃ１）を計算し、計算値が「０」かを判定する。ｃ１は、前述の水平方向の一定間隔である。又、差分δが「０」かを判定する。
【００６５】
（Ｓ６）いずれも、「０」でない場合は、スイッチしないため、式（４）の周期ｃｘに、π／ｆｒｅｑを加算する。
【００６６】
（Ｓ７）いずれかが「０」である場合は、前述のスイッチ条件を満たすため、垂直方向にスイッチする。即ち、ｃｘを「０」にし、水平方向の進行を止め、ｃｙに１走査前の正弦波の周期ｒｉｒｅｋｉ（ｘ）をセットする。
【００６７】
（Ｓ８）次に、式（４）により、ＡＭ−ＦＭスクリーン関数値を計算し、注目画素値Ｉに、周辺画素からの量子化誤差Ｅと共に加える。その後、量子化処理を行い、出力Ｏを計算する。
【００６８】
（Ｓ９）その時に生じた量子化誤差Ｅを算出し、誤差バッファに記録する。更に、周期ｒｉｒｅｋｉ（ｘ）に、π／ｆｒｅｑを格納する。
【００６９】
（Ｓ１０）ｘをインクリメントして、ステップＳ３に戻る。
【００７０】
（Ｓ１１）ｙをインクリメントして、ステップＳ２に戻る。９ｗｏ・？
以上の逐次処理での誤差拡散とＡＭ−ＦＭスクリーン関数の作用によって、出力画像のドットパターンを良好に制御することが可能となる。
【００７１】
更に、カラー画像の場合には、Ｃ，Ｍ，Ｙ各プレーンにおける正弦波の初期位相（式４のσ）を、図１６のように、異なる値σ１、σ２、σ３にすることで、Ｃ，Ｍ，Ｙの１次色ドットを比較的等間隔で併置させることが可能となる。図１７に示すように、Ｃ，Ｍ，Ｙドットを併置させることで、ハーフトーン画像の空間周波数成分も高まり、結果的に粒状性の減少をもたらし、ドット併置混色によって色域も拡大する。
【００７２】
次に、実施例を説明する。図１８は、比較例であるＦｌｏｙｄの誤差拡散法による出力パターン図であり、図１９は、比較例である双方向走査と誤差フィルタ切替とを併用した場合の出力パターン図であり、図２０は、本発明により、図１９の場合に、ＡＭ−ＦＭスクリーン関数を加えた場合の出力パターン図である。図１９の比較例では、図１８の比較例と比べ、図１８の左側に見られるｗｏｒｍ、右側に見られるｆｉｎｇｅｒｐｒｉｎｔ共々、軽減されていることが窺える。更に、図２０の本発明による出力画像は、図１９の比較例で選られたドットパターンよりも更にドット低密度領域でかなり網点に近似した粒状性の少ないドットパターンを得られていることが窺える。
【００７３】
以上、本発明を実施例により、説明したが、本発明の趣旨の範囲内において、種種の変形が可能であり、これらを、本発明の範囲から排除するものではない。
【００７４】
【発明の効果】
本発明では、重畳する正弦波の振幅、周波数を、注目画素値と周辺画素値の平均値を用いて、変調している。平均値は、ドット密度の高低を示すため、ドット密度に応じた、振幅、周波数の正弦波を重畳できる。このため、諧調性を維持するため、誤差拡散しても、ドット密度の低い所では、網点のような均一で周期的なドットパターンを、ドット密度の高い所では、市松模様に近い高周波なドットパターンに、配置でき、視覚的により良好なハーフトーン画像が得られる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の画像処理装置のブロック図である。
【図２】図１の画像処理ユニットの機能ブロック図である。
【図３】図２の双方向走査の説明図である。
【図４】図２の要部ブロック図である。
【図５】本発明のドット密度の説明図である。
【図６】平均値とドット密度の関係図である。
【図７】ＡＭ−ＦＭスクリーン関数の振幅計算の説明図である。
【図８】ＡＭ−ＦＭスクリーン関数の振幅計算の動作図である。
【図９】ＡＭ−ＦＭスクリーン関数の振幅制御の説明図である。
【図１０】ＡＭ−ＦＭスクリーン関数の振幅制御の動作図である。
【図１１】ＡＭ−ＦＭスクリーン関数の周波数計算の説明図である。
【図１２】ＡＭ−ＦＭスクリーン関数の周波数計算の動作図である。
【図１３】ＡＭ−ＦＭスクリーン関数の２次元制御の説明図である。
【図１４】ＡＭ−ＦＭスクリーン関数の振幅・周波数制御の動作図である。
【図１５】本発明の一実施の形態の画像処理フロー図である。
【図１６】本発明の一実施の形態のカラー画像処理の説明図である。
【図１７】図１６のカラー画像処理の説明図である。
【図１８】比較例の出力パターン図である。
【図１９】他の比較例の出力パターン図である。
【図２０】本発明の実施例による出力パターン図である。
【符号の説明】
１ フルカラー入力画像
２ 加算回路
３ 量子化回路
４ 減算回路
５ 誤差バッファ
６ 誤差フィルタ
７ 濃度レベル検出回路
８ ＡＭ・ＦＭ正弦波回路
９ 正弦波記録バッファ
１０ 出力画像
Claims (7)
- 入力画像を誤差拡散法を用いてハーフトーン処理を行う画像処理方法において、
注目画素値及び周辺画素値の平均値に従った振幅及び周波数のスクリーン関数値を算出するステップと、
前記拡散された量子化誤差と、前記注目画素値と、前記スクリーン関数値とを加算するステップと、
前記加算結果を、所定の諧調数で量子化するステップと、
前記量子化による誤差から前記周辺画素の量子化誤差を算出するステップとを有することを
特徴とする画像処理方法。 - 請求項１の画像処理方法において、
前記スクリーン関数値を算出するステップは、
前記注目画素値及び前記周辺画素値の平均値を算出するステップと、
前記注目画素値と前記平均値との差分を算出するステップと、
前記平均値と前記差分とにより、前記スクリーン関数の振幅を変調するステップを有することを
特徴とする画像処理方法。 - 請求項１の画像処理方法において、
前記スクリーン関数値を算出するステップは、
前記スクリーン関数の水平方向の周期と、垂直方向の周期とを独立に制御するステップを有することを
特徴とする画像処理方法。 - 請求項１の画像処理方法において、
前記スクリーン関数値を算出するステップは、
各色の入力画像に対し、異なる前記スクリーン関数の初期位相を設定するステップを有することを
特徴とする画像処理方法。 - 請求項１の画像処理方法において、
前記入力画像を、双方向に走査して、前記注目画素値と、前記周辺画素値を読み出すステップを更に有し、
前記周辺画素の量子化誤差を算出するステップは、
複数の誤差フィルタから、前記注目画素値に応じた誤差フィルタを用いて、前記量子化誤差を算出するステップを有することを
特徴とする画像処理方法。 - 入力画像を誤差拡散法を用いてハーフトーン処理を行う画像処理装置において、
前記入力画像を格納するメモリと、
前記入力画像を前記ハーフトーン処理する処理部とを有し、
前記処理部は、
注目画素値及び周辺画素値の平均値に従った振幅及び周波数のスクリーン関数値と、前記拡散された量子化誤差と、前記注目画素値とを加算した後、前記加算結果を、所定の諧調数で量子化し、更に、前記量子化による誤差から前記周辺画素の量子化誤差を算出することを
特徴とする画像処理装置。 - 入力画像を誤差拡散法を用いてハーフトーン処理を行うプログラムを格納する記憶媒体であって、
前記プログラムは、
前記注目画素値及び周辺画素値の平均値に従った振幅及び周波数のスクリーン関数値を算出するプログラムと、
前記拡散された量子化誤差と、前記注目画素値と、前記スクリーン関数値とを加算するプログラムと、
前記加算結果を、所定の諧調数で量子化するプログラムと、
前記量子化による誤差から前記周辺画素の量子化誤差を算出するプログラムとを有することを
特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000067562A JP3583048B2 (ja) | 2000-03-10 | 2000-03-10 | 画像処理方法、その装置及びその記憶媒体 |
| US09/736,317 US6956675B2 (en) | 2000-03-10 | 2000-12-15 | Method, processor and program for error diffusion modified with AM-FM sine wave |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000067562A JP3583048B2 (ja) | 2000-03-10 | 2000-03-10 | 画像処理方法、その装置及びその記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001257880A JP2001257880A (ja) | 2001-09-21 |
| JP3583048B2 true JP3583048B2 (ja) | 2004-10-27 |
Family
ID=18586732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000067562A Expired - Fee Related JP3583048B2 (ja) | 2000-03-10 | 2000-03-10 | 画像処理方法、その装置及びその記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6956675B2 (ja) |
| JP (1) | JP3583048B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002077614A (ja) * | 2000-08-25 | 2002-03-15 | Seiko Epson Corp | 黒基準データ算出方法および画像読み取り装置 |
| US6917446B2 (en) * | 2000-09-21 | 2005-07-12 | Kyocera Mita Corporation | Image processing apparatus and image processing method |
| JP3647405B2 (ja) * | 2001-09-26 | 2005-05-11 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP2003338928A (ja) | 2002-05-21 | 2003-11-28 | Nec Corp | 画像信号の誤差拡散処理回路 |
| US7333243B2 (en) * | 2003-12-17 | 2008-02-19 | Lexmark International, Inc | Calculating error diffusion errors to minimize memory accesses |
| CN1326384C (zh) * | 2005-04-07 | 2007-07-11 | 北京北大方正电子有限公司 | 一种产生调频网点的方法和装置 |
| US7826096B2 (en) * | 2005-09-16 | 2010-11-02 | Fujifilm Corporation | Image processing method and image recording apparatus |
| US7637585B2 (en) * | 2007-06-05 | 2009-12-29 | Hewlett-Packard Development Company, L.P. | Halftone printing on an inkjet printer |
| JP4506847B2 (ja) * | 2008-02-08 | 2010-07-21 | ソニー株式会社 | 階調変調装置、画像処理装置、画像処理方法およびプログラム |
| JP2010000726A (ja) * | 2008-06-20 | 2010-01-07 | Canon Inc | 画像処理装置、記録装置、及び画像処理方法 |
| CN108377391B (zh) * | 2013-05-08 | 2019-05-31 | 雅居乐雅生活服务股份有限公司 | 一种以值域中值对称的变换域系数量化装置 |
| US10657873B2 (en) * | 2017-01-12 | 2020-05-19 | Synaptics Japan Gk | System and method for subpixel rendering and display driver |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3302223B2 (ja) * | 1995-07-07 | 2002-07-15 | キヤノン株式会社 | 画像処理装置 |
| JP3304240B2 (ja) | 1995-08-25 | 2002-07-22 | ブラザー工業株式会社 | 画像処理装置 |
| US5822464A (en) * | 1996-05-30 | 1998-10-13 | Xerox Corporation | Method and system for processing image information using video dependent dampened screening and error diffusion |
| US6449061B2 (en) * | 1997-09-23 | 2002-09-10 | Xerox Corporation | System and method for providing dynamic noise profile selection for hybrid and error diffusion image processing |
-
2000
- 2000-03-10 JP JP2000067562A patent/JP3583048B2/ja not_active Expired - Fee Related
- 2000-12-15 US US09/736,317 patent/US6956675B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6956675B2 (en) | 2005-10-18 |
| JP2001257880A (ja) | 2001-09-21 |
| US20010021275A1 (en) | 2001-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3583048B2 (ja) | 画像処理方法、その装置及びその記憶媒体 | |
| US5798846A (en) | Apparatus and method for selectively processing a scanned image | |
| US8390887B2 (en) | Method, apparatus and computer program for adaptive compensation of a MTF | |
| JP2004015322A (ja) | 画像処理装置及び画像処理方法並びにコンピュータプログラム | |
| EP1956824B1 (en) | Threshold matrix generation method and threshold matrix generating apparatus | |
| Lee et al. | Inkjet printer model-based halftoning | |
| US8482792B2 (en) | Image forming apparatus and control method thereof | |
| EP1366618B1 (en) | Error diffusion with partial dots method and system | |
| US20110298857A1 (en) | Image Processing Apparatus And Program | |
| CA2568500C (en) | Methods and apparatus for generating dither mask through interpolation between preferred patterns | |
| US7292728B1 (en) | Block quantization method for color halftoning | |
| US6678073B1 (en) | Error diffusion method and apparatus | |
| JP7242272B2 (ja) | ディザマトリクスの生成装置、生成方法、当該ディザマトリクスを用いた画像処理装置、画像処理方法、及びプログラム | |
| JP5596913B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2001052157A (ja) | 画像処理装置および画像処理方法 | |
| JP2020015303A (ja) | 画像処理装置及びその制御方法及びプログラム | |
| Gooran | A Comprehensive Halftone Image Quality Evaluation of First-and Second-order FM Halftones. | |
| Pappas | Digital halftoning techniques for printing | |
| US20040218220A1 (en) | Enhanced error diffusion | |
| JPH11252388A (ja) | カラー画像処理方法及び装置 | |
| Zhou et al. | A variable printer model in tone-dependent error diffusion halftone | |
| JPH11225273A (ja) | 画像処理方法および画像処理装置 | |
| Kim et al. | Halftoning method using dispersed CMY dithering and blue noise mask | |
| JP2005072748A (ja) | 印刷のためのエッジ処理 | |
| JP4222187B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040727 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040727 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080806 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100806 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110806 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120806 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120806 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |