JP6541215B2 - Image processing apparatus and method - Google Patents

Image processing apparatus and method Download PDF

Info

Publication number
JP6541215B2
JP6541215B2 JP2015040816A JP2015040816A JP6541215B2 JP 6541215 B2 JP6541215 B2 JP 6541215B2 JP 2015040816 A JP2015040816 A JP 2015040816A JP 2015040816 A JP2015040816 A JP 2015040816A JP 6541215 B2 JP6541215 B2 JP 6541215B2
Authority
JP
Japan
Prior art keywords
filter
max
value
frequency
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015040816A
Other languages
Japanese (ja)
Other versions
JP2016163197A (en
Inventor
河村尚登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawamura Naoto
Original Assignee
Kawamura Naoto
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawamura Naoto filed Critical Kawamura Naoto
Priority to JP2015040816A priority Critical patent/JP6541215B2/en
Publication of JP2016163197A publication Critical patent/JP2016163197A/en
Application granted granted Critical
Publication of JP6541215B2 publication Critical patent/JP6541215B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は,複写機やMFP(Multi-Functional Printer),オフィス用プリンタ等の電子写真ベースのデジタルプリンティングにおいて,モアレのない高画質な出力するためのハーフトーンスクリーンの生成方法およびその画像処理装置に関するものである。
The present invention relates to a method of generating a halftone screen for high-quality image output without moiré, and an image processing apparatus thereof, in electrophotographic-based digital printing such as copiers, MFPs (Multi-Functional Printers), office printers, etc. It is a thing.

電子写真をベースとした記録装置は,電子写真プロセスの非線型特性により,記録画像の空間周波数の変動に対して弱いという特徴がある。これは,感光ドラム表面上に静電的に一様帯電された表層を,レーザスポット等の有限の広がりを持った光ビーム走査により感光ドラムの電荷を除電する露光過程で高周波低減作用や非線型性特性があることや,現像,転写,定着等の電子写真プロセスの複雑さによって生じる。例えば,微小1ドットの印字は記録されにくく,数ドットのクラスター状態になって始めて記録される。また微小間隔離れたドットは,その間隔の大小によりトナーの移動によりくっついたり離れたりする。これに対し,インクジェット記録のように,インク滴が紙上に付着して記録されるプロセスでは,インクとメディア(紙)とのミクロ現象はあるものの,印字ドット間の干渉現象は比較的生じにくく,吐出されたインクは確実に紙上に記録される。 A recording apparatus based on electrophotography is characterized by being non-linear to the fluctuation of the spatial frequency of the recorded image due to the non-linear characteristic of the electrophotographic process. This is because the surface of the photosensitive drum surface is electrostatically uniformly charged, and the exposure process for removing the charge of the photosensitive drum by light beam scanning with a finite spread such as a laser spot, etc. It is caused by the presence of sexual characteristics and the complexity of the electrophotographic process such as development, transfer and fixing. For example, it is difficult to print small one-dot printing, and printing is only performed in a cluster state of several dots. Also, the dots that are slightly apart from one another are stuck or separated by the movement of the toner depending on the size of the intervals. On the other hand, in the process in which ink droplets adhere to paper and recorded like ink jet recording, although there is a micro phenomenon between the ink and the media (paper), the interference phenomenon between the printing dots is relatively difficult to occur, The ejected ink is reliably recorded on the paper.

このような現象のため,電子写真記録をベースとした画像形成において階調性を再現するには,網点をベースとしたハーフトーン形成法が中心となっている。すなわち網点表現では,基本空間周波数が固定されるため,ドット形状が空間周波数の変動を受けず安定した出力が得られる。網点ドットの線数をN線/インチとするとそのピッチPは25.4/N mmとなり,基本空間周波数は1/(2P)=N/ (2×25.4) となり,一定の基本空間周波数を保持し,電子写真記録装置では,この空間周波数を常に安定化するように設計されておれば安定した画像再現が得られる。例えば1200dpi の印字装置で200線/インチのハーフトーンスクリーンを形成するには4cycle/mmの空間周波数応答特性が基本周波数となり,この周波数を安定させることにより,装置全体の応答特性が向上する。 Because of this phenomenon, halftone dot-based halftoning is the main way to reproduce tone in image formation based on electrophotographic recording. That is, in the dot representation, since the basic spatial frequency is fixed, the dot shape is not affected by the variation of the spatial frequency, and a stable output can be obtained. Assuming that the dot number of the dot is N lines / inch, the pitch P is 25.4 / N mm, and the basic spatial frequency is 1 / (2P) = N / (2 × 25.4), and the constant basic spatial frequency is maintained. In an electrophotographic recording apparatus, stable image reproduction can be obtained if it is designed to always stabilize the spatial frequency. For example, in order to form a halftone screen of 200 lines / inch with a printing apparatus of 1200 dpi, the spatial frequency response characteristic of 4 cycles / mm becomes the fundamental frequency, and by stabilizing this frequency, the response characteristic of the entire apparatus is improved.

これら網点方式によるAM変調方式は安定的な出力が得られる反面,カラー印刷においては,C,M,Y,K各色トナーの色重ねによるモアレ現象が出やすい。これを避けるため,一般に印刷技術ではスクリーン角を色毎に変え,色間で生じるモアレビートの周波数を高周波側に追いやり,視覚的に問題にならないように設定する。例えば30°を中心に,0°と60°のスクリーン角を各色の網点ドットに与え,色の重なりによるモアレの発生を抑制している。このように,スクリーン角を各色毎に異なるようにすることにより,上記モアレの発生を減少させることができる。 On the other hand, while the AM modulation system by the dot system can obtain stable output, in color printing, a moiré phenomenon is likely to occur due to color overlapping of C, M, Y, K color toners. In order to avoid this, in general, in the printing technology, the screen angle is changed for each color, and the frequency of the moire beat generated between the colors is set to a high frequency side so as not to be a problem visually. For example, screen angles of 0 ° and 60 ° are given to halftone dots of each color centered on 30 °, thereby suppressing the occurrence of moiré due to color overlap. By thus making the screen angles different for each color, it is possible to reduce the occurrence of the moiré.

しかしながら,いくらスクリーン角を導入し最適化してモアレを抑圧しても,本来生じるべきビート周波数を高周波数側に追いやっただけで,色間の重なりによって生じる独特のパターンが残る。これがいわゆるロゼッタパターンといわれるもので,高画質な出力を得るときの障害になる。特に高画質な写真調出力を目指す場合,目標とする画質は銀塩プロセスでの写真のように滑らかな画質再現が必要とされる。ロゼッタパターンはこの場合大きな問題になる。 However, no matter how much screen angle is introduced and optimization is performed to suppress moiré, only by shifting the beat frequency to be generated to the high frequency side, a unique pattern caused by the overlap between colors remains. This is the so-called Rosetta pattern, which is an obstacle to obtaining high quality output. In particular, when aiming at high-quality photo output, the target image quality requires smooth image quality reproduction like photographs in a silver salt process. The Rosetta pattern is a big problem in this case.

そこで,モアレやロゼッタパターンを回避するアプローチとして,階調再現方法を誤差拡散法やブルーノイズマスク法によるFM ハーフトーンスクリーンによる手法がある。 Therefore, as an approach to avoid moiré and rosette patterns, there is a method of tone reproduction using an FM halftone screen by an error diffusion method or a blue noise mask method.

ブルーノイズマスク(Blue Noise Mask)法は,ストカスティックスクリーン(Stochastic Screen)とも呼ばれ,disperse型のFMスクリーンを形成し,比較的大きなディザ閾値マトリックスを用いて低周波域を低減させた分散性の良い高周波応答特性を示す。このため,デジタル印刷でのハーフトーンスクリーン,あるいはインクジェット方式や熱転写方式のプリンタで広く用いられている。 The Blue Noise Mask method, also referred to as the Stochastic Screen, forms a disperse-type FM screen, and has low dispersivity reduced using a relatively large dither threshold matrix. It exhibits good high frequency response characteristics. For this reason, it is widely used in halftone screens in digital printing, or printers of the ink jet system and the thermal transfer system.

しかしながら,これらのdisperse型のFMスクリーンは,印字ドットの空間周波数分布が高周波側まで伸び,かつ,印字ドットのドット間隔が階調レベルにより変化する。例えば,画像濃度値が高くなるにつれ,各印字ドット間の距離が徐々に縮まっていく。例えば中間の濃度ではランダムな市松模様の様になり,空間周波数特性は高空間周波数にシフトし印字装置の周波数特性の影響を受けやすい。電子写真記録方式では,前述のように空間周波数変動の影響を受けやすいため,このようなFM変調方式は使えないのが現状である。 However, in these disperse type FM screens, the spatial frequency distribution of the printing dots extends to the high frequency side, and the dot spacing of the printing dots changes according to the gradation level. For example, as the image density value increases, the distance between the print dots gradually decreases. For example, at an intermediate density, it looks like a random checkerboard pattern, and the spatial frequency characteristic is shifted to a high spatial frequency and is susceptible to the frequency characteristic of the printing apparatus. Since the electrophotographic recording method is susceptible to spatial frequency fluctuation as described above, such an FM modulation method can not be used at present.

そこで,空間周波数特性を低周波数側にシフトしたクラスター型のFMスクリーンとして,種々の方法が提案されている。この方式は,プリンタエンジンのMTF特性に合わせることができ,安定した高精細中間調画像が出力できる。 Therefore, various methods have been proposed as a cluster-type FM screen in which spatial frequency characteristics are shifted to the low frequency side. This method can be matched to the MTF characteristics of the printer engine, and can output stable high-definition halftone images.

かかるクラスター型のFMスクリーンの生成としては,出力信号フィードバックによる誤差拡散法やVACS法等が提案されている。これらは高画質なFMスクリーンを得ることができるが,演算負荷が大きく高速な処理のためには専用ハードウェアが必要である。 As generation of such a cluster type FM screen, an error diffusion method by the output signal feedback, a VACS method, etc. are proposed. Although these can obtain high-quality FM screens, they require special-purpose hardware for high-speed processing with a large computational load.

また,Voronoi多角形を形成しディザマトリックスを作成する方法によりディザ閾値を求める方法も提案されている。この方法は分散性の良い高画質が得られるが,クラスターサイズの制御が簡単にはできない。 There is also proposed a method of determining a dither threshold by forming a Voronoi polygon and creating a dither matrix. Although this method can provide well-distributed and high quality images, it is not easy to control cluster size.

一方,Green-noise maskと呼ばれるディザマスクによる方法が報告されている。この方法は,ブルーノイズマスク法と同様,周波数空間でのフィルタ操作によりディザマスクが作成される。マスクの作成方法は前者の方法よりはシンプルで容易であるが,フィルタ形状に敏感な為,高画質な出力を示すマスクは得られていない。特に,明暗部でのドットの異方性と粗さが目立ち,高品質の画像出力を行うことができず,高級印刷には向かなかった。 On the other hand, a method using a dither mask called Green-noise mask has been reported. In this method, as in the blue noise mask method, the dither mask is created by the filter operation in the frequency space. The method of making a mask is simpler and easier than the former method, but because it is sensitive to the filter shape, a mask showing high quality output has not been obtained. In particular, the anisotropy and the roughness of the dots in the light and dark areas are noticeable, so that high quality image output can not be performed and it is not suitable for high-quality printing.

T. Mista and K. J. Parker; ”Digital halftoning technique using a blue noise mask”, J. Opt. Soc. Am. A/Vol. 9, No. 11, pp.1920-1929 (1992)."Digital halftoning technique using a blue noise mask", J. Opt. Soc. Am. A / Vol. 9, No. 11, pp. 1920-1929 (1992). P. Li and J.P.Allebach: “Clustered-minority-pixel error diffusion”, J. Opt. Soc. Am. A/Vol. 21, No. 7, pp.1148-1160 (2004).P. Li and J. P. Allebach: "Clustered-minority-pixel error diffusion", J. Opt. Soc. Am. A / Vol. 21, No. 7, pp. 1148-1160 (2004). 河村尚登:“可変クラスターハーフトーニング技術の開発”,画像電子学会誌,Vol.38, No.5, pp.735-745 (2009)Kawamoto Naoto: "Development of Variable Cluster Halftoning Technology", Journal of the Institute of Image Electronics, Vol.38, No.5, pp.735-745 (2009) 浅井浩;“非周期的クラスター型カラーハーフトーンスクリーン”, 画像電子学会誌, Vol.35, No.5, pp.566-575 (2006)Asai Hiroshi; "Non-periodically clustered color halftone screen", Journal of Image Electronics Society, Vol. 35, No. 5, pp. 566-575 (2006) D.Lau, G.R.Arce and N. C. Gallagher; “Digital Halftoning by means of green-noise masks”, J. Opt. Soc. Am, Vol.16, No.7/July, pp.1575-1586(1999).D. Lau, G. R. Arce and N. C. Gallagher; "Digital Halftoning by means of green-noise masks", J. Opt. Soc. Am, Vol. 16, No. 7 / July, pp. 1575-1586 (1999).

このため,電子写真方式のプリンタなどで安定した出力を行うため,プリンタエンジンの応答特性に合わせた,高画質なハーフトーニングを,高速で且つ演算負荷の少ない簡易な方法で得ることが課題である。 Therefore, in order to perform stable output with an electrophotographic printer or the like, it is an issue to obtain high-quality halftoning in accordance with the response characteristics of the printer engine by a high-speed, simple method with a small calculation load. .

本発明は,かかる課題を解決し,電子写真方式のプリンタなどで安定した出力を高速にできるようにしたものである。すなわち,電子写真法で最も安定して記録可能な周波数にマッチするように,記録ディザパターンの周波数特性をプリンタエンジンに最適な空間周波数に合わせルことができる。 The present invention solves this problem and enables stable output at high speed with an electrophotographic printer or the like. That is, the frequency characteristic of the recording dither pattern can be matched to the spatial frequency optimum for the printer engine so as to match the frequency which can be recorded most stably in the electrophotographic method.

また,本発明は,ディザ方式で二値化するため,演算処理は非常に簡単であり,高速出力が可能である。ディザの閾値マトリックスは,プリンタエンジンに最適な記録周波数にマッチさせるため,周波数特性が高周波数側と低周波数側で低下したバンド特性を有す,いわゆるグリーンノイズ特性を示す。その結果,電子写真方式のプリンタの最も得意とする周波数で,高画質で安定したハーフトーン画像を高速に出力できるようになったものである。 In addition, since the present invention binarizes in the dither system, the arithmetic processing is very simple and high-speed output is possible. The threshold matrix of the dither exhibits so-called green noise characteristics in which the frequency characteristics have band characteristics lowered on the high frequency side and the low frequency side in order to match the recording frequency optimum for the printer engine. As a result, it is possible to output a high quality and stable halftone image at high speed at a frequency that is the best at electrophotographic printers.

このため,本発明は以下の2つの工程からなるディザマトリックスを決定する手段を備える。
1.まず,中間濃度の状態でのドットプロファイルを,プリンタエンジンに最適な空間周波数となるように帯域を制限してフィルタリングを行う工程
2.次に,階調の全域にわたって,帯域制限したフィルタリングを行い,ドットプロファイルを得る工程
以上2つの工程により,ディザの閾値マトリックスを決定する。
To this end, the invention comprises means for determining a dither matrix consisting of the following two steps:
1. First, the step of filtering by limiting the band so that the dot profile in the intermediate density state becomes an optimal spatial frequency for the printer engine 2. Next, the band-limited filtering is performed over the entire tone range The process of obtaining the dot profile and the process of obtaining two or more steps determine the threshold matrix of the dither.

より具体的には,
1.黒化率gが中間値(g=0.5)の点プロファイルを,ラジアル周波数f_rが低周波数域および高周波数域で0となり,その中間部で有限の値を持つバンドパス・フィルタD(u,v,1/2)(但し,(u,v)は二次元空間周波数)によりフィルタリングを行う第1の工程,
2.1階調単位で変化させた黒化率gが,gに応じてラジアル周波数f_minおよびf_maxを変化させたバンドパス・フィルタD(u,v,g) によりフィルタリングを行う第2の工程,
の2つの工程により,ディザの閾値マトリックスを決定する。
More specifically,
1. Band pass filter D (u, v) where the blackening ratio g is a point profile with an intermediate value (g = 0.5) and the radial frequency f_r is 0 in the low frequency range and high frequency range, and has a finite value in the middle , 1/2) (where (u, v) is a two-dimensional spatial frequency), the first step of filtering
2. A second step of performing filtering with the band pass filter D (u, v, g) in which the blackening ratio g changed in gradation units changes the radial frequencies f_min and f_max according to g,
The threshold matrix of dither is determined by the two steps of

第1の工程は,初期値としてg=1/2 とし,R^2/2 個の黒点をランダムに与え,点プロファイルp(i,j,1/2)として,(初期状態はホワイトノイズ)
(STEP 1) 点プロファイルの二次元FFTを行 P(u,v,1/2)を得る。
(STEP 2) P(u,v,1/2)にフィルタD(u,v,1/2)を掛けて新たなP'(u,v,1/2)を得る。ここでD(u,v,1/2)はラジアル周波数f_rがf_min≦f_r≦f_maxの領域のみ値を持つグリーンノイズフィルタを用いる。
(STEP 3) P'(u,v,1/2)に逆フーリエ変換を行い,多値の点プロファイルp'(i,j,1/2)を得る。
(STEP 4) 誤差関数:e(i,j,1/2)=p'(i,j,1/2)-p(i,j,1/2)を計算し,各画素位置における誤差を正負の大きい順に並べ,大きい順に白→黒,黒→白と反転する。この時反転させる数は等しい。
(STEP 5) 上記操作を誤差が一定の許容量以内になるまでSTEP1からSTEP5を繰り返す。すべての画素が許容量内に入れば最終的にg=1/2の点プロファイルを得る。
In the first step, g = 1/2 is used as the initial value, R ^ 2/2 black points are randomly given, and point profile p (i, j, 1/2) is given (initial state is white noise)
(STEP 1) Obtain a two-dimensional FFT of the point profile and obtain P (u, v, 1/2).
(STEP 2) A filter D (u, v, 1/2) is multiplied by P (u, v, 1/2) to obtain a new P '(u, v, 1/2). Here, a green noise filter is used in which D (u, v, 1/2) has a value only in the region where the radial frequency f_r is f_min ≦ f_r ≦ f_max.
(Step 3) Inverse Fourier transform is performed on P ′ (u, v, 1/2) to obtain a multi-valued point profile p ′ (i, j, 1/2).
(STEP 4) Error function: Calculate e (i, j, 1/2) = p '(i, j, 1/2)-p (i, j, 1/2) and calculate the error at each pixel position Arrange in descending order of positive and negative, and reverse white → black and black → white in descending order. At this time, the numbers to be reversed are equal.
(STEP 5) Repeat STEP 1 to STEP 5 until the error is within a certain tolerance. If all the pixels fall within the tolerance, a point profile of g = 1/2 is finally obtained.

続いて,第2の工程は,1階調単位で変化させたg= g±Δgにおいて,
(STEP 1) p(i,j,g)の二次元FFTを行いP(u,v,g)を得る。
(STEP 2) P(u,v,g)にフィルタD(u,v,g)を掛けて新たなP'(u,v,g)を得る。ここでD(u,v,g)はgによってf_min およびf_maxが変化するフィルタである。
(STEP 3) P'(u,v,g)に逆フーリエ変換を行い,多値の点プロファイルp'(i,j,g)を得る。
(STEP 4) 誤差関数:e(i,j,g)=p'(i,j,g)-p(i,j,g)を計算し,各画素位置における誤差を正負の大きい順に並べ,階調値に対応する数N=R^2/2^nだけ,大きい順に白→黒に反転する(g→1の時),あるいは黒→白と反転する(g→0の時)。この時,ディザマトリックスの反転した画素位置 に階調値を書き込む。
(STEP 5) g= g±ΔgとしてSTEP 1〜STEP 5を繰り返す。g=0,1となった時,本操作を終了する。
以上の操作から,ディザ閾値マトリックスを算出する。
Subsequently, in the second step, at g = g ± Δg changed by one gradation unit,
(STEP 1) A two-dimensional FFT of p (i, j, g) is performed to obtain P (u, v, g).
(STEP 2) The filter D (u, v, g) is multiplied by P (u, v, g) to obtain a new P ′ (u, v, g). Here, D (u, v, g) is a filter in which f_min and f_max change with g.
(Step 3) Inverse Fourier transform is performed on P ′ (u, v, g) to obtain a multi-valued point profile p ′ (i, j, g).
(STEP 4) Error function: Calculate e (i, j, g) = p '(i, j, g)-p (i, j, g), arrange errors at each pixel position in the order of large positive and negative, A number N = R ^ 2/2 ^ n corresponding to the gradation value is reversed in descending order from white to black (when g → 1) or as black → white (when g → 0). At this time, the gradation value is written to the inverted pixel position of the dither matrix.
(STEP 5) Repeat STEP 1 to STEP 5 as g = g ± Δg. When g = 0, 1, this operation ends.
From the above operations, the dither threshold matrix is calculated.

本発明によれば,かかる工程においてグリーンノイズ特性を示すディザマトリックスの閾値の決定を行い,電子写真法をベースとするプリンタに対して,高速で,安定した高画質な画像を得ることが出来る。 According to the present invention, it is possible to determine the threshold value of the dither matrix showing the green noise characteristic in such a process, and to obtain a high-speed, stable and high-quality image for an electrophotographic printer.

画像処理装置のシステムを表す図Diagram showing a system of an image processing apparatus 画像信号処理を説明するブロック図Block diagram for explaining image signal processing レーザビーム走査による記録装置を表す図A diagram representing a recording device by laser beam scanning 第1の工程の処理フローを表す図Diagram showing the processing flow of the first step 第2の工程の処理フローを表す図Diagram showing the processing flow of the second step g=1/2 における本グリーンノイズマスク法の出力を示す図Diagram showing the output of this green noise mask method at g = 1/2 gによるf_minおよびf_maxを,(a)ともに固定値としたときのグレースケールの出力図,(b)f_minのみを可変としたときのグレースケールの出力図Grayscale output diagram when f_min and f_max with g are both fixed values (a), Grayscale output diagram when (b) only f_min is variable 図7(b)におけるf_minおよびf_maxの状態を表す図Diagram showing the states of f_min and f_max in FIG. 7 (b) 本発明におけるf_minおよびf_maxの状態を表す図Diagram showing the states of f_min and f_max in the present invention (a,b)=(0,-1/4)の時,得られたディザマトリックスを示す図で,(a)128x128のディザパターンを階調値で表した図,(b)64x64 のディザパターンを階調値で表した図,(c)32x32のディザパターンを階調値で表した図(a, b) = (0, -1/4) showing the obtained dither matrix; (a) a 128 x 128 dither pattern represented by a tone value; (b) 64 x 64 dither pattern (C) A diagram of the 32x32 dither pattern represented by a tone value 図10(b)のパターンを2x2の4枚繋ぎ合わせた図The figure which connected the pattern of Fig.10 (b) four pieces of 2x2 各階調での本グリーンノイズ法によるディザ出力とスペクトルを表す図Diagram showing the dither output and spectrum by this green noise method at each gradation 本グリーンノイズ法によるグレースケールのディザ出力で,(a)原画,(b)ブルーノイズ(BN)での出力画像,(c)(a,b)=(1/8,-1/8)の時の出力画像,(d) (a,b)=(0,-1/4)の時の出力画像(A) Original image, (b) Output image with blue noise (BN), (c) (a, b) = (1/8, -1/8) Output image at the time, (d) (a, b) = (0, -1/4) output image 本グリーンノイズ法によるLena画像ののディザ出力で,(a)原画,(b)ブルーノイズ(BN)での出力画像,(c)(a,b)=(1/8,-1/8)の時の出力画像,(d) (a,b)=(0,-1/4)の時の出力画像(A) Original image, (b) Output image with blue noise (BN), (c) (a, b) = (1/8, -1/8). Output image at time, (d) (a, b) = (0, -1/4) output image 各色版の出力画像と合成したときの図Image when combined with the output image of each color plate 各色版の出力画像と合成したときの図で,(a)C版:(1/4,0) の出力画像,(b)M版:(0,-1/8) の出力画像,(c)Y版:(-1/8,-1/4) の出力画像,(d) 合成画像の出力画像(A) C version: (1/4, 0) output image, (b) M version: (0, -1/8) output image, (c) ) Y version: (-1/8, -1/4) output image, (d) composite image output image 各色版の出力画像と合成したときの図で,(a)C版:ブルーノイズ法による出力画像,(b)M版:(1/4, 0) の出力画像,(c)Y版:(0, -1/8) の出力画像.(A) C version: output image by blue noise method, (b) M version: output image of (1/4, 0), (c) Y version: ((a) C version) Output image of 0, -1/8). 楕円フィルタによるドットパターンとスペクトルを表す図Diagram showing dot pattern and spectrum by elliptic filter 楕円フィルタによる各種gによるディザの出力画像とスペクトルを表す図A diagram representing the output image and spectrum of various g dithers by an elliptic filter データハイディングの方法を示した図で,(a)ディザマトリックス(a)を階調画像として表した図, (b)ディザマトリックス(b)を階調画像として表した図, (c)ディザマトリックス(a)と(b)を相互に繰り返して出力したLena画像, (d) スペクトル特性を示した図.A diagram showing a method of data hiding, (a) A diagram showing a dither matrix (a) as a tone image, (b) a diagram showing a dither matrix (b) as a tone image, (c) a dither matrix Lena image output by repeating (a) and (b) mutually, (d) A figure showing the spectral characteristics.

以下,本発明を図面を参照しながら説明する。図1は本発明の装置構成を示したものである。スキャナー1,電子写真をベースとしたプリンタ2からなる複写機やMFP(Multi-Functional Printer)は,内蔵されたコントローラ3によりその機能が制御される。コントローラ3はROM 4,RAM 5,プログラムメモリや画像データを記憶するHDD 6,ディスプレイ 8,キーボード9,通信機能10を有し,CPU 7が全体のコントロールおよび画像処理のソフトウェア演算処理を司る。 Hereinafter, the present invention will be described with reference to the drawings. FIG. 1 shows the apparatus configuration of the present invention. The functions of a copier and an MFP (Multi-Functional Printer) including a scanner 2 and a printer 2 based on electrophotography are controlled by a built-in controller 3. The controller 3 has a ROM 4, a RAM 5, a program memory and an HDD 6 for storing image data, a display 8, a keyboard 9, and a communication function 10. A CPU 7 is responsible for overall control and software arithmetic processing of image processing.

図2は本発明のクラスター型ディザハーフトーンスクリーンを生成するドットジェネレータの構成図で,プリンタ2からの水平・垂直の同期信号は出力ラスター画像のH-Sync, V-Sync信号と画素クロックにより構成されRAM5あるいはHDD6に記憶された画像メモリ11からの画像データを画像処理部12でのハーフトーン処理され,レーザドライバー13を経て半導体レーザ14からビーム変調された出力信号16を得る。かかる変調光ビームは図示されていないが,電子写真ベースの記録装置に導かれ,光露光→現像→転写→定着の電子写真プロセスを経て画像出力される。 FIG. 2 is a block diagram of a dot generator for generating a clustered dither halftone screen according to the present invention. The horizontal and vertical synchronization signals from the printer 2 are composed of H-Sync and V-Sync signals of an output raster image and a pixel clock. The image data from the image memory 11 stored in the RAM 5 or the HDD 6 is subjected to halftone processing in the image processing unit 12 and passes through a laser driver 13 to obtain a beam-modulated output signal 16 from the semiconductor laser 14. Although this modulated light beam is not shown, it is guided to an electrophotographic-based recording apparatus, and an image is outputted through an electrophotographic process of light exposure → development → transfer → fixing.

画像処理部12でのハーフトーン処理は,通常のディザ法による二値化により,入力画像信号と,ディザの閾値が比較され画像信号が閾値より大きければ“1”,小さければ“0”として,レーザのON/OFFを行う。高画質化のために,3値や4値の多値出力を行う場合も多いが,これは1画素に対して複数の閾値を持ち,それらの閾値との比較により多値の出力を決定する。いずれも閾値との比較を行う事であるので,本発明では2値での説明を行う。 Halftone processing in the image processing unit 12 is performed by binarizing with a normal dither method, and the threshold value of the input image signal and the dither is compared, and if the image signal is larger than the threshold, it is set to “1”. Turn on / off the laser. In order to improve the image quality, there are many cases where multi-value output of three or four values is performed, but this has multiple thresholds for one pixel, and multi-value output is determined by comparison with these thresholds. . In any case, the comparison with the threshold value is performed, so in the present invention, explanation will be made with two values.

図3は本発明を搭載している画像記録装置の光学系の構成図を示す。半導体レーザ等による光源17からの出射光ビームは,球面系あるいはアナモフィック光学系によるコリメータレンズ18により回転多面鏡21の反射面に入射する。回転多面鏡の回転により反射ビームは光偏向を受けfθレンズ等の結像レンズ19へ入射する。結像レンズ19により結像した光スポットは感光ドラム20上を光ビーム走査を行う。 FIG. 3 shows a configuration diagram of an optical system of an image recording apparatus equipped with the present invention. A light beam emitted from a light source 17 by a semiconductor laser or the like is incident on the reflecting surface of the rotating polygon mirror 21 by a collimator lens 18 by a spherical system or an anamorphic optical system. Due to the rotation of the rotary polygon mirror, the reflected beam is deflected so as to be incident on an imaging lens 19 such as an fθ lens. The light spot imaged by the imaging lens 19 scans a light beam on the photosensitive drum 20.

次にグリーンノイズ特性を示すディザマスクの作成アルゴリズムについて説明する。
グリーンノイズ特性を呈すドットは,その空間周波数スペクトルがf_min〜f_max の間に制限されるようにフィルタ操作を行う。求めるディザマトリックスサイズをR×R ( R=2^m)とすると,そのNyquist周波数は,f_N=R/2となる。操作は印字ドットの黒化率(単位面積での黒ドットの占める面積率)をgとした時(0≦g≦1),g =1が全黒,g =0 が全白を表す。階調レベルLは,画素データがnbitとすると,
L=2^n ・(1-g)
となる。
Next, an algorithm for creating a dither mask showing green noise characteristics will be described.
A dot exhibiting green noise characteristics is filtered so that its spatial frequency spectrum is limited between f_min and f_max. Assuming that the dither matrix size to be obtained is R × R (R = 2 ^ m), its Nyquist frequency is f_N = R / 2. In the operation, when the blackening ratio of the printing dots (area ratio occupied by black dots in unit area) is g (0 ≦ g ≦ 1), g = 1 represents all black, and g = 0 represents all white. When the pixel data is n bits, the gradation level L is
L = 2 ^ n · (1-g)
It becomes.

ディザマトリックスを求める工程は,まず,中間(g=1/2)の点プロファイルを求める第1の工程と,引き続き1階調単位で変化させたg= g±Δgの全域についてのプロファイルを求め,ディザ閾値マトリックスを算出する第2の工程からなる。 In the step of obtaining a dither matrix, first, a first step of obtaining an intermediate (g = 1/2) point profile and a profile of the entire area of g = g ± Δg successively changed by one gradation unit are obtained; It comprises the second step of calculating the dither threshold matrix.

第1の工程を図4のフローに沿って説明する。今,ディザマトリックスサイズをR×Rとし,このR×Rの領域に黒点を打つものとし,黒化率g,点(i,j)における点プロファイルを p(i,j,g)とする。まず,中間(g=1/2)の点プロファイルは,以下のステップで行われる。
初期値としてg=1/2 とし,R^2/2個の黒点をランダムに与え点プロファイルp(i,j,1/2)とする。(^はべき乗を表す。初期状態はホワイトノイズである)。
(STEP 1) 点プロファイルの二次元FFTを行 P(u,v,1/2)を得る。
(STEP 2) P(u,v,1/2)にフィルタD(u,v,1/2)を掛けて新たなP'(u,v,1/2)を得る。ここでD(u,v,1/2)はラジアル周波数f_rがf_min≦f_r≦f_maxの領域のみ値を持つグリーンノイズフィルタを用いる。
(STEP 3) P'(u,v,1/2)に逆フーリエ変換を行い,多値の点プロファイルp'(i,j,1/2)を得る。
(STEP 4) 誤差関数:e(i,j,1/2)=p'(i,j,1/2)-p(i,j,1/2) を各画素毎に求める。白画素と黒画素ごとに誤差の大きい順に並べ,大きい順に白→黒,黒→白と反転する。この時反転させる数は等しい。
(STEP 5) 上記操作を誤差が一定の許容量以内になるまでSTEP1からSTEP5を繰り返す。すべての画素が許容量内に入れば最終的にg=1/2の点プロファイルを得る。
The first step will be described along the flow of FIG. Now, it is assumed that the dither matrix size is R × R, a black dot is to be struck in this R × R area, and the blackening ratio g, and the point profile at point (i, j) be p (i, j, g). First, an intermediate (g = 1/2) point profile is performed in the following steps.
The initial value is g = 1/2, R ^ 2/2 black points are randomly given, and a point profile p (i, j, 1/2) is created. (^ Represents a power. The initial state is white noise).
(STEP 1) Obtain a two-dimensional FFT of the point profile and obtain P (u, v, 1/2).
(STEP 2) A filter D (u, v, 1/2) is multiplied by P (u, v, 1/2) to obtain a new P '(u, v, 1/2). Here, a green noise filter is used in which D (u, v, 1/2) has a value only in the region where the radial frequency f_r is f_min ≦ f_r ≦ f_max.
(Step 3) Inverse Fourier transform is performed on P ′ (u, v, 1/2) to obtain a multi-valued point profile p ′ (i, j, 1/2).
(STEP 4) An error function: e (i, j, 1/2) = p '(i, j, 1/2)-p (i, j, 1/2) is obtained for each pixel. The white pixels and the black pixels are arranged in descending order of error, and inverted in the order of large to white → black and black → white. At this time, the numbers to be reversed are equal.
(STEP 5) Repeat STEP 1 to STEP 5 until the error is within a certain tolerance. If all the pixels fall within the tolerance, a point profile of g = 1/2 is finally obtained.

引き続き g= g±Δgでの点プロファイル作成を図5に沿って説明する。 まず,第1の工程で求めたg = 0.5 のp(i,j,1/2)を初期値として,以下のステップで作成する。
(STEP 1) g= g±Δgとしてp(i,j,g)の二次元FFTを行いP(u,v,g)を得る。
(STEP 2) P(u,v,g)にフィルタD(u,v,g)を掛けて新たなP'(u,v,g)を得る。ここでD(u,v,g)はgによってf_min およびf_maxが変化するフィルタである。
(STEP 3) P'(u,v,g)に逆フーリエ変換を行い,多値の点プロファイルp'(i,j,g)を得る。
(STEP 4) 誤差関数:e(i,j,g)=p'(i,j,g)-p(i,j,g)を各画素毎に求める。次いで白画素と黒画素ごとに誤差を大きい順に並べ,N=R^2/2^n 個だけ,大きい順に白画素を黒画素に反転する(g→1の時),あるいは黒画素を白画素に反転する(g→0の時)。この時,ディザマトリックスの反転した画素位置 に階調値を書き込む。
(STEP 5) g= g±ΔgとしてSTEP 1〜STEP 5を繰り返し,g=0,1となった時,本操作を終了する。
Subsequently, the point profile creation at g = g ± Δg will be described with reference to FIG. First, p (i, j, 1/2) of g = 0.5 obtained in the first step is set as an initial value, and is created in the following steps.
(STEP 1) A two-dimensional FFT of p (i, j, g) is performed as g = g ± Δg to obtain P (u, v, g).
(STEP 2) The filter D (u, v, g) is multiplied by P (u, v, g) to obtain a new P ′ (u, v, g). Here, D (u, v, g) is a filter in which f_min and f_max change with g.
(Step 3) Inverse Fourier transform is performed on P ′ (u, v, g) to obtain a multi-valued point profile p ′ (i, j, g).
(STEP 4) An error function: e (i, j, g) = p ′ (i, j, g) −p (i, j, g) is obtained for each pixel. Next, arrange the errors in descending order of white pixel and black pixel, and reverse white pixels to black pixels by N = R ^ 2/2 ^ n pieces in descending order (when g → 1), or black pixels are white pixels Invert to (when g → 0). At this time, the gradation value is written to the inverted pixel position of the dither matrix.
(STEP 5) Repeat STEP 1 to STEP 5 as g = g ± Δg, and when g = 0, 1, complete this operation.

ここで,ラジアル周波数f_max及びf_minは以下のようにして設定する。
フィルタD(u,v,g)のf_max及びf_minをgによらず固定値とした場合,明暗部における点プロファイルの一様性が崩れる。このため,gによってf_max及びf_minを可変とし,明暗部においては,グリーンノイズ特性からブルーノイズ特性に近づくように,f_max及びf_minを設定する。このようにすることにより明部および暗部の粗さが多少細かくなり,粒状性が目立たなくなる。
Here, the radial frequencies f_max and f_min are set as follows.
When f_max and f_min of the filter D (u, v, g) are fixed values regardless of g, the uniformity of the point profile in the bright and dark areas is broken. For this reason, f_max and f_min are made variable by g, and f_max and f_min are set so as to approach the blue noise characteristic from the green noise characteristic in the bright and dark portions. By doing this, the roughness of the light and dark parts becomes somewhat fine and the graininess becomes inconspicuous.

上記ステップに沿ってディザマトリックスを求める。
黒化率gにおける平均的ドット間隔による周波数は,
f_0=sqrt(g)・f_N :0≦g≦1/2 の時
f_0=sqrt(1-g)・f_N :1/2≦g≦1の時
で与えられる。ここでsqrt()は平方根を表す。フィルタD(u,v,g)が,円形状である場合,ラジアル方向のバンドフィルタとして,
D(f_r,g)=有限値 :f_min≦f_r≦f_max の時
D(f_r,g)=0 :その他の時
であるとする。有限値のため0と1の間の小数値をとる。 f_max及び f_minは f_0 を基準とした差分を,
f_max=f_maxーf_0≡a・f_N
f_min=f_minーf_0≡b・f_N
として表す。一般に,マトリックスのサイズRによって,Nyquist周波数f_Nが異なるので,f_Nで規格化した値(a,b)を用いることにより
(a,b)=( f_max/f_N , f_min/f_N)
として表される(a,b)をパラメータとして記述することにより,マトリックスサイズRによらずにクラスターサイズを限定できる。
Find the dither matrix along the above steps.
The frequency with the average dot spacing at the blackening rate g is
When f_0 = sqrt (g) · f_N: 0 ≦ g ≦ 1/2
f_0 = sqrt (1-g) · f_N: When 1/2 ≦ g ≦ 1
Given by Here, sqrt () represents a square root. When the filter D (u, v, g) is circular, as a band filter in the radial direction,
D (f_r, g) = finite value: when f_min ≦ f_r ≦ f_max
D (f_r, g) = 0: Suppose that it is another time. Because it is a finite value, it takes a decimal value between 0 and 1. f_max and f_min are the differences based on f_0,
f_max = f_max-f_0≡a · f_N
f_min = f_min-f_0 ≡ b · f_N
Express as In general, since the Nyquist frequency f_N differs depending on the size R of the matrix, by using values (a, b) normalized by f_N
(a, b) = (f_max / f_N, f_min / f_N)
By describing (a, b) as a parameter, it is possible to limit the cluster size regardless of the matrix size R.

ここで,具体的な例として,R=128のディザ閾値マトリックスで, n=8 bit/画素の場合を説明する。この場合,Δg =1/256,f_N=64となる。
g=0.5の点プロファイルとして8192点の乱数で発生させた点を初期値として,D(u,v,1/2)のスペクトル特性を, (a,b)をパラメータとして,
D(f_r,g)=1 :f_0+b・f_N≦f_r≦f_0+a・f_N の時
D(f_r,g)=0 :その他の時
から前述のステップに沿って点プロファイルを求めた。
Here, as a specific example, the case of n = 8 bits / pixel with a dither threshold matrix of R = 128 will be described. In this case, Δg = 1/256 and f_N = 64.
With the point generated with 8192 random numbers as a point profile of g = 0.5 as an initial value, the spectral characteristics of D (u, v, 1/2) are taken as parameters (a, b),
D (f_r, g) = 1: When f_0 + bfn ≦ fr ≦ f_0 + af n
D (f_r, g) = 0: other times
From the above, the point profile was obtained along the above-mentioned steps.

図6にその結果を示したもので,(a,b)=(∞,0) ,(1/8,-1/8) ,(0,-1/4) ,(-1/16.-3/16) , 及び楕円フィルタの場合を示す。(a,b)=(1/8,-1/8) から (0,-1/4)への変化に示されるように,バンド・フィルタを低域側にすることによりクラスターサイズが大きい粗いドットとなる。また,(a,b)=(0,-1/4) から (-1/16.-3/16)に示されるように,バンドフィルタの幅を狭くした場合,ラジアル方向への周期性が顕著になる。楕円フィルタの場合はx方向とy方向の主軸の値で表記した場合,x方向:(a,b)=(0,-1/4) , y方向: 0.7×(0,-1/4) を図に示す。楕円形状にすることにより異方性のあるドットプロファイルとなる。ここで,(a,b)=(∞,0)はブルーノイズ特性となり,クラスター化はされない。RAPS(Radially Averaged Power Spectrum)値は,環状に求めたパワースペクトル分布を示し,そのピークとなる空間周波数を周波数主値として定義する。 The results are shown in FIG. 6, and (a, b) = (. Infin., 0), (1/8, -1/8), (0, -1/4), (-1 / 16.-). 3/16), and the case of an elliptic filter are shown. As shown in the change from (a, b) = (1/8, -1/8) to (0, -1/4), the cluster size is coarse by making the band filter lower. It becomes a dot. Also, as shown in (a, b) = (0, -1/4) to (-1/16.-3/16), when the width of the band filter is narrowed, the periodicity in the radial direction is It becomes remarkable. In the case of an elliptic filter, when expressed by the values of principal axes in the x direction and y direction, x direction: (a, b) = (0, -1/4), y direction: 0.7 × (0, -1/4) Is shown in the figure. By making it elliptical, it becomes an anisotropic dot profile. Here, (a, b) = (∞, 0) has a blue noise characteristic and is not clustered. The RAPS (Radially Averaged Power Spectrum) value indicates a cyclically determined power spectrum distribution, and defines the peak spatial frequency as a frequency main value.

次に,g= g±Δgでの点プロファイルを求める。gを変えた時のフィルタD(f_r,g)の特性は,明暗部でバンド幅を広げ,ブルーノイズ特性に近づくようにする。この理由を以下に説明する。 Next, a point profile at g = g ± Δg is obtained. The characteristics of the filter D (f_r, g) when g is changed broaden the bandwidth in the bright and dark areas so as to approach the blue noise characteristics. The reason is described below.

図7(a)は,すべてのgに対しf_max とf_minが一定で,変化しないとしたときのグレースケールの出力図である。 明暗部において,ドットの一様性が損なわれている。また,同図(b)は,
f_max=f_max,1/2
f_min=Min(f_ min,1/2 , f_0)
としたときのグレースケールの出力図である。 ここで,f_max,1/2はg=1/2のときのf_max,f_min,1/2はg=1/2の時のf_min を表す。 また,Min(f_ min,1/2 , f_0)はf_ min,1/2と f_0の小さい方の値を表す。図8にgに対するf_max とf_minの値を図示する。図7(b)の場合も,同様に明暗部において,ドットの一様性が損なわれている
FIG. 7A is a gray scale output diagram when it is assumed that f_max and f_min are constant for all g and do not change. In the light and dark areas, the uniformity of the dots is impaired. Also, in the same figure (b),
f_max = f_max, 1/2
f_min = Min (f_min, 1/2, f_0)
And a gray scale output diagram. Here, f_max and 1/2 represent f_max and f_min when g = 1/2, and 1/2 represent f_min when g = 1/2. Also, Min (f_min, 1/2, f_0) represents the smaller value of f_min, 1/2 and f_0. The values of f_max and f_min for g are illustrated in FIG. Also in the case of FIG. 7 (b), the uniformity of the dots is similarly impaired in the bright and dark areas

明暗部における点プロファイルの一様性の崩壊は,指標となるバンド帯域となるf_max とf_minの不適切な設定が大きな理由である。また,ディザ閾値の決定は前階調のデータを踏襲して決定する必要があるため,階調毎の最適化はできず,自由度が少ないことも原因である。特に,画像の明暗部においてこの影響が顕著に発現する。また,明暗部においてはドットが粗くなるため,粒状性が特に目立つようになる。 The collapse of the uniformity of the point profile in the light and dark areas is mainly due to the inappropriate setting of f_max and f_min as the index band bands. In addition, since it is necessary to determine the dither threshold in accordance with the data of the previous gradation, optimization for each gradation can not be performed, and the degree of freedom is low. In particular, this effect is noticeable in the bright and dark areas of the image. In addition, since the dots become rough in the bright and dark areas, the graininess becomes particularly noticeable.

これらの理由から,gによってf_max及びf_minを可変とし,明暗部においては,グリーンノイズ特性からブルーノイズ特性に接近するようにf_max及びf_minを設定する。すなわち,バンドパス・フィルタD(u,v,g) はg=1/2を中心として,g→0 あるいはg→1に向かってバンドの空間周波数の下限値f_minが低域側に変化し,上限値f_maxは高域側に増加するように設定され,かつ,下限値f_minと上限値f_maxの間の領域のフィルタ値が0と1の間の有限値を取るように設定される。このようにすることにより明暗部の粒状性の回避が可能となる。 For these reasons, f_max and f_min are made variable according to g, and f_max and f_min are set so as to approach the blue noise characteristic from the green noise characteristic in the bright and dark areas. That is, in the bandpass filter D (u, v, g), the lower limit f_min of the spatial frequency of the band changes toward the low band toward g → 0 or g → 1 with g = 1/2, The upper limit f_max is set to increase toward the high frequency side, and the filter value in the region between the lower limit f_min and the upper limit f_max is set to take a finite value between 0 and 1. This makes it possible to avoid the graininess of the light and dark portions.

一例として,図9に示されるようにf_max及びf_minを以下の3領域によって変えたものを用いる。
0≦g<g_0 において: f_max=f_M; f_min=sqrt(g)・f_N
g_0≦g<g_1 において: f_max=f_M; f_min=f_min,1/2
g_1≦g<1/2において: f_max=f_max,1/2; f_min=f_min,1/2
ここで,f_min,1/2およびf_max,1/2はg=1/2でのf_minおよびf_max,また g_0はf_0とf_min,1/2との交点, g_1は任意の点,f_Mはg_1とR点をつないだ直線を表す。gが1/2以上は対称に折り返す。各領域のf_maxとf_minの間の(A)領域はフィルタ値が1,(B)領域はf_minからf_maxにかけてフィルタ値が1から0へ徐々に変化する多値とする。
As an example, as shown in FIG. 9, one in which f_max and f_min are changed by the following three areas is used.
For 0 ≦ g <g_0: f_max = f_M; f_min = sqrt (g) · f_N
In g_0 ≦ g <g_1: f_max = f_M; f_min = f_min, 1/2
For g_1 ≦ g <1/2: f_max = f_max, 1/2; f_min = f_min, 1/2
Here, f_min, 1⁄2 and f_max, 1⁄2 is f_min and f_max at g = 1⁄2, g_0 is the intersection of f_0 and f_min, 1⁄2, g_1 is an arbitrary point, f_M is g_1 and Represents a straight line connecting R points. g is more than half folded symmetrically. The region (A) between f_max and f_min in each region is a multi-value in which the filter value gradually changes from 1 to 0 from f_min to f_max in the region where the filter value is 1 and (B).

図10にR=128,64, 32の場合の (a,b)=(0,-1/4)の時の得られた閾値マトリックスを階調データとして表す。一般に小サイズのマトリックスの場合,大きなサイズの画像出力を行う場合,マトリックスサイズの繰り返しによる周期性が発生しやすいが,グリーンノイズ特性を呈すため,ブルーノイズマスクより周期性の問題は緩和される。図11はR=64 のディザマトリックスでg=1/2 の画像を出力したものを2x2でつなぎ合わせて128x128のサイズで出力したものである。繋ぎ合わせの境界はあまり目立たない。 In FIG. 10, the obtained threshold value matrix when (a, b) = (0, -1/4) in the case of R = 128, 64, 32 is represented as gradation data. Generally, in the case of a small size matrix, when performing large size image output, periodicity is likely to occur due to repetition of matrix size, but the green noise characteristic is exhibited, so the problem of periodicity is alleviated compared to the blue noise mask. FIG. 11 shows a dither matrix of R = 64 and outputs of an image of g = 1/2 are connected by 2 × 2 and output in a size of 128 × 128. The boundaries of the joints are not very noticeable.

図12にR=128,(a,b)=(0,-1/4)の時のディザ閾値マトリックスによる,g=1/8,1/4,1/2,3/4,7/8 (階調値で224, 192, 128, 64, 32)の時の二値化出力時のドットプロファイルとそのスペクトル特性を示す。各階調において低周波数域と高周波数域の特性が低下したグリーンノイズ特性を示すことが分かる。 In FIG. 12, according to the dither threshold value matrix when R = 128 and (a, b) = (0, -1/4), g = 1/8, 1/4, 1/2, 3/4, 7/8 The dot profile and the spectrum characteristic at the time of binarization output at the time of (tone value 224, 192, 128, 64, 32) are shown. It can be seen that the green noise characteristics in which the characteristics in the low frequency region and the high frequency region are degraded in each gradation are shown.

図13にグレースケール画像の,(a)原画,(b)ブルーノイズ(BN)での出力画像,(c)(a,b)=(1/8,-1/8),(d) (a,b)=(0,-1/4)の本発明のグリーンノイズ特性の出力画像を示す。 (A) Original image, (b) Output image with blue noise (BN), (c) (a, b) = (1/8, -1/8), (d) (g) Fig. 6 shows an output image of the green noise characteristic of the present invention in which a, b) = (0, -1/4).

図14にLena画像の,(a)原画,(b)ブルーノイズ(BN)での出力画像,(c)(a,b)=(1/8,-1/8),(d) (a,b)=(0,-1/4)の本発明のグリーンノイズ特性の出力画像を示す Fig. 14 shows (a) an original, (b) an output image of blue noise (BN), and (c) (a, b) = (1/8, -1/8), (d) (a) of the Lena image. , b) = (0, -1 / 4) of the output image of the green noise characteristic of the present invention

また,図15に上から順にシアン(C),マゼンタ(M),イエロー(Y)の3色でのカラー画像出力を示す。C版にブルーノイズ(BN),M版に(a,b)=1/8,-1/8),Y版に(0,-1/4)とすることにより,色間のモアレが発生しにくい。元来,FMスクリーンでは非周期的構造のため版の重ね合わせでモアレは生じにくいが,「粒状性」という形で現れ,画質劣化をもたらす。これはFMハーフトーンのミクロ領域の周期性が,重ね合わせにより低周波成分を生じ,粒状性として発現するためである。合成図(composed)から分かるように,網点印刷の場合に生じるロゼッタパターンや粒状性,色モアレ等はほとんどないことが分かる。 Further, FIG. 15 shows color image output in three colors of cyan (C), magenta (M) and yellow (Y) in order from the top. Color moiré occurs by setting blue noise (BN) for C version, (a, b) = 1/8, -1/8 for M version, and (0, -1/4) for Y version It is difficult to do. Originally, in the FM screen, moire is less likely to occur in plate superposition due to the non-periodic structure, but it appears in the form of "granularity", resulting in image quality deterioration. This is because the periodicity of the micro domain of the FM halftone produces low frequency components by superposition and appears as graininess. As can be seen from the composed image, it can be seen that there are hardly any Rosetta patterns, graininess, color moiré, etc. that occur in the case of halftone printing.

図16は,自然画像をカラー出力したもので,各色版の(a,b)が,(a)C版:(1/4,0),(b)M版:(0,-1/8),(c)Y版:(-1/8,-1/4),(d)合成画像 を示す。合成画像は各色版を重ねたもので,網点印刷の場合ロゼッタパターンが生じるが,この場合は生じない。 FIG. 16 is a color output of a natural image, where (a, b) of each color plate is (a) C plate: (1/4, 0), (b) M plate: (0, -1/8) ), (C) Y version: (-1/8, -1/4), (d) Composite image is shown. The composite image is an overlay of color plates, and in the case of halftone printing, a rosette pattern occurs, but this case does not occur.

図11は,別のクラスターサイズの組み合わせで,(a)C版:ブルーノイズ(BN),(b)M版:(1/4,0),(c)Y版:(0,-1/8),(d)合成画像 を示す。図10の場合と比べると,こちらの方がクラスターサイズは小さい。 FIG. 11 shows combinations of cluster sizes: (a) C version: blue noise (BN), (b) M version: (1/4, 0), (c) Y version: (0, −1 / 8) and (d) show composite images. Compared to the case of FIG. 10, the cluster size is smaller in this case.

以上,スペクトル・バンド(a,b)を変えることにより,クラスターサイズを制御できることを説明した。本ディザマトリックスを用いることにより,プリンタ・エンジンに適したクラスター・ハーフトーンドットの高速出力が可能である。これは電子写真プリンタのように高周波数応答特性が低い記録エンジンに最適なクラスターサイズを設定するができ,安定な画像出力が可能となる。 In the above, it has been described that the cluster size can be controlled by changing the spectral bands (a, b). By using this dither matrix, high-speed output of cluster halftone dots suitable for a printer engine is possible. This makes it possible to set an optimum cluster size for a recording engine having a low high frequency response characteristic, such as an electrophotographic printer, and enables stable image output.

別の応用として,フィルタDの形状を変えることにより,ドットパターンを制御した例を示す。図18は楕円形状のバンドパス・フィルタを用いることにより出力ドットに異方性を持たせたものである。(左)は,x方向:(0,-1/4) y方向:1.3×(0,-1/4)の場合,(中央)は,x方向:(0,-1/4) y方向:0.7×(0,-1/4)の場合,(右)は(b)のパターンを90度回転したものである。 As another application, an example is shown in which the dot pattern is controlled by changing the shape of the filter D. FIG. 18 is a diagram in which the output dots have anisotropy by using an elliptical band pass filter. (Left): x direction: (0, -1/4) y direction: 1.3 x (0, -1/4), (center): x direction: (0, -1/4) y direction In the case of 0.7 × (0, -1/4), (right) is obtained by rotating the pattern of (b) by 90 degrees.

図19は図18の(中央)のディザマトリックスを用いて,各階調の出力を行ったもので,g=1/8,1/4,1/2,3/4,7/8 (階調値で224, 192, 128, 64, 32)の時の二値化出力とそのスペクトル特性を示す。各階調で異方性のあるグリーンノイズ特性が保持されていることが分かる。 FIG. 19 shows the output of each gradation using the dither matrix in FIG. 18 (center), where g = 1/8, 1/4, 1/2, 3/4, 7/8 (gradation It shows the binarized output at the values of 224, 192, 128, 64, 32) and their spectral characteristics. It can be seen that anisotropic green noise characteristics are maintained at each gradation.

図20は異なる異方性を有す2種類のディザマトリックスを用いて画像出力を行ったものである。(a)は64x64の楕円フィルタで,x方向:(0,-1/8), y方向:1.4×(0,-1/8)によるもの,(b)はそれを90°回転したものである。(c)はかかる2つのディザマトリックスを用いて交互に二値化した画像を示す。(d)は,64×64画素単位で切り出した画像にFFTをかけてスペクトル特性を求めたものである。対応した楕円形状のスペクトル特性が得られていることが分かる。 FIG. 20 shows an image output using two types of dither matrices having different anisotropy. (a) is a 64x64 elliptic filter with x direction: (0, -1 / 8), y direction: 1.4 x (0, -1 / 8), and (b) is a 90 ° rotation of it. is there. (c) shows an image binarized alternately using such two dither matrices. (d) is obtained by applying FFT to an image cut out in units of 64 × 64 pixels to obtain spectral characteristics. It can be seen that corresponding elliptical shaped spectral characteristics are obtained.

ここで,(a)のディザマトリックスに”0”,(b)のディザマトリックスに”1”を対応させることにより二値画像に情報を秘匿することが可能である。スペクトル特性から楕円の方向を検出するには図4の楕円フィルタの場合のスペクトル特性のx軸断面とy軸断面を求め,立ち上がり位置の比較により簡単に求めることができる。 Here, it is possible to conceal information in a binary image by associating "0" with the dither matrix of (a) and "1" with the dither matrix of (b). In order to detect the direction of the ellipse from the spectral characteristics, the x-axis cross section and the y-axis cross section of the spectral characteristics in the case of the elliptic filter of FIG. 4 can be determined easily by comparing the rising positions.

64x64のディザマトリックスで512x512の画像に情報を埋め込む場合,64ビットの情報しか埋め込むことができない。埋め込む情報量を増やすためには,楕円の方向を±45°のものも加え,かつ32x32のディザマトリックスを用いることにより512ビット(64バイト)もの情報を埋め込むことが可能である。 When embedding information in a 512x512 image with a 64x64 dither matrix, only 64-bit information can be embedded. In order to increase the amount of information to be embedded, it is possible to embed as much as 512 bits (64 bytes) of information by adding an orientation of ± 45 ° to the ellipse and using a 32 × 32 dither matrix.

本発明は,以上のように新しいクラスター型のグリーンノイズ特性を示すディザハーフトーンマスクによる画像処理装置及び方法を開発したものである。これは周波数空間でスペクトルを特定の帯域(f_max,f_min)に閉じ込めることにより実現できる。全階調域で一様性・均一性を保つため,特に,明暗部領域におけるドットの粗さが目立たないようにするため,バンドフィルタの帯域を各階調で調整することにより,滑らかで,高画質な出力パターンを得ることができたものである。
応用として,記録エンジンのMTF特性に合わせたクラスターサイズのディザマトリックスの取得や, 異方性を組み込んだディザマトリックスによる情報の埋め込みなどが考えられる。
The present invention has developed an image processing apparatus and method using a dither halftone mask exhibiting new green noise characteristics of cluster type as described above. This can be realized by confining the spectrum in a specific band (f_max, f_min) in frequency space. Smooth and high by adjusting the band of the band filter with each tone, in order to maintain uniformity and uniformity in the entire tone range, and in particular, to make the dot roughness in the light and dark region inconspicuous. It is possible to obtain an image quality output pattern.
As applications, acquisition of a dither matrix of cluster size according to the MTF characteristics of the recording engine, embedding of information by a dither matrix incorporating an anisotropy, etc. can be considered.

本発明は,デジタル記録装置で,特に電子写真方式のように高周波特性が不安定なプリンタで有用である.バンドパス・フィルタのパラメータを変えたディザマスクが簡単に得られるため,プリンタのMTF特性に合わせたものを容易に選ぶことが可能である.かかるクラスター型のハーフトーンにより,安定した高画質が保持できる.また,画像中の情報の秘匿や様々な使い方も可能である. The present invention is useful for digital recording devices, particularly for printers with unstable high frequency characteristics such as electrophotographic systems. It is possible to easily select one that matches the printer's MTF characteristics, because it is easy to obtain a dither mask that changes the band pass filter parameters. Stable high image quality can be maintained by such cluster type halftone. In addition, it is possible to conceal information in the image and use it in various ways.

1スキャナ
2電子写真プリンタ
3コントローラ
4,5,6,7,8,9,10はそれぞれROM,RAM,プログラムメモリ,CPU、Display,キーボード,通信機能
11,12,13,14,15,16はそれぞれ画像メモリ,閾値データ,較器、レーザドライバ,出力信号
17半導体レーザ光源
18コリメータレンズ
19結像レンズ
20感光ドラム
21スキャナー
1 Scanner 2 electrophotographic printer 3 controllers 4, 5, 6, 7, 8, 9, 10 are respectively ROM, RAM, program memory, CPU, Display, keyboard, communication function
Reference numerals 11, 12, 13, 14, 15, 16 respectively indicate image memory, threshold data, comparator, laser driver, output signal 17 semiconductor laser light source 18 collimator lens 19 imaging lens 20 photosensitive drum 21 scanner

Claims (4)

入力画像データをクラスター型のハーフトーンで出力するディザ閾値マトリックスを生成するデジタル画像処理装置において,該ディザ閾値マトリックスは2つの工程から算出され,
第1の工程は,黒化率g (0≦g≦1)の中間値(g=1/2)における点(i,j)のプロファイルp(i,j,1/2)に二次元FFTを行いP(u,v,1/2) (但し,(u,v)は二次元空間周波数)に変換し,かかるP(u,v,1/2) に対して ラジアル周波数f_rが,空間周波数の下限値f_min以下,および上限値f_max以上で0であり,f_min≦f_r≦f_maxの領域のみ値を持つグリーンノイズフィルタD(u,v,1/2)によるフィルタ操作を行い,
第2の工程は,第1の工程で得られた点プロファイルから,Δg単位で変化させた黒化率gに対して,g=1/2を中心として,g→0 あるいはg→1に向かってバンドの空間周波数の下限値f_minが低域側に変化し,上限値f_maxは高域側に増加するように設定されたグリーンノイズフィルタD(u,v,g) によるフィルタ操作を行い,
かかる工程により算出されたディザ閾値マトリックスによる出力画像の空間周波数特性は,低域及び高域で低下したグリーンノイズ特性を有すことを特徴とするディザ閾値マトリックスを生成する画像処理方法。
In a digital image processing apparatus that generates a dither threshold matrix that outputs input image data in a cluster type halftone, the dither threshold matrix is calculated from two steps,
The first step is a two-dimensional FFT on the profile p (i, j, 1/2) of the point (i, j) at the intermediate value (g = 1/2) of the blackening ratio g (0 ≦ g ≦ 1) To convert P (u, v, 1/2) (where (u, v) is a two-dimensional space frequency), and for this P (u, v, 1/2), the radial frequency f_r is Perform a filter operation with the green noise filter D (u, v, 1/2) that has a value less than the lower limit f_min of the frequency and 0 or more and is greater than the upper limit f_max and has a value only in the range of f_min f f_r f f_max,
In the second step, from the point profile obtained in the first step, with respect to the blackening ratio g changed in Δg units, toward g → 0 or g → 1 centering on g = 1/2 Perform the filter operation with the green noise filter D (u, v, g) set so that the lower limit f_min of the spatial frequency of the band changes to the lower band and the upper limit f_max increases to the high band,
An image processing method for generating a dither threshold matrix characterized in that spatial frequency characteristics of an output image according to the dither threshold matrix calculated in the above steps have green noise characteristics lowered in low and high bands.
前記第2の工程において,バンドパス・フィルタD(u,v,g) はg=1/2を中心として,g→0 あるいはg→1に向かってバンドの空間周波数の下限値f_minが低域側に減少し,上限値f_maxは高域側に増加するように設定され,かつ,下限値f_minと上限値f_maxの間の領域のフィルタ値が0と1の間の有限値を取るように設定されて,前記ディザ閾値マトリックスを算出することを特徴とする請求項1に記載のディザ閾値マトリックスを生成する画像処理方法。
In the second step, the band pass filter D (u, v, g) has a lower limit value f_min of the spatial frequency of the band toward g → 0 or g → 1 with g = 1/2 as the center. The upper limit f_max is set to increase to the high band side, and the filter value in the region between the lower limit f_min and the upper limit f_max is set to take a finite value between 0 and 1 The image processing method of claim 1, wherein the dither threshold matrix is calculated.
前記第1の工程は,初期値としてg=1/2 とし,R^2/2個の黒点をランダムに与え,
(STEP 1) 点プロファイルp(i,j,1/2)の二次元FFTを行い P(u,v,1/2)を得る。
(STEP 2) P(u,v,1/2)にフィルタD(u,v,1/2)を掛けて新たなP'(u,v,1/2)を得る。ここでD(u,v,1/2)は周波数f_rがf_min≦f_r≦f_maxの領域のみ値を持つグリーンノイズフィルタで,フィルタ値は1である。
(STEP 3) P'(u,v,1/2)に逆フーリエ変換を行い,多値の点プロファイルp'(i,j,1/2)を得る。
(STEP 4) 誤差関数:e(i,j,1/2)=p'(i,j,1/2)-p(i,j,1/2)を各画素ごとに求める。次いで白画素と黒画素ごとに誤差の大きい順に並べ,大きい順に白画素→黒画素,黒画素→白画素と反転する。この時反転させる数は等しい。
(STEP 5) 上記操作を誤差が一定の許容量以内になるまでSTEP1からSTEP5を繰り返す。すべての画素が許容量内に入れば最終的にg=1/2の点プロファイルを得る。
からなる処理を行い,続いて,第2の工程は,1階調単位で変化させた g±Δgにおいて,

(STEP 1) 点プロファイルp(i,j,g)の二次元FFTを行いP(u,v,g)を得る。
(STEP 2) P(u,v,g)にフィルタD(u,v,g)を掛けて新たなP'(u,v,g)を得る。ここでD(u,v,g)はgによってf_min およびf_maxが変化するフィルタで,g→0あるいはg→1に向かってf_minが低域側に減少し,f_maxは高域側に増加する。
(STEP 3) P'(u,v,g)に逆フーリエ変換を行い,多値の点プロファイルp'(i,j,g)を得る。
(STEP 4) 誤差関数:e(i,j,g)=p'(i,j,g)-p(i,j,g)を各画素毎に求める。次いで白画素と黒画素ごとに誤差を大きい順に並べ,N=R^2/2^n 個だけ,大きい順に白画素を黒画素に反転する(g→1の時),あるいは黒画素を白画素に反転する(g→0の時)。この時,ディザマトリックスの反転した画素位置 に階調値を書き込む。
(STEP 5) g= g±ΔgとしてSTEP 1〜STEP 5を繰り返す。g=0,1となった時,本操作を終了する。
からなる処理を行う事により,ディザ閾値マトリックスを算出することを特徴とする請求項2に記載のディザ閾値マトリックスを生成する画像処理方法。
In the first step, G = 1/2 is given as an initial value, and R ^ 2/2 black points are randomly given,
(STEP 1) Perform two-dimensional FFT of point profile p (i, j, 1/2) to obtain P (u, v, 1/2).
(STEP 2) A filter D (u, v, 1/2) is multiplied by P (u, v, 1/2) to obtain a new P '(u, v, 1/2). Here, D (u, v, 1/2) is a green noise filter having a value only in a region where the frequency f_r is f_min ≦ f_r ≦ f_max, and the filter value is 1.
(Step 3) Inverse Fourier transform is performed on P ′ (u, v, 1/2) to obtain a multi-valued point profile p ′ (i, j, 1/2).
(STEP 4) An error function: e (i, j, 1/2) = p '(i, j, 1/2)-p (i, j, 1/2) is obtained for each pixel. Next, the white pixels and the black pixels are arranged in descending order of error, and the white pixels → black pixels and black pixels → white pixels are inverted in descending order. At this time, the numbers to be reversed are equal.
(STEP 5) Repeat STEP 1 to STEP 5 until the error is within a certain tolerance. If all the pixels fall within the tolerance, a point profile of g = 1/2 is finally obtained.
Processing is performed, and then, in the second step, g ± Δg changed by one gradation unit,

(STEP 1) A two-dimensional FFT of the point profile p (i, j, g) is performed to obtain P (u, v, g).
(STEP 2) The filter D (u, v, g) is multiplied by P (u, v, g) to obtain a new P ′ (u, v, g). Here, D (u, v, g) is a filter in which f_min and f_max change depending on g, f_min decreases toward the low frequency side toward g → 0 or g → 1, and f_max increases toward the high frequency side.
(Step 3) Inverse Fourier transform is performed on P ′ (u, v, g) to obtain a multi-valued point profile p ′ (i, j, g).
(STEP 4) An error function: e (i, j, g) = p ′ (i, j, g) −p (i, j, g) is obtained for each pixel. Next, arrange the errors in descending order of white pixel and black pixel, and reverse white pixels to black pixels by N = R ^ 2/2 ^ n pieces in descending order (when g → 1), or black pixels are white pixels Invert to (when g → 0). At this time, the gradation value is written to the inverted pixel position of the dither matrix.
(STEP 5) Repeat STEP 1 to STEP 5 as g = g ± Δg. When g = 0, 1, this operation ends.
3. The image processing method for generating a dither threshold matrix according to claim 2, wherein the dither threshold matrix is calculated by performing the processing consisting of:
前記バンドパス・フィルタD(u,v,g) は楕円の形状をなすバンドパス・フィルタで,異方性のある点プロファイルを算出することを特徴とする請求項3に記載のディザ閾値マトリックスを生成する画像処理方法。




The dither threshold value matrix according to claim 3, wherein the band pass filter D (u, v, g) is an elliptical shaped band pass filter for calculating an anisotropic point profile. Image processing method to generate.




JP2015040816A 2015-03-02 2015-03-02 Image processing apparatus and method Active JP6541215B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015040816A JP6541215B2 (en) 2015-03-02 2015-03-02 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015040816A JP6541215B2 (en) 2015-03-02 2015-03-02 Image processing apparatus and method

Publications (2)

Publication Number Publication Date
JP2016163197A JP2016163197A (en) 2016-09-05
JP6541215B2 true JP6541215B2 (en) 2019-07-10

Family

ID=56847336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015040816A Active JP6541215B2 (en) 2015-03-02 2015-03-02 Image processing apparatus and method

Country Status (1)

Country Link
JP (1) JP6541215B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6937007B2 (en) * 2017-04-08 2021-09-22 河村 尚登 Digital watermarking device and method
JP6937010B2 (en) * 2017-05-27 2021-09-22 河村 尚登 Digital watermarking device and method
JP6920719B2 (en) * 2017-06-15 2021-08-18 河村 尚登 Digital watermarking device and method
JP6886108B2 (en) * 2017-07-04 2021-06-16 河村 尚登 Image processing method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493112B1 (en) * 1998-01-16 2002-12-10 University Of Delaware Method and apparatus for producing halftone images using green-noise masks having adjustable coarseness
JP2009303185A (en) * 2008-06-17 2009-12-24 Canon Inc Image processing apparatus and method therefor
JP2010171813A (en) * 2009-01-23 2010-08-05 Canon Inc Image processing apparatus, and control method thereof
JP5561249B2 (en) * 2011-07-06 2014-07-30 コニカミノルタ株式会社 Threshold matrix creation device and threshold matrix creation method
JP5741461B2 (en) * 2012-01-23 2015-07-01 セイコーエプソン株式会社 Printing apparatus and printing method

Also Published As

Publication number Publication date
JP2016163197A (en) 2016-09-05

Similar Documents

Publication Publication Date Title
JP4909232B2 (en) Information processing apparatus, image processing apparatus, and methods thereof
JP4514132B2 (en) Threshold matrix generation method for halftone image generation, halftone image generation method and apparatus, and threshold matrix
JP4241632B2 (en) Color plate creation threshold value matrix creation method, color image reproduction method, color image separation creation device, and threshold matrix
US8873101B2 (en) Image processing apparatus and image processing method
EP2544443B1 (en) Threshold matrix generation device and method for generating threshold matrix for generating threshold matrix of predetermined size used for halftone processing of multitone image data using dithering method
JP4756597B2 (en) Image forming apparatus and method
JP6541215B2 (en) Image processing apparatus and method
JP2005136612A (en) Halftone dot formation method, halftone dot formation apparatus and halftone dot recording medium
JP4172932B2 (en) Method and apparatus for design of stochastic screen for color halftone
US20060197992A1 (en) Stochastic screens for rendering devices with high-addressability
JP2009253472A (en) Image processing apparatus, and method thereof
US8848254B2 (en) Halftone screen producing apparatus, print controlling apparatus, image forming apparatus, method of producing halftone screen, method of controlling printing, method of forming image, and computer-readable recording medium
KR100510132B1 (en) Color halftoning apparatus and method, and mask generation apparatus and method therein
JP2009100230A (en) Image processing apparatus and method thereof
JP5264412B2 (en) Image processing apparatus and image processing method
JP2002118746A (en) Image forming method
JP6256747B2 (en) Image conversion processing method, program for executing the same, and image conversion processing apparatus
JP4108517B2 (en) Halftoning processing method and halftoning processing system
JP4582792B2 (en) Image processing apparatus, method, program, and recording medium
JP2009253469A (en) Image processing apparatus, and method thereof
JP2011104954A (en) Image forming apparatus
JP6740714B2 (en) Image processing apparatus, image processing method, and program
EP1646223B1 (en) Error Diffusion
JP6388337B2 (en) Image conversion processing method, program for executing the same, and image conversion processing apparatus
JP2006262145A (en) Image forming apparatus and image forming method, image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181002

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190325

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190607

R150 Certificate of patent or registration of utility model

Ref document number: 6541215

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250