JP4337745B2 - Image processing apparatus and method - Google Patents
Image processing apparatus and method Download PDFInfo
- Publication number
- JP4337745B2 JP4337745B2 JP2005039727A JP2005039727A JP4337745B2 JP 4337745 B2 JP4337745 B2 JP 4337745B2 JP 2005039727 A JP2005039727 A JP 2005039727A JP 2005039727 A JP2005039727 A JP 2005039727A JP 4337745 B2 JP4337745 B2 JP 4337745B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- divided
- block
- additional
- areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 52
- 238000000034 method Methods 0.000 title claims description 39
- 238000001914 filtration Methods 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims 2
- 239000002131 composite material Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、電子透かし等のようにディジタル画像にディジタルデータを埋め込む技術に関し、特に埋め込みにより発生するディジタルデータのエラーの低減のための方式に関する。 The present invention relates to a technique for embedding digital data in a digital image such as a digital watermark, and more particularly to a method for reducing errors in digital data generated by embedding.
従来、ディジタルデータを印刷記録する技術として、バーコードやそれを進化させた2次元バーコードが広く知られ用いられている。これらのコードは明らかにデータが記録されている印刷部分が認知でき、見栄えが良くない。場合によってはディジタルデータが印刷されている部分を改竄する等の事も可能である。これらの技術に対して、一見、人間の目には認識できないような形式で付加する電子透かし技術がさかんに研究・開発されている。これらの技術の多くはディジタルデータを埋め込む対象画像をユーザーの目的や好みに応じて任意の写真や絵柄等にすることができる特徴がある。しかし、ディジタルデータを埋め込む場合、対象画像の画像の濃淡や色、急激な濃淡変化等、本来の対象画像とディジタルデータとの埋め込み印刷とが干渉しあい、ディジタルデータの記録再生過程においてエラーを発生する場合がある。 Conventionally, as a technique for printing and recording digital data, a barcode and a two-dimensional barcode obtained by evolving it are widely known and used. These codes clearly recognize the printed part where the data is recorded and do not look good. In some cases, it is possible to tamper with a portion where digital data is printed. For these technologies, digital watermark technology that adds a format that cannot be recognized by human eyes at first glance has been researched and developed. Many of these techniques have the feature that the target image in which the digital data is embedded can be made into an arbitrary photograph or picture according to the purpose and preference of the user. However, when embedding digital data, the embedding printing of the original target image and the digital data interferes with each other, such as the density and color of the image of the target image, and a sudden change in density, and an error occurs in the recording and reproduction process of the digital data. There is a case.
例えば、本出願人は、特許文献1においてディジタルデータの埋め込み方法を提案している。この手法では、埋め込むべきディジタルデータの「0」と「1」の各符号に対して互いに異なるパターン画像を割り当て、そのパターン画像を符号列とパターン画像の配列規則とに従って配列することにより埋め込み画像を形成し、この埋め込み画像を対象となる画像データに重畳することでデータを埋め込む。個々のパターン画像は、
(a)双方のパターン画像の対応する画素同士を加算した結果は、いずれも同じ所定値(例えば「0」)になる、
(b)各々のパターン画像中の全画素を加算した結果は、いずれも同じ所定値(例えば「0」)になる、
(c)各々のパターン画像は、画像の中心部を通り、その方向が異なる、画素値の不連続線(エッジと呼ぶ)を有する。エッジの方向は、例えば垂直線及び水平線に沿った方向とすることができる、
(d)各々のパターン画像の持つ画素値の絶対値は中心でもっとも大きく、中心から離れるほど小さくなる、
という特徴を有している。
For example, the present applicant has proposed a digital data embedding method in
(A) The result of adding the corresponding pixels of both pattern images is the same predetermined value (for example, “0”).
(B) The result of adding all the pixels in each pattern image is the same predetermined value (for example, “0”).
(C) Each pattern image has a discontinuous line of pixel values (called an edge) that passes through the center of the image and has a different direction. The direction of the edge can be, for example, a direction along a vertical line and a horizontal line,
(D) The absolute value of the pixel value of each pattern image is the largest at the center and decreases as the distance from the center increases.
It has the characteristics.
このような特徴を持った、エッジの方向を水平及び垂直としたパターン画像の一例を図1に示す。図1においては、例えばパターン(A)が符号「0」、パターン(B)が符号「1」を示す。 FIG. 1 shows an example of a pattern image having such characteristics and having the edge direction horizontal and vertical. In FIG. 1, for example, the pattern (A) indicates the code “0”, and the pattern (B) indicates the code “1”.
このように面積を持ったパターンによって符号を表現することで各画質劣化要因に対する耐性を獲得する一方、合成後に画像の濃度が大きく変化することが防止され((a),(b)の特徴による)、パターン画像の検出が容易で復号処理が簡便となり((b),(c)の特徴による)、かつパターン同士の間でのエッジの発生が防止されて((d)の特徴による)、その存在が視覚的に目立たないようになる。このエッジは、復号時のパターン周期の推定等に用いられる。 In this way, by expressing the code by a pattern having an area, the resistance to each image quality deterioration factor is acquired, while the density of the image is prevented from changing greatly after composition (depending on the characteristics of (a) and (b)). ), The detection of the pattern image is easy and the decoding process is simplified (according to the characteristics of (b) and (c)), and the occurrence of an edge between the patterns is prevented (according to the characteristics of (d)). Its presence becomes visually inconspicuous. This edge is used for estimation of a pattern period at the time of decoding.
このパターン画像を合成した画像を、復号する際は、パターン画像内のエッジによって仕切られた各象限に相当する合成後の画素値の和(第1から第4象限についてR1からR4)を算出し、例えば、R1>R2かつR1>R4かつR3>R2かつR3>R4の場合に符号「1」であると判定する。すなわち、各象限ごとの画素値群の和の比較によって復号を行うことができる。 When decoding an image obtained by synthesizing this pattern image, a sum of pixel values after synthesis corresponding to each quadrant divided by edges in the pattern image (R1 to R4 for the first to fourth quadrants) is calculated. For example, when R1> R2 and R1> R4 and R3> R2 and R3> R4, it is determined that the code is “1”. That is, decoding can be performed by comparing the sum of pixel value groups for each quadrant.
特許文献1のように、各符号のパターン画像内にエッジができ、このエッジを復号に用いるデータ埋め込み方式の場合、埋め込み対象の画像の濃淡変化が急激な部分に重なって印刷されたディジタルデータの情報はエラーを起こしやすいという性質がある。例えばエッジの方向が水平及び垂直である図1のようなパターン画像を用いる場合、パターン画像は対角線方向に沿った特徴を持つので、埋め込み対象画像の中に濃淡変化が斜め方向に顕著な部分がある場合、その部分重畳されたパターン画像は復号しづらくなる。
In the case of a data embedding method in which an edge is formed in a pattern image of each code as in
このようにディジタルデータを電子透かし技術により対象画像に埋め込む場合、埋め込む対象画像とディジタルデータとが干渉し、エラーを起こすことがあり、信頼性の高いディジタルデータの記録再生を行う装置を実現するためには、これらのエラーを排除する必要がある。 In this way, when digital data is embedded in a target image by digital watermark technology, the target image and digital data may interfere with each other and cause an error, so as to realize a highly reliable apparatus for recording and reproducing digital data. It is necessary to eliminate these errors.
本発明は、内部に特徴的な方向成分を持つパターン画像を用いて対象画像に情報を埋め込む埋め込み方式において、パターン画像と対象画像との干渉を低減する方式を提供する。 The present invention provides a method of reducing interference between a pattern image and a target image in an embedding method of embedding information in a target image using a pattern image having a characteristic direction component inside.
本発明は、互いに交わる2つのエッジにより分割された4つの領域のうち、エッジを介して隣り合う領域同士の画素値の差が、隣り合わない領域同士の画素値の差よりも大きくなるように設定された複数種類のパターン画像を配列することにより付加情報を表現した付加画像を形成し、該付加画像を埋め込み対象画像に対して合成することで、前記付加情報が埋め込まれた画像を生成する画像処理装置であって、前記埋め込み対象画像を所定サイズのブロックに分割するブロック分割部と、分割されたブロックごとに、当該ブロックを前記パターン画像の2つのエッジの一方に平行な分割線により2分割した場合の各分割領域間のコントラストと、もう一方のエッジに平行な分割線により2分割した場合の各分割領域間のコントラストとを求め、コントラストがより大きい方の分割による各分割領域について、それぞれ当該分割領域の画素値の合計を維持しつつ各画素値が均一化するようにフィルタ処理を施すフィルタ処理部と、前記フィルタ処理部により処理された埋め込み対象画像に対し前記付加画像を合成することで前記付加情報が埋め込まれた画像を生成する埋め込み処理部と、を備える画像処理装置を提供する。 In the present invention, among the four regions divided by two intersecting edges, the difference in pixel values between regions adjacent to each other through the edge is larger than the difference in pixel values between regions not adjacent to each other. An additional image expressing the additional information is formed by arranging a plurality of set pattern images, and the additional image is combined with the embedding target image to generate an image in which the additional information is embedded. An image processing apparatus, comprising: a block dividing unit that divides the embedding target image into blocks of a predetermined size; and for each divided block, the block is divided into two by a dividing line parallel to one of the two edges of the pattern image. The contrast between the divided areas when divided and the contrast between the divided areas when divided into two by a dividing line parallel to the other edge are obtained. A filter processing unit that performs a filtering process so that each pixel value is uniform while maintaining the sum of the pixel values of each of the divided regions for each of the divided regions having a larger contrast, and the filter processing unit An image processing apparatus is provided that includes an embedding processing unit that generates an image in which the additional information is embedded by synthesizing the additional image with the processed embedding target image.
以下、図面を参照して、本発明を実施するための最良の形態(以下「実施形態」と呼ぶ)について説明する。 The best mode for carrying out the present invention (hereinafter referred to as “embodiment”) will be described below with reference to the drawings.
図2に、本実施形態の方式を適用した電子透かしシステムの一例を示す。この図に示すように、本実施形態では、埋め込み対象画像に対して画像処理装置100にて所定のフィルタ処理を施すことにより、その埋め込み対象画像から、埋め込むべきディジタルデータを表現するために用いるパターン画像の特徴的な方向成分と干渉する方向成分を除去乃至低減する。このフィルタ処理の詳細は、後に詳しく説明する。次に、電子透かし印刷装置200が、埋め込むべきディジタルデータ(以下、「付加情報」とも呼ぶ)を符号化し、その結果得られる符号列の各符号をそれぞれ対応するパターン画像に置き換えて配列することで付加画像データを作成し、その付加画像データを、画像処理装置100から出力されるフィルタ処理済みの埋め込み対象画像に対して合成する。ここでの付加画像データの作成及び埋め込み対象画像との合成は、例えば特許文献1に示される方式を用いて行う。ここで、合成される埋め込み対象画像からは、既に画像処理装置100により、パターン画像の特徴方向成分と干渉する成分が除去乃至低減されているので、付加画像データと合成しても、その中の各パターン画像の特徴的な方向成分が打ち消されにくい。そして電子透かし印刷装置200は、その合成の結果得られた合成画像データを印刷し、情報埋め込み印刷済みの用紙400を出力する。そして、その印刷済み用紙400に埋め込まれた情報を検出する場合は、電子透かしスキャン装置300によりその用紙400を光学的に読み取り、この結果得られたデジタル画像から、埋め込み処理のアルゴリズムに対応した復号アルゴリズムを用いて、埋め込まれたデータを再生する。この結果得られた再生データが、応用システムに提供され、所定の目的のために利用される。
FIG. 2 shows an example of a digital watermark system to which the method of this embodiment is applied. As shown in this figure, in the present embodiment, a pattern used for expressing digital data to be embedded from an embedding target image by applying a predetermined filtering process to the embedding target image in the
以上では、付加情報を埋め込み対象画像に埋め込んだ合成画像データを印刷して流通させ、その印刷物を読み取ってその中の付加情報を読み取るシステムを例示したが、以下の説明からも分かるように、本実施形態の方式は、合成画像データを印刷せずに、電子データのまま流通させる場合にも有効である。 In the above, an example of a system that prints and circulates composite image data in which additional information is embedded in an embedding target image, reads the printed matter, and reads the additional information therein, but as will be understood from the following description, The system according to the embodiment is also effective when the synthesized image data is distributed as electronic data without printing.
以上説明したように、本発明では、付加情報から求めた付加画像データを埋め込み対象の画像に合成する前に、画像処理装置100における前処理により、その埋め込み対象の画像を、付加画像データ中の個々のパターン画像データの特徴を邪魔しない形の、よい性質の画像へと変換する。
As described above, in the present invention, before the additional image data obtained from the additional information is combined with the image to be embedded, the image to be embedded is added to the image in the additional image data by preprocessing in the
以下、この画像処理装置100の処理内容を説明する前に、本実施形態で用いる付加情報の埋め込み方式の一例を説明する。
Hereinafter, before explaining the processing contents of the
本実施形態の前処理の適用先の1つとして想定している埋め込み方式は、図3に示すように付加情報の埋め込み先となる対象画像のプレーン1と、付加情報を表す付加画像のプレーン2との間で、画素ごと、あるいは複数の画素が集まったブロックごとに、乗算、加算、あるいはその他の演算を行うことで、合成画像データを得るものである。画素ごとの場合、その演算は、たとえば対象画像プレーン1の各画素の濃淡を表す画素値をX、付加画像プレーン2における対応する画素の画素値をY、合成画像データの対応する画素の画素値をZとすると、例えば式(1)で示すような演算である。
Z = X + a * Y …(1)
As shown in FIG. 3, the embedding method assumed as one of the application destinations of the preprocessing of the present embodiment is
Z = X + a * Y (1)
ここで、aは、付加画像プレーン2の埋め込み強度を示す定数である。すなわち、この例では、埋め込み対象画像の各画素の値を、付加画像の対応画素の値により線形に補正している。
Here, a is a constant indicating the embedding strength of the
一方、ブロック単位で演算する場合というのは、対象画像プレーン1と付加画像プレーン2との間で解像度が異なる場合のことである。例えば対象画像プレーン1の方が高解像度の場合、付加画像プレーン2における1画素(仮に画素Aと呼ぶ)の領域に対応する対象画像プレーン1の複数の画素の集まりが、この場合のブロックになる。このブロックに属する対象画像プレーン1の各画素の値Xには、付加画像プレーン2における対応する画素Aの値Yが上記式(1)に従って作用させられ、これにより合成画像データの各画素の画素値Zが計算される。合成画像データの解像度は対象画像プレーン1のそれと同じである。なお、ここで言うブロックは、以下に説明する付加画像プレーン2の矩形のブロック3とは別のものである。
On the other hand, the case where the calculation is performed in units of blocks is a case where the resolution is different between the
また付加画像プレーン2は、複数の定められた大きさの矩形のブロック3により構成される。埋め込むべき付加情報は例えば誤り訂正符号などにより符号化され、その結果求められた符号列の各符号(「0」又は「1」)が、付加画像プレーン2の各ブロック3に対応づけて記録される。すなわち、付加画像プレーン2の個々のブロック3に、そのブロック3に対応する符号に応じた上述のパターン画像(図1参照)が配置される。
The
符号に応じた個々のパターン画像の作成では、図4で示すようにまず予めシステムで設定した基本ブロックパターン4に対して、そこに埋め込もうとする符号に応じたブロック情報マスクパターン5(符号が「1」の場合)あるいはブロック情報マスクパターン6(符号が「0」の場合)を乗じる。
In creating individual pattern images according to codes, as shown in FIG. 4, first, with respect to the
例えば特許文献1では、ブロックの中央の点を原点とし、この原点を通る水平線及び垂直線をそれぞれx軸及びy軸としたときに、画素(x,y)の値がexp(−α(x2+y2))となるようなパターンを基本ブロックパターン4として用いている。この式から分かるように、基本ブロックパターン4は、原点を中心とした放射状のパターンである。もちろんこれは一例であり、基本ブロックパターン4は他の関数により生成してもよい。また、関数に基づき生成する代わりに、基本ブロックパターン4の各画素の値を示すパターンマップをシステム(図1の例では電子透かし印刷装置200)に持たせておいてもよい。
For example, in
一方、マスクパターン5,6は、基本ブロックパターン4と同一形状、同一サイズ(すなわち縦及び横の画素数が同じ)である。そして、マスクパターン5の各画素の値は、第1及び第3象限では「+1」、第2及び第4象限では「+1」となっており、マスクパターン6ではその逆となっている。 On the other hand, the mask patterns 5 and 6 have the same shape and the same size as the basic block pattern 4 (that is, the same number of vertical and horizontal pixels). The value of each pixel of the mask pattern 5 is “+1” in the first and third quadrants, “+1” in the second and fourth quadrants, and vice versa in the mask pattern 6.
基本ブロックパターン4にマスクパターン5又は6を乗じてできるパターン画像7は、図1に示したように、上述の(a)〜(d)の性質を備えたものとなる。このように生成されたパターン画像が符号列に従って配列されたものが付加画像プレーン2となる。
A pattern image 7 formed by multiplying the
電子透かしスキャン装置300にてスキャンした画像から埋め込んであるディジタルの付加情報の再生を行う際には、特許文献1に示された方法により、全体の画像から各ブロック4(パターン画像)を検出し、図5に示すように、そのブロック4をさらに中心より上下左右の4つの象限に分割する。分割された各象限の領域をQ1,Q2,Q3,Q4とすると、電子透かしスキャン装置300は、それぞれの領域Q1,Q2,Q3,Q4に含まれる画素の値(この画素値は読み取られた反射光量、すなわち明るさを示す)の総和を求め、それら各領域の総和同士の大小関係により、特許文献1に示される判定方式に従って、対象ブロックに「1」が記録されているか「0」が記録されているか判断する。
When the digital additional information embedded from the image scanned by the digital
このような電子透かし方式では、画像に埋め込まれる個々の符号が、それぞれパターン画像(ブロック)で表現される。そして、このパターン画像は、図4のマスクパターン5,6に由来して、当該パターン画像自身の中心点を通る、垂直及び水平な方向の境界線を有し、それら境界線による分割によりできる4つの象限の対角線方向に濃淡が変化している。このため、埋め込み対象画像において、斜め方向に画像濃度の急激な変化部分があると、その部分自身がそもそも「0」又は「1」の符号と判別されやすい性質を持つことになる。その場合、その部分に対し、その部分自身の画像の性質上判別されやすい符号とは逆の符号を示すパターン画像を埋め込んだとしても、元の部分の性質が勝ってしまい、符号の読み取り結果は本来とは逆の値になることがある。これは読み取りエラーである。 In such a digital watermark method, each code embedded in an image is represented by a pattern image (block). This pattern image is derived from the mask patterns 5 and 6 in FIG. 4, and has boundary lines in the vertical and horizontal directions that pass through the center point of the pattern image itself. The shading changes in the diagonal direction of the two quadrants. For this reason, if there is a sharply changing portion of the image density in the oblique direction in the embedding target image, the portion itself has the property of being easily discriminated as “0” or “1” in the first place. In that case, even if a pattern image showing a code opposite to the code that is easily discriminated due to the nature of the image of the part itself is embedded in the part, the property of the original part is won, and the code reading result is It may be the opposite of the original value. This is a read error.
図6は、埋め込み対象画像において、そのようなエラーを誘発しやすい部分(図示例では8x8画素の大きさを持つブロック)の例を拡大したものである。図7は図6で示したブロックの0から255の値を取る画素値を示したものである。なお、画素値は明るさを示すものであり、大きい値のほうが白く見える。また、図6は画素値の明るさを正確に示したものでは無く、ブロック内画素の濃淡の様子を説明するために添えたものである。 FIG. 6 is an enlarged view of an example of a portion (block having a size of 8 × 8 pixels in the illustrated example) that easily induces such an error in the embedding target image. FIG. 7 shows pixel values that take values from 0 to 255 in the block shown in FIG. Note that the pixel value indicates brightness, and a larger value looks white. Further, FIG. 6 does not accurately show the brightness of the pixel value, but is added to explain the shade of the pixels in the block.
図6及び図7で示した画素値を示すブロックは、図4で示した埋め込み符号「1」を表すブロック情報マスクパターン5と類似しており、この様なブロックに埋め込み符号「0」を表すブロック情報マスクパターン6に対応するパターン画像ブロックが重畳されたとしても、重畳結果の画像から埋め込まれた符号を読み出そうとしても、元の埋め込み対象画像の影響で「1」が検出されることが多い。 6 and 7 are similar to the block information mask pattern 5 representing the embedding code “1” illustrated in FIG. 4, and the embedding code “0” is represented in such a block. Even if the pattern image block corresponding to the block information mask pattern 6 is superimposed, even if an attempt is made to read the embedded code from the superimposed image, “1” is detected due to the influence of the original embedding target image. There are many.
本実施形態の画像処理装置100は、付加情報の埋め込み先である埋め込み対象画像からそのようなエラーを誘発しやすい性質を持つ部分を減らすよう、フィルタ処理を実行する。このようなフィルタ処理のための仕組みについて、図8を参照して以下に説明する。
The
図8に示すように、画像処理装置100は、ブロック分割部102、フィルタ処理部104及びブロック合成部106を備える。以下、これら各ユニット102,104,106が行う処理の内容について説明するが、その説明からも分かるように、これら各ユニットは、ソフトウエア的に実現することも、ハードウエア回路として構成することもできる。
As illustrated in FIG. 8, the
ブロック分割部102は、与えられた埋め込み対象画像を、所定サイズのブロックに分割する。このブロックは、好適には、埋め込む符号に対応するパターン画像と同一形状同一サイズのものとする。またこの場合のブロック分割では、その結果できる各ブロックの位置が、付加画像プレーン2に含まれる各パターン画像と同じ位置となるようにすることが好適である。これによりフィルタ処理後の埋め込み対象画像の各ブロックと、付加画像プレーン2を構成する各パターン画像とがぴったりと重なるので、干渉抑制効果が高い。フィルタ処理部104は、このようにして生成された埋め込み対象画像のブロックごとに、そのブロックに対して図9に示すような手順でフィルタ処理を施す。
The
フィルタ処理の手順においては、まず、対象となるブロックを、その中心点を通る水平及び垂直な分割線により上下左右の4つの象限の領域Q1,Q2,Q3、Q4(図7の分割の仕方と同様)とし、これら各領域Q1,Q2,Q3、Q4に含まれる画素値の総和(それぞれS1,S2,S3,S4とする)を計算する(S10)。なお、ここで、ブロックサイズの縦又は横のどちらかあるいは両方が奇数に設定されている場合は、分割線が横切る画素の画素値については、それぞれその画素値を半分にして、それぞれ対応する各領域に含める。また、縦及び横の両方の画素数が奇数の場合、そのブロックの中心点に位置する画素については、その画素値を4分割して4つの領域それぞれに分配する。 In the filtering process, first, the target block is divided into four quadrants Q1, Q2, Q3, and Q4 (upper and lower, left and right) by horizontal and vertical dividing lines passing through the center point (the dividing method shown in FIG. 7). The sum of the pixel values included in each of the regions Q1, Q2, Q3, and Q4 (referred to as S1, S2, S3, and S4, respectively) is calculated (S10). Here, when the vertical or horizontal block size or both are set to odd numbers, the pixel value of the pixel crossed by the dividing line is halved, and the corresponding pixel value Include in area. If the number of pixels in both the vertical and horizontal directions is odd, the pixel value of the pixel located at the center point of the block is divided into four and distributed to each of the four areas.
次に、フィルタ処理部104は、式(2)および式(3)で示に示される値VおよびHを求める(S12)。
V=|(S1+S2)−(S3+S4)| …(2)
H=|(S1+S4)−(S2+S3)| …(3)
ここで、Vはブロック内における縦方向の濃淡のコントラストを、Hは横方向の濃淡のコントラストを示す尺度である。
Next, the
V = | (S1 + S2) − (S3 + S4) | (2)
H = | (S1 + S4) − (S2 + S3) | (3)
Here, V is a scale indicating the contrast in the vertical direction in the block, and H is a scale indicating the contrast in the horizontal direction.
次に、このようにして求めたVとHを比較し(S14)、H≦Vとなった場合、すなわち縦方向のコントラストが横方向のコントラストに比べて大きい場合は、第1及び第2象限の領域Q1,Q2の全ての画素の画素値X12をそれら両領域Q1,Q2における画素値の平均に置き換え、同様に第3及び第4象限の領域Q3,Q4の各画素の値X34をそれら両領域Q3,Q4の画素値の平均に置き換える(S16)。すなわち、
X12=(S1+S2)/(N1+N2)
X34=(S3+S4)/(N3+N4)
とする。ここで、N1,N2,N3,N4は、それぞれ領域Q1,Q2,Q3,Q4の画素数である。なお、各象限の領域の画素数N1〜N4については、ブロックのサイズの縦横どちらかあるいは両方が奇数で、画素の上を領域の分割線が横切る場合、画素が2分割される場合は0.5ずつそれぞれの領域の画素数に加える。縦横の画素数がいずれも奇数の場合は、ブロックの中心画素が4分割されるが、この場合は、各領域の画素数に0.25ずつ分配する。
Next, V and H thus obtained are compared (S14). If H ≦ V, that is, if the vertical contrast is larger than the horizontal contrast, the first and second quadrants are compared. The pixel values X12 of all the pixels in the regions Q1 and Q2 are replaced with the average of the pixel values in both the regions Q1 and Q2, and the values X34 of the respective pixels in the regions Q3 and Q4 in the third and fourth quadrants are similarly changed. It replaces with the average of the pixel value of area | region Q3, Q4 (S16). That is,
X12 = (S1 + S2) / (N1 + N2)
X34 = (S3 + S4) / (N3 + N4)
And Here, N1, N2, N3, and N4 are the numbers of pixels in the regions Q1, Q2, Q3, and Q4, respectively. It should be noted that the number of pixels N1 to N4 in each quadrant area is 0 when either the vertical or horizontal size of the block is odd or both, and the dividing line of the area crosses the pixel, or when the pixel is divided into two. Add 5 to the number of pixels in each area. When the number of vertical and horizontal pixels is odd, the central pixel of the block is divided into four. In this case, 0.25 is distributed to the number of pixels in each region.
また、S14の比較の結果、H≦Vでないと判定された場合は、横方向のコントラストが縦方向のコントラストに比べて大きいと言える。この場合、第1及び第4象限の領域Q1,Q4の全ての画素の画素値X14をそれら両領域Q1,Q4における画素値の平均に置き換え、同様に第2及び第3象限の領域Q2,Q3の各画素の値X23をそれら両領域Q2,Q3の画素値の平均に置き換える(S18)。すなわち、
X14=(S1+S4)/(N1+N4)
X23=(S2+S3)/(N2+N3)
とする。
If it is determined in step S14 that H ≦ V is not satisfied, it can be said that the contrast in the horizontal direction is larger than the contrast in the vertical direction. In this case, the pixel values X14 of all the pixels in the first and fourth quadrants Q1 and Q4 are replaced with the average of the pixel values in both the regions Q1 and Q4, and similarly the second and third quadrants Q2 and Q3. The value X23 of each pixel is replaced with the average of the pixel values of both regions Q2 and Q3 (S18). That is,
X14 = (S1 + S4) / (N1 + N4)
X23 = (S2 + S3) / (N2 + N3)
And
以上がフィルタ処理部104の処理の一例である。
The above is an example of the processing of the
図7に例示した画像部分に対し上述のフィルタ処理を施すと、図10のような画素値分布の画像が得られる。図7の例においては、S1=563,S2=923,S3=2596,S4=1267となり、これらからV=2377,H=1689となる。このため、H≦Vが成立するのでS14の演算が行われ、第1及び第2象限の領域Q1,Q2の各画素の値がX12=46.438、第3及び第4象限の領域Q3,Q4の各画素の値がX34=120.719 となる。 When the above-described filter processing is performed on the image portion illustrated in FIG. 7, an image having a pixel value distribution as shown in FIG. 10 is obtained. In the example of FIG. 7, S1 = 563, S2 = 923, S3 = 2596, S4 = 1267, and from these, V = 2377 and H = 1690. Therefore, since H ≦ V is established, the calculation of S14 is performed, and the value of each pixel in the first and second quadrant areas Q1 and Q2 is X12 = 46.438, the third and fourth quadrant areas Q3 and Q3. The value of each pixel of Q4 is X34 = 120.719.
埋め込み対象画像の画素値が整数しか取り得ない場合は、X12及びX34、X23及びX14の各値は、計算結果の値の小数点以下を丸める(四捨五入でも切り捨てでもよい)ことにより求めればよい。図10には、切り捨てにより丸めた値が示される。図11は図10の濃淡の様子を示す図である。 If the pixel value of the embedding target image can only be an integer, each value of X12 and X34, X23 and X14 may be obtained by rounding the calculated result value below the decimal point (may be rounded off or rounded down). FIG. 10 shows a value rounded by truncation. FIG. 11 is a diagram showing the shade of FIG.
このように、図9の処理によれば、元の埋め込み対象画像の各ブロックが、それぞれ、縦又は横方向のうち当該ブロックでのコントラストが強い方向に濃淡が変化し、コントラストが強い方向に対し直交する方向については濃度が均一な画像となる。したがって、エラーを誘発しやすい対角線(斜め)方向の濃淡変化がブロック中から排除されることになる。このため、そのフィルタ処理後のブロックに対し、図1に示すような対角線方向に特徴的な方向成分を持つパターン画像を合成しても、符号の判別の基礎となる対角線方向の濃淡成分は専らパターン画像の方に由来するものとなるので、符号の復号時のエラー発生の可能性が低くなる。しかも、個々のブロックで見た場合、ブロック全体の濃度は変化せず、しかも濃淡コントラストの強い方向も大きくは変化しないので、フィルタ処理による埋め込み対象画像全体での見栄えの変化は比較的小さい。このようなフィルタ処理結果の画像は、電子透かしシステムの埋め込み対象画像として適したものといえる。 As described above, according to the processing in FIG. 9, each block of the original embedding target image changes in contrast in the direction in which the contrast in the block is strong in the vertical or horizontal direction, and in the direction in which the contrast is strong. In the orthogonal direction, the image has a uniform density. Therefore, the change in shading in the diagonal (diagonal) direction that easily induces an error is eliminated from the block. For this reason, even if a pattern image having characteristic direction components in the diagonal direction as shown in FIG. 1 is synthesized with the block after the filter processing, the grayscale components in the diagonal direction, which are the basis for the discrimination of the codes, are exclusively used. Since it comes from the pattern image, the possibility of occurrence of an error during decoding of the code is reduced. In addition, when viewed in individual blocks, the density of the entire block does not change, and the direction in which the contrast is strong does not change greatly. Therefore, the change in the appearance of the entire embedding target image due to the filter processing is relatively small. Such an image of the filter processing result can be said to be suitable as an image to be embedded in the digital watermark system.
実際に電子透かしシステムにより情報を埋め込んだ画像を用紙紙面に印刷する場合、一般には紙面上での画素の間隔は40μmから100μm程度である。このため、ブロックサイズが数画素〜十数画素程度であれば、上述のようなフィルタ処理を施しても、肉眼では埋め込み対象画像に処理を加えた場合と加えない場合の区別がつきにくく、見栄えを悪化させにくいといえる。 When an image in which information is actually embedded by an electronic watermarking system is printed on a sheet of paper, the pixel spacing on the sheet is generally about 40 μm to 100 μm. For this reason, if the block size is about several pixels to several tens of pixels, even if the above-described filter processing is performed, it is difficult to distinguish between the case where the processing is applied to the embedding target image and the case where the processing is not performed on the naked eye. It can be said that it is difficult to deteriorate.
例えば、図12に示す16×16画素の埋め込み対象画像は対角線方向の画像成分が強いが、これに対し8×8画素のブロックサイズで上述のフィルタ処理を適用すると、図13に示すような濃度分布の画像が得られる。ここで、埋め込む符号を示すパターン画像のサイズを例えば8×8画素とすれば、フィルタ処理後の埋め込み対象画像の8×8画素のブロックには対角線方向の成分が存在しないので、埋め込むパターン画像と干渉しにくい。 For example, the 16 × 16 pixel embedding target image shown in FIG. 12 has a strong image component in the diagonal direction. On the other hand, when the above filter processing is applied with a block size of 8 × 8 pixels, the density shown in FIG. An image of the distribution is obtained. Here, if the size of the pattern image indicating the code to be embedded is, for example, 8 × 8 pixels, there is no diagonal component in the 8 × 8 pixel block of the embedding target image after the filter processing. Hard to interfere.
再び図8の説明に戻り、以上のようにしてフィルタ処理された各ブロックは、ブロック合成部106により、元の埋め込み対象画像における当該ブロックの位置に配置され、埋め込み対象画像全体に対応するフィルタ処理結果の画像が求められる。
Returning to the description of FIG. 8 again, each block filtered as described above is arranged at the position of the block in the original embedding target image by the
一方、電子透かし印刷装置200では、付加画像生成部202が特許文献1の手法により付加情報に対応した付加画像データを生成し、埋め込み処理部204が、その付加画像データを、ブロック合成部106から供給されるフィルタ処理済みの埋め込み対象データに合成する。
On the other hand, in the digital
このようにして得られた情報埋め込み済みの画像は、上述したように、符号の読み取りエラーの生じる可能性が低いものとなる。 As described above, the information-embedded image obtained in this way is less likely to cause a code reading error.
以上説明した実施形態は、あくまで一例に過ぎず、本発明の技術的思想の範囲内で様々な変形が考えられる。 The embodiment described above is merely an example, and various modifications are possible within the scope of the technical idea of the present invention.
例えば、上記実施形態では、S16及びS18では、ブロックを2分割した各領域の画素値をそれぞれその領域の平均値に変換したが、これは一例に過ぎない。原理的には、厳密に平均までしなくても、2分割した領域の各々の内部の画素値の分布が均一に近づくようにすれば、ある程度の効果を得ることが出来る。例えば、H≦Vが成立した場合、領域Q1の画素値総和S1と領域Q2の画素値総和S2がほぼ均等になるようにし、かつ領域Q1と領域Q2に含まれる画素の総和は処理前の領域Q1に含まれる画素の画素値の総和S1との領域Q2に含まれる画素の画素値の総和S2の和S1+S2にほぼ等しくし、領域Q3に含まれる画素の画素値の総和と領域Q4に含まれ画素の画素値の総和がほぼ均等になるようにし、かつ領域Q3と領域Q4に含まれる画素の総和は処理前の領域Q3に含まれる画素の画素値の総和S3との領域Q4に含まれる画素の画素値の総和S4の和S3+S4にほぼ等しくすれば、S16で行った平均処理に近い効果を得ることが出来る。同様に、H≦Vが成立しなかった場合、領域Q1に含まれる画素の画素値の総和と領域Q4に含まれ画素の画素値の総和がほぼ均等になるようにし、かつ領域Q1と領域Q4に含まれる画素の総和は処理前の領域Q1に含まれる画素の画素値の総和S1との領域Q4に含まれる画素の画素値の総和S4の和S1+S4にほぼ等しくし、領域Q2に含まれる画素の画素値の総和と領域Q3に含まれる画素の画素値の総和がほぼ均等になるようにし、かつ領域Q2と領域Q3に含まれる画素の総和は処理前の領域Q2に含まれる画素の画素値の総和S2との領域Q3に含まれる画素の画素値の総和S3の和S2+S3にほぼ等しくすればよい。 For example, in the above embodiment, in S16 and S18, the pixel value of each region obtained by dividing the block into two is converted into the average value of each region, but this is only an example. In principle, a certain degree of effect can be obtained if the distribution of the pixel values inside each of the two divided regions is made to approach evenly without strictly averaging. For example, when H ≦ V is established, the pixel value sum S1 of the region Q1 and the pixel value sum S2 of the region Q2 are made substantially equal, and the sum of the pixels included in the region Q1 and the region Q2 is the region before processing The sum S1 + S2 of the pixel values included in the region Q3 and the sum S1 + S2 of the pixel values included in the region Q3 and the sum S1 + S2 of the pixels included in the region Q3 are included in the region Q4. Pixels included in the region Q4 such that the sum of the pixel values of the pixels is substantially equal and the sum of the pixels included in the region Q3 and the region Q4 is the sum of the pixel values S3 of the pixels included in the region Q3 before processing If the sum S3 + S4 of the sum S4 of the pixel values is substantially equal, an effect close to the averaging process performed in S16 can be obtained. Similarly, when H ≦ V does not hold, the sum of the pixel values of the pixels included in the region Q1 and the sum of the pixel values of the pixels included in the region Q4 are substantially equal, and the regions Q1 and Q4 The sum of the pixels included in the pixel Q is approximately equal to the sum S1 + S4 of the sum S4 of the pixel values of the pixels included in the region Q4 with the sum S1 of the pixel values of the pixels included in the region Q1 before processing, and the pixels included in the region Q2 And the sum of the pixel values of the pixels included in the region Q3 are substantially equal, and the sum of the pixels included in the region Q2 and the region Q3 is the pixel value of the pixels included in the region Q2 before processing. The sum S2 and the sum S3 of the sum S3 of the pixel values of the pixels included in the region Q3 may be substantially equal.
また、上記実施形態では、ブロック分割部102で埋め込み対象画像をブロック分割する際のブロックのサイズを、埋め込む符号を表すパターン画像のサイズと一致させたが、これも必須ではない。例えば、ブロックのサイズをパターン画像のサイズの整数倍としてもよく、この場合フィルタ処理後の埋め込み対象画像は粗くなるものの、パターン画像との干渉の低減効果としてはブロックサイズをパターン画像と同サイズとした場合と同等の効果が得られる。また、ブロックのサイズをパターン画像のサイズより小さくしてもよく、この場合パターン画像との干渉の低減効果はブロックサイズをパターン画像と同サイズとした場合よりも落ちるが、フィルタ処理の前後で埋め込み対象画像の見栄えの変化は少なくなる。
In the above embodiment, the block size when the
また、以上では、付加情報の符号を表現するパターン画像として、水平及び垂直方向のエッジを持つものを用いる場合を例にとって説明したが、本発明はこのようなパターン画像に限られるものではない。原理的には、本発明は、互いに交わる2つのエッジにより分割された4つの領域のうち、エッジを介して隣り合う領域同士の画素値の差が、隣り合わない領域同士の画素値の差よりも大きくなるように設定されたパターン画像を用いる場合に適用可能である。フィルタ処理部104は、ブロック分割部102により分割されたブロックごとに、パターン画像が2つのエッジにより分割されるのと相似な関係で当該ブロックを2つの分割線により分割し、それら2つのエッジの一方に平行な分割線により2分割した場合の各分割領域間のコントラストと、もう一方のエッジに平行な分割線により2分割した場合の各分割領域間のコントラストとを求める。そして、コントラストがより大きい方の分割による各分割領域について、それぞれ当該分割領域の画素値の合計を維持しつつ各画素値が均一化するようにフィルタ処理を行えばよい。
In the above description, the case where a pattern image having a horizontal and vertical edge is used as the pattern image expressing the code of the additional information has been described as an example. However, the present invention is not limited to such a pattern image. In principle, according to the present invention, among the four regions divided by the two edges that intersect each other, the difference in pixel values between regions adjacent to each other through the edge is greater than the difference in pixel values between regions that are not adjacent to each other. This is applicable when using a pattern image set so as to be large. For each block divided by the
100 画像処理装置、102 ブロック分割部、104 フィルタ処理部、106 ブロック合成部、200 電子透かし印刷装置、202 付加画像生成部、204 埋め込み処理部、300 電子透かしスキャン装置。
DESCRIPTION OF
Claims (4)
前記埋め込み対象画像を所定サイズのブロックに分割するブロック分割部と、
分割されたブロックごとに、当該ブロックを前記パターン画像の2つのエッジの一方に平行な分割線により2分割した場合の各分割領域間のコントラストと、もう一方のエッジに平行な分割線により2分割した場合の各分割領域間のコントラストとを求め、コントラストがより大きい方の分割による各分割領域について、それぞれ当該分割領域の画素値の合計を維持しつつ各画素値が均一化するようにフィルタ処理を施すフィルタ処理部と、
前記フィルタ処理部により処理された埋め込み対象画像に対し前記付加画像を合成することで前記付加情報が埋め込まれた画像を生成する埋め込み処理部と、
を備える画像処理装置。 Among the four areas divided by two edges that intersect each other, a plurality of pixels that are set such that the difference in pixel values between areas adjacent to each other through the edges is larger than the difference in pixel values between areas that are not adjacent to each other An image processing apparatus that forms an additional image representing additional information by arranging various types of pattern images, and synthesizes the additional image with an embedding target image to generate an image in which the additional information is embedded. There,
A block dividing unit that divides the embedding target image into blocks of a predetermined size;
For each divided block, when the block is divided into two by a dividing line parallel to one of the two edges of the pattern image, the contrast between the divided areas is divided into two by a dividing line parallel to the other edge. In this case, for each divided region having a higher contrast, the pixel value is uniformized while maintaining the sum of the pixel values of the divided region. A filter processing unit for applying
An embedding processing unit that generates an image in which the additional information is embedded by combining the additional image with an embedding target image processed by the filter processing unit;
An image processing apparatus comprising:
前記埋め込み対象画像を所定サイズのブロックに分割するステップと、
分割されたブロックごとに、当該ブロックを前記パターン画像の2つのエッジの一方に平行な分割線により2分割した場合の各分割領域間のコントラストと、もう一方のエッジに平行な分割線により2分割した場合の各分割領域間のコントラストとを求め、コントラストがより大きい方の分割による各分割領域について、それぞれ当該分割領域の画素値の合計を維持しつつ各画素値が均一化するようにフィルタ処理を施すステップと、
前記フィルタ処理が施された埋め込み対象画像に対し前記付加画像を合成することで前記付加情報が埋め込まれた画像を生成するステップと、
を有する画像処理方法。 Among the four areas divided by two edges that intersect each other, a plurality of pixels that are set such that the difference in pixel values between areas adjacent to each other through the edges is larger than the difference in pixel values between areas that are not adjacent to each other An image processing method for generating an image in which additional information is embedded by forming an additional image expressing additional information by arranging different types of pattern images and synthesizing the additional image with an image to be embedded. There,
Dividing the embedding target image into blocks of a predetermined size;
For each divided block, when the block is divided into two by a dividing line parallel to one of the two edges of the pattern image, the contrast between the divided areas is divided into two by a dividing line parallel to the other edge. In this case, for each divided region having a higher contrast, the pixel value is uniformized while maintaining the sum of the pixel values of the divided region. Applying steps,
Generating an image in which the additional information is embedded by synthesizing the additional image with the embedding target image subjected to the filtering process;
An image processing method.
前記埋め込み対象画像を所定サイズのブロックに分割するステップと、
分割されたブロックごとに、当該ブロックを前記パターン画像の2つのエッジの一方に平行な分割線により2分割した場合の各分割領域間のコントラストと、もう一方のエッジに平行な分割線により2分割した場合の各分割領域間のコントラストとを求め、コントラストがより大きい方の分割による各分割領域について、それぞれ当該分割領域の画素値の合計を維持しつつ各画素値が均一化するようにフィルタ処理を施すステップと、
前記フィルタ処理が施された埋め込み対象画像に対し前記付加画像を合成することで前記付加情報が埋め込まれた画像を生成するステップと、
を実行させるプログラム。
Among the four areas divided by two edges that intersect each other, a plurality of pixels that are set such that the difference in pixel values between areas adjacent to each other through the edges is larger than the difference in pixel values between areas that are not adjacent to each other An image processing device that forms an additional image representing additional information by arranging different types of pattern images and generates an image in which the additional information is embedded by synthesizing the additional image with an embedding target image. As a program for causing a computer system to function as a computer system,
Dividing the embedding target image into blocks of a predetermined size;
For each divided block, when the block is divided into two by a dividing line parallel to one of the two edges of the pattern image, the contrast between the divided areas is divided into two by a dividing line parallel to the other edge. In this case, for each divided region having a higher contrast, the pixel value is uniformized while maintaining the sum of the pixel values of the divided region. Applying steps,
Generating an image in which the additional information is embedded by synthesizing the additional image with the embedding target image subjected to the filtering process;
A program that executes
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005039727A JP4337745B2 (en) | 2005-02-16 | 2005-02-16 | Image processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005039727A JP4337745B2 (en) | 2005-02-16 | 2005-02-16 | Image processing apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006229495A JP2006229495A (en) | 2006-08-31 |
JP4337745B2 true JP4337745B2 (en) | 2009-09-30 |
Family
ID=36990466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005039727A Expired - Fee Related JP4337745B2 (en) | 2005-02-16 | 2005-02-16 | Image processing apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4337745B2 (en) |
-
2005
- 2005-02-16 JP JP2005039727A patent/JP4337745B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006229495A (en) | 2006-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4269861B2 (en) | Printed material processing system, watermarked document printing device, watermarked document reading device, printed material processing method, information reading device, and information reading method | |
US7894626B2 (en) | System and method for the generation of multiple angle correlation-based digital watermarks | |
JP4296126B2 (en) | Screen creation device | |
JP2004140825A (en) | Foreground/background document processing using dataglyphs | |
JP2006314125A (en) | Processing method and system for password of digital image | |
JP2009182957A (en) | Printing and authentication of security document on substrate | |
KR100864997B1 (en) | Image processing method and device | |
JP4807414B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US10992837B2 (en) | Information processing apparatus, control method thereof, and storage medium | |
JP2009246967A (en) | Method of generating high quality scanned image of document | |
JP4337745B2 (en) | Image processing apparatus and method | |
JP4469301B2 (en) | Information embedding device, printing medium, and information reading device | |
JP2007194934A (en) | Image formation system, encoded data embedding system, printer, printed matter, image forming program, and recording medium | |
JP4038956B2 (en) | Image generation system and image generation method | |
JP2017072958A (en) | Image processing device, method and program for decoding information multiplexed on image | |
JP4541213B2 (en) | Digital watermark insertion method, digital watermark detection method, digital watermark insertion device, and digital watermark detection device | |
JP6006676B2 (en) | Marker embedding device, marker detecting device, marker embedding method, marker detecting method, and program | |
JP2005333359A (en) | Method for embedding information and method for extracting information | |
JP4927058B2 (en) | Information embedded image generating apparatus, information reading apparatus, information embedded image generating method, information reading method, information embedded image generating program, and information reading program | |
JP2008148110A (en) | Image processor and control method thereof | |
JP2008160250A (en) | Image processing apparatus and image processing program | |
JP3478781B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2009260717A (en) | Electronic watermark embedding apparatus, electronic watermark detecting apparatus, method, and program | |
JP4179177B2 (en) | Image processing apparatus and image processing method | |
JP4964263B2 (en) | Tamper detection information generation device, image generation device, and tamper detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090609 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090622 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130710 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |