JP3563270B2 - 電子透かし画像の認証方法 - Google Patents

電子透かし画像の認証方法 Download PDF

Info

Publication number
JP3563270B2
JP3563270B2 JP24334698A JP24334698A JP3563270B2 JP 3563270 B2 JP3563270 B2 JP 3563270B2 JP 24334698 A JP24334698 A JP 24334698A JP 24334698 A JP24334698 A JP 24334698A JP 3563270 B2 JP3563270 B2 JP 3563270B2
Authority
JP
Japan
Prior art keywords
image
inspection target
original
target image
digital watermark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24334698A
Other languages
English (en)
Other versions
JP2000076418A (ja
Inventor
和典 中野
順一 田口
裕 吉浦
功 越前
豊 黒須
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP24334698A priority Critical patent/JP3563270B2/ja
Priority to US09/383,199 priority patent/US6418232B1/en
Publication of JP2000076418A publication Critical patent/JP2000076418A/ja
Application granted granted Critical
Publication of JP3563270B2 publication Critical patent/JP3563270B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0064Geometric transfor invariant watermarking, e.g. affine transform invariant

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ロゴマーク・販売日・販売先などの各種情報を認証用情報として埋め込んだ画像の認証方法に関する。
【0002】
【従来の技術】
ロゴマーク・販売日・販売先などの各種情報を、認証用情報として画像に埋め込んで隠し持たせる技術は、一般に、電子透かし技術と呼ばれ、「日経エレクトロニクス(1997年)953号」の99頁〜124頁に記載されている。
【0003】
電子透かし技術によれば、例えば、ディジタル著作物である画像の販売者は、販売先を示す情報を認証用情報として原画像に埋め込み、電子透かし画像として販売すれば、不正行為がなされた疑いがある画像から、販売時に埋め込んだ認証用情報に相当する情報を抽出することで、不正行為の有無が分かると共に、不正行為がなされた場合には、そのような画像の販売先を特定することが可能となる。
【0004】
なお、電子透かし技術では、認証用情報を重複して埋め込むことで、電子透かし画像の部分切り出しに対する耐久性を向上させるようにした方法がある。
【0005】
【発明が解決しようとする課題】
ところで、ユーザが不正行為を隠蔽する場合に、以下の2つの方法が考えられる。
【0006】
(1)電子透かし画像から、埋め込まれている認証用情報を取り除く。
【0007】
(2)埋め込まれている認証用情報の抽出を妨げるために、画像変形などの改竄を行う。
【0008】
従来の電子透かし技術では、項目(1)を防止する各種方法が考案されている。しかし、項目(2)を防止する方法は、認証用情報を重複して埋め込む方法しかなく、この方法で防止可能な改竄は、電子透かし画像の部分切り出しのみであった。
【0009】
拡大/縮小や回転などの幾何的な座標変換を施した改竄では画像劣化が起こるが、従来の電子透かし技術では、画像劣化を考慮していないので、劣化した画像から、認証用情報に相当する情報を精度よく抽出することができなかった。
【0010】
そこで、本発明の目的は、改竄によって劣化した画像についても、認証用情報に相当する情報を精度よく抽出することを可能とすることにある。
【0011】
【課題を解決するための手段】
上記目的を達成するために、本発明は、第1に、
認証用情報を原画像に埋め込んだ画像である電子透かし画像を作成する埋め込み処理と、
検査対象画像から上記認証用情報に相当する情報を抽出する抽出処理と、
上記抽出処理で抽出した情報を基に、上記検査対象画像の正当性を認証する認証処理とを実行し、
上記抽出処理において、
上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、
上記原画像を各々劣化させた複数種類の劣化原画像を作成し、
幾何変換した検査対象画像と複数種類の劣化原画像の各々との間の差分をとった複数の差分画像を作成し、
複数の差分画像の各々から、上記認証用情報に相当する情報を抽出することを特徴とした電子透かし画像の認証方法を提供している。
【0012】
また、上記目的を達成するために、本発明は、第2に、
認証用情報を原画像に埋め込んだ画像である電子透かし画像を作成する埋め込み処理と、
検査対象画像から上記認証用情報に相当する情報を抽出する抽出処理と、
上記抽出処理で抽出した情報を基に、上記検査対象画像の正当性を認証する認証処理とを実行し、
上記抽出処理において、
上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、
上記原画像を各々劣化させた複数種類の劣化原画像を作成し、
幾何変換した検査対象画像と複数種類の劣化原画像の各々との間の差分をとった複数の差分画像を作成し、
複数の差分画像を各々表示し、外部から指示された差分画像から、上記認証用情報に相当する情報を抽出することを特徴とした電子透かし画像の認証方法を提供している。
【0013】
また、上記目的を達成するために、本発明は、第3に、
認証用情報を原画像に埋め込んだ画像である電子透かし画像を作成する埋め込み処理と、
検査対象画像から上記認証用情報に相当する情報を抽出する抽出処理と、
上記抽出処理で抽出した情報を基に、上記検査対象画像の正当性を認証する認証処理とを実行し、
上記抽出処理において、
上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、
上記原画像を各々劣化させた複数種類の劣化原画像を作成し、
幾何変換した検査対象画像と複数種類の劣化原画像の各々との間の差分をとった複数の差分画像を作成し、
複数の差分画像の各々について誤差の統計量を算出し、算出した統計量が最小の差分画像から、上記認証用情報に相当する情報を抽出することを特徴とした電子透かし画像の認証方法を提供している。
【0014】
すなわち、本発明の考え方は、
上記抽出処理において、
上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、
幾何変換した検査対象画像の、上記原画像に対する画像劣化の程度を推定し、
推定した程度だけ上記原画像を劣化させた劣化原画像を作成し、
幾何変換した検査対象画像と作成した劣化原画像との間の差分をとった差分画像から、上記認証用情報に相当する情報を抽出するようにするということであり、画像劣化の程度を推定することを現実問題としたときに、それを可能とするために、予め複数種類の劣化原画像を作成するようにしている。
【0015】
なお、いずれの方法においても、
上記抽出処理において、
上記検査対象画像と上記原画像との間の対応位置を定める複数の対応点から、上記原画像および上記検査対象画像を互いに同縮尺のサイズに幾何変換するために必要な相互の幾何変換係数を算出し、
算出した相互の幾何変換係数を基に、予め用意された複数種類の補間法を各々用いて補間しながら、上記原画像を、上記検査対象画像と同縮尺のサイズに幾何変換してから、再び元のサイズに幾何変換することで、
上記原画像を各々劣化させた複数種類の劣化原画像を作成するようにすることができる。
【0016】
また、いずれの方法においても、
上記抽出処理において、
上記検査対象画像と上記原画像との間の対応位置を定める複数の対応点から、上記検査対象画像を幾何変換するために必要な幾何変換係数を算出し、
算出した幾何変換係数を基に、上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換するようにすることができる。
【0017】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【0018】
(第1の実施形態)
以下、本発明の第1の実施形態について説明する。
【0019】
第1の実施形態に係る電子透かしシステムは、ディジタル著作物である原画像に認証用情報を埋め込んだ電子透かし画像を販売すると共に、検査対象画像から、認証用情報に相当する情報を抽出し、販売時に埋め込んだ認証用情報と比較することで、ユーザの不正行為を発見・対処するものである。
【0020】
図1に、第1の実施形態に係る電子透かしシステムの動作概要を示す。
【0021】
図1に示すように、第1の実施形態に係る電子透かしシステムにおいては、埋め込み処理110および抽出処理120が、以下の手順に従った処理を行う。
【0022】
手順1:まず、埋め込み処理110が、原画像である画像A101および認証用データ(認証用情報)102を入力し、画像A101に対する埋め込み座標を示す埋め込み位置103を決定し、決定した埋め込み位置103を基に、販売すべき電子透かし画像である画像B104を作成する。
【0023】
手順2:続いて、埋め込み処理110が、作成した画像B104をユーザへ販売する。
【0024】
ここで、ユーザが、購入した画像B104に対して、改竄・転売・譲渡等の不正行為を働いたものと仮定し、ユーザが不正行為を働いた画像を、画像B’105とする。
【0025】
手順3:抽出処理120が、画像B’105を入手する。
【0026】
手順4:続いて、抽出処理120が、入手した画像B’105から、埋め込み位置103に基づいて、検出データ(認証用情報に相当する情報)106を抽出する。
【0027】
これにより、抽出された検出データ106と認証用データ102とを比較することで、ユーザの不正行為の有無を判断することが可能となる。
【0028】
なお、第1の実施形態に係る電子透かしシステムは、上述した手順を実行するためのアルゴリズムを記述したプログラムを、パーソナルコンピュータなどの情報処理装置にインストールすることで、実現することが可能である。
【0029】
上記手順における各種データについて、図2を用いて説明する。
【0030】
図2に示すように、認証用データ102は、ロゴマーク・販売日・販売先などの、ユーザの不正行為の有力な判断となり得る情報を、2次元の画像として表現したものであり、各ピクセル値は、0または1の2値をとる。
【0031】
また、図2に示すように、埋め込み位置103は、画像A101に対する認証用データ102の埋め込み座標を番号付けした表である。埋め込み処理110は、埋め込み位置103を基に、認証用データ102を画像A101に埋め込むことで、画像B104を作成する。
【0032】
そこで、図2に示すように、画像A101および画像B104は、共に、2次元の濃淡画像であり、目視では同じ画像に見えるが、画像B104には、認証用データ102が画像全体にまばらに配置されている。
【0033】
一方、図2に示すように、画像B’105は、画像B104に対して、ユーザが切り出し・回転・拡大/縮小などの改竄を行ったものである。抽出処理120は、画像B’105から、埋め込み位置103を基に、検出データ106を抽出する。
【0034】
画像B104から抽出される検出データ106は、認証用データ102と同じものとなるが、画像B’105は改竄された画像であることから、図2に示すように、画像B’105から抽出される検出データ106は、認証用データ102とは異なるものとなる。
【0035】
このように、第1の実施形態に係る電子透かしシステムにおいては、原画像(=画像A101)に認証用データ102を埋め込んだ電子透かし画像(=画像B104)、または、ユーザが改竄した電子透かし画像(=画像B’105)を検査対象画像として、検査対象画像から検出データ106を抽出し、認証用データ102と比較するものである。
【0036】
ここで、上述したように、拡大/縮小や回転などの幾何的な座標変換を施した改竄では画像劣化が起こるが、従来の電子透かし技術では、画像劣化を考慮していないので、劣化した検査対象画像から、検出データ106を精度よく抽出することができなかった。
【0037】
そこで、第1の実施形態においては、改竄によって劣化した検査対象画像についても、検出データ106を精度よく抽出することを可能とするために、抽出処理120が、検出データ106を抽出する際に、まず、検査対象画像を、原画像と同縮尺のサイズに幾何変換し、続いて、原画像を画像劣化させた劣化原画像を複数種類作成し、これらの劣化原画像の各々と幾何変換した検査対象画像との間で差分をとることで、画像の劣化成分を相殺させてから、検出データ106を抽出するようにした点を特徴としている。
【0038】
複数種類の劣化原画像を作成することで、これらの劣化原画像のうちのいずれか1つが、検査対象画像と同程度の画像劣化を有することになるので、そのような劣化原画像と検査対象画像との間の差分画像から、検出データ106を抽出すれば、検出データ106の精度を向上させることが可能となる。
【0039】
以下、埋め込み処理110について説明し、次に、第1の実施形態の特徴を有する抽出処理120について説明する。
【0040】
図3は、埋め込み処理110の処理手順を示すフローチャートである。
【0041】
図3に示すように、埋め込み処理110においては、まず、認証用データ102をビット列変換する(ステップ301)。ステップ301では、詳しくは、図4に示すように、認証用データ102の座標(0,0)のピクセルから、x軸方向に順に走査していき、0または1の一連のビット列401を作成する。
【0042】
続いて、ステップ301で作成したビット列401から、±α(αは定数)の符号データを作成する(ステップ302)。ステップ302では、詳しくは、図4に示すように、ビット列401において、0を−αに置換し、1を+αに置換する処理を実行し、±αの符号データ402を作成する。
【0043】
続いて、原画像である画像A101を、m×mの領域(mは定数)に分割し、分割した各領域内の分散を求める(ステップ303)。ステップ303では、詳しくは、分割した各領域内の分散を、次式を用いて求め、図4に示す分散マップ403を作成する。
【0044】
【数1】
Figure 0003563270
【0045】
続いて、ステップ303で作成した分散マップ403を基に、埋め込み位置103を決定する(ステップ304)。ステップ304では、詳しくは、図4に示すように、分散マップ403において、分散が大きい順に、領域中央の座標(x,y)を求め、埋め込み位置103とする。このとき、埋め込み位置103の個数q(qは定数)に達するまで、座標(x,y)を求めていき、符号データ402を繰り返し埋め込めるよう、埋め込み位置103を決定する。ここで、q>符号データ402のデータ数であり、埋め込み位置103の番号=1,…,符号データ402のデータ数である。
【0046】
続いて、ステップ304で決定した埋め込み位置103を基に、埋め込み画像を作成する(ステップ305)。ステップ305では、詳しくは、図4に示すように、埋め込み位置103を基に、符号データ402中の各データを順に配置し、埋め込み画像404を作成する。このとき、埋め込み位置103の最大番号qに達するまで、繰り返し配置を行う。そこで、埋め込み画像404は、埋め込み位置103の座標を中心としたm×mの領域に対して、−αまたは+αの値となり、その他の領域に対して、0の値となる。
【0047】
続いて、ステップ305で作成した埋め込み画像404と原画像である画像A101とを加算することで、電子透かし画像である画像B104を作成する(ステップ306)。ステップ306では、詳しくは、埋め込み画像404および画像A101の全ピクセルについて、同一座標(x,y)上のピクセル値を加算する。
【0048】
図5は、抽出処理120の処理手順を示すフローチャートである。
【0049】
なお、ここでは、検査対象画像が画像B’105であるものとして説明する。
【0050】
図5に示すように、抽出処理120においては、まず、原画像である画像A101と検査対象画像である画像B’105との間の位置関係を明確にするために、マッチング処理を行って、図6に示す複数の対応点511を求める(ステップ501)。
【0051】
マッチング処理には種々の方法があり、特に基本となる方法としては、「画像解析ハンドブック(高木幹雄・下田陽久監修,東京大学出版会,平成3年1月発行)」の707頁〜712頁に記載されているテンプレートマッチングがある。
【0052】
テンプレートマッチングの詳細については説明を省略するが、その特徴について以下に説明する。
【0053】
画像A101に対してテンプレートを設け、画像B’105に対してサーチエリアを設ける。テンプレートは、画像中のエッジなどの特徴点を中心とした小領域の画像であり、サーチエリアは、テンプレートの画像が映っている領域の画像である。テンプレートマッチングによって、テンプレートに対するサーチエリア内の類似度の大きな場所が出力され、テンプレートの中心位置、および、類似度の大きな場所が、画像A101と画像B’105との間の対応位置を定める対応点511となる。
【0054】
そこで、このような動作を繰り返すことで、複数個の対応点511を求めることができる。なお、後述するアフィン変換係数を求めるためには、ステップ501では、少なくとも3個の対応点511を求めておく必要がある。
【0055】
さて、ステップ501のマッチング処理に失敗がなく、求めた対応点511が全て正確な対応位置を示していると仮定して、以下のステップに進む。なお、マッチング処理に失敗した場合の処理については、第2の実施形態として後述する。
【0056】
図5に戻って、抽出処理120においては、ステップ501で求めた対応点511を基に、画像B’105を幾何変換し、画像A101と同縮尺のサイズの画像を作成する(ステップ502)。詳しくは、ステップ502では、図7に示すように、画像B’105を幾何変換し、画像A101と同縮尺のサイズの画像である画像C701を作成する。
【0057】
ステップ502の手順は、以下の通りである。
【0058】
すなわち、ステップ502では、まず、ステップ501で求めた対応点511を基に、幾何変換係数を算出する。ここでは、幾何変換の種類として、アフィン変換(1次変換)を例にして説明する。アフィン変換式を次式に示す。
【0059】
【数2】
Figure 0003563270
【0060】
本式にて画像C701の点から画像B’105の点を算出することにより、画像B’105を画像C701へ幾何変換することに注意する。
【0061】
なお、アフィン変換の幾何変換係数(a,b,c,d,e,f)は、次式から最小2乗法を用いて算出する。最小2乗法の詳細は、「たれでもわかる数値解析入門(新濃清志・船田哲夫共薯,近代科学社,平成7年12月発行)」の49頁〜56頁に記載されているので、説明を省略する。
【0062】
【数3】
Figure 0003563270
【0063】
【数4】
Figure 0003563270
【0064】
続いて、ステップ502では、画像C701上の着目格子点(xc,yc)の座標を、上記アフィン変換式にて幾何変換して、画像B’105上の浮動小数点(xb,yb)の座標を算出する。さらに、画像B’105上の浮動小数点(xb,yb)近傍の4×4格子点のピクセル値を用いて、キュービックコンボリューションにより、画像C701上の着目格子点(xc,yc)のピクセル値を算出する。
【0065】
なお、キュービックコンボリューションの詳細は、「画像解析ハンドブック(高木幹雄・下田陽久監修,東京大学出版会,平成3年1月発行)」の443頁〜444頁に記載されているので、説明を省略する。
【0066】
図5に戻って、抽出処理120においては、画像A101を劣化させた複数種類の劣化原画像を作成する(ステップ503)。詳しくは、ステップ503では、画像A101を劣化させ、図7に示すように、劣化原画像An702(n=1,2,…,p:pは補間法の個数)を作成する。
【0067】
ステップ503の手順を、図8を用いて説明する。
【0068】
すなわち、ステップ503では、図8に示すように、まず、ステップ501で求めた対応点511を基に、画像A101から画像B104への幾何変換および逆幾何変換の係数を算出する(ステップ801)。幾何変換係数および逆幾何変換係数は、ステップ502と同様にして算出できる。
【0069】
続いて、予め用意された複数種類の補間法のうちの1つを選択する(ステップ802)。ここでは、一般によく知られている、キュービックコンボリューション,バイリニア,二アレストネイバーという3種類(p=3)の補間法を用意することとする。なお、これらの補間法の詳細は、「画像解析ハンドブック(高木幹雄・下田陽久監修,東京大学出版会,平成3年1月発行)」の441頁〜444頁に記載されているので、説明を省略する。
【0070】
続いて、ステップ802で選択した補間法を用いて、画像A101を幾何変換し、画像A’を作成する(ステップ803)。ステップ802では、詳しくは、画像A’上の着目格子点(xa’,ya’)の座標を幾何変換式で幾何変換して、画像A101上の不動小数点(xa,ya)の座標を算出し、さらに、画像A101上の浮動小数点(xa,ya)近傍の格子点のピクセル値を基に、選択した補間法を用いて、画像A’上の着目格子点(xa’,ya’)のピクセル値を算出することで、画像A’を作成する。
【0071】
続いて、ステップ803で作成した画像A’を逆幾何変換し、劣化原画像Anを作成する(ステップ804)。なお、逆幾何変換は、補間をキュービックコンボリューションとし、ステップ803における幾何変換と同様の処理を行う。
【0072】
全ての補間法(本例では、キュービックコンボリューション,バイリニア,二アレストネイバーという3種類の補間法)が終了するまで(ステップ805)、ステップ801〜ステップ804を繰り返す。
【0073】
これにより、原画像である画像A101を劣化させた複数種類の劣化原画像An702を作成することができる。これらの劣化原画像An702のうちのいずれか1つは、ユーザの改竄時に劣化を生じた画像B’105と同程度の画像劣化を有することになるので、後述する検出データ106の抽出精度を向上させることが可能となる。
【0074】
図5に戻って、抽出処理120においては、ステップ502で作成した画像C701と、ステップ503で作成した劣化原画像An702の各々との間の差分をとる(ステップ504)。詳しくは、ステップ504では、画像C701から劣化原画像An702を減算し、図7に示すように、差分画像n703を作成する。具体的には、画像C701および劣化原画像Anの同一座標(x,y)上のピクセル値の差分をとる処理を、全ピクセルについて終了するまで、繰り返し実行する。そして、画像C701にピクセルがない場合(劣化原画像Anより画像Cの方が小さい画像である場合)には、0値を代入する。
【0075】
ここで、画像C701および劣化原画像Anの、画像A101に対する画像劣化の程度が同程度であった場合、差分画像n703は、符号データ402を配置して作成した埋め込み画像404の全体または一部と類似した画像となる。
【0076】
すなわち、画像C701上の(x,y)におけるピクセル値をcとし、画像劣化がない真値をc’とし、画像劣化が同程度である画像An701上の(x,y)におけるピクセル値をaとし、画像劣化がない真値をa’とし、劣化値をγとすると、ピクセルc−ピクセルaは、(c’−γ)−(a’−γ)=c’−a’となり、これは、画像C701の真値−画像An101の真値に相当する。この結果、差分画像n703では、画像C701および劣化原画像Anで同程度の劣化値γが相殺される。
【0077】
続いて、埋め込み処理110で決定した埋め込み位置103を基に、ステップ504で作成した差分画像nから、埋め込み位置103に相当するピクセル値のフラグを検出する(ステップ505)。詳しくは、ステップ505では、ステップ504で作成した差分画像nの、埋め込み位置103に相当するピクセル値の正負のフラグを判定し、図7に示すように、検出フラグn704を作成する。具体的には、埋め込み位置103の番号順に、埋め込み位置103の座標を中心としたm×mの小領域のピクセル値の平均をとり、その平均値が正値である場合に+とし、負値である場合に−とし、0値である場合に空白とした、フラグの列を作成する。なお、埋め込み位置103の番号が同じである複数の座標については、正負のフラグを判定した後で、+が−より多ければ+にし、逆であれば−にする処理を、p個の差分画像について行うようにする。
【0078】
続いて、ステップ505で作成した検出フラグn704をビット列変換する(ステップ506)。詳しくは、ステップ506では、図7に示すように、検出フラグn704において、+を1に置換し、−をに置換し、空白をそのままに置換する処理を、n個のフラグの各々について実行することで、0または1の一連のビット列705を作成する。
【0079】
続いて、ステップ506で作成したビット列705を、検出データn106に変換する(ステップ507)。詳しくは、ステップ507では、図7に示すように、ビット列705のビットを順に走査していき、検出データn106のピクセル値に置き換える。
【0080】
上述した抽出処理120によって、劣化原画像An702の違いによるp個の検出データ106が得られることとなる。これらの検出データ106のうち、認証用データ102に類似するものがあれば、画像B’105は画像B104を改竄された画像であり、ユーザによる不正行為があった証拠となり得る。
【0081】
以上説明したように、第1の実施形態によれば、抽出処理120が、検出データ106を抽出する際に、まず、検査対象画像を、原画像と同縮尺のサイズに幾何変換し、続いて、原画像を画像劣化させた劣化原画像を複数種類作成し、これらの劣化原画像の各々と幾何変換した検査対象画像との間で差分をとることで、画像の劣化成分を相殺させてから、検出データ106を抽出するようにしているので、改竄によって劣化した検査対象画像についても、検出データ106を精度よく抽出することができる。
【0082】
なお、第1の実施形態においては、認証用データ102が2次元画像であるものとして説明したが、認証用データ102を、一般に知られているASCIIコードなどの文字コード列であるようにしてもよい。このようにする場合は、埋め込み処理110が、図3のステップ301で、文字コード列をビット列に変換するようにすると共に、抽出処理120が、図5のステップ507で、ビット列を文字コード列の検出データ106に変換するようにすればよい。
【0083】
また、第1の実施形態においては、抽出処理120が、p個の検出データ106を作成したが、1個の検出データ106のみを作成するようにすることができる。このようにする場合、p個の差分画像703を作成した時点で、検出データ106の抽出に適切な差分画像n703を特定し、特定した差分画像n703についてのみ、図5のステップ505〜ステップ507を実行するようにすればよい。
【0084】
ここで、適切な差分画像n703を特定するためには、以下の2つの方法が考えられる。
【0085】
1つ目は、p個の差分画像n703を印刷または表示し、目視による選択を行わせる方法である。検査者は、ノイズが多い差分画像n703を排除し、埋め込み位置103のm×m領域が目視で確認できる差分画像n703を選択すればよい。
【0086】
2つ目は、p個の差分画像n703の各々のRMS(2乗誤差平均の平方根)などの統計量を用いて特定する方法である。例えば、RMSを用いる場合は、RMS値が小さい差分画像n703を選択すればよい。
【0087】
また、第1の実施形態においては、検出データ106と認証用データ102とを比較することで、ユーザの不正行為の有無を判断するものとして説明したが、検出データ106の精度が高い場合など、比較の必要がない場合には、検出データ106の内容から、ユーザの不正行為の有無を判断するようにすることも可能である。
【0088】
また、第1の実施形態においては、認証用データ102が1つである場合について説明したが、例えば、画像A101を複数のユーザに販売する目的で、各ユーザに別々の認証用データ102を用いるような場合にも適用可能である。この場合、ユーザごとに固有な内容の複数の認証用データ102を用意し、埋め込み処理110を、認証用データ102の数だけ実行するようにすればよい。なお、このとき、埋め込み位置103は、埋め込み処理110を複数回実行しても変化しないので、埋め込み位置103は、1回目の実行時に決定したものを用い、2回目以降の実行では、図3のステップ303〜ステップ304を省略してもよい。
【0089】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
【0090】
第2の実施形態は、図5のステップ501のマッチング処理に失敗した場合、すなわち、マッチング処理で求めた対応点511の位置誤差が大きい場合に、対応点511を修正するようにした点を特徴としている。
【0091】
対応点511を修正することで、画像A101と同縮尺のサイズになるように画像B’105を幾何変換した画像C701の、画像A101に対する位置精度を向上させることができるので、検出データ106の精度を向上させることが可能となる。
【0092】
第2の実施形態において、第1の実施形態と異なる部分は、抽出処理120が対応点511の修正を伴う点のみであるので、以下、その点についてのみ説明する。
【0093】
図9は、抽出処理120の処理手順を示すフローチャートである。
【0094】
なお、ここでも、検査対象画像が画像B’105であるものとして説明する。
【0095】
図9に示すように、抽出処理120においては、まず、図5のステップ501〜ステップ502と同様の処理を行う。
【0096】
続いて、ステップ511で求めた対応点511を修正する必要があるか否かを判定する(ステップ901)。ステップ901では、詳しくは、対応点511を修正する必要があるか否かを判定するために、画像A101および画像C701を表示し、画像A101に対する画像C701の歪み具合を検査者が目視することができるようにする。
【0097】
ここで、歪みとは、原画像に対する比較画像にズレまたは歪曲が生じていることを意味しており、歪みが小さい場合は、検査者の指示によって、ステップ503に進み、図5のステップ503〜ステップ507と同様の処理を行う。
【0098】
一方、歪みが大きい場合は、対応点511を修正する必要があるので、検査者の指示によって、ステップ902に進み、対応点511を修正する(ステップ901)。
【0099】
ステップ902の手順は、以下の通りである。
【0100】
すなわち、ステップ902では、まず、図10に示すように、ディスプレイ1001に、画像A101および画像C701を表示すると共に、対応点511中の画像A101の対応点を、画像A101に重ね合わせて表示し、画像B’105の対応点を、画像C701上に座標変換して重ね合せて表示する。なお、対応点の座標変換は、図5のステップ502における処理のうちから、補間を除いた処理となる。
【0101】
検査者は、マウスなどの入力デバイスを用いて、ディスプレイ1001上のポインタ1002を移動させることで、所望の対応点を、修正すべき位置に移動させるよう修正する。なお、検査者は、画像A101および画像C701上の特徴となる場所を目視で確認し、その中心付近をポインタ1002で指示することで、修正すべき位置を指定することができる。
【0102】
このとき、指定位置を検査者が確認することができるようにするために、図10に示すように、拡大表示領域1003〜1004に、指定位置の付近の拡大画像を表示するようにすることが好ましい。
【0103】
また、指定位置は、対応点表1005に表示され、全てに対応点の修正が終了すると、修正検査者の指示によって、ステップ502に戻ることができる。なお、ステップ502に戻った際に、画像C701における新たな対応点を、画像B’105上の対応点へと座標変換し、画像A101における新たな対応点と共に、対応点511として変更される。
【0104】
これにより、ステップ501のマッチング処理に失敗し、対応点511の位置誤差が大きい場合でも、画像A101と同縮尺のサイズになるように画像B’105を幾何変換した画像C701を用いて、対応点511を修正することができる。
【0105】
従って、第2の実施形態によれば、対応点511を修正することで、画像C701の、画像A101に対する位置精度を向上させることができるので、検出データ106の精度を向上させることが可能となる。
【0106】
なお、第2の実施形態においては、画像A101および画像C701を用いて対応点511の修正を行ったが、画像C701の代わりに、差分画像An703を用いるようにしてもよい。
【0107】
図11に、対応点511の位置誤差が大きい場合の差分画像An703の例を示す。
【0108】
図11に示すように、対応点511の位置誤差が大きい場合の差分画像1101では、スジ状の劣化が生じる。これは、位置誤差によって、埋め込まれている符号データ402のみならず、画像A101中に映っている物体のエッジが露見してしまうためである。そこで、検査者は、差分画像1101を用いて修正する際には、エッジの露見が目立たなくなるように、対応点の位置指定を行うようにすればよい。
【0109】
ところで、第1の実施形態および第2の実施形態のいずれにおいても、図5のステップ504で、図11に示す差分画像1101のように劣化が大きい場所がある場合に、そのような場所を、検出不可能領域として扱い、検出不可能領域を除く領域について、ステップ504以降を行うようにすることができる。
【0110】
【発明の効果】
以上説明したように、本発明によれば、原画像と同縮尺のサイズに幾何変換した検査対象画像と、原画像を画像劣化させた複数種類の劣化原画像の各々との間で差分をとることで、画像の劣化成分を相殺させてから、認証用情報に相当する情報を抽出するようにしているので、改竄によって劣化した検査対象画像についても、認証用情報に相当する情報を精度よく抽出することが可能となる。
【図面の簡単な説明】
【図1】第1の実施形態に係る電子透かしシステムの動作概要を示す説明図。
【図2】第1の実施形態における各種データを示す説明図。
【図3】第1の実施形態における埋め込み処理の処理手順を示すフローチャート。
【図4】第1の実施形態における埋め込み処理の処理概要を示す説明図。
【図5】第1の実施形態における抽出処理の処理手順を示すフローチャート。
【図6】第1の実施形態における対応点を示す説明図。
【図7】第1の実施形態における抽出処理の処理概要を示す説明図。
【図8】図5の抽出処理における劣化原画像作成手順を示すフローチャート。
【図9】第2の実施形態における抽出処理の処理手順を示すフローチャート。
【図10】第2の実施形態における対応点修正のための入力インタフェースを示す説明図。
【図11】第2の実施形態における差分画像を示す説明図。
【符号の説明】
101…画像A、102…認証用データ、103…埋め込み位置、104…画像B、105…画像B’、106…検出データ、110…埋め込み処理、120…抽出処理、401…ビット列、402…符号データ、403…分散マップ、404…埋め込み画像、511…対応点、701…画像C、702…劣化原画像、703…差分画像、704…検出フラグ、705…ビット列、1001…ディスプレイ、1002…ポインタ、1003,1004…拡大表示領域、1005…対応点表、1101…差分画像。

Claims (6)

  1. 認証用情報を原画像に埋め込んだ画像である電子透かし画像を作成する埋め込み処理と、
    検査対象画像から上記認証用情報に相当する情報を抽出する抽出処理と、
    上記抽出処理で抽出した情報を基に、上記検査対象画像の正当性を認証する認証処理とを実行し、
    上記抽出処理において、
    上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、
    上記原画像を各々劣化させた複数種類の劣化原画像を作成し、
    幾何変換した検査対象画像と複数種類の劣化原画像の各々との間の差分をとった複数の差分画像を作成し、
    複数の差分画像の各々から、上記認証用情報に相当する情報を抽出することを特徴とする電子透かし画像の認証方法。
  2. 認証用情報を原画像に埋め込んだ画像である電子透かし画像を作成する埋め込み処理と、
    検査対象画像から上記認証用情報に相当する情報を抽出する抽出処理と、
    上記抽出処理で抽出した情報を基に、上記検査対象画像の正当性を認証する認証処理とを実行し、
    上記抽出処理において、
    上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、
    上記原画像を各々劣化させた複数種類の劣化原画像を作成し、
    幾何変換した検査対象画像と複数種類の劣化原画像の各々との間の差分をとった複数の差分画像を作成し、
    複数の差分画像を各々表示し、外部から指示された差分画像から、上記認証用情報に相当する情報を抽出することを特徴とする電子透かし画像の認証方法。
  3. 認証用情報を原画像に埋め込んだ画像である電子透かし画像を作成する埋め込み処理と、
    検査対象画像から上記認証用情報に相当する情報を抽出する抽出処理と、
    上記抽出処理で抽出した情報を基に、上記検査対象画像の正当性を認証する認証処理とを実行し、
    上記抽出処理において、
    上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換し、
    上記原画像を各々劣化させた複数種類の劣化原画像を作成し、
    幾何変換した検査対象画像と複数種類の劣化原画像の各々との間の差分をとった複数の差分画像を作成し、
    複数の差分画像の各々について誤差の統計量を算出し、算出した統計量が最小の差分画像から、上記認証用情報に相当する情報を抽出することを特徴とする電子透かし画像の認証方法。
  4. 請求項1,2または3記載の電子透かし画像の認証方法であって、
    上記抽出処理において、
    上記検査対象画像と上記原画像との間の対応位置を定める複数の対応点から、上記原画像および上記検査対象画像を互いに同縮尺のサイズに幾何変換するために必要な相互の幾何変換係数を算出し、
    算出した相互の幾何変換係数を基に、予め用意された複数種類の補間法を各々用いて補間しながら、上記原画像を、上記検査対象画像と同縮尺のサイズに幾何変換してから、再び元のサイズに幾何変換することで、
    上記原画像を各々劣化させた複数種類の劣化原画像を作成することを特徴とする電子透かし画像の認証方法。
  5. 請求項1,2,3または4記載の電子透かし画像の認証方法であって、
    上記抽出処理において、
    上記検査対象画像と上記原画像との間の対応位置を定める複数の対応点から、上記検査対象画像を幾何変換するために必要な幾何変換係数を算出し、
    算出した幾何変換係数を基に、上記検査対象画像を、上記原画像と同縮尺のサイズに幾何変換することを特徴とする電子透かし画像の認証方法。
  6. 請求項5記載の電子透かし画像の認証方法であって、
    上記抽出処理において、
    幾何変換した検査対象画像および上記原画像を少なくとも表示し、外部から指示された位置を、対応点として受け付けることを特徴とする電子透かし画像の認証方法。
JP24334698A 1998-08-28 1998-08-28 電子透かし画像の認証方法 Expired - Fee Related JP3563270B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP24334698A JP3563270B2 (ja) 1998-08-28 1998-08-28 電子透かし画像の認証方法
US09/383,199 US6418232B1 (en) 1998-08-28 1999-08-26 Method of authenticating digital-watermark pictures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24334698A JP3563270B2 (ja) 1998-08-28 1998-08-28 電子透かし画像の認証方法

Publications (2)

Publication Number Publication Date
JP2000076418A JP2000076418A (ja) 2000-03-14
JP3563270B2 true JP3563270B2 (ja) 2004-09-08

Family

ID=17102472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24334698A Expired - Fee Related JP3563270B2 (ja) 1998-08-28 1998-08-28 電子透かし画像の認証方法

Country Status (2)

Country Link
US (1) US6418232B1 (ja)
JP (1) JP3563270B2 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6424725B1 (en) * 1996-05-16 2002-07-23 Digimarc Corporation Determining transformations of media signals with embedded code signals
US7054462B2 (en) 1995-05-08 2006-05-30 Digimarc Corporation Inferring object status based on detected watermark data
US6763123B2 (en) 1995-05-08 2004-07-13 Digimarc Corporation Detection of out-of-phase low visibility watermarks
US6744906B2 (en) 1995-05-08 2004-06-01 Digimarc Corporation Methods and systems using multiple watermarks
US7006661B2 (en) * 1995-07-27 2006-02-28 Digimarc Corp Digital watermarking systems and methods
US6735253B1 (en) 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US6804376B2 (en) 1998-01-20 2004-10-12 Digimarc Corporation Equipment employing watermark-based authentication function
KR100600421B1 (ko) * 1998-10-29 2006-07-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 워터마크 검출방법
US7143434B1 (en) 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
JP2000295454A (ja) * 1999-04-05 2000-10-20 Hitachi Ltd 電子透かし装置及び方法並びに記録媒体
JP2001061052A (ja) * 1999-08-20 2001-03-06 Nec Corp 電子すかしデータ挿入方法及びその装置と電子すかしデータ検出装置
US6456727B1 (en) * 1999-09-02 2002-09-24 Hitachi, Ltd. Method of extracting digital watermark information and method of judging but value of digital watermark information
US6826290B1 (en) * 1999-10-20 2004-11-30 Canon Kabushiki Kaisha Image processing apparatus and method and storage medium
US7127744B2 (en) * 2000-03-10 2006-10-24 Digimarc Corporation Method and apparatus to protect media existing in an insecure format
US8091025B2 (en) 2000-03-24 2012-01-03 Digimarc Corporation Systems and methods for processing content objects
US6707926B1 (en) * 2000-03-31 2004-03-16 Intel Corporation Template for watermark decoder synchronization
US7738673B2 (en) * 2000-04-19 2010-06-15 Digimarc Corporation Low visible digital watermarks
US8027509B2 (en) 2000-04-19 2011-09-27 Digimarc Corporation Digital watermarking in data representing color channels
US6891959B2 (en) 2000-04-19 2005-05-10 Digimarc Corporation Hiding information out-of-phase in color channels
JP3681157B2 (ja) 2000-06-27 2005-08-10 株式会社東芝 電子透かし検出方法、電子透かし検出装置、領域決定方法、および、記憶媒体
AU2002214613A1 (en) * 2000-11-08 2002-05-21 Digimarc Corporation Content authentication and recovery using digital watermarks
US6879703B2 (en) * 2001-01-10 2005-04-12 Trustees Of Columbia University Of The City Of New York Method and apparatus for watermarking images
US7043051B2 (en) * 2001-02-21 2006-05-09 Lg Electronics Inc. Proprietary watermark system for secure digital media and content distribution
US7042470B2 (en) 2001-03-05 2006-05-09 Digimarc Corporation Using embedded steganographic identifiers in segmented areas of geographic images and characteristics corresponding to imagery data derived from aerial platforms
US9363409B2 (en) * 2001-03-05 2016-06-07 Digimarc Corporation Image management system and methods using digital watermarks
US7254249B2 (en) * 2001-03-05 2007-08-07 Digimarc Corporation Embedding location data in video
US7249257B2 (en) 2001-03-05 2007-07-24 Digimarc Corporation Digitally watermarked maps and signs and related navigational tools
US7061510B2 (en) * 2001-03-05 2006-06-13 Digimarc Corporation Geo-referencing of aerial imagery using embedded image identifiers and cross-referenced data sets
US7197160B2 (en) 2001-03-05 2007-03-27 Digimarc Corporation Geographic information systems using digital watermarks
US6950519B2 (en) 2001-03-05 2005-09-27 Digimarc Corporation Geographically watermarked imagery and methods
US7058201B2 (en) * 2001-03-28 2006-06-06 Lg Electronics Inc. Method of embedding watermark into digital image
KR100493284B1 (ko) * 2001-05-11 2005-06-03 엘지전자 주식회사 디지털 미디어의 복제 제어 방법 및 시스템
US7113613B2 (en) 2001-06-08 2006-09-26 Hitachi, Ltd. Watermark information detection method
US6975745B2 (en) * 2001-10-25 2005-12-13 Digimarc Corporation Synchronizing watermark detectors in geometrically distorted signals
KR100456629B1 (ko) * 2001-11-20 2004-11-10 한국전자통신연구원 웨이블릿 기반에서 디지털 워터마크 삽입/추출장치 및 방법
US20030103246A1 (en) * 2001-11-30 2003-06-05 Eastman Kodak Company System and method for providing unobtrusive human visible information on a print
US7339992B2 (en) 2001-12-06 2008-03-04 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
US7728048B2 (en) 2002-12-20 2010-06-01 L-1 Secure Credentialing, Inc. Increasing thermal conductivity of host polymer used with laser engraving methods and compositions
US7321667B2 (en) * 2002-01-18 2008-01-22 Digimarc Corporation Data hiding through arrangement of objects
MXPA04011277A (es) * 2002-05-14 2006-02-22 Mediasec Technologies Gmbh Patrones de autenticacion visibles para documento impreso.
US6782116B1 (en) * 2002-11-04 2004-08-24 Mediasec Technologies, Gmbh Apparatus and methods for improving detection of watermarks in content that has undergone a lossy transformation
US20040205662A1 (en) * 2002-05-30 2004-10-14 Brad Anderson Image preservation and reconstruction
AU2003298586A1 (en) * 2002-09-19 2004-04-23 Finanical Reporting Solutions, Inc. Method and system for embedding date information in computer-generated digits
WO2004095348A2 (en) 2003-04-16 2004-11-04 Digimarc Corporation Three dimensional data storage
JP4981455B2 (ja) 2004-02-04 2012-07-18 ディジマーク コーポレイション オンチップでの電子透かしの入ったイメージ信号及び電子透かしを通じた写真によるトラベルログ
EP2343021A1 (en) * 2004-04-01 2011-07-13 The General Hospital Corporation Method and apparatus for dermatological treatment and tissue reshaping
WO2006096612A2 (en) 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
WO2009126785A2 (en) 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
WO2009155281A1 (en) 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
JP4945541B2 (ja) * 2008-10-31 2012-06-06 株式会社日立製作所 劣化ホスト信号利用の電子透かし埋め込み検出方法
US9117268B2 (en) * 2008-12-17 2015-08-25 Digimarc Corporation Out of phase digital watermarking in two chrominance directions
US8199969B2 (en) 2008-12-17 2012-06-12 Digimarc Corporation Out of phase digital watermarking in two chrominance directions
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
US10311435B2 (en) * 2013-03-28 2019-06-04 Morphotrust Usa Llc System and method for transaction authentication
EP3005203A4 (en) 2013-06-05 2017-04-19 Morphotrust USA, Inc. System and method for credential authentication
US20190306385A1 (en) 2014-01-31 2019-10-03 Digimarc Corporation Concerning digital marking and reading of plastic items, useful in recycling
US11962876B2 (en) 2014-01-31 2024-04-16 Digimarc Corporation Recycling methods and systems, and related plastic containers
NL2032168B1 (en) * 2022-06-15 2023-12-21 Filigrade B V Watermark detection method and system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751854A (en) * 1992-08-03 1998-05-12 Ricoh Company, Ltd. Original-discrimination system for discriminating special document, and image forming apparatus, image processing apparatus and duplicator using the original-discrimination system
US5502576A (en) * 1992-08-24 1996-03-26 Ramsay International Corporation Method and apparatus for the transmission, storage, and retrieval of documents in an electronic domain
US5748783A (en) * 1995-05-08 1998-05-05 Digimarc Corporation Method and apparatus for robust information coding
US5493677A (en) * 1994-06-08 1996-02-20 Systems Research & Applications Corporation Generation, archiving, and retrieval of digital images with evoked suggestion-set captions and natural language interface
US5613004A (en) * 1995-06-07 1997-03-18 The Dice Company Steganographic method and device
EP0766468B1 (en) * 1995-09-28 2006-05-03 Nec Corporation Method and system for inserting a spread spectrum watermark into multimedia data
US5974548A (en) * 1996-07-12 1999-10-26 Novell, Inc. Media-independent document security method and apparatus
US5946414A (en) * 1998-08-28 1999-08-31 Xerox Corporation Encoding data in color images using patterned color modulated image regions

Also Published As

Publication number Publication date
JP2000076418A (ja) 2000-03-14
US6418232B1 (en) 2002-07-09

Similar Documents

Publication Publication Date Title
JP3563270B2 (ja) 電子透かし画像の認証方法
US7817817B2 (en) Method for concealing data in curves of an image
US7418126B2 (en) Image distortion correcting method and apparatus, and storage medium
US7149355B2 (en) Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program
US8411954B2 (en) Image processing system, image processing program, and image processing method
US7999657B2 (en) Image registration method for image comparison and document authentication
US6516087B1 (en) Method for real time correlation of stereo images
US20030123660A1 (en) Encoding information in a watermark
US20100061655A1 (en) Method and Apparatus for Despeckling an Image
US7305131B2 (en) Extracting graphical bar codes from an input image
JP2011022867A (ja) 画像処理装置、画像処理システムおよびプログラム
JP5534411B2 (ja) 画像処理装置
JP4023096B2 (ja) 画像処理方法およびその装置
US20100158311A1 (en) Electronic watermark embedding device, electronic watermark detecting device, and programs therefor
WO2006035677A1 (ja) 画像処理方法および画像処理装置
JP4565396B2 (ja) 画像処理装置および画像処理プログラム
Benedens Robust watermarking and affine registration of 3d meshes
JP3471115B2 (ja) 画像座標変換方法
JP3597148B2 (ja) 指紋特徴抽出装置、指紋特徴抽出方法及び指紋抽出プログラム
JPH1091752A (ja) 画像補正装置及び方法
JP4910635B2 (ja) 画像処理装置及び画像処理プログラム
JP2723174B2 (ja) 異種センサ画像間レジストレーション補正方法
JP2000074628A (ja) 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体
JP3781324B2 (ja) 画像位置合わせ方法、ファックス文字認識方法および記録媒体
JP2002354221A (ja) 画像処理装置及びデータ処理装置とその方法及び記憶媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040602

LAPS Cancellation because of no payment of annual fees