JP4247307B1 - 電子透かし埋込装置及び方法、電子透かし検査装置及び方法 - Google Patents

電子透かし埋込装置及び方法、電子透かし検査装置及び方法 Download PDF

Info

Publication number
JP4247307B1
JP4247307B1 JP2008543811A JP2008543811A JP4247307B1 JP 4247307 B1 JP4247307 B1 JP 4247307B1 JP 2008543811 A JP2008543811 A JP 2008543811A JP 2008543811 A JP2008543811 A JP 2008543811A JP 4247307 B1 JP4247307 B1 JP 4247307B1
Authority
JP
Japan
Prior art keywords
matrix
digital watermark
image
eigenvalues
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008543811A
Other languages
English (en)
Other versions
JPWO2009078071A1 (ja
Inventor
和夫 大関
Original Assignee
学校法人 芝浦工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人 芝浦工業大学 filed Critical 学校法人 芝浦工業大学
Application granted granted Critical
Publication of JP4247307B1 publication Critical patent/JP4247307B1/ja
Publication of JPWO2009078071A1 publication Critical patent/JPWO2009078071A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/32187Transform domain methods with selective or adaptive application of the additional information, e.g. in selected frequency coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/32187Transform domain methods with selective or adaptive application of the additional information, e.g. in selected frequency coefficients
    • H04N1/32192Transform domain methods with selective or adaptive application of the additional information, e.g. in selected frequency coefficients according to calculated or estimated visibility of the additional information in the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

【課題】高い攻撃耐性を持つ新たな電子透かし方式を提供する。
【解決手段】入力画像のn行n列の画素行列Gを記憶する手段と、画素行列Gの固有値s1〜sn及び固有ベクトルp1〜pnを求める手段と、固有値s1〜snの中から、異なる値を持つ固有値のペア(si、sj)を少なくとも1組選択し、前記選択したペアが同一の値となるように固有値s1〜snを修正する手段と、前記修正した固有値を対角要素とし、前記選択したペアに対応する非対角要素の一方を1としたジョルダン標準形行列Swを作成する手段と、固有ベクトルp1〜pnを電子透かしキー情報として出力する手段と、前記作成した行列Swに対して固有ベクトルp1〜pnを用いて対角化演算の逆変換を行ってn行n列の画素行列Gwを作成し、入力画像の電子透かし埋込画像として出力する手段と、を備える電子透かし埋込装置によって、電子透かし埋込画像を生成する。
【選択図】図2

Description

本発明は、画像等に電子透かしを埋め込む技術、及び、画像等に電子透かしが埋め込まれているか否かを検査する技術に関する。
従来より、種々の電子透かし方式が提案・開発されている。電子透かしは、それを抽出するためのキー情報を知らない限り、画像等から取り除くことが困難であるため、画像等の改ざんや不当な複製の防止など著作権保護等の目的で広く利用されている。
例えば、非特許文献1では、特異値分解(SVD)を用いた電子透かし方式が提案されている。
具体的には、電子透かしを埋め込む場合、まず原画像Aを特異値分解して特異値S、特異ベクトルU、Vを求める。次に、特異値Sに電子透かしWを埋め込んで(S+αW)を作成し、これを更に特異値分解して特異値Sw、特異ベクトルUw、Vwを求める。そして、特異値Swに対して最初の特異値分解で求められた特異ベクトルU、VTを両側から乗算して、電子透かし埋込画像Aw(=U・Sw・VT)を作成する。
また、電子透かしを検出する場合は、検査対象画像Aw *を特異値分解し、特異値Sw *を得る。次に、特異値Sw *に対して特異ベクトルUw *、Vw *Tを両側から乗算してD*(=Uw *・Sw *・Vw *T)を算出する。そして、D*=(S+αW*)を式変形して得られるW*=(D*−S)/αによって、電子透かしW*を検出する。
ルイチェン リュー(Ruizhen Liu)、他1名、「正当なオーナーシップを保護するためのSVDベースの電子透かし方式」(An SVD-Based Watermarking Scheme for Protecting Rightful Ownership)、アイ・トリプルイー トランザクション・オン・マルティメディア(IEEE Transactions on Multimedia)、2002年3月、Vol.4 No.1 pp.121-128 シャオ・ピン チャン(Xiao-Ping Zhang)「"正当なオーナーシップを保護するためのSVDベースの電子透かし方式"に対するコメント」(Comments on "An SVD-Based Watermarking Scheme for Protecting Rightful Ownership")、アイ・トリプルイー トランザクション・オン・マルティメディア(IEEE Transactions on Multimedia)、2005年4月、Vol.7 No.2 pp.593-594
しかし、非特許文献1記載の方式では、2回目の特異値分解によって得られたSwに最初の特異値分解の特異ベクトルU、Vを適用することの意味が数学的に不明であり、その結果、得られた埋め込み画像Awが原画像Aとどのような関係になるのかも不明である。
また、この方式に対しては、検査対象画像Aw *及び実際に埋め込まれた電子透かしWに関わらず、検出時に用いる特異ベクトルUw *、Vw *に依存した電子透かしが検出されてしまうという問題点が指摘されている(非特許文献2)。
そこで、本発明は、上記問題を解消し、高い攻撃耐性を持つ新たな電子透かし方式を提供することを目的とする。
本発明の電子透かし埋込装置は、入力画像のn行n列の画素行列Gを記憶する入力画像記憶手段と、入力画像記憶手段から読み出した画素行列Gの固有値s1〜sn(s1>s2>・・・>sn)及び固有ベクトルp1〜pnを求める固有値及びベクトル算出手段と、前記求めた固有値s1〜snの中から、異なる値を持つ固有値のペア(si、sj)を少なくとも1組選択し、前記選択したペアが同一の値となるように前記求めた固有値s1〜snを修正する固有値修正手段と、前記修正した固有値を対角要素とし、前記選択したペアに対応する非対角要素の一方を1としたジョルダン標準形行列Swを作成する手段と、前記求めた固有ベクトルp1〜pnを電子透かしキー情報として出力する手段と、前記作成した行列Swに対して前記求めた固有ベクトルp1〜pnを用いて対角化演算の逆変換を行ってn行n列の画素行列Gwを作成し、前記入力画像の電子透かし埋込画像として出力する手段と、を備えることを特徴とする。
好適には、前記固有値修正手段は、前記選択したペアの一方の値を他方の値で置き換えることで、前記選択したペアが同一の値となるように前記求めた固有値s1〜snを修正することを特徴とする。
また好適には、電子透かしの埋め込み対象となる原画像を記憶する原画像記憶手段と、前記原画像からn×n画素の部分画像を切り出し、前記部分画像の画素行列を前記入力画像のn行n列の画素行列Gとして前記入力画像記憶手段に記憶する手段と、前記原画像中の前記部分画像を前記入力画像の電子透かし埋込画像に置き換えて前記原画像の電子透かし埋込画像を作成し、出力する手段と、を備えることを特徴とする。
また好適には、固有値及びベクトル算出手段は、前記画素行列Gがランクr(r<n)の非正則行列である場合、前記画素行列Gの固有値s(r+1)〜snとして固有値srより小さい正値を設定し、前記設定した固有値s(r+1)〜snの固有ベクトルとして基本ベクトルを設定することを特徴とする。
本発明の電子透かし検査装置は、検査対象画像のn行n列の画素行列Gkを記憶する検査対象画像記憶手段と、電子透かしキー情報として、入力画像のn行n列の画素行列Gの固有ベクトルp1〜pnを記憶するキー情報記憶手段と、検査対象画像記憶手段から読み出した画素行列Gkに対して前記固有ベクトルp1〜pnを用いて対角化演算を行ってn行n列の行列Skを作成する手段と、前記作成した行列Skがジョルダン標準形行列に相当するか否かを判定し、相当する場合に前記検査対象画像が前記入力画像の電子透かし埋込画像であると判断し、判断結果を出力する判断手段と、を備えることを特徴とする。
好適には、前記キー情報記憶手段は、更に、電子透かしキー情報として、入力画像のn行n列の画素行列Gの固有値s1〜sn(s1>s2>・・・>sn)を記憶しており、前記判断手段は、前記作成した行列Skが、m個(1≦m<n)の固有値が前記固有値s1〜snのうちのいずれかであり、残りの(n−m)個の固有値が前記m個の固有値のいずれかと重根となるn行n列のジョルダン標準形行列Swに相当するか否かを判定し、相当する場合に前記検査対象画像が前記入力画像の電子透かし埋込画像であると判断することを特徴とする。
また好適には、前記キー情報記憶手段は、更に、電子透かしキー情報として、ジョルダン標準形行列Swを記憶しており、前記判断手段は、前記作成した行列Skが前記ジョルダン標準形行列Swに相当するか否かを判定し、相当する場合に前記検査対象画像が前記入力画像の電子透かし埋込画像であると判断し、前記ジョルダン標準形Swが、前記画素行列Gの固有値s1〜sn(s1>s2>・・・>sn)の中から、異なる値を持つ固有値のペア(si、sj)を少なくとも1組選択し、前記選択したペアが同一の値となるように前記求めた固有値s1〜snを修正し、前記修正した固有値を対角要素とし、前記選択したペアに対応する非対角要素の一方を1としたジョルダン標準形行列であることを特徴とする。
本発明の電子透かし埋込方法は、入力画像のn行n列の画素行列Gを記憶する入力画像記憶手段から、画素行列Gを読み出す工程と、前記読み出した画素行列Gの固有値s1〜sn(s1>s2>・・・>sn)及び固有ベクトルp1〜pnを求める固有値及びベクトル算出工程と、前記求めた固有値s1〜snの中から、異なる値を持つ固有値のペア(si、sj)を少なくとも1組選択し、前記選択したペアが同一の値となるように前記求めた固有値s1〜snを修正する固有値修正工程と、前記修正した固有値を対角要素とし、前記選択したペアに対応する非対角要素の一方を1としたジョルダン標準形行列Swを作成する工程と、前記求めた固有ベクトルp1〜pnを電子透かしキー情報として出力する工程と、前記作成した行列Swに対して前記求めた固有ベクトルp1〜pnを用いて対角化演算の逆変換を行ってn行n列の画素行列Gwを作成し、前記入力画像の電子透かし埋込画像として出力する工程と、を備えることを特徴とする。
本発明の電子透かし検査方法は、検査対象画像のn行n列の画素行列Gkを記憶する検査対象画像記憶手段から、画素行列Gkを読み出す工程と、電子透かしキー情報として、入力画像のn行n列の画素行列Gの固有ベクトルp1〜pnを記憶するキー情報記憶手段から、固有ベクトルp1〜pnを読み出す工程と、前記読み出した画素行列Gkに対して、前記読み出した固有ベクトルp1〜pnを用いて対角化演算を行い、n行n列の行列Skを作成する工程と、前記作成した行列Skがジョルダン標準形行列に相当するか否かを判定する工程と、前記作成した行列Skがジョルダン標準形行列に相当する場合、前記検査対象画像が前記入力画像の電子透かし埋込画像であると判断し、判断結果を出力する工程と、を備えることを特徴とする。
本発明の電子透かし埋込方法及び電子透かし検査方法は、コンピュータにおいてCPUにより実行することができるが、そのためのコンピュータプログラムは、CD−ROM、磁気ディスク、半導体メモリ及び通信ネットワークなどの各種の媒体を通じてコンピュータにインストールまたはロードすることができる。
以上、本発明によれば、入力画像に対して施す対角化演算回数と、電子透かし埋込画像を求める際の対角化の逆変換の演算回数とが一致しており、従来方式のように数学的に不明確な点はない。
また、埋め込み時及び検査時に用いる固有ベクトルは入力画像の固有ベクトルであり、電子透かしの情報は含んでいないため、固有ベクトルを用いた対角化演算やその逆変換によって意図しない電子透かしの情報が混入してしまうという問題は生じない。
更に、重根を持つジョルダン標準形Swに対して対角化演算の逆変換を行って電子透かし埋込画像を作成していることから、特性方程式が重根を持つ場合の非正則行列の対角化の困難性に起因して、電子透かし埋込画像から、電子透かし埋込画像の固有ベクトル(すなわち、入力画像の固有ベクトル)やジョルダン標準形Swの正確な値を得ることは事実上不可能となる。従って、電子透かしキー情報(入力画像の固有ベクトル)の高い秘匿性を達成することができ、その結果、高い攻撃耐性を持つ電子透かし埋込画像を作成することができる。
以下、本発明の実施形態の構成・動作について図面を用いて説明する。
(第1の実施形態)
図1は、本発明の第1実施形態に係る電子透かし埋込装置の構成をあらわすブロック図である。
図1(A)に示すように、電子透かし埋込装置1は、ハードウェアとして、CPU、ROM、RAM、HDD、ユーザインタフェース、通信インタフェースなど、通常のコンピュータ装置と同様のハードウェアを備えている。電子透かし埋込装置1は、物理的には、専用化したシステム、あるいは汎用の情報処理装置のいずれであってもよい。例えば、一般的な構成の情報処理装置において、本発明の電子透かし埋込方法における各処理を規定したソフトウェアを起動することにより、電子透かし埋込装置1を実現することができる。
図1(B)に示すように、電子透かし埋込装置1は、機能的には、入力画像Iのn行n列の画素行列Gを記憶する入力画像記憶手段10、入力画像記憶手段10から読み出した画素行列Gの固有値s1〜sn(s1>s2>・・・>sn)及び固有ベクトルp1〜pnを求める固有値及びベクトル算出手段11、前記求めた固有値s1〜snの中から、異なる値を持つ固有値のペア(si、sj)を少なくとも1組選択し、前記選択したペアの一方の値を他方の値で置き換えて前記求めた固有値s1〜snを修正する固有値修正手段12、前記修正した固有値を対角要素とし、前記選択したペアに対応する非対角要素の一方を1としたジョルダン標準形行列Swを作成するジョルダン標準形行列作成手段13、前記求めた固有ベクトルp1〜pnを電子透かしキー情報として出力するキー情報出力手段14、前記作成した行列Swに対して前記求めた固有ベクトルp1〜pnを用いて対角化演算の逆変換を行ってn行n列の画素行列Gwを作成し、入力画像Iの電子透かし埋込画像Iwとして出力する手段15等を備えている。
これらの各手段は、電子透かし埋込装置1のRAMやROM、外部の記憶媒体等に記憶されるプログラムをCPUが実行することにより、機能手段として実現される。
以下、図2のフローチャートを参照して、電子透かし埋込装置1の動作を説明する。なお、各工程(符号が付与されていない部分的な工程を含む)は処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。また、電子透かし埋込装置1は、処理対象となる入力画像Iのn行n列の画素行列G(n>1)を予め外部装置(サーバ、メモリ装置、撮像装置、スキャナ装置などを含む)から取得し、入力画像記憶手段10に記憶しているものとする。
固有値及びベクトル算出手段11は、入力画像記憶手段10から入力画像Iの画素行列Gを読み出す(S100)。図3(A)に、n=4の場合の画素行列Gの例を示す。
次に、固有値及びベクトル算出手段11は、画素行列Gの固有値s1〜sn(s1>s2>・・・>sn)及び固有ベクトルp1〜pnを求め(すなわち、画素行列Gに対して対角化演算を行い)、RAM等のメモリに記憶する(S101)。なお、固有値skは、固有ベクトルpkに対応する。
固有値及び固有ベクトルを求める方法には、従来の種々の逐次計算アルゴリズム(例えばべき乗法、QR法など)を用いることができる。これらの各アルゴリズムは当業者に周知であり、アルゴリズムを実施するためのプログラムも容易に入手できるため、ここでは詳細に説明しない。
画素行列Gがランクr(r<n)の非正則行列である場合、固有値及びベクトル算出手段11は、画素行列Gの固有値s(r+1)〜snとして固有値srより小さい正値を設定し、前記設定した固有値s(r+1)〜snの固有ベクトルp(r+1)〜pnして基本ベクトルを設定することで、固有値及び固有ベクトルを補完して求める。
固有値s(r+1)〜snは、固有値srより小さい正値であれば、任意に設定してよい。
一方、固有ベクトルp(r+1)〜pnは、以下のようにして設定する。まずn要素を持つ基本(単位)ベクトルの集合Eを想定し、かかる集合Eから基本ベクトルを一つ選択して、固有ベクトルp1〜prと組み合わせて、(r+1)列n行の行列を作成する。そして、前記作成した(r+1)列n行の行列のランクが(r+1)になっているか否かを調べ、なっていない場合は、集合Eから未選択の基本ベクトルを一つ選択して(r+1)列n行の行列を作成し直し、再度、ランクを調べる。ランクが(r+1)になっている場合は、前記選択した基本ベクトルを固有ベクトルp(r+1)に設定する。かかる処理を、作成した行列のランクがnになるまで、すなわち、固有ベクトルnが設定されるまで、繰り返す。
このように画素行列Gのランクの補完を行うことで、画素行列Gが非正則である場合にも本発明を適用することが可能となる。
図3(B)、(C)に、図3(A)に示す画素行列Gに対して求めた固有値s1〜s4及び固有ベクトルp1〜p4を示す。
次に、固有値修正手段12は、前記求めた固有値s1〜snの中から、異なる値を持つ固有値のペア(si、sj)(1≦i、j≦n)を少なくとも1組選択する(S102)。
この際、入力画像Iへの影響が小さくなるように、各固有値の絶対値が小さく、ペア間の差が小さい固有値ペアを選択することが望ましい。ただし、固有値を求めるアルゴリズムによっては下位の固有値が計算誤差によって安定して求められない場合がある。そこで、例えば、絶対値が閾値以上の固有値の中から、最低値及び次に大きい値の固有値を選択するように構成することが考えられる。かかる閾値は設計に応じて定めることができるが、小さい方が好ましい。
次に、固有値修正手段12は、前記選択したペア(si、sj)が同一の値となるように前記求めた固有値s1〜snを修正する(S103)。
具体的には、例えば、前記選択したペア(si、sj)の一方の値を他方の値で置き換える(すなわち、si’=sj又はsj’=siとする)。又は、si’=sj’=(sj+si)/2のように修正してもよい。なお、前記選択したペア以外の固有値は変更しない。
次に、ジョルダン標準形行列作成手段13は、前記修正した固有値を対角要素とし、前記選択したペアに対応する非対角要素の一方を1としたジョルダン標準形行列Swを作成し、RAM等のメモリに記憶する(S104)。このようにして作成されたジョルダン標準形行列Swは、特性方程式が重根を持つ場合のジョルダン標準形行列となる。
図3(B)に示す固有値s1〜s4を例に、S102〜S104の工程を説明する。S102において、例えば固有値のペア(s3、s4)=(179.0、163.3)を選択する。この場合、S103においてs4’=s3のように修正したとすると、S104では、図3(D)に示すようなジョルダン標準形行列Swが作成される。
本発明の枠組みでは、かかるS102〜S104の工程、すなわち、画素行列Gの固有値を重根を持つように修正すること、及び、重根となる固有値に対応する非対角要素を1に変更してジョルダン標準形とすることが、電子透かしを埋め込む工程となる。
次に、電子透かし埋込画像出力手段15は、前記作成したジョルダン標準形行列Swに対して前記求めた固有ベクトルp1〜pnを用いて対角化演算の逆変換を行ってn行n列の画素行列Gwを作成し、RAM等のメモリに記憶する(S105)。
なお、固有ベクトルp1〜pnを列とするn行n列の行列をPとすると、対角化演算の逆変換によって画素行列Gwを作成する演算は、以下のように表せる。
w=PSw-1
図3(E)に、図3(D)に示すSwに対して図3(C)に示す固有ベクトルp1〜pnを用いて対角化演算の逆変換を行った場合に作成される画素行列Gwを示す。
次に、キー情報出力手段14は、前記求めた固有ベクトルp1〜pnを電子透かしキー情報として出力する(S106)。
次に、電子透かし埋込画像出力手段15は、前記作成した画素行列Gwを入力画像Iの電子透かし埋込画像Iwとして出力する(S107)。
S106、S107における出力態様としては、電子透かし埋込装置1のRAMや外部メモリ等に記録する態様や、他の装置に送信する態様などが考えられる。
このように本実施形態の電子透かし埋込装置1では、入力画像Iの画素行列Gに対して対角化演算を行って固有値及び固有ベクトルを求め、前記求めた固有値を修正して重根を持つジョルダン標準形行列Swを作成し、前記作成したジョルダン標準形行列Swを前記求めた固有ベクトルを用いて対角化演算の逆変換をすることで、入力画像Iの電子透かし埋込画像Iwを作成している。
本実施形態の構成によれば、入力画像Iの画素行列Gに対して施す対角化演算回数と、電子透かし埋込画像Iwを求める際の対角化の逆変換の演算回数とがともに1回となって一致するため、従来方式のように数学的に不明確な点はない。
また、電子透かしを埋め込む際の対角化演算の逆変換に用いる固有ベクトルは入力画像Iの固有ベクトルであり、電子透かしの情報は含んでいないため、かかる対角化演算の逆変換によって意図しない電子透かしの情報が混入してしまうという問題は生じない。
更に、重根を持つジョルダン標準形Swに対して対角化演算の逆変換を行って電子透かし埋込画像Iwを作成していることから、特性方程式が重根を持つ場合の非正則行列の対角化の困難性に起因して、電子透かし埋込画像Iwから、電子透かし埋込画像Iwの固有ベクトル(すなわち、入力画像Iの固有ベクトル)やジョルダン標準形Swの正確な値を得ることは事実上不可能である。従って、電子透かしキー情報(入力画像Iの固有ベクトル)の高い秘匿性を達成することができ、その結果、高い攻撃耐性を持つ電子透かし埋込画像Iwを作成することができる。
(第2の実施形態)
図4は、本発明の第2実施形態に係る電子透かし検査装置の構成をあらわすブロック図である。
図4(A)に示すように、電子透かし検査装置2は、ハードウェアとして、CPU、ROM、RAM、HDD、ユーザインタフェース、通信インタフェースなど、通常のコンピュータ装置と同様のハードウェアを備えている。電子透かし検査装置2は、物理的には、専用化したシステム、あるいは汎用の情報処理装置のいずれであってもよい。例えば、一般的な構成の情報処理装置において、本発明の電子透かし検査方法における各処理を規定したソフトウェアを起動することにより、電子透かし検査装置2を実現することができる。
図4(B)に示すように、電子透かし検査装置2は、機能的には、検査対象画像Ikのn行n列の画素行列Gkを記憶する検査対象画像記憶手段20、電子透かしキー情報として、入力画像Iのn行n列の画素行列Gの固有ベクトルp1〜pnを記憶するキー情報記憶手段21、検査対象画像記憶手段20から読み出した画素行列Gkに対して前記固有ベクトルp1〜pnを用いて対角化演算を行ってn行n列の行列Skを作成する対角化演算手段22、前記作成した行列Skがジョルダン標準形行列に相当するか否かを判定し、相当する場合に、検査対象画像Ikが入力画像Iの電子透かし埋込画像Iwであると判断し、判断結果を出力する電子透かし有無判断手段23等を備えている。
これらの各手段は、電子透かし検査装置2のRAMやROM、外部の記憶媒体等に記憶されるプログラムをCPUが実行することにより、機能手段として実現される。
以下、図5のフローチャートを参照して、電子透かし検査装置2の動作を説明する。なお、各工程(符号が付与されていない部分的な工程を含む)は処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。
対角化演算手段22は、検査対象画像記憶手段20から検査対象画像Ikの画素行列Gkを読み出す(S200)。検査対象画像記憶手段20には、検査対象画像Ikのn行n列の画素行列Gk(n>1)が予め記憶されているものとする。
次に、対角化演算手段22は、キー情報記憶手段21から、電子透かしキー情報として、入力画像Iのn行n列の画素行列Gの固有ベクトルp1〜pnを読み出す(S201)。
ここで、電子透かし検査装置2は、電子透かし埋込装置1のキー情報出力手段14が出力した画素行列Gの固有ベクトルp1〜pnを予め取得し、キー情報記憶手段21に記憶しているものとする。固有ベクトルp1〜pnの取得態様は、電子透かし埋込装置1から通信ネットワークを介して取得する態様や、電子透かし埋込装置1において可搬型のメモリに固有ベクトルp1〜pnを記憶し、電子透かし検査装置2において前記可搬型のメモリから読み出す態様などを考えることができる。
又は、電子透かし検査装置2において直接、入力画像Iの画素行列Gを記憶しておき、画素行列Gの固有値s1〜sn、及び固有ベクトルp1〜pnを求め、キー情報記憶手段21に記憶する構成としてもよい。
次に、対角化演算手段22は、前記読み出した画素行列Gkに対して、前記読み出した固有ベクトルp1〜pnを用いて対角化演算を行って行列Skを作成し、RAM等のメモリに記憶する(S202)。
なお、固有ベクトルp1〜pnを列とするn行n列の行列をPとすると、対角化演算によって行列Sk作成する演算は、以下のように表せる。
k=P-1k
次に、電子透かし有無判断手段23は、前記作成した行列Skがジョルダン標準形行列に相当するか否かを判定する(S203)。
例えば、前記作成した行列Skが完全なジョルダン標準形となっているか、又は、完全なジョルダン標準形ではないが、ジョルダン標準形であれば0を取るべき要素について絶対値が閾値(例えば、0.5)以下となっており、ジョルダン標準形であれば0又は1を取るべき要素について絶対値又は1との差分が閾値(例えば、0.5)以下となっている場合に、前記作成した行列Skがジョルダン標準形行列に相当すると判定することが考えられる。
次に、電子透かし有無判断手段23は、前記作成した行列Skがジョルダン標準形行列に相当すると判定した場合、検査対象画像Ikが入力画像Iの電子透かし埋込画像Iwであると判断し、その判断結果を出力する(S204)。
一方、電子透かし有無判断手段23は、前記作成した行列Skがジョルダン標準形行列に相当しないと判定した場合、検査対象画像Ikは入力画像Iの電子透かし埋込画像Iwでないと判断し、その判断結果を出力する(S205)。
なお、S204、S205の出力態様としては、電子透かし検査装置2のRAMや外部メモリ等に記録する態様や、ユーザインタフェースを介してユーザに表示等する態様や、他の装置に送信する態様などが考えられる。
このように本実施形態の電子透かし検査装置2では、検査対象画像Ikの画素行列Gkに対して入力画像のn行n列の画素行列Gの固有ベクトルp1〜pnを用いて対角化演算を行って行列Skを作成し、前記作成した行列Skがジョルダン標準形行列に相当する場合に、検査対象画像Ikが入力画像Iの電子透かし埋込画像Iwであると判断している。以下、このように判断できる理由を説明する。
検査対象画像Ikが、電子透かし埋込装置1によって入力画像Iに電子透かしを埋め込んだ電子透かし埋込画像Iwに相当する場合、検査対象画像Ikの画素行列Gkに対して入力画像Iの画素行列Gの固有ベクトルp1〜pnを用いて対角化演算を行えば、ジョルダン標準形のユニーク性から、必ずジョルダン標準形に相当する行列を得ることができる。
一方、検査対象画像Ikが、電子透かし埋込装置1によって入力画像Iに電子透かしを埋め込んだ電子透かし埋込画像Iwに関係しない場合、検査対象画像Ikの画素行列Gkに対して入力画像Iの画素行列Gの固有ベクトルp1〜pnを用いて対角化演算を行ってもジョルダン標準形に相当する行列が得られる可能性は非常に小さい(ほぼ無い)と考えられる。
従って、前記作成した行列Skがジョルダン標準形行列に相当するか否かによって、電子透かしの有無を判断することが可能となる。
なお、本実施形態の構成によれば、電子透かしを検査する際の対角化演算に用いる固有ベクトルは入力画像の固有ベクトルであり、電子透かしの情報は含んでいないため、かかる対角化演算によって意図しない電子透かしの情報が混入してしまうという問題は生じない。
(変形例)
本発明は、上記各実施形態に限定されることなく種々に変形して適用することが可能である。
例えば、第1実施形態において、電子透かしの埋め込み対象となる原画像Ioから切り出した部分画像を入力画像Iとしてもよい。
具体的には、図6に示すように、更に、電子透かしの埋め込み対象となる原画像Ioを記憶する原画像記憶手段16、原画像Ioからn×n画素の部分画像を切り出し、前記部分画像の画素行列を入力画像Iのn行n列の画素行列Gとして入力画像記憶手段10に記憶する切り出し手段17、原画像Io中の前記部分画像を、電子透かし埋込画像出力手段15が出力する入力画像Iの電子透かし埋込画像Iwに置き換えて、原画像Ioの電子透かし埋込画像を作成し、出力する電子透かし埋込原画像出力手段18等を備えるように構成する。この場合、切り出し手段17、電子透かし埋込原画像出力手段18は、通常の画像編集装置が備える切り出し機能モジュール、合成機能(はめ込み機能)モジュールと同様に構成することができる。
かかる構成によれば、電子透かしを埋め込もうとする原画像Ioが正方でない場合であっても、上記構成によって原画像Ioからn×n画素の部分画像を切り出し、この部分画像に本発明の枠組みによって電子透かしを埋め込み、その埋め込んだ部分画像を原画像Ioに戻す(はめ込む)ことで、原画像Ioに対して電子透かしを埋め込むことができる。
また例えば、第2実施形態では、行列Skがジョルダン標準形行列に相当すると判定した場合に、検査対象画像Ikが入力画像Iの電子透かし埋込画像Iwであると判断する構成としているが、以下のように変形することで、より高い精度で電子透かしの有無を判断することができる。
まず、キー情報記憶手段21に関し、画素行列Gの固有ベクトルp1〜pnに加えて、入力画像Iのn行n列の画素行列Gの固有値s1〜sn(s1>s2>・・・>sn)を電子透かしキー情報として記憶するように構成する。
例えば、電子透かし埋込装置1のキー情報出力手段14に関し、入力画像Iに電子透かしを埋め込む際に固有値s1〜snをも出力するように構成しておき、電子透かし検査装置2では、かかるキー情報出力手段14が出力した固有値s1〜snを予め取得し、キー情報記憶手段21に記憶する。
また、電子透かし有無判断手段23に関し、行列Skが、m個(1≦m<n)の固有値が前記固有値s1〜snのうちのいずれかであり、残りの(n−m)個の固有値が前記m個の固有値のいずれかと重根となるn行n列のジョルダン標準形行列Swに相当するか否かを判定し、相当する場合に検査対象画像Ikが入力画像Iの電子透かし埋込画像Iwであると判断するように構成する。この場合、“相当するか否か”は、第2実施形態と同様に、対応する値との差分が閾値以下の場合は一致するとみなして、判定することが考えられる。
かかる“m個(1≦m<n)の固有値が固有値s1〜snのうちのいずれかであり、残りの(n−m)個の固有値が前記m個の固有値のいずれかと重根となるn行n列のジョルダン標準形行列Sw”とは、本発明の電子透かし埋込工程によって得られたジョルダン標準形行列の構造を一般的に特定したものである。
かかる構成によれば、行列Skが単にジョルダン標準形行列に相当する場合に電子透かしが埋め込まれていると判断するのではなく、行列Skが、入力画像Iに対して本発明の電子透かし埋込工程を適用した結果得られるジョルダン標準形行列に相当する場合に、電子透かしが埋め込まれていると判断するので、より高い精度で電子透かしの有無を判断することができる。
更に、以下のように変形することによっても、同様により高い精度で電子透かしの有無を判断することができる。
まず、キー情報記憶手段21に関し、画素行列Gの固有ベクトルp1〜pnに加えて、ジョルダン標準形行列Swを電子透かしキー情報として記憶するように構成する。
このジョルダン標準形行列Swは、入力画像Iのn行n列の画素行列Gの固有値s1〜sn(s1>s2>・・・>sn)の中から、異なる値を持つ固有値のペア(si、sj)を少なくとも1組選択し、例えば前記選択したペアの一方の値を他方の値で置き換える等によって、前記選択したペアが同一の値となるように前記求めた固有値s1〜snを修正し、前記修正した固有値を対角要素とし、前記選択したペアに対応する非対角要素の一方を1としたジョルダン標準形行列、すなわち、本発明の電子透かし埋込工程によって得られたジョルダン標準形行列である。
例えば、電子透かし埋込装置1のキー情報出力手段14に関し、入力画像Iに電子透かしを埋め込む際にジョルダン標準形行列Swをも出力するように構成しておき、電子透かし検査装置2では、かかるキー情報出力手段14が出力したジョルダン標準形行列Swを予め取得し、キー情報記憶手段21に記憶する。
また、電子透かし有無判断手段23に関し、行列Skが前記キー情報記憶手段21に記憶するジョルダン標準形行列Swに相当するか否かを判定し、相当する場合に検査対象画像Ikが入力画像Iの電子透かし埋込画像Iwであると判断するように構成する。この場合も、“相当するか否か”は、第2実施形態と同様に、対応する値との差分が閾値以下の場合は一致するとみなして、判定すればよい。
かかる構成によれば、上記同様、行列Skが単にジョルダン標準形行列に相当する場合に電子透かしが埋め込まれていると判断するのではなく、行列Skが、入力画像Iに対して本発明の電子透かし埋込工程を適用した結果得られるジョルダン標準形行列Swに相当する場合に、電子透かしが埋め込まれていると判断するので、より高い精度で電子透かしの有無を判断することができる。
なお、本発明は、画像以外のデータ(音声データなど)に対しても適用可能である。画像以外のデータに対して適用する場合は、そのようなデータを予め定めた規則によりn行n列の2次元配列データに変換し(例えば、1次元データであれば、ある連続するn個のデータを第1行、次の連続するn個のデータを第2行、・・・のようにn行n列の2次元配列を形成する)、かかる2次元配列データを入力画像のn行n列の画素行列Gとみなせばよい。換言すれば、本発明における「画像」は、静止画や動画内フレーム画像のような通常の画像データだけでなく、音声データなどを2次元配列に変換して画像化したデータをも含む概念である。
第1実施形態における電子透かし埋込装置1のハードウェア構成及び機能構成を示すブロック図である。 第1実施形態における電子透かし埋込装置1の動作を説明するためのフローチャートである。 電子透かしが埋め込まれる過程を例を用いて説明する図である。 第2実施形態における電子透かし検査装置2のハードウェア構成及び機能構成を示すブロック図である。 第2実施形態における電子透かし検査装置2の動作を説明するためのフローチャートである。 変形例における電子透かし埋込装置1の機能構成を示すブロック図である。
符号の説明
1 電子透かし埋込装置;2 電子透かし検査装置;10 入力画像記憶手段;11 固有値及びベクトル算出手段;12 固有値修正手段;13 ジョルダン標準形行列作成手段;14 キー情報出力手段;15 電子透かし埋込画像出力手段;16 原画像記憶手段;17 切り出し手段;18 電子透かし埋込原画像出力手段;20 検査対象画像記憶手段;21 キー情報記憶手段;22 対角化演算手段;23 電子透かし有無判断手段

Claims (11)

  1. 入力画像のn行n列の画素行列Gを記憶する入力画像記憶手段と、
    入力画像記憶手段から読み出した画素行列Gの固有値s1〜sn(s1>s2>・・・>sn)及び固有ベクトルp1〜pnを求める固有値及びベクトル算出手段と、
    前記求めた固有値s1〜snの中から、異なる値を持つ固有値のペア(si、sj)を少なくとも1組選択し、前記選択したペアが同一の値となるように前記求めた固有値s1〜snを修正する固有値修正手段と、
    前記修正した固有値を対角要素とし、前記選択したペアに対応する非対角要素の一方を1としたジョルダン標準形行列Swを作成する手段と、
    前記求めた固有ベクトルp1〜pnを電子透かしキー情報として出力する手段と、
    前記作成した行列Swに対して前記求めた固有ベクトルp1〜pnを用いて対角化演算の逆変換を行ってn行n列の画素行列Gwを作成し、前記入力画像の電子透かし埋込画像として出力する手段と、を備えることを特徴とする電子透かし埋込装置。
  2. 前記固有値修正手段は、前記選択したペアの一方の値を他方の値で置き換えることで、前記選択したペアが同一の値となるように前記求めた固有値s1〜snを修正することを特徴とする請求項1記載の電子透かし埋込装置。
  3. 電子透かしの埋め込み対象となる原画像を記憶する原画像記憶手段と、
    前記原画像からn×n画素の部分画像を切り出し、前記部分画像の画素行列を前記入力画像のn行n列の画素行列Gとして前記入力画像記憶手段に記憶する手段と、
    前記原画像中の前記部分画像を前記入力画像の電子透かし埋込画像に置き換えて前記原画像の電子透かし埋込画像を作成し、出力する手段と、を備えることを特徴とする請求項1又は2記載の電子透かし埋込装置。
  4. 固有値及びベクトル算出手段は、前記画素行列Gがランクr(r<n)の非正則行列である場合、前記画素行列Gの固有値s(r+1)〜snとして固有値srより小さい正値を設定し、前記設定した固有値s(r+1)〜snの固有ベクトルとして基本ベクトルを設定することを特徴とする請求項1乃至3のいずれか1項に記載の電子透かし埋込装置。
  5. 検査対象画像のn行n列の画素行列Gkを記憶する検査対象画像記憶手段と、
    電子透かしキー情報として、入力画像のn行n列の画素行列Gの固有ベクトルp1〜pnを記憶するキー情報記憶手段と、
    検査対象画像記憶手段から読み出した画素行列Gkに対して前記固有ベクトルp1〜pnを用いて対角化演算を行ってn行n列の行列Skを作成する手段と、
    前記作成した行列Skがジョルダン標準形行列に相当するか否かを判定し、相当する場合に前記検査対象画像が前記入力画像の電子透かし埋込画像であると判断し、判断結果を出力する判断手段と、を備えることを特徴とする電子透かし検査装置。
  6. 前記キー情報記憶手段は、更に、電子透かしキー情報として、入力画像のn行n列の画素行列Gの固有値s1〜sn(s1>s2>・・・>sn)を記憶しており、
    前記判断手段は、前記作成した行列Skが、m個(1≦m<n)の固有値が前記固有値s1〜snのうちのいずれかであり、残りの(n−m)個の固有値が前記m個の固有値のいずれかと重根となるn行n列のジョルダン標準形行列Swに相当するか否かを判定し、相当する場合に前記検査対象画像が前記入力画像の電子透かし埋込画像であると判断することを特徴とする請求項5記載の電子透かし検査装置。
  7. 前記キー情報記憶手段は、更に、電子透かしキー情報として、ジョルダン標準形行列Swを記憶しており、
    前記判断手段は、前記作成した行列Skが前記ジョルダン標準形行列Swに相当するか否かを判定し、相当する場合に前記検査対象画像が前記入力画像の電子透かし埋込画像であると判断し、
    前記ジョルダン標準形Swが、前記画素行列Gの固有値s1〜sn(s1>s2>・・・>sn)の中から、異なる値を持つ固有値のペア(si、sj)を少なくとも1組選択し、前記選択したペアが同一の値となるように前記求めた固有値s1〜snを修正し、前記修正した固有値を対角要素とし、前記選択したペアに対応する非対角要素の一方を1としたジョルダン標準形行列であることを特徴とする請求項5記載の電子透かし検査装置。
  8. 入力画像のn行n列の画素行列Gを記憶する入力画像記憶手段から、画素行列Gを読み出す工程と、
    前記読み出した画素行列Gの固有値s1〜sn(s1>s2>・・・>sn)及び固有ベクトルp1〜pnを求める固有値及びベクトル算出工程と、
    前記求めた固有値s1〜snの中から、異なる値を持つ固有値のペア(si、sj)を少なくとも1組選択し、前記選択したペアが同一の値となるように前記求めた固有値s1〜snを修正する固有値修正工程と、
    前記修正した固有値を対角要素とし、前記選択したペアに対応する非対角要素の一方を1としたジョルダン標準形行列Swを作成する工程と、
    前記求めた固有ベクトルp1〜pnを電子透かしキー情報として出力する工程と、
    前記作成した行列Swに対して前記求めた固有ベクトルp1〜pnを用いて対角化演算の逆変換を行ってn行n列の画素行列Gwを作成し、前記入力画像の電子透かし埋込画像として出力する工程と、を備えることを特徴とする電子透かし埋込方法。
  9. 検査対象画像のn行n列の画素行列Gkを記憶する検査対象画像記憶手段から、画素行列Gkを読み出す工程と、
    電子透かしキー情報として、入力画像のn行n列の画素行列Gの固有ベクトルp1〜pnを記憶するキー情報記憶手段から、固有ベクトルp1〜pnを読み出す工程と、
    前記読み出した画素行列Gkに対して、前記読み出した固有ベクトルp1〜pnを用いて対角化演算を行い、n行n列の行列Skを作成する工程と、
    前記作成した行列Skがジョルダン標準形行列に相当するか否かを判定する工程と、
    前記作成した行列Skがジョルダン標準形行列に相当する場合、前記検査対象画像が前記入力画像の電子透かし埋込画像であると判断し、判断結果を出力する工程と、を備えることを特徴とする電子透かし検査方法。
  10. 請求項8記載の電子透かし埋込方法をコンピュータで実行させるためのプログラム。
  11. 請求項9記載の電子透かし検査方法をコンピュータで実行させるためのプログラム。
JP2008543811A 2007-12-14 2007-12-14 電子透かし埋込装置及び方法、電子透かし検査装置及び方法 Expired - Fee Related JP4247307B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/074101 WO2009078071A1 (ja) 2007-12-14 2007-12-14 電子透かし埋込装置及び方法、電子透かし検査装置及び方法

Publications (2)

Publication Number Publication Date
JP4247307B1 true JP4247307B1 (ja) 2009-04-02
JPWO2009078071A1 JPWO2009078071A1 (ja) 2011-04-28

Family

ID=40612075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008543811A Expired - Fee Related JP4247307B1 (ja) 2007-12-14 2007-12-14 電子透かし埋込装置及び方法、電子透かし検査装置及び方法

Country Status (3)

Country Link
US (1) US7881492B2 (ja)
JP (1) JP4247307B1 (ja)
WO (1) WO2009078071A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118420A (zh) * 2018-08-21 2019-01-01 杭州朗和科技有限公司 水印识别模型建立及识别方法、装置、介质及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457671B2 (en) * 2004-09-30 2008-11-25 Rockwell Automation Technologies, Inc. Systems and methods that facilitate management of add-on instruction generation, selection, and/or monitoring during execution
US9368124B2 (en) * 2014-08-12 2016-06-14 Tata Consultancy Services Ltd. Computer implemented system for audio watermarking
CN116956168B (zh) * 2023-09-18 2024-01-02 云粒智慧科技有限公司 文本水印处理方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7386125B2 (en) * 2002-10-28 2008-06-10 Qdesign Usa, Inc. Techniques of imperceptibly altering the spectrum of a displayed image in a manner that discourages copying
GB2404805B (en) * 2003-08-08 2006-01-25 Motorola Inc Method and apparatus for fragile watermarking
JP4257444B2 (ja) * 2004-02-05 2009-04-22 国立大学法人佐賀大学 電子透かし挿入/抽出装置及び方法
TWI272547B (en) * 2005-07-28 2007-02-01 Academia Sinica Asymmetric watermarking

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118420A (zh) * 2018-08-21 2019-01-01 杭州朗和科技有限公司 水印识别模型建立及识别方法、装置、介质及电子设备
CN109118420B (zh) * 2018-08-21 2022-11-25 杭州朗和科技有限公司 水印识别模型建立及识别方法、装置、介质及电子设备

Also Published As

Publication number Publication date
WO2009078071A1 (ja) 2009-06-25
US20100202651A1 (en) 2010-08-12
JPWO2009078071A1 (ja) 2011-04-28
US7881492B2 (en) 2011-02-01

Similar Documents

Publication Publication Date Title
Holub et al. Random projections of residuals for digital image steganalysis
JP4279839B2 (ja) 電子透かし埋め込み装置、電子透かし検出装置、及びそれらの方法、並びにプログラム
US20160189016A1 (en) Techniques for generating customized two-dimensional barcodes
US20140326793A1 (en) Techniques for generating customized two-dimensional barcodes
JP4131874B1 (ja) 電子透かし埋込装置及び方法、電子透かし検出装置及び方法
Ker et al. Feature reduction and payload location with WAM steganalysis
JP4247307B1 (ja) 電子透かし埋込装置及び方法、電子透かし検査装置及び方法
Kodovský et al. Effect of image downsampling on steganographic security
US8149451B2 (en) Information processing device, information embedding method, and program
JP6829518B2 (ja) 材料試料に存在する物理的変動を用いて乱数を生成するためのシステム及び方法
AU2010238503B2 (en) Two dimensional information symbol
KR102438102B1 (ko) 영상 스테가노그래피를 이용한 정보 보안 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
Ker The ultimate steganalysis benchmark?
JP5907130B2 (ja) 情報処理装置
Zhu et al. Multi-class JPEG image steganalysis by ensemble linear svm classifier
Kumar Steganography and steganalysis of joint picture expert group (JPEG) images
JP4905142B2 (ja) 画像処理装置、印刷物および画像処理プログラム
JPWO2010046951A1 (ja) 画像の暗号化装置/復号装置、画像の暗号化方法/復号方法、画像の暗号化プログラム/復号プログラム
Pizzolante et al. Format-independent protection of DNA microarray images
JP2006217044A (ja) 電子透かしのための画像処理方法及び装置
KR101994236B1 (ko) 프라이버시 보존형 각도 기반 이상치 검출 방법 및 장치
CN112037113B (zh) 一种图像的空域隐写增强方法及装置
Lee et al. Image authentication based on modular embedding
JP5343659B2 (ja) 画像処理装置及び画像処理プログラム
Mustafa Copyright protection for gis vector map based on wavelet transform

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090109

R150 Certificate of patent or registration of utility model

Ref document number: 4247307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees