JP4863219B2 - 電子透かし検出装置、電子透かし検出方法、電子透かし検出プログラム、および、電子透かし処理システム - Google Patents

電子透かし検出装置、電子透かし検出方法、電子透かし検出プログラム、および、電子透かし処理システム Download PDF

Info

Publication number
JP4863219B2
JP4863219B2 JP2007140375A JP2007140375A JP4863219B2 JP 4863219 B2 JP4863219 B2 JP 4863219B2 JP 2007140375 A JP2007140375 A JP 2007140375A JP 2007140375 A JP2007140375 A JP 2007140375A JP 4863219 B2 JP4863219 B2 JP 4863219B2
Authority
JP
Japan
Prior art keywords
watermark
embedded
information
candidate
bit string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007140375A
Other languages
English (en)
Other versions
JP2008294916A (ja
Inventor
豊和 菅井
浩 伊藤
光義 鈴木
嘉明 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007140375A priority Critical patent/JP4863219B2/ja
Publication of JP2008294916A publication Critical patent/JP2008294916A/ja
Application granted granted Critical
Publication of JP4863219B2 publication Critical patent/JP4863219B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

この発明は電子透かし検出装置、電子透かし検出方法、電子透かし検出プログラム、および、電子透かし検出システムに関し、特に、画像の不正な使用や複製を防止するための電子透かし検出装置、電子透かし検出方法、電子透かし検出プログラム、および、電子透かし処理システムに関する。
従来技術として、例えば、透かし情報を表現する符号において、すべての結託者の間で共通な値を持つビットは検出不能であるという性質を利用して、検出不能なビットがそのまま残るならば、それ以外のビットを如何に変更しようとも、結託者以外の利用者の符号を生成することができない符号(c−frameproof符号と呼ばれる)を埋め込み符号として生成し、コンテンツに電子透かし情報として埋め込む方式が提案されている(例えば、非特許文献1参照。)。
Dan Boneh 及び James Shaw著、"Collusion−Secure Fingerprinting for Digital Data"、CRYPTO ’95、pp.452−465、1995
従来の、結託攻撃耐性を持つ透かし埋め込み方式あるいは透かし検出方式は、透かしを消去改ざんしようとする外部からの悪意ある攻撃を防止するため、透かしの埋め込みアルゴリズムを秘匿する必要がある。例えば、非特許文献1のようなc−frameproof符号により透かしが埋め込まれている、という事実は秘匿されなければならない、もしくは、攻撃を行う者に推定されてはならない。
逆に言えば、もし攻撃を行う者が万一透かしの埋め込みアルゴリズムを知ってしまった、あるいは、推定できた場合には、そのアルゴリズムに従い、任意の透かし情報を上書きしてしまうことで透かし情報の消去あるいは改ざんが可能となってしまい、所望の正しい情報の検出が行えなくなってしまう、という問題点があった。
この発明はかかる問題点を解決するためになされたものであり、透かしの埋め込みアルゴリズムが一般に公開された場合でも、透かし情報に対して一定の安全性を保ち、なおかつ、結託攻撃に対しても耐性を持つ電子透かし検出装置、電子透かし検出方法、電子透かし検出プログラム、および、電子透かし処理システムを提供することを目的とする。
この発明は、電子透かしが埋め込まれた透かし埋込画像を入力する画像入力手段と、電子透かしの埋め込みに関する秘匿鍵情報を入力する秘匿鍵情報入力手段と、入力された前記透かし埋込画像から、透かし埋め込みの対象となる変数の集合を抽出する埋込変数抽出手段と、抽出された前記透かし埋め込みの対象となる変数の集合と入力された前記秘匿鍵情報とを用いて、前記透かし埋込画像に埋め込まれていると推定される透かし情報ビット列の候補とその確信度とを対にしたデータを1以上出力する透かし情報候補算出手段と、前記透かし情報候補算出手段より得られる透かし情報ビット列の候補とその確信度とを対にしたデータに基づいて、前記透かし情報ビット列に関する判定を行う透かし情報判定手段とを備え、前記透かし情報候補算出手段は、入力された前記秘匿鍵情報を用いて、前記透かし埋め込みの対象となる変数の集合より実際に透かしが埋め込まれた複数の透かし埋め込み変数を抽出し、各透かし埋め込み変数と、透かし情報の候補となる情報ビット列を冗長符号化したビット列の各ビットとに基づいて、そのビットの確信度を判定し、それらの確信度の総和を最終的な透かし情報ビット列候補の確信度とし、前記透かし情報判定手段は、前記透かし情報ビット列の候補のうち、前記確信度が予め設定された閾値よりも高い候補を抽出し、前記閾値より高い候補が1個のみである場合は、当該候補が埋め込み情報であると判定することを特徴とする電子透かし検出装置である。
この発明は、電子透かしが埋め込まれた透かし埋込画像を入力する画像入力手段と、電子透かしの埋め込みに関する秘匿鍵情報を入力する秘匿鍵情報入力手段と、入力された前記透かし埋込画像から、透かし埋め込みの対象となる変数の集合を抽出する埋込変数抽出手段と、抽出された前記透かし埋め込みの対象となる変数の集合と入力された前記秘匿鍵情報とを用いて、前記透かし埋込画像に埋め込まれていると推定される透かし情報ビット列の候補とその確信度とを対にしたデータを1以上出力する透かし情報候補算出手段と、前記透かし情報候補算出手段より得られる透かし情報ビット列の候補とその確信度とを対にしたデータに基づいて、前記透かし情報ビット列に関する判定を行う透かし情報判定手段とを備え、前記透かし情報候補算出手段は、入力された前記秘匿鍵情報を用いて、前記透かし埋め込みの対象となる変数の集合より実際に透かしが埋め込まれた複数の透かし埋め込み変数を抽出し、各透かし埋め込み変数と、透かし情報の候補となる情報ビット列を冗長符号化したビット列の各ビットとに基づいて、そのビットの確信度を判定し、それらの確信度の総和を最終的な透かし情報ビット列候補の確信度とし、前記透かし情報判定手段は、前記透かし情報ビット列の候補のうち、前記確信度が予め設定された閾値よりも高い候補を抽出し、前記閾値より高い候補が1個のみである場合は、当該候補が埋め込み情報であると判定することを特徴とする電子透かし検出装置であるので、透かしの埋め込みアルゴリズムが一般に公開された場合でも、透かし情報に対して一定の安全性を保ち、なおかつ、結託攻撃に対しても耐性を持つことができる。
実施の形態1.
図1は、この発明の実施の形態1に係る電子透かし検出装置の構成を示すブロック図である。図1に示すように、本実施の形態に係る電子透かし検出装置100は、画像入力手段101、埋込変数抽出手段102、埋込キー入力手段103(秘匿鍵情報入力手段)、透かし情報候補算出手段104、及び、透かし情報判定手段105より構成される。
画像入力手段101は、透かしが埋め込まれた画像データ(以下、透かし埋込画像データとする。)を外部より取り込む手段であり、取り込んだ透かし埋込画像データを埋込変数抽出手段102に渡す。
埋込変数抽出手段102は、画像入力手段101により取り込まれた透かし埋め込み画像データから、透かし埋め込みの対象となる変数データの集合(透かし埋め込み変数集合)を抽出する手段であり、抽出した透かし埋め込み変数集合を透かし情報候補算出手段104に渡す。なお、透かし埋め込み変数集合とは、例えば、画像をウェーブレット変換処理した後のウェーブレット変換係数の一部である。
埋込キー入力手段103(秘匿鍵情報入力手段)は、透かし埋め込み装置で透かしを埋め込んだ際の秘匿鍵情報(透かし埋込キー)を外部より取り込む手段であり、入力された秘匿鍵情報を透かし情報候補算出手段104に渡す。秘匿鍵情報とは、例えば、透かし埋め込み変数集合内で実際に透かしが埋め込まれた変数の位置を特定する情報である。
透かし情報候補算出手段104は、埋込変数抽出手段102より得られる透かし埋め込み変数集合と埋込キー入力手段103より得られる秘匿鍵情報を用いて、画像に埋め込まれた透かし情報ビット列の候補とその確信度とを対にしたデータを一つまたは複数算出する手段であり、算出した透かし情報候補データを透かし情報判定手段105に渡す。
透かし情報判定手段105は、透かし情報候補算出手段104より得られる透かし情報の候補とその確信度のデータを元に、透かし情報ビット列に関する情報の判定を行い、判定結果を出力する手段である。
次に、動作について説明する。但し、本実施の形態に係る電子透かし検出装置100の動作について説明する前に、画像に電子透かしを埋め込む方法について説明する。尚、画像に電子透かしを埋め込む処理は、電子透かし埋込装置によって行われる。この発明に係る電子透かし処理システムは、電子透かし埋込装置と電子透かし検出装置100とから構成される。
ここでは、透かし埋め込み方法の一例として、ウェーブレット変換係数への量子化による埋め込みの場合について説明する。従って、以下の説明においては、本実施の形態に係る電子透かし検出装置100は、この方法にて透かしが埋め込まれた画像からの検出を行うものとして説明を行う。もちろん、本埋め込み方法はあくまで一例であり、この発明に係る電子透かし検出装置は、本実施の形態で示す透かし埋め込み方法で埋め込まれた画像からの検出に限定されるものではない。
透かし埋め込み処理においては、まず最初に、透かし情報ビット列に対して、冗長符号化を行う。例えば、画像に埋め込もうとする透かし情報ビット列を8ビットとして、BCH(127,8)符号により127ビットに冗長符号化を行うものとする。
次に、透かしを埋め込む対象となる原画像データに対して4段のウェーブレット変換を実施する。図2は、4段ウェーブレット変換の手順を示したものである。まず、図2に示すように、原画像データ200をLL/LH/HL/HHの各成分に分解(1段目)し、分解後の各成分より構成される画像201を作成する。次に、画像201のLL成分に対してさらにウェーブレット変換を行い、LL/LH/HL/HHの各成分に分解する(2段目)。元のLL成分を2段目のLL/LH/HL/HHの各成分に置き換えた画像を画像202として、画像202のLL成分に対してさらにウェーブレット変換を行い、LL/LH/HL/HHの各成分に分解する、という作業を繰り返す。これを4段まで繰り返し、最終的に画像203を得る。なお、図2においては、画像203のみ大きく描かれているが、これは単に細かい部分を明確に記載するための便宜上のものであり、画像の大きさは変化しないものとする。
4段ウェーブレット変換実施後の画像203に対して、4段ウェーブレット変換後の画像203における最終的なLL成分と、1段目の画像201のLH/HL/HH成分、および、2段目の画像202のHH成分を取り除いた、中低域部分のウェーブレット変換係数を、透かし埋め込みの対象としての透かし埋め込み変数集合と設定する。図3の灰色部分はこの透かし埋め込み変数集合を示すウェーブレット変換係数領域を表現したものであり、この領域内のいずれかの複数のウェーブレット変換係数に対して、上記冗長符号化したビット列を埋め込む。この透かし埋め込み変数集合については、ウェーブレット変換係数のどの領域であるかを秘匿することも可能であるし、この領域が透かし埋め込みの対象となっていることを一般に公開しても良い。
次に、透かし埋め込み変数への量子化埋め込み方法を説明する。
情報の埋め込みは透かし埋め込み変数集合に含まれるウェーブレット変換係数の一部をディザ変調(量子化)することによって行う。この量子化処理は、図4に示すように、情報ビットの0と1に対応する量子化代表値が交互に現れるスカラー量子化処理である。この量子化処理を用いて、変換係数の値を情報ビットに対応する最も近い量子化代表値に変更することによって、1ビットの情報が埋め込まれる。個々のウェーブレット変換係数に同様の処理を行えば、量子化処理を行ったウェーブレット変換係数と同数のビットの情報が埋め込まれる。よって、上記127ビット冗長符号化列を埋め込む場合には、127個のウェーブレット変換係数が必要ということになる。同じビットの隣接する量子化代表値間の距離を量子化幅と呼びΔで表す。この量子化幅は秘匿することも可能であるし、一般に公開される情報としても良い。
なお、量子化埋め込みが行われた127個のウェーブレット変換係数については、図6に示すように、その(X,Y)座標を番号順序で記憶装置または記憶媒体等に記憶しておき、こうして得られたデータ601を透かし埋込キー(図1参照)として、本実施の形態に係る電子透かし検出装置100で用いる。
なお、最終的にウェーブレット変換係数全体に対して、図2で説明した4段ウェーブレット変換処理の完全な逆変換である4段のウェーブレット逆変換処理を行って得られる画像を、透かし埋込画像(図1参照)とする。
次に、本実施の形態に係る電子透かし検出装置100の動作について説明する。
電子透かし検出装置100においては、まず、上述の電子透かし埋込装置における処理により電子透かしが埋め込まれた透かし埋込画像が外部より入力される。電子透かし検出装置100は、画像入力手段101によって当該透かし埋込画像を取り込み、埋込変数抽出手段102にそれを入力し、埋込変数抽出手段102にて、透かし埋め込み変数集合が抽出される。
図5は、埋込変数抽出手段102による透かし埋め込み変数集合を抽出する処理を示すフローチャートである。埋込変数抽出手段102は、まず、ステップS501にて、画像入力手段101から入力される透かし埋込画像データの取り込みを行い、取り込んだ画像データに対して、ステップS502で、4段ウェーブレット変換処理を行う。さらに、ステップS503で、ウェーブレット変換係数より図3に示した透かし埋め込み変数集合に相当するウェーブレット変換係数領域(ウェーブレット変換係数の集合)を抽出する。最終的に、ステップS504にて、ステップS503により抽出したウェーブレット変換係数領域を、透かし情報候補算出手段104に対して出力し、処理を終了する。
一方、埋込キー入力手段103(秘匿鍵情報入力手段)には、透かし埋込キー(秘匿鍵情報)が外部から入力される。埋込キー入力手段103に入力される透かし埋込キーは、先に示したように、図6のデータ601であるとする。例えば、図6の表で示されるデータ601のように、透かし情報が埋め込まれたウェーブレット変換係数の(X,Y)座標の列とし、埋込変数番号1に対応するウェーブレット変換係数は、ウェーブレット変換係数領域602の(X1,Y1)座標の位置にある変換係数603である、とする。ここで、ウェーブレット変換係数の個数は、透かし埋め込み時にBCH(127,8)符号にて冗長符号化された127ビット情報の各ビットに対応するため、127個となる。
次に、透かし情報候補算出手段104においては、画像に埋め込まれた透かし情報の候補を算出する。図7は、透かし情報候補算出手段104の処理の流れを示したフローチャートである。ステップS701の処理にて、図6に示した透かし埋込キーを用いて、透かし埋め込み変数集合より対応する127個のウェーブレット変換係数を抽出する。次に、ステップS702にて、透かし情報の候補番号を1にセットする。例えば、画像に埋め込まれた透かし情報を8ビットとし、ウェーブレット変換係数に埋め込まれた透かし埋め込み情報コード列をBCH(127,8)符号で透かし情報8ビットを冗長符号化した127ビットであるとすると、透かし情報の候補は、0(2進数で00000000)〜255(2進数で11111111)の256通りとなる。ここでは、透かし情報候補番号に対応づけられた透かし情報は、番号から1を減じた数値であるとする。(例:透かし情報候補番号10の透かし情報は、10−1=9)
次に、ステップS703にて透かし情報候補毎の確信度を計算する。確信度とは、その透かし情報の候補が「透かし情報の推定値としてどれだけ確からしいか」を示した度数であり、確信度が高ければ高いほどその透かし情報候補は透かし情報の推定値として信頼性が高いものとなる。
図8は、透かし情報候補毎の確信度の計算方法について示したものである。ステップS701にて抽出された127個のウェーブレット変換係数R1〜R127に対し、現在対象としている透かし情報候補の冗長符号化した各ビットをB1〜B127とする。ここで、(Rx、Bx)(x=1〜127)より、図9に示すグラフを用いて、各ビット毎の確信度Lx(x=1〜127)を計算する。図9において、横軸rはRxの値を取り、縦軸pは対応する確信度を示すものとする。確信度は、各透かし埋め込み変数と、透かし情報の候補となる情報ビット列を冗長符号化したビット列の各ビットとを入力値とする所定の関数により求められる。いま、Bx=1の場合は当該関数がグラフの実線により示され、それによりRxに対応する確信度はp1、また、Bx=0の場合は当該関数がグラフの破線により示され、それによりRxに対応する確信度はp0と計算される。こうすることにより、図4で示した透かし情報候補の各ビットの量子化対応点の近さに応じて確信度が高くなることになるため、確信度がより「確からしい」値に近づく。このようにして求めたp0またはp1をそのビットの確信度として、図8のLx(x=1〜127)に格納する。
このようにして求めた各ビット毎の確信度Lx(x=1〜127)を積算し、最終的な確信度LSUMとして算出する。各ビットの確信度は0〜1の範囲の値を取り、LSUMはその値の127個分の積算値であるため、0〜127の範囲の値を取ることになる。
次に、ステップS704にて透かし候補情報の更新を行う。
図10は、透かし候補情報の更新の様子を示したものである。透かし情報候補一覧1000は、既に確信度計算を実行した透かし情報候補について、確信度の高い方から透かし情報候補カラム1001、1002、1003の順に3位まで順位付けした一覧であるとする。ここで、新たに計算を行った透かし情報候補と確信度のペア1004にて、確信度70.8と計算された場合、既存の透かし情報一覧1000での各カラム1001、1002、1003の確信度と比較すると、カラム1002の確信度より低く、カラム1003の確信度より高い確信度になる。ここで透かし情報一覧の更新を行う。更新後の透かし情報一覧1010では、カラム1004が、カラム1002とカラム1003の間に第3位のカラムとして挿入されている。
ステップS705にて、透かし情報候補番号が最後かどうかを判定する。具体的には番号が256に達した場合は、最後の透かし情報候補の確信度計算が終了したものとして、ステップS707にて、図11に示すような最終的な透かし情報候補の一覧1100を出力する。一覧は、一覧1100のように1位〜256位の全候補を示しても良いし、一覧1110のように上位のもののみ(ここでは上位3位のみ)限定して示しても良い。一方、ステップS705において、番号が256に達していない場合は、まだ残りの透かし情報候補が存在するため、ステップS706にて、透かし情報候補番号を1増加し、確信度の計算を行うステップS703の処理に戻る。
次に、透かし情報判定手段105による透かし情報の判定を行う。
透かし情報判定手段105は、透かし情報候補算出手段104より取得した透かし情報候補一覧の確信度より、透かし埋め込み情報の有無および画像の結託の有無についての判定を行う。例えば、図12の透かし情報候補一覧1200に示すように、透かし情報ビット列候補データのうち、確信度が突出して高い候補が1201の1個のみであり、それらの候補の確信度に比べて、その他の候補の確信度が低い場合は、最も確信度の高い候補が画像に埋め込まれた透かし情報であり、結託は行われていないと判定する。
また、透かし情報判定手段105は、透かし情報ビット列候補データのうち、確信度が突出して高い候補が複数個あり、それらの候補の確信度に比べて、その他の候補の確信度が低い場合は、確信度の高い複数の候補が埋め込まれた複数の画像による結託が行われたものと判定する。例えば、透かし情報候補一覧1210において、確信度が突出して高い候補は1211、1212の2個存在し、その他の候補1213は確信度が低いと判定されるため、透かし検出装置100に入力された画像は1211に対応する透かし情報候補が埋め込まれた画像と1212に対応する透かし情報候補が埋め込まれた画像の結託攻撃により生成された画像であると判定する。
さらに、透かし情報判定手段105は、透かし情報ビット列候補データのうち、確信度が突出して高い候補がなく、全ての候補の確信度が低い場合は、用いられた透かし埋込キーに対応する透かし情報は埋め込まれていないものと判定する。例えば、透かし情報候補一覧1220において、確信度が突出して高い候補は存在せず、1221、1222、1223のいずれの確信度も70超程度でほぼ同じくして低い値であると判定できる。そのため、入力された画像には用いられた透かし埋込キー情報に対応する透かし情報は埋め込まれていないと判定する。
確信度が突出して高いかどうかを判定する方法としては、例えば、確信度の閾値を設定する方法がある。図9において各ビット毎の確信度が0.5であることが、0と1のビットに対応する各量子化対応点のちょうど中間に当たることになり、すなわち、「そのビットが0か1か五分五分の確信度である」ということを示している。よって、本実施の形態での確信度算出方法では、127ビット分積算後の確信度については、0.5×127=63.5が「各ビットの0/1が不明である」という確信度に相当し、ビット判定の信頼性が全くない状態に相当することになる。ちなみに、積算後の確信度が0となる場合については、「透かし情報候補と各ビットが全て反対となっている候補に対する確信度が100%である」ということに相当するため、確信度63.5の場合と同様ビット判定の信頼性は全くない状態ではあるが、その意味合いは異なる。このことを鑑みて、確信度の閾値は、少なくとも63.5よりも大きい値に設定する必要がある。
透かし情報一覧1200、1210、1220において、例えば確信度の閾値を80に設定した場合、1200では閾値を超えるものは1201のみ、1210では閾値を超えるものは1211、1212の2個、1220では閾値を超えるものは存在しない、となるため、それぞれ、「結託が行われておらず、1個の透かし情報が埋め込まれている」「2個の透かし埋め込み画像の結託が行われている」「透かし情報が埋め込まれていない」と判定する。
なお、1230のように、一覧に挙がっている全ての候補が確信度の閾値を超えてしまうケースも考えられる。この場合は、「全ての候補に対応する透かし情報がそれぞれ埋め込まれた複数の画像の結託が行われている」と判定する。
最終的に、透かし情報判定手段105は、透かし情報判定手段105で結託が行われていないと判定された場合、透かし情報ビット列候補データのうち、1個のみ存在する確信度が突出して高い候補(例えば、図12の1201)を透かし情報として出力する。
また、複数の画像による結託が行われたものと判定された場合、透かし情報ビット列候補データのうち、確信度が突出して高い複数個の候補(例えば、図12の1211、1212、あるいは、1231、1232、1233)を、結託が行われた対象の画像群として、全て出力する。
さらに、用いられた透かし埋め込みキーに対応する透かし情報は埋め込まれていないものと判定された場合、透かし情報の出力は行わない。
以上のように、本実施の形態においては、複数の透かし埋め込み画像による結託攻撃が行われた場合でも、結託が行われた事実および結託に用いられた画像の透かし情報についての検出が可能となる。なお、透かしの埋め込みアルゴリズムについては、例えば上記のように、透かし情報の冗長符号化ビット列をウェーブレット変換係数に量子化埋め込みする、といった方法をたとえ一般に公開したとしても、実際にどの変数に埋め込まれているかという秘匿鍵情報自体は透かし埋め込みキーとして秘匿されているため、結託を行おうとする者がこの方法を用いて透かしの上書きを行おうとしても、ランダムにウェーブレット変換係数を選択せざるを得ず、実際に透かしが埋め込まれた全てあるいは大部分のウェーブレット変換係数のみに限定した量子化での上書きを行うことはまず不可能である。透かしが埋め込まれた全てあるいは大部分のウェーブレット変換係数への量子化での上書きを行おうとすれば、その他の大半のウェーブレット変換係数も同時に変位することになるため、画質の大幅な劣化が伴ってしまうことになり、コンテンツの価値が大幅に滅失することになる。このため、透かしの埋め込みアルゴリズムが一般に公開された場合でも、画像がある一定以上の品質を保っているという条件下においては、透かし情報については一定の安全性が保たれていると言える。
なお、透かし埋め込みキーが異なる複数の透かし埋め込み画像による結託攻撃の場合は、透かしの埋め込み箇所となるウェーブレット変換係数の位置が画像により異なり、かつ、ウェーブレット変換係数の位置の大半が複数の透かし埋込キーで重複する可能性は極めて小さいため、目的の画像に対する透かし埋込キーで検出を行った場合は結託攻撃の影響はほとんど受けずに検出を行うことができる。一方、透かし埋込キーが全く同じ複数の透かし埋め込み画像による結託攻撃の場合でも、例えば、図12の1210のように、結託攻撃の対象となった画像に対応する複数の透かし情報候補に確信度が分散することにより、結託が行われたことの検出が可能な方式となっている。
実施の形態2.
次に、埋込変数抽出手段102によって抽出されたウェーブレット変換係数のうち、一つのビット列に対して複数のウェーブレット変換係数を用いて確信度の計算を行う実施の形態を示す。本実施の形態における電子透かし検出装置100の構成は基本的に図1に示した構成と同じであるため、ここではその説明を省略する。また、下記の説明においては、上述の実施の形態1と異なる部分の動作についてのみ説明することとし、他の部分の動作については実施の形態1の説明を参照することとする。
図13は、埋め込み変数番号1個あたり複数のウェーブレット変換係数を割り当てた場合の透かし埋込キーの例を示す。例えば、番号1には、座標(X1−1,Y1−1)、(X1−2,Y1−2)の2個のウェーブレット変換係数が割り当てられている。これらをそれぞれR1−1、R1−2とする。透かしの埋め込みの際、このように一つの埋め込み情報ビットに対して複数のウェーブレット変換係数への量子化を実行する。この際のR1−1、R1−2への量子化方法としては、実施の形態1と同様の量子化をそれぞれに行って、埋め込みの冗長化を行う方法などが考えられる。
図14において、R1−1、R1−2のそれぞれと現在対象としている透かし情報候補ビットB1の比較を行う。この際、図9のグラフを用いた場合の(R1−1,B1)、(R1−2,B1)のそれぞれのビット当たり確信度のうちより大きい方の値を採用し、これをL1とする。
同様にしてL2〜L127を算出して、全確信度の合計LSUMを算出する。
このように複数のウェーブレット変換係数と透かし情報候補ビットとの比較を行う方法としては、上述したような、ビット当たり確信度のうち、より大きい確信度を採用する(最大の確信度を採用する)方法の他、全確信度の平均を採用する、全ウェーブレット変換係数の平均と透かし情報候補ビットとの比較により確信度を算出する、といった方法が考えられ、いずれを適用してもよいこととする。
このように、本実施の形態によれば、上述の実施の形態1と同様の効果が得られるとともに、さらに、本実施の形態においては、埋め込み変数番号1個あたり複数のウェーブレット変換係数を割り当てることにより、結託攻撃などの悪意ある攻撃を受けた場合に対して、より高いビット当たり確信度が得られる可能性が高くなり、検出精度の向上が期待される。
なお、実施の形態1および2において実施形態を上述した、この発明に係る電子透かし検出装置は、例えば、汎用コンピュータなどの計算機を用いて、この発明の電子透かし埋め込み方法に従う電子透かし埋め込みプログラムを実行させることによって具現化することができる。つまり、電子透かし埋め込みプログラムをコンピュータに実行させて、上述した構成要素101〜105として機能させることにより、電子透かし検出装置による特徴的なデータ処理を実行することができる。なお、上記の説明において、電子透かし検出装置を具現化するコンピュータ自体の構成及びその基本的な機能については、当業者が当該分野の技術常識に基づいて容易に認識できるものであり、この発明の本質に直接かかわるものでないので詳細な記載を省略する。
この発明の実施の形態1に係る電子透かし検出装置の構成を示すブロック図である。 この発明の実施の形態1に係る電子透かし検出装置に入力される画像データに、透かしを埋め込む際に行われる4段ウェーブレット変換の手順を示した説明図である。 図2のウェーブレット変換により得られた変換後の画像における透かし埋め込み変数集合を示すウェーブレット変換係数領域を示した説明図である。 図3の透かし埋め込み変数への量子化埋め込み方法を示した説明図である。 この発明の実施の形態1に係る電子透かし検出装置における埋込変数抽出手段の処理の流れを示すフローチャートである。 この発明の実施の形態1に係る電子透かし検出装置で用いられる透かし埋込キーの一例を示した説明図である。 この発明の実施の形態1に係る電子透かし検出装置における透かし情報候補算出手段の処理の流れを示すフローチャートである。 この発明の実施の形態1に係る電子透かし検出装置における透かし情報候補算出手段による透かし情報候補毎の確信度の計算方法を示した説明図である。 この発明の実施の形態1に係る電子透かし検出装置におけるウェーブレット変換係数と確信度との関係をグラフで示した説明図である。 この発明の実施の形態1に係る電子透かし検出装置における透かし情報候補算出手段による透かし候補情報の更新の様子を示した説明図である。 この発明の実施の形態1に係る電子透かし検出装置における透かし情報候補算出手段から出力される透かし情報候補の一覧の例を示した説明図である。 この発明の実施の形態1に係る電子透かし検出装置における透かし情報候補算出手段から出力される透かし情報候補の一覧の例を示した説明図である。 この発明の実施の形態2に係る電子透かし検出装置で用いられる透かし埋込キーの一例を示した説明図である。 この発明の実施の形態2に係る電子透かし検出装置における複数割り当てられたウェーブレット変換係数と透かし情報候補ビットとの比較処理の様子を示した説明図である。
符号の説明
100 電子透かし検出装置、102 埋込変数抽出手段、103 埋込キー入力手段、104 透かし情報候補算出手段、105 透かし情報判定手段。

Claims (9)

  1. 電子透かしが埋め込まれた透かし埋込画像を入力する画像入力手段と、
    電子透かしの埋め込みに関する秘匿鍵情報を入力する秘匿鍵情報入力手段と、
    入力された前記透かし埋込画像から、透かし埋め込みの対象となる変数の集合を抽出する埋込変数抽出手段と、
    抽出された前記透かし埋め込みの対象となる変数の集合と入力された前記秘匿鍵情報とを用いて、前記透かし埋込画像に埋め込まれていると推定される透かし情報ビット列の候補とその確信度とを対にしたデータを1以上出力する透かし情報候補算出手段と、
    前記透かし情報候補算出手段より得られる透かし情報ビット列の候補とその確信度とを対にしたデータに基づいて、前記透かし情報ビット列に関する判定を行う透かし情報判定手段と
    を備え
    前記透かし情報候補算出手段は、
    入力された前記秘匿鍵情報を用いて、前記透かし埋め込みの対象となる変数の集合より実際に透かしが埋め込まれた複数の透かし埋め込み変数を抽出し、各透かし埋め込み変数と、透かし情報の候補となる情報ビット列を冗長符号化したビット列の各ビットとに基づいて、そのビットの確信度を判定し、それらの確信度の総和を最終的な透かし情報ビット列候補の確信度とし、
    前記透かし情報判定手段は、
    前記透かし情報ビット列の候補のうち、前記確信度が予め設定された閾値よりも高い候補を抽出し、前記閾値より高い候補が1個のみである場合は、当該候補が埋め込み情報であると判定する
    ことを特徴とする電子透かし検出装置。
  2. 電子透かしが埋め込まれた透かし埋込画像を入力する画像入力手段と、
    電子透かしの埋め込みに関する秘匿鍵情報を入力する秘匿鍵情報入力手段と、
    入力された前記透かし埋込画像から、透かし埋め込みの対象となる変数の集合を抽出する埋込変数抽出手段と、
    抽出された前記透かし埋め込みの対象となる変数の集合と入力された前記秘匿鍵情報とを用いて、前記透かし埋込画像に埋め込まれていると推定される透かし情報ビット列の候補とその確信度とを対にしたデータを1以上出力する透かし情報候補算出手段と、
    前記透かし情報候補算出手段より得られる透かし情報ビット列の候補とその確信度とを対にしたデータに基づいて、前記透かし情報ビット列に関する判定を行う透かし情報判定手段と
    を備え
    前記透かし情報候補算出手段は、
    入力された前記秘匿鍵情報を用いて、前記透かし埋め込みの対象となる変数の集合より実際に透かしが埋め込まれた複数の透かし埋め込み変数を抽出し、各透かし埋め込み変数と、透かし情報の候補となる情報ビット列を冗長符号化したビット列の各ビットとに基づいて、そのビットの確信度を判定し、それらの確信度の総和を最終的な透かし情報ビット列候補の確信度とし、
    前記透かし情報判定手段は、
    前記透かし情報ビット列の候補のうち、前記確信度が予め設定された閾値よりも高い候補を抽出し、前記閾値より高い候補が複数個ある場合は、当該複数個の候補が埋め込まれた複数の画像による結託が行なわれたものと判定する
    ことを特徴とする電子透かし検出装置。
  3. 電子透かしが埋め込まれた透かし埋込画像を入力する画像入力手段と、
    電子透かしの埋め込みに関する秘匿鍵情報を入力する秘匿鍵情報入力手段と、
    入力された前記透かし埋込画像から、透かし埋め込みの対象となる変数の集合を抽出する埋込変数抽出手段と、
    抽出された前記透かし埋め込みの対象となる変数の集合と入力された前記秘匿鍵情報とを用いて、前記透かし埋込画像に埋め込まれていると推定される透かし情報ビット列の候補とその確信度とを対にしたデータを1以上出力する透かし情報候補算出手段と、
    前記透かし情報候補算出手段より得られる透かし情報ビット列の候補とその確信度とを対にしたデータに基づいて、前記透かし情報ビット列に関する判定を行う透かし情報判定手段と
    を備え
    前記透かし情報候補算出手段は、
    入力された前記秘匿鍵情報を用いて、前記透かし埋め込みの対象となる変数の集合より実際に透かしが埋め込まれた複数の透かし埋め込み変数を抽出し、各透かし埋め込み変数と、透かし情報の候補となる情報ビット列を冗長符号化したビット列の各ビットとに基づいて、そのビットの確信度を判定し、それらの確信度の総和を最終的な透かし情報ビット列候補の確信度とし、
    前記透かし情報判定手段は、
    前記透かし情報ビット列の候補のうち、前記確信度が予め設定された閾値よりも高い候補を抽出し、全ての候補の確信度が前記閾値より低い場合は、前記秘匿鍵情報に対応する透かし情報は埋め込まれていないものと判定する
    ことを特徴とする電子透かし検出装置。
  4. 電子透かしが埋め込まれた透かし埋込画像を入力する画像入力ステップと、
    電子透かしの埋め込みに関する秘匿鍵情報を入力する秘匿鍵情報入力ステップと、
    入力された前記透かし埋込画像から、透かし埋め込みの対象となる変数の集合を抽出する埋込変数抽出ステップと、
    抽出された前記透かし埋め込みの対象となる変数の集合と入力された前記秘匿鍵情報とを用いて、前記透かし埋込画像に埋め込まれていると推定される透かし情報ビット列の候補とその確信度とを対にしたデータを1以上出力する透かし情報候補算出ステップと、
    前記透かし情報候補算出ステップにより得られる透かし情報ビット列の候補とその確信度とを対にしたデータに基づいて、前記透かし情報ビット列に関する判定を行い、判定結果として、当該透かし情報ビット列を出力する透かし情報判定ステップと
    を備え
    前記透かし情報候補算出ステップは、
    入力された前記秘匿鍵情報を用いて、前記透かし埋め込みの対象となる変数の集合より実際に透かしが埋め込まれた複数の透かし埋め込み変数を抽出し、各透かし埋め込み変数と、透かし情報の候補となる情報ビット列を冗長符号化したビット列の各ビットとに基づいて、そのビットの確信度を判定し、それらの確信度の総和を最終的な透かし情報ビット列候補の確信度とし、
    前記透かし情報判定ステップは、
    前記透かし情報ビット列の候補のうち、前記確信度が予め設定された閾値よりも高い候補を抽出し、前記閾値より高い候補が1個のみである場合は、当該候補が埋め込み情報であると判定する
    ことを特徴とする電子透かし検出方法。
  5. 電子透かしが埋め込まれた透かし埋込画像を入力する画像入力ステップと、
    電子透かしの埋め込みに関する秘匿鍵情報を入力する秘匿鍵情報入力ステップと、
    入力された前記透かし埋込画像から、透かし埋め込みの対象となる変数の集合を抽出する埋込変数抽出ステップと、
    抽出された前記透かし埋め込みの対象となる変数の集合と入力された前記秘匿鍵情報とを用いて、前記透かし埋込画像に埋め込まれていると推定される透かし情報ビット列の候補とその確信度とを対にしたデータを1以上出力する透かし情報候補算出ステップと、
    前記透かし情報候補算出ステップにより得られる透かし情報ビット列の候補とその確信度とを対にしたデータに基づいて、前記透かし情報ビット列に関する判定を行い、判定結果として、当該透かし情報ビット列を出力する透かし情報判定ステップと
    を備え
    前記透かし情報候補算出ステップは、
    入力された前記秘匿鍵情報を用いて、前記透かし埋め込みの対象となる変数の集合より実際に透かしが埋め込まれた複数の透かし埋め込み変数を抽出し、各透かし埋め込み変数と、透かし情報の候補となる情報ビット列を冗長符号化したビット列の各ビットとに基づいて、そのビットの確信度を判定し、それらの確信度の総和を最終的な透かし情報ビット列候補の確信度とし、
    前記透かし情報判定ステップは、
    前記透かし情報ビット列の候補のうち、前記確信度が予め設定された閾値よりも高い候補を抽出し、前記閾値より高い候補が複数個ある場合は、当該複数個の候補が埋め込まれた複数の画像による結託が行なわれたものと判定する
    ことを特徴とする電子透かし検出方法。
  6. 電子透かしが埋め込まれた透かし埋込画像を入力する画像入力ステップと、
    電子透かしの埋め込みに関する秘匿鍵情報を入力する秘匿鍵情報入力ステップと、
    入力された前記透かし埋込画像から、透かし埋め込みの対象となる変数の集合を抽出する埋込変数抽出ステップと、
    抽出された前記透かし埋め込みの対象となる変数の集合と入力された前記秘匿鍵情報とを用いて、前記透かし埋込画像に埋め込まれていると推定される透かし情報ビット列の候補とその確信度とを対にしたデータを1以上出力する透かし情報候補算出ステップと、
    前記透かし情報候補算出ステップにより得られる透かし情報ビット列の候補とその確信度とを対にしたデータに基づいて、前記透かし情報ビット列に関する判定を行い、判定結果として、当該透かし情報ビット列を出力する透かし情報判定ステップと
    を備え
    前記透かし情報候補算出ステップは、
    入力された前記秘匿鍵情報を用いて、前記透かし埋め込みの対象となる変数の集合より実際に透かしが埋め込まれた複数の透かし埋め込み変数を抽出し、各透かし埋め込み変数と、透かし情報の候補となる情報ビット列を冗長符号化したビット列の各ビットとに基づいて、そのビットの確信度を判定し、それらの確信度の総和を最終的な透かし情報ビット列候補の確信度とし、
    前記透かし情報判定ステップは、
    前記透かし情報ビット列の候補のうち、前記確信度が予め設定された閾値よりも高い候補を抽出し、全ての候補の確信度が前記閾値より低い場合は、前記秘匿鍵情報に対応する透かし情報は埋め込まれていないものと判定する
    ことを特徴とする電子透かし検出方法。
  7. コンピュータを、
    電子透かしが埋め込まれた透かし埋込画像を入力する画像入力手段と、
    電子透かしの埋め込みに関する秘匿鍵情報を入力する秘匿鍵情報入力手段と、
    入力された前記透かし埋込画像から、透かし埋め込みの対象となる変数の集合を抽出する埋込変数抽出手段と、
    抽出された前記透かし埋め込みの対象となる変数の集合と入力された前記秘匿鍵情報とを用いて、前記透かし埋込画像に埋め込まれていると推定される透かし情報ビット列の候補とその確信度とを対にしたデータを1以上出力する透かし情報候補算出手段と、
    前記透かし情報候補算出手段より得られる透かし情報ビット列の候補とその確信度とを対にしたデータに基づいて、前記透かし情報ビット列に関する判定を行い、判定結果として、当該透かし情報ビット列を出力する透かし情報判定手段
    として機能させるための電子透かし検出プログラムであって、
    前記透かし情報候補算出手段は、
    入力された前記秘匿鍵情報を用いて、前記透かし埋め込みの対象となる変数の集合より実際に透かしが埋め込まれた複数の透かし埋め込み変数を抽出し、各透かし埋め込み変数と、透かし情報の候補となる情報ビット列を冗長符号化したビット列の各ビットとに基づいて、そのビットの確信度を判定し、それらの確信度の総和を最終的な透かし情報ビット列候補の確信度とし、
    前記透かし情報判定手段は、
    前記透かし情報ビット列の候補のうち、前記確信度が予め設定された閾値よりも高い候補を抽出し、前記閾値より高い候補が1個のみである場合は、当該候補が埋め込み情報であると判定する
    ことを特徴とする電子透かし検出プログラム。
  8. コンピュータを、
    電子透かしが埋め込まれた透かし埋込画像を入力する画像入力手段と、
    電子透かしの埋め込みに関する秘匿鍵情報を入力する秘匿鍵情報入力手段と、
    入力された前記透かし埋込画像から、透かし埋め込みの対象となる変数の集合を抽出する埋込変数抽出手段と、
    抽出された前記透かし埋め込みの対象となる変数の集合と入力された前記秘匿鍵情報とを用いて、前記透かし埋込画像に埋め込まれていると推定される透かし情報ビット列の候補とその確信度とを対にしたデータを1以上出力する透かし情報候補算出手段と、
    前記透かし情報候補算出手段より得られる透かし情報ビット列の候補とその確信度とを対にしたデータに基づいて、前記透かし情報ビット列に関する判定を行い、判定結果として、当該透かし情報ビット列を出力する透かし情報判定手段
    として機能させるための電子透かし検出プログラムであって、
    前記透かし情報候補算出手段は、
    入力された前記秘匿鍵情報を用いて、前記透かし埋め込みの対象となる変数の集合より実際に透かしが埋め込まれた複数の透かし埋め込み変数を抽出し、各透かし埋め込み変数と、透かし情報の候補となる情報ビット列を冗長符号化したビット列の各ビットとに基づいて、そのビットの確信度を判定し、それらの確信度の総和を最終的な透かし情報ビット列候補の確信度とし、
    前記透かし情報判定手段は、
    前記透かし情報ビット列の候補のうち、前記確信度が予め設定された閾値よりも高い候補を抽出し、前記閾値より高い候補が複数個ある場合は、当該複数個の候補が埋め込まれた複数の画像による結託が行なわれたものと判定する
    ことを特徴とする電子透かし検出プログラム。
  9. コンピュータを、
    電子透かしが埋め込まれた透かし埋込画像を入力する画像入力手段と、
    電子透かしの埋め込みに関する秘匿鍵情報を入力する秘匿鍵情報入力手段と、
    入力された前記透かし埋込画像から、透かし埋め込みの対象となる変数の集合を抽出する埋込変数抽出手段と、
    抽出された前記透かし埋め込みの対象となる変数の集合と入力された前記秘匿鍵情報とを用いて、前記透かし埋込画像に埋め込まれていると推定される透かし情報ビット列の候補とその確信度とを対にしたデータを1以上出力する透かし情報候補算出手段と、
    前記透かし情報候補算出手段より得られる透かし情報ビット列の候補とその確信度とを対にしたデータに基づいて、前記透かし情報ビット列に関する判定を行い、判定結果として、当該透かし情報ビット列を出力する透かし情報判定手段
    として機能させるための電子透かし検出プログラムであって、
    前記透かし情報候補算出手段は、
    入力された前記秘匿鍵情報を用いて、前記透かし埋め込みの対象となる変数の集合より実際に透かしが埋め込まれた複数の透かし埋め込み変数を抽出し、各透かし埋め込み変数と、透かし情報の候補となる情報ビット列を冗長符号化したビット列の各ビットとに基づいて、そのビットの確信度を判定し、それらの確信度の総和を最終的な透かし情報ビット列候補の確信度とし、
    前記透かし情報判定手段は、
    前記透かし情報ビット列の候補のうち、前記確信度が予め設定された閾値よりも高い候補を抽出し、全ての候補の確信度が前記閾値より低い場合は、前記秘匿鍵情報に対応する透かし情報は埋め込まれていないものと判定する
    ことを特徴とする電子透かし検出プログラム。
JP2007140375A 2007-05-28 2007-05-28 電子透かし検出装置、電子透かし検出方法、電子透かし検出プログラム、および、電子透かし処理システム Expired - Fee Related JP4863219B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007140375A JP4863219B2 (ja) 2007-05-28 2007-05-28 電子透かし検出装置、電子透かし検出方法、電子透かし検出プログラム、および、電子透かし処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007140375A JP4863219B2 (ja) 2007-05-28 2007-05-28 電子透かし検出装置、電子透かし検出方法、電子透かし検出プログラム、および、電子透かし処理システム

Publications (2)

Publication Number Publication Date
JP2008294916A JP2008294916A (ja) 2008-12-04
JP4863219B2 true JP4863219B2 (ja) 2012-01-25

Family

ID=40169173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007140375A Expired - Fee Related JP4863219B2 (ja) 2007-05-28 2007-05-28 電子透かし検出装置、電子透かし検出方法、電子透かし検出プログラム、および、電子透かし処理システム

Country Status (1)

Country Link
JP (1) JP4863219B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288506B (zh) * 2019-06-30 2023-03-21 湖南科技大学 一种基于相对位置的矢量地理数据数字水印方法
CN112788342B (zh) * 2019-11-11 2022-07-08 阿里巴巴集团控股有限公司 一种水印信息嵌入方法以及装置
CN114913050B (zh) * 2022-05-30 2023-09-12 南京数睿数据科技有限公司 水印嵌入方法、装置、电子设备和计算机可读介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4834844B2 (ja) * 2005-10-25 2011-12-14 国立大学法人電気通信大学 情報処理装置および情報処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP2008294916A (ja) 2008-12-04

Similar Documents

Publication Publication Date Title
Qazanfari et al. A new steganography method which preserves histogram: Generalization of LSB++
Xu et al. An improved least-significant-bit substitution method using the modulo three strategy
Zhang et al. Self-embedding fragile watermarking based on DCT and fast fractal coding
Sultan et al. Reversible and fragile watermarking for medical images
Ahmed et al. Hash-based authentication of digital images in noisy channels
Berg et al. Searching for Hidden Messages: Automatic Detection of Steganography.
JP4863219B2 (ja) 電子透かし検出装置、電子透かし検出方法、電子透かし検出プログラム、および、電子透かし処理システム
Tamal et al. Integer wavelet transform based medical image watermarking for tamper detection
Singh A survey on image steganography techniques
Abraham et al. Image watermarking using DCT in selected pixel regions
US7965838B2 (en) Watermark generating circuit and related method thereof
Cao et al. Approaches to obtaining fingerprints of steganography tools which embed message in fixed positions
Zhi et al. Detection of random LSB image steganography
US7386148B2 (en) Method and system for end of run watermarking
Deshpande et al. New watermarking technique for relational databases
Chen et al. Color image authentication and recovery via adaptive encoding
JP2007178857A (ja) 符号化装置、追跡装置、符号化方法、追跡方法、および、プログラム
Lu et al. Lossless nibbled data embedding scheme based on difference expansion
US11423506B2 (en) Video frame to frame difference watermarking with drm metadata
Alhazmi et al. A chaotic-based watermarking scheme for ensuring integrity of a face recognition system in public large gathering scenario
Gulášová et al. Steganalysis of stegostorage library
Sivasubramanian et al. High capacity multi‐bit data hiding based on modified histogram shifting technique
JP5182975B2 (ja) ディジタル・コンテンツに電子透かしを埋め込むために共謀行為に対抗するフォレンシック符号用の内部符号を構成する方法
US12056220B2 (en) Embedding concealed meta-data into deep neural networks (DNNs)
Kiani et al. Image authentication using fractal watermarking and chaos theory

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110726

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111101

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees