JP3214555B2 - 電子透かし挿入装置 - Google Patents

電子透かし挿入装置

Info

Publication number
JP3214555B2
JP3214555B2 JP12369198A JP12369198A JP3214555B2 JP 3214555 B2 JP3214555 B2 JP 3214555B2 JP 12369198 A JP12369198 A JP 12369198A JP 12369198 A JP12369198 A JP 12369198A JP 3214555 B2 JP3214555 B2 JP 3214555B2
Authority
JP
Japan
Prior art keywords
digital watermark
data
watermark data
image
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP12369198A
Other languages
English (en)
Other versions
JPH11317860A (ja
Inventor
裕隆 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP12369198A priority Critical patent/JP3214555B2/ja
Priority to DE69912514T priority patent/DE69912514T2/de
Priority to EP19990108714 priority patent/EP0955767B1/en
Priority to US09/303,848 priority patent/US6510233B1/en
Priority to SG9902120A priority patent/SG82611A1/en
Priority to KR1019990016140A priority patent/KR100299728B1/ko
Publication of JPH11317860A publication Critical patent/JPH11317860A/ja
Application granted granted Critical
Publication of JP3214555B2 publication Critical patent/JP3214555B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/32165Transform domain methods using cosine transforms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/32187Transform domain methods with selective or adaptive application of the additional information, e.g. in selected frequency coefficients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0052Embedding of the watermark in the frequency domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0053Embedding of the watermark in the coding stream, possibly without decoding; Embedding of the watermark in the compressed domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はデジタル画像の電子
透かし挿入装置に関し、特にデジタル画像に電子透かし
データを埋め込む電子透かし挿入装置に関する。
【0002】
【従来の技術】近年、デジタル画像の違法な複製が問題
となっている。特に、アナログ画像に対して、0,1識
別だけのデジタル画像であるので、そのコピーを何回行
っても劣化しないという特質のため、デジタル画像の著
作権者の被害は甚大である。
【0003】このような違法な複製を防止するために、
デジタル画像データを暗号化し、正当な暗号解読キーを
持つ再生システムであって、暗号化されたデジタル画像
データを再生できるシステムが考えられている。しか
し、ひとたび暗号を解読されてしまうと、以降の複製を
防止することは出来ない。
【0004】そこで、デジタル画像の不正な使用、及び
複製を防止するために、デジタル画像そのものに特殊な
情報(以下、この情報のことを「電子透かしデータ」と
呼ぶ)を埋め込む方法が考えられている。
【0005】このような、デジタル画像に対する電子透
かしデータとして、可視な電子透かしデータ、及び不可
視な電子透かしデータの2種類が考えられている。
【0006】可視な電子透かしデータは、画像に対して
特殊な文字、あるいは記号等を合成して、視覚的に感知
できるようにしたものであり、画質の劣化を招くが、デ
ジタル画像の使用者に対して、不正な流通の防止を視覚
的に訴える効果がある。
【0007】このような可視な電子透かしデータの埋め
込みの一例が、特開平8−241403号公報に示され
ている。本公報によれば、デジタル原画像を提供するス
テップと、デジタル・ウォーターマーク画像を提供する
ステップと、ウォーターマーキングの際に原画像の画素
の色度を変更せずに、原画像上にウォーターマークが像
を重畳することによって、ウォーターマーキングされた
画像を作るステップとを含む、デジタル画像の上に可視
のウォーターマークを置く方法を開示している。また、
上記画像を作るステップが、ウォーターマーク画像内の
「透明」でない画素のそれぞれについて、色ではなく輝
度を変更することによって原画像の対応する画素を修正
するステップを含むことを説く著としている。この方法
においては、元になる画像に対して可視な電子透かしデ
ータを合成する際、電子透かしデータの不透明な部分に
対応する画素の輝度のみを変化させ、色成分は変化させ
ないようにして電子透かしデータを原画像に合成してい
る。この際、画素の輝度成分を変化させるスケーリング
値は、色成分、乱数、電子透かしデータの画素の値等に
よって決定されている。このスケーリング値によってウ
ォーターマークの目立ちかたが決定される。
【0008】また、不可視な電子透かしデータは、画質
を劣化させないように配慮して、電子透かしデータを画
像に埋め込んだものであり、画質の劣化がほとんど無い
ため視覚的には感知できないことが特徴である。
【0009】上述したように、この電子透かしデータと
して著作者の識別が可能な特殊な情報を埋め込んでおけ
ば、違法な複製が行われた後でも、この電子透かしデー
タを検出することにより、著作者を特定することが可能
である。また、複製不可情報を埋め込んでおけば、例え
ば再生装置がその複製不可情報を検出した際に、使用者
に複製禁止データであることを通知したり、再生装置内
の複製防止機構を動作させて、VTR等への複製を制限
することが可能である。
【0010】不可視な電子透かしデータの、デジタル画
像への埋め込み方法の一つとしては、画素データのLS
B(Least Significant Bit)等の画質への影響の少な
い部分に電子透かしデータとして特殊な情報を埋め込む
方法がある。しかし、この方法に対しては、画像から電
子透かしデータを取り除くことは容易であった。例え
ば、低域通過フィルタを用いれば、画素のLSBの情報
は失われることになり、また、画像圧縮処理はこのよう
な画質に影響の少ない部分の情報量を落とすことによ
り、データ量の削減をはかっているので、画像処理によ
り電子透かしデータが失われることになる。従って、電
子透かしデータの再検出が困難となるという問題があっ
た。
【0011】また、他の例が、特開平6−315131
号公報に示されている。この公報においては、連続する
フレームの画像の相関を利用して、再生時に周辺の領域
で置き換えても、画像の劣化を生じない領域を検出し、
変換対象領域のレベルを変換して、特定の情報を埋め込
む方法である。この方法においては、再生時に、信号欠
落部分と変換情報を用いて識別データを埋め込んだ領域
を特定し、その部分を補正することによって画像を復元
している。
【0012】また他の例として、特開平5−30466
号公報には、映像信号を周波数変換し、周波数変換後の
映像信号の周波数帯域よりも低い周波数信号を持つ情報
を埋め込む方法が示されている。この方法においては、
広域通過フィルタを用いて、もとの映像信号を取り出
し、低域通過フィルタを用いて埋め込んだ識別データを
取り出している。
【0013】また、画像を周波数変換する他の例とし
て、画像を周波数変換し、周波数変換後の映像信号の周
波数成分の強い領域に、電子透かしデータを埋め込む方
法が提案されている(日経エレクトロニクス 199
6.4.22(no.660)13ページ)。この方法
においては、周波数成分に電子透かしデータを埋め込む
ので、圧縮処理やフィルタリング等の画像処理に対して
も、電子透かしデータが失われることはない。さらに、
電子透かしデータとして正規分布に従う乱数を採用する
ことで、電子透かしデータ同士の干渉を防ぎ、画像全体
に大きな影響を及ぼすことなく電子透かしデータを破壊
することを困難にしている。
【0014】この方法における電子透かしデータの埋め
込み方法は、元の画像をDCT(離散コサイン変換)な
どを用いて周波数成分に変換し、周波数領域で高い値を
示すデータをn個選び、 f(1)、f(2)、・・・、f(n) とし、電子透かしデータとして、 w(1)、w(2)、・・・w(n) を平均0、分散1である正規分布より選び、 F(i)=f(i)+α×|f(i)|×w(i) を各iについて計算する。ここで、αはスケーリング要
素である。最後にf(i)の変わりに、F(i)を置き
換えた周波数成分から電子透かしデータが埋め込まれた
画像を得る。
【0015】この電子透かしデータの検出は以下の方法
で行う。この検出方法においては、元の画像、及び電子
透かしデータ候補 w(i)(但しi=1、2、・・・、n) が既知でなければならない。
【0016】まず、電子透かしデータ入り画像を、DC
T等を用いて周波数成分に変換し、周波数領域におい
て、電子透かしデータを埋め込んだ f(1)、f(2)、・・・、f(n) に対応する要素の値を F(1)、F(2)、・・・、F(n) とする。f(i)、及びF(i)により、電子透かしデ
ータW(i)を W(i)=(F(i)−f(i))/f(i) により計算して抽出する。次にw(i)とW(i)の統
計的類似度をベクトルの内積を利用して、 C=W・w/(WD×wD) により計算する。ここで、 W=(W(1)、W(2)、・・・、W(n))、 w=(w(1)、w(2)、・・・、w(n))、 WD=ベクトルWの絶対値、 wD=ベクトルwの絶対値 である。ただし、「・」は内積を示す。統計的類似度C
がある特定の値以上である場合には、該当電子透かしデ
ータが埋め込まれていると判定する。
【0017】上記の方法を用いて、電子透かしデータを
画像に埋め込んでおけば、原画像を所有している著作者
が、違法な複製と思われるデジタル画像データに対して
検出処理を行う場合に有効である。
【0018】上記の方法は、原画像が必要であるため、
違法な複製と思われる画像データに対して、原画像を所
有している著作者が、検出処理を行う場合には可能であ
るが、各端末の再生装置では、原画像が無いために電子
透かしデータの検出処理を行うことが出来ない。
【0019】そこで上記の方法を端末処理向けに改良し
た方法が提案されている。この方法においては、元の画
像をKピクセル×Kピクセルのブロックに分割し、この
ブロックを処理単位として、電子透かしデータの埋め込
み、及び抽出処理を行う。
【0020】電子透かしデータの埋め込み処理は、ま
ず、離散コサイン変換が終わった後の周波数領域でAC
成分の周波数成分の低いものから順に、 f(1)、f(2)、・・・、f(n) とし、電子透かしデータ w(1)、w(2)、・・・w(n) を平均0、分散1である正規分布より選び、 F(i)=f(i)+α×avg(f(i))×w
(i) を各(i)について計算する。ここで、αはスケーリン
グ要素であり、avg(f(i))はf(i)の近傍3
点の絶対値の平均を取った部分平均である。そして、f
(i)の変わりにF(i)を置き換えた周波数成分から
電子透かしデータが埋め込まれた画像を得る。
【0021】電子透かしデータの検出は、以下の方法で
行う。この検出方法においては、元の画像は必要ではな
く、データ候補w(i)(但しi=1、2、・・・、
n)が既知であればよい。
【0022】電子透かしデータ入り画像を離散コサイン
変換した周波数領域において、周波数成分の低いものか
ら順に、 F(1)、F(2)、・・・、F(n) とする。F(i)の近傍3点の絶対値の平均値を、部分
平均avg(F(i))として、電子透かしデータW
(i)を W(i)=F(i)/avg(F(i)) により計算し、さらに1画像分のW(i)の総和WF
(i)を(i)毎に各々計算する。次に、w(i)とW
F(i)の統計的類似度Cをベクトルの内積を利用し
て、 C=WF・w/(WFD×wD) により計算する。ここで、 WF=(WF(1)、WF(2)、・・・、WF
(n))、 w=(w(1)、w(2)、・・・、w(n))、 WFD=ベクトルWFの絶対値、 wD=ベクトルwの絶対値、 である。「・」は内積を示す。統計的類似度Cがある特
定の値以上である場合には該当電子透かしデータが埋め
込まれていると判定する。
【0023】上記の方法による電子透かし挿入装置の従
来例を、図3に示す。図において、入力画像310を離
散コサイン変換器320で、時間領域から周波数領域に
変換する。得られたデータに対して電子透かし埋め込み
器330で電子透かしデータ340を挿入する。電子透
かしデータ埋め込み後のデータを逆離散コサイン変換器
350で周波数領域から時間領域に変換する。以上の処
理によって電子透かしデータ340の挿入された出力画
像360を得る。
【0024】
【発明が解決しようとする課題】上述した従来の装置
は、既に同一の電子透かしデータが挿入された画像に対
しても、一様に電子透かしデータを挿入するので、同一
の電子透かしデータが繰り返し挿入されてしまう。
【0025】図4に周波数領域における電子透かしデー
タの埋め込みの概念を模式的に示す。入力画像の周波数
スペクトラム410に、電子透かしデータの周波数スペ
クトラム420が合わさって、電子透かしデータ埋め込
み後の周波数スペクトラム440が形成される。電子透
かしデータの種類によって、入力画像の特定の領域が割
り当てられているわけではないので、電子透かしデータ
の埋め込み処理を複数回行う場合には、電子透かしデー
タが同一であっても、前回の埋め込みが行われた画像の
周波数スペクトラムの上に、さらに同一の電子透かしデ
ータが埋め込まれる。2重、3重に同一の電子透かしデ
ータが埋め込まれると、埋め込み後の周波数スペクトラ
ム440’は埋め込み分の上部の黒色部分が大きくな
り、このスペクトラムの周波数領域を時間領域に変換す
ると、埋め込みノイズが過重となって、ノイズ成分が強
調された画像となってしまう。
【0026】ひとつひとつの電子透かしデータは、原画
像に比べて極々弱いノイズとして挿入され、人間の目に
は知覚出来ないが、集積が繰り返されるとノイズが大き
くなるため、人間の目に知覚されやすくなり、画質劣化
を招くという問題点があった。 [発明の目的]本発明の目的は、電子透かしデータを埋
め込む装置において、同一の電子透かしデータを2重、
3重に埋め込まず、一度きり埋め込む装置を提供するこ
とにある。
【0027】
【課題を解決するための手段】本発明の電子透かし挿入
装置は、入力画像を離散コサイン変換する離散コサイン
変換手段と、離散コサイン変換手段で変換されたデータ
に電子透かしデータを挿入する電子透かし埋め込み手段
と、前記電子透かし埋め込み手段で挿入しようとする電
子透かしデータが入力画像に既に挿入されているか否か
を検出する電子透かし検出手段と、前記電子透かし検出
手段で入力画像に既に当該の電子透かしデータが挿入さ
れていることが検出された場合には前記離散コサイン変
換手段の出力データを選択し、そうで無い場合には前記
電子透かし埋め込み手段の出力データを選択する選択手
段と、前記選択手段で選択されたデータを逆離散コサイ
ン変換する手段を有する。
【0028】また、本発明の電子透かし挿入装置は、入
力画像を直交変換する直交変換手段と、前記直交変換手
段で変換されたデータに電子透かしデータを挿入する電
子透かし埋め込み手段と、前記電子透かし埋め込み手段
で挿入しようとする前記電子透かしデータが入力画像に
既に挿入されているか否かを検出する電子透かし検出手
段と、前記電子透かし検出手段で入力画像に既に前記電
子透かしデータが挿入されていることが検出された場合
には前記直交変換手段の出力データを選択し、検出され
ない場合には前記電子透かし埋め込み手段の出力データ
を選択する選択手段と、前記選択手段で選択されたデー
タを逆直交変換する手段を有することを特徴とする。
【0029】さらに、本発明の電子透かし挿入装置は、
入力画像を直交変換する直交変換手段と、挿入しようと
する電子透かしデータが入力画像に既に挿入されている
か否かを検出する電子透かし検出手段と、前記電子透か
し検出手段で入力画像に既に当該の電子透かしデータが
挿入されていることが検出された場合には前記入力画像
に挿入しても画像が不変であるような電子透かしデータ
を選択し、検出されない場合には前記挿入しようとする
電子透かしデータを選択する電子透かしデータ選択手段
と、前記直交変換手段で変換されたデータに前記電子透
かし選択手段で選択された電子透かしデータを挿入する
電子透かし埋め込み手段と、前記電子透かし埋め込み手
段で前記電子透かしが埋め込まれたデータを逆直交変換
する手段を有することを特徴とする。
【0030】
【発明の実施形態】本発明の実施の形態について、図面
を参照しつつ詳細に説明する。
【0031】[第1の実施形態]次に、本発明の第1の
実施形態について、図面を参照して説明する。
【0032】図1を参照すると、入力画像110と、入
力画像を時間領域から周波数領域へと変換を行う離散コ
サイン変換(DCT:Discrete Cosine Transformatio
n)器120と、離散コサイン変換器120で周波数領
域に変換されたデータに電子透かしデータを挿入する電
子透かし埋め込み器130と、電子透かし埋め込み器1
30で挿入する電子透かしデータ140と、離散コサイ
ン変換器120から出力されたデータに電子透かしデー
タ140が挿入されているかどうかを検出する電子透か
し検出器180と、離散コサイン変換器120から出力
されたデータを一時的に格納するバッファ170と、電
子透かし埋め込み器130から出力されたデータとバッ
ファ170のデータのどちらかを電子透かし検出器18
0の出力によって選択する選択器190と、選択器19
0から出力されたデータを周波数領域から時間領域へ変
換する逆離散コサイン変換(逆DCT)器150と、逆
離散コサイン変換器150から出力される出力画像16
0から構成される。
【0033】次に、図1に示された電子透かしデータ埋
め込み装置の動作について、図を参照して説明する。
【0034】入力画像110は、離散コサイン変換(D
CT:Discrete Cosine Transformation)器120で、
時間領域から周波数領域に直交変換される。周波数領域
に変換されたデータは、電子透かし埋め込み器130、
電子透かし検出器180、バッファ170に入力され
る。
【0035】電子透かし埋め込み器130では、電子透
かしデータ140を挿入する。同時に電子透かし検出器
180で入力画像に電子透かしデータ140が挿入され
ているかどうかが検出される。バッファ170は離散コ
サイン変換器120の出力データを一時的に蓄える。
【0036】電子透かし検出器180の検出結果に基づ
いて、選択器190で電子透かし埋め込み器130の出
力データとバッファ170の出力データの切り換えが行
われる。すなわち、電子透かし検出器180で電子透か
しデータ140が検出されない場合には、電子透かし埋
め込み器130の出力データが選択され、電子透かし検
出器180で電子透かしデータ140が検出された場合
には、バッファ170の出力データが選択される。
【0037】選択器190で選択されたデータは、逆離
散コサイン変換器150で周波数領域から時間領域へ変
換され出力画像160となる。
【0038】このようして、入力画像110に電子透か
しデータ140が挿入されていない場合に限り、電子透
かしデータ140の挿入が行われる。
【0039】なお、本実施形態ではバッファ170を用
いているが、これは電子透かし埋め込み器130の処理
時間を考慮して、選択器190で選択される2つのデー
タを同期させるために設けているものであり、電子透か
し埋め込み器130の処理時間が、実用上無視出来る程
度に短いならば、バッファ170は不要である。
【0040】[第2の実施形態]次に、本発明の第2の
実施形態について図面を参照して説明する。
【0041】図2を参照すると、入力画像210と、入
力画像を時間領域から周波数領域へと変換を行う離散コ
サイン変換(DCT:Discrete Cosine Transformatio
n)器220と、挿入しようとする電子透かしデータB
245と、各周波数成分がゼロである電子透かしデータ
A240と、離散コサイン変換器220から出力された
データに電子透かしデータ245が挿入されているかど
うかを検出する電子透かし検出器280と、電子透かし
検出器280の検出結果に基づいて、電子透かしデータ
A240と電子透かしデータB245のどちらかを選択
する電子透かしデータ選択器290と、電子透かしデー
タ選択器290で選択された電子透かしデータを、離散
コサイン変換器220で周波数領域に変換されたデータ
に挿入する電子透かし埋め込み器230と、電子透かし
埋め込み器230から出力されたデータを周波数領域か
ら時間領域へ変換する逆離散コサイン変換(逆DCT)
器250と、逆離散コサイン変換器250から出力され
る出力画像260から構成される。
【0042】次に、図2に示す電子透かしデータ埋め込
み装置の動作について、図を参照して説明する。
【0043】入力画像210は、離散コサイン変換(D
CT:Discrete Cosine Transformation)器220で時
間領域から周波数領域に直行変換される。周波数領域に
変換されたデータは、電子透かし埋め込み器230及び
電子透かし検出器280に入力される。
【0044】電子透かし検出器280では入力画像に電
子透かしデータB245が挿入されているかどうかが検
出される。電子透かし検出器280の検出結果に基づい
て、電子透かしデータ選択器290で電子透かしデータ
の切り換えが行われる。すなわち、電子透かし検出器2
80で電子透かしデータB245が検出されない場合に
は電子透かしデータB245が選択され、電子透かし検
出器280で電子透かしデータB245が検出された場
合には電子透かしデータA240が選択される。
【0045】ここで、周波数領域に変換して検出するの
で、入力画像の空間領域の全領域に透かし情報が埋め込
まれている必要はないが、入力画像の分割ブロックの一
部に透かし画像を埋め込んだ場合、一部のブロックの情
報が欠如しても、他のブロックの情報で補えることが可
能である。
【0046】電子透かし埋め込み器230では、電子透
かしデータ選択器290で選択された電子透かしデータ
が挿入される。電子透かし埋め込み器230の出力デー
タは、逆離散コサイン変換器250で周波数領域から時
間領域へ変換され出力画像260となる。
【0047】電子透かしデータA240は周波数成分が
ゼロであるため、このデータが挿入されても、入力画像
に何ら影響を与えることはない。したがって既に電子透
かしデータB245が挿入されている入力画像について
は、実質的には電子透かしデータの挿入は行われず、そ
のまま出力される。
【0048】なお、本実施形態では、電子透かし検出器
280と電子透かしデータ選択器290の処理時間が、
実用上無視出来る程度に短い場合を想定している。もし
これらの処理時間が実用上無視出来ない場合には、電子
透かし埋め込み器230の前にバッファを追加し、離散
コサイン変換器220の出力データをこのバッファに一
旦格納し、バッファの出力を電子透かし埋め込み器23
0に入力することによって、電子透かし検出器280と
電子透かしデータ選択器290の処理時間を吸収出来る
ことは言うまでもない。
【0049】また、ブロック座標が既知の場合には、上
記実施例に従って、電子透かしの検出が可能であり、空
間的なブロック座標は既知である必要はない。ただし、
ブロックの大きさ(kピクセル×kピクセル)や、周波
数領域への変換規則、電子透かしデータ等は既知である
必要がある。これらの情報は、電子透かし挿入装置と検
出装置との間で予め定めておくものであり、この情報が
第三者に漏れれば、違法な複製が可能となってしまう場
合がある。
【0050】また、上記各実施形態では、原画像をDC
T変換(離散コサイン変換)した例で説明したが、アダ
マール変換(ウォルシュ・アダマール変換)、ウェーブ
レット変換、多重分解能、サブバンド方法、離散フーリ
エ変換、カルーネン・レーベ変換、ハール変換、傾斜ア
ダマール変換などの直交変換することにより、周波数の
スペクトラムに分解できればよい。
【0051】さらに、上記各実施形態で、電子透かしデ
ータの埋め込みは、不可視データの例を示しているが、
意識的に可視的な透かしデータを埋め込んでも、本発明
の思想を損なうものではない。
【0052】加えて、上記各実施形態では、スケーリン
グパラメータはデータの知覚的な品質に影響を与えるよ
うな付加的な透かし値を付加するようなスケーリングパ
ラメータから選ぶことができ、その透かし値は、正規分
布に従って選ぶことも可能である。
【0053】
【発明の効果】本発明によれば、同一の電子透かしデー
タを複数挿入することがなくなるので、不要な画質劣化
が避けられるという効果がある。
【0054】また、本発明による電子透かしデータは、
可視的にも、不可視的にも対応できるもので、電子透か
しデータを基準に画像内に同一電子透かしデータの有無
を検出して、同一電子透かしデータの2重書きによる特
徴的な部分の画質劣化を防止できる。また、原画像の著
作権を有する者にとっても、原画像に1度電子透かしデ
ータを挿入する以上のことは行われないので、著作人格
権がほぼ有効に保たれる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態のブロック図である。
【図2】本発明の第2の実施形態のブロック図である。
【図3】従来の電子透かしデータ挿入装置のブロック図
である。
【図4】周波数領域における電子透かしデータの埋め込
み方法の説明図である。
【符号の説明】
110 入力画像 120 離散コサイン変換器 130 電子透かし埋め込み器 140 電子透かしデータ 150 逆離散コサイン変換器 160 出力画像 170 バッファ 180 電子透かし検出器 190 選択器 210 入力画像 220 離散コサイン変換器 230 電子透かし埋め込み器 240 電子透かしデータA 245 電子透かしデータB 250 逆離散コサイン変換器 260 出力画像 280 電子透かし検出器 290 電子透かしデータ選択器 310 入力画像 320 離散コサイン変換器 330 電子透かし埋め込み器 340 電子透かしデータ 350 逆離散コサイン変換器 360 出力画像 410 入力画像の周波数スペクトラム 420 電子透かしデータの周波数スペクトラム 430 加算器 440 電子透かしデータ埋め込み後の周波数スペクト
ラム

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力画像に離散コサイン変換を施し、周
    波数領域のデータf(i)(i=1、2、…、n)に変
    換する変換手段と、 前記変換後のデータf(i)の部分平均と、予め定めた
    電子透かしデータw(i)(i=1、2、…、n)とを
    要素(i)毎に乗算し、この乗算結果を定数(α)倍し
    た結果を要素(i)毎に前記変換後のデータf(i)に
    加えることにより、電子透かし入りデータF(i)(i
    =1、2、…、n)を求める電子透かし挿入手段と、 前記変換後のデータf(i)を前記部分平均で除した値
    の要素(i)毎の所定の総和と、前記予め定めた電子透
    かしデータとの間の統計的類似度を算出し、前記統計的
    類似度がある特定の値以上である場合に、予め定めた電
    子透かしデータが挿入されていると判定する電子透かし
    検出手段と、 前記予め定めた電子透かしデータが挿入されていると判
    定された場合には、前記変換手段の出力データを選択
    し、前記予め定めた電子透かしデータが挿入されていな
    いと判定された場合には、前記電子透かし挿入手段の出
    力データを選択する選択手段と、 前記選択手段で選択されたデータを逆離散コサイン変換
    する手段を有することを特徴とする電子透かし挿入装
    置。
  2. 【請求項2】 入力画像に離散コサイン変換を施し、周
    波数領域のデータf(i)(i=1、2、…、n)に変
    換する変換手段と、 前記変換後のデータf(i)をf(i)の部分平均で除
    した値の要素(i)毎の所定の総和と、予め定めた電子
    透かしデータw(i)(i=1、2、…、n)との間の
    統計的類似度を算出し、前記統計的類似度がある特定の
    値以上である場合に、予め定めた電子透かしデータが挿
    入されていると判定する電子透かし検出手段と、 前記予め定めた電子透かしデータが挿入されていると判
    定された場合には、各周波数成分が0である電子透かし
    データを選択し、前記予め定めた電子透かしデータが挿
    入されていないと判定された場合には、前記予め定めた
    電子透かしデータを選択する電子透かしデータ選択手段
    と、 前記変換後のデータf(i)の部分平均と、前記電子透
    かしデータ選択手段で選択された電子透かしデータw
    (i)(i=1、2、…、n)とを要素(i)毎に乗算
    し、この乗算結果を定数(α)倍した結果を要素(i)
    毎に前記変換後のデータf(i)に加えることにより、
    電子透かし入りデータF(i)(i=1、2、…、n)
    を求める電子透かし挿入手段と、 前記電子透かし挿入手段の出力データを逆離散コサイン
    変換する手段を有することを特徴とする電子透かし挿入
    装置。
  3. 【請求項3】 前記部分平均は、f(i)の近傍3点の
    絶対値の平均であることを特徴とする請求項1又は2に
    記載の電子透かし挿入装置。
JP12369198A 1998-05-06 1998-05-06 電子透かし挿入装置 Expired - Fee Related JP3214555B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP12369198A JP3214555B2 (ja) 1998-05-06 1998-05-06 電子透かし挿入装置
DE69912514T DE69912514T2 (de) 1998-05-06 1999-04-30 Elektronisches Wasserzeichenseinführungsgerät
EP19990108714 EP0955767B1 (en) 1998-05-06 1999-04-30 Electronic watermark insertion device
US09/303,848 US6510233B1 (en) 1998-05-06 1999-05-03 Electronic watermark insertion device
SG9902120A SG82611A1 (en) 1998-05-06 1999-05-04 Electronic watermark insertion device
KR1019990016140A KR100299728B1 (ko) 1998-05-06 1999-05-06 전자 워터마크 삽입 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP12369198A JP3214555B2 (ja) 1998-05-06 1998-05-06 電子透かし挿入装置
US09/303,848 US6510233B1 (en) 1998-05-06 1999-05-03 Electronic watermark insertion device

Publications (2)

Publication Number Publication Date
JPH11317860A JPH11317860A (ja) 1999-11-16
JP3214555B2 true JP3214555B2 (ja) 2001-10-02

Family

ID=26460558

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12369198A Expired - Fee Related JP3214555B2 (ja) 1998-05-06 1998-05-06 電子透かし挿入装置

Country Status (4)

Country Link
US (1) US6510233B1 (ja)
EP (1) EP0955767B1 (ja)
JP (1) JP3214555B2 (ja)
SG (1) SG82611A1 (ja)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644282B2 (en) 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
JP3266569B2 (ja) * 1998-07-29 2002-03-18 日本電気株式会社 電子透かしデータによる画像属性変更システム
JP3706766B2 (ja) * 1999-06-01 2005-10-19 株式会社日立製作所 電子透かし情報の埋め込み方法および抽出方法
JP3480700B2 (ja) * 1999-06-25 2003-12-22 日本ビクター株式会社 電子透かし記録方法及び電子透かし記録装置
US6975733B1 (en) * 1999-09-10 2005-12-13 Markany, Inc. Watermarking of digital images using wavelet and discrete cosine transforms
JP4891508B2 (ja) * 1999-11-23 2012-03-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ウォーターマーク埋込み及び検出
JP3567975B2 (ja) 2000-01-24 2004-09-22 日本電気株式会社 電子透かし検出・挿入装置
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
AU2001258831A1 (en) * 2000-05-26 2001-12-03 Canon Kabushiki Kaisha Contents forming method and contents reproducing apparatus and method
JP2002099213A (ja) * 2000-09-21 2002-04-05 Nec Corp ディジタルコンテンツ生成装置及び再生装置
JP2002176550A (ja) * 2000-12-07 2002-06-21 Nec Corp 電子すかしデータ挿入・検出装置
JP3977216B2 (ja) * 2001-09-27 2007-09-19 キヤノン株式会社 情報処理装置及び方法及び情報処理プログラム及び記憶媒体
US20030131350A1 (en) 2002-01-08 2003-07-10 Peiffer John C. Method and apparatus for identifying a digital audio signal
CA2499967A1 (en) 2002-10-15 2004-04-29 Verance Corporation Media monitoring, management and information system
EP1561341A4 (en) 2002-10-23 2010-12-15 Nielsen Media Res Inc DEVICE AND METHOD FOR INSERTING DIGITAL DATA FOR USE WITH COMPRESSED AUDIO / VIDEO DATA
US7460684B2 (en) 2003-06-13 2008-12-02 Nielsen Media Research, Inc. Method and apparatus for embedding watermarks
US20060239501A1 (en) 2005-04-26 2006-10-26 Verance Corporation Security enhancements of digital watermarks for multi-media content
US9055239B2 (en) * 2003-10-08 2015-06-09 Verance Corporation Signal continuity assessment using embedded watermarks
US7616776B2 (en) 2005-04-26 2009-11-10 Verance Corproation Methods and apparatus for enhancing the robustness of watermark extraction from digital host content
US7369677B2 (en) 2005-04-26 2008-05-06 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
EP1697926A1 (en) * 2003-12-19 2006-09-06 Koninklijke Philips Electronics N.V. Watermark embedding
TWI404419B (zh) * 2004-04-07 2013-08-01 Nielsen Media Res Inc 與壓縮過音頻/視頻資料一起使用之資料插入方法、系統、機器可讀取媒體及設備
AU2005270105B2 (en) 2004-07-02 2011-03-31 Nielsen Media Research, Inc. Methods and apparatus for mixing compressed digital bit streams
US8020004B2 (en) 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
US8781967B2 (en) 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
US8406455B2 (en) * 2005-10-03 2013-03-26 Mitsubishi Electric Corporation Digital watermark embedding device and digital watermark detecting device
US7894102B2 (en) 2006-02-13 2011-02-22 Konica Minolta Business Technologies, Inc. Image processing apparatus for extracting code data from scanned image and control method thereof
JP4055805B2 (ja) * 2006-02-13 2008-03-05 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置およびその制御方法
JP5011849B2 (ja) * 2006-06-29 2012-08-29 大日本印刷株式会社 音響信号に対する情報の埋め込み装置および音響信号からの情報の抽出装置
WO2008045950A2 (en) 2006-10-11 2008-04-17 Nielsen Media Research, Inc. Methods and apparatus for embedding codes in compressed audio data streams
US20090076904A1 (en) * 2007-09-17 2009-03-19 Frank David Serena Embedding digital values for digital exchange
US8259938B2 (en) 2008-06-24 2012-09-04 Verance Corporation Efficient and secure forensic marking in compressed
US8838977B2 (en) 2010-09-16 2014-09-16 Verance Corporation Watermark extraction and content screening in a networked environment
US8615104B2 (en) 2011-11-03 2013-12-24 Verance Corporation Watermark extraction based on tentative watermarks
US8533481B2 (en) 2011-11-03 2013-09-10 Verance Corporation Extraction of embedded watermarks from a host content based on extrapolation techniques
US8682026B2 (en) 2011-11-03 2014-03-25 Verance Corporation Efficient extraction of embedded watermarks in the presence of host content distortions
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US9547753B2 (en) 2011-12-13 2017-01-17 Verance Corporation Coordinated watermarking
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US9262793B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
JP2014225863A (ja) * 2013-04-16 2014-12-04 株式会社リコー 情報処理装置、画像表示装置、情報処理システム及び情報処理方法
US8775815B2 (en) 2013-07-03 2014-07-08 Sky Socket, Llc Enterprise-specific functionality watermarking and management
US8806217B2 (en) 2013-07-03 2014-08-12 Sky Socket, Llc Functionality watermarking and management
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9665723B2 (en) * 2013-08-15 2017-05-30 Airwatch, Llc Watermarking detection and management
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
JP2017514345A (ja) 2014-03-13 2017-06-01 ベランス・コーポレイション 埋め込みコードを用いた対話型コンテンツ取得
JP6741636B2 (ja) * 2017-09-15 2020-08-19 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
EP3939222A4 (en) 2019-03-12 2022-12-28 Citrix Systems, Inc. TRACKING OF VIDEO CHANNELS ON CLIENT DEVICES
US20210209203A1 (en) * 2020-01-06 2021-07-08 Accenture Global Solutions Limited Methods and systems for protecting digital content against artificial intelligence-based unauthorized manipulation of the digital content
CN111695643B (zh) * 2020-06-24 2023-07-25 北京金山云网络技术有限公司 图像处理方法、装置和电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0530466A (ja) * 1991-07-19 1993-02-05 Sony Corp 映像信号記録装置および信号記録媒体
JPH06315131A (ja) * 1993-04-28 1994-11-08 Matsushita Electric Ind Co Ltd 情報埋め込み装置と再生装置
JP3442111B2 (ja) * 1993-09-14 2003-09-02 株式会社ソニー・コンピュータエンタテインメント 画像圧縮装置,画像再生装置及び描画装置
US6408082B1 (en) * 1996-04-25 2002-06-18 Digimarc Corporation Watermark detection using a fourier mellin transform
US5530759A (en) 1995-02-01 1996-06-25 International Business Machines Corporation Color correct digital watermarking of images
EP0766468B1 (en) * 1995-09-28 2006-05-03 Nec Corporation Method and system for inserting a spread spectrum watermark into multimedia data
US5949885A (en) * 1996-03-12 1999-09-07 Leighton; F. Thomson Method for protecting content using watermarking
WO1998003014A1 (en) * 1996-07-16 1998-01-22 Philips Electronics N.V. Detecting a watermark embedded in an information signal
US6282299B1 (en) * 1996-08-30 2001-08-28 Regents Of The University Of Minnesota Method and apparatus for video watermarking using perceptual masks
US5848155A (en) * 1996-09-04 1998-12-08 Nec Research Institute, Inc. Spread spectrum watermark for embedded signalling
US5915027A (en) * 1996-11-05 1999-06-22 Nec Research Institute Digital watermarking
CA2227381C (en) * 1997-02-14 2001-05-29 Nec Corporation Image data encoding system and image inputting apparatus
EP0860997B1 (en) * 1997-02-24 2008-12-10 Nec Corporation Digital data encode system
CA2260094C (en) * 1999-01-19 2002-10-01 Nec Corporation A method for inserting and detecting electronic watermark data into a digital image and a device for the same

Also Published As

Publication number Publication date
JPH11317860A (ja) 1999-11-16
US6510233B1 (en) 2003-01-21
SG82611A1 (en) 2001-08-21
EP0955767B1 (en) 2003-11-05
EP0955767A3 (en) 2001-05-30
EP0955767A2 (en) 1999-11-10

Similar Documents

Publication Publication Date Title
JP3214555B2 (ja) 電子透かし挿入装置
JP3201347B2 (ja) 画像属性変更装置と電子透かし装置
CA2260094C (en) A method for inserting and detecting electronic watermark data into a digital image and a device for the same
JP3214554B2 (ja) 電子透かしシステム及び電子透かし挿入装置と電子画像復調装置
JP3106985B2 (ja) 電子すかし挿入装置及び検出装置
JP3349910B2 (ja) 画像データエンコードシステム
Swanson et al. Multiresolution scene-based video watermarking using perceptual models
US6246802B1 (en) Image data processor
KR100329697B1 (ko) 디지털데이터인코드시스템및워터마크데이터삽입방법
US6298142B1 (en) Image data encoding system and image inputting apparatus
JP3137022B2 (ja) 動画像エンコード装置
US20080219496A1 (en) Embedding data in and detecting embedded data from video objects
US20070098214A1 (en) Image processing apparatus, image processing method, and storage medium
JP2002176550A (ja) 電子すかしデータ挿入・検出装置
US8131007B2 (en) Watermarking using multiple watermarks and keys, including keys dependent on the host signal
Holliman et al. Robust frame-dependent video watermarking
US6304966B1 (en) Data hiding method and system using statistical properties
EP1028585A1 (en) A method for inserting and detecting electronic watermark data into a digital image and a device for the same
JPH1155639A (ja) デジタルデータのエンコードシステム及び電子透かしデータ挿入方法並びに制御プログラムを格納した記憶媒体
JP3269014B2 (ja) 統計的性質を用いたデータ・ハイディング方法及びシステム
Venkatesan et al. Image watermarking with better resilience
JPH10276321A (ja) 電子透かし装置
KR100299728B1 (ko) 전자 워터마크 삽입 장치
CA2219875C (en) Image data processor using embedded data
US8155375B2 (en) Video watermarking using temporal analysis

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070727

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080727

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090727

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110727

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 11

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120727

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130727

Year of fee payment: 12

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees