JP3709205B2 - 二進化データセットのマーキング方法 - Google Patents

二進化データセットのマーキング方法 Download PDF

Info

Publication number
JP3709205B2
JP3709205B2 JP50250797A JP50250797A JP3709205B2 JP 3709205 B2 JP3709205 B2 JP 3709205B2 JP 50250797 A JP50250797 A JP 50250797A JP 50250797 A JP50250797 A JP 50250797A JP 3709205 B2 JP3709205 B2 JP 3709205B2
Authority
JP
Japan
Prior art keywords
block
image
data set
relationship
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP50250797A
Other languages
English (en)
Other versions
JP2000515691A (ja
Inventor
コッホ.エッカルド
ザオ.ジアン
Original Assignee
フラウンホファー.ゲゼルシャフト.ツール.フォルデンウング.デール.アンゲヴァンドテン.フォルシュング.エー.ファウ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホファー.ゲゼルシャフト.ツール.フォルデンウング.デール.アンゲヴァンドテン.フォルシュング.エー.ファウ filed Critical フラウンホファー.ゲゼルシャフト.ツール.フォルデンウング.デール.アンゲヴァンドテン.フォルシュング.エー.ファウ
Publication of JP2000515691A publication Critical patent/JP2000515691A/ja
Application granted granted Critical
Publication of JP3709205B2 publication Critical patent/JP3709205B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/448Rendering the image unintelligible, e.g. scrambling
    • H04N1/4486Rendering the image unintelligible, e.g. scrambling using digital data encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/167Systems rendering the television signal unintelligible and subsequently intelligible
    • H04N7/1675Providing digital key or authorisation information for generation or regeneration of the scrambling sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Optical Recording Or Reproduction (AREA)

Description

技術分野
本発明は、特にイメージデータならびに可聴信号に関する二進化され符号化されたデータセットを、少なくとも1つの情報単位を適当なデータセットへ埋込みすることによりマーキングする分野に関するものである。
背景技術
知的所有権ならびにその使用権の保護は情報プロデューサー、出版者、メディア会社ならびに使用権仲介者の主たる関心事の1つである。知的所有権の創作者の主要な関心事の1つは著作権のあるマルチメディアデータの不法複写ならびに配布を防ぐことである。多くの場合、例えばデジタル方式で記憶させたデータの配布のには、不法配布を直接抑止することは不可能である。これに対抗するため、不法複写ならびにその配布の検知ならびに追跡と、同様に最初の下手人の追跡のできる技術も開発されねばならない。
このような情報の特定電子データセットへの埋込みの措置は、特別の機密情報を原データの品質および外観を著しく低下させることなく原データを変更することでデータにおける追加の秘密情報を統合させ得る、いわゆるステガノグラフ的(steganographic)措置を構成する。
追加の情報の埋込みのため原デジタルデータを僅かに変更する多数の方法が研究されている。マツイ(Matsui)とタナカ(Tanaka)が、デジタルイメージ、ビデオならびにファクシミリにおける知的所有権を識別する多数のステガノグラフ的方法を提案した。詳しくはマツイとK.タナカの「ビデオステガノグラフィー:ハウ.ツー.シークレットリー.エンベッド.ア.シグネイチャー.イン.ア.ピクチャー(Video Steganography:How to secretly embed a signature in a picture)と題する出版物参照のこと。IMA インテレクチュアル.プロパティー.プロシーディングズ(Intellectual Property Proceedings)1994年刊第1巻第1号参照のこと。
これらの方法の基本となる原理は、それが単に原データにあるさらなる不正確さ(すなわち、ノイズレベルの増大)であることを明らかにするような方法で情報を埋込むことに基づいている。
AT&Tにおける研究者は、他のクラスのドキュメント、すなわち構造化テキストにおける情報を埋込ませる可能性を研究し、被制御様式で、後続行間の間隔と、同様に語間の間隔も変化させる形にしてひずみを入れた。J.ブラッシル(Brassil)ほかによる「エレクトロニック.マーキング.アンド.アイデンティフィケーション.テクニークス.トウ.ディスカレッジ.ドキュメント.コピーイング(Electronic Marking and Identification Techniques to Discourage Document Copying)」を参照のこと。詳細は1994年ニュージャージ州.ミューレイ.ヒルのAT&T.ベル研究室に問合せのこと。
現存するデジタルイメージのステガノグラフ的技術はどんなことをしてもマルチメディア作品ならびに情報に対する知的所有権の保護および立証に必要な要件を満さない。これは、これらの技術が特にイメージデータのデジタル方式による処理で可能な意図的ならびに偶然によるアタックに対しては必要な保護策も提供しないからである。埋込み情報の削除、変更もしくは大きいひずみは、古い技術の場合にはデータ/イメージ表現の損失性イメージ圧縮、ローパスフィルタリングおよび/または変更により容易に達成できる。しかしながら、このような処理工程はデジタルマルチメディアドキュメントが創作者から最終消費者もしくはユーザーに至る途上での必要性により行われることがしばしばであり、したがって上述の技術は知的所有権権利者の信憑性の立証や、あるいは保持者の識別には適していない。
ヨーロッパ特許第EP 0 581 317号は、例えばデジタルイメージデータのようなディジタルデータセットのデジタル方式マーキングの方法を含むものである。このヨーロッパ特許に述べられた方法は、別名デジタルイメージデータにおけるマーキングとしても周知のデジタル署名を統合させることができる。このデジタル署名を埋込んでイメージの将来の識別に役立てることができる。これはイメージの画素識別により達成でき、それは画素値における相対的最低値と最高値(すなわち極値)を含む。このように識別された画素から画素を決定して、識別コード、いわゆる署名を統合する。署名の各ビットをイメージの被選択的点で統合するため、被選択画素の画素値と、囲繞画素の画素値は適応、すなわち修正される。この技術は、署名値の統合に要する被選択位置を容易に決定でき、したがってアタッカーにも周知のことであり得るという内在的欠点を有する。本体存在する極値の位置の選択により、このように統合された識別コードは容易に検知され、対応して取除きできる。
同様に、ヨーロッパ特許公開第EP 0 614 308 A1号はデータの暗号化の方法を含んでいる。このような暗号化技術は未許可アクセスの全データセットのスクランブルをなし遂げる。この技術では、高解像度イメージコンポーネントはキーもしくは暗号化技術により不法アクセスから保護される。しかしながら、非高解像度イメージコンポーネントは自由にアクセスできて、情報に対する階層アクセス制御が実現できる。イメージ情報の全体が1つの記憶メディアに共存できるが、共存するイメージデータのすべてをアクセスできるのは許可ユーザーだけである。上述のヨーロッパ特許公開は、例えば将来の識別のためのイメージ情報の直接的マーキングの達成には役立たないが、イメージの全情報内容の暗号化に単に役立つので、未許可ユーザーは情報にアクセスできない。
発明の開示
本発明は、イメージデータならびに可聴信号に特に限定されない二進化され符号化されたデータセットを、保護されるべきデータセットを独特に識別するのに役立つようにして、データセットに少なくとも1つの情報単位を埋込むことによりマーキングを施す方法であって、データセットと被埋込情報との間の関係が、データセットの多数の修正の中でも失われないようにしたものである。この識別方法は創作者と、マルチメディアの創作品の顧客ならびに配布者にも、データに対する知的財産権の所有の確認と立証の機会と、マルチメディアデータの不正使用の事実立証を提供する筈である。
上述の目的を達成するため、本発明の第1の実施態様に係るマーキング方法は、データセットにおける少なくとも1つの情報単位を埋込むことによって二進化され符号化されたデータセット、詳述すればイメージデータならびに可聴信号をマーキングする方法において、前記データセットの特徴的な性質(特性)を使用して、またキーを使用して個別位置シーケンスを生成し、イメージ画素もしくは可聴時間信号のうち少なくとも1つのブロックを、前記個別位置シーケンスを基礎として選択し、空間的もしくは時間的ドメインから変換ブロックが多くの周波数係数を有する周波数ドメインに画素もしくは時間信号の選択されたブロックを変換し、所定の周波数係数範囲内にある位置で前記変換ブロックに前記情報単位を埋込むことを特徴とするものであり、また、本発明の第2の実施態様に係るマーキング方法は、データセットにおける少なくとも1つの情報ユニット埋込むことにより二進化され符号化された二層のイメージデータセットをマーキングする方法において、前記データセットの特性を使用して、またキーを使用して個別位置シーケンスを生成し、個別位置シーケンスを基礎として複数のブロックを選択し、各ブロックは多くの画像エレメントを含み、各画像エレメントは“1”または“0”の値を有し、“1”の値を有する画像エレメントの数と“0”の値を有する画像エレメントの数の所定との関係を特定し、前記選択ブロックにおける“1”の数と“0”の数との間の実際の関係を調べ、前記調べた関係と前記所定の関係とを比較し、前記調べた関係が、ブロックbで符号化された“1”ビットに等しい情報単位の前記埋込みが次の要求条件:
1 ,最低<R(b)<T 1 ,最高
[式中、R(b)=N 1 /N
1 はブロックbの“1”ビット画素の数
最低T 1 ;最高T 1 は高い方の閾値と低い方の閾値
Nはブロックにおける画素の総数]
を満足させる前記所定の関係に等しくなるまで前記ブロックにおける“1”の数と“0”の数との関係を調節することを特徴とするものである。
さらに本発明の第3の実施態様に係る読み取り方法は、二進化され符号化されたコードデータセットがデータセットにおける少なくとも1つの情報単位を埋込むことによってマークされるマークづけされた二進化され符号化されたデータセット、詳述すればイメージデータならびに可聴信号を読み取る方法において、前記データセットの特性を使用して、またキーを使用して別個位置シーケンスを生成し、イメージ画素もしくは可聴時間信号の少なくとも1つのブロックを、前記別個位置シーケンスを基礎として選び、空間的もしくは時間的ドメインから変換ブロックが多くの周波数係数を有する周波数ドメインに画素もしくは時間信号の選ばれたブロックを変換し、所定周波数領域における前記周波数の関係を調べ、前記所定の関係を基礎として前記情報を回復することを特徴とするものであり、さらにまた本発明の第4の実施態様に係るマーキング方法は、データセットにおける少なくとも1つの情報ユニット埋込むことにより二進化され符号化された二層のレベルイメージデータセットをマーキングする方法において、前記データセットの特性を使用して、またキーを使用して別個位置シーケンスを生成し、個別位置シーケンスを基礎として複数のブロックを選択し、各ブロックは多くの画像エレメントを含み、各画像エレメントは“1”または“0”の値を有し、“1”の値を有する画像エレメントの数と“0”の値を有する数の間を所定の関係を特定し、前記選択ブロックにおける“1”の数と“0”の数との間の所定の関係を調べ、前記調べた関係と前記所定の関係とを比較し、前記調べた関係が、ブロックbで符号化された“1”ビットに等しい情報単位の前記埋込みが次の要求条件:
2 ,最低<R(b)<T 2 ,最高
[式中、R(b)=N 1 /N
1 はブロックbの“1”ビット画素の数
最低T 2 ;最高T 2 は高い方の閾値と低い方の閾値
Nはブロックにおける画素の総数]
を満足させる前記所定の関係に等しくなるまで前記ブロックにおける“1”の数と“0”の数との関係を調節することを特徴とするものである。
特にイメージデータもしくは可聴信号に限定されない二進化され符号化されたデータのマーキング方法に関する本発明は、マークされることになるデータに特定の特徴と、キーにも影響されたマークづけされることになっているデータに情報単位を統合するため、個別の位置シーケンスを生成することと;データセットに所定の位置シーケンス統合ずみ(と別に統合されることになっている)情報単位を引続き読取るかあるいは書込むことからなる。
本発明は、特別の極秘情報をマルチメディアデータ、すなわち特にデジタルイメージにしっかりとした様式で埋込むことからもなる。同一の方法を画素値ではなく時間値で構成された可聴信号のマーキングにも用いることができる。
本発明は、色彩、グレースケールならびに二層の静止イメージでの使用とは別に、デジタルビデオデータ、すなわちイメージシーケンスとの使用からもなる。追加の情報の埋込みはイメージの品質の可視度の低下には繋がらない。この埋込みずみ情報はひょっとしたら極秘のキーとなり得る一定の認識があれば再構成できる。
前述の方法における最初の工程は、コードもしくはさらに一般的に言えば情報単位が埋込まれた位置の決定に用いられる疑似乱数位置シーケンスを生成させることである。特性、例えばイメージデータそれ自体より抽出できる情報を位置生成のシード(seed)値としての極秘キーと組合せて用いる。第2の工程では、情報単位を前記位置シーケンスにより決められた位置で読取るか、あるいは書込むことのいずれかである。情報単位の読取りと書込みの方法はイメージデータの表現の種類により種々異なって存する。
概して言えば、3つの区別できるマーキング技術があって、それはマークを付されることになるデータセットにより異なる。
A.色彩ならびにグレースケールイメージのマーキングに基づく周波数
この技術は人、建物、自然景観などの代表的デジタルイメージを、妨害に対して極めて不静定かつ耐性のある非静止統計的方法と見做すことができるという考え方に基づく。
二進化され符号化された情報の埋込みはイメージの周波数ドメインで起こる。この後の説明は空間ドメインにあってあらゆるイメージをそれに変換できるイメージの表現と見做す。このイメージは数ブロックの画素に分割される。任意の関数は変換関数として選択できる。これらのブロックは前記空間ドメインから周波数ドメインに変換関数により変換する。好ましい関数の1つは、いわゆる「離散的コサイン変換(DCT)」である。さらなる変換は同様に、例えばウエーブレット変換、フリーエ変換、アダマール−ウオルシュ変換もしくはZ変換に向いている。特に前記ウエーブレット変換を用いる時、比較的大きいブロックの大きさが有用である。
次に周波数コンポーネントのブロック(すなわちブロックの関連部分)を量子化する。量子化工程には、JPEG圧縮標準に用いられているものと同様の量子化マトリックスが好ましい。前述の圧縮標準に関しての詳細については1991年4月刊ACMの第34巻第4号第30乃至40頁のウォレース(Wallace)による出版物に見出すことができる。
本発明の方法の第1工程に見出される位置シーケンスを用いて、ブロックと、同様に被選択ブロック内の正確な位置も決定でき、その中に情報を埋込むことになる。単一ビット(“1”もしくは“0”)の適当なブロックへの埋込みは特定の素子、いわゆるブロックの周波数係数間の関係(すなわち大きさ関係)のパターンを中程度の分散閾値をもたせて設定することで達成できる。
比較的高い周波数のコンポーネントがイメージ品質を目に見えて低下させることなく容易に取外し(例えば不可逆的アルゴリズムを用いて)できるので、中波が情報の埋込みのため特に適している。低周波数のコンポーネントにおける修正は可視人工品の発生に繋がり、全体のイメージ品質を低下させる。しかしながら概して言えば、あらゆる周波数が利用できる。情報の埋込みに用いられる情報単位を、データセットの定様式化もしくはデータセットのできる限りの適切な再整理を要する不法アクセスもしくは不法データ処理工程にアクセスできないものとするために、埋込みずみ情報の未許可アクセスに対する強健性を2つのパラメータのチューニングにより最も効果的に活用できる。一方では、たとえ僅かに高い可視性のある修正と結びついたとしても、よりよい強健性を与えるより大きい距離をもつ被選択量子化周波数コンポーネント間の距離Dである。第2のパラメータは、いわゆる量子化係数Qであって、情報コードの埋込みの被選択値の量子化形成に用いられる。比較的大きい量子化係数は結果としてイメージデータの比較的小さい修正となるが、しかしながらそれも結果として、不可逆的アルゴリズム、例えば前記JPEG標準により用いられるものに対し比較的低い強健性をもたらすことになる。
アタックに対する強健性をさらに増大させるために、マーキング工程を反復(重複)して行うことができる。この場合、同一の情報もしくは情報単位を1回以上原データに埋込む。データセットのすべてのブロックを選択ならびにマークづけをした場合、いわば「ホログラフィック」マーキングを達成できる。
データセットのブロックへの分割では、ブロックの大きさを変化し得るようにしておくことができる。極端な場合、全データセットは単一の大型ブロックからなり;周波数に基づく方法の場合、これは全ブロックもしくはデータセットの変換を必要とする。ブロックの大きさも2×2画素で始まる適度のブロックの大きさをもつ1ブロック当り1画素という小さいものにすることができる。データセットにある種々のブロックも種々の大きさをもつことができる。情報単位の統合の後、イメージを空間ドメインで表現できるものに再量子化ならびに変換できる。
この方法は多数の変形、例えば変換の任意の選択、ブロックの形成、周波数コンポーネントの選択、符号化の比較パターンへの選択と整理と、同様に比較パターンの分布と種々のブロック全部に亘る関連コーディングを可能にする。
B.二層のイメージの関係に基づくマーキング
適当な二層のイメージにおける各単画素の値は、“1”もしくは“0”のいずれかの値に対応する。これは特別の情報の挿入に用いることができる余地をノイズもしくは妨害のためには残さない。二進化され符号化された情報の埋込みのため、イメージ中の原イメージの品質を著しく劣化させない適当な領域を見つける必要がある。これらのイメージ領域はそれぞれ個々のイメージにとっては様々であるか、あるいは特定の種類のイメージにとっては少なくとも違っている。二層のイメージの提案された方法は、被選択ブロックの“0”および“1”の間の比較に基づくものである。R(b)は黒色画素の率、例えばイメージの被選択ブロックbにある“1”ビットとしよう:
R(b)=Ns/N
[式中、Nsはブロックbにある黒色画素の数を意味し、またNはブロックの大きさ、すなわちブロックbにある画素の合計数を表す]。
ブロックbにあるビットの埋込みは所定の方法に続いて起こる:
“1”ビットは、R(b)が所定の範囲(最低T1;最高T1)内にある場合にブロックbに埋込まれる。“0”ビットは、R(b)が異なる所定領域(最低T2;最高T2)内にある場合に埋込まれる。両決定領域は0%と100%の間にある。適当なビットを埋込むため、考慮中のブロックは必要に応じて、“1”を“0”ビットに変えることにより、R(b)が所望の範囲となる(逆も同じ)。多過ぎる修正が必要となる場合、ブロックは無効と宣言され、R(b)が“0”と“1”の両範囲の外側に無効範囲に入るような方法で修正される。さらにバッファーが所定範囲と無効範囲の間に導入されると、マークづきイメージの上でイメージ処理技術の使用に対し強健性の度合いを増大させる。したがってバッファーはブロック内のビットの数を描写しているが、それは埋込みずみビットを損傷させることなくイメージ処理技術により変えることができる。例えば、5%のバッファーは8×8ビットブロック内の4ビット以下を変えても埋込みずみコードを損傷させない。領域の適度の選択(最小T1;最大T1)と(最小T2;最大T2)と、同様にバッファー((例えば、T1=(55、60)、T2=(40、45)ならびに8×8ビットブロックに対する5のバッファー))も一方ではイメージ処理技術に対する強健性と、他方埋込ずみ情報の可視性との間の適度な釣合いがとれる。
情報単位をデータセットの位置シーケンスにより予め決められた位置に加えるために用いるアルゴリズムは、“1”ならびに“0”ビットの分布にある程度依存する。例えば、「ディザ」イメージの場合、修正は全体のブロックに亘って均一に拡がる。同一の値で隣合うものが最も多くビットを変える。
際立ったコントラストをもつ二層のイメージ(黒/白)の場合、修正は黒と白の領域の間の縁で行われる。相反する値で隣合うものが最も多いビットを変える。
両事例とも、隣合うブロックのビットを考慮に入れる。
上述のように、適切なブロックの閾値Tは特徴とする選択の基準を導入する。
ブロックの被選択係数への変化がTより小さい場合、ブロックは有効であるが、そうでなければ無効である。下記では考慮中のブロックが抽出工程中に有効であるか、あるいは無効であるかいずれかの決定をさせるいくつかの方法を提案する:
・各ブロックがマーキングの再構成のための有効性に関するステートメントをキーの第2の部分として記憶する。シークエンス“110111...”は、第1、第2、第4、第5ならびに第6のブロックが有効であるが、第3のブロックが無効であることを知らせる。ブロックのシーケンスは、前と同様、キー(すなわち、キーの第1の部分)とイメージの特徴的な性質(特性)を介して決定される。
・第2の方法により有効と無効ブロックの間のバッファーが決まる。マーキング統合の係数の修正が閾値Tより大、閾値とバッファーの合計より小である場合、バッファーを修正値が閾値とバッファーの合計より大となるような方法で修正する。この技術を上述の両事例に適用する。
・前記閾値Tがゼロに設定された場合、マーキングの埋込みの原データの修正はできない。この場合、固有の埋込み法を用いる、すなわち周波数係数の間の関係の変更を必要としないようなブロックだけをマーキングに用いる。ブロック/位置をマーキングに用いる情報をキーの第2部分として埋込む。
C.イメージシークエンスのマーキング方法
上述のイメージのマーキングの方法は主として静止イメージのマーキングについて説明している。しかしながら、それはイメージのシーケンス、例えばビデオにも適用できる。イメージシーケンスの場合、マーキングに対抗するアタックの特別の様式も可能である。例えば、単一フレームのマーキングはそのフレームを前記のシーケンスから削除することで取外すことができる。移動見積りならびに移動補償圧縮技術、例えばMPEG標準に適用されているようなものもマーキングの取外しに繋がることもある。これの補償には、イメージシーケンスのマーキングの第3の技術は、埋込まれることになる情報シーケンスの長さの基準化により増大する周知の攻撃に対する強健性をもつ全体のイメージ順序の特定のシーケンスの静止フレームにマーキングを反復埋込む。極端な一事例では情報は全体のビデオの各フレームに埋込まれる。
【図面の簡単な説明】
本発明を実施例により、また図面を参照して本発明の一般的範囲を限定することなく説明する。
図1はマーキングの書込み方法を示すフローチャート図である。
図2はマーキングの読取り方法を示すフローチャート図である。
図3は“1”もしくは“0”ビットと、「無効」のパターンを表として示す図である。
図4は8×8ブロックへの情報埋込みの実行できる位置を示す図である。
図5は周波数コンポーネントの変換、量子化ならびに修正による情報単位の埋込みの実施例を示す図である。
図6は“1”と“0”ビットを均一に分布させたマーキングの修正を示す図である。
図7は“1”と“0”ビットの間に鋭い縁を有するマーキングの修正を示す図である。
実施例の説明
図1では二進化され符号化された情報単位のデータセット、所定の事例ではイメージへの埋込みのフローチャートを本発明が必要とするように説明する。位置シーケンスは画像に現れる情報からと、同様に秘密キーからも生成する。この位置シーケンスがコードのイメージへの埋込みを決定する。マークづきイメージはそのマーキングが未許可アクセスにより、あるいはイメージもしくはデータセットの修正により支障を来たすことはないが、結果として達成される。
例えば、可能性のある不法複写ならびに配布のトラッキングに用いられる検知法として、先にマークづけしたイメージを先に情報単位の埋込みに用いて、埋込みずみコードの検出を可能にする位置シーケンスの生成に用いられた秘密キーと共に用いる(図2参照)。その結果、先に埋込まれたコードが得られる。
図3と4はカラーイメージ、特に8×8画素ブロックの周波数に基づくマーキングの実施例である。図3に示された表から、周波数係数の間の関係パターンの3つの異なる群、すなわち“1”ビットのパターン、“0”のパターン、ならびにいわゆる「無効」のパターンが表される。前記“1”のパターンは“1”ビットを表し、“0”パターンは埋込みずみ符号化情報単位の“0”ビットを示す。原データセットの過大修正が適当なビットの所望のパターンを達成させる埋込みの方法に必要な場合、このブロックは無効である。この場合、エレメント間の大きさ比較を、任意の「無効」パターンが埋込みずみ情報の独特の符号化を可能にするため達成させるような方法で修正する。上部の表にある関係パターンは8×8ブロックの3つのエレメント(e1、e2、e3)の大きさの関係の従属性を示す。
図5は変換工程、量子化工程と、同様に係数の修正からもなる埋込み法を例証する。
図4に示すシークエンスは8×8ブロックの被選択パターンのビットを埋込む。
図6と7は2つの二層のイメージの比較に基づくマーキングの2つの実施例を含む。図6は、修正を全ブロックに亘り均一に分布させた「デイザ」二層のイメージの実施例を示す。埋込みは同一の値をもつ隣合うものが最も多いビットを変えるような方法で行われる。
これと対照的に、図7では、際立ったコントラストをもつ二層のイメージを示す。この場合の埋込みは黒と白の画素の間の縁の修正により起こる。隣合うものが最も相反する値をもつビットを変える。
示された両事例での方法では、変えることになるビットの選択にあたってブロックの境界に隣接するビットを考慮する。
本発明の上述の方法は、情報をマルチメディアの創作品と、特にイメージならびにイメージシークエンスへの秘密で強健な埋込みを可能にする。原データ(識別タグ、マーキング、ラベル)へ埋込まれた情報を用いてマルチメディア創作品の著作権の保持者、創作品もしくはマルチメディア創作品それ自体の受取人と別々にユーザーのマーキングもしくは識別に用いることができる。
本発明それ自体は知的所有権の不正使用を防がないが、ドキュメントのマーキングを法廷での証拠物件として使用できるので、不法使用と配布の制限に役立つことは極めて有り得ることである。しかしながら、情報の確固とした、また秘密の統合が他の目的、例えば個人情報(例えば医療用デジタルイメージングに埋込まれた患者記録)を虚偽ドキュメントがある患者との偶然の一致を最小限に止めることができるイメージへ埋込むことにも用いることができる。さらにマルチメディア創作品に対するマーキングを用いてユーザーの数を自動的に決定もしくは決定できる。
本発明の応用分野は、デジタルデータの未許可のアクセス、配布および複製に対する防御と、知的所有権の保護が必要とされるあらゆる電子情報サービスを含む。一次的応用は新聞、書籍、イメージ、ビデオなどをポータブル媒体、例えばCD、CD−ROM、フロッピーディスク、デープと、通信網、人工衛星もしくは地上伝送媒体を用いる電子出版の領域である。示された方法は地点情報システム、医療情報システム、電子配布システム、例えば有料TV、ビデオ・オン・デマンドなどと、ラジオおよびTVへの消費者参入率の正確な測定の応用分野にも用いられることになる。

Claims (20)

  1. データセットにおける少なくとも1つの情報単位を埋込むことによって二進化され符号化されたデータセット、詳述すればイメージデータならびに可聴信号をマーキングする方法において、前記データセットの特徴的な性質(特性)を使用して、またキーを使用して個別位置シーケンスを生成し、イメージ画素もしくは可聴時間信号のうち少なくとも1つのブロックを、前記個別位置シーケンスを基礎として選択し、空間的もしくは時間的ドメインから変換ブロックが多くの周波数係数を有する周波数ドメインに画素もしくは時間信号の選択されたブロックを変換し、所定の周波数係数範囲内にある位置で前記変換ブロックに前記情報単位を埋込むことを特徴とする方法。
  2. 前記データセットの特異性は内容系特性、目的特性、幾何学的もしくはフォーマット比特性であることを特徴とする請求項1記載の方法。
  3. 前記変換関数が離散コサイン変換、ウエーブレット変換、フーリエ変換、アダマール・ウォード変換もしくはZ変換であることを特徴とする請求項1記載の方法。
  4. 前記周波数領域に変換されたブロックを、量子化マトリックスを用いて量子化することを特徴とする請求項1記載の方法。
  5. 前記量子化マトリックスがJPEG圧縮標準で用いられる量子化工程に対応することを特徴とする請求項4記載の方法。
  6. 周波数の位置を選択するため前記生成ずみ位置シーケンスを用いて、前記情報単位を前記ブロックに埋込むことを特徴とする請求項4記載の方法。
  7. 前記データセットの空間的ドメインへの再量子化と再変換が前記情報単位の前記埋込みの後に起こることを特徴とする請求項4記載の方法。
  8. 前記統合されることになる情報単位の埋込みが前記選択された周波数係数の間の所定寸法の関係を等しくするため選択された寸法関係を調整することにより前記ブロックの選択された係数位置に生じることを特徴とする請求項1記載の方法。
  9. 前記ブロックは前記データセットの全体を含むことを特徴とする請求項1記載の方法。
  10. 前記ブロックはイメージ画素もしくは単一可聴サンプル信号であることを特徴とする請求項1記載の方法。
  11. 前記ブロックは前記位置シーケンスを使用してデータセットから収集された一連のイメージ画素/可聴信号であることを特徴とする請求項1記載の方法。
  12. 前記ブロックはイメージの二進化連続領域もしくは連続可聴信号のいずれかのセグメントであることを特徴とする請求項1記載の方法。
  13. データセットにおける少なくとも1つの情報ユニット埋込むことにより二進化され符号化された二層のイメージデータセットをマーキングする方法において、前記データセットの特性を使用して、またキーを使用して個別位置シーケンスを生成し、個別位置シーケンスを基礎として複数のブロックを選択し、各ブロックは多くの画像エレメントを含み、各画像エレメントは“1”または“0”の値を有し、“1”の値を有する画像エレメントの数と“0”の値を有する画像エレメントの数の所定との関係を特定し、前記選択ブロックにおける“1”の数と“0”の数との間の実際の関係を調べ、前記調べた関係と前記所定の関係とを比較し、前記調べた関係が、ブロックbで符号化された“1”ビットに等しい情報単位の前記埋込みが次の要求条件:
    1 ,最低<R(b)<T 1 ,最高
    [式中、R(b)=N 1 /N
    1 はブロックbの“1”ビット画素の数
    最低T 1 ;最高T 1 は高い方の閾値と低い方の閾値
    Nはブロックにおける画素の総数]
    を満足させる前記所定の関係に等しくなるまで前記ブロックにおける“1”の数と“0”の数との関係を調節することを特徴とする方法。
  14. 8×8ブロックには次の値:
    最低T1=55
    最高T1=60
    最低T2=40
    最高T2=45
    が適用できることを特徴とする請求項13記載の方法。
  15. ビット埋込みが中で行われるビット値のかなり均一の分布をもつブロックで、それらの隣合わせの位置で等値のビットが高い率で分布することを特徴とする請求項13記載の方法。
  16. 均一ビット値をもつブロックでの前記埋込みが、種々の値の領域が集まる位置で行われて、相反する値が最も隣合うビットを変えることを特徴とする請求項13記載の方法。
  17. 前記情報の前記選択ずみ位置への埋込みに過大修正の必要な場合、対応するブロックを無効とマークづけし、それに伴い前記無効領域がT1=(最低T1;最高T1)、T2=(最低T2;最高T2)の範囲外に位置することを特徴とする請求項13記載の方法。
  18. 前記T1、T2および無効領域の間に特別の許容バッファーを導入することを特徴とする請求項17記載の方法。
  19. 二進化され符号化されたコードデータセットがデータセットにおける少なくとも1つの情報単位を埋込むことによってマークされるマークづけされた二進化され符号化されたデータセット、詳述すればイメージデータならびに可聴信号を読み取る方法において、前記データセットの特性を使用して、またキーを使用して別個位置シーケンスを生成し、イメージ画素もしくは可聴時間信号の少なくとも1つのブロックを、前記別個位置シーケンスを基礎として選び、空間的もしくは時間的ドメインから変換ブロックが多くの周波数係数を有する周波数ドメインに画素もしくは時間信号の選ばれたブロックを変換し、所定周波数領域における前記周波数の関係を調べ、前記所定の関係を基礎として前記情報を回復することを特徴とする方法。
  20. データセットにおける少なくとも1つの情報ユニット埋込むことにより二進化され符号化された二層のレベルイメージデータセットをマーキングする方法において、前記データセットの特性を使用して、またキーを使用して別個位置シーケンスを生成し、個別位置シーケンスを基礎として複数のブロックを選択し、各ブロックは多くの画像エレメントを含み、各画像エレメントは“1”または“0”の値を有し、“1”の値を有する画像エレメントの数と“0”の値を有する数の間を所定の関係を特定し、前記選択ブロックにおける“1”の数と“0”の数との間の所定の関係を調べ、前記調べた関係と前記所定の関係とを比較し、前記調べた関係が、ブロックbで符号化された“1”ビットに等しい情報単位の前記埋込みが次の要求条件:
    2 ,最低<R(b)<T 2 ,最高
    [式中、R(b)=N 1 /N
    1 はブロックbの“1”ビット画素の数
    最低T 2 ;最高T 2 は高い方の閾値と低い方の閾値
    Nはブロックにおける画素の総数]
    を満足させる前記所定の関係に等しくなるまで前記ブロックにおける“1”の数と“0”の数との関係を調節することを特徴とする方法。
JP50250797A 1995-06-16 1996-06-14 二進化データセットのマーキング方法 Expired - Lifetime JP3709205B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19521969A DE19521969C1 (de) 1995-06-16 1995-06-16 Verfahren zur Markierung binär codierter Datensätze
DE19521969.4 1995-06-16
PCT/DE1996/001057 WO1997000578A1 (de) 1995-06-16 1996-06-14 Verfahren zur markierung binär codierter datensätze

Publications (2)

Publication Number Publication Date
JP2000515691A JP2000515691A (ja) 2000-11-21
JP3709205B2 true JP3709205B2 (ja) 2005-10-26

Family

ID=7764551

Family Applications (1)

Application Number Title Priority Date Filing Date
JP50250797A Expired - Lifetime JP3709205B2 (ja) 1995-06-16 1996-06-14 二進化データセットのマーキング方法

Country Status (11)

Country Link
US (1) US6359985B1 (ja)
EP (1) EP0879535B1 (ja)
JP (1) JP3709205B2 (ja)
AT (1) ATE196221T1 (ja)
CA (1) CA2224317C (ja)
DE (2) DE19521969C1 (ja)
DK (1) DK0879535T3 (ja)
ES (1) ES2152530T3 (ja)
GR (1) GR3035000T3 (ja)
PT (1) PT879535E (ja)
WO (1) WO1997000578A1 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6580819B1 (en) 1993-11-18 2003-06-17 Digimarc Corporation Methods of producing security documents having digitally encoded data and documents employing same
US7113615B2 (en) 1993-11-18 2006-09-26 Digimarc Corporation Watermark embedder and reader
US7171016B1 (en) 1993-11-18 2007-01-30 Digimarc Corporation Method for monitoring internet dissemination of image, video and/or audio files
US6449377B1 (en) * 1995-05-08 2002-09-10 Digimarc Corporation Methods and systems for watermark processing of line art images
US7286684B2 (en) 1994-03-17 2007-10-23 Digimarc Corporation Secure document design carrying auxiliary machine readable information
US6522770B1 (en) 1999-05-19 2003-02-18 Digimarc Corporation Management of documents and other objects using optical devices
US7986806B2 (en) * 1994-11-16 2011-07-26 Digimarc Corporation Paper products and physical objects as means to access and control a computer or to navigate over or act as a portal on a network
US6721440B2 (en) 1995-05-08 2004-04-13 Digimarc Corporation Low visibility watermarks using an out-of-phase color
US7555139B2 (en) 1995-05-08 2009-06-30 Digimarc Corporation Secure documents with hidden signals, and related methods and systems
US6590996B1 (en) 2000-02-14 2003-07-08 Digimarc Corporation Color adaptive watermarking
US6760463B2 (en) * 1995-05-08 2004-07-06 Digimarc Corporation Watermarking methods and media
US6728390B2 (en) 1995-05-08 2004-04-27 Digimarc Corporation Methods and systems using multiple watermarks
US6738495B2 (en) 1995-05-08 2004-05-18 Digimarc Corporation Watermarking enhanced to withstand anticipated corruptions
US6577746B1 (en) 1999-12-28 2003-06-10 Digimarc Corporation Watermark-based object linking and embedding
US6788800B1 (en) 2000-07-25 2004-09-07 Digimarc Corporation Authenticating objects using embedded data
US6829368B2 (en) 2000-01-26 2004-12-07 Digimarc Corporation Establishing and interacting with on-line media collections using identifiers in media signals
US6307949B1 (en) * 1996-05-07 2001-10-23 Digimarc Corporation Methods for optimizing watermark detection
US6229924B1 (en) 1996-05-16 2001-05-08 Digimarc Corporation Method and apparatus for watermarking video images
US7366908B2 (en) 1996-08-30 2008-04-29 Digimarc Corporation Digital watermarking with content dependent keys and autocorrelation properties for synchronization
US6131162A (en) * 1997-06-05 2000-10-10 Hitachi Ltd. Digital data authentication method
US7054463B2 (en) 1998-01-20 2006-05-30 Digimarc Corporation Data encoding using frail watermarks
US7602940B2 (en) 1998-04-16 2009-10-13 Digimarc Corporation Steganographic data hiding using a device clock
US6978036B2 (en) * 1998-07-31 2005-12-20 Digimarc Corporation Tamper-resistant authentication techniques for identification documents
DE69837096T2 (de) * 1998-12-08 2007-10-25 Irdeto Access B.V. Informationssignalverarbeitungsverfahren
JP3496613B2 (ja) * 2000-02-10 2004-02-16 日本電気株式会社 デジタルコンテンツのコピー制御方法及び装置
US6625297B1 (en) 2000-02-10 2003-09-23 Digimarc Corporation Self-orienting watermarks
US6804377B2 (en) 2000-04-19 2004-10-12 Digimarc Corporation Detecting information hidden out-of-phase in color channels
US7305104B2 (en) * 2000-04-21 2007-12-04 Digimarc Corporation Authentication of identification documents using digital watermarks
US7246239B2 (en) * 2001-01-24 2007-07-17 Digimarc Corporation Digital watermarks for checking authenticity of printed objects
DE10058175C1 (de) * 2000-11-22 2002-08-08 Fraunhofer Ges Forschung Verfahren und Einrichtung zur automatischen Markierung von Ausdrucken einer Datenverarbeitungsanlage
US6993150B2 (en) * 2001-01-24 2006-01-31 Digimarc Corporation Halftone primitive watermarking and related applications
US7376242B2 (en) * 2001-03-22 2008-05-20 Digimarc Corporation Quantization-based data embedding in mapped data
US8050452B2 (en) * 2001-03-22 2011-11-01 Digimarc Corporation Quantization-based data embedding in mapped data
DE10118527C2 (de) * 2001-04-14 2003-02-20 Recognitec Ges Fuer Digitale B Verfahren zur Integritätsprüfung binärer Daten
US7607016B2 (en) * 2001-04-20 2009-10-20 Digimarc Corporation Including a metric in a digital watermark for media authentication
US7393623B2 (en) * 2001-06-06 2008-07-01 Spectra Systems Corporation Incorporation of markings in optical media
ATE502383T1 (de) * 2001-06-06 2011-04-15 Spectra Systems Corp Markieren und authentisieren von artikeln
DE10134682B4 (de) * 2001-07-20 2009-07-30 Mediasec Technologies Gmbh Verfahren und Vorrichtung zur Bestätigung der Echtheit eines Dokumentes und elektronischer Tresor zur Speicherung der Daten
US7392392B2 (en) * 2001-12-13 2008-06-24 Digimarc Corporation Forensic digital watermarking with variable orientation and protocols
US7006662B2 (en) * 2001-12-13 2006-02-28 Digimarc Corporation Reversible watermarking using expansion, rate control and iterative embedding
US7392394B2 (en) * 2001-12-13 2008-06-24 Digimarc Corporation Digital watermarking with variable orientation and protocols
US7231061B2 (en) * 2002-01-22 2007-06-12 Digimarc Corporation Adaptive prediction filtering for digital watermarking
US7567721B2 (en) * 2002-01-22 2009-07-28 Digimarc Corporation Digital watermarking of low bit rate video
EP1349368A1 (de) * 2002-03-18 2003-10-01 Mediasec Technologies GmbH Verfahren zur Markierung eines Datensatzes
DE10211982B4 (de) * 2002-03-18 2004-05-06 Mediasec Technologies Gmbh Verfahren zur Markierung eines Datensatzes
US7974495B2 (en) * 2002-06-10 2011-07-05 Digimarc Corporation Identification and protection of video
US7577841B2 (en) 2002-08-15 2009-08-18 Digimarc Corporation Watermark placement in watermarking of time varying media signals
US7024575B2 (en) * 2002-11-14 2006-04-04 Intel Corporation Apparatus and method for time synchronization of a plurality of multimedia streams
US7356618B2 (en) * 2003-12-31 2008-04-08 Intel Corporation Method and system for synchronizing platform clocks in a distributed wireless platform
US7266713B2 (en) * 2004-01-09 2007-09-04 Intel Corporation Apparatus and method for adaptation of time synchronization of a plurality of multimedia streams
JP4507189B2 (ja) * 2004-02-18 2010-07-21 株式会社リコー 画像処理方法、装置、プログラムおよび記録媒体
CN101326806B (zh) * 2005-12-05 2011-10-19 汤姆逊许可证公司 用于在编码内容中插入水印的方法和系统
US20090060257A1 (en) * 2007-08-29 2009-03-05 Korea Advanced Institute Of Science And Technology Watermarking method resistant to geometric attack in wavelet transform domain
US8565472B2 (en) * 2007-10-30 2013-10-22 General Instrument Corporation Method, device and system for dynamically embedding watermark information into multimedia content
US9075961B2 (en) * 2013-09-10 2015-07-07 Crimsonlogic Pte Ltd Method and system for embedding data in a text document
US9798948B2 (en) * 2015-07-31 2017-10-24 Datalogic IP Tech, S.r.l. Optical character recognition localization tool
DE102017216974A1 (de) * 2017-09-25 2019-05-16 Bundesdruckerei Gmbh Dataculestruktur und Verfahren zum manipulationssicheren Speichern von Daten
CN117371533B (zh) * 2023-11-01 2024-05-24 深圳市马博士网络科技有限公司 一种生成数据标签规则的方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL78541A (en) 1986-04-18 1989-09-28 Rotlex Optics Ltd Method and apparatus for encryption of optical images
FR2661585B1 (fr) 1990-04-25 1992-08-07 Telediffusion Fse Procede et dispositif d'embrouillage-desembrouillage de donnees d'images numeriques.
US5721788A (en) * 1992-07-31 1998-02-24 Corbis Corporation Method and system for digital image signatures
US5321749A (en) * 1992-09-21 1994-06-14 Richard Virga Encryption device
US5477276A (en) 1992-12-17 1995-12-19 Sony Corporation Digital signal processing apparatus for achieving fade-in and fade-out effects on digital video signals
EP0614308A1 (en) * 1993-03-05 1994-09-07 Eastman Kodak Company Method and apparatus for controlling access to selected image components in an image storage and retrieval system
KR0184313B1 (ko) 1993-04-09 1999-05-01 모리시타 요이찌 디지털영상신호를 스크램블 및 디스크램블해서 전송하는 스크램블전송장치
JPH0730855A (ja) 1993-07-08 1995-01-31 Sony Corp ビデオデータの記録方法
US5515437A (en) * 1993-08-23 1996-05-07 Matsushita Electric Industrial Co., Ltd. Scramble transmission apparatus and signal processing apparatus
EP0648055B1 (en) 1993-10-12 2000-01-19 Matsushita Electric Industrial Co., Ltd. Scrambling system, scrambling apparatus and descrambling apparatus

Also Published As

Publication number Publication date
EP0879535B1 (de) 2000-09-06
DE19521969C1 (de) 1997-02-27
US6359985B1 (en) 2002-03-19
CA2224317C (en) 2006-05-30
DK0879535T3 (da) 2001-01-02
DE59605853D1 (de) 2000-10-12
ATE196221T1 (de) 2000-09-15
EP0879535A1 (de) 1998-11-25
ES2152530T3 (es) 2001-02-01
GR3035000T3 (en) 2001-03-30
PT879535E (pt) 2001-03-30
CA2224317A1 (en) 1997-01-03
WO1997000578A1 (de) 1997-01-03
JP2000515691A (ja) 2000-11-21

Similar Documents

Publication Publication Date Title
JP3709205B2 (ja) 二進化データセットのマーキング方法
Cox et al. A secure, robust watermark for multimedia
Cox et al. Secure spread spectrum watermarking for images, audio and video
KR100326510B1 (ko) 화상데이터인코딩시스템및화상입력장치
Cox et al. Review of watermarking and the importance of perceptual modeling
JP3522056B2 (ja) 電子的すかし挿入方法
Su et al. Digital watermarking of text, image, and video documents
US6208735B1 (en) Secure spread spectrum watermarking for multimedia data
Zhao et al. Embedding Robust Labels into Images for Copyright Protection.
Barni et al. Watermarking systems engineering: enabling digital assets security and other applications
US7269734B1 (en) Invisible digital watermarks
Paquet et al. Wavelet packets-based digital watermarking for image verification and authentication
JP3055672B2 (ja) 画像データのエンコードシステム及び画像入力装置
Zeng et al. Extraction of multiresolution watermark images for resolving rightful ownership
Bruce A review of digital watermarking
Duan et al. A short summary of digital watermarking techniques for multimedia data
Sen et al. An algorithm for digital watermarking of still images for copyright protection
Padmaa et al. Spread spectrum image watermarking in wavelet domain
KR100751389B1 (ko) 디지털 영상의 워터마킹 방법
Daham Encryption Based Watermarking Technique For Security Of Medical Image
Liu et al. An overview of digital watermarking
George Spread spectrum watermarking for images and video.
AU741906B2 (en) Invisible digital watermarks
Burdescu et al. A spatial watermarking algorithm for digital images
Raghuvanshi WAVELET-BASED WATERMAKING METHOD FOR MOVING IMAGES USING HVS

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050603

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050531

TRDD Decision of grant or rejection written
A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050715

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050808

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090812

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090812

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090812

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090812

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090812

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090812

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100812

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110812

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110812

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120812

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120812

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130812

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term