JP4199293B2 - 整数ウエーブレット拡散スペクトラムに基づく可逆データ隠蔽のためのシステム及び方法 - Google Patents

整数ウエーブレット拡散スペクトラムに基づく可逆データ隠蔽のためのシステム及び方法 Download PDF

Info

Publication number
JP4199293B2
JP4199293B2 JP2007504976A JP2007504976A JP4199293B2 JP 4199293 B2 JP4199293 B2 JP 4199293B2 JP 2007504976 A JP2007504976 A JP 2007504976A JP 2007504976 A JP2007504976 A JP 2007504976A JP 4199293 B2 JP4199293 B2 JP 4199293B2
Authority
JP
Japan
Prior art keywords
coefficient
original
coefficients
value
factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007504976A
Other languages
English (en)
Other versions
JP2007531395A (ja
Inventor
シー、ユン−チン
シュアン、グオロン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New Jersey Institute of Technology
Original Assignee
New Jersey Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New Jersey Institute of Technology filed Critical New Jersey Institute of Technology
Publication of JP2007531395A publication Critical patent/JP2007531395A/ja
Application granted granted Critical
Publication of JP4199293B2 publication Critical patent/JP4199293B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0028Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/3217Transform domain methods using wavelet transforms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/32187Transform domain methods with selective or adaptive application of the additional information, e.g. in selected frequency coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0052Embedding of the watermark in the frequency domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0083Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0203Image watermarking whereby the image with embedded watermark is reverted to the original condition before embedding, e.g. lossless, distortion-free or invertible watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、整数ウエーブレット拡散スペクトラムに基づく可逆データ隠蔽のためのシステム及び方法に関する。
近年、データ隠蔽は集中的に研究される領域になってきた。ほとんどのマルチメディア・データ隠蔽技術は、データ隠蔽処理中にカバー・メディアを変更し、且つ従って歪める。例え歪みがしばしば小さく且つ人間視覚システム(HVS)において見えなくても、原カバー・メディアは通常完全には再現されない。言い換えると、これらデータ隠蔽技術のほとんどは不可逆であり、法的及び医学的撮像のようないくつかの慎重に扱うべき適用例では受け入れられない。
法的、医学的、及び他の慎重に扱うべき適用例に対して、可逆データ隠蔽は埋め込まれたデータを抽出し、原ホスト信号を復元するために望まれる。可逆(逆変換可能、無損失、又は無歪曲とも呼ばれる)データ隠蔽はここ数年の非常に活発な研究対象になっている。多くの加逆データ隠蔽方法が以下の文献番号1〜11のように報告されてきた。
以下に識別される文献[2]及び文献[8]において、256を法とする加算がオーバーフロー及びアンダーフローを避けるために利用され、その結果可逆性を成し遂げる。フリードリッヒ他によって提案された方法[3]はビット・プレーンを空間の定義域で無損失圧縮し、その結果ペイロード(埋め込まれるべきデータ)とオーバーヘッド(記帳データ)を埋め込む空間を節約して可逆データ隠蔽を行う。空間の定義域において行われ得る圧縮率がかなり制限されるために、この技術のペイロードは非常に小さい。これに基づいて、空間の定義域における総最下位ビット平面(GLSB)埋め込み技術はセリック他[6]により提案された。これに利用されるより効率的な圧縮技術のために、埋め込まれるデータのペイロード及び微細性は大きく改善された。ドミンゴ−フェリエール他[5]は空間定義域拡散スペクトラム・データ隠蔽法を提案した。しかし、これは原ホスト信号を修正したものに関して可逆というだけのものである。シュアン他[7]は整数ウエーブレット変換(IWT)の定義域で実行される可逆データ隠蔽アルゴリズムを提案した。
ティアン[10]は差分展開の技術を利用してデータを埋め込み、データ埋め込み容量対マーク付け画像の視覚品質に関して可逆データ隠蔽法を改善した。ヤン他[11]は圧伸技術を利用する可逆データ隠蔽技術を提案した。この技術はデータを離散コサイン変換(DCT)の係数に埋め込む。
一態様において、本発明は整数ウエーブレット変換及びヒストグラム修正に基づいた可逆データ隠蔽方法を提供する。一実施形態において、データは整数ウエーブレット変換の高周波部分帯の係数に埋め込まれる。擬ビットもまた埋め込まれてよいので、信号ビットを埋め込むには適切ではない係数にフラグを立てることができ、どの係数に信号ビットが埋め込まれ、どの係数に擬ビットが埋め込まれているかを示す分布図が復号化装置には不要になる。このことは好適にデータ隠蔽効率を向上させる。
オーバーフロー及びアンダーフローを避けるため、効果的なヒストグラム修正方法が採用される。しばしば利用される画像での実験結果は、本明細書で開示される方法がデータ埋め込み容量及びマーク付け画像の視覚品質に関して既存の可逆データ隠蔽方法と比べて優れた性能を実現したことを示している。
一態様に従って、本発明は、原画素を定義域とする画像を対象として整数ウエーブレット変換(IWT)を行いIWT係数の行列を得ること、情報を埋め込むための複数のIWT係数を選択すること、及び複数の対応するデータ・ビットに従う複数の選択されたIWT係数に対して符号を設定して、それにより対応するデータ・ビットが複数のIWT係数に埋め込まれることを備える方法を提供する。好適には、選択は、少なくとも一つの周波数部分帯内のIWT係数の行列を選択することを備える。好適には、少なくとも一つの周波数部分帯は、HL部分帯、LH部分帯、及びHH部分帯を備えるグループから選択される少なくとも一つの周波数部分帯を備える。好適には、設定は複数の対応するデータ・ビットのビット値に基づいて各複数の選択されたIWT係数に対して正符号及び負符号の一つを設定することを備える。好適には、設定は、係数の各々のデータ・ビットのビット値が1及び0の一つである場合、各係数の符号を正にし、係数の各々のデータ・ビットのビット値が1及び0のいずれか片方である場合各係数の符号を負にすることの少なくとも一つを備える。
好適には、方法は更に、設定をする前に原画像のヒストグラムを狭めることを備える。好適には、方法はヒストグラムを狭めたことを記帳データに記録すること、及び画像に記帳データを埋め込むことを更に備える。
別態様に従って、本発明はソフトウェア・プログラムの命令で動作するプロセッサを含む装置を提供する。ソフトウェア・プログラムは、原画素を定義域とする画像を対象として整数ウエーブレット変換(IWT)を行いIWT係数の行列を得ること、情報を埋め込むための複数のIWT係数を選択すること、及び複数の各々のデータ・ビットに従う複数の選択されたIWT係数に対して符号を設定し、それにより各々のデータ・ビットが複数のIWT係数に埋め込まれることを備える動作を装置に実行させる。
更に別態様に従って、本発明はソフトウェア・プログラムの命令でプロセッサを含む装置に、原画素を定義域とする画像を対象として整数ウエーブレット変換(IWT)を行いIWT係数の行列を得ること、情報を埋め込むための複数のIWT係数を選択すること、及び複数の対応するデータ・ビットに従う複数の選択されたIWT係数に対して符号を設定して、それにより各々のデータ・ビットが複数のIWT係数に埋め込まれることを備える動作を実行するように動作するソフトウェア・プログラムを含む記憶媒体を提供する。
更に別態様に従って、本発明は原画素を定義域とする画像を対象として整数ウエーブレット変換(IWT)を行いIWT係数の行列を得ること、データを埋め込むための複数の原IWT係数を選択すること、複数の原係数のシフト値、複数の原係数各々に対応する複数の対応するファクタ、及び各原係数に対してマーク付け係数を設定し、このマーク付け係数は原係数と原係数に関連するサイン・ファクタファクタとに対応しており、且つマーク付け係数は原係数にa)原係数に対応する符号ファクタと、b)シフト値との積を加えられた値に等しくなるように設定されることを備える方法を提供する。
好適には、シフト値を設定することは、シフト値の大きさの値をa)シフト値を利用するマーク付けに起因する画像の歪みのレベル及びb)マーク付けにより画像に埋め込まれるべきデータの品質の関数として選択することを備える。好適には、シフト値を設定することは、複数の原係数の大きさの分布に基づいてシフト値を選択することを備える。好適には、各原係数に対応する符号ファクタを設定することは、符号ファクタの符号を設定することを備える。好適には、各原係数に対応する符号ファクタを設定することは、シフト値以上の大きさの各原係数に対して、それにより大きな係数を提供し、大きな係数に対する符号ファクタの符号を大きな係数の符号以上になるように設定することを備える。好適には、符号ファクタを設定することは、各符号ファクタに対応する原係数に埋め込まれるべきビット値に基づいて各符号ファクタを+1又は−1のいずれかに等しくなるように設定することを備える。好適には、符号ファクタを設定することは、符号ファクタに対応する原係数に埋め込まれる候補のビット値が1及び0の一方である場合、各符号ファクタを+1に設定すること及び、符号ファクタに対応する原係数に埋め込まれる候補のビット値が1及び0の他方である場合、各符号ファクタを−1に設定することの少なくとも一つを備える。好適には、各原係数に対するマーク付け係数を設定することは、画像に透かしを埋め込むことを備える。好適には、マーク付け係数を設定することは、マーク付け係数に対応する原係数の大きさがシフト値の大きさよりも小さい場合、透かし信号の一部を形成する信号ビットをマーク付け係数に埋め込むこと、及びマーク付け係数に対応する原係数の大きさがシフト値の大きさ以上である場合、擬ビットをマーク付け係数に埋め込むことの一つを備える。
好適には、方法はマーク付け係数を設定する前に画像の初期ヒストグラムを狭めることを更に備える。好適には、狭めることは特定の閾値以下のグレースケール値の画素数を初期ヒストグラムの中央に再配置すること、及び初期ヒストグラムの最大グレースケール値から特定の閾値を引いた値に等しいグレースケール値より大きいグレースケール値の画素数を初期ヒストグラムの中央に再配置することを備える。好適には方法はヒストグラムを狭めることを記載するデータを記帳情報として記録することを更に備える。好適には方法は画像に記帳情報を埋め込むことを更に備える。
更に別態様に従って、本発明はソフトウェア・プログラムの命令で動作するプロセッサを含む装置を備える。このソフトウェア・プログラムは、原画素を定義域とるす画像に対して整数ウエーブレット変換(IWT)を行い原IWT係数の行列を得ること、データを埋め込むための複数の原IWT係数を選択すること、複数の原係数のためにシフト値を設定すること、複数の原係数各々に対応する複数の符号ファクタを設定すること、及び各原係数に対してマーク付け係数を設定し、このマーク付け係数は原係数と原係数に対応する符号ファクタとに対応し、マーク付け係数は原係数の値にa)原係数に対応する符号ファクタと、b)シフト値との積を加えられた値と等しくなるように設定されることを備える動作を装置に実行させる。
更に別態様に従って、本発明はソフトウェア・プログラムの命令で動作するプロセッサを含む装置に、原画素を定義域とする画像に対して整数ウエーブレット変換(IWT)を行い原IWT係数の行列を得ること、データを埋め込むための複数の原IWT係数を選択すること、複数の原係数に対するシフト値を設定すること、複数の原係数各々に対応する複数の符号ファクタを設定すること、及び各原係数に対してマーク付け係数を設定し、このマーク付け係数は原係数と原係数に対応する符号ファクタとに対応し、マーク付け係数は原係数の値にa)原係数に対応する符号ファクタと、b)シフト値との積を加えられた値と等しくなるように設定されること、を含む動作を実行させるように動作可能なソフトウェア・プログラムを含む記憶媒体を提供する。
更に別態様に従って、本発明はマーク付け画素を定義域とする画像を対象として整数ウエーブレット変換(IWT)を行いウエーブレット係数の行列を得ること、その行列から埋め込まれた情報を含む複数の係数を選択すること、及び各選択された係数に対して係数に埋め込まれたデータ・ビットを抽出し、抽出されたデータ・ビットのビット値は係数の符号に基づいて判定されること、を備える方法を提供する。好適には、選択された複数の係数はIWT係数の行列の少なくとも一周波数部分帯内の係数を備える。好適には、選択された複数の係数はHL部分帯、LH部分帯、及びHH部分帯から成るグループから選択される少なくとも一つの周波数部分帯内に位置する係数を備える。好適には、選択された複数の係数は乱数発生装置の出力により示される係数、埋め込まれたデータの選択された複数の係数を識別するために符号化装置により利用されるシードを採用する乱数発生装置を備える。
好適には、抽出は各選択された係数に対して、係数の符号が正及び負の一方である場合、「1」のビット値を抽出すること、係数の符号が正及び負の他方である場合、「0」のビット値を抽出すること、の少なくとも一つを備える。好適には、抽出は各選択された係数に対して、係数の大きさに依存して係数から信号ビット又は擬ビットのいずれかを抽出することを備える。好適には、抽出は各選択された係数に対して、埋め込み前の係数の大きさが画像にマーク付けするために利用されるシフト値の大きさより小さい場合、マーク付け画像に埋め込まれた透かし信号の一部を形成する信号ビットを抽出することを備える。好適には、抽出は各選択された係数に対して、埋め込み前の係数の大きさが画像にマーク付けするために利用されるシフト値の大きさ以上である場合、マーク付け画像から抽出される透かし信号から排除されるべき擬ビットを抽出することを備える。
好適には、方法は各選択された係数に対して、係数にデータを埋め込む前に存在する係数値を復元し、それにより埋め込み前の画像の状態を復元することを更に備える。好適には、画像の初期ヒストグラムは埋め込み前に狭められ、記帳データは狭めることを記述して保存される。好適には方法は保存された記帳データを利用して初期ヒストグラムを復元することを更に備える。好適には、方法はウエーブレット係数の行列から記帳データを抽出することを更に備える。
更に別態様に従って、本発明はソフトウェア・プログラムの命令で動作するプロセッサを含む装置を提供し、ソフトウェア・プログラムは装置にマーク付け画素を定義域とする画像に対して整数ウエーブレット変換(IWT)を行いウエーブレット係数の行列を得ること、埋め込まれた情報を含む行列から複数の係数を選択すること、及び各選択された係数に対して、係数に埋め込まれたビットデータを抽出し、抽出されたデータ・ビットのビット値は係数の符号に基づいて判定されることを備える動作を実行させる。
更に別態様に従って、本発明はソフトウェア・プログラムの命令で動作するプロセッサを含む装置に、マーク付け画素を定義域とする画像を対象に整数ウエーブレット変換(IWT)を行いウエーブレット係数の行列を得ること、埋め込まれた情報を含む行列から複数の係数を選択すること、及び各選択された係数に対して係数に埋め込まれたデータ・ビットを抽出し、抽出されたデータ・ビットのビット値は係数の符号に基づいて判定されることを備える動作を実行させるように動作するソフトウェア・プログラムを含む記憶媒体を提供する。
本明細書中の本発明の好適な実施形態の記載が添付される図面と共に考慮さるとき、別態様、特徴、利点等は当業者に明らかになるであろう。
本発明の様々な態様を説明するために、現在好適である形の図面が示される。しかし、本発明はここに示される正確な構成及び手段に制限されないことが理解される。
本明細書でこれまでに記載された及び/又は以下に記載される方法及び装置は標準的なデジタル回路、アナログ回路、ソフトウェア及び/又はファームウェアのプログラムを実行するために動作する任意の公知のプロセッサ、プログラム可能なデジタル機器又はシステム、プログラム可能なアレイ論理機器、又はこれらの任意の組み合わせのような任意の公知の技術を利用して実施されてもよいことに注意されたい。本発明の一つ以上の実施形態はまた、適切な記憶媒体で記憶するためのソフトウェア・プログラムとプロセッサ・ユニットによる実行で実施される。
本明細書において「透かし信号(watermark signal)」とは、首尾一貫したメッセージの一部を形成してもよい情報であり、符号化装置が画像に埋め込み、復号化装置が次に画像から解凍する情報である。従って、画像に埋め込まれる前に存在する透かし信号の符号化されていない形式の両者が存在してよい。一度画像に埋め込まれた後、好適には一つ以上の本発明の実施形態に従う方法を採用することにより、透かし信号は完全に復元可能である。本明細書において、用語「周波数帯」及び「周波数部分帯」は用語「ウエーブレット部分帯」に対応する。
透かし信号データ・ビット以外の情報もまた画像に埋め込まれてよい。これらの他の情報の部類には「擬ビット」が含まれる。係数が透かし信号データの埋め込みに適していると判断される場合、本明細書で「信号ビット」とも言われる「実ビット」は符号化装置によりそこに埋め込まれる。係数が透かし信号データの埋め込みに適していないと判断される場合、擬ビットがそこに埋め込まれる。本明細書において、擬ビットは、係数に埋め込まれるが、画像に埋め込まれる透かし信号の一部ではないビットのことである。
シフト値と比較して係数の大きさを計算することによる復号化を行うと、復号化装置は、係数に埋め込まれ、次に復号化装置によりそこから抽出されるビットが信号ビットであるか又は擬ビットであるかを、判定することができる。抽出されるビットが信号ビットである場合、抽出された透かし信号が加えられる。抽出されるビットが擬ビットである場合、その擬ビットは抽出される透かし信号の一部として含まれない方が好ましい。本明細書で後に説明されるように、原係数の大きさ及び符号化装置によりそこに擬ビットを埋め込むことにより、復号化装置は原係数が信号ビットを埋め込むには適切でなく、その代わりに擬ビットが挿入されたことが知らされる。抽出されたビットの「擬」状態を判定すると、復号化装置はそのビットを廃棄して抽出される透かし信号から本来排除されるデータを再生する。
(整数ウエーブレット変換)
ウエーブレット変換は画像処理における数多くの異なる作業に広く応用される。ウエーブレット変換係数は非相関性が高く、ウエーブレット変換は人間視覚システム(HVS)の特徴と矛盾しないため、ウエーブレット変換はまた画像データ隠蔽に広く応用される。高周波部分帯におけるウエーブレット変換係数のわずかな修正を示す痕跡を検出することは難しい。従って、本明細書で開示される一つ以上の実施形態において、データは高周波ウエーブレット係数に埋め込まれる。
原画像を無損失で復元するために、可逆ウエーブレット変換が好適には採用される。従って、本明細書の一つ以上の実施形態により整数ウエーブレット変換が採用され、この変換は整数を整数に写像し[14]、この変換により原画像が変換された画像から歪み無しで再構成される。様々なウエーブレット族が可逆埋め込み方法に応用され得るが、豊富な実験との比較により、データ埋め込み容量及びマーク付け画像の視覚品質の観点からCDF(2,2)(CDFは「コーエン−ドーベッヒエス−フェオイフェオイ(Chohen-Daubechies-Feauveau)」を意味する)が他のウエーブレット族と比べてよいことが発見された。加えて、CDF(2,2)形式はジェイペグ2000標準[15]に採用されていることに注意されたい。しかし、本発明はCDF(2,2)形式の利用に制限されない。
(拡散スペクトラム・データ隠蔽)
可逆拡散スペクトラム・データ隠蔽方法の一実施形態をこの章で説明する。前章で説明された一レベル整数ウエーブレット変換を適用した後、次の3高周波部分帯、HL,LH,HHが好適に得られる。ほとんどの高周波ウエーブレット変換係数が小さく、0近傍の大きさであることが観測される。四つの頻繁に利用される画像の高周波係数の大きさの分布が図10に示され、この観測を述べている。以下に開示される方法は上記及び図10で示される、大きさが小さな係数の存在を利用する。
以下において、Wは部分帯HL,LH及びHHの一つから選択される一係数であり、|W|<A、A>0である。一ビットをWに埋め込むとき、
W’=W+A・S (1)
となり、W’は変更された係数、Aはシフト値、及びSは符号ファクタであり、Sは以下の式2で定義される。
Figure 0004199293
データの抽出を説明する前に、以下の特性が認識される。特に|W|<Aであるので、
Sign(W’)=Sign(W+A*S)=Sign(A*S)=Sign(S) (3)
このことは、W’の符号を調べることにより隠蔽ビットを抽出することができることを示している。すなわち、Sign(W’)が正である場合、ビット「1」が抽出され、Sign(W’)が負である場合、ビット「0」が抽出される。
原画像を復元するために、IWT係数Wは完全に復元される。式(1)に従って、Wを以下のように復元する。
W=W’−A・S (4)
好適な実施形態において、上記のデータ埋め込み方法が可逆になるために、以下の二条件を満たさなくてはならない。第一は、整数逆ウエーブレット変換を適用するときにオーバーフロー及び/又はアンダーフローが無いことである。この条件を次章で詳細に説明する。第二は、このアルゴリズムの最初に仮定したように、関係|W|<Aが真であることである。(値Aの変化に対するデータ埋め込み容量及びマーク付け画像の視覚品質への効果は本明細書において後に説明される。)
A及び|W|の相対的な値に関する上記仮定が満たされない場合、すなわち|W|≧Aなる状況に注目する。幸いなことに、この状況は|W|≧Aである各係数に擬ビットを埋め込むことにより制御可能である。
(a)W≧Aの場合、S=1とする。従って、ビット値「1」である一擬ビットが係数Wに埋め込まれる。復号化をするときに、前に与えられた条件から、W’が正であるので、復号化装置は好適には「1」のビット値をW’から抽出する。続いて、Wの原値が上記式(4)より復元される。
|W|≧A(開示されるデータ埋め込み方法の可逆性のための上記第二条件を満たさなくする条件)であることを認識すると、復号化装置は値「1」の抽出されたビットが透かし信号の一部ではない擬ビットであることを判定する。従って、擬ビットは透かし信号のいかなる部分をも損失せずに安全に廃棄される。
続いて係数Wが負である場合を説明する。
(b)W≦−Aである場合、S=−1とする。従って、「0」のビット値の擬ビットが係数Wに好適に埋め込まれる。従って、復号化するときに、W’が負であるのでW’から「0」の値のビットを好適に抽出する。続いて原Wが式(4)を利用して復元される。こうして係数Wの原値が得られる。更に、復号化装置は原係数Wの絶対値(大きさ)がシフト値Aと|W|≧Aの関係があることを判定する。このことが可逆データ隠蔽のための上記第二条件に違反するので、復号化装置は抽出された「0」ビットが擬ビットであることを好適には判断する。従って、復号化装置は安全にこのビットを廃棄することができ、復号化を継続する。
二個の情報が提供されて、どの係数からデータが抽出されて透かし信号(隠蔽データ)が再構成されるかを復号化装置に知らせることができる。第一は、信号ビット又は擬ビットのいずれかのデータが埋め込まれる係数のグループを識別する情報が提供される。第二は、識別されたグループにおける各係数に埋め込まれたビットが信号ビット(すなわち透かし信号の一部を形成するビット)又は擬ビット(透かし信号の一部ではなく、透かし信号のいかなるデータ損失もなしに安全に廃棄できるビット)のいずれかであるかを示す情報である。
一つ以上の実施形態において、データが埋め込まれる係数のグループは復号化装置に対して画像自身に埋め込まれたデータから個別に識別される。画像を傍受する任意の構成要素は画像内の情報を利用してマーク付け係数(そこにデータが埋め込まれた係数)を識別できないので、このアプローチは安全を提供する。しかし、別の実施形態においてデータが埋め込まれる係数のグループを記述するデータは画像自身に含まれる。
データが埋め込まれた係数のグループを記述する情報が画像自身において個別にデータから伝達される場合、復号化装置にこの情報を提供するための様々な選択肢があり得る。係数の完全なブロックが周波数部分帯に存在する場合、このブロックの一象限内の係数はデータを埋め込むために利用され、この象限の位置は復号化装置に識別される。一度、象限が識別されると、好適には各個別の係数を識別するデータを送る必要が無いため、これは空間的に効率のよいアプローチである。別例では、画像中で採用される多くの周波数部分帯の一つが識別され、この識別された周波数部分帯の全ての係数にデータが埋め込まれる。
他のアプローチでは、符号化装置と復号化装置との間の所定の共通認識事項が符号化で利用される。この識別は単純で、係数のブロックの象限全体にデータが埋め込まれると識別されるか、又はこれら係数全体の周波数部分帯全体にデータが埋め込まれる。別例では、数及び/又は位置により特にマーク付け係数を識別することを含み、これらマーク付け係数は潜在的に画像の様々な係数のブロック及び/又は様々な周波数部分帯に分布する。
更に他のアプローチでは、初期シードにより与えられる数の特定の出力を生成する乱数発生装置の利用が含まれる。この実施形態において、共通のシードが符号化装置及び復号化装置の両者に提供される。その後、符号化装置又は復号化装置によりデータ埋め込み及びデータ抽出のための係数の識別が必要とされるとき、選択されたシードに対する乱数発生装置の出力は符号化装置又は復号化装置により得られる。
埋め込みに利用される係数が上記一つ以上の方法で識別されると、符号化装置は好適に必要に応じてデータの埋め込みを実行する。しかし、上記のように、データを埋め込むための候補になる係数のグループ内にある係数Wの大きさが(上記のように)透かし信号を埋め込むために利用するには大きすぎるとき、擬ビットが信号ビットの代わりにその係数に埋め込まれる。その後、式4を利用してWの原値を計算すると、復号化装置はビットが埋め込まれた係数自身から係数が擬ビットであることを判定する。擬ビットが検出された場合、復号化装置は好適に擬ビットを廃棄し、それにより抽出された透かし信号に含まれるべきデータからこのビットを正しく削除する。
本明細書に記載されるように係数に擬ビットを埋め込むことにより、好適には擬ビットが埋め込まれた係数には特定のシフト値Aとともに透かし信号を埋め込むために利用するには大きすぎる原値又は元の大きさ(接頭語「原」とはそこにデータが埋め込まれる前の係数値を意味する)があることが復号化装置に示される。係数Wがシフト値A以上である場合、Aと(Sが負の場合)Sの積を加えることによりW’の符号とファクタSの符号とが強制的に等しくされる点に関してうまくいかない。そして、本明細書に開示されるデータ埋め込み及び復号化の方法はSign(S)=Sign W’の性質に依存する。
復号化装置が係数を検査するとき、復号化装置は好適には最初に係数の符号を検査してSの符号を判定し、またW’の符号を判定する。その後、復号化装置は好適に(符号化処理において生成される)マーク付け係数W’からAとSとの積を引き、それにより原係数Wを提供する。復号化装置は次に係数WをAと比較する。Wの絶対値がA以上である場合、Wに信号ビットを埋め込む条件に違反が生じ、復号化装置は好適に係数が擬ビットを含み、好適に廃棄することを判定する。
上述のように利用しない係数に擬ビットを埋め込むことにより、復号化装置にデータが埋め込まれる係数の中のどの係数に信号ビットが埋め込まれ、どの係数に擬ビットが埋め込まれるかを記載する位置分布又は他の記帳方式に対する需要が除かれる。復号化装置は好適にこの判定を、復号化中のデータ自身から判定するので、このことは事実である。「位置分布」を利用してデータが隠蔽され、次に分布を損失無く圧縮し、且つ圧縮された分布を画像にオーバーヘッド・データとして埋め込む、修正された係数を記録する[10]の方法と比べて、擬ビットを埋め込むことは、より単純で且つより効果的な記帳方式である。
(ヒストグラム修正)
データがいくつかのIWT係数に埋め込まれた後の所定の画像に対して、オーバーフロー及び/又はアンダーフローが起こり得る。このことは、逆整数ウエーブレット変換が実行された後、マーク付け画像のいくつかの画素のグレースケール値が上限(上限は八ビットグレースケール画像で255である)及び/又は下限(下限は八ビットグレースケール画像で0である)を超えるかもしれないことを意味する。この状況において、切捨てが一般的に適用されて残ったグレースケール値を許容数値範囲に復元し、それによりデータ隠蔽の可逆性に違反することになる。このことは、あらゆる無損失データ隠蔽アルゴリズムに直面する目標課題である。
本発明の一つ以上の実施形態において、オーバーフロー及び/又はアンダーフローを避けるためにヒストグラム修正手順が採用され、この手順はヒストグラムの範囲を左右両側から狭める。好適には、ヒストグラム改良後、ヒストグラムの左側のいくつかのグレースケール値がヒストグラムの中央に結合されて左側は空になり、右側のいくつかのグレースケールはヒストグラムの中央に結合されて左側は空になる。以下の説明において、Gグレースケール・レベルによりヒストグラムを狭めることが仮定され、このことは、ヒストグラムが修正された後Gスケール値が空になることを意味する。
ヒストグラム修正の一般例が以下に示され、ヒストグラム修正のより特定の適用例がそれに続き、可逆データ隠蔽方法が本明細書で開示される。説明を単純にするために、この章ではGは偶数に制限される。(Gは本明細書の後の章で値40が割り当てられる。)従って、ヒストグラムをG/2パスだけ狭めることができ、各パスにおいてヒストグラムは好適には一つは左側から、他の一つは右側から、二グレースケール・レベルだけ狭めらる。
ヒストグラムを範囲[G/2,255-G/2]に狭めることにおいて、ヒストグラム修正情報は好適には画像に埋め込まれるデータに記録される。画像に埋め込まれるべきデータは従って、三つのソースがある。1)透かし信号、2)(必要な場合)擬データ、3)ヒストグラム修正の記帳情報。
好適には、高周波(HH,HL,LH)から低周波(LL)、低レベルから高レベル、及び少ビット・プレーンから高ビット・プレーンの順番にデータは埋め込まれる。このようにして、マーク付け画像の視覚品質が最適化される。
(簡単なヒストグラム修正例)
ヒストグラムを狭める手順を説明するために、図3〜4に示されるような原画像の大きさが6×6で8=2のグレースケール(6×6×3)である簡単な例を利用する。図3〜5より、修正されたヒストグラムの範囲は0〜7に代わって1〜6、すなわち0又は7いずれのグレースケール値の画素も存在しないことが分かる。修正後、グレースケール値1はグレースケール値2に結合される。グレースケール値0はグレースケール値1になる。同様にして、グレースケール値6はグレースケール値5に結合される。グレースケール値7はグレースケール値6になる。元及び修正後のヒストグラムは図2に示される。元及び修正後のヒストグラムのデータは図5に示される。図6は、記録され、画像に埋め込まれたヒストグラム修正を記載する記帳情報を説明する。
図6における左近傍のグレースケール値を有する左側記録ビット(101101)は、図4Bにおいて(<x=5,y=1>,<x=1,y=4>)を走査することにより2番目及び5番目の「2」の値の両者は、元々図4Aでは「1」であったことを示す。更に、図6における右近傍のグレースケール値を有する右側記録ビット(110111)は、図4Bにおいて(<x=4,y=2>)を走査することにより三番目の「5」は図4Aでは「6」であったことを示す。
以下では、ヒストグラム修正の説明が本発明の一つ以上の実施形態に従う方法を利用して埋め込まれたデータを有する画像のヒストグラムにより特定して焦点を当てられる例と共に続けられる。ヒストグラムを狭めるアルゴリズムの一実施形態が図7に記載される。
G=40の「レナ」図のヒストグラム修正の例が図7に示される。この例において、1〜20間及び235〜255間のグレースケール値各々はヒストグラムの中央部のグレースケール値に結合される。この処理は従って、グレースケールの範囲を0〜255から20〜235に縮める。図8A及び図8Cを見ると、データが画像に埋め込まれた後、グレースケールの範囲はある程度拡がるが、図8Cを見ると、それでも0〜255の範囲に収まり、可能性のあるオーバーフロー及び/又はアンダーフローを回避されている。
ヒストグラムを範囲[G/2,255-G/2]に狭めることにおいて、結合されたグレースケール値(図6のLk及びRk)や、グレースケール値がLk又はRkである画素の位置や、埋め込まれたデータの一部である画素の位置のようなヒストグラム修正情報を記録することは有利である。この記録された情報を本明細書では記帳情報と呼ぶ。好適には、原画像を記録された記帳情報を利用して無損失で復元する。一般的に、記帳情報の量は小さい。この新たな可逆埋め込み法のブロック図が図9で与えられる。
(実験結果)
ほとんどの画像に対して、高周波部分帯のほとんどのIWT(CDF(2,2))係数の大きさは小さい。このことは、図10に示されるしばしば利用される画像の統計を見ることで検証される。図10は高周波IWT係数の割合が様々な範囲の係数の大きさに収まることを示す。こうして、例え小さな値のシフト値Aを使っても、ほとんどの高周波係数に一ビットを埋め込むことができる。
シフト値Aの値は異なるペイロードを実現するために調整される。特に、要求されるペイロードが小さい場合、Aに小さな値を選択して、マーク付け画像の歪みを最小化することができる。一方で、要求されるペイロードが大きい場合、大きなAを選択して、マーク付け画像を大きく歪める。この方法は[10]で提案された平均二乗誤差(MSE)最小化法に比べて柔軟且つ単純である。図15〜18は図11〜14の画像に埋め込んだもののペイロードとピーク信号対ノイズ比(PSNR)との関係のいくつかの実験結果を示す。
「レナ」及び「バーバラ」テスト画像でマーク付け画像のデータ埋め込み容量対歪みのデータについて、最先端可逆データ隠蔽法[6,10,11]との性能比較が各々図19及び図29に示される。両図の一番上の曲線は本明細書で開示されたウエーブレット拡散スペクトラム法の一つ以上の実施形態に対するものである。ウエーブレット拡散スペクトラム法を利用したときのいくつかのデータ埋め込み容量、マーク付け画像対原画像のPSNRは、他の方法を利用して得られたものよりも高いことが分かる。
以下に挙げた文献は参照によって本明細書に組み込まれる。
[1] ジェイ.エム.バートン、「デジタルデータ内に認証情報を埋め込むための方法及び装置」、米国特許第5,646,997号明細書、1997年。
[2] シー.ダブリュ.ホンジンガー、ピー.ジョーンズ、エム.ラバニ、及びジェイ.シー.ストッフェル、「埋め込みデータを含む原画像の無損失復元」、米国特許第6,278,791号明細書、2001年。
[3] ジェイ.フリードリッヒ、エム.ゴーリャン、及びアール.デュ、「可逆認証」、エスピーアイイー フォトニック ウエスト、マルチメディア・コンテンツの安全性及び透かし 三 議事録、第397巻197〜208頁、カリフォルニア州サン ホセ、2001年1月。
[4] エム.ゴーリャン、ジェイ.フリードリッヒ、及びアール.デュ、「歪みの無いデータ埋め込み」、第4回情報隠蔽会議の議事録、27〜41頁、ペンシルベニア州ピッツバーグ、2001年4月。
[5] ジェイ.ドミンゴ−フェリエール及びエフ.セッベ、「画像認証のための可逆拡散スペクトラム透かし及び確度が重要である透かし画像への多重アクセス」、情報技術の国際会議、符号化及び計算の議事録、152〜157頁、2002年4月。
[6] エム.セリック、ジー.シャーマ、エイ.エム.テカリップ、及びイー.セイバー、「可逆データ隠蔽」、画像処理に関する国際会議の議事録、第2巻、157〜160頁、ニューヨーク州ロチェスター、2002年9月。
[7] ジー.シュアン、ジェイ.ヂュー、ワイ.キュー.シー、ズィ.ニー及びダブリュ.スー、「整数ウエーブレット変換に基づく歪みの無いデータ隠蔽」、アイイーイー・エレクトロニクス・レター、2002年12月、1646〜1648頁。
[8] シー.ド ブレーショウワー、ジェイ.エフ.デライグル及びビー.マック、「メディア財産管理のための無損失透かしにおける全単射変換の円解釈」、アイイーイーイー トラン マルチメディア、第5巻、97〜105頁、2003年3月。
[9] ズィ.ニー、ワイ.キュー.シー、エヌ.アンサリ及びダブリュ.スー、「可逆データ隠蔽」、回路及びシステムに関するアイイーイーイーの国際シンポジウムの議事録、第2巻、912〜915頁、タイ国バンコク、2003年3月。
[10] ジェイ.ティアン、「差分展開を利用する可逆データ埋め込み」、映像技術のための回路及びシステムに関するアイイーイーイーの議事録、2003年8月、890〜896頁。
[11] ビー.ヤン、エム.ショムッカー、ダブリュ.フンク、シー.ブッシュ、及びエス.サン、「圧伸技術を利用する画像用の整数DCTに基づいた可逆透かし」、エスピーアイイーの議事録第5306巻、5306−41、2004年1月。
[12] ジー.シュアン、ワイ.キュー.シー、ズィ.シー.ニー、ジェイ.チェン、シー.ヤン、ワイ.ツェン、ジェイ.ツェン、「整数ウエーブレット変換に基づく大容量無損失データ隠蔽」、回路及びシステムに関するアイイーイーイー2004国際シンポジウムの議事録、第2巻、29〜32頁、2004年3月、カナダ国バンクーバー。
[13] ビー.スクラー、デジタル通信:基礎及び応用、ニュージャージー州イングルウッド クリフス:ピーティーアール・プレンティス・ホール、1988年。
[14] エイ.アール.カルダーバンク、アイ.ドーベッチイズ、ダブリュ.スウェルデンス、ビー.−エル.ヨ、「整数を整数に写像するウエーブレット変換」、応用及び計算調和解析、1998年7月、332〜369頁。
[15] ラバニ及びアール.ジョーシ、「ジェイペグ2000静止画像圧縮標準の概観」、信号処理:画像通信第17巻、2002年、2〜48頁。
本明細に記載される本発明は特定の実施形態を参照して記載されるが、これらの実施形態は単に本発明の原理及び応用を説明しているだけであることは理解されるべきである。従って、数多くの修正が説明した実施形態に成されてもよく、添付した請求項によって定義される本発明の技術思想及び範囲から逸脱せずに他の構成が創作されてもよいことは理解されるべきである。
本発明の一つ以上の実施形態に従う画像データを扱うための順及び逆整数ウエーブレット変換両方で利用される公式。 a)本発明の一つ以上の実施形態に従う修正に適する原画像のヒストグラムと、b)本発明の一つ以上の実施形態に従う(a)を修正した画像のヒストグラムを示す。 本発明の一つ以上の実施形態に従うヒストグラム修正に好適な単純化された原画像を示す。 本発明の一つ以上の実施形態に従って修正された図3Aに示される図。 図3Aに示される原画像を表す画像データを示す。 図3Bに示される修正画像を示す画像データを示す。 本発明の一つ以上の実施形態に従う図3の画像の修正前後のヒストグラム・データの表を示す。 本発明の一つ以上の実施形態に従う方法による保存に好適な図3のヒストグラムの修正に従う記帳情報の表。 本発明の一つ以上の実施形態に従うヒストグラム修正アルゴリズムのリスト。 本発明の一つ以上の実施形態に従う修正に適するヒストグラムで、原「レナ」画像のヒストグラム。 本発明の一つ以上の実施形態に従って修正された図8Aに示されるヒストグラムの修正版。 本発明の一つ以上の実施形態に従って画像にマーク付けされた「レナ」画像のヒストグラム。 本発明の一つ以上の実施形態に従うデータ埋め込み方法のブロック図。 本発明の一つ以上の実施形態に従う方法を利用するマーク付けに好適な画像に対する高周波CDF(2,2)IWT係数の大きさの統計分布をリストアップしたデータ表。 本発明の一つ以上の実施形態に従う方法を利用したマーク付けに好適な、通常利用される「レナ」画像。 本発明の一つ以上の実施形態に従う方法を利用したマーク付けに好適な、通常利用される「ヒヒ」画像。 本発明の一つ以上の実施形態に従う方法を利用したマーク付けに好適な、通常利用される「バーバラ」画像。 本発明の一つ以上の実施形態に従う方法を利用したマーク付けに好適な、通常利用される「医学」画像。 本発明の一つ以上の実施形態に従ってマーク付けされた図11の「レナ」画像のペイロード対PSNR(ピーク信号対ノイズ比)をリストアップしたデータ表。 本発明の一つ以上の実施形態に従ってマーク付けされた図12の「ヒヒ」画像のペイロード対PSNR(ピーク信号対ノイズ比)をリストアップしたデータ表。 本発明の一つ以上の実施形態に従ってマーク付けされた図13の「バーバラ」画像のペイロード対PSNR(ピーク信号対ノイズ比)をリストアップしたデータ表。 本発明の一つ以上の実施形態に従ってマーク付けされた図14の「医学」画像のペイロード対PSNR(ピーク信号対ノイズ比)をリストアップしたデータ表。 本発明の一つ以上の実施形態に従うデータ埋め込み方法を採用した「レナ」画像でデータ記憶容量に対する歪みをプロットしたグラフ。 本発明の一つ以上の実施形態に従うデータ埋め込み方法を採用した「バーバラ」画像でデータ記憶容量に対する歪みをプロットしたグラフ。

Claims (26)

  1. 方法であって、
    原画素を定義域とする画像に対して整数ウエーブレット変換(IWT)を行い原IWT係数の行列を得ること、
    データ埋め込み用の複数の前記原IWT係数を選択すること、
    正の値を有するシフト値を前記複数の原係数に対して設定すること、
    前記複数の原係数の各々に対応する複数の符号ファクタを設定することであって、
    前記シフト値以上の絶対値を有する各前記原係数に対して、前記符号ファクタの符号を前記原係数の符号に等しくなるように設定し、
    前記シフト値未満の絶対値を有する各前記原係数に対して、各前記符号ファクタに対応する前記原係数に埋め込まれるべきビット値に基づいて各前記符号ファクタを+1又は−1のいずれかに設定すること、
    各前記原係数に対して、マーク付け係数を設定することであって、前記マーク付け係数は前記原係数と前記原係数に対応する前記符号ファクタとに対応し、前記マーク付け係数は前記原係数の値にa)前記原係数に対応する前記符号ファクタとb)前記シフト値との積を加えた値に等しい値に設定される、マーク付け係数を設定すること、
    を備える方法。
  2. 前記シフト値を設定することは、
    前記シフト値の大きさをa)前記シフト値を利用して前記マーク付けから生じる前記画像の歪みのレベルとb)前記マーク付けを通じて前記画像に埋め込まれるべきデータの品質との関数として選択すること、
    を備える、請求項1に記載の方法。
  3. 前記シフト値を設定することは、
    前記複数の原係数の中の大きさの分布に基づいて前記シフト値を選択すること、
    を備える請求項1に記載の方法。
  4. 各前記原係数に対応する前記符号ファクタを設定することは、前記符号ファクタの符号を設定することを備える、請求項1に記載の方法。
  5. 前記符号ファクタを設定することは、
    前記符号ファクタに対応する前記原係数に埋め込むための候補のビット値が1及び0の一方である場合、各前記符号ファクタを+1に設定すること、
    前記符号ファクタに対応する前記原係数に埋め込むための候補のビット値が1及び0の他方である場合、各前記符号ファクタを−1に設定すること、
    の少なくとも一つを備える、請求項1に記載の方法。
  6. 各前記原係数の前記マーク付け係数を設定することは、
    前記画像に透かし信号を埋め込むこと、
    を備える、請求項1に記載の方法。
  7. 前記マーク付け係数を設定することは、
    前記マーク付け係数に対応する前記原係数の大きさが前記シフト値の大きさよりも小さい場合、透かし信号の一部を形成する信号ビットを前記マーク付け係数に埋め込むこと、
    前記マーク付け係数に対応する前記原係数の大きさが前記シフト値以上の場合、擬ビットを前記マーク付け係数に埋め込むこと、
    の一つを備える、請求項1に記載の方法。
  8. 前記マーク付け係数を設定する前に前記画像の初期ヒストグラムを狭めること、
    を更に備える、請求項1に記載の方法。
  9. 前記狭めることは、
    特定の閾値より小さいグレースケール値の画素数を前記初期ヒストグラムの中央に再配置すること、
    前記初期ヒストグラムの最大のグレースケール値から前記特定の閾値を引いた値以上のグレースケール値の画素数を前記初期ヒストグラムの中央に再配置すること、
    を備える、請求項8に記載の方法。
  10. 前記ヒストグラムの前記狭めたことを記術するデータを記帳データとして記録することを更に備える、請求項8に記載の方法。
  11. 前記記帳情報を前記画像に埋め込むことを更に備える、請求項10に記載の方法。
  12. 前記選択することは、
    IWT係数の前記行列の少なくとも一つの周波数部分帯内の前記IWT係数を選択すること、
    を備える、請求項1に記載の方法。
  13. 前記少なくとも一つの周波数部分帯はHL部分帯、LH部分帯、及びHH部分帯から成るグループから選択される少なくとも一つの周波数部分帯を備える、請求項1に記載の方法。
  14. ソフトウェア・プログラムの命令に対して動作するプロセッサを含む装置であって、
    原画素を定義域とする画像に対して整数ウエーブレット変換(IWT)を行い原IWT係数の行列を得ること、
    データの埋め込み用の複数の前記原IWT係数を選択すること、
    正の値を有するシフト値を前記複数の原係数に対して設定すること、
    前記複数の各原係数に対応する複数の符号ファクタを設定することであって
    前記シフト値以上の絶対値を有する各前記原係数に対して、前記符号ファクタの符号を前記原係数の符号に等しくなるように設定し、
    前記シフト値未満の絶対値を有する各前記原係数に対して、各前記符号ファクタに対応する前記原係数に埋め込まれるべきビット値に基づいて各前記符号ファクタを+1又は−1のいずれかに設定すること、
    各前記原係数に対して、マーク付け係数を設定することであって、前記マーク付け係数は前記原係数と前記原係数に対応する前記符号ファクタとに対応し、前記マーク付け係数は前記原係数にa)前記原係数に対応する前記符号ファクタとb)前記シフト値との積を加えた値に等しくなるように設定される、マーク付け係数を設定すること、
    を備える動作を前記ソフトウェア・プログラムが前記装置に実行させる装置。
  15. ソフトウェア・プログラムを含む記憶媒体であって、前記ソフトウェア・プログラムの命令でプロセッサを含む装置に、
    原画素を定義域とする画像に対して整数ウエーブレット変換(IWT)を行い原IWT係数の行列を得ること、
    データの埋め込み用の複数の前記原IWT係数を選択すること、
    正の値を有するシフト値を前記複数の原係数に対して設定すること、
    前記複数の原係数各々に対応する複数の符号ファクタを設定することであって
    前記シフト値以上の絶対値を有する各前記原係数に対して、前記符号ファクタの符号を前記原係数の符号に等しくなるように設定し、
    前記シフト値未満の絶対値を有する各前記原係数に対して、各前記符号ファクタに対応する前記原係数に埋め込まれるべきビット値に基づいて各前記符号ファクタを+1又は−1のいずれかに設定すること、
    各前記原係数に対して、マーク付け係数を設定することであって、前記マーク付け係数は前記原係数と前記原係数に対応する前記符号ファクタとに対応し、前記マーク付け係数は前記原係数にa)前記原係数に対応する前記符号ファクタとb)前記シフト値との積を加えた値に等しくなるように設定される、マーク付け係数を設定すること、
    を含む動作を実行させるように動作可能なソフトウェア・プログラムを含む記憶媒体。
  16. マーク付けされた画素を定義域とする画像に対して整数ウエーブレット変換(IWT)を行いウエーブレット係数の行列を得ること、
    埋め込まれた情報を含む前記行列から複数の前記係数を選択すること、
    画像をマーク付けするために利用され、正の値を有するシフト値を前記複数の係数に対 して設定すること、
    各前記選択された係数に対して、前記係数に埋め込まれたデータ・ビットを抽出することであって、
    前記係数の符号ファクタを判定し、
    各前記選択された係数に対して、前記係数から前記シフト値と前記判定された符合との積を引いた値の絶対値が、前記シフト値の大きさよりも小さい場合、前記判定された符号ファクタが+1又は−1であることに基づいてビット値を判定すること、
    を含む、データ・ビットを抽出すること、
    を備える方法。
  17. 前記選択された複数の係数はIWT係数の前記行列の少なくとも一つの周波数部分帯内にある係数を含む、請求項16に記載の方法。
  18. 前記選択された複数の係数はHL部分帯、LH部分帯、及びHH部分帯からなるグループから選択される少なくとも一つの周波数部分帯内に位置する係数を含む、請求項16に記載の方法。
  19. 前記選択された複数の係数は、
    乱数発生装置の出力により示される係数を含み、前記乱数発生装置は符号化装置に利用されるシードを採用してデータを埋め込むための前記選択された複数の係数を識別する、請求項16に記載の方法。
  20. 前記抽出は、
    各前記選択された係数に対して、前記係数の前記符号ファクタが正及び負の一方である場合、「1」のビット値を抽出すること、
    前記係数の符号ファクタが正及び負の他方である場合、「0」のビット値を抽出すること、
    の少なくとも一つを備える、請求項16に記載の方法。
  21. 前記抽出することは、
    各前記選択された係数に対して、前記係数から前記シフト値と前記判定された符合との積を引いた値の絶対値が、前記シフト値の大きさ以上の場合、前記データ・ビットから排除されるべき擬ビットを抽出すること、
    を備える、請求項16に記載の方法。
  22. 各前記選択された係数に対して、前記係数にデータを埋め込む前に存在した係数値を復元し、前記埋め込みの前の前記画像の状態を復元すること、
    を更に備える、請求項16に記載の方法。
  23. 前記画像の初期ヒストグラムは前記埋め込みの前に狭められ、且つ記帳データは前記狭めることを記述して保存され、方法は更に、
    前記保存された記帳データを利用して前記画像の前記初期ヒストグラムを復元すること、
    を備える、請求項22に記載の方法。
  24. ウエーブレット係数の前記行列から前記記帳データを抽出すること、
    を更に備える、請求項23に記載の方法。
  25. ソフトウェア・プログラムの命令で動作するプロセッサを含む装置であって、
    マーク付け画像を定義域とする画像に対して整数ウエーブレット変換(IWT)を行いウエーブレット係数の行列を得ること、
    埋め込み情報を含む前記行列から複数の前記係数を選択すること、
    画像をマーク付けするために利用され、正の値を有するシフト値を前記複数の係数に対して設定すること、
    各前記選択された係数に対して、前記係数に埋め込まれたデータ・ビットを抽出することであって、
    前記係数の符号ファクタを判定し、
    各前記選択された係数に対して、前記係数から前記シフト値と前記判定された符合と の積を引いた値の絶対値が、前記シフト値の大きさよりも小さい場合、前記判定された符号ファクタが+1又は−1であることに基づいてビット値を判定すること、
    を含む、データ・ビットを抽出すること、
    を備える動作を前記ソフトウェア・プログラムが前記装置に実行させる装置。
  26. ソフトウェア・プログラムを含む記憶媒体であって、前記ソフトウェア・プログラムの命令でプロセッサを含む装置に、
    マーク付け画素を定義域とする画像に対して整数ウエーブレット変換(IWT)を行いウエーブレット係数の行列を得ること、
    埋め込み情報を含む前記行列から複数の前記係数を選択すること、
    画像をマーク付けするために利用され、正の値を有するシフト値を前記複数の係数に対して設定すること、
    各前記選択された係数に対して、前記係数に埋め込まれたデータ・ビットを抽出することであって、
    前記係数の符号ファクタを判定し、
    各前記選択された係数に対して、前記係数から前記シフト値と前記判定された符合との積を引いた値の絶対値が、前記シフト値の大きさよりも小さい場合、前記判定された符号ファクタが+1又は−1であることに基づいてビット値を判定すること、
    を含む、データ・ビットを抽出すること、
    を備える動作を実行させるように動作可能なソフトウェア・プログラムを備える記憶媒体。
JP2007504976A 2004-03-26 2005-02-28 整数ウエーブレット拡散スペクトラムに基づく可逆データ隠蔽のためのシステム及び方法 Active JP4199293B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US55692404P 2004-03-26 2004-03-26
PCT/US2005/006604 WO2005104011A1 (en) 2004-03-26 2005-02-28 System and method for reversible data hiding based on integer wavelet spread spectrum

Publications (2)

Publication Number Publication Date
JP2007531395A JP2007531395A (ja) 2007-11-01
JP4199293B2 true JP4199293B2 (ja) 2008-12-17

Family

ID=35197195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007504976A Active JP4199293B2 (ja) 2004-03-26 2005-02-28 整数ウエーブレット拡散スペクトラムに基づく可逆データ隠蔽のためのシステム及び方法

Country Status (6)

Country Link
US (1) US7706566B2 (ja)
EP (1) EP1776655B1 (ja)
JP (1) JP4199293B2 (ja)
KR (1) KR101003813B1 (ja)
CN (1) CN101006450B (ja)
WO (1) WO2005104011A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101006450B (zh) * 2004-03-26 2010-10-13 新泽西理工学院 基于整数小波扩展频谱的可逆数据隐藏和提取方法
KR100898329B1 (ko) * 2007-10-05 2009-05-20 한국과학기술원 정수 웨이블릿 변환에 기초한 워터 마크 삽입 방법
CA2701055C (en) * 2007-10-19 2016-10-04 Memory Experts International Inc. Method of providing assured transactions using secure transaction appliance and watermark verification
US8565472B2 (en) * 2007-10-30 2013-10-22 General Instrument Corporation Method, device and system for dynamically embedding watermark information into multimedia content
US20090110059A1 (en) * 2007-10-31 2009-04-30 General Instrument Corporation Method and system for transmitting end-user access information for multimedia content
US8270665B2 (en) * 2008-02-01 2012-09-18 New Jersey Institute Of Technology System and method for reversible binary image data hiding using run-length histogram modification and logical operations
FR2982447A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR2982446A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US9313498B2 (en) 2012-04-16 2016-04-12 Qualcomm Incorporated Sign hiding techniques for quantized transform coefficients in video coding
GB2528865A (en) * 2014-07-31 2016-02-10 Innovation Ulster Ltd Digital image watermarking system and method
US11288763B1 (en) * 2019-06-21 2022-03-29 Gopro, Inc. Systems and methods for visually encoding information into a pixel-based image
KR102446029B1 (ko) * 2020-08-04 2022-09-23 주식회사 위버스컴퍼니 응원봉 제어를 위한 데이터 전송 방법 및 그 장치
KR102446031B1 (ko) * 2020-08-07 2022-09-23 주식회사 위버스컴퍼니 응원봉 제어를 위한 데이터 전송 방법 및 그 장치

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549666B1 (en) * 1994-09-21 2003-04-15 Ricoh Company, Ltd Reversible embedded wavelet system implementation
US5646997A (en) 1994-12-14 1997-07-08 Barton; James M. Method and apparatus for embedding authentication information within digital data
AU6863998A (en) * 1997-03-11 1998-09-29 Computer Information And Sciences, Inc. System and method for image compression and decompression
US6275619B1 (en) * 1997-08-29 2001-08-14 Teralogic, Inc. System and method for performing wavelet and inverse wavelet transformations of digital data using semi-orthogonal wavelets
JPH11196262A (ja) * 1997-11-07 1999-07-21 Matsushita Electric Ind Co Ltd デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した媒体
US6801665B1 (en) * 1998-09-15 2004-10-05 University Of Maryland Method and apparatus for compressing and decompressing images
US6891973B1 (en) * 1998-03-20 2005-05-10 Mitsubishi Electronic Corporation Lossy/lossless region-of-interest image coding
US6278791B1 (en) 1998-05-07 2001-08-21 Eastman Kodak Company Lossless recovery of an original image containing embedded data
JP4026933B2 (ja) * 1998-06-24 2007-12-26 キヤノン株式会社 情報処理装置及び方法並びに記録媒体
KR100294890B1 (ko) * 1998-07-01 2001-07-12 윤종용 워터마킹을 사용한 디지털 영상 코딩 장치와 디코딩 장치 및 그 방법
EP1043687B1 (en) 1999-04-09 2006-11-22 Canon Kabushiki Kaisha Method for inserting a watermark and associated decoding method
US6654479B1 (en) * 1999-08-19 2003-11-25 Academia Sinica Cocktail watermarking on images
EP1118961B1 (en) * 1999-11-25 2007-08-29 Matsushita Electric Industrial Co., Ltd. Apparatus and method for embedding information for tamper detection
US6476805B1 (en) * 1999-12-23 2002-11-05 Microsoft Corporation Techniques for spatial displacement estimation and multi-resolution operations on light fields
US6385329B1 (en) 2000-02-14 2002-05-07 Digimarc Corporation Wavelet domain watermarks
KR100344900B1 (ko) * 2000-05-15 2002-07-20 주식회사 이시티 영상 압축/복원 장치 및 그 방법
JP3659321B2 (ja) 2000-06-29 2005-06-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 電子透かし方法およびそのシステム
EP1220152A3 (en) * 2000-12-07 2004-11-24 Sony United Kingdom Limited Embedding data in material
GB2369950B (en) * 2000-12-07 2005-03-16 Sony Uk Ltd Image processing apparatus
JP3891328B2 (ja) 2001-02-14 2007-03-14 株式会社リコー データ処理装置およびデータ処理方法
GB2379114A (en) 2001-08-21 2003-02-26 Sony Uk Ltd Introducing test signals into a data signal
JP3768424B2 (ja) 2001-10-05 2006-04-19 沖電気工業株式会社 画像処理装置及び画像処理方法
US6799463B2 (en) * 2001-11-02 2004-10-05 The Boeing Company Method and system for automated fatigue and structural analysis of an element
KR100426305B1 (ko) 2001-11-27 2004-04-08 한국전자통신연구원 웨이블릿 기반에서 블라인드 방식을 이용한 디지털워터마크 삽입/추출장치 및 방법
US7561714B2 (en) * 2001-12-13 2009-07-14 Digimarc Corporation Reversible watermarking
CN1141639C (zh) * 2002-05-09 2004-03-10 宣国荣 基于整数小波的无损图象数字水印方法
GB0228281D0 (en) * 2002-12-04 2003-01-08 Imec Inter Uni Micro Electr Coding of motion vectors produced by wavelet-domain motion estimation
US7356158B2 (en) * 2002-12-17 2008-04-08 New Jersey Institute Of Technology Methods and apparatus for lossless data hiding
KR100506661B1 (ko) * 2003-10-02 2005-08-10 한국전자통신연구원 웨이블릿 최저주파수 대역에서의 디지털 워터마크 삽입 및추출 방법
KR100576802B1 (ko) * 2003-10-29 2006-05-10 한국전자통신연구원 인간시각시스템 모델과 웨이블릿 변환을 이용한 블라인드방식의 워터마크 삽입 및 추출 방법
KR100987748B1 (ko) * 2003-12-05 2010-10-18 뉴저지 인스티튜트 오브 테크놀로지 정수 웨이블릿 표현으로부터 손실 없는 강건한 데이터 숨김및 복구를 수행하는 방법
CN101006450B (zh) * 2004-03-26 2010-10-13 新泽西理工学院 基于整数小波扩展频谱的可逆数据隐藏和提取方法
US7545988B2 (en) * 2004-08-09 2009-06-09 George William Meeker Image blocking artifact reduction via transform pair
US20060120558A1 (en) * 2004-10-20 2006-06-08 Yun-Qing Shi System and method for lossless data hiding using the integer wavelet transform

Also Published As

Publication number Publication date
CN101006450A (zh) 2007-07-25
CN101006450B (zh) 2010-10-13
KR101003813B1 (ko) 2010-12-28
KR20070004053A (ko) 2007-01-05
EP1776655B1 (en) 2019-03-20
US20050244032A1 (en) 2005-11-03
EP1776655A4 (en) 2009-11-04
WO2005104011A1 (en) 2005-11-03
JP2007531395A (ja) 2007-11-01
US7706566B2 (en) 2010-04-27
EP1776655A1 (en) 2007-04-25

Similar Documents

Publication Publication Date Title
JP4199293B2 (ja) 整数ウエーブレット拡散スペクトラムに基づく可逆データ隠蔽のためのシステム及び方法
Shieh et al. A semi-blind digital watermarking scheme based on singular value decomposition
Yang et al. A contrast-sensitive reversible visible image watermarking technique
Xuan et al. Reversible data hiding using integer wavelet transform and companding technique
Shi et al. Lossless data hiding: Fundamentals, algorithms, and applications
US20060120558A1 (en) System and method for lossless data hiding using the integer wavelet transform
Abdelwahab et al. A discrete wavelet transform based technique for image data hiding
US7599518B2 (en) Reversible watermarking using expansion, rate control and iterative embedding
Deng et al. A novel technique for robust image watermarking in the DCT domain
Xuan et al. Lossless data hiding using integer wavelet transform and threshold embedding technique
Navas et al. EPR hiding in medical images for telemedicine
WO2006017848A1 (en) Robust hidden data extraction method for scaling attacks
KR100878518B1 (ko) 워터마크 삽입방법, 전송방법, 복원방법 및 그 장치
JP4250186B2 (ja) 整数ウェーブレット表現からの頑強な無損失データ隠蔽および復元のためのシステムおよび方法
Awrangjeb et al. Lossless watermarking considering the human visual system
Kumar et al. Wavelet based imperceptible medical image watermarking using spread-spectrum
Tseng et al. Reversible data hiding based on image histogram modification
Xu et al. JPEG compression immune steganography using wavelet transform
Al-Jaber et al. Reversible watermarking using modified difference expansion
Di et al. A robust and removable watermarking scheme using singular value decomposition
Chang et al. Spatial domain image hiding scheme using pixel-values differencing
Senthil et al. Digital image watermarking using edge detection and wavelets with robustness analysis against jpeg compression attacks
Verma et al. Wavelet based robust video watermarking using spread spectrum technique
Tehrani et al. An enhanced SVD based watermarking using U matrix
Mohamed et al. Fast digital watermarking techniques for still images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080916

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081002

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4199293

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250