JP4785317B2 - レンダリングコマンドとしてのトランスマーキング透かし埋め込み機能およびマルチメディア信号の特徴に基づく透かし埋め込み処理 - Google Patents

レンダリングコマンドとしてのトランスマーキング透かし埋め込み機能およびマルチメディア信号の特徴に基づく透かし埋め込み処理 Download PDF

Info

Publication number
JP4785317B2
JP4785317B2 JP2001570009A JP2001570009A JP4785317B2 JP 4785317 B2 JP4785317 B2 JP 4785317B2 JP 2001570009 A JP2001570009 A JP 2001570009A JP 2001570009 A JP2001570009 A JP 2001570009A JP 4785317 B2 JP4785317 B2 JP 4785317B2
Authority
JP
Japan
Prior art keywords
watermark
signal
digital watermark
embedding
perceptual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001570009A
Other languages
English (en)
Other versions
JP2003528538A (ja
JP2003528538A5 (ja
Inventor
ケニース, エル. レヴィー,
ステファン, ケー. デッカー,
Original Assignee
ディジマーク コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/563,664 external-priority patent/US6505160B1/en
Application filed by ディジマーク コーポレイション filed Critical ディジマーク コーポレイション
Publication of JP2003528538A publication Critical patent/JP2003528538A/ja
Publication of JP2003528538A5 publication Critical patent/JP2003528538A5/ja
Application granted granted Critical
Publication of JP4785317B2 publication Critical patent/JP4785317B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0064Geometric transfor invariant watermarking, e.g. affine transform invariant
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0028Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • H04N1/32229Spatial or amplitude domain methods with selective or adaptive application of the additional information, e.g. in selected regions of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32288Multiple embedding, e.g. cocktail embedding, or redundant embedding, e.g. repeating the additional information at a plurality of locations in the image
    • H04N1/32299Multiple embedding, e.g. cocktail embedding, or redundant embedding, e.g. repeating the additional information at a plurality of locations in the image using more than one embedding method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes

Description

【0001】
(関連出願データ)
本特許出願は、引用によってここに組み入れられており、Ken Levyによって2000年3月18日に出願された「Embedded Data and Data Scrambling Improvements(埋め込みデータとデータスクランブルの改善)」と題する米国仮特許出願第60/190,481号の恩恵を求めるものである。本特許出願はまた、引用によってここに組み入れられており、Ken Levy等によって2000年12月21日に出願された「Watermark Systems and Methods(透かしシステムおよび方法)」と題する米国仮特許出願第60/257,822号の恩恵を求めるものである。
【0002】
本特許出願はまた、引用によってここに組み入れられており、Ken LevyとGeoff Rhoadsとによって2000年5月2日に出願された「Connected Audio and Other Media Objects(接続されたオーディオとその他のメディアオブジェクト)」と題する米国特許出願第09/563,664号の一部継続出願である。
【0003】
本特許出願は、引用によってここに組み入れられており、SederとCarrとPerryとGrahamとRhoadsとによって2000年8月1日に出願された「Management of Document and Other Objects Using Optical devices(光学装置を使用した、文書とその他のオブジェクトの管理)」と題する米国特許出願第09/629,401号に関するものである。
【0004】
本特許出願はまた、引用によってここに組み入れられており、McKinleyとHeinとによって2000年11月2日に出願された「Batch Identifier Registration and Embedding in Media Signals(メディア信号におけるバッチ識別子の登録と埋め込み)」と題する米国特許出願第09/706,505号に関するものである。
【0005】
本特許出願は、引用によってここに組み入れられており、Ken Levyによってそれぞれ1998年9月25日と1998年12月2日とに出願された米国仮特許出願第60/101,851号と米国仮特許出願第60/110,683号との恩恵を求める、1999年9月23日にKen Levyによって出願され、AIPLに譲渡された米国特許出願第09/404,292号に関するものである。
【0006】
【発明の属する技術分野】
本発明は、マルチメディア信号処理に関し、また特にステガノグラフィーとディジタル透かし処理とデータ秘匿とに関する。
【0007】
【発明の背景】
ディジタル透かし処理は、物理媒体または電子媒体を修正して機械で読み取り可能なコードをこの媒体に埋め込む処理である。この媒体は、埋め込まれたコードがユーザには知覚できないか、ほとんど知覚できないのに、自動化された検出処理を介しては検出できるように修正可能である。最も一般的にはディジタル透かしは、画像、オーディオ信号、ビデオ信号といったメディア信号に加えられる。しかしながらこれは、文書(例えば行、語あるいは文字シフトを介して)、ソフトウエア、多次元図形モデル、オブジェクトの表面テクスチャーなどを含む他のタイプのメディアオブジェクトに適用されることもある。
【0008】
ディジタル透かし処理システムは、典型的には二つのコンポーネント、すなわちホストメディア信号に透かしを埋め込む符号器と、透かしを含んでいると疑われる信号(容疑信号)から埋め込まれた透かしを検出して読み取る復号器とを持っている。符号器は、ホストメディア信号を改変することによって透かしを埋め込む。読み取りコンポーネントは、透かしが存在するかどうかを検出するために容疑信号を分析する。透かしが情報を符号化するアプリケーションでは、読取り器は、検出された透かしからこの情報を抽出する。
【0009】
数種の特殊な透かし処理手法が開発されてきており、強健な透かしに関しては目標は、変換を切り抜ける知覚できない透かしを設計することである。しかしながらこれは、必ずしも達成できていない。読者は、この分野の文献に精通しているものと想定されている。メディア信号に知覚できない透かしを埋め込み、また検出するための特定の手法は、引用によってここに組み入れられている譲受人の同時係属中の出願番号第09/503,881号と米国特許第5,862、260号とに詳述されている。特にグラフィックアートと中間調画像とに適応した透かし処理技術は、引用によってここに組み入れられている「Methods and Systems for Watermark Processing of Line Art Images(線画画像の透かし処理に関する方法とシステム)」と題する米国特許出願第09/074,034号と「Halftone Watermarking and Related Applications(中間調透かし処理および関連アプリケーション)」と題する第09/689,226号と「Halftone Primitive Watermarking and Related Applications(中間調プリミティブ透かし処理および関連アプリケーション)」と題する第60/263,987号とに開示されている。
【0010】
透かし処理のアプリケーションおよび関連文献では、ディジタル透かしは、強健なものと脆弱なものと半脆弱なものとに分類されている。強健な透かしは、透かし入り信号を歪ませてその透かしを信頼度良く検出して読み取ることをより困難にする、透かし入り信号の典型的なそして不当でさえある処理を切り抜けるように設計されている透かしを指す。脆弱な透かしは、その透かしが印刷、複製、走査、圧縮などのようなある幾つかの形式の処理に応じて劣化する透かしを指す。脆弱な透かしは一般に、信号の改ざんを検出するために認証アプリケーションで使用される。半脆弱な透かしは、脆弱透かしと強健透かしの考えを組み合わせたものである。これらのタイプの透かしは、圧縮のようなある幾つかのタイプの処理を生き残り、更に信号のトリミングや交換のような改ざんを検出するように設計されている。脆弱透かしと半脆弱透かしは、脆弱な透かしの劣化が検出されたときに、ある一定の措置を誘発するか、あるいはその透かし入りのコンテンツの使用を抑制するために使用できる。
【0011】
オーディオ、静止画、ビデオといったメディア信号にディジタル透かしを入れる際には、多数のチャレンジとトレードオフとが存在する。一つのチャレンジは、透かしがそのアプリケーションで想定される特定のセットの攻撃に対して十分に強健であるが、そのアプリケーションにとって十分に知覚不能であるように透かしを埋め込むことである。一部のアプリケーションでは、メディアオブジェクトが配付される前でもそのメディアオブジェクトが遭遇するであろう処理のタイプを完全に予測することは不可能である。例えばミュージックトラックは多数の異なるフォーマット(異なる圧縮率、異なる圧縮コード、異なる放送フォーマット等)で製作されて配付される。これらのフォーマットの各々は透かしを種々に劣化させ、あるいは歪ませる。更にミュージックトラックは、ハイファイ(高忠実度)オーディオ装置や低品質装置を使ってレンダリングされ、異なる知覚品質制約を生じさせる。特に低品質のレンダリングは、透かしに対する知覚性制約がより厳しくないので、透かしをより強健に埋め込むことができる。同じことは、映画、テレビ番組、広告等のようなビデオ信号についても真実である。
【0012】
静止画の場合、画像は、最終的に印刷またはレンダリングされる前に圧縮、カラー変換、中間調化等といった変換を受ける可能性がある。例えば広告、包装材、パンフレット等に使われるグラフィックアートを考えてみる。このようなアート画像は、最終的な画像を形成するために組み合わされるラスター画像の集まりを含んでいる。特定の設計プロジェクトに関してはグラフィックアーティストは、一般に種々のフォーマットの成分画像の集まりを含む、顧客のための一片のグラフィックアートを作成する。これらの画像の幾つかは、線画、ベクトル図形、画素ごとのカラーの中間調またはカラーのマルチレベルピクセル画像(RGB、CMYKあるいはYUVのようなカラーフォーマットの)である可能性がある。この画像製品全体は、成分画像の組立てと印刷処理とを制御するレンダリング機能をカプセル化した作業票に記述される。
【0013】
顧客は、追跡目的のための顧客識別子の挿入、顧客のウェブサイトへの画像のリンク等といった種々のアプリケーションのために最終的画像製品に透かしを適用したいと考えている可能性がある。潜在的に相互関係のある二つの主要な問題が在る。一つの問題は、コンテンツの流れと、透かしの流れを付加するタイミングとによって発生する。もう一つの問題は、ベクトル図形に透かしを付加することによって発生する。透かしメッセージペイロードと埋め込みパラメータとが定義される段階は、必ずしもホスト信号に透かしを埋め込む適当な段階ではない可能性がある。グラフィックアートに透かしのメッセージペイロードを埋め込むための一つの場所は、ラスターインタフェース処理(RIP)段階にある。この段階では成分画像は、組み立てられてプリンタに適合する特定の中間調画像フォーマットに変換される。この中間調画像フォーマットは、対応する画素位置にインクが存在するか否かを指定する画素の一つ以上のカラー平面を含んでいる。RIP段階は通常、プリプレス事業所あるいは印刷業者で発生し、カラーに対する最も厳しい眼を持った人を必要とする。更に定義によりこの段階は、結果的に完全なラスター画像をもたらす。透かしは、ベクトル図形(または線画)に関して定義できるが、通常の最新の装置で印刷されるときに最終的にラスター画像に埋め込まれる。顧客は通常、恐らくは画像を校正する場合を除いてプリプレス事業所または印刷業者と対話することはない。更にこれらの場所は、厳しい時間とコストの制約下にあり、非効率的でコスト高の顧客との対話を扱うことを望まない。最後に、多くのグラフィックアートピースは、ラスター部分を殆ど、あるいは全く含まない。したがってこのアートがRIP段階でラスター化される前に透かしを追加することはできない。印刷のためにラスター化に先立って透かしを入れることの困難さにもかかわらず、表示画面または卓上型プリンタで透かし入りの最終画像製品を下見することは、しばしば必要であり、これは下見のために如何にして透かしを埋め込むかという問題を提起する。
【0014】
もしグラフィックアーティストがプリプレス事業所または印刷業者の前に透かしを付加しなくてはならない場合には、グラフィックアーティストは画像をラスター化しなくてはならない。これは、二つの問題を引き起こす。第一に、グラフィックアーティストは、今や膨大な数のビット(すなわちサイズ)からなるファイルを届けなくてはならない。第二にグラフィックアーティストは、高品質画像を作成するために必要とされるカラーマネージメントを取り扱う最善の人というわけではない。
【0015】
困難は、顧客が既にグラフィックアーティストと一緒に作業しており、透かしのコンテンツを確定することを望んでいるのに、透かしは最終的にプリプレス事業所または印刷業者でラスター化された画像に埋め込まれるということである。コンテンツに透かしを埋め込むための最適の段階とは異なる段階で透かしペイロードが指定されるという同様の問題は、オーディオやビデオのような他のメディアタイプにも存在している。
【0016】
もし画像ファイルがベクトル図形であれば、上述のように印刷のためにレンダリングされるか、ウェブ上でのように電子的に配付されるかにかかわらず、所有者といった参加者はベクトル図形に透かしを入れることを望む可能性がある。参加者は、ウェブブラウザまたはプリンタ内で可能なコンピュータ画面上といったところでベクトルファイルがレンダリングされるときは何時でもレンダリングされる画像にその透かしが埋め込まれることを希望する。これは、印刷画面機能で作成されたコピーといった違法コピーの識別を可能にする。
【0017】
【課題を解決するための手段】
透かし埋め込みコマンドの使用によるメディアオブジェクトへの透かし埋め込みを制御する方法は、以下に説明される。メディアオブジェクトを作成する過程で、本方法は、メディアオブジェクトをどの様にレンダリングすべきかを指定する二つ以上のレンダリングコマンドのセットの間に透かし埋め込みコマンドを含んでいる。例えば画像用のPCL、PDFまたはポストスクリプト、オーディオ信号用のMIDIと構造化されたオーディオ、オーディオビデオ信号用のMPEG−4、MPEG−7といったある幾つかの信号フォーマットは、ある特定のメディア信号がどの様にレンダリングされるべきかを制御する記述子を含んでいる。透かし埋め込みコマンドは、下記の項目の組合せ:すなわち顧客または関連コンテンツ情報、顧客のウェブサイトまたは店にリンクするために使われる識別子、透かしを埋め込む強度、埋め込まない領域、バッチ処理オプション、画像に関する印刷の好み、異なるメディアタイプ、フォーマット、あるいはメディアオブジェクトの異なる部分で使用すべき透かし埋め込み方法、および所望のレンダリング品質といった項目の組合せを含んでいる。
【0018】
透かし埋め込みコマンドは、顧客または作成者が透かしメッセージペイロードと埋め込みパラメータと好みとを指定することを可能にし、またレンダリング装置が特定のレンダリング処理に適するように透かしを埋め込むことを可能にする。グラフィックアートの場合、顧客は、表示のために画像をラスター化し、コマンドに応じて透かしを埋め込み、透かし入り画像をレンダリングするグラフィックアーティストのモニター上または低価格プリンタ上で透かし入りのコンテンツを下見することができる。更にプリプレス事業所または印刷業者は、顧客と対話することなしに透かしを付加して修正でき、それによって時間と費用とを節約できる。
【0019】
一般に透かし埋め込みコマンドは、埋め込むべきメッセージペイロードとルールまたはこれらのビットを埋め込む方法へのリンクとを含んでいる。したがって透かし機能は、表示画面、校正刷り、または最終印刷版の上といったところでグラフィックアートがレンダリングされるときに所望の埋め込み方法にしたがって実現される。
【0020】
この方法は、オーディオまたはミュージックトラック、ビデオ列等を含む他のタイプのメディアオブジェクトに拡張される。
【0021】
透かし埋め込みコマンドの利点は、下記のこと:すなわちベクトル図形、MIDI、構造化されたMPEGオーディオビデオといったレンダリング記述コンテンツに透かしが埋め込み可能であることを含んでいる。更に透かしは、透かしとコンテンツがレンダリングされる時と場所とは別の時と場所で埋め込むことができる。これは、異なる責任と熟練度とを有するコンテンツ所有者と制作者との間の適当な対話を可能にすることによって費用を削減する。
【0022】
本発明は更に、メディア信号をトランスマーキングするための方法と関連システムと装置とソフトウエアとを提供する。トランスマーキングは、メディア信号に埋め込まれた補助データを一つのディジタル透かしフォーマットから他のフォーマットに変換することに関している。これは、透かしがその新しい環境のために強健度特性または知覚性特性を改善するように、埋め込まれた透かしの特性を変更するために圧縮、放送、編集、レンダリング等といったメディア信号を変換する処理で使用される。ある幾つかの場合には、トランスマーキングは、帯域外データファイル、メディアファイルのヘッダーまたはフッターあるいはこのメディアファイルを備えた他のメタデータが透かしにトランスマーキングされる場合、または透かしから引き出される場合に拡張できる。こうしてこれらの透かしは、すべての変換に対して強健であると思われる。
【0023】
本発明の一つの態様は、第1のディジタル透かし埋め込み方法を使って第1のディジタル透かしを予め埋め込まれたメディア信号をトランスマーキングする方法である。このトランスマーキングする方法は、メディア信号内の第1のディジタル透かしを検出する。それからこの方法は、メディア信号が変換処理を受ける前にメディア信号内の第2のディジタル透かしに第1のディジタル透かしからのメッセージ情報を埋め込む。この第2のディジタル透かしは、この変換処理を切り抜けるように適応している。
【0024】
本発明のもう一つの態様は、メディア信号をトランスマーキングする他の方法である。この方法は、メディア信号内の第1のディジタル透かしを検出し、メディア信号を異なるフォーマットに変換し、そして変換されたメディア信号内の第2のディジタル透かしに第1のディジタル透かしからのメッセージ情報を埋め込む。この第2のディジタル透かしは、この新しいフォーマットに関連する強健度パラメータまたは知覚性パラメータに適応している。
【0025】
下記の詳細な説明と付属図面とを参照することにより、更なる特徴が明らかになるであろう。
【0026】
【発明の実施の形態】
特徴に基づく透かし
Weinerフィルタリングあるいはスペクトル減算といった雑音低減手法を使用すると、読者は埋め込まれた透かしを雑音として取得できる。この雑音は、すべての透かし層の総計を表す。この雑音は再拡大縮小されて、他の画像が元の画像の風を装うように他の画像内に埋め込むことができる。
【0027】
しかしながら、画像の導関数のピークといった最大N個(恐らく5個)の特徴の周りの局所的アレイからなる他の雑音層を埋め込むと、この攻撃を停止させることができる。この考えは、引用によってここに含まれている、PowellとNitzbergとによって発明されてDigimareに譲渡された米国特許通番第5,809,160号と第5,930,377号とに類似している。ピークを使うとき、これらのピークはピークの周りに、ある一定の平均勾配を持つべきである。代替として読者は、エッジはこのピークに相関しており、またエッジはデータの秘匿に好適な場所であるから画像の導関数のピークを使うことができるであろう。
【0028】
この目的のために、このコピー攻撃で行われるように、すべての雑音層が一つのグループ化された雑音として一つの画像から他の画像へ移されるとき、最もありそうな新しい特徴は古い特徴と整合しないであろう。予想されるように、使われる特徴が多ければ多いほど、新旧の画像間でこれらの特徴は、より整合しそうでなくなる。こうして復号器は、その画像が偽物であることを知る。更にピークまたは導関数のピークといった特徴は、大抵の変換に対して強健である。最後に、これらの特徴は画像内で発生するので、画像固有の透かしが何処で発生するかを決定するためにグローバルデータベースは必要でない。
【0029】
画像が改ざんされたか、あるいはその画像がピーク雑音層が付加される前に作られた古い画像であるかを復号器がどの様にして知るかを意味する後向き互換性には問題があるかも知れない。以下に述べる三つの提案が在る。第1の提案は、異なるグループのグローバルPN列は古いバージョンよりもこの新しいバージョンで使用できるであろうということである。第2の提案は、このバージョンを定義する雑音層を付加することである。第3は、埋め込まれたデータの拡大縮小と回転とを決定するために使用されるグリッドに異なる間隔または位置を使用するとである。
【0030】
更に、大きな画像の透かし入り領域を見出そうとするとき、特徴に基づく透かし処理が有利である。良く知られたように、小さな領域を求めて画像全体を探索することは、時間のかかることである。
【0031】
図1a、1bに示すように、この処理は導関数のピークといったピクチャの特徴を使って、ピクチャのコーナーの位置と拡大縮小とに関する情報を与える、局所的PN列といった空間限定データ埋め込むことである。更に、埋め込みのためのP×Qピクセル領域(例えばPとQは同じで2の倍数であることが好ましい)といった透かしのブロック構造全体は、この特徴の周りに根拠を置くことができるであろう。このようにして、特徴に基づく透かしとメッセージを担持する埋め込みデータは、オーバーラップしない。導関数のピークを使用することは、目がエッジに近い雑音を知覚しないので理想的であり、拡大縮小と走査とに対して強健である。これは、画像の残りの部分では特徴の僅かな出現しか存在しないので復号処理で効率的に見つけられる。最後に、特徴が埋め込み領域のエッジに存在しない場合に、これは有利である。もし特徴がエッジ付近に存在すれば一部の埋め込みデータ、すなわちPN列は失われるであろう。
【0032】
この埋め込まれた局所的特徴のPN列は本来的に、この特徴がその存在によってピクチャの一部であることを復号器に知らせるであろう。この局所的特徴PN列はまた、これが一旦見つけられると拡大縮小係数が決定できるようにグリッド層を含むべきである。グリッド層の代わりに透かし復号器は、本書で論議される拡大縮小と回転とを補償する自動相関および交差相関拡大縮小方法を使用することができるであろう。この局所的特徴PN列はまた、ピクチャの左下(または他のコーナー)が何処に位置するかを与える二、三の層を含むべきである。例えば二つの層は、特徴がどの象限に位置するかを復号器に知らせることができるであろう。拡大縮小情報と象限情報とによって、メッセージを担持するグローバルPN列を見つけることは、より容易でより高速になるであろう。
【0033】
拡大縮小
この方法は、下記の二つの実施の形態によって示される。第1の実施の形態では画像の拡大縮小と回転とを決定するために、画像と自己類似雑音層との自動相関が使われる。
【0034】
図2は、2D画像に関してだけ、時間的拡大縮小と回転とを決定するために画像内に、あるいは逐次的にオーディオ内に埋め込むことのできる自己類似雑音アレイ層を示す。PN変数は、例えば雑音の10×10アレイであって各PN列は同じである。0変数は、例えばゼロの10×10アレイである。より見えにくい、大きなPN0アレイのサイズと自動相関の計算との間にはトレードオフが存在する。例えば10×10アレイを使用するときには自動相関は、0.5から2X個の変化を捕捉するために1画素当たり20個の乗算、加算命令を含む必要があるだけである。
【0035】
第2の実施の形態は、元のPN雑音層と予めPN雑音層を加えて修正された画像とを交差相関させることによって画像変換を推定することを含んでいる。画像が回転または拡大縮小によるいったように線形に変換されていることと、PN雑音層が白色雑音であることと、PN雑音層が画像に直交していることとを仮定すると、この交差相関の結果は変換のインパルス関数となる。このインパルス関数は、透かしの再生を改善するために使用できる。最後に、スペクトル推定からの考えは、これらの仮定が通常は部分的にだけ真であるから、推定の精度を向上させるために適用できる。
【0036】
遷移
オーディオアプリケーションでは、補助情報のビット0の埋め込みとビット1の埋め込みとの間の遷移は、PN列の位相を即座に変更することによって、すなわち−1および1を乗算することからの切換えによって、またその逆によって行われる。例えば整形された雑音の100msを信号から減算することによって補助ビット0を表した後に、補助ビット1は、100ms以上の時間中、整形された雑音を次の信号サンプルに加算すること等々により表される。これは、ビデオアプリケーションにおいても真である。しかしながら目と耳は、変化に極めて感じやすいものである。
【0037】
したがって図3に示すように、補助情報のビット0とビット1との間の遷移は、雑音列の位相が緩やかに変化する遷移期間を持つべきである。これは埋め込まれたビットレートを低下させるであろうが、これは透かしの知覚性を減少させるはずである。遷移期間の長さは、1ミリ秒から数100ミリ秒でよいであろう。
【0038】
自動相関透かし
一般にCCDまたはCMOSベースのカメラといったディジタルカメラによる透かしの読み取りに関する問題は、これらのカメラがカラー値を得るために空間を積分することである。CCDといった各カメラ受光素子が空間を撮像し、そしてRGBまたはCMYKカラーグリッドが使用されるので、この積分が使われる。この積分は、現実世界の写真がその隣に対して相関のあるデータ点を持っているので写真の品質を劣化させない。しかしながら値が各画素ごとに変化する白色雑音に基づく透かしに関しては、白色雑音ではすべての画素が独立であるから、カメラは雑音を除去するばかりでなく、誤ったデータも生成する。現在の解は、画素のブロック単位で値が変化する雑音を使用することである。
【0039】
代替の解は、画像のコピーを取り、そのレベルを低下させ、それを元の画像から僅かにオフセットさせて配置するように決められた自動相関に基づく透かしを使用する。オフセット値またはコピーレベルのいずれも0と1とを移転させるために使用できる。例えば左上シフトは1を表すが、右下シフトは0を表す。透かしは、自動相関を計算することにより、そして埋め込まれた低レベルで且つシフトされた、画像のコピーによって与えられるピークのオフセット値を見出すことによって検索される。
【0040】
このタイプの透かしは、現実世界のデータを有するように、近隣が互いに関連していてカメラの積分を切り抜けるであろうので、積分を切り抜ける。この透かしはまた、本来的にそれが秘匿できる場所にデータを置くので目に見えないであろう。換言すれば、画像のオフセットコピーは既に画像に隠されるように準備されているのである。
【0041】
従来技術は、オーディオに使われるこのタイプのマークを示しており、また各ビットは、引用によってここに含まれている1999年8月17日にAris Technologies社に譲渡された米国特許第5,940,135号によるように、逐次的に埋め込まれる。しかしながらこの処理は、ビデオの画像に対してだけ働くことができる。したがって単一の画像に関しては画像全体が使用されれば、1画像に付き単に1ビットが容易に埋め込まれ、また検索され得るであろう。
【0042】
図4aに示すように、1画像当たり数個のブロックを使用する処理を使って、埋め込まれたデータレートを増加させることができる。ブロックサイズは、埋め込まれたビットの数と1ビットを検索するために埋め込まれた雑音の量との間のバランスである。更に、ブロックサイズが小さければ小さいほど、それだけ多くの情報がエッジパターンで失われる。最後に、画像の低レベルコピーを埋め込む際に使われるシフトは、エッジのぼけといった品質の低下が無いように、最小限にすべきである。単一のカメラピクセル要素、すなわち1個のCCDグリッドより大きなシフトを持つことが望ましいように思われる。
【0043】
最後に、画像を複数のブロックに分割するとき、検索された画像に対するこれらのブロックの方向づけが要求される。伝統的には、各ブロックをカバーする雑音グリッドが使われる。しかしながら画像の中心または同様の部分の位置を突き止めるために、幾つかのブロックでの埋め込み処理のスキップが使用できる。図4bで、Xブロックは透かしを含んでおり、Xの無いブロックは透かしを持っていない。見られるように、透かしのないブロックは、画像の中心を指しており、またこれらが非対称なので回転を決定している。
【0044】
動的メディアスクランブル
コンテンツファイルを暗号化またはスクランブルすることに関する問題は、これらのファイルが恐らく10年以上の長期間に亘ってハードディスクまたは光ディスク等に格納されるであろうということである。これは、海賊(著作権侵害者)に保護を破る十分な時間を与えることになる。銀行預金引き出しといった他の暗号化された取引きと比較されるように、海賊が取引き中にコードを破れなければ、次の取引きは新しいキーを使うので、それでは遅きに過ぎる。現在の解は、破られたキーを拒絶することである。しかしながらこれは、正当なユーザが何もしていないのに自分のコンテンツが演奏されなかったり再暗号化を必要としたり、あるいは自分の装置がファームウエアのアップグレードを必要としたりすることに気がつく可能性があることを意味する。これは、顧客を混乱させ困惑させるであろう。
【0045】
動的メディアスクランブル処理は、コンテンツがレンダリングされる度毎に新しい手法または新しいキーを使用して、あるいはなにか他の間隔、恐らく定期間隔か不定期間隔を使って、コンテンツを再暗号化または再スクランブルすることである(装置が再書込み可能であると仮定)。この手法は、顧客の目には見えない。更に、キーが破られたことに気づいたとき、システムからのそのキーの除去は、正当な顧客になんら不便を感じさせずに、時間外に行われるであろう。
【0046】
コンテンツがユーザのマシン上でレンダリングされるとき、暗号化ルーチンは現行のキーを使ってそのコンテンツを復号する。それから新しいキーが作成されて、暗号化ルーチンはユーザのマシンでの格納のためにコンテンツを暗号化する。新しいキーを生成するために暗号化ルーチンは、前のキーの一部または全部を変更する。特に、キーの一部は、プロセッサIDあるいはオペレーティングシステムの屑入れまたはリサイクルびんといったマシンまたはマシン上を走行するソフトウエアに一意のものに基づくことができる。キーの残り部分は、ランダム機能または疑似ランダム機能にしたがって各レンダリングごとに変化する。新しいキーが作成されると、このキーはユーザのマシンの確実な暗号化された耐改ざん性のファイルに格納される。このキーは、コンテンツ再生の次の回に使用される。
【0047】
キーは、コンテンツがレンダリングされる度毎に変更されるわけではない。代替としてキーは、コンテンツがレンダリングされるN回目ごとに変更してもよい。ここでNは、あらかじめ決められたある整数である。代替としてキーは、ローカルまたはリモートのキー管理システムからの新しいキーの受信、あるいはコンテンツ再生の次の回にキーを更新するようにユーザの装置上の暗号化ルーチンに命令するキー管理システムまたは登録簿データベースからのキー更新フラグの受信といったある外部イベントトリガーに基づいて変更することもできる。
【0048】
このキー更新処理は、暗号化キーが時間外に更新されることを可能にし、最終的にシステムから旧いキーまたは破られたキーを除去することを可能にする。
【0049】
トランスマーキング
多くのアプリケーションでは、オーディオ、ビデオ、静止画といったメディア信号に埋め込まれたディジタル透かし信号は、この信号が変換されるときに変更できる。ディジタル透かしのトランスマーキングは、新しい信号に適合すべき信号変換点で埋め込みディジタル透かし手法を変更するために使用できる。
【0050】
例えばラジオ、アナログまたはディジタルのラジオでDVDオーディオを演奏するとき、透かしは、よりハイレベルで、あるいは放送場所で異なる手法を使って検索して再埋め込みすることができる。更に透かしは、信号内の増加した雑音レベルのために中継局で修正することもできるであろう。オーディオアプリケーションのこの方法は透かしを検索できるが、元のDVDは透かしによる知覚上の変化を可能な限り最小にすることができる。より詳細にはオーディオアプリケーションは雑音の多い部屋で透かしを検索している可能性があり、アーチストはDVD透かしが自分のレコーディングを台無しにしていると不平を言わないであろう。
【0051】
これは、引用によってすべてここに含まれている、Ken Levyによってそれぞれ1998年9月25日と1998年12月2日に出願された米国特許仮出願番号第60/101,851号と60/110,683号とに基づいている、1999年9月23日にKen Levyによって出願されてAIPLに譲渡された米国特許出願番号第09/404,292号の主題事項の継続出願である。これらの特許出願は、オーディオが生のPCMフォーマットから、MP3、AAC、Real、Liquidその他類似の圧縮されたフォーマットに変換されるときに透かしのタイプを変更することを論じている。
【0052】
この方法は、ビデオ信号にも適用される。例えば透かし入りDVDビデオがRealNetworksから提供されているような低帯域インターネットビデオに転送されるとき、このDVD透かしは、低帯域に亘ってビデオを流すために必要とされる強力な圧縮を切り抜けるために読み取られて、振幅増幅されるか再埋め込みされる。この透かしは、複製防止のために使用できるが、そのビデオに関するリンクあるいは情報を利用可能にするためにも使用できるであろう。
【0053】
ある幾つかのアプリケーションでは、メディア信号に埋め込まれた補助情報を一つのフォーマットから他のフォーマットに変換することは有用であろう。この変換処理は、トランスマーキングのもう一つのアプリケーションである。トランスマーキングは、ヘッダー/フッターのタグのような帯域外識別子を透かしに変換する、あるいはその逆変換をすることを含むこともできる。またこれは、一つの透かしフォーマットのメッセージを他のフォーマットに変換することも含み得る。この処理は、入力メディアオブジェクトに対する復号操作と復号された情報のメディアオブジェクトへの符号化とを含んでいる。これはまた、新しく挿入されたマークとの干渉を避けるために初めにメディアオブジェクト内のマークを除去するための処理を含むこともできる。
【0054】
トランスマーキングを実施するための種々の理由が在る。一つは、パッケージされたメディアに使用された一つの透かしから、圧縮されて電子的に配付されるメディアに使われる他の透かし、あるいはラジオまたは無線電話放送伝送アプリケーションに使われる透かしへの変換といった、メディアオブジェクトが遭遇しそうなタイプの処理に対してこの埋め込まれた情報を更に強健にすることである。
【0055】
このタイプのトランスマーキングは、メディアオブジェクトの配付経路の種々の段階で行うことができる。透かし内の、またはファイルヘッダー/フッター内の識別子は、配付のためにコンテンツをパッケージするときに、電子的配付フォーマット、または光ディスクまたは磁気メモリデバイスといった物理的パッケージ媒体のいずれかで符号化することができる。ある時点でメディア信号は、一つのフォーマットから他のフォーマットに変換できる。このフォーマット変換の段階は、強健度または知覚性の問題に関して新しいフォーマット用に適合させられたトランスマーキングを実行する好機である。この新しいフォーマットは、ディジタルラジオ放送、あるいはAMまたはFMラジオ放送といった放送フォーマットであるかもしれない。この場合、識別子は、放送アプリケーション用に強い透かしフォーマットまたは他のメタデータフォーマットにトランスマーキングされることができる。この新しいフォーマットは、圧縮されたファイルフォーマット(例えば光ディスクからMP3フォーマットに切り詰める)であってよい。この場合、識別子は、強健で圧縮ファイルフォーマットに適合するファイルヘッダー/フッターフォーマットまたは透かしフォーマットにトランスマーキングすることができる。
【0056】
トランスマーキング処理は、既存の埋め込まれた識別子をそのまま残し、追加の識別子をメディアオブジェクト内に層として挿入する。これは、既存の透かしと干渉しない新しい透かしを符号化することを含み得る(例えばメディアオブジェクトのマークされていない部分、または干渉しない変換領域に新しい透かしを挿入する)。これはまた、ファイルフォーマット内のヘッダーまたはフッターに追加のまたは新しい識別子タグを付加することも含み得る。
【0057】
図5は、トランスマーキング処理を示す流れ図である。トランスマーキング処理への入力は、オーディオ信号(例えばミュージックトラック)やビデオ信号や静止画といったディジタル透かし入り信号20である。ディジタル透かしは、コンテンツ識別子、取引き識別子、データベースインデックス、使用または複製管理パラメータ(複製しない、一度だけ複製する、転送しない等を装置または処理に命令するフラグ)といった情報を運ぶ一つ以上の記号(例えば2進記号またはM進記号)のメッセージペイロードを担持している。マルチメディアコンテンツのディジタル透かしに関しては、法定論争追跡と、放送モニターと、複製管理と、ユーザ入力に応じてか、あるいは透かし信号が働くとき自動的にかのいずれかで透かし入り信号と一緒にレンダリングすべき対話型コンテンツのトリガーまたはリンクとして透かしを使用することとを含む種々のアプリケーションがある。これらのアプリケーションの一部は、引用によってここに組み入れられている同時係属中の特許出願第09/571,422号と第09/563,664号と第09/574,726号と第09/597,209号とに論じられている。
【0058】
これらのアプリケーションには、ホスト信号に埋め込まれる透かし信号をトランスマーキングする多くの理由が在る。幾つかの例として、透かしがフォーマット変換(圧縮、伝送、ディジタルアナログ変換、サンプル数の増減、印刷、表示等といった)を受けるときの透かしの強健度を向上させること、または再生前の透かしの知覚性を減らすこと、またはホスト信号が一つのフォーマットから他のフォーマットへの変換を受けるときの新しいフォーマットに関する透かし信号の知覚性レベル対強健度レベルのトレードオフをバランスさせることが含まれる。
【0059】
図5に示すトランスマーキング処理は、透かし入り信号(22)内の第1の透かしを検出することによって始まる。透かし検出器は、透かしキーを使って透かしの存在を識別する。この検出器の固有の動作は、使用された透かし入れ処理に依存する。多くの手法で、透かしキーは、透かし信号の空間的、時間的および/または周波数領域的位置を指定する。これはまた、疑似ランダム数(例えば周波数または位相ホッピング、スペクトラム拡散変調)で変調されたメッセージを復号する方法を指定することもできる。透かしの探索を単純化するために、透かし検出器は、特定の時間、空間、変換領域内の既知の埋め込み記号列、または既知の信号パターンといった埋め込まれた信号の参照信号属性を探索する。これらの属性は、透かしが容疑信号内に存在するかどうかを検出器が決定することを、また時間、空間または変換領域内で透かしの位置を検出器が決定することを可能にする。
【0060】
次に透かし検出器は、複製管理パラメータ、コンテンツ識別子、所有者識別子、取引き識別子等といった埋め込まれたメッセージ(26)を自由選択的に復号することができる。このステップは、初期検出動作がトランスマーキング動作の残り部分をトリガーするために十分な情報を伝達できるので、自由選択的である。例えば特定の時間、空間または変換領域の位置における透かし信号の存在の単なる検出は、1ビット以上のメッセージ情報を伝達することができる。
【0061】
幾つかのサンプルは、この検出、メッセージ復号処理を説明する助けとなるであろう。透かし埋め込み処理の一つのタイプは、ホスト信号の振幅増減されシフトされたバージョンを挿入することによって記号を符号化する。このシフトは、信号の性質によってホスト信号の時間的、周波数的および/または空間的シフトの組合せである(例えばオーディオには時間的周波数、画像には空間周波数)。このシフトされたバージョンは、ホストに対するある特定のシフト位置にシフトされたバージョン(一つ以上の)が存在するかしないかによって、および/またはシフトされたバージョンの埋め込みによるホスト信号の統計的特性にもたらされる変化量によって、メッセージ記号値を伝達する。他のタイプの埋め込み処理は、知覚領域サンプルを、および/または変換領域周波数係数を変調することによって透かしを埋め込む。両方の場合とも、メッセージは、結果として得られたメッセージ列をホスト信号内に隠すためにホストに変更を加える前に疑似ランダム化処理を適用する(例えばPN列に対して乗算または排他OR演算を行うことによってメッセージを拡張する)ことによってランダム化することができる。メッセージは、修正信号の加算処理によって、および/またはサンプル値または周波数係数値または統計的特性値の量子化によって埋め込むことができる。
【0062】
これらの埋め込み手法では検出器は、相関または統計的分析を使って、シフトされたバージョンまたは変調されたサンプル/係数を検出することによって透かし信号の属性を探索する。既知の記号または透かし信号属性の証拠を識別することによって、検出器は、透かし信号が存在するかどうかを決定する。ある幾つかの場合には透かし検出器は、一定の透かし信号属性の検出に基づいて追加のメッセージペイロードメッセージが存在すると決定する。それからこの検出器は、追加の信号属性を復号してそれらをメッセージ記号に写像するように進む。更に、BCH、ターボ、Reed Solomon、畳み込み復号といった誤り訂正復号を使って、メッセージペイロードを抽出することもできる。
【0063】
次にトランスマーキング処理は、第1の透かし信号(28)を除去する。再びこの処理は、トランスマーキング処理が第1の透かしの影響を除去または軽減しようと特に試みることなしに、第2の透かしを埋め込むことによって進行できるので、自由選択的である。一旦、透かし検出器が透かしを検出してその時間的、空間的および/または周波数領域的位置を決定した場合、この検出器は透かしを除去またはその影響を軽減できる。これは、埋め込み機能が、第1の透かしの属性と位置とを指定する透かしキーを使って埋め込み機能の逆演算を実行することによって可逆加算演算のように可逆的である場合に透かしを実質的に除去することができる。これはまた、PN列に基づく透かし入れ機能を有する白色化フィルタを使用するといった逆関数を知ることなしに透かしを除去できる。
【0064】
興味深いことにこれは、低品質媒体から高品質媒体に移行しつつあるコンテンツに、より知覚され難い透かしを追加することを可能にするであろう。コンテンツは未だ元の媒体の品質であるが、この透かしは品質劣化を最小限にするか、それ以上の品質劣化を生じさせないであろう。高品質媒体から低品質媒体への変換を行うとき、第1の透かしを除去することはなお、各透かし間の干渉を減らすことによって品質と強健度とを向上させる。
【0065】
幾つかのアプリケーションでは透かし入り信号は、トランスマーキング処理か進行する前に信号の圧縮といった他のフォーマットに変換できる。これらのアプリケーションは、新しいフォーマットの信号が透かし入れに利用可能であるアプリケーションである。この場合、トランスマーキング処理は、フォーマット変換が行われた後にホスト信号に第2の透かしを埋め込むことによって進行する。これは、この透かし埋め込み処理が新しいフォーマットの信号の知覚品質パラメータと強健度パラメータとに透かしを適応させることを可能にする。信号が放送されるといった他のアプリケーションでは、フォーマット変換が行われた後に新しい透かしを埋め込むために信号を遮断することは困難であるか、実用的に不可能である。例えばフォーマット変換は、放送伝送の結果として起こり得る。この場合、トランスマーキング処理は、第2の透かしを埋め込むように進行し、フォーマット変換が行われる前に信号の新しいフォーマットに適した強健度と知覚品質パラメータとに透かしを適応させる。
【0066】
次にトランスマーキング処理は、第1の透かし(30)と同じか、いくらか異なる埋め込み処理を使用して第2の透かし(44)を符号化する。この第2の透かしは、変換前、変換後、あるいは変換中にフィードバックループによって付加できる。例えば第1の透かしはホスト信号のシフトされたバージョンを付加することによって埋め込むことができるが、第2の透かしは知覚領域またはある変換領域(フーリエ、DCT、ウェーブレット等のような)に知覚的に適応した疑似ランダムキャリア信号を加えることによって埋め込み可能であり、またこの逆も可能である。第2の透かしは、第1の透かしとは異なる、ホスト信号の時間的、空間的または周波数的部分を修正できるが、あるいはこれら二つの透かしは信号のこれらの部分の一つ以上でオーバーラップすることもできる。透かし埋め込み機能が第1の透かしを埋め込むために使われた機能と基本的に同じであるか異なるかにかかわらず、この埋め込み処理(30)は、新しいフォーマットまたは環境の知覚性制約と強健度制約とに特に適応している。この透かし埋め込み処理は、強健度パラメータ(32)(例えば透かし信号の利得、冗長度の程度、周波数領域の位置)を使って、新しいフォーマットでの生き残りのために透かしに特に適応した透かし強度と冗長度と周波数領域位置とを指定する。この第2の透かしは、この情報が法定論争追跡に使用できる変換に関する新しい情報を付加する。この情報は、下記のものの如何なる組合せ:すなわち変換装置の識別子(MPEG符号器または製造業者といった)、と放送網またはケーブルシステムの識別子といった配付システムの識別情報との如何なる組合せも含むことができるであろう。この新しい情報は、第1の透かしに埋め込まれた元の情報を増強し、その意味を変更せず、その代わりに追加のペイロード情報を付加する。
【0067】
第2の透かしが強健度制約を満足させることを保証するために、この埋め込み処理は、透かし入り信号を劣化処理に加えるフィードバック経路を自由選択的に適用し、それから既知のメッセージを復号する際に生じた誤りの数を測定し、そしてこれらの誤りが発生した信号の部分(時間的、空間的または周波数的部分)における透かし信号の利得を選択的に増加させる。これらの劣化操作には、圧縮操作が含まれ、またはディジタルアナログ変換、印刷/走査、放送伝送、時間スケール変更等といった新しいフォーマットで遭遇しそうな劣化をモデル化する操作が含まれ得る。この処理は、測定された誤り率が許容しきい値未満に下がるまで繰り返される。
【0068】
更にこの埋め込み処理は、新しいフォーマットに関する信号の知覚品質に対する制約を指定する知覚品質パラメータ33を使用する。これらのパラメータは、透かし強度に対する制限を指定し、あるいは典型的にはディジタル透かし入れ方法の分析に使用されるピーク信号対雑音比のような自動的に測定できる知覚可能性しきい値を定義できる。再び上述のように、この埋め込み処理は、透かし入り信号の知覚品質を測定するフィードバック経路を自由選択的に含み、また透かし入り信号が知覚可能性しきい値を超えた場合の信号の部分(時間的、空間的または周波数的部分)における信号の利得を選択的に削減する。
【0069】
図5は、一方の透かし埋め込み処理30と、他方のレンダリング/編集環境または伝送環境(34、36)との間の対話を図形的に示している。この図は、トランスマーキングされた信号が使われる環境に新しい透かしを埋め込み手段がどの様に適応させるかを示している。例えばもし信号が写真編集環境で使われている静止画であるならば、透かしの強健度は、編集ツールの画像処理操作に適応することができる。もし透かしが印刷を切り抜けることを必要としているならば、トランスマーキング処理は、その処理を生き残って、印刷された画像から走査された画像を介して再生可能であるように設計された新しい透かしを信号に埋め込む。この場合、透かし埋め込み手段は、透かしが幾何学的歪みにもかかわらす検出できることを保証するために、米国特許第5,862,260号に記載の追加較正信号情報を含むことができる。
【0070】
ところで、正に第2の透かしは意図した環境に適応可能なので、編集ツールの操作は透かしの残存可能性を改善するように修正できる。この場合、ぼかし、カラー変換等といった画像編集操作は、透かし信号を可能な程度まで保存するように適応させられる。特に、一般的に高周波成分を減少させる低域フィルタ操作またはぼかし操作は、高周波成分の透かし信号を維持するために、選択されたこれらの高周波成分を通過させるように実施される。ガウス雑音を付加する操作は、ある一定の周波数における透かし信号との干渉を減少させるためにこれらの周波数における雑音を整形または低減することによって修正できる。輝度といった特定のカラーチャネルを修正することによって透かしが挿入される場合には、カラー変換操作は、透かし入り画像の輝度を保存するように設計できる。
【0071】
更に信号編集ツールは、操作の前に透かしを復号するためにトランスマーキング処理と統合でき、それから透かしの保存を保証するために操作の後に透かしを再符号化できる。例えば透かしは、画像編集ツールが画像のアフィン変換を行うために使われた後に、あるいは画像がトリミングされた後に再び与えることができる。
【0072】
通信チャネル上でのメディア信号の伝送場合、透かしは、通信チャネル上の信号(オーディオ、ビデオまたは画像信号)が変換される点でトランスマーキングすることができる。これらは、信号が非圧縮であって他のフォーマットで圧縮される場合と、信号がルーターまたはレピーターで変換される場合(例えば信号が通信路のルーターまたはレピーターノードで増幅されるとき透かしは、より高い強度でトランスマーキングされる)と、信号が交換網でパケットに変換され、透かし信号が個々のパケット内で復号されてまた再符号化され、あるいは信号が再結合された後に再符号化される場合とを含んでいる。この再符号化は、再結合される信号に使われる透かしペイロードと透かし埋め込みプロトコルとを指定するパケットのヘッダーに透かし付加コマンドを転送することによって行われる。
【0073】
オーディオとビデオの圧縮コーデックでは、トランスマーキング処理は、圧縮コーデックに統合可能である。これは、透かしの生き残りを保証するためにコーデックが圧縮操作を修正あるいはビットレートを修正することを可能にする。第1の場合、圧縮コーデックは、そうでなければ透かしを保存するために実質的に削減されるであろうある一定の周波数成分を保存するように設計できる。後者の場合、コーデックは透かしが生き残り、しかも信号は許容可能レベルにまで圧縮されるビットレートを選択する。
【0074】
もし透かし入り信号がDVDプレーヤーといった使用が厳しく管理されているハイファイ装置でレンダリングされようとしているならば、第2の透かしは、知覚可能性により少ない影響を持つように埋め込むことができる。反対に透かし入り信号がパソコンといった、より低忠実度装置でレンダリングされようとしているならば、第2の透かしはレンダリング装置の知覚品質パラメータの範囲内に留まりながらより強健であるように埋め込むことができる。更に透かしは、DVDオーディオマスターがCDやカセットテープに変換される場合には変更可能である。
【0075】
透かし入り信号が放送環境などで伝送されようとしている場合は、埋め込み処理は、放送を生き残り、放送環境のより厳しくない制約の範囲内で知覚的忠実度を維持するために強健度を有する第2の透かしを符号化する。トランスマーキング処理は、対話型ビデオまたはオーディオに使われるトリガーを符号化するために使用できる。これらのトリガーは、元来一つのフォーマットに符号化され得るが、放送の前か放送プロセス内のあるノードで他のフォーマットにトランスマーキングされ得る。例えばトリガーが放送用にMPEG2フォーマットに圧縮されるとき、あるいはコンテンツがケーブルのヘッドエンドまたはコンテンツ配付チャネルのノードで受信されるとき、トリガーはビデオにトランスマーキングされ得る。このトリガーは、IPアドレスやURLのような対話型コンテンツのネットワークアドレスであってもよく、HTMLやXMLなどのような対話型コンテンツのネットワークアドレスへのインデックスであってもよい。
【0076】
もう一つの例としてラジオ放送における対話型コンテンツ用のトリガーは、コンテンツが光ディスクといったパッケージされた媒体から転送されて、従来のラジオ放送、ディジタル衛星放送あるいはインターネットを流れる放送といった放送用に準備されるときにトランスマーキングできる。
【0077】
第1の透かしのようにこの第2の透かしは、第2の透かしの空間的時間的および/または周波数的属性を指定するために透かしキー38を使用する。更に識別子40、複製管理パラメータ42といった第1の透かしから復号されたメッセージが埋め込まれる。
【0078】
典型的な場合ではトランスマーキング処理の結果は、新しい透かし入り信号46である。留意されるように透かしの情報または機能は、MP3オーディオのID3タグといったファイルヘッダーまたはフッターのような帯域外データにトランスマーキングされ得る。反対に帯域外データは、ディジタル透かし処理を使ってホスト信号に埋め込まれる帯域内データにトランスマーキングされ得る。
【0079】
レンダリング記述ファイルにおける透かし埋め込み機能
文書その他メディアオブジェクトの生成ツールは、ますます精巧に複雑になり続けている。Adobeは、かれらのInDesignソフトウエアを含むこのような種々のツールを提供している。このようなシステムでは透かしを入れることが有利に実施できる。
【0080】
このような環境では文書は、種々のツールを使って作成され、これらのツールの大半は透かしを挿入することができる。一つのプログラムは、一つ以上の他のプログラムの出力を入力として使用(すなわち「合成」)できる。
【0081】
この環境で透かし入れをより巧みに取り扱うために、透かし入れ機能(例えばPostScript様のコマンド)は、これらのツールに備えられている。この機能は、透かし情報の、例えばペイロード、強健度レベル、使用されるマスクといった所望の特徴を指定するパラメータを用いて呼び出される。画面表示、校正刷り、あるいは最終バージョンのリッピング(切り詰め)といったレンダリング時に、ディジタルデータとして透かしが実際に付加される。このような環境で埋め込み手段は、プリンタといったレンダリング装置の性質を知っており、したがってその埋め込みを適切に調整する。この考えにより合成作業中に透かしが失われることはなく、透かしはベクトル(または線)図形に埋め込むことができる。更にリッピング(切り詰め)段階でのカラーマネージャは、透かしを付加する最良の実体であり得る。
【0082】
また同様にこの考えは、ビデオ−特にMPEG4オブジェクトビデオと、オーディオ−特にMIDIまたはMPEG4構造化オーディオ言語と、仮想広告とに拡張される。
【0083】
透かしを埋め込むPostScript様の機能の使用は、米国出願第09/629,401号に更に詳述されている。
【0084】
代替の方法は、デスクトップツールは透かしを入れる能力を持たないが、その代わりに共通の画像フォーマットをサポートするためにオンラインの透かし入れサーバーが利用可能であるということである。種々のツールは、透かしの所望のパラメータに関する情報によってサーバーに画像を提示することが可能となる。それからこのサーバーは、画像をアプリケーションに返す。こうして統合の負担は、事実上取り除かれ、見当合わせとマーキングとが同時に行われる。
【0085】
包装材といったグラフィックアート材料に透かしを入れるときは、包装材を作成する人または会社のための所望の透かしを印刷業者ではなくグラフィックデザイナーに埋め込ませることが望ましい。消費者はグラフィックアーティストと既に話し合っており、また消費者が印刷業者と話し合う必要は決してないであろうから、グラフィックアーティストに透かしを埋め込ませることが有利である。通常、印刷業者は、刷版または試作品を校正刷りすることが必要とされるだけである。更に印刷業者は、余計なことは覚えたくないし、印刷業はそれだけで十分に大変なのである。
【0086】
しかしながら多くのグラフィックアート材料は、印刷工程中にラスター化されるまでは線画(ベクトル図形としても知られている)のままになっており、また透かし入れの最新技術はラスターに基づいている。
【0087】
解は、フォントがベジェ曲線で記述される仕方に類似の方式で線画ファイルに透かし機能を埋め込むことである。透かし機能は、埋め込むべきビットを含むだけでなく、異なる要素にこれらのビットを埋め込む方法を規定する。透かし機能は、一般に普及している拡張ポストスクリプト(EPS)フォーマットのコマンドと考えることができるであろう。
【0088】
例えばテキストと透かしの作成が線画に含まれている場合、透かしビットは、各文字の位置を縦に横に、あるいはその両方に僅かに調整することによって埋め込むことができるであろう。代替として透かしは、文字のエッジに、小さすぎて見えないがディジタルには読み取り可能なこぶを付加または除去することによって埋め込むことができるであろう。如何なるデータ埋め込み方法でも、透かし機能のビットとルールとにしたがって使用できることが重要である。同様に作図オブジェクトを生成するとき、透かし機能は、このオブジェクトのエッジに沿ったこぶにビットを埋め込むことによって実現できるであろう。代替としてオブジェクトの内部にグラディエントフィル(傾斜土手)を入れるときは、透かし機能は、このグラディエントフィル(傾斜土手)内により伝統的なPN列を付加するか、あるいは中間調ドットを変調することによって実現され得るであろう。
【0089】
一般に透かし機能は、埋め込むべきビットとこれらのビットを埋め込む方法のルールまたはこの方法へのリンクとを持っている。したがって透かし機能は、表示画面、プリンタまたは印刷版といったものに線画をレンダリングするとき、所望の埋め込み方法にしたがって実施される。
【0090】
留意されるように、透かし入れ機能は、種々のタイプのメディアオブジェクトとレンダリング記述言語に適用できる。図6、7は、レンダリングコマンドとして透かし埋め込み機能を実現し使用するための枠組みを示す。図6は、透かし埋め込みコマンド(100)とレンダリング記述ファイル(102)へのこのコマンドの挿入とを示す図である。この透かし埋め込みコマンドは、テキスト形式またはこれが挿入されたレンダリング記述ファイルに適合する他のバイナリ形式で指定される。
【0091】
メディア信号作成時にユーザは、透かし埋め込みコマンドと関連パラメータとを指定する。後でレンダリング時にレンダリング装置は、透かし埋め込みコマンドにしたがってメディアオブジェクトに透かしを埋め込むために透かし埋め込みモジュールを呼び出す。透かしコマンドパラメータには、透かしメッセージペイロードと透かしプロトコルと透かし埋め込み方法とペイロード仕様と埋め込み場所と強健度パラメータと知覚品質パラメータとを記述する複数のパラメータの組合せが含まれる。アプリケーションに依存して、これらおよび他のパラメータの如何なる組合せでも使用できる。
【0092】
透かしメッセージは、ある個数の2進記号またはM進記号を含んでいる。これらの記号は、これらが埋め込まれたメディア信号に関連する種々のタイプの情報を表すことができ、いくつかを挙げれば、
オブジェクトのレンダリングまたは転送を制御する複製管理パラメータと、
メディアオブジェクト、その所有者またはオブジェクトの取引きの識別子(ユーザID、マシンID、記憶装置ID等)と、
関連情報、プログラム、ウェブサイト等のネットワークアドレスと、
プログラムまたは装置の命令と、
メディアオブジェクトに関するメタデータと、
上記の情報または透かし検出に応じて実行されるプログラムといった他の情報等とを含んでいる。
【0093】
透かしプロトコルは、透かしメッセージがどの様に埋め込まれるべきかと、透かしメッセージ内における種々の記号の意味とを指定する。このプロトコルは、一つ以上のパラメータを使って指定できる。これらのプロトコルパラメータは、透かしを埋め込むためにレンダリング装置で使用される埋め込みモジュールまたはプラグインへのポインタといった、埋め込み方法を指定するパラメータを含んでいる。1メディアタイプ当たり数種の異なる埋め込み方法がある。ビデオと静止画とを含む画像信号に関しては、埋め込み方法は、空間的または周波数領域的スペクトラム拡散透かし埋め込み手段と、埋め込むべき記号に関連した量子化レベルにサンプルまたは特徴を調整することによって記号を符号化する透かし埋め込み手段と、中間調変調方法(メッセージ記号に関連する変化にしたがって中間調ドット形状、表示画面、誤り拡散しきい値、ドットクラスタのサイズまたは幅等を変化させる)とを含むことができる。オーディオ信号に関しては、この方法は、時間的または周波数領域的スペクトラム拡散透かし埋め込み手段と、埋め込むべき記号に関連した量子化レベルにサンプルまたは特徴を調整することによって記号を符号化する透かし埋め込み手段と、埋め込むべき記号に対応したホスト信号のマスクされたトーンまたは時間/周波数シフトされたバージョンの集まりを符号化する透かし埋め込み手段等とを含むことができる。幾つかの場合にこの方法は、レンダリング装置または伝送チャネルがこのレンダリング装置またはチャネルのために透かし方法とプロトコルとを最適化できるように指定されないままにしておくこともできる。この場合、レンダリング装置またはチャネルは、透かしを復号するためのこの装置またはチャネルに関連の互換性のある復号器を持っている。代替として汎用透かし信号またはメタデータを使って、復号のための透かしタイプを指定することもできる。
【0094】
プロトコルパラメータはまた、透かしペイロードに関するより詳細な情報、すなわちペイロード仕様を含むことができる。ペイロード仕様は、使用すべき誤り訂正コードのタイプ、使用する誤り検出のタイプ、ペイロード内のメッセージ記号(例えば2進ビット)の数、ペイロードを暗号化するための暗号化キー等といった項目を含むことができる。
【0095】
このプロトコルはまた、図6で「埋め込み場所」と称している透かしを埋め込む場所を指定できる。埋め込み場所は、ホストメディア信号に透かしを埋め込む空間的、時間的および変換領域的位置を含むが、これらに限定されることはない。変換領域位置は、コンテンツの特定のブロックサイズでの変換領域係数または係数のセットを指す。変換領域の例は、フーリエドメイン、ウェーブレットドメイン、DCT等を含む。埋め込み場所は、例えば透かしが信号内のある一定の周波数範囲内に限定すべきであるということを指定する。また画像とビデオに関しては、埋め込み場所は、輝度チャネル、ブルーチャネルまたはその他のカラーチャネルといった、透かし信号を埋め込むべき一つ以上のカラー平面を指定することもできる。
【0096】
幾つかのアプリケーションでは透かし埋め込み手段は、ホストメディア信号内の異なる部分(空間的、時間的、周波数的、変換領域的部分)に異なるメッセージペイロードを埋め込むであろう。これらの場合、透かし埋め込みコマンドは、その埋め込み場所、強度、脆弱性(脆弱な透かしに関する)、強健度パラメータ、知覚品質パラメータ、冗長度等を含む、異なるメッセージペイロードの各々についてこれらのパラメータを指定する。これは、透かし埋め込みモジュール(一つ以上の)が異なる強健透かし、強健および脆弱透かし、または種々の脆弱度の脆弱透かしの組合せを埋め込むことを可能にする。幾つかの場合では、メッセージペイロードは、透かし信号の存否にまで切り詰めた単一ビットであってもよい。この単一ビットは、数箇所の埋め込み場所をカバーする信号に拡散でき、同じ信号の数個の事例で、あるいは両者の組合せで反復することができる。
【0097】
前にも留意されたように、埋め込み場所は、透かしを埋め込むための領域を指定する空間的、時間的または変換領域的マスクによって指定できる。このマスクは、各々が一つの埋め込み場所に対応する要素のアレイである。各要素に関してマスクは、その場所に関するペイロード、その場所に関する強健度、その場所に関する知覚品質といった他のパラメータと関連している。マスクは、透かしをどこに埋め込むべきか、逆にどこに埋め込むべきでないかを指定し、透かしが埋め込まれる領域に関して透かし強度を指定するように、メディアオブジェクトの作成者によって設計され得る。
【0098】
強健度パラメータと知覚品質パラメータは、埋め込みコマンドを挿入するユーザまたはアプリケーションが透かしの強健度と知覚可能性との間のトレードオフを制御することを可能にする。強健度パラメータは、強度(例えば特定の埋め込み場所に関する透かし信号の利得)と、冗長度(例えばその強健度を向上させるためにメッセージペイロードが埋め込み場所に亘って冗長に符号化される程度)と、周波数位置(例えばホスト信号の変換をより生き残れそうな、より低い周波数領域に透かし信号が集中する程度)とによって指定され得る。これらのパラメータの各々は、埋め込みモジュールが、指定された強健度と知覚可能性の範囲内で透かしを知覚可能性と強健度とに関して最適化することを可能にするための好適な範囲として指定できる。
【0099】
強健度パラメータに関しては、透かし埋め込みコマンドはまた、メディア信号内の特定の場所における透かしの脆弱性のレベルを指定することもできる。このような脆弱な透かしは、埋め込みコマンドに応じて埋め込まれる。後に透かし復号時に脆弱な透かしの存在またはその測定された強度(例えば既知の埋め込まれた記号セットの誤り検出率によって、または検出された透かし強度のしきい値レベルによって測定された)は、透かし入り信号の改ざんまたは処理を検出するために使われる。
【0100】
このタイプの強健度と知覚品質の仕様は、透かし埋め込み手段が特定のレンダリング装置または伝送装置のために埋め込みを最適化するためにフィードバック経路を用いて反復埋め込みを実施することを可能にする。この反復手法では、埋め込み手段は初め、最低の強健度と最高の知覚品質とでコマンドパラメータにしたがって透かしペイロードを埋め込み、特定のレンダリング装置または伝送チャネルに関する劣化モデルを透かし入り信号に適用し、それから透かしを復号してメッセージペイロードに関する検出誤り率を測定する(例えば検出誤りは、誤り訂正復号が適用される前に復号された記号と期待された記号との間の相違の測定を使って定量化される)。それからこれは、この処理のもう一つの反復動作を繰り返し、検出誤りが満足なレベルになるまで各反復ごとに僅かづつ強健度を上げてゆく。この劣化モデルは、圧縮操作であってよく、あるいはディジタルアナログおよびアナログディジタル変換、時間の拡大縮小、アフィン変換等による歪みをシミュレートする信号変換であってもよい。
【0101】
知覚品質パラメータは、透かしのない信号に対する透かし入り信号の歪みを定量化するピーク信号対雑音比といった自動化された測定を使って指定できる。知覚品質パラメータは、許容可能な範囲として、あるいは超えてはならないしきい値として指定できる。
【0102】
メディアオブジェクト作成プログラムは、もう一つのレンダリングコマンドとして透かし埋め込みコマンドをレンダリング記述ファイル102に挿入する。図6に示すようにこのレンダリング記述ファイルは、レンダリングコマンドが適用されることになっているメディア信号(110、112)またはメディア信号の記述(例えばベクトル図形ファイルの場合のような114)を参照するレンダリングコマンド(104、106、108)の集まりを含んでいる。それからこのファイルは、後の使用のために格納され、レンダリング装置に送られ、あるいは伝送チャネルを介して配付される。
【0103】
画像と文書に関してはポストスクリプト、PCL、EPS、PDF、作業票、ベクトル図形等、オーディオに関しては構造化オーディオとMIDI、そしてビデオに関してはMPEG4またはMPEG7といったレンダリング記述ファイルのための種々の可能性のあるフォーマットがある。
【0104】
図7は、透かし埋め込みコマンドを使用してメディアオブジェクトに透かしを埋め込む処理を示す。この処理は、ユーザまたはアプリケーションプログラムがレンダリングコマンド(120)として透かし埋め込み機能をレンダリング記述ファイル(122)内に挿入するときに始まる。後にレンダリング記述ファイルに記述されたメディアオブジェクトがレンダリングのために準備されたとき、レンダリング処理(124、126、128)は、透かし埋め込みコマンドを読み取り、埋め込みコマンド(120)内で指定されたパラメータにしたがって透かしを埋め込むために適当な透かし埋め込みモジュール(例えば130、132)を呼び出す。この透かし埋め込みモジュールは、信号をレンダリングする特定のレンダリング装置(134、136、138)または信号を伝達する伝送チャネル(140)に適応している。伝送チャネルによる信号の劣化を防止するために、このモジュールは、レンダリング記述ファイルとして伝送チャネルを介して送ることができ、後にレンダリング装置でレンダリングされ、透かしと共に埋め込むことができる。
【0105】
画像に関してレンダリング処理は、ディスプレイドライバー、プリンタドライバーまたはこのディスプレイドライバーまたはプリンタドライバーへのプラグインにおいて実現可能である。この処理はまた、プリンタハードウエアに実現することもでき、また特に、透かしが中間調処理に特に適応するように、また透かしが中間調画像にラスター化された後に、あるいはラスター化されているときに画像内に埋め込まれるように中間調処理に統合することもできる。この手法は、順序づけディザ化(例えばブルー雑音マスク、クラスタ化ドット中間調など)、誤り拡散、確率的網点化などを含む種々の中間調処理に適用される。中間調透かし埋め込み方法の例は、下記の方法を含む。すなわち
1.画像を中間調画像に変換する前に知覚的に適応したスペクトラム拡散透かし信号を中間調ドット解像度でピクセルマルチレベルフォーマットの画像に付加すること。この透かし信号は、疑似ランダムキャリア信号でメッセージペイロードを畳み込むか乗算するかを行って、それから画像のマスキング属性に基づいてキャリア信号を拡大縮小することによって生成される。
【0106】
2.知覚的に適応したスペクトラム拡散透かし信号にしたがって、誤り拡散中間調化に使用される誤りしきい値を変調すること。
【0107】
3.中間調ドットの線幅を変調すること。
【0108】
4.透かし信号を中間調画像に埋め込むために中間調クラスタの形状とサイズとを変調すること、または中間調スクリーン間の予め決められた関係にしたがってこれらの中間調スクリーンを変調すること。中間調画像のための透かし埋め込み方法に関する詳細な情報は、引用によってここに組み込まれている「Methods and Systems for Watermark Processing of Line Art Images(線画の透かし処理のための方法とシステム)」と題する米国特許第09/074,034号と、「Halftone Watermarking and Related Applications(中間調透かし入れ処理と関連アプリケーション)」と題する第09/689,226号と、「Halftone Primitive Watermarking and Related Applications(中間調プリミティブ透かし入れ処理と関連アプリケーション)」と題する第60/263,987号とを参照されたい。
【0109】
画像とオーディオとビデオとに関してレンダリング処理は、信号を配付用、放送用または伝送用のフォーマットに変換するために使われるメディアオブジェクト生成ツールにおいて実現される。これらの場合に信号変換処理は、埋め込まれた透かしの強健度とレンダリングされる透かし入り信号の知覚品質とを特定のレンダリング処理または伝送チャネルに適応させる埋め込み方法とパラメータとを選択する。例えばオーディオプロセッサは、音楽信号をレンダリングし、配付、放送または伝送に適した強健度レベルで透かしペイロードを埋め込む。同様にビデオプロセッサは、ビデオ信号をレンダリングし、配付、放送または伝送に適した強健度レベルで透かしペイロードを埋め込む。
【0110】
透かし機能は、画像、ビデオまたはオーディオ信号を圧縮する処理の一部といった信号フォーマット化処理の一部として透かしが埋め込まれることを指定できる。この透かし機能は、そのフォーマットに適応するように透かしを埋め込む圧縮処理、例えば圧縮データストリームまたは部分的圧縮ストリームに埋め込む圧縮処理と透かしモジュールが対話することを可能にする。信号の圧縮率は、透かし入り信号が誤り検出度に基づいてなお切り抜ける最大の圧縮度を決定することによって適応的に設定できる。同様に知覚品質パラメータは、信号の所望の知覚品質と透かし信号の強健度とを維持する圧縮率が選択されるように圧縮処理を調整するために使用できる。
【0111】
代替として透かし機能は、透かしがレンダリング用または伝送用の特定のフォーマットに変換された後に埋め込まれる(例えば圧縮後または放送用フォーマットへの変換後に埋め込まれる)ことを指定できる。レンダリングまたは伝送チャネルは、埋め込みモジュールが特定のレンダリング処理または伝送チャネルのために透かし埋め込みを最適化できるように、そのレンダリング処理または伝送チャネルについての強健度パラメータと知覚品質パラメータとをその埋め込みモジュールに供給する。特に透かし機能は、透かし埋め込みコマンドに指定されたペイロードを埋め込むときに透かし埋め込み手段が守らなくてはならない透かし強健度、例えば強度または品質の制約を指定する。
【0112】
透かし埋め込みモジュールは、その強健度属性と知覚品質属性とに関してレンダリング処理、装置または伝送チャネルに問い合わせる。もし品質要件がより低ければ、埋め込みモジュールは、透かし埋め込みコマンドパラメータによって指定された許容範囲内で透かしの強健度を増加させることができる。反対にもし品質要件がより高ければ、埋め込みモジュールは、透かしによる知覚品質の劣化を最小にするように透かしを埋め込むために透かしコマンドに指定された最低の許容強健度レベルを選択できる。同処理は、レンダリング処理または伝送チャネルの強健度属性に基づいて埋め込み操作を調整するように適用できる。もしレンダリング処理が透かしの検出可能性を実質的に劣化させると予想されるならば、埋め込みモジュールは、透かし埋め込みコマンドの許容範囲内で透かしのために最も強健なレベルを選択できる。
【0113】
レンダリング装置またはチャネルに問い合わせることよりもむしろ、透かし埋め込みコマンドは、その装置またはチャネルに好適な透かし埋め込み方法を自動的に選択するように設計できる。
【0114】
透かし埋め込み機能は、流れているビデオのような流れているメディアのために仮想広告に使われるベクトル図形への透かしの埋め込みを制御することに特に良く適合している。仮想広告は、流れているビデオがセットトップボックスを備えたテレビまたはインターネット上のパソコンといった受信装置でレンダリングされるときに、ビデオ列に重畳されるロゴといったベクトル図形である。仮想広告を定義するベクトル図形ファイルは、上述のような透かし埋め込みコマンドを含むことができる。ベクトル図形がレンダリングされるレンダリング時に、受信装置側の透かし埋め込みモジュールは、透かしをベクトル図形に埋め込む。このベクトル図形は、このビデオが走行する対話型TVアプリケーションのトリガーとして使用できる。例えばユーザは、ウェブページといった対話型情報を要求するために、またはTivoマシンのようなパーソナルビデオレコーダーを介して、予め記録されたコンテンツまたはライブのコンテンツを演奏しているときに製品またはサービスを注文するために、クリックする(そうでなければ、カーソル制御装置を用いてビデオ画面に表示されているロゴを選択する)。それからロゴの中の透かしが復号され、その透かしからデータベースエントリを指示するペイロードが抽出される。データベースは、対話型情報(URL、HTML、ウェブページ等)を返すか、あるいはユーザのセットトップボックスまたはコンピュータ上で実行され、広告されている製品をユーザが購入できるようにする他のプログラムコードを返す。この例で示したように、透かし埋め込みコマンドは、受信装置でレンダリング時に組み合わされるビデオ、ベクトル図形、オーディオといった異なるメディア信号の組合せを含むコンテンツのために指定できる。
【0115】
結論
特定の実施の形態を参照しながら本テクノロジーの原理を説明、図解してきたが、本テクノロジーが多くの他の異なる形式で実現可能であることは認められるであろう。本出願を過度に引き延ばすことなく総合的な開示を与えるために、出願者等は、上記に参照した特許および特許出願を引用によって組み入れている。
【0116】
上述の方法と処理とシステムは、ハードウエア、ソフトウエア、あるいはハードウエアとソフトウエアの組合せによって実現可能である。例えば補助データ符号化処理は、プログラム可能なコンピュータまたは専用のディジタル回路で実現可能である。同様に補助データの復号は、ソフトウエア、ファームウエア、ハードウエア、またはソフトウエアとファームウエアとハードウエアの組合せで実現可能である。上述の方法と処理は、システムのメモリ(電子的、光学的、磁気的記憶装置といったコンピュータ読み取り可能な媒体)から実行されるプログラムに実現可能である。
【0117】
上記に詳述した実施の形態の要素と特徴の特定の組合せは、単に例示的なものであって、これらの教えの、このそして引用によって組み入れられた特許/出願の他の教えによる交換および代用も考えられる。
【図面の簡単な説明】
【図1a】 小さな透かし入り領域を求めて大きな画像を探索することを容易にするように特徴に基づく透かしを埋め込むための図である。
【図1a】 小さな透かし入り領域を求めて大きな画像を探索することを容易にするように特徴に基づく透かしを検索するための図である。
【図2】 自動相関による画像の拡大縮小と回転とを決定するために使用できる疑似ランダム雑音アレイを示す図である。
【図3】 補助データ0の埋め込みと補助データ1の埋め込みとの間の遷移を緩やかにする技法を示す図である。
【図4a】 自動相関に基づく透かしを埋め込むために使われるグリッドを示す図である。
【図4b】 自動相関に基づく透かしを入れた画像の方位を見出すために幾つかのブロックへのデータの埋め込みをスキップする方法を示す図である。Xは透かし入りのブロックを表し、Xのないブロックは透かしが入っていない。
【図5】 メディア信号内の第1のディジタル透かしがメディア信号内の第2のディジタル透かしにトランスマーキングされるトランスマーキング処理を示す図である。
【図6】 透かし埋め込み機能とレンダリング記述ファイルとを示す図である。
【図7】 透かし埋め込みコマンドを使ってメディアオブジェクトに透かしを埋め込む処理を示す図である。
【符号の説明】
20 透かし入りメディア信号
28 第1の透かし信号
30 第1の透かし
32 強健度パラメータ
34 新しい環境
44 第2の透かし
102 レンダリング記述ファイル
110,112 メディア信号
104,106,108 レンダリングコマンド
120 埋め込みコマンド
124,126,128 レンダリング処理
130,132 透かし埋め込みモジュール
134,136,138 レンダリング装置
140 伝送チャネル

Claims (18)

  1. 第1のディジタル透かし埋め込方法を使用して第1のディジタル透かしによりメディア信号内に埋め込まれたメッセージ情報、第2のディジタル透かし埋め込み方法を使用して第2のディジタル透かしにより異なる透かし埋め込みフォーマットに変換する方法であって、前記第2のディジタル透かし埋め込み方法は、予想される変換処理に耐えるように適合された強健性パラメータ又は知覚性パラメータを用い、該予想される変換処理は、圧縮、信号レンダリング、編集、又は伝送を含み、該方法は、
    透かし検出器により、前記メディア信号の中の前記第1のディジタル透かしを検出して前記メッセージ情報を得るステップと、
    透かし埋め込み器により、前記メディア信号が前記予想される変換処理を受ける前に前記第1のディジタル透かしからの前記メッセージ情報を第2のディジタル透かしを用いて前記メディア信号内に埋め込むステップと
    を含
    前記第2のディジタル透かしは、埋め込みを制御するために使われる強健性パラメータ又は知覚性パラメータを用いて埋め込まれ、該強健性パラメータは、前記第2のディジタル透かし信号の信号利得、信号冗長度の程度、又は周波数領域の位置を含み、該知覚性パラメータは、前記第2のディジタル透かし信号の信号制限、知覚しきい値、又は知覚品質を含み、該強健性パラメータ又は該知覚性パラメータは、前記第2のディジタル透かしが前記メディア信号に埋め込まれた後に前記メディア信号を処理しようとしている前記予想される変換処理によって指定される、
    方法。
  2. 前記第2のディジタル透かしは、前記第1のディジタル透かしに対して振幅が増大している、請求項1に記載の方法。
  3. 前記透かし埋め込み器により、前記第2のディジタル透かしは、前記第1のディジタル透かし埋め込み方法とは異なるステガノグラフ的埋め込み方法を使用して埋め込まれる、請求項1に記載の方法。
  4. 前記透かし検出器により、前記第1のディジタル透かしは、前記第2のディジタル透かしを埋め込む前に少なくとも部分的に除去される、請求項1に記載の方法。
  5. 前記メッセージ情報がメッセージ記号を含んでおり、
    該方法は、
    前記透かし検出器により、前記第1の透かしから前記メッセージ記号を復号するステップと、
    前記透かし埋め込み器により、前記第1の透かしからの前記メッセージ記号を前記第2の透かしに再埋め込みするステップと
    を更に含む、請求項1に記載の方法。
  6. 前記メッセージ記号は、前記メディア信号に関する情報を格納するデータベースエントリへのインデックスを含む、請求項5に記載の方法。
  7. 前記メッセージ記号は、コンテンツ識別子を含む、請求項5に記載の方法。
  8. 前記透かし埋め込み器により、前記第2のディジタル透かしは、第2のディジタル透かしが前記変換処理に適応した知覚的品質を有するように、埋め込みを制御するために使われる知覚品質パラメータを使って埋め込まれ、該知覚品質パラメータは前記第2のディジタル透かし信号の制限又はしきい値を含み、
    前記知覚品質パラメータは、前記第2のディジタル透かしが前記メディア信号に埋め込まれた後に前記メディア信号を処理しようとしている前記レンダリング処理または編集処理または伝送処理によって指定される、
    請求項1に記載の方法。
  9. 前記透かし埋め込み器により、前記第2のディジタル透かしは、第2のディジタル透かしを繰り返し埋め込むフィードバック処理であって、且つ前記透かし入り信号に劣化処理を加えた後に測定され前記透かしの劣化にしたがって、あるいは知覚的品質の測定にしたがって前記メディア信号における前記第2のディジタル透かしの強度を選択的に調整する前記フィードバック処理を使って埋め込まれる、請求項1に記載の方法。
  10. 前記請求項1に記載の方法を実行するためのソフトウエアが格納されている、コンピュータ読み取り可能な記録媒体。
  11. 第1のディジタル透かし埋め込方法を使用して第1のディジタル透かしによりメディア信号内に埋め込まれたメッセージ情報、第2のディジタル透かし埋め込み方法を使用して第2のディジタル透かしにより別の透かし埋め込みフォーマットに変換する方法であって、前記第2のディジタル透かし埋め込み方法は、予想される変換処理に耐えるように適合された強健性パラメータ又は知覚性パラメータを用い、該予想される変換処理は、圧縮、信号レンダリング、編集、又は伝送を含み、該方法は、
    透かし検出器により、前記メディア信号中の前記第1のディジタル透かし検出するステップと、
    透かし埋め込み器により、前記第1のディジタル透かしからの前記メッセージ情報を第2のディジタル透かしを用いて、前記メディア信号を異なるフォーマットに変換することによって生成された変換されたメディア信号内に埋め込むステップと
    を含み、
    前記第2のディジタル透かしは、前記異なるフォーマットに適合した強健性パラメータ又は知覚性パラメータであって、前記第2のディジタル透かし信号の信号利得、信号冗長度の程度、又は周波数領域の位置を含む該強健性パラメータ、若しくは、前記第2のディジタル透かし信号の信号制限、知覚しきい値、又は知覚品質を含む該知覚性パラメータを用いて埋め込まれる、
    方法。
  12. 前記新しいフォーマットは前記メディア信号の圧縮されたフォーマットである、請求項11に記載の方法。
  13. 前記透かし埋め込み器により、前記第2のディジタル透かしは前記第1のディジタル透かしよりも大きな信号強度で埋め込まれる、請求項11に記載の方法。
  14. 前記透かし埋め込み器により、前記第2のディジタル透かしは前記メディア信号の前記新しいフォーマットでより知覚し難いように前記第1のディジタル透かしよりも小さな信号強度で符号化される、請求項11に記載の方法。
  15. 前記透かし検出器により、前記第1のディジタル透かしの少なくとも一部は、前記メディア信号を前記異なるフォーマットに変換する前に除去される、請求項11に記載の方法。
  16. 請求項11に記載の方法を実行するためのソフトウエアを有する、コンピュータ読み取り可能な記録媒体。
  17. 第1のディジタル透かし埋め込方法を使用して第1のディジタル透かしによりメディア信号を内に埋め込まれたメッセージ情報を、第2のディジタル透かし埋め込み方法を使用して第2のディジタル透かしにより異なる透かし埋め込みフォーマットに変換するための電子装置であって、前記第2のディジタル透かしは、予想される変換処理に耐えるように適合された強健性パラメータ又は知覚性パラメータを有し、該予想される変換処理は、圧縮、信号レンダリング、編集、又は伝送を含み、該装置は、
    前記メディア信号の中の前記第1のディジタル透かしを検出して前記メッセージ情報を得る手段と、
    前記メディア信号が前記予想される変換処理を受ける前に前記第1のディジタル透かしからの前記メッセージ情報を第2のディジタル透かしを用いて前記メディア信号内に埋め込む手段と
    を含
    前記埋め込む手段は、埋め込みを制御するために使われる強健性パラメータ又は知覚性パラメータであって、前記第2のディジタル透かし信号の信号利得、信号冗長度の程度、又は周波数領域の位置を含む強健性パラメータ、若しくは、前記第2のディジタル透かし信号の信号制限、知覚しきい値、又は知覚品質を含む知覚性パラメータを用い、該強健性パラメータ又は該知覚性パラメータは、前記第2のディジタル透かしが前記メディア信号に埋め込まれた後に前記メディア信号を処理しようとしている前記予想される変換処理によって指定される、
    装置
  18. 第1のディジタル透かしを埋め込方法を使用して第1のディジタル透かしによりメディア信号内に埋め込まれたメッセージ情報、第2のディジタル透かし埋め込み方法を使用して第2のディジタル透かしにより別の透かし埋め込みフォーマットに変換するための電子装置であって、前記第2のディジタル透かしは、予想される変換処理に耐えるように適合された強健性パラメータ又は知覚性パラメータを有し、該予想される変換処理は、圧縮、信号レンダリング、編集、又は伝送を含み、該方法は、
    前記メディア信号の中の前記第1のディジタル透かしを検出して前記メッセージ情報を得る手段と、
    前記メディア信号を異なるフォーマットに変換する手段と、
    前記第1のディジタル透かしからのメッセージ情報を前記変換されたメディア信号内に第2のディジタル透かしにより埋め込む手段と
    を含
    前記埋め込む手段は、前記異なるフォーマットに適合した強健性パラメータ又は知覚性パラメータであって、前記第2のディジタル透かし信号の信号利得、信号冗長度の程度、又は周波数領域の位置を含む該強健性パラメータ、若しくは、前記第2のディジタル透かし信号の信号制限、知覚しきい値、又は知覚品質を含む該知覚性パラメータを用いる、
    装置
JP2001570009A 2000-03-18 2001-03-16 レンダリングコマンドとしてのトランスマーキング透かし埋め込み機能およびマルチメディア信号の特徴に基づく透かし埋め込み処理 Expired - Fee Related JP4785317B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US19048100P 2000-03-18 2000-03-18
US60/190,481 2000-03-18
US09/563,664 US6505160B1 (en) 1995-07-27 2000-05-02 Connected audio and other media objects
US09/563,664 2000-05-02
US25782200P 2000-12-21 2000-12-21
US60/257,822 2000-12-21
PCT/US2001/008315 WO2001071960A1 (en) 2000-03-18 2001-03-16 Transmarking, watermark embedding functions as rendering commands, and feature-based watermarking of multimedia signals

Publications (3)

Publication Number Publication Date
JP2003528538A JP2003528538A (ja) 2003-09-24
JP2003528538A5 JP2003528538A5 (ja) 2008-05-08
JP4785317B2 true JP4785317B2 (ja) 2011-10-05

Family

ID=27392750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001570009A Expired - Fee Related JP4785317B2 (ja) 2000-03-18 2001-03-16 レンダリングコマンドとしてのトランスマーキング透かし埋め込み機能およびマルチメディア信号の特徴に基づく透かし埋め込み処理

Country Status (5)

Country Link
EP (1) EP1266475A4 (ja)
JP (1) JP4785317B2 (ja)
KR (1) KR20020084216A (ja)
AU (1) AU2001247457A1 (ja)
WO (1) WO2001071960A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7373513B2 (en) 1998-09-25 2008-05-13 Digimarc Corporation Transmarking of multimedia signals
UY26500A1 (es) * 2000-12-22 2001-01-31 Carlos Manuel Lopez Vazquez Método para insertar datos ocultos en archivos digitales con poligonales y procedimientos de detección
US7614081B2 (en) * 2002-04-08 2009-11-03 Sony Corporation Managing and sharing identities on a network
US7424128B2 (en) 2002-04-10 2008-09-09 Pioneer Corporation Electronic watermark embedding apparatus, electronic watermark embedding method, record medium having electronic watermark and manufacturing method of record medium
US7111171B2 (en) * 2002-07-09 2006-09-19 Kaleidescope, Inc. Parallel distribution and fingerprinting of digital content
CN1820511A (zh) 2003-07-11 2006-08-16 皇家飞利浦电子股份有限公司 用于生成并探测多媒体信号中起到触发标记作用的指纹的方法和设备
JP3997198B2 (ja) * 2003-12-05 2007-10-24 キヤノン株式会社 画像処理システム及び画像処理方法
JP4524656B2 (ja) 2005-08-04 2010-08-18 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4582411B2 (ja) 2005-08-04 2010-11-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
KR100757393B1 (ko) * 2006-08-22 2007-09-11 (주)와우소프트 프린터 출력물 추적 시스템
JP4965996B2 (ja) * 2006-12-22 2012-07-04 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム並びに記憶媒体
US10885543B1 (en) 2006-12-29 2021-01-05 The Nielsen Company (Us), Llc Systems and methods to pre-scale media content to facilitate audience measurement
DE102008014331A1 (de) * 2008-03-14 2009-09-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Einbetter zum Einbetten eines Wasserzeichens in eine Informationsdarstellung, Detektor zum Detektieren eines Wasserzeichens in einer Informationsdarstellung, Verfahren, Computerprogramm und Informationssignal
EP2141651B1 (en) * 2008-04-08 2018-06-13 Avid Technology, Inc. Framework to integrate and abstract processing of multiple hardware domains, data types and format
KR101007201B1 (ko) * 2009-04-07 2011-01-12 한유시스템 주식회사 회전 제어기능을 갖는 절첩식 의자
US8477990B2 (en) 2010-03-05 2013-07-02 Digimarc Corporation Reducing watermark perceptibility and extending detection distortion tolerances
US8971567B2 (en) 2010-03-05 2015-03-03 Digimarc Corporation Reducing watermark perceptibility and extending detection distortion tolerances
US10664940B2 (en) 2010-03-05 2020-05-26 Digimarc Corporation Signal encoding to reduce perceptibility of changes over time
EP2393060A1 (en) * 2010-06-02 2011-12-07 Thomson Licensing Providing a watermarked decoded audio or video signal derived from a watermarked audio or video signal that was low bit rate encoded and decoded
US8768003B2 (en) 2012-03-26 2014-07-01 The Nielsen Company (Us), Llc Media monitoring using multiple types of signatures
KR101349672B1 (ko) 2012-12-27 2014-01-10 전자부품연구원 영상 특징 고속 추출 방법 및 이를 지원하는 장치
TWI497443B (zh) * 2013-06-06 2015-08-21 Univ Nat Taiwan Normal 浮水印圖像及其製造方法
US10063738B2 (en) 2014-04-22 2018-08-28 Hewlett-Packard Development Company, L.P. Digital content access using a machine-readable link
US9928561B2 (en) 2015-05-29 2018-03-27 Digimarc Corporation Serialized digital watermarking for variable data printing
EP3109860A1 (en) 2015-06-26 2016-12-28 Thomson Licensing Method and apparatus for increasing the strength of phase-based watermarking of an audio signal
US11172093B2 (en) * 2015-12-07 2021-11-09 Disney Enterprises, Inc. System and method for creating a temporal-based dynamic watermark
CN107239712A (zh) * 2016-03-29 2017-10-10 阿里巴巴集团控股有限公司 基于应用程序的用户信息的隐藏方法及装置
KR102637177B1 (ko) * 2018-05-23 2024-02-14 세종대학교산학협력단 워터마크 기반의 이미지 무결성 검증 방법 및 장치
US11537690B2 (en) 2019-05-07 2022-12-27 The Nielsen Company (Us), Llc End-point media watermarking
CN110992236B (zh) * 2019-11-28 2023-05-26 北京奇良海德印刷股份有限公司 数字水印嵌入环境确定方法、装置、设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003524199A (ja) * 2000-01-26 2003-08-12 ディジマーク コーポレイション 接続された音声及び他のメディアオブジェクト

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5721788A (en) * 1992-07-31 1998-02-24 Corbis Corporation Method and system for digital image signatures
US6122403A (en) * 1995-07-27 2000-09-19 Digimarc Corporation Computer system linked by using information in data objects
US5841978A (en) * 1993-11-18 1998-11-24 Digimarc Corporation Network linking method using steganographically embedded data objects
US6181867B1 (en) * 1995-06-07 2001-01-30 Intervu, Inc. Video storage and retrieval system
US5947548A (en) * 1996-07-29 1999-09-07 Carper; Herbert J. Aerodynamic drag reducing geometry for land-based vehicles
EP0901282B1 (en) * 1997-09-03 2006-06-28 Hitachi, Ltd. Method for recording and reproducing electronic watermark information
JP4139560B2 (ja) * 1997-10-08 2008-08-27 マクロビジョン・コーポレーション ビデオ録画の1回限りのコピー許可透かし方法及び装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003524199A (ja) * 2000-01-26 2003-08-12 ディジマーク コーポレイション 接続された音声及び他のメディアオブジェクト

Also Published As

Publication number Publication date
AU2001247457A1 (en) 2001-10-03
KR20020084216A (ko) 2002-11-04
JP2003528538A (ja) 2003-09-24
WO2001071960A1 (en) 2001-09-27
EP1266475A4 (en) 2005-07-27
EP1266475A1 (en) 2002-12-18

Similar Documents

Publication Publication Date Title
JP4785317B2 (ja) レンダリングコマンドとしてのトランスマーキング透かし埋め込み機能およびマルチメディア信号の特徴に基づく透かし埋め込み処理
US7142691B2 (en) Watermark embedding functions in rendering description files
Hartung et al. Multimedia watermarking techniques
US8959352B2 (en) Transmarking of multimedia signals
Su et al. Digital watermarking of text, image, and video documents
US8355525B2 (en) Parallel processing of digital watermarking operations
Podilchuk et al. Digital watermarking: algorithms and applications
US7986845B2 (en) Steganographic systems and methods
Busch et al. Digital watermarking: From concepts to real-time video applications
Swanson et al. Multimedia data-embedding and watermarking technologies
US8745404B2 (en) Pre-processed information embedding system
US7461255B2 (en) Digital watermark processing apparatus, and digital contents distribution system using the apparatus
US7460726B2 (en) Integrating steganographic encoding in multimedia content
US20070196024A1 (en) Digital Authentication with Digital and Analog Documents
Muharemagic et al. Survey of watermarking techniques and applications
US7555650B1 (en) Techniques for reducing the computational cost of embedding information in digital representations
Seitz et al. Digital watermarking: an introduction
Singh Digital Watermarking Trends
Prasad et al. Digital Video Watermarking Techniques and Comparative Analysis: A Review
KR101352830B1 (ko) 비디오 마킹 기술의 효율적인 적용
Liu et al. Real time digital video watermarking for digital rights management via modification of VLCS
WO2002039235A2 (en) Batch identifier registration and embedding in media signals
George Spread spectrum watermarking for images and video.
Podilchuk and Edward J. Delp
Wolthusen Digital Watermarking: From Concepts to Real-Time Video Applications

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080313

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080313

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101005

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20101014

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110105

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110117

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110207

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110215

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110307

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110314

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110614

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110712

R150 Certificate of patent or registration of utility model

Ref document number: 4785317

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140722

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees