JP4733332B2 - Material identification method - Google Patents

Material identification method Download PDF

Info

Publication number
JP4733332B2
JP4733332B2 JP2001573396A JP2001573396A JP4733332B2 JP 4733332 B2 JP4733332 B2 JP 4733332B2 JP 2001573396 A JP2001573396 A JP 2001573396A JP 2001573396 A JP2001573396 A JP 2001573396A JP 4733332 B2 JP4733332 B2 JP 4733332B2
Authority
JP
Japan
Prior art keywords
watermark
identification code
signature
umid
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001573396A
Other languages
Japanese (ja)
Other versions
JP2003529987A (en
Inventor
デビット、モルガン、ウィリアム、アモス
ストーン、ジョナサン、ジェームス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Priority claimed from PCT/GB2001/001492 external-priority patent/WO2001075794A2/en
Publication of JP2003529987A publication Critical patent/JP2003529987A/en
Application granted granted Critical
Publication of JP4733332B2 publication Critical patent/JP4733332B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/005Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0071Robust watermarking, e.g. average attack or collusion attack resistant using multiple or alternating watermarks
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00094Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving measures which result in a restriction to authorised record carriers
    • G11B20/00123Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving measures which result in a restriction to authorised record carriers the record carrier being identified by recognising some of its unique characteristics, e.g. a unique defect pattern serving as a physical signature of the record carrier
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00166Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving measures which result in a restriction to authorised contents recorded on or reproduced from a record carrier, e.g. music or software
    • G11B20/00173Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving measures which result in a restriction to authorised contents recorded on or reproduced from a record carrier, e.g. music or software wherein the origin of the content is checked, e.g. determining whether the content has originally been retrieved from a legal disc copy or another trusted source
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00884Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • H04N2201/3235Checking or certification of the authentication information, e.g. by comparison with data stored independently
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3233Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of authentication information, e.g. digital signature, watermark
    • H04N2201/3236Details of authentication information generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はマテリアルの識別に関する。また、本発明は、このようなマテリアルの識別方法及び装置に関する。従って、マテリアルは、好ましくはデジタル信号である情報信号により表される。
【0002】
マテリアルは、ビデオマテリアル、オーディオマテリアル、データマテリアルのうちのいずれか1以上であってもよい。以下、説明の都合上、ビデオマテリアルについて説明する。しかし、本発明はビデオマテリアルに限定されるものではない。本発明は、オーディオマテリアルにも適用することができる。また、本発明は、オーディオ及びビデオ以外にもデータマテリアルに適用することができる。
【0003】
【従来の技術】
ビデオ信号に「ウォーターマーク」を付すことによりビデオマテリアルを識別することが知られている。ウォーターマークは、符号化された信号であり、ビデオ信号と組み合わせられる。ウォーターマークは、表示される画像において符号化信号が見えない、あるいは、ほとんど見えないような方法で組み合わせることができる。符号化信号はビデオ信号において検出可能である。これは、例えば著作権侵害を検出するのに用いられる。しかし、ウォーターマークは、例えば編集や特殊効果を加える等、マテリアルのさらなる処理によって、故意又は偶然に損傷又は除去されることがある。
【0004】
【発明の開示】
本発明は、識別コードをウォーターマークとしてマテリアルに挿入するステップと、マテリアルからシグネチャを取り出すステップとを有するマテリアル識別方法を提供する。
【0005】
シグネチャを取り出すステップは、ウォーターマークを挿入するステップの前でも後でもよい。
【0006】
本発明の好ましい実施例において、シグネチャは、マテリアルのデータ特性又はマテリアルのデータ特性から取り出されたデータである。シグネチャはマテリアルから取り出される。例えば、シグネチャは、信号の最大値及び最小値の位置であってもよい。また、例えば、シグネチャは、ビデオシーケンスにおける各フレームの最も明るい画素と最も暗い画素の座標であってもよい。また、シグネチャは、マテリアルの測定可能な成分のヒストグラムであってもよい。例えば、ビデオシーケンスのクロミナンス値のヒストグラムであってもよい。シグネチャはマテリアルによって異なる。シグネチャは、マテリアルに対するデータの付加を必要とせず、マテリアルから取り出される。
【0007】
また、本発明は、識別コードを生成するコード生成器と、コードからウォーターマークを生成するとともにウォーターマークをマテリアルと組み合わせるウォーターマーク生成器と、マテリアルからシグネチャを取り出すシグネチャ生成器とを有する装置を提供する。
【0008】
ウォーターマークは、損傷及び/又はビデオマテリアルからの除去に対して脆弱である。ウォーターマークが損傷を受けたり除去されると、マテリアルの起源を証明することが困難又は不可能となる。シグネチャを生成するマテリアルの特性についても損傷や除去が発生するが、ウォーターマークの除去や損傷と同じプロセスではない。マテリアルの特性であるシグネチャを取り出し、ウォーターマークを有することにより、起源を証明する2つの独立した手段が得られる。従って、一方に損傷又は除去が発生しても、他方を使用して起源を証明することができる。
【0009】
マテリアルにウォーターマークとしてコードを設けることにより、マテリアルは、コードが設けられた後の一連の制作及び配信においてIDを保持する。また、識別コード用のテープトラック等、別個のチャンネルが必要なくなる。これにより、識別コードをマテリアルに関連付けて保持することで、以降のマテリアル処理が容易になる。
【0010】
好ましい方法において、このコードは、所有権の識別の代わりに、あるいは、それに加えて、マテリアルを識別する。
【0011】
コードは、好ましくは、マテリアルに関連したメタデータに対してマテリアルを関連付けるのに用いられる。
【0012】
より好ましくは、シグネチャと識別コードはデータベースに記憶される。マテリアルをモニタリングして、ウォーターマークが含まれているか否かを判断する。モニタリングされたマテリアルは、シグネチャを取り出すための処理が行われる。ウォーターマークが存在する場合、ウォーターマークと取り出されたシグネチャを、データベース内のウォーターマークとシグネチャと比較して、マテリアルの起源を判断する。
【0013】
本発明の一実施例において、マテリアルは記録媒体の一例に記録され、識別コードは、その記録媒体の例を識別するコードである。識別コードは、例えばシリアル番号であってもよい。識別コードは、UMID(ユニークマテリアルアイデンティファイア)を参照するのに用いられてよい。
【0014】
他の実施例において、コードはUMIDである。
【0015】
UMIDと、記録媒体の一例を識別するコードは、従来のウォーターマークコードと比較して短いので、マテリアルの処理に耐えることができ、除去しにくくなる。
【0016】
コードがUMIDである一実施例において、UMIDのインスタンス番号は、あるマテリアルピースの複数のコピーに対して、各UMIDと、個々のユーザ又はユーザグループにユニークなウォーターマークを与えるのに用いられる。
【0017】
【発明の実施の態様】
本発明をよく理解するため、以下、添付図面を参照して本発明の実施例を説明する。
【0018】
以下、ビデオマテリアルを用いて本発明を説明する。なお、本発明はビデオマテリアルに限定されるものではない。
【0019】
概要
図1を参照して、ビデオソース880はビデオマテリアルを供給する。ソースは、カメラ、ビデオテープレコーダ、ビデオサーバ、又は、他の好適なソースであってもよい。ウォーターマーク生成器882により、ビデオマテリアルにウォーターマークが挿入又は付加される。ウォーターマーキングについては「ウォーターマーキング」のセクションで後述する。本発明の好ましい実施例において、ウォーターマークはUMIDから生成される。UMIDはUMID生成器886により生成される。UMIDについては「UMID」のセクションで後述する。このように、好ましい実施例では、UMIDに基づくウォーターマークがマテリアルを識別し、マテリアルの所有者も識別することができる。UMIDは、1フレームの精度でマテリアルを識別することができる。従って、好ましい実施例において、ウォーターマークは、各フレーム毎に存在し、各フレームをユニークに識別する。他の好ましい実施例では、UMIDのインスタンス番号フィールドが、マテリアルの種々の許可されたユーザを区別する「フィンガープリント」として用いられる。
【0020】
ソースからのビデオマテリアルは、マテリアルからシグネチャを取り出すシグネチャ生成器884にも供給される。シグネチャについて「シグネチャ」のセクションで後述する。
【0021】
また、データベースプロセッサ894が設けられている。これは、例えばケーブル、RFリンク、コンピュータネットワークリンク等の適切な通信リンクを介してUMID生成器886とシグネチャ生成器884に接続されている。データベース894は、生成器884及び886により生成されたUMIDとシグネチャを記憶する。データベース894は、ビデオマテリアルから取り出されたシグネチャを、同じマテリアルに付されたUMIDと関連付ける。
【0022】
ウォーターマークが付されたマテリアルは、配信/送信ネットワーク888を介してユーザに配信又は送信される。モニタステーション890によりネットワーク888をモニタリングし、ビデオマテリアルにおけるシグネチャ及びウォーターマークを検出する。例えば、マテリアルは放送される。ステーション890は、レシーバと、受信したビデオを記録するビデオレコーダを備えている。また、ステーションは、生成器884と全く同じシグネチャ生成器891を有している。また、ステーションは、ウォーターマーク検出器893を有している。受信したビデオはステーションにて処理され、生成器884で行われるのと全く同じプロセスにより、マテリアルからシグネチャが取り出される。また、受信したビデオは処理されて、ウォーターマークがあれば取り出され、ウォーターマークのUMIDが検出される。
【0023】
このように受信したマテリアルから取り出したシグネチャとUMIDは、データベース894内のシグネチャ及びUMIDと比較される(892)。このように配信されたマテリアルを確認し、例えば誤用を検出することができる。また、UMIDはマテリアルをユニークに識別するので、UMIDにより例えばロイヤリティの徴収が可能となる。
【0024】
ウォーターマークは、特に編集や特殊効果の適用によるマテリアルの処理が行われる場合、除去されたり、少なくとも配信ネットワークにおいて損傷をうけることがあるので、シグネチャとウォーターマークの両方を設けることは有利である。また、ウォーターマークを故意に除去しようとする可能性もある。同様に、ビデオマテリアルは、オリジナルのマテリアルと処理済みのマテリアルから合致するシグネチャを取り出す可能性を低減する処理により、変更されることがある。両方を設けることにより、一方がマテリアルの起源の確認に使用可能となる。
【0025】
データベース894は、マテリアルに関する、UMIDによりマテリアルに関連付けられたメタデータを有してもよい。データベース894が有するメタデータの例については「メタデータ」のセクションで後述する。
【0026】
ウォーターマーキング−図2及び図3
情報量は増えつつあり、特にデジタルで記録、記憶、配信されているビデオの情報量は増えている。このような情報の複製は容易であるが、ベースとなる作品の著作権が不正なコピーにより容易に侵害される可能性があるので、問題である。このため、著作権者は、コピーに対する適正な保護がなければ、あるいは、特定の作品サンプルが著作権者の作品から取ったもので権利を侵害する不正なコピーであることを示すことができなければ、著作権者の作品を使用可能にしたり配信したりすることを好まない。
【0027】
この問題の解決を得るための1つの可能な技術として、デジタルウォーターマーキングがある。デジタルウォーターマーキングにより、例えば、所有者や配信者を識別する情報を含むコード及び/又は認証コードを、デジタルワークに埋め込むことができる。デジタルウォーターマークは、暗号等、他の抑止手段とともに使用してもよい。
【0028】
デジタルウォーターマークを以下ではウォーターマークと呼ぶが、ウォーターマークは、例えば、所有者や配信者を明確に識別する、及び/又は、認証コードを与えるようにユニークなものでなければならない。これはしばしばフィンガープリンティングと呼ばれる手法である。また、ウォーターマーク自体を画像、オーディオ又はビデオ等のデジタルワークにしてもよい。また、ウォーターマークは、その作品を自由にコピーすることができるか、全くコピーすることができないか、所定回数だけコピーすることができるかを示すインディケーションを含むこともできる。
【0029】
好ましくは、ウォーターマークは、許可のない者による検出、変更、除去が不可能であるようにすべきである。また、ウォーターマークは、ベースとなる作品を目立つほど劣化させてはならない。しかし、ウォーターマークは、所有者及び/又は配信者を識別できるように、許可された者により容易に認識されるものでなければならない。
【0030】
ウォーターマークは、ベースとなるデジタルワークに簡単に埋め込むことができなければならない。好ましくは、埋め込み技術は記録中に容易に行うことができ、これによりソースにて作品にウォーターマークを付し、ウォーターマークのない作品が使用可能となる可能性は最小限になる。
【0031】
ウォーターマークは、例えば、デジタルワークのヘッダ又はラベルに配置することができ、また、デジタルワーク自体のデータフィールド内に埋め込むこともできる。好ましくは、ウォーターマークは作品中で何回も再生され、より好ましくは、デジタルワークの各フレームに存在する。あるいは、ウォーターマークは、デジタルワークを有する媒体上に直接配置してもよい。
【0032】
ウォーターマークは、不正なコピーを行おうとする者が除去又は劣化することができないようにロバストなものとすることができる。ロバストなウォーターマークを不正に除去しようとすると、データに深刻な劣化が生じ、データが使用できなくなる。ビデオ等のようにデータが余分な情報を多く含む場合は、例えばフレームドロップ等によりロバストなウォーターマークが攻撃を受けやすくなる。従って、ロバストなウォーターマークは、好ましくは、このような攻撃に耐えなければならず、例えばフレーム毎に変化して、データに適用するエラー訂正/回復技術を利用してもよい。
【0033】
また、ウォーターマークは、不正なコピーが行われた場合には損傷を受けるように脆弱であってもよい。
【0034】
しかし、ウォーターマークは、好ましくは、必要ならば所有者により取り消し及び除去が可能でなければならない。ウォーターマークの除去は、ベースとなる作品のウォーターマークの累積効果を低減するため、例えばポストプロダクション段階では特に有効である。また、種々のソースからの情報を編集する場合、編集した製品には別のウォーターマークを付すことが望ましい。
【0035】
エンドユーザ機器は、保護された作品のコピーを許可しないようにウォーターマークを認識するように構成することができる。また、特定の所有者から得られ、特定の配信者を介して配信された作品のみ、又は、特定の認証コードを有する作品のみについて動作するように機器を構成することもできる。
【0036】
ウォーターマークは、ウォーターマークが付されたデータとウォーターマークのないデータを比較して、正当性を確認することにより、取り出すことができる。
【0037】
デジタルワークのデータフィールド内にウォーターマークを埋め込むための2つの手法について、以下に詳細に説明する。第1の手法は、ウォーターマークを空間領域に埋め込むものであり、第2の手法は、ウォーターマークを周波数領域に埋め込むものである。いずれの埋め込みプロセスも、ウォーターマークが付されているデータの大幅な劣化を生じてはならない。
【0038】
空間領域ウォーターマーク
概して言えば、このプロセスでは、ウォーターマークが付されたデータを作成するためのウォーターマークのビットにより、所定データビットを変更する。ウォーターマークの存在は、ウォーターマークが付されたデータに対して取り消し動作を行うことにより判断できる。
【0039】
1つのアプローチとして、疑似ランダム的に選択したデータの下位ビットを、ウォーターマークを表すビットで置換することにより、ウォーターマークを埋め込む。しかし、これらのウォーターマークは、データの最下位ビットの処理により破壊されやすい。他のアプローチとしては、ウォーターマークを表す幾何学パターンをデータに挿入する。しかし、これらのウォーターマークは、データの幾何処理により破壊されやすい。さらに他のアプローチとして、量子化雑音に類似する方法でウォーターマークを埋め込む。これについては図5を参照して後述するとともに、文献「Embedding Secret Information into a Dithered Multi-Level Image」K Tanaka et al., IEEE Military Communications Conference, 1990, pp.216-220及び文献「Video Steganography」K Mitsui, IMA Intellectual Property Proceedings, volume 1, 1994, pp.187-296に詳細な説明がある。しかし、これらのウォーターマークは、信号処理、特にデータの再量子化により破壊されやすい。
【0040】
次に図2を参照して、ソース650はデジタルビデオ等のデジタルデータ信号652を生成する。ウォーターマークインサータ700は、ソース650に接続され、デジタルデータ信号652を受信する。ウォーターマークインサータ700は、再量子化雑音に類似する方法でデジタルデータ信号652にウォーターマークを付すことによりウォーターマーク663を付し、ウォーターマークが付されたデータ705を生成する。記憶装置670は、ウォーターマークインサータ700に接続され、ウォーターマークが付されたデータ705を記憶する。
【0041】
さらに他のアプローチとして、n対の画像ポイント(ai、bi)をランダムに選択し、aiの輝度を1だけ高くするとともにbiの輝度を1だけ低くする。画像のある統計上の特性が満たされれば、n対のポイントの差の合計は2nとなる。
【0042】
あるいは、データ信号が少なくとも2成分(例えば、MPEG、PAL、NTCによる[Y、U、V]からなる場合、これらの成分に組み合わせでは通常発生しない値を割り当てることにより、ウォーターマークを埋め込むことができる。また、ウォーターマークを、例えば2つの画像フィールドを有するビデオデータに埋め込む場合、正のウォーターマークを第1フィールドの配置し、負のウォーターマークを第2フィールドに配置する。ウォーターマークが付された画像フィールドを再生すると、フィールドのインターレースによるマスキング効果があり、ウォーターマークの視認が大幅に低減される。
【0043】
周波数領域ウォーターマーク
概して言えば、このプロセスでは、ウォーターマークが付されるデータの周波数スペクトル画像を得る。ウォーターマークは、周波数スペクトル画像の所定成分に埋め込まれる。その後、ウォーターマークが付された周波数スペクトル画像に逆変換を行って、ウォーターマークが付されたデータを生成する。ウォーターマークは、ウォーターマークが付されたデータに対して取り消し動作を行うことにより取り出すことができる。
【0044】
1つのアプローチとして、データをブロックに分割し、これらのブロックのそれぞれの離散コサイン変換(DCT)を計算する。その後、各ブロックの周波数係数を調整する。ブロックの疑似ランダムサブセットを選択し、このような各ブロックにおいて、相対値がデータビットを符号化するように所定サブセットの周波数の係数を調整する。相対値の変動と所定サブセットの周波数の選択は、ウォーターマークが感知できないようにしなければならない。なお、このウォーターマークは、ノイズやさらなる処理による損傷を受けやすい。
【0045】
また、NECによる欧州特許出願0766468に詳細に説明されるように、ウォーターマークは、各周波数係数を微調整することにより符号化することができる。これは、ウォーターマークが損傷を受けにくくするという利点があるが、全体のノイズレベルを上げてしまう。
【0046】
次に図3を参照して、ソース650はデジタルビデオ等のデジタルデータ信号652を生成する。周波数変換器655は、ソース650に接続され、デジタルデータ信号652を受信する。周波数変換器655は、例えば離散コサイン変換又は高速フーリエ変換を用いて、デジタルデータ信号652を周波数スペクトルデータ657に変換する。ウォーターマークインサータ660は、周波数変換器に接続され、周波数スペクトルデータ657を受信する。ウォーターマークインサータは、周波数スペクトルデータ657の各係数を調整することによりウォーターマーク663を付し、ウォーターマークが付された周波数スペクトルデータ663を生成する。逆周波数変換器665は、ウォーターマークインサータ660に接続され、ウォーターマークが付された周波数スペクトルデータ663を受信する。逆周波数変換器665は、ウォーターマークが付された周波数スペクトルデータ663をウォーターマークが付されたデータ667に変換する。記憶装置670は、逆周波数変換器665に接続され、ウォーターマークが付されたデータ667を記憶する。
【0047】
さらに他のアプローチとして、人間の視覚及び聴覚システムにおける、いわゆるマスキング現象の存在を利用して、特定周波数の係数に対して変化を大きくする。マスキングは、データのうちのある領域が、そのデータの知覚的により目立つ領域により妨害されるときに発生する。しかし、これらの領域は、埋め込みの複雑性を増大させるウォーターマークの挿入以前に識別されなければならない。
【0048】
さらに他のアプローチとして、デジタルデータを圧縮し、圧縮データの動きベクトルのx及びy座標にウォーターマークを埋め込む。これは、圧縮後にウォーターマークが埋め込まれるという利点があるので、処理に対してよりロバストである。
【0049】
シグネチャ−図4及び図5
情報量は増えつつあり、特にデジタルで記録、記憶、配信されているビデオの情報量は増えている。このような情報の複製は容易であるが、ベースとなる作品の著作権が不正なコピーにより容易に侵害される可能性があるので、問題である。このため、著作権者は、コピーに対する適正な保護がなければ、あるいは、特定の作品サンプルが著作権者の作品から取ったもので権利を侵害する不正なコピーであることを示すことができなければ、著作権者の作品を使用可能にしたり配信したりすることを好まない。
【0050】
この問題を解決するための1手法として、いわゆるデジタルシグネチャの使用がある。デジタルシグネチャは、例えば画像等のデジタル情報のいずれのピースについても生成することができる。侵害の疑いがある作品のデジタルシグネチャも、同じ手法により生成される。2つのシグネチャ間の相関により、疑わしい作品がオリジナル作品のコピーであることがわかる。
【0051】
例えばオーディオ又はビデオ等のデジタルワークについて、デジタルシグネチャのシーケンスを例えばデータの個々のフレームから生成することができる。侵害の疑いがある作品のデジタルシグネチャのシーケンスも、同じ手法を用いて生成することができる。2つの連続するシグネチャシーケンス間の相関により、疑わしい作品がオリジナル作品のコピーであることがわかる。
【0052】
デジタルシグネチャは、ウォーターマーキングや暗号化等、他の抑止手段とともに用いてもよい。
【0053】
デジタルシグネチャを以下ではシグネチャと呼ぶが、作品から容易に生成されることが好ましい。好ましくは、シグネチャは、作品にあるアルゴリズムを適用することにより生成される。
【0054】
好ましくは、アルゴリズムは、作品の経験的性質に関連するシグネチャを生成する。好ましくは、アルゴリズムは、オリジナル作品から生成したシグネチャとコピー作品から生成したシグネチャの高い相関を維持できるように、ロバストでなければならない。好ましくは、アルゴリズムは、容易に行われる処理技術やノイズの導入に対してもロバストでなければならない。
【0055】
オリジナル作品のシグネチャは、後に参照するために生成及び記憶することができる。好ましくは、自動化システムを用いて、疑わしい作品を含むデータストリームをモニタリングすることができる。自動化システムは、疑わしい作品のシグネチャを生成し、これらを記憶されたオリジナル作品のシグネチャと比較して、相関がある場合にはオリジナル作品の所有者に警告する。
【0056】
エンドユーザ機器は、オリジナル作品のコピーを許可しないようにするため、オリジナル作品のシグネチャを認識するように構成されてもよい。また、機器は、所定のシグネチャを有する作品のみを再生するように構成されてもよい。
【0057】
以下、シグネチャ生成プロセスについて図4を参照して詳細に説明する。ソース850は、オリジナルデジタルビデオワーク等のデジタルデータ信号852を生成する。シグネチャ生成器855は、ソース850に接続され、デジタルデータ信号852を受信する。シグネチャ生成器855は、アルゴリズム856をデジタルデータ信号852に適用することによりシグネチャ857を生成する。記憶装置860は、シグネチャ生成器855に接続され、デジタルデータ信号852に関連したシグネチャ857を記憶する。
【0058】
次に、疑わしい作品がオリジナル作品のコピーであるか否かを判断するプロセスについて、図5を参照して詳細に説明する。ソース865は、オリジナルデジタルビデオワーク等のデジタルデータ信号867を生成する。シグネチャ生成器855は、ソース865に接続され、デジタルデータ信号867を受信する。シグネチャ生成器855は、アルゴリズム856をデジタルデータ信号867に適用することによりシグネチャ858を生成する。シグネチャ比較器870は、シグネチャ生成器855と記憶装置860に接続されている。記憶装置860は、オリジナルデジタルデータワークのシグネチャを有している。シグネチャ比較器870は、シグネチャ858を受信し、記憶装置860内のシグネチャとシグネチャ858を比較して、相関があればアラーム信号873を発生する。アラーム875は、シグネチャ比較器870に接続され、アラーム信号873を受信するとアラームを発生する。
【0059】
次に、シグネチャ生成のための2つの可能なアルゴリズムについて詳細に説明する。
【0060】
第1のアルゴリズムは、作品中のフィーチャーの位置を判断することによりシグネチャを生成する。デジタルデータ信号を分析して、例えば、信号の最大値及び最小値の位置を判断する。生成されたシグネチャは、空間座標システム又はデータストリームのビット番号のいずれかによる、信号の最大値及び最小値の位置を有する。好ましくは、デジタルビデオ信号において、これらの最大値及び最小値は、1フレームの画素のクロミナンスの最高値及び最低値に対応し、生成されたシグネチャはこれらの画素の座標を有する。
【0061】
第2のアルゴリズムは、作品のヒストグラムを判断することによりシグネチャを生成する。デジタルデータ信号を分析して、信号の測定可能な成分を判断する。生成されたシグネチャは、これらの測定可能成分を表すヒストグラムの係数を有する。好ましくは、デジタルビデオ信号において、測定可能成分は1フレームのクロミナンス値又は輝度値であり、生成されたシグネチャは、フレームのクロミナンス値又は輝度値を表すヒストグラムの係数を有する。
【0062】
UMID−図6及び図7
UMIDについては、参考文献[2]に記載されている。図6に拡張UMIDを示す。ベーシックUMIDからなる32バイトの第1セットと、シグネチャメタデータからなる32バイトの第2セットを有している。
【0063】
32バイトの第1セットはベーシックUMIDである。以下はその成分である。
【0064】
・この第1セットをSMPTE UMIDとして識別するための12バイトのユニバーサルラベル。これは、UMIDが識別するマテリアルのタイプを定めるとともに、グローバル的にユニークなマテリアル番号とローカル的にユニークなインスタンス番号を作成する方法も定める。
・UMIDの残りの長さを定める1バイトの長さ値。
・同じマテリアル番号を持つ異なるマテリアルインスタンスを区別するのに用いられる3バイトのインスタンス番号。
・各クリップを識別するのに用いられる16バイトのマテリアル番号。各マテリアル番号は同じマテリアルの関連するインスタンスについては同じである。
【0065】
1セットのパックされたメタデータアイテムとしての、シグネチャメタデータからなる32バイトの第2セットは、拡張UMIDを作成するのに用いられる。拡張UMIDは、ベーシックUMIDのすぐ後にシグネチャメタデータがくるものであり、シグネチャメタデータは以下の成分からなる。
【0066】
・コンテンツユニット作成の日時を識別する8バイトの日時コード。
・コンテンツユニット作成時の空間座標を定める12バイトの値。
・国、団体、ユーザの各コードを登録する4バイトのコードが3つ。
【0067】
ベーシック及び拡張UMIDの各成分について以下に説明する。
【0068】
「12バイトのユニバーサルラベル」
UMIDの最初の12バイトは、表1に定めた登録ストリング値によりUMIDの識別を行う。
【0069】
【表1】

Figure 0004733332
【0070】
表1中の16進数の値は変更してもよい。これらの値は一例である。また、第1〜第12バイトは、表中に示すもの以外の指定であってよい。表1に示す例では、第4バイトは、第5〜第12バイトがSMPTEに合致するデータフォーマットに関することを示す。第5バイトは、第6〜第10バイトが「ディクショナリ」データに関することを示す。第6バイトは、このようなデータが第7〜第10バイトにより定義される「メタデータ」であることを示す。第7バイトは、第9及び第10バイトにより定義されるメタデータを含むディクショナリの一部を示す。第8バイトは、ディクショナリのバーションを示す。第9バイトはデータのクラスを示し、第10バイトはそのクラスにおける特定アイテムを示す。
【0071】
本実施例では、第1〜第10バイトが予め割り当てられた固定値を有している。第11バイトは変数である。図7及び上記の表1を参照して、UMIDのラベルの第1〜第10バイトは固定されていることがわかる。従って、これらのバイトは、第1〜第10バイトを表す1バイトの「タイプ」コードTにより置き換えることができる。タイプコードTの後には長さコードLが来る。これに続いて、一方が表1の第11バイトであるとともに他方が表1の第12バイトである2バイトと、インスタンス番号(3バイト)と、マテリアル番号(16バイト)がある。また、任意であるが、マテリアル番号の後に拡張UMIDのシグネチャメタデータ及び/又は他のメタデータを配置してもよい。
【0072】
UMIDタイプ(第11バイト)は、以下ように4つの異なるデータタイプをそれぞれ識別するための4つの値を有している。
【0073】
「01h」=ピクチャマテリアルのUMID
「02h」=オーディオマテリアルのUMID
「03h」=データマテリアルのUMID
「04h」=グループマテリアル(例えば、関連する内容の組み合わせ)のUMID
12バイトのラベルの最後の(第12)バイトは、マテリアル及びインスタンス番号を作成する方法を識別する。このバイトはトップニブルとボトムニブルに分割され、トップニブルがマテリアル番号作成方法を定義するとともに、ボトムニブルがインスタンス番号作成方法を定義する。
【0074】
「長さ」
長さは、ベーシックUMIDについての値「13h」と拡張UMIDについての値「33h」を有する1バイトの数字である。
【0075】
「インスタンス番号」
インスタンス番号は、規格で定められた幾つかの手段のうちのいずれにより作成されるユニークな3バイトの番号である。インスタンス番号により、あるクリップの特定の「インスタンス」と外部の関連するメタデータとのリンクが得られる。このインスタンス番号がないと、すべてのマテリアルが、マテリアルのいずれのインスタンスとも、また、それに関連するメタデータとも結びついてしまう。
【0076】
新たなクリップの作成には、ゼロのインスタンス番号とともに新たなマテリアル番号の作成が必要である。従って、非ゼロのインスタンス番号は、関連するクリップがソースマテリアルではないことを示す。インスタンス番号は主として、あるクリップの特定のインスタンスに関する関連メタデータを識別するのに使用される。
【0077】
「マテリアル番号」
16バイトのマテリアル番号は、規格で定められた幾つかの手段のうちのいずれかにより作成されうる非ゼロ番号である。この番号は、6バイトの登録ポートID番号、時間、乱数発生器によって変わる。
【0078】
「シグネチャメタデータ」
シグネチャメタデータから成分はいずれも、有意義な値を入れることができない場合には、ヌルフィルを行うことができる。ヌルフィルされた成分はいずれも、後段のデコーダに対してその成分が有効でないことを明確に示すため、完全にヌルフィルされる。
【0079】
「日時フォーマット」
日時フォーマットは8バイトであり、その最初の4バイトは時間成分に基づくUTC(ユニバーサルタイムコード)である。時間は、内容のタイプによって、AES3の32ビットオーディオサンプルクロック又はSMPTE12Mのいずれかにより定められる。
【0080】
後の4バイトは、SMPTE309Mで定義するようなモディファイドジュリアンデータ(MJD)に基づくデータを定める。これは、1858年11月17日午前0時から999,999日をカウントし、西暦4597年までの日付を可能とする。
【0081】
「空間座標フォーマット」
空間座標値は、以下のように定義される3成分からなる。
・高度:99,999,999メートルまでを特定する8個の10進数。
・経度:東経/西経180.00000度(少数第5位まで有効)を特定する8個の10進数。
・緯度:北緯/南緯90.00000度(少数第5位まで有効)を特定する8個の10進数。
【0082】
高度の値は、地球の中心からの値をメートルで表したものなので、海水面より低い高度も可能とする。
【0083】
なお、空間座標はほとんどのクリップについてスタティックであるが、すべての場合にあてはまるわけではない。乗り物に取り付けたカメラ等の移動ソースから取り込まれたマテリアルの場合、空間座標値が変化することもある。
【0084】
「国コード」
国コードは、ISO3166で定めたセットに応じた短縮形の4バイトの英数字ストリングである。登録されていない国は、SMPTEレジストレーションオーソリティから登録英数字ストリングを得ることができる。
【0085】
「団体コード」
団体コードは、SMPTEに登録された短縮形の4バイトの英数字ストリングである。団体コードは、それらの登録国コードに関してのみ意味を持つので、団体コードは異なる国においても同じ値を有することができる。
【0086】
「ユーザコード」
ユーザコードは、各団体によりローカル的に割り当てられるが、グローバル的に登録されてはいない4バイトの英数字ストリングである。ユーザコードは、それらの登録団体コード及び国コードに関してのみ定められるので、ユーザコードは異なる団体や国においても同じ値を有することができる。
【0087】
「フリーランスオペレータ」
フリーランスオペレータは、国コードとして自分の居住国を使用し、例えばSMPTEに登録することができる8バイトのコードに結合された団体コード及びユーザコードを使用する。これらのフリーランスコードは、「〜」の記号(ISO8859文字番号7Eh)で始まり、その後に登録された7桁の英数字ストリングを有する。
【0088】
なお、上述の説明から、UMIDは、ビデオマテリアルだけでなく、オーディオマテリアル、データマテリアル、マテリアルグループも識別するのに用いることができることがわかる。
【0089】
メタデータ−図8
以下、プログラムの作成中に生成することが可能なメタデータの種類と、そのメタデータを構成するのに可能な構成アプローチについて、例を用いて説明する。ウォーターマークとしてビデオに埋め込まれたUMIDは、データベースにおいて関連するメタデータにビデオをリンクするアイデンティファイアとして機能する。
【0090】
図8は、メタデータを構成するための構造例を示す。メタデータをそれぞれ有する多数のフィールドからなる多数のテーブルが設けられている。これらのテーブルは、各テーブル内の共通のフィールドにより互いに関連付けられることにより、リレーショナル構造を得ることができる。また、この構造は、テーブルが表すオブジェクトの多数のインスタンスを表すために、同じテーブルの多数のインスタンスを有してもよい。フィールドは所定の方法でフォーマットされる。フィールドのサイズも所定のものとすることができる。サイズの例としては、2バイトを表す「Int」、4バイトを表す「LongInt」、8バイトを表す「Double」がある。また、フィールドのサイズを、例えば8、10、16、32、128、255文字等、フィールド内に保持する文字数を参照して定めることもできる。
【0091】
この構造について詳細に説明すると、プログラムテーブルがある。プログラムテーブルは、プログラムID(PID)、タイトル、ワーキングタイトル、ジャンルID、一覧、アスペクト比、ディレクターID、ピクチャスタンプを含む多数のフィールドを有している。プログラムテーブルに関連して、ジャンルテーブル、キーワードテーブル、スクリプトテーブル、ピープルテーブル、スケジュールテーブル、及び、複数のメディアオブジェクトテーブルがある。
【0092】
ジャンルテーブルは、プログラムテーブルのジャンルIDフィールドと関連付けられたジャンルIDと、ジャンルディスクリプションとを含む多数のフィールドを有している。
【0093】
キーワードテーブルは、プログラムテーブルのプログラムIDフィールドと関連付けられたプログラムIDと、キーワードIDと、キーワードとを含む多数のフィールドを有している。
【0094】
スクリプトテーブルは、スクリプトID、スクリプト名、スクリプトタイプ、ドキュメントフォーマット、パス、作成日、原作者、バージョン、最終変更日、変更者、プログラムIDに関連付けられたPID、ノートと含む多数のフィールドを有している。ピープルテーブルは、イメージを含む多数のフィールドを有している。
【0095】
ピープルテーブルは、多数の個別テーブルと多数のグループテーブルに関連付けられている。各個別テーブルは、イメージを含む多数のフィールドを有している。各グループテーブルは、イメージを含む多数のフィールドを有している。各個別テーブルは、プロダクションスタッフテーブル又はキャストテーブルのいずれかと関連付けられている。
【0096】
プロダクションスタッフテーブルは、プロダクションスタッフID、姓、ファーストネーム、契約ID、エージェント、エージェンシーID、Eメール、住所、電話番号、役割ID、ノート、アレルギー、誕生日、国民保険番号、バンクID、ピクチャスタンプを含む多数のフィールドを有している。
【0097】
キャストテーブルは、キャストID、姓、ファーストネーム、役名、契約ID、エージェント、エージェンシーID、エクイティ番号、Eメール、住所、電話番号、誕生日、バンクID、ピクチャスタンプを含む多数のフィールドを有している。プロダクションスタッフテーブルとキャストテーブルに関連して、バンクディテールテーブルとエージェンシーテーブルがある。
【0098】
バンクディテールテーブルは、プロダクションスタッフテーブルのバンクIDフィールドとキャストテーブルのバンクIDフィールドに関連付けられたバンクID、ソートコード、口座番号、口座名を含む多数のフィールドを有している。
【0099】
エージェンシーテーブルは、プロダクションスタッフテーブルのエージェンシーIDフィールドとキャストテーブルのエージェンシーIDフィールドに関連付けられたエージェンシーID、名称、所在地、電話番号、ウェブサイト及びEメール、ピクチャスタンプを含む多数のフィールドを有している。また、プロダクションスタッフテーブルに関連して役割テーブルがある。
【0100】
役割テーブルは、プロダクションスタッフテーブルの役割IDフィールドに関連付けられた役割ID、職務、ノート、ピクチャスタンプを含む多数のフィールドを有している。各グループテーブルは、団体テーブルと関連付けられている。
【0101】
団体テーブルは、団体ID、名称、種類、所在地、契約ID、連絡先名、連絡先電話番号、ウェブサイト、ピクチャスタンプを含む多数のフィールドを有している。
【0102】
各メディアオブジェクトテーブルは、メディアオブジェクトID、名称、ディスクリプション、ピクチャスタンプ、PID、フォーマット、スケジュールID、スクリプトID、マスタIDを含む多数のフィールドを有している。各メディアオブジェクトテーブルに関連して、ピープルテーブル、マスタテーブル、スケジュールテーブル、ストーリーボードテーブル、スクリプトテーブル、及び多数のショットテーブルがある。
【0103】
マスタテーブルは、メディアオブジェクトテーブルのマスタIDフィールドに関連付けられたマスタID、タイトル、ベーシックUMID、EDL ID、テープID、継続時間、ピクチャスタンプを含む多数のフィールドを有している。
【0104】
スケジュールテーブルは、スケジュールID、スケジュール名、ドキュメントフォーマット、パス、作成日、原作者、開始日、終了日、バージョン、最終変更日、変更者、ノート、プログラムIDに関連付けられたPIDを含む多数のフィールドを有している。
【0105】
契約テーブルは、プロダクションスタッフテーブルとキャストテーブルと団体テーブルの契約IDに関連付けられた契約ID、開始日、レート、ジョブタイトル、満了日、詳細を含んでいる。
【0106】
ストーリーボードテーブルは、ショットテーブルのストーリーボードに関連付けられたストーリーボードID、ディスクリプション、著者、パス、メディアIDを含む多数のフィールドを有している。
【0107】
各ショットテーブルは、ショットID、PID、メディアID、タイトル、ロケーションID、ノート、ピクチャスタンプ、スクリプトID、スケジュールID、ディスクリプションを含む多数のフィールドを有している。各ショットテーブルに関連して、ピープルテーブル、スケジュールテーブル、スクリプトテーブル、ロケーションテーブル、及び、多数のテイクテーブルがある。
【0108】
ロケーションテーブルは、ショットテーブルのロケーションIDフィールドに関連付けられたロケーションID、GPS、所在地、ディスクリプション、名称、1時間毎の費用、ディレクション、連絡先名、連絡先住所、連絡先電話番号、ピクチャスタンプを含む多数のフィールドを有している。
【0109】
各テイクテーブルは、ベーシックUMID、テイク番号、ショットID、メディアID、タイムコード・イン、タイムコード・アウト、サインメタデータ、テープID、カメラID、ヘッド時間、ビデオグラファ、インスタンプ、アウトスタンプ、レンズID、オートID、取り込みID、ノートを含む多数のフィールドを有している。各テイクテーブルに関連して、テープテーブル、タスクテーブル、カメラテーブル、レンズテーブル、取り込みテーブル、及び、多数のテイクアノテーションテーブルがある。
【0110】
取り込みテーブルは、テイクテーブルにおける取り込みIDに関連付けられた取り込みIDと、ディスクリプションとを含んでいる。
【0111】
テープテーブルは、テイクテーブルのテープIDフィールドに関連付けられたテープID、PID、フォーマット、最大継続時間、第1用途、最大削除、現削除、ETA(予測到着時刻)、最終削除日、ピクチャスタンプを含む多数のフィールドを有している。
【0112】
タスクテーブルは、タスクID、PID、テイクテーブルのメディアID及びショットIDフィールドに関連付けられたメディアID及びショットID、タイトル、タスクノート、分配リスト、CCリストを含む多数のフィールドを有している。タスクテーブルに関連して、プランドショットテーブルがある。
【0113】
プランドショットテーブルは、プランドショットID、タスクテーブルのPID、メディアID、ショットIDにそれぞれ関連付けられたPID、メディアID、ショットID、ディレクター、ショットタイトル、ロケーション、ノート、ディスクリプション、ビデオグラファ、期日、プログラムタイトル、メディアタイトル、アスペクト比、フォーマットを含む多数のフィールドを有している。
【0114】
カメラテーブルは、テイクテーブルのカメラIDフィールドに関連付けられたカメラID、製造者、モデル、フォーマット、シリアル番号、ヘッド時間、レンズID、ノート、連絡先名、連絡先住所、連絡先電話番号、ピクチャスタンプを含む多数のフィールドを有している。
【0115】
レンズテーブルは、テイクテーブルのレンズIDフィールドに関連付けられたレンズID、製造者、モデル、シリアル番号、連絡先名、連絡先住所、連絡先電話番号、ピクチャスタンプを含む多数のフィールドを有している。
【0116】
各テイクアノテーションテーブルは、テイクアノテーションID、ベーシックUMID、タイムコード、シャッタースピード、アイリス、ズーム、ガンマ、ショットマーカID、フィルタホイール、詳細及び利得を含む多数のフィールドを有している。各テイクアノテーションテーブルに関連して、ショットマーカテーブルがある。
【0117】
ショットマーカテーブルは、テイクアノテーションテーブルのショットマーカIDに関連付けられたショットマーカIDと、ディスクリプションとを含む多数のフィールドを有している。
【0118】
上述の説明では、ビデオマテリアルを例として本発明を説明したが、本発明は、ビデオマテリアル、オーディオマテリアル、データマテリアルのいずれか1以上に適用することができる。
【0119】
UMIDは例えば32〜64ビットと長い。ウォーターマークは、データベースに記憶されたUMIDに関する別の短いアイデンティファイアを有してもよい。このように、ウォーターマークが基づくコードは間接的にマテリアルを識別する。
【0120】
本発明の実施例ではデジタル信号を使用しているので、プログラマブルデジタル信号プロセッサを用いて本発明を行うことができる。従って、本発明には、デジタル信号プロセッサで動作する場合に本発明を行うコンピュータプログラム製品と、このようなコンピュータプログラム製品を記憶する記憶媒体も含まれる。
【図面の簡単な説明】
【図1】 本発明にかかるシステムを示す概略ブロック図である。
【図2】 ウォーターマーキングシステムを示す概略ブロック図である。
【図3】 ウォーターマーキングシステムを示す概略ブロック図である。
【図4】 シグネチャ生成及び検出システムを示す概略ブロック図である。
【図5】 シグネチャ生成及び検出システムを示す概略ブロック図である。
【図6】 マテリアルアイデンティファイアのデータ構造を示す図である。
【図7】 マテリアルアイデンティファイアのデータ構造を示す図である。
【図8】 メタデータベースにおけるデータ構造例を示す図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to material identification. The present invention also relates to a method and apparatus for identifying such a material. Thus, the material is represented by an information signal, preferably a digital signal.
[0002]
The material may be one or more of video material, audio material, and data material. The video material will be described below for convenience of explanation. However, the present invention is not limited to video material. The present invention can also be applied to audio material. Further, the present invention can be applied to data material other than audio and video.
[0003]
[Prior art]
It is known to identify video material by adding “watermarks” to the video signal. A watermark is an encoded signal and is combined with a video signal. The watermark can be combined in such a way that the encoded signal is not visible or hardly visible in the displayed image. The encoded signal can be detected in the video signal. This is used, for example, to detect piracy. However, the watermark may be intentionally or accidentally damaged or removed by further processing of the material, for example by editing or adding special effects.
[0004]
DISCLOSURE OF THE INVENTION
The present invention provides a material identification method comprising the steps of inserting an identification code into a material as a watermark and extracting a signature from the material.
[0005]
The step of retrieving the signature may be before or after the step of inserting the watermark.
[0006]
In a preferred embodiment of the present invention, the signature is data taken from the data characteristics of the material or from the data characteristics of the material. The signature is extracted from the material. For example, the signature may be the position of the maximum and minimum values of the signal. Also, for example, the signature may be the coordinates of the brightest and darkest pixels of each frame in the video sequence. The signature may also be a histogram of measurable components of the material. For example, it may be a histogram of chrominance values of a video sequence. Signatures vary by material. The signature is retrieved from the material without the need to add data to the material.
[0007]
The present invention also provides an apparatus having a code generator for generating an identification code, a watermark generator for generating a watermark from the code and combining the watermark with a material, and a signature generator for extracting a signature from the material. To do.
[0008]
The watermark is vulnerable to damage and / or removal from the video material. If the watermark is damaged or removed, it becomes difficult or impossible to prove the origin of the material. The properties of the material that generates the signature can also be damaged or removed, but not the same process as the removal or damage of the watermark. Taking a signature that is a property of the material and having a watermark provides two independent means of proving its origin. Thus, if one side is damaged or removed, the other can be used to prove the origin.
[0009]
By providing a code as a watermark on the material, the material retains an ID in a series of productions and distributions after the code is provided. Further, a separate channel such as an identification code tape track is not required. Thereby, subsequent material processing becomes easy by associating and holding the identification code with the material.
[0010]
In the preferred method, this code identifies the material instead of or in addition to identifying ownership.
[0011]
The code is preferably used to associate the material with the metadata associated with the material.
[0012]
More preferably, the signature and identification code are stored in a database. Monitor the material to determine if a watermark is included. The monitored material is processed to extract the signature. If a watermark exists, the watermark and retrieved signature are compared with the watermark and signature in the database to determine the origin of the material.
[0013]
In one embodiment of the present invention, the material is recorded on an example of a recording medium, and the identification code is a code that identifies an example of the recording medium. The identification code may be a serial number, for example. The identification code may be used to refer to a UMID (unique material identifier).
[0014]
In other embodiments, the code is a UMID.
[0015]
Since the UMID and the code for identifying an example of the recording medium are shorter than the conventional watermark code, they can withstand the processing of the material and are difficult to remove.
[0016]
In one embodiment where the code is UMID, the instance number of the UMID is used to give each UMID and a unique watermark to each individual user or group of users for multiple copies of a material piece.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
For better understanding of the present invention, embodiments of the present invention will be described below with reference to the accompanying drawings.
[0018]
Hereinafter, the present invention will be described using video materials. Note that the present invention is not limited to video material.
[0019]
Overview
Referring to FIG. 1, video source 880 provides video material. The source may be a camera, video tape recorder, video server, or other suitable source. A watermark generator 882 inserts or adds a watermark to the video material. Watermarking will be described later in the “Watermarking” section. In the preferred embodiment of the present invention, the watermark is generated from the UMID. The UMID is generated by a UMID generator 886. The UMID will be described later in the “UMID” section. Thus, in the preferred embodiment, a watermark based on UMID identifies the material and the material owner can also be identified. The UMID can identify a material with an accuracy of one frame. Thus, in the preferred embodiment, a watermark exists for each frame and uniquely identifies each frame. In another preferred embodiment, the instance number field of the UMID is used as a “fingerprint” that distinguishes various authorized users of the material.
[0020]
Video material from the source is also fed to a signature generator 884 that extracts the signature from the material. The signature will be described later in the “Signature” section.
[0021]
A database processor 894 is also provided. This is connected to the UMID generator 886 and the signature generator 884 via suitable communication links such as cables, RF links, computer network links, and the like. Database 894 stores the UMID and signature generated by generators 884 and 886. Database 894 associates the signature retrieved from the video material with the UMID attached to the same material.
[0022]
The material with the watermark is distributed or transmitted to the user via the distribution / transmission network 888. A monitoring station 890 monitors the network 888 to detect signatures and watermarks in the video material. For example, the material is broadcast. Station 890 includes a receiver and a video recorder that records the received video. The station also has the same signature generator 891 as the generator 884. The station also has a watermark detector 893. The received video is processed at the station and the signature is extracted from the material by exactly the same process as that performed by the generator 884. Also, the received video is processed and if there is a watermark, it is taken out and the watermark UMID is detected.
[0023]
The signature and UMID extracted from the received material are compared with the signature and UMID in the database 894 (892). The material distributed in this way can be confirmed and, for example, misuse can be detected. Further, since the UMID uniquely identifies the material, for example, royalty can be collected by the UMID.
[0024]
It is advantageous to have both a signature and a watermark, as watermarks can be removed or at least damaged in the distribution network, especially when material is processed by editing or applying special effects. There is also a possibility of intentionally removing the watermark. Similarly, video material may be modified by a process that reduces the likelihood of retrieving matching signatures from the original and processed material. By providing both, one can be used to confirm the origin of the material.
[0025]
Database 894 may include metadata associated with the material by UMID regarding the material. An example of metadata held by the database 894 will be described later in the “Metadata” section.
[0026]
Watermarking-Figures 2 and 3
The amount of information is increasing, and in particular, the amount of information on digitally recorded, stored, and distributed video is increasing. Such information is easy to duplicate, but is problematic because the copyright of the underlying work can be easily infringed by unauthorized copies. For this reason, the copyright holder must be able to show that there is no proper protection against the copy, or that the particular work sample was taken from the copyright holder's work and is an unauthorized copy that infringes the rights. For example, they don't like making copyrighted works available or distributed.
[0027]
One possible technique for obtaining a solution to this problem is digital watermarking. With digital watermarking, for example, a code including information for identifying an owner or a distributor and / or an authentication code can be embedded in a digital work. The digital watermark may be used with other deterrence means such as encryption.
[0028]
A digital watermark is referred to below as a watermark, but the watermark must be unique, for example, to clearly identify the owner or distributor and / or provide an authentication code. This is a technique often called fingerprinting. The watermark itself may be a digital work such as an image, audio, or video. The watermark can also include an indication that the work can be copied freely, cannot be copied at all, or can be copied a predetermined number of times.
[0029]
Preferably, the watermark should be such that it cannot be detected, changed or removed by unauthorized persons. Also, the watermark should not degrade the base work prominently. However, the watermark must be easily recognized by an authorized person so that the owner and / or distributor can be identified.
[0030]
The watermark must be able to be easily embedded in the underlying digital work. Preferably, the embedding technique can be easily performed during recording, thereby adding a watermark to the work at the source, minimizing the possibility of using a work without the watermark.
[0031]
The watermark can be placed, for example, in the header or label of the digital work, or it can be embedded in the data field of the digital work itself. Preferably, the watermark is played back many times in the work, more preferably present in each frame of the digital work. Alternatively, the watermark may be placed directly on the medium having the digital work.
[0032]
The watermark can be robust so that a person attempting an unauthorized copy cannot be removed or degraded. If the robust watermark is illegally removed, the data is seriously deteriorated and the data cannot be used. When data includes a lot of extra information such as a video, a robust watermark is likely to be attacked by, for example, a frame drop. Thus, a robust watermark should preferably be able to withstand such attacks, and may use error correction / recovery techniques that change from frame to frame and apply to data, for example.
[0033]
Also, the watermark may be fragile so as to be damaged if unauthorized copying is performed.
[0034]
However, the watermark should preferably be reversible and removable by the owner if necessary. The removal of the watermark is particularly effective in the post-production stage, for example, in order to reduce the cumulative effect of the watermark of the base work. In addition, when editing information from various sources, it is desirable to add another watermark to the edited product.
[0035]
The end user equipment can be configured to recognize the watermark so as not to allow copying of the protected work. In addition, the device can be configured to operate only on a work obtained from a specific owner and distributed via a specific distributor, or only a work having a specific authentication code.
[0036]
The watermark can be taken out by comparing the data with the watermark with the data without the watermark and confirming the validity.
[0037]
Two methods for embedding a watermark in the data field of a digital work are described in detail below. The first method embeds the watermark in the spatial domain, and the second method embeds the watermark in the frequency domain. Neither embedding process should cause significant degradation of the watermarked data.
[0038]
Spatial area watermark
Generally speaking, in this process, a predetermined data bit is changed by a watermark bit for creating watermarked data. The presence of the watermark can be determined by performing a cancellation operation on the data with the watermark.
[0039]
One approach is to embed the watermark by replacing the lower bits of the pseudo-randomly selected data with bits representing the watermark. However, these watermarks are easily destroyed by processing the least significant bit of data. Another approach is to insert a geometric pattern representing the watermark into the data. However, these watermarks are easily destroyed by data geometric processing. As yet another approach, the watermark is embedded in a manner similar to quantization noise. This will be described later with reference to FIG. 5, and the document “Embedding Secret Information into a Dithered Multi-Level Image” K Tanaka et al., IEEE Military Communications Conference, 1990, pp.216-220 and the document “Video Steganography”. K Mitsui, IMA Intellectual Property Proceedings, volume 1, 1994, pp.187-296 has a detailed explanation. However, these watermarks are easily destroyed by signal processing, particularly data requantization.
[0040]
Referring now to FIG. 2, source 650 generates a digital data signal 652 such as digital video. The watermark inserter 700 is connected to the source 650 and receives the digital data signal 652. The watermark inserter 700 adds a watermark to the digital data signal 652 by a method similar to re-quantization noise, thereby adding a watermark 663 to generate data 705 with the watermark. The storage device 670 is connected to the watermark inserter 700 and stores data 705 with a watermark.
[0041]
As yet another approach, n pairs of image points (ai, bi) are randomly selected to increase the brightness of ai by 1 and decrease the brightness of bi by 1. If certain statistical properties of the image are met, the sum of the differences between the n pairs of points is 2n.
[0042]
Alternatively, when the data signal is composed of at least two components (for example, [Y, U, V] according to MPEG, PAL, and NTC), watermarks can be embedded by assigning values that do not normally occur in combination to these components. For example, when embedding a watermark in video data having two image fields, a positive watermark is arranged in the first field and a negative watermark is arranged in the second field. When the image field is reproduced, there is a masking effect due to the interlace of the field, and the visibility of the watermark is greatly reduced.
[0043]
Frequency domain watermark
Generally speaking, this process obtains a frequency spectrum image of the data to be watermarked. The watermark is embedded in a predetermined component of the frequency spectrum image. After that, the frequency spectrum image with the watermark is subjected to inverse transformation to generate data with the watermark. The watermark can be extracted by performing a cancellation operation on the data with the watermark.
[0044]
One approach is to divide the data into blocks and compute the discrete cosine transform (DCT) for each of these blocks. Thereafter, the frequency coefficient of each block is adjusted. A pseudo-random subset of blocks is selected, and in each such block, the frequency coefficients of the predetermined subset are adjusted such that the relative value encodes the data bits. The variation of the relative value and the selection of a predetermined subset of frequencies must be made insensitive to the watermark. This watermark is susceptible to damage from noise and further processing.
[0045]
Also, as described in detail in European Patent Application 0766468 by NEC, watermarks can be encoded by fine-tuning each frequency coefficient. This has the advantage of making the watermark less susceptible to damage, but increases the overall noise level.
[0046]
Referring now to FIG. 3, source 650 generates a digital data signal 652 such as digital video. The frequency converter 655 is connected to the source 650 and receives the digital data signal 652. The frequency converter 655 converts the digital data signal 652 into the frequency spectrum data 657 using, for example, discrete cosine transform or fast Fourier transform. The watermark inserter 660 is connected to the frequency converter and receives the frequency spectrum data 657. The watermark inserter adds the watermark 663 by adjusting each coefficient of the frequency spectrum data 657, and generates the frequency spectrum data 663 with the watermark. The inverse frequency converter 665 is connected to the watermark inserter 660 and receives the frequency spectrum data 663 with the watermark. The inverse frequency converter 665 converts the frequency spectrum data 663 with a watermark into data 667 with a watermark. The storage device 670 is connected to the inverse frequency converter 665 and stores data 667 with a watermark.
[0047]
Yet another approach is to use the presence of the so-called masking phenomenon in the human visual and auditory system to increase the change for a particular frequency coefficient. Masking occurs when an area of data is disturbed by a perceptually more prominent area of the data. However, these areas must be identified before the insertion of the watermark, which increases the complexity of embedding.
[0048]
As yet another approach, digital data is compressed and watermarks are embedded in the x and y coordinates of the motion vector of the compressed data. This is more robust to processing because it has the advantage that the watermark is embedded after compression.
[0049]
Signature-FIGS. 4 and 5
The amount of information is increasing, and in particular, the amount of information on digitally recorded, stored, and distributed video is increasing. Such information is easy to duplicate, but is problematic because the copyright of the underlying work can be easily infringed by unauthorized copies. For this reason, the copyright holder must be able to show that there is no proper protection against the copy, or that the particular work sample was taken from the copyright holder's work and is an unauthorized copy that infringes the rights. For example, they don't like making copyrighted works available or distributed.
[0050]
One technique for solving this problem is to use a so-called digital signature. A digital signature can be generated for any piece of digital information, such as an image. Digital signatures of works that are suspected of infringement are also generated using the same technique. The correlation between the two signatures shows that the suspicious work is a copy of the original work.
[0051]
For digital work such as audio or video, for example, a sequence of digital signatures can be generated from individual frames of data, for example. A sequence of digital signatures for a work that is suspected of being infringed can also be generated using the same technique. The correlation between two consecutive signature sequences shows that the suspicious work is a copy of the original work.
[0052]
The digital signature may be used with other deterrent means such as watermarking or encryption.
[0053]
The digital signature is hereinafter referred to as a signature, but is preferably easily generated from the work. Preferably, the signature is generated by applying an algorithm in the work.
[0054]
Preferably, the algorithm generates a signature related to the empirical nature of the work. Preferably, the algorithm should be robust so that a high correlation between the signature generated from the original work and the signature generated from the copy work can be maintained. Preferably, the algorithm should be robust to easily implemented processing techniques and noise introduction.
[0055]
The signature of the original work can be generated and stored for later reference. Preferably, an automated system can be used to monitor a data stream containing suspicious work. The automation system generates suspicious work signatures, compares them to the stored original work signatures, and alerts the original work owner if there is a correlation.
[0056]
The end-user equipment may be configured to recognize the signature of the original work so as not to allow copying of the original work. Further, the device may be configured to play back only works having a predetermined signature.
[0057]
Hereinafter, the signature generation process will be described in detail with reference to FIG. Source 850 generates a digital data signal 852, such as an original digital video work. Signature generator 855 is connected to source 850 and receives digital data signal 852. Signature generator 855 generates signature 857 by applying algorithm 856 to digital data signal 852. Storage device 860 is connected to signature generator 855 and stores signature 857 associated with digital data signal 852.
[0058]
Next, the process of determining whether or not the suspicious work is a copy of the original work will be described in detail with reference to FIG. Source 865 generates a digital data signal 867, such as an original digital video work. Signature generator 855 is connected to source 865 and receives digital data signal 867. Signature generator 855 generates signature 858 by applying algorithm 856 to digital data signal 867. The signature comparator 870 is connected to the signature generator 855 and the storage device 860. The storage device 860 has a signature of the original digital data work. Signature comparator 870 receives signature 858 and compares the signature in storage 860 with signature 858 and generates an alarm signal 873 if there is a correlation. Alarm 875 is connected to signature comparator 870 and generates an alarm upon receipt of alarm signal 873.
[0059]
Next, two possible algorithms for signature generation are described in detail.
[0060]
The first algorithm generates a signature by determining the position of the feature in the work. The digital data signal is analyzed to determine, for example, the position of the maximum and minimum values of the signal. The generated signature has the position of the maximum and minimum values of the signal, either by the spatial coordinate system or the bit number of the data stream. Preferably, in a digital video signal, these maximum and minimum values correspond to the highest and lowest chrominance values of a frame of pixels, and the generated signature has the coordinates of these pixels.
[0061]
The second algorithm generates a signature by determining a histogram of the work. The digital data signal is analyzed to determine the measurable component of the signal. The generated signature has histogram coefficients representing these measurable components. Preferably, in the digital video signal, the measurable component is a chrominance value or luminance value of one frame, and the generated signature has a histogram coefficient representing the chrominance value or luminance value of the frame.
[0062]
UMID—FIGS. 6 and 7
UMID is described in reference [2]. FIG. 6 shows the extended UMID. It has a first set of 32 bytes consisting of basic UMID and a second set of 32 bytes consisting of signature metadata.
[0063]
The first set of 32 bytes is a basic UMID. The following are the components.
[0064]
A 12-byte universal label for identifying this first set as SMPTE UMID. This defines the type of material that the UMID identifies, as well as how to create a globally unique material number and a locally unique instance number.
A 1-byte length value that defines the remaining length of the UMID.
A 3-byte instance number used to distinguish between different material instances with the same material number.
A 16-byte material number used to identify each clip. Each material number is the same for related instances of the same material.
[0065]
A second set of 32 bytes of signature metadata as a set of packed metadata items is used to create an extended UMID. In the extended UMID, signature metadata comes immediately after the basic UMID, and the signature metadata includes the following components.
[0066]
An 8-byte date / time code that identifies the date / time when the content unit was created
A 12-byte value that determines the spatial coordinates when creating the content unit.
• Three 4-byte codes for registering country, group, and user codes.
[0067]
The basic and extended UMID components will be described below.
[0068]
"12-byte universal label"
The first 12 bytes of the UMID identify the UMID with a registered string value defined in Table 1.
[0069]
[Table 1]
Figure 0004733332
[0070]
Hexadecimal values in Table 1 may be changed. These values are examples. The first to twelfth bytes may be specified other than those shown in the table. In the example shown in Table 1, the fourth byte indicates that the fifth to twelfth bytes relate to a data format that matches SMPTE. The fifth byte indicates that the sixth to tenth bytes relate to “dictionary” data. The sixth byte indicates that such data is “metadata” defined by the seventh to tenth bytes. The seventh byte indicates a part of the dictionary including the metadata defined by the ninth and tenth bytes. The eighth byte indicates the dictionary version. The ninth byte indicates the class of data, and the tenth byte indicates a specific item in the class.
[0071]
In this embodiment, the first to tenth bytes have a fixed value assigned in advance. The eleventh byte is a variable. Referring to FIG. 7 and Table 1 above, it can be seen that the first to tenth bytes of the UMID label are fixed. Thus, these bytes can be replaced by a one-byte “type” code T representing the first through tenth bytes. A length code L follows the type code T. Following this, there are 2 bytes, one of which is the 11th byte of Table 1 and the other is the 12th byte of Table 1, an instance number (3 bytes), and a material number (16 bytes). In addition, optionally, the signature metadata of extended UMID and / or other metadata may be arranged after the material number.
[0072]
The UMID type (11th byte) has four values for identifying four different data types as follows.
[0073]
“01h” = UMID of picture material
“02h” = UMID of audio material
“03h” = UMID of data material
“04h” = UMID of group material (for example, combination of related contents)
The last (12th) byte of the 12-byte label identifies how to create the material and instance number. This byte is divided into a top nibble and a bottom nibble, where the top nibble defines the material number creation method and the bottom nibble defines the instance number creation method.
[0074]
"length"
The length is a 1-byte number having a value “13h” for the basic UMID and a value “33h” for the extended UMID.
[0075]
"Instance number"
The instance number is a unique 3-byte number created by any of several means defined in the standard. The instance number provides a link between a particular “instance” of a clip and external related metadata. Without this instance number, all materials are tied to any instance of the material and its associated metadata.
[0076]
Creating a new clip requires creating a new material number with an instance number of zero. Thus, a non-zero instance number indicates that the associated clip is not the source material. Instance numbers are primarily used to identify relevant metadata about a particular instance of a clip.
[0077]
"Material number"
The 16-byte material number is a non-zero number that can be created by any of several means defined in the standard. This number varies depending on the 6-byte registered port ID number, time, and random number generator.
[0078]
"Signature Metadata"
If any component from the signature metadata cannot contain a meaningful value, a null fill can be performed. Any null-filled component is completely null-filled to clearly indicate to the subsequent decoder that the component is not valid.
[0079]
"Date and time format"
The date and time format is 8 bytes, and the first 4 bytes are UTC (Universal Time Code) based on the time component. The time is defined by either the AES3 32-bit audio sample clock or SMPTE12M, depending on the type of content.
[0080]
The latter 4 bytes define data based on modified Julian data (MJD) as defined in SMPTE 309M. This counts 999,999 days from midnight November 17, 1858, allowing dates up to 4597 AD.
[0081]
"Spatial coordinate format"
A spatial coordinate value consists of three components defined as follows.
-Altitude: 8 decimal numbers specifying up to 99,999,999 meters.
Longitude: Eight decimal numbers that specify 180.000 degrees east / west longitude (valid to the fifth decimal place).
Latitude: Eight decimal numbers specifying 90.000 degrees north latitude / south latitude (valid to the fifth decimal place).
[0082]
Since the altitude value is expressed in meters from the center of the earth, altitudes below the sea level are also possible.
[0083]
Note that the spatial coordinates are static for most clips, but not in all cases. In the case of materials captured from a moving source such as a camera attached to a vehicle, the spatial coordinate values may change.
[0084]
"Country code"
The country code is an abbreviated 4-byte alphanumeric string according to the set defined by ISO 3166. Unregistered countries can obtain a registered alphanumeric string from the SMPTE Registration Authority.
[0085]
“Group Code”
The organization code is an abbreviated 4-byte alphanumeric string registered in SMPTE. Since organization codes are meaningful only with respect to their registered country codes, organization codes can have the same value in different countries.
[0086]
"user code"
The user code is a 4-byte alphanumeric string assigned locally by each organization but not globally registered. Since user codes are defined only for their registered organization codes and country codes, user codes can have the same value in different organizations and countries.
[0087]
"Freelance operator"
The freelance operator uses his country of residence as the country code, for example a group code and user code combined with an 8-byte code that can be registered with SMPTE. These freelance codes have a 7 digit alphanumeric string that begins with the "~" symbol (ISO 8859 character number 7Eh) and is subsequently registered.
[0088]
From the above description, it can be seen that UMID can be used to identify not only video material, but also audio material, data material, and material group.
[0089]
Metadata-Figure 8
Hereinafter, the types of metadata that can be generated during the creation of a program and the configuration approach that can be used to configure the metadata will be described using examples. The UMID embedded in the video as a watermark serves as an identifier that links the video to the associated metadata in the database.
[0090]
FIG. 8 shows an example of a structure for configuring metadata. A number of tables comprising a number of fields each having metadata are provided. These tables can be related to each other by a common field in each table to obtain a relational structure. This structure may also have multiple instances of the same table to represent multiple instances of the object that the table represents. The field is formatted in a predetermined way. The field size can also be predetermined. Examples of the size include “Int” representing 2 bytes, “LongInt” representing 4 bytes, and “Double” representing 8 bytes. Also, the size of the field can be determined with reference to the number of characters held in the field, such as 8, 10, 16, 32, 128, 255 characters.
[0091]
A detailed description of this structure is a program table. The program table has a number of fields including a program ID (PID), a title, a working title, a genre ID, a list, an aspect ratio, a director ID, and a picture stamp. In relation to the program table, there are a genre table, a keyword table, a script table, a people table, a schedule table, and a plurality of media object tables.
[0092]
The genre table has a number of fields including a genre ID associated with the genre ID field of the program table and a genre description.
[0093]
The keyword table has a number of fields including a program ID associated with the program ID field of the program table, a keyword ID, and a keyword.
[0094]
The script table has a number of fields including script ID, script name, script type, document format, path, creation date, original author, version, last modified date, modified person, PID associated with the program ID, and notes. ing. The people table has a number of fields containing images.
[0095]
The people table is associated with a number of individual tables and a number of group tables. Each individual table has a number of fields containing images. Each group table has a number of fields containing images. Each individual table is associated with either a production staff table or a cast table.
[0096]
Production Staff Table includes Production Staff ID, Last Name, First Name, Contract ID, Agent, Agency ID, Email, Address, Phone Number, Role ID, Notes, Allergy, Birthday, National Insurance Number, Bank ID, Picture Stamp It has a number of fields to include.
[0097]
The cast table has a number of fields including cast ID, last name, first name, title, contract ID, agent, agency ID, equity number, email, address, phone number, birthday, bank ID, picture stamp. Yes. Related to production staff tables and cast tables are bank detail tables and agency tables.
[0098]
The bank detail table has a number of fields including a bank ID, a sort code, an account number, and an account name associated with the bank ID field of the production staff table and the bank ID field of the cast table.
[0099]
The agency table has a number of fields including the agency ID field associated with the agency ID field in the production staff table and the agency ID field in the cast table, name, location, phone number, website and email, and picture stamp. . In addition, there is a role table related to the production staff table.
[0100]
The role table has a number of fields including a role ID, job, note, and picture stamp associated with the role ID field of the production staff table. Each group table is associated with a group table.
[0101]
The organization table has a number of fields including organization ID, name, type, location, contract ID, contact name, contact phone number, website, and picture stamp.
[0102]
Each media object table has a number of fields including media object ID, name, description, picture stamp, PID, format, schedule ID, script ID, and master ID. Associated with each media object table is a people table, a master table, a schedule table, a storyboard table, a script table, and a number of shot tables.
[0103]
The master table has a number of fields including a master ID, title, basic UMID, EDL ID, tape ID, duration, and picture stamp associated with the master ID field of the media object table.
[0104]
The schedule table has a number of fields including schedule ID, schedule name, document format, path, creation date, original author, start date, end date, version, last modified date, modifier, note, PID associated with the program ID have.
[0105]
The contract table includes a contract ID, a start date, a rate, a job title, an expiration date, and details associated with the contract IDs of the production staff table, cast table, and organization table.
[0106]
The storyboard table has a number of fields including the storyboard ID, description, author, path, and media ID associated with the shot table storyboard.
[0107]
Each shot table has a number of fields including a shot ID, a PID, a media ID, a title, a location ID, a note, a picture stamp, a script ID, a schedule ID, and a description. Associated with each shot table is a people table, a schedule table, a script table, a location table, and a number of take tables.
[0108]
The location table includes the location ID, GPS, location, description, name, hourly cost, direction, contact name, contact address, contact phone number, picture stamp associated with the location ID field of the shot table. It has a number of fields to include.
[0109]
Each take table consists of basic UMID, take number, shot ID, media ID, time code in, time code out, signature metadata, tape ID, camera ID, head time, videographer, instamp, outstamp, lens It has a number of fields including ID, auto ID, capture ID and notes. Associated with each take table is a tape table, task table, camera table, lens table, capture table, and a number of take annotation tables.
[0110]
The capture table includes a capture ID associated with the capture ID in the take table and a description.
[0111]
The tape table includes a tape ID, PID, format, maximum duration, first usage, maximum deletion, current deletion, ETA (predicted arrival time), last deletion date, and picture stamp associated with the tape ID field of the take table. It has many fields.
[0112]
The task table has a number of fields including task ID, PID, media ID and shot ID associated with the take table media ID and shot ID field, title, task note, distribution list, and CC list. In connection with the task table, there is a planned shot table.
[0113]
The plan shot table is a plan shot ID, a task table PID, a media ID, a PID associated with each shot ID, a media ID, a shot ID, a director, a shot title, a location, a note, a description, a videographer, a date, a program It has a number of fields including title, media title, aspect ratio, format.
[0114]
The camera table is the camera ID, manufacturer, model, format, serial number, head time, lens ID, notes, contact name, contact address, contact phone number, picture stamp associated with the camera ID field of the take table Has a number of fields.
[0115]
The lens table has a number of fields including lens ID, manufacturer, model, serial number, contact name, contact address, contact phone number, picture stamp associated with the lens ID field of the take table. .
[0116]
Each take annotation table has a number of fields including take annotation ID, basic UMID, time code, shutter speed, iris, zoom, gamma, shot marker ID, filter wheel, details and gain. Associated with each take annotation table is a shot marker table.
[0117]
The shot marker table has a number of fields including a shot marker ID associated with the shot marker ID of the take annotation table and a description.
[0118]
In the above description, the present invention has been described using video material as an example. However, the present invention can be applied to any one or more of video material, audio material, and data material.
[0119]
The UMID is as long as 32 to 64 bits, for example. The watermark may have another short identifier for the UMID stored in the database. Thus, the code on which the watermark is based indirectly identifies the material.
[0120]
Since embodiments of the present invention use digital signals, the present invention can be implemented using a programmable digital signal processor. Accordingly, the present invention includes a computer program product that implements the present invention when operating on a digital signal processor and a storage medium that stores such a computer program product.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing a system according to the present invention.
FIG. 2 is a schematic block diagram showing a watermarking system.
FIG. 3 is a schematic block diagram showing a watermarking system.
FIG. 4 is a schematic block diagram illustrating a signature generation and detection system.
FIG. 5 is a schematic block diagram illustrating a signature generation and detection system.
FIG. 6 is a diagram illustrating a data structure of a material identifier.
FIG. 7 is a diagram illustrating a data structure of a material identifier.
FIG. 8 is a diagram illustrating an example of a data structure in a meta database.

Claims (35)

識別コードをウォーターマークとしてマテリアルに挿入するステップと、
マテリアルを特徴づける、信号の最大値及び最小値のうち少なくとも一方の位置の分析、又は、マテリアルのクロミナンス値又は輝度値のヒストグラムの分析によって、マテリアルからシグネチャを取り出すステップと、
識別コードとシグネチャをデータベースに記憶するステップと、
ウォーターマークの存在についてマテリアルを調べ、存在する場合は、マテリアルのウォーターマークをデータベース内のウォーターマークと比較するステップと、
マテリアルを特徴づける、信号の最大値及び最小値のうち少なくとも一方の位置の分析、又は、マテリアルのクロミナンス値又は輝度値のヒストグラムの分析によって、マテリアルからシグネチャをさらに取り出し、さらに取り出したシグネチャをデータベース内のシグネチャと比較するステップと
を有するマテリアル識別方法。
Inserting the identification code into the material as a watermark;
Extracting the signature from the material by analyzing the position of at least one of the maximum and minimum values of the signal characterizing the material or analyzing the histogram of the chrominance or luminance values of the material;
Storing the identification code and signature in a database;
Examining the material for the presence of the watermark, and if so, comparing the material's watermark to the watermark in the database;
Extract more signatures from the material by analyzing the position of at least one of the maximum and minimum values of the signal that characterizes the material, or analyzing the histogram of the chrominance or luminance values of the material, and the extracted signatures in the database A material identification method comprising: comparing with a signature of.
識別コードは直接的又は間接的にマテリアルを識別することを特徴とする請求項1記載の方法。The method of claim 1, wherein the identification code identifies the material directly or indirectly. マテリアルに関するメタデータがデータベースに記憶され、識別コードはマテリアルをデータベース内のメタデータに関連付けることを特徴とする請求項1又は2に記載の方法。 3. A method according to claim 1 or 2 , wherein metadata about the material is stored in a database and the identification code associates the material with the metadata in the database. マテリアルはフレームを有し、
識別コードはマテリアルの各フレームに存在することを特徴とする請求項1〜のいずれか1項記載の方法。
The material has a frame,
Identification code any one method of claims 1-3, characterized in that present in each frame of the material.
識別コードはタイムコードを含むことを特徴とする請求項1〜のいずれか1項記載の方法。Any one method of claims 1-4, characterized in that it comprises an identification code a time code. 識別コードはマテリアルの所有者を識別することを特徴とする請求項1〜のいずれか1項記載の方法。Identification code any one method of claims 1-5, characterized in that to identify the owner of the material. 識別コードは間接的にマテリアルを識別することを特徴とする請求項1〜のいずれか1項記載の方法。Identification code indirectly method of any one of claims 1-6, characterized in that to identify the material. マテリアルは記録媒体に記録され、識別コードは、マテリアルが記録された媒体の例を識別することを特徴とする請求項記載の方法。8. The method of claim 7 , wherein the material is recorded on a recording medium and the identification code identifies an example of the medium on which the material is recorded. 識別コードは直接的にマテリアルを識別することを特徴とする請求項1〜のいずれか1項記載の方法。Any one method of claims 1-6 identification code, characterized in that identifying the direct material. 識別コードはマテリアルをユニークに識別することを特徴とする請求項記載の方法。The method of claim 9 , wherein the identification code uniquely identifies the material. 識別コードはUMIDであることを特徴とする請求項10記載の方法。The method of claim 10 , wherein the identification code is a UMID. フィンガープリンティングコードを含むのにUMIDのインスタンス番号フィールドが用いられることを特徴とする請求項11記載の方法。The method of claim 11 , wherein an instance number field of the UMID is used to include the fingerprinting code. 識別コードは、マテリアルの許可されたユーザを識別するデータを含むことを特徴とする請求項1〜12のいずれか1項記載の方法。Identification code, any one method according to claim 1 to 12, characterized in that it comprises data identifying the authorized user of the material. 識別コードがUMIDである場合、許可されたユーザを識別するデータは、UMIDのインスタンス番号フィールドに含まれることを特徴とする請求項13記載の方法。The method of claim 13 , wherein if the identification code is a UMID, data identifying an authorized user is included in the instance number field of the UMID. マテリアルは、ビデオマテリアル、オーディオマテリアル、データマテリアルのいずれか1以上であることを特徴とする請求項1〜14のいずれか1項記載の方法。Material is video material, audio material, any one method according to claim 1-14, characterized in that at any one or more of the data material. ウォーターマークは、周波数領域ウォーターマークと時間領域ウォーターマークの一方であることを特徴とする請求項1〜15のいずれか1項記載の方法。Watermarks method towards any one of claims 1 to 15, characterized in that one of a frequency domain watermark and a time domain watermark. ウォーターマークはロバスト及び/又は取り消し可能であることを特徴とする請求項1〜16のいずれか1項記載の方法。Method towards any one of claims 1 to 16, wherein the watermark is robust and / or revocable. 識別コードを生成するコード生成器と、
識別コードからウォーターマークを生成するとともにウォーターマークをマテリアルと組み合わせるウォーターマーク生成器と、
マテリアルを特徴づける、信号の最大値及び最小値のうち少なくとも一方の位置の分析、又は、マテリアルのクロミナンス値又は輝度値のヒストグラムの分析によって、マテリアルからシグネチャを取り出すシグネチャ生成器と、
識別コードと、シグネチャ生成器により取り出されたシグネチャとを記憶するデータベースプロセッサと、
ウォーターマークの存在についてマテリアルを調べ、かつ、マテリアルを特徴づける、信号の最大値及び最小値のうち少なくとも一方の位置の分析、又は、マテリアルのクロミナンス値又は輝度値のヒストグラムの分析によって、マテリアルからシグネチャを取り出すモニタと、
マテリアルのウォーターマークをデータベース内のウォーターマークと比較し、かつ、モニタにより取り出されたシグネチャをデータベース内のシグネチャと比較するプロセッサと
を有することを特徴とする装置。
A code generator for generating an identification code;
A watermark generator that generates a watermark from the identification code and combines the watermark with the material;
A signature generator that extracts the signature from the material by analyzing the position of at least one of the maximum and minimum values of the signal that characterizes the material, or analyzing the histogram of the chrominance or luminance values of the material;
A database processor for storing the identification code and the signature retrieved by the signature generator ;
Inspect the material for the presence of the watermark , and characterize the material from the material by analyzing the location of at least one of the signal's maximum and minimum values, or analyzing the histogram of the material's chrominance or luminance values Take out the monitor,
And a processor for comparing the watermark of the material with the watermark in the database and comparing the signature retrieved by the monitor with the signature in the database.
識別コードは直接的又は間接的にマテリアルを識別することを特徴とする請求項18記載の装置。The apparatus of claim 18, wherein the identification code directly or indirectly identifies the material. データベースプロセッサは、マテリアルに関するメタデータを記憶し、
装置は、データベースプロセッサへの接続を行う通信リンクを有し、
識別コードはマテリアルをデータベース内のメタデータに関連付けることを特徴とする請求項18又は19に記載の装置。
The database processor stores metadata about materials ,
Apparatus have a communication link for connecting to the database processor,
20. An apparatus according to claim 18 or 19 , wherein the identification code associates material with metadata in the database.
マテリアルはフレームを有し、
生成器は、識別コードをマテリアルの各フレームに挿入するように構成されることを特徴とする請求項18〜20のいずれか1項記載の装置。
The material has a frame,
21. The apparatus of any one of claims 18-20 , wherein the generator is configured to insert an identification code into each frame of material.
識別コードはタイムコードを含むことを特徴とする請求項18〜21のいずれか1項記載の装置。The apparatus according to any one of claims 18 to 21 , wherein the identification code includes a time code. 識別コードはマテリアルの所有者を識別することを特徴とする請求項18〜22のいずれか1項記載の装置。 23. A device according to any one of claims 18 to 22 , wherein the identification code identifies the owner of the material. 識別コードは間接的にマテリアルを識別することを特徴とする請求項18〜23のいずれか1項記載の装置。 24. An apparatus according to any one of claims 18 to 23 , wherein the identification code indirectly identifies the material. 装置は、マテリアルを記録媒体に記録するレコーダを有し、
識別コードは、マテリアルが記録された媒体の例を識別することを特徴とする請求項24記載の装置。
The apparatus has a recorder for recording material on a recording medium,
The apparatus of claim 24 , wherein the identification code identifies an example of a medium on which material is recorded.
識別コードは直接的にマテリアルを識別することを特徴とする請求項18〜23のいずれか1項記載の装置。 24. A device according to any one of claims 18 to 23 , wherein the identification code directly identifies the material. 識別コードはマテリアルをユニークに識別することを特徴とする請求項26記載の装置。27. The apparatus of claim 26, wherein the identification code uniquely identifies the material. 識別コードはUMIDであることを特徴とする請求項27記載の装置。28. The apparatus of claim 27 , wherein the identification code is UMID. フィンガープリンティングコードを含むのにUMIDのインスタンス番号フィールドが用いられることを特徴とする請求項28記載の装置。29. The apparatus of claim 28, wherein a UMID instance number field is used to contain the fingerprinting code. 識別コードは、マテリアルの許可されたユーザを識別するデータを含むことを特徴とする請求項18〜29のいずれか1項記載の装置。 30. A device according to any one of claims 18 to 29 , wherein the identification code comprises data identifying an authorized user of the material. 識別コードがUMIDである場合、許可されたユーザを識別するデータは、UMIDのインスタンス番号フィールドに含まれることを特徴とする請求項30記載の装置。31. The apparatus of claim 30 , wherein if the identification code is a UMID, data identifying an authorized user is included in the instance number field of the UMID. マテリアルは、ビデオマテリアル、オーディオマテリアル、データマテリアルのいずれか1以上であることを特徴とする請求項18〜31のいずれか1項記載の装置。 32. The apparatus according to any one of claims 18 to 31 , wherein the material is one or more of a video material, an audio material, and a data material. ウォーターマークは、周波数領域ウォーターマークと時間領域ウォーターマークの一方であることを特徴とする請求項18〜32のいずれか1項記載の装置。 Watermark, equipment of any one of claims 18 to 32, characterized in that one of a frequency domain watermark and a time domain watermark. ウォーターマークはロバスト及び/又は取り消し可能であることを特徴とする請求項18〜33のいずれか1項記載の装置。 Equipment of any one of claims 18-33, wherein the watermark is robust and / or revocable. デジタル信号プロセッサで動作する場合に、請求項1〜17のいずれか1項記載の方法を行うコンピュータプログラム。 When operating in a digital signal processor, the computer program for performing the method of any one of claims 1 to 17.
JP2001573396A 2000-04-05 2001-03-30 Material identification method Expired - Fee Related JP4733332B2 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GBGB0008437.6A GB0008437D0 (en) 2000-04-05 2000-04-05 Identifying material
GB0008437.6 2000-04-05
GB0019985A GB2361136A (en) 2000-04-05 2000-08-14 Watermarking and signature generation
GB0019985.1 2000-08-14
PCT/GB2001/001492 WO2001075794A2 (en) 2000-04-05 2001-03-30 Identifying material

Publications (2)

Publication Number Publication Date
JP2003529987A JP2003529987A (en) 2003-10-07
JP4733332B2 true JP4733332B2 (en) 2011-07-27

Family

ID=9889316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001573396A Expired - Fee Related JP4733332B2 (en) 2000-04-05 2001-03-30 Material identification method

Country Status (3)

Country Link
JP (1) JP4733332B2 (en)
DE (1) DE60144315D1 (en)
GB (2) GB0008437D0 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2386782B (en) * 2002-03-22 2005-09-21 Sony Uk Ltd Material storage
KR20050025997A (en) * 2002-07-26 2005-03-14 코닌클리케 필립스 일렉트로닉스 엔.브이. Identification of digital data sequences
KR20060039436A (en) * 2003-07-11 2006-05-08 코닌클리케 필립스 일렉트로닉스 엔.브이. Watermark embedding and detection
US7382905B2 (en) * 2004-02-11 2008-06-03 Microsoft Corporation Desynchronized fingerprinting method and system for digital multimedia data
GB2419222B (en) 2004-10-15 2007-05-30 Zootech Ltd Copy deterrent for an audiovisual product
TW200642503A (en) * 2005-03-03 2006-12-01 Nokia Corp A method to handover dedicated and shared resources while in dual transfer mode
FR2887350A1 (en) * 2005-06-21 2006-12-22 France Telecom Data medium e.g. DVD, content e.g. audio data, securing method for mobile, involves authenticating content by correlation of two control data, if integrity signature is correct, and continuing reading of content if authentication is correct
US8984577B2 (en) * 2010-09-08 2015-03-17 Microsoft Technology Licensing, Llc Content signaturing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166009A (en) * 1997-08-11 1999-03-09 Nippon Telegr & Teleph Corp <Ntt> Method and device for checking use condition violation of literal work and storage medium storing use condition violation check program of literal work
JPH11327438A (en) * 1998-05-13 1999-11-26 Nec Corp Electronic watermark system, method for inserting/ detecting electronic watermark and storage medium recording control program for the method
JPH11338876A (en) * 1998-05-27 1999-12-10 Hitachi Ltd Method and device for retrieving image, and storage medium
JPH11339373A (en) * 1998-05-28 1999-12-10 Sony Corp Information reproducing and recording device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233684B1 (en) * 1997-02-28 2001-05-15 Contenaguard Holdings, Inc. System for controlling the distribution and use of rendered digital works through watermaking
US6425081B1 (en) * 1997-08-20 2002-07-23 Canon Kabushiki Kaisha Electronic watermark system electronic information distribution system and image filing apparatus
JP2000078125A (en) * 1998-08-28 2000-03-14 Hitachi Ltd Method for generating electronic data able to be authenticated
JP2000152148A (en) * 1998-11-13 2000-05-30 Hitachi Ltd Electronic camera
GB9905777D0 (en) * 1999-03-12 1999-05-05 Univ London A method and apparatus for generating multiple watermarked copies of an information signal

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1166009A (en) * 1997-08-11 1999-03-09 Nippon Telegr & Teleph Corp <Ntt> Method and device for checking use condition violation of literal work and storage medium storing use condition violation check program of literal work
JPH11327438A (en) * 1998-05-13 1999-11-26 Nec Corp Electronic watermark system, method for inserting/ detecting electronic watermark and storage medium recording control program for the method
JPH11338876A (en) * 1998-05-27 1999-12-10 Hitachi Ltd Method and device for retrieving image, and storage medium
JPH11339373A (en) * 1998-05-28 1999-12-10 Sony Corp Information reproducing and recording device

Also Published As

Publication number Publication date
DE60144315D1 (en) 2011-05-12
GB0008437D0 (en) 2000-05-24
JP2003529987A (en) 2003-10-07
GB2361136A (en) 2001-10-10
GB0019985D0 (en) 2000-10-04

Similar Documents

Publication Publication Date Title
US7840816B2 (en) Identifying material stored using a signature as a retrieval index
JP4591990B2 (en) Processing system for watermarked materials
JP4253113B2 (en) Material identification device and material identification method
US7043638B2 (en) Material display
Swanson et al. Multimedia data-embedding and watermarking technologies
US6359985B1 (en) Procedure for marking binary coded data sets
JP3649731B2 (en) Verification / authentication encoding method and apparatus
US6664976B2 (en) Image management system and methods using digital watermarks
JP3691415B2 (en) REPRODUCTION DEVICE, REPRODUCTION DEVICE SPECIFICING DEVICE, AND METHOD THEREOF
US20020168082A1 (en) Real-time, distributed, transactional, hybrid watermarking method to provide trace-ability and copyright protection of digital content in peer-to-peer networks
EP1187478B1 (en) Audio/visual reproduction apparatus and method with equipment identification code insertion
US20040009763A1 (en) Secure tracking system and method for video program content
US20080130944A1 (en) Digital Watermark Systems and Methods
US20140095112A1 (en) Method and device for monitoring and analyzing signals
JP4705297B2 (en) Preliminary information embedding method and system, and decoding method and system
JP4733332B2 (en) Material identification method
Dittmann et al. Combined video and audio watermarking: Embedding content information in multimedia data
EP1510075B1 (en) Method of extracting a watermark
US7114072B2 (en) Apparatus and method for watermark embedding and detection using linear prediction analysis
Aroge Watermarking techniques for protecting intellectual properties in a digital environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080116

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080415

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110422

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4733332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees