JP4951521B2 - ビデオフィンガープリントのシステム、方法、及びコンピュータプログラム製品 - Google Patents
ビデオフィンガープリントのシステム、方法、及びコンピュータプログラム製品 Download PDFInfo
- Publication number
- JP4951521B2 JP4951521B2 JP2007543896A JP2007543896A JP4951521B2 JP 4951521 B2 JP4951521 B2 JP 4951521B2 JP 2007543896 A JP2007543896 A JP 2007543896A JP 2007543896 A JP2007543896 A JP 2007543896A JP 4951521 B2 JP4951521 B2 JP 4951521B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- fingerprint
- motion
- frame
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000004590 computer program Methods 0.000 title description 3
- 238000012795 verification Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000002123 temporal effect Effects 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 241000556720 Manga Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、ビデオをフィンガープリントし、そのフィンガープリントを利用してオリジナルビデオファイルのコピーを識別（同定）するシステム及び方法に関する。
コンピュータ機器並びにピアートゥピアー方式の発達・普及に伴い、インターネットを通じてコピーされる映画ファイルの数が爆発的に増えている。通信量全体の60パーセントをピアートゥピアー方式の通信が占め、さらに、その大部分が正規の映画を不法にコピーした映画ファイルだと言われている。その結果、著作権所有者は、印税から生じる利益に重大な損害を被っている。ピアートゥピアー・ネットワーク所有者に対する訴訟は、一つのネットワークを消滅させても、新しいネットワークがすぐに出現するという状況で、著作権侵害を阻止する手段としてはあまり効果がない。
従来、ピアートゥピアー方式における映画の違法ダウンロードには４つのソースがある。第1の手法は、映画館に手のひらサイズのビデオカメラを持ち込み、スクリーンに映写される映画を録画・録音するものである。"スターウォーズ・エピソード１：ファントム・メナス(Starwars Episode 1: The Phantom Menace)"はこのやり方でコピーされ、アメリカでの封切から1週間以内にインターネットで利用可能となった。このような録画・録音は、典型的に音声と画像の質が最も劣る。他の手法では、テレビ放送から映画をコピーするものである。この場合、典型的に、テレビ放送局のロゴの形で視認できるウォーターマークが既に含まれている。このタイプのビデオファイルは、ノイズの多いアナログ信号から録画しているため、質にばらつきがある。しかし、ＭＰＥＧ−２を使用した衛星放送やケーブルなどのデジタル放送から録画するケースが増えている。非合法映画フィルムのさらに別のソースとして、"スクリーナ"と呼ばれるものがある。これらは、例えば評論家や検閲官向けに試写される、封切前のプレビューのコピーである。最後は、デジタル多目的ディスク（DVD）の小売版から作成された違法コピーで、一般に売られているものである。これらのコピーは、クリーンソースからのメディアをエンコードするのに多大な時間をかけるため、典型的に録画の質が最も高い。
多くの様々な手法による映画の非合法コピーや流通を阻止するために、多様なデジタルフィンガープリント技術が開発されている。デジタルフィンガープリントとはデジタルウォーターマーキングの一種で、典型的に、著作権所有者を独自に識別するために文書内に埋め込まれたデータを伴う。ビデオウォーターマーキングの公知技術は、静止画像用に開発された技術から生まれたものである。こうした技術の一つは、ビデオを一連の静止画像と見做し、既存のウォーターマーキング方式を静止画像からビデオに適応させたものである。例えば、1998年刊行の『画像通信及び画像表現ジャーナル９（Journal of Visual Communication and Image Representation 9）』４巻（256−270頁）に記載のランジェラー（Langelaar）他著による"ＭＰＥＧ−２圧縮ビデオのリアルタイムラベリング（Real-time labeling of MPEG-2 compressed video）"は、ＭＰＥＧストリームのＩフレームをウォーターマーキングすることでビデオに適応させる技術を開示し、これを参照の形で本明細書に組み入れる。このようなウォーターマーキング技術は静止画像を基本とする技術からの経験を受け継ぐ一方、プロセッサ集約的で、大容量データを処理するのに理想的とは言えない。
静止画像の利用以外に、ビデオの時間アスペクトも様々なウォーターマーキング技術で活用されてきた。例えば、1998年刊行の『信号処理６６（Signal Processing 66）』３巻（283−216頁）に記載のハータング（Hartung）他著による"伸長ビデオおよび圧縮ビデオのウォーターマーキング（Watermarking of uncompressed and compressed video）"は、多数のフレームにウォーターマークを広げる方法を開示し、これを参照の形で本明細書に組み入れる。この方法は、効力が高いが、計算処理上効果である。別の先行技術では、ビデオを圧縮データストリームと見做している。この類の技術は、1997年刊行の『アイソ／アイー（iso/iee）』に記載のランジェラー（Jordan）他著による"圧縮伸長ビデオ内の隠蔽・検索データ用ウォーターマーキング技術の提案（Proposal of a watermarking technique for hiding/retrieving data in compressed and decompressed video）"に開示され、これを参照の形で本明細書に組み入れる。この提案は、符号化ビデオの動きベクトルにウォーターマーク情報を埋め込む方法を記載している。特に、フラットエリアを指向する動きベクトルを擬似ランダムに修正する。この方法の長所は、目に見える人為結果を導入せず、ビデオが圧縮形態にある限り、動きベクトルから直接、埋め込み情報を引き出せることにある。ビデオを伸長した後、再び、ウォーターマークの検出には、ビデオを再圧縮する必要がある。再圧縮プロセスの間、動きベクトルがウォーターマークを統計的に復元させる可能性が高いので、この方法は有効である。これはリアルタイム検出を可能にする単純なメカニズムである。しかし、この手法は、ウォーターマークが特異なビデオコーデック（ＣＯＤＥＣ）と結合し、その結果、トランスコーディングに耐えられないという問題をはらむ。
メディア所有者の特定を望む人々がいるように、典型的にウォーターマークで攻撃することで、出所を曖昧にしたいグループがいる。1999年発行のハータング（Hartung）他著による『ＳＰＩＥマルチメディアコンテンツのセキュリティとウォーターマーキング９９（SPIE Security and Watermarking of Multimedia Contents 99）』の"スペクトルウォーターマーキングの広がり：悪意の攻撃と反撃（Spread Spectrum Watermarking: Malicious attacks and counter attacks）"（カリフォルニア州、サンノゼ）によれば、デジタルウォーターマークへの攻撃には４つの異なる種類があり、これを参照の形で本明細書に組み入れる。最初のものは、"単純攻撃"と言われるもので、"波形攻撃"又は"ノイズ攻撃"と呼ばれることもある。これは、特定や隔離されることなく、埋め込まれたウォーターマークの検出を減損させようとする。例としては、線形フィルタリング、非線形フィルタリング、波形ベース圧縮（ＪＰＥＧ，ＭＰＥＧ）、ノイズの付加、オフセットの付加、クロッピング、画素領域の量子化、アナログ変換、ガンマ補正などが挙げられる。別の攻撃は"検出不能化攻撃"を含み、"同期攻撃"と呼ばれることもある。これは、相関を破壊し、ウォーターマーク復元を不能にするか、又は、これを困難にする。この類の攻撃は、通常、ズーミング、空間方向または時間方向での変位、回転、せん断、クロッピン具、画素置換、二段抽出、画素または画素クラスタの除去又は挿入などの幾何学的歪みにより実行される。これとは対照的に、"アンビギュイティ攻撃"は、"デッドロック"、"インバージョン"、"擬似電子透かし"、"擬似オリジナル"とも呼ばれ、偽のオリジナルデータ又は偽のウォーターマークデータを生成することで、検出プロセスを混乱させることを目論む。例としては、1つ又は複数の付加的ウォーターマークを埋め込むことで最初のウォーターマークを不明にし、ウォーターマークの権限を損なわせる。最後のものは、"除去攻撃"と呼ばれ、ウォーターマークの分析及び特定を行って、これをホストデータから分離することを目指す。ウォーターマークは廃棄される。例としては、共謀攻撃や、一定の非線形フィルタ操作のノイズ除去、合成モデリングを利用した圧縮攻撃が挙げられる。
ウォーターマーキング技術の評価プロセスを自動化するために、ベンチマークツールが開発されている。一例として、1999年発行のオースミス（Auesmith D.）編集、ぺティコラス（Petitcolas）他著による第2回国際ワークショップ『スプリンジャー・バーラグ（Springer-Verlag）』（オレゴン州、ポートランド）の"著作権マーキングシステムへの攻撃（Attacks on Copyright Marking Systems）"（219-239頁）があり、これを参照の形で本明細書に組み入れる。これらはビデオに適用できる非敵対的処理メカニズムである。これらはウォーターマークの混乱や除去を目的としているわけではないが、そうした副作用を有する。Peer-to-Peerネットワークで輸送されるビデオが、普通、接する処理メカニズムがある。測光攻撃イは、ビデオの画素を何らかの形で変更する。例えば、アナログテレビ信号を放送すると、ノイズのせいで画素が変化することがある。これにより、一部の画像の色が変化する。空間脱同期も画素を変化させる。これは、ビデオの表示フォーマットを変えたときに実行される。最も一般的な例としては、アスペクト比（４：３、１６：９など）や空間分解能（ＰＡＬ、ＮＴＳＣ、ＳＥＣＡＭ）の変化が挙げられる。画素を変化させる別の技術に時間脱同期がある。これは、映画のフレーム比を修正したときに実行される。これは、ファイルサイズを軽減するために実行でき、例えば、毎秒３０フレーム（ｆｐｓ）の映画を２４ｆｐｓ以下にするのがこの例である。別の例としては、ビデオ編集がある。これは、ビデオ編集者が行う全操作を含む。単純で一般的な例は、カット−挿入―貼り合せである。これは、ビデオの一部をカットしたときに、コマーシャルが挿入され、残りのビデオが貼り合わさる。その他の可能性としてはロゴや字幕の追加、あるいは、フィルムから所定の場面がカットされ、盛り上がりの場面の前に放送できるようにする。
自動的にビデオを識別する伝統的な方法は、耐用期間を通じて同一のビデオビットストリームに依存するか、ビデオに付加的な情報を記憶させなければならないという課題である。ＤｉｖＸやＸｖｉＤの場合、又は所定のメディアに適合させたり、ファイルサイズを小さくしたりして、ネットワーク経由でのより簡単な輸送を目指して、新しい又は改良型のビデオＣＯＤＥＣがリリースされると、ビデオストリームは頻繁に再符号化される。これにより、識別プロセスを完全に損なったり、ウォーターマーキングの特定が困難になったりする。さらに、符号化されずにインターネットにもリリースされていない著作権を侵害するビデオファイルが多数あるため、識別目的でビデオに付加情報を埋め込んでも手遅れとなる。従って、従来の技術は適用できない。
本発明の一実施例によれば、ビデオ内のモーションを特定し、特定したモーションの計数を利用することを含むビデオのフィンガープリント法を提供する。
モーションフィンガープリントは、ビデオ全体またはその一部の動きを時刻関数として示す記録又はファイルを意味する。ビデオ内のモーションを、フィンガープリントを提供する手段として利用することで、ビデオへの情報追加を必要とせずに、ビデオを識別するための確実で有効なメカニズムを提供する。たとえビデオフォーマットが変わっても、又は、ノイズがあっても、このメカニズムの有効性は変わらない。
ビデオ内モーションの特定は、ビデオの第１フレームの画素輝度計数と第２フレームの対応画素輝度計数とを照合し；２つのフレームの輝度の差を特定し；２つのフレームのモーション計数を決定するのにこの輝度差を利用することを含んでも構わない。ビデオ内モーションの特定は、ビデオ全体または一部について行うことができる。
本発明の別の実施例によれば、ビデオをフィンガープリントするためのシステムを提供し、このシステムはビデオ内モーションを特定し、特定したモーションの計数を利用してフィンガープリントを作成できる。
ビデオ内のモーションの特定は、ビデオの第１フレームの画素輝度の計数と後続フレームの対応画素輝度計数とを照合し；２つのフレームの輝度の差を特定し；２つのフレームのモーション計数を決定するのにこの輝度差を利用することを含んでも構わない。
本発明のさらに別の実施例によれば、好ましくは、データ媒体又はコンピュータ読み取り可能メディアのコンピュータプログラムを提供し、このコンピュータプログラムは、ビデオ内モーションの特定と特定したモーションの計数を利用したフィンガープリントの作成によりビデオをフィンガープリントするためのコード又は指図を有する。
ビデオ内のモーションを特定するためのコード又は指図は、ビデオの１つのフレームの画素輝度計数と別のフレームの画素輝度計数とを照合し；２つのフレームの輝度の差を特定し；この輝度差を利用してモーション計数を決定するように構成しても構わない。
本発明のさらに別の実施例によれば、ビデオ識別のための方法を提供し、この方法は、オリジナルビデオのモーションフィンガープリントを決定し；未識別ビデオのモーションフィンガープリントを決定し；違いを特定するために既知のモーションフィンガープリントと未知のそれとを照合し；照合ステップに基づいて未知ビデオが既知ビデオのコピーかどうかを識別することを含む。
モーションをフィンガープリントし、これを利用してオリジナルビデオのコピーを検出することで、自動的に実行し、ビデオデータが圧縮またはフィルタされても有効な検出プロセスを提供する。
フィンガープリントがモーション位置情報を提供し、フィンガープリントの照合は、両方のフィンガープリントのモーション位置を時刻関数として照合するようにしても構わない。
フィンガープリントがモーション規模情報を提供し、フィンガープリントの照合は、モーションの大きさを時刻関数として照合するようにしても構わない。例えば、モーション規模の平均値を決定し、フィンガープリントの照合は、平均モーション規模を上回る点だけで照合しても構わない。
フィンガープリントはモーション位置情報とモーション規模情報を提供できる。この場合、フィンガープリントの照合は、両方のフィンガープリントのモーション位置を時刻関数として照合して位置相似計数を提供し、モーションの大きさを時刻関数として照合して規模相似計数を提供し、位置計数と規模計数の両方を使って、総類似度を提供する。付加的に、又は、代替的に、フィンガープリントの照合は、フィンガープリントの長さの差を決定し、その数値によって差を計測し、計測値を位置計数と規模計数と一緒に用いて、相似値を提供するようにもできる。
本発明のさらに別の実施例によれば、ビデオ識別のためのシステムを提供し、このシステムは、オリジナルビデオのモーションフィンガープリントを作成し、モーションフィンガープリントをオリジナルビデオに保存し、未知のビデオのモーションフィンガープリントを作成し、既知ビデオのフィンガープリントと未知ビデオのそれとを照合し、照合工程に基づいて、未知ビデオが既知ビデオのコピーかどうかを識別することから成る。
フィンガープリントがモーション位置情報を提供し、システムは、既知のフィンガープリントと未知のそれにおけるモーション位置を時刻計数として照合することでフィンガープリントを照合するようにもできる。付加的に、又は、代替的に、フィンガープリントがモーション規模情報を提供し、システムは、モーションの大きさを時刻計数として照合することでフィンガープリントを照合するようにもできる。モーション規模の平均値は各フィンガープリントごとに決定し、フィンガープリントの照合は、モーション規模の平均値を点としてだけ照合するようにもできる。付加的に、又は、代替的に、フィンガープリントの照合は、フィンガープリントの長さの差を決定し、値によってその差をスケーリングし、計測値を位置計数と規模計数と合わせて、相似値を提供できる。
フィンガープリントがモーション位置情報とモーション規模情報を提供し、システムは、両方のフィンガープリントのモーション位置を時刻関数として照合して位置相似計数を提供し、モーションの大きさを時刻関数として照合して規模相似計数を提供し、位置計数と規模計数の両方を使って、総類似度を提供するようにできる。
本明細書で提案するビデオ識別技術は、映画フィルムをどう認知するかの指針としてヒト認知システムを使用する。特に、映画内のモーションをデジタルフィンガープリントの基準として使用する。時間分解能をモーションの残像水準以上に維持するために、しばしば空間的及び視覚的質の低下を容認して、ビデオモーションが断続的にならないようする。本発明のビデオ識別では、これを利用して長所とする。
[ビデオモーションフィンガープリント]
図１は、ビデオ内のモーションを特定してビデオをフィンガープリントする工程を示す。ハードウエアによる実行も可能であるが、典型的に、これらの工程はコンピュータソフトを使用して実行する。初めの工程１０で、ビデオを標準アスペクト比にクロップする。好ましいアスペクト比は４：３で、これは、全てのビデオがこの比率に合わせてクロップでき、大部分のビデオが視聴可能なためである。次に、ビデオをグレースケール表示１２に変更する。ＲＧＢの場合、各画素の輝度を計算して、フレーム全体のグレースケールを求める。これは、以下の方程式を使って決定できる：
輝度＝（０．２９９×赤）＋（０．５８７×緑）＋（０．２２４×青）
図１は、ビデオ内のモーションを特定してビデオをフィンガープリントする工程を示す。ハードウエアによる実行も可能であるが、典型的に、これらの工程はコンピュータソフトを使用して実行する。初めの工程１０で、ビデオを標準アスペクト比にクロップする。好ましいアスペクト比は４：３で、これは、全てのビデオがこの比率に合わせてクロップでき、大部分のビデオが視聴可能なためである。次に、ビデオをグレースケール表示１２に変更する。ＲＧＢの場合、各画素の輝度を計算して、フレーム全体のグレースケールを求める。これは、以下の方程式を使って決定できる：
輝度＝（０．２９９×赤）＋（０．５８７×緑）＋（０．２２４×青）
ＹＵＶに関しては、輝度（Ｙチャンネル）だけを使用する。グレースケールの使用が処理するデータ量の削減につながり、それによりスケーリング及びモーション検出が迅速になる。また、グレースケールは、データ捕捉や符号化によって出現する僅かな色の差を除去する。
ビデオが一旦処理され、グレースケール等価で表示されると、次は、工程１４でその空間分解能が標準サイズにスケール(調整)される。実験用の標準サイズには、ビデオＣＤ（ＶＣＤ）分解能（３５２×２４０）を選択した。その理由は、モーション検出プロセスがプロセッサ集中型にならないように少量のデータを備えつつ、モーション検出を実施するのに適当な画像分解能を得られるからである。図１は特定の順序で工程を表示しているが、この順序を変えてもフィンガープリントプロセスが根本的に変化することはない。
スケーリング後、モーション検出テスト１６が行われる。これは、各フレームと以前のフレームとの照合を含む。２つのフレームの違いがモーションとしてフラグされる。これは、１つのフレームの全ての画素を次のフレームの全ての画素と照合することで実行できる。しかし、これはどちらかと言えば、プロセッサ集約型であるので、好ましい方法では、幾つかの画素を予め決められたサイズのマクロブロックに、例えば、５×５画素にグループ化し、その領域の色と輝度を計算する。モーションは、あるマクロブロック内でのフレーム間の色の変化として検出され、一方、モーションの大きさは、色の違いから推定される。こうすることにより、人為結な符号化や雑音の多いデータソースに原因してモーションを誤検出してしまう可能性を低くすることができる。
前のフレームに対する各フレームのモーション量の計測は、全マクロブロックについてフレーム間の色の差異を合計して算出され、これにより、２つの隣接フレーム間の相対モーションを表す単一モーション値が与えられる。この値は一連の数字であり、それぞれの数字が一定時間内の２つの隣接フレーム間でのモーションの尺度（度合）を示す。これらの測定結果は、マッピング１８でスケールされて、最低値０、最高値４４の４４ポイントスケールが得られる。全てのビデオを処理してから、モーション平均値が計算される。この計算は、ファイルの全フレームについてモーション値を全て合計し、平均値を求めることで行われる。平均以下のモーション測定値は除外され、平均以上のピークだけが抽出される（工程２０）。こうすることでスペースが節約され、迅速なマッチングが可能になる。その後、残余の情報が工程２２でビデオモーションフィンガープリントとして使用される。図２のビデオに関するフィンガープリントの一例は、図３に示されている。図３における幾つかのピークは、例えば、場面の切り換え、カメラのパンまたはヒトのクローズ・アップなどによってモーションのレベルが高いビデオ部分である。
作成したビデオのモーションフィンガープリントが一旦作られると、それはモーションフィンガープリントのデータベースに蓄えられる。モーションフィンガープリントの大きさは、検出したモーションの量に依存する。今まで行なった実験の範囲では、フィンガープリントは、ビデオ内のモーションの量に応じて、１キロバイト／分から１０キロバイト／分の範囲であった。言うまでも無く、これはフィンガープリントするビデオにより異なる。
[検出プロセス]
本発明のビデオモーションフィンガープリントは、オリジナルビデオのコピーを同定するための検出プロセスに使用できる。図４はそのプロセスの基本的工程を示している。これらの工程は、ソフトウエアでもハードウエアでも実行可能である。
本発明のビデオモーションフィンガープリントは、オリジナルビデオのコピーを同定するための検出プロセスに使用できる。図４はそのプロセスの基本的工程を示している。これらの工程は、ソフトウエアでもハードウエアでも実行可能である。
検出プロセスは、上記のように同定したオリジナルビデオから、モーションフィンガープリントを作成することから始まる（工程２４）。このフィンガープリントは、例えばデータベースに保存される。典型的にはデータベースは、さまざまな異なる既知のビデオについて、多数のフィンガープリントを収納している。未知のビデオが捕捉された場合、それについて１つのフィンガープリントが作成され（工程２６）、既知のビデオについて格納されているフィンガープリントと対比される（工程２８）。この対比に基づいて、未知のビデオが既知の何れかのビデオのコピーであるか否かが判定される（工程３０）。
対比工程２８は、任意の適当な技術を利用して実行できる。しかし、好ましい実施例の対比工程は、ビデオの３つの異なる測定値を検討することで行なわれ、その３つは、長さの差異、ビデオ内のモーションも位置、及び時間的平面を横切るモーションの規模の差異である。
対比される２つのビデオの長さの違いは、下記のようにスケールされるので、映画の長さの多少の違いは重要でない。
長さ＝スケール〔ａｂｓ（ｆｐ１[ｆｐ１長さ]−ｆｐ２[ｆｐ２長さ]）〕
式中、〔ａｂｓ（ｆｐ１[ｆｐ１長さ]−ｆｐ２[ｆｐ２長さ]）〕は、既知ビデオと未知ビデオのフィンガープリントの長さの違いを示し、スケーリング関数は、長さの違いが１分未満の場合、違いを減少させ、違いが１分以上の場合、違いを増加させる。
様々なスケーリング関数が使用可能である。しかし、この実施例では、以下のようにしてビデオ長のスケーリングを行った。長さの違いが１５秒未満の場合、その違いを二分する。違いが３００秒未満の場合、違いを０．７５倍する。違いが６００秒未満の場合、違いはそのままとし、違いが１２００秒を超えると２５％増とする。そして、違いが１２００秒を超えると５０％増とする。
長さ＝スケール〔ａｂｓ（ｆｐ１[ｆｐ１長さ]−ｆｐ２[ｆｐ２長さ]）〕
式中、〔ａｂｓ（ｆｐ１[ｆｐ１長さ]−ｆｐ２[ｆｐ２長さ]）〕は、既知ビデオと未知ビデオのフィンガープリントの長さの違いを示し、スケーリング関数は、長さの違いが１分未満の場合、違いを減少させ、違いが１分以上の場合、違いを増加させる。
様々なスケーリング関数が使用可能である。しかし、この実施例では、以下のようにしてビデオ長のスケーリングを行った。長さの違いが１５秒未満の場合、その違いを二分する。違いが３００秒未満の場合、違いを０．７５倍する。違いが６００秒未満の場合、違いはそのままとし、違いが１２００秒を超えると２５％増とする。そして、違いが１２００秒を超えると５０％増とする。
ビデオ内のモーションの位置は、幾つかのフィンガープリント内でのモーションの出現が、時間的平面でどれだけマッチするかを検討することで考慮されている。これは、以下の式で表せる。
位置＝ 不在ポイント数 ×１００
チェックしたポイント数
式中、チェックしたポイント数は、フィンガープリント１内の平均値を超えるポイント数であり、不在ポイント数は、フィンガープリント２内の平均値未満のポイント数に、フィンガープリント１の平均値以上であるが、フィンガープリント２の平均値未満であるポイント数を加算したものである。
位置＝ 不在ポイント数 ×１００
チェックしたポイント数
式中、チェックしたポイント数は、フィンガープリント１内の平均値を超えるポイント数であり、不在ポイント数は、フィンガープリント２内の平均値未満のポイント数に、フィンガープリント１の平均値以上であるが、フィンガープリント２の平均値未満であるポイント数を加算したものである。
時間的平面を横切るモーションの規模の違いもまた、考慮されている。これは以下の式で表せる。
フィンガープリントに沿った各ポイントで、フィンガープリント１とフィンガープリント２の大きさの絶対差、すなわち、ａｂｓ（ｆｐ１[ｉ]−ｆｐ２[ｉ]）が計算される。その値を合計して、平均値が算出される。
ビデオのこれら３つのアスペクトを合計することで、以下のようにシンプルな相似性測定が行われる。
相似性＝長さ＋位置＋空間
相似性の測定値が低いほど、ビデオファイルはよくマッチしている。実験後、２つのフィンガープリントを対比する際のカットオフポイントを１００と決めけれども、当然のことながら、これとは別のカットオフポイントも使用可能である。
相似性＝長さ＋位置＋空間
相似性の測定値が低いほど、ビデオファイルはよくマッチしている。実験後、２つのフィンガープリントを対比する際のカットオフポイントを１００と決めけれども、当然のことながら、これとは別のカットオフポイントも使用可能である。
[テスト]
検出プロセスのロバスト性（堅実性）を試験するために、モーションレベル範囲が異なり、長さが２０分から４０分の５０個の高品質ビデオについて、モーションフィンガープリントを作成した。伝統的なテレビ番組や映画などに加えて、漫画や講義のビデオフィルムをもデータベースに含め、これをテストサンプルとした。テストは様々な変更を加えて行った。例えば、ビデオは次のようにコード変換した。すなわち、ＣＯＤＥＣ変換、ビットレートの削減、フレームレートの削減、空間分解能の削減、ノイズの付加の５つである。これらの変換うち、最初の４つは、ビデオを例えばＣＤＲＯＭに格納したり、インターネット送信するために、再コード化する際にしばしば目にする変換である。最後の変換であるノイズの付加は、映画の録画が必ずしも"クリーン"なソースから行われないので、これを含めた。
検出プロセスのロバスト性（堅実性）を試験するために、モーションレベル範囲が異なり、長さが２０分から４０分の５０個の高品質ビデオについて、モーションフィンガープリントを作成した。伝統的なテレビ番組や映画などに加えて、漫画や講義のビデオフィルムをもデータベースに含め、これをテストサンプルとした。テストは様々な変更を加えて行った。例えば、ビデオは次のようにコード変換した。すなわち、ＣＯＤＥＣ変換、ビットレートの削減、フレームレートの削減、空間分解能の削減、ノイズの付加の５つである。これらの変換うち、最初の４つは、ビデオを例えばＣＤＲＯＭに格納したり、インターネット送信するために、再コード化する際にしばしば目にする変換である。最後の変換であるノイズの付加は、映画の録画が必ずしも"クリーン"なソースから行われないので、これを含めた。
この発明のフィンガープリント技術の評価の一環として、幾つかのビデオファイルを再コード化して、様々なビットレート、空間分解能、時間分解能など、実際に生じうる状況を導入した。再コード化には、マイクロソフトMPEG4 3688 v3 CODEC備えたVirtualDub v1. 5.1を使用した。勿論、これ以外のＣＯＤＥＣも使用可能である。ビデオはワン・パス法だけを使って再コード化した。２パスまたは３パス技術は、より高品質の映画ファイルを提供するが、大部分のテストでは、質の劣ったビデオを高品質にするには余分な時間が必要であるので、質の劣るビデオは意味がない。テストした劣化ビデオの例を図5に示す。
最初に、オリジナルの映画ファイルを同定するとき、その方法がどのように実行されるかを試験した。一組のオリジナルビデオファイル（ｆ１）から、一組のフィンガープリントを作成し、これをフィンガープリントデータベースに保存した。次いで、同じ一組のビデオファイルから新しい一組のビデオフィンガープリント（ｆ２）を作成した。各ビデオファイルは、データベース内の応分のフィンガープリントと、典型的には、１未満のフィンガープリント同士の違い（ｆ１とｆ２の）と正確にマッチすることが判った。ちなみに、異なる映画ファイルから得たフィンガープリントの差異は、通常、１０００を越え、ほとんど同じファイル同士でも、差異は１００から１０００の間であった。
ＣＯＤＥＣの変更
最も一般的に使用されている少数のＣＯＤＥＣを使って、オリジナルビデオファイルをコード化した。選ばれたＣＯＤＥＣは、MPEG-1、MPEG-2、MPEG-4 DivX、Xvid、MSMPEG-4及びQuicktime Sorensenであった。これら３つのＣＯＤＥＣ系装置は、それぞれ、異なるファイル形式で、すなわち、.mpg、.avi、.movでラッピングされている。ビデオはコード化することで、視覚的質及び時間的質がオリジナル映画に近似する。
最も一般的に使用されている少数のＣＯＤＥＣを使って、オリジナルビデオファイルをコード化した。選ばれたＣＯＤＥＣは、MPEG-1、MPEG-2、MPEG-4 DivX、Xvid、MSMPEG-4及びQuicktime Sorensenであった。これら３つのＣＯＤＥＣ系装置は、それぞれ、異なるファイル形式で、すなわち、.mpg、.avi、.movでラッピングされている。ビデオはコード化することで、視覚的質及び時間的質がオリジナル映画に近似する。
本発明によるモーションフィンガープリント法を使うことによって、採用したＣＯＤＥＣの如何に関わりなく、コード化したビデオのそれぞれを正確に同定することができた。これは、映画同定プロセスの要となるのは、映画ファイル内のモーションを検出するモーション検出アルゴリズムの能力と視覚的品質だからである。
ビットレートの変更
フレームレートと空間分解能を一定に維持したまま、選択したビデオを低ビットレートに再コード化して、その画質を劣化させた。具体的には、ビットレートを５００ｋｂｐｓから２５ｋｂｐｓに減少させた。
フレームレートと空間分解能を一定に維持したまま、選択したビデオを低ビットレートに再コード化して、その画質を劣化させた。具体的には、ビットレートを５００ｋｂｐｓから２５ｋｂｐｓに減少させた。
図６は、検出プロセスの結果をビットレートの関数として示すものである。この図から、ビットレートはモーションを認識する能力を減少させるので、ビットレートが１５０ｋｂｐｓ以下になると、モーションフィンガープリントが急激に落ち込むのが分かる。ビットレートが３０ｋｂｐｓ未満になると、モーションフィンガープリントを適合させる能力が失われる。しかし、１００ｋｂｐｓ以下では、録画に濃淡のむら発生や映画ファイルの質的劣化を招き、鑑賞に堪えられなくなる。従って、実際的な目的では、ビットレートの多様性は、検出プロセスに有意な影響をもたらさない。
フレームレートの変更
この場合には、ビットレートと空間分解能を変化させずに維持したまま、選択したビデオを低いフレームレートに再コード化することで、画質を劣化させた。具体的には、フレームレートを元の毎秒２３フレームから４フレームに減少させた。このようにした理由は、このフレーム数が、毎秒１２〜１５フレーム程度であると通常推定される残像性ポイントをはるかに下回るためである。毎秒２４〜５フレームのフレームレートを、ビットレート５００ｋｂｐｓ、空間分解能３５２×２４０で使用した。
この場合には、ビットレートと空間分解能を変化させずに維持したまま、選択したビデオを低いフレームレートに再コード化することで、画質を劣化させた。具体的には、フレームレートを元の毎秒２３フレームから４フレームに減少させた。このようにした理由は、このフレーム数が、毎秒１２〜１５フレーム程度であると通常推定される残像性ポイントをはるかに下回るためである。毎秒２４〜５フレームのフレームレートを、ビットレート５００ｋｂｐｓ、空間分解能３５２×２４０で使用した。
図７は検出プロセスの結果をフレームレートの関数として示すものである。予想したように、フレームレートを減らすと、モーションフィンガープリントの差異が増大する。フレームレートが元来のそれから増加すると、ビデオシーケンス（動画像列）の認識能力が若干の悪影響を受ける。その理由は、フレームレートが増えると、フィンガープリントの差異が増えるからである。しかし、試験結果からは、フレームレートを変更しても、ビデオの認識に支障が生じるほどの影響がないことが分かる。
空間分解能
フレームレートを２３に、ビットレートを５００ｋｂｐｓに維持したまま、空間分解能を１７６×１４４に減らした。それにも係わらず、修正ビデオとオリジナルビデオのフィンガープリントの違いは５．１だけであった。空間分解能を半減させても、映画ファイルは認識可能であった。
フレームレートを２３に、ビットレートを５００ｋｂｐｓに維持したまま、空間分解能を１７６×１４４に減らした。それにも係わらず、修正ビデオとオリジナルビデオのフィンガープリントの違いは５．１だけであった。空間分解能を半減させても、映画ファイルは認識可能であった。
輝度(Luminance)
図８は検出プロセスの結果を明るさ(brightness)の関数として示したものである。この図から、明るさを上げるより、下げる方が検出に有害な影響を及ぼすことが分かる。これは、フレームが暗くなると、ビデオの特徴が区別し難くなるからである。
図８は検出プロセスの結果を明るさ(brightness)の関数として示したものである。この図から、明るさを上げるより、下げる方が検出に有害な影響を及ぼすことが分かる。これは、フレームが暗くなると、ビデオの特徴が区別し難くなるからである。
ノイズの付加
ノイズは、例えば、ＭＳＵグラフィックス・アンド・メディア（MSU Graphics & Media）が提供するノイズ発生器を用いて、オリジナルビデオのサンプルに付加した。これは、テレビ放送などの"損失のある(lossy)"ソースからレコーディングする時に捕捉されるノイズ効果をシミュレートするために実行した。
ノイズは、例えば、ＭＳＵグラフィックス・アンド・メディア（MSU Graphics & Media）が提供するノイズ発生器を用いて、オリジナルビデオのサンプルに付加した。これは、テレビ放送などの"損失のある(lossy)"ソースからレコーディングする時に捕捉されるノイズ効果をシミュレートするために実行した。
最初のテストでは、映画ファイルにホワイトノイズを加え、検出プロセスを繰り返した。実際、ホワイトノイズの付加は、映画ファイルを同定する能力に、大した違いをもたらさないことが判明した。これは予想外であって、ホワイトノイズはモーションに付加された訳ではないので、フィンガープリント技術では無視されたのが、その原因であると考えられる。
別のノイズテストでは、ビデオストリームバナーが、ビデオに付加された。これは、自局を特定するために、テレビ局が普通に行っていることである。バナーやロゴを配置するのに一般的に使用される場所は二つあり、その場所は、フレームの上端部と下端部である。フレーム幅を広げる黒線をビデオに付加した。新しいビデオ用にモーションフィンガープリントを作り出し、その新しいビデオにバナーを含ませた。次いで、モーションフィンガープリントが同定できるかどうかを見極めるため、モーションフィンガーのデータベースと照合してチェックした。ボーダーは１０画素から開始し、１４０画素まで、１０画素ずつ増加した。
２つの異なる実験を行なった。その一つは、ボーダーをフレームの下端部に配置した実験であり、他の一つは、フレームの上端部にボーダーを配置した実験である。図９は、２つの実験での検出プロセスの結果を、ボーダーサイズの関数として示したものである。この図から、１３０画素あたりで検出が不首尾になることが分かる。しかし、このボーダーはオリジナル画像の半分（フレーム高さは２４０画素であった）をカバーしており、このような状況は、通常のテレビ番組や映画では見られない。従って、実際的な目的では、ボーダーサイズの変化は、検出プロセスに有意な影響を及ぼさない。
画像処理(操作)
画像処理の一例である色処理は、ビデオの色を反転させる。この反転操作は、再コード化で通常経験される事態というよりも、興味本位で実行されたものであるが、これにより検出技術の堅実性が証明された。反転ビデオが、非反転ビデオと同様に、同じコード化パラメータで同定できることが分かった。画像処理の別の例である水平反転または垂直反転は、映画を水平に又は垂直に反転させるものである。試験ビデオを水平反転または垂直反転させたが、重要なのは、フレーム全体にわたるモーションであるので、認識されるフィルムの能力には、何の影響も認められなかった。
画像処理の一例である色処理は、ビデオの色を反転させる。この反転操作は、再コード化で通常経験される事態というよりも、興味本位で実行されたものであるが、これにより検出技術の堅実性が証明された。反転ビデオが、非反転ビデオと同様に、同じコード化パラメータで同定できることが分かった。画像処理の別の例である水平反転または垂直反転は、映画を水平に又は垂直に反転させるものである。試験ビデオを水平反転または垂直反転させたが、重要なのは、フレーム全体にわたるモーションであるので、認識されるフィルムの能力には、何の影響も認められなかった。
まとめ
モーション検出は、ビデオフィンガープリントの創出の基盤であることが証明された。映画をオリジナルソースから再コード化し、空間分解能や時間分解能の喪失又はビットレートの低下で劣化するプロセスでも、この技術がよく機能することが立証された。この技術は、ピアツーピア・ネットワーク内の著作権侵害を阻止できるわけではないが、データ収集のためのトラフィックモニタリングを使うインターネットと私設ネットワーク（大学など）と間のリンクにおける受動的ピアとして、あるいはネットワーク内のピアとして検出操作を手助けする。
モーション検出は、ビデオフィンガープリントの創出の基盤であることが証明された。映画をオリジナルソースから再コード化し、空間分解能や時間分解能の喪失又はビットレートの低下で劣化するプロセスでも、この技術がよく機能することが立証された。この技術は、ピアツーピア・ネットワーク内の著作権侵害を阻止できるわけではないが、データ収集のためのトラフィックモニタリングを使うインターネットと私設ネットワーク（大学など）と間のリンクにおける受動的ピアとして、あるいはネットワーク内のピアとして検出操作を手助けする。
実際上は、多数のビデオフィンガープリントを適当なデータベースに保存して、ビデオコンテンツを検出したときに使用できる。こうしたコンテンツが検出された場合には、そのコンテンツが捕捉され、モーションフィンガープリントが自動的に作成される。このモーションフィンガープリントは、データベースのフィンガープリントと対比され、捕捉されたビデオのフィンガープリントが保存してあるフィンガープリントのどれかと一致するかどうかが調べられる。これが一致すれば、傍受したビデオがオリジナルのコピーであることを示し、そのビデオは著作権侵害の疑いがある。この場合、侵害コピーの送信者と受信者のる両方に対して、改善措置をとることができる。
当業者には、ここに開示した発明の構成要素を、本発明から逸脱せずに、さまざまに変更できることは理解されよう。例えば、モーション検出のために特定の技術が開示されているが、これを別の任意のビデオモーション検出プロセスに利用できることは理解されよう。同様に、２つのフィンガープリントの違い及び／又は相似性を特定するのに別の適当な方法が使用できる。さらに、例えば映画などのビデオを識別(同定)するのに掛かる時間を短縮するために、映画のコンテンツ全体でなく、小"ブロック"についてフィンガープリントを実行し、続いて同定を行うというオプションもある。これらのブロックは、モーションを含まないビデオの２つの部分の間のセクションとして定義される"場面"の形をとる。この方法によれば、映画の小さい部分からビデオ特定を行うことができる。さらに別の応用例では、ビデオ内のモーションピーク時間位置を特定することで上述したフィンガープリントを作成する一方、モーションピークの相対的な大きさをフィンガープリントとして使用する。従って、上記の実施例は、例として示しただけで、本発明を限定するものではない。本明細書に開示した操作に有意な変更を加えることなく、多少の修正が可能なことは当業者であれば理解されよう。
Claims (6)
- ビデオのフィンガープリントを得ることができるハードウェア、又はコンピュータソフトウェアを使用してビデオのフィンガープリントを得ることができるハードウェアを有するビデオ識別のためのシステムと、前記システムが求めた既知ビデオのフィンガープリントを記憶するフィンガープリントデータベースとを用いた、ビデオ識別法であって、
前記システムが，
未知ビデオの第１フレームにおける画素又は画素のブロックにおける輝度値と、前記ビデオの第２フレームにおける前記第１フレームにおける画素又は画素のブロックと対応する画素又は画素のブロックの輝度値とを対比し、
前記第１フレーム及び前記第２フレームの対応する画素又は画素のブロックについて輝度値の差を求め、
前記輝度の差を用いて、前記第１フレーム及び前記第２フレームを第１のフレーム対とする２つのフレームのモーションを表わすモーション値を同定し、
連続する２つのフレームにおける対応する画素又は画素のブロックの輝度値を比較し、輝度値の差を求め、前記連続する２つのフレームをフレーム対とするモーション値を同定する工程を前記第１のフレーム対以降の複数のフレーム対について行い、
前記求めた複数のフレーム対のモーション値を用いて前記未知ビデオのフィンガープリントを作成し；
前記未知ビデオのフィンガープリントを、前記フィンガープリントデータベースに記憶された少なくとも１個の既知ビデオのフィンガープリントと照合し；
前記照合結果に基づいて前記未知ビデオが前記既知ビデオと同一かどうかを識別することを含むビデオ識別法であって、
フィンガープリントがモーション位置情報とモーション規模情報を提供し、フィンガープリントの照合は、両方のフィンガープリントのモーション位置を時刻関数として照合して位置相似計数を提供することを含み、モーション規模の照合は、モーションの大きさを時刻関数として照合して規模相似計数を提供することを含み、フィンガープリントの相似性を示す相似計数を提供するのに位置計数と規模計数の両方を使用する方法。 - モーション規模の平均値を決定し、フィンガープリントの照合は、平均モーション規模を上回る点の照合だけを含む請求項１に記載の方法。
- フィンガープリントの照合は、フィンガープリントの長さの違いを決定し；値によってその差をスケーリングし、スケーリングした値を位置計数と規模計数と一緒に用いて、相似値を提供するようにした請求項１に記載の方法。
- ビデオのフィンガープリントを得ることができるハードウェア、又はコンピュータソフトウェアを使用してビデオのフィンガープリントを得ることができるハードウェアと、前記システムが求めた既知ビデオのフィンガープリントを記憶するフィンガープリントデータベースとを有する、ビデオ識別システムであって、
前記ビデオ識別システムは、
未知のビデオについてモーションフィンガープリントを作成する手段と；該未知のビデオのフィンガープリントを少なくとも１個の既知のビデオのモーションフィンガープリントと照合する手段と；照合ステップに基づいて未知ビデオが既知ビデオと同一かどうかを識別する手段とを含み、
前記未知のビデオについてモーションフィンガープリントを作成する手段は、
前記未知ビデオの第１フレームにおける画素又は画素のブロックにおける輝度値と、前記ビデオの第２フレームにおける前記第１フレームにおける画素又は画素のブロックと対応する画素又は画素のブロックの輝度値とを対比し、
前記第１フレーム及び前記第２フレームの対応する画素又は画素のブロックについて輝度値の差を求め、
前記輝度の差を用いて、前記第１フレーム及び前記第２フレームを第１のフレーム対とする２つのフレームのモーションを表わすモーション値を同定し、
連続する２つのフレームにおける対応する画素又は画素のブロックの輝度値を比較し、輝度値の差を求め、前記連続する２つのフレームをフレーム対とするモーション値を同定する工程を前記第１のフレーム対以降の複数のフレーム対について行い、
前記求めた複数のフレーム対のモーション値を用いて前記未知ビデオのフィンガープリントを作成し；
該未知のビデオのフィンガープリントを少なくとも１個の既知のビデオのモーションフィンガープリントと照合する手段は、前記フィンガープリントデータベースから前記少なくとも１個の既知のビデオのモーションフィンガープリントを読み出して、前記作成された未知ビデオのフィンガープリントとの照合を行い、
照合ステップに基づいて未知ビデオが既知ビデオと同一かどうかを識別する手段は、前記照合結果に基づいて前記未知ビデオが前記既知ビデオと同一かどうかを識別する、
ビデオ識別システムであって、
フィンガープリントがモーション位置情報とモーション規模情報を提供し、システムのフィンガープリント照合は、両方のフィンガープリントのモーション位置を時刻関数として照合して位置相似計数を提供することを含み、モーション規模の照合は、モーションの大きさを時刻関数として照合して規模相似計数を提供することを含み、総類似度を提供するのに位置計数と規模計数の両方を使用するシステム。 - モーション規模の平均値を決定し、フィンガープリントの照合は、平均モーション規模を上回る点の照合だけを含む請求項４に記載のシステム。
- フィンガープリントの照合は、フィンガープリントの長さの違いを決定し；値によってその差をスケーリングし、スケーリングした差の値を位置計数と規模計数と一緒に用いて、相似値を提供するようにした請求項４に記載のシステム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/GB2004/005031 WO2006059053A1 (en) | 2004-11-30 | 2004-11-30 | System, method & computer program product for video fingerprinting |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008522522A JP2008522522A (ja) | 2008-06-26 |
| JP4951521B2 true JP4951521B2 (ja) | 2012-06-13 |
Family
ID=34959646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007543896A Expired - Fee Related JP4951521B2 (ja) | 2004-11-30 | 2004-11-30 | ビデオフィンガープリントのシステム、方法、及びコンピュータプログラム製品 |
Country Status (7)
| Country | Link |
|---|---|
| EP (1) | EP1817908B1 (ja) |
| JP (1) | JP4951521B2 (ja) |
| AT (1) | ATE492988T1 (ja) |
| AU (1) | AU2004325369B2 (ja) |
| CA (1) | CA2627267C (ja) |
| DE (1) | DE602004030726D1 (ja) |
| WO (1) | WO2006059053A1 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8103050B2 (en) | 2006-01-16 | 2012-01-24 | Thomson Licensing | Method for computing a fingerprint of a video sequence |
| GB0623961D0 (en) * | 2006-11-30 | 2007-01-10 | Univ St Andrews | Video fingerprinting |
| WO2009024031A1 (en) | 2007-08-22 | 2009-02-26 | Yuvad Technologies Co., Ltd. | A system for identifying motion video content |
| EP2109047A1 (en) | 2008-04-07 | 2009-10-14 | Global Digital Technologies SA | Video characterization, identification and search system |
| WO2009140819A1 (en) | 2008-05-21 | 2009-11-26 | Yuvad Technologies Co., Ltd. | A system for facilitating the search of video content |
| WO2009140820A1 (en) | 2008-05-21 | 2009-11-26 | Yuvad Technologies Co., Ltd. | A system for extracting a finger print data from video/audio signals |
| WO2009140817A1 (en) | 2008-05-21 | 2009-11-26 | Yuvad Technologies Co., Ltd. | A method for facilitating the search of video content |
| US8027565B2 (en) * | 2008-05-22 | 2011-09-27 | Ji Zhang | Method for identifying motion video/audio content |
| US8548192B2 (en) | 2008-05-22 | 2013-10-01 | Yuvad Technologies Co., Ltd. | Method for extracting a fingerprint data from video/audio signals |
| WO2009140824A1 (en) | 2008-05-22 | 2009-11-26 | Yuvad Technologies Co., Ltd. | A system for identifying motion video/audio content |
| GB2464123A (en) * | 2008-10-04 | 2010-04-07 | Ibm | Event-based temporal video fingerprinting |
| GB2483572A (en) * | 2009-06-26 | 2012-03-14 | Intel Corp | Techniques to detect video copies |
| CN102045305B (zh) * | 2009-10-20 | 2015-06-10 | 中兴通讯股份有限公司 | 一种多媒体资源传播的监测追踪方法和系统 |
| EP2439943A1 (en) * | 2010-10-07 | 2012-04-11 | Nagravision S.A. | System and method to prevent manipulation of transmitted video data |
| US8559899B2 (en) * | 2011-09-19 | 2013-10-15 | Alcatel Lucent | Method of improving transmission gain at a network element having a plurality of antennas |
| US8538239B2 (en) * | 2011-12-22 | 2013-09-17 | Broadcom Corporation | System and method for fingerprinting video |
| US9414129B2 (en) | 2013-12-04 | 2016-08-09 | Vizio Inc | Using client tuner devices to provide content fingerprinting in a networked system |
| CN106233746B (zh) * | 2014-08-21 | 2019-07-09 | 松下知识产权经营株式会社 | 内容辨识装置、内容辨识方法以及记录介质 |
| JP2017055949A (ja) * | 2015-09-16 | 2017-03-23 | シャープ株式会社 | 計測装置、計測システム、計測方法およびコンピュータプログラム |
| CN112559975A (zh) * | 2020-11-25 | 2021-03-26 | 山东浪潮质量链科技有限公司 | 一种基于区块链的数字媒体版权实现方法、设备及介质 |
| CN116582282B (zh) * | 2023-07-13 | 2023-09-19 | 深圳市美力高集团有限公司 | 一种车载录像防篡改加密存储方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3200784B2 (ja) * | 1993-07-29 | 2001-08-20 | キヤノン株式会社 | 動画像検索方法及び装置 |
| US5870754A (en) * | 1996-04-25 | 1999-02-09 | Philips Electronics North America Corporation | Video retrieval of MPEG compressed sequences using DC and motion signatures |
| JP3330348B2 (ja) * | 1999-05-25 | 2002-09-30 | 日本電信電話株式会社 | 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体 |
| WO2002051063A1 (en) * | 2000-12-21 | 2002-06-27 | Digimarc Corporation | Methods, apparatus and programs for generating and utilizing content signatures |
| AU2003210625A1 (en) * | 2002-01-22 | 2003-09-02 | Digimarc Corporation | Digital watermarking and fingerprinting including symchronization, layering, version control, and compressed embedding |
| JP2003216954A (ja) * | 2002-01-25 | 2003-07-31 | Satake Corp | 動画像検索手法及びその装置 |
| US8332326B2 (en) * | 2003-02-01 | 2012-12-11 | Audible Magic Corporation | Method and apparatus to identify a work received by a processing system |
| JP2004288281A (ja) * | 2003-03-20 | 2004-10-14 | Sony Corp | 記録媒体及びその製造方法、再生方法及び再生装置 |
-
2004
- 2004-11-30 WO PCT/GB2004/005031 patent/WO2006059053A1/en active Application Filing
- 2004-11-30 CA CA2627267A patent/CA2627267C/en not_active Expired - Fee Related
- 2004-11-30 EP EP04805898A patent/EP1817908B1/en not_active Ceased
- 2004-11-30 AT AT04805898T patent/ATE492988T1/de not_active IP Right Cessation
- 2004-11-30 AU AU2004325369A patent/AU2004325369B2/en not_active Ceased
- 2004-11-30 DE DE602004030726T patent/DE602004030726D1/de active Active
- 2004-11-30 JP JP2007543896A patent/JP4951521B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CA2627267C (en) | 2013-10-15 |
| EP1817908A1 (en) | 2007-08-15 |
| AU2004325369B2 (en) | 2010-09-02 |
| WO2006059053A1 (en) | 2006-06-08 |
| ATE492988T1 (de) | 2011-01-15 |
| AU2004325369A1 (en) | 2006-06-08 |
| CA2627267A1 (en) | 2006-06-08 |
| JP2008522522A (ja) | 2008-06-26 |
| DE602004030726D1 (de) | 2011-02-03 |
| EP1817908B1 (en) | 2010-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8761452B2 (en) | System, method and computer program product for video fingerprinting | |
| JP4951521B2 (ja) | ビデオフィンガープリントのシステム、方法、及びコンピュータプログラム製品 | |
| EP1366464B1 (en) | Alternating watermarking of images | |
| Milani et al. | An overview on video forensics | |
| GB2419489A (en) | Method of identifying video by creating and comparing motion fingerprints | |
| US20090220070A1 (en) | Video Watermarking | |
| US20090252370A1 (en) | Video watermark detection | |
| Su et al. | A practical design of digital video watermarking in H. 264/AVC for content authentication | |
| US20090136083A1 (en) | Coefficient Selection for Video Watermarking | |
| Deguillaume et al. | Countermeasures for unintentional and intentional video watermarking attacks | |
| US20090226030A1 (en) | Coefficient modification for video watermarking | |
| KR20050112634A (ko) | 비디오 워터마킹 방법 및 장치와, 비디오 워터마킹을 이용한 비디오 콘텐츠 보호방법 및 장치 | |
| Thiemert et al. | Using entropy for image and video authentication watermarks | |
| US9087377B2 (en) | Video watermarking method resistant to temporal desynchronization attacks | |
| Yoo et al. | Real-time video watermarking techniques robust against re-encoding | |
| Seong et al. | Scene-based watermarking method for copy protection using image complexity and motion vector amplitude | |
| Celik et al. | Camcorder capture robust low-complexity watermarking of MPEG-2 bit-streams | |
| Simitopoulos et al. | Fast MPEG watermarking for copyright protection | |
| Elbasi | Robust video watermarking scheme in transform domains | |
| Bryan | Video steganalysis for digital forensics investigation | |
| Bateman | Video Motion as a Video Fingerprint. | |
| Gavade et al. | Review of techniques of digital video forgery detection | |
| Schaber et al. | Robust digital watermarking in videos based on geometric transformations | |
| Simitopoulos et al. | Fast compressed domain watermarking of MPEG multiplexed streams | |
| KR101025311B1 (ko) | 복합적 왜곡에 강인한 자기 동기화 신호 기반의 고화질 동영상 워터마킹 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101016 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101016 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20101016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101020 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101020 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101207 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110804 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20111031 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20111108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120312 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4951521 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |