JP6442060B2 - 場所的な著作権で保護されているウォータマーキングビデオをパブリッシュする方法及び装置 - Google Patents

場所的な著作権で保護されているウォータマーキングビデオをパブリッシュする方法及び装置 Download PDF

Info

Publication number
JP6442060B2
JP6442060B2 JP2017533179A JP2017533179A JP6442060B2 JP 6442060 B2 JP6442060 B2 JP 6442060B2 JP 2017533179 A JP2017533179 A JP 2017533179A JP 2017533179 A JP2017533179 A JP 2017533179A JP 6442060 B2 JP6442060 B2 JP 6442060B2
Authority
JP
Japan
Prior art keywords
location data
key frame
frame
video
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017533179A
Other languages
English (en)
Other versions
JP2018511189A (ja
Inventor
ドーシュヨン リー
ドーシュヨン リー
Original Assignee
ノキア テクノロジーズ オサケユイチア
ノキア テクノロジーズ オサケユイチア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア テクノロジーズ オサケユイチア, ノキア テクノロジーズ オサケユイチア filed Critical ノキア テクノロジーズ オサケユイチア
Publication of JP2018511189A publication Critical patent/JP2018511189A/ja
Application granted granted Critical
Publication of JP6442060B2 publication Critical patent/JP6442060B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0028Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0085Time domain based watermarking, e.g. watermarks spread over several images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16Program or content traceability, e.g. by watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/06Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H04L63/061Network architectures or network communication protocols for network security for supporting key management in a packet data network for key exchange, e.g. in peer-to-peer networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2111Location-sensitive, e.g. geographical location, GPS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0051Embedding of the watermark in the spatial domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0052Embedding of the watermark in the frequency domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0064Image watermarking for copy protection or copy management, e.g. CGMS, copy only once, one-time copy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0065Extraction of an embedded watermark; Reliable detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0083Image watermarking whereby only watermarked image required at decoder, e.g. source-based, blind, oblivious
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/913Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91335Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark

Description

本開示の実施形態は、一般に、ビデオのパブリッシングに関し、更に詳しくは、場所的な著作権で保護されているウォータマーキングビデオのパブリッシングに関する。
膨大な量のビデオがインターネット上に出現していることから、現在、ビデオの事実性及び著作権が人々の注目を益々集めるようになっている。任意の人物による任意のビデオの改変が容易であることに起因し、多くの場合に、視聴者は、オリジナルと改変物を弁別することができないであろう。その一方で、ビデオの著作者は、自身のビデオクリップをパブリッシュするためにいくつかのコンテンツプロバイダを利用する場合があり、従って、自身のビデオクリップを著作権侵害から保護する必要がある。
この観点において、効率的且つ安全なビデオのパブリッシングの実施を許容する方法を提供することが有利であろう。
この概要は、詳細な説明において更に後述される一連の概念を概略的な形態で紹介するべく提供されている。この概要は、特許請求されている主題の主要な特徴又は基本的な特徴の識別を意図したものではなく、特許請求されている主題の範囲の限定のための使用を意図したものでもない。
本開示の一態様によれば、場所情報をビデオ内に埋め込む方法が提供され、方法は、ビデオを少なくとも一つのキーフレームと、少なくとも一つのキーフレームに対応した少なくとも一つの中間フレームの組と、に分離するステップと、少なくとも一つのキーフレームの場所データを受信するステップと、場所プライベートキーに基づいて少なくとも一つのキーフレームの場所データを暗号化するステップと、暗号化された場所データを少なくとも一つのキーフレーム内に埋め込むステップと、を有する。
本開示の別の態様によれば、場所情報をビデオから抽出する方法が提供され、方法は、ビデオを少なくとも一つのキーフレームと、少なくとも一つのキーフレームに対応した少なくとも一つの中間フレームの組と、に分離するステップと、少なくとも一つのキーフレームから、暗号化された場所データを抽出するステップと、場所パブリックキーに基づいて、暗号化された場所データを暗号解読するステップと、を有する。
本開示の別の態様によれば、ビデオのスケッチベクトルアレイを抜粋する方法が提供され、スケッチベクトルアレイは、ビデオの複数のキーフレームと、複数のキーフレームに対応した複数の場所データと、を有し、方法は、スケッチベクトルアレイを場所軸上にマッピングするステップと、その場所データが場所軸上において互いに近接している重複したスケッチベクトルを除去するステップと、を有する。
本開示の別の態様によれば、少なくとも第一及び第二著作権ウォータマークデータをビデオ内に隠蔽する方法が提供され、方法は、ビデオを少なくとも一つのキーフレームと、少なくとも一つのキーフレームに対応した少なくとも一つの中間フレームの組と、に分離するステップと、少なくとも第一及び第二著作権ウォータマークデータを少なくとも一つのキーフレーム内にマージするステップと、を有する。
本開示の別の態様によれば、ビデオから著作権ウォータマークデータをデコードする方法が提供され、方法は、ビデオを少なくとも一つのキーフレームと、少なくとも一つのキーフレームに対応した少なくとも一つの中間フレームの組と、に分離するステップと、少なくとも一つのキーフレームからデータ構造を読み取るステップであって、データ構造は、その内部に保存された状態で、少なくとも第一及び第二著作権ウォータマークデータを有する、ステップと、データ構造のプロパティに従って第一又は第二著作権ウォータマークデータをデコードするステップと、を有する。
本開示の別の態様によれば、上述の方法のうちの任意の方法のすべてのステップを実行するように構成された手段を有する装置が提供される。
本開示の別の態様によれば、少なくとも一つのプロセッサと、コンピュータ実行可能コードを含む少なくとも一つのメモリと、を有する装置が提供され、少なくとも一つのメモリ及びコンピュータ実行可能コードは、少なくとも一つのプロセッサにより、装置が上述の方法のうちの任意の方法のすべてのステップを実行するようにするべく、構成されている。
本開示の別の態様によれば、その内部に保存されたコンピュータ実行可能プログラムコードを有する少なくとも一つの一時的ではないコンピュータ可読ストレージ媒体を有するコンピュータプログラムプロダクトが提供され、コンピュータ実行可能コードは、実行された際に、装置が、上述の方法のうちの任意の方法に従って動作するようにするべく、構成されている。
本開示のこれらの及びその他の目的、特徴、及び利点については、添付図面との関連において参照された際に、その例示用の実施形態に関する以下の詳細な説明から明らかとなろう。
図1は、本開示の一実施形態による例示用のビデオパブリッシングシステムを示す。 図2は、場所データを有するフレームの組の構造の一例を示す。 図3は、一実施形態による場所データの署名及び埋め込み手順を示すフローチャートである。 図4は、フレーム内の最長ストローク内への場所シグネチャデータの埋め込みの一例を示す。 図5は、一実施形態による場所シグネチャの埋め込みアルゴリズムを示すフローチャートである。 図6は、一実施形態による場所データシグネチャの検証及び抽出手順を示すフローチャートである。 図7は、一実施形態による場所シグネチャの抽出アルゴリズムを示すフローチャートである。 図8は、一実施形態によるスケッチの抜粋手順を示すフローチャートである。 図9は、一実施形態による著作権ウォータマークのエンコード手順を示すフローチャートである。 図10は、一実施形態による著作権ウォータマークのデコード手順を示すフローチャートである。 図11は、著作権ウォータマーク層のスタック構造の一例を示す。 図12は、著作権ウォータマーク層のアレイ構造の一例を示す。 図13は、一実施形態によるスタック/アレイ構造を実装するデータ構造を示す。 図14A及び図14Bは、それぞれ、スタック構造及びアレイ構造のデータ関係を示す。 図15は、スポーツゲームにおけるGPS場所を有するビデオに関する本開示の例示用の適用シナリオを示す。 図16は、ブロックマップにおける場所を有するニュースビデオに関する本開示の例示用の適用シナリオを示す。 図17は、本開示のいくつかの例示用の実施形態を実施する際に使用するのに適した装置を示す概略ブロックダイアグラムである。
以下においては、説明を目的として、開示されている実施形態の十分な理解を提供するべく、詳細な事項について記述されている。但し、これらの実施形態は、これらの特定の詳細事項を伴うことなしに、或いは、等価な構成を伴って、実装され得ることが当業者には明らかである。
図1は、本開示の一実施形態による例示用のビデオパブリッシングシステムを示している。図示されているように、例示用のビデオパブリッシングシステム100は、ビデオジェネレータ110と、場所デターミナ(determiner)120と、場所署名エンベッダ(embedder)130と、著作権ウォータマークエンコーダ140と、著作権ウォータマークデコーダ150及び150’と、場所署名エクストラクタ160と、ビデオサーバ180及び180’と、スケッチエクストラクタ170と、ウェブサーバ190と、を有していてもよい。
ビデオジェネレータ110は、ビデオストリーム信号シーケンスを生成してもよい。例えば、ビデオジェネレータ110は、別個の装置であってもよく、或いは、携帯電話機又はオンボード機器などの装置内において収容されたコンポーネントであってもよい。ビデオジェネレータ110の例示を目的とした例は、限定を伴うことなし、デジタルビデオカメラ、デジタルテレビジョンカメラ、携帯型ビデオカメラ、電話機カメラ、ビデオレコーダなどを有し得る。
場所デターミナ120は、ビデオジェネレータ110によって生成されたビデオストリーム信号シーケンスの場所を判定してもよい。例えば、場所デターミナ120は、全地球測位システム(GPS: Global Positioning System)レシーバであってもよく、このGPSレシーバは、ビデオジェネレータ110に装着された又はこれに収容されたコンポーネントであってもよく、或いは、携帯電話機又はオンボード機器などの装置内にビデオジェネレータ110と共に統合されたコンポーネントであってもよい。別の例においては、カメラが、携帯電話機内に収容されたコンポーネントである場合には、場所デターミナ120は、Cell-ID/Cell-ID+RTT(Round Trip Time)、OTDOA(Observed Time Difference Of Arrival)、A-GPS(Assisted Global Positioning System)などに基づいたものなどの、様々なモバイル測位技術を利用することにより、実装されてもよい。本開示は、これらに限定されるものではなく、且つ、場所デターミナ120を実装するべく、任意の既存の又は将来開発される場所判定技術が利用され得ることに留意されたい。
場所署名エンベッダ130は、ビデオジェネレータ110によって生成されたビデオストリーム信号シーケンス用の少なくとも一つの場所シグネチャを生成してもよく、且つ、場所シグネチャをビデオストリーム信号シーケンス内に埋め込んでもよい。図示されているように、場所シグネチャは、例えば、ユーザAの場所プライベートキーに基づいて生成されてもよい。ユーザAは、例えば、ビデオの著作者であってもよく、或いは、ビデオの著作権と関連した任意のその他の人物又はエンティティであってもよい。同様に、例えば、場所署名エンベッダ130は、別個の装置であってもよく、或いは、携帯電話機又はオンボード機器などの装置内において収容されたコンポーネントであってもよい。場所署名エンベッダ130は、別個の装置である場合には、ビデオジェネレータ110によって生成されたビデオストリーム信号シーケンス及び/又は場所デターミナ120によって判定された場所データをコード分割多重アクセス(CDMA: Code Division Multiple Access)、時間分割多重アドレス(TDMA :Time Division Multiple Address)、周波数分割多重アクセス(FDMA: Frequency Division Multiple Access)、直交周波数分割多重アクセス(OFDMA: Orthogonal Frequency Division Multiple Access)、単一搬送波周波数分割多重アクセス(SC-FDMA: Single-Carrier Frequency-Division Multiple Access)などのような様々な無線通信技術を通じて受信してもよい。例えば、場所署名エンベッダ130は、図3に示されている場所データの署名及び埋め込み手順を実行することにより、実装されてもよい。
著作権ウォータマークエンコーダ140は、少なくとも二つの著作権で保護されているウォータマークデータを場所署名エンベッダ130によって提供される場所によって署名されたビデオストリーム信号シーケンス内に隠蔽してもよい。図示されているように、それぞれの著作権で保護されているウォータマークデータは、著作権所有者B及びCの認可パブリックキーのそれぞれに基づいて生成されてもよい。図1には、二人の著作権所有者が示されているが、実際的な用途においては、二人以上の著作権所有者が存在していてもよい。例えば、著作権ウォータマークエンコーダ140は、様々な有線又は無線通信技術を通じて、場所署名エンベッダ130によって提供される署名済みのビデオストリーム信号シーケンスを受信してもよい。更には、例えば、著作権ウォータマークエンコーダ140は、図9に示されている著作権ウォータマークエンコード手順を実行することにより、実装されてもよい。
著作権ウォータマークデコーダ150及び150’は、著作権ウォータマークエンコーダ140によって提供される署名済みの著作権で保護されているビデオストリームから、隠蔽された著作権で保護されているウォータマークデータを解読してもよい。図示されているように、著作権ウォータマークデコーダ150は、著作権所有者Cの認可プライベートキーに基づいて隠蔽された著作権で保護されているウォータマークデータを解読してもよく、且つ、著作権ウォータマークデコーダ150’は、著作権所有者Bの認可プライベートキーに基づいて、隠蔽された著作権で保護されているウォータマークデータを解読してもよい。例えば、著作権ウォータマークデコーダ150及び150’は、別個の装置であってもよく、或いは、ビデオサーバ170又は170’などの装置内において収容されたコンポーネントであってもよい。更には、例えば、著作権ウォータマークデコーダ150又は150’は、著作権ウォータマークエンコーダ140によって提供される署名済みの著作権で保護されているビデオストリームを受信してもよく、且つ/又は、様々な有線又は無線通信技術を通じて処理済みのビデオストリームをビデオサーバ170又は170’に対して提供してもよい。更には、例えば、著作権ウォータマークデコーダ150又は150’は、図10に示されている著作権ウォータマークデコード手順を実行することにより、実装されてもよい。
場所署名エクストラクタ160は、著作権ウォータマークデコーダ150によって提供される処理済みのビデオストリームから場所シグネチャを抽出及び検証してもよく、且つ、正常な検証の際に場所データを提供してもよい。これに加えて、場所署名エクストラクタ160は、後述するスケッチベクトルアレイをスケッチアブストラクタ180に対して提供してもよい。図示されているように、場所シグネチャは、ユーザAの場所パブリックキーに基づいて暗号解読されてもよい。例えば、場所署名エクストラクタ160は、別個の装置であってもよく、或いは、ビデオサーバ170などの装置内において収容されたコンポーネントであってもよい。更には、例えば、場所署名エクストラクタ160は、著作権ウォータマークデコーダ150によって提供される処理済みのビデオストリームを受信してもよく、且つ/又は、様々な有線又は無線通信技術を通じて処理済みのビデオストリームをビデオサーバ170に対して提供してもよい。更には、例えば、場所署名エクストラクタ160は、図6に示されている場所データシグネチャの検証及び抽出手順を実行することにより、実装されてもよい。
ビデオサーバ170又は170’は、場所データを有する/有していない著作権で保護されているビデオをホスティングしてもよい。図示されているように、ビデオサーバ170は、場所署名エクストラクタ160から、場所データを有する著作権で保護されているビデオを受信し、且つ、ビデオサーバ170’は、著作権ウォータマークデコーダ150’から、場所データを有していない著作権で保護されているビデオを受信している。例えば、ビデオサーバ170又は170’は、様々な有線又は無線通信技術を通じて、場所を有する/有していない著作権で保護されているビデオを受信してもよい。更には、例えば、ビデオサーバ170又は170’は、ビデオをホスティングする能力を有する任意の既存の又は将来開発されるビデオサーバであってもよい。
スケッチアブストラクタ180は、場所署名エクストラクタ160によって提供されるスケッチベクトルアレイを受信してもよく、且つ、スケッチベクトルアレイをスケッチアブストラクトベクトルアレイとして精製してもよい。例えば、スケッチアブストラクタ180は、別個の装置であってもよく、或いは、ウェブサーバ190などの装置内において収容されたコンポーネントであってもよい。更には、例えば、スケッチアブストラクタ180は、場所署名エクストラクタ160によって提供されるスケッチベクトルアレイを受信してもよく、且つ/又は、様々な有線又は無線通信技術を通じてスケッチアブストラクトベクトルアレイをウェブサーバ190に対して提供してもよい。更には、例えば、スケッチアブストラクタ180は、図8に示されているスケッチ抜粋手順を実行することにより、実装されてもよい。
ウェブサーバ190は、ユーザの問合せ、プレビュー、及び提示のために、スケッチアブストラクタ180によって提供されたスケッチアブストラクトベクトルアレイを保存してもよい。例えば、ウェブサーバ190は、様々な有線又は無線通信技術を通じて、スケッチアブストラクトベクトルアレイを受信してもよい。更には、例えば、ウェブサーバ190は、ユーザの問合せ、プレビュー、及び提示を許容する任意の既存の又は将来開発されるウェブサーバであってもよい。
図2は、場所データを有するフレームの組の構造の一例を示している。この図示の例においては、ビデオストリームは、場所データLi(i=1,...,n)にそれぞれが対応しているn個のフレームの組(FS1,FS2,..,FSn)を有する。それぞれのフレームの組FSiごとに、キーフレームKFiが判定されてもよい。最も単純な例として、キーフレームKFiは、フレームの組FSi内における第一フレームであってもよい。但し、本開示は、これに限定されるものではなく、且つ、キーフレームKFiは、フレームの組FSi内における任意の一つのフレームであってもよい。或いは、この代わりに、場所データに基づいてキーフレームを判定する代わりに(例えば、場所データの値が既定量だけ変化するたびに受信される第一フレームがキーフレームとして判定されてよい)、キーフレームは、動的な計画やクラスタ化などに基づいたものなどのように、任意の既存のキーフレーム検出方法を使用することにより、判定されてもよい。このケースにおいては、一つの場所データLiが、いくつかのキーフレームに対応していてもよいであろう。
図3は、一実施形態による場所データの署名及び埋め込み手順を示すフローチャートである。手順は、ステップ310において始まってもよい。次いで、ステップ315において、受信されたビデオフレームが、キーフレーム又は中間フレームとして分離されてもよい。キーフレームに関する判定については、上述したとおりであり、従って、再度の詳述は、省略することとする。次いで、ステップ320において、現時点のフレームが最後のフレームであるかどうかについて判定されてもよい。ステップ320において、現時点のフレームが最後のフレームであると判定された場合には、手順は、ステップ360において終了してもよい。
その一方で、ステップ320において、現時点のフレームが最後のフレームではないと判定された場合には、ステップ325において、現時点のフレームがキーフレームであるかどうかが判定されてもよい。ステップ325において、現時点のフレームがキーフレームであると判定された場合には、ステップ330において、現時点のフレームは、ビデオストリームから抽出されてもよい。次いで、ステップ335において、場所データが更新されているかどうかが判定されてもよい。
ステップ335において、場所データが更新されていると判定された場合には、ステップ340において、場所シグネチャが生成されてもよい。例えば、場所データLiは、ユーザAの場所プライベートキーskL Aにより、以下の式において示されているように、場所シグネチャsigiとして、署名されてもよく、
sigi=Sign(skL A,Li)
ここで、Sign()は、署名関数を表記している。例えば、署名関数は、パブリック及びプライベートキー(例えば、RSAアルゴリズムやSHA-256アルゴリズムなど)に基づいた任意の既存の又は将来開発される暗号化アルゴリズムであってもよい。
その一方で、ステップ325において、現時点のフレームがキーフレームではないと判定された場合には、現時点のフレーム(即ち、中間フレーム)は、ビデオストリームから抽出されてもよい。次いで、ステップ355において、対応するキーフレーム用に生成された場所シグネチャが複写されてもよい。又、これに加えて、ステップ355において、場所データが更新されていないと判定された場合にも、手順は、対応したキーフレーム(即ち、直前のキーフレーム)用に生成された場所シグネチャを複写するべく、ステップ355に進む。
次いで、ステップ345において、場所シグネチャは、現時点のフレーム内に埋め込まれてもよい。例えば、ステップ340からのキーについて、埋め込み動作は、次式のように表されてもよく、
KFi=EmbL(Sigi,KFi)
且つ、ステップ355からの中間フレームについては、埋め込み動作は、次式のように表されてもよく、
IFSKFi=EmbL(Sigi,IFSKFi)
ここで、EmbL()は、場所シグネチャ埋め込み関数を表記しており、IFSKFiは、KFiの中間フレームを表記している。例えば、場所シグネチャ埋め込み関数は、図5に示されている場所シグネチャ埋め込みアルゴリズムを実行することにより、実装されてもよい。
別の例として、場所シグネチャデータのみを埋め込む代わりに、以下に示されている場所シグネチャデータ構造Sig_dataiが、ビデオフレーム内に埋め込まれてもよく、
Sig_datai=(time,seqno,Li,sigi)
ここで、timeは、キーフレームKFiのレコードタイムスタンプを表記しており、seqnoは、キーフレームKFiのグローバルシーケンス番号を表記しており、Liは、キーフレームKFiの場所データを表記している。例えば、パラメータtimeは、場所デターミナ120(例えば、GPSレシーバ)、ビデオジェネレータ110、場所シグネチャエンベッダ130などによって提供されてもよく、且つ、パラメータseqnoは、ビデオジェネレータ110によって提供されてもよい。このケースにおいては、キーフレーム及び中間フレームの埋め込み動作は、それぞれ、次式のように示され得る。
KFi=EmbL(Sig_datai,KFi)
IFSKFi=EmbL(Sig_datai,IFSKFi)
図3には、場所シグネチャデータ又はデータ構造がキーフレーム及び中間フレームの両方内に埋め込まれるものと示されているが、本開示は、これに限定されるものではないことに留意されたい。例えば、場所シグネチャデータ又はデータ構造は、キーフレーム内にのみ、埋め込まれてもよい。
図5は、一実施形態による場所シグネチャの埋め込みアルゴリズムを示すフローチャートである。人間は、画像内のストローク/ボーダーの色に対する感度を有していないという事実に基づいて、場所シグネチャの埋め込みアルゴリズムは、まず、フレームKFi又はIFSKFi内の最長ストローク/ボーダーを見出し、且つ、次いで、透明なウォータマーキングアルゴリズムを通じて、場所シグネチャデータSigi又は場所シグネチャデータ構造Sig_dataiをフレーム内に書き込む。
場所シグネチャの埋め込みアルゴリズムは、ステップ510において始まってもよく、ここで、キーフレームが取得されてもよい。次いで、ステップ520において、エッジ検出、浸食、又はボーダー抽出アルゴリズムが、フレーム内のすべてのストロークを見出すべく、呼び出されてもよい。エッジ検出、浸食、又はボーダー抽出アルゴリズムの例示を目的とした例は、限定を伴うことなしに、グレーレベルのヒストグラムに基づいたエッジ検出、勾配に基づいたエッジ検出(例えば、Roberts演算子、Sobel演算子、Prewitt演算子など)、MATLABのimerode関数、並びに、任意のその他の既存の又は将来開発されるエッジ検出、浸食、又はボーダー抽出アルゴリズムを有し得る。
次いで、ステップ530において、すべてのストロークの中から、最長ストロークが選択されてもよい。図4に示されている例においては、円41及び曲線42が、最長ストロークとして選択されている。次いで、ステップ540において、埋め込み領域が制限されてもよい。例えば、最長ストロークを取り囲む最小矩形が、埋め込み領域として定義されてもよい。次いで、ステップ550において、埋め込み領域は、フォーマットされてもよい。例えば、埋め込み領域は、図4に示されているように、固定された数及びサイズのグリッドとして、フォーマットされてもよい。
次いで、ステップ560において、重要(non-trivial)なt個のグリッドが選択されてもよい。例えば、グリッドの合計面積に対する最長ストロークによって占有されているグリッド内の面積の比率が、既定値(例えば、50%など)を上回っている場合には、グリッドは、重要なグリッドとして選択されてもよい。更には、例示を目的とした一例において、選択された重要なt個のグリッドは、トポロジーにおいて連続していてもよい。
次いで、ステップ570において、場所シグネチャのt個のハッシュブロックが生成されてもよい。例えば、ハッシュブロックは、任意の既存のハッシュ関数を使用することにより、生成されてもよい。次いで、ステップ580において、ハッシュブロックは、t個のグリッドの低ビット内に書き込まれてもよい。例えば、ハッシュブロックは、低ビットを置換してもよく、或いは、t個のグリッドの低ビットとの間においてXORされてもよい。
図6は、一実施形態による場所データシグネチャの検証及び抽出手順を示すフローチャートである。手順は、ステップ610において始まってもよい。次いで、ステップ615において、受信されたビデオフレームが、キーフレーム又は中間フレームとして分離されてもよい。キーフレームに関する判定については、上述したとおりであり、従って、再度の詳細な説明は、省略することとする。次いで、ステップ620において、現時点のフレームが最後のフレームであるかどうかが判定されてもよい。ステップ620において、現時点のフレームが最後のフレームであると判定された場合には、手順は、ステップ655において終了してもよい。
その一方で、ステップ620において、現時点のフレームが最後のフレームではないと判定された場合には、ステップ625において、現時点のフレームが、キーフレームであるかどうかが判定されてもよい。ステップ625において、現時点のフレームがキーフレームではないと判定された場合には、手順は、ステップ615に進んでもよく、その理由は、同一の場所シグネチャデータが、キー及び中間フレーム内に埋め込まれているからである。
その一方で、ステップ625において、現時点のフレームがキーフレームであると判定された場合には、ステップ630において、場所シグネチャのデータ構造が抽出されてもよい。例えば、抽出動作は、次式のように表されてもよく、
Sig_datai=ExtrL(KFi)
ここで、ExtrL()は、場所シグネチャの抽出関数を表記している。例えば、場所シグネチャの抽出関数は、図7に示されている場所シグネチャ抽出アルゴリズムを実行することにより、実装されてもよい。
次いで、ステップ635において、場所シグネチャは、検証されてもよい。例えば、検証動作は、次式のように表されてもよく、
succ=VrfyL(pkL A,sigi,KFi)
ここで、ExtrL()は、場所シグネチャの抽出関数を表記しており、且つ、pkL Aは、ユーザAの場所パブリックキーを表記しており、且つ、succは、検証に成功したかどうかを通知する論理変数を表記している。例えば、抽出関数は、パブリック及びプライベートキーに基づいた任意の既存の又は将来開発される暗号解読アルゴリズムであってもよい。
次いで、ステップ640において、検証に成功したかどうかが判定されてもよい。ステップ640において、検証に成功しなかったと判定された場合には、手順は、ステップ655において終了してもよい。その一方で、ステップ640において、検証に成功したと判定された場合には、手順は、ビデオストリームの再生と、場所データの表示と、を実行してもよい。
任意選択により、ステップ650において、スケッチベクトルアレイが保存されてもよい。例えば、スケッチベクトルアレイは、<KFi,Li>として表されてもよく、且つ、スケッチアブストラクタ180に提供されてもよい。
図7は、一実施形態による場所シグネチャの抽出アルゴリズムを示すフローチャートである。埋め込みアルゴリズムが可逆的であることから、抽出アルゴリズムは、類似している。場所シグネチャの抽出アルゴリズムは、ステップ710において始まってもよく、ここで、キーフレームが取得されてもよい。次いで、ステップ720において、フレーム内のすべてのストロークを見出すべく、エッジ検出、浸食、又はボーダー抽出アルゴリズムが呼び出されてもよい。エッジ検出、浸食、又はボーダー抽出アルゴリズムの例示用の例については、上述したとおりであり、従って、再度の詳細な説明は、省略することとする。
次いで、ステップ730において、すべてのストロークの中から、最長ストロークが選択されてもよい。図4の図示の例においては、円41及び曲線42が、最長ストロークとして選択されている。次いで、ステップ740において、埋め込み領域が制限されてもよい。例えば、最長ストロークを取り囲む最小矩形が、埋め込み領域として定義されてもよい。次いで、ステップ750において、埋め込み領域がフォーマットされてもよい。例えば、埋め込み領域は、図4に示されているように、固定された数及びサイズのグリッドとして、フォーマットされてもよい。
次いで、ステップ760において、重要なt個のグリッドの低ビットスロットから、それぞれのハッシュブロックが読み取られてもよい。例えば、グリッドの合計面積に対する最長ストロークによって占有されているグリッド内の面積の比率が、既定値(例えば、50%など)を上回っている場合には、グリッドは、重要なグリッドとして選択されてもよい。更には、例示用の一例においては、選択された重要なt個のグリッドは、トポロジーにおいて連続していてもよい。次いで、ステップ770において、場所シグネチャのt個のハッシュブロックは、場所シグネチャとして、組み合わせられてもよい。
図8は、一実施形態によるスケッチの抜粋手順を示すフローチャートである。その大きな容量に起因して、スケッチベクトルアレイは、更に小さなものに精製する必要がある。いくつかの用途においては、シナリオを表すために、一つのキーフレームのみで十分である。スケッチの抜粋手順は、この仮定に基づいている。
ステップ810において、スケッチベクトルアレイが読み取られてもよい。例えば、スケッチベクトルアレイ<KFi,Li>は、場所署名エクストラクタ160から読み取られてもよい。次いで、ステップ820において、スケッチベクトルアレイのそれぞれの要素が、フォーマット<Li,KFi>として、逆転されてもよい。
次いで、ステップ830において、その場所データの値が互いに近接している重複したベクトルが除去されてもよい。最も単純な例として、すべての場所データの値の範囲が、複数の部分に均等に分割されてもよく、且つ、それぞれの部分ごとに、第一キーフレームが保持されてもよく、且つ、この部分内のすべてのその他のキーフレームが除去されてもよい。但し、本開示は、これに限定されるものではなく、且つ、すべての場所データの値の範囲が、場所軸におけるスケッチベクトルアレイの密度に応じて、不均等に分割されてもよく、且つ、それぞれの分割された部分ごとに、その部分内の任意の一つのフレームが、唯一の逆転されたフレームとして、選択されてもよい。別の例として、すべてのベクトルの場所データが、距離によってクラスタ化されてもよく、且つ、それぞれの形成されたクラスタごとに、そのクラスタ内の任意の一つのフレームが、唯一の逆転されたフレームとして、選択されてもよい。
次いで、ステップ840において、スケッチアブストラクトベクトルアレイが生成されてもよい。例えば、スケッチアブストラクトベクトルアレイを生成するべく、ステップ830から提供された逆転されたスケッチベクトルアレイが、再度、逆転されてもよい。
スケッチベクトルアレイが場所軸上にマッピングされ得る限り、ステップ820及び840は、省略されてもよく、その理由は、スケッチベクトルアレイの逆転が、スケッチベクトルアレイを場所軸上にマッピングするための唯一の具体的な方式であるからであるという点に留意されたい。又、例えば、マッピングプロセスは、アレイ<Li,i>を生成することにより、実装されてもよい。
図9は、一実施形態による著作権ウォータマークのエンコード手順を示すフローチャートである。手順は、ステップ910において始まってもよく、ここで、ビデオが読み取られてもよい。例えば、ビデオは、場所シグネチャエンベッダ130から提供されてもよい。次いで、ビデオは、ステップ915において、少なくとも一つのキーフレームと、少なくとも一つのキーフレームの少なくとも一つの中間フレームの組と、に分離されてもよい。次いで、ステップ920において、フレームが読み取られてもよい。次いで、ステップ925において、現時点の読み取られたフレームがキーフレームであるかどうかが判定されてもよい。ステップ925において、現時点のフレームがキーフレームであると判定された場合には、ステップ930において、著作権キーのスタック又はリストが読み取られてもよい。例えば、著作権キーのスタック又はリストは、少なくとも二つの著作権パブリックキーを有していてもよい。次いで、ステップ935において、著作権キーのスタック又はリストがヌルであるかどうかが判定されてもよい。ステップ935において、著作権キーのスタック又はリストがヌルであると判定された場合には、手順は、ステップ920に進んでもよく、ここで、次のフレームが読み取られてもよい。
その一方で、ステップ935において、著作権キーのスタック又はリストがヌルではないと判定された場合には、ステップ940において、著作権ウォータマークが生成されてもよい。例えば、まず、キーフレームKFiが、ユーザパブリックキーpkc jによって著作権暗号WCijとして暗号化されてもよく、ここで、WCijは、ユーザjの著作権暗号を表記しており、且つ、pkc jは、ユーザjの著作権で保護されているパブリックキーを表記している。この動作は、次式のように表されてもよい。
WCij=Enc(pkc j,KFi)、i=1,…,n; j=1,…,m
ここで、Enc()は、著作権ウォータマーク暗号化関数を表記している。例えば、著作権ウォータマーク暗号化関数は、パブリック及びプライベートキー(例えば、RSAアルゴリズムやSHA-256アルゴリズムなど)に基づいた任意の既存の又は将来開発される暗号化アルゴリズムであってもよい。次いで、すべてのユーザについてウォータマーク層WLijを生成するべく、ウォータマーク生成関数が呼び出されてもよく、ここで、WLijは、ユーザjのウォータマーク層を表記している。この動作は、次式のように表されてもよく、
WLij=WmGen(WCij)、i=1,…,n; j=1,…,m
ここで、WmGen()は、著作権ウォータマーク生成関数を表記している。例えば、著作権ウォータマーク生成関数は、ハッシュアルゴリズムなどの、任意の既存の又は将来開発されるウォータマーク生成関数であってもよい。
次いで、ステップ945において、著作権ウォータマークが、現時点のフレーム内にマージされてもよい。例えば、この動作は、次式のように表されてもよく、
KFi=Embc({WLij}j=1 m,KFi)、i=1,…,n; j=1,…,m
ここで、Embc()は、著作権ウォータマーク埋め込み関数を表記しており、且つ、{WLij}j=1 mは、スタック/アレイウォータマーク層構造を表記している。例えば、著作権ウォータマーク埋め込み関数は、ウェブレット変換やヒストグラムなどに基づいたものなどの、任意の既存の又は将来開発されるウォータマーク埋め込みアルゴリズムであってもよい。更には、スタック/アレイウォータマーク層構造の実装形態については、図13〜図14を参照して後述することとする。
その一方で、ステップ925において、現時点のフレームがキーフレームではないと判定された場合には、対応したキーフレームの著作権ウォータマークが複写されてもよい。次いで、ステップ955において、複写された著作権ウォータマークが、現時点のフレーム(即ち、中間フレーム)内にマージされてもよい。
図10は、一実施形態による著作権ウォータマークのデコード手順を示すフローチャートである。手順は、ステップ1010において始まってもよく、ここで、ビデオが読み取られてもよい。例えば、ビデオは、著作権ウォータマークエンコーダ140から提供されてもよい。次いで、ステップ1015において、ビデオは、少なくとも一つのキーフレームと、少なくとも一つのキーフレームの少なくとも一つの中間フレームの組と、に分離されてもよい。次いで、ステップ1020において、フレームが読み取られてもよい。次いで、ステップ1025において、現時点の読み取られたフレームがキーフレームであるかどうかが判定されてもよい。ステップ1025において、現時点のフレームがキーフレームであると判定された場合には、ステップ1030において、著作権ウォータマーク層のスタック又はアレイが読み取られてもよい。例えば、著作権ウォータマーク層のスタック又はアレイは、ウェブレット変換やヒストグラムなどに基づいたものなどの、任意の既存の又は将来開発されるウォータマーク抽出アルゴリズムを使用することにより、読み取られてもよい。次いで、ステップ1035において、著作権ウォータマーク層のスタック又はアレイがヌルであるかどうかが判定されてもよい。ステップ1035において、著作権ウォータマーク層のスタック又はアレイがヌルであると判定された場合には、手順は、ステップ102に進んでもよく、ここで、次のフレームが読み取られてもよい。
その一方で、ステップ1035において、著作権ウォータマーク層のスタック又はアレイがヌルではないと判定された場合には、著作権ウォータマーク層のスタック又はアレイから、対応した著作権ウォータマーク層が抽出されてもよい。この動作については、図13〜図14を参照して後述することとする。
その一方で、ステップ1025において、現時点のフレームがキーフレームではないと判定された場合には、対応したキーフレームの著作権ウォータマークが複写されてもよい。
図11は、著作権ウォータマーク層のスタック構造の一例を示しており、且つ、図12は、著作権ウォータマーク層のアレイ構造の一例を示している。ウォータマークのデコード手順においては、スタック構造内において、WLiの下方のすべての層が、抽出関数により、回復されることを要し、且つ、最終的なビデオに最終的にマージされることを要する。即ち、すべての以前の著作権ウォータマークが除去されてはならない。但し、アレイ構造においては、任意のユーザが、その他の著作権ウォータマーク層の順序とは無関係に、自身のウォータマーク層を抽出してもよい。従って、アレイ構造が、フレキシブルな順序をサポートしているのに対して、スタック構造は、著作権ウォータマーク層の静的な順序を決定している。
図13は、一実施形態によるスタック/アレイ構造を実装したデータ構造を示している。図示されているように、このスタック/アレイ構造は、m個のウォータマーク層を有し、ここで、WSk=(WSk1,WSk2,…,WSkr)(k=1,…,m)は、WLk=(WLk1、WLk2,…,WLkr)のシグネチャであり、且つ、WLkは、r個の部分から構成されたk番目のウォータマーク層である。すべての部分は、固定された長さを有するハッシュコードである。従って、基本的な保存単位は、三つの組(XSi、LSi,WSij)として記述することが可能であり、ここで、XSiは、スタック又はアレイのi番目の場所を表記しており、LSiは、i番目の層のシグネチャを表している。以下、図14A及び図14Bを参照し、XSi及びLSiの実装形態について説明することとする。
図14A及び図14Bは、それぞれ、スタック構造及びアレイ構造のデータ関係を示している。図14Aに示されているように、スタック構造内においては、データ関係は、LSiによって表されている。既知のLS0が付与された際に、LS1は、Sig(XS1,LS0)によって算出され、次いで、これに後続するすべてのものは、以下の式に示されているように、それぞれの以前のものによって評価することができる。
LS1=Sig(XS1,LS0)
LSk=Sig(XSk,LSk-1)
次いで、以下の式に示されているように、WSkjが、データWSkj及びキーKSkによって取得される。
WSkj=Sig(WLkj,LSk)
従って、スタック内においてウォータマークを取得する必要がある場合には、その上部におけるキーLSkの全体を知る必要がある。ここで、LSkの上部におけるすべてのキーは、LS1、LS2、…、LSk-1を表記しているが、図14A及び図14Bには、LSkが、LS1、LS2、…、LSk-1の上部に位置しているものとして示されていることに留意されたい。
図14Bに示されているように、アレイ構造においては、データ関係は、スタック構造におけるものよりも単純である。すべての層のシグネチャLSiは、既知のLS0によって判定される。従って、これらは、互いに独立している。スタック構造における実装形態と同様に、WSkjは、以下の式において示されているように、データWLkj及びキーLSkによって取得される。
LSk=Sig(XSk,LS0)
WSkj=Sig(WLkj,LSk)
又、その他の層による損傷から層を保護するべく、保存単位(XSi、LSi、WSij)は、ランダムな順序でシャッフルされてもよく、その理由は、XSiが、論理的な場所及び単位の間における関係として提示され得るからであるという点に留意されたい。例示用の一例として、Xiは、カオス整数シーケンスであり、且つ、XSiは、すべての著作権所有者の共通キーkcommを有するXiのシグネチャである。
初期値c0、パラメータa、m、及び反復の回数nが付与された際に、カオス整数シーケンス{ck;k=0,1,2,3,…}は、以下の式によって判定される。
この結果、著作権所有者ではないユーザは、スタック又はアレイの場所を推定することができず、その理由は、カオス整数シーケンスは、確率論的なものであり、且つ、初期値の影響を受けやすいからである。
この結果、Xiは、以下の式において示されているように、固定された数のカオス整数から構成されたカオスシーケンスであってもよい。
{Xi=ckck+1…ck+s-1;k=0,s,…,is}
XSi=Sig(Xi,kcomm)
カオス整数シーケンス及びシグネチャの方法は、いずれも、可逆的であることから、デコード手順は、実装が容易である。
図15は、スポーツゲームにおけるGPS場所を有するビデオに関する本開示の例示用の適用シナリオを示している。このシナリオにおいては、GPS場所データが同時に示されている状態において、ライブビデオが再生されてもよい。更には、図16は、ブロックマップにおける場所を有するニュースビデオに関する本開示の例示用の適用シナリオを示している。このシナリオにおいては、場所データがブロックマップ内において示されている状態において、ニュースビデオが再生されてもよい。
上述の説明に基づいて、本開示においては、以下の有利な技術的効果を実現することができる。
(1)場所シグネチャがビデオストリーム内に埋め込まれ、且つ、シグネチャ検証が実行されることから、ビデオコンテンツは、発生場所に関するその場所情報を保持することが可能であり、且つ、その結果、ビデオのパブリッシング手順の信頼性を向上させることができる。
(2)同一の場所シグネチャがキー及び中間フレーム内に埋め込まれることから、処理オーバーヘッドを低減することが可能であり、且つ、GIS又はサーチエンジンなどの従来のサービスへの統合が容易である。
(3)場所シグネチャが、ビデオフレーム内の最長ストローク内に埋め込まれることから、ユーザの視聴効果に対してほとんど影響しない。
(4)少なくとも二つの著作権ウォータマーク層をスタック/アレイ構造の形態においてビデオ内に埋め込むことができることから、様々な著作権所有者について、効果的且つフレキシブルに、ある程度の著作権情報をビデオ内に埋め込むことが可能であり、且つ、その結果、ビデオのパブリッシング手順の適法性を向上させることができる。
(5)スケッチベクトルアレイを相対的に小さなものに精製することができることから、ユーザの問合せ、プレビュー、及び提示を円滑に実行することができる。
図17は、本開示のいくつかの例示用の実施形態を実施する際に使用するのに適した装置を示す概略ブロックダイアグラムである。例えば、図1に示されている場所署名エンベッダ130、著作権ウォータマークエンコーダ140、著作権ウォータマークデコーダ150及び150’、場所署名エクストラクタ160、及びスケッチエクストラクタ170のうちの任意のものは、装置1700を通じて実装されてもよい。図示されているように、装置1700は、データプロセッサ(DP)1710と、プログラム(PROG)1730を保存したメモリ(MEM)1720と、有線通信、無線通信、データバスなどを通じてその他の外部装置との間においてデータを交換するデータインターフェイス1740と、を含んでいてもよい。
PROG 1730は、DP 1710によって実行された際に、装置1700が、上述の本開示の例示用の実施形態に従って動作できるようにするプログラム命令を含むものと仮定されている。即ち、本開示の例示用の実施形態は、少なくとも部分的に、DP 1710によって実行可能なコンピュータソフトウェアにより、或いは、ハードウェアにより、或いは、ソフトウェアとハードウェアの組合せにより、実装されてもよい。
MEM 1720は、ローカルな技術的環境に適した任意のタイプのものであってもよく、且つ、半導体に基づいたメモリ装置、フラッシュメモリ、磁気メモリ装置及びシステム、光メモリ装置及びシステム、固定メモリ及び着脱自体のメモリなどの、任意の適切なデータストレージ技術を使用することにより、実装されてもよい。DP 1710は、ローカルな技術的環境に適した任意のタイプのものであってもよく、且つ、非限定的な例として、汎用コンピュータ、特殊目的コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ(DSP: Digital Signal Processor)、及びマルチコアプロセッサアーキテクチャに基づいたプロセッサのうちの一つ以上を含んでいてもよい。
一般に、様々な例示用の実施形態は、ハードウェア又は特殊目的回路、ソフトウェア、ロジック、又はこれらの任意の組合せにおいて実装されてもよい。例えば、いくつかの態様は、ハードウェアにおいて実装されてもよく、その他の態様は、コントローラ、マイクロプロセッサ、又はその他の演算装置によって実行され得るファームウェア又はソフトウェアにおいて実装されてもよいが、本開示は、これらに限定されるものではない。本開示の例示用の実施形態の様々な態様は、ブロックダイアグラムとして、フローチャートとして、或いは、なんらかのその他の絵画的表現を使用することにより、図示及び記述されている場合があるが、本明細書において記述されているこれらのブロック、装置、システム、技法、又は方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特殊目的回路又はロジック、汎用ハードウェア又はコントローラ又はその他の演算装置、或いは、これらのなんらかの組合せにおいて、実装され得ることを理解されたい。
従って、本開示の例示用の実施形態の少なくともいくつかの態様は、集積回路チップ及びモジュールなどの様々なコンポーネントとして実施され得ることを理解されたい。従って、本開示の例示用の実施形態は、集積回路として実施された装置として実現されてもよく、この場合に、集積回路は、本開示の例示用の実施形態に従って動作するように構成可能なデータプロセッサ、デジタル信号プロセッサ、ベースバンド回路、及び高周波回路のうちの少なくとも一つ以上を実施した回路(並びに、恐らくは、ファームウェア)を有し得ることを理解されたい。
本開示の例示用の実施形態の少なくともいくつかの態様は、一つ以上のコンピュータ又はその他の装置によって実行される、一つ以上のプログラムモジュールなどの、コンピュータ実行可能命令として実施され得ることを理解されたい。一般に、プログラムモジュールは、コンピュータ又はその他の装置内におけるプロセッサによって実行された際に特定のタスクを実行するか又は特定の抽象的データタイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。コンピュータ実行可能命令は、ハードディスク、光ディスク、着脱自在のストレージ媒体、半導体メモリ、RAMなどのようなコンピュータ可読媒体内において保存されてもよい。当業者には理解されるように、プログラムモジュールの機能は、適宜、様々な実施形態において、組み合わせられてもよく、或いは、分散させられてもよい。これに加えて、機能は、全体的に又は部分的に、集積回路、フィールドプログラム可能なゲートアレイ(FPGA: Field Programmable Gate Array)、及びこれらに類似したものなどのファームウェア又はハードウェア均等物として、実施されてもよい。
本開示は、明示的に本明細書において開示されている任意の新規の特徴又は特徴の組合せ又はその任意の一般化を含んでいる。本開示の以上の例示用の実施形態に対する様々な変更及び適合については、添付図面との関連において参照された際に、以上の説明に鑑み、当業者に明らかとなろう。但し、任意の且つすべての変更は、本開示の非限定的且つ例示用の実施形態の範囲内に依然として含まれている。

Claims (17)

  1. 場所情報をビデオ内に埋め込む方法であって、
    前記ビデオを少なくとも一つのキーフレームと、前記少なくとも一つのキーフレームに対応した少なくとも一つの中間フレームの組と、に分離するステップと、
    前記少なくとも一つのキーフレームの場所データを受信するステップと、
    場所プライベートキーに基づいて前記少なくとも一つのキーフレームの前記場所データを暗号化するステップと、
    前記暗号化された場所データを前記少なくとも一つのキーフレームに埋め込むステップと、
    を有する方法であって、
    前記少なくとも一つのキーフレーム内に埋め込むステップは、
    前記少なくとも一つのキーフレームから最長ストロークを検出するステップと、
    前記暗号化された場所データを前記最長ストローク内に埋め込むステップと、
    を有する、
    方法。
  2. 前記暗号化された場所データを前記少なくとも一つの中間フレームの組のそれぞれのフレーム内に埋め込むステップを更に有する、請求項1に記載の方法。
  3. 前記少なくとも一つの中間フレームの組のそれぞれのフレーム内に埋め込むステップは、
    前記少なくとも一つの中間フレームの組のそれぞれのフレームから最長ストロークを検出するステップと、
    前記暗号化された場所データを前記最長ストローク内に埋め込むステップと、
    を有する、請求項1または2に記載の方法。
  4. ビデオから場所情報を抽出する方法であって、
    前記ビデオを少なくとも一つのキーフレームと、前記少なくとも一つのキーフレームに対応した少なくとも一つの中間フレームの組と、に分離するステップと、
    前記少なくとも一つのキーフレームから、暗号化された場所データを抽出するステップと、
    場所パブリックキーに基づいて前記暗号化された場所データを暗号解読するステップと、
    を有する方法であって、
    前記少なくとも一つのキーフレームから抽出するステップは、
    前記少なくとも一つのキーフレームから最長ストロークを検出するステップと、
    前記最長ストロークから前記暗号化された場所データを抽出するステップと、
    を有する、
    方法。
  5. 前記暗号化された場所データが正常に暗号解読されることに応答して、前記ビデオの再生と、前記暗号解読された場所データの表示と、を実行するステップを更に有する、請求項4に記載の方法。
  6. 場所情報をビデオ内に埋め込む装置であって、
    前記ビデオを少なくとも一つのキーフレームと、前記少なくとも一つのキーフレームに対応した少なくとも一つの中間フレームの組とに、分離するように構成された分離手段と、
    前記少なくとも一つのキーフレームの場所データを受信するように構成された受信手段と、
    場所プライベートキーに基づいて前記少なくとも一つのキーフレームの前記場所データを暗号化するように構成された暗号化手段と、
    前記暗号化された場所データを前記少なくとも一つのキーフレーム内に埋め込むように構成された埋め込み手段と、
    を有する装置であって、
    前記埋め込み手段は、
    前記少なくとも一つのキーフレームから最長ストロークを検出し、且つ、
    前記暗号化された場所データを前記最長ストローク内に埋め込む、
    ように構成されている、
    装置。
  7. 前記埋め込み手段は、
    前記暗号化された場所データを前記少なくとも一つの中間フレームの組のそれぞれのフレーム内に埋め込む、
    ように更に構成されている、請求項6に記載の装置。
  8. 前記埋め込み手段は、
    前記少なくとも一つの中間フレームの組のそれぞれのフレームから最長ストロークを検出し、且つ、
    前記暗号化された場所データを前記最長ストローク内に埋め込む、
    ように構成されている、請求項7に記載の装置。
  9. ビデオから場所情報を抽出する装置であって、
    前記ビデオを少なくとも一つのキーフレームと、前記少なくとも一つのキーフレームに対応した少なくとも一つの中間フレームの組と、に分離するように構成された分離手段と、
    前記少なくとも一つのキーフレームから、暗号化された場所データを抽出するように構成された抽出手段と、
    場所パブリックキーに基づいて前記暗号化された場所データを暗号解読するように構成された暗号解読手段と、
    を有する装置であって、
    前記抽出手段は、
    前記少なくとも一つのキーフレームから最長ストロークを検出し、且つ、
    前記最長ストロークから前記暗号化された場所データを抽出する、
    ように構成されている、
    装置。
  10. 前記暗号化された場所データが正常に暗号解読されることに応答して、前記ビデオの再生と、前記暗号解読された場所データの表示と、を実行するように構成された検証手段を更に有する、請求項9に記載の装置。
  11. 場所情報をビデオ内に埋め込む装置であって、
    少なくとも一つのプロセッサと、
    コンピュータ実行可能コードを含む少なくとも一つのメモリと、
    を有し、
    前記少なくとも一つのメモリ及び前記コンピュータ実行可能コードは、前記少なくとも一つのプロセッサにより、前記装置が、
    前記ビデオを少なくとも一つのキーフレームと、前記少なくとも一つのキーフレームに対応した少なくとも一つの中間フレームの組と、に分離し、
    前記少なくとも一つのキーフレームの場所データを受信し、
    場所プライベートキーに基づいて前記少なくとも一つのキーフレームの場所データを暗号化し、且つ、
    前記暗号化された場所データを前記少なくとも一つのキーフレーム内に埋め込む、
    ようにするべく、構成されている、装置であって、
    前記コンピュータ実行可能コードは、前記少なくとも一つのプロセッサによって実行された際に、前記装置が、
    前記少なくとも一つのキーフレームから最長ストロークを検出し、且つ、
    前記暗号化された場所データを前記最長ストローク内に埋め込む、
    ようにするべく、更に構成されている、
    装置。
  12. 前記コンピュータ実行可能コードは、前記少なくとも一つのプロセッサによって実行された際に、前記装置が、
    前記暗号化された場所データを前記少なくとも一つの中間フレームの組のそれぞれのフレーム内に埋め込む、
    ようにするべく、更に構成されている、請求項11に記載の装置。
  13. 前記コンピュータ実行可能コードは、前記少なくとも一つのプロセッサによって実行された際に、前記装置が、
    前記少なくとも一つの中間フレームの組のそれぞれのフレームから最長ストロークを検出し、且つ、
    前記暗号化された場所データを前記最長ストローク内に埋め込む、
    ようにするべく、更に構成されている、請求項12に記載の装置。
  14. ビデオから場所情報を抽出する装置であって、
    少なくとも一つのプロセッサと、
    コンピュータ実行可能コードを含む少なくとも一つのメモリと、
    を有し、
    前記少なくとも一つのメモリ及び前記コンピュータ実行可能コードは、前記少なくとも一つのプロセッサにより、前記装置が、
    前記ビデオを少なくとも一つのキーフレームと、前記少なくとも一つのキーフレームに対応した少なくとも一つの中間フレームの組と、に分離し、
    前記少なくとも一つのキーフレームから、暗号化された場所データを抽出し、且つ、
    場所パブリックキーに基づいて前記暗号化された場所データを暗号解読する、
    するようにするべく、構成されている、装置であって、
    前記コンピュータ実行可能コードは、前記少なくとも一つのプロセッサによって実行された際に、前記装置が、
    前記少なくとも一つのキーフレームから最長ストロークを検出し、且つ、
    前記最長ストロークから前記暗号化された場所データを抽出する、
    ようにするべく、更に構成されている、
    装置。
  15. 前記コンピュータ実行可能コードは、前記少なくとも一つのプロセッサによって実行された際に、前記装置が、
    前記暗号化された場所データが正常に暗号解読されることに応答して、前記ビデオの再生と、前記暗号解読された場所データの表示と、を実行する、
    ようにするべく、更に構成されている、請求項14に記載の装置。
  16. コンピュータ実行可能プログラム命令を有するコンピュータプログラムであって、前記コンピュータ実行可能プログラム命令は、実行された際に、装置が、請求項1ないし3のいずれか一項に従って動作するようにするべく、構成されている、コンピュータプログラム。
  17. コンピュータ実行可能プログラム命令を有するコンピュータプログラムであって、前記コンピュータ実行可能プログラム命令は、実行された際に、装置が、請求項4または5に従って動作するようにするべく、構成されている、コンピュータプログラム。
JP2017533179A 2014-12-18 2014-12-18 場所的な著作権で保護されているウォータマーキングビデオをパブリッシュする方法及び装置 Active JP6442060B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/094246 WO2016095169A1 (en) 2014-12-18 2014-12-18 Method and apparatus for publishing locational copyrighted watermarking video

Publications (2)

Publication Number Publication Date
JP2018511189A JP2018511189A (ja) 2018-04-19
JP6442060B2 true JP6442060B2 (ja) 2018-12-19

Family

ID=56125630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017533179A Active JP6442060B2 (ja) 2014-12-18 2014-12-18 場所的な著作権で保護されているウォータマーキングビデオをパブリッシュする方法及び装置

Country Status (5)

Country Link
US (1) US10607312B2 (ja)
EP (1) EP3234904B1 (ja)
JP (1) JP6442060B2 (ja)
CN (1) CN107004247B (ja)
WO (1) WO2016095169A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11055629B2 (en) * 2017-10-09 2021-07-06 Facebook, Inc. Determining stability for embedding models
CN109561323B (zh) * 2019-01-02 2021-11-12 武汉珈铭汉象教育科技有限公司 Mp4文件加密、解密方法及装置
CN110730366B (zh) * 2019-10-30 2021-08-27 杭州叙简科技股份有限公司 基于位运算的轻量级视频流加密、解密方法及加解密方法
US11734784B2 (en) * 2019-11-14 2023-08-22 Sony Interactive Entertainment Inc. Metadata watermarking for ‘nested spectating’
CN112383836B (zh) * 2020-10-19 2022-11-11 深圳市九洲电器有限公司 视频校验系统及方法
CN112073807B (zh) * 2020-11-11 2021-02-09 支付宝(杭州)信息技术有限公司 基于区块链的视频数据的处理方法和装置
CN112288618B (zh) * 2020-12-22 2021-05-11 北京联想协同科技有限公司 一种图片处理方法及装置
CN113221194B (zh) * 2021-06-07 2024-03-08 云尖(北京)软件有限公司 篡改网页混合检测技术
WO2023090037A1 (ja) * 2021-11-22 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、撮像装置、制御方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256736B1 (en) * 1998-04-13 2001-07-03 International Business Machines Corporation Secured signal modification and verification with privacy control
NZ521318A (en) 2000-03-06 2005-02-25 Entriq Method and system to uniquely associate multicast content with each of multiple recipients
US6611608B1 (en) * 2000-10-18 2003-08-26 Matsushita Electric Industrial Co., Ltd. Human visual model for data hiding
JP2002176630A (ja) 2000-12-07 2002-06-21 Nippon Telegr & Teleph Corp <Ntt> 時空間情報付与・検出方法、装置及び時空間情報付与・検出プログラム記録媒体
US7604348B2 (en) * 2001-01-23 2009-10-20 Kenneth Martin Jacobs Continuous adjustable 3deeps filter spectacles for optimized 3deeps stereoscopic viewing and its control method and means
US7254249B2 (en) 2001-03-05 2007-08-07 Digimarc Corporation Embedding location data in video
US6795565B2 (en) 2001-03-08 2004-09-21 Sony Corporation Method to detect watermark resistant to resizing and translation
JP2002320085A (ja) 2001-04-20 2002-10-31 Sony Corp 電子透かし埋め込み処理装置、電子透かし検出処理装置、および電子透かし埋め込み処理方法、電子透かし検出処理方法、並びにプログラム記憶媒体、プログラム
US7496197B2 (en) 2001-06-14 2009-02-24 Portauthority Technologies Inc. Method and system for robust embedding of watermarks and steganograms in digital video content
US20040091111A1 (en) * 2002-07-16 2004-05-13 Levy Kenneth L. Digital watermarking and fingerprinting applications
WO2005076985A2 (en) 2004-02-04 2005-08-25 Digimarc Corporation Digital watermarking image signals on-chip and photographic travel logs through digital watermarking
JP2008027336A (ja) 2006-07-25 2008-02-07 Nikon Corp 位置情報配信装置、カメラ、位置情報配信方法およびプログラム
US20080192818A1 (en) * 2007-02-09 2008-08-14 Dipietro Donald Vincent Systems and methods for securing media
JP2009088614A (ja) 2007-09-27 2009-04-23 Toshiba Corp 画像処理方法および画像処理装置
US8270664B2 (en) 2007-11-27 2012-09-18 Broadcom Corporation Method and system for utilizing GPS information to secure digital media
CN100556136C (zh) 2008-04-23 2009-10-28 山东大学 基于运动区域定位的视频水印方法
CN101854530A (zh) 2010-05-17 2010-10-06 山东大学 Gps接收模块与pci视频卡互联的方法及装置
CN102377974B (zh) 2010-08-04 2016-01-20 中国电信股份有限公司 一种移动终端、接收端、视频采集方法和系统
CN102547254A (zh) * 2010-11-26 2012-07-04 中国科学院声学研究所 一种基于水印和加密的数字视频图像版权保护方法及系统
US8620021B2 (en) 2012-03-29 2013-12-31 Digimarc Corporation Image-related methods and arrangements
CN102680992A (zh) 2012-06-05 2012-09-19 代松 运用包含gps信息的视频文件同步确定运动轨迹的方法
CN102946531A (zh) 2012-08-24 2013-02-27 南京大学 一种结合gop帧结构的视频水印方法与系统
CN103873954A (zh) 2012-12-13 2014-06-18 航天信息股份有限公司 将不见数字水印嵌入到流媒体的方法、装置和系统
WO2014153199A1 (en) * 2013-03-14 2014-09-25 Verance Corporation Transactional video marking system
US9247317B2 (en) * 2013-05-30 2016-01-26 Sonic Ip, Inc. Content streaming with client device trick play index
CN203313297U (zh) 2013-07-03 2013-11-27 长春理工大学 与北斗gps结合的视频叠加系统
CN103685960A (zh) * 2013-12-19 2014-03-26 深圳卓智达时代通信有限公司 一种匹配位置信息的图像处理方法及其系统

Also Published As

Publication number Publication date
EP3234904A1 (en) 2017-10-25
EP3234904B1 (en) 2021-01-20
JP2018511189A (ja) 2018-04-19
WO2016095169A1 (en) 2016-06-23
EP3234904A4 (en) 2018-06-20
US20180025462A1 (en) 2018-01-25
CN107004247A (zh) 2017-08-01
CN107004247B (zh) 2021-05-11
US10607312B2 (en) 2020-03-31

Similar Documents

Publication Publication Date Title
JP6442060B2 (ja) 場所的な著作権で保護されているウォータマーキングビデオをパブリッシュする方法及び装置
Tao et al. Robust image watermarking theories and techniques: A review
US10136098B2 (en) Integrity verification of an audio-visual data stream
JP2010158024A (ja) データオブジェクトのフィンガープリンティング
KR101143233B1 (ko) 디지탈 멀티미디아 데이타에 대한 비동기화된 핑거프린팅 방법 및 시스템
JP2006140828A (ja) 電子透かし検出装置、電子透かし検出方法及びプログラム
US20130236046A1 (en) Method, system, and computer-readable medium for detecting leakage of a video
JP6533583B2 (ja) モデル結託防止用透かし
KR102525127B1 (ko) 수정된 이미지들에서 원본 이미지들 복원하기 위한 방법 및 장치
Su et al. A practical design of digital watermarking for video streaming services
WO2019192375A1 (zh) 多媒体处理方法及其装置、存储介质、电子产品
Shi et al. A novel NMF-based authentication scheme for encrypted speech in cloud computing
Lazarov et al. A fragile watermarking algorithm for image tamper detection based on chaotic maps
US8122501B2 (en) Traitor detection for multilevel assignment
JP2009009575A (ja) ビデオ処理権利を行使する方法及び装置
KR20150125850A (ko) 지리정보시스템의 벡터 맵 데이터 선택적 암호화 방법
JP2012059258A (ja) 電子キー保護システム及びその方法
Habbouli et al. A secure, self-recovery, and high capacity blind digital image information hiding and authentication scheme using DCT moments
Ishizuka et al. A zero-watermarking-like steganography and potential applications
CN113190857A (zh) 一种图片的处理方法、装置、电子设备及计算机可读介质
Kumar et al. A Multilayered architecture for hiding executable files in 3D images
CN111986065A (zh) 一种数字水印嵌入方法及装置
TWI687838B (zh) 檔案保護方法及其檔案處理系統
Li A Method for Publishing Copyrighted Watermarking Video with Locational Information
Lafta et al. Secure Content-Based Image Retrieval with Copyright Protection within Cloud Computing Environment.

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181122

R150 Certificate of patent or registration of utility model

Ref document number: 6442060

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250