JP7379614B2 - 複数のフレームを含む映像の指紋を抽出する方法および装置 - Google Patents

複数のフレームを含む映像の指紋を抽出する方法および装置 Download PDF

Info

Publication number
JP7379614B2
JP7379614B2 JP2022129968A JP2022129968A JP7379614B2 JP 7379614 B2 JP7379614 B2 JP 7379614B2 JP 2022129968 A JP2022129968 A JP 2022129968A JP 2022129968 A JP2022129968 A JP 2022129968A JP 7379614 B2 JP7379614 B2 JP 7379614B2
Authority
JP
Japan
Prior art keywords
fingerprint
calculating
frames
image
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022129968A
Other languages
English (en)
Other versions
JP2023029292A (ja
Inventor
ソンヒョン シン
ジス ジョン
デファン キム
ジョンウン パク
スンビン キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Publication of JP2023029292A publication Critical patent/JP2023029292A/ja
Application granted granted Critical
Publication of JP7379614B2 publication Critical patent/JP7379614B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/753—Transform-based matching, e.g. Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Collating Specific Patterns (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は複数のフレームを含む映像の指紋を抽出する方法および装置に関し、具体的には、映像に含まれた複数のフレームそれぞれに対して軸別ピクセル値の平均の最大値を算出し、算出された最大値の時間的相関関係に基づいて映像の指紋を算出する方法および装置に関する。
最近映像コンテンツの消費が活発となり、多様な動画プラットホームが登場するにつれて、使用者が容易かつ簡便に映像コンテンツを製作、共有、視聴できる環境が造成されている。このような環境で、多様な使用者によって製作されて流通される映像コンテンツの数が増加するにつれて、映像を無断で複製して配信する場合も増加しており、映像に対する著作権の保護の必要性も増加している。
動画プラットホームで共有または販売される動画コンテンツの違法配信の有無や違法配信者を追跡するために多様なコンテンツ検証方式が使われ得る。例えば、映像指紋抽出（ｆｉｎｇｅｒｐｒｉｎｔｉｎｇ）方式を利用した動画検証システムでは、コンテンツ内に所有者情報などを挿入するウォーターマーク基盤のフィンガープリンティング方式とコンテンツで抽出された特徴点に基づいたフィンガープリンティング方式が使われ得る。特徴点基盤のフィンガープリンティング方式は、音楽、映像などのコンテンツで周波数成分、画面転換情報、位置情報などのような特徴点を抽出してデータベースに保存し、これを他のコンテンツで抽出された特徴点と比較して両コンテンツの同一または類似する有無を判別することができる。
このような映像コンテンツ検証方式を使う場合、違法配信者が原本映像を同一に複製して配信する場合、原本映像と複製映像の同一または類似する有無が容易に識別され得る。しかし、このような映像コンテンツ検証方式の特徴を悪用して、無断配信者は原本映像を複製した後に複製映像に多様な変形を加えて既存の検証方式を無力化させている。例えば、違法配信者が原本映像を複製した後に複製映像を左右反転または上下反転させたり、複製映像を縮小し意味のない背景（例：黒い画面）を挿入して配信すると、既存の映像指紋抽出方法ではこのような変形が加えられた映像の違法配信の有無を容易に識別できないという問題点がある。
韓国公開特許第２００９－００４８９９３号
本開示は前記のような問題点を解決するための複数のフレームを含む映像の指紋を抽出する方法、コンピュータプログラムおよび装置（システム）を提供する。
本開示は方法、装置（システム）またはコンピュータプログラムを含んだ多様な方式で具現され得る。
本開示の一実施例によると、少なくとも一つのプロセッサによって実行される、複数のフレームを含む映像の指紋（ｆｉｎｇｅｒｐｒｉｎｔ）を抽出する方法は複数のフレームそれぞれから複数のピクセル値の行列を獲得する段階、複数のフレームそれぞれに対して複数のピクセル値行列の軸別ピクセル値の平均の最大値を算出する段階および複数のフレームに対して算出された最大値の時間的相関関係に基づいて映像の指紋を算出する段階を含む。
本開示の他の実施例によると、少なくとも一つのプロセッサによって実行される、映像の変造の有無を識別する方法は、原本映像の指紋を獲得する段階、本開示の一実施例に係る映像の指紋を抽出する方法により識別対象映像の指紋を抽出する段階および獲得された原本映像の指紋と抽出された指紋とを比較して識別対象映像の変造の有無を決定する段階を含む。
本開示の一実施例に係る方法をコンピュータで実行するためのコンピュータプログラムが提供される。
本開示の一実施例に係るコンピューティング装置は、メモリおよびメモリと連結され、メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサを含み、少なくとも一つのプログラムは、映像に含まれた複数のフレームそれぞれから複数のピクセル値の行列を獲得し、複数のフレームそれぞれに対して複数のピクセル値行列の軸別ピクセル値の平均の最大値を算出し、複数のフレームに対して算出された最大値の時間的相関関係に基づいて映像の指紋を算出するための命令語を含む。
本開示の他の実施例に係るコンピューティング装置は、メモリおよびメモリと連結され、メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサを含み、少なくとも一つのプログラムは、原本映像の指紋を獲得し、本開示の一実施例に係る映像の指紋を抽出する方法により識別対象映像の指紋を抽出し、獲得された原本映像の指紋と抽出された指紋とを比較して識別対象映像の変造の有無を決定するための命令語を含む。
本開示の一部の実施例によると、著作権の侵害を回避するために原本映像から変造された映像を識別することによって、映像の著作権の保護を強化することができる。
本開示の一部の実施例によると、軸別ピクセル値の平均の最大値の時間的相関関係に基づいて映像の指紋を算出することによって、識別対象映像の変造の有無を効果的に識別することができる。
本開示の一部の実施例によると、映像が左右反転および／または上下反転したり、映像を縮小し意味のない背景を挿入する場合にも映像の指紋が原本映像の指紋と同一または類似し得るため従来の方法によっては識別できなかった映像の変造の有無をさらに効果的に識別することができる。
本開示の効果は以上で言及した効果に制限されず、言及されていない他の効果は特許請求の範囲の記載から本開示が属する技術分野で通常の知識を有する者（「通常の技術者」という）に明確に理解され得るであろう。
本開示の実施例は、以下で説明する添付図面を参照して説明され、ここで類似する参照番号は類似する要素を示すが、これに限定されはしない。
本開示の一実施例に係るコンピューティング装置が映像の変造の有無を識別する方法の例示を示す図面である。 本開示の一実施例に係るコンピューティング装置の内部構成を示すブロック図である。 本開示の一実施例に係るプロセッサの内部構成を示すブロック図である。 本開示の一実施例に係る複数のフレームに対してピクセル値行列の軸別ピクセル値の平均を算出する例示を示す図面である。 本開示の一実施例に係る映像の指紋を算出する例示を示す。 原本映像および識別対象映像の一例示を示す。 原本映像および識別対象映像の他の例示を示す。 本開示の一実施例に係る映像の指紋を抽出する方法の例示を示すフローチャートである。 本開示の一実施例に係る映像の変造の有無を識別する方法の例示を示すフローチャートである。
以下、本開示の実施のための具体的な内容を添付された図面を参照して詳細に説明する。ただし、以下の説明では本開示の要旨を不要に曖昧にさせ得る恐れがある場合、広く知られている機能や構成に関する具体的な説明は省略することにする。
添付された図面で、同一または対応する構成要素には同一の参照符号が付与されている。また、以下の実施例の説明において、同一または対応する構成要素を重複して記述することが省略され得る。しかし、構成要素に関する技術が省略されても、そのような構成要素がある実施例に含まれないものと意図されはしない。
開示された実施例の利点および特徴、そしてそれらを達成する方法は添付される図面と共に後述されている実施例を参照すると明確になるであろう。しかし、本開示は以下で開示される実施例に限定されるものではなく、互いに異なる多様な形態で具現され得、ただし本実施例は本開示を完全なものとし、本開示が通常の技術者に発明の範疇を完全に知らせるために提供されるものに過ぎない。
本明細書で使われる用語について簡略に説明し、開示された実施例について具体的に説明することにする。本明細書で使われる用語は本開示での機能を考慮しつつ、できる限り現在広く使われる一般的な用語を選択したが、これは関連分野に従事する技術者の意図または判例、新しい技術の出現などにより変わり得る。また、特定の場合は出願人が任意に選定した用語もあり、この場合、該当する発明の説明の部分で詳細にその意味を記載するであろう。したがって、本開示で使われる用語は単純な用語の名称ではなく、その用語が有する意味と本開示の全般にわたった内容に基づいて定義されるべきである。
本明細書での単数の表現は文脈上明白に単数であると特定しない限り、複数の表現を含む。また、複数の表現は文脈上明白に複数であると特定しない限り、単数の表現を含む。明細書全体で或る部分が何らかの構成要素を含むとする時、これは特に反対の記載がない限り、他の構成要素を除くものではなく他の構成要素をさらに含み得ることを意味する。本開示で、「複数のＡのそれぞれ」または「複数のＡそれぞれ」は複数のＡに含まれたすべての構成要素のそれぞれを指称したり、複数のＡに含まれた一部の構成要素のそれぞれを指称し得る。
また、明細書で使われる「モジュール」または「部」という用語はソフトウェアまたはハードウェア構成要素を意味し、「モジュール」または「部」は何らかの役割を遂行する。しかし、「モジュール」または「部」はソフトウェアまたはハードウェアに限定される意味ではない。「モジュール」または「部」はアドレッシングできる保存媒体にあるように構成されてもよく、一つまたはそれ以上のプロセッサを再生させるように構成されてもよい。したがって、一例として、「モジュール」または「部」はソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャー、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイまたは変数のうち少なくとも一つを含むことができる。構成要素と「モジュール」または「部」は中で提供される機能はさらに小さい数の構成要素および「モジュール」または「部」で結合されたり、追加的な構成要素と「モジュール」または「部」にさらに分離され得る。
本開示の一実施例によると、「モジュール」または「部」はプロセッサおよびメモリで具現され得る。「プロセッサ」は汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、制御器、マイクロ制御器、状態マシンなどを含むように広く解釈されるべきである。いくつかの環境で、「プロセッサ」は特定用途向け半導体（ＡＳＩＣ）、プログラム可能ロジックデバイス（ＰＬＤ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）等を指称することもある。「プロセッサ」は、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰコアと結合した一つ以上のマイクロプロセッサの組み合わせ、または任意の他のそのような構成の組み合わせのような処理デバイスの組み合わせを指称してもよい。また、「メモリ」は電子情報を保存可能な任意の電子コンポーネントを含むように広く解釈されるべきである。「メモリ」は任意アクセスメモリ（ＲＡＭ）、読み取り－専用メモリ（ＲＯＭ）、不揮発性任意アクセスメモリ（ＮＶＲＡＭ）、プログラム可能読み取り－専用メモリ（ＰＲＯＭ）、消去－プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ保存装置、レジスタなどのようなプロセッサ－読み取り可能媒体の多様な類型を指称してもよい。プロセッサがメモリから情報を読み取り／読み取るか、メモリに情報を記録できるのであれば、メモリはプロセッサと電子通信状態にあると呼ばれる。プロセッサに集積されたメモリはプロセッサと電子通信状態にある。
本開示で、「システム」はサーバー装置とクラウド装置のうち少なくとも一つの装置を含むことができるが、これに限定されるものではない。例えば、システムは一つ以上のサーバー装置で構成され得る。他の例として、システムは一つ以上のクラウド装置で構成され得る。さらに他の例として、システムはサーバー装置とクラウド装置が共に構成されて動作され得る。
本開示で、「システム」はサーバー装置とクラウド装置のうち少なくとも一つの装置を含むことができるが、これに限定されるものではない。例えば、システムは一つ以上のサーバー装置で構成され得る。他の例として、システムは一つ以上のクラウド装置で構成され得る。さらに他の例として、システムはサーバー装置とクラウド装置が共に構成されて動作され得る。
本開示で、「フレーム（ｆｒａｍｅｓ）」は映像または動画を構成する静止イメージを含むことができる。一実施例で、「フレーム」とは「イメージ」と指称され得る。また、映像または動画は一定の時間間隔で被写体などを撮影した複数の静止イメージを含むフレームで構成され得る。
本開示で、「離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ；ＤＣＴ）」はシーケンスのある値を多様な周波数のコサイン関数の和に変換する動作または演算を指称し得る。ＤＣＴで多様な周波数のコサイン関数が基底（ｂａｓｉｓ）となり得、ＤＣＴ係数（ＤＣＴ ｃｏｅｆｆｉｃｉｅｎｔｓ）は各基底関数に適用される加重値を指称し得る。本開示でＤＣＴを遂行することはＤＣＴ係数を算出することを含むことができる。
図１は、本開示の一実施例に係るコンピューティング装置が映像の変造の有無を識別する方法の例示を示す図面である。一実施例によると、コンピューティング装置は原本映像１１０の指紋を獲得することができる。原本映像１１０の指紋は図示された通り、コンピューティング装置が原本映像１１０から原本映像の指紋を抽出（１２０）してデータベース１３０に保存したものであるか、または外部システムから受信したものであり得る。例えば、原本映像１１０は複数のフレームで構成された映像であり得る。原本映像１１０の指紋は、以下で詳細に説明する本開示の多様な実施例に係る映像の指紋を抽出する方法により抽出されたものであり得る。
一実施例によると、コンピューティング装置は識別対象映像１４０から識別対象映像の指紋を抽出（１５０）することができる。例えば、識別対象映像１４０は複数のフレームで構成された映像であり得る。識別対象映像１４０の指紋は、以下で詳細に説明する本開示の多様な実施例に係る映像の指紋を抽出する方法により抽出されたものであり得、原本映像の指紋を抽出（１２０）した方法と同一または類似する方法により抽出されたものであり得る。
一実施例によると、コンピューティング装置は原本映像の指紋と識別対象映像の指紋を比較して、識別対象映像の変造の有無を決定（１７０）することができる。すなわち、コンピューティング装置は識別対象映像が原本映像を変造して生成されたものであるかどうかを決定することができる。ここで変造とは、原本映像にノイズ（例：ｇａｕｓｓｉａｎ ｎｏｉｓｅ）を追加すること、原本映像の画質を落とすこと、原本映像をブラーリング（ｂｌｕｒｒｉｎｇ）すること（例：ｇａｕｓｓｉａｎ ｂｌｕｒ）、原本映像の一部分または一部のフレームを削除すること（例：ｃｒｏｐ）、原本映像の明るさを調整すること、原本映像にガンマ補正をすること（例：ｇａｍｍａ ｃｏｒｒｅｃｔｉｏｎ）、原本映像を拡大または縮小し、意味のない背景を挿入すること（例：ｚｏｏｍ ａｎｄ ｓｈｉｆｔ）、原本映像を左右反転または上下反転すること（例：ｆｌｉｐ）等のように原本映像に一定の変形を加えることを含むことができる。一実施例で、原本映像と同一の識別対象映像は原本映像から変造されたものと決定され得る。
一実施例によると、コンピューティング装置は原本映像の指紋と識別対象映像の指紋をマッチングアルゴリズム１６０に入力して変造の有無を決定（１７０）することができる。マッチングアルゴリズム１６０は識別対象映像の指紋の少なくとも一部が原本映像の指紋の少なくとも一部と同一であったり、類似していたり、誤差範囲内である場合、識別対象映像が原本映像から変造されたものと決定することができる。例えば、原本映像の指紋が［ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ］で、識別対象映像の指紋が［ｃ、ｄ、ｅ、ｆ、ｇ］である場合、識別対象映像の指紋は原本映像の指紋の一部（原本映像の指紋の３番目の成分から７番目の成分まで）と同一であるので、マッチングアルゴリズム１６０は識別対象映像が原本映像から変造されたものと決定することができる。
このような構成によって、著作権の侵害を回避するために原本映像から変造された映像を識別することができ、映像の著作権の保護を強化することができる。
図２は、本開示の一実施例に係るコンピューティング装置２００の内部構成を示すブロック図である。コンピューティング装置２００はメモリ２１０、プロセッサ２２０、通信モジュール２３０および入出力インターフェース２４０を含むことができる。図２に図示された通り、コンピューティング装置２００は通信モジュール２３０を利用してネットワークを通じて情報および／またはデータを通信できるように構成され得る。
メモリ２１０は非一過性の任意のコンピュータ読み取り可能な記録媒体を含むことができる。一実施例によると、メモリ２１０はＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などのような非消滅性大容量保存装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含むことができる。他の例として、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブなどのような非消滅性大容量保存装置は、メモリ２１０とは区分される別途の永久保存装置としてコンピューティング装置２００に含まれ得る。また、メモリ２１０には運営体制と少なくとも一つのプログラムコード（例えば、コンピューティング装置２００に設置されて駆動される映像の指紋抽出、映像の変造の有無識別などのためのコード）が保存され得る。
このようなソフトウェア構成要素はメモリ２１０とは別途のコンピュータで読み取り可能な記録媒体からローディングされ得る。このような別途のコンピュータで読み取り可能な記録媒体はこのようなコンピューティング装置２００に直接連結可能な記録媒体を含むことができるが、例えば、フロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのようにコンピュータで読み取り可能な記録媒体を含むことができる。他の例として、ソフトウェア構成要素はコンピュータで読み取り可能な記録媒体でない通信モジュール２３０を通じてメモリ２１０にローディングされてもよい。例えば、少なくとも一つのプログラムは、開発者またはアプリケーションの設置ファイルを配信するファイル配信システムが通信モジュール２３０を通じて提供するファイルによって設置されるコンピュータプログラム（例えば、映像の指紋抽出、映像の変造の有無識別などのためのプログラムなど）に基づいてメモリ２１０にローディングされ得る。
プロセッサ２２０は基本的な算術、ロジックおよび入出力演算を遂行することによって、コンピュータプログラムの命令を処理するように構成され得る。命令はメモリ２１０または通信モジュール２３０により使用者端末（図示されず）または他の外部システムに提供され得る。例えば、プロセッサ２２０は映像に含まれた複数のフレームそれぞれから複数のピクセル値行列を獲得し、複数のピクセル値行列それぞれに対して軸別ピクセル値の平均の最大値を算出し、算出された最大値の時間的相関関係に基づいて映像の指紋を算出することができる。また、プロセッサ２２０は原本映像の指紋を獲得し、識別対象映像の指紋を抽出し、原本映像の指紋と識別対象映像の指紋を比較して識別対象映像の変造の有無を決定することができる。
通信モジュール２３０はネットワークを通じて使用者端末（図示されず）とコンピューティング装置２００が互いに通信するための構成または機能を提供することができ、コンピューティング装置２００が外部システム（一例として別途のクラウドシステムなど）と通信するための構成または機能を提供することができる。一例として、コンピューティング装置２００のプロセッサ２２０の制御により提供される制御信号、命令、データなどが、通信モジュール２３０とネットワークを経て使用者端末および／または外部システムの通信モジュールを通じて使用者端末および／または外部システムに伝送され得る。例えば、コンピューティング装置によって識別対象映像の変造の有無の識別結果が外部システム（例：著作権管理システムなど）に伝送され得る。
また、コンピューティング装置２００の入出力インターフェース２４０は、コンピューティング装置２００と連結されるか、コンピューティング装置２００が含むことができる入力または出力のための装置（図示されず）とのインターフェースのための手段であり得る。図２では入出力インターフェース２４０がプロセッサ２２０と別途に構成された要素として図示されたが、これに限定されず、入出力インターフェース２４０がプロセッサ２２０に含まれるように構成され得る。コンピューティング装置２００は図２の構成要素よりもさらに多くの構成要素を含むことができる。しかし、大部分の従来技術的構成要素を明確に図示する必要性はない。
コンピューティング装置２００のプロセッサ２２０は複数の使用者端末および／または複数の外部システムから受信された情報および／またはデータを管理、処理および／または保存するように構成され得る。一実施例によると、プロセッサ２２０は使用者端末および／または外部システムから複数のフレームを含む映像を受信することができる。この場合、プロセッサは受信された映像に含まれた複数のフレームそれぞれから複数のピクセル値行列を獲得し、複数のピクセル値行列それぞれに対して軸別ピクセル値の平均の最大値を算出し、算出された最大値の時間的相関関係に基づいて映像の指紋を算出することができる。
図３は、本開示の一実施例に係るプロセッサ２２０の内部構成を示すブロック図である。図示された通り、プロセッサ２２０はフレーム抽出部３１０、最大値算出部３２０、指紋算出部３３０、変造有無決定部３４０を含むことができる。フレーム抽出部３１０は映像から複数のフレームを抽出することができる。一実施例によると、フレーム抽出部３１０は映像に含まれた複数のフレームを抽出することができる。例えば、映像が総ｎ秒であり、複数のフレームが予め定義された時間間隔である１／３０秒ごとに生成されたものである場合、映像の０／３０秒、１／３０秒、２／３０秒、３／３０秒、…、ｎ／３０秒に対応する静止イメージ（フレーム）を抽出することができる。他の実施例で、映像が特定エンコーディングアルゴリズムによって圧縮された場合、フレーム抽出部３１０は映像にデコーディングアルゴリズムを適用することによって該当映像に含まれたフレームを抽出することができる。
最大値算出部３２０は、複数のフレームそれぞれに対して複数のピクセル値行列の軸別平均の最大値を算出することができる。一実施例によると、最大値算出部３２０は、複数のフレームそれぞれに対して複数のピクセル値行列の横軸（すなわち、行（ｒｏｗ））ピクセル値の平均および縦軸（すなわち、列（ｃｏｌｕｍｎ））ピクセル値の平均を算出することができる。その後、最大値算出部３２０はフレーム別横軸ピクセル値平均最大値およびフレーム別縦軸ピクセル値平均の最大値を算出することができる。最大値算出部３２０が軸別平均の最大値を算出する過程は、図４および図５を参照して詳しく後述される。
指紋算出部３３０は、最大値算出部３２０により算出された最大値の時間的相関関係に基づいて映像の指紋を算出することができる。一実施例によると、指紋算出部３３０は複数のフレームそれぞれに対して算出された最大値に対して離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；ＤＣＴ）を遂行し、映像の指紋を算出することができる。例えば、指紋算出部３３０は、最大値算出部３２０により算出されたフレーム別横軸ピクセル値平均の最大値に対して離散コサイン変換を遂行して第１ ＤＣＴ係数を算出し、フレーム別縦軸ピクセル値平均の最大値に対して離散コサイン変換を遂行して第２ ＤＣＴ係数を算出することができる。その次に、指紋算出部３３０は第１ ＤＣＴ係数および第２ ＤＣＴ係数を結合して、前記映像の指紋を生成することができる。追加的に、指紋算出部３３０は離散コサイン変換によって算出されたＤＣＴ係数から基底の周波数が０である係数を除くことができる。
任意の映像に一定の変形が加えられて変造されても、該当変造映像で視覚的に重要な情報が維持されている場合、変造映像で軸別ピクセル値平均の最大値が変化する様相は原本映像と類似し得る。したがって、前述した通り、軸別ピクセル値の平均の最大値の時間的相関関係に基づいて映像の指紋を算出することによって、識別対象映像の変造の有無を効果的に識別することができる。指紋算出部３３０が映像の指紋を算出する過程の例示は図５を参照して詳しく後述される。
変造有無決定部３４０は、原本映像の指紋と識別対象映像の指紋を比較して識別対象映像の変造の有無を決定することができる。一実施例によると、変造有無決定部３４０は、原本映像の指紋と識別対象映像の指紋をマッチングアルゴリズムに入力して変造の有無を決定することができる。マッチングアルゴリズムは、識別対象映像の指紋の少なくとも一部が原本映像の指紋の少なくとも一部と同一であったり、類似していたり、誤差範囲内である場合、識別対象映像が原本映像から変造されたものと決定することができる。
図３で図示したプロセッサ２２０の内部構成は例示に過ぎず、一部の実施例では図示した内部構成の他に他の構成を追加で含むことができ、一部の構成が省略されてもよく、一部の過程が他の構成または外部システムによって遂行され得る。例えば、フレーム抽出部３１０が省略される場合、複数のフレームを外部システムから受信することができる。他の例として、変造有無決定部３４０が省略される場合、プロセッサ２２０は映像の指紋を抽出する過程のみを遂行し、外部システムで変造の有無が決定され得る。また、図３でプロセッサ２２０の内部構成を機能別に区分して説明したが、これは内部構成が必ずしも物理的に区分されることを意味するものではない。
図４は、本開示の一実施例に係る複数のフレーム４１０に対してピクセル値行列の軸別ピクセル値の平均を算出する例示を示す図面である。コンピューティング装置は映像に含まれた複数のフレーム４１０それぞれから複数のピクセル値行列を獲得することができ、複数のフレーム４１０それぞれに対して複数のピクセル値行列の軸別ピクセル値の平均を算出することができる。
一実施例によると、図示された通り、コンピューティング装置は複数のフレーム４１０それぞれに対して横軸ピクセル値の平均（Ｖ［ｈ］、ここでｈは複数のピクセル値行列の行インデックスである）を算出（４２０）することができる。例えば、コンピューティング装置は第１フレームで第１行のピクセル値（Ｉｍｇ［１］［ｗ］、ここでｗは複数のピクセル値行列の列インデックスである）をすべて足してフレームの横ピクセル数（Ｗ）で割って第１行のピクセル値の平均を算出することができる。このような過程を第１フレームのすべての行（すなわち、Ｈ個の行）に対して遂行して第１フレームのピクセル値行列の横軸ピクセル値の平均を算出することができる。また、このような過程をすべてのフレーム４１０に対して遂行して複数のフレーム４１０それぞれに対する横軸ピクセル値の平均を算出（４２０）することができる。
これと同様に、コンピューティング装置は複数のフレーム４１０それぞれに対して縦軸ピクセル値の平均（Ｒ［ｗ］、ここでｗは複数のピクセル値行列の列インデックスである）を算出（４３０）することができる。例えば、コンピューティング装置は第１フレームで第１列のピクセル値（Ｉｍｇ［ｈ］［１］、ここでｈは複数のピクセル値行列の行インデックスである）をすべて足してフレームの縦ピクセル数（Ｈ）で割って第１列のピクセル値の平均を算出することができる。このような過程を第１フレームのすべての列（すなわち、Ｗ個の列）に対して遂行して第１フレームのピクセル値行列の縦軸ピクセル値の平均を算出することができる。また、このような過程をすべてのフレーム４１０に対して遂行して複数のフレーム４１０それぞれに対する縦軸ピクセル値の平均を算出（４３０）することができる。
一実施例によると、算出された軸別平均は行列Ｐ（４４０）および行列Ｑ（４５０）で表現され得る。例えば、複数のフレームそれぞれに対する横軸ピクセル値の平均は、図示された通り、ｍ番目の列およびｈ番目の行の成分（Ｖｍ－１［ｈ－１］）がｍ番目のフレームのｈ番目の行の平均値を示す行列（４４０）で表現され得る（図示された通り、インデックスは０で始まる）。また、複数のフレームそれぞれに対する縦軸ピクセル値の平均は、図示された通り、ｍ番目の列およびｗ番目の行の成分（Ｒｍ－１［ｗ－１］）がｍ番目のフレームのｗ番目の列の平均値を示す行列（４５０）で表現され得る（図示された通り、インデックスは０で始まる）。
図５は、本開示の一実施例に係る映像の指紋（５７０）を算出する例示を示す。一実施例によると、コンピューティング装置は複数のフレームそれぞれに対して軸別ピクセル値の平均の最大値を算出することができる。例えば、コンピューティング装置は複数のフレームそれぞれに対する横軸ピクセル値平均の最大値（Ｂｍ）（５３０）および複数のフレームそれぞれに対する縦軸ピクセル値平均の最大値（Ｃｍ）（５４０）を算出することができる。ここで、横軸ピクセル値平均の最大値（Ｂｍ）（５３０）、縦軸ピクセル値平均の最大値（Ｃｍ）（５４０）はそれぞれフレーム内の横軸ピクセル値平均（Ｖｍ［ｈ］、ここでｍはフレームインデックスであり、ｈは行列の行インデックスである）（４４０）のうち最も大きい値、各フレーム内の縦軸ピクセル値平均（Ｒｍ［ｗ］、ここでｍはフレームインデックスであり、ｗは行列の列インデックスである）（４５０）のうち最も大きい値を意味し得る。したがって、横軸ピクセル値平均の最大値（Ｂｍ）（５３０）および縦軸ピクセル値平均の最大値（Ｃｍ）（５４０）はそれぞれフレーム別に１個ずつ、総フレームの個数（Ｍ）だけ算出され得る。
その後、コンピューティング装置は複数のフレームに対して算出された最大値（５３０、５４０）の時間的相関関係に基づいて映像の指紋（５７０）を算出することができる。一実施例によると、コンピューティング装置は複数のフレームに対して算出された最大値（５３０、５４０）に対して離散コサイン変換を遂行して映像の指紋（５７０）を算出することができる。例えば、図示された通り、フレーム別横軸ピクセル値平均の最大値（Ｂ０、Ｂ１、Ｂ２、…、ＢＭ－１）（５３０）をフレーム順で（時間順で）整列し、これに対して離散コサイン変換を遂行して第１ ＤＣＴ係数（５５０）を算出することができる。また、フレーム別縦軸ピクセル値平均の最大値（Ｃ０、Ｃ１、Ｃ２、…、ＣＭ－１）（５４０）をフレーム順で整列し、これに対して離散コサイン変換を遂行して第２ ＤＣＴ係数（５６０）を算出することができる。その次に、第１ ＤＣＴ係数（５５０）および第２ ＤＣＴ係数（５６０）を結合して映像の指紋（５７０）を生成することができる。一実施例で、ＤＣＴ係数（５５０、５６０）の中で基底の周波数が０である係数は映像の変造の有無の識別に大きな意味がないため、映像の指紋を生成するにおいて、除外され得る。前述した方式によって抽出された映像の指紋（５７０）は映像の変造の有無を識別するのに使われ得る。
図６および図７は、原本映像６１０、７１０および識別対象映像６２０、７２０の例示を示す。著作権の侵害を回避するために、識別対象映像６２０、７２０は原本映像６１０、７１０から一定の変形が加えられたものであり得る。例えば、識別対象映像６２０、７２０は原本映像にノイズを加えたもの（例：ｇａｕｓｓｉａｎ ｎｏｉｓｅ）、原本映像の画質を落としたもの、原本映像にブラーリング（ｂｌｕｒｒｉｎｇ）処理したもの（例：ｇａｕｓｓｉａｎ ｂｌｕｒ）、原本映像の一部分を削除したもの（例：ｃｒｏｐ）、原本映像の明るさを調整したもの、原本映像にガンマ補正をしたもの（例：ｇａｍｍａ ｃｏｒｒｅｃｔｉｏｎ）、原本映像を拡大または縮小し、意味のない背景を挿入したもの（例：ｚｏｏｍ ａｎｄ ｓｈｉｆｔ）、原本映像を左右反転または上下反転したもの（例：ｆｌｉｐ）などであり得る。
映像に変形を加えても、該当映像で視覚的に重要な情報が維持されている場合、軸別ピクセル値の平均の最大値が変化する様相は原本映像と類似し得る。したがって、前述した通り、軸別ピクセル値の平均の最大値の時間的相関関係に基づいて映像の指紋を算出することによって、識別対象映像の変造の有無を効果的に識別することができる。
図６には８個の原本映像（ｆｒａｍｅ ０～７）６１０それぞれを左右反転（ｆｌｉｐ）した識別対象映像６２０の例示が図示されており、図７には原本映像７１０を縮小して右側に移動した後、黒い背景を挿入した識別対象映像７２０の例示が図示されている。原本映像を左右反転および／または上下反転して変造する場合、または原本映像を拡大／縮小および移動して意味のない背景を挿入して変造する場合、従来の方法によると、指紋の特性が変更されて映像の変造の有無を識別することが困難であった。原本映像が左右反転および／または上下反転して変造されても、変造映像でのフレーム別横軸ピクセル値の平均の最大値およびフレーム別縦軸ピクセル値の平均の最大値は原本映像と同一であり得る。これと同様に、原本映像を縮小／拡大および／または移動して意味のない背景を挿入して変造する場合にも、変造映像でのフレーム別横軸ピクセル値の平均の最大値およびフレーム別縦軸ピクセル値の平均の最大値は原本映像と同一または類似し得る。したがって、本開示の実施例ではピクセル値の軸別平均の最大値の時間的相関関係に基づいて指紋を算出することによって、従来の方法によっては識別が困難であった映像の変造の有無も効果的に識別することができる。
図８は、本開示の一実施例に係る映像の指紋を抽出する方法（８００）の例示を示すフローチャートである。方法（８００）の各段階はコンピューティング装置または少なくとも一つのプロセッサによって遂行され得る。一実施例によると、方法（８００）はプロセッサが複数のフレームそれぞれから複数のピクセル値の行列を獲得することによって開始され得る（Ｓ８１０）。
一実施例によると、プロセッサは複数のフレームそれぞれに対して複数のピクセル値行列の軸別ピクセル値の平均の最大値を算出することができる（Ｓ８２０）。例えばプロセッサは複数のフレームそれぞれに対して横軸ピクセル値の平均の最大値および縦軸ピクセル値の平均の最大値を算出することができる。
その次に、プロセッサは複数のフレームに対して算出された最大値の時間的相関関係に基づいて映像の指紋を算出することができる（Ｓ８３０）。一実施例によると、プロセッサは複数のフレームそれぞれに対して算出された最大値に対して離散コサイン変換を遂行して映像の指紋を算出することができる。例えば、プロセッサは複数のフレームそれぞれの複数のピクセル値行列の横軸ピクセル値の平均の最大値に対して離散コサイン変換を遂行して第１ ＤＣＴ係数を算出することができる。また、プロセッサは複数のフレームそれぞれの複数のピクセル値行列の縦軸ピクセル値の平均の最大値に対して離散コサイン変換を遂行して第２ ＤＣＴ係数を算出することができる。プロセッサは第１ ＤＣＴ係数および第２ ＤＣＴ係数を結合して、映像の指紋を生成することができる。追加的に、プロセッサはＤＣＴ係数（第１ ＤＣＴ係数および第２ ＤＣＴ係数）から基底の周波数が０である直流成分の係数を除いて指紋を生成することができる。
原本映像に変形を加えて映像の各ピクセル値が変更されても、軸別平均の最大値の時間による変化の様相は類似し得る。したがって、前述した通り、軸別平均の最大値からＤＣＴ係数を抽出し、原本映像に変形を加えた変造映像を効果的に識別することができる。
図９は、本開示の一実施例に係る映像の変造の有無を識別する方法（９００）の例示を示すフローチャートである。一実施例によると、プロセッサは原本映像の指紋を獲得することができる（Ｓ９１０）。例えば、プロセッサはデータベースに保存された原本映像の指紋を受信したり、本開示の多様な実施例に係る映像の指紋を抽出する方法により原本映像の指紋を抽出することができる。
一実施例によると、プロセッサは識別対象映像の指紋を抽出することができる（Ｓ９２０）。プロセッサは本開示の多様な実施例に係る映像の指紋を抽出する方法により識別対象映像の指紋を抽出することができ、原本映像の指紋を抽出した方法と同一の方法により識別対象映像の指紋を抽出することができる。
プロセッサは獲得された原本映像の指紋と抽出された識別対象映像の指紋を比較して、識別対象映像の変造の有無を決定することができる（Ｓ９３０）。一実施例で、原本映像と同一の識別対象映像は原本映像から変造されたものと決定され得る。一実施例によると、プロセッサは原本映像の指紋と識別対象映像の指紋をマッチングアルゴリズムに入力して変造の有無を決定することができる。マッチングアルゴリズムは、識別対象映像の指紋の少なくとも一部が原本映像の指紋の少なくとも一部と同一であったり、類似していたり、誤差範囲内である場合、識別対象映像が原本映像から変造されたものと決定することができる。
図８および図９で図示されたフローチャートは例示に過ぎず、一部の実施例では異なって具現され得る。例えば、一部の段階が追加または省略されたり、一部の段階の順序が変わったり、一部の段階が繰り返し遂行され得る。
前述した方法は、コンピュータで実行するためにコンピュータ読み取り可能な記録媒体に保存されたコンピュータプログラムで提供され得る。媒体はコンピュータで実行可能なプログラムを継続して保存するか、実行またはダウンロードのために一時保存するものであってもよい。また、媒体は単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段であり得るが、あるコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散存在するものであってもよい。媒体の例示としては、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含んでプログラム命令語が保存されるように構成されたものがあり得る。また、他の媒体の例示として、アプリケーションを流通するアップストアやその他の多様なソフトウェアを供給乃至流通するサイト、サーバーなどで管理する記録媒体乃至保存媒体も挙げられる。
本開示の方法、動作または技法は多様な手段によって具現されてもよい。例えば、このような技法はハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせで具現されてもよい。本願の開示と連係して説明された多様な例示的な論理的ブロック、モジュール、回路、およびアルゴリズム段階は、電子ハードウェア、コンピュータソフトウェア、または両者の組み合わせで具現されてもよいことを通常の技術者は理解できるであろう。ハードウェアおよびソフトウェアのこのような相互代替を明確に説明するために、多様な例示的な構成要素、ブロック、モジュール、回路、および段階がそれらの機能的観点で一般的に上で説明された。そのような機能がハードウェアとして具現されるのかまたはソフトウェアとして具現されるのかの可否は、特定アプリケーションおよび全体システムに賦課される設計要求事項により変わる。通常の技術者はそれぞれの特定アプリケーションのために多様な方式で説明された機能を具現してもよいが、そのような具現は本開示の範囲から逸脱させるものと解釈されてはならない。
ハードウェアの具現において、技法の遂行に利用されるプロセッシングユニットは、一つ以上のＡＳＩＣ、ＤＳＰ、デジタル信号プロセッシングデバイス（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ；ＤＳＰＤ）、プログラム可能論理デバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ；ＰＬＤ）、フィールドプログラム可能ゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ；ＦＰＧＡ）、プロセッサ、制御器、マイクロ制御器、マイクロプロセッサ、電子デバイス、本開示に説明された機能を遂行するように設計された他の電子ユニット、コンピュータ、またはこれらの組み合わせ内で具現されてもよい。
したがって、本開示と連係して説明された多様な例示的な論理ブロック、モジュール、および回路は汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡや他のプログラム可能論理デバイス、離散ゲートやトランジスタロジック、離散ハードウェアコンポーネント、または本願に説明された機能を遂行するように設計されたものなどの任意の組み合わせで具現されたり遂行されてもよい。汎用プロセッサはマイクロプロセッサであり得るが、代案として、プロセッサは任意の従来のプロセッサ、制御器、マイクロ制御器、または状態マシンであってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと連係した一つ以上のマイクロプロセッサ、または任意の他の構成の組み合わせで具現されてもよい。
ファームウェアおよび／またはソフトウェアの具現において、技法はランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ；ＲＡＭ）、読み取り専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ；ＲＯＭ）、不揮発性ＲＡＭ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ；ＮＶＲＡＭ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュメモリ、コンパクトディスク（ｃｏｍｐａｃｔ ｄｉｓｃ；ＣＤ）、磁気または光学データストレージデバイスなどのようなコンピュータ読み取り可能媒体上に保存された命令で具現されてもよい。命令は一つ以上のプロセッサによって実行可能であってもよく、プロセッサ（ら）に本開示に説明された機能の特定様態を遂行させてもよい。
以上で説明された実施例が一つ以上の独立型コンピュータシステムで現在開示された主題の様態を活用するものとして記述されたが、本開示はこれに限定されず、ネットワークや分散コンピューティング環境のような任意のコンピューティング環境と連係して具現されてもよい。ひいては、本開示で主題の様相は複数のプロセッシングチップや装置で具現されてもよく、ストレージは複数の装置に亘って類似するように影響を受けることになってもよい。このような装置はＰＣ、ネットワークサーバー、および携帯用装置を含んでもよい。
本明細書では本開示が一部の実施例と関連して説明されたが、本開示の発明が属する技術分野の通常の技術者が理解できる本開示の範囲を逸脱しない範囲で多様な変形および変更がなされ得る。また、そのような変形および変更は本明細書に添付された特許請求の範囲内に属するものと考えられるべきである。
１１０：原本映像
１２０：原本映像の指紋抽出
１３０：データベース
１４０：識別対象映像
１５０：識別対象映像の指紋抽出
１６０；マッチングアルゴリズム
１７０：変造の有無決定

Claims (17)

  1. 少なくとも一つのプロセッサによって実行される、複数のフレームを含む映像の指紋（ｆｉｎｇｅｒｐｒｉｎｔ）を抽出する方法において、
    前記複数のフレームそれぞれから複数のピクセル値行列を獲得する段階；
    前記複数のフレームそれぞれに対して前記複数のピクセル値行列の軸別ピクセル値の平均の最大値を算出する段階；および
    前記複数のフレームに対して算出された最大値の時間的相関関係に基づいて前記映像の指紋を算出する段階を含む、映像の指紋を抽出する方法。
  2. 前記複数のフレームそれぞれに対して前記複数のピクセル値行列の軸別ピクセル値の平均の最大値を算出する段階は、
    前記複数のフレームそれぞれに対して前記複数のピクセル値行列の横軸ピクセル値の平均の最大値を算出する段階；および
    前記複数のフレームそれぞれに対して前記複数のピクセル値行列の縦軸ピクセル値の平均の最大値を算出する段階を含む、請求項１に記載の映像の指紋を抽出する方法。
  3. 前記時間的相関関係に基づいて映像の指紋を算出する段階は、
    前記複数のフレームに対して算出された最大値に対して離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；ＤＣＴ）を遂行して前記映像の指紋を算出する段階を含む、請求項１に記載の映像の指紋を抽出する方法。
  4. 前記離散コサイン変換を遂行して前記映像の指紋を算出する段階は、
    前記複数のフレームそれぞれの前記複数のピクセル値行列の横軸ピクセル値の平均の最大値に対して離散コサイン変換を遂行して第１ ＤＣＴ係数を算出する段階；
    前記複数のフレームそれぞれの前記複数のピクセル値行列の縦軸ピクセル値の平均の最大値に対して離散コサイン変換を遂行して第２ ＤＣＴ係数を算出する段階；および
    前記第１ ＤＣＴ係数と前記第２ ＤＣＴ係数を結合して前記映像の指紋を生成する段階を含む、請求項３に記載の映像の指紋を抽出する方法。
  5. 前記時間的相関関係に基づいて映像の指紋を算出する段階は、
    前記離散コサイン変換によって算出されたＤＣＴ係数から基底（ｂａｓｉｓ）の周波数が０である係数を除く段階をさらに含む、請求項３に記載の映像の指紋を抽出する方法。
  6. 前記複数のフレームそれぞれに対して前記複数のピクセル値行列の軸別ピクセル値の平均の最大値を算出する段階は、
    前記複数のフレームそれぞれに対して前記複数のピクセル値行列の横軸ピクセル値の平均の最大値および縦軸ピクセル値の平均の最大値を算出する段階を含み、
    前記映像の指紋を算出する段階は、
    前記複数のフレームそれぞれの前記複数のピクセル値行列の横軸ピクセル値の平均の最大値に対して離散コサイン変換を遂行して第１ ＤＣＴ係数を算出する段階；
    前記複数のフレームそれぞれの前記複数のピクセル値行列の縦軸ピクセル値の平均の最大値に対して離散コサイン変換を遂行して第２ ＤＣＴ係数を算出する段階；および
    前記第１ ＤＣＴ係数と前記第２ ＤＣＴ係数を結合して前記映像の指紋を生成する段階を含む、請求項１に記載の映像の指紋を抽出する方法。
  7. 前記映像の指紋を算出する段階は、
    前記第１ ＤＣＴ係数および前記第２ ＤＣＴ係数から基底の周波数が０である係数を除く段階をさらに含む、請求項６に記載の映像の指紋を抽出する方法。
  8. 少なくとも一つのプロセッサによって実行される、映像の変造の有無を識別する方法において、
    原本映像の指紋を獲得する段階；
    請求項１に記載された方法により識別対象映像の指紋を抽出する段階；および
    前記獲得された原本映像の指紋と前記抽出された指紋を比較して前記識別対象映像の変造の有無を決定する段階を含む、映像の変造の有無を識別する方法。
  9. 請求項１～請求項８のいずれか一項に記載された方法をコンピュータで実行するためのコンピュータ読み取り可能なコンピュータプログラム。
  10. コンピューティング装置であって、
    メモリ；および
    前記メモリと連結され、前記メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサを含み、
    前記少なくとも一つのプログラムは、
    映像に含まれた複数のフレームそれぞれから複数のピクセル値行列を獲得し、
    前記複数のフレームそれぞれに対して前記複数のピクセル値行列の軸別ピクセル値の平均の最大値を算出し、
    前記複数のフレームに対して算出された最大値の時間的相関関係に基づいて前記映像の指紋を算出するための命令語を含む、コンピューティング装置。
  11. 前記複数のフレームそれぞれに対して前記複数のピクセル値行列の軸別ピクセル値の平均の最大値を算出することは、
    前記複数のフレームそれぞれに対して前記複数のピクセル値行列の横軸ピクセル値の平均の最大値を算出し、
    前記複数のフレームそれぞれに対して前記複数のピクセル値行列の縦軸ピクセル値の平均の最大値を算出することを含む、請求項１０に記載のコンピューティング装置。
  12. 前記時間的相関関係に基づいて映像の指紋を算出することは、
    前記複数のフレームそれぞれに対して算出された最大値に対して離散コサイン変換を遂行して前記映像の指紋を算出することを含む、請求項１０に記載のコンピューティング装置。
  13. 前記離散コサイン変換を遂行して前記映像の指紋を算出することは、
    前記複数のフレームそれぞれの前記複数のピクセル値行列の横軸ピクセル値の平均の最大値に対して離散コサイン変換を遂行して第１ ＤＣＴ係数を算出し、
    前記複数のフレームそれぞれの前記複数のピクセル値行列の縦軸ピクセル値の平均の最大値に対して離散コサイン変換を遂行して第２ ＤＣＴ係数を算出し、
    前記第１ ＤＣＴ係数と前記第２ ＤＣＴ係数を結合して前記映像の指紋を生成することを含む、請求項１２に記載のコンピューティング装置。
  14. 前記時間的相関関係に基づいて映像の指紋を算出することは、
    前記離散コサイン変換によって算出されたＤＣＴ係数から基底の周波数が０である係数を除くことをさらに含む、請求項１２に記載のコンピューティング装置。
  15. 前記複数のフレームそれぞれに対して前記複数のピクセル値行列の軸別ピクセル値の平均の最大値を算出することは、
    前記複数のフレームそれぞれに対して前記複数のピクセル値行列の横軸ピクセル値の平均の最大値および縦軸ピクセル値の平均の最大値を算出することを含み、
    前記映像の指紋を算出することは、
    前記複数のフレームそれぞれの前記複数のピクセル値行列の横軸ピクセル値の平均の最大値に対して離散コサイン変換を遂行して第１ ＤＣＴ係数を算出し、
    前記複数のフレームそれぞれの前記複数のピクセル値行列の縦軸ピクセル値の平均の最大値に対して離散コサイン変換を遂行して第２ ＤＣＴ係数を算出し、
    前記第１ ＤＣＴ係数と前記第２ ＤＣＴ係数を結合して前記映像の指紋を生成することを含む、請求項１０に記載のコンピューティング装置。
  16. 前記映像の指紋を算出することは、
    前記第１ ＤＣＴ係数および前記第２ ＤＣＴ係数から基底の周波数が０である係数を除くことをさらに含む、請求項１５に記載のコンピューティング装置。
  17. コンピューティング装置であって、
    メモリ；および
    前記メモリと連結され、前記メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサを含み、
    前記少なくとも一つのプログラムは、
    原本映像の指紋を獲得し、
    請求項１～請求項７のいずれか一項に記載された方法により識別対象映像の指紋を抽出し、
    前記獲得された原本映像の指紋と前記抽出された指紋を比較して前記識別対象映像の変造の有無を決定するための命令語を含む、コンピューティング装置。
JP2022129968A 2021-08-18 2022-08-17 複数のフレームを含む映像の指紋を抽出する方法および装置 Active JP7379614B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210109089A KR102594875B1 (ko) 2021-08-18 2021-08-18 복수의 프레임을 포함하는 영상의 지문을 추출하는 방법 및 장치
KR10-2021-0109089 2021-08-18

Publications (2)

Publication Number Publication Date
JP2023029292A JP2023029292A (ja) 2023-03-03
JP7379614B2 true JP7379614B2 (ja) 2023-11-14

Family

ID=85228567

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022129968A Active JP7379614B2 (ja) 2021-08-18 2022-08-17 複数のフレームを含む映像の指紋を抽出する方法および装置

Country Status (3)

Country Link
US (1) US20230059442A1 (ja)
JP (1) JP7379614B2 (ja)
KR (1) KR102594875B1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002111994A (ja) 2000-09-12 2002-04-12 Internatl Business Mach Corp <Ibm> 拡大縮小耐性を有する電子透かし方法およびシステム
JP2009081827A (ja) 2007-09-03 2009-04-16 Osaka Prefecture Univ 電子透かしの復元方法および復元処理プログラム
JP2012142741A (ja) 2010-12-28 2012-07-26 Fujitsu Ltd 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101778530B1 (ko) * 2011-06-14 2017-09-15 삼성전자 주식회사 영상 처리 방법 및 장치
US8989376B2 (en) * 2012-03-29 2015-03-24 Alcatel Lucent Method and apparatus for authenticating video content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002111994A (ja) 2000-09-12 2002-04-12 Internatl Business Mach Corp <Ibm> 拡大縮小耐性を有する電子透かし方法およびシステム
JP2009081827A (ja) 2007-09-03 2009-04-16 Osaka Prefecture Univ 電子透かしの復元方法および復元処理プログラム
JP2012142741A (ja) 2010-12-28 2012-07-26 Fujitsu Ltd 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置

Also Published As

Publication number Publication date
KR20230026904A (ko) 2023-02-27
JP2023029292A (ja) 2023-03-03
US20230059442A1 (en) 2023-02-23
KR102594875B1 (ko) 2023-10-26

Similar Documents

Publication Publication Date Title
KR101712726B1 (ko) 해시 코드를 이용하는 콘텐츠의 무결성 및 유효성 검증 방법 및 시스템
US8855420B2 (en) Descriptor determination in a multimedia content
US11184174B2 (en) System and method for decentralized digital structured data storage, management, and authentication using blockchain
CN107004247B (zh) 用于发布保留版权的位置水印视频的方法和装置
JP2001309162A (ja) デジタル透かしのデータファイルへの適用方法
JP7379614B2 (ja) 複数のフレームを含む映像の指紋を抽出する方法および装置
JP7375133B2 (ja) 複数のフレームを含む映像の指紋を抽出する方法および装置
WO2023010701A1 (en) Image generation method, apparatus, and electronic device
KR101853211B1 (ko) 모바일 gpu 환경에서 차영상 정보를 이용한 sift 알고리즘의 복잡도 감소 기법
CN114302252A (zh) 视频去除水印的方法、装置、计算机设备及存储介质
US11128473B1 (en) Systems and methods for assuring authenticity of electronic sensor data
JP2009081827A (ja) 電子透かしの復元方法および復元処理プログラム
CN110930354B (zh) 用于图像大数据的平滑过渡的视频画面内容分析系统
KR20210068929A (ko) 이미지 무단 복제 및 무단 도용 추적 시스템
EP4311157A1 (en) Method for generating an nft associated with a digital asset, method for verifying a similarity between digital assets, corresponding computer program products and devices
KR102632640B1 (ko) 원본 콘텐츠와 타겟 콘텐츠를 픽셀 단위로 매칭하는 방법 및 장치
Jasim et al. IMAGE ORIENTATION BASED WATERMARKING TECHNIQUE IN COPYRIGHT PROTECTION.
Chen et al. The copyright protection system for android platform
JP2000155834A (ja) 不正検知装置、方法、電子透かし埋め込み装置、方法及びコンピュータ読み取り可能な記憶媒体
Chen et al. ACM Multimedia 2023 Grand Challenge Report: Invisible Video Watermark
CN113780036A (zh) 图像处理方法及系统、图像及视频检测方法、电子设备
JP2004228783A (ja) 埋め込み情報の記録装置及び再生装置並びに記録用プログラム及び再生用プログラム
DESU et al. Implementing Encoding and Decoding of Reversible Watermarking in Relational Databases
CN111640051A (zh) 一种图像处理方法及其装置
KR20220012992A (ko) 데이터 보안 처리 방법 및 장치, 기기, 저장 매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231101

R150 Certificate of patent or registration of utility model

Ref document number: 7379614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150