JP7467615B2 - ブロックチェーンを使用したフェイクビデオ検出 - Google Patents

ブロックチェーンを使用したフェイクビデオ検出 Download PDF

Info

Publication number
JP7467615B2
JP7467615B2 JP2022521716A JP2022521716A JP7467615B2 JP 7467615 B2 JP7467615 B2 JP 7467615B2 JP 2022521716 A JP2022521716 A JP 2022521716A JP 2022521716 A JP2022521716 A JP 2022521716A JP 7467615 B2 JP7467615 B2 JP 7467615B2
Authority
JP
Japan
Prior art keywords
video
altered
original
blockchain
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022521716A
Other languages
English (en)
Other versions
JP2022551661A (ja
Inventor
イエ、シャオヨン
ベネデット、ウォーレン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2022551661A publication Critical patent/JP2022551661A/ja
Application granted granted Critical
Publication of JP7467615B2 publication Critical patent/JP7467615B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/16—Implementing security features at a particular protocol layer
    • H04L63/168—Implementing security features at a particular protocol layer above the transport layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
    • H04L9/0637—Modes of operation, e.g. cipher block chaining [CBC], electronic codebook [ECB] or Galois/counter mode [GCM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/278—Content descriptor database or directory service for end-user access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本出願は、一般に、コンピュータ技術に必然的に根差し、具体的な技術的改善をもたらす、技術的に独創的で非定型的な解決策に関する。
本明細書で理解されるように、深層学習アルゴリズムと組み合わされた最新のデジタル画像処理は、ある人物のビデオ画像を別の人物の画像に改変する、または人物のビデオを、その人物の声で、その人物が実際には決して話さなかった言葉を話すように改変する、興味深くかつ面白いが、潜在的に邪悪な能力を示す。このような機能は気軽に使用できるが、その機能はまた、あたかもその人物が侮辱的なことを話しているかのように見せることで、個人の名誉を毀損するために使用される可能性がある。したがって、ビデオが本物であるのか、それとも機械学習によって生成されたフェイクであるのかを判断するための技法が本明細書に提供される。
したがって、システムは、ビデオ情報を記憶する少なくとも１つのブロックチェーンにアクセスするためにプロセッサによって実行可能な命令で少なくとも１つのコンピュータストレージにアクセスするように構成された少なくとも１つのプロセッサを含む。命令はまた、ブロックチェーンに追加しようとする第１のビデオが、ブロックチェーンで表される元のビデオの改変されたコピーであるかどうかを判断するために実行可能である。命令はさらに、ブロックチェーンに追加しようとする第１のビデオが元のビデオの改変されたコピーであると判断したことに応えて、第１のビデオに関連する情報をブロックチェーンに追加することを拒否するか、または第１のビデオが元のビデオから改変されている旨の表示とともに第１のビデオをブロックチェーンに追加するために実行可能である。
いくつかの例では、命令は、ブロックチェーンに追加しようとする第１のビデオが元のビデオの改変されたコピーであると判断したことに応えて、第１のビデオに関連する情報をブロックチェーンに追加することを拒否するために実行可能である。他の例では、命令は、ブロックチェーンに追加しようとする第１のビデオが元のビデオの改変されたコピーであると判断したことに応えて、第１のビデオが元のビデオから改変されている旨の表示とともに第１のビデオをブロックチェーンに追加するために実行可能である。
例示的な実施態様では、命令は、第１のビデオ内の顔の、または第１のビデオの顔と背景との間の、または両方の少なくとも１つのテクスチャの不規則性が第１のビデオに存在するかどうかを判断すること、及び第１のビデオが、テクスチャの不規則性に基づいて元のビデオから少なくとも部分的に改変されているかどうかを判断することによって、第１のビデオが少なくとも部分的に元のビデオの改変されたコピーであるかどうかを判断するために実行可能であってよい。
例示的な実施態様では、命令は、第１のビデオの少なくとも一部分を表すスペクトルを出力するための少なくとも１つの離散フーリエ変換（ＤＦＴ）を使用すること、及びスペクトルを使用して、第１のビデオが少なくとも部分的に元のビデオから改変されているかどうかを判断することによって、第１のビデオが少なくとも部分的に元のビデオの改変されたコピーであるかどうかを判断するために実行可能であってよい。このような実施態様では、命令は、元のビデオの対応する領域よりも明るい明るさの少なくとも１つの領域を含み得るスペクトルの少なくとも１つの不規則性を検出するために実行可能であってよい。命令は、スペクトルの不規則性を検出したことに応えて、第１のビデオが改変されていると判断するために実行可能である可能性がある。
非限定的な例では、命令は、第１のビデオのフレームのシーケンスを受信するために、及びフレームのシーケンスに示される人の顔の動きが自然な動きを示すかどうか表す特徴ベクトルを出力するために実行可能である。命令はさらに、特徴ベクトルに基づいて、フレームのシーケンスが元のビデオから改変されているかどうかを判断するために実行可能であってよい。
所望される場合、システムは、第１のビデオのフレームのシーケンスに関連する音声を受信するために構成され、スペクトルを出力するために構成された少なくとも１つの周波数変換を含み得る。システムはまた、スペクトルを受信し、音声を表す音声特徴ベクトルを出力するために構成された少なくとも１つのニューラルネットワークを含み得る。さらに、システムは、音声特徴ベクトルを受信し、それに基づいて、音声が元の音声から改変されていることに関する表示を出力するために構成された、自然な人間の発話特性を学習するようにトレーニングされた少なくとも１つの分析モジュールを含むことができる。
非限定的な例示的な実施形態では、命令は、第１のビデオに対してビデオハッシュを実行するために実行可能であってよい。命令はさらに、第１のビデオに対するビデオハッシュをブロックチェーンで表される元のビデオのビデオハッシュと比較するために、及び第１のビデオに対するビデオハッシュをブロックチェーンで表される元のビデオのビデオハッシュと比較したことに応えて、第１のビデオが元のビデオの改変されたコピーであるのかどうかを判断するために実行可能であってよい。
別の態様では、方法は、元のビデオから派生した第１のビデオが元のビデオから改変されていることを検出することを含む。方法はまた、第１のビデオが改変されている旨の表示とともに、第１のビデオを、元のビデオを表す情報を含むブロックチェーンに追加すること、または第１のビデオをブロックチェーンに追加する要求を拒否することのどちらかを含む。
別の態様では、装置は、元のビデオの少なくとも第１のフレームについて、第１のフレームに対するハッシュを作成するために少なくとも１つのプロセッサによって実行可能な命令を同様に含む少なくとも１つの記憶媒体を含む。命令はまた、第１のフレームのハッシュの要素を第１のフレームの既知の場所にステガノグラフィ的に埋め込み、元のビデオのコピーの少なくとも第２のフレームについて、第１のフレームの既知の場所に対応する第２のフレームの場所以外の第２のフレームの場所からの情報のみを使用して、第２のフレームに対するハッシュを作成するために実行可能である。命令は、第１のフレームに対するハッシュを第２のフレームに対するハッシュと比較するために、及び比較に応えて、元のビデオのコピーが元のビデオから改変されているかどうかを示すために実行可能である。
本出願の詳細は、その構造及び動作の両方に関して、添付図面を参照して最もよく理解することができ、図面中、同様の参照番号は同様の部分を指す。
本原理に従った例を含む例示的なシステムのブロック図である。 本物のビデオ及び本物のビデオから派生したフェイクビデオを示す概略図である。 画像処理及び周波数領域解析の両方を使用するフェイクビデオを検出するための例示的なロジックのフローチャートである。 図３で使用されているニューラルネットワークをトレーニングするための例示的なロジックのフローチャートである。 本物のビデオフレーム及び対応するフェイクビデオフレームの図を示しており、偽のフレームのアーティファクトを示している。 図３のロジックを実行するための例示的なニューラルネットワークアーキテクチャのブロック図である。 ビデオシーケンス分析を使用してフェイクビデオを検出するための例示的なロジックのフローチャートである。 図７のロジックを実行するための例示的なニューラルネットワークアーキテクチャのブロック図である。 フェイクビデオ生成に対処するためにブロックチェーン技術を使用するための例示的なロジックのフローチャートである。 インターネットサービスプロバイダ（ＩＳＰ）／配信業者がビデオを公の場から削除できるように、ＩＳＰまたは配信者にフェイクビデオを報告するための例示的なユーザーインターフェース（ＵＩ）のスクリーンショットである。 ビデオに埋め込まれた検証ハッシュとともにビデオを記録、またはアップロード、またはダウンロードするための例示的なロジックのフローチャートである。 真正性の検証のためにハッシュが使用される図１１で記録またはアクセスされたビデオを再生するための例示的なロジックのフローチャートである。 以前の原理を使用したハイブリッドロジックの例示的なロジックのフローチャートである。 ２セットの本物の画像と改変された画像の例示的な照明アーティファクトを示す。 画像内の例示的な敵対的生成ネットワーク（ＧＡＮ）アーティファクトまたは不規則性を示す。 本物の画像及び改変された画像を使用して、別のＧＡＮ関連のアーティファクトまたは不規則性を示す。
本開示は、概して、限定するものではないが、コンピュータゲームネットワーク及びスタンドアロンコンピュータシミュレーションシステム等のコンピュータシミュレーションネットワーク等の家電製品（ＣＥ）デバイスの態様を含むコンピュータエコシステムに関する。本明細書のシステムは、クライアントコンポーネントとサーバコンポーネントとの間でデータが交換され得るようにネットワークを通じて接続されたサーバコンポーネント及びクライアントコンポーネントを含み得る。クライアントコンポーネントは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）等のゲームコンソールまたはＭｉｃｒｏｓｏｆｔもしくはＮｉｎｔｅｎｄｏもしくは他の製造者によって作成されたゲームコンソール、仮想現実（ＶＲ）ヘッドセット、拡張現実（ＡＲ）ヘッドセット、ポータブルテレビ（例えば、スマートテレビ、インターネット対応テレビ）、ラップトップ及びタブレットコンピュータ等のポータブルコンピュータ、ならびにスマートフォン及び下記に説明される追加例を含む他のモバイルデバイスを含む、１つまたは複数のコンピューティングデバイスを含み得る。これらのクライアントデバイスは、様々な動作環境で動作し得る。例えば、クライアントコンピュータの一部は、例として、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、Ｍｉｃｒｏｓｏｆｔのオペレーティングシステム、もしくはＵｎｉｘ（登録商標）オペレーティングシステム、またはＡｐｐｌｅ ＣｏｍｐｕｔｅｒもしくはＧｏｏｇｌｅによって製造されたオペレーティングシステムを使用し得る。これらの動作環境は、下記に説明されるインターネットサーバによってホストされるウェブサイトにアクセスできる、ＭｉｃｒｏｓｏｆｔもしくはＧｏｏｇｌｅもしくはＭｏｚｉｌｌａによって作成されたブラウザ、または他のブラウザプログラム等、１つまたは複数のブラウジングプログラムを実行するために使用され得る。また、本原理に従った動作環境を使用して、１つまたは複数のコンピュータゲームプログラムを実行し得る。
サーバ及び／またはゲートウェイは、インターネット等のネットワークを介してデータを受信及び送信するサーバを構成する命令を実行する１つまたは複数のプロセッサを含み得る。または、クライアント及びサーバは、ローカルイントラネットまたは仮想プライベートネットワークを通じて接続できる。サーバまたはコントローラは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）等のゲームコンソール、パーソナルコンピュータ等によってインスタンス化され得る。
クライアントとサーバとの間でネットワークを通じて情報を交換し得る。この目的のために及びセキュリティのために、サーバ及び／またはクライアントは、ファイアウォール、ロードバランサ、テンポラリストレージ、及びプロキシ、ならびに信頼性及びセキュリティのための他のネットワークインフラストラクチャを含み得る。１つまたは複数のサーバは、ネットワークメンバーにオンラインソーシャルウェブサイト等のセキュアコミュニティを提供する方法を実施する装置を形成してよい。
本明細書で使用される場合、命令は、システムにおいて情報を処理するためにコンピュータにより実施されるステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェアで実施され、システムのコンポーネントにより実行される任意の種類のプログラム化されたステップを含み得る。
プロセッサは、アドレス線、データ線、及び制御線等の各種の線、ならびにレジスタ及びシフトレジスタによってロジックを実行できる、従来の任意の汎用シングルチッププロセッサまたは汎用マルチチッププロセッサであり得る。
本明細書でフローチャート及びユーザーインタフェースによって記述されるソフトウェアモジュールは、様々なサブルーチン、手順等を含み得る。本開示を限定することなく、特定のモジュールによって実行されるように規定されたロジックは、他のソフトウェアモジュールに再分配すること、及び／または単一のモジュールにまとめて集約すること、及び／または共有可能ライブラリで利用できるようにすることが可能である。
本明細書に説明される本原理は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせとして実装することができる。したがって、実例となるコンポーネント、ブロック、モジュール、回路、及びステップは、それらの機能の観点から説明される。
さらに上記に指摘したものについて、下記に説明される論理ブロック、モジュール、及び回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは特定用途向け集積回路（ＡＳＩＣ）等の他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェアコンポーネント、または本明細書に説明される機能を行うように設計されたそれらのいずれかの組み合わせによって実装できるまたは行うことができる。プロセッサは、コントローラもしくは状態機械、またはコンピューティングデバイスの組み合わせによって実装することができる。
以下で説明される機能及び方法は、ソフトウェアにおいて実装されるとき、限定ではないが、Ｊａｖａ（登録商標）、Ｃ＃、またはＣ＋＋等の適切な言語において記述することができ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、またはデジタル多用途ディスク（ＤＶＤ）等の他の光ディスクストレージ、磁気ディスクストレージもしくは着脱可能サムドライブ等を含む他の磁気記憶装置等のコンピュータ可読記憶媒体に記憶することができ、またはそれらを通して伝送することができる。接続は、コンピュータ可読媒体を確立し得る。このような接続は、例として、光ファイバ、同軸ワイヤ、デジタル加入者回線（ＤＳＬ）、及びツイストペアワイヤを含む有線ケーブルを含み得る。このような接続には、赤外線及び無線を含む無線通信接続が含まれ得る。
ある実施形態に含まれるコンポーネントを、他の実施形態において任意の適切な組み合わせで使用することができる。例えば、本明細書で説明される、及び／または図に描かれる様々なコンポーネントのいずれも、組み合わされてもよく、交換されてもよく、または他の実施形態から除外されてもよい。
「Ａ、Ｂ、及びＣの少なくとも１つを有するシステム」（同様に「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有するシステム」）は、Ａを単独で、Ｂを単独で、Ｃを単独で、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、及び／またはＡ、Ｂ、及びＣを一緒に有するシステム等を含む。
ここで具体的に図１を参照すると、例示的なシステム１０が示されており、このシステムは、本原理による、上で述べられかつ以下に詳述される、例示的なデバイスの１つまたは複数を含み得る。システム１０に含まれる例示的なデバイスのうちの第１のデバイスは、ＴＶチューナ（同等にＴＶを制御するセットトップボックス）を備えたインターネット対応ＴＶ等の、ただしこれに限定されないオーディオビデオデバイス（ＡＶＤ）１２といった家電製品（ＣＥ）デバイスである。しかし、ＡＶＤ１２は、代わりに、電気器具または家庭用品、例えば、コンピュータ制御でインターネット対応の冷蔵庫、洗濯機、または乾燥機であってよい。代わりに、ＡＤＶ１２は、また、コンピュータ制御型インターネット対応（「スマート」）電話、タブレットコンピュータ、ノートブックコンピュータ、例えば、コンピュータ制御型インターネット対応時計、コンピュータ制御型インターネット対応ブレスレット、他のコンピュータ制御型インターネット対応デバイス等のウェアラブルコンピュータ制御デバイス、コンピュータ制御型インターネット対応ミュージックプレイヤ、コンピュータ制御型インターネット対応ヘッドフォン、インプラント可能な皮膚用デバイス等のコンピュータ制御型でインターネット対応のインプラント可能なデバイス等であってよい。それにも関わらず、ＡＤＶ１２は、本原理を実施する（例えば、本原理を実施するように他のＣＥデバイスと通信し、本明細書に説明されるロジックを実行し、本明細書に説明されるいずれかの他の機能及び／または動作を行う）ように構成されることを理解されたい。
したがって、このような原理を実施するために、ＡＤＶ１２は、図１に示されるコンポーネントの一部または全てによって確立できる。例えば、ＡＤＶ１２は、１つまたは複数のディスプレイ１４を含むことができ、ディスプレイ１４は、高解像度または「４Ｋ」もしくはそれ以上の超高解像度のフラットスクリーンによって実装されてよく、ディスプレイのタッチによりユーザー入力信号を受信するためにタッチ対応であってよい。ＡＤＶ１２は、本原理に従って音声を出力するための１つまたは複数のスピーカ１６、及び、例えば、ＡＶＤ１２を制御するために可聴コマンドをＡＶＤ１２に入力するための、例えば、音声受信機／マイクロホン等の少なくとも１つの追加入力デバイス１８を含み得る。例示的なＡＤＶ１２はまた、１つまたは複数のプロセッサ２４等の制御の下、インターネット、ＷＡＮ、ＬＡＮ等の少なくとも１つのネットワーク２２を通じて通信するための１つまたは複数のネットワークインタフェース２０を含み得る。また、グラフィックプロセッサ２４Ａを含み得る。したがって、インタフェース２０は、限定ではないが、Ｗｉ－Ｆｉ（登録商標）送受信機であり得、Ｗｉ－Ｆｉ（登録商標）送受信機は、限定するものではないが、メッシュネットワーク送受信機等の無線コンピュータネットワークインタフェースの例である。プロセッサ２４は、例えば、ディスプレイ１４を、画像を提示するように制御することや、そこから入力を受信すること等の本明細書に説明されるＡＤＶ１２の他の要素を含む、本原理を実施するようにＡＤＶ１２を制御することを理解されたい。さらに、ネットワークインタフェース２０は、例えば、有線もしくは無線のモデムもしくはルータ、または、例えば、無線テレフォニ送受信機もしくは上述したＷｉ－Ｆｉ（登録商標）送受信機等の他の適切なインタフェースであってよいことに留意されたい。
上記に加えて、ＡＤＶ１２はまた、例えば、別のＣＥデバイスに（例えば、有線接続を使用して）物理的に接続する高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））ポートもしくはＵＳＢポート、及び／またはヘッドフォンを通してＡＤＶ１２からユーザーに音声を提示するためにＡＶＤ１２にヘッドフォンを接続するためのヘッドフォンポート等の１つまたは複数の入力ポート２６を含み得る。例えば、入力ポート２６は、オーディオビデオコンテンツのケーブルまたは衛星ソース２６ａに有線でまたは無線で接続されてよい。したがって、ソース２６ａは、例えば、別個のもしくは統合されたセットトップボックス、または衛星受信機であってよい。または、ソース２６ａは、以下に詳述されるチャネル割り当て目的でユーザーが好みと見なし得るコンテンツを含むゲームコンソールまたはディスクプレイヤであってよい。ソース２６ａは、ゲームコンソールとして実装されるとき、ＣＥデバイス４４に関連して以下で説明されるコンポーネントの一部または全てを含み得る。
ＡＤＶ１２は、さらに、一時的信号ではない、ディスクベースストレージまたはソリッドステートストレージ等の１つまたは複数のコンピュータメモリ２８を含んでよく、これらのメモリは、場合によっては、スタンドアロンデバイスとしてＡＤＶのシャーシ内で、またはＡＶプログラムを再生するためにＡＶＤのシャーシの内部もしくは外部のいずれかでパーソナルビデオ録画デバイス（ＰＶＲ）もしくはビデオディスクプレイヤとして、または取り外し可能メモリ媒体として具現化されてよい。また、いくつかの実施形態では、ＡＶＤ１２は、限定するものではないが、少なくとも１つの衛星もしくは携帯電話の中継塔から地理的位置情報を受信し、情報をプロセッサ２４に提供し、及び／またはＡＶＤ１２がプロセッサ２４と併せて配置される高度を判断するように構成される、携帯電話受信機、ＧＰＳ受信機、及び／または高度計３０等の位置受信機または場所受信機を含むことができる。しかしながら、例えば、３つの次元全てにおいて、例えば、ＡＤＶ１２の場所を決定するために、本原理に従って、携帯電話受信機、ＧＰＳ受信機、及び／または高度計以外の別の適切な位置受信機が使用され得ることを理解されたい。
ＡＤＶ１２の説明を続けると、いくつかの実施形態では、ＡＤＶ１２は、例えば、熱探知カメラ、ウェブカメラ等のデジタルカメラ、及び／またはＡＤＶ１２に組み込まれ、本原理に従って写真／画像及び／またはビデオを収集するようにプロセッサ２４によって制御可能なカメラであってもよい１つまたは複数のカメラ３２を含み得る。また、ＡＶＤ１２に含まれるのは、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／または近距離無線通信（ＮＦＣ）技術を各々使用して、他のデバイスと通信するためのＢｌｕｅｔｏｏｔｈ（登録商標）送受信機３４及び他のＮＦＣ要素３６であってよい。例示的なＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であってもよい。
さらにまた、ＡＶＤ１２は、プロセッサ２４に入力を提供する１つまたは複数の補助センサ３７（例えば、加速度計、ジャイロスコープ、サイクロメータ等の運動センサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度センサ及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するため）等）を含み得る。ＡＶＤ１２は、プロセッサ２４への入力を提供するＯＴＡ（無線）ＴＶ放送を受信するための無線ＴＶ放送ポート３８を含み得る。上記に加えて、ＡＶＤ１２はまた、赤外線データ協会（ＩＲＤＡ）デバイス等の赤外線（ＩＲ）送信機及び／またはＩＲ受信機及び／またはＩＲ送受信機４２を含み得ることに留意されたい。ＡＶＤ１２に給電するためのバッテリ（図示せず）が備えられてよい。
さらに図１を参照すると、ＡＤＶ１２に加えて、システム１０は、１つまたは複数の他のＣＥデバイスタイプを含んでもよい。一例では、第１のＣＥデバイス４４は、ＡＤＶ１２に直接送信されるコマンドを介して及び／または後述のサーバを通じて、コンピュータゲームの音声及びビデオをＡＤＶ１２に送信するために使用され得る一方、第２のＣＥデバイス４６は第１のＣＥデバイス４４と同様のコンポーネントを含み得る。示される例では、第２のＣＥデバイス４６は、示されたようにプレーヤ４７によって装着されるＶＲヘッドセットとして構成され得る。示される例では、２つのＣＥデバイス４４、４６のみが示されるが、より少ないまたはより多くのデバイスが使用されてよいことを理解されたい。例えば、以下の原理は、ゲームコンソールによって１つまたは複数のＡＶＤ１２に供給されるコンピュータゲームのプレイ中に互いと通信するそれぞれのヘッドセットをした複数のプレーヤ４７を説明する。
示される例では、本原理を示すために、３つのデバイス１２、４４、４６は全て、例えば家庭のエンターテインメントネットワークのメンバーであること、または少なくとも、住宅等の場所において相互に近接して存在していることが想定される。しかし、本原理は、他に明確に主張されない限り、破線４８によって示される特定の場所に限定されない。
例示的な非限定的な第１のＣＥデバイス４４は、上述のデバイス、例えば、ポータブル無線ラップトップコンピュータまたはノートブックコンピュータまたはゲームコントローラのいずれか１つによって確立されてもよく、したがって、以下で説明される１つまたは複数のコンポーネントを有してもよい。第１のＣＥデバイス４４は、例えば、ＡＶ再生コマンド及び一時停止コマンドをＡＶＤ１２に発行するためのリモコン装置（ＲＣ）であってよく、またはタブレットコンピュータ、有線もしくは無線リンクを介してＡＶＤ１２及び／またはゲームコンソールと通信するゲームコントローラ、パーソナルコンピュータ、無線電話等のより高性能のデバイスであってよい。
したがって、第１のＣＥデバイス４４は、ディスプレイをタッチしてユーザー入力信号を受信するためにタッチ対応であってよい１つまたは複数のディスプレイ５０を含み得る。第１のＣＥデバイス４４は、本原理に従って音声を出力するための１つまたは複数のスピーカ５２、及び、例えば、デバイス４４を制御するために可聴コマンドを第１のＣＥデバイス４４に入力するための、例えば、音声受信機／マイクロホン等の少なくとも１つの追加入力デバイス５４を含み得る。例示的な第１のＣＥデバイス４４はまた、１つまたは複数のＣＥデバイスプロセッサ５８の制御の下、ネットワーク２２を通じて通信するための１つまたは複数のネットワークインタフェース５６を含み得る。また、グラフィックプロセッサ５８Ａを含み得る。したがって、インタフェース５６は、限定ではないが、Ｗｉ－Ｆｉ（登録商標）送受信機であり得、Ｗｉ－Ｆｉ（登録商標）送受信機は、メッシュネットワークインタフェースを含む無線コンピュータネットワークインタフェースの例である。プロセッサ５８は、例えば、ディスプレイ５０を、画像を提示するように制御することや、そこから入力を受信すること等の本明細書に説明される第１のＣＥデバイス４４の他の要素を含む、本原理を実施するように第１のＣＥデバイス４４を制御することを理解されたい。さらに、ネットワークインタフェース５６は、例えば、有線もしくは無線のモデムもしくはルータ、または、例えば、無線テレフォニ送受信機もしくは上述したＷｉ－Ｆｉ（登録商標）送受信機等の他の適切なインタフェースであってよいことに留意されたい。
上記に加えて、第１のＣＥデバイス４４はまた、例えば、別のＣＥデバイスに（例えば、有線接続を使用して）物理的に接続するＨＤＭＩ（登録商標）ポートもしくはＵＳＢポート、及び／またはヘッドフォンを通して第１のＣＥデバイス４４からユーザーに音声を提示するために第１のＣＥデバイス４４にヘッドフォンを接続するためのヘッドフォンポート等の１つまたは複数の入力ポート６０を含み得る。第１のＣＥデバイス４４は、さらに、ディスクベースストレージまたはソリッドステートストレージ等の１つまたは複数の有形コンピュータ可読記憶媒体６２を含み得る。また、いくつかの実施形態では、第１のＣＥデバイス４４は、限定するものではないが、例えば、三角測量を使用して、少なくとも１つの衛星及び／または携帯電話の基地局から地理的位置情報を受信し、情報をＣＥデバイスプロセッサ５８に提供し、及び／または第１のＣＥデバイス４４がＣＥデバイスプロセッサ５８と併せて配置される高度を判断するように構成される、携帯電話受信機及び／またはＧＰＳ受信機、及び／または高度計６４等の位置受信機または場所受信機を含むことができる。しかしながら、例えば、３つの次元全てにおいて、例えば、第１のＣＥデバイス４４の場所を決定するために、本原理に従って、携帯電話及び／またはＧＰＳ受信機及び／または高度計以外の別の適切な位置受信機が使用され得ることを理解されたい。
第１のＣＥデバイス４４の説明を続けると、いくつかの実施形態では、第１のＣＥデバイス４４は、例えば、熱探知カメラ、ウェブカメラ等のデジタルカメラ、及び／または第１のＣＥデバイス４４に組み込まれ、本原理に従って写真／画像及び／またはビデオを収集するようにＣＥデバイスプロセッサ５８によって制御可能なカメラであってもよい１つまたは複数のカメラ６６を含み得る。また、第１のＣＥデバイス４４に含まれるのは、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／または近距離無線通信（ＮＦＣ）技術を各々使用して、他のデバイスと通信するためのＢｌｕｅｔｏｏｔｈ（登録商標）送受信機６８及び他のＮＦＣ要素７０であってよい。例示のＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であってもよい。
さらにまた、第１のＣＥデバイス４４は、ＣＥデバイスプロセッサ５８に入力を提供する１つまたは複数の補助センサ７２（例えば、加速度計、ジャイロスコープ、サイクロメータ等の運動センサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度センサ及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するため）等）を含み得る。第１のＣＥデバイス４４は、ＣＥデバイスプロセッサ５８に入力を提供する、例えば、１つまたは複数の気候センサ７４（例えば、気圧計、湿度センサ、風センサ、光センサ、温度センサ等）及び／または１つまたは複数の生体認証センサ７６等のさらに他のセンサを含み得る。上記に加えて、いくつかの実施形態では、第１のＣＥデバイス４４は、赤外線（ＩＲ）送信機及び／またはＩＲ受信機、及び／または赤外線データアソシエーション（ＩＲＤＡ）デバイス等のＩＲ送受信機７８も含み得ることに留意されたい。ＣＥデバイス４４に給電するためのバッテリ（図示せず）が備えられてよい。ＣＥデバイス４４は、前述の通信モード及び関連コンポーネントのうちのいずれかを介して、ＡＶＤ１２と通信し得る。
第２のＣＥデバイス４６は、ＣＥデバイス４４について示したコンポーネントの一部または全てを含み得る。ＣＥデバイスの一方または両方のいずれかは、１つまたは複数のバッテリによって供電され得る。
ここで、上述の少なくとも１つのサーバ８０を参照すると、サーバ８０は、少なくとも１つのサーバプロセッサ８２と、ディスクベースストレージまたはソリッドステートストレージ等の少なくとも１つの有形コンピュータ可読記憶媒体８４と、サーバプロセッサ８２の制御の下、ネットワーク２２を通じて図１の他のデバイスとの通信を可能にし、実際に、本原理に従ってサーバとクライアントデバイスとの間の通信を容易にし得る少なくとも１つのネットワークインタフェース８６とを含む。ネットワークインタフェース８６は、例えば、有線もしくは無線のモデムもしくはルータ、Ｗｉ－Ｆｉ（登録商標）送受信機、または、例えば、無線テレフォニ送受信機等の他の適切なインタフェースであり得ることに留意されたい。
したがって、いくつかの実施形態では、サーバ８０は、インターネットサーバまたはサーバ「ファーム」全体であってもよく、「クラウド」機能を含んでもよく、「クラウド」機能を実行してもよく、その結果、システム１０のデバイスは、例えば、ネットワークゲーミングアプリケーションについての例示的な実施形態においてサーバ８０を介して「クラウド」環境にアクセスすることができる。または、サーバ８０は、図１に示す他のデバイスと同じ部屋かまたはその近くにある１つまたは複数のゲームコンソールまたは他のコンピュータによって実装されてもよい。
本明細書における方法は、プロセッサ、適切に構成された特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）モジュール、または当業者によって認識される任意の他の便利な方式によって実行されるソフトウェア命令として実装されてよい。使用される場合、ソフトウェア命令は、ＣＤ ＲＯＭまたはフラッシュドライブ等の非一時的デバイスで具現化されてよい。代わりに、ソフトウェアコード命令は、無線信号もしくは光信号等の一時的構成で、またはインターネットを通したダウンロードを介して具現化されてよい。
ここで図２～図６を参照すると、画像が「フェイク」であるかどうか、つまり元の画像からデジタル的に改変されているかどうかを判断するための第１の技法が示されている。図２では、可聴の言葉２０６を話している、顔２０４を有する人の、ディスプレイ２０２に提示され得る元の画像２００が示されている。画像２００は、ビデオストリームからのＩフレーム等の画像であってよく、ビデオストリームのフレームの一部または全ては、本明細書に開示されるように処理され得る。
限定するものではないが、キーボード等の入力デバイス２１０を用いてコンピュータ２０８を操作する人は、画像及び／または音声を改変して、改変された可聴の言葉２１４を話していると描かれる可能性のある人の改変された画像２１２を生成し得る。本原理は、改変された画像２１２が実際にオリジナル２００から改変されていることを検出することを対象とする。
図３は、第１の技法で実行され得るロジックを示し、一方、図６は、図３のロジックを具現化し得る例示的なアーキテクチャを示す。ブロック３００で開始すると、画像が受信される。画像は、畳み込みＮＮ（ＣＮＮ）等の第１のニューラルネットワーク（ＮＮ）を介して画像を処理することによって、ブロック３０２で直接分析することができる。第１のＮＮは、ブロック３０４で画像を表す特徴ベクトルを出力する。
また、ブロック３０６で、画像は、顔及び／または画像の背景の、本明細書では不規則性とも呼ぶアーティファクト、及び画像内の照明の不規則性がないか分析するために顔認識モジュールに入力され得る。１つまたは複数のＮＮを使用し得る顔認識モジュールは、特徴ベクトルをブロック３０４に出力する。
例として、画像（空間領域）内の顔の不規則性は、チェッカーボードのような外観を有する小さい領域を含む場合があり、デジタル改変に起因する解像度のぼやけを示す。
さらに、画像は、例えば、周波数領域内の画像の不規則性を検出するためにＣＮＮ等の別のＮＮを用いてブロック３１０で分析される周波数スペクトルを出力する離散フーリエ変換（ＤＦＴ）を使用して、ブロック３０８で周波数流域に変換され得る。スペクトルを表す特徴ベクトルは、ブロック３０４に提供される。
例として、周波数領域の不規則性は、周波数領域内の画像のグラフィック表現の周辺に沿った１つまたは複数の輝点を含み得る。
決定ひし形３１２に移動すると、１つまたは複数のＮＮを含む場合がある検出モジュールが、ブロック３０４からの特徴ベクトルを分析して、１つまたは複数の不規則性が空間領域及び／または周波数領域に存在するかどうかを判断する。不規則性が存在しない場合、プロセスは状態３１４で終了してよいが、いくつかの実施態様では、任意の領域に任意の不規則性が存在する場合、ブロック３１６で、画像がフェイクである旨の表示が返されてよい。他の実施態様では、ブロック３１６で、不規則性が空間領域内に存在する、及び不規則性が周波数領域に存在する両方の場合にだけ、画像がフェイクである旨の表示が返されてよい。
図４を簡略に参照すると、本明細書に説明するＮＮをトレーニングするためのプロセスが示されている。ブロック４００で開始すると、グラウンドトゥルースの元の改変されていない画像がＮＮに入力される。また、グラウンドトゥルースの改変された、つまりフェイクの画像もブロック４０２でＮＮに入力される。フェイク画像は、設計者によって、グラウンドトゥルースの元の画像から「ディープフェイク」技術を使用して生成され得る。ＮＮは、例えば、周波数領域と空間領域の両方について上述した任意のまたは例示的な不規則性を使用して分析を開始するようにプログラムされ得る。ＮＮは、ブロック４０４でグラウンドトゥルース入力に関してトレーニングされる。その後、ブロック４０４でＮＮのトレーニングを改良するために強化学習が適用され得る。
図５は、例示的な空間領域及び周波数領域の不規則性を示す。元の画像５００は、元の空間領域５０２及び元の周波数領域５０４に示されている。元の画像５００の改変された画像５０６は、５１０に示される改変された空間領域画像５０８及び改変された周波数領域を有する。
示されるように、改変された空間領域画像５０８内の領域５１２は、５１４で拡大され、示されるチェッカーボードパターンを有する。元の画像と改変された画像との間に、照明不規則性が存在する場合もある。
１つまたは複数の周波数領域の不規則性５１６はまた、周波数領域５１０内の画像の表現において検出され得る。周波数領域の不規則性５１６は、示されるように、周波数領域のグラフィック描写の端縁または周辺に沿って輝点を含む場合がある。示されている例では、側面ごとに２つの輝点が存在し、周波数領域における画像改変により生じた不規則性を示している。
図６は、図３のロジックを具現化するために使用され得る例示的なアーキテクチャを示している。改変についてテストされる画像６００は、モジュール６０２のニューラルネットワーク（ＮＮ）６０４で画像の照明の不規則性、及び６０６で顔の解像度／不規則性チェックを検出するために空間領域の画像を分析する顔検出モジュール６０２に入力される。顔検出モジュール６０２は、画像認識原理を使用し得、１つまたは複数のＮＮによって具現化され得る。
また、画像６００は、追加の規則を使用した直接的な分析のために、ＣＮＮである場合があるＮＮ６０８に直接入力され得る。ＮＮ６０８が、画像の特徴ベクトルを抽出することに留意されたい。また、ＮＮ６０４は画像処理を実行し、十分なトレーニングデータがない場合に特に有利である。ただし、ＮＮ６０４、６０８は単一のＮＮによって実装される場合がある。
さらに、画像６００は、周波数領域で画像６００を表すスペクトル６１２を出力する離散フーリエ変換（ＤＦＴ）６１０によって処理される。スペクトル６１２は、スペクトルを分析するためにＣＮＮ６１４に送られる。
顔認識モジュール６０２（照明の不規則性チェック６０４及び顔の解像度／アーティファクトチェック６０６を含む）、ならびにＣＮＮ６０８及び６１４は、空間領域と周波数領域の両方で画像６００を表す特徴ベクトルのグループ６１６を生成する。長短期モジュール（ＬＳＴＭ）等のリカレントＮＮ（ＲＮＮ）等の１つまたは複数のＮＮによって実装され得る検出モジュール６１８は、特徴ベクトルを分析して、本明細書に提案される原理に従って、画像６００が元の画像からのデジタル改変を含むかどうかを確認する。画像６００がデジタル改変を含む場合、６２０で、画像６００がフェイクである可能性がある旨の表示が生成される。
図７は、改変されたビデオを検出するための第２の技法を示し、図８は、図７のロジックを具現化するための例示的なアーキテクチャを示している。ビデオクリップまたはビデオフレームの他のシーケンス等のビデオシーケンスは、ブロック７００で、ＮＮに入力される。シーケンスは、ＮＮを使用してブロック７０２で分析され、ＮＮは、７０４でビデオシーケンスを表す特徴ベクトルを出力する。
ビデオシーケンスを分析する際に、ＮＮは、例えば発話中の自然な人間の顔の動きのパターンを学習するようにトレーニングされ得る。本明細書で理解されるように、ビデオシーケンスが改変されるとき、改変者は、例えば唇の動きの自然なパターンを正確にモデル化し得ないため、わずかに不自然な動きのパターンがフェイクビデオシーケンスでＮＮによって検出され得る。
また、ビデオシーケンスと関連付けられた音声は、ブロック７０６で周波数変換に入力される。周波数変換７０６によって出力されるスペクトルは、スペクトルの分析のためにブロック７０８でＮＮに提供されて、ブロック７０４に、音声を表す特徴ベクトルを出力する。
付随する音声を分析する際に、ＮＮは、ケーデンス、トーン、ピッチパターン、及び強調等の自然な人間の発話特性を学習するようにトレーニングされ得る。本明細書で理解されるように、声の音声等の音声が改変されるとき、改変者は、人間の発話の自然なパターンを正確にモデル化し得ない。したがって、不自然なケーデンスまたはトーンまたはピッチ等のわずかに不自然な発話のパターンは、フェイク音声シーケンスでＮＮによって検出され得る。トレーニングは図４に示す線に沿って達成され得、元のグラウンドトゥルース音声から派生したグラウンドトゥルース音声及びフェイクグラウンドトゥルース音声が、トレーニングセットとして使用される。
特徴セット７０４は、特徴ベクトルを分析して、決定ひし形７１２で、入力されたビデオシーケンス及び／または付随する音声がオリジナルから改変されているかどうかを検出するためにＲＮＮ７１０等のＮＮに提供され得る。異常または不規則性が見つからない場合、プロセスは、状態７１４で終了し得るが、不規則性が検出された場合、ブロック７１６で、ビデオシーケンスが改変された可能性がある旨の表示が出力される。
いくつかの実施形態では、音声またはビデオのどちらかでなんらかの不規則性が検出された場合、フェイクの表示がブロック７１６で出力される。他の実施形態では、音声とビデオの両方で不規則性が検出された場合にのみ、フェイクの表示がブロック７１６で出力される。
図８は、図７のロジックを具現化するために使用できるアーキテクチャを示している。ビデオシーケンス８００は、ＣＮＮ等のＮＮ８０２に入力されて、そこから特徴ベクトル８０４を抽出する。また、発話８０６等の音声は、周波数領域で、そこから特徴ベクトルを抽出するためにＣＮＮ等のＮＮ８１０によって分析される音声の表現を生成するために短時間フーリエ変換（ＳＴＦＴ）等の周波数変換８０８に入力される。ＬＳＴＭ等のＲＮＮ等のＮＮ２１２は、本明細書に説明する原理に従って特徴ベクトルを分析して、ブロック８１４で、ビデオシーケンス８００及び音声８０６のあらゆる不規則性を検出する。状態８１６は、入力がフェイクである可能性がある旨の表示の出力を示す。
ここで図９に目を向けると、ブロックチェーン技術及び／またはデジタルフィンガープリント技術を使用してフェイクビデオ生成に対処するための第３の技法が示されている。一般に、ビデオのハッシュ／署名は、例えば、ウェブブラウザを使用してスマートフォンまたは他の記録デバイス等の画像化デバイスに組み込まれ得る、またはハードウェアに符号化され得る。デジタルフィンガープリントは、ビデオ全体またはサブトラックのデータのビットから生成できるため、ビデオコンテンツが変更されると、フィンガープリントも変化する。デジタルフィンガープリントは、ビデオがどこで及びいつ最初に作成されたのかの場所及びタイムスタンプ等のメタデータとともに生成できる。ビデオを再配信しようとするたびに、配信業者はブロックチェーン上の元のブロックからの許可を要求する必要があり、新しい（コピーされた）ビデオの新しいブロックが拘束されるため、元のビデオ及びブロックチェーン上の任意のノードまでたどることが容易になる。ビデオを再度アップロードする前に、ビデオのフィンガープリントを元のフィンガープリントと照合して、追加しようとするビデオが操作されているかどうかを判断できる。
例えば、ビデオウェブサイトにはビデオフィンガープリント検出器が組み込まれ得るため、ビデオがアップロード／ダウンロードされるたびに、ビデオは記録され、スタンプが付けられる。フィンガープリントが元のビデオフィンガーポイントに一致しないことに基づいて、ビデオがフェイクと分類された場合、ビデオはチェーン全体でこのようなものとして記録され得る。これはウイルス対策ソフトウェアをエミュレートするが、この場合、全てのユーザーが同時に保護される。
ブロック９００で開始すると、元の（「本物の」）ビデオはビデオのハッシュとともにビデオブロックチェーンに追加され、そのハッシュはデジタルフィンガープリントとして機能し得、通常、ビデオのピクセル値またはエンコード情報または他の画像に依存する値に基づいている。ビデオをコピーする要求はブロック９０２で受信される場合があり、要求はブロック９０４で許可される場合がある。
ブロック９０６に移動すると、元のビデオのコピーである新しいビデオを追加してブロックチェーンに戻す要求が受信される場合がある。要求には、有効であるために、新しいビデオに対するハッシュ（フィンガープリント）が伴う場合がある。決定ひし形９０８に進むと、ブロックチェーンに追加しようとするビデオのハッシュは、ビデオのコピー元であった、元のビデオのハッシュと比較され、ハッシュが一致する場合、新しいビデオはブロック９１０でブロックチェーンに追加されてよい。
他方、決定ひし形９０８で、ハッシュが一致しないと判断された場合、ロジックはブロック９１２に移動して、新しいビデオをブロックチェーンに追加することを拒否するか、またはそれを、新しいビデオがオリジナルから改変されているため、フェイクである場合がある旨の表示とともにブロックチェーンに追加し得る。所望される場合、改変されたビデオは、ブロックチェーンからアクセス不可、またはそれ以外の場合ブロック９１４で再生不可にされ得る。
さらに、改変されたビデオが検出されると、ロジックはブロック９１６に移動して、インターネットサービスプロバイダ（ＩＳＰ）または新しい改変されたビデオの他の配信業者に、ビデオが実際に元のビデオからデジタル的に改変されているため、新しい（改変された）ビデオを公けの場から削除するかどうかを決定するために調べられる必要があることを報告し得る。図１０を説明する。
示されるように、ユーザーインタフェース（ＵＩ）１０００は、図９のロジックを実行する、及び／または図９のロジックを実行するデバイスからの情報を受信するデバイスのディスプレイ１００２に提示されてよい。ＵＩ１０００は、フェイクビデオが検出された可能性がある旨のプロンプト１００４を含んでよい。ＵＩ１０００はまた、ユーザーが、識別情報とともにフェイクの存在を配信業者または他の機関に報告することを可能にするためにセレクタ１００６を含み得る。
図１１及び図１２は、追加のフィンガープリントロジックを示している。図１１のブロック１１００で開始すると、新しい元のビデオの作成に従って、及び／またはビデオのアップロードもしくはダウンロード時に、ビデオの少なくとも一部のフレーム、及びいくつかの実施形態では、ビデオの全てのフレームについて、ハッシュはフレーム内で実行される。ブロック１００２に進むと、ハッシュは次に、その派生元のフレームに埋め込まれる。
例では、ビデオフレームのハッシュは、それが肉眼では検出できず、ビデオフレーム全体で均一に分散され得るように、ビデオフレームにステガノグラフィ的に埋め込まれ得る。例えば、ステガノグラフィハッシュの各個のピクセルは、それがつねに固定位置にあるため、または場所がフレームのためのビデオメタデータに含まれている（あらゆるフレームが異なることを可能にする）ためのどちらかで、既知の場所にある場合がある。この場所を知っていることによって、ハッシュを表すピクセルをハッシュされるビデオから除外することが可能になる。言い換えれば、元のハッシュは、ステガノグラフィ的にではなく改変されたピクセルからのみ作成される。この場所はまた、ハッシュを表しているピクセルが、ハッシュに影響を与えるであろうように圧縮または改変されないことを保証するために、ビデオ圧縮アルゴリズムによって使用され得る。
図１２は、ビデオ再生ソフトウェアがこのプロセスを逆にするであろうことを示している。ブロック１２００で開始すると、ステガノグラフィ的に埋め込まれたハッシュがビデオフレームから抽出される。ブロック１２０２に移動すると、ビデオフレームの残りのピクセルがハッシュされる。決定ひし形１２０４に進むと、新たなハッシュが、フレームから抽出されたハッシュと比較される。それらが一致する場合、フレームは元のソースビデオから改変されていないため、ロジックはブロック１２０６に移動して、このようなものを示し、所望される場合（全てのフレームまたは少なくとも閾値数のフレームが一致すると仮定して）ブロックチェーンにビデオを追加する。ハッシュが一致しない場合、ロジックはブロック１２０８に移動して、（例えば）改変されたフレームの周りの赤い境界線または強調表示により、表示されているビデオがオリジナルから改変されていることを示す。フレームの改変された部分にも輪郭を付けてよい。
この同じ検証プロセスは、フェイクを検出し、積極的にフェイクが公開されるのを防ぐか、またはビデオに警告を付加するバックエンドサーバ上で実行され得る。
任意の悪意のある当時者が任意の意味のある方法でソースビデオを改変すると、フレームは異なるようにハッシュする、及び／または埋め込まれたステガノグラフィハッシュが破損するであろう。この活動の両端に誠実な当事者がいる限り、ビデオの改変は検出可能である。
図１３は、上記の原理を組み合わせたハイブリッド技法が使用され得ることを示す。ブロック１３００は、周波数領域分析と組み合わせた画像処理／ビデオシーケンシングの両方とも、ビデオのアーティファクト／不規則性を特定するために使用され得ることを示している。ブロック１３０２は、ビデオのアーティファクト／不規則性を特定するために、発話処理が上記技法のいずれかと組み合わせて使用され得ることをさらに示す。ブロック１３０４は、ビデオのアーティファクト／不規則性の識別が、元の（本物の）ビデオ、及び改変されているそのコピー（フェイク）を追跡するためにブロックチェーン技術と組み合わされ得ることを示す。
図１４～図１６は、図中で「フェイク」画像とラベルが付けられた、改変された画像に現れる可能性のあるアーティファクトまたは不規則性の追加の例を示す。図１４の第１の本物の画像１４００は、領域１４０４で、照明が、第１の本物の画像１４００の対応する領域においてよりも明るく見える対応する改変された画像１４０２を生成するために改変されている。同様に、第２の本物の画像１４０６は、顔の領域１４１０での照明が、本物の画像１４０６よりも明るく見える改変された画像１４０８を生成するために改変されている。改変された画像１４０２、１４０８の解像度はまた、対応する本物の画像１４００、１４０６の解像度よりも低く、ＮＮが、照明の不規則性と解像度の減少のどちらかまたは両方に基づいて改変された画像を区別することを学習できることを意味する。
図１５は、小さい領域１５０２で、改変された画像１５００を生成するために実行された敵対的生成ネットワーク（ＧＡＮ）アップサンプリングのために、画像の不規則性またはアーティファクトが存在する、改変された画像１５００を示す。領域１５０２の分解図１５０４に示されるように、ＧＡＮ不規則性は、均一ではない無地の主題（示されている例では、様々な度合いの陰影のある草）が元の画像に現れる、画像の領域の均一に無地の色を含み得る。
図１６は、本物の画像１６００、及び別の人の顔を、本物の画像１６００内の対象の顔に重ね合わせることによって本物の画像１６００から派生した改変された画像１６０２を示す。１６０４に示されるように、この重ね合わせによって、頭部または体の残りの部分に対する顔のずれ、この場合、頭部が示されている角度に対する鼻のずれが生じる。
いくつかの例示的な実施形態を参照して本原理を説明したが、これらは限定することを意図しておらず、各種の代替的な構成が本明細書で特許請求される主題を実施するために使用されてよいことを理解されたい。

Claims (8)

  1. システムであって、
    少なくとも１つのプロセッサであって、前記プロセッサに、
    ビデオ情報を記憶する少なくとも１つのブロックチェーンにアクセスすることと、
    前記ブロックチェーンに追加しようとする第１のビデオが、前記ブロックチェーンで表される元のビデオの改変されたコピーであるかどうかを判断することと、
    前記ブロックチェーンに追加しようとする前記第１のビデオが前記元のビデオの改変されたコピーであると判断したことに応えて、前記第１のビデオに関連する情報を前記ブロックチェーンに追加することを拒否するか、または前記第１のビデオが前記元のビデオから改変されている旨の表示とともに前記第１のビデオを前記ブロックチェーンに追加することと、
    を実行させることが可能な命令を格納した少なくとも１つのコンピュータストレージにアクセスするように構成された前記少なくとも１つのプロセッサ
    を備え、
    前記判断することは、
    前記第１のビデオのフレームのシーケンスに関連する音声を受信するように構成され、スペクトルを出力するように構成された少なくとも１つの周波数変換部と、
    前記スペクトルを受信し、前記音声を表す音声特徴ベクトルを出力するように構成された少なくとも１つのニューラルネットワークと、
    前記音声特徴ベクトルを受信し、それに基づいて、前記音声が元の音声から改変されていることに関する表示を出力するように構成された少なくとも１つの分析モジュールであって、自然な人間の発話特性を学習するようにトレーニングされた少なくとも１つの分析モジュールと
    にアクセスすることを備える、前記システム。
  2. 前記命令が、前記プロセッサに、
    前記ブロックチェーンに追加しようとする前記第１のビデオが前記元のビデオの改変されたコピーであると判断したことに応えて、前記第１のビデオに関連する情報を前記ブロックチェーンに追加することを拒否すること
    を実行させることが可能である、請求項１に記載のシステム。
  3. 前記命令が、前記プロセッサに、
    前記ブロックチェーンに追加しようとする前記第１のビデオが前記元のビデオの改変されたコピーであると判断したことに応えて、前記第１のビデオが前記元のビデオから改変されている旨の表示とともに前記第１のビデオを前記ブロックチェーンに追加すること
    を実行させることが可能である、請求項１に記載のシステム。
  4. 前記命令が、前記プロセッサに、
    前記第１のビデオの顔の、または前記第１のビデオの前記顔と背景との間の、または両方の少なくとも１つのテクスチャの不規則性が前記第１のビデオに存在するかどうかを判断すること、及び
    前記テクスチャの不規則性に基づいて、前記第１のビデオが少なくとも部分的に前記元のビデオから改変されているかどうかを判断すること
    によって、前記第１のビデオが少なくとも部分的に前記元のビデオの改変されたコピーであるかどうかを判断すること
    を実行させることが可能である、請求項１に記載のシステム。
  5. 前記命令が、前記プロセッサに、
    前記第１のビデオの少なくとも一部分を表すスペクトルを出力するための少なくとも１つの離散フーリエ変換（ＤＦＴ）を使用すること、及び
    前記スペクトルを使用して、前記第１のビデオが少なくとも部分的に前記元のビデオから改変されているかどうかを判断すること
    によって、前記第１のビデオが少なくとも部分的に前記元のビデオの改変されたコピーであるかどうかを判断すること
    を実行させることが可能である、請求項１に記載のシステム。
  6. 前記命令が、前記プロセッサに、
    前記スペクトルの少なくとも１つの不規則性を検出することであって、前記スペクトルの前記不規則性が、前記元のビデオの対応する領域よりも明るい明るさの少なくとも１つの領域を含む、前記検出することと、
    前記スペクトルの前記不規則性を検出したことに応えて、前記第１のビデオが改変されていると判断すること
    を実行させることが可能である、請求項５に記載のシステム。
  7. 前記命令が、前記プロセッサに、
    前記第１のビデオのフレームのシーケンスを受信することと、
    前記フレームのシーケンスに示されている人の顔の動きが自然な動きを示すかどうかを表す特徴ベクトルを出力することと、
    前記特徴ベクトルに基づいて、前記フレームのシーケンスが前記元のビデオから改変されていると判断することと
    を実行させることが可能である、請求項１に記載のシステム。
  8. 前記命令が、前記プロセッサに、
    前記第１のビデオに対してビデオハッシュを実行することと、
    前記第１のビデオに対する前記ビデオハッシュを前記ブロックチェーンで表される前記元のビデオのビデオハッシュと比較することと、
    前記第１のビデオに対する前記ビデオハッシュを前記元のビデオの前記ビデオハッシュと比較したことに応えて、前記第１のビデオが前記元のビデオの改変されたコピーであるのかどうかを判断することと、
    を実行させることが可能である、請求項１に記載のシステム。
JP2022521716A 2019-10-09 2020-09-30 ブロックチェーンを使用したフェイクビデオ検出 Active JP7467615B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/597,698 2019-10-09
US16/597,698 US11039205B2 (en) 2019-10-09 2019-10-09 Fake video detection using block chain
PCT/US2020/053523 WO2021071721A1 (en) 2019-10-09 2020-09-30 Fake video detection using block chain

Publications (2)

Publication Number Publication Date
JP2022551661A JP2022551661A (ja) 2022-12-12
JP7467615B2 true JP7467615B2 (ja) 2024-04-15

Family

ID=75382267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022521716A Active JP7467615B2 (ja) 2019-10-09 2020-09-30 ブロックチェーンを使用したフェイクビデオ検出

Country Status (5)

Country Link
US (3) US11039205B2 (ja)
EP (2) EP4340377A3 (ja)
JP (1) JP7467615B2 (ja)
CN (1) CN114731457B (ja)
WO (1) WO2021071721A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11039205B2 (en) * 2019-10-09 2021-06-15 Sony Interactive Entertainment Inc. Fake video detection using block chain
US20210209203A1 (en) * 2020-01-06 2021-07-08 Accenture Global Solutions Limited Methods and systems for protecting digital content against artificial intelligence-based unauthorized manipulation of the digital content
CN113938702A (zh) * 2020-07-13 2022-01-14 富泰华工业（深圳）有限公司 基于区块链系统的多媒体数据流防篡改装置、方法及介质
CN112200198B (zh) * 2020-07-31 2023-11-24 星宸科技股份有限公司 目标数据特征提取方法、装置及存储介质
US11733823B2 (en) * 2021-05-19 2023-08-22 Microsoft Technology Licensing, Llc Synthetic media detection and management of trust notifications thereof
US11989266B2 (en) * 2021-06-15 2024-05-21 Richard Banh Method for authenticating digital content items with blockchain and writing digital content items data to blockchain
KR20240132874A (ko) * 2023-02-27 2024-09-04 삼성전자주식회사 전자 장치 및 전자 장치에서 nft 표절 방지 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193942A (ja) 2002-12-11 2004-07-08 Nippon Hoso Kyokai <Nhk> コンテンツ送信方法、コンテンツ送信装置、コンテンツ送信プログラムおよびコンテンツ受信方法、コンテンツ受信装置、コンテンツ受信プログラム
WO2007046289A1 (ja) 2005-10-18 2007-04-26 Matsushita Electric Industrial Co., Ltd. 情報処理装置及びその方法
JP2008301500A (ja) 2008-06-20 2008-12-11 Kddi Corp コンテンツの電子透かし埋め込み方式および認証方式
JP2015007916A (ja) 2013-06-25 2015-01-15 キヤノン株式会社 画像処理装置およびその方法
CN108806718A (zh) 2018-06-06 2018-11-13 华中师范大学 基于对enf相位谱和瞬时频率谱分析的音频鉴定方法
US10361866B1 (en) 2018-08-13 2019-07-23 Truepic Inc. Proof of image authentication on a blockchain
JP2019164591A (ja) 2018-03-20 2019-09-26 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4456185B2 (ja) * 1997-08-29 2010-04-28 富士通株式会社 コピー防止機能を持つ見える透かし入り動画像記録媒体とその作成・検出および録画・再生装置
US6343204B1 (en) 1999-08-25 2002-01-29 Hewlett-Packard Company Detection and deterrence of counterfeiting of documents with tokens characteristic color and spacing
US7043048B1 (en) * 2000-06-01 2006-05-09 Digimarc Corporation Capturing and encoding unique user attributes in media signals
US10169646B2 (en) * 2007-12-31 2019-01-01 Applied Recognition Inc. Face authentication to mitigate spoofing
US11195057B2 (en) 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9159321B2 (en) 2012-02-27 2015-10-13 Hong Kong Baptist University Lip-password based speaker verification system
US8989376B2 (en) * 2012-03-29 2015-03-24 Alcatel Lucent Method and apparatus for authenticating video content
US9396382B2 (en) 2012-08-17 2016-07-19 Flashscan3D, Llc System and method for a biometric image sensor with spoofing detection
US9754193B2 (en) 2013-06-27 2017-09-05 Hewlett-Packard Development Company, L.P. Authenticating a user by correlating speech and corresponding lip shape
US20160005050A1 (en) 2014-07-03 2016-01-07 Ari Teman Method and system for authenticating user identity and detecting fraudulent content associated with online activities
US10987030B2 (en) 2016-06-30 2021-04-27 Koninklijke Philips N.V. Method and apparatus for face detection/recognition systems
CA3054063A1 (en) 2017-03-03 2018-09-07 Pindrop Security, Inc. Method and apparatus for detecting spoofing conditions
US10515199B2 (en) 2017-04-19 2019-12-24 Qualcomm Incorporated Systems and methods for facial authentication
CN107580196B (zh) * 2017-07-28 2020-01-21 国创科视科技股份有限公司 一种视频数据共享系统及方法
US11036863B2 (en) * 2017-08-01 2021-06-15 Dell Products, L.P. Validating an image using an embedded hash in an information handling system
WO2019089432A1 (en) 2017-10-30 2019-05-09 The Research Foundation For The State University Of New York System and method associated with user authentication based on an acoustic-based echo-signature
CN108471510A (zh) * 2018-01-29 2018-08-31 东莞理工学院 一种基于区块链的视频操作记录保护方法及系统
US10938852B1 (en) 2020-08-14 2021-03-02 Private Identity Llc Systems and methods for private authentication with helper networks
US11265168B2 (en) 2018-03-07 2022-03-01 Private Identity Llc Systems and methods for privacy-enabled biometric processing
US11383676B2 (en) * 2018-05-31 2022-07-12 Shanghai Sensetime Intelligent Technology Co., Ltd Vehicles, vehicle door unlocking control methods and apparatuses, and vehicle door unlocking systems
US10593336B2 (en) 2018-07-26 2020-03-17 Accenture Global Solutions Limited Machine learning for authenticating voice
US11023618B2 (en) * 2018-08-21 2021-06-01 Paypal, Inc. Systems and methods for detecting modifications in a video clip
CN109040781B (zh) * 2018-08-27 2021-04-30 北京京东尚科信息技术有限公司 视频认证方法、装置、系统、电子设备及可读介质
US10846522B2 (en) 2018-10-16 2020-11-24 Google Llc Speaking classification using audio-visual data
US10631036B1 (en) * 2018-10-24 2020-04-21 Gfycat, Inc. Identifying altered digital video content
US10896493B2 (en) 2018-11-13 2021-01-19 Adobe Inc. Intelligent identification of replacement regions for mixing and replacing of persons in group portraits
CN109543065B (zh) 2018-11-14 2023-04-28 成都皓图智能科技有限责任公司 一种结合区块链的视频主动识别方法
US10964006B2 (en) 2018-11-16 2021-03-30 Artifical Intelligence Foundation, Inc Identification of neural-network-generated fake images
CN109600620B (zh) * 2018-12-07 2021-03-16 四川长虹电器股份有限公司 视频文件保护方法
US11114086B2 (en) 2019-01-18 2021-09-07 Snap Inc. Text and audio-based real-time face reenactment
US10880619B2 (en) * 2019-02-21 2020-12-29 Raytheon Bbn Technologies Corp. Verifying provenance of digital content
US20200302952A1 (en) 2019-03-20 2020-09-24 Amazon Technologies, Inc. System for assessing vocal presentation
CN110266711B (zh) * 2019-06-27 2022-02-18 深圳市科迈爱康科技有限公司 区块链节点的数据上链方法、装置、系统及区块链节点
KR20190106852A (ko) 2019-08-27 2019-09-18 엘지전자 주식회사 Xr 컨텐츠 제공 방법 및 xr 컨텐츠 제공 디바이스
US11158329B2 (en) 2019-09-11 2021-10-26 Artificial Intelligence Foundation, Inc. Identification of fake audio content
US11308185B1 (en) 2019-09-23 2022-04-19 T-Mobile Innovations Llc System and method for determining modifications of media files
US12120384B2 (en) 2019-09-27 2024-10-15 Mcafee, Llc Methods and apparatus to improve deepfake detection with explainability
US11039205B2 (en) * 2019-10-09 2021-06-15 Sony Interactive Entertainment Inc. Fake video detection using block chain
US10931976B1 (en) 2019-10-14 2021-02-23 Microsoft Technology Licensing, Llc Face-speech bridging by cycle video/audio reconstruction
US11922532B2 (en) 2020-01-15 2024-03-05 Digimarc Corporation System for mitigating the problem of deepfake media content using watermarking
US11417041B2 (en) 2020-02-12 2022-08-16 Adobe Inc. Style-aware audio-driven talking head animation from a single image

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193942A (ja) 2002-12-11 2004-07-08 Nippon Hoso Kyokai <Nhk> コンテンツ送信方法、コンテンツ送信装置、コンテンツ送信プログラムおよびコンテンツ受信方法、コンテンツ受信装置、コンテンツ受信プログラム
WO2007046289A1 (ja) 2005-10-18 2007-04-26 Matsushita Electric Industrial Co., Ltd. 情報処理装置及びその方法
JP2008301500A (ja) 2008-06-20 2008-12-11 Kddi Corp コンテンツの電子透かし埋め込み方式および認証方式
JP2015007916A (ja) 2013-06-25 2015-01-15 キヤノン株式会社 画像処理装置およびその方法
JP2019164591A (ja) 2018-03-20 2019-09-26 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
CN108806718A (zh) 2018-06-06 2018-11-13 华中师范大学 基于对enf相位谱和瞬时频率谱分析的音频鉴定方法
US10361866B1 (en) 2018-08-13 2019-07-23 Truepic Inc. Proof of image authentication on a blockchain

Also Published As

Publication number Publication date
CN114731457B (zh) 2024-07-09
US11039205B2 (en) 2021-06-15
EP4042706B1 (en) 2024-07-31
WO2021071721A1 (en) 2021-04-15
US11736763B2 (en) 2023-08-22
CN114731457A (zh) 2022-07-08
US20210314658A1 (en) 2021-10-07
US20210112306A1 (en) 2021-04-15
EP4340377A3 (en) 2024-04-03
EP4042706A1 (en) 2022-08-17
US20240048799A1 (en) 2024-02-08
EP4042706A4 (en) 2023-11-01
EP4340377A2 (en) 2024-03-20
JP2022551661A (ja) 2022-12-12

Similar Documents

Publication Publication Date Title
JP7467615B2 (ja) ブロックチェーンを使用したフェイクビデオ検出
US11551474B2 (en) Fake video detection
US11281709B2 (en) System and method for converting image data into a natural language description
US10375354B2 (en) Video communication using subtractive filtering
CA3114105A1 (en) Techniques for generating media content
US20210117690A1 (en) Fake video detection using video sequencing
JP2022552888A (ja) フェイクビデオの検出
US20240037812A1 (en) Modifying stable diffusion to produce images with background eliminated
US10951951B2 (en) Haptics metadata in a spectating stream
US11103794B2 (en) Post-launch crowd-sourced game qa via tool enhanced spectator system
JP7125389B2 (ja) エミュレーションによるリマスタリング
US20240127390A1 (en) Metadata watermarking for &#39;nested spectating&#39;
US20220180854A1 (en) Sound effects based on footfall
US20210129031A1 (en) Adaptive time dilation based on player performance
TWI581626B (zh) 影音自動處理系統及方法
US11032340B2 (en) Using camera on computer simulation controller
US20240335942A1 (en) Reproducing fast eye movement using imaging of robot with limited actuator speed
US20240056761A1 (en) Three-dimensional (3d) sound rendering with multi-channel audio based on mono audio input
Pathak Using Deep Learning for Encrypted Traffic Analysis of Amazon Echo
US20210034146A1 (en) Eye tracking with recorded video confirmation of face image upon accepting terms

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230721

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240122

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240403

R150 Certificate of patent or registration of utility model

Ref document number: 7467615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150