JP6873321B2 - 自動コンテンツ認識のための広告フレームのフラッギング - Google Patents

自動コンテンツ認識のための広告フレームのフラッギング Download PDF

Info

Publication number
JP6873321B2
JP6873321B2 JP2020515215A JP2020515215A JP6873321B2 JP 6873321 B2 JP6873321 B2 JP 6873321B2 JP 2020515215 A JP2020515215 A JP 2020515215A JP 2020515215 A JP2020515215 A JP 2020515215A JP 6873321 B2 JP6873321 B2 JP 6873321B2
Authority
JP
Japan
Prior art keywords
broadcast
scene
fingerprint
frame
advertisement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020515215A
Other languages
English (en)
Other versions
JP2020533920A (ja
Inventor
ジュイクン チェン
ジュイクン チェン
Original Assignee
ザ ニールセン カンパニー ユーエス リミテッド ライアビリティ カンパニー
ザ ニールセン カンパニー ユーエス リミテッド ライアビリティ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ ニールセン カンパニー ユーエス リミテッド ライアビリティ カンパニー, ザ ニールセン カンパニー ユーエス リミテッド ライアビリティ カンパニー filed Critical ザ ニールセン カンパニー ユーエス リミテッド ライアビリティ カンパニー
Publication of JP2020533920A publication Critical patent/JP2020533920A/ja
Priority to JP2021070822A priority Critical patent/JP7240437B2/ja
Application granted granted Critical
Publication of JP6873321B2 publication Critical patent/JP6873321B2/ja
Priority to JP2023032982A priority patent/JP7575508B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Description

本開示は、自動コンテンツ認識中における広告フレームのフラッギング（ｆｌａｇｇｉｎｇ）に関する。
今日ではメディア装置がますます一般的になってきており、テレビなどの家庭内に欠かせないものからメディアの消費者と共に移動するモバイル装置にまで及ぶことができる。テレビ、セットトップボックス、携帯電話機、ラップトップ及びタブレットなどのメディア装置は、様々なソースからのメディアコンテンツにアクセスしてこれらを検索することができる。例えば、メディア装置は、衛星、無線放送、或いは有線又は無線接続からのストリーミングシステムを介してメディアコンテンツを受け取ることができる。メディア装置の使用が増加し続けるにつれ、メディア装置がメディアコンテンツに接続することも増えた。この増加とともに新たなメディアコンテンツ市場が出現し、古いメディアコンテンツ市場は、メディア消費者とコンテキスト的に関連するメディアコンテンツを理解して提供するように適応してきた。
本開示の１つの態様は、自動コンテンツ認識のための広告フレームのフラッギング方法を提供する。この方法は、データ処理ハードウェアにおいて、メディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップを含む。メディアストリームは、一連の放送シーンを含む。方法は、データ処理ハードウェアにおいて、広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップも含む。方法は、データ処理ハードウェアが、第１の放送シーンと第２の放送シーンとの間のシーン変化を判定するステップを含む。シーン変化は、第２の放送シーンの最初の放送フレームの最初の放送フィンガープリントと、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントとの間のシーン変化ピアソン相関係数（ｓｃｅｎｅ−ｃｈａｎｇｅ Ｐｅａｒｓｏｎ ｃｏｒｒｅｌａｔｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔ）に基づく。方法は、データ処理ハードウェアが、第２の放送シーンが広告シーンのうちの１つであるかどうかを判定するステップも含む。第２の放送シーンが広告シーンのうちの１つである場合、この方法では、データ処理ハードウェアが、第２の放送シーンの識別を広告シーンのうちの１つとして関連付ける。
本開示の実装は、以下の任意の特徴うちの１つ又は２つ以上を含むことができる。いくつかの実装では、シーン変化が、第２の放送シーンの最初の放送フレームの最初の放送フィンガープリントと、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めるステップを含む。シーン変化は、データ処理ハードウェアが、シーン変化ピアソン相関係数がシーン変化相関閾値を満たすと判定するステップを含むこともできる。
いくつかの例では、方法が、各シーケンシャルに隣接する放送フレームの対についてシーン変化を判定するステップを含む。この例では、方法が、放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めることができる。方法は、データ処理ハードウェアが、シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップを含むこともできる。シーン変化ピアソン相関係数がシーン変化相関閾値を満たす場合、方法は、放送フレームの対の第１の放送フレームを、対応する放送シーンの最後の放送フレームとして識別することができる。シーン変化ピアソン相関係数がシーン変化相関閾値を満たす場合、方法は、放送フレームの対の第２の放送フレームを、対応するシーケンシャルに隣接する放送シーンの最初の放送フレームとして識別することもできる。
いくつかの構成では、方法が、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントの後に、第２の放送シーンが広告シーンのうちの１つであるかどうかを判定するまで閾値期間待つステップを含む。各広告フィンガープリントについて第２の放送シーンが広告シーンのうちの１つであるかどうかを判定するステップは、データ処理ハードウェアが、それぞれの広告フィンガープリントと第２の放送フィンガープリントとの間の一致ピアソン相関係数（ｍａｔｃｈ Ｐｅａｒｓｏｎ ｃｏｒｒｅｌａｔｉｏｎ ｃｏｅｆｆｉｃｉｅｎｔ）を求めるステップを含むことができる。方法は、データ処理ハードウェアが、一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定するステップを含むこともできる。一致ピアソン相関係数が一致相関閾値を満たす場合、この方法では、データ処理ハードウェアが、第２の放送シーンをそれぞれの広告フィンガープリントの広告シーンに対応するものとして識別することができる。
いくつかの実装では、第２の放送シーンを広告シーンのうちの１つとすることができる。これらの実装における方法では、データ処理ハードウェアが、第２の放送シーンが別の広告シーン内に存在するかどうか、又は別の広告シーンにシーケンシャルに隣接するかどうかを判定することができる。この方法では、データ処理ハードウェアが、第２の放送シーンに広告識別器を関連付けることもできる。
いくつかの例では、各フィンガープリントが、対応するフレームの少なくとも１つのピクセルを表す。各フィンガープリントは、対応するフレームのグレースケール値の合計を表す平均ピクセル値を含むこともできる。これに加えて、又はこれとは別に、各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルを表すことができ、１６個のサブフレームは、対応するフレームの４×４配列を定める。
本開示の別の態様は、自動コンテンツ認識のための広告フレームのフラッギング方法を提供する。方法は、データ処理ハードウェアにおいて、メディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップを含む。方法は、データ処理ハードウェアにおいて、広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップも含む。方法は、各シーケンシャルに隣接する放送フレームの対について、データ処理ハードウェアが、放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めるステップを含む。方法は、各シーケンシャルに隣接する放送フレームの対について、データ処理ハードウェアが、シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップをさらに含む。シーン変化ピアソン相関係数がシーン変化相関閾値を満たす場合、この方法では、データ処理ハードウェアが、第１の放送シーンを第１の放送フレームの終了部分として識別し、第２の放送シーンを第２の放送フレームの開始部分として識別する。各広告フィンガープリントについて、シーン変化ピアソン相関係数がシーン変化相関閾値を満たす場合、この方法では、データ処理ハードウェアが、それぞれの広告フィンガープリントと第２の放送フィンガープリントとの間の一致ピアソン相関係数を求め、一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定する。一致ピアソン相関係数が一致相関閾値を満たす場合、方法は、データ処理ハードウェアが、第２の放送シーンをそれぞれの広告フィンガープリントの広告シーンとして識別するステップを含む。
本開示の実装は、以下の任意の特徴うちの１つ又は２つ以上を含むことができる。いくつかの例では、第２の放送シーンが広告シーンのうちの１つである場合、方法は、データ処理ハードウェアが、第２の放送シーンが別の広告シーン内に存在するかどうか又は別の広告シーンにシーケンシャルに隣接するかどうかを判定するステップを含む。第２の放送シーンが広告シーンのうちの１つである場合、方法は、データ処理ハードウェアが、第２の放送シーンに広告識別器を関連付けるステップをさらに含むことができる。
いくつかの実装では、各フィンガープリントが、対応するフレームの少なくとも１つのピクセルを表す。これに加えて、又はこれとは別に、各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルを表すこともでき、１６個のサブフレームは、対応するフレームの４×４配列を定める。
本開示の別の態様は、自動コンテンツ認識のための広告フレームのフラッギングシステムを提供する。このシステムは、データ処理ハードウェアと、データ処理ハードウェアと通信するメモリハードウェアとを含む。メモリハードウェアは、データ処理ハードウェア上で実行された時に、データ処理ハードウェアに動作を実行させる命令を記憶する。この動作は、メディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップを含む。メディアストリームは、一連の放送シーンを含む。動作は、広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップも含む。動作は、シーン変化ピアソン相関係数に基づいて、第１の放送シーンと第２の放送シーンとの間のシーン変化を判定するステップをさらに含む。シーン変化ピアソン相関係数は、第２の放送シーンの最初の放送フレームの最初の放送フィンガープリントと、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントとの間のものである。動作は、第２の放送シーンが広告シーンのうちの１つであるかどうかを判定するステップも含む。第２の放送シーンが広告シーンのうちの１つである場合、動作は、第２の放送シーンの識別を広告シーンのうちの１つとして関連付けるステップを含む。
本開示の実装は、以下の任意の特徴うちの１つ又は２つ以上を含むことができる。いくつかの例では、システムが、シーン変化を判定するステップを含む。これらの例では、シーン変化が、第２の放送シーンの最初の放送フレームの最初の放送フィンガープリントと、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めるステップを含むことができる。システムは、シーン変化ピアソン相関係数がシーン変化相関閾値を満たすと判定するステップを含むこともできる。
いくつかの構成では、各シーケンシャルに隣接する放送フレームの対について、シーン変化を判定するステップが、放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めるステップを含む。シーン変化を判定するステップは、各シーケンシャルに隣接する放送フレームの対について、シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップを含むこともできる。シーン変化ピアソン相関係数がシーン変化相関閾値を満たす場合、システムは、放送フレームの対の第１の放送フレームを、対応する放送シーンの最後の放送フレームとして識別するステップを含むことができる。システムは、放送フレームの対の第２の放送フレームを、対応するシーケンシャルに隣接する放送シーンの最初の放送フレームとして識別するステップを含むこともできる。動作は、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントの後に、第２の放送シーンが広告シーンのうちの１つであるかどうかを判定するまで閾値期間待つステップをさらに含むことができる。
いくつかの実装では、各広告フィンガープリントについて第２の放送シーンが広告シーンのうちの１つであるかどうかを判定するステップが、それぞれの広告フィンガープリントと第２の放送フィンガープリントとの間の一致ピアソン相関係数を求めるステップと、一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定するステップとを含む。一致ピアソン相関係数が一致相関閾値を満たす場合、システムは、第２の放送シーンをそれぞれの広告フィンガープリントの広告シーンに対応するものとして識別することができる。
いくつかの例では、第２の放送シーンが広告シーンのうちの１つである場合、動作が、第２の放送シーンが別の広告シーン内に存在するかどうか、又は別の広告シーンにシーケンシャルに隣接するかどうかを判定するステップをさらに含む。これに加えて、又はこれとは別に、第２の放送シーンが広告シーンのうちの１つである場合、動作は、第２の放送シーンに広告識別器を関連付けるステップを含むことができる。このシステムでは、各フィンガープリントが、対応するフレームの少なくとも１つのピクセルを表すことができる。各フィンガープリントは、対応するフレームのグレースケール値の合計を表す平均ピクセル値を含むこともできる。各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルをさらに表すことができ、１６個のサブフレームは、対応するフレームの４×４配列を定める。
本開示のさらに別の態様は、自動コンテンツ認識のための広告フレームのフラッギングシステムを提供する。このシステムは、データ処理ハードウェアと、データ処理ハードウェアと通信するメモリハードウェアとを含む。メモリハードウェアは、データ処理ハードウェア上で実行された時に、データ処理ハードウェアに動作を実行させる命令を記憶する。この動作は、メディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップを含む。動作は、広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップをさらに含む。動作は、各シーケンシャルに隣接する放送フレームの対について、放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めるステップも含む。動作は、各シーケンシャルに隣接する放送フレームの対について、シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップをさらに含む。シーン変化ピアソン相関係数がシーン変化相関閾値を満たす場合、動作は、第１の放送シーンを第１の放送フレームの終了部分として識別し、第２の放送シーンを第２の放送フレームの開始部分として識別するステップを含む。動作は、各広告フィンガープリントについて、それぞれの広告フィンガープリントと第２の放送フィンガープリントとの間の一致ピアソン相関係数を求めるステップと、一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定するステップとをさらに含む。一致ピアソン相関係数が一致相関閾値を満たす場合、動作は、第２の放送シーンをそれぞれの広告フィンガープリントの広告シーンとして識別するステップを含む。
本開示の実装は、以下の任意の特徴うちの１つ又は２つ以上を含むことができる。いくつかの実装では、第２の放送シーンが広告シーンのうちの１つである場合、動作が、第２の放送シーンが別の広告シーン内に存在するかどうか、又は別の広告シーンにシーケンシャルに隣接するかどうかを判定するステップをさらに含む。第２の放送シーンが広告シーンのうちの１つである場合、動作は、第２の放送シーンに広告識別器を関連付けるステップを含むことができる。各フィンガープリントは、対応するフレームの少なくとも１つのピクセルを表すことができる。各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルを表すこともでき、１６個のサブフレームは、対応するフレームの４×４配列を定める。
添付図面及び以下の説明に、本開示の１又は２以上の実装の詳細を示す。これらの説明及び図面、並びに特許請求の範囲からは、他の態様、特徴及び利点も明らかになるであろう。
自動コンテンツ認識環境例の概略図である。 自動コンテンツ認識環境例の概略図である。 自動コンテンツ認識環境のサーバ例の概略図である。 広告識別器例の概略図である。 広告識別器例の概略図である。 広告識別器例の概略図である。 広告識別器例の概略図である。 広告識別器例の概略図である。 広告識別器例の概略図である。 本明細書で説明するシステム及び方法を実装するために使用できるコンピュータ装置例の概略図である。
様々な図面における同じ参照記号は同じ要素を表す。
一般に、自動コンテンツ認識（ＡＣＲ）は、メディア装置上又はメディアファイル内のメディアコンテンツを自動的に識別するプロセスである。ＡＣＲは、日々社会によって消費される大量のメディアコンテンツを識別するためにますます有用になってきている。商業的視点から見れば、企業及びその他のエンティティは、ＡＣＲによってメディアコンテンツの消費を理解し、場合によってはメディアコンテンツの消費者（すなわち、メディア装置ユーザ）のマーケティング又はターゲッティングをさらに効率的に行うことができる。例えば、メディア装置のユーザに対して広告が個別化されれば、広告又は提案がさらに効果的になる可能性がある。従って、放送局、商用プロバイダ、広告主及びその他のエンティティは、どの番組が視聴されているか、或いはさらに具体的には視聴中に番組内のどこにユーザが存在するかを知りたいと望んでいる。メディア装置ユーザは、この種の情報によってさらに正確に対象化されたメディアコンテンツを受け取ることができる。
メディアコンテンツを理解して識別する方法では、システムが、放送局又はその他のコンテンツプロバイダがメディアコンテンツ消費者に配信する広告（ａｄ）を、先駆として識別することができる。放送局又はその他のコンテンツプロバイダは、予め広告を識別することによって、メディア装置においてＡＣＲをさらに効率的かつ効果的に実行することができる。その後、ＡＣＲ機能の一部又は結果として、識別された広告は、メディアコンテンツのターゲット消費者に対して、置き換えられ、重ね合わせられ、又は修正されることができる。
図１Ａは、ＡＣＲ環境１０の例である。ＡＣＲ環境１０は、メディア装置３０のユーザ２０（すなわち、視聴者）にメディアコンテンツを配信するための複数の層を含むことができる。図１Ａでは、メディアコンテンツ配信プロセスを放送層１００、追加コンテンツ層１１０、ネットワーク層１２０及び装置層１３０という４つの層に単純化するように試みている。各層１００、１１０、１２０、１３０は、メディアストリームＳに影響を与えるエンティティを有することができる。放送層１００は、放送メディアストリームＳBの生成に関与し得る放送エンティティを表す。これらの放送エンティティは、放送局１０２及び放送配信業者１０４を含むことができる。放送局１０２は、地方放送局、多チャンネルネットワーク又はその他のメディアコンテンツ所有者などの、１又は２以上のメディアコンテンツプロバイダとすることができる。放送配信業者１０４は、メディアコンテンツを配信するためのインフラ又はリソース（例えば、信号線、通信タワー、通信アンテナ、サーバなど）を提供する放送エンティティである。放送局１０２及び放送配信業者１０４は、提供されるメディアコンテンツのタイプ又はメディアコンテンツを受け取るメディア装置のタイプなどの放送変数（ｂｒｏａｄｃａｓｔｉｎｇ ｖａｒｉａｂｌｅｓ）に応じて、同じ放送エンティティ又は異なる放送エンティティとすることができる。
いくつかの実装では、メディアストリームＳが、追加コンテンツ層１１０として表すコンテンツエンティティからの追加メディアコンテンツストリームＳCを含む。これらのコンテンツエンティティは、商用プロバイダ１１２、広告主１１４、又はメディアストリームＳに追加メディアコンテンツを提供するその他のエンティティを含む。一般に、商用プロバイダ１１２は、追加メディアコンテンツストリームＳCを作成及び／又はホストするコンテンツエンティティであるのに対し、広告主１１４は、広告、提案、取引、割引、利益又はその他の商品及び／又はサービスプロモーションなどの、追加メディアコンテンツストリームＳCを生成するコンテンツエンティティである。これに加えて、又はこれとは別に、商用プロバイダ１１２及び広告主１１４は、同じコンテンツエンティティとすることもできる。追加コンテンツ層１１０は、放送層１００、ネットワーク層１２０、装置層１３０、又はこれらの任意の組み合わせに追加メディアコンテンツストリームＳCを伝えることができる。任意に、追加コンテンツ層１１０は、追加メディアコンテンツストリームＳCと放送メディアストリームＳBとを一組にして、放送メディアストリームＳB及び追加メディアコンテンツストリームＳCを含むメディアストリームＳを形成することができる。
さらに図１Ａを参照すると、ネットワーク層１２０は、放送層１１０及び／又は追加コンテンツ層１１０から放送メディアストリームＳB及び追加メディアコンテンツストリームＳCを受け取るように構成される。例えば、ネットワーク層１２０は、放送層１００からメディアストリームＳを受け取る場合、追加メディアコンテンツストリームＳCを含む放送メディアストリームＳB、又は追加メディアコンテンツストリームＳCから独立した放送メディアストリームＳBを受け取ることができる。同様に、ネットワーク層１２０は、追加コンテンツ層１１０からメディアストリームＳを受け取る場合、追加メディアコンテンツストリームＳCを含む放送メディアストリームＳB、又は追加メディアコンテンツストリームＳCから独立した放送メディアストリームＳBを受け取ることができる。いくつかの実装では、ネットワーク層１２０が、放送層１００からの放送メディアストリームＳBと追加コンテンツ層１１０からの追加メディアコンテンツストリームＳCとを一組にして、追加メディアコンテンツストリームＳCで満たされた放送メディアストリームＳBを表すネットワークメディアストリームＳNを生成することができる。
ネットワーク層１２０は、フィンガープリンタ２００を含む。フィンガープリンタ２００は、データ処理ハードウェア２１２とメモリハードウェア２１４とを有するサーバ２１０上で動作するように構成される。フィンガープリンタ２００は、フィンガープリント生成器２２０を含む。ネットワーク層１２０は、フィンガープリント２２２とフィンガープリント２２２に関連するメタデータ２２４とを放送フィンガープリントデータベース又は広告フィンガープリントデータデータベースなどのフィンガープリントデータベース２３０及び／又はメタデータデータベース２４０に記憶するように構成することができる。ネットワーク層１２０は、フィンガープリント生成器２２０によってフィンガープリント２２２を生成し、又はＡＣＲ環境１０内の別のコンテンツエンティティからフィンガープリント２２２を受け取るように構成することができる。例えば、ネットワーク層１２０は、放送層１００及び／又は追加コンテンツ層１１０から、広告フレームＦadを示す広告フィンガープリント２２２、２２２ａを受け取る。一般に、フィンガープリント２２２は、メディアストリームＳの少なくとも１つのフレームＦｎに対応する少なくとも１つの一意的な識別子である。例えば、この少なくとも１つの一意的な識別子は、値（例えば、ピクセル値）、英数字表現、又はオーディオビジュアル画像の圧縮版とすることができる。これに加えて、又はこれとは別に、ネットワーク層１２０は、放送メディアストリームＳB、追加メディアコンテンツストリームＳC、又はこれらの両方を記憶するようにも構成される。
ネットワーク層１２０は、広告識別器３００をさらに含む。図１Ａには、実際には広告識別器３００がネットワーク層１２０を除く他の層（すなわち、放送層１００、追加コンテンツ層１１０又は装置層１３０）にも存在できることを表すように、広告識別器３００を点線ボックスで示す。広告識別器３００は、フィンガープリント２２２を受け取って、フィンガープリント２２２が広告に対応するかどうかを判定するように構成される。いくつかの例では、広告識別器３００が、広告フィンガープリント２２２、２２２ａを受け取って、放送フィンガープリント２２２、２２２ｂが広告フィンガープリント２２２、２２２ａに対応した場合を示す。広告識別器３００には、放送局１０２、放送配信業者１０４、商用プロバイダ１１２、又は広告主１１４などの他の層からのコンテンツエンティティが広告フレームＦad及び／又は広告フィンガープリント２２２、２２２ａを提供することができる。広告識別器３００は、放送フィンガープリント２２２、２２２ｂが広告フィンガープリント２２２、２２２ａに対応すると判定した場合、ＡＣＲ環境１０内の１又は２以上のコンテンツエンティティ、ＡＣＲモジュール１３２及び／又はメディア装置３０に識別３３２を伝えることができる。
図１Ａには、あらゆる層（すなわち、放送層１００、追加コンテンツ層１１０、又はネットワーク層１２０）が装置層１３０と通信できることも示す。装置層１３０では、テレビ、セットトップボックス、ＰＣ、ラップトップ、タブレット又は携帯電話機などのメディア装置１３０がメディア装置ストリームＳD（例えば、放送メディアストリームＳB、追加コンテンツストリームＳC又はネットワークメディアストリームＳNの任意の組み合わせ）を受け取り、対応するメディア装置ストリームＳD（例えば、放送メディアストリームＳB、追加コンテンツストリームＳC又はネットワークメディアストリームＳNの任意の組み合わせ）の全部又は一部をユーザ２０に伝えることができる。装置は、何らかの形のメディアコンテンツを受信又は通信するように構成された、メディア装置３０に関連するあらゆるハードウェア又はあらゆるソフトウェアを意味することができる。さらに、装置は、データ処理ハードウェア及び／又はメモリハードウェアを含むことができる。いくつかの実装では、メディア装置３０を、対応するメディアストリーム（例えば、放送メディアストリームＳB、追加コンテンツストリームＳC又はネットワークメディアストリームＳNの任意の組み合わせ）を解釈し、又はこのようなメディアストリームと相互作用するように構成することができる。例えば、メディア装置３０は、放送メディアストリームＳBからの追加メディアコンテンツストリームＳCを識別する。メディア装置３０は、放送メディアストリームＳBの追加メディアコンテンツストリームＳCを代替メディアコンテンツに置き換え、又は放送メディアストリームＳBの追加メディアコンテンツストリームＳCに代替メディアコンテンツを重ね合わせることができる。メディア装置３０は、所定のコンテンツのメディアストリームＳをフィルタ処理することができる。これに加えて、又はこれとは別に、メディア装置３０は、メディアストリーム（例えば、放送メディアストリームＳB、追加コンテンツストリームＳC又はネットワークメディアストリームＳNの任意の組み合わせ）に関連する情報又はデータを、放送層１００、追加コンテンツ層１１０、ネットワーク層１２０、又は装置層１３０の他のメディア装置３０に伝えるように構成することもできる。メディア装置３０は、ＡＣＲモジュール１３２を実行し、又はＡＣＲモジュール１３２を実行する他のデータ処理ハードウェアと通信することができる。ＡＣＲモジュール１３２は、メディアストリームの一部をサンプリングし、サンプルを処理し、このサンプルを、オーディオ又はビデオフィンガープリント又はウォーターマークなどの一意的な特徴によってコンテンツを識別したソースサービスと比較することに基づいて、メディアストリーム内のコンテンツ要素（例えば、オーディオ、ビデオ又はデジタル画像）を識別するように構成することができる。
図１Ｂに、ＡＣＲ環境例１０を示す。ＡＣＲ環境１０は、放送局１０２と、広告フィンガープリンタ２００、２００ａと、放送フィンガープリンタ２００、２００ｂと、広告識別器３００とを含む。いくつかの例では、広告フィンガープリンタ２００、２００ａ及び放送フィンガープリンタ２００、２００ｂが同じフィンガープリンタ２００であるが、簡単にするために、図１ＢのＡＣＲ環境１０は、広告フレームＦad（広告フィンガープリンタ２００、２００ａ）及び放送フレームＦB(1〜n)（放送フィンガープリンタ２００、２００ｂ）のそれぞれのフィンガープリント２２２を生成するフィンガープリンタ２００を有する。ここでは、放送局１０２が、広告フィンガープリンタ２００、２００ａに広告フレームＦad(1〜n)を伝える。広告フレームＦad(1〜n)は、広告シーン３０２、３０２ａに分割できる広告に対応する。各広告シーン３０２、３０２ａは、広告全体の一部に関連することができる。一例として、広告の長さは様々（例えば、１分広告、３０秒広告、１５秒広告、１０秒広告など）であり、従ってフレーム分析を標準化するために、各広告を広告シーン３０２、３０２ａに対応する離散数の広告フレームＦad(1〜n)に変える。広告フィンガープリンタ２００、２００ａは、広告フィンガープリント生成器２２０、２２０ａにおいて各広告フレームＦad(1〜n)の広告フィンガープリント２２２、２２２ａを生成し、シーン３０２、３０２ａに従って広告フィンガープリント２２２、２２２ａを広告シーンデータベース２５０に記憶することができる。一般に、広告フィンガープリント２２２、２２２ａは、少なくとも広告フレームＦad(1〜n)に対応する少なくとも１つの一意的な識別子である。これに加えて、又はこれとは別に、放送局１０２以外のコンテンツエンティティが広告フィンガープリンタ２００、２００ａに広告フレームＦad(1〜n)を伝えることもできる。広告フィンガープリンタ２００、２００ａは、広告フィンガープリント２２２、２２２ａを取得すると、これらのフィンガープリント２２２、２２２ａを広告識別器３００に送信することができる。広告フィンガープリント２２２、２２２ａは、自動的に広告識別器３００に送信され、又は広告識別器３００が広告識別のために少なくとも１つのフィンガープリント２２２、２２２ａを問い合わせ、若しくは検索することもできる。
さらに図１Ｂを参照すると、放送局１０２は、放送メディアストリームＳBをチャンネルＣｈ1〜nによって放送フレームレートＲBで放送フィンガープリンタ２００、２００ｂに送信する。放送フレームレートＲBは、各放送フレームＦB(1〜n)が放送メディアストリームＳB内のピクセルによって表されるオーディオビジュアル画像に対応するように、放送メディアストリームＳBを放送フレームＦB(1〜n)に分割する。フィンガープリンタ２００、２００ｂは、放送フィンガープリント生成器２２０、２２０ｂにおいて各放送フレームＦB(1〜n)を受け取るように構成される。放送フィンガープリント生成器２２０、２２０ｂは、各放送フレームＦB(1〜n)を受け取って、各放送フレームＦB(1〜n)を示す放送フィンガープリント２２２、２２２ｂを生成するように構成される。一般に、放送フィンガープリント２２２、２２２ｂは、少なくとも１つの放送フレームＦB(1〜n)に対応する少なくとも１つの一意的な識別子である。フィンガープリンタ２００、２００ｂは、各放送フィンガープリント２２２、２２２ｂをフィンガープリントデータベース２３０などのデータベースに記憶することができる。いくつかの例では、フィンガープリンタ２００が、フレーム位置（例えば、フレーム時間コード）、フレームタイプ（例えば、生番組又は広告）又はフィンガープリント識別子タグなどの、フレームＦに対応するメタデータ２２４に従って又はメタデータ２２４と共に各フィンガープリント２２２を記憶する。他の例では、フィンガープリンタ２００が、各放送フィンガープリント２２２のメタデータ２２４に対応する１又は複数の個別のデータベースを有する。フィンガープリンタ２００は、メタデータ２２４のための個別のデータベースによってより多くの放送フィンガープリント２２２を記憶することができる。その後、放送フィンガープリンタ２００、２００ｂは、放送フィンガープリント２２２、２２２ｂを広告識別器３００に伝えることができる。
いくつかの例では、広告識別器３００が、広告フィンガープリンタ２００、２００ａから広告フィンガープリント２２２、２２２ａを受け取り、放送フィンガープリンタ２００、２００ｂから放送フィンガープリント２２２、２２２ｂを受け取る。広告識別器３００は、放送フィンガープリント２２２、２２２ｂを広告フィンガープリント２２２、２２２ａと比較して、放送フィンガープリント２２２、２２２ｂが広告フィンガープリント２２２、２２２ａでもある場合を識別することができる。換言すれば、広告識別器３００は、放送フレームＦB(1〜n)が広告フレームＦadに一致することを識別する。
図２は、フィンガープリンタ２００のフィンガープリント生成器２２０の例である。フィンガープリント生成器２２０は、放送メディアストリームＳBのチャンネルＣｈ1〜n又は広告Ａｄ(1〜n)に対応するフレームＦ1〜n（放送フレームＦB(1〜n)又は広告フレームＦad(1〜n)）を受け取る。フィンガープリント生成器２２０は、受け取った各フレームＦ1〜nのフィンガープリント２２２を生成し、これらをフィンガープリントデータベース２３０又は広告シーンデータベース２５０などのデータベースに記憶することができる。いくつかの例では、各フィンガープリント２２２が、対応するチャンネルＣｈ又は広告ＡｄのフレームＦ1〜nの少なくとも１つのピクセル値ＶPを表す。少なくとも１つのピクセル値ＶPは、フレームＦ1〜nの平均ピクセル値又は色空間値の合計とすることができる。例えば、フィンガープリント生成器２２０がグレーＵＶ（ＹＵＶ）色空間に従ってフィンガープリント２２２を生成する場合、少なくとも１つのピクセル値ＶPは、対応するフレームＦ1〜nのグレースケール値の合計及び／又は平均を表すことができる。換言すれば、対応するフレームＦ1〜nの各ピクセルは、フィンガープリント２２２がピクセル領域のグレースケール値の合計及び／又は平均を表すようにグレースケール値によって表される。いくつかの実装では、フィンガープリント２２２（例えば、広告フィンガープリント２２２、２２２ａ又は放送フィンガープリント２２２、２２２ｂ）が、対応するフレームＦ1〜nのサブフレームＦsubに基づく一意的な識別子である。各サブフレームＦsubは、サブフレームＦsub当たりのピクセルに応じて、対応するピクセル値ＶP又は対応する平均ピクセル値を有することができる。
図２には、サブフレームＦsubに分割されたフレームＦ（例えば、放送フレームＦB(1〜n)又は広告フレームＦad）に対応するフィンガープリント２２２、Ｆ1〜nの例も示す。いくつかの例では、フィンガープリント生成器２２０が、各フレームＦをサブフレームＦsubに分割して、フレームＦ1〜n同士をより正確に比較又は区別することができる。サブフレームＦsubでは、各フィンガープリント２２２（例えば、広告フィンガープリント２２２、２２２ａ又は放送フィンガープリント２２２、２２２ｂ）が、対応するフレームＦ1〜nの複数の平均ピクセル値ＶPを表すことができる。各フレームＦ1〜nをサブフレームＦsubに分割することにより、フィンガープリント生成中に、フレームＦ1〜n全体のピクセル値ＶP（又は平均ピクセル値）に基づいてフィンガープリント２２２よりも多くの詳細（例えば、各サブフレームＦsubのピクセル）が考慮される。従って、フィンガープリント生成器２２０が各フレームＦ1〜nを分割するサブフレームＦsubの数は、望ましい精度レベルに依存する。例えば、図２に示すように、フィンガープリント生成器２２０は、各フレームＦ1〜nを、４×４配列を定める１６個のサブフレームＦsubに分割する。１６個のサブフレームＦsubの各サブフレームＦsubは、平均ピクセル値ＶP11〜44を有し、従って各フィンガープリント２２２は、各サブフレームＦsubに関連する整数値を有する１６個の値の整数ベクトルによって各対応するフレームＦ1〜nを表すようになる。図には、各フレームＦ1〜n又は各メディア装置フレームＦD1〜nを４×４配列として示しているが、あらゆるサブフレーム分割が可能である。
従来、フィンガープリント２２２間（例えば、広告フィンガープリント２２２、２２２ａと放送フィンガープリント２２２、２２２ｂとの間）の比較では解像度の問題が生じやすい。例えば、通常、いくつかのシステムは、各フレームＦに対応する平均ピクセル値ＶPのランクに従ってフレームＦ(1〜n)にインデックスを付ける。ランクに従ってインデックス付けすることにより、ピクセル値のアウトライアーによってランクの偏りが大きくなることがある。また、単一のピクセル値ＶPとしてのランクでは、システムがピクセルの変化を検知しにくくなることもある。例示的な例えとして、科学的測定は、精度を示す数字の桁である有効数字を含む。例えば、１つの有効数字の測定値である０．１は小数点第１位までしか正確でなく、０．１０〜０．１９間で変動し得るのに対し、２つの有効数字の測定値である０．１２は小数点第２位まで正確であり、変動範囲が０．１２０〜０．１２９となり得る。換言すれば、単一のピクセル値ＶPのランクに従うフィンガープリント２２２は１つの有効数字と同様のものであるのに対し、複数のピクセル値ＶPのベクトルに従うフィンガープリント２２２は１つよりも多くの有効数字と同様のものである。ランクに従うフィンガープリント２２２では、ピクセル変動が考慮されることなくこの変動が大きくなってしまう恐れがあり、従ってフレームＦの複数のベクトル値ＶPのベクトル表現であるフィンガープリント２２２と比べると、このランクが実際にフレームＦのピクセルを表す可能性が低い。広告識別器３００では、このことが、広告のいくつかのピクセル値ＶPがライブ番組と同様のものである時に、ランクのフィンガープリント２２２を使用するシーン識別器３１０が広告の識別に苦労することを意味する。
図３Ａ〜図３Ｆに、広告識別器３００の例を示す。広告識別器３００は、シーン識別器３１０と、照合器３２０と、広告インジケータ３３０とを含む。シーン識別器３１０は、シーン３０２が別のシーン３０２に変化した時点（すなわち、シーン変化３１２）をメディアストリームＳから判定するように構成される。一般に、シーン３０２は、同様のピクセル値ＶPを有する一連の連続フレームＦ1〜nである。シーン３０２が同様のピクセル値ＶPを有する理由は、通常、各フレームＦが、フレームレートＲに基づくほんの一瞬に相当するからである。各フレームＦによって表されるオーディオビジュアル画像としてほんの一瞬として取り込まれる対象は、シーン３０２が変化しない限り瞬時に変化することはできない。従って、フィンガープリント２２２によって表される少なくとも１つのピクセル値ＶPは、２つのシーケンシャルに隣接するフレームＦadj、Ｆ1〜nに対応するフィンガープリント２２２間のピクセル値ＶPの相違によってシーン変化３１２を判定することができる。シーン識別器３１０がシーン変化３１２を判定すると、照合器３２０は、シーン変化３１２の次のシーン３０４が広告（例えば、広告シーンデータベース２５０内の広告）に対応するかどうかを判定するように構成される。次のシーン３０４が広告に対応する場合、広告インジケータ３３０は、次のシーン３０４に対応するメディアストリームＳの少なくとも１つの放送フレームＦBの識別３３２を提供するように構成される。
図３Ａ〜図３Ｆ全体を通じ、一般に点線ボックスは、広告識別器３００の機能を例示するための１又は複数の要素の選択を示す。例えば、図によっては、点線ボックスが（単複の）要素の選択を広告識別器３００の入力又は出力として示すものもある。また、図によっては、点線ボックスが広告識別器３００に関連するハードウェア及び／又はソフトウェアの論理的決定を示すものもある。
図３Ａ及び図３Ｂには、広告識別器３００のシーン識別器３１０部分の例を示す。シーン識別器３１０は、メディアストリームＳの放送フレームＦB(1〜n)を示す放送フィンガープリント２２２、２２２ｂを受け取る。同様のピクセル値ＶPを有する放送フレームＦB(1〜n)のシーケンスは、メディアストリームＳが一連の放送シーン３０２、３０２ｂ(1〜n)を含むように放送シーン３０２、３０２ｂを定める。シーン識別器３１０は、シーン変化相関に基づいて第１の放送シーン３０２、３０２ｂ(1)と第２の放送シーン３０２、３０２ｂ(2)との間のシーン変化３１２を判定する。シーン変化相関とは、フレームＦ間及び／又はフレームＦに対応するフィンガープリント２２２間の類似性を示す類似性測定のことである。類似性測定は、２つの変数間の関連性を測定する統計的相関（例えば、ピアソンの相関、ケンドールの相関、又はスピアマンの相関）などの定量的相関とすることができる。いくつかの実装では、シーン変化相関が異なる類似性レベルを有し、各類似性レベルが、フレームＦ間及び／又はフレームＦに対応するフィンガープリント２２２間の異なる類似度を示す。図３Ａには、シーン変化相関がシーン変化ピアソン相関係数ＰSΔである基本例を示す。この例では、シーン変化ピアソン相関係数ＰSΔが、高類似性及び低類似性という２つの類似性レベルを有する。一例として、高類似性及び低類似性は、離散定量測定範囲（ｄｉｓｃｒｅｔｅ ｑｕａｎｔｉｔａｔｉｖｅ ｍｅａｓｕｒｅｍｅｎｔ ｒａｎｇｅｓ）に対応する（例えば、低＝０〜０．５０、高＝０．０５１〜１．０）。これらの離散定量測定範囲は、シーン識別器３１０のために予めプログラムすることも、或いはシーン識別器３１０において測定されたシーン変化相関に基づいて調整することもできる。
いくつかの例では、シーン識別器３１０が、メディアストリームＳ内の各シーケンシャルに隣接する（すなわち、近接する）放送フレームの対ＦB(1〜n)、ＦBadj間のシーン変化ピアソン相関係数ＰSΔを求めることによってシーン変化３１２を識別する。これらの例では、シーン識別器３１０が、放送フレームの対ＦB(1〜n)、ＦBadjの第１の放送フレームＦB(1)の第１の放送フィンガープリント２２２、２２２ｂ(1)と、放送フレームの対ＦB(1〜n)、ＦBadjの第２の放送フレームＦB(2)の第２の放送フィンガープリント２２２、２２２ｂ(2)との間のシーン変化ピアソン相関係数ＰSΔを求める。図３Ｃ及び図３Ｄなどのいくつかの実装では、シーン識別器３１０が、シーケンシャルに隣接する放送フレームの対ＦB(1〜n)、ＦBadj間のシーン変化ピアソン相関係数ＰSΔがシーン変化３１２に対応すると判定した時に、第１の放送シーン３０２、３０２ｂ(1)及び第２の放送シーン３０２、３０２ｂ(2)を識別する。換言すれば、シーン識別器３１０は、第２の放送シーン３０２、３０２ｂ(2)を第１の放送シーン３０２、３０２ｂ(1)の次のシーン３０４として識別する。例えば、シーン識別器３１０は、放送フレームの対ＦB(1〜n)、ＦBadjの第１の放送フィンガープリント２２２、２２２ｂ(1)を第１の放送シーン３０２、３０２ｂ(1)の最後の放送フレームＦB(L)の最後の放送フィンガープリント２２２、２２２ｂ(L)として識別し、放送フレームの対ＦB(1〜n)、ＦBadjの第２の放送フィンガープリント２２２、２２２ｂ(2)を第２の放送シーン３０２、３０２ｂ(2)の最初の放送フレームＦB(i)の最初の放送フィンガープリント２２２、２２２ｂ(i)として識別する。
さらに図３Ａを参照すると、放送フレームの対ＦB(1〜n)、ＦBadjに対応する放送フィンガープリント２２２、２２２ｂ間のシーン変化ピアソン相関係数ＰSΔは、（例えば、１．０に向かう）高測定値又は（例えば、０に向かう）低測定値とすることができる。例えば、シーン変化ピアソン相関係数ＰSΔが高い場合、放送フレームの対ＦB(1〜n)、ＦBadjの第１の放送フィンガープリント２２２、２２２ｂ(1)及び第２の放送フィンガープリント２２２、２２２ｂ(2)は、シーン変化３１２が発生しなかったことを示す類似性を有する。これとは逆に、シーン変化ピアソン相関係数ＰSΔが低い場合、放送フレームの対ＦB(1〜n)、ＦBadjの第１の放送フィンガープリント２２２、２２２ｂ(1)及び第２の放送フィンガープリント２２２、２２２ｂ(2)は、シーン変化３１２が発生したことを示す非類似性を有する。いくつかの例では、シーン識別器３１０が、シーン変化ピアソン相関係数ＰSΔがシーン変化相関閾値ＴSΔを満たすかどうかを判定する。シーン変化ピアソン相関係数ＰSΔがシーン変化相関閾値ＴSΔを満たす場合、シーン識別器３１０は、シーン識別器３１０がどのように構成されているかに応じて、シーン変化３１２が発生したか、それともしなかったかを判定することができる。一例として、図３Ｂには、シーン変化ピアソン相関係数ＰSΔがシーン変化相関閾値ＴSΔを満たす場合にシーン変化３１２が発生したと識別するように構成されたシーン識別器３１０を示す。図３Ａ及び図３Ｂには、いずれもシーン識別器３１０が、放送フレームの対ＦB(1〜n)、ＦBadjの第１の放送フィンガープリント２２２、２２２ｂ(1)と第２の放送フィンガープリント２２２、２２２ｂ(2)との間にシーン変化３１２が発生しなかったと判定したことを示す。
図３Ｃ〜図３Ｆに示すように、広告識別器３００は、照合器３２０をさらに含む。照合器３２０は、広告シーン３０２、３０２ａ(1〜n)の広告フレームＦad(1〜n)を示す広告フィンガープリント２２２、２２２ａを受け取る。いくつかの例では、シーン識別器３１０がシーン変化３１２を判定すると、照合器３２０が、広告シーンデータベース２５０から広告フィンガープリント２２２、２２２ａを取得することができる。他の例では、コンテンツエンティティが照合器３２０に広告フィンガープリント２２２、２２２ａを直接提供することができる。これに加えて、又はこれとは別に、照合器３２０は、広告フィンガープリント２２２、２２２ａ及び／又は広告フレームＦad(1〜n)を記憶するように構成された広告シーンデータベース２５０を含むこともできる。シーン識別器３１０がシーン変化３１２を判定して第１の放送シーン３０２、３０２ｂ(1)が第２の放送シーン３０２、３０２ｂ(2)に変化したと識別した場合、広告識別器３００は、第２の放送シーン３０２、３０２ｂ(2)が広告シーン３０２、３０２ａ(1〜n)のうちのうちの１つであるかどうかを判定する。いくつかの実装では、照合器３２０が、受け取った各広告シーン３０２、３０２ａについて、広告シーン３０２、３０２ａに対応するそれぞれの広告フィンガープリント２２２、２２２ａと第２の放送シーン３０２、３０２ｂ(2)の少なくとも１つの放送フィンガープリント２２２、２２２ｂとの間の一致相関を求める。いくつかの例では、第２の放送シーン３０２、３０２ｂ(2)の少なくとも１つの放送フィンガープリント２２２、２２２ｂが、放送フレームの対ＦB(1〜n)、ＦBadjの第２の放送フィンガープリント２２２、２２２ｂ(2)である。いくつかの例では、この一致相関が、シーン変化相関と同様にピアソンの相関、ケンドールの相関又はスピアマンの相関などの統計的相関である。図３Ｃ〜図３Ｆには、一致相関の例を一致ピアソン相関係数ＰMとして示す。例えば、照合器３２０は、第２の放送シーン３０２、３０２ｂの少なくとも１つの放送フィンガープリント２２２、２２２ｂと、各広告シーン３０２、３０２ａに対応する各それぞれの広告フィンガープリント２２２、２２２ａとの間の一致相関ピアソン相関係数ＰMを求める。
いくつかの例では、照合器３２０が、広告シーン３０２、３０２ａの複数の広告フィンガープリント２２２、２２２ａに対応する（例えば、それぞれの広告フィンガープリント２２２、２２２ａを含む）広告フィンガープリントブロック２２２、２２２ａ(block)と、第２の放送シーン３０２、３０２ｂ(2)の複数の放送フィンガープリント２２２、２２２ｂに対応する放送フィンガープリントブロック２２２、２２２ｂ(block)との間の一致相関を求める。広告フィンガープリントブロック２２２、２２２ａ(block)及び放送フィンガープリントブロック２２２、２２２ｂ(block)の各ブロックは、所定数のフィンガープリント２２２を含むことができる。いくつかの実装では、各ブロックが同様の数のフィンガープリント２２２を含むことにより、照合器３２０による一致相関が、等しい数の広告フィンガープリント２２２、２２２ａを等しい数の放送フィンガープリント２２２、２２２ｂと比較する。例えば、広告フィンガープリントブロック２２２、２２２ａ(block)及び放送フィンガープリントブロック２２２、２２２ｂ(block)の各ブロックが２秒のフィンガープリント２２２に対応し、従って毎秒３０フレームのフレームレートでは、各ブロックが６０個のフィンガープリント（例えば、広告フィンガープリント２２２、２２２ａ(1〜60)及び放送フィンガープリント２２２、２２２ｂ(1〜60)）を含むようになる。説明例として、図３Ｃ、図３Ｄ及び図３Ｆには、（各広告シーン３０２、３０２ａにおける点線選択ボックス内の）４つの広告フィンガープリント２２２、２２２ａと、（放送シーン３０２、３０２ｂにおける点線選択ボックス内の）４つの放送フィンガープリント２２２、２２２ｂとに関する一致相関を実行する照合器３２０を示す。
いくつかの例では、広告シーン３０２、３０２ａが広告全体又は広告の一部に対応する。従って、広告シーンデータベース２５０は、広告の全ての広告フレームＦad(1〜n)、又は広告に関するいずれかの数の広告フレームＦad(1〜n)を含むことができる。いくつかの例では、広告識別器３００による一貫性を保証するように、各広告シーン３０２、３０２ａが設定数のフレームＦad(1〜n)である。例えば、各広告が広告の最初の２秒間において一意のものであると仮定すると、各広告シーン３０２、３０２ａは、２秒の広告フレームＦad(1〜n)に対応する。この例では、フレームレートが毎秒３０フレームである場合、２秒の広告フレームＦad(1〜n)が約６０個の広告フレームＦad(1〜60)に等しい。他の例では、各広告シーン３０２、３０２ａがいずれかの量の広告フレームＦad(1〜n)であるが、照合器３２０が、設定数の広告フレームＦad(1〜n)（例えば、２秒の広告フレームＦad(1〜n)）と第２の放送シーン３０２、３０２ｂ(2)（すなわち、次の放送シーン）の同様の数の放送フレームＦB(1〜n)との間の一致相関を求めるように構成される。設定数の広告フレームＦad(1〜n)は、広告シーンデータベース２５０に必要とされる記憶量を低減することができる。状況によっては、広告シーンデータベース２５０に必要とされる記憶量を低減することによって照合器３２０の処理能力を抑えることができる。例えば、広告は、しばしば約１０秒のショートバージョンから約１分のロングバージョンにまで及ぶ。フレームの観点から見れば、ロングバージョンは、ショートバージョンよりも千個を超える多くのフレームを含むことができる。この点、広告シーンデータベース２５０は、広告全体の千フレームを超える潜在的記憶容量を各広告の設定数の広告フレーム（Ｆad(1〜n)）に低減することができ、この記憶容量の低減を利用して、各広告フィンガープリント２２２、２２２ａが広告フレームＦad内により多くのサブフレームＦsubを、従ってより多くのピクセル値ＶPを組み込むようにする。換言すれば、フィンガープリント２２２（例えば、広告フィンガープリント２２２、２２２ａ又は放送フィンガープリント２２２、２２２ｂ）は、単一の平均ピクセル値ＶPのみのフィンガープリント２２２よりもはるかに多くのピクセル値ＶPのベクトル（例えば、１６個の整数ベクトル）を表すことができるので、照合器３２０は、広告の一部（すなわち、離散数の広告フレームＦad(1〜n)）によって放送シーン３０２、３０２ｂが１つの広告に対応することを正確に識別できるようになる。
さらに、図３Ｃ及び図３Ｄには、シーン識別器３１０がシーン変化３１２を判定する例を示す。これらの例では、シーン識別器３１０が、シーケンシャルに隣接する放送フレームの対ＦB(1)、ＦB(2)間のシーン変化ピアソン相関係数ＰSΔがシーン変化３１２に対応すると判定した時に、放送フレームの対ＦB(1)、ＦB(2)の第１の放送フィンガープリント２２２、２２２ｂ(1)を第１の放送シーン３０２、３０２ｂ(1)の最後の放送フレームＦB(L)の最後の放送フィンガープリント２２２、２２２ｂ(L)として識別し、放送フレームの対ＦB(1)、ＦB(2)の第２の放送フィンガープリント２２２、２２２ｂ(2)を第２の放送シーン３０２、３０２ｂ(2)の最初の放送フレームＦB(i)の最初の放送フィンガープリント２２２、２２２ｂ(i)として識別する。シーン変化３１２が判定されると、照合器３２０は、第２の放送シーン３０２、３０２ｂ(2)が広告シーンのうちの１つであるかどうかを判定する。図３Ｃ及び図３Ｄでは、照合器３２０が、同様の数のフレームＦ(1〜n)を表す広告フィンガープリント２２２、２２２ａ及び放送フィンガープリント２２２、２２２ｂを受け取る。場合によっては、広告識別器３００に関連するデータ処理ハードウェア及び／又はメモリハードウェアを効率化するために、照合器３２０が同様の寸法又はベクトルのフィンガープリント２２２を受け取ることが有利となり得る。いくつかの例では、シーン識別器３１０が、照合器３２０に次のシーン３０４の放送フィンガープリント２２２、２２２ｂを伝える。他の例では、シーン識別器３１０がシーン変化３１２を判定した時に、照合器３２０が次のシーン３０４の放送フィンガープリント２２２、２２２ｂを取得することができる。図３Ｃ及び図３Ｄでは、照合器３２０が、第２の放送シーン３０２、３０２ｂ(2)（すなわち、次のシーン３０４）の４つの放送フレームＦB(2〜5)に関連する放送フィンガープリント２２２、２２２ｂと、各広告シーン３０２、３０２ａ(1〜n)の４つの広告フレームＦad(1〜4)に関連する広告フィンガープリント２２２、２２２ａとを受け取る。例えば、照合器３２０は、広告シーンデータベース２５０から広告フィンガープリント２２２、２２２ａを受け取る。
図３Ｃ及び図３Ｄには、第２の放送シーン３０２、３０２ｂ(2)が広告シーン３０２、３０２ａ(1〜n)のうちの１つであるかどうかを一致ピアソン相関係数ＰMに基づいて判定する照合器３２０を示す。照合器３２０は、シーン識別器３１０と同様に、一致ピアソン相関係数ＰMに類似性レベル又は類似性閾値を使用することができる。図３Ｃなどのいくつかの例では、照合器３２０が、一致ピアソン相関係数ＰMが類似性レベル（例えば、図３Ａなどの高類似性及び低類似性）に対応する時に、第２の放送シーン３０２、３０２ｂ(2)が広告シーン３０２、３０２ａ(1〜n)のうちの１つであると判定する。図３Ｃでは、照合器３２０が、第２の放送シーン３０２、３０２ｂ(2)の放送フィンガープリント２２２、２２２ｂが広告シーン３０２、３０２ａ(1〜n)の少なくとも１つの広告フィンガープリント２２２、２２２ａとの高い類似性を有すると判定している。図３Ｄなどの他の例では、照合器３２０が、一致ピアソン相関係数ＰMが一致相関閾値ＴMを満たす時に、第２の放送シーン３０２、３０２ｂ(2)が広告シーン３０２、３０２ａ(1〜n)のうちの１つであると判定することができる。一致相関閾値ＴMは、シーン識別器３１０のシーン変化ピアソン相関閾値ＴSΔと同様に、照合器３２０がどのように構成されているかに応じて、次のシーン３０４が広告シーン３０２、３０２ａに一致するかどうかを判定することができる。一例として、図３Ｄには、一致ピアソン相関係数ＰMが一致相関閾値ＴMを満たす時に次のシーン３０４が広告シーン３０２、３０２ａに一致すると識別するように構成された照合器３２０を示す。図３Ｃ〜図３Ｆには一致相関として一致ピアソン相関係数ＰMを示しているが、照合器３２０は、類似性レベル及び／又は閾値と共にあらゆる統計的相関を使用することができる。さらに、図３Ａ〜図３Ｆにはシーン識別器３１０及び照合器３２０の複数の組み合わせを示しているが、任意の組み合わせが可能である。例えば、これらの図には、シーン識別器３１０が閾値を使用して照合器３２０が類似性レベルを使用する、又はシーン識別器３１０が類似性レベルを使用して照合器３２０が閾値を使用する広告識別器３００を示していない。これらの図には、シーン識別器３１０がシーン変化３１２を判定したにもかかわらず、照合器３２０が一致する広告シーン３０２、３０２ａを決定しないことも示していない。この状況は、メディアストリームＳの番組中にライブ番組がシーンを変更したにもかかわらず、番組が広告に移行しない場合に発生し得る。
いくつかの実装では、照合器３２０が、第２の放送シーン３０２、３０２ｂ(2)の少なくとも１つの放送フィンガープリント２２２、２２２ｂに関して各広告シーン３０２、３０２ａの一致相関を求める。照合器３２０は、各一致相関に関して、最大一致相関を有する広告シーン３０２、３０２ａを、第２の放送シーン３０２、３０２ｂ(2)の少なくとも１つの放送フィンガープリント２２２、２２２ｂに一致する広告シーン３０２、３０２ａとして識別するように構成することができる。例えば、この構成は、広告シーン３０２、３０２ａが同様の広告ではあるが長さが異なる広告を含む時に、照合器３２０を正確にするのに役立つことができる。
いくつかの例では、シーン識別器３１０がシーン変化３１２を判定した場合、照合器３２０が、シーン変化３１２に対応する放送フレームの対ＦB(1)、ＦB(2)の第１の放送フィンガープリント２２２、２２２ｂ(1)の後、第２の放送シーン３０２、３０２ｂ(2)が広告シーン３０２、３０２ａ(1〜n)のうちの１つであるかどうかを判定する前に閾値期間ＰT待つ。いくつかの実装では、照合器３２０が、第１の放送シーン３０２、３０２ｂ(1)の最後の放送フレーム２２２、２２２ｂ(L)の最後の放送フィンガープリント２２２、２２２ｂ(L)の後、閾値期間ＰT待つ。例えば、図３Ｃ〜図３Ｆでは、第２の放送シーン３０２、３０２ｂ(2)の放送フィンガープリント２２２、２２２ｂが、放送フレームＦB(2〜5)の閾値期間ＰTに対応する。換言すれば、照合器３２０によって分析される第２の放送シーン３０２、３０２ｂ(2)の放送フィンガープリント２２２、２２２ｂは、複数の放送フレームＦB(1〜n)に対応することができる。いくつかの例では、閾値期間ＰTは、照合器３２０が各広告シーン３０２、３０２ａについて受け取る設定数の広告フレームＦad(1〜n)を占めるように機能する。閾値期間ＰTは、設定数の広告フレームＦad(1〜n)を占めることにより、フィンガープリント２２２を比較するための同等サイズのベクトル又はピクセル値を照合器３２０に提供することができる。例えば、各広告シーン３０２、３０２ａが２秒の広告フレームＦad(1〜n)に対応する場合、閾値期間ＰTは、第２の放送シーン３０２、３０２ｂ(2)が広告シーン３０２、３０２ａ(1〜n)のうちの１つであるかどうかを判定する前の少なくとも２秒である。照合器３２０は、この２秒により、第２の放送シーン３０２、３０２ｂ(2)が広告シーン３０２、３０２ａのうちの１つであるかどうかを２秒の放送フレームＦB(1〜n)に基づいて判定できるようになる。
図３Ｃ〜図３Ｆには、広告識別器３００の広告インジケータ３３０も示す。広告インジケータ３３０は、一致相関が照合器３２０の一致基準（例えば、一致相関閾値ＴM又は類似性レベル）を満たす時に、第２の放送シーン３０２、３０２ｂ(2)の識別３３２を広告シーン３０２、３０２ａ(1〜n)のうちの１つとして関連付けることができる。例えば、広告インジケータ３３０は、第２の放送シーン３０２、３０２ｂ(2)を、照合器３２０が受け取って第２の放送シーン３０２、３０２ｂ(2)の放送フィンガープリント２２２、２２２ｂに一致すると判定されたそれぞれの広告フィンガープリント２２２、２２２ａの広告シーン３０２、３０２ａに対応するものとして識別する。いくつかの例では、メディア装置３０におけるリアルタイム観察中に第２の放送シーン３０２、３０２ｂ(2)を容易に識別できるように、識別３３２がコンテンツエンティティ又はＡＣＲモジュール１３２への通信である。この識別３３２に従って、広告に対応する第２の放送シーン３０２、３０２ｂ(2)を別のコンテンツに置き換え、重ね合わせ、又は修正することができる。広告識別器３００は、第２の放送シーン３０２、３０２ｂ(2)が広告であるという識別３３２を提供することにより、メディア装置３０におけるＡＣＲモジュール１３２のより効率的かつ効果的な機能を可能にすることができる。これに加えて、又はこれとは別に、識別３３２は、第２の放送シーン３０２、３０２ｂ(2)に関連するメタデータタグなどの識別子でもある。識別子のいくつかの例としては、対応する広告シーン３０２、３０２ａに関する情報（例えば、広告主、製品、サービス、広告の長さなど）又は放送フレームデータ（例えば、フレーム位置）が挙げられる。換言すれば、この識別子は、メディア装置３０がメディアストリームＳを受け取った時にコンテンツエンティティ又はＡＣＲモジュール１３２が対応する広告シーン３０２、３０２ａを識別するのを支援できるいずれかのデータとすることができる。広告識別器３００は、広告の識別３３２を提供することにより、ＡＣＲモジュール１３２における何らかの広告識別エラーを排除することができる。これに加えて、又はこれとは別に、広告識別器３００は、ＡＣＲモジュール１３２が広告識別器３００と同様の機能の実行に消費したはずの処理能力を抑えることもできる。
いくつかの広告は、より複雑な形態の広告となり得る。一例として、互いに入れ子状になった広告、互いにシーケンシャルに隣接する広告、又は別の広告の前に通常番組の短いひとコマが後続する広告が挙げられる。例えば、ゴルフクラブメーカーは、ゴルフクラブ及び／又はゴルフスイングをクローズアップした標準的な広告のみならず、高級車メーカーと提携することもできる。この例では、車を運転してゴルフコースに行くことから始まって標準的なゴルフクラブの広告及びゴルフクラブのクローズアップで終わることができる広告、ゴルフクラブから始まってゴルフクラブを車に積んで走り去ることで終了する広告、又は車から始まって車で終わるが中間部分に標準的なゴルフクラブの広告を含むことができる広告といった複数の異なる広告シーケンスが存在することができる。広告識別器３００は、これらのいずれの広告シーケンスについても、第２の放送シーン３０２、３０２ｂ(2)が別の広告シーン３０２、３０２ａ内に存在するかどうか、又は別の広告シーン３０２、３０２ａにシーケンシャルに隣接するかどうかを判定するように構成される。
図３Ｅ及び図３Ｆには、第２の放送シーン３０２、３０２ｂ(2)が別の広告シーン３０２、３０２ａ内に存在するかどうか、又は別の広告シーン３０２、３０２ａにシーケンシャルに隣接するかどうかを判定する広告識別器３００を示す。広告インジケータ３３０が第２の放送シーン３０２、３０２ｂ(2)の識別３３２及び／又は識別子を提供すると、識別３３２は、シーン識別器３１０が、第２の放送フレーム３０２、３０２ｂ(2)の放送フィンガープリント２２２、２２２ｂの次の放送フレームＦBに第３の放送シーン３０２、３０２ｂ（３）が存在するかどうかを判定することをトリガすることができる。換言すれば、シーン識別器３１０は、後続する放送フレームの対ＦB(1〜n)、ＦBadj間のシーン変化相関を求めることができる。いくつかの例では、シーン識別器３１０が、メディアストリームＳの放送フレームの各シーケンシャルに隣接する対ＦB(1〜n)、ＦBadj間のシーン変化相関を再帰的に実行する。他の例では、第１の反復において照合器３２０によって分析された放送フレームＦB(1〜n)の閾値期間ＰTの最終放送フレームＦB(f)から放送フレームの対ＦB(1〜n)、ＦBadjの第２の反復が開始する。例えば、図３Ｅ及び図３Ｆには、放送フレームＦB(1〜n)の閾値期間ＰTの最終放送フレームＦB(f)（すなわち、図３Ｃ及び図３Ｄの放送フレームＦB(5)）から放送フレームの対ＦB(1〜n)、ＦBadjの第２の反復が開始することを示す。これらの例では、放送フレームＦB(1〜n)の閾値期間ＰTの最終放送フレームＦB(f)が、第２の反復の放送フレームの対ＦB(1〜n)、ＦBadjの第１の放送フレームＦB(1)になる。図３Ｅには、シーン識別器３１０が第２の放送シーン３０２、３０２ｂ(2)内にシーン変化３１２が存在しないと判定することを除き、図３Ｂと同様のシーン識別器３１０のプロセスを示す。
一方で、図３Ｆは、第２の放送シーン３０２、３０２ｂ(2)の広告シーン３０２、３０２ａ内の、又はこれにシーケンシャルに隣接する広告を決定する広告識別器３００の例である。ここでは、シーン識別器３１０が、第２の放送シーン３０２、３０２ｂ(2)と第３の放送シーン３０２、３０２ｂ(3)との間のシーン変化３１２を識別する。照合器３２０は、閾値期間ＰT（４つの放送フレームＦB(2〜5)）にわたって待機し、第３の放送シーン３０２、３０２ｂ(3)が別の広告シーン３０２、３０２ａに対応すると判定する。広告インジケータ３３０は、この照合器３２０による判定に基づいて識別３３２を第３の放送シーン３０２、３０２ｂ(3)に関連付ける。
ソフトウェアアプリケーション（すなわち、ソフトウェアリソース）は、コンピュータ装置にタスクを実行させるコンピュータソフトウェアを意味することができる。いくつかの例では、ソフトウェアアプリケーションを「アプリケーション」、「アプリ」、又は「プログラム」と呼ぶこともできる。アプリケーション例としては、以下に限定するわけではないが、システム診断アプリケーション、システム管理アプリケーション、システムメンテナンスアプリケーション、ワープロアプリケーション、スプレッドシートアプリケーション、メッセージングアプリケーション、メディアストリーミングアプリケーション、ソーシャルネットワーキングアプリケーション、及びゲームアプリケーションが挙げられる。
図４は、本文書で説明したシステム及び方法を実装するために使用できるコンピュータ装置例４００の概略図である。コンピュータ装置４００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、及びその他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すように意図される。図示のコンポーネント、その接続及び関係、並びにその機能は例示を目的とするものにすぎず、本文書で説明した及び／又は特許請求する発明の実装を限定するものではない。
コンピュータ装置４００は、プロセッサ４１０と、メモリ４２０と、記憶装置４３０と、メモリ４２０及び高速拡張ポート４５０に接続する高速インターフェイス／コントローラ４４０と、低速バス４７０及び記憶装置４３０に接続する低速インターフェイス／コントローラ４６０とを含む。コンポーネント４１０、４２０、４３０、４４０、４５０及び４６０の各々は、様々なバスを使用して相互接続され、必要に応じて共通マザーボード上に又は他の形で取り付けることができる。プロセッサ４１０は、メモリ４２０又は記憶装置４３０に記憶された命令を含む、コンピュータ装置４００内で実行される命令を処理して、高速インターフェイス４４０に結合されたディスプレイ４８０などの外部入力／出力装置上にグラフィカルユーザインターフェイス（ＧＵＩ）のためのグラフィック情報を表示することができる。他の実装では、必要に応じて複数のメモリ及びメモリタイプと共に複数のプロセッサ及び／又は複数のバスを使用することができる。また、複数のコンピュータ装置４００を接続して、各装置が（例えば、サーババンク、一群のブレードサーバ、又はマルチプロセッサシステムとして）必要な動作の一部を提供することもできる。
メモリ４２０は、コンピュータ装置４００内に非一時的に情報を記憶する。メモリ４２０は、コンピュータ可読媒体、（単複の）揮発性メモリユニット、又は（単複の）不揮発性メモリユニットとすることができる。非一時的メモリ４２０は、コンピュータ装置４００が使用するプログラム（例えば、一連の命令）又はデータ（例えば、プログラム状態情報）を一時的又は恒久的に記憶するために使用される物理的装置とすることができる。不揮発性メモリの例としては、以下に限定するわけではないが、フラッシュメモリ及びリードオンリメモリ（ＲＯＭ）／プログラマブルリードオンリメモリ（ＰＲＯＭ）／消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）／電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）（例えば、典型的にはブートプログラムなどのファームウェアに使用されるもの）が挙げられる。揮発性メモリの例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、及びディスク又はテープが挙げられる。
記憶装置４３０は、コンピュータ装置４００のための大容量ストレージを提供することができる。いくつかの実装では、記憶装置４３０がコンピュータ可読媒体である。様々な異なる実装では、記憶装置４３０を、フロッピーディスク装置、ハードディスク装置、光ディスク装置、又はテープ装置、フラッシュメモリ又は他の同様の固体メモリデバイス、或いはストレージエリアネットワーク又はその他の構成を含む一連の装置とすることができる。さらなる実装では、コンピュータプログラム製品が情報キャリア内で有形的に具体化される。コンピュータプログラム製品は、実行時に上述したような１又は２以上の方法を実行する命令を含む。情報キャリアは、メモリ４２０、記憶装置４３０、又はプロセッサ４１０上のメモリなどのコンピュータ可読媒体又は機械可読媒体である。
高速コントローラ４４０は、コンピュータ装置４００の帯域幅集約動作を管理し、低速コントローラ４６０は、低帯域幅集約動作を管理する。このような作業の割り当ては例示にすぎない。いくつかの実装では、高速コントローラ４４０が、メモリ４２０と、ディスプレイ４８０と、様々な拡張カード（図示せず）を受け入れることができる高速拡張ポート４５０とに（例えば、グラフィックスプロセッサ又はアクセラレータを介して）結合される。いくつかの実装では、低速コントローラ４６０が、記憶装置４３０及び低速拡張ポート４９０に結合される。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、ワイヤレスイーサネット）を含むことができる低速拡張ポート４９０は、キーボード、ポインティングデバイス、スキャナなどの１又は２以上の入力／出力装置に、或いはネットワークアダプタなどを介してスイッチ又はルータなどのネットワーク装置に結合することができる。
コンピュータ装置４００は、図示のような複数の異なる形態で実装することができる。例えば、コンピュータ装置４００は、標準サーバ４００ａとして、又は一群のこのようなサーバ４００ａにおいて複数回、ラップトップコンピュータ４００ｂとして、或いはラックサーバシステム４００ｃの一部として実装することができる。
本明細書で説明したシステム及び技術の様々な実装は、デジタル電子回路及び／又は光回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせで実現することができる。これらの様々な実装は、ストレージシステム、少なくとも１つの入力装置及び少なくとも１つの出力装置との間でデータ及び命令を送受信するように結合された、専用又は汎用とすることができる少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能及び／又は解釈可能な１又は２以上のコンピュータプログラムでの実装を含むことができる。
これらの（プログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとしても知られている）コンピュータプログラムは、プログラマブルプロセッサのための機械命令を含み、高水準手続き型言語及び／又はオブジェクト指向型プログラミング言語、及び／又はアセンブリ／機械言語で実装することができる。本明細書で使用する「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械可読信号としての機械命令を受け取る機械可読媒体を含む、プログラマブルプロセッサに機械命令及び／又はデータを提供するために使用されるあらゆるコンピュータプログラム製品、非一時的コンピュータ可読媒体、装置及び／又はデバイス（例えば、磁気ディスク、光学ディスク、メモリ、プログラマブル論理装置（ＰＬＤ））を意味する。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために使用されるあらゆる信号を意味する。
本明細書で説明したプロセス及びロジックフローは、１又は２以上のコンピュータプログラムを実行する１又は２以上のプログラマブルプロセッサによって、入力データに作用して出力を生成することによって機能を実行するように実行することができる。プロセス及びロジックフローは、例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）などの専用論理回路によって実行することもできる。コンピュータプログラムを実行するのに適したプロセッサとしては、一例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方、並びにいずれか１つ又は２つのあらゆる種類のデジタルコンピュータのプロセッサが挙げられる。一般に、プロセッサは、リードオンリメモリ又はランダムアクセスメモリ、或いはこれらの両方から命令及びデータを受け取る。コンピュータの必須要素は、命令を実行するためのプロセッサ、並びに命令及びデータを記憶するための１又は２以上のメモリデバイスである。一般に、コンピュータは、磁気ディスク、光磁気ディスク又は光学ディスクなどの、データを記憶する１又は２以上の大容量記憶装置も含み、或いはこのような記憶装置との間でデータの受け取り及びデータの転送、又はこれらの両方を行うように動作可能に結合される。しかしながら、コンピュータは、このような装置を有していなくてもよい。コンピュータプログラム命令及びデータを記憶するのに適したコンピュータ可読媒体としては、一例としてＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリデバイスなどの半導体メモリデバイス、内蔵ハードディスク又は取り外し可能ディスクなどの磁気ディスク、磁気光学ディスク、並びにＣＤ ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む、全ての形態の不揮発性メモリ、媒体及びメモリデバイスが挙げられる。プロセッサ及びメモリは、専用論理回路によって補完することも、或いは専用論理回路に組み込むこともできる。
本開示の１又は２以上の態様は、ユーザとの相互作用を可能にするために、ＣＲＴ（ブラウン管）、ＬＣＤ（液晶ディスプレイ）モニタ又はタッチ画面などの、ユーザに情報を表示するためのディスプレイ装置と、任意にユーザがコンピュータに入力を提供できるようにするキーボード、及びマウス又はトラックボールなどのポインティングデバイスとを有するコンピュータに実装することができる。他の種類の装置を用いてユーザとの相互作用を可能にすることもでき、例えば、ユーザに提供されるフィードバックは、視覚フィードバック、聴覚フィードバック又は触覚フィードバックなどのあらゆる形の感覚フィードバックとすることができ、ユーザからの入力は、音響入力、発話入力又は触覚入力を含むあらゆる形で受け取ることができる。また、コンピュータは、ユーザが使用する装置との間で文書を送受信することにより、例えばユーザのクライアント装置上のウェブブラウザから受け取った要求に応答してこのウェブブラウザにウェブページを送信することによってユーザとの相互作用を行うこともできる。
複数の実装について説明した。それでもなお、本開示の趣旨及び範囲から逸脱することなく様々な修正を行うことができると理解されるであろう。従って、以下の特許請求の範囲には他の実装も含まれる。
１０ 自動コンテンツ認識環境
２０ ユーザ
３０ メディア装置
１００ 放送層
１０２ 放送局
１０４ 放送配信業者
１１０ 追加コンテンツ層
１１２ 商用プロバイダ
１１４ 広告主
１２０ ネットワーク層
１３０ 装置層
１３２ ＡＣＲモジュール
２００ フィンガープリンタ
２１０ サーバ
２１２ データ処理ハードウェア
２１４ メモリハードウェア
２２０ フィンガープリント生成器
２３０ フィンガープリント
２４０ メタデータ
３００ 広告識別器
Ｓ メディアストリーム
ＳB 放送メディアストリーム
ＳC 追加メディアコンテンツ
ＳD メディア装置ストリーム
ＳN ネットワークメディアストリーム

Claims (30)

  1. データ処理ハードウェアにおいて、一連の放送シーンを含むメディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップと、
    前記データ処理ハードウェアにおいて、広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップと、
    前記データ処理ハードウェアが、第２の放送シーンの最初の放送フレームの最初の放送フィンガープリントと、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントとの間のシーン変化ピアソン相関係数に基づいて、前記第１の放送シーンと前記第２の放送シーンとの間のシーン変化が発生したかどうかを判定するステップと、
    前記シーン変化が発生したと判定された場合、前記データ処理ハードウェアが、前記第２の放送シーンが前記広告シーンのうちの１つであるかどうかを判定するステップと、
    前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記データ処理ハードウェアが、前記第２の放送シーンの識別を前記広告シーンのうちの前記１つとして関連付けるステップと、
    を含むことを特徴とする方法。
  2. 前記シーン変化が発生したかどうかを判定するステップは、
    前記第２の放送シーンの前記最初の放送フレームの前記最初の放送フィンガープリントと、前記第１の放送シーンの前記最後の放送フレームの前記最後の放送フィンガープリントとの間の前記シーン変化ピアソン相関係数を求めるステップと、
    前記データ処理ハードウェアが、前記シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップと、
    を含む、請求項１に記載の方法。
  3. 前記シーン変化が発生したかどうかを判定するステップは、
    各シーケンシャルに隣接する放送フレームの対について、
    前記放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、前記放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間の前記シーン変化ピアソン相関係数を求めるステップと、
    前記データ処理ハードウェアが、前記シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップと、
    前記シーン変化ピアソン相関係数が前記シーン変化相関閾値を満たす場合、
    前記放送フレームの対の前記第１の放送フレームを、対応する放送シーンの最後の放送フレームとして識別するステップと、
    前記放送フレームの対の前記第２の放送フレームを、対応するシーケンシャルに隣接する放送シーンの最初の放送フレームとして識別するステップと、
    を含む、請求項１に記載の方法。
  4. 前記第１の放送シーンの前記最後の放送フレームの前記最後の放送フィンガープリントの後、前記第２の放送シーンが前記広告シーンのうちの１つであるかどうかを判定する前に閾値期間待つステップをさらに含む、
    請求項１から３のいずれか１項に記載の方法。
  5. 前記第２の放送シーンが前記広告シーンのうちの１つであるかどうかを判定するステップは、
    各広告フィンガープリントについて、
    前記データ処理ハードウェアが、前記それぞれの広告フィンガープリントと前記第２の放送フィンガープリントとの間の一致ピアソン相関係数を求めるステップと、
    前記データ処理ハードウェアが、前記一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定するステップと、
    前記一致ピアソン相関係数が前記一致相関閾値を満たす場合、前記データ処理ハードウェアが、前記第２の放送シーンを前記それぞれの広告フィンガープリントの前記広告シーンに対応するものとして識別するステップと、
    を含む、請求項３に記載の方法。
  6. 前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記データ処理ハードウェアが、前記第２の放送シーンが別の広告シーン内に存在するかどうか、又は該別の広告シーンにシーケンシャルに隣接するかどうかを判定するステップをさらに含む、
    請求項１から５のいずれか１項に記載の方法。
  7. 前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記データ処理ハードウェアが、前記第２の放送シーンに広告識別器を関連付けるステップをさらに含む、
    請求項１から６のいずれか１項に記載の方法。
  8. 各フィンガープリントは、対応するフレームの少なくとも１つのピクセルを表す、
    請求項１から７のいずれか１項に記載の方法。
  9. 各フィンガープリントは、対応するフレームのグレースケール値の合計を表す平均ピクセル値を含む、
    請求項１から８のいずれか１項に記載の方法。
  10. 各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルを表し、前記１６個のサブフレームは、対応するフレームの４×４配列を定める、
    請求項１から９のいずれか１項に記載の方法。
  11. データ処理ハードウェアにおいて、メディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップと、
    前記データ処理ハードウェアにおいて、広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップと、
    各シーケンシャルに隣接する放送フレームの対について、
    前記データ処理ハードウェアが、前記放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、前記放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めるステップと、
    前記データ処理ハードウェアが、前記シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップと、
    前記シーン変化ピアソン相関係数が前記シーン変化相関閾値を満たす場合、
    前記データ処理ハードウェアが、第１の放送シーンが前記第１の放送フレームにおいて終了すると識別するステップと、
    前記データ処理ハードウェアが、第２の放送シーンが前記第２の放送フレームにおいて開始すると識別するステップと、
    各広告フィンガープリントについて、
    前記データ処理ハードウェアが、前記それぞれの広告フィンガープリントと前記第２の放送フィンガープリントとの間の一致ピアソン相関係数を求めるステップと、
    前記データ処理ハードウェアが、前記一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定するステップと、
    前記一致ピアソン相関係数が前記一致相関閾値を満たす場合、前記データ処理ハードウェアが、前記第２の放送シーンを前記それぞれの広告フィンガープリントの前記広告シーンとして識別するステップと、
    を含むことを特徴とする方法。
  12. 前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記データ処理ハードウェアが、前記第２の放送シーンが別の広告シーン内に存在するかどうか、又は該別の広告シーンにシーケンシャルに隣接するかどうかを判定するステップをさらに含む、
    請求項１１に記載の方法。
  13. 前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記データ処理ハードウェアが、前記第２の放送シーンに広告識別器を関連付けるステップをさらに含む、
    請求項１１又は１２に記載の方法。
  14. 各フィンガープリントは、対応するフレームの少なくとも１つのピクセルを表す、
    請求項１１から１３のいずれか１項に記載の方法。
  15. 各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルを表し、前記１６個のサブフレームは、対応するフレームの４×４配列を定める、
    請求項１１から１４のいずれか１項に記載の方法。
  16. データ処理ハードウェアと、
    前記データ処理ハードウェアと通信するメモリハードウェアと、
    を備えたシステムであって、前記メモリハードウェアは命令を記憶しており、該命令は、前記データ処理ハードウェア上で実行された時に、前記データ処理ハードウェアに、
    一連の放送シーンを含むメディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップと、
    広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップと、
    第２の放送シーンの最初の放送フレームの最初の放送フィンガープリントと、第１の放送シーンの最後の放送フレームの最後の放送フィンガープリントとの間のシーン変化ピアソン相関係数に基づいて、前記第１の放送シーンと前記第２の放送シーンとの間のシーン変化が発生したかどうかを判定するステップと、
    前記シーン変化が発生したと判定された場合、前記第２の放送シーンが前記広告シーンのうちの１つであるかどうかを判定するステップと、
    前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記第２の放送シーンの識別を前記広告シーンのうちの前記１つとして関連付けるステップと、
    を含む動作を実行させる、ことを特徴とするシステム。
  17. 前記シーン変化が発生したかどうかを判定するステップは、
    前記第２の放送シーンの前記最初の放送フレームの前記最初の放送フィンガープリントと、前記第１の放送シーンの前記最後の放送フレームの前記最後の放送フィンガープリントとの間の前記シーン変化ピアソン相関係数を求めるステップと、
    前記シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップと、
    を含む、請求項１６に記載のシステム。
  18. 前記シーン変化が発生したかどうかを判定するステップは、
    各シーケンシャルに隣接する放送フレームの対について、
    前記放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、前記放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間の前記シーン変化ピアソン相関係数を求めるステップと、
    前記シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップと、
    前記シーン変化ピアソン相関係数が前記シーン変化相関閾値を満たす場合、
    前記放送フレームの対の前記第１の放送フレームを、対応する放送シーン（３０２ｂ）の最後の放送フレームとして識別するステップと、
    前記放送フレームの対の前記第２の放送フレームを、対応するシーケンシャルに隣接する放送シーンの最初の放送フレームとして識別するステップと、
    を含む、請求項１６に記載のシステム。
  19. 前記動作は、前記第１の放送シーンの前記最後の放送フレームの前記最後の放送フィンガープリントの後、前記第２の放送シーンが前記広告シーンのうちの１つであるかどうかを判定する前に閾値期間待つステップをさらに含む、
    請求項１６から１８のいずれか１項に記載のシステム。
  20. 前記第２の放送シーンが前記広告シーンのうちの１つであるかどうかを判定するステップは、
    各広告フィンガープリントについて、
    前記それぞれの広告フィンガープリントと前記第２の放送フィンガープリントとの間の一致ピアソン相関係数を求めるステップと、
    前記一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定するステップと、
    前記一致ピアソン相関係数が前記一致相関閾値を満たす場合、前記第２の放送シーンを前記それぞれの広告フィンガープリントの前記広告シーンに対応するものとして識別するステップと、
    を含む、請求項１８に記載のシステム。
  21. 前記動作は、前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記第２の放送シーンが別の広告シーン内に存在するかどうか、又は該別の広告シーンにシーケンシャルに隣接するかどうかを判定するステップをさらに含む、
    請求項１６から２０のいずれか１項に記載のシステム。
  22. 前記動作は、前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記第２の放送シーンに広告識別器を関連付けるステップをさらに含む、
    請求項１６から２１のいずれか１項に記載のシステム。
  23. 各フィンガープリントは、対応するフレームの少なくとも１つのピクセルを表す、
    請求項１６から２２のいずれか１項に記載のシステム。
  24. 各フィンガープリントは、対応するフレームのグレースケール値の合計を表す平均ピクセル値を含む、
    請求項１６から２３のいずれか１項に記載のシステム。
  25. 各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルを表し、前記１６個のサブフレームは、対応するフレームの４×４配列を定める、
    請求項１６から２４のいずれか１項に記載のシステム。
  26. データ処理ハードウェアと、
    前記データ処理ハードウェアと通信するメモリハードウェアと、
    を備えたシステムであって、前記メモリハードウェアは命令を記憶しており、該命令は、前記データ処理ハードウェア上で実行された時に、前記データ処理ハードウェアに、
    メディアストリームの放送フレームを示す放送フィンガープリントを受け取るステップと、
    広告シーンの広告フレームを示す広告（ａｄ）フィンガープリントを受け取るステップと、
    各シーケンシャルに隣接する放送フレームの対について、
    前記放送フレームの対の第１の放送フレームの第１の放送フィンガープリントと、前記放送フレームの対の第２の放送フレームの第２の放送フィンガープリントとの間のシーン変化ピアソン相関係数を求めるステップと、
    前記シーン変化ピアソン相関係数がシーン変化相関閾値を満たすかどうかを判定するステップと、
    前記シーン変化ピアソン相関係数が前記シーン変化相関閾値を満たす場合、
    第１の放送シーンが前記第１の放送フレームにおいて終了すると識別するステップと、
    第２の放送シーンが前記第２の放送フレームにおいて開始すると識別するステップと、
    各広告フィンガープリントについて、
    前記それぞれの広告フィンガープリントと前記第２の放送フィンガープリントとの間の一致ピアソン相関係数を求めるステップと、
    前記一致ピアソン相関係数が一致相関閾値を満たすかどうかを判定するステップと、
    前記一致ピアソン相関係数が前記一致相関閾値を満たす場合、前記第２の放送シーンを前記それぞれの広告フィンガープリントの前記広告シーンとして識別するステップと、
    を含む動作を実行させる、ことを特徴とするシステム。
  27. 前記動作は、前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記第２の放送シーンが別の広告シーン内に存在するかどうか、又は該別の広告シーンにシーケンシャルに隣接するかどうかを判定するステップをさらに含む、
    請求項２６に記載のシステム。
  28. 前記動作は、前記第２の放送シーンが前記広告シーンのうちの１つである場合、前記第２の放送シーンに広告識別器を関連付けるステップをさらに含む、
    請求項２６又は２７に記載のシステム。
  29. 各フィンガープリントは、対応するフレームの少なくとも１つのピクセルを表す、
    請求項２６から２８のいずれか１項に記載のシステム。
  30. 各フィンガープリントは、１６個のサブフレームの平均ピクセル値に対応する１６個の整数ベクトルを表し、前記１６個のサブフレームは、対応するフレームの４×４配列を定める、
    請求項２６から２９のいずれか１項に記載のシステム。
JP2020515215A 2017-09-13 2018-09-10 自動コンテンツ認識のための広告フレームのフラッギング Active JP6873321B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021070822A JP7240437B2 (ja) 2017-09-13 2021-04-20 自動コンテンツ認識のための広告フレームのフラッギング
JP2023032982A JP7575508B2 (ja) 2017-09-13 2023-03-03 自動コンテンツ認識のための広告フレームのフラッギング

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/703,391 US10306333B2 (en) 2017-09-13 2017-09-13 Flagging advertisement frames for automatic content recognition
US15/703,391 2017-09-13
PCT/US2018/050184 WO2019055338A1 (en) 2017-09-13 2018-09-10 MARKING ADVERTISING FRAMES FOR AUTOMATIC RECOGNITION OF CONTENT

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021070822A Division JP7240437B2 (ja) 2017-09-13 2021-04-20 自動コンテンツ認識のための広告フレームのフラッギング

Publications (2)

Publication Number Publication Date
JP2020533920A JP2020533920A (ja) 2020-11-19
JP6873321B2 true JP6873321B2 (ja) 2021-05-19

Family

ID=63722769

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020515215A Active JP6873321B2 (ja) 2017-09-13 2018-09-10 自動コンテンツ認識のための広告フレームのフラッギング
JP2021070822A Active JP7240437B2 (ja) 2017-09-13 2021-04-20 自動コンテンツ認識のための広告フレームのフラッギング
JP2023032982A Active JP7575508B2 (ja) 2017-09-13 2023-03-03 自動コンテンツ認識のための広告フレームのフラッギング

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021070822A Active JP7240437B2 (ja) 2017-09-13 2021-04-20 自動コンテンツ認識のための広告フレームのフラッギング
JP2023032982A Active JP7575508B2 (ja) 2017-09-13 2023-03-03 自動コンテンツ認識のための広告フレームのフラッギング

Country Status (9)

Country Link
US (3) US10306333B2 (ja)
EP (1) EP3682643A1 (ja)
JP (3) JP6873321B2 (ja)
KR (2) KR102272767B1 (ja)
CN (2) CN111095940B (ja)
AU (2) AU2018331308B2 (ja)
BR (1) BR112020005086B1 (ja)
CA (1) CA3075620C (ja)
WO (1) WO2019055338A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10306333B2 (en) 2017-09-13 2019-05-28 The Nielsen Company (Us), Llc Flagging advertisement frames for automatic content recognition
US11917240B2 (en) * 2018-08-14 2024-02-27 Inscape Data, Inc. Dynamic content serving using automated content recognition (ACR) and digital media watermarks
US20200275168A1 (en) * 2019-02-22 2020-08-27 The Nielsen Company (Us), Llc Use of Watermarking to Trigger Fingerprint-Related Action
KR20200142787A (ko) 2019-06-13 2020-12-23 네이버 주식회사 멀티미디어 신호 인식을 위한 전자 장치 및 그의 동작 방법
CN110636330B (zh) * 2019-09-20 2021-10-26 深圳市梦网视讯有限公司 基于压缩信息的片源场景复杂度分析方法和系统
CN111182303A (zh) * 2019-10-08 2020-05-19 腾讯科技（深圳）有限公司 共享屏幕的编码方法、装置、计算机可读介质及电子设备
CN110956648A (zh) * 2019-11-15 2020-04-03 深圳市宏电技术股份有限公司 一种视频图像处理方法、装置、设备及存储介质
CN111970559B (zh) * 2020-07-09 2022-07-22 北京百度网讯科技有限公司 视频获取方法、装置、电子设备及存储介质
US11974024B2 (en) * 2020-09-11 2024-04-30 Sling TV L.L.C. Automated program promotion detection in a video streaming system
US20220264171A1 (en) * 2021-02-12 2022-08-18 Roku, Inc. Use of In-Band Data to Facilitate Ad Harvesting for Dynamic Ad Replacement
US11770566B1 (en) 2022-03-16 2023-09-26 Roku, Inc. Automatically determining an optimal supplemental content spot in a media stream

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100361521C (zh) * 1999-11-10 2008-01-09 汤姆森特许公司 在可记录媒体上识别和跳越视频信号的片段的方法和设备
US6714594B2 (en) * 2001-05-14 2004-03-30 Koninklijke Philips Electronics N.V. Video content detection method and system leveraging data-compression constructs
US7809154B2 (en) 2003-03-07 2010-10-05 Technology, Patents & Licensing, Inc. Video entity recognition in compressed digital video streams
US20040237102A1 (en) * 2003-03-07 2004-11-25 Richard Konig Advertisement substitution
JP4296503B2 (ja) * 2004-10-04 2009-07-15 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2008011316A (ja) * 2006-06-30 2008-01-17 Casio Comput Co Ltd カメラ装置及びカメラ装置制御プログラム
US8358381B1 (en) * 2007-04-10 2013-01-22 Nvidia Corporation Real-time video segmentation on a GPU for scene and take indexing
US8195689B2 (en) * 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
US8300884B2 (en) 2009-05-21 2012-10-30 Digimarc Corporation Combined watermarking and fingerprinting
US8984626B2 (en) 2009-09-14 2015-03-17 Tivo Inc. Multifunction multimedia device
EP2437498A1 (en) * 2010-09-30 2012-04-04 British Telecommunications Public Limited Company Digital video fingerprinting
US8786785B2 (en) * 2011-04-05 2014-07-22 Microsoft Corporation Video signature
EP4221235A3 (en) * 2013-03-15 2023-09-20 Inscape Data, Inc. Systems and methods for identifying video segments for displaying contextually relevant content
CN105190618B (zh) * 2013-04-05 2019-01-25 杜比实验室特许公司 用于自动文件检测的对来自基于文件的媒体的特有信息的获取、恢复和匹配
KR101456926B1 (ko) * 2013-06-14 2014-10-31 (주)엔써즈 핑거프린트에 기반한 광고 검출 시스템 및 방법
CN104023251B (zh) * 2014-06-13 2015-08-19 腾讯科技（深圳）有限公司 基于视频的互动方法和系统
EP3185577B1 (en) * 2014-08-21 2018-10-24 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method
EP3187533B1 (en) 2014-08-29 2019-02-20 National University Corporation Kanazawa University Polyolefin resin composition, molding, and polyolefin resin film
CN104581222A (zh) * 2015-01-05 2015-04-29 李伟贤 一种在视频中快速识别广告位并嵌入广告的方法
US9578394B2 (en) * 2015-03-25 2017-02-21 Cisco Technology, Inc. Video signature creation and matching
US9516377B1 (en) 2015-06-12 2016-12-06 Sorenson Media, Inc. Detecting channel change in automatic content recognition fingerprint matching
US9854326B1 (en) 2015-09-09 2017-12-26 Sorenson Media, Inc. Creating and fulfilling dynamic advertisement replacement inventory
US9813781B2 (en) 2015-10-27 2017-11-07 Sorenson Media, Inc. Media content matching and indexing
US10306333B2 (en) 2017-09-13 2019-05-28 The Nielsen Company (Us), Llc Flagging advertisement frames for automatic content recognition

Also Published As

Publication number Publication date
US20210084386A1 (en) 2021-03-18
CN113283321B (zh) 2024-08-16
WO2019055338A1 (en) 2019-03-21
CN113283321A (zh) 2021-08-20
CA3075620A1 (en) 2019-03-21
US10306333B2 (en) 2019-05-28
JP7240437B2 (ja) 2023-03-15
CN111095940A (zh) 2020-05-01
AU2018331308A1 (en) 2020-04-02
CA3075620C (en) 2022-01-11
US10887667B2 (en) 2021-01-05
BR112020005086A2 (pt) 2020-08-18
US11303974B2 (en) 2022-04-12
BR112020005086B1 (pt) 2022-07-12
JP2023078202A (ja) 2023-06-06
US20190082231A1 (en) 2019-03-14
EP3682643A1 (en) 2020-07-22
AU2020289863B2 (en) 2021-09-23
CN111095940B (zh) 2021-05-25
KR102272767B1 (ko) 2021-07-06
JP7575508B2 (ja) 2024-10-29
AU2018331308B2 (en) 2020-09-24
JP2020533920A (ja) 2020-11-19
KR20200037423A (ko) 2020-04-08
JP2021122117A (ja) 2021-08-26
KR102148248B1 (ko) 2020-08-27
US20190268670A1 (en) 2019-08-29
AU2020289863A1 (en) 2021-01-28
KR20200103117A (ko) 2020-09-01

Similar Documents

Publication Publication Date Title
JP6873321B2 (ja) 自動コンテンツ認識のための広告フレームのフラッギング
US11184682B2 (en) Obtaining viewer demographics through advertisement selections
US10922551B2 (en) Scene frame matching for automatic content recognition
JP7028888B2 (ja) 自動コンテンツ認識のためのフレーム確実性
AU2021201776B2 (en) Cold matching by automatic content recognition
CN110555157B (zh) 内容推荐方法、内容推荐装置和电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200511

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200511

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200511

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210420

R150 Certificate of patent or registration of utility model

Ref document number: 6873321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250