JP5989004B2 - ロゴ認証 - Google Patents

ロゴ認証 Download PDF

Info

Publication number
JP5989004B2
JP5989004B2 JP2013547959A JP2013547959A JP5989004B2 JP 5989004 B2 JP5989004 B2 JP 5989004B2 JP 2013547959 A JP2013547959 A JP 2013547959A JP 2013547959 A JP2013547959 A JP 2013547959A JP 5989004 B2 JP5989004 B2 JP 5989004B2
Authority
JP
Japan
Prior art keywords
logo
template
feed
roi
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013547959A
Other languages
English (en)
Other versions
JP2014508341A (ja
Inventor
タヌシャム・チャットパダイ
アニルッダ・シンハ
アルパン・パル
デバブラタ・プラダン
ソウマリ・ロイチョウドゥリー
Original Assignee
タタ・コンサルタンシー・サーヴィシズ・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by タタ・コンサルタンシー・サーヴィシズ・リミテッド filed Critical タタ・コンサルタンシー・サーヴィシズ・リミテッド
Publication of JP2014508341A publication Critical patent/JP2014508341A/ja
Application granted granted Critical
Publication of JP5989004B2 publication Critical patent/JP5989004B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635Overlay text, e.g. embedded captions in a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark

Description

本発明は一般に、認証手法に関し、特にチャンネルのロゴの認証に関する。
視覚メディア技術の出現で、特にテレビ受像機は、多くの人々の間で最も広く使用されるエンターテイメントソースになっている。テレビネットワークサービスプロバイダは、アナログ送信によって、またはデジタル送信によって、視聴者がチャンネルを利用できるようにする。テレビネットワークサービスプロバイダによって送信されたチャンネルは、視聴者エンドでテレビセットまたはセットトップボックス等の受信システムによって受信される。各チャンネルは一般に、送信ストリーム内に埋め込まれたロゴを有し、それにより視聴者は、自分が見ているチャンネルを識別することができる。
従来の受信システムは、異なる目的でロゴ認証を達成するために各種認証手法を含む。従来の受信システムにおいて一例では、送信された映像にロゴがあるか否かを確認するために、ロゴは、受信システムによって認証される。ロゴがないことを受信システムが確認した場合、例えば1つまたは複数の広告により送信が中断されたと考えられる。また、受信システムに関連付けられた記録システムは、送信された映像にロゴがない間、送信された映像の記録を遮断するように構成することができる。
従来から使用された認証手法は通常、テンプレート照合技法に基づくものであり、送信された映像のフレームの全ピクセルが、複数の事前に格納されたテンプレートの対応するピクセルと比較される。いくつかの他の従来手法では、関心領域(ROI)に横たわるピクセルは、複数の事前に格納されたテンプレートと比較される。ロゴ認証のそのような従来手法は、ロゴの透明な背景の効果、および特定のチャンネルにおけるROIの非静的ピクセルを考慮しない。
この概要は、ロゴ認証に関する概念を紹介するために提供される。これらの概念はまた、詳細な説明で以下記載される。この概要は、本発明の本質的特徴を特定することを目的とせず、また本発明の範囲を決定または限定するのに使用することを目的としない。
ここで説明される本発明は、ロゴの認証のためのコンピュータ化された方法に関する。方法は、フィード映像の複数のフィードフレームを取得することを含み、フィード映像は、その中に埋め込まれたロゴを有する。複数のフィードフレームからの少なくとも1つのフィードフレームは、複数のテンプレートからの各テンプレートと比較される。フィードフレームと比較されたテンプレート毎に、相関パラメータが算出され、ロゴは、算出に基づき認証される。
詳細な説明は、添付の図面を参照して提供される。図では、参照番号の左端の番号は、参照番号が最初に出現する図を特定する。同じ番号は、類似の特徴および構成要素を参照するために、図全体を通して使用される。
図1は、本発明の実施形態よる、ロゴ認証システムの例示的なネットワーク環境実装を示す。 図2は、本発明の実装による、例示的なロゴ認証システムを示す。 図3は、本発明の実装による、ロゴを認証するための例示的な方法を示す。 図4は、本発明の実装による、ロゴ認証のためのテンプレートデータベースを作成するための例示的な方法を示す。
ここで説明される本発明は、ロゴ認証に関する。ここで説明されるロゴ認証に関するシステムおよび方法は、セットトップボックス、基地局(BTS)、コンピュータデバイス、テレビ受像機、携帯電話、ノートPC、個人用デジタル補助装置(PDA)等の各種デバイスを含む送信または受信システムで実装できる。
従来のロゴ認証手法は通常、テンプレート照合技法に基づき、映像のフレームのピクセルまたはフレームの関心領域(ROI)のピクセルは、事前に格納された複数のテンプレートと比較される。例えば、ROIのピクセルの各行は、テンプレートの類似ピクセルまたはピクセルのブロックを識別するために走査される。しかし、特定のチャンネルでは、ロゴは、透明な背景を有する。そのような場合、検討中の映像のROIのいくつかのピクセルは、静的(static)ではなく、常に変化している。そのようなロゴに関して、認証は一般に、ロゴを認証するための従来のテンプレート照合技法がROIの全ピクセルとテンプレートのピクセルとを比較する時、エラーになる。
デジタル送信および受信を実装する従来の受信システムは、ロゴと、ロゴに関する情報、例えば受信したデジタル映像信号と共に埋め込まれたチャンネルの電子番組ガイド(EPG)とを含む。しかし、アナログ信号にそのような情報を含めることは、可能ではない。
ここで説明される実施形態は、ロゴ認証のための、例えばアナログ送信のための方法およびシステムを示す。実施形態によると、テンプレートデータベースが作成され、そのデータベースは、テレビネットワークサービスプロバイダによって提供された、チャンネルファイルに格納された各チャンネルに対応するテンプレートを含む。前記実施形態では、チャンネルファイルにリストされた全チャンネルの見本映像(specimen video)は、約5〜10秒の期間記録される。別の実施形態では、見本映像は、ロゴ認証の間のエラーを低減するために、さらに長く約10〜15分の間記録できる。見本映像の記録の間、見本映像の複数のフレームが記録される。
また、実装では、静的ピクセルを含む領域は、マウスまたはキーボード等の周辺デバイスを介して見本映像毎に関心領域(ROI)として手動でマーク付けされるか、またはシステムによって自動で識別される。見本映像に対して識別またはマーク付けされたROIは、見本映像の各フレームに対するROIであることが分かる。別の実装では、チャンネルの見本映像の記録中、見本映像のROIのみがチャンネルに関して記録される。
一度ROIが識別およびマーク付けされると、ピクセルの色の量子化が達成される。色の量子化は、異なる色の値の量子化として理解できる。一例では、UYVY色フォーマットで初めに示されたROIのピクセルの色は、HSV色空間に変換されて量子化される。
実装では、ピクセルの色の値が量子化された後、ROIの静的および非静的ピクセルは、識別および注釈付けされる。前記実装では、チャンネルに対応する1つの見本映像に関する静的および非静的ピクセルは、確率的測定技法により識別される。例えば、HSV色ドメインの色の量子化された値の分散は、各種フレームのROIのピクセルに関して算出される。前記例では、ピクセルの色の分散の値が分散の閾値より小さい場合、ピクセルの色がその時静的のままであり、故にピクセルがロゴの一部であることを意味する。そのようなピクセルは、注目ピクセル(pixel of interest)(POI)として注釈付けされる。他方では、ピクセルの色の分散の値が分散の閾値より大きい場合、ピクセルの色が一時的に変化し、故にピクセルがロゴの透明な背景の一部でありうることを意味する。そのようなピクセルは、“ホワイト”ピクセルとして注釈付けされる。
1つの実装では、量子化された色と共に見本映像のROIのPOIとして注釈付けされたピクセルと、見本映像のROIのホワイトピクセルとがテンプレートに格納される。また、テンプレートは、その見本映像を送信するチャンネルに関連付けられる。テンプレートROIとして言及される、見本映像で識別またはマーク付けされたROIはまた、見本が対応するチャンネルのテンプレートと共に格納されうる。一例では、見本映像のROIを描く境界の座標は、テンプレートROIとして格納される。
POIとしてのピクセルとROIのホワイトピクセルとの上記注釈は、チャンネルファイルの全てのそのようなチャンネルに関してテンプレートを有するテンプレートデータベースの作成を完了するために、全見本映像に対して行われる。また、テンプレートデータベースの各テンプレートは、ロゴIDに関連付けられ、ロゴIDはまた、チャンネルファイルに格納されたチャンネルIDに関連付けられてもよい。
1つの実施形態では、テンプレートデータベースは、セットトップボックス、クライアント/ビューアエンド等の少なくとも1つの受信デバイスへ通信可能に接続される。一例では、受信デバイスは、アナログ送信で動作し、送信デバイスからのチャンネルに関して高周波アナログ信号を受信する。また、ロゴ認証システムは、受信デバイス内に実装されてもよい。
実施形態では、受信デバイスが送信デバイスから信号を受信し始め、例えばテレビ画面上でフィード映像(feed video)を表示する時、フィード映像に対するロゴ認証の処理が開始する。従って、フィードフレームとして言及される、フィード映像の複数のフレームがロゴ認証システムによって格納される。ロゴ認証の目的のため、複数のフィード映像からの1つのフィードフレームは、テンプレートデータベースの各種テンプレートに対して1つずつ比較される。
局面によると、関心領域(ROI)はまた、テンプレートデータベースの1つのテンプレートとフィードフレームとの間の比較が始まる時にフィードフレームで識別される。前記実装では、フィードフレームのROIは、テンプレートに関連付けられた情報、例えばテンプレートROIに関する情報に基づき識別される。
また、フィードフレームと比較されるテンプレートに基づき、フィードフレームのPOIが識別される。一例では、チャンネルのテンプレートに格納されたPOIと同じPOIは、フィードフレームのPOIとして識別される。フィードフレームのPOIがフィードフレームのROIに横たわることが分かる。一度フィードフレームのPOIが識別されると、フィードフレームのPOIの色の量子化が実行される。フィードフレームのPOIの色の量子化は、テンプレートデータベースの作成の間、格納されたフィードフレームのPOIの量子化された色と同じ方法で達成されてもよい。
フィードフレームのPOIの色の量子化後、フィードフレームは、テンプレートと比較および照合される。前記実施形態では、フィードフレームとテンプレートデータベースのテンプレートとの照合に基づき、相関係数等の相関パラメータは、テンプレートに関して算出される。一例では、相関係数は、フィードフレームとテンプレートとにおける類似または同じPOIの数を示す。
その後、フィードフレームは、上記と同じ方法でデータベースの他のテンプレートと比較される。局面によると、フィードフレームとテンプレートデータベースのテンプレートとの間の比較毎に、ROIおよびPOIは、フィードフレームで識別され、相関パラメータは、フィードフレームのPOIとテンプレートデータベースの各テンプレートのPOIとの照合に基づき算出される。
実施形態では、相関パラメータの値が閾照合値を超える全てのテンプレートは、候補照合テンプレートとしてマーク付けされる。
また、1つの実装では、各候補照合テンプレートは、フィード映像の所定数のフィードフレームと照合され、ロゴスコアは、候補照合テンプレート毎に算出される。1つの実装では、ロゴスコアは、各比較に応じて相関パラメータの値に基づき算出される。例えば、候補照合テンプレートのロゴスコアは、その候補照合テンプレートに関する相関パラメータが閾照合値より大きい8フィードフレームからのフィードフレーム数である。
また、一例では、ロゴは、最大ロゴスコアを有する候補照合テンプレートに関連付けられたロゴIDに基づき認証される。また、1つの実装では、ロゴIDに基づき照合チャンネル/照合チャンネルIDは、チャンネルファイルから判断される。一度照合チャンネルが識別されると、受信デバイスは、例えばインターネットを介してテレビネットワークサービスプロバイダのデータベースに接続され、照合チャンネルに関する電子番組ガイド(EPG)を取得することができる。
他方、全テンプレートに関する相関パラメータの値が閾照合値を越えない場合、その時システムは、フィード映像に関するチャンネルが新たなロゴを備えた古いチャンネルかまたは新たなチャンネルかを推定する。そのような場合、システムは、フィード映像を処理してフィード映像に関するテンプレートを作成し、テンプレートデータベースにテンプレートを格納する。
また、例えば第2のフィード映像が送信される前に所定の短い時間間隔で青または黒い画面による第1のフィード映像の遮断によって、ロゴ認証システムが受信デバイスでチャンネルの変化を識別した時、ロゴ認証は、第2のフィード映像に関して開始する。
説明したロゴ認証のためのシステムおよび方法の局面が任意数の異なるコンピュータシステム、環境、および/または構成で実装できる一方、実施形態は、以下の(複数の)例示的なシステムアーキテクチャに照らして説明される。
図1は、本発明の実施形態による、ロゴ認証を実装する例示的なネットワーク環境100を示す。前記実施形態では、ネットワーク環境は、放送局に設置された1つまたは複数の放送局サーバ102を含む。放送局サーバ102は、例えば放送、同時放送、またはマルチキャスト送信によって、チャンネル送信を中継するために使用されうる。一例では、チャンネル送信は、アナログ送信を含む。放送局サーバ102は、例えば汎用コンピュータデバイス、(クラスターまたはサーバファームとして配置された)多重ネットワークサーバ、メインフレーム等を含む多種の従来のコンピュータデバイスとして実装されてもよい。
放送局サーバ102は、アンテナ106にチャンネル送信を中継するために、通信衛星104と通信する。1つの実施形態では、アンテナ106は、衛星アンテナである。しかし、他の実施形態では、アンテナ106は、他のタイプのアンテナを含んでもよい。一例では、アンテナ106は、各種ユーザにテレビネットワーク接続を提供するために、テレビサービスプロバイダの皿アンテナである。また、ネットワーク環境100は、各種放送局からチャンネル送信を受信するために、複数のアンテナ106を含んでもよいことが分かる。
また、アンテナ106は、集合的および個別にロゴ認証システム110として言及される1つまたは複数のロゴ認証システム110−1、110−2、...110−Nへネットワーク108を介して接続される。例えば、アンテナ106は、送信デバイス(図示せず)を介してロゴ認証システム110に接続される。ロゴ認証システム110は、セットトップボックス、テレビチューナカード、基地局(BTS)、コンピュータデバイス、テレビ受像機、ノートPC、個人用デジタル補助装置(PDA)等を含むがそれらに限定されない。1つの実装では、ロゴ認証システム110は、アナログ送信に基づく。また、ネットワーク108は、アナログ送信および受信時に実装される有線ネットワークでもよい。ネットワーク108は、ロゴ認証システム110にアンテナ106を接続するために、中継ボックスおよび信号ブースタ等の各種デバイスを含んでもよい。
各ロゴ認証システム110はまた、集合的および個別にユーザデバイス112として言及される1つまたは複数のユーザデバイス112−1、112−2、...112−Nへ通信可能に接続される。ユーザデバイス112は、例えばテレビセット、デスクトップPC、ノートブック若しくは携帯型コンピュータ、ワークステーション、メインフレームコンピュータ、モバイルコンピュータデバイス、娯楽デバイス、およびインターネット家電を含む多種の従来のコンピュータデバイスとして実装されてもよい。また、もう1つの実施形態では、ロゴ認証システム110は、複数のユーザデバイス112がロゴ認証システム110に接続できるようにする、中継ボックス等のマルチポートデバイスとして実装されてもよい。
また、ロゴ認証システム110は、ユーザデバイス112の外側で示されるが、ロゴ認証システム110は、ユーザデバイス112に統合および内部に提供されてもよいことが分かる。
1つの実施形態では、各ロゴ認証システム110は、テンプレートデータベース(図示せず)へ通信可能に接続される。1つの実装では、テンプレートデータベースは、ロゴ認証を達成するために、ロゴ認証システム110によって作成および投入される。本発明の実施形態によると、ロゴ認証システム110は、識別モジュール114および認証モジュール116を含む。
動作では、ロゴ認証システム110は、フィード映像を中継するチャンネルのロゴを識別する。一例では、ロゴは、チャンネルを識別するために、およびそのチャンネルに関する電子番組ガイド(EPG)を提供するために認証されうる。実装では、ロゴ認証システム110は、各種ロゴタイプ、例えば各種形状およびサイズの不透明なロゴ、不透明な表面および透明な背景を有するロゴ、アルファブレンドロゴ、動的な色(dynamic colour)を備えた静的ロゴ、および所定パターンのアニメーションを有するアニメのロゴを認証するように構成される。一例では、ロゴ認証システム110は、アルファブレンドロゴ、動的な色を備えた静的ロゴ、およびアニメのロゴ等の、特定のロゴの場合におけるダイナミシティ(dynamicity)の効果を低減するために、標準のフレーム技法を使用するように構成される。
1つの実装では、ロゴを認証するために、ロゴ認証システム110は、フィード映像のサンプルを記録し、テンプレートデータベースに格納されたテンプレートとそのサンプルとを比較する。前記実装では、ロゴ認証システム110は、テンプレートデータベースを作成し、テンプレートデータベースをテンプレートで更新する。テンプレートデータベースの作成の間、ロゴ認証システム110は、例えばテレビサービスプロバイダによって各種チャンネル上で中継され、ユーザデバイス112上に表示された見本映像を記録する。チャンネル上で中継された見本映像は通常、各種フレームの形式でユーザデバイス112上に表示される。また、識別モジュール114は、ロゴ認証システム110によってキャプチャされた各見本映像の1つまたは複数の関心領域(ROI)を識別する。一例では、識別モジュール114は、見本映像の1フレームの全ピクセルと、後続フレームの全ピクセルとを比較することによって、およびフレームの静的ピクセルを判断することによってROIを識別する。別の実装では、ROIは、例えばマウスまたはキーボードを用いて、ロゴ認証システム110を介してユーザデータベース112に接続された管理者によって各見本映像に手動で注釈付けされてもよい。ROIは、任意の対称または非対称の形状およびサイズでもよいことが分かる。1つの実施形態では、ロゴ認証システム110は、見本映像を記録する一方で、各見本映像のROIのみをキャプチャしてもよい。
ROIの識別時、ロゴ認証システム110は、見本映像の全フレームのROIにおけるピクセルの色を量子化し、それらを格納する。ピクセルの色の量子化は、ピクセルの色の値の量子化を含むことが分かる。
一度見本映像の全フレームのROIにおけるピクセルが量子化されると、識別モジュール114は、見本映像のこれらピクセルの中から、静的および非静的ピクセルを識別する。1つの実装では、静的および非静的ピクセルを識別するために、識別モジュール114は、確率的測定技法を採用することができる。例えば、識別モジュール114は、その見本映像の残りフレームにおける同じピクセルに対応する見本映像の1つのフレームにおける各ピクセルの色の量子化された値の分散を算出することができる。前記例では、色の量子化された値の分散は、静的および非静的ピクセルを識別するために、閾値と比較される。静的ピクセルが一般にロゴの一部でありロゴ認証に関連する場合に注目ピクセル(POI)としてマーク付けされる一方、非静的ピクセルは、“ホワイト”としてマーク付けされ、それは、非静的ピクセルが一般に動的映像の一部なのでロゴ認証に関連しないことを示す。
1つの実装では、見本映像のROI、例えばROIの第1のフレームにおける各ピクセルは、見本映像の“ホワイト”ピクセルおよびPOIを識別するために、上記方法で評価される。また、1つの実装では、識別モジュール114は、POIおよび“ホワイト”としてマーク付けされたROIにおけるピクセルと、POIの量子化された値とを見本映像に関するテンプレートに格納する。また、識別モジュール114は、テンプレートと共にテンプレートROIとして見本映像のROIを格納し、ROIをテンプレートに関連付ける。一例では、テンプレートROIは、ROIを描く境界の座標を含む。別の例では、ROIが円の領域である時、テンプレートROIは、円の中心の座標および円の半径を含んでもよい。また、各テンプレートは、管理者によって注釈付けされ、ロゴ認証システム110におけるレポジトリのロゴIDに関連付けられてもよい。1つの実装では、ロゴIDはまた、テンプレートに対応するチャンネルファイルのチャンネルに関連付けられてもよい。前記実施形態では、識別モジュール114は、チャンネルファイルのチャンネル毎に対応するテンプレートを取得するために、各種チャンネルに対応する全見本映像を処理する。
また、一例では、ロゴ認証の開始は、ロゴ認証システム110に接続されたユーザデバイス112がスイッチオンされた時、ロゴ認証システム110によって行われる。ユーザデバイス112がスイッチオンされた場合、ユーザによって選択されたチャンネル上で中継されたフィード映像は、ユーザデバイス112の画面上に表示される。ユーザは、放送局によって送信された各種チャンネルの中からチャンネルを選択する。ロゴ認証システム110は、ユーザデバイス112の画面上に表示されたフィード映像の複数のフレームを記録する。フィード映像のフレームは以下、フィードフレームとして言及される。
一度フィードフレームが1つの実装において記録されると、ロゴ認証システム110は、1つのフィードフレームとテンプレートデータベースの各テンプレートとを比較および照合する。前記実装では、識別モジュール114は、テンプレートとフィードフレームとを比較および照合する。前記実装では、フィードフレームとテンプレートとを比較する時、識別モジュール114は、テンプレートに関連付けられた情報に基づき、フィードフレームの関心領域(ROI)を識別する。一例では、識別モジュール114は、格納されテンプレートに関連付けられたテンプレートROIに基づき、フィードフレームのROIを識別し、故に2つのROIにおけるピクセルの一対一マッピングを達成する。
また、識別モジュール114は、テンプレートと比較されるべきフィード映像のROIにおけるPOIを識別する。前記実施形態では、識別モジュール114は、テンプレートの情報に基づきフィードフレームのPOIを識別する。一例では、識別モジュール114は、テンプレートに格納されたPOIを抽出し、フィードフレームにおいて同じPOIを識別およびマーク付けする。
フィードフレームのPOIに対するマーク付けの後、フィードフレームにおけるPOIの色は、量子化される。1つの実装では、POIの色は、見本映像におけるピクセルの色の量子化を参照して上記と同じ方法で量子化される。前記実装では、フィードフレームのPOIの色の量子化された値が格納され、後述するようにフィード映像のロゴを認証するために使用されうる。
POIの量子化時、認証モジュール116は、フィードフレームとテンプレートとを照合および比較する。実装では、認証モジュール116は、フィードフレームとテンプレートとを照合するために、フィードフレームにおいてマーク付けされたPOIとテンプレートにおいて対応するPOIとを比較する。前記実装では、認証モジュール116は、その量子化された色に基づきPOIを比較および照合する。前記実装では、認証モジュール116は、POIの比較に基づき、テンプレートに関する相関係数を算出し、相関係数の値は、例えばフィードフレームとテンプレートとに関する一致POIの数である。認証モジュール116は次いで、上記と同じ方法でテンプレートデータベースの各テンプレートに関する相関係数を算出する。また、認証モジュール116は、全テンプレートをマーク付けし、テンプレートの相関係数は、候補照合テンプレートとして閾照合値より上である。
その後、各候補照合テンプレートは次いで、上記と同じ方法で所定数の他のフィードフレームと比較および照合される。また、候補照合テンプレートとフィードフレームとの比較のために、認証モジュール116は、ロゴスコアを算出する。候補照合テンプレートと最大ロゴスコアとに基づき、認証モジュール116は、チャンネルファイルからロゴIDを判断する。実装では、ロゴIDに対応する照合チャンネルはまた、例えばチャンネルファイルから認証モジュール116によって判断される。
図2は、本発明の実施形態による、ロゴ認証システム110の例示的構成要素を示す。前記実施形態では、ロゴ認証システム110は、1つまたは複数のプロセッサ202、(複数の)入出力(I/O)インタフェース204、およびプロセッサ202に接続されたメモリ206を含む。
プロセッサ202は、単一の処理ユニットまたは複数のユニットでもよく、その全ては、複数のコンピュータユニットを含んでもよい。プロセッサ202は、1つまたは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理ユニット、状態マシン、論理回路、および/または動作命令に基づき信号を操作する任意のデバイスとして実装されてもよい。その他の機能として、プロセッサ202は、メモリ206に格納されたコンピュータ読取可能な命令およびデータをフェッチおよび実行するように構成される。
I/Oインタフェース204は、各種ソフトウェアおよびハードウェアインタフェース、例えばキーボード、マウス、外部メモリ、プリンタ等の(複数の)周辺デバイスに関するインタフェースを含んでもよい。I/Oインタフェース204は、例えばケーブル、LAN等の有線ネットワークや衛星、WLAN等の無線ネットワークを含むネットワーク108のような、多種のプロトコルおよびネットワーク内で複数の通信を容易にすることができる。I/Oインタフェース204は、ロゴ認証システム110をユーザデバイス112等の別のデバイスに接続するための1つまたは複数のポートを含むことができる。また、I/Oインタフェース204は、ウェブサーバおよび外部データベース等の他のコンピュータデバイスに対するロゴ認証システム110による通信を可能にする。
メモリ206は、例えばスタティックランダムアクセスメモリ(SRAM)およびダイナミックランダムアクセスメモリ(DRAM)等の揮発性メモリ、および/または読取専用メモリ(ROM)、消去可能プログラマブルROM、フラッシュメモリ、ハードディスク、光学ディスク、および磁気ディスク等の不揮発性メモリを含む従来知られた任意のコンピュータ読取可能な媒体を含むことができる。メモリ206はまた、(複数の)モジュール208およびデータ210を含む。
モジュール208は特に、ルーチン、プログラム、オブジェクト、構成要素、データ構造等を含み、特定のタスクを実行し、または特定の抽象データタイプを実装する。モジュール208はまた、例えば識別モジュール114、認証モジュール116、記録モジュール212、量子化モジュール214、および(複数の)他のモジュール216を含む。他のモジュール216は、ロゴ認証システム110上にアプリケーションおよび機能を補うプログラムまたはコード化された命令、例えばオペレーティングシステムのプログラムを含むことができる。
他方、データ210は特に、1つまたは複数のモジュール208によって処理され、受信され、および生成されたデータを格納するためのレポジトリとして働く。データ210は例えば、チャンネルデータ218、関心領域(ROI)データ220、分散データ222、フィードフレームデータ224、認証データ226、および他のデータ228を含む。他のデータ228は、他のモジュール216に1つまたは複数のモジュールの実行の結果として生成されたデータを含む。
動作では、認証モジュール116は、フィード映像が送信されるチャンネルのロゴを認証する。上記の通り、フィード映像は通常、ネットワーク108を介してテレビネットワークプロバイダによってチャンネル上で送信される。1つの実装では、認証モジュール116は、ユーザデバイス112に提供されたチャンネルのリストを有するチャンネルファイルを作成する。一例では、チャンネルファイルは、チャンネルのウェブサイトのURLおよびチャンネルIDを含む。別の実装では、チャンネルファイルは、ロゴ認証デバイス110を操作する管理者によって提供および格納される。実施形態では、チャンネルファイルは、チャンネルデータ218に格納される。
ロゴ認証に関して、ロゴ認証システム110は、チャンネルデータ218に格納されたテンプレートデータベースを作成および投入する。テンプレートデータベースは、ロゴ認証システム110の外部に実装されうることが分かる。テンプレートデータベースの作成のために、記録モジュール212は、例えばネットワークサービスプロバイダによってユーザデバイス112へ送信された全チャンネルの見本映像をキャプチャおよび記録する。ユーザデバイス112上に表示された単一の見本映像は、1つのチャンネルに対応してもよく、次々に表示される複数のフレームとして考えてもよい。故に、見本映像を記録するために、記録モジュール212は、見本映像の複数のフレームをキャプチャし、チャンネルデータ218にそれらフレームを格納する。一例では、見本映像毎に約1800フレームは、ロゴ認証の間にエラーを回避するために、約10から15分の間に各見本映像を記録することによって記録される。
一度フレームが記録されると、識別モジュール114は、上記の通り、見本映像毎に1つまたは複数のROIを識別するように構成されうる。ROIは、チャンネルのロゴが通常、例えばフレームの4つの端に位置するフレームの領域である。実装では、識別モジュール114は、見本映像の1つのフレームの全ピクセルと後続フレームの全ピクセルとを比較し、フレームの静的ピクセルを判断することによって、ROIを識別する。別の実施形態では、関心領域(ROI)は、マウスまたはキーボード等の周辺デバイスを用いて、見本映像毎に管理者によって手動で画定および注釈付けされる。また、テンプレートROIとして言及される見本映像のROIに関する情報は、ROIデータ220に格納される。一例では、ROIデータ220は、見本映像のROIを画定する境界の座標を含む。
一度見本映像のROIがマーク付けされると、量子化モジュール214は、見本映像のフレームにおける各ピクセルの色の量子化を達成する。説明目的のため、ピクセルの色は、ピクセルの色の値として理解されうる。ユーザデバイス112上に表示された見本映像の色は通常、UYVY色手法で示される。そのような手法では、ディスプレイが3つの256ビット色を使用する場合、その時色の値(colour values)の全数は、約256である。1つの実装では、量子化モジュール214は、色の値の量子化を達成し、HSVの各ピクセルの色を示す。一例では、見本映像のROIにおける全ピクセルの色は、例えば量子化された2進インデクスを用いて色が量子化HSV手法で示される時、36(0から35)セットの値によって示される。
また、識別モジュール114は、見本映像のフレームにわたり静的および非静的ピクセルを判断する。識別モジュール114は、ロゴ認証に関するピクセルを識別するために静的および非静的ピクセルを識別する。例えば、見本映像のフレームにわたるほとんどの静的ピクセルは、ピクセルがチャンネルの静的ロゴの一部であることを示す。他方、チャンネルのフレームにわたる動的ピクセルは、ピクセルが、表示されている見本映像の一部であることを示す。
見本映像の静的および動的ピクセルを識別するために、1つの実装では、識別モジュール114は、見本映像の1つのフレームからの各フレームの色の分散を、見本映像の残りフレームにおける同じピクセルに対して算出する。ピクセルの色の分散は、ピクセルの色の標準偏差または差異(variance)を算出することによって算出されうる。また、識別モジュール114は、分散データ222におけるピクセルに関する分散の値を格納することができる。
また、識別モジュール114は、静的および動的ピクセルを識別するために、見本映像のフレームにわたる各ピクセルに関して算出された分散と、分散の所定の閾値とを比較する。分散の閾値は、他のデータ228に格納されてもよい。例えば、分散の値が閾値より小さい場合、ピクセルがほとんど静的ピクセルであり、故にロゴの一部であることを示す。識別モジュール114は、そのようなピクセルを注目ピクセル(POI)としてマーク付けする。逆に、分散の値が閾値より大きい場合、ピクセルが動的であり、映像の一部であることを示す。そのようなピクセルは、識別モジュール114によって“ホワイト”としてマーク付けされ、ロゴ認証に関して考慮されない。
また、POIおよびPOIの量子化された色の値と、マーク付けされた“ホワイト”ピクセルとは、テンプレートデータベースに保存される。これら格納された“ホワイト”ピクセル、POI、およびPOIの量子化された色の値は、テンプレートとして言及される。1つの実装では、1つのテンプレートは、1つの見本映像、即ち1つのチャンネルに関して保存される。上記の通り、各テンプレートは、ロゴIDに関連付けられ、チャンネルデータ218のテンプレートデータベースに格納される。ロゴIDはまた、チャンネルデータ218のチャンネルファイルにおけるチャンネルIDに関連付けられてもよい。
また、上記と共に、テンプレートROIとして言及される、見本映像のROIに関する情報はまた、例えばROIデータで抽出および格納される。一例では、テンプレートROIが長方形エリアを有する時、ROIデータ220は、長方形の一つの角の座標と、長方形の幅および高さとを含む。別の例では、テンプレートROIが円領域の時、ROIデータ220は、円の中心座標と、円の半径とを含む。また、ROIデータ220は、テンプレートROIに関する情報をテンプレートに格納された情報に関連付けるために、チャンネルデータ218に関連付けられる。ロゴ認証システム110は、チャンネルデータ218でテンプレートデータベースを作成および投入するために、上記方法で全見本映像を処理する。また、見本映像毎のテンプレートROIは、ROIデータ220に格納され、チャンネルデータ218の対応するテンプレートに関連付けられる。チャンネルデータ218に格納され、ROIデータ220の対応するROIテンプレートに関連付けられた見本映像毎のテンプレートを用いて、チャンネルデータ218のテンプレートデータベースが作成される。
ロゴ認証システム110の動作中、認証モジュール116は、フィード映像がチャンネル上で中継され、ユーザデバイス112上で表示される時、例えばユーザデバイス112のユーザがフィード映像を視聴するためにユーザデバイス112をスイッチオンした時、チャンネルのロゴに対するロゴ認証を開始する。別の例では、認証モジュール116は、ロゴ認証システム110を動作する管理者によって促された時、ロゴ認証を開始してもよい。
見本映像と同様に、ユーザデバイス112上に表示されたフィード映像は、後に表示される複数のフレーム形式である。記録モジュール212は、フィード映像の複数のフレームをキャプチャおよび記録し、それらフレームをフィードフレームデータ224に格納する。
ロゴ認証システム110は、フィードフレームとテンプレートデータベースのテンプレートとを比較および照合することによって、フィード映像のロゴを認証する。1つの実装では、認証モジュール116は、複数のフィードフレームからの1つのフィードフレームと各テンプレートとを比較する。フィードフレームとテンプレートとを比較するために、識別モジュール114は先ず、フィードフレームの関心領域(ROI)を識別する。1つの実装では、識別モジュール114は、チャンネルデータ218のテンプレートに関連付けられたROIデータ220に基づき、フィードフレームのROIを識別する。一例では、識別モジュール114は、ROIデータのテンプレートROIに基づきフィードフレームのROIを識別する。
一度フィードフレームのROIが識別されると、識別モジュール114は、フィードフレームのPOIを識別する。1つの実装では、フィードフレームのPOIは、チャンネルデータ218に格納されたテンプレートのPOIに基づき識別される。故に、前記実装では、テンプレートROIに存在するテンプレートのPOIと同様、フィードフレームのPOIは、フィードフレームのROIで識別される。
フィードフレームにおけるPOIの識別時、量子化モジュール214は、POIの色を量子化する。1つの実装では、量子化モジュール214は、上記の通り、UYVY色フォーマットで初めに示され、HSV色手法でPOIの色を示すPOIの色を量子化する。故に、前記実装では、POIの色、例えば赤、青、および緑の色は、各色の256値の代わりに、37セットの値で示される。フィードフレームのPOIの色は、認証データに格納され、上記の通り、認証モジュール116によってロゴ認証で使用される。
後に、1つの実装では、認証モジュール116は、フィードフレームとテンプレートとを比較および照合する。前記実装では、認証モジュール116は、例えばピクセルの量子化された色に基づき、フィードフレームのPOIとテンプレートのPOIとを比較および照合する。フィードフレームとテンプレートとの比較時、認証モジュール116は、そのテンプレートに関する相関係数を算出する。一例では、相関係数は、フィードフレームおよびテンプレートにおいて類似するPOIの数を示す。テンプレートに関して算出された相関係数は、認証データ226に格納されてもよい。
上記の通り、1つの実装では、テンプレートに関して算出された相関係数が閾照合値より大きい場合、認証モジュール116は、候補照合テンプレートとしてテンプレートをマーク付けする。一度相関係数がテンプレートに関して算出されると、認証モジュール116は、フィードフレームとテンプレートデータベースの後続テンプレートとを比較および照合する。
フィードフレームと後続テンプレートとの照合のために、認証モジュール116は、先のテンプレートとの比較時と同じ方法でフィードフレームを処理する。認証モジュール116は、後続テンプレートの情報に基づき、フィードフレームのPOIとROIとを識別し、次いで後続テンプレートに関する相関係数を算出する。
認証モジュール116は、上記と同じ方法で、テンプレートデータベースの全テンプレートとフィードフレームとを比較および照合し、各テンプレートに関して相関係数を算出する。また、認証モジュール116は、相関係数が閾照合値より大きい全テンプレートを候補照合テンプレートとしてマーク付けする。
また、1つの実装では、認証モジュール116は、全候補テンプレートと、所定数のフィードフレーム、例えばフィードフレームデータ224において先に比較されたフィードフレーム以外の、8つのフィードフレームとを比較する。一例では、候補照合テンプレートと比較すべき所定数のフィードフレームは、ランダムに選択される。所定数のフィードフレームと比較される候補照合テンプレート毎に、認証モジュール116は、候補照合テンプレート毎にロゴスコアを算出する。
一例では、ロゴスコアは、候補フレームに一致する所定数のフィードフレームからのフィードフレーム数を示す。また、最大ロゴスコアを有する候補照合テンプレートに基づき、認証モジュール116は、例えばチャンネルデータ218からロゴIDを判断する。実装では、認証モジュール116はまた、例えばチャンネルデータ218のロゴIDに関連付けられたチャンネルIDに基づき、ロゴが属する照合チャンネルを識別することができる。
実装では、候補テンプレートが取得された後、認証モジュール116は、候補テンプレートが単一のチャンネルに対応するか否かを判断することができる。候補テンプレートが単一のチャンネルに対応する場合、そのチャンネルは、照合チャンネルとして判断される。候補照合フレームが1つより多いチャンネルに対応する場合、照合チャンネルは、上記方法で判断される。
他方、全テンプレートに関する相関パラメータの値が閾照合値を越えない場合、認証モジュール116は、フィード映像に関するチャンネルが新たなロゴを備えた古いチャンネルまたは新たなチャンネルの何れかであることを推定する。そのような場合、認証モジュール116は、例えばフィード映像のフレームでマーク付けされたPOIに基づき、フィード映像に関するテンプレートを作成するようにロゴ認証システム100を促し、テンプレートデータベースにテンプレートを格納し、テンプレートROIに関する情報とテンプレートデータベースのテンプレートとを関連付ける。
本発明の局面によると、一度照合チャンネルが識別されると、ロゴ認証システム110は、各種目的のためにチャンネルデータ218の情報を使用することができる。一例では、チャンネルのウェブサイトのURLを含みうるチャンネルデータ218に基づき、ロゴ認証システム110は、チャンネルのウェブサイトからチャンネルに関する電子番組ガイド(EPG)を取得することができる。
別の例では、記録モジュール212は、ユーザデバイス112のユーザによって提供された、時間持続(time duration)等の入力に基づきチャンネルからの映像を記録するように構成できる。記録モジュール212は、中継されたチャンネルがプログラムを示すか、または広告によって遮断されたプログラムであるかを判断するためにロゴ認証を使用することができる。前記例では、記録モジュール212は、チャンネルがロゴ認証システム110によって達成されたロゴ認証に基づきロゴがないことを判断することによって、広告を示すことを判断する。また、記録モジュール212は、ロゴが映像にない間、映像の記録を中断するように構成されてもよい。
また、1つの実装では、例えば第2のフィード映像がもう1つのチャンネル上で送信される前の所定の短い時間間隔で青または黒い画面による、1つのチャンネル上で中継された第1のフィード映像の遮断によって、ロゴ認証システム110がユーザデバイス112でチャンネルの変化を識別する時、ロゴ認証は、第2のフィード映像に関して開始される。
図3および4は、本発明の実施形態による、ロゴ認証の方法を示す。実施形態では、ロゴ認証の方法は、ロゴ認証システム110等のロゴ認証システムによって達成される。この方法は、ロゴ認証システム110に照らして説明されるが、類似の機能を有する他のシステムも使用できることが分かる。
例示的な方法は、コンピュータ実行可能な命令に一般に照らして説明されうる。一般に、コンピュータ実行可能な命令は、ルーチン、プログラム、オブジェクト、構成要素、データ構造、プロシージャ、モジュール、ファンクション等を含み、特定の機能を実行するか、または特定の抽象データタイプを実装する。方法はまた、通信ネットワークを介してリンクされたリモート処理デバイスによってファンクションが実行される、分散されたコンピュータ環境で実行されてもよい。分散されたコンピュータ環境では、コンピュータ実行可能な命令は、メモリ格納デバイスを含むローカルおよびリモートコンピュータ格納メディアの両方に位置してもよい。
方法が説明される順序は、限定することを意図せず、任意数の説明された方法ブロックは、方法または代替の方法を実装するために任意の順序で結合されうる。また、個々のブロックは、ここで説明した本発明の精神および範囲から逸脱することなく方法から削除されてもよい。また、方法は、任意の適切なハードウェア、ソフトウェア、ファームウェア、またはそれら組合せで実装されうる。
図3は、本発明の実施形態による、ロゴ認証のための例示的な方法300を示す。図3を参照すると、ブロック302で、以下フィードフレームとして言及される、フィード映像の複数のフレームが取得される。一例では、記録モジュール212は、ロゴ認証システム110において、およそ10から15分の所定期間にフィード映像を記録する。上記の通り、一例では、記録モジュール212は、チャンネル上で送信されたフィード映像がユーザデバイス112等のユーザデバイス上に表示される時記録し始める。フィード映像は通常、放送局によってチャンネル上で中継され、複数のフレーム形式でユーザデバイス112において受信される。フィードフレームが取得された後、フィードフレームの1つは、例えば認証モジュール116によって複数のフィードフレームから選択され、またロゴを認証するために使用される。
ブロック304で、フィードフレームは、テンプレートデータベースのテンプレートと比較される。実装では、テンプレートは、例えば認証モジュール116によってランダムに選択され、比較のために取得される。一例では、テンプレートは、各種チャンネル上で中継された見本映像を処理することによって、チャンネルデータ218のテンプレートデータベースに予め格納され、送信され、ユーザデバイス112上に表示される。故に、テンプレートは、放送局によって送信された1つのチャンネルに対応する。テンプレートデータベースの作成のために見本映像を処理する方法は、図4を参照して詳細に理解される。
また、フィードフレームとテンプレートとの比較を達成するために、関心領域(ROI)と1つまたは複数の注目ピクセル(POI)とは、フィードフレームで識別される。例えば、ROIおよびPOIは、識別モジュール114によって識別される。前記例では、識別モジュール114は、チャンネルデータ218のテンプレートに関連付けられた、ROIデータ220に基づきフィードフレームでROIを識別する。ROIデータは、かなり類似したROIがフィードフレームで識別されることに基づき、テンプレートROIに関する情報を含むことができる。また、フィードフレームのROIにおけるPOIは、チャンネルデータ218に格納された情報、例えばテンプレートデータベースの作成の間に格納されたテンプレートのPOIに関する情報に基づき識別される。前記例では、テンプレートのPOIとフィードフレームのPOIとは、一対一マッピングに従って互いにマッピングされる。
また、フィードフレームのPOIが識別された後、POIの色の量子化が達成される。実装では、UYVY色手法で初めに示されたPOIの色は、HSV色手法で量子化および示される。一例では、フィードフレームのPOIの色の量子化は、量子化モジュール214によって達成される。
フィードフレームのPOIの色の量子化の後、フィードフレームは、テンプレートと比較される。1つの実装では、フィードフレームのPOIは、フィードフレームおよびテンプレートのPOIの量子化された色に基づき、テンプレートのPOIと比較される。また、フィードフレームおよびテンプレートの照合に基づき、相関係数は、テンプレートに関して算出される。1つの実装では、フィードフレームおよびテンプレートの比較と、相関係数の後続の算出とは、認証モジュール116等の認証モジュールによって実行される。
ブロック306で、判断は、係数パラメータの値が閾照合値より大きいかを確認するために行われる。1つの実装では、閾照合値は、例えばいくつかの使用ケースシナリオに基づき予め定められる。一例では、閾照合値は、約0.75であり、テンプレートのPOIの約75%がフィードフレームのPOIに類似することを示す。
係数パラメータの値が閾照合値より大きい場合(ブロック306からの“はい”分岐)、テンプレートは、例えば認証モジュール116によって、ブロック308で候補照合テンプレートとしてマーク付けされる。他方、係数パラメータの値が閾照合値より小さい場合(ブロック306からの“いいえ”分岐)、ブロック310に示す通り、テンプレートデータベースに任意の他のテンプレートがあるか、および残りのテンプレートがフィードフレームと比較されたかが判断される。
ブロック310で、テンプレートデータベースの全テンプレートがフィードフレームと比較されたか否かが確認される。1つの実施形態では、全テンプレートがフィードフレームと比較されたかの確認は、チャンネルデータ218等のチャンネルデータのチャンネルファイルに基づき、認証モジュール116によって実行される。全テンプレートが比較されていないと確認された場合(ブロック310からの“いいえ”分岐)、残りのテンプレートは、例えば上記と同じ方法でブロック304において、認証モジュール116によってフィードフレームと比較される。また、相関パラメータは、各テンプレートに関して算出され、相関パラメータは、ブロック308で候補照合テンプレートを識別およびマーク付けするために、ブロック306の説明の通り、閾照合値と比較される。
他方、テンプレートデータベースの全テンプレートがフィードフレームと比較されたことが確認された場合(310からの“はい”分岐)、任意の候補照合テンプレートがあるか否かがブロック312でさらに確認される。
ブロック312で、フィードフレームと比較された、テンプレート毎の相関パラメータの値が閾照合値より小さいか否かが判断される。実装では、ブロック312の判断は、認証モジュール116によって達成される。ブロック312の判断は、フィードフレームに対応するフィード映像に関するテンプレートがテンプレートデータベースにあるか否かを確認するために達成される。
ブロック312で行われた判断が、テンプレートデータベースの全テンプレートに関する相関パラメータの値が閾照合値より小さいことを確認した場合(ブロック312からの“はい”分岐)、フィードフレームが中継されるチャンネルがチャンネルデータ218にないか、またはフィードフレームに対応するロゴがテンプレートデータベースにない、即ちチャンネルが新しいか、またはロゴが新しいかを示す。
続いて、ブロック314で、テンプレートは、フィードフレームに基づき作成され、テンプレートデータベースに格納される。また、1つの実施形態では、ロゴ認証システム110を動作させる管理者は、クエリフィードフレームに関して作成されたテンプレートを対応するロゴIDおよびチャンネルIDに関連付け、チャンネルデータ218、例えばチャンネルデータ218のチャンネルファイルに格納される。
逆に、ブロック312で行った判断が、全テンプレートに関する相関パラメータの値が閾照合値より小さいことをもたらす場合(ブロック312からの“いいえ”分岐)、1つまたは複数の候補照合テンプレートがあることを示し、方法は、ブロック316に移行する。
1つまたは複数の候補照合フレームがあるとブロック312で判断された後、ブロック316で、候補照合テンプレートが単一のチャンネルに対応するか否かが判断される。1つの実装では、そのような判断は、チャンネルデータ218に基づき、例えばチャンネルデータ218のチャンネルリストに基づき認証モジュール116を使用して行われる。候補照合テンプレートがチャンネルリストの単一のチャンネルに対応するとブロック316で判断された場合(ブロック316からの“はい”分岐)、方法は、ブロック318に移行する。
しかし、候補照合テンプレートがチャンネルリストの単一のチャンネルに対応しないと判断された場合(ブロック316からの“いいえ”分岐)、候補照合テンプレートはまた、ブロック320で処理される。
ブロック318で、候補照合テンプレートが対応するチャンネルは、候補照合フレームがブロック316で単一のチャンネルに対応する時、チャンネルデータ218に基づき判断され、照合チャンネルとして選択される。照合チャンネルのチャンネルIDに基づき、ロゴは、照合チャンネルのチャンネルIDに関連付けられたロゴIDからのチャンネルデータ218から識別される。一度一つの候補照合テンプレートがテンプレートとフィードフレームとの比較後に取得された場合、その候補照合テンプレートに対応するチャンネルは、照合チャンネルとして選択され、照合チャンネルに関するロゴは、上記の通り識別される。
また、候補照合テンプレートがブロック316で単一のチャンネルに対応しない時、ブロック320で候補照合テンプレートは、所定数のフィードフレームと比較される。一例では、候補照合テンプレートは、8つのフィードフレームと比較され、それは、ブロック302で取得された複数のフィードフレーム以外からランダムに選択される。故に、前記例では、各候補テンプレートと比較された全フレーム数は、9つである。
1つの実装では、候補照合テンプレートとフィードフレームとの比較は、ブロック304の説明と同じ方法で達成される。候補照合テンプレートと各フィードフレームとの比較に基づき、ロゴスコアは、候補照合テンプレート毎に算出される。候補照合テンプレートのロゴスコアは、一例では、相関係数が閾照合値より大きい9つのフィードフレーム以外のフィードフレーム数を示す。
また、ブロック322で、フィード映像のロゴは、最大ロゴスコアを有する候補照合テンプレートに基づき判断される。一例では、ロゴは、最大累積ロゴスコアを備えた候補照合テンプレートに基づき判断される。別の例では、各候補照合テンプレートのロゴスコアは、平均化され、ロゴは、最大平均ロゴスコアを備えた候補照合テンプレートに基づき判断される。1つの実装では、最大ロゴスコアを有する候補照合テンプレートに関連付けられたロゴIDは、チャンネルデータ218に基づきロゴを認証するために判断される。また、一度ロゴが認証されると、ロゴIDはまた、チャンネルデータ218のロゴIDに関連付けられた照合チャンネルを識別するために使用されてもよい。例えば、チャンネルファイルのロゴIDに関連付けられたチャンネルIDは、照合チャンネルを判断するために使用される。
1つの実装では、チャンネルが照合チャンネルとして識別された後、チャンネルに関する電子番組ガイド(EPG)は、照合チャンネルのチャンネルIDに基づき取得されてもよい。一例では、チャンネルのリストにチャンネルのURLを含みうる、チャンネルデータ218のチャンネルリストに基づき、チャンネルIDに関するEPGは、インターネット等のネットワークを介してチャンネルのウェブサイトに接続することによって取得されてもよい。
別の例では、ロゴ認証は、チャンネル上で送信された映像の記録を調節するために使用されてもよい。ロゴ認証システム110における記録モジュール212等の記録モジュールは、ユーザデバイス112のユーザによって提供された時間持続等の入力に基づきチャンネルから映像を記録するように構成されてもよい。
本発明によるロゴ認証の方法は、中継されたチャンネルがプログラムを示すか、または広告によって遮断されたプログラムであるかを判断するために使用されてもよい。前記例では、チャンネルが広告を示すか否かの判断は、本発明によるロゴ認証に基づき、ロゴがないことを判断することによって達成される。また、映像の記録は、ロゴが映像にない間に中断されうる。
図4は、本発明の実施形態による、ロゴ認証に関するテンプレートデータベースを作成するための例示的な方法400を示す。テンプレートデータベースの作成のために、チャンネルリストの各種チャンネルからの見本映像が記録される。また、これら見本映像は、見本映像毎に1つまたは複数のテンプレートを取得するために処理される。見本映像の処理から取得された各テンプレートは、その見本映像を中継するチャンネルに対応する。
ブロック402で、チャンネル上で中継される見本映像の複数のフレームが取得される。見本映像の複数のフレームは、例えばおよそ10から15分の所定期間見本映像を記録することによって、取得される。1つの実施形態では、見本映像の複数のフレームは、記録モジュール212によって取得される。
ブロック404で、1つまたは複数の関心領域(ROI)は、複数のフレームで識別される。1つの実施形態では、ROIは、識別モジュール114等の識別モジュールによって識別される。実装では、識別モジュール114は、見本映像の1つのフレームの全ピクセルと後続フレームの全ピクセルとを比較し、フレームの静的ピクセルを判断することによって、ROIを識別する。別の実施形態では、関心領域(ROI)は、マウスまたはキーボード等の周辺デバイスを使用して見本映像毎に管理者によって手動で画定および注釈付けされる。また、テンプレートROIとして言及される、見本映像のROIに関する情報は、ROIデータ220等のROIデータに格納される。一例では、ROIデータ220は、見本映像のROIを画定する境界の座標を含む。
また、ブロック406で、フレームのROIにおけるピクセルの色が量子化される。ピクセルの色の量子化は、ピクセルの色の値の量子化として理解されうる。テンプレート映像のピクセルの色は通常、UYVY色手法等の合成色手法で示される。1つの実施形態では、量子化モジュール214等の量子化モジュールは、ピクセルの色を量子化し、単一色手法でそれらを示す。例えば、ピクセルの色が量子化され、HSV手法で示される。前記例では、赤、青、および緑等の色の256値は、これら色の値の36セットで示されるように量子化される。
一度ピクセルの色がブロック406で量子化されると、分散の定量値(quantitative value)は、ブロック408でフレームにわたりピクセル毎に算出される。例えば、分散は、フィード映像のフレームにわたる同じピクセルに関する色の標準偏差および/または差異を算出することによって算出される。また、前記例では、フレームにわたる色の分散は、ROIの全ピクセルに関して算出される。一例では、ブロック406の算出は、識別モジュール114によって達成され、分散データ222に格納される。
またブロック410では、判断は、ピクセルの色の分散の値が閾値より小さいか否かを確認するために行われる。ブロック410でのそのような判断は、ピクセルが静的または非静的であるかを識別することを支援する。上記説明の通り、静的ピクセルは通常、チャンネルのロゴの一部であり、ロゴ認証に関する一方で、動的ピクセルは通常、チャンネルの中継された映像の一部またはロゴの透明な背景の一部であり、ロゴ認証に関しなくてもよい。実施形態では、ブロック410での判断は、閾値に基づき識別モジュール114によって達成される。一例では、分散の閾値は、使用ケースに基づき予め決められてもよい。
ブロック410で行われた判断が、ピクセルの色の分散の値が閾値より小さいと確認した場合(ブロック410からの“いいえ”分岐)、ピクセルは、ブロック412で“ホワイト”としてマーク付けされ、それはピクセルが非静的であり、ロゴ認証に関連しないことを示す。
他方、判断が、ピクセルの色の分散の値が閾値より小さいと確認した場合(ブロック412からの“はい”分岐)、ピクセルは、ブロック414で注目ピクセル(POI)としてマーク付けされ、それはピクセルが静的であり、故にロゴ認証に関連することを示す。
分散の代わりに、他の確率的測定技法を使用してピクセルが静的または非静的であるかを識別してもよいことが分かる。
また、ブロック416で、全ピクセルが各種フレームにわたる分散の値に基づき、POIまたは“ホワイト”としてマーク付けされたかを確認する。そうでない場合、見本映像の残りピクセルは、ブロック410、412および414の説明と同じ方法で処理される。
全ピクセルがマーク付けされた場合(ブロック416からの“はい”分岐)、フレームに関して識別された1つまたは複数のテンプレート特性は、ブロック418で格納される。1つの実装では、テンプレート特性は、POIの量子化された色、およびレファレンス、例えばPOIおよびホワイトピクセルの位置決めを含む。これらテンプレート特性は、見本映像に関するテンプレートとして保存される。前記実装では、テンプレートは、チャンネルデータ218のテンプレートデータベースに格納される。また、テンプレートは、ROIデータ220、例えばROIデータ220のテンプレートROIに関連付けられる。上記説明の通り、チャンネルに対応するテンプレートはまた、チャンネル、例えばロゴ認証のためにチャンネルファイルのロゴIDに関連付けられる。ロゴIDは次に、一度ロゴが認証された場合にチャンネルを識別するために、チャンネルIDに関連付けられる。
方法400は、各種チャンネルに関する記録モジュール212によって記録された全見本映像に対して反復され、1つまたは複数のテンプレートは、見本映像毎に取得される。全テンプレートは、テンプレートデータベースに格納され、図3を参照して説明した通り、ロゴ認証のためにロゴ認証システム110によって使用される。
上記説明は、静的ロゴの認証に関連して与えられたが、同じ考えが他のタイプのロゴ、例えばアルファブレンドロゴ、動的な色を備えた静的ロゴ、および所定パターンのアニメーションを有するアニメのロゴに対する認証に拡張されうることが分かる。
ロゴ認証のための実施形態が構造上の特徴および/または方法に対して特に説明されたが、本願の対象は、上記特定の特徴または方法に特に限定されないことが分かる。むしろ、特定の特徴および方法は、ロゴ認証の例示的な実施形態として開示される。また、システムおよび方法は、ロゴ認証によってチャンネル識別に関連してここで説明されたが、ロゴ認証の考えが本願の対象の精神および範囲から逸脱することなく他の用途に拡張されうることが分かる。
108 ネットワーク
110 ロゴ認証システム
114 識別モジュール
116 認証モジュール

Claims (15)

  1. ロゴを認証するためにコンピュータ化された方法であって、
    ディスプレイから複数のフィードフレームを取得するステップであって、複数のフィードフレームからの各フィードフレームは、そこに埋め込まれたロゴを有する、取得するステップと、
    複数のフィードフレームからのフィードフレームの少なくとも1つの関心領域(ROI)と、複数のテンプレートからの各テンプレートとを比較するステップと、
    比較に基づき、各テンプレートに関する相関パラメータを算出するステップと、
    相関パラメータに基づき、少なくとも1つの候補照合テンプレートを識別するステップと、
    複数のフィードフレームからの所定数のフィードフレームに対する少なくとも1つの候補照合テンプレートの各々の比較に基づき、ロゴスコアを判断するステップと、
    ロゴスコアに基づき、ロゴを認証するステップと、
    を具備することを特徴とする方法。
  2. 比較するステップは、
    フィードフレームとの比較のために複数のテンプレートの中からテンプレートを取得するステップと、
    テンプレートに基づき、フィードフレームの関心領域(ROI)を判断するステップと、
    テンプレートのテンプレートROIに基づき、ROIの少なくとも1つの注目ピクセル(POI)を識別するステップと、
    ROIのPOIの色を量子化するステップと、
    POIの量子化された色に基づき、フィードフレームのROIのPOIと、テンプレートとを比較するステップと、
    を具備することを特徴とする請求項1に記載の方法。
  3. 複数のチャンネルの各々に対応する少なくとも1つの見本映像を処理するステップと、
    処理に基づき、複数のテンプレートを取得するステップであって、複数のチャンネルの各々は、複数のテンプレートの少なくとも1つに関連付けられる、取得するステップと、
    をさらに具備することを特徴とする請求項1に記載の方法。
  4. 認証するステップは、候補照合テンプレートを所定数のフィードフレームに対して照合するステップにさらに基づくことを特徴とする請求項に記載の方法。
  5. 複数のテンプレートの各々に関する相関パラメータが閾照合値より小さい場合、フィードフレームに基づきテンプレートを作成するステップをさらに具備することを特徴とする請求項1に記載の方法。
  6. ロゴは、静的ロゴであることを特徴とする請求項1に記載の方法。
  7. フィード映像を中継するチャンネルをロゴに基づき識別するステップをさらに具備することを特徴とする請求項1に記載の方法。
  8. 前記取得するステップは、
    見本映像の複数のフレームを取得するステップと、
    複数のフレームの各々の少なくとも1つの関心領域(ROI)を識別するステップと、
    複数のフレームの各々の少なくとも1つのROIのピクセルの色を量子化するステップと、
    複数のフレームにわたって静的ピクセルを識別するステップと、
    テンプレートデータベースの作成のためのフィードフレームとして複数のフレームのそれぞれに注釈を付けるステップと、
    を具備し、静的ピクセルは、ロゴ認証に関連することを特徴とする請求項1に記載の方法。
  9. 静的ピクセルを識別するステップは、
    複数のフレームにわたってピクセルの各々に関する色の分散を算出するステップと、
    静的ピクセルを識別するために、ピクセルの各々の色の分散と分散の閾値とを照合するステップと、
    を具備することを特徴とする請求項に記載の方法。
  10. ロゴ認証システム(110)であって、
    プロセッサ(202)と
    前記プロセッサに結合されかつ前記プロセッサにより実装される識別モジュール(114)であって、前記識別モジュールが、その中に埋め込まれたロゴを有する複数のフィードフレームを処理し、複数のフィードフレームの少なくとも1つの注目ピクセル(POI)を識別するように構成され、POIが静的ピクセルである、識別モジュールと、
    前記プロセッサに結合されかつ前記プロセッサにより実装される認証モジュール(116)であって、
    複数のフィードフレームの少なくとも1つのPOIと、複数のテンプレートの各々とを比較し、相関パラメータを算出し
    比較に基づき、複数のテンプレートからの少なくとも1つの候補照合テンプレートを識別し、
    複数のフィードフレームからの所定数のフィードフレームに対する少なくとも1つの候補照合テンプレートの各々の比較に基づき、ロゴスコアを判断するとともに、
    ロゴスコアに基づき、ロゴを認証するように構成された認証モジュールと、
    を具備することを特徴とするロゴ認証システム(110)
  11. 識別モジュール(114)は、フィードフレームと比較された複数のテンプレートから取得されたテンプレートに基づき、複数のフィードフレームの少なくとも1つのPOIを識別するようにさらに構成されることを特徴とする請求項10に記載のロゴ認証システム(110)。
  12. 識別モジュール(114)は、フィードフレームと比較された複数のテンプレートからのテンプレートに基づき、複数のフィードフレームの少なくとも1つの少なくとも1つの関心領域(ROI)を識別するようにさらに構成されることを特徴とする請求項10に記載のロゴ認証システム(110)。
  13. 識別モジュール(114)は、
    少なくとも1つの見本映像の複数のフレームの少なくとも1つのROIを識別し、
    見本映像の複数のフレームのROIの各々のピクセルがPOIか否かを判断し、
    判断に基づき、複数のテンプレートを作成する、
    ようにさらに構成される、請求項10に記載のロゴ認証システム(110)。
  14. 前記プロセッサに結合されかつ前記プロセッサにより実装される記録モジュール(216)であって、フィード映像をキャプチャするためのものである記録モジュールをさらに具備することを特徴とする請求項10に記載のロゴ認証システム(110)。
  15. 前記プロセッサに結合されかつ前記プロセッサにより実装される量子化モジュール(214)であって、フィード映像の複数のフレームの各々の関心領域(ROI)のピクセルの色を量子化するように構成された量子化モジュールをさらに具備することを特徴とする請求項10に記載のロゴ認証システム(110)。
JP2013547959A 2011-01-04 2012-01-03 ロゴ認証 Active JP5989004B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN22MU2011 2011-01-04
IN22/MUM/2011 2011-01-04
PCT/IN2012/000006 WO2012093407A2 (en) 2011-01-04 2012-01-03 Logo recognition

Publications (2)

Publication Number Publication Date
JP2014508341A JP2014508341A (ja) 2014-04-03
JP5989004B2 true JP5989004B2 (ja) 2016-09-07

Family

ID=45855975

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013547959A Active JP5989004B2 (ja) 2011-01-04 2012-01-03 ロゴ認証

Country Status (5)

Country Link
US (1) US9076071B2 (ja)
EP (1) EP2661720A2 (ja)
JP (1) JP5989004B2 (ja)
CN (1) CN103477349B (ja)
WO (1) WO2012093407A2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6193993B2 (ja) * 2012-07-16 2017-09-06 エルジー エレクトロニクス インコーポレイティド デジタルサービス信号処理方法及び装置
US9785852B2 (en) 2013-11-06 2017-10-10 Xiaomi Inc. Method, TV set and system for recognizing TV station logo
CN103634652B (zh) * 2013-11-06 2017-06-16 小米科技有限责任公司 台标识别方法、装置、电视机和系统
KR102155129B1 (ko) * 2014-03-26 2020-09-11 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 디스플레이 시스템
KR20150115314A (ko) * 2014-04-03 2015-10-14 삼성전자주식회사 디스플레이 장치, 이의 제어 방법, 서버, 이의 제어 방법, 채널 정보의 위치에 대한 정보를 검출하기 위한 시스템 및 이의 제어 방법
CN104023249B (zh) * 2014-06-12 2015-10-21 腾讯科技(深圳)有限公司 电视频道识别方法和装置
CN106067006A (zh) * 2016-06-07 2016-11-02 东软集团股份有限公司 用于识别新闻栏目的方法和装置
CN106682670B (zh) * 2016-12-19 2021-05-18 Tcl科技集团股份有限公司 一种台标识别方法及系统
US11373404B2 (en) 2018-05-18 2022-06-28 Stats Llc Machine learning for recognizing and interpreting embedded information card content
JP7420134B2 (ja) * 2019-03-28 2024-01-23 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US11521400B2 (en) * 2019-12-06 2022-12-06 Synamedia Limited Systems and methods for detecting logos in a video stream
US11080294B1 (en) * 2021-02-03 2021-08-03 Adlumin, Inc. Systems and methods for data analytics

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020336B2 (en) * 2001-11-13 2006-03-28 Koninklijke Philips Electronics N.V. Identification and evaluation of audience exposure to logos in a broadcast event
JP2005531971A (ja) * 2002-07-01 2005-10-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号処理システム
US8175413B1 (en) * 2009-03-05 2012-05-08 Google Inc. Video identification through detection of proprietary rights logos in media
US8359616B2 (en) * 2009-09-30 2013-01-22 United Video Properties, Inc. Systems and methods for automatically generating advertisements using a media guidance application
CN102063623B (zh) * 2010-12-28 2012-11-07 中南大学 一种结合自底向上和自顶向下的图像感兴趣区域提取方法

Also Published As

Publication number Publication date
JP2014508341A (ja) 2014-04-03
EP2661720A2 (en) 2013-11-13
WO2012093407A3 (en) 2012-09-07
WO2012093407A2 (en) 2012-07-12
CN103477349A (zh) 2013-12-25
CN103477349B (zh) 2017-05-31
US20140016864A1 (en) 2014-01-16
US9076071B2 (en) 2015-07-07

Similar Documents

Publication Publication Date Title
JP5989004B2 (ja) ロゴ認証
CN110933490B (zh) 一种画质和音质的自动调整方法、智能电视机及存储介质
US9620118B2 (en) Method and system for testing closed caption content of video assets
US20160366463A1 (en) Information pushing method, terminal and server
US8023746B2 (en) Systems and methods for decoding an image to determine a digital identifier
CN107534796A (zh) 检测视频节目的片段
US20170017651A1 (en) System and method for improving work load management in acr television monitoring system
US20140208340A1 (en) Dynamic content rating management across a variety of television input sources
WO2011130564A1 (en) Platform-independent interactivity with media broadcasts
US20130315445A1 (en) Systems, methods and apparatus for providing content based on a collection of images
CN112435244A (zh) 直播视频的质量评价方法、装置、计算机设备和存储介质
JP4740706B2 (ja) 不正画像検出装置、方法、プログラム
KR20200091715A (ko) 마스킹 영역 처리 시스템 및 방법
CN111866058A (zh) 数据处理方法及系统
US9894412B2 (en) Method and system for detection of television advertisements using broadcasting channel characteristics
US20220335078A1 (en) Methods and apparatus to detect unconfined view media
US8695068B1 (en) Device authentication using display device irregularity
US11675775B2 (en) Systems and methods for improving accuracy of device maps using media viewing data
CN110619362B (zh) 一种基于感知与像差的视频内容比对方法及装置
US20150370875A1 (en) Content creation method, content registration method, devices and corresponding programs
US20160173916A1 (en) Information pushing method and system, cloud server and information server
US20170188104A1 (en) Information Pushing Method, Terminal and System for Electronic Program Guide Interface
CN111614991B (zh) 视频进度确定方法、装置、电子设备及存储介质
US20240107105A1 (en) Qr attribution
CN115396661A (zh) 设备解码性能确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160809

R150 Certificate of patent or registration of utility model

Ref document number: 5989004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250