JP6479804B2 - マルチメディアコンテンツの視聴者と対話するための方法およびシステム - Google Patents

マルチメディアコンテンツの視聴者と対話するための方法およびシステム Download PDF

Info

Publication number
JP6479804B2
JP6479804B2 JP2016536124A JP2016536124A JP6479804B2 JP 6479804 B2 JP6479804 B2 JP 6479804B2 JP 2016536124 A JP2016536124 A JP 2016536124A JP 2016536124 A JP2016536124 A JP 2016536124A JP 6479804 B2 JP6479804 B2 JP 6479804B2
Authority
JP
Japan
Prior art keywords
multimedia content
piece
channel
identifier
audio fingerprint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016536124A
Other languages
English (en)
Other versions
JP2017511004A (ja
Inventor
ハイロン・リュウ
ダドン・シエ
ジエ・ホウ
ボ・チェン
Original Assignee
テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド filed Critical テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Publication of JP2017511004A publication Critical patent/JP2017511004A/ja
Application granted granted Critical
Publication of JP6479804B2 publication Critical patent/JP6479804B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/237—Communication with additional data server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H04L43/106—Active monitoring, e.g. heartbeat, ping or trace-route using time related information in packets, e.g. by adding timestamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

優先権主張および関連出願
本願は、2014年6月13日に出願した「Method and System for Video-Based Interaction with Audience」と題する中国特許出願第201410265948.X号に対する優先権を主張するものであり、引用によって上記中国出願の全体が本明細書に組み込まれる。
本願は、一般に、コンピュータ技術の分野に関し、より詳細には、マルチメディアコンテンツの視聴者と対話するための方法、関連するデバイス、およびシステムに関する。
最近、オーディオおよびビデオのようなマルチメディアコンテンツは、人々の日常生活の不可欠な部分になっている。視聴者は、テレビを見ること、ラジオを聞くこと、ビデオまたはオーディオをホストするウェブサイトを訪問すること等のような様々な方法によって、異なるタイプのマルチメディアコンテンツを受信し得る。マルチメディアコンテンツを受信した結果、視聴者は、マルチメディアコンテンツに関連したサービスまたは商品の品目への興味を抱くことがある。現在、サービスまたは商品のより多くの情報を得るために、視聴者は一般に(たとえば、サーチエンジンウェブサイトを使用して)、サービスまたは商品に関連した1つまたは複数のキーワードをサーチする必要がある。しかしながら、マルチメディアコンテンツと対話するそのような既知のアプローチ(すなわち、マルチメディアコンテンツの受信後のキーワードのサーチ)は、一般に、マルチメディアコンテンツとの視聴者の対話における遅延を引き起こす。これは、潜在的に、サービスまたは商品に対する視聴者の興味を、その後の商業活動(たとえば、サービスまたは商品を購入すること)に転換させる可能性を下げ得る。
したがって、視聴者が実質的にリアルタイムにまたは僅かな遅延でマルチメディアコンテンツと対話することを可能にし得る方法およびシステムに対するニーズがある。
マルチメディアコンテンツと対話する既知のアプローチに関連した上記欠点は、本明細書に記述された技術によって低減または除去され得る。
いくつかの実施形態では、マルチメディアコンテンツの視聴者と対話するための方法が開示される。この方法は、サーバデバイスにおいて実行され、サーバデバイスは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行されるべきプログラムを記憶するためのメモリとを含む。この方法は、クライアントデバイスのユーザへ提示されたマルチメディアコンテンツのピースに関連したデータを、クライアントデバイスから受信するステップを含む。マルチメディアコンテンツのピースは、マルチメディアコンテンツのピースのセットからのものである。マルチメディアコンテンツのピースに関連したデータは、クライアントデバイスのユーザによってクライアントデバイスへ提供された命令に応答して、クライアントデバイスにおいて取得される。いくつかの事例では、マルチメディアコンテンツのピースは、ビデオクリップまたはオーディオクリップであり、マルチメディアコンテンツのピースに関連したデータは、マルチメディアコンテンツのピースのオーディオフィンガープリントを含む。
この方法は、このデータに基づいて、マルチメディアコンテンツのピースのセットのための識別子のセットから、マルチメディアコンテンツのピースの識別子を決定するステップを含む。識別子のセットの各識別子は、マルチメディアコンテンツのピースのセットから、少なくとも1つのマルチメディアコンテンツのピースを識別する。いくつかの事例では、データは、マルチメディアコンテンツのピースのオーディオフィンガープリントを含む。そのような事例では、マルチメディアコンテンツのピースの識別子を決定するステップは、たとえば、データに含まれるオーディオフィンガープリントを、マルチメディアコンテンツのピースのセットのオーディオフィンガープリントのセットと比較するステップを含み得る。ここで、オーディオフィンガープリントのセットの各オーディオフィンガープリントは、マルチメディアコンテンツのピースのセットから、マルチメディアコンテンツのピースを一意に識別する。
この方法はまた、マルチメディアコンテンツのピースの識別子に基づいて、マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索するステップを含む。いくつかの事例では、インタラクティブなコンテンツは、マルチメディアコンテンツのピースに関連したインタラクティブなウェブページを含む。いくつかの事例では、マルチメディアコンテンツのピースは、視聴者に提示される広告であり、マルチメディアコンテンツのピースに関連したデータは、広告のオーディオフィンガープリントを含む。そのような事例では、たとえば、インタラクティブなコンテンツは、クライアントデバイスのユーザが広告に関連した製品を購入することを可能にするように構成され得る。さらに、この方法は、クライアントデバイスがクライアントデバイスのユーザへインタラクティブなコンテンツを提示するよう、インタラクティブなコンテンツをクライアントデバイスへ送信するステップをさらに含む。
いくつかの事例では、マルチメディアコンテンツのピースのセットが、チャネルのグループを介して、視聴者へ提示される。そのような事例では、この方法は、マルチメディアコンテンツの信号を受信するステップと、受信した信号に基づいて、マルチメディアコンテンツのオーディオフィンガープリントを定期的に決定するステップとを含み得る。この方法は、リアルタイムのオーディオフィンガープリントデータベースに記憶された、チャネルのグループの各チャネルを介して提示されたマルチメディアコンテンツに関連したオーディオフィンガープリントが定期的に更新されるよう、オーディオフィンガープリントをリアルタイムのオーディオフィンガープリントデータベースへ記憶するステップをさらに含み得る。
上述された事例では、データは、マルチメディアコンテンツのピースのオーディオフィンガープリントおよびタイムスタンプを含み得る。マルチメディアコンテンツのピースの識別子を決定するステップは、データに含まれるオーディオフィンガープリントを、リアルタイムのオーディオフィンガープリントデータベースに記憶されたオーディオフィンガープリントと比較して、チャネルのグループから、マルチメディアコンテンツのピースが提示されるチャネルを決定するステップを含み得る。マルチメディアコンテンツのピースの識別子を決定するステップは、データに含まれるチャネルおよびタイムスタンプに基づいて、所定のマルチメディアコンテンツデータベースから、マルチメディアコンテンツのピースの識別子を決定するステップをさらに含み得る。いくつかの事例では、所定のマルチメディアコンテンツデータベースは、マルチメディアコンテンツのピースのセットの各マルチメディアコンテンツのピースの識別子と、マルチメディアコンテンツのピースのセットの各マルチメディアコンテンツのピースの少なくともチャネルおよび継続時間の情報とを記憶する。
いくつかの実施形態では、サーバデバイスは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによる実行のための1つまたは複数のプログラムを記憶するメモリとを含む。1つまたは複数のプログラムは、サーバデバイスに対して、上述したように、マルチメディアコンテンツと対話するための方法を実行させる命令を含む。いくつかの実施形態では、非一時的なコンピュータ読み取り可能な記憶媒体は、1つまたは複数のプロセッサによる実行のための命令を含む1つまたは複数のプログラムを記憶する。これら命令は、1つまたは複数のプロセッサによって実行された場合、プロセッサに対して、上述したように、マルチメディアコンテンツと対話する動作を実行させる。
本願の前述した特徴および利点、ならびにその追加の特徴および利点は、図面と併せて理解されると、好ましい実施形態の詳細な説明の結果として、以下においてより明確に理解されるであろう。
いくつかの実施形態に従って、ユーザがマルチメディアコンテンツと対話することを可能にするように構成されたシステムを例示する概略図である。 いくつかの実施形態に従って、ユーザがマルチメディアコンテンツと対話することを可能にするために、クライアントデバイスにおいて実行される方法を例示するフローチャートである。 図2の方法を実行する際にマルチメディアコンテンツのデータをキャプチャするために、クライアントデバイスにおいて実行される方法を例示するフローチャートである。 いくつかの実施形態に従って、マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索および送信するために、サーバデバイスにおいて実行される方法を例示するフローチャートである。 いくつかの実施形態に従って、チャネルのグループを介して提示されるマルチメディアコンテンツの時間ストリームにおける継続時間のための識別子を決定するために、サーバデバイスにおいて実行される方法を例示するフローチャートである。 いくつかの実施形態に従って、ユーザがテレビ広告と対話することを可能にする処理を例示する概要図である。 いくつかの実施形態に従って、クライアントデバイスの構成を例示するブロック図である。 図7におけるクライアントデバイス内の受信モジュールの構成を例示するブロック図である。 いくつかの実施形態に従って、クライアントデバイスおよびサーバデバイス内のモジュールからなるシステムの構成を例示するブロック図である。 図9におけるシステム内の識別モジュールの構成を例示するブロック図である。 いくつかの実施形態に従って、クライアントデバイスおよびサーバデバイス内のモジュールからなる別のシステムの構成を例示するブロック図である。 図11におけるシステム内の関連付けモジュールの構成を例示するブロック図である。 いくつかの実施形態に従って、サーバデバイスの構成を例示するブロック図である。
同一の符号は、これら図面のいくつかの視点からの対応する部分を指す。実施形態に対する参照が詳細になされ、これらの例は、添付図面に例示される。以下の詳細な記述では、本明細書で提示されている主題の完全な理解を与えるために、多くの具体的な詳細が記述されている。しかしながら、この主題は、これら具体的な詳細無しで実現され得ることが当業者に明らかになるであろう。他の事例では、周知の方法、手順、構成要素、および回路は、実施形態の態様を不必要に不明瞭にしないように、詳細には記述されていない。
本願の目的、技術的解決策、および利点の理解を促進するために、本願の実施形態はさらに、添付図面を参照して以下に詳細に記述される。
図1は、いくつかの実施形態に従って、ユーザが、マルチメディアコンテンツと対話することを可能にするように構成されたシステム100を例示する概略図である。図1に図示されるように、システム100は、サーバデバイス70、クライアントデバイス50、および端末デバイス30を含む。サーバデバイス70は、(図1に図示されない)1つまたは複数のネットワークを介してクライアントデバイス50に動作可能に接続され、クライアントデバイス50と通信する。端末デバイス30は、たとえば衛星10のようなマルチメディアコンテンツのソースから、マルチメディアコンテンツを受信する。その後、端末デバイス30は、受信されたマルチメディアコンテンツを、ユーザ55へ提示する。それに加えて、図1に図示されるように、クライアントデバイス50は、ユーザ55によって操作される。ユーザ55は、端末デバイス30によって提示されたマルチメディアコンテンツを受信し、受信されたマルチメディアコンテンツと対話することに興味を持っているあらゆる人であり得る。
具体的には、端末デバイス30は、端末デバイス30のユーザ(たとえば、ユーザ55)へマルチメディアコンテンツを提示するように構成された任意のタイプの電子デバイスであり得る。端末デバイス30によって提示されるマルチメディアコンテンツは、たとえば、ウェブベースのビデオクリップ、テレビベースのビデオ番組、ウェブベースのオーディオクリップ、ブロードキャストされた無線、および/または、他の任意のタイプのマルチメディアコンテンツ、のような1つまたは複数のタイプのマルチメディアコンテンツであり得る。それに相応して、端末デバイス30は、たとえば、マルチメディアコンテンツを受信し提示するための、(ウェブブラウザ、メディアプレーヤ、スピーカ等が装備された)コンピュータ、テレビ、無線受信機、および/または、他の適切なデバイスであり得る。
いくつかの実施形態では、図1に図示されるように、端末デバイス30は、衛星10からマルチメディアコンテンツ(たとえば、ビデオコンテンツ、オーディオコンテンツ等)を受信し得る。そのような実施形態では、端末デバイス30は、衛星10からワイヤレス通信信号を受信するように構成されたワイヤレス受信機(たとえば、アンテナ)が装備されている。別の実施形態では、端末デバイス30は、他の任意の適切な方法で(たとえば、テレビケーブル、セルラーネットワーク、インターネット等を介して)マルチメディアコンテンツのソースから、マルチメディアコンテンツを受信するように構成される。
いくつかの実施形態では、端末デバイス30によって提示されるマルチメディアコンテンツの視聴者は、個人ユーザ(たとえば、ユーザ55)または多数のユーザであり得る。たとえば、端末デバイス30は、ユーザ(たとえばユーザ55)の家庭においてテレビ番組を見せるように構成されたテレビであり得る。別の例については、端末デバイス30は、ショッピングモールにおいて顧客への商業広告をするように構成されたショッピングモールにおける大画面ディスプレイであり得る。さらに別の例については、端末デバイス30は、輸送ツール(たとえば、ボート、車両、列車、飛行機等)内の乗客へ無線をブロードキャストするように構成された、輸送ツール内の無線受信機であり得る。
クライアントデバイス50は、ユーザ(たとえば、ユーザ55)が、端末デバイス30によって提示されたマルチメディアコンテンツと対話することを可能にするために、クライアント側デバイスとして機能するように構成された任意のタイプの電子デバイスであり得る。いくつかの実施形態では、そのようなクライアントデバイスは、たとえば、セルラー電話、スマートフォン、モバイルインターネットデバイス(MID)、携帯情報端末(PDA)、パームトップコンピュータ、タブレットコンピュータ、eリーダ、ラップトップコンピュータ、ハンドヘルドコンピュータ、ウェアラブルデバイス、デスクトップコンピュータ、車両端末、ポータブル電子デバイス、スマートテレビまたはディスプレイデバイスのコントローラ等であり得る。いくつかの実施形態では、そのようなクライアントデバイスは、たとえば、端末デバイス、ユーザデバイス、モバイルデバイス、ポータブルデバイス、パーソナル電子デバイス等と称され得る。
いくつかの実施形態では、クライアントデバイス50は、端末デバイス30によって提示されるマルチメディアコンテンツのオーディオコンテンツを受信およびキャプチャ(たとえば、記録)することができるデバイスまたは構成要素(たとえば、マイクロフォン、オーディオレコーダ)を含む。そのような実施形態では、以下に記述されるように、クライアントデバイス50は、ユーザ(たとえば、ユーザ55)が、マルチメディアコンテンツと対話することを可能にすることと関連してマルチメディアコンテンツのオーディオコンテンツをキャプチャするように構成される。クライアントデバイスの詳細は、図7〜図9および図11に関して以下に図示および記述される。
サーバデバイス70は、ユーザ(たとえば、ユーザ55)が、端末デバイス30によって提示されたマルチメディアコンテンツと対話することを可能にするためのサーバ側デバイスとして機能するように構成された任意のタイプのデバイスであり得る。そのようなサーバデバイス70は典型的には、1つまたは複数のネットワークを介して多数のクライアントデバイス(たとえば、クライアントデバイス50)と通信するように構成され得る。いくつかの実施形態では、サーバデバイス70は、たとえば、バックグラウンドサーバ、バックエンドサーバ、データベースサーバ、ワークステーション、デスクトップコンピュータ、クラウドコンピューティングサーバ、データ処理サーバ等であり得る。いくつかの実施形態では、サーバデバイス70は、2つ以上のサーバ(たとえば、データ処理サーバおよびデータベースサーバ)からなるサーバクラスタまたはサーバセンタであり得る。サーバデバイスの詳細は、図9〜図13に関して以下に図示および記述される。
図1に図示されていないが、クライアントデバイス(たとえば、クライアントデバイス50)およびサーバデバイス(たとえば、サーバデバイス70)を接続するネットワークは、1つまたは複数のクライアントデバイスを、1つまたは複数のサーバデバイスへ動作可能に接続し、クライアントデバイスとサーバデバイスとの間の通信を可能にするように構成された任意のタイプのネットワークであり得る。いくつかの実施形態では、そのようなネットワークは、たとえば、セルラーネットワーク、衛星ネットワーク、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、ワイヤレスローカルエリアネットワーク(WLAN)、インターネット等のような1つまたは複数のネットワークを含み得る。いくつかの実施形態では、そのようなネットワークはオプションとして、たとえばイーサネット(登録商標)、ユニバーサルシリアルバス(USB)、グローバル移動体通信システム(GSM(登録商標))、エンハンストデータGSM環境(EDGE)、汎用パケット無線サービス(GPRS)、ロングタームエボリューション(LTE)、符号分割多元接続(CDMA)、広帯域符号分割多元接続(WCDMA(登録商標))、時分割多元接続(TDMA)、Bluetooth(登録商標)、Wi-Fi、ボイスオーバインターネットプロトコル(VoIP)、Wi-MAX等のような様々なワイヤおよび/またはワイヤレスプロトコルを含む既知のネットワークプロトコルを使用して実施され得る。
図2は、いくつかの実施形態に従って、ユーザが、マルチメディアコンテンツと対話することを可能にするために、クライアントデバイスにおいて実行される方法200を例示するフローチャートである。方法200を実行するクライアントデバイスは、図1に関して図示および上述されたクライアントデバイス50に類似している。特に、クライアントデバイスは、端末デバイス(たとえば、図1における端末デバイス30)によって提示されるマルチメディアコンテンツを受信するユーザ(たとえば、図1におけるユーザ55)によって操作される。さらに、クライアントデバイスは、図1に関して図示および上述されたサーバデバイス70に類似したサーバデバイスに動作可能に接続され、このサーバデバイスと通信する。
いくつかの実施形態では、方法200を実行するクライアントデバイスは、1つまたは複数のプロセッサおよびメモリを含み得る。そのような実施形態では、方法200は、クライアントデバイスの非一時的なコンピュータ読み取り可能な記憶媒体に記憶され、クライアントデバイスの1つまたは複数のプロセッサによって実行される、アプリケーションの命令またはコードを使用して実施され得る。このアプリケーションは、ユーザが、端末デバイスによって提示されたマルチメディアコンテンツと対話することを可能にすることに関連付けられる。そのようなアプリケーションは、典型的には、クライアントデバイスにおいて記憶され、および/または、実行されるクライアント側部分と、クライアントデバイスに動作可能に接続され、クライアントデバイスと通信するサーバデバイスにおいて記憶され、および/または、実行されるサーバ側部分とを有する。アプリケーションのクライアント側部分が実行された結果、方法200は、クライアントデバイスにおいて実行される。図2に図示されるように、方法200は、以下のステップを含む。
S210では、クライアントデバイスは、クライアントデバイスのユーザから対話命令を受信する。そのような対話命令は、ユーザの興味を引く端末デバイスによって現在提示されているマルチメディアコンテンツのピースを受信したことに応答して、ユーザによって入力され得る。いくつかの実施形態では、ユーザは、たとえば、テレビで広告を見たこと、ラジオ番組を聞いたこと、ウェブサイトによって提供されたビデオクリップを見たこと等に応答して、クライアントデバイス(たとえば、スマートフォン、ラップトップコンピュータ、PDA、タッチパッド等)へ対話命令を入力し得る。いくつかの実施形態では、ユーザは、たとえば、クライアントデバイスにおいて表示されるユーザインターフェース上のボタンを押すこと、音声コマンドを生成し、クライアントデバイスへ入力すること、クライアントデバイスにおいてインストールされ実行されるアプリケーションを起動すること、または、他の任意の適切な方法を使用することによって、対話命令を提供し得る。
クライアントデバイスは、その後、対話命令に応答して、ユーザに提示されたマルチメディアコンテンツのピースに関連したデータをキャプチャする。いくつかの実施形態では、マルチメディアコンテンツのピースに関連したデータは、マルチメディアコンテンツのピースのオーディオデータを含む。たとえば、ユーザは、端末デバイスにおいてユーザへ提示されているマルチメディアコンテンツ(たとえば、ビデオクリップ、テレビショー等)のピースからのビデオクリップを記録するために、クライアントデバイスのウェブカメラまたはビデオカメラを使用し得る。別の例については、ユーザは、端末デバイスにおいてユーザへ提示されているマルチメディアコンテンツ(たとえば、オーディオクリップ、ラジオ番組等)のピースからのオーディオレコードを記録するために、クライアントデバイスのレコーダを使用し得る。いくつかの実施形態では、マルチメディアコンテンツのピースに関連したデータは、オプションとして、マルチメディアコンテンツのピースのビデオまたは画像を含み得る。
いくつかの実施形態では、クライアントデバイスは、マルチメディアコンテンツのピースのキャプチャされたオーディオデータから、マルチメディアコンテンツのピースのオーディオフィンガープリントを抽出するように構成され得る。そのような実施形態では、クライアントデバイスは、マルチメディアコンテンツのピースのオーディオフィンガープリントを抽出するために、任意の適切な方法またはアルゴリズムを実施し得る。さらに、マルチメディアコンテンツのピースに関連したデータは、マルチメディアコンテンツのピースのキャプチャされたオーディオデータに基づいて、クライアントデバイスにおいて抽出されるマルチメディアコンテンツのピースのオーディオフィンガープリントを含み得る。
S230では、クライアントデバイスは、サーバデバイスが、このデータに基づいて、マルチメディアコンテンツのピースの識別子を決定できるように、このデータを、サーバデバイスへ送信する。いくつかの実施形態では、マルチメディアコンテンツの異なる各ピースが、一意の識別子によって識別される。すなわち、各識別子は、マルチメディアコンテンツの一意のピースにリンクするために使用され得る。別のいくつかの実施形態では、マルチメディアコンテンツの2つ以上の異なるピースが、共通の識別子によって識別され得る。たとえば、製品の多数の異なる商業広告が、同じ識別子によって識別され得る。
いくつかの実施形態では、サーバデバイスは、クライアントデバイスから受信されたマルチメディアコンテンツのピースのオーディオフィンガープリントに基づいて、マルチメディアコンテンツのピースの識別子を決定するように構成される。別の実施形態では、サーバデバイスは、クライアントデバイスから受信されたマルチメディアコンテンツのピースに関連した他の任意のデータに基づいて、マルチメディアコンテンツのピースの識別子を決定し得る。いくつかの実施形態では、マルチメディアコンテンツのピースに関連したデータ(たとえば、マルチメディアコンテンツのピースのオーディオフィンガープリント)は、マルチメディアコンテンツのピースを一意に識別し、マルチメディアコンテンツのピースを、マルチメディアコンテンツの他のピースと区別し得る。
S250では、クライアントデバイスは、データに応答して、マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを、サーバデバイスから受信する。インタラクティブなコンテンツは、たとえば、クライアントデバイスにおいてユーザへ表示され得るマルチメディアコンテンツのピースに関連したインタラクティブなウェブページであり得る。たとえば、自動車のテレビコマーシャルに関連したインタラクティブなコンテンツは、近くのディーラにおいて、自動車の試験走行を求める申込書を提示するインタラクティブなウェブページであり得る。別の例のために、飲料の広告に関連したインタラクティブなコンテンツは、賞品として飲料を勝ち取る抽選の情報を含むインタラクティブなウェブページであり得る。
いくつかの実施形態では、マルチメディアコンテンツの様々なピースに関連したインタラクティブなコンテンツが、サーバデバイスにアクセス可能であるインタラクティブなコンテンツの、所定のデータベースにおいて記憶される。そのような実施形態では、サーバデバイスは、(S230において)サーバデバイスにおいて決定されたマルチメディアコンテンツのピースの識別子に基づいて、インタラクティブなコンテンツを検索し得る。
さらに、クライアントデバイスは、その後、ユーザへ、インタラクティブなコンテンツを提示する。いくつかの実施形態では、クライアントデバイス(たとえば、スマートフォン、タッチパッド、コンピュータ)は、クライアントデバイスのディスプレイデバイス(たとえば、スクリーン、モニタ)において、インタラクティブなコンテンツ(たとえば、インタラクティブなウェブページ)を表示し得る。別のいくつかの実施形態では、クライアントデバイス(たとえば、スマートテレビのコントローラ)は、たとえば、端末デバイスのディスプレイデバイス(たとえば、スマートテレビのスクリーン)のような外部ディスプレイデバイスにおいて、インタラクティブなコンテンツ(たとえば、インタラクティブなウェブページ)を表示し得る。
いくつかの実施形態では、マルチメディアコンテンツの異なるピースが、同じインタラクティブなコンテンツに関連し得る。そのような実施形態では、たとえば、ユーザが、同じ製品の異なる広告のうちのいずれかと対話するように指示した場合、同じインタラクティブなウェブページが、ユーザへ提示され得る。いくつかの実施形態では、マルチメディアコンテンツの同じピースが、異なるインタラクティブなコンテンツに関連し得る。そのような実施形態では、たとえば、インタラクティブなウェブページは、インタラクティブなウェブページのグループから、ランダムに(または、他の任意の適切な方法で)選択され、ユーザが、製品の広告と対話するように指示した場合、ユーザに提示され得る。
図3は、図2の方法200を実行する際にマルチメディアコンテンツのデータをキャプチャするための方法300を例示するフローチャートである。方法300は、図2に関して上述されるような方法200を実行するクライアントデバイスによって実行され得る。方法300の動作は、方法200のS210を実行する際の動作に対応する。図3に図示されるように、方法300は、以下のステップを含む。
S211では、クライアントデバイスは、ユーザに現在提示されているマルチメディアコンテンツのピースに関連した対話命令を、クライアントデバイスのユーザから受信する。S213では、対話命令に応答して、クライアントデバイスが、マルチメディアコンテンツのピースのオーディオストリームの記録を開始する。クライアントデバイスは、任意の適切な記録方法を使用して、マルチメディアコンテンツのピースのオーディオストリームを記録するように構成され得る。いくつかの実施形態では、たとえば、クライアントデバイスは、8kHzのサンプリング周波数で、マルチメディアコンテンツのピースのオーディオストリームをサンプルし、その後、デジタルオーディオデータを生成するために、サンプルされたデータを、16ビットで量子化し得る。
S215では、クライアントデバイスは、記録されたオーディオデータから、マルチメディアコンテンツのピースのオーディオフィンガープリントを抽出する。そのようなオーディオフィンガープリントは、マルチメディアコンテンツのピースから記録されたオーディオデータの、コンパクトな一意のコンテンツベースのデジタル署名であり得る。オーディオフィンガープリントの特徴またはパラメータは、たとえば、ロバスト性、信頼性、フィンガープリントサイズ、粒度、サーチ速度、スケーラビリティ等を含む。例として、記録されたオーディオデータからオーディオフィンガープリントを抽出することは、以下の動作を含み得る。
(1)マルチフレームオーディオ信号を生成するために、記録されたオーディオデータを、時間領域における多数のフレームへセグメント化する。具体的には、オーディオデータをフレームへセグメント化するために、様々なウィンドウ関数(たとえば、ハミングウィンドウ、ハニングウィンドウ、ガウシアンウィンドウ等)が使用され得る。たとえば、クライアントデバイスがハミングウィンドウを使用し、w(n)が、
のように定義される。
(2)(時間領域における)オーディオ信号のフレームの(周波数領域における)周波数スペクトルを生成するために、オーディオ信号の各フレームに対してショートタイムフーリエ変換(STFT)を実行する。結果として得られる周波数スペクトルX(m)は、
であり、ここで、jは、ウィンドウ関数に対応するパラメータであり、Nは、STFTにおいて使用されるデータポイントの数(たとえば、N=1024)である。
(3)オーディオ信号の各フレームのための振幅スペクトルを抽出し、その後、オーディオ信号の各フレームの時間、周波数スペクトル、および振幅スペクトルに基づいて、2次元スペクトログラムを生成する。結果として得られる2次元スペクトログラムS(t,f)は、S(t,f)=|X(t,f)|として計算され得る。
(4)所定の数のサブスペクトログラムのグループを生成するために、2次元スペクトログラムにおいて時間ベースのモジュロ計算を実行する。ここで、サブスペクトログラムのグループの各サブスペクトログラムは、オーディオ信号のフェーズチャネルに対応する。サブスペクトログラムの所定の数(Mとして示される)は、設定可能な正の整数であり得る。2次元スペクトログラムはその後、時間t mod Mの結果に基づいてセグメント化される。その結果、M個のサブスペクトログラムは、Sk(t,f)、ここでk=1,2,…,M、のように生成される。
(5)M個のフェーズチャネルの各フェーズチャネルのための少なくとも1つのピーク特性ポイントを識別する。各フェーズチャネルのための少なくとも1つのピーク特性ポイントは、そのフェーズチャネルのためのピーク特性ポイントのシーケンスを形成する。具体的には、たとえば、M個のフェーズチャネルの各フェーズチャネルについて、少なくとも1つのピーク特性ポイントを識別するステップは、a)フェーズチャネルに対応するサブスペクトログラムの各特性ポイントのためのエネルギ値を計算するステップと、b)計算されたエネルギ値に基づいて、フェーズチャネルのためのピーク特性ポイントとして、サブスペクトログラム内のある長方形エリア内のすべての特性ポイントから、最も高いエネルギ値を有する特性ポイントを識別するステップと、c)そのフェーズチャネルのためのすべてのピーク特性ポイントを識別するために、サブスペクトログラム内のそのような各長方形エリアについてb)の動作を繰り返すステップとを含み得る。そのような方法では、ある長方形エリアのサイズは、特定の状況に依存して調節され得る。いくつかの実施形態では、少なくとも1つのピーク特性ポイントが、他の適切な方法またはアルゴリズムを使用して各サブスペクトログラムについて識別され得る。
その結果、少なくとも1つのピーク特性ポイントが、M個のフェーズチャネルの各フェーズチャネルのために識別され得る。少なくとも1つのピーク特性ポイントは、その後、対応するフェーズチャネルのためのピーク特性ポイントのシーケンスを形成するように再順序付けされ得る。そのような再順序付けは、任意の適切な方法で実行され得る。たとえば、ピーク特性ポイントは、各ピーク特性ポイントの時間に基づいて順序付けされ得る(たとえば、最も早い時間のピーク特性ポイントが、後の時間の別のピーク特性ポイントの前の位置へ配置される)。さらに、同じ時間(または、実質的に同じ時間)を有する多数のピーク特性ポイントについて、多数のピーク特性ポイントが、各ピーク特性ポイントの周波数に基づいて順序付けられ得る(たとえば、より高い周波数のピーク特性ポイントが、より低い周波数の別のピーク特性ポイントの前の位置へ配置される)。
(6)そのフェーズチャネルのためのピーク特性ポイントのペアのシーケンスを生成するために、各フェーズチャネルのためのピーク特性ポイントのシーケンスにおける各ピーク特性ポイントのためのペアを作る。具体的には、Sn(tk,fk)が、任意のフェーズチャネルのためのピーク特性ポイントのシーケンスにおける任意のピーク特性ポイントを示すと仮定する。ここで、nは、M個のフェーズチャネル(0<n≦M)におけるフェーズチャネルのインデクスを表し、kは、ピーク特性ポイントのシーケンスにおけるピーク特性ポイントのインデクスを表し(kは正の整数)、tkは、ピーク特性ポイントの時間を表し、fkは、ピーク特性ポイントの周波数を表す。
例として、M個のフェーズチャネルからのフェーズチャネルのためのピーク特性ポイントのシーケンスにおける各ピーク特性ポイントについて(そのようなピーク特性ポイントはSn(tk,fk)と表されると仮定する)、そのピーク特性ポイントのためのペアリングは、以下のステップで実行され得る。a)ターゲットとされた長方形エリアを選択するためのアンカとして、ピーク特性ポイントSn(tk,fk)を使用する。そのようなターゲットとされた長方形エリアは、以下のように定義され得る。tstart≦tk≦tendおよびfstart≦fk≦fend、ここで、tstartは、ターゲットとされた長方形エリアのための開始時間を表し、tendは、ターゲットとされた長方形エリアのための終了時間を表し、fstartは、ターゲットとされた長方形エリアのための最小周波数を表し、fendは、ターゲットとされた長方形エリアの最大周波数を表す。
b)アンカSn(tk,fk)とペアとされるべき、ターゲットとされた長方形エリア内の別のピーク特性ポイントを識別する。識別されたピーク特性ポイントをSn(tb,fb)として示し、その後、Sn(tk,fk)およびSn(tb,fb)が、フェーズチャネルのためのピーク特性ポイントのペアのシーケンスにおけるピーク特性ポイントのペアを形成する。ペアを形成するピーク特性ポイントは、任意の適切な原理に基づいて、アンカについて識別され得る。たとえば、識別されたピーク特性ポイントは、適格なすべてのピーク特性ポイント(すなわち、アンカを除くターゲットとされた長方形のエリア内にあるすべてのピーク特性ポイント)のうち、アンカからの最小時間差を有し、識別されたピーク特性ポイントは、適格なすべてのピーク特性ポイント等の中での最大エネルギ値を有する。
したがって、各フェーズチャネルのためのピーク特性ポイントのシーケンスにおけるピーク特性ポイントは、そのフェーズチャネルのためのピーク特性ポイントのペアのシーケンスを形成するために、ペアとされ得る。いくつかの実施形態では、ピーク特性ポイントは、他の適切な方法またはアルゴリズムを使用して、各サブスペクトログラムのためにペアとされ得る。結果的に得られるピーク特性ポイントのペアは、(tk,fk,Δfk,Δtk)nとして表され得る。ここで、nは、M個のフェーズチャネル(0<n≦M)におけるフェーズチャネルのインデクスを表し、kは、ピーク特性ポイントのシーケンスにおけるアンカピーク特性ポイントのインデクスを表し、Δtk=tb-tkは、ペアにおける2つのピーク特性ポイント間の時間差を表し、Δfk=fb-fkは、ペアにおける2つのピーク特性ポイント間の周波数差を表す。
(7)対応するフェーズチャネルのためのフィンガープリントシーケンスを生成するために、ピーク特性ポイントの各シーケンスについてハッシュ計算を実行する。M個のフェーズチャネルのためのそのようなフィンガープリントシーケンスの収集は、その後、オーディオ信号の所望のオーディオフィンガープリントを形成する。具体的に、(tk,fk,Δfk,Δtk)nによって表されるピーク特性ポイントのペアについて、(fk,Δfk,Δtk)は、ピーク特性ポイントのペアの特性部分を表し、tkは、その特性部分が、サブスペクトログラムにおいて(言い換えれば、オーディオ信号において)生じた時を表す。
たとえばhashcodek=H(fk,Δfk,Δtk)のような固定ビット長のハッシュコードを使用して、(fk,Δfk,Δtk)を表すために(fk,Δfk,Δtk)についてハッシュ計算が実行され得る。そのようなハッシュ計算の結果、各フェーズチャネルのためのピーク特性ポイントのペアのシーケンスにおけるピーク特性ポイントの各ペアが、(tk,hashcodek)nによって表され得る。これは、オーディオ信号のオーディオフィンガープリントを形成する際に使用されるフィンガープリントシーケンスである。
図4は、いくつかの実施形態に従って、マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索および送信するために、サーバデバイスにおいて実行される方法400を例示するフローチャートである。方法400を実行するサーバデバイスは、図1に関して図示および上述されたサーバデバイス70に類似している。特に、サーバデバイスは、図1に関して図示および上述されたクライアントデバイス50に類似した1つまたは複数のクライアントデバイスに動作可能に接続され、この1つまたは複数のクライアントデバイスと通信する。サーバデバイスに動作可能に接続され、サーバデバイスと通信するクライアントデバイスは、端末デバイス(たとえば、図1における端末デバイス30)によって提示されたマルチメディアコンテンツを受信するユーザ(たとえば、図1におけるユーザ55)によって操作される。図2に関して図示および上述された方法200を実行する際におけるS230〜S250の動作に関連して、サーバデバイスは、クライアントデバイスから、マルチメディアコンテンツのピースに関連したデータを受信したことに応答して、インタラクティブなコンテンツを検索および送信するために、方法400の動作を実行する。
いくつかの実施形態では、方法400を実行するサーバデバイスは、1つまたは複数のプロセッサおよびメモリを含み得る。そのような実施形態では、方法400は、サーバデバイスの非一時的なコンピュータ読み取り可能な記憶媒体に記憶され、サーバデバイスの1つまたは複数のプロセッサによって実行される、アプリケーションの命令またはコードを使用して実施され得る。このアプリケーションは、端末デバイスによって提示されるマルチメディアコンテンツとユーザが対話することを可能にすることに関連付けられる。そのようなアプリケーションは典型的には、サーバデバイスに動作可能に接続された各クライアントデバイスにおいて記憶および/または実行されるクライアント側部分と、サーバデバイスにおいて記憶および/または実行されるサーバ側部分とを有する。アプリケーションのサーバ側部分が実行された結果、方法400は、サーバデバイスにおいて実行される。図4に図示されるように、方法400は、以下のステップを含む。
S401では、サーバデバイスは、クライアントデバイスから、マルチメディアコンテンツのピースに関連したデータを受信する。サーバデバイスは、その後、受信されたデータに基づいて、マルチメディアコンテンツのピースが提示されるチャネルと、対話の時間とを決定する。いくつかの実施形態では、マルチメディアコンテンツのピースは、チャネルのグループを介して提示されたマルチメディアコンテンツの多数のピースからのものである。チャネルのグループは、たとえば、異なるテレビチャネルのグループ、異なる無線周波数のグループ、ビデオコンテンツをホストする異なるウェブサイトのグループ等を含み得る。いくつかの実施形態では、チャネルのグループは、テレビチャネル、無線周波数、ウェブサイト等のような異なるタイプのチャネルの組合せを含み得る。
いくつかの実施形態では、所与の瞬間において、マルチメディアコンテンツの多数のピースからのマルチメディアコンテンツの最大1つのピースが、チャネルのグループからのチャネルを介して提示される。そのような実施形態では、所与の時間において、ユーザは、1つの端末デバイスを用いて、チャネルのグループからのチャネルを介して、マルチメディアコンテンツの最大1つのピースを受信し得る(たとえば、視聴する、見る、聞く)。同様に、所与の時間において、ユーザは、2つ以上の端末デバイスを使用して、多数のチャネルを介して、マルチメディアコンテンツの2つ以上のピースを受信し得る。
いくつかの実施形態では、クライアントデバイスから受信されたマルチメディアコンテンツのピースに関連したデータは、マルチメディアコンテンツのピースのオーディオフィンガープリントを含む。そのような実施形態では、サーバデバイスは、マルチメディアコンテンツのピースのオーディオフィンガープリントを、チャネルのグループを介して提示されたマルチメディアコンテンツの多数のピースのためのオーディオフィンガープリントのデータベースにおいて記憶されたオーディオフィンガープリントのグループと比較するように構成される。サーバデバイスは、そのようなデータベースを含んでいるか、または、そのようなデータベースにアクセスし得る。比較の結果、サーバデバイスは、マルチメディアコンテンツのピースが提示されるチャネルのグループからのチャネルを決定する。それに加えて、サーバデバイスは、対話の時間を決定し得る。
たとえば、受信された、マルチメディアコンテンツのピースのオーディオフィンガープリントを、マルチメディアコンテンツのためのオーディオフィンガープリントのデータベースに記憶されたオーディオフィンガープリントと比較するプロセスは、以下のステップを含み得る。
(1)データベースからの各オーディオフィンガープリントを、受信されたオーディオフィンガープリントと比較することによって、受信されたオーディオフィンガープリントのピーク特性ポイントのハッシュコード化されたペアと同じ(または、実質的に同じ)であるオーディオフィンガープリントのピーク特性ポイントのハッシュコード化されたペア(たとえば、hashcodek)を識別する。その結果、受信されたオーディオフィンガープリントと、データベースに記憶されたオーディオフィンガープリントとの両方に含まれたピーク特性ポイントのハッシュコード化された各ペアが、識別され得る。
具体的には、受信されたオーディオフィンガープリントが、
によって表され、データベースに記憶された任意のオーディオフィンガープリントが、
によって表されると仮定する。ここで、各hは、ピーク特性ポイントのハッシュコード化されたペアであり、τ,tは、ハッシュコード化されたピーク特性ポイントのためのタイムスタンプである。したがって、FP1およびFP2からのピーク特性ポイントのハッシュコード化されたペアを比較することによって、同じh(または、実質的に同じh)を有する
が決定され（すなわち、
）、対応するタイムスタンプ(τi,tj)のペアが決定され得る。
(2)ステップ(1)において決定されたタイムスタンプ(τi,tj)の各ペアの時間差を計算し、その後、計算された時間差のヒストグラムを生成する。具体的には、タイムスタンプ(τi,tj)の各ペアについて、Δt=tj-τiを計算する。
(3)ヒストグラムのピーク高さを計算する。ヒストグラムのそのようなピーク高さは、2つのオーディオフィンガープリント(すなわち、受信されたオーディオフィンガープリントFP1と、データベースからの任意のオーディオフィンガープリントFP2と)の類似性を表す一致スコアである。
(4)ステップ(3)において計算されたヒストグラムのピーク高さに基づいて、2つのオーディオフィンガープリントが、互いに一致するか否かを判定する。具体的には、計算されたピーク高さが、所定のしきい値と比較される。計算されたピーク高さが、所定のしきい値よりも大きいのであれば、対応するヒストグラムは、線形相関に従って、明確なピークを有する。したがって、2つのオーディオフィンガープリントは、互いに一致すると判定される。そう判定されず、計算されたピーク高さが、所定のしきい値よりも大きくないのであれば、対応するヒストグラムは、線形相関に従って、明確なピークを有さない。したがって、2つのオーディオフィンガープリントは、互いに一致しないと判定される。
それに加えて、受信されたオーディオフィンガープリントと、データベースに記憶されたオーディオフィンガープリントとの間に正しい一致が発見されたケースでは、ヒストグラム内のピーク高さに対応する時間差は、2つのオーディオフィンガープリント間の時間のオフセットを表す。対話の時間は、そのような時間のオフセットに基づいて計算され得る。
データベースに記憶された各オーディオフィンガープリントは、チャネルのグループからのチャネルに関連付けられる。すなわち、データベースに記憶された各オーディオフィンガープリントは、チャネルのグループからの関連付けられたチャネルを介して提示されるマルチメディアコンテンツのピースを表す。したがって、上述されたステップ(1)〜(4)を実行することによって、サーバデバイスは、マルチメディアコンテンツのピースが提示されるチャネルのグループからのチャネルのみならず、対話の対応する時間をも決定し得る。
いくつかの実施形態では、サーバデバイスは、データベースから、2つ以上のオーディオフィンガープリントを決定し得る。それらの各々は、受信されたオーディオフィンガープリントと一致する。多数の一致は、マルチメディアコンテンツのピースが、チャネルのグループからの2つ以上のチャネルを介して(実質的に、または、ほとんど同時に)提示され得ることを示す。そのような実施形態では、サーバデバイスは、ユーザがマルチメディアコンテンツのピースを受信すると仮定されているチャネルとして、2つ以上のチャネルから、1つのチャネルを選択し得る。たとえば、サーバデバイスは、2つ以上のチャネルから、1つのチャネルをランダムに選択し得るか、または、2つ以上のチャネルから、最も高い一致スコアを有する1つのチャネルを選択し得る。
S403では、サーバデバイスは、チャネルを介して提示されるマルチメディアコンテンツの時間ストリームにおける継続時間のみならず、その継続時間中に、チャネルを介して提示されるマルチメディアコンテンツの識別子を決定する。ここで、継続時間は、対話の時間を含む。いくつかの実施形態では、チャネルのグループの各チャネルは、そのチャネルを介して提示されたマルチメディアコンテンツの時間ストリームに関連付けられる。そのような時間ストリームは、多くの所定の相互排他的な継続時間へ分割される。これら継続時間の各々は、マルチメディアコンテンツの単一のピースに関連付けられる。言い換えれば、マルチメディアコンテンツの1つで唯一のピースが、各継続時間中に提示される。したがって、各継続時間は、その継続時間中にチャネルを介して提示されたマルチメディアコンテンツのピースの識別子に関連付けられる。
したがって、サーバデバイスは、決定されたチャネルのための時間ストリーム内の対話の時間を見つけ、その後、時間ストリームのすべての継続時間から、対話の時間を含む継続時間を決定する。したがって、サーバデバイスは、決定された継続時間中に、チャネルを介して提示されたマルチメディアコンテンツの識別子を決定する。恐らく、決定された継続時間中に、チャネルを介して提示されたマルチメディアコンテンツは、S401においてクライアントデバイスからデータが受信されたマルチメディアコンテンツのピースと同じマルチメディアコンテンツである。
S405では、サーバデバイスは、継続時間中に、チャネルを介して提示されたマルチメディアコンテンツに関連したインタラクティブなコンテンツを、決定された識別子に基づいて検索する。いくつかの実施形態では、チャネルのグループを介して提示されたマルチメディアコンテンツに関連したインタラクティブなコンテンツは、所定のインタラクティブなコンテンツのデータベースに記憶される、ここで、チャネルのグループからのチャネルを介して潜在的に提示されるマルチメディアコンテンツの各ピースは、インタラクティブなコンテンツの1つまたは複数のピースに関連付けられる。図2に関して上述されたように、インタラクティブなコンテンツは、たとえば、マルチメディアコンテンツ(たとえば、広告)の対応するピースに関連した製品またはサービスを促進または広告するように構成されたインタラクティブなウェブページを含み得る。そのような実施形態では、サーバデバイスは、マルチメディアコンテンツのピースの識別子を使用して、マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索し得る。その後、サーバデバイスは、クライアントデバイスへ、インタラクティブなコンテンツを送信し得る。
図5は、いくつかの実施形態に従って、チャネルのグループを介して提示されるマルチメディアコンテンツの時間ストリームにおける継続時間のための識別子を決定するために、サーバデバイスにおいて実行される方法500を例示するフローチャートである。方法500を実行するサーバデバイスは、図1に関して図示および上述されたサーバデバイス70に類似している。特に、サーバデバイスは、図1に関して図示および上述されたクライアントデバイス50に類似した1つまたは複数のクライアントデバイスに動作可能に接続され、この1つまたは複数のクライアントデバイスと通信する。サーバデバイスに動作可能に接続され、サーバデバイスと通信しているクライアントデバイスは、端末デバイス(たとえば、図1における端末デバイス30)によって提示されるマルチメディアコンテンツを受信するユーザ(たとえば、図1におけるユーザ55)によって操作される。図4に関して図示および上述された方法400を実行する際におけるS430の動作に関連して、サーバデバイスは、時間ストリーム内の各継続時間を、マルチメディアコンテンツのピースの識別子と関連付けるために、方法500の動作を実行する。
いくつかの実施形態では、方法500を実行するサーバデバイスは、1つまたは複数のプロセッサおよびメモリを含み得る。そのような実施形態では、方法500は、サーバデバイスの非一時的なコンピュータ読み取り可能な記憶媒体に記憶され、サーバデバイスの1つまたは複数のプロセッサによって実行される、アプリケーションの命令またはコードを使用して実施され得る。このアプリケーションは、端末デバイスによって提示されるマルチメディアコンテンツとユーザが対話することを可能にすることに関連付けられる。そのようなアプリケーションは典型的には、サーバデバイスに動作可能に接続された各クライアントデバイスにおいて記憶および/または実行されるクライアント側部分と、サーバデバイスにおいて記憶および/または実行されるサーバ側部分とを有する。アプリケーションのサーバ側部分が実行された結果、方法500は、サーバデバイスにおいて実行される。図5に図示されるように、方法500は、以下のステップを含む。
S501では、サーバデバイスは、チャネルのグループを介して提示されたマルチメディアコンテンツの信号を受信する。いくつかの実施形態では、たとえば、マルチメディアコンテンツは、(端末デバイスのような)テレビを介してユーザへ提示されるテレビ番組および/またはテレビ広告である。そのような実施形態では、サーバデバイスは、たとえば、テレビ衛星から送信されたマルチメディアコンテンツの衛星信号を受信するために、デジタル衛星受信装置を実装し得る。衛星信号の受信後、サーバデバイスは、マルチメディアコンテンツのオーディオ信号を検索するために、衛星信号を処理する。その後、サーバデバイスは、受信されたオーディオ信号に基づいて、マルチメディアコンテンツのデータを定期的に決定する。いくつかの実施形態では、マルチメディアコンテンツのデータは、マルチメディアコンテンツのオーディオフィンガープリントを含む。そのような実施形態では、サーバデバイスは、オーディオ信号からマルチメディアコンテンツのオーディオフィンガープリントを抽出するために、図3に関して上述された方法300のS215における動作を実行し得る。
S503では、サーバデバイスは、定期的に決定されたデータを、所定のマルチメディアコンテンツデータベースにおいて記憶されたデータと比較する。その後、サーバデバイスは、この比較結果に基づいて、定期的に決定されたデータの各ピースのための識別子を決定する。S505では、サーバデバイスは、識別子の各々を、チャネルのグループからのチャネルを介して提示されたマルチメディアコンテンツの時間ストリームにおける対応する継続時間に関連付ける。ここで、継続時間は、マルチメディアコンテンツの対応する信号を受信する時間、または、対応する対話の時間を含む。
いくつかの実施形態では、所定のマルチメディアコンテンツデータベースは、チャネルのグループを介して提示されたマルチメディアコンテンツの多数のピースに関連したデータを記憶する。そのようなデータは、たとえば、マルチメディアコンテンツの多数のピースのためのオーディオフィンガープリントであり得る。いくつかの実施形態では、マルチメディアコンテンツに関連したデータは、サーバデバイスが、S501において、マルチメディアコンテンツの信号を受信する前に、マルチメディアコンテンツの製作者またはプロバイダによって提供され得る。
いくつかの実施形態では、(そのデータが、所定のマルチメディアコンテンツデータベースに記憶される)マルチメディアコンテンツの各ピースが、識別子に関連付けられる。サーバデバイスは、(マルチメディアコンテンツのそのピースのデータを抽出するために、S501において、オーディオ信号が受信され処理される)マルチメディアコンテンツのピースのデータ(たとえば、オーディオフィンガープリント)を、所定のマルチメディアコンテンツデータベースに記憶されたマルチメディアコンテンツの多数のピースのデータと比較する。比較の結果、サーバデバイスは、データが所定のデータベースに記憶され、受信されたマルチメディアコンテンツのピースのデータと一致しているマルチメディアコンテンツのピースを、マルチメディアコンテンツの多数のピースから決定する。その後、サーバデバイスは、受信されたマルチメディアコンテンツのピースの識別子を決定する。
そのような方法では、サーバデバイスは、その信号がサーバデバイスにおいて受信されたマルチメディアコンテンツの各ピースの、定期的に決定されたデータのための識別子を決定する。したがって、サーバデバイスは、チャネルのグループの各チャネルのための時間ストリームを確立する。ここで、各時間ストリームは、多数の相互排他的な継続時間を含む。チャネルのための時間ストリームに含まれる各継続時間は、その継続時間中にチャネルを介して提示されたマルチメディアコンテンツのピースを識別する識別子に関連付けられる。言い換えれば、サーバデバイスは、チャネルのグループの各チャネルを介して提示されたマルチメディアコンテンツに関連した時間ストリームに含まれる各継続時間のためのマルチメディアコンテンツの識別子を決定する。それに加えて、チャネルのための時間ストリームに含まれる各継続時間は、マルチメディアコンテンツの対応するピースの信号を受信する時間をカバーする。
いくつかの実施形態では、所定のマルチメディアコンテンツデータベースは、チャネルのグループを介して潜在的に提示され得るマルチメディアコンテンツのあらゆるピースの情報(たとえば、オーディオフィンガープリント、識別子)を含んでいない。そのような実施形態では、結果的に得られるチャネルのための時間ストリームは、必ずしも長期間の連続的な、中断されていないカバレッジを提供する必要はない。具体的には、そのような時間ストリームは、所定のデータベースに情報が含まれているマルチメディアコンテンツのピースがチャネルを介して提示された場合に、継続時間をカバーする。そして、時間ストリームは、所定のデータベースに情報が含まれていないマルチメディアコンテンツのピースがチャネルを介して提示された場合に、継続時間をカバーしない。
たとえば、所定のデータベースは、テレビ広告の情報(たとえば、オーディオフィンガープリント、識別子)のみを含むが、他のどのタイプのテレビ番組(たとえば、エピソード、ニュース、スポーツ等)の情報も含まない。したがって、サーバデバイスは、所定のデータベースを使用して、テレビ広告のみを決定し得るが、他のタイプのテレビ番組を決定しない。その結果、結果として得られるテレビチャネルのための時間ストリームは、テレビ広告がそのテレビチャネルを介して提示された場合、継続時間を含むが、他のタイプのテレビ番組がそのテレビチャネルを介して提示された場合、いずれの継続時間をも含まない。
方法500を実行する例として、所定のデータベースは、テレビチャネルのグループを介して潜在的に提示され得るテレビ広告のグループの各テレビ広告のためのオーディオフィンガープリントを記憶する。それらのオーディオフィンガープリントは、テレビ広告の製作者または配給者によって提供される。あるいは、テレビ広告は、製作者または配給者によってサーバデバイス(または、サーバデバイスを所有および操作するオペレータまたはエンティティ)へ提供され、その後、サーバデバイス(または、オペレータまたはエンティティ)は、各テレビ広告のためのオーディオフィンガープリントを取得するために、受信されたテレビ広告を処理する。それに加えて、テレビ広告のグループの各テレビ広告は、識別子によって識別される。これはまた、所定のデータベースに記憶され、対応するテレビ広告のオーディオフィンガープリントに関連付けられる。
サーバデバイスは、テレビチャネルのグループを介してブロードキャストされることを目的とされた(たとえば、テレビ衛星からの)衛星テレビ信号を絶えずモニタし、受信し、その後、受信された衛星テレビ信号のオーディオ信号から、オーディオフィンガープリントを定期的に抽出する。いくつかの実施形態では、サーバデバイスは、テレビチャネルのグループの各テレビチャネルを介してブロードキャストされることを目的とされたオーディオ信号を定期的にキャプチャし、その後、各テレビチャネルのための定期的な各サイクルにおいてキャプチャされたオーディオ信号から、オーディオフィンガープリントを抽出し得る。あるいは、サーバデバイスは、テレビチャネルのグループのための衛星テレビ信号を受信し続け得る。サーバデバイスは、その後、単位継続時間(たとえば、毎分、30秒毎、15秒毎等)に対応する定期的スケジュールに従って、そのテレビチャネルの、受信された衛星テレビ信号から、各テレビチャネルのためのオーディオフィンガープリントを抽出し得る。そのような単位継続時間は、センサデバイスが、テレビチャネルのグループからのいずれかのテレビチャネルを介してブロードキャストされたどのテレビ広告も見失わないように、テレビ広告の最小継続時間に基づいて定義され得る。
サーバデバイスが、テレビチャネルのグループからのテレビチャネルを介してブロードキャストされたマルチメディアコンテンツ(たとえば、テレビ番組、テレビ広告、またはテレビエピソード等)のピースのオーディオフィンガープリントを抽出する毎に、サーバデバイスは、オーディオフィンガープリントを、テレビ広告のためのオーディオフィンガープリントの所定のデータベースに記憶されたオーディオフィンガープリントと比較する。テレビ広告のためのオーディオフィンガープリントの所定のデータベースは、テレビチャネルのグループからのテレビチャネルを介して潜在的にブロードキャストされ得る各テレビ広告の識別子およびオーディオフィンガープリントを記憶する。比較結果が、サーバデバイスによって抽出されたオーディオフィンガープリントが所定のデータベースに記憶されたテレビ広告のオーディオフィンガープリントに一致する(すなわち、同一、または実質的に同一である)ことを示すのであれば、サーバデバイスは、マルチメディアコンテンツのピースがそのテレビ広告(または、そのテレビ広告の一部)であると判定する。したがって、サーバデバイスは、テレビ広告の識別子を、マルチメディアコンテンツのピースの識別子になるように割り当てる。
したがって、サーバデバイスは、テレビチャネルのグループの各テレビチャネルのためのテレビ広告の時間ストリームを確立する。そのような時間ストリームの各々は、多数の相互排他的な(および、恐らくは隣接しない)継続時間を含み、その間、テレビ広告は、対応するテレビチャネルを介してブロードキャストされる。テレビチャネルのそのような時間ストリーム内の各継続時間は、その継続時間中に(または、送信および処理によって引き起こされる遅延が考慮されるのであれば、およそその継続時間中に)そのテレビチャネルを介してブロードキャストされるテレビ広告の識別子に関連付けられる。それに加えて、そのようなテレビチャネルの時間ストリーム内の各継続時間は、その継続時間中にそのテレビチャネルを介してブロードキャストされるテレビ広告に関連したマルチメディアコンテンツの対応する信号を受信するサーバデバイスの時間をカバーする。
図6は、いくつかの実施形態に従って、ユーザがテレビ広告と対話することを可能にする処理600を例示する概要図である。たとえば、ユーザは、テレビ信号(たとえば、衛星テレビ信号)を受信し、テレビコンテンツをユーザへ提示するために、端末デバイス(たとえば、テレビのように図1における端末デバイス30)を使用する。ユーザはまた、ユーザがテレビコンテンツと対話することを可能にするために、クライアントデバイス(たとえば、スマートフォンまたはスマートコントローラのような図1におけるクライアントデバイス50)を使用する。クライアントデバイスは、サーバデバイス(たとえば、図1におけるサーバデバイス70)に動作可能に接続され、このサーバデバイスと通信する。
自分が対話するつもりであるテレビ広告をユーザが見た場合、このユーザは、対話命令を生成するためにクライアントデバイスを操作する。S601では、クライアントデバイスは、対話命令に応答してテレビ広告のオーディオ信号を受信する。たとえば、クライアントデバイスは、テレビ広告からのオーディオを記録することによって、オーディオ信号を受信し得る。S602では、クライアントデバイスは、受信されたテレビ広告のオーディオ信号から、オーディオフィンガープリントを抽出する。たとえば、クライアントデバイスは、図3に関して図示および上述された方法300のS215の動作を実行することによって、オーディオフィンガープリントを抽出し得る。続いて、クライアントデバイスは、抽出されたテレビ広告のオーディオフィンガープリントを、サーバデバイスへ送信する。
サーバデバイスは、テレビチャネルのためのオーディオフィンガープリントのデータベース603にアクセスでき得る。このデータベースは、テレビチャネルを介してブロードキャストされたテレビ広告のための情報(たとえば、オーディオフィンガープリント、テレビチャネル)を記憶する。いくつかの実施形態では、S611〜S612に関して以下に記述されるように、データベース603は、規則的および/または定期的に更新される。そのような実施形態では、データベース603は、テレビチャネルのグループの各テレビチャネルにおいて現在ブロードキャストされている、または、最も直近にブロードキャストされたテレビ広告の情報(たとえば、オーディオフィンガープリント、テレビチャネル)を記憶するように構成される。その結果、ユーザがテレビチャネルを介してテレビ広告を見たことに応答して対話処理を開始した場合、そのテレビ広告の情報(たとえば、オーディオフィンガープリント、テレビチャネル)が、データベース603に記憶される。
S604では、クライアントデバイスから抽出されたテレビ広告のオーディオフィンガープリントを受信したことに応答して、サーバデバイスは、抽出されたオーディオフィンガープリントを、データベース603に記憶されたオーディオフィンガープリントと比較する。比較の結果、サーバデバイスは、クライアントデバイスから受信され抽出されたオーディオフィンガープリントに一致する(たとえば、同一または実質的に同一な)、データベース603に記憶されたオーディオフィンガープリントを判定する。したがって、サーバデバイスは、テレビ広告がブロードキャストされるテレビチャネルを決定する。具体的には、サーバデバイスは、データベース603に記憶されたオーディオフィンガープリントとの一致に関連したテレビチャネルが、ユーザによって見られているテレビ広告がブロードキャストされるテレビチャネルであると判定する。
いくつかの実施形態では、サーバデバイスは、オーディオフィンガープリントの一致に基づいて、対話の時間を決定し得る。具体的には、サーバデバイスは、データベース603に記憶されたオーディオフィンガープリントと一致することに関連したテレビ広告がブロードキャストされた場合、対話の時間が、継続時間内にあると判定し得る。そのような実施形態では、テレビ広告の継続時間(たとえば、開始時間および終了時間を含む)が、データベース603に記憶され、データベース603内のそのテレビ広告の他の情報(たとえば、オーディオフィンガープリント、テレビチャネル)に関連付けられ得る。
あるいは、別のいくつかの実施形態では、サーバデバイスは、クライアントデバイスから受信され、ユーザによって見られたテレビ広告のデータに基づいて、対話の時間を決定し得る。具体的には、クライアントデバイスは、(S601において)テレビ広告のオーディオ信号を受信した時間を、他の情報(たとえば、そのテレビ広告の抽出されたオーディオフィンガープリント)をサーバデバイスへ送信し得る。そのような実施形態では、サーバデバイスは、ユーザによって見られたテレビ広告のオーディオ信号を受信した時間を、対話の時間として使用し得る。
恐らく、サーバデバイスが、クライアントデバイスから受信された、抽出されたオーディオフィンガープリントと、データベース603に記憶されたオーディオフィンガープリントとの一致を判定した場合、それは、ユーザによって見られたテレビ広告が、データベース603に記憶されたオーディオフィンガープリントに関連したテレビ広告であることを示す。そのため、S604における比較によって判定されたテレビ広告が、テレビによってブロードキャストされた場合、ユーザによって見られたテレビ広告のオーディオ信号を受信する時間は、典型的には、継続時間内である。言い換えれば、対話の時間を決定するための上述した2つのアプローチは、ユーザによって見られたものと同じテレビ広告のための、同じ(または、実質的に同じ)対話の時間を生成し得る。
それに加えて、いくつかの実施形態では、サーバデバイスは、クライアントデバイスから受信された、抽出されたオーディオフィンガープリントと一致する、データベース603に記憶された2つ以上のオーディオフィンガープリントを決定し得る。これは、ユーザによって見られたテレビ広告が、同時に(または、実質的に同時に、または、オーバラップ時間において)2つ以上のテレビチャネルを介してブロードキャストされることを示す。そのような実施形態では、サーバデバイスは、任意のいずれかの方法を使用して、2つ以上のテレビチャネルから1つのテレビチャネルを選択し、ユーザは、選択されたテレビチャネルを介したテレビ広告を見ると仮定する。
S605では、対話の時間と、ユーザによって見られたテレビ広告が、対話の時間においてブロードキャストされるテレビチャネルとをユーザが決定した後、サーバデバイスは、ユーザによって見られたテレビ広告のための識別子を決定する。以下に記述されるように、S613に至る手順の結果、サーバデバイスは、テレビチャネルのグループの各テレビチャネルのためのテレビ広告の時間ストリームを決定する。テレビチャネルのための各時間ストリームは、多数の相互排他的な継続時間を含む。その各々は、そのテレビチャネルを介してブロードキャストされるテレビ広告の時間に対応する。さらに、各継続時間は、その継続時間においてブロードキャストされたテレビ広告の識別子に関連付けられる。言い換えれば、S613の動作は、各テレビチャネルのための識別子の時間ストリームを生成する。
(S604において決定された)対話の時間、(S604において決定された)テレビチャネル、および(S613において決定された)テレビチャネルのグループのための識別子の時間ストリームのセットに基づいて、サーバデバイスは、S605において、ユーザによって見られたテレビ広告のための識別子を決定する。具体的には、サーバデバイスは、ユーザによって見られたテレビ広告がブロードキャストされるテレビチャネルのための識別子の時間ストリームを、テレビチャネルのグループのための識別子の時間ストリームのセットから識別する。サーバデバイスは、その後、対話の時間を含む時間ストリームにおける継続時間を決定する。最後に、サーバデバイスは、継続時間に関連した識別子が、ユーザによって見られたテレビ広告のための所望の識別子であると判定する。
次に、サーバデバイスは、S605で決定された識別子を使って、インタラクティブなコンテンツのデータベース606における、インタラクティブなコンテンツを探索する。データベース606に記憶されたマルチメディアコンテンツ(たとえば、テレビ広告)のピースに関連したインタラクティブなコンテンツは、たとえば、マルチメディアコンテンツのピースの識別子によって識別および/またはインデクス付けされ得る。その後、サーバデバイスは、テレビ広告の識別子に基づいて、データベース606から、テレビ広告に関連したインタラクティブなウェブページを検索する。S607では、サーバデバイスは、検索されたインタラクティブなウェブページを、クライアントデバイスへ送信する。S608では、インタラクティブなウェブページを受信したことに応答して、クライアントデバイスは、ユーザへ、インタラクティブなウェブページを表示する。したがって、ユーザは、インタラクティブなウェブページによって、テレビ広告と対話するように促される。
あるいは、いくつかの実施形態では、サーバデバイスまたはクライアントデバイスは、インタラクティブなウェブページを、別のディスプレイデバイスにおいてユーザへ表示されるようにするように構成される。たとえば、サーバデバイスは、インタラクティブなウェブページを、端末デバイス(たとえば、スマートテレビ)へ送信する。これを介して、ユーザは、テレビ広告を含むテレビ番組を見る。その後、端末デバイスは、テレビ番組のブロードキャストを中断し、インタラクティブなウェブページをユーザへ提示する。続いて、ユーザは、インタラクティブなウェブページと対話するためにクライアントデバイス(たとえば、スマートテレビのコントローラ)を使用し得るか、または、テレビ番組のブロードキャストを継続するために、インタラクティブなウェブページの提示をキャンセルし得る。
個別の処理において、サーバデバイスは、テレビチャネルのグループにおけるテレビ広告ブロードキャストを識別し、識別されたテレビ広告をその識別子に関連付けるように構成される。具体的には、テレビ広告の1人または複数の製作者、配給者、および/または、プロバイダが、サーバデバイスへテレビ広告614を提供する。S609では、サーバデバイスは、提供された各テレビ広告のオーディオから、オーディオフィンガープリントを抽出する。たとえば、サーバデバイスは、提供されたテレビ広告614のオーディオフィンガープリントを抽出するために、図3に関して上述された方法300のS215における動作を実行し得る。
その後、サーバデバイスは、提供されたテレビ広告614の抽出されたオーディオフィンガープリントを、テレビ広告のためのオーディオフィンガープリントのデータベース610内に記憶する。さらに、各テレビ広告のためのオーディオフィンガープリントが、データベース610に記憶され、データベース610内のそのテレビ広告の識別子に関連付けられる。したがって、データベース610は、テレビチャネルのグループでブロードキャストされた各テレビ広告の、少なくともオーディオフィンガープリントと識別子とを記憶する。いくつかの実施形態では、テレビ広告614は、サーバデバイスへ提供され、データベース610は、テレビチャネルのグループを介してテレビ広告614がブロードキャストされる前に確立される。そのため、テレビ広告がブロードキャストされる前に、および/または、ユーザが対話処理を開始する前に、データベース610があらかじめ定義され、利用可能になる。
S611では、サーバデバイスは、テレビチャネルのグループを介してブロードキャストされたテレビコンテンツのオーディオ信号を受信する。いくつかの実施形態では、サーバデバイスが、他のテレビ番号ではなく、テレビ広告のオーディオ信号を受信するようにスケジュールされるように、サーバデバイスは、所定のスケジュールに従って、オーディオ信号を受信するように構成される。そのような実施形態では、各テレビチャネルのためのオーディオ信号を受信するためのスケジュールが、そのテレビチャネルにおいてブロードキャストされるべきテレビ番組の所定のタイムラインに基づいてあらかじめ設定され得る。あるいは、別の実施形態では、サーバデバイスは、テレビチャネルのグループを介してブロードキャストされたテレビコンテンツのオーディオ信号を受信し、その後、テレビ広告のオーディオ信号を識別し、他のテレビ番組のオーディオ信号から、テレビ広告のオーディオ信号を選択する。
S612では、サーバデバイスは、テレビチャネルのグループを介してブロードキャストされたテレビ広告の受信されたオーディオ信号から、オーディオフィンガープリントを抽出する。いくつかの実施形態では、サーバデバイスは、受信されたオーディオ信号から、オーディオフィンガープリントを定期的に抽出し得る。たとえば、サーバデバイスは、テレビチャネルを介して、10分間継続する第1の継続時間中にブロードキャストされた第1のテレビ広告と、同じテレビチャネルを介して、8分間継続する第2の継続時間中にブロードキャストされた第2のテレビ広告とに関連したオーディオ信号を受信する。第1の継続時間は、第2の継続時間とオーバラップしておらず、または、隣接していない。その後、サーバデバイスは、第1の継続時間および第2の継続時間において、2分毎に、オーディオフィンガープリントを抽出し、各オーディオフィンガープリントは、30秒である短い期間に対応するオーディオ信号から抽出される。すなわち、サーバデバイスは、第1の継続時間における最初の2分の期間(すなわち、10分の継続時間のうちの1分目および2分目)のうちの最初の30秒に対応するオーディオ信号に基づいて、第1のオーディオフィンガープリントを抽出し、サーバデバイスは、第1の継続時間における2番目の2分の期間(すなわち、10分の継続時間のうちの3分目および4分目)のうちの最初の30秒に対応するオーディオ信号に基づいて、第2のオーディオフィンガープリントを抽出し、サーバデバイスが、第1の継続時間における5番目の2分の期間(すなわち、10分の継続時間のうちの9分目および10分目)のうちの最初の30秒に対応するオーディオ信号に基づいて、第5のオーディオフィンガープリントを抽出するまでそのように繰り返す。同様に、サーバデバイスは、(第2の継続時間が4つの2分の期間を含んでいるので)第2の継続時間に対応するオーディオ信号から4つのオーディオフィンガープリントを抽出する。別の実施形態では、サーバデバイスは、他の任意の適切な方法を使用して、受信されたテレビ広告のオーディオ信号に基づいて、オーディオフィンガープリントを抽出し得る。
その後、サーバデバイスは、抽出されたオーディオフィンガープリントを、データベース603に記憶する。データベース603に記憶されたオーディオフィンガープリントは、S604に関して上述されたように、ユーザによって見られたテレビ広告のオーディオ信号から抽出されたオーディオフィンガープリントと比較されるために使用され得る。いくつかの実施形態では、データベース603に記憶され、テレビチャネルにおいてブロードキャストされた、テレビ広告に関連したオーディオフィンガープリントが、定期的に更新され得る。その結果、所与の時間において、テレビチャネルを介して現在ブロードキャストされている、または、最も直近にブロードキャストされた、テレビ広告に関連したオーディオフィンガープリントが、データベース603内に記憶される一方、テレビチャネルを介してブロードキャストされた古いテレビ広告に関連したオーディオフィンガープリントが、データベース603から削除される。たとえば、データベース603は、最後の10分間においてテレビチャネルのグループを介してブロードキャストされたテレビ広告のオーディオフィンガープリントのみを記憶するように構成され得る。別の例については、データベース603は、テレビチャネルのグループの各テレビチャネルを介してブロードキャストされたテレビ広告の、最大でも直近の10個のみのオーディオフィンガープリントを記憶するように構成され得る。そのような方法では、データベース603は、データベース603のストレージを絶えず拡張する必要なく、最も直近にブロードキャストされたテレビ広告のオーディオフィンガープリントを記憶し得る。
S613では、サーバデバイスは、テレビチャネルのグループを介してブロードキャストされたテレビ広告に関連したオーディオフィンガープリントを、データベース610に記憶されたオーディオフィンガープリントと比較する。比較の結果、サーバデバイスは、S612で抽出された各オーディオフィンガープリントのテレビ広告の識別子を識別する。具体的には、サーバデバイスが、S612において抽出されたオーディオフィンガープリントと、データベース610に記憶されたオーディオフィンガープリントとの間の一致を判定した場合、サーバデバイスは、データベース610に記憶されたオーディオフィンガープリントに関連したテレビ広告が、S612において抽出されたオーディオフィンガープリントに対応する時間において、S612において抽出されたオーディオフィンガープリントに関連したテレビチャネルでブロードキャストされたと推論する。
テレビチャネルのための時間ストリームにおいて配信され、S612において抽出されたオーディオフィンガープリントに基づいて、サーバデバイスは、そのテレビチャネルのための時間ストリームを生成する。具体的には、テレビチャネルのための時間ストリームは、多数の相互排他的な継続時間を含み、その各々は、そのテレビチャネルを介してブロードキャストされたテレビ広告の時間に対応する。さらに、S613からの比較結果に基づいて、サーバデバイスは、S612で抽出された各オーディオフィンガープリントのためのテレビ広告の識別子を決定する。テレビチャネルを介してブロードキャストされたテレビ広告のオーディオフィンガープリントのための決定された識別子を、そのテレビチャネルの時間ストリームへ組み込むことによって、サーバデバイスは、そのテレビチャネルのための識別子の時間ストリームを生成する。上述したように、テレビチャネルのための識別子のそのような時間ストリームは、多数の相互排他的な継続時間を含み、それら各々は、そのテレビチャネルを介してブロードキャストされたテレビ広告の時間に対応する。テレビチャネルのための識別子の時間ストリームに含まれる各継続時間は、そのテレビチャネルを介して、継続時間中にブロードキャストされたテレビ広告の識別子に関連付けられるか、または、この識別子によって識別される。チャネルのグループの各テレビチャネルのための識別子のそのような時間ストリームは、その後、S605に関して上述されたように、ユーザによって見られたテレビ広告のための識別子を決定するために使用される。
図7は、いくつかの実施形態に従ってクライアントデバイス700の構成を例示するブロック図である。クライアントデバイス700は、図1に関して図示および上述されたクライアントデバイス50に構成的および機能的に類似し得る。特に、クライアントデバイス700は、サーバデバイス(たとえば、図1におけるサーバデバイス70)に動作可能に接続され、このサーバデバイスと通信し得る。さらに、クライアントデバイス700は、端末デバイス(たとえば、図1における端末デバイス30)を介してマルチメディアコンテンツを受信するユーザ(たとえば、図1におけるユーザ55)によって操作され得る。
図7に図示されるように、クライアントデバイス700は、受信モジュール710、送信モジュール730、および提示モジュール750を含む。いくつかの実施形態では、クライアントデバイスは、図7に図示されたものよりも多いかまたは少ないモジュールを含み得る。いくつかの実施形態では、クライアントデバイス700に含まれる各モジュールは、ハードウェアベースのモジュール(たとえば、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)等)、ソフトウェアベースのモジュール(たとえば、プロセッサにおいて実行されるコンピュータコードのモジュール、プロセッサにおいて実行されるプロセッサ読み取り可能な命令のセット等)、または、ハードウェアモジュールとソフトウェアモジュールとの組合せであり得る。各モジュールの命令またはコードは、クライアントデバイス700のメモリ(図7に図示せず)に格納され、クライアントデバイス700のプロセッサ(たとえば、CPU)(図7に図示せず)において実行される。全体として、受信モジュール710、送信モジュール730、および提示モジュール750は、図2、図3、および図6に関して図示および上述された方法200、方法300と、処理600のクライアント部分を集合的に実行するように構成され得る。
受信モジュール710は、他の機能の中でも、クライアントデバイス700のユーザから、対話命令を受信するように構成される。受信モジュール710はまた、対話命令を受信したことに応答して、端末デバイスを介してユーザへ提示されたマルチメディアコンテンツに関連したデータをキャプチャし、抽出するように構成される。本明細書に記述されたように、たとえば、マルチメディアコンテンツは、ビデオコンテンツまたはオーディオコンテンツであり得る。マルチメディアコンテンツに関連したデータは、たとえば、オーディオデータまたはビデオデータを含み得る。いくつかの実施形態では、たとえば、受信モジュール710は、マルチメディアコンテンツのオーディオ信号をキャプチャし、その後、キャプチャされたマルチメディアコンテンツのオーディオ信号から、オーディオフィンガープリントを抽出するように構成され得る。
いくつかの実施形態では、受信モジュール710は、方法200のS210の動作、および、図2〜図3に関して図示および上述された方法300の動作を実行するように構成される。具体的には、受信モジュール700は、端末デバイスを介してユーザへ現在提示されているマルチメディアコンテンツ(たとえば、テレビにおいてテレビチャネルを介してブロードキャストされたテレビ広告)のピースに関連した対話命令を、クライアントデバイス700のユーザから受信し得る。受信モジュール700は、その後、対話命令に応答して、マルチメディアコンテンツのピースのオーディオを記録することを開始し得る。最後に、受信モジュール700は、マルチメディアコンテンツのピースのオーディオフィンガープリントを、マルチメディアコンテンツのピースの記録されたオーディオから抽出し得る。
送信モジュール730は、他の機能の中でも、マルチメディアコンテンツに関連し、受信モジュール710において決定されたデータを、サーバデバイスへ送信するように構成される。これによって、サーバデバイスは、このデータに基づいて、マルチメディアコンテンツの識別子を決定できるようになる。いくつかの実施形態では、たとえば、データは、マルチメディアコンテンツのオーディオフィンガープリントを含み得る。いくつかの実施形態では、送信モジュール730は、図2に関して図示および上述された方法200におけるS230の動作を実行するように構成される。
提示モジュール750は、他の機能の中でも、サーバデバイスから、および、送信モジュール730がデータを送信したことに応答して、マルチメディアコンテンツに関連したインタラクティブなコンテンツを受信するように構成される。提示モジュール750はまた、クライアントデバイス700のユーザへ、インタラクティブなコンテンツを提示するように構成される。いくつかの実施形態では、たとえば、インタラクティブなコンテンツは、ユーザに対してマルチメディアコンテンツに関連した製品またはサービスの購入を促すように構成されたインタラクティブなウェブページを含み得る。いくつかの実施形態では、提示モジュール750は、図2に関して図示および上述された方法200のS250の動作を実行するように構成される。
図8は、図7におけるクライアントデバイス700内の受信モジュール710の構成を例示するブロック図である。図8に図示されるように、受信モジュール710は、リスニングユニット711、収集ユニット713、および抽出ユニット715を含む。いくつかの実施形態では、クライアントデバイスにおける受信モジュールは、図8に図示されるものよりも多いかまたは少ないサブモジュールまたはユニットを含み得る。いくつかの実施形態では、受信モジュール710に含まれる各モジュール(たとえば、サブモジュール、ユニット)は、ハードウェアベースのモジュール(たとえば、DSP、FPGA、ASIC等)、ソフトウェアベースのモジュール(たとえば、プロセッサにおいて実行されるコンピュータコードのモジュール、プロセッサにおいて実行されるプロセッサ読み取り可能な命令のセット等)、または、ハードウェアモジュールとソフトウェアモジュールとの組合せであり得る。各モジュールの命令またはコードは、クライアントデバイス700のメモリ(図8に図示されず)に記憶され、クライアントデバイス700のプロセッサ(たとえば、CPU)(図8に図示されず)において実行され得る。全体として、リスニングユニット711、収集ユニット713、および抽出ユニット715は、方法200のS250の動作と、図2〜図3に関して図示および上述された方法300の動作とを集合的に実行するように構成され得る。
具体的には、リスニングユニット711は、クライアントデバイス700のユーザから、端末デバイスを介してユーザへ提示されるマルチメディアコンテンツに関連した対話命令を受信するように構成される。言い換えると、リスニングユニット711は、図3における方法300のS211の動作を実行するように構成され得る。
収集ユニット713は、リスニングユニット711がユーザから対話命令を受信したことに応答して、マルチメディアコンテンツに関連したデータを収集するように構成される。いくつかの実施形態では、たとえば、収集ユニット713は、リスニングユニット711が対話命令を受信したことに応答して、マルチメディアコンテンツのオーディオの記録を開始し得る。言い換えると、収集ユニット713は、図3における方法300のS213の動作を実行するように構成され得る。
抽出ユニット715は、収集ユニット713によって収集されたマルチメディアコンテンツに関連したデータからオーディオフィンガープリントを抽出するように構成される。いくつかの実施形態では、たとえば、抽出ユニット715は、収集ユニット713によって記録されたマルチメディアコンテンツのオーディオから、オーディオフィンガープリントを抽出し得る。言い換えると、抽出ユニット715は、図3における方法300のS215の動作を実行するように構成され得る。いくつかの実施形態では、たとえば、抽出ユニット715は、図3におけるS215に関して上述されたように、記録されたオーディオデータからオーディオフィンガープリントを抽出するためのサーバステップ動作を実行し得る。
図9は、いくつかの実施形態に従って、クライアントデバイス700およびサーバデバイス内のモジュールからなるシステム900の構成を例示するブロック図である。サーバデバイスは、図1に関して図示および上述されたサーバデバイス70に構成的および機能的に類似し得る。サーバデバイスは、クライアントデバイス700に動作可能に接続され、クライアントデバイス700と通信する。図9に図示されるように、サーバデバイスは、識別モジュール910を含む。いくつかの実施形態では、サーバデバイスは、図9に図示されるものよりも多くのモジュールを含み得る。
いくつかの実施形態では、クライアントデバイス700のモジュールに類似して、システム900に含まれるサーバデバイスの各モジュールは、ハードウェアベースのモジュール(たとえば、DSP、FPGA、ASIC等)、ソフトウェアベースのモジュール(たとえば、プロセッサにおいて実行されるコンピュータコードのモジュール、プロセッサにおいて実行されるプロセッサ読み取り可能な命令のセット等)、または、ハードウェアモジュールとソフトウェアモジュールとの組合せであり得る。各モジュールの命令またはコードは、サーバデバイスのメモリ(図9に図示せず)に記憶され、サーバデバイスのプロセッサ(たとえば、CPU)(図9に図示せず)において実行され得る。
識別モジュール910は、他の機能の中でも、クライアントデバイス700からマルチメディアコンテンツに関連したデータを受信することに応答して、マルチメディアコンテンツに関連したインタラクティブなコンテンツを識別し、検索し、送信するように構成される。言い換えると、識別モジュール910は、図4における方法400の動作を実行するように構成され得る。具体的には、たとえば、クライアントデバイス700の送信モジュール730は、サーバデバイスの識別モジュール910へ、マルチメディアコンテンツのピースに関連したデータを送信する。マルチメディアコンテンツのピースに関連したデータに基づいて、識別モジュール910は、マルチメディアコンテンツのピースのための識別子を決定し、その後、マルチメディアコンテンツのピースの決定された識別子に基づいて、マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを識別する。識別モジュール910は、インタラクティブなコンテンツを検索し、クライアントデバイス700の提示モジュール750へ送信する。いくつかの実施形態では、たとえば、マルチメディアコンテンツのピースは、広告であり得る。マルチメディアコンテンツのピースに関連したデータは、広告のオーディオフィンガープリントを含み得る。また、インタラクティブなコンテンツは、広告に関連した製品またはサービスの購入のためのインタラクティブなウェブページを含み得る。
図10は、図9におけるシステム900内の識別モジュール910の構成を例示するブロック図である。図10に図示されるように、識別モジュール910は、処理ユニット911、決定ユニット913、および送信ユニット915を含む。いくつかの実施形態では、サーバデバイスにおける識別モジュールは、図10に図示されるものよりも多いかまたは少ないサブモジュールまたはユニットを含み得る。いくつかの実施形態では、識別モジュール910に含まれる各モジュール(たとえば、サブモジュール、ユニット)は、ハードウェアベースのモジュール(たとえば、DSP、FPGA、ASIC等)、ソフトウェアベースのモジュール(たとえば、プロセッサにおいて実行されるコンピュータコードのモジュール、プロセッサにおいて実行されるプロセッサ読み取り可能な命令のセット等)、または、ハードウェアモジュールとソフトウェアモジュールとの組合せであり得る。各モジュールの命令またはコードは、サーバデバイスのメモリ(図10に図示されず)に記憶され、サーバデバイスのプロセッサ(たとえば、CPU)(図10に図示されず)において実行され得る。全体として、処理ユニット911、決定ユニット913、および送信ユニット915は、図4に関して図示および上述された方法400の動作を集合的に実行するように構成され得る。
処理ユニット911は、クライアントデバイス700(たとえば、クライアントデバイス700の送信モジュール730)から、マルチメディアコンテンツに関連したデータを受信するように構成される。処理ユニット911はまた、マルチメディアコンテンツがユーザへ提示されるチャネルのみならず、対話の時間をも決定するために、受信されたデータを処理するように構成される。言い換えれば、処理ユニット911は、図4における方法400のS401の動作を実行するように構成され得る。
いくつかの実施形態では、マルチメディアコンテンツのピースに関連したデータは、マルチメディアコンテンツのそのピースのオーディオフィンガープリントを含む。そのような実施形態では、処理ユニット911は、マルチメディアコンテンツのピースが提示されるチャネルを決定するために、受信されたマルチメディアコンテンツのピースのオーディオフィンガープリントを、チャネルのグループを介して提示されたマルチメディアコンテンツのためのオーディオフィンガープリントのデータベース(たとえば、図6におけるテレビチャネル603のためのオーディオフィンガープリントのデータベース)に記憶されたオーディオフィンガープリントと比較し得る。それに加えて、処理ユニット911は、この比較の結果として、対話の時間を決定し得る。いくつかの実施形態では、たとえば、処理ユニット911は、図4におけるS401に関して上述されたように、受信されたオーディオフィンガープリントを、データベースに記憶されたオーディオフィンガープリントと比較するために、4ステップの処理を実行し得る。
決定ユニット913は、処理ユニット911によって決定された、受信されたマルチメディアコンテンツに関連したチャネルおよび対話の時間に基づいて、受信されたマルチメディアコンテンツの識別子を決定するように構成される。言い換えれば、決定ユニット913は、図4における方法400のS403の動作を実行するように構成され得る。特に、処理ユニット911が、受信されたマルチメディアコンテンツのピースに関連したチャネルおよび対話の時間を決定した後、決定ユニット913は、チャネルのための識別子の時間ストリームにおける対話の時間を見つけることができる。図4および図6に関して上述されたように、チャネルのための識別子のそのような時間ストリームは、多数の相互排他的な継続時間を含む。これらの各々は、その継続時間中に、そのチャネルを介して提示されるマルチメディアコンテンツのピースの識別子に関連付けられる。したがって、決定ユニット913は、マルチメディアコンテンツのピースの識別子を決定でき得る。
送信ユニット915は、決定ユニット913によって決定されたマルチメディアコンテンツの識別子に基づいて、マルチメディアコンテンツに関連したインタラクティブなコンテンツを検索するように構成される。いくつかの実施形態では、インタラクティブなコンテンツは、たとえば、マルチメディアコンテンツに関連したインタラクティブなウェブページを含む。送信ユニット915はまた、検索されたインタラクティブなコンテンツをクライアントデバイス700(たとえば、クライアントデバイス700の提示モジュール750)へ送信するように構成される。言い換えれば、送信ユニット915は、図4における方法400のS405の動作を実行するように構成され得る。
図11は、いくつかの実施形態に従って、クライアントデバイス700およびサーバデバイス内のモジュールからなる別のシステム1100の構成を例示するブロック図である。システム1100は、図9を用いて図示および上述されたシステム900に類似している。特に、システム1100に含まれたサーバデバイスは、図9におけるシステム900に含まれるサーバデバイスに構成的および機能的に類似している。図11に図示されるように、サーバデバイスは、識別モジュール910および関連付けモジュール1110を含む。
関連付けモジュール1110は、他の機能の中でも、チャネルのグループを介して提示されたマルチメディアコンテンツの時間ストリームにおける継続時間のための識別子を決定し、関連付けるように構成される。言い換えると、関連付けモジュール1110は、図5における方法500の動作を実行するように構成され得る。具体的には、たとえば、関連付けモジュール1110は、チャネルのグループを介して提示されたマルチメディアコンテンツの信号を受信し得る。関連付けモジュール1110は、受信された信号に基づいて、マルチメディアコンテンツのデータを定期的に決定し得る。いくつかの実施形態では、受信された信号は、オーディオ信号であり、関連付けモジュール1110によって決定されたデータは、マルチメディアコンテンツのためのオーディオフィンガープリントを含む。関連付けモジュール1110は、定期的に決定されたデータの各ピースのための識別子を決定するために、定期的に決定されたデータを、所定のマルチメディアコンテンツのデータベースにおいて記憶されたデータと比較し得る。最後に、関連付けモジュール1110は、これら識別子の各々を、チャネルのグループからのチャネルを介して提示されたマルチメディアコンテンツの時間ストリームにおける対応する継続時間に関連付け得る。ここで、継続時間は、マルチメディアコンテンツの対応する信号を受信する時間、または、対応する対話の時間を含む。
図12は、図11におけるシステム1100内の関連付けモジュール1110の構成を例示するブロック図である。図12に図示されるように、関連付けモジュール1110は、キャプチャユニット1111、比較ユニット1113、および関連付けユニット1115を含む。いくつかの実施形態では、サーバデバイスにおける関連付けモジュールは、図12に図示されるものよりも多いかまたは少ないサブモジュールまたはユニットを含み得る。いくつかの実施形態では、関連付けモジュール1110に含まれる各モジュール(たとえば、サブモジュール、ユニット)は、ハードウェアベースのモジュール(たとえばDSP、FPGA、ASIC等)、ソフトウェアベースのモジュール(たとえば、プロセッサにおいて実行されるコンピュータコードのモジュール、プロセッサにおいて実行されるプロセッサ読み取り可能な命令のセット等)、または、ハードウェアモジュールとソフトウェアモジュールとの組合せであり得る。各モジュールの命令またはコードは、サーバデバイスのメモリ(図12に図示せず)に記憶され、サーバデバイスのプロセッサ(たとえば、CPU)(図12に図示せず)において実行され得る。全体として、キャプチャユニット1111、比較ユニット1113、および関連付けユニット1115は、図5に関して図示および上述された方法500の動作を集合的に実行するように構成され得る。
キャプチャユニット1111は、チャネルのグループを介して提示されたマルチメディアコンテンツの信号を受信し、受信された信号に基づいて、マルチメディアコンテンツのデータを定期的に決定するように構成される。言い換えれば、キャプチャユニット1111は、図5における方法500のS501の動作を実行するように構成され得る。いくつかの実施形態では、たとえば、マルチメディアコンテンツの信号は、オーディオ信号であり、決定されたデータは、マルチメディアコンテンツのオーディオフィンガープリントを含む。そのような実施形態では、キャプチャユニット1111は、オーディオ信号から、マルチメディアコンテンツのオーディオフィンガープリントを抽出するために、図3に関して上述された方法300のS215における動作を実行し得る。
比較ユニット1113は、定期的に決定されたデータを、所定のマルチメディアコンテンツデータベース(たとえば、図6におけるテレビ広告のためのオーディオフィンガープリントのデータベース610)において記憶されたデータと比較するように構成される。比較ユニット1113は、比較結果に基づいて、定期的に決定されたデータの各ピースのための識別子を決定し得る。言い換えれば、比較ユニット1113は、図5における方法500のS503の動作を実行するように構成され得る。
関連付けユニット1115は、識別子の各々を、チャネルのグループからのチャネルを介して提示されたマルチメディアコンテンツの時間ストリームにおける対応する継続時間に関連付けるように構成される。ここで、継続時間は、マルチメディアコンテンツの対応する信号を受信する時間、または、対応する対話の時間を含む。言い換えれば、関連付けユニット1115は、図5における方法500のS505の動作を実行するように構成され得る。
図13は、いくつかの実施形態に従って、サーバデバイス1300の構成を例示するブロック図である。サーバデバイス1300は、図1に関して図示および上述されたサーバデバイス70に構成的および機能的に類似し得る。特に、サーバデバイス1300は、端末デバイス(たとえば、図1における端末デバイス30)を介してマルチメディアコンテンツを受信するユーザ(たとえば、図1におけるユーザ55)によって操作されるクライアントデバイス(たとえば、図1におけるクライアントデバイス50)に動作可能に接続され、このクライアントデバイスと通信し得る。
図13に図示されるように、サーバデバイス1300は、受信モジュール1310、識別モジュール1330、および送信モジュール1350を含む。いくつかの実施形態では、サーバデバイスは、図13に図示されるものよりも多いかまたは少ないモジュールを含み得る。いくつかの実施形態では、サーバデバイス1300に含まれる各モジュールは、ハードウェアベースのモジュール(たとえば、DSP、FPGA、ASIC等)、ソフトウェアベースのモジュール(たとえば、プロセッサにおいて実行されるコンピュータコードのモジュール、プロセッサにおいて実行されるプロセッサ読み取り可能な命令のセット等)、または、ハードウェアモジュールとソフトウェアモジュールとの組合せであり得る。各モジュールの命令またはコードは、サーバデバイス1300のメモリ(図13に図示せず)に記憶され、サーバデバイス1300のプロセッサ(たとえば、CPU)(図13に図示せず)において実行され得る。全体として、受信モジュール1310、識別モジュール1330、および送信モジュール1350は、図4〜図6に関して図示および上述された方法400、方法500、および処理600のサーバ部を集合的に実行するように構成され得る。
いくつかの実施形態では、サーバデバイス1300に含まれたモジュールの機能は、図9〜図12に関して図示および上述された、モジュール、ユニット、または、サーバデバイスの様々なモジュールおよび/またはユニットの組合せ、のうちの少なくとも一部に対応する。具体的には、受信モジュール1310は、他の機能の中でも、クライアントデバイスからのマルチメディアコンテンツに関連したデータを受信するように構成される。いくつかの実施形態では、受信モジュール1310の機能は、図9〜図10における識別モジュール910の処理ユニット911の機能の少なくとも一部に対応する。
識別モジュール1330は、他の機能の中でも、ユーザへ提示されたマルチメディアコンテンツのピースの識別子を、受信モジュール1310によって受信されたデータに基づいて決定するように構成される。いくつかの実施形態では、受信モジュール1310の機能は、図9〜図10における識別モジュール910の処理ユニット911および決定ユニット913の機能の少なくとも一部に対応する。さらに、受信モジュール1310の機能はまた、図11〜図12における関連付けモジュール1110の機能に対応する。
送信モジュール1350は、他の機能の中でも、識別モジュール1330によって決定されたマルチメディアコンテンツのピースの識別子に基づいて、マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索し、このインタラクティブなコンテンツを、クライアントデバイスへ送信するように構成される。いくつかの実施形態では、送信モジュール1350の機能は、図9〜図10における識別モジュール910の送信ユニット915の機能に対応する。
前述した記述は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な議論は、網羅的であることも、または、本願を、開示された詳細な形態へ限定することも意図されていない。上記の教示を考慮して、多くの修正および変形が可能である。実施形態は、本願およびその現実的な応用の原理を最も良く説明し、それによって、当業者が、本願と、考慮されている特定の用途に対して適合されたような様々な修正を有する様々な実施形態とを最も良く利用することを可能にするために選択され、記述された。
特定の実施形態が上述されたが、本願をこれら特定の実施形態に限定することは意図されていないと理解されるであろう。それどころか、本願は、添付された特許請求の範囲の精神および範囲内にある代替物、修正物、および均等物を含む。本明細書において表された主題の完全な理解を提供するために、多くの具体的な詳細が記述されている。しかし、この主題は、これら具体的な詳細無しで実現され得ることが当業者に明白になるであろう。他の事例では、周知の方法、手順、構成要素、および回路は、実施形態の態様を不必要に不明瞭にしないように、詳細には記述されていない。
本明細書における本願の記述において使用される専門用語は、特定の実施形態のみを記述するためのものであり、本願を限定することは意図されていない。本願および添付された特許請求の範囲の記述において使用されるように、単数形「a」、「an」、および「the」は、そうではないと明確に示されていないのであれば、複数形も同様に含むことが意図されている。本明細書において使用されるような「および/または(and/or)」という用語は、関連付けられリストされた項目のうちの1つまたは複数の任意およびすべての可能な組合せを称し、包含することもまた理解されるであろう。「含む(include)」、「含んでいる(including)」、「備える(comprise)」、および/または、「備えている(comprising)」という用語は、本明細書において使用される場合、述べられた特徴、動作、要素、および/または、構成要素の存在を明示するが、1つまたは複数の他の特徴、動作、要素、構成要素、および/または、そのグループの存在または追加を排除しないこともさらに理解されるであろう。
本明細書で使用されるように、「〜である場合(if)」という用語は、コンテキストに依存して、述べられた条件判定が真で「あるとき(when)」、「あれば(upon)」、「あると判定したことに応答して(in response to determining)」、または「あるとの判定に従って(in accordance with a determination)」、または「あると検出したことに応答して(in response to detecting)」を意味するように解釈され得る。同様に、「[述べられた条件判定が真である]と判定されると(if it is determined)」、または「[述べられた条件判定が真である]場合(if)」、または「[述べられた条件判定が真である]とき(when)」というフレーズは、コンテキストに依存して、述べられた条件判定が真で「あると判定すれば(upon determining)」、「あると判定したことに応答して(in response to determining)」、または「あるとの判定に従って(in accordance with a determination)」、「あると検出すれば(upon detecting)」、または「あると検出したことに応答して(in response to detecting)」を意味するように解釈され得る。
様々な図面のいくつかは、多くの論理ステージを、特定の順序で例示しているが、順序に依存しないステージが再順序付けされ、他のステージが結合または発生され得る。いくつかの再順序付けまたは他のグルーピングが具体的に述べられたが、その他も当業者に明らかであり、よって、代替例の網羅的なリストを提示しない。さらに、これらステージは、ハードウェア、ファームウェア、ソフトウェア、またはこれら任意の組合せで実現され得るということが認識されるべきである。
10 衛星
30 端末デバイス
50 クライアントデバイス
55 ユーザ
70 サーバデバイス
603 テレビチャネルのためのオーディオフィンガープリントのデータベース
606 インタラクティブなコンテンツのデータベース
610 テレビ広告のためのオーディオフィンガープリントのデータベース
614 テレビ広告
710 受信モジュール
711 リスニングユニット
713 収集ユニット
715 抽出ユニット
730 送信モジュール
750 提示モジュール
910 識別モジュール
911 処理ユニット
913 決定ユニット
915 送信ユニット
1110 関連付けモジュール
1111 キャプチャユニット
1113 比較ユニット
1115 関連付けユニット
1310 受信モジュール
1330 識別モジュール
1350 送信モジュール

Claims (13)

  1. マルチメディアコンテンツの視聴者と対話する方法であって、
    １つまたは複数のプロセッサと、前記１つまたは複数のプロセッサによって実行されるべきプログラムを記憶するためのメモリとを備えたサーバデバイスにおいて、
    端末デバイスのユーザへ、チャネルのグループからのチャネルを介して、提示されるマルチメディアコンテンツのピースに関連したデータを、前記端末デバイスから受信するステップであって、前記マルチメディアコンテンツのピースは、複数のマルチメディアコンテンツのピースからのものであり、前記データは、前記端末デバイスの前記ユーザによって前記端末デバイスへ提供された対話命令に応答して、前記端末デバイスにおいて取得され、前記データは、前記マルチメディアコンテンツのピースのオーディオフィンガープリントを含む、ステップと、
    前記マルチメディアコンテンツのピースの前記オーディオフィンガープリントと前記複数のマルチメディアコンテンツのピースのオーディオフィンガープリントのグループとを比較し、比較結果に基づいて、前記チャネルのグループから、マルチメディアコンテンツのピースがそれを介して提示される前記チャネル、を決定するステップと、
    前記決定されたチャネルについての時間ストリーム内の対話の時間を決定するステップであって、前記チャネルは、前記チャネルを介して提示されたマルチメディアコンテンツの前記時間ストリームに関連付けられ、前記時間ストリームは、継続時間に分割され、前記継続時間の各々は、マルチメディアコンテンツの１つのピースに関連付けられる、ステップと、
    前記チャネルのグループを介して提示された前記複数のマルチメディアコンテンツのピースのための識別子のセットから、前記マルチメディアコンテンツのピースの識別子を決定するステップであって、前記識別子のセットの各識別子は、前記複数のマルチメディアコンテンツのピースから、少なくとも１つのマルチメディアコンテンツのピースを識別する、ステップと、
    ここで、前記マルチメディアコンテンツのピースの識別子を決定するステップは、
    前記対話の時間が前記時間ストリームの前記継続時間内にある継続時間を決定するステップと、
    前記継続時間に関連付けられた識別子を前記マルチメディアコンテンツのピースの識別子として決定するステップと、を含み、
    前記マルチメディアコンテンツのピースの前記識別子に基づいて、
    前記継続時間中に前記チャネルを介して提示された前記マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索するステップと、
    クライアントデバイスが前記クライアントデバイスのユーザへ前記インタラクティブなコンテンツを提示するよう、前記インタラクティブなコンテンツを前記クライアントデバイスへ送信するステップであって、前記インタラクティブなコンテンツは、前記マルチメディアコンテンツのピースに関連したインタラクティブなウェブページを含む、ステップと
    を有する
    ことを特徴とする方法。
  2. 前記マルチメディアコンテンツのピースが、ビデオクリップまたはオーディオクリップである、
    ことを特徴とする請求項１に記載の方法。
  3. 前記インタラクティブなコンテンツが、広告に関連した製品を前記クライアントデバイスの前記ユーザが購入することを可能にするように構成される、
    ことを特徴とする請求項１に記載の方法。
  4. 前記方法は、前記サーバデバイスにおいて、
    前記マルチメディアコンテンツの信号を受信するステップと、
    受信した前記信号に基づいて、前記マルチメディアコンテンツのオーディオフィンガープリントを定期的に決定するステップと、
    リアルタイムのオーディオフィンガープリントデータベースに記憶されている前記チャネルのグループの各チャネルを介して提示された前記マルチメディアコンテンツに関連したオーディオフィンガープリントが定期的に更新されるよう、前記オーディオフィンガープリントを前記リアルタイムのオーディオフィンガープリントデータベースに記憶するステップと
    をさらに有する、
    ことを特徴とする請求項１に記載の方法。
  5. 所定のマルチメディアコンテンツデータベースが、前記複数のマルチメディアコンテンツのピースの各マルチメディアコンテンツのピースの前記識別子と、前記複数のマルチメディアコンテンツのピースの各マルチメディアコンテンツのピースの少なくとも前記チャネルおよび前記継続時間の情報とを記憶する、
    ことを特徴とする請求項１に記載の方法。
  6. マルチメディアコンテンツの視聴者と対話するように構成されたサーバデバイスであって、
    １つまたは複数のプロセッサと、
    前記１つまたは複数のプロセッサによって実行されるべき１つまたは複数のプログラムを記憶するメモリと
    を備え、
    前記１つまたは複数のプログラムは、
    前記サーバデバイスに動作可能に接続された端末デバイスのユーザへ、チャネルのグループのチャネルを介して、提示されるマルチメディアコンテンツのピースに関連したデータを、前記端末デバイスから受信するための命令であって、前記マルチメディアコンテンツのピースは、複数のマルチメディアコンテンツのピースからのものであり、前記データは、前記端末デバイスの前記ユーザによって前記端末デバイスへ提供された対話命令に応答して、前記端末デバイスにおいて取得され、前記データは、前記マルチメディアコンテンツのピースのオーディオフィンガープリントを含む、命令と、
    前記マルチメディアコンテンツのピースの前記オーディオフィンガープリントと前記複数のマルチメディアコンテンツのピースのオーディオフィンガープリントのグループとを比較し、比較結果に基づいて、前記チャネルのグループから、マルチメディアコンテンツのピースがそれを介して提示される前記チャネル、を決定する、命令と、
    前記決定されたチャネルについての時間ストリーム内の対話の時間を決定する命令であって、前記チャネルは、前記チャネルを介して提示されたマルチメディアコンテンツの前記時間ストリームに関連付けられ、前記時間ストリームは、継続時間に分割され、前記継続時間の各々は、マルチメディアコンテンツの１つのピースに関連付けられる、命令と、
    前記サーバデバイスにおいて、前記チャネルのグループを介して提示された前記複数のマルチメディアコンテンツのピースのための識別子のセットから、前記マルチメディアコンテンツのピースの識別子を決定するための命令であって、前記識別子のセットの各識別子は、前記複数のマルチメディアコンテンツのピースから、少なくとも１つのマルチメディアコンテンツのピースを識別する、命令と、
    ここで、前記マルチメディアコンテンツのピースの識別子を決定するための命令は、
    前記対話の時間が前記時間ストリームの前記継続時間内にある継続時間を決定する命令と、
    前記継続時間に関連付けられた識別子を前記マルチメディアコンテンツのピースの識別子として決定する命令と、を含み、
    前記マルチメディアコンテンツのピースの前記識別子に基づいて、前記継続時間中に前記チャネルを介して提示された前記マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索するための命令と、
    クライアントデバイスが前記クライアントデバイスのユーザへ前記インタラクティブなコンテンツを提示するよう、前記インタラクティブなコンテンツを前記クライアントデバイスへ送信するための命令であって、前記インタラクティブなコンテンツは、前記マルチメディアコンテンツのピースに関連したインタラクティブなウェブページを含む、命令と
    を含む、
    ことを特徴とするサーバデバイス。
  7. 前記マルチメディアコンテンツのピースが、前記視聴者に提示される広告である、
    ことを特徴とする請求項６に記載のサーバデバイス。
  8. 前記インタラクティブなコンテンツが、前記広告に関連した製品を前記クライアントデバイスの前記ユーザが購入することを可能にするように構成される、
    ことを特徴とする請求項７に記載のサーバデバイス。
  9. 前記１つまたは複数のプログラムが、
    前記マルチメディアコンテンツの信号を受信するための命令と、
    受信した前記信号に基づいて、前記マルチメディアコンテンツのオーディオフィンガープリントを定期的に決定するための命令と、
    リアルタイムのオーディオフィンガープリントデータベースに記憶されている前記チャネルのグループの各チャネルを介して提示された前記マルチメディアコンテンツに関連したオーディオフィンガープリントが定期的に更新されるよう、前記オーディオフィンガープリントを前記リアルタイムのオーディオフィンガープリントデータベースに記憶するための命令と
    をさらに含む、
    ことを特徴とする請求項６に記載のサーバデバイス。
  10. 所定のマルチメディアコンテンツデータベースが、前記複数のマルチメディアコンテンツのピースの各マルチメディアコンテンツのピースの識別子と、前記複数のマルチメディアコンテンツのピースの各マルチメディアコンテンツのピースの少なくとも前記チャネルおよび前記継続時間の情報とを記憶する、
    ことを特徴とする請求項６に記載のサーバデバイス。
  11. １つまたは複数のプログラムを記憶する非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記１つまたは複数のプログラムは、１つまたは複数のプロセッサによって実行されたとき、前記１つまたは複数のプロセッサに、
    サーバデバイスにおいて、
    端末デバイスのユーザへ、チャネルのグループのチャネルを介して、提示されるマルチメディアコンテンツのピースに関連したデータを、前記端末デバイスから受信する手順であって、前記マルチメディアコンテンツのピースは、複数のマルチメディアコンテンツのピースからのものであり、前記データは、前記端末デバイスの前記ユーザによって前記端末デバイスへ提供された対話命令に応答して、前記端末デバイスにおいて取得され、前記データは、前記マルチメディアコンテンツのピースのオーディオフィンガープリントを含む、手順と、
    前記マルチメディアコンテンツのピースの前記オーディオフィンガープリントと前記複数のマルチメディアコンテンツのピースのオーディオフィンガープリントのグループとを比較し、比較結果に基づいて、前記チャネルのグループから、マルチメディアコンテンツのピースがそれを介して提示される前記チャネル、を決定する、手順と、
    前記決定されたチャネルについての時間ストリーム内の対話の時間を決定する手順であって、前記チャネルは、前記チャネルを介して提示されたマルチメディアコンテンツの前記時間ストリームに関連付けられ、前記時間ストリームは、継続時間に分割され、前記継続時間の各々は、マルチメディアコンテンツの１つのピースに関連付けられる、手順と、
    前記チャネルのグループを介して提示された前記複数のマルチメディアコンテンツのピースのための識別子のセットから、前記マルチメディアコンテンツのピースの識別子を決定する手順であって、前記識別子のセットの各識別子は、前記複数のマルチメディアコンテンツのピースから、少なくとも１つのマルチメディアコンテンツのピースを識別する、手順と、
    ここで、前記マルチメディアコンテンツのピースの識別子を決定する手順は、
    前記対話の時間が前記時間ストリームの前記継続時間内にある継続時間を決定する手順と、
    前記継続時間に関連付けられた識別子を前記マルチメディアコンテンツのピースの識別子として決定する手順と、を含み、
    前記マルチメディアコンテンツのピースの前記識別子に基づいて、前記継続時間中に前記チャネルを介して提示された前記マルチメディアコンテンツのピースに関連したインタラクティブなコンテンツを検索する手順と、
    クライアントデバイスが前記クライアントデバイスのユーザへ前記インタラクティブなコンテンツを提示するよう、前記インタラクティブなコンテンツを前記クライアントデバイスへ送信する手順であって、前記インタラクティブなコンテンツは、前記マルチメディアコンテンツのピースに関連したインタラクティブなウェブページを含む、手順と
    を実行させる、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
  12. 前記１つまたは複数のプログラムが、前記１つまたは複数のプロセッサに、
    前記マルチメディアコンテンツの信号を受信する手順と、
    受信した前記信号に基づいて、前記マルチメディアコンテンツのオーディオフィンガープリントを定期的に決定する手順と、
    リアルタイムのオーディオフィンガープリントデータベースに記憶されている前記チャネルのグループの各チャネルを介して提示された前記マルチメディアコンテンツに関連したオーディオフィンガープリントが定期的に更新されるよう、前記オーディオフィンガープリントを前記リアルタイムのオーディオフィンガープリントデータベースに記憶する手順と
    をさらに実行させる、
    ことを特徴とする請求項１１に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
  13. 所定のマルチメディアコンテンツデータベースが、前記複数のマルチメディアコンテンツのピースの各マルチメディアコンテンツのピースの識別子と、前記複数のマルチメディアコンテンツのピースの各マルチメディアコンテンツのピースの少なくとも前記チャネルおよび前記継続時間の情報とを記憶する、
    ことを特徴とする請求項１１に記載の非一時的なコンピュータ読み取り可能な記憶媒体。
JP2016536124A 2014-06-13 2015-01-28 マルチメディアコンテンツの視聴者と対話するための方法およびシステム Active JP6479804B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410265948.X 2014-06-13
CN201410265948.XA CN104023251B (zh) 2014-06-13 2014-06-13 基于视频的互动方法和系统
PCT/CN2015/071772 WO2015188630A1 (en) 2014-06-13 2015-01-28 Method and system for interacting with audience of multimedia content

Publications (2)

Publication Number Publication Date
JP2017511004A JP2017511004A (ja) 2017-04-13
JP6479804B2 true JP6479804B2 (ja) 2019-03-06

Family

ID=51439789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016536124A Active JP6479804B2 (ja) 2014-06-13 2015-01-28 マルチメディアコンテンツの視聴者と対話するための方法およびシステム

Country Status (5)

Country Link
US (2) US10028013B2 (ja)
EP (1) EP3155816B1 (ja)
JP (1) JP6479804B2 (ja)
CN (1) CN104023251B (ja)
WO (1) WO2015188630A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159159B (zh) * 2014-05-30 2015-10-07 腾讯科技（深圳）有限公司 基于视频的交互方法、终端、服务器及系统
CN104023251B (zh) 2014-06-13 2015-08-19 腾讯科技（深圳）有限公司 基于视频的互动方法和系统
CN104618816A (zh) * 2015-02-26 2015-05-13 北京奇艺世纪科技有限公司 一种跨屏互动方法、装置及系统
CN104991936B (zh) * 2015-07-03 2018-04-13 广州市动景计算机科技有限公司 一种目标信息获取、推送方法及装置
CN105142018A (zh) * 2015-08-12 2015-12-09 深圳Tcl数字技术有限公司 基于音频指纹的节目识别方法及装置
US9848235B1 (en) * 2016-02-22 2017-12-19 Sorenson Media, Inc Video fingerprinting based on fourier transform of histogram
CN106101795A (zh) * 2016-06-27 2016-11-09 乐视控股（北京）有限公司 一种广告转移方法及装置
US11303951B2 (en) * 2016-10-27 2022-04-12 Evixar Inc. Content reproduction program and content reproduction device
US10306333B2 (en) * 2017-09-13 2019-05-28 The Nielsen Company (Us), Llc Flagging advertisement frames for automatic content recognition
CN107731220B (zh) * 2017-10-18 2019-01-22 北京达佳互联信息技术有限公司 音频识别方法、装置和服务器
CN107750015B (zh) * 2017-11-02 2019-05-07 腾讯科技（深圳）有限公司 视频版权的检测方法、装置、存储介质及设备
US10931390B2 (en) 2018-08-03 2021-02-23 Gracenote, Inc. Vehicle-based media system with audio ad and visual content synchronization feature
US11409980B2 (en) * 2018-12-19 2022-08-09 Acoustic Arc International Limited Audio-effect-activated scent generation method and system
US11166077B2 (en) 2018-12-20 2021-11-02 Rovi Guides, Inc. Systems and methods for displaying subjects of a video portion of content
CN111787418B (zh) * 2020-06-23 2023-09-22 深圳市思友科技有限公司 基于人工智能ai的音视频流的对接处理方法及相关设备
CN112104913B (zh) * 2020-09-11 2023-09-26 腾讯科技（深圳）有限公司 连麦切换方法、装置、计算机设备及存储介质
US11711579B1 (en) * 2021-01-25 2023-07-25 Amazon Technologies, Inc. Navigation integrated content stream
US20230136608A1 (en) * 2021-10-28 2023-05-04 Capped Out Media System and methods for advertisement enhancement
US11895362B2 (en) * 2021-10-29 2024-02-06 Manufacturing Resources International, Inc. Proof of play for images displayed at electronic displays
CN115119041B (zh) * 2022-06-17 2024-07-12 深圳创维－Rgb电子有限公司 跨屏播放的控制方法、装置、设备及计算机存储介质

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2972547B2 (ja) * 1995-05-08 1999-11-08 エス． ウエインブラット リー ラジオ聴取者またはテレビジョン視聴者のサーベイをするための装置および方法
JPH11353325A (ja) * 1998-06-10 1999-12-24 Hitachi Ltd 映像と関連情報の同期表示システム
JP2000224257A (ja) * 1999-01-29 2000-08-11 Jisedai Joho Hoso System Kenkyusho:Kk 送信装置および受信装置
JP4683733B2 (ja) * 2001-01-18 2011-05-18 ヤフー株式会社 番組関連情報提供システムおよび方法、この番組関連情報提供システムから情報提供を受けることが可能な情報通信端末、コンピュータをそのような情報通信端末として機能させるためのプログラム、並びに、このプログラムを記録したコンピュータ読取可能な記録媒体
JP3768823B2 (ja) * 2001-03-01 2006-04-19 日本電信電話株式会社 番組関連情報テーブル構成方法及びシステム
JP2003018575A (ja) * 2001-07-03 2003-01-17 Matsushita Electric Ind Co Ltd テレビ受像器、情報獲得システム、及び情報獲得方法
WO2005011294A1 (ja) * 2003-07-28 2005-02-03 Nec Corporation 視聴調査システム
JP4299714B2 (ja) * 2004-03-31 2009-07-22 株式会社電通 情報提供システム、制御装置、情報提供制御方法及び情報提供制御プログラム
US20070016918A1 (en) * 2005-05-20 2007-01-18 Alcorn Allan E Detecting and tracking advertisements
JP2009182369A (ja) * 2006-05-17 2009-08-13 Panasonic Corp テレビ番組録画再生装置、テレビ番組録画再生方法、及びテレビ番組録画再生装置を動作させるプログラム
US20090037947A1 (en) * 2007-07-30 2009-02-05 Yahoo! Inc. Textual and visual interactive advertisements in videos
US20110069937A1 (en) * 2009-09-18 2011-03-24 Laura Toerner Apparatus, system and method for identifying advertisements from a broadcast source and providing functionality relating to the same
CN102741842A (zh) * 2009-12-04 2012-10-17 Tivo有限公司 多功能多媒体设备
US8627379B2 (en) * 2010-01-07 2014-01-07 Amazon Technologies, Inc. Offering items identified in a media stream
US9264785B2 (en) * 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US9185458B2 (en) 2010-04-02 2015-11-10 Yahoo! Inc. Signal-driven interactive television
US8694533B2 (en) * 2010-05-19 2014-04-08 Google Inc. Presenting mobile content based on programming context
US8863165B2 (en) * 2010-11-01 2014-10-14 Gracenote, Inc. Method and system for presenting additional content at a media system
CN102572515A (zh) * 2010-12-16 2012-07-11 康佳集团股份有限公司 网络电视节目互动系统及方法
US20120240151A1 (en) * 2011-03-16 2012-09-20 Seth Daniel Tapper Synchronizing Interactive Digital Advertisements displayed on client devices with television commercials
JP2012227631A (ja) * 2011-04-18 2012-11-15 Yamaha Corp 情報提供システムおよび携帯端末装置
JP5948773B2 (ja) * 2011-09-22 2016-07-06 ソニー株式会社 受信装置、受信方法、プログラム、及び情報処理システム
CN103096128B (zh) * 2011-11-07 2016-07-06 中国移动通信集团公司 一种实现视频互动的方法、服务器、终端及系统
US8949872B2 (en) * 2011-12-20 2015-02-03 Yahoo! Inc. Audio fingerprint for content identification
JP5420023B2 (ja) * 2012-06-08 2014-02-19 株式会社Ｔｂｓテレビ 映像関連情報送信システム及び方法、これらに用いられる関連情報送信装置
EP2875478A4 (en) * 2012-07-20 2016-01-06 Visible World Inc SYSTEMS, METHODS, AND COMPUTER-READABLE MEDIA FOR DETERMINING RESULTS FOR PROGRAM PROMOTIONS
US9883247B2 (en) * 2012-08-13 2018-01-30 Saturn Licensing Llc Reception apparatus, reception method, transmission apparatus, and transmission method
CN102868922B (zh) * 2012-09-11 2016-08-10 Tcl通力电子（惠州）有限公司 一种播放广告的方法及系统
US9788055B2 (en) 2012-09-19 2017-10-10 Google Inc. Identification and presentation of internet-accessible content associated with currently playing television programs
US9460204B2 (en) * 2012-10-19 2016-10-04 Sony Corporation Apparatus and method for scene change detection-based trigger for audio fingerprinting analysis
US20140136596A1 (en) * 2012-11-09 2014-05-15 Yahoo! Inc. Method and system for capturing audio of a video to display supplemental content associated with the video
US9247309B2 (en) * 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
CN103475943A (zh) * 2013-09-11 2013-12-25 马清虎 一种电视节目的互动方法和系统
CN103501464A (zh) * 2013-09-24 2014-01-08 深圳市同洲电子股份有限公司 一种推送广告的方法、终端、服务器以及系统
US9456237B2 (en) * 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
CN103763586B (zh) * 2014-01-16 2017-05-10 北京酷云互动科技有限公司 电视节目互动方法、装置和服务器
CN104023251B (zh) * 2014-06-13 2015-08-19 腾讯科技（深圳）有限公司 基于视频的互动方法和系统

Also Published As

Publication number Publication date
EP3155816A4 (en) 2017-05-31
WO2015188630A1 (en) 2015-12-17
JP2017511004A (ja) 2017-04-13
US20160301972A1 (en) 2016-10-13
EP3155816A1 (en) 2017-04-19
US10349124B2 (en) 2019-07-09
US20180295412A1 (en) 2018-10-11
US10028013B2 (en) 2018-07-17
CN104023251A (zh) 2014-09-03
EP3155816B1 (en) 2021-07-21
CN104023251B (zh) 2015-08-19

Similar Documents

Publication Publication Date Title
JP6479804B2 (ja) マルチメディアコンテンツの視聴者と対話するための方法およびシステム
US10509815B2 (en) Presenting mobile content based on programming context
US11546659B2 (en) System and method for associating search queries with remote content display
US9942711B2 (en) Apparatus and method for determining co-location of services using a device that generates an audio signal
KR101818986B1 (ko) 오디오 입력에 기초하여 정보를 획득하는 방법, 장치 및 시스템
KR101371574B1 (ko) 매스 미디어를 위한 사회적 및 상호작용 애플리케이션
US10296645B2 (en) Systems and methods for content selection based on search query correlation with broadcast media
US11706481B2 (en) Media content identification on mobile devices
KR20180105750A (ko) 오디오 핑커프린트 기반의 비디오 멀티-매칭 검출 및 명확화를 통한 미디어 채널 식별
US20140114455A1 (en) Apparatus and method for scene change detection-based trigger for audio fingerprinting analysis
JP2014531798A (ja) マルチメディア検索を用いて視聴者がテレビで視聴しているものを特定すること
JP2019036837A (ja) オブジェクト特定装置、オブジェクト特定システム、オブジェクト特定方法及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190206

R150 Certificate of patent or registration of utility model

Ref document number: 6479804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250