JP6561057B2 - コンピュータユーザデータの対話型収集を含む、動画印象解析のサポートにおける方法 - Google Patents

コンピュータユーザデータの対話型収集を含む、動画印象解析のサポートにおける方法 Download PDF

Info

Publication number
JP6561057B2
JP6561057B2 JP2016533927A JP2016533927A JP6561057B2 JP 6561057 B2 JP6561057 B2 JP 6561057B2 JP 2016533927 A JP2016533927 A JP 2016533927A JP 2016533927 A JP2016533927 A JP 2016533927A JP 6561057 B2 JP6561057 B2 JP 6561057B2
Authority
JP
Japan
Prior art keywords
data
video
processing module
media
data collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016533927A
Other languages
English (en)
Other versions
JP2016535347A (ja
Inventor
ハジエフ，エルナー
サロ，マーティン
Original Assignee
リアルアイズ・オーウー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リアルアイズ・オーウー filed Critical リアルアイズ・オーウー
Publication of JP2016535347A publication Critical patent/JP2016535347A/ja
Application granted granted Critical
Publication of JP6561057B2 publication Critical patent/JP6561057B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25883—Management of end-user data being end-user demographical data, e.g. age, family status or address
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)

Description

発明の分野
本発明は、動画印象の解析に関し、そのような解析をサポートすることにおける、コンピュータユーザに関するデータの対話型収集に関する。特に、本発明は、動画広告の有効性の解析において特に有用であるように、コンピュータユーザの印象の解析のサポートにおいて、リモートサーバへの効率的な態様での送信のために、たとえば、動画を見ながら、またはある活動に従事しながらの、クライアントコンピュータにおけるコンピュータユーザの挙動に関する情報の収集および処理に関する。
発明の背景
商業的な視点から、オンラインで提供されるコンテンツ、たとえば広告（「アド」）、ゲーム、ミュージックビデオ、テレビショーなどのパフォーマンスを評価できることは重要である。コンピュータユーザが、たとえば好適な格付け値（たとえば星の数）を選択することによって、コンテンツを手動で格付けするシステムを提供することは一般的である。質問項目またはインタビューを有効性トラッキングスキームの一部として提供することも一般的である。
より最近では、たとえば顔の特徴をトラッキングすることなどによって、コンピュータユーザの感情を測定するための技術が、動画コンテンツのパフォーマンスを評価する方法に組込まれている。たとえば、ウェブカムなどのような画像化ユニットを用いて、コンピュータユーザが動画コンテンツを見ているときに、コンピュータユーザの顔の特徴を捕捉することができる。捕捉された画像は、動画におけるある点におけるコンピュータユーザの感情についての情報を生じさせるよう処理することができ、それは動画のパフォーマンスにおける価値のあるフィードバックである。
動画および捕捉された画像はインターネットを介して送信されてもよく、それによって、フィードバックは複数のリモートコンピュータユーザから自動的に集められてもよい。たとえば、ＵＳ ２０１２／０２２２０５７には、動画がウェブにより可能化されるインターフェイスに埋込まれており、ウェブにより可能化されるインターフェイスは埋込まれた動画を見るコンピュータユーザについての精神状態データを収集するよう配されるシステムが開示されている。ウェブにより可能化されるインターフェイスそれ自体は、たとえば、適当なＵＲＬを複数の見込みのある視聴者に送信することによって、配信され得る。
ＵＳ ２０１１／００２９６６６には、データ収集エージェントが、ビデオクリップを表示する動画プレイヤーおよび／またはウェブページにロードされる、受動的なユーザ挙動モニタリングシステムが開示される。
ＵＳ ２０１２／００７２９３９には、ウェブカムなどを介して各視聴者メンバーの画像を捕捉することによって動画コンテンツに対する視聴者反応を測定するためのシステムおよび方法が開示されている。
発明の概要
最も一般的には、本発明は、コンテンツが再生される各クライアントコンピュータにおけるコンピュータユーザにオンラインで提供されるコンテンツの有効性を計測する問題をサポートすることにおいて、動画広告応答の構造内にコンピュータユーザ挙動データ収集機能を提供することを提案する。本発明は、したがって、コンピュータユーザ挙動データ（たとえば感情状態データを含む）が、動画コンテンツを再生するのに用いられる動画プレイヤーのタイプに関わらず、メディアコンテンツ（たとえば動画または音声）に対して収集されることを可能にし得る。
ここで、「動画広告応答（video ad response）」という用語は、動画プレイヤーからの呼出に従う広告サーバから供される応答を意味し、それは、動画コンテンツを表示するための必要な情報、たとえばメディアファイルを含む。コンピュータユーザ挙動データ収集機能は、動画広告応答内における動画広告の場所を取るか、または動画がそれを介して再生される、対話型ウェブアプリケーションであってもよい。
ここで、「挙動データ（behavioural data）」という用語は、ユーザの活動またはステータスに関する任意のデータを示すよう用いられる。それは、感情状態データ、つまり任意の所与の時間におけるユーザの感情を示す情報を含んでもよい。感情状態データは、任意の態様で、たとえばウェブカムを介して得られる顔の画像または他の生理学的指標から得られてもよい。挙動データは、さらに、ユーザのコンピュータとの対話に関するデータ、たとえば表示のうちのある部分におけるユーザの興味を示す音声データ、クリックデータまたは他のデータを含んでもよい。挙動データに加えて、本発明は、さらに、たとえば、性別、年齢、場所などのような、ユーザについての他の詳細を示す他のユーザデータの収集、処理および送信を斟酌してもよい。
ここで、「リモートサーバ」、およびさらに一般的には「サーバ」という用語は、本発明の１つ以上の実施の形態と関連して有用である機能を実施するために、中にある、メモリストア（たとえばＲＡＭ）から受取られた命令を実行する少なくとも１つのプロセッサを有するコンピュータを意味するよう用いられる。サーバは、さらに、通信を、ネットワークを介して、サーバと、コンピュータユーザ挙動データが捕捉されている１つおよび複数間のローカルコンピュータとの間において可能にするよう構成されるハードウェアを含むネットワークインターフェイスコンポーネントを含む。例として、限定されずに、通信は、ユーザデータグラムプロトコル（ＵＤＰ）またはインターネットプロトコル（ＩＰ）に従って構築されるデータパケットを含み得る。
注記されるように、本発明に従うコンピュータユーザ挙動データ収集機能は、リモートサーバに送信されることに先立ってローカルコンピュータにおいて収集されているデータに関する時間的な情報に関するさらなる「挙動データ」を含み得る。
本発明に従い、およびオンラインコンテンツを配給する分野において対応されている問題を捗らせることにおいて、コンピュータユーザ挙動データを収集する方法が提供され、この方法は、たとえば、広告サーバにおいて、クライアントコンピュータで動作する動画プレイヤーから、動画広告応答に対する呼出を受信することと、動画広告応答をクライアントコンピュータに供することと、前記動画広告応答を前記クライアントコンピュータ上の動画プレイヤーにおいて実行することとを含み、動画広告応答が実行されると、実行可能なデータ収集および処理モジュールを動画プレイヤーにおいて実行して、クライアントコンピュータにおけるメディアの再生中に挙動データを収集および処理する。動画広告応答は、動画プレイヤーにおける動画広告応答の実行で実行可能なデータ収集および処理モジュールをトリガするためのコードを含んでもよい。この方法においては、動画プレイヤーは、データ収集および処理モジュールのための実行時環境を提供してもよい。コンピュータユーザ挙動データの収集は、したがって、動画再生プロセスにおいて、よりよく統合され得る。
本発明のより具体的な局面においては、オンラインコンテンツの表示との関連においてコンピュータユーザ挙動データが収集されるクライアントコンピュータにおいてデータパケットが構築されてもよい。データパケットの構築は、生画像捕捉状態から、たとえばローカルコンピュータと関連づけられるウェブカメラからの収集されたデータを、ＴＣＰ／ＩＰネットワークなどのようなネットワークを介する送信のために、ストリーミングデータプロトコルと互換性のあるパケット化された構造に変換するために、コードがそこで実行されることによって構成されるクライアントコンピュータのプロセッサを利用して、収集されたコンピュータユーザ挙動データをローカル処理することを含む。
本発明のさらにより特定の局面においては、捕捉されたコンピュータユーザ挙動データを、ローカルコンピュータでの動画広告のメディア再生中における少なくとも瞬間またはセグメントを含む、メディア再生中においてローカルコンピュータに提供される動画の瞬間またはセグメントと調整するために、収集されたデータは、パケット化された構造への変換前に、さらなる処理を経てもよい。そのような処理は、動画の時間コードまたはある範囲の時間コードを捕捉されたコンピュータユーザ挙動データと関連づけることによってのように、捕捉されている画像をクライアントコンピュータにおいて再生されているメディア内のある時間的な位置に同期させる、ローカルコンピュータのプロセッサにおいて実行される命令を含む。同期は、ローカルプロセス（ストリーミングされるコンテンツのローカルコンピュータへの送信に対するメディア再生のタイミングを変えるかもしれないもののような）に関連する、ローカルコンピュータにおけるストリーミングされるコンテンツの受信に関連づけられるレイテンシ問題、およびメディア再生のタイムウィンドウにも影響し得るローカルコンピュータにおけるイベント（たとえば１つの非限定的な例として、ユーザは再生を停止させるかまたは巻戻す）に関連づけられるレイテンシ問題を解決するのに重要であり得る。
本発明のこの局面に従うさらなる処理は、コンピュータユーザ挙動データそれ自体をリモートサーバに送信することに加えて、コンピュータユーザ挙動データに関する時間的情報を、リモートサーバに送信されているデータパケット間に含ませる。
さらにより特定化された局面においては、コンピュータユーザ挙動データが捕捉されている間の瞬間またはセグメントに対する時間コードは、動画広告に対して、および選択肢的にメディア再生アプリケーションにおいて再生されている他の動画コンテンツに対して、時間オフセットを含み得る。
本発明のさらにさらなる局面においては、クライアントコンピュータは、再生中のメディアの中断を最小限にするように、それらのリソースをさらに効率よく利用するよう構成される。これに関して、システムコンポーネントがモニタリングされ、それらのパフォーマンスまたは値が、あるローカル処理をいつ実行すべきかに関する判断において利用される。したがって、コンピュータユーザ挙動データの処理は、処理が実行されているクライアントコンピュータのパフォーマンス能力に鑑み、およびさらにはクライアントコンピュータとそれが接続されるネットワークとの間の接続性に鑑みて、動的に実行（開始および停止）され得る。
収集された挙動データは、生データ、たとえば画像、音声であってもよく、挙動情報を得るよう（コンピュータにおいて、および／または外部で）解析され得る。収集された挙動データの処理はいくつかのサブ処理ステップを含んでもよく、少なくとも、収集された対話型データを、リモートサーバへの送信に対して好適なデータパケットに、さらに好ましくは、動画再生に関係づけられる時間的情報、およびコンピュータユーザ挙動データの収集中にクライアントコンピュータにおいて再生されていた瞬間またはセグメントを含むよう、変換するものを含んでもよい。
挙動データの収集中に再生されるメディア（たとえば動画コンテンツまたは音声コンテンツ）は、動画広告応答において実行可能なメディアファイルによって提供されてもよい。代替的に、画像の収集中に再生される動画コンテンツは、動画広告応答とは別に供されてもよい。
実行可能なデータ収集および処理モジュールの実行を引起すことは、動画広告応答におけるリソース識別子を呼出すことを含んでもよく、リソース識別子はデータ収集および処理モジュールを指し示す。代替的に、データ収集および処理モジュールは、それ自体が、供される動画広告応答内における実行可能なアプリケーションであってもよい。ここにおいて、「リソース識別子」とは、別の場所、たとえばリモートサーバからデータ収集および処理モジュールを呼出すことができる、動画広告応答における任意の値を意味する。リソース識別子は統一資源識別子（ＵＲＩ）であってもよい。
挙動データは、コンピュータユーザの感情状態を示す情報を含んでもよい。一実施の形態においては、この情報は、ユーザの画像、特にユーザの顔の画像を収集することによって得られる。データ収集および処理モジュールの実行は、したがって、クライアントコンピュータに接続されるウェブカムを起動し、必要とされる場合には、ユーザの画像を収集するようウェブカムの活性化を促してもよい。画像は、挙動情報、特に感情状態情報を得るよう解析され得る。したがって、データ収集および処理モジュールは、感情トラッキングアプリケーションであってもよく、またはそれを含んでもよい。したがって、データ収集および処理モジュールは、リモートサーバに送信されるデータパケットに含まれるよう、選択肢的にはサーバに送信されている他の挙動データを含むデータパケット内において送信されるよう、画像を解析し、解析の結果としてトラッキングされる感情に関するデータを出力する、コンテンツが再生されているクライアントコンピュータのプロセッサ内において実行可能な命令を含み得る。
データ収集および処理モジュールは、収集された挙動データを解析のためにリモートサーバに送信するよう配されてもよい。データ収集および処理モジュールは、リモートサーバとの接続性を得、リモートサーバとの間におけるデータの伝送を制御してもよい。これらの機能は、たとえば、データ収集および処理モジュールの実行で表示されるプロンプトの適当な選択に基づいて、ユーザによって活性化可能であってもよい。データ収集および処理モジュールは、たとえば、データ収集および処理モジュールのステータスを示すために、および／またはユーザがデータ収集および処理モジュールと対話することを可能にするために、動画プレイヤー上またはそれに近接してグラフィカルユーザインターフェイスを表示するよう配されてもよい。
データ収集および処理モジュールは、画像の収集中に再生されるメディアと関連づけられてもよい。たとえば、データ収集および処理モジュール（またはそのリソース識別子）およびメディアの両方が同じ動画広告応答に含まれてもよい。代替的に、データ収集および処理モジュールはメディアに直接関連づけられなくてもよい。たとえば、動画広告応答は、データ収集および処理モジュール（およびそれのリソース識別子）を動画の代わりに含んでもよく、つまり、データ収集および処理モジュールの実行は動画広告を再生することの代わりに置換される。この状況においては、メディアは、異なるソース、たとえば他の広告サーバから得られてもよく、または動画プレイヤーに既に存在してもよく、たとえばユーザによってライブラリまたはメディア共有ウェブサイトから選択されてもよい。
動画広告応答は、インタラクティブ広告協議会（Interactive Advertising Bureau）（ＩＡＢ）によって製造される動画広告掲出テンプレート（Video Ad Serving Template）（ＶＡＳＴ）３．０と互換性のあるＸＭＬベースの構造を有してもよい。データ収集および処理モジュール（またはそのリソース識別子）は、ＶＡＳＴ応答の創造的要素において提供されてもよい。この構成の利点は、それによって、ＶＡＳＴ互換性動画プレイヤーにおけるデータ収集および処理モジュールの実行が確実にされ得るという点である。したがって、データ収集および処理モジュールを特定の動画プレイヤーに調整したり、またはデータ収集および処理モジュール内に動画プレイヤーのタイプを検出したり、それに従ってそれ自体を再構成する手段を設けたりする必要がなくてもよい。
たとえば、動画広告応答は、ＶＡＳＴインライン応答、つまり表示されるべき動画広告をそれ自体が含む広告応答であってもよい。本発明のそのような構成に従うと、動画広告応答は、画像の収集中における再生のためのメディアを提供するメディアファイルを含んでもよい。メディアは、任意のタイプのものであってもよく、たとえば動画コンテンツ、音声コンテンツなどであってもよい。ＶＡＳＴインライン応答は、広告ポッドを形成する複数の連続的なリニア広告を含んでもよい。データ収集および処理モジュールのためのリソース識別子は、複数の連続的なリニア広告によって、またはそれらの１つにおいて提供されてもよい。画像の収集中における再生のためのメディアは、たとえばデータ収集および処理モジュール以降の連続番号を伴う、複数の連続リニア広告のうちの別のものであってもよい。このようにして、ＶＡＳＴ構造は、データ収集および処理モジュールの開始シーケンス後に再生されるメディアが完了されることを確実にする。
データ収集および処理モジュールのためのリソース識別子は、ＶＡＳＴインライン応答に含まれるコンパニオン広告によって、またはその中に提供されてもよい。コンパニオン広告は、動画プレイヤーそれ自体上において表示されるメディアを表示するかまたはそれとは別に動作するよう配されることができる。
データ収集および処理モジュールのためのリソース識別子は、ＶＡＳＴインライン応答のCreativeExtension部分内に設けられてもよい。CreativeExtension部分は、ある特定のアプリケーションプログラミングインターフェイス（ＡＰＩ）が動作するよう呼出す必要があり得る実行可能なエンティティが提供され得るＶＡＳＴ構造のうちのあるセクションである。
ＶＡＳＴインライン応答はノンリニア広告を含んでもよい。しかしながら、静的な広告コンテンツではなく、ノンリニア広告は、データ収集および処理モジュールのためのリソース識別子を、それの静的リソース部分に含んでもよい。
上記のように、データ収集および処理モジュールのためのリソース識別子は、画像の収集中における再生のためのメディアとともに提供される必要はない。たとえば、動画広告応答は、ＶＡＳＴインライン応答を呼出すためのリソース識別子とデータ収集および処理モジュールとを含むＶＡＳＴリダイレクト応答であってもよい。画像の収集中における再生のためのメディアは、呼出されたＶＡＳＴインライン応答において、たとえばメディアファイルとして存在してもよい。データ収集および処理モジュールそれ自体は、ＶＡＳＴリダイレクト応答に含まれるコンパニオン広告によって、またはその中において提供されてもよい。
上記の例においては、動画広告応答それ自体は、データ収集および処理モジュール、またはデータ収集および処理モジュールのためのリソース識別子を含む。しかしながら、ある代替的な実施の形態では、この方法は、動画広告応答におけるメディアファイルリソース識別子を、データ収集および処理モジュールのためのリソース識別子と置換するステップを含んでもよい。換言すれば、動画プレイヤーは、標準メディアファイル要求を、データ収集および処理モジュールを実行する態様でリダイレクトするよう作用する。たとえば、データ収集および処理モジュールのためのリソース識別子は、メディアファイルリソース識別子を含むプロキシアドレスであってもよい。
データ収集および処理モジュールは、画像の収集中におけるメディアの再生のためのメディアプレイヤー部分を含む。メディアプレイヤー部分は、メディアが動画プレイヤー内において実行されているように見えるように、動画プレイヤー上に重なってもよい。代替的に、メディアの再生は、従来のように、動画プレイヤーそれ自体によってでもよい。
さらに、再生のためのメディアは動画広告応答環境外にあることも可能であり得る。換言すれば、動画広告応答環境はデータ収集および処理モジュールの起動を斟酌し、一方で、再生のためのメディアは、ユーザにとって、たとえば動画共有ウェブサイトまたはソーシャルネットワークからの自由な選択である。この場合、ＶＡＳＴインライン応答は、動画プレイヤーとデータ収集および処理モジュールとの間において通信を確立するための動画プレイヤーインターフェイスモジュールを含んでもよい。動画プレイヤーインターフェイスモジュールは、動画プレイヤーメディアおよび／または再生されているメディアのステータスに関する情報をデータ収集および処理モジュールに渡すよう動作可能であってもよい。データ収集および処理モジュールは、動画プレイヤー広告提供インターフェイス定義（Video Player Ad-Serving Interface Definition）（ＶＰＡＩＤ）２．０と互換性があるプロトコルを用いて、動画プレイヤーと通信してもよい。データ収集および処理モジュールは、動画プレイヤーと直接通信してもよく、または動画プレイヤーインターフェイスモジュールを介して間接的に通信してもよい。
本発明は、たとえば、複数の異なる場所に位置する複数のユーザの各々からデータを収集し処理するためにウェブベースのシステム内において用いられてもよい。本発明の１つの利点は、データ収集ソフトウェアがユーザのローカルコンピュータシステムに予めインストールされる必要がないことにより、可能性のあるユーザのプールを広げることになり得ることである。
上記のように、収集された挙動データは、メディアを見ているユーザの感情状態に関してもよい。収集された挙動データがユーザの顔の画像を含む場合には、この方法は、顔の画像を解析して、ユーザの感情状態についての情報を抽出することを含んでもよい。したがって、挙動データは、ウェブカムからの画像または動画ストリーム、マウス移動データ、マウスクリックデータ、音声データを含んでもよい。データは、データ収集および処理モジュールによって部分的に処理されて、たとえば解析サーバに対する通信を容易にしてもよい。たとえば、ユーザデータ、質問事項応答などのような、他のデータも収集および処理されてもよい。収集されたデータを用いて、たとえば測定された視聴者反応に基づいて、マーケットリサーチを駆動し得る。まとめて、データ収集および処理モジュールによるコンピュータユーザ挙動データの処理は、各ローカルコンピュータから解析サーバへの、より効率的なデータ転送のために、異なる情報をデータパケットに結合し、その結果、計算リソースの使用の改善、および各個々のローカルコンピュータからのデータアップロードに対する影響をより最小限にすることをもたらす。
顔の画像の解析は任意の公知の態様で行なわれてもよい。たとえば、この解析は、たとえば、顔の特徴の周りの領域に対応し得る、検出された顔の画像の複数のサブ領域をトラッキングし識別することによって、１つ以上の特定の顔の特徴の動きをトラッキングすることを含んでもよい。それぞれの顔の特徴の動きは、各サブ領域内における画像の特性を比較して、サブ領域における画像に対する変化を示すパラメータを抽出することによってトラッキングされてもよい。感情は、サブ領域の１つ以上からの抽出されたパラメータに基づいて直接判断されてもよい。この解析は、さらに、幾何学的な特徴のみをトラッキングすることにより、または上記の技術の組合せを実行することにより、なされてもよい。顔は、それをサブ領域に分割することなく、全体として解析されてもよい。ある実施の形態では、この解析は、データ収集および処理モジュールによって実行され、解析サーバへのデータ伝送のために、解析されたデータの出力を引起す。
この解析は、さらに、他のユーザの動きまたはジェスチャ、たとえば、上半身の動き、頭部のジェスチャなどをモニタリングしてもよく、それを、単独、または上記の技術との組合せにおいて用いることができる。
本発明においては、データ収集および処理モジュールは、収集された顔の画像を解析サーバに送信するように配されてもよい。データは、動画ストリーム、または一連の抽出された（たとえば周期的に抽出された）画像として送信されてもよい。画像は、ウェブカムによって捕捉された完全な画像であってもよく、またはトラッキングされるべき顔の特徴もしくは領域に対応する画像の部分を抽出するよう予め処理されてもよい。代替的に、予備的な解析が、クライアントコンピュータ上において、データ収集および処理モジュールによって実行されてもよく、それによって、純粋な挙動データのみが送信される。
解析サーバは、入力を、別に、または同時に、複数のデータ収集および処理モジュールから受信するよう配されてもよい。解析サーバは、画像を解析することによって入力を処理し、１つ以上の感情状態のデータ表現を抽出するよう配されてもよい。たとえば、解析は、６つの普遍的な感情、たとえば幸福、悲しみ、驚き、恐怖、嫌悪および怒りの各々についての感情メトリックを生成してもよい。感情メトリックは、顔または顔の特徴のテクスチャにおける顔の特徴または変化の幾何学的変形に基づいてもよい。加えて、または代替的に、これらまたは他の感情メトリックは、頷き、頭部を振ること、もしくは頭部が小刻みに動くことなどのような頭部のポーズの変化、または手、肩、目のジェスチャなどのような他の身体のジェスチャに基づいてもよい。これらおよび他の感情メトリックは、さらに、対象のコンピュータから受信される音声信号を、独立して、またはパーソナルコンピュータで一般的に測定可能な動画および他の信号と縦列して処理することに基づいてもよい。感情メトリックは、各ローカルコンピュータからリモートサーバへの効率のよいデータ転送のために、生の捕捉された画像データの代わりにリモートサーバに送信され得、ここでも、計算リソースの使用の改善、および各個々のローカルコンピュータからのデータアップロードに対する、より最小化された影響をもたらす結果となる。
この解析は、さらに、感情から独立しているか、または顔の特徴の動きの他の組合せに基づいてもよい、１つ以上のさらなるメトリックを生成してもよい。たとえば、さらなるメトリックは、関与、中立性、および誘意性（valence）を含んでもよい。
解析サーバは、複数のユーザの各々ごとに計算されたメトリックを集計するよう配されてもよい。解析サーバは、集計されたメトリックを、たとえば対話型グラフィカルユーザインターフェイス（ＧＵＩ）を介して表示するよう配されてもよい。対話型ＧＵＩは消費者にとってウェブリンクを介してアクセス可能であってもよい。それは、動的に、たとえばリアルタイムで、またはリフレッシュ動作の実行で更新してもよい。
対話型ＧＵＩは、集計されたメトリックの１つ以上の時間展開を提示することによって、提示されたメディア内における領域のインパクトが評価されることを可能にしてもよい。
本発明の例を、以下に、詳細に、添付の図面を参照して論じる。
本発明の実施の形態である方法を実施するためのシステムの略図である。 本発明の実施の形態である方法を示すフローチャートである。 本発明の他の実施の形態である方法の初期ステップを示すフローチャートである。 本発明の他の実施の形態である方法におけるステップを示すフローチャートである。 本発明とともに用いることができるさまざまなＶＡＳＴ応答のコンテンツの概略図である。 本発明の方法の実行によって集められた結果を表示するのに好適なグラフィカルユーザインターフェイスのスクリーンショットである。
本発明のある実施の形態の詳細な説明
図１は、本発明が動作する環境１００を示す。ユーザ１０２は、ブラウザを用いて、ネットワークで可能化されるコンピュータ（図示せず）と関連づけられるディスプレイ１０４上においてウェブベースのコンテンツを見る。コンピュータは、ここに記載される機能の少なくとも一部を実施するようコンピュータを構成するように、プロセッサによってアクセス可能なメモリ（たとえばＲＡＭ）に記憶される命令を実行するプロセッサを含む。コンピュータは、したがって、インターネット１１０のようなネットワークを介してデータを送受信することが可能であってもよく、したがって、ＩＰプロトコルに従って構築されるデータパケットを例示的に含むが、それに限定はされない、ネットワークを介して通信を可能にするよう構成されるハードウェアを含むネットワークインターフェイスコンポーネントを有するとして理解される。コンピュータまたはディスプレイ１０４は、ウェブカム１０６に接続されるか、またはそれを内部に構築している。従来のように、ユーザ１０２があるメディアを視聴することを望むと、動画プレイヤー１０８（たとえばWindows（登録商標） Media Player, QuickTime Player, Audacious, Amarok, Banshee, MPlayer, Rhythmbox, SMPlayer, Totem, VLC, およびxine、またはJW Player, Flowplayer およびBrightcoveのようなオンライン動画プレイヤーのような）を起動してメディアを再生してもよい。
本発明に従うと、コンピュータは、広告応答１１２をリモート広告サーバ１１４から呼出し、受信する。広告応答１１２は、好ましくは、ＶＡＳＴ仕様に準拠し、したがって、それは、ＶＡＳＴ仕様に準拠する動画プレイヤーの実行時環境内で実行されることができる。
広告応答１１２は、呼出された広告を表示するよう必要とされるコンテンツの一部またはすべてを提供してもよいリモートリソースストア１１６にリダイレクトする識別子を含む。たとえば、リソースストアは、広告を実行するために必要とされる任意のメディアファイルを提供してもよい。
本発明の１つの実施の形態によれば、広告応答における識別子は、リソースストア１１６からデータ収集および処理アプリケーションを呼出すよう配される。識別子は、たとえば、データ収集および処理アプリケーションが、あたかも、呼出されている広告であるかのように、広告応答に直接埋込まれてもよい。代替的に、動画プレイヤーは、たとえば、リソースストアをプロキシとして取扱うことによって、データ収集および処理アプリケーションに対する呼出を、広告に対する従来の呼出内に挿入するよう配されてもよい。これらの代替物については、以下により詳細に説明する。
他の実施の形態では、広告応答は、データ収集および処理アプリケーションまたは実行可能なデータ収集および処理モジュールをその中に含んでもよい。
実行で、データ収集および処理アプリケーションは、以下により詳細に記載されるデータ収集および処理機能を提供するよう配される。データ収集および処理アプリケーションは、ユーザの感情状態を示す情報を収集するための、および、選択肢的に、さらに、そのような情報を処理して、ユーザの感情状態を示す信号、またはリモート解析サーバ１２０のようなリモートサーバでのさらなる解析の結果としてのユーザの感情状態の判断をサポートし得る信号に到達するための、感情トラッキングアプリケーション１１８であってもよい。データ収集および処理アプリケーションは、さらに、他のタイプの挙動データを収集（つまり記録）するよう配されてもよい。記録された挙動データは、ユーザの感情が、動画プレイヤー１０８において再生されるメディアとのユーザの対話中においてトラッキングされることを可能にしてもよい。たとえば、ユーザの感情は、上記の６つの普遍的な感情のような、コンピュータユーザの感情の判断を行なうよう、ローカルコンピュータのプロセッサを構成するコードを用いてトラッキングされ得る。代替的に、ユーザの感情は、生の捕捉された画像データを用いるか、またはより好ましくは、任意のリモートサーバへの伝送前にローカルコンピュータにおいて感情トラッキングアプリケーション１１８によって処理される信号を用いて、上記の６つの普遍的な感情のような、コンピュータユーザの感情の判断をなすよう、解析サーバ１２０のプロセッサを構成する、そのサーバにおいて実行されるコードを用いてトラッキングされ得る。
感情トラッキングアプリケーション１１８は、動画プレイヤー１０８の実行時環境内において初期化されてもよい。好ましくは、したがって、初期化ステップはＶＰＡＩＤと互換性のあるプロトコルを用いる。この実施の形態では、初期化プロセスは、感情トラッキングアプリケーション１１８とウェブカム１０６との間における通信を設定して、捕捉された画像がそれらの間で転送されることを可能にすることを含む。たとえば、（ローカルコンピュータのプロセッサにおいて実行される命令を含む）ソフトウェアを用いて、そのような通信をクライアントコンピュータ内において設定することができる。加えて、初期化プロセスは、インターネット１１０を介して、感情トラッキングアプリケーション１１８とリモート解析サーバ１２０との間における通信を設定すること（たとえばそのような通信に対する承認を得ること）を含む。たとえば、上記のように、ソフトウェアと組合される、インターネット１１０を介する通信を可能にするよう構成されるハードウェアを含むネットワークインターフェイスコンポーネントは、そのようなプロセスを設定することができる。捕捉された画像１１２は（任意の他の収集された挙動データまたは他のユーザデータとともに）したがってインターネットを介して解析サーバ１２０に送信されることができ、そこで、ユーザの感情についての情報が抽出されて、さらなる処理のために用いられ得る。
挙動データの捕捉は、ユーザが動画を見ているか、または任意の他の種類のメディアと対話している間に行なわれてもよく、動画／メディアは、動画プレイヤー１０８においてか、または感情トラッキングアプリケーション１１８それ自体内に埋込まれるメディアプレイヤー１２４において再生されてもよい。埋込まれたメディアプレイヤー１２４における再生の利点は、感情トラッキングアプリケーションが、再生ステータスにおいて再生されているメディアについての情報に対する即時のアクセスを有する、ということである。メディアが動画プレイヤー１０８において再生される場合、感情トラッキングアプリケーション１１８は、この情報を得るために動画プレイヤー１０８と通信インターフェイスを確立する必要がある。この可能性については以下により詳細に論ずる。
図２は、本発明の実施の形態である感情トラッキングアプリケーション（以下「レコーダ」と称される）を起動し用いるための方法のステップを示すフローチャート２００である。この方法は、ステップ２０１で、広告をクライアントデバイスによってリモートサーバから呼出すことで始まり、クライアントデバイスは、動画プレイヤーを動作させることができる、任意のネットワーク接続された可能化される処理ユニットであってもよい。たとえば、処理ユニットは、ＰＣ、スマートフォン、タブレット、ウェアラブル電子装置、など、より一般的には、「クライアントコンピュータ」であってもよく、それらの各々は、ＲＡＭ、ＮＶＲＡＭ、ＲＯＭ、ＳＤカードなどのようなメモリ記憶装置から供給される命令によって構成され得る少なくとも１つの中央処理装置を有する。
第２のステップ２０２においては、ＶＡＳＴ互換性応答が、クライアントデバイスに対して、広告に対する呼出に応答して供される。ＶＡＳＴ互換性応答は、（たとえば広告を表示することに関連づけられる１つ以上のメディアファイルを搬送するための）ＶＡＳＴインライン応答であってもよく、または（たとえば別の場所から広告を呼出すためのリソース識別子を搬送するための）ＶＡＳＴリダイレクト応答であってもよい。両方の場合において、この実施の形態では、ＶＡＳＴ互換性応答は、本発明に従うデータ収集および処理、つまりコンピュータユーザの挙動データの収集および処理を実現するためにレコーダ機能を呼出すリソース識別子（たとえばＵＲＬ）を含む。レコーダ機能は、したがって、クライアントデバイスにおいて転送および実行するのに利用可能なウェブベースのアプリケーションとして埋込まれてもよい。本発明は、レコーダ機能がユーザ装置に転送されユーザ装置において実行されるよう動画広告を要求するための従来の規格を利用する。レコーダ機能に対する呼出は応答のＶＡＳＴ互換性エンベロープ内に含まれるので、このステップは、広告を実行するための公知の枠組内、つまり動画プレイヤーの実行時環境内において実行されてもよい。レコーダ機能は、したがって、任意のＶＡＳＴ準拠動画プレイヤーにおいて起動されることができ、クライアントデバイスに予めロードされる必要はない。
レコーダ機能の目的は、ユーザがメディア（たとえばサウンドクリップ、動画、ゲームなど）と対話する際にユーザについての挙動データを収集すること、およびそのようなデータを処理してそれをクライアントマシンからネットワークを介するサーバへのより効率的な転送のために構成すること、である。一実施の形態では、メディアは動画広告であるが、原則的には、メディアは任意のタイプであり得る。メディアは、レコーダ機能に対する呼出と関連づけられてもよい。たとえば、あるメディアファイルは、呼出されるレコーダ機能と同じＶＡＳＴ応答において提供されるか、またはそれによって呼出されてもよい。
第３のステップ２０４では、動画プレイヤーはレコーダ機能をロードし実行する。この実施の形態では、レコーダ機能は、コンピュータユーザの感情状態を示すデータを集めるよう配される。他のタイプの挙動データも同様の態様で収集されてもよい。レコーダ機能の実行は、クライアントデバイス上においてウェブカムとの通信を活性化し、および／または確立するためのステップ２０６を開始する。ウェブカムが存在し、アクティブである場合には、この方法は続いて、ステップ２１０で、ウェブカムによって捕捉されたデータ（画像および／または音声）を記録し送信するよう、ユーザの許可を要求してもよい。ユーザが許可を認めない場合には、レコーダセッションは終了する。しかしながら、そのような場合においても、依然として、関連づけられるメディアを示すことが必要であり得る。したがって、レコーダアプリケーション内における埋込まれたメディアプレイヤーは、たとえ記録機能が可能化されなくても、メディアを再生するステップ２１２を実行するよう配されてもよい。同様のルートが取られ得るのは、ウェブカムがない場合であるか、またはユーザ許可要求がタイムアウトする場合であってもよい。ユーザが許可を与えると、ウェブカムは、レコーダとの使用のために、十分に初期化される。
ウェブカムの準備ができた後、かつユーザ許可が下りた場合には、この方法は続いてステップ２１４で、たとえば動画プレイヤーの実行時環境内において、レコーダ機能の準備ができている旨を示す。この指示ステップ２１４は、たとえば好適なトラッキングイベントを用いて、ＶＡＳＴフレームワーク内で生じてもよい。この指示は、関連づけられるメディアを再生するかまたはそれを得るよう、単にトリガとして用いられてもよい。
動画プレイヤーが、レコーダが準備できている旨の指示を受信した後、この方法は続いてステップ２１６でメディアファイルを実行する。メディアファイルは動画または音声ファイルであってもよい。上において言及したように、メディアファイルは、ＶＡＳＴ互換性応答を与えられてもよく、または別にソースを与えられてもよい。メディアは、レコーダアプリケーション上の、またはレコーダアプリケーション内にある、動画プレイヤーそれ自体上において実行されてもよい。後者の場合においては、レコーダアプリケーションは、好ましくは、メディアの再生に関連づけられるトラッキングイベントを引き渡すように、ＶＰＡＩＤプロトコルを介して下の動画プレイヤーと対話する。
メディアが実行されている間、この方法は続いてステップ２１８で画像および／または音声データをウェブカムから収集し、それを解析サーバに転送する。先に注記したように、そのようにして収集された画像および／または音声データは、ネットワークを介する伝送のために、収集されたデータを生の捕捉状態から、ストリーミングデータプロトコルと互換性のあるパケット化された構造に変換するために処理され、ある実施の形態では、収集されたデータは、収集されたデータを実行中のメディアの特定の瞬間またはセグメントと調整するよう、パケット化された構造への変換前に、さらなる処理を経る。そのような処理は、さらに、捕捉されている画像および／または音声を、クライアントコンピュータにおいて再生されているメディア内における時間的な位置と同期させることを含み得る。たとえば、同期は、メディアの時間コード（たとえばＶＡＳＴ準拠動画広告から取られるコンピュータユーザ挙動データ捕捉の瞬間における時間カウンタの値）または時間コードの範囲を、収集されている挙動データと、または収集された挙動データの解析から得られる情報と関連づけることによる結果であり得、それは、ある実施の形態では、クライアントコンピュータにおいて、感情トラッキングアプリケーション１１８を用いて実行される。
この処理は、ステップ２１８の一部として、または以下に論じられるようにレコーダセッションイベントの終了が検出されると、生じ得る。
ユーザは、再生中のメディアを、たとえば、動画プレイヤーの従来の制御を用いて、またはレコーダアプリケーションを介して利用可能にされる対話型オプションを介して、制御してもよい。レコーダの制御は、メディアの再生ステータスに基づいて同様に制御されてもよい。たとえば、メディア再生が一旦停止される場合、レコーダは、解析サーバにデータを送信することを停止してもよい。レコーダは、メディアの再生ステータスに基づいて、たとえば動画プレイヤーとのＶＰＡＩＤインターフェイスを介して受信されるメッセージまたはイベントに基づいて、自動的に制御可能であってもよい。
動画プレイヤーが、メディア再生が終了した旨を示すと、この方法は、最終ステップ２２０において、レコーダセッションを終結させることで完結してもよい。レコーダセッションは、ユーザによって、たとえば対話型ディスプレイを介して手動で終結されてもよい。このプロセスは、動画プレイヤーとのユーザの通常の対話の文脈内において生じてもよく、動画プレイヤーは、レコーダ機能とは独立して動作可能であってもよい。本発明のある実施の形態においては、クライアントマシンのプロセッサにおいて実行可能な命令は、動画プレイヤーによって再生されているメディアファイルのステータスのモニタリングを含み、任意の同期、およびメディアファイルが一旦停止されるかもしくは停止されるとき、または動画プレイヤーのバッファがしきい値量を超えるときにおけるパケット化された構造への変換を含む、収集されたデータの処理を開始する実行可能な命令を含み得る。そのような命令は、そのような処理がメディア再生に対して低い影響を有すると積極的に判断されるときにその処理を実行するよう、個々のコンピュータクライアントの処理能力およびそれらのそれぞれのインターネット１１０へのデータ帯域幅接続をてこ入れする。特に、低速プロセッサまたはインターネットへの低い帯域幅接続を有するコンピュータクライアントは、メディア再生が一旦停止されるか終結される一方で、またはクライアントコンピュータがメディア再生のストリームの中断なしに、収集されたデータを処理するよう十分なメディア再生バッファを保持しているときにのみ、処理ステップが実行されるべく待ち行列に入れられている間に、メディアファイルの再生中においてリアルタイムでイベントをトラッキングすることを実行し得る。たとえば、バッファが、有限な量のデータ処理の結果、数秒低減される場合、その情報は収集および処理アプリケーション（またはモジュール）にフィードバックされ、処理が再生中断なく継続し得るかどうかについて、このテストがメディア再生中において継続的または周期的に実行される状態で、クライアントコンピュータにおいて判断がなされる。
選択肢的に、処理の後、リモートサーバへの伝送が処理時に完了できない場合、または処理されたデータがリモートサーバに送信されるようなときまで、データはクライアントコンピュータに記憶され得る。フラグまたは他の構築物を用いて（たとえば未送信のデータに対してはセットされ、送信済のデータに対してはリセットされるか、またはその逆にされて）、クライアントコンピュータからのデータ送信が、クライアントコンピュータにおいて再生されたある特定のコンテンツ部分に対して完了している旨の肯定応答をリモートサーバから受信したかどうかを管理することができる。より一般的には、データ収集および処理アプリケーションは、さらに、リモートサーバへのインターネット接続帯域幅を含む、リモートサーバに対する接続性をモニタリングして、収集されたコンピュータユーザ挙動データの処理、および処理されたデータのリモートサーバへの送信を制御するよう、クライアントコンピュータのプロセッサにおいて実行される命令によって構成され得る。クライアントコンピュータが接続される外部の装置（たとえばリモートサーバ）をモニタリングすることによって、動画印象解析は、クライアントコンピュータにおけるメディアの再生に対する影響が低減されるかまたは最小である状態で、実行され得る。これは、そのような実施の形態の本発明がモバイルデバイスとともに利用されるときに特に利点を有し得る。
図３は、レコーダ機能を呼出す代替方法３００を示すフローチャートである。この実施の形態は、レコーダ機能を呼出すリソース識別子が、元の広告呼出に応答して供されるＶＡＳＴ応答には存在しないという点で、図２の方法とは異なる。その代わりに、動画プレイヤーは、元の広告呼出を、レコーダ機能をプロキシとして与えるリソースストアを介して効果的に転換する。したがって、この実施の形態においては、動画プレイヤープロバイダはレコーダ機能をいつおよびどのようにして実行するかに対する制御を有してもよく、一方、先の実施の形態においては、レコーダ機能の提供は広告応答プロバイダの制御下にあった。
したがって、動画プレイヤープロバイダは、プロキシを介して送信されるべきすべてのＶＡＳＴ要求を手配することができる。プロキシプロバイダ（本発明においては、さらに、感情トラッキングアプリケーションを提供してもよい）は、ＶＡＳＴ応答に対する必要な変換および追加を、それが動画プレイヤーに返される前に実行してもよい。
より詳細には、この代替的方法はステップ３０１において広告呼出を開始することで開始し、つまり、動画プレイヤーは、通常どおり、リモート広告サーバを呼出し、それは、動画広告応答を返す。広告呼出はプロキシに向けられ、それは、第２のステップ３０２において、動画広告応答が受信されると、動画広告応答に含まれるメディアファイルリソース識別子（たとえばＵＲＬ）のすべてまたは一部を、データ収集アプリケーションを指し示すプロキシＵＲＬと置換する。プロキシは、データ収集アプリケーションへの参照を含むようＶＡＳＴ応答それ自体を変換してもよく、または、それは、データ収集アプリケーションが元の広告がそれの中に埋込まれた状態であるように、メディアコンポーネント（つまり元のメディアファイルＵＲＬ）を変換してもよい。プロキシＵＲＬは、したがって、元のリソース識別子を、レコーダ機能が動作するときに再生されるべき関連づけられるメディアを提供するかまたは含むとしてさらに識別する一方で、動画プレイヤーにおける実行のためにレコーダ機能を呼出すよう配されてもよい。
置換ステップ３０２に続いて、この方法は続いて第３のステップ３０３においてプロキシアドレスを動画プレイヤーから呼出し、それは、次いで、レコーダ機能を提供するＶＡＳＴ準拠応答を供される。応答の受信で、この方法は続いて第４のステップ３０４においてレコーダ機能を動画プレイヤーにおいて（たとえば上で述べられた手順に従って）実行し、元のリソース識別子を呼出す。
図４は、関連づけられるメディアを再生する代替的方法４００を示すフローチャートである。図２においては、再生は、レコーダ機能に埋込まれたメディアプレイヤー機能を介して生ずる。図４においては、再生は、下にある動画プレイヤー、つまりレコーダ機能がそれを介して可能化される動画プレイヤーにおいて生ずる。そのような実施の形態では、レコーダ機能が再生機能を呈する必要はない。それどころか、そのような実施の形態では、レコーダ機能は、グラフィカルディスプレイ部分が、（おそらくは、データを解析サーバと共有するというユーザの許可を得るための一時的なダイアログを除き）それと関連づけられなくてもよい。
図４における方法４００はステップ４０１においてレコーダ機能を呼出し実行することで開始する。この実施の形態では、この方法は、ステップ４０２において、呼出をなしている動画プレイヤーのタイプを検出することを含む。この情報は、たとえば、供すべき適当な応答の選択を許すよう、レコーダ機能に対する呼出とともに送信されてもよい。しかしながら、より通常では、それは、ステップ４０４において、動画プレイヤーが、レコーダ機能の外部で再生されるメディアに対する挙動データの記録を許可するよう必要とされる対話のレベルと互換性のあるタイプのものであるかどうかを判断する際に用いられる。必要な対話が、動画広告と動画プレイヤーとの間における通信を支配するＶＰＡＩＤ標準プロトコル内において実行され得る場合には、互換性のあるタイプを検出するステップは省略されてもよい。
動画プレイヤーが互換性のあるタイプのものでない場合、または判断ステップがタイムアウトする場合には、この方法は続いてステップ４１６においてメディアをいかなる挙動データも記録することなく再生する。レコーダセッションは、次いで終結される。
しかしながら、互換性のある動画プレイヤーが検出される場合には、この方法は続いてステップ４０６において、動画プレイヤーとレコーダ機能との間におけるデータの豊富な相互交換を可能にするよう配される動画プレイヤーインターフェイスを起動する。たとえば、レコーダは、プレイヤーにおいて再生されているメディアの識別情報についての情報、および再生ステータスに関係するデータを得ることができる。動画プレイヤーインターフェイスはＶＰＡＩＤ標準ＡＰＩに基づいてもよいが、これは必須ではない。
動画プレイヤーインターフェイスの起動に続いて、この方法は、ウェブカムを起動するステップ４０８、およびデータを解析サーバと共有するというユーザの許可を得るステップ４１０に続いてもよい。これらのステップは上において図２を参照して記載されたものと同じである。
許可が認められないか、または要求がタイムアウトする場合には、この方法は続いてステップ４１６において、挙動データを記録することなく、関連づけられるメディアを再生する。許可が認められる場合には、この方法は続いてステップ４１２において、関連づけられるメディアを再生する。一旦再生が進行すると、この方法はステップ４１４を実行して、解析データに送信すべく（動画プレイヤーインターフェイスを介して）ウェブカムおよび動画プレイヤーからデータを収集し、およびその収集されたデータを上記のように処理する。
この方法は、レコーダセッションを終了するステップ４２０で、関連づけられるメディアが再生を終了した後、終結される。
図５は、本発明とともに用いられ得るＶＡＳＴ互換性応答の３つの概略的な表現を示す。
第１の例では、ＶＡＳＴ互換性応答はＶＡＳＴインライン応答５０１であり、そこにおいては、データ収集ＵＲＩが、従来の応答において現れるであろう動画広告の代わりに提供される。データ収集ＵＲＩは上記の挙動データ記録アプリケーションを呼出す。
第２の例においては、ＶＡＳＴ互換性応答は、再生されるべきメディアファイルを示すメディアＵＲＩを有する従来のＶＡＳＴインライン応答５０２であってもよい。この実施の形態では、動画プレイヤーは、挙動データ記録アプリケーションを呼出すために、メディアファイルに対する呼出を認識し、その呼出をプロキシサーバを介して転換するよう配されてもよい。
第３の例では、ＶＡＳＴ互換性応答はＶＡＳＴリダイレクト応答（ＶＡＳＴラッパとしても公知である）であり、それは、挙動データ記録アプリケーションを呼出すためのデータ収集ＵＲＩと、再生されるべきメディアを含むことになるＶＡＳＴ応答に向かって動画プレイヤーを指し示すリダイレクトＵＲＩとを含む。
解析サーバに送信されるデータの解析に続いて、本発明の実施の形態は、メディアの再生中に検出される感情の展開を表示するよう配されてもよい。実施においては、複数のユーザからのデータを組合せて、集約された表示を生じさせる。各ユーザについてのさらなる情報が（たとえば解析サーバに送信される画像データに対するメタデータとして）利用可能である場合には、集約されたデータはそのようなデータに基づいてフィルタ処理および分類されてもよい。
図６は、本発明の方法を実行することによって集められた結果を表示するための好適なグラフィカルユーザインターフェイスのスクリーンショット６００である。表示は、時間とともに１つ以上の感情の展開をプロットするグラフ部分６０２を含む。表示される感情は感情選択ツールバー６０４において選択可能である。この実施の形態では、ツールバーは、幸福、怒り、嫌悪、悲しみ、恐怖および驚きとして示される６つの普遍的な感情、ならびに関与、中立および誘意性として記される、関与、中立および誘意性を示すメトリックに対するボタンを含む。この例では、誘意性が選択されている。
ユーザインターフェイスは、（この場合においては性別および年齢に基づく）フィルタ６０６の組を含み、それは、表示されるデータを厳密にすることができる。この例においてユーザインターフェイスに埋込まれるのは、感情がトラッキングされた動画のスクリーンショット６０８である。表示されるスクリーンショットは、グラフ部分６０２のマーカ６１０の部分に対応してもよい。マーカの位置におけるデータの値は、データ表示部分６１４においてグラフ部分６０２の下に示される。
この実施の形態におけるユーザインターフェイスは、２つの動画からのデータが表示されることを許す。表示選択部分６１２は、データが異なる態様で表示されることを可能にする。データは、合計オプションを選択することによって組合された形式で表示されてもよく、または（図６に示されるように）データは、選択された比較オプションによって直接比較されることができる。表示選択部分はさらに、各動画のデータが別々に示されることも許す。

Claims (20)

  1. クライアントコンピュータにおけるコンピュータユーザにおけるメディア再生の印象の解析のサポートにおける方法であって、前記クライアントコンピュータはリモート広告サーバとネットワーク通信しており、
    前記方法は、
    前記リモート広告サーバが、前記クライアントコンピュータで動作する動画プレイヤーから、動画広告応答に対する呼出を受信することと、
    前記リモート広告サーバから前記クライアントコンピュータに、動画広告応答を前記クライアントコンピュータに供することとを含み、前記動画広告応答は前記動画プレイヤーにおけるメディア再生のための情報を含み、
    前記方法は、
    前記動画広告応答を前記クライアントコンピュータ上の前記動画プレイヤーの実行時環境において実行することを含み、
    前記動画広告応答は、前記動画プレイヤーにおける前記動画広告応答の実行で、実行可能なデータ収集および処理モジュールをトリガするためのコードを含み、
    前記方法は、前記データ収集および処理モジュールを前記動画プレイヤーにおいて実行して、前記メディア再生の印象の解析のサポートにおいて、メディアの再生中に挙動データを収集および処理することを含む、方法。
  2. 前記データ収集および処理モジュールを実行することは、前記動画広告応答に含まれるリソース識別子を呼出すことを含み、前記リソース識別子は前記データ収集および処理モジュールを指し示す、請求項１に記載の方法。
  3. 前記データ収集および処理モジュールは前記動画広告応答内における実行可能なアプリケーションである、請求項１に記載の方法。
  4. 前記挙動データは前記コンピュータユーザの感情状態を示す情報を含む、請求項１に記載の方法。
  5. 前記データ収集および処理モジュールを実行することは、前記クライアントコンピュータに接続されるウェブカムを起動することと、必要とされる場合には、ユーザの画像を収集するよう前記ウェブカムの活性化を促すこととを含む、請求項４に記載の方法。
  6. 前記データ収集および処理モジュールによって収集されるかまたはそれから導き出される挙動データを解析のためにリモートサーバに送信することを含む、請求項１〜請求項５のいずれか１項に記載の方法。
  7. 前記データ収集および処理モジュールを実行することは、処理された挙動データからの情報を含むデータパケットを構築することを含み、前記データパケットは通信プロトコルに対応し、前記方法はさらに、前記メディア再生の結果の、前記コンピュータユーザにおける前記印象の解析のために、前記データパケットをリモートサーバに送信するステップを含む、請求項１〜請求項６のいずれか１項に記載の方法。
  8. 前記リモートサーバへの接続性および前記クライアントコンピュータのパフォーマンス能力のうちの少なくとも１つをモニタリングするステップと、
    前記モニタリングするステップの結果に従って、前記データ収集および処理モジュールによる収集された挙動データの処理を動的に調整するステップとを含む、請求項７に記載の方法。
  9. 前記動画広告応答は、前記挙動データの収集中における再生のためのメディアを提供するメディアファイルを含む、請求項１〜請求項８のいずれか１項に記載の方法。
  10. 前記動画広告応答は、動画広告標準テンプレート仕様に準拠する、請求項１〜請求項９のいずれか１項に記載の方法。
  11. 前記動画広告応答はＶＡＳＴインライン応答である、請求項１０に記載の方法。
  12. 前記ＶＡＳＴインライン応答は、前記挙動データの収集中における再生のためのメディアを提供するメディアファイルを含む、請求項１１に記載の方法。
  13. 前記データ収集および処理モジュールは、前記挙動データの収集中における前記メディアの再生のためのメディアプレイヤー部分を含む、請求項１〜請求項１２のいずれか１項に記載の方法。
  14. 前記動画広告応答におけるメディアファイルリソース識別子を、前記データ収集および処理モジュールのためのリソース識別子と置換するステップを含む、請求項１〜請求項１３のいずれか１項に記載の方法。
  15. 前記データ収集および処理モジュールのための前記リソース識別子は前記メディアファイルリソース識別子を含む、請求項１４に記載の方法。
  16. 前記データ収集および処理モジュールは、前記動画プレイヤーと前記データ収集および処理モジュールとの間において通信を確立するための動画プレイヤーインターフェイス部分を含む、請求項１〜請求項５のいずれか１項に記載の方法。
  17. 前記データ収集および処理モジュールは、前記動画プレイヤーから、前記動画プレイヤーによる再生のステータスについて、情報を受信する、請求項１〜請求項１６のいずれか１項に記載の方法。
  18. 前記データ収集および処理モジュールは、動画プレイヤー広告提供インターフェイス定義（ＶＰＡＩＤ）と互換性のあるプロトコルを用いて、前記動画プレイヤーと通信する、請求項１〜請求項１７のいずれか１項に記載の方法。
  19. 再生のための前記メディアは動画広告応答環境の外部において提供される、請求項１６に記載の方法。
  20. 再生のための前記メディアは、ユーザによって、動画共有ウェブサイトまたはソーシャルネットワークから選択される、請求項１９に記載の方法。
JP2016533927A 2013-08-15 2014-08-14 コンピュータユーザデータの対話型収集を含む、動画印象解析のサポートにおける方法 Active JP6561057B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB1314636.0A GB201314636D0 (en) 2013-08-15 2013-08-15 Method of collecting computer user data
GB1314636.0 2013-08-15
PCT/EP2014/067452 WO2015022409A1 (en) 2013-08-15 2014-08-14 Method in support of video impression analysis including interactive collection of computer user data

Publications (2)

Publication Number Publication Date
JP2016535347A JP2016535347A (ja) 2016-11-10
JP6561057B2 true JP6561057B2 (ja) 2019-08-14

Family

ID=49301771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016533927A Active JP6561057B2 (ja) 2013-08-15 2014-08-14 コンピュータユーザデータの対話型収集を含む、動画印象解析のサポートにおける方法

Country Status (6)

Country Link
US (2) US10194213B2 (ja)
EP (1) EP3033888B1 (ja)
JP (1) JP6561057B2 (ja)
CN (1) CN105637887B (ja)
GB (1) GB201314636D0 (ja)
WO (1) WO2015022409A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105336045B (zh) 2008-10-02 2018-08-31 埃科亚特姆公司 针对设备的二手市场和自动售货系统
US10853873B2 (en) 2008-10-02 2020-12-01 Ecoatm, Llc Kiosks for evaluating and purchasing used electronic devices and related technology
US10401411B2 (en) 2014-09-29 2019-09-03 Ecoatm, Llc Maintaining sets of cable components used for wired analysis, charging, or other interaction with portable electronic devices
WO2016054435A1 (en) 2014-10-02 2016-04-07 ecoATM, Inc. Application for device evaluation and other processes associated with device recycling
EP4446968A2 (en) 2014-10-02 2024-10-16 ecoATM, LLC Wireless-enabled kiosk for recycling consumer devices
US10445708B2 (en) 2014-10-03 2019-10-15 Ecoatm, Llc System for electrically testing mobile devices at a consumer-operated kiosk, and associated devices and methods
EP3213280B1 (en) 2014-10-31 2021-08-18 ecoATM, LLC Systems and methods for recycling consumer electronic devices
WO2016069742A1 (en) 2014-10-31 2016-05-06 ecoATM, Inc. Methods and systems for facilitating processes associated with insurance services and/or other services for electronic devices
WO2016073800A1 (en) 2014-11-06 2016-05-12 ecoATM, Inc. Methods and systems for evaluating and recycling electronic devices
US11080672B2 (en) 2014-12-12 2021-08-03 Ecoatm, Llc Systems and methods for recycling consumer electronic devices
US9743219B2 (en) * 2014-12-29 2017-08-22 Google Inc. Low-power wireless content communication between devices
US20170083886A1 (en) * 2015-09-21 2017-03-23 ecoATM, Inc. Methods and systems for recording interactions with a system for purchasing mobile phones and other electronic devices
US10127647B2 (en) 2016-04-15 2018-11-13 Ecoatm, Llc Methods and systems for detecting cracks in electronic devices
US9885672B2 (en) 2016-06-08 2018-02-06 ecoATM, Inc. Methods and systems for detecting screen covers on electronic devices
US10269110B2 (en) 2016-06-28 2019-04-23 Ecoatm, Llc Methods and systems for detecting cracks in illuminated electronic device screens
US9973830B1 (en) * 2017-01-03 2018-05-15 Interactive Advertising Bureau, Inc. Supporting video ad serving into video streams
CN107454346B (zh) * 2017-07-03 2020-10-16 李洪海 影视数据解析方法、视频制作模板推荐方法、装置及设备
KR101996630B1 (ko) * 2017-09-14 2019-07-04 주식회사 스무디 영상 채팅에 기반하여 광고 콘텐츠에 대한 감정을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
GB201809388D0 (en) 2018-06-07 2018-07-25 Realeyes Oue Computer-Implemented System And Method For Determining Attentiveness of User
WO2020132128A1 (en) 2018-12-19 2020-06-25 Ecoatm, Llc Systems and methods for vending and/or purchasing mobile phones and other electronic devices
JP7440020B2 (ja) * 2019-01-31 2024-02-28 株式会社センシング 情報処理方法、端末装置、情報処理装置、及び情報処理システム
KR20210126068A (ko) 2019-02-12 2021-10-19 에코에이티엠, 엘엘씨 중고 전자 디바이스를 평가하고 구매하기 위한 키오스크
AU2020222971A1 (en) 2019-02-12 2021-09-23 Ecoatm, Llc Connector carrier for electronic device kiosk
WO2020172190A1 (en) 2019-02-18 2020-08-27 Ecoatm, Llc Neural network based physical condition evaluation of electronic devices, and associated systems and methods
US11468478B2 (en) 2019-04-22 2022-10-11 Consumable, Inc. Real-time video ad evaluation
US10694226B1 (en) * 2019-04-26 2020-06-23 Konduit.me Inc. Video ad delivery
US10779021B1 (en) 2019-04-22 2020-09-15 Konduit.me Inc. Video ad delivery and verification
GB201911564D0 (en) * 2019-08-13 2019-09-25 Realeyes Oue System and method for collecting data to assess effectiveness of displayed content
US10943380B1 (en) 2019-08-15 2021-03-09 Rovi Guides, Inc. Systems and methods for pushing content
CA3143743A1 (en) * 2019-08-15 2021-02-18 Rovi Guides, Inc. Systems and methods for pushing content
US11308110B2 (en) 2019-08-15 2022-04-19 Rovi Guides, Inc. Systems and methods for pushing content
WO2021183146A1 (en) 2020-03-13 2021-09-16 Google Llc Mixing of media content items for display on a focus area of a network-connected television device
EP3903501A2 (en) 2020-03-13 2021-11-03 Google LLC Media content casting in network-connected television devices
EP3906695B1 (en) 2020-03-13 2024-09-18 Google LLC Network-connected television devices with knowledge-based media content recommendations and unified user interfaces
CN111400518B (zh) * 2020-06-04 2020-11-17 华人运通(上海)新能源驱动技术有限公司 作品生成和编辑方法、装置、终端、服务器和系统
EP4195675A4 (en) * 2020-08-10 2024-05-22 LG Electronics Inc. DISPLAY DEVICE PROVIDING PERSONALIZED ADVERTISING AND ASSOCIATED OPERATING METHOD
WO2022040668A1 (en) 2020-08-17 2022-02-24 Ecoatm, Llc Evaluating an electronic device using optical character recognition
US11922467B2 (en) 2020-08-17 2024-03-05 ecoATM, Inc. Evaluating an electronic device using optical character recognition
US20220345780A1 (en) * 2021-04-27 2022-10-27 Yahoo Assets Llc Audience feedback for large streaming events

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITRM20060248A1 (it) * 2006-05-09 2007-11-10 Micromec S R L Dispositivo mettifoglio
EP2147514A4 (en) 2007-05-15 2012-12-12 Intel Corp METHOD AND SYSTEM FOR PUBLIC MEASUREMENT AND TARGETED MEDIA
JP2009005094A (ja) * 2007-06-21 2009-01-08 Mitsubishi Electric Corp 携帯端末
US8549550B2 (en) * 2008-09-17 2013-10-01 Tubemogul, Inc. Method and apparatus for passively monitoring online video viewing and viewer behavior
JP5409220B2 (ja) * 2008-09-11 2014-02-05 パナソニック株式会社 電子機器及び電源制御方法
US9361631B2 (en) 2010-01-06 2016-06-07 Ghostery, Inc. Managing and monitoring digital advertising
CN101917585A (zh) * 2010-08-13 2010-12-15 宇龙计算机通信科技(深圳)有限公司 调节视频电话向对端发送的视频信息的方法、装置及终端
US20120054045A1 (en) * 2010-08-26 2012-03-01 Cbs Interactive, Inc. Managing Media Playback
US8438590B2 (en) * 2010-09-22 2013-05-07 General Instrument Corporation System and method for measuring audience reaction to media content
US8897820B2 (en) * 2010-11-16 2014-11-25 Jack L. Marovets System, method, and apparatus for storing, transmitting, receiving, and using structured data using un-structured text message bodies
CN102566740A (zh) * 2010-12-16 2012-07-11 富泰华工业（深圳）有限公司 具有情绪识别功能的电子装置及其输出控制方法
CN103339649A (zh) * 2011-02-27 2013-10-02 阿弗科迪瓦公司 基于情感的视频推荐
CN103024521B (zh) * 2012-12-27 2017-02-08 深圳Tcl新技术有限公司 节目筛选方法、系统及具有该系统的电视

Also Published As

Publication number Publication date
US10194213B2 (en) 2019-01-29
EP3033888B1 (en) 2024-06-19
US20190090031A1 (en) 2019-03-21
EP3033888A1 (en) 2016-06-22
CN105637887A (zh) 2016-06-01
JP2016535347A (ja) 2016-11-10
US11044534B2 (en) 2021-06-22
GB201314636D0 (en) 2013-10-02
US20160198238A1 (en) 2016-07-07
CN105637887B (zh) 2020-01-14
WO2015022409A1 (en) 2015-02-19

Similar Documents

Publication Publication Date Title
JP6561057B2 (ja) コンピュータユーザデータの対話型収集を含む、動画印象解析のサポートにおける方法
JP7018312B2 (ja) ウェブベースのコンテンツとの対話中におけるコンピュータユーザデータの収集および処理方法
US11684849B2 (en) Distributed sample-based game profiling with game metadata and metrics and gaming API platform supporting third-party content
US9633358B2 (en) Interactive presentations with integrated tracking systems
US10403042B2 (en) Systems and methods for generating and presenting augmented video content
US8930561B2 (en) Addition of supplemental multimedia content and interactive capability at the client
JP6707032B2 (ja) ウェブベースの広告インベントリを生成し、ウェブベースの広告をターゲティングする方法
US8510644B2 (en) Optimization of web page content including video
US20140129343A1 (en) Dynamic targeted advertising avatar
US20140007147A1 (en) Performance analysis for combining remote audience responses
JP2015510308A (ja) 個人のリアクションを伴うコンテンツの消費
AU2011239567A1 (en) Platform-independent interactivity with media broadcasts
US20140129344A1 (en) Branded persona advertisement
CN109348270A (zh) 收集计算机用户行为数据的方法
JP2022544511A (ja) 表示コンテンツの有効性評価のためにデータを収集するシステム及び方法
EP4451688A1 (en) System and method for tagging and transforming long form streamed video content into user identified video segments and content cues for services
CN114765700A (zh) 信息交互方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190722

R150 Certificate of patent or registration of utility model

Ref document number: 6561057

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250