JP7018312B2 - ウェブベースのコンテンツとの対話中におけるコンピュータユーザデータの収集および処理方法 - Google Patents

Description

発明の技術分野
本発明は、ビデオを見たりアクティビティに従事したりしている間など、ウェブベースのコンテンツとの対話中にコンピュータユーザのコンピュータユーザ挙動データを収集および処理することに関する。特に、本発明は、ユーザについての感情状態情報を収集し処理するためのシステム、方法およびコンピュータプログラム製品に関する。このような情報を収集および処理することは、たとえば、広告やコンテンツ製作者、配布者、ネットワーク事業者および同様のエンティティによって利用されるシステムが、このような情報に応答すること、たとえば、それに基づいてコンテンツの送信を最適化すること、広告をターゲットすること、性能を評価することなどを可能とする。

発明の背景
商用の観点から、広告（”ａｄ”）、ゲーム、音楽ビデオ、テレビ番組、等のオンラインで提供されるコンテンツのパフォーマンスを評価可能であることが重要である。既知のシステムは、コンピュータユーザが、たとえば、適切な評価値を選択することによって、および効果追跡スキームの一部としてアンケートまたはインタビューを受信することによって、コンテンツを手動で評価することを可能にする。

たとえば、コンピュータユーザの感情を測定するための技術は、顔追跡機能などにより、ビデオコンテンツの性能を評価する方法に組み込まれる。たとえば、ウェブカメラ等の撮像装置は、彼または彼女が、ビデオコンテンツを視聴するときのコンピュータユーザの顔の特徴を捕捉するために使用されることができる。捕捉した画像を処理して、ビデオのある点でコンピュータユーザの感情に関する情報を得ることができ、それはビデオの性能に関して貴重なフィードバックである。

映像と撮影画像は、インターネットを介して送信されることができ、フィードバックは、リモートコンピュータの複数のユーザから自動的に収集されることができる。たとえば、米国特許出願公開第２０１２／０２２２０５７号は、埋め込みビデオを見るコンピュータユーザの心理状態データを収集するように構成された、ウェブ対応インタフェースにビデオが埋め込まれたシステムについて論じている。ウェブ対応インタフェース自体は、たとえば、複数の見込み視聴者に適切なＵＲＬを送信することによって、配信されることができる。

発明の概要
本発明の実施形態は、ウェブページまたはウェブページ上で実行可能なメディアプレーヤが利用可能な挙動データ収集起動スクリプトを提案し、ウェブページへの訪問者が挙動データ収集起動スクリプトを実行して挙動データ収集に参加することを可能とする。

本発明の一実施形態によれば、コンピュータユーザとコンピューティングデバイスとの間の対話中にコンピュータユーザ挙動データを収集するコンピュータ実装方法が提供される。この実施形態による方法は、ウェブページまたはメディアプレーヤのソースコードに含まれ得る、ウェブページまたはメディアプレーヤに利用可能なデータ収集起動スクリプトを動作させることを含む。データ収集起動スクリプトを実行することは、ウェブページまたはメディアプレーヤに関連付けられた追跡可能要素を見つけることと、追跡可能要素を見つけた際に、コンピューティングデバイス上のデータ記録コンポーネントの起動をトリガし、コンピューティングデバイス上の挙動データ収集アプリケーションの開始をトリガするために、コンピュータベースのアプリケーションプログラムインターフェースを呼び出すこと、を含む。

本実施形態を続けると、コンピュータユーザとコンピューティングデバイスとの間の対話中にデータ記録コンポーネントによって記録された挙動データを収集するために、データ記録コンポーネントにアクセスするためのブラウザベースのアプリケーションプログラムインターフェースが呼び出される。ブラウザベースのアプリケーションプログラムインターフェースの呼び出しは、挙動データ収集アプリケーションの一部として配備されるプログラムコードによって行うことができる。追跡可能要素が存在しないか、または見つからない場合、観察中のウェブページ、ビデオまたは他のコンテンツアイテムは、挙動データを収集せずにコンピューティングデバイスにロードされる。たとえば、ウェブページが提示され、データ記録コンポーネントは、挙動データを収集しない状態のままである。

当業者が認識するように、方法は、挙動データ収集アプリケーションまたはプロセスの起動を、ウェブページまたはメディアプレーヤへのアクセスまたは操作、またはウェブページまたはメディアプレーヤ上の１つまたは複数の要素とリンクする。当業者がさらに認識し、本明細書で詳細に説明するように、起動スクリプト、アプリケーションプログラムインターフェース、追跡可能要素および挙動データ収集アプリケーションは、プロセッサおよびメモリと通信するメモリおよびデータ記憶コンポーネントをも含むコンピューティングデバイスの一部であるプロセッサ上で実行されるプログラムコードとして実装される。

一実施形態では、コンピューティングデバイス上のブラウザ上にウェブページをロードする際に、挙動データ収集起動スクリプト（本明細書では、「データ収集起動スクリプト」、「起動スクリプト」または単に「スクリプト」とも呼ばれる。）は動作し、またはウェブページ内の特定の操作またはアクションとリンクされることができる。

代替的にまたは追加的に、起動スクリプトは、メディアプレーヤの実行中に動作してもよく、メディアプレーヤ内の特定の操作またはアクションとリンクされてもよい。実際には、追跡可能要素は、たとえばウェブページに埋め込まれた場合、メディアプレーヤ自体であってもよい。たとえば、データ収集起動スクリプトを動作することは、メディアプレーヤをロードすること、メディアプレーヤ上での所定のメディアコンテンツ（たとえば、ビデオ広告）の再生を検出することと、メディアプレーヤ上のユーザ入力を受信することと（たとえば、「再生」ボタンまたは「一時停止」ボタンの選択）、メディアプレーヤ上でプレイリスト内のアイテムの再生を開始することなどを含むがこれに限定されない、任意の１つまたは複数のイベントに応答して発生することができる（たとえば、検出によってトリガされることができる）。

データ収集起動スクリプトは、ウェブＲＴＣなどのブラウザベースのアプリケーションプログラムインターフェース（「ＡＰＩ」）を呼び出して、ユーザによって操作されるコンピューティングデバイスと通信するデータ記録コンポーネントにアクセスし起動することができる。このようにして、データ記録コンポーネントの制御は、ブラウザ内および起動スクリプトおよび／または挙動データ収集アプリケーションプログラムの指示下にあることができる。

データ収集起動スクリプトを動作することは、追跡可能要素を見つけることを備えることができる。一実施形態では、データ記録コンポーネントは、起動スクリプトが追跡可能要素を見つけるときに起動されることができる。このように、本発明の実施形態は、ユーザによってアクセスされるウェブベースのコンテンツが挙動データを収集するのに適していない状況において、データ記録コンポーネントに対する処理能力の不必要な割り当てを防止することができ、それにより有限ネットワークおよびローカルコンピューティングリソースを最大化することができる。

データ収集起動スクリプトを動作することは、イベントを記録するためのイベントログを追跡可能要素において開始することを含むことができる。イベントログは、ユーザコンピューティングデバイス上にローカルに、またはコンピュータネットワークを介してアクセス可能なリモートロケーションに記憶するための１つまたは複数のデジタルファイルを含むことができる。たとえば、追跡可能要素は、コマンド、カーソル移動、クリックストリームデータなどを含むがこれに限定されない記録可能なトレースを残すようにユーザが対話できるウェブページまたはメディアプレーヤの任意の部分を意味することができる。たとえば、追跡可能要素はメディアプレーヤを含むことができ、イベントログは、メディアプレーヤとのユーザの対話に関する情報とともにメディアプレーヤで再生されたコンテンツに関する情報を記録することができる。追跡可能要素の他の例は、対話的メディアコンポーネント、ウェブフォームなどを含むが、これに限定されない。

イベントログは、追跡可能要素に関連付けられたアプリケーションプログラムインターフェース（ＡＰＩ）を購読（サブスクライブ）することによって得られたデータをイベントログに取り込むことができるイベントログアプリケーションまたは同様のプログラムコードの制御下で動作する。一実施形態によれば、イベントログは、所与のウェブページ上の１つまたは複数の追跡可能要素ための情報を記録する。イベントログはこのため、広告ターゲティングアプリケーションまたはアクティビティ追跡ソフトウェアといった、他のコンピューティングプロセスによって使用されるためのユーザ対話情報の豊富なソースを提供することができる。さらに、イベントログは、たとえば、タイムスタンプなどといった、データ記録コンポーネントによって収集された挙動データと同期されることができる。これは、イベントログが、収集された挙動データのための追加の分析次元を提供することを可能にする。

ここで、「挙動データ」という用語は、一般に、ユーザを分類または識別するために使用できる任意の種類の情報を意味するために使用される。挙動データは、いずれか１つまたは複数の感情応答情報、生理学的データ、および他のユーザに関連するデータを包含することができる。

感情状態情報は、たとえば、怒り、嫌悪、中立的、悲しい、怖がっている、幸せな、驚いた、そしてその派生物といった、ユーザの現在の感情を導出するために、収集されたデータ（たとえば、ウェブカメラ画像および音声）を分析することによって得られることができる。感情状態情報は、退屈、集中、正と負の誘発性などの一時的な感情状態、または一般的な落ち込み、悪い気分、良い気分、または長く持続する感情状態をも示すために導出することもできる。感情状態情報は、異なる感情状態間の相関係数を得るためにさらなる分析をされることができる。このような相関係数は、収集および処理のためのさらなるデータ点を提供し、これは、アプリケーションプログラムまたは入力などの処理された情報を受け取るプロセスによるアクションまたは応答のさらなる洗練につながる可能性がある。

感情状態情報は、他のユーザ関連データ（以下を参照）と組み合わせて、コンピュータユーザの反応、たとえば集中などのさらなる指標を導き出すことができる。ここで、感情状態情報は、上述した表情から検出される感情を含むことができる。代替的にまたは追加的に、感情状態情報は、たとえば、頭、手、または全身の動きといった身体のジェスチャーから収集された情報から導出されることができる。たとえば、うなずきは合意を示すことができ、頻繁な頭の動きは集中力の欠如を示すことができる。感情状態情報は、ユーザの注意がどこに集中しているかを監視する注視追跡をさらに含むことができる。

明細書で使用される場合、「生理学的データ」という用語は、メディアコンテンツと対話するユーザから適切なセンサを介して収集された情報を含むことができる。生理学的データは、心拍数、血圧（たとえば、肌の色に基づく）、まばたき、呼吸数などの生理学的パラメータを示す情報を含むことができるが、これに限定されるものではない。

本明細書で使用する「他のユーザ関連データ」という用語は、年齢、性別、民族性などの人口統計データを含むことができる。人口統計データは、ユーザのウェブカメラビデオストリームから推測されることができる。このデータは、複数のユーザに対して記録された集約結果のセグメンテーションのために有益であり得る。他のユーザ関連データは、コンピューティングデバイス上の他のユーザアクション、たとえば、閲覧履歴、クリックストリームデータなどに関する情報も含むことができる。たとえば、他のユーザ関連データは、マウスまたはカーソルの動きパターンを含むことができる。

データ収集起動スクリプトは、コンピューティングデバイスが、挙動データを記録するために必要な利用可能なコンポーネントを有するとともに、捕捉されたデータを後続のアプリケーションプログラムへの入力として有用である十分な品質であることを保証するために、予備フィルタリングまたはデータ捕捉能力チェックとして使用されることができる。このため、データ収集起動スクリプトを動作することは、コンピューティングデバイスが挙動データ収集を行うことができることを確認するために、予備的なデータ収集機能チェックを行うことを含むことができる。このようにして、本発明の実施形態は、コンピューティングデバイスが挙動データを収集するのに適していない状況で、挙動データを収集することへの処理能力の不必要な割り当てを防止することができ、これにより、有限のコンピューティングおよびネットワークインフラストラクチャに課される重荷が軽減される。

データ記録コンポーネントは、ウェブカメラおよび／またはマイクロホンであってもよく、動作データは、ウェブカメラからの配信動画とマイクロホンからの配信音声との様々な組み合わせから導き出されることができる。より一般に、データ記録コンポーネントは、心拍数、体温、皮膚の水分量などを測定するための、Ｂｌｕｅｔｏｏｔｈ（登録商標）対応アームバンドまたは他のウェアラブルデバイスといった、ユーザの生理学的パラメータを測定することができる任意のハードウェアセンサを備えることができる。このような装置は、たとえば、本発明の実施形態が処理するために収集する特定の生理学的データポイントを提供するなど、ユーザの感情状態を解釈する際に有用な情報を提供することができる。

予備的なデータ収集機能チェックは、このため１つまたは複数のチェックを行うことができ、これは、起動スクリプトがユーザ挙動データを収集することを試みる前に行われることができる。本発明の様々な実施形態によれば、チェックは、ハードウェア／ソフトウェア能力チェック、（たとえば、感情的応答が所定のユーザに対して既に得られている場合に記録の繰り返しを防止するため、またはユーザが所望の人口統計的特徴を有することを保証するための）ユーザ要求チェック、（たとえば、表示されるべきメディアコンテンツの記録が動作が無効になっているか、または必要でないかをチェックする）メディア要件チェックを含むことができるが、これに限定されない。

データ収集起動スクリプトを使用して、関連するハードウェアおよびソフトウェアコンポーネントにアクセスし、ならびに分析のためにデータを送信するための、コンピュータユーザの許可を得ることもできる。データ収集起動スクリプトを動作することは、したがって、ユーザ許可トリガイベントを検出することと、ユーザ許可トリガイベントの検出の際に、ユーザ許可ダイアログの表示をトリガすることとを備えることができる。データ収集起動スクリプトはまた、許可が以前に与えられたかどうかを、専用フラグの状態を探したり、関連するクッキーが存在するかどうかを調べることによって、チェックすることができ、これらはいずれも、ローカルまたはリモートのいずれかで設定および維持できる。

ユーザ許可トリガイベントは、たとえばユーザが自分の挙動データの収集を許可するようにユーザに促す技術として、１つ以上のユーザインセンティブの提供にリンクすることができる。利用可能なユーザインセンティブの身元は、ユーザ許可ダイアログとともに、またはユーザ許可ダイアログの前にユーザに表示することができる。ユーザインセンティブの例には、許可を与えたユーザのために予約されたコンテンツへのアクセスといったプレミアムコンテンツへのアクセス、ユーザにとって関心のある製品またはサービスの割引の提供といったギフトクーポン、フォーラムまたは他の社会的スコアリングシステム上などのユーザ序列スコアのための追加ポイント、ユーザおよび／またはより広いオーディエンスに対して記録された感情反応データへのアクセス、すなわち複数のユーザに対して集約された情報へのアクセス、のうちの１つまたは複数のものを含むがこれに限定されない。

挙動データ収集アプリケーションの開始は、コンピューティングデバイスとリモートサーバとの間の通信を確立し、収集された挙動データを分析のためにリモートサーバに送信することを含むことができる。分析結果は、リモートサーバからコンピューティングデバイスに返却されることができ、コンピューティングデバイス（または他のデバイス）上で実行されるプログラムコードに信号を提供するなど、ウェブページおよび／または追跡可能なウェブ要素の動作に影響にするかこれを変更するために、それらは表示されるかさらなる動作をトリガするために使用されることができる。挙動データ収集アプリケーションは、分析のためにリモートサーバに送信される前に、収集された挙動データを部分処理（または完全に処理）するように構成されることができる。

コンピュータユーザのための感情状態進化データログを生成するために、収集された挙動データの分析が使用されることができる。本発明の実施形態は、挙動データをイベントログに含まれるデータとオーバーレイするかまたは相互参照することによって、データ記録コンポーネントで収集された挙動データとイベントログとを同期させることを意図する。感情状態進化データログの生成は、広告主、プログラム販売業者およびネットワークオペレータなどによって実行される他のソフトウェアおよびハードウェアプロセスならびにシステムがイベントログ内のイベントがユーザの感情状態にどのように影響するかを調査することを可能にする。また、以下でより詳細に説明するように、複数のユーザからのこのような同期データの集約は、一般的な挙動パターンの検出を可能にする。

一般的な挙動パターンを検出する技術は、コンピュータユーザの挙動を分析するコンピュータ実装の方法として表現されることができる。一実施形態によれば、そのような方法は、複数のリモートコンピューティングデバイスの各々から分析サーバにおいて、イベントログおよび収集された挙動データストリーム（たとえば、感情状態進化データログ）を受信することを備え、各イベントログは、それぞれのコンピューティングデバイス上の追跡可能要素で発生するイベントの履歴を含み、収集された各挙動データストリームは、イベントの履歴に対応するコンピュータユーザの挙動の履歴を表すデータを含む。方法はさらに、異なるユーザからの複数のイベントログを、その中の１つまたは複数の対応するイベントに基づいて一致させることと、一致された複数のイベントログについて収集された挙動データストリームを集約ことと、集約された収集された挙動データを表す出力を表示することとを含む。

イベントログは、様々な方法で一致させられることができる。たとえば、複数のイベントログを一致させることは、イベントログの各々におけるメディアコンテンツの共通部分の再生を識別することを含むことができる。このようにして、各イベントログの一部およびそれに対応する挙動データは、集約ステップで使用するために抽出されることができる。代替的に、または上記と関連して、イベントログおよび対応する挙動データは、他の外部要因の影響を分析するために使用されることができる進行中の情報ストリームとして使用されることができる。

一実施形態によれば、方法は、分析サーバにおいて、複数のコンピュータユーザによって経験されるグローバルイベントの履歴を表すグローバルイベントログを受信することを含む。複数のイベントログをマッチングすることは、グローバルイベントにさらされた複数のコンピュータユーザのイベントログを同期させることと、収集された挙動データストリームを同期化された複数のイベントログに対して集約することと、集約された収集された挙動データを表す出力を表示することとを含むことができる。

グローバルイベントログの使用は、グローバルイベントの影響を特定することを可能とする。たとえば、複数のユーザは、特定の場所に存在することができ、グローバルイベントログは、特定の場所（たとえば、町または都市）における気象条件を表すことができる。それらのユーザの感情的応答は、たとえば、異なる場所で得られた同様のデータと比較して、気象条件がユーザの感情反応に与える影響を分析するために、（彼らの場所の知識に基づいて）集約されることができる。

これらおよび他の態様、特徴、および実施形態は、本発明の特定の実施形態の添付の詳細な説明からより十分に理解されるであろう。

図面の簡単な説明
本発明の実施例を添付の図面を参照して以下に詳細に説明する。

本発明の一実施形態によるコンピュータユーザ挙動データの収集および処理方法を実施するためのシステムの概略図である。 本発明の一実施形態による挙動データ収集起動スクリプトの指示の下で実行される機能を示す概略機能ブロック図である。 本発明の一実施形態によるコンピュータユーザ挙動データの収集および処理方法を示すフローチャートである。 本発明の一実施形態によるデータ収集モジュールの開始に含まれるステップを示すフローチャートである。 本発明の別の実施形態による、メディアプレーヤを介してデータ収集モジュールを開始するステップを示すフローチャートである。 本発明の一実施形態による、後続の分析で使用するための外部事象識別子とともにユーザに対して収集された時系列データの例を示す概略グラフである。

発明の特定の実施形態の詳細な説明
図１は、本発明の実施形態がその中で動作することができる例示的な環境１００を示す。ユーザ１０２は、ネットワーク対応コンピューティングデバイス、たとえばＰＣ、ラップトップコンピュータ、タブレットコンピュータ、スマートテレビ、セットトップボックス、ゲームコンソールまたはスマートフォンに関連するディスプレイ１０４上のウェブベースコンテンツを視聴する。コンピューティングデバイスは、このためインターネットなどのネットワーク１１２を介してデータを送受信できる。

コンピューティングデバイスまたはディスプレイ１０４は、マイクロホン、ウェブカメラ１０６などの挙動データを記録するためのモジュールまたは回路に接続されているか、またはそれを内蔵している。従来の通り、ユーザ１０２は、ウェブベースのコンテンツ（たとえば、ウェブページ）を適したウェブブラウザ１０８を介して視聴することができる。ウェブブラウザ１８は、メディア（たとえば動画または音声）コンテンツを再生するのに適したメディアプレーヤ１０９を備える、たとえば、利用可能なまたはそこに埋め込まれたものを有することができる。メディアプレーヤは、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｐｌａｙｅｒ、Ｑｕｉｃｋ Ｔｉｍｅ Ｐｌａｙｅｒ、Ａｕｄａｃｉｏｕｓ、Ａｍａｒｏｋ、Ｂａｎｓｈｅｅ、ＭＰｌａｙｅｒ、Ｒｈｙｔｈｍｂｏｘ、ＳＭＰｌａｙｅｒ、Ｔｏｔｅｍ、ＶＬＣ、ｘｉｎｅなどのローカルアプリケーション、またはＹｏｕＴｕｂｅ（登録商標）プレーヤー、ＡＯＬプレーヤー、ＪＷＰｌａｙｅｒ、Ｆｌｏｗｐｌａｙｅｒ、およびＢｒｉｇｈｔｃｏｖｅなどのオンラインプレーヤーであることができる。

コンピューティングデバイスは、それに関連付けられた、たとえばメモリ上に記憶された、またはネットワークを介してダウンロード可能またはアクセス可能な挙動データ収集アプリケーション１１０を有する。ユーザ１０２は、たとえば、ウェブブラウザ１０８上のコンテンツを視聴している間に、挙動データ収集活動に参加するための招待をコンピューティングデバイス上で受信することができる。しかし、ユーザは、たとえば電子メールなどを介する特定の招待を必要としない。以下に説明するように、ウェブページ上の実行可能なウェブページまたはメディアプレーヤのコード内に挙動データ収集起動スクリプトを組み込むことにより、ウェブページへの訪問者は挙動データ収集に参加することができる。

実行の際に、挙動データ収集アプリケーション１１０は、挙動データ収集動作を実行および制御するために、リモート分析サーバ１１４と通信することができる。アプリケーション１１０は、ＦＰＧＡにプログラムされた１つ以上のカスタムＡＳＩＣに実装されたロジックを含む、ハードウェアとソフトウェアの様々な組み合わせで実装されてもよい。

本明細書で使用する場合、「サーバ」および「ネットワーク対応コンピューティングデバイス」（また、「コンピューティングデバイス」または「デバイス」）という用語は、本発明の１つ以上の実施形態に関連して有用な機能を実装するために、メモリ構造（たとえば、ＲＡＭ）からそこに受信した命令を実行する少なくとも１つのプロセッサを有するコンピュータを称する。これらのデバイスは、サーバとコンピュータユーザ挙動データが捕捉されている１つ以上のコンピューティングデバイスとの間のネットワークを介した通信を可能にするように構成されたハードウェアおよびソフトウェアを含むネットワークインターフェースコンポーネントをさらに備える。限定ではなく一例として、通信は、ユーザデータグラムプロトコル（「ＵＤＰ」）またはインターネットプロトコル（「ＩＰ」）に従って構成されたデータパケットを含むことができる。

これらのデバイスは、本明細書で説明される機能を実装するためにそれぞれのプロセッサにおいて実行されるハードウェア（またはアクセス可能なメモリからのソフトウェア）を有する。このように、アプリケーションの配置に関してここに説明されるより一般的な記述、１つまたは複数の方法に関連して行われるステップ、機能の能力などは、特に断りのない限り、プロセッサによって実行されるコードによって構成されるサーバおよび／またはコンピューティングデバイスに関して行われる。

挙動データ収集アプリケーション１１０は、ユーザの感情状態を示す情報を収集する感情追跡アプリケーションであることができる。データ収集アプリケーションは、他のタイプの挙動データを収集するように構成されることもできる。収集された挙動データは、ウェブブラウザ１０８を介して表示されるウェブベースのコンテンツとのユーザの対話の間に、ユーザの感情を追跡することを可能にすることができる。

挙動データ収集アプリケーション１１０が実行される方法は、図２を参照してより詳細に説明される。一旦実行されると、挙動データ収集アプリケーション１１０は、収集されたデータ１１６（たとえば、ウェブカメラ画像、挙動データ、メディア属性など）がその間を転送されることを可能にするために、分析サーバ１１４と挙動データを記録するモジュールまたは回路（たとえば、ウェブカメラ１０６）との間の通信を設定する、開始プロセスを制御する。

様々な実施形態によれば、ソフトウェア（コンピューティングデバイスのプロセッサによる実行のためのプログラムコードまたは同様の命令を含む）を使用して、そのような通信をセットアップすることができる。たとえば、開始プロセスは、ネットワーク１１２を介した通信を設定する（たとえば、許可を得る）ことを含むことができる。収集されたデータ１１６は、ネットワークを介して分析サーバ１１４に送信されることができ、ユーザの感情に関する情報が抽出され、さらなる処理および分析に使用される。しかし、本発明の特定の実施形態によれば、開始プロセスの一部または全部は、以下で、図２に記載されているように、ウェブページ上で挙動データ収集起動スクリプトを動作させることによって実行可能である。

ユーザの感情は、上述の６つの普遍的な感情のようなコンピュータユーザの感情の決定を行うための、ローカルコンピュータのプロセッサを構成するプログラムコードを使用して追跡することができる。 代替的に、任意のリモートサーバへの送信に先立って、イメージデータの捕捉された生データを使用するか、ローカルコンピュータで挙動データ収集アプリケーション１１０によって処理された信号を使用するかによって、ユーザの感情は、上述の６つの普遍的な感情のようなコンピュータユーザの感情の判定を行うためにサーバのプロセッサを構成する分析サーバ１１４で実行するプログラムコードを使用して追跡されることができる。

収集された挙動データの処理は、いくつかのサブ処理ステップを含むことができ、そのうちの少なくとも１つは、収集されたコンピュータユーザの挙動データを、より好ましくは、コンピュータユーザの挙動データを収集している間にクライアントコンピュータで再生されたビデオ再生およびモーメントまたはセグメントに関する時間的情報を含むために、リモートサーバへの送信に適したデータパケットに変換する。

コンピューティングデバイスでのメディア再生中のビデオ広告の少なくともモーメントまたはセグメントを含むメディア再生中にコンピューティングデバイスに提供されるビデオのモーメントまたはセグメントと、捕捉されたコンピュータユーザの挙動データとを組み合わせるために、収集されたデータには、パケットに変換される前に、またはネットワークを介する送信を記憶する前に追加的な処理が行われる。そのような処理には、たとえば、ビデオのタイムコードまたはタイムコードの範囲を、捕捉されたコンピュータユーザ挙動データと関連付けることによって、捕捉されたイメージを、ユーザのコンピューティングデバイスで再生されるメディア内の時間的位置に同期させる、コンピューティングデバイスのプロセッサによって実行される命令が含まれる。同期は、コンピューティングデバイスにおけるストリーミングされたコンテンツの受信に関連付けられ、ローカルプロセス（たとえば、コンピューティングデバイスへのストリーミングされたコンテンツの送信に対してメディア再生のタイミングを変更する可能性のあるもの）に関連付けられ、およびメディア再生の時間ウィンドウに影響を及ぼす可能性のあるコンピューティングデバイスにおけるイベント（たとえば、１つの非限定的な例として、ユーザが再生を一時停止または巻き戻すもの）に関連付けられる、レイテンシ問題を解決するために重要であり得る。

本発明のこの態様による追加の処理は、コンピュータユーザ挙動データそのものを分析サーバ１１４に送信することに加えて、分析サーバ１１４に送信されるデータパケットの中にコンピュータユーザ挙動データに関する時間情報を含めることをもたらす。

さらに詳細に特定された態様では、コンピュータユーザ挙動データが捕捉されるモーメントまたはセグメントのタイムコードは、ビデオ広告に対してと、任意に、メディア再生アプリケーションで再生される他のビデオコンテンツに対しての時間オフセットを含むことができる。

本発明のさらなる別の態様では、コンピューティングデバイスは、再生中にメディアの中断を最小限に抑えるように、そのリソースをより効率的に利用するように構成されることができる。これに関して、システム構成要素が監視され、それらの性能または値は、特定のローカル処理がいつ実行されるかについての決定に利用される。このように、コンピュータユーザ挙動データの処理は、処理が実行されているユーザのコンピューティングデバイスのパフォーマンス能力を考慮して、またコンピューティングデバイスとコンピューティングデバイスが接続されているネットワークとの間の接続性をさらに考慮して動的に行われる（開始および停止）。

上記に加えて、収集されたデータ１１６は、メディアが視聴されているコンピューティングデバイス１０４の処理能力が十分である、コンピューティングデバイス１０４で部分的にまたは完全に処理されることができる。このようにしてクライアント側で処理を実行するか否かの決定は、コンピューティングデバイス１０４上の処理能力および／または必要なＡＰＩの可用性のチェックを介してなど、挙動データ収集起動スクリプトの実行によって判定されることができる。

分析サーバ１１４において、ユーザから受信された情報は、ユーザによって視聴されるウェブベースコンテンツの相対的品質を示す情報を生成するためなど、様々な目的のために使用されることができる。一実施形態によれば、分析サーバ１１４は、複数のユーザから収集されたデータ１１６を受信するように構成され、ウェブベースのコンテンツの相対的な品質を示す情報を出力するために、収集されたデータ１１６は、集約され、次いでそれ自体または他のウェブベースのコンテンツに関する格納されたデータと比較される。出力情報は、そのような機能を実装するためにプロセッサによって実行されるプログラムコードによって決定される際に、ユーザまたは第三者（たとえば、メディアの所有者）などに、ローカルに表示されおよび／またはリモート通信されることができる。

本発明の実施形態は、たとえば、ウェブページがロードされたときに動作するスクリプトの起動を介して、コンテンツアイテムをロードする行為を通じて挙動データ収集をトリガするための技術を記載する。既知の挙動データ収集技術とは対照的に、本発明の実施形態は、特定のユーザ、ユーザのグループ、または特定のメディア（たとえば、特定のビデオ広告）に結びついていない。対照的に、本発明の実施形態によって企図される方法は、ユーザの進行中のオンラインプレゼンスに対応する、彼または彼女からの挙動データの準連続ストリームの収集を可能にする。

そのようなストリーミング収集技術には多くの利点がある。たとえば、そのような技術は、収集および分析が実行されるユーザのプールを劇的に広げる。以前の収集レジームでは、予め選択されたユーザグループ、たとえば、一連のレビューパネリストからデータを収集することのみが可能であった。対照的に、本発明は、挙動データを捕捉することができる装置（たとえば、カメラ、マイクロホンなどを所有する）からウェブサイトを訪れる任意のユーザからの挙動データ収集を可能にする。捕捉された挙動データ、より速いデータ収集、収集されたデータのより良い統計的有意性のための実質的に大きなデータサンプル、および（たとえば、ユーザが視聴のために支払われるという事実はもはや結果に影響を与えない）偏りの少ないデータを利用するシステムによって、より広いユーザのプールを提供することは、より良好な挙動データの捕捉機能を実現する。

上記に加えて、本発明の実施形態によるデータ収集技術は、ユーザデータのさらなる分析次元を開く。たとえば、挙動データの準連続ストリームを有することは、外部イベント（たとえば、時刻、季節、天気、経済的要因（一般およびユーザ特有の両方）、ユーザ位置など）の影響を、分析されるユーザの挙動に影響させることができる。さらに、そのような準連続的な挙動データが複数のユーザに対して利用できる場合、たとえば、人口情報、ユーザの場所、閲覧履歴など、何らかの方法で集約されたユーザデータについて、外部要因のよりグローバルな分析が分析されることができる。

たとえば、あるウェブページまたはウェブページのグループ（またはウェブページの一部）を訪れている複数のユーザの挙動情報を、時系列データに集約することができる。それ自体で、この情報は、ウェブページに対する一般的なユーザ応答に関する継続的なフィードバックを提供することができる。しかし、さらなる分析次元は、ウェブページに対するユーザの応答と何らかの相関があるかどうかを評価するために、集約されたデータを対応する時系列の外部事象と比較することを含むことができる。

本発明とともに使用するのに適した挙動データ収集起動スクリプトは、適切なウェブページのソースコードに挿入することができ、これはウェブページ発行元によって実行されることができる。当業者であれば、起動スクリプトは、ウェブページのソースコードの一部としてではなく、たとえば、ローカルの実行のためにリモートロケーションからダウンロードすることによって、またはリモート実行によって、特定のウェブページにより利用可能となる機能性を拡張するプラグインまたは同様のアーキテクチャを介して、ウェブページとともに提供され得ることを認識する。スクリプトは、管理ウェブサイトに登録することによって得られる、データ分析オペレータからの発行元によって入手されることができる。登録プロセスは、関連するウェブページを分析サーバに提出するか、そうでなければ登録することができ、分析サーバからそのウェブページについて収集されたコンピュータユーザの挙動データのレポートにウェブページの発行元がアクセスできるようにする。

挙動データ収集起動スクリプトを、ウェブページデザイナーおよび発行元がウェブページのソースコードに挿入できるようにするだけでなく、個々のメディアプレーヤの実行ルーチンなどのソフトウェアアプリケーションに挿入することもできる。このため、スクリプトは、ウェブページのロードではなく、メディアプレーヤの実行時に動作されるため、特定のウェブページ発行元とは対照的に、メディアプレーヤ所有者がプレーヤーに挿入することができる。それ以外の点では、スクリプトは同様に機能する。

図２は、本発明の一実施形態に係る挙動データ収集起動スクリプトを動作させる効果を示す機能ブロック図である。図２から分かるように、スクリプトは、複数の機能ルーチンまたはモジュールの実行を担うことができる。

スクリプトを実行する行為は、そのようなウェブページをロードするか、メディアプレーヤを動作させることなどによって、プログラムによるトリガによって始動されることができる。スクリプト１５０の実行は、スクリプトが動作されているコンピューティングデバイスが、挙動（特に感情の状態）のデータを収集し送信することができるかどうかを確認するためのチェックを行う捕捉能力チェックモジュール１５２をトリガすることができる。たとえば、捕捉機能チェックモジュール１５２は、機能カメラ（たとえば、周辺ウェブカメラまたは統合されたスマートフォンのカメラ）の存在を確認することができる。特定の実施形態において、たとえば、必要なデータのボリュームのストリーミングへの対応を確実にするために、モジュール１５２は、オペレーティングシステムとコンピューティングデバイスの利用可能な処理能力が挙動データを収集するための互換性を有することを保障するために、それらを確認し、ならびにネットワークの状態を確認することができる。

スクリプトの実行は、カメラにアクセスし、分析サーバに挙動データを送信するために許可を求めるためのダイアログボックスをユーザに提示するプログラムコードの実行をもたらす、取得ルーチン１５４をトリガすることができる。ルーチンは、（たとえば、挙動データ収集のための継続的な権限を付与していくことを所望するといった）ユーザがデータを収集する許可を再び求められることを望んでいないことを示すように設定することができるフラグを含むことができる。

許可取得ルーチン１５４は、このフラグが設定されている場合に、バイパスされることができ、これは、取得スクリプトの実行１５０で検出することができる。許可取得ルーチン１５４は、スクリプトが動作するとすぐにトリガされることができ、またはそれは、たとえば、特定のクリックイベント（たとえば、メディアプレーヤーをアクティブにする）やメディアプレーヤー内のプレイイベントといった、ウェブページ上の特定のイベントの検出によってトリガされることができる。

スクリプトは、ウェブページ上の追跡可能要素を見つけまたは検出し、プロセッサによってプログラムコード１５６を実行するように構成することができる。ここで、「追跡可能」とは、その実行を介して、またはユーザとのいくつかの対話を介してのいずれかで、記録可能なイベントを生成する要素を指す。本明細書で与えられた例では、追跡可能要素は、ユーザによって消費されるメディアコンテンツを表示することができるメディアプレーヤであってもよい。この場合、記録可能なイベントは、メディアプレーヤ内のメディアコンテンツなどの、ロード、再生、一時停止、ミュートを表すことができる。このような例は限定することを意図しておらず、実際に、追跡可能要素はまた、カーソル位置情報、クリックストリームデータなどを含むことができる。

当業者は、さらに、全体のウェブページ自体がそれに提示される動的イベントの挙動に基づいて、たとえば、追跡可能要素として扱われ得ることを認識する。たとえば、ウェブページ内の要素の出現、消失または動き、またはウェブページの可視部分における他の変化は監視されることができる。ブラウザウィンドウ全体はまた、スクロール、ブラウザの可視領域サイズ（変更）、タブスイッチ、キーストローク、最大化／最小化ウィンドウなどのアクションが監視され、ログに記録された追跡可能要素とされることができる。

追跡可能要素を見つけまたは検出する際に、スクリプトは、関連する追跡可能要素に関連付けられているＡＰＩ内で発生するイベントを購読（サブスクライブ）するサブスクリプションモジュール１６０のためのプログラムコードをプロセッサに実行させる。スクリプトは、サブスクライブされたＡＰＩからのイベントが報告されたイベントログを生成するルーチン１６２の形で、プロセッサにプログラムコードを実行させる。イベントログは、このように、ウェブページベースの活動の履歴を表すことができる。上述したように、許可取得ルーチン１５４は、追跡可能要素から検出されたイベントによってトリガされることができる。

スクリプトは、（たとえば上述の挙動データ収集アプリケーションに対応する）データ収集モジュール１５８を開始することができる。取得許可ルーチン１５４からの承認を受信すると、データ収集モジュール１５８は、コンピュータユーザ挙動データの捕捉を開始するために、カメラおよび／または他のデータ記録装置（たとえば、マイクロフォン）にアクセスすることができる。

データ収集モジュール１５８は、ユーザの感情状態を示す時系列データを含むことができる、感情状態データログ１６４を生成するように機能することができる。感情状態情報は、コンピューティングデバイス自体で部分的または全体的に発生し得る、または、分析サーバで起こり得る、またはそれらの様々な組み合わせで、収集されたコンピュータユーザ挙動データから抽出される。

このスクリプトは、このようなイベントの履歴およびユーザの挙動情報履歴の並列記録をもたらしうる。これらの二つのデータセットは、コンピューティングデバイス自体または分析サーバ上にあり得る同期出力生成モジュール１６６で組み合わされることができる。同期された出力は、プロセッサ上で同期出力実行するためのプログラムコードによって決定されるように、対応するユーザからの感情的な状態情報に、イベント履歴の中の関連イベントを重ね合わせた（オーバーレイ）表示とされることができる。代替的にまたは追加的に、同期された出力は、ユーザのコンピューティングデバイス、分析サーバ、またはそのような出力を受信して動作する他のダウンロードシステムで、さらなるアクションをトリガするために使用されることができる。

複数のユーザからの同期した出力を得ることにより、本発明の実施形態は、特定のウェブページベースのイベントなどのイベントと、対応するユーザ挙動（および感情状態）との間の相関を見つけるために使用されることができる。

上で説明された起動スクリプトの一部として配備されたプログラムコードによって実行される処理は、以下に説明される図３～５に関連して示される方法の１つまたは複数を実装するために使用することができる。

図３は、本発明の一実施形態による方法２００の基本的なステップを示すフローチャートである。方法２００は、ユーザのネットワーク接続対応のコンピューティングデバイス（たとえば、ＰＣ、ノートＰＣ、タブレット、スマートフォンなど）の上のウェブブラウザでウェブページをロードする最初のステップ２０２で始まる。ウェブページは、たとえば、ＪａｖａＳｃｒｉｐｔ（登録商標）コードなど、上述の挙動データ収集アプリケーション１１０の開始をトリガするネットワーク対応のコンピューティングデバイスのプロセッサによって実行されるコードなどのプログラムコードの形態のスクリプトを含む。スクリプトは、スクリプトで指定される１つまたは複数のウェブ属性のレポート性能データを開始するように構成されている。

本発明の例示的な実施形態において、方法は、挙動データ収集アプリケーションを開始するためのスクリプトを実行する第２のステップ２０４を続行する。挙動データ収集アプリケーションは、ローカルに（たとえば、ユーザのコンピューティングデバイス上またはローカルネットワーク上などで）またはリモート（たとえば、分析サーバまたはサードパーティのデバイスに）格納されことができる。スクリプトは、アプリケーションを実行するためのファイルを参照（たとえば呼び出し）することができる。挙動データの収集を含むことができる挙動データ収集アプリケーションが実行された後、方法は、分析サーバに収集された挙動データを通信する第３のステップ２０６に続く。

一実施形態では、挙動データ収集アプリケーションは、コンピューティングデバイスに関連する１つまたは複数のコレクションの装置（たとえば、カメラ、マイク）によって捕捉されたデータを受信するように構成することができる。この実施形態では、スクリプトは、１つ以上の収集装置を開始し、ユーザと、所望の場合、ユーザの対話が記録されるべきウェブページ上の領域の両方とを識別することによって、収集プロセスを開始するために、構成されることができる。

この点を構築するために、図４は、これらの目的を達成する方法３００の一実施形態を示すフローチャートを提示する。方法３００は、ローカルデータ収集装置を見つけ起動する第１のステップ３０２で開始する。これは、たとえば、ウェブＲＴＣＡＰＩまたはウェブブラウザがカメラなどの外部記録装置にアクセスすることを可能とする、ブラウザまたは第三者ライブラリ／アプリケーションによって提供される他のＡＰＩを使用して達成されることができる。

第２のステップ３０４において、方法は、ユーザＩＤを取得する。これは、たとえば、ユーザプロンプトを表示するなど積極的に、または同じもしくは以前のブラウジングセッションの以前のイベントから渡される以前に入力されたユーザーの資格情報や情報を参照して受動的に行われることができる。一実施形態では、方法は、ユーザの顔の画像を取得し、画像内のユーザに関連付けられたユーザＩＤを特定するための顔認識技術を配備することができる。ユーザＩＤは、分析サーバに収集された挙動情報とともに送信される。ユーザＩＤは、たとえば分析サーバに保存されるかそれによってアクセス可能なユーザプロファイルに関連付けられることができ、これは比較分析を容易にするためのユーザについてのさらなる情報（たとえば、人口統計情報、購入履歴）を提供することができる。

方法３００は、ウェブページ上の関心領域を特定する第３のステップ３０６を続行する。関心領域が識別されない場合には、挙動データの収集は開始されることができない。

関心領域が識別された後、方法は、識別された関心領域に関連するデータ収集を開始する第４のステップ３０８に続く。このステップは、ステップ３０２および／または挙動データ収集アプリケーションに関連するクリックストリームデータ（イベント情報を含むことができる）で起動されたデータ収集装置（複数可）から撮影された画像または音声の情報を渡すことを含むことができる。このデータは、そのまま分析サーバへと送信されることができる。代替的に、データは、送信前に部分的または全体的にコンピューティングデバイス上で処理されることができる。たとえば、挙動データ収集アプリケーションは、捕捉された画像から感情状態情報を抽出するように構成されることができる。抽出された状態情報は、送信処理を制御するプログラムコードの指示に従って、分析サーバに送信されることができる。

図５は、本発明の別の実施形態による、リモート分析サーバに挙動データを渡す方法４００を示す。図５の実施形態では、挙動データ起動スクリプトを含むプログラムコードは、メディアプレーヤ自体、または他の方法でそこで利用可能な動作コードに埋め込まれ、分析サーバとの通信は、メディアプレーヤを介して行われる。換言すると、挙動データ収集アプリケーションは、メディアプレーヤに関連付けられているＡＰＩとして、たとえば、メディアプレーヤーフレームワーク内から起動される。

方法４００は、互換性のあるメディアプレーヤをその上に有するウェブページをロードする最初のステップ４０２で開始する。ここで、「互換性」のあるメディアプレーヤとは、リモート分析サーバに収集されたデータを報告することを許可するプロトコルを使用する挙動データ収集ＡＰＩと互換性のあるメディアプレーヤを指す。代替的に、ウェブページのプログラムコード（またはそうでなければクライアントデバイスにアクセス可能なもの）は、互換性のあるメディアプレーヤのインスタンス化および実行をもたらし得る。

方法４００は、挙動データの起動スクリプトを含むプログラムコードの実行をトリガするために、メディアプレーヤを動作させる第２のステップ４０４へと進む。挙動データ起動スクリプトを動作させることは、メディアプレーヤをロードまたは実行する動作によって引き起こされ得、それは、メディアプレーヤ内で実行される特定のアクション、クライアントコンピューティングデバイス上でのフラグの設定などによってトリガされ得る。上述したように、挙動データ起動スクリプトは、挙動データ収集の準備として、追跡可能要素を見つける（メディアプレーヤーフレームワーク内にあってもよいし、セキュリティ設定で許可されている場合は、メディアプレーヤをホストするウェブページ内にあってもよい）ことができる。

挙動データの起動スクリプトの実行に続いて、方法４００は、１つまたは複数のデータ収集装置（たとえば、ウェブカメラ、マイクロホン）へのアクセスを取得するためのプログラムコードの実行をもたらす挙動データ収集モジュールを開始し、第３のステップ４０６に進むことができ、挙動データを収集し始める。メディアプレーヤ上でメディア再生がない場合でも、挙動データ収集アプリケーションは、メディアプレーヤのフレームワーク内で動作されることができる。このため、その対話がメディアコンテンツを消費するかどうかにかかわらず、ユーザのウェブページとの対話のために挙動データを収集することができる。

挙動データ収集アプリケーションが開始された後に、方法４００は、分析サーバに収集されたデータを通信する第４のステップ４０８に続く。上述したように、データは、部分的にまたは完全に送信される前に、コンピューティングデバイス上で処理されることができる。

図６は、本発明の実施形態による方法を使用して、ユーザに対して収集されることができる情報を示す。図６は、横軸に沿う時間軸５０２と、縦軸に沿って互いに離間された３つの時系列データ５０４、５０６、５０８を有するグラフ５００を示す。データセット５０４、５０６、５０８は、例示のみを目的としており、収集できる情報の種類を限定するものではない。

第１のデータセット５０４は、ユーザの閲覧履歴に相当する。挙動データを報告するためのスクリプトを運ぶ各ウェブページには、ユーザがそのウェブページとやり取りしている期間があるだろう。これらの期間は、第１のデータセット５０４上の別個のサブセッション５１０として画定される。ユーザが対話しているウェブページ（または、より適切にはウェブプロパティ）を記録することによって、本発明の実施形態は、そのウェブページについての複数のユーザからの挙動データの集約を可能とする。この集約されたデータは、グローバルな集約（すべての時間にわたって全ユーザを含むことができる）であることができるか、さらなる洞察を得るために、たとえば、人口統計情報、期間などによって分けられることができる。ウェブページが挙動データ収集スクリプトを運ばない場合、またはユーザがコンピューティングデバイスとのやり取りをやめた場合（たとえば、ユーザがカメラの前にいない、またはデバイスと対話していない状況）は、閲覧履歴時系列データ５０４にはユーザのオンラインプレゼンスにおける一時停止を示すギャップが含まれるだろう。

第２のデータセット５０６は、感情や他の挙動データのパラメータ（たとえば、注意または集中）の時間発展を表す。図６は、１つのパラメータのみの概略図である。実際には、コンピューティングデバイスから収集された情報は、感情状態および他の挙動データの複数の情報を取得するために分析されることができる。しかし、重要なことには、第２のデータセット５０６は、複数のウェブページとの対話中にユーザの感情状態に関する情報の準連続ストリームを提供する。これは、ユーザが特定のメディアにさらされる間の限られた時間ウィンドウ中にデータが捕捉される従来の感情検出技術では利用できない、さらなる分析オプションの広い範囲を開く。たとえば、感情状態情報の準連続的ストリームの提供は、ウェブページ、ビデオなどコンテンツアイテムへさらされる前およびその後に呈される感情の感情的なコンテキストにおいて行われるウェブページに対するユーザの反応を可能にする。

また、複数のユーザから集約された挙動データを分析する可能性は、各ユーザの感情状態情報の準連続ストリームを提供することによって増強される。感情の状態情報は、人口統計または位置ベースの情報、ユーザに関する情報に基づいて集計されることができる。代替的にまたは追加的に、感情の状態情報は、同様のブラウジングパターンを有するユーザをともにグループ化するか、特定のウェブページの特定の時間へのユーザの部分の反応を収集するように、閲覧履歴に基づいて集約されることができる。

第３のデータセット５０８は、ユーザの感情の状態を含め、ユーザに影響を与え得る外部のイベントを表す。これらの外部イベントは、天候、経済イベント、犯罪イベントを含むがこれに限定されない、たとえばユーザの位置および環境に関連するユーザ固有のものであることができるか、たとえば一日のうちの時間、季節などのグローバル現象に関連する一般的なものであることができる。外部イベントは、個人レベルおよび集約レベルの両方で収集された挙動データに対するさらなる別の分析次元を提供することができる。

図１～６は、本発明の説明を可能にする概念図である。本発明の実施形態の様々な態様が、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせで実装することができることを当業者は、理解すべきである。このような実施形態では、種々の構成要素および／またはステップは、本発明の機能を実行するハードウェア、ファームウェア、および／またはソフトウェアで実装される。すなわち、ハードウェア、ファームウェア、またはソフトウェアのモジュールの同じ部分が１つまたは複数の図示のブロック（たとえば、コンポーネントまたはステップ）を行うことができる。

ソフトウェア実装では、コンピュータソフトウェア（たとえば、プログラムまたは他の命令）および／またはデータは、コンピュータプログラム製品の一部として機械可読媒体に格納され、取り外し可能な記憶装置ドライブ、ハードドライブ、または通信インタフェースを介してコンピュータシステムまたは他の装置または機械にロードされる。コンピュータプログラム（コンピュータ制御論理またはコンピュータ可読プログラムコードと呼ばれる）は、主および／または副記憶装置に格納され、１つまたは複数のプロセッサ（コントローラなど）によって実行され、１つまたは複数のプロセッサに本明細書に記載される本発明の機能を実行させる。本明細書では、「機械可読媒体」、「コンピュータプログラム媒体」および「コンピュータ使用可能媒体」という用語は、一般に、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、取り外し可能な記憶装置（たとえば、磁気または光ディスク、フラッシュメモリデバイス、等）、ハードディスク等のような媒体を指すために使用される。

なお、上記の図および例は、単一の実施態様に、本発明の範囲を限定するものではなく、説明または示された要素の一部またはすべての交換による他の実施形態もまた可能である。さらに、本発明のある要素が部分的または完全に既知の構成要素を使用して実施することができる場合、本発明の理解に必要なそのような既知の構成要素の部分のみについて説明し、そのような既知のコンポーネントの他の部分の詳細な説明は本発明を不明瞭にしないように省略される。本明細書に明示的に特段の記載がない限り、本明細書において、単数形の構成要素を示す実施形態は、必ずしも、複数の同コンポーネントを含む他の実施形態に限定されるものではなく、またその逆も同様である。また、明示的記載がない限り、出願人は、本明細書または特許請求の範囲内の任意の用語に対して非一般的または特別な意味を帰することを意図しない。さらに、本発明は、例示のために本明細書で言及される既知のコンポーネントに対する将来の既知の均等物を包含する。

具体的な実施形態の上述の説明は、本発明の一般的性質を明らかにし、他者は（参照により本明細書に引用され組み込まれた文献の内容を含む）関連分野の技術の範囲内の知識を適用することにより、過度の実験をすることなく、本発明の一般的概念から逸脱することなく、そのような特定の実施形態の様々な用途のための変更および／または適合を十分に容易に行うことができる。そのような変更および／または適合は、本明細書に提示される教示およびガイダンスに基づいて、開示された実施形態の均等物の意味および範囲内であることが意図される。本明細書の表現、または用語は、本明細書の用語または表現が、関連技術の当業者の知識と組み合わせて、本明細書に提示される教示および指針に照らして当業者によって解釈されるための説明のためであり、限定するものではないことが理解されるべきである。

本発明の様々な実施形態を説明したが、それらは限定ではなく例として提示されていることが理解されるべきである。本発明の精神および範囲から逸脱することなく形態および詳細における様々な変更がなされ得ることは、関連技術の当業者には明らかであろう。このため、本発明は、上述した実施形態のいずれによっても限定されるべきではなく、唯一以下の特許請求の範囲およびその均等物によって定義されるべきである。

Claims (19)

1. コンピュータユーザと、プロセッサおよびプログラムコードを格納するためのメモリと通信するデータ記録コンポーネントを有するコンピューティングデバイスとの対話中に、コンピュータユーザ挙動データを収集するコンピュータ実装方法であって、前記データ記録コンポーネントは、ウェブカメラであり、前記方法は、
   前記プロセッサで実行するプログラムコードを使用して、ウェブページまたはメディアプレーヤに利用可能なデータ収集起動スクリプトを動作させることを備え、前記データ収集起動スクリプトを動作させることは、
   前記プロセッサで実行するプログラムコードを使用して、前記ウェブページまたはメディアプレーヤに関連付けられた追跡可能要素を検出することを備え、前記追跡可能要素は、記録可能なトレースを残すように前記コンピュータユーザが対話できる前記ウェブページまたはメディアプレーヤの任意の部分を含む、
   追跡可能要素を検出した際に、前記ウェブカメラの起動をトリガするために、ブラウザベースアプリケーションプログラムインターフェース（ＡＰＩ）を呼び出すことと、
   前記プロセッサで実行するプログラムコードを使用して、前記コンピューティングデバイス上の挙動データ収集アプリケーションの開始をトリガすることとを備え、前記方法はさらに、
   前記コンピュータユーザと前記コンピューティングデバイスとの間の前記対話中に、前記ウェブカメラによって記録された挙動データを収集するために、前記プロセッサで実行するプログラムコードを使用して、前記ウェブカメラにアクセスするために前記ブラウザベースアプリケーションプログラムインターフェースを前記挙動データ収集アプリケーションによって呼び出すこととを備える、コンピュータ実装方法。
2. 前記データ収集起動スクリプトは、前記ウェブページまたはメディアプレーヤのソースコード内に含まれる、請求項１に記載のコンピュータ実装方法。
3. 前記ブラウザベースアプリケーションプログラムインターフェースはウェブＲＴＣである、請求項１に記載のコンピュータ実装方法。
4. 前記データ収集起動スクリプトを動作させることは、前記追跡可能要素に関するイベントを記録するためにイベントログを開始することを備える、請求項１～請求項３のいずれか１項に記載のコンピュータ実装方法。
5. 前記データ収集起動スクリプトを動作させることは、
   前記追跡可能要素に関連付けられたアプリケーションプログラムインターフェース内で発生するイベントをサブスクライブすることと、
   前記イベントログ内に前記複数の追跡可能要素において発生するイベントを格納することを備える、請求項４に記載のコンピュータ実装方法。
6. 前記データ収集起動スクリプトを動作させることは、
   前記ウェブページまたは前記メディアプレーヤに関連付けられた複数の追跡可能要素を検出することと、
   前記イベントログ内に前記複数の追跡可能要素において発生するイベントを記録することとを備える、請求項４または請求項５に記載のコンピュータ実装方法。
7. 前記イベントログを、前記ウェブカメラにおいて収集された前記挙動データに同期させることを含む、請求項４～請求項６のいずれか１項に記載のコンピュータ実装方法。
8. 前記データ収集起動スクリプトを動作させることは、
   前記コンピューティングデバイスが挙動データの収集を行うことができるかどうかを確認するために、予備的なデータ収集機能チェックを行うことを備える、請求項１～請求項７のいずれか１項に記載のコンピュータ実装方法。
9. 前記データ収集起動スクリプトを動作させることは、
   ユーザ許可トリガイベントを検出することと、
   前記ユーザ許可トリガイベントの検出の際に、前記コンピューティングデバイス上にユーザ許可ダイアログの表示をトリガすることとを備える、請求項１～請求項８のいずれか１項に記載のコンピュータ実装方法。
10. 前記挙動データ収集アプリケーションの開始は、
    前記コンピューティングデバイスとリモートサーバとの間に通信を確立することと、
    前記収集された挙動データを前記リモートサーバーに分析ために送信することとを備える、請求項１～請求項９のいずれか１項に記載のコンピュータ実装方法。
11. 分析結果を前記リモートサーバから前記コンピューティングデバイスに送信することと、
    前記分析結果を前記コンピューティングデバイス上に表示することとを含む、請求項１０に記載のコンピュータ実装方法。
12. 前記収集された挙動データを、それが前記リモートサーバに分析のために送信される前に、部分的に処理することを備える、請求項１０または請求項１１に記載のコンピュータ実装方法。
13. 前記挙動データは前記コンピュータユーザの感情状態を示す情報を備える、請求項１～請求項１２のいずれか１項に記載のコンピュータ実装方法。
14. 前記コンピュータユーザに対する感情状態進化データログの生成を含む、請求項１３に記載のコンピュータ実装方法。
15. 前記イベントログを前記ウェブカメラで前記収集された挙動データに同期させることは、前記コンピュータユーザのための感情状態進化データログおよび前記イベントログを重ね合せることを備える、請求項７に記載のコンピュータ実装方法。
16. 前記方法は、前記挙動データを前記ウェブカメラからの配信動画から導出することを備える、請求項１～請求項１５のいずれか１項に記載のコンピュータ実装方法。
17. 前記データ記録コンポーネントは、マイクロホンをさらに備え、前記方法は、挙動データを前記マイクロホンからの配信音声から導出することを備える、請求項１～請求項１６のいずれか１項に記載のコンピュータ実装方法。
18. 前記データ収集起動スクリプトは、ウェブページのソースコード内に含まれ、前記ウェブページに関連付けられた前記追跡可能要素は、前記ウェブページ内に埋め込まれたメディアプレーヤである、請求項１～請求項１７のいずれか１項に記載のコンピュータ実装方法。
19. 前記データ収集起動スクリプトを動作させることは、前記メディアプレーヤをロードすることと、前記メディアプレーヤ上での予め定められたメディアコンテンツの再生を検出することと、前記メディアプレーヤ上の予め定められたユーザ入力を受信することと、前記メディアプレーヤ上のプレイリスト内の予め定められたアイテムの再生を始めることからなる群から選択されるイベントに応答して行われる、請求項１～請求項１７のいずれか１項に記載のコンピュータ実装方法。

Images