JP6547977B2 - 感情状態検出に基づいて電子デバイス上で推奨を提供するためのシステム及び方法 - Google Patents

Description

〔関連出願への相互参照／引用による組み込み〕
なし。

本発明の開示の様々な実施形態は、ユーザの感情状態の検出に関する。より具体的には、本発明の開示の様々な実施形態は、ユーザの感情状態検出に基づいて電子デバイス上で推奨を提供するためのシステム及び方法に関する。

感情は、人間生活において重要な役割を果たしており、心拍又は顔面表情の変化等のある一定の生理的及び行動的発現をもたらす場合があることは公知である。ユーザの感情を識別するための試みが行われてきたが、既存のシステムは、依然として、ユーザと感情的又は共感的に接続する機能を欠いている場合がある。関連コンテンツをユーザに推奨することに重点を置く既存システムは、最終消費者による実用用途に適する人間感情状態の変化を考慮に入れることがほとんどない。すなわち、人間感情状態のこのような変化をインテリジェントな方式で使用して実用性の強化と共に感情ベースの推奨を与えることができる高度なシステムが要求されると考えられる。

上述のシステムの本出願の残り部分に列挙するようなかつ図面を参照する本発明の開示の一部の態様との比較を通じて当業者には慣例的かつ従来型手法の更なる限界及び欠点が明らかになるであろう。

特許請求の範囲により完全に列挙するように実質的に図面のうちの少なくとも１つに示し、及び／又はそれに関連して説明するようなユーザの感情状態検出に基づいて電子デバイス上で推奨を提供するためのシステム及び方法を提供する。

本発明の開示のこれら及び他の特徴及び利点は、全体を通じて類似の参照番号が類似の部分を指す添付図面と共に本発明の開示の以下の詳細説明の精査から認めることができる。

本発明の開示の実施形態によるユーザの感情状態検出に基づいて電子デバイス上で推奨を提供するためのネットワーク環境を示すブロック図である。 本発明の開示の実施形態によるユーザの感情状態検出に基づいて推奨を提供するための例示的電子デバイスのブロック図である。 本発明の開示の実施形態によるユーザの感情状態検出に基づいて推奨を提供するための別の例示的電子デバイスのブロック図である。 本発明の開示の実施形態による感情状態検出に基づいて電子デバイス上で推奨を提供するための開示するシステム及び方法の実施のための第１の例示的シナリオを集合的に示す図である。 本発明の開示の実施形態による感情状態検出に基づいて電子デバイス上で推奨を提供するための開示するシステム及び方法の実施のための第１の例示的シナリオを集合的に示す図である。 本発明の開示の実施形態による感情状態検出に基づいて電子デバイス上で推奨を提供するための開示するシステム及び方法の実施のための第２の例示的シナリオを集合的に示す図である。 本発明の開示の実施形態による感情状態検出に基づいて電子デバイス上で推奨を提供するための開示するシステム及び方法の実施のための第２の例示的シナリオを集合的に示す図である。 本発明の開示の実施形態によるユーザの感情状態検出に基づいて電子デバイス上で推奨を提供するための例示的方法を示す第１の流れ図である。 本発明の開示の実施形態によるユーザの感情状態検出に基づいて電子デバイス上で推奨を提供するための別の例示的方法を集合的に示す第２の流れ図である。 本発明の開示の実施形態によるユーザの感情状態検出に基づいて電子デバイス上で推奨を提供するための別の例示的方法を集合的に示す第２の流れ図である。

以下に説明する実施は、ユーザの感情状態検出に基づいて電子デバイス上で推奨を提供するための開示するシステム及び方法に見出すことができる。本発明の開示の例示的態様は、電子デバイスを含むことができ、これは、電子デバイスに関連付けられたユーザの第１感情状態から第２感情状態への感情状態の移行を検出することができる。ユーザのアイデンティティ情報及び検出された移行に基づいて、ユーザの第２感情状態に関連付けられてタグ付けされたコンテンツ項目は、ネットワークデバイスから取り出すことができる。取り出されたタグ付きコンテンツ項目に関連する製品又はサービスを推奨するために、電子デバイス上でアプリケーションを起動することができる。アプリケーションはユーザの感情状態の検出された移行及び電子デバイスの現在位置に応答して起動することができる。

実施形態により、第１感情状態及び第２感情状態は、平常、嬉しさ、悲しさ、怒り、軽蔑、恐怖、驚き、困惑、及び優しさに対応することができる。ネットワークデバイスは、サーバ、無線ホームネットワーク内で電子デバイスに接続した別の電子デバイス、及び／又はクラウドベースのサービスに対応することができる。

実施形態により、ユーザに関連付けられた着用可能デバイス及び／又は電子デバイスの内蔵カメラからセンサデータを受信することができる。センサデータはまた、ユーザの感情状態の移行を検出するための電子デバイス上のテキストベースの入力及び／又は電子デバイス上の音声ベースの入力に対応することができる。

実施形態により、電子デバイス上で取り出されたタグ付きコンテンツ項目に基づいて、製品又はサービスを検索することができる。ユーザの検出された感情状態の移行に基づいて、電子デバイスのホーム画面インタフェースを動的にカスタマイズすることができる。電子デバイスのホーム画面インタフェースは、ネットワークデバイス内で第２感情状態に関連付けられて最後にタグ付けされたコンテンツ項目に基づいて更に動的にカスタマイズすることができる。

本発明の開示の例示的態様によれば、電子デバイス上でコンテンツ項目を視聴しているユーザに関して、第１感情状態から第２感情状態への感情状態の移行を検出することができる。検出された移行中に視聴されたコンテンツ項目の一部分は、ユーザの第２感情状態に関連付けることができる。検出された第２感情状態への移行の原因は、第２感情状態に関連付けられたコンテンツ項目のその部分内で識別することができる。識別された原因に基づいて、製品又はサービスに関して推奨を発生させることができる。推奨はユーザの感情状態の検出された移行及び電子デバイスの現在位置に応答して発生させることができる。

実施形態により、コンテンツ項目のその部分内で識別された原因は、コンテンツ項目のその部分の画像フレーム、画像フレーム内の物体、コンテキストに対応する場合がある。電子デバイス上でのコンテンツ項目の視聴中に、ユーザの第２感情状態のレベルを決定することができる。決定されたレベルが閾値よりも高い時に、コンテンツ項目のその部分を第２感情状態に関連付けることができる。

実施形態により、コンテンツ項目のその部分内で識別された原因は、第２感情状態、ユーザのアイデンティティ情報、検出された移行のタイムスタンプ、及び／又は第２感情状態の決定されたレベルを用いてタグ付けすることができる。第２感情状態に関連付けられてタグ付けされた原因に関連する製品又はサービスは、推奨のために事前指定された検索エンジンを用いてリアルタイム又はほぼリアルタイムで検索することができる。

実施形態により、コンテンツ項目のその部分内でタグ付けされた原因は、電子デバイスと通信的に結合されたサーバ又はネットワークデバイスに通信することができる。製品又はサービスに関して発生された推奨の表示は、電子デバイス、又は電子デバイスに通信的に結合された別の電子デバイス上で制御することができる。

実施形態により、別の電子デバイスに通知を通信して、発生された推奨を表示するために他方の電子デバイスのホーム画面インタフェースをアンロックすることができる。実施形態により、発生された推奨は、発生された推奨の使用パターンに関連付けられた機械学習に基づいて更新することができる。

図１は、本発明の開示の実施形態によるユーザの感情状態検出に基づいて電子デバイス上で推奨を提供するためのネットワーク環境を示すブロック図である。図１を参照すると、例示的ネットワーク環境１００が示されている。例示的ネットワーク環境１００は、第１電子デバイス１０２及び第２電子デバイス１０４等の１又は２以上の電子デバイスと、サーバ１０６と、１又は２以上の着用可能デバイス１０８と、通信ネットワーク１１０と、ユーザ１１２等の１又は２以上のユーザとを含むことができる。ユーザ１１２に関連付けられた複数の感情状態１１４を更に示している。

第１電子デバイス１０２は、画像取り込みユニット１０２ａと、表示画面１０２ｂと、表示画面１０２ｂ上にレンダリングされたアプリケーションインタフェース１０２ｃとを含むことができる。同様に、第２電子デバイス１０４は、画像取り込みユニット１０４ａと、表示画面１０４ｂと、アプリケーションインタフェース１０４ｃとを含むことができる。第１電子デバイス１０２、第２電子デバイス１０４、及びサーバ１０６は、通信ネットワーク１１０を通じて相互に通信的に結合することができるネットワークデバイスとすることができる。１又は２以上の着用可能デバイス１０８は、別々の短距離通信チャネルを通じて又は通信ネットワーク１１０を通じて、第１電子デバイス１０２又は第２電子デバイス１０４等の１又は２以上の電子デバイスのうちの１つに通信的に結合することができる。ユーザ１１２は、１又は２以上の着用可能デバイス１０８、第１電子デバイス１０２、及び／又は第２電子デバイス１０４に関連付けることができる。

第１電子デバイス１０２及び第２電子デバイス１０４等の１又は２以上の電子デバイスは、ユーザ１１２の第１感情状態から第２感情状態への感情状態の移行を検出するように構成可能な適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。第１電子デバイス１０２及び第２電子デバイス１０４の例は、以下に限定されるものではないが、スマートテレビ（ＴＶ）、スマートフォン、ディスプレイデバイス、ラップトップ、タブレットコンピュータ、カメラ、アクションカム、ビデオカメラ、デジタルサイネージ、プロジェクタ、及び／又はビデオ処理デバイスを含むことができる。

画像取り込みユニット１０２ａ及び１０４ａは、ユーザ１１２の１又は２以上の画像又は映像を取り込むように構成可能な適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。実施形態により、画像取り込みユニット１０２ａ及び１０４ａは、それぞれの電子デバイスの内蔵カメラ又は画像センサを指す場合がある。

表示画面１０２ｂ及び１０４ｂは、図示のように、それぞれのアプリケーションインタフェース１０２ｃ及び１０４ｃをレンダリングするように構成可能な適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。表示画面１０２ｂ及び１０４ｂは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ベースのディスプレイ、有機ＬＥＤディスプレイ技術、Ｒｅｔｉｎａディスプレイ技術等のいくつかの公知の技術を通じて達成することができる。

アプリケーションインタフェース１０２ｃ及び１０４ｃは、第１電子デバイス１０２及び第２電子デバイス１０４等のそれぞれの電子デバイスに事前格納されたアプリケーションに対応することができる。アプリケーションインタフェース１０２ｃは、ビデオ又はＴＶ番組等の１又は２以上のコンテンツ項目を第１電子デバイス１０２の表示画面１０２ｂ上にレンダリングするように構成することができる。アプリケーションインタフェース１０４ｃは、第２電子デバイス１０４の表示画面１０４ｂ上にレンダリングすることができる。アプリケーションインタフェース１０４ｃは、スマートフォン等の第２電子デバイス１０４とユーザ１１２との対話を容易にすることができる。実施形態により、アプリケーションインタフェース１０４ｃは、第２電子デバイス１０４の表示画面１０４ｂ上に表示されるホーム画面に対応する場合がある。

サーバ１０６は、タグ付けされたコンテンツ項目、又は第１電子デバイス１０２からのユーザ１１２等のユーザの特定の感情状態がタグ付けされた一連の画像フレーム等のコンテンツ項目の一部分を受信して格納するように構成可能な適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。ユーザ１１２の感情状態の移行は、第１電子デバイス１０２、第２電子デバイス１０４、及び１又は２以上の着用可能デバイス１０８等の様々な電子デバイスを用いてモニタして連続的に追跡することができる。サーバ１０６は、第１電子デバイス１０２、第２電子デバイス１０４、及び１又は２以上の着用可能デバイス１０８等の様々な電子デバイスから、検出された感情状態の移行に関連する情報をタイムスタンプと共に受信するように更に構成することができる。サーバ１０６は、クラウドベースのサーバ、ウェブサーバ、データベースサーバ、ファイルサーバ、アプリケーションサーバ、又はその組合せとすることができる。サーバ１０６は、当業者には公知のいくつかの技術を用いて実施することができる。

１又は２以上の着用可能デバイス１０８は、着用可能電子機器及び／又は電子インプラントを指す場合がある。１又は２以上の着用可能デバイス１０８は、第１電子デバイス１０２又は第２電子デバイス１０４等の接続したデバイスにセンサデータを通信するように構成可能な適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。１又は２以上の着用可能デバイス１０８は、ユーザ１１２によって着用することができる。例えば、ユーザ１１２によって着用されるスマート眼鏡、スマートバンド、又はスマート腕時計を用いて、カロリー摂取量、カロリー消費量、睡眠パターン、及び／又は発汗又は心拍数等の生理的パラメータ、又はユーザ１１２の物理的活動を測定することができる。１又は２以上の着用可能デバイス１０８の例は、以下に限定されるものではないが、着用可能な心イベント記録計、生体適合性センサ（排卵周期の予想、心拍数、パルス酸素濃度計、呼吸数、及び／又は血圧等の生理的パラメータのモニタのために人間の身体に取り付け、着用、又はその中に埋込可能な）、「オバマケアマイクロチップＲＦＩＤインプラント」等の埋め込み可能無線周波数デバイス、及び／又はユーザ１１２の感情状態の追跡のためにユーザ１１２の生理的パラメータのモニタに関連するセンサデータを提供することができる他のこのような着用可能又は埋め込み可能デバイスを含むことができる。

通信ネットワーク１１０は、これを通じて第１電子デバイス１０２、第２電子デバイス１０４、１又は２以上の着用可能デバイス１０８、及びサーバ１０６が相互に通信することができる媒体を含むことができる。通信ネットワーク１１０は、無線通信ネットワークとすることができる。通信ネットワーク１１０の例は、以下に限定されるものではないが、無線ホームネットワーク等の無線ローカルエリアネットワーク（ＷＬＡＮ）、クラウドネットワーク、「Ａｌｌ−ｊｏｙｎ」又はＩｎｔｅｒｎｅｔ−ｏｆ−Ｔｈｉｎｇｓ（ＩｏＴ）通信フレームワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、ｐｌａｉｎ ｏｌｄ ｔｅｌｅｐｈｏｎｅ ｓｅｒｖｉｃｅ（ＰＯＴＳ）、メトロポリタンエリアネットワーク（ＭＡＮ）、及び／又はインターネットを含むことができる。例示的ネットワーク環境１００内の様々なデバイスは、様々な無線通信プロトコルに従って通信ネットワーク１１０に接続するように構成することができる。このような無線通信プロトコルの例は、以下に限定されるものではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、赤外線（ＩＲ）、ＩＥＥＥ ８０２．１１、８０２．１６、ロングタームエボリューション（ＬＴＥ）、Ｌｉｇｈｔ Ｆｉｄｅｌｉｔｙ（Ｌｉ−Ｆｉ）、及び／又は他のセルラー通信プロトコル又はＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルを含むことができる。

複数の感情状態１１４は、第１電子デバイス１０２及び／又は第２電子デバイス１０４によって検出されるユーザ１１２等の１又は２以上のユーザの感情状態を指す。「ＥＭ１、ＥＭ２、ＥＭ３、．．．、ＥＭｎ」等の複数の感情状態１１４は、平常、嬉しさ、悲しさ、怒り、軽蔑、恐怖、驚き、困惑、及び／又は優しさの感情を含むことができる。画像取り込みユニット１０２ａ又は１０４ａによって取り込まれるユーザ１１２の１又は２以上の画像又は映像に基づいて、複数の感情状態１１４を検出することができる。実施形態により、ユーザ１１２等の１又は２以上のユーザの各々は、第１電子デバイス１０２及び／又は第２電子デバイス１０４と通信的に結合することができる１又は２以上の着用可能デバイス１０８に関連付けることができる。１又は２以上の着用可能デバイス１０８から受信するセンサデータを更に利用して、ユーザ１１２の感情状態の移行をモニタ又は追跡することができる。

作動中に、第１電子デバイス１０２は、１又は２以上のコンテンツ項目を受信するように構成することができる。１又は２以上のコンテンツ項目は、通信ネットワーク１１０を通じてサーバ１０６、ネットワークサービスプロバイダの別のサーバ（図示せず）、又はネットワークデバイスから受信することができる。１又は２以上のコンテンツ項目は、ＴＶチャネルのＴＶ番組、映画、加入済みのネットワークサービスプロバイダから受信するＴＶ広告等のビデオとすることができる。１又は２以上のコンテンツ項目はまた、第１電子デバイス１０２、又は通信ネットワーク１１０等の無線ネットワーク内で接続したネットワークデバイスに事前格納されたビデオ、画像、又は他のファイルとすることができる。１又は２以上のコンテンツ項目は、更に、第１電子デバイス１０２によってインターネットからアクセス可能なウェブコンテンツに対応する場合がある。第１電子デバイス１０２は、アプリケーションインタフェース１０２ｃを通じて受信したコンテンツ項目からビデオ等の少なくとも１つのコンテンツ項目をレンダリングするように構成することができる。

実施形態により、ユーザ１１２等の１又は２以上のユーザは、表示画面１０２ｂ上でビデオ等のレンダリングされたコンテンツ項目を視聴している場合がある。第１電子デバイス１０２は、第１電子デバイス１０２上でコンテンツ項目を視聴しているユーザ１１２の１又は２以上の画像又は映像を画像取り込みユニット１０２ａを用いて取り込むことができる。更に、ユーザ１１２の感情状態の移行を検出するために、１又は２以上の着用可能デバイス１０８から受信するセンサデータを更に利用して、ユーザ１１２の生理的特性及び／又は行動的特性をモニタ又は追跡することができる。

実施形態により、第１電子デバイス１０２は、第１電子デバイス１０２上で第１コンテンツ項目を視聴しているユーザ１１２の第１感情状態から第２感情状態への感情状態の移行を検出するように構成することができる。例えば、ユーザ１１２の平常の感情状態から興奮した感情状態への移行である。第１感情状態及び第２感情状態は、複数の感情状態１１４に対応する場合がある。

実施形態により、第１電子デバイス１０２上で第１コンテンツ項目を視聴中に、音声ベースの入力又はテキストベースの入力を第２電子デバイス１０４等の別の電子デバイス上で提供することができる。第２電子デバイス１０４はまた、受信した音声ベースの入力及び／又はテキストベースの入力に基づいて、ユーザ１１２の感情状態をモニタすることができる。第２電子デバイス１０４でユーザ１１２の感情状態の移行が検出されると、このような情報は、第１電子デバイス１０２又はサーバ１０６等の接続したネットワークデバイスに通信することができる。通信は、連続的又は定期的に行うことができ、ユーザ１１２の感情状態の最後に検出された移行が報告され、これに応じて更新することができる。従って、ユーザ１１２の感情状態の移行は、第１電子デバイス１０２、第２電子デバイス１０４、及び１又は２以上の着用可能デバイス１０８等の様々な電子デバイスを用いてモニタして連続的に追跡することができる。第１電子デバイス１０２等の１次デバイスがスイッチオフ状態にある時に、１又は２以上の着用可能デバイス１０８、第２電子デバイス１０４、又は他のデバイス等の２次デバイスが、以前の使用パターンデータに基づいて感情追跡の制御を行って、これに応じて作用することができる。サーバ１０６は、第１電子デバイス１０２、第２電子デバイス１０４、及び１又は２以上の着用可能デバイス１０８等の様々な電子デバイスから、検出された感情状態の移行に関連する情報をタイムスタンプと共に受信するように更に構成することができる。

実施形態により、第１電子デバイス１０２は、第１電子デバイス１０２上で第１コンテンツ項目を視聴中にユーザ１１２の第２感情状態のレベルを決定するように構成することができる。決定されるレベルは、ユーザ１１２が第１コンテンツ項目を視聴している間の嬉しい（スケール５．１）から非常に嬉しい（スケール５．５）、興奮又は歓喜状態（スケール５．９）までのような特定の感情状態のスケールに対応することができる。同様に、検出される他の感情状態、感情状態のレベルを検出することができる。

実施形態により、第１電子デバイス１０２は、検出された移行中に視聴された第１コンテンツ項目の一部分をユーザ１１２の第２感情状態に関連付けるように構成することができる。決定されたレベルが閾値よりも高い時に、第１コンテンツ項目のその部分を第２感情状態に関連付けることができる。

実施形態により、第１電子デバイス１０２は、第２感情状態に関連付けられた第１コンテンツ項目のその部分内で検出された第２感情状態への移行の原因を識別するように構成することができる。第１コンテンツ項目のその部分内で識別される原因は、第１コンテンツ項目のその部分の画像フレーム、画像フレーム内の物体、コンテキスト、又はテーマに対応する場合がある。

実施形態により、第１電子デバイス１０２は、第１コンテンツ項目のその部分内で識別された原因を１又は２以上のパラメータにタグ付けするように構成することができる。１又は２以上のパラメータは、第２感情状態、ユーザ１１２のアイデンティティ情報、検出された移行のタイムスタンプ、及び／又は第２感情状態の決定されたレベルとすることができる。第１電子デバイス１０２は、第１コンテンツ項目のその部分内でタグ付けされた原因を第１電子デバイス１０２に通信的に結合されたサーバ１０６又はネットワークデバイスに通信するように構成することができる。これらの特徴をより詳細に説明するために、例示的シナリオを図４Ａに示して説明する。

実施形態により、第１電子デバイス１０２は、第２感情状態に関連付けられてタグ付けされた原因に関連する製品又はサービスをリアルタイム又はほぼリアルタイムで検索するように構成することができる。検索は、タグ付けされた原因に基づいて、事前指定された検索エンジンを用いて実行することができる。タグ付けされた原因に関する検索は、インターネット検索エンジンを通じたグローバル検索、又は予め決められた設定によるローカル検索とすることができる。第１電子デバイス１０２は、ユーザ１１２の検出された感情状態の移行及び第１電子デバイスの現在位置に応答して、識別された原因に基づいて、製品又はサービスのための推奨を発生させるように構成することができる。

実施形態により、第１電子デバイス１０２は、発生された推奨を表示するためにスマートフォン等の第２電子デバイス１０４のホーム画面インタフェースをアンロックするように第２電子デバイス１０４に通知を通信するように構成することができる。このような通知は、ユーザ１１２が第１電子デバイス１０２から離れて移動する時に、又はユーザ１１２が第１電子デバイス１０２の直接の視野方向にいない場合に通信することができる。

実施形態により、第１電子デバイス１０２で検出された第２感情状態への移行は、スマートフォン等の第２電子デバイス１０４に通信することができる。第２電子デバイス１０４のホーム画面インタフェースがアンロックされる前でさえも、第２電子デバイス１０４は、第１電子デバイス１０２で以前に検出された第２感情状態をユーザ１１２が第２電子デバイス１０４で維持するのに事前インストールされたアプリケーションから取り出されたどのコンテンツ、アプリケーション、壁紙、派生データが適切であるかを決定することができる。複数の電子デバイス間での感情状態のこのようなシームレスな維持又は担持は、第２感情状態のような最後に検出された感情状態が悲しさのような否定的な感情ではなく嬉しさのような肯定的な感情である時に行うことができる。

例えば、ユーザ１１２は、第１電子デバイス１０２上でクリケットの試合を視聴している場合がある。ある一定のシナリオでは、ユーザ１１２は、第１電子デバイス１０２から離れて別の場所に移動する（車を運転する等）必要がある場合がある。このようなシナリオでは、第２電子デバイス１０４は、推奨を提供する、又はユーザ１１２が車を運転中に第２電子デバイス１０４上で「クリケットの実況放送を流す」、アプリケーションインタフェース１０４ｃを通じて「クリケットの得点のアラート」を提供する等のある一定のアクションを行うように構成することができる。従って、第１電子デバイス１０２で検出された第２感情状態への移行は、スマートフォン等の第２電子デバイス１０４に通信することができる。

実施形態により、ある一定のシナリオにおいて、退屈、怒り、悲しさ、困惑、又は苛立ち等の否定的な感情が、第１電子デバイス１０２で最後に検出された感情状態である場合がある。このようなシナリオでは、第２電子デバイス１０４は、事前インストールされたアプリケーションから取り出されたどの推奨、コンテンツ、アプリケーション、壁紙、派生データが、ユーザ１１２が第１電子デバイスで以前に検出されたユーザ１１２の否定的な感情状態を変化させるか又はこれに影響を与えるのに適切であるかを決定することができる。事前インストールされたアプリケーションから取り出されたこのような推奨、コンテンツ、アプリケーション、壁紙、派生データは、第２電子デバイス１０４において、ユーザ１１２の否定的な感情状態を嬉しい感情状態のような肯定的な感情状態に変化させるのに有効とすることができる。

実施形態により、スマートフォン等の第２電子デバイス１０４は、第２電子デバイス１０４に関連付けられたユーザ１１２の第１感情状態から第２感情状態への感情状態の移行を更に検出するように構成することができる。ユーザ１１２の感情状態の移行の検出のために、第２電子デバイス１０４は、ユーザ１１２に関連付けられた１又は２以上の着用可能デバイス１０８、及び／又は第２電子デバイス１０４の画像取り込みユニット１０４ａ等の内蔵カメラから受信したデータ（センサデータ等）を利用することができる。実施形態により、第２電子デバイス１０４はまた、ユーザ１１２の感情状態の移行の検出のために、第２電子デバイス１０４上のテキストベースの入力及び／又は音声ベースの入力を利用することができる。

実施形態により、第２電子デバイス１０４は、画像取り込みユニット１０４ａ等の内蔵カメラを用いて１又は２以上の着用可能デバイス１０８から受信するセンサデータ、及び／又は受信したテキストベースの入力及び／又は音声ベースの入力に基づいてユーザ１１２を識別するように構成することができる。実施形態により、スマートフォン等の第２電子デバイス１０４は、ユーザ１１２のアイデンティティ情報及び検出された移行に基づいて、ユーザ１１２の検出された第２感情状態に関連付けられてタグ付けされたコンテンツ項目をネットワークデバイスから取り出すように構成することができる。ネットワークデバイスは、サーバ１０６、通信ネットワーク１１０等の無線ホームネットワーク内で第２電子デバイス１０４に接続した第１電子デバイス１０２等の別の電子デバイス、及び／又は他の加入済みのクラウドベースのサービスに対応することができる。

実施形態により、第２電子デバイス１０４は、第２電子デバイス１０４で取り出されたタグ付きコンテンツ項目に基づいて、１又は２以上の製品又はサービスを検索するように構成することができる。実施形態により、第２電子デバイス１０４は、取り出されたタグ付きコンテンツ項目に関連する少なくとも１つの製品又はサービスを推奨するために、第２電子デバイス１０４上でアプリケーションを起動するように構成することができる。アプリケーションは、ユーザ１１２の検出された感情状態の移行及び第２電子デバイス１０４の現在位置に応答して起動することができる。この特徴をより詳細に説明するために、例示的シナリオを図４Ｂに示して説明する。

図２は、本発明の開示の実施形態によるユーザの感情状態検出に基づいて推奨を提供するための例示的電子デバイスのブロック図を示している。図１の要素に関連して図２を説明する。図２を参照すると、第１電子デバイス１０２が示されている。第１電子デバイス１０２は、プロセッサ２０２等の１又は２以上のプロセッサと、メモリ２０４と、Ｉ／Ｏデバイス２０６等の１又は２以上の入出力（Ｉ／Ｏ）デバイスと、感情操作回路２０８と、ネットワークインタフェース２１０とを含むことができる。メモリは、感情学習エンジン２１２及び推奨学習エンジン２１４を含むことができる。更に、Ｉ／Ｏデバイス２０６内には画像取り込みユニット１０２ａ、表示画面１０２ｂ、及びアプリケーションインタフェース１０２ｃが示されている。

プロセッサ２０２は、メモリ２０４、Ｉ／Ｏデバイス２０６、感情操作回路２０８、及びネットワークインタフェース２１０と通信的に結合することができる。ネットワークインタフェース２１０は、プロセッサ２０２の制御の下で通信ネットワーク１１０を通じてサーバ１０６と通信することができる。

プロセッサ２０２は、メモリ２０４内に格納された命令セットを実行するように構成可能な適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。プロセッサ２０２は、当業者には公知の多くのプロセッサ技術に基づいて実施することができる。プロセッサ２０２の例は、Ｘ８６ベースのプロセッサ、Ｘ８６−６４ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ、中央演算処理装置（ＣＰＵ）、明示的並列命令コンピュータ（ＥＰＩＣ）プロセッサ、超長命令語（ＶＬＩＷ）プロセッサ、及び／又は他のプロセッサ又は制御回路とすることができる。

メモリ２０４は、プロセッサ２０２によって実行可能な機械コード及び／又は命令セットを格納するように構成可能な適切な論理部、回路、及び／又はインタフェースを含むことができる。メモリ２０４は、ユーザ１１２の取り込まれた画像又は映像、及び１又は２以上の着用可能デバイス１０８から受信したセンサデータを格納するように更に構成することができる。メモリ２０４は、アプリケーションインタフェース１０２ｃ、並びに感情学習エンジン２１２及び推奨学習エンジン２１４に関連付けられた様々なデータ、機能、及び訓練データセットを格納するように更に構成することができる。メモリ２０４は、オペレーティングシステム及び関連するアプリケーションを格納するように更に構成することができる。メモリ２０４の例は、以下に限定されるものではないが、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ディスク（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードを含むことができる。

Ｉ／Ｏデバイス２０６は、ユーザ１１２等の１又は２以上のユーザから入力を受信するように構成可能な適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。Ｉ／Ｏデバイス２０６は、１又は２以上のユーザに出力を提供するように更に構成することができる。Ｉ／Ｏデバイス２０６は、プロセッサ２０２と通信するように作動可能である場合がある様々な入力デバイス及び出力デバイスを含むことができる。入力デバイスの例は、以下に限定されるものではないが、画像取り込みユニット１０２ａ、タッチスクリーン、キーボード、赤外線センサ、マウス、ジョイスティック、マイクロフォン、運動センサ、光センサ、地理空間位置検出センサ等の１又は２以上のセンサ、及び／又はドッキングステーションを含むことができる。出力デバイスの例は、以下に限定されるものではないが、表示画面１０２ｂ、プロジェクタ画面、及び／又はスピーカを含むことができる。

感情操作回路２０８は、画像取り込みユニット１０２ａによって取り込まれた１又は２以上の画像又は映像を処理するように構成可能な適切な論理部、回路、及び／又はインタフェースを含むことができる。感情操作回路２０８は、ユーザ１１２の感情状態の移行を検出するために、ユーザ１１２に関連付けられた１又は２以上の着用可能デバイス１０８から受信したセンサデータを処理するように更に構成することができる。感情操作回路２０８は、取り込まれた１又は２以上の画像、映像、及び／又はセンサデータの処理に基づいて、ユーザ１１２の感情状態の移行を連続的に検出するように構成することができる。感情操作回路２０８は、第２感情状態に関連付けられたある一定の画像フレーム等のコンテンツ項目のある一定の部分内で検出された第２感情状態への移行の原因を識別するように更に構成することができる。

実施形態により、感情操作回路２０８は、プロセッサ２０２の一部とすることができる。これに代えて、感情操作回路２０８は、第１電子デバイス１０２内の個別のプロセッサ又は回路として実施することができる。実施形態により、感情操作回路２０８及びプロセッサ２０２は、感情操作回路２０８及びプロセッサ２０２の機能を実行する統合プロセッサ又はプロセッサのクラスターとして実施することができる。実施形態により、感情操作回路２０８は、プロセッサ２０２による実行時に第１電子デバイス１０２の機能を実行することができるメモリ２０４内に格納された命令セットとして実施可能である。

ネットワークインタフェース２１０は、第２電子デバイス１０４、１又は２以上の着用可能デバイス１０８、及びサーバ１０６と（図１に示すような）通信ネットワーク１１０を通じて通信するように構成可能な適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。ネットワークインタフェース２１０は、通信ネットワーク１１０との第１電子デバイス１０２の有線又は無線通信をサポートするために公知の技術を実施することができる。ネットワークインタフェース２１０は、以下に限定されるものではないが、アンテナ、無線周波数（ＲＦ）送受信機、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、符号器−復号器（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができる。ネットワークインタフェース２１０は、有線又は無線通信を通じて通信ネットワーク１１０と通信することができる。無線通信は、移動通信用グローバルシステム（ＧＳＭ）、強化データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ−ＣＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、ロングタームエボリューション（ＬＴＥ）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ−Ｆｉ）（ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／又はＩＥＥＥ ８０２．１１ｎ等）、Ｌｉｇｈｔ−Ｆｉｄｅｌｉｔｙ（Ｌｉ−Ｆｉ）、ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ（ＶｏＩＰ）、Ｗｉ−Ｍａｘ、電子メールのためのプロトコル、インスタントメッセージ、及び／又はショートメッセージサービス（ＳＭＳ）等の通信規格、プロトコル、及び技術のうちの１又は２以上を使用することができる。

感情学習エンジン２１２は、ユーザ１１２等のヒト対象者の様々な感情を複数の感情状態１１４のうちの１つに分類するように構成可能な機械学習モデルとすることができる。実施形態により、感情学習エンジン２１２は、履歴データに基づいて訓練された分類器とすることができる。分類器又は感情学習エンジン２１２を訓練するのに利用可能な１又は２以上の技術の例は、以下に限定されるものではないが、サポートベクトル機械（ＳＶＭ）、ロジスティック回帰、ベイズ分類器、決定木分類器、連結詞ベースの分類器、Ｋ最近傍（ＫＮＮ）分類器、又はランダムフォレスト（ＲＦ）分類器を含む。

実施形態により、訓練ステージにおいて、感情学習エンジン２１２を用いて複数の感情状態１１４に数値を割り当てることができる。例えば、感情は、「０＝平常、１＝怒り、２＝軽蔑、３＝嫌悪、４＝恐怖、５＝嬉しさ、６＝悲しさ、７＝驚き」のような複数の感情状態１１４のうちの１つに分類することができる。複数の感情状態１１４の各々は、更に、５．１、５．２、５．３、．．．、５．９等の嬉しさのレベル（又はスケール）を表すことができる様々なレベルに細分類することができ、この場合の５．１は、嬉しさを示すことができ、５．９は、興奮しているなどのこの順序において最高レベルの嬉しさを示すことができる。同様に、１．９は、激怒を示すことができる。嬉しい感情、悲しい感情、又は怒りの感情のような様々な感情を検出するために、感情学習エンジン２１２は、事前に訓練することができる。

推奨学習エンジン２１４は、第１電子デバイス１０２において、発生された推奨のユーザ１１２による使用パターンに関連付けられた機械学習に基づいて、発生された推奨を更新するように構成可能な別の機械学習モデルとすることができる。推奨学習エンジン２１４を訓練するのに利用可能な１又は２以上の技術の例は、以下に限定されるものではないが、線形回帰ベースの方法、ニューラルネットワーク、ベイジアンネットワーク、サポートベクトル機械（ＳＶＭ）、決定木ベースの方法、及び／又は最近傍ベースの方法を含むことができる。

作動中に、プロセッサ２０２は、第１電子デバイス１０２上でコンテンツ項目を視聴しているユーザ１１２の１又は２以上の画像又は映像を画像取り込みユニット１０２ａを用いて取り込むように構成することができる。感情操作回路２０８は、ユーザ１１２がコンテンツ項目を視聴中にユーザ１１２の生理的特性及び／又は行動的特性を連続的にモニタするように構成することができる。実施形態により、ユーザ１１２の生理的特性及び／又は行動的特性は、顔面表情、手又は顔の動き、ユーザの座位、身体姿勢、及び／又は声紋に対応する場合がある。単独又は組合せのいずれかで得られたこのような生理的特性及び／又は行動的特性は、ユーザ１１２の現在の感情状態検出での精度の改善をもたらすことができる。ユーザ１１２の生理的特性及び／又は行動的特性は、ユーザ１１２の取り込まれた１又は２以上の画像又は映像の分析に基づいてモニタすることができる。

実施形態により、プロセッサ２０２は、ユーザ１１２の生理的特性及び／又は行動的特性をモニタ又は追跡するために１又は２以上の着用可能デバイス１０８からセンサデータを受信するように構成することができる。センサデータは、血圧、発汗、心拍数、及び体温など等の様々な人間の生理的パラメータの測定値に対応する場合がある。例えば、１又は２以上のファクタの分析に基づいて画像処理技術を用いて検出される悲しさ又は不安の感情状態は、高い発汗率との組合せで高い不安レベルを裏付けることができる。

実施形態により、感情操作回路２０８は、ユーザ１１２の平常等の第１感情状態から嬉しさ、怒り、又は興奮等の第２感情状態への感情状態の移行を検出するように構成することができる。第１感情状態及び第２感情状態は、複数の感情状態１１４に対応する場合がある。

実施形態により、感情操作回路２０８は、第１電子デバイス１０２上でのコンテンツ項目の視聴中に平常から悲しさ、怒り、軽蔑、恐怖、驚き、困惑、優しさ等の他のピーク感情へのユーザ１１２の感情状態の様々な移行を検出するように構成することができる。例えば、平常の感情状態から嬉しい感情状態へのユーザ１１２の感情状態の第１の移行は、第１時間インスタンスで検出することができる。同様に、平常の感情状態から怒りの感情状態へのユーザ１１２の感情状態の第２の移行は、コンテンツ項目を視聴している第２時間インスタンスで検出することができる。実施形態により、複数のユーザは、第１電子デバイス１０２上でコンテンツ項目を同時に視聴している場合がある。このような実施形態において、感情操作回路２０８は、第１電子デバイス１０２上でコンテンツ項目を視聴している複数のユーザの感情を同時にモニタして感情状態の移行を検出するように構成することができる。例えば、複数のユーザは、グループ討論をする場合がある。感情操作回路２０８は、グループ討論の録音された音声に基づいて、及び／又はグループ内の各ユーザに関連付けられた１又は２以上の着用可能デバイス１０８から取り込まれた生理的パラメータに基づいて、感情を同時にモニタして感情状態の移行を検出するように構成することができる。その後、検出された移行に従って推奨を発生させることができ、ＴＶ又はディスプレイデバイス等の共通のメディア画面に表示することができ、又はグループ内の各ユーザに関連付けられたスマート腕時計又はスマートフォン等の個々のデバイスに通信することができる。

実施形態により、感情操作回路２０８は、第１電子デバイス１０２上でのコンテンツ項目の視聴中にユーザ１１２の第２感情状態のレベルを決定するように構成することができる。決定されるレベルは、ユーザ１１２がコンテンツ項目を視聴している間の嬉しいから非常に嬉しい、興奮又は歓喜状態までのような特定の感情状態のスケールに対応する場合がある。決定されるレベルは、ユーザ１１２が第１コンテンツ項目を視聴している嬉しい（スケール５．１）から非常に嬉しい（スケール５．５）、興奮又は歓喜（スケール５．９）までのような特定の感情状態のスケール（「ｎ．１」から「ｎ．９」まで等。ｎ＝検出された特定の感情状態のための数値識別子）に対応する場合がある。同様に、検出される他の感情状態、感情状態のレベルを検出することができる。例えば、悲しい感情の様々なレベルは、６．１（退屈な状態を示す）、６．２から６．３（悲しい状態）、６．４から６．６（非常に悲しい状態）、及び６．７から６．９（最終的の悲嘆及び悲痛）のようにスケーリングすることができる。

実施形態により、感情操作回路２０８は、検出された移行中に視聴されたコンテンツ項目の一部分をユーザ１１２の第２感情状態に関連付けるように構成することができる。決定されたレベルが閾値よりも高い時に、コンテンツ項目のその部分は、第２感情状態に関連付けることができる。

実施形態により、感情操作回路２０８は、第２感情状態に関連付けられたコンテンツ項目のその部分内で検出された第２感情状態への移行の原因を識別するように構成することができる。第１コンテンツ項目のその部分内で識別される原因は、第１コンテンツ項目のその部分の画像フレーム、画像フレーム内の物体、コンテキスト、又はテーマに対応する場合がある。言い換えれば、視聴されるコンテンツにおいて興奮した感情状態等の第２感情状態への検出された移行の実際の又は正確な原因が何であるかを識別することができる。視聴されたコンテンツは、画像処理に基づいて分析され、感情状態の移行を引き起こした部分から画像フレーム内の１又は２以上の物体を識別することができる。例えば、「ジェームズボンド」映画を見ている１個人は、「スマートフォン又はオメガ腕時計」等の物体を見て興奮する場合があるのに対して、同じ「ジェームズボンド」映画を見ている別の個人は、「ｇｌｏｂｅ−ｔｒｏｔｔｅｒ」のバッグ又はカメラのような特定の製造業者銘柄の製品を見て興奮する場合がある。

実施形態により、プロセッサ２０２は、コンテンツ項目のその部分内で識別された原因を１又は２以上のパラメータにタグ付けするように構成することができる。１又は２以上のパラメータは、第２感情状態、ユーザ１１２のユーザＩＤ等のアイデンティティ情報、検出された移行のタイムスタンプ、及び／又は第２感情状態の決定されたレベルとすることができる。プロセッサ２０２は、コンテンツ項目のその部分内でタグ付けされた原因（又は第２感情状態に関連付けられてタグ付けされたコンテンツ）をサーバ１０６、又は第１電子デバイス１０２に通信的に結合されたネットワークデバイスにネットワークインタフェース２１０を通じて通信するように構成することができる。

実施形態により、プロセッサ２０２は、第２感情状態に関連付けられてタグ付けされた原因に関連する製品又はサービスをリアルタイム又はほぼリアルタイムで検索するように構成することができる。検索は、タグ付けされた原因に基づいて、事前指定された検索エンジンを用いて実行することができる。タグ付けされた原因に関する検索は、インターネット検索エンジンを通じたグローバル検索又は予め決められた設定によるローカル検索とすることができる。

実施形態により、プロセッサ２０２は、ユーザ１１２の検出された感情状態の移行及び第１電子デバイス１０２の現在位置に応答して、識別された原因に基づいて製品又はサービスのための推奨を発生させるように構成することができる。プロセッサ２０２は、第１電子デバイス１０２、又は第１電子デバイス１０２に通信的に結合された第２電子デバイス１０４等の別の電子デバイス上で製品又はサービスに関して発生された推奨の表示を制御するように構成することができる。実施形態により、プロセッサ２０２は、発生された推奨の使用パターンに関連付けられた機械学習に基づいて、推奨学習エンジン２１４を用いて、発生された推奨を更新するように構成することができる。

実施形態により、第１電子デバイス１０２で検出された第２感情状態への移行は、スマートフォン等の第２電子デバイス１０４に通信することができる。第２電子デバイス１０４のホーム画面インタフェースがアンロックされる前でさえも、第２電子デバイス１０４は、第１電子デバイス１０２で以前に検出された第２感情状態をユーザ１１２が第２電子デバイス１０４で維持するように、事前インストールされたアプリケーションから取り出されたどのコンテンツ、アプリケーション、壁紙、派生データが適切であるかを決定することができる。複数の電子デバイス間での感情状態のこのようなシームレスな維持又は担持は、第２感情状態のような最後に検出された感情状態が悲しさのような否定的な感情ではなく嬉しさのような肯定的な感情である時に行うことができる。

実施形態により、プロセッサ２０２は、ユーザ１１２の感情状態の移行の検出に基づいて、第１電子デバイス１０２上に現在表示されているコンテンツ項目の表示を動的に変更するように構成することができる。例えば、ユーザ１１２は、ＴＶ等の第１電子デバイス１０２で映画を視聴している場合がある。第１電子デバイス１０２は、ユーザ１１２が、平常の感情状態からユーザ１１２が映画を観るのが退屈になるなどの悲しい感情状態に移行するのを検出することができる。このようなシナリオでは、第１電子デバイス１０２は、悲しい感情状態を打開するのに適する別の映画を自動的に再生することができる。同様に、ユーザ１１２が眠気を感じていると識別されると、第１電子デバイス１０２は、自動的に自己の電源を切ることができる。これに代えて、ユーザ１１２が興奮した感情状態にあることが検出されると、興奮の瞬間は、ユーザ１１２のソーシャルネットワークプロファイルで共有することができる。これは、第１電子デバイス１０２によって提供されるようなユーザ１１２との感情的な結びつきである「感動」体験と呼ぶことができる。

別の例では、ユーザ１１２は、ＴＶ等の第１電子デバイス１０２上で映画を視聴している場合がある。第１電子デバイス１０２は、平常又は悲しい感情状態から嬉しい感情状態のような肯定的な感情状態に移行するのを検出することができる。このようなシナリオでは、第１電子デバイス１０２は、ユーザ１１２に関連付けられた第２電子デバイス１０４等の複数の他のデバイスのホーム画面を自動的に変更することができる。例えば、ホーム画面の変更アクションは、ユーザ１１２に関連付けられたスマート腕時計、スマートフォン、又はあらゆる他のアクティブかつ使用中のデバイス等の現在作動中のデバイス又はアクティブなデバイスに同時に適用することができる。

実施形態により、ユーザ１１２の検出された感情状態の移行に応答して、識別された原因に基づいて、製品又はサービスのための推奨の発生及び表示は、選択されたモードに基づいて制御することができる。ユーザ１１２等のユーザは、表示画面１０２ｂ上にレンダリングされたアプリケーションインタフェース１０２ｃを用いて、第１電子デバイス１０２等の電子デバイス上で複数のモードから特定のモードを選択することができる。複数のモードは、楽しみモード、健康モード、平和モード、又は通常モードを含むことができる。楽しみモードは、ユーザ１１２によって所望されるような楽しみ関連の推奨の発生に関連付けられた構成設定を指す場合がある。例えば、ジョークアプリケーションにリンクされたジョークアプリケーションアイコンは、表示画面１０２ｂ上にレンダリングすることができ、これは、悲しい感情状態に対して適切とすることができる。健康モードは、健康の維持を手助けし又は健康を促進する推奨の発生を指すことができる。例えば、プロセッサ２０２は、ユーザ１１２の積極的な気分を促すために特定のパズルゲームを解くための推奨を発生させるように構成することができる。これは、退屈な感情状態が検出される場合に行うことができる。別の例では、第１電子デバイス１０２のホーム画面上に様々なやる気を引き起こす格言を表示することができる。実施形態により、表示される格言の種類は、悲しい感情状態等の特定の感情状態の決定されたレベルに基づいて動的に変更することもできる。スケール６．１（退屈な状態）から６．９（最終的の悲嘆状態）等の異なるレベルに関して、異なる種類の格言を表示することができる。平和モードは、怒っている人を落ち着かせるように試み、リラックスする体験を与える推奨の発生を指す場合がある。例えば、プロセッサ２０２は、静かな音楽（メロディー曲等）を再生し、再生される静かな音楽のある一定の部分を第１電子デバイス１０２上に表示するための推奨を発生させるように構成することができる。これは、怒りの感情状態が検出される場合に、ユーザ１１２を平和な状態に落ち着かせるために行うことができる。通常モードは、楽しみモード、平和モード、及び通常モード等のユーザ指定で制御されるモードに関係なく、全タイプの推奨を発生させるためのデフォルトモードである。様々な感情状態における推奨の発生の様々な他の例について、図５Ａ及び５Ｂでより詳細に説明する。

実施形態により、図１に示すような第１電子デバイス１０２によって実行される機能又は作動は、プロセッサ２０２及び／又は感情操作回路２０８によって実行することができる。プロセッサ２０２及び／又は感情操作回路２０８によって実行される他の作動については、図４Ａ、７Ａ、及び７Ｂの描写から理解することができる。

図３は、本発明の開示の実施形態によるユーザの感情状態検出に基づいて推奨を提供するための別の例示的電子デバイスのブロック図を示している。図１及び２の要素に関連して図３を説明する。図３を参照すると、第２電子デバイス１０４が示されている。第２電子デバイス１０４の構成要素は、第１電子デバイス１０２の構成要素に類似することができる。第２電子デバイス１０４は、プロセッサ３０２等の１又は２以上のプロセッサと、メモリ３０４と、Ｉ／Ｏデバイス３０６等の１又は２以上の入出力（Ｉ／Ｏ）デバイスと、感情操作回路３０８と、感知デバイス３１０と、ネットワークインタフェース３１２とを含むことができる。メモリ３０４は、感情学習エンジン３１４及び推奨学習エンジン３１６を含むことができる。更に、Ｉ／Ｏデバイス２０６内には画像取り込みユニット１０４ａ、表示画面１０４ｂ、及びアプリケーションインタフェース１０４ｃが示されている。

プロセッサ３０２は、メモリ３０４、Ｉ／Ｏデバイス３０６、感情操作回路３０８、感知デバイス３１０、及びネットワークインタフェース３１２と通信的に結合することができる。ネットワークインタフェース３１２は、プロセッサ２０２の制御の下で通信ネットワーク１１０を通じて第１電子デバイス１０２等のネットワークデバイスと通信することができる。

プロセッサ３０２は、メモリ３０４内に格納された命令セットを実行するように構成可能な適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。プロセッサ３０２の例は、プロセッサ２０２の例に類似とすることができる。メモリ３０４は、プロセッサ３０２によって実行可能な機械コード及び／又は命令セットを格納するように構成可能な適切な論理部、回路、及び／又はインタフェースを含むことができる。メモリ３０４は、事前インストールされたアプリケーションに関連付けられたアプリケーションインタフェース１０４ｃ及び感情学習エンジン３１４を格納するように更に構成することができる。メモリ３０４は、オペレーティングシステム及び関連するアプリケーションを格納するように更に構成することができる。メモリ３０４の例は、メモリ２０４の例に類似とすることができる。

Ｉ／Ｏデバイス３０６は、ユーザ１１２等の１又は２以上のユーザから入力を受信するように構成可能な適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。Ｉ／Ｏデバイス３０６は、１又は２以上のユーザに出力を提供するように更に構成することができる。入力デバイスの例は、以下に限定されるものではないが、画像取り込みユニット１０４ａ、タッチスクリーン、キーボード、赤外線センサ、マウス、マイクロフォン、運動センサ、光センサ、及び／又はドッキング・ステーションを含むことができる。出力デバイスの例は、以下に限定されるものではないが、表示画面１０４ｂ、プロジェクタ画面、及び／又はスピーカを含むことができる。

感情操作回路３０８は、画像取り込みユニット１０４ａによって取り込まれた１又は２以上の画像又は映像を処理するように構成可能な適切な論理部、回路、及び／又はインタフェースを含むことができる。感情操作回路３０８は、感情操作回路２０８の実施と類似に実施することができる。

感知デバイス３１０は、物理的又は定量的属性を検出して、対応する出力をセンサデータとして提供するために適切な論理部、回路、インタフェース、及び／又はコードを含む１又は２以上のセンサを含むことができる。物理的又は定量的属性は、以下に限定されるものではないが、方位、運動、接触、近接性、地磁気場、屋内測位、及び／又は周囲照明を含むことができる。感知デバイス３１０内の１又は２以上のセンサは、第２電子デバイス１０４のジオロケーションを検出するように構成することができる。１又は２以上のセンサの例は、以下に限定されるものではないが、加速度計、全地球測位システム（ＧＰＳ）センサ、屋内測位システム、コンパス又はマグノメータ、周囲照明センサ、トライコーダ、ジャイロスコープ、近接センサ、画像センサ、照度計、タッチセンサ、及び／又は赤外線センサを含むことができる。

ネットワークインタフェース３１２は、（図１に示すような）通信ネットワーク１１０を通じて第１電子デバイス１０２、１又は２以上の着用可能デバイス１０８、及びサーバ１０６と通信するように構成可能な適切な論理部、回路、インタフェース、及び／又はコードを含むことができる。ネットワークインタフェース３１２は、ネットワークインタフェース２１０と類似する無線通信のための公知の技術を実施することができる。

感情学習エンジン３１４は、ユーザ１１２等のヒト対象者の様々な感情を複数の感情状態１１４のうちの１つに分類するように構成可能な機械学習モデルとすることができる。感情学習エンジン３１４は、第１電子デバイス１０２の感情学習エンジン２１２（図２）に類似とすることができる。

推奨学習エンジン３１６は、第２電子デバイス１０４において、発生された推奨のユーザ１１２による使用パターンに関連付けられた機械学習に基づいて、推奨を発生又は発生された推奨を更新するように構成可能な別の機械学習モデルとすることができる。感情操作回路３０８は、今後のために第２電子デバイス１０４のホーム画面インタフェースのカスタマイズに関する推奨及びユーザ体験の発生を即興で行うための作動中にユーザ１１２の感情状態の移行又は変化を連続的に機械学習するように構成することができる。推奨学習エンジン３１６は、第１電子デバイス１０２の推奨学習エンジン２１４（図２）に類似することができる。

作動中に、プロセッサ３０２は、第２電子デバイス１０４の画像取り込みユニット１０４ａ等の内蔵カメラを用いてユーザ１１２の１又は２以上の画像又は映像を受信するように構成することができる。感情操作回路３０８は、受信したユーザ１１２の１又は２以上の画像又は映像内のユーザ１１２の生理的特性及び／又は行動的特性の分析に基づいてユーザ１１２の感情をモニタするように構成することができる。実施形態により、感情操作回路３０８は、精度を改善するために感情学習エンジン３１４を利用してユーザ１１２の感情をモニタするように構成することができる。

実施形態により、プロセッサ３０２は、ネットワークインタフェース３１２を通じて１又は２以上の着用可能デバイス１０８からセンサデータを受信するように構成することができる。１又は２以上の着用可能デバイス１０８は、第２電子デバイス１０４に通信的に結合することができる。心拍数又は発汗値等のユーザ１１２の受信するセンサデータは、ユーザ１１２の感情状態の移行の検出に利用することができる。更に、実施形態により、プロセッサ３０２はまた、ユーザ１１２の感情状態の移行の検出のために、第２電子デバイス１０４上のテキストベースの入力及び／又は音声ベースの入力を利用することができる。

実施形態により、感情操作回路３０８は、第２電子デバイス１０４に関連付けられたユーザ１１２の第１感情状態から第２感情状態への感情状態の移行を検出するように構成することができる。プロセッサ３０２は、１又は２以上の着用可能デバイス１０８から受信するセンサデータ、ユーザ１１２の１又は２以上の受信した画像又は映像、及び／又は受信したテキストベースの入力及び／又は音声ベースの入力に基づいてユーザ１１２を識別するように構成することができる。

実施形態により、プロセッサ３０２は、ユーザ１１２の検出された第２感情状態に関連付けられてタグ付けされたコンテンツ項目をネットワークインタフェース３１２を通じてネットワークデバイスから取り出すように構成することができる。検出された第２感情状態に関連付けられてタグ付けされたコンテンツ項目は、ユーザ１１２のアイデンティティ情報及び検出された移行に基づいて取り出すことができる。ネットワークデバイスは、サーバ１０６、通信ネットワーク１１０等の無線ホームネットワーク内で第２電子デバイス１０４に接続した第１電子デバイス１０２等の別の電子デバイス、及び／又は他の加入済みのクラウドベースのサービスに対応する場合がある。

実施形態により、プロセッサ３０２は、第２電子デバイス１０４で取り出されたタグ付きコンテンツ項目に基づいて１又は２以上の製品又はサービスを検索するように構成することができる。実施形態により、プロセッサ３０２は、取り出されたタグ付きコンテンツ項目に関連する少なくとも１つの製品又はサービスを推奨するために、第２電子デバイス１０４上でアプリケーションを起動するように構成することができる。アプリケーションは、ユーザ１１２の検出された感情状態の移行及び第２電子デバイス１０４の現在位置に応答して起動することができる。

実施形態により、ユーザ１１２の検出された感情状態の移行に基づいて、取り出されたタグ付きコンテンツ項目に関連する製品だけでなく、様々なサービスに関しても推奨を発生させることができ、又はユーザ１１２のリアルタイム又はほぼリアルタイムの支援のために関連情報を提供することができる。例えば、ユーザ１１２が、第１の都市から第２の都市に移動中とする。ユーザ１１２は、ハイウェイが保守作業のために通行止めになっているのを見出す場合がある。ユーザ１１２は、スマートフォン等の第２電子デバイス１０４をアンロックすることができる。アンロック時に、ユーザ１１２の感情状態は、「困惑している」と認識することができる。このようなシナリオでは、第２電子デバイス１０４のアプリケーションインタフェース１０４ｃのホーム画面は、価値を付加してユーザ体験を高めることができる特定の推奨を発生させてそれを提供することができる。推奨学習エンジン３１６を用いて発生される推奨の例は、「Ｘ氏がこの地域を最近通過したので、タップして「Ｘ氏」に電話する」とすることができる。「Ｘ氏」は、ソーシャルネットワークアプリケーションのユーザ１１２のソーシャルネットワークプロファイルから検出されたユーザ１１２の友人とすることができ、携帯電話番号は、連絡先アプリケーションから取り出すことができる。別の推奨は、「Ａ氏」及び「Ｂ氏」（友人）が、この近くに住んでいます。道案内をしてもらうために彼らに相談する」とすることができる。別の推奨又はアクションは、事前ロードされた代替ルートを含む地図アプリケーションの表示とすることができる。同じ感情状態に関して、推奨は、以前のユーザ体験、使用パターン、及びネットワークデバイス又はサーバ１０８等のクラウドベースのサービスから取り出された入力に基づく新しい学習次第で変えることができる。

実施形態により、第２電子デバイス１０４のプロセッサ３０２は、第２電子デバイス１０４のホーム画面インタフェースを動的にカスタマイズするように構成することができる。ホーム画面インタフェースは、ユーザ１１２の検出された感情状態の移行、及び第１電子デバイス１０２等のネットワークデバイス内で第２感情状態に関連付けられて最後にタグ付けされたコンテンツ項目に基づいてカスタマイズすることができる。例えば、第２電子デバイス１０４は、ユーザ１１２の検出された感情状態の移行、及び第１電子デバイス１０２等のネットワークデバイス上での最近のアクションに基づいて、ホーム画面インタフェース上の壁紙を自動的に変更するように構成することができる。例えば、最近のアクションは、ウェブ閲覧、ＴＶ視聴とすることができる。

実施形態により、怒り又は嬉しさ等のユーザ１１２の検出された現在の感情状態、及び推奨学習エンジン３１６を用いて以前に機械学習されたユーザ体験に基づいて、電話連絡先アプリケーション、地図、ソーシャルネットワークアプリケーションを関連データと共に事前ロードすることができる。従って、ユーザインタフェースがアプリケーションのためにカスタマイズされるだけでなく、アプリケーションに関連付けられたデータは、ユーザ１１２の検出された現在の感情状態により分析、配置、及び／又はカスタマイズすることができる。これらの特徴をより詳細に説明するために、例示的シナリオを図５Ａ及び５Ｂに示して説明する。

実施形態により、図１に示すような第２電子デバイス１０４によって実行される機能又は作動は、プロセッサ３０２及び／又は感情操作回路３０８によって実行することができる。プロセッサ３０２及び／又は感情操作回路３０８によって実行される他の作動については、図４Ｂ、５Ａ、５Ｂ、及び６の描写から理解することができる。

図４Ａ及び図４Ｂは、本発明の開示の実施形態による感情状態検出に基づいて電子デバイス上で推奨を提供するための開示するシステム及び方法の実施のための第１の例示的シナリオを集合的に示している。図１、２、及び３の要素に関連して図４Ａ及び図４Ｂを説明する。図４Ａを参照すると、ＴＶ等の第１電子デバイス１０２が、画像取り込みユニット１０２ａ、表示画面１０２ｂ、及びアプリケーションインタフェース１０２ｃと共に示されている。アプリケーションインタフェース１０２ｃを通じて表示画面１０２ｂ上にレンダリングされたビデオ４０２等のコンテンツ項目が更に示されている。更に、ビデオ４０２の第１部分４０２ａが示されている。更に、第１物体４０４ａ、第２物体４０４ｂ、及びイベント４０６が、ユーザ１１２の興奮した感情状態の考えられる識別された原因として示されている。ユーザ１１２に関連付けられたスマートバンド４０８、レベル４１０、及びユーザ識別子（ＩＤ）４１２も示されている。

第１の例示的シナリオによれば、第１電子デバイス１０２は、スマートＴＶ又はタブレットデバイスとすることができる。スマートバンド４０８は、１又は２以上の着用可能デバイス１０８に対応することができる。ユーザ１１２は、第１電子デバイス１０２上でビデオ４０２を視聴中とすることができる。ビデオ４０２は、第１電子デバイス１０２のブラウザ等のアプリケーションインタフェース１０２ｃを通じて再生することができる。

実施形態により、ユーザ１１２の映像は、画像取り込みユニット１０２ａによって取り込むことができる。実施形態により、第１電子デバイス１０２の感情操作回路２０８は、スマートバンド４０８からセンサデータを受信するように構成することができる。感情操作回路２０８は、ユーザ１１２の平常の感情状態「０」等の第１感情状態から嬉しさの感情状態「５」等の第２感情状態への感情状態の移行を検出するように構成することができる。第１電子デバイス１０２上でビデオ４０２を視聴しているユーザ１１２の第２感情状態への移行は、ビデオ４０２の再生時間１２分２秒「００：１２：０２」と１２分４秒「００：１２：０４」の間に検出することができる。ユーザ１１２の感情状態の移行の検出時間において第１電子デバイス１０２上で再生されたコンテンツは、ビデオ４０２の第１部分４０２ａ等のある一定の部分で検出された移行の原因を識別するために有用とすることができる。

第２感情状態への移行の検出の前後２秒のような予め決められた期間は、検出された移行の原因を識別するための更に別の分析のために考慮に入れることができる。従って、（示すような）タイムスタンプ「００：１２：００」から始まり「００：１２：０６」までの「１８０」個の画像フレームシーケンスを含むことができるビデオ４０２の第１部分４０２ａは、分析目的に使用することができる。「１８０」個の画像フレームの第１部分４０２ａは、検出された嬉しい感情状態を表すことができる数値「５」に関連付けることができる。更に、感情操作回路２０８は、ユーザ１１２の嬉しい感情状態等の第２感情状態の数値「５．９」のようなレベル４１０を決定するように構成することができる。スケール「５．９」のレベル４１０は、ビデオ４０２の第１部分４０２ａを視聴しているユーザ１１２の興奮又は歓喜状態を示すことができる。決定されたレベル４１０が閾値を超える時に、ビデオ４０２の第１部分４０２を興奮した感情状態に関連付けることができる。

実施形態により、第１電子デバイス１０２の感情操作回路２０８は、第１物体４０４ａ、第２物体４０４ｂ、及びイベント４０６（コンテキスト等）を第１部分４０２ａにおいて考えられる原因として識別するように構成することができる。第１物体４０４ａは、ビデオ４０２内の有名な人物「ジェームズボンド」等の登場人物とすることができる。第２物体４０４ｂは、登場人物が保持する特定の製造業者銘柄のカメラとすることができる。イベント４０６は、カメラ等の第２物体４０４ｂを用いた乱闘シーン等のある一定のアクションシーンを指す場合がある。

実施形態により、第１電子デバイス１０２のプロセッサ２０２は、第１物体４０４ａ、第２物体４０４ｂ、及びイベント４０６、及び／又はビデオ４０２の第１部分４０２ａの１又は２以上の画像フレーム等の識別された原因を１又は２以上のパラメータにタグ付けするように構成することができる。１又は２以上のパラメータは、興奮した感情状態、「５．９」等の決定されたレベル４１０、ユーザ１１２のユーザＩＤ４１２等のアイデンティティ情報、及び／又は検出された移行のタイムスタンプとすることができる。

実施形態により、第１電子デバイス１０２のプロセッサ２０２は、タグ付けされたコンテンツ（第１物体４０４ａ、第２物体４０４ｂ、及びイベント４０６（メタデータ、及び／又は第１部分４０２ａの１又は２以上の画像フレームとすることができる）をネットワークデバイスに通信するように構成することができる。ネットワークデバイスは、サーバ１０６等のクラウドサーバ、又は第１電子デバイス１０２に通信可能に接続したネットワークデバイスとすることができる。

実施形態により、第１電子デバイス１０２は、ユーザ１１２の検出された感情状態の移行に応答して、識別された原因に基づいて、製品又はサービスのための推奨を発生させるように構成することができる。例えば、ＴＶ又はタブレットデバイス等の第１電子デバイス１０２上に表示されるその後の広告は、それを見てユーザ１１２に興奮を生じさせるか又は引き起こした製造業者銘柄のカメラ等の第２物体４０４ｂに関連付けることができる。

実施形態により、推奨を発生させる代わりに、第１電子デバイス１０２は、イベント４０６又は第１物体４０４ａに関連付けられた別のビデオを自動的に表示するように構成することができる。更に、実施形態により、第１電子デバイス１０２は、第１部分４０２ａと共に「このビデオを見てワクワクしています」等の興奮の瞬間をユーザ１１２に関連付けられたソーシャルプロファイルで共有するように構成することができる。共有は、推奨学習エンジン３１６の結果に基づいて、ユーザ１１２が最近第１電子デバイス１０２上で特定のビデオを視聴中に興奮したなどの類似するシナリオの下でのユーザ１１２の以前のアクションに基づいて実行することができる。実施形態により、発生される推奨の最終消費者は、第２電子デバイス１０４とすることができる。このような実施形態において、第１電子デバイス１０２上では推奨が発生されない場合がある。

４Ｂを参照すると、第２電子デバイス１０４が、画像取り込みユニット１０４ａ、表示画面１０４ｂ、及びアプリケーションインタフェース１０４ｃと共に示されている。更に、アプリケーションインタフェース１０４ｃ上には、第１物体４０４ａ及び第２物体４０４ｂに関連付けられた第１推奨４１４及び第２推奨４１６が示されている。

第１の例示的シナリオによれば、第２電子デバイス１０４は、スマートフォンとすることができる。ユーザ１１２は、第１の場所に配置することができる第１電子デバイス１０２から離れて移動する場合がある。例えば、ユーザ１１２は、ビデオ４０２を見る数日又は１ヶ月のようなある一定の期間後に友人の家又は新しい都市のような第２の場所を訪問しなければならない（図４Ａ）。

実施形態により、スマートフォン等の第２電子デバイス１０４の感情操作回路３０８は、第２電子デバイス１０４に関連付けられたユーザ１１２の平常等の第１感情状態から興奮等の第２感情状態への感情状態の移行を検出するように構成することができる。第２電子デバイス１０４は、ユーザ１１２の感情状態の移行の検出のために、ユーザ１１２に関連付けられたスマートバンド４０８、及び／又は第２電子デバイス１０４の画像取り込みユニット１０４ａ等の内蔵カメラから受信したデータを利用することができる。

実施形態により、第２電子デバイス１０４は、スマートバンド４０８、画像取り込みユニット１０４ａから受信したデータ、及び／又は受信したテキストベースの入力及び／又は音声ベースの入力に基づいて、ユーザＩＤ４１２「Ｕ００１」等のユーザ１１２を識別するように構成することができる。実施形態により、スマートフォン等の第２電子デバイス１０４のプロセッサ３０２は、ユーザ１１２の検出された第２感情状態に関連付けられた１又は２以上のタグ付けされたコンテンツ項目をサーバ１０６等のネットワークデバイスから取り出すように構成することができる。第１物体４０４ａ及び／又は第２物体４０４ｂ等の１又は２以上のタグ付けされたコンテンツ項目は、ユーザ１１２のユーザＩＤ「Ｕ００１」等のアイデンティティ情報、及び興奮した感情状態等の第２感情状態への検出された移行に基づいて取り出すことができる。

実施形態により、第２電子デバイス１０４のプロセッサ３０２は、第２電子デバイス１０４で取り出された第１物体４０４ａ及び／又は第２物体４０４ｂ等の１又は２以上のタグ付きコンテンツ項目に基づいて、１又は２以上の製品又はサービスを検索するように構成することができる。第２電子デバイス１０４のプロセッサ３０２は、取り出されたタグ付きコンテンツ項目に関連する少なくとも１つの製品又はサービスを推奨するために、第２電子デバイス１０４上でアプリケーションインタフェース１０４ｃ等のアプリケーションを起動するように構成することができる。例えば、第１の推奨４１４は、起動したアプリケーションのアプリケーションインタフェース１０４ｃを通じてレンダリングすることができる。第１の推奨は、図示のように、第２電子デバイス１０４の第２の場所のような現在位置の周辺にある近隣施設又は「Ｂ」という店にある製造業者銘柄「Ｘ」のカメラ等の取り出された第２物体４０４ｂに関連付けられた値引き等の広告とすることができる。アプリケーションは、ユーザ１１２の興奮した感情状態への検出された感情状態の移行に応答して起動することができる。

別の例では、第２の推奨４１６は、起動したアプリケーションのアプリケーションインタフェース１０４ｃを通じてレンダリングすることができる。第２の推奨は、第２電子デバイス１０４の現在位置における第１物体４０４ａ等の取り出されたタグ付きコンテンツ項目に関連する広告、又は感情ベースの推奨の一部分、又は関連情報とすることができる。「登場人物「ジェームズボンド」等の〈第１物体４０４ａ〉に関連付けられた新しい映画を購入しませんか？」等の感情ベースの推奨を発生させてアプリケーションインタフェース１０４ｃを通じてレンダリングすることができる。第２電子デバイス１０４の現在位置で利用可能なオンラインウェブポータルへのリンク、又は第２電子デバイス１０４の第２位置のような現在位置の周辺にある近隣の物理的店舗「Ｃ」への地図も図示のようにレンダリングすることができる。

図５Ａ及び５Ｂは、本発明の開示の実施形態による感情状態検出に基づいて電子デバイス上で推奨を提供するための開示するシステム及び方法の実施のための第２の例示的シナリオを集合的に示している。図１、２、３、４Ａ、及び４Ｂの要素に関連して図５Ａ及び図５Ｂを説明する。図５Ａを参照すると、第２電子デバイス１０４上に第１のホーム画面５０２が示されている。更に、ユーザ１１２とユーザ１１２の母のような近い家族の第１ポートレート５０６とを含む第２のホーム画面５０４が、感情ベースの推奨５０８、及び音楽アプリケーションアイコン５１０ａ、ビデオストリーミングアプリケーションアイコン５１０ｂ、ヨガアプリケーションアイコン５１０ｃ、及び地図アプリケーションアイコン５１０ｄ等の複数のアプリケーションアイコン５１０と共に示されている。

第２の例示的シナリオによれば、第２電子デバイス１０４は、スマートフォン又はタブレットデバイスとすることができる。作動中に、スマートフォン等の第２電子デバイス１０４の感情操作回路３０８は、第２電子デバイス１０４に関連付けられたユーザ１１２の平常等の第１感情状態から怒りの感情状態等の第２感情状態への感情状態の移行を検出するように構成することができる。次に、第２電子デバイス１０４のプロセッサ３０２は、ユーザ１１２の検出された感情状態の移行、及び第１電子デバイス１０２等のネットワークデバイス内で第２感情状態に関連付けられて最後にタグ付けされたコンテンツ項目に基づいて、第２電子デバイス１０４の第１ホーム画面インタフェース５０２を動的にカスタマイズすることができる。

ユーザ１１２の怒りの感情状態への移行が検出されるのに応答して、第２電子デバイス１０４のプロセッサ３０２は、第１ホーム画面５０２から第２ホーム画面５０４に動的に変更することができる。例えば、第１ポートレート５０６等の楽しそうな家族写真は、第２電子デバイス１０４の第２ホーム画面５０４上に自動的に設定することができる。「落ち着いて安全運転を」のような感情ベースの推奨５０８は、第２ホーム画面５０４上にレンダリングすることができる。

更に、音楽アプリケーションにリンクされた音楽アプリケーションアイコン５１０ａは、怒りの感情状態に適切な瞑想楽曲と共に事前ロードすることができる。「ＹｏｕＴｕｂｅアプリケーション」等のビデオストリーミングアプリケーションにリンクされたビデオストリーミングアプリケーションアイコン５１０ｂは、検出された怒りの感情状態に応じてリラックス体験のために視覚的に心地よいビデオの推奨と共に事前ロードすることができる。カスタマイズの他の例は、ヨガアプリケーションにリンクされたヨガアプリケーションアイコン５１０ｃ、並びにヨガアプリケーションアイコン５１０ｃの選択時にレンダリングされた筋肉をほぐすことができる運動に関連付けられたリアルタイムにカスタマイズされた推奨とすることができる。地図アプリケーションにリンクされた地図アプリケーションアイコン５１０ｄは、リラックスするのに適切な庭、湖、又はゲームセンター等の近隣の場所を訪ねるための推奨と共に事前ロードすることができる。

検出された感情状態の移行に基づく上述の第２電子デバイス１０４のホーム画面インタフェース上でのリアルタイム又はほぼリアルタイムのカスタマイズは、例示的ものであり、開示するシステム及び方法の実用性を示すために説明したことは理解されるものとする。しかし、本発明の開示の範囲は、上述の例に限定されず、図面を参照して本出願に説明したような本発明の開示の様々な態様に基づいて、他の類似のカスタマイズが当業者には明らかになるであろう。

図５Ｂを参照すると、第２電子デバイス１０４上に第３ホーム画面５１２が更に示されている。第３ホーム画面５１２上にある一定の配置でレンダリングされた壁紙５１４、ジョークアプリケーションアイコン５１０ｅ、ゲームアプリケーションアイコン５１０ｆ、音楽アプリケーションアイコン５１０ａ、及び地図アプリケーションアイコン５１０ｄが更に示されている。更に、電話アプリケーション５１６、電話アプリケーション５１６上の第１通話推奨５１８ａ及び第２通話推奨５１８ｂも示されている。

作動中に、スマートフォン等の第２電子デバイス１０４の感情操作回路３０８は、第２電子デバイス１０４に関連付けられたユーザ１１２の平常の感情状態から悲しい感情状態への感情状態の移行を検出するように構成することができる。次に、第２電子デバイス１０４のプロセッサ３０２は、第２電子デバイス１０４の（図５Ａに示す）第１ホーム画面５０２を動的にカスタマイズすることができる。第１ホーム画面５０２は、ユーザ１１２の検出された感情状態の移行、及び第１電子デバイス１０２等のネットワークデバイス内で悲しい感情状態に関連付けられて最後にタグ付けされたコンテンツ項目に基づいて動的にカスタマイズすることができる。

ユーザ１１２の悲しい感情状態への移行が検出されるのに応答して、第２電子デバイス１０４のプロセッサ３０２は、第１ホーム画面５０２を第３ホーム画面５１２に動的に変更することができる。例えば、壁紙５１４のような気持ちの良い風景写真又は花の写真は、第３ホーム画面５１２上に自動的に設定することができる。次に、悲しい感情状態の場合に、音楽アプリケーションにリンクされた音楽アプリケーションアイコン５１０ａは、悲しい感情状態に適切なメロディ楽曲と共に事前ロードすることができる。次に、地図アプリケーションにリンクされた地図アプリケーションアイコン５１０ｄは、悲しい感情状態を克服するために適切な友人の家のような近隣の場所を訪問するための推奨と共に事前ロードすることができる。カスタマイズの別の例は、悲しい感情状態の時にユーザ１１２によっていつも遊ばれるゲームアプリケーションにリンクされたゲームアプリケーションアイコン５１０ｆとすることができる。悲しい感情状態に適切とすることができるジョークアプリケーションにリンクされたジョークアプリケーションアイコン５１０ｅがレンダリングされる場合がある。

実施形態により、第２電子デバイス１０４の感情操作回路３０８は、ユーザ１１２の悲しい感情状態のレベルを決定するように構成することができる。「６．９」等の決定されたレベルのうちで数値「６」は悲しい感情状態を示し、小数値「．９」は、スケール「０から９」のうちで極度の悲しさのような高いレベルの悲しさを示している。このようなシナリオでは、決定されたレベルが閾値よりも高い時に、第１通話推奨５１８ａ及び第２通話推奨５１８ｂに示すように、親友、親族、又は家族に電話を掛けることを薦めるために電話アプリケーション５１６を起動することができる。従って、人間感情状態の移行をインテリジェントな方式で利用して、感情ベースの推奨に実用性の強化を与えることができる。

図６は、本発明の開示の実施形態によるユーザの感情状態検出に基づいて電子デバイス上で推奨を提供するための例示的方法を示す第１の流れ図を示している。図６を参照すると、流れ図６００が示されている。図１、２、３、４Ｂ、５Ａ、及び５Ｂの要素に関連して流れ図６００を説明する。流れ図６００による方法は、第２電子デバイス１０４等の電子デバイスに実施することができる。本方法は、段階６０２から開始され、段階６０４に進む。

段階６０４において、ユーザ１１２に関連付けられたセンサデータは、１又は２以上の着用可能デバイス１０８から受信することができる。実施形態により、テキストベースの入力及び／又は音声ベースの入力を電子デバイス（第２電子デバイス１０４等）上で受信することができ、これをユーザ１１２の感情状態の移行の検出に利用することができる。段階６０６において、ユーザ１１２の１又は２以上の画像又は映像は、画像取り込みユニット１０４ａ等の内蔵カメラから電子デバイス（第２電子デバイス１０４等）によって受信することができる。

段階６０８において、電子デバイス（第２電子デバイス１０４等）に関連付けられたユーザ１１２の第１感情状態から第２感情状態への感情状態の移行を検出することができる。第１感情状態及び第２感情状態は、複数の感情状態１１４のうちの平常、嬉しさ、悲しさ、怒り、軽蔑、恐怖、驚き、困惑、及び／又は優しさに対応することができる。段階６１０において、ユーザ１１２のアイデンティティ情報及び検出された移行に基づいて、ユーザ１１２の第２感情状態に関連付けられてタグ付けされたコンテンツ項目をネットワークデバイスから取り出すことができる。ネットワークデバイスは、サーバ１０６、無線ホームネットワーク（通信ネットワーク１１０等）内で第２電子デバイス１０４等の電子デバイスに接続した第１電子デバイス１０２等の別の電子デバイス、及び／又は他のクラウドベースのサービスに対応する場合がある。

段階６１２において、電子デバイス（第２電子デバイス１０４等）上で取り出されたタグ付きコンテンツ項目に基づいて、製品又はサービスを検索することができる。製品又はサービスの検索は、電子デバイス（第２電子デバイス１０４等）の現在位置に更に基づくことができる。段階６１４において、取り出されたタグ付きコンテンツ項目に関連する製品又はサービスを推奨するために、電子デバイス（第２電子デバイス１０４等）上でアプリケーションを起動することができる。アプリケーションは、ユーザ１１２の検出された感情状態の移行及び電子デバイス（第２電子デバイス１０４等）の現在位置に応答して起動することができる。

段階６１６において、電子デバイスの第１ホーム画面５０２等のホーム画面インタフェースは、ユーザ１１２の検出された感情状態の移行に基づいて動的にカスタマイズすることができる。電子デバイス（第２電子デバイス１０４等）のホーム画面インタフェースは、更に、ネットワークデバイス（第１電子デバイス１０２又はサーバ１０６等）内の第２感情状態に関連付けられて最後にタグ付けされたコンテンツ項目に基づいて動的にカスタマイズすることができる。第２ホーム画面５０４及び第３ホーム画面５１２等のカスタマイズされたホーム画面インタフェースの例については、図５Ａ及び５Ｂに示して説明している。制御は、最終段階６１８に移ることができる。

図７Ａ及び７Ｂは、本発明の開示の実施形態によるユーザの感情状態検出に基づいて電子デバイス上で推奨を提供するための別の例示的方法を示す第２の流れ図を集合的に示している。図７Ａ及び７Ｂを参照すると、流れ図７００が示されている。図１、２、及び４Ａの要素に関連して流れ図７００を説明する。流れ図７００による本方法は、第１電子デバイス１０２等の電子デバイスに実施することができる。本方法は、７０２から開始され、段階７０４に進む。

段階７０４において、１又は２以上のコンテンツ項目は、電子デバイス（第１電子デバイス１０２等）によって受信することができる。段階７０６において、受信した１又は２以上のコンテンツ項目からのコンテンツ項目は、電子デバイス（第１電子デバイス１０２等）上にレンダリングすることができる。

段階７０８において、電子デバイス（第１電子デバイス１０２等）上にレンダリングされたコンテンツ項目を視聴しているユーザ１１２の１又は２以上の画像又は映像を受信することができる。１又は２以上の画像又は映像は、画像取り込みユニット１０２ａを用いて受信することができる。段階７１０において、ユーザ１１２に関連付けられた１又は２以上の着用可能デバイス１０８（スマートバンド４０８等）からセンサデータを受信することができる。実施形態により、センサデータを受信しない場合がある。

段階７１２において、電子デバイス上にレンダリングされたコンテンツ項目を視聴しているユーザ１１２の第１感情状態から第２感情状態への感情状態の移行を検出することができる。段階７１４において、電子デバイス（第１電子デバイス１０２等）上にレンダリングされたコンテンツ項目の視聴中に、ユーザ１１２の第２感情状態のレベルを決定することができる。

段階７１６において、検出された移行中に視聴されたコンテンツ項目（ビデオ４０２等）の一部分（第１部分４０２ａ等）をユーザ１１２の第２感情状態に関連付けることができる。決定されたレベルが閾値よりも高い時に、コンテンツ項目のその部分を第２感情状態に関連付けることができる。段階７１８において、検出された第２感情状態への移行の原因は、第２感情状態に関連付けられたコンテンツ項目のその部分内で識別することができる。コンテンツ項目のその部分内で識別された原因は、コンテンツ項目のその部分の画像フレーム、画像フレーム内で検出される物体、及び／又はコンテキストに対応する場合がある。

段階７２０において、コンテンツ項目のその部分内で識別された原因は、第２感情状態、ユーザ１１２のアイデンティティ情報、検出された移行のタイムスタンプ、及び／又は第２感情状態の決定されたレベルにタグ付けすることができる。段階７２２において、コンテンツ項目のその部分内でタグ付けされた原因は、第１電子デバイス１０２等の電子デバイスに通信的に結合されたサーバ１０６又は第２電子デバイス１０４等のネットワークデバイスに通信することができる。

段階７２４において、第２感情状態に関連付けられてタグ付けされた原因に関連する製品又はサービスは、事前指定された検索エンジンを用いてリアルタイム又はほぼリアルタイムで検索することができる。第２感情状態に関連付けられてタグ付けされた原因に加えて、製品又はサービスの検索は、更に、電子デバイス（第１電子デバイス１０２等）の現在位置に基づくことができる。段階７２６において、識別された原因に基づいて、製品又はサービスに関して１又は２以上の推奨を発生させることができる。推奨は、ユーザ１１２の検出された感情状態の移行及び電子デバイス（第１電子デバイス１０２等）の現在位置に応答して発生させることができる。

段階７２８において、発生された１又は２以上の推奨は、発生された推奨の使用パターンに関連付けられた機械学習に基づいて更新することができる。プロセッサ２０２は、このような更新のために推奨学習エンジン２１４を利用するように構成することができる。段階７３０において、発生された１又は２以上の推奨を表示するために、第２電子デバイス１０４等の別の電子デバイスのホーム画面インタフェースをアンロックするようにこの別の電子デバイスに通知を通信することができる。

段階７３２において、製品又はサービスに関して発生された推奨の表示は、電子デバイス（第１電子デバイス１０２等）、又は電子デバイスに通信的に結合された別の電子デバイス（第２電子デバイス１０４等）上で制御することができる。制御は、最終段階７３４に移ることができる。

本発明の開示の実施形態により、ユーザの感情状態検出に基づいて電子デバイス上で推奨を提供するためのシステムを開示する。システム（第２電子デバイス１０４（図１）等）は、１又は２以上の回路（以降、プロセッサ３０２及び／又は感情操作回路３０８（図３）と呼ぶ）を含むことができる。感情操作回路３０８は、電子デバイスに関連付けられたユーザ（ユーザ１１２等）の第１感情状態から第２感情状態への感情状態の移行を検出するように構成することができる。プロセッサ３０２は、ユーザのアイデンティティ情報及び検出された移行に基づいて、ユーザの第２感情状態に関連付けられてタグ付けされたコンテンツ項目をネットワークデバイスから取り出すように構成することができる。プロセッサ３０２はユーザの感情状態の検出された移行及び電子デバイスの現在位置に応答して、取り出されたタグ付きコンテンツ項目に関連する製品又はサービスを推奨するために電子デバイス上でアプリケーションを起動するように更に構成することができる。

本発明の開示の実施形態により、ユーザの感情状態検出に基づいて電子デバイス上で推奨を提供するための別のシステムを開示する。システム（第２電子デバイス１０２（図１）等）は、１又は２以上の回路（以降、プロセッサ２０２及び／又は感情操作回路２０８（図２）と呼ぶ）を含むことができる。感情操作回路２０８は、電子デバイス（第１電子デバイス１０２等）上でコンテンツ項目を視聴しているユーザ（ユーザ１１２等）の第１感情状態から第２感情状態への感情状態の移行を検出するように構成することができる。感情操作回路２０８は、検出された移行中に視聴されたコンテンツ項目の一部分をユーザの第２感情状態に関連付けるように更に構成することができる。感情操作回路２０８は、検出された第２感情状態への移行の原因を第２感情状態に関連付けられたコンテンツ項目のその部分内で識別するように更に構成することができる。プロセッサ２０２はユーザの感情状態の検出された移行及び電子デバイス（第１電子デバイス１０２等）の現在位置に応答して、識別された原因に基づいて、製品又はサービスのための推奨を発生させるように構成することができる。

本発明の開示の様々な実施形態は、機械コードが格納され、及び／又はユーザの感情状態検出に基づいて推奨を提供するために機械及び／又はコンピュータによって実行可能な命令セットを有する非一時的コンピュータ可読媒体及び／又はストレージ媒体、及び／又は非一時的機械可読媒体及び／又はストレージ媒体を提供することができる。命令セットは、電子デバイス（第２電子デバイス１０４等）に関連付けられたユーザ（ユーザ１１２等）の第１感情状態から第２感情状態への感情状態の移行の検出を含む段階を機械及び／又はコンピュータに実行させることができる。ユーザのアイデンティティ情報及び検出された移行に基づいて、ユーザの第２感情状態に関連付けられてタグ付けされたコンテンツ項目は、ネットワークデバイスから取り出すことができる。取り出されたタグ付きコンテンツ項目に関連する製品又はサービスを推奨するために、電子デバイス上でアプリケーションを起動することができる。アプリケーションはユーザの感情状態の検出された移行及び電子デバイス（第２電子デバイス１０４等）の現在位置に応答して起動することができる。

本発明の開示の様々な実施形態は、機械コードが格納され、及び／又はユーザの感情状態検出に基づいて推奨を提供するために機械及び／又はコンピュータによって実行可能な命令セットを有する非一時的コンピュータ可読媒体及び／又はストレージ媒体、及び／又は非一時的機械可読媒体及び／又はストレージ媒体を提供することができる。命令セットは、電子デバイス（第１電子デバイス１０２等）上でコンテンツ項目を視聴しているユーザ（ユーザ１１２等）の第１感情状態から第２感情状態への感情状態の移行の検出を含む段階を機械及び／又はコンピュータに実行させることができる。検出された移行中に視聴されたコンテンツ項目の一部分は、ユーザの第２感情状態に関連付けることができる。検出された第２感情状態への移行の原因は、第２感情状態に関連付けられたコンテンツ項目のその部分内で識別することができる。識別された原因に基づいて、製品又はサービスに関して推奨を発生させることができる。推奨はユーザの感情状態の検出された移行及び電子デバイスの現在位置に応答して発生させることができる。

本発明の開示は、ハードウエアに又はハードウエアとソフトウエアの組合せに実現することができる。本発明の開示は、少なくとも１つのコンピュータシステムにおいて集中様式で、又は複数の相互接続したコンピュータシステムにわたって異なる要素を分散させることができる分散様式で実現することができる。本明細書に説明する方法を実行するようになったコンピュータシステム又は他の装置を適切とすることができる。ハードウエア及びソフトウエアの組合せは、ロードされて実行された時にコンピュータシステムをそれが本明細書に説明する方法を実行するように制御することができるコンピュータプログラムを有する汎用コンピュータシステムとすることができる。本発明の開示は、他の機能も実行する集積回路の一部分を含むハードウエアに実現することができる。

本発明の開示はまた、本明細書に説明する方法の実施を可能にする全ての特徴を含み、かつコンピュータシステムにロードにされた時にこれらの方法を実行することができるコンピュータプログラム製品に埋め込むことができる。本発明の関連では、コンピュータプログラムは、情報処理機能を有するシステムをして特定の機能を直接に、又はａ）別の言語、コード、又は表記への変換、ｂ）異なる材料形態での再現のうちのいずれか又は両方の後に実行させることを意図した命令セットのあらゆる言語、コード、又は表記におけるあらゆる表現を意味する。

ある一定の実施形態を参照して本発明の開示を説明したが、本発明の開示の範囲から逸脱することなく様々な変更を加えることができ、かつ均等物で置換することができることは当業者によって理解されるであろう。これに加えて、特定の状況又は内容を本発明の開示の教示に適応させるためにその範囲から逸脱することなく多くの修正を加えることができる。従って、本発明の開示は、開示した特定の実施形態に限定されず、むしろ、本発明の開示は、添付の特許請求の範囲に収まる全ての実施形態を含むことになるように意図している。

１００ ネットワーク環境
１０２ 第１電子デバイス
１０４ 第２電子デバイス
１１２ ユーザ
１１４ ユーザに関連付けられた複数の感情状態

Claims (20)

1. 電子デバイス内の１又は２以上の回路であって、
   前記電子デバイス上でコンテンツ項目を視聴しているユーザであって、前記電子デバイスに関連付けられたユーザの第１感情状態から第２感情状態への感情状態の移行を検出し、
   前記検出された移行中に視聴された前記コンテンツ項目の一部分を前記ユーザの前記第２感情状態に関連付け、
   前記ユーザのアイデンティティ情報と前記検出された移行とに基づいて、該ユーザの前記第２感情状態に関連付けられてタグ付けされたコンテンツ項目をネットワークデバイスから取り出し、かつ
   前記ユーザの前記感情状態の前記検出された移行と前記電子デバイスの現在位置とに応答して、前記取り出されたタグ付きコンテンツ項目に関連する製品又はサービスを推奨するアプリケーションを該電子デバイス上で起動する、
   ように構成された前記１又は２以上の回路、
   を含むことを特徴とする、推奨を提供するためのシステム。
2. 前記第１感情状態及び前記第２感情状態は、平常、嬉しさ、悲しさ、怒り、軽蔑、恐怖、驚き、困惑、及び／又は優しさの感情状態のうちの１つに対応することを特徴とする請求項１に記載のシステム。
3. 前記ネットワークデバイスは、サーバ、無線ネットワーク内で前記電子デバイスに接続した別の電子デバイス、及び／又はクラウドベースのサービスのうちの１つに対応することを特徴とする請求項１に記載のシステム。
4. 前記１又は２以上の回路は、前記ユーザの前記感情状態の前記移行の前記検出のために、該ユーザに関連付けられた着用可能デバイス、前記電子デバイスの内蔵カメラ、該電子デバイス上のテキストベースの入力、及び／又は該電子デバイス上の音声ベースの入力のうちの１又は２以上からセンサデータを受信するように更に構成されることを特徴とする請求項１に記載のシステム。
5. 前記１又は２以上の回路は、前記電子デバイス上で前記取り出されたタグ付きコンテンツ項目に基づいて前記製品又は前記サービスを検索するように更に構成されることを特徴とする請求項１に記載のシステム。
6. 前記１又は２以上の回路は、前記ユーザの前記感情状態の前記検出された移行と前記ネットワークデバイス内で前記第２感情状態に関連付けられて最後にタグ付けされたコンテンツ項目とに基づいて前記電子デバイスのホーム画面インタフェースを動的にカスタマイズするように更に構成されることを特徴とする請求項１に記載のシステム。
7. 電子デバイス内の１又は２以上の回路であって、
   前記電子デバイス上でコンテンツ項目を視聴しているユーザの第１感情状態から第２感情状態への感情状態の移行を検出し、
   前記検出された移行中に視聴された前記コンテンツ項目の一部分を前記ユーザの前記第２感情状態に関連付け、
   前記第２感情状態への前記検出された移行の原因を該第２感情状態に関連付けられた前記コンテンツ項目の前記部分内で識別し、かつ
   前記ユーザの前記感情状態の前記検出された移行と前記電子デバイスの現在位置とに応答して、前記識別された原因に基づいて製品又はサービスのための推奨を発生させる、
   ように構成された前記１又は２以上の回路、
   を含むことを特徴とする、推奨を提供するためのシステム。
8. 前記コンテンツ項目の前記部分内の前記識別された原因は、該コンテンツ項目の該部分の画像フレーム、該画像フレーム内の物体、コンテキストのうちの１又は２以上に対応することを特徴とする請求項７に記載のシステム。
9. 前記１又は２以上の回路は、前記電子デバイス上で前記コンテンツ項目の視聴中の前記ユーザの前記第２感情状態のレベルを決定するように更に構成され、
   前記コンテンツ項目の前記部分は、前記決定されたレベルが閾値よりも高い時に前記第２感情状態に関連付けられる、
   ことを特徴とする請求項７に記載のシステム。
10. 前記１又は２以上の回路は、前記コンテンツ項目の前記部分内で前記識別された原因を、前記第２感情状態、前記ユーザのアイデンティティ情報、前記検出された移行のタイムスタンプ、及び／又は該第２感情状態の前記決定されたレベルのうちの１又は２以上にタグ付けするように更に構成されることを特徴とする請求項９に記載のシステム。
11. 前記１又は２以上の回路は、前記第２感情状態に関連付けられて前記タグ付けされた原因に関連する製品又はサービスを前記推奨のために事前指定された検索エンジンを用いてリアルタイム又はほぼリアルタイムで検索するように更に構成されることを特徴とする請求項１０に記載のシステム。
12. 前記１又は２以上の回路は、前記コンテンツ項目の前記部分内で前記タグ付けされた原因を前記電子デバイスに通信的に結合されたサーバ又はネットワークデバイスに通信するように更に構成されることを特徴とする請求項１０に記載のシステム。
13. 前記１又は２以上の回路は、前記電子デバイス又は該電子デバイスに通信的に結合された別の電子デバイス上で前記製品又は前記サービスに関して前記発生された推奨の表示を制御するように更に構成されることを特徴とする請求項７に記載のシステム。
14. 前記１又は２以上の回路は、前記発生された推奨を表示するように別の電子デバイスに該他の電子デバイスのホーム画面インタフェースをアンロックする通知を通信するように更に構成されることを特徴とする請求項７に記載のシステム。
15. 前記１又は２以上の回路は、前記発生された推奨を、該発生された推奨の使用パターンに関連付けられた機械学習に基づいて更新するように更に構成されることを特徴とする請求項７に記載のシステム。
16. 推奨を提供する方法であって、
    電子デバイスの１又は２以上の回路により、前記電子デバイス上でコンテンツ項目を視聴しているユーザであって、該電子デバイスに関連付けられたユーザの第１感情状態から第２感情状態への感情状態の移行を検出する段階と、
    前記１又は２以上の回路により、前記検出された移行中に視聴された前記コンテンツ項目の一部分を前記ユーザの前記第２感情状態に関連付け、
    前記１又は２以上の回路により、前記ユーザの前記第２感情状態に関連付けられてタグ付けされたコンテンツ項目を該ユーザのアイデンティティ情報と前記検出された移行とに基づいてネットワークデバイスから取り出す段階と、
    前記１又は２以上の回路により、前記ユーザの前記感情状態の前記検出された移行と前記電子デバイスの現在位置とに応答して、前記取り出されたタグ付きコンテンツ項目に関連する製品又はサービスを推奨するアプリケーションを該電子デバイス上で起動する段階と、
    を含むことを特徴とする方法。
17. 前記１又は２以上の回路により、前記電子デバイス上で前記取り出された前記タグ付きコンテンツ項目に基づいて前記製品又は前記サービスを検索する段階を更に含むことを特徴とする請求項１６に記載の方法。
18. 前記１又は２以上の回路により、前記ユーザの前記感情状態の前記検出された移行と前記ネットワークデバイス内で前記第２感情状態に関連付けられて最後にタグ付けされたコンテンツ項目とに基づいて前記電子デバイスのホーム画面インタフェースを動的にカスタマイズする段階を更に含むことを特徴とする請求項１６に記載の方法。
19. 推奨を提供する方法であって、
    電子デバイスの１又は２以上の回路により、該電子デバイス上でコンテンツ項目を視聴しているユーザの第１感情状態から第２感情状態への感情状態の移行を検出する段階と、 前記１又は２以上の回路により、前記検出された移行中に視聴された前記コンテンツ項目の一部分を前記ユーザの前記第２感情状態に関連付ける段階と、
    前記１又は２以上の回路により、前記第２感情状態への前記検出された移行の原因を該第２感情状態に関連付けられた前記コンテンツ項目の前記部分内で識別する段階と、
    前記１又は２以上の回路により、前記ユーザの前記感情状態の前記検出された移行と前記電子デバイスの現在位置とに応答して、前記識別された原因に基づいて製品又はサービスのための推奨を発生させる段階と、
    を含むことを特徴とする方法。
20. 前記コンテンツ項目の前記部分内で前記識別された原因は、該コンテンツ項目の該部分の画像フレーム、該画像フレーム内の物体、コンテキストのうちの１又は２以上に対応することを特徴とする請求項１９に記載の方法。

Images