JP7305563B2 - 気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体 - Google Patents

気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体 Download PDF

Info

Publication number
JP7305563B2
JP7305563B2 JP2020000441A JP2020000441A JP7305563B2 JP 7305563 B2 JP7305563 B2 JP 7305563B2 JP 2020000441 A JP2020000441 A JP 2020000441A JP 2020000441 A JP2020000441 A JP 2020000441A JP 7305563 B2 JP7305563 B2 JP 7305563B2
Authority
JP
Japan
Prior art keywords
user
data
devices
noise
implementations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020000441A
Other languages
English (en)
Other versions
JP2020098338A (ja
Inventor
ゴラン,チャールズ
リウ,エリック・エイチ・シー
ブルーン,ケビン
バルツ,デュエイン・リチャード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2020098338A publication Critical patent/JP2020098338A/ja
Priority to JP2021095995A priority Critical patent/JP7309783B2/ja
Application granted granted Critical
Publication of JP7305563B2 publication Critical patent/JP7305563B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/002Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B6/00Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral, differential
    • G05B6/02Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral, differential electric
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2823Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house

Description

関連出願への相互参照
この出願は、本願明細書において参照によって全文援用される2015年2月11日に出願された米国特許出願第14/619,827号の利益を請求する。
この出願は、すべて2015年2月11日に出願され参照によって全体が本願明細書に援用される米国特許出願第14/619,866号、米国特許出願第14/619,894号、米国特許出願第14/619,821号、米国特許出願第14/619,843号、および、米国特許出願第14/619,863号に関連付けられる。
技術分野
開示された主題は、気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体に関する。
背景
ユーザの家はしばしば、コンピュータ、テレビ、ステレオ、冷蔵庫、煙検出器などといった多くのデバイスが存在する。これらの装置の多くは、一次的な機能(たとえばテレビがオンにされてコンテンツを提示している場合)として、または、副産物(たとえば冷却ファンがオンにされて関連する装置を冷却するために使用される場合)として、音またはノイズを発する。これらのノイズはしばしば望まれないものであり、たとえばユーザが行っているタスクからユーザの気を散らすことにより問題になり得る。
したがって、気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体を提供することが望ましい。
概要
開示された主題のいくつかの実現例に従うと、気分および/または挙動情報に基づいた環境バックグラウンドノイズの修正のための方法、システムおよび媒体が提供される。
開示された主題のいくつかの実現例に従うと、環境バックグラウンドノイズの修正のための以下の方法が提供される。上記方法は、ユーザデバイスを有するユーザの環境に存在する少なくとも1つのノイズ、ユーザが現在従事しているアクティビティ、および、ユーザの身体状態または感情状態を識別することと、識別されたノイズ、ユーザが現在従事しているアクティビティ、および、ユーザの身体状態または感情状態に少なくとも部分的に基づいて、環境において生成されるべきである対象環境ノイズを決定することと、対象環境ノイズを生成するために使用されるべきである、ユーザデバイスに関連付けられる少なくとも1つのデバイスを識別することと、識別された1つ以上のデバイスの各々に対応するサウンド出力を決定することとを含み、サウンド出力の組合せにより、対象環境ノイズの1つ以上の特性の近似が生成され、上記方法はさらに、識別された1つ以上のデバイスに、決定されたサウンド出力を生成させることを含む。
開示された主題のいくつかの実現例に従うと、環境バックグラウンドノイズの修正のた
めのシステムが提供される。上記システムは、ハードウェアプロセッサを含み、上記ハードウェアプロセッサは、ユーザデバイスを有するユーザの環境に存在する少なくとも1つのノイズ、ユーザが現在従事しているアクティビティ、および、ユーザの身体状態または感情状態を識別することと、識別されたノイズ、ユーザが現在従事しているアクティビティ、および、ユーザの身体状態または感情状態に少なくとも部分的に基づいて、環境において生成されるべきである対象環境ノイズを決定することと、対象環境ノイズを生成するために使用されるべきである、ユーザデバイスに関連付けられる少なくとも1つのデバイスを識別することと、識別された1つ以上のデバイスの各々に対応するサウンド出力を決定することとを行うようにプログラムされており、サウンド出力の組合せにより、対象環境ノイズの1つ以上の特性の近似が生成され、上記ハードウェアプロセッサはさらに、識別された1つ以上のデバイスに、決定されたサウンド出力を生成させることを行うようにプログラムされている。
開示された主題のいくつかの実現例に従うと、コンピュータ実行可能命令を含む一時的でないコンピュータ読取可能媒体が提供される。上記コンピュータ実行可能命令は、プロセッサによって実行されると、環境バックグラウンドノイズの修正のための方法をプロセッサに実行させる。上記方法は、ユーザデバイスを有するユーザの環境に存在する少なくとも1つのノイズ、ユーザが現在従事しているアクティビティ、および、ユーザの身体状態または感情状態を識別することと、識別されたノイズ、ユーザが現在従事しているアクティビティ、および、ユーザの身体状態または感情状態に少なくとも部分的に基づいて、環境において生成されるべきである対象環境ノイズを決定することと、対象環境ノイズを生成するために使用されるべきである、ユーザデバイスに関連付けられる少なくとも1つのデバイスを識別することと、識別された1つ以上のデバイスの各々に対応するサウンド出力を決定することとを含み、サウンド出力の組合せにより、対象環境ノイズの1つ以上の特性の近似が生成され、上記方法はさらに、識別された1つ以上のデバイスに、決定されたサウンド出力を生成させることを含む。
開示された主題のいくつかの実現例に従うと、環境バックグラウンドノイズの修正のためのシステムが提供される。上記システムは、ユーザデバイスを有するユーザの環境に存在する少なくとも1つのノイズ、ユーザが現在従事しているアクティビティ、および、ユーザの身体状態または感情状態を識別するための手段と、識別されたノイズ、ユーザが現在従事しているアクティビティ、および、ユーザの身体状態または感情状態に少なくとも部分的に基づいて、環境において生成されるべきである対象環境ノイズを決定するための手段と、対象環境ノイズを生成するために使用されるべきである、ユーザデバイスに関連付けられる少なくとも1つのデバイスを識別するための手段と、識別された1つ以上のデバイスの各々に対応するサウンド出力を決定するための手段とを含み、サウンド出力の組合せにより、対象環境ノイズの1つ以上の特性の近似が生成され、前記システムはさらに、識別された1つ以上のデバイスに、決定されたサウンド出力を生成させるための手段を含む。
いくつかの実現例では、上記システムはさらに、ユーザデバイスに関連付けられる識別されたデバイスに関連付けられるサウンド出力能力を決定するための手段を含む。
いくつかの実現例では、識別されたデバイスの各々に対応するサウンド出力を決定することは、決定されたサウンド出力能力に少なくとも部分的に基づく。
いくつかの実現例では、決定されたサウンド出力は、識別されたデバイスのうち少なくとも1つに関連付けられるファンの速度の調整を含む。
いくつかの実現例では、決定されたサウンド出力は、識別されたデバイスのうちの少な
くとも1つに関連付けられる音声出力を通じて生成される。
いくつかの実現例では、システムはさらに、環境に存在するノイズに関連付けられるサウンドレベルを決定するための手段を含む。
いくつかの実現例では、対象環境ノイズは、環境に存在するノイズに関連付けられる決定されたサウンドレベルに対してより低いサウンドレベルで、環境に存在するノイズを含む。
いくつかの実現例では、システムはさらに、決定された対象環境ノイズに関係するユーザフィードバックを受信するための手段と、受信されたユーザフィードバックに基づいて、サウンド出力が生成されるべきであると決定するための手段とを含む。
いくつかの実現例では、サウンド出力の各々は、関連付けられる信用度を有しており、上記システムはさらに、サウンド出力に関連付けられる信用度を抽出するための手段と、受信されたユーザフィードバックに基づいて信用度を修正するための手段とを含む。
添付の図面に関して考慮して、開示された主題の以下の詳細な説明を参照すると、開示された主題のさまざまな目的、特徴および利点がより完全に理解され得る。添付の図面において、同様の参照番号は同様の要素を識別する。
開示された主題のいくつかの実現例に従った、複数のデータソースからの気分および/または挙動情報に基づいて、コンピュータ化されたサービスをパーソナライズするためのメカニズムが存在するシステムの一般化された概要図の例を示す図である。 図1のサーバのより特定的な例を示す図であって、当該サーバは、複数のデータソースからさまざまなタイプのデータを受信し得るとともに、受信したデータの部分に基づいて、開示された主題のいくつかの実現例に従ったユーザデバイスに関連付けられるさまざまなユーザデバイスにさまざまなタイプのアクションを推奨し得る図である。 開示された主題のいくつかの実現例に従った、図1に示されるユーザデバイスおよびサーバのうちの1つ以上を実現するために使用され得るハードウェアの詳細な例を示す図である。 開示された主題のいくつかの実現例に従った、複数のデータソースからの気分および/または挙動情報に基づいて、コンピュータ化されたサービスをパーソナライズするためのプロセスの例示的な例を示す図である。 開示された主題のいくつかの実現例に従った、目的を提供するようにユーザデバイスのユーザに促すためのユーザインターフェイスの例示的な例を示す図である。 開示された主題のいくつかの実現例に従った、ユーザに関するデータを抽出するための1つ以上のデータソースを選択するようにユーザデバイスのユーザに促すためのユーザインターフェイスの例示的な例を示す図である。 開示された主題のいくつかの実現例に従った、特定の目的または目標に基づいて、複数のデータソースから受信されるデータから選択されるさまざまな時のデータの部分の例示的な例を示す図である。 開示された主題のいくつかの実現例に従った、目的に対応する選択可能な目標をユーザに提示するためのユーザインターフェイスの例示的な例を示す図である。 開示された主題のいくつかの実現例に従った、推奨アクションを実行するために使用され得る選択可能な出力デバイスをユーザに提示するためのユーザインターフェイスの例示的な例を示す図である。 開示された主題のいくつかの実現例に従った、推奨アクションを含む推奨インターフェイスをユーザに提示するためのユーザインターフェイスの例示的な例を示す図である。 開示された主題のいくつかの実現例に従った、実行されたアクションに関するフィードバックを提供するようにユーザを促すユーザインターフェイスの例示的な例を示す図である。 開示された主題のいくつかの実現例に従った、部屋における環境ノイズを修正するために使用され得る、ユーザの家におけるデバイスの例示的なレイアウトを示す図である。 開示された主題のいくつかの実現例に従った、部屋における環境ノイズを修正するためのプロセスの例示的な例を示す図である。 開示された主題のいくつかの実現例に従った、部屋における環境ノイズを修正するために使用されるべきデバイスを選択するためのユーザインターフェイスの例を示す図である。
詳細な説明
いくつかの実現例に従うと、以下により詳細に記載されるように、コンピュータ化されたサービスを複数のデータソースからの気分および/または挙動情報に基づきパーソナライズするためのメカニズムが提供される。当該メカニズムは、方法、システムおよび/またはコンピュータ読取可能媒体を含み得る。
一般的には、これらのメカニズムは、ユーザデバイスのユーザについての特定の目的に関する入力を当該ユーザから受信し得、当該ユーザに関する受信したデータに基づいて、上記特定の目的に到達することにおいてユーザを支援し得るパーソナライズおよびコンピュータ化されたサービスを提供し得る。たとえば、ユーザデバイスのユーザは、就業日の間により多くの運動を組み込みたいという望みをユーザインターフェイスを介して示し得、当該メカニズムは、ユーザが肯定的に同意を与えた1つ以上のデータソースからのユーザに関するデータに基づいて、ユーザが特定の目的を達成するのを技術的に支援し得る1つ以上のアクションを推奨し得る。たとえば、自動モバイルアラートまたは通知によって、天気情報に基づいて今日はユーザに歩いてオフィスに行くことを推奨したり、オンラインカレンダ、および/または、1つ以上のコンピュータネットワークを通じて受信された交通情報および公共交通情報に基づいて制約条件をスケジューリングしたり、花に特に興味があるユーザに、コンピュータ地図ルーティングサービス(たとえばグーグルマップ(登録商標))によって識別されるようなユーザのルートに沿ったガーデニングベンダーを訪問することを推奨したりなどを行うことによって、1つ以上のアクションを推奨し得る。
なお、特定の目的に関係のある入力を受信することに対して付加的または代替的には、メカニズムはユーザフィードバックを受信し得、受信したユーザフィードバックに基づいて、当該ユーザについて目標を決定し得る。たとえば、ユーザは、ユーザデバイス上のユーザインターフェイスを介して平日は気力が不足していることを示し得、メカニズムはそのような示唆を解釈し、ユーザについてさまざまな目標を決定する。当該さまざまな目標としては、運動に関連するアクティビティの量を増加させることがある。別の例において、ユーザの一般的な気分、感情状態および/または行動気質に関してユーザにフィードバックを行なうことを要求するインターフェイスがユーザに提供され得、提供されたフィードバックに基づいて、メカニズムはユーザについての目標を決定し得る。ユーザについて決定されおよび/またはユーザデバイスに関連付けられる目標の例示的な例は、現在示されているストレスレベルからストレスを低減すること、概して減量すること、10ポンド減量すること、特定の気分または感情状態(たとえば、リラックス状態、元気のよい状態など)を達成すること、ユーザが現在達成している運動量を増加すること、より多くの友達を作ること、ならびに/または、ユーザの一般的な気分、感情状態および/もしくは行
動気質に関する任意の他の好適な目標を含み得る。
また、複数のデータソースからのユーザに関するデータを分析し、ユーザに関連付けられる気分、感情状態および/もしくは行動気質を判定する前、ならびに/または、ユーザに1つ以上のアクションを推奨する前に、メカニズムは、このような判定を行うことにユーザが肯定的に同意あるいは承認を提供することを要求(または要請)し得る。たとえば、モバイルデバイス上でアプリケーションをロードする際に、アプリケーションは、1つ以上のデータソースから情報を受け取ること、そのような判定を行なうこと、および/または、ユーザに1つ以上のアクションを推奨することについて承認を与えるようにユーザに促し得る。より特定的な例において、アプリケーションをダウンロードし当該アプリケーションをモバイルデバイス上でロードすることに応答して、モバイルデバイス上で実行されるアプリケーションは、当該モバイルデバイスに接続されているかまたは当該モバイルデバイスの近くにあるデバイスを決定するよう、デバイスディスカバリ機能(device discovery function)を実行し得る。モバイルデバイスに接続されているかまたは当該モ
バイルデバイスの近くにあるデバイスとしては、(たとえば、視聴履歴、記録されたメディアコンテンツ情報など)メディアデータを含むメディア再生デバイス、ならびに/または、接続されているモバイルデバイスの周りの環境に関する情報を取得するためのアクティビティセンサおよび/もしくは光センサを含む香り発生器(scent generator)がある
。その後、アプリケーションはインターフェイスをユーザに提示し得る。当該インターフェイスは、ユーザに関する情報を受信するための1つ以上のデバイスあるいはデータソースを選択することによって、これらのデバイスから情報にアクセスすることにユーザが肯定的に同意を与えることを要求(または要請)する。ユーザに関する情報は、ユーザに関連付けられる気分、感情状態および/もしくは行動気質を判定し、ユーザに関連付けられる1つ以上の目標もしくは目的を決定し、ならびに/または、ユーザに関連付けられる身体状態、感情状態および/もしくは行動気質にインパクトを与え得る1つ以上のアクションを推奨するために使用され得る。付加的または代替的には、モバイルデバイス上にアプリケーションをインストールすることに応答して、ユーザは、1つ以上のデータソースから情報を受信する前、そのような決定を行なう前、および/または、ユーザに1つ以上のアクションを推奨する前に、ユーザが肯定的に同意を提供することを要求(または要請)する許可メッセージにより促され得る。
同意および/または承認を受信すると、メカニズムは、ユーザに関する任意の好適なデータを複数のデータソースから受信し得る。そのようなデータは、文脈データ、ソーシャルデータ、パーソナルデータなどを含み得る。たとえば、メカニズムは、(たとえばユーザデバイス上でソーシャルネットワーキングアプリケーションを使用して)ソーシャルネットワーキングサービス上にユーザが公表したコンテンツおよび/もしくは情報、ユーザに関連付けられる(たとえばユーザアカウントに関連付けられるウェアラブルコンピューティングデバイスからの)バイオメトリックデータ、ユーザに関連付けられる(たとえばユーザデバイスからの)位置データ、ならびに/または、ユーザの現在の気分および/もしくは挙動を示す任意の他の好適なデータに基づいて、ユーザについて現在の気分状態を予測し得る。別の例において、メカニズムは、ユーザが従事した特定のアクティビティを判定し得る。当該特定のアクティビティの例としては、ソーシャルイベントへの出席(たとえばオンラインカレンダからの会議、パーティ、スポーツイベントなど)、メディアコンテンツアイテム(たとえばビデオクリップ、歌、ニュース記事、ウェブページ、など)の消費、コンピューティングデバイス(たとえば携帯電話、ウェアラブルコンピューティングデバイス、タブレットコンピュータなど)とのインタラクション、アプリケーション(たとえばユーザデバイス上でのメディア再生アプリケーション、ソーシャルネットワーキングアプリケーション、メッセージングアプリケーション、ウェブブラウザなど)とのインタラクション、および/または、任意の他の好適なアクティビティがある。このアクティビティデータは、たとえばユーザに関連付けられる基準挙動(たとえば、一日の特定
の時間および一日の特定の部分が典型的に、モバイルデバイス上で実行されるメディア再生アプリケーション上でビデオを視聴することに費やされる)を判定するために使用され得る。
いくつかの実現例において、メカニズムは、ユーザが肯定的に同意を提供した1つ以上のデータソースから受信されるユーザに関するデータに基づいて、ユーザが目的および/または目標のうちの1つ以上を達成するのを支援し得る1つ以上のコンピュータ化されたアクションを推奨し得る。たとえば、メカニズムは、1つ以上の推奨アクションを実行するためのどの出力デバイスが当該モバイルデバイスに接続されているか、または、当該モバイルデバイスの近傍に存在しているかを判定するデバイスディスカバリ機能を使用し得る。当該出力デバイスの例としては、音声コンテンツを再生可能であるスピーカを有するデバイスと、ビデオコンテンツを提示することが可能であるディスプレイを有するデバイスと、特定の照明スキームを提供することが可能である照明システムと、特定の香りを発することが可能である香り発生器とがある。これに応答して、これらのメカニズムは、推奨アクションを実行することが可能である出力デバイスに命令を送信し得る。たとえば、1つ以上のデータソースからのユーザの一般的な気分、感情状態および/または行動気質を示す情報の判定に応答して、メカニズムは、行なわれた場合に特定の目的または目標にユーザを向かわせ得る1つ以上のアクティビティを識別し得る。この例において、メカニズムは、推奨されたアクティビティを示すメッセージあるいは他の好適なインターフェイスを、ユーザに関連付けられるモバイルデバイスに送信し得る。
より特定的な例において、メカニズムは、ユーザの気力のレベルが低いかもしれないことを示す(たとえばソーシャルメディアアプリケーションを使用したポストからテキストを分析する)ソーシャルメディアアプリケーションからのソーシャルネットワーキングデータと、所与の日についてユーザに関連付けられるスケジューリング情報を含むオンラインカレンダデータとを受け取ることに応答して、決定された目標のうちの1つ以上にユーザが到達するのを支援し得る1つ以上のコンピュータ化されたアクションをユーザに推奨し得る。メカニズムは、カレンダデータにおいてリスティングされたイベントへのルートを検討し得るとともに、ユーザに関連付けられるモバイルデバイス上で提示されるべきインターフェイスを送信し得る。上記ルートは、コンピュータ地図ルーティングサービスによって識別されたものであり、上記インターフェイスは、ユーザが当該イベントに歩いて行くことと、コンピュータ地図ルーティングサービスによって識別された当該ルートに沿った特定のジュースベンダーを訪ねることとを推奨する。
メッセージまたは他の好適なコンテンツを含む推奨インターフェイスに対して付加的または代替的には、パーソナライズおよびコンピュータ化されたサービスは、ユーザの一般的な気分、感情状態および/または行動気質に影響を与え得る特定の雰囲気が作り出されるべきであるという決定を含み得る。1つの特定の例において、当該雰囲気は、関連付けられるユーザデバイス(たとえばモバイルデバイス、テレビデバイスなど)上で、自動的に特定のコンテンツ(たとえばユーザを鼓舞すると指定される特定の歌)を再生することと、肯定的な物語として指定される記事のニュースフィードを提示することと、ユーザにとって面白いものとして指定される写真あるいは他の画像コンテンツを提示することと、ユーザに対してリラックス効果があるとして指定される音響効果をユーザに提示することとを含み得る。別の特定の例において、当該雰囲気は、ユーザまたはユーザデバイスに関連付けられる照明システムにアクセスし、特定の光源をスイッチオンまたはオフし特定の照明デバイスから発される光のレベルおよび/または特定の光源の色温度を選択することによりユーザの周辺において照明スキームを修正することによって、作り出され得る。さらに別の例では、当該雰囲気は、ユーザデバイスに接続されているデバイスによって発せられる環境ノイズを修正すること(たとえばユーザに関連付けられるコンピューティングデバイス上のファンの速度を修正すること)、ユーザデバイスに接続されているデバイス
からの特定の香りを発すること(たとえば、特定の香りを発することができユーザデバイスのユーザの特に近くに存在するデバイスにラベンダの香りを発させること)、ユーザデバイスに接続されている機器またはホームオートメーションデバイスを制御すること(たとえば、HVACユニットのコンプレッサを制御することまたは洗濯機のドラムの速度を修正すること)などにより作り出され得る。
いくつかの実現例において、当該メカニズムは、ユーザデバイスに関連付けられる1つ以上のプロファイルを生成し得る。たとえば、いくつかの実現例において、メカニズムは、ユーザデバイスのユーザに好適な推奨アクションを決定するために使用され得るさまざまなプロファイルを生成し得る。たとえば、メカニズムは、ユーザの現在の気分、感情状態および/または行動気質を示すプロファイルを生成し、当該生成されたプロファイルを対象プロファイルと比較し、行なわれた場合にユーザを目的または目標に向かわせ得る推奨アクションを決定し得る。より特定的な例において、対象プロファイルは、特定の目的または目標の達成を示したユーザ(たとえば非常に成功していると自認するユーザ、過去30日間に5ポンドやせたユーザなど)のプロファイルまたは他のアクションに基づいて生成され得る。この例では、メカニズムは、特定の目的または目標を達成したと判断されるユーザデバイスのユーザによって行なわれるアクションを決定し、上記ユーザも特定の目的または目標を達成するようにこれらのアクションの1つ以上が上記ユーザに推奨され得るかどうか決定し得る。
これらの特徴および他の特徴が、図1~図14に関連してさらに記載される。
図1を参照して、図1は、開示された主題のいくつかの実現例に従った、複数のデータソースからの気分および/または挙動情報に基づいて、コンピュータ化されたサービスをパーソナライズするためのメカニズムが実現され得るシステムの一般化された概略図の例100を示す。示されるように、システム100は1つ以上のユーザデバイス102を含み得る。ユーザデバイス102は、互いにローカルであり得るか、または、互いにリモートであり得る。ユーザデバイス102は、1つ以上の通信リンク104によって通信ネットワーク106に接続され得る。通信ネットワーク106は、通信リンク112を介してサーバ120にリンクされ得る。
システム100は1つ以上のデータソース110を含み得る。データソース110は、ユーザまたはユーザデバイスに関するデータを収集および/または提供し得る任意の好適なデバイスであり得る。
たとえば、データソース110は、ユーザに関するデータを収集および/または提供し得る任意の好適なセンサを含み得る。当該任意の好適なセンサとしては、画像センサ(たとえばカメラ、ビデオレコーダなど)、音声センサ(たとえばマイクロフォン、サウンドレバーメータなど)、無線周波数識別(RFID: radio-frequency identification)
センサ、全地球測位システム(GPS:Global Positioning System)、1つ以上の生物
学的パラメータ(たとえば心拍数、呼吸数、血圧、体温、皮膚水分など)を測定することができるセンサ、着用可能な歩数計、Wi-Fi(登録商標)ルータなどがある。より特定的な例において、データソース110は、ユーザの家における環境に関する異なるデータストリームが受信され得る場合には、ユーザに関連付けられるユーザアカウントに登録されたホームオートメーションシステムに接続されている複数のセンサであり得る。別のより特定的な例において、データソース110は、ユーザに対してローカルであるコーヒーショップに接続されている複数のセンサと、当該ローカルであるコーヒーショップに関するデータ(たとえばドアセンサに基づき何人の客が現在ショップにいるか、画像センサに基づき何人の客が現在ショップでオーダ待ちをしているか、当該ショップに関連付けられるカスタマープロファイルと対象プロファイルとを比較することによってユーザが割り当てられているグループは当該ショップを訪れる可能性が高いかどうかなど)を推奨シス
テムが要求することを可能にするアプリケーションプログラムインターフェイスとを含み得る。さらに別のより特定的な例において、データソース110は、ユーザの環境において1つ以上のサウンドレベルセンサを含み得る。当該サウンドレベルセンサは、ユーザ環境に存在する音および/またはノイズを検出し、かつ、図12および図13に関連して以下に記載されるように、検出された音に関連付けられるサウンドレベルを(たとえばdBおよび/または任意の他の好適なメトリックを単位として)測定し得る。
別の例において、データソース110は、デスクトップ、ラップトップ、携帯電話、タブレットコンピュータ、ウェアラブルコンピューティングデバイスなどのコンピューティングデバイスを含み得る。そのようなコンピューティングデバイスによって提供されるデータの例は、ユーザ生成データ(たとえば、テキスト入力、写真、タッチ入力など)、ユーザアプリケーション生成データ(たとえばソーシャルネットワーキングアプリケーション、メッセージングアプリケーション、写真共有アプリケーション、ビデオ共有アプリケーション、メディアプレイヤアプリケーションなどによって提供されるデータ)、コンピューティングデバイス上に存在する1つ以上のセンサ(たとえば画像センサ、GPS、1つ以上の生物学的なパラメータを測定することができるセンサなど)によって生成されるデータ、および/または、ユーザに関する任意の他の好適なデータを含み得る。たとえば、データソース110は、ユーザアカウントを有するユーザに対して登録されているコンピューティングデバイスを含み得、データは、コンピューティングデバイスにインストールされ、同じユーザアカウントを使用して登録されたさまざまなアプリケーションからのデータを含み得る。この例では、コンピューティングデバイスのユーザは、どのアプリケーションまたはどのデータタイプ(たとえば位置データ、ワイヤレスネットワークデータなど)がユーザデバイス102またはサーバ120上で実行されるアプリケーションによって使用されるかを選択し得る。
さらに別の例において、データソース110は、ユーザに関係するデータを提供し得る1つ以上のサービスを含み得る。そのようなサービスはたとえば、ソーシャルネットワーキングサービス、メッセージサービス、ビデオ共有サービス、写真共有サービス、ファイルホスティングサービスなどを含み得る。そのような例において、ユーザデバイス102またはサーバ120は、1つ以上のアプリケーションプログラミングインターフェイスおよび/または任意の他の好適なデータ交換メカニズムを介して、データソース110と通信し得る。
なお、1つ以上のデータソース110からのデータは、ユーザの身体状態または感情状態に対する推奨アクションのインパクトを判定するように使用され得る。ユーザの感情状態は複雑な現象であり得る。感情は、生理学的なアクティビティに関連付けられるとともに内的環境条件または外的環境条件によって影響を受け得る精神状態であり得る。感情は、ユーザの個性、気分、気性、気質およびモチベーションに関連付けられ得る。たとえば、感情状態は、幸福、満足、平隠さ、驚き、怒り、恐怖、悲しみ、気落ち、嫌悪、疲労、憂慮、性急さなどを含み得る。いくつかの例において、感情状態は、肯定的な感情および否定的な感情に広く分類され得る。肯定的な感情は幸福および満足を含み得、否定的な感情は怒りおよび気落ちを含み得る。さらに、内的環境条件の例は、古い記憶を含んでおり、外的刺激の例はさまざまな環境ファクタによるストレスまたはストレスの軽減を含んでいる。
また、ユーザの身体状態または感情状態は、ある時点におけるユーザの身体的な特徴または感情の全面的なスナップショットまたは現れとして考えることができる。ユーザの身体状態または感情状態には複数のファクタが関係し得るので、当該身体状態または感情状態は、短期間の間でさえ変動する場合がある。複数のソースからのユーザに関するデータを用いることよって、ユーザの身体状態または感情状態は予測され得、所与の時間におい
て特定のアクションを推奨するかどうか決定するために使用され得る。さらに、ユーザの身体状態または感情状態の変化は、複数のソースからのユーザに関する新しいまたは更新されたデータに基づいて予測され得る。さらに、ユーザの身体状態または感情状態の変化は、ユーザが所有するデバイスまたはユーザの近傍に位置するデバイスへの推奨アクションが目標または目的にユーザを向かわせ得るかどうかを評価するために使用され得る。
データソース110は互いにローカルまたは互いにリモートであり得る。各データソース110は1つ以上の通信リンク108によって通信ネットワーク106に接続され得、通信ネットワーク106は、通信リンク112を介してサーバ120にリンクされ得、および/または、通信リンク104を介してユーザデバイス102にリンクされ得る。
なお、いくつかの実現例において、さまざまなデータソース110からの情報にアクセスする前に、ユーザデバイス102は、さまざまなデータソース110の各々にアクセスする承認をユーザデバイス102のユーザが与えることを要求(または要請)し得る。いくつかの実現例では、ユーザデバイス102は、ユーザに関するデータを提供するのに利用可能であるデータソース110を検出し得、かつ、どのデータソース110がユーザに関するデータを取得するために使用されるべきであるかをユーザデバイス102のユーザが選択することを可能にするユーザインターフェイスを提供し得る。
図2は、ユーザデバイス102および/またはサーバ120が受信し得る入力データのタイプの例示的な例を示す。図2に示されるように、サーバ120は、データストレージエンジン122と、データ処理エンジン124とを含み得る。データストレージエンジン122は、ユーザまたはユーザのグループに関するデータを要求、統合、格納、および/または処理するためのものである。データ処理エンジン124は、受信したデータ(たとえば文脈データ、ソーシャルデータ、一般データなど)を分類し、ユーザの身体状態または感情状態を示し得るデータの特定の部分を選択し、かつ、当該データの選択された部分を処理するためのものである。たとえば、図2にも示されるように、サーバ120は、たとえばさまざまなタイプのビデオデータ、テキストデータ、RFIDデータ、環境音声データ(または環境音声データから抽出されるキーワード)、および、モバイルデバイスデータを受信し得る。
1つ以上のデータソース110を使用して、データストレージエンジン122は任意の好適なデータを受信し得る。たとえば、1つ以上のデータソース110から、データストレージエンジン112は、1人以上のユーザが従事したアクティビティに関するデータを受信および/または要求し得る。従事したアクティビティの例としては、「散歩」およびその横断距離、コーヒーショップに対応する位置への訪問、ソーシャルイベント(たとえば会議、パーティ、スポーツイベントなど)への出席、フィットネストレーニングセッションへの出席などがある。別の例として、1つ以上のデータソース110から、データストレージエンジン112は、アクティビティの持続時間、アクティビティに対応する時刻などといったアクティビティに関係するタイミング情報を含むデータを受信および/または要求し得る。さらに別の例として、データストレージエンジン112は、所与の時間期間(たとえば、週の1日、2~3日、平日、週末など)に1人以上のユーザが従事するアクティビティの発生回数、所与のアクティビティに従事するユーザの数、および/または、所与のアクティビティに関係する頻度情報に関する任意の他の好適な情報を含むデータを受信および/または要求し得る。さらに別の例として、いくつかの実現例では、データストレージエンジン122は、ユーザ環境に存在するノイズおよび/または音を示す情報を受信し得る。より特定的な例として、いくつかの実現例では、当該情報は、ユーザ環境において、メディア再生デバイス(たとえばテレビ、ステレオおよび/もしくは任意の他の好適なメディア再生デバイス)がオンであるということ、ユーザ環境において特定のデバイス(たとえばコンピュータ、冷蔵庫および/もしくは任意の他の好適なデバイス)に
関連付けられるファンが運転されているということ、ユーザ環境において会話が行われているということ、ならびに/または、任意の他の好適な情報を示し得る。
ソーシャルデータソースを含む1つ以上のデータソース110を使用して、データストレージエンジン122は、ソーシャルネットワーキングサービス上にユーザが公表したコンテンツおよび/または情報に関するデータを受信および/または要求し得る。たとえば、当該データは、サービス(たとえばソーシャルネットワーキングサービス、メッセージサービス、ビデオ共有サービス、写真共有サービス、エレクトロニックコマースサービスなど)上にユーザが公表した1つ以上の気分状態を含み得る。別の例として、上記データは、ソーシャルネットワーキングサービス上にユーザが公表したコメント、メッセージ、ポスト、位置、および/または、任意の他の好適なコンテンツを含み得る。さらに別の例として、上記データは、ソーシャルネットワーキングサービス上のユーザの1つ以上のソーシャルコネクション、当該ソーシャルコネクションによってポストされたコンテンツ、当該ソーシャルコネクションに関連付けられる位置などに関する任意の好適な情報を含み得る。
1つ以上のデータソース110を使用して、データストレージエンジン112は、1つ以上のメディアコンテンツアイテムとのユーザインタラクションに関するデータを受信および/または要求し得る。たとえば、当該データは、ユーザがインタラクションしたメディアコンテンツアイテムに関する任意の好適な情報を含み得る。より特定的な例において、当該データは、メディアコンテンツアイテムのタイプ、メディアコンテンツアイテムの説明、メディアコンテンツアイテムへのリンク(たとえばURL)、メディアコンテンツアイテムを識別し得る識別子(たとえばURI、プログラム識別子など)、メディアコンテンツアイテムの著者、メディアコンテンツアイテムに関係するアーティストなどを含み得る。別の例として、上記データは、メディアコンテンツアイテムとのユーザインタラクションのタイプに関する任意の好適な情報を含み得る。ユーザインタラクションのタイプに関する任意の好適な情報としては、メディアコンテンツアイテムを消費すること、ソーシャルネットワーキングサービスまたは任意の他の好適なサービスを介してメディアコンテンツアイテムを公表すること、他のユーザとメディアコンテンツアイテムを共有すること、ソーシャルネットワーキングサービスまたは任意の他の好適なサービスを介してそのメディアコンテンツアイテムにいいねをすること、メディアコンテンツアイテムなどに関してコメントすることなどがある。さらに別の例としては、当該データは、ユーザインタラクションの持続時間、ユーザインタラクションに対応する時間などといった、メディアコンテンツアイテムとのユーザインタラクションに関係する任意の好適なタイミング情報を含み得る。
1つ以上のデータソース110を使用して、データストレージエンジン112は、ユーザに関連付けられるバイオメトリックデータを受信および/または要求し得る。たとえば、センサを含むデータソース110からバイオメトリックデータにアクセスする承認を受信したことに応答して、バイオメトリックデータは、心拍数、呼吸数、血圧、体温、皮膚水分などのような、ユーザに関連付けられる任意の好適な生理学的パラメータを含み得る。別の例として、バイオメトリックデータは、心拍数範囲、血圧範囲などのような生理学的パラメータの範囲を含み得る。
1つ以上のデータソース110を使用して、データストレージエンジン112は、ユーザに関連付けられる位置データを受信および/または要求し得る。たとえば、位置情報にアクセスする承認を受信することに応答して、位置データは、コンピューティングデバイスに関連付けられる識別子のような、ユーザに関連付けられるコンピューティングデバイスの位置を推定するために使用され得る任意の好適な情報を含み得る(たとえばIPアドレス、コンピューティングデバイスによって生成されたGPS信号、コンピューティング
デバイスに関連付けられるWi-Fiアクセスポイント、コンピューティングデバイスが接続されるセルタワー(cell tower)に関する情報など)。別の例として、位置データは、ユーザの位置を推定するために使用され得る任意の好適な情報を含み得る。当該任意の好適な情報の例としては、好適なサービス(たとえばソーシャルネットワーキングサービス)を利用してユーザによって公表された位置、ユーザが訪問することを意図している位置(たとえばモバイルデバイス上で実行されるカレンダアプリケーション、ユーザに関連付けられるソーシャルネットワークアカウントなどを使用してスケジューリングされているソーシャルイベントに関連付けられる位置)などがある。
いくつかの実現例では、データストレージエンジン112は、データソース110から受信されるデータをカテゴライズおよび/または分類し得る。
たとえば、データストレージエンジン122は、(たとえば1つ以上のアプリケーションプログラミングインターフェイスを使用して)複数のデータソース110からデータを受信し得、データ処理エンジン124は、受信したデータがユーザによって利用される1つ以上のサービス(たとえばソーシャルネットワーキングサービス、Eメールサービス、メッセージサービス、ビデオ共有サービスなど)に関する情報、ユーザに関連付けられる検索履歴(たとえばユーザが入力したキーワード)などを含んでいる場合、受信したデータを一般データとして分類し得る。
別の例として、データストレージエンジン122は、(たとえば1つ以上のアプリケーションプログラミングインターフェイスを使用して)複数のデータソース110からデータを受信し得る。また、データ処理エンジン124は、受信したデータが、ユーザデバイス102の位置に関する情報、交通情報、ユーザデバイス102からの位置情報に基づいた天気情報(たとえば、「晴天」、「寒い」など)、所与の位置内の人口密度情報、データソース110によって提供されるデータに関する位置の文脈(たとえば「仕事」、「家」、「休暇」など)、および/または、ユーザに関係する文脈情報を提供し得る任意の他の好適な情報を含んでいる場合、受信したデータを文脈データとして分類し得る。
さらに別の例として、データストレージエンジン122は、(たとえば1つ以上のアプリケーションプログラミングインターフェイスを使用して)複数のデータソース110からデータを受信し得る。また、データ処理エンジン124は、受信したデータストリームが複数のユーザを伴うソーシャルイベント(たとえばソーシャルネットワーキングサービス、カレンダアプリケーションなどを使用してスケジューリングされた会議)に関係する情報、サービス(たとえばソーシャルネットワーキングサービス、ビデオ共有サービス、写真共有サービスなど)を利用して1人以上のユーザが公表したコンテンツおよび/もしくは情報、ユーザの1つ以上のソーシャルコネクションに関する情報、ならびに/または、ソーシャルデータとして分類され得る任意の他の好適な情報を含んでいる場合、受信したデータをソーシャルデータとして分類し得る。より特定的な例において、ソーシャルサービスのユーザアカウントに関連付けられるソーシャルデータは、当該ユーザアカウントがユーザデバイス102上で認証されているという判定に応答して、抽出され得る。
さらに別の例として、データストレージエンジン122は、(たとえば1つ以上のアプリケーションプログラミングインターフェイスを使用して)複数のデータソース110からデータを受信し得る。また、データ処理エンジン124は、受信したデータストリームが、ユーザの目標に関する情報、ユーザの個人的な興味(たとえばソーシャルネットワーキングサービス上で入手可能なユーザが言及した興味、ユーザが消費および/もしくは好んだメディアコンテンツなど)に関する情報、ユーザによって生成された1つ以上の発言に関する情報、ならびに/または、パーソナルと見なすことができる任意の他の好適な情報を含んでいる場合、受信したデータをパーソナルデータとして分類し得る。この例では
、データ処理エンジン124は、そのようなパーソナルデータを使用する特定の承認がユーザデバイス102のユーザから受信されなければ、パーソナルデータを廃棄し得る。
いくつかの実現例では、データ処理エンジン124は、データソース110によって提供され、ならびに/または、データストレージエンジン122によって格納および/もしくは処理されるデータストリームを処理し得る。
いくつかの実現例では、データ処理エンジン124は、データソース110からのデータまたはデータの特定の部分がユーザの目標または目的に関連するかどうかを判定し得る。なお、いくつかの実現例では、データ処理エンジン124は、複数のデータソース110からのデータまたはデータの特定の部分が、特定のユーザグループに割り当てられるユーザの目標または目的に関連があるかどうかを判定し得る。
いくつかの実現例では、データ処理エンジン124は、データソース110からのデータまたはデータの特定の部分がユーザの感情状態を示すかどうかを判定し得る。これらの判定は任意の好適な態様で行われ得る。たとえば、判定は、入力データまたは入力データの一部が目標に関連があるまたは目標に関連がないと分類し得る好適な分類子を使用して行われ得る。
より特定的な例において、データ処理エンジン124は、データの1つ以上の部分を選択し得る。データの各部分は、数分、2~3時間、週の1日、2~3日、1週間、1ヶ月などといった任意の好適な期間に対応し得る。いくつかの実現例では、当該データの部分は任意の好適な態様で識別され得る。たとえば、決定は、データの部分を目標に関連があるものであると分類し得る分類子を使用して行われ得る。別の例において、決定は、ユーザの感情状態を示す可能性があるものであるとデータの部分を分類し得る分類子を使用して行われ得る。さらに別の例では、決定は、推奨アクションに関連があるものであるとデータ(たとえばアクションがユーザの感情状態にインパクトを与え得る可能性を判定するために使用され得るデータ、推奨アクションがいつ実行されるべきであるかを決定するために使用され得るデータなど)の部分を分類し得る分類子を使用して行われ得る。なお、分類子は、サポートベクトルマシン、決定木、ベイズモデルなどといった任意の好適な機械学習アルゴリズムを使用してトレーニングされ得る。
いくつかの実現例では、複数のデータソース110からデータのさまざまな部分を選択する際に、データ処理エンジン124は、当該データの部分の各々に重みを割り当て得る。たとえば、特定の目標または目的について、データ処理エンジン124は、特定のデータソース110からのソーシャルデータには、推奨アクションまたは出力の決定に対してさらに多くの影響を有するように重みが加えられるべきであることを決定し得る。これは、ユーザに関するとともにユーザの感情状態を示すソーシャルデータが新しい友達を作る目的に非常に関連があると考えられるからであり得る。別の例において、これは、ソーシャルデータ(たとえば、ユーザデバイスのユーザが複数のソーシャルネットワーキングウェブサイト上にステータス更新を頻繁にポストする場合)が、ユーザの感情状態を正確に示すものを提供する傾向があるからであり得、かつ、特定の位置へ車両を運転して行くといった特定のアクションを推奨する前に、データ処理エンジン124がそのようなソーシャルデータを考慮に入れ得るからであり得る。別の好適な例では、ユーザがアプリケーションを調節し得るように、かつ、ユーザに関する特定タイプのデータがどのように処理されるかを調節し得るように、重みはユーザデバイス102のユーザによってセットされ得る。より特定的な例において、ユーザは、アクションまたは出力の決定におけるソーシャルデータの影響が低減されるように、ソーシャルデータに関連付けられる重みをセットし得る。
いくつかの実現例では、データ処理エンジン124は、ユーザに関する1つ以上のプロファイルを生成し得る。たとえば、データ処理エンジン124は、あるグループ(たとえば特定の目的または目標について同様であるユーザのグループ)にユーザデバイス102のユーザを割り当てるために使用されるベースラインプロファイルを生成するよう、受信したデータを使用し得る。この例において、データ処理エンジン124はさらに、個々のユーザおよび/またはユーザグループについて対象プロファイルを生成し得る。当該対象プロファイルは、特定の目的または目標の達成を示した同様のユーザに対応するデータを含み得る。代替的には、データ処理エンジン124は、特定の目的または目標を達成することについて失敗を示した同様のユーザに対応するデータを含む対象プロファイルを生成し得る。別の例として、データ処理エンジン124は、受信したデータを使用し得、いくつかの実現例において、ユーザの現在の身体状態または感情状態を示す当該ユーザに関連付けられる現在のプロファイルを生成するよう、更新されたデータを要求および受信し得る。
ユーザデバイス102のユーザまたはユーザグループに関する任意の好適なプロファイルは任意の好適なアプローチを使用して生成され得る。たとえば、データ処理エンジン124は、所与の時間期間にわたってユーザの身体状態または感情状態を示す1つ以上のプロファイルを生成し得る。たとえば、ユーザに関連付けられるベースラインプロファイルは、朝、所与の日、平日、週末、所与の週、ある季節、および/または、任意の他の好適な時間期間といった所与の時間期間の間のユーザの身体状態または感情状態を示すよう決定されるデータに基づいて生成され得る。別の例において、データ処理エンジン124は、典型的な就業日、休暇日、ユーザデバイス102がユーザの家に近接して位置する際の気分および/または挙動、ユーザデバイス102の近傍の温度が65度未満であることをユーザデバイス102が示す際の気分および/または挙動などといった所与の文脈について、ユーザの身体状態または感情状態を示す1つ以上のプロファイルを生成し得る。
いくつかの実現例では、サーバ120は、ユーザの身体状態または感情状態に影響またはインパクトを与え得る推奨アクションを決定および/または提供するための出力推奨エンジン126を含み得る。たとえば、ユーザに対応する現在のプロファイルを対象プロファイルと比較することに応答して、出力推奨エンジン126は、当該ユーザについての推奨アクションを決定し得る。より特定的な例において、出力推奨エンジン126は、ユーザが特定の目的を有することを示す現在のプロファイルと、同様のユーザらが当該特定の目的を達成したと判定されている場合のユーザらに関する情報と当該特定の目的を達成していないと判定されている場合のユーザらに関する情報とを含む同様のユーザらの対象プロファイルとの比較に基づいて、上記ユーザの身体状態または感情状態にインパクトを与え得る1つ以上の推奨アクションを決定し得、推奨アクションを行なう際、上記ユーザが特定の目的に達するのを支援し得る。
なお、いくつかの実現例では、出力推奨エンジン126は、ユーザデバイス102または当該ユーザに関連付けられる任意の他の好適なコンピューティングデバイス上で任意の好適な推奨アクションを実行させ得る。図2に示されるように、当該アクションまたは出力は、たとえば、触覚フィードバックもしくはタッチ感知フィードバック、感覚フィードバック(たとえば画像コンテンツ、光キュー、音楽、ビデオメッセージ、ビデオコンテンツなど)、環境関連フィードバック(たとえば、好適なデバイスから香りを発させる、照明またはホームオートメーションシステムによって照明スキームを修正する、ユーザ環境における環境ノイズを変更するなど)、および/または、コンテンツ関連アクション(たとえば、テキスト、画像コンテンツ、ビデオコンテンツ、音声コンテンツを提示する)を含み得る。
たとえば、出力推奨エンジン126は、アクティビティに従事するようにユーザを促す
よう、ユーザに関連付けられるユーザデバイス102にメッセージが提示されるべきであることを決定し得る。これは、たとえば、ユーザが特定の目的または目標を達成するのを支援し得る。より特定的な例において、出力推奨エンジン126は、メッセージが特定の形態(たとえば、Eメール、テキストメッセージ、モバイル通知、アカウント通知、ユーザインターフェイスおよび/もしくは任意の他の好適な態様)で、ならびに/または、特定の時(たとえば、ユーザの現在の身体状態または感情状態に基づいて)に提示されるべきであることを決定し得る。
別の例として、出力推奨エンジン126は、雰囲気がユーザの近傍で作り出されるべきであることを決定し得る。これは、たとえば、ユーザが特定の目的もしくは目標に達するのを支援し得、および/または、ユーザの判定される感情状態に影響を与え得る。より特定的な例において、ユーザの現在の身体状態または感情状態の判定に基づいて、出力推奨エンジン126は、音楽コンテンツ、肯定的なコンテンツであると指定されたニュース記事のフィード、および/または、面白いコンテンツとして設計されている画像コンテンツのフィードを、ユーザに関連付けられるユーザデバイス102上に提示させ得る。別のより特定的な例では、出力推奨エンジン126は、ユーザデバイスに接続されている音声出力デバイスを有するデバイスに音響効果(たとえば雨音)を提示させ得、ユーザデバイスに接続されている照明システムを使用してユーザの周囲における環境光を調節し得、および/または、ユーザデバイス102を使用してユーザの近傍において香り発生器を作動させることにより香りを発し得る。
さらに別の例として、出力推奨エンジン126は、ユーザ環境における環境ノイズが修正されるべきであることを決定し得る。いくつかの実現例では、環境ノイズは、ユーザの気分および/もしくは身体状態を改善するために、ならびに/または、任意の他の好適な理由のために、ユーザが特定のアクティビティを行なうのを支援するよう変更され得る。特定の例として、いくつかの実現例では、ユーザが仕事をしていると判定される場合において、出力推奨エンジン126は、ユーザが仕事に集中するのを支援するユーザ環境における環境ノイズを決定し得る。特定の例として、出力推奨エンジン126は、環境ノイズがホワイトノイズであるべきであることを決定し得る。別の特定の例として、ユーザは仕事中に眠いと感じているという判定に応答して、出力推奨エンジン126は、ユーザに警告するよう特定の時間期間にわたって、(たとえば周波数および/またはボリュームにおいて)環境ノイズが変動するべきであることを決定し得る。これらの例および他の例は、図12~図14に関して以下により詳細に議論される。
図1を参照して、任意の好適なユーザデバイス102は、出力推奨エンジン126からの推奨アクションを実行するよう使用され得る。たとえば、ユーザデバイス102は、ウェアラブルコンピューティングデバイス、テレビ、モニタ、液晶ディスプレイ、三次元ディスプレイ、タッチスクリーン、シミュレートされたタッチスクリーン、ゲーミングシステム、ポータブルDVDプレイヤ、ポータブルゲーミングデバイス、携帯電話、携帯情報端末(PDA)、音楽プレイヤ、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、携帯電話、メディアプレイヤ、照明デバイス、香り発生器、および/または、1つ以上の推奨アクションを行うよう使用され得る任意の他の好適なデバイスであり得る。なお、いくつかの実現例では、ユーザデバイス102は、出力推奨エンジン126によって決定された推奨出力がホームオートメーションシステムのような好適なシステムに送信され得るように、アプリケーションプログラミングインターフェイスを有し得、システムは、アプリケーションプログラミングインターフェイスを使用して、1つ以上のユーザデバイス102上で推奨出力を実行させる。
より多くの特定の例では、サーバ120は、ユーザデバイスに関連付けられるユーザが特定の目的または目標(たとえば、ユーザの就業日の間により多くの運動を行う)を有す
ることを決定し得る。さまざまなデバイスおよび他のデータソースからソーシャルネットワーキングデータ、位置データおよびカレンダデータにアクセスする承認をユーザデバイス102のユーザから受信することに応答して、サーバ120は、ソーシャルデータに基づいて、ユーザデバイスのユーザが現在、気力が相対的に低いと判定し得、かつ、カレンダデータから、特定の時間に予定されているとともに特定の位置で行われるミーティングにユーザが参加する(現在の時間とミーティングの時間との間には関係がない)と判定し得る。サーバ120はそのようなデータを使用し得るとともに、履歴データを考慮に入れ得る。たとえば、ユーザに関連付けられる着用可能な歩数計からのバイオメトリックデータに基づいて、サーバ120は、その月において今日までまたはその週において今日までユーザデバイス102のユーザが従事したアクティビティの量を判定し得、示された目的もしくは目標をユーザが達成するか可能性があるか、または、平均アクティビティレベルに合致する可能性があるかどうかを判定し得る。別の例において、位置情報に基づいて、サーバ120は、ユーザに関連付けられる職場から10ブロック離れている特定の位置でのミーティングに出席するためにユーザが自動車サービスを利用する頻度を決定し得る。さらに別の例では、ソーシャルネットワーキングサービス上で言及された興味および/または親和性に基づいて、サーバ120は、ユーザデバイス102のユーザが花を好きであると判定し得る。さらに別の例では、ユーザに関連付けられる職場とミーティングの位置との間のルートを決定するマッピングデータが用いられる。複数のデバイスおよび/またはデータソースからのデータのこれらの部分を考慮に入れて、サーバ120は、1つ以上の推奨アクションを1つ以上のデバイス上で実行させる。当該推奨アクションの例としては、5分で行くことができる近くのコーヒーショップから1杯のコーヒーを購入するようにユーザに促すユーザデバイスへの通知、提供されたルートに沿った位置に最近オープンしたランの花のショップを訪問するオプションを含む特定のルートを使用してミーティングに歩いて行くようにユーザに促すユーザデバイスへの通知がある。代替的には、サーバ120は、ミーティングに先立った特定の時間に、ユーザデバイス102の近傍にある香り発生器にラベンダの香りを発させ得る。別の代替的な例では、サーバ120は、ミーティングに先立った特定の時間において、特定の歩道を使用してミーティングに歩いて行くようにユーザに促す通知を行う前に、(たとえば降水確率が特定のしきい値より大きいことと判定する場合、何が「暑すぎる」と考えられるかに関して決定された温度およびユーザデータに基づいてユーザにとって「暑すぎる」と判定する場合などにおいて)ユーザデバイス102の近傍での天候を判定する。
この例を継続して参照して、サーバ120は、推奨アクションによって推奨されたように、ユーザデバイスのユーザがランの花のショップを訪れたこと、および/または、ユーザがコーヒーショップへ歩いていることを判定し得る。また、サーバ120は、当該コーヒーショップのアプリケーションプログラミングインターフェイスを使用してコーヒーショップの顧客の数を問い合わせ得、ユーザがコーヒーショップにおいて特定の待ち時間を有する場合があることを判定し得る。その後、サーバ120は、そのそれぞれのアプリケーションプログラミングインターフェイスを使用して、同じフランチャイズの別のコーヒーショップでは待ち時間がより短く、ユーザデバイス102のユーザに近い(たとえば、ユーザデバイス102によって提供される現在の位置から1ブロック離れている)ことを判定し得る。サーバ120は、更新または改訂された推奨アクションをユーザデバイス102に送信し得る。
なお、いくつかの実現例では、サーバ120は、ユーザの特に近傍にある、推奨アクションを実行するための1つ以上のユーザデバイス102または他の好適なデバイス(たとえばテレビ、音声システム、メディアプレイヤ、香り発生器、照明システムなど)を識別し得る。たとえば、サーバ120は、(たとえばデバイスディスカバリ機能を使用して)ユーザデバイス102に、ユーザデバイス102に接続されているデバイスを検出させるとともにユーザデバイス102の近傍にあるデバイスを検出させ得る。これに応答して、
サーバ120は、リラックスできる歌であると考えられる歌をサービス(たとえばメディアストリーミングサービス)からストリーミングさせるとともに、ユーザに関連付けられるデバイス(たとえば携帯電話、メディアプレイヤなど)を使用して出力させ得る。さらに、サーバ120は、(たとえばユーザのソーシャルネットワークページ上で公表された情報に基づいて)ユーザがラベンダを好きであるという判定に応答して、かつ、ユーザの現在の感情状態に基づいて、特定の時間において、香り発生器を使用してラベンダの香りを発させ得る。
いくつかの実現例では、サーバ120は、各々が対応するユーザデバイスを有する複数のユーザのためにサービスを、当該複数のユーザの組み合わされた身体状態または感情状態に基づいて、パーソナライズし得る。たとえば、これらユーザは、同じ位置(たとえば位置情報またはオンラインカレンダに基づいたコーヒーショップ、会議室、所与のユーザの近傍、町、オフィスなど)に存在するユーザデバイスを有するユーザのグループであり得、ソーシャルネットワーキングサービス上で互いにつながりのあるユーザデバイスのユーザのグループであり得、同様のユーザであると判定されるユーザデバイスを有するユーザのグループであり得、および/または、任意の他の好適なユーザであり得る。
図1を再び参照すると、システム100は1つ以上のサーバ120を含み得る。サーバ120は、プロセッサ、コンピュータ、データ処理デバイスまたはそのようなデバイスの任意の好適な組合せといった、複数のデータソースからの気分および/または挙動情報に基づいてサービスをパーソナライズするための本願明細書において記載されるメカニズムへのアクセスを提供するための任意の好適なサーバまたは複数のサーバであり得る。たとえば、複数のデータソースからの気分および/または挙動情報に基づいてサービスをパーソナライズするためのメカニズムは、複数のバックエンドコンポーネントと、複数のフロントエンドコンポーネントおよび/またはユーザインターフェイスとに分散され得る。より特定的な例において、バックエンドコンポーネント(ユーザについての目的を識別し、1つ以上のデータストリームからのデータの特定の部分を選択し、プロファイル情報を生成し、ユーザに関連付けられる1つ以上のデバイスについて推奨アクションを決定するためのメカニズムなど)は、1つ以上のサーバ120上で実行され得る。別のより特定的な例において、フロントエンドコンポーネント(コンテンツの形態で推奨アクションの提示、推奨アクションの実行、ユーザデバイスが他のデバイスの近くに存在することの検出など)は、1つ以上のユーザデバイス102および/またはディスプレイデバイス110上で実行され得る。
いくつかの実現例において、ユーザデバイス102、データソース110およびサーバ120の各々は、コンピュータのような汎用デバイスまたはクライアント、サーバなどのような特殊目的デバイスのいずれかであり得る。これらの汎用デバイスまたは特殊目的デバイスのいずれかは、(マイクロプロセッサ、デジタル信号プロセッサ、コントローラなどであり得る)ハードウェアプロセッサ、メモリ、通信インターフェイス、ディスプレイコントローラ、入力デバイスなどといった、任意の好適なコンポーネントを含み得る。たとえば、ユーザデバイス102は、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータ、(たとえば自動車、ボート、飛行機または任意の他の好適な乗り物において使用されるような)乗り物コンピューティングおよび/またはエンターテイメントシステム(vehicle computing and/or entertainment system)、ラップトップコンピュ
ータ、ポータブルゲームコンソール、テレビ、セットトップボックス、デジタルメディアレシーバ、ゲームコンソール、サーモスタット、ホームオートメーションシステム、機器、任意の他の好適なコンピューティングデバイス、または、その任意の好適な組合せとして実現され得る。
通信ネットワーク106は、インターネット、イントラネット、ワイドエリアネットワ
ーク(WAN:wide-area network)、ローカルエリアネットワーク(LAN:local-area network)、ワイヤレスネットワーク、Wi-Fiネットワーク、デジタル加入者線(
DSL:digital subscriber line)ネットワーク、フレームリレーネットワーク、非同
期転送モード(ATM:asynchronous transfer mode)ネットワーク、仮想プライベートネットワーク(VPN:virtual private network)、ピアツーピア接続などを含む任意
の好適なコンピュータネットワークまたはそのようなネットワークの組合せであり得る。通信リンク104、108および112の各々は、ユーザデバイス102とデータソース110とサーバ120との間でデータを通信するのに好適な任意の通信リンクであり得る。当該通信リンクの例としては、ネットワークリンク、ダイアルアップリンク、ワイヤレスリンク、ハードワイヤードリンク、任意の他の好適な通信リンク、またはそのようなリンクの任意の好適な組合せがある。なお、いくつかの実現例では、複数サーバ120は、複数のデータソースからの気分および/または挙動情報に基づいてサービスをパーソナライズするための本願明細書において記載されるメカニズムに関連付けられる異なるメカニズムへのアクセスを提供するために使用され得る。たとえば、システム100は、データ選択サーバ120、プロファイルサーバ120、推奨サーバ120、送達サーバ120、および/または、本願明細書において記載されたメカニズムの任意の好適な機能を実行す
るための任意の他の好適なサーバを含み得る。データ選択サーバ120は、ユーザの感情状態を示す、複数のデータソースからのデータの選択を促進する。プロファイルサーバ120は、ユーザをユーザグループに割り当てるためにベースラインプロファイルを生成し、ユーザの割り当てられたグループと、ユーザの目的または目標とに基づいて、対象プロファイルを決定し、ユーザを表わす現在のプロファイルを生成し、現在のプロファイルを対象プロファイルと比較する。推奨サーバ120は、ユーザの感情状態にインパクトを与える可能性を有し得、および/または、目的もしくは目標にユーザを向かわせ得る1つ以上の推奨アクションを決定する。送達サーバ120は、推奨アクションを実行させる(たとえば、特定のデバイスにコンテンツを送信、ホームオートメーションシステムに命令を送信など)。
図3は、開示された主題のいくつかの実現例に従った、図1に示されるユーザデバイス102およびサーバ120のうちの1つ以上を実現するために使用され得るハードウェアの例300を示す。図3を参照して、ユーザデバイス102は、相互接続され得るハードウェアプロセッサ302、ディスプレイ/入力デバイス304、メモリ306およびトランスミッタ/レシーバ308を含み得る。いくつかの実現例では、メモリ306は、ハードウェアプロセッサ302を制御するためのユーザデバイスプログラムを格納するための(コンピュータ読取可能媒体のような)ストレージデバイスを含み得る。
ハードウェアプロセッサ302は、複数のデータソースを使用して、気分および/または挙動に基づいて、サービスをパーソナライズするための本願明細書において記載されたメカニズムを実行および/または当該メカニズムとインタラクションするよう、ユーザデバイスプログラムを使用し得る。これは、(たとえば、目的または目標情報を入力するために、1つ以上のデータソースからのデータにアクセスする承認を与えるために、データソースを選択するためになど)1つ以上の推奨インターフェイスを提示することと、推奨アクションを実行することとを含み得る。いくつかの実現例では、ハードウェアプロセッサ302は、たとえばトランスミッタ/レシーバ308のような、トランスミッタ、レシーバ、トランスミッタ/レシーバ、トランシーバおよび/または任意の他の好適な通信装置を使用して、通信リンク104または任意の他の通信リンクを介してデータを送受信し得る。ディスプレイ/入力デバイス304は、タッチスクリーン、フラットパネルディスプレイ、陰極線管ディスプレイ、プロジェクタ、スピーカ、および/もしくは、任意の他の好適なディスプレイおよび/もしくは提示デバイスを含み得、ならびに/または、コンピュータキーボード、コンピュータマウス、1つ以上の物理ボタン、マイクロフォン、タッチパッド、音声認識回路、タッチスクリーンのタッチインターフェイス、カメラ、光学
モーションセンサおよび/もしくは加速度計のようなモーションセンサ、温度センサ、近接場通信センサ、バイオメトリックデータセンサ、および/もしくは、任意の他の好適な入力デバイスを含み得る。トランスミッタ/レシーバ308は、たとえばコンテンツを提示するための命令、現在の制御レベルに関係する情報、位置情報についての要求などを送信および/または受信するための任意の好適なトランスミッタおよび/またはレシーバを含み得、図1に示されるネットワーク106のような1つ以上の通信ネットワークにインターフェイス接続するための任意の好適なハードウェア、ファームウェアおよび/またはソフトウェアを含み得る。たとえば、トランスミッタ/レシーバ308は、ネットワークインターフェイスカード回路、ワイヤレス通信回路、および/もしくは、任意の他の好適なタイプの通信ネットワーク回路、1つ以上のアンテナ、ならびに/または、信号の送信および/もしくは受信するための任意の他の好適なハードウェア、ファームウェアおよび/もしくはソフトウェアを含み得る。
サーバ120は、相互接続され得るハードウェアプロセッサ312、ディスプレイ/入力デバイス314、メモリ316およびトランスミッタ/レシーバ318を含み得る。いくつかの実現例では、メモリ316は、ハードウェアプロセッサ312を制御するための推奨プログラムを格納するための(コンピュータ読取可能媒体のような)ストレージデバイスを含み得る。
ハードウェアプロセッサ312は、本願明細書において記載されるメカニズムを実行および/または当該メカニズムとインタラクションする推奨プログラムを使用し得る。当該メカニズムは、複数のデータソースからコンピューティングデバイスのユーザの目的に関連付けられる情報を取得し、ユーザデバイスのユーザについての目的を識別し、ユーザに関連付けられる情報を複数のデータソースから受信し、複数のデータソースの各々からの情報の部分が、識別された目的を有するユーザに関連があると判定し、識別された目的と、複数のデータソースの各々からの情報の部分とに基づいて複数のユーザグループのうちのあるグループへと当該ユーザを割り当て、識別された目的および割り当てられたグループに基づいて、当該ユーザに関連付けられる対象プロファイルを決定し、複数のデータソースの各々からの情報の部分に基づいてユーザについて現在のプロファイルの生成し、ユーザの感情状態にインパクトを与える可能性を有すると判定される推奨アクションを決定するよう、現在のプロファイルを対象プロファイルと比較し、(たとえば、ユーザが所有するデバイスまたはユーザの近傍に位置するデバイス上で)推奨アクションを実行させ、コンピューティングデバイスに接続される、各々が1つ以上のデバイス能力を有する1つ以上のデバイスを決定し、ならびに/または、通信リンク108を介してデータを送受信するためのものである。いくつかの実現例では、推奨プログラムは、たとえば、図4に関して以下に記載されるようにプロセス400の少なくとも一部をハードウェアプロセッサ312に実行させ得る。いくつかの実現例では、ハードウェアプロセッサ312は、たとえばトランスミッタ/レシーバ318のような、トランスミッタ、レシーバ、トランスミッタ/レシーバ、トランシーバおよび/または任意の他の好適な通信装置を使用して、通信リンク114または任意の他の通信リンクを介してデータを送受信し得る。ディスプレイ/入力デバイス314は、タッチスクリーン、フラットパネルディスプレイ、陰極線管ディスプレイ、プロジェクタ、スピーカ、ならびに/または、任意の他の好適なディスプレイおよび/もしくは提示デバイスを含み得、ならびに/または、コンピュータキーボード、コンピュータマウス、1つ以上の物理ボタン、マイクロフォン、タッチパッド、音声認識回路、タッチスクリーンのタッチインターフェイス、カメラ、光学モーションセンサおよび/もしくは加速度計のようなモーションセンサ、温度センサ、近接場通信センサ、バイオメトリックデータセンサ、および/もしくは任意の他の好適な入力デバイスを含み得る。トランスミッタ/レシーバ318は、たとえば提示されるべきコンテンツ、ディスプレイデバイス110のステータス情報についての要求、コンテンツについての要求、位置情報についての要求などを送信および/または受信するための任意の好適なトランスミ
ッタおよび/またはレシーバを含み得、図1に示されるネットワーク106のような1つ以上の通信ネットワークとインターフェイス接続するための任意の好適なハードウェア、ファームウェアおよび/またはソフトウェアを含み得る。たとえば、トランスミッタ/レシーバ318は、ネットワークインターフェイスカード回路、ワイヤレス通信回路、および/もしくは、任意の他の好適なタイプの通信ネットワーク回路、1つ以上のアンテナ、ならびに/または、信号を送信および/または受信するための任意の他の好適なハードウェア、ファームウェアおよび/もしくはソフトウェアを含み得る。
いくつかの実現例では、サーバ120は、1つのサーバで実現され得るか、または、任意の好適な数のサーバとして分散され得る。たとえば、複数のサーバ120は、信頼性を増加させるために、ならびに/または、サーバがユーザデバイス102および/もしくはデータソース110と通信し得る速度を増加させるために、さまざまな位置において実現され得る。付加的または代替的には、図1に関して上で記載されたように、複数のサーバ120は、本願明細書において記載されるメカニズムに関連付けられる異なるタスクを実行するように実現され得る。
図4を参照して、開示された主題のいくつかの実現例に従った、ユーザデバイスのユーザの身体状態または感情状態に基づいて、複数のデータソースからのデータを使用して、コンピュータ化されたサービスをパーソナライズするためのプロセスの例示的な例400が示される。
なお、プロセス400は、コンピュータ化されたサービスをパーソナライズし得、複数のデータソースからのデータは、ユーザデバイスを有するユーザの身体状態または感情状態に対するコンピュータ化されたサービスのインパクトを判定するために使用され得る。ユーザの感情状態は複雑な現象であり得る。感情は、生理学的なアクティビティに関連付けられる精神状態であり得、内的環境条件または外的環境条件によって影響を受け得る。感情は、ユーザの個性、気分、気性、気質およびモチベーションに関連付けられ得る。たとえば、感情状態は、幸福、満足、平隠さ、驚き、怒り、恐怖、悲しみ、気落ち、嫌悪、疲労、憂慮、性急さなどを含み得る。いくつかの例において、感情状態は、肯定的な感情および否定的な感情に広く分類され得る。肯定的な感情は幸福および満足を含み得、否定的な感情は怒りおよび気落ちを含み得る。さらに、内的環境条件の例は、古い記憶を含んでおり、外的刺激の例はさまざまな環境ファクタによるストレスまたはストレスの軽減を含んでいる。
また、ユーザの身体状態または感情状態は、ある時点におけるユーザの身体的な特徴または感情の全面的なスナップショットまたは現れとして考えることができる。ユーザの身体状態または感情状態には複数のファクタが関係し得るので、当該身体状態または感情状態は、短期間の間でさえ変動する場合がある。複数のソースからのユーザに関するデータを用いることよって、ユーザの身体状態または感情状態は予測され得、所与の時間において特定のコンピュータ化されたアクションを推奨するかどうか決定するために使用され得る。さらに、ユーザの身体状態または感情状態の変化は、複数のソースからのユーザに関する新しいまたは更新されたデータに基づいて予測され得る。さらに、ユーザの身体状態または感情状態の変化は、ユーザが所有するデバイスまたはユーザの近傍に位置するデバイスへのコンピュータ化された推奨アクションが特定の目標または目的にユーザを向かわせ得るかどうかを評価するために使用され得る。
示されるように、プロセス400は、410において、特定の目的または目標に関するユーザ入力を受信することによって開始され得る。特定の目的または目標の例示的な例は、より多くの運動を行うこと(たとえば、一般に現在のアクティビティレベルを増加させること、1日当たり少なくとも1時間、任意の形態の運動を行うことなど)、減量をする
こと(たとえば一般に減量すること、3か月で10ポンドを減量することなど)、より多くの友達を作ること、特定の感情状態を達成すること(たとえば、より生産的に感じる、よりストレスが少ないと感じるなど)などであり得る。
より特定的な例において、ソーシャルネットワーキングサービスからユーザに関するソーシャルデータにアクセスすることについてユーザデバイスのユーザからの承認を受信することに応答して、プロセス400は、ユーザの1つ以上の目的を決定するよう、ソーシャルネットワーキングサービス上にユーザによって公表されたソーシャルメディアポストからキーワードを抽出し得る。この例では、ソーシャルネットワーキングサービスからのユーザに関するソーシャルデータが受信され得、当該ソーシャルデータは、テキスト、画像コンテンツ、ビデオコンテンツおよび/または音声コンテンツを有するメッセージまたはポストと、当該ユーザにつながりのある他のユーザによってポストされたメッセージと、タイミング情報、位置情報、または、当該ユーザにつながりのあるユーザの宣言された気分または感情状態といった文脈情報とを含み得る。
別のより特定的な例において、ユーザに関連付けられるコンピューティングデバイス上に推奨アプリケーションをインストールすることに応答して、推奨アプリケーションは、ユーザインターフェイスから目的を選択するようにユーザに促す推奨インターフェイスをコンピューティングデバイス上に提示し得る。たとえば、推奨インターフェイスは、推奨カード、通知、または、目的もしくは目標を示すようにユーザに促す任意の他の好適なユーザインターフェイスとして提示され得る。コンピューティングデバイス上で提示され得る推奨インターフェイスの例示的な例が図5に示される。示されるように、いくつかの実現例において、モバイルデバイス500のようなユーザデバイス102は、推奨インターフェイス510に、「より多く運動をする」または「気分を改善する」などといった目的を入力するようにユーザに促し得る。推奨インターフェイス510における提案された目的は、任意の好適な基準(たとえば、デフォルトの目的、ポピュラーな目的、ユーザデバイスに入力された最近の検索に基づいて選択される目的、ユーザデバイスに関連付けられる位置情報に基づいて選択される目的、ユーザデバイスのユーザによって承認されたデータソースから推論される属性に基づいた目的など)に基づいて提示され得る。さらに示されるように、「あなたの最近の検索に基づいています」および「あなたの最近のポストに基づいています」といったように、提案された目的の理由が提供され得る。付加的または代替的には、推奨インターフェイスは、ユーザが達成することを望む目的または目標に関するキーワードを提供するよう検索フィールドをモバイルデバイス500のユーザに提示し得る。
図4を再び参照して、420において、推奨システムは、決定した目的に基づいて、ユーザデバイスのユーザのための1つ以上の目標を決定し得る。たとえば、目的は減量をすることであるという決定に応答して、推奨システムは、減量をする目的に関連付けられる目標を決定し得る。たとえば、減量をする目的に関連付けられる目標としては、第1の週について第1のアクティビティレベルおよび第2週について第2のアクティビティレベルを達成すること、第1の月にわたって平均アクティビティレベルを達成すること、毎朝特定の時刻に起床すること、毎日の終わりにおいてあるしきい値量の休息を達成すること、平日の特定の時刻に食事をすることなどがある。以下に記載されるように、推奨システムはさまざまなプロファイルを生成し得る。さまざまなプロファイルの例としては、各々がユーザデバイスを有する同様のユーザのプロファイル、決定された目的または目標のうちの1つを達成したことを示すユーザデバイスを有するユーザのプロファイル、決定された目的または目標のうちの1つを達成することに失敗したことを示したユーザデバイスを有するユーザのプロファイルなどがある。この例では、推奨システムは、(たとえばどの目標が、当該ユーザに類似していると考えられるユーザによって達成されたのか、どの目標が特定の時間量内で達成されたのかなど)目的に関連付けられる目標を決定するためにこ
れらのプロファイルを処理し得る。より特定的な例において、推奨インターフェイス510に提示される目的のうちの1つを選択することに応答して、推奨システムは、当該選択された目的に関連付けられる複数の目標を決定し得、プロファイル情報に基づいてこれらの目標の一部を選択し得る。
いくつかの実現例では、推奨システムは、430において、複数のデータソースから、ユーザに関連付けられる任意の好適なデータを受信し得る。たとえば、推奨システムは、1つ以上のデータソースから、ユーザデバイスの1人以上のユーザが従事するアクティビティに関するデータを受信および/または要求し得る。当該アクティビティに関するデータとしては、散歩したこと、および、位置サービスによりモバイルデバイスを使用して横断した距離、ソーシャルサービスによりモバイルデバイスを使用してコーヒーショップに対応する位置を訪問したこと、オンラインカレンダによりモバイルデバイスを使用してソーシャルイベント(たとえば会議、パーティ、スポーツイベントなど)に出席したこと、オンラインカレンダおよび/またはソーシャルサービスによりモバイルデバイスを使用してフィットネストレーニングセッションに参加したことなどがある。別の例として、1つ以上のデータソースから、推奨システムは、アクティビティの持続時間、アクティビティに対応する時間などといった、アクティビティに関係するタイミング情報を含むデータを受信および/または要求し得る。さらに別の例として、推奨システムは、所与の時間期間(たとえば週の1日、2~3日、平日、週末など)の間に1人以上のユーザが従事したアクティビティの発生回数、所与のアクティビティに従事するユーザの数、および/または、所与のアクティビティに関係する頻度情報に関する任意の他の好適な情報を含むデータを受信および/または要求し得る。
いくつかの実現例では、推奨システムは、ソーシャルネットワーキングサービス上にユーザによって公表されたコンテンツおよび/または情報に関するデータを受信および/または要求し得る。たとえば、当該データは、サービス(たとえばソーシャルネットワーキングサービス、メッセージサービス、ビデオ共有サービス、写真共有サービス、エレクトロニックコマースサービスなど)上にユーザによって公表された1つ以上の気分状態を含み得る。別の例として、当該データは、ソーシャルネットワーキングサービス上にユーザによって公表されたコメント、メッセージ、ポスト、位置、および/または、任意の他の好適なコンテンツを含み得る。さらに別の例として、当該データは、ソーシャルネットワーキングサービス上にユーザの1つ以上のソーシャルコネクションに関する任意の好適な情報、当該ソーシャルコネクションによってポストされたコンテンツ、当該ソーシャルコネクションに関連付けられる位置などを含み得る。
いくつかの実現例では、推奨システムは、1つ以上のメディアコンテンツアイテムとのユーザインタラクションに関するデータを受信および/または要求し得る。たとえば、当該データは、ユーザがインタラクションしたメディアコンテンツアイテムに関する任意の好適な情報を含み得る。より特定的な例において、当該データは、メディアコンテンツアイテムのタイプ、メディアコンテンツアイテムの説明、メディアコンテンツアイテム(たとえばURL)へのリンク、メディアコンテンツアイテム(たとえばURI、プログラム識別子など)を識別し得る識別子、メディアコンテンツアイテムの著者、メディアコンテンツアイテムに関係するアーティストなどを含み得る。別の例として、当該データは、ユーザデバイス上でのメディアコンテンツアイテムとのユーザインタラクションのタイプに関する任意の好適な情報を含み得る。当該メディアコンテンツアイテムとのユーザインタラクションのタイプに関する任意の好適な情報としては、メディアコンテンツアイテムを消費すること、ソーシャルネットワーキングサービスまたは任意の他の好適なサービスを介してメディアコンテンツアイテムを公表すること、他のユーザとメディアコンテンツアイテムを共有すること、ソーシャルネットワーキングサービスまたは任意の他の好適なサービスを介してそのメディアコンテンツアイテムにいいねをすること、メディアコンテン
ツアイテムに関してコメントすることなどがある。さらに別の例として、当該データは、ユーザインタラクションの持続時間、ユーザインタラクションに対応する時刻などといった、ユーザデバイス上でのメディアコンテンツアイテムとのユーザインタラクションに関係する任意の好適なタイミング情報を含み得る。
いくつかの実現例では、推奨システムは、ユーザデバイスのユーザに関連付けられるバイオメトリックデータを受信および/または要求し得る。たとえば、センサを含むデータソースからのバイオメトリックデータにアクセスする承認を受信したことに応答して、バイオメトリックデータは、心拍数、呼吸数、血圧、体温、皮膚水分などといった、ユーザに関連付けられる任意の好適な生理学的パラメータを含み得る。別の例として、バイオメトリックデータは、心拍数範囲、血圧範囲などといった生理的パラメータの範囲を含み得る。
いくつかの実現例では、推奨システムは、ユーザデバイスのユーザに関連付けられる位置データを受信および/または要求し得る。たとえば、位置情報にアクセスする承認を受信することに応答して、位置データは、ユーザに関連付けられるコンピューティングデバイスの位置を推測するために使用され得る任意の好適な情報を含み得る。当該任意の好適な情報としては、コンピューティングデバイスに関連付けられる識別子(たとえばIPアドレス、デバイス識別子、メディアアドレスコントロール(MAC:media address control)アドレス、シリアルナンバー、製品識別子など)、コンピューティングデバイスに
よって生成されるGPS信号、コンピューティングデバイスに関連付けられるWi-Fiアクセスポイント、コンピューティングデバイスが接続されるセルタワーに関する情報などがある。別の例として、位置データは、好適なサービス(たとえばソーシャルネットワーキングサービス)を利用してユーザによって公表された位置、ユーザが訪れることを意図する位置(たとえばモバイルデバイス上で実行されるカレンダアプリケーション、ユーザに関連付けられるソーシャルネットワークアカウントなどを使用してスケジューリングされたソーシャルイベントに関連付けられる位置)などといった、ユーザの位置を推測するために使用され得る任意の好適な情報を含み得る。
いくつかの実現例では、推奨システムは、図6に示される推奨インターフェイスのような推奨インターフェイスを示し得る。モバイルデバイス500のユーザは、選択のためのデータソースについて促される。たとえば、さまざまなデータソースは、モバイルデバイス500上で実行される推奨システムによって検出され得、さまざまなデータソースを検出することに応答して、ユーザは、当該ユーザに関連付けられるデータを得るために、どのデータソースを選択するべきか促され得る。図6に示されるように、モバイルデバイス500から位置データにアクセスすること、および、モバイルデバイス500を使用して認証されたサービスからソーシャルデータにアクセスすることについてユーザが許可を示している場合、推奨インターフェイスは、推奨アプリケーションに利用可能なさまざまなデータソースから選択するよう、モバイルデバイス500のユーザを促す。より特定的な例において、推奨システムは、特定のデータソースにアクセスする承認を提供するようユーザを促し、どのデータソースが、目標または目的を達成すること向けて適切なデータを含み得るかを選択し得る。この例では、推奨システムは、ユーザ名およびパスワードといった、特定のデータソースにアクセスするためのクレデンシャルを提供するようにユーザデバイスのユーザのユーザに促すインターフェイスを提供し得る。
いくつかの実現例では、推奨システムは、たとえば推奨インターフェイス610を使用して、ユーザを取得するために1つ以上のデータソースを選択することに応答して、付加的な情報を提供するようにユーザを促し得る。たとえば、推奨システムは、ユーザについてベースラインプロファイルを生成するために、ベースラインプロファイルのある部分は選択されたデータソースから得られたデータを使用して導出または満足され得、ベースラ
インプロファイルの他の部分は不完全なままであるということを判定し得る。これに応答して、推奨システムは、そのような情報を提供するようにユーザに促すインターフェイスを生成し得る。たとえば、目標が「減量をすること」である場合、そのようなインターフェイスは、身長値と体重値とを入力するようにモバイルデバイス500のユーザに促し得る。
図4を再び参照して、440において、推奨システムは、目的または決定された目標に基づき、複数のデータソースから受信されるデータの部分を選択し得る。たとえば、推奨システムは、(たとえば1つ以上のアプリケーションプログラミングインターフェイスを使用して)複数のデータソースからデータを受信し得、受信したデータがさまざまなカテゴリーのデータに分類されるべきであると決定し得る。これらのカテゴリーはたとえば、一般データ、文脈データ、ソーシャルデータ、および、パーソナルデータを含み得る。一般データの例は、ユーザによって利用される1つ以上のサービス(たとえばソーシャルネットワーキングサービス、Eメールサービス、メッセージサービス、ビデオ共有サービスなど)に関する情報、ユーザに関連付けられる検索履歴(たとえばユーザによって入力されたキーワード)などを含み得る。文脈データの例は、ユーザデバイス102の位置に関する情報、交通情報、ユーザデバイス102からの位置情報に基づいた気象通報(たとえば「晴れ」、「寒い」など)、所与の位置内の人口密度情報、データソース110によって提供されるデータに関する位置の文脈(たとえば「仕事」、「家」、「休暇」など)、ユーザデバイスの近くに位置するデバイスもしくはユーザデバイスに接続されるデバイスに関する情報、および/または、ユーザに関係がある文脈情報を提供し得る任意の他の好適な情報を含み得る。ソーシャルデータの例は、複数のユーザを伴うソーシャルイベント(たとえばソーシャルネットワーキングサービス、カレンダアプリケーションなどを使用してスケジュールされた会議)に関係する情報、サービス(たとえばソーシャルネットワーキングサービス、ビデオ共有サービス、写真共有サービスなど)を利用して1人以上のユーザによって公表されたコンテンツおよび/もしくは情報、ユーザの1つ以上のソーシャルコネクションに関する情報、ならびに/または、ソーシャルデータとして分類され得る任意の他の好適な情報を含み得る。パーソナルデータの例は、ユーザの個人的な興味(たとえばソーシャルネットワーキングサービスで入手可能なユーザが言及した興味、ユーザが消費したメディアコンテンツおよび/または好んだメディアコンテンツなど)、ユーザによって生成された1つ以上の発言、ならびに/または、個人的に見なすことができる任意の他の好適な情報を含み得る。
いくつかの実現例では、推奨システムは、データのカテゴリーごとにデータストリームを作成し得る。たとえば、複数のサービスからの特定のデータをソーシャルデータであると分類することに応答して、推奨システムは、受信中にソーシャルデータを集合させ得、複数のソースからのタイムスタンプが付与されたソーシャルデータを含むソーシャルデータストリームを作成し得る。代替的には、特定のデータソースにアクセスする承認をユーザから受信すると、推奨システムは、そのソースから受信したデータを分類し得、当該データを、特定のソーシャルソースからのタイムスタンプが付与されたソーシャルデータのソーシャルデータストリームのような、そのデータソースに関連付けられるデータストリームへと配置し得る。たとえば、図7に示されるように、たとえば、一般データ(G5およびG13)と、パーソナルデータ(P1およびP42)と、ソーシャルデータ(S9およびS25)と、文脈データ(C33およびC57)といったように、複数のデータソースからの複数のデータストリームが取得され得る。
いくつかの実現例では、推奨システムは、どのカテゴリーのデータを分析するべきかと、たとえばユーザの身体状態または感情状態に影響を与え得る推奨アクションを決定するのにデータのどの部分が用いられるべきであるかとを決定することによって、データの特定の部分を選択し得る。ユーザデバイスのユーザについて410において目的を決定する
ことまたは420において目標を決定することに応答して、推奨システムは、目的または目標に関連性があるデータを含み得る特定のカテゴリーのデータを選択し得る。たとえば、推奨システムは、ソーシャルデータおよび文脈データが減量をする目的に寒冷性がある可能性が高いと判定し得る。430において複数のデータソースからのユーザに関するデータを分析することに応答して、推奨システムは、特定のデータソースから特定のカテゴリーのデータを選択し得、ユーザの身体状態または感情状態を示すまたは表すデータの特定の時間部分を選択し得る。たとえば、推奨システムは、複数のデータソースからユーザに関するデータを受信することについてユーザデバイスのユーザから承認を受信することに応答して、平日の9AMと5PMとの間に、ユーザデバイスは典型的にはソーシャルデータソース上で使用されないということと、ユーザデバイスおよび当該ユーザデバイスに接続されているデバイスからの文脈データがユーザの感情状態を表している可能性が高いということを判定し得る。なお、受信したデータならびに/または決定された目的および目標を使用して、推奨システムは、異なる決定を行うためにデータの異なるサブセットを選択し得る。当該異なるサブセットとしては、たとえば、特定のアクションを推奨するためのデータのサブセット、その日の特定の時間の間のユーザの感情状態を示すデータのサブセット、平均的な日の間のユーザの感情状態を示すデータのサブセット、所与の日におけるユーザのアクティビティを表わすデータのサブセットなどがある。
いくつかの実現例では、各目的または目標は、ユーザに関係するとともに目的または目標に関連性があるデータを抽出するための関連付けられたデータテンプレートを有し得る。たとえば、410において目的を決定することまたは420において目標を決定することに応答して、推奨システムは、特定のデータフィールドを含む関連付けられたデータテンプレートを抽出し得る。当該特定のデータフィールドとしては、特定のソーシャル関連データフィールド(たとえばソーシャルポストから抽出されたキーワードおよび関連付けられる時間)と、文脈関連データフィールド(たとえば、各ソーシャルポストの時間に対応する、ユーザに関連付けられる複数のデバイスからの位置情報)と、一般データフィールド(たとえば、ユーザデバイスがインストールしているアプリケーションのタイプ、および、ユーザデバイスの近くのデバイスのデバイスプロファイル)とがある。上述したように、特定のデータフィールドについての情報が完全でないかまたはデータソースからのデータを使用して導出され得ないという判定に応答して、推奨システムは、(たとえば、データを入力するようユーザを促すユーザインターフェイスおよび/またはユーザに関してなされた推論の正確さを入力するようユーザを促すユーザインターフェイスを生成することによって)そのような欠けているデータを入力するようにユーザに促し得る。
なお、推奨システムは、データの特定のサブセットに基づき決定を行い得るとともにデータの特定の部分を要求するデータテンプレートを抽出し得るが、ユーザデバイス102のようなユーザデバイスのユーザには、どのデータソースが使用されるか(たとえば、特定のソーシャルネットワーキングサービス、特定のモバイルデバイスなど)、および、どのタイプのデータが推奨システムによって使用されるか(たとえば特定のソーシャルネットワーキングサービスからのソーシャル情報は使用、パーソナル情報を含むと判定されるデータは使用しない、ソーシャルネットワーキングサービスからのソーシャルポスト情報は使用、ソーシャルメッセージサービスからの関係情報は使用しないなど)をセットするための制御が提供され得る。たとえば、ユーザには、特定の目標または目的についてユーザに関連するデータを含み得る特定のデータソースから特定タイプのデータを選択する機会が提供され得る。
いくつかの実現例では、複数のデータソースからのデータの選択された部分を使用して、推奨システムは、450において、ユーザについてのベースラインプロファイルを決定し得る。たとえば、推奨システムは、データの選択された部分を処理し得、各目的または目標に関連付けられる1つ以上のベースラインプロファイルを生成し得る。より特定的な
例では、目標に関連付けられるベースラインユーザプロファイルは、ユーザの身体状態または感情状態に関する任意の好適な情報(たとえば、「幸福」、「不幸」など)と、1つ以上のユーザ挙動あるいは習慣に関する情報(たとえば、通勤、昼食時間、毎週のミーティング、運動グループなど)とを含み得る。別のより特定的な例では、ベースラインユーザプロファイルは、心拍数情報、温度情報、電気皮膚反応情報、位置情報およびソーシャルポスト情報を使用し得、そのような情報を感情状態とをマッチングし得、所与の時間期間、1日、1週間、1シーズンなどを通じて感情状態についてのベースラインパターンを確立し得る。
いくつかの実現例では、複数のデータソースからのデータの選択された部分を使用して、推奨システムは、ユーザについて、複数のサブプロファイルを含む全体的なベースラインプロファイルを決定し得る。当該複数のサブプロファイルとしては、たとえば、ユーザの現在の感情状態を予測するようデータを使用するサブプロファイル、ユーザの典型的なアクティビティレベルを記述するサブプロファイル、その日の特定の時におけるユーザの典型的な挙動を記述するサブプロファイルなどがある。ユーザの全体的なベースラインプロファイルを作成するよう、任意の好適な数のサブプロファイルが生成され得る。また、いくつかの実現例では、推奨システムは、ユーザの全体的なベースラインプロファイルを形成するサブプロファイルの各々について、データの異なるサブセットを使用し得る。
いくつかの実現例では、推奨システムは、450において、ベースラインプロファイルに基づいてユーザのグループにユーザを割り当て得る。たとえば、推奨システムは、目標または目的を達成したユーザのグループと、当該グループにおけるユーザに関連付けられる1つ以上の挙動および/または当該グループにおけるユーザによって行なわれるアクションとを識別し得る。別の例において、推奨システムは、目標または目的を達成するのを失敗したユーザのグループと、当該グループにおけるユーザに関連付けられる1つ以上のユーザ挙動および/または当該グループにおけるユーザによって行なわれるアクションとを識別し得る。その後、推奨システムは、特定の挙動および/またはアクションをユーザについての目標に相互に関連付け得る。
いくつかの実現例では、推奨システムは、同様のユーザプロファイルを識別およびクラスタリングするよう機械学習技術を使用し得る。たとえば、推奨システムは、ユーザに関連付けられるベースラインプロファイルにどのグループプロファイルがもっとも類似しているかを決定するよう機械学習技術を使用し得、これに応答して、当該グループプロファイルに関連付けられるグループにユーザを配置し得る。別の例では、推奨システムは、機械学習技術を使用して、どのグループプロファイルが、ユーザデバイスのユーザに類似しているユーザデバイスを有するユーザを含んでいるかと、同じ目的を達成することに興味を持っているユーザを含んでいるかとを判定し得る。さらに別の例では、推奨システムは、機械学習技術を使用して、どのグループプロファイルが、ユーザの全体的なベースラインプロファイルを形成するサブプロファイルに共通の特徴を含むサブプロファイルを有するかを判定し得る。なお、サポートベクトルマシン、決定木、ベイズモデルなどのような任意の好適な機械学習技術が使用され得る。
なお、いくつかの実現例では、他の情報は、同様のユーザを一緒になるようにグルーピングするために使用され得る。たとえば、ユーザのグループは、特定のユーザと同じ都市にいるユーザといった、同様の地理的な近傍に存在するユーザデバイスを有するユーザを含み得る。別の例として、ユーザのグループは、1つ以上のソーシャルネットワーキングサービス上で互いにつながりがあるユーザを含み得る。
また、いくつかの実現例では、プロセス400は、推奨システムが、ユーザの割り当てられたグループに基づいて特定の目的を達成するために、1つ以上の目標を決定し得る4
20に戻り得る。たとえば、特定の目的について、推奨システムは、目的に到達する願望を示した同様のユーザの割り当てられたグループに関連付けられる1つ以上の目標を抽出し得る。別の例では、特定の目的について、推奨システムは、目的に関連付けられる目標をランク付けし得る。当該ランク付けは、目的に到達することにおいてどの目標がユーザを支援したかに関して、ユーザグループにおけるユーザからの入力に基づく。その後、推奨システムは、ユーザが目的に到達するのを支援し得る、ユーザについての目標の少なくとも一部を選択し得る。その後、選択された目標は、図8に示される推奨インターフェイス800のような推奨インターフェイスにおいてユーザに提示され得る。この例において、推奨システムは、付加的な目標を取り除くおよび/または加える機会をモバイルデバイス500のユーザに提供し得る。
いくつかの実現例では、推奨システムは、他の決定のために、450において生成されたベースラインプロファイルを使用し得る。たとえば、推奨システムは、複数のデータソースからのユーザに関する更新されたデータを含む現在のプロファイルが、以前に生成されたベースラインプロファイルから逸脱しているかどうかを判定する。ベースラインプロファイルと現在のプロファイルとの間の逸脱はたとえば、特定のアクティビティの頻度(たとえば運動頻度)の比較と、特定の挙動に関するタイミング情報(たとえばユーザが毎日起きる時間)の比較とを含み得る。そのような逸脱は、データまたは当該データに基づいたそのような判定がユーザの感情状態を示し得ないということを示し得る(たとえば、転職に応答してユーザからストレス応答が検出され得る)。そのような逸脱は、推奨システムがベースラインプロファイルを更新するべきであるということ、および/または、別のユーザグループへと当該ユーザの割り当てを更新するべきであるということを示し得る(たとえば、ユーザが目標または目的に向かって前進している場合、ユーザの挙動が時間とともに変化している場合など)。別の例において、そのような逸脱は、推奨システムが、ユーザをベースラインプロファイルに戻し得るアクションを推奨するべきであるということを示し得る。
より特定的な例では、推奨システムによって生成されるベースラインプロファイルは、ユーザに関連付けられる挙動および/またはアクティビティ(たとえば、クラシック音楽に費やす、フィットネスセッションに参加するなど)と、挙動および/またはアクティビティの各々に関するタイミング情報(たとえばクラシック音楽を聞くのに費やされた時間)と、所与の時間期間にわたる特定の挙動および/またはアクティビティの頻度(たとえばユーザデバイスを使用するユーザがその週の間にクラシック音楽を聞いた回数)と、挙動および/またはアクティビティに関連付けられるしきい値(たとえば、ユーザは、クラシック音楽を1週間に少なくとも3回、各セッションにつき少なくとも30分間、聞く傾向がある)などとを含み得る。
別のより特定的な例では、推奨システムによって生成されるベースラインプロファイルは、ユーザに関係するデータの任意の好適な表現を含み得る。たとえば、バイオメトリックデータの特定の部分を受信することに応答して、推奨システムは、オフィスにいる間のユーザについて平均心拍数、平日に燃焼した平均カロリー数、ユーザにとって平均的な日についてのアクティビティ曲線を決定し得る。
また、複数のベースラインプロファイルが生成され、ユーザデバイスのユーザに関連付けられ得る。たとえば、推奨システムは、目標(たとえば1日当たり少なくとも30分間の運動をすること)に関連付けられるデータの第1のサブセットを使用するベースラインプロファイルと、別の目標(たとえば、Eメールアプリケーションを使用する時間を特定の量の時間未満にする)に関連付けられるデータの第2のサブセットを使用する別のベースラインプロファイルとを生成し得る。別の例では、推奨システムは、「仕事」のような特定のコンテキストでベースラインプロファイルを生成し、「休暇」のような別のコンテ
キストで別のベースラインプロファイルを生成し得る。
いくつかの実現例では、推奨システムは、割り当てられたグループ、目標および/または目的に基づき、470において、対象プロファイルを生成し得る。たとえば、特定の目的について、推奨システムは、ユーザが目標または目的を達成したと判定されたユーザのユーザプロファイルを識別およびクラスタリングし得る。別の例では、推奨システムは、(たとえば特定の目標または目的を達成することにおいてどのアクションがユーザを支援していないかを判定するために)ユーザが目標または目的を達成しなかったと判定されたユーザのユーザプロファイルを識別およびクラスタリングし得る。さらに別の例では、推奨システムは、言及された目標または目的をユーザが達成するのを推奨システムが以前に支援したユーザのユーザプロファイルを識別およびクラスタリングし得る。
より特定的な例において、推奨システムは、特定の目標または目的を達成したユーザに関する情報と、特定の目標または目的を達成していないユーザに関する情報とを含むプロファイルを使用して、特定の目標または目的を達成するための対象プロファイルを生成し得る。この例では、推奨システムは、ユーザが特定の目標または目的に到達するのを支援し得るアクション、しきい値および他の情報を決定し得る。たとえば、1ヶ月で10ポンド減量する目的を達成したと判定されたユーザは、毎日少なくとも1マイル歩いており、朝6時までに起き、夜にクラシック音楽を聞き、特定の時間に食事を食べている。たとえば特定の目標または目的の達成を示したユーザ間で共通の特徴を決定することにより、推奨システムは、ユーザにアクションを推奨するために使用され得る対象プロファイルを生成し得る。これらのアクションは、実行された場合、ユーザの現在のプロファイルが対象プロファイルに向かうように、ユーザの現在のプロファイルに影響を与え得る。
図4を再び参照して、いくつかの実現例では、推奨システムは、480において、複数のデータソースからの更新されたデータに基づいて、ユーザについての現在のプロファイルを生成し得る。なお、ユーザに関連付けられるベースラインプロファイルおよび現在のプロファイルは、複数のデータソースからの更新されたデータを使用して生成され得る動的なプロファイルであり得る。たとえば、特定の期間(たとえば1分、1日など)が経過したという判定に応答して、推奨システムは、複数のデータソースから更新されたデータを受信および/または要求し得、当該ユーザについて現在のプロファイルを生成し得る。代替的には、推奨システムはベースラインプロファイルを使用し続け得る。
いくつかの実現例では、推奨システムは、490において、推奨アクションを決定するよう、現在のプロファイルを対象プロファイルと比較し得る。これは、たとえば、ユーザの身体状態または感情状態にインパクトを与え得る。目的または目標およびプロファイル情報に基づいて、推奨システムは、ユーザデバイス、ユーザが所有するデバイス、または、ユーザデバイスの近傍にあるデバイスにおいて、どのコンピュータ化されたアクションが実行されるべきであるかを決定し得る。
いくつかの実現例では、推奨システムは、さまざまな時において、ユーザデバイスのユーザに推奨される複数のコンピュータ化されたアクションを決定し得る。たとえば、推奨システムは、ユーザがユーザの就業日の間により多くの運動を行うという特定の目的を有するということを決定し得る。ソーシャルネットワーキングサービスからのソーシャルネットワーキングデータと、ユーザに関連付けられるモバイルデバイスからの位置データと、ユーザに関連付けられるオンラインカレンダからのカレンダデータとにアクセスする承認をユーザデバイスのユーザから受信したことに応答して、推奨システムは、ソーシャルデータから、ユーザの気力が現在相対的に低いということを判定し得るとともに、カレンダデータから、特定の時間に予定されているとともに特定の位置で行われるミーティングにユーザが参加する(現在の時間とミーティングの時間との間には関係がない)というこ
とを判定し得る。推奨システムは、そのようなデータを使用し、他のデータを動的なユーザプロファイルに組み入れ得る。たとえば、ユーザに関連付けられる着用可能な歩数計からのバイオメトリックデータに基づいて、推奨システムは、その月から今日までまたはその週から今日までユーザが従事したアクティビティの量を決定し得、ユーザが示された目的もしくは目標を達成する可能性があるか、または、平均アクティビティレベルに合致する可能性があるかどうかを判定し得る。別の例において、位置情報に基づいて、推奨システムは、ユーザに関連付けられる職場から10ブロック離れている特定の位置でのミーティングに出席するためにユーザが自動車サービスを利用する頻度を決定し得る。さらに別の例では、ソーシャルネットワーキングサービス上で言及された興味および/または親和性に基づいて、推奨システムは、当該ユーザデバイスのユーザが花を好きであると判定し得る。さらに別の例では、マッピングデータを用いて、推奨システムは、ユーザに関連付けられる職場とミーティングの位置との間のルートを決定し得る。複数のデータソースからのデータのこれらの部分を考慮に入れて、推奨システムは、ユーザに関連付けられる現在のプロファイルを生成し、特定の目的および/または特定のユーザグループに関連付けられ得る対象プロファイルと比較し得る。比較に基づいて、推奨システムは、1つ以上の推奨アクションを実行させる。当該推奨アクションの例としては、5分で行くことができる近くのコーヒーショップから1杯のコーヒーを購入するようにユーザに促す通知、提供されたルートに沿った位置に最近オープンしたランの花のショップを訪問するオプションを含む特定のルートを使用してミーティングに歩いて行くようにユーザに促す通知がある。代替的には、推奨システムは、ミーティングに先立った特定の時間に、ユーザデバイスの近傍にある香り発生器にラベンダの香りを発させ得る。別の代替的な例では、推奨システムは、ミーティングに先立った特定の時間において、グーグルマップのようなコンピュータ地図ルートサービスによって識別されるような特定のルートを使用してミーティングに歩いて行くようにユーザに促す通知を行う前に、(たとえば降水確率が特定のしきい値より大きいと判定する場合、何が「暑すぎる」と考えられるかに関して決定された温度およびユーザデータに基づいてユーザにとって「暑すぎる」と判定する場合などにおいて)ユーザデバイスの近傍での天候を判定する。
この例を継続して参照して、推奨システムは、推奨アクションによって推奨されたように、ユーザがランの花のショップを訪れたこと、および/または、ユーザがコーヒーショップへ歩いて行っていることを判定し得る。次いで、推奨システムは、当該コーヒーショップに対応するアプリケーションプログラミングインターフェイスを使用してコーヒーショップの顧客の数を問い合わせ得、ユーザがコーヒーショップにおいて特定の待ち時間を有する場合があることを判定し得る。その後、推奨システムは、そのそれぞれのアプリケーションプログラミングインターフェイスを使用して、同じフランチャイズの別のコーヒーショップでは待ち時間がより短く、ユーザデバイスのユーザに近い(たとえば、ユーザデバイスによって提供される現在の位置から1ブロック離れている)ことを判定し得る。推奨システムは、ユーザデバイスに更新された推奨アクションまたは改訂された推奨アクションを送信し得る。
なお、これらの複数のコンピュータ化されたアクションの各々は、対応するトリガーイベントに関連付けられ得る。たとえば、近くのコーヒーショップからコーヒーを購入するようにユーザを促す通知のようなアクションは、関連付けられる時間(たとえば日中の時間、前のイベントの時間、次の予定されたイベントが始まるまでの時間など)に基づいてトリガーされ得る。別の例において、予定されたミーティングへのルートに沿ったランの花の店を訪れるようにユーザを促す通知のようなアクションは、ユーザデバイスに関連付けられる位置情報(たとえば、ユーザデバイスがランの花の店の特に近傍に存在することを検出すること)に基づきトリガーされ得る。より別の例において、推奨システムは、アクションが特定の形態(たとえば、Eメール、テキストメッセージ、モバイル通知、アカウント通知、および/もしくは任意の他の好適な態様)で、ならびに/または、特定の時
(たとえば、ユーザの予測された感情状態に基づいて)に提示されるメッセージであることを決定し得る。
図4を再び参照して、推奨システムは、495において、推奨アクションを実行させ得る。推奨アクションの例示的な例が図2に示される。示されるように、当該アクションまたは出力は、たとえば、触覚フィードバックもしくはタッチ感知フィードバック、感覚フィードバック(たとえば画像コンテンツ、光キュー、音楽、ビデオメッセージ、ビデオコンテンツなど)、環境関連フィードバック(たとえば、好適なデバイスから香りを発させる、照明またはホームオートメーションシステムによって照明スキームを修正するなど)、および/または、コンテンツ関連アクション(たとえば、テキスト、画像コンテンツ、ビデオコンテンツ、音声コンテンツを提示する)を含み得る。より特定的な例において、推奨アクションは、ユーザデバイスに接続されている音声出力デバイスを使用して、音を修正すること、音をキャンセリングすること、または、ユーザデバイスのユーザのバックグラウンドにおける音を増強することを含み得る。別のより特定的な例では、推奨アクションは、通知を提供するために、ユーザデバイスのユーザの環境において(たとえば光キュー、音声キュー、ビデオキュー、香りキューなど)感覚フィードバックを提供することを含み得る。さらに別のより特定的な例では、推奨アクションは、ユーザに関する履歴情報に基づいたコンテンツ関連アクションを含むノスタルジア指向のフィードバックを含み得る。さらに別の例では、推奨アクションは、デバイス情報およびユーザに関する他の情報(たとえばユーザインターフェイス要素の構成、ドキュメントまたはファイルのポジショニングなど)に基づいたアプリケーションデータの優先順位を含み得る。
いくつかの実現例では、推奨システムは、推奨アクションに基づき、当該推奨アクションを実行するために、ユーザデバイスのユーザに接続または近接し得る1つ以上のデバイスを識別する。いくつかの実現例では、推奨システムは、どのデバイスまたはどの複数のデバイスがユーザデバイスの近くに存在するかを判定するようデバイスディスカバリ機能を始動し得る。いくつかの実現例では、そのようなデバイスディスカバリ機能は、ユーザデバイス上で推奨アプリケーションを起動することに応答して、または、推奨アクションがデバイスを使用して実行されるべきであるという判定に応答して、始動され得る。付加的または代替的には、いくつかの実現例では、そのようなデバイスディスカバリ機能は、任意の好適なデバイスから始動され得、どのデバイスがユーザデバイスの近くに存在するか判定するよう任意の好適な情報を使用し得る。
いくつかの実現例では、ユーザデバイスは、任意の出力デバイスが近くに存在するかどうか判定し得る。ユーザデバイスまたはユーザデバイス上で実行される推奨アプリケーションは、任意の出力デバイスが近くにあるかどうかを判定するよう、任意の好適な技術あるいは技術の組合せを使用し得る。たとえば、ユーザデバイスは、その近くのデバイス(信号を受信したデバイス)に、当該デバイスが信号を受信したことを示すメッセージで応答するよう要求するメッセージを含む信号または複数の信号を送信し得る。この例において、応答は、デバイス位置情報およびデバイス能力情報のような任意の好適なデバイス情報を含み得る。別の例として、ユーザデバイスは、推奨アクションまたは出力が実行されるためにディスプレイデバイスが利用可能であることを示すメッセージを含む、デバイスが送信した信号または複数の信号を受信し得る。そのような信号は、たとえば、Bluetooth(登録商標)のようなピアツーピア通信技術を使用して、RFID技術を使用して、および/または、ユーザデバイスと1つ以上の出力デバイスとの間で通信をするための任意の他の好適な技術もしくは技術の組合せを使用して、送信され得る。
いくつかの実現例では、推奨システムは、推奨アクションを実行するために利用可能な1つ以上の出力デバイスを選択する機会をユーザに提供し得る。たとえば、図9に示されるように、推奨インターフェイス910は、モバイルデバイス500に接続されているま
たは近接していると検出されたさまざまな出力デバイスを選択、追加、削除する機会をユーザに提供し得る。示されるように、そのような出力デバイスは、テレビデバイス、ホームオートメーションシステム、タブレットコンピューティングデバイス、香り発生器、および、自動車を含み得る。いくつかの実現例では、推奨インターフェイスは、(たとえば他のデバイスの近傍にある異なる位置に移動することに応答して)ユーザデバイスが付加的な出力デバイスを検出することを要求する機会をユーザに提供し得る。
いくつかの実現例では、推奨システムは、ユーザの身体状態または感情状態に基づいて、出力デバイスに特定のアクションを実行させ得る。たとえば、出力デバイスを使用して特定のアクションを実行する前に、推奨システムは、ユーザの現在の感情状態を判定し得、ユーザデータに基づいてユーザの感情状態が「怒り」であると判定すると、出力デバイス上でアクションが実行されることを抑制し得る。別の例では、推奨システムは、たとえば、ユーザが「怒り」の感情状態にある場合には1つ以上の出力デバイスによって行われたアクションはよく受け取られないと履歴ユーザデータから判定したので、ユーザの感情状態が「怒り」以外のものであると判定すると、特定のアクションが出力デバイス上で実行され得ることを決定し得る。
付加的または代替的には、いくつかの実現例では、推奨システムは、ユーザの現在の身体状態あるいは感情状態に対する特定のアクションの予測されたインパクトに基づいて出力デバイスに特定のアクションを実行させ得る。たとえば、出力デバイスを使用して特定のアクションを実行する前に、推奨システムは、ユーザの身体状態または感情状態に対するアクションの予測されたインパクトを決定し得、予測されたインパクトが特定の範囲内にない(たとえば、ユーザデータに相互に関連付けられる感情状態が変わらないままである)と判定すると、出力デバイス上でアクションが実行されることを抑制し得る。
図10に示されるようにおよび上述した例に関連して、推奨システムは、複数の推奨アクションを含む推奨インターフェイス1010をユーザに提示し得る。示されるように、推奨インターフェイス1010において提示される各推奨アクションは、ユーザがイベントの位置へ歩いていくことを推奨することに応答する、ルートの地図のような推奨アクションを行なうための付加情報、または、ユーザが1杯のコーヒーを購入することを推奨することに応答する商業情報を含み得る。さらに示されるように、各推奨アクションは、たとえば今1杯のコーヒーを購入するか、または、1:45PMにイベントに歩いて向かい始めるかといったような特定の時間に関連付けられ得る。いくつかの実現例では、上述したように、推奨インターフェイス1010における各推奨アクションは、特定のイベントの発生によってトリガーされ得る。当該特定のイベントの例としては、ユーザデバイスが特定の位置に関連付けられるという判定、ユーザが特定のルートに沿って歩いていることをユーザデバイスが示しているという判定などがある。
なお、いくつかの実現例では、推奨アクションは複数のユーザについて実行され得る。たとえば、上述したように、推奨システムは、同様のベースラインプロファイルを有するユーザのグループにユーザデバイスのユーザを配置し得る。さらに、推奨システムは、他の好適な基準に基づいて、(たとえばソーシャルネットワーキングサービスからのソーシャルデータに基づく)当該ユーザと確立した関係を有する他のユーザ、当該ユーザと同様の位置プロファイルを有する他のユーザ(たとえば家族のメンバー、仕事の同僚、友達など)といったユーザのグループに当該ユーザを配置し得る。
この例において、推奨システムは、ユーザのグループ内の1つ以上の共通のアクションを識別し得る。その後、推奨システムは、ユーザのグループについて実行されるべきであるアクションのうちの1つ以上を選択し得る。より特定的な例において、推奨システムは、所定数のユーザ(たとえばユーザの大多数、グループにおけるユーザのある割合など)
に関連付けられる1つ以上の共通のアクションを選択し、当該ユーザグループの集合感情状態に影響し得る1つ以上の共通のアクションを選択し得る。別のより特定的な例において、推奨システムは、任意の好適な基準に基づいて共通のアクションをランク付けし、その後、所定回数のアクション(たとえば上位5つ)を選択し、それらをグループアクションとして指定し得る。特に、共通のアクションは、推奨システムが、どのアクションがユーザグループの集合感情状態に影響を与える可能性が高いかを判定し得るように、ユーザに関連付けられる現在のプロファイルと対象プロファイルとの間の逸脱に基づいてランク付けされ得る。たとえば、高いランクは、現在のプロファイルと対象プロファイルとの間のより大きな逸脱に関連付けられる共通のアクションに割り当てられ得る。
たとえば、推奨システムは、あるユーザグループについて集合感情状態を判定し得、当該グループのユーザまたは当該グループ内のしきい値数のユーザが特定の出力デバイスの近傍に存在していると判定し得る。これは、当該ユーザのグループにおけるユーザに関連付けられる位置情報は特に近傍にあると判定することと、同じ場所にいるユーザの各々に関連付けられるユーザデバイスに接続されるまたは近くに存在する出力デバイスを決定することとを含み得る。より特定的な例において、グループアクションは、好適なメディアコンテンツ(たとえば当該ユーザグループの集合感情状態に影響を与え得る音楽の再生リスト)を提示すること、当該ユーザグループの周囲における環境光を調節すること、当該ユーザグループの周囲における環境ノイズおよび香りを調節することなどといった、実行され得る任意の好適なアクションを含み得る。
推奨アクションが実行された(たとえば、デバイスが、コンテンツを消費することまたは特定のアクティビティを行うことを含んだ推奨アクションを提示した)と判定されると、推奨システムは、推奨システムにフィードバックを供給するようにユーザデバイスのユーザを促し得る。たとえば、推奨システムは、推奨アクションがユーザによって行なわれたかどうか示すフィードバック、推奨アクションがユーザの感情状態にインパクトを与え得たかどうかを示すフィードバック、および/または、当該アクションがユーザに再び推奨されるべきであるかどうかを示すフィードバックをユーザから受信し得る。図11に示されるように、推奨システムは、感情状態における変化の表示、出力デバイスを無効化にするオプション、ユーザが推奨アクションを行なったかどうかに関する表示(たとえばユーザがミーティングに歩いて行き、途中のコーヒーショップを訪れたことの確認)といったフィードバックを提供するようにユーザを促すインターフェイス1110を提示し得る。
付加的または代替的には、推奨システムは、更新されたデータを取得し、ユーザの現在の感情の状態を予測し、および/または、更新されたプロファイルを生成し、かつ、推奨アクションまたは複数の推奨アクションが1つ以上の目的にユーザを向かわせ得たかどうかを判定し得る。
より特定的な実現例において、推奨システムは、特定の推奨アクションが1つ以上の目的および/または目標にユーザを向かわせ得たかどうか判定し得る。たとえば、推奨システムは、図11のインターフェイス1110において、フィードバックを提供するようにユーザを促し得る(たとえば、「1杯のコーヒーを飲んでそのビデオを見た後の今の気分はいかがですか?」)。そのような例において、推奨システムは、特定の推奨アクションに関するユーザからフィードバックを受信し得る。別の例では、推奨システムは、複数のデータストリームからデータの特定の部分を選択し得、当該データが、推奨アクションが1つ以上の目的にユーザを向かわせ得たということを示すかどうか判定する。そのような例において、複数のデータソースからあるユーザデバイスのユーザに関するデータを受信する承認を当該ユーザから受信することに応答して、推奨システムは、推奨アクションの提供の後の時からデータを選択し得、推奨アクションが1つ以上の目的にユーザを向かわ
せ得たことをソーシャルデータおよび文脈データが示す(たとえば、ユーザが特定のアクティビティレベルに到達することについて軌道に乗っていることを当該データが示す)と判定し得る。
いくつかの実現例では、任意の好適な信用度が推奨アクションに関連付けられ得る。たとえば、そのような信用度は、どれくらい推奨アクションが1つ以上の目的にユーザを向かわせ得るかを推奨システムが考えるかに関する信用値を含み得る。この例において、推奨システムは、1人以上のユーザからのフィードバックに基づいてインクリメントまたはディクリメントされる初期の信用値から開始し得る。信用度は、推奨アクションを提供した後、特定のユーザが目的に向かったという判定に応答して上昇され得る。この信用度の上昇により、たとえば、当該推奨アクションは、当該ユーザと同じまたは同様の目的を有するユーザ、当該ユーザと同じまたは同様のグループに配置されたユーザなどといった他のユーザに提供され得る。なお、当該信用度はさらに、困難値、タイムライン値などといった付加情報を含み得る。
開示された主題のいくつかの実現例に従うと、推奨システムは、たとえば、ある部屋に位置するユーザについて特定のアクティビティを行なっている間に、修正された環境ノイズによって感情状態、気分および/または体験がインパクトを受け得る場合に、当該部屋における環境ノイズが修正されるべきであると判定し得る。たとえば、いくつかの実現例において、推奨システムは、(たとえば、ユーザコンピュータ上で検出された最近のアクティビティに基づいて)ユーザが自身のコンピュータで作業していると判定し得るが、(たとえば、ソーシャルネットワーキングウェブサイトにポストされたメッセージに基づいて)集中するのに苦労している、および/または、眠くなっていると判定し得る。そのような例において、推奨システムは、1回以上、環境ノイズを変動させ得る(たとえば、停止および開始、ボリュームおよび/もしくは周波数の変化、ならびに/または任意の他の好適な変動)。これにより、ユーザがより鋭敏になり得る。別の例として、いくつかの実現例では、推奨システムは、(たとえば、ユーザが典型的には眠っている時間にユーザの目が覚めていることを示す、アクティビティモニタおよび/または睡眠モニタからの情報に基づき)ユーザが不安を感じていると判定し得、ユーザの環境における環境ノイズまたは音をホワイトノイズあるいはほぼホワイトノイズにし得る。さらに別の例として、いくつかの実現例では、推奨システムは、ユーザがテレビを見ていると判定し得、これに応答して、テレビデバイスの近傍における環境ノイズをソフトにし得る。これにより、ユーザは、テレビデバイスによって提示されているコンテンツをより良好に消費し得る。そのような実現例では、推奨システムは、モバイルデバイス、コンピュータ(たとえばラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、および/または、任意の他の好適なタイプのコンピュータ)、テレビ、ステレオ、スピーカといった1つ以上のユーザデバイスのサウンド出力を修正することによって、部屋の環境ノイズを修正し得る。付加的または代替的には、いくつかの実現例では、推奨システムは、ネットワークに接続される1つ以上の家電デバイス(たとえば食洗機、冷蔵庫、煙検出器および/または任意の他の好適なタイプの家電デバイス)からのサウンド出力を修正することにより部屋の環境ノイズを修正し得る。
図12は、ユーザの家において、部屋における環境ノイズまたは環境音を修正するために使用され得るデバイスのレイアウトの例示的な例を示す。なお、図12はユーザの家におけるデバイスを示しているが、いくつかの実現例では、本願明細書において記載されるプロセスは、たとえば、ユーザのオフィス、事業および/または任意の他の好適な位置といった任意の好適な位置において実現され得る。
示されるように、ユーザの家は、ファン1210および1212、洗濯乾燥機1230、テレビ1240、ステレオ1250、スピーカ1260、および/または、ラップトッ
プコンピュータ1280といったノイズおよび/または音を発する1つ以上のデバイスおよび/または機器を含み得る。いくつかの実現例では、ユーザの家はさらに、サウンドレベルセンサ1220および1222のような1つ以上のサウンドレベルセンサを含み得る。なお、図12におけるデバイスおよびセンサの位置は例として示されており、当該デバイスおよびセンサは任意の好適な位置に配置され得る。さらに、いくつかの実現例において、任意の好適な数(0を含む)の各デバイスおよび任意の付加的なデバイスが含まれ得る。いくつかの実現例では、特定のデバイスが、図13のブロック1330に関して以下で議論されるように、任意の好適なデバイスディスカバリプロトコルを使用して、検出および/または識別され得る。
いくつかの実現例では、部屋における環境ノイズを修正するために使用されるデバイスは、テレビ1240、ステレオ1250およびラップトップコンピュータ1280といった、音声出力能力を有するデバイスを含み得る。いくつかの場合において、そのようなデバイスは、スピーカ1260のようなスピーカに関連付けられ得る。付加的または代替的には、いくつかの実現例では、部屋における環境ノイズを修正するために使用されるデバイスは、ファン1210および洗濯乾燥機1230といった、動作の副産物としてノイズを発するデバイスを含み得る。さらに、いくつかの実現例では、音声出力能力を有するデバイスはさらに、動作の副産物としてノイズを発し得る。たとえば、ラップトップコンピュータ1280は、ラップトップコンピュータ1280上の冷却ファンがアクティベートされると、ノイズを発し得る。より特定的には、冷却ファンによって発せられるノイズは、ファンの速度に基づいて、ボリュームおよび/またはピッチにおいて変動し得る。いくつかの実現例では、部屋における環境ノイズは、図13のブロック1350に関して以下に記載されるように、デバイスのうちの1つ以上を使用して、デバイスによって発せられる音を修正することによって(たとえばファンの速度を修正することによって)、および/または、デバイスに関連付けられる音声出力を通じて出力される音を修正することによって、修正され得る。なお、いくつかの実現例では、どのデバイスが環境ノイズを修正するために使用されるべきであるかをユーザが選択し得る。たとえば、いくつかの実現例では、デバイスは、図14に示されるとともに図14に関して以下に記載されるように、ユーザインターフェイスを使用して選択され得る。
いくつかの実現例では、サウンドレベルセンサ1220および/または1222は、特定の部屋および/もしくは特定の位置に存在する音のタイプ、当該部屋および/もしくは位置に存在する音のボリュームを判定するために使用され得、ならびに/または、任意の他の好適な測定を行うために使用され得る。付加的または代替的には、いくつかの実現例では、特定の部屋および/または位置における音のタイプは、当該部屋における1つ以上のマイクロフォンからの記録に基づいて判定され得る。たとえば、いくつかの実現例では、記録能力を有するデバイスが識別され得、当該デバイスに関連付けられるマイクロフォンからの記録が分析されて、存在する音のタイプと音のボリュームとを識別する。いくつかの実現例では、これらの測定は、図13のブロック1310に関して以下に記載されるように、作り出されるべき環境音を決定するために使用され得る。
なお、特定の部屋および/または位置において存在する音の記録、音のタイプの検出、または、本願明細書において記載した任意の他の好適な検出の前に、推奨アプリケーションは、そのような検出を行なうことの同意または承認を提供する機会をユーザに提供し得る。たとえば、テレビデバイスのようなコンピューティングデバイス上に推奨アプリケーションをロードすると、当該アプリケーションは、そのような検出を行なうこと、当該検出に関する情報を送信すること、および/または、検出されたタイプの音に関する付加情報を提示することについて承認を与えるようにユーザを促し得る。より特定的な例において、好適なマーケットプレイスから推奨アプリケーションをダウンロードするとともに当該推奨アプリケーションをロードすることに応答して、ユーザは、環境音の検出を行なう
前に、ユーザが同意を提供することを要求(または要請)するメッセージにより促され得る。付加的または代替的には、推奨アプリケーションをインストールすることに応答して、ユーザは、これらの検出を行なう前および/またはこれらの検出に関する情報を送信する前にユーザが同意を提供することを要求(あるいは要請)する許可メッセージにより、促され得る。ユーザがそのようなデータの使用に同意する場合には、102におけるユーザの存在が検出され得る。
図13を参照して、開示された主題のいくつかの実現例に従った、1つ以上のデバイスを使用して環境ノイズを修正するためのプロセスの例1300が示される。
プロセス1300は、1310において、ユーザの環境における1つ以上のノイズを識別することにより開始され得る。当該ノイズは、バックグラウンドノイズ(たとえばファン、機器のノイズ、および/もしくは、任意の他の好適なバックグラウンドノイズ)、会話、テレビ、ステレオ、コンピュータおよび/もしくは他のメディア再生デバイスからの音、ならびに/または、任意の他の好適な音および/もしくはノイズといった、任意の好適な音および/またはノイズを含み得る。
プロセス1300は、1つ以上のノイズを識別するための任意の好適な技術を使用し得る。たとえば、いくつかの実現例では、プロセス1300は、1つ以上のマイクロフォン(たとえばユーザデバイスに関連付けられるマイクロフォンおよび/または任意の他の好適なマイクロフォン)を使用して、ユーザの環境から音声を記録し得るとともに、1つ以上のノイズを識別するよう、記録された音声を処理し得る。いくつかの実現例において、音声処理技術(たとえば等化、フィルタリング、ノイズキャンセル、圧縮、および/または、任意の他の好適な技術)が、分析に先立って当該音声を処理するために使用され得る。いくつかの実現例では、1つ以上の音および/またはノイズを識別するために任意の好適な技術が使用され得る。当該技術の例としては、機械学習(たとえばベイズ統計、ニューラルネットワーク、サポートベクトルマシン、および/もしくは、任意の他の好適な機械学習技術)、統計分析(たとえば主成分分析、独立成分分析、および/もしくは、任意の他の好適な統計分析技術)、ならびに/または、任意の他の好適な技術がある。いくつかの実現例において、付加的または代替的には、プロセス1300は、図12に示されるとともに図12に関して上で記載されたように、サウンドレベルセンサ1220および1222を使用して、音および/またはノイズのサウンドレベル(たとえば単位はdBおよび/または任意の他の好適なメトリック)を決定する。
いくつかの実現例では、プロセス1300は、ユーザの環境における1つ以上のノイズを識別するために、複数のデータソースからのユーザに関するデータを使用し得る。たとえば、いくつかの実現例では、プロセス1300は、ユーザデバイスから受信されるGPS位置、ソーシャルネットワーキングサイトからのコンテンツ(たとえば自身の位置を特定するユーザからのポスト)、その週の特定の日および/もしくはその日の特定の時刻についてのユーザの典型的な位置に関係するタイミング情報、ならびに/または、任意の他の好適な情報といった、複数のデータソースからのデータを使用して、ユーザの現在の位置を決定し得る。より特定的な例として、プロセス1300が(たとえばGPS位置に基づくか、日中の現在時間にはユーザが典型的に働いていることを示す情報に基づくか、および/または、任意の他の好適な情報に基づいて)ユーザが働いていると判定した場合、プロセス1300は、オフィス環境に典型的に存在するノイズ(たとえば会話、タイピングの音、および/または、任意の他の好適なノイズ)に基づいて、ユーザの環境における1つ以上のノイズを識別し得る。別のより特定的な例として、プロセス1300が(たとえば、GPS位置に基づくか、ユーザのソーシャルネットワーキングサイト上のポストに基づくか、および/または、任意の他の好適な情報に基づいて)ユーザがレストランにいると判定した場合、プロセス1300は、レストラン環境において典型的に存在するノイ
ズ(たとえば会話、器具の音、バックグラウンドミュージック、および/または、任意の他の好適なノイズ)に基づいて、1つ以上のノイズを識別し得る。
プロセス1300は、1320において、識別されたノイズおよび/もしくは音ならびにユーザの現在のアクティビティ、気分および挙動に基づいて、生成されるべき対象環境ノイズを決定し得る。たとえば、いくつかの実現例では、プロセス1300は、ユーザが現在行なっているアクティビティをユーザがより良好に行うことを可能にする対象環境ノイズを決定し得る。より特定的な例として、いくつかの実現例では、ユーザが現在テレビ番組を見ている場合に、プロセス1300は、対象環境ノイズが現在の検出されたバックグラウンドノイズより静かであるべきであると決定し得る。これにより、ユーザは、より良好にテレビを聞くことが可能になり得る。より特定的な例として、いくつかの実現例では、(たとえば、ファンからのノイズに関連付けられるサウンドレベルが所定のしきい値を上回るという判定によって、および/または、任意の他のメトリックに基づいて)ノイジーであると判定されるファンを有するラップトップコンピュータでユーザが作業していると判定される場合、プロセス1300は、対象環境ノイズが相対的により低いサウンドレベルでファンのノイズを含むべきであると決定し得る。さらに別のより特定的な例として、いくつかの実現例では、ユーザは、働いている間、集中するのに苦労していると判定される場合、プロセス1300は、対象環境ノイズが振幅および/または頻度において変動するべきであると決定し得る。これにより、ユーザはより鋭敏になり得る。
別の例として、いくつかの実現例では、プロセス1300は、ブロック1310において、現在検出されている1つ以上の音を増大させる対象環境ノイズを決定し得る。これにより、より豊かなオーディオ体験がユーザに提供され得る。より特定的な例として、いくつかの実現例では、(たとえば、ユーザの環境におけるマイクロフォンから受信される情報に基づくか、ソーシャルネットワーキングサイト上のユーザのポストから受信された情報に基づくか、および/または、任意の他の好適な情報に基づいて)ユーザが特定の番組を見ていると判定される場合、プロセス1300は、対象環境ノイズが、当該特定の番組からの音に対応するノイズであるべきであると決定し得る。特定の例として、猫に関係するメディアコンテンツをユーザが見ていると判定される場合、プロセス1300は、対象環境ノイズが、猫がのどを鳴らす音に対応するべきであると決定し得る。別の特定の例として、滝に関係するメディアコンテンツをユーザが見ていると判定される場合、プロセス1300は、対象環境ノイズが、滝の音、雨の音および/または任意の他の好適な音に対応するべきであると決定し得る。
さらに別の例として、いくつかの実現例では、プロセス1300は、対象環境ノイズが、ユーザが特定の目標を達成するのを支援するものであるべきであると決定し得る。たとえば、ユーザの目標が寝付くことおよび/またはリラックスすることである場合(たとえば、ユーザのソーシャルネットワーキングサイト上のポストに基づくか、特定の時刻におけるユーザの典型的なアクティビティに基づくか、アクティビティモニタからの情報に基づくか、および/または、任意の他の好適な情報に基づいて、判定される)、プロセス1300は、対象環境ノイズが、ホワイトノイズ、雨の音、ならびに/または、ユーザが寝付くおよび/もしくはリラックスするのを支援するのに好適であり得る任意の他の好適な音であるべきであると決定し得る。別の例として、ユーザの目標がリラックスすることである場合、プロセス1300は、対象環境ノイズが現在のバックグラウンドノイズのより心地よいバージョンであるべきであると決定し得る。特定の例として、現在のバックグラウンドノイズが1つ以上の家電機器(たとえば冷蔵庫、洗濯乾燥機、および/または、任意の他の好適なデバイス)からのノイズを含んでいる場合、プロセス1300は、ユーザがリラックスするのを支援し得る現在のバックグラウンドノイズよりも旋律のある対象環境ノイズ(たとえば、特定タイプのピッチの変動を含むノイズ、および/または、任意の他の好適なタイプの旋律のあるノイズ)を決定し得る。
さらに別の例として、いくつかの実現例では、プロセス1300は、対象環境ノイズが、より高いサウンドレベルで存在する現在のバックグラウンドノイズであるべきであると決定し得る。いくつかの実現例では、プロセス1300は、(たとえば、ユーザデバイスに関連付けられる位置、ソーシャルネットワーキングサービス上のポスト、および/または、任意の他の好適な情報に基づいて)現在のバックグラウンドノイズを作り出しているデバイスおよび/または機器の近傍にユーザが現在いないと判定することに応答して、対象環境ノイズが、より高いサウンドレベルで存在する現在のバックグラウンドノイズであるべきであると決定し得る。特定の例として、いくつかの実現例において、(たとえばユーザデバイスに関連付けられる位置情報に基づきユーザが現在家にいないと判定することにより)ユーザが現在冷蔵庫の近くにいないと判定することに応答して、プロセス1300は、対象環境ノイズが、より高いサウンドレベルで存在する冷蔵庫に関連付けられるノイズであるべきであると決定し得るとともに、当該対象環境ノイズを作り出すために、冷蔵庫に関連付けられるコンプレッサがより高いレベルで運転されるべきであると決定し得る。いくつかの実現例では、付加的または代替的には、バックグラウンドノイズは、コンピュータに関連付けられるファン、HVACシステムに関連付けられるコンプレッサ、および/または、任意の他の好適なバックグラウンドノイズに関連付けられ得る。なお、いくつかの実現例では、プロセス1300は、(たとえば、ユーザデバイスに関連付けられる位置情報に基づくか、アクティビティモニタに基づくか、および/または、任意の他の好適な情報に基づいて)デバイスおよび/または機器に近くにユーザが動いたと判定した後、より低いサウンドレベルで存在するバックグラウンドノイズになるよう対象環境ノイズが修正されるべきであると決定し得る。
さらに別の例では、いくつかの実現例において、プロセス1300は、所定の近傍における複数のユーザデバイス(たとえば、同じ部屋にあると判定されたユーザデバイス、互いに特定の距離内にあると判定されたユーザデバイス、同じローカルエリアネットワークに接続されると判定されたユーザデバイス、および/または、任意の他の好適な近接メトリックに基づいたユーザデバイス)に関連付けられる情報に基づいて、対象環境ノイズを決定し得る。たとえば、プロセス1300が、異なるユーザおよび/または異なるユーザアカウントに関連付けられる複数のユーザデバイスを(たとえばブロック1330に関して以下に記載されるようにデバイスディスカバリプロトコルを使用して)識別する場合、プロセス1300は、複数の識別されたユーザデバイスに関連付けられるバックグラウンドノイズ(たとえば会話および/もしくは議論、提示されているテレビ番組、ならびに/または、任意の他の好適なバックグラウンドノイズ)に基づいて、たとえばユーザデバイスのうちの1つに関連付けられるマイクロフォンを使用することによって対象環境ノイズを決定し得る。特定の例として、バックグラウンドノイズが(たとえばバックグラウンドノイズのサウンドレベルに基づくか、会話の内容に基づくか、および/または、任意の他の好適な情報に基づいて)議論であると判定される場合、プロセス1300は、議論が行われているという判定に基づいて、特定の音楽および/または特定の音のような対象環境ノイズ(たとえば滝の音、ホワイトノイズの音、および/または、任意の他の好適な音)を決定し得る。
プロセス1300は、任意の好適な技術を使用して対象環境ノイズを決定し得る。たとえば、いくつかの実現例では、プロセス1300は、ユーザの現在のアクティビティおよび/または気分に基づいて、対象環境ノイズを識別するルックアップテーブルにアクセスし得る。さらに、いくつかの実現例では、プロセス1300は、図4のプロセス400に関して上で記載したもののような、ユーザの現在のアクティビティおよび/または気分を判定するよう任意の好適な技術を使用し得る。
プロセス1300は、1330において、対象環境ノイズを作り出すのに使用されるべ
きである1つ以上のデバイスを識別し得る。たとえば、いくつかの実現例では、図12に示されるとともに図12に関して上で記載されたように、1つ以上のデバイスは、ファン1210および/もしくは1212、洗濯乾燥機1220、テレビ1240、ステレオ1250、スピーカ1260、ならびに/またはラップトップコンピュータ1280を含み得る。なお、いくつかの実現例では、携帯電話、タブレットコンピュータ、煙検出器、冷蔵庫および/または任意の他の好適なデバイスといった任意の他の好適なデバイスが識別され得る。プロセス1300は、任意の好適な技術を使用して1つ以上のデバイスを識別し得る。たとえば、いくつかの実現例では、プロセス1300は、当該ユーザの家における1人以上のユーザに関連付けられると識別されるデバイスのリストに(たとえばサーバにクエリ送信することによって、および/または、任意の他の好適な態様で)アクセスし得る。より特定的な例として、いくつかの実現例では、デバイスは、たとえば、デバイスの識別子(たとえばIPアドレス、MACアドレス、デバイスの製造業者、モデルおよび/もしくはデバイスのシリアルナンバー、ならびに/または、任意の他の好適な情報)を受信するユーザインターフェイスを介して、ユーザによって明示的に識別され得る。別の例として、いくつかの実現例では、デバイスは、任意の好適なデバイスディスカバリプロトコル(たとえば「Discovery and Launch」および/または任意の他の好適なデバイスディスカバリプロトコル)を使用して識別され得る。より特定的な例として、いくつかの実現例では、第1のユーザデバイス(たとえば携帯電話、タブレットコンピュータおよび/または任意の他の好適なデバイス)は、近くのデバイス(たとえば近くのテレビ、近くのスピーカ、近くの煙検出器および/または任意の他の好適なデバイス)を識別するデバイスディスカバリプロトコルを使用し得る。いくつかのそのような実現例では、第1のユーザデバイスは、発見されたデバイスの識別子(たとえばIPアドレス、MACアドレス、デバイスの製造業者の名前、デバイスに関連付けられるユーザが特定した名前、および/または、任意の他の好適な情報)を、後の使用のために(たとえばサーバ120のうちの1つに)格納し得る。
プロセス1300は、1340において、対象環境ノイズを作成するために、識別された1つ以上のデバイスについてサウンド出力を決定し得る。たとえば、ブロック1320においてプロセス1300が対象環境ノイズがホワイトノイズであるべきであると決定した場合であって、かつ、ブロック1330においてプロセス1300がラップトップコンピュータを対象環境ノイズを作り出すために使用されるデバイスであると識別した場合、プロセス1300は、ラップトップコンピュータについて、ホワイトノイズに近似するサウンド出力を決定し得る。より特定的な例として、いくつかの実現例では、プロセス1300は、特定の速度あるいは特定の速度のパターンで、ラップトップコンピュータに関連付けられるファンをスピンさせることにより、ホワイトノイズに近似するノイズを作り出すことを決定し得る。別のより特定的な例として、いくつかの実現例では、プロセス1300は、たとえば、ラップトップコンピュータにホワイトノイズを合成させることにより、ラップトップコンピュータにホワイトノイズを含む音声ファイルを再生させることにより、および/または、任意の他の好適な技術により、ラップトップコンピュータに関連付けられるスピーカを通じて、ホワイトノイズに近似するノイズをラップトップコンピュータに発させ得る。なお、いくつかの実現例では、プロセス1300は、対象環境ノイズが徐々に作り出されるべきであると決定し得る。たとえば、対象環境ノイズが特定のサウンドレベルの音および/またはノイズであるべきである場合、プロセス1300は、対象サウンドレベルに任意の好適な時間期間(たとえば1分、10分、30分、および/または、任意の他の好適な時間期間)の間に、到達されるべきであると決定し得る。別の例として、いくつかの実現例では、プロセス1300は、特定のユーザアクションに依存して、対象環境ノイズが徐々に作り出されるべきであると決定し得る。より特定的な例として、プロセス1300は、特定のユーザアクション(たとえばユーザがコンピュータとインタラクションし始める、ユーザが寝付く、ユーザが動きを増加する、および/または、任意の他の好適なユーザアクション)が記録されるまで、対象環境ノイズのサウンドレベルが
増加されるべきであると決定し得る。
別の例として、プロセス1300が、ブロック1320において、対象環境ノイズがより低いサウンドレベルで存在する現在のバックグラウンドノイズであるべきであると決定する場合、プロセス1300は、現在のバックグラウンドノイズのサウンドレベルを低下させるために、識別された1つ以上のデバイスについてサウンド出力を決定し得、および/または、現在のバックグラウンドノイズのより低いサウンドレベルの認知を作り出すサウンド出力を決定し得る。より特定的な例として、現在のバックグラウンドノイズがコンピュータに関連付けられるファンを含んでいると判定される場合、プロセス1300は、サウンド出力が、より低いボリュームのノイズを作り出すようより低い速度で動作するファンを含むべきであると決定し得る。別のより特定的な例として、プロセス1300は、より低いサウンドレベルの認知を作り出すために、任意の好適なノイズキャンセル技術を使用して、1つ以上の識別されたデバイスについてサウンド出力を決定し得る。特定の例として、現在のバックグラウンドノイズがコンピュータに関連付けられるファンを含んでいると判定される場合、プロセス1300は、ファンからのノイズに対する干渉を通じて、より低いサウンドレベルのバックグラウンドノイズの認知を引き起こす、任意の好適な数の近くのデバイスからのサウンド出力を引き起こし得る。いくつかのそのような実現例では、プロセス1300はさらに、ノイズキャンセルを行なうために必要とされるサウンド出力を計算するよう、1つ以上の識別されたデバイスの位置、ユーザの位置、および/または、任意の他の好適な情報といった任意の好適な情報を使用し得る。
いくつかの実現例では、プロセス1300は、1つ以上のデバイスに関連付けられるデバイスタイプおよび/またはデバイス性能に基づき、識別された1つ以上のデバイスについてサウンド出力を決定し得る。たとえば、いくつかの実現例では、プロセス1300は、1つ以上のデバイスが音声出力能力に関連付けられていないという判定に応答して、対象環境音が単に(たとえば生成される音に関連付けられるピッチおよび/または音の大きさを制御するよう)1つ以上のデバイスに関連付けられるファン速度の調整によって作り出されるべきであると決定し得る。別の例として、いくつかの実現例では、プロセス1300は、1つ以上のデバイスが音声出力能力に関連付けられていないという判定に応答して、1つ以上のデバイスに関連付けられるファンをオンおよびオフすることにより、対象環境ノイズが作り出されるべきであると決定し得る。さらに別の例として、いくつかの実現例では、プロセス1300は、1つ以上のデバイスのうちの少なくとも1つが音声出力および/またはスピーカに関連付けられているという判定に応答して、特定の音声ファイルを再生することによって対象環境音が作り出されるべきであると決定し得る。より特定的には、いくつかの実現例では、プロセス1300は、たとえば、メディアコンテンツ共有サービス、アプリケーションストア、および/または、任意の他の好適なサイトからデバイスに特定の音声ファイルをダウンロードさせ得る。なお、いくつかの実現例において、任意の好適な数(たとえば1、2、4および/または任意の他の好適な数)の識別されたデバイスが対象環境ノイズを作り出すために使用され得、デバイスの各々に対応するサウンド出力のタイプ(たとえば、音声出力、ファン速度の調整によるサウンド出力、および/または、任意の他の好適なタイプのサウンド出力)が異なり得る。対象環境ノイズを作り出すために複数のデバイスが使用されるべきである実現例では、プロセス1300は、サウンド出力の重ね合せが対象環境ノイズに近似するように、当該デバイスの各々についてのサウンド出力を計算し得る。
(たとえば、当該1つ以上のデバイスに関連付けられるファンの速度を調節することによって、音を合成して、1つ以上のデバイスに関連付けられる音声出力を通じて当該合成音を再生することによって、および/または、任意の他の好適な技術によって)1つ以上のデバイスが対象環境ノイズを合成するべきであるとプロセス1300が決定している場合、プロセス1300は、合成された対象環境ノイズを作り出すために1つ以上のパラメ
ータを計算し得る。たとえば、対象環境ノイズが猫がのどを鳴らす声のような特定のノイズを含んでいる場合であって、かつ、対象環境ノイズが特定のデバイスのファンの速度を調節することによりにより作り出されるべきである場合、プロセス1300は、猫がのどを鳴らすノイズの近似を作り出すために必要とされるファン速度の一時的なパターンを計算し得る。別の例として、いくつかの実現例では、プロセス1300は、対象環境ノイズの近似を作り出すために組み合わされて音声出力を通じて提示されるべきである1つ以上の信号(たとえば正弦波および/または任意の他の好適な信号)を計算し得る。
いくつかの実現例では、プロセス1300は、対象環境ノイズを作り出すのに必要なサウンド出力を計算するために、任意の好適な信号処理技術(たとえば分光分析、フィルタリング、デジタル信号処理、および/または、任意の他の好適な技術)を使用し得る。特定の例として、いくつかの実現例では、プロセス1300は、対象環境ノイズを示すものにバンドパスフィルタをかけて、識別されたデバイスの数に相当する数のバンドにし、識別されたデバイスの各々に対応するサウンド出力が、その特定のバンドに存在するエネルギーに基づいて振幅が変調された特定のキャリアサウンド出力(たとえば特定の周波数に中心があるノイズのバンド、特定の速度で動作するファン、および/または、任意の他の好適なサウンド出力)に対応するべきであると決定し得る。なお、いくつかのそのような実現例において、サウンド出力は、音声出力を通じて作り出された音、および/または、特定のデバイスによる動作の副産物として発せられた音に対応し得る。
いくつかの実現例では、プロセス1300は、生成されたサウンド出力によって近似されるべきである対象環境ノイズの1つ以上の特性を決定し得る。たとえば、対象環境ノイズが特定の波形を含んでいる場合、プロセス1300は、生成されたサウンド出力および/または複数のデバイスからのサウンド出力の組合せによって、波形の山および/または谷が近似されるべきであると決定し得る。特性の他の例は、特定のスペクトルバンドに存在するエネルギー、波形のエンベロープの山および/もしくは谷、波形のエンベロープに対応する一時的な特性、ならびに/または、任意の他の好適な特性もしくは特性の組合せを含む。さらに、いくつかの実現例では、プロセス1300が、対象環境ノイズの1つ以上の特性の近似がサウンド出力の組合せにより作り出され得ないと判定した場合、プロセス1300は、サウンド出力が作り出されるべきでないと決定し得る。いくつかの実現例では、対象環境ノイズの近似は任意の好適な態様(たとえば2乗平均平方根誤差、相関、および/または、任意の他の好適なメトリック)で定量化され得る。
1350において、プロセス1300は、任意の好適な技術または技術の組合せを使用して、ブロック1340で決定されたサウンド出力を1つ以上のデバイスに生成させ得る。たとえば、サウンド出力がデバイスに関連付けられるファンの速度を変調することを含んでいる場合、プロセス1300は、デバイスに関連付けられるAPIにアクセスすることによりファンを制御し得る。より特定的には、APIは、パルス幅変調および/または任意の他の好適な技術を使用してファンの速度を制御し得る。別の例として、サウンド出力が、デバイスに関連付けられる音声出力からの特定の出力を引き起こすことを含む場合、プロセス1300は、出力を特定するとともに当該出力が音声出力を通じて再生されるための命令を含むメッセージをデバイスに送信し得る。より特定的な例として、サウンド出力が対象環境音の合成された近似を含んでいる場合、プロセス1300は、音声出力を通じて再生されるべきである波形を特定し得る。別のより特定的な例として、サウンド出力が音声出力を通じて再生されるべきである音声ファイルを含んでいる場合、プロセス1300は、ファイル名、ファイルロケーション、ダウンロード命令、および/または、任意の他の好適な情報といった、当該音声ファイルに関係する識別情報を特定し得る。
いくつかの実現例では、プロセス1300は、サウンド出力および/または対象環境ノイズに信用度および/または信用スコアを割り当て得る。いくつかの実現例では、信用度
および/または信用スコアは、ユーザが当該サウンド出力および/または対象環境ノイズを好むかどうかの予測に基づき得る。信用度および/または信用スコアは、任意の好適な情報(たとえばユーザの以前のフィードバック、サウンド出力を生成するために選択されるデバイス、および/または、任意の他の好適な情報)に基づき得る。たとえば、サウンド出力がユーザが以前に好んだことを示したサウンド出力に類似していると判定される場合、信用度および/または信用スコアは、他のサウンド出力に対応するものより相対的に高くなり得る。別の例として、ユーザが好むことを以前に示したデバイスを使用してサウンド出力が生成される場合、信用度および/または信用スコアは、他のサウンド出力に対応するものより相対的に高くなり得る。さらに、いくつかの実現例では、信用度および/または信用スコアを割り当てるのに好適な情報がないとプロセス1300が判定する場合、プロセス1300は、不確実性を示す信用度および/または信用スコア(たとえば0から10までの尺度での5、および/または、任意の他の好適なスコア)を割り当て得る。さらに、いくつかの実現例では、割り当てられた信用度が所定のしきい値を下回ると判定される場合、プロセス1300は、サウンド出力が生成されるべきでないと決定し得る。
いくつかの実現例では、サウンド出力が生成された後、たとえば、ユーザからのフィードバックが、(図11に示されるインターフェイスに類似した)ユーザインターフェイスを介して受信され得る。いくつかの実現例では、フィードバックは、生成された特定の音をユーザが好んだかもしくは嫌ったかどうか、音を生成するために使用されるデバイスの使用をユーザが好んだかもしくは嫌ったかどうか、生成された音が大きすぎたかもしくはソフトすぎたかどうか、および/または、任意の他の好適なフィードバックを含み得る。いくつかの実現例では、受信されたユーザフィードバックは、対象環境ノイズ、サウンドプロファイルを調節し、たとえば図13のブロック1320において他のユーザ(たとえば同一グループに配置された同様のユーザ、同様の目的および/または目標を有するユーザなど)についての対象環境ノイズを決定するよう使用され得る。いくつかの実現例では、受信されたユーザフィードバックは、サウンド出力に関連付けられる信用度および/または信用スコアを調節するために使用され得る。
いくつかの実現例では、ユーザは、プロセス1300が対象環境ノイズを生成し得るものとして、特定のデバイスを選択および/または選択解除し得る。たとえば、いくつかの実現例では、図14のユーザインターフェイス1400において示されるように、ユーザは、ユーザインターフェイスを使用して特定のデバイスを選択および/または選択解除し得る。示されるように、ユーザインターフェイス1400はデバイス1410の選択を含み得る。いくつかの実現例では、デバイス1410の選択において示されるデバイスの各々は、対象環境ノイズを生成するのに利用可能であるデバイスのグループへの包含のために、選択および/または選択解除され得る。いくつかの実現例では、選択メカニズムは、チェックボックス、ドロップダウンメニュー、ラジオボタンおよび/または任意の他の好適な要素といった任意の好適なユーザインターフェイス要素を含み得る。いくつかの実現例では、ユーザインターフェイス1400を使用して特定のデバイスが選択および/または選択解除されたということを示すものが、図1に関して上で記載されように、ユーザインターフェイス1400を提示するユーザデバイスからサーバ120のうちの1つに送信され得る。
したがって、気分および/または挙動情報に基づいた環境バックグラウンドノイズの修正のための方法、システムおよび媒体が提供される。
開示された主題が上記の例示的な実現例において記載および説明されたが、本開示は単に例示によるものであり、開示された主題の実現例の詳細の多く変更は、添付の請求の範囲によってのみ限定される開示された主題の精神および範囲から逸脱することがなければ行なうことができるということが理解される。開示された実現例の特徴は、さまざまな態
様で組み合わせられ再構成され得る。

Claims (13)

  1. 環境バックグラウンドノイズの修正のための方法であって、
    ユーザデバイスを有するユーザに関係するデータに基づいて、前記ユーザの環境に存在する少なくとも1つのノイズを識別することと、
    前記少なくとも1つのノイズに基づいて、前記ユーザによって閲覧されているメディアコンテンツを識別することと、
    前記ユーザによって閲覧されている前記メディアコンテンツに現れるに基づいて、前記環境において生成されるべき対象環境ノイズを決定することとを含み、前記対象環境ノイズは、前記ユーザによって閲覧されている前記メディアコンテンツを補完するように選択され、前記ユーザによって閲覧されている前記メディアコンテンツに現れる前記に対応付けられる音声に対応するように選択され、かつ、前記ユーザに関係するデータに基づく前記ユーザの目標の達成を支援するものであり、
    複数のデバイスを識別することを含み、前記複数のデバイスは、ローカル通信ネットワークを介して前記ユーザデバイスに対応付けられており、前記複数のデバイスは前記ユーザデバイスの近傍にあり、前記複数のデバイスは、前記ユーザによって閲覧されている前記メディアコンテンツに現れる前記に対応付けられる前記音声を含む前記対象環境ノイズを生成することが可能であり、
    前記識別した複数のデバイスの各々に対応するサウンド出力を決定することを含み、前記サウンド出力の組合せにより、前記対象環境ノイズの1つ以上の特性の近似が生成され、
    前記識別された複数のデバイスに、前記メディアコンテンツの提示に関連して前記決定したサウンド出力を生成させることを含む、方法。
  2. 前記少なくとも1つのノイズを識別することは、
    前記ユーザに関係するデータを用いて、前記ユーザの位置を決定することと、
    前記ユーザの位置に存在するノイズに基づいて、前記ユーザの環境における前記少なくとも1つのノイズを識別することとを含む、請求項1に記載の方法。
  3. 前記識別された複数のデバイスの各々に対応する前記サウンド出力は、前記識別された複数のデバイスの各々のデバイス能力に基づいて決定される、請求項1に記載の方法。
  4. 前記デバイス能力は音声出力能力を含む、請求項に記載の方法。
  5. 前記ユーザが前記対象環境ノイズを楽しむ可能性を示す、前記対象環境ノイズに対応付けられる信用値を決定することをさらに含み、前記識別された複数のデバイスに、前記決定したサウンド出力を生成させることは、前記信用値が所定のしきい値を上回るという決定に応じて行われる、請求項1~4のいずれかに記載の方法。
  6. 前記信用値は前記ユーザからの以前のフィードバックに基づく、請求項に記載の方法。
  7. 環境バックグラウンドノイズの修正のためのシステムであって、
    ハードウェアプロセッサを備え、前記ハードウェアプロセッサは、
    ユーザデバイスを有するユーザに関係するデータに基づいて、前記ユーザの環境に存在する少なくとも1つのノイズを識別するようにプログラムされており、
    前記少なくとも1つのノイズに基づいて、前記ユーザによって閲覧されているメディアコンテンツを識別するようにプログラムされており、
    前記ユーザによって閲覧されている前記メディアコンテンツに現れるに基づいて、前記環境において生成されるべきである対象環境ノイズを決定するようにプログラムされており、前記対象環境ノイズは、前記ユーザによって閲覧されている前記メディアコンテンツを補完するように選択され、かつ、前記ユーザによって閲覧されている前記メディアコンテンツに現れる前記に対応付けられる音声に対応するように選択され、かつ、前記ユーザに関係するデータに基づく前記ユーザの目標の達成を支援するものであり、
    複数のデバイスを識別するようにプログラムされており、前記複数のデバイスは、ローカル通信ネットワークを介して前記ユーザデバイスに対応付けられており、前記複数のデバイスは前記ユーザデバイスの近傍にあり、前記複数のデバイスは、前記ユーザによって閲覧されている前記メディアコンテンツに現れる前記に対応付けられる前記音声を含む前記対象環境ノイズを生成することが可能であり、
    前記識別した複数のデバイスの各々に対応するサウンド出力を決定するようにプログラムされており、前記サウンド出力の組合せにより、前記対象環境ノイズの1つ以上の特性の近似が生成され、
    前記識別した複数のデバイスに、前記メディアコンテンツの提示に関連して前記決定したサウンド出力を生成させるようにプログラムされている、システム。
  8. 前記少なくとも1つのノイズを識別することは、
    前記ユーザに関係するデータにより前記ユーザの位置を決定することと、
    前記ユーザの位置に存在するノイズに基づいて、前記ユーザの環境における前記少なくとも1つのノイズを識別することとを含む、請求項7に記載のシステム。
  9. 前記識別した複数のデバイスの各々に対応する前記サウンド出力は、前記識別した複数のデバイスの各々のデバイス能力に基づいて決定される、請求項に記載のシステム。
  10. 前記デバイス能力は音声出力能力を含む、請求項に記載のシステム。
  11. 前記ハードウェアプロセッサはさらに、前記ユーザが前記対象環境ノイズを楽しむ可能性を示す、前記対象環境ノイズに対応付けられる信用値を決定するようにプログラムされており、前記識別した複数のデバイスに、前記決定したサウンド出力を生成させることは、前記信用値が所定のしきい値を上回るという決定に応じて行われる、請求項に記載のシステム。
  12. 前記信用値は前記ユーザからの以前のフィードバックに基づく、請求項11に記載のシステム。
  13. 請求項1~のいずれかに記載の方法をコンピュータに実行させる、プログラム。
JP2020000441A 2015-02-11 2020-01-06 気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体 Active JP7305563B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021095995A JP7309783B2 (ja) 2015-02-11 2021-06-08 気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/619,827 US9769564B2 (en) 2015-02-11 2015-02-11 Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US14/619,827 2015-02-11
JP2017542160A JP2018512607A (ja) 2015-02-11 2015-12-30 気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017542160A Division JP2018512607A (ja) 2015-02-11 2015-12-30 気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021095995A Division JP7309783B2 (ja) 2015-02-11 2021-06-08 気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体

Publications (2)

Publication Number Publication Date
JP2020098338A JP2020098338A (ja) 2020-06-25
JP7305563B2 true JP7305563B2 (ja) 2023-07-10

Family

ID=55221540

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017542160A Pending JP2018512607A (ja) 2015-02-11 2015-12-30 気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体
JP2020000441A Active JP7305563B2 (ja) 2015-02-11 2020-01-06 気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体
JP2021095995A Active JP7309783B2 (ja) 2015-02-11 2021-06-08 気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017542160A Pending JP2018512607A (ja) 2015-02-11 2015-12-30 気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021095995A Active JP7309783B2 (ja) 2015-02-11 2021-06-08 気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体

Country Status (8)

Country Link
US (5) US9769564B2 (ja)
EP (1) EP3256914B1 (ja)
JP (3) JP2018512607A (ja)
KR (1) KR102058660B1 (ja)
CN (1) CN107548474B (ja)
DE (1) DE112015006145T5 (ja)
GB (1) GB2553682B (ja)
WO (1) WO2016130228A1 (ja)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409547B2 (en) * 2014-10-15 2019-09-10 Lg Electronics Inc. Apparatus for recording audio information and method for controlling same
US9769564B2 (en) 2015-02-11 2017-09-19 Google Inc. Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US11048855B2 (en) 2015-02-11 2021-06-29 Google Llc Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application
US10284537B2 (en) 2015-02-11 2019-05-07 Google Llc Methods, systems, and media for presenting information related to an event based on metadata
US10387173B1 (en) * 2015-03-27 2019-08-20 Intuit Inc. Method and system for using emotional state data to tailor the user experience of an interactive software system
CN106101680B (zh) * 2015-05-06 2018-12-25 小米科技有限责任公司 拍摄参数设置方法及装置
US9966056B2 (en) 2015-08-24 2018-05-08 Plantronics, Inc. Biometrics-based dynamic sound masking
US10530875B2 (en) * 2015-08-26 2020-01-07 Facebook, Inc. Customizing media content on online social networks
US9870762B2 (en) * 2015-09-11 2018-01-16 Plantronics, Inc. Steerable loudspeaker system for individualized sound masking
CN105118015A (zh) * 2015-09-21 2015-12-02 无锡知谷网络科技有限公司 用于公共场所的信息提示方法及移动服务终端
JP6463710B2 (ja) * 2015-10-16 2019-02-06 グーグル エルエルシー ホットワード認識
US9820108B1 (en) * 2015-10-20 2017-11-14 Allstate Insurance Company Connected services configurator
US10599390B1 (en) 2015-12-28 2020-03-24 Amazon Technologies, Inc. Methods and systems for providing multi-user recommendations
US10380208B1 (en) * 2015-12-28 2019-08-13 Amazon Technologies, Inc. Methods and systems for providing context-based recommendations
US10423931B2 (en) * 2015-12-31 2019-09-24 International Business Machines Corporation Dynamic processing for collaborative events
US10320938B2 (en) * 2016-02-02 2019-06-11 International Business Machines Corporation Monitoring and maintaining social group cohesiveness
US10349117B2 (en) * 2016-06-13 2019-07-09 Lenovo (Singapore) Pte. Ltd. Media removal after consumption
US20170372371A1 (en) * 2016-06-23 2017-12-28 International Business Machines Corporation Machine learning to manage contact with an inactive customer to increase activity of the customer
US11544274B2 (en) * 2016-07-18 2023-01-03 Disney Enterprises, Inc. Context-based digital assistant
US10791172B2 (en) * 2016-07-22 2020-09-29 Tinker Pte. Ltd. Systems and methods for interacting with nearby people and devices
EP3490432A4 (en) * 2016-07-27 2020-02-12 Biosay, Inc. SYSTEMS FOR MEASURING AND MANAGING A PHYSIOLOGICAL-EMOTIONAL STATE
DE102016216407A1 (de) * 2016-08-31 2018-03-01 BSH Hausgeräte GmbH Individuelle Kommunikationsunterstützung
US10341178B1 (en) 2016-09-19 2019-07-02 Amazon Technologies, Inc. Configuring client devices
US10574618B1 (en) * 2016-09-19 2020-02-25 Amazon Technologies, Inc. Processing client devices
US11755172B2 (en) * 2016-09-20 2023-09-12 Twiin, Inc. Systems and methods of generating consciousness affects using one or more non-biological inputs
US10318233B2 (en) 2016-09-23 2019-06-11 Sonos, Inc. Multimedia experience according to biometrics
US10135950B2 (en) * 2016-10-10 2018-11-20 Google Llc Creating a cinematic storytelling experience using network-addressable devices
US11211157B2 (en) * 2016-12-30 2021-12-28 Intel Corporation Using emotional maps and dialog display technology to improve workout experiences
US10924376B2 (en) * 2016-12-30 2021-02-16 Google Llc Selective sensor polling
EP3566548B1 (en) * 2017-01-04 2020-05-13 Signify Holding B.V. Adaptive lighting automation
US11568369B2 (en) 2017-01-13 2023-01-31 Fujifilm Business Innovation Corp. Systems and methods for context aware redirection based on machine-learning
US10395016B2 (en) * 2017-01-24 2019-08-27 International Business Machines Corporation Communication pattern recognition
US11205127B2 (en) * 2017-01-30 2021-12-21 International Business Machines Corporation Computer program product for sensory stimulation to ameliorate a cognitive state
US11276493B2 (en) * 2017-02-01 2022-03-15 International Business Machines Corporation Device configuration based on predicting a health affliction
US10467509B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
US11010601B2 (en) 2017-02-14 2021-05-18 Microsoft Technology Licensing, Llc Intelligent assistant device communicating non-verbal cues
US11100384B2 (en) 2017-02-14 2021-08-24 Microsoft Technology Licensing, Llc Intelligent device user interactions
US20180302686A1 (en) * 2017-04-14 2018-10-18 International Business Machines Corporation Personalizing closed captions for video content
US10733575B2 (en) * 2017-06-06 2020-08-04 Cisco Technology, Inc. Automatic generation of reservations for a meeting-space for disturbing noise creators
US10652183B2 (en) * 2017-06-30 2020-05-12 Intel Corporation Incoming communication filtering system
JP7077555B2 (ja) * 2017-09-22 2022-05-31 富士通株式会社 情報制御装置、情報制御システム、情報制御方法及び情報制御プログラム
US11321673B2 (en) * 2017-11-01 2022-05-03 Samsung Electronics Co., Ltd. Method and system for automatically creating an instant ad-hoc calendar event
KR102423058B1 (ko) * 2018-02-23 2022-07-21 삼성전자주식회사 디스플레이 장치 및 IoT 기반 선호도 확인 방법
US20190296933A1 (en) * 2018-03-20 2019-09-26 Microsoft Technology Licensing, Llc Controlling Devices Based on Sequence Prediction
US10958466B2 (en) 2018-05-03 2021-03-23 Plantronics, Inc. Environmental control systems utilizing user monitoring
US11300128B2 (en) * 2018-05-11 2022-04-12 Hubbell Incorporated Bladeless ceiling fan
US10249293B1 (en) 2018-06-11 2019-04-02 Capital One Services, Llc Listening devices for obtaining metrics from ambient noise
US10698582B2 (en) * 2018-06-28 2020-06-30 International Business Machines Corporation Controlling voice input based on proximity of persons
US10902461B2 (en) 2018-08-03 2021-01-26 International Business Machines Corporation Environmental modification using tone model analysis
US11889149B2 (en) 2018-09-11 2024-01-30 International Business Machines Corporation Intelligent mitigation of concentration conflicts
US11275350B2 (en) * 2018-11-05 2022-03-15 Endel Sound GmbH System and method for creating a personalized user environment
EP3657810A1 (en) * 2018-11-21 2020-05-27 Telefonica Innovacion Alpha S.L Electronic device, method and system for inferring the impact of the context on user's wellbeing
KR102607787B1 (ko) 2018-11-30 2023-11-30 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
EP3671724A1 (en) * 2018-12-17 2020-06-24 Nokia Technologies Oy Playback of personalised audio
US11270717B2 (en) * 2019-05-08 2022-03-08 Microsoft Technology Licensing, Llc Noise reduction in robot human communication
JP6763621B1 (ja) * 2019-10-16 2020-09-30 株式会社コードミー 香り情報提供装置、香り情報提供方法および香り提供容器
US11211080B2 (en) 2019-12-18 2021-12-28 Peiker Acustic Gmbh Conversation dependent volume control
US11694113B2 (en) 2020-03-05 2023-07-04 International Business Machines Corporation Personalized and adaptive learning audio filtering
US11238664B1 (en) * 2020-11-05 2022-02-01 Qualcomm Incorporated Recommendations for extended reality systems
US11977813B2 (en) * 2021-01-12 2024-05-07 International Business Machines Corporation Dynamically managing sounds in a chatbot environment
WO2023028018A1 (en) 2021-08-26 2023-03-02 Dolby Laboratories Licensing Corporation Detecting environmental noise in user-generated content
CN117275459B (zh) * 2023-09-15 2024-03-29 深圳市优讯佳电子科技有限公司 一种基于大数据服务的信息采集设备及信息采集方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013110736A (ja) 2011-10-28 2013-06-06 Nintendo Co Ltd 情報処理システム、サーバシステム、端末システム、情報処理プログラム、および、情報提示方法

Family Cites Families (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2359918A (en) 2000-03-01 2001-09-05 Sony Uk Ltd Audio and/or video generation apparatus having a metadata generator
US6647410B1 (en) 1999-11-05 2003-11-11 Reuters Limited Method, apparatus and program for delivery and display of information from dynamic and static data sources
WO2001050387A1 (en) 1999-12-30 2001-07-12 Umagic Systems, Inc. Personal advice system and method
US6680675B1 (en) 2000-06-21 2004-01-20 Fujitsu Limited Interactive to-do list item notification system including GPS interface
US6591198B1 (en) 2000-11-22 2003-07-08 Dell Products L.P. System and method for controlling noise outputs of devices in response to ambient noise levels
US20030078965A1 (en) 2001-08-22 2003-04-24 Cocotis Thomas A. Output management system and method for enabling printing via wireless devices
US8577839B2 (en) 2002-08-06 2013-11-05 Sheng Tai (Ted) Tsao Method and apparatus of dynamic updating web portals
US20070100666A1 (en) 2002-08-22 2007-05-03 Stivoric John M Devices and systems for contextual and physiological-based detection, monitoring, reporting, entertainment, and control of other devices
JP2007537511A (ja) 2004-04-30 2007-12-20 マイクロソフト コーポレーション 規則を用いたエンドユーザアプリケーションカスタマイズ
WO2006033104A1 (en) * 2004-09-22 2006-03-30 Shalon Ventures Research, Llc Systems and methods for monitoring and modifying behavior
CA2482240A1 (en) 2004-09-27 2006-03-27 Claude Choquet Body motion training and qualification system and method
US7464066B2 (en) 2004-10-26 2008-12-09 Applied Intelligence Solutions, Llc Multi-dimensional, expert behavior-emulation system
JP4513610B2 (ja) 2005-03-14 2010-07-28 ソニー株式会社 車載装置及び車載装置の制御方法
JP4535272B2 (ja) 2005-04-04 2010-09-01 株式会社デンソー 自動車用ユーザーもてなしシステム
US7519200B2 (en) 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
WO2007052285A2 (en) 2005-07-22 2007-05-10 Yogesh Chunilal Rathod Universal knowledge management and desktop search system
US20070247431A1 (en) 2006-04-20 2007-10-25 Peter Skillman Keypad and sensor combination to provide detection region that overlays keys
US7714908B2 (en) 2006-05-26 2010-05-11 Lifetouch Inc. Identifying and tracking digital images with customized metadata
US20080091515A1 (en) 2006-10-17 2008-04-17 Patentvc Ltd. Methods for utilizing user emotional state in a business process
US20080097979A1 (en) 2006-10-19 2008-04-24 International Business Machines Corporation System and method of finding related documents based on activity specific meta data and users' interest profiles
US20080183824A1 (en) 2007-01-29 2008-07-31 International Business Machines Corporation Methods for detaching an attachment file from a containing email message and generating metadata associated with the attachment file and the containing email message
US20090002939A1 (en) * 2007-06-29 2009-01-01 Eric Baugh Systems and methods for fan speed optimization
US20090002178A1 (en) 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
WO2009026289A2 (en) 2007-08-20 2009-02-26 Hmicro, Inc. Wearable user interface device, system, and method of use
US20090058819A1 (en) 2007-08-31 2009-03-05 Richard Gioscia Soft-user interface feature provided in combination with pressable display surface
US8462959B2 (en) * 2007-10-04 2013-06-11 Apple Inc. Managing acoustic noise produced by a device
KR101432177B1 (ko) 2008-01-21 2014-08-22 삼성전자주식회사 휴대용 장치 및 그 사진처리방법, 이를 포함하는사진처리시스템
US20100241663A1 (en) 2008-02-07 2010-09-23 Microsoft Corporation Providing content items selected based on context
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
EP2272015A4 (en) 2008-04-01 2011-09-14 Yahoo Inc OPEN FRAMEWORK FOR INTEGRATING AND ASSIGNING CONTENT OBJECTS AND INTERACTION WITH THEM
US9183281B2 (en) 2008-04-18 2015-11-10 International Business Machines Corporation Context-based document unit recommendation for sensemaking tasks
US20090265165A1 (en) 2008-04-21 2009-10-22 Sony Ericsson Mobile Communications Ab Automatic meta-data tagging pictures and video records
US9384186B2 (en) 2008-05-20 2016-07-05 Aol Inc. Monitoring conversations to identify topics of interest
US8683374B2 (en) 2008-06-24 2014-03-25 Microsoft Corporation Displaying a user's default activities in a new tab page
US20100153175A1 (en) 2008-12-12 2010-06-17 At&T Intellectual Property I, L.P. Correlation of Psycho-Demographic Data and Social Network Data to Initiate an Action
US8560267B2 (en) 2009-09-15 2013-10-15 Imetrikus, Inc. Identifying one or more activities of an animate or inanimate object
WO2011001002A1 (en) 2009-06-30 2011-01-06 Nokia Corporation A method, devices and a service for searching
DK3173014T3 (da) 2009-07-23 2021-09-13 Abbott Diabetes Care Inc Realtidsstyring af data vedrørende fysiologisk kontrol af glucoseniveauer
US8924254B2 (en) 2009-09-18 2014-12-30 Alpine Audio Now, LLC System and method for interactive advertisement augmentation via a called voice connection
US20160063532A1 (en) 2009-11-20 2016-03-03 Mobisave Llc System and method of electronically incentivizing healthy food purchasing
US9460422B2 (en) 2009-11-20 2016-10-04 Sears Brands, L.L.C. Systems and methods for managing to-do list task items to automatically suggest and add purchasing items via a computer network
US20110231770A1 (en) 2010-03-18 2011-09-22 Tovar Tom C Systems and methods for a temporary mechanism for selective blocking of internet content
US20110279359A1 (en) * 2010-05-12 2011-11-17 Rovi Technologies Corporation Systems and methods for monitoring motion sensor signals and adjusting interaction modes
US20170238859A1 (en) 2010-06-07 2017-08-24 Affectiva, Inc. Mental state data tagging and mood analysis for data collected from multiple sources
US8385057B2 (en) 2010-06-08 2013-02-26 Hewlett-Packard Development Company, L.P. Fully extendable dual-segmented housing assembly for mobile computing device
EP2397952A1 (en) 2010-06-15 2011-12-21 Axel Springer Digital TV Guide GmbH Profile based content retrieval for recommender systems
US9002924B2 (en) 2010-06-17 2015-04-07 Microsoft Technology Licensing, Llc Contextual based information aggregation system
US8270684B2 (en) 2010-07-27 2012-09-18 Google Inc. Automatic media sharing via shutter click
WO2012015404A1 (en) 2010-07-29 2012-02-02 Empire Technology Development Llc Acoustic noise management through control of electrical device operations
CN102622404A (zh) 2011-01-07 2012-08-01 微软公司 与组相关联的内容推荐
US8639719B2 (en) 2011-02-02 2014-01-28 Paul Tepper Fisher System and method for metadata capture, extraction and analysis
US9086798B2 (en) 2011-03-07 2015-07-21 Ricoh Company, Ltd. Associating information on a whiteboard with a user
US8849931B2 (en) 2011-03-15 2014-09-30 Idt Messaging, Llc Linking context-based information to text messages
WO2012139127A1 (en) 2011-04-08 2012-10-11 Wombat Security Technologies, Inc. Context-aware training systems, apparatuses, and methods
US9275079B2 (en) 2011-06-02 2016-03-01 Google Inc. Method and apparatus for semantic association of images with augmentation data
US20120316455A1 (en) 2011-06-10 2012-12-13 Aliphcom Wearable device and platform for sensory input
US9055276B2 (en) 2011-07-29 2015-06-09 Apple Inc. Camera having processing customized for identified persons
US20130052946A1 (en) 2011-08-23 2013-02-28 Manjirnath Chatterjee Home automation using a mobile device
WO2013040533A1 (en) * 2011-09-16 2013-03-21 Umami Co. Second screen interactive platform
US8885960B2 (en) 2011-10-05 2014-11-11 Microsoft Corporation Linking photographs via face, time, and location
US9035743B2 (en) 2011-12-01 2015-05-19 New York University Song selection based upon axial pen pressure
EP2790582A1 (en) 2011-12-16 2014-10-22 Koninklijke Philips N.V. History log of user's activities and associated emotional states
TWI482108B (zh) 2011-12-29 2015-04-21 Univ Nat Taiwan To bring virtual social networks into real-life social systems and methods
EP2801049B1 (en) 2012-01-08 2018-11-14 ImagiStar LLC System and method for item self-assessment as being extant or displaced
US8904018B2 (en) 2012-02-01 2014-12-02 International Business Machines Corporation Browser start pages based on remote content
US8533266B2 (en) 2012-02-14 2013-09-10 Google Inc. User presence detection and event discovery
US9171085B2 (en) 2012-03-07 2015-10-27 Ut-Battelle, Llc Personalized professional content recommendation
US20140353049A1 (en) 2012-03-11 2014-12-04 Monique S. Vidal Digital Scale to Measure Human Weight and to Determine and Display Suitable Dosage of a Medicament
US20130290347A1 (en) 2012-04-26 2013-10-31 Appsense Limited Systems and methods for providing data-driven document suggestions
WO2014005868A1 (en) 2012-07-02 2014-01-09 Alcatel Lucent Alarm clock based applications
KR20140011204A (ko) 2012-07-18 2014-01-28 삼성전자주식회사 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
US8965828B2 (en) 2012-07-23 2015-02-24 Apple Inc. Inferring user mood based on user and group characteristic data
CN103574837B (zh) * 2012-08-02 2016-09-07 青岛海尔空调电子有限公司 空调静音模式启动方法及空调
US10380606B2 (en) * 2012-08-03 2019-08-13 Facebook, Inc. Negative signals for advertisement targeting
US10068060B2 (en) 2012-08-16 2018-09-04 Ginger.io, Inc. Method for modeling behavior and psychotic disorders
EP2698685A3 (en) 2012-08-16 2015-03-25 Samsung Electronics Co., Ltd Using physical sensory input to determine human response to multimedia content displayed on a mobile device
US10068670B2 (en) 2012-08-16 2018-09-04 Ginger.io, Inc. Method for modeling behavior and depression state
US8812144B2 (en) * 2012-08-17 2014-08-19 Be Labs, Llc Music generator
US9795004B2 (en) 2014-04-14 2017-10-17 Abl Ip Holding Llc Learning capable lighting equipment
EP3702685A1 (en) * 2012-08-28 2020-09-02 Delos Living LLC Environmental control system and method of operation such system
US9640055B2 (en) 2012-09-21 2017-05-02 Google Inc. Interacting with a detected visitor at an entryway to a smart-home
US9881474B2 (en) 2012-09-21 2018-01-30 Google Llc Initially detecting a visitor at a smart-home
US9626841B2 (en) 2012-09-21 2017-04-18 Google Inc. Occupant notification of visitor interaction with a doorbell at a smart-home
US9600645B2 (en) 2012-09-21 2017-03-21 Google Inc. Smart invitation handling at a smart-home
US9978238B2 (en) 2012-09-21 2018-05-22 Google Llc Visitor options at an entryway to a smart-home
US9953514B2 (en) 2012-09-21 2018-04-24 Google Llc Visitor feedback to visitor interaction with a doorbell at a smart-home
US10332059B2 (en) 2013-03-14 2019-06-25 Google Llc Security scoring in a smart-sensored home
US20140089401A1 (en) 2012-09-24 2014-03-27 Google Inc. System and method for camera photo analytics
US20140129544A1 (en) 2012-11-02 2014-05-08 Google Inc. Using Metadata to Summarize Social Media Content
US9124966B2 (en) * 2012-11-28 2015-09-01 Qualcomm Incorporated Image generation for collaborative sound systems
US9317812B2 (en) 2012-11-30 2016-04-19 Facebook, Inc. Customized predictors for user actions in an online system
WO2014085910A1 (en) * 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
US20140180752A1 (en) 2012-12-21 2014-06-26 International Business Machines Corporation Interface to select application based on state transition models of work
CN105074742A (zh) 2012-12-30 2015-11-18 加里·斯蒂芬·舒斯特 全球联系人同步
US9953304B2 (en) 2012-12-30 2018-04-24 Buzd, Llc Situational and global context aware calendar, communications, and relationship management
US8824751B2 (en) 2013-01-07 2014-09-02 MTN Satellite Communications Digital photograph group editing and access
KR20140094336A (ko) 2013-01-22 2014-07-30 삼성전자주식회사 사용자 감정 추출이 가능한 전자기기 및 전자기기의 사용자 감정 추출방법
CN103065631B (zh) * 2013-01-24 2015-07-29 华为终端有限公司 一种语音识别的方法、装置
WO2014123328A1 (en) 2013-02-08 2014-08-14 Samsung Electronics Co., Ltd. Method and device for providing recommendation panel, and method and server for providing recommendation item
US9256637B2 (en) 2013-02-22 2016-02-09 Google Inc. Suggesting media content based on an image capture
US9692839B2 (en) 2013-03-13 2017-06-27 Arris Enterprises, Inc. Context emotion determination system
US20140334653A1 (en) * 2013-03-14 2014-11-13 Aliphcom Combination speaker and light source responsive to state(s) of an organism based on sensor data
US20140298364A1 (en) 2013-03-26 2014-10-02 Rawllin International Inc. Recommendations for media content based on emotion
US9639881B2 (en) 2013-05-20 2017-05-02 TCL Research America Inc. Method and system for personalized video recommendation based on user interests modeling
CN105247561A (zh) 2013-05-23 2016-01-13 艾弗诺泰普有限责任公司 用于协助个人、产品提供者和/或服务提供者的方法和系统
KR102124509B1 (ko) 2013-06-13 2020-06-19 삼성전자주식회사 청소 로봇 및 그 제어 방법
US20150006296A1 (en) 2013-06-26 2015-01-01 Qualcomm Innovation Center, Inc. NOTIFICATION DISMISSAL IN AN INTERNET OF THINGS (IoT) ENVIRONMENT
US9871865B2 (en) 2013-07-11 2018-01-16 Neura, Inc. Physical environment profiling through internet of things integration platform
US9910865B2 (en) 2013-08-05 2018-03-06 Nvidia Corporation Method for capturing the moment of the photo capture
CN203465576U (zh) * 2013-08-22 2014-03-05 福州众梦达智能科技有限公司 一种本地化物联家居控制系统
US10546326B2 (en) 2013-09-26 2020-01-28 Mark W. Publicover Providing targeted content based on a user's preferences
US20150105608A1 (en) 2013-10-14 2015-04-16 Rest Devices, Inc. Infant Sleeping Aid and Infant-Bed Accessory
US20150149390A1 (en) 2013-11-25 2015-05-28 Palo Alto Research Center Incorporated Method and system for creating an intelligent digital self representation
US9234757B2 (en) 2013-11-29 2016-01-12 Fedex Corporate Services, Inc. Determining node location using a variable power characteristic of a node in a wireless node network
US9848586B2 (en) * 2014-01-16 2017-12-26 GeoSolarHeat System and method for environmental control
WO2015138860A1 (en) 2014-03-13 2015-09-17 Halare, Inc. Systems, methods and apparatuses for the alleviation and outcome monitoring of sleep disordered breathing
US9898520B2 (en) 2014-03-25 2018-02-20 Open Text Sa Ulc Systems and methods for seamless access to remotely managed documents using synchronization of locally stored documents
US10110677B2 (en) 2014-05-06 2018-10-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Context-aware decision making
US20150356121A1 (en) 2014-06-04 2015-12-10 Commachine, Inc. Position location-enabled, event-based, photo sharing software and service
US20160063874A1 (en) 2014-08-28 2016-03-03 Microsoft Corporation Emotionally intelligent systems
US10540348B2 (en) 2014-09-22 2020-01-21 At&T Intellectual Property I, L.P. Contextual inference of non-verbal expressions
US10013900B2 (en) * 2014-09-23 2018-07-03 Amazon Technologies, Inc. Vehicle noise control and communication
US9733097B2 (en) 2014-10-31 2017-08-15 Toyota Jidosha Kabushiki Kaisha Classifying routes of travel
US10282475B2 (en) 2014-12-18 2019-05-07 Microsoft Technology Licensing, Llc Generation of browser suggestions based on internet of things device data
KR102339461B1 (ko) 2014-12-18 2021-12-15 삼성전자 주식회사 전자 장치의 텍스트 기반 컨텐츠 운용 방법 및 장치
TWI610185B (zh) 2014-12-22 2018-01-01 晨星半導體股份有限公司 相關資訊顯示方法以及可自動顯示相關資訊的電子裝置
US9769564B2 (en) * 2015-02-11 2017-09-19 Google Inc. Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US9946862B2 (en) 2015-12-01 2018-04-17 Qualcomm Incorporated Electronic device generating notification based on context data in response to speech phrase from user

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013110736A (ja) 2011-10-28 2013-06-06 Nintendo Co Ltd 情報処理システム、サーバシステム、端末システム、情報処理プログラム、および、情報提示方法

Also Published As

Publication number Publication date
GB201714395D0 (en) 2017-10-25
EP3256914A1 (en) 2017-12-20
US9769564B2 (en) 2017-09-19
CN107548474A (zh) 2018-01-05
KR102058660B1 (ko) 2019-12-23
US11910169B2 (en) 2024-02-20
JP2018512607A (ja) 2018-05-17
US20180007467A1 (en) 2018-01-04
DE112015006145T5 (de) 2017-10-26
KR20170117160A (ko) 2017-10-20
US20210051400A1 (en) 2021-02-18
WO2016130228A1 (en) 2016-08-18
GB2553682A (en) 2018-03-14
JP2021167950A (ja) 2021-10-21
US10425725B2 (en) 2019-09-24
US20200015006A1 (en) 2020-01-09
US20230092307A1 (en) 2023-03-23
US11516580B2 (en) 2022-11-29
GB2553682B (en) 2021-12-29
US20160234595A1 (en) 2016-08-11
EP3256914B1 (en) 2023-05-31
US10880641B2 (en) 2020-12-29
JP2020098338A (ja) 2020-06-25
CN107548474B (zh) 2021-06-15
JP7309783B2 (ja) 2023-07-18

Similar Documents

Publication Publication Date Title
JP7309783B2 (ja) 気分および/または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体
US11671416B2 (en) Methods, systems, and media for presenting information related to an event based on metadata
US20190197073A1 (en) Methods, systems, and media for personalizing computerized services based on mood and/or behavior information from multiple data sources
EP3256930B1 (en) Methods, systems, and media for recommending computerized services based on the movements of a pet in the user's environment
US11841887B2 (en) Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application
US20160232131A1 (en) Methods, systems, and media for producing sensory outputs correlated with relevant information

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200205

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200311

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210209

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210608

C116 Written invitation by the chief administrative judge to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C116

Effective date: 20210622

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210622

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220125

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20221018

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230628

R150 Certificate of patent or registration of utility model

Ref document number: 7305563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150