JP7202555B2 - パーソナライズされたユーザ環境を作成するためのシステム及び方法 - Google Patents

Description

関連出願の相互参照
本願はＰＣＴ国際特許出願として２０１９年１１月５日に出願され、２０１８年１１月５日に出願された米国仮特許出願第６２／７５５，７２５号（その特許の開示が本明細書に全体として参照によって組み込まれる）に対する優先権を請求する。

動揺及びストレスは日常生活で自然に発生し、多くの場合、生活の質を改善することが意図される技術革新は、しばしば、逆効果をもたらし、困難性、信頼性の欠如、及び変化が、革新によってもたらされる。決定を行う必要がある。予約を行う必要があり、予約を管理する必要がある。請求額を支払う必要がある。会議に出席する必要があり、プロジェクトを完了、精査、及び変更する必要がある。タイミング良く電話を呼び出し、電話に出る必要がある。新しい手順、技術、及びデバイスを実装する必要がある。これらから生じる動揺を克服する必要がある。

人々は、様々な方法でこれらのストレスを引き起こす問題に対処しようとする。その方法は、数例を挙げると、ストレスを無視すること、運動すること、フィクション本を読み取ること、瞑想すること、及び食べることを含む。しかしながら、これらの試みの多くは効果的でない。その理由として、それらの試みは、実際のストレスの多い環境で利用できない、または、それらの試みは、特定のストレスの原因もしくは個人の進化している環境に対応していないためである。個々の状態及び環境に関する情報を自動的及び動的にアクセスするためのシステムが必要とされ、本システムは、個々のユーザを集中もしくはリラックスさせるために、日中、個々のユーザの心を整えるために、またはその後、個々のユーザの緊張をほぐすことを助けるために、ユーザの環境の音及び／もしくは映像のパーソナライズされた伝送（複数可）ならびに／またはユーザの環境のパーソナライズされた制御を個々のユーザに提示する。

複数の実施形態は、人の個々の環境及び状態に対処するパーソナライズされた環境を作成するためのコンピュータ実施方法を対象とし、本方法は、複数のセンサから出力を受信することであって、センサは、ユーザの状態と、ユーザがアクティブになる環境とを検出し、受信されたセンサ出力は、少なくとも、ユーザ位置、ユーザの心拍数、ユーザの移動タイプ、及びユーザの天気についての情報を提供する、受信することと、センサの出力から、ユーザに関するアクション可能な記述を決定することと、決定済のアクション可能な記述から、ユーザモード、ユーザ状態、及びユーザコンテキストを決定することと、を含む。本方法は、さらに、ユーザプロファイルから、音、映像、または音及び映像の両方をユーザに提示するかどうかを決定することと、センサ出力、決定済のアクション可能なユーザ記述、決定済ユーザモード、決定済ユーザ状態、及び決定済ユーザコンテキストの１つ以上に基づいて、ユーザに提示される音及び／または映像を決定することと、決定済の音及び／または映像を、ユーザデバイスでユーザに提示することと、複数のセンサの１つ以上からの出力の変化に基づいて、決定済の音及び／または映像を自動的に修正することと、を含む。

追加の実施形態は、人の個々の環境及び状態に対処するパーソナライズされた環境を作成するためのシステムを対象とし、本システムは、ネットワーク音／映像サーバ、コンピュータ可読媒体、及びコンピュータ可読媒体に結合されるプロセッサを含む。プロセッサは、複数のセンサから出力を受信し、センサは、ユーザの状態と、ユーザがアクティブになる環境とを検出し、受信されたセンサ出力は、少なくとも、ユーザ位置、ユーザの心拍数、ユーザの移動タイプ、及びユーザの天気についての情報を提供し、センサの出力から、ユーザに関するアクション可能な記述を決定し、決定済のアクション可能な記述から、ユーザモード、ユーザ状態、及びユーザコンテキストを決定するように動作する。プロセッサは、さらに、ユーザプロファイルから、音、映像、または音及び映像の両方をユーザに提示するかどうかを決定し、センサ出力、決定済のアクション可能なユーザ記述、決定済ユーザモード、決定済ユーザ状態、及び決定済ユーザコンテキストの１つ以上に基づいて、ユーザに提示される音及び／または映像を決定し、決定済の音及び／または映像を、ユーザデバイスでユーザに提示し、複数のセンサの１つ以上からの出力の変化に基づいて、決定済の音及び／または映像を自動的に修正するように動作する。

さらなる実施形態は、コンピュータ可読命令を記憶する、信号を含まないコンピュータ可読媒体であって、プロセッサによって実行されるとき、人の個々の環境及び状態に対処するために、パーソナライズされた環境を作成することを提供し、コンピュータのプロセッサ上で実行する命令は、複数のセンサから出力を受信するステップであって、センサは、ユーザの状態と、ユーザがアクティブになる環境とを検出し、受信されたセンサ出力は、少なくとも、ユーザ位置、ユーザの心拍数、ユーザの移動タイプ、及びユーザの天気についての情報を提供する、受信するステップと、センサの出力から、ユーザに関するアクション可能な記述を決定するステップと、決定済のアクション可能な記述から、ユーザモード、ユーザ状態、及びユーザコンテキストを決定するステップと、を含む。追加のステップは、ユーザプロファイルから、音、映像、または音及び映像の両方をユーザに提示するかどうかを決定することと、センサ出力、決定済のアクション可能なユーザ記述、決定済ユーザモード、決定済ユーザ状態、及び決定済ユーザコンテキストの１つ以上に基づいて、ユーザに提示される音及び／または映像を決定することと、決定済の音及び／または映像を、ユーザデバイスでユーザに提示することと、複数のセンサの１つ以上からの出力の変化に基づいて、決定済の音及び／または映像を自動的に修正することと、を提供する。

本出願の追加の実施形態は、人の個々のストレス及び／または状態に対処するパーソナライズされた環境を作成するためのシステム及び方法を対象とし、本システム及び本方法は、複数のセンサから出力を受信することであって、センサは、ユーザのアクティビティと、ユーザがアクティブになる環境とを検出する、受信することと、複数のセンサの出力から、ユーザに関するアクション可能な記述を決定することと、決定済のアクション可能な記述から、ユーザモード、ユーザ状態、及びユーザコンテキストを決定することと、を含む。本システム及び本方法は、また、センサ出力、決定済のアクション可能なユーザ記述、決定済ユーザモード、決定済ユーザ状態、及び決定済ユーザコンテキストの１つ以上に基づいて、ユーザにブロードキャストされる音を決定することと、決定済のブロードキャスト音をユーザに提示することと、複数のセンサの１つ以上からの出力の変化に基づいて、決定済のブロードキャスト音を自動的に修正することと、を含む。複数の実施形態は、また、動いている視像及び色をユーザに提示するために、ブロードキャスト音で、またはブロードキャスト音の代わりに、ユーザにブロードキャストされる視覚表示を決定できる。追加の実施形態は、ユーザの決定済のモード、状態、及びコンテキストに基づいて、ユーザの環境の光及び温度を制御する信号を指向する。

さらに、複数の実施形態は、ユーザに有益があるように提示される音及び映像のパーソナライズを提供し、係るパーソナライズされた音及び映像の提示ならびに環境制御は、リアルタイムでユーザの位置において、いずれかのデバイスまたはプラットフォームのユーザに提示できる。ユーザに関連するセンサ情報に基づいてならびにユーザプロファイル及びユーザの嗜好情報に基づいて、音及び映像の提示をパーソナライズする。

現在の実施形態は、事前の気分を改善し、ユーザへの変更を必要または要求する時点でユーザ入力なしで、ユーザに自動的及び動的に提示するために、個々のノート、音、色、画像、及びアニメーションを選択することによって技術を作成及び改造する。実際の楽曲またはサウンドトラックは必要ではなく、また、ユーザによって指定されたプレイリストのいずれかも、またはユーザが選択するシステムによって提供されるプレイリストのいずれかも必要ではない。さらに、本システムは、受信されたセンサ入力の変化に動的に応答し、ユーザのモード、状態、及びコンテキストに好影響を及ぼすように、ユーザに利用可能である音、映像、及び／または環境を修正する。

本発明は他の特性及び利点を有し、その他の特性及び利点は、本明細書に組み込まれる添付の図面及び以下の「発明を実施するための形態」から明らかになり、またはそれらにより詳細に説明される。添付の図面及び「発明を実施するための形態」は、本発明の一定の原理を説明する役割を一緒に果たし、当業者が本明細書に開示される実施形態を構成及び使用することを可能にする。図面では、同様の参照数字は、同一要素または機能的に同様の要素を示す。

パーソナライズされた音、ビデオ、ライティング、及びユーザのための温度環境を作成するための方法を実施するためのネットワークの例示的なアーキテクチャを示す。 パーソナライズされた音、ビデオ、ライティング、及びユーザのための温度環境を作成するためのステップを示すフローチャートである。 ユーザの状態を表すアクション可能なユーザ記述を決定するための未加工の入力データを処理するためのプロセッサへのセンサ入力を示すフロー図である。 ユーザに提示するための音及び視覚メディアを順序付けるために決定済ユーザの状態に基づいて、ライブラリ入力を示すフロー図である。 ユーザに提示するための音及び視覚出力を作成するための情報の選択及びフローを示す。 ユーザのモード、状態、及びコンテキストに応答する音層の図を示す。 ユーザモードならびにセンサ入力及び環境入力に基づいて、ユーザに提示するための音層のチャートを示す。 センサ情報に基づいて、ユーザに提示される音及び映像への概日リズムの適用を示す。 複数のユーザデバイスに音及び映像を提示する適用を示す。 センサ情報に基づいて、ユーザデバイスで見るためにユーザに提示される例示的な映像表示を示す。 センサ情報に基づいて、ユーザデバイスで見るためにユーザに提示される例示的な映像表示を示す。 センサ情報に基づいて、ユーザデバイスで見るためにユーザに提示される例示的な映像表示を示す。 センサ情報に基づいて、ユーザデバイスで見るためにユーザに提示される例示的な映像表示を示す。

添付の図面は、必ずしも縮尺通りではなく、本発明の基本的な原理を示す様々な特性を若干簡略化した表現を提示することを理解されたい。例えば、特定の寸法、配向、位置、及び形状を含む、本明細書に開示される本発明の特定の設計特性は、特定の意図される利用環境及び使用環境で、当業者によって部分的に決定できる。

任意の適切なデータ伝送及びプレゼンテーション基準をサポートし、任意の適切なコンポーネントを使用する、説明される実施形態がいずれかの適切なタイプのネットワークシステムに実装できるが、特定の実施形態は、図１に示されるネットワーク等の例示的ネットワークに実装できる。あるいは、複数の実施形態は、センサ出力と、ユーザに音及び映像を提示するためのユーザ入力と、ユーザの環境のライティング及び温度の制御とを受信すると、ユーザデバイス１１４で行われることができる。

最初に図１を参照すると、パーソナライズされた音、映像、ライティング、及びユーザのための温度環境を作成するための方法を実施するためのネットワーク及びシステムの例示的なアーキテクチャが示される。例示的な実施形態において情報、データ、音、視像、及び制御信号の伝送が発生するネットワーク１０２は、限定ではないが、ローカルエリアネットワーク、広域ネットワーク、インターネット、ワールドワイドウェブ、無線周波数（ＲＦ）、ブルートゥース（登録商標）、及びクラウドベースネットワークを含む、いずれかのプライベートネットワークまたはパブリックネットワーク、有線ネットワークまたは無線ネットワークを含み得る。例示的なネットワーク音／映像サーバ１０４及び１つ以上のデータベース及び／またはストレージデバイス１０６、１０８、及び１１０が示される。図１に表示されるものよりも多いサーバ、多いデータベース、及び多いストレージデバイス１１０が存在し得、サーバは、最小限に、メモリ、ストレージメディア、少なくとも１つのプロセッサ、通信リーソスで構成され、データベース及びファイルは、サーバの外部にある、またはサーバと統合される。パーソナライズされた音／映像システムを利用するためのならびにパーソナライズされた音及び／または映像を個々のユーザに提示するための１つ以上のユーザデバイス１１４～１２０、プラットフォーム、またはチャネルがある。便宜上、限定しないで、ユーザは、まとめて、スマートフォン１１４として表される。システム１００は、センサデータ、環境情報、ユーザ入力、ならびにライブラリ音及び映像の分析と、ネットワーク音／映像サーバ１０４及びネットワーク１０２を経由して、デバイス１１４のユーザへのパーソナライズされた音及び／または映像の伝送とを行うことができる。さらに、システム１００は、ライティング及び温度センサの出力を受信することによって、ユーザのモード、状態、及び／またはコンテキストに好影響を及ぼすようにユーザの環境のライティング及び温度を制御するために、ユーザに最も近いライト及び加熱デバイスまたはエアコンに信号を送信することによって、ユーザの環境の制御を行うことができる。本システムは、少なくとも受信したセンサ出力に基づいて、ライティング及び温度を上げるまたは下げるべきかを決定でき、制御信号を生成し、デバイス１２６に伝送でき、ユーザの位置におけるライティング及び温度を制御する。あるいは、係るライティング変更及び温度変更は、最初に、制御信号を制御されるデバイスに伝送する前に、肯定応答及び／または同意のためにユーザに提示できる。制御信号は、ブルートゥース（登録商標）またはｗｉｆｉ等の通信によって伝送できる。パーソナライズされた音／映像システム１００は、ユーザデバイス及びネットワークサーバのそれぞれのストレージメディアの内部のソフトウェア、プログラム、及びルーチンにまで及ぶ。

パーソナライズされた音及び／または映像を受信、再生、及び表示するためのユーザデバイス１１４は、典型的に、スマートフォン１１４、携帯電話１１６、ポータブルタブレットまたはラップトップコンピュータ１１８、及びデスクトップコンピュータ１２０として示される。ユーザデバイス１１４の実施例は、限定ではないが、例えば、携帯電話、スマートフォン、携帯情報端末、電子ブックリーダ、ポータブル電子タブレット、パーソナルコンピュータ、及びラップトップコンピュータ等の無線ユーザ機器及び通信デバイスを含む。それぞれの典型的なユーザデバイス１１４は、最小限に、プロセッサ、プロセッサに結合されるメモリ、コンピュータ可読媒体、情報をユーザデバイス１１４に入力するための機構、ならびに情報、メッセージ、コマンドまたは命令、音及び／または映像を受信及び伝送するためのアンテナまたはプロセッサに結合される他の有線接続デバイスもしくは無線接続デバイスを備える。ユーザデバイス１１４のディスプレイは、システムによって要求されるユーザ情報と、ユーザの位置を含む環境に関連する情報とを入力するためのタッチスクリーン技術を含み得る。例えば、限定的ではなく、テキスト形式で、またはスクリーン上に表示されるアクションボタンもしくはユーザデバイス１１４の本体と統合されるアクションボタンにタッチすることによって、情報を入力できる。あるいは、物理キーボードもしくはタッチスクリーンキーボードを使用することによって、または音声によって、情報のユーザエントリを行うことができる。

複数のセンサデバイス１１２から出力及びを読取値は、音／映像システム１００によって、具体的には、ネットワーク音／映像サーバ１０４によって受信される。センサデバイス１１２から受信された情報及びデータは、ユーザに関連する情報と、ユーザが位置する環境とを含む。下記により詳細に説明されるように、このセンサデータを利用して、音及び映像の選択を補助し、ユーザに提示して、ライティング及び温度の変更を決定する。

あるいは、音／映像システム１００は、情報及びコマンドをユーザデバイス１１４から受信するための１つ以上の受信デバイス１２２及び１２４を含む。これらの受信デバイスは、まとめて、コンピュータ１２２として表される。受信デバイス１２２は、ユーザデバイス１１４と同じ方式の通信機構及び表示機構を有するいずれかのタイプのコンピューティングデバイスであり得る。リモートユーザデバイス１１４に関して上記に説明したように、多くの受信デバイス１２２のうちの１つは、システム１００と通信し、複数の異なるデバイスから、複数の異なる通信プロトコルを介して通信できる。図１では、全ての通信がネットワーク音／映像サーバ１０４を対象としていることが示されているが、例示的な実施形態はそのように限定されず、ユーザデバイス１１４から情報を受信し、音／映像をユーザデバイス１１４に提示するために、ユーザデバイス１１４と受信デバイス１２２との間でネットワーク１０２を経由して直接、通信を提供できる。

例示的な実施形態は、ネットワーク音／映像サーバ１０４で及びユーザデバイス１１４のコンピュータで、あるいは、受信デバイス１２２で実施される。コンピュータ可読命令及びコンピュータ実行可能命令またはソフトウェアは、音／映像システム１００の例示的な実施形態のステップを処理することを含む、例示的なデバイス１１４、１２２、及び１０４のコンピュータの処理を指示するために提供される。コンピュータ実行可能命令は、コンピュータ１１４、１２２、及び１０４ならびに／または当該コンピュータのそれぞれに関連付けられるプロセッサによって実行されるとき、ユーザデバイス１１４へのパーソナライズされた音及び／または映像の提示と、ユーザの環境の制御とを提供する。

１つ以上のストレージデバイス１０６、１０８、及び１１０は、ユーザデバイス１１４に提示される音及び映像を作るのに利用可能であるリーソスに関する情報を記憶するために提供される。この情報は、限定ではないが、ユーザプロファイル、ノートシーケンスファイル、未加工の音声ファイル、単一のノートサウンドのファイル、音調、楽器音、視像、ならびに様々な形状、色、及びアニメーションの視像を含む。記憶された情報は、また、ユーザに提示される過去の音及び映像と、ユーザの環境のライティング及び温度を制御するために伝送される過去の制御情報とを含み得る。ストレージデバイスは、例えば、ファイル、ライブラリ、及びディレクトリとしてデータ及び情報を保持できる。ユーザに提示される音及び映像を作るためにこの情報へのアクセス及びこの情報の使用法は、下記により詳細に説明される。

コンピュータ可読媒体はコンピュータストレージメディアを含み、コンピュータストレージメディアは、コンピュータ可読命令、データ構造、表示テンプレート、及び応答機の情報を含む情報を記憶するためのいずれかの方法または技術に実装される揮発性メディア及び不揮発性メディア、取り外し可能メディア及び取り外し不可能メディアを含む。コンピュータストレージメディアは、限定ではないが、磁気メディア（例えば、ハードディスク）、非一時的メモリ、光学メディア（例えば、ＤＶＤ）、メモリデバイス（例えば、ランダムアクセスメモリ）等を含む。いくつかの実施形態では、コンピュータ可読命令は、プロセッサによって実行されるとき、命令が、例示的なコンピュータ１１４、１２２、及び１０４のプロセッサに、下記に説明される音／映像システムのステップ（例えば、図２に示されるフローチャートを参照して下記に説明されるステップ）を行わせるように構成される。他の実施形態では、例示的なコンピュータ１１４，１２２，及び１０４は、命令を必要とすることなく、下記に説明されるステップを行うように構成される。したがって、本明細書に説明される本発明の実施形態の特性は、ハードウェア及び／またはソフトウェアの任意の適切な組み合わせで実施され得る。コンピュータストレージメディアは、搬送波またはいずれかの他の伝搬データ信号を含まない。

開示されるシステム及び方法の実施形態は、パーソナライズされた音、映像、ライティング、及び／または温度環境を作成し、ユーザをリラックス及び集中させることを助ける。リラックスモードは、ユーザの心理を落ち着かせ、快適性及び安心感の感情を誘発する心地良い音／映像を提供するように設計されている。集中モードは、ユーザが生産性を促進することと、長時間の集中を補助することとを助ける。動き回るモードまたは活動モードは、ユーザの個人の速度に適応することによって、ユーザの歩行及び走行を向上させる。スリープモードは、ユーザを熟睡させるパーソナライズされたホワイトノイズを発生させる。

一実施形態では、ユーザのためにパーソナライズされた音環境を発生させるための方法は、概日リズム、ペンタトニックスケール、及びサウンドマスキングに基づいている。生成された音、映像、及び制御信号は、いずれかのユーザ入力なしで、時刻、天気、心拍数、及び位置等の異なる入力に自動的に適応する。ユーザがユーザのデバイスのアプリケーションを開くと、プロセスが開始する。ユーザのデバイスは、好ましくは、インターネット等のネットワークに接続されるポータブルデバイスである。しかしながら、開示されるシステム及び方法は、ローカルストレージファイル、メディア、及びソフトウェアを用いて、ネットワークに接続されないユーザデバイスで、またはポータブルではないユーザデバイスで十分に行う。

ここで図２を参照すると、ユーザの環境及び状態に基づいて、パーソナライズされた音及び映像を作りユーザに提示するための及びユーザの環境を制御するための方法のフローチャートが示される。本発明は、人の個々の環境、モード、または必要なモード、状態、及びコンテキストに対処するために、パーソナライズされた環境を作成するための方法を提供し、本方法は、ユーザの環境及び状態を表すセンサデータを受信及び分析することと、音及び映像のライブラリとともに分析データを利用して、動的なパーソナライズされた音及び／または映像のストリームを作り、ユーザに提示することとを含む。ユーザに提示される音は、複数の組み合わせ及び層でノート、音、及び楽器音の作成された組成から構成される。この音の提示は、ユーザが選択及び／または聞くために既知の楽曲スコアまたは楽曲プレイリストを提示することと対照的である。それに応じて、ユーザに提示される映像は、色、ランダムな形状、画像、及びアニメーションの作成、ならびに係る色、形状、及び画像のフローから構成される。いくつかの実施形態では、ユーザに提示するために作成された映像は、回転式万華鏡に見られる画像と同様であり得る。以下に、本方法のステップは詳細に説明される。

ステップ２０２において、アプリケーションは、いくつかの質問及びカテゴリをユーザに提示し、ユーザプロファイルを設定する。プロファイルは、楽曲、ジャンル、音、アクティビティ、適性、趣味、画像、色、及び天気等に関連するユーザの好みを含み得る。本システムは、質問及び選択されたカテゴリに応答して、受信されたユーザ情報に基づいて、ユーザのプロファイルを構築する。許可が確認されると、ユーザはプロファイルを自由に変更できる。

ステップ２０４において、ユーザの環境及び状態に基づいて、音及び／または映像をシステムから受信する要求がユーザから受信される。要求は、音、映像、または音及び映像の両方が要求されているかどうかを示すことができる。また、要求は、ユーザに関するリラックスモード、集中モード、または動き回る（または活動）モードを提供するために、一定期間にユーザが要求している音／映像及び／またはユーザが明確に要求している音／映像等の特定のユーザ関連環境情報またはユーザ関連状態情報を示すことができる。あるいは、ユーザのプロファイルは、この情報を提供できる。また、ユーザは、特定の時刻もしくは曜日に、あるいは高い心拍数もしくは血圧、または長時間の運転等のユーザの特定の状態を決定すると、音／映像の提示を自動的に開始することを、システムに命令するプロファイルを設定できる。

ステップ２０６において、また、図３、図５、図８、及び図９を参照すると、アプリケーションは、センサ１１２から及びユーザから出力を受信し、それらの出力から、ユーザに関するアクション可能な記述を決定できる。係るアクション可能な記述は、ユーザモード、ユーザ状態、ユーザコンテキスト、及びユーザ物理的環境を含む。ユーザの決定済みのアクション可能な記述に基づいて、本システムは、ユーザの状態を決定でき、ユーザに好影響を与えるように、音、映像、ライティング変更、及び温度変更を決定できる。センサ１１２は、ユーザのデバイス１１４のグローバルポジショニング受信機（ＧＰＳ）等からの位置情報を提供できる。受信されたＧＰＳ情報は継続的であり得、それにより、本システムは、ユーザが静止中、歩行中、走行中、または運転中であるかどうかを決定できる。この情報を用いて、本システムは、ユーザに提示する音／映像、ならびに／またはユーザに関するライティング及び温度を変更する方法を部分的に決定できる。例えば、ユーザの静止状態は、ユーザが仕事中であり得ることを示唆し、本システムは、提示するために集中に関連する音／映像を選択する。同様に、ユーザが歩行中または走行中であると決定された場合、励ます（すなわち、アップビートの）音／映像は、提示するために選択できる。あるいは、ユーザは、リラックス音／映像が歩行に好ましいことを示すプロファイルを設定し得る。速度及び経路に基づいて（それらによってＧＰＳ信号が変化する）及び交通情報入力によって、ユーザが運転中であると決定された場合、提示するために、リラックス及び集中する音／楽曲の組み合わせを選択できる。また、本システムは、運転中にユーザの環境のライティング及び温度に影響を及ぼす制御信号を送信できる。さらに、位置情報により、どのチャネルまたはどのプラットフォームに、音／映像をユーザ（ユーザの仕事用コンピュータ、ユーザの携帯電話、またはユーザの自宅用コンピュータ等）に伝送するかを決定できる。本システムは、ユーザが位置する場所またはユーザが移動して向かう場所にかかわらず、ネットワークまたはクラウドベースサービスにわたって、ユーザにパーソナライズされた音、映像、及び／または制御信号の送達を提供するように適応する。おそらく、ユーザプロファイル及び好みに基づいて、相対的重要性及びセンサからの出力の影響を重み付けするためにパラメータを設定でき、例えば、高齢者ユーザの心拍数及び血圧により有意性を与える。

また、センサ１１２は、ユーザの心拍数及び／または血圧等の物理的情報を提供できる。他のセンサデータと結合される心拍数情報は、システムがユーザの状態及びユーザの変化状態（心拍数が増加または減少するとき等）を決定するのを助ける。本システムは、年齢、重量、及び運動の管理等のユーザのプロファイルの人に関して、またはユーザの心拍数の蓄積された履歴から、ユーザの心拍数を医療水準と比較できる。この比較は、ユーザのストレスが多いまたは少ない、ユーザの活発な運動への参加が多いまたは少ない、ユーザのリラックスが多いまたは少ないことを示唆できる。本システムは、ユーザに提示される音／映像及びライティング／温度制御を動的に調節し、ユーザをリラックスさせる環境を提供し、ユーザを良い状態で集中させ、ユーザにエネルギーを与えることを助け、ユーザが眠るのを助けることができる。同様に、ユーザの血圧は、水準またはユーザの履歴と比較して高い場合、心地良いまたはリラックスする音／映像を提示するべきであるストレス状態の信号を送信できる。

他のセンサ１１２は天気データを提供し、強風、過剰温度（高温または低温）、明るい光または暗い光、及び急速に変化する大気圧は、個々の気分及びストレスレベルに影響を及ぼし得ることを知らせる。ユーザが動いている環境を認識すると、本システムは、音／映像、ライティング制御、及び／または温度制御を提供し、ユーザの環境効果を計測でき、励ます音／映像を提供すること及び／もしくは微光に応答してライティングを増加させるために制御信号を伝送すること、または、検知している室内のライティングもしくはＧＰＳ信号に基づいて、ユーザが室内にいることを検知することと、温度を調節するために、制御信号を送信することと等が行われる。

さらなるセンサ１１２は、ユーザの歩幅、歩調、及び移動タイプに関するデータを提供する。係る情報は、より多いグローバルＧＰＳデータに加えて、ユーザが行っていることを決定することを助ける。この情報は、具体的に、ユーザはリラックスして歩行中である、時間どおりに約束を守るために急いでいる、階段を上っている、椅子に座っている、または走行中であるかどうかを決定することを助けることができる。クロックセンサからの日時情報と結合されるこの情報は、ユーザが仕事に関連して移動中であるとき、朝もしくは夜に走行中であるとき、または自宅でリラックスして座っているときを決定することを助けることができる。様々なセンサ情報は、システムが、ユーザが動いている環境及びユーザの状態を決定することを助け、これは、この情報を提供するために、ユーザに明確に質問することなく、全て動的に行われる。本システムは、リラックスさせる、やる気にさせる、励ます、動き回る等の音／映像及び環境を提供することによって、ユーザの状況を改善するために、音／映像ならびにライティング及び温度制御を自動的に選択することによって、この情報に応答する。

受信されたセンサ情報は、後続の分析及びユーザへの提示のためにデータのライブラリのユーザに提示される決定済の音及び映像と一緒に、ストレージデバイス１０６、１０８、または１１０に記憶できる。例えば、記憶された心拍数データは、ユーザの現在の心拍数と比較し、ユーザの現在の心拍数が高いまたは低いかどうかを決定できる。さらに、後続のユーザコメントまたは行動によって決定されるように、例えば、リラックスする、やる気にさせる、心地良い、または励ます音及び映像を提供するとき、過去に提示された音及び映像が成功するように指定される場合、過去に提示された音及び映像は、同様なユーザ状態で、後で提示するために分類できる。

ステップ２０８において、ユーザのアクション可能な記述は、ユーザ入力、ユーザプロファイル、及びセンサ出力に基づいて決定される。ユーザのモード、状態、及び／またはコンテキストは、受信されたセンサ情報あるいはユーザのプロファイルの情報の分析に基づいて決定される。上記に説明したように、分析したセンサデータ及びプロファイルデータにより、ユーザが、ストレスを感じる、リラックスしている、仕事中である、在宅中である、ジムにいる、リラックスする必要がある、集中する必要がある、励ます必要がある等かどうかを決定できる。さらに、ユーザは、ユーザの状態またはコンテキストを特定する入力を提供でき、ユーザは、システムがユーザの状態またはコンテキストに適切な音／映像を提供することを可能にし得る、または、ユーザは、提示される音／映像のタイプを明確に要求できる。ユーザの状態は、ストレスを感じる、リラックスしている、眠っている、走行中、集中する必要がある等のユーザの精神状態及び健康状態に関する。ユーザのコンテキストは、ユーザが仕事中である、屋外にいる、または野外にいるかどうか、ユーザがいる場所の天気、日付及び時刻、及びユーザの環境のライティングレベル及び温度等のユーザの環境に関する。ユーザの決定済モード、状態、及びコンテキストの組み合わせは、ユーザ状態と称され得る。

ステップ２１０において、ユーザの決定済または特定済の状態に基づいて、本システムは、ユーザのプロファイル及び特定入力に基づいて、ユーザに提示するための音及び映像を作成するための単一のストレージライブラリまたは複数のストレージライブラリから、音及び映像を抽出する。また、図４及び図５を参照すると、ステップ２０２に関して上述したように、未加工の入力５０２はユーザから受信され、それを処理し、ユーザプロファイル５０６を作成する。ユーザプロファイル、ユーザ入力、及び／またはセンサ情報から、５１０～５１４に示されるように、ユーザの動き及びモードを決定する。図２～図５に示されないが、本システムは、また、ユーザの状態を分析し、ユーザの環境のライティング及び温度に関して変更するべきかどうかを決定し、制御信号を生成し、それを伝送し、ユーザの環境のライティング及び／または温度の変更を行うことができる。

ステップ２１２において、本システムは、強度によって分割されるノートシーケンスファイル４０２のライブラリにアクセスする。ノートシーケンスファイルは、一般的に、１０～２０秒のノートシーケンスのランダムな楽譜であり、時間によって、決定済の変更するユーザ状態もしくはコンテキストによって、またはユーザ要求によって、提示が終了するまで、連続的に繰り返すことができる。選択されたスコア（複数可）は、ノート発生エンジン４０４のソフトウェアまたはファームウェアによって選択または作成され、ノート発生エンジン４０４は、また、決定済のユーザの状態またはコンテキストに基づいて、一連のノート及びノートシーケンスの期間を決定する。上記に説明したように、受信されたセンサ情報が変化するときまたはリフレッシュされるとき、ノートシーケンスの選択を動的に変更でき、ユーザの環境、状態、またはコンテキストの変化を反映する。例えば、ユーザの心拍数または血圧により、毎分のノートビートの形式でノートシーケンスのテンポが決定され、ユーザの血圧が比較的高いとき、またはユーザがストレスを感じていると決定されたとき、より遅いテンポが提示される。あるいは、本システムが移動、ＧＰＳ、及び／または心拍数に基づいて、ユーザが走行中であることを決定する場合、本システムは、ユーザに提示されるノートのテンポを増加できる。例えば、テンポは、５５～７０ビート／分で始まり、１００以上ビート／分まで増加し、走行中または運動中のユーザを励ますことができる。

ステップ２１４において、さらに、ノート発生器４０４は、ルール及び過去に成功したユーザへの提示に基づいて、どのノートを一緒にまたは次々に順序付けるかを決定する。例えば、極めて異なるピッチ、音調、または音のノートは、リラックスするまたは心地良い音を提供するために、一緒に順序付けられない一方、係るコントラストは、励ます音を提供するのに有用であり得る。ルール及び過去の提示に従って一緒に働くことが知られているノートに基づいて、音発生器４０４は最大４０ノートのシーケンスを作成でき、そのシーケンスを繰り返して提示できる、または提示の変化を提供するために、もしくはセンサ情報の変化に応答して再度順序付けできる。

ステップ２１６において、音の第３のソースは、単一のノートの未加工の音声ファイルから構成されるサウンドライブラリ４０６から選択される。再度、決定済の状態、コンテキスト、及び／またはユーザプロファイルにより、特定のノートが決定される。例えば、音階の下端におけるノートはより心地良い可能性があり、心地良い音またはリラックス音を提示するためのシステムによって選択される。音階の様々なノートは、スケーリングされたノート毎に、利用可能である楽器音をもたらすように、楽器音に半音階でマッピングできる。

ステップ２１８において、音の第４のソースは、決定済のユーザ状態、コンテキスト、及び／またはプロファイルに基づいて、サンプル音４０８のライブラリから選択される。これらのサンプル音は、自然音、ホワイトノイズ音、及び楽器音を含み得る。これらの音は一定期間に最大数分間生じ得、再度、決定済の状態、コンテキスト、及び／またはユーザプロファイルに基づいて選択される。例えば、走行中のユーザまたはやる気が必要なユーザに提示するためのより励ます音として、トランペット音を選択できる。複数のサンプルからの音はユーザに提示するために選択できる。

ノートシーケンスのそれぞれ及びステップ２１２～２１６からのノートは音層として見ることができ、１つ以上の層はユーザに提示される。追加層は、ステップ２１２～２１６からのノートシーケンス及びノートをステップ２１８の選択された楽器に適用することによって利用可能である。ステップ２２０において、また、図６及び図７を参照すると、特定の音層７０４は選択され、音をユーザに提示するために、リアルタイムミキサー４１０によって組み合わされる。特定層は選択を誘導するルールのセットに基づいて選択され、それにより、上記に説明したように、特定の選択されたノート及び楽器は決定済のユーザモード、状態、ユーザコンテキスト、またはユーザの好み及びプロファイルに適切になる。また、組み合わされた出力の層がテンポ及び強度に関して相互に調和するように層を選択する。ステップ２２２において、選択された層は、ユーザデバイス１１４でユーザに提示するために一緒に順序付けられる。

ステップ２２４において、音５２０の組み合わされた層は、ユーザが聞くためにユーザに提示される。映像を作成し、組み合わせ、ユーザが見るためにユーザに提示する。ライティング制御信号及び／または温度制御信号は、ユーザの肯定応答もしくは許可により、またはユーザの肯定応答もしくは許可なしのいずれかで、ユーザの位置に最も近いライティングデバイス及び加熱／冷却デバイスに伝送される。音と同様に、映像はストレージライブラリ５１８から選択され、ユーザの状態、コンテキスト、及び／または好みに基づいてアニメ化及びカラー化される。音５２０及び映像５２４の両方がユーザに提示されるとき、ステップ２２４において、音符、テンポ、及び強度が調和し、映像の色、画像、速度、及びアニメーションに一致するように、音５２０及び映像５２４を同時に提示する。図１０～図１３は、ユーザのデバイス１１４に提示される例示的な映像を示す。しかしながら、下記に説明するように、ユーザに提示される映像が伝送されないとき、センサ情報及び／またはユーザ入力に基づいて行われる状況がある。

また、本システムは、ユーザに提示される音量を決定できる。ユーザデバイス１１４は、単一の音、音の組み合わせ、音及び楽曲の組み合わせ、ならびに人間の話を含む組み合わせを検出するマイクロホンを含み得る。例えば、マイクロホンを利用して、ユーザのスペースのサウンドレベルを測定し、急な音量の変化に応答でき、音量を上げるまたは下げるのいずれかを行い、ユーザが聞き続けることを可能にする。新しい人声の検出により音量の減少を生じさせ、ユーザが提示された音により動揺することなく会話を行うことを可能にし得る。

ステップ２２６において、本システムは、１つ以上のセンサから受信された情報が変化していることを動的に決定し、ユーザに提示するために伝送される音及び／もしくは映像の変更、またはユーザのスペースのライティングもしくは温度を調節するための制御の変更を保証する。例えば、ユーザの位置が変化すると、ＧＰＳデータは、ユーザがジムから自宅まで運転中であることを示す。それに応じて、本システムはより集中及びリラックスさせるために音を変更し、交通に関するユーザのニーズ及び運動後に自宅でのリラックス時間を準備するためのユーザのニーズに注意を払う。本システムが、ユーザが運転中であり、交通状況に集中する必要があることを認識しているため、ユーザに提示するために映像が伝送されない。あるいは、ユーザを特定でき、または本システムは、ユーザが公共交通機関経路を利用しており、映像を受信及び見ることは問題ではないことを決定できる。同様に、本システムは、仕事中に、または、会議中もしくは電話会議中等の映像の提示により動揺するもしくは不適切であるいかなる場所で、音だけを提示することをユーザによって決定または命令できる。少なくとも決定済のユーザ状態及びユーザコンテキストに基づいて、人間による入力なしで、ステップ２１０～２２６を自動的に行う。

音／映像システムは、音／映像システムがセンサデータ及びユーザ入力を受信し続け、ユーザに提示される音／映像を自動的に調節し、センサデータ及び／またはユーザ入力として伝送される制御信号が変化する点で動的である。本システムは、センサごとに、センサから出力を一定に受信し、センサ出力を記憶し、直近に受信したセンサ出力を事前に記憶したセンサ出力と比較できる。特定のセンサの出力がその特定のセンサでかなり変化している場合、本システムは、変化の程度及び方向をシステム上のルールと比較可能できる、あるいは、ユーザのプロファイル及び好みと比較できる。センサ出力が、ユーザに提示される音及び／もしくは映像に対する変化または伝送されたライティング制御システムもしくは温度制御システムに対する変化を保証する範囲まで変化している場合、本システムは、その出力を更新し、修正した音、映像、及び／または制御信号を伝送できる。例えば、ユーザが静止したままである間にユーザの心拍数が増加していることは、ユーザはよりストレスを感じていることを示唆し、本システムは、自動的に、よりリラックスする音／映像を作り、その音／映像を提示することを開始する。同様に、ユーザが既に運転中ではなく、自宅またはジムに到着していることを示すユーザのＧＰＳ信号は、提示されるリラックスする音／映像（自宅でリラックスしている場合）または励ます音／映像（ジムで運動している場合）を示唆する。さらに、ライティングセンサまたは時刻によって、ユーザによりライティングが増加するように有益にし得る信号を送信でき、それによって、ライティング制御信号の発生及び伝送を生じ、ユーザの環境のライティングを増加させる。

本発明の特定の例示的な実施形態の前述の記述は、例証及び記述の目的のために提示されている。それらは、包括的であることを意図していなく、また、本発明を開示される詳細な形式に限定することを意図していなく、明らかに、多くの修正及び変形は、上記の教示を考慮すると可能である。本発明の一定の原理及びその実用的な適用を説明するために、例示的な実施形態を選び及び説明した。それによって、当業者が、本発明の様々な例示的な実施形態ならびにその実施形態の様々な代替及び修正を行い及びそれらを利用することが可能である。本発明の範囲は、本明細書に添付される「特許請求の範囲」及びその同等物によって定義されることが意図される。

Claims (20)

1. ユーザの環境及び状態に対処するパーソナライズされた環境を作成するためのコンピュータ実施方法であって、
   １以上のユーザ入力を取得し、前記１以上のユーザ入力の少なくとも一部分に基づいて、前記ユーザに応じたユーザプロファイルを生成することと、
   複数のセンサから出力を受信することであって、前記出力は、少なくとも、ユーザ位置、ユーザの心拍数、ユーザの移動タイプ、及びユーザの天気についての情報を提供し、
   前記複数のセンサの出力から前記ユーザの状態および前記ユーザがアクティブになる環境を決定することと、
   前記生成されたユーザプロファイルと、前記ユーザの環境および決定された前記ユーザの状態に基づいて、前記ユーザのアクション可能な記述を生成することと、
   前記アクション可能な記述は、少なくともユーザモード、ユーザ状態およびユーザコンテキストからなり、
   前記アクション可能な記述から複数の音、映像または音および映像の両方を決定することと、
   少なくとも部分的に前記アクション可能な記述に基づいて、複数のノートシーケンスファイルにアクセスすることと、
   前記複数のノートシーケンスファイルの少なくともサブセットのための１以上のシーケンスを決定することと、
   少なくとも部分的に前記アクション可能な記述から、複数の単一ノートを決定することと、
   少なくとも部分的に前記アクション可能な記述から、１以上のサンプル音を決定することと、
   前記１以上の複数の音または映像、前記１以上のシーケンス、前記１以上の複数の単一音および前記１以上のサンプル音を層化し、組み合わされた層を生成することと、
   ユーザデバイスで前記ユーザに前記組み合わされた層を提示することと、１以上の前記センサからの前記出力の変化に基づいて、前記組み合わされた層を自動的に修正する。
2. 前記センサ出力から、前記環境のライティング及び温度を決定することと、
   少なくとも部分的に、１以上の前記センサ出力及び決定済のアクション可能な前記ユーザの記述に基づいて、前記環境の前記ライティング及び／または前記温度を変更するかどうかを決定することと、
   前記環境の前記ライティング及び／または前記温度を変更するべきであることを決定すると、
   前記環境の前記ライティング及び前記温度を変更する制御信号を発生させることと、
   前記生成された制御信号を、前記環境の１以上の前記ライティング及び前記温度を変更するためのライティングデバイス、加熱デバイス、及び／または冷却デバイスに伝送することと、
   をさらに含む、請求項１に記載の方法。
3. 前記組み合わされた層の修正は、さらに以下を含む、
   前記センサ出力を事前に受信したセンサ出力と比較し、前記センサ出力が変化したかどうかを決定することと、
   前記センサ出力が変化していることを決定すると、前記センサ出力が、提示される前記組み合わされる層の１以上の層の変化を保証する範囲まで変化しているかどうかを決定することと、
   前記組み合わされた層に対する変化を決定すると、
   前記変更されたセンサ出力から、前記ユーザに関するアクション可能な記述の更新を決定することと、
   前記更新された決定済のアクション可能な記述から、前記ユーザモード、前記ユーザ状態、及び前記ユーザコンテキストを決定することと、
   前記ユーザプロファイルから前記更新されたアクション可能な記述に基づいて、前記複数の音、映像、前記１以上のシーケンス、前記１以上の複数の単一音、または1以上のサンプル音のうちの少なくとも更新された１つを決定することと、
   前記１以上のセンサ出力及び決定された更新済みのアクション可能な前記ユーザの記述に基づいて、提示されるべき更新済みの組み合わされた層を決定することと、
   前記更新済みの組み合わされた層を前記ユーザデバイスで前記ユーザに提示する、
   請求項１に記載の方法。
4. 音及び／または映像の好みを前記ユーザから受信することと、
   前記受信されたユーザの好みの変更に基づいて、前記組み合わされた層を自動的に修正することと、
   をさらに含む、請求項１に記載の方法。
5. 前記組み合わされた層の音量を決定することをさらに含む、請求項１に記載の方法。
6. 前記アクション可能な記述は、ユーザ物理的環境を含む、請求項１に記載の方法。
7. 前記複数のセンサは、
   クロック、
   カレンダー、
   温度計、
   歩数計、
   気圧計、
   レインセンサ、
   風センサ、
   心拍数モニタ、
   血圧計、
   マイクロホン、及び
   空間センサ、
   の１以上を含む、請求項１に記載の方法。
8. 前記受信された出力はリストから派生し、前記リストは、
   時間、
   日付、
   心拍数、
   血圧、
   天気、
   ユーザ位置、及び
   移動タイプ／移動速度、
   を含む、請求項１に記載の方法。
9. 前記複数のセンサの出力から前記ユーザの状態を決定するステップは、前記出力の少なくとも一部を分析して１以上のユーザの活動を推測するステップを含む、請求項１に記載の方法。
10. 前記１以上のユーザの活動は、静止、歩行、走行、運動、および運転を含む、請求項９に記載の方法。
11. 前記ユーザの状態を決定するステップは、1以上の推定されたユーザの活動に関する前記ユーザの移動タイプを決定するステップをさらに含み、前記ユーザの移動タイプは、リラックス、ストレス、活発、慌ただしい、および長期化していることを含む、請求項９に記載の方法。
12. 前記ユーザの移動タイプは、少なくとも部分的に、記憶されたセンサ出力に対する現在のセンサ出力を分析することによって決定され、前記現在のセンサ出力および前記記憶されたセンサ出力の両方は、前記ユーザに対応する、請求項１１に記載の方法。
13. 前記複数のセンサのうちの少なくとも1つが前記ユーザデバイスに配置される、請求項１に記載の方法。
14. システムであって、
    少なくとも１つのプロセッサと、
    命令を格納する少なくとも1つのメモリと、を含み、前記命令が実行されるとき、前記少なくとも1つのプロセッサは以下を実行する、
    １以上のユーザ入力を取得し、前記１以上のユーザ入力の少なくとも一部分に基づいて、前記ユーザに応じたユーザプロファイルを生成することと、
    複数のセンサから出力を受信することであって、前記出力は、少なくとも、ユーザ位置、ユーザの心拍数、ユーザの移動タイプ、及びユーザの天気についての情報を提供し、
    前記複数のセンサの出力から前記ユーザの状態および前記ユーザがアクティブになる環境を決定することと、
    前記生成されたユーザプロファイルと、前記ユーザの環境および決定された前記ユーザの状態に基づいて、前記ユーザのアクション可能な記述を生成することと、
    前記アクション可能な記述は、少なくともユーザモード、ユーザ状態およびユーザコンテキストからなり、
    前記アクション可能な記述から複数の音、映像または音および映像の両方を決定することと、
    少なくとも部分的に前記アクション可能な記述に基づいて、複数のノートシーケンスファイルにアクセスすることと、
    前記複数のノートシーケンスファイルの少なくともサブセットのための１以上のシーケンスを決定することと、
    少なくとも部分的に前記アクション可能な記述から、複数の単一ノートを決定することと、
    少なくとも部分的に前記アクション可能な記述から、１以上のサンプル音を決定することと、
    前記１以上の複数の音または映像、前記１以上のシーケンス、前記１以上の複数の単一音および前記１以上のサンプル音を層化し、組み合わされた層を生成することと、
    ユーザデバイスで前記ユーザに前記組み合わされた層を提示することと、１以上の前記センサからの前記出力の変化に基づいて、前記組み合わされた層を自動的に修正する。
15. 前記少なくとも１つのプロセッサによって実行されるとき、前記少なくとも１つのプロセッサに以下を実行させる命令をさらに含む請求項１４に記載のシステム、
    前記センサ出力から、前記環境のライティング及び温度を決定し、
    少なくとも部分的に、１以上の前記センサ出力及び決定済のアクション可能な前記ユーザの記述に基づいて、前記環境の前記ライティング及び／または前記温度を変更するかどうかを決定し、
    前記環境の前記ライティング及び／または前記温度を変更するべきであることを決定し、
    前記環境の前記ライティング及び前記温度を変更する制御信号を発生させ、
    前記生成された制御信号を、前記環境の１以上の前記ライティング及び前記温度を変更するためのライティングデバイス、加熱デバイス、及び／または冷却デバイスに伝送する。
16. 前記少なくとも１つのプロセッサによって実行されるとき、前記少なくとも１つのプロセッサに以下を実行させる命令をさらに含む、
    前記ユーザから音及び／または映像の好みを受信し、
    前記受信されたユーザの好みの変更に基づいて、前記組み合わされた層を自動的に修正する、請求項１４に記載のシステム。
17. 前記少なくとも１つのプロセッサによって実行されるとき、前記少なくとも１つのプロセッサに、前記組み合わされた層の音量を決定させる命令をさらに含む、請求項１４に記載のシステム。
18. 前記アクション可能な記述は、ユーザ物理的環境を含む、請求項１４に記載のシステム。
19. 前記複数のセンサの出力から前記ユーザの状態の決定は、１以上のユーザの活動を推測するための前記出力の少なくとも一部の分析を含む、請求項１４に記載のシステム。
20. 命令を記憶する少なくとも1つの非一時的なコンピュータ可読媒体であって、
    前記命令が実行されるとき、少なくとも１つのプロセッサに以下を実行させる、
    １以上のユーザ入力を取得し、前記１以上のユーザ入力の少なくとも一部分に基づいて、前記ユーザに応じたユーザプロファイルを生成することと、
    複数のセンサから出力を受信することであって、前記出力は、少なくとも、ユーザ位置、ユーザの心拍数、ユーザの移動タイプ、及びユーザの天気についての情報を提供し、
    前記複数のセンサの出力から前記ユーザの状態および前記ユーザがアクティブになる環境を決定することと、
    前記生成されたユーザプロファイルと、前記ユーザの環境および決定された前記ユーザの状態に基づいて、前記ユーザのアクション可能な記述を生成することと、
    前記アクション可能な記述は、少なくともユーザモード、ユーザ状態およびユーザコンテキストからなり、
    前記アクション可能な記述から複数の音、映像または音および映像の両方を決定することと、
    少なくとも部分的に前記アクション可能な記述に基づいて、複数のノートシーケンスファイルにアクセスすることと、
    前記複数のノートシーケンスファイルの少なくともサブセットのための１以上のシーケンスを決定することと、
    少なくとも部分的に前記アクション可能な記述から、複数の単一ノートを決定することと、
    少なくとも部分的に前記アクション可能な記述から、１以上のサンプル音を決定することと、
    前記１以上の複数の音または映像、前記１以上のシーケンス、前記１以上の複数の単一音および前記１以上のサンプル音を層化し、組み合わされた層を生成することと、
    ユーザデバイスで前記ユーザに前記組み合わされた層を提示することと、１以上の前記センサからの前記出力の変化に基づいて、前記組み合わされた層を自動的に修正する。

Images