JP6920449B2 - コンテンツ対話システム及び方法 - Google Patents

Description

〔優先権主張／関連事例〕
この国際特許出願は、その全体が組み込まれている「コンテンツ対話システム及び方法（ＣＯＮＴＥＮＴ ＩＮＴＥＲＡＣＴＩＯＮ ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ）」という名称の２０１７年６月２１日出願の米国一般特許出願第１５／６２９，６２１号、２０１８年５月１０日出願の米国一般特許出願第１５／９７６，５９０号、及び２０１８年５月１０日出願の米国一般特許出願第１５／９７６，５９９号の利益を主張するものである。

本発明の開示は、一般的に、５つの人間の感覚：触覚、嗅覚、聴覚、視覚、及び味覚を用いてコンテンツと対話するためのシステム及び方法に関する。

人間は、人間の体及び心の様々な部分によって感知される触覚を含む人間が環境を感知することができる６つの異なる感覚を有する。これらの６つの感覚は、１．感覚器官を通じて捕捉するもの全てを消費するための目、２．我々が聞く耳、３．我々が臭ぐ鼻、４．我々が食べて味わう口、５番目．触覚を通じて我々が感じる肌、及び６番目．心である感覚器官を含む。

ｏｎｏｔｅｓ．ｃｏｍ ｗｗｗ．ｕｌｔｒａｈａｐｔｉｃｓ．ｃｏｍ／ ｗｗｗ．ｎａｔｕｒａｌｍａｃｈｉｎｅｓ．ｃｏｍ／ ｗｗｗ．ｓａｍｓｕｎｇ．ｃｏｍ／ｕｓ／ｍｏｂｉｌｅ／ｖｉｒｔｕａｌ−ｒｅａｌｉｔｙ／ｇｅａｒ−ｖｒ／ｇｅａｒ−ｖｒ−ｓｍ−ｒ３２２ｎｚｗａｘａｒ／ ｗｗｗ．ｏｃｕｌｕｓ．ｃｏｍ／ｒｉｆｔ／ ／／ｓｉｍｐｌｅ．ｗｉｋｉｐｅｄｉａ.ｏｒｇ／ｗｉｋｉ/Ｌｉｓｔ_ｏｆ_ｅｍｏｔｉｏｎｓ＃／ｍｅｄｉａ／Ｆｉｌｅ：Ｐｌｕｔｃｈｉｋ−ｗｈｅｅｌ.ｓｖｇ ｗｗｗ．ａｎａｌｙｔｉｃｓｖｉｄｈｙａ．ｃｏｍ／ｂｌｏｇ／２０１４／１０／ｉｎｔｒｏｄｕｃｔｉｏｎ−ｋ−ｎｅｉｇｈｂｏｕｒｓ−ａｌｇｏｒｉｔｈｍ−ｃｌｕｓｔｅｒｉｎｇ／

典型的なテレビ、映画等のような既存のコンテンツシステムは、典型的に、ユーザが視覚及び聴覚を通じてコンテンツを体験することを可能にする。他のシステムは、ユーザが嗅覚又は味覚によってコンテンツを体験することを可能にする場合がある。更に、ユーザが触覚フィードバックシステムのような触覚を通じてコンテンツを体験することを可能にする既存のシステムがある。５つの感覚が統合されたコンテンツ体験を提供するために５つの感覚全てをデバイスに統合する公知のコンテンツシステムは存在しない。すなわち、既存システムの技術上の問題は、これらのシステムのどれも５つの感覚が統合されたコンテンツ対話を提供しないということである。ユーザが５つの異なる感覚を用いてコンテンツと対話することを個々に可能にするシステムは存在するが、今日までどれ１つとして、これらのシステムの全てを実際に互いに統合しておらず、これは、既存のシステムの各々が必ずしも相互に通信するわけではないので容易なことではない。

コンテンツ対話システム及び方法を示す図である。 コンテンツ対話システムの一部である対話型コンテンツ配信システムのより詳細な図である。 感覚ベースの対話型コンテンツを発生させる方法を示す図である。 感覚ベースの対話型コンテンツと対話する方法を示す図である。 芳香要素、仮想現実要素、及びタッチ要素を用いてコンテンツを学習する及び自動的にホットスポットするための技術の例を示す図である。 芳香要素をビデオコンテンツのシーンに接続するのにシステムによって使用されるマッピング技術の例を示す図である。 生産のためのデバイス形状因子、構成要素、及び可能な色の例を示す図である。 生産のためのデバイス形状因子、構成要素、及び可能な色の例を示す図である。 生産のためのデバイス形状因子、構成要素、及び可能な色の例を示す図である。 ベースボード、すなわち、論理構成要素を有するコンテンツ配信システムハードウエアを示す図である。 ビデオコンテンツが異なる感覚体験のホットスポットを用いてマップされたホットスポット画面の例を示す図である。

本発明の開示は、いずれかの画面に対してビデオコンテンツを再生するビデオオンデマンド・セットトップシステムに特に適用可能である。本発明の開示を説明するのは、この状況に関してのものである。しかし、本発明による五感とコンテンツとの関連付けは、専ら第三者ハードウエアデバイスと通信するいずれのハードウエアも持たない仮想ソフトウエアのみのシステムなどに対してより高い実用性を有することは認められるであろう。一実施形態では、システム及び方法は、五感である目、耳、鼻、口、及び皮膚に対して応じることができる。別の実施形態では、システム及び方法は、心は他の感覚よりも複雑なので六感全てに対して応じることができる。

システム及び方法は、ユーザの娯楽、買い物、及び教育体験を強化するために消費者の居間で最終的に接続されたデバイスを提供することができる。現在市販されている娯楽デバイス又はアプリケーションは、人間の五感全てには応じていないが、開示するシステム及び方法は、五感の各々に対して応じるよう設計されたモジュール／デバイスを統合することにより、消費者の好みに応じて五感全てに一緒に又は個々に応じる。システム及び方法は、五感の各々のためのデバイスをコンテンツに何が必要かに基づいて統合された体験に統合する。

一実施形態では、システムは、異なる感覚のためのビデオコンテンツを感覚バグで時間符号化するマーカで１片のコンテンツを符号化することができる。従って、システムは、デバイスの実施形態に応じて、様々な五感又は六感及び五感又は六感を用いたユーザによる対話をこれらの時間コードを使用して同期することができる。ユーザは、総合システム１００の一部である対話型コンテンツ配信システム１０６の一部であるクラウドベースのポータルインタフェース内に新規コンテンツを生成又は既存の第三者コンテンツをインポートする機能を有することになる。コンテンツがポータルインタフェース内にロードされた状態で、ポータルインタフェースが、コンテンツの様々なフレーム及びシーンを超えて移動する機能をもたらし、関連するセクションに関連の感覚バグでホットスポットすることができる。図９に示すように、要素９００／９０１は、感覚体験をコンテンツのシーン又はセグメントに取り付ける（ホットスポット設定する）ための機能を提供するユーザインタフェースシステムである。図面９０２は、いかに様々な感覚ホットスポットがビデオコンテンツに取り付けられ、追跡されるかを示している。システムは、これらのホットスポットをコンテンツに取り付けて格納するために動的なクラウドベースの同期技術を使用することができる。ホットスポットが、感覚バグによりコンテンツの関連セクションに関連付けられたら（以下に説明するように）、コンテンツのこの構成（特定のシーンのための時間スタンプ、ホットスポット、及び感覚バグを含む）は、クラウドプラットフォーム上（対話型コンテンツ配信システム１０６の一部であるストレージ要素１０６Ｃ内など）に格納することができ、第三者コンテンツ又はアップロードされたオリジナルコンテンツに対して時間コード関連付けとして関連付けられる。そのような１片の感覚符号化されたコンテンツが、インテリジェントビデオプレーヤ等のデバイス１０２によって再生されると、図１に示すデバイス１０２は、適切なシーン／フレームのための感覚バグを抽出し、画面上に視覚インジケータを表示することができる。システムにおいて、ユーザは、感覚バグと対話して感覚バグを起動し、コンテンツの追加の次元／感覚を体験することができる。感覚バグの一部は、不随意とすることができ、例えば、芳香バグは、ユーザにシステムと対話させる必要はなく、芳香マップ及び芳香グラフに基づいて、単独で不随意に作動する。ユーザ入力又はアクションを必要としない感覚バグは、不随意に実行されることになる。例えば、嗅覚バグに遭遇すると、デバイス１０２は、嗅覚ハードウエアモジュール１０４Ｂにメッセージを送信し、この対応する臭いを自動的に分散させ、この臭いがこれに従って混合されて分散されるようにする。一方、触覚に伴って生じる感覚バグは、ユーザがシステムに接近している必要があり、ユーザの準備ができた時にのみ起動されることになる。

一実施形態では、システムは、一緒に又は独立型システムとして個々に作動可能な感覚の各々のための異なるモジュール／デバイスを有することができる。モジュールの各々は、モジュール／デバイスが互いの上に積み重ねられた状態で、モジュール／デバイス間で電力及びデータを転送する１又は２以上のコネクタを有する。これらのシステムの考えられる組合せは複数存在する。

対話型コンテンツシステム及び方法は、様々な方法で収益を生み出す／伸ばすために用いることができる。例えば、システム及び方法において、ベースデバイス（例えば、図１のユーザ対話デバイス１０２）は、ベースデバイスに配信される／ベースデバイス内に格納されるコンテンツと対話することになる消費者に販売することができる。その後、システムは、ベースデバイスとは別に販売可能な又は広告主としてよって助成を受けた及びベースデバイスも販売する企業によって又は広告主としてよって販売可能な１又は２以上の追加の感覚デバイス（図１の例のデバイス１０４Ａ−１０４Ｅ）を有することができる。例えば、一実施形態では、対話型コンテンツに基づいて嗅覚応答を生成する嗅覚デバイス１０４Ｂ（例えば、嗅覚カートリッジなど）又は味覚デバイス１０４Ｃ（３Ｄ食品プリンタカートリッジなど）は、最初に第三者又は販売業者によって市販することができる。システムにおいて、広告主１０８は、感覚デバイス１０４Ａ−１０４Ｅの１又は２以上からの応答を生成することができる対話型コンテンツ内で広告を銘柄化して広告料を支払うことができる。映画作品とすることができる対話型コンテンツに関して、広告銘柄は、ロゴの設置、銘柄化コンテンツ等に対して代価を支払うことができる。

図１は、ユーザ対話デバイス１０２へのアクセスを有するユーザが人間の五感（例えば、視覚、触覚、嗅覚、味覚、及び聴覚）の１又は２以上を又は全てを用いてコンテンツと対話することができるコンテンツ対話システム及び方法１００を示している。システム１００は、人間の五感全てに対応する統合ユーザ体験を提供する。システムは、複数のユーザ対話デバイス１０２を有することができ、各ユーザ対話デバイス１０２は、人間の五感を用いてコンテンツと対話するために１又は２以上のユーザによって使用することができる。各ユーザ対話デバイス１０２は、例えば、ユーザがそれによって五感の１又は２以上を用いてコンテンツと対話することができるあらゆるデバイス（ベースデバイス）とすることができる。一例では、各デバイス１０２は、ユーザが視覚及び聴覚を用いてコンテンツと対話することを可能にするテレビとすることができ、ユーザ対話デバイス１０２は、ユーザが人間の五感を用いてコンテンツと対話することができるように１又は２以上の他の感覚デバイス（嗅覚デバイス１０４Ｂ、味覚デバイス１０４Ｃ、及び触覚デバイス１０４Ａ等）をユーザ対話デバイスに接続させることができる。他の実施形態では、ユーザ対話デバイス１０２は、５つの感覚デバイス各々をユーザ対話デバイス１０２内に構築させることができる。更に他の実施形態では、ユーザ対話デバイス１０２は、一部ではあるが全部ではない感覚デバイスをユーザ対話デバイス１０２内に構築させることができる。従って、ユーザ対話デバイス１０２は、ユーザがコンテンツと対話するのに使用可能なあらゆるデバイスとすることができ、ハードウエア、ソフトウエア、又は両方の組合せとすることができる。図１に示すように、各ユーザ対話デバイス１０２は、ユーザがユーザ対話デバイス１０２と対話することを可能にするユーザ入力デバイス１０３を（感覚デバイスに加えて）更に含むことができ、例えば、ユーザ対話デバイス１０２を起動させるための又はユーザ対話デバイス１０２の音量を変更するための遠隔デバイス等々である。

システム１００は、各ユーザ対話デバイス１０２に配信されるコンテンツを受信して五感対話型コンテンツを符号化する対話型コンテンツ配信システム１０６を更に含むことができる。対話型コンテンツ配信システム１０６は、サーバコンピュータ、他のハードウエアデバイス又はソフトウエア（コンピュータコードの複数の行）、又はハードウエア及びソフトウエアの組合せを用いて実施することができる。符号化処理の一部（以下でより詳細に説明）として、対話型コンテンツ配信システム１０６は、１又は２以上の時間スポット／マーカを生成し、これらをコンテンツ内に挿入し、コンテンツがユーザ対話デバイス１０２上で再生される時に感覚デバイスの１又は２以上をいつ起動すべきかを示すことができる。更に、１又は２以上の広告主１０８は、対話型コンテンツ配信システム１０６に接続して１又は２以上の広告を提示し、各ユーザ対話デバイス１０２に配信される予定のコンテンツ内で特定の時間スポット／マーカ（従って、特定の感覚デバイス及び感覚対話）に関連付けるための１又は２以上の広告に対して支払うことができる。例えば、食品会社は、嗅覚又は味覚デバイスのためのマーカに関連付けるための自己の広告に対して支払うことができる。これは、感覚対話型コンテンツ体験を収益化することができる１つの仕組みを提供する。

図１のシステムの実施形態では、ユーザ対話デバイス１０２は、ユーザ対話デバイス１０２に結合された感覚対話システム１０４を有することができる。上述のように、システムの他の実施形態は、感覚デバイス１０４Ａ−１０４Ｅのうちの１又は２以上をユーザ対話デバイス１０２内に埋め込ませることができる。感覚デバイスの各々は、触覚デバイス１０４Ａが触覚対話を提供することができ、嗅覚デバイス１０４Ｂが嗅覚対話を提供することができ、味覚デバイス１０４Ｃが口腔対話を提供することができ、聴覚デバイス１０４Ｄが聴覚対話を提供することができ、視覚デバイス１０４Ｅが視覚対話を提供することができるように、異なる感覚対話を生成することができる。上述のように、感覚デバイスの各々は、コンテンツ内のマーカ／時間スポットによってトリガすることができ、コンテンツは、感覚デバイス１０４Ａ−１０４Ｅの各々を個別にトリガするための独特なマーカ／時間スポットを含むことができる。一部の実施形態では、感覚対話システム１０４は、五感対話デバイスである図１の例には示していないマインド対話デバイスを更に含むことができる。例えば、コンテンツは、食品を表示することができ、表示された食品を生成するために味覚デバイス１０４Ｃをトリガするための時間スポットを有することができる。各デバイス１０４Ａ−１０４Ｅは、（図１に示すように）単一ハウジングに収容することができ、又は各感覚デバイス１０４Ａ−１０４Ｅは、相互に積み重ね可能／結合可能な異なるモジュール／ハウジングに収容することができる。従って、上述の例示的システムは、分離可能又は単一ユニットとして接続可能であり、分離される時には、最適な体験をもたらすために消費者の近くに存在することができる（例えば、嗅覚センサ又はタッチセンサ）複数の物理サブシステムを含む。結合された状態で、感覚デバイスは、単一ユニットとして一緒に作動させることができる。従って、例えば、特定のユーザのための初期システムは、感覚デバイスのうちの１−２個しか持たず、その後、ユーザが追加の感覚デバイスを購入／取得することができ、各ユーザは、トリガ可能な異なる数の感覚デバイスを有することができるが、配信される対話型コンテンツは、感覚デバイスの各々のためのマーカ／時間スポットを有することができる。

感覚デバイスの各々は、ハードウエア及びソフトウエアの組合せとして実施することができる。一例では、触覚デバイス１０４Ａは、触覚フィードバックデバイスとすることができ、嗅覚デバイス１０４Ｂは、起動に応答して特定の臭いを生成するデバイスとすることができ、味覚デバイス１０４Ｃは、起動に応答して食べ物を生成するデバイス（３Ｄフードプリンタ／電子レンジなど）とすることができ、聴覚デバイス１０４Ｄは、起動に応答して聴覚対話を生成することができ（一部の実施形態では、テレビのスピーカとすることができる）、視覚デバイスは、起動に応答して視覚対話を生成することができる（一部の実施形態では、テレビの画面とすることができる）。感覚対話デバイス１０４Ａ−１０４Ｅの各々は、特別製造のデバイスとすることができ、又は市販の在庫品とすることができる。例えば、市販のデジタル嗅覚センサ（嗅覚デバイス１０４Ｂとして使用可能）は、引用によって本明細書に組み込まれているＶａｐｏｒ Ｃｏｍｍｕｎｉｃａｔｉｏｎ及び現在はｏｎｏｔｅｓ有限会社と呼ばれる企業から利用可能なＣｙｒａｎｏ製品とすることができる（更に別の情報は、ｏｎｏｔｅｓ．ｃｏｍで利用可能）。別の一例として、触覚デバイス１０４Ａは、ＵｌｔｒａＨａｐｔｉｃｓ社製品を用いて実施することができる（更に別の情報は、引用によって本明細書に組み込まれているｗｗｗ．ｕｌｔｒａｈａｐｔｉｃｓ．ｃｏｍ／で利用可能）。別の一例として、味覚デバイス１０４Ｃは、Ｎａｔｕｒａｌ Ｍａｃｈｉｎｅｓ，Ｉｎｃ．製の市販のＦｏｏｄｉｎｉ製品を用いて実施することができる（更に別の情報は、引用によって本明細書に組み込まれているｗｗｗ．ｎａｔｕｒａｌｍａｃｈｉｎｅｓ．ｃｏｍ／で利用可能）。聴覚機能は、セットトップボックス内に組み込まれた標準高精細サウンド処理システムによって提供される。それが提供するオーディオは、消費者のスピーカシステムによって再生される。視覚機能は、ＴＶシステムによって再生される。しかし、高度な仮想現実体験は、（限定ではないが）Ｓａｍｓｕｎｇ社のＧｅａｒ ＶＲ（ｗｗｗ．ｓａｍｓｕｎｇ．ｃｏｍ／ｕｓ／ｍｏｂｉｌｅ／ｖｉｒｔｕａｌ−ｒｅａｌｉｔｙ／ｇｅａｒ−ｖｒ／ｇｅａｒ−ｖｒ−ｓｍ−ｒ３２２ｎｚｗａｘａｒ／）、又はＯｃｕｌｕｓ Ｒｉｆｔ（ｗｗｗ．ｏｃｕｌｕｓ．ｃｏｍ／ｒｉｆｔ／）のような第三者のＶＲヘッドセットシステム上で作り出される。

上述の実施形態への代わりとして、システム１００は、商品セットトップボックス（ＳＴＢ）又はＵＳＢスティック上で実行されるソフトウエアを含むユーザ対話デバイス１０２を用いて実施することができ、感覚デバイス１０４は、システムが感覚デバイス１０４と対話して類似の没入体験を作り出すことができる適切なハードウエアとすることができる（例えば、第三者の嗅覚センサ）。

嗅覚デバイス１０４Ｂに関して、嗅覚に関連するマーカ／ホットスポットは、コンテンツ内のシーンに基づいて１対１でマップするか、又はユーザの芳香の好み及び関連するコンテンツの嗅覚マップ上で導出される芳香グラフに基づいてコンテンツに関連付けることができる。コンテンツベースのジャンル及び他の属性の好みに関連付けられる感覚マップ又はガイドが生成される。これに代えて、嗅覚特性は、テーマ中心のコンテンツの芳香グラフ及び芳香マップを生成させ、この両方は、コンテンツが再生されている間に一緒にマージされて芳香パレットを生成することになる。芳香グラフは、芳香の強さを示し、芳香マップは、特定の芳香トリガが特定のコンテンツ内のどこで起動されるかを定義する。嗅覚デバイス１０４Ｂは、コンテンツ内のホットスポットを識別するビデオエディタ内に埋込可能なインポート／エクスポートオプションを有することができる。

一実施形態では、触覚デバイス１０４Ａ（デジタルタッチ機能）は、超音波技術に基づく場合があり、コンテンツ上に描画された物体に基づいて触覚フィードバックをエミュレート又はシミュレートすることができる。例えば、大きいモニュメント又はビルのシーンがある映画において、触覚フィードバックは、ビルの小型模型に触れている感触をエミュレートすることができ、この体験がリアルタイムに創造される。

より詳細には、対話型コンテンツ配信システム１０６は、１片のコンテンツ（ビデオ又は他の１片のコンテンツ）を取り出す／取得することができ、このコンテンツをプラットフォーム内にアップロードするか、又はビデオリンクをＹｏｕＴｕｂｅ、Ｖｉｍｅｏ、及びＮｅｔｆｌｉｘ等の外部システムから引き出すことができる。対話型コンテンツ配信システム１０６は、ビデオフレームに追加のセンサアイコン（バグ）をマーク付けする（ホットスポット）機能を提供することになるシステムの一部であるクラウドプラットフォームとすることができる。マーク付けされたコンテンツが、上述のシステムを通じて再生されると、関連するマーキングされた没入体験を作り出すことになる。例えば、ビデオが再生されると、システムは、一連のビデオフレーム上でマーカを検出して、画面上に「感覚バグ」を可視的に表示し、デバイスに関連付けられたデジタル的な臭いか又はデジタル的な感触を生成するために適切なセンサを起動することになる。重要な革新は、マーカ技術があらゆるビデオコンテンツに対して外部であり、従って、いずれか／全ての第三者ビデオコンテンツにマーク付けすることが可能になり、それにより、あらゆるコンテンツから感覚対話型なコンテンツを発生させることができることである。

図１に示す要素に加えて、システム１００は、ユーザの関心に基づくユーザの脈拍の高まり又はスパイクを識別して捕捉するのに使用可能な神経科学ヘルメットを更に含むことができる。このデバイスからのこのデータを用いて、特定の各１片のコンテンツ内でユーザの関心を決定することができる。

システム１００において、１片の対話型コンテンツが上述のようにユーザ対話デバイス１０２上で再生される時に、マーカは、自動的に起動することができる。これに代えて、特定の感覚対話のための各マーカは、ソリューションの性質に基づいてユーザの入力によって起動することができる。例えば、嗅覚トリガは自動的に起動するが、（仮想現実システムのような）触覚感覚は、ユーザの選択に基づいて起動することができる。

一実施形態では、ユーザ入力デバイス１０３は、ユーザがシステムと対話することになる動作ベースの感覚入力デバイスとすることができる。それにより、消費者は、ユーザ対話デバイス１０２を仮想現実体験と一緒に制御するためのオプションを選択することができるようになる。

触覚デバイス１０４Ａは、仮想現実（ＶＲ）デバイスとすることができる。コンテンツがＶＲ世界又はＶＲシーンのためのマーカを有し、シーンがコンテンツに対してマーキングされることを前提とすれば、システムは、以下に限定されるものではないが、モバイルＶＲ機能を有することができる。一実施形態では、ＶＲマーカが再生されると、「シーンバグ」が現れて、ユーザは、画面を大型スクリーンデバイスからモバイルＺ５アプリに転送する機能を有し、ＶＲデバイス上にＶＲコンテンツを直ちに表示することになる。ユーザは、デバイスを自身のＶＲギア内に挿入してＶＲ世界を見る機能を有することができる。モバイルアプリケーションは、ＶＲコンテンツがヘッドセット上に表示されている間、メインＺ５システム上での再生の一時停止及び再開ができるほど十分にスマートである。「シーンバグ」画面はまた、ＶＲモバイルアプリ又はＶＲシステム内にも現れることができ、セッション中にＺ５デバイスとモバイルアプリ又はＶＲシステムとの間でシームレスなハンドオーバが存在する。デバイス（モバイル＆ＴＶ）間の対話型ＶＲ転送は、モバイルと車のＢｌｕｅｔｏｏｔｈ技術の間の通話転送のように行うことができ、視聴しながら友人にソーシャルでコンテンツを転送するために使用することもできる。

味覚デバイス１０４Ｃは、メインシステム又は第三者システムの一部である３Ｄプリンタとすることができる。コンテンツに基づいて、３Ｄプリントマーカが存在する場合に、それは、望ましい食品をプリント（出力）する機能を有する。システムにおいて、料理コンテンツは、マーカに関連付けられ、目玉の料理番組に基づいている。選択された品目は、番組中又は番組後にデバイスによって印刷されることになる。システムは、品目を印刷するのにかかる時間を理解するほど賢く、事前準備又はプリントを実行するので、品目は、番組中に準備が整っている。例えば、忙しい両親の場合に、下校した時の子どものためのクッキー及びスナックのプリント時間をＴＶの時間の後にするように遠隔で決定することができる。システムはまた、コマーシャル中、後、又は合間に消費者の注目を引くための食品見本を生成するために広告主及び銘柄とのパートナーシップを有することができる。

図２は、コンテンツ対話システム１００の一部である対話型コンテンツ配信システム１０６の更なる詳細を示している。対話型コンテンツ配信システム１０６は、１又は２以上の追加の要素を更に含むことができ、対話型コンテンツ配信システム１０６のこれらの要素の各々は、ハードウエア又はソフトウエアを用いて実施することができる。要素がハードウエアを用いて実施される場合に、各要素は、ハードウエアデバイス、専用マイクロコントローラなどとすることができる。要素がソフトウエアを用いて実施される場合に、要素は、複数行のコンピュータコード／命令とすることができ、これらは、メモリに格納されて、要素（ブレードサーバ、サーバコンピュータ、クラウドコンピュータリソース等）をホストするクラウドリソースのプロセッサによって実行することができるので、クラウドリソース／コンピュータシステムは、要素の作動及び処理を実行するように構成される。対話型コンテンツ配信システム１０６は、感覚のためのコンテンツ符号化エンジン１０６Ａ、感覚対話型コンテンツ配信エンジン１０６Ｂ、並びにコンテンツストレージ及び感覚符号化されたコンテンツのストレージ１０６Ｃを更に含むことができる。感覚のためのコンテンツ符号化エンジン１０６Ａは、コンテンツ内の異なるシーンにある時間スタンプ、ホットスポット、及び感覚バグで新規片のコンテンツ又は第三者コンテンツの符号化を実行してこのコンテンツを感覚対話型にする。例えば、感覚のためのコンテンツ符号化エンジン１０６Ａは、認可されたユーザがコンテンツ（新規コンテンツか又は第三者コンテンツかに関係なく）を時間スタンプ、ホットスポット、及び感覚バグで編集／符号化することを可能にするツール／ユーザインタフェースを提供することができる。感覚対話型コンテンツ配信エンジン１０６Ｂは、ユーザによって閲覧されるコンテンツに基づいて、適切な感覚符号化されたコンテンツを、有線又は無線が可能な通信パスを通ってシステム１００の各ユーザに配信することができる。コンテンツストレージ及び感覚符号化されたコンテンツのストレージ１０６Ｃは、生コンテンツ（新規コンテンツか又は第三者コンテンツかに関係なく）及び感覚符号化されたコンテンツを格納することができるので、生コンテンツをシステムのユーザによって符号化することができ、感覚符号化されたコンテンツをシステムの各デバイス１０２に配信することができる。

図３は、感覚ベースの対話型コンテンツを発生させる方法３００を示している。一例では、上述の感覚のためのコンテンツ符号化エンジン１０６Ａを使用して本方法を実行することができる。しかし、方法３００はまた、本発明の開示の範囲に収まると考えられる異なる／他のハードウエアを用いて実行することができる。本方法において、コンテンツが読み出され（第三者コンテンツの場合）又は生成される（新規コンテンツの場合）（３０２）。次にコンテンツは、コンテンツの１又は２以上のシーンに関して、時間スタンプ、ホットスポット、及び感覚バグで符号化され（３０４）、異なる感覚対話型を１片のコンテンツ内に符号化する。各ホットスポット及び／又は感覚バグは、いずれの感覚デバイスがトリガされるか及びどのような応答が感覚デバイスに期待されるかに関するデータを含むことができる。例えば、嗅覚デバイスのためのホットスポットは、嗅覚デバイスによって生成される特定の臭いに関するデータ／命令を含むことができる。同様に、他の感覚デバイスのためのホットスポット及び／又は感覚バグは、類似のデータを有することになる。次に本方法は、感覚符号化されたコンテンツを各ユーザ対話デバイス１０２に配信することができる（３０６）。

図４は、感覚ベースの対話型コンテンツと対話する方法４００を示している。一例では、本方法は、ユーザ対話デバイス１０２及び感覚対話システム１０４の組合せによって実行することができる。しかし、方法３００も、本発明の開示の範囲に収まると考えられる異なる／他のハードウエアを用いて実行することができる。本方法において、特定の１片の符号化されたコンテンツをユーザ対話デバイス１０２上で再生することができる（４０２）。上述のように、コンテンツ内に埋め込まれたホットスポット及び感覚バグは、不随意にトリガされる又はユーザアクションによってトリガすることができる。従って、コンテンツ内のホットスポットが特定の感覚デバイスを起動して（４０４）、この特定の感覚デバイスが応答を生成することができる（４０６）。例えば、嗅覚デバイスの場合に、感覚デバイスは、ホットスポット又は感覚バグに基づいて臭いを放出することができる。

図５は、芳香、仮想現実、及びタッチ要素でコンテンツを学習して自動的にホットスポットする方法５００を示している。ユーザは最初に、上述のように、システムを用いて手動ホットスポット設定（コンテンツ内にホットスポットを手動で挿入）を実行することができる（５０１）。コンテンツシステムは、ユーザが挿入したホットスポットについて学習してフィードバックを取得するので（５０３）、システムは、（アルゴリズム又は機械学習技術を用いて）学習して手動ホットスポット設定に加えて自動ホットスポット設定（５０４）を提供することができる。一実施形態では、クラスター化アルゴリズム等のアルゴリズムが、ホットスポット及びマーカを学習し（５０２）、次に自動的に感覚デバイスを待ち行列に入れるので、デバイス１０２及び感覚システム１０４は、以前に符号化された感覚コンテンツを必要とする代わりに１片のコンテンツを直ちに符号化することができる。このタイプの学習及び自動ホットスポット設定は、芳香に限定されることなく、全ての感覚に関して可能である。

図６は、芳香要素をビデオコンテンツのシーンと接続するためにシステムによって利用されるマッピング技術６００の例を示している。従って、図６は、自動ホットスポット設定するのに使用可能な図５に関連して上記で参照したアルゴリズムの例を示している。システムは、他の感覚デバイスの自動ホットスポット設定のために類似の処理／方法を有することができることに注意しなければならない。アルゴリズムは、マッピング６０１を実行し、この場合に、システムは、どれくらいの持続時間にわたってどこで所与の芳香を再生するかを決定するために３つの要素を考慮する。図示のように、各芳香は、いずれかの所与のコンテンツ上の感情にマップすることができる。リンク（／／ｓｉｍｐｌｅ．ｗｉｋｉｐｅｄｉａ.ｏｒｇ／ｗｉｋｉ/Ｌｉｓｔ_ｏｆ_ｅｍｏｔｉｏｎｓ＃／ｍｅｄｉａ／Ｆｉｌｅ：Ｐｌｕｔｃｈｉｋ−ｗｈｅｅｌ.ｓｖｇ）上に示すような人間の感情のリストからの部分集合が、コンテンツを通して捕捉される。これらの感情は、クラウドベースのポータル上で管理者又は消費者によって手動でマップされる。しかし、マッピングを学習して重大情報を静的に収集した後は、システム、アルゴリズムは、感情、芳香、及び持続時間のタプル６０１をクラスター化アルゴリズム６０２にマップし、このアルゴリズムが、このデータに対してランダムフォレスト及びＫ近傍法のような一連のクラスター技術を実行し、いずれかの所与の一連の感情に対する適切な芳香タプルを決定する。ビデオ上で使用されるオーディオトラックの音声認識又は従来技術を通じて感情にタグ付けすることも可能である。例えば、それが提供するシステムは、［楽しい］という感情を［ラベンダー］の香りでマップすることができる。このマッピングは、様々なビデオにわたって行われた数千の手動マッピングの全てから学習することで導出される。自動クラスター化の価値は、単一感情の単一香りへのマッピングを決定するだけでなく、一連の隣接する感情及び隣接する香りも決定することである。ここでは、以下のリンク（ｗｗｗ．ａｎａｌｙｔｉｃｓｖｉｄｈｙａ．ｃｏｍ／ｂｌｏｇ／２０１４／１０／ｉｎｔｒｏｄｕｃｔｉｏｎ−ｋ−ｎｅｉｇｈｂｏｕｒｓ−ａｌｇｏｒｉｔｈｍ−ｃｌｕｓｔｅｒｉｎｇ／）に説明するものに類似する近傍クラスター化アルゴリズムをフィードバック、並びに学習して導出された挙動を組み込む機能と一緒に使用する。

図７Ａ−７Ｃは、デバイスの生産のための形状因子、構成要素、及び可能な色の例を示している。例えば、図７Ａは、図１に示すようなユーザインタフェースデバイス１０２、感覚システム１０４、及び／又は別々の感覚デバイス１０４Ａ−１０４Ｅの各々に関して使用可能な異なる色の全てを示している。図７Ｂは、互いの上に積み重ねられた３つの感覚デバイスモジュールを有する感覚システム１０４の別の例を示しており、味覚デバイス１０４Ｃとして外部３Ｄプリンタを含むこともできる。図７Ｃは、互いの上に積み重ねられた４つの感覚デバイスモジュール及び味覚デバイス１０４Ｃとして取り付け式３Ｄプリンタを有する感覚システム１０４の更に別の例を示している。本発明の開示により及び上述のように、感覚デバイスの多くの異なる構成が可能であり、システムは、いずれかの特定の構成に制限されない。

図８は、ベースボード８００、すなわち、論理構成要素を含むコンテンツ配信システムハードウエアを示している。ビデオ（視覚）／再生感覚システムは、システムの中心であり、「ベース（Ｂａｓｅ）」と呼ばれ、この例を図８に示している。ベース８００は、図８に示す他のシステム及び様々なハードウエア要素に必要な電力及び充電機構を含むことができる。ベースはまた、感覚バグ関連付けを抽出して他のシステム及び感覚デバイスに指令を分散させることができるインテリジェントなビデオプレーヤを含むこともできる。ベースは、ハードウエア又はソフトウエアの形態で存在することができる。嗅覚及び触覚システムは、ベースの上に積み重ねることができ、誘導性非触覚式機構又は触覚ベースの電力コネクタによって充電することができる。３Ｄ食品プリント構成要素が隣接しており、上述の機構によって電力供給されることになる。３Ｄ食品プリント構成要素はまた、キッチン内にあってホームコネクテッドデバイスとＷＩＦＩを通じて通信することができる。これらは、Ｂｌｕｅｔｏｏｔｈ ｌｏｗ ｅｎｅｒｇｙ又は発見可能なＷＩＦＩノードのような近接プロトコルを通じて通信する。システムは、個別に作動し、互いの上に積み重ねられた状態でモジュールの残りと同期する。ベースシステムは、自己の感覚ハードウエア構成要素又は第三者ハードウエア構成要素に関してディスカバリを定期的に実行する。走査でデバイスが検出されると自動的に加入が求められ、セキュリティ特権に応じて加入作動が認可される。

システム１００及び感覚システム１０４の構成は、例えば、以下とすることができる：
・第三者のセットトップボックス上で実行され、第三者の感覚デバイスを検出するベースシステムソフトウエア、
・第三者供給の他の感覚デバイスの全てを検出して通信するベースシステムハードウエア及びソフトウエア、
・いくつかの自己の感覚デバイスと共に第三者デバイスを伴うベースシステム、
・ベース及び全感覚システムを含む自己所有のシステム一式。

以上の説明は、説明目的のために特定の実施形態を参照して説明したものである。しかし、上述の例証的な説明は包括的なものではなく、又は開示する厳密な形態に本発明の開示を限定するものではない。上述の教示に照らして多くの修正及び変更が可能である。実施形態は、本発明の開示の原理及びその実際の応用を最も良く説明するように選択して説明しており、それにより、当業者は、考えられる特定の使用に適するような様々な修正と共に本発明の開示及び様々な実施形態を最も良く利用することができるようになる。

本明細書に開示するシステム及び方法は、１又は２以上の構成要素、システム、サーバ、電気製品、他の従構成要素を通じて実施することができ、又はそのような要素間に分散させることができる。システムとして実施される場合に、そのようなシステムは、取りわけ、汎用コンピュータ内に見られるソフトウエアモジュール、汎用ＣＰＵ、ＲＡＭ等の構成要素を含む及び／又は伴う場合がある。サーバ上にイノベーションが存在する実施では、そのようなサーバは、汎用コンピュータ内に見られるようなＣＰＵ、ＲＡＭ等の構成要素を含む又は伴う場合がある。

これに加えて、本明細書のシステム及び方法は、上記に説明するもの以外の異種の又は全く異なるソフトウエア、ハードウエア、及び／又はファームウエア構成要素による実施を通じて達成することができる。そのような他の構成要素（例えば、ソフトウエア、処理構成要素等）及び／又は本発明に関連するか又はこれを具現化するコンピュータ可読媒体に関しては、例えば、本明細書のイノベーションの態様は、多くの汎用又は専用コンピュータシステム又は構成と一致するように実施可能である。本明細書のイノベーションと共に使用するのに適する様々な例示的コンピュータシステム、環境、及び／又は構成は、以下に限定されるものではないが、パーソナルコンピュータ内の又はパーソナルコンピュータ上に具現化されたソフトウエア又は他の構成要素、経路指定／接続構成要素等のサーバ又はサーバコンピュータデバイス、手持ち式又はラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、消費者電子デバイス、ネットワークＰＣ、他の既存のコンピュータプラットフォーム、上述のシステム又はデバイス等の１又は２以上を含む分散型コンピュータ環境を含むことができる。

一部の事例では、システム及び方法の態様は、例えば、そのような構成要素又は回路に関連して実行されるプログラムモジュールを含む論理部及び／又は論理命令を通じて達成される又はこれらによって実行することができる。一般的に、プログラムモジュールは、本明細書の特定のタスクを実行する又は特定の命令を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含むことができる。本発明はまた、分散型ソフトウエア、コンピュータ、又は通信バス、回路、又はリンクを通じて回路が接続される回路設定との関連でも実施可能である。分散型設定では、制御／命令は、メモリストレージデバイスを含むローカル及び遠隔の両方のコンピュータストレージ媒体から行うことができる。

本明細書のソフトウエア、回路、及び構成要素はまた、１又は２以上のタイプのコンピュータ可読媒体を含む及び／又は利用することができる。コンピュータ可読媒体は、そのような回路及び／又はコンピュータ構成要素上に常駐し、これらに関連付けられ、又はこれらによってアクセス可能ないずれかの利用可能な媒体とすることができる。一例としてかつ以下に限定されるものではないが、コンピュータ可読媒体は、コンピュータストレージ媒体及び通信媒体を含むことができる。コンピュータストレージ媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータ等の情報の格納のためにいずれかの方法又は技術を用いて実施される揮発性及び不揮発性、着脱可能及び着脱不能な媒体を含む。コンピュータストレージ媒体は、以下に限定されるものではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又は他の光学式ストレージ、磁気テープ、磁気ディスクストレージ又は他の磁気ストレージデバイス、又は望ましい情報を格納するのに使用可能でコンピュータ構成要素によってアクセス可能なあらゆる他の媒体を含む。通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、及び／又は他の構成要素を含むことができる。更に、通信媒体は、有線ネットワーク又は直接有線接続等の有線媒体を含むことができるが、本明細書のいずれのそのようなタイプの媒体も一時的媒体は含まない。上述のいずれの組合せもコンピュータ可読媒体の範囲に含まれる。

本説明において、構成要素、モジュール、デバイス等の語は、様々な方法を用いて実施可能ないずれかのタイプの論理的又は機能的ソフトウエア要素、回路、ブロック及び／又は処理を指すことができる。例えば、様々な回路及び／又はブロックの機能を相互に組み合わせてあらゆる他の数のモジュールにすることができる。各モジュールは、有形メモリ（例えば、ランダムアクセスメモリ、読取専用メモリ、ＣＤ−ＲＯＭメモリ、ハードディスクドライブ等）上に格納されたソフトウエアプログラムとして実施することさえも可能であり、これは、本明細書のイノベーションの機能を実施するために中央演算処理装置によって読み出される。これに代えて、モジュールは、伝送搬送波を通じて汎用コンピュータに又は処理／グラフィックハードウエアに送信されるプログラミング命令を含むことができる。同じく、モジュールは、本明細書のイノベーションによって包含される機能を実施するハードウエア論理回路として実施することができる。最後に、モジュールは、専用命令（ＳＩＭＤ命令）、フィールドプログラマブル論理アレイ、又は望ましいレベルの性能及びコストを提供するこれらのいずれかの混合物を用いて実施可能である。

本明細書に開示するように、本発明の開示に一致する特徴は、コンピュータハードウエア、ソフトウエア、及び／又はファームウエアを通じて実施することができる。例えば、本明細書に開示するシステム及び方法は、例えば、データベース、デジタル電子回路、ファームウエア、ソフトウエア、又はその組合せも含むコンピュータ等のデータプロセッサを含む様々な形式に具現化することができる。更に、開示する実施の一部では、特定のハードウエア構成要素について説明しているが、本明細書のイノベーションに一致するシステム及び方法は、ハードウエア、ソフトウエア、及び／又はファームウエアのいずれかの組合せを用いて実施することができる。更に、本明細書のイノベーションの上述の特徴及び他の態様及び原理は、様々な環境を用いて実施することができる。そのような環境及び関連するアプリケーションは、本発明による様々なルーチン、処理、及び／又は作動を実行するように特別に構築することができ、又は必要な機能を提供するためのコードによって選択的に起動される又は再構成される汎用コンピュータ又はコンピュータプラットフォームを含むことができる。本明細書に開示する処理は、いずれかの特定のコンピュータ、ネットワーク、アーキテクチャ、環境、又は他の装置に内在的に関連するわけではなく、ハードウエア、ソフトウエア、及び／又はファームウエアの適切な組合せによって実施することができる。例えば、様々な汎用機械は、本発明の教示に従って説明したプログラムに使用することができ、又は望ましい方法及び技術を実行するために専用装置又はシステムを構築することがより好都合である場合がある。

本明細書に説明する方法及びシステムの態様、例えば、論理部は、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）、プログラマブルアレイ論理（「ＰＡＬ」）デバイス、電気的にプログラマブル論理及びメモリデバイス、及び標準的なセルベースのデバイス等のプログラマブル論理デバイス（「ＰＬＤ」）、並びに特定用途向け集積回路を含む様々な回路のいずれかにプログラムされた機能として実施することもできる。態様を実施するためのいくつかの他の可能性は、メモリデバイス、メモリ（ＥＥＰＲＯＭ等）を有するマイクロコントローラ、内蔵型マイクロプロセッサ、ファームウエア、ソフトウエアなどを含む。更に、態様は、ソフトウエアベースの回路エミュレーションを有するマイクロプロセッサ、離散論理部（連続及び組合せ）、カスタムデバイス、ファジー（ニューラル）論理部、量子デバイス、及び上述のデバイスタイプのいずれかの混成において具現化することができる。基本になるデバイス技術は、様々な構成要素タイプ、例えば、相補型金属酸化物半導体（「ＣＭＯＳ」）のような金属酸化物半導体電界効果トランジスタ（「ＭＯＳＦＥＴ」）技術、エミッタ結合論理部（「ＥＣＬ」）のようなバイポーラ技術、ポリマー技術（例えば、シリコン共役ポリマー及び金属共役ポリマー金属の構造）、及びアナログ及びデジタル混合等において提供することができる。

本明細書に開示する様々な論理部及び／又は機能は、ハードウエア、ファームウエアのあらゆる数の組合せを用いて、及び／又は様々な機械可読又はコンピュータ可読媒体に具現化されるデータ及び／又は命令として、これらの挙動、レジスタ転送、論理構成要素、及び／又は他の特性に関して可能にすることができる点にも注意しなければならない。そのようなフォーマット設定されたデータ及び／又は命令を具現化することができるコンピュータ可読媒体は、以下に限定されるものではないが、様々な形式（例えば、光学式、磁気、又は半導体ストレージ媒体）の不揮発性ストレージ媒体を含むが、ここでも一時的媒体は含まない。説明を通して「ｃｏｍｐｒｉｓｅ」及び「ｃｏｍｐｒｉｓｉｎｇ」等の語は、関連が明らかにそれ以外を要求しない限り、限定的又は包括的な意味とは対照的な包括的な意味、すなわち、「以下に限定されるものではないが、含む」の意味で解釈しなければならない。単数又は複数を使用する語も、複数又は単数をそれぞれ含む。これに加えて、「本明細書に」、「以下に」、「上述の」、「以下の」という語及び類似の意味の語は、この出願のいずれかを特定の部分ではなくこの出願を全体として参照している。「又は」という語が２又は３以上の項目のリストに関連して用いられる場合に、当該語は、当該語の以下の解釈、すなわち、リスト内の項目のいずれか、リスト内の項目の全て、及びリスト内の項目のいずれかの組合せの全てを網羅する。

本発明の特定の現在好ましい実施について本明細書で特に説明したが、本発明が関連する当業者には、本発明の精神及び範囲から逸脱することなくここに図示して説明した様々な実施の変形及び修正を加えることができることは明らかであろう。従って、本発明は、法律の適用規則によって要求される範囲だけに限定されることを意図している。

以上は、本発明の開示の特定の実施形態を参照したが、本発明の開示の原理及び精神から逸脱することなく実施形態に変更を加えることができ、本発明の開示の範囲は特許請求の範囲によって定められることは当業者によって認められるであろう。

３００ 感覚ベースの対話型コンテンツを発生させる方法
３０２ コンテンツを取り出す段階
３０４ 感覚対話のためにコンテンツをホットスポットを用いて符号化する段階
３０６ 符号化されたコンテンツをユーザ対話デバイスに配信する段階

Claims (23)

1. コンテンツ対話システムであって、
   複数の片の対話型コンテンツを格納し、かつ少なくとも１片の対話型コンテンツをユーザデバイスに配信する対話型コンテンツ配信システムであって、各片の対話型コンテンツが、該片の対話型コンテンツを通して分散された複数の感覚マーカを有し、該感覚マーカが、触覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す触覚マーカと、嗅覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す嗅覚マーカと、味覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す味覚マーカと、聴覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す聴覚マーカと、視覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す視覚マーカとを含み、対話型コンテンツの片内の各感覚マーカが、該片の対話型コンテンツを通して分散された各特定の感覚マーカとのユーザ対話によって起動される前記対話型コンテンツ配信システム、
   を含み、
   前記ユーザデバイスは、前記片の対話型コンテンツをユーザに表示するディスプレイと、該ユーザが該片の対話型コンテンツの前記感覚マーカと対話して前記感覚マーカを起動することを可能にするデバイスとを有し、
   コンテンツ対話システムが、更に、
   前記ユーザデバイスに結合され、前記対話型コンテンツ内の前記特定の感覚マーカが起動されるのに応答して感覚応答をトリガする感覚対話システムであって、該感覚応答が、触覚応答、嗅覚応答、味覚応答、聴覚応答、及び視覚応答のうちの２又は３以上である前記感覚対話システム、
   を含み、
   前記感覚対話システムは、前記ユーザが、触覚デバイスを用いて、トリガされた前記触覚応答に応答して、前記触覚を用いて前記対話型コンテンツと対話するように該対話型コンテンツ内の前記触覚マーカに同期される触覚デバイスと、該ユーザが、嗅覚デバイスを用いて、トリガされた前記嗅覚応答に応答して、前記嗅覚を用いて該対話型コンテンツと対話するように該対話型コンテンツ内の前記嗅覚マーカに同期された信号を発する嗅覚デバイスと、該ユーザが、味覚デバイスを用いて、トリガされた前記味覚応答に応答して、前記味覚を用いて前記片のコンテンツと対話するように該対話型コンテンツ内の前記味覚マーカに同期された信号を発する味覚デバイスと、該ユーザが、聴覚デバイスを用いて、トリガされた前記聴覚応答に応答して、前記聴覚を用いて該片のコンテンツと対話するように該対話型コンテンツ内の前記聴覚マーカに同期された信号を発する聴覚デバイスと、該ユーザが、視覚デバイスを用いて、トリガされた前記視覚応答に応答して、前記視覚を用いて該片のコンテンツと対話するように該対話型コンテンツ内の前記視覚マーカに同期された信号を発する視覚デバイスとを更に含み、前記触覚デバイス、嗅覚デバイス、味覚デバイス、聴覚デバイス、及び視覚デバイスの各々が、個別のハウジングを有し、かつ互いに結合される、
   ことを特徴とするコンテンツ対話システム。
2. 前記感覚対話システムは、前記ユーザデバイス内に埋め込まれることを特徴とする請求項１に記載のシステム。
3. 各感覚デバイスが、該感覚デバイスに関連付けられた前記感覚を前記対話型コンテンツのシーンの上に自動的にマップすることを特徴とする請求項１に記載のシステム。
4. 各感覚デバイスが、該感覚デバイスに関連付けられた前記感覚を前記対話型コンテンツのシーン及び前記感覚応答の持続時間の上にマップするタプルを発生させることを特徴とする請求項３に記載のシステム。
5. 前記感覚対話システムは、前記片の対話型コンテンツ内に感覚マーカを自動的に発生させることを特徴とする請求項１に記載のシステム。
6. 前記対話型コンテンツ配信システムは、前記片の対話型コンテンツ内に埋め込まれる１又は２以上の感覚マーカを発生させるユーザインタフェース要素を更に含むことを特徴とする請求項１に記載のシステム。
7. 前記対話型コンテンツ配信システムは、１片のコンテンツを取り出して該片のコンテンツのための前記複数の感覚マーカを符号化して少なくとも１片の対話型コンテンツを発生させるコンテンツ符号器エンジンを更に含むことを特徴とする請求項１に記載のシステム。
8. 前記片の対話型コンテンツは、新規片のコンテンツ及び第三者片のコンテンツのうちの一方であることを特徴とする請求項７に記載のシステム。
9. 感覚ベースの対話型表示デバイスであって、
   １片の対話型コンテンツをユーザに表示するディスプレイを有するユーザデバイスであって、該片の対話型コンテンツが、該片の対話型コンテンツの該コンテンツを通して分散された複数の感覚マーカを有し、該感覚マーカが、触覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す触覚マーカと、味覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す味覚マーカと、嗅覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す嗅覚マーカと、聴覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す聴覚マーカと、視覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す視覚マーカと、を含み、対話型コンテンツの片内の各感覚マーカが、該片の対話型コンテンツを通して分散された各特定の感覚マーカとのユーザ対話によって起動される前記ユーザデバイス、
   を含み、
   前記ユーザデバイスは、前記片の対話型コンテンツをユーザに表示するディスプレイと、該ユーザデバイスに結合された感覚対話システムが感覚応答をトリガするように該ユーザが該片の対話型コンテンツの前記感覚マーカと対話して前記感覚マーカを起動することを可能にするデバイスとを有し、
   該感覚応答は、
   該ユーザが、起動された触覚応答に応答して、触覚感覚を用いて該対話型コンテンツと対話するために触覚デバイスを使用するように該対話型コンテンツ内の前記触覚マーカに同期された触覚デバイスを使用する触覚応答と、
   該ユーザが、起動された嗅覚応答に応答して、嗅覚感覚を用いて該対話型コンテンツと対話するために嗅覚デバイスを使用するように該対話型コンテンツ内の前記嗅覚マーカに同期された信号を発する嗅覚デバイスを使用する嗅覚応答と、
   該ユーザが、起動された味覚応答に応答して、味覚感覚を用いて前記片のコンテンツと対話するために味覚デバイスを使用するように該対話型コンテンツ内の前記味覚マーカに同期された信号を発する味覚デバイスを使用する味覚応答と、
   該ユーザが、起動された聴覚応答に応答して、聴覚感覚を用いて該片のコンテンツと対話するために聴覚デバイスを使用するように該対話型コンテンツ内の前記聴覚マーカに同期された信号を発する聴覚デバイスを使用する聴覚応答と、
   該ユーザが、起動された視覚応答に応答して、前記視覚感覚を用いて該片のコンテンツと対話するために視覚デバイスを使用するように該対話型コンテンツ内の前記視覚マーカに同期された信号を発する視覚デバイスを使用する視覚応答、のうちの２又は３以上であり、該触覚デバイス、嗅覚デバイス、味覚デバイス、聴覚デバイス、及び視覚デバイスの各々が、個別のハウジングを有し、かつ互いに結合される、
   ことを特徴とする感覚ベースの対話型表示デバイス。
10. 前記ユーザデバイス内に埋め込まれた前記触覚デバイス、嗅覚デバイス、味覚デバイス、聴覚デバイス、及び視覚デバイスの各々を有する感覚対話システムを更に含むことを特徴とする請求項９に記載のデバイス。
11. 各感覚デバイスが、該感覚デバイスに関連付けられた前記感覚を前記対話型コンテンツのシーンの上に自動的にマップすることを特徴とする請求項９に記載のデバイス。
12. 各感覚デバイスが、該感覚デバイスに関連付けられた前記感覚を前記対話型コンテンツのシーン及び前記感覚応答の持続時間の上にマップするタプルを発生させることを特徴とする請求項１１に記載のデバイス。
13. 前記感覚対話システムは、前記片の対話型コンテンツ内に感覚マーカを自動的に発生させることを特徴とする請求項１０に記載のデバイス。
14. 前記片の対話型コンテンツ内に埋め込まれる１又は２以上の感覚マーカを発生させるユーザインタフェース要素を有する対話型コンテンツ配信システムを更に含むことを特徴とする請求項９に記載のデバイス。
15. １片のコンテンツを取り出して該片のコンテンツのための前記複数の感覚マーカを符号化して少なくとも１片の対話型コンテンツを発生させるコンテンツ符号器エンジンを更に含むことを特徴とする請求項９に記載のデバイス。
16. 前記片の対話型コンテンツは、新規片のコンテンツ及び第三者片のコンテンツのうちの一方であることを特徴とする請求項１５に記載のデバイス。
17. 複数の片の対話型コンテンツを対話型コンテンツ配信システムに格納し、かつ少なくとも１片の対話型コンテンツをユーザデバイスに配信する段階であって、各片の対話型コンテンツが、該片の対話型コンテンツを通して分散された複数の感覚マーカを有し、該感覚マーカが、触覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す触覚マーカと、嗅覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す嗅覚マーカと、味覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す味覚マーカと、聴覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す聴覚マーカと、視覚対話機会を有する該対話型コンテンツ内の１片のコンテンツを示す視覚マーカとを含み、対話型コンテンツの片内の各感覚マーカが、該片の対話型コンテンツを通して分散された各特定の感覚マーカとのユーザ対話によって起動される前記格納して配信する段階と、
    前記対話型コンテンツ配信システムに接続されたユーザデバイスのディスプレイ上で前記片の対話型コンテンツをユーザに表示する段階と、
    前記ユーザデバイスの一部であるデバイスを用いて、前記ユーザが前記片の対話型コンテンツの前記感覚マーカと対話して前記感覚マーカを起動することを許す段階と、
    前記ユーザデバイスに結合された感覚対話システムにより、触覚応答、嗅覚応答、味覚応答、聴覚応答、及び視覚応答のうちの２又は３以上である感覚応答を前記感覚マーカに応答してトリガする段階と、
    触覚デバイスを使用する前記ユーザにより、前記触覚応答がトリガされることに応答して触覚を用いて前記対話型コンテンツと対話する段階と、
    嗅覚デバイスを使用する前記ユーザにより、前記嗅覚応答がトリガされることに応答して嗅覚を用いて前記対話型コンテンツと対話する段階と、
    味覚デバイスを使用する前記ユーザにより、前記味覚応答がトリガされることに応答して味覚を用いて前記対話型コンテンツと対話する段階と、
    聴覚デバイスを使用する前記ユーザにより、前記聴覚応答がトリガされることに応答して聴覚を用いて前記対話型コンテンツと対話する段階と、
    視覚デバイスを使用する前記ユーザにより、前記視覚応答がトリガされることに応答して視覚を用いて前記対話型コンテンツと対話する段階と、
    を含むことを特徴とするコンテンツ対話方法。
18. 各感覚デバイスにより、該感覚デバイスに関連付けられた前記感覚を前記対話型コンテンツのシーンの上に自動的にマップする段階を更に含むことを特徴とする請求項１７に記載の方法。
19. 各感覚デバイスにより、該感覚デバイスに関連付けられた前記感覚を前記対話型コンテンツのシーン及び前記感覚応答の持続時間の上にマップするタプルを発生させる段階を更に含むことを特徴とする請求項１８に記載の方法。
20. 前記片の対話型コンテンツ内に感覚マーカを自動的に発生させる段階を更に含むことを特徴とする請求項１７に記載の方法。
21. ユーザインタフェース要素を用いて、前記片の対話型コンテンツ内に埋め込まれる１又は２以上の感覚マーカを発生させる段階を更に含むことを特徴とする請求項１７に記載の方法。
22. 対話型コンテンツ配信システムにより、１片のコンテンツを取り出し、かつ該片のコンテンツのための前記複数の感覚マーカを符号化して少なくとも１片の対話型コンテンツを発生させる段階を更に含むことを特徴とする請求項１７に記載の方法。
23. 前記片の対話型コンテンツは、新規片のコンテンツ及び第三者片のコンテンツのうちの一方であることを特徴とする請求項２２に記載の方法。

Images