JP6542039B2 - フォーリー式触覚コンテンツ作成のためのシステム及び方法 - Google Patents

Description

本発明は、映像用の触覚コンテンツを作成することに関する。より詳細には、本発明は、映像用の触覚コンテンツのフォーリー式作成に関する。

技術の進歩と共に、映像製作（例えば、フィルム、映画、及び広告の製作）がますます重要になってきている。映像製作は映像を撮影することで開始する。それから映像は撮影後の編集段階に入る。撮影後の編集は、映像に触覚トラックを追加することを含む場合がある。触覚トラックは、映像内で発生するイベント（例えば、爆発）と触覚効果を関係付け得る。従って、映像を見るとき、観察者は関係付けられた触覚効果を知覚し得る。しかしながら、触覚トラックの生成は、時間がかかり且つ単調なものであり得る。よって、映像に触覚トラックを追加するための工程を簡略化する必要がある。

本開示の実施形態は、フォーリー式触覚コンテンツ作成用に構成されるコンピュータ装置を含む。一実施形態では、本開示のシステムは、音声入力を検出して、音声入力に関係付けられる音声信号を送信するように構成される音声入力装置を含んでもよい。また、システムはセンサを備える触覚トリガ装置を含んでもよく、センサはイベントに関係付けられるセンサ信号を送信するように構成される。システムは、音声入力装置及び触覚トリガ装置と通信するプロセッサを更に備えてもよく、プロセッサは、音声信号を受信し、音声信号を受信することと実質的に同時にセンサ信号を受信し、音声トラックに音声信号を記録し、センサ信号に部分的に基づいて触覚トラックに触覚効果マーカを挿入するように構成される。ここで、触覚トラック及び音声トラックは映像と関係付けられる。

別の実施形態では、本開示の方法は、音声入力装置から音声信号を受信するステップと、音声信号を受信することと実質的に同時に触覚トリガ装置からセンサ信号を受信するステップとを含んでもよい。方法は、音声トラックに音声信号を記録するステップと、センサ信号に部分的に基づいて触覚効果マーカを触覚トラックに挿入するステップとを更に含み、触覚トラック及び音声トラックは映像に関係付けられる。更に別の実施形態は、このような方法を実行するためのコンピュータ可読媒体を含む。

こうした例示の実施形態は、本主題の限界を限定又は定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。

本明細書の以下の部分には完全且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。
一実施形態によるフォーリー式触覚コンテンツ作成のためのシステムを示すブロック図である。 フォーリー式触覚コンテンツ作成のためのシステムの実施形態を示す。 フォーリー式触覚コンテンツ作成のためのシステムの別の実施形態を示す。 フォーリー式触覚コンテンツ作成のためのシステムの更に別の実施形態を示す。 一実施形態によるフォーリー式触覚コンテンツ作成のための方法を実行するステップのフローチャートである。

次に、多様な及び代替的な例示の実施形態及び添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態をもたらすために別の実施形態において使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。

（フォーリー式触覚コンテンツ作成の例示）
本開示の１つの例示的な実施形態は、デスクトップコンピュータ等のコンピュータ装置を含む。コンピュータ装置は、ディスプレイ、メモリ、音声入力装置（例えば、マイクロホン）、及びこうした要素の各々と通信するプロセッサを備える。

コンピュータ装置は、映像用の触覚トラック及び音声トラックを実質的に同時に生成するように構成される。音声トラックを生成するために、コンピュータ装置は、フォーリー効果を記録するように構成される。フォーリー効果は、映像を撮影中に記録された音声を強化又は置換するために使用される音声効果である。フォーリー作者は、様々な小道具（例えば、布、ゼラチン、革、金属棒及び缶）又はデジタル効果を使用して音声効果を生成してもよい。フォーリー作者は映像を見て、映像のために必要な音声効果の全てを同時に手動で生成し、音声効果を映像コンテンツと同期させてもよい。例えば、フォーリー作者はコンピュータ装置のディスプレイで映像を見てもよく、人物が殴られる映像内のポイントで、フォーリー作者は電話帳を表面に打ち付けてもよい。コンピュータ装置は、映像に関係付けられる音声トラックに音声効果を（例えば、音声入力装置を介して）記録してもよい。フォーリー作者は、この工程を反復して、映像用に必要な音声効果の全てを生成及び記録してもよい。

触覚トラックを生成するために、コンピュータ装置は、触覚トリガ装置と通信する。例示の実施形態では、触覚トリガ装置はコンピュータ装置の外部にあって小道具（例えば、ココナツ）に結合され、フォーリー作者は音声効果（例えば、馬の疾走する音）を生成するためにこれを使用してもよい。

例示の実施形態では、触覚トリガ装置は、イベントの発生を検出するためのセンサ（例えば、圧電性センサ）を備える。本明細書で使用されるイベントは、関連する触覚効果を含む可能性がある触覚トリガ装置の動作の間に発生する任意の相互作用、アクション、衝突、又は他のイベントである。センサは、コンピュータ装置にセンサ信号を送信するように構成される。例えば、例示の実施形態では、フォーリー作者が音声効果を生成するために小道具を操作（例えば、移動、傾け又は接触）するとセンサはこの操作を検出して、操作に関係付けられるセンサ信号をコンピュータ装置に送信してもよい。例えば、フォーリー作者が音声効果を生成するためにココナツを別のココナツに打ち付けると、センサはココナツの衝突による振動を検出して、コンピュータ装置にセンサ信号を送信してもよい。

例示の実施形態では、センサ信号に応答して、コンピュータ装置は触覚効果マーカを生成して、触覚効果マーカを触覚トラックにデジタル的に挿入する。触覚効果マーカは、タイムスタンプデータ及び／又はフレームスタンプデータを含む。タイムスタンプデータ又はフレームスタンプデータは、イベントが検出されたときの映像内の時間又は（複数の）フレームにそれぞれ関係付けられてもよい。一部の実施形態では、触覚効果マーカは、タイムスタンプ及び／又はフレームスタンプデータに関係付けられる触覚効果データを更に含んでもよい。触覚効果データは、触覚トラックの再生に応じて関係付けられた触覚効果をコンピュータ装置に出力させるように構成される。従って、フォーリー作者は、映像用の触覚トラック及び音声トラックを実質的に同時に生成することができる。一部の実施形態では、このことは映像生成にかかる合計時間を減らし得る。

例示の実施形態では、触覚トラックは、映像ファイルに統合され又は別の触覚ファイル（例えば、．ｈａｐｔファイル）として保存されてもよい。ユーザは、（複数の）ファイルを再生して（例えば、ビデオプレイヤを介して）、映像と同期した触覚効果を体験することができてもよい。

上記の例示的な実施形態の記載は、単に例示として提供される。本発明の他の様々な実施形態が本明細書に記載されており、このような実施形態の変形は当業者によって理解されるであろう。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。

（フォーリー式触覚コンテンツ作成のための例示のシステム）
図１は、一実施形態によるフォーリー式触覚コンテンツ作成のためのシステム１００を示すブロック図である。図示の実施形態では、システム１００は、バス１０６を介して他のハードウェアと通信するプロセッサ１０２を有するコンピュータ装置１０１を含む。コンピュータ装置１０１は、例えば、スマートフォン、タブレット、ラップトップコンピュータ、又はデスクトップコンピュータを含んでもよい。この例示では、コンピュータ装置１０１はラップトップコンピュータを含む。

ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び一時的でない）コンピュータ可読媒体を含み得るメモリ１０４が、コンピュータ装置１０１の動作を構成するプログラム要素を具現化する。図示の実施形態では、コンピュータ装置１０１は、１つ以上のネットワークインターフェース装置１１０、入力／出力（Ｉ／Ｏ）インターフェース要素１１２、及び記憶装置１１４を更に含む。

ネットワーク装置１１０は、ネットワーク接続を容易にする１つ以上の任意の構成要素を表し得る。限定されないが、例示には、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は他の移動通信ネットワーク）が含まれる。

Ｉ／Ｏ構成要素１１２は、１つ以上のディスプレイ１３２（コンピュータモニタ、ＬＥＤディスプレイ、ヘッドマウントディスプレイ、又は３Ｄゴーグル）、ゲームコントローラ、キーボード、マウス、ジョイスティック、カメラ、ボタン、スピーカ、マイクロホン、及び／又はデータの入力若しくは出力に使用される他のハードウェア等の装置への有線又は無線の接続を容易にするために使用されてもよい。記憶装置１１４は、装置１０１に含まれ又はプロセッサ１０２に結合される磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。

音声入力装置１２２は、音声効果に関係付けられる音声入力を受信するように構成される。音声入力は、アナログ信号（例えば、音声）又はデジタル信号（例えば、キーボード、ミキシングボード、ＣＤプレイヤ、又はＭＰ３プレイヤから）を含んでもよい。音声入力装置１２２は、音声入力に関係付けられる音声信号をプロセッサ１０２に送信する。一部の実施形態では、音声入力装置１２２は、マイクロホンを含んでもよい。マイクロホンは、例えば、コンデンサ、インダクタ、共振回路、真空管、トランジスタ、増幅器、金属リボン、炭素粒、圧電トランスデューサ、光ファイバ、レーザ、ＭＥＭＳ（ＭｉｃｒｏＥｌｅｃｔｒｉｃａｌ−Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）又は液体を含んでもよい。

更に、システム１００は、触覚トリガ装置１２０を備える。触覚トリガ装置１２０は図１においてコンピュータ装置１０１の外部にあってこれと通信するように描かれているが、一部の実施形態では、触覚トリガ装置１２０はコンピュータ装置１０１の内部にあってもよい。この例示では、触覚トリガ装置１２０は、コンピュータ装置１０１と通信するためのネットワーク装置１１６を含む。ネットワーク装置１１６は、コンピュータ装置１０１のネットワーク装置１１０と実質的に同一に構成されてもよい。即ち、ネットワーク装置１１６は、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ１ ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はラジオインターフェース等の無線インターフェースを含んでもよい。一部の実施形態では、コンピュータ装置１０１は、単一の触覚トリガ装置１２０と通信してもよい。他の実施形態では、コンピュータ装置１０１は、複数の触覚トリガ装置１２０と通信してもよい。

触覚トリガ装置１２０は１つ以上のセンサ１１８を備える。センサ１１８は、プロセッサ１０２にセンサ信号を送信するように構成される。一部の実施形態では、センサ１１８は、例えば、ジャイロスコープ、加速度計、深さセンサ、カメラ、フォトトランジスタ、スイッチ、ボタン、マイクロホン、又は圧電トランスデューサを含んでもよい。一部のこのような実施形態では、触覚トリガ装置１２０は、複数のセンサ１１８を備えてもよい。例えば、一実施形態では、触覚トリガ装置１２０は、マイクロホン及び深さセンサを備えてもよい。他の実施形態では、触覚トリガ装置１２０は、触覚効果を決定して、コンピュータ装置１２０にそれを送信するための別個のプロセッサを備えてもよい。

メモリ１０４に関しては、プログラム構成要素１２４及び１２６が、フォーリー式触覚コンテンツ作成のために一部の実施形態では、装置がどのように構成され得るかを示すように描かれている。この例示では、検出モジュール１２４は、センサ１１８及び／又は音声入力装置１２２を監視するようにプロセッサ１０２を構成する。例えば、検出モジュール１２４は、センサ１１８をサンプリングして、センサ信号の存在、不存在又は振幅を決定し、センサ信号が存在する場合、経時的にセンサ信号の特徴（例えば、周波数、振幅、持続時間、又は波形）を記録してもよい。別の例示として、検出モジュール１２４は、音声入力装置１２２をサンプリングして、音声信号の存在、不存在又は振幅を決定し、音声信号が存在する場合、経時的に音声信号の特徴（例えば、周波数、振幅、持続時間、又は波形）を記録してもよい。

触覚効果決定モジュール１２６は、センサ信号及び／又は音声信号に応じて触覚効果を決定するためにデータを分析するプログラム構成要素を表す。特に、触覚効果決定モジュール１２６は、センサ１１８からの信号及び／又は音声入力装置１２２からの音声信号に基づいて、触覚効果を決定するコード、及び触覚効果マーカと関連付ける触覚効果と関係付けられる触覚効果データを選択するコードを含んでもよい。例えば、一部の実施形態では、触覚効果決定モジュール１２６は、振幅、周波数及び／又はセンサ信号若しくは音声信号の他の特徴に基づいて触覚効果を決定してもよい。例えば、触覚効果決定モジュール１２６は、センサ信号の振幅が大きい場合、強い振動を含む触覚効果を決定してもよい。

更に、一部の実施形態では、触覚効果決定モジュール１２６は、ユーザ入力に基づいて触覚効果を決定してもよい。例えば、触覚効果決定モジュール１２６は、ボタン押し下げに基づいて触覚効果を決定してもよい。別の例示として、触覚効果決定モジュール１２６は、ユーザの選択に基づいて、例えば、触覚効果ライブラリ又はリストから触覚効果を決定してもよい。別の実施形態では、触覚効果は、ユーザ入力と組み合わせて音声又は映像信号に少なくとも部分的に基づいて決定されてもよい。

図２は、フォーリー式触覚コンテンツ作成のためのシステムの実施形態を示す。この例示では、システム２００はコンピュータ装置２０２を含む。コンピュータ装置２０２はディスプレイ２０８を含む。ユーザは、（例えば、フォーリー効果生成のために）ディスプレイ２０８を介して映像を観察してもよい。この例示では、ディスプレイ２０８は、ベースボールがガラス窓を突き破っている映像シーンを出力している。

コンピュータ装置２０２は、音声入力を受信するために音声入力装置２１０（例えば、マイクロホン）と通信する。音声入力装置２１０は、音声入力に関係付けられる音声信号をコンピュータ装置２０２に送信してもよい。この例示では、コンピュータ装置２０２は、映像撮影後の編集にユーザ（例えば、フォーリー作者）が使用し得る追加の音響設備２０４（例えば、ミキシングボード）及びコントロール２０６とも通信する。しかしながら、他の実施形態は、コントロール２０６及び／又は追加の音響設備２０４を含まなくてもよい。

システム２００は、小道具２１４を更に含む。この例示では、小道具２１４はボーリング用のボールを含む。ユーザは小道具２１４を操作（例えば、移動、落下又は回転）して、音声効果を生成してもよい。例えば、ユーザは、小道具２１４を表面２１６（例えば、窓ガラス）に落として、音声効果（例えば、ガラスが割れる音）を作成してもよい。コンピュータ装置２０２は、（例えば、音声入力装置２１０を介して）音声効果に関係付けられるデータを受信して、音声トラックにデータを挿入してもよい。データは、ディスプレイ４０８に出力される映像の１つ以上のフレームと同期されてもよい。

図２に示される実施形態では、触覚トリガ装置２１２は、小道具２１４に結合される。更に、この例示では、触覚トリガ装置２１２は、コンピュータ装置２０２と無線通信する。触覚トリガ装置２１２は、センサ、例えば、加速度計又はジャイロスコープを含む。センサは、イベントの発生を検出して、コンピュータ装置２０２にセンサ信号を送信するように構成されてもよい。例えば、センサは、ユーザによる小道具２１４の操作を検出して、コンピュータ装置２０２にセンサ信号を送信してもよい。

コンピュータ装置２０２は、センサ信号を受信するように構成される。一部の実施形態では、センサ信号及び／又は音声信号の存在又は特徴に基づいて、コンピュータ装置２０２は、触覚トラックに触覚マーカを挿入するかどうかを決定してもよい。例えば、一部の実施形態では、コンピュータ装置２０２は、センサ信号及び／又は音声信号の持続時間が時間の閾値（例えば、０．５秒）を超える場合にのみ、触覚トラックに触覚マーカを挿入してもよい。他の実施形態では、コンピュータ装置２０２は、センサ信号の指向性の変化（例えば、小道具２１４が回転される場合）、又はセンサ信号の振幅の変化（例えば、小道具２１４が表面２１６に接触して動かなくなる場合）に基づいて触覚マーカを挿入してもよい。更に他の実施形態では、コンピュータ装置２０２は、センサ信号の周波数の変化に基づいて（例えば、小道具２１４が表面２１６に接触することに応じた小道具２１４の振動の特徴に基づいて）触覚マーカを挿入してもよい。触覚効果マーカは、イベントが発生した時間に映像内で再生している（複数の）フレームと同期されてもよい。

一部の実施形態では、触覚効果マーカは、触覚効果に関係付けられる触覚効果データを含んでもよい。触覚効果データは、コンピュータ装置２０２に関係付けられた触覚効果を出力させるように構成される。一部の実施形態では、触覚効果データは、触覚効果を生成するように構成される触覚信号の１つ以上の特徴（例えば、触覚信号の周波数、振幅、持続時間、又は波形）を含んでもよい。他の実施形態では、触覚効果データは、コマンド、触覚効果の名前、例えば、「強い振動」、又は触覚効果を出力するためにコンピュータ装置２０２により解釈され得る他のデータを含んでもよい。更に他の実施形態では、触覚効果データは、触覚効果を生成するためのアルゴリズム、又はアルゴリズムを解決するために使用可能なデータを含んでもよい。

上記のように、触覚効果データは触覚効果に関係付けられる。コンピュータ装置２０２は、触覚効果を決定してもよい。一部の実施形態では、コンピュータ装置２０２は、センサ信号の特徴に基づいて触覚効果を決定してもよい。例えば、図２に示される実施形態では、ユーザは、ガラスが割れる音を含む音声効果を生成するために窓ガラスの上にボーリング用のボールを落としてもよい。触覚トリガ装置２１２は、ボーリング用のボールの動き又は回転を検出して、コンピュータ装置２０２にセンサ信号を送信してもよい。例えば、センサ信号の波形、振幅、周波数又は持続時間に基づいて、コンピュータ装置２０２は、１つ以上の触覚効果（例えば、振動、表面変形、シミュレートされるテクスチャ、又は知覚される摩擦係数の変化）を決定してもよい。例えば、一部の実施形態では、コンピュータ装置２０２は、センサ信号の振幅に比例する振幅を有する振動を含む触覚効果を決定してもよい。コンピュータ装置は、決定された触覚効果に関係付けられるデータを触覚効果マーカに挿入してもよい。

一部の実施形態では、コンピュータ装置２０２は、ユーザ入力に基づいて触覚効果を決定してもよい。例えば、一部のこのような実施形態では、音声効果を生成するために小道具２１４を操作する前に、ユーザは、例えば、触覚効果のリスト又はライブラリから所望の触覚効果を選択してもよい。例えば、一実施形態では、ユーザは、強い振動、弱い振動、知覚される摩擦係数の増加、知覚される摩擦係数の減少、又はゴムの、円滑な若しくは凹凸のあるテスクチャを含むリストから触覚効果を選択してもよい。コンピュータ装置２０２がセンサ信号を検出すると、コンピュータ装置２０２は、選択された触覚効果を含む触覚効果を決定してもよい。コンピュータ装置は、決定された触覚効果を生成するための触覚効果データを触覚効果マーカに関係付けてもよい。

一部の実施形態では、触覚効果データは、触覚効果マーカが触覚トラックに挿入された後で（例えば、フォーリー工程が完了すると）、触覚効果マーカに関係付けられてもよい。一部の実施形態では、ユーザは、触覚効果データを触覚マーカと関係付けてもよい。他の実施形態では、コンピュータ装置２０２は、ユーザによる何らかのアクションに応じて、例えば、ユーザが触覚効果のリスト又はライブラリから所望の触覚効果を選択すると、触覚効果データを触覚マーカと関係付けてもよい。一部の実施形態では、ユーザは、所望の触覚効果の特徴（例えば、長い持続時間、短い持続時間、高い強度、又は低い強度）をカスタマイズして、触覚効果を生成するための触覚効果データを触覚効果マーカと関係付けることが可能であってもよい。

一部の実施形態では、ユーザは、例えば、インターネットから１つ以上の触覚効果に関係付けられるデータをダウンロードしてもよい。一部のこのような実施形態では、コンピュータ装置２０２及び／又はユーザは、ダウンロードされたデータを触覚効果マーカと関係付けてもよい。例えば、音声効果を生成するために小道具２１４を操作する前に、ユーザは、例えば、触覚効果のリストからダウンロードされた触覚効果を選択してもよい。ユーザが小道具２１４を操作すると、コンピュータ装置２０２は、ダウンロードされたデータに関係付けられる触覚効果データを含む触覚効果マーカを生成してもよい。次に、コンピュータ装置２０２は、触覚効果マーカを触覚トラックに挿入してもよい。

一部のこのような実施形態では、触覚トリガ装置２１２は、音声入力装置２１０を備えてもよい。即ち、システム２００は、音声入力装置２１０と分離した触覚トリガ装置２１２を備えなくてもよい。むしろ、音声入力装置は、触覚トリガ装置２１２として機能してもよい。このような実施形態では、コンピュータ装置２０２は、上記の任意の方法を用いて、音声信号に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、コンピュータ装置２０２は、音声入力装置２１０から音声信号の特徴（例えば、振幅、周波数、持続時間、又は波形）に基づいて触覚効果を決定してもよい。例えば、ユーザが小道具２１４を表面２１６に落とすと、音声入力装置２１０は、衝突に関係付けられる音声信号をコンピュータ装置２０２に送信してもよい。コンピュータ装置２０２は、音声信号の波形に基づいて触覚効果を決定してもよい。更に、コンピュータ装置２０２は、決定された触覚効果に関係付けられるデータを触覚トラックに挿入してもよい。従って、一部の実施形態では、音声信号は、音声トラックに対して音声効果を記録すること及び触覚トラックに対して触覚効果マーカを生成することの両方のために使用されてもよい。

図３は、フォーリー式触覚コンテンツ作成のためのシステムの別の実施形態を示す。この例示では、システム３００はコンピュータ装置３０２を含む。コンピュータ装置３０２はディスプレイ３０８を含む。図示の例示では、ディスプレイ３０８は、剣が振られている映像シーンを出力している。

システム３００は、小道具３１４を更に含む。この例示では、小道具３１４はボート用のオールを含む。ユーザは小道具３１４を操作して、音声効果を生成してもよい。例えば、ユーザは、音声効果（例えば、剣を振るシュッという音）を作成するために小道具３１４を振ってもよい。コンピュータ装置３０２は、（例えば、音声入力装置３１０を介して）音声効果に関係付けられるデータを受信して、映像と同期され得る音声トラックにデータを挿入してもよい。

図３に示される実施形態では、触覚トリガ装置３１２は、小道具３１４から離れている。更に、この例示では、触覚トリガ装置３１２は、コンピュータ装置３０２と有線通信する。一部の実施形態では、触覚トリガ装置３１２は、カメラを含んでもよい。カメラは、イベントの発生（例えば、ユーザがカメラの前で小道具３１４を操作すること）を検出してもよい。他の実施形態では、触覚トリガ装置３１２は、フォトトランジスタを含んでもよい。フォトトランジスタは、イベントの発生（例えば、ユーザが赤外光ビームを通して小道具３１４を振ること）を検出してもよい。イベントが発生すると、センサは、コンピュータ装置３０２にセンサ信号を送信してもよい。

コンピュータ装置３０２は、センサ信号を受信するように構成される。一部の実施形態では、コンピュータ装置３０２は、映像に関係付けられる触覚トラックに触覚マーカを挿入してもよい。触覚効果マーカは、触覚効果に関係付けられる触覚効果データを含んでもよい。コンピュータ装置３０２は、図２に関して記載された１つ以上の方法に基づいて触覚効果を決定してもよい。

ユーザは、触覚トラックと映像との間で適切な同期を確保するため、（例えば、映像を見ている間）触覚トラックを再生することを望んでもよい。従って、一部の実施形態では、コンピュータ装置３０２は、触覚出力装置を含んでもよい。触覚出力装置は、コンピュータ装置３０２から離れているが、コンピュータ装置３０２に通信可能に結合されてもよい。例えば、触覚出力装置は、コンピュータ装置３０２の外部にあり、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はラジオインターフェース等の無線インターフェースを介してコンピュータ装置１０１と通信してもよい。一部の実施形態では、触覚出力装置は、コンピュータ装置３０２から離れている装着可能装置（例えば、指輪、ジャケット、袖、腕時計、リストバンド、ブレスレット、又は衣類）に結合されてもよい。

触覚出力装置は、触覚信号に応じて、（例えば、容量結合又は超音波アクチュエータを介して）例えば、振動、シミュレートされるテクスチャ、表面変形、又は知覚される摩擦係数の変化を含む触覚効果を出力するように構成される装置を含んでもよい。触覚信号は、触覚トラックからの触覚効果データに基づいて生成されてもよい。一部の実施形態では、触覚出力装置は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含んでもよい。一部の実施形態では、コンピュータ装置３０２は複数の触覚出力装置を含んでもよく、一部の触覚効果は、順番に及び／又は同時に複数のアクチュエータ及び／又は触覚出力装置を用いてもよい。他の技術又は方法が、上記の技術を超えて触覚効果を出力するために使用されてもよい。

図４は、フォーリー式触覚コンテンツ作成のためのシステムの更に別の実施形態を示す。この例示では、システム４００はコンピュータ装置４０２を含む。コンピュータ装置４０２はディスプレイ４０８を含む。図示の例示では、ディスプレイ４０８は、（木に釘を打つために）ハンマーが木片に打ち付けられている映像シーンを出力している。

システム４００は、小道具４１４（例えば、ベースボール用のバット）を更に含む。ユーザは小道具４１４を操作して、音声効果を生成してもよい。例えば、ユーザは、小道具４１４を別の表面４１６（例えば、テーブル、床又は壁）に叩きつけて、音声効果（例えば、ハンマーが木を打つ音）を作成してもよい。コンピュータ装置４０２は、（例えば、音声入力装置４１０を介して）音声効果に関係付けられるデータを受信して、一部の実施形態では、映像ファイルに直接データを挿入してもよい。

図４に示される実施形態では、触覚トリガ装置４１２は、小道具４１４から離れている。更に、この例示では、触覚トリガ装置４１２は、コンピュータ装置４０２と無線通信する。一部の実施形態では、触覚トリガ装置４１２は、圧力、歪み、又は力センサを含んでもよい。圧力、歪み、又は力センサは、例えば、ユーザが表面４１６に小道具４１４をぶつけた場合に、イベントの発生を検出してもよい。一部の実施形態では、触覚トリガ装置４１２は、スイッチ又はボタンを含んでもよい。一部のこのような実施形態では、イベントの発生に応じて、スイッチが開けられ又は閉じられてもよく、又はボタンが押されてもよい。例えば、ユーザが小道具４１４で触覚トリガ装置４１２を叩くと、スイッチが閉じられてもよく又はボタンが押されてもよい。イベントの発生に応じて、センサは、コンピュータ装置４０２にセンサ信号を送信してもよい。

一部の実施形態では、システム４００は、複数の触覚トリガ装置４１２を含んでもよい。例えば、一実施形態では、システム４００は、小道具４１４に結合される第１の触覚トリガ装置４１２、表面４１６に結合される第２の触覚トリガ装置４１２、及び第３の触覚トリガ装置４１２（例えば、音声入力装置４１０）を備える。一部の実施形態では、コンピュータ装置４０２は、１つ以上の触覚トリガ装置４１２からのセンサ信号に部分的に基づいて、１つ以上の触覚効果を検出し及び／又は１つ以上の触覚効果を触覚トラックに挿入してもよい。例えば、上記の実施形態では、コンピュータ装置４０２は、第１の触覚トリガ装置４１２からのデータ（例えば、加速度計データ）、第２の触覚トリガ装置４１２からのデータ（例えば、圧力データ）、及び／又は第３の触覚トリガ装置４１２からのデータ（例えば、音声入力データ）に基づいて触覚効果を決定してもよい。任意の数の又は構成の触覚トリガ装置４１２が可能であってもよい。更に、任意の数の触覚効果マーカが、任意の数の触覚トリガ装置４１２からの任意の数のセンサ信号に基づいて生成されてもよい。

（フォーリー式触覚コンテンツ作成のための例示の方法）
図５は、フォーリー式触覚コンテンツ作成のための方法を実行するステップのフローチャートである。一部の実施形態では、図５のステップは、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図５に示される１つ以上のステップは省略され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図５に示されない追加のステップが実行されてもよい。以下のステップは図１に示されたシステムに関して記載された構成要素を参照して記載される。

方法５００はステップ５０２で開始して、プロセッサ１０２は音声入力装置１２２から音声信号を受信する。一部の実施形態では、音声入力装置１２２は、マイクロホンを含んでもよい。音声信号は、アナログ信号又はデジタル信号を含んでもよい。デジタル信号は、例えば、別のコンピュータ装置１０１、ＭＩＤＩキーボード、スマートフォン、ラジオ、又はターンテーブルステーションを含むデジタル装置からであってもよい。一部の実施形態では、音声信号は音声効果に関係付けられてもよい。

方法５００はステップ５０２に進み、プロセッサ１０２は音声信号を受信することと実質的に同時に触覚トリガ装置１２０からセンサ信号を受信する。センサ信号は、アナログ信号又はデジタル信号を含んでもよい。

方法５００はステップ５０２に進み、プロセッサ１０２は音声信号を音声トラックに記録する。音声トラックは映像に関係付けられる。一部の実施形態では、プロセッサ１０２は、音声信号を音声トラックに直接記録してもよい。他の実施形態では、プロセッサ１０２は、音声信号を操作して（例えば、音声信号の振幅、周波数、持続時間、又は波形を修正して）、修正された音声信号を音声トラックに記録してもよい。一部の実施形態では、音声トラックは、映像データとは分離していてもよい。他の実施形態では、音声トラックは、映像データと統合されていてもよい。プロセッサ１０２は、映像からの１つ以上のフレームと実質的に同期するように音声データを記録してもよい。

方法５００はステップ５０２に進み、プロセッサ１０２はセンサ信号に少なくとも部分的に基づいて触覚効果を決定する。上記のように、一部の実施形態では、プロセッサ１０２は、センサ信号の１つ以上の特徴に基づいて触覚効果を決定してもよい。例えば、プロセッサ１０２は、センサ信号の振幅又は周波数に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、プロセッサ１０２は、センサ信号の振幅に比例する振幅、及びセンサ信号の持続時間に比例する持続時間を有する触覚効果を決定してもよい。

方法５００はステップ５１０に進み、プロセッサ１０２はセンサ信号に部分的に基づいて触覚トラックに触覚効果マーカを挿入する。一部の実施形態では、触覚効果マーカは、決定された触覚効果に関係付けられる触覚効果データを含んでもよい。プロセッサ１０２は、触覚効果マーカが映像からの１つ以上のフレームと実質的に同期するように、触覚トラックに触覚効果マーカを挿入してもよい。

（フォーリー式触覚コンテンツ作成の利点）
フォーリー式触覚コンテンツ作成には多くの利点がある。例えば、一部の実施形態では、連続的にではなく、実質的に同時に触覚トラック及び音声トラックを生成することは、映像のための合計製作時間を減らしてもよい。更に、触覚トラック及び音声トラックを実質的に同時に生成することは、映像製作の費用を減らしてもよい。例えば、一部の実施形態では、フォーリー作者に音声トラックを作成させて、触覚作者に触覚トラックを作成させるのではなく、１人のフォーリー作者が音声トラック及び触覚トラックを両方とも作成することができる。従って、映像の撮影後の編集を遂行するために必要とされる人員はより少なくてもよく、映像の製作にかかる費用を全体的に引き下げることができる。

一部の実施形態では、フォーリー式触覚コンテンツ作成は、触覚効果、音声効果、及び映像コンテンツをより簡単に同期させてもよい。これは、触覚効果及び音声効果が実質的に同時に且つ同期して生成されるからであってもよい。従って、音声効果及び触覚効果を互いと及び映像コンテンツと個々に同期するのではなく、音声効果及び触覚効果は同期して生成されてもよい。

更に、一部の実施形態では、フォーリー式触覚コンテンツ作成は、触覚効果、音声効果、及び映像コンテンツの間の同期の精度を改善し得る。上記のように、音声効果及び触覚効果を互いと及び映像コンテンツと個々に同期するのではなく、音声効果及び触覚効果は同期して生成され得る。これは、フォーリー作者が音声効果及び触覚トラックを互いと及び映像コンテンツと個々に同期しようとした場合に発生し得る同期のエラーを減らすことができる。

（概論）
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又は構成要素が省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又はステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。

例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細無しで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細無しで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、記載された技術を実装するための実施可能な説明を当業者に提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。

また、構成は、流れ図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の一時的でないコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。

複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。

本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、１つ以上の記載された条件又は値に「基づく」処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。

本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせに実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。

このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。

このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。

本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。

Claims (19)

1. 小道具の操作に関係付けられる音声効果を検出して、前記音声効果に関係付けられる音声信号を送信するように構成される音声入力装置と、
   前記小道具の前記操作に関係付けられるセンサ信号を送信するように構成されるセンサを備える触覚トリガ装置と、
   前記音声入力装置及び前記触覚トリガ装置と通信するプロセッサであって、
   事前記録されている映像ファイルを再生し、
   前記事前記録されている映像ファイルを再生している間に、
   前記音声信号を受信し、
   前記音声信号を受信することと実質的に同時に前記センサ信号を受信し、
   前記音声信号に基づいて、前記映像ファイルに関係付けられる音声トラックに前記音声効果を記録し、且つ
   前記センサ信号に基づいて、触覚効果マーカを前記映像ファイルに関係付けられる触覚トラックに挿入するように構成されるプロセッサと
   を備える、システム。
2. 前記センサは、ジャイロスコープ、加速度計、深さセンサ、カメラ、フォトトランジスタ、スイッチ、ボタン、マイクロホン、又は圧電トランスデューサを含む、請求項１に記載のシステム。
3. 前記触覚トリガ装置は、複数のセンサを備える、請求項１に記載のシステム。
4. 前記触覚トリガ装置は、前記小道具に結合される、請求項１に記載のシステム。
5. 前記小道具は、前記音声効果を生成するように構成される、請求項４に記載のシステム。
6. 前記小道具は、フォーリー作者用の小道具を含む、請求項５に記載のシステム。
7. 前記触覚効果マーカは、触覚効果に関係付けられる触覚効果データを含む、請求項１に記載のシステム。
8. 前記プロセッサは、前記センサ信号に少なくとも部分的に基づいて前記触覚効果を決定するように更に構成される、請求項７に記載のシステム。
9. 複数の触覚トリガ装置を更に備える、請求項１に記載のシステム。
10. 事前記録されている映像ファイルを再生するステップと、
    前記事前記録されている映像ファイルを再生している間に、
    音声入力装置から音声信号を受信するステップであって、前記音声信号は、小道具の操作に関係付けられる音声効果を含むステップと、
    前記音声信号を受信することと実質的に同時に触覚トリガ装置から前記小道具の前記操作に関係付けられるセンサ信号を受信するステップと、
    前記音声信号に基づいて、前記映像ファイルに関係付けられる音声トラックに前記音声効果を記録するステップと、
    前記センサ信号に基づいて、触覚効果マーカを前記映像ファイルに関係付けられる触覚トラックに挿入するステップと
    を含む、方法。
11. 前記触覚トリガ装置は、複数のセンサを備える、請求項１０に記載の方法。
12. 前記触覚トリガ装置は、前記小道具に結合される、請求項１０に記載の方法。
13. 前記小道具は、フォーリー作者用の小道具を含む、請求項１２に記載の方法。
14. 前記触覚効果マーカは、触覚効果に関係付けられる触覚効果データを含む、請求項１０に記載の方法。
15. 前記センサ信号に少なくとも部分的に基づいて前記触覚効果を決定するステップを更に含む、請求項１４に記載の方法。
16. プロセッサによって実行されると、前記プロセッサに
    事前記録されている映像ファイルを再生すること、
    前記事前記録されている映像ファイルを再生している間に、
    音声入力装置から音声信号を受信することであって、前記音声信号は、小道具の操作に関係付けられる音声効果を含むこと、
    前記音声信号を受信することと実質的に同時に触覚トリガ装置から前記小道具の前記操作に関係付けられるセンサ信号を受信すること、
    前記映像ファイルに関係付けられる音声トラックに前記音声効果を記録すること、及び
    前記センサ信号に基づいて、触覚効果マーカを前記映像ファイルに関係付けられる触覚トラックに挿入すること
    を行わせるように構成されるプログラムコードを含む、一時的でないコンピュータ可読媒体。
17. 前記触覚トリガ装置は、複数のセンサを備える、請求項１６に記載の一時的でないコンピュータ可読媒体。
18. 前記触覚トリガ装置は、前記小道具に結合される、請求項１６に記載の一時的でないコンピュータ可読媒体。
19. 前記小道具は、フォーリー作者用の小道具を含む、請求項１８に記載の一時的でないコンピュータ可読媒体。

Images