JP7377093B2 - プログラム、情報処理装置、及び情報処理方法 - Google Patents

Description

特許法第３０条第２項適用 （１）ウェブサイトの掲載日 ２０１９年 ９月１０日 ウェブサイトのアドレス ｈｔｔｐ：／／ｃｏｎｆｅｒｅｎｃｅ．ｖｒｓｊ．ｏｒｇ／ａｃ２０１９／ｐｒｏｇｒａｍ／ｃｏｍｍｏｎ／ｄｏｃ／ｐｄｆ／６Ａ－０４．ｐｄｆ 公開者 東 真希子、半田 拓也、高橋 正樹、清水 俊宏（２）２０１９年 ９月１２日東京大学本郷キャンパスにおいて開催された第２４回日本バーチャルリアリティ学会大会で公開

本発明は、プログラム、情報処理装置、及び情報処理方法に関する。

従来、各種の触覚（力覚）提供（提示）装置を用いて、触覚、及び力覚をユーザに提供する技術が知られている（例えば、特許文献１、非特許文献１を参照）。

特開２０１９－０１２２５２号公報 東真希子、他３名、"触覚による情報伝達のためのリストバンド型ハプティックデバイスの開発," 第 23 回日本バーチャルリアリティ学会大会論文集（2018 年 9 月）、21A-4 ,［online］，［令和１年１１月８日検索］、インターネット<URL: http://conference.vrsj.org/ac2018/program2018/pdf/21A-4.pdf>

しかしながら、従来技術では、例えば、動画像（映像）中の各イベントに対する触覚、及び力覚の少なくともいずれか（以下で、適宜、単に「触覚」とも称する。）をユーザに提供する場合、ユーザに提供する触覚の情報を適切に設定することが困難な場合がある。

開示の技術は、ユーザに提供する触覚の情報を適切に設定できる技術を提供することを目的とする。

プログラムにより、コンピュータに、動画像を再生して表示させる第１領域と、前記動画像の時間軸に対応付けられた第２領域であって、触覚をユーザに提供する触覚提供装置に対する前記動画像の再生位置に応じた動作の設定を受け付ける前記第２領域とを表示させる処理と、前記第２領域に対する操作に基づいて、前記動画像の再生位置に応じた、前記触覚提供装置を制御させる制御情報を生成する処理と、を実行させ、前記表示させる処理では、前記第１領域の周囲に、前記触覚提供装置のアクチュエータに対応するオブジェクトを表示し、前記第２領域において、前記動画像の現在の再生位置に対して、当該アクチュエータが動作する設定とされている場合、当該オブジェクトを所定の表示態様で表示させる。

開示の技術によれば、ユーザに提供する触覚の情報を適切に設定することができる。

実施形態に係る触覚提供システムの構成例を示す図である。 実施形態に係るキューブ型触覚提供装置の構成の一例を示す図である。 実施形態に係るキューブ型触覚提供装置の構成の一例を示す図である。 実施形態に係るキューブ型触覚提供装置の構成の一例を示す図である。 実施形態に係るリストバンド型触覚提供装置の構成の一例を示す図である。 実施形態に係るボール型触覚提供装置の構成の一例を示す図である。 実施形態に係る設定端末の機能構成を示す機能ブロック図である。 触覚提供システムの処理の一例を示すシーケンス図である。 実施形態に係るキューブ型触覚提供装置用の設定画面の一例について説明する図である。 実施形態に係る右手首用のリストバンド型触覚提供装置用の設定画面の一例について説明する図である。 実施形態に係るスマートフォンである触覚提供装置用の設定画面の一例について説明する図である。 実施形態に係る触覚制御情報の一例について説明する図である。 実施形態に係るイベント設定情報の一例について説明する図である。

以下、図面を参照しながら本発明の実施形態について説明する。なお、同様の構成要素については、同一の符号を付することにより重複した説明を省く。

＜システム構成＞
図１は、実施形態に係る触覚提供システム１の構成例を示す図である。図１において、触覚提供システム１は、サーバ１０、設定端末２０、制御端末３０Ａ、制御端末３０Ｂ、制御端末３０Ｃ、・・・（以下で、区別する必要がない場合は、単に「制御端末３０」と称する）、及び触覚提供装置４０Ａ、触覚提供装置４０Ｂ、触覚提供装置４０Ｃ、触覚提供装置４０Ｄ、・・・（以下で、区別する必要がない場合は、単に「触覚提供装置４０」と称する）を有する。なお、サーバ１０、及び設定端末２０の数は図１の例に限定されない。

サーバ１０と設定端末２０、及びサーバ１０と制御端末３０は、それぞれ、例えば、インターネット、無線ＬＡＮ（Local Area Network）、ＬＡＮ、及び携帯電話網等の通信回線Ｎにより通信できるように接続される。

また、制御端末３０と触覚提供装置４０は、例えば、ＢＬＥ（Bluetooth（登録商標） Low Energy）、及び無線ＬＡＮ等の近距離無線通信等により通信できるように接続される。

サーバ１０は、例えば、サーバ用コンピュータ、及びＰＣ（Personal Computer）等の情報処理装置である。サーバ１０は、例えば、動画像コンテンツを設定端末２０に配信する。そして、当該動画像コンテンツに対する、触覚提供装置４０を制御する制御コマンドの設定を設定端末２０から受け付ける。

また、サーバ１０は、当該動画像コンテンツ、及び当該制御コマンドのデータを制御端末３０に配信する。

設定端末２０は、例えば、ＰＣ、タブレット端末、及びスマートフォン等の情報端末である。設定端末２０は、サーバ１０から取得した動画像コンテンツに対する制御コマンドの設定操作をオペレータから受け付け、受け付けた設定操作に基づいて設定した制御コマンドをサーバ１０に登録する。

制御端末３０は、例えば、スマートフォン、ＰＣ、タブレット端末、セットトップボックス（ＳＴＢ、Set Top Box）、及び無線ＬＡＮのアクセスポイント等の情報端末である。当該動画像コンテンツを画面に表示させるとともに、当該制御コマンドを触覚提供装置４０に送信する。

触覚提供装置４０は、例えば、触覚提供用の専用デバイス、及びスマートフォン等の装置である。触覚提供装置４０は、制御端末３０から受信した当該制御コマンドに基づいて、触覚（力覚）をユーザに提供（提示）する。触覚提供装置４０は、振動や力などにより伝達する情報である触覚情報をユーザの指又は手のひらなどの身体に提示する装置である。なお、図１の例では、触覚提供装置４０Ａはキューブ型の触覚提供装置４０（「第１種別の触覚提供装置」の一例。）、触覚提供装置４０Ｂはリストバンド型の触覚提供装置４０（「第２種別の触覚提供装置」の一例。）、触覚提供装置４０Ｃはボール型の触覚提供装置４０、触覚提供装置４０Ｄはスマートフォンである触覚提供装置４０の例である。なお、触覚提供装置４０Ｄのように触覚提供装置４０がスマートフォンである場合、制御端末３０と触覚提供装置４０Ｄとは同一の装置でもよい。なお、触覚提供装置４０の形状、及び構成は、図１の例に限定されない。

＜ハードウェア構成＞
次に、図２Ａから図４を参照し、実施形態に係る触覚提供装置４０の構成例について説明する。

≪キューブ型触覚提供装置４０Ａ≫
図２Ａから図２Ｃは、実施形態に係るキューブ型触覚提供装置４０Ａの構成の一例を示す図である。図２Ａから図２Ｃでは、立方体（正六面体、キューブ）の形状の触覚提供装置４０Ａの例が示されている。図２Ａから図２Ｃの触覚提供装置４０Ａは、外枠２００、内箱２１０、及び制御装置２１１を有している。

立方体の外枠２００により、正面の面２０１と、面２０１とそれぞれ隣接する上面２０２、右面２０３、下面２０４、左面２０５が規定される。図２Ａから図２Ｃの例では、面２０１に、制御装置２１１がはめ込まれている。

また、触覚提供装置４０Ａは、上面２０２に接触部２０２Ａを有している。接触部２０２Ａは、弾性部材２０２Ｂにより内箱２１０に保持されている。これにより、一の面での振動が他の面に伝導しないため、触覚提供装置４０Ａは、上面２０２、右面２０３、下面２０４、及び左面２０５をそれぞれ独立して振動させることができる。なお、触覚提供装置４０Ａの奥面も上面２０２等と同様の構造とし、独立して振動させるようにしてもよい。また、制御装置２１１を小型化して触覚提供装置４０Ａの内部に埋め込む等により、正面の面２０１も上面２０２等と同様の構造とし、６面全てを独立して振動させるようにしてもよい。

また、接触部２０２Ａの裏側（内箱２１０側）に振動部２０２Ｃを有している。振動部２０２Ｃは、ケーブル等により内箱２１０を介して制御装置２１１と接続されている。

また、触覚提供装置４０Ａは、右面２０３、下面２０４、及び左面２０５においても、上面２０２と同様に、弾性部材２０３Ｂ、２０４Ｂ、２０５Ｂによりそれぞれ内箱２１０に保持され、裏側に振動部２０３Ｃ、２０４Ｃ、２０５Ｃをそれぞれ有する接触部２０３Ａ、２０４Ａ、２０５Ａをそれぞれ有している。

制御装置２１１は、例えば、マイコン等のコンピュータを有しており、制御コマンドを制御端末３０から無線通信により受信すると、受信した制御コマンドに基づいて振動部２０２Ｃ、２０３Ｃ、２０４Ｃ、及び２０５Ｃを制御する。

振動部２０２Ｃ、２０３Ｃ、２０４Ｃ、及び２０５Ｃは、例えば、入力された音信号に応じた振動を行うアクチュエータ（振動装置）でもよい。これにより、音に応じた振動をユーザに提供することができる。

この場合、各振動部２０２Ｃ、２０３Ｃ、２０４Ｃ、及び２０５Ｃは、例えば、アルプスアルパイン社製のハプティック（登録商標）リアクタ（インターネット＜ＵＲＬ；https://www.alps.com/prod/info/J/HTML/Haptic/＞）等でもよい。または、各振動部２０２Ｃ、２０３Ｃ、２０４Ｃ、及び２０５Ｃは、例えば、音信号に基づく振動を行うスピーカユニット（振動板）等でもよい。

≪リストバンド型触覚提供装置４０Ｂ≫
図３は、実施形態に係るリストバンド型触覚提供装置４０Ｂの構成の一例を示す図である。図３の例では、リストバンド型触覚提供装置４０Ｂは、ユーザの手首等に装着するためのリストバンド３０１、及び制御装置２１１を有している。また、リストバンド型触覚提供装置４０Ｂは、一端をリストバンド３０１の内側の上側に固定され、他端にユーザの手首等と接触する接触部３０２が取り付けられた振動部２０２Ｃを有している。また、同様に、右側に固定され接触部３０３が取り付けられた振動部２０３Ｃ、下側に固定され接触部３０４が取り付けられた振動部２０４Ｃ、左側に固定され接触部３０５が取り付けられた振動部２０５Ｃを有している。振動部２０２Ｃ等は、ケーブル等により制御装置２１１と接続されてもよい。

リストバンド型触覚提供装置４０Ｂによれば、例えば、ユーザは手の自由度が制限されないため、長時間の動画像を視聴する場合でもユーザの体への負担を低減することができる。

≪ボール型触覚提供装置４０Ｃ≫
図４は、実施形態に係るボール型触覚提供装置４０Ｃの構成の一例を示す図である。図４の例では、ボール型触覚提供装置４０Ｃは、ユーザが把持するためのボール４０１、及び制御装置２１１を有している。また、ボール型触覚提供装置４０Ｃは、ボール４０１の内側の上側に固定された振動部２０２Ｃを有している。また、同様に、右側に固定された振動部２０３Ｃ、下側に固定された振動部２０４Ｃ、左側に固定された振動部２０５Ｃを有している。振動部２０２Ｃ等は、ケーブル等により制御装置２１１と接続されてもよい。

＜情報処理装置の機能構成＞
次に、図５を参照し、実施形態に係る設定端末２０の機能構成について説明する。図５は、実施形態に係る設定端末２０の機能構成を示す機能ブロック図である。

設定端末２０は、送受信部２１、受付部２２、解析部２３、生成部２４、及び制御部２５を有する。これら各部は、設定端末２０にインストールされたプログラムと、ＣＰＵ等のハードウェアが協働することにより実現されてもよい。

送受信部２１は、サーバ１０との通信を行い、データを送受信する。受付部２２は、オペレータからの各種の操作を受け付ける。解析部２３は、送受信部２１によりサーバ１０から取得された動画像を解析し、当該動画像における各種のイベント、及び当該イベントが発生している期間等を解析する。

生成部２４は、受付部２２により受け付けた設定操作、及び解析部２３による解析の結果に応じて、制御端末３０が触覚提供装置４０を制御するための触覚制御情報を生成する。制御部２５は、設定端末２０の各部を制御する。制御部２５は、例えば、動画像を再生して表示画面に表示させるとともに、触覚提供装置４０に対する当該動画像の再生位置に応じた動作の設定を受け付ける領域において、現在再生している当該動画像の位置を示す情報を表示させる。

＜処理＞
次に、図６から図９を参照し、触覚提供システム１の処理について説明する。図６は、触覚提供システム１の処理の一例を示すシーケンス図である。図７Ａは、実施形態に係るキューブ型触覚提供装置４０Ａ用の設定画面の一例について説明する図である。図７Ｂは、実施形態に係る右手首用のリストバンド型触覚提供装置４０Ｂ用の設定画面の一例について説明する図である。図７Ｃは、実施形態に係るスマートフォンである触覚提供装置４０Ｄ用の設定画面の一例について説明する図である。図８は、実施形態に係る触覚制御情報８０１の一例について説明する図である。図９は、実施形態に係るイベント設定情報９０１の一例について説明する図である。

ステップＳ１において、設定端末２０の送受信部２１は、処理対象とされる動画像（映像）（以下で、「動画像Ａ」と称する。）をサーバ１０から取得する。

続いて、設定端末２０は、取得した動画像Ａの各再生位置でのイベントを解析する（ステップＳ２）。ここで、設定端末２０の解析部２３は、例えば、コートでボールを用いるバレーボール等のスポーツ競技が撮影された動画像Ａを解析し、コートにおけるボールの位置の変化のベクトルに基づいて、動画像Ａの各再生位置での各チームにおけるサーブ、アタック、ブロック、トス、及びレシーブ等のイベントを認識してもよい。また、設定端末２０は、例えば、ディープラーニング等を用いた機械学習に基づいて、動画像Ａの各再生位置での各イベントを認識してもよい。

続いて、設定端末２０の生成部２４は、解析部２３による認識結果に基づいて、触覚提供装置４０を制御するための触覚制御情報を生成する（ステップＳ３）。ここで、設定端末２０は、例えば、予め設定されている所定の条件の情報である図９のイベント設定情報９０１に基づいて、動画像Ａの各再生位置でのイベントを、当該イベントに応じた動作の設定に変換してもよい。

（キューブ型触覚提供装置４０Ａの場合）
設定端末２０は、図９のイベント設定情報９０１の例のように、例えば、ユーザの両手で把持されるキューブ型触覚提供装置４０Ａの場合、左側のコートのチームによるサーブ、及びアタックの場合は、ユーザから見て右側の振動部２０３Ｃを音信号Ａで振動させるようにしてもよい。また、右側のコートのチームによるサーブ、及びアタックの場合は、ユーザから見て左側の振動部２０５Ｃを音信号Ａ２で振動させるようにしてもよい。

また、左側のコートのチームによるトスの場合は、ユーザから見て上側の振動部２０２Ｃを音信号Ｃで振動させてもよい。また、右側のコートのチームによるトスの場合は、ユーザから見て上側の振動部２０２Ｃを音信号Ｃ２で振動させてもよい。

これにより、ユーザは、例えば、振動の種類と、ボールの進行方向の面が振動していることに基づいて、現在の再生位置で発生しているイベントを認識することができる。

（リストバンド型触覚提供装置４０Ｂの場合）
ユーザは、左手首用のリストバンド型触覚提供装置４０Ｂと、右手首用のリストバンド型触覚提供装置４０Ｂとを、左右の手首にそれぞれ装着して使用してもよい。設定端末２０は、例えば、ユーザの左手首に装着される左手首用のリストバンド型触覚提供装置４０Ｂの場合、左側のコートでの各イベントに対して、当該イベントに応じた動作の設定に変換してもよい。この場合、設定端末２０は、図９のイベント設定情報９０１の例のように、例えば、左側のコートのチームによるサーブ、及びアタックの場合は、ユーザから見て右側の振動部２０３Ｃを音信号Ａで振動させるようにしてもよい。

また、左側のコートでアウトした場合は、ユーザから見て左側の振動部２０５Ｃを音信号Ｂで振動させてもよい。また、左側のコートのチームによるトスの場合は、ユーザから見て上側の振動部２０２Ｃを音信号Ｃで振動させてもよい。また、左側のコートでインした場合は、ユーザから見て上側、右側、及び左側の振動部２０２Ｃ、２０３Ｃ、及び２０５Ｃを音信号Ｄで振動させてもよい。

また、設定端末２０は、例えば、ユーザの右手首に装着される右手首用のリストバンド型触覚提供装置４０Ｂの場合、同様に、右側のコートでの各イベントに対して、当該イベントに応じた動作の設定に変換してもよい。

（ボール型触覚提供装置４０Ｃの場合）
設定端末２０は、図９のイベント設定情報９０１の例のように、例えば、ユーザの片手で把持されるボール型触覚提供装置４０Ｃの場合、ボール型触覚提供装置４０Ｃを動画像Ａにおける実際のボールに見立てて、当該ボールに力が加えられた部位を振動させるようにしてもよい。

この場合、設定端末２０は、例えば、左側のコートのチームによるサーブ、及びアタックの場合は、実際のボールの左側が叩かれたため、ユーザから見て左側の振動部２０５Ｃを音信号Ａで振動させるようにしてもよい。また、右側のコートのチームによるサーブ、及びアタックの場合は、ユーザから見て右側の振動部２０３Ｃを音信号Ａ２で振動させるようにしてもよい。

また、左側のコートのチームによるトスの場合は、実際のボールの下側が叩かれたため、ユーザから見て下側の振動部２０４Ｃを音信号Ｃで振動させてもよい。また、右側のコートのチームによるトスの場合は、ユーザから見て下側の振動部２０４Ｃを音信号Ｃ２で振動させてもよい。

これにより、ユーザは、振動の種類と、ボールに力が加えられた箇所が振動していることに基づいて、現在の再生位置で発生しているイベントを認識することができる。

（スマートフォンである触覚提供装置４０Ｄの場合）
ユーザは、左手用の触覚提供装置４０Ｄ（スマートフォン）と、右手用の触覚提供装置４０Ｄを、左右の手でそれぞれ把持して使用してもよい。設定端末２０は、例えば、ユーザの左手で把持される左手用の触覚提供装置４０Ｄの場合、左側のコートでの各イベントに対して、当該イベントに応じた動作の設定に変換してもよい。この場合、設定端末２０は、図９のイベント設定情報９０１の例のように、例えば、左側のコートのチームによるサーブ、及びアタックの場合は、左手用の触覚提供装置４０Ｄのバイブレーションを振動パターンＡで起動させるようにしてもよい。

また、左側のコートでアウトした場合は、左手用の触覚提供装置４０Ｄのバイブレーションを振動パターンＢで起動させるようにしてもよい。

また、設定端末２０は、例えば、ユーザの右手で把持される右手用の触覚提供装置４０Ｄの場合、同様に、右側のコートでの各イベントに対して、当該イベントに応じた動作の設定に変換してもよい。

なお、設定端末２０は、触覚提供装置４０の種別毎に触覚制御情報を生成してもよい。この場合、設定端末２０は、当該種別として、例えば、触覚提供装置４０の形状、触覚提供装置４０の把持態様、及び触覚提供装置４０を利用するユーザの種別のうちの一つまたは複数の組み合わせを用いてもよい。この場合、触覚提供装置４０の形状には、例えば、キューブ型、リストバンド型、ボール型、及びスマートフォン等が含まれてもよい。また、触覚提供装置４０の把持態様には、例えば、右手用、右手首用、左用、左手首用、及び両手用等が含まれてもよい。また、触覚提供装置４０を利用するユーザの種別には、例えば、健常者用、視覚障がい者用、及び聴覚障がい者用等の種別が含まれてもよい。

続いて、設定端末２０の制御部２５は、取得した動画像と、解析部２３による認識結果に基づいて生成部２４により生成された触覚制御情報とを含む設定画面を表示させる（ステップＳ４）。続いて、設定端末２０の受付部２２は、触覚制御情報に対する設定操作（編集操作）をオペレータから受け付ける（ステップＳ５）。設定端末２０は、各種別の触覚提供装置４０に対する設定画面をそれぞれ表示させる際、一の種別の触覚提供装置４０に対して設定された動作を、他の種別の触覚提供装置４０用の動作に変換し、変換した動作を、当該他の種別の触覚提供装置４０の設定画面に設定して表示させてもよい。これにより、オペレータは、一の種別の触覚提供装置４０に対して、動画像の各再生位置に対する動作を設定することにより、ユーザに提供される触覚の態様が異なる他の種別の触覚提供装置４０の動作の設定も行うことができる。

この場合、例えば、キューブ型触覚提供装置４０Ａに対して設定された動作を、右手首用のリストバンド型触覚提供装置４０Ｂの動作に変換する場合、設定端末２０は、イベント設定情報９０１において、キューブ型触覚提供装置４０Ａに対してオペレータにより設定された動作に対応付けられたイベントを判定する。そして、イベント設定情報９０１において、当該イベントに対応付けて登録されている右手首用のリストバンド型触覚提供装置４０Ｂの動作を判定する。そして、判定した動作を、図７Ｂの領域７１０に設定する。

（キューブ型触覚提供装置４０Ａ用の設定画面７０１の例）
図７Ａのキューブ型触覚提供装置４０Ａ用の設定画面７０１の例では、設定端末２０は、触覚提供装置４０の種別を示す情報７００、動画像を再生して表示する領域７０２（「第１領域」の一例。）、当該動画像を再生する再生ボタン７０３Ａを表示させている。

また、設定端末２０は、当該動画像の先頭からの時間の経過（動画像の時間軸）を示すゲージ７０３Ｃ、及び領域７０２に表示されている動画像の現在の再生位置を示すスライダー７０３Ｂを表示させている。図７Ａの例では、ゲージ７０３Ｃは、左端が動画像の先頭の位置を示し、右に行くほど、再生位置が先頭の位置から離れていることを示している。スライダー７０３Ｂは、オペレータの操作によりゲージ７０３Ｃ上で移動可能であり、設定端末２０は、ゲージ７０３Ｃ上のスライダー７０３Ｂの位置に応じた再生位置で、動画像を再生して領域７０２に表示させる。

また、設定端末２０は、動画像の時間軸であるゲージ７０３Ｃに沿った領域７１０（「第２領域」の一例。）において、キューブ型触覚提供装置４０Ａの右面の振動部２０３Ｃ、下面の振動部２０４Ｃ、左面の振動部２０５Ｃ、及び上面の振動部２０２Ｃのそれぞれの動作を設定するための各領域７１１Ａ、７１２Ａ、７１３Ａ、及び７１４Ａを表示させている。また、設定端末２０は、領域７１０において、キューブ型触覚提供装置４０Ａの各振動部２０２Ｃ、振動部２０３Ｃ、振動部２０４Ｃ、及び振動部２０５Ｃを振動させる音信号を設定する領域７１５Ａを表示させている。各領域７１１Ａ、７１２Ａ、７１３Ａ、７１４Ａ、及び７１５Ａには、受付部２２により受け付けたオペレータの操作、または解析部２３による動画像の認識結果に基づいた動作が制御部２５により設定される。

図７Ａの例では、各領域７１１Ａ、７１２Ａ、７１３Ａ、７１４Ａ、及び７１５Ａには、所定の時間間隔で、目盛が表示されている。設定端末２０は、各領域７１１Ａ、７１２Ａ、７１３Ａ、７１４Ａ、及び７１５Ａに対するオペレータからの操作により、キューブ型触覚提供装置４０Ａに対する当該動画像の再生位置に応じた動作の設定を受け付ける。

また、設定端末２０は、各領域７１１Ａ、７１２Ａ、７１３Ａ、７１４Ａ、及び７１５Ａのそれぞれに対応付けて、キューブ型触覚提供装置４０Ａの右面の名称７１１、下面の名称７１２、左面の名称７１３、上面の名称７１４、及び音信号の名称７１５を表示させている。なお、これらの各名称は、オペレータの操作によりそれぞれ変更できるようにしてもよい。

また、設定端末２０は、領域７１０において、領域７０２に表示されている動画像の現在の再生位置を示す赤色等の線７１６を重畳して表示させている。動画像が再生されている間、設定端末２０は、スライダー７０３Ｂ、及び線７１６を、再生位置の推移に従って右方向に移動させて表示させる。これにより、例えば、オペレータは、表示されている動画像におけるイベントを目視で確認しながら、イベントが発生したタイミング（再生位置）で、触覚提供装置４０に実行させる動作を設定する操作を行うことができる。

図７Ａの例では、上面の振動部２０２Ｃの動作を設定する領域７１４Ａにおいて、動画像の再生位置７１７から再生位置７１８までの区間７１９がオペレータにより指定されたため、設定端末２０は、区間７１９を特別な表示態様で表示させている。なお、設定端末２０は、例えば、マウスのカーソルの位置が再生位置７１７の際にマウスの左ボタンが押され、押されたままマウスのカーソルの位置が再生位置７１８まで移動されてマウスの左ボタンが離されるドラッグ・アンド・ドロップ操作を受け付けることにより、区間７１９の指定を受け付けてもよい。

また、設定端末２０は、例えば、タッチパネル上で、指またはスタイラスペン等で再生位置７１７が押され、押されたままマウスのカーソルの位置が再生位置７１８まで移動されて指またはスタイラスペン等が離されるスワイプ操作を受け付けることにより、区間７１９の指定を受け付けてもよい。

設定端末２０は、例えば、領域７１０において、動作が設定されていない区間は薄い黄色で表示させ、オペレータの操作または動画像の認識結果（解析結果）に基づいて動作が設定されている区間７１９等は白色で表示させてもよい。

また、設定端末２０は、音信号を設定する領域７１５Ａにおいて、区間７１９に応じた区間７２０を設定する。なお、設定端末２０は、領域７１５Ａに対するオペレータの操作に応答して、オペレータに指定された区間７２０を設定してもよい。

図７Ａの例では、設定端末２０は、区間７２０において、予め登録されている複数の音信号の中から、一の音信号をオペレータが選択するためのドロップダウンリスト、及びドロップダウンリストにて選択された音信号の番号７２１を表示させている。また、音信号の番号が選択される際には、選択された音信号の時間長に応じたオブジェクトが領域７１５Ａ上で表示されてもよい。

また、図７Ａの例では、設定端末２０は、左面の振動部２０５Ｃの動作を設定するための領域７１３Ａにおいて区間７２３を設定し、音信号を設定する領域７１５Ａにおいて、区間７２３に応じた区間７２４を設定している。

また、設定端末２０は、動画像を再生して表示する領域７０２の周囲に、触覚提供装置４０のアクチュエータに対応するオブジェクトを表示する。図７Ａの例では、設定端末２０は、領域７０２の右側、下側、左側、及び上側のそれぞれに、現在の再生位置に対して、キューブ型触覚提供装置４０Ａの右面の振動部２０３Ｃ、下面の振動部２０４Ｃ、左面の振動部２０５Ｃ、及び上面の振動部２０２Ｃのそれぞれの動作が設定されているか否かを示す各バー（「オブジェクト」の一例。）７４１、７４２、７４３、及び７４４を表示させている。また、設定端末２０は、各バー７４１、７４２、７４３、及び７４４のそれぞれに対応付けて、右面の名称７１１、下面の名称７１２、左面の名称７１３、及び上面の名称７１４と同様の各名称７４１Ａ、７４２Ａ、７４３Ａ、及び７４４Ａをそれぞれ表示させている。

設定端末２０は、図７Ａのように、領域７１０上を移動する線７１６により示される動画像の現在の再生位置に対して、上面の振動部２０２Ｃの動作が区間７１９により設定されている場合、上面の振動部２０２Ｃに対応付けられているバー７４４を赤色等の所定の表示態様で表示させる。また、現在の再生位置に対して動作が設定されていない振動部に対応付けられている各バー７４１、７４２、７４３は、例えば、灰色等で表示させてもよい。

また、設定端末２０は、区間７２０等のドロップダウンリスト等に表示させる各音信号を登録するための領域７３０において、各音信号を登録するための各領域７３１、及び７３２等を表示させている。領域７３１には、音信号を識別するための番号７３１Ａ、音信号をオペレータが確認するための再生ボタン７３１Ｂ、音信号のファイルが格納されているパス（フォルダ、及びファイル名等）を選択するためのボタン７３１Ｃが表示されている。

なお、図７Ａの例では、複数の振動部が同時に起動されている場合でも、一の音信号による振動を当該複数の振動部により行わせる場合の例が示されている。これに代えて、複数の振動部が同時に起動されている場合、各振動部に対して、音信号を設定できるようにしてもよい。この場合、設定端末２０は、例えば、各振動部の動作を設定する領域における区間７１９等において、一の音信号をオペレータが選択するためのドロップダウンリスト、及びドロップダウンリストにて選択された音信号の番号７２１等を表示させるようにしてもよい。そして、設定端末２０は、音信号を設定する領域７１５Ａを表示させないようにしてもよい。

（右手首用のリストバンド型触覚提供装置４０Ｂ用の設定画面７５１の例）
設定端末２０は、右手首用のリストバンド型触覚提供装置４０Ｂ用の設定画面を表示させる操作をオペレータから受け付けた場合、図７Ｂの設定画面７５１を表示させる。

図７Ｂの例では、設定端末２０は、イベント設定情報９０１と、図７Ａの設定画面７０１でのオペレータの設定とに基づき、上面の振動部２０２Ｃの動作を設定する領域７１４Ａにおいて、区間７１９を設定している。また、区間７１９に応じた区間７２０において、オペレータにより選択された音信号の番号７２１を表示させている。

また、図７Ｂの例では、図７Ａの区間７２３等で設定されているキューブ型触覚提供装置４０Ａの動作に応じたイベントに対する右手首用のリストバンド型触覚提供装置４０Ｂの動作がイベント設定情報９０１に登録されていないため、区間７２３等は削除されている。

（スマートフォンである触覚提供装置４０Ｄ用の設定画面７６１の例）
設定端末２０は、スマートフォンである触覚提供装置４０Ｄ用の設定画面を表示させる操作をオペレータから受け付けた場合、図７Ｃの設定画面７６１を表示させる。ここで、設定端末２０は、イベント設定情報９０１を参照し、他の種別の触覚提供装置４０に対して設定された動作を、スマートフォンである触覚提供装置４０Ｄ用の動作に変換して、図７Ｃの領域７１０に設定する。

なお、設定端末２０は、新規の触覚提供装置４０に応じた設定画面を、オペレータにより登録できるようにしてもよい。この場合、設定端末２０は、領域７１０の各設定項目の入力領域（トラック）、各トラックの名称、及び設定画面に表示される触覚提供装置４０の名称等を、新規の触覚提供装置４０が有するアクチュエータに応じて設定できるようにしてもよい。これにより、例えば、新規の触覚提供装置４０が、１つのモーター、及び１つの振動アクチュエータを有する場合、オペレータは、モーター用のトラック、振動アクチュエータ用のトラック、及び振動アクチュエータに入力する音信号用のトラック等を設定することができる。

続いて、設定端末２０の生成部２４は、設定画面でのオペレータの操作に応答して、触覚制御情報を生成する（ステップＳ６）。ここで、設定端末２０は、各種別の触覚提供装置４０の設定画面での動作の設定に基づいて、各種別の触覚提供装置４０に対する各触覚制御情報を生成してもよい。

この場合、設定端末２０は、各種別の触覚提供装置４０に対する設定画面を表示する際と同様の処理により、一の種別の触覚提供装置４０に対して設定された動作を、他の種別の触覚提供装置４０用の動作に変換してもよい。そして、設定端末２０は、変換した動作に応じた制御コマンドを、当該他の種別の触覚提供装置４０の触覚制御情報に含めるようにしてもよい。

図８の触覚制御情報８０１の例では、設定端末２０は、オペレータにより指定された区間７１９等に基づいて、各再生位置（再生開始からの時間）に応じた振動部等のアクチュエータのＯＮ、及びＯＦＦ等の制御、及び当該アクチュエータを振動させる音信号の再生に関する制御を行う制御コマンドを含む情報を生成する。また、設定端末２０は、オペレータに選択された各音信号のデータ、及び振動パターン等の情報も触覚制御情報に含めてもよい。

続いて、設定端末２０の送受信部２１は、オペレータに設定された触覚制御情報をサーバ１０に送信する（ステップＳ７）。続いて、サーバ１０は、動画像Ａと、当該触覚制御情報を制御端末３０に配信する（ステップＳ８）。

続いて、制御端末３０は、動画像Ａを再生して画面に表示させる（ステップＳ９）。なお、制御端末３０がセットトップボックス（ＳＴＢ、Set Top Box）、または無線ＬＡＮのアクセスポイントである場合、制御端末３０は、インターネット放送（ＩＰ放送）等により受信した動画像Ａを表示装置（ディスプレイ）に表示させてもよい。また、制御端末３０により動画像Ａを表示させる構成に代えて、地上デジタルテレビ放送等のテレビ放送により動画像Ａをテレビ受像機で表示させる構成としてもよい。

続いて、制御端末３０は、動画像Ａを再生するとともに、当該触覚制御情報に基づいて、動画像Ａにおける各イベントに応じた制御コマンドを触覚提供装置４０に送信する（ステップＳ１０）。ここで、制御端末３０は、例えば、触覚提供装置４０の振動部等のアクチュエータのＯＮ、及びＯＦＦ等の制御、及び当該アクチュエータを振動させる音信号の再生に関する制御を行う。なお、制御端末３０は、音信号のデータを触覚提供装置４０に送信して触覚提供装置４０に記録させておき、音信号の再生の開始または終了を指示するコマンドと、音信号の識別情報とを含む制御コマンドを触覚提供装置４０に送信してもよい。この場合、触覚提供装置４０は、例えば、制御装置２１１内に設けられている記憶装置に、受信した音信号のデータ（ファイル）を記録してもよい。

または、制御端末３０は、音信号の再生の開始または終了を指示する制御コマンドとともに、音信号をストリーミングで触覚提供装置４０に送信してもよい。

制御端末３０は、動画像の表示と、触覚が提供されるタイミングとを同期させるため、制御コマンドを触覚提供装置４０に送信するタイミングを、所定時間早めてもよい。または、制御端末３０は、動画像の再生を当該所定時間遅くしてもよい。

この場合、制御端末３０は、所定のデータを触覚提供装置４０に送信してから、触覚提供装置４０から制御端末３０に返信された当該所定のデータを制御端末３０が受信するまでの時間（ラウンドトリップタイム、応答時間）を算出し、算出した値の半分の値を当該所定時間としてもよい。これにより、例えば、制御端末３０から触覚提供装置４０までの電波環境等に基づく無線通信の遅延による影響を低減することができる。

続いて、触覚提供装置４０は、受信した制御コマンドに基づいて、触覚をユーザに提供する（ステップＳ１１）。

＜情報処理装置のハードウェア構成＞
上述した設定端末２０の各部は、設定端末２０にインストールした１以上のプログラムが、設定端末２０のＣＰＵに実行させることより実現することができる。

設定端末２０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等の揮発性の記憶媒体、ＲＯＭ（Read Only Memory）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像、データを表示する表示部、並びに外部と通信するためのインターフェースを備えたコンピュータによって構成することができる。

したがって、設定端末２０が有する各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるためのプログラムを生成し、例えば、汎用のパーソナルコンピュータやサーバ、タブレット端末等にそのプログラムをインストールすることにより、ハードウェア資源とソフトウェアとが協働して本実施形態における制御処理等を実現することができる。

＜変形例＞
設定端末２０の各機能部は、例えば複数のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、設定端末２０と制御端末３０を、一体の装置として構成してもよい。

また、触覚提供装置４０Ｄのように触覚提供装置４０がスマートフォンである場合、設定端末２０、制御端末３０、及び触覚提供装置４０Ｄは同一の装置でもよい。

＜実施形態の効果＞
従来、テレビやインターネットにおいて、様々な動画像コンテンツが存在している。しかしながら、これらのコンテンツの多くは、主に視覚、及び聴覚によるものであり、これらの感覚に障害がある方にとっては、アクセシビリティの低いコンテンツとなっている。

近年、ＡＲ（Augmented Reality）／ＶＲ（Virtual Reality）技術の発展とともに、より臨場感や迫力を出す手段として触覚情報の提示に注目が集まっているが、触覚情報の提示は、臨場感や迫力を増加させる手段としてのみではなく、視覚や聴覚に障害のある方に動画像や音声で伝えられない情報を触覚で伝える手段としても利用可能である。

動画像コンテンツの提示と同時に触覚情報を提示する場合には、適切なタイミングで、ユーザの身体の適切な箇所に適切な触覚情報を提示する必要がある。あらゆる人に対して触覚で迫力や臨場感を伝えたいのか、または視覚障がい者に向けて動画像の中に含まれる情報を触覚で伝えたいのかによっても適切な提示方法や使用する触覚デバイスは変わってくる。

適切でない触覚情報の提示は、逆にユーザの臨場感を損なったり、必要な情報が伝わらなかったりする可能性がある。しかしながら、どのような提示が適切かはコンテンツにより変わる上、どのようなコンテンツにどのような提示がよいのかに関しても分かっていない部分が多く、コンテンツの制作の段階で試行錯誤が必要となる場合もある。

上述した実施形態によれば、ユーザに提供する触覚の情報を適切に設定することができる。また、例えば、コンテンツの制作者が動画像コンテンツへの触覚情報の付与を容易に試行錯誤することもできる。また、提示方法の定まったものに関しては、コンテンツ制作者の労力削減のために、触覚情報を自動で付与すること、及び自動で付与した結果を手動で調整することもできる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

１ 触覚提供システム
１０ サーバ
２０ 設定端末
２１ 送受信部
２２ 受付部
２３ 解析部
２４ 生成部
２５ 制御部
３０ 制御端末
４０ 触覚提供装置

Claims (4)

1. コンピュータに、
   動画像を再生して表示させる第１領域と、前記動画像の時間軸に対応付けられた第２領域であって、触覚をユーザに提供する触覚提供装置に対する前記動画像の再生位置に応じた動作の設定を受け付ける前記第２領域とを表示させる処理と、
   前記第２領域に対する操作に基づいて、前記動画像の再生位置に応じた、前記触覚提供装置を制御させる制御情報を生成する処理と、
   を実行させ、
   前記表示させる処理では、
   前記第１領域の周囲に、前記触覚提供装置のアクチュエータに対応するオブジェクトを表示し、
   前記第２領域において、前記動画像の現在の再生位置に対して、当該アクチュエータが動作する設定とされている場合、当該オブジェクトを所定の表示態様で表示させる、
   プログラム。
2. 前記表示させる処理では、
   第１種別の触覚提供装置に対する前記第２領域を表示させ、
   前記制御情報を生成する処理では、
   前記第１種別の触覚提供装置に対して受け付けた前記動画像の再生位置でのイベントに応じた動作の設定を、前記イベントと前記動作の設定とが対応付けられたイベント設定情報に基づいて変換し、前記第１種別の触覚提供装置とは提供される触覚の態様が異なる第２種別の触覚提供装置を制御させる制御情報を生成する、
   請求項１に記載のプログラム。
3. 動画像を再生して表示させる第１領域と、前記動画像の時間軸に対応付けられた第２領域であって、触覚をユーザに提供する触覚提供装置に対する前記動画像の再生位置に応じた動作の設定を受け付ける前記第２領域とを表示させる制御部と、
   前記第２領域に対する操作に基づいて、前記動画像の再生位置に応じた、前記触覚提供装置を制御させる制御情報を生成する生成部と、
   を有し、
   前記制御部は、
   前記第１領域の周囲に、前記触覚提供装置のアクチュエータに対応するオブジェクトを表示し、
   前記第２領域において、前記動画像の現在の再生位置に対して、当該アクチュエータが動作する設定とされている場合、当該オブジェクトを所定の表示態様で表示させる、
   情報処理装置。
4. 情報処理装置が、
   動画像を再生して表示させる第１領域と、前記動画像の時間軸に対応付けられた第２領域であって、触覚をユーザに提供する触覚提供装置に対する前記動画像の再生位置に応じた動作の設定を受け付ける前記第２領域とを表示させる処理と、
   前記第２領域に対する操作に基づいて、前記動画像の再生位置に応じた、前記触覚提供装置を制御させる制御情報を生成する処理と、
   を実行し、
   前記表示させる処理では、
   前記第１領域の周囲に、前記触覚提供装置のアクチュエータに対応するオブジェクトを表示し、
   前記第２領域において、前記動画像の現在の再生位置に対して、当該アクチュエータが動作する設定とされている場合、当該オブジェクトを所定の表示態様で表示させる、
   情報処理方法。

Images