JP7245028B2 - 触覚情報提示システム - Google Patents

Description

特許法第３０条第２項適用 平成３０年９月２０日東北大学青葉山新キャンパスにおいて開催された第２３回日本バーチャルリアリティ学会大会で発表

本発明は、触覚情報提示システムに関する。

従来、微小な刺激ピンを凹凸に駆動する触覚ディスプレイによる触覚を介して、視聴覚障害者にスポーツ競技等のコンテンツの内容を直観的に伝えることのできる提示制御装置が知られている（特許文献１参照）。

また、このような刺激ピンの集合で選択項目やアイコン等を表示する触覚オブジェクト、及び、形状や画面レイアウトを表現する２次元触覚提示装置を用いて、ＥＰＧのような情報を提示する触覚情報装置も知られている（特許文献２参照）。

また、コンテンツの内容に対応させて、視聴覚障害者に感覚情報の提示を行う感覚提示装置（特許文献３参照）や、各種スポーツ競技の映像コンテンツ中のボールの動きを、視聴覚障害者に触覚を介して直感的に伝えるために、触覚情報提示システム上で変化のある部分にユーザに能動的に触れてもらい、触れている部分を介してユーザに触覚情報を提示する触覚情報提示システムが開示されている（非特許文献１参照）。

特開２０１５－１４８９３１広報 特許第５０５４４９８号公報 特開２０１６－２１３６６７号公報

東真希子，半田拓也，清水俊宏，近藤悟：触覚による情報伝達のための振動キューブの開発，日本バーチャルリアリティ学会第２２回大会論文集，2D2-02,2017.

しかしながら従来技術では、触覚情報提示システム上で変化のある部分に、ユーザが予め触れる必要があるため、展開が早く、また次に何が起こるかわからないようなスポーツ競技等の映像コンテンツの場合に、視聴覚障害者がボールやプレーヤのような変化のある部分に予め触れることができないため、映像コンテンツから抽出した触覚情報を適切に提示できない場合があった。

また、従来の触覚情報提示デバイスでは、皮膚の感度の高い指先へ振動刺激を提示するものや、立方体の各面を独立して振動させる面を変更する等して情報を提示するものであることにより振動面の判別が容易ではあるものの、常にユーザの手の平で振動面を把持するため、長時間のコンテンツを楽しむには適切でないという問題があった。

本発明は、上記の点に鑑みてなされたものであって、ユーザの体の自由度を損なうことなく、映像コンテンツの内容を直観的に、触覚情報によりユーザに提示することを目的とする。

開示の技術の一態様に係る触覚情報提示システムは、スポーツ競技を含む映像コンテンツから抽出されたイベントに応じた触覚情報を、ユーザの皮膚を介して提示する触覚情報提示システムであって、前記触覚情報を前記ユーザの皮膚に振動子を介して提示する触覚情報提示装置と、前記触覚情報提示装置を制御する制御装置と、を有し、前記制御装置は、前記イベントの情報に基づいて、複数の前記振動子の中の振動させる振動子の振動強度、及び前記振動させる振動子の振動周波数を含む制御情報を設定する決定部と、前記決定部により設定された前記制御情報を前記触覚情報提示装置に送信する送信部と、を有し、前記触覚情報提示装置は、さらに前記ユーザの皮膚の予め定めた位置に複数の前記振動子を固定する固定部と、前記制御情報を前記制御装置から受信する受信部と、前記受信部が受信した前記制御情報に基づいて、前記振動させる振動子を振動させる駆動部と、を有し、 前記触覚情報提示装置は、第１触覚情報提示装置と、第２触覚情報提示装置と、を含み、 前記制御装置は、前記スポーツ競技が行われる２つの面の一方の面で生じた前記イベントの情報に基づいて、前記制御情報を前記第１触覚情報提示装置に送信し、前記スポーツ競技が行われる２つの面の他方の面で生じた前記イベントの情報に基づいて、前記制御情報を第２触覚情報提示装置に送信する。

本発明の実施形態によれば、ユーザの体の自由度を損なうことなく、映像コンテンツの内容を直観的に、触覚情報によりユーザに提示することができる。

実施形態に係る触覚情報提示システムの構成の一例について説明する図である。 実施形態に係る触覚情報提示装置の構成の一例を説明する図であり、（Ａ）はユーザが触覚情報提示装置を手首に装着した状態を示す図であり、（Ｂ）は手を差し込む方向からみた触覚情報提示装置を示す図であり、（Ｃ）は振動子の構成の一例を示す図である。 実施形態に係るイベント検出装置の構成要素の一例を機能ブロックで示す図である。 実施形態に係る制御装置の構成要素の一例を機能ブロックで示す図である。 イベントと振動子の振動との対応関係の一例を説明する図であり、（Ａ）はイベントがサーブ及びアタックの場合であり、（Ｂ）はイベントがレシーブ及びトスの場合であり、（Ｃ）はイベントがボールアウトの場合であり、（Ｄ）はイベントがボールインの場合である。 実施形態に係る触覚情報提示装置の構成要素の一例を機能ブロックで示す図である。 実施形態に係るイベント検出装置、制御装置及び触覚情報提示装置のそれぞれの動作の一例を示すシーケンス図である。 ボールの速度ベクトルと振動の制御との対応関係の一例を説明する図であり、（Ａ）は速度の大きさに応じて振動の大きさを変化させる場合を説明する図であり、（Ｂ）は速度の向きに応じて振動させる振動子とその振動の大きさを制御する場合を説明する図である。

以下、図面を参照しながら本発明の実施形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。

実施形態に係る触覚情報提示システムは、スポーツ競技を含むオブジェクトの移動の速い映像コンテンツにおいて、かかる映像コンテンツを解析して求めたボールの位置やイベント（サーブやレシーブなど）の情報（イベント情報）に基づいて、ユーザが手首に装着するベルト等の固定部に固定した複数の振動子を選択的に振動させ、触覚で直感的に理解できる触覚情報をユーザに提示するシステムである。

尚、映像コンテンツを解析してボールの位置やイベントを解析する技術については、後述する触覚情報提示システム及びイベント検出装置の機能構成において詳述する。

＜触覚情報提示システムの構成＞
図１は、実施形態に係る触覚情報提示システム１の構成の一例について説明する図である。図１に示すように、触覚情報提示システム１は、イベント検出装置１０と、制御装置２０と、触覚情報提示装置３０ａ及び３０ｂとを有する。

イベント検出装置１０は、カメラにより撮影した映像等からイベント（例えば、バレーボールのサーブやレシーブ）を検出するものであり、ＰＣ（Personal Computer）等を用いて映像解析する装置である。イベント検出装置１０は、スポーツ競技等の映像に含まれる各種イベントを検出し、検出したイベントの情報を制御装置２０に送信する。

映像コンテンツの一例として、スポーツ競技の一つであるバレーボールの試合等の映像を例にとり説明する。また、バレーボールの試合におけるイベント情報は、プレーヤーによるサーブやレシーブ、アタック等のイベント（プレー）の情報と、バレーボールが行われるネットで仕切られた面（陣地）のうち、イベントが生じた面の情報を含むものである。具体的には「右側のコート内でレシーブが行われた」等といった情報である。

制御装置２０は、イベント情報に基づき、複数の振動子を含む触覚情報提示装置３０を制御するための制御情報を取得し、触覚情報提示装置３０ａ及び３０ｂに送信するものであり、ＰＣやスマートホン、タブレット等を用いて映像解析する装置である。

制御装置２０は、イベント情報をイベント検出装置１０から受信する。或いは人手によりイベント情報を手動で制御装置２０に入力してもよい。以下の説明では、イベント検出装置１０から制御装置２０がイベント情報を受信する場合を例に説明する。

また、制御情報には、触覚情報提示装置３０の備える複数の振動子のうちの振動させる振動子の識別情報、その振動振幅（振動強度）及び振動周波数が含まれる。

＜触覚情報提示装置の構成＞
触覚情報提示装置３０ａ及び３０ｂ（以下、区別しないときは「触覚情報提示装置３０」という。）のそれぞれは、複数の振動子と、ユーザの定められた範囲の皮膚の位置に複数の振動子がそれぞれ接触するように、複数の振動子を固定する固定部とを有する。そして制御装置２０から受信した制御情報に基づいて、振動子を予め定めた振動振幅及び振動周波数で振動させることでユーザに情報を伝達することができる。

図２は、実施形態に係る触覚情報提示装置３０の構成の一例を説明する図である。図２（Ａ）はユーザが触覚情報提示装置３０を手首に装着した状態を示す図である。図２（Ｂ）は手を差し込む方向からみた触覚情報提示装置３０を示す図である。図２（Ｃ）は振動子の構成の一例を示す図である。

図２に示すように、触覚情報提示装置３０は、固定部３１０と、電装部３１１とを有する。固定部３１０は、好適には布を材質とする帯状のベルトで構成できる。固定部を布のような柔らかく、剛性の低い材質とすることにより、個々の振動子の振動が互いに干渉しないように、制御情報を人体の皮膚に適切に伝達できる。ベルトの一部には面ファスナーを設けてもよい。これにより、ベルトを手首に巻き付け、面ファスナーで止めることで、図２（Ａ）に示すように、ユーザはリストバンドのように触覚情報提示装置３０を手首に装着することができる。

固定部３１０の内側には、図２（Ｂ）に示すように、４つの振動子３７ａ～３７ｄ（以下、区別しないときは「振動子３７」という。他の部材も同様。）の一端を固定部３１０に固定するように取り付けられている。

また図２（Ｃ）に示すように、振動子３７は、コイル（振動体）３７１と、コイル３７１を挟むように２つの磁石３７２とを備える。コイル３７１に電流を流すと電磁気力が発生し、図２（Ｃ）に示すＸ及びＹで示す方向に、コイル３７１が振動する。

一方、振動子３７の他端であって、触覚情報提示装置３０を装着したユーザの皮膚に接触する側の端部には、接触部材３９ａ～３９ｄが設けられている。接触部材３９は、ユーザの皮膚に密着するように湾曲した面を有する形状の部材である。触覚情報提示装置３０は、振動子３７の振動を、接触部材３９を介してユーザの皮膚に伝達する。

接触部材３９の湾曲した平板の面積で規定される所定の面積で、接触部材３９を介してユーザの皮膚に振動を伝達することができる。また、上述したように、接触部材３９のユーザの皮膚に接触させる面を湾曲面とすることで、皮膚との密着性を高め、振動子３７の振動をユーザの皮膚に伝達する効率を高めることができる。

接触部材３９の材質は特に限定されないが、ゴムのような材質にしたり、部材を厚くしてしまったりすると、振動子の振動が減衰し、ユーザの皮膚に伝わりにくくなる場合があるため、樹脂などある程度の硬さがあり、厚さの薄くできるものを材質とすることが好ましい。

ここで、固定部３１０の材質が金属や樹脂など等の固い材質であると、振動子３７の振動が固定部に伝達されてしまい、振動子３７の振動をユーザに適切に伝達できない場合があるため、上述した実施形態では、固定部３１０の材質に布を用いている。

布を材質として加工されたベルトは柔らかいため、振動子３７の振動が固定部３１０を介してユーザに伝達されることを抑制することができる。これにより、振動子３７の振動をユーザに適切に伝達することが可能となる。尚、固定部３１０の材質は布に限定されるものではなく、柔軟性を有し振動子３７の振動が伝達されにくい材質であれば、布以外の材質であってもよい。

図２（Ｂ）に戻り、４つの振動子３７ａ～３７ｄは、ユーザの複数の位置に接触するように配置され、固定部３１０の内側に固定されている。触覚情報提示装置３０を装着したユーザの手首の複数の位置からユーザに振動が伝達される。この４つの振動子の位置は、両面テープなどにより、コンテンツによって適切な位置に変えられる。

一方、電装部３１１は、制御装置２０から制御情報を受信し、複数の振動子３７のうち、所定の振動子を所定の振動振幅及び振動周波数で振動させるための電装部品が設けられた筐体である。電装部３１１の機能については、別途図６を用いて詳述する。

尚、ユーザが触覚情報提示装置３０を装着する部位は手首に限定されるものではなく、手のひらや足首等であってもよい。ユーザが触覚情報提示装置３０を装着する部位に応じて、ベルトの長さ等の固定部３１０の形態が適正化されてもよい。

ところで、実施形態では、触覚情報提示装置３０のうちの触覚情報提示装置３０ａはユーザの左手首に装着され、触覚情報提示装置３０ｂはユーザの右手首に装着される。

触覚情報提示装置３０ａは、バレーボール等のスポーツ競技が行われるネットで区切られた２つの面の一方の面（左側の面等）で生じたイベント情報に基づいて、ユーザに触覚情報を提示する。一方、触覚情報提示装置３０ｂは、２つの面の他方の面（右側の面等）で生じたイベント情報に基づいて、ユーザに触覚情報を提示する。ユーザは、２つの面に対応した触覚情報提示装置３０を装着することで、バレーボール等のスポーツ競技において、どちらの面でレシーブやアタック等のイベントが生じたかを判別することができる。

尚、触覚情報提示装置３０ａは、「第１触覚情報提示装置」の一例であり、触覚情報提示装置３０ｂは、「第２触覚情報提示装置」の一例である。

上述したように、触覚情報提示装置３０が４つの振動子３７ａ～３７ｄを備える例を示したが、これに限定されるものではなく、触覚情報提示装置３０が備える振動子の数は増減可能である。

次に、触覚情報提示システム１の備える各装置の機能構成について説明する。尚、以下では、バレーボールの試合の映像に基づいて、触覚情報をユーザに提示する場合を一例として説明する。

＜イベント検出装置の機能構成＞
図３は、実施形態に係るイベント検出装置１０の構成要素の一例を機能ブロックで示す図である。各機能ブロックのうちソフトウェアで実現する機能は、ＣＰＵ（Central Processing Unit）が、ＲＡＭ(Random Access Memory)をワークエリア（作業領域）として、ＲＯＭ(Read Only Memory)に格納されたプログラムを実行すること等により実現できる。

但し、ＣＰＵで行う処理の一部、又は全部を、ＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の電子回路で実現してもよい。

尚、各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・結合して構成してもよい。また以下において、実現するためのハードウェアを特に示さずに説明する機能は、ソフトウェアで実現される機能である。これらの点は、以下の各機能ブロック図においても同様である。

イベント検出装置１０は、映像受信部１１と、特徴量抽出部１２と、イベント判定部１３と、イベント情報検出部１４と、イベント情報記憶部１５と、イベント情報送信部１６と、映像終了判定部１７とを有する。

映像受信部１１は、カメラ映像である映像コンテンツを入力し、入力した映像を特徴量抽出部１２に出力するインターフェースである。この映像は、実際に行われているバレーボールの試合を１台又は複数台のカメラを用いて撮影した映像であってもよいし、テレビジョンで放送中のバレーボールの試合の映像を、テレビジョンを介して受信した映像であってもよい。

特徴量抽出部１２は、受信した映像を解析し、特徴量を抽出する。この特徴量は、バレーボールにおけるボールの２次元、又は３次元的な位置や位置の変化量、速度ベクトル、加速度ベクトル等である。またサーブやレシーブ、アタック等のイベント（プレー）毎でのプレーヤーの姿勢や動き等を示す特徴量であってもよい。

特徴量抽出部１２は、ボールの２次元、又は３次元的な位置、位置の変化量、速度ベクトル、加速度ベクトル等、或いはプレーヤーの姿勢や動き等の特徴量を抽出し、イベント判定部１３に出力する。

ここで、バレーボールのボールの２次元、又は３次元的な位置や位置の変化量、速度ベクトル、加速度ベクトル等の抽出には、参考文献『「被写体追跡可能なスポーツグラフィックスシステムの試作 －複数の可動カメラを利用したボールの三次元リアルタイム追跡－」、ＪＴＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｖｏｌ．４１，Ｎｏ．２６ ＭＥ２０１７－８５，Ａｕｇ．２０１７』に記載された方法等を用いることができる。

上記文献に記載された方法では、パン、チルト及びズーム操作を自由に行う４台のカメラを用い、動くボールを動くカメラで捉えながら、そのカメラパラメータと撮影画像の画像座標値を取得している。そして、これらの画像座標値に基づき、多焦点テンソルのソルバを利用してボールの３次元位置を算出する。３次元位置の時間変化の一次微分等により速度ベクトルを、また二次微分等により加速度ベクトルをそれぞれ算出することができる。尚、詳細は上記文献に記載されているため省略する。

また、プレーヤーの姿勢や動き等を示す特徴量の抽出には、機械学習を利用することができる。具体的には、学習フェーズにおいて、イベント毎でのプレーヤーの画像を収集し、特徴量を構成してＳＶＭ（Support Vector Machine; サポートベクターマシン）による学習を行う。そして特徴量抽出フェーズにおいて、入力した映像からプレーヤーの画像をオブジェクト領域として抽出し、それを識別器にかけることで、プレーヤーの姿勢や動きの特徴量を抽出するといった処理である。

特徴量抽出部１２による処理は、受信した映像のフレーム毎に行われる。

イベント判定部１３は、特徴量抽出部１２により映像から抽出された特徴量のうち、直前の映像フレームで抽出された特徴量に対する変化の大きさを検出する。

具体的には、イベント判定部１３は、直前の映像フレームで抽出された特徴量をＲＡＭ等に記憶しておき、新たに入力した特徴量と比較し、互いの特徴量の変化の大きさを検出する。

検出した特徴量の変化の大きさが予め定めた閾値より大きい場合、イベント判定部１３は、新たなイベントが生じたと判定し、入力した特徴量をイベント情報検出部１４に出力する。特徴量の変化の大きさが閾値より小さい場合、イベント判定部１３は、新たなイベントが生じていないと判定し、入力した特徴量をイベント情報検出部１４に出力しない。

イベント判定部１３は、判定後に、ＲＡＭ等に記憶された直前の映像フレームで抽出された特徴量を更新する。

ここで、サーブやレシーブ、アタック等のイベント毎で、ボールの速度ベクトルや加速度ベクトル等の特徴量は異なる。従って、これらの特徴量とサーブやレシーブ、アタック等のイベントとの対応関係を示すデータを予め取得しておけば、抽出した特徴量に基づき各イベントを判別することができる。

イベント情報記憶部１５は、このような特徴量と各イベントとの対応関係を示すデータを記憶するＨＤＤ（Hard Disk Drive）等の記憶装置である。

イベント情報検出部１４は、イベント判定部１３から入力した特徴量に基づき、イベント情報記憶部１５を参照してイベント情報を取得し、イベント情報送信部１６に出力する。

イベント情報送信部１６は、イベント情報を制御装置２０に送信するインターフェースである。

映像終了判定部１７は、映像受信部１１への映像の入力が所定時間以上ない場合等に、映像が終了したと判定し、イベント検出装置１０の処理、及び触覚情報提示システム１の動作を終了させる。

このようにして、イベント検出装置１０は、カメラにより撮影した映像等を受信して、映像に含まれるイベントを検出し、イベント情報を制御装置２０に送信することができる。

＜制御装置の機能構成＞
次に、図４は、実施形態に係る制御装置２０の構成要素の一例を機能ブロックで示す図である。

制御装置２０は、イベント情報受信部２１と、制御情報記憶部２２と、決定部２３と、制御情報送信部２４とを有する。

イベント情報受信部２１は、イベント検出装置１０からイベント情報を受信して、決定部２３に出力するインターフェースである。

制御情報記憶部２２は、イベント情報と制御情報とを対応付けて記憶するＨＤＤ等の記憶装置である。

ここで、イベント情報と制御情報との対応関係は、予め制御規則として定められている。このような制御規則は、触覚情報提示システム１のユーザや管理者が任意に定めてもよいが、アタックの場合は強い振動で、トスの場合は弱い振動等、イベントに対して想起しやすい振動を定めた制御規則であることが好ましい。

ここで図５は、イベントと、制御情報に基づき制御される振動子３７の振動との対応関係の一例を説明する図であり、（Ａ）はイベントがサーブ及びアタックの場合であり、（Ｂ）はイベントがレシーブ及びトスの場合であり、（Ｃ）はイベントがボールアウトの場合であり、（Ｄ）はイベントがボールインの場合である。

図５（Ａ）～（Ｄ）の各図の左側の図は、サーブやレシーブ等のイベントを示し、右側の図は振動子３７の振動の様子を示すものである。また右側の図は、手を差し込む方向からみた固定部３１０を示している。

実施形態では、イベントがサーブ及びアタックの場合は、図５（Ａ）に示すように、固定部３１０の右方にある振動子３７ｂを所定の振動振幅及び周波数で振動させる。またイベントがレシーブ及びトスの場合は、図５（Ｂ）に示すように、固定部３１０の上方にある振動子３７ｃを所定の振動振幅及び周波数で振動させる。

同様に、イベントがボールアウト（ボールがコート外に着地）の場合は、図５（Ｃ）に示すように、固定部３１０の左方にある振動子３７ｄを所定の振動振幅及び周波数で振動させ、イベントがボールイン（ボールがコート内に着地）の場合は、図５（Ｄ）に示すように、固定部３１０の下方以外の３つの振動子３７ｂ～３７ｄを所定の振動振幅及び周波数で振動させる。

尚、図５は、触覚情報提示装置３０ａにおけるイベントと振動子の振動との対応関係を示す図である。また、触覚情報提示装置３０ｂは、図５とは左右対称となるように、イベントと振動子の振動との対応関係が定められる。

つまり、イベントがサーブ及びアタックの場合は、固定部３１０の左方にある振動子３７ｄを所定の振動振幅及び周波数で振動させ、イベントがボールアウトの場合は、固定部３１０の右方にある振動子３７ｂを所定の振動振幅及び周波数で振動させる。イベントがレシーブ及びトスの場合は図５（Ｂ）と同様の対応関係とし、イベントがボールインの場合は図５（Ｄ）と同様の対応関係とする。

図４に戻り、制御装置２０の説明を続ける。決定部２３は、イベント情報受信部２１からイベント情報を入力し、イベント情報に基づいて、制御情報記憶部２２を参照して制御情報を取得し、制御情報送信部２４に出力する。換言すると、決定部２３は、イベント情報に基づいて、複数の振動子の中の振動させる振動子、その振動子の振動振幅、及び振動周波数を決定し、これらを含む制御情報を制御情報送信部２４に出力する。

ここで、振動子としては、多様な振動振幅及び振動周波数の信号（以下では、振動振幅及び振動周波数を指定する信号を音信号という）を入力できるものが好ましい。アナログ音信号のような、多様な振動振幅及び振動周波数の信号が入力できるものであると、振動の振幅や周波数を変更することで、様々な触感を提示することが出来る。様々な触感を提示できる振動子であれば、イベントを想起しやすい触感の提示が可能である。

また、音信号であれば、スマートホン等で用いられるＢｌｕｅｔｏｏｔｈ(登録商標)のような近距離無線通信を介した既存の送受信機を用いて送受信できる。これにより、新たな機器や新たな部品を追加しないで、装置の構成の簡易化及び低コスト化を図ることができる。

さらに、アタックやレシーブ等の音をそのまま音信号として用いるようにすれば、ユーザがアタックやレシーブ等のイベントをより想起しやすい触覚情報を提示することも可能となる。

また、制御情報記憶部２２は、アタックやレシーブ等のイベントにより生じる音（効果音）のデータとイベント情報とを対応付けて記憶し、記憶されたイベント情報に基づいて効果音のデータを出力するようにしてもよい。

また、制御情報送信部２４は、入力した制御情報を触覚情報提示装置３０に送信する。制御情報送信部２４は、制御情報のうち、振動させる振動子を識別する識別情報については、Ｚｉｇｂｅｅ等の近距離無線通信規格を介して触覚情報提示装置３０に送信する。一方、振動振幅及び振動周波数を指定する音信号は、Ｂｌｕｅｔｏｏｔｈのような近距離無線通信規格を介して触覚情報提示装置３０に送信できる。

このようにして制御装置２０は、受信したイベント情報に基づき、触覚情報提示装置３０を制御するための制御情報を取得し、触覚情報提示装置３０に送信することができる。

＜触覚情報提示装置の機能構成＞
次に、図６は、実施形態に係る触覚情報提示装置３０の構成要素の一例を機能ブロックで示す図である。

触覚情報提示装置３０は、識別情報受信部３１と、音信号受信部３２と、指定信号生成部３３と、アナログ音信号生成部３４と、音信号増幅部３５と、駆動部３６と、振動子３７と、電源部３８とを有する。

識別情報受信部３１は、Ｚｉｇｂｅｅ等の近距離無線通信規格を備えたインターフェースであり、制御情報から振動させる振動子の識別情報を入力し、指定信号生成部３３に出力するものである。また、音信号受信部３２は、Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信規格を備えたインターフェースであり、音信号を受信し、アナログ音信号生成部３４に出力するものである。

指定信号生成部３３は、振動子の識別情報に応じて所定の振動子３７を指定する信号を生成し、駆動部３６に出力する。またアナログ音信号生成部３４は、音信号に応じて振動子３７を振動させるためのアナログ音信号を生成し、音信号増幅部３５に出力する。

音信号増幅部３５は、入力したアナログ音信号を予め定めた出力レベルまで増幅し、増幅信号を駆動部３６に出力するアナログの増幅電気回路である。

駆動部３６は、指定信号により指定された振動子に対し、増幅された音信号で振動子を振動させるように駆動させる電気回路である。

振動子３７は、上述のように複数の振動子３７である。指定された振動子が、増幅された音信号に応じて振動することで、接触部材３９を介してユーザに振動を伝達することができる。

電源部３８は、各部に電力を供給するリチウムイオン電池等の蓄電池である。

尚、上記の各部の機能を実現するためのハードウェアは、複数の振動子３７を除き、電装部３１１の内部に設けられている。

以上のようにして触覚情報提示装置３０は、触覚情報をユーザに提示することができる。

＜触覚情報提示システムの動作＞
次に図７は、実施形態に係るイベント検出装置１０、制御装置２０及び触覚情報提示装置３０のそれぞれの動作の一例を示すシーケンス図である。

先ず、ステップＳ７１において、イベント検出装置１０の映像受信部１１は、カメラにより撮影した映像等を受信し、受信した映像を特徴量抽出部１２に出力する。

続いて、ステップＳ７２において、特徴量抽出部１２は、受信した映像を解析し、特徴量を抽出する。特徴量抽出部１２は、ボールの２次元、又は３次元的な位置、この３次元的位置の変化量、速度ベクトル、加速度ベクトル等、或いはプレーヤーの姿勢や動き等の特徴量をイベント判定部１３に出力する。

続いて、ステップ７３において、イベント判定部１３は、特徴量抽出部１２により抽出された特徴量の、直前の映像フレームで抽出された特徴量に対する変化の大きさを検出する。

検出した変化の大きさが予め規定した閾値より大きい場合、イベント判定部１３は、新たなイベントが生じたと判定し、新たに入力した特徴量をイベント情報検出部１４に出力する。一方、変化の大きさが閾値より小さい場合、イベント判定部１３は、新たなイベントが生じていないと判定し、新たに入力した特徴量をイベント情報検出部１４に出力せず、ステップＳ７１に戻る。その後、イベント判定部１３は、判定後にＲＡＭ等に記憶された直前の映像フレームで抽出された特徴量データを更新する。

続いて、ステップＳ７４において、イベント情報検出部１４は、入力した特徴量に基づき、イベント情報記憶部１５を参照してイベント情報を取得し、イベント情報送信部１６に出力する。

続いて、ステップＳ７５において、イベント情報送信部１６は、イベント情報を制御装置２０に送信する。

このようにして、イベント検出装置１０は、カメラにより撮影した映像等を受信して、映像に含まれるイベントを検出し、イベント情報を制御装置２０に送信することができる。

次に、制御装置２０のイベント情報受信部２１は、イベント検出装置１０からイベント情報を受信し、決定部２３に出力する。

続いて、ステップＳ７６において、決定部２３は、イベント情報に基づき、制御情報記憶部２２を参照して制御情報を取得し、制御情報送信部２４に出力する。

続いて、ステップＳ７７において、制御情報送信部２４は、入力した制御情報を触覚情報提示装置３０に送信する。ここで、制御情報送信部２４は、制御情報のうち、振動させる振動子の識別情報は、Ｚｉｇｂｅｅ等の近距離無線通信規格を介して触覚情報提示装置３０に送信し、振動振幅及び振動周波数を指定する音信号は、Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信規格を介して触覚情報提示装置３０に送信する。

このようにして制御装置２０は、受信したイベント情報に基づき、触覚情報提示装置３０を制御するための制御情報を取得し、触覚情報提示装置３０に送信することができる。

次に、触覚情報提示装置３０の識別情報受信部３１は、Ｚｉｇｂｅｅ等の近距離無線通信規格を介して識別情報を受信し、指定信号生成部３３に出力する。また音信号受信部３２は、Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信規格を介して音信号を受信し、アナログ音信号生成部３４に出力する。

続いて、ステップＳ７８において、指定信号生成部３３は、振動子の識別情報に応じて、所定の振動子を指定する信号を生成し、駆動部３６に出力する。

続いて、ステップＳ７９において、アナログ音信号生成部３４は、音信号に応じて振動子３７を振動させるためのアナログ音信号を生成し、音信号増幅部３５に出力する。

尚、ステップＳ７８とステップＳ７９の処理の順番は適宜変更可能であり、またステップＳ７８とＳ７９の処理が並行して実行されてもよい。

続いて、ステップＳ８０において、音信号増幅部３５は、入力したアナログ音信号を予め定めた出力レベルまで増幅し、増幅信号を駆動部３６に出力する。

続いて、ステップＳ８１において、駆動部３６は、指定信号により指定された振動子に対し、増幅された音信号で振動させる。

指定信号で指定された振動子が、増幅された音信号で振動することで、接触部材３９を介してユーザに振動が伝達される。

このようにして触覚情報提示システム１は、触覚情報をユーザに提示することができる。

以上説明してきたように、実施形態では、イベント情報に基づいて、ユーザが手首に装着するベルト等の固定部３１０に固定した複数の振動子３７を選択的に振動させ、触覚情報をユーザに提示する。

「作用・効果」
以上説明した実施形態によれば、触覚情報提示システム上で変化のある部分にユーザが予め触れる必要がないため、スポーツ競技等のように展開が速く、次に何が起こるかわからないような映像コンテンツであっても、触覚情報をユーザに適切に提示することができる。

一方で、ユーザである視聴覚障害者にとっては、コンテンツ映像を楽しむ際に長時間手がふさがってしまう状況は、活動の自由度を削ぐため好ましくない。これに対し、実施形態では、ユーザが手首に装着するベルト等の固定部３１０を介してユーザに触覚情報を提示できるため、触覚情報提示装置をユーザに把持してもらう必要がない。これにより、ユーザの手をふさぐことなく触覚情報を提示することができ、視聴覚障害者等のユーザに負担をかけることなく、長時間の映像を楽しんでもらうことができる。

尚、実施形態では、スポーツ競技のバレーボールの映像を例に説明したが、これに限定されるものではなく、他の映像に対しても実施形態を適用可能である。但し、バレーボールや卓球、テニス等の相互のコ－ト（陣地）でボールを往復させるようなスポーツ競技は、触覚情報から映像で生じたイベントを想起しやすいため、実施形態の適用に、より好ましい。

また実施形態では、イベント検出装置１０と、制御装置２０と、触覚情報提示装置３０とを有する触覚情報提示システム１の例を説明したが、各装置の備える機能の一部又は全部を、他の装置に持たせる構成としてもよい。具体的には、イベント検出装置１０の機能の一部又は全部を制御装置２０に持たせたり、制御装置２０の機能の一部又は全部を触覚情報提示装置３０に持たせたりしてもよい。

また、イベント情報に基づく制御装置２０による制御の変形例として、ボールの速度ベクトルを特徴量として算出し、速度の大きさに基づき振動の大きさを変化させたり、速度の向きに基づいて、振動させる振動子とその振動の大きさを制御したりしてもよい。

次に図８を参照して、バレーボールを例にとり、ボールの速度ベクトルと振動の制御との対応関係の一例を説明する。ここで、図８の（Ａ）は速度の大きさに応じて振動の大きさを変化させる場合を説明する図であり、図８の（Ｂ）は速度の向きに応じて振動させる振動子とその振動の大きさを制御する場合を説明する図である。

図８（Ａ）は、速度ベクトルＶの大きさに応じて、振動子３５ｂの振動の大きさの変化を説明する図である。振動子３５ｂの振動の大きさは、一例として音信号の大きさ（音の大きさ）により変化させることができる。

また図８（Ｂ）は、速度ベクトルＶの向きに応じて、振動子３５ｃと振動子３５ｂを振動させる振動子として指定するものである。この場合、振動子３５ｃには、Ａｍａｘ×Ｖｓｉｎθ／Ｖｍａｘの振動振幅で振動させ、振動子３５ｂには、Ａｍａｘ×Ｖｃｏｓθ／Ｖｍａｘの振動振幅で振動させる。つまり速度の向きに応じて、振動子３５ｃと振動子３５ｂの振動振幅を異ならせている。

尚、Ｖｍａｘはバレーボールのボールの最大速度であり、一例として２００ｋｍ／ｈ等である。またＡｍａｘは音信号の最大出力（最大ボリューム）である。

このようにして、ボールの動きを複数の振動子の振動で詳細に表現することができ、映像を触覚情報によって、より詳細に提示することができる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

１ 触覚情報提示システム
１０ イベント検出装置
１１ 映像受信部
１２ 特徴量抽出部
１３ イベント判定部
１４ イベント情報検出部
１５ イベント情報記憶部
１６ イベント情報送信部
１７ 映像終了判定部
２０ 制御装置
２１ イベント情報受信部
２２ 制御情報記憶部
２３ 決定部
２４ 制御情報送信部
３０ 触覚情報提示装置
３１ 識別情報受信部
３２ 音信号受信部
３３ 指定信号生成部
３４ アナログ音信号生成部
３５ 音信号増幅部
３６ 駆動部
３７、３７ａ、３７ｂ、３７ｃ、３７ｄ 振動子
３７１ コイル
３７２ 磁石
３８ 電源部
３９、３９ａ、３９ｂ、３９ｃ、３９ｄ 接触部材
３１０ 固定部
３１１ 電装部

Claims (6)

1. スポーツ競技を含む映像コンテンツから抽出されたイベントに応じた触覚情報を、ユーザの皮膚を介して提示する触覚情報提示システムであって、
   前記触覚情報を前記ユーザの皮膚に振動子を介して提示する触覚情報提示装置と、
   前記触覚情報提示装置を制御する制御装置と、を有し、
   前記制御装置は、
   前記イベントの情報に基づいて、複数の前記振動子の中の振動させる振動子の振動強度、及び前記振動させる振動子の振動周波数を含む制御情報を設定する決定部と、
   前記決定部により設定された前記制御情報を前記触覚情報提示装置に送信する送信部と、を有し、
   前記触覚情報提示装置は、さらに
   前記ユーザの皮膚の予め定めた位置に複数の前記振動子を固定する固定部と、
   前記制御情報を前記制御装置から受信する受信部と、
   前記受信部が受信した前記制御情報に基づいて、前記振動させる振動子を振動させる駆動部と、を有し、
   前記触覚情報提示装置は、第１触覚情報提示装置と、第２触覚情報提示装置と、を含み、
   前記制御装置は、
   前記スポーツ競技が行われる２つの面の一方の面で生じた前記イベントの情報に基づいて、前記制御情報を前記第１触覚情報提示装置に送信し、
   前記スポーツ競技が行われる２つの面の他方の面で生じた前記イベントの情報に基づいて、前記制御情報を第２触覚情報提示装置に送信する
   触覚情報提示システム。
2. 前記ユーザに接触する複数の前記振動子の端部には、前記ユーザの皮膚に密着するように板状の接触部材が設けられている
   請求項１に記載の触覚情報提示システム。
3. 前記固定部は、予め定められた硬さを有し、前記振動子の振動が前記ユーザの皮膚を介して伝達されるようにしたベルトである請求項１または２に記載の触覚情報提示システム。
4. 前記決定部は、前記振動子の前記振動強度、及び前記振動周波数を指定する音信号を、前記イベントの情報に応じて決定する請求項１から３のいずれか一項に記載の触覚情報提示システム。
5. 前記決定部は、前記スポーツ競技で用いられるボールの速度と向きに基づいて、前記振動させる振動子、前記振動強度及び前記振動周波数を決定する
   請求項１乃至４の何れか１項に記載の触覚情報提示システム。
6. 前記触覚情報提示システムは、イベント検出装置を含み、
   前記イベント検出装置は、
   前記スポーツ競技の映像における、前記スポーツ競技で用いられるボールの位置の変化に基づいて、前記イベントを検出する検出部と、
   検出した前記イベントの情報を前記制御装置に送信するイベント情報送信部と、を有する
   請求項１乃至５の何れか１項に記載の触覚情報提示システム。

Images