JP6523038B2 - 感覚提示装置 - Google Patents

Description

本発明は、感覚提示装置に係り、特に視覚及び聴覚以外の感覚の情報をコンテンツに同期させて提供する感覚提示装置に関し、特に触覚情報を映像、音声からなるコンテンツに同期させて提示する感覚提示装置に関する。

テレビ番組やインターネット配信等の動画コンテンツは、主に視覚情報（映像）と聴覚情報（音声）とで構成されている。視覚情報だけのコンテンツや、聴覚情報だけのコンテンツは、そのコンテンツが伝えたい情報が視覚又は聴覚の単一の感覚のみで伝達されるため、例えば視覚障害者は、映像のみからは情報を取得して楽しむことができず、聴覚障害者は、ラジオ等の音声のみからは情報を取得して楽しむことができない。

これに対し、視覚と聴覚の二つの感覚を用いたコンテンツは、単一の感覚の場合よりも自然な形で情報を伝達することができ、リアリティや臨場感を高めることができる。また、全てではないが、視覚障害者が音声だけで聴覚障害者が映像だけでコンテンツからの情報を一部取得したり、楽しむことができる。

また従来では、視覚情報を補うための解説音声や、聴覚情報を補うための音声字幕というサービスが存在する。また従来では、視覚及び聴覚に、触覚を加えた三つの感覚を用いることで、健常者等に対してリアリティや臨場感を高めることができるだけでなく、障害者にとって不足となりがちな視覚情報や聴覚情報を補うことが可能になると考えられている。このように、多種の感覚で情報を提供することを、マルチモーダルな情報提示という（以下、視覚又は聴覚以外の感覚を含む複数の感覚を用いて情報を提示するコンテンツを「マルチモーダルコンテンツ」という）。

マルチモーダルな情報提示の従来例としては、例えば音楽の低音成分を椅子等に組み込んだ振動子によって振動として提示するボディソニックという第１の従来手法が存在する。また、従来の映像音声に加えて、振動等の触覚情報や、移動感等の体性感覚情報を提示する第２の従来手法を用いたテーマパークや映画館等が存在する（例えば、非特許文献１及び２参照）。また、放送通信連携のサービスを用いてテレビ放送の映像音声に加えて収録した振動情報を通信経由で伝送する第３の従来手法が存在する（例えば、非特許文献３参照）。

Ｏｒｂｉ（登録商標） Ｙｏｋｏｈａｍａ、"ｈｔｔｐ：／／ｏｒｂｉｅａｒｔｈ．ｊｐ／ｊｐ／ｔｈｅａｔｒｅ／" ４ＤＸ（登録商標）シアター、"ｈｔｔｐ：／／ｗｗｗ．４ｄｘ．ｋｏｒｏｎａ．ｃｏ．ｊｐ／" Ｋｙｏｋｏ Ａｒｉｙａｓｕ，Ｈｉｒｏｙｕｋｉ Ｋａｗａｋｉｔａ，Ｔａｋｕｙａ Ｈａｎｄａ ａｎｄ Ｈｉｒｏｙｕｋｉ Ｋａｎｅｋｏ、"Ｔａｃｔｉｌｅ ｓｅｎｓｉｂｉｌｉｔｙ ｐｒｅｓｅｎｔａｔｉｏｎ ｓｅｒｖｉｃｅ ｆｏｒ Ｓｍａｒｔ ＴＶ"、ＩＥＥＥ ＧＣＣＥ ２０１４，ｐ．２３６−２３７．

しかしながら、上述した第１の従来手法では、音声信号（聴覚情報）のうち、提示する周波数成分は選択できるものの、音楽以外のコンテンツに適用しようとした場合に人間の音声等も振動により提示される。そのため、ドラマ等の番組コンテンツ等への適応が困難であり、リアリティや臨場感が損なわれる。

また、上述した第２の従来手法では、専用のシアター等での体験に限定されており、また視覚情報、聴覚情報、触覚情報間のバランスをユーザの状況やニーズに応じて制御することができない。

また、上述した第３の従来手法では、コンテンツ制作者側が、予め提示する振動箇所や成分を決定するため、ユーザの心情にそぐわない（ユーザが求めていない）振動まで提示されてしまう恐れがあるため、コンテンツのリアリティや臨場感を損なう可能性がある。

本発明は、上述した問題点に鑑みなされたものであり、コンテンツの内容に対応させて適切な感覚情報の提示を行う感覚提示装置を提供することを目的とする。

一つの態様では、取得したコンテンツに対応させて触覚情報を含む感覚情報をユーザに提示する感覚提示装置において、前記コンテンツに対応する映像情報と、音声情報と、振動情報とを、前記コンテンツに含まれる各被写体に対応付けて時系列情報と共に記憶する記憶部と、前記コンテンツを視聴するユーザの状態から得られる情報を取得するユーザ情報取得部と、前記ユーザによる所定の操作から情報を取得するデバイス情報取得部と、前記ユーザ情報取得部と前記デバイス情報取得部とにより得られる情報に基づいて前記コンテンツに含まれる各被写体の中から、所定の被写体を選択し、選択した該被写体に対する感覚情報の制御を行う制御部と、前記制御部により選択された前記被写体に対応する前記映像情報と、前記音声情報と、前記振動情報とを前記記憶部から取得し、取得したそれぞれの情報を合成する合成部と、前記合成部により合成された情報を前記ユーザに提示する提示部とを有し、前記制御部は、前記音声情報が提示できない場合に、前記音声情報を振動情報に変換し、変換した該振動情報を提示させる。

本発明によれば、コンテンツの内容に対応させて適切な感覚情報の提示を行うことができる。

本実施形態における感覚提示システムの機能構成の一例を示す図である。 本実施形態における感覚提示処理の一例を示すフローチャートである。 本実施形態における感覚提示処理の概要例を示す図である。 本実施形態における感覚提示の画面インタフェース例を示す図である。 デフォルトコンテンツ情報の第１の例を示す図である。 デフォルトコンテンツ情報の第２の例を示す図である。 デフォルトコンテンツ情報の第３の例を示す図である。

＜本発明について＞
従来では、触覚（例えば、物体に触れたときに感じる振動や加速度等の感覚）提示を含むマルチモーダルなコンテンツ制作のノウハウが確立されておらず、ユーザの心情に沿うのが難しいだけでなく、コンテンツ制作者の意図を十分に反映することも困難な状況となっている。ユーザが振動として体験したい信号や成分は、視覚情報や聴覚情報との関係や、コンテンツの文脈（例えば、どのようなドラマのシーンで何が重要であるか等）、ユーザの主観的な視点、ユーザの注意の状況、ユーザの動作等によって変わるため、ユーザが求めていない触覚提示は、かえってコンテンツのリアリティや臨場感を損なう可能性がある。

そこで、本発明では、例えばマルチモーダルコンテンツとして、例えば振動等を用いた受動的な触覚情報を含むコンテンツをユーザに提供する場合に、ユーザが使用したり、受容できる感覚の種類、コンテンツの文脈、ユーザの主観的な視点、ユーザの注意の状況、及びユーザのインタラクティブな動作等のうち、少なくとも１つの情報に基づいて、提示対象の情報（例えば、振動成分等）を選択して提示制御する。これにより、例えばリアリティや臨場感を高めたり、視覚障害者や聴覚障害者等がコンテンツをより楽しむことができる。

次に、上述したような特徴を有する本発明における感覚提示装置を好適に実施した形態について、図面等を用いて詳細に説明する。

＜感覚提示システムの機能構成例＞
図１は、本実施形態における感覚提示システムの機能構成の一例を示す図である。図１の例に示す感覚提示システム１０は、送信側（番組制作者側）の一例としての番組等のコンテンツを提供する番組提供装置１１と、番組提供装置１１からのコンテンツを受信する受信側（番組視聴者側）の一例としての感覚提示装置１２とを有する。

番組提供装置１１と、感覚提示装置１２とは、例えば番組（コンテンツ）を受信するための放送波（伝送波）１３−１や、受信側でユーザに感覚を提示するための情報を送信するインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に代表される通信ネットワーク１３−２によりデータの送受信が可能な状態で接続されている。また、図１の例では、番組提供装置１１と感覚提示装置１２とは、１対１の関係になっているが、これに限定されるものではなく、ｍ対ｎ（ｍ≧１，ｎ≧１）の関係でもよい。したがって、例えば１つの番組提供装置１１が、複数の感覚提示装置１２に対して番組コンテンツや感覚提示情報を送信してもよい。

＜番組提供装置１１の機能構成例＞
番組提供装置１１は、１又は複数の映像情報取得部２１−１〜２１−ｎ（以下、必要に応じて「映像情報取得部２１」と総称する）と、音声情報取得部２２−１〜２２−ｎ（以下、必要に応じて「音声情報取得部２２」と総称する）と、振動情報取得部２３−１〜２３−ｎ（以下、必要に応じて「振動情報取得部２３」と総称する）と、記憶部２４と、通信部２５とを有する。

映像情報取得部２１は、ユーザに提供するコンテンツ又は制作するコンテンツに対応する映像を取得する。映像情報取得部２１は、例えばカメラ等であるが、これに限定されるものではない。映像情報取得部２１は、例えば放送波１３−１により視聴者（感覚提示装置１２）に提供する番組コンテンツ（映像、音声を含む）３１とは別に、例えば複数のカメラにより同一の番組に対する異なる視点や対象（被写体）を撮影して映像信号を取得する。ここで、被写体とは、選手や観客、主人公等の登場人物の各種人物だけでなく、例えばボールやラケット、ネット、椅子（観客席）、床（コート、地面）、壁等の実空間上の物体（オブジェクト）を含む。また、被写体は、１又は複数の物体であってもよい。

音声情報取得部２２は、映像コンテンツに対応する現場環境（例えば、番組（スタジオ）のセット、スポーツ等の試合会場、テーマパーク、コンサートやアトラクション等の各イベント会場等から得られる音声情報である。音声情報取得部２２は、例えばマイク等であり、被写体（例えば、選手の靴や洋服、ラケット、ボール内部、床、椅子（観客席））等に設置される。

振動情報取得部２３は、例えば映像コンテンツ等に映し出される被写体等が他の被写体等と接触したり、被写体が動作することにより生じる振動を取得する。振動情報取得部２３は、コンテンツの制作時に予め被写体等の所定の位置に設置される。振動情報取得部２３は、異なる被写体等に設置してもよく、１つの被写体に複数の振動情報取得部２３を設置してもよい。振動情報取得部２３は、例えば振動検知センサや圧力検知センサ、加速度センサ、熱センサ等であるが、これに限定されるものではない。振動情報取得部２３は、各センサからそれぞれの振動情報を取得してもよく、各センサの結果を組み合わせて振動情報を生成してもよい。また、振動情報取得部２３は、例えば制作者側が映像情報（映像コンテンツ）を見ながら設定することで、振動情報を取得してもよい。

なお、上述した映像情報取得部２１、音声情報取得部２２、及び振動情報取得部２３は、制作している同一のコンテンツ（例えば、スポーツ中継やドラマ、バラエティ等の番組コンテンツ３１等）に対する映像、音声、及び振動の各情報を取得する。これらの各情報は、番組コンテンツ３１と共に時系列情報（例えば、タイムスタンプ）３２等で同期が取られた状態で、マルチモーダル情報２４−１に記憶される。

記憶部２４は、本実施形態における感覚提示処理を実現するために必要な各種情報を記憶する。記憶部２４は、例えばマルチモーダル情報２４−１と、被写体−映像対応情報２４−２と、被写体−音声対応情報２４−３と、被写体−振動対応情報２４−４と、デフォルトコンテンツ情報２４−５とを含む感覚提示情報を有する。

マルチモーダル情報２４−１は、上述した映像情報取得部２１、音声情報取得部２２、及び振動情報取得部２３により取得した各情報を、被写体の識別情報と共に、時系列情報３２で同期させて記憶された情報である。

被写体−映像対応情報２４−２は、マルチモーダル情報２４−１に基づき、番組等のコンテンツに対応する映像情報と、その映像に登場する被写体とを対応付けた情報である。被写体−音声対応情報２４−３は、マルチモーダル情報２４−１に基づき、番組等のコンテンツに対応する音声情報と、その音声情報に対応する被写体情報とを対応付けた情報である。被写体−振動対応情報２４−４は、マルチモーダル情報２４−１に基づき、番組等のコンテンツに対応する被写体と、その振動情報とを対応付けた情報である。例えば被写体−振動対応情報２４−４は、例えば各映像情報取得部２１−１〜２１−ｎのそれぞれに対して、時系列情報（タイムコード）に基づく振動のＯｎ／Ｏｆｆ情報等が設定されるが、これに限定されるものではない。なお、上述した被写体−映像対応情報２４−２、被写体−音声対応情報２４−３、及び被写体−振動対応情報２４−４は、マルチモーダル情報２４−１から得られる情報であり、例えば映像情報に対して特徴抽出等の画像解析処理を行ったり、制作者が映像を見ながら抽出した各被写体を基準にして、映像、音声、振動のそれぞれを対応付けた情報である。

デフォルトコンテンツ情報２４−５は、制作者側で予め設定されたコンテンツ情報であり、時系列情報に対応させて被写体毎の提示内容が設定されている。コンテンツ情報としては、例えばコンテンツの内容が「テニスの試合」の映像であり、対戦カードは「選手Ａ」ｖｓ「選手Ｂ」であり、被写体としては「０１」〜「０７」がある等の情報である。また、コンテンツ情報は、例えば映像情報取得部２１、音声情報取得部２２、及び振動情報取得部２３のうち、どの情報がどの程度取得されるかといった情報である。また、デフォルトコンテンツ情報２４−５は、映像コンテンツ中のどの被写体に対して、どのような振動による触覚を与えるかといった情報を設定してもよい。

なお、記憶部２４により記憶される情報は、上述した例に限定されるものではなく、例えば各種設定情報やエラー情報等、各処理の実行に対するログ情報等を記憶してもよい。

通信部２５は、番組コンテンツ３１を放送波等により感覚提示装置１２に出力する。また、通信部２５は、記憶部２４に記憶された各種情報（例えば、マルチモーダル情報２４−１、被写体−映像対応情報２４−２、被写体−音声対応情報２４−３、被写体−振動対応情報２４−４、デフォルトコンテンツ情報２４−５等）を通信ネットワーク１３−２等により感覚提示装置１２に出力する。通信部４１が通信する情報としては、これらに限定されるものではない。

ここで、上述した例では、放送番組（番組コンテンツ３１）と、記憶部２４に記憶された感覚提示情報とを同一の番組提供装置１１から送信しているが、これに限定されるものではなく、放送番組の制作と、感覚提示情報の制作とを異なる装置で行ってもよい。

＜感覚提示装置１２の機能構成例＞
感覚提示装置１２は、通信部４１と、記憶部４２と、ユーザ情報取得部４３と、デバイス情報取得部４４と、マルチモーダル情報制御部（制御部）４５と、マルチモーダル情報合成部（合成部）４６と、映像情報提示部（視覚情報提示部）４７と、音声情報提示部（聴覚情報提示部）４８と、振動情報提示部（触覚情報提示部）４９とを有する。なお、上述した映像情報提示部４７、音声情報提示部４８、及び振動情報提示部４９は、一つの提示部として構成されていてもよい。

通信部４１は、番組提供装置１１は、放送波１３−１により放送番組（番組コンテンツ３１）を受信する。また、通信部４１は、通信ネットワーク１３−２により、番組提供装置１１から感覚提示情報（例えば、マルチモーダル情報２４−１、被写体−映像対応情報２４−２、被写体−音声対応情報２４−３、被写体−振動対応情報２４−４、及びデフォルトコンテンツ情報２４−５）を受信する。なお、通信部４１が通信する情報としては、これに限定されるものではない。

記憶部４２は、通信部４１から受信した番組コンテンツ３１や感覚提示情報等を記憶する。記憶部４２が記憶する内容については、これに限定されるものではなく、例えばユーザ情報やデバイス情報等を記憶してもよい。

ユーザ情報取得部４３は、コンテンツを視聴するユーザの状態から得られる情報を取得する。ユーザの状態から得られる情報とは、例えばユーザがコンテンツを表示している画面の方を向いているか否か、画面を注視しているか（どこを注視しているか）又は注視していないか（目を閉じている状態か）等の情報である。例えば、ユーザ情報取得部４３は、カメラ（撮像部）等により画面を見るユーザを撮影し、撮影した映像からユーザの顔の向き、視線情報（例えば、注視点）等を取得するが、取得される情報については、これに限定されるものではなく、例えばユーザが発声した音声情報等を取得してもよい。また、ユーザの状態から得られる情報として、上記以外にも、例えばユーザが感覚提示装置１２を手に持って視聴しているか（感覚提示装置１２の持ち方や触り方）や、ユーザの周囲の環境（騒音レベル、明るさ、車や電車等で移動中か否か）等であってもよい。

デバイス情報取得部４４は、ユーザによる感覚提示装置１２への所定の操作から情報を取得する。デバイス情報取得部４４は、例えば感覚提示装置１２の表示画面（映像情報提示部４７）等に対するユーザのタッチ位置座標や、感覚提示装置１２に設けられたボタンに対して操作した内容等を取得する。なお、デバイス情報取得部４４が取得する情報は、これに限定されるものではなく、例えばユーザによる所定の操作から、感覚提示装置１２が映像表示ができるか否かや音声出力ができるか否か等の情報を取得でもよい。

例えばデバイス情報取得部４４は、例えば映像情報提示部４７に表示されている各被写体のうち、ユーザが振動等による触覚提示を受けたい被写体の選択を受け付ける。

また、デバイス情報取得部４４は、使用中のデバイス（感覚提示装置１２）について、映像情報提示部４７、音声情報提示部４８、及び振動情報提示部４９の有無及び各提示部の使用の可否を取得してもよい。このとき、各提示部の使用の可否については、ユーザ情報取得部４３により取得してもよい。

マルチモーダル情報制御部４５は、ユーザ情報取得部４３及びデバイス情報取得部４４から得られる各情報から、映像コンテンツに対応する被写体のうち、どの被写体に対してどの感覚を提供するかの制御を行う。なお、ユーザ情報取得部４３及びデバイス情報取得部４４から得られる各情報に対応して提示する被写体に対する映像情報、音声情報、及び振動情報があるか否かは、記憶部４２に記憶された被写体−映像対応情報２４−２と、被写体−音声対応情報２４−３と、被写体−振動対応情報２４−４とから取得することができる。また、マルチモーダル情報制御部４５は、ユーザ情報取得部４３及びデバイス情報取得部４４からの情報がない場合や、指定項目がない場合、初期化の指示等があった場合には、記憶部４２に記憶されたデフォルトコンテンツ情報２４−５で設定された情報で感覚提示を行うように制御する。

また、マルチモーダル情報制御部４５は、ユーザにコンテンツに登場する被写体のうち、少なくとも１つの被写体を選択させるための画面情報（画面インタフェース）等を生成し、生成した画面情報を映像情報提示部４７に提示させてもよい。

マルチモーダル情報合成部４６は、マルチモーダル情報制御部４５により得られる制御情報に基づいて、対応する感覚提示情報をマルチモーダル情報２４−１から取得し、それぞれ提示する情報を合成する。例えば、ユーザからある被写体のみが指定された場合には、マルチモーダル情報合成部４６は、その被写体に対する映像情報、音声情報、及び振動情報を取得し、取得した各情報を同期して合成する。

また、マルチモーダル情報合成部４６は、提示する感覚情報（視覚、聴覚、触覚）に対応させて、映像情報、音声情報、及び振動情報の合成信号を出力する。例えば、マルチモーダル情報合成部４６は、提示する情報に視覚情報を含む場合には、映像情報提示部４７に映像情報を出力する。また、マルチモーダル情報合成部４６は、提示する情報に聴覚情報を含む場合には、音声情報提示部４８に音声情報を出力する。また、マルチモーダル情報合成部４６は、提示する情報に聴覚情報を含む場合には、振動情報提示部４９に振動情報を出力する。

映像情報提示部４７は、記憶部４２に記憶された番組コンテンツ３１の映像情報を画面等に表示する。また、映像情報提示部４７は、記憶部４２に記憶された感覚提示情報に含まれる情報（映像情報取得部２１−１〜２１−ｎで取得した情報）から、マルチモーダル情報合成部４６により抽出された映像情報を画面等に表示する。また、映像情報提示部４７は、マルチモーダル情報制御部４５から得られた被写体をユーザに選択させるための画面情報を表示してもよい。映像情報提示部４７は、例えばモニタやディスプレイ等であるが、これに限定されるものではない。

音声情報提示部４８は、記憶部４２に記憶された番組コンテンツ３１の音声情報を出力する。また、音声情報提示部４８は、記憶部４２に記憶された感覚提示情報に含まれる情報（音声情報取得部２２−１〜２２−ｎで取得した情報）から、マルチモーダル情報合成部４６により抽出された音声情報を出力する。音声情報提示部４８は、例えばスピーカやイヤフォン等であるが、これに限定されるものではない。

振動情報提示部４９は、記憶部４２に記憶された感覚提示情報に含まれる情報（振動情報取得部２３−１〜２３−ｎで取得した情報）からマルチモーダル情報合成部４６により抽出された振動情報を出力する。ユーザは、振動情報提示部４９に触れることで、振動情報による触覚を取得することができる。なお、振動情報提示部４９の一例としては、例えばボイスコイルモータや偏心モータ、リニア共振アクチュエータ（ＬＲＡ；Ｌｉｎｅａｒ Ｒｅｓｏｎａｎｔ Ａｃｔｕａｔｏｒ）であるが、これに限定されるものではない。

振動情報提示部４９は、触覚情報として周波数等を変更することで、触覚（振動）の内容、種類を変えることができる。また、振動情報提示部４９は、感覚提示装置１２内に内蔵されていてもよく、感覚提示装置１２と着脱自在な外付けデバイス等であってもよい。

また、本実施形態の感覚提示装置１２における触覚を提示するデバイスとしては振動に限定されるものではなく、例えば触覚ディスプレイ等のような専用デバイスや、熱や風等を利用した触覚情報提示部でもよい。

＜他の実施形態の一例＞
ここで、上述した図１に示す感覚提示システム１０において、上述した番組提供装置１１の一部を感覚提示装置１２に設けてもよく、感覚提示装置１２の構成の一部を番組提供装置１１に設けてもよい。

例えば、別の他の実施形態として、振動情報提示機能を有する感覚提示装置１２が一式であるような場合、上述した番組提供装置１１における記憶部２４を有していなくてもよく、映像情報取得部２１、音声情報取得部２２、及び振動情報取得部２３から得られた情報を通信ネットワーク１３−２を介して感覚提示装置１２に送信し、感覚提示装置１２の記憶部４２が、番組コンテンツ３１に対応する映像情報と、音声情報と、振動情報とを、番組コンテンツ３１に含まれる各被写体に対応付けて時系列情報３２と共に記憶してもよい。

例えば、他の実施形態では、上述した感覚提示装置１２のマルチモーダル情報制御部４５及びマルチモーダル情報合成部４６を番組提供装置１１に有してもよい。この場合、感覚提示装置１２は、ユーザ情報取得部４３及びデバイス情報取得部４４から得られる情報を、通信ネットワーク１３−２を介して番組提供装置１１に送信する。番組提供装置１１は、感覚提示装置１２から得られるユーザ情報及びデバイス情報と、記憶部２４に記憶された情報とに基づいて、マルチモーダル情報制御部４５及びマルチモーダル情報合成部４６によりユーザに提供するマルチモーダル情報（映像情報、音声情報、振動情報）を生成し、生成した情報を通信ネットワーク１３−２を介して対象の感覚提示装置１２に送信する。これにより、感覚提示装置１２は、番組提供装置１１側で合成されたマルチモーダル情報をユーザに提示するため、マルチモーダル情報の制御や合成処理による負荷を軽減することができる。

また、他の実施形態において、例えば上述した記憶部２４，４２に記憶される各種情報を、通信ネットワーク１３−２を介して接続可能な他の装置（例えば、データベースサーバ）等に管理させてもよい。

上述した感覚提示システム１０において、番組提供装置１１は、例えば放送局やコンテンツサービス提供者等であってもよいが、これに限定されるものではない。また、番組提供装置１１は、例えば汎用のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）でもよく、少なくとも一以上の情報処理装置からなるクラウドコンピューティングにより構成されるクラウドサーバであってもよい。また、上述した感覚提示装置１２は、タブレット端末やスマートフォン、ＰＣ、家庭に設置されたテレビ受像機等でもよいが、これに限定されるものではない。

＜感覚提示処理の一例＞
次に、上述した本実施形態の感覚提示装置１２における感覚提示処理の一例について、フローチャートを用いて説明する。図２は、本実施形態における感覚提示処理の一例を示すフローチャートである。図２に示す感覚提示処理において、感覚提示装置１２は、番組提供装置１１等から、ユーザに提示するコンテンツ（例えば、番組コンテンツ３１）と、コンテンツに対応する映像情報、音声情報、振動情報等の触覚提示情報とを取得する（Ｓ０１）。なお、Ｓ０１の処理により取得した触覚提示情報は、上述した記憶部４２等に記憶されてもよく、番組提供装置１１が取得してもよい。

次に、感覚提示装置１２は、記憶部４２等からデフォルトコンテンツ情報を取得する（Ｓ０２）。また、感覚提示装置１２は、ユーザ情報取得部４３からユーザ情報を取得し（Ｓ０３）、デバイス情報取得部４４からデバイス情報を取得する（Ｓ０４）。

次に、感覚提示装置１２のマルチモーダル情報制御部４５は、Ｓ０３、Ｓ０４の処理でそれぞれ得られた情報から、提示されるコンテンツに対して指定項目があるか否かを判断する（Ｓ０５）。指定項目とは、例えばコンテンツに含まれる被写体の情報や、被写体毎に設定される感覚情報等であるが、これに限定されるものではない。

マルチモーダル情報制御部４５は、指定された項目がない場合（Ｓ０５において、ＮＯ）、マルチモーダル情報合成部４６は、Ｓ０２の処理で取得したデフォルトコンテンツ情報に基づいて、例えば全ての被写体に対する全てのマルチモーダル情報を合成する（Ｓ０６）。

また、感覚提示装置１２は、Ｓ０５の処理において、指定項目がある場合（Ｓ０５において、ＹＥＳ）、Ｓ０１の処理で取得した各情報（例えば、映像情報、音声情報、振動情報等）の中から、指定された被写体等に対応するマルチモーダル情報を合成する（Ｓ０７）。次に、感覚提示装置１２は、Ｓ０６又はＳ０７の処理で合成されたマルチモーダル情報を対応する各情報提示部（映像情報提示部４７、音声情報提示部４８、振動情報提示部４９）から提示する（Ｓ０８）。

次に、感覚提示装置１２は、ユーザの指示やコンテンツの終了等により感覚提示処理を終了するか否かを判断し（Ｓ０９）、終了しない場合（Ｓ０９において、ＮＯ）、Ｓ０３の処理に戻る。また、Ｓ０９の処理において、処理を終了する場合（Ｓ０９において、ＹＥＳ）、感覚提示装置１２は、感覚提示処理を終了する。

＜本実施形態における感覚提示処理の概要＞
次に、本実施形態における感覚提示処理の概要について、図を用いて説明する。図３は、本実施形態における感覚提示処理の概要例を示す図である。図３の例では、コンテンツの一例として、テニスの試合中継の番組コンテンツを示している。また、図３（Ａ）は、マルチモーダルコンテンツ制作時における各情報の取得の様子を示している。また、図３（Ｂ）は、マルチモーダル情報と被写体（オブジェクト）との対応付けの例を示している。

マルチモーダルコンテンツの制作時において、映像情報取得部２１は、映像情報を取得するカメラ等であり、図３（Ａ）における映像情報取得部２１−１，２１−２に相当する。音声情報取得部２２は、音声情報を取得するマイク等であり、図３（Ａ）における音声情報取得部２２−１，２２−２に相当する。また、振動情報取得部２３は、触覚情報として振動情報を取得するセンサであり、図３（Ａ）における振動情報取得部２３−１〜２３−７に相当する。例えば、振動情報取得部２３−１は、選手Ａのラケットに設けられた振動センサや加速度センサである。振動情報取得部２３−２は、選手Ａの靴に設けられた振動センサや加速度センサ、位置センサである。振動情報取得部２３−３は、観客席に設けられた振動センサである。振動情報取得部２３−４は、ボール内に設けられた振動センサや加速度センサ、位置センサである。振動情報取得部２３−５は、ネットに設けられた振動センサである。振動情報取得部２３−６は、選手Ｂのラケットに設けられた振動センサや加速度センサである。振動情報取得部２３−７は、選手Ｂの靴に設けられた振動センサや加速度センサ、位置センサである。振動情報取得部２３は、図３（Ａ）に示すように、必要に応じて被写体（人物やボール、ラケット、ネット等）等に予め配置される。

マルチモーダル情報２４−１は、上述した各取得部からの情報を時系列情報（タイムスタンプ）に同期させて、図３（Ｂ）に示すように、全て個別のチャンネル（トラック）として記憶される。なお、図３（Ｂ）の例では、映像情報取得部２１や音声情報取得部２２から被写体毎に映像や音声を抽出しているが、これに限定されるものではない。

被写体−映像対応情報２４−２は、選手Ａや選手Ｂ、ボール等の被写体５０とその被写体５０が映っている映像情報５１（又は映像情報５１に一切映っていない被写体５０からの主観映像であってもよい）とを対応付けた情報である。また、被写体−音声対応情報２４−３は、被写体５０とその被写体から発生する音声情報５２とを対応付けた情報である。被写体５０から発生する音声情報５２とは、例えば被写体５０が人物である場合には、人物の発声音や動作により発生する音であり、被写体５０がボールである場合には、ボールがバウンドする音等であるが、これに限定されるものではない。被写体−振動対応情報２４−４は、各振動情報取得部２３を配置した被写体５０と、取得された振動情報５３とを対応付けた情報である。これらの情報は、図３（Ｂ）に示すように各被写体５０（被写体０１〜０５・・・）毎に管理される。また、本実施形態における映像情報５１と、音声情報５２と、振動情報５３との対応付けは、被写体の識別情報等で相互に関連付けることができるが、予め関連を明確にした一つのテーブルとして構成してもよい。

上述した各情報は，マルチモーダルコンテンツの制作者が人手により構築してもよいが、これに限定されるものではなく、例えば画像解析処理等を用いて特徴情報から被写体を抽出したり、予め設定された映像やタイムスタンプに関連付けられたメタデータ付加情報からその時間に映像に映っている被写体を抽出したり、振動情報取得部２３である各種センサからの位置情報や運動情報（加速度情報）等を取得して、映像のカット毎に被写体との対応付けを行ってもよい。

また、デフォルトコンテンツ情報２４−５は、標準となるマルチモーダル情報の合成制御に関する情報であり、例えば制作者側で予め制作意図を反映して作成された初期値（標準化）のコンテンツの提示情報（感覚情報）である。なお、デフォルトコンテンツ情報２４−５は、予め複数パターン用意してもよい。その場合には、複数パターンに対応する内容を画面（映像情報提示部４７）等に表示して、どのパターンで感覚提示を行うかをユーザに選択させてもよい。

＜本実施形態における感覚提示の画面インタフェースについて＞
次に、本実施形態における感覚提示の画面インタフェースについて図を用いて説明する。図４は、本実施形態における感覚提示の画面インタフェース例を示す図である。なお、本実施形態における感覚提示の画面インタフェースは、図４の例に限定されるものではない。

図４の例において、感覚提示装置１２は、例えばタッチパネル搭載型のタブレット端末等である。感覚提示装置１２は、図４の例に限定されるものではなく、例えばデスクトップ型やノート型のＰＣでもよく、スマートフォン等の通信端末でもよい。感覚提示装置１２において、映像情報提示部４７は、映像情報を出力するディスプレイ等である。また、音声情報提示部４８は、例えば音声情報を出力するスピーカやイヤフォン等である。また、振動情報提示部４９は、手６０等のユーザの部位に振動を提示する振動子であり、例えばボイスコイルモータや偏心モータ等のアクチュエータを用いて、各振動周波数等を調整することで振動のタイミングや種類、強さ等を制御することができる。

図４の例では、感覚提示装置１２の画面上に、映像情報に含まれる被写体又は振動情報を提供可能な被写体の情報（例えば動画又は静止画）が、それぞれ小画面６１として表示されており、各小画面６１には、指定項目として被写体を選択するためのチェックボックス（被写体選択部）６２等が設けられている。

ユーザは、例えば感覚提示装置１２から振動情報を含むマルチモーダル情報を提示させたい被写体のチェックボックス６２をチェック（表示部分をタッチ）することで、１又は複数の被写体を選択する。デバイス情報取得部４４は、そのチェックした情報を受け取り、受け取った情報をマルチモーダル情報制御部４５に出力する。マルチモーダル情報制御部４５は、指定項目に基づいて、振動情報を含むマルチモーダル情報の提示を制御し、マルチモーダル情報合成部４６により合成された振動情報を振動情報提示部４９により提示する。なお、ユーザから選択される指定項目に基づいて映像情報提示部４７や、音声情報提示部４８から出力される情報を変更してもよい。

また、ユーザ情報取得部４３は、内部カメラ（撮像部）６３等で画面を見るユーザを撮影し、撮影した映像に対して特徴情報等の解析処理に基づく視線計測を行い、映像に含まれるユーザの顔の向き、眼球の位置や動きから、ユーザの視線情報の一例としての注視点６４を抽出する。マルチモーダル情報制御部４５は、注視点６４の位置に基づいて、例えば触覚情報を提示する被写体を選択してもよい。マルチモーダル情報制御部４５は、例えば図４に示す注視点６４の位置から、その位置近い被写体（例えば、図３（Ｂ）に示す被写体０１、被写体０３）を選択し、選択した被写体に対応付けられた映像、音声、振動が提示されるように制御を行う。

また、ユーザ情報取得部４３は、デバイス（感覚提示装置１２）の持ち方や触り方等といったユーザの情報を取得するセンサ及び処理機構を有していてもよい。例えばユーザ情報取得部４３は、タッチパネル等に触覚センサ６５を有し、触覚センサ６５により得られるユーザの手６０や指先の位置情報を取得し、取得した位置情報に応じたマルチモーダル情報の制御を行ってもよい。

マルチモーダル情報制御部４５は、ユーザ情報取得部４３及びデバイス情報取得部４４からの情報に基づいて、上述した図３（Ｂ）に示すマルチモーダル情報２４−１が記憶したマルチモーダル情報のうち、どのチャンネル（トラック）の情報を合成して提示するかを随時決定する。ユーザ情報取得部４３及びデバイス情報取得部４４からの情報がない場合や、初期化の指示があった場合には、記憶部４２に記憶されたデフォルトコンテンツ情報２４−５に基づいてどのチャンネルの情報を合成して提示するかを決定する。マルチモーダル情報合成部４６は、マルチモーダル情報制御部４５からの制御情報により、マルチモーダル情報を合成し各提示部（映像情報提示部４７、音声情報提示部４８、振動情報提示部４９）に出力する。

＜本実施形態におけるマルチモーダルコンテンツをユーザ視聴する場合の実施例＞
ここで、図３に示すようなテニスの試合の様子を伝えるマルチモーダルコンテンツをユーザ視聴する場合の実施例を説明する。ここで、触覚情報として提示される振動情報は、コンテンツのあらゆる場所で発生しているが、図３（Ａ）に示すように振動センサ等の振動情報取得部２３を配置することができる被写体は、有限（図３（Ａ）の例では７つ）である。したがって、例えば、図３（Ｂ）に示す「被写体０１」のように、コンテンツ制作者により特定して識別することができる。更に、「被写体０１」がカメラ等の映像情報取得部２１−１，２１−２の映像に映っているシーン（カット）を特定し、「被写体０１」から発生したと考えられる音声を特定することで、「被写体０１」に関する映像情報、音声情報、振動情報をそれぞれ対応付けることができる。この情報は、人手で構築してもよく、既存の解析手法を組み合わせて用いて自動的に行なってもよい。同様に，被写体０２〜被写体０５等についても対応付けを行い、被写体−映像対応情報２４−２、被写体−音声対応情報２４−３、被写体−振動対応情報２４−４を構築していく。

また、本実施例において、ユーザはマルチモーダルコンテンツを、例えば図４に示すようなタブレット端末で視聴してもよく、また据え置き型のテレビ受像機で視聴してもよい。また、コンテンツは、予め収録されたものでもよく、リアルタイム処理によるライブ制作のコンテンツであってもよい。

次に、ユーザの状態やニーズに応じたマルチモーダルコンテンツの制御例を具体的に説明する。

＜実施例１：デフォルトコンテンツ情報による制御例＞
実施例１では、コンテンツに対応する映像情報、音声情報、及び振動情報が、制作者等により予め設定されたデフォルトコンテンツ情報２４−５により制御されてユーザに提示される。例えば、上述したテニスの試合の例では、デフォルトコンテンツ情報２４−５に基づき、全ての収録情報を合成して常にユーザに提示してもよく、また選手のラケットに設けられた振動情報取得部２３−１，２３−６により得られるボールを打つ際の振動や、ネットに設けられた振動情報取得部２３−５により得られるボールがあたった際の振動だけを提示することができる。

実施例１に示すように、制作者が意図的にコンテンツの文脈（例えばコンテンツ上、重要な要素となる被写体）に適した振動を提示する場合には、デフォルトコンテンツ情報２４−５として、例えば時系列情報（タイムスタンプ、タイムコード）に対応させて合成する振動情報のＯＮ／ＯＦＦが設定される。コンテンツの文脈による振動制御とは、例えばあるコンテンツ（例えば、ドラマ）等に登場する同一の被写体（例えば、携帯電話）に対して、携帯電話の着信に主人公が気づいて、その電話に出るシーンの場合には、着信に対応する振動情報が設定されるが、主人公が着信に気づかないような場合には、着信に対応する振動情報が設定されない等のように、各シーン等における被写体の重要度に応じて設定される振動制御である。

図５は、デフォルトコンテンツ情報の第１の例を示す図である。図５の例に示すデフォルトコンテンツ情報は、時系列情報（タイムスタンプ）（ｈｈ：ｍｍ：ｓｓ）に対応する各振動情報取得部２３−１〜２３−５（例えば、振動１〜５）に対するＯｎ／Ｏｆｆ制御が設定されている。「Ｏｎ」が振動を行い、「Ｏｆｆ」が停止（何もしない）状態を示す。また、図５中の「−」は、何も制御が行われない（何もしない）状態を示す。

例えば、タイムスタンプ「１０：０１：１２」のように振動情報が複数ある場合には、マルチモーダル情報合成部４６により、その時間に対応する複数の振動情報（例えば、振動１、振動２、振動５）が合成され、合成された振動情報が振動情報提示部４９から出力される。

なお、「Ｏｎ」による振動制御については、周波数等を変更することで、振動のタイミングを変化させてもよい。その場合には、「Ｏｎ１」、「Ｏｎ２」、「Ｏｎ３」等の識別情報を設定し、各識別情報に対して予め設定された周波数で振動センサ（振動情報提示部４９）を駆動させてもよい。

図５に示すように予め設定されたデフォルトコンテンツ情報２４−５を用いて、例えば制作者側の設定で振動のＯｎ／Ｏｆｆ制御を容易に行うことができる。また、デフォルトコンテンツ情報２４−５は、例えば予め番組提供装置１１等から取得することができる。また、図５の例では、タイムスタンプが１秒間隔のデータ例になっているが、これに限定されるものではなく、１秒より短い間隔でもよく、長い間隔でもよい。

また、図６は、デフォルトコンテンツ情報の第２の例を示す図である。図６に示す第２の例では、時系列情報（タイムスタンプ）に対応させて、合成する振動情報の識別番号を記載している。例えば、タイムスタンプ「１０：０１：１０」のように、振動情報が複数ある場合には、マルチモーダル情報合成部４６により、その時間に対応する複数の振動情報（例えば、振動４、振動１、振動５）が合成され、合成された振動情報が振動情報提示部４９から出力される。

例えば、映像情報や音声情報がすでに編集済みのコンテンツに対して、振動情報を付加的に制御する場合には、デフォルトコンテンツ情報の第１、第２の例に示すように振動の制御情報だけを記載してもよいが、映像、音声も含めたマルチモーダル情報をデフォルトコンテンツ情報２４−５として設定してもよい。

図７は、デフォルトコンテンツ情報の第３の例を示す図である。図７に示す第３の例では、時系列情報（タイムスタンプ）に対応させて映像番号、音声番号、振動番号が設定されている。

つまり、図７の例では、振動情報だけでなく、映像情報や音声情報に対してもデフォルトコンテンツ情報２４−５を用いて提示制御することができる。図７の例では、各映像情報取得部２１や各音声情報取得部２２毎に識別情報（例えば、映像番号、音声番号）が設定されており、タイムスタンプの時間毎に識別情報を設定することで、その識別情報に対応する映像情報取得部２１や音声情報取得部２２からの映像、音声を出力することができる。

例えば、タイムスタンプ「１０：０１：１０」では、音声番号１，２が設定されている。このような場合には、音声番号１と音声番号２とにそれぞれ対応する音声情報取得部２２から取得した音声を合成し、合成した音声を音声情報提示部４８から出力する。

また、デフォルトコンテンツ情報２４−５の例は、上述した例に限定されるものではなく、例えば上述した「被写体０１」〜「被写体０５」のうち、何れかの被写体が映像情報に含まれており、かつ振動情報の振幅が予め設定した閾値以上の場合に、提示対象とする等のより細かな条件を設定してもよい。

更に、実施例１では、デフォルトコンテンツ情報２４−５を用いて、ユーザに注目してほしい被写体の振動を順次提示していく制御を行うことで、振動に対応する被写体を注視するようにユーザの主観的な視点をコントロールして感情移入を促すことができる。

＜実施例２：ユーザのニーズに応じた制御例＞
実施例２では、映像情報と音声情報は、制作者等が予め設定したデフォルトコンテンツ情報２４−５に対応させて制御されるが、振動情報については提示させたい被写体をユーザが選択する。

例えば、テニスの試合において、一方的にどちらかの選手を応援したい場合等に、その選手（例えば、被写体０１等）が発生する振動のみが提示されるように被写体０１を画面ユーザインターフェース上で選択（指定）状態とする。

選択する画面インターフェースは、例えば図４に示すように小画面６１に被写体の動画又は静止画を表示して、チェックボックス６２等により設定してもよいが、これに限定されるものではなく、例えばメニュー形式として表示された被写体一覧の中から選択してもよく、またタッチパネルの機能を用いてユーザの指で画面に表示された被写体をタッチすることで選択されたと判定してもよい。

上述したユーザ操作により、制作者が設定した標準（デフォルト）の映像音声に加えて、応援する選手（例えば、被写体０１）に対応する振動センサ（振動情報取得部２３）の振動情報のみを、映像に映っているかどうかに関わらず（例えば、映像に映っておらずフレームアウトしていた場合でも）常に体感することができる。また、実施例２では、被写体が映像に映っている場合に限定して振動情報を提示してもよい。

また、実施例２では、ユーザが指定した被写体が映像に映っている間、ずっと振動を提示するのではなく、例えばラケットとボールの接触や、コートとボールとの接触等をの所定のイベントを、画像解析により検出したり、音声情報のピーク値を利用して検出してもよい。また、実施例２では、振動情報に予め閾値を設けることにより、振動を提示すべき場合（例えば閾値以上の振動レベルの場合）にのみ提示することもできる。

＜実施例３：ユーザの状態及びデバイスの状態等に応じた制御例＞
実施例３では映像情報と音声情報は、制作者等が予め設定したデフォルトコンテンツ情報２４−５に対応させて制御されるが、ユーザ情報取得部４３から得られるユーザの状態、及びデバイス情報取得部４４から得られるデバイスの状態等に応じて、マルチモーダル情報制御部４５により、振動を提示する被写体や振動のタイミングを制御する。

例えば、ユーザ情報取得部４３が取得したユーザの注視点（視線情報）から、ユーザが注目している被写体を特定し、注目している被写体の振動だけを提示することができる。

また、実施例３において、マルチモーダル情報制御部４５は、ユーザ情報取得部４３から取得したユーザの視線情報等から、ユーザが映像（画面）を見ていない状態であることを取得すると、例えばその時点（タイムスタンプ）で取得可能な全ての被写体に対する振動情報を提示するように制御してもよい。映像を見ていない状態とは、例えばユーザを撮影したカメラ映像の解析結果から、ユーザの注視点を特定できない場合や、ユーザの顔の向きが表示画面の方を向いていない場合、目を閉じていると判断された場合等があるが、これに限定されるものではない。また、マルチモーダル情報制御部４５は、上述した実施例２に示すように、ユーザが明示的に提示する振動情報を指定している場合には、指定項目（被写体）の振動を優先するような制御を行ってもよい。

＜実施例４：音声情報が利用できない場合の制御例＞
実施例４では、例えばユーザが聴覚に障害がある場合やヘッドフォン等がなく周囲に配慮して音が出せない場合等、ユーザの状態によって音声情報（聴覚情報）が利用できない場合に、振動情報取得部２３−１〜２３−７からの振動情報に加えて、音声情報の一部又は全部を振動情報に合成して提示する。

なお、実施例４では、ユーザ操作により、感覚提示装置１２がマナーモードに設定されている場合や、音声情報の一部又は全部を振動情報に変更する旨の指示があった場合に、マルチモーダル情報制御部４５は、出力対象の音声情報を振動情報に変換してもよい。音声情報の振動情報に変換する場合には、音声信号の振幅や周波数に対応させて振動の周波数や強さを設定することができるが、これに限定されるものではない。

また、マルチモーダル情報制御部４５は、ユーザが音声を聞いていない又は聞こえていない状態であることを取得すると、例えばその時点（タイムスタンプ）で取得可能な全ての被写体の音声に対する振動情報を提示するように制御してもよい。ユーザが音声を聞いていない又は聞こえていない状態としては、例えばユーザを撮影した映像から、ユーザが誰かと会話している状態であると判断した場合や、目を閉じている時間が所定時間以上であるため寝ている状態であると判断した場合等があるが、これに限定されるものではない。上述した実施例４に示す手法を用いることで、音声情報の欠如によるリアリティの減少を補うことができる。

＜実施例５：映像情報が利用できない場合の制御例＞
実施例５では、ユーザが視覚に障害がある場合やユーザが運転中等で画面（映像）を見ることができない場合等のように、ユーザの注意の状況によって映像情報（視覚情報）が利用できないときに、振動情報取得部２３−１〜２３−７からの振動情報を合成するにあたり、例えばその時点で映像に映っている被写体に対応する振動情報を提示するよう制御する。

なお、実施例５では、ユーザ操作により映像情報に含まれる被写体に対する振動情報を提示させる指示があった場合に、その被写体に対応する振動情報を提示してもよい。

上述した実施例５に示す手法を用いることで、例えば視覚情報の欠如によるリアリティの減少を補うことができる。このとき、上述した実施例１に示したようにコンテンツの文脈に応じて適した振動情報を提示することで、リアリティを補うだけでなく、コンテンツの内容自体に関する視覚情報を補ってもよい。

例えば、テニスの試合であれば、全ての振動を提示する代わりに、特定の選手のラケットの振動のみを提示することで、視覚情報がない場合においても試合の状況をより分かり易く伝えることができる。

上述した実施例４や実施例５に示すようなコンテンツの内容自体の補完については、例えば上述した実施例３に示したようにユーザの状態に応じて、ユーザが映像を見ていない場合等に適用することができる。

＜実行プログラム＞
ここで、上述した感覚提示装置１２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶装置（格納装置）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶装置（格納装置）、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータ等を表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。

したがって、感覚提示装置１２が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（感覚提示プログラム）を生成し、例えば汎用のＰＣやサーバ、タブレット端末、スマートフォン等にそのプログラムをインストールすることにより、上述した感覚提示処理を実現することができる。なお、本実施形態における実行プログラムによる処理については、これに限定されるものではない。

上述したように、本発明によれば、コンテンツの内容に対応させて適切な感覚情報の提示を行うことができる。これにより、例えば振動提示が使える環境において、視覚障害者に対しては視覚情報を補うように、聴覚障害者に対しては聴覚情報を補うように振動等による触覚提示をすることができる。

また、本発明によれば、ユーザがその時点で利用できる感覚の種類、ユーザの主観的な視点、ユーザの注意の状況、及びユーザのインタラクティブな動作や反応等のうち、少なくとも１つの情報をユーザが入力する手段やセンサ等により、センシングする手段を提供し、そこから得られる情報を用いて提示対象の情報を選択し、選択した情報を用いてユーザに応じて適切なタイミングで振動等の触覚情報を提示することができる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

１０ 感覚提示システム
１１ 番組提供装置
１２ 感覚提示装置
１３−１ 放送波
１３−２ 通信ネットワーク
２１ 映像情報取得部（視覚情報提示部）
２２ 音声情報取得部（聴覚情報提示部）
２３ 振動情報取得部（触覚情報提示部）
２４，４２ 記憶部
２５，４１ 通信部
３１ 番組コンテンツ
３２ 時系列情報（タイムスタンプ）
４３ ユーザ情報取得部
４４ デバイス情報取得部
４５ マルチモーダル情報制御部
４６ マルチモーダル情報合成部
４７ 映像情報提示部
４８ 音声情報提示部
４９ 振動情報提示部
５０ 被写体
５１ 映像情報
５２ 音声情報
５３ 振動情報
６１ 小画面
６２ チェックボックス（被写体選択部）
６３ 内部カメラ
６４ 注視点
６５ 触覚センサ

Claims (4)

1. 取得したコンテンツに対応させて触覚情報を含む感覚情報をユーザに提示する感覚提示装置において、
   前記コンテンツに対応する映像情報と、音声情報と、振動情報とを、前記コンテンツに含まれる各被写体に対応付けて時系列情報と共に記憶する記憶部と、
   前記コンテンツを視聴するユーザの状態から得られる情報を取得するユーザ情報取得部と、
   前記ユーザによる所定の操作から情報を取得するデバイス情報取得部と、
   前記ユーザ情報取得部と前記デバイス情報取得部とにより得られる情報に基づいて前記コンテンツに含まれる各被写体の中から、所定の被写体を選択し、選択した該被写体に対する感覚情報の制御を行う制御部と、
   前記制御部により選択された前記被写体に対応する前記映像情報と、前記音声情報と、前記振動情報とを前記記憶部から取得し、取得したそれぞれの情報を合成する合成部と、
   前記合成部により合成された情報を前記ユーザに提示する提示部とを有し、
   前記制御部は、
   前記音声情報が提示できない場合に、前記音声情報を振動情報に変換し、変換した該振動情報を提示させることを特徴とする感覚提示装置。
2. 前記制御部は、
   前記ユーザが使用できる感覚の種類、前記コンテンツの文脈、前記ユーザの主観的な視点、前記ユーザの注意の状況、及び前記ユーザの動作のうち、少なくとも１つの情報に基づいて提示対象の被写体を選択することを特徴とする請求項１に記載の感覚提示装置。
3. 前記ユーザ情報取得部は、前記コンテンツを視聴している前記ユーザの視線情報を取得し、
   前記制御部は、前記視線情報に対応させて、提示対象の被写体を選択することを特徴とする請求項１又は２に記載の感覚提示装置。
4. 前記制御部は、
   前記ユーザ情報取得部において、前記ユーザが前記コンテンツを見ていない状態であることを取得した場合に、前記コンテンツに含まれる全ての被写体に対する振動情報又は前記ユーザが予め設定した被写体に対する振動情報を提示させることを特徴とする請求項１乃至３の何れか１項に記載の感覚提示装置。

Images