JPWO2019187527A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2019187527A1
JPWO2019187527A1 JP2020509707A JP2020509707A JPWO2019187527A1 JP WO2019187527 A1 JPWO2019187527 A1 JP WO2019187527A1 JP 2020509707 A JP2020509707 A JP 2020509707A JP 2020509707 A JP2020509707 A JP 2020509707A JP WO2019187527 A1 JPWO2019187527 A1 JP WO2019187527A1
Authority
JP
Japan
Prior art keywords
tactile
tactile presentation
unit
control signal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020509707A
Other languages
English (en)
Other versions
JP7238886B2 (ja
Inventor
諒 横山
諒 横山
伊藤 鎮
鎮 伊藤
山野 郁男
郁男 山野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019187527A1 publication Critical patent/JPWO2019187527A1/ja
Application granted granted Critical
Publication of JP7238886B2 publication Critical patent/JP7238886B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】触覚提示部の位置に応じてより柔軟に触覚刺激を提示することを可能にする。【解決手段】触覚提示部毎に生成された触覚制御信号を用いて触覚刺激を提示する複数の触覚提示部のうちの少なくとも一つの位置情報を取得する取得部と、前記位置情報を用いて前記触覚制御信号を変更するデータ処理部と、を備える、情報処理装置が提供される。【選択図】図6

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
従来、例えば、以下の特許文献1のように振動などの触覚刺激をユーザに提示するための技術が各種提案されている。
特開2016−38815号公報
ところで、特許文献1に開示されている装置を制御するための触覚制御信号の収録時(生成時、作成時)と再生時とでは、触覚刺激を提示するアクチュエータ(「触覚提示部」とも呼称する)の位置が異なる場合がある。例えば、複数の触覚提示部の配置レイアウトの変更、または装置の装着状態(例えば、装着ずれ等)によって触覚制御信号の収録時と再生時とで触覚提示部の位置が異なる場合があるところ、特許文献1の技術等によっては触覚提示部の位置に応じて柔軟に対応することができなかった。
そこで、本開示では、触覚提示部の位置に応じてより柔軟に触覚刺激を提示することを可能にする情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、触覚提示部毎に生成された触覚制御信号を用いて触覚刺激を提示する複数の触覚提示部のうちの少なくとも一つの位置情報を取得する取得部と、前記位置情報を用いて前記触覚制御信号を変更するデータ処理部と、を備える、情報処理装置が提供される。
また、本開示によれば、触覚提示部毎に生成された触覚制御信号を用いて触覚刺激を提示する複数の触覚提示部のうちの少なくとも一つの位置情報を取得することと、前記位置情報を用いて前記触覚制御信号を変更することと、を有する、コンピュータにより実行される情報処理方法が提供される。
また、本開示によれば、触覚提示部毎に生成された触覚制御信号を用いて触覚刺激を提示する複数の触覚提示部のうちの少なくとも一つの位置情報を取得することと、前記位置情報を用いて前記触覚制御信号を変更することと、をコンピュータに実現させるためのプログラムが提供される。
以上説明したように本開示によれば、触覚提示部の位置に応じてより柔軟に触覚刺激を提示することが可能になる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本開示の一実施形態による情報処理システムの概要について説明する図である。 本開示の一実施形態による情報処理システムの概要について説明する図である。 本開示の一実施形態による情報処理システムの概要について説明する図である。 サーバ200の機能構成例を示すブロック図である。 触覚提示モジュール100の機能構成例を示すブロック図である。 触覚提示モジュール100による位置の特定動作の例を示すフローチャートである。 サーバ200および触覚提示モジュール100による触覚制御信号の出力動作の例を示すシーケンス図である。 サーバ200および触覚提示モジュール100による触覚制御信号の出力動作の例を示すシーケンス図である。 サーバ200および触覚提示モジュール100による触覚制御信号の出力動作の例を示すシーケンス図である。 サーバ200および触覚提示モジュール100による触覚制御信号の出力動作の例を示すシーケンス図である。 触覚提示モジュール100またはサーバ200のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
1−1.触覚提示モジュール100
1−2.背景
2.機能構成
2−1.サーバ200の機能構成
2−2.触覚提示モジュール100の機能構成
3.動作処理
3−1.触覚提示モジュール100による位置の特定動作
3−2.触覚制御信号の出力動作
4.ハードウェア構成
5.まとめ
<1.本開示の一実施形態による情報処理システムの概要>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態による情報処理システムは、ユーザに触覚刺激を提示する触覚提示デバイス10と、触覚刺激の内容の制御等を行うサーバ200と、を含む。
触覚提示デバイス10の形状は特に限定しないが、一例として、図1に示すような、ユーザに装着されるベスト型を挙げる。図1に示す触覚提示デバイス10は、内部に複数の触覚提示モジュール100(図中には、触覚提示モジュール100a〜触覚提示モジュール100fを表示)、および、複数の音声出力部102(図中には、音声出力部102aおよび音声出力部102bを表示)を有する。例えば、触覚提示デバイス10の内部において、ユーザの正面側および背面側にそれぞれ所定の個数(例えば6個)ずつ触覚提示モジュール100が配置され得る。一例として、正面側に配置されている個々の触覚提示モジュール100と、背面側に配置されている個々の触覚提示モジュール100とが向かい合うような位置関係で、個々の触覚提示モジュール100は配置される。
なお、図1では、触覚提示デバイス10がベスト型(袖なしの服)である例を示しているが、かかる例に限定されず、触覚提示デバイス10は、袖を有したものであってもよい。この場合、触覚提示モジュール100は、ユーザの胸部および腹部だけでなく、ユーザの両腕に対応する位置にも一以上配置され得る。また、触覚提示デバイス10は、図1に示すような上着に限定されず、ズボンや靴下、靴、ベルト、帽子、手袋、またはマスク等であってもよい。また、例えば、上着およびズボン等の複数の物品がまとまって触覚提示デバイス10(一群の触覚提示デバイス10)を構成してもよい。換言すると、複数の触覚提示モジュール100は、一の触覚提示デバイス10(例えば、図1に示すベスト型の触覚提示デバイス10)、または一群の触覚提示デバイス10(例えば、上着およびズボン等)に備えられる。
また、図1に示す触覚提示デバイス10には、肩の部分に左右にそれぞれ一つずつ音声出力部102が配置されているが、本実施例はこれに限定されず、音声出力部102が1個だけ配置されてもよいし、または、3個以上配置されてもよい。また、音声出力部102は、触覚提示デバイス10に含まれる代わりに、独立した装置として当該所定の空間内に配置されてもよいし、または、触覚提示デバイス10とは異なる装着型装置(例えばヘッドフォンやヘッドセットなど)や携帯型装置(例えば携帯型音楽プレーヤ、スマートフォン、携帯型ゲーム機など)に含まれてもよい。
さらに、触覚提示デバイス10は、上記例示した服飾品に限定されず、例えばコントローラ、銃型のコントローラ、ベッド、椅子等も挙げられる。
(1−1.触覚提示モジュール100)
触覚提示デバイス10に備えられる複数の触覚提示モジュール100は、互いに異なる触覚刺激を提示することができる情報処理装置である。例えば、触覚提示モジュール100は、触覚提示モジュール100毎に生成された触覚制御信号(例えば、図2に示す触覚提示モジュール100g〜触覚提示モジュール100iのそれぞれに対して生成される波形20〜波形22)を用いて振動を発生させることができる。
複数の触覚提示モジュール100がそれぞれ単独で振動を発生させる場合、発生された振動は、当該触覚提示モジュール100の周辺部でのみ知覚され得る。つまり、個々の触覚提示モジュール100が離れて配置されている場合には、個々の触覚提示モジュール100が別々に発生する振動は、ユーザの身体において離散的に知覚され得る。
ところで、ファントムセンセーションという錯覚現象が医学的に解明されている。このファントムセンセーションは、皮膚上の異なる位置に対して同時に刺激が提示されると、人間は、提示された刺激位置の間において刺激を一つだけ知覚するような錯覚現象である。例えば、ユーザの身体上に配置された2個の触覚提示モジュール100に同時に刺激を出力させると、通常、ユーザに知覚される刺激の位置(以降、便宜的に「知覚位置」と呼称する)は、2個の触覚提示モジュール100の間の位置になることが知られている。
また、複数の触覚提示モジュール100の出力強度を変化させることにより、個々の触覚提示モジュール100の配置間隔を変えることなく、複数の触覚提示モジュール100により提示可能な触覚刺激の範囲を連続的に拡大し得る。例えば2個の触覚提示モジュール100の各々の出力強度と、知覚位置との関係の例(ファントムセンセーションの例)について説明する。例えば、時間の経過に応じて、第1の触覚提示モジュール100の出力強度を例えば「1」、「0.6」、「0」のように連続的に弱くし、かつ、第2の触覚提示モジュール100の出力強度を「0」、「0.6」、「1」のように連続的に強くしたとする。この場合、(ユーザに知覚される)知覚位置は、第1の触覚提示モジュール100の提示位置から第2の触覚提示モジュール100の提示位置へと連続的に移動し得る。
(1−2.背景)
続いて、本開示の背景について説明する。特許文献1に開示されている装置等のようにユーザに対して触覚刺激を提示する装置については、触覚制御信号の収録時(生成時、作成時)と再生時とで、同一の装置が使用されること、触覚刺激を提示する複数の触覚提示部の配置レイアウトに変更がないこと、または身体に対する触覚提示部の位置にずれがないこと(装置が適切に装着、または適切な態様で使用されること)が前提とされている。
そのため、例えば、触覚制御信号の収録時と再生時とで、複数の触覚提示部の配置レイアウトが変更されたり、身体に対する触覚提示部の位置がずれたりすること(想定とは異なる装着状態または使用態様であること)によって、提示される知覚効果が変化してしまう。
本件の開示者は、上記事情に鑑みて本開示に係る技術を創作するに至った。本開示は、複数の触覚提示部のうちの少なくとも一つの位置情報を取得し、当該位置情報を用いて触覚制御信号を変更することで、触覚提示部の位置に応じてより柔軟に触覚刺激を提示することができる。
より具体的に説明すると、触覚制御信号の収録時において、図3のAに示すように、触覚提示部として機能する触覚提示モジュール100j〜触覚提示モジュール100mが配置され、左上から右下方向に知覚位置30が変更されるよう設計されたとする(例えば、左上から右下方向に切られる知覚等が設計されたとする)。
そして、触覚制御信号の収録後において、図3のBに示すように、各触覚提示モジュール100の配置レイアウトが変更されたり、身体に対する触覚提示モジュール100の位置がずれたりした場合(装着状態または使用態様が想定とは異なる場合)、本開示に係る触覚提示モジュール100は、それぞれの位置情報に応じて触覚制御信号を変更することができる。これによって、本開示は、触覚制御信号の収録時と同様の知覚効果を実現することができる。
すなわち、本開示は、ある触覚提示デバイス10(例えば、配置レイアウトが変更される前の触覚提示デバイス10、または位置のずれが発生していない場合の触覚提示デバイス10)によって用いられる触覚制御信号を変更することで、他の触覚提示デバイス10(例えば、配置レイアウトが変更された後の触覚提示デバイス10、または位置のずれが発生している場合の触覚提示デバイス10)によって用いられる触覚制御信号を生成しているとも言える。
これによって、本開示は、例えば図4のAに示すベスト型の触覚提示デバイス10a用に収録された触覚制御信号を変更することで、図4のBに示すライフジャケット型の触覚提示デバイス10bに使用可能な触覚制御信号を生成することができる。換言すると、本開示は、触覚提示モジュール100の配置レイアウトが異なる触覚提示デバイス10毎に触覚制御信号を収録する負荷を削減することができる。
なお、上記では、触覚提示モジュール100が振動を提示する旨を説明したが、触覚提示モジュール100が提示する触覚は振動に限定されない。例えば、触覚提示モジュール100は、力覚(例えば、電気刺激等)または温度感覚等のようにユーザに知覚され得る任意の感覚を提示してもよい。
<2.機能構成>
上記では、本実施形態による情報処理システムの概要について説明した。続いて、図5および図6を参照して本実施形態によるサーバ200および触覚提示モジュール100の機能構成について具体的に説明する。
(2−1.サーバ200の機能構成)
まず、図5を参照して、本実施形態によるサーバ200の機能構成について説明する。図5は、本実施形態によるサーバ200の機能構成例を示すブロック図である。
図5に示すように、サーバ200は、制御部210と、通信部220と、操作入力部230と、表示部240と、記憶部250と、を備える情報処理装置である。
(制御部210)
制御部210は、サーバ200の各機能構成を統括的に制御する機能構成である。例えば、制御部210は、操作入力部230からの入力に基づいて各機能構成の起動や停止を制御したり、各触覚提示モジュール100によってユーザに対して提示される知覚の知覚位置または知覚強度等を指定したりすることができる。なお、制御部210の制御内容はこれらに限定されない。例えば、制御部210は、汎用コンピュータ、PC(Personal Computer)、タブレットPCまたはスマートフォン等において一般的に行われる処理(例えば、OS(Operating System)の処理等)を実現してもよい。また、図5に示すように、制御部210は、知覚位置・強度決定部211と、出力制御部212と、を備える。
(知覚位置・強度決定部211)
知覚位置・強度決定部211は、例えば、制御部210によって指定された知覚位置または知覚強度に応じて、(指定された知覚位置で指定された知覚強度が知覚されるよう)目標の知覚位置に対応する複数の触覚提示モジュール100に対する知覚の内容(例えば、振動の周波数や振幅等)を決定(算出)し、複数の触覚提示モジュール100に対して出力される触覚制御信号または知覚設定情報を生成する機能構成である。
ここで、本開示に係る触覚制御信号とは、各触覚提示モジュール100それぞれによる触覚の提示に使用される信号である(すなわち、触覚制御信号は触覚提示モジュール100毎に生成された信号であるとも言えるがこれに限定されない)。例えば、触覚制御信号は、振動または力覚を提示するために用いられる波形情報であってもよいし、温度感覚を提示するために用いられる数値情報であってもよい。なお、触覚制御信号の内容はこれらに限定されない。例えば、振動または力覚の提示に用いられる触覚制御信号が数値情報であってもよいし、温度感覚の提示に用いられる触覚制御信号が波形情報であってもよい。
また、本開示に係る知覚設定情報は、サーバ200がユーザに知覚させようと意図する各種設定情報である。例えば、知覚設定情報は知覚位置または知覚強度等を含む情報であってもよい。本開示において、知覚設定情報が触覚制御信号とともに触覚提示モジュール100に提供されることによって、触覚提示モジュール100は、知覚設定情報および触覚提示モジュール100の位置情報に応じて触覚制御信号を適切に変更することができる。
ここで、知覚設定情報における知覚位置には、知覚位置の移動経路も含まれる。知覚位置および知覚位置の移動経路は、ユーザの身体の表面上に設定され得る。例えば、ユーザの身体上の始点となる位置から、終点となる位置まで知覚位置が連続的に移動するように、ユーザに触覚刺激を提示することが可能となる。若しくは、知覚位置の移動経路は、ユーザの身体の第1の面、ユーザの身体の内部、および、当該第1の面と向かい合う第2の面を結ぶ経路として設定することも可能である。ここで、第1の面は、ユーザの正面であり、また、第2の面は、ユーザの背面であり得る。あるいは、第1の面は、例えば腕などの所定の部位の表側の面であり、また、第2の面は、当該部位の裏側の面であってもよい。例えば移動経路が、ユーザの正面における位置、ユーザの身体の内部、および、ユーザの背面における位置を結ぶ経路である場合、正面から背面へと身体の内部に突き刺さるような感覚をユーザに提示することができる。
また、知覚位置・強度決定部211は、知覚範囲を設定することも可能である。
さらに、知覚位置・強度決定部211は、知覚位置を、再生中のコンテンツ(例えば、映画やゲームコンテンツ等)に応じたタイミングに対応付けることも可能である。これにより、触覚提示デバイス10を用いて、コンテンツを視聴しているユーザに対し、所定のタイミングで所定の触覚刺激を与えることが可能となる。
なお、知覚位置・強度決定部211は、触覚提示デバイス10に備えられる全ての触覚提示モジュール100に対する知覚の内容を決定してもよいし、コンテンツのタイミング等によっては、一部の触覚提示モジュール100のみに対する知覚の内容を決定してもよい。
(出力制御部212)
出力制御部212は、知覚位置・強度決定部211の決定内容に従って、触覚提示モジュール100に対して触覚刺激の出力制御を行う機能構成である。これにより、例えばユーザが実際に触覚提示デバイス10を装着して体感することで、指定した触覚刺激の効果(知覚効果)を確認することが可能となる。具体的には、出力制御部212は、知覚位置・強度決定部211により生成された触覚制御信号および知覚設定情報を各触覚提示モジュール100に対して出力する。また、出力制御部212は、表示装置(ディスプレイ、HMD、プロジェクター、PC、またはスマートフォン等)で再生するコンテンツ(映像)の再生制御、および当該コンテンツの再生に応じて、設定された所定のタイミングで触覚提示モジュール100に対して触覚刺激の出力制御を行うことも可能である。また、出力制御部212は、提示する触覚刺激に対応する衝撃音等の音声を、触覚提示デバイス10の音声出力部102から再生する制御を行うことも可能である。
(通信部220)
通信部220は、他の装置との間で情報の送受信を行う機能構成である。例えば、通信部220は、出力制御部212の制御に従って、触覚制御信号および知覚設定情報を複数の触覚提示モジュール100の各々へ送信する。また、通信部220は、出力制御部212の制御に従って、再生対象の音声の出力の制御信号を複数の音声出力部102の各々へ送信する。
通信部220は、例えば有線/無線LAN(Local Area Network)、またはWi−Fi(登録商標)、Bluetooth(登録商標)、近距離無線通信、携帯通信網(LTE(Long Term Evolution)、または3G(第3世代の移動体通信方式))等により他の装置と通信接続する。なお、通信部220によって行われる通信の内容および通信方式は上記に限定されない。
(操作入力部230)
操作入力部230は、ユーザによる操作指示を受付け、その操作内容を制御部210に出力する機能構成である。操作入力部230は、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部230は、キーボード、マウス、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。なお、操作入力部230の種類はこれらに限定されない。
(表示部240)
表示部240は、知覚効果の設定に用いられる設定画面等を出力する機能構成である。この表示部240は、例えば、液晶ディスプレイ(LCD:Liquid Crystal
Display)、有機EL((Electro Luminescence)ディスプレイなどの表示装置であってもよい。なお、表示部240の種類はこれらに限定されない。
(記憶部250)
記憶部250は、各種情報を記憶する機能構成である。例えば、記憶部250は、サーバ200の各機能構成によって使用されるプログラムまたはパラメータ等を記憶する。なお、記憶部250が記憶する情報の内容はこれらに限定されない。
以上、サーバ200の機能構成例について説明した。なお、図5を用いて説明した上記の機能構成はあくまで一例であり、サーバ200の機能構成は係る例に限定されない。例えば、サーバ200は、図5に示す機能構成の全てを必ずしも備えなくてもよい。また、サーバ200の機能構成は、仕様や運用に応じて柔軟に変形可能である。
また、サーバ200は、図1に示すようなPCに限定されず、スマートフォン、携帯電話端末、タブレット端末、または専用端末等により実現されてもよい。また、サーバ200の制御部210の少なくとも一部が、ネットワーク上の他のサーバ(または触覚提示モジュール100)により実現されていてもよい。また、表示部240がプロジェクターにより実現され、設定画面等が、壁やテーブル、スクリーン等に投影されるようにしてもよい。この場合、投影画面に対するユーザの操作入力は、別途設けられたカメラにより投影画面に対するタッチ操作が検出されるようにしてもよい。
(2−2.触覚提示モジュール100の機能構成)
続いて、図6を参照して、本実施形態による触覚提示モジュール100の機能構成について説明する。図6は、本実施形態による触覚提示モジュール100の機能構成例を示すブロック図である。
図6に示すように、触覚提示モジュール100は、制御部110と、通信部120と、センサ部130と、触覚提示部140と、記憶部150と、を備える。なお、本書では、触覚提示部140が触覚提示モジュール100に備えられている旨を説明するが、触覚提示部140自体が触覚提示モジュール100の機能を備えていてもよい(換言すると、触覚提示部140が触覚提示モジュール100と呼称されてもよいし、その逆でもよい)。
(制御部110)
制御部110は、触覚提示モジュール100の各機能構成を統括的に制御する機能構成である。例えば、制御部110は、サーバ200から提供された制御信号を用いて各機能構成の起動や停止を制御することができる。なお、制御部110の制御内容は特に限定されない。例えば、制御部110は、汎用コンピュータ、PC、タブレットPCまたはスマートフォン等において一般的に行われる処理(例えば、OSの処理等)を実現してもよい。
(位置情報生成部111)
位置情報生成部111は、触覚提示モジュール100の位置を特定し、位置情報を生成する機能構成である。より具体的には、位置情報生成部111は、センサ部130に備えられる3次元位置センサ等(赤外線センサ、ビーコン、カメラ等のいわゆる距離センサ)を用いて近隣に位置する他の触覚提示モジュール100を探索する。近隣に位置する他の触覚提示モジュール100が検出された場合、位置情報生成部111は、センサ部130から提供されたセンサ情報に基づいて自装置と検出された他の触覚提示モジュール100との相対的な位置関係(例えば、離隔距離等)を出力する。
また、位置の特定方法は上記に限定されない。例えば、位置情報生成部111は、センサ部130に備えられている姿勢センサ等(例えば、ジャイロセンサ、または加速度センサ等)を用いてユーザの身体(触覚刺激の提示対象)における絶対的な位置を特定してもよい。より具体的には、触覚提示デバイス10がユーザに装着された場合において、各触覚提示モジュール100が接する身体の部位によってその姿勢や動き等が異なるため姿勢センサ等の出力が異なる。したがって、位置情報生成部111は、姿勢センサ等のセンサ情報の特徴量に基づいて自装置が接する身体の位置を特定できる場合がある。
そして、位置情報生成部111は、上記の方法で特定した自装置の位置に関する情報である位置情報を生成する。位置情報には、上記の方法で特定された、他の触覚提示モジュール100との相対的な位置関係に関する情報(以降、便宜的に「相対位置情報」とも呼称する)、または、ユーザの身体(触覚刺激の提示対象)における絶対的な位置に関する情報(以降、便宜的に「絶対位置情報」とも呼称する)が含まれ得る。なお、位置情報生成部111は、必要に応じて、自装置だけでなく他の触覚提示モジュール100の位置を特定し、位置情報を生成してもよい。
ここで、相対位置情報の内容は特に限定されない。例えば、相対位置情報は、所定の触覚提示モジュール100を基準点としたときの3次元座標系(例えば、3次元直交座標系、または基準となる触覚提示モジュール100から3つの他の触覚提示モジュール100へ結ばれる3本の線を3軸とする3次元斜交座標系)によって表されてもよいし、基準点からの角度と離隔距離によって表されてもよい。
また、絶対位置情報の内容も特に限定されない。例えば、絶対位置情報は、身体における各部位(例えば、頭、首、肩、腰、肘、手首、膝、くるぶし、または各指等)によって表されてもよいし、各部位において予め定められた複数の点(例えば、頭部第1点、頭部第2点等)のうちのいずれかの点によって表されてもよい。
なお、位置情報生成部111は、他の触覚提示モジュール100の位置を特定してもよい。例えば、位置情報生成部111は、センサ部130に備えられる3次元位置センサ等(赤外線センサ、ビーコン、カメラ等のいわゆる距離センサ)を用いて自装置と他の触覚提示モジュール100との相対的な位置関係(例えば、離隔距離等)を認識してもよい。この場合、位置情報生成部111は、他の触覚提示モジュール100の位置情報を生成し、当該位置情報を、通信部120を介して当該他の触覚提示モジュール100へ提供してもよい。これによって、例えば、各触覚提示モジュール100が有する機能や性能が異なり、精度の高い位置情報を出力できない(または、位置情報の出力機能を有していない)触覚提示モジュール100が存在する場合であっても、各触覚提示モジュール100はそれぞれの位置を精度よく認識することができる。また、電力残量が所定量より少なくなっている触覚提示モジュール100が存在する場合には、当該触覚提示モジュール100は、自らが位置情報を生成するのではなく、他の触覚提示モジュール100から位置情報の提供を受けることで消費電力を低減させることができる。
また、位置情報生成部111による位置の特定方法は上記に限定されない。例えば、位置情報生成部111は、自装置のセンサ部130から提供されたセンサ情報だけでなく外部装置から提供されたセンサ情報も用いて位置の特定を行ってもよい。例えば、位置情報生成部111は、外部装置に備えられた3次元位置センサ等(赤外線センサ、ビーコン、カメラ等のいわゆる距離センサ)のセンサ情報を、通信部120を介して取得し、当該センサ情報を解析することで自装置の位置を特定してもよい。これによって、センサ部130によって出力されるセンサ情報の精度が低い場合や、センサ部130に所望のセンサが備えられていない場合にも、位置情報生成部111は、適切に位置を特定することができる。
位置情報生成部111は、生成した位置情報を記憶部150へ格納する。そして、位置情報生成部111は、所定のトリガ(例えば、サーバ200からのリクエスト信号)によって、または所定のタイミングで(例えば、定期的に)行うことで自らの位置の変化を継続的に認識し、位置情報を更新していく。
なお、位置情報生成部111は、必要に応じて、他の触覚提示モジュール100(特に、近隣の触覚提示モジュール100)の位置情報を自ら生成したり他の触覚提示モジュール100から取得したりして記憶部150に格納してもよい。また、位置情報生成部111は、センサ情報を解析することで位置の予測を行ってもよい。これによって、データ処理部112は、実際に触覚刺激が提示される時点の予測位置を示す位置情報を用いて触覚制御信号の変更を行うことができるため、より適切な触覚刺激が実現され得る。ここで、位置の予測方法は特に限定されず、公知の予測技術が用いられ得る。
(データ処理部112)
データ処理部112は、自装置の位置情報および知覚設定情報に応じて触覚制御信号を変更する機能構成である。より具体的に説明すると、データ処理部112は、触覚制御信号および知覚設定情報をサーバ200から提供されると、位置情報生成部111によって生成された位置情報を記憶部150から取得する(取得部として機能する)ことで、自装置の位置、および必要に応じて他の触覚提示モジュール100の位置を認識する。
そして、データ処理部112は、知覚設定情報によって指定された知覚位置の近隣に位置する複数の触覚提示モジュール100を特定する。そして、データ処理部112は、当該複数の触覚提示モジュール100の各々と当該指定された知覚位置との位置関係、および、知覚設定情報によって指定された知覚強度に基づいて、自装置の出力強度、または必要に応じて他の触覚提示モジュール100の出力強度を算出する。すなわち、データ処理部112は、知覚設定情報によって指定された知覚位置および知覚強度と、近隣に配置されている複数の触覚提示モジュール100との距離に基づいて、自装置または他の触覚提示モジュール100の出力強度を調整する。ユーザの身体上における目標位置に所定の触覚刺激を提示するための複数の触覚提示モジュール100の出力強度の調整に関しては、PCT/JP2017/14379に記載の技術を用い得る。
例えば、知覚設定情報によって指定された知覚位置の近隣に第1の触覚提示モジュール100(例えば、自装置)および第2の触覚提示モジュール100(例えば、他の触覚提示モジュール100)が位置する場合、データ処理部112は、ユーザの身体における第1の触覚提示モジュール100の提示位置と目標の知覚位置との距離に基づいて、第1の触覚提示モジュール100の出力強度を算出する。また、データ処理部112は、必要に応じてユーザの身体における第2の触覚提示モジュール100の提示位置と目標の知覚位置との距離に基づいて、第2の触覚提示モジュール100の出力強度を決定してもよい。
以下、上記の機能についてより詳細に説明する。まず、2個の触覚提示モジュール100の提示位置の間に目標の知覚位置が位置する場合における、当該2個の触覚提示モジュール100の出力強度の調整例について説明する。例えば、データ処理部112は、第1の触覚提示モジュール100(例えば、自装置)の提示位置と第2の触覚提示モジュール100(例えば、他の触覚提示モジュール100)の提示位置との中間位置と、目標の知覚位置との位置関係に基づいて、第1の触覚提示モジュール100の出力強度および必要に応じて第2の触覚提示モジュール100の出力強度を決定する。
例えば、データ処理部112は、当該中間位置と目標の知覚位置との距離が小さいほど、第1の触覚提示モジュール100の出力強度および第2の触覚提示モジュール100の出力強度の合計値が大きくなるように、第1の触覚提示モジュール100および第2の触覚提示モジュール100の出力強度を決定してもよい。または、第2の触覚提示モジュール100の提示位置よりも第1の触覚提示モジュール100の提示位置の近くに目標の知覚位置が位置する場合、データ処理部112は、第1の触覚提示モジュール100の提示位置と目標の知覚位置との距離が大きくなるほど第1の触覚提示モジュール100の出力強度が大きくなるように第1の触覚提示モジュール100の出力強度を決定してもよい。また、第2の触覚提示モジュール100に関しても同様である(つまり、逆の関係になる)。
そして、データ処理部112は、上記の方法で決定した出力強度に基づいて、サーバ200から提供された触覚制御信号を変更する。例えば、データ処理部112は、出力強度に基づいて触覚制御信号の増幅、または減衰等を行う。
また、データ処理部112は、センサ部130から提供されたセンサ情報も用いて触覚制御信号の変更処理を行ってもよい。例えば、触覚提示部140によって温度感覚が提示される場合、データ処理部112は、センサ部130の温度センサから提供されたセンサ情報に基づいてより正確な温度感覚を提示してもよい(例えば、データ処理部112は、提示対象が目標温度になるまで触覚提示部140の出力強度を調整してもよい)。また、データ処理部112は、温度センサから提供されたセンサ情報に基づいて提示対象の熱容量等を算出することで提示対象の温度の上がり易さ(または温度の下がり易さ)を認識し、触覚提示部140の出力強度を調整してもよい。例えば、提示対象の熱容量が高い(換言すると、温度が上がりにくい)場合には、データ処理部112は出力強度をより高く変更してもよい。
また、触覚提示部140によって振動が提示される場合、データ処理部112は、加速度センサから提供されたセンサ情報に基づいて振動の伝達特性を認識し、触覚提示部140の出力強度を調整してもよい。例えば、振動が伝達されにくい場合には、データ処理部112は出力強度をより高く変更してもよい。
また、触覚提示部140によって振動や力覚等が提示される場合、データ処理部112は、圧力センサから提供されたセンサ情報に基づいて、触覚提示モジュール100が身体に固定されている強さを認識し、触覚提示部140の出力強度を調整してもよい。例えば、触覚提示モジュール100が身体に固定されている力が弱い場合には、データ処理部112は出力強度をより高く変更してもよい。
なお、基本的に、触覚提示モジュール100は自装置についての出力強度を算出し、触覚制御信号の変更を行うが、必要に応じて他の触覚提示モジュール100についての出力強度を算出してもよい。例えば、データ処理部112は、上記の方法(自装置と同一の方法)によって他の触覚提示モジュール100についての出力強度を算出してもよい。また、データ処理部112は、互いに近隣(所定の範囲内)に位置する複数の触覚提示モジュール100の出力強度の平均値をこれら複数の触覚提示モジュール100の出力強度としてもよい。また、データ処理部112は、互いに近隣(所定の範囲内)に位置する複数の触覚提示モジュール100のうちのいずれか1つの出力強度をその他の触覚提示モジュール100の出力強度としてもよい。そして、データ処理部112は、他の触覚提示モジュール100の出力強度を算出した後に、通信部120を介して当該出力強度の情報(または、当該出力強度に応じて変更された後の触覚制御信号)を当該他の触覚提示モジュール100に提供する。
これによって、例えば、各触覚提示モジュール100が有する機能や性能が異なり、精度の高い出力強度を算出できない(または、出力強度の算出機能を有していない)触覚提示モジュール100が存在する場合であっても、各触覚提示モジュール100は、触覚制御信号の変更処理を適切に行うことができる。また、電力残量が所定量より少なくなっている触覚提示モジュール100が存在する場合には、当該触覚提示モジュール100は、自らが出力強度を算出し触覚制御信号を変更するのではなく、他の触覚提示モジュール100から出力強度の情報、または変更後の触覚制御信号の提供を受けることで消費電力を低減させることができる。
なお、データ処理部112は、出力強度(波形情報における振幅に相当)以外の任意のパラメータ(例えば、波形情報における周波数、データ形式または変調方式等)を変更してもよい。また、触覚提示モジュール100が音声、または映像等も出力可能な場合、データ処理部112は、位置情報および知覚設定情報に基づいて音声出力または映像等を変更してもよい。
(通信部120)
通信部120は、他の装置との間で情報の送受信を行う機能構成である。例えば、通信部120は、サーバ200から触覚制御信号および知覚設定情報を受信する。また、通信部120は、他の触覚提示モジュール100との間で触覚制御信号、知覚設定情報、センサ情報、または位置情報等を送受信してもよい。
通信部120は、例えば有線/無線LAN(Local Area Network)、またはWi−Fi(登録商標)、Bluetooth(登録商標)、近距離無線通信、携帯通信網(LTE(Long Term Evolution)、または3G(第3世代の移動体通信方式))等により他の装置と通信接続する。なお、通信部120によって行われる通信の内容および通信方式は上記に限定されない。
(センサ部130)
センサ部130は、触覚提示モジュール100の位置の特定処理、または触覚制御信号の変更処理等に使用されるセンサ情報を生成する機能構成である。例えば、センサ部130は、3次元位置センサ(赤外線センサ、ビーコン、カメラ等のいわゆる距離センサ)、姿勢センサ(ジャイロセンサ、または加速度センサ等)、温度センサ、または圧力センサ等を含む。なお、センサ部130が備えるセンサの種類はこれらに限定されない。
(触覚提示部140)
触覚提示部140は、データ処理部112によって変更された触覚制御信号を用いてユーザに対して触覚刺激を提示する機能構成である。例えば、触覚提示部140は、振動を提示するアクチュエータ(例えば、ERM(偏心モータ)、LRA(リニア共振アクチュエータ)、またはVCM(ボイスコイルモータ)等)であってもよいし、力覚を提示する電気素子であってもよいし、温度感覚を提示する温度変化素子(例えば、ペルチェ素子等)であってもよい。なお、上記のとおり、触覚提示部140が提示する触覚は特に限定されない。
(記憶部150)
記憶部150は、各種情報を記憶する機能構成である。例えば、記憶部150は、サーバ200から提供された触覚制御信号および知覚設定情報を記憶する。なお、記憶部150は、これらの情報を予め記憶していてもよい。例えば、コンテンツの提供前にサーバ200が触覚提示モジュール100に対して触覚制御信号および知覚設定情報を提供したり、触覚提示モジュール100の製造時に触覚制御信号および知覚設定情報が記憶部150に格納されたりしてもよい。これによって、サーバ200は、これらの情報を送信する代わりに、これらの情報を識別可能な情報(例えば、触覚制御信号のID、または知覚設定情報のID等)を送信することで触覚刺激の提示を実現することができる。換言すると、通信される情報量が低減され得る。さらに、記憶部150は、位置情報、センサ情報、各機能構成によって使用されるプログラムまたはパラメータ等も記憶する。なお、記憶部150が記憶する情報の内容はこれらに限定されない。
以上、触覚提示モジュール100の機能構成例について説明した。なお、図6を用いて説明した上記の機能構成はあくまで一例であり、触覚提示モジュール100の機能構成は係る例に限定されない。例えば、触覚提示モジュール100は、図6に示す機能構成の全てを必ずしも備えなくてもよい。また、触覚提示モジュール100毎に機能構成が異なっていてもよい(例えば、サーバ200との通信専用の触覚提示モジュール100、または触覚刺激の提示専用の触覚提示モジュール100等が存在してもよい)。また、触覚提示モジュール100の制御部110の少なくとも一部が、ネットワーク上の他のサーバ(例えば、サーバ200)により実現されていてもよい。また、触覚提示モジュール100の機能構成は、仕様や運用に応じて柔軟に変形可能である。
<3.動作処理>
上記では、本実施形態によるサーバ200および触覚提示モジュール100の機能構成について説明した。続いて、図7〜図11を参照して、本実施形態によるサーバ200および触覚提示モジュール100の動作処理について具体的に説明する。
(3−1.触覚提示モジュール100による位置の特定動作)
まず、図7を参照して、触覚提示モジュール100による位置の特定動作について説明する。図7は、触覚提示モジュール100による位置の特定動作の例を示すフローチャートである。
ステップS1000では、触覚提示モジュール100の位置情報生成部111が、センサ部130に備えられる3次元位置センサ等(赤外線センサ、ビーコン、カメラ等のいわゆる距離センサ)を用いて近隣に位置する他の触覚提示モジュール100を探索する。近隣に位置する他の触覚提示モジュール100が検出された場合(ステップS1004/Yes)、ステップS1008にて、位置情報生成部111が、センサ情報に基づいて自装置と検出された他の触覚提示モジュール100との相対的な位置関係(例えば、離隔距離等)を認識する。なお、位置情報生成部111は、上記のとおり、センサ情報に基づいてユーザの身体(触覚刺激の提示対象)における絶対的な位置を認識してもよい。
ステップS1012では、位置情報生成部111が認識結果に基づいて相対位置情報または絶対位置情報を含む位置情報を生成し、当該位置情報を記憶部150に格納することで一連の処理が終了する。上記のとおり、位置情報生成部111は、所定のトリガ(例えば、サーバ200からのリクエスト信号)によって、または所定のタイミングで(例えば、定期的に)図7の処理を行うことで自らの位置の変化を継続的に認識し、位置情報を更新していく。
(3−2.触覚制御信号の出力動作)
続いて、サーバ200および触覚提示モジュール100が連携することによって実現される触覚制御信号の出力動作について説明する。図8は、触覚制御信号の出力動作の例を示すシーケンス図である。ここでは、一例として、触覚提示モジュール100として触覚提示モジュール100a〜触覚提示モジュール100fが用いられるとする。
ステップS1100では、サーバ200の知覚位置・強度決定部211が目標の知覚位置に対応する複数の触覚提示モジュール100に対する知覚の内容(例えば、振動の周波数や振幅等)を決定(算出)し、触覚制御信号または知覚設定情報を生成する。ステップS1104では、通信部220が、出力制御部212の制御に基づいて所定のタイミング(例えば、再生されるコンテンツの各タイミング)で触覚制御信号および知覚設定情報を各触覚提示モジュール100へ送信(ブロードキャスト)する。
ステップS1108では、触覚制御信号および知覚設定情報を受信した各触覚提示モジュール100のデータ処理部112が、位置情報生成部111によって生成された位置情報を記憶部150から取得する。ステップS1112では、データ処理部112が自装置の位置情報および知覚設定情報に基づいて触覚制御信号を変更する。例えば、データ処理部112は、知覚設定情報によって指定された知覚位置および知覚強度と、近隣に配置されている複数の触覚提示モジュール100と自装置との相対的な位置関係等に基づいて、自装置の出力強度を算出し、当該出力強度に基づいて触覚制御信号の増幅、または減衰等を行う。
ステップS1116では、触覚提示部140が、変更後の触覚制御信号を出力することでユーザに対して触覚刺激を提示する。そして例えば、上記ステップS1100〜ステップS1116の処理が、再生されるコンテンツの終了まで継続される。これによって、サーバ200および触覚提示モジュール100は、触覚刺激を伴うコンテンツをユーザに提供することができる。
なお、触覚制御信号の出力動作は、図8の例に限定されない。例えば、図9に示すように、複数の触覚提示モジュール100のうちの少なくともいずれか1台がサーバ200との通信機能を実現することで、他の触覚提示モジュール100に対して触覚制御信号および知覚設定情報を提供してもよい。
より具体的に説明すると、図9のステップS1200にて、サーバ200の知覚位置・強度決定部211が触覚制御信号または知覚設定情報を生成した後、ステップS1204にて、通信部220が、複数の各触覚提示モジュール100のうちの1台である触覚提示モジュール100aのみに対して触覚制御信号および知覚設定情報を送信する。その後、ステップS1208にて、触覚提示モジュール100aの通信部120が、触覚提示モジュール100b〜触覚提示モジュール100fに対して触覚制御信号および知覚設定情報を送信する。ステップS1212〜ステップS1220の動作は、図8のステップS1108〜ステップS1116の動作と同一であるため説明を省略する。
ところで、サーバ200と各触覚提示モジュール100間の通信帯域が制限されていたり、通信性能の低い(または、サーバ200との通信機能を有していない)触覚提示モジュール100が存在したりする場合がある。このような場合にも、図9のように少なくとも1台の触覚提示モジュール100が他の触覚提示モジュール100の代りにサーバ200との通信を行うことによって、各触覚提示モジュール100は触覚制御信号の出力動作を適切に実現することができる。なお、触覚制御信号や知覚設定情報だけでなく、例えば、各触覚提示モジュール100によって実行される各種ソフトウェア(例えば、更新された最新のソフトウェア等)についても、特定の触覚提示モジュール100がサーバ200から受信し、それを他の触覚提示モジュール100へ提供してもよい。
ここで、上記のとおり、触覚制御信号または知覚設定情報は、コンテンツの提供前にサーバ200から触覚提示モジュール100に提供されたり、触覚提示モジュール100の製造時に記憶部150に格納されたりしてもよい。そこで、続いては、図10を参照して、触覚制御信号がコンテンツの提供前にサーバ200から提供される場合における触覚制御信号の出力動作の例を説明する。
図10のステップS1300にて、サーバ200の知覚位置・強度決定部211が、コンテンツの再生前に1または2以上の触覚制御信号を生成した後、ステップS1304にて、通信部220が、触覚制御信号を各触覚提示モジュール100へ送信(ブロードキャスト)する。そして、各触覚提示モジュール100は、受信した1または2以上の触覚制御信号を記憶部150に格納しておく。
そして、コンテンツの再生時には、ステップS1308にて、サーバ200の知覚位置・強度決定部211が目標の知覚位置に対応する複数の触覚提示モジュール100に対する知覚の内容(例えば、振動の周波数や振幅等)を決定(算出)し、知覚設定情報を生成し、触覚制御信号を識別するIDを取得する。ステップS1312では、通信部220が、出力制御部212の制御に基づいて所定のタイミング(例えば、再生されるコンテンツの各タイミング)で知覚設定情報および触覚制御信号のIDを各触覚提示モジュール100へ送信(ブロードキャスト)する。
ステップS1316では、知覚設定情報、および触覚制御信号のIDを受信した各触覚提示モジュール100のデータ処理部112が、触覚制御信号のIDを用いて記憶部150から触覚制御信号を取得する。ステップS1320〜ステップS1328の動作は、図8のステップS1108〜ステップS1116の動作と同一であるため説明を省略する。そして例えば、上記ステップS1308〜ステップS1328の処理が、再生されるコンテンツの終了まで継続される。触覚制御信号の代りに触覚制御信号のIDが送信されることで、本開示はサーバ200および触覚提示モジュール100によって通信される情報量が低減させることができる。
以上では、各触覚提示モジュール100が触覚制御信号を変更する場合の例について説明したが、サーバ200が触覚制御信号の変更を行ってもよい。そこで、図11では、サーバ200が、知覚設定情報および各触覚提示モジュール100の位置情報に応じて触覚制御信号を変更する場合の例について説明する。なお、この場合、サーバ200は、触覚提示モジュール100のデータ処理部112と同等の機能構成(以降、「データ処理部」と呼称する)を備えているとする。
図11のステップS1400では、各触覚提示モジュール100のデータ処理部112が、位置情報生成部111によって生成された位置情報を記憶部150から取得し、ステップS1404では、通信部120が当該位置情報をサーバ200へ送信する。なお、これらの処理が行われるトリガ、またはタイミングは特に限定されない。例えば、これらの処理は、サーバ200からのリクエスト信号をトリガに行われてもよいし、定期的なタイミングで行われてもよい。
ステップS1408では、サーバ200の知覚位置・強度決定部211が目標の知覚位置に対応する複数の触覚提示モジュール100に対する知覚の内容(例えば、振動の周波数や振幅等)を決定(算出)し、触覚制御信号または知覚設定情報を生成する。ステップS1412では、サーバ200のデータ処理部が、触覚提示モジュール100毎に、各触覚提示モジュール100の位置情報および知覚設定情報に基づいて触覚制御信号を変更する。そして、ステップS1416では、サーバ200の通信部220が変更後の触覚制御信号を各触覚提示モジュール100へ送信する。ステップS1420では、各触覚提示モジュール100の触覚提示部140が(データ処理部112による変更処理なく)触覚制御信号を出力することでユーザに対して触覚刺激を提示する。そして例えば、上記ステップS1400〜ステップS1420の処理が、再生されるコンテンツの終了まで継続される。
このように、サーバ200が触覚制御信号を変更することによって、各触覚提示モジュール100の処理負荷が低減される。なお、図11の例においても、触覚提示モジュール100のデータ処理部112は触覚制御信号を適宜変更してもよい。例えば、サーバ200による触覚制御信号の変更処理に遅延が発生している場合、触覚提示モジュール100のデータ処理部112は、最新の位置情報に基づいて触覚制御信号を再度変更し直してもよい。
また、図7〜図11に示したフローチャート、またはシーケンス図における各ステップは、必ずしも記載された順序に沿って時系列に処理する必要はない。すなわち、フローチャート、またはシーケンス図における各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
<4.ハードウェア構成>
上記では、本実施形態によるサーバ200および触覚提示モジュール100の動作処理について具体的に説明した。続いて、図12を参照して、サーバ200および触覚提示モジュール100を具現する情報処理装置900のハードウェア構成例について説明する。
図12は、情報処理装置900のハードウェア構成を示す図である。情報処理装置900は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置(HDD)910と、ドライブ911と、通信装置912と、を備える。
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904により相互に接続されている。当該CPU901、ROM902およびRAM903の協働により、サーバ200の制御部210と、触覚提示モジュール100の制御部110およびセンサ部130の各機能が実現される。
ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置900の使用者は、該入力装置908を操作することにより、各装置に対して各種情報を入力したり処理動作を指示したりすることができる。当該入力装置908により、サーバ200の操作入力部230の機能が実現される。
出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。さらに、出力装置909は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置909は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。特に、本開示において出力装置909は、振動を提示するアクチュエータ(例えば、ERM(偏心モータ)、LRA(リニア共振アクチュエータ)、またはVCM(ボイスコイルモータ)等)、力覚を提示する電気刺激素子、または温度感覚を提示する温度変化素子等(例えば、ペルチェ素子等)を備える。当該出力装置909により、サーバ200の表示部240と、触覚提示モジュール100の触覚提示部140の機能が実現される。
ストレージ装置910は、データ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。当該ストレージ装置910によりサーバ200の記憶部250と、触覚提示モジュール100の記憶部150の各機能が実現される。
ドライブ911は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ911は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体913に記録されている情報を読み出して、RAM903に出力する。また、ドライブ911は、リムーバブル記憶媒体913に情報を書き込むこともできる。
通信装置912は、例えば、通信網914に接続するための通信デバイス等で構成された通信インタフェースである。当該通信装置912によりサーバ200の通信部220と、触覚提示モジュール100の通信部120の各機能が実現される。
<5.まとめ>
以上で説明してきたように、本開示は、複数の触覚提示モジュール100の位置情報、および知覚設定情報を用いて、触覚制御信号を適切に変更する。これによって、各触覚提示モジュール100の配置レイアウトが変更されたり、身体に対する触覚提示モジュール100の位置がずれたりした場合であっても、触覚提示モジュール100は、その位置に応じて柔軟に対応することで触覚制御信号の収録時と同様の知覚効果を実現することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、触覚提示デバイス10が一人のユーザによって使用される場合について説明したが、触覚提示デバイス10が複数のユーザによって使用されてもよい。例えば、触覚提示デバイス10が床面を構成する場合(例えば、触覚提示デバイス10が床面に用いられる部材であったり、床面に敷かれるカーペット等であったりする場合)、かつ、触覚提示デバイス10上に複数人のユーザが位置する場合を考える。この場合、各触覚提示モジュール100は、センサ部130からのセンサ情報を解析することで複数人のユーザと自装置との相対的な位置関係(例えば、離隔距離等)を認識し、位置情報を生成する。そして、各触覚提示モジュール100は、当該位置情報および知覚設定情報を用いて触覚制御信号を変更してもよい。これによって、各触覚提示モジュール100は、複数人のユーザの位置に応じて動的に変化する触覚刺激を提示することができる。
また、上記では、各触覚提示モジュール100が、それぞれの位置情報および知覚設定情報に応じて触覚制御信号を変更することで各触覚提示モジュール100の位置がずれた場合でも適切な触覚刺激を提示していた。しかし、これに限定されず、各触覚提示モジュール100は、触覚制御信号を変更するのではなく(または、触覚制御信号の変更と共に)各触覚提示モジュール100の位置を物理的に調整してもよい。例えば、触覚提示モジュール100は、センサ部130からのセンサ情報を解析することで自装置の位置のずれを認識した場合、触覚提示部140のアクチュエータ等を制御することで、自装置を適切な位置に移動させることで位置のずれを解消し、適切な触覚刺激を提示してもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
触覚提示部毎に生成された触覚制御信号を用いて触覚刺激を提示する複数の触覚提示部のうちの少なくとも一つの位置情報を取得する取得部と、
前記位置情報を用いて前記触覚制御信号を変更するデータ処理部と、を備える、
情報処理装置。
(2)
前記複数の触覚提示部は、一または一群の触覚提示デバイスに備えられる、
前記(1)に記載の情報処理装置。
(3)
前記データ処理部は、前記触覚提示デバイスによって用いられる触覚制御信号を変更することで、他の触覚提示デバイスによって用いられる触覚制御信号を生成する、
前記(2)に記載の情報処理装置。
(4)
前記データ処理部は、前記触覚提示デバイスと前記他の触覚提示デバイスとの前記位置情報の差異に応じて前記触覚制御信号を変更する、
前記(3)に記載の情報処理装置。
(5)
前記差異は、前記触覚提示デバイスと前記他の触覚提示デバイスとで、前記複数の触覚提示部の配置レイアウトが互いに異なることにより生じる、
前記(4)に記載の情報処理装置。
(6)
前記差異は、前記触覚提示デバイスと前記他の触覚提示デバイスとで、ユーザによる装着状態または使用態様が互いに異なることにより生じる、
前記(4)に記載の情報処理装置。
(7)
前記情報処理装置は、前記触覚提示部として機能する、
前記(2)から(6)のいずれか1項に記載の情報処理装置。
(8)
前記位置情報は、前記複数の触覚提示部間の相対的な位置関係を示す情報、または、前記触覚刺激の提示対象における絶対的な位置を示す情報である、
前記(1)から(7)のいずれか1項に記載の情報処理装置。
(9)
所定のセンサ情報に基づいて前記位置情報を生成する位置情報生成部をさらに備える、
前記(1)から(8)のいずれか1項に記載の情報処理装置。
(10)
前記触覚刺激は、振動、力覚または温度感覚のうちの少なくとも一つを含む、
前記(1)から(9)のいずれか1項に記載の情報処理装置。
(11)
触覚提示部毎に生成された触覚制御信号を用いて触覚刺激を提示する複数の触覚提示部のうちの少なくとも一つの位置情報を取得することと、
前記位置情報を用いて前記触覚制御信号を変更することと、を有する、
コンピュータにより実行される情報処理方法。
(12)
触覚提示部毎に生成された触覚制御信号を用いて触覚刺激を提示する複数の触覚提示部のうちの少なくとも一つの位置情報を取得することと、
前記位置情報を用いて前記触覚制御信号を変更することと、
をコンピュータに実現させるためのプログラム。
10 触覚提示デバイス
100 触覚提示モジュール
110 制御部
111 位置情報生成部
112 データ処理部
120 通信部
130 センサ部
140 触覚提示部
150 記憶部
200 サーバ
210 制御部
211 知覚位置・強度決定部
212 出力制御部
220 通信部
230 操作入力部
240 表示部
250 記憶部

Claims (12)

  1. 触覚提示部毎に生成された触覚制御信号を用いて触覚刺激を提示する複数の触覚提示部のうちの少なくとも一つの位置情報を取得する取得部と、
    前記位置情報を用いて前記触覚制御信号を変更するデータ処理部と、を備える、
    情報処理装置。
  2. 前記複数の触覚提示部は、一または一群の触覚提示デバイスに備えられる、
    請求項1に記載の情報処理装置。
  3. 前記データ処理部は、前記触覚提示デバイスによって用いられる触覚制御信号を変更することで、他の触覚提示デバイスによって用いられる触覚制御信号を生成する、
    請求項2に記載の情報処理装置。
  4. 前記データ処理部は、前記触覚提示デバイスと前記他の触覚提示デバイスとの前記位置情報の差異に応じて前記触覚制御信号を変更する、
    請求項3に記載の情報処理装置。
  5. 前記差異は、前記触覚提示デバイスと前記他の触覚提示デバイスとで、前記複数の触覚提示部の配置レイアウトが互いに異なることにより生じる、
    請求項4に記載の情報処理装置。
  6. 前記差異は、前記触覚提示デバイスと前記他の触覚提示デバイスとで、ユーザによる装着状態または使用態様が互いに異なることにより生じる、
    請求項4に記載の情報処理装置。
  7. 前記情報処理装置は、前記触覚提示部として機能する、
    請求項2に記載の情報処理装置。
  8. 前記位置情報は、前記複数の触覚提示部間の相対的な位置関係を示す情報、または、前記触覚刺激の提示対象における絶対的な位置を示す情報である、
    請求項1に記載の情報処理装置。
  9. 所定のセンサ情報に基づいて前記位置情報を生成する位置情報生成部をさらに備える、
    請求項1に記載の情報処理装置。
  10. 前記触覚刺激は、振動、力覚または温度感覚のうちの少なくとも一つを含む、
    請求項1に記載の情報処理装置。
  11. 触覚提示部毎に生成された触覚制御信号を用いて触覚刺激を提示する複数の触覚提示部のうちの少なくとも一つの位置情報を取得することと、
    前記位置情報を用いて前記触覚制御信号を変更することと、を有する、
    コンピュータにより実行される情報処理方法。
  12. 触覚提示部毎に生成された触覚制御信号を用いて触覚刺激を提示する複数の触覚提示部のうちの少なくとも一つの位置情報を取得することと、
    前記位置情報を用いて前記触覚制御信号を変更することと、
    をコンピュータに実現させるためのプログラム。
JP2020509707A 2018-03-27 2019-01-18 情報処理装置、情報処理方法、およびプログラム Active JP7238886B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018059309 2018-03-27
JP2018059309 2018-03-27
PCT/JP2019/001481 WO2019187527A1 (ja) 2018-03-27 2019-01-18 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019187527A1 true JPWO2019187527A1 (ja) 2021-04-22
JP7238886B2 JP7238886B2 (ja) 2023-03-14

Family

ID=68059809

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020509707A Active JP7238886B2 (ja) 2018-03-27 2019-01-18 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US11392203B2 (ja)
JP (1) JP7238886B2 (ja)
WO (1) WO2019187527A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015232786A (ja) * 2014-06-10 2015-12-24 和俊 尾花 振動生成システム、振動生成プログラム、および振動生成方法
WO2018008217A1 (ja) * 2016-07-07 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030040361A1 (en) * 1994-09-21 2003-02-27 Craig Thorner Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry
US9802225B2 (en) * 2005-06-27 2017-10-31 General Vibration Corporation Differential haptic guidance for personal navigation
US7839269B2 (en) * 2007-12-12 2010-11-23 Immersion Corporation Method and apparatus for distributing haptic synchronous signals
US20100036207A1 (en) * 2008-07-24 2010-02-11 Michael Zack Eckblad Relative response system including reprogramming capability for autonomous or interrelated stimulus and sensor systems for measuring biological response data relative to either an absolute reference and/or relative to other biological response
US9880621B2 (en) * 2010-04-08 2018-01-30 Disney Enterprises, Inc. Generating virtual stimulation devices and illusory sensations using tactile display technology
US8924304B2 (en) * 2010-06-04 2014-12-30 Apple Inc. Methods for using unique identifiers to identify systems in collaborative interaction in a mesh network
US20120119920A1 (en) * 2010-11-12 2012-05-17 Extra Sensory Technology, L.C. Portable sensory devices
ITTO20110530A1 (it) * 2011-06-16 2012-12-17 Fond Istituto Italiano Di Tecnologia Sistema di interfaccia per interazione uomo-macchina
US9078079B2 (en) * 2011-10-07 2015-07-07 Lg Electronics Inc. Multi-network access method and communication device thereof
US20150054727A1 (en) * 2013-08-23 2015-02-26 Immersion Corporation Haptically enabled viewing of sporting events
US20150105129A1 (en) * 2013-10-15 2015-04-16 Kevin Chapman Video Game Body Suit
US9671826B2 (en) * 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
US20150324646A1 (en) * 2014-05-08 2015-11-12 Brown University Navigation methods and apparatus for the visually impaired
US9786201B2 (en) * 2014-05-16 2017-10-10 Not Impossible LLC Wearable sound
AU2014210579B2 (en) * 2014-07-09 2019-10-10 Baylor College Of Medicine Providing information to a user through somatosensory feedback
US9753539B2 (en) * 2014-10-02 2017-09-05 Futureplay Inc. Method, device, system and non-transitory computer-readable recording medium for providing user interface
WO2017020115A1 (en) * 2015-08-05 2017-02-09 Eski Inc. Methods and apparatus for communicating with a receiving unit
US20170055596A1 (en) * 2015-08-28 2017-03-02 Raquel Smith Colby Smart Clothing for Simulated Touch and Concussive Force
US20170108892A1 (en) * 2015-10-14 2017-04-20 Atomic Vr Inc Wearable computing system
WO2017095951A1 (en) * 2015-11-30 2017-06-08 Nike Innovate C.V. Apparel with ultrasonic position sensing and haptic feedback for activities
US9981182B2 (en) * 2016-02-12 2018-05-29 Disney Enterprises, Inc. Systems and methods for providing immersive game feedback using haptic effects
US10518172B2 (en) * 2016-03-07 2019-12-31 Htc Corporation Accessory management of virtual reality system
US9788152B1 (en) * 2016-04-01 2017-10-10 Eski Inc. Proximity-based configuration of a device
CN105748265B (zh) * 2016-05-23 2021-01-22 京东方科技集团股份有限公司 一种导航装置及方法
US10281983B2 (en) * 2017-09-20 2019-05-07 Alex Hamid Mani Haptic feedback device and method for providing haptic sensation based on video
US11079249B1 (en) * 2020-12-14 2021-08-03 International Business Machines Corporation Haptic navigation device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015232786A (ja) * 2014-06-10 2015-12-24 和俊 尾花 振動生成システム、振動生成プログラム、および振動生成方法
WO2018008217A1 (ja) * 2016-07-07 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
WO2019187527A1 (ja) 2019-10-03
JP7238886B2 (ja) 2023-03-14
US20210004088A1 (en) 2021-01-07
US11392203B2 (en) 2022-07-19

Similar Documents

Publication Publication Date Title
US10795445B2 (en) Methods, devices, and systems for determining contact on a user of a virtual reality and/or augmented reality device
CN108170262B (zh) 触觉环绕功能
US20230102542A1 (en) Information processing device, information processing method, and recording medium
JP7314926B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6290467B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
US11720175B1 (en) Spatially offset haptic feedback
WO2020106534A1 (en) Systems and methods for transitioning between modes of tracking real-world objects for artificial reality interfaces
US11630520B1 (en) Systems and methods for sensing gestures via vibration-sensitive wearables donned by users of artificial reality systems
CN110554773A (zh) 用于产生定向声音和触觉感觉的触觉装置
US11150800B1 (en) Pinch-based input systems and methods
US20230316685A1 (en) Information processing apparatus, information processing method, and program
US20230259207A1 (en) Apparatus, system, and method for detecting user input via hand gestures and arm movements
JPWO2018216355A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7238886B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2020149138A (ja) 作業支援システム、作業支援方法、及びプログラム
WO2024134736A1 (ja) ヘッドマウントディスプレイ装置および立体音響の制御方法
CN113196210A (zh) 信息处理装置、信息处理系统、信息处理方法和程序
JP2020149139A (ja) 作業支援システム、作業支援方法、及びプログラム
US11662815B2 (en) Apparatus, system, and method for detecting user input via hand gestures and arm movements
JP2018000577A (ja) 情報処理方法、システム
JP2023148748A (ja) 入出力装置
JP2020149141A (ja) 作業支援システム、作業支援方法、及びプログラム
JP2020149143A (ja) 作業支援システム、作業支援方法、及びプログラム

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R151 Written notification of patent or utility model registration

Ref document number: 7238886

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151