JPWO2014119383A1 - 触力覚提示装置、触力覚提示システム、触力覚提示方法、およびプログラム - Google Patents
触力覚提示装置、触力覚提示システム、触力覚提示方法、およびプログラム Download PDFInfo
- Publication number
- JPWO2014119383A1 JPWO2014119383A1 JP2014559621A JP2014559621A JPWO2014119383A1 JP WO2014119383 A1 JPWO2014119383 A1 JP WO2014119383A1 JP 2014559621 A JP2014559621 A JP 2014559621A JP 2014559621 A JP2014559621 A JP 2014559621A JP WO2014119383 A1 JPWO2014119383 A1 JP WO2014119383A1
- Authority
- JP
- Japan
- Prior art keywords
- user
- haptic
- force
- presentation
- real space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
触力覚提示システム100は、実空間の情報を取得する情報取得装置70と、ユーザに触力覚を提示する触力覚提示装置60とを備えている。触力覚提示装置60は、情報取得装置70によって取得された情報から、実空間に存在する物体を特定する物体特定部20と、特定された物体に応じて、ユーザに提示すべき触力覚を算出する情報処理部30と、ユーザに対して、算出された触力覚を提示する、触力覚提示部10とを備えている。
Description
本発明は、ユーザに対して触力覚を提示(伝達)する触力覚提示装置、これを備えた、触力覚提示システム、触力覚提示方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
一般に、拡張現実(AR: Augmented Reality)とは、カメラによって撮影された現実空間の映像に、コンピュータ等によって新たな情報を付加することをいう。拡張現実を利用すれば、ユーザは、撮影された現実空間に存在する物及び生物等について、有益な情報を簡単に取得でき、便利である。また、近年、ディスプレイとカメラとを搭載した情報機器の普及により、拡張現実の利用は盛んになっている。特に、スマートフォン等の携帯型の触力覚提示システムの分野では、拡張現実を利用したアプリケーションの開発が盛んである。
例えば、特許文献1及び特許文献2は、拡張現実を利用可能な携帯型の触力覚提示システムを開示している。特許文献1及び特許文献2に開示された触力覚提示システムは、それに備えられたカメラによって、実空間の映像を連続的に取得し、これを画面上に表示しながら、表示される映像に付加情報を重畳する。
ところで、上述の特許文献1又は特許文献2に開示された触力覚提示システムを用いれば、実空間の映像に情報を付加することができ、ユーザは、実空間に関する有益な情報を取得できると考えられる。しかしながら、ユーザが取得できる情報は、テキスト又は映像で表わされる情報に過ぎず、ユーザは、実空間に存在している、物、生物等の感触を得ることは不可能である。
本発明の目的の一例は、上記問題を解消し、実空間に存在する物体に対応した触力覚の提示を可能にし得る、触力覚提示装置、触力覚提示システム、触力覚提示方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
上記目的を達成するため、本発明の一側面における触力覚提示装置は、ユーザに触力覚を提示するための装置であって、
実空間の情報から、前記実空間に存在する物体を特定する、物体特定部と、
特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
を備えていることを特徴とする。
実空間の情報から、前記実空間に存在する物体を特定する、物体特定部と、
特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
を備えていることを特徴とする。
また、上記目的を達成するため、本発明の一側面における触力覚提示システムは、実空間の情報を取得する情報取得装置と、ユーザに触力覚を提示する触力覚提示装置と、を備え、
前記触力覚提示装置は、
前記情報取得装置によって取得された情報から、前記実空間に存在する物体を特定する、物体特定部と、
特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
を備えている、
ことを特徴とする。
前記触力覚提示装置は、
前記情報取得装置によって取得された情報から、前記実空間に存在する物体を特定する、物体特定部と、
特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
を備えている、
ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における触力覚提示方法は、ユーザに触力覚を提示するための方法であって、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を有することを特徴とする。
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を有することを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、ユーザに触力覚を提示するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
前記コンピュータに、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
以上のように本発明によれば、実空間に存在する物体に対応した触力覚の提示が可能になる。
(実施の形態)
以下、本発明の実施の形態における、触力覚提示装置、触力覚提示システム、触力覚提示方法、及びプログラムについて、図1〜図10を参照しながら説明する。
以下、本発明の実施の形態における、触力覚提示装置、触力覚提示システム、触力覚提示方法、及びプログラムについて、図1〜図10を参照しながら説明する。
[装置構成]
最初に、図1を用いて、本実施の形態1における触力覚提示装置及び触力覚提示システムの外観構成を説明する。図1は、本発明の実施の形態1における触力覚提示装置及び触力覚提示システムの外観構成を示す斜視図である。
最初に、図1を用いて、本実施の形態1における触力覚提示装置及び触力覚提示システムの外観構成を説明する。図1は、本発明の実施の形態1における触力覚提示装置及び触力覚提示システムの外観構成を示す斜視図である。
図1に示すように、本実施の形態における触力覚提示システム100は、ユーザ110に触力覚を提示する触力覚提示装置60と、実空間の情報を取得する情報取得装置70とを備えている。
本実施の形態では、実空間は、水族館であり、特に、そこに設置された水槽120内の空間である。また、情報取得装置70は、カメラであり、実空間の情報として、水槽120内の映像を取得する。なお、以下においては、「カメラ70」と表記する。
また本実施の形態では、触力覚提示装置60は、タブレット型の形状を有し、水槽120の前に配置されている。更に、触力覚提示装置60は、装置の背面側(画面41が設けられた側の反対側)の空間において、ユーザ110の触力覚の提示を受ける部分、具体的には、指の位置を検出することができ、ユーザ110は指の位置を動かすことによって入力操作を行うことができる。
また、触力覚提示装置60は、画面41上に、水槽120に対応した仮想空間を表示することができ、更に、ユーザ110の指に相当するオブジェクト(以下「ユーザオブジェクト」と表記する。)42を、検出された位置に合わせて仮想空間内に表示することもできる。そして、後述するように、実空間に存在する物体から生成された仮想オブジェクト43とユーザオブジェクト42とが接触した場合は、触力覚提示装置60は、ユーザ110の指に仮想オブジェクト43に触れた感触を伝達する。
つまり、触力覚提示システム100では、ユーザ110が指を動かしたり、実空間の物体(仮想オブジェクト43)が動いたりすることにより、ユーザ110に、実空間の物体の感触に相当する触力覚が提示される。
続いて、図2を用いて、本実施の形態における触力覚提示装置及び触力覚提示システムの構成について説明する。図2は、本発明の実施の形態1における触力覚提示システム及び触力覚提示装置の構成を示すブロック図である。
図2に示すように、触力覚提示装置60は、主に、物体特定部20と、情報処理部30と、触力覚提示部10とを備えている。このうち、物体特定20は、情報取得装置であるカメラ70によって取得された情報から、実空間に存在する物体を特定する。また、情報処理部30は、物体特定部20によって特定された物体に応じて、ユーザに提示すべき触力覚を算出する。触力覚提示部10は、ユーザに対して、算出された触力覚を提示する。
このように、本実施の形態では、実空間から取得された情報、具体的には映像からそこに存在する物体が特定され、特定した物体に基づいて触力覚が算出される。つまり、本実施の形態によれば、実空間に存在する物体に対応した触力覚の提示が可能となる。
また、本実施の形態では、図2に示すように、触力覚提示装置60は、物体特定部20、情報処理部30及び触力覚提示部10に加えて、更に、表示装置40と、位置検出部50とを備えている。このうち、表示装置40は、液晶表示パネル、有機ELパネルといった薄型の表示パネルである。位置検出部50は、ユーザ110において触力覚の提示を受ける部分(指)の位置を検出する。
また、図2に示すように、本実施の形態では、触力覚提示装置60において、触力覚提示部10は、伝達部材12と、駆動部11と、制御部14とを備えている。
伝達部材12は、触力覚提示装置60からユーザ110の触力覚の提示を受ける部分(図1及び図2の例では指)へと伸びて、ユーザ110に引っ張り方向の力(以下、「引張力」と表記する。)を伝達する部材である。駆動部11は、引張力を発生させ、それを伝達部材12に与えている。
また、制御部14は、まず、駆動部11に、予め、設定された大きさの引張力を初期力として発生させる。そして、制御部14は、駆動部11において、情報処理部30によって算出された触力覚の提示の際に、算出された触力覚が伝達部材12を介してユーザ110(図2参照)に与えられるように、初期力を増加又は減少させる。
ここで、図3を用いて、触力覚提示装置の内部構成を具体的に説明する。図3は、本発明の実施の形態における触力覚提示装置の各構成部品を示す分解斜視図である。
図3に示すように、触力覚提示装置60は、ユーザ側から順に、枠状に形成されたカバー61と、表示装置40と、箱状の筐体62とを備えている。カバー61は、表示装置40の画面が露出するように、筐体62の開口部分に取り付けられる。
上述した、駆動部11、制御部14、物体特定部20、位置検出部50、及び情報処理部30は、表示装置40の背面側となる筐体62の内部に配置されている。また、図3に示すように、本実施の形態では、3本の伝達部材12が用いられており、これに対応して3つの駆動部11が配置されている。
本実施の形態では、伝達部材12それぞれは、触力覚提示装置60の背面側の異なる位置からユーザ110における触力覚の提示を受ける部分(指)へと伸びる紐状の部材、例えば、ワイヤである。また、各伝達部材12の先端は、ユーザ110の触力覚の提示を受ける部分に装着される装着部材13に固定されている。具体的には、装着部材13は、ユーザ110の指に装着可能なリング状の部材である。
また、本実施の形態では、各駆動部11は、プーリ15が軸に取り付けられたモータであり、対応する伝達部材12をプーリ15で巻き取ることによって、対応する伝達部材12に、引っ張り方向の力を与えている。
更に、筐体62の底面には、伝達部材12毎に、通し穴16が設けられており、各伝達部材12は、通し穴16を経由して、触力覚提示装置60の背面側へと伸びる。なお、各通し穴16の位置は、特に限定されないが、後述するように、触力覚の提示範囲は各通し穴16の位置によって決定される(図8の領域X参照)。よって、各通し穴16の位置は、求められる提示範囲を考慮した上で決定される。
このように、本実施の形態においては、3本の伝達部材12によって、装着部材13が引っ張られることによって、ユーザ110の指に提示力が提示される(図1参照)。つまり、各駆動部11が伝達部材13に与える引張力の合力によって、触力覚が提示される。
また、本実施の形態では、位置検出部50は、駆動部11毎に、その軸に設けられたエンコーダである。このため、位置検出部50は、ユーザの触力覚の提示を受ける部分の位置を検出するためのデータ(以下、「位置検出データ」と表記する。)として、モータの軸の回転数を特定するデータを、情報処理部30に出力する。
そして、情報処理部30は、各位置検出部50から出力された位置検出データを受け取ると、予め登録されている、伝達部材12の全長、プーリ15の直径、プーリ15から通し穴16までの距離等に基づいて、各伝達部材12の通し穴16から装着部材13までの長さを算出する。また、情報処理部30は、後述するように、算出された各伝達部材12の長さに基づいて、ユーザ110の触力覚の提示を受ける部分の位置、即ち、装着部材13の位置を算出する。
また、図3の例では、制御部14、物体特定部20、及び情報処理部30は、個別に例示されておらず、これらは、ボードコンピュータ63に組み込まれたプログラムによって構築されている。また、制御部14、物体特定部20、及び情報処理部30はそれぞれ別々のコンピュータによって実現されていても良いし、同一のコンピュータによって実現されていても良い。
続いて、再度図2を用いて、触力覚提示装置60におけるデータの流れについて説明する。触力覚提示装置60では、ユーザ110が、装着部材13を装着した指を、触力覚提示システム100の背面側で動かすと、各位置検出部50が、位置検出データaを情報処理部30に出力する。
また、物体特定部20は、カメラ70から実空間の映像を取得すると、コンピュータのメモリ空間に構築された仮想空間内に、取得した映像に映っている物体121の仮想オブジェクト43を生成する(図1参照)。具体的には、物体特定部20は、例えば、米国特許出願公開第2009/0096783号明細書及び米国特許出願公開第2010/0118123号明細書に開示された、撮影された物体から3次元モデルを作成する技術を利用して、仮想オブジェクト43を生成する。
更に、物体特定部20は、生成した仮想オブジェクト43のデータ(仮想オブジェクトデータc)を情報処理部30に出力する。なお、図1の例では、物体特定部20は、水槽120内を泳ぐ魚の仮想オブジェクトを生成している。また、仮想オブジェクトデータcには、その位置データも含まれている。
また、情報処理部30は、ユーザ110の指に相当するユーザオブジェクト42(図1参照)を生成する。そして、情報処理部30は、各位置検出データaを受け取ると、これらに基づいて、ユーザ110の指(装着部材13)の位置を特定し、特定した位置に応じて、ユーザオブジェクト42(図1参照)の位置を変更する。
続いて、情報処理部30は、仮想オブジェクト43の位置と、ユーザオブジェクト42の位置とを比較し、両者が接触しているかどうかを判定する。そして、判定の結果、接触している場合は、情報処理部30は、仮想オブジェクト43の接触によってユーザオブジェクト42に生じた力を算出し、算出した力を特定するデータb(以下「提示データb」と表記する。)を、制御部14に出力する。この算出された力は、ユーザに伝達すべき触力覚に相当する。また、このとき、情報処理部30は、仮想オブジェクト43とユーザオブジェクト42とを表示させるためのデータを、表示データeとして表示装置40に出力する。
制御部14は、提示データbを受け取ると、提示データbによって特定される触力覚がユーザ110に伝達されるように、各駆動部11が出力すべき引張力を算出する。そして、制御部14は、各駆動部11に目的の引張力を発揮させる制御データdを生成し、これを各駆動部11に出力する。
具体的には、制御部14は、電源回路(図示せず)を用いて、駆動部11として機能するモータを駆動するためのパルス信号を生成し、これを制御データdとして出力する。これにより、各駆動部(モータ)11は、計算された引張力で伝達部材12を引っ張り、ユーザ110の指先には、提示データbによって特定される触力覚が提示される。
図1〜図3を用いて説明したように、本実施の形態では、触力覚提示装置60は、その背面側に位置するユーザ110の指に、伝達部材11によって引っ張り方向の力を伝達することによって触力覚を提示する。このため、広い範囲での3次元的な触力覚の提示が可能となる。また、触力覚提示装置の構成は、コンパクトにできるので、装置の小型化も図られる。なお、本発明でいう「触力覚」とは、ユーザが感じる、反発力、抵抗力、外力、感触、等を意味する。
また、本実施の形態1では、駆動部材12による引張力の伝達方向は、プーリ15及び通し穴16の位置によって、自由に設定できる。更に、伝達部材12の通し穴から装着部材13までの距離は、プーリ15での巻き取り量によって設定できるので、ユーザが指を動かすことのできる範囲も自由に設定できる。また、伝達部材12として、軽量な紐状の部材が用いられているので、ユーザは、指を動かす際に、機械的な抵抗などを感じ難いといえる。
[装置動作]
次に、本発明の実施の形態における触力覚提示装置60の動作について図4を用いて説明する。図4は、本発明の実施の形態における触力覚提示装置の動作を示すフロー図である。なお、以下の説明においては、適宜図1〜図3を参酌する。また、本実施の形態では、触力覚提示装置60を動作させることによって、触力覚提示方法が実施される。よって、本実施の形態における触力覚提示方法の説明は、以下の触力覚提示装置60の動作説明に代える。
次に、本発明の実施の形態における触力覚提示装置60の動作について図4を用いて説明する。図4は、本発明の実施の形態における触力覚提示装置の動作を示すフロー図である。なお、以下の説明においては、適宜図1〜図3を参酌する。また、本実施の形態では、触力覚提示装置60を動作させることによって、触力覚提示方法が実施される。よって、本実施の形態における触力覚提示方法の説明は、以下の触力覚提示装置60の動作説明に代える。
まず、物体特定部20が、予め、カメラ70から実空間の映像を取得し、コンピュータのメモリ空間に構築された仮想空間内に、取得した映像に映っている物体121の仮想オブジェクト43を生成しているとする。また、情報処理部30も、予め、ユーザ110の指に相当するユーザオブジェクト42(図1参照)を生成しているとする。
この場合において、ユーザ110が、触力覚提示システム100の背面の空間において、表示装置40の画面上に表示される仮想オブジェクト43(図1参照)に触れようとして、指を動かすとする。これにより、図2に示したように、位置検出部50それぞれは、位置検出データaを、情報処理部30に出力する。
次に、図4に示すように、情報処理部30は、出力されてきた位置検出データaに基づいて、各伝達部材12の通し穴16から装着部材13までの長さを算出し、更に、算出された各伝達部材12の長さに基づいて、ユーザ110の指の位置を検出及び特定する(S101)。また、情報処理部30は、特定した位置に応じて、ユーザオブジェクト42(図1参照)の位置を変更する。
次に、情報処理部30は、仮想オブジェクト43の位置と、ユーザオブジェクト42の位置とを比較し、両者が接触しているかどうかを判定する。そして、判定の結果、接触している場合は、情報処理部30は、仮想オブジェクト43の接触によってユーザオブジェクト42に生じた力を算出し、算出した力を特定する提示データbを、制御部14に出力する(ステップS102)。
また、ステップS102では、情報処理部30は、仮想オブジェクト43とユーザオブジェクト42とを表示させるためのデータを、表示データeとして表示装置40に出力する。
次に、制御部14は、情報処理部30から提示データbを受け取ると、提示データbで特定される提示力を提示する上で各駆動部11が出力すべき引張力を算出する(ステップS103)。また、ステップS103では、制御部14は、更に、各駆動部11によって、算出された引張力が発生するように制御データdを生成し、これを各駆動部11に出力する。
ステップS103が実行されると、触力覚提示装置60は、ユーザ110の指先に、装着部材13を介して触力覚を提示する(ステップS104)。また、表示装置の画面101には、ステップS102で情報処理部30が出力した表示データeに基づいて、仮想オブジェクト43とユーザオブジェクト42とが表示される(ステップS105)。なお、ステップS104とステップS105とは、同時に実行されても良い。
また、本実施の形態1においては、ステップS101〜S105は、繰り返し実行される。よって、ユーザ110が、ある位置から別の位置までを指を動かした場合は、開始から終了までの間に、ステップS101〜S105は繰り返し実行されるので、その間、ユーザ110は、連続して、触力覚の提示を受けることができる。
ここで、図4に示したステップS101〜ステップS105までの各ステップについて、図5〜図8を用いて更に詳細に説明する。
[ステップS101]
まず、図5を用いて、図4に示したステップS101について説明する。図5は、図4に示したステップS101を説明するための図である。ステップS101の指位置検出処理では、上述したように、触力覚提示装置60の背面側において、伝達部材12の先端が接続されている装着部材13の位置が、位置検出部50によって特定される伝達部材12の長さによって特定される。
まず、図5を用いて、図4に示したステップS101について説明する。図5は、図4に示したステップS101を説明するための図である。ステップS101の指位置検出処理では、上述したように、触力覚提示装置60の背面側において、伝達部材12の先端が接続されている装着部材13の位置が、位置検出部50によって特定される伝達部材12の長さによって特定される。
具体的には、図5に示すように、各伝達部材12の通し穴16から装着部材13までの長さを、それぞれ、l1、l2、l3とし、画面の水平方向において隣り合う通し穴間の間隔をwとし、画面の垂直方向において隣り合う通し穴間の間隔をhとする。この場合、情報処理部30は、l1、l2、l3、w、及びhを用いて、装着部材13の座標(x、y、z)を幾何的に算出する。
[ステップS102]
次に、図1を参照しながら、図4に示したステップS102について説明する。ステップS102では、上述したように、ユーザ110の実際の指の動きに合せて、仮想空間内でユーザオブジェクト42が仮想オブジェクト43に接触する。
次に、図1を参照しながら、図4に示したステップS102について説明する。ステップS102では、上述したように、ユーザ110の実際の指の動きに合せて、仮想空間内でユーザオブジェクト42が仮想オブジェクト43に接触する。
具体的には、情報処理部30は、仮想空間内の物理シミュレータを用いて、ユーザオブジェクト42と仮想オブジェクト43とが接触した際の位置の変化及び接触力をシミュレートする。
そして、情報処理部30は、ユーザオブジェクト42と仮想オブジェクト43との仮想空間での物理係数に応じて、接触によって両者に生じた反力を計算する。なお、物理係数としては、ユーザオブジェクト42及び仮想オブジェクト43それぞれの、質量、速度、加速度、接触方向、反発係数等が挙げられる。
また、この計算された反力のうち、ユーザオブジェクト42が仮想オブジェクト43から受けた反力が、ユーザ110に提示すべき触力覚に相当する(後述の図6及び図7参照)。よって、ユーザオブジェクト42が仮想オブジェクト43から受けた反力を「提示力F」とすると、情報処理部30は、提示力Fが提示されるようにするため、提示力Fを特定する提示データbを制御部14に出力する。また、情報処理部30は、その際の、ユーザオブジェクト42及び仮想オブジェクト43を表示するためのデータを、表示情報である表示データeとして表示装置40に出力する。
[ステップS103]
次に、図6及び図7を用いて、図4に示したステップS103について説明する。図6は、図4に示したステップS103を説明するための図である。図6に示すように、目的の提示力Fを提示するために必要となる各伝達部材12の引張力を、それぞれ、τ1、τ2、τ3とすると、提示力Fは、基本的には、引張力τ1、τ2、及びτ3の合力に相当する。
次に、図6及び図7を用いて、図4に示したステップS103について説明する。図6は、図4に示したステップS103を説明するための図である。図6に示すように、目的の提示力Fを提示するために必要となる各伝達部材12の引張力を、それぞれ、τ1、τ2、τ3とすると、提示力Fは、基本的には、引張力τ1、τ2、及びτ3の合力に相当する。
そして、提示力Fが、外部から触力覚提示装置60に向かう方向の力である場合には、提示力Fの方向は、引張力τ1〜τ3の合力の方向と一致する。しかし、図6に示すように、提示力Fが触力覚提示装置60から離れる方向の力である場合には、伝達部材12は、紐状の部材であり、触力覚提示装置60側へと引っ張る方向の力しか伝達できないため、触力覚の提示ができなくなる可能性がある。
そのため、本実施の形態1では、制御部14は、上述したように、触力覚を提示しない場合において、予め、ユーザの指(装着部材13)に一定の力を常に初期力F0として提示する。そして、制御部14は、提示力Fが、触力覚提示装置60から離れる方向の力である場合は、初期力F0を緩めることにより、触力覚提示装置60から離れる方向への触力覚を提示している。
一般に、ヒトの触感覚には、その時間特性として、順応と呼ばれる現象がある。順応は、ヒトに一定の刺激を提示し続けると、刺激に対する感度が低下する現象である。つまり、ヒトの皮膚は、圧力に対してきわめて順応しやすく、指輪及び腕時計を装着した場合、その装着感は失われやすい。
また、重力に対しても同様であり、ヒトは、普段、その力を意識することはない。例えば、電車に乗っている際の加速時又は減速時において、ヒトには、その慣性力と重力との合力が力として加わっているが、電車に乗っているヒトは、合力を感じず、移動方向への慣性力のみを感じる。
このように、本実施の形態では、ヒトの順応性が利用され、初期力F0を増加又は減少させることによって、触力覚提示装置60に向かう方向の触力覚と離れる方向の触力覚との提示が可能となっている。
続いて、図7を用いて、伝達部材12に与える引張力τ1〜τ3の算出処理について具体的に説明する。図7(a)は、引張力の算出処理を説明するための図であり、図7(b)は、引張力の算出処理に用いられる座標軸を示す図である。
図7(a)及び(b)において、引張力τ1〜τ3は、初期力F0を発生させるために必要となる引張力を除いた引張力であり、初期力F0に対して加算又は減算させる引張力である。また、図7(a)及び(b)において、座標軸の原点は、各伝達部材12の先端の位置とする。更に、x軸は画面の水平方向に平行な軸、y軸は画面の垂直方向に平行な軸、z軸は画面の法線に平行な軸とする。図7(b)において、単位ベクトルrの座標を、(r,ψi,θi)とする。この場合、引張力τ1〜τ3は、目的の提示力を発揮するためには、下記の数1の関係を満たす必要がある。
また、上記数1において、伝達部材12の引張力τ1〜τ3はスカラー量であり、引張力τ1〜τ3の方向ベクトルΦiは、数2によって表わされる。
制御部14は、上記数1及び数2を用いることで、引張力τ1〜τ3を算出することができる。また、上記数1に示すように、目的の提示力Fは、各伝達部材12の引張力から初期力F0を減算することによって得られている。このため、提示力Fが、触力覚提示システム100から離れる方向(−z方向)の、初期力F0を超える力でない限りは、触力覚提示システム100から離れる方向(−z方向)においても触力覚の提示が可能となる。
なお、各伝達部材12の引張力の条件として、引張力τ1、τ2、τ3は、引張する向にしか力を提示できないため、これらは必ず正の値をとる。また、各引張力の最低値をτminとした場合は、下記の数3が成立する。
ところで、伝達部材12は、引っ張り方向の力しか伝達できないため、引張力τ1、τ2、τ3の合力によって、提示すべき触力覚を提示できない状況が発生することがある(図8参照)。具体的には、装着部材13が、画面の法線に平行な方向(z軸方向)において、隣接する通し穴16を直線で結んで得られる領域(図8の領域X参照)と重ならない位置にある場合は、上記数1では、目的の提示力Fを算出できなくなる可能性がある。このような場合、本実施の形態では、制御部14は、提示すべき触力覚(提示力F)を設定し直し、設定し直した提示力Frが提示されるように、初期力F0を増加又は減少させる。以下に、上記再設定処理について具体的に説明する。
図8は、提示力の再設定処理を説明するための図である。図8に示すように、例えば、装着部材13の位置(x、y、z)が、隣接する通し穴16を直線で結んで得られる領域Xとz軸方向において重ならない位置にある場合を想定する。
図8に示す場合において、提示力Fのx軸方向の成分が正でない限り、各伝達部材12の張力をどのように設定しても、上記数1及び数2によって提示力Fを算出することは不可能である。一方、このような状況であっても、ユーザは、指を領域Xとz軸方向において重なる位置に移動させることはできる。従って、制御部14は、このような場合において、上記数1及び数2によって、引張力τ1、τ2、τ3を算出できるように、提示力Frを再設定する。
図8の例では、実際に、引張力τ1、τ2、及びτ3によって引っ張りたい方向は、提示力Fと初期力F0との合力の方向である。しかし、この方向は、各伝達部材12の合力によって引っ張ることができる方向ではない。このため、制御部14は、提示力Fと初期力F0との合力に最も近い力を、新たな提示力Frとして再設定する。
図8の例では、引張力τ1と引張力τ2とで発生させる提示力Frが、元の提示力Fと初期力F0との合力に近くなる。そこで、制御部14は、引張力τ1と引張力τ2とを発生させる2本の伝達部材12によって作られる面に、元の提示力Fと初期力F0との合力を回転射影することで、新しい提示力Frを再設定する。
具体的には、引張力τ1と引張力τ2とを発生させる2本の伝達部材12によって作られる面への射影ベクトルVは、下記の数4によって表すことができる。数4において変数「a」は、図8に示すように、回転射影を行なった場合の回転角度ωを最も小さくする位置、即ち、領域Xの画面の垂直方向における辺上の位置を割合で表わしている(0<a<1)。また、Φ1は通し穴16を基準にしたτ1の方向ベクトルである。Φ2は通し穴16を基準にしたτ2の方向ベクトルである。Φ1及びΦ2は、上述の数2から求められる。
従って、制御部14は、下記数5を用いて、射影ベクトルVと元の提示力F及び初期力F0の合力との内積を、最も小さくする射影ベクトルを算出する。そして、制御部15は、算出した射影ベクトルを、下記の数6に適用して、新たな提示力Frを算出する。その後、制御部15は、新たな提示力Frを用いて、各伝達部材12の引張力τ1、τ2、τ3を算出し、これらが発生するように制御データdを生成し、各駆動部11に出力する。
[実施の形態における変形例]
変形例1:
上述した例では、情報取得装置70としては、カメラが用いられているが、本実施の形態はこれに限定されない。情報取得装置70は、実空間の情報を取得できる装置であれば良く、例えば、実空間の物体の形状を超音波によって特定できる装置であっても良い。
変形例1:
上述した例では、情報取得装置70としては、カメラが用いられているが、本実施の形態はこれに限定されない。情報取得装置70は、実空間の情報を取得できる装置であれば良く、例えば、実空間の物体の形状を超音波によって特定できる装置であっても良い。
変形例2:
上述した例では、情報取得装置70は、触力覚提示装置60とは別体となっているが、本実施の形態では、情報取得装置70が触力覚提示装置60に組み込まれていても良い。具体的には、触力覚提示装置60の背面に、カメラが取り付けられている態様であっても良い。
上述した例では、情報取得装置70は、触力覚提示装置60とは別体となっているが、本実施の形態では、情報取得装置70が触力覚提示装置60に組み込まれていても良い。具体的には、触力覚提示装置60の背面に、カメラが取り付けられている態様であっても良い。
変形例3:
上述した例では、触力覚提示装置60は、図3に示したようにタブレット状の筐体62に全ての構成部品を収納しているが、本実施の形態はこれに限定されない。本実施の形態は、例えば、触力覚提示装置60における触力覚提示部10以外の部分、即ち、物体特定部20と情報処理部30とが、別のコンピュータによって構成された態様であっても良い。
上述した例では、触力覚提示装置60は、図3に示したようにタブレット状の筐体62に全ての構成部品を収納しているが、本実施の形態はこれに限定されない。本実施の形態は、例えば、触力覚提示装置60における触力覚提示部10以外の部分、即ち、物体特定部20と情報処理部30とが、別のコンピュータによって構成された態様であっても良い。
変形例4:
上述した例では、触力覚提示部10は、複数の紐状の伝達部材12によって触力覚を提示する構成を備えているが、本実施の形態では触力覚提示部10の構成は限定されない。例えば、触力覚提示部10は、手の形状に合わせて形成したリンク機構、表示装置を厚み方向に移動させる機構、又は表示装置の主面に配置された透明のプレートを動かす機構を備え、これらの機構によって触力覚を提示することもできる。
上述した例では、触力覚提示部10は、複数の紐状の伝達部材12によって触力覚を提示する構成を備えているが、本実施の形態では触力覚提示部10の構成は限定されない。例えば、触力覚提示部10は、手の形状に合わせて形成したリンク機構、表示装置を厚み方向に移動させる機構、又は表示装置の主面に配置された透明のプレートを動かす機構を備え、これらの機構によって触力覚を提示することもできる。
変形例5:
また、上述した例では、触力覚提示部10において、伝達部材12は三本であるが、本実施の形態では、伝達部材12の数は特に限定されるものではない。伝達部材12の数は、触力覚提示装置60を大型化させない範囲で設定されていれば良い。
また、上述した例では、触力覚提示部10において、伝達部材12は三本であるが、本実施の形態では、伝達部材12の数は特に限定されるものではない。伝達部材12の数は、触力覚提示装置60を大型化させない範囲で設定されていれば良い。
変形例5:
更に、上述した例では、触力覚提示部10において、駆動部11としてモータが用いられているが、本実施の形態では、駆動部11はモータに限定されない。駆動部11は、伝達部材を引っ張ることが可能なアクチュエータであれば良く、駆動部11としては、他に、伸張動作を行なう人工筋肉アクチュエータ、繊維状の形状記憶合金アクチュエータ、などが挙げられる。
更に、上述した例では、触力覚提示部10において、駆動部11としてモータが用いられているが、本実施の形態では、駆動部11はモータに限定されない。駆動部11は、伝達部材を引っ張ることが可能なアクチュエータであれば良く、駆動部11としては、他に、伸張動作を行なう人工筋肉アクチュエータ、繊維状の形状記憶合金アクチュエータ、などが挙げられる。
変形例6:
また、上述した例では、位置検出部50として、伝達部材の長さを特定するエンコーダが用いられているが、本実施の形態では、位置検出部50は、エンコーダ以外であっても良い。例えば、位置検出部50としては、触力覚提示装置60の背面に設置されたカメラを用いることができる。この場合は、装着部材13の位置が光学的に検出される。また、位置検出部50として、触力覚提示装置60の背面に設置された磁気センサを用いることもできる。この場合は、磁気を発する材料で装着部材13を形成することによって、装着部材13の位置検出が可能となる。
また、上述した例では、位置検出部50として、伝達部材の長さを特定するエンコーダが用いられているが、本実施の形態では、位置検出部50は、エンコーダ以外であっても良い。例えば、位置検出部50としては、触力覚提示装置60の背面に設置されたカメラを用いることができる。この場合は、装着部材13の位置が光学的に検出される。また、位置検出部50として、触力覚提示装置60の背面に設置された磁気センサを用いることもできる。この場合は、磁気を発する材料で装着部材13を形成することによって、装着部材13の位置検出が可能となる。
変形例7:
また、上述した例では、図5に示したように、伝達部材12を引張し始める位置である通し穴16の位置は、縦方向をh、横方向をwとした直角三角形の頂点位置に設定されているが、本実施の形態において、通し穴16の位置は特に限定されるものではない。また、全ての通し穴は、同一平面内に配置されていなくても良い。通し穴16の位置は、触力覚提示装置60の厚みが許す範囲で適宜設定される。
また、上述した例では、図5に示したように、伝達部材12を引張し始める位置である通し穴16の位置は、縦方向をh、横方向をwとした直角三角形の頂点位置に設定されているが、本実施の形態において、通し穴16の位置は特に限定されるものではない。また、全ての通し穴は、同一平面内に配置されていなくても良い。通し穴16の位置は、触力覚提示装置60の厚みが許す範囲で適宜設定される。
変形例8:
また、上述した例では、触力覚提示装置60の背面側を操作空間にして、触力覚が提示されているが、本実施の形態では、触力覚提示装置60の画面側の空間が操作空間となっていても良い。但し、この場合は、初期力F0の方向は、z軸において負の方向となる(図6参照)。
また、上述した例では、触力覚提示装置60の背面側を操作空間にして、触力覚が提示されているが、本実施の形態では、触力覚提示装置60の画面側の空間が操作空間となっていても良い。但し、この場合は、初期力F0の方向は、z軸において負の方向となる(図6参照)。
変形例9:
図9は、本発明の実施の形態における触力覚提示装置の他の例を示す斜視図である。図9の例では、触力覚提示装置60を構成している筐体62の底面に、伝達部材12を収容するための溝17と、装着部材13を収容するための凹部18とが形成されている。図9に示す例とした場合は、不使用時において、触力覚提示装置60の外観をすっきりさせることができる。
図9は、本発明の実施の形態における触力覚提示装置の他の例を示す斜視図である。図9の例では、触力覚提示装置60を構成している筐体62の底面に、伝達部材12を収容するための溝17と、装着部材13を収容するための凹部18とが形成されている。図9に示す例とした場合は、不使用時において、触力覚提示装置60の外観をすっきりさせることができる。
変形例10:
図10は、本発明の実施の形態において利用される装着部材の他の例を示す図である。図10の例では、装着部材13は、単なるリングではなく、リング状のフレーム13aと、その内周に嵌め込まれるボールベアリング13bと、伝達部材12が連結される連結部13cとを備えている。従って、装着部材13において、ユーザの指に接触している部分は、伝達部材12に接続されている部分から独立して回転することができるので、以下の効果が得られることになる。
図10は、本発明の実施の形態において利用される装着部材の他の例を示す図である。図10の例では、装着部材13は、単なるリングではなく、リング状のフレーム13aと、その内周に嵌め込まれるボールベアリング13bと、伝達部材12が連結される連結部13cとを備えている。従って、装着部材13において、ユーザの指に接触している部分は、伝達部材12に接続されている部分から独立して回転することができるので、以下の効果が得られることになる。
例えば、図1の例において、ユーザが、装着部材13を装着した指で、仮想オブジェク43の向かって右側の面を触ろうとした場合を想定する。この場合、ユーザは、指の腹を仮想オブジェクト43に接触させようとして、手首を外旋させるが、このとき、指と装着部材13とが密着していると、手首の外旋によって、装着部材13は指と共に回転してしまう。これにより、指には、想定していないモーメントが作用してしまい、正確な触力覚を提示することが困難となる。また、指に、伝達部材12が絡みつく可能性もある。
しかしながら、図10に示す装着部材13を用いれば、装着部材13において、ユーザの指に接触している部分は、伝達部材12に接続されている部分から独立して回転することができる。よって、想定していないモーメントが作用したり、指に伝達部材12が絡みついたり、といった事態が回避される。なお、図10の例では、ユーザの指に接触している部分を、伝達部材12に接続されている部分から独立して回転させるために、ボールベアリング13bが用いられているが、本例は、この態様に限定される趣旨ではない。このような作用が得られる部材であれば、限定なく、装着部材13に導入可能である。
[適用例]
また、図1には、触力覚提示システム100の適用例として、水族館の水槽が示されているが、本実施の形態において、触力覚提示システム100の適用例は、これに限定されない。触力覚提示システム100の他の適用例としては、動物園、美術館、展望台、天文台、プラネタリウム等が挙げられる。触力覚提示システム100は、特に、ユーザが触れてみたいが触ることができない物体に対して有効である。
また、図1には、触力覚提示システム100の適用例として、水族館の水槽が示されているが、本実施の形態において、触力覚提示システム100の適用例は、これに限定されない。触力覚提示システム100の他の適用例としては、動物園、美術館、展望台、天文台、プラネタリウム等が挙げられる。触力覚提示システム100は、特に、ユーザが触れてみたいが触ることができない物体に対して有効である。
[プログラム]
本実施の形態1におけるプログラムは、コンピュータに、図4に示すステップS101〜S103を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における触力覚提示装置60と触力覚提示方法とを実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、物体特定部20、情報処理部30、制御部14として機能し、処理を行なう。
本実施の形態1におけるプログラムは、コンピュータに、図4に示すステップS101〜S103を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における触力覚提示装置60と触力覚提示方法とを実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、物体特定部20、情報処理部30、制御部14として機能し、処理を行なう。
また、触力覚提示装置60を実現可能なコンピュータは、特に限定されず、上述したマイコンであっても良いし、汎用のパーソナルコンピュータであっても良い。更に、触力覚提示装置60を実現可能なコンピュータは、携帯電話、スマートフォン、又はタブレット型の触力覚提示システムに備えられているコンピュータであっても良い。
また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体に記録された状態で提供されても良いし、インターネット介して送信されても良い。なお、記録媒体の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記憶媒体、又はCD−ROM(Compact Disk Read Only Memory)などの光学記憶媒体が挙げられる。
[実施の形態における効果]
以上のように、本実施の形態における触力覚提示システムによれば、ユーザは、提示される触力覚によって、実際には触ることができない実空間の物体をあたかも触ったと感じることができる。従って、ユーザは、本水中にいる生物、危険な肉食獣、触ることが許されない貴重な美術品等を、擬似的に触ったと感じることができる。
以上のように、本実施の形態における触力覚提示システムによれば、ユーザは、提示される触力覚によって、実際には触ることができない実空間の物体をあたかも触ったと感じることができる。従って、ユーザは、本水中にいる生物、危険な肉食獣、触ることが許されない貴重な美術品等を、擬似的に触ったと感じることができる。
また、本実施の形態では、触力覚の発生は、ヒトの知覚特性を考慮して行なわれているため、発生した触力覚は、ユーザにとって違和感のないものとなる。更に、伝達部材の長さを確保することで、ユーザは指を大きく動かすことができ、この点からも、触力覚は、ユーザにとって違和感のないものとなる。
また、伝達部材として紐状の部材を用いた場合は、触力覚提示装置の複雑化を抑制できるので、特に、装置の小型化及び軽量化を促進できる。更に、モータ等を空間的に配置する必要がないので、触力覚提示装置を、携帯型の触力覚提示システムに適用することも可能となる。
上述した実施の形態の一部又は全部は、以下に記載する(付記1)〜(付記17)によって表現することができるが、以下の記載に限定されるものではない。
(付記1)
ユーザに触力覚を提示するための装置であって、
実空間の情報から、前記実空間に存在する物体を特定する、物体特定部と、
特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
を備えていることを特徴とする触力覚提示装置。
ユーザに触力覚を提示するための装置であって、
実空間の情報から、前記実空間に存在する物体を特定する、物体特定部と、
特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
を備えていることを特徴とする触力覚提示装置。
(付記2)
前記物体特定部が、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
前記情報処理部が、生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、付記1に記載の触力覚提示装置。
前記物体特定部が、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
前記情報処理部が、生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、付記1に記載の触力覚提示装置。
(付記3)
前記実空間を撮影可能なカメラを更に備え、
前記物体特定部が、前記カメラから、前記実空間の映像を取得する、
付記2に記載の触力覚提示装置。
前記実空間を撮影可能なカメラを更に備え、
前記物体特定部が、前記カメラから、前記実空間の映像を取得する、
付記2に記載の触力覚提示装置。
(付記4)
前記ユーザにおいて前記触力覚の提示を受ける部分の位置を検出する位置検出部を更に備え、
前記情報処理部が、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
付記1に記載の触力覚提示装置。
前記ユーザにおいて前記触力覚の提示を受ける部分の位置を検出する位置検出部を更に備え、
前記情報処理部が、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
付記1に記載の触力覚提示装置。
(付記5)
前記触力覚提示部が、更に、
当該触力覚提示装置から前記ユーザの前記触力覚の提示を受ける部分へと伸びて前記ユーザに引っ張り方向の力を伝達する伝達部材と、
前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記触力覚の提示の際に、算出された前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
付記4に記載の触力覚提示装置。
前記触力覚提示部が、更に、
当該触力覚提示装置から前記ユーザの前記触力覚の提示を受ける部分へと伸びて前記ユーザに引っ張り方向の力を伝達する伝達部材と、
前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記触力覚の提示の際に、算出された前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
付記4に記載の触力覚提示装置。
(付記6)
実空間の情報を取得する情報取得装置と、ユーザに触力覚を提示する触力覚提示装置と、を備え、
前記触力覚提示装置は、
前記情報取得装置によって取得された情報から、前記実空間に存在する物体を特定する、物体特定部と、
特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
を備えている、
ことを特徴とする触力覚提示システム。
実空間の情報を取得する情報取得装置と、ユーザに触力覚を提示する触力覚提示装置と、を備え、
前記触力覚提示装置は、
前記情報取得装置によって取得された情報から、前記実空間に存在する物体を特定する、物体特定部と、
特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
を備えている、
ことを特徴とする触力覚提示システム。
(付記7)
前記情報取得装置が、前記実空間の情報として、前記実空間の映像を取得するカメラであり、
前記物体特定部が、仮想空間内に、取得された前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
前記情報処理部が、生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、付記6に記載の触力覚提示システム。
前記情報取得装置が、前記実空間の情報として、前記実空間の映像を取得するカメラであり、
前記物体特定部が、仮想空間内に、取得された前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
前記情報処理部が、生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、付記6に記載の触力覚提示システム。
(付記8)
前記触力覚提示装置が、前記ユーザにおいて前記触力覚の提示を受ける部分の位置を検出する位置検出部を更に備え、
前記情報処理部が、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
付記6に記載の触力覚提示システム。
前記触力覚提示装置が、前記ユーザにおいて前記触力覚の提示を受ける部分の位置を検出する位置検出部を更に備え、
前記情報処理部が、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
付記6に記載の触力覚提示システム。
(付記9)
前記触力覚提示部が、更に、
当該触力覚提示装置から前記ユーザの前記触力覚の提示を受ける部分へと伸びて前記ユーザに引っ張り方向の力を伝達する伝達部材と、
前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記触力覚の提示の際に、算出された前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
付記8に記載の触力覚提示システム。
前記触力覚提示部が、更に、
当該触力覚提示装置から前記ユーザの前記触力覚の提示を受ける部分へと伸びて前記ユーザに引っ張り方向の力を伝達する伝達部材と、
前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記触力覚の提示の際に、算出された前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
付記8に記載の触力覚提示システム。
(付記10)
ユーザに触力覚を提示するための方法であって、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を有することを特徴とする触力覚提示方法。
ユーザに触力覚を提示するための方法であって、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を有することを特徴とする触力覚提示方法。
(付記11)
前記(a)のステップで、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
前記(b)のステップで、前記(a)のステップで生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、
付記10に記載の触力覚提示方法。
前記(a)のステップで、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
前記(b)のステップで、前記(a)のステップで生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、
付記10に記載の触力覚提示方法。
(付記12)
前記(a)のステップで、前記実空間を撮影可能なカメラから、前記実空間の映像を取得する、
付記11に記載の触力覚提示方法。
前記(a)のステップで、前記実空間を撮影可能なカメラから、前記実空間の映像を取得する、
付記11に記載の触力覚提示方法。
(付記13)
前記ユーザにおいて前記触力覚の提示を受ける部分の位置が検出された場合に、前記(b)のステップにおいて、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
付記10に記載の触力覚提示方法。
前記ユーザにおいて前記触力覚の提示を受ける部分の位置が検出された場合に、前記(b)のステップにおいて、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
付記10に記載の触力覚提示方法。
(付記14)
コンピュータによって、ユーザに触力覚を提示するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
コンピュータによって、ユーザに触力覚を提示するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
(付記15)
前記(a)のステップで、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
前記(b)のステップで、前記(a)のステップで生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、
付記14に記載のコンピュータ読み取り可能な記録媒体。
前記(a)のステップで、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
前記(b)のステップで、前記(a)のステップで生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、
付記14に記載のコンピュータ読み取り可能な記録媒体。
(付記16)
前記(a)のステップで、前記実空間を撮影可能なカメラから、前記実空間の映像を取得する、
付記15に記載のコンピュータ読み取り可能な記録媒体。
前記(a)のステップで、前記実空間を撮影可能なカメラから、前記実空間の映像を取得する、
付記15に記載のコンピュータ読み取り可能な記録媒体。
(付記17)
前記ユーザにおいて前記触力覚の提示を受ける部分の位置が検出された場合に、前記(b)のステップにおいて、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
付記14に記載のコンピュータ読み取り可能な記録媒体。
前記ユーザにおいて前記触力覚の提示を受ける部分の位置が検出された場合に、前記(b)のステップにおいて、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
付記14に記載のコンピュータ読み取り可能な記録媒体。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2013年1月29日に出願された日本出願特願2013−14207を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明によれば、実空間に存在する物体に対応した触力覚の提示が可能になる。本発明は、例えば、水族館、動物園、美術館などにおいて有用である。
10 触力覚提示部
11 駆動部
12 伝達部材
13 装着部材
13a フレーム
13b ボールベアリング
13c 連結部
14 制御部
15 プーリ
16 通し穴
17 溝
18 凹部
20 物体特定部
30 情報処理部
40 表示装置
41 画面
42 ユーザオブジェクト
43 仮想オブジェクト
50 位置検出部
60 触力覚提示装置
61 カバー
62 筐体
70 情報取得装置
100 触力覚提示システム
110 ユーザ
a 位置検出データ
b 提示データ
c 仮想オブジェクトデータ
d 制御データ
e 表示データ
11 駆動部
12 伝達部材
13 装着部材
13a フレーム
13b ボールベアリング
13c 連結部
14 制御部
15 プーリ
16 通し穴
17 溝
18 凹部
20 物体特定部
30 情報処理部
40 表示装置
41 画面
42 ユーザオブジェクト
43 仮想オブジェクト
50 位置検出部
60 触力覚提示装置
61 カバー
62 筐体
70 情報取得装置
100 触力覚提示システム
110 ユーザ
a 位置検出データ
b 提示データ
c 仮想オブジェクトデータ
d 制御データ
e 表示データ
本発明は、ユーザに対して触力覚を提示(伝達)する触力覚提示装置、これを備えた、触力覚提示システム、触力覚提示方法、及びこれらを実現するためのプログラムに関する。
本発明の目的の一例は、上記問題を解消し、実空間に存在する物体に対応した触力覚の提示を可能にし得る、触力覚提示装置、触力覚提示システム、触力覚提示方法、及びプログラムを提供することにある。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、ユーザに触力覚を提示するためのプログラムであって、
前記コンピュータに、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を実行させることを特徴とする。
前記コンピュータに、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を実行させることを特徴とする。
(付記14)
コンピュータによって、ユーザに触力覚を提示するためのプログラムであって、
前記コンピュータに、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を実行させる、プログラム。
コンピュータによって、ユーザに触力覚を提示するためのプログラムであって、
前記コンピュータに、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を実行させる、プログラム。
(付記15)
前記(a)のステップで、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
前記(b)のステップで、前記(a)のステップで生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、
付記14に記載のプログラム。
前記(a)のステップで、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
前記(b)のステップで、前記(a)のステップで生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、
付記14に記載のプログラム。
(付記16)
前記(a)のステップで、前記実空間を撮影可能なカメラから、前記実空間の映像を取得する、
付記15に記載のプログラム。
前記(a)のステップで、前記実空間を撮影可能なカメラから、前記実空間の映像を取得する、
付記15に記載のプログラム。
(付記17)
前記ユーザにおいて前記触力覚の提示を受ける部分の位置が検出された場合に、前記(b)のステップにおいて、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
付記14に記載のプログラム。
前記ユーザにおいて前記触力覚の提示を受ける部分の位置が検出された場合に、前記(b)のステップにおいて、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
付記14に記載のプログラム。
Claims (17)
- ユーザに触力覚を提示するための装置であって、
実空間の情報から、前記実空間に存在する物体を特定する、物体特定部と、
特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
を備えていることを特徴とする触力覚提示装置。 - 前記物体特定部が、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
前記情報処理部が、生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、請求項1に記載の触力覚提示装置。 - 前記実空間を撮影可能なカメラを更に備え、
前記物体特定部が、前記カメラから、前記実空間の映像を取得する、
請求項2に記載の触力覚提示装置。 - 前記ユーザにおいて前記触力覚の提示を受ける部分の位置を検出する位置検出部を更に備え、
前記情報処理部が、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
請求項1〜3のいずれかに記載の触力覚提示装置。 - 前記触力覚提示部が、更に、
当該触力覚提示装置から前記ユーザの前記触力覚の提示を受ける部分へと伸びて前記ユーザに引っ張り方向の力を伝達する伝達部材と、
前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記触力覚の提示の際に、算出された前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
請求項4に記載の触力覚提示装置。 - 実空間の情報を取得する情報取得装置と、ユーザに触力覚を提示する触力覚提示装置と、を備え、
前記触力覚提示装置は、
前記情報取得装置によって取得された情報から、前記実空間に存在する物体を特定する、物体特定部と、
特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、情報処理部と、
前記ユーザに対して、算出された前記触力覚を提示する、触力覚提示部と、
を備えている、
ことを特徴とする触力覚提示システム。 - 前記情報取得装置が、前記実空間の情報として、前記実空間の映像を取得するカメラであり、
前記物体特定部が、仮想空間内に、取得された前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
前記情報処理部が、生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、請求項6に記載の触力覚提示システム。 - 前記触力覚提示装置が、前記ユーザにおいて前記触力覚の提示を受ける部分の位置を検出する位置検出部を更に備え、
前記情報処理部が、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
請求項6または7に記載の触力覚提示システム。 - 前記触力覚提示部が、更に、
当該触力覚提示装置から前記ユーザの前記触力覚の提示を受ける部分へと伸びて前記ユーザに引っ張り方向の力を伝達する伝達部材と、
前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記触力覚の提示の際に、算出された前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
請求項8に記載の触力覚提示システム。 - ユーザに触力覚を提示するための方法であって、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を有することを特徴とする触力覚提示方法。 - 前記(a)のステップで、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
前記(b)のステップで、前記(a)のステップで生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、
請求項10に記載の触力覚提示方法。 - 前記(a)のステップで、前記実空間を撮影可能なカメラから、前記実空間の映像を取得する、
請求項11に記載の触力覚提示方法。 - 前記ユーザにおいて前記触力覚の提示を受ける部分の位置が検出された場合に、前記(b)のステップにおいて、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
請求項10〜12のいずれかに記載の触力覚提示方法。 - コンピュータによって、ユーザに触力覚を提示するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
(a)実空間の情報から、前記実空間に存在する物体を特定する、ステップと、
(b)前記(a)のステップで特定された前記物体に応じて、前記ユーザに提示すべき触力覚を算出する、ステップと、
(c)前記ユーザに対して、前記(b)のステップで算出された前記触力覚を提示する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。 - 前記(a)のステップで、前記実空間の情報として、前記実空間の映像を取得し、仮想空間内に、取得した前記映像に映っている物体の仮想オブジェクトを生成することによって、前記物体を特定し、
前記(b)のステップで、前記(a)のステップで生成された前記物体の仮想オブジェクトに基づいて、提示すべき前記触力覚を算出する、
請求項14に記載のコンピュータ読み取り可能な記録媒体。 - 前記(a)のステップで、前記実空間を撮影可能なカメラから、前記実空間の映像を取得する、
請求項15に記載のコンピュータ読み取り可能な記録媒体。 - 前記ユーザにおいて前記触力覚の提示を受ける部分の位置が検出された場合に、前記(b)のステップにおいて、検出された位置に応じて、前記ユーザに提示すべき前記触力覚を算出する、
請求項14〜16のいずれかに記載のコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013014207 | 2013-01-29 | ||
JP2013014207 | 2013-01-29 | ||
PCT/JP2014/050745 WO2014119383A1 (ja) | 2013-01-29 | 2014-01-17 | 触力覚提示装置、触力覚提示システム、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2014119383A1 true JPWO2014119383A1 (ja) | 2017-01-26 |
Family
ID=51262097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014559621A Pending JPWO2014119383A1 (ja) | 2013-01-29 | 2014-01-17 | 触力覚提示装置、触力覚提示システム、触力覚提示方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2014119383A1 (ja) |
WO (1) | WO2014119383A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7420099B2 (ja) | 2021-03-10 | 2024-01-23 | 豊田合成株式会社 | 視聴方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003172662A (ja) * | 2001-12-10 | 2003-06-20 | Rikogaku Shinkokai | 力覚提示装置における張力計算のアルゴリズム |
KR100927009B1 (ko) * | 2008-02-04 | 2009-11-16 | 광주과학기술원 | 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템 |
-
2014
- 2014-01-17 JP JP2014559621A patent/JPWO2014119383A1/ja active Pending
- 2014-01-17 WO PCT/JP2014/050745 patent/WO2014119383A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2014119383A1 (ja) | 2014-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3997552B1 (en) | Virtual user interface using a peripheral device in artificial reality environments | |
KR102194164B1 (ko) | 홀로그램 객체 피드백 | |
CN108475120B (zh) | 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统 | |
CN107771309B (zh) | 处理三维用户输入的方法 | |
JP6348176B2 (ja) | 適応イベント認識 | |
KR102209873B1 (ko) | 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식 | |
JP6509698B2 (ja) | 提示する力覚を決定する装置、方法、およびプログラム | |
JP2020535560A (ja) | 検出された手入力に基づく仮想手ポーズのレンダリング | |
KR20160013939A (ko) | 증강 현실 오브젝트의 신체 고정식 배치 | |
JP2022535325A (ja) | 人工現実システムのための腕注視駆動のユーザインターフェース要素ゲーティング | |
US11086475B1 (en) | Artificial reality systems with hand gesture-contained content window | |
KR20170035958A (ko) | 가상 현실 환경 내에서의 시선 기반의 오브젝트 배치 | |
US20200387213A1 (en) | Artificial reality systems with personal assistant element for gating user interface elements | |
US11043192B2 (en) | Corner-identifiying gesture-driven user interface element gating for artificial reality systems | |
US10852839B1 (en) | Artificial reality systems with detachable personal assistant for gating user interface elements | |
EP3528024B1 (en) | Information processing device, information processing method, and program | |
JP6341096B2 (ja) | 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体 | |
WO2014119383A1 (ja) | 触力覚提示装置、触力覚提示システム、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体 | |
JP6428629B2 (ja) | 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム | |
JP6387762B2 (ja) | 力覚提示装置、情報端末、力覚提示方法、及びプログラム | |
JP2015153387A (ja) | 仮想現実体感装置、仮想現実体感方法、及びプログラム | |
JP2018190380A (ja) | 仮想空間の立体視映像を提供するためのプログラム、システム、及び方法 | |
WO2020071233A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2015118323A (ja) | 訓練装置、訓練方法、及びプログラム |