JPWO2009151121A1 - 感覚呈示システム及び感覚呈示装置 - Google Patents
感覚呈示システム及び感覚呈示装置 Download PDFInfo
- Publication number
- JPWO2009151121A1 JPWO2009151121A1 JP2010516896A JP2010516896A JPWO2009151121A1 JP WO2009151121 A1 JPWO2009151121 A1 JP WO2009151121A1 JP 2010516896 A JP2010516896 A JP 2010516896A JP 2010516896 A JP2010516896 A JP 2010516896A JP WO2009151121 A1 JPWO2009151121 A1 JP WO2009151121A1
- Authority
- JP
- Japan
- Prior art keywords
- tactile
- image
- stimulus
- user
- pseudo image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001953 sensory effect Effects 0.000 title claims abstract description 43
- 230000000007 visual effect Effects 0.000 claims abstract description 88
- 230000033001 locomotion Effects 0.000 claims abstract description 74
- 230000035807 sensation Effects 0.000 claims description 78
- 230000015541 sensory perception of touch Effects 0.000 claims description 46
- 230000000638 stimulation Effects 0.000 claims description 29
- 230000009471 action Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 25
- 238000009434 installation Methods 0.000 description 24
- 238000000034 method Methods 0.000 description 23
- 239000011521 glass Substances 0.000 description 18
- 239000004973 liquid crystal related substance Substances 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 210000003811 finger Anatomy 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000002474 experimental method Methods 0.000 description 11
- 239000013307 optical fiber Substances 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 210000004932 little finger Anatomy 0.000 description 6
- 238000010079 rubber tapping Methods 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 5
- 230000003925 brain function Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 210000001152 parietal lobe Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000003478 temporal lobe Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
視覚を介して認識させた仮想的な身体疑似画像に基づいてユーザに対し所望の触覚刺激を知覚させ得る感覚呈示システム及び感覚呈示装置を提供することを目的とする。触覚部５によりユーザ２の手背３に触覚刺激を与え、身体疑似画像25と触覚部疑似画像26とを仮想空間内に表示し、触覚部疑似画像26が身体疑似画像26に仮想触覚刺激を与えるような動作映像を呈示してユーザに対し視覚刺激を与える際に、触覚部５が手背３に対し前記触覚刺激を与える動作とは異なる動作映像を呈示し、この動作映像により与える視覚刺激と、触覚部５により与える触覚刺激とに基づいて、仮想触覚刺激に相当する触覚刺激をユーザ２に知覚させるようにしたことにより、視覚を介して認識させた仮想的な身体疑似画像25に基づいてユーザ２に対し所望の触覚刺激を知覚させることができる。
Description
本発明は感覚呈示システム及び感覚呈示装置に関する。
近年、触覚フィードバックを備えた入力デバイスとして、データグローブをはじめさまざまな方式が開発・市販されるようになってきた。例えば、米国ＳｅｎｓＡｂｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ社のＰＨＡＮＴｏＭ（商品名）では、仮想物体の質感をステック型のインターフェースによって多様に表現可能となっている。しかしながら、これらの装置は、現実世界の反力や皮膚感覚を正確に再現しようとすることを主眼としており、その皮膚感覚等を再現するために複雑な駆動系が必要となるため、構成が複雑になり生産コストがかかるという問題があった。
そこで、発明者らはこうした問題点に対して、仮想空間内における人間の身体感覚に着目した感覚呈示装置の発明や、身体感覚の操作による作業者の意識バランスの改善を意図したシミュレーション装置の発明等を行ってきた（例えば、特許文献１及び２参照）。
特開２００３―３３０５８２号公報
特開２００７―３０４９７３号公報
そして、エンターテイメント等の分野や生産分野等この他種々の分野おいては、一段と高度な仮想現実の世界を演出することが望まれていることから、どのようにすれば、視覚を介して認識させた仮想的な身体疑似画像に基づいてユーザに対し所望の触覚刺激を知覚させることができるかについての研究が行われている。
本発明は以上の点を考慮してなされたもので、視覚を介して認識させた仮想的な身体疑似画像に基づいてユーザに対し所望の触覚刺激を知覚させ得る感覚呈示システム及び感覚呈示装置を提供することを目的とする。
本発明の請求項１記載は、触覚部によりユーザの身体所定部位に触覚刺激を与える触覚呈示手段と、前記身体所定部位に対応する身体疑似画像と、前記触覚部に対応する触覚部疑似画像とを仮想空間内に表示し、前記触覚部疑似画像が前記身体疑似画像に仮想触覚刺激を与えるような動作映像を呈示してユーザに対し視覚刺激を与える視覚呈示手段とを備え、前記視覚呈示手段は、前記触覚部によって前記身体所定部位に対し前記触覚刺激を与える動作とは異なる動作映像を呈示し、前記動作映像により与える前記視覚刺激と、前記触覚部により与える前記触覚刺激とに基づいて、前記仮想触覚刺激に相当する触覚刺激を前記ユーザに知覚させることを特徴とする。
本発明の請求項２記載は、前記触覚呈示手段は、前記身体所定部位に対して前記触覚部を接触させた状態で移動させることにより前記触覚刺激を与え、前記視覚呈示手段は、前記仮想空間内で前記身体疑似画像に対して前記触覚部疑似画像を重ねて表示した状態で、前記触覚部の移動距離とは異なる移動距離だけ前記触覚部疑似画像を移動させる動作映像を呈示して前記視覚刺激を与えることを特徴とする。
本発明の請求項３記載は、前記触覚呈示手段は、前記身体所定部位に対して前記触覚部を接触及び非接触させて前記触覚刺激を与え、前記視覚呈示手段は、前記身体所定部位に対して前記触覚部が非接触のとき、前記仮想空間内に表示した前記身体疑似画像に対して前記触覚部疑似画像を重ね、前記身体所定部位に対して前記触覚部が接触のとき、前記触覚部疑似画像を前記身体疑似画像から離す動作映像を呈示して前記視覚刺激を与えることを特徴とする。
本発明の請求項４記載は、前記触覚呈示手段は、前記身体所定部位に前記触覚部を接触させた状態で静止させて前記触覚刺激を与え続け、前記視覚呈示手段は、前記仮想空間内に表示した前記触覚部疑似画像を所定方向に移動させる動作映像を呈示して前記視覚刺激を与えることを特徴とする。
本発明の請求項５記載は、前記触覚呈示手段は、前記身体所定部位に対して前記触覚部を接触させた状態で所定方向に移動させて前記触覚刺激を与え、前記視覚呈示手段は、前記仮想空間内に表示した前記触覚部疑似画像を静止させた状態のまま、前記身体疑似画像を前記所定方向に移動させる動作映像を呈示して前記視覚刺激を与えることを特徴とする。
本発明の請求項６記載は、触覚部によりユーザの身体所定部位に触覚刺激を与える触覚呈示手段と、前記身体所定部位に対応する身体疑似画像と、前記触覚部に対応する触覚部疑似画像とを仮想空間内に表示し、前記触覚部疑似画像が前記身体疑似画像に仮想触覚刺激を与えるような動作映像を呈示してユーザに対し視覚刺激を与える視覚呈示手段とを制御する制御手段を備え、前記制御手段は、前記触覚部によって前記身体所定部位に対し前記触覚刺激を与える動作とは異なる動作映像を前記視覚呈示手段に呈示させ、前記動作映像により与える前記視覚刺激と、前記触覚部により与える前記触覚刺激とに基づいて、前記仮想触覚刺激に相当する触覚刺激を前記ユーザに知覚させるを備えることを特徴とする。
本発明の請求項７記載は、前記制御手段は、前記身体所定部位に対して前記触覚部を接触させた状態で移動させることにより前記触覚刺激を与える動作命令を前記触覚呈示手段に送出し、前記仮想空間内で前記身体疑似画像に対して前記触覚部疑似画像を重ねて表示した状態で、前記触覚部の移動距離とは異なる移動距離だけ前記触覚部疑似画像を移動させる動作映像を呈示してユーザに対し視覚刺激を与える映像データを前記視覚呈示手段に送出することを特徴とする。
本発明の請求項８記載は、前記制御手段は、前記身体所定部位に対して前記触覚部を接触及び非接触させて前記触覚刺激を与える動作命令を前記触覚呈示手段に送出し、前記身体所定部位に対して前記触覚部が非接触のとき、前記仮想空間内に表示した前記身体疑似画像に対して前記触覚部疑似画像を重ね、前記身体所定部位に対して前記触覚部が接触のとき、前記触覚部疑似画像を前記身体疑似画像から離す動作映像を呈示して前記視覚刺激を与える映像データを前記視覚呈示手段に送出することを特徴とする。
本発明の請求項９記載は、前記制御手段は、前記身体所定部位に前記触覚部を接触させた状態で静止させて前記触覚刺激を与え続ける動作命令を前記触覚呈示手段送出し、前記仮想空間内に表示した前記触覚部疑似画像を所定方向に移動させる動作映像を呈示して前記視覚刺激を与える映像データを前記視覚呈示手段に送出することを特徴とする。
本発明の請求項１０記載は、前記制御手段は、前記身体所定部位に対して前記触覚部を接触させた状態で所定方向に移動させて前記触覚刺激を与える動作命令を前記触覚呈示手段に送出し、前記仮想空間内に表示した前記触覚部疑似画像を静止させた状態のまま、前記身体疑似画像を前記所定方向に移動させる動作映像を呈示して前記視覚刺激を与える映像データを前記視覚呈示手段に送出することを特徴とする。
本発明の請求項１１記載は、前記触覚呈示手段と前記視覚呈示手段は、筐体に設けられていることを特徴とする。
本発明の請求項１記載の感覚呈示システム及び請求項６記載の感覚呈示装置によれば、視覚を介して認識させた仮想的な身体疑似画像に基づいてユーザに対し所望の触覚刺激を知覚させ得る感覚呈示システム及び感覚呈示装置を提供できる。
本発明の請求項２記載の感覚呈示システム及び請求項７記載の感覚呈示装置によれば、触覚部の移動距離と、仮想空間上での触覚部疑似画像の移動距離とが異なっても、触覚刺激と視覚刺激とに基づいて、仮想空間上での触覚部疑似画像の移動距離に相当する移動距離だけ、当該触覚部が移動しているかのような触覚刺激を知覚させることができる。
本発明の請求項３記載の感覚呈示システム及び請求項８記載の感覚呈示装置によれば、実際には触覚部により身体所定部位が接触させているだけにもかかわらず、身体疑似画像に対して触覚部疑似画像が離れる動作映像を視認させることにより与えられる視覚刺激により、あたかも触覚部が身体所定部位を引っ張っているかのような触覚刺激をユーザに対して知覚させることができる。
本発明の請求項４記載の感覚呈示システム及び請求項９記載の感覚呈示装置によれば、実際には触覚部が静止しているだけにもかかわらず、触覚刺激と視覚刺激とに基づいて、あたかも当該触覚部が触覚部疑似画像と同じように移動しているかのような触覚刺激をユーザに対して知覚させることができる。
本発明の請求項５記載の感覚呈示システム及び請求項１０記載の感覚呈示装置によれば、実際には身体所定部位を動かさずに触覚部が身体所定部位上を移動しているだけにもかかわらず、触覚部による触覚刺激と、身体疑似画像が触覚部疑似画像を基準に移動する動作映像とに基づいて、あたかもユーザ自らが身体所定部位を移動しているかのような感覚をユーザに対して知覚させることができる。
本発明の請求項１１記載の感覚呈示システムによれば、筐体に設けられた触覚呈示手段と視覚呈示手段により、視覚を介して認識させた仮想的な身体疑似画像に基づいてユーザに対し所望の触覚刺激を知覚させることができる。
以下図面に基づいて本発明の実施の形態を詳述する。
（１）感覚呈示システムの全体構成
図１において、１は全体として本発明による感覚呈示システムを示し、この感覚呈示システム１は、例えばユーザ２の手背３にアーム４先端の触覚部５を接触させて所定の刺激を与える触覚装置６と、この触覚装置６で触覚刺激を与える手背３の立体的な疑似画像（以下、身体疑似画像と呼ぶ）及び触覚部５の立体的な疑似画像（以下、これを触覚部疑似画像と呼ぶ）をユーザ２に対して呈示する画像呈示装置７と、これら触覚装置６及び画像呈示装置７を統括的に制御するコンピュータ８とから構成されている。
図１において、１は全体として本発明による感覚呈示システムを示し、この感覚呈示システム１は、例えばユーザ２の手背３にアーム４先端の触覚部５を接触させて所定の刺激を与える触覚装置６と、この触覚装置６で触覚刺激を与える手背３の立体的な疑似画像（以下、身体疑似画像と呼ぶ）及び触覚部５の立体的な疑似画像（以下、これを触覚部疑似画像と呼ぶ）をユーザ２に対して呈示する画像呈示装置７と、これら触覚装置６及び画像呈示装置７を統括的に制御するコンピュータ８とから構成されている。
そして、この感覚呈示システム１は、触覚装置６が設けられた設置台９の前にユーザ２を着座させ、触覚装置６がユーザ２の身体所定部位（この場合、手背３）の皮膚に触覚刺激を与えるとともに、画像呈示装置７が仮想空間内において、あたかもユーザ２の身体所定部位に対し触覚刺激を与えているかのような動作映像を呈示して視覚を介した刺激（以下、これを視覚刺激と呼ぶ）を与えるようになされている。なお、触覚装置６及び画像呈示装置７の操作は別の操作者によって手動で行われてもよく、機械的な機構によって自動的に行ってもよい。また、ここで触覚とは外の物に触れることによって生物体に起こる感覚をいう。
実際上、この感覚呈示システム１は、設置台９の前に着座したユーザ２が、設置台９と、画像呈示装置７を構成する反射体11との間の空間に例えば一方の手3aを配置させることにより、ユーザ２の視点と手背３とを結ぶ直線上に反射体11が配置され、当該反射体11がユーザ２の視界を遮り手背３を目視し得ないようになされている。
図２に示すように、触覚装置６は、設置台９に設置された基台12上に回動部13が設けられ、先端に触覚部５を備えたアーム４が回動部13に設けられており、回動部13をｘ軸に沿って回動させることによりアーム４をユーザ２に対して左右方向（すなわちｘ軸方向）側に移動し得るようになされている。
また、アーム４は、第１アーム部材15と第２アーム部材16とが回動自在に連結された構成を有し、当該第１アーム部材15の一端が回動部13にｚ軸に沿って回動自在に設けられている。第２アーム部材16は、一端に第１アーム部材15の他端がｙ軸に沿って回動自在に設けられ、他端に棒状の触覚部５がｙ軸に沿って回動自在に設けられている。
これより触覚装置６は、第１アーム部材15及び第２アーム部材16を回動させることにより触覚部５をユーザ２に対して上下方向（すなわちｚ軸方向）に移動させるとともに、当該触覚部５をユーザ２に対して近づける方向、或いは遠ざける方向（すなわちｙ軸方向）に移動させ得るようになされている。また、触覚装置６は、第２アーム部材16に対して触覚部５を回動させることにより触覚部５の先端をユーザ２に対して近づける方向、或いは遠ざける方向に移動させ得る。
このようにして触覚装置６は、回動部13、第１アーム部材15、第２アーム部材16及び触覚部５を移動させることにより、図３に示すように、当該触覚部５の先端を手背３の所定位置に接触させてユーザ２に触覚刺激を与えるとともに、触覚部５を所望の方向に移動させて他の種々の触覚刺激をユーザ２に与えるようになされている。
一方、図１に示したように、画像呈示装置７は、設置台９から所定高さの位置で水平状に配置された反射体11と、当該反射体11に対して斜め上方に設けられたディスプレイ装置20と、ユーザ２の頭部に装着される液晶シャッター眼鏡21とから構成されており、当該ディスプレイ装置20の表示部22に表示された動作映像を反射体11の鏡面部23に反射させ、設置台９の前に着座しているユーザ２に液晶シャッター眼鏡21を介して視認させ得るようになされている。
ここでディスプレイ装置20には、コンピュータ８が接続されており、当該コンピュータ８に予め記憶されている身体疑似画像及び触覚部疑似画像（後述する）が映像データとして送出され、これら身体疑似画像及び触覚部疑似画像を表示部22に表示し得る。実際上、このディスプレイ装置20には、右目用の映像データと左目用の映像データとが時分割で入力され、左目に認識させる左目用映像と右目に認識させる右目用映像とが表示部22に交互に表示され得る。
反射体11は、板状からなり、ディスプレイ装置20の表示部22に表示された身体疑似画像及び触覚部疑似画像を、鏡面部23を介してユーザ２の頭部に向けて反射させ、ユーザ２に液晶シャッター眼鏡21を介して視認させ得るようになされている。因みに、この画像呈示装置７では、板状で厚みの薄い反射体11を設置台９上方に設けるようにしたことにより、設置台９と反射体11との間にユーザ２の手3aを配置できる空間を確実に形成し得るようになされている。
液晶シャッター眼鏡21は、コンピュータ８に接続されており、ユーザ２の左目前に配置される左目用シャッターと、当該ユーザ２の右目前に配置される右目用シャッターとを映像データに同期させ、光りの透過と遮断とが行われることにより、ユーザ２が左目と右目とで認識する映像に違いを生じさせ得る。
その結果、画像呈示装置７は、図４に示すように、仮想空間内において、手背３の立体的な疑似画像である身体疑似画像25と、触覚部５の立体的な疑似画像である触覚部疑似画像26とをユーザ２に対し視認させ得るようになされている。これにより、画像呈示装置７は、反射体11で反射されている身体疑似画像25を液晶シャッター眼鏡21を介して目視確認させることにより、図５（Ａ）及び（Ｂ）に示すように、仮想空間内の身体疑似画像25をあたかも自分の身体の一部であるかのように知覚させ、臨場感や没入感を与えるようになされている。
コンピュータ８は、図示しないＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）46、ＲＯＭ（Read Only Memory）等から構成された制御部8aを有し、制御手段としての制御部8aがコンピュータ８を統括的に制御し得るようになされている。
制御部8aは、図示しない記憶部に記憶された映像データをディスプレイ装置20に送出し、これにより仮想空間内において触覚部疑似画像26を身体疑似画像25に接触させた状態で移動させて仮想的な触覚刺激（以下、これを仮想触覚刺激と呼ぶ）を与える動作映像をディスプレイ装置20の表示部22に呈示し、当該動作映像を基に、あたかもユーザ２に所定の触覚刺激が与えられているかのような視覚刺激をユーザ２に与えるようになされている。
また、このとき制御部8aは、ディスプレイ装置20において呈示された動作映像に対応した所定の動作命令を触覚装置６に送出し、当該動作命令に応じて触覚装置６の触覚部５を移動させ得るようになされている。具体的に触覚装置６は、コンピュータ８から所定の動作命令を受け取ると、当該動作命令に基づいて、ユーザ２に対し視覚を介して呈示した触覚部疑似画像26の動作映像とは異なる単純な動作を触覚部５に行わせ、あたかも触覚部疑似画像26の動作映像と同じ触覚刺激が与えられているかのような錯覚を与えるようになされている。
ここで、本発明による感覚呈示システム１では、このような視覚を介してユーザ２に錯覚を与える動作処理として、なぞり刺激錯覚処理、叩き刺激錯覚処理、疑似触覚発生処理及び移動錯覚処理の４つを実行し得るようになされており、以下これら各処理内容について順次説明する。
（２）なぞり刺激錯覚処理
この場合、感覚呈示システム１では、図６に示すように、反射体11と設置台９との間にユーザ２の一方の手3aを配置させるとともに、ユーザ２の手背３が反射体11側に位置するようにして当該設置台９上にユーザ２の手3aを載置させる。コンピュータ８は、図示しない操作部から動作命令としてなぞり刺激錯覚処理命令が与えられると、これを触覚装置６へ送出する（図１）。
この場合、感覚呈示システム１では、図６に示すように、反射体11と設置台９との間にユーザ２の一方の手3aを配置させるとともに、ユーザ２の手背３が反射体11側に位置するようにして当該設置台９上にユーザ２の手3aを載置させる。コンピュータ８は、図示しない操作部から動作命令としてなぞり刺激錯覚処理命令が与えられると、これを触覚装置６へ送出する（図１）。
触覚装置６は、コンピュータ８からのなぞり刺激錯覚処理命令に基づいて、設置台９上に配置されたユーザ２の手背３に触覚部５を接触させて、この状態のまま触覚部５をユーザ２から遠ざける方向及び近づける方向に周期的に移動させ、触覚部５がユーザ２の手背３を「なぞる」ような動作を周期的に実行し得る（図６）。
このとき、コンピュータ８は、触覚装置６の回動部13、アーム４及び触覚部５の位置データを取得し、これら位置データに基づいて触覚部５のｘ軸、ｙ軸及びｚ軸における座標位置を特定し得るようになされている。これによりコンピュータ８の制御部8aは、特定した触覚部５の座標位置に基づいて触覚部疑似画像26の表示位置を調整した映像データを生成し、これをディスプレイ装置20に送出する。
これにより、ディスプレイ装置20には、映像データに基づいて、手背３を立体的に表した身体疑似画像25が表示部22に表示されるとともに、仮想空間内において触覚部５の座標位置に対応する表示位置に触覚部疑似画像26が表示され得るようになされている。
これにより画像呈示装置７は、ユーザ２に対して反射体11及び液晶シャッター眼鏡21を介してディスプレイ装置20に表示された身体疑似画像25及び触覚部疑似画像26を視認させることにより、自身の手背３と触覚部５とを、あたかも直接目視確認しているかのように知覚させ得るようになされている。
また、このとき液晶シャッター眼鏡21を介してユーザ２に呈示される動作映像Ｓ１では、触覚部５の移動するタイミングに合わせて、触覚部疑似画像26が身体疑似画像25に重ねた状態でユーザ２から遠ざかる方向及び近づく方向に周期的に移動し、触覚部疑似画像26が身体疑似画像25に仮想触覚刺激を与えるような動作がなされる。また、この動作映像Ｓ１では、実際に触覚部５が移動する移動速度よりも僅かに速く触覚部疑似画像26が移動し、実際に手背３に対して触覚部５が移動する移動距離Ｈ１よりも、触覚部疑似画像26の移動距離Ｈ２が長くなるように当該触覚部疑似画像26が移動する。
このように感覚呈示システム１は、触覚部５によってユーザ２の手背３を「なぞる」ような触覚刺激を与えるとともに、触覚部５の実際の移動距離Ｈ１とは異なる長い移動距離Ｈ２まで移動させる触覚部疑似画像26の動作映像Ｓ１をユーザ２に対し呈示し得る。
これにより感覚呈示システム１では、触覚部５の実際の移動距離Ｈ１が、動作映像Ｓ１中の移動距離Ｈ２よりも短いにもかかわらず、触覚刺激及び視覚刺激に基づいて総合的にユーザ２が知覚する知覚内容Ｐ１を、あたかも触覚部５が実際の移動距離Ｈ１よりも大きい移動距離Ｈ２だけ移動しているかのような感覚にさせることができる。
（３）叩き刺激錯覚処理
次に感覚呈示システム１では、図７に示すように、反射体11と設置台９との間にユーザ２の一方の手3aを配置させるとともに、ユーザ２の手背３が反射体11側に位置するようにして当該設置台９上にユーザ２の手3aを載置させる。コンピュータ８は、図示しない操作部から動作命令として叩き刺激錯覚処理命令が与えられると、これを触覚装置６へ送出する。
次に感覚呈示システム１では、図７に示すように、反射体11と設置台９との間にユーザ２の一方の手3aを配置させるとともに、ユーザ２の手背３が反射体11側に位置するようにして当該設置台９上にユーザ２の手3aを載置させる。コンピュータ８は、図示しない操作部から動作命令として叩き刺激錯覚処理命令が与えられると、これを触覚装置６へ送出する。
触覚装置６は、コンピュータ８からの叩き刺激錯覚処理命令に基づいて、設置台９上に配置されたユーザ２の手背３に触覚部５を接触させた後、当該手背３から触覚部５を離して非接触にさせて、当該触覚部５によりユーザ２の手背３を「叩く」ような動作を周期的に実行し得る。
また、コンピュータ８は、触覚装置６の回動部13、アーム４及び触覚部５の位置データを取得し、これら位置データに基づいて触覚部５のｘ軸、ｙ軸及びｚ軸における座標位置を特定し得るようになされている。これによりコンピュータ８の制御部8aは、特定した触覚部５の座標位置に基づいて触覚部疑似画像26の表示位置を調整した映像データを生成し、これをディスプレイ装置20に送出する。
これにより、ディスプレイ装置20には、映像データに基づいて、手背３を立体的に表した身体疑似画像25が表示部22に表示されるとともに、仮想空間内において触覚部５の座標位置に対応する表示位置に触覚部疑似画像26が表示され得るようになされている。
これにより画像呈示装置７は、ユーザ２に対して反射体11及び液晶シャッター眼鏡21を介してディスプレイ装置20に表示された身体疑似画像25及び触覚部疑似画像26を視認させることにより、自身の手背３と触覚部５とを、あたかも直接目視確認しているかのような錯覚を与えるようになされている。
このとき、液晶シャッター眼鏡21を介してユーザ２に呈示される動作映像Ｓ２では、触覚部５が上下方向に移動するタイミングとずらして、触覚部疑似画像26が身体疑似画像25に重ねて上下方向に移動し、触覚部疑似画像26が身体疑似画像25に仮想触覚刺激を与えるような動作がなされる。すなわち、この動作映像Ｓ２では、触覚部５が手背３に接触したとき、触覚部疑似画像26が身体疑似画像25から離れるように移動し、触覚部５が手背３から離れて非接触になったとき、触覚部疑似画像26が身体疑似画像25に接触するように移動する。
このように感覚呈示システム１は、触覚部５がユーザ２の手背３を叩くような触覚刺激を与えるとともに、触覚部５によりユーザ２の手背３が叩かれて触覚刺激が与えられる瞬間に、触覚部疑似画像26が身体疑似画像25から離れるような動作映像Ｓ２をユーザ２に対し呈示し得る。
これにより感覚呈示システム１では、実際には触覚部５により手背３を叩いているにもかかわらず、触覚刺激及び視覚刺激に基づいて総合的にユーザ２が知覚する知覚内容Ｐ２を、あたかも触覚部５によって手背３が引っ張られているかのような感覚にさせることができる。
（４）疑似触覚発生処理
次に感覚呈示システム１では、図８に示すように、反射体11と設置台９との間にユーザ２の一方の手3aを配置させるとともに、ユーザ２の手背３が反射体11側に位置するようにして当該設置台９上にユーザ２の手を載置させる。コンピュータ８は、図示しない操作部から動作命令として疑似触覚発生処理命令が与えられると、これを触覚装置６へ送出する。
次に感覚呈示システム１では、図８に示すように、反射体11と設置台９との間にユーザ２の一方の手3aを配置させるとともに、ユーザ２の手背３が反射体11側に位置するようにして当該設置台９上にユーザ２の手を載置させる。コンピュータ８は、図示しない操作部から動作命令として疑似触覚発生処理命令が与えられると、これを触覚装置６へ送出する。
触覚装置６は、コンピュータ８からの疑似触覚発生処理命令に基づいて、設置台９上に配置されたユーザ２の手背３に触覚部５を押し付けた状態のまま静止させる動作を実行し得る。
また、コンピュータ８は、触覚装置６の回動部13、アーム４及び触覚部５の位置データを取得し、これら位置データに基づいて触覚部５のｘ軸、ｙ軸及びｚ軸における座標位置を特定し得るようになされている。これによりコンピュータ８の制御部8aは、特定した触覚部５の座標位置に基づいて触覚部疑似画像26の表示位置を調整した映像データを生成し、これをディスプレイ装置20に送出する。
これにより、ディスプレイ装置20には、映像データに基づいて、手背３を立体的に表した身体疑似画像25が表示部22に表示されるとともに、仮想空間内において触覚部５の座標位置に対応する表示位置に触覚部疑似画像26が表示され得るようになされている。このとき、液晶シャッター眼鏡21を介してユーザ２に呈示される動作映像Ｓ３では、触覚部疑似画像26がユーザ２から遠ざかる方向及び近づく方向と、ユーザ２に対して左右方向とに十字状に移動し、触覚部疑似画像26が身体疑似画像25に仮想触覚刺激を与えるような動作がなされる。
このように感覚呈示システム１は、触覚部５をユーザ２の手背３の一点に接触させた状態で静止させ触覚刺激を与えるとともに、触覚部疑似画像26が身体疑似画像25に対して十字状に移動するような動作映像Ｓ３をユーザ２に対し呈示し得る。
これにより感覚呈示システム１では、実際には触覚部５を手背３上に接触させた状態で静止しているにもかかわらず、触覚刺激及び視覚刺激に基づいて総合的にユーザ２が知覚する知覚内容Ｐ３を、あたかも触覚部５が手背３上を十字状に移動しているかのような感覚にさせることができる。
（５）移動錯覚処理
次に感覚呈示システム１では、図９に示すように、反射体11と設置台９との間にユーザ２の一方の手3aを配置させるとともに、ユーザ２の手背３が反射体11側に位置するようにして当該設置台９上にユーザ２の手3aを載置させる。コンピュータ８は、図示しない操作部から動作命令として移動錯覚処理命令が与えられると、これを触覚装置６へ送出する。
次に感覚呈示システム１では、図９に示すように、反射体11と設置台９との間にユーザ２の一方の手3aを配置させるとともに、ユーザ２の手背３が反射体11側に位置するようにして当該設置台９上にユーザ２の手3aを載置させる。コンピュータ８は、図示しない操作部から動作命令として移動錯覚処理命令が与えられると、これを触覚装置６へ送出する。
触覚装置６は、コンピュータ８からの移動錯覚処理命令に基づいて、設置台９上に配置されたユーザ２の手背３に触覚部５を押し付け、この状態のまま触覚部５をユーザ２に対して左右方向に周期的に移動させ、触覚部５がユーザ２の手背３を「なぞる」ような動作を周期的に実行し得る。
このとき、コンピュータ８は、触覚装置６の回動部13、アーム４及び触覚部５の位置データを取得し、これら位置データに基づいて触覚部５のｘ軸、ｙ軸及びｚ軸における座標位置を特定し得るようになされている。これによりコンピュータ８の制御部8aは、特定した触覚部５の座標位置に基づいて触覚部疑似画像26の表示位置を調整した映像データを生成し、これをディスプレイ装置20に送出する。
これにより、ディスプレイ装置20には、映像データに基づいて、手背３を立体的に表した身体疑似画像25が表示部22に表示されるとともに、仮想空間内において触覚部５の座標位置に対応する表示位置に触覚部疑似画像26が表示され得るようになされている。
これにより画像呈示装置７は、ユーザ２に対して反射体11及び液晶シャッター眼鏡21を介してディスプレイ装置20に表示された身体疑似画像25及び触覚部疑似画像26を視認させることにより、自身の手背３と触覚部５とを、あたかも直接目視確認しているかのように知覚させ得るようになされている。
このとき、液晶シャッター眼鏡21を介してユーザ２に呈示される動作映像Ｓ４では、触覚部５の移動するタイミングに合わせて、触覚部疑似画像26を身体疑似画像25に重ねた状態で、触覚部疑似画像26を基準に身体疑似画像25がユーザ２に対して左右方向に周期的に移動し、触覚部疑似画像26が身体疑似画像25に仮想触覚刺激を与えるような動作がなされる。
このように感覚呈示システム１は、触覚部５がユーザ２の手背３を「なぞる」ように移動して触覚刺激を与えるとともに、当該触覚部５の動作と同期して触覚部疑似画像26を基準に身体疑似画像25がユーザに対し左右方向に移動するような動作映像Ｓ４をユーザ２に対し呈示し得る。
これにより感覚呈示システム１では、実際には触覚部５が手背３上をなぞるように移動し、手背３自体が動かされていないにもかかわらず、触覚刺激及び視覚刺激に基づいて総合的にユーザ２が知覚する知覚内容Ｐ４を、あたかもユーザ２自らが手背３を左右方向に移動しているかのような感覚にさせることができる。
（６）動作及び効果
以上の構成において、感覚呈示システム１では、ユーザ２自身の手背３を仮想空間内に立体的に表現した身体疑似画像25と、仮想空間内を３次元に移動可能な触覚部疑似画像26とによる動作映像を画像呈示装置７によってユーザ２に呈示することにより、当該身体疑似画像25を、あたかも自分の手のように知覚させ、臨場感や没入感を高めることができる。
以上の構成において、感覚呈示システム１では、ユーザ２自身の手背３を仮想空間内に立体的に表現した身体疑似画像25と、仮想空間内を３次元に移動可能な触覚部疑似画像26とによる動作映像を画像呈示装置７によってユーザ２に呈示することにより、当該身体疑似画像25を、あたかも自分の手のように知覚させ、臨場感や没入感を高めることができる。
これにより、感覚呈示システム１では、画像呈示装置７に呈示される身体疑似画像25に対し触覚部疑似画像26が仮想触覚刺激を与える動作映像をユーザ２が視認することにより、あたかもユーザ２自身の手背３に対し、仮想触覚刺激に相当する触覚刺激が与えられているかのような感覚を与えることができる。
また、この感覚呈示システム１では、なぞり刺激錯覚処理として、触覚装置６の触覚部５をユーザ２の手背３に接触させた状態のまま周期的に往復させ、触覚部５により触覚刺激をユーザ２に与えるとともに、当該触覚部５の動作に同期して触覚部疑似画像26が身体疑似画像25上を周期的に往復するように移動させて仮想触覚刺激を与える動作映像をディスプレイ装置20に呈示して視覚刺激をユーザ２に与える。
このとき、感覚呈示システム１では、触覚部５の移動距離Ｈ１を、仮想空間上での触覚部疑似画像26の移動距離Ｈ２よりも短くしても、触覚刺激と視覚刺激とに基づいて、仮想空間上での触覚部疑似画像26の移動距離Ｈ２に相当する移動距離Ｈ２だけ、当該触覚部５が移動しているかのような仮想触覚刺激に相当する触覚刺激を知覚させることができる。
また、感覚呈示システム１では、叩き刺激錯覚処理として、触覚装置６の触覚部５をユーザ２の手背３に周期的に接触及び非接触させ、当該触覚部５により触覚刺激を周期的にユーザ２に与える。このとき、画像呈示装置７では、触覚部５が手背３と接触したとき、当該身体疑似画像25に対して触覚部疑似画像26が離れ、当該触覚部５が手背３から離れて非接触になったとき、当該身体疑似画像25に対して触覚部疑似画像26が接触するように移動させ仮想触覚刺激を与える動作映像をディスプレイ装置20に呈示してユーザ２に視認させる。
これにより、感覚呈示システム１では、実際には触覚部５により手背３が叩かれているにもかかわらず、身体疑似画像25に対して触覚部疑似画像26が離れる動作映像を視認していることにより与えられる視覚刺激により、あたかも触覚部５が手背３を引っ張っているかのような仮想触覚刺激に相当する触覚刺激をユーザ２に対して知覚させることができる。
さらに、感覚呈示システム１では、疑似触覚発生処理として、触覚装置６の触覚部５をユーザ２の手背３に接触させた状態で静止させて触覚刺激を継続的にユーザ２に与えるとともに、身体疑似画像25上に触覚部疑似画像26が所定方向になぞるように移動させ仮想触覚刺激を与える動作映像をディスプレイ装置20に呈示してユーザ２に視認させる。
これにより、感覚呈示システム１では、実際には触覚部５が一点で静止しているにもかかわらず、触覚刺激と視覚刺激とに基づいて、あたかも当該触覚部５が触覚部疑似画像26と同じように移動しているかのような仮想触覚刺激に相当する触覚刺激をユーザ２に対して知覚させることができる。
このように感覚呈示システム１では、触覚部５の可動範囲を狭めても、触覚部疑似画像26が移動する動作映像を基に、触覚刺激の錯覚を起こさせることができるので、ユーザ２に対して所定の触覚刺激を知覚させつつ、触覚部５の可動範囲を狭めることができ、その結果、その分だけ設置スペースを小さくし得、装置全体として簡易な構成にできる。
さらに、感覚呈示システム１では、移動錯覚処理として、ユーザ２の手背３を動かさずに、触覚装置６の触覚部５を当該手背３に接触させた状態のまま周期的に往復させて触覚刺激をユーザ２に与えるとともに、触覚部疑似画像26を静止させたまま、当該触覚部５の動作に同期して身体疑似画像25を周期的に往復するように移動させ仮想触覚刺激を与える動作映像をディスプレイ装置20に呈示して視覚刺激をユーザ２に与える。
これにより、感覚呈示システム１では、実際には手背３自体を動かさずに触覚部５が手背３上をなぞるように移動しているにもかかわらず、触覚部５による触覚刺激と、身体疑似画像25が触覚部疑似画像26を基準に移動する動作映像とに基づいて、あたかもユーザ２自らが手背３を左右方向に移動しているかのような仮想触覚刺激に相当する触覚刺激をユーザ２に対して知覚させることができる。
このように感覚呈示システム１では、ユーザ２に対して実際に与えられている触覚刺激の知覚を変化させ、またユーザ２に対して実際に与えられていない触覚刺激を知覚させるようにしたことにより、エンタテインメントや福祉医療分野等へ応用することができる。
また、このような視覚刺激である動作映像と触覚刺激との組み合わせによる呈示は、コンピュータゲームやバーチャルリアリティなどのインタラクティブなデジタルコンテンツにおいて、その表現の幅を拡張できることが期待できる。そして、このような感覚呈示システム１では、福祉医療分野等において、感覚代替による情報呈示システムとしての応用や、リハビリテーションの補助や効率の向上、さらには医師による診察や手術のトレーニングシステムへ利用することができ、教育分野においては、多感覚刺激を用いた情報呈示によるコンテンツの開発等へ応用することができる。
以上の構成によれば、触覚部５によりユーザ２の手背３に触覚刺激を与え、身体疑似画像25と触覚部疑似画像26とを仮想空間内に表示し、触覚部疑似画像26が身体疑似画像26に仮想触覚刺激を与えるような動作映像を呈示してユーザに対し視覚刺激を与える際に、触覚部５が手背３に対し前記触覚刺激を与える動作とは異なる動作映像を呈示し、この動作映像により与える視覚刺激と、触覚部５により与える触覚刺激とに基づいて、仮想触覚刺激に相当する触覚刺激をユーザ２に知覚させるようにしたことにより、視覚を介して認識させた仮想的な身体疑似画像25に基づいてユーザ２に対し所望の触覚刺激を知覚させることができる。
そして、このような感覚呈示システム１は、種々の分野に利用されることが考えられており、例えばリハビリテーションに用いる場合、手を動かすことができないユーザ２に対して上述した「（５）移動錯覚処理」を実行することにより、ユーザ２自身の手があたかも移動しているかのような錯覚を起こさせ、ユーザ２のリハビリテーション時のモチベーションの向上を図ることができる。
（７）第２の実施の形態
図１０において、60は第２の実施の形態による感覚呈示システムとしての携帯端末装置を示し、全体としてユーザの片手の掌に載る程度の長方形形状からなり、所定の厚みを有する外形形状に選定された筐体61を備え、当該筐体61をユーザが片手で携行可能な構成を有する。
図１０において、60は第２の実施の形態による感覚呈示システムとしての携帯端末装置を示し、全体としてユーザの片手の掌に載る程度の長方形形状からなり、所定の厚みを有する外形形状に選定された筐体61を備え、当該筐体61をユーザが片手で携行可能な構成を有する。
この筐体61の一面61aの全面には、例えばユーザが指先で触れることにより操作可能なタッチパネル62と、ＬＣＤ（Liquid Crystal Display）63とからなる表示部64が配置されており、電源をオン制御することにより表示部64にメイン画面が表示され得る。メイン画面には、後述する制御部が実行する制御プログラムに応じて、例えば電話機能やデータ通信機能、スケジユール機能、カレンダ機能、ゲーム機能、ナビゲーション機能等の各種機能を実行するためのメニュー項目（図示せず）が表示され得る。
実際上、この携帯端末装置60は、図１１（Ａ）及び（Ｂ）に示すように、一面61aと対向する他面61bが平面状に形成されており、当該他面61bがユーザの片手の掌に載せられた状態で、例えば筐体61の所定の側面に当該片手の親指が当接されるとともに、当該側面と異なるいずれかの他の側面に当該片手の人指し指及び中指、薬指、小指が当接されることでユーザに把持され得る。この状態で携帯端末装置60は、表示部64に表示された内容をユーザに視認させながら他方の手の指先で表示部64の所望のメニュー項目等が押下されることにより、各種機能を実行し得るようになされている。
かかる構成に加えて筐体61には、他面61bの所・BR>闊ハ置に当該他面61Bから突出した触覚呈示部66が設けられている。この触覚呈示部66は、筐体61の他面61B中央付近に設けられており、ユーザの掌に筐体61の他面61Bを載せたときに、触覚部としての先端がユーザの掌に当接してユーザに対して触覚刺激を与えるように形成されている。この実施の形態の場合、触覚呈示部66は、先端が僅かに丸みを帯びた円錐状からなり、当該先端がユーザの掌に当接することによりユーザに対して触覚刺激を与えるように構成されている。
そして、この携帯端末装置60は、上述した第１の実施の形態における「（４）擬似触覚発生処理」と同じ原理を用いて、触覚呈示部66によりユーザに与えられる触覚刺激と、表示部64によりユーザに与えられる視覚刺激とを基に、表示部64に表示された触覚部疑似画像（後述する）がユーザの掌をあたかも移動しているかのような触覚刺激をユーザが感じるようになされている。 実際上、この携帯端末装置60は、図１２に示すように、タッチパネル62及びＬＣＤ63からなる表示部64と、記憶部70と、電話機能やデータ通信機能等の各種機能の実行に必要な回路部からなる機能処理部71とが制御部72にバス73を介して接続されている。制御部72は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Processing）、ＲＯＭ（Read Only Memory）等で構成されており、ＲＯＭに格納された基本プログラム及び感覚呈示処理プログラム等の各種プログラムを、各種命令に応じて適宜ＲＡＭに読み出すことにより所定の処理を実行する。
ここで記憶部70には、図１３に示すように、筐体61がユーザによって片手で把持されて表示部64が視認される際に、筐体61が妨げとなり直接視認し得ないはずのユーザの掌を模した身体擬似画像75と、この身体擬似画像75上に重なるようにして表示される触覚部疑似画像76とからなる動作映像データが予め記憶されている。そして、制御部72は、記憶部70に記憶された動作映像データを読み出して表示部64に動作映像を表示させることにより、筐体61が妨げとなり直接視認し得ないはずのユーザ自身の掌79が、表示部64の枠内からあたかも視認できているかのような錯覚をユーザに対して起こさせ得るようになされている。
ここで記憶部70には、図１３に示すように、筐体61がユーザによって片手で把持されて表示部64が視認される際に、筐体61が妨げとなり直接視認し得ないはずのユーザの掌を模した身体擬似画像75と、この身体擬似画像75上に重なるようにして表示される触覚部疑似画像76とからなる動作映像データが予め記憶されている。そして、制御部72は、記憶部70に記憶された動作映像データを読み出して表示部64に動作映像を表示させることにより、筐体61が妨げとなり直接視認し得ないはずのユーザ自身の掌79が、表示部64の枠内からあたかも視認できているかのような錯覚をユーザに対して起こさせ得るようになされている。
実際上、この実施の形態の場合には、筐体61の他面61bがユーザの片手の掌79に載せられた状態で、側面の所定位置に当該片手の掌79の母指球79aや手根部79b、親指80、人指し指81、中指82、薬指83、小指84がそれぞれ当接されてユーザに把持されることを想定しており、このときユーザの掌79のうち小指球85及び母指球79aの一部と、人指し指81及び中指82、薬指83、小指84の各根元部分とが表示部64の枠内に隠れる。
このことから表示部64には、当該表示部64に隠れているユーザの掌79の小指球85及び母指球79aから、人指し指81及び中指82、薬指83、小指84の各根元部分までを模した身体擬似画像75が表示され得る。これにより携帯端末装置60では、表示部64に表示された身体擬似画像75をユーザに対して視認させることにより、ユーザ自身の掌79が表示部64の枠内から直接視認し得るかのような錯覚をユーザに対して起こさせ得るようになされている。
また、このとき身体擬似画像75と同時に表示される触覚部擬似画像76は、筐体61の他面61bに設けられた触覚呈示部66（図１１（Ａ）及び（Ｂ））とほぼ同じ大きさからなり、かつ当該触覚呈示部66と対向する位置に表示され、この触覚呈示部66と対向した表示位置を中心にして身体擬似画像75上を所定方向へ移動するように表示部64に表示され得る。
触覚部擬似画像76は、初めの表示位置（一面61aにおける他面61bの触覚呈示部66と対向する位置）を中心に身体疑似画像75上で例えば左右方向に移動し、あたかも身体疑似画像75に対し触覚刺激を与えているかのような仮想触覚刺激をユーザに与えるように表示される。このように携帯端末装置60では、ユーザの掌79に触覚呈示部66を接触させて一定の触覚刺激を与えた状態のまま、これと同時に触覚部擬似画像76が身体疑似画像75に対して所定方向に移動するような動作映像を表示部64を介してユーザ２に視認させ得る。
これにより携帯端末装置60では、触覚刺激及び視覚刺激に基づいて総合的にユーザが知覚する知覚内容として、実際には触覚呈示部66が動かずに掌79の一点にだけ接触させた状態であるにもかかわらず、あたかも触覚呈示部66が触覚部擬似画像76の動きに合わせて掌79の上を移動しているかのような感覚を知覚させることができる。
以上の構成において、携帯端末装置60では、ユーザが筐体61を把持している状態の掌79を仮想空間内に立体的に表現した身体疑似画像75を表示部64に表示することにより、当該身体疑似画像75があたかも自分の手のように知覚させ、臨場感や没入感を高めることができる。
このとき携帯端末装置60では、表示部64の領域内において、他面61bに設けられた触覚呈示部66と対向する位置に触覚部擬似画像76が表示され、この表示位置を中心にして触覚部擬似画像76が身体擬似画像75上を移動し、身体疑似画像75に対し触覚部疑似画像76が仮想触覚刺激を与えるような動作映像をユーザに対して視認させる。これにより携帯端末装置60では、視覚刺激に基づいて、あたかもユーザ自身の掌79に対し、仮想触覚刺激に相当する触覚刺激が与えられているかのような感覚をユーザに対して与えることができる。
このとき携帯端末装置60では、触覚呈示部66によりユーザの掌79の一点にのみ触覚刺激が与えられているにもかかわらず、視覚刺激に基づいて、ユーザの掌79の上であたかも触覚部疑似画像76が移動しているかのような触覚刺激に相当する感覚をユーザに対して与えることができる。
また、この実施の形態の場合には、触覚呈示部66を振動させる振動手段や、触覚呈示部66を移動させる移動手段等この他種々の駆動手段を携帯端末装置60に設けることなく、装置全体として構成を簡易化できると共に、表示部64に表示された動作映像を基に仮想触覚刺激に相当する触覚刺激が与えられているかのような感覚をユーザに対して与えることができる。
以上の構成によれば、触覚呈示部66によりユーザの掌79に触覚刺激を与え、身体疑似画像75と触覚部疑似画像76とを仮想空間内に表示し、触覚部疑似画像76が身体疑似画像75に仮想触覚刺激を与えるような動作映像を呈示してユーザに対し視覚刺激を与える際、触覚呈示部66が掌79に対し触覚刺激を与える動作とは異なる動作映像を呈示する。これにより携帯端末装置60では、この動作映像により与える視覚刺激と、触覚呈示部66により与える触覚刺激とに基づいて、仮想触覚刺激に相当する触覚刺激をユーザに知覚させるようにしたことにより、視覚を介して認識させた仮想的な身体疑似画像75に基づいてユーザ２に対し所望の触覚刺激を知覚させることができる。
また、この携帯端末装置60では、ユーザの片手の掌79に載る程度に選定された筐体61に、触覚呈示部66及び表示部64を設けることで、上述した第１の実施の形態における感覚呈示システム１を例えば携帯電話機や携帯ゲーム機にも搭載させることもできる。
なお、上述した実施の形態においては、触覚部擬似画像として、円錐状の触覚部擬似画像76を適用する場合について述べたが、本発明はこれに限らず、棒状や、仮想生物を表したキャラクタ等この他種々の触覚部擬似画像を適用してもよい。この場合、携帯端末装置60では、例えば触覚部擬似画像76を仮想生物で現したキャラクタに代えることで、キャラクタがあたかも掌79で動いているかのような映像が表示部64に表示されることによりユーザに視覚刺激を与える。かくして携帯電話機等の携帯端末装置における仮想生物を用いたゲーム等のエンタテインメント性を向上させることができる。
また、上述した実施の形態においては、第１の実施の形態による「（４）疑似触覚発生処理」を携帯端末装置60に適用した場合について述べたが、本発明はこれに限らず、携帯端末装置に触覚呈示部66を振動させたり、或いは触覚呈示部66を任意の方向に移動させる駆動手段を設け、第１の実施の形態による「（３）叩き刺激錯覚処理」や「（２）なぞり刺激錯覚処理」と同じ原理を基にユーザに対して所望の触覚刺激を与えるようにしてもよい。
さらに、上述した実施の形態においては、筐体61を片手の掌に載せて使用する場合について述べたが、本発明はこれに限らず、筐体61を上腕や大腿等この他種々の部位に載せて使用するようにしてもよく、この場合、表示部64には、筐体61が載せられる上腕や大腿等の部位を模した身体擬似画像が表示され得る。
さらに、上述した実施の形態においては、ユーザの片手の掌に載る程度の外形形状に選定された筐体61を適用した場合について述べたが、本発明はこれに限らず、ユーザが両手でしか保持し得ない程度の外形形状に選定された筐体等この他種々の大きさでなる外形形状を有する筐体を適用してもよい。
（８）他の実施の形態
本発明は、上記の実施の形態に限定されるものではなく、種々の変形実施が可能である。例えば上述した実施の形態においては、身体所定部位として手背３に対して触覚刺激を与えるようにした場合について述べたが、本発明はこれに限らず、例えば前腕や下腿、足等この他種々の身体所定部位や、複数の身体所定部位に対して触覚刺激を与えるようにしてもよい。なお、この場合、触覚装置６で触覚刺激を与える身体所定部位に似せた疑似画像が身体疑似画像となり得る。
本発明は、上記の実施の形態に限定されるものではなく、種々の変形実施が可能である。例えば上述した実施の形態においては、身体所定部位として手背３に対して触覚刺激を与えるようにした場合について述べたが、本発明はこれに限らず、例えば前腕や下腿、足等この他種々の身体所定部位や、複数の身体所定部位に対して触覚刺激を与えるようにしてもよい。なお、この場合、触覚装置６で触覚刺激を与える身体所定部位に似せた疑似画像が身体疑似画像となり得る。
さらに、上述した実施の形態においては、身体所定部位に対応する身体疑似画像として、身体所定部位を模した立体的に見える画像を身体擬似画像として適用する場合について述べたが、本発明はこれに限らず、画像がユーザ２自身の身体所定部位であると錯覚されれば、図１４に示すように、当該身体所定部位を変形させた形状の画像90や、当該身体所定部位と異なる形状の画像等この他種々の画像を身体擬似画像としてもよい。なお、図１４における91は触覚部擬似画像を示している。
さらに、上述した実施の形態においては、一人のユーザ２に対して１つの身体疑似画像25が表示されたディスプレイ装置20を視認させ、当該身体疑似画像25がユーザ自身の身体であるかのような錯覚を起こさせて、当該ユーザ２に対して触覚部５により触覚刺激を与える場合について述べたが、本発明はこれに限らず、複数のユーザに対して複数の身体疑似画像25が表示されたディスプレイ装置20を視認させ、各身体疑似画像25がそれぞれユーザ毎の身体であるかのような錯覚を起こさせ、各ユーザ２に対して個別に触覚部５により触覚刺激を与えるようにしてもよく、この場合、複数のユーザによって行われる様々な共同作業の状況を再現させることができる。
さらに、上述した実施の形態においては、触覚部により与える触覚刺激として、触覚部５を皮膚に接触させることで与える触覚刺激を適用する場合について述べたが、本発明はこれに限らず、皮膚に対する触覚刺激の替わりに、熱による触覚刺激や、冷感による触覚刺激、振動による触覚刺激、電気的な触覚刺激等この他種々の触覚刺激を適用するようにしてもよく、これら触覚感覚によりユーザ２に対して苦痛や快感を与えてもよい。
また、上述した実施の形態においては、液晶シャッター眼鏡21を用いたディスプレイ装置20を適用するようにした場合について述べたが、本発明はこれに限らず、裸眼方式の立体ディスプレイ装置や、偏光メガネ方式のディスプレイ装置等を適用するようにしてもよい。
さらに、上述した実施の形態においては、視覚呈示手段として、設置台９から所定高さの位置に反射体11を設け、当該反射体11の斜め上方に配置したディスプレイ装置20からの動作映像を反射体11で反射させ、液晶シャッター眼鏡21を介してユーザに間接的に視認させるようにした場合について述べたが、本発明はこれに限らず、設置台９から所定高さの位置にディスプレイ装置20を設置し、液晶シャッター眼鏡21を介してユーザに動作映像を直接的に視認させるようにしてもよい。
さらに、上述した実施の形態においては、視覚呈示手段として、反射体11とディスプレイ装置20と液晶シャッター眼鏡21とからなる画像呈示装置７を適用するようにした場合について述べたが、本発明はこれに限らず、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）を適用してもよく、この場合、コンピュータに接続したＨＭＤをユーザの頭部に装着させるだけで、当該ＨＭＤを通して動作映像だけでなく、これに応じたサウンドもユーザに対し容易に呈示できる。
また、感覚呈示システムにおいては 、視覚呈示手段として、反射体11に換えてハーフミラーを用いたり、或いはカメラ付きＨＭＤを用いることにより、仮想空間内の触覚部疑似画像26を現実空間の身体所定部位（例えば、手背３）に合成して表示する、いわゆる強化現実（ＡＲ：Augmented Reality（オーグメンテッドリアリティ））タイプの視覚刺激呈示方法を適用するようにしてもよい。
さらに、上述した実施の形態においては、コンピュータ８に予め記憶した身体疑似画像25を予め設定した仮想空間内の所定位置に呈示するようにした場合について述べたが、本発明はこれに限らず、例えばデータグローブ等の身体運動を取得するデバイスをユーザに装着させ、その動きを立体的な画像で呈示したり、或いはユーザ２の身体所定部位を撮像手段により撮像した画像をデータベースに記憶しておき、当該画像を再生して呈示したり、ユーザ２の身体所定部位を撮像手段により撮像した画像をリアルタイムで呈示するようにしてもよい。
さらに、上述した実施の形態においては、なぞり刺激錯覚処理、叩き刺激錯覚処理、疑似触覚発生処理及び移動錯覚処理において、触覚部５や、身体疑似画像25、触覚部疑似画像26をユーザに対して左右方向等に移動させるようにした場合について述べたが、本発明はこれに限らず、触覚部５や、身体疑似画像25、触覚部疑似画像26をユーザに対して斜め左右方向等この他種々の方向に移動させるようにしてもよい。
さらに、上述した第２の実施の形態においては、ユーザの片手の掌に載る程度の長方形形状からなる筐体61を適用した場合について述べたが、本発明はこれに限らず、ユーザの片手の掌に載る程度の四辺形状や円形形状等この他種々の形状からなる筐体を適用してもよい。
（９）実施例
次に、本発明による第１の実施の形態の感覚呈示システム１によってユーザ２に対し触覚刺激と視覚刺激とを与えて錯覚を体験させ、錯覚強度の主観評価と、近赤外分光法（NIRS：Near Infra-red Spectroscopy）による脳機能計測とによって客観的に観察する実験を行った。
次に、本発明による第１の実施の形態の感覚呈示システム１によってユーザ２に対し触覚刺激と視覚刺激とを与えて錯覚を体験させ、錯覚強度の主観評価と、近赤外分光法（NIRS：Near Infra-red Spectroscopy）による脳機能計測とによって客観的に観察する実験を行った。
具体的には、図１に示した感覚呈示システム１を用い、触覚刺激及び視覚刺激の組み合わせを変えた第１〜第３の条件を設定して実験を行った。各条件における呈示時間は２０秒とし、その間に２０秒の安静時間を設けた。
第１の条件（以下、これを同期条件と呼ぶ）の刺激呈示としては、図４に示したような右側の手3aの立体的な疑似画像である身体疑似画像25をディスプレイ装置20に表示して、触覚部疑似画像26が移動する動作映像を表示した。また、このとき、触覚装置６は、触覚部５によって手背３に触覚刺激を与える動作を、ディスプレイ装置20に表示される動作映像と同期させ、視覚刺激に触覚刺激を一致させた。
次に第２の条件（以下、これを錯覚条件と呼ぶ）の刺激呈示としては、触覚部疑似画像26が移動する動作映像と、触覚部５によって触覚刺激を与える動作とを約１０秒同期させて、同じ触覚刺激及び視覚刺激を与えた後、触覚部５の動作だけを停止させて手背３に触覚部５を押し付けた状態のまま１０秒静止させた。
第３の条件（以下、これを板条件と呼ぶ）の刺激呈示としては、身体疑似画像25に換えて、図１５に示すように、単色からなる板部材の画像（以下、板材画像と呼ぶ）30をディスプレイ装置20に表示させて、上述した錯覚条件と同じように、触覚部疑似画像26が板材画像30上を移動する動作映像と、触覚部５によって触覚刺激を与える動作とを約１０秒同期させた後、触覚部５の動作だけを停止させて手背３に触覚部５を押し付けた状態のまま１０秒静止させた。
また、この実験の手順としては、被験者に同期条件、錯覚条件及び板条件の各刺激呈示手法を１度体験させ、同期条件、錯覚条件及び板条件の各刺激呈示手法の内容について被験者に説明した。実験において同期条件、錯覚条件及び板条件による各刺激呈示の順序はランダムとした。また、同期条件、錯覚条件及び板条件の３つを１セッションとし、合計４セッションの刺激呈示を行った。そして、この実験では、同期条件、錯覚条件及び板条件の各刺激呈示後に５件法（後述する）による主観評価を求め、これら同期条件、錯覚条件及び板条件の各刺激呈示後に内省報告を求めた。
なお、主観評価としては、実験実施者が被験者に対して「視覚刺激にあわせて触覚刺激が与えられたように感じたか」との質問を口頭で行い、これに対する回答を被験者に口頭で行わせて評価した。具体的には、被験者の回答としては、「何も感じなかった」を１点とし、「わずかに感じた」を２点とし、「感じた」を３点とし、「よく感じた」を４点とし、手背への刺激を「はっきりと感じた」を５点として５段階に分けて集計する５件法を用い、同期条件、錯覚条件及び板条件をそれぞれ４回ずつ被験者に試行させ、当該被験者毎に試行における主観評価の平均値（評点）を求めた。なお、この実験では右利きの男性６名を被験者とした。
その結果、この実験では、図１６に示すような主観評価結果が得られた。なお、図１６は、被験者をＡ、Ｂ、Ｃ、Ｄ、Ｅ及びＦとして横軸に表し、各被験者の評点を縦軸に表している。この実験では、錯覚の感じ方に個人差があるものの、主観評価結果に基づいて、視覚刺激によって触覚刺激が感じられるという錯覚がはっきりと知覚されることが確認できた。
また、脳機能計測を行う実験では、図１７に示すように、触覚刺激及び視覚触覚の同期や動作映像、触覚刺激に対する被験者の反応を測定するため、当該被験者の頭部50の左側頭葉から頭頂葉、後頭葉にかけての部位に光ファイバホルダ51を装着させて、上述した同期条件、錯覚条件及び板条件の各刺激呈示を行った。ここで光ファイバホルダ51の頭部50への装着は、国際１０−２０法におけるＴ１３の位置を基準とした。なお、図１７において、四辺状に記載されている領域52は光ファイバプローブの位置を示しており、等間隔で格子状に配置されている。また、図１７において光ファイバホルダ51に記載された数はチャンネルを示す。
この実験によって例えば被験者Ｂでは、図１８に示すような脳機能計測結果が得られた。図１８に示すように、被験者Ｂはほぼ全ての条件（同期条件、錯覚条件及び板条件）で錯覚を感じたとの結果が得られた。なお、光ファイバホルダ51の２３ｃｈの角回近傍は身体の映像に反応する。
Claims (11)
- 触覚部によりユーザの身体所定部位に触覚刺激を与える触覚呈示手段と、
前記身体所定部位に対応する身体疑似画像と、前記触覚部に対応する触覚部疑似画像とを仮想空間内に表示し、前記触覚部疑似画像が前記身体疑似画像に仮想触覚刺激を与えるような動作映像を呈示してユーザに対し視覚刺激を与える視覚呈示手段とを備え、
前記視覚呈示手段は、前記触覚部によって前記身体所定部位に対し前記触覚刺激を与える動作とは異なる動作映像を呈示し、前記動作映像により与える前記視覚刺激と、前記触覚部により与える前記触覚刺激とに基づいて、前記仮想触覚刺激に相当する触覚刺激を前記ユーザに知覚させる
ことを特徴とする感覚呈示システム。 - 前記触覚呈示手段は、前記身体所定部位に対して前記触覚部を接触させた状態で移動させることにより前記触覚刺激を与え、
前記視覚呈示手段は、前記仮想空間内で前記身体疑似画像に対して前記触覚部疑似画像を重ねて表示した状態で、前記触覚部の移動距離とは異なる移動距離だけ前記触覚部疑似画像を移動させる動作映像を呈示して前記視覚刺激を与える
ことを特徴とする請求項１記載の感覚呈示システム。 - 前記触覚呈示手段は、前記身体所定部位に対して前記触覚部を接触及び非接触させて前記触覚刺激を与え、
前記視覚呈示手段は、前記身体所定部位に対して前記触覚部が非接触のとき、前記仮想空間内に表示した前記身体疑似画像に対して前記触覚部疑似画像を重ね、前記身体所定部位に対して前記触覚部が接触のとき、前記触覚部疑似画像を前記身体疑似画像から離す動作映像を呈示して前記視覚刺激を与える
ことを特徴とする請求項１記載の感覚呈示システム。 - 前記触覚呈示手段は、前記身体所定部位に前記触覚部を接触させた状態で静止させて前記触覚刺激を与え続け、
前記視覚呈示手段は、前記仮想空間内に表示した前記触覚部疑似画像を所定方向に移動させる動作映像を呈示して前記視覚刺激を与える
ことを特徴とする請求項１記載の感覚呈示システム。 - 前記触覚呈示手段は、前記身体所定部位に対して前記触覚部を接触させた状態で所定方向に移動させて前記触覚刺激を与え、
前記視覚呈示手段は、前記仮想空間内に表示した前記触覚部疑似画像を静止させた状態のまま、前記身体疑似画像を前記所定方向に移動させる動作映像を呈示して前記視覚刺激を与える
ことを特徴とする請求項１記載の感覚呈示システム。 - 触覚部によりユーザの身体所定部位に触覚刺激を与える触覚呈示手段と、
前記身体所定部位に対応する身体疑似画像と、前記触覚部に対応する触覚部疑似画像とを仮想空間内に表示し、前記触覚部疑似画像が前記身体疑似画像に仮想触覚刺激を与えるような動作映像を呈示してユーザに対し視覚刺激を与える視覚呈示手段とを制御する制御手段を備え、
前記制御手段は、
前記触覚部によって前記身体所定部位に対し前記触覚刺激を与える動作とは異なる動作映像を前記視覚呈示手段に呈示させ、前記動作映像により与える前記視覚刺激と、前記触覚部により与える前記触覚刺激とに基づいて、前記仮想触覚刺激に相当する触覚刺激を前記ユーザに知覚させる
を備えることを特徴とする感覚呈示装置。 - 前記制御手段は、
前記身体所定部位に対して前記触覚部を接触させた状態で移動させることにより前記触覚刺激を与える動作命令を前記触覚呈示手段に送出し、
前記仮想空間内で前記身体疑似画像に対して前記触覚部疑似画像を重ねて表示した状態で、前記触覚部の移動距離とは異なる移動距離だけ前記触覚部疑似画像を移動させる動作映像を呈示してユーザに対し視覚刺激を与える映像データを前記視覚呈示手段に送出する
ことを特徴とする請求項６記載の感覚呈示装置。 - 前記制御手段は、
前記身体所定部位に対して前記触覚部を接触及び非接触させて前記触覚刺激を与える動作命令を前記触覚呈示手段に送出し、
前記身体所定部位に対して前記触覚部が非接触のとき、前記仮想空間内に表示した前記身体疑似画像に対して前記触覚部疑似画像を重ね、前記身体所定部位に対して前記触覚部が接触のとき、前記触覚部疑似画像を前記身体疑似画像から離す動作映像を呈示して前記視覚刺激を与える映像データを前記視覚呈示手段に送出する
ことを特徴とする請求項６記載の感覚呈示装置。 - 前記制御手段は、
前記身体所定部位に前記触覚部を接触させた状態で静止させて前記触覚刺激を与え続ける動作命令を前記触覚呈示手段送出し、
前記仮想空間内に表示した前記触覚部疑似画像を所定方向に移動させる動作映像を呈示して前記視覚刺激を与える映像データを前記視覚呈示手段に送出する
ことを特徴とする請求項６記載の感覚呈示装置。 - 前記制御手段は、
前記身体所定部位に対して前記触覚部を接触させた状態で所定方向に移動させて前記触覚刺激を与える動作命令を前記触覚呈示手段に送出し、
前記仮想空間内に表示した前記触覚部疑似画像を静止させた状態のまま、前記身体疑似画像を前記所定方向に移動させる動作映像を呈示して前記視覚刺激を与える映像データを前記視覚呈示手段に送出する
ことを特徴とする請求項６記載の感覚呈示装置。 - 前記触覚呈示手段と前記視覚呈示手段は、筐体に設けられている
ことを特徴とする請求項１〜５のうちいずれか１項記載の感覚呈示システム
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010516896A JP5419100B2 (ja) | 2008-06-13 | 2009-06-12 | 感覚呈示システム及び感覚呈示装置 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008155508 | 2008-06-13 | ||
| JP2008155508 | 2008-06-13 | ||
| PCT/JP2009/060773 WO2009151121A1 (ja) | 2008-06-13 | 2009-06-12 | 感覚呈示システム及び感覚呈示装置 |
| JP2010516896A JP5419100B2 (ja) | 2008-06-13 | 2009-06-12 | 感覚呈示システム及び感覚呈示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2009151121A1 true JPWO2009151121A1 (ja) | 2011-11-17 |
| JP5419100B2 JP5419100B2 (ja) | 2014-02-19 |
Family
ID=41416823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010516896A Expired - Fee Related JP5419100B2 (ja) | 2008-06-13 | 2009-06-12 | 感覚呈示システム及び感覚呈示装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20110080273A1 (ja) |
| JP (1) | JP5419100B2 (ja) |
| WO (1) | WO2009151121A1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014071546A (ja) * | 2012-09-27 | 2014-04-21 | Waseda Univ | 触錯覚呈示装置および触錯覚呈示プログラム |
| US9367136B2 (en) * | 2013-04-12 | 2016-06-14 | Microsoft Technology Licensing, Llc | Holographic object feedback |
| WO2018008217A1 (ja) * | 2016-07-07 | 2018-01-11 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| WO2018179826A1 (ja) * | 2017-03-27 | 2018-10-04 | 富士フイルム株式会社 | 視覚触覚統合呈示装置 |
| KR101917101B1 (ko) * | 2017-06-05 | 2018-11-09 | 한국과학기술연구원 | 진동식 촉각 자극 생성 장치, 시스템 및 방법 |
| WO2019013055A1 (ja) * | 2017-07-10 | 2019-01-17 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| EP3654666A4 (en) * | 2017-07-10 | 2020-05-27 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM |
| US11779275B2 (en) | 2021-08-05 | 2023-10-10 | Phoeb-X, Inc. | Multi-sensory, assistive wearable technology, and method of providing sensory relief using same |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003330582A (ja) * | 2002-05-14 | 2003-11-21 | Univ Waseda | 視覚及び触覚を利用した感覚呈示装置 |
| JP2007219869A (ja) * | 2006-02-17 | 2007-08-30 | Nagoya Institute Of Technology | 仮想現実感呈示装置 |
-
2009
- 2009-06-12 US US12/997,525 patent/US20110080273A1/en not_active Abandoned
- 2009-06-12 JP JP2010516896A patent/JP5419100B2/ja not_active Expired - Fee Related
- 2009-06-12 WO PCT/JP2009/060773 patent/WO2009151121A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| US20110080273A1 (en) | 2011-04-07 |
| JP5419100B2 (ja) | 2014-02-19 |
| WO2009151121A1 (ja) | 2009-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5419100B2 (ja) | 感覚呈示システム及び感覚呈示装置 | |
| CN107067856B (zh) | 一种医学模拟训练系统和方法 | |
| CN108815804B (zh) | 基于myo臂环和移动端的vr上肢康复训练平台及方法 | |
| JP4921113B2 (ja) | 接触提示装置及び方法 | |
| CN106327983A (zh) | 一种针灸定穴辅助教学系统 | |
| Romanus et al. | Mid-air haptic bio-holograms in mixed reality | |
| Regenbrecht et al. | Manipulating the experience of reality for rehabilitation applications | |
| JP2009276996A (ja) | 情報処理装置、情報処理方法 | |
| CN108140421A (zh) | 运动训练 | |
| JP4129527B2 (ja) | 仮想手術シミュレーションシステム | |
| JP4025230B2 (ja) | 疼痛治療支援装置及び仮想空間に幻肢画像を動画的に表示する方法 | |
| Wang et al. | Supporting trembling hand typing using optical see-through mixed reality | |
| Lee et al. | Effects of visual feedback on out-of-body illusory tactile sensation when interacting with augmented virtual objects | |
| JP5629144B2 (ja) | ゲーム装置 | |
| Widmer et al. | Effects of the alignment between a haptic device and visual display on the perception of object softness | |
| Sandor et al. | Visuo-haptic systems: Half-mirrors considered harmful | |
| Sziebig et al. | Vibro-tactile feedback for VR systems | |
| KR100446548B1 (ko) | 가상현실의 한방침구 시스템 | |
| Camporesi et al. | The effects of avatars, stereo vision and display size on reaching and motion reproduction | |
| Rivera-Gutierrez et al. | Shader lamps virtual patients: The physical manifestation of virtual patients | |
| JP2003330582A (ja) | 視覚及び触覚を利用した感覚呈示装置 | |
| CN103258469A (zh) | 肩关节镜模拟打结练习器 | |
| JP2007219869A (ja) | 仮想現実感呈示装置 | |
| JP7112077B2 (ja) | コントローラ、コントローラの製造方法、疑似体験システム、および疑似体験方法 | |
| JP2014071546A (ja) | 触錯覚呈示装置および触錯覚呈示プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130716 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130820 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131113 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5419100 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |