JP6803971B2 - 視覚触覚統合呈示装置 - Google Patents
視覚触覚統合呈示装置 Download PDFInfo
- Publication number
- JP6803971B2 JP6803971B2 JP2019508670A JP2019508670A JP6803971B2 JP 6803971 B2 JP6803971 B2 JP 6803971B2 JP 2019508670 A JP2019508670 A JP 2019508670A JP 2019508670 A JP2019508670 A JP 2019508670A JP 6803971 B2 JP6803971 B2 JP 6803971B2
- Authority
- JP
- Japan
- Prior art keywords
- tactile
- visual
- presentation device
- presenter
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims description 110
- 230000035807 sensation Effects 0.000 claims description 52
- 230000003287 optical effect Effects 0.000 claims description 39
- 230000010365 information processing Effects 0.000 claims description 11
- 238000005286 illumination Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 239000002985 plastic film Substances 0.000 description 3
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000007799 cork Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000008058 pain sensation Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 239000005060 rubber Substances 0.000 description 2
- 230000015541 sensory perception of touch Effects 0.000 description 2
- 229910001220 stainless steel Inorganic materials 0.000 description 2
- 239000010935 stainless steel Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Description
また、最近、人間の有する感覚のうちの1つの感覚による情報から他の感覚による情報を補完し、対象物を認知、解釈する感覚間相互作用(クロスモダリティ)についての研究が多くなされている。そして、人間の感覚が持つクロスモーダルな特性をインターフェース応用する技術が検討されている。
一方、特開2013−501992号公報および特開2004−145456号公報では、画像情報出力手段と触覚情報出力手段とを積層して、画像表示と重ねて触覚情報を出力することができるため、物体の凹凸形状による材質感をよりリアルに感じる効果を得ることができる。しかしながら、画像情報出力手段と触覚情報出力手段とが積層されて構成されるものであるため、触覚情報出力手段を簡単に差し換えることはできない。すなわち、呈示できる触覚情報が制限され、多種多様な触感に対応させるのは困難である。また、画像情報出力手段に表示される画像がユーザ自身の手の影になってしまい。実際に触っている箇所の画像が見えづらくなるという不具合がある。さらに、対象物が三次元物体である場合への応用は難しい。
ハーフミラーのミラー面側に配置された、対象物の視覚情報を呈示する視覚呈示体と、
ハーフミラーのミラー面を挟んで、視覚呈示体と対向して、ハーフミラーと視覚呈示体との間の光学距離と等しい光学距離に配置される、触覚情報を呈示する触覚呈示体とを備えた視覚触覚統合呈示装置である。
皮膚感覚とは、皮膚にある受容器に基づく感覚の総称であり、触覚、圧覚、温覚、冷覚、痛覚を含む。人工皮膚感覚呈示デバイスとは、皮膚感覚を刺激する静電気、通電、振動、超音波、温度変化などを人工的に生じさせるデバイスである。
図1は、本発明の実施形態の視覚触覚統合呈示装置の概略構成を斜視図であり、図2は、本実施形態の視覚触覚統合呈示装置1の要部位置関係を示す側面図である。
また、画像担持体30の画像表示面32の明るさは、ハーフミラー20により反射された鏡像(虚像)の明るさによって、触覚呈示体10自体の表面が視認されない程度の明るさとなるように調整することが好ましい。
なお、以下において、ユーザがハーフミラー20のミラー面側から触覚呈示体10を見る際の目の位置を観察部60と称する。
このように手指照明具70を備えて手指を照らし、手指に表示されている虚像が見えず、ユーザ自身の手指が視認され状態とすることにより、触覚呈示体10を触る感覚がさらに増し、臨場感が向上する。
第1および第2の実施形態の視覚触覚統合呈示装置1、2においては、触覚呈示体10を支持する支持台5を備えた構成について説明したが、本実施形態の視覚触覚統合呈示装置3は、支持台5を備えていない。支持台5を備える代わりに、既存の机に設置するための万力固定部8を支持軸6の底部に備えており、既存の机の天板7を万力で挟み固定することにより、統合呈示装置3を設置して使用することができる。
位置検出センサ90としては、公知のモーションキャプチャデバイスを適宜用いることができる。
視覚情報、触覚情報に加え、聴覚情報を連動させて呈示することで、視覚、触覚および聴覚が同時に刺激されて、クロスモーダル効果によりユーザに高い臨場感を与えることができる。
例えば、視覚触覚統合呈示装置1において、視覚呈示体として情報端末38を備え、この情報端末38によりインターネットによる通信が可能なシステム101を構成することもできる。情報端末38は視覚呈示体として統合呈示装置1の視覚呈示部40の支持板41上に配置される。この情報端末38の無線もしくは有線の通信機能によりインターネットに接続して、インターネット上の他の情報端末39からの画像情報、音声情報等を受信することができる。他の情報端末39で取得された対象物の画像を情報端末38で再現し、その虚像を触覚呈示体10に一致させて表示することにより、ユーザは、遠隔地に存在する対象物をあたかも実際に触っているように感じることができる。
5 支持台
6 支持軸
7 天板
8 万力固定部
10 触覚呈示体
10A プラスチックシート
10B ステンレス板
10C コルク板
12、17 触覚呈示体の表面
18 人工皮膚感覚呈示デバイス
20 ハーフミラー
22 ミラー面
24 ハーフミラーのミラー面と対向する面
30 画像担持体(視覚呈示体)
31 フラットパネルディスプレイ
32 画像表示面
35 視覚呈示体(対象物)
38、39 情報端末
40 視覚呈示部
41 支持板
42 支持板の上面
44 支持板の下面
45 画像担持体ホルダー
50 触覚呈示部
60 観察部
61、62 辺
63 中線
70 手指照明具
72 光
75 手指
80 照明部
90 位置検出センサ
100 情報処理部
101 システム
Claims (12)
- ハーフミラーと、
前記ハーフミラーのミラー面側に配置された、対象物の視覚情報を呈示する視覚呈示体と、
前記ハーフミラーの前記ミラー面を挟んで、前記視覚呈示体と対向して、前記ハーフミラーと該視覚呈示体との間の光学距離と等しい光学距離に配置される、触覚情報を呈示する触覚呈示体とを備えた視覚触覚統合呈示装置。 - 前記触覚呈示体を触っているユーザの手指を照明する手指照明具を備えた請求項1に記載の視覚触覚統合呈示装置。
- 前記手指照明具からの出射光が、前記触覚呈示体が載置される支持台に平行なシート状の光である請求項2に記載の視覚触覚統合呈示装置。
- 前記手指照明具の照射光の波長が単色である請求項2または3に記載の視覚触覚統合呈示装置。
- 前記波長の照射光が、650nm以上〜700nm以下にピーク波長を有する、または、500nm以上〜650nm以下にピーク波長を有する請求項4記載の視覚触覚統合呈示装置。
- 前記視覚呈示体が、前記対象物の画像を表示する画像担持体である請求項1から5のいずれか1項に記載の視覚触覚統合呈示装置。
- 前記視覚呈示体が、三次元物体である請求項1から5のいずれか1項に記載の視覚触覚統合呈示装置。
- 前記触覚呈示体が、表面にテクスチャ構造を有する平面体もしくは三次元物体である請求項1から7のいずれか1項に記載の視覚触覚統合呈示装置。
- 前記触覚呈示体が、人工皮膚感覚呈示デバイスを備えた請求項1から7のいずれか1項に記載の視覚触覚統合呈示装置。
- 前記視覚呈示体としてディスプレイを備え、
該ディスプレイと前記人工皮膚感覚呈示デバイスとに接続され、前記ディスプレイに表示される画像の変化に連動して前記人工皮膚感覚呈示デバイスによる皮膚感覚呈示状態を変化させる情報処理部を備えた請求項9に記載の視覚触覚統合呈示装置。 - ユーザの手指の位置を検知するセンサを備え、
前記情報処理部が、前記センサにより取得された位置情報に基づいて、前記人工皮膚感覚呈示デバイスによる前記皮膚感覚呈示状態を制御する請求項10記載の視覚触覚統合呈示装置。 - 前記視覚呈示体として情報端末を備えた請求項1から11のいずれか1項記載の視覚触覚統合呈示装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017060931 | 2017-03-27 | ||
JP2017060931 | 2017-03-27 | ||
PCT/JP2018/003486 WO2018179826A1 (ja) | 2017-03-27 | 2018-02-01 | 視覚触覚統合呈示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018179826A1 JPWO2018179826A1 (ja) | 2019-11-07 |
JP6803971B2 true JP6803971B2 (ja) | 2020-12-23 |
Family
ID=63674725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019508670A Active JP6803971B2 (ja) | 2017-03-27 | 2018-02-01 | 視覚触覚統合呈示装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10928912B2 (ja) |
JP (1) | JP6803971B2 (ja) |
WO (1) | WO2018179826A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7358890B2 (ja) * | 2019-10-01 | 2023-10-11 | 富士フイルムビジネスイノベーション株式会社 | 物体質感計測装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3900446B2 (ja) * | 1998-06-19 | 2007-04-04 | 株式会社東京大学Tlo | 画像表示方法及び装置 |
JP3859361B2 (ja) * | 1998-07-10 | 2006-12-20 | 株式会社東芝 | 情報表示装置 |
JP2001025511A (ja) | 1998-08-21 | 2001-01-30 | Matsushita Electric Ind Co Ltd | 放射エネルギー照射装置 |
EP1024327A1 (en) | 1998-08-21 | 2000-08-02 | Matsushita Electric Industrial Co., Ltd. | Radiant energy irradiation device |
WO2006081198A2 (en) * | 2005-01-25 | 2006-08-03 | The Board Of Trustees Of The University Of Illinois | Compact haptic and augmented virtual reality system |
JP4634975B2 (ja) * | 2006-07-21 | 2011-02-16 | 日本電信電話株式会社 | 視触覚融合提示装置 |
WO2008123500A1 (ja) * | 2007-03-30 | 2008-10-16 | National Institute Of Information And Communications Technology | 空中映像インタラクション装置及びそのプログラム |
KR100883311B1 (ko) * | 2007-05-25 | 2009-02-11 | 한국과학기술연구원 | 입력 장치의 개발을 위한 시스템 |
US9829977B2 (en) | 2008-04-02 | 2017-11-28 | Immersion Corporation | Method and apparatus for providing multi-point haptic feedback texture systems |
JP5419100B2 (ja) * | 2008-06-13 | 2014-02-19 | 学校法人早稲田大学 | 感覚呈示システム及び感覚呈示装置 |
RU2554518C2 (ru) | 2009-08-11 | 2015-06-27 | Конинклейке Филипс Электроникс Н.В. | Гибридное устройство отображения |
JP2014145456A (ja) | 2013-01-30 | 2014-08-14 | Nsk Ltd | 転がり軸受 |
JP2016110383A (ja) | 2014-12-05 | 2016-06-20 | コニカミノルタ株式会社 | 触覚伝達装置 |
JP2018077438A (ja) * | 2016-11-11 | 2018-05-17 | 株式会社ジャパンディスプレイ | 表示装置 |
-
2018
- 2018-02-01 WO PCT/JP2018/003486 patent/WO2018179826A1/ja active Application Filing
- 2018-02-01 JP JP2019508670A patent/JP6803971B2/ja active Active
-
2019
- 2019-09-12 US US16/568,796 patent/US10928912B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10928912B2 (en) | 2021-02-23 |
US20200004339A1 (en) | 2020-01-02 |
WO2018179826A1 (ja) | 2018-10-04 |
JPWO2018179826A1 (ja) | 2019-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109101111B (zh) | 融合静电力、空气压膜和机械振动的触觉再现方法与装置 | |
TWI471769B (zh) | 用於實體使用者介面上之影像投影之裝置、系統、及方法 | |
Carter et al. | UltraHaptics: multi-point mid-air haptic feedback for touch surfaces | |
US20120124470A1 (en) | Audio display system | |
JP2005141102A (ja) | 立体的二次元画像表示装置及び方法 | |
WO2015121970A1 (ja) | 教育用触感提供装置、及び、システム | |
US11287886B1 (en) | Systems for calibrating finger devices | |
Hachisu et al. | VacuumTouch: attractive force feedback interface for haptic interactive surface using air suction | |
CN109284005A (zh) | 一种融合静电力和振动的可穿戴式触觉再现装置和方法 | |
CN111722769A (zh) | 交互方法、装置、显示设备和存储介质 | |
JP6803971B2 (ja) | 視覚触覚統合呈示装置 | |
WO2022138297A1 (ja) | 空間浮遊映像表示装置 | |
US11818511B2 (en) | Virtual mirror systems and methods | |
Ochiai et al. | Theory and application of the colloidal display: Programmable bubble screen for computer entertainment | |
US10664103B2 (en) | Curved display apparatus providing air touch input function | |
JP2022129473A (ja) | 空中映像表示装置 | |
WO2022158209A1 (ja) | 空間浮遊映像表示装置 | |
WO2022170650A1 (zh) | 无接触人机交互系统和方法 | |
CN207352294U (zh) | 立体浮空图像系统 | |
JP6719654B2 (ja) | 自筆支援装置 | |
WO2016067397A1 (ja) | 感覚提示装置、操作処理装置及び画像表示装置 | |
WO2023243181A1 (ja) | 空間浮遊映像情報表示システム | |
Bernard | Perception of audio-haptic textures for new touchscreen interactions | |
Sand et al. | Touchless tactile interaction with unconventional permeable displays | |
KR101196570B1 (ko) | 체험 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20190408 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6803971 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |