JP7200576B2 - 質感提示方法、質感提示プログラム、情報処理装置および質感提示システム - Google Patents
質感提示方法、質感提示プログラム、情報処理装置および質感提示システム Download PDFInfo
- Publication number
- JP7200576B2 JP7200576B2 JP2018182872A JP2018182872A JP7200576B2 JP 7200576 B2 JP7200576 B2 JP 7200576B2 JP 2018182872 A JP2018182872 A JP 2018182872A JP 2018182872 A JP2018182872 A JP 2018182872A JP 7200576 B2 JP7200576 B2 JP 7200576B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- texture
- data
- sound
- deformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
図1は、実施例1に係る情報処理装置を含む質感提示システムの構成を示す機能ブロック図である。図1に示す質感提示システム9は、素材画像上のカーソルを移動させる場合に、Pseudo Haptics技術を応用し、素材の擦過音、摩擦、硬さなどの素材データを用いて、摩擦に基づいてカーソル速度を決定したり、硬さに基づいてカーソル位置に凹み表す画像処理を行ったり、素材の擦過音の提示を行なったりする。すなわち、質感提示システム9は、疑似的な触感刺激を発生させ、実物の素材がなくても、実物の素材と遜色ない質感の提示を行う。なお、Pseudo Haptics技術とは、視覚刺激により硬さなどの触覚情報を提示する技術のことをいう。
変形範囲=E+A×硬さ-B×厚さ・・・式(1)
変形強度=F-C×硬さ-D×厚さ・・・式(2)
カーソルの移動速度=(G-H×摩擦係数)×基準速度・・・式(3)
ここで、変形条件の具体例を、図6を参照して説明する。図6は、変形条件の具体例を示す図である。なお、図6では、変形条件を構成する変形範囲および変形強度の算出式(式(1),式(2))は、図5で示した変形条件の表となるように設計されたとする。
図7は、実施例1に係る質感提示処理のフローチャートの一例を示す図である。
このようにして、情報処理装置1は、素材の物性値データを記憶する素材特性DB21から、特定の素材に対する素材表面の摩擦データおよび素材の硬さを参照する。情報処理装置1は、特定の素材が表示された素材画像上におけるポインタの表示位置の移動操作を検出すると、特定の素材に関する摩擦データに基づいて決定される素材画像上におけるカーソルの移動速度を決定する。情報処理装置1は、特定の素材に関する素材の硬さに関する情報と、ポインタの移動速度に応じて決定した素材画像上の位置とに基づき、素材画像上の範囲を決定する。情報処理装置1は、素材画像上の位置および素材画像上の範囲に基づいて、素材画像に対して画像処理を行い、画像処理を行った画像を出力する。情報処理装置1は、静止画表現では伝わらない素材の質感をユーザに提供できる。言い換えれば、情報処理装置1は、疑似的な触感刺激を発生させ、実物の素材がなくても、実物の素材と遜色ない質感をユーザに提供できる。
図2は、実施例2に係る情報処理装置を含む質感提示システムの構成を示す機能ブロック図である。なお、図1に示す情報処理装置1と同一の構成について同一符号を付すことで、その重複する構成および動作の説明については省略する。実施例1と実施例2とが異なるところは、制御部10の音処理部13を音処理部13Aに変更し、質感評価記録部31を追加した点にある。また、実施例1と実施例2とが異なるところは、記憶部20の素材特性DB21を素材特性DB21Aに変更し、質感DB32を追加した点にある。
図10に示すように、素材特性DB21Aは、素材特性DB21は、ID(IDentifier)21a、素材名21b、厚さ21c、硬さ21d、摩擦係数21e、画像21f、擦過音21gおよび質感21hを対応付けて記憶する。なお、図2に示す素材特性DB21と同一の構成について同一符号を付すことで、その重複する構成の説明については省略する。図2と図10とが異なるところは、図10に係る素材特性DB21Aに質感21hが追加された点にある。質感21hは、質感提示処理によって提示された素材の質感について、ユーザが主観的に評価した質感評価の情報である。質感21hは、質感DB32の質感32cに対応する。なお、質感21hは、質感評価記録部31によって記録される。
ここで、音処理部13Aによって実行される音処理の一例を、図11を参照して説明する。図11は、音処理の一例を示す図である。なお、図11の学習フェーズが、学習モデル生成部131に対応する。図11の生成フェーズが、音生成部132に対応する。
図12は、実施例2に係る質感提示処理のフローチャートの一例を示す図である。なお、素材特性DB21Aに記憶された素材ごとの擦過音21gおよび質感21hの対を利用して学習モデルが既に生成されたものとする。
上記実施例2によれば、情報処理装置1は、素材ごとに、画像または音から受ける素材の質感を評価した質感データを、物性値データおよび音データに対応付けて素材特性DB21Aに記憶する。情報処理装置1は、素材特性DB21Aに記憶された複数の素材毎の質感データと音データとを用いて素材に対応した質感の音を学習する学習モデルを生成する。情報処理装置1は、音データがない素材について、学習モデルを用いて、素材に対応した質感データに対する音データを生成し、生成した音データを出力する。かかる構成によれば、情報処理装置1は、素材の擦過音データがない場合であっても、学習モデルを用いて擦過音データを生成できる。この結果、情報処理装置1は、静止画表現だけでは伝わらない素材の質感を、音データを用いることでユーザに提供できる。
なお、実施例1,2の画像処理部12は、式(1)を用いた画像強度および変形範囲を用いて、カーソルの入力位置を中心に陰影による凹みを表す画像処理を行うと説明した。しかしながら、画像処理部12は、これに限定されず、ワーピング処理および変形範囲を用いて、カーソルの入力位置を中心に陰影による凹みを表す画像処理を行っても良い。なお、ワーピング処理とは、例えば、円形範囲をメッシュ化して、メッシュ化したビットマップイメージを歪める処理のことをいう。
2 入力装置
3 画像出力装置
4 音出力装置
10 制御部
11 入力位置取得部
12 画像処理部
13,13A 音処理部
131 学習モデル生成部
132 音生成部
20 記憶部
21,21A 素材特性DB
31 質感評価記録部
32 質感DB
Claims (8)
- コンピュータが、
素材の物性値データを記憶する記憶部から、特定の素材に対する素材表面の摩擦データ、素材の厚さおよび素材の硬さを参照し、
前記特定の素材が表示された素材画像上におけるポインタの表示位置の移動操作を検出すると、前記特定の素材に関する前記摩擦データに基づいて決定される前記素材画像上における前記ポインタの移動速度を決定し、
前記特定の素材に関する前記素材の厚さおよび前記素材の硬さに関する情報と、前記ポインタの移動速度に応じて決定した前記素材画像上の位置とに基づき、前記素材画像上の前記位置を中心とした変形範囲および変形強度を算出し、
前記位置を中心とした変形範囲および変形強度を用いて、前記素材画像に対する画像処理を行い、
前記画像処理を行った画像を出力する
処理を実行することを特徴とする質感提示方法。 - さらに、素材の質感を主観的に評価した評価値を定量化した質感データを用いて、前記特定の素材が表示された前記素材画像上での前記ポインタの移動に対応した音データを生成し、
前記画像の出力とともに、前記音データを出力する
ことを特徴とする請求項1に記載の質感提示方法。 - 前記画像処理は、前記素材画像に対して前記位置を中心とした前記変形範囲および前記変形強度に基づく凹みを表す画像処理を行う
ことを特徴とする請求項1に記載の質感提示方法。 - 前記記憶部は、素材ごとに、画像または音から受ける素材の質感を評価した質感データを、前記物性値データおよび前記音データに対応付けて記憶し、
前記記憶部に記憶された複数の素材毎の前記質感データと前記音データとを用いて素材に対応した質感の音を学習する学習モデルを生成し、
音データがない素材について、前記学習モデルを用いて、前記素材に対応した前記質感データに対する音データを生成し、生成した音データを出力する
ことを特徴とする請求項2に記載の質感提示方法。 - さらに、音データがある素材について、前記質感データが追加された場合に、追加された前記質感データに基づいて前記学習モデルを更新し、更新された学習モデルに基づいて前記質感データに対する音データを生成し、生成した前記音データを出力する
ことを特徴とする請求項4に記載の質感提示方法。 - 素材の物性値データを記憶する記憶部から、特定の素材に対する素材表面の摩擦データ、素材の厚さおよび素材の硬さを参照し、
前記特定の素材が表示された素材画像上におけるポインタの表示位置の移動操作を検出すると、前記特定の素材に関する前記摩擦データに基づいて決定される前記素材画像上における前記ポインタの移動速度を決定し、
前記特定の素材に関する前記素材の厚さおよび前記素材の硬さに関する情報と、前記ポインタの移動速度に応じて決定した前記素材画像上の位置とに基づき、前記素材画像上の前記位置を中心とした変形範囲および変形強度を算出し、
前記位置を中心とした変形範囲および変形強度を用いて、前記素材画像に対する画像処理を行い、
前記画像処理を行った画像を出力する
処理をコンピュータに実行させることを特徴とする質感提示プログラム。 - 素材の物性値データを記憶する記憶部から、特定の素材に対する素材表面の摩擦データ、素材の厚さおよび素材の硬さを参照し、前記特定の素材が表示された素材画像上におけるポインタの表示位置の移動操作を検出すると、前記特定の素材に関する前記摩擦データに基づいて決定される前記素材画像上における前記ポインタの移動速度を決定する決定部と、
前記特定の素材に関する前記素材の厚さおよび前記素材の硬さに関する情報と、前記ポインタの移動速度に応じて決定した前記素材画像上の位置とに基づき、前記素材画像上の前記位置を中心とした変形範囲および変形強度を算出する算出部と、
前記位置を中心とした変形範囲および変形強度を用いて、前記素材画像に対する画像処理を行う画像処理部と、
前記画像処理を行った画像を出力する出力部と、
を有することを特徴とする情報処理装置。 - 情報処理装置と、
画像を出力する画像出力装置と、を有し、
前記情報処理装置は、
素材の物性値データを記憶する記憶部から、特定の素材に対する素材表面の摩擦データ、素材の厚さおよび素材の硬さを参照し、前記特定の素材が表示された素材画像上におけるポインタの表示位置の移動操作を検出すると、前記特定の素材に関する前記摩擦データに基づいて決定される前記素材画像上における前記ポインタの移動速度を決定する決定部と、
前記特定の素材に関する前記素材の厚さおよび前記素材の硬さに関する情報と、前記ポインタの移動速度に応じて決定した前記素材画像上の位置とに基づき、前記素材画像上の前記位置を中心とした変形範囲および変形強度を算出する算出部と、
前記位置を中心とした変形範囲および変形強度を用いて、前記素材画像に対する画像処理を行う画像処理部と、
前記画像処理を行った画像を前記画像出力装置へ出力する出力部と、
を有することを特徴とする質感提示システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018182872A JP7200576B2 (ja) | 2018-09-27 | 2018-09-27 | 質感提示方法、質感提示プログラム、情報処理装置および質感提示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018182872A JP7200576B2 (ja) | 2018-09-27 | 2018-09-27 | 質感提示方法、質感提示プログラム、情報処理装置および質感提示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020052839A JP2020052839A (ja) | 2020-04-02 |
JP7200576B2 true JP7200576B2 (ja) | 2023-01-10 |
Family
ID=69997327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018182872A Active JP7200576B2 (ja) | 2018-09-27 | 2018-09-27 | 質感提示方法、質感提示プログラム、情報処理装置および質感提示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7200576B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008111245A1 (ja) | 2007-03-14 | 2008-09-18 | Japan Science And Technology Agency | 仮想感覚提示装置 |
JP2009205626A (ja) | 2008-02-29 | 2009-09-10 | National Institute Of Information & Communication Technology | 接触音のリアルタイム生成装置、方法、プログラムおよびプログラムを格納した記録媒体 |
US20130002548A1 (en) | 2011-06-28 | 2013-01-03 | Kyocera Corporation | Display device |
JP2015219917A (ja) | 2014-05-20 | 2015-12-07 | イマージョン コーポレーションImmersion Corporation | 触覚設計オーサリングツール |
JP2017208820A (ja) | 2017-06-06 | 2017-11-24 | 京セラ株式会社 | 発注システム |
JP2018073019A (ja) | 2016-10-27 | 2018-05-10 | 株式会社日立製作所 | 感覚情報提示システム及び感覚情報提示方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3408263B2 (ja) * | 1992-03-30 | 2003-05-19 | 株式会社東芝 | 情報提示装置及び情報提示方法 |
JPH09128150A (ja) * | 1995-10-27 | 1997-05-16 | Sharp Corp | 入出力装置 |
-
2018
- 2018-09-27 JP JP2018182872A patent/JP7200576B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008111245A1 (ja) | 2007-03-14 | 2008-09-18 | Japan Science And Technology Agency | 仮想感覚提示装置 |
JP2009205626A (ja) | 2008-02-29 | 2009-09-10 | National Institute Of Information & Communication Technology | 接触音のリアルタイム生成装置、方法、プログラムおよびプログラムを格納した記録媒体 |
US20130002548A1 (en) | 2011-06-28 | 2013-01-03 | Kyocera Corporation | Display device |
JP2015219917A (ja) | 2014-05-20 | 2015-12-07 | イマージョン コーポレーションImmersion Corporation | 触覚設計オーサリングツール |
JP2018073019A (ja) | 2016-10-27 | 2018-05-10 | 株式会社日立製作所 | 感覚情報提示システム及び感覚情報提示方法 |
JP2017208820A (ja) | 2017-06-06 | 2017-11-24 | 京セラ株式会社 | 発注システム |
Also Published As
Publication number | Publication date |
---|---|
JP2020052839A (ja) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108615055B (zh) | 一种相似度计算方法、装置及计算机可读存储介质 | |
JP4778591B2 (ja) | 触感処理装置 | |
US9046926B2 (en) | System and method of dynamically generating a frequency pattern to realize the sense of touch in a computing device | |
US11810136B2 (en) | Systems and methods for assessing implicit associations | |
US20190108390A1 (en) | Information processing apparatus, program, and information processing system | |
WO2022024200A1 (ja) | 3dデータシステム及び3dデータ生成方法 | |
Bueno et al. | A simulation from a tactile device to render the touch of textile fabrics: a preliminary study on velvet | |
JP7200576B2 (ja) | 質感提示方法、質感提示プログラム、情報処理装置および質感提示システム | |
del-Castillo et al. | Modeling non-linear viscoelastic behavior under large deformations | |
JP6125390B2 (ja) | ストローク処理装置、方法及びプログラム | |
Chen et al. | The glottaltopogram: A method of analyzing high-speed images of the vocal folds | |
JP7210489B2 (ja) | 学習装置、学習方法および学習プログラム | |
WO2018211767A1 (ja) | 触質情報処理装置および触質情報処理方法 | |
US10650569B2 (en) | Browser-based texture map generation and application | |
JP6131732B2 (ja) | 人物属性提示装置及び人物属性提示方法 | |
JP2017151308A5 (ja) | ||
JP2020182680A5 (ja) | ||
JPWO2022024242A5 (ja) | 申請情報生成装置、制御方法、及びプログラム | |
CN111242735B (zh) | 数值模板生成方法及数值模板生成装置 | |
WO2022118890A1 (ja) | 人肌触感用データ生成方法、人肌触感用データ生成装置、人肌触感評価方法、人肌触感評価装置、人肌触感呈示装置、及び人肌触感呈示方法 | |
WO2021199408A1 (ja) | 擬似触覚制御装置、擬似触覚制御方法、およびプログラム | |
KR102610818B1 (ko) | 사용자의 주관적 기호를 반영한 객체 생성 시스템 및 방법 | |
JP2024153936A (ja) | 情報処理装置、情報処理方法 | |
Choi et al. | Assessment of human perceptual sensitivity to physically non-conforming motion in virtual environments | |
Vardar et al. | Roughness Perception of Virtual Gratings by Electrovibration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7200576 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |