JP7174337B2 - 錯触力覚デバイス - Google Patents

錯触力覚デバイス Download PDF

Info

Publication number
JP7174337B2
JP7174337B2 JP2017238126A JP2017238126A JP7174337B2 JP 7174337 B2 JP7174337 B2 JP 7174337B2 JP 2017238126 A JP2017238126 A JP 2017238126A JP 2017238126 A JP2017238126 A JP 2017238126A JP 7174337 B2 JP7174337 B2 JP 7174337B2
Authority
JP
Japan
Prior art keywords
force sense
tactile force
illusionary tactile
information
waveform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017238126A
Other languages
English (en)
Other versions
JP2019060835A (ja
Inventor
則雄 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Manufacturing Co Ltd
Original Assignee
Murata Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Manufacturing Co Ltd filed Critical Murata Manufacturing Co Ltd
Publication of JP2019060835A publication Critical patent/JP2019060835A/ja
Application granted granted Critical
Publication of JP7174337B2 publication Critical patent/JP7174337B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、錯触力覚を誘起するための錯触力覚誘起装置を備える錯触力覚デバイスに関する。
触力覚アクチュエータを使用して錯覚を作り出す触力覚装置は知られている。この装置は、デジタル・シグナル・プロセッサ(DSP)等のプロセッサと、プロセッサを駆動するソフトウェアを記憶するRAM等のメモリを備える処理システムと、処理システムのプロセッサからの出力信号で駆動する触力覚アクチュエータを備える。触力覚アクチュエータは、振動、質感等をユーザに提供する。従来の触力覚アクチュエータは、ユーザに提供される振動、質感等が最適に実現できていない等の欠点を備える。
本発明は、上述した従来の欠点を鑑みてなされてもので、触力覚を誘起するための触力覚誘起装置を使用して、触力覚アクチュエータを駆動してユーザに現実感(リアル感)及び感覚を向上させた錯触力覚デバイスを提供することを目的とする。
外部からの情報を入力する入力装置と、ハプティクスCPUと、錯触力覚誘起関数を生成するプログラムを備える記憶素子とを備え、プログラムに従って前記CPUを駆動して非線形特性を備える誘起された錯触力覚を生成する錯触力覚誘起生成装置と、前記生成された錯触力覚を備える情報を出力する出力装置とを備え、前記錯触力覚誘起生成装置は、基本波形生成を基に錯触力覚誘起要素波形を生成し、該錯触力覚誘起要素波形を変調、加工、及び編集して該錯触力覚誘起駆動波形を生成してなる錯触力覚デバイス。
前記錯触力覚デバイスは、CMOS構造、及び又はBiCMOS構造を備えることを特徴とする錯触力覚デバイス。
前記入力装置は、サンプリング波形、圧覚情報、触覚情報、力覚情報、プリセット情報、状態情報、及び制御情報(フィードバック情報などを含む)を入力することを特徴とする錯触力覚デバイス。
前記出力装置は、1チャネル当たり1自由度以上を有する駆動波形を、1チャネルまたは、複数チャネル以上出力することを特徴とする錯触力覚デバイス。
触力覚を誘起するための触力覚誘起装置を駆動して、錯触力覚誘起関数を生成して誘起された非線形特性を備える錯触力覚によって感覚及び又身体的反応を引き起こす情報を出力装置から出力し、この出力された信号を用いて触力覚アクチュエータを駆動してユーザに現実感(リアル感)及び感覚を向上させた錯触力覚デバイスを得ることができる。
本発明に係る錯触力覚誘起装置を備える錯触力覚デバイスのブロック図である。 錯触力覚を誘起する錯触力覚誘起アルゴリズムの一例として、感覚帯域[図1]演算アルゴリズムの概念図を示す。 誘起波形生成アルゴリズムのアーキテクチャの構成図を示す。 ハプティク・システム・アーキテクチャーの構成図を示す。 三原触モデルを用いたハプティック・デザイン・モジュールの概念図を示す。
本発明に係る錯触力覚デバイスは、デジタル回路を備えるCMOS構造及び又はアナログ回路とデジタル回路とを混在してなるBiCMOS構造を備える。
図1は、本発明に係るハプティクスCPUを備える錯触力覚誘起装置を備える錯触力覚デバイスのブロック図である。
図1において、錯触力覚デバイス10は、錯触力覚誘起装置12を備え、錯触力覚誘起装置12は、ハプティクスCPU14と、錯触力覚誘起関数を生成するプログラムを備える記憶素子16と、プログラムに従ってCPU14を駆動して非線形特性を備える誘起された錯触力覚を生成する錯触力覚誘起生成装置18と、アクティブタッチ(触力覚活動)装置19を備える。錯触力覚を生成するための情報を備える信号は、入力装置20から入力される。錯触力覚デバイスは、触力覚デバイスであってもよい。錯触力覚誘起装置は、触力覚誘起装置であってもよい。錯蝕力覚アクチュエータ24は、触力覚アクチュエータ24であってもよい。
錯触力覚誘起装置12は、出力装置22を備え、触力覚を備える情報は、信号として出力装置22から外部に設けられた駆動装置である錯触力覚アクチュエータ24に出力されることが好ましい。錯触力覚誘起装置12は、錯触力覚誘起装置に組み込まれた通信装置30及び又は通信装置31、生体通信装置32を備える。
錯触力覚を備える情報は、ユーザおよびまたはAIヒューマン(バーチャル・リアル融合空間における人工知能を有するバーチャルヒューマン)装置、錯触力覚誘起装置12、錯触力覚デバイス10、他の各種の機器および各種周辺機器と通信を行なってもよい。
錯触力覚誘起装置12は、入力装置20、出力装置22、錯触力覚誘起装置に組み込まれた通信装置30を備えることで、モジュール化、組む込み化が容易であり、アクティブタッチなどの触力覚活動、触力覚活動を通しての行動・思考・判断プロセスのモニタリングが可能となり、身体および環境に設置されたウエアブル機器やユビキタス機器、IoT機器、身体性を有するSNS空間の生成機器、バーチャル空間とリアル空間を融合する機器などの部品として対応可能となる。
錯触力覚誘起装置12は、アクティブタッチ装置19を備え、入力装置20からの情報(例えば、状態情報、制御情報)をもとに、錯触力覚誘起装置12を制御することで、センシング感度の向上や仮説・検証的な粗さ・形状・構造・動作など触力覚情報における誤差確認といったアクティブセンシングによる触力覚活動(アクティブタッチ)、反射的な反応、無意識的な活動や判断、触力覚活動を通しての行動・思考・判断プロセスのモニタリングおよび誘導を行う。これらは、コーチングやセラピー診療などに有効である。
錯触力覚誘起装置の入出力情報を以下に示す。
入力情報;▲1▼コマンドplay、Stop、Pause▲2▼サンプリング情報(波形等)、▲3▼感覚情報(パラメータ等)-圧覚情報;硬さ~軟かさ(抵抗、応力)、触覚情報;粗さ~滑らかさ(振動)、力覚情報;湿り感~乾き感(摩擦、せん断)、プリセット情報、▲4▼状態情報;音声・意志情報、動作・視線・操作情報、脳波、筋電、生体情報、筋肉緊張、呼吸、血圧、▲5▼制御情報;同期トリガー、位置情報、外部クロック。
出力情報;(1)駆動情報(波形、制御パラメータ等)、1チャネル当たり1自由度以上×Nチャネル ▲2▼制御情報―同期トリガー、位相情報、同期クロック。上述した入力情報を基に錯触力覚誘起装置は、触力覚情報(力、力ベクトル、力覚、力覚ベクトル、感覚、感覚ベクトル、に関する情報)を備える、1チャネル当たり1自由度以上の駆動波形を出力する。ここで、1チャネル当たり1自由度以上とは、3次元空間における力および回転力に関する触力覚情報はそれぞれ3自由度が必要となるが、表現用途によっては、1自由度~6自由度の選択が可能である。また、テンソル、および、N次元からなる空間(実空間、架空空間)ならば、それ以上の自由度が必要となる。
入力装置から錯触力覚誘起装置に入力された入力情報は、錯触力覚誘起作成装置の駆動によって非線形特性を備える誘起された錯触力覚情報を作成する。出力装置は、錯触力覚誘起作成装置で作成された錯触力覚を出力する。出力装置は、振動情報を賦活して(活性化して)出力されることが好ましい。出力情報は、外部の触力覚アクチュエータ24を駆動するために使用される。
上記入力を基に錯触力覚誘起関数を生成するプログラムの処理フローを以下に示す。処理フローは、以下の工程を備えることが好ましい。
▲1▼サンプリング波形の読み込み、
▲2▼アナログ入力、デジタル入力、外部メモリ、データベースからの入力・読み込み、
▲3▼基本波形生成;正弦波、三角波、矩形波、錯触力覚誘起要素波形、
▲4▼アクティブタッチ制御、
▲5▼錯触力覚波形の変調・加工、
▲6▼編集、合成編集、
▲7▼フィルタリング、
▲8▼シーケンサー、
▲9▼イコライズ・補正機能、
▲10▼増幅・位相調整、
▲11▼誘起駆動波形の生成、
▲12▼誘起駆動波形の出力、
▲13▼アナログ入力、デジタル入力、外部メモリ、データベースからの入力・書き出し。
入力された基本波形は、提示したい感覚情報の圧覚情報、触覚情報、力覚情報の少なくとも1の情報である信号を基に変調され及び又は編集されることが好ましい。
かくして、錯触力覚誘起装置は、錯触力覚誘起関数を生成する錯触力覚誘起関数生成装置を駆動して誘起された非線形特性を備える錯触力覚によって感覚及び又身体的反応を引き起こす情報を出力装置から出力される。関数は、データ・テーブルで表現されてもよい。
この後、錯触力覚誘起装置から出力された変調及び又は編集された情報である信号は、デジタル/アナログ変換されて、そして増幅される場合もあるし、デジタルのままアクチュエータ駆動に利用される場合もある。
ハプティクスの感覚要素と三原触
人間の感覚の分類としては、大きく、体性感覚、内臓感覚、特殊感覚といった分類の仕方がある。その中で、体性感覚が、ここで扱っているハプティクスに関連した感覚であり、体性感覚は、皮膚感覚と深部感覚に分類されている。
皮膚感覚は、触れるという指先などの皮膚表面における触感に関連した感覚であり、接触を知覚する痛覚・温覚・冷覚・圧覚といった接触・圧感覚に関する圧覚、テクスチャなどの静的表面形状を知覚する触覚に関連している。
深部感覚は、てごたえなどといった筋肉などの深部における感触に関連した感覚であり、位置覚によって自己の動きを認識しながら、運動覚、抵抗覚、重量覚、振動覚といった与えた力や動きに対する感覚のフィードバックを得ることで対象物体の動的変化(応答特性)を知覚する力覚に関連している。
ハプティクスにおけるプレゼンスと表現感覚要素
人は「身体性」を求め、プレゼンスを確認しようとする。それは、目の前に見えているものは触って確認したいという幼児期の衝動に似たものがあり、触ろうとするときの距離感や空間的な認知などにおいて、自分の身体的なモノさしを通して、相対的な位置関係、インタラクションによる自分との関係性や物性・材質等の探索的理解といった、対象物や外環境の直観的・感覚感性的な理解が重要だからである。
触るという動作において、▲1▼触れた、リーチしたという接触・圧力感覚、▲2▼表面形状や状態を理解するための位置情報と触覚情報、▲3▼物体の存在感や運動・動き、粘性・弾力感といった物体内部の状態を理解するための力覚情報が重要である。このように、加えた力によって生じた動き(位置)や物理的特質を理解するためには、▲1▼圧覚、▲2▼触覚、▲3▼力覚に関する情報提示が不可欠である。また、金属などの熱伝導率といった素材の特質を知覚するためには、温覚、冷覚に関する情報も必要となる。これらは、プレゼンスや形状などの対象物の物理的な特質を知覚する行為である。物体のプレゼンスを表現するためには、触ったり、押し込んだりして、重さや堅さを確認しようとする行為が関わっており、サイバー空間、情報空間、VR空間においては、ヒトの身体性が実現される必要がある。
ハプティクスの本領は、アクティブ・タッチである。人が、意図的に、触る時の運動を制御することで、得られる情報や感度が異なる。レーダーが、送信周波数、出力、パルス幅、パルス繰返し周波数などを制御することで、得られる情報が異なってくるのと似ている。自身の動きを認識・確認するために、関節、筋、腱の動きといった固有感覚をともない、自身の運動、関節の動きが知覚されることで、位置覚、運動覚が生じる。指で物体表面をなぞった時に、与えた動き・力に対して、知覚された力のフィードバックから、物体および物体表面の特性・運動、つまり、感覚、感触・触感が誘起・知覚される。これは、物体によって、与えた動き・力の一部が吸収されたことと解釈できる。吸収されずに、残った動き・力が、フィードバックとして、感覚が誘起・知覚される。与えた動き・力が、すべての成分や全帯域の周波数を有する場合、吸収と残差は補う関係(ここでは、補触と呼ぶことにする)にあると考えられ、これらやハプティック・モデルを考慮してアクティブ・タッチでの現象を模した制御を行うことで、さまざまな感覚・感触・触感を誘起・提示することができる。与えた動き・力が、ある成分を保有し、知覚された感覚がすべての成分を含む、もしくはゼロになるように制御すると、感覚を低減・感覚閾値下・不感化(ここでは、無触化と呼ぶことにする)することができる。これらの制御は、振動や振動のパターンを生成及び又は選ぶことで制御される。また、振動パターンを制御することで、振動を停止した後も感覚が残る現象(ここでは、残触効果と呼ぶ事にする)といった感覚を誘起・制御することができる。補触効果と残触効果により、残触と補触が合わさった残触補触効果を誘起・制御できる。
物体を理解するうえで、ハプティクス情報を得るための探索的な手続きとして、▲1▼テクスチャ知覚のための接線方向の運動(触覚)、▲2▼硬さ知覚のための法線方向の押込み(圧覚)、▲3▼大きさや形状知覚のための握り(圧覚)、▲4▼温冷感覚による接触(接触感覚)、▲5▼重さ知覚のための保持(力覚)、▲6▼輪郭・形状知覚のためのなぞり(位置・圧覚)などが挙げられる。これらのハプティクス情報は、位置・運動と、それに連動した応力・応答の知覚であり、触覚、力覚、圧覚、接触感覚に関連している。
錯触力覚誘起装置は、三原触(圧覚、触覚、力覚)に加え、温熱感覚、痛覚を誘起する。温熱感覚は、非線形感覚特性におけるマスキング効果による感覚感度(温熱感覚)の低下および制御を用いたり、皮膚および身体における熱振動をモニタし、逆位相など位相を考慮した振動を加えることにより、冷感を誘起したり、熱振動や血流量、温感を増強する位相振動を加えることで温感を誘起する。痛覚は、高周波成分を含む振動により、痛覚を誘起する。強度や長時間の提示によっては、白蝋病や組織破壊が起こる可能性もありえるので、使用に注意が必要である。提示振動の制御により様々な感覚を誘起させることができる。この誘起された感覚は、光学における電磁波の振動の視点で考えると、光の三原色に加え、赤外線による温熱感覚、紫外線による組織破壊といった様々な現象・感覚が、振動周波数のみの相違といった、ひとつの物理量の制御によって、発生することと考えられる。
振動一元論によるハプティクスの概念を以下に説明する。
三原触である、触覚、圧覚、力覚は、錯触力覚において振動波形パターンによる時間的な変化によって誘起できる感覚であるが、周波数的な特質も持ち合わせている。概念的・相対的な見方でいえば、触覚は高い周波数成分を、圧覚は低い周波数成分を含んでおり、力覚は周波数がゼロのような一定の力感覚を含んでいる。
体性感覚は、振動周波数のような一元論的な分類が可能である。三原色と三原触とを比較した場合、赤・緑・青からなる可視光に対する力覚・圧覚・触覚、赤外線に対する温冷覚、紫外線に対する痛覚といった類似・対応関係が見て取れる。温冷覚も、痛覚も、振動や振動パターンによって、提示・制御することが可能である。その一例として、電子レンジや各種共鳴現象による方法による熱振動、振動による促進及び又は抑制の制御、振動の空間的な変化による感覚の側抑制などの強調・促進・抑制効果による加熱・冷却や温熱感覚・加熱感覚・冷却感覚、衝撃的な打撃振動、高周波振動、などによる破壊的な加圧・変形による痛覚、温冷の差による痛覚提示などがあげられる。
このように、力覚・圧覚・触覚、温冷覚、痛覚といった感覚が、振動を媒介にして、誘起・知覚させる。
さまざまな感覚量は、振動の波形パターンや振動の周波数の制御によって、一元的に誘起・知覚させる。三原触は、こられの感覚・感覚量・知覚にもとづいて抽出・知覚される感覚の因子・主成分でもあり、感覚空間での表現・評価尺度という心理量にももとづいている。波形パターンは、周波数や位相情報によって表現される場合もあるし、他の情報パラメタで表現されても良い。
感覚量は、振動の波形パターン及び又は振動の周波数の制御によって、一元的に誘起・知覚させることが可能となる。
以下に、錯触力覚を誘起する錯触力覚誘起アルゴリズムの一例として、感覚帯域演算アルゴリズムを説明する。
図2は、錯触力覚を誘起する錯触力覚誘起アルゴリズムの一例として、感覚帯域演算アルゴリズムの概念図を示す。
感覚帯域演算アルゴリズムは、感覚因子である三原触(力覚、圧覚、触覚)ごとの感覚誘起・生成モジュールを有している。それぞれは、フィルタバンクのように、感覚帯域を担当している。感覚帯域は、周波数、及び又は、波形パターンなどにより、誘起生成波形が、分類できる。感覚帯域演算アルゴリズムは、その誘起のしやすさの対応関係を、フィルタバンク(力覚帯域、圧覚帯域、触覚帯域)に分けて、数値化、関数化してものである。
一定の力とは、周波数ゼロの振動と考えることもできる。表面の弾力感は、弾性特性による応力の変化であり、周波数が低い時は、振動というよりは、指の動きに合わせた反力の変化、弾力感と考えることができる。
皮膚の感覚受容器は、時間的応答性に関して、速順応性の応答(FA:Fast Adapting)と遅順応性の応答(SA:Slow Adapting)により、SAI、SAII、FAI、FAIIに分類される。それぞれの受容器の振動周波数に対する閾値が異なる。力覚、圧覚、触覚は、それぞれ反応しやすい周波数帯域に対応する。
力覚モジュールは、低周波の成分に関係しており、圧覚モジュールは、低周波、中周波の成分に関係している。触覚モジュールは、高周波の成分に関係している。各モジュールは、さまざまなハプティクス情報に関係している。力覚モジュールは、特に、筋肉や関節などのハプティクス情報に関係している。圧覚モジュールは、特に、皮膚の応力成分に関係している。触覚モジュールは、特に、皮膚のせん断力成分に関係している。
振動などの物理刺激が、力覚、圧覚、触覚(振動覚)の誘起・知覚に関係しており、これは、力・応力・加速度的な効果としての粒子性、共鳴効果としての振動・波動性の両面の特性を有していることを意味する。
各モジュールは、忠実な感覚再生や、現実に近い、もしくは現実以上のリアリティのある感覚を誘起・実現するために、帯域ごとに再生ユニットの特性が設計される。ここでは、力覚・圧覚・触覚からなる三原触モデルに関するモジュール構成を示したが、その他の複数の基本感覚因子で構成されたモデルにおいても、同様のモジュール設計が可能である。ここで、
アルゴリズムは、ソフトウェアで実装されても、ハードウェアで実装されてもよい。
各モジュールは、感覚の味付け・付加機能(強調、抑制、代替・置換、)を備えることが可能である。これらの機能は、揺らぎ成分、フィルタリング、変調・演算・復調、フーリエ変換・逆フーリエ変換、外乱・疑似外乱、神経発火、反射を誘発する波形の付加などの、各種演算手法を使用して実現できる。感覚は、順応などによる感覚・感覚特性の変化を有するため、このような感覚の味付けによって、順応を抑制したり、促進するなどの制御が可能となる。
図3は、誘起波形生成器の誘起波形生成アルゴリズムのアーキテクチャの構成図を示す。誘起波形生成アルゴリズムのアーキテクチャは、基本波形生成部およびサンプリング部から生成された波形を入力とし、合成部において、これら波形からさまざまな錯触力覚誘起波形が合成される。
誘起波形生成アルゴリズムのアーキテクチャの構成図は、以下の構成を備える。すなわち、▲1▼基本波形生成部、ここで基本波形生成部は、サンプリング部を備える、▲2▼合成部、ここで合成部は、(1)加減除算、演算部、(2)フィルタリング部、(3)変調部、復調部、(4)波形変形部、(5)ヒステリシス変換部、(6)非線形変換部、▲3▼錯触力覚誘起評価部、(7)選択スクリーニング部、(8)フィードバック部を備える。
基本波形生成部は、ハプティックス生成のための振動の基本波形として、例えば、正弦波、三角波、のこぎり波、矩形波、台形波、非線形波形、歪波形、加速・減速波形といった波形データを生成する。
サンプリング部は、ハプティックス生成のための振動波形として、ハプティック・センサーからなる測定装置、ハプティック・レコーダーであるサンプリング装置(デジタル化装置)を備え、実物体の感触・触感などの感覚にかかわる物理・物性データおよび物理・物性から知覚・誘起される感覚量をデータ化する。
ハプティック・センサーは、赤外線やレーザー等からなる光学センサー、加速度センサー、画像カメラ・センサーなどの物理量計測器、干渉計などの物理現象計測器、脳波計・筋電計などの生理量計測器などから構成され、物体表面の形状、粗さ、弾力、粘性、変形、などのハプティック特性(例えば、触感・感触、感覚要素、三原触、振動、振動感、などの物理的特性、感覚的特性、主観的特性、生理的特性)にかかわる物理量および物理量の変化、感覚量および感覚量の変化を計測し、アナログデータやデジタルデータなどのデータ情報が変換・編集・記録される。合成部へのデータは、記憶装置に記憶されたデータを用いてもよい。
ここで、サンプリング部では、実物体以外に、仮想物体も対象となる。仮想物体のデジタルデータから、上記に該当する、物理量および物理量の変化、感覚量および感覚量の変化が得られる。また、生理・心理・物理計測による、主観量や生理量の計測を通して、仮想物体から人がイメージした、想像した、印象を受けた感覚量および感覚量の変化が用いられてもよい。自然現象、人の生活・行動、計算機上の現象、情報空間上の変化からサンプリングされたデータでも良い。多様な波形パターンを入手できるのならば、対象を問わない。
合成部は、これらのデータから、各種演算を行って、様々な複雑波形を生成できる。その演算として、(1)加減除算、関数演算(例えば、関数電卓等で使われる関数や、その他、初等関数、高等関数)、(2)フィルタリング演算(例えば、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、フィルター関数)、(3)変調・復調(電気・通信・工学関係で使われるすべての変調方式・復調方式)、(4)波形変形(アフィン変形、関数による変形、データ・テーブルによる変形、物理特性を模した変形、写像・投影変形)、(5)ヒステリシス変換(ヒステリシス関数を用いた変換・変形)、(6)非線形変換(非線形関数を用いた変換・変形)、畳み込み演算、逆演算などによって、演算・合成される。
錯触力覚誘起評価部は、錯触力覚の感覚量を推定するモデル、ディープ・ラーニングなどの人工知能技術による感覚・感覚量の推定・評価、人による主観的評価や生理計測などによる客観的評価などによって、感覚やハプティックにかかわる評価が行われる。
選択スクリーニング部は、評価をもとに、その波形と感覚・感覚量との関係を数値化し、分類する。感覚要素や三原触に関する感覚強度として、データ、データベース化される。感覚強度が不十分や不要と判断されたものは、データとしては排除される。残ったデータは、錯触力覚誘起アルゴリズムを構成するデータとなる。
波形パターンの特徴を示すパラメタと錯触力覚の感覚強度の関係が対応づけられる。この対応付けにもとづいて、手動、もしくは、計算機が自動で、合成演算の方法やパラメタを変化(摂動法、パラメタの全域で変化させる全域スキャン方法)させて、合成波形を生成し、その時の感覚の変化を評価する。これにより得られたデータにより、錯触力覚を誘起するパラメタが同定、錯触力覚モデルが推定、錯触力覚誘起アルゴリズムが導出される。
フィードバック部は、選択スクリーニング部で得られた波形データを、基本波形やサンプリング波形と同様に、合成部への入力として利用する。
なお、フィードバック部がない、フィードバック部を使用しないアルゴリズムもある。
同様に、アルゴリズムにおいて、他の上記の部がない、使用しないは、問わない。
基本波形、サンプリング波形、フィードバックされた波形との合成により、本来の感覚とは異なる感覚、置換・編集された感覚、よりリアリティが増した強調感覚、リアリティをぼかした抑制感覚、今までの現実空間では体験できなかった感覚、物理法則に従わない感覚を知覚・体験させることができる。
すべての波形パターンについて、錯触力覚の誘起強度(誘起率)や感覚が評価・検討され、数値化、アルゴリズム化される。錯触力覚の感覚が検出された波形について、フィルタリングや、何らかの演算を行って、基本波形の成分が抽出されたならば、誘起波形生成アルゴリズムの波形パターンとみとめられる。
合成手法として、加減除算、フィルタリング、変調・復調、波形変形、非線形変換、ヒステリシス変換などのさまざまな、演算、変形、歪ませ方が利用できる。合成された錯触力覚誘起波形は、錯触力覚誘起評価部において、その波形が錯触力覚を誘起する感覚の度合が評価、ラベリングされる。その評価に基づいて、波形が取捨・選択され、メモリやデータベースへの保存・登録が行われる。これら保存・登録されたデータは、自由に呼び出す事が可能になる。また、生成された錯触力覚誘起波形は、合成部に戻して再利用される。この合成部における波形データの利用は、このようなフィードバックでも良いし、メモリやデータベースに保存されたデータの呼び出しでも利用できる。
感覚の評価は、被験者実験によって得られた主観的データや生理的データに基づいて行われる。また、データなどによって構築された触力覚感覚モデル(ハプティクス・モデル)に基づいて評価されてもよい。
評価ラベリングは、三原触モデルにおける三原触の属性空間にマッピングされる。このマッピングは、他のハプティクス・モデルによる属性空間でも良い。
基本波形生成部や錯触力覚誘起評価部、およびアルゴリズム全体にわたって、人工知能における技術、例えば、ディープ・ラーニングやニューラルネットワーク、遺伝的アルゴリズムなどを用いることで、高性能化、効率化が図られる。
錯触力覚誘起波形は、錯覚を誘起する波形、例えば、正弦波、三角波、のこぎり波、矩形波、台形波、非線形波形、歪波形、加速・減速波形、これらの複合波形およびこれらの波形から編集・変形・合成された波形を備える。錯触力覚誘起波形は、錯触力覚を誘起する波形ならば特に問わない。ここで、非線形波形とは、感覚の非線形性やヒステリシス効果を利用し、錯触力覚を誘起する波形を示す。
加速・減速波形とは、ここでは、加速部や減速部を有する波形を示す。錯触力覚の誘起の度合い(誘起量、誘起強度、誘起された感覚量)は、主観的な評価でも良いし、情報伝達媒体によって評価される。
情報伝達媒体とは、感覚受容器の発火や発火波形、神経を伝搬する信号波形、反射系を伝搬する信号波形、脳波、神経伝達物質の伝搬、生理活性物質の伝搬、ペプチドや免疫物質の伝搬などの、生理的な反応やその情報伝達を行う媒体を意味する。また、評価は、これらの情報から得られたデータや導出されたモデル、仮説モデルにもとづいて行われてもよい。
錯触力覚誘起波形は、IT端末のViewer、Browser、Editor等で使用されるフォーマットによって、表示、確認、編集することが可能である。錯触力覚誘起波形は、波形をサンプリング・デジタル化したRawファイル形式でも良いし、Wavファイル形式などの音声・音響用のファイル形式を利用してもよい。画像用のファイル形式でもよい。なんらかの波形を再生できるものならば、そのファイル形式を問わない。
図4は、ハプティク・システム・アーキテクチャーの構成図を示す。
感覚をデザインするモデラーは、実際のハードおよびコンテンツの開発現場での使い勝手を考慮し、物理刺激層、知覚・感覚層、認知層、デザイン層に分けて、システム・アーキテクチャーが構成できる。
下位の物理刺激層は、錯触力覚を誘起させるための物理刺激を発生させるデバイス・システム層であり、振動波形パターンの生成、および空間的な制御、ヒトの動きに合わせたインタラクティブな制御・誘起が行われる。空間的な制御においては、振動アクチュエータ・アレイや、空間的な振動分布・パターンを制御する振動モード制御などが用いられ、空間をデジタル的に、もしくは、アナログ的に、空間パターンが制御される。空間的な制御により、抑制効果、強調効果、エッジ効果、模様知覚、均質・不均質さの知覚などの触力覚に関する効果が制御できる。
知覚・感覚層は、体性感覚における、皮膚感覚と深部感覚での各感覚要素(痛覚、温覚、冷覚、圧覚、触覚、位置覚、運動覚、抵抗覚、重量覚、振動覚など)からなり、各感覚要素を誘起・知覚できるViewer等を用いて確認できる。認知層では、知覚・感覚層のプリミティブな感覚要素を、ヒトの動作に即した形状・質感・機能に合わせてコンテクスト(コンテンツ)を構成したハプティクス・ストーリー(音楽で言うところの楽譜)を記号化・言語化している。体感的に確認しながら、コンテンツのデザインを行うことができる。
最上位のデザイン層では、VRやARなどにおけるバーチャルなコンテンツの制作において、CADやイラストレータ、アニメーション制作ツールにおける配色の作業のように、静態のハプティクな属性プロパティに加え、動態モデルや多体インタラクションに合わせたハプティクな属性プロパティを選ぶ事ができる。プロパティは、パラメタの数値で設定してもよいし、三原触モデルからプリセットされた感覚データや、プリセットデータからハプティック・パレット上で合成された感覚データを選択してもよい。
ハプティック・パレットは、絵の具のパレットのように、三原触理論(三原触モデル)をもとに、複数の感覚要素から、新たな感覚を合成するツールである。
各層は、モジュール化が可能である。
これらは一例であり、システムとしてモジュール化され、他のモジュール構成からなる階層構造のアーキテクチャ―でもよい。
ハプティク・システム・アーキテクチャーの物理刺激層で生成される波形、および提示される物理刺激は、感覚器官や神経や脳を発火させる刺激であり、振動刺激、運動刺激、電気刺激、力や運動量の変化、機械的や電気的などによって実装される。
知覚・感覚層は、その刺激(例えば、振動波形パターン)と、人が誘起・知覚する感覚との対応関係を表わす、情報空間である。その情報空間は、データ・テーブルで表わされていても、関数や、物質や情報空間、人の記憶・身体や、そのほかの方法でも、対応関係が表現されるものならば特に問わない。
認知層は、意識と無意識の両方及び又は片方において、素材や物質、コンテンツ、コンテクストとしての特徴・属性の理解や情動的・感情的な心理的な情報へと影響・関係する。情動的な気持ちや精神状態ともインタラクティブに関係する。
多体インタラクションでは、複数のデバイス、例えば、左右両手に持ったデバイスでの異なる波形パターン制御によって、左手経由および右手経由で誘起された感覚・錯覚が、脳・神経において融合・合成され、新たな感覚が誘起されるように制御される。また、左右の両手に関わらず、身体の異なる部位においても同様である。空間的な融合に加えて、同じ部位の異なる時間における感覚の融合も、マスキング・前後効果・順序効果などの時間にかかわる効果を介して制御される。
図5は、三原触モデルを用いたハプティック・デザイン・モジュールの概念図を示す。
以下に、デザイン層における、三原触モデルを用いたハプティック・デザイン・モジュールについて説明する。
三原触モデルにおける三属性は、触相、彩度(方向の明確さ・Sharpness)、強度から構成されている。触相は、圧覚、触覚、力覚から構成される触相空間にマッピングされており、そのマッピングパラメータを調整することで、色パレットと同様に、さまざまな感触、中間的な感触、感触のグラデーション、モーフィングが可能である。これらの三属性や三原触モデルのもととなる、主成分や因子の抽出・選定、因子名の命名(触相、彩度、強度、圧覚、触覚、力覚、等)は、任意に行うことができるため、これら以外の因子や命名を用いても良い。
刺激として無限の波形パターンが存在し、その刺激によって誘起される感覚が、人が知覚・認知する特性を示す感覚空間にマッピングされる。刺激は物理量で表わされた物理空間であり、ハプティクスの感覚空間は、人や評価モデルによって主観的及び又は客観的に評価された感覚量によってマッピングされた情報空間である。そのため、ある感覚量に対応する刺激(波形パターン)は無数に存在する。そして、感覚空間を構成する感覚要素や因子を表わす言葉の選び方も無数にある。一例として、その因子を3つとし、X、Y、Zとする。また、Xを周波数、Yを加速度としてもよい。もしくは、Xを波数、中心周波数、Yを加速・減速、加速度感、推進度、打撃度としてもよい。因子の数は、1つの因子でも、2以上の因子数でもよく、因子数や因子名は、モデルに関係・依存し、任意に設定できる。波形パターンは、周波数だけでは、その特性を語る(表現する)ことができない。三原触モデルにおけるアルゴリズムとは、このようなデータの集まりによって表現される情報空間である。
触相の圧覚、触覚、力覚は、振動波形のパターンの制御によって実装されており、触力覚や錯触力覚の感覚要素(感触・触感など)を誘起・提示される。波形パターンは、皮膚への運動量・刺激の変化を通して、各感覚受容器の発火、神経系、脳における情報処理に関わる。その波形パターンの分類方法は感覚因子の解釈・命名によってさまざまに考えられる。そのひとつである圧覚、触覚、力覚の三原触理論(三原触モデル)において、周波数・加速度空間にマッピングする場合を図5に示す。
図5において、彩度は、力の方向性や感触のクリアさ、シャープネスを意味し、波形パターンによって誘起される感覚量に対する主観評価の評価強度によって、数量化される。
強度は、振幅の大きさに加え、波形パターンによって誘起される感覚量に対する主観評価の評価強度によって、数量化される。
触相、彩度、強度は、生理・心理・物理実験による、主観的評価実験、生理的評価実験により、数値化され、三原触モデルが数値テーブル化(データベース化)、もしくは、関数化される。
以上のデバイス、アルゴリズム、アーキテクチャ―は、錯触力覚以外の、例えば、従来型の触力覚においても有用・有効であり、利用することができる。
力覚・圧覚・触覚は、対象の感覚要素に関する主成分・因子などの分析やモデリング、仮説をもとに抽出・命名される物であり、別の因子や命名でもよい。
電機・電子機器、情報処理装置、医療機器、玩具、ゲーム機器
錯触力覚デバイス10
錯触力覚誘起装置12
ハプティクスCPU14
記憶素子16
錯触力覚誘起生成装置18
アクティブタッチ装置19
入力装置20
出力装置22
触力覚アクチュエータ24

Claims (5)

  1. 外部からの情報を入力する入力装置と、錯触力覚誘起装置を備え、該錯触力覚誘起装置は、ハプティクスCPUと、錯触力覚を誘起するためのモジュールを、力覚、圧覚、及び触覚を含む感覚因子ごとに有するプログラムであって、錯触力覚誘起関数を生成するプログラムを備える記憶素子と、前記プログラムに従って前記ハプティクスCPUを駆動して非線形特性を備える誘起された錯触力覚を生成する錯触力覚誘起生成装置とを備え、前記生成された錯触力覚を備える情報を出力する出力装置とを備え、前記錯触力覚誘起生成装置は、基本波形生成を基に錯触力覚誘起要素波形を生成し、該錯触力覚誘起要素波形を変調、加工、及び編集して錯触力覚誘起駆動波形を生成し、
    前記入力装置は、サンプリング波形、圧覚情報、触覚情報、力覚情報、プリセット情報、状態情報、及びフィードバック情報を入力し、
    前記錯触力覚誘起生成装置は、前記プログラムに従って、前記入力装置を介した入力に応じて、ヒステリシス効果を利用した前記非線形特性を備える錯触力覚を生成する、
    錯触力覚デバイス。
  2. 前記錯触力覚デバイスは、CMOS構造及び又はBiCMOS構造を備えることを特徴とする請求項1記載の錯触力覚デバイス。
  3. 前記出力装置は、1チャネル当たり1自由度以上の駆動波形を出力することを特徴とする請求項1記載の錯触力覚デバイス。
  4. 前記錯触力覚デバイスは、感覚量を提示することを特徴とする請求項1記載の錯触力覚デバイス。
  5. 前記感覚量は、振動の波形パターン及び又は振動の周波数の制御によって提示されることを特徴とする請求項4記載の錯触力覚デバイス。
JP2017238126A 2017-09-25 2017-11-25 錯触力覚デバイス Active JP7174337B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017198865 2017-09-25
JP2017198865 2017-09-25

Publications (2)

Publication Number Publication Date
JP2019060835A JP2019060835A (ja) 2019-04-18
JP7174337B2 true JP7174337B2 (ja) 2022-11-17

Family

ID=66176586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017238126A Active JP7174337B2 (ja) 2017-09-25 2017-11-25 錯触力覚デバイス

Country Status (1)

Country Link
JP (1) JP7174337B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7337579B2 (ja) * 2019-07-24 2023-09-04 トヨタ紡織株式会社 情報処理装置
JP7339806B2 (ja) 2019-08-05 2023-09-06 川崎重工業株式会社 制御システム、ロボットシステム及び制御方法
WO2022075136A1 (ja) * 2020-10-07 2022-04-14 株式会社村田製作所 信号生成装置、信号生成方法及び信号生成プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013145589A (ja) 2007-09-14 2013-07-25 National Institute Of Advanced Industrial & Technology バーチャルリアリティ環境生成装置及びコントローラ装置
JP2015512545A (ja) 2013-01-06 2015-04-27 インテル コーポレイション タッチ・データの分散前処理及びディスプレイ領域制御のための方法、装置、及びシステム
WO2016031118A1 (ja) 2014-08-29 2016-03-03 ソニー株式会社 力覚提示デバイス、力覚提示システム、および力覚提示方法
JP2017073101A (ja) 2015-10-05 2017-04-13 株式会社ミライセンス 触力覚情報提示システム
JP2017522625A (ja) 2015-06-26 2017-08-10 サビック グローバル テクノロジーズ ビー.ブイ. タッチ入力および触覚フィードバック用途のための一体型圧電カンチレバーアクチュエータ・トランジスタ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013145589A (ja) 2007-09-14 2013-07-25 National Institute Of Advanced Industrial & Technology バーチャルリアリティ環境生成装置及びコントローラ装置
JP2015512545A (ja) 2013-01-06 2015-04-27 インテル コーポレイション タッチ・データの分散前処理及びディスプレイ領域制御のための方法、装置、及びシステム
WO2016031118A1 (ja) 2014-08-29 2016-03-03 ソニー株式会社 力覚提示デバイス、力覚提示システム、および力覚提示方法
JP2017522625A (ja) 2015-06-26 2017-08-10 サビック グローバル テクノロジーズ ビー.ブイ. タッチ入力および触覚フィードバック用途のための一体型圧電カンチレバーアクチュエータ・トランジスタ
JP2017073101A (ja) 2015-10-05 2017-04-13 株式会社ミライセンス 触力覚情報提示システム

Also Published As

Publication number Publication date
JP2019060835A (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
JP7366961B2 (ja) 錯触力覚を駆動する方法及び装置
El Saddik et al. Haptics technologies: Bringing touch to multimedia
Kim A SWOT analysis of the field of virtual reality rehabilitation and therapy
Genay et al. Being an avatar “for real”: a survey on virtual embodiment in augmented reality
Eid et al. Affective haptics: Current research and future directions
Spanlang et al. How to build an embodiment lab: achieving body representation illusions in virtual reality
Lin et al. Haptic rendering: foundations, algorithms, and applications
JP7174337B2 (ja) 錯触力覚デバイス
Tajadura-Jiménez et al. Altering one's body-perception through E-Textiles and haptic metaphors
Adilkhanov et al. Vibero: Vibrotactile stiffness perception interface for virtual reality
Kerdegari et al. Centralizing bias and the vibrotactile funneling illusion on the forehead
Kawazoe et al. Tactile echoes: Multisensory augmented reality for the hand
Domingues et al. Embodiments, visualizations, and immersion with enactive affective systems
Dix et al. TouchIT: Understanding Design in a Physical-Digital World
Zuanon Bio-Interfaces: designing wearable devices to organic interactions
Kang et al. Personal sensory VR interface utilizing wearable technology
Do Design for Assistive Augmentation—Mind, Might and Magic
Cho et al. Real-time 3D fluid simulation digital art using BCI
Mattern et al. MIMo: A Multi-Modal Infant Model for Studying Cognitive Development
Eid et al. Soa thresholds for the perception of discrete/continuous tactile stimulation
Grierson et al. NoiseBear: A wireless malleable instrument designed in participation with disabled children
Takacs Cognitive, Mental and Physical Rehabilitation Using a Configurable Virtual Reality System.
Kruijff Unconventional 3D user interfaces for virtual environments
Gatto et al. Design process of a ceramic modeling application for virtual reality art therapy
Shao Tactile Sensing, Information, and Feedback Via Wave Propagation

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200410

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200903

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221020

R150 Certificate of patent or registration of utility model

Ref document number: 7174337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150