JP7380568B2 - 触覚提示装置の事前駆動 - Google Patents
触覚提示装置の事前駆動 Download PDFInfo
- Publication number
- JP7380568B2 JP7380568B2 JP2020536352A JP2020536352A JP7380568B2 JP 7380568 B2 JP7380568 B2 JP 7380568B2 JP 2020536352 A JP2020536352 A JP 2020536352A JP 2020536352 A JP2020536352 A JP 2020536352A JP 7380568 B2 JP7380568 B2 JP 7380568B2
- Authority
- JP
- Japan
- Prior art keywords
- tactile
- drive
- signal
- drive control
- timing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 43
- 230000004043 responsiveness Effects 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 10
- 230000015541 sensory perception of touch Effects 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 230000010365 information processing Effects 0.000 claims description 4
- 230000000630 rising effect Effects 0.000 description 60
- 230000000638 stimulation Effects 0.000 description 34
- 238000005516 engineering process Methods 0.000 description 32
- 238000012545 processing Methods 0.000 description 31
- 230000035807 sensation Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 16
- 230000004044 response Effects 0.000 description 14
- 238000007781 pre-processing Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000012805 post-processing Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008685 targeting Effects 0.000 description 4
- 230000001934 delay Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000000412 mechanoreceptor Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 210000003607 pacinian corpuscle Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Description
例えば、スマートフォン等のタッチパネル搭載モバイル端末においては、パネルのタッチ操作時にパネル(又は筐体)を振動させて指に触覚刺激を与えることで、ボタンのタッチ感を疑似的に作り出すことが行われている。
音楽リスニングにおいては、ヘッドフォン筐体に触覚提示デバイスを組み込み、音楽再生と並行して触覚刺激も与えることで、重低音を強調しているものもある。
コンピュータゲームやVR(仮想現実)の分野では、ユーザの操作に応じてコントローラ内に設置した触覚提示デバイスによってシーンに合わせてインタラクティブに触覚刺激を与えることで、ユーザの没入感を高めるものがある。
アミューズメント施設においては、映画館やテーマパーク等で場面に応じて座席内に設置した触覚提示デバイスによって触覚刺激を与えることで、来場者の臨場感を向上させているものがある。
さらに、医療の分野では、手術ロボットの操作時に、内視鏡の鉗子が臓器に触れた感触(硬さ)を操作者にフィードバックすることで、手術精度を向上させることが研究されている(例:手術支援ロボット ダヴィンチ<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P=2>)
従って、これら振動デバイスが発生する振動は、振幅変化の大きい駆動電圧に対して遅延が発生するものであり、そのため、所望のタイミングで触覚刺激を提示することが難しく、例えば衝突の振動のような急峻な立ち上がりを表現することが困難とされている。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
<1.第一実施形態>
[1-1.触覚再現システムの概要]
[1-2.符号化装置の構成]
[1-3.再生装置の構成]
[1-4.実施形態としての駆動手法]
(駆動手法の概要)
(適用例)
(符号化側の構成)
(復号側の機能構成)
(復号側の処理手順)
[1-5.第一変形例]
[1-6.第二変形例]
[1-7.第三変形例]
[1-8.第四変形例]
<2.第二実施形態>
[2-1.触覚再現システムの構成]
[2-2.第一適用例]
[2-3.第二適用例]
[2-4.第三適用例]
<3.変形例>
<4.実施形態のまとめ>
<5.本技術>
触覚刺激:例えば振動現象等、触覚を人に知覚させるための物理的現象。
触覚提示:触覚刺激を発生させること。
触覚情報:例えば振動情報等、触覚により知覚される情報。
触覚信号:例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。
受触者:触覚提示を受ける人。
触覚特性:人間の触覚に関する特性。
[1-1.触覚再現システムの概要]
図1は、本技術に係る実施形態としての駆動制御装置(再生装置3)を含んで構成される触覚再現システム1の構成例を示している。
先ず、本実施形態において、触覚再現を実現するための環境としては、対象とする触覚情報(触覚刺激)をセンシングして得られる触覚信号を符号化し、該符号化により得られた符号化データDcを収録する収録環境と、符号化データDcを復号して得られる触覚信号に基づいて触覚情報を再現する再現環境とに分けられる。
触覚提示装置6は、受触者の人体における所定の部位に装着され、触覚センサ5でセンシングされた触覚刺激を再現するようにされる。
図2は、符号化装置2の内部構成例を説明するための図である。なお図2では符号化装置2の内部構成例と共に図1に示した触覚センサ5を併せて示している。
図示のように符号化装置2は、増幅器21、A/Dコンバータ22、前処理部23、符号化部24、制御部25、記憶部26、通信部27、及びバスBSを備えている。前処理部23、符号化部24、制御部25、記憶部26、及び通信部27はバスBSを介して接続され、互いにデータ通信可能とされている。
A/D変換された検出信号(つまり触覚刺激のパターンを表す触覚信号)は、前処理部23に入力される。前処理部23においては、ノイズ除去や触覚センサ5のセンサ特性の校正などの各種デジタル信号処理が行われる。
前処理部23による信号処理を施された触覚信号は符号化部24に入力される。
なお、本実施形態としての触覚信号の符号化については改めて説明する。
例えば、制御部25は、通信部27を介して外部装置との間でのデータ通信を行う。
通信部27は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部25は、該通信部27を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、符号化部24により符号化された触覚信号(上述した符号化データDc)を通信部27を介して外部装置に送信させることが可能とされる。
図3は、再生装置3の内部構成例を説明するための図であり、再生装置3の内部構成例と共に図1に示した触覚提示装置6を併せて示している。再生装置3は、本技術に係る駆動制御装置の一実施形態である。
図示のように再生装置3は、増幅器31、D/Aコンバータ32、後処理部33、及び復号部34を備えると共に、制御部35、通信部36、メディアドライブ37、記憶部38、及び操作部39を備えている。後処理部33、復号部34、制御部35、通信部36、メディアドライブ37、及び記憶部38はバスBSを介して接続され、互いにデータ通信可能とされている。
このメディアドライブ37により、可搬型の記録媒体に記録された符号化データDcの読み出しが可能とされる。
制御部35は、操作入力情報に応じた処理を実行する。これにより、再生装置3において操作入力に応じた動作が実現される。
復号部34は、入力した符号化データDcについて、後述する手法で復号を行い、触覚信号を得る。復号部34で得られた触覚信号は後処理部33に入力される。
後処理部33を経た触覚信号は、D/Aコンバータ32に入力されてD/A変換(デジタル/アナログ変換)された後、増幅器31で適切なダイナミックレンジに調整され、触覚提示装置6に出力される。
これにより、触覚提示装置6が触覚信号に基づき駆動され、収録環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる(つまり触覚情報を再現することができる)。
(駆動手法の概要)
ここで、触覚情報を再現するにあたっては、触覚提示装置6において駆動信号に対する応答遅れが少なからず生じることを考慮すべきである。特に、本例のように触覚提示装置6として振動デバイスを用いる場合には、比較的大きな応答遅れが生じ、触覚の再現性低下を招く虞がある。
そこで、本実施形態では、触覚提示装置6の応答性(時間応答性)に起因した触覚提示タイミングの遅延防止を図り、触覚の再現性向上を図ることを目的とする。
先ず、触覚に係る現象としては、常時何らかの刺激が継続するような現象よりも、何らかの物体との接触又は衝突といったような時間的に疎な刺激を受ける現象が多い。そのため、触覚信号としては、例えば図4に例示するように、多くの区間で0の値を持ち、且つ急峻に値が立ち上がるものが多い。
この点を考慮し、以下では図4に例示するような触覚信号を前提とした説明を行う。
ここで、立ち上がり検出のための信号解析は設定した閾値と信号強度の比較によって行っても良いし、信号強度の変化率を見る等の信号処理的手法によって行っても良い。
具体的に、本例では、触覚信号をフレーム単位で扱うことを前提として、フレームごとにこれら立ち上がりタイミングを表す情報、及び立ち上がりの振幅高さを表す情報を付帯させる。
図示のように、触覚信号のフレームFrごとに、それぞれヘッダ部分に対し、フレームFrに最も近い立ち上がり時刻までの残時間を表す情報(図中「T」)、及び立ち上がりの振幅高さを表す情報(図中「A」)を格納する。
以下では、上記「フレームFrに最も近い立ち上がり時刻までの残時間」のことを「立ち上がりまでの時間T」と表記し、また、上記「立ち上がりの振幅高さ」のことを「立ち上がり高さA」と表記する。
立ち上がりまでの時間Tは、例えば、フレームFrの先頭時刻から直近の立ち上がり時刻までの残時間を格納する。
なお、触覚信号のサンプリング周波数を2kHzとした場合、触覚信号の1サンプル=0.5msである。この場合、一つのフレームFrが512サンプルであれば、1フレーム=256msとなる。
図示のようにフレームFrは、ヘッダ情報を格納するための領域であるヘッダ領域に続けて、触覚信号の実データを格納するための実データ領域が設けられている。ヘッダ領域には、先頭側から順にシンク、サンプリング周波数、量子化ビット数、ブロックサイズ、立ち上がりまでの時間T、立ち上がり高さAの情報を格納する領域が設けられている。
シンクは、フレームFrの区切りを表す識別子であり、所定パターンによるデータが格納される。サンプリング周波数、量子化ビット数はそれぞれ触覚信号のサンプリング周波数、量子化ビット数を表す。ブロックサイズは、実データ領域に格納される触覚信号の時間方向におけるサイズを表し、例えばサンプル数を単位とした情報が格納される。
時間長Δtは、例えば触覚提示装置6の応答性を表す係数と立ち上がり高さAとを用いた計算を行う等により、触覚提示装置6の応答性に基づいた値として求める。
なお、触覚提示装置6の応答性を表す係数は、予め定められた値を用いてもよいし、キャリブレーションによって取得してもよい。
なお、起動時間Δtaとしては、増幅器31自体の特性から定数として求められた値を用いることができる。或いは、起動時間Δtaは、立ち上がり高さAに対して動的に求めることもできる。
すなわち、事前駆動の時間長Δtと増幅器31の起動時間Δtaとの和「Δt+Δta」を求める。その上で、立ち上がりまでの時間Tが和Δt+Δta未満(T<Δt+Δta)であるか否かを判定する。そして、T<Δt+Δtaであれば、増幅器31を省電力状態から起動させる。
上記の駆動手法により、増幅器31は、時刻t1で表す触覚信号の立ち上がりタイミングに対してΔt+Δta前に起動され、触覚提示装置6については、時刻t1に対しΔt前に事前駆動が開始される。本例では、事前駆動時の触覚信号の振幅は振幅Aとされる。
このような事前駆動により、触覚提示装置6によって提示される信号は、時刻t1にて振幅Aに到達する。これにより、触覚刺激が最大振幅となるタイミングを、触覚信号が最大振幅となる本来のタイミングに一致させることができる。すなわち、知覚上影響の大きい最大振幅の瞬間を本来の時刻と一致させることができる。
立ち上がり時刻以降のフレームFrには、新たに次の立ち上がり時刻までの残時間を表す時間Tの情報、及び該次の立ち上がりに係る高さAの情報がヘッダに格納されることになる。このとき、触覚信号の振幅が十分に小さく、且つ次の立ち上がりまでに時間がある、具体的には、例えば立ち上がりまでの時間TがΔt+Δtaより大きい場合には、増幅器31を省電力状態とする。
上記のような駆動手法は、スマートフォンなどの携帯型端末で振動付き映画の鑑賞を行う場合に適用することが考えられる。
例えば、再生装置3が振動デバイスとしての触覚提示装置7を内蔵した携帯型端末であるとする。スマートフォン等はコストの観点などで振動デバイスとして偏芯モータが用いられることが多い。しかしながら、偏芯モータは振幅0から所望の振幅に到達するまで100ms程度の時間を要し、応答性が低い。よって、触覚信号をそのまま用いて偏芯モータを駆動しても、触覚提示のタイミングは本来望んだものより100msもの遅延が生じる。これは映画の映像・音声より振動が大きく遅延するということを意味し、ユーザ体験を大きく損なう要因となる。
そこで、本実施形態の駆動手法を適用することが好適である。この場合には、本来の信号立ち上がりタイミングの100ms前から偏芯モータの振動を開始させる。また、増幅器31はそれに先んじて例えば120ms前に起動させる。
これにより、応答性の低い偏芯モータが用いられる場合であっても、触覚提示タイミングの遅延防止を図ることができ、触覚の再現性向上を図ることができる。また、増幅器31が省電力状態となる時間を設けることで、触覚提示に必要な消費電力の削減を図ることができる。
図8は、上記した実施形態としての駆動手法を実現するための符号化部24の内部構成例を示した図である。
図示のように符号化部24は、信号解析部24aと符号化データ生成部24bとを備える。信号解析部24aは、図2に示した前処理部23から入力される触覚信号について信号解析を行って、対象とするフレームFrについての「立ち上がりまでの時間T」及び「立ち上がり高さA」を求める。
図9は、再生装置3が有する実施形態としての駆動手法に係る機能を説明するための機能ブロック図である。
図示のように再生装置3は、駆動部F1と駆動制御部F2としての機能を有している。
駆動部F1は、触覚信号に基づく駆動信号により触覚提示装置6を駆動するもので、本例ではD/Aコンバータ32と増幅器31が該当する。
駆動制御部F2は、触覚提示装置6を触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を駆動部F1に実行させる。本例では、駆動制御部F2としての機能は復号部34により実現される。
ここで、タイミング関連情報は、事前駆動のタイミングに係る情報であり、本例では触覚信号の立ち上がりタイミングを表す「立ち上がりまでの時間T」の情報と、触覚信号の「立ち上がり高さA」の情報が該当する。
符号化により触覚信号に付帯されたタイミング関連情報に基づき事前駆動を実行させることで、適切なタイミングで事前駆動を実行させるにあたって、復号側で触覚信号の解析を行う必要がなくなる。すなわち、復号側の処理負担軽減を図ることができる。
これにより、触覚信号の立ち上がり部分における最大振幅の瞬間について、受触者に対する提示タイミングの遅延防止を図ることが可能とされる。
これにより、触覚信号の立ち上がり部分が時間方向において離散的に存在する場合に対応して、触覚信号の立ち上がり部分以外の期間で増幅器31を省電力状態とすることによる消費電力の削減を図ることが可能とされると共に、事前駆動の開始タイミングよりも前に増幅器31を起動状態としておくことが可能とされる。従って、事前駆動による触覚の再現性向上を、消費電力の削減を図りつつ実現することができる。
図10のフローチャートを参照し、上記した実施形態としての駆動手法を実現するために再生装置3において実行されるべき処理の手順を説明する。
なお、図10に示す処理は、復号部34が符号化データDcの各フレームFrごとに実行する。
なお、増幅器31の起動時間Δtaは、立ち上がり高さAに対して動的に求めることもでき、その場合は該高さAを用いた計算により取得する。
「T<Δt+Δta」ではなく、増幅器31を未だ起動すべきでないと判定した場合、復号部34はステップS105に進み、非零の信号があるか否かを判定する。
ここで、「T<Δt+Δta」ではない場合、すなわち次の立ち上がりまで十分に時間がある場合として考えられるのは、信号の立ち上がり部分間における無信号期間の最中である場合と、信号の立ち上がり部分における立ち上がりタイミング以降の期間の最中である場合の何れかである。ステップS105の判定処理は、これら二つの場合の何れに該当するかを切り分ける処理として機能する。
これにより、触覚信号の立ち上がり部分を除く無信号期間において、増幅器31が無闇に電力消費を行うことの防止が図られ、消費電力の削減が図られる。
上記ステップS105→S107の処理によれば、処理対象とするフレームFrが上記のフレームFr(m+1)である場合に対応して、立ち上がり部分における非零期間の信号を適切に出力することができる。また、このことは、事前駆動としての振幅Aの出力から、立ち上がり部分における非零期間の信号出力に適切に切り替えが行われるということを意味する。
「T<Δt」でなく立ち上がり直前ではないと判定した場合、復号部34は図10に示す一連の処理を終える。
ここで、図10に示した処理では、触覚信号のフレーム単位で事前駆動の開始タイミングを判定する例とした。これによると、例えばフレームFrに含まれるサンプル数とサンプリング周波数から決まるフレームFrの時間長(例えば、サンプル数=128、サンプリング周波数=2kHzであれば64msとなる)が十分短ければ、触覚提示タイミングの遅延低減効果を十分に発揮することができる。
なお、以下の説明において、既にこれまでで説明済みとなった部分と同様となる部分・処理については同一符号・同一ステップ番号を付して重複説明を避ける。
先ず、この場合の復号部34は、ステップS105で非零の信号があると判定した場合に、ステップS202で信号S[n]を出力する処理を実行し、ステップS204に進む。
ここで、「n」は触覚信号の何サンプル目であるかを表す時間インデックスであり、信号S[n]は触覚信号のnサンプル目の値を意味する。
ここで、立ち上がりまでの時間Tについては、触覚信号のサンプリング周波数を「Fs」としたとき、「T=T-1/Fs」により更新する。
ステップS201において、「T≦0」でなければ、復号部34はステップS203に進んで振幅Aを出力し、ステップS204に処理を進める。これにより、「T<Δt」となって以降、「T≦0」となる直前までの間、振幅Aによる事前駆動を行うことができる。
これにより、事前駆動の開始タイミングの正確性向上を図ることが可能とされる。すなわち、実際に触覚提示が開始されるタイミングと本来のタイミングとの一致精度を高めることができる。
ここで、上記では、事前駆動時における触覚信号の振幅を立ち上がり高さAに一致させる例を挙げた。すなわち、事前駆動の駆動信号強度を立ち上がり高さAに応じた強度とする例を挙げた。
しかしながら、最大振幅の瞬間ではなく、受触者が触覚刺激を知覚し始めるタイミングを一致させたい場合には、図12に示すような振動検出閾値曲線に従った振幅で事前駆動を行うことが有効である。
図12は、人間の振動に係る触覚感度の目安を表す振動検出閾値曲線を示している。なお図12において、横軸は周波数、縦軸は触覚刺激(振動:ここでは変位)の大きさを表す。
この振動検出閾値曲線は、人間がその振動を触覚として感じるか感じないか、つまり触覚感度を実験によって調べた一例である。人間は、この曲線より小さい振動は触覚として知覚することができない。
図13に、駆動の例を示す。図示のように、この場合に提示される信号は、事前駆動の期間において、図中に閾値Thとして表した振動検出閾値を超えることはない。
このような駆動により、触覚信号の本来の立ち上がり時刻t1よりも早いタイミングで振動を感じることはなく、それでいて振幅0の状態から振動させるよりは所望の振動強度までの到達時間を短くできるため、提示される振動の最大振幅の瞬間、すなわち時刻t1からのずれも小さくすることができる。
或いは、そのような周波数成分の特定は行わず、事前駆動時の振幅は知覚閾値のうち最も低い閾値に合わせることもできる(例えば、図12の例では300Hz付近の閾値に合わせる)。
第三変形例は、人体の受容器の特性を考慮した手法に係るものである。
人間の皮膚下には触覚情報を知覚するための受容器が複数存在することが一般的に知られている。代表的な受容器として、マイスナー小体(以下「マイスナー」と略称する)、メルケル触盤(以下「メルケル」と略称する)、ルフィニ終末(以下「ルフィニ」と略称する)、及びパチニ小体(以下「パチニ」と略称する)が知られている。
マイスナー、パチニはそれぞれ「FA 1」、「FA 2」とも呼ばれ、FAは「Fast Adapting」の略称である。メルケル、ルフィニはそれぞれ「SA 1」、「SA 2」とも呼ばれ、SAは「Slow Adapting」の略称である。
メルケル(SA 1)は、物体を押し付けている間は継続して神経発火をしており、強度(変位、圧力)検出をしているとされる。マイスナー(FA 1)は物体の押し込み量が一定になるまでの区間、つまり速度検出をしているとされる。パチニ(FA 2)は押し込み変化量が変化する区間、つまり加速度検出を担っているとされる。
図中、実線で表す閾値Th-mはメルケルの振動検出閾値を表し、一点鎖線で表す閾値Th-pはパチニの振動検出閾値を表している。なお、図12に示した振動検出閾値曲線は単独の受容器の特性を示しているわけでなく、図14に示すように複数の受容器によって得られる触覚を合成した特性を示したものである。
具体例として、閾値Th-mで示されるメルケルについては、知覚閾値が比較的高い。且つメルケルは、時間応答性が低いものとされている。このため、触覚信号の立ち上がり部分が主として低い周波数成分(例えば3~2Hz以下)で構成される場合には、該立ち上がり部分に対応する触覚刺激はメルケルによって主に知覚されるものとして、触覚提示装置6を前もって大きく振動させても良く、また刺激提示タイミングの多少のずれも許容される。
一方、閾値Th-pで示されるパチニについては、200Hz程度の比較的高い周波数帯域において知覚閾値が低く良好な感度を示す。且つパチニは、時間応答性が高いものとされている。従って、触覚信号の立ち上がり部分が主として高い周波数成分(例えば200Hz以上)で構成される場合には、該立ち上がり部分に対応する触覚刺激はパチニによって主に知覚されるものとして、事前駆動時の振幅は小さくする。
なお、触覚刺激を知覚する主たる受容器を特定するための信号解析は、復号部34側で行うこともできる。
これまでの説明では、事前駆動の時間長Δtや事前駆動時の振幅が復号部34によって所定に計算・取得されるものとしたが、これら事前駆動の時間長Δtや事前駆動時の振幅については、受触者等のユーザが操作により調整できるようにしてもよい。
具体的に、図15では、再生装置3が例えば液晶ディスプレイや有機EL( electro-luminescence)ディスプレイ等の表示デバイスと、該表示デバイスの表示画面3a上に形成されたタッチパネル操作子とを有する場合におけるGUIを例示している。この図の例では、表示画面3aに表示したスライダー操作子SLにより事前駆動の時間長Δtの長さ、又は事前駆動時の振幅の大きさを調整可能とする構成を示している。
これにより、ユーザの好みや触覚刺激タイミングのずれの許容度度合いに対応することができる。
[2-1.触覚再現システムの構成]
続いて、第二実施形態について説明する。
第二実施形態は、触覚センサ5及び触覚提示装置6を複数設けて、複数チャンネルの触覚信号を扱うものである。
図2に示した符号化装置2との差は、触覚センサ5が複数設けられたことに対応して、増幅器21とA/Dコンバータ22が触覚センサ5ごとに設けられた点と、前処理部23、符号化部24に代えて前処理部23A、符号化部24Aが設けられた点である。
前処理部23Aは、各A/Dコンバータ22が出力するデジタル信号による触覚信号を入力し、各触覚信号について前処理部23と同様の信号処理を施す。
符号化部24Aは、前処理部23Aによる処理が施された各触覚信号を入力し、それら触覚信号について符号化部24と同様の符号化を行う。この場合の符号化データDcは、触覚信号のチャンネルごとに独立したデータとすることもできるし、1本のストリームにおいて各チャンネルの触覚信号を時分割多重したデータとすることもできる。
以下では説明上、符号化部24Aが生成する符号化データDcは後者のストリームデータであるとする。この場合、ストリームデータには、各チャンネルのフレームFrごとに、立ち上がりまでの時間T及び立ち上がり高さAの情報がヘッダに格納される。
図3に示した再生装置3との差は、触覚提示装置6が複数設けられたことに対応して、増幅器31とD/Aコンバータ32が触覚提示装置6ごとに設けられた点と、後処理部33、復号部34に代えて後処理部33A、復号部34Aが設けられた点である。
各チャンネルの触覚信号は、対応するチャンネルのD/Aコンバータ32によりアナログ信号に変換された上で、対応するチャンネルの増幅器31を介し、対応するチャンネルの触覚提示装置6に出力される。
ここで、人間の触覚は体全体の広範囲で感じるものであるため、その提示においても広範囲を刺激するために多数の触覚提示装置6を使用することや、より多様な触覚を提示するために周波数特性の異なる複数の触覚提示装置6を組合わせて広帯域の触覚情報を提示することが考えられる。
この胴提示型の触覚デバイスにおいては、各触覚提示装置6がそれぞれ人体の胴における異なる部位に対し触覚刺激を提示できるように配置されている。触覚提示装置6は、触覚情報を体の広範囲に提示可能とするために、なるべく多くの数配置されることが望ましい。
なお、図18ではTシャツ型の触覚デバイスを例示しているが、ジャケット型等の他の形状による触覚デバイスを採用することもできる。
具体的に、復号部34Aは、異種の触覚提示装置6が混在して用いられる場合に対応して、チャンネルごとに、用いられる触覚提示装置6の応答性に応じた時間長Δtを求める。すなわち、触覚提示装置6としてリニアアクチュエータが用いられるチャンネルについては、リニアアクチュエータの応答性と立ち上がり高さAとに基づき時間長Δtを計算する。また、触覚提示装置6として圧電素子(リニアアクチュエータよりも応答性が高いものとされる)が用いられるチャンネルについては、圧電素子の応答性と立ち上がり高さAとに基づき時間長Δtを計算する。
ここで、周波数特性が異なる異種の触覚提示装置6は、それぞれが異なる受容器を対象として触覚刺激を与えるようにすることもできる。
例えば、メルケル、マイスナー、パチニの各受容器は、それぞれ良好な反応を示す周波数帯域が異なっており、概ね、メルケルは低域に、マイスナーは中域に、パチニは高域に良好な反応を示すと言える。これら受容器の特性は明確に分割された帯域だけに反応するわけではないが、一例として、低域をメルケルの特性に合わせて3Hz未満とし、中域をマイスナーの特性に合わせて3Hz以上40Hz未満とし、高域をパチニの特性に合わせて40Hz以上1000Hz以下と定義することが考えられる。
この場合、触覚提示装置6としては、それぞれ低域、中域、高域に良好な感度を示すメルケル用、マイスナー用、パチニ用の3種の触覚提示装置6を用いる。
例えば、符号化部24Aは、チャンネルごとに、そのチャンネルの触覚提示装置6が対象とする受容器を識別するための識別情報をフレームFrのヘッダに格納しておく。復号部34Aでは、該識別情報に基づき、チャンネルごとに受容器に応じた駆動信号強度、開始タイミングにより事前駆動を実行させる。
特に、振動デバイス等については、低域から高域までの広帯域に良好な感度を示す触覚提示装置6の実現は困難であることから、本例のように受容器ごとに異なる周波数特性の触覚提示装置6を用いることは、触覚の再現性向上を図る上で有効である。
人間の触覚特性は部位によって異なり得るものであり、例えば背中と上腕のような異部位では振動検出閾値等の知覚閾値も異なり得る。
そこで、触覚提示装置6の人体への装着部位に応じて、事前駆動時の振幅(駆動信号強度)を可変とすることもできる。この場合、符号化部24Aは、チャンネルごとに、そのチャンネルの触覚提示装置6が装着される部位を識別するための識別情報をフレームFrのヘッダに格納しておく。復号部34Aでは、該識別情報に基づき、チャンネルごとに装着部位に応じた駆動信号強度により事前駆動を実行させる。
なお、上記では、事前駆動の時間長Δtや増幅器31の起動時間Δtaを復号部34(34A)側で求める例を挙げたが、これらの情報を符号化部24(24A)側で触覚信号の信号解析に基づき求めて符号化データDcに格納し、復号部34(34A)ではこれら格納情報に基づき事前駆動や増幅器31の制御を行う構成とすることもできる。
上記のように実施形態としての駆動制御装置(再生装置3、3A)は、触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部(F1、増幅器31)により、触覚提示装置を触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させる駆動制御部(F2、復号部34、34A)を備えるものである。
従って、触覚提示装置の応答性に起因した触覚提示タイミングの遅延防止を図ることができ、触覚の再現性向上を図ることができる。
また、偏芯モータと圧電素子のように応答性が異なる触覚提示装置を併用する場合も、それらの応答時間の差を吸収して提示刺激を同期させることができる。
従って、触覚提示装置の応答性に起因した触覚提示タイミングの遅延防止を図ることができ、触覚の再現性向上を図ることができる。
従って、触覚提示装置の応答性に起因した触覚提示タイミングの遅延防止を図ることができ、触覚の再現性向上を図ることができる。
従って、復号側の処理負担軽減を図ることができる。
従って、復号側の処理負担軽減を図ることができる。
従って、復号側の処理負担軽減を図ることができる。
従って、当該最大振幅の瞬間についての知覚遅延防止を図ることによる触覚の再現性向上を図ることができる。
従って、受触者が本来のタイミングよりも前に触覚刺激を知覚し始めてしまうことの防止を図るという面で、触覚の再現性向上を図ることができる。
従って、触覚提示タイミングの遅延防止を図る上での処理負担軽減を図ることができる。
従って、実際に触覚提示が開始されるタイミングと本来のタイミングとの一致精度を高めることができ、触覚の再現性向上を図ることができる。
従って、事前駆動の実行態様についてのカスタマイズ性向上が図られ、触覚再現システムの利便性向上を図ることができる。
従って、事前駆動による触覚の再現性向上を、消費電力の削減を図りつつ実現することができる。
従って、触覚の再現性向上を図ることができる。
従って、触覚の再現性向上を図ることができる。
従って、触覚の再現性向上を図ることができる。
なお本技術は以下のような構成も採ることができる。
(1)
触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部に、前記触覚提示装置を前記触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させる駆動制御部を備える
駆動制御装置。
(2)
前記駆動制御部は、
前記触覚提示装置の応答性に応じたタイミングで前記事前駆動を開始させる
前記(1)に記載の駆動制御装置。
(3)
前記駆動制御部は、
前記触覚信号の立ち上がり高さに応じたタイミングで前記事前駆動を開始させる
前記(1)又は(2)に記載の駆動制御装置。
(4)
前記触覚信号には、符号化により前記事前駆動のタイミングに係る情報であるタイミング関連情報が付帯されており、
前記駆動制御部は、
前記タイミング関連情報に基づいて前記駆動部に前記事前駆動を実行させる
前記(1)乃至(3)の何れかに記載の駆動制御装置。
(5)
前記タイミング関連情報は前記触覚信号の立ち上がりタイミングを表す情報を含む
前記(4)に記載の駆動制御装置。
(6)
前記タイミング関連情報は前記触覚信号の立ち上がり高さを表す情報を含む
前記(4)又は(5)に記載の駆動制御装置。
(7)
前記駆動制御部は、
前記事前駆動を前記触覚信号の立ち上がり高さに応じた駆動信号強度により実行させる
前記(1)乃至(6)の何れかに記載の駆動制御装置。
(8)
前記駆動制御部は、
前記事前駆動を人間の触覚に係る知覚閾値に応じた駆動信号強度により実行させる
前記(1)乃至(7)の何れかに記載の駆動制御装置。
(9)
前記駆動制御部は、
前記知覚閾値の最低値に応じた駆動信号強度により前記事前駆動を実行させる
前記(8)に記載の駆動制御装置。
(10)
前記駆動制御部は、
前記触覚信号のフレーム単位で前記事前駆動の開始タイミングを判定する
前記(1)乃至(9)の何れかに記載の駆動制御装置。
(11)
前記駆動制御部は、
前記触覚信号のサンプル単位で前記事前駆動の開始タイミングを判定する
前記(1)乃至(9)の何れかに記載の駆動制御装置。
(12)
前記駆動制御部は、
操作に基づき前記事前駆動の開始タイミング又は駆動信号強度を設定する
前記(1)乃至(11)の何れかに記載の駆動制御装置。
(13)
前記駆動部は、
増幅器により増幅した前記駆動信号により前記触覚提示装置を駆動し、
前記駆動制御部は、
前記触覚信号の振幅値に基づき前記増幅器を省電力状態とする制御を行うと共に、前記事前駆動の開始タイミングに基づき前記増幅器を起動状態とする制御を行う
前記(1)乃至(12)の何れかに記載の駆動制御装置。
(14)
前記駆動部は、
複数の前記触覚提示装置を駆動し、
前記駆動制御部は、
複数の前記触覚提示装置間で触覚提示タイミングが同期するように前記事前駆動を行う
前記(1)乃至(13)の何れかに記載の駆動制御装置。
(15)
前記駆動部は、
それぞれが人体の異なる受容器に対して触覚提示を行う複数の前記触覚提示装置を駆動し、
前記駆動制御部は、
前記触覚提示装置ごとの前記事前駆動を、前記受容器の特性に応じた駆動信号強度又は開始タイミングにより実行させる
前記(1)乃至(14)の何れかに記載の駆動制御装置。
(16)
前記駆動部は、
複数の前記触覚提示装置を駆動し、
前記駆動制御部は、
前記触覚提示装置ごとの前記事前駆動を、前記触覚提示装置の人体における触覚提示部位に応じた駆動信号強度により実行させる
前記(1)乃至(15)の何れかに記載の駆動制御装置。
Claims (17)
- 触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部に、前記触覚提示装置を前記触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させる駆動制御部を備え、
前記触覚信号には、符号化により前記事前駆動のタイミングに係る情報であるタイミング関連情報が付帯されており、
前記駆動制御部は、
前記タイミング関連情報に基づいて前記駆動部に前記事前駆動を実行させる
駆動制御装置。 - 前記駆動制御部は、
前記触覚提示装置の応答性に応じたタイミングで前記事前駆動を開始させる
請求項1に記載の駆動制御装置。 - 前記駆動制御部は、
前記触覚信号の立ち上がり高さに応じたタイミングで前記事前駆動を開始させる
請求項1に記載の駆動制御装置。 - 前記タイミング関連情報は前記触覚信号の立ち上がりタイミングを表す情報を含む
請求項1に記載の駆動制御装置。 - 前記タイミング関連情報は前記触覚信号の立ち上がり高さを表す情報を含む
請求項1に記載の駆動制御装置。 - 前記駆動制御部は、
前記事前駆動を前記触覚信号の立ち上がり高さに応じた駆動信号強度により実行させる
請求項1に記載の駆動制御装置。 - 前記駆動制御部は、
前記事前駆動を人間の触覚に係る知覚閾値に応じた駆動信号強度により実行させる
請求項1に記載の駆動制御装置。 - 前記駆動制御部は、
前記知覚閾値の最低値に応じた駆動信号強度により前記事前駆動を実行させる
請求項7に記載の駆動制御装置。 - 前記駆動制御部は、
前記触覚信号のフレーム単位で前記事前駆動の開始タイミングを判定する
請求項1に記載の駆動制御装置。 - 前記駆動制御部は、
前記触覚信号のサンプル単位で前記事前駆動の開始タイミングを判定する
請求項1に記載の駆動制御装置。 - 前記駆動制御部は、
操作に基づき前記事前駆動の開始タイミング又は駆動信号強度を設定する
請求項1に記載の駆動制御装置。 - 前記駆動部は、
増幅器により増幅した前記駆動信号により前記触覚提示装置を駆動し、
前記駆動制御部は、
前記触覚信号の振幅値に基づき前記増幅器を省電力状態とする制御を行うと共に、前記事前駆動の開始タイミングに基づき前記増幅器を起動状態とする制御を行う
請求項1に記載の駆動制御装置。 - 前記駆動部は、
複数の前記触覚提示装置を駆動し、
前記駆動制御部は、
複数の前記触覚提示装置間で触覚提示タイミングが同期するように前記事前駆動を行う
請求項1に記載の駆動制御装置。 - 前記駆動部は、
それぞれが人体の異なる受容器に対して触覚提示を行う複数の前記触覚提示装置を駆動し、
前記駆動制御部は、
前記触覚提示装置ごとの前記事前駆動を、前記受容器の特性に応じた駆動信号強度又は開始タイミングにより実行させる
請求項1に記載の駆動制御装置。 - 前記駆動部は、
複数の前記触覚提示装置を駆動し、
前記駆動制御部は、
前記触覚提示装置ごとの前記事前駆動を、前記触覚提示装置の人体における触覚提示部位に応じた駆動信号強度により実行させる
請求項1に記載の駆動制御装置。 - 触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部に、前記触覚提示装置を前記触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させると共に、
前記触覚信号には、符号化により前記事前駆動のタイミングに係る情報であるタイミング関連情報が付帯されており、
前記タイミング関連情報に基づいて前記駆動部に前記事前駆動を実行させる
駆動制御方法。 - 触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部に、前記触覚提示装置を前記触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させる駆動制御機能、を情報処理装置に実現させると共に、
前記触覚信号には、符号化により前記事前駆動のタイミングに係る情報であるタイミング関連情報が付帯されており、
前記駆動制御機能では、
前記タイミング関連情報に基づいて前記駆動部に前記事前駆動を実行させる
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018151657 | 2018-08-10 | ||
JP2018151657 | 2018-08-10 | ||
PCT/JP2019/023277 WO2020031497A1 (ja) | 2018-08-10 | 2019-06-12 | 触覚提示装置の事前駆動 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020031497A1 JPWO2020031497A1 (ja) | 2021-12-09 |
JP7380568B2 true JP7380568B2 (ja) | 2023-11-15 |
Family
ID=69413829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020536352A Active JP7380568B2 (ja) | 2018-08-10 | 2019-06-12 | 触覚提示装置の事前駆動 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11482086B2 (ja) |
JP (1) | JP7380568B2 (ja) |
CN (1) | CN112534381A (ja) |
DE (1) | DE112019004062T5 (ja) |
WO (1) | WO2020031497A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11188193B2 (en) * | 2017-11-14 | 2021-11-30 | International Business Machines Corporation | Method and system for generating a prioritized list |
JPWO2021176842A1 (ja) * | 2020-03-04 | 2021-09-10 | ||
JP7205512B2 (ja) * | 2020-03-19 | 2023-01-17 | 豊田合成株式会社 | アクチュエータ装置 |
WO2021260876A1 (ja) * | 2020-06-25 | 2021-12-30 | 日本電信電話株式会社 | ハプティクスデバイス |
WO2022259301A1 (ja) * | 2021-06-07 | 2022-12-15 | 日本電信電話株式会社 | 触覚デバイスおよび制御方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008123431A (ja) | 2006-11-15 | 2008-05-29 | Canon Inc | 接触提示装置及び方法 |
JP2010506302A (ja) | 2006-10-04 | 2010-02-25 | イマーション コーポレーション | 近接感知による触覚的効果 |
JP2011192277A (ja) | 2010-03-16 | 2011-09-29 | Immersion Corp | プレタッチ及びトゥルータッチのためのシステム及び方法 |
JP2017220026A (ja) | 2016-06-07 | 2017-12-14 | 株式会社Nttドコモ | コンテンツ提示装置 |
JP2018060313A (ja) | 2016-10-04 | 2018-04-12 | ソニー株式会社 | 受信装置および方法、送信装置および方法、並びにプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100077899A (ko) * | 2008-12-29 | 2010-07-08 | 엘지이노텍 주식회사 | 햅틱 드라이버 기능을 내장한 진동 모터 |
CN103460164B (zh) * | 2012-02-03 | 2017-02-08 | 松下知识产权经营株式会社 | 触觉提示装置以及触觉提示装置的驱动方法 |
JP6264287B2 (ja) * | 2012-08-31 | 2018-01-24 | 日本電気株式会社 | 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム |
KR101458192B1 (ko) * | 2013-06-11 | 2014-11-05 | 재단법인 실감교류인체감응솔루션연구단 | 햅틱 피드백 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체 |
US10599218B2 (en) | 2013-09-06 | 2020-03-24 | Immersion Corporation | Haptic conversion system using frequency shifting |
JP6445921B2 (ja) | 2015-04-21 | 2018-12-26 | 任天堂株式会社 | 振動信号生成プログラム、振動信号生成システム、振動信号生成装置、振動信号生成方法、およびデータ出力プログラム |
CN204537059U (zh) * | 2015-04-25 | 2015-08-05 | 吉林大学 | 多点静电力触觉再现驱动装置 |
WO2020044621A1 (ja) * | 2018-08-29 | 2020-03-05 | アルプスアルパイン株式会社 | 入力装置、制御方法及びプログラム |
-
2019
- 2019-06-12 WO PCT/JP2019/023277 patent/WO2020031497A1/ja active Application Filing
- 2019-06-12 CN CN201980051887.8A patent/CN112534381A/zh active Pending
- 2019-06-12 US US17/265,795 patent/US11482086B2/en active Active
- 2019-06-12 DE DE112019004062.6T patent/DE112019004062T5/de active Pending
- 2019-06-12 JP JP2020536352A patent/JP7380568B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010506302A (ja) | 2006-10-04 | 2010-02-25 | イマーション コーポレーション | 近接感知による触覚的効果 |
JP2008123431A (ja) | 2006-11-15 | 2008-05-29 | Canon Inc | 接触提示装置及び方法 |
JP2011192277A (ja) | 2010-03-16 | 2011-09-29 | Immersion Corp | プレタッチ及びトゥルータッチのためのシステム及び方法 |
JP2017220026A (ja) | 2016-06-07 | 2017-12-14 | 株式会社Nttドコモ | コンテンツ提示装置 |
JP2018060313A (ja) | 2016-10-04 | 2018-04-12 | ソニー株式会社 | 受信装置および方法、送信装置および方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020031497A1 (ja) | 2021-12-09 |
CN112534381A (zh) | 2021-03-19 |
WO2020031497A1 (ja) | 2020-02-13 |
US20210166532A1 (en) | 2021-06-03 |
US11482086B2 (en) | 2022-10-25 |
DE112019004062T5 (de) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7380568B2 (ja) | 触覚提示装置の事前駆動 | |
US9508236B2 (en) | Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns | |
JP6744940B2 (ja) | 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 | |
US9454881B2 (en) | Haptic warping system | |
US10613636B2 (en) | Haptic playback adjustment system | |
EP2703951B1 (en) | Sound to haptic effect conversion system using mapping | |
KR20140122210A (ko) | 오프라인 햅틱 변환 시스템 | |
US20240030936A1 (en) | Decoding apparatus, decoding method, and program | |
WO2020008716A1 (ja) | 符号化装置、符号化方法、復号装置、復号方法、伝送システム、受信装置、プログラム | |
JP2019067396A (ja) | ハプティックピッチ制御 | |
WO2021176842A1 (ja) | 復号装置、復号方法、プログラム、符号化装置、符号化方法 | |
JPWO2020003728A1 (ja) | 符号化装置、符号化方法、復号装置、復号方法、プログラム | |
WO2023189406A1 (ja) | 出力制御装置、出力制御プログラム及び出力制御方法 | |
JP2023150608A (ja) | 触覚音提供システム、触覚音提供プログラム、及び、触覚音提供方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230626 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7380568 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |