JP7380568B2 - 触覚提示装置の事前駆動 - Google Patents

触覚提示装置の事前駆動 Download PDF

Info

Publication number
JP7380568B2
JP7380568B2 JP2020536352A JP2020536352A JP7380568B2 JP 7380568 B2 JP7380568 B2 JP 7380568B2 JP 2020536352 A JP2020536352 A JP 2020536352A JP 2020536352 A JP2020536352 A JP 2020536352A JP 7380568 B2 JP7380568 B2 JP 7380568B2
Authority
JP
Japan
Prior art keywords
tactile
drive
signal
drive control
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020536352A
Other languages
English (en)
Other versions
JPWO2020031497A1 (ja
Inventor
裕史 竹田
志朗 鈴木
修一郎 錦織
淳 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020031497A1 publication Critical patent/JPWO2020031497A1/ja
Application granted granted Critical
Publication of JP7380568B2 publication Critical patent/JP7380568B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Description

本技術は、振動信号等の触覚信号に基づき受触者に触覚情報を提示する触覚提示装置についての駆動制御を行う駆動制御装置とその方法、及びプログラムに関する。
近年、人間の皮膚に接触させた触覚提示デバイスにより触覚刺激を与えるアプリケーションが様々な場面で利用されている。ここで、「触覚提示」とは、触覚刺激を発生させることを意味する。
例えば、スマートフォン等のタッチパネル搭載モバイル端末においては、パネルのタッチ操作時にパネル(又は筐体)を振動させて指に触覚刺激を与えることで、ボタンのタッチ感を疑似的に作り出すことが行われている。
音楽リスニングにおいては、ヘッドフォン筐体に触覚提示デバイスを組み込み、音楽再生と並行して触覚刺激も与えることで、重低音を強調しているものもある。
コンピュータゲームやVR(仮想現実)の分野では、ユーザの操作に応じてコントローラ内に設置した触覚提示デバイスによってシーンに合わせてインタラクティブに触覚刺激を与えることで、ユーザの没入感を高めるものがある。
アミューズメント施設においては、映画館やテーマパーク等で場面に応じて座席内に設置した触覚提示デバイスによって触覚刺激を与えることで、来場者の臨場感を向上させているものがある。
また、研究開発段階のものにおいては、ロボット等を遠隔操作する際に、ロボット又は操作される対象物が受けた振動を操作者の手元のコントローラにフィードバックすることで、ロボット又は対象物周辺の状況を直感的に察知させて危険予測に役立てるものもある(例:災害対応ロボット<http://www.rm.is.tohoku.ac.jp/quince_mech/#_8>)
さらに、医療の分野では、手術ロボットの操作時に、内視鏡の鉗子が臓器に触れた感触(硬さ)を操作者にフィードバックすることで、手術精度を向上させることが研究されている(例:手術支援ロボット ダヴィンチ<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P=2>)
ここで、触覚再生デバイスに関しては、偏心モータ(ERM)やリニアアクチュエータ(LRA)等、人間の触覚において感度の良い周波数(数100Hz程度)に共振周波数を持つデバイスが広く使用されている(例えば下記特許文献1を参照)。
また、触覚信号については、触覚センサによりセンシングした信号を用いるのではなく、音声信号に基づき生成した信号を用いる場合もある(例えば下記特許文献2を参照)
特開2016-202486 特開2015-53038号公報
ここで、現状の触覚提示デバイスはデバイス自体が物理的に振動して人体を振動させて触覚刺激を発生させる、いわゆる振動デバイスが主流である。振動デバイスは比較的感度の低い皮膚を振動させて十分に刺激する必要があるために大きな質量を持つことが多く、そのため時間応答性が低い傾向にある。すなわち、駆動電圧として或る振幅値を与えても振幅0の状態から所望の振幅に到達するまでの時間が長く、例えば偏芯モータでは100ms程度、リニアアクチュエータでは昇圧回路を併用して一時的に駆動電圧をオーバーシュートさせる等の工夫を施しても10ms程度を要することが知られている。
従って、これら振動デバイスが発生する振動は、振幅変化の大きい駆動電圧に対して遅延が発生するものであり、そのため、所望のタイミングで触覚刺激を提示することが難しく、例えば衝突の振動のような急峻な立ち上がりを表現することが困難とされている。
本技術は上記の事情に鑑み為されたものであり、触覚提示装置の応答性に起因した触覚提示タイミングの遅延防止を図り、触覚の再現性向上を図ることを目的とする。
本技術に係る駆動制御装置は、触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部に、前記触覚提示装置を前記触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させる駆動制御部を備えるものである。
上記の事前駆動により、実際に触覚提示が開始されるタイミングを触覚信号の立ち上がりタイミングに対して近づけることが可能とされる。
上記した本技術に係る駆動制御装置においては、前記駆動制御部は、前記触覚提示装置の応答性に応じたタイミングで前記事前駆動を開始させることが望ましい。
これにより、実際に触覚提示が開始されるタイミングを触覚提示装置の応答性に応じたタイミングとすることが可能とされる。
上記した本技術に係る駆動制御装置においては、前記駆動制御部は、前記触覚信号の立ち上がり高さに応じたタイミングで前記事前駆動を開始させることが望ましい。
これにより、実際に触覚提示が開始されるタイミングを触覚信号の立ち上がり高さに応じたタイミングとすることが可能とされる。
上記した本技術に係る駆動制御装置においては、前記触覚信号には、符号化により前記事前駆動のタイミングに係る情報であるタイミング関連情報が付帯されており、前記駆動制御部は、前記タイミング関連情報に基づいて前記駆動部に前記事前駆動を実行させることが望ましい。
これにより、適切なタイミングで事前駆動を実行させるにあたり、復号側で触覚信号の解析を行う必要がなくなる。
上記した本技術に係る駆動制御装置においては、前記タイミング関連情報は前記触覚信号の立ち上がりタイミングを表す情報を含むことが望ましい。
これにより、適切なタイミングで事前駆動を実行させるにあたり、復号側で触覚信号の立ち上がりタイミングを検出するための信号解析を行う必要がなくなる。
上記した本技術に係る駆動制御装置においては、前記タイミング関連情報は前記触覚信号の立ち上がり高さを表す情報を含むことが望ましい。
これにより、適切なタイミングで事前駆動を実行させるにあたり、復号側で触覚信号の立ち上がり高さを検出するための信号解析を行う必要がなくなる。
上記した本技術に係る駆動制御装置においては、前記駆動制御部は、前記事前駆動を前記触覚信号の立ち上がり高さに応じた駆動信号強度により実行させることが望ましい。
これにより、触覚信号の立ち上がり部分における最大振幅の瞬間について、受触者に対する提示タイミングの遅延防止を図ることが可能とされる。
上記した本技術に係る駆動制御装置においては、前記駆動制御部は、前記事前駆動を人間の触覚に係る知覚閾値に応じた駆動信号強度により実行させることが望ましい。
これにより、触覚信号の立ち上がり部分に応じた触覚刺激を受触者が知覚し始めるタイミングを本来のタイミングに一致させることが可能とされる。
上記した本技術に係る駆動制御装置においては、前記駆動制御部は、前記知覚閾値の最低値に応じた駆動信号強度により前記事前駆動を実行させることが望ましい。
これにより、触覚信号の立ち上がり部分の周波数成分に拘わらず、触覚刺激が知覚されてしまうことの防止が図られる。
上記した本技術に係る駆動制御装置においては、前記駆動制御部は、前記触覚信号のフレーム単位で前記事前駆動の開始タイミングを判定することが望ましい。
これにより、事前駆動の開始タイミングを判定するにあたり、触覚信号のサンプル単位でのタイマ管理を行う必要がなくなる。
上記した本技術に係る駆動制御装置においては、前記駆動制御部は、前記触覚信号のサンプル単位で前記事前駆動の開始タイミングを判定することが望ましい。
これにより、事前駆動の開始タイミングの正確性向上を図ることが可能とされる。
上記した本技術に係る駆動制御装置においては、前記駆動制御部は、操作に基づき前記事前駆動の開始タイミング又は駆動信号強度を設定することが望ましい。
これにより、受触者等のシステム利用者が事前駆動の開始タイミングや駆動信号強度を調整することが可能とされる。
上記した本技術に係る駆動制御装置においては、前記駆動部は、増幅器により増幅した前記駆動信号により前記触覚提示装置を駆動し、前記駆動制御部は、前記触覚信号の振幅値に基づき前記増幅器を省電力状態とする制御を行うと共に、前記事前駆動の開始タイミングに基づき前記増幅器を起動状態とする制御を行うことが望ましい。
これにより、触覚信号の立ち上がり部分が時間方向において離散的に存在する場合に対応して、触覚信号の立ち上がり部分以外の期間で増幅器を省電力状態とすることによる消費電力の削減を図ることが可能とされると共に、事前駆動の開始タイミングよりも前に増幅器を起動状態としておくことが可能とされる。
上記した本技術に係る駆動制御装置においては、前記駆動部は、複数の前記触覚提示装置を駆動し、前記駆動制御部は、複数の前記触覚提示装置間で触覚提示タイミングが同期するように前記事前駆動を行うことが望ましい。
これにより、応答性の異なる複数の触覚提示装置が用いられる場合において、触覚提示装置ごとに触覚提示タイミングのバラツキが生じることの防止が図られる。
上記した本技術に係る駆動制御装置においては、前記駆動部は、それぞれが人体の異なる受容器に対して触覚提示を行う複数の前記触覚提示装置を駆動し、前記駆動制御部は、前記触覚提示装置ごとの前記事前駆動を、前記受容器の特性に応じた駆動信号強度又は開始タイミングにより実行させることが望ましい。
これにより、複数の触覚提示装置によって人体の異なる受容器を対象とした触覚提示を行う場合において、触覚提示装置ごとの事前駆動を、対象とする受容器の特性に応じた適正な態様により行うことが可能とされる。
上記した本技術に係る駆動制御装置においては、前記駆動部は、複数の前記触覚提示装置を駆動し、前記駆動制御部は、前記触覚提示装置ごとの前記事前駆動を、前記触覚提示装置の人体における触覚提示部位に応じた駆動信号強度により実行させることが望ましい。
これにより、複数の触覚提示装置によって人体の異なる部位を対象とした触覚提示を行う場合において、触覚提示装置ごとの事前駆動を、対象とする人体の部位の触覚特性に応じた適正な態様により行うことが可能とされる。
また、本技術に係る駆動制御方法は、触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部に、前記触覚提示装置を前記触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させる駆動制御方法である。
このような駆動制御方法によっても、上記した本技術に係る駆動制御装置と同様の作用が得られる。
さらに、本技術に係るプログラムは、触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部に、前記触覚提示装置を前記触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させる機能、を情報処理装置に実現させるプログラムである。
このような本技術に係るプログラムにより、上記した本技術に係る駆動制御装置が実現される。
本技術によれば、触覚提示装置の応答性に起因した触覚提示タイミングの遅延防止を図ることができ、触覚の再現性向上を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術に係る実施形態としての駆動制御装置を含んで構成される触覚再現システムの構成例を示した図である。 第一実施形態としての符号化装置の内部構成例を説明するための図である。 第一実施形態としての駆動制御装置の内部構成例を説明するための図である。 触覚信号の波形を例示した図である。 実施形態としての符号化手法の説明図である。 実施形態としての符号化フォーマットの具体例を示した図である。 実施形態としての駆動手法による駆動の例を示した図である。 実施形態としての駆動手法を実現するための符号化部の内部構成例を示した図である。 実施形態としての駆動手法に係る機能を説明するための駆動制御装置の機能ブロック図である。 実施形態としての駆動手法を実現するために実行すべき具体的な処理手順を示したフローチャートである。 第一変形例としての処理手順を示したフローチャートである。 振動検出閾値曲線の説明図である。 第二変形例における駆動の例を示した図である。 受容器ごとの振動検出閾値曲線を示した図である。 事前駆動の開始タイミングや駆動信号強度を調整するためのGUIを例示した図である。 第二実施形態としての符号化装置の内部構成例を説明するための図である。 第二実施形態としての駆動制御装置の内部構成例を説明するための図である。 胴提示型の触覚デバイスを例示した図である。
以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

<1.第一実施形態>
[1-1.触覚再現システムの概要]
[1-2.符号化装置の構成]
[1-3.再生装置の構成]
[1-4.実施形態としての駆動手法]
(駆動手法の概要)
(適用例)
(符号化側の構成)
(復号側の機能構成)
(復号側の処理手順)
[1-5.第一変形例]
[1-6.第二変形例]
[1-7.第三変形例]
[1-8.第四変形例]
<2.第二実施形態>
[2-1.触覚再現システムの構成]
[2-2.第一適用例]
[2-3.第二適用例]
[2-4.第三適用例]
<3.変形例>
<4.実施形態のまとめ>
<5.本技術>
ここで、本明細書においては以下のように各用語を定義する。
触覚刺激:例えば振動現象等、触覚を人に知覚させるための物理的現象。
触覚提示:触覚刺激を発生させること。
触覚情報:例えば振動情報等、触覚により知覚される情報。
触覚信号:例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。
受触者:触覚提示を受ける人。
触覚特性:人間の触覚に関する特性。
<1.第一実施形態>
[1-1.触覚再現システムの概要]

図1は、本技術に係る実施形態としての駆動制御装置(再生装置3)を含んで構成される触覚再現システム1の構成例を示している。
先ず、本実施形態において、触覚再現を実現するための環境としては、対象とする触覚情報(触覚刺激)をセンシングして得られる触覚信号を符号化し、該符号化により得られた符号化データDcを収録する収録環境と、符号化データDcを復号して得られる触覚信号に基づいて触覚情報を再現する再現環境とに分けられる。
図示のように触覚再現システム1は、収録環境において、触覚センサ5と、触覚センサ5が接続された符号化装置2とを備えると共に、再現環境において、符号化データDcを取得可能に構成された再生装置3と、再生装置3に接続された触覚提示装置6とを備えている。
触覚センサ5は、触覚刺激のセンシングを行うセンサであり、本例では、ピエゾピックアップや加速度センサ等の振動センサが用いられる。触覚センサ5は、センシングの対象物、すなわち本例では人体に接触させることで、振動や運動を電圧変化として出力する。
符号化装置2は、例えばCPU(Central Processing Unit)やDSP(Digital Signal Processor)等のコンピュータ装置を備えて構成され、触覚センサ5による検出信号(触覚信号)について所定のデータフォーマットに従った符号化を行い、該符号化により得られる符号化データDcを例えば内部に設けられた記憶デバイスに収録する。
再生装置3は、CPUやDSP等のコンピュータ装置を備えて構成され、取得した符号化データDcを復号し、該復号により得た触覚信号に基づいて触覚提示装置6を駆動する。例えば、収録環境において収録された符号化データDcは、インターネット等の所要のネットワークを介して再生装置3に取得させる。或いは、符号化データDcは可搬型の記録媒体に収録し、該記録媒体を介して再生装置3に符号化データDcを取得させることもできる。
触覚提示装置6は、触覚刺激を発生させるデバイスとされ、本例ではバイブレータやアクチュエータ等の振動デバイスが用いられる。
触覚提示装置6は、受触者の人体における所定の部位に装着され、触覚センサ5でセンシングされた触覚刺激を再現するようにされる。
図1に示す触覚再現システム1は、触覚センサ5を装着された人物によって知覚される触覚情報を受触者において再現するシステムとして、両者が遠隔に配置された場合にも対応可能なシステムとして構成されている。
なお、図1では触覚提示装置6が再生装置3と別体に設けられる例を示しているが、触覚提示装置6は再生装置3と一体に構成することもできる。具体的には、例えばスマートフォン等の携帯型端末に振動デバイスが内蔵された構成等を挙げることができる。
[1-2.符号化装置の構成]

図2は、符号化装置2の内部構成例を説明するための図である。なお図2では符号化装置2の内部構成例と共に図1に示した触覚センサ5を併せて示している。
図示のように符号化装置2は、増幅器21、A/Dコンバータ22、前処理部23、符号化部24、制御部25、記憶部26、通信部27、及びバスBSを備えている。前処理部23、符号化部24、制御部25、記憶部26、及び通信部27はバスBSを介して接続され、互いにデータ通信可能とされている。
触覚センサ5の検出信号は増幅器21に入力されて適切なダイナミックレンジに調整された後、A/Dコンバータ22に入力されてA/D変換(アナログ/デジタル変換)される。
A/D変換された検出信号(つまり触覚刺激のパターンを表す触覚信号)は、前処理部23に入力される。前処理部23においては、ノイズ除去や触覚センサ5のセンサ特性の校正などの各種デジタル信号処理が行われる。
前処理部23による信号処理を施された触覚信号は符号化部24に入力される。
符号化部24は、例えばDSPで構成され、入力された触覚信号を所定のデータフォーマットに従って符号化する。
なお、本実施形態としての触覚信号の符号化については改めて説明する。
制御部25は、例えばCPU、ROM(Read Only Memory)、RAM(Random Access Memory)等を有するマイクロコンピュータを備えて構成され、ROMに記憶されたプログラムに従った処理を実行することで符号化装置2の全体制御を行う。
例えば、制御部25は、通信部27を介して外部装置との間でのデータ通信を行う。
通信部27は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部25は、該通信部27を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、符号化部24により符号化された触覚信号(上述した符号化データDc)を通信部27を介して外部装置に送信させることが可能とされる。
記憶部26は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等の記憶デバイスを包括的に表したものであり、符号化装置2において各種のデータ記憶に用いられる。例えば記憶部26には、制御部25による制御に必要なデータが記憶される。また、制御部25の制御に基づき、符号化部24により符号化された触覚信号(符号化データDc)を記憶部26に記憶させることもできる。
[1-3.再生装置の構成]

図3は、再生装置3の内部構成例を説明するための図であり、再生装置3の内部構成例と共に図1に示した触覚提示装置6を併せて示している。再生装置3は、本技術に係る駆動制御装置の一実施形態である。
図示のように再生装置3は、増幅器31、D/Aコンバータ32、後処理部33、及び復号部34を備えると共に、制御部35、通信部36、メディアドライブ37、記憶部38、及び操作部39を備えている。後処理部33、復号部34、制御部35、通信部36、メディアドライブ37、及び記憶部38はバスBSを介して接続され、互いにデータ通信可能とされている。
制御部35は、例えばCPU、ROM、RAM等を有するマイクロコンピュータを備えて構成され、ROMに記憶されたプログラムに従った処理を実行することで再生装置3の全体制御を行う。
通信部36は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されている。制御部35は、通信部36を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、ネットワーク上のサーバ装置等の外部装置より、符号化データDcを通信部36によって受信させることが可能とされる。
メディアドライブ37は、可搬型の記録媒体を着脱可能に構成され、装着された記録媒体に対するデータの書き込み及び読み出しが可能とされたリーダ/ライタ部として構成されている。メディアドライブ37が対応する記録媒体としては、例えば、メモリカード(例えば可搬型のフラッシュメモリ)や光ディスク記録媒体等を挙げることができる。
このメディアドライブ37により、可搬型の記録媒体に記録された符号化データDcの読み出しが可能とされる。
記憶部38は、例えばHDDやSSD等の記憶デバイスを包括的に表したものであり、再生装置3において各種のデータ記憶に用いられる。例えば記憶部38には、制御部35による制御に必要なデータが記憶される。また、制御部35の制御に基づき、メディアドライブ37により読み出された符号化データDcや、通信部36により外部装置から受信した符号化データDcを記憶部38に記憶させることもできる。
操作部39は、再生装置3に設けられた各種の操作子を包括的に表したものであり、操作入力に応じた操作入力情報を制御部35に出力する。
制御部35は、操作入力情報に応じた処理を実行する。これにより、再生装置3において操作入力に応じた動作が実現される。
復号部34には、制御部35の制御に基づき符号化データDcが入力される。
復号部34は、入力した符号化データDcについて、後述する手法で復号を行い、触覚信号を得る。復号部34で得られた触覚信号は後処理部33に入力される。
後処理部33は、入力された触覚信号について、必要に応じて触覚提示装置6の校正や所定のフィルタ処理等の信号処理を施す。
後処理部33を経た触覚信号は、D/Aコンバータ32に入力されてD/A変換(デジタル/アナログ変換)された後、増幅器31で適切なダイナミックレンジに調整され、触覚提示装置6に出力される。
これにより、触覚提示装置6が触覚信号に基づき駆動され、収録環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる(つまり触覚情報を再現することができる)。
なお、上記では触覚信号に関してのみ言及したが、触覚信号と共に音声信号や映像信号を収録して、受触者に触覚情報と共に音や映像を提供する構成とすることもできる。
[1-4.実施形態としての駆動手法]
(駆動手法の概要)

ここで、触覚情報を再現するにあたっては、触覚提示装置6において駆動信号に対する応答遅れが少なからず生じることを考慮すべきである。特に、本例のように触覚提示装置6として振動デバイスを用いる場合には、比較的大きな応答遅れが生じ、触覚の再現性低下を招く虞がある。
そこで、本実施形態では、触覚提示装置6の応答性(時間応答性)に起因した触覚提示タイミングの遅延防止を図り、触覚の再現性向上を図ることを目的とする。
以下、このような触覚提示タイミングの遅延防止を図るための実施形態としての駆動手法について説明する。
先ず、触覚に係る現象としては、常時何らかの刺激が継続するような現象よりも、何らかの物体との接触又は衝突といったような時間的に疎な刺激を受ける現象が多い。そのため、触覚信号としては、例えば図4に例示するように、多くの区間で0の値を持ち、且つ急峻に値が立ち上がるものが多い。
この点を考慮し、以下では図4に例示するような触覚信号を前提とした説明を行う。
本例では、符号化装置2において、触覚信号を解析し、信号の急峻な立ち上がりの時刻と、立ち上がり高さとを求めておく。具体的に、図4に示す波形においては、時刻t1、t2においてそれぞれ触覚信号が急峻に立ち上がっている。これらの立ち上がりを信号解析によりそれぞれ検出し、立ち上がりの時刻t1、t2と立ち上がりの高さA1、A2を求める。
ここで、立ち上がり検出のための信号解析は設定した閾値と信号強度の比較によって行っても良いし、信号強度の変化率を見る等の信号処理的手法によって行っても良い。
符号化装置2では、触覚信号の符号化として、時刻t1、t2のような立ち上がりタイミングを表す情報と、立ち上がり高さA1、A2のような各立ち上がりの振幅高さを表す情報とを触覚信号に付帯させる符号化を行う。
具体的に、本例では、触覚信号をフレーム単位で扱うことを前提として、フレームごとにこれら立ち上がりタイミングを表す情報、及び立ち上がりの振幅高さを表す情報を付帯させる。
図5は、実施形態としての符号化手法の説明図である。
図示のように、触覚信号のフレームFrごとに、それぞれヘッダ部分に対し、フレームFrに最も近い立ち上がり時刻までの残時間を表す情報(図中「T」)、及び立ち上がりの振幅高さを表す情報(図中「A」)を格納する。
以下では、上記「フレームFrに最も近い立ち上がり時刻までの残時間」のことを「立ち上がりまでの時間T」と表記し、また、上記「立ち上がりの振幅高さ」のことを「立ち上がり高さA」と表記する。
立ち上がりまでの時間Tは、例えば、フレームFrの先頭時刻から直近の立ち上がり時刻までの残時間を格納する。
なお、触覚信号のサンプリング周波数を2kHzとした場合、触覚信号の1サンプル=0.5msである。この場合、一つのフレームFrが512サンプルであれば、1フレーム=256msとなる。
図6に、符号化フォーマットの具体例を示す。
図示のようにフレームFrは、ヘッダ情報を格納するための領域であるヘッダ領域に続けて、触覚信号の実データを格納するための実データ領域が設けられている。ヘッダ領域には、先頭側から順にシンク、サンプリング周波数、量子化ビット数、ブロックサイズ、立ち上がりまでの時間T、立ち上がり高さAの情報を格納する領域が設けられている。
シンクは、フレームFrの区切りを表す識別子であり、所定パターンによるデータが格納される。サンプリング周波数、量子化ビット数はそれぞれ触覚信号のサンプリング周波数、量子化ビット数を表す。ブロックサイズは、実データ領域に格納される触覚信号の時間方向におけるサイズを表し、例えばサンプル数を単位とした情報が格納される。
符号化装置2(符号化部24)は、図6に示すフォーマットに従って触覚信号の符号化を行い、符号化データDcを生成する。
再生装置3では、符号化データDcにおけるフレームFrのヘッダに格納された立ち上がりまでの時間T、及び立ち上がり高さAの情報に基づき、触覚提示装置6を触覚信号の立ち上がりタイミングに対し前もって駆動する。以下、このように触覚提示装置6を触覚信号の立ち上がりタイミングに対し前もって駆動することを「事前駆動」と表記する。
再生装置3において、復号部34は、先ず、立ち上がり高さAの情報に基づき、触覚提示装置6が該立ち上がり高さAに相当する振動を発生するまでに要する時間長を計算する。この時間長は、触覚提示装置6に所望振幅による振動を発生させるまでに必要となる事前駆動の時間長と換言できるものであり、以下「時間長Δt」と表記する。
時間長Δtは、例えば触覚提示装置6の応答性を表す係数と立ち上がり高さAとを用いた計算を行う等により、触覚提示装置6の応答性に基づいた値として求める。
なお、触覚提示装置6の応答性を表す係数は、予め定められた値を用いてもよいし、キャリブレーションによって取得してもよい。
ここで、本例の再生装置3では、触覚信号が先の図4に示したように時間的に疎な触覚刺激の発生を表現する信号であることを前提として、増幅器31の省電力制御を行っている。具体的に、触覚信号の立ち上がり間に存在する、振幅が十分に小さい期間において、増幅器31を省電力状態に制御するものである。
増幅器31が省電力状態から起動するまでには或る程度の時間を要する。このため本例では、上記のような事前駆動を行う際に、事前駆動の開始タイミングよりも前に増幅器31の起動制御を行う。すなわち、増幅器31が省電力状態から起動するまでに要する時間を起動時間Δtaとしたとき、省電力状態にある増幅器31を、事前駆動の開始タイミングよりも起動時間Δtaだけ前に起動させる制御を行う。
なお、起動時間Δtaとしては、増幅器31自体の特性から定数として求められた値を用いることができる。或いは、起動時間Δtaは、立ち上がり高さAに対して動的に求めることもできる。
復号部34は、入力される符号化データDcに関して、フレームFrごとに以下の処理を行う。
すなわち、事前駆動の時間長Δtと増幅器31の起動時間Δtaとの和「Δt+Δta」を求める。その上で、立ち上がりまでの時間Tが和Δt+Δta未満(T<Δt+Δta)であるか否かを判定する。そして、T<Δt+Δtaであれば、増幅器31を省電力状態から起動させる。
このように増幅器31を起動させた後は、立ち上がりまでの時間Tが事前駆動の時間長Δt未満(T<Δt)となったか否かを判定する。そして、T<Δtであれば事前駆動を開始する。本例では、事前駆動時には、触覚信号の振幅を立ち上がり高さAによる振幅(以下「振幅A」と表記)とする。
図7に、駆動の例を示す。
上記の駆動手法により、増幅器31は、時刻t1で表す触覚信号の立ち上がりタイミングに対してΔt+Δta前に起動され、触覚提示装置6については、時刻t1に対しΔt前に事前駆動が開始される。本例では、事前駆動時の触覚信号の振幅は振幅Aとされる。
このような事前駆動により、触覚提示装置6によって提示される信号は、時刻t1にて振幅Aに到達する。これにより、触覚刺激が最大振幅となるタイミングを、触覚信号が最大振幅となる本来のタイミングに一致させることができる。すなわち、知覚上影響の大きい最大振幅の瞬間を本来の時刻と一致させることができる。
時刻t1において立ち上がりを迎えた以降、触覚信号が十分に減衰したことに応じて、増幅器31が再度省電力状態に切り替えられる。この結果、増幅器31の消費電力が減少される。
ここで、立ち上がりまでの時間Tが0になったときが本来の立ち上がり時刻であるから、それ以降は触覚信号の本来の振幅に従い触覚提示装置6が駆動されるようにする。
立ち上がり時刻以降のフレームFrには、新たに次の立ち上がり時刻までの残時間を表す時間Tの情報、及び該次の立ち上がりに係る高さAの情報がヘッダに格納されることになる。このとき、触覚信号の振幅が十分に小さく、且つ次の立ち上がりまでに時間がある、具体的には、例えば立ち上がりまでの時間TがΔt+Δtaより大きい場合には、増幅器31を省電力状態とする。
(適用例)

上記のような駆動手法は、スマートフォンなどの携帯型端末で振動付き映画の鑑賞を行う場合に適用することが考えられる。
例えば、再生装置3が振動デバイスとしての触覚提示装置7を内蔵した携帯型端末であるとする。スマートフォン等はコストの観点などで振動デバイスとして偏芯モータが用いられることが多い。しかしながら、偏芯モータは振幅0から所望の振幅に到達するまで100ms程度の時間を要し、応答性が低い。よって、触覚信号をそのまま用いて偏芯モータを駆動しても、触覚提示のタイミングは本来望んだものより100msもの遅延が生じる。これは映画の映像・音声より振動が大きく遅延するということを意味し、ユーザ体験を大きく損なう要因となる。
そこで、本実施形態の駆動手法を適用することが好適である。この場合には、本来の信号立ち上がりタイミングの100ms前から偏芯モータの振動を開始させる。また、増幅器31はそれに先んじて例えば120ms前に起動させる。
これにより、応答性の低い偏芯モータが用いられる場合であっても、触覚提示タイミングの遅延防止を図ることができ、触覚の再現性向上を図ることができる。また、増幅器31が省電力状態となる時間を設けることで、触覚提示に必要な消費電力の削減を図ることができる。
(符号化側の構成)

図8は、上記した実施形態としての駆動手法を実現するための符号化部24の内部構成例を示した図である。
図示のように符号化部24は、信号解析部24aと符号化データ生成部24bとを備える。信号解析部24aは、図2に示した前処理部23から入力される触覚信号について信号解析を行って、対象とするフレームFrについての「立ち上がりまでの時間T」及び「立ち上がり高さA」を求める。
符号化データ生成部24bは、前処理部23から入力される触覚信号と信号解析部24aで得られた「立ち上がりまでの時間T」及び「立ち上がり高さA」とに基づき符号化データDcを生成する。具体的には、図6で説明した符号化フォーマットに従って、ヘッダに立ち上がりまでの時間T及び立ち上がり高さA等の所定情報が格納された符号化データDcを生成する。
(復号側の機能構成)

図9は、再生装置3が有する実施形態としての駆動手法に係る機能を説明するための機能ブロック図である。
図示のように再生装置3は、駆動部F1と駆動制御部F2としての機能を有している。
駆動部F1は、触覚信号に基づく駆動信号により触覚提示装置6を駆動するもので、本例ではD/Aコンバータ32と増幅器31が該当する。
駆動制御部F2は、触覚提示装置6を触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を駆動部F1に実行させる。本例では、駆動制御部F2としての機能は復号部34により実現される。
本例において、駆動制御部F2は、触覚提示装置6の応答性に応じたタイミングで事前駆動を開始させる。これにより、実際に触覚提示が開始されるタイミングを触覚提示装置の応答性に応じたタイミングとすることが可能とされる。
また、本例の駆動制御部F2は、触覚信号の立ち上がり高さAに応じたタイミングで事前駆動を開始させる。これにより、実際に触覚提示が開始されるタイミングを触覚信号の立ち上がり高さに応じたタイミングとすることが可能とされる。
また、本例における駆動制御部F2は、符号化により触覚信号に付帯されたタイミング関連情報に基づいて駆動部F1に事前駆動を実行させる。
ここで、タイミング関連情報は、事前駆動のタイミングに係る情報であり、本例では触覚信号の立ち上がりタイミングを表す「立ち上がりまでの時間T」の情報と、触覚信号の「立ち上がり高さA」の情報が該当する。
符号化により触覚信号に付帯されたタイミング関連情報に基づき事前駆動を実行させることで、適切なタイミングで事前駆動を実行させるにあたって、復号側で触覚信号の解析を行う必要がなくなる。すなわち、復号側の処理負担軽減を図ることができる。
また、本例における駆動制御部F2は、事前駆動を触覚信号の立ち上がり高さAに応じた駆動信号強度により実行させる。
これにより、触覚信号の立ち上がり部分における最大振幅の瞬間について、受触者に対する提示タイミングの遅延防止を図ることが可能とされる。
さらに、本例の再生装置3では、駆動部F1は、増幅器31により増幅した駆動信号により触覚提示装置6を駆動し、駆動制御部F2は、触覚信号の振幅値に基づき増幅器31を省電力状態とする制御を行うと共に、事前駆動の開始タイミングに基づき増幅器31を起動状態とする制御を行っている。
これにより、触覚信号の立ち上がり部分が時間方向において離散的に存在する場合に対応して、触覚信号の立ち上がり部分以外の期間で増幅器31を省電力状態とすることによる消費電力の削減を図ることが可能とされると共に、事前駆動の開始タイミングよりも前に増幅器31を起動状態としておくことが可能とされる。従って、事前駆動による触覚の再現性向上を、消費電力の削減を図りつつ実現することができる。
なお、本例では、駆動部F1と駆動制御部F2とが再生装置3としての同一装置に一体的に構成された例を示しているが、駆動部F1が駆動制御部F2とは別装置に設けられる構成も有り得る。
(復号側の処理手順)

図10のフローチャートを参照し、上記した実施形態としての駆動手法を実現するために再生装置3において実行されるべき処理の手順を説明する。
なお、図10に示す処理は、復号部34が符号化データDcの各フレームFrごとに実行する。
図10において、復号部34はステップS101で、次の立ち上がりまでの時間Tと立ち上がり高さAを取得する処理を行う。すなわち、対象とするフレームFrのヘッダに格納されたこれら立ち上がりまでの時間T、立ち上がり高さAの各情報を取得する。
続くステップS102で復号部34は、立ち上がり高さAに基づき事前駆動の時間長Δtを計算し、次のステップS103で増幅器31の起動時間Δtaを取得する処理を行う。前述のように、事前駆動の時間長Δtは、本例では触覚提示装置6の応答性を表す係数と立ち上がり高さAとを用いて計算する。
なお、増幅器31の起動時間Δtaは、立ち上がり高さAに対して動的に求めることもでき、その場合は該高さAを用いた計算により取得する。
ステップS103に続くステップS104で復号部34は、増幅器31を起動するか否か、具体的には、「T<Δt+Δta」であるか否かを判定する。
「T<Δt+Δta」ではなく、増幅器31を未だ起動すべきでないと判定した場合、復号部34はステップS105に進み、非零の信号があるか否かを判定する。
ここで、「T<Δt+Δta」ではない場合、すなわち次の立ち上がりまで十分に時間がある場合として考えられるのは、信号の立ち上がり部分間における無信号期間の最中である場合と、信号の立ち上がり部分における立ち上がりタイミング以降の期間の最中である場合の何れかである。ステップS105の判定処理は、これら二つの場合の何れに該当するかを切り分ける処理として機能する。
ステップS105において、非零の信号がないと判定した場合(つまり無信号期間である場合)、復号部34はステップS106に進み、増幅器31を省電力状態に制御して図10に示す一連の処理を終える。
これにより、触覚信号の立ち上がり部分を除く無信号期間において、増幅器31が無闇に電力消費を行うことの防止が図られ、消費電力の削減が図られる。
一方、ステップS105において非零の信号があると判定した場合、復号部34はステップS107に進んで入力信号を出力する。すなわち、フレームFrにおける実データ領域に格納された触覚信号を出力する。このステップS105の出力処理を実行したことに応じ、復号部34は図10に示す一連の処理を終える。
ここで、触覚信号の立ち上がりはフレームFrの切れ目とは無関係に生じるものであり、触覚信号の立ち上がりタイミングがフレームFrの切れ目と一致することは希である。触覚信号における対象とする立ち上がりタイミングを「立ち上がりタイミングTt」とし、該立ち上がりタイミングTtを含むフレームFrをm番目のフレームFr(以下「フレームFr(m)と表記)とすると、符号化部24による符号化においては、フレームFr(m)まで、立ち上がりタイミングTtについての「立ち上がりまでの時間T」が格納され、フレームFr(m)の次のフレームFr(m+1)より、立ち上がりタイミングTtの次の立ち上がりタイミングについての「立ち上がりまでの時間T」が格納されることになる。
上記ステップS105→S107の処理によれば、処理対象とするフレームFrが上記のフレームFr(m+1)である場合に対応して、立ち上がり部分における非零期間の信号を適切に出力することができる。また、このことは、事前駆動としての振幅Aの出力から、立ち上がり部分における非零期間の信号出力に適切に切り替えが行われるということを意味する。
続いて、先のステップS104において、「T<Δt+Δta」であり増幅器31を起動すべきであると判定した場合、復号部34はステップS108に進んで増幅器31を起動させる制御を行った後、ステップS109で立ち上がり直前か否か、具体的には「T<Δt」であるか否かを判定する。
「T<Δt」でなく立ち上がり直前ではないと判定した場合、復号部34は図10に示す一連の処理を終える。
一方、「T<Δt」であり立ち上がり直前であると判定した場合、復号部34はステップS110で振幅Aによる信号を出力し、図10に示す一連の処理を終える。これにより、「T<Δt」となったフレームFr以降、上述したフレームFr(m)までの間にわたって事前駆動が行われる。
[1-5.第一変形例]

ここで、図10に示した処理では、触覚信号のフレーム単位で事前駆動の開始タイミングを判定する例とした。これによると、例えばフレームFrに含まれるサンプル数とサンプリング周波数から決まるフレームFrの時間長(例えば、サンプル数=128、サンプリング周波数=2kHzであれば64msとなる)が十分短ければ、触覚提示タイミングの遅延低減効果を十分に発揮することができる。
この一方で、事前駆動の開始タイミングの判定は、サンプル単位で行うこともできる。これにより、フレームFrの時間長が長くても高い時間分解能による判定を行うことができる。
図11に具体的な処理手順の例を示す。
なお、以下の説明において、既にこれまでで説明済みとなった部分と同様となる部分・処理については同一符号・同一ステップ番号を付して重複説明を避ける。
図11において、図10との差は、ステップS107、S110に代えてステップS202、S203が実行されると共に、ステップS201、S204、S205が追加された点である。
先ず、この場合の復号部34は、ステップS105で非零の信号があると判定した場合に、ステップS202で信号S[n]を出力する処理を実行し、ステップS204に進む。
ここで、「n」は触覚信号の何サンプル目であるかを表す時間インデックスであり、信号S[n]は触覚信号のnサンプル目の値を意味する。
ステップS204で復号部34は、フレーム終了であるか否か、すなわち処理対象とするフレームFrの最終サンプルまで処理を実行したかを判定し、フレーム終了でないと判定した場合はステップS205で立ち上がりまでの時間Tと時間インデックスnを更新する処理を実行し、ステップS104に戻る。
ここで、立ち上がりまでの時間Tについては、触覚信号のサンプリング周波数を「Fs」としたとき、「T=T-1/Fs」により更新する。
また、この場合の復号部34は、ステップS109で「T<Δt」であると判定した場合に、ステップS201で「T≦0」であるか否かを判定する。これは、時間インデックスnの表す時刻が、触覚信号における対象とする立ち上がり時刻以降の時刻であるか否かを判定することに相当する。
ステップS201において、「T≦0」でなければ、復号部34はステップS203に進んで振幅Aを出力し、ステップS204に処理を進める。これにより、「T<Δt」となって以降、「T≦0」となる直前までの間、振幅Aによる事前駆動を行うことができる。
一方、「T≦0」であれば、復号部34はステップS202に進み、信号S[n]を出力する。これにより、立ち上がり時刻となった以降は、立ち上がり部分における非零の信号を出力することができる。
図11に示した処理により、事前駆動の開始タイミングを触覚信号のサンプル単位で判定することができる。
これにより、事前駆動の開始タイミングの正確性向上を図ることが可能とされる。すなわち、実際に触覚提示が開始されるタイミングと本来のタイミングとの一致精度を高めることができる。
[1-6.第二変形例]

ここで、上記では、事前駆動時における触覚信号の振幅を立ち上がり高さAに一致させる例を挙げた。すなわち、事前駆動の駆動信号強度を立ち上がり高さAに応じた強度とする例を挙げた。
しかしながら、最大振幅の瞬間ではなく、受触者が触覚刺激を知覚し始めるタイミングを一致させたい場合には、図12に示すような振動検出閾値曲線に従った振幅で事前駆動を行うことが有効である。
図12は、人間の振動に係る触覚感度の目安を表す振動検出閾値曲線を示している。なお図12において、横軸は周波数、縦軸は触覚刺激(振動:ここでは変位)の大きさを表す。
この振動検出閾値曲線は、人間がその振動を触覚として感じるか感じないか、つまり触覚感度を実験によって調べた一例である。人間は、この曲線より小さい振動は触覚として知覚することができない。
そこで、事前駆動は、このような振動検出閾値曲線が表す閾値以下の振幅によって行う。
図13に、駆動の例を示す。図示のように、この場合に提示される信号は、事前駆動の期間において、図中に閾値Thとして表した振動検出閾値を超えることはない。
このような駆動により、触覚信号の本来の立ち上がり時刻t1よりも早いタイミングで振動を感じることはなく、それでいて振幅0の状態から振動させるよりは所望の振動強度までの到達時間を短くできるため、提示される振動の最大振幅の瞬間、すなわち時刻t1からのずれも小さくすることができる。
なお、ここでは振動検出閾値としての、振動に係る人の知覚閾値を例示したが、振動以外の触覚刺激についても、同様に知覚閾値が存在する。
提示する触覚刺激の強度が知覚閾値に応じた強度に到達するまでの立ち上がり時間が考慮する必要のないほど短い場合には、事前駆動の時間長Δtは一定の値として予め定めておくこともできる。或いは、時間長Δtは、知覚閾値の大きさに応じて決めることもできる。
ここで、図12で例示した振動についての閾値曲線のように、知覚閾値は周波数によって異なることがある。この場合、復号部34では、触覚信号についての信号解析を行って立ち上がり部分の主たる周波数成分を特定し、該周波数成分に対応する知覚閾値に応じた振幅(駆動信号強度)により事前駆動を実行させる。
或いは、そのような周波数成分の特定は行わず、事前駆動時の振幅は知覚閾値のうち最も低い閾値に合わせることもできる(例えば、図12の例では300Hz付近の閾値に合わせる)。
[1-7.第三変形例]

第三変形例は、人体の受容器の特性を考慮した手法に係るものである。
人間の皮膚下には触覚情報を知覚するための受容器が複数存在することが一般的に知られている。代表的な受容器として、マイスナー小体(以下「マイスナー」と略称する)、メルケル触盤(以下「メルケル」と略称する)、ルフィニ終末(以下「ルフィニ」と略称する)、及びパチニ小体(以下「パチニ」と略称する)が知られている。
マイスナー、パチニはそれぞれ「FA 1」、「FA 2」とも呼ばれ、FAは「Fast Adapting」の略称である。メルケル、ルフィニはそれぞれ「SA 1」、「SA 2」とも呼ばれ、SAは「Slow Adapting」の略称である。
メルケル(SA 1)は、物体を押し付けている間は継続して神経発火をしており、強度(変位、圧力)検出をしているとされる。マイスナー(FA 1)は物体の押し込み量が一定になるまでの区間、つまり速度検出をしているとされる。パチニ(FA 2)は押し込み変化量が変化する区間、つまり加速度検出を担っているとされる。
図14は、受容器ごとの振動検出閾値曲線を示している。
図中、実線で表す閾値Th-mはメルケルの振動検出閾値を表し、一点鎖線で表す閾値Th-pはパチニの振動検出閾値を表している。なお、図12に示した振動検出閾値曲線は単独の受容器の特性を示しているわけでなく、図14に示すように複数の受容器によって得られる触覚を合成した特性を示したものである。
図14に示すように、振動検出閾値曲線は受容器によって異なる。この性質を利用して、事前駆動の時間長Δt(事前駆動の開始タイミング)や事前駆動時の振幅(事前駆動の駆動信号強度)を、触覚信号の立ち上がり部分における主な周波数成分と、受容器の特性とに基づいて動的に定めることもできる。
具体例として、閾値Th-mで示されるメルケルについては、知覚閾値が比較的高い。且つメルケルは、時間応答性が低いものとされている。このため、触覚信号の立ち上がり部分が主として低い周波数成分(例えば3~2Hz以下)で構成される場合には、該立ち上がり部分に対応する触覚刺激はメルケルによって主に知覚されるものとして、触覚提示装置6を前もって大きく振動させても良く、また刺激提示タイミングの多少のずれも許容される。
一方、閾値Th-pで示されるパチニについては、200Hz程度の比較的高い周波数帯域において知覚閾値が低く良好な感度を示す。且つパチニは、時間応答性が高いものとされている。従って、触覚信号の立ち上がり部分が主として高い周波数成分(例えば200Hz以上)で構成される場合には、該立ち上がり部分に対応する触覚刺激はパチニによって主に知覚されるものとして、事前駆動時の振幅は小さくする。
ここで、立ち上がり部分の触覚刺激を知覚する主たる受容器を特定するための信号解析は、符号化部24により行うことが考えられる。その場合、符号化部24は、例えばフレームFrのヘッダに対し、対象とする立ち上がり部分の触覚刺激を知覚する主たる受容器を示す情報を格納する。復号部34では、該主たる受容器を示す情報に基づき、事前駆動の時間長Δtや事前駆動時の振幅を定める。
なお、触覚刺激を知覚する主たる受容器を特定するための信号解析は、復号部34側で行うこともできる。
[1-8.第四変形例]

これまでの説明では、事前駆動の時間長Δtや事前駆動時の振幅が復号部34によって所定に計算・取得されるものとしたが、これら事前駆動の時間長Δtや事前駆動時の振幅については、受触者等のユーザが操作により調整できるようにしてもよい。
図15は、調整のためのGUI(Graphical User Interface)を例示している。
具体的に、図15では、再生装置3が例えば液晶ディスプレイや有機EL( electro-luminescence)ディスプレイ等の表示デバイスと、該表示デバイスの表示画面3a上に形成されたタッチパネル操作子とを有する場合におけるGUIを例示している。この図の例では、表示画面3aに表示したスライダー操作子SLにより事前駆動の時間長Δtの長さ、又は事前駆動時の振幅の大きさを調整可能とする構成を示している。
これにより、ユーザの好みや触覚刺激タイミングのずれの許容度度合いに対応することができる。
<2.第二実施形態>
[2-1.触覚再現システムの構成]

続いて、第二実施形態について説明する。
第二実施形態は、触覚センサ5及び触覚提示装置6を複数設けて、複数チャンネルの触覚信号を扱うものである。
図16は、第二実施形態としての符号化装置2Aの内部構成例を説明するための図であり、符号化装置2Aの内部構成例と共に複数の触覚センサ5を併せて示している。
図2に示した符号化装置2との差は、触覚センサ5が複数設けられたことに対応して、増幅器21とA/Dコンバータ22が触覚センサ5ごとに設けられた点と、前処理部23、符号化部24に代えて前処理部23A、符号化部24Aが設けられた点である。
前処理部23Aは、各A/Dコンバータ22が出力するデジタル信号による触覚信号を入力し、各触覚信号について前処理部23と同様の信号処理を施す。
符号化部24Aは、前処理部23Aによる処理が施された各触覚信号を入力し、それら触覚信号について符号化部24と同様の符号化を行う。この場合の符号化データDcは、触覚信号のチャンネルごとに独立したデータとすることもできるし、1本のストリームにおいて各チャンネルの触覚信号を時分割多重したデータとすることもできる。
以下では説明上、符号化部24Aが生成する符号化データDcは後者のストリームデータであるとする。この場合、ストリームデータには、各チャンネルのフレームFrごとに、立ち上がりまでの時間T及び立ち上がり高さAの情報がヘッダに格納される。
図17は、第二実施形態としての再生装置3Aの内部構成例を説明するための図であり、再生装置3Aの内部構成例と共に複数の触覚提示装置6を併せて示している。
図3に示した再生装置3との差は、触覚提示装置6が複数設けられたことに対応して、増幅器31とD/Aコンバータ32が触覚提示装置6ごとに設けられた点と、後処理部33、復号部34に代えて後処理部33A、復号部34Aが設けられた点である。
復号部34Aは、符号化データDcにおけるチャンネルごとのフレームFrのデータに基づき、チャンネルごとに復号部34と同様の復号を行って事前駆動をチャンネルごとに実現すると共に、チャンネルごとに増幅器31の省電力制御を行う。
後処理部33Aは、復号部34Aより出力される各チャンネルの触覚信号について後処理部33と同様の信号処理を施し、各触覚信号を対応するチャンネルのD/Aコンバータ32に出力する。
各チャンネルの触覚信号は、対応するチャンネルのD/Aコンバータ32によりアナログ信号に変換された上で、対応するチャンネルの増幅器31を介し、対応するチャンネルの触覚提示装置6に出力される。
[2-2.第一適用例]

ここで、人間の触覚は体全体の広範囲で感じるものであるため、その提示においても広範囲を刺激するために多数の触覚提示装置6を使用することや、より多様な触覚を提示するために周波数特性の異なる複数の触覚提示装置6を組合わせて広帯域の触覚情報を提示することが考えられる。
ここでは、そのように異種の触覚提示装置6を組合わせて用いる場合として、図18に示すような胴提示型の触覚デバイスを用いる場合を例示する。
この胴提示型の触覚デバイスにおいては、各触覚提示装置6がそれぞれ人体の胴における異なる部位に対し触覚刺激を提示できるように配置されている。触覚提示装置6は、触覚情報を体の広範囲に提示可能とするために、なるべく多くの数配置されることが望ましい。
なお、図18ではTシャツ型の触覚デバイスを例示しているが、ジャケット型等の他の形状による触覚デバイスを採用することもできる。
現状において、特に振動デバイスとしての触覚提示装置6は、単体では狭い周波数帯域の振動しか出力できず、よりリアリティの高い触覚情報の提示のため、低周波の出力に優れるリニアアクチュエータと、高周波の出力に優れる圧電素子(ピエゾ素子)のように、周波数特性の異なる触覚提示装置6を併用することが考えられる。
このとき、周波数特性の異なる異種の触覚提示装置6同士では時間応答性が異なるため、それら触覚提示装置6の触覚信号が同期した立ち上がりタイミングを有していても、実際の触覚タイミングが触覚提示装置6ごとにバラつくということが起こり得る。
このような異種の触覚提示装置6間における触覚提示タイミングのずれ防止を図る上でも、実施形態としての駆動手法は有効である。
具体的に、復号部34Aは、異種の触覚提示装置6が混在して用いられる場合に対応して、チャンネルごとに、用いられる触覚提示装置6の応答性に応じた時間長Δtを求める。すなわち、触覚提示装置6としてリニアアクチュエータが用いられるチャンネルについては、リニアアクチュエータの応答性と立ち上がり高さAとに基づき時間長Δtを計算する。また、触覚提示装置6として圧電素子(リニアアクチュエータよりも応答性が高いものとされる)が用いられるチャンネルについては、圧電素子の応答性と立ち上がり高さAとに基づき時間長Δtを計算する。
このように、用いられる触覚提示装置6の種類(応答性)に応じて事前駆動の時間長Δtを求めることで、触覚信号側では立ち上がりタイミングが同期しているにも拘わらず、触覚提示装置6間で触覚提示タイミングにバラツキが生じてしまうことの防止を図ることができる。すなわち、異種の触覚提示装置6間における触覚提示タイミングの同期が図られる。
なお、異種の触覚提示装置6は、図18に示したようにそれぞれが人体の異なる部位に触覚刺激を与えるように配置されることに限らず、同一の部位に触覚刺激を与えるように配置することもできる。
また、第二実施形態において、用いられる触覚提示装置6の種類(応答性)に応じて、事前駆動時の振幅(駆動信号強度)を変更してもよい。
[2-3.第二適用例]

ここで、周波数特性が異なる異種の触覚提示装置6は、それぞれが異なる受容器を対象として触覚刺激を与えるようにすることもできる。
例えば、メルケル、マイスナー、パチニの各受容器は、それぞれ良好な反応を示す周波数帯域が異なっており、概ね、メルケルは低域に、マイスナーは中域に、パチニは高域に良好な反応を示すと言える。これら受容器の特性は明確に分割された帯域だけに反応するわけではないが、一例として、低域をメルケルの特性に合わせて3Hz未満とし、中域をマイスナーの特性に合わせて3Hz以上40Hz未満とし、高域をパチニの特性に合わせて40Hz以上1000Hz以下と定義することが考えられる。
この場合、触覚提示装置6としては、それぞれ低域、中域、高域に良好な感度を示すメルケル用、マイスナー用、パチニ用の3種の触覚提示装置6を用いる。
これら異種の触覚提示装置6ごとの事前駆動は、対象とする受容器の特性、具体的には、知覚閾値や時間応答性に応じて、駆動信号強度や開始タイミングを可変として行うことができる。
例えば、符号化部24Aは、チャンネルごとに、そのチャンネルの触覚提示装置6が対象とする受容器を識別するための識別情報をフレームFrのヘッダに格納しておく。復号部34Aでは、該識別情報に基づき、チャンネルごとに受容器に応じた駆動信号強度、開始タイミングにより事前駆動を実行させる。
或いは、上記の識別情報を符号化により符号化データDcに格納しておくことは必須ではなく、触覚信号が何れの受容器に対する信号であるかを復号部34Aが触覚信号についての信号解析に基づき特定し、特定した受容器に応じた駆動信号強度、開始タイミングにより事前駆動を実行させるという構成を採ることもできる。
これにより、触覚提示装置6ごとの事前駆動を、対象とする受容器の特性に応じた適正な態様により行うことが可能とされ、触覚の再現性向上を図ることができる。
特に、振動デバイス等については、低域から高域までの広帯域に良好な感度を示す触覚提示装置6の実現は困難であることから、本例のように受容器ごとに異なる周波数特性の触覚提示装置6を用いることは、触覚の再現性向上を図る上で有効である。
[2-4.第三適用例]

人間の触覚特性は部位によって異なり得るものであり、例えば背中と上腕のような異部位では振動検出閾値等の知覚閾値も異なり得る。
そこで、触覚提示装置6の人体への装着部位に応じて、事前駆動時の振幅(駆動信号強度)を可変とすることもできる。この場合、符号化部24Aは、チャンネルごとに、そのチャンネルの触覚提示装置6が装着される部位を識別するための識別情報をフレームFrのヘッダに格納しておく。復号部34Aでは、該識別情報に基づき、チャンネルごとに装着部位に応じた駆動信号強度により事前駆動を実行させる。
これにより、触覚提示装置6ごとの事前駆動を、対象とする人体の部位の触覚特性に応じた適正な態様により行うことが可能とされ、触覚の再現性向上を図ることができる。
<3.変形例>

なお、上記では、事前駆動の時間長Δtや増幅器31の起動時間Δtaを復号部34(34A)側で求める例を挙げたが、これらの情報を符号化部24(24A)側で触覚信号の信号解析に基づき求めて符号化データDcに格納し、復号部34(34A)ではこれら格納情報に基づき事前駆動や増幅器31の制御を行う構成とすることもできる。
また、上記では、触覚提示装置6として振動デバイスを例示したが、触覚提示装置6としては、例えば空気流による触覚刺激や電気による神経の直接刺激を行うデバイスや、超音波により触覚刺激を与えるデバイス等、振動以外の手段により触覚提示を行うデバイスを用いることもできる。特に、空気を吐出するタイプの触覚提示装置6として、空気吐出用のポンプを有するものは応答性が低めであり、本技術を好適に適用できる。
<4.実施形態のまとめ>

上記のように実施形態としての駆動制御装置(再生装置3、3A)は、触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部(F1、増幅器31)により、触覚提示装置を触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させる駆動制御部(F2、復号部34、34A)を備えるものである。
上記の事前駆動により、実際に触覚提示が開始されるタイミングを触覚信号の立ち上がりタイミングに対して近づけることが可能とされる。
従って、触覚提示装置の応答性に起因した触覚提示タイミングの遅延防止を図ることができ、触覚の再現性向上を図ることができる。
また、偏芯モータと圧電素子のように応答性が異なる触覚提示装置を併用する場合も、それらの応答時間の差を吸収して提示刺激を同期させることができる。
また、実施形態としての駆動制御装置においては、駆動制御部は、触覚提示装置の応答性に応じたタイミングで事前駆動を開始させている。
これにより、実際に触覚提示が開始されるタイミングを触覚提示装置の応答性に応じたタイミングとすることが可能とされる。
従って、触覚提示装置の応答性に起因した触覚提示タイミングの遅延防止を図ることができ、触覚の再現性向上を図ることができる。
さらに、実施形態としての駆動制御装置においては、駆動制御部は、触覚信号の立ち上がり高さに応じたタイミングで事前駆動を開始させている。
これにより、実際に触覚提示が開始されるタイミングを触覚信号の立ち上がり高さに応じたタイミングとすることが可能とされる。
従って、触覚提示装置の応答性に起因した触覚提示タイミングの遅延防止を図ることができ、触覚の再現性向上を図ることができる。
さらにまた、実施形態としての駆動制御装置においては、触覚信号には、符号化により事前駆動のタイミングに係る情報であるタイミング関連情報が付帯されており、駆動制御部は、タイミング関連情報に基づいて駆動部に事前駆動を実行させている。
これにより、適切なタイミングで事前駆動を実行させるにあたり、復号側で触覚信号の解析を行う必要がなくなる。
従って、復号側の処理負担軽減を図ることができる。
また、実施形態としての駆動制御装置においては、タイミング関連情報は触覚信号の立ち上がりタイミングを表す情報を含んでいる。
これにより、適切なタイミングで事前駆動を実行させるにあたり、復号側で触覚信号の立ち上がりタイミングを検出するための信号解析を行う必要がなくなる。
従って、復号側の処理負担軽減を図ることができる。
さらに、実施形態としての駆動制御装置においては、タイミング関連情報は前記触覚信号の立ち上がり高さを表す情報を含んでいる。
これにより、適切なタイミングで事前駆動を実行させるにあたり、復号側で触覚信号の立ち上がり高さを検出するための信号解析を行う必要がなくなる。
従って、復号側の処理負担軽減を図ることができる。
さらにまた、実施形態としての駆動制御装置においては、駆動制御部は、事前駆動を触覚信号の立ち上がり高さに応じた駆動信号強度により実行させている。
これにより、触覚信号の立ち上がり部分における最大振幅の瞬間について、受触者に対する提示タイミングの遅延防止を図ることが可能とされる。
従って、当該最大振幅の瞬間についての知覚遅延防止を図ることによる触覚の再現性向上を図ることができる。
また、実施形態としての駆動制御装置においては、駆動制御部は、事前駆動を人間の触覚に係る知覚閾値に応じた駆動信号強度により実行させている。
これにより、触覚信号の立ち上がり部分に応じた触覚刺激を受触者が知覚し始めるタイミングを本来のタイミングに一致させることが可能とされる。
従って、受触者が本来のタイミングよりも前に触覚刺激を知覚し始めてしまうことの防止を図るという面で、触覚の再現性向上を図ることができる。
さらに、実施形態としての駆動制御装置においては、駆動制御部は、知覚閾値の最低値に応じた駆動信号強度により事前駆動を実行させている。
これにより、触覚信号の立ち上がり部分の周波数成分に拘わらず、触覚刺激が知覚されてしまうことの防止を図ることができる。
さらにまた、実施形態としての駆動制御装置においては、駆動制御部は、触覚信号のフレーム単位で事前駆動の開始タイミングを判定している。
これにより、事前駆動の開始タイミングを判定するにあたり、触覚信号のサンプル単位でのタイマ管理を行う必要がなくなる。
従って、触覚提示タイミングの遅延防止を図る上での処理負担軽減を図ることができる。
また、実施形態としての駆動制御装置においては、駆動制御部は、触覚信号のサンプル単位で事前駆動の開始タイミングを判定している。
これにより、事前駆動の開始タイミングの正確性向上を図ることが可能とされる。
従って、実際に触覚提示が開始されるタイミングと本来のタイミングとの一致精度を高めることができ、触覚の再現性向上を図ることができる。
さらに、実施形態としての駆動制御装置においては、駆動制御部は、操作に基づき事前駆動の開始タイミング又は駆動信号強度を設定している。
これにより、受触者等のシステム利用者が事前駆動の開始タイミングや駆動信号強度を調整することが可能とされる。
従って、事前駆動の実行態様についてのカスタマイズ性向上が図られ、触覚再現システムの利便性向上を図ることができる。
さらにまた、実施形態としての駆動制御装置においては、駆動部は、増幅器により増幅した駆動信号により触覚提示装置を駆動し、駆動制御部は、触覚信号の振幅値に基づき増幅器を省電力状態とする制御を行うと共に、事前駆動の開始タイミングに基づき増幅器を起動状態とする制御を行っている。
これにより、触覚信号の立ち上がり部分が時間方向において離散的に存在する場合に対応して、触覚信号の立ち上がり部分以外の期間で増幅器を省電力状態とすることによる消費電力の削減を図ることが可能とされると共に、事前駆動の開始タイミングよりも前に増幅器を起動状態としておくことが可能とされる。
従って、事前駆動による触覚の再現性向上を、消費電力の削減を図りつつ実現することができる。
また、実施形態としての駆動制御装置においては、駆動部は、複数の触覚提示装置を駆動し、駆動制御部(34A)は、複数の触覚提示装置間で触覚提示タイミングが同期するように事前駆動を行っている。
これにより、応答性の異なる複数の触覚提示装置が用いられる場合において、触覚提示装置ごとに触覚提示タイミングのバラツキが生じることの防止が図られる。
従って、触覚の再現性向上を図ることができる。
さらに、実施形態としての駆動制御装置においては、駆動部は、それぞれが人体の異なる受容器に対して触覚提示を行う複数の触覚提示装置を駆動し、駆動制御部は、触覚提示装置ごとの事前駆動を、受容器の特性に応じた駆動信号強度又は開始タイミングにより実行させている。
これにより、複数の触覚提示装置によって人体の異なる受容器を対象とした触覚提示を行う場合において、触覚提示装置ごとの事前駆動を、対象とする受容器の特性に応じた適正な態様により行うことが可能とされる。
従って、触覚の再現性向上を図ることができる。
さらにまた、実施形態としての駆動制御装置においては、駆動部は、複数の触覚提示装置を駆動し、駆動制御部は、触覚提示装置ごとの事前駆動を、触覚提示装置の人体における触覚提示部位に応じた駆動信号強度により実行させている。
これにより、複数の触覚提示装置によって人体の異なる部位を対象とした触覚提示を行う場合において、触覚提示装置ごとの事前駆動を、対象とする人体の部位の触覚特性に応じた適正な態様により行うことが可能とされる。
従って、触覚の再現性向上を図ることができる。
また、実施形態としての駆動制御方法は、触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部に、触覚提示装置を触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させる駆動制御方法である。
このような実施形態としての駆動制御方法によっても、上記した実施形態としての駆動制御装置と同様の作用及び効果を得ることができる。
ここで、これまでで説明した符号化部(24、24A)や復号部(F2、34、34A)による機能は、CPU等によるソフトウェア処理として実現することができる。該ソフトウェア処理は、プログラムに基づき実行され、該プログラムは、CPU等のコンピュータ装置(情報処理装置)が読み出し可能な記憶装置に記憶される。
実施形態としてのプログラムは、触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部に、触覚提示装置を触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させる機能、を情報処理装置に実現させるプログラムである。
このようなプログラムによって、上記した実施形態としての駆動制御装置を実現することができる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<5.本技術>

なお本技術は以下のような構成も採ることができる。
(1)
触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部に、前記触覚提示装置を前記触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させる駆動制御部を備える
駆動制御装置。
(2)
前記駆動制御部は、
前記触覚提示装置の応答性に応じたタイミングで前記事前駆動を開始させる
前記(1)に記載の駆動制御装置。
(3)
前記駆動制御部は、
前記触覚信号の立ち上がり高さに応じたタイミングで前記事前駆動を開始させる
前記(1)又は(2)に記載の駆動制御装置。
(4)
前記触覚信号には、符号化により前記事前駆動のタイミングに係る情報であるタイミング関連情報が付帯されており、
前記駆動制御部は、
前記タイミング関連情報に基づいて前記駆動部に前記事前駆動を実行させる
前記(1)乃至(3)の何れかに記載の駆動制御装置。
(5)
前記タイミング関連情報は前記触覚信号の立ち上がりタイミングを表す情報を含む
前記(4)に記載の駆動制御装置。
(6)
前記タイミング関連情報は前記触覚信号の立ち上がり高さを表す情報を含む
前記(4)又は(5)に記載の駆動制御装置。
(7)
前記駆動制御部は、
前記事前駆動を前記触覚信号の立ち上がり高さに応じた駆動信号強度により実行させる
前記(1)乃至(6)の何れかに記載の駆動制御装置。
(8)
前記駆動制御部は、
前記事前駆動を人間の触覚に係る知覚閾値に応じた駆動信号強度により実行させる
前記(1)乃至(7)の何れかに記載の駆動制御装置。
(9)
前記駆動制御部は、
前記知覚閾値の最低値に応じた駆動信号強度により前記事前駆動を実行させる
前記(8)に記載の駆動制御装置。
(10)
前記駆動制御部は、
前記触覚信号のフレーム単位で前記事前駆動の開始タイミングを判定する
前記(1)乃至(9)の何れかに記載の駆動制御装置。
(11)
前記駆動制御部は、
前記触覚信号のサンプル単位で前記事前駆動の開始タイミングを判定する
前記(1)乃至(9)の何れかに記載の駆動制御装置。
(12)
前記駆動制御部は、
操作に基づき前記事前駆動の開始タイミング又は駆動信号強度を設定する
前記(1)乃至(11)の何れかに記載の駆動制御装置。
(13)
前記駆動部は、
増幅器により増幅した前記駆動信号により前記触覚提示装置を駆動し、
前記駆動制御部は、
前記触覚信号の振幅値に基づき前記増幅器を省電力状態とする制御を行うと共に、前記事前駆動の開始タイミングに基づき前記増幅器を起動状態とする制御を行う
前記(1)乃至(12)の何れかに記載の駆動制御装置。
(14)
前記駆動部は、
複数の前記触覚提示装置を駆動し、
前記駆動制御部は、
複数の前記触覚提示装置間で触覚提示タイミングが同期するように前記事前駆動を行う
前記(1)乃至(13)の何れかに記載の駆動制御装置。
(15)
前記駆動部は、
それぞれが人体の異なる受容器に対して触覚提示を行う複数の前記触覚提示装置を駆動し、
前記駆動制御部は、
前記触覚提示装置ごとの前記事前駆動を、前記受容器の特性に応じた駆動信号強度又は開始タイミングにより実行させる
前記(1)乃至(14)の何れかに記載の駆動制御装置。
(16)
前記駆動部は、
複数の前記触覚提示装置を駆動し、
前記駆動制御部は、
前記触覚提示装置ごとの前記事前駆動を、前記触覚提示装置の人体における触覚提示部位に応じた駆動信号強度により実行させる
前記(1)乃至(15)の何れかに記載の駆動制御装置。
1 触覚再現システム、2、2A 符号化装置、3、3A 再生装置、5 触覚センサ、6 触覚提示装置、Dc 符号化データ、21 増幅器、24、24A 符号化部、24a 信号解析部、24b 符号化データ生成部、31 増幅器、32 D/Aコンバータ、33、33A 後処理部、34、34A 復号部、F1 駆動部、F2 駆動制御部、3a 表示画面、SL スライダー操作子

Claims (17)

  1. 触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部に、前記触覚提示装置を前記触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させる駆動制御部を備え、
    前記触覚信号には、符号化により前記事前駆動のタイミングに係る情報であるタイミング関連情報が付帯されており、
    前記駆動制御部は、
    前記タイミング関連情報に基づいて前記駆動部に前記事前駆動を実行させる
    駆動制御装置。
  2. 前記駆動制御部は、
    前記触覚提示装置の応答性に応じたタイミングで前記事前駆動を開始させる
    請求項1に記載の駆動制御装置。
  3. 前記駆動制御部は、
    前記触覚信号の立ち上がり高さに応じたタイミングで前記事前駆動を開始させる
    請求項1に記載の駆動制御装置。
  4. 前記タイミング関連情報は前記触覚信号の立ち上がりタイミングを表す情報を含む
    請求項に記載の駆動制御装置。
  5. 前記タイミング関連情報は前記触覚信号の立ち上がり高さを表す情報を含む
    請求項に記載の駆動制御装置。
  6. 前記駆動制御部は、
    前記事前駆動を前記触覚信号の立ち上がり高さに応じた駆動信号強度により実行させる
    請求項1に記載の駆動制御装置。
  7. 前記駆動制御部は、
    前記事前駆動を人間の触覚に係る知覚閾値に応じた駆動信号強度により実行させる
    請求項1に記載の駆動制御装置。
  8. 前記駆動制御部は、
    前記知覚閾値の最低値に応じた駆動信号強度により前記事前駆動を実行させる
    請求項に記載の駆動制御装置。
  9. 前記駆動制御部は、
    前記触覚信号のフレーム単位で前記事前駆動の開始タイミングを判定する
    請求項1に記載の駆動制御装置。
  10. 前記駆動制御部は、
    前記触覚信号のサンプル単位で前記事前駆動の開始タイミングを判定する
    請求項1に記載の駆動制御装置。
  11. 前記駆動制御部は、
    操作に基づき前記事前駆動の開始タイミング又は駆動信号強度を設定する
    請求項1に記載の駆動制御装置。
  12. 前記駆動部は、
    増幅器により増幅した前記駆動信号により前記触覚提示装置を駆動し、
    前記駆動制御部は、
    前記触覚信号の振幅値に基づき前記増幅器を省電力状態とする制御を行うと共に、前記事前駆動の開始タイミングに基づき前記増幅器を起動状態とする制御を行う
    請求項1に記載の駆動制御装置。
  13. 前記駆動部は、
    複数の前記触覚提示装置を駆動し、
    前記駆動制御部は、
    複数の前記触覚提示装置間で触覚提示タイミングが同期するように前記事前駆動を行う
    請求項1に記載の駆動制御装置。
  14. 前記駆動部は、
    それぞれが人体の異なる受容器に対して触覚提示を行う複数の前記触覚提示装置を駆動し、
    前記駆動制御部は、
    前記触覚提示装置ごとの前記事前駆動を、前記受容器の特性に応じた駆動信号強度又は開始タイミングにより実行させる
    請求項1に記載の駆動制御装置。
  15. 前記駆動部は、
    複数の前記触覚提示装置を駆動し、
    前記駆動制御部は、
    前記触覚提示装置ごとの前記事前駆動を、前記触覚提示装置の人体における触覚提示部位に応じた駆動信号強度により実行させる
    請求項1に記載の駆動制御装置。
  16. 触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部に、前記触覚提示装置を前記触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させると共に、
    前記触覚信号には、符号化により前記事前駆動のタイミングに係る情報であるタイミング関連情報が付帯されており、
    前記タイミング関連情報に基づいて前記駆動部に前記事前駆動を実行させる
    駆動制御方法。
  17. 触覚信号に基づく駆動信号により触覚提示装置を駆動する駆動部に、前記触覚提示装置を前記触覚信号の立ち上がりタイミングに対し前もって駆動する事前駆動を実行させる駆動制御機能、を情報処理装置に実現させると共に、
    前記触覚信号には、符号化により前記事前駆動のタイミングに係る情報であるタイミング関連情報が付帯されており、
    前記駆動制御機能では、
    前記タイミング関連情報に基づいて前記駆動部に前記事前駆動を実行させる
    プログラム。
JP2020536352A 2018-08-10 2019-06-12 触覚提示装置の事前駆動 Active JP7380568B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018151657 2018-08-10
JP2018151657 2018-08-10
PCT/JP2019/023277 WO2020031497A1 (ja) 2018-08-10 2019-06-12 触覚提示装置の事前駆動

Publications (2)

Publication Number Publication Date
JPWO2020031497A1 JPWO2020031497A1 (ja) 2021-12-09
JP7380568B2 true JP7380568B2 (ja) 2023-11-15

Family

ID=69413829

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020536352A Active JP7380568B2 (ja) 2018-08-10 2019-06-12 触覚提示装置の事前駆動

Country Status (5)

Country Link
US (1) US11482086B2 (ja)
JP (1) JP7380568B2 (ja)
CN (1) CN112534381A (ja)
DE (1) DE112019004062T5 (ja)
WO (1) WO2020031497A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188193B2 (en) * 2017-11-14 2021-11-30 International Business Machines Corporation Method and system for generating a prioritized list
JPWO2021176842A1 (ja) * 2020-03-04 2021-09-10
JP7205512B2 (ja) * 2020-03-19 2023-01-17 豊田合成株式会社 アクチュエータ装置
WO2021260876A1 (ja) * 2020-06-25 2021-12-30 日本電信電話株式会社 ハプティクスデバイス
WO2022259301A1 (ja) * 2021-06-07 2022-12-15 日本電信電話株式会社 触覚デバイスおよび制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123431A (ja) 2006-11-15 2008-05-29 Canon Inc 接触提示装置及び方法
JP2010506302A (ja) 2006-10-04 2010-02-25 イマーション コーポレーション 近接感知による触覚的効果
JP2011192277A (ja) 2010-03-16 2011-09-29 Immersion Corp プレタッチ及びトゥルータッチのためのシステム及び方法
JP2017220026A (ja) 2016-06-07 2017-12-14 株式会社Nttドコモ コンテンツ提示装置
JP2018060313A (ja) 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100077899A (ko) * 2008-12-29 2010-07-08 엘지이노텍 주식회사 햅틱 드라이버 기능을 내장한 진동 모터
CN103460164B (zh) * 2012-02-03 2017-02-08 松下知识产权经营株式会社 触觉提示装置以及触觉提示装置的驱动方法
JP6264287B2 (ja) * 2012-08-31 2018-01-24 日本電気株式会社 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
KR101458192B1 (ko) * 2013-06-11 2014-11-05 재단법인 실감교류인체감응솔루션연구단 햅틱 피드백 생성 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
JP6445921B2 (ja) 2015-04-21 2018-12-26 任天堂株式会社 振動信号生成プログラム、振動信号生成システム、振動信号生成装置、振動信号生成方法、およびデータ出力プログラム
CN204537059U (zh) * 2015-04-25 2015-08-05 吉林大学 多点静电力触觉再现驱动装置
WO2020044621A1 (ja) * 2018-08-29 2020-03-05 アルプスアルパイン株式会社 入力装置、制御方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010506302A (ja) 2006-10-04 2010-02-25 イマーション コーポレーション 近接感知による触覚的効果
JP2008123431A (ja) 2006-11-15 2008-05-29 Canon Inc 接触提示装置及び方法
JP2011192277A (ja) 2010-03-16 2011-09-29 Immersion Corp プレタッチ及びトゥルータッチのためのシステム及び方法
JP2017220026A (ja) 2016-06-07 2017-12-14 株式会社Nttドコモ コンテンツ提示装置
JP2018060313A (ja) 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JPWO2020031497A1 (ja) 2021-12-09
CN112534381A (zh) 2021-03-19
WO2020031497A1 (ja) 2020-02-13
US20210166532A1 (en) 2021-06-03
US11482086B2 (en) 2022-10-25
DE112019004062T5 (de) 2021-05-27

Similar Documents

Publication Publication Date Title
JP7380568B2 (ja) 触覚提示装置の事前駆動
US9508236B2 (en) Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
JP6744940B2 (ja) 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法
US9454881B2 (en) Haptic warping system
US10613636B2 (en) Haptic playback adjustment system
EP2703951B1 (en) Sound to haptic effect conversion system using mapping
KR20140122210A (ko) 오프라인 햅틱 변환 시스템
US20240030936A1 (en) Decoding apparatus, decoding method, and program
WO2020008716A1 (ja) 符号化装置、符号化方法、復号装置、復号方法、伝送システム、受信装置、プログラム
JP2019067396A (ja) ハプティックピッチ制御
WO2021176842A1 (ja) 復号装置、復号方法、プログラム、符号化装置、符号化方法
JPWO2020003728A1 (ja) 符号化装置、符号化方法、復号装置、復号方法、プログラム
WO2023189406A1 (ja) 出力制御装置、出力制御プログラム及び出力制御方法
JP2023150608A (ja) 触覚音提供システム、触覚音提供プログラム、及び、触覚音提供方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230626

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R151 Written notification of patent or utility model registration

Ref document number: 7380568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151