JP5211580B2 - 触覚の解析方法および触覚の解析装置 - Google Patents

Description

本発明は、触覚情報に基づき環境の材質または品質を抽出し得る触覚の解析方法および触覚の解析装置に関する。

人間の持つ感覚のなかで、機械と人間、若しくは遠隔地に存在する人間と人間との間を結ぶ重要な感覚として、視覚，聴覚，触覚が挙げられる。視覚や聴覚に対応する画像や音声の処理技術は、情報通信工学の発展とともにインターフェースとして急速に広まり、産業の基盤技術として欠かせないものとなっている。例えば、写真，テレビ，電話，蓄音機等の発明により、視覚や聴覚に関する情報の伝送や、保存や、再生が可能となり、さらにはビデオカメラやテレビにより、視覚および聴覚情報の放送も可能になった。これは、あたかも人間が持つ視覚や聴覚が、時間と空間を越えたように感じさせることと等価であるといえる。現在では、そうした視覚や聴覚情報の解析や加工を取り扱うディジタル信号処理技術の開発も、日々進歩している。

一方、感覚情報の一つを担う触覚情報は、視覚や聴覚の情報に次ぐ新たなマルチメディア情報として、これを伝送して保存し、人工的に再現する技術の開発が求められている。そのため、マスターシステムとスレーブシステムとによるロボットシステム間の遠隔操作や、動かしている位置とその位置での各種情報を触覚を介して表示するようなハプティック（触覚）ディスプレイは、触覚情報を扱う技術として多くの研究が行なわれている。

しかしながら、上述した視覚や聴覚に関する情報は受動的で、単方向性の感覚情報であるのに対し、触覚情報は実世界における「作用・反作用の法則」に束縛される双方向性の感覚情報であり、しかも接触対象である環境に能動的に接触することで、初めてその情報が得られるので、モデルベースやヴァーチャルリアリティを応用した触覚情報の再現は行なわれているものの、実世界における触覚情報の取得は困難である。

こうした実世界における触覚情報の抽出や再現を行なう実世界ハプティクスとして、例えば非特許文献１には、実世界における遠隔地からのバイラテラル力覚フィードバックの制御手法が提案されている。また別な非特許文献２には、多方向のシステム間で力覚情報のやり取りを可能にするマルチラテラル触覚伝送技術が提案されている。

一方、広帯域な実世界環境からの力覚フィードバックを実現するためには、例えば非特許文献３や非特許文献４で提案されているように、システムのロバスト性を失わずに制御剛性をゼロにするための加速度制御が不可欠であり、具体的にな非特許文献５や非特許文献６に開示される外乱オブザーバによる実現手法が広く用いられている。特に非特許文献７では、外乱オブザーバを用いることで広帯域の力覚情報を力覚センサレスで取得できることが開示されており、また外乱オブザーバの広帯域化については、非特許文献８〜非特許文献１０でも多くの研究提案がなされている。

その中で本願発明者らは、非特許文献１０において、アクチュエータの位置を検出する位置エンコーダの情報に加えて、アクチュエータの加速度を検出する加速度センサの情報に基づき、当該アクチュエータに加わる外力を推定する位置・加速度統合型の外乱オブザーバを提案し、またそれ以前に特願２００６−５７６１４号で出願も行なっている。そして、このような外乱オブザーバによって、１kHz以上の極めて広帯域を有するバイラテラル力覚フィードバックを実現している。

このように、実世界における触覚情報の抽出や再現に関し、様々な研究が行なわれているが、そこで取得した触覚情報を視覚的に表現する技術は、生産工学や低侵襲性外科医療の分野で望まれてはいるものの、開発がなされてはおらず、実用化に至っていない。例えば触覚情報を視覚的に表現する一手法として、力覚センサや、非特許文献７で提案された反力推定オブザーバなどで得られたデータを、時系列順に表示することが考えられるが、この場合には接触する環境が、「つるつる」や「ざらざら」するといった定性的な表現でしか評価を行なうことができない。そのため双方向性を有する実世界における触覚情報を扱う基本概念として、触覚情報をより直感的且つ定量的に評価できる装置や方法が求められていた。
下野 誠通，桂 誠一郎，大西 公平（T．Shimono，S．Katsura，K．Ohnishi）、「環境モデルに基づく実世界力覚情報再現のための双方向モーションコントロール（Bilateral Motion Control for Reproduction of Real World Force Sensation based on the Environmental Model）」、電気学会 産業応用部門誌（IEEJ Transactions on Industry Applications）、第126−D巻第８号（Vol.126-D，No.8）、pp．1059−1068、２００６年８月（August，2006） 桂 誠一郎，松本 雄一，大西 公平（S.Katsura，Y．Matsumoto，K．Ohnishi）、「マルチラテラル制御による「作用・反作用の法則」の実現（Realization of "Law of Action and Reaction" by Multilateral Control）」、米国電気電子学会 産業電子工学論文誌（IEEE Transactions on Industrial Electronics）、第52巻第５号（Vol.52，No.5）、pp．1196−1205、２００５年１０月（October，2005） エイ．サバノヴィチ（A．Sabanovic）「パワーエレクトロニクスおよびモーション制御システムにおけるスライディングモード（Sliding Modes in Power Electronics and Motion Control Systems），米国電気電子学会 第２９回産業電子工学学会年次会議論文（Proceedings of the 29th IEEE Annual Conference of the IEEE Industrial Electronics Society）、ＩＥＣＯＮ ２００３年−ロアノーク（IECON’03-ROANOKE）、pp．997−1002、２００３年１１月（November，2003） 富塚 誠義（M．Tomizuka）「現代メカトロニックシステム工学における各センサ（Sensors in the Engineering of Modern MechatronicSystems）」、第三回メカトロニックシステムシンポジウム論文（Proceedings of the 3rd IFAC Symposium on MechatronicSystems）、メカトロニクス２００４年−シドニー（MECHATRONICS’04-SYDNEY）、pp．19−24、２００４年９月（September, 2004） 大石 潔，大西 公平，宮地 邦夫（K．Ohishi，K．Ohnishi，K．Miyachi）、「負荷トルク推定に基づくＤＣモータのトルク−速度調整（Torque-Speed Regulation of DC Motor Based on Load Torque Estimation）」、電気学会 パワーエレクトロ二クス国際会議論文（Proceedings of the IEEJ International Power Electronics Conference，パワーエレクトロ二クス国際会議−東京（IPEC-TOKYO），第２巻（Vol．2），pp．1209−1216,１９８３年３月（March,1983） 大西 公平，柴田 昌明，村上 俊之（K．Ohnishi，M．Shibata，T．Murakami）、「高性能メカトロニクス用モーション制御（Motion Control for Advanced Mechatronics）」、米国電気電子学会／米国機械学会メカトロニクス論文誌（IEEE／ASME Transactions on Mechatronics）、第１巻（Vol．1）、第１号（No．1）、pp．56−67、１９９６年３月（March,1996） 村上 俊之，郁 方銘，大西 公平（T．Murakami，F．Yu，K．Ohnishi）、「多自由度マニピュレータにおけるトルクセンサレス制御（Torque Sensorless Control in Multidegree-of-freedom Manipulator）」，米国電気電子学会 産業電子工学論文誌（IEEE Transactions on Industrial Electronics）、第40巻第２号（Vol.40，No.2）、pp．259−265、１９９３年４月（April，1993） エム．バートルッツォ，ジー．エス．ブージャ，イー．スタンパッチア（M．Bertoluzzo，G．S．Buja，E．Stampacchia）、「高帯域幅トルク外乱補償器の性能解析（Performance Analysis of a High-Bandwidth Torque Disturbance Compensator）」、米国電気電子学会／米国機械学会メカトロニクス論文誌（IEEE/ASME Transactions on Mechatronics）、第９巻（Vol．9）、第４号（No．4）、pp．653−660、２００４年１２月（December，2004） 水落 麻里子，辻 俊明，大西 公平（M．Mizuochi，T．Tsuji，K．Ohnishi）「加速度制御システムに対するマルチレートサンプリング方法（Multirate Sampling Method for Acceleration Control System）」、米国電気電子学会 産業電子工学論文誌（IEEE Transactions on Industrial Electronics、第５４巻（Vol．54）、第３号（No．3）、pp．1462−1471、２００７年６月（June，2007） 入江 航平，桂 誠一郎，大石 潔（K. Irie, S. Katsura, K. Ohishi）、「複数センサに基づいた外乱オブザーバによる高度モーションコントロール（Advanced Motion Control by Multi-Sensor based Disturbance Observer）、電気学会 電気電子工学論文誌（IEEJ Transactions on Electrical and Electronic Engineering）、第１巻（Vol．1）、第１号（No．1）、pp．112−115、２００６年５月（May，2006）

上述したように、従来は接触動作における反作用力の経時変化を、単に時系列なデータとして表示させていただけなので、この時系列データから接触対象となる環境の材質や品質が、どのような特徴を有するものなのかを定量的に直ちに判断できなかった。

また、従来はこうした触覚情報に関する定量的なデータを保存し、必要なときにそのデータを読み出して活用するデータベース化の技術が確立されておらず、例えば未知の環境に対する接触時の反作用力から、その環境がどのような材質や品質に一致または類似するのかを、比較判断することができなかった。

本発明は上記の問題点に鑑みなされたもので、その目的は、環境との接触動作により生じた力の情報から、接触環境の材質的または品質的な特徴を直感的且つ定量的に把握して、これを抽出すると共に、各材質毎または品質毎にデータベース化することが可能な触覚の解析方法および触覚の解析装置を提供することにある。

上記課題を解決するために、本発明における触覚の解析方法は、環境との接触動作に応じて作動するアクチュエータを備え、前記アクチュエータは、１台以上のマスターシステムおよび２台以上のスレーブシステムをネットワークで接続してなり、前記環境との接触動作における作用力を前記マスターシステムで受けると、この作用力に伴う反作用力を、前記ネットワークを介して前記スレーブシステムで生成するようになっており、ある時間にどのような反作用力が生じているのかを、前記環境との接触動作により生じた時系列な力の触覚情報として取得し、前記取得した前記触覚情報を時間領域で解析処理して、前記触覚情報に含まれる時間と力との関係を、周波数と振幅との関係を示す周波数分析データに変換し、この周波数分析データから前記環境の材質または品質を抽出することを特徴とする。

この場合、前記周波数分析データから、前記抽出した環境の材質または品質を視覚的に表現させるのが好ましい。

上記各方法においては、前記アクチュエータから抽出した力によって、前記触覚情報を取得するのが好ましい。

代わりに、前記アクチュエータが制御手段により制御されているシステムから抽出した力によって、前記触覚情報を取得してもよい。

また、前記アクチュエータからの力が、位置センサ，速度センサ，加速度センサ，電流センサ，力センサ，トルクセンサ，または歪みゲージを用いて抽出されるのが好ましい。

また、前記アクチュエータからの力が、外乱オブザーバにより抽出されてもよい。

上記各方法において、前記周波数分析データと前記環境の材質または品質とを関連付けた関連付けデータを、当該環境の材質毎または品質毎に記憶手段に記憶させるのが好ましい。

この場合、前記解析処理が行なわれると、この比較対象となる周波数分析データと前記記憶手段から読み出される関連付けデータの周波数分析データとを比較し、前記比較対象となる周波数分析データに一致または類似する前記環境の材質または品質を、前記関連付けデータから特定するのが好ましい。

また、前記取得した触覚情報をフーリエ変換またはウェーブレット変換またはコサイン変換により時間領域で解析処理するのが好ましい。

さらに、前記周波数分析データを位置領域で解析処理し、この位置領域の解析処理が、有限要素法により行なわれ、離散的な各位置の前記周波数分析データを連続して補間する機能を有するのが好ましい。

さらに、前記記憶手段に記憶される関連付けデータから、前記周波数分析データを検索対象として前記環境の材質または品質を特定する逆引き機能を備えるのが好ましい。

上記方法に対応するように、本発明における触覚の解析装置は、環境との接触動作に応じて作動するアクチュエータを備え、前記アクチュエータは、１台以上のマスターシステムおよび２台以上のスレーブシステムをネットワークで接続してなり、前記環境との接触動作における作用力を前記マスターシステムで受けると、この作用力に伴う反作用力を、前記ネットワークを介して前記スレーブシステムで生成する構成を有し、ある時間にどのような反作用力が生じているのかを、前記環境との接触動作により生じた時系列な力の触覚情報として取得する入力手段と、前記取得した前記触覚情報を時間領域で解析処理して、前記触覚情報に含まれる時間と力との関係を、周波数と振幅との関係を示す周波数分析データに変換する処理手段と、この周波数分析データから前記環境の材質または品質を抽出する抽出手段と、を備えている。

この場合、前記処理手段は、前記周波数分析データから、前記抽出した環境の材質または品質を視覚的に表現させるものであることが好ましい。

上記各装置においては、前記アクチュエータから抽出した力によって、前記触覚情報を取得する構成とするのが好ましい。

代わりに、前記アクチュエータが制御手段により制御されているシステムから抽出した力によって、前記触覚情報を取得する構成としてもよい。

また、前記アクチュエータからの力を、位置センサ，速度センサ，加速度センサ，電流センサ，力センサ，トルクセンサ，または歪みゲージを用いて抽出する構成とするのが好ましい。

また、前記アクチュエータからの力を抽出する外乱オブザーバを備えてもよい。

上記各装置において、前記周波数分析データと前記環境の材質または品質とを関連付けた関連付けデータを、当該環境の材質毎または品質毎に記憶手段に記憶させる構成とするのが好ましい。

この場合、前記解析処理が行なわれると、この比較対象となる周波数分析データと前記記憶手段から読み出される関連付けデータの周波数分析データとを比較し、前記比較対象となる周波数分析データに一致または類似する前記環境の材質または品質を、前記関連付けデータから特定する判別手段をさらに備えるのが好ましい。

また、前記処理手段は、前記取得した触覚情報をフーリエ変換またはウェーブレット変換またはコサイン変換により時間領域で解析処理するものであることが好ましい。

さらに前記処理手段は、前記周波数分析データを位置領域で解析処理するものであり、この位置領域の解析処理が、有限要素法により行なわれ、離散的な各位置の前記周波数分析データを連続して補間する機能を有するものであることが好ましい。

さらに、前記記憶手段に記憶される関連付けデータから、前記周波数分析データを検索対象として前記環境の材質または品質を特定する逆引き手段を備えるのが好ましい。

上記請求項１の方法および請求項１２の装置によれば、触覚情報をそのまま単に時系列的に並べるのではなく、取得した触覚情報に時間領域で可視化できるように解析処理を施し、その解析処理結果である周波数分析データから環境の材質または品質を抽出するようにしている。そのため、環境との接触動作により生じた力から、接触する環境の材質的または品質的な特徴を直感的且つ定量的に把握して、これを抽出することが可能になる。

また、マスターシステムに加わる作用力と、この作用力を受けてスレーブシステムで発生する反作用力とを別々に分離でき、そこから抽出される力に基づき、ある時間にどのような反作用力が生じているのかを、触覚情報として取得することが可能になる。

さらに、一乃至複数のマスターシステムに作用力が加わると、ネットワークを介して複数のスレーブシステムに反作用力を発生させることができ、遠隔地における力伝送を可能にできる。

上記請求項２の方法および請求項１３の装置によれば、周波数分析データから、単に環境の材質または品質を抽出するだけでなく、これらを視覚的に表現させて、例えば表示手段などにより提示することが可能になる。

上記請求項３の方法および請求項１４の装置によれば、アクチュエータを利用して、そこから抽出される力に基づき、触覚情報を取得することが可能になる。

上記請求項４の方法および請求項１５の装置によれば、制御手段によりアクチュエータの例えば位置，速度，加速度，トルク，または力を制御しつつ、これらの制御手段とアクチュエータとを組み合わせたシステムから抽出される力に基づき、触覚情報を取得することが可能になる。

上記請求項５の方法および請求項１６の装置によれば、位置センサ，速度センサ，加速度センサ，電流センサ，力センサ，トルクセンサ，または歪みゲージの検知出力を利用して、アクチュエータからの力を抽出できる。

上記請求項６の方法および請求項１７の装置によれば、外乱オブザーバによってアクチュエータからの力を抽出することで、環境との接触動作により生じた時系列な力の触覚情報を取得できるので、力覚センサを用いることなく触覚情報の取得が可能になる。

上記請求項７の方法および請求項１８の装置によれば、前記周波数分析データが環境の材質または品質と関連付けられて、記憶手段に関連付けデータとして記憶されるので、環境との接触動作により生じた力から、接触する環境の材質的または品質的な特徴を直感的且つ定量的に評価できるような周波数分析データを、触覚ベースで各材質毎または各品質毎にデータベース化することが可能になる。

上記請求項８の方法および請求項１９の装置によれば、単に時系列な力のデータからでは判別が困難な触覚情報の定量的な比較が可能となり、周波数分析データから未知の材質または品質を正しく特定することが可能になる。

上記請求項９の方法および請求項２０の装置によれば、画像や音声信号処理などの分野で研究開発が進んでいるフーリエ変換またはウェーブレット変換またはコサイン変換を採用することで、触覚情報の時間領域における解析処理を容易に行なうことが可能になる。

上記請求項１０の方法および請求項２１の装置によれば、接触する環境の材質的または品質的な特徴を、位置情報と共に直感的且つ定量的に把握することが可能になる。

また、広く知られている有限要素法を用いることで、触覚情報の位置領域における解析処理を容易に行なうことが可能になる。

さらに、離散的な各位置の触覚情報から、連続した位置での接触環境の材質的または品質的な特徴を取得することが可能になる。

上記請求項１１の方法および請求項２２の装置によれば、関連付けデータに含まれる周波数分析データを検索対象として、環境の材質または品質を正しく特定することが可能になる。

本発明における好適な実施の形態について、添付図面を参照して説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を限定するものではない。また、以下に説明される構成の全てが、本発明の必須要件であるとは限らない。

図１は、本発明の好適な一実施例を示す装置の機能的構成を示している。同図において、１は外部から取得した触覚情報を視覚情報化する装置本体であって、これは演算処理機能を有する例えばコンピュータなどにより構成される。装置本体１は、ある時間における力と位置の触覚情報を取得する手段である入力手段２と、入力手段２で取得した触覚情報を時間領域と位置領域すなわち空間領域でそれぞれ解析処理する処理手段３と、処理手段３で得られた空間位置毎の周波数分析データを記憶する記憶手段４と、画面（ディスプレイ）やプリンタなどの視覚的な表示手段５と、後述するリニアモータ１２の駆動を制御するモータ制御手段６と、を備えて構成される。

また、ここでは環境Ｅへの接触動作により生じた反作用力情報を抽出するために、環境Ｅに接触する可動体としての軸体１１と、この軸体１１を一方向に動かすリニアモータ１２とによるアクチュエータ１３を構成すると共に、リニアモータ１２ひいては軸体１１の位置と加速度をそれぞれ監視する検知手段１４が、エネルギーを動力に変換するアクチュエータ１３に取付けられ、この検知手段１４で得られた位置検知信号と加速度検知信号を、前記モータ制御手段６に組み込まれた位置・加速度統合型の外乱オブザーバ（ＰＡＩＤＯ）１５と、反力（推定）オブザーバ１６にそれぞれ送出することにより、リニアモータ１２が受ける外乱力と反作用力を、力覚センサを用いずに、外乱オブザーバ１５と反力オブザーバ１６で各々推定するように構成している。これによりモータ制御手段６は、外乱オブザーバ１５で得られた推定外乱力と、反力オブザーバ１６で得られた推定反作用力とを加味した電流指令信号を生成し、これをリニアモータ１２に送出するようになっている。

前記入力手段２は、ある時間において、どのような反作用力が生じているのかという触覚情報を最終的に取得し、後段の処理手段３に出力できれば、どのような構成であってもよい。上述したモータ制御手段６による力制御系では、駆動源であるリニアモータ１２により可動する可動体としての軸体１１が、接触対象である環境Ｅに接触したときに受ける力（反力）を、反力オブザーバ１６からの反力推定値として取り込むと共に、その力を環境Ｅのどの位置で受けたのかという情報を、図示しない位置検知手段から入力手段２が取り込んでもよい。この場合、入力手段２に備えた計時手段２Ａの時間カウントを利用して、ある時間における力と位置を特定する触覚情報を取得する構成であってもよい。また、反力オブザーバ１６からの反力推定値に代わって、アクチュエータ１３に取付けられた力覚センサからの検知出力により、反力を取り込んでもよい。入力手段２は、アクチュエータ１３における位置，速度，加速度，電流，力，トルクを検知する各種センサや、歪みを検知する歪みゲージからの検知出力を用いて、アクチュエータ１３からの力を抽出する構成であってもよい。

また、前記アクチュエータ１３を２台用意し、一方を環境との接触動作における作用力を受けるマスターシステム１３Ａとし、他方をこの作用力に伴う反作用力を生成するスレーブシステム１３Ｂとして構成してもよい。この場合、モータ制御手段６には、マスターシステム１３Ａとスレーブシステム１３Ｂの間でこれらをバイラテラルに力覚フィードバック制御するためのフィードバック制御部が設けられる。このフィードバック制御部には、力覚センサを用いずにマスターシステム１３Ａとスレーブシステム１３Ｂを加速度制御するために、マスターシステム１３Ａとスレーブシステム１３Ｂのそれぞれに，位置・加速度統合型の外乱オブザーバ（ＰＡＩＤＯ）１５Ａ，１５Ｂが組み込まれる。外乱オブザーバ１５Ａは、マスターシステム１３Ａの検知手段１４で得られた位置検知信号と加速度検知信号により、マスターシステム１３Ａにおける外乱力ひいては環境Ｅとの接触動作による作用力を推定するもので、また別な外乱オブザーバ１５Ｂは、スレーブシステム１３Ｂの検知手段１４で得られた位置検知信号と加速度検知信号により、スレーブシステム１３Ｂにおける外乱力ひいては前記作用力に伴い発生する反作用力を推定するものである。そしてモータ制御手段６は、これらの外乱オブザーバ１５Ａ，１５Ｂで得られた作用力や反作用力の推定値と、各検知手段１４で得られた加速度（または位置）検知信号から、上記マスターシステム１３Ａにおける作用力とスレーブシステム１３Ｂにおける反作用力の和が０になり、且つマスターシステム１３Ａの位置とスレーブシステム１３Ｂの位置との偏差が０になるように、マスターシステム１３Ａのリニアモータ１２と、スレーブシステム１３Ｂのリニアモータ１２をバイラテラルに力覚フィードバック制御する構成になっている。ここでは、モータ制御手段６によってアクチュエータ１３を力制御するのではなく、アクチュエータシステム１３を位置制御，速度制御，加速度制御，またはトルク制御する構成であってもよい。

なお、ここではマスターシステム１３Ａやスレーブシステム１３Ｂの駆動源としてリニアモータ２１を採用しているが、他の駆動源を用いてもよい。また、アクチュエータ１３として、スレーブシステム１３Ｂを２台以上備えた構成とし、合計で３台以上のマスターシステム１３Ａやスレーブシステム１３Ｂをネットワーク（図示せず）で接続することで、フィードバック制御部によりマルチラテラルに力覚フィードバック制御する構成としてもよい。こうした概念は、本願発明者らが特願２００６−５７６３２号で既に提案している。何れにせよ、環境との接触動作に伴う作用力と反作用力を分離して抽出できれば、アクチュエータ１３はどのようなデバイス構成であっても構わない。

また、別な例として、キーボードやマウスなどの操作手段１７を入力手段２に接続し、この操作手段１７から操作入力された任意の環境Ｅに接触したときの時系列な反作用力のデータと、場合によっては位置のデータを、そのまま触覚情報として入力手段２が取り込んでもよく、さらに別な例として、時系列な少なくとも反作用力と、場合によっては位置の触覚情報を記憶した外部媒体１８を入力手段２に接続し、外部媒体１８から読み出した触覚情報を入力手段２が取り込む構成であってもよい。この場合、上述した計時手段２Ａを入力手段２に組み込む必要はない。

ここで、処理手段３が必要とする触覚情報は、同じ時間における力と位置の各情報を含んでいて、時間的に同期しているものであってもよいし、違う時間における力と位置の各情報を含んでいて、時間的に非同期なものであってもよい。

処理手段３は、入力手段２で取得した触覚情報を時間領域で解析する時間領域解析部２１と、当該触覚情報を空間領域で解析する空間領域解析部２２と、を備えて構成される。時間領域解析部２１は、入力手段２で取得した触覚情報を時間領域で周波数解析して、触覚情報に含まれる時間と力との関係を、周波数と振幅（振動レベル）との関係を示す周波数分析データに変換できれば、どのような構成であってもよい。こうした周波数解析は、画像や音声信号処理などの分野で研究開発が進んでおり、高速フーリエ変換（ＦＦＴ）やウェーブレット変換を用いた手法が例として挙げられる。そこで、本実施例における時間領域解析部２１は、内蔵するＦＦＴやウェーブレット変換による変換機能を用いて、触覚情報の時間領域としての解析を行ない、特徴的な周波数成分を抽出した周波数分析データを取得できるようになっている。

一方、空間領域解析部２２は、空間領域を小空間に分割して数値解析を行なうもので、これを実現する手法としては、有限要素法がよく知られている。そこで本実施例の空間領域解析部２２は、内蔵する有限要素法の変換機能によって、実世界空間を小空間に分割して抽出された触覚情報を時間領域で解析し、その結果を２次元空間に投影できるように、実世界空間上の位置と関連付けできるようになっている。なお、固定した一乃至複数の点の位置に関係する触覚情報の場合は、この空間領域解析部２２による解析を省略してもよい。

処理手段３は、時間領域解析部２１による解析結果と、接触位置が複数ある場合には、空間領域解析部２２による解析結果とを統合することで、小空間の各接触位置に対応した周波数分析データを取得し、これを環境Ｅの材質を特徴付ける材質データと関連付けて、記憶手段４に記憶させる。この場合、時間領域解析部２１による周波数解析に続いて、空間領域解析部２２による空間解析を行なう構成としてもよいし、逆に空間解析に続いて周波数解析を行なう構成としてもよい。さらには、周波数解析と空間解析を並行して行なう構成としてもよいし、接触位置が固定していて空間解析が不要な場合は、空間領域解析部２２の構成を省略してもよい。また、材質データの代わり若しくは材質データに加えて、環境Ｅの品質を特徴付ける品質データとの関連付けを行なってもよい。よって、以後の説明では、「材質」を「品質」に置き換えることも可能である。

なお、ここに提示され、またはここに提示されていない周知の各種変換機能を単独または複数組み合わせて、同様の処理手段３を実現してもよい。例えば時間領域解析部２１に内蔵する変換機能として、例えばＦＦＴ以外のフーリエ変換や、ウェーブレット変換や、コサイン変換を採用してもよい。ここでいうフーリエ変換とは、離散フーリエ変換や、短時間フーリエ変換などを含み、コサイン変換は、特殊な離散フーリエ変換である離散コサイン変換や、離散コサイン変換の一手法である変形離散コサイン変換などを含む。また、ウェーブレット変換とは、連続ウェーブレット変換や、離散ウェーブレット変換などを含む。

また処理手段３は、触覚情報の解析処理結果である周波数分析データから、環境の材質または品質を抽出する抽出手段２４を備えている。この抽出手段２４により、環境Ｅの材質または品質に関わる特徴的な周波数の情報を抽出することができ、こうした抽出情報を基に、例えば後述する表示制御手段によって、表示手段５に色や濃淡による可視化表現を任意に行なわせたり、判別手段２５による環境Ｅの材質または品質の特定を行なわせたりすることが可能になる。

前述のように、記憶手段４には、環境Ｅにアクチュエータ１３を接触させた時の反作用力から得られた周波数分析データが、その環境Ｅの材質に関係する材質データ毎に、データベース化されて保存される。図２は、記憶手段４に記憶されるデータの保存形態を模式的に示しているが、ここでは例えば環境Ｅの材料（「鉄」，「二トリルゴム」など）や、環境Ｅの形状や、硬度などの情報を記憶した材質データ３１と、その同じ環境Ｅに対する触覚情報から得られた周波数とスペクトル強度の可視化情報を記憶した周波数分析データ３２が、一つの関連付けデータ３３として記憶手段４に記憶保存される。材質データ３１の入力は、例えば装置本体１に接続する操作手段１７から行なえるようにすればよい。

ここでは同じ材料であっても、構造的に相違する場合には、別な「材質」として関連付けデータ３３にそれぞれ保存される。一つの例として、生体の同じ細胞部位において、正常組織と癌組織とでは、それぞれの触覚情報から得られる周波数分析データ３２が異なるため、別な「材質」として関連付けデータ３３に保存することで、生体組織に対応した触覚情報のデータベース化が可能になる。このように、ここでは記憶手段４に記憶される周波数分析データ３２が類似するか否かによって、同一の「材質」か否かの判断がなされるようにすれば、触覚情報の最適なデータベース化が可能になる。

また、図２に示すように、空間領域解析部２２による空間解析によって、同じ材質で複数の位置の周波数分析データ３２が存在する場合には、それらを纏めて同じ関連付けデータ３３内に保存するのが好ましい。これにより、同じ材質から受ける触覚情報に関し、空間配置上における周波数分析データ３２の特徴を直ちに把握することができる。

処理手段３は、入力手段２からの触覚情報を解析して、周波数分析データを取得する毎に、この比較対象となる周波数分析データと、記憶手段４から読み出される各関連付けデータ３３内の周波数分析データ３２とを比較し、前記比較対象となる周波数分析データと同一または類似している周波数分析データ３２が検索されれば、その周波数分析データ３２に関連付けられた材質データ３１を特定して、当該材質データ３１の内容を表示手段５に出力する判別手段２５を備えている。この判別手段２５は、操作手段１７からの入力によって、必要なときに起動できる構成となっており、判別手段２５が起動しない場合、処理手段３からの周波数分析データは、操作手段１７から入力される材質データと共に、共通する関連付けデータ３３として記憶手段４に保存されるが、判別手段２５が起動しているときには、記憶手段４に記憶される周波数分析データ３２との比較判定により、同一または類似するものが検索されない場合にのみ、表示手段５により材質データの入力を促し、操作手段１７から材質データが入力されると、この材質データと処理手段３からの周波数分析データとを、共通する関連付けデータ３３として記憶手段４に保存する。こうすることで、処理手段３からの周波数分析データを、効率よく記憶手段４に記憶できる。

また、上記処理手段３は、記憶手段４に保存される各位置に対応した周波数分析データを読み出して、触覚情報を写真のように可視化して表示手段５で表示できるように、当該表示手段５を制御する表示制御手段としての機能を備えている。このような触覚情報を可視化する新たな表現技術を、ここでは「ハプトグラフ（Haptograph）」と表現して以後説明する。表示手段５により表示される「ハプトグラフ」は、入力手段２で取得した触覚情報に対し、処理手段３で高速フーリエ変換やウェーブレット変換のような周波数解析を施し、これを例えば軸体１１に接触する環境Ｅの表面形状に基づき空間的に配置することで、どの位置にどのような周波数成分の振幅レベル（スペクトル）が存在するのかを、振幅レベルの強弱に応じた異なる色や濃淡（グラデーション）で、表示手段５に可視化表現させることが可能になる。

因みに「Hapto」とは、ギリシャ語で「触れる」の意味であり、触覚を写真のように視覚化することから「Haptograph」と命名している。本実施例でのハプトグラフは、接触する環境Ｅの表面から受ける触覚情報を、２次元空間上に配置したものとして定義する。勿論この配置は、１次元または３次元以上であっても構わない。ハプトグラフを用いることで、触覚情報を写真や図のように視覚的に捉えることが可能になるので、より直感的に触覚を認識できるようになる。また、触覚情報を時間領域解析部２１で周波数解析し、それによりスペクトルの大きさを例えば色の違いや濃淡で可視化するため、触覚の定量的な評価や比較を行なうことも可能である。

前記空間領域解析部２２で分割した空間の数は、画像でいえばピクセル（画素）に相当し、分割数は触覚情報の分解能となる。当然、分割数が多ければ詳細な触覚情報を埋め込むことができるが、後述する記憶手段４で保存すべきデータ量も増加する。一つの指標としては、人間が最も触覚を必要とする指先の分解能にあわせて、空間領域解析部２２で分割する空間の数を設定するのが好ましい。人間が皮膚に２つの触刺激を受けた時に、その刺激がそれぞれ別の点であると識別できるもっとも短い距離が、成人の人差し指の先端では約2.5ｍｍ程度であるといわれている。空間の分割方法や分割数は任意であるが、人間の持つ触覚に対する分解能よりも細かい小空間で、表示手段５による「ハプトグラフ」を表現することが、人間支援の観点から理想的である。さらに、空間領域解析部２２で分割した小空間を、離散的な点列で構成したハプトグラフだけでなく、小空間を連続的な線と捉えることで、なで動作によるハプトグラフの作成も可能である。

次に、上記構成に基づき、本実施例における触覚の視覚的表現方法の各手順を、図３のフローチャートを参照して説明する。装置本体１を起動させ、処理動作を開始させると、入力手段２はステップＳ２において、後段の処理手段３に送出するための触覚情報を取得する。この触覚情報の取得には、必要に応じてステップＳ１の接触動作が先に行なわれる。

具体的には、例えば図１において、モータ制御手段６によりアクチュエータ１３を力制御する構成では、モータ制御手段６からの電流指令信号によりリニアモータ１２を駆動させ、このリニアモータ１２に取付けられた軸体１１を環境Ｅに接触させることで、ステップＳ１の接触動作が行なわれる。また、ここではリニアモータ１２が受ける外乱力と反作用力（外力）の各値が、モータ制御手段６に備えた好ましくは位置・加速度統合型の外乱オブザーバ１５と、反力オブザーバ１６とによりそれぞれ推定され、これらの推定値によってリニアモータ１２が力制御されると共に、軸体１１が受ける反作用力の推定値が、力の情報として反力オブザーバ１６から入力手段２に出力される。

また、上記ステップＳ１の接触動作に伴う環境Ｅと軸体１１との接触位置は、これを図示しない位置センサで検知して、入力手段２に出力してもよいし、予め接触位置が判っている場合には、その位置情報を入力手段２が取り込んでもよい。例えば環境Ｅや軸体１１が不規則に動いていて、接触位置が定まらない場合には、位置センサの検知出力を入力手段２が位置の情報として取り込むのが好ましい。逆に、例えば環境Ｅまたはアクチュエータ１３をＸ−Ｙテーブルなどに取付けて、モータ制御手段６からＸ−Ｙテーブルに出力される制御信号により、決められた位置で軸体１１を環境Ｅに接触させる場合、このモータ制御手段６からの前記制御信号を利用して、入力手段２が位置の情報を取り込めば、上記位置センサを不要にすることができる。

ステップＳ２において、入力手段２は取り込まれた力と位置の情報の経時的な変化を触覚情報として取得するために、内蔵する計時手段２Ａの時計カウントを用いて、時間と力および時間と位置とを関連付ける。因みに、入力手段２に取り込まれる力や位置の情報に、予め時間情報が関連付けられている場合は、これをそのまま触覚情報として取得することができる。また、検知手段１４に代わり操作手段１７や外部媒体１８から直接触覚情報を取得する場合には、ステップＳ１の手順を省略することも可能である。

こうして、ステップＳ２において触覚情報が得られると、処理手段３の時間領域解析部２１は、触覚情報に含まれる時間と力との関係から、これをＦＦＴやウェーブレット変換などの周波数解析手法を用いて、触覚情報の時間領域としての解析を行なう（ステップＳ３）。こうした周波数解析を施すと、ある期間に生じる反作用力の情報から、それがどのような周波数特性を有するのかという周波数分析データを得ることができる。

次のステップＳ４において、処理手段３の空間領域解析部２２は、時間領域解析部２１により求められた周波数分析データを、軸体１１が接触する環境Ｅの表面形状に基づき、空間上に配置する空間解析を行なう。具体的には、環境Ｅと軸体１１との接触位置が刻々と変化する場合、単に時間領域解析部２１により周波数解析を行なうだけでは、その変化する接触位置上での周波数分析データしか取得することができない。そこで、ステップＳ３で求めた周波数分析データに対し、さらに空間領域解析部２２で例えば有限要素法による空間解析を施すことにより、固定した位置での周波数分析データを得ることができる。

なお、処理手段３からの前記制御信号により、環境Ｅと軸体１１との接触位置を固定して、検知手段１４から力の情報を取り込む場合は、その力の情報に対応する接触位置の情報が、入力手段２から処理手段３に与えられることで、ステップＳ３で求めた周波数分析データと接触位置とを、空間領域解析部２２による空間解析を行なわずに、時間領域処理部２１だけで関連付けることができる。そしてこの場合は、ステップＳ１〜ステップＳ３の各手順が終了した時点で、軸体１１を環境Ｅの別な位置に接触動作させるために、ステップＳ１の手順に戻すことにより、様々な固定した接触位置での周波数分析データを得ることができる。また、一点の位置だけの周波数分析データを得る場合には、ステップＳ１の手順に戻ることなく、次のステップＳ５の手順が行なわれる。

こうして空間領域解析部２２が、実空間の位置に対応した周波数分析データを処理手段３の解析処理結果として生成すると、次のステップＳ５で解析処理結果を記憶手段４に保存し、さらにはこの記憶手段４から解析処理結果を読み出して、処理手段３に備えた表示制御手段が、前述した「ハプトグラフ」を表示手段５に表示させ、一連の処理を終了する。

ここで、表示手段５の表示形態は、「ハプトグラフ」の概念を逸脱しない限り、どのようなものであっても構わない。例えば、環境Ｅの表面形状に応じた一乃至複数の位置上に、所定範囲の周波数におけるスペクトルの度合を、線，色，濃淡などで可視化させてもよい。また、点在する固定した位置の周波数分析データ間を直線などで補間し、メッシュ状に繋いで連続的に表示させてもよい。さらに、一つの決められた位置において、どのような周波数成分でどのような強さのスペクトルが存在するのかを、表示手段５により色などで可視化表示させてもよい。

また処理手段３は、ステップＳ４で得られた周波数分析データを、その環境Ｅの材質に関係する材質データと関連付けて、これを関連付けデータ３３として記憶手段４に記憶させる。これにより記憶手段４には、環境Ｅの材質毎に可視化可能な周波数分析データ３２が蓄積保存されてゆく。つまり、記憶手段４によって、環境Ｅの材質に応じた触覚情報の周波数解析結果が、データベース化されることになる。記憶手段４の関連付けデータ３３は、例えば操作手段１７からの入力操作により、その中の一部若しくは全てが読み出され、表示手段５に周波数分析データ３２が可視化表示されたり、或いは図示しない通信手段を介して、外部に転送することができる。こうした処理手段３の機能によって、「ハプトグラフ」を用いた新規な実世界触覚情報の可視化表現と、そうした触覚情報の可視化共有が可能となる。

また別な変形例として、処理手段３に備えた判別手段２５の起動時には、ステップＳ４で周波数分析データが得られると、この判別手段２５が記憶手段４から関連付けデータ３３を一つずつ読み出して、その中に含まれる周波数分析データ３２との比較を行なう。そして判別手段２５は、記憶手段４から読み出された周波数分析データ３２が、処理手段３で得られた周波数分析データと同一または類似していると判断すると、その読み出した周波数分析データ３２に関連付けられた材質データ３１の内容を、表示手段５に表示させる。これにより、未知の環境Ｅであっても、その環境Ｅがどのような材質であり、若しくはどのような材質に類似するのかを、触覚情報に関する周波数解析の観点から定量的に比較し、且つ評価判定することが可能になる。

逆に判別手段２５は、記憶手段４から読み出された周波数分析データ３２が、処理手段３で解析された周波数分析データと同一または類似していないと判断すると、その旨を表示手段５に表示させると共に、新たな材質のデータベース化のために、材質データの入力を表示手段５から促す。これを受けて、入力手段１７から必要な材質データを入力すると、この材質データと処理手段３で解析された周波数分析データが、共通する関連付けデータ３３として記憶手段４に保存される。

続いて、上記図１の装置本体１を利用した実験例について、その装置構成と実験結果を説明する。

図４は、実験例で採用した実験システムであり、ここには前記図１のアクチュエータ１３と検知手段１４に相当する構成が示されている。同図において、アクチュエータ１３の設置用固定板としての土台４１は、平面が矩形の金属製板材からなり、その土台４１の上面における長手方向の一側に、被接触物である環境Ｅの背面に当接する背面固定板体４３が立設している。また、背面固定板体４３の正面に先端１１Ａが直交するように、丸棒状の金属製軸体１１が土台４１の上面上に前後方向に移動自在に設けられている。なお、軸体１１の先端１１Ａにより剛性のある接触手段が形成されるものであって、この先端１１Ａ寄りには、土台４１の上面上に立設した軸体１１の直線移動案内用部材４５が設けられている。さらに、前記背面固定板体４３の正面側には、環境Ｅを土台４１の上面に載置して固定するための固定用位置決め手段たる位置決めピン４６が左右に立設している。

一方、軸体１１の長手方向のほぼ中央箇所に位置して、土台４１の上面上に固定したリニアモータ１２を装着する。このリニアモータ１２によって、軸体１１をその長手方向に移動できるようになっている。さらに、軸体１１の長手方向の他端に加速度センサ４８を装着する。この加速度センサ４８によって、軸体１１の加速度を測定することができる。その他、リニアモータ１２には図示しない位置エンコーダが取付けられ、この位置エンコーダと加速度センサ４８により前述した検知手段１４を構成している。

図４に示す実験システムでは、アクチュエータ１３の土台４１を固定し、機台振動などアクチュエータ１３側の影響が極力発生しないようにしている。また、環境Ｅは背面固定板体４３と位置決めピン４６とで挟むようにして固定してあり、アクチュエータ１３が接触する時にも動かないようになっている。実験では、前記環境Ｅとして、鉄（JIS-G3101）とニトリルゴム（ショアＡ70°）による２種類の材料を用意し、何れもその形状は５×５×５［cm］の立方体としている。

図５は接触環境Ｅの形状と接触点を示したものであり、図中の×印は、軸体１１の先端１１Ａの接触箇所を示しており、これは触覚情報を収集した位置となる。なお、後述する実験においては、接触する環境Ｅの一側面において、１０［mm］間隔で左右上下の接触実験を試み、ハプトグラフの作成を行なっている。図５では接触点は左右に５箇所、上下に５箇所の合計２５箇所である。これらの位置情報は、その都度入力手段２に取り込まれるようになっている。

上記実験システムの詳細を表１に示す。前記装置本体１の各部を制御するプログラムは、サンプリングタイムを１００μｓに設定している。

上記実験システムを用いて、環境Ｅと接触した際の反作用力から、装置本体１の入力手段２と処理手段３により、「ハプトグラフ」による可視化を行なう。図６〜図１７は、ここで提案するハプトグラフの作成例を示しており、図６〜図８は、環境Ｅが鉄である場合に、この環境Ｅにアクチュエータ１３を接触動作させた際の反作用力のステップ応答を、処理手段３の時間領域解析部２１でＦＦＴ解析させ、その結果をハプトグラフとして表示手段５で表示させたものである。また図９〜図１１は、環境Ｅがニトリルゴムである場合に、この環境Ｅにアクチュエータ１３を接触動作させた際の反作用力のステップ応答を、処理手段３の時間領域解析部２１でＦＦＴ解析させ、その結果をハプトグラフとして表示手段５で表示させたものである。

図６および図９は、前記時間領域解析部２１によるＦＦＴの解析結果を、接触動作を行った位置に配置して並べ、ｘ軸を環境Ｅの横方向の位置とし、ｙ軸を周波数とし、ｚ軸をスペクトルの大きさとして表示している。また、環境Ｅの縦方向に関しては５点を離散的に配置している。したがって、これらの図は、図５に示す各接触位置ごとに、ＦＦＴの解析結果を並べて示していることが分かる。また、図７および図１０は、前記図６および図９に示すＦＦＴの解析結果を、処理手段３の表示制御手段がｘ軸に関して直線補間し、連続的に触覚を視覚化表示したものを表している。さらに、図８および図１１は、ＦＦＴの解析結果により得られたスペクトルの大きさを、色の濃淡で表現することで、情報を２次元空間に圧縮したものを示している。図６〜図８と図９〜図１１を比較すると、ニトリルゴムは鉄よりもＦＦＴの解析結果に低周波成分が多く含まれていることが分かる。また、両材料とも環境Ｅの中心付近に高周波のスペクトルが強く表れる傾向が見られる。これは、環境Ｅの中心部分は他よりも剛性が大きく、周囲の点より堅いということが示されている。

図１２〜図１４は、環境Ｅが鉄である場合に、この環境Ｅにアクチュエータ１３を接触動作させた際の、反作用力が落ち着いた状態での定常応答を、処理手段３の時間領域解析部２１でＦＦＴ解析させ、その結果をハプトグラフとして表示手段５で表示させたものである。また図１５〜図１７は、環境Ｅがニトリルゴムである場合に、この環境Ｅにアクチュエータ１３を接触動作させた際の、反作用力が落ち着いた状態での反作用力の定常応答を、処理手段３の時間領域解析部２１でＦＦＴ解析させ、その結果をハプトグラフとして表示手段５で表示させたものである。前述した反作用力のステップ応答のハプトグラフとは異なり、スペクトルの小さな高周波の信号が確認できる。ニトリルゴムに比べて鉄は高周波成分が強く表れており、環境Ｅの持つ粘性が小さいことが分かる。また、図１２〜図１７の全てにおいて、周波数が７００Hz付近に強いスペクトルが表れているが、これは実験システム固有の共振周波数であると思われる。

このように、接触動作における反作用力の時系列データからでは判別が困難な触覚情報を、ハプトグラフ表現を用いることによって、表示手段５から視覚的に提示することが可能である。特にこうした反作用力には、軸体１１が接触する環境Ｅの剛性や、粘性や、質量などの諸情報が含まれていることから、当該反作用力を時間領域で解析処理すれば、接触する環境Ｅの違いや触覚情報の特徴を表示手段５に可視化して表現させることが可能になる。また、こうした周波数分析データを材質データと関連付けて記憶手段４に記憶させ、処理手段３に組み込まれた判別手段２５を利用して、記憶手段４から必要なデータを読み出すことにより、定量的な比較も可能となる。したがって、環境Ｅの剛性や粘性の同定とは異なり、周波数解析の観点から接触する環境Ｅの材質の違いを標本化することも可能である。

本実施例では、軸体１１から環境Ｅへの一方向の押し動作を繰り返し行なうことで、ＦＦＴによる周波数解析結果をデータベース化して記憶し、またそれに基づくハプトグラフを作成する方法と装置を提案したが、環境Ｅの表面になで動作を行ない、連続的に反作用力を抽出したものをウェーブレット変換などを用いてハプトグラフを作成することも可能である。これにより、環境Ｅの材質が均一でない場合にもその変化を把握し、可視化表示することが可能である。このように、ハプトグラフを用いた新しい実世界触覚情報の可視化技術の開発に成功した。

なお、本実施例で提案する「ハプトグラフ」は、人間の動作を含めた環境Ｅとの接触によって生じる反作用力情報を、フーリエ変換やウェーブレット変換を用いて周波数解析し、空間情報として統合することで生成される。この「ハプトグラフ」の作成に際しては、入力手段２による広帯域な触覚センシングが必要であり、図１に示すような位置・加速度統合型（ＰＡＩＤＯ）の外乱オブザーバ１５を用いて、人間の感じる触覚帯域すべてをカバーすることが望まれる。さらに、ここでは詳しく説明しないが、力制御系の安定性解析により、外乱オブザーバ１５の広帯域化が、未知の環境Ｅに対する安定的な接触動作に不可欠であることを極の移動より確認している。なお、ＰＡＩＤＯ外乱オブザーバ１５については、本願発明者らが先に出願した特願２００６−５７６１４号で詳しく説明しているので、ここでの説明は省略する。

このように上記実施例では、環境Ｅとの接触動作によって生じる反作用力を「ハプトグラフ」で表現し、時系列データからでは判別が困難な触覚情報の定量的な比較を可能にしている。具体的には、実験例で示したように、鉄とニトリルゴムの接触動作によって生じる触覚の違いや、接触位置による違いを、「ハプトグラフ」により表現している。本実施例では、受動的な情報を用いてハプトグラフの作成を行ったが、動的環境Ｅなどの能動的な情報を用いても、同様に作成を行なうことが可能である。特に人間の動作に応用した場合、動作の抽出だけでなく、個人の持つ癖や個性をハプトグラフに表現することが可能であるため、熟練技能者の有するスキルの定量評価や触覚ベースでの個人認証といった技術の開発に適用でき、将来の人間支援技術に広く応用が可能である。

以上のように本実施例では、環境Ｅとの接触の動作に応じて作動するアクチュエータ１３を備え、アクチュエータ１３は、１台以上のマスターシステム１３Ａおよび２台以上のスレーブシステム１３Ｂをネットワークで接続してなり、前記環境との接触動作における作用力をマスターシステム１３Ａで受けると、この作用力に伴う反作用力を、ネットワークを介してスレーブシステム１３Ｂで生成するようになっており、ある時間にどのような反作用力が生じているのかを、環境Ｅとの接触動作により生じた時系列な力の触覚情報として入力手段２により取得し、この入力手段２で取得した触覚情報を、処理手段３により時間領域で可視化できるように解析処理して、前記触覚情報に含まれる時間と力との関係を、周波数と振幅との関係を示す周波数分析データに変換し、この周波数分析データから抽出手段２４が環境Ｅの材質または品質を抽出するようになっている。

こうすると、触覚情報をそのまま単に時系列的に並べるのではなく、取得した触覚情報に時間領域で可視化できるように解析処理を施し、その解析処理結果である周波数分析データから環境Ｅの材質または品質を抽出することができる。そのため、環境Ｅとの接触動作により生じた力から、接触する環境Ｅの材質的または品質的な特徴を直感的且つ定量的に把握して、これを抽出することが可能になる。

また、マスターシステム１３Ａに加わる作用力と、この作用力を受けてスレーブシステム１３Ｂで発生する反作用力とを別々に分離でき、そこから抽出される力に基づき、ある時間にどのような反作用力が生じているのかを、触覚情報として取得することが可能になる。

さらに、一乃至複数のマスターシステム１３Ａに作用力が加わると、ネットワークを介して複数のスレーブシステム１３Ｂに反作用力を発生させることができ、遠隔地における力伝送を可能にできる。

また、ここでは処理手段３によって、周波数分析データから、環境Ｅの材質または品質を視覚的に表現させるようになっている。つまり、周波数分析データから、単に環境Ｅの材質または品質を抽出するだけでなく、これらを視覚的に表現させて、例えば表示手段５などにより提示することが可能になる。

この場合、アクチュエータ１３から抽出した力によって、触覚情報を取得する。こうすれば、アクチュエータ１３を利用して、そこから抽出される力に基づき、触覚情報を取得することが可能になる。

また代わりに、アクチュエータ１３が制御手段であるモータ制御手段６により制御されているシステムから抽出した力によって、触覚情報を取得してもよい。当該モータ制御手段６によりアクチュエータ１３の例えば位置，速度，加速度，トルク，または力を制御しつつ、これらのモータ制御手段６とアクチュエータ１３とを組み合わせたシステムから抽出される力に基づき、触覚情報を取得することが可能になる。

上記アクチュエータ１３からの力が、位置センサ，速度センサ，加速度センサ，電流センサ，力センサ，トルクセンサ，または歪みゲージを用いて抽出される場合、これらのセンサやゲージの検知出力を利用して、アクチュエータ１３からの力を抽出できる。

また、アクチュエータ１３からの力を、外乱オブザーバ１５Ａ，１５Ｂにより抽出する構成であってもよい。外乱オブザーバ１５Ａ，１５Ｂによってアクチュエータ１３からの力を抽出することで、環境Ｅとの接触動作により生じた時系列な反作用力の触覚情報を取得できるので、力覚センサを用いることなく触覚情報の取得が可能になる。

本実施例では、前記周波数分析データと環境Ｅの材質または品質とを関連付けた関連付けデータ３３を、環境Ｅの材質毎または品質毎に記憶手段４に記憶させる方法と装置を提供している。

この場合、周波数分析データが環境Ｅの材質または品質と関連付けられて、記憶手段４に関連付けデータ３３として記憶されるので、環境Ｅとの接触動作により生じた力から、接触する環境Ｅの材質的または品質的な特徴を直感的且つ定量的に評価できるような周波数分析データを、触覚ベースで各材質毎または各品質毎にデータベース化することが可能になる。

また本実施例では、前記処理手段３による解析処理が行なわれると、この比較対象となる周波数分析データと、記憶手段４から読み出される関連付けデータ３３の解析処理結果（周波数分析データ３２）とを比較し、前記比較対象となる周波数分析データに一致または類似する環境Ｅの材質データ３１または品質データを、関連付けデータ３３から特定できるように、処理手段３に判別手段２５を備えている。

このようにすれば、単に時系列な力のデータからでは判別が困難な触覚情報の定量的な比較が可能となり、力の時間領域における周波数分析データから、未知の材質または品質を正しく特定することが可能になる。

また処理手段３は、前記取得した前記触覚情報を時間領域に加え位置領域で解析処理するものであってもよい。こうすれば、接触する環境Ｅの材質的または品質的な特徴を、位置情報と共に直感的且つ定量的に把握することが可能になる。

さらに本実施例の処理手段３は、入力手段２で取得した触覚情報をフーリエ変換またはウェーブレット変換またはコサイン変換により時間領域または空間領域で解析処理し、また有限要素法を用いた変換により空間領域で解析処理している。つまり、画像や音声信号処理などの分野で研究開発が進んでいるフーリエ変換またはウェーブレット変換またはコサイン変換や、空間領域を小空間に分割して数値解析を行なう手法としてよく知られている有限要素法を採用することで、触覚情報の時間領域や空間領域における解析処理を容易に行なうことが可能になる。

また、位置領域の解析処理が、離散的な各位置の周波数分析データを連続して補間する機能を有する場合、この離散的な各位置の周波数分析データから、連続した位置での接触環境Ｅの材質的または品質的な特徴を取得することが可能になる。

さらに、前記判別手段２５として、記憶手段４に記憶される関連付けデータ３３から、この関連付けデータ３３に含まれる周波数分析データを検索対象として、環境Ｅの材質または品質を特定する逆引き手段を備えるのが好ましい。こうした逆引き機能によって、関連付けデータ３３に含まれる周波数分析データを検索対象として、環境Ｅの材質または品質を正しく特定することが可能になる。

また、この場合の前記処理手段３からの解析処理結果は、触覚情報を周波数解析して得た周波数分析データを生成することで得られ、この周波数分析データは、触覚情報がどのような周波数特性を有しているのかを示している。

こうすると、入力手段２で取得した触覚情報から、この触覚情報を周波数解析した周波数分析データを生成することで、そこから触覚情報がどのような周波数特性を有するのかを可視化して提示することができ、振幅レベルの程度を例えば色や濃淡で可視化することで、触覚情報をより定量的に表現することが可能になる。

なお、本発明は上記実施例に限定されるものではなく、本発明の要旨の範囲において種々の変形実施が可能である。

上記実施例で提示した「ハプトグラフ」により、触覚情報を可視化することが可能になったため、実世界における触覚をより直感的且つ定量的に表現することができる。とりわけ本発明では、接触環境の違いによる触覚情報の違いを周波数解析により可視化し、これを材質毎に記憶して、「材質辞典」としてデータベース化を行なうことができるので、材質固有の共振周波数やスペクトルの大きさといった情報を抽出し、必要に応じて定量比較を行なうことが可能になる。そのため、それまで「つるつる」や「ざらざら」といった定性的な表現しかできなかった触覚情報の、より直感的且つ定量的な評価が可能になる。さらに、データベース化された「材質辞典」から、接触環境の材質または品質を逆引きで特定することもでき、例えば癌の診断技術などのように、将来の人間支援技術においても広く応用が可能となる。したがって、その産業上の応用は計り知れないものとなり得る。

本発明の一実施例における触覚の解析装置に関し、その全体構成を示すブロック図である。 同上、記憶手段に記憶されるデータの保存形態を模式的に示した概略説明図である。 同上、図１における触覚の解析装置が実行する処理手順をあらわしたフローチャートである。 同上、図１の装置本体を利用した実験システムの斜視図である。 同上、接触する環境の形状と接触点を示す斜視図である。 同上、ＦＦＴ解析による鉄のハプトグラフ（ステップ応答）を示すラインタイプのグラフである。 同上、ＦＦＴ解析による鉄のハプトグラフ（ステップ応答）を示すメッシュタイプのグラフである。 同上、ＦＦＴ解析による鉄のハプトグラフ（ステップ応答）を示すカラータイプのグラフである。 同上、ＦＦＴ解析によるニトリルゴムのハプトグラフ（ステップ応答）を示すラインタイプのグラフである。 同上、ＦＦＴ解析によるニトリルゴムのハプトグラフ（ステップ応答）を示すメッシュタイプのグラフである。 同上、ＦＦＴ解析によるニトリルゴムのハプトグラフ（ステップ応答）を示すカラータイプのグラフである。 同上、ＦＦＴ解析による鉄のハプトグラフ（定常応答）を示すラインタイプのグラフである。 同上、ＦＦＴ解析による鉄のハプトグラフ（定常応答）を示すメッシュタイプのグラフである。 同上、ＦＦＴ解析による鉄のハプトグラフ（定常応答）を示すカラータイプのグラフである。 同上、ＦＦＴ解析によるニトリルゴムのハプトグラフ（定常応答）を示すラインタイプのグラフである。 同上、ＦＦＴ解析によるニトリルゴムのハプトグラフ（定常応答）を示すメッシュタイプのグラフである。 同上、ＦＦＴ解析によるニトリルゴムのハプトグラフ（定常応答）を示すカラータイプのグラフである。

２ 入力手段
３ 処理手段
４ 記憶手段
５ 表示手段
６ モータ制御手段（制御手段、システム）
１３ アクチュエータ
１３Ａ マスターシステム
１３Ｂ スレーブシステム
１５，１５Ａ，１５Ｂ 外乱オブザーバ
２４ 抽出手段
２５ 判別手段（逆引き手段）

Claims (22)

1. 環境との接触動作に応じて作動するアクチュエータを備え、
   前記アクチュエータは、１台以上のマスターシステムおよび２台以上のスレーブシステムをネットワークで接続してなり、前記環境との接触動作における作用力を前記マスターシステムで受けると、この作用力に伴う反作用力を、前記ネットワークを介して前記スレーブシステムで生成するようになっており、
   ある時間にどのような反作用力が生じているのかを、前記環境との接触動作により生じた時系列な力の触覚情報として取得し、
   前記取得した前記触覚情報を時間領域で解析処理して、前記触覚情報に含まれる時間と力との関係を、周波数と振幅との関係を示す周波数分析データに変換し、
   この周波数分析データから前記環境の材質または品質を抽出することを特徴とする触覚の視覚的解析方法。
2. 前記周波数分析データから、前記抽出した環境の材質または品質を視覚的に表現させることを特徴とする請求項１記載の触覚の解析方法。
3. 前記アクチュエータから抽出した力によって、前記触覚情報を取得することを特徴とする請求項１または２記載の触覚の解析方法。
4. 前記アクチュエータが制御手段により制御されているシステムから抽出した力によって、前記触覚情報を取得することを特徴とする請求項１または２記載の触覚の解析方法。
5. 前記アクチュエータからの力が、位置センサ，速度センサ，加速度センサ，電流センサ，力センサ，トルクセンサ，または歪みゲージを用いて抽出されることを特徴とする請求項３または４記載の触覚の解析方法。
6. 前記アクチュエータからの力が、外乱オブザーバにより抽出されることを特徴とする請求項３または４記載の触覚の解析方法。
7. 前記周波数分析データと前記環境の材質または品質とを関連付けた関連付けデータを、当該環境の材質毎または品質毎に記憶手段に記憶させることを特徴とする請求項１〜６の何れか一つに記載の触覚の解析方法。
8. 前記解析処理が行なわれると、この比較対象となる周波数分析データと前記記憶手段から読み出される関連付けデータの周波数分析データとを比較し、前記比較対象となる周波数分析データに一致または類似する前記環境の材質または品質を、前記関連付けデータから特定することを特徴とする請求項７記載の触覚の解析方法。
9. 前記取得した触覚情報をフーリエ変換またはウェーブレット変換またはコサイン変換により時間領域で解析処理することを特徴とする請求項１〜８の何れか一つに記載の触覚の解析方法。
10. 前記周波数分析データを位置領域で解析処理し、
    この位置領域の解析処理が、有限要素法により行なわれ、離散的な各位置の前記周波数分析データを連続して補間する機能を有することを特徴とする請求項１〜９の何れか一つに記載の触覚の解析方法。
11. 前記記憶手段に記憶される関連付けデータから、前記周波数分析データを検索対象として前記環境の材質または品質を特定する逆引き機能を備えたことを特徴とする請求項７記載の触覚の解析方法。
12. 環境との接触動作に応じて作動するアクチュエータを備え、
    前記アクチュエータは、１台以上のマスターシステムおよび２台以上のスレーブシステムをネットワークで接続してなり、前記環境との接触動作における作用力を前記マスターシステムで受けると、この作用力に伴う反作用力を、前記ネットワークを介して前記スレーブシステムで生成する構成を有し、
    ある時間にどのような反作用力が生じているのかを、前記環境との接触動作により生じた時系列な力の触覚情報として取得する入力手段と、
    前記取得した前記触覚情報を時間領域で解析処理して、前記触覚情報に含まれる時間と力との関係を、周波数と振幅との関係を示す周波数分析データに変換する処理手段と、
    この周波数分析データから前記環境の材質または品質を抽出する抽出手段と、を備えたことを特徴とする触覚の解析装置。
13. 前記処理手段は、前記周波数分析データから、前記抽出した環境の材質または品質を視覚的に表現させるものであることを特徴とする請求項１２記載の触覚の解析装置。
14. 前記アクチュエータから抽出した力によって、前記触覚情報を取得する構成としたことを特徴とする請求項１２または１３記載の触覚の解析装置。
15. 前記アクチュエータが制御手段により制御されているシステムから抽出した力によって、前記触覚情報を取得する構成としたことを特徴とする請求項１２または１３記載の触覚の解析装置。
16. 前記アクチュエータからの力を、位置センサ，速度センサ，加速度センサ，電流センサ，力センサ，トルクセンサ，または歪みゲージを用いて抽出する構成としたことを特徴とする請求項１４または１５記載の触覚の解析装置。
17. 前記アクチュエータからの力を抽出する外乱オブザーバを備えたことを特徴とする請求項１４または１５記載の触覚の解析装置。
18. 前記周波数分析データと前記環境の材質または品質とを関連付けた関連付けデータを、当該環境の材質毎または品質毎に記憶手段に記憶させる構成としたことを特徴とする請求項１２〜１７の何れか一つに触覚の解析装置。
19. 前記解析処理が行なわれると、この比較対象となる周波数分析データと前記記憶手段から読み出される関連付けデータの周波数分析データとを比較し、前記比較対象となる周波数分析データに一致または類似する前記環境の材質または品質を、前記関連付けデータから特定する判別手段をさらに備えたことを特徴とする請求項１８記載の触覚の解析装置。
20. 前記処理手段は、前記取得した触覚情報をフーリエ変換またはウェーブレット変換またはコサイン変換により時間領域で解析処理するものであることを特徴とする請求項１２〜１９の何れか一つに記載の触覚の解析装置。
21. 前記処理手段は、前記周波数分析データを位置領域で解析処理するものであり、
    この位置領域の解析処理が、有限要素法により行なわれ、離散的な各位置の前記周波数分析データを連続して補間する機能を有することを特徴とする請求項１２〜２０の何れか一つに記載の触覚の解析装置。
22. 前記記憶手段に記憶される関連付けデータから、前記周波数分析データを検索対象として前記環境の材質または品質を特定する逆引き手段を備えたことを特徴とする請求項１８記載の触覚の解析装置。