JP7007852B2 - 遠隔力覚誘導システム、マスター装置及びスレーブ装置、並びにプログラム - Google Patents

遠隔力覚誘導システム、マスター装置及びスレーブ装置、並びにプログラム Download PDF

Info

Publication number
JP7007852B2
JP7007852B2 JP2017193249A JP2017193249A JP7007852B2 JP 7007852 B2 JP7007852 B2 JP 7007852B2 JP 2017193249 A JP2017193249 A JP 2017193249A JP 2017193249 A JP2017193249 A JP 2017193249A JP 7007852 B2 JP7007852 B2 JP 7007852B2
Authority
JP
Japan
Prior art keywords
slave
guidance
master
tactile
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017193249A
Other languages
English (en)
Other versions
JP2019067225A (ja
Inventor
忠裕 坂井
俊宏 清水
正次 坂尻
淳児 大西
昭広 緒方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsukuba University of Technology NUC
Japan Broadcasting Corp
NHK Engineering System Inc
Original Assignee
Tsukuba University of Technology NUC
Japan Broadcasting Corp
NHK Engineering System Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsukuba University of Technology NUC, Japan Broadcasting Corp, NHK Engineering System Inc filed Critical Tsukuba University of Technology NUC
Priority to JP2017193249A priority Critical patent/JP7007852B2/ja
Publication of JP2019067225A publication Critical patent/JP2019067225A/ja
Application granted granted Critical
Publication of JP7007852B2 publication Critical patent/JP7007852B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、所定のネットワーク経由で接続されたマスター装置とスレーブ装置の遠隔間で、マスター装置からスレーブ装置に対し視覚障害者を対象に文字やグラフ、地図などの情報を伝えるために所定の触察位置を誘導する遠隔力覚誘導システム、そのマスター装置及びスレーブ装置、並びにプログラムに関する。
従来、視覚に障害のある人に図や表、グラフ、メニュー画面などのように言葉で伝えにくい２次元情報を音声だけで伝えるのは困難であり、触図などが用いられている。触図を用いる情報提示では、実時間の情報提示やその触図上で触れた箇所を音声で読み上げることが難しいという課題がある。そこで、実時間で図やグラフを伝える第一の提示方法の例として、多数の微小アクチュエータによる振動、或いは凹凸提示で画像を触覚提示する触覚提示装置として触覚ディスプレイが知られている（例えば、非特許文献１参照）。
この触覚ディスプレイでは、ユーザーは能動的に指を動かして図やグラフを認知する。また周知のように、触覚ディスプレイに提示された図やグラフの情報では、触れた位置の内容を音声で説明する方式も知られている（例えば、非特許文献２，３参照）。
一方、バーチャルリアリティの分野では、３次元の立体形状を伝達することを目的に、仮想的な物体の形状を力覚で提示する力覚提示装置が開発されている。力覚提示装置では、ユーザーの指の３次元座標位置を検出しコンピューターで作成した仮想物体の３次元座標で衝突した場合に物理的な反力をフィードバックする。代表的な力覚提示装置には“PHANToM Haptic Interface”と称される３次元力覚入出力デバイスが知られている（例えば、非特許文献４参照）。
また、触覚ディスプレイと力覚提示装置とを用いて複合し、空間または平面上存在するコンテンツのレイアウトやオブジェクトの位置などを伝えるために、コンテンツの全体の構成やオブジェクトの位置関係、グラフの軌跡などを、予めユーザーの手指を誘導して伝えた後に、触覚ディスプレイで触察させる触覚提示／力覚誘導方式の提示装置が本発明者らにより開示されている（例えば、特許文献１参照）。
一方、遠隔間で力覚を制御する方式には、バーチャルリアティの分野において、一方の運動動作を遠隔の他方に伝え同期した運動を行う遠隔制御のテレイグジスタンス（マスター-スレーブ）方式が提案されている（例えば、非特許文献５参照）。この遠隔のマスター-スレーブ方式は、遠隔医療や遠隔教育にも適用され（例えば、非特許文献６，７参照）、応用の範囲を広げている。
特開２０１４－１６４５１８号公報
"ドットビュー（登録商標）", ［online］，ケージーエス株式会社，［平成29年9月25日検索］，インターネット〈URL：http://www.kgs-jpn.co.jp/〉 半田,坂井,森田,伊藤："タッチパネル搭載型触覚ディスプレイを用いたインタラクティブな提示方式"，信学技報，WIT2007-47,pp.83-86(2007) 山本,内田,島田,篠原,下条,清水:"インタラクティブ型触覚グラフィックディスプレイのユーザーインタフェース向上とその応用",日本VR学会論文誌 13(1) ，pp.49-57（2008） T.H.Massie, J.K.Salisbury, "The phantom haptic interface: A device for probing virtual objects," Proc. ASME Haptic Interfaces for Virtual Environment and Teleoperator Systems In Dynamic Systems and Control 1994, vol.1, pp.295-301 (1994) 舘，"20年後のテレイグジスタンス"，日本バーチャルリアリティ学会誌, Vol.21(3)，pp.34-37 (2016) 中尾，黒田，"情報通信技術によるユビキタス医療への挑戦 6.医療における力覚メディア"，信学会誌，Vol.90（8），pp.659-664 (2007） 柴田，松崎，美間，今村，三好 ，小山，大場，市村，沢口，"高専‐豊橋技科大間における遠隔制御システムを用いた体験型授業の実施"，日本ロボット学会学術講演会予稿集, Vol.30，ROMBUNNO.4L3-4 (2012)
視覚に障害のある人が図やグラフを迅速に理解しやすい提示装置を提供することが望まれている。しかし、従来技術で述べたように、図やグラフなどを伝えるには、音声で説明する手段があるが、２次元の情報を音声の説明だけでは正確な位置の把握や迅速な把握が難しい。そこで、触覚ディスプレイや力覚提示装置などが開発されている。
しかしながら、非特許文献１乃至３に開示される触覚ディスプレイを用いた従来技法の例では、ユーザーが能動的に触れて形状を認知する必要がある。この場合、初めて提示される図やグラフに触れて理解するには時間を要するほか、表示されたオブジェクトを見落とすなど全体の中ですべてを網羅して把握できないという課題がある。
また、非特許文献４に開示される力覚提示装置を用いた従来技法の例は、グラフィックユーザーインターフェース（ＧＵＩ）の仮想的なオブジェクトに触れて理解させる技法である。しかし、通常、触図や触覚ディスプレイで触察する場合には、手の指や掌全体を使って触れることが多いが、力覚提示装置単独ではそのような触察ができないので相対的な位置関係の把握が難しい。また、力覚提示では指先の接触が１点だけの点接触のためオブジェクトからの逸脱などの理由により、触覚ディスプレイでの触察と比較すると安定な触察に劣るという課題がある。
また、特許文献１に開示される触覚提示／力覚誘導方式の提示装置の例では、２次元空間に存在するオブジェクトの全体の位置やグラフの軌跡などを力覚誘導によりユーザーに伝え、尚且つ触覚ディスプレイで確認できるので、上述した非特許文献１乃至４に係る課題を克服できる。しかし、本方式の提示装置は、予め作成されたコンテンツをユーザーに理解、把握させることができたが、例えば教育授業などで先生と生徒との間の遠隔間での利用を可能とするには更なる工夫が必要になる。
一方、遠隔制御に関しては、非特許文献５乃至７に開示されるようにテレイグジスタンスを応用した技法が提案されている。しかし、これらの遠隔制御技法は遠隔間での忠実な制御を目的としており、特に、視覚障害者を対象としたシステムは考慮されていない。例えば、視覚障害者を生徒とする教育授業で図やグラフなどの内容を説明する際には、先生は極力指示語を使わないように配慮しなければならない。現状では、生徒が正確に内容を把握するために、先生のほかにアシスタントの方がサポートする必要があるなどの課題がある。また、遠隔で授業を行う場合には、先生は生徒の状態を把握する必要がある。
そこで、マスター装置とスレーブ装置とを所定のネットワーク経由で接続し、例えば先生が遠隔間で視覚障害者を生徒とする教育授業として、マスター装置を先生が操作し、このマスター装置に従動するスレーブ装置を生徒が誘導操作可能とする遠隔力覚誘導システムの構築が望まれる。特に、マスター装置からスレーブ装置に対し視覚障害者を対象に所定のコンテンツ（文字やグラフ、地図などの情報）を的確に理解把握できるよう伝えるために生徒の指等の触察位置を誘導する技法が要望される。
本発明の目的は、上述の問題に鑑みて、所定のネットワーク経由で接続されたマスター装置とスレーブ装置の遠隔間で、マスター装置からスレーブ装置に対し視覚障害者を対象にコンテンツ（文字やグラフ、地図などの情報）を伝えるためにマスター装置からスレーブ装置を誘導制御する遠隔力覚誘導システム、そのマスター装置及びスレーブ装置、並びにプログラムを提供することにある。
即ち、本発明の遠隔力覚誘導システムは、所定のネットワーク経由で接続されたマスター装置とスレーブ装置の遠隔間で、マスター装置から１台以上のスレーブ装置に対し視覚障害者を対象にコンテンツを伝えるためにマスター装置からスレーブ装置を誘導制御する遠隔力覚誘導システムであって、前記マスター装置は、前記スレーブ装置に対し少なくとも力覚誘導の提示を可能とする操作デバイス、マスター側制御ユニット、及びモニターを備え、前記スレーブ装置は、前記マスター装置からの遠隔操作信号に基づいて少なくとも力覚誘導を可能とする被操作デバイス、及びスレーブ側制御ユニットを備え、前記マスター側制御ユニットは、前記操作デバイスから入力される操作情報を基に、前記スレーブ装置の接続状況及び使用者名、或いは使用状態を把握するための状態要求信号、前記スレーブ装置に対し少なくとも力覚誘導提示を行うコンテンツに関する提示データの書き込み信号と、及び触察部位を誘導する触察位置座標を示す触察位置座標信号と、前記スレーブ装置の動作モードを、前記マスター装置側の前記操作デバイスの操作触察位置座標を基に前記スレーブ装置側の前記被操作デバイスの触察部位を連動して誘導させるマスター誘導モード、又は前記スレーブ装置で予め設定された誘導順序を基に前記被操作デバイスの触察部位を自己誘導する自己誘導モードのいずれかに強制的に切り替えるスレーブモード制御信号と、のいずれかを含む遠隔操作信号を生成して前記スレーブ装置に送信する手段と、前記スレーブ装置からの状態通知信号又は要求信号を受信し、前記モニターに表示するか、又は前記操作デバイスへ反映する制御信号を生成する手段と、を備え、前記スレーブ側制御ユニットは、前記遠隔操作信号を受信して前記状態要求信号を含む際には対応する接続状況及び使用者名、或いは提示中のコンテンツ名又は触察位置を含む使用状態を示す前記状態通知信号を生成し前記マスター装置に返信する手段と、前記遠隔操作信号を受信して前記書き込み信号を含む際には前記コンテンツに関する提示データをレジスタに書き込むとともに前記被操作デバイスに提示する手段と、前記遠隔操作信号を受信して前記スレーブモード制御信号を含む際には前記スレーブモード制御信号の指示に従う前記マスター誘導モード又は前記自己誘導モードに切り替えてモード遷移させる手段と、前記遠隔操作信号を受信して前記触察位置座標信号を含む際には、前記マスター誘導モードとして、前記触察位置座標を基に誘導力に変換し前記被操作デバイスを誘導制御する手段と、前記自己誘導モードとして、複数のコンテンツから選択的に前記レジスタに更新された提示データのコンテンツに関して前記被操作デバイスに提示している旨を前記状態通知信号として前記マスター装置に送信する手段と、所定の要求が有る旨を前記要求信号として前記マスター装置に送信する手段と、を備えることを特徴とする。
また、本発明の遠隔力覚誘導システムにおいて、前記操作デバイスは少なくとも力覚誘導の提示を可能とする機能を有し、前記被操作デバイスは前記操作デバイスの力覚誘導の提示に対応する力覚誘導の提示を可能とする機能を有することを特徴とする。
更に、本発明のマスター装置は、所定のネットワーク経由で接続されたマスター装置とスレーブ装置の遠隔間で、マスター装置から１台以上のスレーブ装置に対し視覚障害者を対象にコンテンツを伝えるためにマスター装置からスレーブ装置を誘導制御する遠隔力覚誘導システムにおける当該マスター装置であって、当該マスター装置側の操作デバイスの触察位置座標を検出して当該スレーブ装置に伝送し、前記操作触察位置座標を誘導力に変換させて当該スレーブ装置側の被操作デバイスの触察位置を追従させることで誘導するように制御する手段と、当該マスター装置側で提示されるコンテンツに関する提示データを当該スレーブ装置に送信して当該スレーブ装置側のレジスタに書き込ませ、前記被操作デバイスに提示するコンテンツを更新し識別させるとともに、当該送信した提示データのコンテンツを前記操作デバイスに提示するように更新する手段と、当該スレーブ装置の動作モードを、当該マスター装置側の前記操作デバイスの操作触察位置座標を基に前記被操作デバイスの触察部位を連動して誘導させるマスター誘導モード、又は当該スレーブ装置側で予め設定された誘導順序を基に前記被操作デバイスの触察部位を誘導する自己誘導モードのいずれかに設定するよう制御する手段と、を備えることを特徴とする。
また、本発明のマスター装置において、当該スレーブ装置の状態を把握するための状態要求信号を当該スレーブ装置に送信し、当該スレーブ装置の接続状況及び使用者名と前記被操作デバイスに提示しているコンテンツに関する情報のいずれかを少なくとも含む状態通知信号を通知するよう応答させ、当該マスター装置のモニターに表示する手段と、当該スレーブ装置側からの要求の有無を受け付け、その旨を当該マスター装置のモニターに表示する手段と、を更に備えることを特徴とする。
また、本発明のマスター装置において、前記マスター誘導モード中の割込み動作として当該スレーブ装置側の触察位置を把握するためのスレーブ触察位置通知モードとして、当該スレーブ装置の被操作デバイスにおける触察位置座標を把握するための状態要求信号を当該スレーブ装置に送信し、当該被操作デバイスにおける触察位置座標を検出し通知するよう応答させ、当該マスター装置のモニターに表示するとともに、当該被操作デバイスにおける触察位置座標に基づき前記操作デバイスの触察位置を誘導する手段を更に備えることを特徴とする。
更に、本発明のスレーブ装置は、所定のネットワーク経由で接続されたマスター装置とスレーブ装置の遠隔間で、マスター装置から１台以上のスレーブ装置に対し視覚障害者を対象にコンテンツを伝えるためにマスター装置からスレーブ装置を誘導制御する遠隔力覚誘導システムにおける当該スレーブ装置であって、当該マスター装置側の操作デバイスの触察位置座標を伝送取得し前記操作触察位置座標を誘導力に変換して当該スレーブ装置側の被操作デバイスの触察位置を追従させるように制御する手段と、当該マスター装置側で提示されるコンテンツに関する提示データを伝送取得し当該スレーブ装置側のレジスタに書き込み、前記被操作デバイスに提示するコンテンツを更新する手段と、当該マスター装置から、当該マスター装置側の前記操作デバイスの操作触察位置座標を基に前記被操作デバイスの触察部位を連動して誘導させるマスター誘導モード、又は当該スレーブ装置側で予め設定された誘導順序を基に前記被操作デバイスの触察部位を誘導する自己誘導モードのいずれかに設定するよう制御するスレーブモード制御信号を受け付け、前記スレーブモード制御信号に対応する動作モードで動作するよう制御する手段と、を備えることを特徴とする。
また、本発明のスレーブ装置において、当該マスター装置から、当該スレーブ装置の状態を把握するための状態要求信号を受信し、当該スレーブ装置の接続状況及び使用者名と前記被操作デバイスに提示しているコンテンツに関する情報のいずれかを少なくとも含む状態通知信号を通知するよう応答する手段と、当該マスター装置に対し、当該スレーブ装置側からの要求の有無を通知する手段と、を更に備えることを特徴とする。
また、本発明のスレーブ装置において、前記マスター誘導モード中の割込み動作として当該スレーブ装置側の触察位置を当該マスター装置が把握するためのスレーブ触察位置通知モードとして、当該マスター装置から、当該スレーブ装置の被操作デバイスにおける触察位置座標を把握するための状態要求信号を受信し、前記状態要求信号の応答として当該被操作デバイスにおける触察位置座標を検出し当該マスター装置に通知する手段を更に備えることを特徴とする。
更に、本発明のプログラムは、本発明の遠隔力覚誘導システムにおける前記マスター側制御ユニットをコンピューターとして機能させるためのプログラムとして構成する。
更に、本発明のプログラムは、本発明の遠隔力覚誘導システムにおける前記スレーブ側制御ユニットをコンピューターとして機能させるためのプログラムとして構成する。
本発明によれば、所定のネットワーク経由で接続されたマスター装置とスレーブ装置の遠隔間で、マスター装置からスレーブ装置に対し視覚障害者を対象に文字やグラフ、地図などの情報を的確に理解把握できるよう伝えるために所定の触察位置（指等の位置）を誘導する遠隔力覚誘導システムが実現される。
特に、本発明によれば、例えば先生が遠隔間で視覚障害者を生徒とする教育授業として本発明に係る遠隔力覚誘導システムを利用することで、マスター装置を先生が操作し、このマスター装置に従動するスレーブ装置を生徒が誘導操作可能となる。例えば、マスター装置を操作する先生が図を用いて教授する際に、その図の上で動かした指の動きに連動してスレーブ装置を操作する生徒の指を誘導することができる。これにより当該先生によって提示される図の内容を遠隔間で教授でき、指示語による実時間の授業ができる遠隔授業の環境を実現できる。
更に、本発明に係る一態様の遠隔力覚誘導システムによれば、マスター装置からスレーブ装置に対し誘導操作するマスター誘導モードの他に、スレーブ装置の操作者自身が操作する自己誘導モードが提供され、マスター装置から、或いはスレーブ装置からマスター誘導モードと自己誘導モードの切り替え制御が可能となる。これにより、例えば遠隔間でマスター装置の操作者（例えば先生）によるスレーブ装置の操作者（例えば生徒）への力覚誘導により、実時間で教授される環境を実現することができ、相乗的にスレーブ装置の操作者（例えば生徒）の学習や理解の向上を支援できるようになる。
更に、本発明に係る一態様の遠隔力覚誘導システムによれば、マスター装置の操作者（例えば先生）がスレーブ装置の操作者（例えば生徒）に対し提示する情報（図等の位置）を誘導することだけでなく、マスター装置の操作者（例えば先生）は、マスター装置とスレーブ装置の両者間の装置の接続状態、スレーブ装置の操作者（例えば生徒）が閲覧している提示ファイル名や当該操作者（例えば生徒）からの要求（例えば質問等を含む）、或いはスレーブ装置の操作者（例えば生徒）の操作状態（例えば先生に図の位置を示す状況など）を的確に把握できる。
このように、本発明によれば、視覚障害者を対象に、遠隔で従来不可能に近かった実時間の教授や指示語での迅速な教授が可能となる。
そして、本発明に係る遠隔力覚誘導システムは、遠隔授業だけにとどまらず、通信や放送を利用した教育用途への発展も期待でき、遠隔地での図の内容の情報伝送や、視覚と聴覚の重複障害者に対し手のひら書きなどの文字によるコミュニケーション環境に利用できる。
本発明による一実施形態のマスター装置及びスレーブ装置を備える遠隔力覚誘導システムの概略構成を示すブロック図である。 本発明による一実施形態のマスター装置の概略構成を示すブロック図である。 本発明による一実施形態のスレーブ装置の概略構成を示すブロック図である。 本発明による一実施形態のマスター装置における操作デバイスの一例として構成される触覚提示／力覚誘導デバイスの概略構成を示すブロック図である。 本発明による一実施形態のマスター装置における被操作デバイスの一例として構成される触覚提示／力覚誘導デバイスの概略構成を示すブロック図である。 本発明による一実施形態のマスター装置及びスレーブ装置を備える遠隔力覚誘導システムの動作例を示すフローチャートである。 本発明による一実施形態のマスター装置の動作例を示すフローチャートである。 本発明による一実施形態のスレーブ装置の動作例を示すフローチャートである。 本発明による一実施形態のマスター装置及びスレーブ装置の双方のユーザーインタフェース（ＵＩ）に関する機能の概要を一覧表示する図である。
以下、図面を参照して、本発明による一実施形態のマスター装置１及びスレーブ装置３Ｓ‐Ｎ（Ｎは１以上の整数）を備える遠隔力覚誘導システム１０を説明する。
〔遠隔力覚誘導システムの全体構成〕
図１は、本発明による一実施形態のマスター装置１及びスレーブ装置３Ｓ‐Ｎを備える遠隔力覚誘導システム１０の概略構成を示すブロック図である。遠隔力覚誘導システム１０は、インターネット等の所定のネットワーク経由で接続されたマスター装置１とスレーブ装置３Ｓ‐Ｎの遠隔間で、マスター装置１からスレーブ装置３Ｓ‐Ｎに対し視覚障害者を対象に文字やグラフ、地図などの情報を伝えるために所定の触察位置（指等の位置）を誘導するシステムとして構成される。以下では、所定のネットワークの一例として、マスター装置１とスレーブ装置３Ｓ‐Ｎとがローカルエリアネットワーク（ＬＡＮ）２で接続した例を代表して説明する。
図１を参照するに、遠隔力覚誘導システム１０は、１台のマスター装置１とＮ（Ｎは１以上の整数）台のスレーブ装置３Ｓ‐Ｎとがローカルエリアネットワーク（ＬＡＮ）２で接続される。
マスター装置１は、操作デバイス１１、制御ユニット１２及びモニター１３を備える。
操作デバイス１１は、触覚提示及び力覚誘導提示を行う触覚提示／力覚誘導デバイス１１ａや力覚誘導提示のみを行う力覚誘導提示デバイス、或いはタブレットなどのタッチ操作、ジェスチャー操作、音声認識操作等の操作で、少なくとも力覚誘導の提示を可能とするデバイスであり、マスター装置１の操作者による操作デバイス１１の操作を情報化し、その操作情報を制御ユニット１２に出力する。以下に説明する例では、この操作デバイス１１として、触覚提示及び力覚誘導提示を行う触覚提示／力覚誘導デバイス１１ａにより構成する。触覚提示／力覚誘導デバイス１１ａは、特許文献１に開示される提示装置と同様の構成とすることができ、その詳細は後述する。
制御ユニット１２は、その詳細は後述するが、操作デバイス１１（触覚提示／力覚誘導デバイス１１ａ）から入力される操作情報を基に、スレーブ装置３Ｓ‐Ｎの接続登録や接続状況の把握、スレーブ装置３Ｓ‐Ｎの使用者名の登録や把握、並びに、スレーブ装置３Ｓ‐Ｎに対し触覚提示及び力覚誘導提示を行うコンテンツ（文字やグラフ、地図などの情報）に関する提示データの書き込み等の各種信号（詳細に後述する）を含む遠隔操作信号を生成し、ＬＡＮ２経由で、各スレーブ装置３Ｓ‐Ｎに送信する。
この遠隔操作信号には、詳細に後述する種々の機能を実現する各種信号が含まれる。例えば、遠隔操作信号は、操作デバイス１１（触覚提示／力覚誘導デバイス１１ａ）から入力される操作情報を基に、スレーブ装置３Ｓ‐Ｎの接続状況及び使用者名、或いは使用状態を把握するための状態要求信号、スレーブ装置３Ｓ‐Ｎに対し少なくとも力覚誘導提示を行うコンテンツに関する提示データの書き込み信号、触察部位を誘導する触察位置座標を示す触察位置座標信号、及びスレーブ装置３Ｓ‐Ｎの動作モードを後述する「マスター誘導モード」と「自己誘導モード」のいずれかに強制的に切り替えるスレーブモード制御信号のいずれかを含む。
ここで、「マスター誘導モード」は、マスター装置１側の操作デバイス１１（触覚提示／力覚誘導デバイス１１ａ）の操作触察位置座標を基に被操作デバイス３１（触覚提示／力覚誘導デバイス３１ａ）の触察部位を連動して誘導させる動作モードである。
一方、「自己誘導モード」は、スレーブ装置３Ｓ‐Ｎの操作者自身の操作によって、スレーブ装置３Ｓ‐Ｎ内の所定の記憶部（図示せす）に格納されている複数のコンテンツから選択的にレジスタ（後述する触覚提示／力覚誘導ＸＭＬレジスタ３２３）に更新された提示データのコンテンツに関して予め設定された誘導順序を基に被操作デバイス３１（触覚提示／力覚誘導デバイス３１ａ）の触察部位を自己誘導する動作モードであり、即ち特許文献１の技法による動作と同様とする動作モードである。
尚、スレーブ装置３Ｓ‐Ｎにおける「マスター誘導モード」と「自己誘導モード」は、マスター装置１とスレーブ装置３Ｓ‐Ｎの双方で切り替え制御可能に構成することも可能である。
また、制御ユニット１２は、その詳細は後述するが、各スレーブ装置３Ｓ‐Ｎから状態通知信号や要求信号を受信して、これらの信号に対応する各種情報をモニター１３に表示することや、触覚提示／力覚誘導デバイス１１ａの動作へと反映する制御信号を生成する。この状態通知信号や要求信号についても詳細に後述する。
このような制御ユニット１２は、中央演算処理ユニット（ＣＰＵ）を備えるコンピューターとして構成することができ、当該コンピューターが備える記憶部（図示せず）には、当該ＣＰＵにより読み出し制御ユニット１２における各機能を実現するためのプログラムが格納される。
一方、各スレーブ装置３Ｓ‐Ｎは、同様に構成され、それぞれ被操作デバイス３１及び制御ユニット３２を備える。
被操作デバイス３１は、触覚提示及び力覚誘導提示を行う触覚提示／力覚誘導デバイス３１ａや力覚誘導提示のみを行う力覚誘導提示デバイスであり、制御ユニット３２によってマスター装置１から受信した遠隔操作信号を基に誘導制御される機能と、スレーブ装置１の操作者による被操作デバイス３１の操作を情報化し、その操作情報を制御ユニット３１に出力する。以下に説明する例では、この操作デバイス３１として、触覚提示及び力覚誘導提示を行う触覚提示／力覚誘導デバイス３１ａにより構成する。触覚提示／力覚誘導デバイス３１ａは、特許文献１に開示される提示装置と同様の構成とすることができ、その詳細は後述する。
制御ユニット３２は、マスター装置１から遠隔操作信号を受信して、この遠隔操作信号が上記の状態要求信号を含む際には、対応する接続状況及び使用者名、或いは提示中のコンテンツ名又は触察位置を含む使用状態を示す状態通知信号を生成し、ＬＡＮ２経由で、マスター装置１に返信する。
また、制御ユニット３２は、マスター装置１から遠隔操作信号を受信して、この遠隔操作信号が上記の書き込み信号を含む際には、そのコンテンツに関する提示データをレジスタ（後述する触覚提示／力覚誘導ＸＭＬレジスタ３２３）に書き込むとともに被操作デバイス３１（触覚提示／力覚誘導デバイス３１ａ）に提示する。
また、制御ユニット３２は、マスター装置１から遠隔操作信号を受信して、この遠隔操作信号が上記のスレーブモード制御信号を含む際には、スレーブモード制御信号の指示に従う「マスター誘導モード」又は「自己誘導モード」に切り替え、モード遷移させる。
また、制御ユニット３２は、マスター装置１から遠隔操作信号を受信して、この遠隔操作信号が上記の触察位置座標信号を含む際には、マスター装置１からスレーブ装置３Ｓ‐Ｎに対し誘導操作するマスター誘導モードとして、上記の触察位置座標を基に誘導力に変換し被操作デバイス３１（触覚提示／力覚誘導デバイス３１ａ）を誘導する。
また、制御ユニット３２は、当該スレーブ装置３Ｓ‐Ｎの操作者自身が操作する自己誘導モードとして、スレーブ装置３Ｓ‐Ｎ内の所定の記憶部（図示せす）に格納されている複数のコンテンツから選択的にレジスタ（後述する触覚提示／力覚誘導ＸＭＬレジスタ３２３）に更新された提示データのコンテンツに関して被操作デバイス３１（触覚提示／力覚誘導デバイス３１ａ）に提示している旨を当該状態通知信号としてマスター装置１に送信する。
また、制御ユニット３２は、所定の要求（質問を含む）が有る旨を当該要求信号として、ＬＡＮ２経由で、マスター装置１に送信する。
このような制御ユニット３２は、中央演算処理ユニット（ＣＰＵ）を備えるコンピューターとして構成することができ、当該コンピューターが備える記憶部（図示せず）には、当該ＣＰＵにより読み出し制御ユニット１２における各機能を実現するためのプログラムが格納される。
図１に示すように、マスター装置１は、１台だけでなく複数台のスレーブ装置３Ｓ‐Ｎに対して、同時に、文字やグラフ、地図などの情報を伝えるために指等の触察位置を誘導することができる。即ち、マスター装置１は、複数台のスレーブ装置３Ｓ‐Ｎの接続登録と、複数台のスレーブ装置３Ｓ‐Ｎに対する１名又は複数名の使用者名について予め登録している。そして、詳細は後述するが、マスター装置１の操作者による触覚提示／力覚誘導デバイス１１ａの所定の操作を経て、制御ユニット１２が所定の状態要求を示す遠隔操作信号を複数台のスレーブ装置３Ｓ‐Ｎの各々に送信し、その応答をモニター１３に自動表示することにより、どのスレーブ装置３Ｓ‐Ｎが接続され、どの使用者が使用しているかを把握できるようになっている。このため、マスター装置１は、複数台のスレーブ装置３Ｓ‐Ｎの各々に対し、同一のコンテンツを提示することだけでなく、個別に異なるコンテンツを提示することもできる。
また、マスター装置１側の操作デバイス１１として触覚提示及び力覚誘導提示を行う触覚提示／力覚誘導デバイス１１ａにより構成し、スレーブ装置３Ｓ‐Ｎ側の被操作デバイス３１としてマスター装置１側と同形態の触覚提示及び力覚誘導提示を行う触覚提示／力覚誘導デバイス３１ａとするのが好適である（後述する図４及び図５参照）。即ち、マスター装置１側の触覚提示／力覚誘導デバイス１１ａは、スレーブ装置３Ｓ‐Ｎ側の触覚提示／力覚誘導デバイス３１ａへ触覚提示又は力覚誘導する際にマスター装置１の操作者の操作や動きを同期して伝えるためのデバイスとして機能するため、マスター装置１の操作者はスレーブ装置３Ｓ‐Ｎの操作者がどのような操作や動きをしているのかを直感的に把握するのが容易になる。
以下、より具体的に、本発明による一実施形態のマスター装置１と、遠隔制御対象のスレーブ装置３Ｓ‐Ｎの詳細な構成について順に説明する。
〔マスター装置〕
図２は、本発明による一実施形態のマスター装置１の概略構成を示すブロック図である。マスター装置１は、図１に示したように、触覚提示／力覚誘導デバイス１１ａ、制御ユニット１２、及びモニター１３を備える。制御ユニット１２は、提示ＸＭＬ更新制御部１２１、触覚提示／力覚誘導ＸＭＬレジスタ１２２、更新ＸＭＬデータ書込／通知部１２３、触察位置座標検出部１２４、触察位置座標抽出部１２５、触覚提示／力覚誘導制御部１２６、ＬＡＮ送信エンコード部１２７、スレーブモード制御／状態要求部１２８、及び状態通知信号／要求信号デコード部１２９を備える。
提示ＸＭＬ更新制御部１２１は、マスター誘導モードにおいて、マスター装置１の操作者による触覚提示／力覚誘導デバイス１１ａ上のメニュー操作でコンテンツが指定され、当該指定されたコンテンツに係るＸＭＬ更新制御に係る信号を受け付けると、所定の記憶部（図示せず）に格納されている複数のコンテンツのうち、その指定したコンテンツに関するＸＭＬ形式の提示データをスレーブ装置３Ｓ‐Ｎにおける触覚提示／力覚誘導デバイス３１ａへ力覚誘導や触覚ディスプレイに提示するものとして読み出し触覚提示／力覚誘導ＸＭＬレジスタ１２２に更新する。そして、提示ＸＭＬ更新制御部１２１は、更新した旨を更新ＸＭＬデータ書込／通知部１２３に通知し、触覚提示／力覚誘導ＸＭＬレジスタ１２２に更新した当該ＸＭＬ形式の提示データを基に当該コンテンツのレイアウトを生成しモニター１３に表示する。尚、当該コンテンツに係る当該ＸＭＬ形式の提示データを基にした表示・誘導データは、後述する触覚提示／力覚誘導制御部１２６の機能により、触覚提示／力覚誘導デバイス１１ａにも反映される。
触覚提示／力覚誘導ＸＭＬレジスタ１２２は、マスター誘導モード又は自己誘導モードにおいて、提示ＸＭＬ更新制御部１２１によって指定され更新されたコンテンツのＸＭＬ形式の提示データを一時的に記憶保持する。尚、ＸＭＬ形式の提示データは、コンテンツ毎に予め定義されたオブジェクトの形状や空間位置座標、及び力覚誘導の速度や加速度などの物理的な提示パラメータが記述されている。
更新ＸＭＬデータ書込／通知部１２３は、マスター誘導モードにおいて、提示ＸＭＬ更新制御部１２１から当該更新した旨を受け付けるとき（並びに、スレーブ装置３Ｓ‐Ｎを自己誘導モードから強制的にマスター誘導モードへとモード遷移させたとき）に、触覚提示／力覚誘導ＸＭＬレジスタ１２２から、対応するコンテンツ（触覚提示／力覚誘導デバイス１１ａにて現在表示しているコンテンツ）に関するＸＭＬ形式の提示データを読み出し、スレーブ装置３Ｓ‐Ｎへの通知を兼ねてスレーブ装置３Ｓ‐Ｎに対し触覚提示及び力覚提示を行うコンテンツに関する提示データの書き込み信号を生成し、ＬＡＮ送信エンコード部１２７に出力する。
触察位置座標検出部１２４は、マスター誘導モードにおいて、マスター装置１の操作者による触覚提示／力覚誘導デバイス１１ａの触察操作に対し、その触察位置座標（例えば指位置の座標を示す情報）を検出し、スレーブ装置３Ｓ‐Ｎへ同期した力覚誘導動作を行わせるよう、スレーブ装置３Ｓ‐Ｎにおける触覚提示／力覚誘導デバイス３１ａの触察部位を誘導する触察位置座標を示す触察位置座標信号を生成し、ＬＡＮ送信エンコード部１２７に出力する。
触察位置座標抽出部１２５は、状態通知信号／要求信号デコード部１２９を経由して、スレーブ装置３Ｓ‐Ｎの操作者による触覚提示／力覚誘導デバイス３１ａの触察操作に対し検出された触察位置座標（例えば指位置の座標を示す情報）を含む状態通知信号を入力し、この状態通知信号から当該スレーブ装置３Ｓ‐Ｎの操作者による触察位置座標を抽出し、触覚提示／力覚誘導制御部１２６に出力する。
この触察位置座標を含む状態通知信号は、後述するスレーブモード制御／状態要求部１２８によるスレーブ装置３Ｓ‐Ｎの使用状態を把握するための状態要求信号に対する応答信号として得られ、マスター誘導モードだけでなく、自己誘導モード時にも得られる。
触覚提示／力覚誘導制御部１２６は、マスター誘導モードにおいて、触覚提示／力覚誘導ＸＭＬレジスタ１２２における現在提示しているコンテンツの提示データが更新されたか否かを常に監視し、更新されている場合、対応するコンテンツに関するＸＭＬ形式の提示データを触覚提示／力覚誘導ＸＭＬレジスタ１２２から読み出す。そして、触覚提示／力覚誘導制御部１２６は、このＸＭＬ形式の提示データに基づいて、力覚誘導提示デバイス１１ａに当該コンテンツを提示する。
より具体的には、触覚提示／力覚誘導制御部１２６は、触覚提示／力覚誘導ＸＭＬレジスタ１２２から読み出した現在提示しているコンテンツに関するＸＭＬ形式の提示データから当該コンテンツに係る予め設定されたオブジェクトの形状や位置情報のパラメータの情報を抽出し、このパラメータの情報を基に、触覚提示／力覚誘導デバイス１１ａにおける触覚ディスプレイへのコンテンツのレイアウト（例えば、凹凸データ）表示データを生成して、力覚誘導提示デバイス１１ａに提示する。触覚提示／力覚誘導デバイス１１ａでは、上記のように、触察位置座標検出部１２４によって、マスター装置１の操作者の指等の触察部位の可動状態が監視され、触察位置座標（例えば指位置の座標を示す情報）が検出される。
一方で、触覚提示／力覚誘導制御部１２６は、マスター誘導モードにおいて、触察位置座標抽出部１２５から、状態通知信号に基づく当該スレーブ装置３Ｓ‐Ｎの操作者による触察位置座標を入力したときは、その触察位置座標に基づいて、力覚誘導提示デバイス１１ａを操作する操作者の触察部位（例えば指）を移動するよう制御する。特に、マスター誘導モードにおいて、スレーブ装置３Ｓ‐Ｎの操作者による触察位置座標を基に、力覚誘導提示デバイス１１ａを操作する操作者の触察部位（例えば指）を移動する動作モードを、本願明細書中、「スレーブ触察位置通知モード」と称する。
スレーブモード制御／状態要求部１２８は、マスター誘導モード又は自己誘導モードにおいて、マスター装置１の操作者による触覚提示／力覚誘導デバイス１１ａ上のキー操作で、スレーブモード制御に係る信号を受け付けると、マスター誘導モードから自己誘導モードへ、或いは自己誘導モードからマスター誘導モードへと強制的に切り替えるスレーブモード制御信号を生成し、ＬＡＮ送信エンコード部１２７に出力する。
これにより、マスター装置１の操作者によるキー操作でスレーブ装置３Ｓ‐Ｎの動作モードを強制的に変更することができる。例えば、マスター装置１の操作者による操作でマスター誘導モードが選択されると、スレーブモード制御／状態要求部１２８は、スレーブ装置３Ｓ‐Ｎの動作モードを強制的にマスター誘導モードで動作するよう制御する。
尚、複数台のスレーブ装置３Ｓ‐Ｎを遠隔操作対象とするときも、マスター装置１は、当該キー操作を基に、スレーブモード制御／状態要求部１２８の機能により、その複数台のスレーブ装置３Ｓ‐Ｎの全てに対してマスター誘導モードへと強制的に切り替える。そして、マスター装置１は、マスター装置１の操作者によるメニュー操作で所定のコンテンツが指定された時も、提示ＸＭＬ更新制御部１２１、触覚提示／力覚誘導ＸＭＬレジスタ１２２、更新ＸＭＬデータ書込／通知部１２３の機能により、その複数台のスレーブ装置３Ｓ‐Ｎの全てに対して自動的に当該コンテンツに係るＸＭＬ形式の提示データを更新制御する。
マスター誘導モードでは、触察位置座標検出部１２４の機能により、マスター装置１で検出された触覚提示／力覚誘導デバイス１１ａの触察操作の触察位置座標（例えば指位置の座標を示す情報）が常に連続的にスレーブ装置３Ｓ‐Ｎに伝送され、スレーブ装置３Ｓ‐Ｎにおける触覚提示／力覚誘導デバイス３１ａの力覚誘導が同期して駆動制御される。
一方で、スレーブモード制御／状態要求部１２８は、マスター誘導モード又は自己誘導モードにおいて、マスター装置１の操作者による触覚提示／力覚誘導デバイス１１ａ上のキー操作で、選択指定したスレーブ装置３Ｓ‐Ｎについての状態要求に係る信号を受け付けると、当該スレーブ装置３Ｓ‐Ｎの接続状況及び使用者名、或いは使用状態を把握するための状態要求信号を生成し、ＬＡＮ送信エンコード部１２７に出力する。このときのキー操作は、個々のスレーブ装置３Ｓ‐Ｎを選択指定でき、ウィンドウメッセージのような、連続動作中のキー割込みと同様に機能する。
ＬＡＮ送信エンコード部１２７は、更新ＸＭＬデータ書込／通知部１２３によって生成した書き込み信号、触察位置座標検出部１２４によって生成した触察位置座標信号、スレーブモード制御／状態要求部１２８によって生成したスレーブモード制御信号又は状態要求信号をそれぞれＬＡＮ２のプロトコルに従うコマンド形式のデータに変換し、エンコードした遠隔制御信号として生成し、スレーブ装置３Ｓ‐Ｎに向けて送信する。
状態通知信号／要求信号デコード部１２９は、マスター誘導モード又は自己誘導モードにおいて、スレーブ装置３Ｓ‐Ｎから、当該状態要求信号の応答として対応する接続状況及び使用者名、或いは提示中のコンテンツ名（提示ＸＭＬ名）又は触察位置を含む使用状態を示す状態通知信号を受信したときはデコードし、当該デコードした状態通知信号に含まれる各種情報をモニター１３に表示する。
尚、状態通知信号／要求信号デコード部１２９は、当該デコードした状態通知信号に、前述したキー操作で選択指定したスレーブ装置３Ｓ‐Ｎからの応答として触察位置を含む使用状態を示す情報を含むとき、即ちスレーブ装置３Ｓ‐Ｎの操作者による触覚提示／力覚誘導デバイス３１ａの触察操作に対し検出された触察位置座標（例えば指位置の座標を示す情報）を含むときは、その状態通知信号を触察位置座標抽出部１２５に出力する。
一方で、状態通知信号／要求信号デコード部１２９は、マスター誘導モード又は自己誘導モードにおいて、スレーブ装置３Ｓ‐Ｎから、所定の要求（質問を含む）が有る旨を示す要求信号を受信したときはデコードし、当該デコードした要求信号があった旨をモニター１３に表示する。これにより、マスター装置１の操作者は、スレーブ装置３Ｓ‐Ｎの操作者が何らかの質問又は要求が有ることを把握することができ、必要に応じて、別の通信媒体を用いた音声コミュニケーション等による対応を図ることができる。
〔スレーブ装置〕
図３は、本発明による一実施形態のスレーブ装置３Ｓ‐Ｎの概略構成を示すブロック図である。スレーブ装置３Ｓ‐Ｎは、図１に示したように、制御ユニット３２、及び触覚提示／力覚誘導デバイス３１ａを備える。制御ユニット３２は、ＬＡＮ受信デコード部３２１、ＸＭＬデータ書込／更新制御部３２２、触覚提示／力覚誘導ＸＭＬレジスタ３２３、レイアウト・誘導条件生成部３２４、触察位置座標抽出部３２５、力覚誘導データ生成部３２６、切り替え部３２７、触覚提示／力覚誘導制御部３２８、モード遷移制御部３２９、状態検出部３３０、触察位置座標検出部３３１、要求検出部３３２、及び状態通知信号／要求信号エンコード部３３３を備える。
ＬＡＮ受信デコード部３２１は、マスター装置１のＬＡＮ送信エンコード部１２７から送信された遠隔制御信号を受信してデコードする。そして、ＬＡＮ受信デコード部３２１は、この遠隔操作信号が上記の状態要求信号を含む際にはその状態要求信号を状態検出部３３０へ出力し、この遠隔操作信号が上記の書き込み信号を含む際にはその書き込み信号をＸＭＬデータ書込／更新制御部３２２へ出力し、この遠隔操作信号が上記の触察位置座標信号を含む際にはその触察位置座標信号を触察位置座標抽出部３２５へ出力し、この遠隔操作信号が上記のスレーブモード制御信号を含む際にはそのスレーブモード制御信号をモード遷移制御部３２９へ出力する。
ＸＭＬデータ書込／更新制御部３２２は、マスター誘導モードにおいて、ＬＡＮ受信デコード部３２１から書き込み信号を受け付けると、当該書き込み信号により、新たなコンテンツに関するＸＭＬ形式の提示データ、及びコンテンツ名（提示ＸＭＬ名）が伝送されるときは、スレーブ装置３Ｓ‐Ｎにおける触覚提示／力覚誘導デバイス３１ａへ新たに提示するものとして触覚提示／力覚誘導ＸＭＬレジスタ３２３に更新し、以後、当該コンテンツ（提示データ、及びコンテンツ名）を読み出し可能に所定の記憶部（図示しない）に格納する。一方で、当該書き込み信号がコンテンツを指定するものであるときは、当該所定の記憶部（図示しない）に格納されている複数のコンテンツのうち対応するコンテンツに関するＸＭＬ形式の提示データを読み出し、スレーブ装置３Ｓ‐Ｎにおける触覚提示／力覚誘導デバイス３１ａへ新たに提示するものとして触覚提示／力覚誘導ＸＭＬレジスタ３２３に更新する。
一方で、ＸＭＬデータ書込／更新制御部３２２は、自己誘導モードにおいて、スレーブ装置３Ｓ‐Ｎの操作者による触覚提示／力覚誘導デバイス３１ａ上のメニュー操作でコンテンツが指定され、当該指定されたコンテンツに係るＸＭＬ更新制御に係る信号を受け付けると、当該所定の記憶部（図示しない）に格納されている複数のコンテンツのうち、その指定したコンテンツに関するＸＭＬ形式の提示データを、スレーブ装置３Ｓ‐Ｎにおける触覚提示／力覚誘導デバイス３１ａへ新たに提示するものとして触覚提示／力覚誘導ＸＭＬレジスタ３２３に自己更新する。
触覚提示／力覚誘導ＸＭＬレジスタ３２３は、マスター誘導モード又は自己誘導モードにおいて、ＸＭＬデータ書込／更新制御部３２２によって指定され更新されたコンテンツのＸＭＬ形式の提示データを一時的に記憶保持する。尚、ＸＭＬ形式の提示データは、コンテンツ毎に予め定義されたオブジェクトの形状や空間位置座標、及び力覚誘導の速度や加速度などの物理的な提示パラメータが記述されている。
レイアウト・誘導条件生成部３２４は、マスター誘導モード又は自己誘導モードにおいて、触覚提示／力覚誘導ＸＭＬレジスタ３２３における現在提示しているコンテンツの提示データが更新されたか否かを常に監視し、更新されている場合、対応するコンテンツに関するＸＭＬ形式の提示データを触覚提示／力覚誘導ＸＭＬレジスタ３２３から読み出す。そして、レイアウト・誘導条件生成部３２４は、このＸＭＬ形式の提示データに基づいて表示・誘導データ（表示・誘導に関する条件）を生成し、切り替え部３２７を介して、触覚提示／力覚誘導制御部３２８に出力する。
より具体的には、レイアウト・誘導条件生成部３２４は、触覚提示／力覚誘導ＸＭＬレジスタ３２３から読み出した現在提示しているコンテンツに関するＸＭＬ形式の提示データから当該コンテンツに係る予め設定されたオブジェクトの形状や位置情報及び力覚誘導のパラメータの情報を抽出し、このパラメータの情報を基に、触覚提示／力覚誘導デバイス３１ａにおける触覚ディスプレイへのコンテンツのレイアウト表示、並びに力覚誘導する際のオブジェクトの位置、誘導速度、誘導力、誘導経路、及び誘導順を含む表示・誘導データ（表示・誘導に関する条件）を生成して、切り替え部３２７を介して、触覚提示／力覚誘導制御部３２８に出力する。
尚、レイアウト・誘導条件生成部３２４は、自己誘導モード時において、触覚提示／力覚誘導デバイス３１ａに対し現在提示しているコンテンツ名（提示ＸＭＬ名）を状態検出部３３０へ自動的に出力する。そして、状態検出部３３０は、自己誘導モード時に現在提示しているコンテンツ名（提示ＸＭＬ名）を含む使用状態を示す状態通知信号を生成し、状態通知信号／要求信号エンコード部３３３に出力する。状態通知信号／要求信号エンコード部３３３は、当該状態通知信号をマスター装置１に向けて送信する。
触察位置座標抽出部３２５は、マスター誘導モードにおいて、ＬＡＮ受信デコード部３２１から触察位置座標信号を受け付けると、この触察位置座標信号から、マスター装置１の操作者による触覚提示／力覚誘導デバイス１１ａの触察操作に対し検出された触察位置座標（例えば指位置の座標を示す情報）を抽出し、力覚誘導データ生成部３２６に出力する。
力覚誘導データ生成部３２６は、マスター誘導モードにおいて、触察位置座標抽出部３２５によって抽出したマスター装置１の操作者による触覚提示／力覚誘導デバイス１１ａの触察操作に対し検出された触察位置座標（例えば指位置の座標を示す情報）に同期し追従して駆動するための駆動データを生成し、切り替え部３２７を介して、触覚提示／力覚誘導制御部３２８に出力する。
切り替え部３２７は、モード遷移制御部３２９からの指示に基づき、マスター誘導モードと自己誘導モードとの切り替えを行う。例えば、マスター装置１からスレーブ装置３Ｓ‐Ｎの動作モードを自己誘導モードからマスター誘導モードへと強制的に移行させることができる。
触覚提示／力覚誘導制御部３２８は、自己誘導モードにおいては、レイアウト・誘導条件生成部３２４から得られる表示・誘導データ（表示・誘導に関する条件）を基に、スレーブ装置３Ｓ‐Ｎの力覚誘導提示デバイス３１ａを操作する操作者の触察部位（例えば指）を移動するよう制御する。自己誘導モードにおける触覚提示／力覚誘導デバイス３１ａは、機械的に指等の触察部位を牽引してＸＭＬ形式で記述した提示データで意図する動きに対応した誘導を行う。一方で、触覚提示／力覚誘導制御部３２８は、マスター誘導モードにおいては、力覚誘導データ生成部３２６によって生成された当該駆動データを基に、マスター装置１側と同期し追従して力覚誘導提示デバイス３１ａを操作する操作者の触察部位（例えば指）を移動するよう制御する。これにより、マスター誘導モードでは、マスター装置１の操作で動いたマスター装置１側の触察位置に追従して、スレーブ装置３Ｓ‐Ｎ側でも同期した力覚誘導が可能となる。
モード遷移制御部３２９は、ＬＡＮ受信デコード部３２１からスレーブモード制御信号を受け付けると、対応するマスター誘導モードと自己誘導モードとの切り替えを行うよう切り替え部３２７に対し指示する。
状態検出部３３０は、ＬＡＮ受信デコード部３２１から状態要求信号を受け付けると、当該状態要求信号の応答として、対応する接続状況及び使用者名、或いは触察位置座標検出部３３１、レイアウト・誘導条件生成部３２４、及び切り替え部３２７からの情報を基に提示中のコンテンツ名（提示ＸＭＬ名）又は触察位置を含む使用状態を示す状態通知信号を生成し、状態通知信号／要求信号エンコード部３３３に出力する。
触察位置座標検出部３３１は、マスター誘導モード（正確には、後述する「スレーブ触察位置通知モード」）において、状態検出部３３０からの指示に基づき、スレーブ装置３Ｓ‐Ｎの操作者による触覚提示／力覚誘導デバイス３１ａの触察操作に関し触覚提示／力覚誘導制御部３２８に対して力覚誘導の拘束を解除させ、触察位置としてその触察位置座標（例えば指位置の座標を示す情報）を検出し、状態検出部３３０に出力する。
要求検出部３３２は、マスター誘導モード又は自己誘導モードにおいて、スレーブ装置３Ｓ‐Ｎの操作者による触覚提示／力覚誘導デバイス３１ａ上のキー操作で、所定の要求（質問を含む）が有る旨を示す要求信号を受け付け、状態通知信号／要求信号エンコード部３３３に出力する。
状態通知信号／要求信号エンコード部３３３は、状態検出部３３０によって生成した状態通知信号、又は要求検出部３３２によって受け付けた要求信号をそれぞれＬＡＮ２のプロトコルに従うコマンド形式のデータに変換し、エンコードした状態通知信号又は要求信号として生成し、マスター装置１に向けて送信する。
〔マスター装置側の触覚提示／力覚誘導デバイス〕
図４は、本発明による一実施形態のマスター装置１における操作デバイス１１の一例として構成される触覚提示／力覚誘導デバイス１１ａの概略構成を示すブロック図である。
図４に示す触覚提示／力覚誘導デバイス１１ａは、特許文献１に開示される提示装置と同様に構成されているため、ここでは本発明に係る要素について詳述する。
まず、図４に示す触覚提示／力覚誘導デバイス１１ａは、触覚提示デバイス１１１及び力覚誘導デバイス１１２から構成され、力覚誘導デバイス１１２には例えば指を装着する装着部１１２ａが力覚誘導可能に可動する。
触覚提示デバイス１１１は、２次元状に所定の間隔（例えば、１～３ｍｍ間隔）で配列された刺激ピン等を用いて、提示するオブジェクトに対応させて凹凸駆動させることや、振動させることができる触覚ディスプレイ１１１ａを有する。そして、触覚ディスプレイ１１１は、触覚提示／力覚誘導制御部１２６の制御により提示されたピンの凹凸形状を、マスター装置１の操作者の指で触らせることで、提示中のコンテンツにおける各オブジェクトを触覚により当該操作者に認識させることができる。尚、触覚提示デバイス１１１としては、例えばドットビュー（登録商標）等を用いることができる。
この触覚提示デバイス１１１の触覚ディスプレイ１１１ａ上に、各種の選択指定操作が可能なメニュー１１１ｂが提示される。従って、本実施形態の例ではコンテンツの選択指定によるＸＭＬ形式の提示データの更新が可能となり、提示ＸＭＬ更新制御部１２１が、当該メニュー１１１ｂの操作に基づきＸＭＬ更新制御に係る信号を受け付けてコンテンツを指定し、指定したコンテンツに関するＸＭＬ形式の提示データを更新する。
また、触覚ディスプレイ１１１ａの周枠には、各種の割込み操作が可能なキー１１１ｃが提示される。従って、本実施形態の例ではキー１１１ｃのキー割込み操作で、スレーブモード制御及び状態要求が可能となり、スレーブモード制御／状態要求部１２８が、スレーブモード制御又は状態要求を受け付けてスレーブモード制御信号又は状態要求信号を生成する。特に、スレーブモード制御信号の伝送により、触覚提示デバイス１１１の装着部１１２ａに装着した指の力覚誘導で、スレーブ装置３Ｓ‐Ｎにおける触覚提示／力覚誘導デバイス３１ａを同期させることが可能となる。
そして、触覚提示／力覚誘導制御部１２６は、更新したＸＭＬ形式の提示データに基づいて、触覚提示の駆動信号を生成し、触覚ディスプレイ１１１ａへのコンテンツのレイアウト（例えば、刺激ピンのドット数に対応した凹凸データ）表示を行う。
力覚誘導デバイス１１２は、手指に反力を与え仮想的なオブジェクトを提示することや手指を誘導できるデバイスとし、例えば非特許文献４に開示される３次元力覚入出力デバイス等を使用することができる。
また、本実施形態では、操作者の指先が力覚誘導デバイス１１２に装着された状態で触覚提示デバイス１１１における触覚ディスプレイ１１１ａの凹凸ピンを触察することができるように、図４に示す装着部１１２ａは、指腹部が触覚ディスプレイ１１１ａの触覚提示面に触れることができる構造とすることが好ましい。
尚、図４の例において装着部１１２ａに装着される指の本数は１本であるが、これに限定されるものではなく、複数本の指にそれぞれ装着して誘導してもよい。また、複数本の指を誘導する場合には、指の数に対応した複数の触覚提示／力覚誘導制御部１２６を設けてもよい。
そして、触察位置座標検出部１２４は、マスター装置１の操作者による触覚提示／力覚誘導デバイス１１ａにおける力覚誘導デバイス１１２の触察操作に対し、その装着部１１２ａの触察位置座標（例えば指位置の座標を示す情報）を検出する。これにより、スレーブ装置３Ｓ‐Ｎへ同期した力覚誘導動作を行わせることができる。
〔スレーブ装置側の触覚提示／力覚誘導デバイス〕
図５は、本発明による一実施形態のスレーブ装置３Ｓ‐Ｎにおける操作デバイス３１の一例として構成される触覚提示／力覚誘導デバイス３１ａの概略構成を示すブロック図である。
図５に示す触覚提示／力覚誘導デバイス３１ａは、特許文献１に開示される提示装置と同様に構成されているため、ここでは本発明に係る要素について詳述する。
まず、図５に示す触覚提示／力覚誘導デバイス３１ａは、触覚提示デバイス３１１及び力覚誘導デバイス３１２から構成され、力覚誘導デバイス３１２には例えば指を装着する装着部３１２ａが力覚誘導可能に可動する。
触覚提示デバイス３１１は、２次元状に所定の間隔（例えば、１～３ｍｍ間隔）で配列された刺激ピン等を用いて、提示するオブジェクトに対応させて凹凸駆動させることや、振動させることができる触覚ディスプレイ３１１ａを有する。そして、触覚ディスプレイ３１１は、触覚提示／力覚誘導制御部３２８の制御により提示されたピンの凹凸形状を、スレーブ装置３Ｓ‐Ｎの操作者の指で触らせることで、提示中のコンテンツにおける各オブジェクトを触覚により当該操作者に認識させることができる。尚、触覚提示デバイス３１１としては、例えばドットビュー（登録商標）等を用いることができる。
この触覚提示デバイス３１１の触覚ディスプレイ３１１ａ上に、各種の選択指定操作が可能なメニュー３１１ｂが提示される。従って、本実施形態の例ではコンテンツの選択指定によるＸＭＬ形式の提示データの更新が可能となり、ＸＭＬデータ書込／更新制御部３２２が、当該メニュー３１１ｂの操作に基づきＸＭＬ更新制御に係る信号を受け付けてコンテンツを指定し、指定したコンテンツに関するＸＭＬ形式の提示データを更新する。
また、触覚ディスプレイ３１１ａの周枠には、各種の割込み操作が可能なキー３１１ｃが提示される。従って、本実施形態の例ではキー３１１ｃのキー割込み操作で、所定の要求（質問を含む）が有る旨の通知が可能となり、要求検出部３２２が、その要求（質問を含む）が有る旨の要求信号を受け付けてマスター装置１側へ通知可能となる。
そして、触覚提示／力覚誘導制御部３２８は、触覚提示／力覚誘導ＸＭＬレジスタ３２３に更新されたＸＭＬ形式の提示データに基づいて、触覚提示の駆動信号を生成し、触覚ディスプレイ３１１ａへのコンテンツのレイアウト（例えば、刺激ピンのドット数に対応した凹凸データ）表示を行う。
また、触覚提示／力覚誘導制御部３２８は、自己誘導モードでは触覚提示／力覚誘導ＸＭＬレジスタ３２３に自己更新されたＸＭＬ形式の提示データに基づいて、マスター誘導モードでは力覚誘導データ生成部３２６によって生成された駆動データに基づいて、力覚誘導の駆動信号を生成しスレーブ装置３Ｓ‐Ｎにおける触覚提示／力覚誘導デバイス３１ａの触覚提示デバイス３１１の装着部３１２ａに装着した指の力覚誘導を行う。
力覚誘導デバイス３１２は、手指に反力を与え仮想的なオブジェクトを提示することや手指を誘導できるデバイスとし、例えば非特許文献４に開示される３次元力覚入出力デバイス等を使用することができる。また、本実施形態では、操作者の指先が力覚誘導デバイス３１２に装着された状態で触覚提示デバイス３１１における触覚ディスプレイ３１１ａの凹凸ピンを触察することができるように、図５に示す装着部３１２ａは、指腹部が触覚ディスプレイ３１１ａの触覚提示面に触れることができる構造とすることが好ましい。
尚、図５の例においても、装着部３１２ａに装着される指の本数は１本であるが、これに限定されるものではなく、複数本の指にそれぞれ装着して誘導してもよい。また、複数本の指を誘導する場合には、指の数に対応した複数の触覚提示／力覚誘導制御部３２８を設けてもよい。
そして、触察位置座標検出部３３１は、スレーブ装置３Ｓ‐Ｎの操作者による触覚提示／力覚誘導デバイス３１ａにおける力覚誘導デバイス３１２の触察操作に対し、その装着部３１２ａの触察位置座標（例えば指位置の座標を示す情報）を検出する。これにより、スレーブ装置３Ｓ‐Ｎにおける触察位置をマスター装置１に通知することができる。
このように、本実施形態によれば、マスター装置１の操作と同期してスレーブ装置３Ｓ‐Ｎ側での力覚誘導を可能とするとともに、マスター装置１の提示しているコンテンツに対応してスレーブ装置３Ｓ‐Ｎのコンテンツを更新して提示や誘導することが可能となる。
〔遠隔力覚誘導システムの全体動作〕
図６は、本発明による一実施形態のマスター装置１及びスレーブ装置３Ｓ‐Ｎを備える遠隔力覚誘導システム１０の動作例を示すフローチャートである。また、図７は、本発明による一実施形態のマスター装置１の動作例を示すフローチャートであり、図８は、本発明による一実施形態のスレーブ装置３Ｓ‐Ｎの動作例を示すフローチャートである。
以下、マスター装置１及びスレーブ装置３Ｓ‐Ｎの動作についての図７及び図８を参照しながら、図６を基に動作を遠隔授業に適用した具体例を示して説明する。マスター装置１の操作者が先生であり、スレーブ装置３Ｓ‐Ｎの操作者が生徒である。
まず、図６を参照するに、本実施形態の遠隔力覚誘導システム１０は、それぞれ起動することで動作が開始し（図７：ステップＳ２１，図８：ステップＳ５０）、マスター装置１はスレーブ装置３Ｓ‐Ｎとの通信を確立する（図７：ステップＳ２２）。
マスター装置１は、図４に示すキー操作に基づきスレーブモード制御／状態要求部１２８により、スレーブ装置３Ｓ‐Ｎの状態（接続状況及び使用者名、或いは使用状態）を把握するための状態要求信号のコマンドをスレーブ装置３Ｓ‐Ｎへ送信し（図６：ステップＳ１）、その応答となる状態通知信号を状態通知信号／要求信号デコード部１２９により受信して、モニター１３に表示する（図６：ステップＳ２，図７：Ｓ２８，Ｓ２９，Ｓ３０）。尚、マスター装置１によるスレーブ装置３Ｓ‐Ｎの使用状態の検出は、現在提示しているコンテンツの更新（ＸＭＬ形式の提示データの更新）の有無、自己誘導モードで動作しているか否かの確認等の検出を含み、時事、マスター装置１側のキー操作に基づき行うことができる。
ここでは、スレーブ装置３Ｓ‐Ｎがマスター装置１によって遠隔操作可能な状態であると確認したものとする。
続いて、マスター装置１は、図４に示すキー操作に基づきスレーブモード制御／状態要求部１２８の機能によるスレーブモード制御信号のコマンドをスレーブ装置３Ｓ‐Ｎに送信し、スレーブ装置３Ｓ‐Ｎの動作モードを設定する（図６：ステップＳ３）。まずは、マスター装置１は、スレーブ装置３Ｓ‐Ｎの動作モードを自己誘導モードに強制的に移行するものとする（図６：ステップＳ４，図８：ステップＳ５２）。
スレーブ装置３Ｓ‐Ｎは、マスター装置１から自己誘導モードに強制移行するためのスレーブモード制御信号を受信すると、状態検出部３３０により切り替え部３２７を作動させ、スレーブ装置３Ｓ‐Ｎの操作者による触覚提示／力覚誘導デバイス３１ａの触察操作に関し触覚提示／力覚誘導制御部３２８に対して力覚誘導の拘束を解除させて、自己誘導モードに移行する（図８：ステップＳ５３）。
例えば、マスター装置１の操作者（先生）は、複数台のスレーブ装置３Ｓ‐Ｎのそれぞれを使用する複数の生徒のうち、一部の生徒が使用するスレーブ装置３Ｓ‐Ｎを遠隔誘導から解除することを考慮すると、このような自己誘導モードへの強制的な移行機能が有効になる。
スレーブ装置３Ｓ‐Ｎが自己誘導モードに移行すると（図８：ステップＳ７０）、図５に示すメニュー３１１ｂの操作で所望のコンテンツを指定することで当該指定されたコンテンツに係るＸＭＬ更新制御に係る信号がＸＭＬデータ書込／更新制御部３２２に入力され、ＸＭＬデータ書込／更新制御部３２２の機能により触覚提示／力覚誘導ＸＭＬレジスタ３２３における現在提示しているコンテンツに関するＸＭＬ形式の提示データが自己更新され、レイアウト・誘導条件生成部３２４が機能する（図８：ステップＳ７１）。
そして、スレーブ装置３Ｓ‐Ｎにおけるレイアウト・誘導条件生成部３２４は、触覚提示／力覚誘導デバイス３１ａにおける触覚ディスプレイへのコンテンツのレイアウト表示、並びに力覚誘導する際の表示・誘導データ（表示・誘導に関する条件）を生成し（図８：ステップＳ７２）、触覚提示／力覚誘導制御部３２８が現在提示しているコンテンツに関して力覚誘導提示デバイス３１ａを操作する操作者の触察部位（例えば指）を移動するよう制御する。
このとき、スレーブ装置３Ｓ‐Ｎは、レイアウト・誘導条件生成部３２４、及び状態検出部３３０の機能により自己誘導モード時に現在提示しているコンテンツ名（提示ＸＭＬ名）を含む使用状態を示す状態通知信号を生成し、状態通知信号／要求信号エンコード部３３３により当該状態通知信号をマスター装置１に向けて送信する（図８：ステップＳ７３）。
そして、マスター装置１は、その状態通知信号を状態通知信号／要求信号デコード部１２９により受信して、スレーブ装置３Ｓ‐Ｎが自己誘導モード時に現在提示しているコンテンツ名（提示ＸＭＬ名）をモニター１３に表示する（図６：ステップＳ５，図７：ステップＳ３０）。
次に、マスター装置１がスレーブ装置３Ｓ‐Ｎをマスター誘導モードで制御する動作シーケンスを説明する。
マスター装置１は、図４に示すキー操作に基づきスレーブモード制御／状態要求部１２８の機能によるスレーブモード制御のコマンド（スレーブモード制御信号）をスレーブ装置３Ｓ‐Ｎに送信し、スレーブ装置３Ｓ‐Ｎの動作モードを強制的にマスター誘導モードに設定する（図７：ステップＳ２６，Ｓ２７）。
これにより、スレーブ装置３Ｓ‐Ｎは、自己誘導モードから強制的にマスター誘導モードへとモード遷移する（図６：ステップＳ６，図８：ステップＳ７４）。
続いて、マスター装置１は、更新ＸＭＬデータ書込／通知部１２３により、触覚提示／力覚誘導デバイス１１ａにて現在表示しているコンテンツのＸＭＬ形式の提示データを更新するよう制御し、更新通知を送信する（図６：ステップＳ７，図７：ステップＳ２５）。
尚、マスター装置１は、図４に示すメニュー操作に基づき提示ＸＭＬ更新制御部１２１により触覚提示／力覚誘導デバイス１１ａにて現在表示しているコンテンツを新たに更新しレイアウト表示を変更した場合も、更新ＸＭＬデータ書込／通知部１２３により、触覚提示／力覚誘導デバイス１１ａにて現在表示しているコンテンツのＸＭＬ形式の提示データを新たに更新するよう制御し、更新通知を送信する（図７：ステップＳ２３，Ｓ２４，Ｓ２５）。
これにより、スレーブ装置３Ｓ‐Ｎは、ＸＭＬデータ書込／更新制御部３２２の機能により触覚提示／力覚誘導ＸＭＬレジスタ３２３における現在提示しているコンテンツに関するＸＭＬ形式の提示データが強制的に更新され、レイアウト・誘導条件生成部３２４が触覚提示／力覚誘導デバイス３１ａにおける触覚ディスプレイへのコンテンツのレイアウト表示を行い、切り替え部３２７によりマスター装置１による遠隔操作を行うようスレーブ装置３Ｓ‐Ｎの操作者の触察部位を拘束しマスター装置１の触覚提示／力覚誘導デバイス１１ａにおける触察位置に誘導する（図６：ステップＳ８）。
また、マスター装置１は、触察位置座標検出部１２４によりマスター装置１の操作者による触覚提示／力覚誘導デバイス１１ａの触察操作に対し、その触察位置座標（例えば指位置の座標を示す情報）を検出し、その触察位置座標を示す触察位置座標信号をスレーブ装置３Ｓ‐Ｎに送信する（図６：ステップＳ９）。
スレーブ装置３Ｓ‐Ｎは、触察位置座標抽出部３２５によりマスター装置１から送信された触察位置座標信号を受け付け、力覚誘導データ生成部３２６によりマスター装置１側の触察位置座標に同期し追従して駆動するための駆動データを生成し、触覚提示／力覚誘導制御部３２８により当該駆動データを基に力覚誘導提示デバイス３１ａを制御させることで、スレーブ装置３Ｓ‐Ｎの操作者の触察部位をマスター装置１側の操作座標位置に誘導して同調させる（図６：ステップＳ１０，図８：ステップＳ７５）。
これにより、マスター誘導モードに移行したスレーブ装置３Ｓ‐１の操作者の触察部位（例えば指）は、マスター装置１側の触覚提示／力覚誘導デバイス１１ａの触察位置に応じて同期して誘導されることになる。
次に、マスター誘導モード中に動作可能とするスレーブ触察位置通知モードについて説明する。スレーブ触察位置通知モードは、マスター装置１側のキー操作に基づくマスター誘導モード中の割込み制御により作動し、スレーブ装置３Ｓ‐Ｎの操作者による触察位置座標を基に、力覚誘導提示デバイス１１ａを操作する操作者の触察部位（例えば指）を移動する動作モードである。
例えば、本実施形態の遠隔力覚誘導システム１０を遠隔授業に適用した場合に、マスター装置１の操作者である先生のキー操作で、提示中のコンテンツに対しスレーブ装置３Ｓ‐Ｎの操作者である生徒の触察部位（例えば指）の位置をマスター装置１に伝送させ、マスター装置１の力覚誘導提示デバイス１１ａにおいて自動的に当該生徒の触察部位（例えば指）の位置へと移動させることができる。
まず、マスター装置１の操作者によって力覚誘導提示デバイス１１ａ上のスレーブ触察位置通知モードを示すキー操作で、複数のスレーブ装置から対象とする当該スレーブ装置３Ｓ‐Ｎが選択指定されると、マスター装置１は、スレーブモード制御／状態要求部１２８により、当該選択指定したスレーブ装置３Ｓ‐Ｎについての使用状態を把握するための状態要求信号（ここでは、触察位置座標の取得要請の割込み信号）を生成し、当該選択指定したスレーブ装置３Ｓ‐Ｎに送信する（図６：ステップＳ１１，図７：ステップＳ３１，Ｓ３２，Ｓ３３）。
スレーブ装置３Ｓ‐Ｎは、マスター装置１から触察位置座標の取得要請に関する状態要求信号を受信すると（図８：ステップＳ５６）、状態検出部３３０により、触察位置座標検出部３３１を機能させる。触察位置座標検出部３３１は、スレーブ触察位置通知モードにおいて、スレーブ装置３Ｓ‐Ｎの操作者による触覚提示／力覚誘導デバイス３１ａの触察操作に関し触覚提示／力覚誘導制御部３２８に対して力覚誘導の拘束を解除させ、触察位置としてその触察位置座標（例えば指位置の座標を示す情報）を検出し、状態検出部３３０により、当該状態要求信号の応答として、その触察位置座標を含む状態通知信号をマスター装置１に返信する（図６：ステップＳ１２）。
ここで、触察位置座標検出部３３１は、スレーブ触察位置通知モードにおいて力覚誘導の拘束を解除させた時点で、要求検出部３３２によるスレーブ装置３Ｓ‐Ｎの操作者によるキー操作の検出に伴って、触察位置座標（例えば指位置の座標を示す情報）を検出し、状態検出部３３０に出力する構成とすることができる。例えば、スレーブ装置３Ｓ‐Ｎの操作者は、自身の触察位置を確認し確定した時点で所定のキーを操作することで、触察位置座標検出部３３１は、マスター装置１に割込み信号を送信するとともに、触察位置座標を含む状態通知信号をマスター装置１に送信する（図８：ステップＳ５７，Ｓ５８，Ｓ５９）。
マスター装置１は、状態通知信号／要求信号デコード部１２９により当該割込み信号に伴って触察位置座標を含む状態通知信号を受信すると、触察位置座標抽出部１２５により当該スレーブ装置３Ｓ‐Ｎの操作者による触察位置座標を抽出し、触覚提示／力覚誘導制御部１２６によりその触察位置座標に基づいて、力覚誘導提示デバイス１１ａを操作する操作者の触察部位（例えば指）を移動するよう制御し同調させる（図６：ステップＳ１３，図８：ステップＳ３４，Ｓ３５）。このとき、状態通知信号／要求信号デコード部１２９は、状態通知信号から当該触察位置座標を抽出しモニター１３に表示するよう構成することもできる。
これにより、マスター装置１の操作者は、スレーブ装置３Ｓ‐Ｎの操作者の触察位置を把握することができ、例えば、遠隔授業において、マスター装置１の操作者が視覚障害の先生である場合でも、スレーブ装置３Ｓ‐Ｎの操作者である生徒が示す触察位置を確認することができる。
次に、スレーブ装置３Ｓ‐Ｎからマスター装置１に要求（質問を含む）が有る旨を伝送する動作シーケンスを説明する。
スレーブ装置３Ｓ‐Ｎの操作者がマスター装置１の操作者に対し要求（質問を含む）が有る旨を伝送したい場合もあることが想定される。このため、スレーブ装置３Ｓ‐Ｎは、要求検出部３３２により、マスター誘導モード（又は自己誘導モード）において、スレーブ装置３Ｓ‐Ｎの操作者による触覚提示／力覚誘導デバイス３１ａ上の要求（質問を含む）が有る旨を示す所定のキー操作で、所定の要求（質問を含む）が有る旨を示す要求信号を受け付け、このキー割込みによる要求信号をマスター装置１に出力する（図６：ステップＳ１４，図８：ステップＳ５４，Ｓ５５）。
マスター装置１は、状態通知信号／要求信号デコード部１２９により、マスター誘導モード（又は自己誘導モード）において、スレーブ装置３Ｓ‐Ｎから、当該要求信号を受信したときはデコードし、当該デコードした要求信号があった旨をモニター１３に表示する（図６：ステップＳ１５，図７：Ｓ２８，Ｓ２９，Ｓ３０）。これにより、マスター装置１の操作者は、スレーブ装置３Ｓ‐Ｎの操作者が何らかの質問又は要求が有ることを把握することができ、必要に応じて、別の通信媒体を用いた音声コミュニケーション等による対応を図ることができる。
〔マスター装置及びスレーブ装置の機能一覧〕
図９は、本発明による一実施形態の遠隔力覚誘導システム１０におけるマスター装置１及びスレーブ装置３Ｓ‐Ｎの双方のユーザーインタフェース（ＵＩ）に関する機能の概要を一覧表示する図である。ここでは、代表的な機能を説明する。
マスター装置１は、例えば遠隔授業では先生を操作者とする。そして、スレーブ装置３Ｓ‐Ｎは、例えば遠隔授業では視覚障害者の生徒を操作者とする。
そして、マスター装置１は、提示ＸＭＬ更新スレーブ制御機能Ｍ１、スレーブモード制御機能Ｍ２、及びスレーブ装置側状態表示機能Ｍ３を有する。
提示ＸＭＬ更新スレーブ制御機能Ｍ１は、提示ＸＭＬ更新制御部１２１によって機能し、マスター装置１側で提示するコンテンツに関するＸＭＬ形式の提示データ（ＸＭＬデータ）を更新し提示する機能と、全スレーブ装置３Ｓ‐Ｎに対し当該ＸＭＬ形式の提示データの書込みと更新通知を行う機能と、を含む。
スレーブモード制御機能Ｍ２は、スレーブモード制御／状態要求部１２８によって機能し、マスター誘導モードと自己誘導モードの切り替えを行う機能であり、全スレーブ装置３Ｓ‐Ｎを強制的にマスター誘導モードに移行させることができる。また、マスター誘導モードの一機能として、選択指定したスレーブ装置３Ｓ‐Ｎ側の触察位置に、マスター装置１の触察位置を移動させるために、触察位置座標を通知させるスレーブ触察位置通知モードを含む。また、自己誘導モードでは、全ての或いは選択指定したスレーブ装置３Ｓ‐Ｎに対し自己誘導での操作を可能とする。
スレーブ装置側状態表示機能Ｍ３は、状態通知信号／要求信号デコード部１２９によって機能し、選択指定したスレーブ装置３Ｓ‐Ｎ側における、接続状況と使用者名の確認、提示中のコンテンツ名（提示ＸＭＬ名）、質問を含む要求の有無、及び触察位置に関するモニター１３への表示を可能とする。
マスター装置１に対応して、スレーブ装置３Ｓ‐Ｎは、ＸＭＬ提示更新機能ＳＬ１、モード遷移機能ＳＬ２、及び状態通知／要求機能ＳＬ３を有する。
ＸＭＬ提示更新機能ＳＬ１は、ＸＭＬデータ書込／更新制御部３２２によって機能し、スレーブ装置３Ｓ‐Ｎ側で現在提示するコンテンツに関するＸＭＬ形式の提示データ（ＸＭＬデータ）について、自己誘導モード時には自己更新が可能であり、マスター誘導モード時にはマスター装置１によって更新制御可能である。
モード遷移機能ＳＬ２は、モード遷移制御部３２９によって機能し、マスター誘導モードと自己誘導モードの切り替えがマスター装置１から強制的に制御可能である。尚、自己誘導モードはマスター誘導モード時以外で動作可能とし、スレーブ触察位置通知モードでは触察位置の検出を行う。
状態通知／要求機能ＳＬ３は、状態検出部３３０、触察位置座標検出部３３１、及び要求検出部３３２によって機能し、マスター装置１によって選択指定されたときに、当該スレーブ装置３Ｓ‐Ｎの接続状況と使用者名の確認、提示中のコンテンツ名（提示ＸＭＬ名）、質問を含む要求の有無、及び触察位置に関するモニター１３への表示を可能とする。
このように、本実施形態の遠隔力覚誘導システム１０を遠隔授業で利用する例とした場合、スレーブ装置３Ｓ－Ｎの操作者である生徒には、授業中でもマスター装置１の操作者である先生が生徒の指を誘導して図などを教授するマスター誘導モードと、生徒が自ら学習するときなどの自己誘導モードの双方が提供され、これにより視覚障害者への遠隔授業環境を構築することができる。
そして、先生と生徒の双方が、マスター誘導モードと自己誘導モードモードのモード選択を行うことができる。特に、先生はマスター装置１を操作して、全スレーブ装置３Ｓ－Ｎを強制的にマスター誘導モードに移行させる権限を有するとともに、全スレーブ装置３Ｓ－Ｎのマスター誘導モードを解除することができる。また、マスター誘導モードの場合には、コンテンツの更新（ＸＭＬ形式の提示データの更新）はマスター装置１の操作者である先生が権限を持つ。これにより視覚障害者への遠隔授業環境の利便性が向上する。
また、遠隔授業においては、先生は生徒が閲覧する教材の図を提示するコンテンツ名（提示ＸＭＬ名）を知る必要がある。特に、遠隔授業では、先生は生徒の状況を把握し、生徒は先生に質問などを行うことができる環境が必要である。
そこで、本実施形態の遠隔力覚誘導システム１０を遠隔授業で利用した場合、マスター装置１側で、スレーブ装置３Ｓ‐Ｎ側の状態表示と、スレーブ装置３Ｓ‐Ｎの状態通知／要求が可能となる。即ち、先生はマスター誘導モード時に生徒のコンテンツの更新（ＸＭＬ形式の提示データの更新）の状況、マスター誘導モードを解除し生徒が自己誘導モードを選択した場合に生徒が閲覧している提示中のコンテンツ名（提示ＸＭＬ名）を知ることができる。
また、生徒から質問などのアクションがあった場合に、先生がモニター１３で認知することができる。さらに、先生が「XXの経穴はどこですか」などの問いに対し、生徒が「ここです」という位置を触察位置の通知で伝えることもできる。
そして、本実施形態の遠隔力覚誘導システム１０による遠隔力覚誘導を開始する際に、マスター装置１ではスレーブ装置３Ｓ‐Ｎの接続状況を確認することができ、正確、且つ円滑な遠隔授業が実現される。
以上、包括するに、遠隔力覚誘導システム１０において、マスター装置１は、マスター装置１側の操作デバイス１１の触察位置座標を検出してスレーブ装置３Ｓ‐Ｎに伝送し、操作触察位置座標を誘導力に変換させてスレーブ装置３Ｓ‐Ｎ側の被操作デバイス３１の触察位置を追従させることで誘導する制御する手段、マスター装置１側で提示されるコンテンツに関する提示データをスレーブ装置３Ｓ‐Ｎに送信してスレーブ装置３Ｓ‐Ｎ側のレジスタに書き込ませ（コピー又は指定させる）、被操作デバイス３１に提示するコンテンツを更新し識別させるとともに、当該送信した提示データのコンテンツを操作デバイス１１に提示するよう更新する手段、及び、スレーブ装置３Ｓ‐Ｎの動作モードを、マスター装置１側の操作デバイス１１の操作触察位置座標を基に被操作デバイス３１の触察部位を連動して誘導させるマスター誘導モード、又はスレーブ装置３Ｓ‐Ｎ側で予め設定された誘導順序を基に被操作デバイス３１の触察部位を自己誘導する自己誘導モードのいずれかに強制的に切り替えるよう制御する手段を備える。そして、スレーブ装置３Ｓ‐Ｎは、このマスター装置１に対応する制御を行う手段を備える。これにより、視覚障害者への遠隔授業環境を構築できるだけでなく、視覚障害者への遠隔授業の正確性が向上する。
また、マスター装置１は、スレーブ装置３Ｓ‐Ｎの状態を把握するための状態要求信号をスレーブ装置３Ｓ‐Ｎに送信し、スレーブ装置３Ｓ‐Ｎの接続状況及び使用者名と被操作デバイス３１に提示しているコンテンツに関する情報のいずれかを少なくとも含む状態通知信号を通知するよう応答させ、マスター装置１のモニター１３に表示する手段、及び、スレーブ装置３Ｓ‐Ｎ側からの要求（質問を含む）の有無を受け付け、その旨をマスター装置１のモニター１３に表示する手段を備える。そして、スレーブ装置３Ｓ‐Ｎは、このマスター装置１に対応する制御を行う手段を備える。これにより、視覚障害者への遠隔授業の柔軟性が向上する。
また、マスター装置１は、マスター誘導モード中の割込み動作として当該スレーブ装置スレーブ装置３Ｓ‐Ｎ側の触察位置を把握するためのスレーブ触察位置通知モードとして、スレーブ装置３Ｓ‐Ｎの被操作デバイス３１における触察位置座標を把握するための状態要求信号をスレーブ装置３Ｓ‐Ｎに送信し、当該被操作デバイス３１における触察位置座標を検出し通知するよう応答させ、マスター装置１のモニター１３に表示するとともに、被操作デバイス３１における触察位置座標に基づき操作デバイス１１の触察位置を誘導する手段を備える。これにより、視覚障害者の状態把握が向上し、的確な遠隔授業が実現できる。
尚、本発明に係る遠隔力覚誘導システム１０は、遠隔授業だけにとどまらず、通信や放送を利用した教育用途への発展も期待でき、遠隔地での図の内容の情報伝送や、視覚と聴覚の重複障害者に対し手のひら書きなどの文字によるコミュニケーション環境に利用できる。
以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施形態の例では、ＸＭＬ形式の提示データを例に説明したが、同様な機能を生じさせるものであれば任意のファイル形式とすることができる。従って、本発明に係る送信装置及び受信装置は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。
本発明によれば、所定のネットワーク経由で接続されたマスター装置とスレーブ装置の遠隔間で、マスター装置からスレーブ装置に対し視覚障害者を対象に文字やグラフ、地図などの情報を的確に理解把握できるよう伝えるために所定の触察位置（指等の位置）を誘導する遠隔力覚誘導システムが実現されるので、遠隔授業の用途や、通信や放送を利用した教育用途、遠隔地での図の内容の情報伝送や、視覚と聴覚の重複障害者に対し手のひら書きなどの文字によるコミュニケーション環境の用途に有用である。
１ マスター装置
２ ネットワーク（ＬＡＮ）
３Ｓ‐１，３Ｓ‐２，３Ｓ‐Ｎ スレーブ装置
１０ 遠隔力覚誘導システム
１１ 操作デバイス
１１ａ 触覚提示／力覚誘導デバイス
１２ 制御ユニット
１３ モニター
３１ 被操作デバイス
３１ａ 触覚提示／力覚誘導デバイス
３２ 制御ユニット
１１１ 触覚提示デバイス
１１１ａ 触覚ディスプレイ
１１１ｂ メニュー
１１１ｃ キー
１１２ 力覚誘導デバイス
１１２ａ 装着部
１２１ 提示ＸＭＬ更新制御部
１２２ 触覚提示／力覚誘導ＸＭＬレジスタ
１２３ 更新ＸＭＬデータ書込／通知部
１２４ 触察位置座標検出部
１２５ 触察位置座標抽出部
１２６ 触覚提示／力覚誘導制御部
１２７ ＬＡＮ送信エンコード部
１２８ スレーブモード制御／状態要求部
１２９ 状態通知信号／要求信号デコード部
３１１ 触覚提示デバイス
３１１ａ 触覚ディスプレイ
３１１ｂ メニュー
３１１ｃ キー
３１２ 力覚誘導デバイス
３１２ａ 装着部
３２１ ＬＡＮ受信デコード部
３２２ ＸＭＬデータ書込／更新制御部
３２３ 触覚提示／力覚誘導ＸＭＬレジスタ
３２４ レイアウト・誘導条件生成部
３２５ 触察位置座標抽出部
３２６ 力覚誘導データ生成部
３２７ 切り替え部
３２８ 触覚提示／力覚誘導制御部
３２９ モード遷移制御部
３３０ 状態検出部
３３１ 触察位置座標検出部
３３２ 要求検出部
３３３ 状態通知信号／要求信号エンコード部

Claims (10)

  1. 所定のネットワーク経由で接続されたマスター装置とスレーブ装置の遠隔間で、マスター装置から１台以上のスレーブ装置に対し視覚障害者を対象にコンテンツを伝えるためにマスター装置からスレーブ装置を誘導制御する遠隔力覚誘導システムであって、
    前記マスター装置は、前記スレーブ装置に対し少なくとも力覚誘導の提示を可能とする操作デバイス、マスター側制御ユニット、及びモニターを備え、
    前記スレーブ装置は、前記マスター装置からの遠隔操作信号に基づいて少なくとも力覚誘導を可能とする被操作デバイス、及びスレーブ側制御ユニットを備え、
    前記マスター側制御ユニットは、前記操作デバイスから入力される操作情報を基に、前記スレーブ装置の接続状況及び使用者名、或いは使用状態を把握するための状態要求信号、前記スレーブ装置に対し少なくとも力覚誘導提示を行うコンテンツに関する提示データの書き込み信号と、及び触察部位を誘導する触察位置座標を示す触察位置座標信号と、前記スレーブ装置の動作モードを、前記マスター装置側の前記操作デバイスの操作触察位置座標を基に前記スレーブ装置側の前記被操作デバイスの触察部位を連動して誘導させるマスター誘導モード、又は前記スレーブ装置で予め設定された誘導順序を基に前記被操作デバイスの触察部位を自己誘導する自己誘導モードのいずれかに強制的に切り替えるスレーブモード制御信号と、のいずれかを含む遠隔操作信号を生成して前記スレーブ装置に送信する手段と、前記スレーブ装置からの状態通知信号又は要求信号を受信し、前記モニターに表示するか、又は前記操作デバイスへ反映する制御信号を生成する手段と、を備え、
    前記スレーブ側制御ユニットは、前記遠隔操作信号を受信して前記状態要求信号を含む際には対応する接続状況及び使用者名、或いは提示中のコンテンツ名又は触察位置を含む使用状態を示す前記状態通知信号を生成し前記マスター装置に返信する手段と、前記遠隔操作信号を受信して前記書き込み信号を含む際には前記コンテンツに関する提示データをレジスタに書き込むとともに前記被操作デバイスに提示する手段と、前記遠隔操作信号を受信して前記スレーブモード制御信号を含む際には前記スレーブモード制御信号の指示に従う前記マスター誘導モード又は前記自己誘導モードに切り替えてモード遷移させる手段と、前記遠隔操作信号を受信して前記触察位置座標信号を含む際には、前記マスター誘導モードとして、前記触察位置座標を基に誘導力に変換し前記被操作デバイスを誘導制御する手段と、前記自己誘導モードとして、複数のコンテンツから選択的に前記レジスタに更新された提示データのコンテンツに関して前記被操作デバイスに提示している旨を前記状態通知信号として前記マスター装置に送信する手段と、所定の要求が有る旨を前記要求信号として前記マスター装置に送信する手段と、を備えることを特徴とする遠隔力覚誘導システム。
  2. 前記操作デバイスは少なくとも力覚誘導の提示を可能とする機能を有し、前記被操作デバイスは前記操作デバイスの力覚誘導の提示に対応する力覚誘導の提示を可能とする機能を有することを特徴とする、請求項１に記載の遠隔力覚誘導システム。
  3. 所定のネットワーク経由で接続されたマスター装置とスレーブ装置の遠隔間で、マスター装置から１台以上のスレーブ装置に対し視覚障害者を対象にコンテンツを伝えるためにマスター装置からスレーブ装置を誘導制御する遠隔力覚誘導システムにおける当該マスター装置であって、
    当該マスター装置側の操作デバイスの触察位置座標を検出して当該スレーブ装置に伝送し、前記操作触察位置座標を誘導力に変換させて当該スレーブ装置側の被操作デバイスの触察位置を追従させることで誘導するように制御する手段と、
    当該マスター装置側で提示されるコンテンツに関する提示データを当該スレーブ装置に送信して当該スレーブ装置側のレジスタに書き込ませ、前記被操作デバイスに提示するコンテンツを更新し識別させるとともに、当該送信した提示データのコンテンツを前記操作デバイスに提示するように更新する手段と、
    当該スレーブ装置の動作モードを、当該マスター装置側の前記操作デバイスの操作触察位置座標を基に前記被操作デバイスの触察部位を連動して誘導させるマスター誘導モード、又は当該スレーブ装置側で予め設定された誘導順序を基に前記被操作デバイスの触察部位を誘導する自己誘導モードのいずれかに設定するよう制御する手段と、
    を備えることを特徴とするマスター装置。
  4. 請求項３に記載のマスター装置において、
    当該スレーブ装置の状態を把握するための状態要求信号を当該スレーブ装置に送信し、当該スレーブ装置の接続状況及び使用者名と前記被操作デバイスに提示しているコンテンツに関する情報のいずれかを少なくとも含む状態通知信号を通知するよう応答させ、当該マスター装置のモニターに表示する手段と、
    当該スレーブ装置側からの要求の有無を受け付け、その旨を当該マスター装置のモニターに表示する手段と、
    を更に備えることを特徴とするマスター装置。
  5. 請求項３又は４に記載のマスター装置において、
    前記マスター誘導モード中の割込み動作として当該スレーブ装置側の触察位置を把握するためのスレーブ触察位置通知モードとして、当該スレーブ装置の被操作デバイスにおける触察位置座標を把握するための状態要求信号を当該スレーブ装置に送信し、当該被操作デバイスにおける触察位置座標を検出し通知するよう応答させ、当該マスター装置のモニターに表示するとともに、当該被操作デバイスにおける触察位置座標に基づき前記操作デバイスの触察位置を誘導する手段を更に備えることを特徴とするマスター装置。
  6. 所定のネットワーク経由で接続されたマスター装置とスレーブ装置の遠隔間で、マスター装置から１台以上のスレーブ装置に対し視覚障害者を対象にコンテンツを伝えるためにマスター装置からスレーブ装置を誘導制御する遠隔力覚誘導システムにおける当該スレーブ装置であって、
    当該マスター装置側の操作デバイスの触察位置座標を伝送取得し前記操作触察位置座標を誘導力に変換して当該スレーブ装置側の被操作デバイスの触察位置を追従させるように制御する手段と、
    当該マスター装置側で提示されるコンテンツに関する提示データを伝送取得し当該スレーブ装置側のレジスタに書き込み、前記被操作デバイスに提示するコンテンツを更新する手段と、
    当該マスター装置から、当該マスター装置側の前記操作デバイスの操作触察位置座標を基に前記被操作デバイスの触察部位を連動して誘導させるマスター誘導モード、又は当該スレーブ装置側で予め設定された誘導順序を基に前記被操作デバイスの触察部位を誘導する自己誘導モードのいずれかに設定するよう制御するスレーブモード制御信号を受け付け、前記スレーブモード制御信号に対応する動作モードで動作するよう制御する手段と、
    を備えることを特徴とするスレーブ装置。
  7. 請求項６に記載のスレーブ装置において、
    当該マスター装置から、当該スレーブ装置の状態を把握するための状態要求信号を受信し、当該スレーブ装置の接続状況及び使用者名と前記被操作デバイスに提示しているコンテンツに関する情報のいずれかを少なくとも含む状態通知信号を通知するよう応答する手段と、
    当該マスター装置に対し、当該スレーブ装置側からの要求の有無を通知する手段と、
    を更に備えることを特徴とするスレーブ装置。
  8. 請求項６又は７に記載のスレーブ装置において、
    前記マスター誘導モード中の割込み動作として当該スレーブ装置側の触察位置を当該マスター装置が把握するためのスレーブ触察位置通知モードとして、当該マスター装置から、当該スレーブ装置の被操作デバイスにおける触察位置座標を把握するための状態要求信号を受信し、前記状態要求信号の応答として当該被操作デバイスにおける触察位置座標を検出し当該マスター装置に通知する手段を更に備えることを特徴とするスレーブ装置。
  9. 請求項１又は２に記載の遠隔力覚誘導システムにおける前記マスター側制御ユニットをコンピューターとして機能させるためのプログラム。
  10. 請求項１又は２に記載の遠隔力覚誘導システムにおける前記スレーブ側制御ユニットをコンピューターとして機能させるためのプログラム。
JP2017193249A 2017-10-03 2017-10-03 遠隔力覚誘導システム、マスター装置及びスレーブ装置、並びにプログラム Active JP7007852B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017193249A JP7007852B2 (ja) 2017-10-03 2017-10-03 遠隔力覚誘導システム、マスター装置及びスレーブ装置、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017193249A JP7007852B2 (ja) 2017-10-03 2017-10-03 遠隔力覚誘導システム、マスター装置及びスレーブ装置、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2019067225A JP2019067225A (ja) 2019-04-25
JP7007852B2 true JP7007852B2 (ja) 2022-01-25

Family

ID=66339778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017193249A Active JP7007852B2 (ja) 2017-10-03 2017-10-03 遠隔力覚誘導システム、マスター装置及びスレーブ装置、並びにプログラム

Country Status (1)

Country Link
JP (1) JP7007852B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008213092A (ja) 2007-03-05 2008-09-18 Nagaoka Univ Of Technology モーション習得システムおよびモーション習得方法
JP2014164518A (ja) 2013-02-25 2014-09-08 Nippon Hoso Kyokai <Nhk> 提示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008213092A (ja) 2007-03-05 2008-09-18 Nagaoka Univ Of Technology モーション習得システムおよびモーション習得方法
JP2014164518A (ja) 2013-02-25 2014-09-08 Nippon Hoso Kyokai <Nhk> 提示装置

Also Published As

Publication number Publication date
JP2019067225A (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
US11013559B2 (en) Virtual reality laparoscopic tools
US11011077B2 (en) Virtual reality training, simulation, and collaboration in a robotic surgical system
US11270601B2 (en) Virtual reality system for simulating a robotic surgical environment
US20190000578A1 (en) Emulation of robotic arms and control thereof in a virtual reality environment
WO2014073346A1 (ja) 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
Rossol et al. Touchfree medical interfaces
JP6504032B2 (ja) 触感提供装置、及び、触感提供システム
US11366631B2 (en) Information processing device, information processing method, and program
Zhou et al. A comparative study for telerobotic surgery using free hand gestures
CN111158506B (zh) 具有剪切力反馈的触笔
JP2006012184A (ja) 表示装置、情報処理装置、及びその制御方法
JP7007852B2 (ja) 遠隔力覚誘導システム、マスター装置及びスレーブ装置、並びにプログラム
Lewis et al. Usability of the remote console for virtual reality telerehabilitation: formative evaluation
Wongphati et al. Gestures for manually controlling a helping hand robot
Butnariu et al. DEVELOPMENT OF A NATURAL USER INTERFACE FOR INTUITIVE PRESENTATIONS IN EDUCATIONAL PROCESS.
JP5513974B2 (ja) 仮想力覚提示装置及び仮想力覚提示プログラム
JP2014164518A (ja) 提示装置
JP6985397B2 (ja) 遠隔表示装置、遠隔表示システム、及び遠隔表示方法
Cha et al. Improving spatial perception in telepresence and teleaction systems by displaying distance information through visual and vibrotactile feedback
US20190064920A1 (en) Controlling and configuring unit and method for controlling and configuring a microscope
Csapo et al. An application-oriented review of CogInfoCom: The state-of-the-art and future perspectives
JPH10187025A (ja) マウス型触覚ディスプレイ装置
Ismail et al. A prototype system for controlling a computer by head movements and voice commands
JP2003263271A (ja) 情報受感装置、情報伝達システム、情報受感装置の制御を行なうプログラムが記憶された記憶媒体
Nair Scalability of the Size of Patterns Drawn Using Tactile Hand Guidance

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220107

R150 Certificate of patent or registration of utility model

Ref document number: 7007852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150