JP3956971B2 - 情報処理装置、情報処理方法および記録媒体 - Google Patents

Description

本発明は、位置を指定するとともに刺激を出力する入出力装置を用いて情報処理を行う装置および方法、ならびに、この情報処理を実行させるためのプログラムを記録した記録媒体に関するものである。

パーソナルコンピュータ等の情報処理装置は、他の入出力装置とともに用いられる（例えば特許文献１〜３を参照）。入出力装置としては、文字や画像を画面上に表示（出力）するディスプレイ、文字や画像を用紙上に印刷（出力）する印刷装置、文字を入力するのに好適なキーボード、画面上の位置を指定するのに好適なポインティングデバイス等が挙げられる。また、ポインティングデバイスとして、マウス、ジョイスティック、トラックボール等が挙げられる。基準面に対するポインティングデバイス本体の変位が検出されて、この検出された変位に応じて、表示部の画面上の位置を示すカーソルが移動する。

特に、画面上に表示される視覚情報に依存するグラフィカルユーザインターフェースを有する情報処理装置では、ポインティングデバイスは重要な役割を果たす。例えば、画面に表示された複数のオブジェクトのうちの何れかのオブジェクトを選択するには、ポインティングデバイスを操作して、その選択しようとするオブジェクトにカーソルを重ねさせ、ポインティングデバイスに付随しているボタンを押下することで、所望のオブジェクトを容易に選択することができる。

このような入出力装置とともに情報処理装置は教育用途にも用いられる。従来の通信教育では、教師側と生徒側との間で教材・試験問題・解答などの書類を送受信するに際して、郵便・宅配便・ファクシミリなどが用いられてきた。しかし、上記のような情報処理装置を用いれば、インターネットなどのネットワークにより教材などを電子データとして送受信することができ、また、情報処理装置および入出力装置を用いて指導・学習することができる。例えば、生徒は、情報処理装置の画面に教材を表示させて学習し、情報処理装置の画面に試験問題を表示させて入出力装置を用いて解答し、また、この解答を教師側へ送る。一方、教師は、生徒側より送られてきた解答を採点して、その採点結果や講評を生徒側へ返す。

このように情報処理装置が教育用途に用いられる場合にも、入出力装置（特にポインティングデバイス）は重要な役割を果たす。例えば、情報処理装置の画面に表示された複数の選択肢のうちから何れかを選択する場合や、文字の筆順を学習するときのように或る軌跡を描く場合には、キーボードやポインティングデバイスが用いられ、特に後者の場合にはポインティングデバイスが好適に用いられる。
特開２０００−１５５５２０号公報 特開２０００−１３７５７６号公報 特開平８−２２１１７３号公報

しかし、このようなポインティングデバイスの操作による画面上の位置の指定および把握は、その画面上の視覚情報に依存していることから、弱視者にとっては容易でない。特に、画面上のオブジェクトが小さい場合には、弱視者だけでなく晴眼者にとっても、ポインティングデバイスの操作による画面上の位置の指定および把握は容易でない。また、常に画面を注視することを強いられることから、操作者の健康に悪い影響（例えば眼精疲労やドライアイ等）を与えている。

また、情報処理装置が教育用途に用いられる場合には、生徒がポインティングデバイス等の入出力装置を用いて操作するのみであって、教師と生徒との間で双方向にリアルタイムで指導・学習を行うことができない。したがって、実際に授業を受けているときのような臨場感や面白さが得られず、生徒にとって学習は単調なものとなり、継続するのに限界がある。

本発明は、上記問題点を解消する為になされたものであり、教育用途に用いるのに好適な情報処理装置および方法、ならびに、当該情報処理を実行させるためのプログラムを記録した記録媒体を提供することを目的とする。

本発明に係る情報処理装置は、共通の可動部材により位置を指定するとともに触刺激を出力する入出力装置を用いて情報処理を行う装置であって、入出力装置の可動部材により指定された位置の情報を入力する位置情報入力手段と、位置情報入力手段が入力した位置の情報を評価する評価手段と、評価手段による評価の結果に応じた触刺激を入出力装置の可動部材より出力させる刺激出力手段と、を備えることを特徴とする。さらに、刺激出力手段は、触刺激を入出力装置より出力させ、評価手段は、刺激出力手段が入出力装置より出力させた触刺激と比較して、位置情報入力手段が入力した位置の情報を評価し、刺激出力手段は、評価手段による評価の結果に応じて更に触刺激を入出力装置より出力させることを特徴とする。

本発明に係る情報処理方法は、共通の可動部材により位置を指定するとともに触刺激を出力する入出力装置を用いて情報処理を行う方法であって、入出力装置の可動部材により指定された位置の情報を入力する位置情報入力ステップと、位置情報入力ステップにおいて入力した位置の情報を評価する評価ステップと、評価ステップにおける評価の結果に応じた触刺激を入出力装置の可動部材より出力させる刺激出力ステップと、を備えることを特徴とする。さらに、刺激出力ステップでは、触刺激を入出力装置より出力させ、評価ステップでは、刺激出力ステップで入出力装置より出力させた触刺激と比較して、位置情報入力ステップで入力した位置の情報を評価し、刺激出力ステップでは、評価ステップにおける評価の結果に応じて更に触刺激を入出力装置より出力させることを特徴とする。

また、本発明に係る情報処理装置（情報処理方法）では、位置情報入力手段は（位置情報入力ステップでは）、入出力装置により指定された位置の情報を一定期間に亘って入力して、評価手段は（評価ステップでは）、位置情報入力手段が（位置情報入力ステップで）入力した一定期間に亘る位置の情報を評価するのが好適である。

また、本発明に係る記録媒体は、以上のような情報処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、入出力装置により指定された位置の情報は入力されて評価され、この評価の結果に応じた刺激が入出力装置より出力される。したがって、画面上の視覚情報への依存度が低減されることから、入出力装置の操作による画面上のカーソル位置の指定および把握が容易となり、操作者の健康への悪影響が低減される。また、操作者が入出力装置を用いて行った操作が直ちに評価され、その評価結果に応じた刺激が入出力装置に呈示されることから、操作者である生徒は教師との間で双方向にリアルタイムで学習を行っているかのような臨場感や面白さを得ることができて理解度が増す。すなわち、本発明に係る情報処理装置または情報処理方法は教育用途に用いるのに好適なものである。

以下、添付図面を参照して、本発明を実施するための最良の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は、本実施形態に係る情報処理システム１の外観図である。この情報処理システム１は、ポインティングデバイス１０、キーボード２０および情報処理装置３０を備えて構成される。また、情報処理装置３０は、表示部３１および本体３２を備える。ポインティングデバイス１０は、情報処理装置３０の表示部３１の画面上の位置を指定するとともに、操作者に対して触刺激を呈示する。キーボード２０は文字入力等に用いられる。情報処理装置３０の表示部３１は、画像３１１を表示するとともに、ポインティングデバイス１０により指定された位置にカーソル３１２を表示し、また、キーボード２０により入力された文字を表示する。情報処理装置３０の本体３２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）およびハードディスク等を含み、ポインティングデバイス１０、キーボード２０および表示部３１による各種の情報の入出力を制御・演算する。

図２は、本実施形態に係るポインティングデバイス１０の断面図である。このポインティングデバイス１０は、従来のマウスと略同様の形態を有しており、ボール１０１および第１の変位検出手段１０２を有している。このボール１０１は、本体１００の底部にあって回転が可能であり、基準面（例えば机上面やマウスパッド）上を本体１００が移動することによりボール１０１は回転する。第１の変位検出手段１０２は、このボール１０１の回転方向および回転量をエンコーダにより検出することで、基準面に対する本体１００の２次元的な変位（移動方向および移動量）を検出する。

また、ポインティングデバイス１０は、固定部材１１１、可動部材（変位検出部材）１１２および支持部材１２１を有している。固定部材１１１は、弾性撓みが可能な支持部材１２１を介して、本体１００の上部に固定されている。可動部材１１２は、固定部材１１１に対して移動可能である。

さらに、ポインティングデバイス１０は、スイッチ１３１および信号処理回路１３２を有している。ポインティングデバイス１０を操作する者の指などが可動部材１１２を押下すると、固定部材１１１はスイッチ１３１を押圧する。すなわち、スイッチ１３１は、可動部材１１２が押下されたか否かを検出し、信号処理回路１３２は、その押下されたか否かを示す信号を出力する。

図３は、本実施形態に係るポインティングデバイス１０のブロック図である。なお、この図で、固定部材１１１および可動部材１１２については断面図が示されている。固定部材１１１および可動部材１１２それぞれは略平板状であって、固定部材１１１に対して可動部材１１２は移動が可能である。可動部材１１２の移動の方向は、固定部材１１１の面に平行な方向であり、その面上で回転も可能である。第２の変位検出手段１１３は、位置検出センサ１１４とともに、固定部材１１１に対する可動部材１１２の変位（移動方向および移動量）を検出する。

位置指定手段１４１は、表示部３１の画面上に原点を有する局所座標系を設定し、第１の変位検出手段１０２により検出された本体１００の変位に応じて局所座標系の原点を変位させ、第２の変位検出手段１１３により検出された可動部材１１２の変位に応じて局所座標系の原点から変位した位置を指定する。触刺激呈示手段１５１は、固定部材１１１に対して可動部材１１２を移動させることにより、この可動部材１１２上に触れている操作者の指などに触刺激を呈示する。また、触刺激呈示手段１５１は、位置指定手段１４１により指定された表示部３１の画面上の位置に応じた触刺激を呈示する。

なお、ポインティングデバイス１０から情報処理装置３０の本体３２へ、最終的に指定する位置の情報を送信してもよいし、また、第１の変位検出手段１０２が検出した本体１００の変位および第２の変位検出手段１１３が検出した可動部材１１２の変位を送信してもよい。後者の場合には、本実施形態に係るポインティングデバイス１０の位置指定手段１４１は、本体３２内に存在することになる。

図４は、本実施形態に係るポインティングデバイス１０の固定部材１１１および可動部材１１１のより詳細な構成図である。同図（ａ）は平面図であり、同図（ｂ）は同図（ａ）中におけるＡ−Ａ線での断面図である。ポインティングデバイス１０は、側縁部が上方に突出した略板状の固定部材１１１と、この固定部材１１１に対して所定平面に平行な方向に移動可能な可動部材１１２と、固定部材１１１の側縁部と可動部材１１２との間に両者を連結する弾性部材１１５Ａ〜１１５Ｄとを有する。弾性部材１１５Ａ〜１１５Ｄそれぞれは、弾性を有する樹脂やバネなどであり、可動部材１１２の周囲の４個所に設けられており、一端が可動部材１１２に接合され、他端が固定部材１１１の側縁部に接合されている。

また、可動部材１１２には４つのコイル１１６Ａ〜１１６Ｄが固定されている。同図（ａ）の平面図において、中心を原点とし、右方向をＸ軸方向とし、上方向をＹ軸方向とすると、コイル１１６ＡはＸ座標値が正の領域にＸ軸をまたいで設けられており、コイル１１６ＢはＸ座標値が負の領域にＸ軸をまたいで設けられており、コイル１１６ＣはＹ座標値が正の領域にＹ軸をまたいで設けられており、また、コイル１１６ＤはＹ座標値が負の領域にＹ軸をまたいで設けられている。

図５は、本実施形態に係るポインティングデバイス１０における触刺激呈示機構を説明する平面図である。固定部材１１１には４つの磁石１１７Ａ〜１１７Ｄが固定されている。磁石１１７Ａは、Ｘ座標値が正であってＹ座標値も正である領域に、その磁束がコイル１１６Ａおよび１１６Ｄの双方を貫くように設けられている。磁石１１７Ｂは、Ｘ座標値が負であってＹ座標値が正である領域に、その磁束がコイル１１６Ｂおよび１１６Ｄの双方を貫くように設けられている。磁石１１７Ｃは、Ｘ座標値が負であってＹ座標値も負である領域に、その磁束がコイル１１６Ｂおよび１１６Ｃの双方を貫くように設けられている。また、磁石１１７Ｄは、Ｘ座標値が正であってＹ座標値が負である領域に、その磁束がコイル１１６Ａおよび１１６Ｃの双方を貫くように設けられている。これらのうち磁石１１７Ａおよび１１７Ｃそれぞれは、可動部材１１２に対向する側がＳ極となるように配置され、磁石１１７Ｂおよび１１７Ｄそれぞれは、可動部材１１２に対向する側がＮ極となるように配置されている。

コイル１１６Ａ〜１１６Ｄと磁石１１７Ａ〜１１７Ｄとの間の相対的な位置関係について換言すれば以下のとおりである。コイル１１６Ａは、磁石１１７Ａおよび１１７Ｄそれぞれが作る磁界に対して、Ｘ軸と平行な方向に電流が横切るように設けられている。コイル１１６Ｂは、磁石１１７Ｂおよび１１７Ｃそれぞれが作る磁界に対して、Ｘ軸と平行な方向に電流が横切るように設けられている。コイル１１６Ｃは、磁石１１７Ｃおよび１１７Ｄそれぞれが作る磁界に対して、Ｙ軸と平行な方向に電流が横切るように設けられている。また、コイル１１６Ｄは、磁石１１７Ａおよび１１７Ｂそれぞれが作る磁界に対して、Ｙ軸と平行な方向に電流が横切るように設けられている。

コイル１１６Ａ〜１１６Ｄそれぞれは、銅線を用いてもよいし、また、軽量化のためにアルミニウム線を用いてもよく、さらに、銅メッキされたアルミニウム線を用いるのも好適である。磁石１１７Ａ〜１１７Ｄそれぞれは、保磁力および残留磁束密度が大きいものが好ましく、例えばネオジ磁石が好適である。

触刺激呈示手段１５１はコイル１１６Ａ〜１１６Ｄそれぞれに対して独立に電流を流すことができる。そして、コイル１１６Ａ〜１１６Ｄそれぞれに流れる電流の大きさ及び方向と、磁石１１７Ａ〜１１７Ｄそれぞれが作る磁界との間で、フレミングの左手の法則に応じた相互作用が生じる。これに因り、コイル１１６Ａ〜１１６Ｄそれぞれに推力が生じて、これらの推力と弾性部材１１５Ａ〜１１５Ｄそれぞれの応力とに応じて、固定部材１１１に対して可動部材１１２が移動する。そして、この可動部材１１２により、可動部材１１２上に触れている操作者の指などに触刺激が呈示される。

図６は、本実施形態に係るポインティングデバイス１０における固定部材１１１と可動部材１１２との摺動機構を説明する断面図である。磁石１１７Ａ〜１１７Ｄが固定された固定部材１１１の下面、および、コイル１１６Ａ〜１１６Ｄが固定された可動部材１１２の上面それぞれに、両者が互いに摺動可能なように、摺動部材１１８Ａおよび１１８Ｂが設けられている。摺動部材１１８Ａおよび１１８Ｂそれぞれは、摩擦係数が小さいフッ素樹脂（例えばポリテトラフルオロエチレン）、潤滑油が含浸された樹脂および金属などが好適に用いられる。摺動部材１１８Ａおよび１１８Ｂの間に、潤滑油を塗布するのも好適であり、また、非磁性体の球体を介在させて、この球体の転がりによって摺動させるようにしてもよい。

なお、図６には、摺動機構だけでなく、可動部材１１２の上面にある表面層１１９、および、この表面層１１９の中央付近に設けられた感圧部１２０も示されている。図７は、本実施形態に係るポインティングデバイス１０における感圧部１２０を説明する断面図である。表面層１１９は、人の指や掌などの受容器官が接離可能なように平坦に仕上げられている。感圧部１２０は、表面層１１９に人の指などが触れたことを検出するものである。感圧部１２０は、シリコーンゴムおよび導電性粉末を混合した材料を用いた感圧導電性ゴム１２０Ａを導電性プラスティック層１２０Ｂおよび１２０Ｃで挟んだ構成となっている。そして、導電性プラスティック層１２０Ｂと導電性プラスティック層１２０Ｃとの間に電圧を印加し、感圧部１２０に人の指などが触れたときの接触圧に因る電気抵抗値の変化を検出して、これにより接触の有無を検出する。この感圧部１２０から出力される接触検出信号は触刺激呈示手段１５１に送られ、接触が確認されたときに可動部材１１２は触刺激呈示手段１５１により駆動される。

この他、可動部材１１２に人の指などが接触したことを検出する方法として以下のものがある。すなわち、可動部材１１２に所定の電荷を蓄積して保持する電荷蓄積部を設け、人の指などが接触したときに電荷蓄積部に保持されていた電荷を人の指などに流出させ、電荷蓄積部に蓄積されている電荷の量の変化を検出することで、可動部材１１２に人の指などが接触したことを検出するのも好適である。また、可撓性を有する２つの電極を相互間距離が一定となるように支持し、人の指などが接触したときに、これら２つの電極の相互間距離が変化して両電極間に存在する静電容量が変化するのを検出することで、可動部材１１２に人の指などが接触したことを検出するのも好適である。さらに、可動部材１１２の上面に受光素子を設けるとともに、固定部材１１１の側縁部の上面にも受光素子を設け、各々の受光素子からの出力信号の値の変化に基づいて、可動部材１１２の上面の受光素子からの出力信号の値が低下したことを検出することで、可動部材１１２に人の指などが接触したことを検出するのも好適である。

図８は、本実施形態に係るポインティングデバイス１０における位置検出センサ１１４を説明する断面図である。位置検出センサ１１４は、固定部材１１１に固定された発光素子（例えば発光ダイオード）１１４Ａおよび受光素子（例えばフォトダイオード）１１４Ｂ、ならびに、可動部材１１２の下面に描かれた光学模様（例えば、等間隔の濃淡模様、市松模様、など）１１４Ｃを含む。発光素子１１４Ａから出射された光は光学模様１１４Ｃ上に照射され、光学模様１１４Ｃで反射された光は受光素子１１４Ｂにより受光される。受光素子１１４Ｂによる受光量は、発光素子１１４Ａから出射された光が光学模様１１４Ｃ上に入射する位置における反射率に応じたものである。

したがって、受光量に応じて受光素子１１４Ｂから出力される電気信号の変化に基づいて、固定部材１１１に対する可動部材１１２の変位量を検出することができる。また、このような位置検出センサ１１４をＸ軸方向およびＹ軸方向それぞれについて設けることにより、固定部材１１１に対する可動部材１１２の２次元的な変位量を検出することができる。この位置検出センサ１１４からの出力信号は第２の変位検出手段１１３に送られ、第２の変位検出手段１１３において、可動部材１１２の変位が検出される。

この他、可動部材１１２の変位を検出する方法として以下のものがある。すなわち、可動部材１１２の下面に形成された細かい凹凸に対してレーザ光を照射してスペックル模様を生じさせ、このスペックル模様を２次元イメージセンサにより観察することで、固定部材１１１に対する可動部材１１２の２次元的な変位量を検出するのも好適である。また、可動部材１１２に接触する回転体を設け、この回転体の回転量をエンコーダにより検出することで、固定部材１１１に対する可動部材１１２の変位量を検出するのも好適である。さらに、固定部材１１１および可動部材１１２のうちの一方に発光素子を設け他方に２次元光学的位置検出素子（ＰＳＤ: position sensitive detector）を設けることで、固定部材１１１に対する可動部材１１２の２次元的な変位量を検出するのも好適である。

次に、ポインティングデバイス１０の触刺激呈示動作について説明する。触刺激呈示手段１５１により駆動されてコイル１１６Ａ〜１１６Ｄそれぞれに電流が流れると、フレミングの左手の法則に従って、コイル１１６Ａ〜１１６Ｄそれぞれに推力が働き、これにより可動部材１１２が移動する。

先ず、コイル１１６Ａおよび１１６Ｂそれぞれについて考えると、固定部材１１１に垂直な方向であるＺ軸方向に磁界が生じており、この磁界中にＸ軸方向に電流が流れると、Ｙ軸方向への推力が生じる。コイル１１６Ａに時計回りの方向に電流を流すと、コイル１１６Ａには＋Ｙ軸方向の推力が働く。また、コイル１１６Ｂに反時計回りの方向に電流を流すと、コイル１１６Ｂには＋Ｙ軸方向の推力が働く。電流が流れる方向を変えることで推力が働く方向を変えることができ、また、電流値を変えることで推力の大きさを変えることができる。

同様に、コイル１１６Ｃおよび１１６Ｄそれぞれについて考えると、固定部材１１１に垂直な方向であるＺ軸方向に磁界が生じており、この磁界中にＹ軸方向に電流が流れると、Ｘ軸方向への推力が生じる。コイル１１６Ｃに時計回りの方向に電流を流すと、コイル１１６Ｃには＋Ｘ軸方向の推力が働く。また、コイル１１６Ｄに反時計回りの方向に電流を流すと、コイル１１６Ｄには＋Ｘ軸方向の推力が働く。電流が流れる方向を変えることで推力が働く方向を変えることができ、また、電流値を変えることで推力の大きさを変えることができる。

固定部材１１１に対して可動部材１１２を平行移動させるだけでよい場合には、コイル１１６Ａおよび１１６Ｂそれぞれを互いに結線して、コイル１１６Ａおよび１１６Ｂそれぞれに同一方向の推力を与え、また、コイル１１６Ｃおよび１１６Ｄそれぞれを互いに結線して、コイル１１６Ｃおよび１１６Ｄそれぞれに同一方向の推力を与えればよい。

また、Ｚ軸をほぼ中心として固定部材１１１に対して可動部材１１２を回転させる方向に推力を生じさせることもできる。すなわち、コイル１１６Ａおよびコイル１１６Ｂそれぞれに時計回りの方向に電流を流すと、コイル１１６Ａには＋Ｙ軸方向の推力が働き、コイル１１６Ｂには−Ｙ軸方向の推力が働くので、固定部材１１１に対して可動部材１１２を反時計回りの方向へ回転させる回転モーメントが生じる。コイル１１６Ａおよびコイル１１６Ｂそれぞれに反時計回りの方向に電流を流すと、コイル１１６Ａには−Ｙ軸方向の推力が働き、コイル１１６Ｂには＋Ｙ軸方向の推力が働くので、固定部材１１１に対して可動部材１１２を時計回りの方向へ回転させる回転モーメントが生じる。また、コイル１１６Ａおよびコイル１１６Ｂそれぞれに流れる電流の値の比を変えることで、回転中心を変えることができる。コイル１１６Ｃおよびコイル１１６Ｄそれぞれについても同様である。

以上のような可動部材１１２の移動は、触刺激呈示手段１５１によりコイル１１６Ａ〜１１６Ｄそれぞれに供給される電流により駆動される。また、この際の制御に際しては、例えば、位置偏差と位置偏差の微分量とに応じてなされるＰＤ制御（比例・微分制御）が用いられる。図９は、本実施形態に係るポインティングデバイス１０の可動部材１１２の動作例を説明する図である。同図（ａ）に示すように、可動部材１１２は、全体的には−Ｙ軸方向に向かいつつ、左右に細かく振動している。同図（ｂ）に示すように、可動部材１１２は、時計回り方向に平行移動で回転している。同図（ｃ）に示すように、可動部材１１２は、時計回り方向に平行移動で回転しつ、その進行方向に対して左右に細かく振動している。また、同図（ｄ）に示すように、可動部材１１２は、平行移動で揺動している。さらに、可動部材１１２は、「８」や「Ｗ」などの文字を描くような動きも可能である。また、可動部材１１２は、一定の速さの動きだけでなく、加速または減速を伴う動きも可能である。可動部材１１２の動きは、触刺激呈示手段１５１によりコイル１１６Ａ〜１１６Ｄそれぞれに供給される電流に応じたものであって、可動部材１１２に人の指が軽く接触しているときには、その指は、この可動部材１１２の動きを感じ取ることができる。

次に、ポインティングデバイス１０の位置指定動作と情報処理装置３０の表示部３１におけるカーソル表示について図１０を用いて説明する。表示部３１の画面上に表示されるカーソル３１２の形状は、矢印形状のもの（同図（ａ））、指差形状のもの（同図（ｂ），（ｃ））、十字形状のもの（同図（ｄ））、および、指先で掴む形状のもの（同図（ｅ））、など、任意でよい。矢印形状のカーソル（同図（ａ））は、その矢印の先端で位置を示す。指差形状のカーソル（同図（ｂ），（ｃ））は、その指差の先端で位置を示す。十字形状のカーソル（同図（ｄ））は、その十字の交点で位置を示す。また、指先で掴む形状のカーソル（同図（ｅ））は、その掴む２本の指の中央で位置を示す。

このとき、操作者がポインティングデバイス１０の本体１００を移動させると、その移動が第１の変位検出手段１０１により検出され、この検出された移動に応じて、表示部３１の画面に設定される局所座標系の原点は変位し、カーソルは、その局所座標系の原点へ変位する。そして、操作者が本体１００を固定したまま可動部材１１２を移動させると、固定部材１１１に対して可動部材１１２が変位し、この変位が第２の変位検出手段１１３により検出され、カーソルは、この検出された変位に応じた局所座標系上の位置へ更に変位する。

また、表示部３１の画面上に表示されるカーソル３１２の形状は、上記のものを組み合わせたものであるのが好適である。例えば、図１０（ｆ）に示すように、カーソル３１２の形状は、十字形状と指先で掴む形状とを組み合わせた形状であてもよい。この場合、十字形状の部分の十字の交点は、ポインティングデバイス１０の第１の変位検出手段１０１により検出された本体１００の変位に応じて表示部３１の画面に設定される局所座標系の原点を示す。また、指先で掴む形状の部分の２本の指の中央は、ポインティングデバイス１０の第２の変位検出手段１１３により検出された可動部材１１２の変位に応じて表示部３１の画面に設定される局所座標系上の位置を示す。

すなわち、操作者がポインティングデバイス１０の本体１００を移動させると、その移動が第１の変位検出手段１０１により検出され、この検出された移動に応じて、表示部３１の画面上でカーソルの十字形状の部分は変位する。操作者が可動部材１１２を移動させておらず、固定部材１１１に対して可動部材１１２が所定の平衡位置にあれば、図１０（ｆ）に示すように、カーソルの指先で掴む形状の部分の２本の指の中央は、十字形状の部分の十字の交点と一致する。一方、操作者が可動部材１１２を移動させると、固定部材１１１に対して可動部材１１２が変位し、この変位が第２の変位検出手段１１３により検出され、この検出された変位に応じて、図１０（ｇ）に示すように、カーソルの指先で掴む形状の部分の２本の指の中央は、十字形状の部分の十字の交点に対して変位する。カーソルの指先で掴む形状の部分の２本の指の中央の位置は、位置指定手段１４１により指定される。

なお、図１０（ａ）〜（ｅ）に示した単一形状のカーソルの表示と、図１０（ｆ）および（ｇ）に示した２形状を組み合わせたカーソルの表示とは、操作者の選択により切り替えが可能であるのが好適である。

また、可動部材１１２の変位量に対する局所座標系の原点から指定位置への変位量の割合は、本体１００の変位量に対する局所座標系の原点の変位量の割合より小さいのが好適である。この場合、本体１００を移動させることにより、表示部３１の画面上の位置はマクロに変位し、可動部材１１２を移動させることにより、表示部３１の画面上の位置はミクロに変位する。したがって、本体１００の移動により表示部３１の画面上の位置を粗く指定し、可動部材１１２の移動により表示部３１の画面上の位置を細かく指定することができる。

次に、本実施形態に係る情報処理システム１における位置指定動作および触刺激呈示動作について更に詳細に説明する。図１１は、本実施形態に係る情報処理システム１のブロック図である。この図に示したポインティングデバイス１０内の位置指定手段１４１および触刺激呈示手段１５１それぞれは、既に図３等を用いて説明したものである。情報処理装置３０の本体３２は、文字情報入力手段３２１、位置情報入力手段３２２、評価手段３２３および刺激出力手段３２４を備えている。文字情報入力手段３２１、位置情報入力手段３２２および刺激出力手段３２４それぞれは、ポインティングデバイス１０またはキーボード２０と間でデータ送受信するためのハードウェア（データ入出力回路、ケーブル、コネクタ、ＣＰＵなど）、および、ハードディスク等の記憶媒体に格納されＣＰＵ上で動作するソフトウェアを含む。また、評価手段３２３は、ハードディスク等の記憶媒体に格納されＣＰＵ上で動作するソフトウェアを含む。

文字情報入力手段３２１は、キーボード２０により入力された文字情報を入力する。位置情報入力手段３２２は、ポインティングデバイス１０の位置指定手段１４１により指定された位置の情報（各時点における位置の情報、または、一定期間に亘る連続した位置の情報）を入力する。評価手段３２３は、文字情報入力手段３２１が入力した文字情報および位置情報入力手段３２２が入力した位置情報を受け取り、これら文字情報および位置情報を評価する。そして、刺激出力手段３２４は、ポインティングデバイス１０の触刺激呈示手段１５１へ触刺激信号を出力して、評価手段３２３による評価の結果に応じた触刺激を可動部材１１２に呈示させる。すなわち、触刺激呈示手段１５１による可動部材１１２を介しての触刺激の呈示は、位置指定手段１４１により位置指定されたものが評価手段３２３により評価された結果に応じてなされる。なお、このような情報処理を情報処理装置３０に実行させるためのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、磁気ディスク、磁気テープ、ＣＤ-ＲＯＭ、ＤＶＤ-ＲＯＭ、等）に記録される。

本実施形態に係る情報処理システム１は、以上のように構成されることで、教育用途に用いるのに好適なものとなっている。以下では、本実施形態に係る情報処理方法として、この情報処理システム１を用いた教育方法について説明する。図１２は、本実施形態に係る情報処理システム１が教育用途に用いられる場合の情報処理装置３０の表示部３１における画面表示の一例を示す図である。なお、この図中に示した点線枠は、表示部３１の画面における部分領域Ａ〜Ｆそれぞれを指し示す為に便宜的に表示したものである。

この図に示した画面の左上の部分領域Ａは、ポインティングデバイス１０の操作により入力された文字や図形を表示する領域である。この図では部分領域Ａに「あ」という文字が表示されている。生徒がポインティングデバイス１０を用いて文字等を入力するに際しては、指で可動部材１１２を押下しながら本体１００を移動させてもよいが、指で可動部材１１２を押下しながら可動部材１１２を移動させるのが好適である。可動部材１１２を押下しながら可動部材１１２を移動させると、その期間に指定された位置の情報（すなわち、可動部材１１２の移動の軌跡）は、ポインティングデバイス１０の位置指定手段１４１から情報処理装置３０の位置情報入力手段３２２へ逐次送られ、情報処理装置３０の評価手段３２３により評価される。今の場合には、入力された文字「あ」の形状と基準となる文字「あ」の形状との一致度が評価される。そして、この評価結果に応じた刺激信号が情報処理装置３０の刺激出力手段３２４からポインティングデバイス１０の触刺激呈示手段１５１へ送られ、この刺激信号に基づいて可動部材１１２より指に対して触刺激が呈示される。例えば、入力された文字「あ」が上手く書かれていれば可動部材１１２が円を描くように動き、そうでなければ可動部材１１２が「×」の文字を描くように動いて、評価結果を生徒に対して通知する。或いは、入力された文字「あ」の評価に応じた回数だけ可動部材１１２が円を描くように動いて（すなわち、二重丸や三重丸などを描いて）、評価結果を生徒に対して通知する。

画面の左中の部分領域Ｂでは、ポインティングデバイス１０の操作により「あ」、「い」および「う」のうちの何れかを選択できるようになっている。生徒は、ポインティングデバイス１０の本体１００または可動部材１１２を動かすことにより画面上のカーソルを移動させ、可動部材１１２を押下することによりカーソル位置にある文字（例えば「あ」という文字）を選択することができる。可動部材１１２が押下されたときに指定された位置の情報は、ポインティングデバイス１０の位置指定手段１４１から情報処理装置３０の位置情報入力手段３２２へ送られ、情報処理装置３０の評価手段３２３により評価され、「あ」という文字が選択された旨が判断される。そして、この評価結果に応じた刺激信号が情報処理装置３０の刺激出力手段３２４からポインティングデバイス１０の触刺激呈示手段１５１へ送られ、この刺激信号に基づいて可動部材１１２より指に対して触刺激が呈示される。このとき、可動部材１１２は、「あ」という文字を描くように動く。生徒は、この可動部材１１２の動きを指で感知することで、「あ」という文字の筆順を学ぶことができる。

画面の左下の部分領域Ｃでは、ポインティングデバイス１０の操作により「かく」、「みる」および「けす」の何れかを選択できるようになっている。「かく」が選択されると、生徒は、ポインティングデバイス１０の可動部材１１２の操作により文字や図形を入力することができる。そして、その入力された文字等は、部分領域Ａに表示され、上述したように評価されて、その評価結果が可動部材１１２に触刺激として呈示される。また、「みる」が選択されると、上述のようにポインティングデバイス１０を操作して入力した文字等が画面の部分領域Ａに表示され、或いは、上述のように可動部材１１２がその文字等を描くように動いて、生徒は、入力した文字等を確認することができる。また、「けす」が選択されると、これまでポインティングデバイス１０を操作して入力した文字等が消去され、生徒は、その後に新たにポインティングデバイス１０を操作して文字等を入力等することができる。

画面の中上の部分領域Ｄでは、生徒がポインティングデバイス１０の操作により画面上のカーソルを移動させると、そのカーソル位置に応じた触刺激が可動部材１１２に呈示されるようになっている。具体的には、各時刻においてポインティングデバイス１０により指定された位置の情報は、ポインティングデバイス１０の位置指定手段１４１から情報処理装置３０の位置情報入力手段３２２へ逐次送られて、情報処理装置３０の評価手段３２３により評価されるとともに、これに基づいて表示部３１の画面上のカーソルが移動する。この評価に際しては、部分領域Ｄに隠された図形（例えば円形）上にカーソルが存在するか否かが判断される。そして、この評価結果に応じた刺激信号が情報処理装置３０の刺激出力手段３２４からポインティングデバイス１０の触刺激呈示手段１５１へ送られ、この刺激信号に基づいて可動部材１１２より指に対して触刺激が呈示される。例えば、部分領域Ｄに隠された図形上にカーソルが存在するときには可動部材１１２は振動するが、そうでないときには可動部材１１２は振動しない。そして、生徒は、ポインティングデバイス１０の本体１００または可動部材１１２を移動させることで画面上のカーソルを移動させて、可動部材１１２に呈示された刺激に基づいて、部分領域Ｄに隠された図形を推測する。

画面の中下の部分領域Ｅでは、ポインティングデバイス１０の操作により「○」、「△」および「□」のうちの何れかを選択できるようになっている。生徒は、ポインティングデバイス１０の本体１００または可動部材１１２を動かすことにより画面上のカーソルを移動させ、可動部材１１２を押下することによりカーソル位置にある記号（例えば「○」という記号）を選択することができる。この選択に際しては、上述した部分領域Ｄに隠された図形であると生徒が推測したものを選択する。可動部材１１２が押下されたときに指定された位置の情報は、ポインティングデバイス１０の位置指定手段１４１から情報処理装置３０の位置情報入力手段３２２へ送られ、情報処理装置３０の評価手段３２３により評価され、「○」という記号が選択された旨が判断される。そして、この評価結果に応じた刺激信号が情報処理装置３０の刺激出力手段３２４からポインティングデバイス１０の触刺激呈示手段１５１へ送られ、この刺激信号に基づいて可動部材１１２より指に対して触刺激が呈示される。このとき、生徒が選択した「○」記号は部分領域Ｄに隠された図形と一致しているので、可動部材１１２が円を描くように動く。もしそうでなければ可動部材１１２が「×」の文字を描くように動いて、評価結果を生徒に対して通知する。

画面の右の部分領域Ｆでは、表示された動物等の名前（たとえば「あり」）を生徒が答えることができるようになっている。具体的には、生徒は、ポインティングデバイス１０の本体１００または可動部材１１２を動かすことにより画面上のカーソルを移動させ、可動部材１１２を押下することにより、カーソル位置にある文字（例えば「あ」という文字）を選択し、さらに同様にして他の文字（例えば「い」という文字）を選択する。可動部材１１２が押下されたときに指定された位置の情報は、ポインティングデバイス１０の位置指定手段１４１から情報処理装置３０の位置情報入力手段３２２へ逐次送られ、情報処理装置３０の評価手段３２３により評価され、「あ」および「い」という文字が順に選択された旨が判断される。そして、この評価結果に応じた刺激信号が情報処理装置３０の刺激出力手段３２４からポインティングデバイス１０の触刺激呈示手段１５１へ送られ、この刺激信号に基づいて可動部材１１２より指に対して触刺激が呈示される。このとき、生徒が解答した「あり」は正解であるので、可動部材１１２が円を描くように動く。もしそうでなければ可動部材１１２が「×」の文字を描くように動いて、評価結果を生徒に対して通知する。

また、この部分領域Ｆでは、ポインティングデバイス１０の本体１００または可動部材１１２により指定された位置の情報は、ポインティングデバイス１０の位置指定手段１４１から情報処理装置３０の位置情報入力手段３２２へ逐次送られ、情報処理装置３０の評価手段３２３により評価される。この評価では、画面上のカーソル位置が所定の通り道（部分領域Ｆに描かれた蟻の巣の通り道）にあるか否かが判断される。そして、この評価結果に応じた刺激信号が情報処理装置３０の刺激出力手段３２４からポインティングデバイス１０の触刺激呈示手段１５１へ送られ、この刺激信号に基づいて可動部材１１２より指に対して触刺激が呈示される。このとき、画面上のカーソル位置が所定の通り道から外れていれば可動部材１１２は振動するが、そうでないときには可動部材１１２は振動しない。

以上のように、本実施形態に係る情報処理システム１では、例えば図１２に示したような画面が情報処理装置３０の表示部３１に表示され、操作者がポインティングデバイス１０により指定した位置の情報は、情報処理装置３０の位置情報入力手段３２２に入力されて評価手段３２３により評価される。そして、この評価結果に応じた刺激信号が情報処理装置３０の刺激出力手段３２４からポインティングデバイス１０の触刺激呈示手段１５１へ送られ、この刺激信号に基づいて可動部材１１２より指に対して触刺激が呈示される。

したがって、本実施形態に係る情報処理装置１０または情報処理方法によれば、画面上の視覚情報への依存度が低減されることから、ポインティングデバイス１０の操作による画面上のカーソル位置の指定および把握が容易となり、操作者の健康への悪影響が低減される。また、操作者がポインティングデバイス１０を用いて行った操作が直ちに評価され、その評価結果に応じた触刺激がポインティングデバイス１０の可動部材１１２に呈示されることから、操作者である生徒は教師との間で双方向にリアルタイムで学習を行っているかのような臨場感や面白さを得ることができて理解度が増し、本実施形態に係る情報処理装置１０または情報処理方法は教育用途に用いるのに好適なものである。

なお、本実施形態に係る情報処理装置３０または情報処理方法は、上記図１２を用いて説明したものだけでなく、他の教育用途にも用いられ得る。例えば、情報処理装置３０の刺激出力手段３２４からポインティングデバイス１０の触刺激呈示手段１５１を介して、或る文字を描くように可動部材１１２を移動させ、この移動に合わせて生徒は可動部材１１２を動かす。生徒がポインティングデバイス１０の可動部材１１２により指定した位置の情報は、情報処理装置３０の位置情報入力手段３２２に入力されて評価手段３２３により評価され、触刺激呈示手段１５１による可動部材１１２の移動と生徒による可動部材１１２の移動とが評価手段２２３により比較される。そして、この比較結果に応じた刺激信号が情報処理装置３０の刺激出力手段３２４からポインティングデバイス１０の触刺激呈示手段１５１へ送られ、この刺激信号に基づいて可動部材１１２より指に対して触刺激が呈示される。このとき可動部材１１２に呈示される触刺激は、生徒による可動部材１１２の移動を触刺激呈示手段１５１による可動部材１１２の移動に合致させようとする力である。これにより、生徒は、触刺激呈示手段１５１による可動部材１１２の移動により描かれた文字の形および筆順を容易に学習することができる。また、この学習は、表示部３１を見ること無く可能であるから、視力障害者にも好適である。

また、例えば、本実施形態に係る情報処理装置３０または情報処理方法を用いれば、機械や操作盤の取り扱いも容易に学習することができる。この場合、情報処理装置３０の表示部３１の画面に機械等が表示され、生徒はポインティングデバイス１０を操作して機械等を模擬的に操作する。その操作の内容は、情報処理装置３０の位置情報入力手段３２２に入力されて評価手段３２３により評価され、生徒が誤った操作をしたか否かが判断される。もし、生徒が誤った操作をしたと判断されたときには、情報処理装置３０の刺激出力手段３２４からポインティングデバイス１０の触刺激呈示手段１５１へ刺激信号が送られ、この刺激信号に基づいて可動部材１１２より指に対して触刺激が呈示されて、誤った操作をした旨が生徒に通知され、或いは、正しい操作をするよう生徒の指を誘導するように可動部材１１２が移動する。なお、情報処理装置３０が表示部を有していない場合、画面に表示することが困難な手探り操作を学習する場合、および、生徒が視覚障害者であって画面を見るのが困難である場合などにも、上記のように、生徒の操作を誘導することにより、或いは、誤った操作をした旨を生徒に通知することにより、学習が可能である。

本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、上記の実施形態のポインティングデバイス１０は、マウス形状のものであって、基準面上のボール１０１の回転を検出することで本体１００の変位を検出する接触回転式のものであったが、基準面の光学的な濃淡の変化を検出することで本体１００の変位を検出する非接触光学式のものであってもよい。

また、マウス形状のものでなくてもよく、ジョイスティック形状のものであってもよい。ジョイスティック形状のものである場合には、そのジョイスティックの先端に可動部材を設けて、この可動部材に触刺激を呈示するのが好適であり、このようにすることで、ジョイスティックを握った手の親指でこの可動部材を移動させることができ、この親指で触刺激を体感することができる。

また、上記実施形態は触刺激を呈示するものであったが、他の刺激を呈示してもよく、例えば、触覚刺激や力覚刺激の他に、ユーザに厚さや寒さを感じさせる温度刺激を呈示してもよいし、ユーザに風を送って風刺激を呈示してもよいし、ユーザに匂いを感じさせる臭覚刺激を呈示してもよいし、その他の任意でよい。また、これらの刺激を選択または併用して呈示するようにしてもよい。

また、上記実施形態では教育用途への適用の場合について説明したが、これに限られない。本発明は、教育用途に適用されるのが好適であるが、その他に例えばアミューズメント用途等に適用されるのも好適である。アミューズメント用途の場合、ユーザが所定の狙いに対して行った動作が入力されて評価され、その評価の結果（例えば、狙いの動作と実際の動作との適合度）に応じた刺激がユーザに呈示されることで、ゲーム性を盛り上げることも可能である。

さらに、上記実施形態では、変位検出部材は固定部材１１１に対して可動である可動部材１１２であって、第２の変位検出手段１１３は可動部材１１２の変位を検出するものであったが、これに限られない。例えば、ポインティングデバイス本体に対して変位検出部材が固定されていて、第２の変位検出手段は、この変位検出部材に接触する指等の変位を検出するようにしてもよい。具体的には、指等の接触に因る静電容量の変化に基づいて指等の変位を検出するトラックパッドにより実現することができる。

本実施形態に係る情報処理システム１の外観図である。 本実施形態に係るポインティングデバイス１０の断面図である。 本実施形態に係るポインティングデバイス１０のブロック図である。 本実施形態に係るポインティングデバイス１０の固定部材１１１および可動部材１１１の構成図である。 本実施形態に係るポインティングデバイス１０における触刺激呈示機構を説明する平面図である。 本実施形態に係るポインティングデバイス１０における固定部材１１１と可動部材１１２との摺動機構を説明する断面図である。 本実施形態に係るポインティングデバイス１０における感圧部１２０を説明する断面図である。 本実施形態に係るポインティングデバイス１０における位置検出センサ１１４を説明する断面図である。 本実施形態に係るポインティングデバイス１０の可動部材１１２の動作例を説明する図である。 本実施形態に係るポインティングデバイス１０の位置指定動作と表示部３０におけるカーソル表示について説明する図である。 本実施形態に係る情報処理システム１のブロック図である。 本実施形態に係る情報処理システム１が教育用途に用いられる場合の情報処理装置３０の表示部３１における画面表示の一例を示す図である。

符号の説明

１…情報処理システム、１０…ポインティングデバイス、２０…キーボード、３０…画像処理装置、３１…表示部、３２…本体、１００…本体、１０１…ボール、１０２…第１の変位検出手段、１１１…固定部材、１１２…可動部材、１１３…第２の変位検出手段、１１４…位置検出センサ、１１５Ａ〜１１５Ｄ…弾性部材、１１６Ａ〜１１６Ｄ…コイル、１１７Ａ〜１１７Ｄ…磁石、１１８Ａ，１１８Ｂ…摺動部材、１１９…表面層、１２０…感圧部、１２１…支持部材、１３１…スイッチ、１３２…信号処理回路、１４１…位置指定手段、１５１…触刺激呈示手段、３２１…文字情報入力手段、３２２…位置情報入力手段、３２３…評価手段、３２４…刺激出力手段。

Claims (6)

1. 共通の可動部材により位置を指定するとともに触刺激を出力する入出力装置を用いて情報処理を行う装置であって、
   前記入出力装置の前記可動部材により指定された位置の情報を入力する位置情報入力手段と、
   前記位置情報入力手段が入力した位置の情報を評価する評価手段と、
   前記評価手段による評価の結果に応じた触刺激を前記入出力装置の前記可動部材より出力させる刺激出力手段と、
   を備え、
   前記刺激出力手段が、触刺激を前記入出力装置より出力させ、
   前記評価手段が、前記刺激出力手段が前記入出力装置より出力させた触刺激と比較して、前記位置情報入力手段が入力した位置の情報を評価し、
   前記刺激出力手段が、前記評価手段による評価の結果に応じて更に触刺激を前記入出力装置より出力させる、
   ことを特徴とする情報処理装置。
2. 前記位置情報入力手段は、前記入出力装置により指定された位置の情報を一定期間に亘って入力して、
   前記評価手段は、前記位置情報入力手段が入力した前記一定期間に亘る位置の情報を評価する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 共通の可動部材により位置を指定するとともに触刺激を出力する入出力装置を用いて情報処理を行う方法であって、
   前記入出力装置の前記可動部材により指定された位置の情報を入力する位置情報入力ステップと、
   前記位置情報入力ステップにおいて入力した位置の情報を評価する評価ステップと、
   前記評価ステップにおける評価の結果に応じた触刺激を前記入出力装置の前記可動部材より出力させる刺激出力ステップと、
   を備え、
   前記刺激出力ステップでは、触刺激を前記入出力装置より出力させ、
   前記評価ステップでは、前記刺激出力ステップで前記入出力装置より出力させた触刺激と比較して、前記位置情報入力ステップで入力した位置の情報を評価し、
   前記刺激出力ステップでは、前記評価ステップにおける評価の結果に応じて更に触刺激を前記入出力装置より出力させる、
   ことを特徴とする情報処理方法。
4. 前記位置情報入力ステップでは、前記入出力装置により指定された位置の情報を一定期間に亘って入力して、
   前記評価ステップでは、前記位置情報入力ステップにおいて入力した前記一定期間に亘る位置の情報を評価する、
   ことを特徴とする請求項３に記載の情報処理方法。
5. 共通の可動部材により位置を指定するとともに触刺激を出力する入出力装置を用いた情報処理を実行させるためのプログラムを記録した記録媒体であって、
   前記入出力装置の前記可動部材により指定された位置の情報を入力する位置情報入力ステップと、
   前記位置情報入力ステップにおいて入力した位置の情報を評価する評価ステップと、
   前記評価ステップにおける評価の結果に応じた触刺激を前記入出力装置の前記可動部材より出力させる刺激出力ステップと、
   をコンピュータに実行させるためのプログラムを記録し、
   前記刺激出力ステップでは、触刺激を前記入出力装置より出力させ、
   前記評価ステップでは、前記刺激出力ステップで前記入出力装置より出力させた触刺激と比較して、前記位置情報入力ステップで入力した位置の情報を評価し、
   前記刺激出力ステップでは、前記評価ステップにおける評価の結果に応じて更に触刺激を前記入出力装置より出力させる、
   コンピュータ読み取り可能な記録媒体。
6. 前記位置情報入力ステップでは、前記入出力装置により指定された位置の情報を一定期間に亘って入力して、
   前記評価ステップでは、前記位置情報入力ステップにおいて入力した前記一定期間に亘る位置の情報を評価する、
   ことを特徴とする請求項５に記載の記録媒体。
   

Images