JP3956971B2 - 情報処理装置、情報処理方法および記録媒体 - Google Patents

情報処理装置、情報処理方法および記録媒体 Download PDF

Info

Publication number
JP3956971B2
JP3956971B2 JP2004360263A JP2004360263A JP3956971B2 JP 3956971 B2 JP3956971 B2 JP 3956971B2 JP 2004360263 A JP2004360263 A JP 2004360263A JP 2004360263 A JP2004360263 A JP 2004360263A JP 3956971 B2 JP3956971 B2 JP 3956971B2
Authority
JP
Japan
Prior art keywords
input
movable member
stimulus
output
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004360263A
Other languages
English (en)
Other versions
JP2005100465A (ja
Inventor
克己 坂巻
一之 塚本
伸 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2004360263A priority Critical patent/JP3956971B2/ja
Publication of JP2005100465A publication Critical patent/JP2005100465A/ja
Application granted granted Critical
Publication of JP3956971B2 publication Critical patent/JP3956971B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、位置を指定するとともに刺激を出力する入出力装置を用いて情報処理を行う装置および方法、ならびに、この情報処理を実行させるためのプログラムを記録した記録媒体に関するものである。
パーソナルコンピュータ等の情報処理装置は、他の入出力装置とともに用いられる(例えば特許文献1〜3を参照)。入出力装置としては、文字や画像を画面上に表示(出力)するディスプレイ、文字や画像を用紙上に印刷(出力)する印刷装置、文字を入力するのに好適なキーボード、画面上の位置を指定するのに好適なポインティングデバイス等が挙げられる。また、ポインティングデバイスとして、マウス、ジョイスティック、トラックボール等が挙げられる。基準面に対するポインティングデバイス本体の変位が検出されて、この検出された変位に応じて、表示部の画面上の位置を示すカーソルが移動する。
特に、画面上に表示される視覚情報に依存するグラフィカルユーザインターフェースを有する情報処理装置では、ポインティングデバイスは重要な役割を果たす。例えば、画面に表示された複数のオブジェクトのうちの何れかのオブジェクトを選択するには、ポインティングデバイスを操作して、その選択しようとするオブジェクトにカーソルを重ねさせ、ポインティングデバイスに付随しているボタンを押下することで、所望のオブジェクトを容易に選択することができる。
このような入出力装置とともに情報処理装置は教育用途にも用いられる。従来の通信教育では、教師側と生徒側との間で教材・試験問題・解答などの書類を送受信するに際して、郵便・宅配便・ファクシミリなどが用いられてきた。しかし、上記のような情報処理装置を用いれば、インターネットなどのネットワークにより教材などを電子データとして送受信することができ、また、情報処理装置および入出力装置を用いて指導・学習することができる。例えば、生徒は、情報処理装置の画面に教材を表示させて学習し、情報処理装置の画面に試験問題を表示させて入出力装置を用いて解答し、また、この解答を教師側へ送る。一方、教師は、生徒側より送られてきた解答を採点して、その採点結果や講評を生徒側へ返す。
このように情報処理装置が教育用途に用いられる場合にも、入出力装置(特にポインティングデバイス)は重要な役割を果たす。例えば、情報処理装置の画面に表示された複数の選択肢のうちから何れかを選択する場合や、文字の筆順を学習するときのように或る軌跡を描く場合には、キーボードやポインティングデバイスが用いられ、特に後者の場合にはポインティングデバイスが好適に用いられる。
特開2000−155520号公報 特開2000−137576号公報 特開平8−221173号公報
しかし、このようなポインティングデバイスの操作による画面上の位置の指定および把握は、その画面上の視覚情報に依存していることから、弱視者にとっては容易でない。特に、画面上のオブジェクトが小さい場合には、弱視者だけでなく晴眼者にとっても、ポインティングデバイスの操作による画面上の位置の指定および把握は容易でない。また、常に画面を注視することを強いられることから、操作者の健康に悪い影響(例えば眼精疲労やドライアイ等)を与えている。
また、情報処理装置が教育用途に用いられる場合には、生徒がポインティングデバイス等の入出力装置を用いて操作するのみであって、教師と生徒との間で双方向にリアルタイムで指導・学習を行うことができない。したがって、実際に授業を受けているときのような臨場感や面白さが得られず、生徒にとって学習は単調なものとなり、継続するのに限界がある。
本発明は、上記問題点を解消する為になされたものであり、教育用途に用いるのに好適な情報処理装置および方法、ならびに、当該情報処理を実行させるためのプログラムを記録した記録媒体を提供することを目的とする。
本発明に係る情報処理装置は、共通の可動部材により位置を指定するとともに触刺激を出力する入出力装置を用いて情報処理を行う装置であって、入出力装置の可動部材により指定された位置の情報を入力する位置情報入力手段と、位置情報入力手段が入力した位置の情報を評価する評価手段と、評価手段による評価の結果に応じた触刺激を入出力装置の可動部材より出力させる刺激出力手段と、を備えることを特徴とする。さらに、刺激出力手段は、触刺激を入出力装置より出力させ、評価手段は、刺激出力手段が入出力装置より出力させた触刺激と比較して、位置情報入力手段が入力した位置の情報を評価し、刺激出力手段は、評価手段による評価の結果に応じて更に触刺激を入出力装置より出力させることを特徴とする
本発明に係る情報処理方法は、共通の可動部材により位置を指定するとともに触刺激を出力する入出力装置を用いて情報処理を行う方法であって、入出力装置の可動部材により指定された位置の情報を入力する位置情報入力ステップと、位置情報入力ステップにおいて入力した位置の情報を評価する評価ステップと、評価ステップにおける評価の結果に応じた触刺激を入出力装置の可動部材より出力させる刺激出力ステップと、を備えることを特徴とする。さらに、刺激出力ステップでは、触刺激を入出力装置より出力させ、評価ステップでは、刺激出力ステップで入出力装置より出力させた触刺激と比較して、位置情報入力ステップで入力した位置の情報を評価し、刺激出力ステップでは、評価ステップにおける評価の結果に応じて更に触刺激を入出力装置より出力させることを特徴とする
また、本発明に係る情報処理装置(情報処理方法)では、位置情報入力手段は(位置情報入力ステップでは)、入出力装置により指定された位置の情報を一定期間に亘って入力して、評価手段は(評価ステップでは)、位置情報入力手段が(位置情報入力ステップで)入力した一定期間に亘る位置の情報を評価するのが好適である。
また、本発明に係る記録媒体は、以上のような情報処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
本発明によれば、入出力装置により指定された位置の情報は入力されて評価され、この評価の結果に応じた刺激が入出力装置より出力される。したがって、画面上の視覚情報への依存度が低減されることから、入出力装置の操作による画面上のカーソル位置の指定および把握が容易となり、操作者の健康への悪影響が低減される。また、操作者が入出力装置を用いて行った操作が直ちに評価され、その評価結果に応じた刺激が入出力装置に呈示されることから、操作者である生徒は教師との間で双方向にリアルタイムで学習を行っているかのような臨場感や面白さを得ることができて理解度が増す。すなわち、本発明に係る情報処理装置または情報処理方法は教育用途に用いるのに好適なものである。
以下、添付図面を参照して、本発明を実施するための最良の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
図1は、本実施形態に係る情報処理システム1の外観図である。この情報処理システム1は、ポインティングデバイス10、キーボード20および情報処理装置30を備えて構成される。また、情報処理装置30は、表示部31および本体32を備える。ポインティングデバイス10は、情報処理装置30の表示部31の画面上の位置を指定するとともに、操作者に対して触刺激を呈示する。キーボード20は文字入力等に用いられる。情報処理装置30の表示部31は、画像311を表示するとともに、ポインティングデバイス10により指定された位置にカーソル312を表示し、また、キーボード20により入力された文字を表示する。情報処理装置30の本体32は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)およびハードディスク等を含み、ポインティングデバイス10、キーボード20および表示部31による各種の情報の入出力を制御・演算する。
図2は、本実施形態に係るポインティングデバイス10の断面図である。このポインティングデバイス10は、従来のマウスと略同様の形態を有しており、ボール101および第1の変位検出手段102を有している。このボール101は、本体100の底部にあって回転が可能であり、基準面(例えば机上面やマウスパッド)上を本体100が移動することによりボール101は回転する。第1の変位検出手段102は、このボール101の回転方向および回転量をエンコーダにより検出することで、基準面に対する本体100の2次元的な変位(移動方向および移動量)を検出する。
また、ポインティングデバイス10は、固定部材111、可動部材(変位検出部材)112および支持部材121を有している。固定部材111は、弾性撓みが可能な支持部材121を介して、本体100の上部に固定されている。可動部材112は、固定部材111に対して移動可能である。
さらに、ポインティングデバイス10は、スイッチ131および信号処理回路132を有している。ポインティングデバイス10を操作する者の指などが可動部材112を押下すると、固定部材111はスイッチ131を押圧する。すなわち、スイッチ131は、可動部材112が押下されたか否かを検出し、信号処理回路132は、その押下されたか否かを示す信号を出力する。
図3は、本実施形態に係るポインティングデバイス10のブロック図である。なお、この図で、固定部材111および可動部材112については断面図が示されている。固定部材111および可動部材112それぞれは略平板状であって、固定部材111に対して可動部材112は移動が可能である。可動部材112の移動の方向は、固定部材111の面に平行な方向であり、その面上で回転も可能である。第2の変位検出手段113は、位置検出センサ114とともに、固定部材111に対する可動部材112の変位(移動方向および移動量)を検出する。
位置指定手段141は、表示部31の画面上に原点を有する局所座標系を設定し、第1の変位検出手段102により検出された本体100の変位に応じて局所座標系の原点を変位させ、第2の変位検出手段113により検出された可動部材112の変位に応じて局所座標系の原点から変位した位置を指定する。触刺激呈示手段151は、固定部材111に対して可動部材112を移動させることにより、この可動部材112上に触れている操作者の指などに触刺激を呈示する。また、触刺激呈示手段151は、位置指定手段141により指定された表示部31の画面上の位置に応じた触刺激を呈示する。
なお、ポインティングデバイス10から情報処理装置30の本体32へ、最終的に指定する位置の情報を送信してもよいし、また、第1の変位検出手段102が検出した本体100の変位および第2の変位検出手段113が検出した可動部材112の変位を送信してもよい。後者の場合には、本実施形態に係るポインティングデバイス10の位置指定手段141は、本体32内に存在することになる。
図4は、本実施形態に係るポインティングデバイス10の固定部材111および可動部材111のより詳細な構成図である。同図(a)は平面図であり、同図(b)は同図(a)中におけるA−A線での断面図である。ポインティングデバイス10は、側縁部が上方に突出した略板状の固定部材111と、この固定部材111に対して所定平面に平行な方向に移動可能な可動部材112と、固定部材111の側縁部と可動部材112との間に両者を連結する弾性部材115A〜115Dとを有する。弾性部材115A〜115Dそれぞれは、弾性を有する樹脂やバネなどであり、可動部材112の周囲の4個所に設けられており、一端が可動部材112に接合され、他端が固定部材111の側縁部に接合されている。
また、可動部材112には4つのコイル116A〜116Dが固定されている。同図(a)の平面図において、中心を原点とし、右方向をX軸方向とし、上方向をY軸方向とすると、コイル116AはX座標値が正の領域にX軸をまたいで設けられており、コイル116BはX座標値が負の領域にX軸をまたいで設けられており、コイル116CはY座標値が正の領域にY軸をまたいで設けられており、また、コイル116DはY座標値が負の領域にY軸をまたいで設けられている。
図5は、本実施形態に係るポインティングデバイス10における触刺激呈示機構を説明する平面図である。固定部材111には4つの磁石117A〜117Dが固定されている。磁石117Aは、X座標値が正であってY座標値も正である領域に、その磁束がコイル116Aおよび116Dの双方を貫くように設けられている。磁石117Bは、X座標値が負であってY座標値が正である領域に、その磁束がコイル116Bおよび116Dの双方を貫くように設けられている。磁石117Cは、X座標値が負であってY座標値も負である領域に、その磁束がコイル116Bおよび116Cの双方を貫くように設けられている。また、磁石117Dは、X座標値が正であってY座標値が負である領域に、その磁束がコイル116Aおよび116Cの双方を貫くように設けられている。これらのうち磁石117Aおよび117Cそれぞれは、可動部材112に対向する側がS極となるように配置され、磁石117Bおよび117Dそれぞれは、可動部材112に対向する側がN極となるように配置されている。
コイル116A〜116Dと磁石117A〜117Dとの間の相対的な位置関係について換言すれば以下のとおりである。コイル116Aは、磁石117Aおよび117Dそれぞれが作る磁界に対して、X軸と平行な方向に電流が横切るように設けられている。コイル116Bは、磁石117Bおよび117Cそれぞれが作る磁界に対して、X軸と平行な方向に電流が横切るように設けられている。コイル116Cは、磁石117Cおよび117Dそれぞれが作る磁界に対して、Y軸と平行な方向に電流が横切るように設けられている。また、コイル116Dは、磁石117Aおよび117Bそれぞれが作る磁界に対して、Y軸と平行な方向に電流が横切るように設けられている。
コイル116A〜116Dそれぞれは、銅線を用いてもよいし、また、軽量化のためにアルミニウム線を用いてもよく、さらに、銅メッキされたアルミニウム線を用いるのも好適である。磁石117A〜117Dそれぞれは、保磁力および残留磁束密度が大きいものが好ましく、例えばネオジ磁石が好適である。
触刺激呈示手段151はコイル116A〜116Dそれぞれに対して独立に電流を流すことができる。そして、コイル116A〜116Dそれぞれに流れる電流の大きさ及び方向と、磁石117A〜117Dそれぞれが作る磁界との間で、フレミングの左手の法則に応じた相互作用が生じる。これに因り、コイル116A〜116Dそれぞれに推力が生じて、これらの推力と弾性部材115A〜115Dそれぞれの応力とに応じて、固定部材111に対して可動部材112が移動する。そして、この可動部材112により、可動部材112上に触れている操作者の指などに触刺激が呈示される。
図6は、本実施形態に係るポインティングデバイス10における固定部材111と可動部材112との摺動機構を説明する断面図である。磁石117A〜117Dが固定された固定部材111の下面、および、コイル116A〜116Dが固定された可動部材112の上面それぞれに、両者が互いに摺動可能なように、摺動部材118Aおよび118Bが設けられている。摺動部材118Aおよび118Bそれぞれは、摩擦係数が小さいフッ素樹脂(例えばポリテトラフルオロエチレン)、潤滑油が含浸された樹脂および金属などが好適に用いられる。摺動部材118Aおよび118Bの間に、潤滑油を塗布するのも好適であり、また、非磁性体の球体を介在させて、この球体の転がりによって摺動させるようにしてもよい。
なお、図6には、摺動機構だけでなく、可動部材112の上面にある表面層119、および、この表面層119の中央付近に設けられた感圧部120も示されている。図7は、本実施形態に係るポインティングデバイス10における感圧部120を説明する断面図である。表面層119は、人の指や掌などの受容器官が接離可能なように平坦に仕上げられている。感圧部120は、表面層119に人の指などが触れたことを検出するものである。感圧部120は、シリコーンゴムおよび導電性粉末を混合した材料を用いた感圧導電性ゴム120Aを導電性プラスティック層120Bおよび120Cで挟んだ構成となっている。そして、導電性プラスティック層120Bと導電性プラスティック層120Cとの間に電圧を印加し、感圧部120に人の指などが触れたときの接触圧に因る電気抵抗値の変化を検出して、これにより接触の有無を検出する。この感圧部120から出力される接触検出信号は触刺激呈示手段151に送られ、接触が確認されたときに可動部材112は触刺激呈示手段151により駆動される。
この他、可動部材112に人の指などが接触したことを検出する方法として以下のものがある。すなわち、可動部材112に所定の電荷を蓄積して保持する電荷蓄積部を設け、人の指などが接触したときに電荷蓄積部に保持されていた電荷を人の指などに流出させ、電荷蓄積部に蓄積されている電荷の量の変化を検出することで、可動部材112に人の指などが接触したことを検出するのも好適である。また、可撓性を有する2つの電極を相互間距離が一定となるように支持し、人の指などが接触したときに、これら2つの電極の相互間距離が変化して両電極間に存在する静電容量が変化するのを検出することで、可動部材112に人の指などが接触したことを検出するのも好適である。さらに、可動部材112の上面に受光素子を設けるとともに、固定部材111の側縁部の上面にも受光素子を設け、各々の受光素子からの出力信号の値の変化に基づいて、可動部材112の上面の受光素子からの出力信号の値が低下したことを検出することで、可動部材112に人の指などが接触したことを検出するのも好適である。
図8は、本実施形態に係るポインティングデバイス10における位置検出センサ114を説明する断面図である。位置検出センサ114は、固定部材111に固定された発光素子(例えば発光ダイオード)114Aおよび受光素子(例えばフォトダイオード)114B、ならびに、可動部材112の下面に描かれた光学模様(例えば、等間隔の濃淡模様、市松模様、など)114Cを含む。発光素子114Aから出射された光は光学模様114C上に照射され、光学模様114Cで反射された光は受光素子114Bにより受光される。受光素子114Bによる受光量は、発光素子114Aから出射された光が光学模様114C上に入射する位置における反射率に応じたものである。
したがって、受光量に応じて受光素子114Bから出力される電気信号の変化に基づいて、固定部材111に対する可動部材112の変位量を検出することができる。また、このような位置検出センサ114をX軸方向およびY軸方向それぞれについて設けることにより、固定部材111に対する可動部材112の2次元的な変位量を検出することができる。この位置検出センサ114からの出力信号は第2の変位検出手段113に送られ、第2の変位検出手段113において、可動部材112の変位が検出される。
この他、可動部材112の変位を検出する方法として以下のものがある。すなわち、可動部材112の下面に形成された細かい凹凸に対してレーザ光を照射してスペックル模様を生じさせ、このスペックル模様を2次元イメージセンサにより観察することで、固定部材111に対する可動部材112の2次元的な変位量を検出するのも好適である。また、可動部材112に接触する回転体を設け、この回転体の回転量をエンコーダにより検出することで、固定部材111に対する可動部材112の変位量を検出するのも好適である。さらに、固定部材111および可動部材112のうちの一方に発光素子を設け他方に2次元光学的位置検出素子(PSD: position sensitive detector)を設けることで、固定部材111に対する可動部材112の2次元的な変位量を検出するのも好適である。
次に、ポインティングデバイス10の触刺激呈示動作について説明する。触刺激呈示手段151により駆動されてコイル116A〜116Dそれぞれに電流が流れると、フレミングの左手の法則に従って、コイル116A〜116Dそれぞれに推力が働き、これにより可動部材112が移動する。
先ず、コイル116Aおよび116Bそれぞれについて考えると、固定部材111に垂直な方向であるZ軸方向に磁界が生じており、この磁界中にX軸方向に電流が流れると、Y軸方向への推力が生じる。コイル116Aに時計回りの方向に電流を流すと、コイル116Aには+Y軸方向の推力が働く。また、コイル116Bに反時計回りの方向に電流を流すと、コイル116Bには+Y軸方向の推力が働く。電流が流れる方向を変えることで推力が働く方向を変えることができ、また、電流値を変えることで推力の大きさを変えることができる。
同様に、コイル116Cおよび116Dそれぞれについて考えると、固定部材111に垂直な方向であるZ軸方向に磁界が生じており、この磁界中にY軸方向に電流が流れると、X軸方向への推力が生じる。コイル116Cに時計回りの方向に電流を流すと、コイル116Cには+X軸方向の推力が働く。また、コイル116Dに反時計回りの方向に電流を流すと、コイル116Dには+X軸方向の推力が働く。電流が流れる方向を変えることで推力が働く方向を変えることができ、また、電流値を変えることで推力の大きさを変えることができる。
固定部材111に対して可動部材112を平行移動させるだけでよい場合には、コイル116Aおよび116Bそれぞれを互いに結線して、コイル116Aおよび116Bそれぞれに同一方向の推力を与え、また、コイル116Cおよび116Dそれぞれを互いに結線して、コイル116Cおよび116Dそれぞれに同一方向の推力を与えればよい。
また、Z軸をほぼ中心として固定部材111に対して可動部材112を回転させる方向に推力を生じさせることもできる。すなわち、コイル116Aおよびコイル116Bそれぞれに時計回りの方向に電流を流すと、コイル116Aには+Y軸方向の推力が働き、コイル116Bには−Y軸方向の推力が働くので、固定部材111に対して可動部材112を反時計回りの方向へ回転させる回転モーメントが生じる。コイル116Aおよびコイル116Bそれぞれに反時計回りの方向に電流を流すと、コイル116Aには−Y軸方向の推力が働き、コイル116Bには+Y軸方向の推力が働くので、固定部材111に対して可動部材112を時計回りの方向へ回転させる回転モーメントが生じる。また、コイル116Aおよびコイル116Bそれぞれに流れる電流の値の比を変えることで、回転中心を変えることができる。コイル116Cおよびコイル116Dそれぞれについても同様である。
以上のような可動部材112の移動は、触刺激呈示手段151によりコイル116A〜116Dそれぞれに供給される電流により駆動される。また、この際の制御に際しては、例えば、位置偏差と位置偏差の微分量とに応じてなされるPD制御(比例・微分制御)が用いられる。図9は、本実施形態に係るポインティングデバイス10の可動部材112の動作例を説明する図である。同図(a)に示すように、可動部材112は、全体的には−Y軸方向に向かいつつ、左右に細かく振動している。同図(b)に示すように、可動部材112は、時計回り方向に平行移動で回転している。同図(c)に示すように、可動部材112は、時計回り方向に平行移動で回転しつ、その進行方向に対して左右に細かく振動している。また、同図(d)に示すように、可動部材112は、平行移動で揺動している。さらに、可動部材112は、「8」や「W」などの文字を描くような動きも可能である。また、可動部材112は、一定の速さの動きだけでなく、加速または減速を伴う動きも可能である。可動部材112の動きは、触刺激呈示手段151によりコイル116A〜116Dそれぞれに供給される電流に応じたものであって、可動部材112に人の指が軽く接触しているときには、その指は、この可動部材112の動きを感じ取ることができる。
次に、ポインティングデバイス10の位置指定動作と情報処理装置30の表示部31におけるカーソル表示について図10を用いて説明する。表示部31の画面上に表示されるカーソル312の形状は、矢印形状のもの(同図(a))、指差形状のもの(同図(b),(c))、十字形状のもの(同図(d))、および、指先で掴む形状のもの(同図(e))、など、任意でよい。矢印形状のカーソル(同図(a))は、その矢印の先端で位置を示す。指差形状のカーソル(同図(b),(c))は、その指差の先端で位置を示す。十字形状のカーソル(同図(d))は、その十字の交点で位置を示す。また、指先で掴む形状のカーソル(同図(e))は、その掴む2本の指の中央で位置を示す。
このとき、操作者がポインティングデバイス10の本体100を移動させると、その移動が第1の変位検出手段101により検出され、この検出された移動に応じて、表示部31の画面に設定される局所座標系の原点は変位し、カーソルは、その局所座標系の原点へ変位する。そして、操作者が本体100を固定したまま可動部材112を移動させると、固定部材111に対して可動部材112が変位し、この変位が第2の変位検出手段113により検出され、カーソルは、この検出された変位に応じた局所座標系上の位置へ更に変位する。
また、表示部31の画面上に表示されるカーソル312の形状は、上記のものを組み合わせたものであるのが好適である。例えば、図10(f)に示すように、カーソル312の形状は、十字形状と指先で掴む形状とを組み合わせた形状であてもよい。この場合、十字形状の部分の十字の交点は、ポインティングデバイス10の第1の変位検出手段101により検出された本体100の変位に応じて表示部31の画面に設定される局所座標系の原点を示す。また、指先で掴む形状の部分の2本の指の中央は、ポインティングデバイス10の第2の変位検出手段113により検出された可動部材112の変位に応じて表示部31の画面に設定される局所座標系上の位置を示す。
すなわち、操作者がポインティングデバイス10の本体100を移動させると、その移動が第1の変位検出手段101により検出され、この検出された移動に応じて、表示部31の画面上でカーソルの十字形状の部分は変位する。操作者が可動部材112を移動させておらず、固定部材111に対して可動部材112が所定の平衡位置にあれば、図10(f)に示すように、カーソルの指先で掴む形状の部分の2本の指の中央は、十字形状の部分の十字の交点と一致する。一方、操作者が可動部材112を移動させると、固定部材111に対して可動部材112が変位し、この変位が第2の変位検出手段113により検出され、この検出された変位に応じて、図10(g)に示すように、カーソルの指先で掴む形状の部分の2本の指の中央は、十字形状の部分の十字の交点に対して変位する。カーソルの指先で掴む形状の部分の2本の指の中央の位置は、位置指定手段141により指定される。
なお、図10(a)〜(e)に示した単一形状のカーソルの表示と、図10(f)および(g)に示した2形状を組み合わせたカーソルの表示とは、操作者の選択により切り替えが可能であるのが好適である。
また、可動部材112の変位量に対する局所座標系の原点から指定位置への変位量の割合は、本体100の変位量に対する局所座標系の原点の変位量の割合より小さいのが好適である。この場合、本体100を移動させることにより、表示部31の画面上の位置はマクロに変位し、可動部材112を移動させることにより、表示部31の画面上の位置はミクロに変位する。したがって、本体100の移動により表示部31の画面上の位置を粗く指定し、可動部材112の移動により表示部31の画面上の位置を細かく指定することができる。
次に、本実施形態に係る情報処理システム1における位置指定動作および触刺激呈示動作について更に詳細に説明する。図11は、本実施形態に係る情報処理システム1のブロック図である。この図に示したポインティングデバイス10内の位置指定手段141および触刺激呈示手段151それぞれは、既に図3等を用いて説明したものである。情報処理装置30の本体32は、文字情報入力手段321、位置情報入力手段322、評価手段323および刺激出力手段324を備えている。文字情報入力手段321、位置情報入力手段322および刺激出力手段324それぞれは、ポインティングデバイス10またはキーボード20と間でデータ送受信するためのハードウェア(データ入出力回路、ケーブル、コネクタ、CPUなど)、および、ハードディスク等の記憶媒体に格納されCPU上で動作するソフトウェアを含む。また、評価手段323は、ハードディスク等の記憶媒体に格納されCPU上で動作するソフトウェアを含む。
文字情報入力手段321は、キーボード20により入力された文字情報を入力する。位置情報入力手段322は、ポインティングデバイス10の位置指定手段141により指定された位置の情報(各時点における位置の情報、または、一定期間に亘る連続した位置の情報)を入力する。評価手段323は、文字情報入力手段321が入力した文字情報および位置情報入力手段322が入力した位置情報を受け取り、これら文字情報および位置情報を評価する。そして、刺激出力手段324は、ポインティングデバイス10の触刺激呈示手段151へ触刺激信号を出力して、評価手段323による評価の結果に応じた触刺激を可動部材112に呈示させる。すなわち、触刺激呈示手段151による可動部材112を介しての触刺激の呈示は、位置指定手段141により位置指定されたものが評価手段323により評価された結果に応じてなされる。なお、このような情報処理を情報処理装置30に実行させるためのプログラムは、コンピュータ読み取り可能な記録媒体(例えば、磁気ディスク、磁気テープ、CD-ROM、DVD-ROM、等)に記録される。
本実施形態に係る情報処理システム1は、以上のように構成されることで、教育用途に用いるのに好適なものとなっている。以下では、本実施形態に係る情報処理方法として、この情報処理システム1を用いた教育方法について説明する。図12は、本実施形態に係る情報処理システム1が教育用途に用いられる場合の情報処理装置30の表示部31における画面表示の一例を示す図である。なお、この図中に示した点線枠は、表示部31の画面における部分領域A〜Fそれぞれを指し示す為に便宜的に表示したものである。
この図に示した画面の左上の部分領域Aは、ポインティングデバイス10の操作により入力された文字や図形を表示する領域である。この図では部分領域Aに「あ」という文字が表示されている。生徒がポインティングデバイス10を用いて文字等を入力するに際しては、指で可動部材112を押下しながら本体100を移動させてもよいが、指で可動部材112を押下しながら可動部材112を移動させるのが好適である。可動部材112を押下しながら可動部材112を移動させると、その期間に指定された位置の情報(すなわち、可動部材112の移動の軌跡)は、ポインティングデバイス10の位置指定手段141から情報処理装置30の位置情報入力手段322へ逐次送られ、情報処理装置30の評価手段323により評価される。今の場合には、入力された文字「あ」の形状と基準となる文字「あ」の形状との一致度が評価される。そして、この評価結果に応じた刺激信号が情報処理装置30の刺激出力手段324からポインティングデバイス10の触刺激呈示手段151へ送られ、この刺激信号に基づいて可動部材112より指に対して触刺激が呈示される。例えば、入力された文字「あ」が上手く書かれていれば可動部材112が円を描くように動き、そうでなければ可動部材112が「×」の文字を描くように動いて、評価結果を生徒に対して通知する。或いは、入力された文字「あ」の評価に応じた回数だけ可動部材112が円を描くように動いて(すなわち、二重丸や三重丸などを描いて)、評価結果を生徒に対して通知する。
画面の左中の部分領域Bでは、ポインティングデバイス10の操作により「あ」、「い」および「う」のうちの何れかを選択できるようになっている。生徒は、ポインティングデバイス10の本体100または可動部材112を動かすことにより画面上のカーソルを移動させ、可動部材112を押下することによりカーソル位置にある文字(例えば「あ」という文字)を選択することができる。可動部材112が押下されたときに指定された位置の情報は、ポインティングデバイス10の位置指定手段141から情報処理装置30の位置情報入力手段322へ送られ、情報処理装置30の評価手段323により評価され、「あ」という文字が選択された旨が判断される。そして、この評価結果に応じた刺激信号が情報処理装置30の刺激出力手段324からポインティングデバイス10の触刺激呈示手段151へ送られ、この刺激信号に基づいて可動部材112より指に対して触刺激が呈示される。このとき、可動部材112は、「あ」という文字を描くように動く。生徒は、この可動部材112の動きを指で感知することで、「あ」という文字の筆順を学ぶことができる。
画面の左下の部分領域Cでは、ポインティングデバイス10の操作により「かく」、「みる」および「けす」の何れかを選択できるようになっている。「かく」が選択されると、生徒は、ポインティングデバイス10の可動部材112の操作により文字や図形を入力することができる。そして、その入力された文字等は、部分領域Aに表示され、上述したように評価されて、その評価結果が可動部材112に触刺激として呈示される。また、「みる」が選択されると、上述のようにポインティングデバイス10を操作して入力した文字等が画面の部分領域Aに表示され、或いは、上述のように可動部材112がその文字等を描くように動いて、生徒は、入力した文字等を確認することができる。また、「けす」が選択されると、これまでポインティングデバイス10を操作して入力した文字等が消去され、生徒は、その後に新たにポインティングデバイス10を操作して文字等を入力等することができる。
画面の中上の部分領域Dでは、生徒がポインティングデバイス10の操作により画面上のカーソルを移動させると、そのカーソル位置に応じた触刺激が可動部材112に呈示されるようになっている。具体的には、各時刻においてポインティングデバイス10により指定された位置の情報は、ポインティングデバイス10の位置指定手段141から情報処理装置30の位置情報入力手段322へ逐次送られて、情報処理装置30の評価手段323により評価されるとともに、これに基づいて表示部31の画面上のカーソルが移動する。この評価に際しては、部分領域Dに隠された図形(例えば円形)上にカーソルが存在するか否かが判断される。そして、この評価結果に応じた刺激信号が情報処理装置30の刺激出力手段324からポインティングデバイス10の触刺激呈示手段151へ送られ、この刺激信号に基づいて可動部材112より指に対して触刺激が呈示される。例えば、部分領域Dに隠された図形上にカーソルが存在するときには可動部材112は振動するが、そうでないときには可動部材112は振動しない。そして、生徒は、ポインティングデバイス10の本体100または可動部材112を移動させることで画面上のカーソルを移動させて、可動部材112に呈示された刺激に基づいて、部分領域Dに隠された図形を推測する。
画面の中下の部分領域Eでは、ポインティングデバイス10の操作により「○」、「△」および「□」のうちの何れかを選択できるようになっている。生徒は、ポインティングデバイス10の本体100または可動部材112を動かすことにより画面上のカーソルを移動させ、可動部材112を押下することによりカーソル位置にある記号(例えば「○」という記号)を選択することができる。この選択に際しては、上述した部分領域Dに隠された図形であると生徒が推測したものを選択する。可動部材112が押下されたときに指定された位置の情報は、ポインティングデバイス10の位置指定手段141から情報処理装置30の位置情報入力手段322へ送られ、情報処理装置30の評価手段323により評価され、「○」という記号が選択された旨が判断される。そして、この評価結果に応じた刺激信号が情報処理装置30の刺激出力手段324からポインティングデバイス10の触刺激呈示手段151へ送られ、この刺激信号に基づいて可動部材112より指に対して触刺激が呈示される。このとき、生徒が選択した「○」記号は部分領域Dに隠された図形と一致しているので、可動部材112が円を描くように動く。もしそうでなければ可動部材112が「×」の文字を描くように動いて、評価結果を生徒に対して通知する。
画面の右の部分領域Fでは、表示された動物等の名前(たとえば「あり」)を生徒が答えることができるようになっている。具体的には、生徒は、ポインティングデバイス10の本体100または可動部材112を動かすことにより画面上のカーソルを移動させ、可動部材112を押下することにより、カーソル位置にある文字(例えば「あ」という文字)を選択し、さらに同様にして他の文字(例えば「い」という文字)を選択する。可動部材112が押下されたときに指定された位置の情報は、ポインティングデバイス10の位置指定手段141から情報処理装置30の位置情報入力手段322へ逐次送られ、情報処理装置30の評価手段323により評価され、「あ」および「い」という文字が順に選択された旨が判断される。そして、この評価結果に応じた刺激信号が情報処理装置30の刺激出力手段324からポインティングデバイス10の触刺激呈示手段151へ送られ、この刺激信号に基づいて可動部材112より指に対して触刺激が呈示される。このとき、生徒が解答した「あり」は正解であるので、可動部材112が円を描くように動く。もしそうでなければ可動部材112が「×」の文字を描くように動いて、評価結果を生徒に対して通知する。
また、この部分領域Fでは、ポインティングデバイス10の本体100または可動部材112により指定された位置の情報は、ポインティングデバイス10の位置指定手段141から情報処理装置30の位置情報入力手段322へ逐次送られ、情報処理装置30の評価手段323により評価される。この評価では、画面上のカーソル位置が所定の通り道(部分領域Fに描かれた蟻の巣の通り道)にあるか否かが判断される。そして、この評価結果に応じた刺激信号が情報処理装置30の刺激出力手段324からポインティングデバイス10の触刺激呈示手段151へ送られ、この刺激信号に基づいて可動部材112より指に対して触刺激が呈示される。このとき、画面上のカーソル位置が所定の通り道から外れていれば可動部材112は振動するが、そうでないときには可動部材112は振動しない。
以上のように、本実施形態に係る情報処理システム1では、例えば図12に示したような画面が情報処理装置30の表示部31に表示され、操作者がポインティングデバイス10により指定した位置の情報は、情報処理装置30の位置情報入力手段322に入力されて評価手段323により評価される。そして、この評価結果に応じた刺激信号が情報処理装置30の刺激出力手段324からポインティングデバイス10の触刺激呈示手段151へ送られ、この刺激信号に基づいて可動部材112より指に対して触刺激が呈示される。
したがって、本実施形態に係る情報処理装置10または情報処理方法によれば、画面上の視覚情報への依存度が低減されることから、ポインティングデバイス10の操作による画面上のカーソル位置の指定および把握が容易となり、操作者の健康への悪影響が低減される。また、操作者がポインティングデバイス10を用いて行った操作が直ちに評価され、その評価結果に応じた触刺激がポインティングデバイス10の可動部材112に呈示されることから、操作者である生徒は教師との間で双方向にリアルタイムで学習を行っているかのような臨場感や面白さを得ることができて理解度が増し、本実施形態に係る情報処理装置10または情報処理方法は教育用途に用いるのに好適なものである。
なお、本実施形態に係る情報処理装置30または情報処理方法は、上記図12を用いて説明したものだけでなく、他の教育用途にも用いられ得る。例えば、情報処理装置30の刺激出力手段324からポインティングデバイス10の触刺激呈示手段151を介して、或る文字を描くように可動部材112を移動させ、この移動に合わせて生徒は可動部材112を動かす。生徒がポインティングデバイス10の可動部材112により指定した位置の情報は、情報処理装置30の位置情報入力手段322に入力されて評価手段323により評価され、触刺激呈示手段151による可動部材112の移動と生徒による可動部材112の移動とが評価手段223により比較される。そして、この比較結果に応じた刺激信号が情報処理装置30の刺激出力手段324からポインティングデバイス10の触刺激呈示手段151へ送られ、この刺激信号に基づいて可動部材112より指に対して触刺激が呈示される。このとき可動部材112に呈示される触刺激は、生徒による可動部材112の移動を触刺激呈示手段151による可動部材112の移動に合致させようとする力である。これにより、生徒は、触刺激呈示手段151による可動部材112の移動により描かれた文字の形および筆順を容易に学習することができる。また、この学習は、表示部31を見ること無く可能であるから、視力障害者にも好適である。
また、例えば、本実施形態に係る情報処理装置30または情報処理方法を用いれば、機械や操作盤の取り扱いも容易に学習することができる。この場合、情報処理装置30の表示部31の画面に機械等が表示され、生徒はポインティングデバイス10を操作して機械等を模擬的に操作する。その操作の内容は、情報処理装置30の位置情報入力手段322に入力されて評価手段323により評価され、生徒が誤った操作をしたか否かが判断される。もし、生徒が誤った操作をしたと判断されたときには、情報処理装置30の刺激出力手段324からポインティングデバイス10の触刺激呈示手段151へ刺激信号が送られ、この刺激信号に基づいて可動部材112より指に対して触刺激が呈示されて、誤った操作をした旨が生徒に通知され、或いは、正しい操作をするよう生徒の指を誘導するように可動部材112が移動する。なお、情報処理装置30が表示部を有していない場合、画面に表示することが困難な手探り操作を学習する場合、および、生徒が視覚障害者であって画面を見るのが困難である場合などにも、上記のように、生徒の操作を誘導することにより、或いは、誤った操作をした旨を生徒に通知することにより、学習が可能である。
本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、上記の実施形態のポインティングデバイス10は、マウス形状のものであって、基準面上のボール101の回転を検出することで本体100の変位を検出する接触回転式のものであったが、基準面の光学的な濃淡の変化を検出することで本体100の変位を検出する非接触光学式のものであってもよい。
また、マウス形状のものでなくてもよく、ジョイスティック形状のものであってもよい。ジョイスティック形状のものである場合には、そのジョイスティックの先端に可動部材を設けて、この可動部材に触刺激を呈示するのが好適であり、このようにすることで、ジョイスティックを握った手の親指でこの可動部材を移動させることができ、この親指で触刺激を体感することができる。
また、上記実施形態は触刺激を呈示するものであったが、他の刺激を呈示してもよく、例えば、触覚刺激や力覚刺激の他に、ユーザに厚さや寒さを感じさせる温度刺激を呈示してもよいし、ユーザに風を送って風刺激を呈示してもよいし、ユーザに匂いを感じさせる臭覚刺激を呈示してもよいし、その他の任意でよい。また、これらの刺激を選択または併用して呈示するようにしてもよい。
また、上記実施形態では教育用途への適用の場合について説明したが、これに限られない。本発明は、教育用途に適用されるのが好適であるが、その他に例えばアミューズメント用途等に適用されるのも好適である。アミューズメント用途の場合、ユーザが所定の狙いに対して行った動作が入力されて評価され、その評価の結果(例えば、狙いの動作と実際の動作との適合度)に応じた刺激がユーザに呈示されることで、ゲーム性を盛り上げることも可能である。
さらに、上記実施形態では、変位検出部材は固定部材111に対して可動である可動部材112であって、第2の変位検出手段113は可動部材112の変位を検出するものであったが、これに限られない。例えば、ポインティングデバイス本体に対して変位検出部材が固定されていて、第2の変位検出手段は、この変位検出部材に接触する指等の変位を検出するようにしてもよい。具体的には、指等の接触に因る静電容量の変化に基づいて指等の変位を検出するトラックパッドにより実現することができる。
本実施形態に係る情報処理システム1の外観図である。 本実施形態に係るポインティングデバイス10の断面図である。 本実施形態に係るポインティングデバイス10のブロック図である。 本実施形態に係るポインティングデバイス10の固定部材111および可動部材111の構成図である。 本実施形態に係るポインティングデバイス10における触刺激呈示機構を説明する平面図である。 本実施形態に係るポインティングデバイス10における固定部材111と可動部材112との摺動機構を説明する断面図である。 本実施形態に係るポインティングデバイス10における感圧部120を説明する断面図である。 本実施形態に係るポインティングデバイス10における位置検出センサ114を説明する断面図である。 本実施形態に係るポインティングデバイス10の可動部材112の動作例を説明する図である。 本実施形態に係るポインティングデバイス10の位置指定動作と表示部30におけるカーソル表示について説明する図である。 本実施形態に係る情報処理システム1のブロック図である。 本実施形態に係る情報処理システム1が教育用途に用いられる場合の情報処理装置30の表示部31における画面表示の一例を示す図である。
符号の説明
1…情報処理システム、10…ポインティングデバイス、20…キーボード、30…画像処理装置、31…表示部、32…本体、100…本体、101…ボール、102…第1の変位検出手段、111…固定部材、112…可動部材、113…第2の変位検出手段、114…位置検出センサ、115A〜115D…弾性部材、116A〜116D…コイル、117A〜117D…磁石、118A,118B…摺動部材、119…表面層、120…感圧部、121…支持部材、131…スイッチ、132…信号処理回路、141…位置指定手段、151…触刺激呈示手段、321…文字情報入力手段、322…位置情報入力手段、323…評価手段、324…刺激出力手段。

Claims (6)

  1. 共通の可動部材により位置を指定するとともに触刺激を出力する入出力装置を用いて情報処理を行う装置であって、
    前記入出力装置の前記可動部材により指定された位置の情報を入力する位置情報入力手段と、
    前記位置情報入力手段が入力した位置の情報を評価する評価手段と、
    前記評価手段による評価の結果に応じた触刺激を前記入出力装置の前記可動部材より出力させる刺激出力手段と、
    を備え
    前記刺激出力手段が、触刺激を前記入出力装置より出力させ、
    前記評価手段が、前記刺激出力手段が前記入出力装置より出力させた触刺激と比較して、前記位置情報入力手段が入力した位置の情報を評価し、
    前記刺激出力手段が、前記評価手段による評価の結果に応じて更に触刺激を前記入出力装置より出力させる、
    ことを特徴とする情報処理装置。
  2. 前記位置情報入力手段は、前記入出力装置により指定された位置の情報を一定期間に亘って入力して、
    前記評価手段は、前記位置情報入力手段が入力した前記一定期間に亘る位置の情報を評価する、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 共通の可動部材により位置を指定するとともに触刺激を出力する入出力装置を用いて情報処理を行う方法であって、
    前記入出力装置の前記可動部材により指定された位置の情報を入力する位置情報入力ステップと、
    前記位置情報入力ステップにおいて入力した位置の情報を評価する評価ステップと、
    前記評価ステップにおける評価の結果に応じた触刺激を前記入出力装置の前記可動部材より出力させる刺激出力ステップと、
    を備え
    前記刺激出力ステップでは、触刺激を前記入出力装置より出力させ、
    前記評価ステップでは、前記刺激出力ステップで前記入出力装置より出力させた触刺激と比較して、前記位置情報入力ステップで入力した位置の情報を評価し、
    前記刺激出力ステップでは、前記評価ステップにおける評価の結果に応じて更に触刺激を前記入出力装置より出力させる、
    ことを特徴とする情報処理方法。
  4. 前記位置情報入力ステップでは、前記入出力装置により指定された位置の情報を一定期間に亘って入力して、
    前記評価ステップでは、前記位置情報入力ステップにおいて入力した前記一定期間に亘る位置の情報を評価する、
    ことを特徴とする請求項3に記載の情報処理方法。
  5. 共通の可動部材により位置を指定するとともに触刺激を出力する入出力装置を用いた情報処理を実行させるためのプログラムを記録した記録媒体であって、
    前記入出力装置の前記可動部材により指定された位置の情報を入力する位置情報入力ステップと、
    前記位置情報入力ステップにおいて入力した位置の情報を評価する評価ステップと、
    前記評価ステップにおける評価の結果に応じた触刺激を前記入出力装置の前記可動部材より出力させる刺激出力ステップと、
    をコンピュータに実行させるためのプログラムを記録し
    前記刺激出力ステップでは、触刺激を前記入出力装置より出力させ、
    前記評価ステップでは、前記刺激出力ステップで前記入出力装置より出力させた触刺激と比較して、前記位置情報入力ステップで入力した位置の情報を評価し、
    前記刺激出力ステップでは、前記評価ステップにおける評価の結果に応じて更に触刺激を前記入出力装置より出力させる、
    コンピュータ読み取り可能な記録媒体。
  6. 前記位置情報入力ステップでは、前記入出力装置により指定された位置の情報を一定期間に亘って入力して、
    前記評価ステップでは、前記位置情報入力ステップにおいて入力した前記一定期間に亘る位置の情報を評価する、
    ことを特徴とする請求項5に記載の記録媒体。
JP2004360263A 2004-12-13 2004-12-13 情報処理装置、情報処理方法および記録媒体 Expired - Lifetime JP3956971B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004360263A JP3956971B2 (ja) 2004-12-13 2004-12-13 情報処理装置、情報処理方法および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004360263A JP3956971B2 (ja) 2004-12-13 2004-12-13 情報処理装置、情報処理方法および記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000341987A Division JP2002149339A (ja) 2000-11-09 2000-11-09 情報処理装置、情報処理方法および記録媒体

Publications (2)

Publication Number Publication Date
JP2005100465A JP2005100465A (ja) 2005-04-14
JP3956971B2 true JP3956971B2 (ja) 2007-08-08

Family

ID=34464476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004360263A Expired - Lifetime JP3956971B2 (ja) 2004-12-13 2004-12-13 情報処理装置、情報処理方法および記録媒体

Country Status (1)

Country Link
JP (1) JP3956971B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7562816B2 (en) * 2006-12-18 2009-07-21 International Business Machines Corporation Integrating touch, taste, and/or scent with a visual interface of an automated system for an enhanced user experience
JP5302610B2 (ja) 2008-10-01 2013-10-02 キヤノン株式会社 情報処理装置、情報処理方法
CA3036208A1 (en) 2016-09-13 2018-03-22 Magic Leap, Inc. Sensory eyewear
US10599221B2 (en) 2018-06-15 2020-03-24 Immersion Corporation Systems, devices, and methods for providing limited duration haptic effects

Also Published As

Publication number Publication date
JP2005100465A (ja) 2005-04-14

Similar Documents

Publication Publication Date Title
Wu et al. A virtual reality keyboard with realistic haptic feedback in a fully immersive virtual environment
JP3543695B2 (ja) 駆動力発生装置
Van Der Linden et al. Buzzing to play: lessons learned from an in the wild study of real-time vibrotactile feedback
JP4013454B2 (ja) ポインティングデバイスおよび情報処理装置
Vermun et al. Gesture-based affective and cognitive states recognition using kinect for effective feedback during e-learning
Zhu et al. Identifying the effectiveness of using three different haptic devices for providing non-visual access to the web
Saputra et al. LexiPal: Kinect-based application for dyslexia using multisensory approach and natural user interface
Lontschar et al. Analysis of haptic feedback and its influences in virtual reality learning environments
JP3956971B2 (ja) 情報処理装置、情報処理方法および記録媒体
Cidota et al. Serious Gaming in Augmented Reality using HMDs for Assessment of Upper Extremity Motor Dysfunctions: User Studies for Engagement and Usability
JP2002149339A (ja) 情報処理装置、情報処理方法および記録媒体
Dede et al. ScienceSpace: research on using virtual reality to enhance science education
US20040239617A1 (en) Haptic interface
JP4168752B2 (ja) 情報受感装置、情報伝達システム、情報受感装置の制御を行なうプログラムが記憶された記憶媒体
Iqbal et al. Augmented Reality-Based Dance Training System: A Study of Its Acceptance
Tsutsumi et al. A piano performance training system based on visual and tactile guidance
JP4244784B2 (ja) 駆動力発生装置
Oakley Haptic augmentation of the cursor: Transforming virtual actions into physical actions
Strentzsch et al. Digital map table VR: Bringing an interactive system to virtual reality
Chilufya HCI: Design guidelines of mobile device games for the elderly
US11989357B1 (en) Systems and methods to specify interactive page locations by pointing a light beam using a handheld device
Gorlewicz The efficacy of surface haptics and force feedback in education
US12125407B2 (en) Systems and methods to specify interactive page locations by pointing a light beam using a handheld device
Álvarez et al. Exploring body language as narrative interface
Jonetzko et al. Encountered-Type Tabletop Haptic Display for Objects On-Demand in Virtual Environments

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070430

R150 Certificate of patent or registration of utility model

Ref document number: 3956971

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140518

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term