JP4053532B2

JP4053532B2 - 材質感、剪断力、接触反力をユーザーに伝達する触感具現マウスインターフェース装置

Info

Publication number: JP4053532B2
Application number: JP2004288330A
Authority: JP
Inventors: キウクキョン; スンウソン; ドンスクゥオン; ムンサンキム
Original assignee: Korea Advanced Institute of Science and Technology KAIST
Current assignee: Korea Advanced Institute of Science and Technology KAIST
Priority date: 2003-10-21
Filing date: 2004-09-30
Publication date: 2008-02-27
Anticipated expiration: 2024-09-30
Also published as: CA2482567C; KR20050038295A; KR100536621B1; JP2005129044A; US20050110758A1; CA2482567A1

Description

本発明はコンピュータ使用者が仮想物体の機械的性質を感じられるように反力を生成するコンピュータ用マウスインターフェース装置に係り、より詳しくは仮想物体からの反力を使用者の手首又は腕に伝達するか、あるいは使用者の指に仮想物体の触覚と力感覚を伝達するマウスインターフェース装置に関するものである。

使用者はコンピュータが提供する仮想現実のゲーム又はシミュレーションなどで仮想物体を体験することになるが、このようなコンピュータと使用者間の相互交流に用いられるインターフェース装置としては、マウス、ジョイスティック、ステアリングホイール、タブレットなどがある。かかるインターフェース装置は、コンピュータのモニタ上の仮想物体に制御信号又は命令を指示するか、又は仮想物体を使用者が直接肉体的に感じるようにする。したがって、インターフェース装置には、仮想物体を使用者が感じるように、使用者によく慣れているコンピュータ用反力装置が必要である。

図１は従来技術における、使用者の手に反力を伝達するマウスインターフェース装置の概略図である。従来技術のマウスインターフェース装置では、マウス装置がホストコンピュータに連結され、使用者が仮想物体の感触を感じるように、使用者の手に反力を伝達する。（例えば、特許文献１参照）
すなわち、図１に示すように、このようなマウスインターフェース装置は、マウス部１０と、機械的リンク部２０と、反力変換部３０とからなる。リンク部２０は、ベース板２５を有するリンク構造であって、第１リンク２１、第２リンク２２、第３リンク２３、第４リンク２４が互いに連結され、第４リンク２４の一端にマウス部１０が結合される。この際、リンク部２０は一つ以上のベアリングによりピボット方式で回転可能に結合され、マウス部１０には、リンク部２０の作動により反力が伝達される。

反力変換部３０は、センサ３１とアクチュエータ３２を含む。センサ３１はマウス部１０の動きを感知して電気的信号を伝達し、アクチュエータ３２は、仮想物体の形状に応じて２自由度ですなわち２つの方向の力をマウス部１０に伝達する。

このように構成されたマウスインターフェース装置は、コンピュータのモニタ上に表示される仮想物体の形状に応じて反力変換部３０がリンク部２０を駆動させることにより、マウス部１０を握っている使用者の手に反力を伝達する。

別の従来技術として、コンピュータのモニタ上に表示される仮想物体の触覚を使用者が感じるように構成されたマウスインターフェース装置が開示されている。（特許文献２及び３参照）
米国特許第６１９１７７４号明細書米国特許第５９１２６６０号明細書米国特許第６２７８４４１号明細書

しかし、図１のマウスインターフェース装置では、使用者はマウス部１０に伝達される機械的反力により仮想物体の触覚のみを間接的に感じるのみであり、仮想物体の大きさ、重さ、形状、硬さのような多様な機械的性質を感じることができない。

一方、特許文献２及び３に開示されたマウスインターフェース装置は、仮想物体の機械的性質を伝達するようにピン形状で反力が伝達されるばかりで、使用者が力感覚（例えば、仮想物体を掠る触覚、摩擦抵抗）を感じるようにするのに限界がある。

したがって、本発明は前述したような従来技術の問題点を解決するためになされたものであり、コンピュータ使用者が仮想物体の重さ、大きさ、形状、硬さなどの多様な機械的性質を感じられるように、使用者の腕に反力を伝達するとともに、仮想物体の圧力分布、振動、掠る触覚を使用者の指に伝達するようにバイモルフ型駆動器によりピンを線形運動させることで、触覚及び力感覚を伝達するマウスインターフェース装置を提供することにその目的がある。

本発明の他の目的は、コンピュータ使用者が不便さを感じることなくかつ疲労感を減らしながら、使用者の手首の運動を妨害せずに、指に触覚及び力感覚を伝達するマウスインターフェース装置を提供することにある。

前記目的を達成するため、コンピュータによってモニタに表示された仮想物体を使用者が感じられるようにした本発明のコンピュータ用マウスインターフェース装置は、
（ａ）前記使用者の手に触れられるマウス部と、
（ｂ）前記仮想物体の所定方向における機械的特性に関連した力感覚を使用者に作用させる反力部であって、外装体と、前記マウス部を２つの方向に移動可能にするリンク部であって、前記外装体の上部に固定された第１関節部と、前記リンク部において前記第１関節部の反対側に位置し、前記マウス部のハウジング底面に結合された第２関節部とを有する前記リンク部と、前記コンピュータと通信可能な少なくとも一つのエンコーダと、前記少なくとも一つのエンコーダに一端が接続され、前記第１関節部に他端が接続された少なくとも一つのモータであって、前記コンピュータから出力された前記仮想物体の前記所定方向における機械的特性に関連する出力信号に従って、前記リンク部にトルクを付与して前記リンク部を動作させる少なくとも一つのモータとを含む前記反力部と、
（ｃ）前記マウス部に設けられ、触覚伝達部を並進移動可能にする線形駆動部であって、前記コンピュータと通信可能な第１エンコーダと、前記第１エンコーダに連結された作動用モータと、前記作動用モータによって駆動されるねじ付き軸と、前記ねじ付き軸に接続され、前記ねじ付き軸に対してほぼ平行な方向に往復移動されるスライド部とを含む前記線形駆動部と、
（ｄ）前記マウス部に設けられ、前記使用者に前記仮想物体の質感に関連する刺激を与える触覚伝達部であって、前記スライド部と接続されたベース部と、前記ベース部に接続された複数の板状駆動器と、各板状駆動器の先端縁に沿って配列された複数のピンであって、各ピンの先端部が前記使用者の皮膚に接触可能である前記複数のピンとを含む前記触覚伝達部とを備えており、前記複数の板状駆動器は、各ピンの先端部が前記使用者の皮膚に対してほぼ横方向に移動するように、前記第１エンコーダを介して受信される電気信号に従って同時に動作されるものである。この構成により、本発明のコンピュータ用マウスインターフェース装置は、コンピュータのモニタ上の仮想物体を使用者が握っているマウス部を介して間接的に感じられるようにするため、前記マウス部を駆動して使用者の掌及び腕部位に反力を伝達し、前記マウス部に位置するピンを駆動して使用者の指に反力又は刺激を伝達する。前記マウス部に内設された触覚伝達部は、前記仮想物体に対応する信号に応じて一つ以上の駆動器をそれぞれ個別的に作動させ、前記一つ以上の駆動器にそれぞれ設置されたピンをそれぞれ制御することにより、前記使用者の指に刺激又は圧力を伝達する。前記マウス部は、前記仮想物体を掠る位置に対応する信号をエンコーダから受信し、前記触覚伝達部に一体的に設けられたスライド部を線形運動させて、前記使用者の指に前記仮想物体の力感覚を伝達する。

本発明のマウスインターフェース装置は、使用者の腕に反力を伝達して、使用者がコンピュータのモニタ上の仮想物体の重さ、大きさ、形状、粗さ、硬さなどを感じることができ、また、使用者の指に振動及び掠る感覚を伝達することにより、仮想物体の荒さ及び表面特性も感じられるようにする利点がある。

また、本発明のマウスインターフェース装置は、ＣＡＤ作業の際の各部品の組立状態、オンラインショッピングモールでの製品購買、コンピュータゲームでの仮想物体の体験などの多くの分野に適用可能であり、使用者が直接コンピュータのモニタ上の仮想物体の特性を把握するのに有用である。

以下、本発明による、触覚及び力感覚を伝達するマウスインターフェース装置の好ましい実施例を図面に基づいて詳細に説明する。
図２は、コンピュータのモニタに表示される仮想物体を使用者が感じられるように、仮想物体の触覚及び力感覚を伝達する本発明の一実施例によるマウスインターフェース装置を示す斜視図である。図３は図２に示す触覚及び力感覚を伝達するマウスインターフェース装置を示す斜視図である。図４は図３に示すマウスインターフェース装置のマウス部と反力部を連結するリンク構造が見えるようにマウス板を除去した状態を示す斜視図である。

図２ないし図４に示すように、本発明のマウスインターフェース装置は、コンピュータのモニタ５０に表示された仮想物体６０を使用者が感じられるように、マウス部１００の触覚伝達部１１０の駆動器１１３を作動させて、多数のピン１１２で使用者の手を刺激する。また、本発明のマウスインターフェース装置は、触覚伝達部１１０がマウス部１００の内部で線形運動することにより、使用者の指に能動的な力感覚を伝達する。

本発明のマウスインターフェース装置は、反力部２００の第２モータ２２０及び第３モータ２２１の駆動によりリンク機構２６０を作動させることで、リンク機構２６０に連結されたマウス部１００に反力を伝達する。これにより、マウス部１００を握っている使用者が仮想物体６０の形状、硬さなどを感じられるようにする。

図５は図４に示すマウスインターフェース装置の触覚及び力感覚を伝達するマウス部の内部を示す斜視図である。図６及び図７は、図５に示すマウス部において、使用者の指に刺激を加える触覚伝達部を示す斜視図及び平面図である。図８は、図６に示す触覚伝達部において、使用者の指を刺激するピン１１２を駆動させるバイモルフ駆動器の一つを示す斜視図である。

図２ないし図８に示すように、本発明のマウスインターフェース装置は、仮想物体６０の触覚をマウス部１００を握っている使用者の指に伝達するように、マウス部１００の内部に触覚伝達部１１０を有する。

触覚伝達部１１０の駆動器１１３は屈曲可能なバイモルフ型圧電駆動器であり、その先端には、直角方向に延びる多数のピン１１２が取り付けられている。駆動器１１３は電流の印加によってピン１１２を制御された周波数、振幅及び力で駆動させる。駆動器１１３には３本の電線が連結されており、それら電線を介して仮想物体６０の形状に対応する信号が多数の駆動器１１３に選択的に伝達される。このような構成により、本発明の触覚伝達部１１０は、仮想物体６０の形状に応じて、駆動気１１３により駆動される多数本のピン１１２で使用者の指を刺激する。例えば、駆動器１１３は、人体が感じ得る振動の限界値であるおよそ１ｋＨｚと、数μｍの分解能ないし数ｍｍまでの先端振幅でピン１１２の駆動を制御できる。これにより、駆動器１１３に付着されたピン１１２の高さ及び力を異にして、圧力分布を多様にすることができる。そして、触覚伝達部１１０は、ピン１１２の振動数及び振幅を変化させて仮想物体６０の表面特性を具現して、使用者が仮想物体６０の触覚を感知するようにする。

触覚伝達部１１０の駆動器１１３はその他端が多数の段差部を有する締結固定端１１４の各段差部にそれぞれ結合され、この締結固定端１１４は駆動器１１３を支持するように第１固定部１１５に一体的に結合される。多数のピン１１２は駆動器１１３の端部に結合される。本実施例においては、図８ｂに示すように、組立を容易にするため、側面に溝１１２ｂが形成されたブロック１１２ａに多数のピン１１２を結合した後、このブロック１１２ａを介して多数のピン１１２を駆動器１１３に結合する。この際、ブロック１１２ａは側面の溝１１２ｂにより駆動器１１３に緊密に嵌め合せられる。このような構造により駆動器１１３とピン１１２を結合させると、必要に応じてピン１１２をいつでも交換することができる。そのほかに、ピン１１２を駆動器１１３に直接結合することもできる。

図９は、図５に示すマウス部において、使用者が仮想物体の力感覚を感じられるように、触覚伝達部を線形駆動させる機構の斜視図である。
図４、図５及び図９に示すように、本発明のマウスインターフェース装置は、使用者が仮想物体の力感覚を感じられるように、マウス部１００の内部で触覚伝達部１１０が線形に運動する。

マウス部１００の第１エンコーダ１４１には、仮想物体を掠る位置（仮想物体表面上の位置）に対応する信号が伝達され、第１エンコーダ１４１に連結された第１モータ１４２は触覚伝達部１１０を線形に運動させるように駆動される。

そして、第１モータ１４２のモータ軸は、螺旋軸１３３が第１モータ１４２の回転に連動するように、駆動ベルト１５０を介して螺旋軸１３３に連結される。第１モータ１４２のモータ軸と螺旋軸１３３の一側端部は第１支持部１２２に回転可能に支持され、螺旋軸１３３の他側端部は第２支持部１２３に回転可能に支持される。

螺旋軸１３３の外部には、螺旋軸１３３の長手方向に移動されるスライド部１３４が係合される。例えば、螺旋軸１３３の外面にねじが形成され、スライド部１３４の中心貫通孔の内面に螺旋軸１３３のねじと噛み合うねじが形成される。スライド部１３４は触覚伝達部１１０の第１固定部１１５に結合される第２固定部１３１に一体的に固定され、第２固定部１３１はマウス部１００のハウジング底面１２１に付着される線形ガイド部１３２に沿って螺旋軸１３３に平行な方向に移動可能に結合される。

このような構成により、スライド部１３４は第１モータ１４２の作動により線形ガイド部１３２に沿って螺旋軸１３３の長手方向に線形運動し、触覚伝達部１１０はスライド部１３４と連動することにより、触覚伝達部１１０のピン１１２が使用者の指を掠りながら刺激を与える。

本発明のほかの実施形態では、触覚伝達部１１０を線形運動させるために、第１エンコーダ１４１及び第１モータ１４２の代わりに、モータ軸が直線方向に線形運動するモータ又はソレノイドを用いることもできる。この場合、スライド部１３４は前記モータ又はソレノイドに連結され、モータ軸又はソレノイドの作動により線形運動する（図示せず）。

本発明によるマウス部１００は、反力部２００のリンク機構２６０の作動により使用者の腕に反力を伝達する。
図１０は、図３に示すマウスインターフェース装置において、マウス部に反力を伝達する反力部の斜視図である。図１１は図１０に示すリンク機構を駆動するモータ軸と反力部の部分斜視図である。

図３、図４、図１０及び図１１に示すように、本発明のマウスインターフェース装置の反力部２００は、一定間隔で離隔した二重の板が結合してなる外装体２３０を含む。外装体２３０の上部には第２モータ２２０及び第３モータ２２１がそれぞれ結合され、第２モータ２２０及び第３モータ２２１の一端には第２エンコーダ２１０及び第３エンコーダ２１１がそれぞれ結合される。

第２モータ２２０及び第３モータ２２１の他端は外装体２３０の内側に位置する４節リンク機構２６０に連結され、このリンク構造２６０は外装体２３０の上部に固定された第１関節部２５０により支持される。第１関節部２５０には、第２モータ２２０及び第３モータ２２１のモータ軸にそれぞれケーブルで巻かれて結合される二つのリンク連結部２４０、２４１が回転可能に結合される。リンク連結部２４０、２４１はリンク機構２６０の二つのリンクにそれぞれ一体的に結合され、リンク機構２６０は第２モータ２２０及び第３モータ２２１の回転により駆動される。第２関節部２７０はリンク機構２６０の第１関節部２５０の対角線上の反対側に位置し、マウス部１００のハウジング底面に結合される。

この際、マウス部１００とリンク機構２６０との間には、マウス部１００を握っている使用者の疲労を減少させるため、外装体２３０の上部に付着されるマウス板２３１が位置する。このマウス板２３１には、第２関節部２７０とマウス部１００が結合されるように、連結用孔が第２関節部２７０の平面上動作範囲より大きく形成される。

つぎに、このように構成される本発明によるコンピュータ用マウスインターフェース装置の動作について説明する。
まず、本発明のマウスインターフェース装置は、コンピュータのモニタ５０上の仮想物体６０の特性を使用者が感じられるように、マウス部１００を握っている使用者の指に刺激を伝達する。このため、マウス部１００の触覚伝達部１１０は、仮想物体６０の特性に対応する信号に応じて、多数の駆動器１１３に付着されたそれぞれのピン１１２をそれぞれ個別的に作動させることで、使用者の指に圧力刺激、振動、又は触覚を伝達する。

本発明のマウスインターフェース装置は、使用者が仮想物体６０の力感覚を感じられるように、マウス部１００の触覚伝達部１１０が線形運動する。すなわち、仮想物体６０を掠る位置に対応する信号は第２エンコーダ２１０及び第３エンコーダ２１１に伝達され、第１モータ１４２はモータ軸を回転させる。すると、螺旋軸に螺合されたスライド部１３４は、モータ軸に連動する螺旋軸１３３により線形ガイド部１３２に沿って線形運動し、スライド部１３４に連結された触覚伝達部１１０も線形運動する。

また、本発明のマウスインターフェース装置は、モニタ５０上の仮想物体６０を握っている掌に対応する信号が第２エンコーダ２１０及び第３エンコーダ２１１を介して反力部２００に伝達される。すると、反力部２００は第２エンコーダ２１０及び第３エンコーダ２１１に入力された信号に応じて第２モータ２２０及び第３モータ２２１を作動させ、マウス部１００に一体的に結合されるリンク機構２６０を作動させる。したがって、マウス部１００は、リンク構造２６０の作動により使用者の掌及び腕部位に反力を伝達して、使用者が仮想物体６０の接触感覚、重さ、大きさ、硬さなどを感じられるようにする。

以上、本発明のマウスインターフェース装置の技術思想を添付図面に基づいて説明したが、これは本発明の最良の実施例を例示的に説明したもので、本発明を限定するものではない。また、この技術分野の通常の知識を持った者であれば誰でも本発明の技術思想の範疇から逸脱しない範囲内で多様な変形及び修正が可能である。

使用者の手に反力を伝達する従来技術によるマウスインターフェース装置の概略斜視図である。コンピュータのモニタに表示される仮想物体を使用者が感じられるように、仮想物体の触覚及び力感覚を伝達する本発明の一実施例によるマウスインターフェース装置を示す斜視図である。図２に示す触覚及び力感覚を伝達するマウスインターフェース装置を示す斜視図である。図３に示すマウスインターフェース装置において、マウス板が除去された状態を示す斜視図である。図４に示すマウスインターフェース装置において、マウス部の内部を示す斜視図である。図５に示すマウス部において、使用者の指に刺激を加える触覚伝達部を示す斜視図である。図６の平面図である。（ａ）は図６に示す触覚伝達部において、使用者の指を刺激するピンを駆動させるバイモルフ駆動器の一つを示す斜視図であり、（ｂ）は図８ａのピン部分の拡大斜視図である。図５に示すマウス部において、触覚伝達部を線形駆動させる機構の斜視図である。図３に示すマウスインターフェース装置の反力部の斜視図である。図１０に示すリンク機構を駆動するモータ軸と反力部の部分斜視図である。

符号の説明

１００マウス部
１１０触覚伝達部
１１３駆動器
１１４締結固定端
１２４マウスハウジング
１３２線形ガイド部
１３３螺旋軸
１３４スライド部
１４１第１エンコーダ
１４２第１モータ
２００反力部
２３１マウス板
２６０リンク構造
２７０第２関節部

Claims

コンピュータによってモニタに表示された仮想物体を使用者が感じられるようにしたマウスインターフェース装置において、
（ａ）前記使用者の手に触れられるマウス部と、
（ｂ）前記仮想物体の所定方向における機械的特性に関連した力感覚を前記マウス部を介して使用者に作用させる反力部であって、
外装体と、
前記マウス部を２つの方向に移動可能にするリンク部であって、前記外装体の上部に固定された第１関節部と、前記リンク部において前記第１関節部の反対側に位置し、前記マウス部のハウジング底面に結合された第２関節部とを有する前記リンク部と、
前記コンピュータと通信可能な少なくとも一つのエンコーダと、
前記少なくとも一つのエンコーダに一端が接続され、前記第１関節部に他端が接続された少なくとも一つのモータであって、前記コンピュータから出力された前記仮想物体の前記所定方向における機械的特性に関連する出力信号に従って、前記リンク部にトルクを付与して前記リンク部を動作させる少なくとも一つのモータとを含む前記反力部と、
（ｃ）前記マウス部に設けられ、触覚伝達部を並進移動可能にする線形駆動部であって、
前記コンピュータと通信可能な第１エンコーダと、
前記第１エンコーダに連結された作動用モータと、
前記作動用モータによって駆動されるねじ付き軸と、
前記ねじ付き軸に接続され、前記ねじ付き軸に対してほぼ平行な方向に往復移動されるスライド部とを含む前記線形駆動部と、
（ｄ）前記マウス部に設けられ、前記使用者に前記仮想物体の質感に関連する刺激を与える触覚伝達部であって、
前記線形駆動部の前記スライド部と接続されたベース部と、
前記ベース部に接続された複数の板状駆動器と、
各板状駆動器の先端縁に沿って配列された複数のピンであって、各ピンの先端部が前記使用者の皮膚に接触可能である前記複数のピンとを含む前記触覚伝達部とを備え、
前記複数の板状駆動器は、各ピンの先端部が前記使用者の皮膚に対してほぼ横方向に移動するように、前記第１エンコーダを介して受信される電気信号に従って同時に動作されるものである、マウスインターフェース装置。
前記複数の板状駆動器の先端縁は、前記ベース部から連続的に遠くなるように配列されており、前記複数のピンの先端部が単一平面に配置されるように、前記ベース部から比較的遠い位置に配列された板状駆動器の先端縁に設けられたピンは前記ベース部から比較的近い位置に配列された板状駆動器の先端縁に設けられたピンよりも長いことを特徴とする請求項１に記載のマウスインターフェース装置。
前記触覚伝達部の前記ベース部が階段状の側部を含み、前記複数の板状駆動器の複数の基部は前記階段状の側部に設置されている請求項２に記載のマウスインターフェース装置。
前記作動用モータの軸と前記ねじ付き軸とは、互いに平行に前記マウス部上に設置され、かつタイミングベルトによって連結されている請求項１に記載のマウスインターフェース装置。
前記触覚伝達部は更に、前記複数のピンが配列されている接続部を含み、各接続部は関連する板状駆動器の先端縁に設置されている請求項１に記載のマウスインターフェース装置。