JP4063131B2 - Image processing apparatus and tactile / force-sensing method - Google Patents
Image processing apparatus and tactile / force-sensing method Download PDFInfo
- Publication number
- JP4063131B2 JP4063131B2 JP2003110366A JP2003110366A JP4063131B2 JP 4063131 B2 JP4063131 B2 JP 4063131B2 JP 2003110366 A JP2003110366 A JP 2003110366A JP 2003110366 A JP2003110366 A JP 2003110366A JP 4063131 B2 JP4063131 B2 JP 4063131B2
- Authority
- JP
- Japan
- Prior art keywords
- finger
- unit
- virtual space
- image
- tactile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【0001】
【発明の属する技術分野】
本発明は、画像処理装置及び触覚・力覚提示方法に関する。
【0002】
【従来の技術】
本等の仮想空間画像が表示され、ユーザ(使用者)が、表示された仮想の本のページをめくる動作をすると、その動作に応じて、前記本のページがめくれるように構成された仮想空間デスクトップ装置が開示されている(例えば、特許文献1など参照)。
【0003】
しかしながら、前記従来の装置では、ユーザは、手や指で、本の用紙の質感や、用紙の例えばエッジに接触したときの感触などを感じることができず、また、手や指で本を握ったときの反力などを感じることができないため、違和感を覚える。
また、本のページめくりの際は、指の感触により本の用紙のエッジを認識し、その用紙(ページ)を指で挟んで持ち上げるようにしてページをめくるのが自然の動作であるが、前記従来の装置では本に対して手や指による感触が得られないので、本のページをめくる動作の度に、本の用紙のエッジに注目して、そのエッジに指を移動させる動作などが必要となり、前記本のページめくりに手間と時間がかかる。
【0004】
ところで、仮想空間内において、パーソナルコンピュータ(PC)を操作し、例えば、インターネットなどのネットワークを介して仮想の商品(例えば、電動工具など)を表示させている場合や、CD−ROMなどの記録媒体に記録された商品カタログのデータを見ている場合に、仮想空間という利点を生かして、その仮想の商品に立体的に表示して触れたり、あるいは、その商品が電動工具などのときには、それを試してみたりしたいという要望も考えられる。
【0005】
このような場合において、上記仮想空間デスクトップ装置などの従来の仮想空間表示装置では、仮想の商品を危険な状態で用いているときに、ユーザの手などにそのまま力覚を提示してしまう可能性がある。このようなときに、ユーザに注意を喚起し、あるいは、適切な状態で使用するためにユーザを誘導することは重要である。
【0006】
【特許文献1】
特開平6−282371号公報
【0007】
【発明が解決しようとする課題】
本発明の目的は、仮想空間に表示されている対象物を取り扱うとき、その対象物が不適切に用いられた場合に、ユーザに注意を喚起することができる画像処理装置及び触覚・力覚提示方法を提供することにある。
【0008】
【課題を解決するための手段】
上記課題を解決するために、本発明の一態様において、本発明の一実施形態における画像処理装置は、
仮想空間画像を生成する画像生成手段と、
前記画像生成手段によって生成された仮想空間画像を表示する表示手段と、
仮想空間中における指の位置を検出する指位置検出手段と、
前記指位置検出手段によって検出された指が仮想空間内の対象物に触れているか否かを判定する接触判定手段と、
前記接触判定手段によって前記指が前記対象物に触れていると判定された場合には、前記指及び前記対象物が不適正な位置関係にあるか否かを判定する適正位置判定手段と、
前記指に与える触覚を発生して提示する触覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が指腹に得られるように前記触覚提示手段の駆動を制御する制御手段とを備え、
前記制御手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記対象物の感触とは異なる感触を前記指腹に与えるように前記触覚提示手段を駆動制御することを特徴とする。
【0009】
本発明の画像処理装置によれば、画像生成手段によって生成された仮想空間画像において、ユーザが仮想空間内に表示されている対象物を取り扱う(触る、あるいは、用いる)際に、適正位置判定手段によって指及び対象物が不適正な位置関係にあると判定された場合には、対象物の感触とは異なる感触を指腹に与えるように触覚提示手段を駆動制御する。
【0010】
したがって、本発明の画像処理装置によって、ユーザは仮想空間中に表示される対象物を実際に扱うことができるとともに、その対象物が不適切に用いられた場合には注意を喚起するように触覚を提示するので、実際にその対象物を取り扱っているような体験をすることができる。例えば、対象物が購入を検討している商品(実際に動かすような商品であり、例えば、電動工具など)である場合、仮想空間中で実体験ができるので、商品の選択を容易にすることができる。また、例えば、対象物が習得すべき道具である場合、仮想空間中で実体験ができるので、その道具を持っていなくとも、その道具の習得を容易にすることができる。
【0011】
ここで、好ましくは、本発明の画像処理装置は、前記指に与える力覚を発生して提示する力覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が前記指腹に得られるように前記力覚提示手段の駆動を制御する制御手段と、
を更に備え、前記制御手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記指を前記対象物から遠ざけるような感触を前記指腹に与えるように前記力覚提示手段を駆動制御するよう構成されてもよい。
これにより、上述のように注意を喚起するような場合に、触覚の提示だけでなく、ユーザの指に力覚を提示することもできる。
【0012】
また、本発明のもう一つの実施形態における画像処理装置は、
仮想空間画像を生成する画像生成手段と、
前記画像生成手段によって生成された仮想空間画像を表示する表示手段と、
仮想空間中における指の位置を検出する指位置検出手段と、
前記指位置検出手段によって検出された指が仮想空間内の対象物に触れているか否かを判定する接触判定手段と、
前記接触判定手段によって前記指が前記対象物に触れていると判定された場合には、前記指及び前記対象物が不適正な位置関係にあるか否かを判定する適正位置判定手段と、
前記指に与える力覚を発生して提示する力覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が前記指腹に得られるように前記力覚提示手段の駆動を制御する制御手段とを備え、
前記制御手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記指を前記対象物から遠ざけるような感触を前記指腹に与えるように前記力覚提示手段を駆動制御することを特徴とする。
【0013】
ここで、好ましくは、本発明の画像処理装置は、前記指に与える触覚を発生して提示する触覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が指腹に得られるように前記触覚提示手段の駆動を制御する制御手段とを更に備え、
前記制御手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記対象物の感触とは異なる感触を前記指腹に与えるように前記触覚提示手段を駆動制御するよう構成されてもよい。
【0014】
また、好ましくは、前記表示手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記仮想空間中の所定の位置に所定のメッセージを表示するよう構成されてもよい。この場合、好ましくは、前記所定の位置は、前記不適正な位置関係にあるときの前記対象物の近傍である。また、好ましくは、前記所定のメッセージは、前記対象物に対応する警告文である。
そして、好ましくは、本発明の画像処理装置は、前記画像生成手段によって生成された画像データ、並びに、前記接触判定手段及び前記適正位置判定手段によって判定された判定結果を記憶する記憶手段を更に備える。
【0015】
また、好ましくは、前記画像生成手段は、前記指位置検出手段により検出された前記指の位置に基づいて、所定の時間間隔で仮想の指画像を含む仮想空間画像を更新して生成するよう構成される。この場合において、好ましくは、前記表示手段は、前記指の移動にともなって更新された前記仮想空間画像を連続的に表示するよう構成されてもよい。
【0016】
ここで、好ましくは、前記表示手段は、顔面に装着して使用するものである。また、好ましくは、前記表示手段は、前記画像生成手段により生成された仮想空間画像データを受信する通信手段を含むよう構成されてもよい。さらに、好ましくは、前記画像生成手段、前記接触判定手段、前記適正位置判定手段及び前記制御手段は、1つのユニットとして構成され、該1つのユニットは、前記表示手段及び/又は前記触覚提示手段と相互にデータを送受信する通信手段を備えてもよい。
【0017】
また、本発明の別の態様において、本発明の一実施形態における触覚・力覚提示方法は、
仮想空間画像を生成するステップと、
前記画像生成手段によって生成された仮想空間画像を表示するステップと、
仮想空間中における指の位置を検出するステップと、
前記検出された指が仮想空間内の対象物に触れているか否かを判定するステップと、
前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が指腹に得られるように、前記指に与える触覚を発生して提示するステップと、
前記指が前記対象物に触れていると判定された場合には、前記指及び前記対象物が不適正な位置関係にあるか否かを判定するステップと、
前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記対象物の感触とは異なる感触を前記指腹に与えるように、前記指に与える触覚を発生して提示するステップと、
を有することを特徴とする。
【0018】
また、本発明のもう一つの実施形態における触覚・力覚提示方法は、
仮想空間画像を生成するステップと、
前記画像生成手段によって生成された仮想空間画像を表示するステップと、
仮想空間中における指の位置を検出するステップと、
前記検出された指が仮想空間内の対象物に触れているか否かを判定するステップと、
前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が前記指腹に得られるように、前記指に与える力覚を発生して提示するステップと、
前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記指を前記対象物から遠ざけるような感触を前記指腹に与えるように、前記指に与える力覚を発生して提示するステップと、
を有することを特徴とする。
ここで、好ましくは、本発明の触覚・力覚提示方法は、前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記仮想空間中の所定の位置に所定のメッセージを表示するステップを更に有してもよい。
【0019】
【発明の実施の形態】
以下、図1〜図25を参照して本発明の画像処理装置及び触覚・力覚提示方法の好適実施形態を詳細に説明する。なお、この実施の形態は例示として挙げるものであり、これにより本発明を限定的に解釈すべきではない。
図1は、本発明の触覚・力覚提示装置(触覚提示手段及び力覚提示手段)を含む画像処理装置の第1実施形態の構成例を示す概念図であり、図2は、図1に示すリアルグローブ20の回路構成例を示すブロック図である。また、図3は、図1に示すリアルグローブ20の外観構成例を示す外観図(一部図示を省略)である。
【0020】
図1に示すように、画像処理装置1は、ユーザ(使用者)の手(指)に装着され、装着された手や各指に対して触覚(触った感覚、例えば、質感、形状、強さ等の接触強度の分布)や力覚(触ったときに加わる力の感覚)を与える一対のリアルグローブ(データグローブ)20、20と、仮想空間画像(仮想空間映像)を表示する仮想空間表示装置(表示手段)5と、各リアルグローブ20及び仮想空間表示装置5の駆動制御等の種々の処理(本発明においては、後述する図19及び図20の商品表示処理や図22及び図24の適正位置判定処理など)を行う情報処理装置8と、仮想空間画像を作成し、仮想空間画像を用いた各種のサービスを提供する基地局9とを備えている。
【0021】
各リアルグローブ20、仮想空間表示装置5、情報処理装置8及び基地局9は、それぞれ、無線(例えば、無線LAN(Local Area Network)、赤外線(IR)データ通信(IrDA:Infrared Data Association)、Bluetoothなど)で信号の送信及び受信(無線通信)を行うことができる無線通信機能(通信手段)を有しており、情報処理装置8と、各リアルグローブ20、仮想空間表示装置5及び基地局9との間で、それぞれ相互に通信を行うことができるようになっている。
【0022】
この画像処理装置1は、基地局9、仮想空間表示装置5及び各リアルグローブ20から供給された情報に基づいて情報処理装置8によって作成(生成)された仮想空間画像を仮想空間表示装置5に表示し、リアルグローブ20を装着した手や指を動作させることによってその手や指が仮想空間に表示された物体に仮想的に接触した場合等に、その様子を仮想空間表示装置5に表示するとともに、リアルグローブ20を装着したユーザの手や各指に接触したときの触覚や力覚を与えるための各処理を行う。
【0023】
情報処理装置(図1では、携帯電話端末として示す)8は、例えば、携帯電話端末、無線通信機能を有するパーソナルコンピュータ、PDA(Personal Digital Assistants)と呼ばれる携帯型情報機器などの、無線通信機能(通信手段)及び制御機能(制御手段)を備えた各種の装置により構成される。
また、基地局9は、例えば、インターネットに接続されている各種サーバコンピュータ、携帯電話端末と無線通信を行う携帯電話基地局などの、仮想空間画像に関する情報を提供する各種の装置により構成される。
【0024】
なお、本実施形態では、各リアルグローブ20、仮想空間表示装置5、情報処理装置8及び基地局9が無線通信機能を有する構成としているが、例えば、その一部又はすべてが有線通信を行う構成とされていてもよい。
また、情報処理装置8が、基地局9の機能の一部又はすべてを有していてもよい。後述する商品表示処理では、便宜的に情報処理装置8に基地局9のすべての機能が含まれるものとして説明している。
【0025】
さらに、リアルグローブ20が、仮想空間表示装置5、情報処理装置8及び基地局9の機能の一部又はすべてを有していてもよい。
ここで、触覚・力覚提示装置2は、本実施形態では、一対のリアルグローブ20、20、すなわち、ユーザの左手に装着される左手用のリアルグローブ20と、ユーザの右手に装着される右手用のリアルグローブ20とで構成されている。以下の説明では、代表的に一方のリアルグローブ20について説明する。
【0026】
なお、本発明において、触覚・力覚提示装置2は、一方のリアルグローブ20のみで構成されていてもよい。
また、本発明では、触覚・力覚提示装置2は、リアルグローブ20の他に、仮想空間表示装置5、情報処理装置8及び基地局9のうちの、いずれか1つ、又は、2つ、又は、すべてを有していてもよい。この場合、触覚・力覚提示装置2は、それらの有する機能の一部を有していてもよく、また、それらの機能のすべてを有していてもよい。
【0027】
図2に示すように、リアルグローブ20は、仮想空間に現れている(仮想空間画像上の)物体(対象物、対象物に表示されているものは表示物)に接触した指の感覚(例えば、質感、形状、強さ等の接触強度の分布)を発生させるための触覚発生部(触覚提示手段)21と、仮想空間に現れている物体に接触したときに手や指にかかる力の強さの感覚を発生させるための力覚発生部(力覚提示手段)22と、リアルグローブ20の各部の位置(リアルグローブ20を装着した手、手首、腕、指等の各部の位置)を検出する位置姿勢検出部23と、リアルグローブ20の各部を制御する制御部24と、情報処理装置8に送信する検出データ信号の増幅等の信号処理を行う信号処理部25と、情報処理装置8との間で無線通信を行うための信号送受信部(通信手段)26とを有している。
【0028】
また、図3に示すように、リアルグローブ20の全体形状は、略長手袋状(手袋状)をなしている。すなわち、リアルグローブ20は、その装着者(ユーザ)の指から腕の肘近傍まで(指から腕にかけて)装着する手袋状の装着手段として、腕を覆う筒状部20aを備えた比較的長い手袋2aを有している。
したがって、ユーザは、この手袋2aにより、リアルグローブ20の装着及び取り外しを容易かつ確実に行うことができる。
【0029】
また、手袋2aはユーザの手から腕にかけて装着されるので、仮想空間における動作(操作)を容易かつ確実に行うことができる。
この手袋2aには、指先に対応する部分の遊びを抑制又は防止する遊び吸収部27と、リアルグローブ20を手首に固定する手首固定部28と、該リアルグローブ20を腕に固定する腕固定部2dと、腕に対応する部分のねじれを吸収するねじれ吸収部29とが、それぞれ設けられている。
遊び吸収部27は、手袋2aの手首付近に対応する部分に設けられている。この遊び吸収部27は、例えば、各種ゴム等の弾性体で形成される。
【0030】
ユーザがリアルグローブ20を装着すると、遊び吸収部27の復元力(弾性力)により、手袋2aは、肘方向(基端側)に引っ張られ、その状態で保持される。これにより、指先に遊びができてしまうのを防止又は抑制することができる。また、指の長さ等の手の寸法の異なる複数のユーザが使用する場合においても、遊び吸収部27により、それぞれ各ユーザにおいて、指先に遊びができてしまうのを防止又は抑制することができる。
【0031】
手首固定部28は、手袋2aの遊び吸収部27の肘側(基端側)に、遊び吸収部27に連続して設けられている。この手首固定部28は、例えば、各種ゴム等の弾性体で形成される。
ユーザがリアルグローブ20を装着すると、手首固定部28の復元力(弾性力)により、手袋2aは、手首に固定される。これにより、使用中にリアルグローブ20がずれてしまうのを防止することができる。
また、この手首固定部28や遊び吸収部27により、後述する触覚発生部21のアクチュエータワイヤ212の束212aは、各アクチュエータワイヤ212がそれぞれその長手方向に移動し得るように所定の位置に保持される。
【0032】
腕固定部2dは、手袋2aの筒状部20aの肘側(基端側)の端部に設けられている。この腕固定部2dは、例えば、各種ゴム等の弾性体で形成される。
ユーザがリアルグローブ20を装着すると、腕固定部2dの復元力(弾性力)により、手袋2aは、腕に固定される。これにより、使用中にリアルグローブ20がずれてしまうのを防止することができる。
【0033】
ねじれ吸収部29は、手袋2aの筒状部20aの途中、すなわち、手首固定部28と腕固定部2dとの間に設けられている。
このねじれ吸収部29は、筒状部20aの一部に3つの開口292を形成して得られる3本の帯状部291で構成されている。各帯状部291は、それぞれ、例えば、伸縮性のある材料で構成された布等の伸縮性のある部材で形成される。
【0034】
ユーザがリアルグローブ20を装着し、例えば、手首をねじる動作をすると、各帯状部291が伸縮、変形し、これにより、筒状部20aのねじれが吸収される。このように、ねじれ吸収部29により、リアルグローブ20のねじれを防止することができ、このため、ユーザは、手や腕を容易かつ円滑に動かすことができる。
なお、ねじれ吸収部29の帯状部291の数は、2本以下でもよく、また、4本以上でもよい。
【0035】
また、手袋2aの各指の背側の各関節に対応する部分には、それぞれ、開口21aが形成されている。これらの開口21aにより、ユーザは、各指の各関節をそれぞれ容易かつ円滑に動かすことができる。
また、このリアルグローブ20には、手袋2aの腕に対応する部分であって、ねじれ吸収部29よりも肘方向に位置する部分、すなわち、手袋2aの筒状部20aの肘側(基端側)の端部に、制御部24、電力供給部30、動力発生部211などが設けられている。
これら制御部24、電力供給部30及び動力発生部211の配置を上述のようにすることにより、リアルグローブ20の指先側(先端側)の重量を軽く(慣性を小さく)することができ、これにより、ユーザは、動作(操作)を容易に行うことができる。
【0036】
触覚発生部21の主要部は、ユーザがリアルグローブ20を装着したときに、ユーザの各指の第1関節(末節骨と中節骨との間の関節)から先の指先部分を覆う位置にそれぞれ設けられている。なお、各触覚発生部21の構成及び作用は、ほぼ同様であるので、以下、代表的に、そのうちの1つについて説明する。
図4は、触覚発生部21の構成例を示す縦断面図である。なお、図が煩雑になるのを避けるため、図中、一部、部材の厚みを省略して図示する。
【0037】
触覚発生部21は、図4(A)に示すように、モータ(駆動源)211aを備える動力発生部(移動手段)211と、長手方向に移動可能に設置されたアクチュエータワイヤ(可撓性を有する線状体)212と、アクチュエータワイヤ212の一端を保持するワイヤ保持部(付勢手段)213と、触覚を発生させるために指腹を押圧する触覚提示ピン(押圧部)214と、触覚提示ピン214を支持するとともに触覚提示ピン214の移動方向を規制する触覚提示ピン支持部(移動方向規制手段)215とで構成される複数の単位触覚発生部(アクチュエータ)210を有している。各単位触覚発生部210は、互いに独立している。
【0038】
なお、動力発生部211と、アクチュエータワイヤ212と、触覚提示ピン支持部215とで、触覚提示ピン214を駆動する駆動機構が構成され、これらが触覚発生部21の触覚提示手段に対応する。
動力発生部211は、例えば、制御部24からの制御信号に応じて内部に備えるモータ211aを回転駆動し、そのモータ211aの回転駆動によってアクチュエータワイヤ212を巻き取る処理(アクチュエータワイヤ212をアクチュエータワイヤ212の長手方向に移動させる処理)を行う。制御部24は、情報処理装置8からの指示に従って、モータ211aの回転駆動が所定のトルクで所定時間なされるように動力発生部211を制御する。動力発生部211は、情報処理装置8からの指示に従ってモータ211aに回転動力を与えることで、アクチュエータワイヤ212を所定の長さ巻き取る処理を行う。
【0039】
ワイヤ保持部213は、図4(A)に示すように、この第1実施形態では指の第1間接の近傍でアクチュエータワイヤ212の一端(終端)を保持する。このワイヤ保持部213は、例えばゴムやバネなどの弾性を有する部材(弾性体)により構成される。
したがって、動力発生部211のモータ211aの駆動によりアクチュエータワイヤ212が巻き取られ、そのアクチュエータワイヤ212が図4(A)中の時計回りに移動すると、それに伴ってワイヤ保持部213が伸張し、アクチュエータワイヤ212は、ワイヤ保持部213の復元力(弾性力)により、図4(A)中の反時計回りの方向(触覚提示ピン214を突出させるときのアクチュエータワイヤ212の移動方向と逆方向)に付勢される。そして、動力発生部211のモータ211aの駆動が停止し、アクチュエータワイヤ212の巻き取り状態が解除されると、ワイヤ保持部213が復元力(弾性力)によって収縮し、これにより、巻き取られていたアクチュエータワイヤ212が引き出され、図4(A)中の反時計回りに移動する。
なお、動力発生部211は、アクチュエータワイヤ212の他端(始端)側に位置している。
【0040】
触覚提示ピン214は、ユーザの指腹に接触感覚(接触の有無や強さ等)を与えるために用いられ、指腹に接触する部分である微小な接触板(接触部)214aと、接触板214aを支持する支持部214bとで構成される。支持部214bは、その一端がアクチュエータワイヤ212の途中に固定され、その他端に接触板214aが設けられている。
【0041】
この第1実施形態では、図4(A)に示すように、リアルグローブ20の手袋2aは、指先を装着する(覆う)装着部が2重構造(例えば布などの部材を2枚重ね合わせて、重ね合わせた2枚の部材の間に何らかの部材が収納し得るような構造)になっており、指先を覆っている部分の内部(2重構造の内部)に、アクチュエータワイヤ212の一部、ワイヤ保持部213及び支持部214bと、触覚提示ピン214のアクチュエータワイヤ212の移動方向への移動を規制する触覚提示ピン支持部215とが設けられている。そして、指が収納される手袋2a内に、支持部214bの一端側が突出し、接触板214aが位置している。
この第1実施形態では、その接触板214aは、リアルグローブ20を装着した手の指先に常に接触した状態となっている。なお、これに限らず、接触板214aが指先から離間した状態(接触板214aと指先とが非接触の状態)をとり得るように構成されていてもよい。
【0042】
図4(A)では、説明を簡単にするため、1つの単位触覚発生部210(1つの触覚提示ピン214)が代表して示されているが、前述したように、実際には、触覚発生部21は、複数の単位触覚発生部210を有しており、その複数の触覚提示ピン214は、ユーザがリアルグローブ20を装着したときのユーザの指先の指腹に対応する位置に、例えば、指腹に沿って、かつ指腹に対し行列状(マトリックス状)に配置されている。
【0043】
各触覚提示ピン214の前後には、それぞれ、その触覚提示ピン214の支持部214bのアクチュエータワイヤ212の移動方向への移動を制限する触覚提示ピン支持部215が設けられている。
なお、各触覚提示ピン214は、規則的に配置されていてもよく、また、不規則に配置されていてもよい。
【0044】
次に、触覚発生部21による触覚発生動作について説明する。
ユーザがリアルグローブ20を装着し、手や指を動かすことによって仮想空間に現れている物体(仮想物体)、すなわち対象物(表示物)に、その指先(指腹)が仮想的に接触すると、情報処理装置8は、実際に接触があったとした場合の押圧力を計算し、その計算結果に基づいて動力発生部211のPWMデータ(例えば、モータ211aを回転させるための励磁パターンを示すデータ)に変換する。
【0045】
この場合、仮想空間(3次元空間)において、予め、互いに直交するX軸、Y軸及びZ軸、すなわちX−Y−Z座標(3次元座標)が想定されており、この物体の座標と、ユーザの指先の座標との一致を検出し、その一致が検出されると、物体の座標に相当する部位とユーザの指先の座標に相当する部位とが接触したと判別する。ユーザの指先の座標は、後述する位置姿勢検出部23から信号送受信部26を介して情報処理装置8に送信される信号(情報)に基づいて導出される。
【0046】
次いで、情報処理装置8は、導出したPWMデータと、実際に接触があったとした場合の接触位置に押圧力を与える接触板214aを動作させる動力発生部211を特定(指定)するためのデータとを、リアルグローブ20に送信する。リアルグローブ20は、受信したPWMデータに応じて、指定された動力発生部211を駆動し、アクチュエータワイヤ212を巻き取る。
【0047】
アクチュエータワイヤ212が巻き取られると、指腹に配されているアクチュエータワイヤ212が指腹に沿って指の先端方向に向けて移動し、図4(B)に示すように、アクチュエータワイヤ212に取付固定されている触覚提示ピン214も、指腹に沿って指の先端方向に向けて移動する。
この際、図4(C)に示すように、触覚提示ピン214は、触覚提示ピン支持部215によって指の先端方向への移動が制限されるとともに、触覚提示ピン支持部215にガイドされて、図4(C)中上側へ移動する(指腹に向って突出する)。すなわち、触覚提示ピン214の接触板214aが指腹の表面に対しほぼ垂直上方に移動する。触覚提示ピン214の支持部214bは、待機時には(初期状態では)、図4(B)に示すように、垂直方向から指の先端方向に傾斜しており、接触板214aがほぼ垂直上方に移動しようとする力が働くことで、その接触板214aが指腹をほぼ垂直方向へ押圧し、これにより、ユーザの手の指腹に押圧力を与える。
【0048】
この動作が、複数の単位触覚発生部210のうちの指定された単位触覚発生部210でなされ、これにより、ユーザの手の指腹に触覚が提示される(与えられる)。よって、ユーザは、仮想空間画像における指腹の物体(対象物)への接触に相当する感覚を、指腹に得ることができる。
このように指定された単位触覚発生部210において、動力発生部211のモータ211aの駆動が停止し、アクチュエータワイヤ212の巻き取り状態が解除されると、ワイヤ保持部213が復元力(弾性力)によって収縮し、これにより、巻き取られていたアクチュエータワイヤ212が引き出される。
【0049】
アクチュエータワイヤ212が引き出されると、指腹に配されているアクチュエータワイヤ212が指腹に沿って指の基端方向(図4(C)中右側)に向けて移動し、アクチュエータワイヤ212に取付固定されている触覚提示ピン214も、指腹に沿って指の基端方向に向けて移動し、触覚提示ピン214は、図4(B)に示す初期状態に戻る。これにより、触覚提示ピン214からユーザの手の指腹に与えられていた押圧力が実質的に消滅する。
【0050】
このような触覚発生部21によれば、指腹に対してほぼ平行に(指腹に沿って)アクチュエータワイヤ212を配置し、そのアクチュエータワイヤ212を巻き取ることによって指腹に対してほぼ垂直な力を与えるようになっているので、触覚を与えるための機構を薄くすることができ、これにより、リアルグローブ20の指腹側の厚みを極力抑えることができる。
また、アクチュエータワイヤ212の弛みを防止することができ、触覚提示ピン214からユーザの指腹に、より正確かつ確実に目標の大ききの押圧力を与えることができる。
【0051】
図5及び図6は、それぞれ、力覚発生部22の構成例を示す外観図である。なお、図5は、フレームカバーが取り外された状態を示す。
図5に示すように、力覚発生部22は、リアルグローブ20を装着したときのユーザの各指の背側に設けられている。なお、力覚発生部22の構成及び作用は、ほぼ同様であるので、以下、代表的に、そのうちの1つについて説明する。
【0052】
力覚発生部22は、回動可能に連結された複数(本実施形態では6つ)のフレーム221を備えたリンク機構と、各フレーム221を回動させる複数(本実施形態では7つ)のリンクモータ(駆動源)222と、手袋2aに設けられた複数(本実施形態では4つ)のフレームホルダ2bとを有している。
フレームホルダ2bは、ユーザがリアルグローブ20を装着したとき、ユーザの指の第1関節より先端側に位置する装着部と、第1関節と第2関節(中節骨と基節骨との間の関節)との間に位置する装着部と、第2関節と第3関節との間に位置する装着部と、第3関節(基節骨と中手骨との間の関節)より基端側に位置する装着部とに、それぞれ、設けられている。
【0053】
リンク機構は、フレームホルダ2bによって、手袋2aの、リアルグローブ20を装着したときのユーザの指の背側に取り付けられている。
すなわち、リンク機構の先端側(図5中右側)の端部のフレーム221は、ユーザがリアルグローブ20を装着したときに、ユーザの指の第1関節より先端側の部位にその端部が位置するように配置され、このフレーム221の先端部は、フレームホルダ2bに対し、回動可能に設置されている。
【0054】
また、リンク機構の基端側(図5中左側)の端部のフレーム221は、ユーザがリアルグローブ20を装着したときに、ユーザの指の第3関節より基端側の部位にその端部が位置するように配置され、このフレーム221の基端部は、フレームホルダ2bに対し、回動可能に設置されている。
また、リンク機構の残りの各フレーム221は、ユーザがリアルグローブ20を装着したときに、ユーザの指の第1関節と第2関節との間の部位と、第2関節と第3関節との間の部位とに、フレーム連結部が1つおきに位置するように配置され、この1つおきのフレーム連結部において、フレームホルダ2bに対し、回動可能に設置されている。
【0055】
各リンクモータ222の駆動力(回転力)は、それぞれ、図示しない動力伝達部を介して、対応するフレーム221に伝達される。すなわち、リンクモータ222が所定方向に回転駆動すると、対応するフレーム221は、所定方向に回動し、これにより、フレーム221の角度が変更(調整)される。
なお、図5には、前述したアクチュエータワイヤ212の束212aが示されている。
【0056】
また、力覚発生部22の各フレーム221や各リンクモータ222は、それぞれ、図6に示すように、例えば布製のフレームカバー2cの中に収納されている。
また、図6に示すように、フレームカバー2cの内側には、手や指の所定の部位の位置及び姿勢を検出する複数(本実施形態では4つ)の位置姿勢検出部(指位置検出手段)23が設置されている。各位置姿勢検出部23は、それぞれ、位置及び姿勢を検出する部位(検出位置)に対して一定の位置関係を保持し得るように設けられている。
【0057】
すなわち、各位置姿勢検出部23は、それぞれ、この実施形態では、フレームホルダ2bが設けられている位置に固定されている各リンクモータ222に取付固定されている。したがって、各位置姿勢検出部23が設けられている部位と、ユーザの手のひら側の所定の部位との位置関係は、一定に保たれる。したがって、位置姿勢検出部23が自己の位置や姿勢を検出することによって、ユーザの手の平側の所定の部位の位置や姿勢を容易かつ正確に導出することができる。
【0058】
また、各位置姿勢検出部23は、それぞれ、手の甲側に配置されているので、リアルグローブ20の指腹側の厚みを極力抑えることができる。
また、図3に示すように、位置姿勢検出部23は、ユーザがリアルグローブ20を装着したとき、リアルグローブ20の腕の基端側の部位に相当する位置にも設置されている。これら位置姿勢検出部23により、リアルグローブ20を装着した各指、手、手首、腕などの各部の位置及び姿勢を確実に把握することができる。
【0059】
次に、力覚発生部22による力覚発生動作について説明する。
ユーザがリアルグローブ20を装着し、手や指を動かすことによって仮想空間に現されている物体(仮想物体)、すなわち対象物に、その手や指が仮想的に接触すると、情報処理装置8は、後述する演算処理部81によって、実際に接触があった場合の物体から指(指の各関節)への反力を計算し、その計算結果に基づいて各リンクモータ222のPWMデータ(例えば、リンクモータ222を回転させるための励磁パターンを示すデータ)に変換する。
【0060】
物体とユーザの手や指との接触の判別は、触覚発生部21の場合と同様であるので、ここではその節名を省略する。
情報処理装置8は、導出した各PWMデータと、駆動させる各リンクモータ222を示すデータとをリアルグローブ20に送信する。リアルグローブ20は、受信したデータに応じて、指定された各リンクモータ222を所定方向に回転駆動し、対応する各フレーム221を所定方向に回動させ、各フレーム221の角度を調整、すなわち、リンク機構の両端部のフレーム221の角度及び各フレーム連結部の角度をそれぞれ調整する。
【0061】
このフレーム221の角度調整により、所定のフレームホルダ2bにそれぞれ所定の大きさの力が加わり、これにより、仮想空間に現されている物体からの反力に対応する力がユーザの指の各関節に与えられる。すなわち、指の各関節に対して力覚が提示される(与えられる)。
ここで、この力覚発生部22は、指の複数の部位に装着する複数の装着部間の間隔を調節する機能を有している(調節手段を兼ねている)。
例えば、図5に示すように、所定のフレーム221を回動させ、フレーム221の角度を調整することにより、各フレームホルダ2b間の間隔を長くしたり、又は、短くしたりすることができる。
【0062】
図7は、リアルグローブ20の位置姿勢検出部23の構成例を示すブロック図である。位置姿勢検出部23には、本実施形態では、直交コイル式(直交コイル型)の位置センサが用いられる。すなわち、位置姿勢検出部23は、図7に示すように、X方向検出コイル231と、Y方向検出コイル232と、Z方向検出コイル233とで構成される。なお、X方向と、Y方向と、Z方向とは、互いに直交している。
【0063】
一方、情報処理装置8には、磁界を発生する後述する磁界発生部88が設けられている。この磁界発生部88には、例えば、位置姿勢検出部23とほぼ同じ構成のもの、すなわち、直交コイル式(直交コイル型)の磁界発生器(X方向コイル、Y方向コイル、Z方向コイル)が用いられる。
この磁界発生部88で発生した磁界は、位置姿勢検出部23で検出される。この場合、磁界発生部のX方向コイル、Y方向コイル、Z方向コイルの順に時分割で磁界を発生し、それぞれコイルから発生された磁界を、位置姿勢検出部23のX方向検出コイル231、Y方向検出コイル232及びZ方向検出コイル233の3つのコイルで検出する。
【0064】
位置姿勢検出部23によってXYZ各方向について検出された各信号(検出データ)は、それぞれ、信号処理部25の増幅部251にて増幅され、A/D変換部252にてデジタル信号に変換された後、図2に示す信号送受信部26に出力され、この信号送受信部26により情報処理装置8に送信される。
情報処理装置8では、上記の信号を受信し、その信号(情報)に基づいて、リアルグローブ20を装着した各指、手、手首、腕などの各部の位置及び姿勢を導出し、その情報を所定の各処理において利用する。
【0065】
次に、本発明の表示手段である仮想空間表示装置5について説明する。
仮想空間表示装置(表示手段)5には、この実施形態では、顔面に装着して使用する形態のもの、すなわち、HMD(ヘッドマウントディスプレイ)と呼ばれる眼鏡状の装置が用いられる。
図8は、仮想空間表示装置5の外観構成例を示す斜視図であり、図9は、仮想空間表示装置5の回路構成例を示すブロック図である。
【0066】
仮想空間表示装置5は、装着者(ユーザ)に対して仮想空間画像を表示する画像表示部51a、51bと、装着者の視線を検出する視線検出部52a、52bと、周囲の画像(映像)を取り込む凹凸入力部53a、53bと、装置全体の制御を行う制御部54と、情報処理装置8と信号を送受信する信号送受信部55と、ユーザの視点を検出する位置姿勢検出部(位置検出手段)56と、耳に引っかけて保持する装着部57と、各種信号を処理する信号処理部58と、三次元加速度センサ59とを備えている。
【0067】
図10は、仮想空間表示装置5の凹凸入力部53aの構成例を示す図(ブロック図、模式図)である。この図10において、凹凸入力部53aは、レンズ531と、CCD(撮像素子)532と、CCD制御部533と、CCD出力増幅部534とを有している。
レンズ531に入射した光(光束)は、そのレンズ531により、CCD532の受光面(撮像面)上に導かれて結像し、その被写体像(周囲の像)は、CCD532により撮像される。このCCD532の駆動は、CCD制御部533により制御される。
【0068】
CCD532から出力された信号は、CCD出力増幅部534で増幅され、その後、凹凸入力部53aから出力され、図9に示す信号処理部58に入力される。そして、信号処理部58において所定の信号処理がなされ、信号送受信部55により情報処理装置8に送信される。
なお、凹凸入力部53bの構成及び作用は、凹凸入力部53aと同様であるので、その説明は、省略する。
【0069】
図11は、仮想空間表示装置5の画像表示部51aの構成例を示す図(ブロック図、模式図)である。この図11において、画像表示部51aは、レンズ511と、レンズ511を移動させるレンズ移動機構512と、ステッピングモータ513と、モータ制御部514と、図示しないカラーフィルタを備えた液晶表示パネル515と、液晶駆動部516と、バックライト517と、バックライト制御部518と、トランジスタ519とを有している。
【0070】
画像表示部51aにおいて仮想空間画像を表示する際は、バックライト制御部518の制御により、トランジスタ519がオンし、バックライト517が駆動し、バックライト517から液晶表示パネル515へ光が照射される。
そして、液晶駆動部516は、制御部54から入力される表示信号(画像データ)に基づいて、液晶表示パネル515の駆動を制御し、これにより、液晶表示パネル515に仮想空間画像が表示される。
装着者(ユーザ)は、レンズ511及び後述する視線検出部52aのハーフミラー521を介し、この液晶表示パネル515に表示された仮想空間画像を視認することができる。
【0071】
ステッピングモータ513の駆動は、モータ制御部514により制御され、そのステッピングモータ513が所定方向に回転すると、レンズ移動機構512により、レンズ511は、液晶表示パネル515に接近する方向、すなわち、装着者の目から離間する方向へ移動する。
また、ステッピングモータ513が上記方向と逆方向に回転すると、レンズ移動機構512により、レンズ511は、液晶表示パネル515から離間する方向、すなわち、装着者の目に接近する方向へ移動する。
【0072】
このレンズ511の位置の変更により、仮想空間画像の遠近を変更することができる。
このレンズ511の位置の調整、すなわち、仮想空間画像の遠近の調整は、後述する視線検出部52a、52bで検出される装着者の視線の情報に基づいてなされる。
なお、画像表示部51bの構成及び作用は、画像表示部51aと同様であるので、その説明は、省略する。
【0073】
視線検出部52a、52bは、装着者の視線がどの方向にあるか(仮想空間画像のどこに焦点を合わせようとしているか)を検出する機能と、セキュリティ情報として利用するための装着者の眼の虹彩パターンを読み取る機能とを有している。
図12は、仮想空間表示装置5の視線検出部52aの構成例を示す図(ブロック図、模式図)である。この図12において、視線検出部52aは、ハーフミラー521と、可視光を除去し、赤外光を透過させるフィルタ522と、レンズ523と、CCD(撮像素子)524と、CCD制御部525と、CCD出力増幅部526と、赤外光を発するLED(発光ダイオード)527と、LED制御部528と、トランジスタ529とを有している。
【0074】
LED527の駆動は、LED制御部528により制御され、そのLED制御部528の制御によりトランジスタ529がオンすると、LED527が駆動し、LED527から赤外光が発せられる。
LED527から発せられた赤外光は、フィルタ522を透過し、ハーフミラー521でその一部が反射して、装着者の目に照射される。
【0075】
そして、装着者の目からの反射光(光束)は、ハーフミラー521でその一部が反射して、フィルタ522を透過し、レンズ523により、CCD524の受光面(撮像面)上に導かれて結像し、その被写体像(装着者の目の像)は、CCD524により撮像される。このCCD524の駆動は、CCD制御部525により制御される。
【0076】
CCD524から出力された信号は、CCD出力増幅部526で増幅され、その後、視線検出部52aから出力され、図9に示す信号処理部58に入力され、所定の信号処理がなされ、信号送受信部55により情報処理装置8に送信される。
情報処理装置8では、仮想空間表示装置5からの信号を受信し、その信号(情報)に基づいて、装着者の視線がどの方向にあるか(仮想空間画像のどこに焦点を合わせようとしているか)を検出するとともに、装着者の眼の虹彩パターンを読み取り、解析し、セキュリティ情報として利用する。
【0077】
一方、レンズ523側からフィルタ522へ入射する可視光は、フィルタ522で除去され、その可視光が装着者の目に照射されてしまうのを阻止することができる。これにより、液晶表示パネル515に表示された仮想空間画像の視認性の低下を防止することができる。
なお、視線検出部52bの構成及び作用は、視線検出部52aと同様であるので、その説明は、省略する。
【0078】
この仮想空間表示装置5は、2台の画像取込装置(撮像手段)、すなわち、凹凸入力部53a、53bによって周囲の画像を撮像して取り込み、情報処理装置8に対して撮像した画像データ(映像データ)を送信する。
情報処理装置8は、凹凸入力部53a、53bにて撮像された画像、すなわち撮像された画像データから視角差を導出し、その視角差等から得られる周囲の凹凸に基づいて、仮想空間画像、すなわち仮想空間の画像データを作成する。そして、情報処理装置8は、作成した仮想空間の画像(映像)と、例えば、仮想壁紙や仮想パーソナルコンピュータや仮想本などの所定の仮想物体を周囲の凹凸に合わせて仮想空間に配置するための画像とを合成した合成画像(合成映像)を示す画像データ(映像データ)を仮想空間表示装置5に送信する。
【0079】
仮想空間表示装置5は、情報処理装置8からの画像データに基づいて、その画像を画像表示部51a、51bを用いて表示する。
また、仮想空間表示装置5は、装着されているリアルグローブ20、すなわち、ユーザの手や腕が画像表示部51a、51bにより表示されている画像の領域内に入っている場合には、その手や腕に対応する画像も、画像表示部51a、51bに表示する。
【0080】
この場合、前述したように、リアルグローブ20に設けられている複数の位置姿勢検出部23の検出データが情報処理装置8に送信されることで、リアルグローブ20の位置及び姿勢、すなわち、ユーザの各指、手、手首、腕等は情報処理装置8にて認識される。すなわち、情報処理装置8は、逐一、リアルグローブ20からの検出データに基づいて、ユーザの各指、手、手首、腕等の位置及び姿勢を特定し、それらが画像表示部51a、51bにより表示されている画像の領域内に入っている場合には、それらを示す仮想空間画像を作成し、その画像を基礎の画像に合成して、合成画像(合成画像の画像データ)を得、その画像データを仮想空間表示装置5に送信する。
【0081】
したがって、ユーザの手や腕が画像表示部51a、51bにより表示されている画像の領域内に入っている場合には、その手や腕に対応する画像が、画像表示部51a、51bに表示される。
そして、リアルグローブ20を装着した手や指の実際の動作に連動し、画像表示部51a、51bに表示されている仮想空間画像においてその手や指が動く。
【0082】
位置姿勢検出部56は、仮想空間表示装置5の位置及び姿勢、すなわち、装着者の顔面(頭部)の位置及び姿勢を検出するためのセンサである。この位置姿勢検出部56には、本実施形態では、直交コイル式の位置センサ、すなわち、位置姿勢検出部23と同様のものが用いられる。
位置姿勢検出部56からの信号(検出データ)は、信号処理部58に入力され、所定の信号処理がなされ、信号送受信部55により逐一情報処理装置8に送信される。情報処理装置8は、この検出データに基づいて、所定の時間間隔で逐一仮想空間画像を更新する。
【0083】
したがって、例えば仮想空間表示装置5を装着したユーザが首を動かした場合には、画像表示部51a、51bに表示される仮想空間画像は、ユーザが向いている方向に合致した画像となるように変化する。
三次元加速度センサ59は、仮想空間表示装置5の略直交する三方向への加速度を検出するものであり、HMDに内蔵可能なものであって、ある程度の精度を有するものであれば、圧電型でも、サーボ型でも、ひずみゲージ型などのいずれでもよい。しかしながら、本発明では、CMOSを用いた半導体加速度センサのように、より高精度な加速度センサが適する。
【0084】
この三次元加速度センサ59で検出された信号(加速度データ)は、信号処理部58に出力され、増幅などの所定の信号処理がなされた後、信号送受信部55を介して情報処理装置8に送信される。なお、この加速度データは、HMD5の移動速度を演算する際に用いられるが、本発明では必須の構成ではないので、その説明を省略する。
【0085】
次に、本発明の画像処理装置の一部である情報処理装置8について説明する。図13は、図1に示す情報処理装置8の回路構成例を示すブロック図である。この図13において、情報処理装置8は、演算処理部(演算手段)81と、衝突判定部(衝突判定手段、接触判定手段も兼ねる)82と、画像生成部(画像生成手段)83と、制御部(制御手段、適正位置判定手段も兼ねる)84と、記憶部(記憶手段)85と、信号処理部86と、信号送受信部(通信手段)87と、磁界発生部88とを備えている。
【0086】
演算処理部81は、上述のリアルグローブ20の指や手が仮想空間内の対象物に接触した場合には、その対象物がどのようなものであるかを判断して、それから指(指の各関節)への反力(触覚及び/又は力覚)を演算し、その演算結果からリアルグローブ20の各リンクモータ222のPWMデータに変換し、その変換データを信号処理部86及び信号送受信部87を介してリアルグローブ20に送信する。
【0087】
衝突判定部82は、リアルグローブ20の各指が仮想空間内の仮想の対象物(表示物)と衝突したか否か(接触したか否か)を判定するものである。衝突判定部82によって判定された判定結果は、制御部84に出力される。本発明では、衝突判定部82は、指と仮想のパーソナルコンピュータの液晶画面との衝突のみならず、商品表示処理によって表示された商品との衝突又は接触についても判定する。この判定結果も同様に制御部84に出力される。
【0088】
画像生成部83は、制御部84の指示により、予め基地局9から受信した仮想空間画像、あるいは仮想空間表示装置5の凹凸入力部53a、53bによって撮像され、その撮像画像から変換された仮想空間画像に、ユーザの腕や指などの映像を重ね合わせて、合成された仮想空間画像を生成し、それを信号処理部86に出力する。また、画像生成部83は、仮想空間中に表示されるリアルグローブ20又は仮想空間表示装置5の移動にともない、所定の時間間隔で仮想空間画像を更新して生成し、それを信号処理部86に出力する。
【0089】
制御部84は、衝突判定部82の判定結果に基づいて、演算処理部81に上述の反力を演算させる。また、制御部84は、上述の演算処理部81、衝突判定部82、及び画像生成部83の動作を制御し、その演算結果、衝突判定結果(接触判定結果)、及び生成画像データなどを記憶部85の所定の格納領域に保存するとともに、信号処理部86及び信号送受信部87を介して、対応する装置にそれらを送信する。
【0090】
また、制御部84は、本発明では、衝突判定部82によって指と上記仮想のパーソナルコンピュータの液晶画面(あるいは、それに表示されている商品)とが一致した(すなわち、指が仮想の商品にタッチした、あるいは、指で仮想の商品を掴んだ)と判定される場合には、その仮想の商品を仮想空間画像中に挿入するよう画像生成部83に仮想空間画像データを生成させ、その画像を仮想空間表示装置5に表示させる。
【0091】
さらに、制御部84は、指と仮想の商品とが衝突(接触)している場合、指とその仮想の商品の位置関係が不適切であるか否かを判定し(適正位置判定手段)、その判定結果に基づいて、触覚・力覚提示装置2(触覚提示手段、力覚提示手段)によってユーザの指に触覚及び/又は力覚を提示させ、あるいは、画像生成部83に警告メッセージを生成させ、そのメッセージデータを信号処理部86及び信号送受信部87を介して仮想空間表示装置5に送信させる。なお、仮想空間表示装置5は、このように受信した警告メッセージデータを仮想空間画像において所定の位置にを表示する。
【0092】
記憶部85は、プログラムやデータ等が予め記憶されている、図示しないコンピュータに読み取り可能な記憶媒体(記録媒体ともいう。特許請求の範囲においては記録媒体とする)を有しており、この記憶媒体は、例えば、RAM(Random Access Memory:揮発性、不揮発性のいずれをも含む)、FD(Floppy Disk(Floppyは登録商標))、HD(Hard Disk)、CD−ROM(Compact Disc Read-Only Memory)等のような、磁気的、光学的記録媒体、もしくは半導体メモリで構成されている。この記憶媒体は、記憶部85に固定的に設けたもの、もしくは着脱自在に装着するものであり、この記憶媒体には、上記仮想空間表示装置5、情報処理装置8、及び触覚・力覚提示装置2に対応する各種アプリケーションプログラム、商品表示処理プログラム、適正位置判定処理プログラム、及び各処理プログラムで処理されたデータ、文書データ等が記憶される。
【0093】
また、この記憶媒体に記憶するプログラム、データ等は、その一部もしくは全部をサーバやクライアント(本実施形態では、基地局9など)等の他の機器からネットワーク回線(例えば、インターネット、電話回線など)等の伝送媒体を介して信号送受信部87から受信して記憶する構成にしてもよく、さらに、記憶媒体はネットワーク上に構築された基地局9のサーバの記憶媒体であってもよい。さらに、このようなプログラムをネットワーク回線等の伝送媒体を介してサーバやクライアントから伝送して情報処理装置8にインストールするように構成してもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであって良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0094】
信号処理部86は、仮想空間表示装置5や触覚・力覚提示装置2に送信する画像データや制御信号などの増幅等の信号処理を行う。信号送受信部87は、信号処理部86において処理された各種信号やデータを仮想空間表示装置5や触覚・力覚提示装置2などの外部機器との通信を行うための制御を行う。
磁界発生部88は、詳細は図示されていないが、例えば、図7の位置姿勢検出部23に対応する直交コイル式(直交コイル型)の磁界発生器(X方向コイル、Y方向コイル、Z方向コイル)である。この磁界発生部88は、制御部84からの指示により、X、Y、Z方向コイルの順で磁界を発生し、リアルグローブ20の位置姿勢検出部23の各方向の検出コイル231、232及び233に発生した磁界を検出させるとともに、仮想空間表示装置5の位置姿勢検出部56にも磁界を検出させる。
【0095】
なお、この磁界発生部88は、図示のように情報処理装置8に格納されてもよいが、磁界発生装置として情報処理装置8とは別構成としてもよい。特に、情報処理装置8として携帯電話機やPDAを用いるときは、その内部に磁界発生部を後から設けることができないので、別構成とすることが有用である。このように別に磁界発生装置(又は磁界発生部)を設けたとしても、その制御は、情報処理装置8からの制御信号によってなされる。
【0096】
次に、第1実施形態の画像処理装置1の動作(作用)について説明する。ここでは、ユーザが、画像処理装置1を利用して、仮想空間に現れている仮想パーソナルコンピュータの操作を行う場合を例に説明する。
ユーザは、各部の電源を入れ、リアルグローブ20を両手にそれぞれ装着し、眼鏡状の仮想空間表示装置5をかける(顔面に装着する)。すると、仮想空間表示装置5の画像表示部51a、51bに、仮想パーソナルコンピュータを含む仮想空間画像が表示される。
【0097】
また、ユーザの腕が画像表示部51a、51bで表示されている仮想空間画像内に入るようにすれば、情報処理装置8の画像生成部83にて作成されたその手や腕の画像が仮想空間画像に仮想物体として表示される。そして、ユーザが手や指を動かした場合には、その実際の手や指の動きに連動して、仮想空間画像において、表示されている手や指が動く。
【0098】
情報処理装置8は、衝突判定部82によって、仮想空間画像における対象物、すなわち本実施形態では、例えば、仮想パーソナルコンピュータの一部(例えばキーボード)と、ユーザの指の一部が同一座標となったことを検出すると、演算処理部81の演算結果に基づいて、リアルグローブ20に対して、触覚及び力覚を発生させるための指示を行う。具体的には、情報処理装置8は、リアルグローブ20に対して、演算処理部81が演算した反力の演算結果から得た、駆動させる動力発生部211及びその駆動に用いるPWMデータや、駆動させるリンクモータ222及びその駆動に用いるPWMデータなどを、信号送受信部87を介して送信する。
【0099】
リアルグローブ20は、情報処理装置8からの指示に従って、指定された各動作発生部211を、それぞれ、指定されたトルクで指定された時間だけPWM制御により駆動する。これにより、仮想パーソナルコンピュータの一部と同一座標となった部分に配置されている各触覚提示ピン214の接触板214aが突出し、仮想パーソナルコンピュータの一部と同一座標となったユーザの各指先に対して触覚が与えられる。すなわち、各指先に、接触感覚、質感、形状、強さ等の感覚が与えられる。
【0100】
同時に、リアルグローブ20は、情報処理装置8からの指示に従って、指定された各リンクモータ222を、それぞれ、指定されたトルクで指定された時間だけPWM制御により駆動する。これにより、実在するパーソナルコンピュータの例えばキーボードに触れているときに各指の各関節に与えられる力覚、すなわち、各指の各関節に与えられる押圧力(反力)に相当する力がユーザの各指の各関節に対して与えられる。
【0101】
また、ユーザが、さらに仮想パーソナルコンピュータのキーを押し込む方向に指を動かすと、指の座標変化に合わせて、画像表示部51a、51bに、キーを押し込む様子を示す仮想空間画像が表示される。
この場合、情報処理装置8は、押下されたキーに基づく表示状態の変化を仮想空間画像で再現するための仮想空間画像の画像データを画像生成部83において生成し、それを仮想空間表示装置5に送信する処理を行い、仮想空間表示装置5は、情報処理装置8から受信した仮想空間画像の画像データに基づいて、仮想パーソナルコンピュータのディスプレイにキーの押下が反映された表示がなされる画像を表示する。
【0102】
以上説明したように、この触覚・力覚提示装置2及び画像処理装置1によれば、リアルグローブ20の装着及び取り外しを容易かつ確実に行うことができ、また、仮想空間における動作(操作)を容易かつ確実に行うことができる。
また、仮想空間画像に応じて、各指に対して触覚及び力覚をそれぞれ正確かつ確実に提示することができる。
【0103】
これにより、ユーザは、仮想空間における動作(操作)を、快適に、容易かつ確実に、行うことができる。
特に、触覚発生部21において、アクチュエータワイヤ212の弛みを防止することができ、各触覚提示ピン214からそれぞれユーザの各指腹に、より正確かつ確実に目標の大ききの押圧力を与えることができる。
【0104】
これにより、ユーザは、仮想空間画像における各指腹の物体(対象物)への接触に相当する感覚を、より正確かつ確実に各指腹で感じることができる。
また、触覚発生部21では、各指腹に対してほぼ平行に(指腹に沿って)アクチュエータワイヤ212が配置され、そのアクチュエータワイヤ212を巻き取ることによって各指腹に対してほぼ垂直な力を与えるようになっているので、触覚を与えるための機構を薄くすることができ、これにより、リアルグローブ20の指腹側の厚みを極力抑えることができる。
【0105】
また、力覚発生部22はリンク機構を有しているので、指を伸ばしている状態、指を曲げている状態のいずれにおいても対応することができ、これにより、より確実に、各指に対して力覚を与えることができる。
なお、上述した実施形態では、使用例として仮想空間画像にて表示されているパーソナルコンピュータを仮想的に操作する場合について説明したが、本発明では、これに限らず、例えば、仮想本などの他の物品を取扱うために使用することもできる。仮想本を取扱う場合には、例えば、仮想本の縁をさわったりページをめくったりするときに、実際の本の縁をさわったりページをめくったりするときに指に加わる触感や力感を感じることができる。
【0106】
次に、本発明の画像処理装置の第2実施形態について説明する。図14は、本発明の第2実施形態における触覚・力覚提示装置の触覚発生部の構成例を示す縦断面図である。
以下、第2実施形態の触覚・力覚提示装置2及び画像処理装置1について、前述した第1実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
【0107】
図14(A)に示すように、第2実施形態の触覚・力覚提示装置2では、その触覚発生部21の各単位触覚発生部(アクチュエータ)210は、それぞれ、モータ(駆動源)211aを備える動力発生部(移動手段)211と、長手方向に移動可能に設置されたアクチュエータワイヤ(可撓性を有する線状体)212と、触覚を発生させるために指腹を押圧する触覚提示部216とを有している。なお、第2実施形態では、触覚提示部216が触覚提示手段の主要部を構成する。
【0108】
触覚提示部216は、ユーザの指腹に接触感覚(接触の有無や強さ等)を与えるために用いられ、例えば、板バネのような弾性を有する部材(弾性体)で形成される。この場合、触覚提示部216は、適度な剛性を有するのが好ましく、例えば、各種金属で構成された弾性体で形成することができる。
この触覚提示部216は、第1の板片(押圧部)216aと、第2の板片(スライド部)216bとで構成されている。第1の板片216aと第2の板片216bとは、一端側において接合されており、第1の板片216aの他端側には、指腹に接触する部分である微小な接触部216cが設けられている。この接触部216cは、例えば、第1の板片216aの端部を第2の板片216b側に向けて屈曲させることによって形成することができる。
【0109】
また、触覚提示部216の一端側、すなわち、図14(A)中左側の端部は、図14(A)中下側に凸となるように湾曲している。
第1の板片216aと、第2の板片216bとの間には、第1の板片216aの移動方向を規制する円柱状のガイド部(移動方向規制手段)217が設置されている。
また、触覚提示部216の図14(A)中下側には、押え板218が設置されており、触覚提示部216は、この押え板218に沿って移動(スライド)し得るようになっている。この場合、触覚提示部216は、その図14(A)中左側の端部が湾曲しているので、円滑かつ確実に移動することができる。
【0110】
ガイド部217は、押え板218に固定され、押え板218は、手袋2aに固定されている。すなわち、ガイド部217及び押え板218は、共に、手袋2aに対して固定的に設置されている。
また、触覚提示部216の第2の板片216bの図14(A)中右側の端部には、アクチュエータワイヤ212の一端が固定されている。
【0111】
動力発生部211のモータ211aの駆動によりアクチュエータワイヤ212が巻き取られると、そのアクチュエータワイヤ212は、指腹に沿って図14(A)中右側(指の基端方向)に移動し、これとともにアクチュエータワイヤ212に取付固定されている触覚提示部216も指腹に沿って図14(A)中右側に移動する。
【0112】
この際、図14(B)に示すように、触覚提示部216の第1の板片216aは、ガイド部217によって図14(B)中右側への移動が制限されるとともに、ガイド部217にガイドされて、図14(B)中上側へ移動する(指腹に向って突出する)。すなわち、触覚提示部216が弾性変形し、その第1の板片216aの姿勢が図14(B)に示す姿勢に変更されることで、接触部216cは、指腹の表面に対しほぼ垂直上方に移動する(押し上げられる)。
【0113】
一方、アクチュエータワイヤ212は、触覚提示部216の復元力(弾性力)により、図14(B)中左側(第1の板片216aを突出させるときのアクチュエータワイヤ212の移動方向と逆方向)に付勢される。すなわち、この触覚提示部216(第1の板片216a)は、付勢手段を兼ねる。
接触部216cがほぼ垂直上方に移動しようとする力が働くことで、その接触部216cが指腹をほぼ垂直方向へ押圧し、これにより、ユーザの手の指腹に押圧力を与える。
【0114】
この動作が、複数の単位触覚発生部210のうちの指定された単位触覚発生部210でなされ、これにより、ユーザの手の指腹に触覚が提示される(与えられる)。よって、ユーザは、仮想空間画像における指腹の物体(対象物)への接触に相当する感覚を、指腹に得ることができる。
このように指定された単位触覚発生部210において、動力発生部211のモータ211aの駆動が停止し、アクチュエータワイヤ212の巻き取り状態が解除されると、触覚提示部216の復元力(弾性力)と、ユーザの指からの圧力によって、触覚提示部216は、図14(A)に示す初期状態に戻る。これにより、触覚提示部216からユーザの手の指腹に与えられていた押圧力が実質的に消滅する。
この触覚・力覚提示装置2及び画像処理装置1によれば、前述した第1実施形態と同様の効果が得られる。
【0115】
次に、本発明の画像処理装置の第3実施形態について説明する。図15は、第3実施形態の触覚・力覚提示装置のリアルグローブの外観構成例を示す外観図(一部図示を省略)である。なお、図15中では、図3に示す触覚発生部21、動力発生部211、力覚発生部22、位置姿勢検出部23、制御部24及び電力供給部30等は、図示されていない。
【0116】
以下、第3実施形態の触覚・力覚提示装置2及び画像処理装置1について、前述した第1実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
図15に示すように、第3実施形態の触覚・力覚提示装置2では、リアルグローブ20の手袋2aの筒状部20aの肘側(基端側)の端部に、空気(エアー)の注入による空気圧(圧力)により腕に固定する形態(エアー注入方式)の腕固定部2dが設けられている。
【0117】
この腕固定部2dは、空気が注入される袋状の腕固定部本体21dと、その腕固定部本体21dに設けられたエアー注入部22dとで構成されている。腕固定部本体21dの外観形状は、筒状をなしている。
エアー注入部22dの中空部は、腕固定部本体21dの内部に連通しており、エアー注入部22dの先端部には、蓋体23dが設けられている。
【0118】
蓋体23dをエアー注入部22dの先端部に装着すると、腕固定部本体21d内の気密性が保持され、蓋体23dを取り外すと、腕固定部本体21dに対し、エアー注入部22dを介して、空気の注入及び排出を行うことができる。
このような腕固定部2dは、各ユーザに応じて、例えば、ゴム型等の型を用いて、ユーザの腕の形状に合うように成形される。
【0119】
ユーザは、リアルグローブ20を装着する際は、まず、その手袋2aを装着し、次に、腕固定部2dの腕固定部本体21d内に、空気を注入する。
この空気注入では、例えば、エアー注入部22dの先端部から蓋体23dを取り外し、そのエアー注入部22dから腕固定部本体21d内に空気を吹き込む。そして、所定量の空気を注入し終えると、エアー注入部22dの先端部に蓋体23dを装着する。
【0120】
このようにして、リアルグローブ20は、腕固定部2dの空気圧によりユーザの腕に固定されるとともに、手首固定部28の復元力(弾性力)によりユーザの手首に固定される。
また、ユーザは、リアルグローブ20を取り外す際は、まず、腕固定部2dの腕固定部本体21d内から空気を排出し、次に、リアルグローブ20を手から取り外す。
【0121】
このように、本発明の第3実施形態の画像処理装置1によれば、前述した第1実施形態と同様の効果が得られる。
そして、この触覚・力覚提示装置2では、腕固定部2dがエアー注入方式のものであるので、リアルグローブ20の装着及び取り外しを容易かつ迅速に行うことができる。
なお、本発明では、触覚発生部21の単位触覚発生部210を、前述した第2実施形態のように構成してもよい。
【0122】
次に、本発明画像処理装置の第4実施形態について説明する。図16は、第4実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示すブロック図、図17は、第4実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示す外観図(一部図示を省略)、図18は、図17に示す位置姿勢検出部のZ方向検出センサの構成例を示す外観図である。なお、図17及び図18中において、それぞれ、互いに直交するX軸、Y軸及びZ軸を想定する。
【0123】
以下、第4実施形態の触覚・力覚提示装置2及び画像処理装置1について、前述した第1実施形態との相違点を中心に説明し、同様の事項については、その説明を省略する。
第4実施形態の触覚・力覚提示装置2では、位置姿勢検出部(指位置検出手段)23として、例えば、コリオリ力を利用して互いに直交するX軸、Y軸及びZ軸の回りの角速度をそれぞれ検出するジャイロセンサ(ジャイロスコープ)を用いる。
【0124】
そして、この触覚・力覚提示装置2では、凹凸入力部(撮像手段)53a、53bにより周囲を撮像し、その撮像された周囲の画像に指に対応する部分が含まれている場合には、凹凸入力部53a、53bからの画像データ(映像データ)に基づいて指の位置を求め、このように撮像された周囲の画像に指に対応する部分が含まれていない場合には、各位置姿勢検出部23により指の位置を検出し、各位置姿勢検出部23からの情報に基づいて指の位置を求める。
【0125】
図17に示すように、位置姿勢検出部23は、ケーシング60と、ケーシング60内に設けられ、X軸の回りの角速度を検出するX方向検出センサ(第1の検出センサ)61、Y軸の回りの角速度を検出するY方向検出センサ(第2の検出センサ)62及びZ軸の回りの角速度を検出するZ方向検出センサ(第3の検出センサ)63とを有している。
【0126】
図18に示すように、Z方向検出センサ63は、エリンバー(基台)64と、エリンバー64に設置された振動用の圧電素子(振動用圧電素子)65及び検出用の圧電素子(検出用圧電素子)66とで構成されている。このZ方向検出センサ63は、2本のワイヤ67、68により支持されている。
エリンバー64の形状は、Z軸方向に長い略直方体をなしており、その略直交する2つの面の一方に振動用圧電素子65が設置され、他方に検出用圧電素子66が設置されている。この場合、Y軸に対して垂直な面に、振動用圧電素子65が配置され、X軸に対して垂直な面に、検出用圧電素子66が配置されているが、その配置を逆にしてもよい。
【0127】
このZ方向検出センサ63の振動用圧電素子65に図16に示す交流電源69から交流電圧が印加されると、その振動用圧電素子65は、X軸方向に振動(屈曲振動)し、これによりエリンバー64もX軸方向に振動する。このとき、Z軸の回りに回転(角速度)が生じると、その角速度に対応したレベルの電圧(信号)が検出用圧電素子66から検出される。
【0128】
なお、X方向検出センサ61及びY方向検出センサ62の構成は、Z方向検出センサ63と同様であるので、その説明は省略する。それらの作用は、X軸の回りに回転(角速度)が生じると、その角速度に対応したレベルの電圧(信号)がX方向検出センサ61の検出用圧電素子66から検出され、Y軸の回りに回転(角速度)が生じると、その角速度に対応したレベルの電圧(信号)がY方向検出センサ62の検出用圧電素子66から検出される。
【0129】
図16に示すように、位置姿勢検出部23のX方向検出センサ61によって検出されたX軸の回りの角速度に対応した信号(検出データ)と、Y方向検出センサ62によって検出されたY軸の回りの角速度に対応した信号(検出データ)と、Z方向検出センサ63によって検出されたZ軸の回りの角速度に対応した信号(検出データ)とは、それぞれ、信号処理部25の増幅部251にて増幅され、A/D変換部252にてデジタル信号に変換された後、図2に示す信号送受信部26に出力され、この信号送受信部26により情報処理装置8に送信される。
情報処理装置8では、リアルグローブ20から送信された信号を受信し、その信号(情報)に基づいて、リアルグローブ20を装着した各指、手、手首、腕などの各部の位置及び姿勢、すなわち、各部の座標を導出し、その情報を所定の各処理において利用するために記憶部85の所定の格納領域に保存する。
【0130】
次に、第4実施形態における画像処理装置1の動作(作用)について説明する。ここで、リアルグローブ20を装着した各指、手、手首、腕などの各部の位置及び姿勢を求める方法以外は、前述した第1実施形態と同様であるので、その説明は、省略する。
使用に先立って、ユーザは、まず、凹凸入力部53a、53bにより撮像される周囲の画像にリアルグローブ20の指等の検出する部位に対応する部分が含まれるようにする。これにより、画像処理装置1において初期設定がなされる。
【0131】
この初期設定では、仮想空間表示装置5は、2台の画像取込装置(撮像手段)、すなわち、凹凸入力部(撮像手段)53a、53bによって周囲の画像を撮像して取り込み、情報処理装置8に対して撮像した画像データ(映像データ)を送信する。
この場合、凹凸入力部53a、53bにて撮像された画像にはリアルグローブ20の指等の検出する部位に対応する部分が含まれているので、情報処理装置8は、凹凸入力部53a、53bにて撮像された画像、すなわち撮像された画像データに基づいて指等の位置及び姿勢(座標)を求める。この求められた位置及び姿勢は、それぞれ、基準位置及び基準姿勢、すなわち基準状態とされ、その基準位置及び基準姿勢の情報は、情報処理装置8の記憶部85の所定の領域に保存される。
【0132】
初期設定が終了すると、使用可能状態となり、仮想空間表示装置5は、凹凸入力部(撮像手段)53a、53bによって周囲の画像を撮像して取り込み、情報処理装置8に対して撮像した画像データを送信する。
情報処理装置8の制御部84(判別手段)は、凹凸入力部53a、53bにて撮像された画像、すなわち撮像された画像データに基づいて、凹凸入力部53a、53bにて撮像された画像にリアルグローブ20の指等の検出する部位に対応する部分が含まれているか否かを判別する。
【0133】
そして、撮像された画像に指等の検出する部位に対応する部分が含まれている場合には、情報処理装置8は、撮像された画像データに基づいて指等の位置及び姿勢(座標)を求める。この求められた位置及び姿勢は、それぞれ、基準位置及び基準姿勢とされる。すなわち、記憶部85に記憶されている基準位置及び基準姿勢の情報は、新たな基準位置及び基準姿勢の情報に書き換えられる。
【0134】
逆に、撮像された画像に指等の検出する部位に対応する部分が含まれていない場合には、情報処理装置8は、各位置姿勢検出部23からの信号(情報)に基づいて、指等の位置及び姿勢(座標)を求める。この場合、各位置姿勢検出部23からの情報からは、基準位置及び基準姿勢に対する相対的な位置及び姿勢が求まり、その相対的な位置及び姿勢の情報と、基準位置及び基準姿勢の情報とに基づいて、指等の位置及び姿勢が求められる。
【0135】
この触覚・力覚提示装置2及び画像処理装置1によれば、前述した第1実施形態と同様の効果が得られる。
そして、この触覚・力覚提示装置2では、手及び各指の所定の部位の位置及び姿勢を正確かつ確実に求めることができるとともに、位置姿勢検出部23としてジャイロセンサを用いることにより、コストを低減することができる。
なお、本実施形態では、位置姿勢検出部(指位置検出手段)23は、ジャイロセンサで構成されているが、本発明では、これに限定されない。
【0136】
また、本発明では、触覚発生部21の単位触覚発生部210を、前述した第2実施形態のように構成してもよい。
また、本発明では、腕固定部2dを、前述した第3実施形態のように、空気(エアー)の注入による空気圧(圧力)により腕に固定する形態(エアー注入方式)のものにしてもよい。
なお、詳細には説明しないが、上述の構成を仮想空間表示装置5の位置姿勢検出部56に適用することもできる。この場合にも、前述した第1実施形態と同様の効果が得られる。
【0137】
次に、図19、図20、図22及び図24のフローチャート並びに図21、図23及び図25の概念図を参照して、上記実施形態の各構成、とりわけ第1実施形態の構成に基づいて、本発明の画像処理装置の動作を説明する。ここで、これらのフローチャートに記述されている各機能を実現するためのプログラムは、コンピュータに読み取り可能なプログラムコードの形態で記憶部85の記録媒体に格納されており、制御部84はこのプログラムコードに従った動作を逐次実行する。また、制御部84は、上述のように、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他、伝送媒体を介して外部供給されたプログラム/データを利用してこの実施形態に特有の動作を実行することもできる。
【0138】
図19及び図20は、本発明の画像処理装置における商品表示処理を示すフローチャートであり、図21は、本発明の画像処理装置におけるアプリケーション終了処理を示すフローチャートである。なお、これらのフローチャートは、第1の実施形態における各構成要素に基づいて説明される。
まず、図19及び図20を用いて商品表示処理を説明する。本発明の画像処理装置1は、電源が投入されて、仮想空間中に仮想のPCを表示し、ユーザがこのPCを使用しているとき、この商品表示処理を実行している。なお、実際の画像処理装置1では、キーボードの操作などをする処理も同時に実行されているが、説明の明確さのために、PC画面(液晶画面でもCRT(Cathode-Ray Tube)でもよい)上に表示されている商品のアイコン(以下、単に「アイコン」と省略する場合もある)を仮想空間中に表示することに特化したフローチャートを用いて説明する。
【0139】
リアルグローブ20は、位置姿勢検出部(指位置検出手段)23によってユーザの指(及び手)の位置を検出し(ステップS101)、信号処理部25で所定の信号処理を行った後、信号送受信部(通信手段)26を介して検出された位置信号を情報処理装置8に送信する(ステップS102)。
情報処理装置8が信号送受信部(通信手段)87を介してこの検出信号を受信すると、制御部84は、検出された指の位置が、画像生成部(画像生成手段)83において生成され、仮想空間表示装置(表示手段)5に既に送信した現在の仮想空間画像における指の位置(ここでは、記憶部85に保存されている)から移動しているか否かを判断する(ステップS103)。指の移動を検知しないと判断された場合には、制御部84は、何らの指示も出すことなく、画像処理装置1は、ステップS101に戻り、同様の処理を繰り返す。
【0140】
ステップS103において、指の移動を検知したと判断された場合には、制御部84は、画像生成部83にその指の位置データに基づいて仮想空間画像を更新して生成させ(ステップS104)、移動した指の位置データと更新された仮想空間画像データとを記憶部(記憶手段)85の所定の格納領域に保存するとともに、信号処理部86及び信号送受信部87を介して更新された仮想空間画像データを仮想空間表示装置(HMD、表示手段)5に送信する。この画像データを受信したHMD5は、制御部54の指示により、その画像データを画像表示部51a及び51bに表示する(ステップS105)。ここまでの一連の処理は、本発明の画像処理装置1の電源が投入されている間、常時行われている。
【0141】
それと同時に、情報処理装置8では、衝突判定部(接触判定手段)82は、制御部84の指示により、仮想のPC画面とユーザの指の座標が一致したか否か、すなわち、仮想のPC画面とユーザの指が衝突(接触)したか否かを判断する(ステップS106)。そして、座標が一致していないと判断された場合には、画像処理装置1は、ステップS101に戻り、同様の処理を繰り返す。
【0142】
逆に、両者の座標が一致したと判断された場合には、演算処理部81は、対象物(ここでは、PC画面)に基づいて、PC画面から指への反力を演算し、信号処理部86及び信号送受信部87を介してこの演算データをリアルグローブ20に送信する。ここで、演算された反力データは、制御部84の指示により、記憶部85の所定の格納領域に保存される。反力の演算データを受信したリアルグローブ20では、制御部24は、その演算データに基づいて、触覚発生部21及び力覚発生部22(触覚提示手段、力覚提示手段)を駆動して触覚及び力覚を発生させ(ステップS107)、ユーザの指にその触覚及び力覚を提示させる。
【0143】
ステップS108において、仮想のPC画面と指の座標が一致し、ユーザの指が触覚及び力覚を感じている状態において、衝突判定部82は、PC画面上に表示されているアイコン(ここでは、商品のアイコン)と指の座標が一致したか否かを判断する。なお、フローチャートでは示されないが、指の位置は常に検出され、指が移動した場合には、画像生成部83は、仮想空間画像を更新して生成している。ここで、「アイコンと指の座標が一致」とは、親指を含む複数本の指で所定のアイコンを掴んでいる状態をいう。
【0144】
アイコンと指の座標が一致していないと判断された場合には、衝突判定部82は、今度は、PC画面と指との座標がずれたか否かを判断する(ステップS109)。実際には、仮想のPC画面は平面であるので、指の座標がPC画面の平面座標よりも手前にずれたか、すなわち、指がPC画面と衝突しなくなったか否かを判断する。そして、制御部84は、PC画面と指の座標がずれたと判断されたときは、リアルグローブ20に対して、指に発生させていた触覚及び力覚を解除するための制御信号を信号送受信部87に送信させ、リアルグローブ20の制御部24は、その制御信号に基づいて、触覚発生部21及び力覚発生部22から発生している触覚・力覚を解除させ(ステップS110)、一旦この商品表示処理を終了する。逆に、PC画面と指の座標がずれていないと判断されたときは、ステップS108に移行して同様の判断を繰り返す。
【0145】
ステップS108においてアイコンと指が一致したと判断された場合には、演算処理部81は、アイコンから指への反力を演算し、信号処理部86及び信号送受信部87を介してこの演算データをリアルグローブ20に送信する。ここで、演算された反力データは、制御部84の指示により、記憶部85の所定の格納領域に保存される。反力の演算データを受信したリアルグローブ20では、制御部24は、その演算データに基づいて、触覚発生部21及び力覚発生部22を駆動して触覚及び力覚を発生させ(ステップS111)、ユーザの指にその触覚及び力覚を提示させる。
【0146】
ステップS112において、制御部84は、アイコンを掴んだまま、指がPC画面から手前に移動されたか否かを判断する(特許請求の範囲では、同時に移動した場合を判定する接触判定手段に対応する)。すなわち、指がPC画面の平面座標からずれてPC画面の外側の手前に移動したか否かが判断される。指がPC画面から手前に移動していないと判断された場合には、まだPC画面に指が衝突している状態であるが、続いて、制御部84は、アイコンと指の座標がずれたか否かを判断し(ステップS113)、それらがずれていないと判断された場合には、ステップS112に戻り、同様の判断を繰り返す。逆に、指とアイコンの座標がずれたと判断された場合には、今まで掴んでいたアイコン(商品のアイコン)が指から離されたことを意味するが、未だに指はPC画面に衝突しているので、ステップS108に移行して、再度別のあるいは同じアイコンと指との座標が一致するか否かが判断される。
【0147】
ステップS112において指が手前に移動したと判断された場合には、制御部84は、続けてアイコンと指の座標がずれたか否かを判断する(ステップS114)。それらがずれていないと判断されたときは、PC画面内にそのアイコンを戻す場合も考えられるために、PC画面と指の座標が再度一致したか否かが判断され(ステップS115)、それらの座標が一致しないと判断された場合には、ステップS114に移行して同様の判断が繰り返される。逆に、PC画面と指の座標が一致したと判断されたときは、ステップS111に移行して触覚・力覚提示装置2により再度触覚及び力覚を発生して、ユーザの指に提示される。ここで、アイコンと指の座標がずれていないときの一連の動作では、ユーザの指にアイコンが掴まれた状態であり、そのときにPC画面と指の座標が一致すると、そのPC画面上に、ユーザの指に掴まれたままでアイコンが表示されている。
【0148】
ステップS114においてアイコンと指の座標がずれたと判断された場合には、衝突判定部82は、アイコンと指が衝突していないと判定し、リアルグローブ20の制御部24は、その判定結果に基づいて、触覚発生部21及び力覚発生部22に触覚及び力覚を解除させる(ステップS116)。そして、制御部84は、PC画面から取り出されたアイコンに関連付けられている商品を仮想空間に表示させるように、画像生成部83に指示する。生成された画像データは、信号処理部86及び信号送受信部87を介して、HMD5に送信される。HMD5では、画像表示部51a、51bがその画像データに基づいて、仮想の商品を仮想空間画像中に表示し(ステップS118)、この商品表示処理を終了する。
【0149】
なお、仮想空間中で仮想の商品のアイコンをユーザが掴んでいる状態の一例を図21に示す。この状態は、上述の商品表示処理におけるステップS111の状態に対応している。
なお、この商品表示処理では、指でアイコン(商品のアイコン)を掴み出すことにより、所望の商品を仮想空間中に実物大で表示することとしたが、指をポインタに見立てて仮想のPC画面上のアイコンにタッチすることにより、その商品が仮想空間中に表示されることとしてもよい。
【0150】
次に、図22〜図25を用いて適正位置判定処理について説明する。なお、この適正位置判定処理は、上述の商品表示処理が実行され、仮想空間中に仮想の商品が表示している状態において実行される。また、ユーザの指の移動に伴って仮想空間画像が更新して作成され、それを仮想空間表示装置5が表示する処理については、上述の商品表示処理のステップS101〜S105と同様であるので、ここでは一部省略するが、この適正位置判定処理とともに、商品表示処理の一部(特に、仮想空間画像の更新処理など)が実行されている。
【0151】
まず、適正位置判定処理の一例を図22及び図23を用いて説明する。リアルグローブ20は、位置姿勢検出部(指位置検出手段)23によってユーザの指(及び手)の位置を検出し(ステップS201)、信号処理部25で所定の信号処理を行った後、信号送受信部(通信手段)26を介して検出された位置信号を情報処理装置8に送信する。
【0152】
ステップS202において、制御部84は、上記商品表示処理において仮想空間中に表示されている仮想の商品の所定の位置と指の座標が一致したか否か、すなわち、ユーザの指が仮想の商品の所定の位置に接触しているか(触れているか)否かを判断する。ここで、「所定の位置」とは、このフローチャートのように仮想の商品が電動ドリルである場合、例えば、その仮想の電動ドリルの駆動をオン/オフすることができる位置、すなわち、仮想の電動ドリルのスイッチの位置である。
【0153】
両者の座標が一致していないと判断された場合には、ステップS201に移行して、同様の処理を繰り返す。一方、両者の座標が一致したと判断された場合には、制御部84は、続いて、上記とは別の指(通常、所定の位置に触れている手と反対の手のいずれかの指)と不適正な位置の座標が一致したか否か、すなわち、その別の指が仮想の商品の不適正な位置に接触しているか(触れているか)否かを判断する(ステップS203、適正位置判定手段)。ここで、「不適正な位置」とは、このフローチャートのように仮想の商品が電動ドリルである場合、例えば、その電動ドリルのチャック(ドリルチャック)の位置(部分)である。
【0154】
この両者の座標が一致していないと判断された場合には、ステップS201に移行して、同様の処理を繰り返す。一方、両者の座標が一致したと判断された場合には、制御部84は、両者が不適正な位置関係(不適切な位置関係)にあると判断し、その不適正な位置にある指の指腹に通常のチャックを触ったときの感触とは異なる感触を与えるように、信号処理部86及び信号送受信部87を介して所定の制御信号(駆動信号)をリアルグローブ20に送信する。そして、リアルグローブ20は、その所定の制御信号に基づいて、不適正な位置にある指の指腹部に異なる触覚(例えば、生け花の剣山に触れたときのような触覚など)を触覚発生部21に発生させ、その触覚を対象の指に提示する(ステップS204)。
【0155】
ここで、「不適正な位置関係」とは、上述のように、一方の指(手)で電動ドリルのスイッチの位置に触れたまま、他方の指(手)でその電動ドリルのドリルチャックを触っているような位置関係をいう。この不適正な位置関係の状態の概念図を図23に示す。実際の電動ドリルを扱っている場合において、ドリルチャックに触れながら誤って電動ドリルのスイッチをオンすると、ユーザが大けがをしてしまうので、このような間違った取り扱いをさせないために、本発明の触覚・力覚提示方法では、対象となる指に通常とは異なる触覚を与えている。したがって、本発明の画像処理装置及び触覚・力覚提示方法によって、仮想空間中の実体験により商品の正しい取り扱い方法を習得することができる。
【0156】
また、制御部84は、不適正な位置(仮想の電動ドリルのドリルチャックの位置)にある指をその不適正な位置から遠ざけるように、信号処理部86及び信号送受信部87を介して所定の制御信号(駆動信号)をリアルグローブ20に送信する。そして、リアルグローブ20は、その所定の制御信号に基づいて、不適正な位置にある指をその不適正な位置から遠ざけるような力覚を力覚発生部22に発生させ、それを対象の指に提示する(ステップS205)。
【0157】
さらに、制御部84は、仮想空間中の所定の位置(例えば、ドリルチャックの近傍など)に所定のメッセージ(例えば、警告文「電動ドリルのスイッチに指をかけたまま、ドリルチャックの操作をしないこと」など)を表示するように、画像生成部83にメッセージの画像を生成させ、それを仮想空間画像と重ね合わせた画像データを仮想空間表示装置5に送信する。そして、仮想空間表示装置5は、その警告のメッセージを含む仮想空間画像を画像表示部51a、51bに表示させる(ステップS206)。
【0158】
なお、この適正位置判定処理では、ステップS204〜S206の各処理(触覚提示、力覚提示及びメッセージ表示)の一部が省略されてもよい。また、このフローチャートでは示していないが、指が不適正な位置関係を脱すると、触覚及び力覚の提示が解除され、警告メッセージが消えて、この適正位置判定処理を終了する。
【0159】
次に、適正位置判定処理の別の例を図24及び図25を用いて説明する。ここでは、仮想の商品として木材や金属をカットするジグソーを用いて説明する。上述の例と同様に、リアルグローブ20は、位置姿勢検出部(指位置検出手段)23によってユーザの指(及び手)の位置を検出し(ステップS301)、信号処理部25で所定の信号処理を行った後、信号送受信部(通信手段)26を介して検出された位置信号を情報処理装置8に送信する。
【0160】
ステップS302において、制御部84は、上記商品表示処理において仮想空間中に表示されている仮想のジグソーの所定の位置と指の座標が一致したか否か、すなわち、ユーザの指が仮想のジグソーの所定の位置に接触しているか(触れているか)否かを判断する。ここで、「所定の位置」とは、例えば、仮想のジグソーの駆動をオン/オフすることができる位置、すなわち、仮想のジグソーのスイッチの位置である。
【0161】
両者の座標が一致していないと判断された場合には、ステップS301に移行して、同様の処理を繰り返す。一方、両者の座標が一致したと判断された場合には、制御部84は、続いて、上記とは別の指(通常、所定の位置に触れている手と反対の手のいずれかの指)と不適正な位置の座標が一致したか否か、すなわち、その別の指が仮想の商品の不適正な位置に接触しているか(触れているか)否かを判断する(ステップS303、適正位置判定手段)。ここで、「不適正な位置」とは、このフローチャートのように仮想の商品がジグソーである場合、例えば、そのジグソーの刃の位置(部分)である。
【0162】
この両者の座標が一致していないと判断された場合には、ステップS301に移行して、同様の処理を繰り返す。一方、両者の座標が一致したと判断された場合には、制御部84は、両者が不適正な位置関係にあると判断し、その不適正な位置にある指の指腹に通常のジグソーの刃を触ったときの感触とは異なる感触を与えるように、信号処理部86及び信号送受信部87を介して所定の制御信号(駆動信号)をリアルグローブ20に送信する。そして、リアルグローブ20は、その所定の制御信号に基づいて、不適正な位置にある指の指腹部に異なる触覚(例えば、生け花の剣山に触れたときのような触覚など)を触覚発生部21に発生させ、その触覚を対象の指に提示する(ステップS304)。
【0163】
ここで、「不適正な位置関係」とは、上述のように、一方の指(手)でジグソーのスイッチの位置に触れたまま、他方の指(手)でそのジグソーの刃を触っているような位置関係をいう。この不適正な位置関係の状態の概念図を図25に示す。実際のジグソーを扱っている場合において、ジグソーの刃に触れながら誤ってジグソーのスイッチをオンすると、ユーザが大けがをしてしまうので、このような間違った取り扱いをさせないために、本発明の触覚・力覚提示方法では、対象となる指に通常とは異なる触覚を与えている。したがって、本発明の画像処理装置及び触覚・力覚提示方法によって、仮想空間中の実体験により商品の正しい取り扱い方法を習得することができる。
【0164】
また、制御部84は、不適正な位置(仮想のジグソーの刃の位置)にある指をその不適正な位置から遠ざけるように、信号処理部86及び信号送受信部87を介して所定の制御信号(駆動信号)をリアルグローブ20に送信する。そして、リアルグローブ20は、その所定の制御信号に基づいて、不適正な位置にある指をその不適正な位置から遠ざけるような力覚を力覚発生部22に発生させ、それを対象の指に提示する(ステップS305)。
【0165】
さらに、制御部84は、仮想空間中の所定の位置(例えば、ジグソーの刃の近傍など)に所定のメッセージ(例えば、警告文「ジグソーのスイッチに指をかけたまま、ジグソーの刃の操作をしないこと」など)を表示するように、画像生成部83にメッセージの画像を生成させ、それを仮想空間画像と重ね合わせた画像データを仮想空間表示装置5に送信する。そして、仮想空間表示装置5は、その警告のメッセージを含む仮想空間画像を画像表示部51a、51bに表示させる(ステップS306)。
【0166】
なお、この適正位置判定処理では、ステップS304〜S306の各処理(触覚提示、力覚提示及びメッセージ表示)の一部が省略されてもよい。また、このフローチャートでは示していないが、指が不適正な位置関係を脱すると、触覚及び力覚の提示が解除され、警告メッセージが消えて、この適正位置判定処理を終了する。
【0167】
以上説明したように、本発明の画像処理装置1は、位置姿勢検出部(指位置検出手段)23により指の位置及び移動を検知(検出)し、仮想空間画像中に表示される仮想の対象物(実施形態では、電動ドリルやジグソー)の所定の位置(例えば、そのスイッチの位置)と指との座標が一致した(指が仮想の対象物のスイッチに接触した)場合において、別の指が対象物の不適正な位置(例えば、電動ドリルのドリルチャックやジグソーの刃の位置)に接触している(触れている)とき、触覚・力覚提示装置2により通常とは異なる触覚・力覚を発生させ、仮想空間表示装置5により警告のメッセージを仮想空間の所定の位置に表示させることとした。
【0168】
したがって、本発明の画像処理装置1及び触覚・力覚提示方法によって、仮想空間に表示されている対象物を取り扱うとき、その対象物が不適切に用いられた場合に、ユーザに注意を喚起することができるので、例えば、商品の正しい取り扱い方法を仮想空間中の実体験により習得し、あるいは、インターネットなどのネットワークを介した通信販売において、商品を実体験を伴って選択することができる。
【0169】
以上、本発明の画像処理装置の構成を、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明の画像処理装置は、上述の各実施形態の任意の2以上の構成(特徴)を適宜組み合わせて構成されてもよい。
【図面の簡単な説明】
【図1】 本発明の触覚・力覚提示装置の第1実施形態及びその触覚・力覚提示装置を有する画像処理装置の構成例を示す概念図である。
【図2】 図1に示すリアルグローブの回路構成例を示すブロック図である。
【図3】 図1に示すリアルグローブの外観構成例を示す外観図(一部図示を省略)である。
【図4】 図1に示すリアルグローブの触覚発生部の構成例を示す縦断面図である。
【図5】 図1に示すリアルグローブの力覚発生部の構成例を示す外観図である。
【図6】 図1に示すリアルグローブの力覚発生部の構成例を示す外観図である。
【図7】 図1に示すリアルグローブの位置姿勢検出部の構成例を示すブロック図である。
【図8】 図1に示す仮想空間表示装置の外観構成例を示す斜視図である。
【図9】 図1に示す仮想空間表示装置の回路構成例を示すブロック図である。
【図10】 図1に示す仮想空間表示装置の凹凸入力部の構成例を示す図(ブロック図、模式図)である。
【図11】 図1に示す仮想空間表示装置の画像表示部の構成例を示す図(ブロック図、模式図)である。
【図12】 図1に示す仮想空間表示装置の視線検出部の構成例を示す図(ブロック図、模式図)である。
【図13】 図1に示す情報処理装置の回路構成例を示すブロック図である。
【図14】 第2実施形態の触覚・力覚提示装置の触覚発生部の構成例を示す縦断面図である。
【図15】 第3実施形態の触覚・力覚提示装置のリアルグローブの外観構成例を示す外観図(一部図示を省略)である。
【図16】 第4実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示すブロック図である。
【図17】 第4実施形態の触覚・力覚提示装置の位置姿勢検出部の構成例を示す外観図(一部図示を省略)である。
【図18】 図17に示す位置姿勢検出部のZ方向検出センサの構成例を示す外観図である。
【図19】 本発明の画像処理装置における商品表示処理の一部を示すフローチャートである。
【図20】 本発明の画像処理装置における商品表示処理の一部を示すフローチャートである。
【図21】 本発明の画像処理装置における仮想空間中のPC画面に表示された商品を掴む場合の概念図の一例である。
【図22】 本発明の画像処理装置における適正位置判定処理の一例を示すフローチャートである。
【図23】 本発明の画像処理装置における仮想空間中の電動ドリルを取り扱っている場合の概念図の一例である。
【図24】 本発明の画像処理装置における適正位置判定処理の他の例を示すフローチャートである。
【図25】 本発明の画像処理装置における仮想空間中のジグソーを取り扱っている場合の概念図の一例である。
【符号の説明】
1……画像処理装置 2……触覚・力覚提示装置 2a……手袋 2b……フレームホルダ 2c……フレームカバー 2d……腕固定部 20……リアルグローブ 20a……筒状部 21……触覚発生部 21a……開口 21d……腕固定部本体 210……単位触覚発生部 211……動力発生部 211a……モータ 212……アクチュエータワイヤ 212a……束 213……ワイヤ保持部 214……触覚提示ピン 214a……接触板 214b……支持部
215……触覚提示ピン支持部 216……触覚提示部 216a……第1の板片 216b……第2の板片 216c……接触部 217……ガイド部 218……押え板 22……力覚発生部 22d……エアー注入部 221……フレーム 222……リンクモータ 23……位置姿勢検出部 23d……蓋体
231……X方向検出コイル 232……Y方向検出コイル 233……Z方向検出コイル 24……制御部 25……信号処理部 251……増幅部 252……A/D変換部 26……信号送受信部 27……遊び吸収部 28……手首固定部 29……ねじれ吸収部 291……帯状部 292……開口 30……電力供給部 5……仮想空間表示装置 51a、51b……画像表示部 511……レンズ 512……レンズ移動機構 513……ステッピングモータ 514……モータ制御部 515……液晶表示パネル 516……液晶駆動部 517……バックライト 518……バックライト制御部 519……トランジスタ
52a、52b……視線検出部 521……ハーフミラー 522……フィルタ 523……レンズ 524……CCD 525……CCD制御部 526……CCD出力増幅部 527……LED 528……LED制御部 529……トランジスタ 53a、53b……凹凸入力部 531……レンズ 532……CCD 533……CCD制御部 534……CCD出力増幅部 54……制御部 55……信号送受信部 56……位置姿勢検出部 57……装着部 58……信号処理部 59……三次元加速度センサ 60……ケーシング 61……X方向検出センサ 62……Y方向検出センサ 63……Z方向検出センサ 64……エリンバー 65……振動用圧電素子 66……検出用圧電素子 67、68……ワイヤ 69……交流電源 8……情報処理装置 81……演算処理部
82……衝突判定部 83……画像生成部 84……制御部 85……記憶部
86……信号処理部 87……信号送受信部 88……磁界発生部 9……基地局[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and a tactile / force sense presentation method.
[0002]
[Prior art]
When a virtual space image such as a book is displayed and a user (user) turns the displayed virtual book page, the virtual space is configured so that the book page turns according to the action. A desktop device is disclosed (for example, see Patent Document 1).
[0003]
However, in the above-described conventional apparatus, the user cannot feel the texture of the book paper with a hand or finger or the touch when touching the edge of the paper, for example, and the user holds the book with the hand or finger. I feel uncomfortable because I cannot feel the reaction force.
When turning a page of a book, it is a natural action to turn the page by recognizing the edge of the book paper by the touch of a finger and lifting the paper (page) with a finger. With conventional devices, you can't get a feel for a book with your hand or fingers, so every time you turn a page of a book, you need to pay attention to the edge of the book's paper and move your finger to that edge. Therefore, it takes time and effort to turn the pages of the book.
[0004]
By the way, in a virtual space, a personal computer (PC) is operated to display a virtual product (for example, a power tool) via a network such as the Internet, or a recording medium such as a CD-ROM. When viewing the product catalog data recorded in the above, take advantage of the virtual space to display and touch the virtual product in three dimensions, or when the product is a power tool, etc. There may be a desire to give it a try.
[0005]
In such a case, in a conventional virtual space display device such as the virtual space desktop device, when a virtual product is used in a dangerous state, there is a possibility that a force sensation is presented as it is to the user's hand or the like. There is. At such times, it is important to alert the user or guide the user to use it in an appropriate state.
[0006]
[Patent Document 1]
JP-A-6-282371
[0007]
[Problems to be solved by the invention]
An object of the present invention is to provide an image processing apparatus and a tactile / force-sensitive presentation that can alert a user when an object displayed in a virtual space is handled inappropriately. It is to provide a method.
[0008]
[Means for Solving the Problems]
In order to solve the above problems, in one aspect of the present invention, an image processing apparatus according to an embodiment of the present invention includes:
Image generating means for generating a virtual space image;
Display means for displaying the virtual space image generated by the image generation means;
Finger position detecting means for detecting the position of the finger in the virtual space;
Contact determination means for determining whether or not the finger detected by the finger position detection means is touching an object in a virtual space;
When it is determined by the contact determination means that the finger is touching the object, appropriate position determination means for determining whether or not the finger and the object are in an inappropriate positional relationship;
Tactile presentation means for generating and presenting a tactile sensation to be applied to the finger
When it is determined by the contact determination means that the finger has touched the object or moved together with the object, the tactile sense providing means is driven so that a sense corresponding to the contact is obtained on the finger pad. Control means for controlling,
When the appropriate position determining means determines that the finger and the object are in an inappropriate positional relationship, the control means gives a feel different from the feel of the object to the finger pad. The tactile sense presenting means is drive-controlled.
[0009]
According to the image processing apparatus of the present invention, in the virtual space image generated by the image generation means, when the user handles (touches or uses) an object displayed in the virtual space, the appropriate position determination means. When it is determined that the finger and the object are in an inappropriate positional relationship, the tactile sense providing means is driven and controlled so as to give the finger pad a feel different from the feel of the object.
[0010]
Therefore, with the image processing apparatus of the present invention, the user can actually handle the object displayed in the virtual space, and when the object is improperly used, a tactile sensation is generated. Because it presents, you can experience the actual handling of the object. For example, if the target is a product that you are considering purchasing (a product that actually moves, such as a power tool), you can experience it in a virtual space, so that you can easily select the product. Can do. In addition, for example, when the object is a tool to be learned, it is possible to experience in the virtual space, so that it is possible to easily learn the tool without having the tool.
[0011]
Here, preferably, the image processing apparatus of the present invention preferably includes a force sense presentation unit that generates and presents a force sense given to the finger,
When it is determined by the contact determination means that the finger has touched the object or moved together with the object, the force sense presenting means of the force sense presenting means can obtain a sense corresponding to the contact on the finger pad. Control means for controlling the drive;
And the control means has a feel that keeps the finger away from the object when the appropriate position determination means determines that the finger and the object are in an inappropriate positional relationship. The force sense presentation unit may be configured to drive and control so as to be applied to the finger pad.
Thereby, when calling attention as mentioned above, not only a tactile sense but also a force sense can be presented to the user's finger.
[0012]
An image processing apparatus according to another embodiment of the present invention includes:
Image generating means for generating a virtual space image;
Display means for displaying the virtual space image generated by the image generation means;
Finger position detecting means for detecting the position of the finger in the virtual space;
Contact determination means for determining whether or not the finger detected by the finger position detection means is touching an object in a virtual space;
When it is determined by the contact determination means that the finger is touching the object, appropriate position determination means for determining whether or not the finger and the object are in an inappropriate positional relationship;
Force sense presenting means for generating and presenting force sense given to the finger;
When it is determined by the contact determination means that the finger has touched the object or moved together with the object, the force sense presenting means of the force sense presenting means can obtain a sense corresponding to the contact on the finger pad. Control means for controlling the drive,
When the appropriate position determining means determines that the finger and the object are in an inappropriate positional relationship, the control means gives a feel to the finger pad so as to keep the finger away from the object. As described above, the force sense presenting means is driven and controlled.
[0013]
Here, preferably, the image processing apparatus of the present invention preferably includes a tactile sensation presentation unit that generates and presents a tactile sensation to be given to the finger
When it is determined by the contact determination means that the finger has touched the object or moved together with the object, the tactile sense providing means is driven so that a sense corresponding to the contact is obtained on the finger pad. Control means for controlling,
When the appropriate position determining means determines that the finger and the object are in an inappropriate positional relationship, the control means gives a feel different from the feel of the object to the finger pad. The tactile sense presenting means may be configured to drive and control.
[0014]
Preferably, when the appropriate position determining means determines that the finger and the object are in an inappropriate positional relationship, the display means has a predetermined message at a predetermined position in the virtual space. May be configured to display. In this case, preferably, the predetermined position is in the vicinity of the object when the improper positional relationship is established. Preferably, the predetermined message is a warning text corresponding to the object.
Preferably, the image processing apparatus of the present invention further includes storage means for storing the image data generated by the image generation means, and the determination results determined by the contact determination means and the appropriate position determination means. .
[0015]
Preferably, the image generation unit is configured to update and generate a virtual space image including a virtual finger image at a predetermined time interval based on the position of the finger detected by the finger position detection unit. Is done. In this case, preferably, the display means may be configured to continuously display the virtual space image updated as the finger moves.
[0016]
Here, preferably, the display means is used by being mounted on a face. Preferably, the display unit may include a communication unit that receives virtual space image data generated by the image generation unit. Further preferably, the image generation unit, the contact determination unit, the appropriate position determination unit, and the control unit are configured as one unit, and the one unit includes the display unit and / or the tactile sense presentation unit. You may provide the communication means which transmits / receives data mutually.
[0017]
In another aspect of the present invention, a tactile / force-sensing presentation method according to an embodiment of the present invention includes:
Generating a virtual space image;
Displaying a virtual space image generated by the image generation means;
Detecting the position of the finger in the virtual space;
Determining whether the detected finger is touching an object in virtual space;
When it is determined that the finger has touched the object or moved together with the object, a tactile sensation applied to the finger is generated and presented so that a sense corresponding to the contact can be obtained from the finger pad. Steps,
If it is determined that the finger is touching the object, determining whether the finger and the object are in an inappropriate positional relationship;
When it is determined that the finger and the object are in an inappropriate positional relationship, a tactile sensation to be given to the finger is generated and presented so as to give the finger pad a feel different from that of the object. And steps to
It is characterized by having.
[0018]
In addition, a tactile sensation / force sense presentation method in another embodiment of the present invention includes:
Generating a virtual space image;
Displaying a virtual space image generated by the image generation means;
Detecting the position of the finger in the virtual space;
Determining whether the detected finger is touching an object in virtual space;
When it is determined that the finger has touched the object or moved together with the object, a force sensation applied to the finger is generated so that a sense corresponding to the contact is obtained on the finger pad. Presenting steps;
When it is determined that the finger and the object are in an inappropriate positional relationship, a force sensation applied to the finger is generated so as to give the finger pad a feeling of moving the finger away from the object And presenting the steps
It is characterized by having.
Here, preferably, in the tactile / force sense presentation method according to the present invention, when it is determined that the finger and the object are in an inappropriate positional relationship, a predetermined position is set at a predetermined position in the virtual space. You may further have the step which displays a message.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of an image processing apparatus and a tactile / force-sensing presentation method of the present invention will be described in detail with reference to FIGS. This embodiment is given as an example, and the present invention should not be construed as being limited thereto.
FIG. 1 is a conceptual diagram showing a configuration example of a first embodiment of an image processing apparatus including a tactile / force sense presentation device (tactile sense presenting means and force sense presenting means) according to the present invention, and FIG. It is a block diagram which shows the circuit structural example of the
[0020]
As shown in FIG. 1, the
[0021]
Each
[0022]
The
[0023]
The information processing apparatus (shown as a mobile phone terminal in FIG. 1) 8 has a wireless communication function (such as a mobile phone terminal, a personal computer having a wireless communication function, and a portable information device called PDA (Personal Digital Assistants). It is comprised by the various apparatuses provided with the communication means) and the control function (control means).
In addition, the base station 9 is configured by various devices that provide information related to the virtual space image, such as various server computers connected to the Internet and mobile phone base stations that perform wireless communication with mobile phone terminals.
[0024]
In the present embodiment, each
Further, the
[0025]
Furthermore, the
Here, in this embodiment, the tactile / force
[0026]
In the present invention, the tactile / force
In addition, in the present invention, the tactile / force
[0027]
As shown in FIG. 2, the
[0028]
In addition, as shown in FIG. 3, the entire shape of the
Therefore, the user can easily and reliably attach and detach the
[0029]
Further, since the
The
The
[0030]
When the user wears the
[0031]
The
When the user wears the
Further, the
[0032]
The
When the user wears the
[0033]
The
The
[0034]
When the user wears the
In addition, the number of the strip | belt-shaped
[0035]
Moreover, the
Further, the
By arranging the
[0036]
When the user wears the
FIG. 4 is a longitudinal sectional view showing a configuration example of the tactile
[0037]
As shown in FIG. 4A, the tactile
[0038]
The
For example, the
[0039]
As shown in FIG. 4A, the
Therefore, when the
The
[0040]
The tactile
[0041]
In the first embodiment, as shown in FIG. 4 (A), the
In the first embodiment, the
[0042]
In FIG. 4A, for simplicity of explanation, one unit tactile sensation generating unit 210 (one tactile sense presenting pin 214) is shown as a representative. The
[0043]
Before and after each tactile
Each tactile
[0044]
Next, a tactile sensation generating operation by the tactile
When the fingertip (fingerpad) virtually contacts an object (virtual object) appearing in a virtual space by wearing a
[0045]
In this case, in the virtual space (three-dimensional space), an X axis, a Y axis, and a Z axis that are orthogonal to each other, that is, XYZ coordinates (three-dimensional coordinates) are assumed in advance. When a coincidence with the coordinates of the user's fingertip is detected and the coincidence is detected, it is determined that a part corresponding to the coordinates of the object has come into contact with a part corresponding to the coordinates of the user's fingertip. The coordinates of the user's fingertip are derived based on a signal (information) transmitted from the position /
[0046]
Next, the
[0047]
When the
At this time, as shown in FIG. 4C, the tactile
[0048]
This operation is performed by a designated unit tactile
In the unit tactile
[0049]
When the
[0050]
According to such a tactile
In addition, it is possible to prevent the
[0051]
5 and 6 are external views showing examples of the configuration of the force
As shown in FIG. 5, the
[0052]
The force
When the user wears the
[0053]
The link mechanism is attached to the back side of the user's finger when wearing the
That is, when the user wears the
[0054]
Further, the
In addition, each of the remaining
[0055]
The driving force (rotational force) of each
FIG. 5 shows the
[0056]
Each
Further, as shown in FIG. 6, a plurality of (four in this embodiment) position and orientation detection units (finger position detection means) for detecting the position and posture of a predetermined part of the hand or finger are provided inside the frame cover 2c. ) 23 is installed. Each position and
[0057]
That is, in this embodiment, each position and
[0058]
Moreover, since each position and
As shown in FIG. 3, the position /
[0059]
Next, the force sense generating operation by the force
When the user wears the
[0060]
The determination of the contact between the object and the user's hand or finger is the same as in the case of the tactile
The
[0061]
By adjusting the angle of the
Here, the
For example, as shown in FIG. 5, the interval between the
[0062]
FIG. 7 is a block diagram illustrating a configuration example of the position /
[0063]
On the other hand, the
The magnetic field generated by the magnetic field generator 88 is detected by the position /
[0064]
Each signal (detection data) detected in each of the XYZ directions by the position /
The
[0065]
Next, the virtual
In this embodiment, the virtual space display device (display unit) 5 is a spectacle-shaped device called an HMD (head mounted display), that is, a device mounted on the face.
FIG. 8 is a perspective view showing an external configuration example of the virtual
[0066]
The virtual
[0067]
FIG. 10 is a diagram (block diagram, schematic diagram) illustrating a configuration example of the
The light (light beam) incident on the
[0068]
The signal output from the
In addition, since the structure and effect | action of the uneven |
[0069]
FIG. 11 is a diagram (block diagram, schematic diagram) illustrating a configuration example of the
[0070]
When the virtual space image is displayed on the
Then, the liquid
The wearer (user) can visually recognize the virtual space image displayed on the liquid
[0071]
The driving of the stepping
When the stepping
[0072]
By changing the position of the
The adjustment of the position of the
In addition, since the structure and effect | action of the
[0073]
The line-of-
FIG. 12 is a diagram (block diagram, schematic diagram) illustrating a configuration example of the line-of-
[0074]
The driving of the
Infrared light emitted from the
[0075]
Then, a part of the reflected light (light beam) from the wearer's eyes is reflected by the
[0076]
The signal output from the
The
[0077]
On the other hand, visible light incident on the
In addition, since the structure and effect | action of the
[0078]
The virtual
The
[0079]
The virtual
In addition, the virtual
[0080]
In this case, as described above, the detection data of the plurality of position /
[0081]
Therefore, when the user's hand or arm is within the area of the image displayed by the
Then, in conjunction with the actual movement of the hand or finger wearing the
[0082]
The position /
A signal (detection data) from the position /
[0083]
Therefore, for example, when the user wearing the virtual
The three-
[0084]
A signal (acceleration data) detected by the three-
[0085]
Next, the
[0086]
When the finger or hand of the above-mentioned
[0087]
The
[0088]
The
[0089]
The
[0090]
In the present invention, the
[0091]
Furthermore, when the finger and the virtual product collide (contact), the
[0092]
The
[0093]
Further, some or all of the programs, data, and the like stored in the storage medium are connected to network lines (for example, the Internet, telephone lines, etc.) from other devices such as servers and clients (in the present embodiment, the base station 9). ), Etc., may be received from the signal transmission /
[0094]
The
The details of the magnetic field generator 88 are not shown, but for example, an orthogonal coil type (orthogonal coil type) magnetic field generator (X direction coil, Y direction coil, Z direction) corresponding to the position and
[0095]
The magnetic field generation unit 88 may be stored in the
[0096]
Next, the operation (action) of the
The user turns on the power of each part, wears the
[0097]
Further, if the user's arm falls within the virtual space image displayed on the
[0098]
In the
[0099]
In accordance with an instruction from the
[0100]
At the same time, the
[0101]
Further, when the user further moves his / her finger in the direction of pressing the key of the virtual personal computer, a virtual space image showing a state in which the key is pressed is displayed on the
In this case, the
[0102]
As described above, according to the tactile / force
Moreover, according to the virtual space image, a tactile sensation and a force sensation can be accurately and reliably presented to each finger.
[0103]
Thereby, the user can perform the operation (operation) in the virtual space comfortably, easily and reliably.
In particular, in the tactile
[0104]
Thereby, the user can feel the sensation corresponding to the contact with the object (target object) of each finger pad in the virtual space image more accurately and reliably with each finger pad.
In the tactile
[0105]
Further, since the force
In the above-described embodiment, the case where the personal computer displayed in the virtual space image is virtually operated as an example of use has been described. However, the present invention is not limited to this, and other examples such as a virtual book are used. It can also be used to handle other items. When dealing with virtual books, for example, when touching the edges of a virtual book or turning a page, when touching the edges of an actual book or turning a page, feel the tactile sensation and power applied to the finger. Can do.
[0106]
Next, a second embodiment of the image processing apparatus of the present invention will be described. FIG. 14 is a longitudinal sectional view showing a configuration example of a tactile sensation generating unit of the tactile / force sense presentation device according to the second embodiment of the present invention.
Hereinafter, the tactile / force
[0107]
As shown in FIG. 14 (A), in the haptic / force-sensing
[0108]
The tactile
The tactile
[0109]
In addition, one end side of the tactile
Between the
Further, a
[0110]
The
In addition, one end of the
[0111]
When the
[0112]
At this time, as shown in FIG. 14B, the movement of the
[0113]
On the other hand, the
The
[0114]
This operation is performed by a designated unit tactile
In the unit tactile
According to the tactile / force
[0115]
Next, a third embodiment of the image processing apparatus of the present invention will be described. FIG. 15 is an external view (partially omitted) illustrating an external configuration example of a real glove of the tactile / force-sensitive presentation device of the third embodiment. 15, the tactile
[0116]
Hereinafter, the tactile / force
As shown in FIG. 15, in the tactile / force
[0117]
The
The hollow portion of the
[0118]
When the
Such an
[0119]
When wearing the
In this air injection, for example, the
[0120]
In this way, the
Further, when removing the
[0121]
Thus, according to the
In the tactile / force
In the present invention, the unit tactile
[0122]
Next, a fourth embodiment of the image processing apparatus of the present invention will be described. FIG. 16 is a block diagram illustrating a configuration example of the position / orientation detection unit of the tactile / force sense presentation device according to the fourth embodiment, and FIG. 17 illustrates a configuration of the position / orientation detection unit of the tactile / force sense presentation device according to the fourth embodiment. FIG. 18 is an external view showing an example of the configuration of the Z direction detection sensor of the position and orientation detection unit shown in FIG. 17. In FIGS. 17 and 18, an X axis, a Y axis, and a Z axis that are orthogonal to each other are assumed.
[0123]
Hereinafter, the tactile / force
In the tactile / force
[0124]
In the tactile / force
[0125]
As shown in FIG. 17, the position /
[0126]
As shown in FIG. 18, the Z-
The shape of the
[0127]
When an AC voltage is applied from the
[0128]
Note that the configurations of the
[0129]
As shown in FIG. 16, a signal (detection data) corresponding to the angular velocity around the X axis detected by the X
The
[0130]
Next, the operation (action) of the
Prior to use, the user first causes the surrounding image captured by the concave /
[0131]
In this initial setting, the virtual
In this case, since the image picked up by the
[0132]
When the initial setting is completed, the virtual
The control unit 84 (discriminating unit) of the
[0133]
If the captured image includes a portion corresponding to a detected part such as a finger, the
[0134]
On the other hand, when the captured image does not include a part corresponding to a detected part such as a finger, the
[0135]
According to the tactile / force
The tactile / force-sensing
In the present embodiment, the position / orientation detection unit (finger position detection means) 23 is configured by a gyro sensor, but the present invention is not limited to this.
[0136]
In the present invention, the unit tactile
In the present invention, the
Although not described in detail, the above-described configuration can also be applied to the position /
[0137]
Next, referring to the flowcharts of FIGS. 19, 20, 22, and 24 and the conceptual diagrams of FIGS. 21, 23, and 25, based on each configuration of the above-described embodiment, especially the configuration of the first embodiment. The operation of the image processing apparatus of the present invention will be described. Here, a program for realizing each function described in these flowcharts is stored in the recording medium of the
[0138]
19 and 20 are flowcharts showing the product display process in the image processing apparatus of the present invention, and FIG. 21 is a flowchart showing the application end process in the image processing apparatus of the present invention. Note that these flowcharts are described based on each component in the first embodiment.
First, the product display process will be described with reference to FIGS. 19 and 20. The
[0139]
The
When the
[0140]
If it is determined in step S103 that the finger movement is detected, the
[0141]
At the same time, in the
[0142]
On the contrary, when it is determined that the coordinates of the two coincide, the
[0143]
In step S108, in a state in which the coordinates of the virtual PC screen and the finger coordinate match and the user's finger feels a tactile sensation and a force sensation, the
[0144]
If it is determined that the coordinates of the icon and the finger do not match, the
[0145]
If it is determined in step S108 that the icon and the finger match, the
[0146]
In step S112, the
[0147]
If it is determined in step S112 that the finger has moved forward, the
[0148]
If it is determined in step S114 that the coordinates of the icon and the finger have shifted, the
[0149]
FIG. 21 shows an example of a state where the user is holding a virtual product icon in the virtual space. This state corresponds to the state of step S111 in the above-described product display process.
In this merchandise display processing, a desired product is displayed in full size in a virtual space by grasping an icon (product icon) with a finger, but a virtual PC screen with a finger as a pointer The product may be displayed in the virtual space by touching the upper icon.
[0150]
Next, the appropriate position determination process will be described with reference to FIGS. This appropriate position determination process is executed in a state where the above-described product display process is executed and a virtual product is displayed in the virtual space. In addition, since the virtual space image is updated and created in accordance with the movement of the user's finger and the virtual
[0151]
First, an example of the appropriate position determination process will be described with reference to FIGS. The
[0152]
In step S202, the
[0153]
If it is determined that the coordinates of the two do not match, the process proceeds to step S201 and the same process is repeated. On the other hand, when it is determined that the coordinates of the two coincide, the
[0154]
If it is determined that the coordinates of the two do not match, the process proceeds to step S201 and the same process is repeated. On the other hand, if it is determined that the coordinates of the two match, the
[0155]
Here, “inappropriate positional relationship” means that the drill chuck of the electric drill is held with the other finger (hand) while touching the position of the switch of the electric drill with one finger (hand) as described above. A positional relationship like touching. FIG. 23 shows a conceptual diagram of this inappropriate positional relationship. In the case of handling an actual electric drill, if the user turns on the electric drill accidentally while touching the drill chuck, the user will be seriously injured. In the tactile sensation / force sensation presentation method, an unusual tactile sensation is given to a target finger. Therefore, with the image processing apparatus and the tactile / force-sensing presentation method of the present invention, it is possible to learn a correct method for handling products through actual experience in a virtual space.
[0156]
In addition, the
[0157]
Further, the
[0158]
In this appropriate position determination process, a part of each process (tactile sense presentation, force presentation, and message display) of steps S204 to S206 may be omitted. Although not shown in this flowchart, when the finger leaves the inappropriate positional relationship, the presentation of the tactile sensation and the force sense is canceled, the warning message disappears, and the appropriate position determination process ends.
[0159]
Next, another example of the appropriate position determination process will be described with reference to FIGS. Here, a description will be given using a jigsaw for cutting wood or metal as a virtual product. Similarly to the above-described example, the
[0160]
In step S302, the
[0161]
If it is determined that the two coordinates do not match, the process proceeds to step S301, and the same processing is repeated. On the other hand, when it is determined that the coordinates of the two coincide, the
[0162]
If it is determined that the coordinates of the two do not match, the process proceeds to step S301 and the same process is repeated. On the other hand, if it is determined that the coordinates of the two coincide, the
[0163]
Here, the “inappropriate positional relationship” means that the jigsaw blade is touched with the other finger (hand) while touching the position of the switch of the jigsaw with one finger (hand) as described above. Such a positional relationship is said. FIG. 25 shows a conceptual diagram of this inappropriate positional relationship. When handling an actual jigsaw, if the jigsaw switch is accidentally turned on while touching the jigsaw blade, the user will be seriously injured. -In the haptic presentation method, a tactile sensation different from normal is given to the target finger. Therefore, with the image processing apparatus and the tactile / force-sensing presentation method of the present invention, it is possible to learn a correct method for handling products through actual experience in a virtual space.
[0164]
In addition, the
[0165]
Further, the
[0166]
In this appropriate position determination process, a part of each process (tactile sense presentation, force sense presentation, and message display) of steps S304 to S306 may be omitted. Although not shown in this flowchart, when the finger leaves the inappropriate positional relationship, the presentation of the tactile sensation and the force sense is canceled, the warning message disappears, and the appropriate position determination process ends.
[0167]
As described above, the
[0168]
Therefore, when the object displayed in the virtual space is handled by the
[0169]
The configuration of the image processing apparatus of the present invention has been described based on the illustrated embodiment. However, the present invention is not limited to this, and the configuration of each unit is an arbitrary configuration having the same function. Can be substituted. The image processing apparatus of the present invention may be configured by appropriately combining any two or more configurations (features) of the above-described embodiments.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram illustrating a configuration example of a first embodiment of a haptic / force-sensing presentation apparatus of the present invention and an image processing apparatus having the haptic / force-sensing presentation apparatus.
FIG. 2 is a block diagram illustrating an example of a circuit configuration of a real glove illustrated in FIG.
3 is an external view (partially omitted) showing an external configuration example of the real glove shown in FIG. 1. FIG.
4 is a longitudinal sectional view showing a configuration example of a real glove tactile sensation generating unit shown in FIG.
FIG. 5 is an external view showing a configuration example of a real glove force generation unit shown in FIG. 1;
6 is an external view showing a configuration example of a real glove force generation unit shown in FIG. 1; FIG.
7 is a block diagram illustrating a configuration example of a real glove position and orientation detection unit illustrated in FIG. 1; FIG.
8 is a perspective view showing an example of an external configuration of the virtual space display device shown in FIG. 1. FIG.
9 is a block diagram illustrating a circuit configuration example of the virtual space display device illustrated in FIG. 1;
10 is a diagram (block diagram, schematic diagram) illustrating a configuration example of an unevenness input unit of the virtual space display device illustrated in FIG. 1;
11 is a diagram (block diagram, schematic diagram) illustrating a configuration example of an image display unit of the virtual space display device illustrated in FIG. 1;
12 is a diagram (block diagram, schematic diagram) illustrating a configuration example of a line-of-sight detection unit of the virtual space display device illustrated in FIG. 1;
13 is a block diagram illustrating a circuit configuration example of the information processing apparatus illustrated in FIG. 1;
FIG. 14 is a longitudinal sectional view showing a configuration example of a tactile sensation generating unit of the tactile / force sense presentation device according to the second embodiment.
FIG. 15 is an external view (partially omitted) showing an example of the external configuration of a real glove of the tactile / force sense presentation device of the third embodiment.
FIG. 16 is a block diagram illustrating a configuration example of a position / orientation detection unit of the tactile / force sense presentation device according to the fourth embodiment;
FIG. 17 is an external view (partially omitted) illustrating a configuration example of a position / orientation detection unit of the tactile / force sense presentation device according to the fourth embodiment;
18 is an external view illustrating a configuration example of a Z direction detection sensor of the position and orientation detection unit illustrated in FIG.
FIG. 19 is a flowchart showing a part of product display processing in the image processing apparatus of the present invention.
FIG. 20 is a flowchart showing a part of product display processing in the image processing apparatus of the present invention.
FIG. 21 is an example of a conceptual diagram when a product displayed on a PC screen in a virtual space is grasped in the image processing apparatus of the present invention.
FIG. 22 is a flowchart illustrating an example of appropriate position determination processing in the image processing apparatus of the present invention.
FIG. 23 is an example of a conceptual diagram when an electric drill in a virtual space is handled in the image processing apparatus of the present invention.
FIG. 24 is a flowchart showing another example of appropriate position determination processing in the image processing apparatus of the present invention.
FIG. 25 is an example of a conceptual diagram when a jigsaw in a virtual space is handled in the image processing apparatus of the present invention.
[Explanation of symbols]
DESCRIPTION OF
215 …… Tactile sense presentation
231 …… X
52a, 52b ……
82 ……
86 ……
Claims (16)
前記画像生成手段によって生成された仮想空間画像を表示する表示手段と、
仮想空間中における指の位置を検出する指位置検出手段と、
前記指位置検出手段によって検出された指の位置に基づいて、前記指が仮想空間内の対象物に触れているか否かを判定する接触判定手段と、
前記接触判定手段によって前記指が前記対象物の所定の位置に触れていると判定された場合には、前記所定の位置に触れていると判定された指とは別の指及び前記対象物が不適正な位置関係にあるか否かを判定する適正位置判定手段と、
前記指に与える触覚を発生して提示する触覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が指腹に得られるように前記触覚提示手段の駆動を制御する制御手段とを備え、
前記制御手段は、前記適正位置判定手段によって前記別の指及び前記対象物が不適正な位置関係にあると判定された場合には、前記対象物の感触とは異なる感触を前記不適正な位置関係にあると判定された指の指腹に与えるように前記触覚提示手段を駆動制御することを特徴とする画像処理装置。Image generating means for generating a virtual space image;
Display means for displaying the virtual space image generated by the image generation means;
Finger position detecting means for detecting the position of the finger in the virtual space;
Contact determining means for determining whether or not the finger is touching an object in a virtual space based on the position of the finger detected by the finger position detecting means;
If it is determined that the finger touches a predetermined position of the object by said contact determination means, said another finger and the object is a predetermined have been judged finger touching position Appropriate position determination means for determining whether or not the position relationship is inappropriate;
Tactile presentation means for generating and presenting a tactile sensation to be applied to the finger
When it is determined by the contact determination means that the finger has touched the object or moved together with the object, the tactile sense providing means is driven so that a sense corresponding to the contact is obtained on the finger pad. Control means for controlling,
Wherein, when said the another finger and the object by properly position determining means is determined to be improper positional relationship, the improper position different feel and touch of the object An image processing apparatus, wherein the tactile sense presenting means is driven and controlled to be applied to a finger pad of a finger determined to have a relationship .
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が前記指腹に得られるように前記力覚提示手段の駆動を制御する制御手段とを更に備え、
前記制御手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記指を前記対象物から遠ざけるような感触を前記指腹に与えるように前記力覚提示手段を駆動制御する請求項1に記載の画像処理装置。Force sense presenting means for generating and presenting force sense given to the finger;
When it is determined by the contact determination means that the finger has touched the object or moved together with the object, the force sense presenting means of the force sense presenting means can obtain a sense corresponding to the contact on the finger pad. Control means for controlling the drive,
When the appropriate position determining means determines that the finger and the object are in an inappropriate positional relationship, the control means gives a feel to the finger pad so as to keep the finger away from the object. The image processing apparatus according to claim 1, wherein the force sense presentation unit is driven and controlled as described above.
前記画像生成手段によって生成された仮想空間画像を表示する表示手段と、
仮想空間中における指の位置を検出する指位置検出手段と、
前記指位置検出手段によって検出された指の位置に基づいて、前記指が仮想空間内の対象物に触れているか否かを判定する接触判定手段と、
前記接触判定手段によって前記指が前記対象物の所定の位置に触れていると判定された場合には、前記所定の位置に触れていると判定された指とは別の指及び前記対象物が不適正な位置関係にあるか否かを判定する適正位置判定手段と、
前記指に与える力覚を発生して提示する力覚提示手段と、
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が前記指腹に得られるように前記力覚提示手段の駆動を制御する制御手段とを備え、
前記制御手段は、前記適正位置判定手段によって前記別の指及び前記対象物が不適正な位置関係にあると判定された場合には、前記指を前記対象物から遠ざけるような感触を前記不適正な位置関係にあると判定された指の指腹に与えるように前記力覚提示手段を駆動制御することを特徴とする画像処理装置。Image generating means for generating a virtual space image;
Display means for displaying the virtual space image generated by the image generation means;
Finger position detecting means for detecting the position of the finger in the virtual space;
Contact determining means for determining whether or not the finger is touching an object in a virtual space based on the position of the finger detected by the finger position detecting means;
If it is determined that the finger touches a predetermined position of the object by said contact determination means, said another finger and the object is a predetermined have been judged finger touching position Appropriate position determination means for determining whether or not the position relationship is inappropriate;
Force sense presenting means for generating and presenting force sense given to the finger;
When it is determined by the contact determination means that the finger has touched the object or moved together with the object, the force sense presenting means of the force sense presenting means can obtain a sense corresponding to the contact on the finger pad. Control means for controlling the drive,
Wherein, when said another finger and the object by the proper position determining means is determined to be improper positional relationship, a like feel away the finger from the object the improper An image processing apparatus that drives and controls the force sense presentation unit so as to be applied to a finger pad of a finger that is determined to have a proper positional relationship .
前記接触判定手段により前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が指腹に得られるように前記触覚提示手段の駆動を制御する制御手段とを更に備え、
前記制御手段は、前記適正位置判定手段によって前記指及び前記対象物が不適正な位置関係にあると判定された場合には、前記対象物の感触とは異なる感触を前記指腹に与えるように前記触覚提示手段を駆動制御する請求項3に記載の画像処理装置。Tactile presentation means for generating and presenting a tactile sensation to be applied to the finger
When it is determined by the contact determination means that the finger has touched the object or moved together with the object, the tactile sense providing means is driven so that a sense corresponding to the contact is obtained on the finger pad. Control means for controlling,
When the appropriate position determining means determines that the finger and the object are in an inappropriate positional relationship, the control means gives a feel different from the feel of the object to the finger pad. The image processing apparatus according to claim 3, wherein the tactile sense presenting unit is driven and controlled.
前記画像生成手段によって生成された仮想空間画像を表示するステップと、
仮想空間中における指の位置を検出するステップと、
前記検出された指の位置に基づいて、前記指が仮想空間内の対象物に触れているか否かを判定するステップと、
前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が指腹に得られるように、前記指に与える触覚を発生して提示するステップと、
前記指が前記対象物の所定の位置に触れていると判定された場合には、前記所定の位置に触れていると判定された指とは別の指及び前記対象物が不適正な位置関係にあるか否かを判定するステップと、
前記別の指及び前記対象物が不適正な位置関係にあると判定された場合には、前記対象物の感触とは異なる感触を前記不適正な位置関係にあると判定された指の指腹に与えるように、前記指に与える触覚を発生して提示するステップと、
を有することを特徴とする触覚・力覚提示方法。Generating a virtual space image;
Displaying a virtual space image generated by the image generation means;
Detecting the position of the finger in the virtual space;
Determining whether the finger is touching an object in a virtual space based on the detected finger position ;
When it is determined that the finger has touched the object or moved together with the object, a tactile sensation applied to the finger is generated and presented so that a sense corresponding to the contact can be obtained from the finger pad. Steps,
When the finger is determined to be touched to a predetermined position of the object, said another finger and the object is a finger is determined that the touch at predetermined positions improper positional relationship Determining whether or not
When it is determined that the other finger and the target object are in an inappropriate positional relationship, a touch of the finger determined to be in the incorrect positional relationship is different from the touch of the target object. Generating and presenting a tactile sensation to be given to the finger, as given to:
A tactile and haptic presentation method characterized by comprising:
前記画像生成手段によって生成された仮想空間画像を表示するステップと、
仮想空間中における指の位置を検出するステップと、
前記検出された指の位置に基づいて、前記指が仮想空間内の対象物に触れているか否かを判定するステップと、
前記指が前記対象物に接触しあるいは該対象物とともに移動したと判定される場合には、その接触に相当する感覚が前記指腹に得られるように、前記指に与える力覚を発生して提示するステップと、
前記検出された指が前記対象物の所定の位置に触れていると判定された場合に、前記所定の位置に触れていると判定された指とは別の指及び前記対象物が不適正な位置関係にあると判定された場合には、前記不適正な位置関係にあると判定された指を前記対象物から遠ざけるような感触を前記不適正な位置関係にあると判定された指の指腹に与えるように、前記指に与える力覚を発生して提示するステップと、
を有することを特徴とする触覚・力覚提示方法。Generating a virtual space image;
Displaying a virtual space image generated by the image generation means;
Detecting the position of the finger in the virtual space;
Determining whether the finger is touching an object in a virtual space based on the detected finger position ;
When it is determined that the finger has touched the object or moved together with the object, a force sensation applied to the finger is generated so that a sense corresponding to the contact is obtained on the finger pad. Presenting steps;
When it is determined that the detected finger is touching a predetermined position of the object, a finger other than the finger determined to be touching the predetermined position and the object are inappropriate. If it is determined that there is a positional relationship, the finger of the finger that is determined to be in the inappropriate positional relationship such that the finger determined to be in the inappropriate positional relationship moves away from the object. Generating and presenting a sensation to be applied to the finger to give to the belly;
A tactile and haptic presentation method characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003110366A JP4063131B2 (en) | 2003-04-15 | 2003-04-15 | Image processing apparatus and tactile / force-sensing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003110366A JP4063131B2 (en) | 2003-04-15 | 2003-04-15 | Image processing apparatus and tactile / force-sensing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004318399A JP2004318399A (en) | 2004-11-11 |
JP4063131B2 true JP4063131B2 (en) | 2008-03-19 |
Family
ID=33471248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003110366A Expired - Fee Related JP4063131B2 (en) | 2003-04-15 | 2003-04-15 | Image processing apparatus and tactile / force-sensing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4063131B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006185252A (en) * | 2004-12-28 | 2006-07-13 | Univ Of Electro-Communications | Interface device |
JP4989383B2 (en) * | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | Information processing apparatus and information processing method |
US9690381B2 (en) | 2014-08-21 | 2017-06-27 | Immersion Corporation | Systems and methods for shape input and output for a haptically-enabled deformable surface |
JP6891842B2 (en) * | 2018-03-26 | 2021-06-18 | 日本電信電話株式会社 | Tactile system |
-
2003
- 2003-04-15 JP JP2003110366A patent/JP4063131B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004318399A (en) | 2004-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6862006B2 (en) | Image processing apparatus and image processing method, and image processing program and recording medium of the same | |
US7250935B2 (en) | Force-feedback supply apparatus and image correcting method | |
JP4085691B2 (en) | Image processing device | |
US11481031B1 (en) | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users | |
US11596858B2 (en) | Operating device and control system | |
JP4048999B2 (en) | Image processing apparatus and image processing method | |
JP4023214B2 (en) | Tactile / force sense presentation device and tactile / force sense presentation system | |
US8035629B2 (en) | Hand-held computer interactive device | |
JP7401427B2 (en) | Positioning device and spatial positioning system | |
CN110549353B (en) | Force vision device, robot, and computer-readable medium storing force vision program | |
JP2003316493A (en) | Tactile sense presentation device | |
JP2011059862A (en) | Non-grounded inner force sense presentation device | |
JP4063131B2 (en) | Image processing apparatus and tactile / force-sensing method | |
JP2003308141A (en) | Inner force sense presenting device | |
JP4039111B2 (en) | Tactile / force sense presentation device and tactile / force sense presentation system | |
JPH07281818A (en) | Three-dimensional virtual instruction input system | |
JP2003337961A (en) | Device and method for image processing, image processing program, and recording medium therefor | |
JP2004213349A (en) | Inner force sense presentation device and system | |
JP6964302B2 (en) | Animation production method | |
JP2004213351A (en) | Inner force sense presentation device and system | |
WO2021059367A1 (en) | Animation production system | |
JP2023017438A (en) | Display image generation device | |
JP7394046B2 (en) | System, imaging device, information processing device, information processing method, and information processing program | |
WO2019043787A1 (en) | Vibration control device | |
JPWO2021059356A1 (en) | Animation production system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060414 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071224 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140111 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |