JP4100531B2

JP4100531B2 - 情報提示方法及び装置

Info

Publication number: JP4100531B2
Application number: JP02062199A
Authority: JP
Inventors: 昌彦稲見; 直樹川上; 康幸柳田; 太郎前田; ▲すすむ▼ 舘
Original assignee: Todai TLO Ltd
Current assignee: Todai TLO Ltd
Priority date: 1998-08-11
Filing date: 1999-01-28
Publication date: 2008-06-11
Anticipated expiration: 2019-01-28
Also published as: JP2000122176A; US6341869B1

Description

【０００１】
【発明の属する技術分野】
本発明は、バーチャルリアリティ（Virtual Reality : ＶＲ) 又はコンピュータビジュアライゼーション（Computer Visualization) の分野において用いられる情報提示方法及び装置に関し、特に、仮想物体を、実物体との遮蔽関係に齟齬を起こすことなく対話的に提示するために用いられる方法及び装置に関する。
【０００２】
【従来の技術】
近年の人工現実感の分野において、複合現実感に関する研究をはじめとして、物理空間と情報空間とを積極的に融合させることによりその工学的な応用をはかろうとする研究が活発化している。しかし、それらの研究の多くは、視覚提示装置として頭部搭載型ディスプレイ（ＨＭＤ：Head Mounted Display）又は通常のプロジェクタを用いているため、実物体と仮想物体との遮蔽関係に齟齬が生じ、現実感を著しく損なう場合がある。
【０００３】
さらに、視覚提示のみならず、例えば特願平６−１０２１８７号に示されるように、仮想物体とのインタラクションを含めた触覚提示をも同時に行おうとした場合には、触覚提示装置が視覚提示装置と視覚的及び物理的に干渉してしまう。これは視触覚を同時に提示するシステムを構築する際の大きな問題点である。
〔現実感融合〕
人間が存在し生活している物理空間と、コンピュータ及び通信ネットワークによって構成される情報空間とがシームレスに融合されることより、社会が今後一層高度に情報化されてゆくと考えられる。その実現に向けて、”wearable-computing””ubiquitous-computing”といった概念が提唱されている。
【０００４】
ここで、シームレスに「融合」する意義を改めて検討する。心理学などの分野においては、両眼融合をはじめとし、複数の情報との間で相互に密な関係を持ち、何らかの現象や対象に対して単独では生まれ得ない新たな知覚表象を与えるような処理を「融合（fusion）」と呼称している。
【０００５】
工学分野においても、複数のセンサから得られる情報を統一的に処理することによって、単一のセンサからは得られない新たなセンシング機能を得る、センサフュージョンという研究が行われている。
【０００６】
同様に、人間が存在している物理空間とコンピュータによる情報空間、又は視空間と触空間とを単純に混合するだけでなく、シームレスに融合することにより、それぞれ単独では生まれ得ない効果を得ることが期待できる。
〔物理空間と情報空間の融合〕
情報通信インフラが整備されるにしたがって、従来のブロードキャスト型の情報配信ではなく、オン・デマンド型又は双方向型の通信も主流になると考えられる。そしてインタラクティブ性の高い用途になればなるほど、情報のパーソナライズが進み、パーソナルな情報のためのパーソナルな現実感融合が必須課題となると考えられる。
【０００７】
よって、パーソナルなインタフェースである以上、現実感融合を低コストでコンパクトに実現する必要がある。
【０００８】
しかし、従来のディスプレイでは、デバイス自身が大きな重量と容積を占めてしまい、パーソナルな用途には不向きである。
【０００９】
一方、近年の人工現実感の分野で用いられているＨＭＤは、パーソナルな情報空間を生成することには適しているが、物理空間がディスプレイ自身によって遮蔽されてしまい、物理空間での作業が極めて困難である。当然、自分の身体映像を視認するのはＣＧ（Computer Graphics)によるメタファーとして以外は不可能であり、現実感の重要なファクターとされる自己投射性が低い。
【００１０】
ハーフミラー又は頭部搭載カメラを用い、物理空間の映像に情報空間の映像を重畳提示することを試みたシースルー型のＨＭＤも提案されている。これによると、映像（画像）の合成を観察者の目の近傍やコンピュータ内で行っているため、ワークスペース部分において、提示物体同士の遮蔽関係や焦点位置の不一致など、作業に著しく不利となる問題が原理的に起きてしまう。遮蔽関係の不一致に関する問題点は、近年多用されているＣＡＶＥ（Carolina Cruz-Neira et al. "Surround-Screen Projection-Based Virtual Reality: The Design and Inplementation of the CAVE" COMPUTER GRAPHICS Proceedings, Annual Conference Series, pp. 135-142, 1993)、又はＣＡＢｌＮ( 広瀬通孝他 "没入型多面ディスプレイ( ＣＡＢｌＮ) の開発" 日本バーチャルリアリティ学会第２回大会論文集，pp,46-53, 1996) など、没入型の投影式ディスプレイにおいても全く同様である。
〔視触覚融合提示〕
情報空間の物体を、視覚情報のみならず触覚情報をも含めて提示することにより、臨場感や作業性が向上することが報告されている。
【００１１】
しかし、触覚情報と視覚情報とを同時に提示しようとした場合に、視覚提示装置と触覚提示装置とが、光学的及び幾何的に干渉してしまう。これは、物理空間と情報空間の融合の部分と全く同様の問題であり、インタフェースの提示部分が物理空間に存在するからに他ならない。この間題に関して、現在までにＷＹＳＩＷＹＦディスプレ（Y. Yokokohji et al. ”What You can See is What You can Feel -Development of a virtual/Haptic Interface to Virtual Environment" In Proc., VRAIS '96, pp. 46-53, 1996)、ＰＤＤＭ( 野間春生他 "小型ディスプレイを用いたオブジェクト操作のための力覚インタフェース” 第１１回ヒューマン・インタフェース・シンポジウム論文集，pp. 491-496, 1995)、及びハプティックスクリーン（岩田洋夫他 "ハプティックスクリーン" 日本バーチャルリアリティ学会第１回大会論文集，pp. 7-10, 1996) などの研究が行われているが、多くの場合には、遮蔽関係の問題は無視したままの実装か、又はハーフミラーによる光学的な重畳による実装となってしまっている。
【００１２】
【発明が解決しようとする課題】
〔現実感融合構成論〕
ここで、従来のシステムの問題点の多くが、物理空間及び情報空間の両物体をインタラクションさせたいポイント以外で、物理空間と情報空間との合成を行っていることに起因していると推定する。つまり、一つのディスプレイで近距離から遠距離までの現実感融合をすべてカバーすることは現状の技術では極めて困難であり、用途により様々な距離、様々な大きさのデバイスを使い分けるのが当面の問題解決策ではないかと考える。
【００１３】
本願の発明者は、この問題意識に立って、手元で仮想物体を観察し操作することに適したディスプレイとして、オブジェクト指向型ディスプレイに関する提案を先に行った（特願平１０−１７２７２２号）。本願では、さらにその考えを拡張し、「近くの物体は近くのディスプレイ、遠くの物体（景色）は遠くのディスプレイ」であたかも舞台における書き割りのように提示することによって、より広い範囲でシームレスな現実感融合を図ろうとするものである。
【００１４】
この手法は、イメージ・ベースト・レンダリング（Image Based Rendering ）の分野での書き割り法による３次元仮想空間生成手法（尾崎信之他 "仮想視点によるテレイグジスタンス( 第三報）−景色平面を用いた仮想空間の構成の方法”第３５回計測自動制御学会学術講演会予稿集，pp. 209-210, 1996 、広瀬通孝他 "二次元実写画像を用いた三次元仮想空間の生成" 計測自動制御学会 Human Interface N & R, Vol 11, No. 2, pp.209-214, 1997)の現実世界における実装と考えることもできる。
【００１５】
しかし、広い範囲で適切に現実感融合を行うためには、提示範囲に応じて広範囲な空間にディスプレイを遍在させる、いわば同時遍在ディスプレイ（ubiquitous display）を構成する必要がある。しかし、従来のディスプレイでは、空間的、金銭的コストが多大なものとなってしまい実用的ではない。
【００１６】
従来のディスプレイは、多数の観察者を想定した空間に対して一方的で無指向性の情報を提示し続けるブロードキャスト型の情報提示には有効である。しかし、インタラクティブな用途におけるパーソナルな情報提示装置として利用しようとした場合、つまり特定の観察者に観察されるという目的に利用しようとした場合に、従来のディスプレイは無指向性であるがために、観察者のいない方向にも情報が放出され、それが無駄なものとなってしまう。また、対象外の人の目にも情報が入ることとなり、個人情報のプライバシーを守りにくいという問題点もある。
【００１７】
つまり、インタラクティブな映像情報提示装置としては、人に映像を見せる”ディスプレイ（display ）”というより、人から観察されるもの、いわば”オブザービ（observee）”と呼ぶべきデバイスが必要なのである。
【００１８】
”オブザービ”としては、観察者の視認可能な範囲にのみ映像を提示するシステムを構築すればよく、例えば物体により遮蔽されている部分や、背面など視野に入らない部分では映像を提示する必要がない。
【００１９】
この、観られる情報提示デバイス”オブザービ”の機能を実現するためには、人間の視認範囲であるビューイング・ボリューム（viewing volume）と一致するようにプロジェクション・ボリューム（projection volume ）を形成させることが可能な映像提示システム（装置）が有力であると考えられる。
【００２０】
以上の機能を果たすシステムとしては、観察者の位置を測定し、観察者に追従するようにレンズなどの光学系を用いて提示映像を観察者にのみ提示するシステム、及び、光を入射した方向にそのまま反射する性質を持った再帰性反射スクリーンに対して観察者と共役な視点から映像を投影するシステムを挙げることができる。
【００２１】
しかし、前者の観察者追従型のシステムは、提示装置にコストがかかり、同時遍在的な用途への利用は困難である。これに対して、後者の投影型の映像提示システムは、映像提示のための空間的、金銭的コストをプロジェクタ側に集約させることにより、極めて容易に軽量の提示面を大量に生成することが可能という特長を持つ。また、観察者にとって真に必要な情報を必要なだけ提示することにより、限られた通信インフラの帯域の有効利用にもつながるという特長もある。さらに、観察者以外は映像を見ることができないため、観察者のプライバシーを守ることが可能である。
【００２２】
また、一人に対して１つ以上のディスプレイが必要な状況においては、空間側ではなく人間側に情報生成機能を付加した方がコストパフォーマンスの良いシステム構成ともいえる。
【００２３】
また、前者の観察者追従型のシステムは、スクリーン位置の変化による焦点深度の問題、及び光量の問題などが発生してしまう。通常、人に映像を見せる”ディスプレイ”は、より広い範囲に情報を提示することを目的としているため、広視野化が研究のポイントの一つとなっている。
【００２４】
従来のスクリーンもその例外ではなく、ガラスビーズなどを用いて入射した光を拡散させることが目的のデバイスであると換言できる。つまり、映画館に代表される”ディスプレイ”のために用いるスクリーンは、距離が離れれば離れるほど光量が２乗に反比例して減少するという性質を本質的に持っているわけである。
【００２５】
よって、”オブザービ”を実現するためのスクリーンとして必要な機能は、入射した光を拡散させることではなく、観察者の方向に再帰的に反射することであると考えられる。
【００２６】
また、”オブザービ”は、各々の人に対して、全く独自の映像情報を提示することが可能となるため、物理的には１つのデバイスであっても、それを観察する各人にそれぞれ全く独立の情報を提示することも可能となり、空間をさらに有効に利用することができる。
【００２７】
さて、”オブザービ”を実現するための画像表示方法に関して、本発明者は特願平１０−１７２７２２号として先に提案したのであるが、さらに、次のような問題がある。
【００２８】
すなわち、仮想空間において、視覚情報以外の感覚情報、特に触覚情報を観察者に提示する場合に、触覚提示装置を観察者の前方などに設置する必要がある。また、３次元位置センサのような人体状態計測センサが観察者の目と提示される映像との間に存在することもある。
【００２９】
もし、仮想空間において本来は見えないはずのこれらの物体が観察者から見えてしまった場合には、仮想環境の現実感を損なってしまうことになる。特に、提示された映像の手前に見えないはずの物体が見えた場合には、その物体によって視覚上の遮蔽が発生し、提示された映像に死角ができて著しく現実感を損なってしまう。
【００３０】
この問題の致命的な例が、仮想物体と実物体の奥行き関係が映像上逆転してしまった場合であり、その場合には物体が透けて見える透明視解釈が発生し、現実感を著しく損なってしまう。
【００３１】
例えば、図５（Ａ）に示すように、本来は仮想のボールＢＬ１が実世界の人間の手ＨＤの手前に見えるはずであるのに、図５（Ｂ）に示すように、ボールＢＬ１と手ＨＤの前後関係が逆転した場合には、遮蔽関係に矛盾が生じ、極めて不自然な見え方となる。
【００３２】
したがって、観察者と提示される映像との間に存在する実物体のうち、本来は見えないものは見えないよう、また見えるべきものは見えるようにし、実物体と仮想物体との遮蔽関係に齟齬が生じないようにする必要がある。
【００３３】
本発明は、上述の問題に鑑みてなされたもので、実物体と仮想物体との間に正しい遮蔽関係を保つことができ、現実感の高い仮想空間を提示することのできる情報提示方法及び装置を提供することを目的とする。
【００３４】
【課題を解決するための手段】
請求項１の発明に係る方法は、図１及び図２に示すように、観察者ＢＳの眼の位置に対して光学的に共役な位置に配置されたプロジェクタ１４，１４Ａから再帰性反射機能を有するスクリーン１１，１１Ａに向かって画像を投影することによって前記観察者ＢＳに仮想空間の情報を提示する方法であって、前記仮想空間によって遮蔽すべき実物体ＪＴ、例えば触覚提示装置１６，１６Ｚの全部又は一部が前記スクリーンの手前側に存在する場合に、前記実物体ＪＴ，１６，１６Ｚの全部又は一部のさらに手前側に、再帰性反射機能を有する遮蔽材を配置する。例えば再帰性反射材が塗布された遮蔽スクリーン１８を配置し又は再帰性反射材１８Ａ，１８Ｚを塗布する。さらに、この発明では、前記スクリーン１１，１１Ａ及び前記遮蔽材１８，１８Ａ，１８Ｚの両者に渡って、前記プロジェクタ１４，１４Ａからの画像を投影することによって、前記実物体の全部又は一部を、前記プロジェクタ１４，１４Ａによる投影から光学的に隠す。つまり、この発明では、前記スクリーン及び遮蔽材の両者が、前記プロジェクタから見たときの一つの投影面を構成している。
【００３５】
請求項２の発明に係る方法では、前記遮蔽材は、前記実物体ＪＴの全部又は一部に塗布された再帰性反射材である。
【００３６】
請求項３の発明に係る方法では、前記遮蔽材は、再帰性反射機能を有する遮蔽スクリーン１８である。
【００３７】
請求項４の発明に係る方法では、前記実物体は、前記観察者ＢＳに対して触覚を提示するための触覚提示装置１６である。
【００３８】
請求項５の発明に係る装置は、観察者の眼の位置に対して光学的に共役な位置に配置されたプロジェクタと再帰性反射機能を有するスクリーンとを備える。この装置は、前記スクリーンに向かって前記プロジェクタから画像を投影することによって前記観察者に仮想空間の情報を提示する。前記仮想空間によって遮蔽すべき実物体の全部又は一部は、前記スクリーンの手前側に存在している。前記実物体の全部又は一部のさらに手前側には、再帰性反射機能を有する遮蔽材が配置されている。前記プロジェクタは、前記スクリーン及び前記遮蔽材の両者に渡って、画像を投影することによって、前記実物体の全部又は一部を、前記プロジェクタによる投影から光学的に隠す構成となっている。
【００４０】
請求項６の発明に係る装置では、画像を投影するために観察者の眼の位置に対して光学的に共役な位置に配置されたプロジェクタ１４Ａと、前記観察者ＢＳによる観察の対象となる対象物についての画像を生成して前記プロジェクタ１４Ａに出力する画像生成装置１３Ａと、前記プロジェクタ１４Ａから投影される画像を映し出すための再帰性反射機能を有するスクリーン１１Ａと、前記観察者ＢＳに対して触覚を提示するための触覚提示装置１６と、再帰性反射機能を有する遮蔽材とを有する。さらに、前記触覚提示装置の全部又は一部は、前記スクリーンの手前側に存在している。また、前記触覚提示装置の全部又は一部のさらに手前側には、前記遮蔽材が配置されている。前記プロジェクタは、前記スクリーン及び前記遮蔽材の両者に渡って画像を投影することによって、前記触覚提示装置の全部又は一部を、前記プロジェクタによる投影から光学的に隠す構成となっている。すなわち、前記触覚提示装置１６は、再帰性反射機能を有する遮蔽材によって、例えば再帰性反射材が塗布された遮蔽スクリーン１８又は再帰性反射材１８Ａ，１８Ｚを塗布することによって、前記プロジェクタ１４Ａによる投影から光学的に隠されてなる。
【００４１】
請求項７の発明に係る装置では、前記プロジェクタ１４Ａは、当該プロジェクタ１４Ａを前記観察者ＢＳの眼の位置に対して光学的に共役な位置に配置するための光学部材であるハーフミラー１５とともに一体化され、前記観察者ＢＳの頭部に搭載可能なように構成されてなる。
【００４３】
【発明の実施の形態】
図２は本発明に係る情報提示装置１Ａの構成を配置的に示す図、図３は情報提示装置１Ａの構成を機能的に示す図、図４はスクリーン１１Ａに用いられる再帰性反射材ＲＵによる再帰性反射機能を説明するための図である。
【００４４】
図２及び図３において、情報提示装置１Ａは、スクリーン１１Ａ、処理装置１３Ａ、プロジェクタ１４Ｌ，１４Ｒ、ハーフミラー１５Ａ、触覚提示装置１６、頭部位置計測装置１７Ａ、及び背景スクリーン１９を備える。プロジェクタ１４Ｌ，１４Ｒは、それぞれ左眼用、右眼用であり、小開口径の単眼のものであって、互いに同一の構造である。したがって、プロジェクタ１４Ｌ，１４Ｒのいずれか又は両方を指して「プロジェクタ１４Ａ」と記載することがある。
【００４５】
スクリーン１１Ａは、プロジェクタ１４Ａによって投影される画像（映像）ＨＧを映し出し、そこに画像ＨＧの内容である対象物（仮想物体）を観察者ＢＳに対して視覚的に提示するためのものである。スクリーン１１Ａの形状は、任意の形状とすることが可能であるが、画像ＨＧによって提示される対象物と同じ形状又はそれに近似した形状とすることが好ましい。しかし、個々の対象物の形状に合わせたスクリーン１１Ａを製作することは非効率的であるので、それにこだわることなく、例えば平面、曲面、閉曲面など、対象物に対応した任意の形状とすることができる。閉曲面として、例えば、球状、卵形状、多面体、又はドーナツ型などとすることができる。
【００４６】
スクリーン１１Ａの本体に用いる材料として、例えば発抱スチロールのように、軽量で任意の形状に容易に加工できる材料が好ましい。スクリーン１１Ａの表面には、ガラスビーズなどを用いた再帰性反射材が塗布され、再帰性反射機能を有したスクリーン（再帰性反射スクリーン）となっている。
【００４７】
図４（Ｂ）に示すように、通常の材料ＭＵの表面では、反射光ＬＲは、入射光ＬＣの入射角度に余り依存することなくあらゆる方向に射出する。しかし、再帰性反射材ＲＵを用いて再帰性反射スクリーンとした場合には、図４（Ａ）に示すように、反射光ＬＲは、そのほとんどが入射光ＬＣの入射した方向に射出する。したがって、スクリーン１１Ａの表面に投影された映像は、観察者ＢＳの視線方向に高い輝度を有する。つまり、観察者ＢＳは、スクリーン１１Ａ上に投影された映像を、極めて高い輝度で観察することができる。
【００４８】
このように、再帰性反射材ＲＵは、光源の方向に強い指向性を持って反射する材料であり、コーナーキューブアレイ又はガラスビーズなどを用いて実現される。
【００４９】
処理装置１３Ａは、仮想環境映像生成部１３ａにおいて、左右のプロジェクタ１４Ｌ，１４Ｒに対して画像情報ＤＬ，ＤＲを生成して送出する。例えばバレーボール大の卵形状のスクリーン１１Ａに対しては、全体として卵形状を呈した対象物の画像が生成される。例えば、猫、兎、リスなどの小動物の画像である。生成される画像は、三次元情報を持った三次元画像である。したがって、任意の視点からの二次元画像である画像情報ＤＬ，ＤＲをそれぞれ出力することができる。
【００５０】
つまり、処理装置１３Ａは、スクリーン１１Ａに対する観察者ＢＳの視点に応じて、スクリーン１１Ａに適切な画像が表示されるように、修正した画像情報ＤＬ，ＤＲを生成する。つまり、スクリーン１１Ａ及び観察者ＢＳの位置の変化に追従して、プロジェクタ１４Ｌ，１４Ｒから投影される画像の内容、形状、及び位置などを変化させる。例えば、スクリーン１１Ａに、ある対象物を正面から見た画像が映っている場合に、観察者ＢＳがスクリーン１１Ａを鉛直線を軸としてその場で９０度回転させたとすると、スクリーン１１Ａにはその対象物を側面から見た画像が映るように、画像の内容を変化させる。
【００５１】
なお、スクリーン１１Ａに投影された画像を観察者ＢＳが左右の眼で立体視できるよう、各プロジェクタ１４Ｌ，１４Ｒに出力される画像情報ＤＬ，ＤＲは互いに視差を有している。
【００５２】
処理装置１３Ａは、反力演算部１３ｂにおいて、触覚提示装置１６の操作部１６１に与える反力を演算して制御装置１６０に指令を与える。
【００５３】
処理装置１３Ａとして、マイクロコンピュータ、パーソナルコンピュータ、又はワークステーションなどが用いられる。処理装置１３Ａにおいては、上述の画像情報ＤＬ，ＤＲを生成するために、コンピュータグラフィックスのためのデータ及びプログラム、レンダリングソフトウエア、その他の制御プログラムなどが搭載されている。また、物体の形状モデルなどのデータベースを格納した仮想空間情報記憶装置ＤＢ１を参照する。仮想環境映像生成部１３ａ及び反力演算部１３ｂは、それぞれ、それらのプログラムの実行に基づく機能の１つとして実現される。
【００５４】
プロジェクタ１４Ａは、焦点深度の深い画像を投影するために、開口径ができるだけ小さくなるように絞れること、例えば絞りの直径が５ｃｍ以下、又は２ｃｍ以下、さらには１ｍｍ以下であることが好ましい。開口径を絞り込むことによってピンホール光学系が形成され、焦点深度が深くなる。
【００５５】
プロジェクタ１４Ａは、観察者ＢＳの左右の眼の位置に対して光学的に共役な位置に設けられる。その場合に、ハーフミラー１５Ａとともに観察者ＢＳの頭部に一体的に装着することの可能な頭部搭載型とすることが好ましい。
【００５６】
なお、プロジェクタ１４Ａを頭部搭載型とするためには、例えば、観察者ＢＳが頭部に被ることの可能なキャップ又はヘルメットに、プロジェクタ１４Ａ、ハーフミラー１５Ａ、及び頭部位置計測装置１７Ａを取り付けておけばよい。又は、ヘッドマウンテッドディスプレイのように、バンドなどによって頭部又は顔面に装着するように構成してもよい。
【００５７】
ハーフミラー１５Ａは、プロジェクタ１４Ａから投射される光を反射するが、スクリーン１１Ａに表示された映像の光を透過する。プロジェクタ１４Ａは、ハーフミラー１５Ａによって、観察者ＢＳの左右の眼の位置に対して光学的に共役な位置に設けられる。これによって、観察者ＢＳによるスクリーン１１Ａ上に提示される物体の観察が可能である。
【００５８】
触覚提示装置１６は、観察者ＢＳの指ＢＳＦに対して触覚を提示するための装置である。つまり、触覚提示装置１６には、指ＢＳＦを挿入して操作を行う操作部１６１が設けられ、アーム１６２〜１６４及びアクチュエータ１６５，１６６によって可動に支持されている。操作部１６１には、スクリーン１１Ａが取り付けられており、スクリーン１１Ａは操作部１６１とともに移動する。つまり、スクリーン１１Ａの位置及び姿勢は、操作部１６１の位置及び姿勢によって決まる。
【００５９】
アクチュエータ１６５，１６６は、操作部１６１を移動駆動し又は操作部１６１に反力を発生させるためのものである。各アクチュエータ１６５，１６６の位置に、アーム１６２〜１６４の角度を検知する角度センサＳＥ１，ＳＥ２が設けられている。角度センサＳＥ１，ＳＥ２の出力信号に基づいて、３次元空間においてスクリーン１１Ａの配置されている位置及び姿勢がリアルタイムで計測される。なお、本明細書においては、位置及び姿勢の両方を合わせて「位置」と記載することがある。制御部１６０は、角度センサＳＥ１，ＳＥ２の出力信号及び処理装置１３Ａからの指令に基づいて、操作部１６１の全体を制御する。
【００６０】
触覚提示装置１６の操作部１６１は、通常、スクリーン１１Ａの前方にあり、したがって観察者ＢＳから見えるのであるが、仮想空間の提示の際には本来は見えてはならない物体である。そのため、操作部１６１をプロジェクタ１４Ａによる投影から光学的に隠すために、操作部１６１に再帰性反射材１８Ａが塗布されている。また、触覚提示装置１６の他の部分についても、観察者ＢＳから見える可能性のある部分には、再帰性反射材１８Ａが塗布されている。
【００６１】
なお、観察者ＢＳに与える触覚として、例えば重量感覚を提示するには、対象物の仮想的な重量に相当する力でスクリーン１１Ａを下方向に引っ張ればよい。重量感覚以外の触覚の例として、何かを発射したときの反動の感覚、水その他の液体中のように粘性の高い媒体中で対象物を動かしたかのような粘性感覚、風により対象物が揺らがされる感覚、又は、仮想ボールを仮想の壁に投げつけたときに跳ね返ってくる力などがある。触覚提示装置１６によって、観察者ＢＳは、スクリーン１１Ａに投影された画像中の対象物の力覚を体感することが可能である。
【００６２】
頭部位置計測装置１７Ａは、観察者ＢＳの頭部に取り付けられ、頭部の位置つまり眼の位置及び視線の方向を計測する。頭部位置計測装置１７Ａによる計測信号は処理装置１３Ａにフィードバックされる。処理装置１３Ａにおいて、スクリーン１１Ａの位置と観察者の位置とから、これらの相対位置を演算し、対象物に対する観察者ＢＳの視点を求める。
【００６３】
背景スクリーン１９は、再帰性反射スクリーンであり、スクリーン１１Ａの背後に設けられる。背景スクリーン１９には、スクリーン１１Ａに投影する対象物についての背景を投影する。背景スクリーン１９は、再帰性反射材が塗布された壁面又は床面それ自体であってもよく、又は再帰性反射機能を有するシートであってもよい。
【００６４】
次に、情報提示装置１Ａの動作について説明する。なお、ここでは、触覚提示装置１６及び観察者ＢＳの初期位置は、仮想空間との位置合わせが済んでいるものとする。
【００６５】
頭部位置計測装置１７Ａによって得られた視点位置及び視点情報と、仮想空間の情報とに基づいて、処理装置１３Ａによって観察者ＢＳの視点及び視線での仮想空間の映像が生成される。生成された映像は、プロジェクタ１４Ｌ，１４Ｒによってスクリーン１１Ａに投影される。スクリーン１１Ａに投影された映像は、観察者ＢＳによって観察される。観察者ＢＳは、各プロジェクタ１４Ｌ，１４Ｒによって投影された映像を、それぞれ左右の眼で分離して観察することができる。観察者ＢＳは、肉眼で、投影による仮想物体とそこに存在する実物体とを同時に見ることができる。このようにして、仮想空間が実空間とともに観察者ＢＳに提示される。
【００６６】
一方、触覚提示装置１６の操作部１６１に接している指ＢＳＦの先端部の位置が、角度センサＳＥ１，ＳＥ２からの出力信号に基づいて演算される。観察者ＢＳの指ＢＳＦが仮想物体（映像）の内部に入らないよう、各アクチュエータ１６５，１６６を駆動制御して反力を発生させる。これによって、観察者ＢＳには、あたかもそこに実物体があるかのような触感が提示される。
【００６７】
そして、触覚提示装置１６にも再帰性反射材１８Ａが塗布されているため、プロジェクタ１４Ａから投影される映像は触覚提示装置１６でも反射し、観察者ＢＳの眼に入る。触覚提示装置１６により反射した映像は、スクリーン１１Ａにより反射した映像と同じように観察者ＢＳの眼に映るので、プロジェクタ１４Ａから投影される映像のみが観察者ＢＳに提示される。再帰性反射材１８Ａの性質によって、観察者ＢＳの視線方向の光線以外は眼に戻ってこないため、観察者ＢＳから触覚提示装置１６は見えない。すなわち、触覚提示装置１６は、観察者ＢＳに対しては視覚的に透明である。
【００６８】
もし、仮に、触覚提示装置１６が観察者ＢＳから見えた場合には、触覚提示装置１６によって視覚上の遮蔽が発生し、プロジェクタ１４Ａによって提示された映像に死角ができて著しく現実感を損なってしまう。
【００６９】
例えば、図６（Ａ）に示すように、触覚提示装置１６Ｚの表面には再帰性反射材１８Ｚが塗布されているので、触覚提示装置１６Ｚは視覚的に透明化され、観察者ＢＳからは見えない。仮想物体ＶＴ１は、手ＨＤのみによって遮蔽される。もし、仮に、再帰性反射材が塗布されていない触覚提示装置１６Ｘを用いた場合には、図６（Ｂ）に示すように、仮想物体ＶＴ１は、触覚提示装置１６Ｘによって遮蔽されてしまい、現実感が著しく損なわれる。
【００７０】
特に、本実施形態のように、仮想空間において視覚以外の感覚として触覚を提示する場合では、触覚提示装置のようなデバイスをユーザの前面に設置する必要がある。従来のＣＡＶＥ及びＣＡＢＩＮなどのように、背面投影型のスクリーンを使った裸眼の又はステレオ視用のゴーグルを用いた仮想空間提示方法では、仮想環境の内部にデバイスが見え、仮想環境の現実感を著しく損なう。また、ＨＭＤなどを使用した仮想空間提示方法では、デバイスは見えないが、自分自身の手はＨＭＤにＣＧとして描かれる場合が多く、これも現実感に欠ける。
【００７１】
本実施形態のように、触覚提示装置１６に再帰性反射材１８Ａを塗布し、観察者ＢＳの眼の位置と共役な位置から映像を投影することによって、触覚提示装置１６もスクリーンの一部として機能し、視覚的にはあたかも仮想空間から触覚提示装置１６を消去したかのように見ることができる。しかも、触覚提示装置１６による影の部分は観察者ＢＳの視野の上でも死角となるので、影が生じない。
【００７２】
そして、観察者ＢＳの手などは、再帰性反射機能を有さないので、スクリーン１１Ａに投影された映像と比較して輝度が著しく低い。したがって、自分の手などに映り込みが生じることがなく、手は手として見ることができる。
【００７３】
このように、実物体に対して選択的に再帰性反射材を使い分けることにより、不必要な実物体をカモフラージュして視覚的に「透明」な存在にすることがでる。つまり、「光学迷彩（optical camouflage) 」が実現される。これによって、視覚と触覚との融合が図られ、実物体と仮想物体との間に正しい遮蔽関係が保たれ、現実感の高い仮想空間を提示することができる。
【００７４】
このように、本実施形態の情報提示装置１Ａは、観られる情報提示デバイス”オブザービ”に必要とされる「見える物だけ見せる」という条件を満足している。
【００７５】
なお、上にも述べたように、再帰性反射材は、触覚提示装置１６などの実物体に直接に塗布してもよいし、又は紙や布などに塗布して再帰性反射機能を有した遮蔽スクリーンを製作し、これで隠したい実物体を覆ってもよい。また、触覚提示装置１６だけでなく、その他の感覚提示装置、その他のデバイス、配線、又は家具など、あらゆる実物体を仮想空間から隠すことができる。
【００７６】
本実施形態の情報提示装置１Ａによる他の利点は次のとおりである。
（１）スクリーン１１Ａを再帰性反射スクリーンとしたことにより、屋内光の下で充分に観察可能な程度の高い輝度が得られる。また、再帰性反射材の塗布が可能な全ての物体をスクリーンとして利用できるので、非常に軽量で且つ自由な形状のディスプレイを実現することができる。
（２）観察者ＢＳの眼と光学的に共役な位置から映像を投影するので、スクリーン１１Ａの形状に起困する像の歪みが生じない。
（３）プロジェクタ１４Ａの画像投影部の開口径を光量の許す限り絞り込むことにより、焦点深度が大きくなり、任意形状及び任意位置のスクリーン１１Ａに対し、広い範囲でピントずれを起こすことなく結像させることが可能である。
（４）スクリーン輝度の距離依存性が低減する。
（５）観察者ＢＳにより観察される両眼像が空間的に分離されるので、裸眼立体視が可能となる。立体視を行うことにより、スクリーン１１Ａ、背景スクリーン１９、及び触覚提示装置１６の表面の汚れ、又はスクリーン間の継ぎ目などが目立たなくなる。
（６）プロジェクタ１４Ａをハーフミラー１５Ａなどの光学部材とともに一体化し、観察者ＢＳの頭部に搭載可能なように構成することにより、観察者ＢＳは、頭部を動かすことによる見回し動作、又は部屋内の自由な移動などが可能となる。
（７）構成が比較的単純であるので、低コストで実現可能である。
【００７７】
上述の実施形態の情報提示装置１Ａにおいては、スクリーン１１Ａを配置した例について説明したが、このスクリーン１１Ａを省略してもよい。その場合に、背景スクリーン１９に左眼用及び右眼用の視差のある映像を投影し、投影された左右の映像によって仮想物体の表面がスクリーン１１Ａの位置（距離）にあるように表示する。そして、その仮想物体の表面形状に合わせて、触覚提示装置１６により反力を提示するように構成する。触覚提示装置１６が背景スクリーン１９の手前に配置されているが、スクリーン１１Ａがない場合でも、触覚提示装置１６に再帰性反射材を塗布しておくことによって、観察者ＢＳから触覚提示装置１６が見えることはない。また、スクリーン１１Ａを省略するのではなく、背景スクリーン１９を省略することも可能である。
【００９８】
【発明の効果】
本発明によると、実物体と仮想物体との間に正しい遮蔽関係を保つことができ、現実感の高い仮想空間を提示することができる。
【００９９】
請求項４、６、及び７の発明によると、観察者に対して触覚を提示することができ、視覚の提示と融合させることによってより一層高い現実感のある仮想空間を提示することができる。しかも、触覚提示装置を設けても正しい遮蔽関係を保つことができる。
【図面の簡単な説明】
【図１】本発明の原理を説明するための図である。
【図２】本発明に係る情報提示装置の構成を配置的に示す図である。
【図３】情報提示装置の構成を機能的に示す図である。
【図４】スクリーンに用いられる再帰性反射材による再帰性反射機能を説明するための図である。
【図５】遮蔽関係の正誤の表れ方の例を示す図である。
【図６】遮蔽関係の正誤の表れ方の例を示す図である。
【符号の説明】
１，１Ａ情報提示装置
１１，１１Ａスクリーン
１３画像生成装置
１３Ａ処理装置（画像生成装置）
１３ａ仮想環境映像生成部（画像生成装置）
１４，１４Ａプロジェクタ
１５，１５Ａハーフミラー（光学部材）
１６，１６Ｚ触覚提示装置（実物体）
１８遮蔽スクリーン（遮蔽材）
ＲＵ，１８Ａ，１８Ｚ再帰性反射材（遮蔽材）
ＢＳ観察者

Claims

観察者の眼の位置に対して光学的に共役な位置に配置されたプロジェクタから再帰性反射機能を有するスクリーンに向かって画像を投影することによって前記観察者に仮想空間の情報を提示する方法であって、前記仮想空間によって遮蔽すべき実物体の全部又は一部が前記スクリーンの手前側に存在する場合に、前記実物体の全部又は一部のさらに手前側に、再帰性反射機能を有する遮蔽材を配置し、前記スクリーン及び前記遮蔽材の両者に渡って、前記プロジェクタからの画像を投影することによって、前記実物体の全部又は一部を、前記プロジェクタによる投影から光学的に隠す、
ことを特徴とする情報提示方法。
請求項１記載の情報提示方法において、前記遮蔽材は、前記実物体の全部又は一部に塗布された再帰性反射材である情報提示方法。
請求項１記載の情報提示方法において、前記遮蔽材は、再帰性反射機能を有する遮蔽スクリーンである情報提示方法。
請求項１記載の情報提示方法において、前記実物体は、前記観察者に対して触覚を提示するための触覚提示装置である情報提示方法。
観察者の眼の位置に対して光学的に共役な位置に配置されたプロジェクタと再帰性反射機能を有するスクリーンとを備え、
前記スクリーンに向かって前記プロジェクタから画像を投影することによって前記観察者に仮想空間の情報を提示する装置であって、
前記仮想空間によって遮蔽すべき実物体の全部又は一部が前記スクリーンの手前側に存在しており、
前記実物体の全部又は一部のさらに手前側に、再帰性反射機能を有する遮蔽材が配置されており、
前記プロジェクタは、前記スクリーン及び前記遮蔽材の両者に渡って、画像を投影することによって、前記実物体の全部又は一部を、前記プロジェクタによる投影から光学的に隠す構成となっている、
ことを特徴とする情報提示装置。
画像を投影するために観察者の眼の位置に対して光学的に共役な位置に配置されたプロジェクタと、
前記観察者による観察の対象となる対象物についての画像を生成して前記プロジェクタに出力する画像生成装置と、
前記プロジェクタから投影される画像を映し出すための再帰性反射機能を有するスクリーンと、
前記観察者に対して触覚を提示するための触覚提示装置と、
再帰性反射機能を有する遮蔽材とを有し、
前記触覚提示装置の全部又は一部は、前記スクリーンの手前側に存在しており、
前記触覚提示装置の全部又は一部のさらに手前側に、前記遮蔽材が配置されており、
前記プロジェクタは、前記スクリーン及び前記遮蔽材の両者に渡って画像を投影することによって、前記触覚提示装置の全部又は一部を、前記プロジェクタによる投影から光学的に隠す構成となっている、
ことを特徴とする情報提示装置。
請求項６記載の情報提示装置において、前記プロジェクタは、当該プロジェクタを前記観察者の眼の位置に対して光学的に共役な位置に配置するための光学部材とともに一体化され、前記観察者の頭部に搭載可能なように構成されてなる情報提示装置。