JP3859361B2

JP3859361B2 - 情報表示装置

Info

Publication number: JP3859361B2
Application number: JP19611898A
Authority: JP
Inventors: 山研一亀
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-07-10
Filing date: 1998-07-10
Publication date: 2006-12-20
Anticipated expiration: 2018-07-10
Also published as: JP2000029589A

Description

【０００１】
【発明の属する技術分野】
本発明は、計算機等で作られる仮想物体と実世界の物体（実物体）とを重畳させながらデザイン形状のモデリングやレビューを行う情報表示装置に関する。
【０００２】
【従来の技術】
従来より、設計の上流から製造に至る工程を計算機を用いて支援し、製品開発の効率化を図る努力が様々な分野においてなされている。このうち、設計段階においては、３次元世界を扱うことができるコンピュータ支援設計（ＣＡＤ）システムが用いられている。
【０００３】
ところで、現状においては、上述したシステムでデザイン形状を作成するには、形状の寸法値を複雑なコマンドを用いて入力しなければならない。マウス等の２次元ポインティングデバイスを用いて、部分的に曲線や曲面を定義する方法がサポートされているものもあるが、このような機能を用いたとしても３次元的に自由に形状を定義することはできない。
【０００４】
したがって、特に形状の寸法が細部まで定まらないようなデザイン設計の初期段階では、デザイナーの感性を直接的に形状生成に生かせるような仕組みが必要である。例えば、クレイやペーパーを使った造形作業と同様な作業を計算機内で行えるようなシステムが理想的である。
【０００５】
【発明が解決しようとする課題】
これまで、マウスの代わりに３次元ポインティングデバイスを用いたり、手に加わる触覚や力覚をフィードバックすることにより、より直感的な造形的感覚を生成するシステムが提案されてきた。
【０００６】
しかしながら、これらのシステムではあまりにも自由に形状変形ができてしまうために、かえって思い通りの形状を作るのが難しいという問題があった。すなわち、手と同等の感覚で造形作業を行うためには、ただ３次元的に自由に形状変形するようなシステムではなく、手で作業するのと同じ感覚を作り出す必要がある。
【０００７】
ここで、空間内での手の位置は感覚的にかなり正確に把握されているため、手と同じ位置で実際の手の動きによる造形の様子が見えれば、実際に近い造形感覚を作り出すことができる。
【０００８】
すなわち、直感的、直接的に形状作成が可能なＣＡＤシステムを構築するには、作業者の手とコンピュータによって作られる３次元の作業空間とを重ね合わせて見るような情報表示装置が必要である。
【０００９】
そこで、本発明は、実物体に触りながら行うのと同等の感覚で造形作業を行うことができる情報表示装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明による情報表示装置は、観察者の動きに応じて出力信号を発信する入力手段と、前記入力手段からの出力信号に基づいて所与の画像情報を変化させ、新たな画像情報を作成する演算手段と、前記演算手段を用いて作成した新たな画像情報に基づいて画像を観察者に提示するハーフミラーと、前記ハーフミラーを挟んで観察者と反対側に存在する観察対象物への光量を調節可能な光源と、前記ハーフミラーで提示される画像の輝度を検出する輝度検出手段と、前記ハーフミラーに映る画像情報と、前記ハーフミラーを透過して得られる観察対象物の像とが重畳した状態を視認可能とし、前記輝度検出手段の出力信号に基づいて前記ハーフミラーの部分的透過率または前記画像の部分的輝度を変化させる輝度調整手段とを具備していることを特徴とする。
【００１１】
また、前記入力手段は、観察者の手の空間位置を検知する機能又は３次元空間内の自身の位置、姿勢、及び形状変化を検出する機能を具備していてもよい。
【００１３】
また、前記輝度検出手段の出力信号に基づいて、前記光源の明るさを変化させる光源調節手段をさらに有していてもよい。
【００１４】
また、画像情報に含まれる仮想物体の位置及び仮想物体と重ね合わせるべき観察対象物の位置に応じて、前記ハーフミラーの部分的透過率を変化させる手段をさらに有していてもよい。
【００１５】
【発明の実施の形態】
以下、本発明の一実施形態による情報表示装置について、図１乃至図５を参照して説明する。
【００１６】
図１は、本実施形態による情報表示装置の全体構成を示した概略構成図である。図１において符号１は画像を表示するディスプレイを示し、このディスプレイ１は例えばＣＲＴや液晶モニターである。また、ディスプレイ１は、表示する３次元空間内の複数視点からの映像を観察者６の目に分離表示することにより立体視表示を行うことも可能である。
【００１７】
ディスプレイ１に表示する画像は、例えば、ハードディスク、ＤＶＤ、メモリのような記憶装置２ａ又は記録媒体に格納された情報、或いはＣＣＤカメラのような撮像装置２ｂから伝送された情報に基づいて、演算装置（演算手段）３によって作成された画像である。
【００１８】
演算装置３には、観察者６の手８の動きに応じて出力信号を発信する入力装置（入力手段）４が接続されている。この入力装置４は、例えばポヒマス社のＦＡＳＴＲＡＫ（商標名）センサーのような３次元空間内の自身の位置及び姿勢を検出する状態検出装置４１、及び例えばニッタ（株）のＩＳＣＡＮ（商標名）のような圧力変化を検出する圧力検出装置４２を備えている。
【００１９】
そして、演算装置３は、記憶装置２ａに格納された情報又は撮像装置２ｂから伝送された情報を、入力装置４の出力信号に基づいて変化させて新たな画像情報を作成する機能を備えている。
【００２０】
例えば圧力検出装置４２は、３次元空間内で任意の方向から加えられる力を検知することができ、この圧力検出装置４２の出力信号に基づいて演算装置３にてディスプレイ１に投影する像を変化させることができる。したがって、観察者６は手８で直接形状変形する感覚を得ることができる。
【００２１】
ディスプレイ１の画像を反射して観察者６に提示するハーフミラー５が、ディスプレイ１に対して所定の位置関係になるように配置されている。さらに、ハーフミラー５を挟んで観察者６と反対側に存在する観察対象物に照射される光量を調節可能な光源７が、ここではハーフミラー５を挟んで観察者６と反対側に配置されている。
【００２２】
光源７には、例えばスポットライト光源等を用いることができ、また、複数の光源７を設置することもできる。
【００２３】
ここで、「観察対象物」とは、ハーフミラー５を通して観察者６に認識されるべき実世界の物体（実物体）のことであり、具体的には、例えば観察者６の手８や、画像内の仮想物体と同一空間で観察すべき実物体９ａである。
【００２４】
上記構成よりなる本実施形態の情報表示装置においては、観察者６は、ディスプレイ１に映る画像がハーフミラー５によって左右反転した画像情報と、光源７で照らされ、ハーフミラー５を透過して得られる観察者６の手８或いは実物体９ａとを重ねて同一空間内に見ることができる。なお、この場合の観察対象物は、実物体９ａ及び観察者６の手８である。
【００２５】
図２に示したように、観察者６から見た入力装置４や、背景物など観察者６に視認させたくない実物体９ｂについては、それらの輝度が十分に暗くなるように設定されており、加えて、入力装置４及び視認させたくない実物体９ｂとハーフミラー５上で同一の場所に位置する像については、明るい像をディスプレイ１から提示する。
【００２６】
すると、図３に示したように、観察者６には、明るい像の方がより強く視認され、観察対象物ではない入力装置４や実物体９ｂが視認されにくくなる。
【００２７】
逆に、観察者６の手８や仮想物体と同一空間で観察するべき実物体９ａが十分明るくかつディスプレイ１からの像の方が暗いと、図４に示したように観察者６には観察対象物である手８や実物体９ａが強く視認されると共に、ディスプレイ１からの像が視認されにくくなり、仮想物体が覆い隠された状態になる。
【００２８】
すなわち、ディスプレイ１に表示する画像内の仮想物体と入力装置４、作業空間内の実物体９ａ、９ｂ及び観察者６の手８の輝度差により、観察者６は実世界の所望の実物体と仮想物体とを同一空間に視認するようになる。
【００２９】
したがって、仮想物体と同一空間で観察すべき実物体９ａに関しては、さらにそれが仮想物体と同程度かそれ以上の明るさで見えるように、例えば表面を明るい色（特に白系統の色）で着色し、逆に観察者６に視認させたくない実物体９ｂに関しては、その表面を暗い色（特に黒系統の色）で着色すれば、観察者６は所望の実物体９ａと画像とをより安定した形で重ね合わせて観察することができる。
【００３０】
また、ハーフミラー５を挟んで観察者６と反対側の空間を、例えば黒い艶消し材を塗布した壁で覆えば背景はほとんど意識されなくなる。
【００３１】
上記と同様の効果は、光源７として紫外線ランプを用い、観察対象物である実物体９ａや観察者６の手８の表面に蛍光塗料を塗布することによっても得ることができる。
【００３２】
一方、入力装置４には、上述した３次元空間内の位置及び姿勢を検出する状態検出装置４１及び圧力変化を検出する圧力検出装置４２に代えて、観察者６の手８の空間位置を検出する装置を用いることができ、例えば、バーチャルテクノロジー社のサイバーグローブ（商標名）を用いることができる。この場合には、手８の空間位置を検出する入力装置４は観察対象物となるので、入力装置４の輝度を画像と同じ又はそれ以上とすることで、入力装置４と仮想物体とが同一空間で見えるようにすれば良い。
【００３３】
また、上述した情報表示装置において、さらに、画像における入力装置４に対応する仮想物体と、観察者６の手８及び仮想物体と同一空間で観察すべき実物体９ａとの位置関係から、光源７の明るさや、ハーフミラー５の透過率、画像の明るさなどを部分的かつ動的に変化させ、観察者６の手８、実物体９ａ、仮想物体の互いの輝度差などを自動的に調節するようにすれば、さらに効果的に仮想物体と観察者６の手８、実物体９ａとを重畳させることができる。
【００３４】
図５は、このような効果を達成するための機能が追加された情報表示装置を示している。図５において符号３１は仮想物体に対応する像の明るさを検出する輝度検出装置であり、この輝度検出装置３１には例えば輝度計を用いることができる。
【００３５】
また、図５において符号３２は、ハーフミラー５の部分的透過率や画像の部分的輝度を変化させるための輝度調節装置３２を示しており、この輝度調節装置３２は、ハーフミラー５の裏側及びディスプレイ１の前側にそれぞれ配置された透過型の液晶パネル３２ａ、３２ｂを備えている。
【００３６】
輝度調節装置３２は演算装置３３で制御される。ここで、この演算装置３３は、図１に示した演算装置３に輝度調節機能を付加して構成することもできる。
【００３７】
図５に示した情報表示装置においては、まず、輝度検出装置３１で像の明るさを検出し、次に演算装置３３で実物体９ａ及び観察者６の手８と仮想物体との位置関係から、それらが互いにどのように重なり合うかを演算で求め、その結果に基づいて液晶パネル３２ａ、３２ｂによってハーフミラー５の部分的透過率又は画像の部分的輝度を変化させる。
【００３８】
すなわち、画像内の仮想物体の後ろ側に位置すべき実物体９ａ及び観察者６の手８に対しては、対応する位置のハーフミラー５の部分的透過率を下げて、実物体９ａ及び観察者６の手８が仮想物体の後ろ側にあるように見せる。逆に、実物体９ａ及び観察者６の手８によって覆い隠されるべき画像部分に関してはその部分の輝度を落とし、実物体９ａ及び観察者６の手８によって隠れているように見せる。
【００３９】
なお、輝度調節装置３２としては、ここでは２つの液晶パネル３２ａ、３２ｂからなるものを説明したが、いずれか一方の液晶パネルだけでも同様の機能を実現することができる。
【００４０】
また、輝度検出装置３１からの出力信号に基づいて光源７の明るさを自動的に変化させる光源調節装置（図示せず）を設けることもできる。この場合、演算装置３３によって光源７の明るさの調節量を演算し、この演算結果に基づいて光源調節装置を制御して光源７の明るさを調節する。
【００４１】
また、仮想物体に対応する像の位置は本来、観察者６の視点によって変わるものである。したがって、観察者６の視点位置を検出する装置を用いることによって、観察者６の視点に合わせて表示像の位置を変え、これによって安定した入力装置４、画像の重畳を図ることは可能である。
【００４２】
ハーフミラーを使って画像情報と実物体との重畳を図る試みは従来から行われているが、本実施形態による情報表示装置によれば、光源７の明るさ（或いは画面や物体の輝度）を変化させることによって、従来装置よりも効果的な演出が可能となる。
【００４３】
以上述べたように本実施形態による情報表示装置によれば、観察者６の手８の空間位置を検知する機能又は３次元空間内の位置、姿勢、及び形状変化を検出する機能を具備する入力装置４を備えており、記憶装置２ａ又は記録媒体に格納された情報又は撮像装置２ｂから伝送された情報を、入力装置４の出力信号に基づいて演算装置３によって変化させて新たな画像情報を作成することができるので、同一空間に安定して重畳表示された観察者６の手８と仮想物体とを見ながら、手と同等の感覚で造形作業を行うことができる。
【００４４】
また、光源７により観察者６の手８及び画像と重ね合わせるべき実物体の輝度を上げることで、自然でより見やすい手、実物体、仮想物体の重ね合わせが可能であり、観察者６の手８と演算手段３によって作られる仮想物体とを安定して同一空間に重畳提示することができる。
【００４５】
また、観察者６の手８や画像と重ね合わせる実物体９ａには可視光を反射する部材をその表面に付与し、それ以外の入力装置４や画像との重ね合わせを行わない実物体には可視光を吸収する部材をその表面に付与して両者の間に輝度差を設けるようにすれば、観察対象物である手８や所望の実物体９ａだけを安定して仮想物体に重ね合わせることが可能となる。
【００４６】
さらに、液晶パネル３２ａ、３２ｂを用いて、画像内での仮想物体の位置及び画像と重ね合わせるべき実物体或いは観察者６の手８の位置に応じてハーフミラー５の部分的透過率及び画像の部分的輝度を変化させ、実物体９ａ、９ｂ及び観察者６の手８に輝度差を与えることによって、それらが複雑に重なり合った状態を表現することができる。
【００４７】
なお、上記実施形態においてはＣＡＤシステムとしての情報表示装置について説明したが、本発明による情報表示装置の適用範囲はＣＡＤシステムに限られるものではなく、例えば手術シミュレータやエンタテインメント分野にも適用することができる。
【００４８】
【発明の効果】
以上述べたように本発明による情報表示装置によれば、実物体に触りながら行うのと同等の感覚で造形作業を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態による情報表示装置の全体構成を示した概略構成図。
【図２】図１に示した情報表示装置の作用を説明するための説明図。
【図３】図１に示した情報表示装置における実物体と仮想物体との重ね合わせの一例を示した図。
【図４】図１に示した情報表示装置における実物体と仮想物体との重ね合わせの他の例を示した図。
【図５】図１に示した情報表示装置にハーフミラーの透過率や画像の明るさを部分的に変化させる機能を追加した構成を示した概略構成図。
【符号の説明】
１ディスプレイ
２ａ記憶装置
２ｂ撮像装置
３、３３演算装置
４入力装置
５ハーフミラー
６観察者
７光源
８観察者の手
９ａ、９ｂ実物体
３１輝度検出装置（輝度計）
３２輝度調節装置
３２ａ、３２ｂ液晶パネル
４１状態検出装置
４２圧力検出装置

Claims

観察者の動きに応じて出力信号を発信する入力手段と、
前記入力手段からの出力信号に基づいて所与の画像情報を変化させ、新たな画像情報を作成する演算手段と、
前記演算手段を用いて作成した新たな画像情報に基づいて画像を観察者に提示するハーフミラーと、
前記ハーフミラーを挟んで観察者と反対側に存在する観察対象物への光量を調節可能な光源と、
前記ハーフミラーで提示される画像の輝度を検出する輝度検出手段と、
前記ハーフミラーに映る画像情報と、前記ハーフミラーを透過して得られる観察対象物の像とが重畳した状態を視認可能とし、前記輝度検出手段の出力信号に基づいて前記ハーフミラーの部分的透過率または前記画像の部分的輝度を変化させる輝度調整手段とを具備していることを特徴とする情報表示装置。
前記入力手段は、観察者の手の空間位置を検知する機能又は３次元空間内の自身の位置、姿勢、及び形状変化を検出する機能を具備していることを特徴とする請求項１記載の情報表示装置。
前記輝度検出手段の出力信号に基づいて、前記光源の明るさを変化させる光源調節手段をさらに有することを特徴とする請求項１又は請求項２に記載の情報表示装置。
画像情報に含まれる仮想物体の位置及び仮想物体と重ね合わせるべき観察対象物の位置に応じて、前記ハーフミラーの部分的透過率を変化させる手段をさらに有することを特徴とする請求項１乃至請求項３のいずれか一項に記載の情報表示装置。