JP3900446B2 - 画像表示方法及び装置 - Google Patents

画像表示方法及び装置 Download PDF

Info

Publication number
JP3900446B2
JP3900446B2 JP17272298A JP17272298A JP3900446B2 JP 3900446 B2 JP3900446 B2 JP 3900446B2 JP 17272298 A JP17272298 A JP 17272298A JP 17272298 A JP17272298 A JP 17272298A JP 3900446 B2 JP3900446 B2 JP 3900446B2
Authority
JP
Japan
Prior art keywords
screen
image
observer
projector
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17272298A
Other languages
English (en)
Other versions
JP2000010194A (ja
Inventor
昌彦 稲見
直樹 川上
康幸 柳田
太郎 前田
▲すすむ▼ 舘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Todai TLO Ltd
Original Assignee
Todai TLO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Todai TLO Ltd filed Critical Todai TLO Ltd
Priority to JP17272298A priority Critical patent/JP3900446B2/ja
Priority to US09/237,374 priority patent/US6283598B1/en
Publication of JP2000010194A publication Critical patent/JP2000010194A/ja
Application granted granted Critical
Publication of JP3900446B2 publication Critical patent/JP3900446B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • G03B35/20Stereoscopic photography by simultaneous viewing using two or more projectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289Switching between monoscopic and stereoscopic modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Projection Apparatus (AREA)
  • Overhead Projectors And Projection Screens (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、バーチャルリアリティ(Virtual Reality : VR) 又はコンピュータビジュアライゼーション(Computer Visualization) の分野において用いられる画像表示装置に関し、特に、任意形状のスクリーンに画像(又は映像)を投影し、画像によって表示される対象物をスクリーンの配置された位置に観察者と対話的に提示するために用いられる装置に関する。
【0002】
【従来の技術】
近年におけるバーチャルリアリティ技術の進展はめざましい。仮想空間における視覚情報の新しい提示装置の1つとして、種々のタイプのヘッドマウンテッドディスプレイ(HMD:Head Mounted Display)が提案され、且つ製品化されてきた。ヘッドマウンテッドディスプレイでは、観察者の頭部を囲む位置に表示装置が配置されている。
【0003】
他方、投影型の画像表示装置は、プロジェクタを用いて矩形の平面状のスクリーンに画像を映し出すように構成される(例えばUSP3200702)。投影型の画像表示装置にあっては、同時に多人数に映像を観察させることを主眼として設計されるため、より多くの場所から適切な映像を観察することが可能である。
【0004】
【発明が解決しようとする課題】
このような従来の画像表示装置においては、観察者に対して「仮想空間」を提示することに主眼が置かれている。しかし、仮想空間における作業を考慮すると、「仮想空間」の提示にではなく、「仮想物体」の提示に主眼が置かれるべきである。
【0005】
また、画像表示装置による「仮想物体」の提示に一層のリアリティを持たせるためには、表示される画像に対して観察者が対話的に影響を与える必要がある。そのための入力手段として、従来においては、スクリーンとは全く独立に配置された入力装置が用いられている。しかし、従来の入力装置によると、提示された画像の位置と手などの身体感覚による入力との不一致が生じてしまい、スクリーン上に提示された物体(対象物)を操作するという感覚に乏しく、操作性が著しく悪い。
【0006】
また、ヘッドマウンテッドディスプレイなどにおいて、観察者の手の位置を計測し、操作しようとする手の位置と視覚的に提示された物体の位置とを一致させようとする試みがある。しかし、これによっても、観察者は物体を持つという情報を触覚から得ることができない。
【0007】
また、小型のCRT(Cathode Ray Tube) 又はLCD(Liquid Crystal Display)を画像表示装置として用い、その表示画面の位置(姿勢を含む)を計測することにより、その表示画面上に提示された物体を操作することが考えられる。しかし、それらの表示画面の形状は平面であるため、人間の空間認知の重要な手がかりの一つとされる視空間と触空間との触合を図ることは困難である。
【0008】
本発明は、上述の問題に鑑みてなされたもので、観察者に対して仮想物体(対象物)を提示することを主眼とした画像表示方法及び装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
請求項1の発明に係る方法は、図1に示すように、画像を投影するためのプロジェクタ14L,14Rを観察者BSの眼の位置に対して光学的に共役な位置に配置し、前記観察者BSによる観察の対象となる対象物についての画像HGを前記プロジェクタ14L,14Rから投影し、前記プロジェクタ14L,14Rから投影される画像を、当該画像により表示される前記対象物に対応した形状のスクリーン11によって映し出す。
【0010】
この方法は、前記スクリーン11の位置を検出するスクリーン位置検出装置12と、前記観察者BSの位置を検出する観察者位置検出装置17とを備え、前記プロジェクタ14L,14Rから投影される画像の内容を前記スクリーン11に対する前記観察者BSの視点に応じて変更するよう制御する。さらに、前記スクリーン11は、再帰性反射スクリーンである。
【0011】
請求項の発明に係る装置は、画像を投影するために観察者BSの眼の位置に対して光学的に共役な位置に配置されたプロジェクタ14L,14Rと、前記観察者BSによる観察の対象となる対象物についての画像を生成して前記プロジェクタ14L,14Rに出力する画像生成装置13と、前記対象物に対応した形状を有し、前記プロジェクタ14L,14Rから投影される画像を映し出すスクリーン11と、を有してなる。
【0012】
この装置は、前記スクリーン11の位置を検出するスクリーン位置検出装置12と、前記観察者BSの位置を検出する観察者位置検出装置17とを有し、前記画像生成装置13は、前記スクリーン11に対する前記観察者BSの視点に応じて前記画像の内容を変更する画像編集装置13aを有する。さらに、前記スクリーン11は、再帰性反射スクリーンである。
【0013】
請求項の発明に係る装置では、前記プロジェクタ14L,14Rは、当該プロジェクタ14L,14Rを前記観察者BSの眼の位置に対して光学的に共役な位置に配置するための光学部材15とともに一体化され、前記観察者BSの頭部に搭載可能なように構成されてなる。
【0014】
求項の発明に係る装置では、前記スクリーン11は、閉曲面を有する立体物である。
【0015】
請求項の発明に係る装置では、前記スクリーン11に対する力覚を提示する力覚提示装置16を有してなる。スクリーン11の形状は、対象物に対応した任意の形状とすることが可能であるが、対象物と同じ形状又はそれに近似した形状とすることが好ましい。例えば、球面、卵形状などの閉曲面、曲面、又は平面とすることができる。
請求項6に係る装置では、前記プロジェクタが、絞りを備えている。前記絞りの直径は、5cm以下とされている。
【0016】
【発明の実施の形態】
図1は本発明に係る画像表示装置1の構成を示す図、図2は画像表示装置1により提示される対象物の例を示す図、図3はスクリーン11に用いられる再帰性反射材RUによる反射状態を説明するための図、図4は画像表示装置1による表示制御動作を示すフローチャートである。
【0017】
図1において、画像表示装置1は、スクリーン11、位置計測装置12、グラフィックエンジン13、プロジェクタ14L,14R、ハーフミラー15、力覚提示装置16、及び頭部位置計測装置17からなる。
【0018】
スクリーン11は、プロジェクタ14によって投影される画像(映像)HGを映し出し、そこに画像HGの内容である対象物(物体)を観察者BSに対して提示するためのものである。スクリーン11の形状は、任意の形状とすることが可能であるが、画像HGによって提示される対象物と同じ形状又はそれに近似した形状とすることが理想的である。しかし、個々の対象物の形状に合わせたスクリーン11を製作することは非効率的であるので、それにこだわることなく、例えば平面、曲面、閉曲面など、対象物に対応した任意の形状とすることができる。図1に示すスクリーン11は略卵形状を呈している。これは閉曲面の一種である。
【0019】
スクリーン11の本体に用いる材料として、例えば発抱スチロールのように、軽量で任意の形状に容易に加工できる材料が好ましい。スクリーン11の表面には、ガラスビーズなどを用いた再帰性反射材が塗布され、再帰性反射スクリーンとなっている
【0020】
図3(B)に示すように、通常の材料MUの表面では、反射光LRは、入射光LCの入射角度に余り依存することなくあらゆる方向に射出する。しかし、再帰性反射材RUを用いて再帰性反射スクリーンとした場合には、図3(A)に示すように、反射光LRは、そのほとんどが入射光LCの入射した方向に射出する。したがって、再帰性反射スクリーンとした実施形態においては、スクリーン11の表面に投影された映像は、観察者BSの視線方向に高い輝度を有する。つまり、観察者BSは、スクリーン11上に投影された映像を、極めて高い輝度で観察することができる。
【0021】
このように、再帰性反射材RUは、光源の方向に強い指向性を持って反射する材料であり、コーナーキューブアレイ又はガラスビーズなどを用いて実現される。なお、再帰性反射材RUの利用例として、自転車の反射板や交通標識などがある。
【0022】
位置計測装置12は、3次元空間の中でスクリーン11の配置されている位置及びその姿勢を計測するものである。位置計測装置12として、例えば公知の磁気センサが用いられ、スクリーン11の位置座標及び姿勢がリアルタイムで計測される。なお、本明細書においては、位置及び姿勢の両方を合わせて「位置」と記載することがある。
【0023】
頭部位置計測装置17は、観察者BSの頭部に取り付けられ、頭部の位置つまり眼の位置及び視線の方向を計測する。頭部位置計測装置17による計測信号はグラフィックエンジン13にフィードバックされる。グラフィックエンジン13において、スクリーン11の位置と観察者の位置とから、これらの相対位置を演算し、対象物に対する観察者BSの視点を求める。
【0024】
なお、頭部位置計測装置17と位置計測装置12とを、磁界発生源と磁力計測部とを組み合わせた相対位置計測装置で構成し、観察者BSの頭部とスクリーン11との相対位置を同時に計測するようにしてもよい。
【0025】
また、スクリーン11に設けられた力覚提示装置16によって、投影される映像に対応して観察者BSに力覚を提示する。力覚として例えば重量感覚を提示するには、対象物の仮想的な重量に相当する力でスクリーン11を下方向に引っ張ればよい。このような力覚提示装置16には、例えば、モータなどのアクチュエータとリンクやワイヤーなどとを組み合わせた機構のものを用いることができる。重量感覚以外の力覚の例として、何かを発射したときの反動の感覚、水その他の液体中のように粘性の高い媒体中で対象物を動かしたかのような粘性感覚、風により対象物が揺らがされる感覚、又は、仮想ボールを仮想の壁に投げつけたときに跳ね返ってくる力などがある。力覚提示装置16によって、観察者BSは、スクリーン11に投影された画像中の対象物の力覚を体感することが可能である。
【0026】
また、スクリーン11に加わる力をリアルタイムで検出するための力検出センサーを設けてもよい。その場合に、力検出センサーによって、スクリーン11を掴んだときの観察者BSの手BSHによる力を検出し、力の大きさ及び位置に応じてプロジェクタ14から投影される画像を修正することができる。
【0027】
グラフィックエンジン13は、左右のプロジェクタ14L,14Rに対して画像情報DL,DRを生成して送出する。図1に示す卵形状のスクリーン11に対しては、全体として卵形状を呈した対象物の画像が生成される。例えば、猫、兎、リスなどの小動物の画像である。生成される画像は、3次元情報を持った三次元画像である。したがって、任意の視点からの2次元画像である画像情報DL,DRをそれぞれ出力することができる。
【0028】
つまり、グラフィックエンジン13は、スクリーン11に対する観察者BSの視点に応じて、スクリーン11に適切な画像が表示されるように、修正した画像情報DL,DRを生成する。つまり、スクリーン11及び観察者BSの位置の変化に追従して、プロジェクタ14L,14Rから投影される画像の内容、形状、及び位置などを変化させる。例えば、スクリーン11に、ある対象物を正面から見た画像が映っている場合に、観察者BSがスクリーン11を鉛直線を軸としてその場で90度回転させたとすると、スクリーン11にはその対象物を側面から見た画像が映るように、画像の内容を変化させる。
【0029】
図2(A)に示す例では、猫が正面を向いた画像HG1がスクリーン11に投影されている。スクリーン11を回転させると、図2(B)に示すように、猫の側面の画像HG2が投影される。つまり、この場合には、観察者BSに対して、対象物として猫が提示される。
【0030】
なお、スクリーン11に投影された画像を観察者BSが左右の眼で立体視できるよう、各プロジェクタ14L,14Rに出力される画像情報DL,DRは互いに視差を有している。
【0031】
グラフィックエンジン13として、マイクロコンピュータ、パーソナルコンピュータ、又はワークステーションなどの適当な画像処理装置が用いられる。グラフィックエンジン13においては、上述の画像情報DL,DRを生成するために、例えば、物体の形状モデルなどのデータベース、コンピュータグラフィックスのためのデータ及びプログラム、レンダリングソフトウエア、その他の制御プログラムなどが搭載されている。画像編集装置13aは、それらのプログラムの実行に基づく機能の1つとして実現される。
【0032】
プロジェクタ14L,14Rは、それぞれ左眼用、右眼用であり、小開口径の単眼のものであって、互いに同一の構造である。したがって、プロジェクタ14L,14Rのいずれか又は両方を指して「プロジェクタ14」と記載することがある。
【0033】
プロジェクタ14は、焦点深度の深い画像を投影するために、開口径ができるだけ小さくなるように絞れること、例えば絞りの直径が5cm以下、又は2cm以下、さらには1mm以下であることが好ましい。
【0034】
プロジェクタ14は、観察者BSの左右の眼の位置に対して光学的に共役な位置に設けられる。その場合に、ハーフミラー15とともに観察者BSの頭部に一体的に装着することの可能な頭部搭載型とすることが好ましい。なお、プロジェクタ14を左右の眼に対して共役な位置に設けなかった場合には、グラフィックエンジン13において画像情報DL,DRに適切な補正をかける必要があり、そのための処理が面倒で時間を要する。
【0035】
なお、プロジェクタ14を頭部搭載型とするためには、例えば、観察者BSが頭部に被ることの可能なキャップ又はヘルメットに、プロジェクタ14、ハーフミラー15、及び頭部位置計測装置17を取り付けておけばよい。又は、ヘッドマウンテッドディスプレイのように、バンドなどによって頭部又は顔面に装着するように構成してもよい。
【0036】
ハーフミラー15は、プロジェクタ14から投射される光を反射するが、スクリーン11に表示された映像の光を透過する。プロジェクタ14は、ハーフミラー15によって、観察者BSの左右の眼の位置に対して光学的に共役な位置に設けられる。これによって、観察者BSによるスクリーン11上に提示される物体の観察が可能である。
【0037】
次に、画像表示装置1における表示制御動作を、フローチャートを参照して説明する。
図4において、位置検出装置12及び頭部位置計測装置17によって、スクリーン11及び観察者BSの位置を計測する(#1)。グラフィックエンジン13において、スクリーン11と観察者BSとの相対位置が演算される(#2)。演算結果に基づいて、スクリーン11に対する観察者BSの視点に対応した画像情報DL,DRが生成される(#3)。その画像情報DL,DRが、プロジェクタ14によってスクリーン11に投影される(#4)。
【0038】
上述のように構成した画像表示装置1によると、スクリーン11がプロジェクタ14の投影可能な領域内にある限りは、スクリーン11及び観察者BSの位置に係わりなく、観察者BSは、歪みがなく且つ輝度及びコントラストの高い画像を観察することができる。観察者BSは、スクリーン11に投影された対象物を自由な視点から見回すといったことも可能である。スクリーン11の再帰性反射材RUの精度が高い場合には、裸眼によって画像を立体的に観察することができる。
【0039】
スクリーン11に映し出された画像によって、観察者BSに対して対象物(仮想物体)が提示される。観察者BSが手BSHでスクリーン11を操作することによって、例えばスクリーン11を移動させ、又は回転させ、又は掴んだり押さえたりすることによって、それに応じて対象物が反応する。観察者BSは、あたかもそこに対象物が存在するかのように体感することができる。
【0040】
観察者BSが対象物を立体視することによって、スクリーン11の形状が対象物とある程度異なる形状であっても、その対象物を効果的に提示することができる。スクリーン11に継ぎ目や汚れがあっても、立体視によってその存在を目立たなくさせるという効果もある。
【0041】
スクリーン11が再帰性反射スクリーンである場合には、その周辺に比べて画像の輝度が高いので、スクリーン11が手BSHや衣服などで遮蔽された場合において、手BSHや衣服に投影された画像は見え難くなり、遮蔽されていない部分のみの画像が正しく観察される。つまり、スクリーン11に対する正面からの投影であるにも係わらず、背面からの投影であるかのようになり、遮蔽関係が正しく表示される。
【0042】
スクリーン11の形状を画像の対象物と同じ形状とした場合には、観察している対象物に触れるという人間の生得的な環境認織手段をよりリアルに実現することができる。
【0043】
スクリーン11が平面である場合であっても、スクリーン11を介すという間接的な形ではあるが、観察者BSがあたかも箱に入れた物体を操作するかのごとく映像の物体を操作することにより、汎用のディスプレイ装置を構成することが可能となる。
【0044】
しかも、観察者BSの手BSHにはスクリーン11の重量のみしかかからないので、ディスプレイ装置の飛躍的な軽量化という効果がある。
また、プロジェクタ14を観察者BSの眼と光学的に共役な位置に配置することによって、投影される物体の形状、位置、又はスクリーン11ヘの投射角に依存することなく、あたかも通常の平面のスクリーンに正しい投射角で投射した場合と全く等価な画像を提示することが可能となる。
【0045】
スクリーン11を再帰性反射スクリーンとすることによって、投影された映像を極めて高い輝度で観察することができる。さらにプロジェクタ14に小径の絞りを備えることにより、焦点深度を深くすることができるとともに、光源の光量がそれほど高くなくても日中の屋内の明るさにおいて十分なスクリーン輝度を得ることができる。このような再帰性反射スクリーンと小径の絞りを備えたプロジェクタ14とを組み合わせることにより、現実空間における所望の位置に所望の映像を投影する際の窓として応用することができる。
【0046】
なお、特に精度の高い再帰性反射材は、位相共役鏡としての効果を持つため、プロジェクタ14A,14Bのピントを調節することにより、スクリーン面以外に位相共役像を結像させることも可能となる。
【0047】
また、内壁の全体をスクリーンとした部屋を用意することにより、没入型全天周ディスプレイ装置を構成することも可能である。
次に、本発明に係る他の実施形態の画像表示装置1Aを、図5に基づいて説明する。なお、図5において、図1に示す構成要素と同一の機能の構成要素については同一の符号を付して説明を省略し又は簡略化する。
【0048】
図5に示すように、患者PNの腹部に布状のスクリーン11A及び位置計測装置12を装着し、プロジェクタ14によって当該患者PNの患部X線映像HG3を投影する。観察者BSである医師は、スクリーン11Aに投影された患部X線映像HG3を観察することにより、あたかも患者PNの患部を透視するがごとくその映像を観察することが可能となる。患者PNが移動すれば、その位置を位置計測装置12が計測し、患者PNの位置に応じた映像がスクリーン11Aに投影される。医師が移動すれば、その位置を頭部位置計測装置17が計測し、医師の位置に応じた映像がスクリーン11Aに投影される。したがって、医師は的確に患部位置を把握することができ、治療や手術部位の特定に利用することができる。
【0049】
また、このような医療分野への応用の他、例えば博物館での展示など、一般の科学教育、その他の分野にも効果的に適用することが可能である。
また、観察者BSの頭部に小開口径の単眼のプロジェクタ14及びハーフミラー15を配置し、画像を提示したい部分に再帰性反射材を貼付し又は塗布してスクリーンとしておくことにより、そのスクリーンをディスプレイ装置として利用することができる。そのようなスクリーンは、自由な形状で自由な大きさとすることができ、しかも極軽量に構成することができるので、これによってコンピュータシステムのための超軽量なディスプレイ装置とすることができる。
【0050】
さらに、コンピュータシステムのキーボードなど、各種の入力装置の表面に再帰性反射材を塗布することにより、キーボード自体を表示装置とすることが可能となる。これによって、例えばキーを自由な配列にカスタマイズすることができ、またキーボードをタッチパネルのごとく利用することもできる。
【0051】
また、精度の高い再帰性反射材を塗布したスクリーンを用いた場合に、そのスクリーンからなる映像提示部と観察者BSの眼である映像観察部とが相対の関係にある。そこで、映像提示部として物体を配置し、映像観察部としてプロジェクタ14に代えてカメラを配置し、そのカメラで高精度の再帰性反射材により結像した物体を観察することによって、これらを撮影装置として用いることができる。
【0052】
すなわち、図6に示すように、対象物33に対して、ハーフミラー36及び再帰性反射スクリーン35を配置することによって、位相共役物体像33Gが結像する。位相共役物体像33Gは、カメラ31,32で撮影することができる。したがって、遮蔽物34の存在によって撮影が困難な対象物33に対して、あたかも仮想カメラ31G,32Gを配置したかのごとく、遮蔽物34と干渉することなく、対象物33を撮影することが可能となる。
【0053】
上述の実施形態において、スクリーン11、グラフィックエンジン13、プロジェクタ14、又は画像表示装置1,1Aの全体又は各部の構成、形状、寸法、材質、処理の内容などは、本発明の趣旨に沿って適宜変更することができる。
【0054】
【発明の効果】
本発明によると、観察者に対して仮想物体を提示することを主眼とした画像表示方法及び装置を提供することができる。
【0055】
請求項1又は請求項の発明によると、観察者が手でスクリーンを操作することによって、観察者はあたかもスクリーンに投影された画像の対象物を操作したかのごとく体感することが可能となる。
【図面の簡単な説明】
【図1】本発明に係る画像表示装置の構成を示す図である。
【図2】画像表示装置により提示される対象物の例を示す図である。
【図3】スクリーンに用いられる再帰性反射材による反射状態を説明するための図である。
【図4】画像表示装置による表示制御動作を示すフローチャートである。
【図5】本発明に係る他の実施形態による画像表示装置の構成を示す図である。
【図6】再帰性反射スクリーンを用いて撮影装置を構成した例を示す図である。
【符号の説明】
1 画像表示装置
11,11A スクリーン
12 位置計測装置(スクリーン位置検出装置)
13 グラフィックエンジン(画像生成装置、画像編集装置)
13a 画像編集装置
14A,14B プロジェクタ
15 ハーフミラー
16 力覚提示装置
17 頭部位置計測装置(観察者位置検出装置)

Claims (6)

  1. 画像を投影するためのプロジェクタを観察者の眼の位置に対して光学的に共役な位置に配置し、
    前記観察者による観察の対象となる対象物についての画像を前記プロジェクタから投影し、
    前記プロジェクタから投影される画像を、当該画像により表示される前記対象物に対応した形状のスクリーンによって映し出
    画像表示方法であって、
    前記スクリーンの位置を検出するスクリーン位置検出装置と、前記観察者の位置を検出する観察者位置検出装置とを用いるものであり、
    前記プロジェクタから投影される画像の内容を前記スクリーンに対する前記観察者の視点に応じて変更する制御を行うものであり、
    さらに、前記スクリーンは、再帰性反射スクリーンである
    ことを特徴とする画像表示方法
  2. 画像を投影するために観察者の眼の位置に対して光学的に共役な位置に配置されたプロジェクタと、前記観察者による観察の対象となる対象物についての画像を生成して前記プロジェクタに出力する画像生成装置と、前記対象物に対応した形状を有し、前記プロジェクタから投影される画像を映し出すスクリーンと、を有する画像表示装置であって、
    前記スクリーンの位置を検出するスクリーン位置検出装置と、前記観察者の位置を検出する観察者位置検出装置とを有し、
    前記画像生成装置は、前記スクリーンに対する前記観察者の視点に応じて前記画像の内容を変更する画像編集装置を有し、
    さらに、前記スクリーンは、再帰性反射スクリーンである
    ことを特徴とする画像表示装置
  3. 前記プロジェクタは、当該プロジェクタを前記観察者の眼の位置に対して光学的に共役な位置に配置するための光学部材とともに一体化され、前記観察者の頭部に搭載可能なように構成されてなる、請求項記載の画像表示装置。
  4. 前記スクリーンは、閉曲面を有する立体物である、請求項2又は3に記載の画像表示装置。
  5. 前記スクリーンに対する力覚を提示する力覚提示装置を有してなる、請求項2〜4のいずれか1項に記載の画像表示装置。
  6. 前記プロジェクタは、絞りを備えており、前記絞りの直径は、5cm以下とされている、請求項2〜5のいずれか1項に記載の画像表示装置。
JP17272298A 1998-06-19 1998-06-19 画像表示方法及び装置 Expired - Fee Related JP3900446B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP17272298A JP3900446B2 (ja) 1998-06-19 1998-06-19 画像表示方法及び装置
US09/237,374 US6283598B1 (en) 1998-06-19 1999-01-26 Method of and apparatus for displaying an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17272298A JP3900446B2 (ja) 1998-06-19 1998-06-19 画像表示方法及び装置

Publications (2)

Publication Number Publication Date
JP2000010194A JP2000010194A (ja) 2000-01-14
JP3900446B2 true JP3900446B2 (ja) 2007-04-04

Family

ID=15947127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17272298A Expired - Fee Related JP3900446B2 (ja) 1998-06-19 1998-06-19 画像表示方法及び装置

Country Status (2)

Country Link
US (1) US6283598B1 (ja)
JP (1) JP3900446B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1138360A (ja) * 1997-07-22 1999-02-12 Hitachi Ltd 立体像再生方法、立体像再生装置および指向性反射スクリーン
US6815687B1 (en) * 1999-04-16 2004-11-09 The Regents Of The University Of Michigan Method and system for high-speed, 3D imaging of optically-invisible radiation
US6554431B1 (en) * 1999-06-10 2003-04-29 Sony Corporation Method and apparatus for image projection, and apparatus controlling image projection
JP2002358284A (ja) * 2001-06-01 2002-12-13 Seiko Epson Corp サービス提供システム及びサービス提供装置
JP2004062025A (ja) * 2002-07-31 2004-02-26 Trust System:Kk 立体投影装置とこの装置に用いるスクリーン、並びに、投影方法
JP2006113474A (ja) * 2004-10-18 2006-04-27 Matsushita Electric Works Ltd 映像体験支援システム
JP4595485B2 (ja) * 2004-10-18 2010-12-08 パナソニック電工株式会社 映像表示システム
JP4736426B2 (ja) * 2004-12-27 2011-07-27 富士ゼロックス株式会社 注釈画像提示システム
JP2006323127A (ja) * 2005-05-19 2006-11-30 Univ Waseda 画像投影システム、画像処理装置及び画像処理プログラム
JP4274154B2 (ja) 2005-05-31 2009-06-03 富士ゼロックス株式会社 立体表示装置
JP4111231B2 (ja) 2006-07-14 2008-07-02 富士ゼロックス株式会社 立体表示システム
JP5082092B2 (ja) * 2006-08-04 2012-11-28 国立大学法人岐阜大学 画像表示装置
JP4660771B2 (ja) * 2006-09-27 2011-03-30 国立大学法人岐阜大学 三次元像表示装置
JP5207167B2 (ja) * 2007-12-12 2013-06-12 国立大学法人岐阜大学 投影システムの校正装置
JP5337409B2 (ja) * 2008-05-30 2013-11-06 学校法人慶應義塾 情報提示装置
US9538167B2 (en) 2009-03-06 2017-01-03 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for shader-lamps based physical avatars of real and virtual people
WO2011045437A1 (en) * 2009-10-16 2011-04-21 Realfiction Aps An interactive 3d display, a method for obtaining a perceived 3d object in the display and use of the interactive 3d display
JP4888543B2 (ja) * 2009-11-19 2012-02-29 パナソニック電工株式会社 映像表示システム
US9641826B1 (en) 2011-10-06 2017-05-02 Evans & Sutherland Computer Corporation System and method for displaying distant 3-D stereo on a dome surface
CN104054023B (zh) * 2011-11-16 2017-11-17 欧特法斯公司 用于与机器人控制的物体映射的3d投影的系统和方法
WO2013173724A1 (en) 2012-05-17 2013-11-21 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for utilizing synthetic animatronics
US9996909B2 (en) * 2012-08-30 2018-06-12 Rakuten, Inc. Clothing image processing device, clothing image display method and program
JP6232609B2 (ja) * 2013-03-22 2017-11-22 保 椎原 再帰性反射材シートを利用した立体表示装置
WO2015070258A1 (en) * 2013-11-11 2015-05-14 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for improved illumination of spatial augmented reality objects
JP6803971B2 (ja) * 2017-03-27 2020-12-23 富士フイルム株式会社 視覚触覚統合呈示装置
JP6577634B1 (ja) * 2018-06-28 2019-09-18 眞 竹田 眼底画像球面投影システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3200702A (en) 1962-08-15 1965-08-17 Itt Stereoscopic projection apparatus
JPS62164328U (ja) * 1986-04-07 1987-10-19
WO1992018971A1 (en) * 1991-04-22 1992-10-29 Evans & Sutherland Computer Corp. Head-mounted projection display system featuring beam splitter
JPH05249428A (ja) * 1992-03-05 1993-09-28 Koudo Eizou Gijutsu Kenkyusho:Kk 投影システム
JPH06167687A (ja) * 1992-11-30 1994-06-14 Mitsubishi Electric Corp プロジェクタ
JP3026716B2 (ja) * 1994-03-16 2000-03-27 株式会社日立製作所 立体型表示装置
JPH086185A (ja) * 1994-06-17 1996-01-12 Human Kk 立体表示装置
US5584696A (en) * 1994-07-28 1996-12-17 Evans & Sutherland Computer Corp. Hang gliding simulation system with a stereoscopic display and method of simulating hang gliding
US5606458A (en) * 1994-08-24 1997-02-25 Fergason; James L. Head mounted display and viewing system using a remote retro-reflector and method of displaying and viewing an image
JPH0869449A (ja) * 1994-08-26 1996-03-12 Matsushita Electric Works Ltd 3次元物体の体感シミュレーション装置
JPH08205197A (ja) * 1995-01-27 1996-08-09 Hitachi Ltd ヒューマンインタフェース装置
JPH08211495A (ja) * 1995-02-06 1996-08-20 Japan Aviation Electron Ind Ltd スクリーンとそれを用いた立体画像投影装置
AUPO024696A0 (en) * 1996-06-04 1996-06-27 Xenotech Research Pty Ltd Video display system
DE19641480A1 (de) * 1996-10-09 1998-04-30 Tan Helmut Verfahren zur stereoskopischen Projektion von 3D-Bilddarstellungen auf einer Bildanzeigeeinrichtung
JPH10115878A (ja) * 1996-10-09 1998-05-06 Ishikawa Kogaku Zokei Kenkyusho:Kk 指向性スクリーンを用いる3次元画像投写システム
FR2755211B1 (fr) * 1996-10-29 1998-12-04 Warrener Patrice Procede et dispositif d'eclairage decoratif d'objets tels que des monuments
US5969754A (en) * 1996-12-09 1999-10-19 Zeman; Herbert D. Contrast enhancing illuminator

Also Published As

Publication number Publication date
JP2000010194A (ja) 2000-01-14
US6283598B1 (en) 2001-09-04

Similar Documents

Publication Publication Date Title
JP3900446B2 (ja) 画像表示方法及び装置
US7812815B2 (en) Compact haptic and augmented virtual reality system
JP4871270B2 (ja) 仮想3次元空間内で動作するシステム及び方法と視覚化システムを介してオペレーションを選択するシステム
JP3575622B2 (ja) 正確な立体三次元画像を発生する装置および方法
KR101908033B1 (ko) 광시야각 디스플레이들 및 사용자 인터페이스들
US5920374A (en) Computerized screening device utilizing the Pulfrich effect
JP4100531B2 (ja) 情報提示方法及び装置
US20060250392A1 (en) Three dimensional horizontal perspective workstation
CN101390406A (zh) 图像显示装置及其图像失真校正方法
JPH09238369A (ja) 3次元像表示装置
US12099200B2 (en) Head wearable virtual image module for superimposing virtual image on real-time image
Ilie et al. Combining head-mounted and projector-based displays for surgical training
Hua et al. A testbed for precise registration, natural occlusion and interaction in an augmented environment using a head-mounted projective display (HMPD)
JP2005339266A (ja) 情報処理方法、情報処理装置、撮像装置
JP5582958B2 (ja) 3dポインター装置
Hua et al. Head-mounted projection display technology and applications
Rolland et al. Conformal optics for 3D visualization
Hua et al. Calibration of an HMPD-based augmented reality system
Ji et al. 3D stereo viewing evaluation for the virtual haptic back project
JPH03289615A (ja) 両眼視ディスプレイ装置
Ji Viewing Options for the Virtual Haptic Back (VHB)
JP2679567B2 (ja) 生物体機能説明装置
JP2525858Y2 (ja) 模擬表示装置
CN118541743A (zh) 手术指导和培训装置、方法和系统
JP2004258287A (ja) 映像表示システム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040116

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20040830

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20040928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040928

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061222

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140112

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees