JP3558104B2 - ３次元仮想物体表示装置および方法 - Google Patents
３次元仮想物体表示装置および方法 Download PDFInfo
- Publication number
- JP3558104B2 JP3558104B2 JP20561196A JP20561196A JP3558104B2 JP 3558104 B2 JP3558104 B2 JP 3558104B2 JP 20561196 A JP20561196 A JP 20561196A JP 20561196 A JP20561196 A JP 20561196A JP 3558104 B2 JP3558104 B2 JP 3558104B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual object
- dimensional virtual
- display
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000003384 imaging method Methods 0.000 claims description 57
- 239000002131 composite material Substances 0.000 claims description 21
- 238000005259 measurement Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000002955 isolation Methods 0.000 description 2
- 230000005389 magnetism Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Description
【０００１】
【発明の属する技術分野】
本発明は、３次元仮想物体表示装置および方法に関し、例えば、３次元仮想物体をあたかも現実世界に存在するかのように表示させるようにした３次元仮想物体表示装置および方法に関する。
【０００２】
【従来の技術】
近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：仮想現実）の分野においては、非透過型の頭部搭載型ディスプレイを用いて、計算機によって生成された仮想世界の映像を表示し、この表示に対して、例えば手袋型入力装置やボディスーツ型入力装置などを用いて、仮想世界とインタラクションを行うことができるようになされている。これにより、通常経験することができないような仮想世界に、あたかも自分が存在するかのような雰囲気を楽しむことができる。
【０００３】
しかしながら、このように、非透過型の頭部搭載型ディスプレイにおいては、ディスプレイを通して見える映像中に、現実世界の映像が一切存在しないため、孤立感を強く感じたり、疲れやすい課題があった。また、仮想世界における作業を中断し、現実世界における作業を行うような場合、頭部搭載型ディスプレイを一旦取り外す必要があり、面倒である課題があった。
【０００４】
そこで、本出願人は、「特開平７−５９７８ 入力装置」において、透過型の頭部搭載型ディスプレイに、仮想世界の映像を表示することを提案した。これにより、ユーザは、頭部搭載型ディスプレイの向こう側に実際に存在する現実世界と、頭部搭載型ディスプレイに表示された仮想世界の映像を同時に観察し、仮想世界の映像に対して所定の作業を行うことができる。例えば、仮想世界の映像として計算機の映像を表示し、指で計算機を操作することができる。指には位置を測定するセンサを装着しているので、指の位置が計算され、その位置に仮想的に存在する計算機のボタンが操作される。
【０００５】
このように、現実世界と仮想世界を同時に見ることができるので、孤立感を感じることなく、仮想世界における作業を行うことができる。また、現実世界を基礎とした状態において、仮想世界に対して所定の作業を行うことができるので、頭部搭載型ディスプレイを装着したままで、現実世界における作業と、仮想世界における作業とを並行して行うことが可能である。
【０００６】
【発明が解決しようとする課題】
しかしながら、頭部搭載型ディスプレイを装着し、指にセンサを装着したままでは、通常の現実世界における作業が拘束される課題があった。例えば、頭部搭載型ディスプレイを装着すると、視野がある程度制限されたり、頭部に余分な負荷がかかる。また、指にセンサを装着すると、手作業がしにくくなる場合がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、簡単に仮想世界の映像を観察することができるようにし、現実世界の作業を継続しながら、仮想世界の作業を行うことができるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の第１の３次元仮想物体表示装置は、所定の画像を表示する携帯型ディスプレイと、携帯型ディスプレイの表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段と、所定の基準面に対する撮像手段の３次元空間座標を測定する座標測定手段と、座標測定手段によって測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像を生成する画像生成手段と、撮像手段により撮像された実画像を背景とし、座標測定手段により測定された撮像手段の基準面に対する３次元空間座標に基づいて、画像生成手段によって生成された３次元仮想物体の画像を背景の所定の位置に重畳させた合成画像を生成する合成画像生成手段とを備え、携帯型ディスプレイは、合成画像を表示することを特徴とする。
【０００９】
座標測定手段には、基準面上に配置された磁界発生手段と、撮像手段に配置された磁界検出手段と、磁界検出手段による検出結果に基づいて、３次元空間座標を演算する演算手段とを設けることができる。
【００１０】
画像生成手段は、基準面上に、３次元仮想物体の影の画像を生成することができる。
【００１１】
３次元仮想物体を仮想的に把持し、３次元仮想物体に対して所定の操作を加える操作手段をさらに設け、操作手段により、３次元仮想物体の基準面に対する移動が指示されたとき、画像生成手段に、撮像手段の撮像方向に沿って、３次元仮想物体が把持されたことを示す基準線の画像を生成し、操作手段の操作に従って、３次元仮想物体の画像が、基準線の先端が接した状態で基準面上を移動する画像を生成させることができる。
少なくとも携帯型ディスプレイと、撮像手段と、座標測定手段と、操作手段とからなる複数組の表示装置に、画像生成手段によって生成された共通の３次元仮想物体の画像を表示し、操作手段が３次元仮想物体に対して行った操作による３次元仮想物体の基準面上での位置変化が、各表示装置に反映されるようにすることができる。
本発明の、所定の画像を表示する携帯型ディスプレイと、携帯型ディスプレイの表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段とを備える３次元仮想物体表示装置における第１の３次元仮想物体表示方法は、所定の基準面に対する撮像手段の３次元空間座標を測定する座標測定ステップと、座標測定ステップの処理で測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像を生成する画像生成ステップと、撮像手段により撮像された実画像を背景とし、座標測定ステップの処理で測定された撮像手段の基準面に対する３次元空間座標に基づいて、画像生成ステップの処理で生成された３次元仮想物体の画像を背景の所定の位置に重畳させた合成画像を生成し、合成画像を携帯型ディスプレイに表示させる合成画像生成ステップとを含むことを特徴とする。
本発明の第１の３次元仮想物体表示装置および方法においては、所定の基準面に対する撮像手段の３次元空間座標が測定され、測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像が生成され、撮像手段により撮像された実画像を背景とし、測定された撮像手段の基準面に対する３次元空間座標に基づいて、生成された３次元仮想物体の画像を背景の所定の位置に重畳させた合成画像が生成され、合成画像が携帯型ディスプレイに表示される。
本発明の第２の３次元仮想物体表示装置は、所定の画像を表示する表示手段と、表示手段の表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段と、所定の基準面に対する撮像手段の３次元空間座標を測定する座標測定手段と、座標測定手段によって測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像と、基準面上に、３次元仮想物体の影の画像を生成する画像生成手段と、撮像手段により撮像された実画像を背景とし、座標測定手段により測定された撮像手段の基準面に対する３次元空間座標に基づいて、画像生成手段によって生成された３次元仮想物体の画像と、３次元仮想物体の影の画像とを背景の所定の位置に重畳させた合成画像を生成する合成画像生成手段とを備え、表示手段は、合成画像を表示することを特徴とする３次元仮想物体表示装置。
表示手段は、携帯型ディスプレイであるようにすることができる。
本発明の、所定の画像を表示する表示手段と、表示手段の表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段とを備える３次元仮想物体表示装置における第２の３次元仮想物体表示方法は、所定の基準面に対する撮像手段の３次元空間座標を測定する座標測定ステップと、座標測定ステップの処理で測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像と、基準面上に、３次元仮想物体の影の画像を生成する画像生成ステップと、撮像手段により撮像された実画像を背景とし、座標測定ステップの処理で測定された撮像手段の基準面に対する３次元空間座標に基づいて、画像生成ステップの処理で生成された３次元仮想物体の画像と、３次元仮想物体の影の画像とを背景の所定の位置に重畳させた合成画像を生成し、合成画像を携帯型ディスプレイに表示させる合成画像生成ステップとを含むことを特徴とする。
本発明の第２の３次元仮想物体表示装置および方法においては、所定の基準面に対する撮像手段の３次元空間座標が測定され、測定された撮像手段の基準面に対する３次元空間 座標に基づいて、所定の３次元仮想物体の画像と、基準面上に、３次元仮想物体の影の画像が生成され、撮像手段により撮像された実画像を背景とし、測定された撮像手段の基準面に対する３次元空間座標に基づいて、生成された３次元仮想物体の画像と、３次元仮想物体の影の画像とを背景の所定の位置に重畳させた合成画像が生成され、合成画像が携帯型ディスプレイに表示される。
【００１２】
【発明の実施の形態】
図１は、本発明を応用した表示装置の構成例を示すブロック図である。携帯型ディスプレイ１（表示手段）は、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｉｓｔａｌ ｄｉｓｐｌａｙ）等からなり、所定の画像、文字、図形等を表示するようになされている。ビデオカメラ２（撮像手段）は、携帯型ディスプレイ１の画面の裏面方向に撮像方向が向くように、携帯型ディスプレイ１に取り付けられている。
【００１３】
３次元位置方向センサ３（座標測定手段）は、携帯型ディスプレイ１またはビデオカメラ２に固定して取り付けられており、所定の基準面に対する携帯型ディスプレイ１およびビデオカメラ２の位置や傾き角等を測定するようになされている。例えば、テーブルの上面等を基準面とすることができる。ここでは、３次元位置方向センサ３が携帯型ディスプレイ１に固定して取り付けられている場合について示したが、３次元位置方向センサ３をビデオカメラ２に固定して取り付けるようにすることも可能である（図４、図５参照）。
【００１４】
操作用ボタン４（操作手段）は、所定の指令を行うとき操作され、操作に対応して所定の信号を出力するようになされている。
【００１５】
処理装置１１は、操作用ボタン４からの信号や、３次元位置方向センサ３からの位置方向信号に基づいて、３次元仮想物体の画像を生成し、ビデオカメラ２によって撮像された映像に重畳して、携帯型ディスプレイ１に表示させるようになされている。
【００１６】
処理装置１１を構成する入力操作部１２は、操作用ボタン４からの信号を入力するようになされている。カメラの位置および方向計測部１３は、３次元位置方向センサ３より供給される位置方向信号に基づいて、ビデオカメラ２の基準面上での位置、および撮像方向を計測し、位置データおよび方向データを出力するようになされている。
【００１７】
３次元データ生成部１４は、所定の形状モデルのデータ（形と色から構成される）を記憶し、適宜、出力するようになされている。透視変換マトリックス生成部１５（画像生成手段）は、透視変換のためのマトリックスを生成し、３次元データ生成部１４より出力された所定の形状モデルの形状モデルデータを、カメラの位置および方向計測部１３より出力された位置データおよび方向データに基づいて透視変換し、携帯型ディスプレイ１の所定の位置に所定の大きさで表示するようになされている。
【００１８】
また、透視変換マトリックス生成部１５は、透視変換した形状モデルの影の画像を、基準面上に位置するように生成するようになされている。
【００１９】
合成表示部１６（合成画像生成手段）は、ビデオカメラ２より供給されたビデオ信号と、透視変換マトリックス生成部１５より供給された透視変換された所定の形状モデルの画像とを合成し、携帯型ディスプレイ１に供給するようになされている。通信制御部１７は、入力操作部１２により入力された信号に対応する操作データや、３次元データ生成部１４が保持する形状モデルデータ等を、プロセス間通信等の通信手順によって、図１に示した装置と同様の構成の他の装置に供給したり、他の装置の入力操作部より出力された操作データや形状モデルデータ等を受信するようになされている。
【００２０】
上述したように、３次元位置方向センサ３は、基準面上での位置およびビデオカメラ２の撮像方向を検出し、カメラの位置および方向計測部１３は、ビデオカメラ２と所定の基準面との間の３次元（ｘ、ｙ、ｚ軸）上の相対的な位置、および姿勢（アジマス、エレベーション、ロール）を計算する。この３次元位置方向センサ３およびカメラの位置および方向計測部１３としては、例えば、Ｓｔｅｒｅｏ Ｇｒａｐｈｉｃｓ社のＣｒｙｓｔａｌ ＥＹＥＳ（商標）として商品化されている超音波を用いた装置や、Ｐｏｌｈｅｍｕｓ社が３ＳＰＡＣＥ（商標）として商品化している磁気を用いた装置を適用することができる。
【００２１】
図２は、磁気を用いて位置センサ２５（磁界検出手段）の位置を検出する３次元座標測定装置の構成例を示している。同図に示すように、３次元座標測定装置は、ソースコイル（直交コイル）２４（磁界発生手段）を有している。このソースコイル２４は、ｘ軸方向の磁界を発生するコイル２４ｘ、ｙ軸方向の磁界を発生するコイル２４ｙ、およびｚ軸方向の磁界を発生するコイル２４ｚにより構成されている。位置センサ２５も、ｘ軸方向の磁界を検出するコイル２５ｘ、ｙ軸方向の磁界を検出するコイル２５ｙ、およびｚ軸方向の磁界を検出するコイル２５ｚを有している。
【００２２】
３次元座標測定装置の位置計算部２２（演算手段）は、ドライブ回路２３を介してソースコイル２４の３つのコイルをそれぞれ時分割で駆動する。その結果、ｘ軸方向の磁界、ｙ軸方向の磁界、およびｚ軸方向の磁界が順次発生される。位置センサ２５の各コイルは、これらの各方向の磁界を検出し、その検出信号を検出回路２１に出力する。検出回路２１は、その検出信号を位置計算部２２に供給する。位置計算部２２は、検出回路２１より供給された検出信号を演算し、位置センサ２５の基準面（ソースコイル２４が配置された面）に対する３次元上の位置および姿勢を求める。
【００２３】
図２に示した３次元座標測定装置を、例えば図１のカメラの位置および方向計測部１３に適用し、ソースコイル２４を基準面となるテーブルの上に配置すると共に、位置センサ２５を３次元位置方向センサ３として適用することができる。これにより、携帯型ディスプレイ１の基準面（テーブルの上面）に対する３次元上の位置および姿勢を求めることができる。
【００２４】
次に、その動作について説明する。ビデオカメラ２により撮像された映像に対応するビデオ信号は、処理装置１１の合成表示部１６に供給される。また、３次元位置方向センサ３により計測されたビデオカメラ２の位置および方向に対応する位置方向信号は、カメラの位置および方向計測部１３に供給される。カメラの位置および方向計測部１３は、この計測データに基づいてビデオカメラ２の基準面に対する位置および撮像方向を演算により求め、演算結果としての位置データおよび方向データを透視変換マトリックス生成部１５に供給する。
【００２５】
ユーザにより、操作用ボタン４が操作され、所定の形状モデルを表示するように指令されると、入力操作部１２は、操作用ボタン４からの指令に従って、３次元データ生成部１４に対して、所定の形状モデルデータを出力するよう指令する。３次元データ生成部１４は、入力操作部１２より指令された所定の形状モデルデータを透視変換マトリックス生成部１５に供給する。この場合、例えば、心臓を表す形状モデルデータが透視変換マトリックス生成部１５に供給されたものとする。
【００２６】
透視変換マトリックス生成部１５は、カメラの位置および方向計測部１３から出力された位置データおよび方向データに基づいて、３次元データ生成部１４より供給された所定の形状モデルデータを透視変換することにより、３次元仮想物体の画像を生成し、合成表示部１６に供給する。さらに、透視変換マトリックス生成部１５は、生成した３次元仮想物体によって基準面（この場合、テーブル）上に現れる影の画像を生成し、合成表示部１６に供給する。
【００２７】
合成表示部１６は、ビデオカメラ２より供給された現実の映像に、透視変換マトリックス生成部１５より供給された３次元仮想物体の画像を重畳し、携帯型ディスプレイ１に供給する。
【００２８】
図３は、このようにして、携帯型ディスプレイ１に表示された画像を表している。同図に示すように、ビデオカメラ２によって撮影された現実の映像、即ち、この場合、基準面としてのテーブルと、相手側の手および表示装置が表示され、テーブルの上方に、３次元仮想物体としての心臓の画像（コンピュータグラフィックスによる画像）が表示される。さらに、テーブル上には、コンピュータグラフィックスの手法により生成された３次元仮想物体としての心臓の影の画像が表示される。
【００２９】
このように、携帯型ディスプレイ１に、現実の映像に３次元仮想物体の映像が重畳されて表示されるので、利用者は、３次元仮想物体が、あたかも現実世界に存在するかのように観察することができる。さらに、現実の床やテーブルの表面に対応する位置に、３次元仮想物体によってできた影を模擬した図形を表示することにより、実際に、３次元仮想物体の影がテーブル上に落ちているような表示を行うことができる。従って、利用者は、テーブルと影の関係から、３次元仮想物体の空間中における位置をより正確に把握することができる。
【００３０】
次に、操作用ボタン４を操作して、３次元仮想物体を、基準面（この場合、テーブル）に対して仮想的に移動させる場合の動作について説明する。
【００３１】
まず、利用者が、所定の操作用ボタン４を操作することにより、携帯型ディスプレイ１に表示された３次元仮想物体の移動を指示する。操作用ボタン４の操作に対応する信号は、入力操作部１２に供給され、３次元データ生成部１４を介して透視変換マトリックス生成部１５に供給される。
【００３２】
所定の操作用ボタン４を押下している間、表示装置の移動に拘らず、３次元仮想物体と表示装置の間の相対的な位置関係は固定される。即ち、透視変換マトリックス生成部１５は、カメラの位置および方向計測部１３より供給されるビデオカメラ２の位置データおよび方向データに対応して、３次元仮想物体が表示装置との間の相対的な位置関係が変化しないように、透視変換を行う。
【００３３】
例えば、図４（ａ）に示すように、３次元仮想物体が基準面としてのテーブルのほぼ中央に表示された状態で、操作ボタン４を押下して移動操作の開始を指示した後、例えば、表示装置をテーブルの中央に向けて移動させると、それに伴って、図４（ｂ）に示すように、３次元仮想物体はテーブルのほぼ中央から端の方に向かって仮想的に移動する。そのとき、表示装置と３次元仮想物体との間の相対的な位置関係は変化しない。このようにして、３次元仮想物体を、空間上の任意の場所に位置づけることができる。また、その際、テーブル上に表示される３次元仮想物体の影が、いま、３次元仮想物体がどこにあるかを把握する上での有効な手がかりとなる。
【００３４】
次に、操作用ボタン４を離すと、３次元仮想物体は、基準面（テーブル）との間の相対的な位置関係が固定された状態となる。これにより、３次元仮想物体の空間上での位置を確定することができる。従って、図４（ｃ）に示すように、操作用ボタン４を離した後、表示装置を手前に動かすと、表示装置と３次元仮想物体との間の距離は大きくなり、それに伴って、携帯型ディスプレイに表示される３次元仮想物体の大きさは、小さくなる。
【００３５】
ところで、３次元データ（形状モデルデータ）は、プロセス間通信等の通信手段を用いて、複数の表示装置間で共有することができる。これにより、図５に示すように、所定の会議に参加した複数の参加者が同一の形状モデルデータに対応する同一の３次元仮想物体を観察したり、それを移動させたりすることができる。このとき、各参加者が有する表示装置の携帯型ディスプレイ１には、３次元仮想物体の他に、ビデオカメラ２によって撮影された他の参加者の映像が表示されることになる。
【００３６】
即ち、参加者Ａの携帯型ディスプレイ１には、テーブルと参加者Ｂが背景の映像として表示され、３次元仮想物体がテーブルの中央に表示され、その影がテーブル上の所定の位置に表示される。また、参加者Ｂの携帯型ディスプレイ１には、テーブルと参加者Ａが背景の映像として表示され、３次元仮想物体がテーブルの中央に表示され、その影がテーブル上の所定の位置に表示される。
【００３７】
図６は、例えば、参加者Ａが、携帯型ディスプレイ１に表示されたテーブル上の３次元仮想物体、この場合、コンピュータグラフィックスによって表示されたヘリコプターを掴み、所定の場所に移動させている様子を表している。携帯型ディスプレイ１の上部に表示された球体は、ヘリコプターを掴むための視標となるものであり、人間の手に相当するものである。即ち、この視標を所定の３次元仮想物体に携帯型ディスプレイ１の画面上で接触させることにより、その３次元仮想物体を仮想的に掴むことができるようになされている。
【００３８】
図７は、図６に示したように、参加者Ａが、３次元仮想物体としてのヘリコプターを掴んで移動させているとき、参加者Ｂの携帯型ディスプレイ１の表示画面に表示される画像を表している。ここには、参加者Ａと参加者Ａが持っている表示装置、およびテーブルが現実の映像として表示され、３次元仮想物体としてのヘリコプターがテーブルの上に表示されている。そして、参加者Ａが持つ表示装置とヘリコプターの間に所定のビームが表示される。このビームは、参加者Ａがヘリコプターを掴んでいることを示すためのものである。
【００３９】
参加者Ａがヘリコプターを所定の場所に移動させる間、参加者Ａの表示装置からヘリコプターに向けて、所定のビームが表示され、参加者Ａが、表示装置を移動させるのに伴って、ヘリコプターおよびビームが、参加者Ａが持つ表示装置との間の相対的な位置関係が変化しないように移動する。
【００４０】
このように、ある参加者が３次元仮想物体を掴んでいるとき、その参加者が持つ表示装置から、所定のビームが３次元仮想物体に向けて照射されている画像が表示されるので、他の参加者は、いま誰が３次元仮想物体を掴んでいるかを認識することができる。
【００４１】
図８は、携帯型ディスプレイに、所定の分子モデルを表示し、操作している様子を表している。ここで、分子モデルの所定の部分の詳細な構造を観察するために、携帯型ディスプレイ１を分子モデルに近づけると、図９に示すように、携帯型ディスプレイ１を分子モデルに近づけた距離に応じて、分子モデルの所定の部分を構成する原子が拡大されて表示される。このようにして、観察対象である３次元仮想物体の所定の部分を容易に拡大して表示させることができる。
【００４２】
なお、上記実施例においては、参加者が２人の場合について説明したが、３以上の多数の参加者がいる場合についても、同様に、３次元データを共有することができる。
【００４３】
なお、上記実施例においては、３次元仮想物体を掴んでいることを表すために、所定の球体やビームを表示させるようにしたが、球体やビームに限定されるものではなく、それ以外の所定の形状の物体や図形等を表示させるようにすることも可能である。
【００４４】
また、上記実施例においては、３次元仮想物体を移動させる場合について説明したが、３次元仮想物体を回転させたり、その一部の形状を変更したりするような操作を３次元仮想物体に対して施すようにすることも可能である。
【００４５】
【発明の効果】
本発明によれば、簡単かつ迅速に、現実世界の画像に仮想世界の画像が重畳された合成画像を観察することができ、現実世界での通常の作業を継続しながらでも、仮想世界での作業を容易に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明を応用した表示装置の構成例を示すブロック図である。
【図２】３次元座標測定装置の構成例を示すブロック図である。
【図３】現実世界の映像に３次元仮想物体の映像が重畳された映像の表示例を示す図である。
【図４】３次元仮想物体を掴んで移動させる様子を示す図である。
【図５】複数の参加者が同一の３次元データを共有している様子を示す図である。
【図６】自分が３次元仮想物体を掴んで操作しているときの表示例を示す図である。
【図７】相手が３次元仮想物体を掴んで操作しているときの表示例を示す図である。
【図８】３次元仮想物体として分子モデルを表示させたときの表示例を示す図である。
【図９】分子モデルに表示装置を近づけたときの表示例を示す図である。
【符号の説明】
１ 携帯型ディスプレイ，２ ビデオカメラ，３ ３次元位置方向センサ，４操作用ボタン，１１ 処理装置，１２ 入力操作部，１３ カメラの位置および方向計測部，１４ ３次元データ生成部，１５ 透視変換マトリックス生成部，１６ 合成表示部，１７ 通信制御部，２１ 検出回路，２２ 位置計算部，２３ ドライブ回路，２４ ソースコイル，２５ 位置センサ
【発明の属する技術分野】
本発明は、３次元仮想物体表示装置および方法に関し、例えば、３次元仮想物体をあたかも現実世界に存在するかのように表示させるようにした３次元仮想物体表示装置および方法に関する。
【０００２】
【従来の技術】
近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：仮想現実）の分野においては、非透過型の頭部搭載型ディスプレイを用いて、計算機によって生成された仮想世界の映像を表示し、この表示に対して、例えば手袋型入力装置やボディスーツ型入力装置などを用いて、仮想世界とインタラクションを行うことができるようになされている。これにより、通常経験することができないような仮想世界に、あたかも自分が存在するかのような雰囲気を楽しむことができる。
【０００３】
しかしながら、このように、非透過型の頭部搭載型ディスプレイにおいては、ディスプレイを通して見える映像中に、現実世界の映像が一切存在しないため、孤立感を強く感じたり、疲れやすい課題があった。また、仮想世界における作業を中断し、現実世界における作業を行うような場合、頭部搭載型ディスプレイを一旦取り外す必要があり、面倒である課題があった。
【０００４】
そこで、本出願人は、「特開平７−５９７８ 入力装置」において、透過型の頭部搭載型ディスプレイに、仮想世界の映像を表示することを提案した。これにより、ユーザは、頭部搭載型ディスプレイの向こう側に実際に存在する現実世界と、頭部搭載型ディスプレイに表示された仮想世界の映像を同時に観察し、仮想世界の映像に対して所定の作業を行うことができる。例えば、仮想世界の映像として計算機の映像を表示し、指で計算機を操作することができる。指には位置を測定するセンサを装着しているので、指の位置が計算され、その位置に仮想的に存在する計算機のボタンが操作される。
【０００５】
このように、現実世界と仮想世界を同時に見ることができるので、孤立感を感じることなく、仮想世界における作業を行うことができる。また、現実世界を基礎とした状態において、仮想世界に対して所定の作業を行うことができるので、頭部搭載型ディスプレイを装着したままで、現実世界における作業と、仮想世界における作業とを並行して行うことが可能である。
【０００６】
【発明が解決しようとする課題】
しかしながら、頭部搭載型ディスプレイを装着し、指にセンサを装着したままでは、通常の現実世界における作業が拘束される課題があった。例えば、頭部搭載型ディスプレイを装着すると、視野がある程度制限されたり、頭部に余分な負荷がかかる。また、指にセンサを装着すると、手作業がしにくくなる場合がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、簡単に仮想世界の映像を観察することができるようにし、現実世界の作業を継続しながら、仮想世界の作業を行うことができるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の第１の３次元仮想物体表示装置は、所定の画像を表示する携帯型ディスプレイと、携帯型ディスプレイの表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段と、所定の基準面に対する撮像手段の３次元空間座標を測定する座標測定手段と、座標測定手段によって測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像を生成する画像生成手段と、撮像手段により撮像された実画像を背景とし、座標測定手段により測定された撮像手段の基準面に対する３次元空間座標に基づいて、画像生成手段によって生成された３次元仮想物体の画像を背景の所定の位置に重畳させた合成画像を生成する合成画像生成手段とを備え、携帯型ディスプレイは、合成画像を表示することを特徴とする。
【０００９】
座標測定手段には、基準面上に配置された磁界発生手段と、撮像手段に配置された磁界検出手段と、磁界検出手段による検出結果に基づいて、３次元空間座標を演算する演算手段とを設けることができる。
【００１０】
画像生成手段は、基準面上に、３次元仮想物体の影の画像を生成することができる。
【００１１】
３次元仮想物体を仮想的に把持し、３次元仮想物体に対して所定の操作を加える操作手段をさらに設け、操作手段により、３次元仮想物体の基準面に対する移動が指示されたとき、画像生成手段に、撮像手段の撮像方向に沿って、３次元仮想物体が把持されたことを示す基準線の画像を生成し、操作手段の操作に従って、３次元仮想物体の画像が、基準線の先端が接した状態で基準面上を移動する画像を生成させることができる。
少なくとも携帯型ディスプレイと、撮像手段と、座標測定手段と、操作手段とからなる複数組の表示装置に、画像生成手段によって生成された共通の３次元仮想物体の画像を表示し、操作手段が３次元仮想物体に対して行った操作による３次元仮想物体の基準面上での位置変化が、各表示装置に反映されるようにすることができる。
本発明の、所定の画像を表示する携帯型ディスプレイと、携帯型ディスプレイの表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段とを備える３次元仮想物体表示装置における第１の３次元仮想物体表示方法は、所定の基準面に対する撮像手段の３次元空間座標を測定する座標測定ステップと、座標測定ステップの処理で測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像を生成する画像生成ステップと、撮像手段により撮像された実画像を背景とし、座標測定ステップの処理で測定された撮像手段の基準面に対する３次元空間座標に基づいて、画像生成ステップの処理で生成された３次元仮想物体の画像を背景の所定の位置に重畳させた合成画像を生成し、合成画像を携帯型ディスプレイに表示させる合成画像生成ステップとを含むことを特徴とする。
本発明の第１の３次元仮想物体表示装置および方法においては、所定の基準面に対する撮像手段の３次元空間座標が測定され、測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像が生成され、撮像手段により撮像された実画像を背景とし、測定された撮像手段の基準面に対する３次元空間座標に基づいて、生成された３次元仮想物体の画像を背景の所定の位置に重畳させた合成画像が生成され、合成画像が携帯型ディスプレイに表示される。
本発明の第２の３次元仮想物体表示装置は、所定の画像を表示する表示手段と、表示手段の表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段と、所定の基準面に対する撮像手段の３次元空間座標を測定する座標測定手段と、座標測定手段によって測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像と、基準面上に、３次元仮想物体の影の画像を生成する画像生成手段と、撮像手段により撮像された実画像を背景とし、座標測定手段により測定された撮像手段の基準面に対する３次元空間座標に基づいて、画像生成手段によって生成された３次元仮想物体の画像と、３次元仮想物体の影の画像とを背景の所定の位置に重畳させた合成画像を生成する合成画像生成手段とを備え、表示手段は、合成画像を表示することを特徴とする３次元仮想物体表示装置。
表示手段は、携帯型ディスプレイであるようにすることができる。
本発明の、所定の画像を表示する表示手段と、表示手段の表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段とを備える３次元仮想物体表示装置における第２の３次元仮想物体表示方法は、所定の基準面に対する撮像手段の３次元空間座標を測定する座標測定ステップと、座標測定ステップの処理で測定された撮像手段の基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像と、基準面上に、３次元仮想物体の影の画像を生成する画像生成ステップと、撮像手段により撮像された実画像を背景とし、座標測定ステップの処理で測定された撮像手段の基準面に対する３次元空間座標に基づいて、画像生成ステップの処理で生成された３次元仮想物体の画像と、３次元仮想物体の影の画像とを背景の所定の位置に重畳させた合成画像を生成し、合成画像を携帯型ディスプレイに表示させる合成画像生成ステップとを含むことを特徴とする。
本発明の第２の３次元仮想物体表示装置および方法においては、所定の基準面に対する撮像手段の３次元空間座標が測定され、測定された撮像手段の基準面に対する３次元空間 座標に基づいて、所定の３次元仮想物体の画像と、基準面上に、３次元仮想物体の影の画像が生成され、撮像手段により撮像された実画像を背景とし、測定された撮像手段の基準面に対する３次元空間座標に基づいて、生成された３次元仮想物体の画像と、３次元仮想物体の影の画像とを背景の所定の位置に重畳させた合成画像が生成され、合成画像が携帯型ディスプレイに表示される。
【００１２】
【発明の実施の形態】
図１は、本発明を応用した表示装置の構成例を示すブロック図である。携帯型ディスプレイ１（表示手段）は、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｉｓｔａｌ ｄｉｓｐｌａｙ）等からなり、所定の画像、文字、図形等を表示するようになされている。ビデオカメラ２（撮像手段）は、携帯型ディスプレイ１の画面の裏面方向に撮像方向が向くように、携帯型ディスプレイ１に取り付けられている。
【００１３】
３次元位置方向センサ３（座標測定手段）は、携帯型ディスプレイ１またはビデオカメラ２に固定して取り付けられており、所定の基準面に対する携帯型ディスプレイ１およびビデオカメラ２の位置や傾き角等を測定するようになされている。例えば、テーブルの上面等を基準面とすることができる。ここでは、３次元位置方向センサ３が携帯型ディスプレイ１に固定して取り付けられている場合について示したが、３次元位置方向センサ３をビデオカメラ２に固定して取り付けるようにすることも可能である（図４、図５参照）。
【００１４】
操作用ボタン４（操作手段）は、所定の指令を行うとき操作され、操作に対応して所定の信号を出力するようになされている。
【００１５】
処理装置１１は、操作用ボタン４からの信号や、３次元位置方向センサ３からの位置方向信号に基づいて、３次元仮想物体の画像を生成し、ビデオカメラ２によって撮像された映像に重畳して、携帯型ディスプレイ１に表示させるようになされている。
【００１６】
処理装置１１を構成する入力操作部１２は、操作用ボタン４からの信号を入力するようになされている。カメラの位置および方向計測部１３は、３次元位置方向センサ３より供給される位置方向信号に基づいて、ビデオカメラ２の基準面上での位置、および撮像方向を計測し、位置データおよび方向データを出力するようになされている。
【００１７】
３次元データ生成部１４は、所定の形状モデルのデータ（形と色から構成される）を記憶し、適宜、出力するようになされている。透視変換マトリックス生成部１５（画像生成手段）は、透視変換のためのマトリックスを生成し、３次元データ生成部１４より出力された所定の形状モデルの形状モデルデータを、カメラの位置および方向計測部１３より出力された位置データおよび方向データに基づいて透視変換し、携帯型ディスプレイ１の所定の位置に所定の大きさで表示するようになされている。
【００１８】
また、透視変換マトリックス生成部１５は、透視変換した形状モデルの影の画像を、基準面上に位置するように生成するようになされている。
【００１９】
合成表示部１６（合成画像生成手段）は、ビデオカメラ２より供給されたビデオ信号と、透視変換マトリックス生成部１５より供給された透視変換された所定の形状モデルの画像とを合成し、携帯型ディスプレイ１に供給するようになされている。通信制御部１７は、入力操作部１２により入力された信号に対応する操作データや、３次元データ生成部１４が保持する形状モデルデータ等を、プロセス間通信等の通信手順によって、図１に示した装置と同様の構成の他の装置に供給したり、他の装置の入力操作部より出力された操作データや形状モデルデータ等を受信するようになされている。
【００２０】
上述したように、３次元位置方向センサ３は、基準面上での位置およびビデオカメラ２の撮像方向を検出し、カメラの位置および方向計測部１３は、ビデオカメラ２と所定の基準面との間の３次元（ｘ、ｙ、ｚ軸）上の相対的な位置、および姿勢（アジマス、エレベーション、ロール）を計算する。この３次元位置方向センサ３およびカメラの位置および方向計測部１３としては、例えば、Ｓｔｅｒｅｏ Ｇｒａｐｈｉｃｓ社のＣｒｙｓｔａｌ ＥＹＥＳ（商標）として商品化されている超音波を用いた装置や、Ｐｏｌｈｅｍｕｓ社が３ＳＰＡＣＥ（商標）として商品化している磁気を用いた装置を適用することができる。
【００２１】
図２は、磁気を用いて位置センサ２５（磁界検出手段）の位置を検出する３次元座標測定装置の構成例を示している。同図に示すように、３次元座標測定装置は、ソースコイル（直交コイル）２４（磁界発生手段）を有している。このソースコイル２４は、ｘ軸方向の磁界を発生するコイル２４ｘ、ｙ軸方向の磁界を発生するコイル２４ｙ、およびｚ軸方向の磁界を発生するコイル２４ｚにより構成されている。位置センサ２５も、ｘ軸方向の磁界を検出するコイル２５ｘ、ｙ軸方向の磁界を検出するコイル２５ｙ、およびｚ軸方向の磁界を検出するコイル２５ｚを有している。
【００２２】
３次元座標測定装置の位置計算部２２（演算手段）は、ドライブ回路２３を介してソースコイル２４の３つのコイルをそれぞれ時分割で駆動する。その結果、ｘ軸方向の磁界、ｙ軸方向の磁界、およびｚ軸方向の磁界が順次発生される。位置センサ２５の各コイルは、これらの各方向の磁界を検出し、その検出信号を検出回路２１に出力する。検出回路２１は、その検出信号を位置計算部２２に供給する。位置計算部２２は、検出回路２１より供給された検出信号を演算し、位置センサ２５の基準面（ソースコイル２４が配置された面）に対する３次元上の位置および姿勢を求める。
【００２３】
図２に示した３次元座標測定装置を、例えば図１のカメラの位置および方向計測部１３に適用し、ソースコイル２４を基準面となるテーブルの上に配置すると共に、位置センサ２５を３次元位置方向センサ３として適用することができる。これにより、携帯型ディスプレイ１の基準面（テーブルの上面）に対する３次元上の位置および姿勢を求めることができる。
【００２４】
次に、その動作について説明する。ビデオカメラ２により撮像された映像に対応するビデオ信号は、処理装置１１の合成表示部１６に供給される。また、３次元位置方向センサ３により計測されたビデオカメラ２の位置および方向に対応する位置方向信号は、カメラの位置および方向計測部１３に供給される。カメラの位置および方向計測部１３は、この計測データに基づいてビデオカメラ２の基準面に対する位置および撮像方向を演算により求め、演算結果としての位置データおよび方向データを透視変換マトリックス生成部１５に供給する。
【００２５】
ユーザにより、操作用ボタン４が操作され、所定の形状モデルを表示するように指令されると、入力操作部１２は、操作用ボタン４からの指令に従って、３次元データ生成部１４に対して、所定の形状モデルデータを出力するよう指令する。３次元データ生成部１４は、入力操作部１２より指令された所定の形状モデルデータを透視変換マトリックス生成部１５に供給する。この場合、例えば、心臓を表す形状モデルデータが透視変換マトリックス生成部１５に供給されたものとする。
【００２６】
透視変換マトリックス生成部１５は、カメラの位置および方向計測部１３から出力された位置データおよび方向データに基づいて、３次元データ生成部１４より供給された所定の形状モデルデータを透視変換することにより、３次元仮想物体の画像を生成し、合成表示部１６に供給する。さらに、透視変換マトリックス生成部１５は、生成した３次元仮想物体によって基準面（この場合、テーブル）上に現れる影の画像を生成し、合成表示部１６に供給する。
【００２７】
合成表示部１６は、ビデオカメラ２より供給された現実の映像に、透視変換マトリックス生成部１５より供給された３次元仮想物体の画像を重畳し、携帯型ディスプレイ１に供給する。
【００２８】
図３は、このようにして、携帯型ディスプレイ１に表示された画像を表している。同図に示すように、ビデオカメラ２によって撮影された現実の映像、即ち、この場合、基準面としてのテーブルと、相手側の手および表示装置が表示され、テーブルの上方に、３次元仮想物体としての心臓の画像（コンピュータグラフィックスによる画像）が表示される。さらに、テーブル上には、コンピュータグラフィックスの手法により生成された３次元仮想物体としての心臓の影の画像が表示される。
【００２９】
このように、携帯型ディスプレイ１に、現実の映像に３次元仮想物体の映像が重畳されて表示されるので、利用者は、３次元仮想物体が、あたかも現実世界に存在するかのように観察することができる。さらに、現実の床やテーブルの表面に対応する位置に、３次元仮想物体によってできた影を模擬した図形を表示することにより、実際に、３次元仮想物体の影がテーブル上に落ちているような表示を行うことができる。従って、利用者は、テーブルと影の関係から、３次元仮想物体の空間中における位置をより正確に把握することができる。
【００３０】
次に、操作用ボタン４を操作して、３次元仮想物体を、基準面（この場合、テーブル）に対して仮想的に移動させる場合の動作について説明する。
【００３１】
まず、利用者が、所定の操作用ボタン４を操作することにより、携帯型ディスプレイ１に表示された３次元仮想物体の移動を指示する。操作用ボタン４の操作に対応する信号は、入力操作部１２に供給され、３次元データ生成部１４を介して透視変換マトリックス生成部１５に供給される。
【００３２】
所定の操作用ボタン４を押下している間、表示装置の移動に拘らず、３次元仮想物体と表示装置の間の相対的な位置関係は固定される。即ち、透視変換マトリックス生成部１５は、カメラの位置および方向計測部１３より供給されるビデオカメラ２の位置データおよび方向データに対応して、３次元仮想物体が表示装置との間の相対的な位置関係が変化しないように、透視変換を行う。
【００３３】
例えば、図４（ａ）に示すように、３次元仮想物体が基準面としてのテーブルのほぼ中央に表示された状態で、操作ボタン４を押下して移動操作の開始を指示した後、例えば、表示装置をテーブルの中央に向けて移動させると、それに伴って、図４（ｂ）に示すように、３次元仮想物体はテーブルのほぼ中央から端の方に向かって仮想的に移動する。そのとき、表示装置と３次元仮想物体との間の相対的な位置関係は変化しない。このようにして、３次元仮想物体を、空間上の任意の場所に位置づけることができる。また、その際、テーブル上に表示される３次元仮想物体の影が、いま、３次元仮想物体がどこにあるかを把握する上での有効な手がかりとなる。
【００３４】
次に、操作用ボタン４を離すと、３次元仮想物体は、基準面（テーブル）との間の相対的な位置関係が固定された状態となる。これにより、３次元仮想物体の空間上での位置を確定することができる。従って、図４（ｃ）に示すように、操作用ボタン４を離した後、表示装置を手前に動かすと、表示装置と３次元仮想物体との間の距離は大きくなり、それに伴って、携帯型ディスプレイに表示される３次元仮想物体の大きさは、小さくなる。
【００３５】
ところで、３次元データ（形状モデルデータ）は、プロセス間通信等の通信手段を用いて、複数の表示装置間で共有することができる。これにより、図５に示すように、所定の会議に参加した複数の参加者が同一の形状モデルデータに対応する同一の３次元仮想物体を観察したり、それを移動させたりすることができる。このとき、各参加者が有する表示装置の携帯型ディスプレイ１には、３次元仮想物体の他に、ビデオカメラ２によって撮影された他の参加者の映像が表示されることになる。
【００３６】
即ち、参加者Ａの携帯型ディスプレイ１には、テーブルと参加者Ｂが背景の映像として表示され、３次元仮想物体がテーブルの中央に表示され、その影がテーブル上の所定の位置に表示される。また、参加者Ｂの携帯型ディスプレイ１には、テーブルと参加者Ａが背景の映像として表示され、３次元仮想物体がテーブルの中央に表示され、その影がテーブル上の所定の位置に表示される。
【００３７】
図６は、例えば、参加者Ａが、携帯型ディスプレイ１に表示されたテーブル上の３次元仮想物体、この場合、コンピュータグラフィックスによって表示されたヘリコプターを掴み、所定の場所に移動させている様子を表している。携帯型ディスプレイ１の上部に表示された球体は、ヘリコプターを掴むための視標となるものであり、人間の手に相当するものである。即ち、この視標を所定の３次元仮想物体に携帯型ディスプレイ１の画面上で接触させることにより、その３次元仮想物体を仮想的に掴むことができるようになされている。
【００３８】
図７は、図６に示したように、参加者Ａが、３次元仮想物体としてのヘリコプターを掴んで移動させているとき、参加者Ｂの携帯型ディスプレイ１の表示画面に表示される画像を表している。ここには、参加者Ａと参加者Ａが持っている表示装置、およびテーブルが現実の映像として表示され、３次元仮想物体としてのヘリコプターがテーブルの上に表示されている。そして、参加者Ａが持つ表示装置とヘリコプターの間に所定のビームが表示される。このビームは、参加者Ａがヘリコプターを掴んでいることを示すためのものである。
【００３９】
参加者Ａがヘリコプターを所定の場所に移動させる間、参加者Ａの表示装置からヘリコプターに向けて、所定のビームが表示され、参加者Ａが、表示装置を移動させるのに伴って、ヘリコプターおよびビームが、参加者Ａが持つ表示装置との間の相対的な位置関係が変化しないように移動する。
【００４０】
このように、ある参加者が３次元仮想物体を掴んでいるとき、その参加者が持つ表示装置から、所定のビームが３次元仮想物体に向けて照射されている画像が表示されるので、他の参加者は、いま誰が３次元仮想物体を掴んでいるかを認識することができる。
【００４１】
図８は、携帯型ディスプレイに、所定の分子モデルを表示し、操作している様子を表している。ここで、分子モデルの所定の部分の詳細な構造を観察するために、携帯型ディスプレイ１を分子モデルに近づけると、図９に示すように、携帯型ディスプレイ１を分子モデルに近づけた距離に応じて、分子モデルの所定の部分を構成する原子が拡大されて表示される。このようにして、観察対象である３次元仮想物体の所定の部分を容易に拡大して表示させることができる。
【００４２】
なお、上記実施例においては、参加者が２人の場合について説明したが、３以上の多数の参加者がいる場合についても、同様に、３次元データを共有することができる。
【００４３】
なお、上記実施例においては、３次元仮想物体を掴んでいることを表すために、所定の球体やビームを表示させるようにしたが、球体やビームに限定されるものではなく、それ以外の所定の形状の物体や図形等を表示させるようにすることも可能である。
【００４４】
また、上記実施例においては、３次元仮想物体を移動させる場合について説明したが、３次元仮想物体を回転させたり、その一部の形状を変更したりするような操作を３次元仮想物体に対して施すようにすることも可能である。
【００４５】
【発明の効果】
本発明によれば、簡単かつ迅速に、現実世界の画像に仮想世界の画像が重畳された合成画像を観察することができ、現実世界での通常の作業を継続しながらでも、仮想世界での作業を容易に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明を応用した表示装置の構成例を示すブロック図である。
【図２】３次元座標測定装置の構成例を示すブロック図である。
【図３】現実世界の映像に３次元仮想物体の映像が重畳された映像の表示例を示す図である。
【図４】３次元仮想物体を掴んで移動させる様子を示す図である。
【図５】複数の参加者が同一の３次元データを共有している様子を示す図である。
【図６】自分が３次元仮想物体を掴んで操作しているときの表示例を示す図である。
【図７】相手が３次元仮想物体を掴んで操作しているときの表示例を示す図である。
【図８】３次元仮想物体として分子モデルを表示させたときの表示例を示す図である。
【図９】分子モデルに表示装置を近づけたときの表示例を示す図である。
【符号の説明】
１ 携帯型ディスプレイ，２ ビデオカメラ，３ ３次元位置方向センサ，４操作用ボタン，１１ 処理装置，１２ 入力操作部，１３ カメラの位置および方向計測部，１４ ３次元データ生成部，１５ 透視変換マトリックス生成部，１６ 合成表示部，１７ 通信制御部，２１ 検出回路，２２ 位置計算部，２３ ドライブ回路，２４ ソースコイル，２５ 位置センサ
Claims (9)
- 所定の画像を表示する携帯型ディスプレイと、
前記携帯型ディスプレイの表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段と、
所定の基準面に対する前記撮像手段の３次元空間座標を測定する座標測定手段と、
前記座標測定手段によって測定された前記撮像手段の前記基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像を生成する画像生成手段と、
前記撮像手段により撮像された前記実画像を背景とし、前記座標測定手段により測定された前記撮像手段の前記基準面に対する前記３次元空間座標に基づいて、前記画像生成手段によって生成された３次元仮想物体の画像を前記背景の所定の位置に重畳させた合成画像を生成する合成画像生成手段と
を備え、
前記携帯型ディスプレイは、前記合成画像を表示する
ことを特徴とする３次元仮想物体表示装置。 - 前記座標測定手段は、
前記基準面上に配置された磁界発生手段と、
前記撮像手段に配置された磁界検出手段と、
前記磁界検出手段による検出結果に基づいて、前記３次元空間座標を演算する演算手段と
を備えることを特徴とする請求項１に記載の３次元仮想物体表示装置。 - 前記画像生成手段は、前記基準面上に、前記３次元仮想物体の影の画像を生成する
ことを特徴とする請求項１に記載の３次元仮想物体表示装置。 - 前記３次元仮想物体を仮想的に把持し、前記３次元仮想物体に対して所定の操作を加える操作手段をさらに備え、
前記操作手段により、前記３次元仮想物体の前記基準面に対する移動が指示されたとき、前記画像生成手段は、前記撮像手段の撮像方向に沿って、前記３次元仮想物体が把持されたことを示す基準線の画像を生成し、前記操作手段の操作に従って、前記３次元仮想物体の画像が、前記基準線の先端が接した状態で前記基準面上を移動する画像を生成する
ことを特徴とする請求項１に記載の３次元仮想物体表示装置。 - 少なくとも前記携帯型ディスプレイと、前記撮像手段と、前記座標測定手段と、前記操作手段とからなる複数組の表示装置に、前記画像生成手段によって生成された共通の３次元仮想物体の画像を表示し、前記操作手段が前記３次元仮想物体に対して行った操作による前記３次元仮想物体の前記基準面上での位置変化が、各表示装置に反映される
ことを特徴とする請求項１に記載の３次元仮想物体表示装置。 - 所定の画像を表示する携帯型ディスプレイと、
前記携帯型ディスプレイの表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段と
を備える３次元仮想物体表示装置における３次元仮想物体表示方法において、
所定の基準面に対する前記撮像手段の３次元空間座標を測定する座標測定ステップと、
前記座標測定ステップの処理で測定された前記撮像手段の前記基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像を生成する画像生成ステップと、
前記撮像手段により撮像された前記実画像を背景とし、前記座標測定ステップの処理で測定された前記撮像手段の前記基準面に対する前記３次元空間座標に基づいて、前記画像生成ステップの処理で生成された３次元仮想物体の画像を前記背景の所定の位置に重畳させた合成画像を生成し、前記合成画像を前記携帯型ディスプレイに表示させる合成画像生成ステップと
を含むことを特徴とする３次元仮想物体表示方法。 - 所定の画像を表示する表示手段と、
前記表示手段の表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段と、
所定の基準面に対する前記撮像手段の３次元空間座標を測定する座標測定手段と、
前記座標測定手段によって測定された前記撮像手段の前記基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像と、前記基準面上に、前記３次元仮想物体の影の画像を生成する画像生成手段と、
前記撮像手段により撮像された前記実画像を背景とし、前記座標測定手段により測定された前記撮像手段の前記基準面に対する前記３次元空間座標に基づいて、前記画像生成手段によって生成された前記３次元仮想物体の画像と、前記３次元仮想物体の影の画像とを前記背景の所定の位置に重畳させた合成画像を生成する合成画像生成手段と
を備え、
前記表示手段は、前記合成画像を表示する
ことを特徴とする３次元仮想物体表示装置。 - 前記表示手段は、携帯型ディスプレイである
ことを特徴とする請求項７に記載の３次元仮想物体常時装置。 - 所定の画像を表示する表示手段と、
前記表示手段の表示面の裏面方向に撮像方向を向けて取り付けられた、所定の被写体の実画像を撮像する撮像手段と
を備える３次元仮想物体表示装置における３次元仮想物体表示方法において、
所定の基準面に対する前記撮像手段の３次元空間座標を測定する座標測定ステップと、
前記座標測定ステップの処理で測定された前記撮像手段の前記基準面に対する３次元空間座標に基づいて、所定の３次元仮想物体の画像と、前記基準面上に、前記３次元仮想物体の影の画像を生成する画像生成ステップと、
前記撮像手段により撮像された前記実画像を背景とし、前記座標測定ステップの処理で測定された前記撮像手段の前記基準面に対する前記３次元空間座標に基づいて、前記画像生成ステップの処理で生成された前記３次元仮想物体の画像と、前記３次元仮想物体の影の画像とを前記背景の所定の位置に重畳させた合成画像を生成し、前記合成画像を前記携帯型ディスプレイに表示させる合成画像生成ステップと
を含むことを特徴とする３次元仮想物体表示方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20561196A JP3558104B2 (ja) | 1996-08-05 | 1996-08-05 | ３次元仮想物体表示装置および方法 |
| US08/902,510 US6020891A (en) | 1996-08-05 | 1997-07-29 | Apparatus for displaying three-dimensional virtual object and method of displaying the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20561196A JP3558104B2 (ja) | 1996-08-05 | 1996-08-05 | ３次元仮想物体表示装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1051711A JPH1051711A (ja) | 1998-02-20 |
| JP3558104B2 true JP3558104B2 (ja) | 2004-08-25 |
Family
ID=16509748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20561196A Expired - Lifetime JP3558104B2 (ja) | 1996-08-05 | 1996-08-05 | ３次元仮想物体表示装置および方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6020891A (ja) |
| JP (1) | JP3558104B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010001756A1 (ja) | 2008-06-30 | 2010-01-07 | 株式会社ソニー・コンピュータエンタテインメント | 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法 |
| US8948451B2 (en) | 2011-11-14 | 2015-02-03 | Sony Corporation | Information presentation device, information presentation method, information presentation system, information registration device, information registration method, information registration system, and program |
| US9083891B2 (en) | 2010-12-15 | 2015-07-14 | Hitachi, Ltd. | Video monitoring apparatus |
Families Citing this family (101)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9722766D0 (en) | 1997-10-28 | 1997-12-24 | British Telecomm | Portable computers |
| JP2001076282A (ja) | 1999-09-02 | 2001-03-23 | Canon Inc | 情報処理装置およびその方法 |
| JP2001195368A (ja) | 1999-11-01 | 2001-07-19 | Sony Corp | 認証情報通信システムおよび認証情報通信方法、携帯情報処理装置、並びにプログラム提供媒体 |
| US6784901B1 (en) | 2000-05-09 | 2004-08-31 | There | Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment |
| JP2001325611A (ja) * | 2000-05-15 | 2001-11-22 | Sony Corp | ３次元モデル処理装置および３次元モデル処理方法、並びにプログラム提供媒体 |
| JP4701479B2 (ja) * | 2000-07-05 | 2011-06-15 | ソニー株式会社 | リンク情報表示装置及びその表示方法 |
| JP4649050B2 (ja) * | 2001-03-13 | 2011-03-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び制御プログラム |
| US7761326B2 (en) | 2001-04-20 | 2010-07-20 | Nippon Telegraph And Telephone Corporation | Token type content providing system and token type content providing method and portable user terminal |
| JP2003208381A (ja) * | 2001-04-20 | 2003-07-25 | Nippon Telegr & Teleph Corp <Ntt> | トークン型コンテンツ提供システム及びトークン型コンテンツ提供方法及び携帯型利用者端末 |
| US20040113887A1 (en) * | 2002-08-27 | 2004-06-17 | University Of Southern California | partially real and partially simulated modular interactive environment |
| JP4298407B2 (ja) | 2002-09-30 | 2009-07-22 | キヤノン株式会社 | 映像合成装置及び映像合成方法 |
| JP2004199496A (ja) * | 2002-12-19 | 2004-07-15 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| JP4262011B2 (ja) * | 2003-07-30 | 2009-05-13 | キヤノン株式会社 | 画像提示方法及び装置 |
| JP4739002B2 (ja) * | 2005-06-30 | 2011-08-03 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| US7880738B2 (en) * | 2005-07-14 | 2011-02-01 | Molsoft Llc | Structured documents and systems, methods and computer programs for creating, producing and displaying three dimensional objects and other related information in those structured documents |
| JP2007280014A (ja) * | 2006-04-06 | 2007-10-25 | Dainippon Printing Co Ltd | 表示パラメータ入力装置 |
| JP4853241B2 (ja) * | 2006-11-08 | 2012-01-11 | トヨタ自動車株式会社 | 車両用表示装置 |
| US7712047B2 (en) * | 2007-01-03 | 2010-05-04 | Microsoft Corporation | Motion desktop |
| JP4901539B2 (ja) * | 2007-03-07 | 2012-03-21 | 株式会社東芝 | 立体映像表示システム |
| US8336708B2 (en) * | 2007-07-20 | 2012-12-25 | Battenfeld Technologies, Inc. | System and container for organizing and carrying tools and tool sets |
| DE102007045834B4 (de) * | 2007-09-25 | 2012-01-26 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
| US20090153550A1 (en) * | 2007-12-18 | 2009-06-18 | Disney Enterprises, Inc. | Virtual object rendering system and method |
| EP2193825B1 (en) * | 2008-12-03 | 2017-03-22 | Alcatel Lucent | Mobile device for augmented reality applications |
| JP5219926B2 (ja) * | 2009-06-01 | 2013-06-26 | キヤノン株式会社 | データ選択装置、その制御方法及びプログラム |
| JP5898842B2 (ja) | 2010-01-14 | 2016-04-06 | 任天堂株式会社 | 携帯型情報処理装置、携帯型ゲーム装置 |
| EP2355526A3 (en) | 2010-01-14 | 2012-10-31 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| WO2011096203A1 (ja) | 2010-02-03 | 2011-08-11 | 任天堂株式会社 | ゲームシステム、操作装置、およびゲーム処理方法 |
| US8814686B2 (en) | 2010-02-03 | 2014-08-26 | Nintendo Co., Ltd. | Display device, game system, and game method |
| US8913009B2 (en) | 2010-02-03 | 2014-12-16 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
| US8339364B2 (en) | 2010-02-03 | 2012-12-25 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
| JP5573238B2 (ja) * | 2010-03-04 | 2014-08-20 | ソニー株式会社 | 情報処理装置、情報処理法方法およびプログラム |
| JP5800501B2 (ja) | 2010-03-12 | 2015-10-28 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法 |
| WO2011127379A2 (en) | 2010-04-09 | 2011-10-13 | University Of Florida Research Foundation Inc. | Interactive mixed reality system and uses thereof |
| JP5418386B2 (ja) * | 2010-04-19 | 2014-02-19 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US8633947B2 (en) | 2010-06-02 | 2014-01-21 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method |
| US8384770B2 (en) | 2010-06-02 | 2013-02-26 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
| JP5647819B2 (ja) | 2010-06-11 | 2015-01-07 | 任天堂株式会社 | 携帯型電子機器 |
| EP2395767B1 (en) | 2010-06-11 | 2014-11-12 | Nintendo Co., Ltd. | Image display program, image display system, and image display method |
| JP5546960B2 (ja) * | 2010-06-14 | 2014-07-09 | 任天堂株式会社 | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 |
| US9699438B2 (en) * | 2010-07-02 | 2017-07-04 | Disney Enterprises, Inc. | 3D graphic insertion for live action stereoscopic video |
| JP6243586B2 (ja) | 2010-08-06 | 2017-12-06 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法 |
| US10150033B2 (en) | 2010-08-20 | 2018-12-11 | Nintendo Co., Ltd. | Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method |
| JP5840386B2 (ja) | 2010-08-30 | 2016-01-06 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法 |
| JP5840385B2 (ja) | 2010-08-30 | 2016-01-06 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法 |
| US20120067954A1 (en) * | 2010-09-16 | 2012-03-22 | Madhav Moganti | Sensors, scanners, and methods for automatically tagging content |
| US8655881B2 (en) | 2010-09-16 | 2014-02-18 | Alcatel Lucent | Method and apparatus for automatically tagging content |
| US8533192B2 (en) | 2010-09-16 | 2013-09-10 | Alcatel Lucent | Content capture device and methods for automatically tagging content |
| US8666978B2 (en) | 2010-09-16 | 2014-03-04 | Alcatel Lucent | Method and apparatus for managing content tagging and tagged content |
| JP4869430B1 (ja) * | 2010-09-24 | 2012-02-08 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
| JP5627973B2 (ja) * | 2010-09-24 | 2014-11-19 | 任天堂株式会社 | ゲーム処理をするためのプログラム、装置、システムおよび方法 |
| JP5739674B2 (ja) | 2010-09-27 | 2015-06-24 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
| US8854356B2 (en) | 2010-09-28 | 2014-10-07 | Nintendo Co., Ltd. | Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method |
| KR101364826B1 (ko) | 2010-11-01 | 2014-02-20 | 닌텐도가부시키가이샤 | 조작 장치 및 조작 시스템 |
| AU2011324017A1 (en) | 2010-11-02 | 2013-05-30 | Covidien Lp | Image viewing application and method for orientationally sensitive display devices |
| JP2012115414A (ja) * | 2010-11-30 | 2012-06-21 | Nintendo Co Ltd | ゲーム装置、ゲームを提供する方法、ゲームプログラム、および、ゲームシステム |
| JP5671349B2 (ja) * | 2011-01-06 | 2015-02-18 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
| EP2485119A3 (en) * | 2011-02-02 | 2012-12-12 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
| JP5724544B2 (ja) * | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5689014B2 (ja) | 2011-04-07 | 2015-03-25 | 任天堂株式会社 | 入力システム、情報処理装置、情報処理プログラム、および３次元位置算出方法 |
| US20140160155A1 (en) * | 2011-08-30 | 2014-06-12 | Hewlett-Packard Development Company, L.P. | Inserting an Object into an Image |
| JP5602702B2 (ja) * | 2011-10-13 | 2014-10-08 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
| FR2984057B1 (fr) | 2011-12-13 | 2014-01-03 | Solidanim | Systeme de tournage de film video |
| WO2013118373A1 (ja) | 2012-02-10 | 2013-08-15 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2013196156A (ja) | 2012-03-16 | 2013-09-30 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
| JP5594850B2 (ja) | 2012-08-17 | 2014-09-24 | 独立行政法人理化学研究所 | 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体 |
| JP6075193B2 (ja) * | 2013-05-07 | 2017-02-08 | 株式会社セガゲームス | 携帯端末装置 |
| WO2014186970A1 (en) * | 2013-05-23 | 2014-11-27 | Google Inc. | Systems and methods for generating three-dimensional models using sensed position data |
| JP6171671B2 (ja) * | 2013-07-24 | 2017-08-02 | 富士通株式会社 | 情報処理装置、位置指定方法および位置指定プログラム |
| US10332200B1 (en) | 2014-03-17 | 2019-06-25 | Wells Fargo Bank, N.A. | Dual-use display screen for financial services applications |
| US9632686B1 (en) | 2014-07-24 | 2017-04-25 | Wells Fargo Bank, N.A. | Collaborative document creation |
| JP6357412B2 (ja) * | 2014-12-15 | 2018-07-11 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
| WO2016112383A1 (en) | 2015-01-10 | 2016-07-14 | University Of Florida Research Foundation, Inc. | Simulation features combining mixed reality and modular tracking |
| JP6336930B2 (ja) * | 2015-02-16 | 2018-06-06 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
| JP6336929B2 (ja) * | 2015-02-16 | 2018-06-06 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
| CN107533233B (zh) * | 2015-03-05 | 2021-01-29 | 奇跃公司 | 用于增强现实的系统和方法 |
| JP6328579B2 (ja) * | 2015-03-13 | 2018-05-23 | 富士フイルム株式会社 | 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム |
| JP2017016466A (ja) * | 2015-07-02 | 2017-01-19 | 富士通株式会社 | 端末制御方法、画像生成方法、端末制御プログラム、及び端末 |
| JP6575221B2 (ja) * | 2015-08-19 | 2019-09-18 | 富士通株式会社 | 表示制御方法、情報処理装置及び表示制御プログラム |
| JP5991418B2 (ja) * | 2015-10-02 | 2016-09-14 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| TWI567691B (zh) * | 2016-03-07 | 2017-01-21 | 粉迷科技股份有限公司 | 立體空間的場景編輯方法與系統 |
| US10593116B2 (en) | 2016-10-24 | 2020-03-17 | Snap Inc. | Augmented reality object manipulation |
| WO2018110821A1 (en) * | 2016-12-14 | 2018-06-21 | Samsung Electronics Co., Ltd. | Display apparatus and method for controlling the display apparatus |
| US10242503B2 (en) * | 2017-01-09 | 2019-03-26 | Snap Inc. | Surface aware lens |
| US10620335B2 (en) | 2017-05-02 | 2020-04-14 | Ascension Technology Corporation | Rotating frequencies of transmitters |
| US10854003B2 (en) * | 2018-01-15 | 2020-12-01 | Worcester Polytechnic Institute | Visualization of network data as a three-dimensional hierarchical data structure in a mixed reality environment |
| US10855564B2 (en) * | 2018-01-15 | 2020-12-01 | Worcester Polytechnic Institute | Visualization of network data as a three-dimensional hierarchical data structure in a mixed reality environment |
| US10733960B2 (en) * | 2018-05-29 | 2020-08-04 | SentiAR, Inc. | Disposable sticker within augmented reality environment |
| US11030813B2 (en) | 2018-08-30 | 2021-06-08 | Snap Inc. | Video clip object tracking |
| US11176737B2 (en) | 2018-11-27 | 2021-11-16 | Snap Inc. | Textured mesh building |
| CN113330484A (zh) | 2018-12-20 | 2021-08-31 | 斯纳普公司 | 虚拟表面修改 |
| US10984575B2 (en) | 2019-02-06 | 2021-04-20 | Snap Inc. | Body pose estimation |
| US11189098B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | 3D object camera customization system |
| US11232646B2 (en) | 2019-09-06 | 2022-01-25 | Snap Inc. | Context-based virtual object rendering |
| US11227442B1 (en) | 2019-12-19 | 2022-01-18 | Snap Inc. | 3D captions with semantic graphical elements |
| US11263817B1 (en) | 2019-12-19 | 2022-03-01 | Snap Inc. | 3D captions with face tracking |
| US11615592B2 (en) | 2020-10-27 | 2023-03-28 | Snap Inc. | Side-by-side character animation from realtime 3D body motion capture |
| US11660022B2 (en) | 2020-10-27 | 2023-05-30 | Snap Inc. | Adaptive skeletal joint smoothing |
| US11748931B2 (en) | 2020-11-18 | 2023-09-05 | Snap Inc. | Body animation sharing and remixing |
| US11450051B2 (en) | 2020-11-18 | 2022-09-20 | Snap Inc. | Personalized avatar real-time motion capture |
| US11734894B2 (en) | 2020-11-18 | 2023-08-22 | Snap Inc. | Real-time motion transfer for prosthetic limbs |
| US11880947B2 (en) | 2021-12-21 | 2024-01-23 | Snap Inc. | Real-time upper-body garment exchange |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4970666A (en) * | 1988-03-30 | 1990-11-13 | Land Development Laboratory, Inc. | Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment |
| US5359703A (en) * | 1990-08-02 | 1994-10-25 | Xerox Corporation | Moving an object in a three-dimensional workspace |
| ATE224557T1 (de) * | 1990-11-30 | 2002-10-15 | Sun Microsystems Inc | Verbessertes verfahren und apparat zur erzeugung von virtuellen welten |
| US5590268A (en) * | 1993-03-31 | 1996-12-31 | Kabushiki Kaisha Toshiba | System and method for evaluating a workspace represented by a three-dimensional model |
| JP3347508B2 (ja) * | 1995-02-24 | 2002-11-20 | キヤノン株式会社 | 撮像画像処理装置および撮像画像処理方法 |
-
1996
- 1996-08-05 JP JP20561196A patent/JP3558104B2/ja not_active Expired - Lifetime
-
1997
- 1997-07-29 US US08/902,510 patent/US6020891A/en not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010001756A1 (ja) | 2008-06-30 | 2010-01-07 | 株式会社ソニー・コンピュータエンタテインメント | 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法 |
| EP2457627A2 (en) | 2008-06-30 | 2012-05-30 | Sony Computer Entertainment Inc. | Portable type game device and method for controlling portable type game device |
| US9662583B2 (en) | 2008-06-30 | 2017-05-30 | Sony Corporation | Portable type game device and method for controlling portable type game device |
| US9083891B2 (en) | 2010-12-15 | 2015-07-14 | Hitachi, Ltd. | Video monitoring apparatus |
| US8948451B2 (en) | 2011-11-14 | 2015-02-03 | Sony Corporation | Information presentation device, information presentation method, information presentation system, information registration device, information registration method, information registration system, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1051711A (ja) | 1998-02-20 |
| US6020891A (en) | 2000-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3558104B2 (ja) | ３次元仮想物体表示装置および方法 | |
| JP6355978B2 (ja) | プログラムおよび画像生成装置 | |
| US7843470B2 (en) | System, image processing apparatus, and information processing method | |
| US8139087B2 (en) | Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program | |
| CN103744518B (zh) | 立体交互方法及其显示装置和系统 | |
| Kim et al. | A helmet mounted display for telerobotics | |
| JP4262011B2 (ja) | 画像提示方法及び装置 | |
| EP1060772B1 (en) | Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof | |
| JP3833099B2 (ja) | ゲーム機の制御装置及び制御方法及びコンピュータ読み取り可能な制御プログラム | |
| JP5814532B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム及び表示制御方法 | |
| US7123214B2 (en) | Information processing method and apparatus | |
| JPH0685784B2 (ja) | 手術用３次元ピユ−ア−システム | |
| JP2003337963A5 (ja) | ||
| Holloway et al. | Virtual environments: A survey of the technology | |
| TW201401224A (zh) | 二維角色表現三維動作之系統及方法 | |
| JP4272711B2 (ja) | 画像生成方法及び装置 | |
| JP2015231445A (ja) | プログラムおよび画像生成装置 | |
| WO2006108279A1 (en) | Method and apparatus for virtual presence | |
| JP2009169622A (ja) | 画像処理装置、画像処理方法 | |
| JP2011008350A (ja) | 画像処理方法及び画像処理装置 | |
| JP2009087161A (ja) | 画像処理装置、画像処理方法 | |
| JP2000052289A (ja) | 微小操作のためのセンシング方式と操作方式およびそ の装置 | |
| CA3226429A1 (en) | System and apparatus for remote interaction with an object | |
| JP3982664B2 (ja) | 画像提示装置 | |
| JP2011008351A (ja) | 画像処理方法及び画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040428 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040511 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120528 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |