JPH1051711A - ３次元仮想物体表示装置および方法 - Google Patents
３次元仮想物体表示装置および方法Info
- Publication number
- JPH1051711A JPH1051711A JP20561196A JP20561196A JPH1051711A JP H1051711 A JPH1051711 A JP H1051711A JP 20561196 A JP20561196 A JP 20561196A JP 20561196 A JP20561196 A JP 20561196A JP H1051711 A JPH1051711 A JP H1051711A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- display
- virtual object
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 50
- 238000003384 imaging method Methods 0.000 claims description 61
- 239000002131 composite material Substances 0.000 claims description 30
- 238000012937 correction Methods 0.000 description 54
- 238000005259 measurement Methods 0.000 description 20
- 230000009466 transformation Effects 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000005389 magnetism Effects 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
(57)【要約】
【課題】 現実世界の作業を継続しながらでも、仮想世
界の作業を容易に行うことができるようにする。 【解決手段】 携帯型ディスプレイの画面に、現実世界
の映像としてのテーブルと、相手の装置を表示し、テー
ブルの上に、コンピュータグラフィックス等で作成され
た３次元仮想物体を表示するとともに、その影をテーブ
ル上に表示する。これにより、現実世界の作業をしてい
る最中でも、携帯型ディスプレイの画面に目を移すだけ
で、簡単に仮想世界の作業に切り換えることができる。
また、影を表示することにより、３次元仮想物体の空間
上での位置を容易に把握することが可能である。
界の作業を容易に行うことができるようにする。 【解決手段】 携帯型ディスプレイの画面に、現実世界
の映像としてのテーブルと、相手の装置を表示し、テー
ブルの上に、コンピュータグラフィックス等で作成され
た３次元仮想物体を表示するとともに、その影をテーブ
ル上に表示する。これにより、現実世界の作業をしてい
る最中でも、携帯型ディスプレイの画面に目を移すだけ
で、簡単に仮想世界の作業に切り換えることができる。
また、影を表示することにより、３次元仮想物体の空間
上での位置を容易に把握することが可能である。
Description
【０００１】
【発明の属する技術分野】本発明は、３次元仮想物体表
示装置および方法に関し、例えば、３次元仮想物体をあ
たかも現実世界に存在するかのように表示させるように
した３次元仮想物体表示装置および方法に関する。
示装置および方法に関し、例えば、３次元仮想物体をあ
たかも現実世界に存在するかのように表示させるように
した３次元仮想物体表示装置および方法に関する。
【０００２】
【従来の技術】近年、ＶＲ（Virtual Reality：仮想現
実）の分野においては、非透過型の頭部搭載型ディスプ
レイを用いて、計算機によって生成された仮想世界の映
像を表示し、この表示に対して、例えば手袋型入力装置
やボディスーツ型入力装置などを用いて、仮想世界とイ
ンタラクションを行うことができるようになされてい
る。これにより、通常経験することができないような仮
想世界に、あたかも自分が存在するかのような雰囲気を
楽しむことができる。
実）の分野においては、非透過型の頭部搭載型ディスプ
レイを用いて、計算機によって生成された仮想世界の映
像を表示し、この表示に対して、例えば手袋型入力装置
やボディスーツ型入力装置などを用いて、仮想世界とイ
ンタラクションを行うことができるようになされてい
る。これにより、通常経験することができないような仮
想世界に、あたかも自分が存在するかのような雰囲気を
楽しむことができる。
【０００３】しかしながら、このように、非透過型の頭
部搭載型ディスプレイにおいては、ディスプレイを通し
て見える映像中に、現実世界の映像が一切存在しないた
め、孤立感を強く感じたり、疲れやすい課題があった。
また、仮想世界における作業を中断し、現実世界におけ
る作業を行うような場合、頭部搭載型ディスプレイを一
旦取り外す必要があり、面倒である課題があった。
部搭載型ディスプレイにおいては、ディスプレイを通し
て見える映像中に、現実世界の映像が一切存在しないた
め、孤立感を強く感じたり、疲れやすい課題があった。
また、仮想世界における作業を中断し、現実世界におけ
る作業を行うような場合、頭部搭載型ディスプレイを一
旦取り外す必要があり、面倒である課題があった。
【０００４】そこで、本出願人は、「特開平７−５９７
８ 入力装置」において、透過型の頭部搭載型ディスプ
レイに、仮想世界の映像を表示することを提案した。こ
れにより、ユーザは、頭部搭載型ディスプレイの向こう
側に実際に存在する現実世界と、頭部搭載型ディスプレ
イに表示された仮想世界の映像を同時に観察し、仮想世
界の映像に対して所定の作業を行うことができる。例え
ば、仮想世界の映像として計算機の映像を表示し、指で
計算機を操作することができる。指には位置を測定する
センサを装着しているので、指の位置が計算され、その
位置に仮想的に存在する計算機のボタンが操作される。
８ 入力装置」において、透過型の頭部搭載型ディスプ
レイに、仮想世界の映像を表示することを提案した。こ
れにより、ユーザは、頭部搭載型ディスプレイの向こう
側に実際に存在する現実世界と、頭部搭載型ディスプレ
イに表示された仮想世界の映像を同時に観察し、仮想世
界の映像に対して所定の作業を行うことができる。例え
ば、仮想世界の映像として計算機の映像を表示し、指で
計算機を操作することができる。指には位置を測定する
センサを装着しているので、指の位置が計算され、その
位置に仮想的に存在する計算機のボタンが操作される。
【０００５】このように、現実世界と仮想世界を同時に
見ることができるので、孤立感を感じることなく、仮想
世界における作業を行うことができる。また、現実世界
を基礎とした状態において、仮想世界に対して所定の作
業を行うことができるので、頭部搭載型ディスプレイを
装着したままで、現実世界における作業と、仮想世界に
おける作業とを並行して行うことが可能である。
見ることができるので、孤立感を感じることなく、仮想
世界における作業を行うことができる。また、現実世界
を基礎とした状態において、仮想世界に対して所定の作
業を行うことができるので、頭部搭載型ディスプレイを
装着したままで、現実世界における作業と、仮想世界に
おける作業とを並行して行うことが可能である。
【０００６】
【発明が解決しようとする課題】しかしながら、頭部搭
載型ディスプレイを装着し、指にセンサを装着したまま
では、通常の現実世界における作業が拘束される課題が
あった。例えば、頭部搭載型ディスプレイを装着する
と、視野がある程度制限されたり、頭部に余分な負荷が
かかる。また、指にセンサを装着すると、手作業がしに
くくなる場合がある。
載型ディスプレイを装着し、指にセンサを装着したまま
では、通常の現実世界における作業が拘束される課題が
あった。例えば、頭部搭載型ディスプレイを装着する
と、視野がある程度制限されたり、頭部に余分な負荷が
かかる。また、指にセンサを装着すると、手作業がしに
くくなる場合がある。
【０００７】本発明はこのような状況に鑑みてなされた
ものであり、簡単に仮想世界の映像を観察することがで
きるようにし、現実世界の作業を継続しながら、仮想世
界の作業を行うことができるようにするものである。
ものであり、簡単に仮想世界の映像を観察することがで
きるようにし、現実世界の作業を継続しながら、仮想世
界の作業を行うことができるようにするものである。
【０００８】
【課題を解決するための手段】請求項１に記載の３次元
仮想物体表示装置は、所定の画像を表示する表示手段
と、表示手段の表示面の裏面方向に撮像方向を向けて取
り付けられた、所定の被写体の実画像を撮像する撮像手
段と、所定の基準面に対する撮像手段の３次元空間座標
を測定する座標測定手段と、座標測定手段によって測定
された撮像手段の基準面に対する３次元空間座標に基づ
いて、所定の仮想３次元物体の画像を生成する画像生成
手段と、撮像手段により撮像された実画像を背景とし、
座標測定手段により測定された撮像手段の基準面に対す
る３次元空間座標に基づいて、画像生成手段によって生
成された仮想３次元物体の画像を背景の所定の位置に重
畳させた合成画像を生成する合成画像生成手段とを備
え、表示手段は、合成画像を表示することを特徴とす
る。
仮想物体表示装置は、所定の画像を表示する表示手段
と、表示手段の表示面の裏面方向に撮像方向を向けて取
り付けられた、所定の被写体の実画像を撮像する撮像手
段と、所定の基準面に対する撮像手段の３次元空間座標
を測定する座標測定手段と、座標測定手段によって測定
された撮像手段の基準面に対する３次元空間座標に基づ
いて、所定の仮想３次元物体の画像を生成する画像生成
手段と、撮像手段により撮像された実画像を背景とし、
座標測定手段により測定された撮像手段の基準面に対す
る３次元空間座標に基づいて、画像生成手段によって生
成された仮想３次元物体の画像を背景の所定の位置に重
畳させた合成画像を生成する合成画像生成手段とを備
え、表示手段は、合成画像を表示することを特徴とす
る。
【０００９】請求項６に記載の３次元仮想物体表示方法
は、表示手段の表示面の裏面方向に撮像方向を向けて、
所定の被写体の実画像を撮像し、所定の基準面に対する
撮像手段の３次元空間座標を測定し、測定された撮像手
段の基準面に対する３次元空間座標に基づいて、所定の
仮想３次元物体の画像を生成し、撮像された実画像を背
景とし、座標測定手段により測定された撮像手段の基準
面に対する３次元空間座標に基づいて、画像生成手段に
よって生成された仮想３次元物体の画像を背景の所定の
位置に重畳させた合成画像を生成し、合成画像を表示面
に表示させることを特徴とする。
は、表示手段の表示面の裏面方向に撮像方向を向けて、
所定の被写体の実画像を撮像し、所定の基準面に対する
撮像手段の３次元空間座標を測定し、測定された撮像手
段の基準面に対する３次元空間座標に基づいて、所定の
仮想３次元物体の画像を生成し、撮像された実画像を背
景とし、座標測定手段により測定された撮像手段の基準
面に対する３次元空間座標に基づいて、画像生成手段に
よって生成された仮想３次元物体の画像を背景の所定の
位置に重畳させた合成画像を生成し、合成画像を表示面
に表示させることを特徴とする。
【００１０】請求項１に記載の３次元仮想物体表示装置
においては、撮像手段が、所定の画像を表示する表示手
段の表示面の裏面方向に撮像方向を向けて取り付けら
れ、所定の被写体の実画像を撮像し、座標測定手段が、
所定の基準面に対する撮像手段の３次元空間座標を測定
し、画像生成手段が、座標測定手段によって測定された
撮像手段の基準面に対する３次元空間座標に基づいて、
所定の仮想３次元物体の画像を生成し、合成画像生成手
段が、撮像手段により撮像された実画像を背景とし、座
標測定手段により測定された撮像手段の基準面に対する
３次元空間座標に基づいて、画像生成手段によって生成
された仮想３次元物体の画像を背景の所定の位置に重畳
させた合成画像を生成し、表示手段が、合成画像を表示
する。
においては、撮像手段が、所定の画像を表示する表示手
段の表示面の裏面方向に撮像方向を向けて取り付けら
れ、所定の被写体の実画像を撮像し、座標測定手段が、
所定の基準面に対する撮像手段の３次元空間座標を測定
し、画像生成手段が、座標測定手段によって測定された
撮像手段の基準面に対する３次元空間座標に基づいて、
所定の仮想３次元物体の画像を生成し、合成画像生成手
段が、撮像手段により撮像された実画像を背景とし、座
標測定手段により測定された撮像手段の基準面に対する
３次元空間座標に基づいて、画像生成手段によって生成
された仮想３次元物体の画像を背景の所定の位置に重畳
させた合成画像を生成し、表示手段が、合成画像を表示
する。
【００１１】請求項６に記載の３次元仮想物体表示方法
においては、表示手段の表示面の裏面方向に撮像方向を
向けて、所定の被写体の実画像を撮像し、所定の基準面
に対する撮像手段の３次元空間座標を測定し、測定され
た撮像手段の基準面に対する３次元空間座標に基づい
て、所定の仮想３次元物体の画像を生成し、撮像された
実画像を背景とし、座標測定装置により測定された撮像
手段の基準面に対する３次元空間座標に基づいて、画像
生成手段によって生成された仮想３次元物体の画像を背
景の所定の位置に重畳させた合成画像を生成し、合成画
像を表示面に表示させる。
においては、表示手段の表示面の裏面方向に撮像方向を
向けて、所定の被写体の実画像を撮像し、所定の基準面
に対する撮像手段の３次元空間座標を測定し、測定され
た撮像手段の基準面に対する３次元空間座標に基づい
て、所定の仮想３次元物体の画像を生成し、撮像された
実画像を背景とし、座標測定装置により測定された撮像
手段の基準面に対する３次元空間座標に基づいて、画像
生成手段によって生成された仮想３次元物体の画像を背
景の所定の位置に重畳させた合成画像を生成し、合成画
像を表示面に表示させる。
【００１２】
【発明の実施の形態】図１は、本発明を応用した表示装
置の構成例を示すブロック図である。携帯型ディスプレ
イ１（表示手段）は、ＬＣＤ（liquid cristal displa
y）等からなり、所定の画像、文字、図形等を表示する
ようになされている。ビデオカメラ２（撮像手段）は、
携帯型ディスプレイ１の画面の裏面方向に撮像方向が向
くように、携帯型ディスプレイ１に取り付けられてい
る。
置の構成例を示すブロック図である。携帯型ディスプレ
イ１（表示手段）は、ＬＣＤ（liquid cristal displa
y）等からなり、所定の画像、文字、図形等を表示する
ようになされている。ビデオカメラ２（撮像手段）は、
携帯型ディスプレイ１の画面の裏面方向に撮像方向が向
くように、携帯型ディスプレイ１に取り付けられてい
る。
【００１３】３次元位置計測装置３（座標測定手段）
は、携帯型ディスプレイ１またはビデオカメラ２に固定
して取り付けられており、所定の基準面に対する携帯型
ディスプレイ１およびビデオカメラ２の位置や傾き角等
を測定するようになされている。例えば、テーブルの上
面等を基準面とすることができる。ここでは、３次元位
置計測装置３が携帯型ディスプレイ１に固定して取り付
けられている場合について示したが、３次元位置計測装
置３をビデオカメラ２に固定して取り付けるようにする
ことも可能である（図４、図５参照）。
は、携帯型ディスプレイ１またはビデオカメラ２に固定
して取り付けられており、所定の基準面に対する携帯型
ディスプレイ１およびビデオカメラ２の位置や傾き角等
を測定するようになされている。例えば、テーブルの上
面等を基準面とすることができる。ここでは、３次元位
置計測装置３が携帯型ディスプレイ１に固定して取り付
けられている場合について示したが、３次元位置計測装
置３をビデオカメラ２に固定して取り付けるようにする
ことも可能である（図４、図５参照）。
【００１４】操作用ボタン４（操作手段）は、所定の指
令を行うとき操作され、操作に対応して所定の信号を出
力するようになされている。
令を行うとき操作され、操作に対応して所定の信号を出
力するようになされている。
【００１５】処理装置１１は、操作用ボタン４からの信
号や、３次元位置計測装置３からの位置データに基づい
て、３次元仮想物体の画像を生成し、ビデオカメラ２に
よって撮像された映像に重畳して、携帯型ディスプレイ
１に表示させるようになされている。
号や、３次元位置計測装置３からの位置データに基づい
て、３次元仮想物体の画像を生成し、ビデオカメラ２に
よって撮像された映像に重畳して、携帯型ディスプレイ
１に表示させるようになされている。
【００１６】処理装置１１を構成する入力操作部１２
は、操作用ボタン４からの信号を入力するようになされ
ている。カメラの位置および方向計測部１３は、３次元
位置計測装置３より供給される位置データに基づいて、
ビデオカメラ２の基準面上での位置、および撮像方向を
計測し、位置データおよび方向データを出力するように
なされている。
は、操作用ボタン４からの信号を入力するようになされ
ている。カメラの位置および方向計測部１３は、３次元
位置計測装置３より供給される位置データに基づいて、
ビデオカメラ２の基準面上での位置、および撮像方向を
計測し、位置データおよび方向データを出力するように
なされている。
【００１７】３次元データ生成部１４は、所定の形状モ
デルのデータ（形と色から構成される）を記憶し、適
宜、出力するようになされている。透視変換マトリック
ス生成部１５（画像生成手段）は、透視変換のためのマ
トリックスを生成し、３次元データ生成部１４より出力
された所定の形状モデルの形状モデルデータを、カメラ
の位置および方向計測部１３より出力された位置データ
および方向データに基づいて透視変換し、携帯型ディス
プレイ１の所定の位置に所定の大きさで表示するように
なされている。
デルのデータ（形と色から構成される）を記憶し、適
宜、出力するようになされている。透視変換マトリック
ス生成部１５（画像生成手段）は、透視変換のためのマ
トリックスを生成し、３次元データ生成部１４より出力
された所定の形状モデルの形状モデルデータを、カメラ
の位置および方向計測部１３より出力された位置データ
および方向データに基づいて透視変換し、携帯型ディス
プレイ１の所定の位置に所定の大きさで表示するように
なされている。
【００１８】また、透視変換マトリックス生成部１５
は、透視変換した形状モデルの影の画像を、基準面上に
位置するように生成するようになされている。
は、透視変換した形状モデルの影の画像を、基準面上に
位置するように生成するようになされている。
【００１９】合成表示部１６（合成画像生成手段）は、
ビデオカメラ２より供給されたビデオ信号と、透視変換
マトリックス生成部１５より供給された透視変換された
所定の形状モデルの画像とを合成し、携帯型ディスプレ
イ１に供給するようになされている。通信制御部１７
は、入力操作部１２により入力された信号に対応する操
作データや、３次元データ生成部１４が保持する形状モ
デルデータ等を、プロセス間通信等の通信手順によっ
て、図１に示した装置と同様の構成の他の装置に供給し
たり、他の装置の入力操作部より出力された操作データ
や形状モデルデータ等を受信するようになされている。
ビデオカメラ２より供給されたビデオ信号と、透視変換
マトリックス生成部１５より供給された透視変換された
所定の形状モデルの画像とを合成し、携帯型ディスプレ
イ１に供給するようになされている。通信制御部１７
は、入力操作部１２により入力された信号に対応する操
作データや、３次元データ生成部１４が保持する形状モ
デルデータ等を、プロセス間通信等の通信手順によっ
て、図１に示した装置と同様の構成の他の装置に供給し
たり、他の装置の入力操作部より出力された操作データ
や形状モデルデータ等を受信するようになされている。
【００２０】上述したように、３次元位置計測装置３
は、基準面上での位置およびビデオカメラ２の撮像方向
を検出し、カメラの位置および方向計測部１３は、ビデ
オカメラ２と所定の基準面との間の３次元（ｘ、ｙ、ｚ
軸）上の相対的な位置、および姿勢（アジマス、エレベ
ーション、ロール）を計算する。この３次元位置計測装
置３およびカメラの位置および方向計測部１３として
は、例えば、ＳｔｅｒｅｏＧｒａｐｈｉｃｓ社のＣｒｙ
ｓｔａｌ ＥＹＥＳ（商標）として商品化されている超
音波を用いた装置や、Ｐｏｌｈｅｍｕｓ社が３ＳＰＡＣ
Ｅ（商標）として商品化している磁気を用いた装置を適
用することができる。
は、基準面上での位置およびビデオカメラ２の撮像方向
を検出し、カメラの位置および方向計測部１３は、ビデ
オカメラ２と所定の基準面との間の３次元（ｘ、ｙ、ｚ
軸）上の相対的な位置、および姿勢（アジマス、エレベ
ーション、ロール）を計算する。この３次元位置計測装
置３およびカメラの位置および方向計測部１３として
は、例えば、ＳｔｅｒｅｏＧｒａｐｈｉｃｓ社のＣｒｙ
ｓｔａｌ ＥＹＥＳ（商標）として商品化されている超
音波を用いた装置や、Ｐｏｌｈｅｍｕｓ社が３ＳＰＡＣ
Ｅ（商標）として商品化している磁気を用いた装置を適
用することができる。
【００２１】図２は、磁気を用いて位置センサ２５（磁
界検出手段）の位置を検出する３次元座標測定装置の構
成例を示している。同図に示すように、３次元座標測定
装置は、ソースコイル（直交コイル）２４（磁界発生手
段）を有している。このソースコイル２４は、ｘ軸方向
の磁界を発生するコイル２４ｘ、ｙ軸方向の磁界を発生
するコイル２４ｙ、およびｚ軸方向の磁界を発生するコ
イル２４ｚにより構成されている。位置センサ２５も、
ｘ軸方向の磁界を検出するコイル２５ｘ、ｙ軸方向の磁
界を検出するコイル２５ｙ、およびｚ軸方向の磁界を検
出するコイル２５ｚを有している。
界検出手段）の位置を検出する３次元座標測定装置の構
成例を示している。同図に示すように、３次元座標測定
装置は、ソースコイル（直交コイル）２４（磁界発生手
段）を有している。このソースコイル２４は、ｘ軸方向
の磁界を発生するコイル２４ｘ、ｙ軸方向の磁界を発生
するコイル２４ｙ、およびｚ軸方向の磁界を発生するコ
イル２４ｚにより構成されている。位置センサ２５も、
ｘ軸方向の磁界を検出するコイル２５ｘ、ｙ軸方向の磁
界を検出するコイル２５ｙ、およびｚ軸方向の磁界を検
出するコイル２５ｚを有している。
【００２２】３次元座標測定装置の位置計算部２２（演
算手段）は、ドライブ回路２３を介してソースコイル２
４の３つのコイルをそれぞれ時分割で駆動する。その結
果、ｘ軸方向の磁界、ｙ軸方向の磁界、およびｚ軸方向
の磁界が順次発生される。位置センサ２５の各コイル
は、これらの各方向の磁界を検出し、その検出信号を検
出回路２１に出力する。検出回路２１は、その検出信号
を位置計算部２２に供給する。位置計算部２２は、検出
回路２１より供給された検出信号を演算し、位置センサ
２５の基準面（ソースコイル２４が配置された面）に対
する３次元上の位置および姿勢を求める。
算手段）は、ドライブ回路２３を介してソースコイル２
４の３つのコイルをそれぞれ時分割で駆動する。その結
果、ｘ軸方向の磁界、ｙ軸方向の磁界、およびｚ軸方向
の磁界が順次発生される。位置センサ２５の各コイル
は、これらの各方向の磁界を検出し、その検出信号を検
出回路２１に出力する。検出回路２１は、その検出信号
を位置計算部２２に供給する。位置計算部２２は、検出
回路２１より供給された検出信号を演算し、位置センサ
２５の基準面（ソースコイル２４が配置された面）に対
する３次元上の位置および姿勢を求める。
【００２３】図２に示した３次元座標測定装置を、例え
ば図１のカメラの位置および方向計測部１３に適用し、
ソースコイル２４を基準面となるテーブルの上に配置す
ると共に、位置センサ２５を３次元位置計測装置３とし
て適用することができる。これにより、携帯型ディスプ
レイ１の基準面（テーブルの上面）に対する３次元上の
位置および姿勢を求めることができる。
ば図１のカメラの位置および方向計測部１３に適用し、
ソースコイル２４を基準面となるテーブルの上に配置す
ると共に、位置センサ２５を３次元位置計測装置３とし
て適用することができる。これにより、携帯型ディスプ
レイ１の基準面（テーブルの上面）に対する３次元上の
位置および姿勢を求めることができる。
【００２４】次に、その動作について説明する。ビデオ
カメラ２により撮像された映像に対応するビデオ信号
は、処理装置１１の合成表示部１６に供給される。ま
た、３次元位置計測装置３により計測されたビデオカメ
ラ２の位置および方向に対応する計測データは、カメラ
の位置および方向計測部１３に供給される。カメラの位
置および方向計測部１３は、この計測データに基づいて
ビデオカメラ２の基準面に対する位置および撮像方向を
演算により求め、演算結果としての位置データおよび方
向データを透視変換マトリックス生成部１５に供給す
る。
カメラ２により撮像された映像に対応するビデオ信号
は、処理装置１１の合成表示部１６に供給される。ま
た、３次元位置計測装置３により計測されたビデオカメ
ラ２の位置および方向に対応する計測データは、カメラ
の位置および方向計測部１３に供給される。カメラの位
置および方向計測部１３は、この計測データに基づいて
ビデオカメラ２の基準面に対する位置および撮像方向を
演算により求め、演算結果としての位置データおよび方
向データを透視変換マトリックス生成部１５に供給す
る。
【００２５】ユーザにより、操作用ボタン４が操作さ
れ、所定の形状モデルを表示するように指令されると、
入力操作部１２は、操作用ボタン４からの指令に従っ
て、３次元データ生成部１４に対して、所定の形状モデ
ルデータを出力するよう指令する。３次元データ生成部
１４は、入力操作部１２より指令された所定の形状モデ
ルデータを透視変換マトリックス生成部１５に供給す
る。この場合、例えば、心臓を表す形状モデルデータが
透視変換マトリックス生成部１５に供給されたものとす
る。
れ、所定の形状モデルを表示するように指令されると、
入力操作部１２は、操作用ボタン４からの指令に従っ
て、３次元データ生成部１４に対して、所定の形状モデ
ルデータを出力するよう指令する。３次元データ生成部
１４は、入力操作部１２より指令された所定の形状モデ
ルデータを透視変換マトリックス生成部１５に供給す
る。この場合、例えば、心臓を表す形状モデルデータが
透視変換マトリックス生成部１５に供給されたものとす
る。
【００２６】透視変換マトリックス生成部１５は、カメ
ラの位置および方向計測部１３から出力された位置デー
タおよび方向データに基づいて、３次元データ生成部１
４より供給された所定の形状モデルデータを透視変換す
ることにより、３次元仮想物体の画像を生成し、合成表
示部１６に供給する。さらに、透視変換マトリックス生
成部１５は、生成した３次元仮想物体によって基準面
（この場合、テーブル）上に現れる影の画像を生成し、
合成表示部１６に供給する。
ラの位置および方向計測部１３から出力された位置デー
タおよび方向データに基づいて、３次元データ生成部１
４より供給された所定の形状モデルデータを透視変換す
ることにより、３次元仮想物体の画像を生成し、合成表
示部１６に供給する。さらに、透視変換マトリックス生
成部１５は、生成した３次元仮想物体によって基準面
（この場合、テーブル）上に現れる影の画像を生成し、
合成表示部１６に供給する。
【００２７】合成表示部１６は、ビデオカメラ２より供
給された現実の映像に、透視変換マトリックス生成部１
５より供給された３次元仮想物体の画像を重畳し、携帯
型ディスプレイ１に供給する。
給された現実の映像に、透視変換マトリックス生成部１
５より供給された３次元仮想物体の画像を重畳し、携帯
型ディスプレイ１に供給する。
【００２８】図３は、このようにして、携帯型ディスプ
レイ１に表示された画像を表している。同図に示すよう
に、ビデオカメラ２によって撮影された現実の映像、即
ち、この場合、基準面としてのテーブルと、相手側の手
および表示装置が表示され、テーブルの上方に、３次元
仮想物体としての心臓の画像（コンピュータグラフィッ
クスによる画像）が表示される。さらに、テーブル上に
は、コンピュータグラフィックスの手法により生成され
た３次元仮想物体としての心臓の影の画像が表示され
る。
レイ１に表示された画像を表している。同図に示すよう
に、ビデオカメラ２によって撮影された現実の映像、即
ち、この場合、基準面としてのテーブルと、相手側の手
および表示装置が表示され、テーブルの上方に、３次元
仮想物体としての心臓の画像（コンピュータグラフィッ
クスによる画像）が表示される。さらに、テーブル上に
は、コンピュータグラフィックスの手法により生成され
た３次元仮想物体としての心臓の影の画像が表示され
る。
【００２９】このように、携帯型ディスプレイ１に、現
実の映像に３次元仮想物体の映像が重畳されて表示され
るので、利用者は、３次元仮想物体が、あたかも現実世
界に存在するかのように観察することができる。さら
に、現実の床やテーブルの表面に対応する位置に、３次
元仮想物体によってできた影を模擬した図形を表示する
ことにより、実際に、３次元仮想物体の影がテーブル上
に落ちているような表示を行うことができる。従って、
利用者は、テーブルと影の関係から、３次元仮想物体の
空間中における位置をより正確に把握することができ
る。
実の映像に３次元仮想物体の映像が重畳されて表示され
るので、利用者は、３次元仮想物体が、あたかも現実世
界に存在するかのように観察することができる。さら
に、現実の床やテーブルの表面に対応する位置に、３次
元仮想物体によってできた影を模擬した図形を表示する
ことにより、実際に、３次元仮想物体の影がテーブル上
に落ちているような表示を行うことができる。従って、
利用者は、テーブルと影の関係から、３次元仮想物体の
空間中における位置をより正確に把握することができ
る。
【００３０】次に、操作用ボタン４を操作して、３次元
仮想物体を、基準面（この場合、テーブル）に対して仮
想的に移動させる場合の動作について説明する。
仮想物体を、基準面（この場合、テーブル）に対して仮
想的に移動させる場合の動作について説明する。
【００３１】まず、利用者が、所定の操作用ボタン４を
操作することにより、携帯型ディスプレイ１に表示され
た３次元仮想物体の移動を指示する。操作用ボタン４の
操作に対応する信号は、入力操作部１２に供給され、３
次元データ生成部１４を介して透視変換マトリックス生
成部１５に供給される。
操作することにより、携帯型ディスプレイ１に表示され
た３次元仮想物体の移動を指示する。操作用ボタン４の
操作に対応する信号は、入力操作部１２に供給され、３
次元データ生成部１４を介して透視変換マトリックス生
成部１５に供給される。
【００３２】所定の操作用ボタン４を押下している間、
表示装置の移動に拘らず、３次元仮想物体と表示装置の
間の相対的な位置関係は固定される。即ち、透視変換マ
トリックス生成部１５は、カメラの位置および方向計測
部１３より供給されるビデオカメラ２の位置データおよ
び方向データに対応して、３次元仮想物体が表示装置と
の間の相対的な位置関係が変化しないように、透視変換
を行う。
表示装置の移動に拘らず、３次元仮想物体と表示装置の
間の相対的な位置関係は固定される。即ち、透視変換マ
トリックス生成部１５は、カメラの位置および方向計測
部１３より供給されるビデオカメラ２の位置データおよ
び方向データに対応して、３次元仮想物体が表示装置と
の間の相対的な位置関係が変化しないように、透視変換
を行う。
【００３３】例えば、図４（ａ）に示すように、３次元
仮想物体が基準面としてのテーブルのほぼ中央に表示さ
れた状態で、操作ボタン４を押下して移動操作の開始を
指示した後、例えば、表示装置をテーブルの中央に向け
て移動させると、それに伴って、図４（ｂ）に示すよう
に、３次元仮想物体はテーブルのほぼ中央から端の方に
向かって仮想的に移動する。そのとき、表示装置と３次
元仮想物体との間の相対的な位置関係は変化しない。こ
のようにして、３次元仮想物体を、空間上の任意の場所
に位置づけることができる。また、その際、テーブル上
に表示される３次元仮想物体の影が、いま、３次元仮想
物体がどこにあるかを把握する上での有効な手がかりと
なる。
仮想物体が基準面としてのテーブルのほぼ中央に表示さ
れた状態で、操作ボタン４を押下して移動操作の開始を
指示した後、例えば、表示装置をテーブルの中央に向け
て移動させると、それに伴って、図４（ｂ）に示すよう
に、３次元仮想物体はテーブルのほぼ中央から端の方に
向かって仮想的に移動する。そのとき、表示装置と３次
元仮想物体との間の相対的な位置関係は変化しない。こ
のようにして、３次元仮想物体を、空間上の任意の場所
に位置づけることができる。また、その際、テーブル上
に表示される３次元仮想物体の影が、いま、３次元仮想
物体がどこにあるかを把握する上での有効な手がかりと
なる。
【００３４】次に、操作用ボタン４を離すと、３次元仮
想物体は、基準面（テーブル）との間の相対的な位置関
係が固定された状態となる。これにより、３次元仮想物
体の空間上での位置を確定することができる。従って、
図４（ｃ）に示すように、操作用ボタン４を離した後、
表示装置を手前に動かすと、表示装置と３次元仮想物体
との間の距離は大きくなり、それに伴って、携帯型ディ
スプレイに表示される３次元仮想物体の大きさは、小さ
くなる。
想物体は、基準面（テーブル）との間の相対的な位置関
係が固定された状態となる。これにより、３次元仮想物
体の空間上での位置を確定することができる。従って、
図４（ｃ）に示すように、操作用ボタン４を離した後、
表示装置を手前に動かすと、表示装置と３次元仮想物体
との間の距離は大きくなり、それに伴って、携帯型ディ
スプレイに表示される３次元仮想物体の大きさは、小さ
くなる。
【００３５】ところで、３次元データ（形状モデルデー
タ）は、プロセス間通信等の通信手段を用いて、複数の
表示装置間で共有することができる。これにより、図５
に示すように、所定の会議に参加した複数の参加者が同
一の形状モデルデータに対応する同一の３次元仮想物体
を観察したり、それを移動させたりすることができる。
このとき、各参加者が有する表示装置の携帯型ディスプ
レイ１には、３次元仮想物体の他に、ビデオカメラ２に
よって撮影された他の参加者の映像が表示されることに
なる。
タ）は、プロセス間通信等の通信手段を用いて、複数の
表示装置間で共有することができる。これにより、図５
に示すように、所定の会議に参加した複数の参加者が同
一の形状モデルデータに対応する同一の３次元仮想物体
を観察したり、それを移動させたりすることができる。
このとき、各参加者が有する表示装置の携帯型ディスプ
レイ１には、３次元仮想物体の他に、ビデオカメラ２に
よって撮影された他の参加者の映像が表示されることに
なる。
【００３６】即ち、参加者Ａの携帯型ディスプレイ１に
は、テーブルと参加者Ｂが背景の映像として表示され、
３次元仮想物体がテーブルの中央に表示され、その影が
テーブル上の所定の位置に表示される。また、参加者Ｂ
の携帯型ディスプレイ１には、テーブルと参加者Ａが背
景の映像として表示され、３次元仮想物体がテーブルの
中央に表示され、その影がテーブル上の所定の位置に表
示される。
は、テーブルと参加者Ｂが背景の映像として表示され、
３次元仮想物体がテーブルの中央に表示され、その影が
テーブル上の所定の位置に表示される。また、参加者Ｂ
の携帯型ディスプレイ１には、テーブルと参加者Ａが背
景の映像として表示され、３次元仮想物体がテーブルの
中央に表示され、その影がテーブル上の所定の位置に表
示される。
【００３７】図６は、例えば、参加者Ａが、携帯型ディ
スプレイ１に表示されたテーブル上の３次元仮想物体、
この場合、コンピュータグラフィックスによって表示さ
れたヘリコプターを掴み、所定の場所に移動させている
様子を表している。携帯型ディスプレイ１の上部に表示
された球体は、ヘリコプターを掴むための視標となるも
のであり、人間の手に相当するものである。即ち、この
視標を所定の３次元仮想物体に携帯型ディスプレイ１の
画面上で接触させることにより、その３次元仮想物体を
仮想的に掴むことができるようになされている。
スプレイ１に表示されたテーブル上の３次元仮想物体、
この場合、コンピュータグラフィックスによって表示さ
れたヘリコプターを掴み、所定の場所に移動させている
様子を表している。携帯型ディスプレイ１の上部に表示
された球体は、ヘリコプターを掴むための視標となるも
のであり、人間の手に相当するものである。即ち、この
視標を所定の３次元仮想物体に携帯型ディスプレイ１の
画面上で接触させることにより、その３次元仮想物体を
仮想的に掴むことができるようになされている。
【００３８】図７は、図６に示したように、参加者Ａ
が、３次元仮想物体としてのヘリコプターを掴んで移動
させているとき、参加者Ｂの携帯型ディスプレイ１の表
示画面に表示される画像を表している。ここには、参加
者Ａと参加者Ａが持っている表示装置、およびテーブル
が現実の映像として表示され、３次元仮想物体としての
ヘリコプターがテーブルの上に表示されている。そし
て、参加者Ａが持つ表示装置とヘリコプターの間に所定
のビームが表示される。このビームは、参加者Ａがヘリ
コプターを掴んでいることを示すためのものである。
が、３次元仮想物体としてのヘリコプターを掴んで移動
させているとき、参加者Ｂの携帯型ディスプレイ１の表
示画面に表示される画像を表している。ここには、参加
者Ａと参加者Ａが持っている表示装置、およびテーブル
が現実の映像として表示され、３次元仮想物体としての
ヘリコプターがテーブルの上に表示されている。そし
て、参加者Ａが持つ表示装置とヘリコプターの間に所定
のビームが表示される。このビームは、参加者Ａがヘリ
コプターを掴んでいることを示すためのものである。
【００３９】参加者Ａがヘリコプターを所定の場所に移
動させる間、参加者Ａの表示装置からヘリコプターに向
けて、所定のビームが表示され、参加者Ａが、表示装置
を移動させるのに伴って、ヘリコプターおよびビーム
が、参加者Ａが持つ表示装置との間の相対的な位置関係
が変化しないように移動する。
動させる間、参加者Ａの表示装置からヘリコプターに向
けて、所定のビームが表示され、参加者Ａが、表示装置
を移動させるのに伴って、ヘリコプターおよびビーム
が、参加者Ａが持つ表示装置との間の相対的な位置関係
が変化しないように移動する。
【００４０】このように、ある参加者が３次元仮想物体
を掴んでいるとき、その参加者が持つ表示装置から、所
定のビームが３次元仮想物体に向けて照射されている画
像が表示されるので、他の参加者は、いま誰が３次元仮
想物体を掴んでいるかを認識することができる。
を掴んでいるとき、その参加者が持つ表示装置から、所
定のビームが３次元仮想物体に向けて照射されている画
像が表示されるので、他の参加者は、いま誰が３次元仮
想物体を掴んでいるかを認識することができる。
【００４１】図８は、携帯型ディスプレイに、所定の分
子モデルを表示し、操作している様子を表している。こ
こで、分子モデルの所定の部分の詳細な構造を観察する
ために、携帯型ディスプレイ１を分子モデルに近づける
と、図９に示すように、携帯型ディスプレイ１を分子モ
デルに近づけた距離に応じて、分子モデルの所定の部分
を構成する原子が拡大されて表示される。このようにし
て、観察対象である３次元仮想物体の所定の部分を容易
に拡大して表示させることができる。
子モデルを表示し、操作している様子を表している。こ
こで、分子モデルの所定の部分の詳細な構造を観察する
ために、携帯型ディスプレイ１を分子モデルに近づける
と、図９に示すように、携帯型ディスプレイ１を分子モ
デルに近づけた距離に応じて、分子モデルの所定の部分
を構成する原子が拡大されて表示される。このようにし
て、観察対象である３次元仮想物体の所定の部分を容易
に拡大して表示させることができる。
【００４２】なお、上記実施例においては、参加者が２
人の場合について説明したが、３以上の多数の参加者が
いる場合についても、同様に、３次元データを共有する
ことができる。
人の場合について説明したが、３以上の多数の参加者が
いる場合についても、同様に、３次元データを共有する
ことができる。
【００４３】なお、上記実施例においては、３次元仮想
物体を掴んでいることを表すために、所定の球体やビー
ムを表示させるようにしたが、球体やビームに限定され
るものではなく、それ以外の所定の形状の物体や図形等
を表示させるようにすることも可能である。
物体を掴んでいることを表すために、所定の球体やビー
ムを表示させるようにしたが、球体やビームに限定され
るものではなく、それ以外の所定の形状の物体や図形等
を表示させるようにすることも可能である。
【００４４】また、上記実施例においては、３次元仮想
物体を移動させる場合について説明したが、３次元仮想
物体を回転させたり、その一部の形状を変更したりする
ような操作を３次元仮想物体に対して施すようにするこ
とも可能である。
物体を移動させる場合について説明したが、３次元仮想
物体を回転させたり、その一部の形状を変更したりする
ような操作を３次元仮想物体に対して施すようにするこ
とも可能である。
【００４５】
【発明の効果】請求項１に記載の３次元仮想物体表示装
置、および請求項６に記載の３次元仮想物体表示方法に
よれば、表示手段の表示面の裏面方向に撮像方向を向け
て、所定の被写体の実画像を撮像し、所定の基準面に対
する撮像手段の３次元空間座標を測定し、測定された撮
像手段の基準面に対する３次元空間座標に基づいて、所
定の仮想３次元物体の画像を生成し、撮像された実画像
を背景とし、座標測定手段により測定された撮像手段の
基準面に対する３次元空間座標に基づいて、画像生成手
段によって生成された仮想３次元物体の画像を背景の所
定の位置に重畳させた合成画像を生成し、表示手段の表
示面に表示させるようにしたので、簡単かつ迅速に、現
実世界の画像に仮想世界の画像が重畳された合成画像を
観察することができ、現実世界での通常の作業を継続し
ながらでも、仮想世界での作業を容易に行うことが可能
となる。
置、および請求項６に記載の３次元仮想物体表示方法に
よれば、表示手段の表示面の裏面方向に撮像方向を向け
て、所定の被写体の実画像を撮像し、所定の基準面に対
する撮像手段の３次元空間座標を測定し、測定された撮
像手段の基準面に対する３次元空間座標に基づいて、所
定の仮想３次元物体の画像を生成し、撮像された実画像
を背景とし、座標測定手段により測定された撮像手段の
基準面に対する３次元空間座標に基づいて、画像生成手
段によって生成された仮想３次元物体の画像を背景の所
定の位置に重畳させた合成画像を生成し、表示手段の表
示面に表示させるようにしたので、簡単かつ迅速に、現
実世界の画像に仮想世界の画像が重畳された合成画像を
観察することができ、現実世界での通常の作業を継続し
ながらでも、仮想世界での作業を容易に行うことが可能
となる。
【図１】本発明を応用した表示装置の構成例を示すブロ
ック図である。
ック図である。
【図２】３次元座標測定装置の構成例を示すブロック図
である。
である。
【図３】現実世界の映像に３次元仮想物体の映像が重畳
された映像の表示例を示す図である。
された映像の表示例を示す図である。
【図４】３次元仮想物体を掴んで移動させる様子を示す
図である。
図である。
【図５】複数の参加者が同一の３次元データを共有して
いる様子を示す図である。
いる様子を示す図である。
【図６】自分が３次元仮想物体を掴んで操作していると
きの表示例を示す図である。
きの表示例を示す図である。
【図７】相手が３次元仮想物体を掴んで操作していると
きの表示例を示す図である。
きの表示例を示す図である。
【図８】３次元仮想物体として分子モデルを表示させた
ときの表示例を示す図である。
ときの表示例を示す図である。
【図９】分子モデルに表示装置を近づけたときの表示例
を示す図である。
を示す図である。
１ 携帯型ディスプレイ，２ ビデオカメラ，３ ３次
元位置計測装置，４操作用ボタン，１１ 処理装置，１
２ 入力操作部，１３ カメラの位置および方向計測
部，１４ ３次元データ生成部，１５ 透視変換マトリ
ックス生成部，１６ 合成表示部，１７ 通信制御部，
２１ 検出回路，２２ 位置計算部，２３ ドライブ回
路，２４ ソースコイル，２５ 位置センサ
元位置計測装置，４操作用ボタン，１１ 処理装置，１
２ 入力操作部，１３ カメラの位置および方向計測
部，１４ ３次元データ生成部，１５ 透視変換マトリ
ックス生成部，１６ 合成表示部，１７ 通信制御部，
２１ 検出回路，２２ 位置計算部，２３ ドライブ回
路，２４ ソースコイル，２５ 位置センサ
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成９年８月５日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正内容】
【発明の名称】 ３次元仮想物体表示装置および方法
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】請求項１
【補正方法】変更
【補正内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】請求項３
【補正方法】変更
【補正内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】請求項６
【補正方法】変更
【補正内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正内容】
【０００８】
【課題を解決するための手段】請求項１に記載の３次元
仮想物体表示装置は、所定の画像を表示する表示手段
と、表示手段の表示面の裏面方向に撮像方向を向けて取
り付けられた、所定の被写体の実画像を撮像する撮像手
段と、所定の基準面に対する撮像手段の３次元空間座標
を測定する座標測定手段と、座標測定手段によって測定
された撮像手段の基準面に対する３次元空間座標に基づ
いて、所定の３次元仮想物体の画像を生成する画像生成
手段と、撮像手段により撮像された実画像を背景とし、
座標測定手段により測定された撮像手段の基準面に対す
る３次元空間座標に基づいて、画像生成手段によって生
成された３次元仮想物体の画像を背景の所定の位置に重
畳させた合成画像を生成する合成画像生成手段とを備
え、表示手段は、合成画像を表示することを特徴とす
る。
仮想物体表示装置は、所定の画像を表示する表示手段
と、表示手段の表示面の裏面方向に撮像方向を向けて取
り付けられた、所定の被写体の実画像を撮像する撮像手
段と、所定の基準面に対する撮像手段の３次元空間座標
を測定する座標測定手段と、座標測定手段によって測定
された撮像手段の基準面に対する３次元空間座標に基づ
いて、所定の３次元仮想物体の画像を生成する画像生成
手段と、撮像手段により撮像された実画像を背景とし、
座標測定手段により測定された撮像手段の基準面に対す
る３次元空間座標に基づいて、画像生成手段によって生
成された３次元仮想物体の画像を背景の所定の位置に重
畳させた合成画像を生成する合成画像生成手段とを備
え、表示手段は、合成画像を表示することを特徴とす
る。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正内容】
【０００９】請求項６に記載の３次元仮想物体表示方法
は、所定の基準面に対する撮像手段の３次元空間座標を
測定し、測定された撮像手段の基準面に対する３次元空
間座標に基づいて、所定の３次元仮想物体の画像を生成
し、撮像された実画像を背景とし、測定された撮像手段
の基準面に対する３次元空間座標に基づいて、生成され
た３次元仮想物体の画像を背景の所定の位置に重畳させ
た合成画像を生成し、合成画像を表示手段の表示面に表
示させることを特徴とする。
は、所定の基準面に対する撮像手段の３次元空間座標を
測定し、測定された撮像手段の基準面に対する３次元空
間座標に基づいて、所定の３次元仮想物体の画像を生成
し、撮像された実画像を背景とし、測定された撮像手段
の基準面に対する３次元空間座標に基づいて、生成され
た３次元仮想物体の画像を背景の所定の位置に重畳させ
た合成画像を生成し、合成画像を表示手段の表示面に表
示させることを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正内容】
【００１０】請求項１に記載の３次元仮想物体表示装置
においては、撮像手段が、所定の画像を表示する表示手
段の表示面の裏面方向に撮像方向を向けて取り付けら
れ、所定の被写体の実画像を撮像し、座標測定手段が、
所定の基準面に対する撮像手段の３次元空間座標を測定
し、画像生成手段が、座標測定手段によって測定された
撮像手段の基準面に対する３次元空間座標に基づいて、
所定の３次元仮想物体の画像を生成し、合成画像生成手
段が、撮像手段により撮像された実画像を背景とし、座
標測定手段により測定された撮像手段の基準面に対する
３次元空間座標に基づいて、画像生成手段によって生成
された３次元仮想物体の画像を背景の所定の位置に重畳
させた合成画像を生成し、表示手段が、合成画像を表示
する。
においては、撮像手段が、所定の画像を表示する表示手
段の表示面の裏面方向に撮像方向を向けて取り付けら
れ、所定の被写体の実画像を撮像し、座標測定手段が、
所定の基準面に対する撮像手段の３次元空間座標を測定
し、画像生成手段が、座標測定手段によって測定された
撮像手段の基準面に対する３次元空間座標に基づいて、
所定の３次元仮想物体の画像を生成し、合成画像生成手
段が、撮像手段により撮像された実画像を背景とし、座
標測定手段により測定された撮像手段の基準面に対する
３次元空間座標に基づいて、画像生成手段によって生成
された３次元仮想物体の画像を背景の所定の位置に重畳
させた合成画像を生成し、表示手段が、合成画像を表示
する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正内容】
【００１１】請求項６に記載の３次元仮想物体表示方法
においては、所定の基準面に対する撮像手段の３次元空
間座標を測定し、測定された撮像手段の基準面に対する
３次元空間座標に基づいて、所定の３次元仮想物体の画
像を生成し、撮像された実画像を背景とし、測定された
撮像手段の基準面に対する３次元空間座標に基づいて、
生成された３次元仮想物体の画像を背景の所定の位置に
重畳させた合成画像を生成し、合成画像を表示手段の表
示面に表示させる。
においては、所定の基準面に対する撮像手段の３次元空
間座標を測定し、測定された撮像手段の基準面に対する
３次元空間座標に基づいて、所定の３次元仮想物体の画
像を生成し、撮像された実画像を背景とし、測定された
撮像手段の基準面に対する３次元空間座標に基づいて、
生成された３次元仮想物体の画像を背景の所定の位置に
重畳させた合成画像を生成し、合成画像を表示手段の表
示面に表示させる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正内容】
【００１３】３次元位置方向センサ３（座標測定手段）
は、携帯型ディスプレイ１またはビデオカメラ２に固定
して取り付けられており、所定の基準面に対する携帯型
ディスプレイ１およびビデオカメラ２の位置や傾き角等
を測定するようになされている。例えば、テーブルの上
面等を基準面とすることができる。ここでは、３次元位
置方向センサ３が携帯型ディスプレイ１に固定して取り
付けられている場合について示したが、３次元位置方向
センサ３をビデオカメラ２に固定して取り付けるように
することも可能である（図４、図５参照）。
は、携帯型ディスプレイ１またはビデオカメラ２に固定
して取り付けられており、所定の基準面に対する携帯型
ディスプレイ１およびビデオカメラ２の位置や傾き角等
を測定するようになされている。例えば、テーブルの上
面等を基準面とすることができる。ここでは、３次元位
置方向センサ３が携帯型ディスプレイ１に固定して取り
付けられている場合について示したが、３次元位置方向
センサ３をビデオカメラ２に固定して取り付けるように
することも可能である（図４、図５参照）。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正内容】
【００１５】処理装置１１は、操作用ボタン４からの信
号や、３次元位置方向センサ３からの位置方向信号に基
づいて、３次元仮想物体の画像を生成し、ビデオカメラ
２によって撮像された映像に重畳して、携帯型ディスプ
レイ１に表示させるようになされている。
号や、３次元位置方向センサ３からの位置方向信号に基
づいて、３次元仮想物体の画像を生成し、ビデオカメラ
２によって撮像された映像に重畳して、携帯型ディスプ
レイ１に表示させるようになされている。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正内容】
【００１６】処理装置１１を構成する入力操作部１２
は、操作用ボタン４からの信号を入力するようになされ
ている。カメラの位置および方向計測部１３は、３次元
位置方向センサ３より供給される位置方向信号に基づい
て、ビデオカメラ２の基準面上での位置、および撮像方
向を計測し、位置データおよび方向データを出力するよ
うになされている。
は、操作用ボタン４からの信号を入力するようになされ
ている。カメラの位置および方向計測部１３は、３次元
位置方向センサ３より供給される位置方向信号に基づい
て、ビデオカメラ２の基準面上での位置、および撮像方
向を計測し、位置データおよび方向データを出力するよ
うになされている。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正内容】
【００２０】上述したように、３次元位置方向センサ３
は、基準面上での位置およびビデオカメラ２の撮像方向
を検出し、カメラの位置および方向計測部１３は、ビデ
オカメラ２と所定の基準面との間の３次元（ｘ、ｙ、ｚ
軸）上の相対的な位置、および姿勢（アジマス、エレベ
ーション、ロール）を計算する。この３次元位置方向セ
ンサ３およびカメラの位置および方向計測部１３として
は、例えば、Ｓｔｅｒｅｏ Ｇｒａｐｈｉｃｓ社のＣｒ
ｙｓｔａｌ ＥＹＥＳ（商標）として商品化されている
超音波を用いた装置や、Ｐｏｌｈｅｍｕｓ社が３ＳＰＡ
ＣＥ（商標）として商品化している磁気を用いた装置を
適用することができる。
は、基準面上での位置およびビデオカメラ２の撮像方向
を検出し、カメラの位置および方向計測部１３は、ビデ
オカメラ２と所定の基準面との間の３次元（ｘ、ｙ、ｚ
軸）上の相対的な位置、および姿勢（アジマス、エレベ
ーション、ロール）を計算する。この３次元位置方向セ
ンサ３およびカメラの位置および方向計測部１３として
は、例えば、Ｓｔｅｒｅｏ Ｇｒａｐｈｉｃｓ社のＣｒ
ｙｓｔａｌ ＥＹＥＳ（商標）として商品化されている
超音波を用いた装置や、Ｐｏｌｈｅｍｕｓ社が３ＳＰＡ
ＣＥ（商標）として商品化している磁気を用いた装置を
適用することができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正内容】
【００２３】図２に示した３次元座標測定装置を、例え
ば図１のカメラの位置および方向計測部１３に適用し、
ソースコイル２４を基準面となるテーブルの上に配置す
ると共に、位置センサ２５を３次元位置方向センサ３と
して適用することができる。これにより、携帯型ディス
プレイ１の基準面（テーブルの上面）に対する３次元上
の位置および姿勢を求めることができる。
ば図１のカメラの位置および方向計測部１３に適用し、
ソースコイル２４を基準面となるテーブルの上に配置す
ると共に、位置センサ２５を３次元位置方向センサ３と
して適用することができる。これにより、携帯型ディス
プレイ１の基準面（テーブルの上面）に対する３次元上
の位置および姿勢を求めることができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正内容】
【００２４】次に、その動作について説明する。ビデオ
カメラ２により撮像された映像に対応するビデオ信号
は、処理装置１１の合成表示部１６に供給される。ま
た、３次元位置方向センサ３により計測されたビデオカ
メラ２の位置および方向に対応する位置方向信号は、カ
メラの位置および方向計測部１３に供給される。カメラ
の位置および方向計測部１３は、この計測データに基づ
いてビデオカメラ２の基準面に対する位置および撮像方
向を演算により求め、演算結果としての位置データおよ
び方向データを透視変換マトリックス生成部１５に供給
する。
カメラ２により撮像された映像に対応するビデオ信号
は、処理装置１１の合成表示部１６に供給される。ま
た、３次元位置方向センサ３により計測されたビデオカ
メラ２の位置および方向に対応する位置方向信号は、カ
メラの位置および方向計測部１３に供給される。カメラ
の位置および方向計測部１３は、この計測データに基づ
いてビデオカメラ２の基準面に対する位置および撮像方
向を演算により求め、演算結果としての位置データおよ
び方向データを透視変換マトリックス生成部１５に供給
する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正内容】
【００４５】
【発明の効果】請求項１に記載の３次元仮想物体表示装
置、および請求項６に記載の３次元仮想物体表示方法に
よれば、所定の基準面に対する撮像手段の３次元空間座
標を測定し、測定された撮像手段の基準面に対する３次
元空間座標に基づいて、所定の３次元仮想物体の画像を
生成し、撮像された実画像を背景とし、測定された撮像
手段の基準面に対する３次元空間座標に基づいて、生成
された３次元仮想物体の画像を背景の所定の位置に重畳
させた合成画像を生成し、合成画像を表示手段の表示面
に表示させるようにしたので、簡単かつ迅速に、現実世
界の画像に仮想世界の画像が重畳された合成画像を観察
することができ、現実世界での通常の作業を継続しなが
らでも、仮想世界での作業を容易に行うことが可能とな
る。
置、および請求項６に記載の３次元仮想物体表示方法に
よれば、所定の基準面に対する撮像手段の３次元空間座
標を測定し、測定された撮像手段の基準面に対する３次
元空間座標に基づいて、所定の３次元仮想物体の画像を
生成し、撮像された実画像を背景とし、測定された撮像
手段の基準面に対する３次元空間座標に基づいて、生成
された３次元仮想物体の画像を背景の所定の位置に重畳
させた合成画像を生成し、合成画像を表示手段の表示面
に表示させるようにしたので、簡単かつ迅速に、現実世
界の画像に仮想世界の画像が重畳された合成画像を観察
することができ、現実世界での通常の作業を継続しなが
らでも、仮想世界での作業を容易に行うことが可能とな
る。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】符号の説明
【補正方法】変更
【補正内容】
【符号の説明】 １ 携帯型ディスプレイ，２ ビデオカメラ，３ ３次
元位置方向センサ，４操作用ボタン，１１ 処理装置，
１２ 入力操作部，１３ カメラの位置および方向計測
部，１４ ３次元データ生成部，１５ 透視変換マトリ
ックス生成部，１６ 合成表示部，１７ 通信制御部，
２１ 検出回路，２２ 位置計算部，２３ ドライブ回
路，２４ ソースコイル，２５ 位置センサ
元位置方向センサ，４操作用ボタン，１１ 処理装置，
１２ 入力操作部，１３ カメラの位置および方向計測
部，１４ ３次元データ生成部，１５ 透視変換マトリ
ックス生成部，１６ 合成表示部，１７ 通信制御部，
２１ 検出回路，２２ 位置計算部，２３ ドライブ回
路，２４ ソースコイル，２５ 位置センサ
【手続補正１７】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正内容】
【図１】
【手続補正１８】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正内容】
【図２】
Claims (6)
- 【請求項１】 所定の画像を表示する表示手段と、 前記表示手段の表示面の裏面方向に撮像方向を向けて取
り付けられた、所定の被写体の実画像を撮像する撮像手
段と、 所定の基準面に対する前記撮像手段の３次元空間座標を
測定する座標測定手段と、 前記座標測定手段によって測定された前記撮像手段の前
記基準面に対する３次元空間座標に基づいて、所定の仮
想３次元物体の画像を生成する画像生成手段と、 前記撮像手段により撮像された前記実画像を背景とし、
前記座標測定手段により測定された前記撮像手段の前記
基準面に対する前記３次元空間座標に基づいて、前記画
像生成手段によって生成された仮想３次元物体の画像を
前記背景の所定の位置に重畳させた合成画像を生成する
合成画像生成手段とを備え、 前記表示手段は、前記合成画像を表示することを特徴と
する３次元仮想物体表示装置。 - 【請求項２】 前記座標測定手段は、前記基準面上に配
置された磁界発生手段と、前記撮像手段に配置された磁
界検出手段と、前記磁界検出手段による検出結果に基づ
いて、前記３次元空間座標を演算する演算手段とからな
ることを特徴とする請求項１に記載の３次元仮想物体表
示装置。 - 【請求項３】 前記画像生成手段は、前記基準面上に、
前記仮想３次元物体の影の画像を生成することを特徴と
する請求項１に記載の３次元仮想物体表示装置。 - 【請求項４】 前記３次元仮想物体を仮想的に把持し、
前記３次元仮想物体に対して所定の操作を加える操作手
段をさらに備え、 前記操作手段により、前記３次元仮想物体の前記基準面
に対する移動が指示されたとき、前記画像生成手段は、
前記撮像手段の撮像方向に沿って、前記３次元仮想物体
が把持されたことを示す基準線の画像を生成し、前記操
作手段の操作に従って、前記３次元仮想物体の画像が、
前記基準線の先端が接した状態で前記基準面上を移動す
る画像を生成することを特徴とする請求項１に記載の３
次元仮想物体表示装置。 - 【請求項５】 少なくとも前記表示手段と、前記撮像手
段と、前記座標測定手段と、前記操作手段とからなる複
数組の表示装置に、前記画像生成手段によって生成され
た共通の３次元仮想物体の画像を表示し、前記操作手段
が前記３次元仮想物体に対して行った操作による前記３
次元仮想物体の前記基準面上での位置変化が、各表示装
置に反映されることを特徴とする請求項１に記載の３次
元仮想物体表示装置。 - 【請求項６】 所定の画像を表示する表示手段と、 前記表示手段の表示面の裏面方向に撮像方向を向けて取
り付けられた、所定の被写体の実画像を撮像する撮像手
段と、 所定の基準面に対する前記撮像手段の３次元空間座標を
測定する座標測定手段と、 前記座標測定手段によって測定された前記撮像手段の前
記基準面に対する３次元空間座標に基づいて、所定の仮
想３次元物体の画像を生成する画像生成手段と、 前記撮像手段により撮像された前記実画像を背景とし、
前記座標測定手段により測定された前記撮像手段の前記
基準面に対する前記３次元空間座標に基づいて、前記画
像生成手段によって生成された仮想３次元物体の画像を
前記背景の所定の位置に重畳させた合成画像を生成する
合成画像生成手段とを備える３次元仮想物体表示装置に
おける３次元仮想物体表示方法において、 前記表示手段の表示面の裏面方向に撮像方向を向けて、
所定の被写体の実画像を撮像し、 所定の基準面に対する前記撮像手段の３次元空間座標を
測定し、 測定された前記撮像手段の前記基準面に対する３次元空
間座標に基づいて、所定の仮想３次元物体の画像を生成
し、 撮像された前記実画像を背景とし、前記座標測定手段に
より測定された前記撮像手段の前記基準面に対する前記
３次元空間座標に基づいて、前記画像生成手段によって
生成された仮想３次元物体の画像を前記背景の所定の位
置に重畳させた合成画像を生成し、前記合成画像を前記
表示面に表示させることを特徴とする３次元仮想物体表
示方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20561196A JP3558104B2 (ja) | 1996-08-05 | 1996-08-05 | ３次元仮想物体表示装置および方法 |
| US08/902,510 US6020891A (en) | 1996-08-05 | 1997-07-29 | Apparatus for displaying three-dimensional virtual object and method of displaying the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20561196A JP3558104B2 (ja) | 1996-08-05 | 1996-08-05 | ３次元仮想物体表示装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1051711A true JPH1051711A (ja) | 1998-02-20 |
| JP3558104B2 JP3558104B2 (ja) | 2004-08-25 |
Family
ID=16509748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20561196A Expired - Lifetime JP3558104B2 (ja) | 1996-08-05 | 1996-08-05 | ３次元仮想物体表示装置および方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6020891A (ja) |
| JP (1) | JP3558104B2 (ja) |
Cited By (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003208381A (ja) * | 2001-04-20 | 2003-07-25 | Nippon Telegr & Teleph Corp <Ntt> | トークン型コンテンツ提供システム及びトークン型コンテンツ提供方法及び携帯型利用者端末 |
| JP2005049996A (ja) * | 2003-07-30 | 2005-02-24 | Canon Inc | 画像表示方法及び装置 |
| US7171665B1 (en) | 1999-09-02 | 2007-01-30 | Canon Kabushiki Kaisha | Display and acquisition of data, exchanged by interprocess, for the physical properties of a solar battery |
| JP2007042055A (ja) * | 2005-06-30 | 2007-02-15 | Canon Inc | 画像処理方法、画像処理装置 |
| JP2007280014A (ja) * | 2006-04-06 | 2007-10-25 | Dainippon Printing Co Ltd | 表示パラメータ入力装置 |
| JP2008117334A (ja) * | 2006-11-08 | 2008-05-22 | Toyota Motor Corp | 車両用表示装置 |
| JP2008219772A (ja) * | 2007-03-07 | 2008-09-18 | Toshiba Corp | 立体映像表示システム |
| US7487468B2 (en) | 2002-09-30 | 2009-02-03 | Canon Kabushiki Kaisha | Video combining apparatus and method |
| US7761326B2 (en) | 2001-04-20 | 2010-07-20 | Nippon Telegraph And Telephone Corporation | Token type content providing system and token type content providing method and portable user terminal |
| JP2010277551A (ja) * | 2009-06-01 | 2010-12-09 | Canon Inc | データ選択装置、その制御方法及びプログラム |
| JP2010541053A (ja) * | 2007-09-25 | 2010-12-24 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 現実環境内にバーチャルオブジェクトを描写する方法および装置 |
| JP2011186536A (ja) * | 2010-03-04 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理法方法およびプログラム |
| WO2011132373A1 (en) * | 2010-04-19 | 2011-10-27 | Sony Corporation | Image processing device, image processing method and program |
| JP2012002875A (ja) * | 2010-06-14 | 2012-01-05 | Nintendo Co Ltd | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 |
| JP2012014680A (ja) * | 2010-06-02 | 2012-01-19 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 |
| JP4869430B1 (ja) * | 2010-09-24 | 2012-02-08 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
| JP2012068977A (ja) * | 2010-09-24 | 2012-04-05 | Nintendo Co Ltd | ゲーム処理をするためのプログラム、装置、システムおよび方法 |
| JP2012069126A (ja) * | 2011-10-13 | 2012-04-05 | Nintendo Co Ltd | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
| JP2012115414A (ja) * | 2010-11-30 | 2012-06-21 | Nintendo Co Ltd | ゲーム装置、ゲームを提供する方法、ゲームプログラム、および、ゲームシステム |
| JP2012145981A (ja) * | 2011-01-06 | 2012-08-02 | Nintendo Co Ltd | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
| US8384770B2 (en) | 2010-06-02 | 2013-02-26 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
| JP5174908B2 (ja) * | 2008-06-30 | 2013-04-03 | 株式会社ソニー・コンピュータエンタテインメント | 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法 |
| US8512152B2 (en) | 2010-06-11 | 2013-08-20 | Nintendo Co., Ltd. | Hand-held game apparatus and housing part of the same |
| JP2014501000A (ja) * | 2010-11-02 | 2014-01-16 | スーパーディメンション，リミテッド | 画像表示アプリケーションおよび配向感知可能な表示装置のための方法 |
| WO2014027681A1 (ja) | 2012-08-17 | 2014-02-20 | 独立行政法人理化学研究所 | 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体 |
| US8780183B2 (en) | 2010-06-11 | 2014-07-15 | Nintendo Co., Ltd. | Computer-readable storage medium, image display apparatus, image display system, and image display method |
| US8854356B2 (en) | 2010-09-28 | 2014-10-07 | Nintendo Co., Ltd. | Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method |
| WO2014181587A1 (ja) * | 2013-05-07 | 2014-11-13 | 株式会社セガ | 携帯端末装置 |
| US8894486B2 (en) | 2010-01-14 | 2014-11-25 | Nintendo Co., Ltd. | Handheld information processing apparatus and handheld game apparatus |
| JP2015026138A (ja) * | 2013-07-24 | 2015-02-05 | 富士通株式会社 | 情報処理装置、位置指定方法および位置指定プログラム |
| JP2015506030A (ja) * | 2011-12-13 | 2015-02-26 | ソリダニム | ビデオムービーを撮影するためのシステム |
| US9128293B2 (en) | 2010-01-14 | 2015-09-08 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| JP2016028339A (ja) * | 2015-10-02 | 2016-02-25 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US9278281B2 (en) | 2010-09-27 | 2016-03-08 | Nintendo Co., Ltd. | Computer-readable storage medium, information processing apparatus, information processing system, and information processing method |
| US9355617B2 (en) | 2012-03-16 | 2016-05-31 | Sony Corporation | Information processing apparatus, information processing method and program for improving user operability |
| JP2016115148A (ja) * | 2014-12-15 | 2016-06-23 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
| JP2016151792A (ja) * | 2015-02-16 | 2016-08-22 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
| JP2016151791A (ja) * | 2015-02-16 | 2016-08-22 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
| WO2016147765A1 (ja) * | 2015-03-13 | 2016-09-22 | 富士フイルム株式会社 | 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム |
| JP2017016466A (ja) * | 2015-07-02 | 2017-01-19 | 富士通株式会社 | 端末制御方法、画像生成方法、端末制御プログラム、及び端末 |
| JP2017041068A (ja) * | 2015-08-19 | 2017-02-23 | 富士通株式会社 | 表示制御方法、情報処理装置及び表示制御プログラム |
| JP2017162451A (ja) * | 2016-03-07 | 2017-09-14 | フラミー インクＦｒａｍｙ Ｉｎｃ． | 立体空間のシーン編集方法及び立体空間のシーン編集システム |
| JP2018511122A (ja) * | 2015-03-05 | 2018-04-19 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 拡張現実のためのシステムおよび方法 |
| US10506218B2 (en) | 2010-03-12 | 2019-12-10 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| JP2020503599A (ja) * | 2016-12-14 | 2020-01-30 | サムスン エレクトロニクス カンパニー リミテッド | ディスプレイ装置及びその制御方法 |
| JP2021526701A (ja) * | 2018-05-29 | 2021-10-07 | センティエーアール インコーポレイテッド | 拡張現実環境内の使い捨てステッカー |
| JP2023543746A (ja) * | 2020-09-25 | 2023-10-18 | アップル インコーポレイテッド | 環境内のオブジェクトを操作するための方法 |
Families Citing this family (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9722766D0 (en) | 1997-10-28 | 1997-12-24 | British Telecomm | Portable computers |
| JP2001195368A (ja) | 1999-11-01 | 2001-07-19 | Sony Corp | 認証情報通信システムおよび認証情報通信方法、携帯情報処理装置、並びにプログラム提供媒体 |
| US6784901B1 (en) | 2000-05-09 | 2004-08-31 | There | Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment |
| JP2001325611A (ja) * | 2000-05-15 | 2001-11-22 | Sony Corp | ３次元モデル処理装置および３次元モデル処理方法、並びにプログラム提供媒体 |
| JP4701479B2 (ja) * | 2000-07-05 | 2011-06-15 | ソニー株式会社 | リンク情報表示装置及びその表示方法 |
| JP4649050B2 (ja) * | 2001-03-13 | 2011-03-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び制御プログラム |
| US20040113887A1 (en) * | 2002-08-27 | 2004-06-17 | University Of Southern California | partially real and partially simulated modular interactive environment |
| JP2004199496A (ja) * | 2002-12-19 | 2004-07-15 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| WO2007011748A2 (en) * | 2005-07-14 | 2007-01-25 | Molsoft, Llc | Structured documents for displaying and interaction with three dimensional objects |
| US7712047B2 (en) * | 2007-01-03 | 2010-05-04 | Microsoft Corporation | Motion desktop |
| US8336708B2 (en) * | 2007-07-20 | 2012-12-25 | Battenfeld Technologies, Inc. | System and container for organizing and carrying tools and tool sets |
| US20090153550A1 (en) * | 2007-12-18 | 2009-06-18 | Disney Enterprises, Inc. | Virtual object rendering system and method |
| EP2193825B1 (en) * | 2008-12-03 | 2017-03-22 | Alcatel Lucent | Mobile device for augmented reality applications |
| US8913009B2 (en) | 2010-02-03 | 2014-12-16 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
| US8339364B2 (en) | 2010-02-03 | 2012-12-25 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
| US8814686B2 (en) | 2010-02-03 | 2014-08-26 | Nintendo Co., Ltd. | Display device, game system, and game method |
| WO2011096203A1 (ja) | 2010-02-03 | 2011-08-11 | 任天堂株式会社 | ゲームシステム、操作装置、およびゲーム処理方法 |
| US9251721B2 (en) | 2010-04-09 | 2016-02-02 | University Of Florida Research Foundation, Inc. | Interactive mixed reality system and uses thereof |
| US9699438B2 (en) * | 2010-07-02 | 2017-07-04 | Disney Enterprises, Inc. | 3D graphic insertion for live action stereoscopic video |
| JP6243586B2 (ja) | 2010-08-06 | 2017-12-06 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法 |
| US10150033B2 (en) | 2010-08-20 | 2018-12-11 | Nintendo Co., Ltd. | Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method |
| JP5840386B2 (ja) | 2010-08-30 | 2016-01-06 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法 |
| JP5840385B2 (ja) | 2010-08-30 | 2016-01-06 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法 |
| US8666978B2 (en) | 2010-09-16 | 2014-03-04 | Alcatel Lucent | Method and apparatus for managing content tagging and tagged content |
| US8655881B2 (en) | 2010-09-16 | 2014-02-18 | Alcatel Lucent | Method and apparatus for automatically tagging content |
| US8533192B2 (en) | 2010-09-16 | 2013-09-10 | Alcatel Lucent | Content capture device and methods for automatically tagging content |
| US20120067954A1 (en) * | 2010-09-16 | 2012-03-22 | Madhav Moganti | Sensors, scanners, and methods for automatically tagging content |
| KR101364826B1 (ko) | 2010-11-01 | 2014-02-20 | 닌텐도가부시키가이샤 | 조작 장치 및 조작 시스템 |
| JP5456175B2 (ja) | 2010-12-15 | 2014-03-26 | 株式会社日立製作所 | 映像監視装置 |
| EP2485119A3 (en) * | 2011-02-02 | 2012-12-12 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
| JP5724544B2 (ja) * | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5689014B2 (ja) | 2011-04-07 | 2015-03-25 | 任天堂株式会社 | 入力システム、情報処理装置、情報処理プログラム、および３次元位置算出方法 |
| WO2013032441A1 (en) * | 2011-08-30 | 2013-03-07 | Hewlett-Packard Development Company, L.P. | Inserting an object into an image |
| JP2013105346A (ja) | 2011-11-14 | 2013-05-30 | Sony Corp | 情報提示装置、情報提示方法、情報提示システム、情報登録装置、情報登録方法、情報登録システムおよびプログラム |
| EP2814000B1 (en) * | 2012-02-10 | 2019-07-03 | Sony Corporation | Image processing apparatus, image processing method, and program |
| WO2014186970A1 (en) * | 2013-05-23 | 2014-11-27 | Google Inc. | Systems and methods for generating three-dimensional models using sensed position data |
| US10332200B1 (en) | 2014-03-17 | 2019-06-25 | Wells Fargo Bank, N.A. | Dual-use display screen for financial services applications |
| US9632686B1 (en) | 2014-07-24 | 2017-04-25 | Wells Fargo Bank, N.A. | Collaborative document creation |
| US11094223B2 (en) | 2015-01-10 | 2021-08-17 | University Of Florida Research Foundation, Incorporated | Simulation features combining mixed reality and modular tracking |
| US10593116B2 (en) | 2016-10-24 | 2020-03-17 | Snap Inc. | Augmented reality object manipulation |
| US10242503B2 (en) | 2017-01-09 | 2019-03-26 | Snap Inc. | Surface aware lens |
| US10620335B2 (en) | 2017-05-02 | 2020-04-14 | Ascension Technology Corporation | Rotating frequencies of transmitters |
| US10855564B2 (en) * | 2018-01-15 | 2020-12-01 | Worcester Polytechnic Institute | Visualization of network data as a three-dimensional hierarchical data structure in a mixed reality environment |
| US10854003B2 (en) * | 2018-01-15 | 2020-12-01 | Worcester Polytechnic Institute | Visualization of network data as a three-dimensional hierarchical data structure in a mixed reality environment |
| US11030813B2 (en) | 2018-08-30 | 2021-06-08 | Snap Inc. | Video clip object tracking |
| US11176737B2 (en) | 2018-11-27 | 2021-11-16 | Snap Inc. | Textured mesh building |
| US11501499B2 (en) | 2018-12-20 | 2022-11-15 | Snap Inc. | Virtual surface modification |
| US10984575B2 (en) | 2019-02-06 | 2021-04-20 | Snap Inc. | Body pose estimation |
| US11189098B2 (en) | 2019-06-28 | 2021-11-30 | Snap Inc. | 3D object camera customization system |
| US11232646B2 (en) | 2019-09-06 | 2022-01-25 | Snap Inc. | Context-based virtual object rendering |
| US11263817B1 (en) | 2019-12-19 | 2022-03-01 | Snap Inc. | 3D captions with face tracking |
| US11227442B1 (en) | 2019-12-19 | 2022-01-18 | Snap Inc. | 3D captions with semantic graphical elements |
| US11660022B2 (en) | 2020-10-27 | 2023-05-30 | Snap Inc. | Adaptive skeletal joint smoothing |
| US11615592B2 (en) | 2020-10-27 | 2023-03-28 | Snap Inc. | Side-by-side character animation from realtime 3D body motion capture |
| US11450051B2 (en) | 2020-11-18 | 2022-09-20 | Snap Inc. | Personalized avatar real-time motion capture |
| US11734894B2 (en) | 2020-11-18 | 2023-08-22 | Snap Inc. | Real-time motion transfer for prosthetic limbs |
| US11748931B2 (en) | 2020-11-18 | 2023-09-05 | Snap Inc. | Body animation sharing and remixing |
| US11880947B2 (en) | 2021-12-21 | 2024-01-23 | Snap Inc. | Real-time upper-body garment exchange |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4970666A (en) * | 1988-03-30 | 1990-11-13 | Land Development Laboratory, Inc. | Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment |
| US5359703A (en) * | 1990-08-02 | 1994-10-25 | Xerox Corporation | Moving an object in a three-dimensional workspace |
| EP0677187B1 (en) * | 1990-11-30 | 2002-09-18 | Sun Microsystems, Inc. | Improved method and apparatus for creating virtual worlds |
| US5590268A (en) * | 1993-03-31 | 1996-12-31 | Kabushiki Kaisha Toshiba | System and method for evaluating a workspace represented by a three-dimensional model |
| JP3347508B2 (ja) * | 1995-02-24 | 2002-11-20 | キヤノン株式会社 | 撮像画像処理装置および撮像画像処理方法 |
-
1996
- 1996-08-05 JP JP20561196A patent/JP3558104B2/ja not_active Expired - Lifetime
-
1997
- 1997-07-29 US US08/902,510 patent/US6020891A/en not_active Expired - Lifetime
Cited By (68)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7171665B1 (en) | 1999-09-02 | 2007-01-30 | Canon Kabushiki Kaisha | Display and acquisition of data, exchanged by interprocess, for the physical properties of a solar battery |
| JP2003208381A (ja) * | 2001-04-20 | 2003-07-25 | Nippon Telegr & Teleph Corp <Ntt> | トークン型コンテンツ提供システム及びトークン型コンテンツ提供方法及び携帯型利用者端末 |
| US7761326B2 (en) | 2001-04-20 | 2010-07-20 | Nippon Telegraph And Telephone Corporation | Token type content providing system and token type content providing method and portable user terminal |
| US7487468B2 (en) | 2002-09-30 | 2009-02-03 | Canon Kabushiki Kaisha | Video combining apparatus and method |
| JP2005049996A (ja) * | 2003-07-30 | 2005-02-24 | Canon Inc | 画像表示方法及び装置 |
| JP2007042055A (ja) * | 2005-06-30 | 2007-02-15 | Canon Inc | 画像処理方法、画像処理装置 |
| JP4739002B2 (ja) * | 2005-06-30 | 2011-08-03 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| JP2007280014A (ja) * | 2006-04-06 | 2007-10-25 | Dainippon Printing Co Ltd | 表示パラメータ入力装置 |
| JP2008117334A (ja) * | 2006-11-08 | 2008-05-22 | Toyota Motor Corp | 車両用表示装置 |
| JP2008219772A (ja) * | 2007-03-07 | 2008-09-18 | Toshiba Corp | 立体映像表示システム |
| JP2010541053A (ja) * | 2007-09-25 | 2010-12-24 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 現実環境内にバーチャルオブジェクトを描写する方法および装置 |
| JP5174908B2 (ja) * | 2008-06-30 | 2013-04-03 | 株式会社ソニー・コンピュータエンタテインメント | 携帯型ゲーム装置及び携帯型ゲーム装置の制御方法 |
| US9662583B2 (en) | 2008-06-30 | 2017-05-30 | Sony Corporation | Portable type game device and method for controlling portable type game device |
| JP2010277551A (ja) * | 2009-06-01 | 2010-12-09 | Canon Inc | データ選択装置、その制御方法及びプログラム |
| US9128293B2 (en) | 2010-01-14 | 2015-09-08 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| US8894486B2 (en) | 2010-01-14 | 2014-11-25 | Nintendo Co., Ltd. | Handheld information processing apparatus and handheld game apparatus |
| JP2011186536A (ja) * | 2010-03-04 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理法方法およびプログラム |
| US10506218B2 (en) | 2010-03-12 | 2019-12-10 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| US10764565B2 (en) | 2010-03-12 | 2020-09-01 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| WO2011132373A1 (en) * | 2010-04-19 | 2011-10-27 | Sony Corporation | Image processing device, image processing method and program |
| JP2011227644A (ja) * | 2010-04-19 | 2011-11-10 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
| US9282319B2 (en) | 2010-06-02 | 2016-03-08 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
| US8384770B2 (en) | 2010-06-02 | 2013-02-26 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
| JP2012014680A (ja) * | 2010-06-02 | 2012-01-19 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 |
| US8633947B2 (en) | 2010-06-02 | 2014-01-21 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method |
| US8780183B2 (en) | 2010-06-11 | 2014-07-15 | Nintendo Co., Ltd. | Computer-readable storage medium, image display apparatus, image display system, and image display method |
| US8512152B2 (en) | 2010-06-11 | 2013-08-20 | Nintendo Co., Ltd. | Hand-held game apparatus and housing part of the same |
| US10015473B2 (en) | 2010-06-11 | 2018-07-03 | Nintendo Co., Ltd. | Computer-readable storage medium, image display apparatus, image display system, and image display method |
| JP2012002875A (ja) * | 2010-06-14 | 2012-01-05 | Nintendo Co Ltd | 立体画像表示プログラム、立体画像表示装置、立体画像表示システム、および、立体画像表示方法 |
| US9530249B2 (en) | 2010-09-24 | 2016-12-27 | Nintendo Co., Ltd. | Computer-readable storage medium having image processing program stored therein, image processing apparatus, image processing system, and image processing method |
| JP4869430B1 (ja) * | 2010-09-24 | 2012-02-08 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
| JP2012068977A (ja) * | 2010-09-24 | 2012-04-05 | Nintendo Co Ltd | ゲーム処理をするためのプログラム、装置、システムおよび方法 |
| US9095774B2 (en) | 2010-09-24 | 2015-08-04 | Nintendo Co., Ltd. | Computer-readable storage medium having program stored therein, apparatus, system, and method, for performing game processing |
| US9278281B2 (en) | 2010-09-27 | 2016-03-08 | Nintendo Co., Ltd. | Computer-readable storage medium, information processing apparatus, information processing system, and information processing method |
| US8854356B2 (en) | 2010-09-28 | 2014-10-07 | Nintendo Co., Ltd. | Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method |
| JP2014501000A (ja) * | 2010-11-02 | 2014-01-16 | スーパーディメンション，リミテッド | 画像表示アプリケーションおよび配向感知可能な表示装置のための方法 |
| US9111386B2 (en) | 2010-11-02 | 2015-08-18 | Covidien Lp | Image viewing application and method for orientationally sensitive display devices |
| US9595131B2 (en) | 2010-11-02 | 2017-03-14 | Covidien Lp | Image viewing application and method for orientationally sensitive display devices |
| JP2012115414A (ja) * | 2010-11-30 | 2012-06-21 | Nintendo Co Ltd | ゲーム装置、ゲームを提供する方法、ゲームプログラム、および、ゲームシステム |
| JP2012145981A (ja) * | 2011-01-06 | 2012-08-02 | Nintendo Co Ltd | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
| JP2012069126A (ja) * | 2011-10-13 | 2012-04-05 | Nintendo Co Ltd | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
| JP2015506030A (ja) * | 2011-12-13 | 2015-02-26 | ソリダニム | ビデオムービーを撮影するためのシステム |
| US9648271B2 (en) | 2011-12-13 | 2017-05-09 | Solidanim | System for filming a video movie |
| US9756277B2 (en) | 2011-12-13 | 2017-09-05 | Solidanim | System for filming a video movie |
| US9355617B2 (en) | 2012-03-16 | 2016-05-31 | Sony Corporation | Information processing apparatus, information processing method and program for improving user operability |
| WO2014027681A1 (ja) | 2012-08-17 | 2014-02-20 | 独立行政法人理化学研究所 | 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体 |
| US9304585B2 (en) | 2012-08-17 | 2016-04-05 | Riken | Substitutional reality system control device, substitutional reality system, substitutional reality system control method, and computer-readable non-transitory recording medium |
| WO2014181587A1 (ja) * | 2013-05-07 | 2014-11-13 | 株式会社セガ | 携帯端末装置 |
| JP2014219800A (ja) * | 2013-05-07 | 2014-11-20 | 株式会社セガ | 携帯端末装置 |
| JP2015026138A (ja) * | 2013-07-24 | 2015-02-05 | 富士通株式会社 | 情報処理装置、位置指定方法および位置指定プログラム |
| JP2016115148A (ja) * | 2014-12-15 | 2016-06-23 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
| US10359916B2 (en) | 2015-02-16 | 2019-07-23 | Fujifilm Corporation | Virtual object display device, method, program, and system |
| JP2016151792A (ja) * | 2015-02-16 | 2016-08-22 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
| JP2016151791A (ja) * | 2015-02-16 | 2016-08-22 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
| WO2016132817A1 (ja) * | 2015-02-16 | 2016-08-25 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
| WO2016132822A1 (ja) * | 2015-02-16 | 2016-08-25 | 富士フイルム株式会社 | 仮想オブジェクト表示装置、方法、プログラムおよびシステム |
| JP2018511122A (ja) * | 2015-03-05 | 2018-04-19 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 拡張現実のためのシステムおよび方法 |
| JP2021101251A (ja) * | 2015-03-05 | 2021-07-08 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 拡張現実のためのシステムおよび方法 |
| WO2016147765A1 (ja) * | 2015-03-13 | 2016-09-22 | 富士フイルム株式会社 | 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム |
| JP2016170641A (ja) * | 2015-03-13 | 2016-09-23 | 富士フイルム株式会社 | 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム |
| US10386633B2 (en) | 2015-03-13 | 2019-08-20 | Fujifilm Corporation | Virtual object display system, and display control method and display control program for the same |
| JP2017016466A (ja) * | 2015-07-02 | 2017-01-19 | 富士通株式会社 | 端末制御方法、画像生成方法、端末制御プログラム、及び端末 |
| JP2017041068A (ja) * | 2015-08-19 | 2017-02-23 | 富士通株式会社 | 表示制御方法、情報処理装置及び表示制御プログラム |
| JP2016028339A (ja) * | 2015-10-02 | 2016-02-25 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2017162451A (ja) * | 2016-03-07 | 2017-09-14 | フラミー インクＦｒａｍｙ Ｉｎｃ． | 立体空間のシーン編集方法及び立体空間のシーン編集システム |
| JP2020503599A (ja) * | 2016-12-14 | 2020-01-30 | サムスン エレクトロニクス カンパニー リミテッド | ディスプレイ装置及びその制御方法 |
| JP2021526701A (ja) * | 2018-05-29 | 2021-10-07 | センティエーアール インコーポレイテッド | 拡張現実環境内の使い捨てステッカー |
| JP2023543746A (ja) * | 2020-09-25 | 2023-10-18 | アップル インコーポレイテッド | 環境内のオブジェクトを操作するための方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6020891A (en) | 2000-02-01 |
| JP3558104B2 (ja) | 2004-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH1051711A (ja) | ３次元仮想物体表示装置および方法 | |
| JP6355978B2 (ja) | プログラムおよび画像生成装置 | |
| EP1060772B1 (en) | Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof | |
| JP4533087B2 (ja) | 画像処理方法、画像処理装置 | |
| Meyer et al. | A survey of position trackers | |
| US6198485B1 (en) | Method and apparatus for three-dimensional input entry | |
| Ha et al. | WeARHand: Head-worn, RGB-D camera-based, bare-hand user interface with visually enhanced depth perception | |
| US7123214B2 (en) | Information processing method and apparatus | |
| EP1808210B1 (en) | Storage medium having game program stored thereon and game apparatus | |
| JP5087101B2 (ja) | プログラム、情報記憶媒体及び画像生成システム | |
| Holloway et al. | Virtual environments: A survey of the technology | |
| EP1686554A2 (en) | Virtual space generating system, image processing apparatus and information processing method | |
| CN103744518B (zh) | 立体交互方法及其显示装置和系统 | |
| JP2003337963A5 (ja) | ||
| JP2015231445A (ja) | プログラムおよび画像生成装置 | |
| EP1469424A1 (en) | Image processing system, image processing apparatus, and display apparatus | |
| JP2012161604A (ja) | 空間相関したマルチディスプレイヒューマンマシンインターフェース | |
| TW201401224A (zh) | 二維角色表現三維動作之系統及方法 | |
| JP4272711B2 (ja) | 画像生成方法及び装置 | |
| JPH075978A (ja) | 入力装置 | |
| JP2006252060A (ja) | 画像処理方法、画像処理装置 | |
| JPH09138637A (ja) | 模擬視界装置 | |
| JPH07253773A (ja) | 立体型表示装置 | |
| JP2009087161A (ja) | 画像処理装置、画像処理方法 | |
| JPH06131442A (ja) | ３次元虚像造形装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040428 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040511 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110528 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120528 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |