JP4434890B2 - 画像合成方法及び装置 - Google Patents
画像合成方法及び装置 Download PDFInfo
- Publication number
- JP4434890B2 JP4434890B2 JP2004258405A JP2004258405A JP4434890B2 JP 4434890 B2 JP4434890 B2 JP 4434890B2 JP 2004258405 A JP2004258405 A JP 2004258405A JP 2004258405 A JP2004258405 A JP 2004258405A JP 4434890 B2 JP4434890 B2 JP 4434890B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- computer graphics
- measurement range
- sensor
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 47
- 239000000203 mixture Substances 0.000 title claims description 40
- 238000005259 measurement Methods 0.000 claims description 106
- 239000003550 marker Substances 0.000 claims description 91
- 230000002194 synthesizing effect Effects 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 239000002131 composite material Substances 0.000 claims description 4
- 238000001308 synthesis method Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 29
- 238000004364 calculation method Methods 0.000 description 20
- 230000009466 transformation Effects 0.000 description 20
- 230000014509 gene expression Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 239000013598 vector Substances 0.000 description 15
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Description
以下、添付図面を参照して本発明をその好適な実施形態に基づき詳細に説明する。
第1の実施形態に係る画像合成装置の一例は、センサに取り付けたマーカに基づいてセンサの位置情報を取得し、その位置にセンサの計測範囲を3次元CGのモデルデータを用いて重畳表示することによりセンサの計測範囲を可視化するものである。なお、計測範囲を可視化するための3次元CGのモデルデータは、センサの仕様による計測範囲に対応したモデルデータであっても良いし、経験によって得られる計測範囲でも良い。また、モデルデータの表示方法も特に制限はなく、そのまま出力しても良いし、透明度の設定を行って表示するなどしても良い。
図1は、本実施形態における画像合成装置の構成例を示すブロック図である。また、図2は図1の画像合成装置を複合現実感アプリケーションに適用した場合の具体的な機器配置と、観察者が体感する複合現実感を模式的に示す図である。
本実施形態においては、上で説明した画像合成装置を用いて、位置姿勢センサの計測範囲を可視化することを特徴とする。
図3は本実施形態における位置姿勢センサの計測範囲可視化を模式的に示す図である。
観察者201は例えばHMD108に取り付けられたビデオカメラ101により、一対のセンサ301に取り付けた2次元マーカ205を撮像する。そして、予め用意したセンサ301の計測範囲の3次元モデルデータを仮想空間データベース106より読み出し、センサ301の計測範囲を表すCG画像を視点位置姿勢算出部104が算出する観察者の視点位置姿勢に基づいて生成する。このCG画像をカメラ101で撮影した実写画像と合成してHMD108に表示することで、観察者にセンサ301の計測範囲を提示する。
本実施形態において用いることができる、センサの計測範囲の3次元モデルの作成方法としては、様々な方法が考えられる。
まず、センサの仕様に基づき計測範囲の3次元モデルを作成する方法を説明する。
位置姿勢センサが光学センサの場合は、図9に示されるような対象機種の仕様に基づき、計測範囲の寸法をコンピュータグラフィックのモデリングソフト上で入力することで、センサの計測範囲の3次元モデルを作成することができる。
また、磁気センサの場合は、対象機種の仕様に記載されている計測範囲の距離を半径とする半球をコンピュータグラフィックのモデリングソフトで作成することにより、センサの計測範囲の3次元モデルを作成することができる。
センサの計測範囲外に出たときにセンサから「センサの計測範囲外」という旨のデータが送られてくる場合は、その直前の座標(X,Y,Z)データを複数取得、格納し、格納した座標点を頂点としたポリゴンを生成することで、計測範囲をモデリングすることができる。格納した頂点からポリゴンを生成する方法としては、Marching Cubes法「Lorensen,W.E and Cline H.E, Marching Cubes: A High Resolution 3D Surface Construction Algorithm,ACM computer Graphics,21(3),1987.」などが知られている。
「センサの計測範囲外」という旨のデータが送られてこない場合は、オペレータが予め体験し、その体験結果から計測範囲を示す3次元データを作成する。例えば、磁気センサでは、計測結果から半球の半径を設定し、半球の3次元モデルを作成する。
ここで、本実施形態に係る画像合成装置において重要な機能を果たす視点位置姿勢算出部104の動作について詳細に説明する。視点位置姿勢算出部104の基本的な動作は座標変換である。
本実施形態において、仮想物体206はマーカ座標系401の上で表現される。
撮影画像中のマーカ位置およびマーカ座標系におけるマーカ位置の関係に基づき、マーカ座標系からカメラ座標系への変換行列Tcmを動的に求める。そして、予め求められている、カメラ座標系からHMDスクリーン座標系への変換行列Tscと、変換行列Tcmとに基づき、マーカ座標系で定義されているセンサの計測範囲の3次元モデルを変換することにより、仮想物体206をHMDスクリーン上に表示する。
図3の実施形態では、配置する2台のセンサの夫々に対してマーカを取り付け、各センサの計測範囲の3次元モデルを独立に管理している。したがって、本実施形態では、以下に示す変換行列の算出を、各マーカに対して行う。
カメラ座標系402は焦点位置を原点、画像平面に垂直な方向をZ軸、画像のx,y軸に平行な方向を各X,Y軸とする。
マーカ座標系401で表現された任意の点(Xm,Ym,Zm)は、回転移動と平行移動の組合せでカメラ座標系402上の点に変換可能であり、カメラ座標系402では(Xc,Yc,Zc)と表記する。
また、複合現実感システムにおいては広範囲における位置計測が要求され、そのためにビデオカメラ101には広角レンズが用いられる。そのため、撮影した画像には樽型歪みが発生する。
S501の前処理では、入力された実写画像に対して、固定閾値による2値化、連結領域ごとの面積・外接長方形計算を行う。本実施形態においては、これらの処理を1パスで行うアルゴリズムを用いることで高速化を図っている。
残された連結領域に対して輪郭線追跡を行い、輪郭線上の画素位置をすべて記憶する。
2次元マーカは、黒い枠の中に識別用のパターン501が設けられた正方形マーカである。なお、本実施形態ではテンプレートマッチングによりマーカ識別を行っているため、中央部の識別用パターンはマーカの方向性(上下左右)が認識できる任意のシンボルを用いることができる。
このテンプレートマッチングを行うためには、画像の正規化を行う必要がある。
式1は、マーカ座標系401のXm−Ym平面内の点(Xm,Ym,0)を、透視変換モデル行列Cによって理想スクリーン座標系403上の点(xc,yc)に変換する変換式である。
そして、縮小画像との類似度sが最大値となるテンプレートの種類と向きを、マーカの種類及び方向と見なす。
ここで、(xc,yc)は理想スクリーン座標系403における座標値、(xd,yd)は観測スクリーン座標系405における座標値である。
まず、マーカ座標系401からカメラ座標系402への変換行列Tcm の推定を行う。
この変換行列は、回転移動成分Rと平行移動成分Tからなる。理想スクリーン座標系403とカメラ座標系402の間は透視変換モデルで変換でき、その具体的な変換行列Pは事前にキャリブレーションにより算出することができる。この透視変換モデルの算出は一般的に利用されている技術であるため、ここでは、その具体的な算出方法の説明は省略する。
S701では、回転移動成分Rの推定を行う。
そして、式5の(xc,yc)をこれに代入すると、式7が得られる。
式4及び式5を結合し、マーカ4頂点のマーカ座標系401での座標値、理想スクリーン座標系403での座標値を代入すると、T1,T2,T3に関する1次方程式が8個得られる。行列P,Rが既知なので、これらの式からT1,T2,T3を計算できる。
最後にS703では、変換行列Tcmの修正を行う。
式8は回転行列を回転角で表した式である。
また、本実施形態では、各センサに1つの2次元マーカを使用したが、マーカ間の位置関係が予め定義されている場合は、1つのセンサに対して複数の点マーカを使用することができる。また、同様に複数の2次元マーカを使用することもできる。
また、複合現実感アプリケーションの実行中に、観察者がセンサの計測範囲を把握することを可能とし、正しい範囲内で移動することを可能とする。
第2の実施形態に係る画像合成装置は、位置姿勢センサの設置後、実際に設置した位置姿勢センサの計測値から観察者の頭部の世界座標系における位置姿勢情報を取得し、予め用意した世界座標系で定義されている、センサの計測範囲を表す3次元CGモデルデータを観察者の視線近傍に配置したカメラから得られる実写画像に重畳表示することによって位置姿勢センサの計測範囲を可視化するものである。
本実施形態では、ユーザの世界座標系における位置姿勢をセンサの出力値にから求めることができる。よって、センサの計測範囲を表す3次元CGモデルデータを、世界座標系で管理している。 なお、本実施形態においても、第1の実施形態と同様、計測範囲を可視化するための3次元CGのモデルデータは、仕様による計測範囲であっても良いし、経験によって得られる計測範囲でも良い。また、モデルデータの表示方法も任意である。
1001は、ユーザの視点位置姿勢を検出する位置姿勢センサである。1002は位置姿勢センサ1001の出力に基づき世界座標系をHMDスクリーン座標系406へ変換する変換行列を算出する視点位置姿勢算出部である。画像生成部105は、視点位置姿勢算出部102で算出された変換行列を用いて、仮想空間データベース1003に格納されている世界座標系で定義されている3次元モデルに基づく仮想物体画像を生成する。
ただし、複合現実感技術の分野では周知であるように、位置姿勢センサの出力値をマーカから得られる情報によって補正することも可能である。
位置姿勢センサ1001で観察者201の視点位置姿勢を検出する。そして、予め用意したセンサ1001の計測範囲を表す3次元CGモデルデータ(本実施形態では世界座標系で記述)と観察者201に提示するためのCGオブジェクト801の3次元CGモデルデータとを仮想空間データベース1003より読み出し、位置姿勢センサ1001が測定した観察者の視点位置姿勢と、視点位置姿勢算出部1002からの変換行列とから、HMD108のスクリーン座標系406へ投影された3次元CG画像を生成する。画像合成部107は画像入力部102からの実写画像に画像生成部105からのCG画像を合成し、HMD108に表示させる。このようにして、観察者にセンサ1001の計測範囲を視認させることができる。
また、複合現実感アプリケーションの実行中に、観察者がセンサの計測範囲を把握することを可能とし、正しい範囲内で移動することを可能とする。
上述の実施形態においては、いずれも観察者にセンサの計測範囲を提示するものであった。しかしながら、画像合成装置のオペレータに対して可視化したセンサの計測範囲を提示することも可能である。オペレータが観察者の作業をモニタリングする場合、オペレータ用の操作画面にセンサの計測範囲を可視化することによって、オペレータは観察者とセンサ計測範囲との位置関係を把握することができるため、観察者を適切内位置に誘導することが可能となる。
また、図8に示すようなCGオブジェクトを動的に観察者に提示させる場合、観察者にとって最も見易い位置に配置させることが可能となる。
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
Claims (10)
- 実写画像にコンピュータグラフィクス画像を位置合わせして合成する画像合成方法において、
位置姿勢センサの計測範囲を表す3次元コンピュータグラフィクスモデルを設定する設定工程と、
前記位置姿勢センサの位置情報を取得するセンサ位置情報取得工程と、
前記位置姿勢センサの位置情報と、前記3次元コンピュータグラフィクスモデルとを用い、前記位置姿勢センサの計測範囲を表すコンピュータグラフィックス画像を生成するCG画像生成工程と、
前記実写画像と前記コンピュータグラフィクス画像とを合成する画像合成工程とを有することを特徴とする画像合成方法。 - 前記センサ位置情報取得工程が、前記実写画像に含まれる、前記位置姿勢センサに取り付けられたマーカの画像と、予め記憶された前記マーカの位置情報とを用いて前記センサの位置情報を取得することを特徴とする請求項1記載の画像合成方法。
- 前記センサ位置情報取得工程は、
前記実写画像からマーカを検出し、
前記検出されたマーカに基づき、前記マーカが定義されているマーカ座標系と前記実写画像が定義されるカメラ座標系との位置関係に応じた変換条件を作成し、
前記CG画像生成工程は、
前記変換条件に基づき、前記3次元コンピュータグラフィックスモデルから前記コンピュータグラフィックス画像を生成することを特徴とする請求項1記載の画像合成方法。 - 所定の計測範囲を有する位置姿勢センサによって測定した位置姿勢情報を用い、実写画像にコンピュータグラフィクス画像を位置合わせして合成する画像合成方法において、
前記所定の計測範囲を表す3次元コンピュータグラフィクスモデルを設定する設定工程と、
前記位置姿勢センサにより、前記実写画像を撮像するカメラの位置姿勢情報を取得するカメラ位置姿勢情報取得工程と、
前記カメラ位置姿勢情報と、前記3次元コンピュータグラフィクスモデルとを用い、前記所定の計測範囲を表すコンピュータグラフィックス画像を生成するCG画像生成工程と、
前記実写画像と前記コンピュータグラフィクス画像とを合成する画像合成工程とを有することを特徴とする画像合成方法。 - 観察者が装着する頭部装着型表示装置に設けられたカメラで撮影した実写画像に、予め用意した仮想物体の3次元コンピュータグラフィクスモデルと前記カメラの位置姿勢情報とを用いて生成した前記仮想物体の画像を合成し、合成画像を前記頭部装着型表示装置に表示する画像合成方法において、
前記観察者が存在する空間中に配置された位置姿勢センサの計測範囲を表す3次元コンピュータグラフィクスモデルを設定する設定工程と、
前記計測範囲を前記仮想物体の画像として生成する画像生成工程を有することを特徴とする画像合成方法。 - 実写画像にコンピュータグラフィクス画像を位置合わせして合成する画像合成装置において、
位置姿勢センサの計測範囲を表す3次元コンピュータグラフィクスモデルを設定する手段と、
前記位置姿勢センサの位置情報を取得するセンサ位置情報取得手段と、
前記位置姿勢センサの位置情報と、前記3次元コンピュータグラフィクスモデルとを用い、前記位置姿勢センサの計測範囲を表すコンピュータグラフィックス画像を生成するCG画像生成手段と、
前記実写画像と前記コンピュータグラフィクス画像とを合成する画像合成手段とを有することを特徴とする画像合成装置。 - 所定の計測範囲を有する位置姿勢センサによって測定した位置姿勢情報を用い、実写画像にコンピュータグラフィクス画像を位置合わせして合成する画像合成装置において、
前記所定の計測範囲を表す3次元コンピュータグラフィクスモデルを設定する手段と、
前記位置姿勢センサにより、前記実写画像を撮像するカメラの位置姿勢情報を取得するカメラ位置姿勢情報取得手段と、
前記カメラ位置姿勢情報と、前記3次元コンピュータグラフィクスモデルとを用い、前記所定の計測範囲を表すコンピュータグラフィックス画像を生成するCG画像生成手段と、
前記実写画像と前記コンピュータグラフィクス画像とを合成する画像合成手段とを有することを特徴とする画像合成装置。 - 観察者が装着する頭部装着型表示装置に設けられたカメラで撮影した実写画像に、予め用意した仮想物体の3次元コンピュータグラフィクスモデルと前記カメラの位置姿勢情報とを用いて生成した前記仮想物体の画像を合成し、合成画像を前記頭部装着型表示装置に表示する画像合成装置において、
前記観察者が存在する空間中に配置された位置姿勢センサの計測範囲を表す3次元コンピュータグラフィクスモデルを設定する設定手段と、
前記計測範囲を前記仮想物体の画像として生成する画像生成手段を有することを特徴とする画像合成装置。 - 請求項1乃至請求項5のいずれか1項に記載の画像合成方法の各工程をコンピュータに実行させるためのプログラム。
- 請求項9記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004258405A JP4434890B2 (ja) | 2004-09-06 | 2004-09-06 | 画像合成方法及び装置 |
US11/217,469 US7928977B2 (en) | 2004-09-06 | 2005-09-02 | Image compositing method and apparatus for superimposing a computer graphics image on an actually-sensed image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004258405A JP4434890B2 (ja) | 2004-09-06 | 2004-09-06 | 画像合成方法及び装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006072903A JP2006072903A (ja) | 2006-03-16 |
JP2006072903A5 JP2006072903A5 (ja) | 2007-10-18 |
JP4434890B2 true JP4434890B2 (ja) | 2010-03-17 |
Family
ID=35995730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004258405A Active JP4434890B2 (ja) | 2004-09-06 | 2004-09-06 | 画像合成方法及び装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7928977B2 (ja) |
JP (1) | JP4434890B2 (ja) |
Families Citing this family (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004265193A (ja) * | 2003-03-03 | 2004-09-24 | Canon Inc | 情報処理方法、情報処理装置、サーバ装置の制御方法、サーバ装置 |
US7912317B2 (en) * | 2005-10-29 | 2011-03-22 | Apple Inc. | Estimating and removing lens distortion from scenes |
DE102005061952B4 (de) * | 2005-12-23 | 2008-09-11 | Metaio Gmbh | Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System |
US8730156B2 (en) | 2010-03-05 | 2014-05-20 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
US9250703B2 (en) | 2006-03-06 | 2016-02-02 | Sony Computer Entertainment Inc. | Interface with gaze detection and voice input |
JP4834606B2 (ja) * | 2007-05-16 | 2011-12-14 | キヤノン株式会社 | 画像処理方法及び画像処理装置 |
US8189864B2 (en) * | 2007-08-29 | 2012-05-29 | Casio Computer Co., Ltd. | Composite image generating apparatus, composite image generating method, and storage medium |
JP2009080514A (ja) * | 2007-09-25 | 2009-04-16 | Mitsubishi Electric Corp | センサ配置設計支援システム |
JP4950834B2 (ja) * | 2007-10-19 | 2012-06-13 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US9398848B2 (en) * | 2008-07-08 | 2016-07-26 | It-University Of Copenhagen | Eye gaze tracking |
US8330771B2 (en) * | 2008-09-10 | 2012-12-11 | Kabushiki Kaisha Toshiba | Projection display device and control method thereof |
US8433128B2 (en) * | 2008-11-04 | 2013-04-30 | Omron Corporation | Method of creating three-dimensional model and object recognizing device |
JP5310130B2 (ja) * | 2009-03-11 | 2013-10-09 | オムロン株式会社 | 3次元視覚センサによる認識結果の表示方法および3次元視覚センサ |
JP5245938B2 (ja) | 2009-03-12 | 2013-07-24 | オムロン株式会社 | 3次元認識結果の表示方法および3次元視覚センサ |
JP5245937B2 (ja) * | 2009-03-12 | 2013-07-24 | オムロン株式会社 | 3次元計測処理のパラメータの導出方法および3次元視覚センサ |
JP5316118B2 (ja) * | 2009-03-12 | 2013-10-16 | オムロン株式会社 | 3次元視覚センサ |
JP2010210585A (ja) * | 2009-03-12 | 2010-09-24 | Omron Corp | 3次元視覚センサにおけるモデル表示方法および3次元視覚センサ |
JP5714232B2 (ja) * | 2009-03-12 | 2015-05-07 | オムロン株式会社 | キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法 |
JP5282614B2 (ja) * | 2009-03-13 | 2013-09-04 | オムロン株式会社 | 視覚認識処理用のモデルデータの登録方法および視覚センサ |
JP5158006B2 (ja) * | 2009-04-23 | 2013-03-06 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
JP5423406B2 (ja) * | 2010-01-08 | 2014-02-19 | ソニー株式会社 | 情報処理装置、情報処理システム及び情報処理方法 |
KR101171660B1 (ko) * | 2010-03-01 | 2012-08-09 | 이문기 | 증강현실의 포인팅 장치 |
JP2011203446A (ja) * | 2010-03-25 | 2011-10-13 | Fujifilm Corp | ヘッドマウントディスプレイ装置 |
KR101335391B1 (ko) * | 2010-04-12 | 2013-12-03 | 한국전자통신연구원 | 영상 합성 장치 및 그 방법 |
KR101330811B1 (ko) * | 2010-08-25 | 2013-11-18 | 주식회사 팬택 | 인스턴트 마커를 이용한 증강 현실 장치 및 방법 |
US9507416B2 (en) | 2011-02-22 | 2016-11-29 | Robert Howard Kimball | Providing a corrected view based on the position of a user with respect to a mobile platform |
US10120438B2 (en) | 2011-05-25 | 2018-11-06 | Sony Interactive Entertainment Inc. | Eye gaze to alter device behavior |
US8884949B1 (en) | 2011-06-06 | 2014-11-11 | Thibault Lambert | Method and system for real time rendering of objects from a low resolution depth camera |
US9243890B2 (en) * | 2011-10-25 | 2016-01-26 | Semiconductor Components Industries, Llc | Video overlay systems |
JP6121647B2 (ja) * | 2011-11-11 | 2017-04-26 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
EP2800996A4 (en) | 2012-01-06 | 2015-08-19 | Blackberry Ltd | SYSTEM AND METHOD FOR ORIENTING A CAMERA |
US9576397B2 (en) * | 2012-09-10 | 2017-02-21 | Blackberry Limited | Reducing latency in an augmented-reality display |
US8878846B1 (en) * | 2012-10-29 | 2014-11-04 | Google Inc. | Superimposing virtual views of 3D objects with live images |
JP6036209B2 (ja) * | 2012-11-19 | 2016-11-30 | セイコーエプソン株式会社 | 虚像表示装置 |
JP5813030B2 (ja) * | 2013-03-22 | 2015-11-17 | キヤノン株式会社 | 複合現実提示システム、仮想現実提示システム |
JP6138566B2 (ja) * | 2013-04-24 | 2017-05-31 | 川崎重工業株式会社 | 部品取付作業支援システムおよび部品取付方法 |
GB201310359D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-Mountable apparatus and systems |
JP2015001875A (ja) * | 2013-06-17 | 2015-01-05 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット |
CN103996215A (zh) * | 2013-11-05 | 2014-08-20 | 深圳市云立方信息科技有限公司 | 一种实现虚拟视图转立体视图的方法及装置 |
US20160343166A1 (en) * | 2013-12-24 | 2016-11-24 | Teamlab Inc. | Image-capturing system for combining subject and three-dimensional virtual space in real time |
US10134189B2 (en) * | 2014-01-23 | 2018-11-20 | Sony Corporation | Image display device and image display method |
US20150348322A1 (en) * | 2014-06-02 | 2015-12-03 | Dell Products L.P. | Dynamically Composited Information Handling System Augmented Reality at a Primary Display |
WO2016002656A1 (ja) * | 2014-06-30 | 2016-01-07 | 凸版印刷株式会社 | 視線計測システム、視線計測方法、及びプログラム |
JP2016058043A (ja) * | 2014-09-12 | 2016-04-21 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
CN105303557B (zh) | 2015-09-21 | 2018-05-22 | 深圳先进技术研究院 | 一种可透视型智能眼镜及其透视方法 |
JP6661980B2 (ja) * | 2015-11-06 | 2020-03-11 | 富士通株式会社 | 重畳表示方法、重畳表示装置、及び重畳表示プログラム |
JP6917820B2 (ja) * | 2016-08-05 | 2021-08-11 | 株式会社半導体エネルギー研究所 | データ処理システム |
JP6769859B2 (ja) * | 2016-12-19 | 2020-10-14 | 株式会社日立エルジーデータストレージ | 画像処理装置及び画像処理方法 |
US20180268614A1 (en) * | 2017-03-16 | 2018-09-20 | General Electric Company | Systems and methods for aligning pmi object on a model |
US10885711B2 (en) | 2017-05-03 | 2021-01-05 | Microsoft Technology Licensing, Llc | Virtual reality image compositing |
WO2019059044A1 (ja) * | 2017-09-20 | 2019-03-28 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
US11232502B2 (en) * | 2017-12-20 | 2022-01-25 | Signify Holding B.V. | Lighting and internet of things design using augmented reality |
WO2019130827A1 (ja) * | 2017-12-25 | 2019-07-04 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP7058585B2 (ja) * | 2017-12-25 | 2022-04-22 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
US10949994B1 (en) * | 2018-03-01 | 2021-03-16 | Thomas Byram Scheffler | Dynamic marker device for augmented and mixed reality and method of use |
US11049330B2 (en) | 2019-06-27 | 2021-06-29 | Facebook Technologies, Llc | Color reference for overlaid images |
US11508131B1 (en) * | 2019-11-08 | 2022-11-22 | Tanzle, Inc. | Generating composite stereoscopic images |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2301216A (en) * | 1995-05-25 | 1996-11-27 | Philips Electronics Uk Ltd | Display headset |
JPH1184307A (ja) | 1997-09-01 | 1999-03-26 | M R Syst Kenkyusho:Kk | 頭部装着型の光学装置 |
JP3287312B2 (ja) * | 1998-08-13 | 2002-06-04 | 日本電気株式会社 | ポインティング装置 |
JP3784721B2 (ja) * | 2002-01-10 | 2006-06-14 | 日東電工株式会社 | 半田溶滴吐出装置及び半田溶滴吐出方法 |
US7034779B2 (en) * | 2002-08-06 | 2006-04-25 | Information Decision Technologeis, Llc | Advanced ruggedized augmented reality instrumented self contained breathing apparatus |
EP1398601A3 (en) * | 2002-09-13 | 2014-05-07 | Canon Kabushiki Kaisha | Head up display for navigation purposes in a vehicle |
JP4262011B2 (ja) * | 2003-07-30 | 2009-05-13 | キヤノン株式会社 | 画像提示方法及び装置 |
JP4227561B2 (ja) | 2004-06-03 | 2009-02-18 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
-
2004
- 2004-09-06 JP JP2004258405A patent/JP4434890B2/ja active Active
-
2005
- 2005-09-02 US US11/217,469 patent/US7928977B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006072903A (ja) | 2006-03-16 |
US7928977B2 (en) | 2011-04-19 |
US20060050087A1 (en) | 2006-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4434890B2 (ja) | 画像合成方法及び装置 | |
JP4834424B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP4401727B2 (ja) | 画像表示装置及び方法 | |
KR101761751B1 (ko) | 직접적인 기하학적 모델링이 행해지는 hmd 보정 | |
JP4137078B2 (ja) | 複合現実感情報生成装置および方法 | |
CN108780586B (zh) | 图像处理方法、显示设备和检查系统 | |
JP3991020B2 (ja) | 画像表示方法及び画像表示システム | |
JP4677273B2 (ja) | 情報処理方法および情報処理装置 | |
EP1404126B1 (en) | Video combining apparatus and method | |
JP4739002B2 (ja) | 画像処理方法、画像処理装置 | |
JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
US20050253870A1 (en) | Marker placement information estimating method and information processing device | |
US7782320B2 (en) | Information processing method and information processing apparatus | |
JP2004062756A (ja) | 情報提示装置および情報処理方法 | |
JP2008275341A (ja) | 情報処理装置、情報処理方法 | |
JP2018078448A (ja) | プログラム、頭部装着型表示装置 | |
JP2018081410A (ja) | コンピュータープログラム | |
JP2005174021A (ja) | 情報提示方法及び装置 | |
JP2016122392A (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
JP4366165B2 (ja) | 画像表示装置及び方法並びに記憶媒体 | |
JP2008040913A (ja) | 情報処理方法、情報処理装置 | |
KR20200056688A (ko) | 증강 현실을 이용한 구조물 품질검사 시스템 및 방법 | |
JP2021009557A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2019040357A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
Lin | Lightweight and Sufficient Two Viewpoint Connections for Augmented Reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070903 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070903 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091218 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4434890 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140108 Year of fee payment: 4 |