JP4434890B2 - 画像合成方法及び装置 - Google Patents

画像合成方法及び装置 Download PDF

Info

Publication number
JP4434890B2
JP4434890B2 JP2004258405A JP2004258405A JP4434890B2 JP 4434890 B2 JP4434890 B2 JP 4434890B2 JP 2004258405 A JP2004258405 A JP 2004258405A JP 2004258405 A JP2004258405 A JP 2004258405A JP 4434890 B2 JP4434890 B2 JP 4434890B2
Authority
JP
Japan
Prior art keywords
image
computer graphics
measurement range
sensor
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004258405A
Other languages
English (en)
Other versions
JP2006072903A (ja
JP2006072903A5 (ja
Inventor
要 谷村
登志一 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004258405A priority Critical patent/JP4434890B2/ja
Priority to US11/217,469 priority patent/US7928977B2/en
Publication of JP2006072903A publication Critical patent/JP2006072903A/ja
Publication of JP2006072903A5 publication Critical patent/JP2006072903A5/ja
Application granted granted Critical
Publication of JP4434890B2 publication Critical patent/JP4434890B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Description

本発明は、現実世界の画像にコンピュータにより生成された画像(CG:Computer Graphics)を位置合わせして重畳する画像合成技術に関する。
実写画像を背景とし、その上にコンピュータグラフィックス(以下、CG)で生成した仮想物体の画像を位置合わせして重畳表示することにより、観察者に対して、あたかも現実空間中に仮想物体が存在するかのように体感させる複合現実感(Mixed Reality: MR)技術がある(例えば特許文献1参照)。
MR技術の応用例としては、例えば、患者の体表面の実写画像に、内蔵のCGを位置合わせして重畳表示することで、体内を透視しているように医師に提示する医療補助の用途や、工場において製品の実写画像にその組み立て手順をCGで重畳表示することで、組み立て作業を補助する用途や、現実の風景の画像に地名や名称などをCGで重畳表示する案内用途など、様々なものがある。
なお、CGを重畳する背景は必ずしも撮影された画像である必要はなく、観察者の視線上に配置された半透明表示部材(ハーフミラーなど)にCGのみを表示することによっても同様の効果が実現される。このような方式を光学シースルー方式と呼ぶ。一方、実写画像を背景に用いる方式をビデオシースルー方式と呼ぶ。
特開平11−84307号公報
複合現実感を違和感なく観察者に体感させるためには、背景となる現実空間と、そこに重畳するCGとの位置合わせ精度が重要となる。そのため、通常は観察者の視点位置及び姿勢を計測し、計測した視点位置及び姿勢と、仮想物体の3次元モデルとを用いてCGを生成することにより、違和感の少ないCGの重畳を実現している。
観察者の視点位置姿勢は6自由度を有する情報であるため、その測定に用いられるセンサ(位置姿勢センサ)として利用できるものは限られており、一般に磁気センサ、光学センサ、画像センサが用いられている。
しかしながら、磁気センサや画像センサをはじめ、位置姿勢測定用のセンサは、予め設定された計測範囲を持ち、その計測範囲の中でしか位置姿勢を計測することができない。そのため、センサの配置によって観察者の行動できる範囲が限定されてしまう。
従って、現場にセンサを設置する際、どのようにセンサを配置するかが大きな課題となる。しかし、センサが用いる磁気や光といった情報は視覚的に捉えることができないため、センサの計測範囲は目視できず、結局のところ経験による勘に頼ってセンサを配置するしかなかった。しかし、勘に頼ったセンサの配置では、計画した計測範囲を確保できない場合があり、その場合には再度センサの設置調整を行う必要があるため、非効率であった。
本発明はこのような従来技術の課題に鑑みなされたものであり、センサの計測範囲を可視化することで、位置姿勢センサを適切かつ効率よく配置可能とすることを目的とする。
上述の目的を達成するため、本発明によれば、実写画像にコンピュータグラフィクス画像を位置合わせして合成する画像合成方法において、位置姿勢センサの計測範囲を表す3次元コンピュータグラフィクスモデルを設定する設定工程と、位置姿勢センサの位置情報を取得するセンサ位置情報取得工程と、位置姿勢センサの位置情報と、3次元コンピュータグラフィクスモデルとを用い、位置姿勢センサの計測範囲を表すコンピュータグラフィックス画像を生成するCG画像生成工程と、実写画像とコンピュータグラフィクス画像とを合成する画像合成工程とを有することを特徴とする。
また、上述の目的は、所定の計測範囲を有する位置姿勢センサによって測定した位置姿勢情報を用い、実写画像にコンピュータグラフィクス画像を位置合わせして合成する画像合成方法において、所定の計測範囲を表す3次元コンピュータグラフィクスモデルを設定する設定工程と、位置姿勢センサにより、実写画像を撮像するカメラの位置姿勢情報を取得するカメラ位置姿勢情報取得工程と、カメラ位置姿勢情報と、3次元コンピュータグラフィクスモデルとを用い、所定の計測範囲を表すコンピュータグラフィックス画像を生成するCG画像生成工程と、実写画像とコンピュータグラフィクス画像とを合成する画像合成工程とを有することを特徴とする本発明による画像合成方法によっても達成される。
さらに、上述の目的は、観察者が装着する頭部装着型表示装置に設けられたカメラで撮影した実写画像に、予め用意した仮想物体の3次元コンピュータグラフィクスモデルとカメラの位置姿勢情報とを用いて生成した仮想物体の画像を合成し、合成画像を頭部装着型表示装置に表示する画像合成方法において、観察者が存在する空間中に配置された位置姿勢センサの計測範囲を表す3次元コンピュータグラフィクスモデルを設定する設定工程と、計測範囲を仮想物体の画像として生成する画像生成工程を有することを特徴とする画像合成方法によっても達成される。
さらに、上述の目的は、本発明の画像合成方法をコンピュータに実行させるプログラム及びこのプログラムを格納したコンピュータ読み取り可能な記録媒体によっても達成される。
以上の構成により、本発明によれば、センサの目に見えない計測範囲を可視化することが可能となり、センサを適切かつ効率よく配置することが可能となる。
〈第1の実施形態〉
以下、添付図面を参照して本発明をその好適な実施形態に基づき詳細に説明する。
第1の実施形態に係る画像合成装置の一例は、センサに取り付けたマーカに基づいてセンサの位置情報を取得し、その位置にセンサの計測範囲を3次元CGのモデルデータを用いて重畳表示することによりセンサの計測範囲を可視化するものである。なお、計測範囲を可視化するための3次元CGのモデルデータは、センサの仕様による計測範囲に対応したモデルデータであっても良いし、経験によって得られる計測範囲でも良い。また、モデルデータの表示方法も特に制限はなく、そのまま出力しても良いし、透明度の設定を行って表示するなどしても良い。
(画像合成装置の構成)
図1は、本実施形態における画像合成装置の構成例を示すブロック図である。また、図2は図1の画像合成装置を複合現実感アプリケーションに適用した場合の具体的な機器配置と、観察者が体感する複合現実感を模式的に示す図である。
図1において、小型のビデオカメラ101は現実空間を撮影する。ビデオカメラ101は、図2に示すように頭部搭載型画像表示装置(Head Mounted Display、以下HMDという)108の、観察者201の両目に近い部分に、それぞれ観察者の視線と一致する向きに固定されている。なお、右目用、左目用のビデオカメラ101を用いる代わりに、単眼のビデオカメラを用いたり、観察者が手で保持するタイプの表示装置(Hand Held Display、以下HHDという)にビデオカメラを取り付けても良い。
なお、以下では、説明及び理解を簡単にするため、右目用ビデオカメラと左目用ビデオカメラが撮影した一対の画像に対してそれぞれ行われる処理であっても、1つの画像に対する処理として説明することがある。しかし、一対のビデオカメラ(複眼カメラ)を用いる場合には、各ビデオカメラが撮影した画像についてそれぞれ同様の処理が行われ、一対の合成画像が生成され、例えばHMDが有する右目用表示装置、左目用表示装置に独立して表示される。
例えばビデオキャプチャボードである画像入力部102は、ビデオカメラ101より撮影された映像(画像)を入力する。図2では観察者が現実物体である机の上を見ているものとする。ビデオカメラ101で撮影された画像の信号は、画像入力部102によって処理され、ディジタル画像データとして画像合成部107及びマーカ検出部103に供給される。
マーカ検出部103は画像入力部102から供給される画像から、図2に示す2次元マーカ205を検出する。2次元マーカは、現実空間上の絶対位置が既知の、画像から抽出可能な特徴(色、形、パターンなど)を有する指標である。従って、マーカ検出部103は、2次元マーカ205の有する特徴に合致する領域を画像中から探索することにより2次元マーカ205を検出する。
視点位置姿勢算出部104は、マーカ検出部103が検出したマーカ情報(画像中の位置やマーカ205の向き、面積など)と、マーカ205の特徴点のマーカ座標系における位置及びビデオカメラ101のカメラパラメータなどを用いて、観察者の頭部202に装着されたHMD108の3次元位置、姿勢を算出する。視点位置姿勢算出部104の処理の詳細については後述する。
画像生成部105は、例えばハードディスクドライブである仮想空間データベース106に登録されている3次元CGモデルデータを視点位置姿勢算出部104で算出したHMD108の位置姿勢データを元に、観察者の視点から観察されるべきCG画像の生成を行う。生成したCG画像は画像合成部107へ供給する。画像生成部105におけるCG画像の生成においては、仮想空間データベース106に含まれるCGモデルの幾何情報、色やテクスチャなどの属性情報、および照明情報が用いられる。なお、3次元CG画像の生成は既知の技術であるのでその詳細についての説明は省略する。
画像合成部107は、画像入力部102からの実写画像と、画像生成部105からのCG画像(仮想物体206の画像)とを合成し、HMD108に出力する。HMD108に表示された合成画像を観察者が見ると、机204の上に仮想物体206があるかのように見える。
なお、このような画像合成装置のうち、ビデオカメラ101を除く機能ブロックについては、ビデオキャプチャボードを装着した汎用コンピュータ装置によって実現することが可能である。従って、以下に説明する画像合成装置内の処理は、少なくともその一部をCPUが制御プログラムを実行することによってソフトウェア的に実現することが可能である。
(センサ計測範囲の可視化)
本実施形態においては、上で説明した画像合成装置を用いて、位置姿勢センサの計測範囲を可視化することを特徴とする。
図3は本実施形態における位置姿勢センサの計測範囲可視化を模式的に示す図である。
観察者201は例えばHMD108に取り付けられたビデオカメラ101により、一対のセンサ301に取り付けた2次元マーカ205を撮像する。そして、予め用意したセンサ301の計測範囲の3次元モデルデータを仮想空間データベース106より読み出し、センサ301の計測範囲を表すCG画像を視点位置姿勢算出部104が算出する観察者の視点位置姿勢に基づいて生成する。このCG画像をカメラ101で撮影した実写画像と合成してHMD108に表示することで、観察者にセンサ301の計測範囲を提示する。
なお、上述したように、センサの計測範囲を表す3次元モデルデータには、センサの仕様上の計測範囲を用いても良いし、経験による計測範囲を用いてもよい。また、ワイヤーフレーム表示、面のある立体として表示、不透明物体として表示、透明度を有する物体として表示など、任意の表示方法を採用することができる。また、センサが複数存在する場合には、個々のセンサの計測範囲が識別できるよう、色などの視覚的に識別可能な属性を異ならせて表示することも可能である。また、2つのセンサの各々のみが計測可能な範囲を赤と青で、重複する計測範囲は紫で表示するようにするなど、計測範囲の重なりを把握しやすくなるように表示することも可能である。
また、本実施形態において、2次元マーカ205は、白色カード上に書かれた黒色正方形であり、黒色正方形によるパターンをマーカ毎に異ならせることで、マーカの識別を容易にしている。マーカの詳細についても後述する。
(センサの計測範囲の3次元モデルの作成方法)
本実施形態において用いることができる、センサの計測範囲の3次元モデルの作成方法としては、様々な方法が考えられる。
まず、センサの仕様に基づき計測範囲の3次元モデルを作成する方法を説明する。
位置姿勢センサが光学センサの場合は、図9に示されるような対象機種の仕様に基づき、計測範囲の寸法をコンピュータグラフィックのモデリングソフト上で入力することで、センサの計測範囲の3次元モデルを作成することができる。
また、磁気センサの場合は、対象機種の仕様に記載されている計測範囲の距離を半径とする半球をコンピュータグラフィックのモデリングソフトで作成することにより、センサの計測範囲の3次元モデルを作成することができる。
次に、経験に基づき位置姿勢センサの計測範囲の3次元モデルを作成する方法を説明する。
センサの計測範囲外に出たときにセンサから「センサの計測範囲外」という旨のデータが送られてくる場合は、その直前の座標(X,Y,Z)データを複数取得、格納し、格納した座標点を頂点としたポリゴンを生成することで、計測範囲をモデリングすることができる。格納した頂点からポリゴンを生成する方法としては、Marching Cubes法「Lorensen,W.E and Cline H.E, Marching Cubes: A High Resolution 3D Surface Construction Algorithm,ACM computer Graphics,21(3),1987.」などが知られている。
「センサの計測範囲外」という旨のデータが送られてこない場合は、オペレータが予め体験し、その体験結果から計測範囲を示す3次元データを作成する。例えば、磁気センサでは、計測結果から半球の半径を設定し、半球の3次元モデルを作成する。
(視点位置姿勢算出部104)
ここで、本実施形態に係る画像合成装置において重要な機能を果たす視点位置姿勢算出部104の動作について詳細に説明する。視点位置姿勢算出部104の基本的な動作は座標変換である。
図4は本実施形態の画像合成装置が取り扱う座標系を示している。
本実施形態において、仮想物体206はマーカ座標系401の上で表現される。
撮影画像中のマーカ位置およびマーカ座標系におけるマーカ位置の関係に基づき、マーカ座標系からカメラ座標系への変換行列Tcmを動的に求める。そして、予め求められている、カメラ座標系からHMDスクリーン座標系への変換行列Tscと、変換行列Tcmとに基づき、マーカ座標系で定義されているセンサの計測範囲の3次元モデルを変換することにより、仮想物体206をHMDスクリーン上に表示する。
以下に、変換行列の算出方法を具体的に説明する。
図3の実施形態では、配置する2台のセンサの夫々に対してマーカを取り付け、各センサの計測範囲の3次元モデルを独立に管理している。したがって、本実施形態では、以下に示す変換行列の算出を、各マーカに対して行う。
カメラ座標系402は焦点位置を原点、画像平面に垂直な方向をZ軸、画像のx,y軸に平行な方向を各X,Y軸とする。
マーカ座標系401で表現された任意の点(X,Y,Z)は、回転移動と平行移動の組合せでカメラ座標系402上の点に変換可能であり、カメラ座標系402では(X,Y,Z)と表記する。
透視変換モデルによって投影される画像平面を理想スクリーン座標系403と呼ぶ。カメラ座標系402における点(X,Y,Z)は理想スクリーン座標系403において(x,y)に写るものとする。
また、複合現実感システムにおいては広範囲における位置計測が要求され、そのためにビデオカメラ101には広角レンズが用いられる。そのため、撮影した画像には樽型歪みが発生する。
そこで、理想スクリーン座標系403から画像歪み変換関数404によって変換された座標系を観測スクリーン座標系405とし、実際にビデオカメラ101から取り込まれた画像データを観測スクリーン座標系405で表現し、その座標値を(x,y)で表す。
HMD108と観察者の目は理想的な透視変換モデルで表現できる。HMD108の画像表示面をHMDスクリーン座標系406と呼び、その上の座標値を(x,y)で表す。このHMDスクリーン座標系406に対し同一方向にX,Y軸を持ち、垂直な方向にZ軸を有する、目の焦点位置を原点とする座標系を視点座標系407と呼び、その座標値は(X,Y,Z)で表す。
この視点座標系407の設定においては、視線方向をZ軸にした方が考えやすいが、HMDスクリーン座標系406との間に透視変換モデルを成立させるためには、そのスクリーンとの相対的な関係によって規定されるような座標系設定が重要となる。また、視点座標系407及びHMDスクリーン座標系406は左右各々の目に対して設定する必要があるが、ここでは説明の簡素化のために両眼に共通した座標系として説明する。
次に、視点位置姿勢算出部104における処理の概要を、図5に示すフローチャートを用いて説明する。
S501の前処理では、入力された実写画像に対して、固定閾値による2値化、連結領域ごとの面積・外接長方形計算を行う。本実施形態においては、これらの処理を1パスで行うアルゴリズムを用いることで高速化を図っている。
S502のマーカ抽出では、S501で検出された連結領域から、面積値によって巨大領域と微少領域を除外し、さらに連結領域に外接する長方形情報から、画像境界に接する連結領域も除外する。
残された連結領域に対して輪郭線追跡を行い、輪郭線上の画素位置をすべて記憶する。
輪郭線データに対して折れ線近似を行い、4本の線分によって十分な精度で近似できた連結領域をマーカ候補とする。そして、マーカ候補領域の4つの折れ点(頂点)の座標値を記憶しておく。
図6は、本実施形態に適用可能な次元マーカの例を示す。
2次元マーカは、黒い枠の中に識別用のパターン501が設けられた正方形マーカである。なお、本実施形態ではテンプレートマッチングによりマーカ識別を行っているため、中央部の識別用パターンはマーカの方向性(上下左右)が認識できる任意のシンボルを用いることができる。
そして、S503のマーカ識別では、実写画像と予め登録したパターンとのテンプレートマッチングによりマーカを検出及び識別する。
このテンプレートマッチングを行うためには、画像の正規化を行う必要がある。
まず、透視変換モデルによって、マーカをマーカ座標系401から理想スクリーン座標系403に投影する。
式1は、マーカ座標系401のX−Y平面内の点(X,Y,0)を、透視変換モデル行列Cによって理想スクリーン座標系403上の点(x,y)に変換する変換式である。
Figure 0004434890
マーカの物理的な大きさ(図6における一辺の長さL(mm))は既知なので、その情報と画像から検出したマーカ候補領域の4頂点の座標値とを用いて、連立方程式を解くと透視変換モデル行列Cの値を求めることができる。従って、マーカ内部のパターンはこの式によって正規化できる。
具体的には、マーカ内部のパターン領域を縦横64x64の領域に分割し、各領域に対応する画素値を入力画像から抜き出し、64x64画素のパターン画像を得る。これを16x16画素の画像に縮小し、テンプレートマッチングに使用する。
また、テンプレートマッチングに用いるテンプレートは、マーカの回転に対処するために、0度、90度、180度、270度に回転した状態のものを各1枚、合計4枚作成しておく。
式2は、4枚のテンプレート画像と入力画像間の類似度を計算する式である。
Figure 0004434890
式2において、xは16x16の縮小画像(画像ベクトル)のi番目の要素を示す。x〜は要素の平均値で、Nは次元数(この場合は255となる)。x(l)はl番目(l=1、2、3、4)のテンプレート画像(画像ベクトル)を意味し、x (l)はl番目のテンプレート画像のi番目の画素を意味する。そして、式2は明るさの正規化された2つの画像ベクトルの余弦を求める式に相当する。
そして、縮小画像との類似度sが最大値となるテンプレートの種類と向きを、マーカの種類及び方向と見なす。
続いて、S504の頂点の位置検出では、マーカの各辺に対応する輪郭線データに最小2乗法で直線当てはめを行い、それら直線の交点を頂点座標値とする。
Figure 0004434890
この直線当てはめの際、式3の歪み関数による変換を行い、理想スクリーン座標系403における頂点座標値を求める。
ここで、(x,y)は理想スクリーン座標系403における座標値、(x,y)は観測スクリーン座標系405における座標値である。
また、pは歪み率、(xc0,yc0)は歪み中心座標値で、この3パラメータはカメラキャリブレーションによって予め算出しておく。
観測された正方形マーカ画像には広角レンズの影響で樽型歪みが生じているため、マーカの辺は曲線として観測されるが、観測スクリーン座標系405から理想スクリーン座標系403への変換式3により樽型歪みが補正され、辺は直線として取り扱うことができる。
最後に、S505の後処理では、マーカの誤検出の抑制を行う。具体的には、処理中に過去のマーカの検出位置とその大きさを記憶しておき、検出されたマーカの位置・大きさが記憶されている値に類似している場合には、同一マーカと見なす。類似度が所定値よりも低い場合には異なるマーカもしくは誤検出と判断する。これにより、マーカのパターン識別誤りを抑制することが可能である。
次に、マーカの3次元位置推定処理に関して説明する。
まず、マーカ座標系401からカメラ座標系402への変換行列Tcm の推定を行う。
この変換行列は、回転移動成分Rと平行移動成分Tからなる。理想スクリーン座標系403とカメラ座標系402の間は透視変換モデルで変換でき、その具体的な変換行列Pは事前にキャリブレーションにより算出することができる。この透視変換モデルの算出は一般的に利用されている技術であるため、ここでは、その具体的な算出方法の説明は省略する。
以下の式4、5はこれらの座標系の関係を示したものである。
Figure 0004434890
Figure 0004434890
式1は、マーカ座標系401のX−Y平面内座標値(2次元座標値)と理想スクリーン座標系403の関係式であったが、式4及び5は、マーカ座標系401の3次元座標値とカメラ座標系402の関係式である。
マーカ座標系401におけるマーカの4頂点の座標値は図6に示すように設定されており、これらに対応する理想スクリーン座標系403における座標値もこれまでの処理で得られている。
図7は式4及び式5より変換行列Tcmを算出する際の手順を示したフローチャートである。
S701では、回転移動成分Rの推定を行う。
理想スクリーン座標系403におけるマーカの頂点位置から向かい合う2辺の直線の方程式が得られる(式6)。
そして、式5の(x,y)をこれに代入すると、式7が得られる。
Figure 0004434890
式7は、カメラ座標系402によって表現される3次元空間中の平面の方程式であり、3次元空間中のマーカの辺がこの平面内に存在することを意味する。マーカの向かい合う2辺は平行なのでその方向ベクトルは一致し、式7の2平面の面内方向となる。つまり、式7の2平面の各法線ベクトルの外積として計算されるベクトルが、平行2辺のカメラ座標系403における方向ベクトルとなる。
この計算を2組の平行2辺に対して行うことで、マーカの隣り合う2辺の方向ベクトルU,Uを求めることができる。本実施形態で用いるマーカは正方形であるので、理想的には、この2つのベクトルは直交するが、計測誤差により実際には直交しない。そこで、計測された2つの方向ベクトルに対し、それらを含む平面内で直交する2つの単位ベクトルV,Vを計算し、これをU,Uの代わりに用いる。
またこのV,Vの外積を計算することでマーカ平面に垂直な方向の単位ベクトルVも得られる。このとき、[V ,V ,V ]が、マーカ座標系401からカメラ座標系402への回転変換成分Rとなる。
ただし、前述のテンプレートマッチングの結果から、2つの方向ベクトルとマーカ座標系401のX軸Y軸の対応関係および正逆方向を判定しておく必要がある。マーカ座標系401のZ軸はマーカ平面下向きに設定しているので、カメラ座標系402の原点から理想スクリーン座標系403でのマーカ対角線交点を向く方向ベクトルとの内積が正になる方向に設定する。
S702では、平行移動成分Tの推定を行う。
式4及び式5を結合し、マーカ4頂点のマーカ座標系401での座標値、理想スクリーン座標系403での座標値を代入すると、T,T,Tに関する1次方程式が8個得られる。行列P,Rが既知なので、これらの式からT,T,Tを計算できる。
最後にS703では、変換行列Tcmの修正を行う。
S702までの計算でTcmが一応求まるが、回転行列Rの計算においてしばしば大きな誤差を伴う。そこで、再度、画像情報を利用し回転行列Rの修正を行う。式4において回転行列は9個のパラメータR11〜R33で表現されているが、これを3つの回転角(a:Z軸の傾斜方向、b:Z軸の傾斜角度、c:X−Y平面のZ軸周りの回転角)で表現する。
これはZYZオイラー角表現を修正したものである。通常のオイラー角表現ではベクトルの微少変動が回転角に大きな変化を及ぼす場合があるが、この表現ではそのような影響が小さい。
式8は回転行列を回転角で表した式である。
Figure 0004434890
この式より(式9)が導出でき、回転行列Rから各回転角a〜cを求めることができる。
Figure 0004434890
そこで、これまでに求めたTcmを用いて、マーカ4頂点の座標値を式4,式5に代入することで、その理想スクリーン座標系403における座標値を計算できる。この計算値と実際に画像処理によって求められた値の誤差の2乗和が少なくなるようにa,b,cの値を修正する。具体的には、山登り法を用いて10回の繰り返し処理により新たな回転行列Rを求める。さらにS702の処理を再度適用し平行移動成分Tも更新する。
カメラ座標系403からHMDスクリーン座標系406への変換行列Tscを公知のキャリブレーション方法などによって予め算出しておく。算出した変換行列は、カメラ座標系403からHMDスクリーン座標系406への射影行列として使用する。
このようにして、視点位置姿勢算出部104は、逐次観測によって得られるマーカ座標系401からカメラ座標系402への変換行列Tcmと、変換行列Tscを用いて、マーカ座標系401で表現された3次元CGモデルデータをHMDスクリーン座標406に投影する変換行列を求め、視点位置姿勢情報として画像生成部105に出力する。
画像合成部105はこの変換行列を用いてCG画像を生成することで、HMDスクリーン座標系406に正しく投影されたCG画像生成することができ、実写画像とCG画像とが正しく位置合わせされた合成画像が生成できる。その結果、観察者はマーカ座標系を基準に表現された仮想物体を実世界のマーカ位置に存在する物体であるかのように見ることができる。
上述した仮想物体の3次元CGモデルデータとして、センサ301の計測範囲を表す3次元CGモデルデータを予め用意しておき、2次元マーカを貼り付けたセンサ301をビデオカメラ101で逐次観測し、上述の処理によって現実空間と位置合わせして表示することにより、観察者は計測範囲を確認しながら作業することができる。
なお、センサの計測範囲を表すCG画像は、常時生成、表示することも可能であるが、本来の複合現実感アプリケーションの体感の邪魔になる場合も考えられる。従って、例えば観察者が操作するスイッチのオン、オフに応じて動的に表示あり、無しを切り替え可能に構成することや、表示透明度を変更可能にして、必要な場合には透明度を下げ、不要な場合には透明度を上げて表示するように構成することも可能である。
また、本実施形態では、計測範囲を可視化したいセンサに直接2次元マーカを貼り付け、計測範囲の可視化を行ったが、例えばセンサのレイアウトを検討する場合などは、本物のセンサを用いる必要は無い。むしろ、センサが大型又は重い場合などは、配置の検討時には移動の容易な別のもの、例えばラケットや杖の先といった場所に2次元マーカを貼り付けておき、計測範囲を可視化しながらセンサの配置を検討し、決定後に実際のマーカを設置する方が作業効率が向上する。
また、本実施形態では、各センサに1つの2次元マーカを使用したが、マーカ間の位置関係が予め定義されている場合は、1つのセンサに対して複数の点マーカを使用することができる。また、同様に複数の2次元マーカを使用することもできる。
以上説明したように、本実施形態によれば、複合現実感技術を用い、センサの計測範囲を仮想物体として可視化することにより、センサの設置位置をすみやかに、かつ適切に、勘に頼ることなく決定することができる。
また、複合現実感アプリケーションの実行中に、観察者がセンサの計測範囲を把握することを可能とし、正しい範囲内で移動することを可能とする。
〈第2の実施形態〉
第2の実施形態に係る画像合成装置は、位置姿勢センサの設置後、実際に設置した位置姿勢センサの計測値から観察者の頭部の世界座標系における位置姿勢情報を取得し、予め用意した世界座標系で定義されている、センサの計測範囲を表す3次元CGモデルデータを観察者の視線近傍に配置したカメラから得られる実写画像に重畳表示することによって位置姿勢センサの計測範囲を可視化するものである。
本実施形態では、ユーザの世界座標系における位置姿勢をセンサの出力値にから求めることができる。よって、センサの計測範囲を表す3次元CGモデルデータを、世界座標系で管理している。 なお、本実施形態においても、第1の実施形態と同様、計測範囲を可視化するための3次元CGのモデルデータは、仕様による計測範囲であっても良いし、経験によって得られる計測範囲でも良い。また、モデルデータの表示方法も任意である。
第2の実施形態に係る画像合成装置の構成例を図10に示す。なお、図10において図1と同一の構成には同一の番号を付与し、説明を省略する。
1001は、ユーザの視点位置姿勢を検出する位置姿勢センサである。1002は位置姿勢センサ1001の出力に基づき世界座標系をHMDスクリーン座標系406へ変換する変換行列を算出する視点位置姿勢算出部である。画像生成部105は、視点位置姿勢算出部102で算出された変換行列を用いて、仮想空間データベース1003に格納されている世界座標系で定義されている3次元モデルに基づく仮想物体画像を生成する。
ただし、複合現実感技術の分野では周知であるように、位置姿勢センサの出力値をマーカから得られる情報によって補正することも可能である。
図8は本実施形態の画像合成装置によって実現されるセンサ計測範囲の表示を模式的に表す図である。
位置姿勢センサ1001で観察者201の視点位置姿勢を検出する。そして、予め用意したセンサ1001の計測範囲を表す3次元CGモデルデータ(本実施形態では世界座標系で記述)と観察者201に提示するためのCGオブジェクト801の3次元CGモデルデータとを仮想空間データベース1003より読み出し、位置姿勢センサ1001が測定した観察者の視点位置姿勢と、視点位置姿勢算出部1002からの変換行列とから、HMD108のスクリーン座標系406へ投影された3次元CG画像を生成する。画像合成部107は画像入力部102からの実写画像に画像生成部105からのCG画像を合成し、HMD108に表示させる。このようにして、観察者にセンサ1001の計測範囲を視認させることができる。
ここで、単純にセンサの計測範囲を半透明3次元CG画像により観察者201に提示すると、観察者201は計測範囲内において、計測範囲を表すCG画像の中に閉じ込められているような感覚を受けることとなる。さらに、複合現実感アプリケーションにおいて本来視認させるべき目的のCGオブジェクトにセンサの計測範囲を表すCG画像が重なって描画され、描画品質を劣化させたり、CGオブジェクトの視認を妨げる原因になってしまうことがある。
本実施形態においては、実空間においてセンサがどこまで計測可能であるのかを観察者201が把握可能であればよい。したがって、計測範囲を表すCG画像を常時描画する必要は必ずしもない。例えば、観察者201が計測範囲の境界線に近付いたときに、計測範囲を示す3次元オブジェクトの半透明度を調整して表示することにより、観察者201に計測範囲の限界に近づいていることを知らせるようにしてもよい。
このような表示方法を適用することで、観察者201の位置姿勢が正常に取得できている位置(すなわち、センサの計測範囲の十分内側に観察者が存在する状態)では、計測範囲を表すCG画像を表示せず、計測範囲の境界に近付くにしたがって、観察者201に明示的に計測範囲の境界を示す方法を実現することができる。
以上説明したように、本実施形態によっても、センサの計測範囲を仮想物体として可視化することにより、センサの設置位置をすみやかに、かつ適切に、勘に頼ることなく決定することができる。
また、複合現実感アプリケーションの実行中に、観察者がセンサの計測範囲を把握することを可能とし、正しい範囲内で移動することを可能とする。
(他の実施形態)
上述の実施形態においては、いずれも観察者にセンサの計測範囲を提示するものであった。しかしながら、画像合成装置のオペレータに対して可視化したセンサの計測範囲を提示することも可能である。オペレータが観察者の作業をモニタリングする場合、オペレータ用の操作画面にセンサの計測範囲を可視化することによって、オペレータは観察者とセンサ計測範囲との位置関係を把握することができるため、観察者を適切内位置に誘導することが可能となる。
また、図8に示すようなCGオブジェクトを動的に観察者に提示させる場合、観察者にとって最も見易い位置に配置させることが可能となる。
このように、オペレータに対してセンサ計測範囲を提示する場合には、図8に示すように、第3者視点位置姿勢を用いて画像生成部105で観察者(3次元CGモデルを登録しておく)及びセンサの計測範囲をCG画像として生成し、図示しないオペレータ用表示装置に提示することができる。あるいは、俯瞰図のように上方から複合現実空間を模式的に表すような画像であっても良い。
なお、現実空間上に配置される位置姿勢センサの計測範囲を仮想物体としてコンピュータグラフィクスにより描画し、現実空間を撮像した実写画像に位置合わせして合成することにより位置姿勢センサの計測範囲を可視化することができれば、上述した実施形態以外の任意の構成の画像合成装置に本発明を適用することができる。
また、上述した画像合成装置と同等の機能を複数の機器から構成されるシステムによって実現しても良い。
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、MO、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−R、DVD−RW等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。
有線/無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムデータファイル)を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
本発明の第1の実施形態に係る画像合成装置の構成例を示すブロック図である。 図1の画像合成装置を複合現実感アプリケーションに適用した場合の具体的な機器配置と、観察者が体感する複合現実感を模式的に示す図である。 本実施形態における位置姿勢センサの計測範囲可視化を模式的に示す図である。 本実施形態の画像合成装置が取り扱う座標系を示す図である。 本実施形態の画像合成装置における視点位置姿勢算出処理の概要を説明するフローチャート。 本実施形態で用いることのできる2次元マーカの例を示す図である。 変換行列Tを算出する手順を説明するフローチャートである。 第2の実施形態の画像合成装置によって実現されるセンサ計測範囲の表示を模式的に表す図である。 センサ計測範囲の仕様例を模式的に表す図である。 本発明の第2の実施形態に係る画像合成装置の構成例を示すブロック図である。

Claims (10)

  1. 実写画像にコンピュータグラフィクス画像を位置合わせして合成する画像合成方法において、
    位置姿勢センサの計測範囲を表す3次元コンピュータグラフィクスモデルを設定する設定工程と、
    前記位置姿勢センサの位置情報を取得するセンサ位置情報取得工程と、
    前記位置姿勢センサの位置情報と、前記3次元コンピュータグラフィクスモデルとを用い、前記位置姿勢センサの計測範囲を表すコンピュータグラフィックス画像を生成するCG画像生成工程と、
    前記実写画像と前記コンピュータグラフィクス画像とを合成する画像合成工程とを有することを特徴とする画像合成方法。
  2. 前記センサ位置情報取得工程が、前記実写画像に含まれる、前記位置姿勢センサに取り付けられたマーカの画像と、予め記憶された前記マーカの位置情報とを用いて前記センサの位置情報を取得することを特徴とする請求項1記載の画像合成方法。
  3. 前記センサ位置情報取得工程は、
    前記実写画像からマーカを検出し、
    前記検出されたマーカに基づき、前記マーカが定義されているマーカ座標系と前記実写画像が定義されるカメラ座標系との位置関係に応じた変換条件を作成し、
    前記CG画像生成工程は、
    前記変換条件に基づき、前記3次元コンピュータグラフィックスモデルから前記コンピュータグラフィックス画像を生成することを特徴とする請求項1記載の画像合成方法。
  4. 所定の計測範囲を有する位置姿勢センサによって測定した位置姿勢情報を用い、実写画像にコンピュータグラフィクス画像を位置合わせして合成する画像合成方法において、
    前記所定の計測範囲を表す3次元コンピュータグラフィクスモデルを設定する設定工程と、
    前記位置姿勢センサにより、前記実写画像を撮像するカメラの位置姿勢情報を取得するカメラ位置姿勢情報取得工程と、
    前記カメラ位置姿勢情報と、前記3次元コンピュータグラフィクスモデルとを用い、前記所定の計測範囲を表すコンピュータグラフィックス画像を生成するCG画像生成工程と、
    前記実写画像と前記コンピュータグラフィクス画像とを合成する画像合成工程とを有することを特徴とする画像合成方法。
  5. 観察者が装着する頭部装着型表示装置に設けられたカメラで撮影した実写画像に、予め用意した仮想物体の3次元コンピュータグラフィクスモデルと前記カメラの位置姿勢情報とを用いて生成した前記仮想物体の画像を合成し、合成画像を前記頭部装着型表示装置に表示する画像合成方法において、
    前記観察者が存在する空間中に配置された位置姿勢センサの計測範囲を表す3次元コンピュータグラフィクスモデルを設定する設定工程と、
    前記計測範囲を前記仮想物体の画像として生成する画像生成工程を有することを特徴とする画像合成方法。
  6. 実写画像にコンピュータグラフィクス画像を位置合わせして合成する画像合成装置において、
    位置姿勢センサの計測範囲を表す3次元コンピュータグラフィクスモデルを設定する手段と、
    前記位置姿勢センサの位置情報を取得するセンサ位置情報取得手段と、
    前記位置姿勢センサの位置情報と、前記3次元コンピュータグラフィクスモデルとを用い、前記位置姿勢センサの計測範囲を表すコンピュータグラフィックス画像を生成するCG画像生成手段と、
    前記実写画像と前記コンピュータグラフィクス画像とを合成する画像合成手段とを有することを特徴とする画像合成装置。
  7. 所定の計測範囲を有する位置姿勢センサによって測定した位置姿勢情報を用い、実写画像にコンピュータグラフィクス画像を位置合わせして合成する画像合成装置において、
    前記所定の計測範囲を表す3次元コンピュータグラフィクスモデルを設定する手段と、
    前記位置姿勢センサにより、前記実写画像を撮像するカメラの位置姿勢情報を取得するカメラ位置姿勢情報取得手段と、
    前記カメラ位置姿勢情報と、前記3次元コンピュータグラフィクスモデルとを用い、前記所定の計測範囲を表すコンピュータグラフィックス画像を生成するCG画像生成手段と、
    前記実写画像と前記コンピュータグラフィクス画像とを合成する画像合成手段とを有することを特徴とする画像合成装置。
  8. 観察者が装着する頭部装着型表示装置に設けられたカメラで撮影した実写画像に、予め用意した仮想物体の3次元コンピュータグラフィクスモデルと前記カメラの位置姿勢情報とを用いて生成した前記仮想物体の画像を合成し、合成画像を前記頭部装着型表示装置に表示する画像合成装置において、
    前記観察者が存在する空間中に配置された位置姿勢センサの計測範囲を表す3次元コンピュータグラフィクスモデルを設定する設定手段と、
    前記計測範囲を前記仮想物体の画像として生成する画像生成手段を有することを特徴とする画像合成装置。
  9. 請求項1乃至請求項5のいずれか1項に記載の画像合成方法の各工程をコンピュータに実行させるためのプログラム。
  10. 請求項9記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2004258405A 2004-09-06 2004-09-06 画像合成方法及び装置 Active JP4434890B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004258405A JP4434890B2 (ja) 2004-09-06 2004-09-06 画像合成方法及び装置
US11/217,469 US7928977B2 (en) 2004-09-06 2005-09-02 Image compositing method and apparatus for superimposing a computer graphics image on an actually-sensed image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004258405A JP4434890B2 (ja) 2004-09-06 2004-09-06 画像合成方法及び装置

Publications (3)

Publication Number Publication Date
JP2006072903A JP2006072903A (ja) 2006-03-16
JP2006072903A5 JP2006072903A5 (ja) 2007-10-18
JP4434890B2 true JP4434890B2 (ja) 2010-03-17

Family

ID=35995730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004258405A Active JP4434890B2 (ja) 2004-09-06 2004-09-06 画像合成方法及び装置

Country Status (2)

Country Link
US (1) US7928977B2 (ja)
JP (1) JP4434890B2 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265193A (ja) * 2003-03-03 2004-09-24 Canon Inc 情報処理方法、情報処理装置、サーバ装置の制御方法、サーバ装置
US7912317B2 (en) * 2005-10-29 2011-03-22 Apple Inc. Estimating and removing lens distortion from scenes
DE102005061952B4 (de) * 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
JP4834606B2 (ja) * 2007-05-16 2011-12-14 キヤノン株式会社 画像処理方法及び画像処理装置
US8189864B2 (en) * 2007-08-29 2012-05-29 Casio Computer Co., Ltd. Composite image generating apparatus, composite image generating method, and storage medium
JP2009080514A (ja) * 2007-09-25 2009-04-16 Mitsubishi Electric Corp センサ配置設計支援システム
JP4950834B2 (ja) * 2007-10-19 2012-06-13 キヤノン株式会社 画像処理装置、画像処理方法
US9398848B2 (en) * 2008-07-08 2016-07-26 It-University Of Copenhagen Eye gaze tracking
US8330771B2 (en) * 2008-09-10 2012-12-11 Kabushiki Kaisha Toshiba Projection display device and control method thereof
US8433128B2 (en) * 2008-11-04 2013-04-30 Omron Corporation Method of creating three-dimensional model and object recognizing device
JP5310130B2 (ja) * 2009-03-11 2013-10-09 オムロン株式会社 3次元視覚センサによる認識結果の表示方法および3次元視覚センサ
JP5245938B2 (ja) 2009-03-12 2013-07-24 オムロン株式会社 3次元認識結果の表示方法および3次元視覚センサ
JP5245937B2 (ja) * 2009-03-12 2013-07-24 オムロン株式会社 3次元計測処理のパラメータの導出方法および3次元視覚センサ
JP5316118B2 (ja) * 2009-03-12 2013-10-16 オムロン株式会社 3次元視覚センサ
JP2010210585A (ja) * 2009-03-12 2010-09-24 Omron Corp 3次元視覚センサにおけるモデル表示方法および3次元視覚センサ
JP5714232B2 (ja) * 2009-03-12 2015-05-07 オムロン株式会社 キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法
JP5282614B2 (ja) * 2009-03-13 2013-09-04 オムロン株式会社 視覚認識処理用のモデルデータの登録方法および視覚センサ
JP5158006B2 (ja) * 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP5423406B2 (ja) * 2010-01-08 2014-02-19 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
KR101171660B1 (ko) * 2010-03-01 2012-08-09 이문기 증강현실의 포인팅 장치
JP2011203446A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
KR101335391B1 (ko) * 2010-04-12 2013-12-03 한국전자통신연구원 영상 합성 장치 및 그 방법
KR101330811B1 (ko) * 2010-08-25 2013-11-18 주식회사 팬택 인스턴트 마커를 이용한 증강 현실 장치 및 방법
US9507416B2 (en) 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
US10120438B2 (en) 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US8884949B1 (en) 2011-06-06 2014-11-11 Thibault Lambert Method and system for real time rendering of objects from a low resolution depth camera
US9243890B2 (en) * 2011-10-25 2016-01-26 Semiconductor Components Industries, Llc Video overlay systems
JP6121647B2 (ja) * 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP2800996A4 (en) 2012-01-06 2015-08-19 Blackberry Ltd SYSTEM AND METHOD FOR ORIENTING A CAMERA
US9576397B2 (en) * 2012-09-10 2017-02-21 Blackberry Limited Reducing latency in an augmented-reality display
US8878846B1 (en) * 2012-10-29 2014-11-04 Google Inc. Superimposing virtual views of 3D objects with live images
JP6036209B2 (ja) * 2012-11-19 2016-11-30 セイコーエプソン株式会社 虚像表示装置
JP5813030B2 (ja) * 2013-03-22 2015-11-17 キヤノン株式会社 複合現実提示システム、仮想現実提示システム
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
GB201310359D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems
JP2015001875A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
US20160343166A1 (en) * 2013-12-24 2016-11-24 Teamlab Inc. Image-capturing system for combining subject and three-dimensional virtual space in real time
US10134189B2 (en) * 2014-01-23 2018-11-20 Sony Corporation Image display device and image display method
US20150348322A1 (en) * 2014-06-02 2015-12-03 Dell Products L.P. Dynamically Composited Information Handling System Augmented Reality at a Primary Display
WO2016002656A1 (ja) * 2014-06-30 2016-01-07 凸版印刷株式会社 視線計測システム、視線計測方法、及びプログラム
JP2016058043A (ja) * 2014-09-12 2016-04-21 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
CN105303557B (zh) 2015-09-21 2018-05-22 深圳先进技术研究院 一种可透视型智能眼镜及其透视方法
JP6661980B2 (ja) * 2015-11-06 2020-03-11 富士通株式会社 重畳表示方法、重畳表示装置、及び重畳表示プログラム
JP6917820B2 (ja) * 2016-08-05 2021-08-11 株式会社半導体エネルギー研究所 データ処理システム
JP6769859B2 (ja) * 2016-12-19 2020-10-14 株式会社日立エルジーデータストレージ 画像処理装置及び画像処理方法
US20180268614A1 (en) * 2017-03-16 2018-09-20 General Electric Company Systems and methods for aligning pmi object on a model
US10885711B2 (en) 2017-05-03 2021-01-05 Microsoft Technology Licensing, Llc Virtual reality image compositing
WO2019059044A1 (ja) * 2017-09-20 2019-03-28 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US11232502B2 (en) * 2017-12-20 2022-01-25 Signify Holding B.V. Lighting and internet of things design using augmented reality
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
US10949994B1 (en) * 2018-03-01 2021-03-16 Thomas Byram Scheffler Dynamic marker device for augmented and mixed reality and method of use
US11049330B2 (en) 2019-06-27 2021-06-29 Facebook Technologies, Llc Color reference for overlaid images
US11508131B1 (en) * 2019-11-08 2022-11-22 Tanzle, Inc. Generating composite stereoscopic images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2301216A (en) * 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
JPH1184307A (ja) 1997-09-01 1999-03-26 M R Syst Kenkyusho:Kk 頭部装着型の光学装置
JP3287312B2 (ja) * 1998-08-13 2002-06-04 日本電気株式会社 ポインティング装置
JP3784721B2 (ja) * 2002-01-10 2006-06-14 日東電工株式会社 半田溶滴吐出装置及び半田溶滴吐出方法
US7034779B2 (en) * 2002-08-06 2006-04-25 Information Decision Technologeis, Llc Advanced ruggedized augmented reality instrumented self contained breathing apparatus
EP1398601A3 (en) * 2002-09-13 2014-05-07 Canon Kabushiki Kaisha Head up display for navigation purposes in a vehicle
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
JP4227561B2 (ja) 2004-06-03 2009-02-18 キヤノン株式会社 画像処理方法、画像処理装置

Also Published As

Publication number Publication date
JP2006072903A (ja) 2006-03-16
US7928977B2 (en) 2011-04-19
US20060050087A1 (en) 2006-03-09

Similar Documents

Publication Publication Date Title
JP4434890B2 (ja) 画像合成方法及び装置
JP4834424B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP4401727B2 (ja) 画像表示装置及び方法
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
JP4137078B2 (ja) 複合現実感情報生成装置および方法
CN108780586B (zh) 图像处理方法、显示设备和检查系统
JP3991020B2 (ja) 画像表示方法及び画像表示システム
JP4677273B2 (ja) 情報処理方法および情報処理装置
EP1404126B1 (en) Video combining apparatus and method
JP4739002B2 (ja) 画像処理方法、画像処理装置
JP4677281B2 (ja) 画像処理方法、画像処理装置
US20050253870A1 (en) Marker placement information estimating method and information processing device
US7782320B2 (en) Information processing method and information processing apparatus
JP2004062756A (ja) 情報提示装置および情報処理方法
JP2008275341A (ja) 情報処理装置、情報処理方法
JP2018078448A (ja) プログラム、頭部装着型表示装置
JP2018081410A (ja) コンピュータープログラム
JP2005174021A (ja) 情報提示方法及び装置
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JP4366165B2 (ja) 画像表示装置及び方法並びに記憶媒体
JP2008040913A (ja) 情報処理方法、情報処理装置
KR20200056688A (ko) 증강 현실을 이용한 구조물 품질검사 시스템 및 방법
JP2021009557A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019040357A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
Lin Lightweight and Sufficient Two Viewpoint Connections for Augmented Reality

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070903

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070903

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091218

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091222

R150 Certificate of patent or registration of utility model

Ref document number: 4434890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140108

Year of fee payment: 4