JP6515985B2

JP6515985B2 - 三次元画像結合方法及び三次元画像結合装置

Info

Publication number: JP6515985B2
Application number: JP2017228900A
Authority: JP
Inventors: ホォンイ; ウエイタオゴォン; ハイホアユィ; ワン　ウェイ; ウェイワン
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2017-02-23
Filing date: 2017-11-29
Publication date: 2019-05-22
Anticipated expiration: 2037-11-29
Also published as: US20180240223A1; US10438334B2; CN108470379A; JP2018136923A; CN108470379B

Description

本発明は、画像処理分野に関し、特に、三次元画像結合方法及び三次元画像結合装置に関する。

画像結合（image fusion）において、所望の画像領域を目標画像に隙間なく自然に埋め込む課題がある。現在、このような課題について、二次元画像において多くの研究がなされ、目覚しい成果を挙げた。その中に、境界における色の差異を解消することに注目し、目標画像の背景にマッチングするように結合対象の色を調整して自然な合成画像を得ることができた。

一方、従来の二次元画像に比べ、三次元画像及び映像はより生き生きとする視覚体験ができる。また、近年、三次元画像の結合を含める三次元画像や映像の生成及び編集の処理は重要視されるようになった。しかし、三次元画像、例えば、球面画像と、二次元画像を結合する場合に、従来の技術では結合境界に不連続な領域が存在するために、満足できる効果が得られない。

本発明の目的は、三次元画像結合方法及び三次元画像結合装置を提供することにある。

上記の問題を解決するために、本発明は、まず、
三次元球面画像、及び前記三次元球面画像と結合する二次元結合画像を取得する第1ステップと、
前記三次元球面画像が所在する球面座標系において、所定の平面上に前記二次元結合画像を投影し、前記三次元球面画像が所在する球面上に位置する所定数の特徴点を含む二次元結合投影画像を取得する第2ステップと、
前記球面上に前記特徴点に対して一対一に対応する特徴マッピング点を指定し、前記二次元結合投影画像における前記特徴点を、対応する前記特徴マッピング点に重ねて、三次元座標変換を行うことにより、変換後の結合変換画像を得る第3ステップと、
予め設定されたマッピング関係に基づいて、前記結合変換画像における特徴点以外の点を三次元球面画像上に投影し、二次元結合画像と三次元球面画像を結合する第4ステップと、を備える三次元画像結合方法を提供する。

また、本発明は、
三次元球面画像、及び前記三次元球面画像と結合する二次元結合画像を取得する画像取得手段と、
前記三次元球面画像が所在する球面座標系において、所定の平面上に、前記二次元結合画像を投影して二次元結合投影画像を取得する投影手段と、
前記球面上に前記特徴点に対して一対一に対応する特徴マッピング点を指定し、前記二次元結合投影画像上の特徴点に合わせて前記特徴点に対応する特徴マッピング点を重ねて、三次元座標変換を行うことにより、変換後の結合変換画像を得る座標変換手段と、
予め設定されたマッピング関係に基づいて、前記結合変換画像における特徴点以外の点を三次元球面画像上にマッピングし、二次元結合画像と三次元球面画像を結合する結合手段と、を備える三次元画像結合装置を提供する。

さらに、本発明は、
処理手段と、
コンピュータプログラムの指令が記憶される記憶手段と、を備え、
前記処理手段が前記コンピュータプログラムの指令を実施することにより、
三次元球面画像、及び前記三次元球面画像と結合する二次元画像を取得し、
前記三次元球面画像が所在する球面座標系において、所定の平面上に前記二次元結合画像を投影し、前記三次元球面画像が所在する球面上に位置する所定数の特徴点を含む二次元結合投影画像を取得し、
前記球面上に前記特徴点に対して一対一に対応する特徴マッピング点を指定し、前記二次元結合投影画像における前記特徴点を、対応する前記特徴マッピング点に重ねて、三次元座標変換を行うことにより、変換後の結合変換画像を取得し、及び
予め設定されたマッピング関係に基づいて、前記結合変換画像における特徴点以外の点を三次元球面画像上にマッピングし、二次元結合画像と三次元球面画像を結合するステップが実行される三次元画像結合装置を提供する。

本発明にかかる上記の三次元画像結合方法及び装置は、二次結合画像を投影し、球面上に指定される特徴マッピング点に対して座標変換を行い、変換された結合変換画像に基づいて、変換された結合変換画像を予め設定されるマッピング関係で三次元球面画像に投影して、二次元結合画像と三次元球面画像を結合させる。本発明にかかる三次元画像結合方法及び装置により、結合対象である二次元画像と三次元球面画像を隙間なく自然に結合し、結合境界における不連続領域を解消することができる。本発明にかかる方法は簡単で実用的である。

パノラマカメラにより取得した投影用三次元球面画像の第1平面画像を示す図である。本発明にかかる三次元画像結合方法を実行するフローの一例を示す図である。本発明にかかる結合用の二次元結合画像の一例を示す図である。経度緯度マッピング投影方法による座標変換を説明する図である。本発明において球面座標系における球台の底面の選択の一例を説明する図である本発明において、球台の底面に内接するように矩形の二次結合画像を線形等比例で球台の底面に投影する一例を示す図である。本発明にかかる、球面座標系に図3に示す二次元結合画像を投影する一例を示す。本発明にかかる、図7に示す二次元結合投影画像から結合変換画像への三次元変換の一例を説明する図である。本発明にかかる、結合変換画像における特徴点以外の点の三次元球面画像へのマッピングの一例を説明する図である。本発明にかかる、結合後の三次元球面画像に対して経度緯度マッピング投影により結合後の等距離円柱状第2平面画像を得る一例を示す図である。本発明の実施例にかかる三次元画像結合装置1100の構成を示すブロック図である。本発明の実施例にかかる三次元画像結合装置の構成を示すブロック図である。

以下、図面を参考して本発明の実施例にかかる三次元画像結合方法及び装置を説明する。各図面において同様な部材に同じ符号で示す。以下に説明する実施例は本発明を説明するためのものであり、本発明を限定するものではない。

図1はパノラマカメラにより取得した投影用の三次元球面画像における第1平面画像を示す。図1に示すように、魚眼カメラ等のようなパノラマカメラで取得される三次元球面画像に対応する第1平面画像は、パノラマカメラの結像原理から生じる歪みが存在する。この場合に、従来の二次元画像結合方法で、図1に示す第1平面画像における所定の領域に、予め選定された二次元結合画像又は映像を埋め込む場合に、第1平面画像に生じた歪みのため、画像の結合境界に不連続領域又は隙間が生じ、結合が不自然になる。このために、隙間なく自然な結合効果が得られない。

そこで、図2を参考して本発明の実施例にかかる三次元画像結合方法を説明する。図2に三次元画像結合方法200を実行するフローを示す。もちろん、図2に示す三次元画像結合方法は二次元映像と三次元球面画像との結合にも適用するのは言うまでもない。

図2に示すように、ステップ201で、三次元球面画像及び前記三次元球面画像と結合する二次元画像を取得する。

本ステップにおいて、パノラマカメラで三次元球面画像を撮影して取得することができる。まず、パノラマカメラにより図1に示す等距離円柱形状（equirectangular）の第1平面画像を撮影する。そして、第1平面画像に対して経度緯度マッピング投影を行うことにより、三次元球面画像を得る。本実施例において、パノラマカメラにより採取された三次元球面画像の視野は球面全体の360度であるが、半球面の180度又は他の角度、例えば、270度、320度でもよい。

三次元球面画像と結合する二次元結合画像の形状は任意辺数の多辺形が好ましく、その中に、三角形、矩形、正方形又はその他の正多辺形がより好ましい。

ステップS202で、前記三次元球面画像が所在する球面座標系において、所定の平面上に前記二次元結合画像を投影し、前記三次元球面画像が所在する球面上に位置する所定数の特徴点を含む二次元結合投影画像を取得する。

具体的に、本ステップは、三次元球面画像が所在する球面に球面点を取得し、前記球面点から予め設定される高さを有する球台（spherical segment）の底面（bottom surface）を取得し、前記球台の底面に二次元結合画像を投影させて、前記球台の底面の円周に内接する二次元結合投影画像を取得するステップを備える。

本実施例において、画像自身の大きさに基づいて、球面点から所定の高さ（この高さは二次元結合画像自身の大きさによる）を有する球台の底面に二次元結合画像を投影することができる。もちろん、球台の底面に内接させるために、予め二次結合投影画像を拡大又は縮小しておき、任意の所定高さを有する球面点の球台の底面に線形等比例で投影しても良い。この場合に、円周に内接する接点、即ち、二次元結合投影画像の角点を二次元結合投影画像の特徴点とすることができる。これらの角点はすべて三次元球面画像が所在する球面上に位置する。別の実施例として、二次元結合投影画像は球台の底面の円周に内接しなくてもよい。この場合に、二次元結合投影画像の周縁上一部の点、または対称軸上の点やパターン境界上の点を特徴点とすることができる。

ステップ203で、前記球面上に前記特徴点に一対一に対応する特徴マッピング点を指定し、前記二次元結合投影画像における前記特徴点を、対応する前記特徴マッピング点に重ねて、三次元座標変換を行うことにより、変換後の結合変換画像を得る。

本ステップにおいて、特徴点に対応する特徴マッピング点を事前に指定してもよく、予めも決められる設定ルールに基づいて選択してもよい。選択される特徴マッピング点の位置は、三次元球面画像上にユーザが所望する二次元結合画像の投影領域の位置、例えば、三次元球面画像上に表示スクリーンの位置などによって決められる。特徴マッピング点の位置が決定すると、特徴点及び前記特徴点に対応する特徴マッピング点の位置に基づいて、透視変換のホモグラフィーマトリックス（homography matrix）を構築し、二次元結合投影画像及び前記マトリックスに基づいて結合変換画像を求める。特徴点は前記特徴点に対応する特徴マッピング点に一部または全部重なってもよく、重ならなくてもてもよい。

具体的に、各二次元結合投影画像における特徴点に前記特徴点に対応する特徴マッピング点を重ねるように、特徴点に合わせて特徴マッピング点をそれぞれ引っ張る。ここで、二次結合投影画像に対して三角面変換を行い、三角面毎に引っ張られる直前と直後の間の透視変換のホモグラフィーマトリックスを構築し、二次結合投影画像と結合変換画像との間の投影マトリックスを得ることにより、変換後の結合変換画像を生成する。

ステップS204において、予め設定されたマッピング関係に基づいて、前記結合変換画像における特徴点以外の点を三次元球面画像上にマッピングし、二次元結合画像と三次元球面画像を結合する。

上述のように、ステップS203において、上記得られた結合変換画像における全て特徴点が予め指定された対応の特徴マッピング点の位置にある。即ち、結合変換画像における全ての特徴点は三次元球面画像が所在する球面上にある。これに対して、本ステップにおいては、結合変換画像における特徴点以外の点を全て三次元球面画像上に投射する。

具体的に、三次元球面画像が所在する球面の中心と結合変換画像上の一点を連結する直線が前記球面に交叉する交叉点を得る。通常、前記の直線は球面に交叉すると、2つの交叉点が生じる。この場合に、投射する領域又はその他の設定に応じて前記2つの交叉点の中の一つを投射用交叉点とする。そして、結合変換画像における前記特徴点以外の点を前記交叉点にマッピングし、三次元球面画像上の点を置き換える。このように、結合変換画像上全ての点が三次元球面画像上に投射されると、二次元結合画像と三次元球面画像との結合が完了する。

また、別の実施例において、前記方法は、結合された三次元球面画像に対して経度緯度マッピング投影を行い、結合された等距離円柱状の第2平面画像を得るステップを有する。

なお、ユーザが実際の使用において、上記結合を踏まえて二次元結合画像の結合位置を更に変更することを希望する場合に、特徴投射点の位置を更新し、更新された特徴投射点の位置に基づいて、引き続き前記結合変換画像に対して三次元変換を行う。そして、同様な方式で変換された結合変換画像を三次元球面画像上にマッピングする。

上記した本発明の実施例にかかる三次元画像結合方法によると、二次元結合画像を投影し、球面上指定された特徴投射点に基づいて座標変換を行う。そして、予め設定されたマッピング関係に基づいて、変換された結合変換画像を三次元球面画像上にマッピングして、二次元結合画像と三次元球面画像を結合させる。本発明の実施例にかかる三次元画像結合方法は、二次元結合画像を三次元球面画像に隙間なく自然に結合し、結合境界における不連続領域を解消することができる。また、本発明の実施例にかかる三次元画像結合方法は、結合ステップが簡単で実用的であり、異なるユーザ視野角度又は画像結合位置への要求に応じることができる。

以下、図3〜図10を参考して具体例を用いて本発明の実施例にかかる三次元画像結合方法の実施形態を説明する。まず、図3は本発明にかかる結合用の二次元結合画像の一例を示す。本例では、図3に示す二次元結合画像を図1に示す第1平面画像に対応する三次元球面画像に埋め込む。

上記したように、本例において、まず、図1に示す第1平面画像に対して経度緯度マッピング投影を行うことにより三次元球面画像を得る。図4に経度緯度マッピング投影方法による座標変換を説明する図を示す。ここで、P(u,v）は第1平面画像の画素座標であり、第1平面画像の幅及び高さは夫々W及びHである。これを球面座標系（ｒ,θ,φ）に投影すると、球の半径はRであり、P(u,v）に対応する点の座標はP(x,y,z)となる。その中に、

そして、図5に示すように、球面座標系において、三次元球面画像が所在する球面上に任意の球面点P(x,y,z)から予め設定される高さｈを有する球台の底面に内接するように、矩形の二次元結合像を線形等比例で前記球台の底面に投影する。図6に球台の底面は、半径ｒ、中心P(x₀,y₀,z₀)の二次結合投影画像として示す。ここで、投影された内接矩形の4つのP₁(x₁,y₁,z₁)、P₂(x₂,y₂,z₂)、P₁(x₃,y₃,z₃)、P₄(x₄,y₄,z₄)は二次元結合投影画像の4つの特徴点である。図7に、図3に示す二次元結合画像を球面座標系にマッピングさせた図及び各特徴点の位置を示す。

具体的に、P₁(x₁,y₁,z₁)を例とすると

P₂、P₃、P₄の座標の求め方は上記同様である。

図8は、図7に示す、特徴点P₁、P₂、P₃、P₄を有する二次元結合投影画像から、P₁′、P₂′、P₃′、P₄′により確定される結合変換画像に三次元変換することを示す。図8に示すように、まず、結合される位置に基づいて、特徴点P₁、P₂、P₃、P₄に対応する特徴マッピング点P₁′、P₂′、P₃′、P₄′を特定する。そして、二次元結合投影画像上4つの特徴点P₁、P₂、P₃、P₄を夫々P₁′、P₂′、P₃′、P₄′の位置まで引っ張る。その間に、二次元投影画像において三次元的な歪みが生じ、変換された結合変換画像を得る。具体的に、各特徴点が前記特徴点に対応する特徴マッピング点に重なるように、二次元結合投影画像上の特徴点を夫々前記特徴点に対応する特徴マッピング点まで引っ張る。その中で、二次元結合投影画像に対して三角面変換を行い、三角面毎に引っ張られる直前と直後で透視変換のホモグラフィーマトリックスを構築し、二次元結合投影画像と結合変換画像との間の投影マトリックスを得て、変換後の結合変換画像を生成する。よって、変換後の結合変換画像の三次元形状及び各点の位置は、P₁、P₂、P₃、P₄を引っ張る総合的な作用による結果によって決まる。

図8に示す結合変換画像における全ての特徴点は三次元球面画像が所在する球面上にあるが、図9に示すように、結合変換画像における上記特徴点P₁、P₂、P₃、P₄以外の点を全て三次元球面画像上に投影する。具体的に、結合変換画像上の点q(x_q,y_q,z_q)を、三次元球面画像が所在する球面の中心とこの点ｑ(x_q,y_q,z_q)を接続する直線と球面との交叉点q′(x_q′,y_q′,z_q′)にマッピングし、三次元球面画像上にあった点を置き換える。球面の中心と点qとを接続する直線と、球面との交叉点は通常2つあるために、事前に設定さえる結合領域に基づいてマッピングされる交叉点q′を選択することができる。

ここで、
結合変換画像上に全ての点が三次元球面画像上に投射されると、二次元結合画像と三次元球面画像との結合が完了する。

最後に、結合された三次元球面画像に対して図4に示す経度緯度マッピング投影を行うことにより、図10に示すような結合後の等距離円柱状第2平面画像を得る。

以下、図11を参考に、本発明の実施例にかかる三次元画像結合装置を説明する。図11に本発明の実施例にかかる三次元画像結合装置1100の構成図を示す。図11に示すように、三次元画像結合装置1100は画像取得手段1110と、投影手段1120と、座標変換手段1130と、結合手段1140とを備える。これらの手段のほかに、他の手段を有しても良いが、本発明実施例の説明に無関係なので、図示及び説明を省略する。なお、本発明の実施例にかかる三次元画像結合装置1100が実行する以下の処理の詳細は、上記図2〜図10に説明したために、重複を避けるために同じ説明を省く。

図11に示す三次元画像結合装置1100において、画像取得手段1110は三次元球面画像及び前記三次元球面画像と結合する二次元結合画像を取得する手段である。

三次元球面画像はパノラマカメラにより取得する。具体的に、まず、パノラマカメラは図1に示す等距離円柱状の第1平面画像を撮影する。そして、第1平面画像を用いて経度緯度マッピング投影を行い、三次元球面画像を得る。本実施例において、パノラマカメラにより採取された三次元球面画像の視野は球面全体の360度であるが、半球面の180度又は他の角度、例えば、270度、320度でもよい。

投影手段1120は、前記三次元球面画像が所在する球面座標系において所定の平面上に、前記二次元結合画像を投影して二次元結合投影画像を取得する手段である。そこで、投影される二次元結合投影画像は、三次元球面画像が所在する球面において所定数の特徴点を有する。

具体的に、投影手段1120は、三次元球面画像が所在する球面上に球面点を取得し、前記球面点から予め設定される高さを有する球台の底面を取得し、前記球台の底面に二次元結合画像を投影させて、前記球台の底面の円周に内接する二次元結合投影画像を取得するように設置される。

本実施例において、画像自身の大きさに基づいて、球面点から所定の高さ（この高さは二次元結合画像自身の大きさによる）を有する球台の底面に二次元結合画像を投影することができる。もちろん、球台の底面に内接させるために、予め二次結合投影画像を拡大又は縮小しておき、任意の所定高さを有する球面点の球台の底面に線形等比例で投影しても良い。この場合に、円に内接する接点、即ち、二次元結合投影画像の角点を二次元結合投影画像の特徴点とすることができる。これらの角点はすべて三次元球面画像が所在する球面上に位置する。別の実施例として、二次元結合投影画像は球台の底面の円周に内接しなくてもよい。この場合に、二次元結合投影画像の周縁上一部の点、または対称軸上の点やパターン境界上の点を特徴点とすることができる。

座標変換手段1130は、前記球面上に前記特徴点に一対一に対応する特徴マッピング点を指定し、前記二次元結合投影画像上の特徴点に合わせて前記特徴点に対応する特徴マッピング点を重ねて、三次元座標変換を行うことにより、変換後の結合変換画像を得るように設置される。

ここで、特徴点に対応する特徴マッピング点を事前に指定してもよく、予めも決められる設定ルールに基づいて選択してもよい。選択される特徴マッピング点の位置は、三次元球面画像上にユーザが所望する二次元結合画像の投影領域の位置、例えば、三次元球面画像上に表示スクリーンの位置などによって決められる。特徴マッピング点の位置が決定すると、特徴点及び前記特徴点に対応する特徴マッピング点の位置に基づいて、透視変換のホモグラフィーマトリックスを構築し、二次元結合投影画像及び前記マトリックスに基づいて結合変換画像を求める。特徴点は前記特徴点に対応する特徴マッピング点に一部または全部重なってもよく、重ならなくてもてもよい。

結合手段1140は、予め設定されたマッピング関係に基づいて、結合変換画像における特徴点以外の点を三次元球面画像上にマッピングし、二次元結合画像と三次元球面画像を結合するように設置される。

上記したように、座標変換手段1130は、得られた結合変換画像における全て特徴点が予め指定された対応する特徴マッピング点の位置にある。即ち、結合変換画像における全ての特徴点は三次元球面画像が所在する球面上にある。これに対して、結合手段1140は、結合変換画像における特徴点以外の点を全て三次元球面画像上にマッピングする。

具体的に、三次元球面画像が所在する球面の中心と結合変換画像上の一点を連結する直線が、前記球面に交叉して交叉点を得る。通常、前記の直線は球面に交叉すると、2つの交叉点が生じる。この場合に、投射する領域又はその他の設置に応じて前記2つの交叉点の中の一つを投射用交叉点とする。そして、結合変換画像上の点を前記交叉点にマッピングし、三次元球面画像上の点を置き換える。このように、結合変換画像上全ての点が三次元球面画像上に投射されると、二次元結合画像と三次元球面画像との結合が完了する。

また、別の実施例において、前記装置は、結合された三次元球面画像に対して経度緯度マッピング投影を行い、結合された等距離円柱状第2平面画像を得る結合画像取得手段を更に備える。

なお、実際の使用において、上記結合を踏まえて二次元結合画像の結合位置を更に変更することをユーザが希望する場合に、特徴投射点の位置を更新し、更新された特徴投射点の位置に基づいて、引き続き前記結合変換画像を空間変換する。そして、同様な方式で変換された結合変換画像を三次元球面画像上にマッピングする。

上記した本発明の実施例にかかる三次元画像結合装置によると、二次元結合画像を投影し、球面上指定された特徴投射点に基づいて座標変換を行う。そして、予め設定されたマッピング関係に基づいて、変換された結合変換画像を三次元球面画像上にマッピングして、二次元結合画像と三次元球面画像を結合させる。本発明の実施例にかかる三次元画像結合装置は、二次元結合画像を三次元球面画像に隙間なく自然に結合させ、結合境界における不連続領域を解消することができる。また、本発明の実施例にかかる三次元画像結合装置は、結合ステップが簡単で実用的であり、異なるユーザ視野角度又は画像結合位置への要求に応じることができる。

以下、図12を参照して本発明の実施例にかかる三次元画像結合装置を説明する。図12は本発明の実施例にかかる三次元画像結合装置の構成を示すブロック図である。図12に示す三次元画像結合装置1200はコンピュータまたはサーバである。

図12に示すように、三次元画像結合装置1200は1つまたは複数の処理手段1210及び記憶手段1220を備える。もちろん、これら以外に、三次元画像結合装置1200はパノラマカメラや出力手段(図示せず)などを有してもよいが、これらの装置はパスシステム及び／又は他の形式の接続機構によって互いに接続されることができる。ここで、図12に示す三次元画像結合装置1200の手段や構成は一例に過ぎず、本発明を限定するものではない。必要に応じて三次元画像結合装置1200は別の手段や構成を備えてもよい。

処理手段1210はCPU又はデータ処理機能及び／又は指令実行機能を有する他の形態の処理手段であり、記憶手段1200に記憶されるコンピュータプログラム指令を実行して所望の機能が実現されるものである。処理手段1210は、三次元球面画像と前記三次元球面画像と結合する二次元画像を取得する手段と、前記三次元球面画像が所在する球面座標系における所定の平面上に前記二次元結合画像を投影し、前記三次元球面画像が所在する球面上に位置する所定数の特徴点を含む二次元結合画像を取得する手段と、前記球面上に前記特徴点に一対一に対応する特徴マッピング点を指定し、前記二次元結合投影画像における前記特徴点を対応する前記特徴マッピング点に重ねて、三次元座標変換を行うことにより、変換後の結合変換画像を得る手段と、予め設定されたマッピング関係に基づいて、前記結合変換画像における特徴点以外の点を三次元球面画像上にマッピングし、二次元結合画像と三次元球面画像を結合する手段と、を備える。

記憶手段1220は一つ又は複数のコンピュータプログラム製品、例えば、種種の形態のコンピュータが読み取り可能な記憶媒体、例えば揮発性記憶媒体及び／又は非揮発性記憶装置を備える。揮発性記憶媒体は、例えばRAM及び／又はバッファキャッシュ等がある。非揮発性記憶媒体は、例えばROM、HDD、フラッシュメモリ等がある。コンピュータ読取可能な記憶媒体に一つ又は複数のコンピュータプログラム指令が記憶される。処理手段1220は、これらのプログラムの指令を実施することにより、上記した本発明の実施例にかかる三次元画像結合装置の機能及び／またはその他の所望の機能、及び／又は本発明実施例にかかる三次元画像結合方法が実現される。なお、前記コンピュータ読取可能な記憶媒体は種種のアプリケーションやデータを記憶することもできる。

以上、実施例を用いて本発明を説明したが、本発明を限定するものではない。本発明が主張する権利範囲を超えない限り、上記実施例を変更又は修正することできる。本明細書の記載は実施形態の説明に限り、本発明に限定を加えるものではない。

Claims

三次元球面画像、及び前記三次元球面画像と結合する二次元結合画像を取得する第1ステップと、
前記三次元球面画像が所在する球面座標系において、前記三次元球面画像が所在する球面上の所定の球面点から予め設定される高さを有する球台の底面上に前記二次元結合画像を投影し、前記三次元球面画像が所在する球面上に位置する所定数の特徴点を含む二次元結合投影画像を取得する第2ステップと、
前記球面上に前記特徴点に対して一対一に対応する特徴マッピング点を指定し、前記二次元結合投影画像における前記特徴点を、対応する前記特徴マッピング点に重ねて、三次元座標変換を行うことにより、変換後の結合変換画像を得る第3ステップと、
予め設定されたマッピング関係に基づいて、前記結合変換画像における特徴点以外の点を三次元球面画像上にマッピングし、二次元結合画像と三次元球面画像を結合する第4ステップと、を備える三次元画像結合方法。
前記第1ステップにおいて、
第1平面画像を取得し、該第1平面画像に対して経度緯度マッピング投影を行うことにより、三次元球面画像を得る、請求項1に記載の三次元画像結合方法。
前記第2ステップにおいて、
前記球台の底面に前記二次元結合画像を投影させて、前記球台の底面の円周に内接する二次元結合投影画像を取得するステップを備える、請求項1に記載の三次元画像結合方法。
前記球台の底面に前記二次元結合画像を投影させることにおいて、
前記球台の底面に前記二次元結合画像を線形等比例で投影する、請求項３に記載の三次元画像結合方法。
前記二次元結合投影画像における前記特徴点は、前記二次元結合投影画像の周縁上の点及び／又は角点である、請求項1に記載の三次元画像結合方法。
前記二次元結合画像の形状は、正多辺形である、請求項1に記載の三次元画像結合方法。
前記第3ステップにおいて、
前記特徴点及び前記特徴点に対応する特徴マッピング点の位置に基づいて透視変換のホモグラフィーマトリックスを構築し、前記二次結合投影画像及び前記ホモグラフィーマトリックスに基づいて、前記結合変換画像を生成する、請求項1に記載の三次元画像結合方法。
前記第4ステップにおいて、
前記三次元球面画像が所在する球面の中心と前記結合変換画像上の一点を連結する直線が前記球面に交叉する交叉点を取得し、
前記結合変換画像上の前記特徴点以外の点を前記交叉点にマッピングし、三次元球面画像上の点を置き換える、請求項1に記載の三次元画像結合方法。
前記結合された三次元球面画像に対して経度緯度マッピング投影を行い、結合後の第2平面画像を得るステップを更に備える、請求項1に記載の三次元画像結合方法。
三次元球面画像、及び前記三次元球面画像と結合する二次元結合画像を取得する画像取得手段と、
前記三次元球面画像が所在する球面座標系において、前記三次元球面画像が所在する球面上の所定の球面点から予め設定される高さを有する球台の底面上に前記二次元結合画像を投影して二次元結合投影画像を取得する投影手段と、
前記球面上に前記特徴点に対して一対一に対応する特徴マッピング点を指定し、前記二次元結合投影画像上の特徴点に合わせて前記特徴点に対応する特徴マッピング点を重ねて、三次元座標変換を行うことにより、変換後の結合変換画像を得る座標変換手段と、
予め設定されたマッピング関係に基づいて、前記結合変換画像における特徴点以外の点を三次元球面画像上にマッピングし、二次元結合画像と三次元球面画像を結合する結合手段と、を備える、三次元画像結合装置。
処理手段と、
コンピュータプログラムの指令が記憶される記憶手段と、を備え、
前記処理手段は、前記コンピュータプログラムの指令を実施することにより、
三次元球面画像、及び前記三次元球面画像と結合する二次元画像を取得し、
前記三次元球面画像が所在する球面座標系において、前記三次元球面画像が所在する球面上の所定の球面点から予め設定される高さを有する球台の底面上に前記二次元結合画像を投影し、前記三次元球面画像が所在する球面上に位置する所定数の特徴点を含む二次元結合投影画像を取得し、
前記球面上に前記特徴点に対して一対一に対応する特徴マッピング点を指定し、前記二次元結合投影画像における前記特徴点を、対応する前記特徴マッピング点に重ねて、三次元座標変換を行うことにより、変換後の結合変換画像を取得し、及び
予め設定されたマッピング関係に基づいて、前記結合変換画像における特徴点以外の点を三次元球面画像上にマッピングし、二次元結合画像と三次元球面画像を結合するステップが実行される、三次元画像結合装置。
コンピュータに、請求項1〜9の任意の一項に記載の三次元画像結合方法を実行させるためのプログラム。
請求項12に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。