JP5664859B2 - 画像変換装置、画像生成システム、画像変換方法及び画像生成方法 - Google Patents
画像変換装置、画像生成システム、画像変換方法及び画像生成方法 Download PDFInfo
- Publication number
- JP5664859B2 JP5664859B2 JP2011015655A JP2011015655A JP5664859B2 JP 5664859 B2 JP5664859 B2 JP 5664859B2 JP 2011015655 A JP2011015655 A JP 2011015655A JP 2011015655 A JP2011015655 A JP 2011015655A JP 5664859 B2 JP5664859 B2 JP 5664859B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vertices
- array structure
- pixel
- vertex
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
Description
(式(2)中、Mは、分割回数がL回である測地ドームにおいて、対応する中間配列構造の(2iL−1,2jL−1)の位置に対応する頂点に隣接する隣接頂点の個数であり、Vm Lは、各前記隣接頂点の画素値である。)
(式(3)中、Vn1 L及びVn2 Lは、分割回数がL回である測地ドームの頂点のうち隣接する2つの頂点の画素値であり、Vt1 L及びVt2 Lは、分割回数がL回である測地ドームの頂点のうち、隣接する2つの頂点のいずれにも隣接する2つの頂点の画素値である。)
(式(4)中、係数a,b,cは、θk及びφkを3つの上記頂点の各々のzs軸及びxs軸に対する角度としたとき、3つの頂点に対する、
Vtk=aθk+bφk+c
で規定される実数である。)
上記式(5)は、魚眼レンズ21Aの射影方式を等距離射影方式(すなわち、r=fθA)とした場合のものである。しかし、魚眼レンズ21Aの射影方式は他の射影方式、例えば、立体射影、等立体角射影及び正射影を採用してもよい。
ただし、RL=3・2Lである。
i=2(L−K)iK,j=2(L−K)jK
(a)0分割レベルで現れる各頂点51を基準の頂点51Bとした場合、
(b)グループGAに属する各頂点51を基準の頂点51Bとした場合、
(c)グループGCに属する各頂点51を基準の頂点51Bとした場合、
(d)グループGBに属する各頂点51を基準の頂点51Bとした場合について、
基準とする各頂点51Bに隣接する頂点51の位置を説明する。
Ju=Ni+1/5*{j/(Ni/5)}+j%(Ni/5)
Jd=Ni−1/5*{j/(Ni/5)}+j%(Ni/5)
測地ドーム50の北極点に対しては、基準となる頂点51B(北極点)に隣接する頂点51に対応する頂点セル71の位置は次の5つである。
(RL−1,0)、(RL―1,1)、(RL―1,2)、
(RL−1,3)、(RL―1,4)
(i―1,Ni―1/5*(j/(Ni/5))、(i,(j−1+Ni)%Ni)、
(i,j+1)、(i+1,(j−1+Ni+1)%Ni+1)、(i+1,j)
(i―1,j)、(i−1,j+1)、(i,(j−1+Ni)%Ni)、
(i,j+1)、(i+1,Ni+1/5*(j/(Ni/5)))
0分割レベルの測地ドーム50に属する一つの頂点51と北極点とをつなぐ測地線上の頂点51に対しては、基準となる頂点51Bの頂点セル71の位置がj%(Ni/5)=0を満たす場合には、頂点51Bに隣接する頂点51の頂点セル71の位置は、次の6つである。
(i−1,Ju)、(i,(j−1+Ni)%Ni)、
(i,j+1)、(i+1,(Jd−1+Ni+1)%Ni+1)、
(i+1,Jd)、(i+1,Jd+1)
(i−1,Ju)、(i−1,(Ju−1+Ni−1)%Ni−1)、
(i,(j−1+Ni)%Ni)、(i,(j+1)%Ni)、
(i+1,j)、(i+1,(j−1+Ni+1)%Ni+1)
(i−1,Ju)、(i−1,(Ju−1+Ni−1)%Ni−1)、
(i,(j−1+Ni)%Ni)、(i,(j+1)%Ni)、
(i+1,Jd)、(i+1,(Jd+1)%Ni+1)
0分割レベルの測地ドーム50に属する一つの頂点51と南極点とをつなぐ測地線上の頂点51に対しては、基準となる頂点51Bの頂点セル71の位置がj%(Ni/5)=0を満たす場合、頂点51Bに隣接する頂点51の頂点セル71の位置は、次の6つである。
(i−1,(Ju−1+Ni−1)%Ni−1)、(i−1,Ju)、
(i−1,Ju+1)、(i,(j−1+Ni)%Ni)、
(i,j+1)、(i+1,Jd)
(i−1,(Ju+1)%Ni−1)、(i−1,Ju)、
(i,(j−1+Ni)%Ni)、(i,j+1)、
(i+1,Jd)、(i+1,(Jd−1+Ni+1)%Ni+1)、
グループGBに属する各頂点51を基準の頂点51Bとした場合、基準となる各頂点51Bに隣接する頂点51の頂点セル71の位置は次の通りである。
(i−1,(j+1)%Ni−1)、(i−1,j)、
(i,(j−1+Ni)%Ni)、(i,(j+1)%Ni)、
(i+1,j)、(i+1,(j−1+Ni+1)%Ni+1)
ic<2L−1且つjc>5icである場合、
i=ic+2L+1、j=jc+1
その他の場合、
i=ic+1、j=jc−5ic
2L+1+1≦i≦RL−1
を満たす領域をシフト領域として、シフト領域内の各頂点セル71を行シフト及び列シフトさせたが、グループGA内に属しており、
1≦i≦2L
を満たす領域を、シフト領域として実施形態の場合と同様にシフトさせて四角形状の2次元配列構造72を生成してもよい。
次に、図14は、本発明に係る画像生成システムの第2の実施形態の構成を概略的に示す図面である。画像生成システム80は、撮像装置(画像取得手段)20と、画像変換装置90とを備えている。撮像装置20は、第1の実施形態のものと同様であるため、説明を省略する。画像変換装置90は、指示入力部91と、指示判定部92と、拡大・縮小画像生成部93と、透視画像生成部94とを更に備える点で、第1の実施形態の画像変換装置30と相違する。この相違点を中心にして画像変換装置90について説明する。
この方法では、画素値割当て部93Cは、iL=2iL−1,jL=2L−1の関係に基づいて、SL−1(iL−1,jL−1)に、分割回数がL回である長方形画像60L中の画素であるSL(2iL−1,2jL−1)の画素値を割り当てる。
この方法では、画素値割当て部93Cは、四角形画像61L−1であるSL−1(iL−1,jL−1)の画素値をVL−1とし、分割回数がL回である長方形画像60L中の四角形画素61LであるSL(2iL−1,2jL−1)の画素値をVLとしたとき、式(8)に基づいて、VL−1を算出する。
式(8)中、Mは、L回分割に対応する測地ドーム50Lにおいて、対応する中間配列構造70Lの(2iL−1,2jL−1)の位置の頂点セル71の対応頂点に隣接する隣接頂点の個数であり、Vm Lは、各隣接頂点の画素値である。よって、式(8)では、分割回数が(L−1)回である測地ドーム50L−1内の各頂点番号に対応する画素の画素値を、分割回数がL回である測地ドーム50Lにおける対応する頂点に隣接する頂点の画素値の影響を考慮して算出していることになる。
この方法では、新規生成された頂点51に対応する四角形画素61の画素値を、その頂点51に隣接する2つの頂点51,51に対応する四角形画素61の画素値の平均値として算出する。すなわち、新規生成画素である四角形画素61の画素値をVnew L+1とし、隣接する2つの頂点51,51に対応する四角形画素61の画素値を、Vn1 L及びVn2 Lとすると、式(9)に基づいてVnew L+1を算出する。
この方法では、新規生成された頂点51に対応する四角形画素61の画素値を、Vnew L+1とした場合、Vnew L+1を、式(10)により算出する。
式(10)中、Vn1 L及びVn2 Lは、L回分割の測地ドーム50Lの頂点51のうち、新規生成頂点51に隣接する2つの頂点51,51の画素値であり、Vt1 L及びVt2 Lは、L回分割の測地ドーム50Lの頂点51のうち、新規生成頂点51に隣接する2つの頂点51,51のいずれにも隣接する2つの頂点51,51の画素値である。
画素値割当て部94Bは、投影点mに最も近い頂点51(以下、最近接頂点と称す)の画素値を画素pの画素値として割り当てる。最近接頂点51は、例えば、球面画像40を表示するための3次元座標系(図15に示すxsyszs座標系)において投影点mの位置ベクトルと、各頂点51の位置ベクトルの内積をとり、最も内積値の大きい頂点を最近接頂点とすることで探索できる。
画素値割当て部94Bは、投影点mを囲む3つの頂点51,51,51の画素値を用いて、投影点mの画素値を算出し、画素pに割り当てる。具体的に説明する。
式(11)において、θm、φmは投影点mに対する偏角θ、φであり、係数a,b,cは、以下の3つの式に基づいて算出される値である。
式(12a)、式(12b)及び式(12c)において、(θt1,φt1)、(θt2,φt2)及び(θt3,φt3)は、それぞれ投影点mを囲む3つの頂点51,51,51の位置の偏角θ及び偏角φであり、それら3つの頂点51,51,51の位置を示す球座標である。また、Vt1、Vt2及びVt3は、(θt1,φt1)、(θt2,φt2)及び(θt3,φt3)の位置の頂点51の画素値である。
Claims (12)
- 複数の画素で離散的に表された離散球面に、複数の撮影画像が投影された球面画像を生成する球面画像生成部と、
前記球面画像を長方形画像に変換する画像変換部と、
を備え、
前記離散球面を表す複数の前記画素は、球面を測地ドーム法で分割した測地ドームの各頂点に対応し、
前記長方形画像は、複数の四角形画素を有し、
各前記四角形画素の画素値は、前記測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の前記基点が第1の方向に並べられ各前記基点と同一緯度の頂点が各前記基点に対して前記第1の方向に直交する第2の方向に並べられた中間配列構造から、前記測地ドームの第1及び第2の極に対応する頂点を削除すると共に前記中間配列構造の所定の頂点を前記第1及び第2の方向に移動させることによって前記中間配列構造が有する複数の前記頂点が四角形状に並べられた2次元配列構造において、各前記四角形画素の位置の前記頂点に対応する前記球面画像の画素の画素値である、
ことを特徴とする画像変換装置。 - 前記中間配列構造は、前記第1及び第2の方向をそれぞれ行方向及び列方向としたとき、第i行(iは0以上3・2L以下の整数であり、Lは、測地ドーム法による球面の分割回数)の列数Niが、式(1)で表される配列構造を有しており、
前記2次元配列構造は、前記中間配列構造の第(2L+1+1)行から第(RL−1)行までの領域をシフト領域として、前記シフト領域内の各頂点を第(5×2L)列側に向けて列シフトさせた後、前記シフト領域を、第(2L+1+1)行が第0行に一致するように行シフトさせると共に、前記中間配列構造における第0行及び前記第RL行に対応する頂点を削除して構成されている、
ことを特徴とする請求項1記載の画像変換装置。
- 複数の撮影画像を取得する画像取得手段と、
前記画像取得手段によって取得された複数の撮影画像が、複数の画素で離散的に表された離散球面に投影された球面画像を生成する球面画像生成部と、
前記球面画像を長方形画像に変換する画像変換部と、
を備え、
前記離散球面を表す複数の前記画素は、球面を測地ドーム法で分割した測地ドームの各頂点に対応し、
前記長方形画像は、複数の四角形画素を有し、
各前記四角形画素の画素値は、前記測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の前記基点が第1の方向に並べられ各前記基点と同一緯度の頂点が各前記基点に対して前記第1の方向に直交する第2の方向に並べられた中間配列構造から、前記測地ドームの第1及び第2の極に対応する頂点を削除すると共に前記中間配列構造の所定の頂点を前記第1及び第2の方向に移動させることによって前記中間配列構造が有する複数の前記頂点が四角形状に並べられた2次元配列構造において、各前記四角形画素の位置の前記頂点に対応する前記球面画像の画素の画素値である、
ることを特徴とする画像生成システム。 - 複数の撮影画像を、球面を測地ドーム法で分割して形成される測地ドームの各頂点に対応する画素で表した離散球面に投影することによって球面画像を生成するステップと、
前記測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の前記基点が第1の方向に並べられ各前記基点と同一緯度の頂点が各前記基点に対して前記第1の方向に直交する第2の方向に並べられてなる中間配列構造を生成するステップと、
前記中間配列構造に含まれる前記測地ドームの第1及び第2の極に対応する頂点以外の頂点のうち所定の頂点を前記第1及び第2の方向に移動させることによって、前記測地ドームの第1及び第2の極に対応する頂点以外の頂点が四角形状に並べられた2次元配列構造を生成するステップと、
前記2次元配列構造を構成する各前記頂点を四角形画素として、各前記四角形画素の位置の前記頂点に対応する前記球面画像の画素の画素値を割り当てて長方形画像を生成するステップと、
を備えることを特徴とする画像変換方法。 - 前記中間配列構造は、前記第1及び第2の方向をそれぞれ行方向及び列方向としたとき、第i行(iは、0以上3・2L以下の整数)の列数Niが、式(2)で表される構造を有しており、
前記2次元配列構造を生成するステップでは、前記中間配列構造の第(2L+1+1)行から第(RL−1)行までの領域をシフト領域として、前記シフト領域内の各頂点を第(5×2L)列側に向けて列シフトさせた後、前記シフト領域を第(2L+1+1)行が第0行に一致するように行シフトさせると共に、前記中間配列構造における第0行及び前記第RL行に対応する頂点を削除して前記2次元配列構造を生成する、
ことを特徴とする請求項4記載の画像変換方法。
- 複数の撮影画像を取得するステップと、
取得された複数の前記撮影画像を、球面を測地ドーム法で分割した測地ドームの各頂点に対応する画素とした離散球面に投影することによって球面画像を生成するステップと、
前記測地ドームの一経線上の複数の頂点をそれぞれ基点として、複数の前記基点が第1の方向に並べられ各前記基点と同一緯度の頂点が各前記基点に対して前記第1の方向に直交する第2の方向に並べられてなる中間配列構造を生成するステップと、
前記中間配列構造に含まれる前記測地ドームの前記第1及び第2の極に対応する頂点以外の頂点のうち所定の頂点を前記第1及び第2の方向に移動させることによって、前記測地ドームの第1及び第2の極に対応する頂点以外の頂点が四角形状に並べられた2次元配列構造を生成するステップと、
前記2次元配列構造を構成する各前記頂点を四角形画素として、各前記四角形画素の位置の前記頂点に対応する前記球面画像の画素の画素値を割り当てて長方形画像を生成するステップと、
を備えることを特徴とする画像生成方法。 - 前記測地ドーム法による分割回数がL回の前記長方形画像を前記分割回数が(L−1)回の長方形画像に変換して縮小画像を生成する縮小画像生成部を更に備えることを特徴とする請求項2記載の画像変換装置。
- 前記測地ドーム法による分割回数がL回の前記長方形画像を前記分割回数が(L+1)回の長方形画像に変換して拡大画像を生成する拡大画像生成部を更に備えることを特徴とする請求項2又は7記載の画像変換装置。
- 前記長方形画像から透視画像を生成する透視画像生成部を更に備え、
前記透視画像生成部は、生成すべき前記透視画像の画素配列構造を生成し、前記長方形画像に対応する前記球面画像上における点であって前記画素配列構造内の画素pに対応する点をmとし、点mの座標を(θ,φ)(θは、前記測地ドームの第1及び第2の極を結ぶ線をzs軸とし、zs軸上の前記第1及び第2の極の間の中点を原点とし、zs軸に直交する2つの軸をxs軸及びys軸として有するxsyszs座標系において前記zs軸に対する角度であり、φはxs軸に対する角度である)とした場合に、前記画素pの画素値を、前記測地ドームにおいて、前記点mを囲む3つの頂点の画素値に基づいて算出することによって、前記透視画像を生成することを特徴とする請求項1,2,7,8の何れか一項に記載の画像変換装置。 - 前記測地ドーム法による分割回数がL回の前記長方形画像を前記分割回数が(L−1)回の長方形画像に変換して縮小画像を生成するステップを更に備えることを特徴とする請求項5記載の画像変換方法。
- 前記測地ドーム法による分割回数がL回の前記長方形画像を前記分割回数が(L+1)回の長方形画像に変換して拡大画像を生成するステップを更に備えることを特徴とする請求項5記載の画像変換方法。
- 前記長方形画像から透視画像を生成するステップを更に備え、
前記透視画像を生成するステップでは、生成すべき前記透視画像の画素配列構造を生成し、前記長方形画像に対応する前記球面画像上における点であって前記画素配列構造内の画素pに対応する点をmとし、点mの座標を(θm,φm)(θmは、前記測地ドームの第1及び第2の極を結ぶ線をzs軸とし、zs軸上の前記第1及び第2の極の間の中点を原点とし、zs軸に直交する2つの軸をxs軸及びys軸として有するxsyszs座標系において、原点に対する点mの方向と前記zs軸となす角度であり、φmは、原点に対する点mの方向に対するxs軸となす角度である)とした場合に、前記画素pの画素値を、前記測地ドームにおいて、前記点mを囲む3つの頂点の画素値に基づいて算出することによって、前記透視画像を生成することを特徴とする請求項4,5,10,11の何れか一項に記載の画像変換方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011015655A JP5664859B2 (ja) | 2010-03-11 | 2011-01-27 | 画像変換装置、画像生成システム、画像変換方法及び画像生成方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010054972 | 2010-03-11 | ||
JP2010054972 | 2010-03-11 | ||
JP2011015655A JP5664859B2 (ja) | 2010-03-11 | 2011-01-27 | 画像変換装置、画像生成システム、画像変換方法及び画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011210232A JP2011210232A (ja) | 2011-10-20 |
JP5664859B2 true JP5664859B2 (ja) | 2015-02-04 |
Family
ID=44941169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011015655A Expired - Fee Related JP5664859B2 (ja) | 2010-03-11 | 2011-01-27 | 画像変換装置、画像生成システム、画像変換方法及び画像生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5664859B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9052393B2 (en) | 2013-01-18 | 2015-06-09 | Caterpillar Inc. | Object recognition system having radar and camera input |
US9167214B2 (en) | 2013-01-18 | 2015-10-20 | Caterpillar Inc. | Image processing system using unified images |
JP6374754B2 (ja) * | 2014-10-14 | 2018-08-15 | 日本放送協会 | 画像合成装置及びそのプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6124857A (en) * | 1998-08-12 | 2000-09-26 | International Business Machines Corporation | Meshing method and apparatus |
JP2003271926A (ja) * | 2002-03-18 | 2003-09-26 | Katsumi Kawahara | 画像の周回視認方法 |
JP2006092084A (ja) * | 2004-09-22 | 2006-04-06 | Kyoto Sangyo Univ | 画像処理装置、画像処理方法、画像処理プログラムおよびその画像処理プログラムを記録したコンピュータ読み取り可能記録媒体 |
JP2010033573A (ja) * | 2008-07-01 | 2010-02-12 | Hajime Narukawa | 情報処理方法 |
-
2011
- 2011-01-27 JP JP2011015655A patent/JP5664859B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011210232A (ja) | 2011-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10659757B2 (en) | Light field capture | |
CN106803884B (zh) | 图像处理装置 | |
EP1909226B1 (en) | Apparatus, method, and medium for generating panoramic image | |
JP5020398B1 (ja) | 画像変換装置、カメラ、画像変換方法およびプログラム | |
US8855441B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
TWI387936B (zh) | A video conversion device, a recorded recording medium, a semiconductor integrated circuit, a fish-eye monitoring system, and an image conversion method | |
US7570280B2 (en) | Image providing method and device | |
JP3650578B2 (ja) | 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム | |
JP5558973B2 (ja) | 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム | |
JP6672315B2 (ja) | 画像生成装置、及び画像表示制御装置 | |
US20180018807A1 (en) | Method and apparatus for generating panoramic image with texture mapping | |
JP5666069B1 (ja) | 座標算出装置及び方法、並びに画像処理装置及び方法 | |
CN103020900B (zh) | 一种图像处理方法及装置 | |
JP2023519466A (ja) | 点群モデルの構築方法、装置、電子機器、記憶媒体及びプログラム | |
CN107862652B (zh) | 一种鸟瞰图生成方法及装置 | |
JP5664859B2 (ja) | 画像変換装置、画像生成システム、画像変換方法及び画像生成方法 | |
CN114511447A (zh) | 图像处理方法、装置、设备及计算机存储介质 | |
JP2018109946A (ja) | 表示装置、プログラム、表示方法 | |
EP3573018B1 (en) | Image generation device, and image display control device | |
JP2008243027A (ja) | 携帯端末 | |
JP2022507714A (ja) | 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体 | |
JP3660108B2 (ja) | 画像保存方法及び機械読み取り可能媒体 | |
CN112218110B (zh) | Vr全景视频的传输方法、装置、服务器及交互系统 | |
Li et al. | Interpolation of discrete spherical image | |
JPH09190550A (ja) | 全方位画像表示用データの生成方法及びその生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140819 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141028 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5664859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |