JP5169787B2 - 画像変換装置および画像変換方法 - Google Patents
画像変換装置および画像変換方法 Download PDFInfo
- Publication number
- JP5169787B2 JP5169787B2 JP2008316500A JP2008316500A JP5169787B2 JP 5169787 B2 JP5169787 B2 JP 5169787B2 JP 2008316500 A JP2008316500 A JP 2008316500A JP 2008316500 A JP2008316500 A JP 2008316500A JP 5169787 B2 JP5169787 B2 JP 5169787B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinates
- distorted circular
- mirror
- circular image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 236
- 238000000034 method Methods 0.000 title claims description 92
- 230000014509 gene expression Effects 0.000 claims description 88
- 238000004364 calculation method Methods 0.000 claims description 77
- 238000003384 imaging method Methods 0.000 claims description 74
- 238000003860 storage Methods 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 43
- 230000009466 transformation Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 24
- 238000005520 cutting process Methods 0.000 claims description 20
- 239000004065 semiconductor Substances 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 26
- 230000003287 optical effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
二次元XY直交座標系上のX軸上の座標値aおよびY軸上の座標値bを用いた座標(a,b)で示される位置に配置された多数の画素の集合体によって構成されたミラー歪曲円形画像を格納する歪曲円形画像格納部と、
二次元UV直交座標系上のU軸上の座標値uおよびV軸上の座標値vを用いた座標(u,v)で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
歪曲円形画像格納部に格納されているミラー歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
ディスプレイに表示されているミラー歪曲円形画像上における、切出中心点Kの位置および切り出し向きをユーザの指示に基づいて入力する指示入力部と、
座標(u,v)と座標(a,b)とを対応づけ、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標(a,b)で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、ミラー歪曲円形画像から切出中心点Kを中心として切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を平面正則画像格納部に格納する変換演算部と、
を設け、
変換演算部が、
放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーを用いた撮影により得られたミラー歪曲円形画像を平面正則画像に変換する処理を行う機能を有し、
全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元XY直交座標系上のX軸上の座標値xおよびY軸上の座標値yを用いた座標(x,y)で示される位置に配置された多数の画素の集合体によって構成したときに、ミラー歪曲円形画像上の任意位置の座標(a,b)と仮想レンズ歪曲円形画像上の対応位置の座標(x,y)との関係を示す第1の座標関係式と、仮想レンズ歪曲円形画像上の任意位置の座標(x,y)と平面正則画像上の対応位置の座標(u,v)との関係を示す第2の座標関係式と、を用いて、座標(u,v)と座標(a,b)との対応づけを行い、
全方位ミラーの反射面を構成する回転体曲面の焦点位置に原点Oを有し、この回転体曲面の回転軸方向をZ軸とするXYZ三次元直交座標系において、原点Oを中心とする所定半径rの仮想球面を仮定し、この仮想球面上の任意の点H(x,y,z)に対して法線方向から入射する入射光線がXY平面上の点S(x,y)へ向かう振る舞いをする正射影方式の魚眼レンズモデルを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定した変換処理を行うようにしたものである。
二次元XY直交座標系上のX軸上の座標値aおよびY軸上の座標値bを用いた座標(a,b)で示される位置に配置された多数の画素の集合体によって構成され、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像、もしくは二次元XY直交座標系上のX軸上の座標値xおよびY軸上の座標値yを用いた座標(x,y)で示される位置に配置された多数の画素の集合体によって構成され、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像を格納する歪曲円形画像格納部と、
二次元UV直交座標系上のU軸上の座標値uおよびV軸上の座標値vを用いた座標(u,v)で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
歪曲円形画像格納部に格納されている歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
ディスプレイに表示されている歪曲円形画像上における、切出中心点Kの位置および切り出し向きをユーザの指示に基づいて入力する指示入力部と、
歪曲円形画像格納部にミラー歪曲円形画像が格納されている場合には、座標(u,v)と座標(a,b)とを対応づけ、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標(a,b)で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、ミラー歪曲円形画像から切出中心点Kを中心として切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を平面正則画像格納部に格納する第1の処理を行い、歪曲円形画像格納部にレンズ歪曲円形画像が格納されている場合には、座標(u,v)と座標(x,y)とを対応づけ、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標(x,y)で示される位置に配置されたレンズ歪曲円形画像上の参照画素の画素値に基づいて決定することにより、レンズ歪曲円形画像から切出中心点Kを中心として切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を平面正則画像格納部に格納する第2の処理を行う変換演算部と、
を設け、
変換演算部が、
放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーを用いた撮影により得られたミラー歪曲円形画像を平面正則画像に変換する処理を行う機能を有し、
全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元XY直交座標系上のX軸上の座標値xおよびY軸上の座標値yを用いた座標(x,y)で示される位置に配置された多数の画素の集合体によって構成したときに、ミラー歪曲円形画像上の任意位置の座標(a,b)と仮想レンズ歪曲円形画像上の対応位置の座標(x,y)との関係を示す第1の座標関係式と、仮想レンズ歪曲円形画像上の任意位置の座標(x,y)と平面正則画像上の対応位置の座標(u,v)との関係を示す第2の座標関係式と、を用いて、座標(u,v)と座標(a,b)との対応づけを行い、
全方位ミラーの反射面を構成する回転体曲面の焦点位置に原点Oを有し、この回転体曲面の回転軸方向をZ軸とするXYZ三次元直交座標系において、原点Oを中心とする所定半径rの仮想球面を仮定し、この仮想球面上の任意の点H(x,y,z)に対して法線方向から入射する入射光線がXY平面上の点S(x,y)へ向かう振る舞いをする正射影方式の魚眼レンズモデルを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定した変換処理を行うようにしたものである。
変換演算部が、XYZ三次元直交座標系のXY平面上に配置された仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像上の任意位置の座標(a,b)と、仮想撮像面に形成されるであろう仮想レンズ歪曲円形画像上の対応位置の座標(x,y)と、の関係を示す第1の座標関係式を用いるようにしたものである。
変換演算部が、全方位ミラーを用いた撮影での実撮像面に形成されるミラー歪曲円形画像と、仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像とが、相似関係にあることを利用して導出された第1の座標関係式を用いるようにしたものである。
変換演算部が、全方位ミラーの反射面を構成する回転体曲面の元になる二次曲線について、離心率をe、焦点と準線との距離をq、焦点とピンホール点との距離をdとし、用いる魚眼レンズモデルの仮想球面の半径をrとしたときに、
a=eqd/(rd+ez(d−q))・x
b=eqd/(rd+ez(d−q))・y
r2=x2+y2+z2
なる式を、座標(a,b)と座標(x,y)との関係を示す第1の座標関係式として用いるようにしたものである。
指示入力部が、ユーザの指示に基づいて平面傾斜角φを指定するための情報を切り出し向きを示すパラメータとして入力する機能を有し、
変換演算部が、用いる魚眼レンズモデルの仮想球面の半径をrとしたときに、平面傾斜角φと、切出中心点Kの位置に基づいて定まる方位角αおよび天頂角βを用いて、
x=r(uA+vB+wE)/√(u2+v2+w2)
y=r(uC+vD+wF)/√(u2+v2+w2)
ここで、
A=cosφcosα−sinφsinαcosβ
B=−sinφcosα−cosφsinαcosβ
C=cosφsinα+sinφcosαcosβ
D=−sinφsinα+cosφcosαcosβ
E=sinβsinα
F=−sinβcosα
w=mr(但し、mは所定の変換倍率)
なる式を、座標(x,y)と座標(u,v)との関係を示す第2の座標関係式として用いるようにしたものである。
指示入力部が、ミラー歪曲円形画像上における切出中心点Kの位置を、二次元XY直交座標系上の座標(a0,b0)として入力する機能を有し、
変換演算部が、第1の座標関係式を用いて、座標(a0,b0)に対応する座標(x0,y0)を求め、XYZ三次元直交座標系において、座標(x0,y0)で示されるXY平面上の点K(x0,y0)を通りZ軸に平行な直線と仮想球面との交点G(x0,y0,z0)の位置に基づいて方位角αおよび天頂角βを定めるようにしたものである。
指示入力部が、ユーザの指示に基づいて変換倍率mを入力する機能を有し、
変換演算部が、指示入力部によって入力された変換倍率mを用いた演算を行うようにしたものである。
変換演算部が、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を決定する際に、対応する歪曲円形画像上の複数の参照画素の画素値に対する補間演算を行うようにしたものである。
カメラを用いた撮影により得られたミラー歪曲円形画像もしくはレンズ歪曲円形画像が歪曲円形画像格納部へと格納され、平面正則画像格納部に得られた平面正則画像がモニタ装置によって表示されるようにしたものである。
放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる回転体曲面を反射面とする全方位ミラーを用いた撮影により得られ、二次元XY直交座標系上のX軸上の座標値aおよびY軸上の座標値bを用いた座標(a,b)で示される位置に配置された多数の画素の集合体によって構成されたミラー歪曲円形画像を、歪曲円形画像格納部に格納する段階と、
歪曲円形画像格納部に格納されているミラー歪曲円形画像をディスプレイに表示する段階と、
ディスプレイに表示されているミラー歪曲円形画像上における、切出中心点Kの位置および切り出し向きをユーザの指示に基づいて入力する段階と、
座標(u,v)と座標(a,b)とを対応づけ、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標(a,b)で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、ミラー歪曲円形画像から切出中心点Kを中心として切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する変換演算を行う段階と、
をコンピュータもしくは電子回路に実行させ、
変換演算を行う際に、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元XY直交座標系上のX軸上の座標値xおよびY軸上の座標値yを用いた座標(x,y)で示される位置に配置された多数の画素の集合体によって構成したときに、ミラー歪曲円形画像上の任意位置の座標(a,b)と仮想レンズ歪曲円形画像上の対応位置の座標(x,y)との関係を示す第1の座標関係式と、仮想レンズ歪曲円形画像上の任意位置の座標(x,y)と平面正則画像上の対応位置の座標(u,v)との関係を示す第2の座標関係式と、を用いて、座標(u,v)と座標(a,b)との対応づけを行い、
上記回転体曲面の焦点位置に原点Oを有し、この回転体曲面の回転軸方向をZ軸とするXYZ三次元直交座標系において、原点Oを中心とする所定半径rの仮想球面を仮定し、この仮想球面上の任意の点H(x,y,z)に対して法線方向から入射する入射光線がXY平面上の点S(x,y)へ向かう振る舞いをする正射影方式の魚眼レンズモデルを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定した変換処理を行うようにしたものである。
変換演算を行う際に、XYZ三次元直交座標系のXY平面上に配置された仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像上の任意位置の座標(a,b)と、仮想撮像面に形成されるであろう仮想レンズ歪曲円形画像上の対応位置の座標(x,y)と、の関係を示す第1の座標関係式を用いるようにしたものである。
変換演算を行う際に、全方位ミラーを用いた撮影での実撮像面に形成されるミラー歪曲円形画像と、仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像とが、相似関係にあることを利用して導出された第1の座標関係式を用いるようにしたものである。
変換演算を行う際に、全方位ミラーの反射面を構成する回転体曲面の元になる二次曲線について、離心率をe、焦点と準線との距離をq、焦点とピンホール点との距離をdとし、用いる魚眼レンズモデルの仮想球面の半径をrとしたときに、
a=eqd/(rd+ez(d−q))・x
b=eqd/(rd+ez(d−q))・y
r2=x2+y2+z2
なる式を、座標(a,b)と座標(x,y)との関係を示す第1の座標関係式として用いるようにしたものである。
既に述べたとおり、全方位カメラには、魚眼レンズを用いたタイプと全方位ミラーを用いたタイプとの2通りがある。ここでは、まず、全方位ミラーを用いたタイプの概要を説明する。
本発明の本来の目的は、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像Cの一部分を切り出して、平面正則画像に変換する処理を効率的に行うことにあるが、上述したとおり、その変換処理には、概念上、魚眼レンズを用いた撮影により得られるであろう仮想の歪曲円形画像を仲介させる手法が採られる。そこで、ここでは、魚眼レンズを用いた全方位カメラの場合の変換処理の概要を説明する。
x=r(uA+vB+wE)/
√(u2+v2+w2) 式(1)
は、UV座標系上の1点T(u,v)の座標値u,vを用いて、XY座標系上の対応点S(x,y)のx座標値を求めるための式であるが、A,B,Eは、それぞれ、
A=cosφcosα−sinφsinαcosβ 式(3)
B=−sinφcosα−cosφsinαcosβ 式(4)
E=sinβsinα 式(7)
なる数式で求まる値であり、オイラー角α,β,φの三角関数を用いた演算によって決定されることになる。
y=r(uC+vD+wF)/
√(u2+v2+w2) 式(2)
は、UV座標系上の1点T(u,v)の座標値u,vを用いて、XY座標系上の対応点S(x,y)のy座標値を求めるための式であるが、C,D,Fは、それぞれ、
C=cosφsinα+sinφcosαcosβ 式(5)
D=−sinφsinα+cosφcosαcosβ 式(6)
F=−sinβcosα 式(8)
なる数式で求まる値であり、オイラー角α,β,φの三角関数を用いた演算によって決定されることになる。
w=mr 式(9)
で与えられる値である。ここで、rは、レンズ歪曲円形画像Sの半径であり、mは変換倍率である。変換倍率mは、座標値u,vのスケーリングと、座標値x,yのスケーリングとの関係を示すものであり、変換倍率mを大きく設定すればするほど、平面正則画像Tには拡大された画像が求められる。実際には、平面正則画像Tの大きさ(たとえば、縦横の画素数)には制限があるため、変換倍率mを大きく設定すればするほど、レンズ歪曲円形画像Sの切出領域Eは小さくなる。
ここでは、図14のブロック図を参照しながら、§2で述べた原理に基づく魚眼レンズ用画像変換装置の基本構成を説明する。図14において、一点鎖線で囲った部分が、魚眼レンズ用の画像変換装置100である。この装置は、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像Sの一部分を切り出して、平面正則画像Tに変換する処理を行う機能を有している。この例では、魚眼レンズを用いたカメラ10によって撮影されたレンズ歪曲円形画像Sが、デジタルデータとして、この画像変換装置100内に取り込まれている。
本発明による変換対象となる画像は、§1で述べたとおり、全方位ミラー式カメラで撮影されたミラー歪曲円形画像である。それにもかかわらず、§2,§3において、魚眼レンズ式カメラで撮影されたレンズ歪曲円形画像に対する画像変換を説明したのは、本発明では、レンズ歪曲円形画像に対する画像変換の原理をそのまま取り入れる手法を採るためである。
さて、ここでは、具体的に第1の座標関係式を導出してみる。前述したとおり、第1の座標関係式は、座標(a,b)と座標(x,y)との対応関係を定義する式であり、図17において、「aとxとの関係を示す式」および「bとyとの関係を示す式」ということになる。なお、§4では、説明の便宜上、曲面ミラーMが楕円曲面からなるミラーである場合を述べたが、本発明は、放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーであれば適用可能である。そこで、以下、曲面ミラーMが、放物線、楕円、二葉双曲線のいずれかの回転体からなる曲面をもったミラーである一般的な場合について、その幾何学的解析を行う。
q=λ+ρ・cosθ 式(10)
である。そして、二次曲線の性質により、
e=ρ/λ 式(11)
が成り立つ。よって、
ρ=eq/(1+ecosθ) 式(12)
が導出される。ここで、三角形OHSに着目すると、
cosθ=z/r 式(13)
であるから、これを式(12)に代入すれば、
ρ=req/(r+ez) 式(14)
が得られる。
x′/(d−z′)=a/d 式(15)
が成り立つので、
a=dx′/(d−z′) 式(16)。
また、三角形OQDと三角形OHSとの相似を利用すれば、
x′=ρx/r、z′=ρz/r 式(17)
なので、
a=(d(ρx/r))/(d−(ρz/r)) 式(18)
が得られる。最後に、式(18)のρに、式(14)のρを代入すれば、
a=eqd/(rd+ez(d−q))・x 式(19)
が得られる。
b=eqd/(rd+ez(d−q))・y 式(20)
が得られる。また、rは、仮想球面Hの半径であり、図17の三次元モデルにおいて、線分OHの長さは半径rに等しいから、
r2=x2+y2+z2 式(21)
が成り立つ。かくして、図25に示すように、式(19),式(20),式(21)の3本の式が得られる。
x=(rd+ez(d−q))/eqd・a 式(22)
y=(rd+ez(d−q))/eqd・b 式(23)
が得られる。ここで、右辺の変数zについては、式(21)に、式(22),式(23)を代入すれば、
((rd+ez(d−q))/eqd)2(a2+b2)+z2=r2 式(24)
が得られるので、この式(24)を変数zに関する2次方程式として、解の公式を適用して算出することができる。
ここでは、図28のブロック図を参照しながら、§5で述べた原理に基づく全方位ミラー用画像変換装置の基本構成を説明する。図28において、一点鎖線で囲った部分が、全方位ミラー用の画像変換装置200である。この装置は、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像Cの一部分を切り出して、平面正則画像Tに変換する処理を行う機能を有している。この例では、全方位ミラーを用いたカメラ20によって撮影されたミラー歪曲円形画像Cが、デジタルデータとして、この画像変換装置200内に取り込まれている。
§3では、図14を参照しながら、魚眼レンズ用画像変換装置100の基本構成を説明し、§6では、図28を参照しながら、全方位ミラー用画像変換装置200の基本構成を説明した。ここで、図14に示す装置100の構成と、図28に示す装置200の構成とを比較してみると、極めて類似していることがわかる。実際、同じ符号を付したブロック構成要素、すなわち、歪曲円形画像格納部110,平面正則画像格納部120,歪曲円形画像表示部140,指示入力部150は、両者で共通する構成要素となっている。
以上、本発明に係る画像変換装置の基本構成を、図28および図29のブロック図を参照しながら説明したが、これらの画像変換装置は、汎用のコンピュータに、専用のプログラムを組み込むことによって構成することが可能である。その場合、歪曲円形画像格納部110や平面正則画像格納部120は、当該コンピュータ用の記憶装置によって構成し、歪曲円形画像表示部140や指示入力部150は、当該コンピュータ用のディスプレイやマウスおよびこれらを制御するハードウエアやソフトウエアによって構成すればよい。また、変換演算部230,330は、専用のプログラムに基づくコンピュータの演算機能によって実現されることになる。
20:全方位ミラーを用いたカメラ
21:土台
22:全方位ミラー
23:透明カバー
24:撮像素子
50:テーブル
100:魚眼レンズ用の画像変換装置
110:歪曲円形画像格納部
120:平面正則画像格納部
130:変換演算部
140:歪曲円形画像表示部
150:指示入力部
200:本発明の基本的実施形態に係る画像変換装置
230:変換演算部
300:本発明の別な実施形態に係る画像変換装置
330:変換演算部
A:垂線の足
a:X軸上の任意の座標値
B:垂線の足
b:Y軸上の任意の座標値
C:ミラー歪曲円形画像
C(a,b):ミラー歪曲円形画像C上の点
C10〜C45:結像点
D:垂線の足
d:焦点Fとピンホール点Pとの距離
E:切出領域
e:離心率
F:二次曲線の焦点
G(x0,y0,z0):切出中心点K(x0,y0)を通りZ軸に平行な直線と仮想球面Hとの交点(UV座標系の原点)
H:仮想球面
H(x,y,z):仮想球面H上の入射点
J0〜J5:撮像面
K,K(a0,b0),K(x0,y0):切出中心点
L,L1〜L40:入射光線
M:曲面ミラー/曲面ミラーの反射面
m:変換倍率
Nu:ディスプレイの横方向寸法(水平方向の画素数)
Nv:ディスプレイの縦方向寸法(垂直方向の画素数)
n:法線ベクトル
O:三次元XYZ直交座標系の原点
P:ピンホール点
Q,Q(x′,y′,z′):反射点
q:焦点Fと準線ξとの距離
r:仮想球面Hの半径
S:レンズ歪曲円形画像
S(x,y):レンズ歪曲円形画像S上の点
Sc:遮光スクリーン
T,T1,T2:平面正則画像
T(u,v):平面正則画像T上の点
T1(u,v):平面正則画像T1上の点
T2(u,v):平面正則画像T2上の点
U:二次元UV直交座標系の座標軸
V:二次元UV直交座標系の座標軸
w:変数
X:三次元XYZ直交座標系の座標軸
Y:三次元XYZ直交座標系の座標軸
Z:三次元XYZ直交座標系の座標軸
x,y,z,x′,y′,z′:座標値
α:方位角
β:天頂角
γ:二次曲線
θ:XZ平面上での角度
λ:2点QA間の距離
ρ:2点FQ間の距離
φ:平面傾斜角
ξ:準線
Claims (16)
- 全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置であって、
二次元XY直交座標系上のX軸上の座標値aおよびY軸上の座標値bを用いた座標(a,b)で示される位置に配置された多数の画素の集合体によって構成されたミラー歪曲円形画像を格納する歪曲円形画像格納部と、
二次元UV直交座標系上のU軸上の座標値uおよびV軸上の座標値vを用いた座標(u,v)で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
前記歪曲円形画像格納部に格納されているミラー歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
前記ディスプレイに表示されているミラー歪曲円形画像上における、切出中心点Kの位置および切り出し向きをユーザの指示に基づいて入力する指示入力部と、
座標(u,v)と座標(a,b)とを対応づけ、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標(a,b)で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記ミラー歪曲円形画像から前記切出中心点Kを中心として前記切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を前記平面正則画像格納部に格納する変換演算部と、
を備え、
前記変換演算部が、
放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーを用いた撮影により得られたミラー歪曲円形画像を平面正則画像に変換する処理を行う機能を有し、
全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元XY直交座標系上のX軸上の座標値xおよびY軸上の座標値yを用いた座標(x,y)で示される位置に配置された多数の画素の集合体によって構成したときに、前記ミラー歪曲円形画像上の任意位置の座標(a,b)と前記仮想レンズ歪曲円形画像上の対応位置の座標(x,y)との関係を示す第1の座標関係式と、前記仮想レンズ歪曲円形画像上の任意位置の座標(x,y)と前記平面正則画像上の対応位置の座標(u,v)との関係を示す第2の座標関係式と、を用いて、座標(u,v)と座標(a,b)との対応づけを行い、
全方位ミラーの反射面を構成する回転体曲面の焦点位置に原点Oを有し、前記回転体曲面の回転軸方向をZ軸とするXYZ三次元直交座標系において、前記原点Oを中心とする所定半径rの仮想球面を仮定し、前記仮想球面上の任意の点H(x,y,z)に対して法線方向から入射する入射光線がXY平面上の点S(x,y)へ向かう振る舞いをする正射影方式の魚眼レンズモデルを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定した変換処理を行うことを特徴とする画像変換装置。 - 全方位ミラーもしくは魚眼レンズを用いた撮影により得られた歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換装置であって、
二次元XY直交座標系上のX軸上の座標値aおよびY軸上の座標値bを用いた座標(a,b)で示される位置に配置された多数の画素の集合体によって構成され、全方位ミラーを用いた撮影により得られたミラー歪曲円形画像、もしくは二次元XY直交座標系上のX軸上の座標値xおよびY軸上の座標値yを用いた座標(x,y)で示される位置に配置された多数の画素の集合体によって構成され、魚眼レンズを用いた撮影により得られたレンズ歪曲円形画像を格納する歪曲円形画像格納部と、
二次元UV直交座標系上のU軸上の座標値uおよびV軸上の座標値vを用いた座標(u,v)で示される位置に配置された多数の画素の集合体によって構成される平面正則画像を格納する平面正則画像格納部と、
前記歪曲円形画像格納部に格納されている歪曲円形画像をディスプレイに表示する歪曲円形画像表示部と、
前記ディスプレイに表示されている歪曲円形画像上における、切出中心点Kの位置および切り出し向きをユーザの指示に基づいて入力する指示入力部と、
前記歪曲円形画像格納部に前記ミラー歪曲円形画像が格納されている場合には、座標(u,v)と座標(a,b)とを対応づけ、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標(a,b)で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記ミラー歪曲円形画像から前記切出中心点Kを中心として前記切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を前記平面正則画像格納部に格納する第1の処理を行い、前記歪曲円形画像格納部に前記レンズ歪曲円形画像が格納されている場合には、座標(u,v)と座標(x,y)とを対応づけ、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標(x,y)で示される位置に配置されたレンズ歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記レンズ歪曲円形画像から前記切出中心点Kを中心として前記切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する演算を行い、生成された平面正則画像を前記平面正則画像格納部に格納する第2の処理を行う変換演算部と、
を備え、
前記変換演算部が、
放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる曲面を反射面とする全方位ミラーを用いた撮影により得られたミラー歪曲円形画像を平面正則画像に変換する処理を行う機能を有し、
全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元XY直交座標系上のX軸上の座標値xおよびY軸上の座標値yを用いた座標(x,y)で示される位置に配置された多数の画素の集合体によって構成したときに、前記ミラー歪曲円形画像上の任意位置の座標(a,b)と前記仮想レンズ歪曲円形画像上の対応位置の座標(x,y)との関係を示す第1の座標関係式と、前記仮想レンズ歪曲円形画像上の任意位置の座標(x,y)と前記平面正則画像上の対応位置の座標(u,v)との関係を示す第2の座標関係式と、を用いて、座標(u,v)と座標(a,b)との対応づけを行い、
全方位ミラーの反射面を構成する回転体曲面の焦点位置に原点Oを有し、前記回転体曲面の回転軸方向をZ軸とするXYZ三次元直交座標系において、前記原点Oを中心とする所定半径rの仮想球面を仮定し、前記仮想球面上の任意の点H(x,y,z)に対して法線方向から入射する入射光線がXY平面上の点S(x,y)へ向かう振る舞いをする正射影方式の魚眼レンズモデルを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定した変換処理を行うことを特徴とする画像変換装置。 - 請求項1または2に記載の画像変換装置において、
変換演算部が、XYZ三次元直交座標系のXY平面上に配置された仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像上の任意位置の座標(a,b)と、前記仮想撮像面に形成されるであろう仮想レンズ歪曲円形画像上の対応位置の座標(x,y)と、の関係を示す第1の座標関係式を用いることを特徴とする画像変換装置。 - 請求項3に記載の画像変換装置において、
変換演算部が、全方位ミラーを用いた撮影での実撮像面に形成されるミラー歪曲円形画像と、仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像とが、相似関係にあることを利用して導出された第1の座標関係式を用いることを特徴とする画像変換装置。 - 請求項4に記載の画像変換装置において、
変換演算部が、全方位ミラーの反射面を構成する回転体曲面の元になる二次曲線について、離心率をe、焦点と準線との距離をq、焦点とピンホール点との距離をdとし、用いる魚眼レンズモデルの仮想球面の半径をrとしたときに、
a=eqd/(rd+ez(d−q))・x
b=eqd/(rd+ez(d−q))・y
r2=x2+y2+z2
なる式を、座標(a,b)と座標(x,y)との関係を示す第1の座標関係式として用いることを特徴とする画像変換装置。 - 請求項1または2に記載の画像変換装置において、
指示入力部が、ユーザの指示に基づいて平面傾斜角φを指定するための情報を切り出し向きを示すパラメータとして入力する機能を有し、
変換演算部が、用いる魚眼レンズモデルの仮想球面の半径をrとしたときに、前記平面傾斜角φと、切出中心点Kの位置に基づいて定まる方位角αおよび天頂角βを用いて、
x=r(uA+vB+wE)/√(u2+v2+w2)
y=r(uC+vD+wF)/√(u2+v2+w2)
ここで、
A=cosφcosα−sinφsinαcosβ
B=−sinφcosα−cosφsinαcosβ
C=cosφsinα+sinφcosαcosβ
D=−sinφsinα+cosφcosαcosβ
E=sinβsinα
F=−sinβcosα
w=mr(但し、mは所定の変換倍率)
なる式を、座標(x,y)と座標(u,v)との関係を示す第2の座標関係式として用いることを特徴とする画像変換装置。 - 請求項6に記載の画像変換装置において、
指示入力部が、ミラー歪曲円形画像上における切出中心点Kの位置を、二次元XY直交座標系上の座標(a0,b0)として入力する機能を有し、
変換演算部が、第1の座標関係式を用いて、前記座標(a0,b0)に対応する座標(x0,y0)を求め、XYZ三次元直交座標系において、前記座標(x0,y0)で示されるXY平面上の点K(x0,y0)を通りZ軸に平行な直線と仮想球面との交点G(x0,y0,z0)の位置に基づいて方位角αおよび天頂角βを定めることを特徴とする画像変換装置。 - 請求項6または7に記載の画像変換装置において、
指示入力部が、ユーザの指示に基づいて変換倍率mを入力する機能を有し、
変換演算部が、前記指示入力部によって入力された変換倍率mを用いた演算を行うことを特徴とする画像変換装置。 - 請求項1〜8のいずれかに記載の画像変換装置において、
変換演算部が、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を決定する際に、対応する歪曲円形画像上の複数の参照画素の画素値に対する補間演算を行うことを特徴とする画像変換装置。 - 請求項1〜9のいずれかに記載の画像変換装置としてコンピュータを機能させるためのプログラム。
- 請求項1〜9のいずれかに記載の画像変換装置の構成要素となる変換演算部として機能する電子回路が組み込まれた半導体集積回路。
- 請求項1〜9のいずれかに記載の画像変換装置と、全方位ミラーもしくは魚眼レンズを用いたカメラと、平面正則画像を画面上に表示するモニタ装置と、を備え、
前記カメラを用いた撮影により得られたミラー歪曲円形画像もしくはレンズ歪曲円形画像が歪曲円形画像格納部へと格納され、平面正則画像格納部に得られた平面正則画像が前記モニタ装置によって表示されるように構成されていることを特徴とする全方位監視システム。 - 全方位ミラーを用いた撮影により得られたミラー歪曲円形画像の一部分を切り出して、平面正則画像に変換する処理を行う画像変換方法であって、
放物線、楕円、二葉双曲線のいずれかの二次曲線の回転体からなる回転体曲面を反射面とする全方位ミラーを用いた撮影により得られ、二次元XY直交座標系上のX軸上の座標値aおよびY軸上の座標値bを用いた座標(a,b)で示される位置に配置された多数の画素の集合体によって構成されたミラー歪曲円形画像を、歪曲円形画像格納部に格納する段階と、
前記歪曲円形画像格納部に格納されているミラー歪曲円形画像をディスプレイに表示する段階と、
前記ディスプレイに表示されているミラー歪曲円形画像上における、切出中心点Kの位置および切り出し向きをユーザの指示に基づいて入力する段階と、
座標(u,v)と座標(a,b)とを対応づけ、座標(u,v)で示される位置に配置された平面正則画像上の画素の画素値を、対応する座標(a,b)で示される位置に配置されたミラー歪曲円形画像上の参照画素の画素値に基づいて決定することにより、前記ミラー歪曲円形画像から前記切出中心点Kを中心として前記切り出し向きに応じて切り出された部分画像について、平面正則画像を生成する変換演算を行う段階と、
をコンピュータもしくは電子回路に実行させ、
前記変換演算を行う際に、全方位ミラーを用いる代わりに魚眼レンズを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定し、この仮想レンズ歪曲円形画像を、二次元XY直交座標系上のX軸上の座標値xおよびY軸上の座標値yを用いた座標(x,y)で示される位置に配置された多数の画素の集合体によって構成したときに、前記ミラー歪曲円形画像上の任意位置の座標(a,b)と前記仮想レンズ歪曲円形画像上の対応位置の座標(x,y)との関係を示す第1の座標関係式と、前記仮想レンズ歪曲円形画像上の任意位置の座標(x,y)と前記平面正則画像上の対応位置の座標(u,v)との関係を示す第2の座標関係式と、を用いて、座標(u,v)と座標(a,b)との対応づけを行い、
前記回転体曲面の焦点位置に原点Oを有し、前記回転体曲面の回転軸方向をZ軸とするXYZ三次元直交座標系において、前記原点Oを中心とする所定半径rの仮想球面を仮定し、前記仮想球面上の任意の点H(x,y,z)に対して法線方向から入射する入射光線がXY平面上の点S(x,y)へ向かう振る舞いをする正射影方式の魚眼レンズモデルを用いた撮影により得られるであろう仮想レンズ歪曲円形画像を仮定した変換処理を行うことを特徴とする画像変換方法。 - 請求項13に記載の画像変換方法において、
変換演算を行う際に、XYZ三次元直交座標系のXY平面上に配置された仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像上の任意位置の座標(a,b)と、前記仮想撮像面に形成されるであろう仮想レンズ歪曲円形画像上の対応位置の座標(x,y)と、の関係を示す第1の座標関係式を用いることを特徴とする画像変換方法。 - 請求項14に記載の画像変換方法において、
変換演算を行う際に、全方位ミラーを用いた撮影での実撮像面に形成されるミラー歪曲円形画像と、仮想撮像面に形成されるであろう仮想ミラー歪曲円形画像とが、相似関係にあることを利用して導出された第1の座標関係式を用いることを特徴とする画像変換方法。 - 請求項15に記載の画像変換方法において、
変換演算を行う際に、全方位ミラーの反射面を構成する回転体曲面の元になる二次曲線について、離心率をe、焦点と準線との距離をq、焦点とピンホール点との距離をdとし、用いる魚眼レンズモデルの仮想球面の半径をrとしたときに、
a=eqd/(rd+ez(d−q))・x
b=eqd/(rd+ez(d−q))・y
r2=x2+y2+z2
なる式を、座標(a,b)と座標(x,y)との関係を示す第1の座標関係式として用いることを特徴とする画像変換方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008316500A JP5169787B2 (ja) | 2008-12-12 | 2008-12-12 | 画像変換装置および画像変換方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008316500A JP5169787B2 (ja) | 2008-12-12 | 2008-12-12 | 画像変換装置および画像変換方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010140292A JP2010140292A (ja) | 2010-06-24 |
JP5169787B2 true JP5169787B2 (ja) | 2013-03-27 |
Family
ID=42350379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008316500A Expired - Fee Related JP5169787B2 (ja) | 2008-12-12 | 2008-12-12 | 画像変換装置および画像変換方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5169787B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5578011B2 (ja) * | 2010-10-14 | 2014-08-27 | 大日本印刷株式会社 | 広角撮影画像へのスーパーインポーズ方法および装置 |
JP5569329B2 (ja) * | 2010-10-15 | 2014-08-13 | 大日本印刷株式会社 | 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等 |
US10796402B2 (en) * | 2018-10-19 | 2020-10-06 | Tusimple, Inc. | System and method for fisheye image processing |
CN110533618B (zh) * | 2019-09-03 | 2022-11-01 | 西安奇维科技有限公司 | 一种镜头畸变矫正的方法和照相装置 |
CN112488966A (zh) * | 2020-12-23 | 2021-03-12 | 深圳疆程技术有限公司 | 一种图像的反畸变方法、装置、电子设备及汽车 |
CN114972013B (zh) * | 2022-05-11 | 2023-10-13 | 桂林理工大学 | 球面几何单次变换的鱼眼影像快速正射纠正方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5185667A (en) * | 1991-05-13 | 1993-02-09 | Telerobotics International, Inc. | Omniview motionless camera orientation system |
JP3627914B2 (ja) * | 2000-05-23 | 2005-03-09 | シャープ株式会社 | 車両の周囲監視システム |
KR101329470B1 (ko) * | 2005-11-11 | 2013-11-13 | 소니 주식회사 | 화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 기록 매체 |
-
2008
- 2008-12-12 JP JP2008316500A patent/JP5169787B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010140292A (ja) | 2010-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6721065B2 (ja) | 撮像装置、画像処理装置および方法 | |
JP5728393B2 (ja) | 全方位撮影システム | |
JP4629131B2 (ja) | 画像変換装置 | |
JP5676092B2 (ja) | パノラマ画像生成方法及びパノラマ画像生成プログラム | |
JP5169787B2 (ja) | 画像変換装置および画像変換方法 | |
JP5872818B2 (ja) | 測位処理装置、測位処理方法、および画像処理装置 | |
JP4825971B2 (ja) | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 | |
JP2017208619A (ja) | 画像処理装置、画像処理方法、プログラム及び撮像システム | |
JP6615545B2 (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
JP2015119395A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2010276433A (ja) | 撮像装置、画像処理装置及び距離計測装置 | |
KR102176963B1 (ko) | 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법 | |
JP5245963B2 (ja) | 画像変換装置 | |
CN114511447A (zh) | 图像处理方法、装置、设备及计算机存储介质 | |
Corke et al. | Image Formation | |
JPH1195344A (ja) | 全方位ステレオ画像撮影装置 | |
JP3594225B2 (ja) | 広視野カメラ装置 | |
JP2016114445A (ja) | 3次元位置算出装置およびそのプログラム、ならびに、cg合成装置 | |
JP4548228B2 (ja) | 画像データ作成方法 | |
JP2005275789A (ja) | 三次元構造抽出方法 | |
JP6755737B2 (ja) | 距離測定装置、撮像装置、および距離測定方法 | |
JPH1118007A (ja) | 全方向性画像表示システム | |
JP2007264402A (ja) | 全方位視覚センサ | |
JP2014165866A (ja) | 画像処理装置及びその制御方法、プログラム | |
Sahin | The geometry and usage of the supplementary fisheye lenses in smartphones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121109 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121217 |
|
LAPS | Cancellation because of no payment of annual fees |