WO2014208230A1

WO2014208230A1 - 座標算出装置及び方法、並びに画像処理装置及び方法

Info

Publication number: WO2014208230A1
Application number: PCT/JP2014/063663
Authority: WO
Inventors: 青木　透; 的場　成浩
Original assignee: 三菱電機株式会社
Priority date: 2013-06-24
Filing date: 2014-05-23
Publication date: 2014-12-31
Also published as: EP3016065A4; US9436973B2; JPWO2014208230A1; EP3016065B1; JP5666069B1; CN105324791B; US20160078590A1; EP3016065A1; CN105324791A

Abstract

　魚眼レンズ或いは全方位ミラーなどの超広角光学系を用いた撮影で得られた歪曲画像を補正して透視射影方式の画像を得る画像処理において、投影球面上の高さと光軸からの距離を組み合わせた合成指標（Ｒｎ）を算出し（３０１）、合成指標（Ｒｎ）を用いて、歪曲画像中における原点からの距離（Ｒｆ）を算出する（３０２）。さらに、原点からの距離（Ｒｆ）を用いて歪曲画像中の２次元座標（ｐ、ｑ）を算出し（３０３）、２次元座標で特定された歪曲画像中の位置又はその近傍の画素を用いて出力画像の画素値を求める。演算量を抑えながら、高精度に、投影球面から撮像面への射影、即ち座標面上の座標の算出を行うことができる。

Description

座標算出装置及び方法、並びに画像処理装置及び方法

　本発明は、魚眼レンズ或いは全方位ミラーなどの超広角光学系を用いた撮影で得られた歪曲画像を補正して透視射影方式の画像を得る画像処理装置及び方法、並びにそのような画像処理装置及び方法で用いられる座標算出装置及び方法に関する。

　魚眼レンズ或いは全方位ミラーなどの超広角光学系は、１８０度或いはそれ以上の画角の映像を一つの撮像面に投影することができ、広い撮像視野が要求される種々の分野で利用されている。

　しかし、超広角光学系を用いて撮像した映像は、通常の透視射影の画像と比べ、被写体の形状が樽型に歪んで見えるので、撮像した画像（歪曲画像）をそのまま表示すると違和感を与える。そのため、超広角光学系で撮像した映像を表示する場合、画像の一部である着目領域を切り出し、切り出した画像を通常の透視射影方式に変換して表示することが行われる。

　この変換に当たっては、撮像面の一方の側に位置する半球面上の投影面（投影球面）を仮想し、該投影球面から撮像面への射影が行われる。この射影には、投影球面上の着目点に対応する撮像面上の位置を求める処理が含まれる。この処理において、撮像面上における像高（光軸からの距離）を算出するために、特許文献１には、天頂角を用いることが示されている（第７欄）。天頂角を用いると、例えば、射影が正射影、立体射影、又は等立体角射影で行われる場合に、天頂角の三角関数を求める必要がある。特許文献１では三角関数を求める処理を簡略化するためにルックアップテーブルを用いることを教示している。

特許第３１２６９５５号明細書

　天頂角の代わりに、光軸方向の位置（高さ）を用いることも考えられる。高さを用いる場合には、三角関数の演算が不要になり演算量を少なくできる。しかし、投影球面の天頂付近では、天頂角の変化に対する高さの変化が少なくなるので、所望の精度で計算を行うために、天頂付近において高さを表すデータのビット数を多くする必要がある。

　代わりに、光軸からの距離を用いることも考えられる。この場合にも、三角関数の演算が不要になり演算量を少なくできる。しかし、投影球面の地平付近では、天頂角の変化に対する光軸からの距離の変化が少なくなるので、所望の精度で計算を行うために、地平付近において、光軸方向の距離を表すデータのビット数を多くする必要がある。

　本発明は上記の問題を解決するためになされたものであり、演算量を抑えながら、高精度に、投影球面から撮像面への射影、即ち座標面上の座標の算出を行うことができるようにすることを目的とする。

　本発明に係る座標算出装置は、
　投影球面上の３次元座標を歪曲画像上の２次元座標に変換する座標算出装置において、
　前記３次元座標から得られる、投影球面上の着目点の高さと光軸からの距離を組み合わせた合成指標を算出する合成指標算出部と、
　前記合成指標から、前記歪曲画像中における前記着目点に対応する点の、前記歪曲画像中の原点からの距離を算出する距離算出部と、
　前記歪曲画像中における前記原点からの距離から、前記歪曲画像中の２次元座標を算出する座標算出部と
　を備えたことを特徴とする。

　本発明によれば、投影球面上での高さと光軸からの距離を組み合わせた合成指標を用いているので、少ないビット数で高精度に座標の算出を行うことができる。

本発明に係る画像処理装置の構成例を示すブロック図である。魚眼画像の一例を示す図である。被写体から投影球面への投影、投影球面から撮像面への投影を示す図である。投影球面上のｘ、ｙ、ｚ座標値を示す図である。撮像面、投影球面、及び出力画像面の位置関係を示す図である。（ａ）～（ｄ）は、ズーム倍率、パン角、チルト角及び平面傾斜角を示す図である。図１の画像処理装置の画像補正処理部の構成例を示すブロック図である。（ａ）及び（ｂ）は、画像補正処理の概要を示す図である。（ａ）～（ｃ）は、投影球面上の着目点の天頂角、高さ、光軸からの距離の例を示す図である。本発明の実施の形態１の座標算出装置を示すブロック図である。投影球面上の着目点の天頂角と、合成指標Ｒｎ、高さｚ、光軸からの距離ｒの関係を示すグラフである。本発明の実施の形態２の座標算出方法の処理手順を示すフロー図である。

実施の形態１．
　図１は、本発明の実施の形態１の画像処理装置を示す。図示の画像処理装置は、超広角光学系の一例としての魚眼レンズ１０１と、撮像信号生成部１０２と、映像メモリ１０３と、画像補正処理部１０４と、補正映像出力回路１０５とを有する。

　魚眼レンズ１０１は、広い画角の像を光学的に取り込むものであり、例えば図２に示されるように円形の歪曲画像が得られる。図２の円形の画像は、画角１８０度までの範囲内にある被写体の画像である。図２は、道路の交差点から一つの道路に沿う方向を撮像したときに得られる画像を簡略化して示している。以下では、魚眼レンズ１０１で取りこまれた歪曲画像を魚眼画像と言う。

　以下、図３を参照して魚眼レンズを用いた場合の撮像について説明する。
　魚眼レンズ１０１の光軸ＡＬに垂直な撮像面Ｆと、撮像面Ｆと光軸ＡＬとの交点Ｏを中心とし、撮像面Ｆの被写体側（撮像対象空間側）に位置し、その底面が撮像面に一致する半球上の投影面（投影球面）Ｓを仮想する。
　被写体からの光はすべて、上記の中心Ｏに向かって進み、投影球面Ｓに投影され、投影球面Ｓから撮像面Ｆに投影されるものと考えることができる。
　投影球面Ｓから撮像面Ｆへの投影は、正射影方式、立体射影方式、等距離射影方式、等立体射影方式などのいずれかで行われる。いずれの方式で射影が行われるかは、用いられている魚眼レンズ１０１によって異なる。

　図３には、鎖線ＢＬで示す方向からの光が、投影球面Ｓ上の点Ｐｓに投影され、撮像面Ｆ上の点Ｐｆに投影される場合を示す。
　撮像面Ｆ上の点Ｐｆの位置は、２次元座標（ｐ，ｑ）で表される。この２次元座標は撮像面Ｆの互いに直交する２つの方向に延びた２つの座標軸、即ちＰ軸及びＱ軸の方向における位置を表す。

　投影球面Ｓ上の点Ｐｓの位置は、３次元座標（ｘ，ｙ，ｚ）で示される。この３次元座標は撮像面Ｆと光軸ＡＬの交点(従って、上記半球の底面の中心)Ｏを原点とし、光軸方向ＡＬに延びた座標軸であるＺ軸、撮像面Ｆ上のＰ軸、Ｑ軸にそれぞれ一致する座標軸であるＸ軸及びＹ軸の方向における位置を表す。図４には、ｘ、ｙ、ｚ座標値の大きさが分離して示されている。

　点Ｐｓの位置は、天頂角θと方位角∂で表すこともできる。
　点Ｐｓの天頂角θは、光軸ＡＬからの傾き角、言い換えると、点Ｐｓと原点Ｏを結ぶ直線と光軸ＡＬとの成す角である。
　点Ｐｓの方位角∂は、光軸を中心とする回転方向の角度であり、例えばＸ軸の方向を基準方向とする。

　投影球面Ｓから撮像面Ｆへ射影は、方位角が変化しないように行われる。従って、点Ｐｆの方位角は、点Ｐｓの方位角と同じであり、符号∂で表される。

　光軸ＡＬから点Ｐｆまでの距離（従って、原点Ｏから点Ｐｆまでの距離）Ｒｆと光軸ＡＬから点Ｐｓまでの距離ｒとの関係は射影方式によって異なる。
　即ち、点Ｐｓの天頂角θと、光軸ＡＬから点Ｐｆまでの距離Ｒｆとの関係は、以下のように、射影方式によって異なる。例えば、正射影方式の場合には、
　Ｒｆ＝Ｒｂ×ｓｉｎθ　　（１）
の関係があり、立体射影の場合には、
　Ｒｆ＝Ｒｂ×ｔａｎ（θ／２）　　（２）
の関係がある。
　上記の式において、Ｒｂは投影球面Ｓの半径である。図２に示される円形魚眼画像の半径Ｒｂ（画像の中心から画角１８０度の点までの距離）が投影球面Ｓの半径に相当する。

　一方、天頂角θと、光軸ＡＬから点Ｐｓまでの距離ｒとの間には、
　ｒ＝Ｒｂ×ｓｉｎθ　　（３）
と言う関係がある。従って、正射影方式の場合には、
　Ｒｆ＝ｒ　　（４）
の関係があり、立体射影方式の場合には、

の関係がある。

　撮像信号生成部１０２は、図３に示される撮像面Ｆを有する、例えばＣＣＤで構成された撮像素子を含み、光学的な像を表す電気的な画像信号を生成する。
　映像メモリ１０３は、撮像信号生成部１０２で生成された画像信号をフレーム単位で記憶する。

　画像補正処理部１０４は、映像メモリ１０３に記憶された画像信号を読み出し、該画像信号で表される魚眼画像を補正して、補正画像を出力する。補正に当たっては、魚眼画像の一部の領域、即ち、図５に示される視線方向ＤＯＶに対応する魚眼画像中の位置及びその周囲の位置を含む領域（視線方向ＤＯＶ及びその周辺の方向からの光で生成された魚眼画像の部分）を選択し、選択された画像を透視射影方式の画像に変換する。画像補正処理部１０４による補正後の画像を以下では「出力画像」と言う。

　出力画像は、図５に示されるように、投影球面Ｓ上の画像を平面（出力画像面）Ｈ上に透視射影した画像であり、出力画像面と同じ符号Ｈで表される。
　平面Ｈは、視線方向ＤＯＶを示す直線と、投影球面Ｓとの交点Ｇにおいて投影球面Ｓに接するものである。平面（出力画像面）Ｈ上の点Ｐｈの位置は、投影球面Ｓとの接点Ｇを原点とする座標（ｕ，ｖ）で表される。座標（ｕ，ｖ）は出力画像面Ｈ上の互いに直交する座標軸であるＵ軸、Ｖ軸の方向の位置を表す。

　Ｕ軸は、回転基準軸Ｊに対して角度φをなす。回転基準軸Ｊは、原点Ｇを通り、ＸＹ平面に平行で、直線ＯＧ（原点Ｏと原点Ｇを結ぶ直線）に直交する。角度φを平面傾斜角或いは回転角と言う。
　原点Ｇの方位角∂をパン角と言い、符号αで表す。原点Ｇの天頂角θをチルト角と言い、符号βで表す。出力画像のサイズ、即ち出力画像の画角（電子ズーム画角）は倍率（ズーム倍率）ｍによって変更可能である。図６（ａ）は、ズーム倍率の変更による出力画像のサイズの変更を概念的に示す。図６（ｂ）、（ｃ）、（ｄ）は、図５と同じ出力画像面Ｈについてパン角α、チルト角β、平面傾斜角φを別々に示す。

　投影球面Ｓ上の画像の出力画像面Ｈへの射影に当たっては、投影球面Ｓ上の点Ｐｓ（ｘ,ｙ，ｚ）が、点Ｐｓと原点Ｏとを通る直線と、出力画像面Ｈとの交点Ｐｈ（ｕ，ｖ）に射影される。
　画像補正処理部１０４は、上記した出力画像（出力画像面Ｈに射影された画像）を生成するため、出力画像の各画素（着目画素）の位置に対応する、魚眼画像中の位置を算出し、算出した魚眼画像中の位置又はその近傍の画素の画素値に基づいて出力画像の上記着目画素の画素値を算出し、算出された画素値を有する画素の配列により画像を生成する。

　補正映像出力回路１０５は、補正された像の信号を通常のテレビ映像信号、例えばＮＴＳＣ方式の映像信号にして出力する。なお、この信号を符号化装置により符号化して送信し、遠隔地で映像表示することもできる。

　画像補正処理部１０４は、例えば、図７に示すように、出力範囲選択部２０１、球面座標算出部２０２、魚眼画像座標算出部２０３、及び画素値算出部２０４を有する。
　画像補正処理部１０４で行われる画像補正処理を、図５、並びに図８（ａ）及び（ｂ）を参照して説明する。

　出力範囲選択部２０１では、所望の視線方向ＤＯＶ、即ちパン角α及びチルト角βを選択し、かつ所望の平面傾斜角φ、及び出力画像のサイズ、即ちズーム倍率ｍを選択することで出力画像の範囲を選択する。この選択は例えばユーザの操作に応じて行われる。また、出力画像の範囲を時間の経過とともに自動的に変更することとしても良い。

　出力範囲選択部２０１による出力範囲の選択（図８（ａ））は、カメラを機械的にパン、チルト、回転（平面傾斜角の変更）を行うことで行われる視線方向の決定乃至変更、回転角の決定乃至変更、並びに光学的ズームによる倍率の決定乃至変更と等価であり、出力範囲選択部２０１による処理は、電子的ＰＴＺ（パン、チルト、ズーム）処理とも呼ばれる。

　球面座標算出部２０２では、図５に示されるように、出力範囲選択部２０１で範囲が選択された出力画像Ｈを、投影球面Ｓに射影し、画像Ｈ内のそれぞれの点に対応する投影球面Ｓ上の点の３次元座標を算出する。３次元座標の算出は、出力画像Ｈ中の各点の位置、例えば（ｕ，ｖ）に対応する投影球面Ｓ上の位置（ｘ，ｙ，ｚ）を求める処理である。出力画像中の各点Ｐｈに対応する投影球面Ｓ上の位置は、上記各点Ｐｈと原点Ｏを結ぶ直線と、投影球面Ｓとの交点の位置である。出力画像Ｈに対応する投影球面Ｓ上の範囲が図５及び図８（ａ）に符号Ｓｈで示されている。

　魚眼画像座標算出部２０３では、図８（ａ）に示される、範囲Ｓｈの画像（投影球面上の画像）を、図８（ｂ）に示されるように、魚眼画像に射影し、魚眼画像座標を算出する。この射影は、投影球面Ｓ上の各点Ｐｓの位置（ｘ，ｙ，ｚ）に対応する、魚眼画像内の対応する点Ｐｆの位置、即ち撮像面Ｆ上の位置（ｐ，ｑ）を求める処理である。範囲Ｓｈに対応する魚眼画像（撮像面と同じ符号Ｆで示す）中の範囲（切り出し範囲）が図８（ｂ）に符号Ｆｈで示されている。
　投影球面Ｓから魚眼画像に射影する方式には、正射影、等距離射影、立体射影、等立体角射影等のいくつかの射影方式があり、魚眼レンズがどの射影方式のものであるかに応じて決められる。

　画素値算出部２０４では、図５の出力画像の各画素の画素値を算出する。この画素値の算出に当たり、図５の出力画像の各画素（着目画素）の位置（ｕ，ｖ）に対応する魚眼画像中の位置（ｐ，ｑ）、又はその周辺にある画素（近傍画素）の画素値を用いる。即ち、上記着目画素の位置に対応する魚眼画像中の位置に画素が存在すれば、その画素の画素値を上記着目画素の画素値として用い、着目画素の位置に対応する魚眼画像中の位置に画素が存在しなければ、上記対応する魚眼画像中の位置の周囲の１又は２以上の画素の画素値に基づく補間により上記着目画素の画素値を求める。

　魚眼画像座標算出部２０３において、投影球面Ｓから撮像面Ｆへの射影を行う際には、本発明では、高さと、光軸からの距離を組み合わせることで得られる合成指標を用いる。以下、この点について従来例の問題点を説明した上で、上記の合成指標を用いる理由を説明する。
　一般に、この射影において、魚眼画像Ｆ中の像高を求めるために、天頂角を用いる場合と、光軸方向の位置を表す値（高さ）を用いる場合と、光軸からの距離を用いることが考えられる。

　例えば、特許文献１では、図９（ａ）に示すように、天頂角を用いている（同文献図１、第７欄）。天頂角θを示すデータは、投影球面の天頂付近でも地平（撮像面）付近でも同じビット幅のデータによって同じ精度で表現できる。一方、天頂角を用いると、投影球面から魚眼画像に射影する方式が、正射影方式、立体射影方式、又は等立体角射影方式である場合に、三角関数を算出する必要がある。特許文献１では三角関数の算出を簡略化するためにルックアップテーブルを用いている。

　天頂角の代わりに、図９（ｂ）に示される、光軸方向の位置（高さ）、即ち座標値ｚを用いることも考えられる。高さを用いる場合には、三角関数の演算が不要になり演算量を少なくできる。一方、投影球面の天頂付近では、天頂角の変化に対する高さの変化が少なくなるため、天頂付近でのみ多くのビット精度を必要とする。（同じ精度で計算を行うため、ビット幅のより大きいデータを用いる必要がある。）例えば、地平付近で天頂角が８９度から９０度に変化した場合の高さの変化量は約１．７４５×１０^－２であるが、天頂付近で天頂角が０度から１度に変化した場合の高さの変化量は約１．５２３×１０^－４であり、精度が１００倍程異なる。

　また図９（ｃ）に示される、光軸からの距離を用いることも考えられる。この場合も、三角関数の演算が不要になり演算量を少なくできる。しかし、投影球面の地平付近では、天頂角の変化に対する光軸からの距離の変化が少なくなるため、地平付近でのみ多くのビット精度を必要とする。（同じ精度で計算を行うため、ビット幅のより大きいデータを用いる必要がある。）例えば、天頂付近で天頂角が０度から１度に変化した場合の光軸からの距離の変化量は約１．７４５×１０^－２であるが、地平付近で天頂角が８９度から９０度に変化した場合の光軸からの距離の変化量は約１．５２３×１０^－４であり、精度が１００倍程異なる。

　本発明の座標算出装置は、上記の問題の解決を図ったものであり、天頂付近でも、地平付近でもデータのビット幅を変えなくても、計算の精度に大きな差が生じないようにしたことを特徴とする。

　図１０は、座標算出装置２０３ａの構成例を示す。図示の座標算出装置２０３ａは、図７の魚眼画像座標算出部２０３として用いられるものであり、二次元画像の座標を算出する。
　図１０の座標算出装置２０３ａは、合成指標算出部３０１、距離算出部３０２及び座標算出部３０３を有する。

　座標算出装置２０３ａには、出力画像Ｈの着目画素の位置に対応する、投影球面Ｓ上の位置を表す３次元座標（ｘ，ｙ，ｚ）が入力される。この３次元座標（ｘ，ｙ，ｚ）は、出力範囲選択部２０１でパン角α、チルト角β及び平面傾斜角φ、及びズーム倍率に応じて切り出す範囲を選択し、球面座標算出部２０２で、投影球面に射影することで得られるものである。
　３次元座標（ｘ，ｙ，ｚ）は合成指標算出部３０１に入力される。

　合成指標算出部３０１では、光軸からの距離ｒ
　ｒ＝√（ｘ^２＋ｙ^２）　　（６）
と高さｚを組み合わせた合成指標Ｒｎを下記の式（７ａ）、式（７ｂ）、式（８ａ）、式（８ｂ）に従って算出する。

　ｚ≧√（ｘ^２＋ｙ^２）　　　（７ａ）
の場合には、
　Ｒｎ＝√（ｘ^２＋ｙ^２）　　（７ｂ）
　ｚ＜√（ｘ^２＋ｙ^２）　　　（８ａ）
の場合には、
　Ｒｎ＝√２×Ｒｂ－ｚ　　（８ｂ）

　ｚが√（ｘ^２＋ｙ^２）以上になるのは、天頂角θが４５度以下の範囲であるので、式（７ａ）、式（８ａ）はそれぞれ以下の式（７ｃ）、式（８ｃ）のように書き換えることもできる。
　ｚ≧Ｒｂ／√２　　（７ｃ）
　ｚ＜Ｒｂ／√２　　（８ｃ）

　図１１に投影球面Ｓ上の着目点Ｐｓと、着目点Ｐｓの天頂角（着目点Ｐｓと原点Ｏを結ぶ線と光軸ＡＬの成す角）θと、合成指標Ｒｎ、高さｚ、及び光軸からの距離ｒの関係を示す。
　図１１で横軸が着目点Ｐｓの天頂角θを表す。
　縦軸上に合成指標Ｒｎ、高さｚ、及び光軸からの距離ｒが示されている。

　図１１に示すように、高さｚは、天頂角が０度で傾きが０になるため、０度付近で天頂角に対する値の変化が小さくなり、高さを用いた計算を高精度で行うには、多くのビット幅が必要になる。
　また光軸からの距離ｒは、天頂角θが９０度で傾きが０になるため、９０度付近で天頂角θに対する値の変化が小さくなり、光軸からの距離ｒを用いた計算を高精度で行うには、多くのビット幅が必要になる。
　一方、合成指標Ｒｎは、どの天頂角においても傾きに大きな差異がなく、従って、ビット幅が少なくて済む。

　また高さｚと光軸からの距離ｒが等しい点（式（７ａ）が満たされる範囲と式（８ａ）が満たされる範囲の境界）では、式（７ｂ）で与えられるＲｎと式（８ｂ）で与えられるＲｎとが等しくなり、かつ式（７ｂ）で与えられるＲｎの傾きと、式（８ｂ）で与えられるＲｎの傾き、即ち－ｚの傾きとｒ（＝√（ｘ^２＋ｙ^２））の傾きが等しくなるため、異なる２個のパラメータ（ｚとｒ）を組み合わせで得られる合成指標Ｒｎは連続的に滑らかに変化する。

　合成指標Ｒｎは距離算出部３０２に送られる。
　距離算出部３０２では、合成指標Ｒｎに基づいて、点Ｐｆの魚眼画像中の原点からの距離（像高）Ｒｆを下記の式で表される演算により求める。即ち、
　像高Ｒｆが、投影球面半径Ｒｂと天頂角θの関数として、
　Ｒｆ＝Ｒｂ・Ｆ（θ）　　（９）
　で表される場合、距離算出部３０２は、
　ｚ≧√（ｘ^２＋ｙ^２）　　　（７ａ）
　が満たされる範囲では、

　ｚ＜√（ｘ^２＋ｙ^２）　　　（８ａ）
　が満たされる範囲では、

　によりＲｆを求める。

　以下、式（１０）、式（１１）により、Ｒｆが求められる理由を説明する。
　球面上の点Ｐｓが魚眼画像の点Ｐｆに投影される場合、
　点Ｐｆの像高Ｒｆは、Ｒｂと天頂角θの関数として表される。
　Ｒｆ＝Ｒｂ・Ｆ（θ）　　（１２）
例えば、正射影の場合には、
　Ｒｆ＝Ｒｂ・ｓｉｎθ　　（１２ａ）
で表され、立体射影の場合には、
　Ｒｆ＝２Ｒｂ・ｔａｎ（θ／２）　　（１２ｂ）
で表される。
　式（１２）中のθは、
　θ＝ｃｏｓ^－１（ｚ／Ｒｂ）　　（１３）
で表される。
　式（１２）と、式（１３）から、

が得られる。

　一方、Ｒｂとｘ、ｙ、ｚの間には、
　Ｒｂ^２＝ｘ^２＋ｙ^２＋ｚ^２　　（１５）
　従って、
　ｚ^２＝Ｒｂ^２－（ｘ^２＋ｙ^２）　　（１６）
　の関係がある。

　また、上記のように式（７ａ）が満たされる範囲では、式（７ｂ）が成り立つので、
　Ｒｎ^２＝（ｘ^２＋ｙ^２）　　（１７）
　式（１７）と、式（１６）から、
　ｚ^２＝Ｒｂ^２－Ｒｎ^２　　（１８）
　従って、
　ｚ＝√（Ｒｂ^２－Ｒｎ^２）　　（１９）
　式（１４）と、式（１９）から、

が得られる。

　一方、式（８ａ）が満たされる範囲では、式（８ｂ）が成り立つので、
　ｚ＝√２×Ｒｂ－Ｒｎ　　（２０）
　式（１４）と、式（２０）から、

が得られる。

　以上より、式（７ａ）が満たされる場合には、式（１０）で、
　式（８ａ）が満たされる場合には、式（１１）で
　Ｒｆが求められることが分かる。

　正射影の場合、即ち、Ｒｆが式（１２ａ）で与えられる場合には、
　式（１２ａ）と、式（１３）から、
　Ｒｆ＝Ｒｂ・ｓｉｎ（ｃｏｓ^－１（ｚ／Ｒｂ））　　（１４ａ）
　式（１４ａ）と、式（１９）から、

　式（１４ａ）と、式（２０）から、

　立体射影の場合、即ち、Ｒｆが式（１２ｂ）で与えられる場合には、
　式（１２ｂ）と、式（１３）から、
　Ｒｆ＝２Ｒｂ・ｔａｎ（ｃｏｓ^－１（ｚ／Ｒｂ））　　（１４ｂ）
　式（１４ｂ）と式（１９）から、

　式（１４ｂ）と、式（２０）から、

　座標算出部３０３では、式（１０）、式（１１）で算出した像高Ｒｆと、投影球面３次元座標（ｘ，ｙ，ｚ）から、魚眼画像２次元座標（ｐ，ｑ）を算出する。算出式は以下の通りである。

　Ｒｆ≠０　　　　　（２１Ａａ）
の場合には、
　ｐ＝ｘ×Ｒｆ／ｒ　　（２１Ａｂ）
　ｑ＝ｙ×Ｒｆ／ｒ　　（２１Ａｃ）
　Ｒｆ＝０　　　　　（２１Ｂａ）
の場合には、
　ｐ＝０　　　　　　　（２１Ｂｂ）
　ｑ＝０　　　　　　　（２１Ｂｃ）

　以上距離算出部３０２で式（１０）、式（１１）に示される演算によって像高Ｒｆを用いる場合について説明したが、ＲｎとＲｆの関係を記憶したルックアップテーブルを用いてＲｆを求めることとしても良い。
　この場合、Ｒｎのすべての値に対してＲｆを格納すると、ルックアップテーブルとして容量の大きなものが必要となるので、それを避けるため、Ｒｎの複数の、即ちＮ個の離散的代表値ＤＮ[０]～ＤＮ[Ｎ－１]について対応するＲｆの値ＤＦ[０]～ＤＦ[Ｎ－１]を記憶したルックアップテーブルを用意し、与えられた着目画素について合成指標算出部３０１で算出されたＲｎの値と、Ｒｎ以下でＲｎに最も近い代表値ＤＮ［ｎ］、Ｒｎよりも大きくＲｎに最も近い代表値ＤＮ［ｎ＋１］、並びにＤＮ［ｎ］、ＤＮ［ｎ＋１］を入力値として読み出された出力値ＤＦ［ｎ］、ＤＦ［ｎ＋１］を用いた補間演算により、Ｒｎに対応するＲｆを求めることとしても良い。その場合の演算式が式（２２）で示される。

　但し、入力値ＤＮ[０]～ＤＮ[Ｎ－１]は、ｎ（ｎ＝０～Ｎ－１）の増加に対して単調増加するものである。即ちＤＮ[０]～ＤＮ[Ｎ－１]相互間には以下の関係がある。
　ＤＮ[ｎ]≦ＤＮ[ｎ＋１]　　（２３）
　（但し、ｎは、０乃至Ｎ－２のいずれか）

　式（２２）中のｎは下記の式（２４）で表される条件を満たす。
　　ＤＮ［ｎ］≦Ｒｎ＜ＤＮ［ｎ＋１］　　　（２４）
　なおＲｎがＤＮ［Ｎ－１］以上となる場合には、ＤＦ［Ｎ－１］をＲｆとして出力する。

　上記のＤＮ[ｎ]とＤＦ[ｎ]は、一般的には、
　式（７ａ）の条件が満たされる範囲では式（１０）で、
　式（８ａ）の条件が満たされる範囲では式（１１）で、
それぞれ表されるＲｎとＲｆの関係を折れ線近似するように、Ｒｎ、Ｒｆが取り得る値の範囲内に、Ｎ個、例えばＤＮ［ｎ］とＤＮ［ｎ＋１］の差が一定となるように、定められる。
　正射影を用いる場合には、式（１０）、式（１１）として、式（１０ａ）、式（１１ａ）が用いられる、立体射影を用いる場合には、式（１０）、式（１１）として、式（１０ｂ）、式（１０ｂ）が用いられる。

　なお、ＲｎとＲｆの関係が演算式で表すことができない場合には、実測により、ＲｎとＲｆの関係を求める。例えば、魚眼レンズで正方格子状の２次元チャート等を撮影し、撮影した画像上で正方格子がどの程度歪曲しているかを調べることで、ＲｎとＲｆの関係を求めることができる。

　以上本発明を座標算出装置及び該座標算出装置を備えた画像処理装置として説明したが、これらの装置で実施される座標算出方法及び画像処理方法もまた本発明の一部を成す。

実施の形態２．
　図１２は、図１０の座標算出装置で実施される座標算出方法における処理の手順を示す。
　図１２においてステップＳＴ１では、実施の形態１で示した式（７ａ）、式（７ｂ）、式（８ａ）、及び式（８ｂ）に従って、投影球面３次元座標（ｘ，ｙ，ｚ）から高さと光軸からの距離を複合した合成指標Ｒｎを算出する。

　次にステップＳＴ２では、合成指標Ｒｎから魚眼画像中の原点からの距離Ｒｆを算出する。
　この処理は、式（１０）、式（１１）に示す演算で行っても良く、ルックアップテーブルを用いて行っても良い。

　次にステップＳＴ３では、実施の形態１で示した式（２１Ａａ）～（２１Ｂｃ）に従って、魚眼画像中の原点からの距離Ｒｆ及び投影球面３次元座標（ｘ，ｙ，ｚ）から魚眼画像２次元座標（ｐ，ｑ）を算出する。

　以上に説明した方法を用いて投影球面上の３次元座標から魚眼画像上の２次元座標に変換することで、少ないビット幅で精度良く変換することができる。

　図１２に示される座標算出方法は、ソフトウェアで、即ちプログラムされたコンピュータで実現することもできる。

　以上、本発明を用いて、魚眼画像の一部を選択して透視射影方式の画像に変換する場合について説明したが、本発明は上記の処理以外にも適用することができる。例えば魚眼画像からパノラマ画像を得る処理に本発明を適用することもできる。

　以上魚眼レンズにより円形の歪曲画像が得られる場合について説明したが、本発明は環状の歪曲画像が得られる場合にも適用できる。

　本発明の座標算出装置、或いは該座標算出装置を備えた画像処理装置は、監視システムにおいて利用することができる。

　２０１　出力範囲選択部、　２０２　球面座標算出部、　２０３　魚眼画像座標算出部、　２０３ａ　座標算出装置、　２０４　画素値算出部、　３０１　合成指標算出部、　３０２　距離算出部、　３０３　座標算出部。

Claims

　投影球面上の３次元座標を歪曲画像上の２次元座標に変換する座標算出装置において、
　前記３次元座標から得られる、投影球面上の着目点の高さと光軸からの距離を組み合わせた合成指標を算出する合成指標算出部と、
　前記合成指標から、前記歪曲画像中における前記着目点に対応する点の、前記歪曲画像中の原点からの距離を算出する距離算出部と、
　前記歪曲画像中における前記原点からの距離から、前記歪曲画像中の２次元座標を算出する座標算出部と
　を備えたことを特徴とする座標算出装置。
　前記３次元座標を（ｘ，ｙ，ｚ）で表し、前記投影球面の半径をＲｂで表すとき、前記合成指標算出部は、
　ｚ≧√（ｘ^２＋ｙ^２）の場合には、Ｒｎ＝√（ｘ^２＋ｙ^２）
で、
　ｚ＜√（ｘ^２＋ｙ^２）の場合には、Ｒｎ＝√２×Ｒｂ－ｚ
で前記合成指標Ｒｎを求めることを特徴とする請求項１に記載の座標算出装置。
　前記投影球面上の前記着目点の天頂角をθで表し、前記歪曲画像中の前記対応する点の前記原点からの距離をＲｆで表すとき、
　前記距離算出部は、
　ｚ≧√（ｘ^２＋ｙ^２）
が満たされる範囲では、

　ｚ＜√（ｘ^２＋ｙ^２）
が満たされる範囲では、

により前記原点からの距離Ｒｆを求める
　ことを特徴とする請求項２に記載の座標算出装置。
　前記距離算出部は、前記合成指標Ｒｎと前記原点からの距離Ｒｆとの関係を折れ線近似する入力値ＤＮ及び出力値ＤＦの関係を記憶したルックアップテーブルを有し、
　前記合成指標算出部で算出された前記合成指標Ｒｎに基づいて、
　ＤＮ［ｎ］≦Ｒｎ＜ＤＮ［ｎ＋１］を満たすＤＮ[ｎ]、ＤＮ[ｎ＋１]を見つけ、ＤＮ[ｎ]、ＤＮ[ｎ＋１]に対応する出力値ＤＦ[ｎ]、ＤＦ[ｎ＋１]を読み出し、

により、前記原点からの距離Ｒｆを求めることを特徴とする請求項２に記載の座標算出装置。
　前記座標算出部は、
　Ｒｆ≠０の場合には、
　ｐ＝ｘ×Ｒｆ／√（ｘ^２＋ｙ^２）
　ｑ＝ｙ×Ｒｆ／√（ｘ^２＋ｙ^２）
により、
　Ｒｆ＝０の場合には、
　ｐ＝０
　ｑ＝０
により、前記２次元座標（ｐ、ｑ）を求めることを特徴とする請求項３又は４に記載の座標算出装置。
　請求項１乃至５のいずれかに記載の座標算出装置と、
　出力画像の各画素を着目画素として、該着目画素の座標に対応する、前記投影球面上の３次元座標を算出する球面座標算出部と、
　前記座標算出装置で算出された前記歪曲画像中の２次元座標に基づいて、前記出力画像の前記着目画素の画素値を算出する画素値算出部とを有し、
　前記座標算出装置は、前記球面座標算出部で算出された３次元座標に対応する前記歪曲画像中の位置を表す２次元座標を、前記着目画素の座標に対応する位置を表す座標として求め、
　前記画素値算出部は、前記着目画素の座標に対応する、前記歪曲画像中の位置に画素が存在すれば、当該対応する位置の画素の画素値を、前記着目画素の画素値として用い、前記着目画素の座標に対応する、前記歪曲画像中の位置に画素が存在しなければ、当該対応する位置の周囲の１又は２以上の画素の画素値に基づく補間により、前記着目画素の画素値を求める
　ことを特徴とする画像処理装置。
　投影球面上の３次元座標を歪曲画像上の２次元座標に変換する座標算出方法において、
　前記３次元座標から得られる、投影球面上の着目点の高さと光軸からの距離を組み合わせた合成指標を算出する合成指標算出ステップと、
　前記合成指標から、前記歪曲画像中における前記着目点に対応する点の、前記歪曲画像中の原点からの距離を算出する距離算出ステップと、
　前記歪曲画像中における前記原点からの距離から、前記歪曲画像中の２次元座標を算出する座標算出ステップと
　を有することを特徴とする座標算出方法。
　請求項７に記載の座標算出方法を構成する前記合成指標算出ステップ、前記距離算出ステップ、及び前記座標算出ステップと、
　出力画像の各画素を着目画素として、該着目画素の座標に対応する、前記投影球面上の３次元座標を算出する球面座標算出ステップと、
　前記座標算出ステップで算出された前記歪曲画像中の２次元座標に基づいて、前記出力画像の前記着目画素の画素値を算出する画素値算出ステップとを有し、
　前記合成指標算出ステップは、前記球面座標算出ステップで算出された３次元座標から得られる、前記投影球面上の着目点の高さと光軸からの距離を用いて、前記合成指標を算出し、
　前記座標算出ステップは、前記球面座標算出ステップで算出された３次元座標に対応する前記歪曲画像中の位置を表す２次元座標を、前記着目画素の座標に対応する位置を表す座標として求め、
　前記画素算出ステップは、前記着目画素の座標に対応する、前記歪曲画像中の位置に画素が存在すれば、当該対応する位置の画素の画素値を、前記着目画素の画素値として用い、前記着目画素の座標に対応する、前記歪曲画像中の位置に画素が存在しなければ、当該対応する位置の周囲の１又は２以上の画素の画素値に基づく補間により、前記着目画素の画素値を求める
　ことを特徴とする画像処理方法。