JP5215097B2 - 撮像画像の変換方法 - Google Patents

Description

本発明は、監視カメラ等に使用される撮像画像の変換方法に関する。

監視カメラなどに搭載されるレンズとして魚眼レンズが多用されている。
魚眼レンズを用いて全方向とも画角１８０°で撮影された画像は円形になる。撮影画像では奥行方向の距離情報が失われているため、どの方向も対象物までの距離が一様であると想定し、視点（カメラの位置）を中心とした球面上にデータが存在すると考えるのが自然である。３次元空間の情報を３次元化する操作が射影であるが、撮影された時点ですでに距離情報が失われているため、もともとのデータが球面上に位置するとみなされる。

射影方式としては、正射影、等立体角射影、等距離射影、極射影が代表的なものである。魚眼レンズで最も一般的な射影方式は等距離射影であるが、他の射影方式によるレンズも存在する。
なお、一般のレンズで撮影された画像に相当する透視射影は人間の視覚に近いが、画角１８０°のデータは無限大の平面に射影されることになるため広角画像の表現には向いておらず、広角レンズでも対角画角１２０°（焦点距離１３ｍｍ程度相当）がせいぜいである。

以下、各射影方式について説明するが、簡単のため図６のように視点を原点とし、半径が１になるように規格化された座標系で考えることとする。一般的には、図６で、ξ軸はカメラの水平方向（左右）、η軸はカメラの垂直方向（上下）であり、ζが視線方向となる。カメラをどちらに向けるかなどは座標系を回転させることに相当する。視点を原点にとった半径１の球面と視点と対象物を結ぶ直線の交点Ｐの位置を（ξ，η，ζ）とし、交点上のデータをξ−η平面上の円内に射影する。ここで、ζは次のとおりである。

このとき、ζ＝０平面（ξ−η平面）での角度αはどのような射影方式でも通常保存するようにするため、射影点Ｐ０′の座標を（ξ′，η′，０）とすると、ξ′とη′の比ξ′:η′は一定であり、原点からの下記の［数２］による距離ｒ′のみが、射影方式の違いとなる。

（１）正射影は、半球面上の点ｐの座標を（ξ，η，ζ）とすると、ξ、ηはそのままでζ＝０とする操作に相当する。すなわち、射影面（ξ−η平面）に垂線の足を下ろしたときの平面との交点となる。
正射影では、視線方向に近い部分ほど大きく、周辺部分ほど小さく射影される。
変換式及び逆変換式は、下記のとおりである。

（２）等立体角射影は、球面上の図形の立体角が射影面上での面積に比例するという性質があるため、視環境評価などで利用される。
変換式、逆変換式は、それぞれ下記の［数４］、［数５］のとおりである。

（３）等距離射影では、視線方向からの角距離が原点からの距離に比例する。
変換式、逆変換式は、それぞれ下記の［数６］、［数７］のとおりである。

（４）極射影は、視点を（０，０，−１）にとって射影面（ξ−η平面）に透視射影するもので、周辺部分が大きく投影されるという性質がある。
変換式、逆変換式は、それぞれ下記の［数８］、［数９］のとおりである。

（５）透視射影は、射影面を視点の前面にとって、対象物と視点を結ぶ直線と射影面の交点を射影点とするものである。
変換式、逆変換式は、それぞれ下記の［数１０］、［数１１］のとおりである。

図７〜図１１は、それぞれ正射影、等立体角射影、等距離射影、極射影、透視射影により教室を撮像した撮像画像例を示すものである。
中心部の大きさは正射影が一番大きく、極射影が一番小さい。人間の視覚を考えた場合、中心部は透視射影すなわち水平に近いほうが自然である。しかしながら、画角を１８０°とった場合、周辺部を透視射影することは不可能であるし、１８０°までいかなくても画角を広くとればとるほど中心部は小さくなってしまうため実際上は１２０°程度が限界である。

監視カメラなどの用途を考えると、歪みが大きい画像は対象を誤って認識してしまう可能性があるため透視射影に近いほうがよいが、画角を狭くとると周辺部での事象を見逃す危険性が増える。
画角を広くとると中心部が小さく投影されてしまうという別の問題が生じる。
このように、一つの画像内に広い画角を示す場合には、中心部と周辺部の間でトレードオフの関係が生じるため両者を適切なバランスで提示する必要があるが、上記の各射影方式のみでは十分対応できない。

すなわち図７に示す撮像画像例では、中心部に隣接する部分の歪みが大きく、図８〜１０に示す撮像画像例では、重要性が高い中心部が小さく、かつ中心部に隣接する部分の歪みが大きい。また図１１に示す撮像画像例では、画像の歪みは小さいが、重要性が高い中心部が小さく、かつ周辺部の画像が切れている。

視野９０°までは透視射影で、９０〜２２５°までを拡張した正射影とした画像の変換方法が提案されている（非特許文献１）が、この画像の変換方法では途中で射影方法を切り替えているので、切換部分が気になり、また画像を４隅まで延ばすのではなく上下の視野を限定して矩形の画像を得ているため周辺の視野が狭くなっている。
したがって上記画像の変換方法では重要性の高い中心部を透視射影により得る点ではよいが、周辺部を適度に歪ませながら広い画角をとるには十分ではない。
また他にも画像変換方法が提案されているが、このようなニーズを満たすものではない。
特開平１０−４９７０４号公報 特開２００７−１４８４８８号公報 情報処理学会インタラクション2003 予稿集，pp.107-115，2003.

本発明の課題は、重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角をとることができる、撮像画像の変換方法を提供することである。
さらに本発明の課題は、モニター画面全体を有効利用し、水平性・垂直性をより確保する撮像画像の変換方法を提供することである。

本発明は、次のような撮像画像の変換方法を提供するものである。
（１）レンズの射影方式に応じて得た撮像画像の２次元座標（ξ_１，η_１，０）を該射影方式に基づいて逆変換して半径１の球面に投影した元の撮像画像の３次元座標（ξ，η，ζ）を求めるステップ及び該元の撮像画像の３次元座標（ξ，η，ζ）に対して投影曲面を、中心部では透視射影に近く、周辺部では正射影に近い連続した投影曲面として、撮像画像の新たな２次元座標（ξ_２，η_２，０）を求めるステップを含む撮像画像の変換方法。
（２）レンズの射影方式に応じて得た撮像画像の２次元座標（ξ_１，η_１，０）を該射影方式に基づいて逆変換して半径１の球面に投影した元の撮像画像の３次元座標（ξ，η，ζ）を求めるステップ及び該元の撮像画像の３次元座標（ξ，η，ζ）に対して投影曲面を

として撮像画像の新たな２次元座標（ξ_２，η_２，０）を求めるステップを含む撮像画像の変換方法。
ただし

である。またｐ、ｓは、正の実数であり、ｃ＝ｃｏｔ（視野角／２）である。
（３）上記ｐ、ｓ及びｃは、それぞれ１６、１及び０．５７７であることを特徴とする（２）に記載の撮像画像の変換方法。
（４）レンズの射影方式に応じて得た撮像画像の２次元座標（ξ_１，η_１，０）を該射影方式に基づいて逆変換して半径１の球面に投影した元の撮像画像の３次元座標（ξ，η，ζ）を求めるステップ及び該元の撮像画像の３次元座標（ξ，η，ζ）に対して投影曲面を

として撮像画像の新たな２次元座標（ξ_２，η_２，０）を求めるステップを含む撮像画像の変換方法。
ただしｐ、ｑ、ｓは、正の実数であり、ｃ＝ｃｏｔ（視野角／２）である。
（５）上記ｐ、ｑ、ｓ及びｃは、それぞれ１６、１６、１及び０．５７７であることを特徴とする（４）に記載の撮像画像の変換方法。
（６）上記レンズは、魚眼レンズであることを特徴とする（１）乃至（５）のいずれかに記載の撮像画像の変換方法。
（７）上記レンズの射影方式は、等距離射影であることを特徴とする（１）乃至（６）のいずれかに記載の撮像画像の変換方法。

本発明によれば、重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角をとることができるため、監視カメラなどに適用して、重要性の高い中心部で対象を正確に認識するとともに、周辺部での事象を見逃す危険性を小さくすることができる。
さらに本発明によれば、４隅まで画像が伸びており、監視カメラなどに適用しても周辺部での事象を見逃す危険性はきわめて小さい。

本発明に係る撮像画像の変換方法について、図面を参照して以下詳細に説明する。
重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角をとるという方針で、中心部の透視射影から周辺部に向かって滑らかに変化する、次のような投影曲面を考える。

ここで

である。またｐ、ｓは、正の実数であり、ｃ＝ｃｏｔ（視野角／２）である。
ｐ＝ｓの場合は、この曲線はスーパー楕円となり特にｐ＝ｓ＝２の場合は楕円になる。パラメータｃは投影曲面の中央高さを意味し、特にｐ＝ｓ＝２でc＝１の場合は正射影になる。ｐ＝２、ｓ＝１、ｃ＝０．５とすると極射影になるので、これらを拡張したような射影方式になっているといえる。ｐ＝ｓ、ｃ＝ｃｏｔ（１２０°／２）≒０．５７７として、ｐの値を変化させた場合の例を図１に示す。
次数ｐが大きくなるほど透視射影に近づいていき、ｐ→∞の極限で透視射影となるが、この射影方式は周辺部の歪みが非常に大きくなる点で問題がある。

次に［数１５］でｓ＝１として、ｐの値のみを変化させた場合の例を図２に示す。ｐ＝ｓの場合より、ｐの値を大きくとらないと中央部が水平に近づかないが、ｐ＝ｓの場合ほど周辺部の歪みは大きくない。ｐ＝１６では正射影と透視射影を接続したような曲面となっていることが分かる。

図３〜図４は、ｃ＝ｃｏｔ（１２０°／２）≒０．５７７としたときの撮像画像の変換例である。中央部ではどれも透視射影に近くなっている。
図３は、［数１５］でｐ＝ｓ＝８としたスーパー楕円射影であり、周辺部は極端に圧縮されている。
図４は、［数１５］でｐ＝１６、ｓ＝１とした射影で周辺部の歪みは正射影と同程度である。
図３、図４では、図７〜図１１のものよりも、重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角がとれていることが分かる。

次に［数１５］に示す投影曲面では、ｒとして、方位によらず同じ射影としてきたため、射影された画像はすべて円になるが、モニター画面では４隅に空白部ができてしまう。
モニター画面全体を有効利用し、水平性・垂直性をより確保する方法として、ξとηをそれぞれ独立に扱うために［数１５］を更に拡張して、次のような投影曲面を用いる。

ここでｐ、ｑ、ｓは、正の実数であり、ｃ＝ｃｏｔ（視野角／２）である。
ｐ＝ｑで、ｐ＝２の場合は射影された画像は円であるが、ｐの値を大きくしていくとスーパー楕円となり正方形に近づいていくことになる。

図５は、［数１７］でｐ＝ｑ＝１６、ｓ＝１とした射影である。画像中心を通る十字のライン上では図４と同一であるが、４隅まで画像が伸びており、水平・垂直が広い範囲で保存されていることが分かる。

図３乃至図５の撮像画像の変換例から分かるように、本発明の撮像画像の変換方法を採用することにより重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角をとることができる。
さらに図５の撮像画像の変換例の場合では４隅まで画像が伸びており、監視カメラなどに適用しても周辺部での事象を見逃す危険性はきわめて小さい。

［数１５］でｐ＝ｓ、ｃ≒０．５７７とした場合を図示したものである。 ［数１５］でｓ＝１、ｃ≒０．５７７としてｐの値のみを変化させた場合を図示したものである。 ［数１５］でｐ＝ｓ＝８、ｃ≒０．５７７とした撮像画像の変換例を図示したものである。 ［数１５］でｐ＝１６、ｓ＝１、ｃ≒０．５７７とした撮像画像の変換例を図示したものである。 ［数１７］でｐ＝ｑ＝１６、ｓ＝１、ｃ≒０．５７７とした撮像画像の変換例を図示したものである。 半径１の半球面から平面への射影を図示したものである。 正射影の撮像画像例を図示したものである。 等立体角射影の撮像画像例を図示したものである。 等距離射影の撮像画像例を図示したものである。 極射影の撮像画像例を図示したものである。 透視射影の撮像画像例を図示したものである。

Claims (7)

1. レンズの射影方式に応じて得た撮像画像の２次元座標（ξ_１，η_１，０）を該射影方式に基づいて逆変換して半径１の球面に投影した元の撮像画像の３次元座標（ξ，η，ζ）を求めるステップ及び該元の撮像画像の３次元座標（ξ，η，ζ）に対して投影曲面を、中心部では透視射影に近く、周辺部では正射影に近い連続した投影曲面として、撮像画像の新たな２次元座標（ξ_２，η_２，０）を求めるステップを含む撮像画像の変換方法。
2. レンズの射影方式に応じて得た撮像画像の２次元座標（ξ_１，η_１，０）を該射影方式に基づいて逆変換して半径１の球面に投影した元の撮像画像の３次元座標（ξ，η，ζ）を求めるステップ及び該元の撮像画像の３次元座標（ξ，η，ζ）に対して投影曲面を
   として撮像画像の新たな２次元座標（ξ_２，η_２，０）を求めるステップを含む撮像画像の変換方法。
   ただし
   である。またｐ、ｓは、正の実数であり、ｃ＝ｃｏｔ（視野角／２）である。
3. 上記ｐ、ｓ及びｃは、それぞれ１６、１及び０．５７７であることを特徴とする請求項２に記載の撮像画像の変換方法。
4. レンズの射影方式に応じて得た撮像画像の２次元座標（ξ_１，η_１，０）を該射影方式に基づいて逆変換して半径１の球面に投影した元の撮像画像の３次元座標（ξ，η，ζ）を求めるステップ及び該元の撮像画像の３次元座標（ξ，η，ζ）に対して投影曲面を
   として撮像画像の新たな２次元座標（ξ_２，η_２，０）を求めるステップを含む撮像画像の変換方法。
   ただしｐ、ｑ、ｓは、正の実数であり、ｃ＝ｃｏｔ（視野角／２）である。
5. 上記ｐ、ｑ、ｓ及びｃは、それぞれ１６、１６、１及び０．５７７であることを特徴とする請求項４に記載の撮像画像の変換方法。
6. 上記レンズは、魚眼レンズであることを特徴とする請求項１乃至５のいずれか１項に記載の撮像画像の変換方法。
7. 上記レンズの射影方式は、等距離射影であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像画像の変換方法。