JP4975592B2 - 撮像装置 - Google Patents

Description

本発明は、魚眼レンズや広角レンズなどの各種レンズで集光された光を撮像素子で検知し、撮像素子で検知された受像信号の一部を、拡大し、歪みを修正して表示画面に表示させることができる撮像装置に関する。

魚眼レンズまたは光学レンズと撮像素子とを備えたカメラを使用して、外部の景色を撮影し、その画像を表示装置に表示する撮像装置は、防犯用や車載用などとして使用されている。特に、車載用ではカメラが車体に取り付けられて、車体の外側の広い範囲の景色がカメラで撮影される。しかし、魚眼レンズや広角レンズを使用したカメラの撮像素子に検知される受像画像は、レンズの光軸から画角が広がるにしたがって、画像の歪みが大きくなる。

そこで、以下の特許文献１には、カメラで検知された受像画像に対して、歪曲収差の演算を行って画像の歪みを修正する発明が開示されている。しかし、特許文献１には、歪曲収差の演算をどのようにして行うかが記載されていない。魚眼レンズや広角レンズを使用したカメラで撮影される画像は三次元的な奥行きを有しているため、歪曲収差の演算を行う際には、三次元幾何学処理が必要になり、その演算量は莫大なものになる。また、魚眼レンズや広角レンズを使用したカメラで撮影されている受像画像に対して、時間を継続して前記演算を行うには、ＣＰＵの負担が大きすぎる。

特許文献２に記載されている表示システムは、湾曲画像の歪みを矯正する変換テーブルを設定しておき、カメラで検知された湾曲画像を、前記変換テーブルを用いて表示用データに変換するというものである。

しかし、この方法は、変換テーブルが、カメラで撮像される受像画像のうちの定められた位置の定められた大きさの区画にのみ対応するものであるため、カメラで検知された受像画像のうちの複数の区画を取り出して表示装置に表示しようとすると、それぞれの区画ごとに変換テーブルを用意することが必要になる。つまり、変換テーブルは、カメラで撮影される領域の一定の空間に対応するものであるため、汎用性に乏しく、例えばカメラの取り付け角度がずれて、実際の画像が変換テーブルで予定している区画の画像と相違するようなときには、受像画像に正常な補正を与えることができなくなる。

以下の特許文献３に記載の発明も、予め表示領域に対応したマッチングテーブルを用意し、複数のカメラで検知した受像画像の画素を、マッピングテーブルの予め決められた座標位置に対応させて表示するというものである。特許文献３に記載の発明も、特許文献２に記載の発明と同様に、予め決められた区画の画像に対してしか歪み補正を与えることはできない。

さらに、歪み補正した画像は、平面展開原理にしたがったものであるため、全体の画角が狭くなることを避けることができない。
特開２０００−３２４３８６号公報 特開２００４−４０４１１号公報 特許第３３００３３４号公報

本発明は、上記従来の課題を解決するものであり、カメラで検知した受像画像を、広い視野で自然な画像として表示できるようにした撮像装置を提供することを目的としている。

また、本発明は、比較的演算量の少ない補正手段を用いて、受像画像を広い視野で歪みの少ない自然な画像として表示させることができる撮像装置を提供することを目的としている。

本発明は、レンズと、前記レンズで集光された光を複数の検知点で検知する撮像素子と、前記撮像素子のそれぞれの検知点で検知された受像信号に基づいて所定の面積の表示画面に画像を表示させるための画像データを生成する画像処理部と、が設けられた撮像装置において、
前記画像処理部では、前記撮像素子で検知された受像画角内の一部の区画の画像を拡大して前記表示画面で表示させる画像処理を行い、
前記画像処理では、前記表示画面の横軸に相当するＸ軸方向の画角の拡大率と、前記Ｘ軸方向と直交するＹ軸方向の画角の拡大率とを、前記区画内の各場所に応じて相違させる処理が行われ
前記Ｘ軸方向の画角の拡大率と前記Ｙ軸方向の画角の拡大率のいずれか一方の拡大率は、予め決められた変化関数に基づいて決められ、他方は、アスペクト比の補正値を伴なう変化関数に基づいて決められることを特徴とするものである。

本発明では、前記変化関数は、画角の拡大率が、前記レンズの光軸から離れるにしたがって徐々に変化することが好ましい。

なお、本明細書での拡大率とは、画角を拡張する文字どおりの拡大を意味することのみならず、画角を縮小する率をも意味する概念である。

本発明は、前記画像処理では、表示画面のそれぞれの画素Ｐｉに対して以下の演算が行われ、この画素Ｐｉと撮像素子の検知点の受像信号とを対応させる処理が行われるものとして実現できる。

（１）表示画面上での画素ＰｉのＸ軸方向の座標位置をＸ軸用の変化関数に代入して、前記座標位置に対応するＸ方向の画角αｘを算出し、表示画面上での画素ＰｉのＹ軸方向の座標位置をＹ軸用の変化関数に代入して、前記座標位置に対応するＹ軸方向の画角αｙを求め、このとき、前記Ｘ軸用の変化関数と前記Ｙ軸用の変化関数のいずれか一方を、アスペクト比の補正値を伴なう変化関数とする。

（２）表示画像の拡大倍率に対応する焦点距離ｆ、および前記画角αｘと前記画角αｙとから、表示画像における像点の位置ｒｘとｒｙを算出する。

（３）前記ｒｘおよびｒｙとから、画素Ｐｉに映し出されるべき空間点の天頂角θｉと方位角Φｉを求める。

（４）前記天頂角θｉおよび方位角Φｉと、前記レンズの射影多項式とから、前記画素Ｐｉを、撮像素子のいずれかの検知点で検出された撮像信号に対応させる。

（５）前記処理（１）ないし（４）を、表示画面の全ての画素に対して行う。
例えば、前記処理（２）は、ｒｘ＝ｆ・ｔａｎ（αｘ）、ｒｙ＝ｆ・ｔａｎ（αｙ）の演算によって行われ、前記処理（４）では、以下の演算により、撮像素子上の画素Ｐｉに対応する検知点の座標ｍｘ，ｍｙが算出される。

ｒ（θｉ）＝ｋ_１θｉ＋ｋ_２θｉ^３＋ｋ_３θｉ^５＋ｋ_４θｉ^７＋・・・・・
ｍｘ＝ｒ（θｉ）・ｃｏｓ（Φｉ）
ｍｙ＝ｒ（θｉ）・ｓｉｎ（Φｉ）
（ただし、前記ｒ（θｉ）は、任意の次数の項以後を切り捨てた多項式で計算される）

本発明におけるアスペクト比の補正値を伴なう前記変化関数は、
前記Ｘ軸用の変化関数と前記Ｙ軸用の変化関数のいずれか一方の変化関数を微分した微分関数に一方の座標位置を代入した微分補正値を求め、他方の変化関数に前記微分補正値を加算して求められる。
また、前記微分補正値は、前記微分関数に一定の定数を乗算して得られる。

また、本発明は、撮像素子で検知されている撮像画面と表示画面に表示される表示画像との拡大倍率が相違しても、共通の変化関数が用いられるものとすることが可能である。

また、本発明は、撮像素子で検知されている撮像画面と表示画面に表示される表示画像との拡大倍率を変えて、表示画面に表示させることが可能である。

すなわち、撮像素子で検知されている撮像画面と表示画面に表示される表示画像との拡大倍率を代えて、表示画面に表示させることが可能であり、前記変化関数に、画角の中心位置を調整する調整角度が付加されるものとして構成できる。

本発明の撮像装置は、魚眼レンズや広角レンズなどを使用したカメラの撮像素子で検知した受像画像の一部を取り出し、その内部での画角の拡大率を場所に応じて相違させることにより、受像画像の一部を拡大し他の部分を縮小するなどして、歪みの少ない画像を表示画面に表示できる。

また、一部の画像の画角の拡大率を変化関数から求めることにより、最少の演算量で、受像画像の歪みの補正が可能である。

さらにカメラの撮像素子で検知した受像画面の一部を中心射影に転換してから表示画面の画素と撮像素子の検知点とを対応させているために、受像画像の一部の歪みを簡単な演算で精度良く修正してから、表示画面に表示させることが可能になる。

その結果、本発明では、魚眼レンズや広角レンズなどのレンズで検知した受像画像のうちの、注目すべき領域を拡大し、他の領域を縮小するなどして、歪みを低減できるのみならず、広角の表示画像を得ることも可能になる。

図１は本発明の実施の形態の撮像装置のブロック図である。
撮像装置１０は魚眼カメラ１１を有している。魚眼カメラ１１は例えば自動車１の車体に取り付けられる。図１の実施の形態では、魚眼カメラ１１が自動車１のフェンダーミラー２に取り付けられており、その光軸は、前輪３と後輪４との間に位置している。また前記光軸は、図１の紙面の手前方向に向けられ、且つ地面の表面とほぼ４５度の角度で下向きに設置されている。

図２（Ａ）に示すように、魚眼カメラ１１は、魚眼レンズ１２と、魚眼レンズ１２で集光された光を検知する複数の検知点を有する撮像素子１３とを有している。撮像素子１３は、ＣＣＤまたはＣＭＯＳである。

撮像素子１３の各検知点で検知された受像信号（輝度信号）は、画像検出部１４でディジタル値に変換されて画像処理部１５に与えられる。画像処理部１５には記憶手段としてメモリ１６が併設され、画像処理部１５とメモリ１６は、制御部１７により制御される。画像処理部１５は、画像検出部１４から送られたディジタル値の画像信号の演算処理を行うことができる。制御部１７は、ＣＰＵを主体とするものであり、前記画像処理部１５を制御するとともに、表示ドライバ１８を制御することが可能である。画像処理部１５で処理されて得られた画像データは、表示ドライバ１８に送られ、車内に設けられた液晶表示パネルなどの表示パネル１９に画像が表示される。

図４には、直交軸であるＸ軸とＹ軸を含む平面Ｈと、Ｘ軸とＹ軸との交点を起点として平面Ｈに垂直に延びるＺ軸を示している。平面Ｈを撮像素子の撮像面とし、平面の前方に位置するＡ１を撮像素子に映し出すべき空間点としたときに、この空間点Ａ１のＺ軸に対する天頂角はθｉであり、Ｘ軸を基準としたときの方位角はΦｉである。

図２（Ｂ）は、魚眼カメラ１１に設けられた前記撮像素子１３の平面図である。魚眼レンズの一般的なモデルは、等距離射影であり、像点Ａ２の像高をｒａとし焦点距離をｆとしたときに、ｒａ＝ｆ・θｉである。その他のモデルとして、等立体角射影は、ｒａ＝２ｆ・ｓｉｎ（θｉ／２）であり、正射影は、ｒａ＝ｆ・ｓｉｎθｉである。

これら種々のタイプの魚眼レンズを１つのモデル式で表現すると、像高ｒａをｒ（θｉ）として、次のように表すことができる。
ｒ（θｉ）＝ｋ_１θｉ＋ｋ_２θｉ^３＋ｋ_３θｉ^５＋ｋ_４θｉ^７＋・・・・・

この実施の形態では任意の高次の項を省略した魚眼レンズのモデル式である多項式がメモリ１６内に記憶されている。例えば、メモリ１６には、以下の多項式が記憶されている。ただし、多項式の次数は任意に設定することが可能である。
ｒ（θｉ）＝ｋ_１θｉ＋ｋ_２θｉ^３

図３は、ピンホールや収差のない理論的な凸レンズなどを使用した射影モデルである中心射影を示している。中心射影では、像高ｒと焦点距離ｆとの関係は以下の通りである。
ｒ＝ｆ・ｔａｎθ

図３に示す中心射影のモデルでは、歪みのない画像を撮像できるが、限られた面積の撮像素子に対して投影できる画角は狭い。これに対し、図２（Ａ）（Ｂ）に示す魚眼レンズ１２を使用した魚眼カメラ１１では、撮像素子に広角の画像を結像させることができ、その画角はほぼ１８０度である。ただし、魚眼カメラ１１の撮像素子１３に結像する受像画像は、画角が広がるにしたがって画像の歪みが大きくなる。

図５は、魚眼カメラ１１で撮像したときに撮像素子１３に結像している受像画像２０の一例を示している。図５では、魚眼レンズ１２の光軸の位置をＯ１点として示している。また、図６は、表示パネル１９の画面１９ａに表示される表示画像３０を示している。図６に示す表示画像３０は、図５に示す受像画像２０のうちの一部の区画３０ａを切り出して拡大して示している。図５に示す受像画像２０は、魚眼レンズ１２で結像されているため、光軸Ｏ１から離れるにしたがって歪み量が大きくなる。よって、画像処理部１５では、図５に示す受像画像２０の区画３０ａ内の画角を場所により拡大率が相違するように拡大し場所によっては縮小して歪みを修正し、前記表示画像３０を表示するための画像データを生成している。

このとき、光軸Ｏ１から離れる位置にしたがって画角の拡大率を変化させる。例えば、光軸Ｏ１に近い領域は画角を拡大し、光軸Ｏ１に離れるにしたがって拡大率を小さくしまたは徐々に縮小する。または、逆に、光軸Ｏ１から離れるにしたがって拡大率を徐々に大きくしてもよい。

このような画像処理を行なうことで、表示画像３０として表示する画像のうちの、注目すべき領域、または情報が必要とされる領域の拡大率を大きくし、この領域から離れるにしたがって拡大率を徐々に小さくすることが可能である。

図５に示す例では、受像画像２０の一部の区画３０ａを拡大して表示画像３０を生成する第１の画像処理において、図７に示すＸ軸方向の画角の変化関数Ｔ（ｘ）が使用される。この変化関数Ｔ（ｘ）は、画像処理の補正のために予め決められたものであり、メモリ１６に保持されている。

図６では、表示画面３０において、Ｘ軸方向の座標位置を、右端から左端へ向けて、０、０．１、０．２、０．３、・・・で示している。図７の横軸には、表示画面３０の前記Ｘ軸方向の座標位置が示され、縦軸には、横軸に示されているＸ軸方向のそれぞれの位置の画像の点の画角をどのくらい拡大してから画像処理すべきかが数値化されて示されている。

図７に示す変化関数Ｔ（ｘ）は、例えば、図６の表示画面１９ａのＸ軸方向の「０．１」の座標位置に表示すべき情報を、Ｘ軸方向の「０．１８」の位置まで画角を拡大して処理することを示しており、例えば、図６におけるＸ軸方向の「０．９」の座標位置に表示すべき情報を、Ｘ軸方向の「１．０」の位置まで画角を拡大して処理することを示している。

同様に、メモリ１６には、Ｙ軸方向の画角の変化関数Ｔ（ｙ）も保持されている。このＹ軸方向の画角の変化関数Ｔ（ｙ）は、Ｘ軸方向の画角の変化関数Ｔ（ｘ）と相違する曲率の関数である。

変化関数Ｔ（ｘ）とＴ（ｙ）を使用して、画像処理を行なうことにより、場所によって画角の拡大率が相違するのみならず、場所によって画角を拡大させる方向を徐々に相違させた画像を生成することができる。

図７に示す変化関数Ｔ（ｘ）は、魚眼カメラ１１の受像画像２０の一部の区画３０ａを拡大して図６に示す表示画面１９ａとして表示する際に、場所によって拡大率を相違させる補正関数であり、この変化関数Ｔ（ｘ）を使用することで、注目する領域を拡大し、全体として歪みのない見やすい表示画像１９ａを生成することができる。この変化関数Ｔ（ｘ）は、魚眼カメラ１１の受像画像２０において画像を切り出す区画３０ａの位置、区画３０ａの面積、および区画３０ａの画像の拡大率などに応じて生成される。

この変化関数Ｔ（ｘ）は、受像画像２０から切り出すべき区画３０ａの位置、面積、拡大率に応じて、複数箇所の拡大率を決め、複数の拡大率をＢスプライン曲線などのパラメトリック曲線で結ぶことで生成される。つまり、メモリ１６に、複数の拡大率の位置情報とパラメトリック曲線の関数を与えることで、図７に示す変化関数Ｔ（ｘ）をメモリ１６に保持できる。

第１の画像処理方法は以下の手順で行われる。この画像処理では、図６に示す表示パネル１９の表示画面１９ａの任意の画素Ｐｉに、撮像素子１３のどの検知点で検知された受像信号（輝度信号）を対応させて表示するかを決める。

まず、画素ＰｉのＸ軸方向の位置を図７に示す変化関数Ｔ（ｘ）の横軸に代入して、正規化する画角αｘを求める。例えば画素ＰｉのＸ軸方向の位置が「０．１」であるとき、この「０．１」を図７の変化関数に代入すると、Ｘ軸方向の位置が「０．１８」である。画像処理部１５では、Ｘ軸方向の前記「０．１８」の位置が、Ｘ軸方向のどの程度の画角に相当するかが求められる。求められた値が正規化した受像画角αｘである。

図５に示す例では、区画３０ａのＸ軸の「０」点が、光軸Ｏ１のＸ方向位置に一致している。すなわち、図６のＸ軸座標の原点は、光軸Ｏ１と同じＸ座標位置である。よって、この例では、図７に示す縦軸が、画角の拡大率を意味している。例えば、画素ＰｉがＸ軸座標上の位置「０．１」にあるとき、図６の表示画面１６ａにおける「０．１」の位置の画角を１．８倍することで、正規化した受像画角αｘを求めることができる。同様にして、Ｙ軸方向の変化関数Ｔ（ｙ）を用いて、画素ＰｉのＹ軸方向での正規化した受像画角αｙを求めることができる。図７の変化関数Ｔ（ｘ）では、光軸Ｏ１から離れるにしたがって画角の拡大率が徐々に小さくなる。

次に、表示画像の拡大倍率に対応する焦点距離ｆ、および前記画角αｘと前記画角αｙとから、表示画像における像点の位置ｒｘとｒｙを算出する。

例えば、正規化した受像画角αｘとαｙを使用し、図３に示すような歪みを伴なわない中心射影での受像面Ｈａ上の結像位置を求める。この演算では、図５に示す受像画像２０の区画３０ａを、図６に示す表示画像３０として表示するための全体の拡大率に相当する倍率から得られる焦点距離ｆの値が使用される。すなわち、中心射影に関する以下の式から、画素Ｐｉの中心射影に相当する正規化した座標位置ｒｘ、ｒｙを求めることができる。

ｒｘ＝ｆ・ｔａｎ（αｘ）
ｒｙ＝ｆ・ｔａｎ（αｙ）

前記のように正規化した座標位置ｒｘ，ｒｙを知ることにより、図４に示す天頂角θｉと、方位角Φｉを知ることができる。この天頂角θｉと方位角Φｉは、図７に示す変化関数Ｔ（ｘ）で補正された正規化した天頂角および方位角であり、画素Ｐｉに映し出されるべき空間点の天頂角および方位角である。

次に、魚眼カメラ１１に使用されている魚眼レンズ１２のモデル式に、前記天頂角θｉと方位角Φｉを代入することで、図５に示す受像画像２０内のどの位置の検知点の受像信号（輝度信号）を、表示画面１９ａの画素Ｐｉの画像データとして使用するかを求めることができる。その計算方法は以下の通りである。

ｒ（θｉ）＝ｋ_１・θｉ＋ｋ_２・θｉ^３、
ｍｘ＝ｒ（θｉ）・ｃｏｓ（Φｉ）
ｍｙ＝ｒ（θｉ）・ｓｉｎ（Φｉ）

なお、ｒ（θｉ）は、ｒ（θｉ）＝ｋ_１θｉ＋ｋ_２θｉ^３＋ｋ_３θｉ^５＋ｋ_４θｉ^７＋・・・・・の任意の高次の項以降を省略した多項式であれば、どの項数の式であっても使用できる。
前記処理が、表示画面１９ａ内の全ての画素Ｐｉに対して行われる。

以上の第１の画像処理では、魚眼カメラ１１の撮像素子１３に結像した画像を、中心射影映像に変換することで、図６に示す拡大された表示画像３０において歪みを修正できる。ただし、撮像素子１３で得られた広角の画像データを単純に中心射影の映像へ変換すると、表示画面に表示された映像は、注目すべき領域である光軸Ｏ１に近い領域が極端に縮小され、光軸Ｏ１から離れた領域が極端に拡大されて、視認性が著しく損なわれた画像となる。

これに対し、前記画像処理では、図７に示すように予め決められた変化関数Ｔ（ｘ）を用いて、画素Ｐｉに対応する画像位置の正規化された画角αｘとαｙを求め、この画角αｘとαｙを用い、中心射影の式から天頂角θｉと方位角Φｉを求めている。そして、この天頂角θｉと方位角Φｉを、使用している魚眼レンズ１２のモデル式に代入して、表示画面１９ａの画素Ｐｉに与えるべき、受像画像２０上の検知点の位置（ｍｘ，ｍｙ）を算出している。

前記変化関数を用いることにより、魚眼カメラの画像を直接に中心射影の映像に変換するときのような、極端な拡大領域と縮小領域が発生するのを補正でき、視認性の良い表示画像３０を得ることができる。

次に、第２の画像処理方法は、図８に示す表示画像３０Ａのように、表示領域内の各箇所において、Ｘ軸方向とＹ軸方向での画像のアスペクト比を均一にしたものである。表示画面１９ａの全ての位置でアスペクト比を均一に補正することにより、さらに表示画像の見たときの違和感を小さくできる。

この第２の画像処理方法では、図７に示すＸ軸方向の拡大率を決める変化関数Ｔ（ｘ）と、Ｙ軸方向の拡大率を決める変化関数Ｔ（ｙ）とが使用され、さらに、Ｘ軸方向の変化関数Ｔ（ｘ）を微分したＸ軸方法の微分関数Ｔ´（ｘ）が使用される。

第２の画像処理方法では、表示画面１９ａ内の画素Ｐｉの位置情報をＸ軸方向での変化関数Ｔ（ｘ）に代入して、第１の画像処理方法と同様にして、正規化したＸ軸方向の画角αｘを求める。

また、画素Ｐｉの位置情報をＹ軸方向での変化関数Ｔ（ｙ）に代入して、正規化したＹ軸方向の画角αｙを求める。ただし、前記微分関数Ｔ´（ｘ）に、Ｘ座標位置を代入して微分補正値を求め、それぞれの画素ＰｉのＹ方向の画角を求める際に、変化関数Ｔ（ｙ）で求められる画角αｙに対して、画素Ｐｉが位置しているＸ座標位置での微分補正値を加算することで、アスペクト補正後の正規化された画角αｙ´を得ることができる。前記微分補正値は、前記微分関数Ｔ´（ｘ）に一定の定数を乗算することで得られる。

すなわち、Ｘ方向での歪み量が大きくなるにつれて、Ｙ方向の画角が広がるようにアスペクト比を補正する。このようにして得られた正規化した画角αｘとαｙ´を用いて、中心射影上の像点の位置座標ｒｘ、ｒｙを計算し、さらに天頂角θｉと方位角Φｉとから、受像画像２０上での画素Ｐｉに対応する検知点の位置（ｍｘ、ｍｙ）を求める。この補正により、図６に示すような、見たときに違和感が残るような歪んだ表示画像３０ではなく、図８に示すような、アスペクト比が補正された表示画像３０Ａを得ることができる。

図９（Ａ）は、図５に示す区画３０ａの画角が、光軸Ｏ１の位置からＸ軸方向へ１２５度の範囲であるときの変化関数Ｔ１（ｘ）を示し、図９（Ｂ）は、区画３０ａの画角が、光軸Ｏ１の位置からＸ軸方向へ８５度の範囲であるときの変化関数Ｔ２（ｘ）を示している。画角が１２５度よりも８５度の方が、図５に示す受像画像２０から図６に示す表示画像３０を得るための拡大率が大きくなっている。図９（Ａ）に示す変化関数Ｔ１（ｘ）では、画角が１２５度と広いため、受像画像２０の一部の画像がＸ軸方向へ画角を縮小されて、表示画像３０が生成される。

メモリ１６に、図９（Ａ）に示す変化関数Ｔ１（ｘ）と図９（Ｂ）に示す変化関数Ｔ２（ｘ）とを保持させることで、図５に示す受像画像２０の一部を拡大して図６に示す表示画像３０を生成する際に、画角が１２５度の範囲の画像と８５度の範囲の画像の２種の画像を表示させることができる。例えば、魚眼カメラ１１で車体の斜め後方の景色を撮影して表示画面３０を自動車内の表示画面１９ａに表示する場合に、車内での操作で画角を切換えることにより、状況に応じた景色の画像表示を行うことができる。または、撮像装置を車体に実装するときに、車種によって拡大率を変えるように調整してから出荷してもよい。

前記拡大率の切換えは、画像処理において使用する変化関数を図９（Ａ）のＴ１（ｘ）と図９（Ｂ）のＴ２（ｘ）のいずれかに切換えるとともに、中心射影に変換する際の前記焦点距離ｆを切換えるという簡単な切換え処理で、実行することができる。

さらに、メモリ１６に、図１０に示すＸ軸方向の変化関数Ｔｍ（ｘ）を保持しておくことにより、１つの変化関数Ｔｍ（ｘ）を使用して、表示画面１９ａに表示される表示画像３０（または３０Ａ）の拡大率を変えることができる。例えば、メモリ１６に保持した１種類の変化関数Ｔｍ（ｘ）を使用して、１２５度の広角の表示と８５度の画角の表示とを切換えて表示することができる。

すなわち、図１０に示すＸ軸方向の変化関数Ｔｍ（ｘ）は、図９（Ａ）に示す変化関数Ｔ１（ｘ）と図９（Ｂ）に示す変化関数Ｔ２（ｘ）とを組み合わせたものである。１２５度の広角の表示画像３０を得るときには、図１０に示す（ｉ）の範囲で変化関数Ｔｍ（ｘ）を使用して、第１の画像処理方向や第２の画像処理方法と同様にして画素Ｐｉに対応する受像画像２０の検知点を決定する。また、８５度の画角の表示画像３０を得るときには、図１０に示す（ｉｉ）の範囲で変化関数Ｔｍ（ｘ）を使用して、第１の画像処理方向や第２の画像処理方法と同様にして画素Ｐｉに対応する受像画像２０の検知点を決定する。なお、Ｙ軸方向の変化関数Ｔｍ（ｙ）も同様に構成されて使用される。

次に図１１（Ａ）（Ｂ）（Ｃ）は、図９（Ａ）（Ｂ）に示す変化関数、または図１０に示すように結合した変化関数と同種の変化関数を使用して、表示画面を３種類の拡大率で表示した例を示している。

図１１（Ａ）は、Ｘ軸方向へ８２度の画角範囲の拡大表示画像１３０Ａを示し、図１１（Ｂ）は、Ｘ軸方向へ１１０度の画角範囲の拡大表示画像１３０Ｂを示し、図１１（Ｃ）は、Ｘ軸方向へ１４０度の画角範囲の拡大表示画像１３０Ｃを示している。

図１１（Ａ）（Ｂ）（Ｃ）では、Ｘ軸方向の画角が、８２度、１１０度、１４０度と相違しているが、画像に写されている自動車の前輪の位置は、表示画面１９ａ内においてほぼ同じ位置にある。これは、変化関数Ｔ（ｘ）で求められる各画素Ｐｉに対応する正規化された画角αｘに対して、Ｘ軸（＋）方向への付加角度（Δαｘ）を加算し、且つ画角が狭くになるにしたがって、前記付加角度（Δαｘ）の絶対値を大きくすることで実現できる。付加角度（Δαｘ）を加算したαｘ＋ΔαｘとＹ軸方向の正規化した画角αｙを使用し、中心射影の像高のｒｘ、ｒｙを計算し、さらに天頂角θｉと方位角Φｉとから、受像画像２０上での画素Ｐｉに対応する検知点の位置（ｍｘ、ｍｙ）を求めることにより、図１１（Ａ）（Ｂ）（Ｃ）に示すように、拡大率が相違しても拡大率の大きい部分が表示画面１９ａのほぼ同じ位置となる表示画面１３０Ａ、１３０Ｂ、１３０Ｃを生成することができる。

図１１（Ａ）（Ｂ）（Ｃ）に示す拡大画像を生成することにより、表示画面１９ａに表示される画像の拡大率を切換えたときに感じられる表示画像の目視上の違和感を少なくできる。

なお、前記実施の形態では、魚眼レンズを使用したカメラを使用するものを例として説明したが、本発明は、画角がおよそ６０度程度またはそれ以上であって、検知画像の周辺部に認識できる程度の歪みを生じている広角レンズなども使用可能である。本明細書では、広角レンズは魚眼レンズを含む概念である。

本発明の実施の形態の撮像装置を示すブロック図、 （Ａ）は魚眼レンズと撮像素子の側面図、（Ｂ）は撮像素子の正面図、 中心射影モデルの説明図、 空間点と、天頂角および方位角の説明図、 魚眼カメラの受像画像の一例を示す説明図、 受像画像の一部を拡大した表示画像の説明図、 Ｘ軸方向の変化関数Ｔ（ｘ）の説明図、 アスペクト比を補正した表示画像の説明図、 （Ａ）（Ｂ）は拡大率が相違するときのそれぞれの画角に対応する変化関数の説明図、 異なる拡大率を加味した複合した変化関数の説明図、 （Ａ）（Ｂ）（Ｃ）は拡大率を相違させた表示画面の説明図、

符号の説明

１１ 魚眼カメラ
１２ 魚眼レンズ
１３ 撮像素子
１５ 画像処理部
１９ 表示パネル
１９ａ 表示画面
２０ 受像画像
３０ 表示画像
３０ａ 区画

Claims (10)

1. レンズと、前記レンズで集光された光を複数の検知点で検知する撮像素子と、前記撮像素子のそれぞれの検知点で検知された受像信号に基づいて所定の面積の表示画面に画像を表示させるための画像データを生成する画像処理部と、が設けられた撮像装置において、
   前記画像処理部では、前記撮像素子で検知された受像画角内の一部の区画の画像を拡大して前記表示画面で表示させる画像処理を行い、
   前記画像処理では、前記表示画面の横軸に相当するＸ軸方向の画角の拡大率と、前記Ｘ軸方向と直交するＹ軸方向の画角の拡大率とを、前記区画内の各場所に応じて相違させる処理が行われ
   前記Ｘ軸方向の画角の拡大率と前記Ｙ軸方向の画角の拡大率のいずれか一方の拡大率は、予め決められた変化関数に基づいて決められ、他方は、アスペクト比の補正値を伴なう変化関数に基づいて決められることを特徴とする撮像装置。
2. 前記変化関数は、画角の拡大率が、前記レンズの光軸から離れるにしたがって徐々に変化する請求項１記載の撮像装置。
3. 前記画像処理では、表示画面のそれぞれの画素Ｐｉに対して以下の演算が行われ、この画素Ｐｉと撮像素子の検知点の受像信号とを対応させる処理が行われる請求項１または２記載の撮像装置。
   （１）表示画面上での画素ＰｉのＸ軸方向の座標位置をＸ軸用の変化関数に代入して、前記座標位置に対応するＸ方向の画角αｘを算出し、表示画面上での画素ＰｉのＹ軸方向の座標位置をＹ軸用の変化関数に代入して、前記座標位置に対応するＹ方向の画角αｙを求め、このとき、前記Ｘ軸用の変化関数と前記Ｙ軸用の変化関数のいずれか一方を、アスペクト比の補正値を伴なう変化関数とする。
   （２）表示画像の拡大倍率に対応する焦点距離ｆ、および前記画角αｘと前記画角αｙとから、表示画像における像点の位置ｒｘとｒｙを算出する。
   （３）前記ｒｘおよびｒｙとから、画素Ｐｉに映し出されるべき空間点の天頂角θｉと方位角Φｉを求める。
   （４）前記天頂角θｉおよび方位角Φｉと、前記レンズの射影多項式とから、前記画素Ｐｉを、撮像素子のいずれかの検知点で検出された撮像信号に対応させる。
   （５）前記処理（１）ないし（４）を、表示画面の全ての画素に対して行う。
4. 前記処理（２）は、ｒｘ＝ｆ・ｔａｎ（αｘ）、ｒｙ＝ｆ・ｔａｎ（αｙ）の演算によって行われる請求項３記載の撮像装置。
5. 前記処理（４）では、以下の演算により、撮像素子上の画素Ｐｉに対応する検知点の座標ｍｘ，ｍｙが算出される請求項３または４記載の撮像装置。
   ｒ（θｉ）＝ｋ₁θｉ＋ｋ₂θｉ³＋ｋ₃θｉ⁵＋ｋ₄θｉ⁷＋・・・・・
   ｍｘ＝ｒ（θｉ）・ｃｏｓ（Φｉ）
   ｍｙ＝ｒ（θｉ）・ｓｉｎ（Φｉ）
   （ただし、前記ｒ（θｉ）は、任意の次数の項以後を切り捨てた多項式で計算される）
6. アスペクト比の補正値を伴なう前記変化関数は、
   前記Ｘ軸用の変化関数と前記Ｙ軸用の変化関数のいずれか一方の変化関数を微分した微分関数に一方の座標位置を代入した微分補正値を求め、他方の変化関数に前記微分補正値を加算して求められる請求項１ないし５のいずれかに記載の撮像装置。
7. 前記微分補正値は、前記微分関数に一定の定数を乗算して得られる請求項６記載の撮像装置。
8. 撮像素子で検知されている撮像画面と表示画面に表示される表示画像との拡大倍率が相違しても、共通の変化関数が用いられる請求項１ないし７のいずれかに記載の撮像装置。
9. 撮像素子で検知されている撮像画面と表示画面に表示される表示画像との拡大倍率を変えて、表示画面に表示させることが可能である請求項１ないし８のいずれかに記載の撮像装置。
10. 撮像素子で検知されている撮像画面と表示画面に表示される表示画像との拡大倍率を変えて、表示画面に表示させることが可能であり、
    前記変化関数に、画角の中心位置を調整する調整角度が付加される請求１ないし９のいずれかに記載の撮像装置。

Images