JP6545997B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

従来より、広角レンズを有するカメラが知られている。例えば、特許文献１には、広角レンズ（いわゆる、魚眼レンズ）を有する撮像装置が開示されている。

特開２００４−３５４５７２号公報

従来より、広角レンズを用いた撮像装置で遠方領域と近傍領域の両方を撮像しようとする試みが行われている。しかし、従来の広角レンズを用いて遠方領域と近傍領域の両方を撮像した場合、像高当たりの入射角の変化率に起因して、画像の中に画質が劣化した部分が生じる場合がある。この画質が劣化した部分が、その後に実施される画像処理に悪い影響を与えるおそれがある。

そこで、本発明は、撮像装置で撮像した画像に関して、その画像に含まれる画質が劣化した部分の影響を小さくする画像処理技術を提供する。

例えば、上記課題を解決するために、特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例をあげるならば、入射角に対する像高当たりの入射角の変化率の変曲点を所定の変曲点入射角に有する特性のレンズを備える少なくとも１つの撮像装置によって撮影された画像を処理する画像処理装置であって、前記所定の変曲点入射角に対応する変曲点対応画像領域の解像度と、前記変曲点対応画像領域よりも内側の内側画像領域及び外側の外側画像領域の少なくとも一方の解像度とを調整する解像度調整部を備える画像処理装置が提供される。

また、他の例によれば、入射角に対する像高当たりの入射角の変化率の変曲点を所定の変曲点入射角に有する特性のレンズを備える２つの撮像装置によって撮影された２つの画像を処理する画像処理装置であって、前記２つの画像における前記所定の変曲点入射角に対応する変曲点対応画像領域よりも内側の内側画像領域同士の視差情報を算出する視差算出部を備える画像処理装置が提供される。

また、他の例によれば、入射角に対する像高当たりの入射角の変化率の変曲点を所定の変曲点入射角に有する特性のレンズを備える少なくとも１つの撮像装置で撮像された画像を処理する画像処理装置であって、近距離を対象とする第１の領域に第１の画像処理を実行し、遠距離を対象とする第２の領域を少なくとも含む領域に第２の画像処理を実行する演算部を備え、前記第２の画像処理は、前記変曲点に起因して生じる前記画像上の第３の領域の情報をもとに設定された処理である、画像処理装置が提供される。

本発明によれば、撮像装置で撮像した画像に関して、その画像に含まれる画質が劣化した部分の影響を小さくすることができる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施例の説明により明らかにされる。

本発明の撮像装置の一実施例の構成を示す図である。 角度分解能と距離の測定との関係を説明する図である。 角度分解能と距離の測定との関係を説明する図である。 一実施例の車載用のステレオカメラで撮像する範囲を模式的に示した図である。 一実施例に係る撮像レンズにおける入射角に対する像高当りの入射角の変化率及び像高との関係の一例を示す図である。 一実施例に係る撮像レンズの構成を示す図である。 一実施例に係る撮像レンズを用いたカメラで撮像した画像の一部を切り出した図である。 一実施例に係る撮像レンズを用いたカメラで撮像した画像全体を模式的に表した図である。 切り出し画像の一例である。 一実施例の撮像装置の動作手順を示すフローチャートである。 一実施例の撮像装置で撮像される参照画像及び基準画像の一例である。 参照画像及び基準画像のそれぞれから切り出される第１の切り出し画像及び第２の切り出し画像の一例である。 第１の切り出し画像と第２の切り出し画像の好ましい一例である。 参照画像及び基準画像のそれぞれから生成される第１の縮小画像及び第２の縮小画像の一例である。 縮小処理を実行した際の作用を説明する図である。 視差の算出処理を説明する図である。 切り出し画像及び縮小画像の両方で別々に視差情報を生成する一例を説明する図である。

以下、添付図面を参照して本発明の実施例について説明する。なお、添付図面は本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

図１は、本発明の撮像装置の一実施例の構成を示す図である。本実施例の撮像装置１は、例えば車両に搭載されるステレオカメラである。本例では、撮像装置１を車両の自動運転のアプリケーションに適用する場合を想定する。なお、撮像装置１は、他の分野に適用されてもよい。

撮像装置１は、それぞれ車両前方を撮像する左右一対の第１及び第２の撮像部１００ａ、１００ｂと、演算部１１０とを備える。また、撮像装置１の外部には、図示しない制御部が設けられている。

撮像装置１では、第１及び第２の撮像部１００ａ、１００ｂで車両前方を同時に撮像し、演算部１１０で、複数の画像を用いて視差を求め、視差に基づいて車両から前方の対象物までの距離を算出する。制御部は、演算部１１０で算出された対象物までの距離や対象物の認識結果を用いてブレーキ制御等の車両制御を行う。

左右の第１及び第２の撮像部１００ａ、１００ｂは、基線長（base line length）だけ左右に離れて設定されているので、車両前方を同時に撮像した左右の画像は、同じ対象物の位置が互いに左右にずれて撮像されている。すなわち、左右一対の画像は、同じ対象物を撮像したものであっても画像上の位置は左右にずれることになる。

第１の撮像部１００ａは、光学素子１０１ａと、撮像素子１０２ａとを備える。光学素子１０１ａは、光を屈折させて、撮像素子に像を結ぶ構造を有する撮像レンズである。撮像素子１０２ａは、光学素子１０１ａにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。撮像素子１０２ａは、光学素子１０１ａを通過した光が通る箇所に設置され、所定の時間中の光を処理するように電子的なシャッタの機能を有する。なお、第１の撮像部１００ａが物理的なシャッタ機能を備えてもよい。撮像素子１０２ａとしては、ＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide）イメージセンサなどがある。

次に、本実施例で用いられる撮像レンズについて説明する。上述のように、演算部１１０が対象物までの距離を測定する。ここでは、図２Ａ及び図２Ｂを用いて角度分解能と距離の測定との関係について説明する。１つの画素が表現する入射角は幅を持っており、直線で示す入射角内であれば、撮像装置１は、対象物が同じ方向に存在すると認識することができる。例えば図２Ａのように角度分解能が高ければ撮像素子１０２ａの１画素２１が捕らえる入射角が狭いため、複数の対象物２０Ａ、２０Ｂそれぞれを識別可能となり、距離の測定精度が上がる。しかしながら、図２Ｂのように角度分解能が低いと撮像素子１０２ａの１画素が捉えられる入射角が広いため、複数の対象物２０Ａ、２０Ｂを識別することができず、対象物２０Ａ、２０Ｂの距離を正確に測定することができない。このため、正確に対象物との距離を測定する必要がある入射角に関しては角度分解能を高くすることが望ましい。

図３は、本実施例の車載用のステレオカメラで撮像する範囲を模式的に示した図である。まず、自動運転のアプリケーションにおける、前方の車両に自動的に追従する機能について述べる。この機能では、車両３０１の前方については、遠距離（例えば、１００ｍ程度）にある対象物（前方を走る車両）を認識したい。例えば、車両３０１が高速道路を走行する場合、比較的車間距離がとられていることも想定される。したがって、高速道路で走行中には距離測定の誤差によって車間距離に大きく影響を与えるので、正面付近の遠方でも精度の高い距離測定ができることが望ましい。このため、入射角の小さい領域において高い角度分解能であることが望ましい。

次に、自動運転のアプリケーションにおける、衝突防止機能について述べる。交差点などにおける衝突防止機能では、横方向から飛び出してくる人や車両を検知したいため、できるだけ広い入射角を撮像することが望ましい。また、衝突する可能性のある人又は車両は比較的近距離にある。以上の通り、正面に対しては遠距離を、周辺方向については広い入射角での撮影が要求される。

本実施例では、撮影画角を広角化しながら、撮影範囲の全体にわたって望ましい角度分解能を確保するために、図４で説明する特性を有する撮像レンズを使用する。図４は、本実施形態に係る撮像レンズにおける入射角θに対する像高当りの入射角の変化率Ｄ及び像高ｙとの関係の一例を示すグラフである。ここで、像高ｙとは、光学系の評価面上で像位置を光軸からの距離で表した値である。符号４０１が入射角の変化率を示すグラフ、符号４０２が像高を示すグラフ、符号４０３が入射角の変化率における変曲点であり、これに対応する入射角が切り替え入射角θｓである。

本例に係る撮像レンズは、像高当たりの入射角の変化率の切り替え入射角θｓが、１０°〜３０°の範囲に存在することを特徴とする。車両に搭載する用途の機器に用いる場合、像高当たりの入射角の変化率の切り替え入射角θｓは１０°から３０°の範囲に存在している事が望ましい。運転手の運転サポートや、自動運転で用いられる用途別の入射角ごとに要求される検知距離は、１０°から３０°の領域で短めになっている。つまり、角度分解能の要求精度は比較的低い。そのため、１０°から３０°の入射角では角度分解能の精度が小さくても許容される傾向である。その領域に、角度分解能がばらつきやすい角度分解能の遷移領域を設けることで、角度分解能のばらつきを原因とする距離の算出誤差があっても、車載用距離測定システムとしての処理が破綻しにくい堅牢性がある中央で比較的長い距離を測定しつつ、広い画角を撮影できる距離測定システムを提供できる。

以上から、本実施例で使用する撮像レンズは、入射角に対する像高当たりの入射角の変化率Ｄの変曲点４０３を所定の変曲点入射角（θｓ）に有する特性を有し、像高当たりの入射角の変化率が単調に変化する従来の撮像レンズとは異なる。なお、撮像素子として、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を採用した場合には、単位入射角当たりどれだけの画素が含まれるかが撮像レンズの指標となる。図４において、像高当たりの入射角の変化率Ｄがなだらかな部分は、角度分解能のばらつきが小さく、角度分解能も高い傾向にある。一方、像高当たりの入射角の変化率Ｄの変曲点４０３を含む部分（グラフが立ち上がる部分）は、上記の通り、角度分解能がばらつきやすい角度分解能の遷移領域であり、角度分解能が低くなる場合もある。したがって、本実施例で使用する撮像レンズは、撮像素子１０２ａの観点で言えば、中央部分と周辺部分との間に、当該中央部分及び周辺部分に比べて角度分解能の変化率が高い部分が存在する特性を有する撮像レンズと言うこともできる。

本実施例に係る撮像レンズは、変曲点入射角（θｓ）よりも入射角が小さい小入射角部位の倍率が変曲点入射角（θｓ）よりも入射角が大きい大入射角部位の倍率よりも大きく設定される。したがって、当該撮像レンズを車両に搭載する用途の機器（距離測定システム等）に用いる場合、運転手の運転サポートや、自動運転で用いられる用途別の入射角ごとに要求される検知距離は中央で長く、周辺方向で短くなっている。上記の特性を有する撮像レンズであれば、入射角が小さい中央領域で測定距離が長く、入射角が大きな周辺部分では測定距離は短いが、広い範囲を撮影できる。

上記のような光学特性を具備する撮像レンズのレンズ構成について図５を用いて説明する。このレンズは、２枚の非球面レンズ５２０、５３０及び球面レンズ群５４０で構成されている。レンズ入射第１面５１０に入射した光線は、光線入射側の２枚の非球面レンズ５２０、５３０により所望の像高と入射角の関係が得られるように光線が導かれ、後群の球面レンズ群５４０により撮像素子１０２ａの上に像を結像する。なお、図５の構成は、一例であり、これに限定されない。例えば、図５の構成に対して、赤外線を吸収するためのＩＲフィルタをレンズ射出面に追加してもよい。また、図５の例では、符号５２０、符号５３０で示す２枚の非球面レンズを用いているが、別の例として、符号５２０、符号５３０で示すレンズを両面非球面にしてもよい。また、本実施例の撮像レンズは、入射面の２枚の非球面レンズで大部分が特性付けられる。したがって、それ以降の後群のレンズ構成については、従来の撮像レンズの構成を用いてもよい。

一方、上記のような光学特性を具備する撮像レンズを用いたカメラに関して、像高当たりの入射角の変化率の変曲点の部分では、その部分で画質が劣化する。図６は、上記のような光学特性を具備する撮像レンズを用いたカメラで撮像した画像の一部を切り出したものである。

なお、図６の画像は、上述したカメラで取得された実際の画像ではなく、ボケ領域を分かりやすく示すためにコントラストなどが調整された画像である。ここで、ボケ領域とは、画像内の解像度（resolution）が低い領域である。解像度とは、どれだけ細かいものを分解できるかを表すものである。解像度を表す指標として、レスポンス関数（modulation transfer function：MTF，変調伝達関数，振幅伝達関数）などがある。他に、点広がり関数（point spread function：PSF）、線広がり関数（line spread function：LSF）がある。本例では、解像度を表す指標としてＭＴＦを用いる。ＭＴＦは、空間分解能を表す定量的尺度の解像特性指標を指し、各空間周波数に対するレスポンスを表す関数である。

図３を用いて、上述のボケ領域と本実施例に係る撮像レンズとの関係を説明する。図３に示すように、車両３０１の正面方向に関しては、遠距離（例えば、１００ｍ程度）にある対象物（前方を走る車両）を認識したい。したがって、撮像レンズの中央領域（光軸に対して入射角が小さい領域）は、解像度が高くなるように設定される。また、撮像レンズの周辺領域（光軸に対して入射角が大きい領域）に関しては、車両３０１から近距離（例えば、２０ｍ程度）にある対象物を認識したいため、解像度が高くなるように設定される。一方、図３の３０２で示すような部分は、車両運転中に認識する必要性が小さい領域であるため、自動運転のアプリケーションに関しては画像の情報として取得する必要性が小さい。したがって、この部分に、像高当りの入射角の変化率Ｄの変曲点４０３が設定される。上述したように、一例として、変曲点４０３は、入射角が１０°〜３０°の範囲に存在する。この構成によれば、撮像レンズの中央領域と周辺領域との間に、像高当りの入射角の変化率Ｄの急激な変化部分（変曲点４０３を含む部分）が存在することになる。この変曲点４０３に対応する領域が、図６の画像におけるボケ領域に相当することになる。なお、図３で扇状に描かれる各領域は、この画像処理装置によって物体の検知だけでなく認識も可能な領域であり、この扇状の認識可能領域より外側の領域（例えば、３０２で示される部分）は、物体の検知は可能であるが、撮影された像が小さくなるために認識までは困難となる領域である。

図７は、上記のような光学特性を具備する撮像レンズを用いて撮像される画像を模式的に表した図である。画像は、第１の領域（内側画像領域）２０１と、第２の領域（外側画像領域）２０２と、第３の領域（変曲点対応画像領域）２０３とを含む。第１の領域２０１は、撮像レンズの光軸に対する入射角が小さい領域（以下、「小入射角領域」という）であり、撮像レンズの中央領域に対応する。第１の領域２０１は、遠距離（第１の距離範囲）を対象とする領域である。第２の領域２０２は、撮像レンズの光軸に対する入射角が大きい領域（以下、「大入射角領域」という）であり、撮像レンズの周辺領域に対応する。第２の領域２０２は、近距離（第１の距離範囲よりも近い第２の距離範囲）を対象とする領域である。第３の領域２０３は、第１の領域２０１と第２の領域２０２の間にある。第３の領域２０３は、環状又はドーナツ状の領域であり、像高当りの入射角の変化率Ｄの急激な変化部分（変曲点４０３を含む）に対応する。第３の領域２０３は、第１の領域２０１と第２の領域２０２に比べて解像度が低い領域となる。

図７の画像に関して、Ａ−Ａ線に沿って解像度（ＭＴＦ）の変化を図示すると、ドーナツ状の第３の領域２０３で解像度が低くなり、その後、第２の領域２０２で解像度が高くなる。したがって、本実施例に係る撮像レンズをそれによって撮像される画像から特定するならば、光軸に対する入射角が小さい小入射角領域と光軸に対する入射角が大きい大入射角領域との間に小入射角領域及び大入射角領域よりも解像度が低下する中間入射角領域が存在する特性を有するレンズと言うこともできる。また、別の言い方をすれば、本例の撮像レンズを、第１の領域２０１と第２の領域２０２の間の第３の領域２０３が解像度の変曲点を有するように設計されたレンズと言うこともできる。

以下では、上記のような光学特性を備える撮像レンズを用いて撮像される画像に生じる新規な課題を解決する実施例を説明する。詳細には、本実施例は、解像度が低い第３の領域２０３の影響を低減し、近傍領域に対応する画像と遠方領域に対応する画像とを用いて外部環境の良好な認識を可能にする技術を提供する。

第２の撮像部１００ｂは、第１の撮像部１００ａと同様に、光学素子１０１ｂと、撮像素子１０２ｂとを備える。第２の撮像部１００ｂは、第１の撮像部１００ａと同様の構成を備えるため、説明を省略する。なお、光学素子１０１ｂの撮像レンズの設計は、光学素子１０１ａと同様である。

演算部１１０は、プロセッサ（CPU: Central Processing Unit、中央演算処理装置）及びメモリなどから構成される情報処理装置である。プロセッサは、メモリに格納されているプログラムの指示にしたがって、以下で説明する演算部１１０の各構成要素の処理を実行する。すなわち、演算部１１０の各構成要素は、ソフトウェアとして実現可能である。なお、演算部１１０の一部をハードウェアとして実装してもよい。

演算部１１０は、構成要素として、同期信号発信部１１７と、参照画像取込部１１８ａと、基準画像取込部１１８ｂと、輝度補正部１２０と、幾何補正部１２１と、画像切出部１２２と、画像縮小部１２３と、視差算出部１２４と、距離算出部１２５と、認識部１２６とを備える。なお、演算部１１０において画像処理に関する部分をまとめて画像処理部と称する場合がある。

そして、演算部１１０は、メモリ又はハードディスクによって構成された以下の記憶部を備える。詳細には、演算部１１０は、参照画像記憶部１３１と、基準画像記憶部１３２と、処理画像記憶部１３３と、輝度補正情報記憶部１３４と、幾何補正情報記憶部１３５と、処理領域情報記憶部１３６と、縮小情報記憶部１３７とを備える。

参照画像記憶部１３１は、第１の撮像部１００ａで撮影された参照画像（第１の画像）を記憶する。基準画像記憶部１３２は、第２の撮像部１００ｂで撮影された基準画像（第２の画像）を記憶する。

処理画像記憶部１３３は、演算部１１０の各構成要素でそれぞれ処理され、生成された画像を記憶する。

輝度補正情報記憶部１３４は、第１の撮像部１００ａ及び第２の撮像部１００ｂの画像（参照画像及び基準画像）における各画素の輝度の補正係数を記憶する。この補正係数は、均一なライトや対象物を撮影したときの基準画像及び比較画像の輝度が画像全面でほぼ同じになる値である。

幾何補正情報記憶部１３５は、第１の撮像部１００ａ及び第２の撮像部１００ｂの画像（参照画像及び基準画像）における各画素の幾何の補正量を記憶する。この補正量は、光学素子１０１ａ及び光学素子１０１ｂの歪、第１の撮像部１００ａ及び第２の撮像部１００ｂの焦点距離の誤差、画像上の光軸位置の誤差及び取付誤差が０であるときの画像に補正する値である。

処理領域情報記憶部１３６は、参照画像及び基準画像に対する処理領域の情報を格納する。ここでの処理領域とは、画像切出部１２２で切り出される領域を意味する。レンズを設計した際に像高当りの入射角の変化率Ｄの急激な変化部分（変曲点４０３を含む）の位置を知ることができるため、画像上でどの領域が第３の領域２０３になるかはあらかじめ知ることができる。この切り出し領域は、レンズの設計に応じてあらかじめ設定されればよい。

図８は、処理領域（切り出し領域）の一例である。切り出し領域は、例えば、第３の領域２０３に内接する四角形の領域８０１である。なお、切り出し領域は、各頂点が第３の領域２０３から数画素分内側に位置する四角形の領域が好ましい。四角形の頂点部分を解像度の低い第３の領域２０３から離れた位置に設定することにより、特に、四角形の領域８０１の頂点に近い画素を用いた視差計算でのミスマッチングを防ぐことができる。

なお、切り出し領域は、第３の領域２０３に沿った実質的な曲線で定義される領域（例えば、円領域）でもよい。この場合でも、切り出し領域は、その曲線が第３の領域２０３から数画素分内側に位置するような領域が好ましい。また、切り出し領域の情報は、特定の領域を指定する手法以外でもよい。例えば、解像度の閾値が切り出し領域の情報として格納されていてもよい。この構成によれば、第３の領域２０３より内側で、かつ、閾値以上の解像度を有する領域が切り出される。

縮小情報記憶部１３７は、参照画像及び基準画像に対する縮小率の情報を格納する。レンズを設計した際に第３の領域２０３がどの程度の解像度になるかはあらかじめ知ることができるため、ここでの縮小率は、第３の領域２０３の解像度の情報をもとにあらかじめ設定される。例えば、縮小率は、第３の領域２０３の解像度の大きさや、第３の領域２０３の幅の大きさなどに応じて設定されてよい。なお、縮小率は、第３の領域２０３が与える視差計算への影響が小さくなる程度で設定されればよい。

同期信号発信部１１７は、同期信号を生成し、参照画像取込部１１８ａと基準画像取込部１１８ｂに発信する。参照画像取込部１１８ａは、同期信号発信部１１７の同期信号に合わせて、第１の撮像部１００ａの撮像素子１０２ａが生成する画像を取得する。基準画像取込部１１８ｂは、同期信号発信部１１７の同期信号に合わせて、第２の撮像部１００ｂの撮像素子１０２ｂが生成する画像を取得する。したがって、参照画像取込部１１８ａと基準画像取込部１１８ｂでは、第１及び第２の撮像部１００ａ、１００ｂにより同時撮像された画像が取り込まれる。

輝度補正部１２０は、輝度補正情報記憶部１３４から各画素の輝度の補正係数を読み込み、参照画像及び基準画像のあらかじめ設定されている処理領域の輝度を補正する。

幾何補正部１２１は、幾何補正情報記憶部１３５から各画素の幾何の２次元補正量を読み込み、参照画像及び基準画像の処理領域に幾何学的に補正し、像の形状を補正する。ここでの処理領域は、あらかじめ設定されている領域である。

画像切出部１２２は、処理領域情報記憶部１３６から切り出し領域の情報を読み込み、参照画像及び基準画像のそれぞれから、切り出し領域の情報に対応する画素を切り出す。画像切出部１２２は、参照画像から切り出した画像（第１の切り出し画像）及び基準画像から切り出した画像（第２の切り出し画像）を処理画像記憶部１３３に格納する。例えば、解像度が異なる画像領域同士でステレオマッチングを行うと、撮像素子上で同じ物体の部位を映す画素同士を対応づけることが困難となる場合がある。このように、解像度が共通する画像領域（切り出し画像領域）同士をマッチングすることでマッチングの誤りや失敗を抑制することができる。

画像縮小部１２３は、像高当りの入射角の変化率Ｄの急激な変化部分（変曲点４０３を含む）に起因して生じる第３の領域２０３の情報（解像度）をもとに設定された縮小処理を実行する。ここでの縮小処理は、データの間引き又は隣接する画素のデータの平均化によって実現される。画像縮小部１２３は、縮小情報記憶部１３７から縮小率の情報を読み込み、参照画像の縮小画像（第１の縮小画像）及び基準画像の縮小画像（第２の縮小画像）を生成する。画像縮小部１２３は、第１の縮小画像及び第２の縮小画像を処理画像記憶部１３３に格納する。

上述の縮小処理によって、変曲点入射角（θｓ）に対応する第３の領域２０３の解像度と、第３の領域２０３よりも内側の第１の領域２０１の解像度と、第３の領域２０３よりも外側の第２の領域２０２の解像度とが調整される。したがって、画像縮小部１２３は、変曲点入射角（θｓ）に対応する第３の領域２０３の解像度と、第３の領域２０３よりも内側の第１の領域２０１の解像度と、第３の領域２０３よりも外側の第２の領域２０２の解像度とを調整する解像度調整部に相当する。第３の領域２０３（変曲点対応画像領域）は、周囲の画像領域（第１の領域２０１及び第２の領域２０２）と解像度が異なるため、これらの領域の解像度を調整することにより、レンズの特性によって物体の検知や認識の処理に影響が生ずるのを抑制することができる。なお、ここでは、解像度調整処理として画像全体を縮小する処理を説明したが、これに限定されない。例えば、画像処理への悪影響を低減するという観点においては、少なくとも、変曲点入射角（θｓ）に対応する第３の領域２０３と、その周囲の画像領域（第１の領域２０１及び第２の領域２０２の少なくとも一方）との解像度の差がなくなる、又は小さくなるように調整されればよい。したがって、解像度調整部は、変曲点入射角（θｓ）に対応する第３の領域２０３の解像度と、第３の領域２０３よりも内側の第１の領域２０１及び第３の領域２０３よりも外側の第２の領域２０２の少なくとも一方の解像度とを調整する処理を実行してもよい。

視差算出部１２４は、基準画像上から抽出した所定のサイズの領域（テンプレート画像）に対応する参照画像上の領域を探索する。視差算出部１２４は、テンプレート画像と一致する参照画像上の領域の位置と、基準画像上のテンプレート画像の位置の差すなわち視差を算出する。視差算出部１２４は、各画素について視差を算出することにより、視差情報を算出する。なお、ある画像領域について視差が得られた場合には、その画像領域に何らかの物体が存在することを検知することができる。

本実施例では、視差算出部１２４は、２つの視差情報を算出する。第１の視差情報は、第１の切り出し画像を参照画像とし、第２の切り出し画像を基準画像として算出されたものである。また、第２の視差情報は、第１の縮小画像を参照画像とし、第２の縮小画像を基準画像として算出されたものである。なお、本例では、第１の撮像部１００ａで撮像された画像を参照画像とし、第２の撮像部１００ｂで撮像された画像を基準画像としたが、これに限定されない。第１の撮像部１００ａで撮像された画像を基準画像とし、第２の撮像部１００ｂで撮像された画像を参照画像としてもよい。

距離算出部１２５は、視差算出部１２４が算出した視差、第１の撮像部１００ａと第２の撮像部１００ｂの焦点の距離（基線長）、焦点距離及び画素ピッチ（撮像素子１０２ａ及び１０２ｂの画素間の距離）をもとに、第１の撮像部１００ａ及び第２の撮像部１００ｂの光軸方向に撮像装置１から画像上の対象物までの距離を算出する。距離算出部１２５は、各画素について距離を算出することにより、距離画像を算出する。

認識部１２６は、画像を用いて対象物を認識する。なお、認識処理の素材となる画像は、参照画像又は基準画像であってもよく、視差情報が得られた各部位（特徴点）に対してその各部位の視差情報（視差値又は距離の情報）を関連付けた画像である視差画像であってもよい。また、認識とは、視差情報が得られた物体（即ち、検知された物体）の種別が具体的に何であるのかを識別する処理である。物体の種別とは、例えば、車両、歩行者、信号、標識、白線等の区画線等である。認識部１２６は、撮像装置１と対象物の認識結果の情報を図示しない制御部に送る。制御部は、認識結果の情報をもとに制御信号を生成して、ブレーキ制御等の車両制御を行う。

本実施例の撮像装置１の一実施例の動作手順を、図９のフローチャートを用いて説明する。以後の説明では、図１の機能ブロックを主語として説明を行うが、以下の処理は、メモリなどを用いながらプロセッサによってプログラムで定められた処理を実行するため、プロセッサを主語とした説明としてもよい。

ステップＳ９０１では、参照画像及び基準画像の取り込み処理が行われる。まず、同期信号発信部１１７により同期信号が生成され、参照画像取込部１１８ａ及び基準画像取込部１１８ｂに送られる。

参照画像取込部１１８ａは、同期信号発信部１１７からの同期信号を受け取り、撮像素子１０２ａから画像を受け取る。撮像素子１０２ａは、光学素子１０１ａにより屈折した光の像を受光し、その光の強さに応じた画像を生成して、参照画像取込部１１８ａに画像を送る。参照画像取込部１１８ａは、撮像素子１０２ａから受け取った画像を、参照画像として参照画像記憶部１３１に格納する。

基準画像取込部１１８ｂは、同期信号発信部１１７からの同期信号を受け取り、撮像素子１０２ｂから画像を受け取る。撮像素子１０２ｂは、光学素子１０１ｂにより屈折した光の像を受光し、その光の強さに応じた画像を生成して、基準画像取込部１１８ｂに画像を送る。基準画像取込部１１８ｂは、撮像素子１０２ｂから受け取った画像を、基準画像として基準画像記憶部１３２に格納する。

図１０は、参照画像及び基準画像の一例である。第１及び第２の撮像部１００ａ、１００ｂは、基線長だけ左右に離れて設定されているので、左右一対の参照画像１００１及び基準画像１００２は、同じ対象物を撮像したものであっても画像上の位置は左右にずれることになる。

ステップＳ９０２では、参照画像１００１と基準画像１００２の輝度補正が行われる。輝度補正部１２０は、輝度補正情報記憶部１３４から撮像素子１０２ａ及び撮像素子１０２ｂの画像における各画素の補正係数を読み込み、参照画像記憶部１３１及び基準画像記憶部１３２からそれぞれ参照画像及び基準画像を読み込む。参照画像１００１のあらかじめ設定された処理領域の各画素の輝度値に各画素の補正係数を掛け合わせて、参照画像１００１の処理領域の輝度値を補正する。同様に、基準画像１００２のあらかじめ設定された処理領域の各画素の輝度値に各画素の補正係数を掛け合わせて、基準画像１００２の処理領域の輝度値を補正する。輝度補正部１２０は、補正した参照画像１００１及び基準画像１００２をそれぞれ参照画像記憶部１３１及び基準画像記憶部１３２に格納する。

ステップＳ９０３では、参照画像１００１と基準画像１００２の幾何補正が行われる。幾何補正部１２１は、幾何補正情報記憶部１３５から撮像素子１０２ａ及び撮像素子１０２ｂの画像（参照画像１００１及び基準画像１００２）における各画素の幾何の２次元補正量を読み込み、参照画像記憶部１３１及び基準画像記憶部１３２からそれぞれ参照画像１００１及び基準画像１００２を読み込む。そして、参照画像１００１の処理領域の各画素から２次元補正量を変化させた参照画像１００１上の位置を算出して、その位置周辺の画素の輝度値から補間計算によりその位置の輝度値を算出する。この計算を参照画像１００１上の処理領域全ての画素について実施する。同様に、基準画像１００２の処理領域の各画素から２次元補正量を変化させた基準画像１００２上の位置を算出して、その位置周辺の画素の輝度値から補間計算によりその位置の輝度値を算出する。この計算を基準画像１００２上の処理領域全ての画素について実施する。幾何補正部１２１は、補正した参照画像１００１及び基準画像１００２をそれぞれ参照画像記憶部１３１及び基準画像記憶部１３２に格納する。

ステップＳ９０４では、参照画像１００１及び基準画像１００２に対して画像切り出し処理と画像縮小処理が行われる。画像切出部１２２は、処理領域情報記憶部１３６から切り出し領域の情報を読み込む。また、画像切出部１２２は、参照画像記憶部１３１及び基準画像記憶部１３２からそれぞれ参照画像１００１及び基準画像１００２を読み込む。画像切出部１２２は、切り出し領域の情報をもとに、参照画像１００１から第１の切り出し画像を生成し、基準画像１００２から第２の切り出し画像を生成する。図１１は、参照画像１００１及び基準画像１００２のそれぞれから第１の切り出し画像１１０１及び第２の切り出し画像１１０２を生成した例である。画像切出部１２２は、第１の切り出し画像１１０１及び第２の切り出し画像１１０２を処理画像記憶部１３３に格納する。

図１２は、第１の切り出し画像と第２の切り出し画像の好ましい一例を説明する図である。符号１２０１は、参照画像１００１における第３の領域２０３の内側の領域（丸で囲まれた領域）の画素の拡大図である。符号１２０２は、基準画像１００２における第３の領域２０３の内側の領域（丸で囲まれた領域）の画素の拡大図である。図１２に示すように、参照画像１００１から切り出される第１の切り出し領域１２０３は、基準画像１００２から切り出される第２の切り出し領域１２０４に比べて大きい。ステレオマッチングを行う際には、基準画像側の基準画素に対して、一定の幅αを有する参照画像中の参照画素を探索する。αは、探索幅と呼ばれ、例えば、１０画素程度である。なお、この探索幅は一例であり、この探索幅に限定されない。図１２の例では、基準画像１２０２のＮ列の画素が、参照画像１２０１のＮ〜Ｎ＋１０列の幅で探索される。

参照画像においてステレオマッチングに用いられる領域は、基準画像のステレオマッチングに用いられる領域に比べて、探索幅分だけ広い。上述したように、左右の第１及び第２の撮像部１００ａ、１００ｂは、基線長（base line length）だけ左右に離れて設定されているので、左右一対の画像は、同じ対象物を撮像したものであっても画像上の位置は左右にずれることになる。例えば、図１２の基準画像１２０２のＮ＋１〜Ｎ＋１０列の画素は、参照画像１２０１側に対応する画素がない。特に、基準画像１２０２のＮ＋１〜Ｎ＋１０列の画素は、参照画像１２０１側の第３の領域２０３に含まれる画素であるため、これらの画素を使用しないことが好ましい。したがって、基準画像１００２から切り出される第２の切り出し領域１２０４は、参照画像１００１から切り出される第１の切り出し領域１２０３よりも小さい。

また、参照画像１００１から切り出される第１の切り出し領域１２０３は、その端の画素が、第３の領域２０３にかからないように設定されるのが好ましい。これにより、基準画像１２０２の第２の切り出し領域１２０４を用いて参照画像１２０１の第１の切り出し領域１２０３を探索した際に、参照画像１２０１側の第３の領域２０３での誤ったマッチングを防ぐことができる。なお、レンズの設計の際に、左右一対の画像のずれ量や、第３の領域２０３の画素幅などが予め知ることができるため、第１の切り出し領域１２０３及び第２の切り出し領域１２０４の情報は、予め処理領域情報記憶部１３６に格納しておけばよい。

次に、画像縮小部１２３は、縮小情報記憶部１３７から縮小率の情報を読み込む。画像縮小部１２３は、縮小率の情報をもとに、参照画像１００１の縮小画像（第１の縮小画像）及び基準画像１００２の縮小画像（第２の縮小画像）を生成する。図１３は、参照画像１００１及び基準画像１００２のそれぞれから第１の縮小画像１３０１及び第２の縮小画像１３０２を生成した例である。この縮小処理により、縮小画像１３０１、１３０２では、第３の領域（解像度が低い領域）に対応する部分がなくなり又は小さくなり、以降で説明する視差計算での影響を小さくできる。画像縮小部１２３は、第１の縮小画像１３０１及び第２の縮小画像１３０２を処理画像記憶部１３３に格納する。なお、縮小処理の手法としては、上述のデータの間引き及び平均画素法に限定されず、他の公知の手法を用いてもよい。

図１４は、縮小処理を実行した際の作用を説明する図である。図１４では参照画像１００１について説明するが、基準画像１００２でも同様である。参照画像１００１の第１の縮小画像１３０１に関してＡ−Ａ線に沿って解像度（ＭＴＦ）の変化を図示すると、解像度（ＭＴＦ）は直線状になり、解像度（ＭＴＦ）がほぼ一定の値となる。縮小処理を行う前の参照画像１００１では、解像度（ＭＴＦ）が第３の領域２０３で大きく低下する。これに対して、第１の縮小画像１３０１では、参照画像１００１の第３の領域２０３での解像度（ＭＴＦ）の値の位置で直線状となる。縮小処理によって画像全体として解像度は低下するが、第３の領域２０３のボケ領域がなくなり、解像度の値のばらつきがない画像となる。これにより、誤ったマッチングを防ぐことができる。

なお、ここでは画像切り出し処理と画像縮小処理とをシーケンシャルに実行したが、画像切り出し処理と画像縮小処理が並列に実行されてもよい。例えば、参照画像１００１に関して説明すれば、参照画像の画素を一列ずつ読み込み、縮小処理を実行しながら、切り出し領域に対応する画素まで到達したらその画素を切り出すように実行することができる。画像切り出し処理と画像縮小処理と並行して実行する場合、メモリの使用量を削減できる効果がある。

ステップＳ９０５では、視差の算出処理が行われる。視差の算出手法としては、例えば、ブロックマッチングがある。視差算出部１２４は、基準画像上から抽出した所定のサイズの領域（テンプレート画像）に対応する参照画像上の領域を探索する。視差算出部１２４は、テンプレート画像と一致する参照画像上の領域の位置と、基準画像上のテンプレート画像の位置の差すなわち視差を算出する。

図１５は、視差の算出処理を説明する図である。図１５に示すように、基準画像１５０２上の所定のサイズの領域の画像１５０４（テンプレート画像）を抽出する。そして、参照画像１５０１上でテンプレート画像１５０４と同じ対象物が写っている領域の画像を、以下のテンプレートマッチングで探索する。

例えば、テンプレートマッチングでは、参照画像１５０１上の所定のサイズの領域の画像１５０３を抽出して、基準画像１５０２上のテンプレート画像１５０４の輝度値と参照画像１５０１の所定のサイズの領域の画像１５０３の輝度値の差の絶対値の和（SAD、Sum of Absolute Difference）を算出する。この輝度値の差の絶対値の和を、参照画像１５０１上の各領域の画像について算出する。

そして、最も小さい値の参照画像１５０１上の領域の画像とテンプレート画像１５０４の領域の距離、すなわち、視差を算出する。この処理を基準画像１５０２上の全ての領域について実施して、基準画像１５０２の全体での視差を算出する。このようにして算出した視差情報が、処理画像記憶部１３３に格納される。

本実施例では、視差算出部１２４は、２つの視差情報を算出する。詳細には、視差算出部１２４は、切り出し画像及び縮小画像の両方で別々に視差情報を生成する。視差算出部１２４は、第１の切り出し画像１１０１を参照画像とし、第２の切り出し画像１１０２を基準画像として、上記の処理によって第１の視差情報を算出する。さらに、視差算出部１２４は、第１の縮小画像１３０１を参照画像とし、第２の縮小画像１３０２を基準画像として、上記の処理によって第２の第２の視差情報を算出する。視差算出部１２４は、第１の視差情報及び第２の視差情報を処理画像記憶部１３３に格納する。

本実施例では、このように切り出し画像と縮小画像のそれぞれで視差計算できる点に利点がある。従来では、例えば、図１０の人間１０１０や信号機１０１１などのように、対象物が第３の領域２０３にかかるように存在する場合には、対象物の一部の解像度が低くなるため、上述のテンプレートマッチングを行うと、テンプレート画像に対して異なる対象物の位置でマッチング（ミスマッチング）するおそれがあった。本実施例では、第３の領域２０３の部分が小さくなった第１の縮小画像１３０１及び第２の縮小画像１３０２の間で視差計算を行うため、テンプレートマッチングでのミスマッチングを防ぐことができる。図１０の人間１０１０や信号機１０１１などは、近距離にある対象物であり、画像上で大きく表示される対象物であるため、ある程度縮小されたとしても、視差の計算処理に影響はない。一方、図１０の車両１０１２のように、遠距離にある対象物の場合、縮小処理をすると、対象物が小さくなりすぎて、テンプレートマッチングでミスマッチングするおそれがある。しかしながら、本実施例では、画像上で遠距離にある対象物が映る部分については、切り出し処理を実行し、第１の切り出し画像１１０１及び第２の切り出し画像１１０２の間で視差計算を行うため、テンプレートマッチングでのミスマッチングを防ぐことができる。

図１６は、切り出し画像及び縮小画像の両方で別々に視差情報を生成する一例を説明する図である。図１６では、ステレオカメラのごく近傍に物体１６０１が存在する場合を想定する。物体１６０１としては、人間、車両、標識などがあり得る。撮像画像上において、物体１６０１は、第１の領域２０１から第３の領域２０３をわたって第２の領域２０２まで延びる大きさである。この場合、基準画像である第２の切り出し画像１１０２内には物体１６０１が存在するが、参照画像である第１の切り出し画像１１０１内には物体１６０１が含まれない場合があり得る。この場合、第１の切り出し画像１１０１と第２の切り出し画像１１０２との間でテンプレートマッチングを行うと、ミスマッチングになる可能性がある。仮に、第１の領域２０１を除外した領域（第２の領域２０２及び第３の領域２０３）同士でテンプレートマッチングを行うことを想定しても、物体１６０１の一部が基準画像側で切り取られてしまい、適切なマッチング処理を行えない。したがって、本実施例では、視差算出部１２４が、第１の切り出し画像１１０１と第２の切り出し画像１１０２を用いた視差計算処理と、第１の縮小画像１３０１と第２の縮小画像１３０２を用いた視差計算処理とを別々に実行する。上記のような物体１６０１が存在する場合には、第１の縮小画像１３０１と第２の縮小画像１３０２との間でのテンプレートマッチングにより、適切な視差情報を得ることが可能となる。

上記の例を考慮して、本実施例では、ある物体が、基準画像及び参照画像の両方の第１の領域２０１に（完全に）含まれる場合には、第１の切り出し画像１１０１と第２の切り出し画像１１０２を用いた視差計算処理により得られた視差情報が、その後の処理（距離の算出及び対象物の認識）において有用となる。一方、ある物体が、基準画像及び参照画像の少なくとも一方において、第１の領域２０１以外の領域(第２の領域２０２及び第３の領域２０３)に一部でも含まれる場合、第１の縮小画像１３０１と第２の縮小画像１３０２を用いた視差計算処理により得られた視差情報が、その後の処理（距離の算出及び対象物の認識）において有用となる。このように、切り出し領域同士の第１の視差計算処理と、縮小画像同士の第２の視差計算処理の両方を行うことにより、物体が画像内のどの領域に存在していても、その物体を認識することが可能となる。

なお、第１の領域２０１以外の領域に物体がある場合を想定すると、第３の領域２０３の解像度に応じて少なくとも第２の領域２０２の解像度が調整された基準画像及び参照画像があればよい。視差算出部１２４は、少なくとも第２の領域２０２の解像度が調整された基準画像及び参照画像を用いて、第３の領域２０３及び第２の領域２０２の視差情報を算出する。これにより、第１の領域２０１以外の領域（第３の領域２０３及び第２の領域２０２）にある物体を検知及び認識することが可能となる。

ステップＳ９０６では、距離の算出処理が行われる。距離算出部１２５は、処理画像記憶部１３３から、第１及び第２の視差情報を読み込む。距離算出部１２５は、第１及び第２の視差情報、第１の撮像部１００ａと第２の撮像部１００ｂの焦点の距離（基線長）、焦点距離及び画素ピッチ（撮像素子１０２ａ及び１０２ｂの画素間の距離）をもとに、第１の撮像部１００ａ及び第２の撮像部１００ｂの光軸方向に撮像装置１から画像上の対象物までの距離を算出する。距離算出部１２５は、算出した距離画像を処理画像記憶部１３３に格納する。

なお、距離の算出方法は、公知の手法を用いればよい。一例として、下記の式を用いることができる。

距離Ｌ＝ｆ×Ｂ／（ｄ×ｃ）

ここで、ｆは第１の撮像部１００ａ及び第２の撮像部１００ｂの焦点距離、Ｂは第１の撮像部１００ａと第２の撮像部１００ｂの焦点の距離（基線長）、ｄは視差、ｃは撮像素子１０２ａ及び撮像素子１０２ｂの画素ピッチである。

ステップＳ９０７では、対象物の認識処理が行われる。認識部１２６は、処理画像記憶部１３３から距離画像を読み込む。認識部１２６は、距離画像を用いて、基準となる画像（例えば基準画像）に写っている対象物及び対象物の位置を認識する。対象物の認識処理は、公知の手法を用いることができる。認識部１２６は、認識結果の情報を撮像装置１の外部にある制御部へ出力する。

ステップＳ９０８では、その後、制御信号の生成及び出力が行われる。制御部は、認識部１２６での認識結果の情報をもとに制御信号を生成して、ブレーキ制御等の車両制御を行う。ステップＳ９０１〜Ｓ９０８の処理は、所定の周期で繰り返し実施される。

像高当たりの入射角の変化率に変曲点が存在する特性を有する撮像レンズを用いたカメラの場合、撮像された画像にはドーナツ状の解像度の低い領域（第３の領域２０３）が生じる。第３の領域２０３が存在するために、視差算出におけるテンプレートマッチングでミスマッチングするおそれがある。

そこで、本実施例によれば、ステップＳ９０４で画像切り出し処理と画像縮小処理とを行うことにより、解像度の低い領域（第３の領域２０３）の影響を小さくできる。詳細には、第３の領域２０３に囲まれた第１の領域２０１に対しては切り出し処理を実行し、画像全体に対して縮小処理を実行する。遠距離にある対象物が映る第１の領域２０１については、第３の領域２０３の影響がない２つの切り出し画像１１０１、１１０２の間で視差計算を行うため、テンプレートマッチングでのミスマッチングを防ぐことができる。一方、画像全体に対しては縮小処理を実行し、第３の領域２０３の部分をなくす又は小さくする。例えば、第２の領域２０２に含まれる近距離にある対象物は、画像上で大きく表示される対象物であるため、ある程度縮小されたとしても、視差の計算処理などに影響はない。この縮小処理では、近距離の対象物についてはある程度の大きさを確保したままで第３の領域２０３の部分を小さくできるため、２つの縮小画像１３０１、１３０２の間のテンプレートマッチングでのミスマッチングを防ぐことができる。また、切り出し領域同士の第１の視差計算処理と、縮小画像同士の第２の視差計算処理の両方を行うことにより、画像内において物体がどの領域に存在しても、その物体を認識することが可能となる。

本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加・削除・置換することもできる。

（変形例１）
上述の例では、２つの撮像部を備えるステレオカメラに適用した例で説明したが、これに限定されない。例えば、本発明は、上述と同じ構成のレンズを１つ備える単眼のカメラにも適用可能である。この場合、演算部（上述の演算部１１０に相当する部分）は、上記レンズで撮像された１つの画像を取り込む。そして、演算部は、第１の距離範囲を対象とする第１の領域（第１の領域２０１に相当）に第１の画像処理を実行し、第１の距離範囲より近い第２の距離範囲を対象とする第２の領域（第２の領域２０２に相当）を少なくとも含む領域に第２の画像処理を実行する。第２の画像処理は、像高当たりの入射角の変化率に変曲点に起因して生じる画像上の第３の領域（第３の領域２０３に相当）の情報をもとに設定された処理となる。第１の画像処理は、第１の領域から所定の領域を切り出す処理でもよい。また、第２の画像処理は、第３の領域の解像度をもとに設定された縮小率で画像の全体を縮小する処理でもよい。また、画像処理としては、以下で説明する変形例の処理を用いてもよい。

（変形例２）
上述の例では、切り出し処理及び画像縮小処理を実行したが、画像処理の組み合わせは、この組み合わせに限定されない。例えば、適用するアプリケーションに応じて異なる画像処理の組み合わせが実行されてよい。一例として、第１の領域２０１に対して切り出し処理を実行し、画像の一部又は全体に対して所定の解像度で均一化する処理を実行してもよい。ここでの解像度の均一化処理は、上述した解像度調整部の処理に相当する。一例として、解像度の均一化処理は、画像内の所定の領域の解像度を下げることにより、画像内で解像度を均一化してもよい。例えば、解像度調整部は、第３の領域２０３よりも内側の第１の領域２０１及び第３の領域２０３よりも外側の第２の領域２０２の少なくとも一方の解像度を下げることにより、画像内で解像度を均一化してもよい。この場合、所定の解像度は、第３の領域２０３の解像度をもとにしてあらかじめ設定された解像度としてよい。この構成によれば、解像度が均一化され、視差計算のテンプレートマッチングで、解像度の違いによるミスマッチングを防ぐことができる。

（変形例３）
上述の例では、第１の領域２０１及び画像全体の２つの異なる領域に対してそれぞれ異なる画像処理を実行したが、画像処理対象となる領域の組み合わせは、これに限定されない。例えば、第１の領域２０１に第１の画像処理（例えば、切り出し処理）を実行し、第２の領域２０２に対して第２の画像処理（例えば、縮小処理）を実行してもよい。すなわち、第３の領域２０３を境界として異なる画像処理が実行されてもよい。別の例として、第１の領域２０１に第１の画像処理（例えば、切り出し処理）を実行し、第３の領域２０３に対して第２の画像処理（例えば、ボケ補正処理）を実行してもよい。一例として、ボケ補正処理としては、「ボケフィルタ（通称：ブラー・カーネル）」という画像にボケを作るフィルタにより処理された結果として今の画像になったと考え、そのブラー・カーネルの逆処理を行うことによりボケを取り除いて画像を生成する処理がある。例えばガウシアンフィルタの場合、ブラー・カーネルがガウス関数であるコンボリューション処理（畳み込み）であり、この処理により元画像の各画素ごとに、その周辺をガウス関数の形をしたブラー・カーネルを用いてコンボリューションを行うことで新しい画像のピクセル値を計算し、元画像がボケた画像を生成することができる。そして、そのブラー・カーネルの反対の処理を行うのがデコンボリューションというコンボリューションの逆処理である。デコンボリューションでは、ブラー・カーネルの範囲内の各画素が、それぞれブラー・カーネルによるコンボリューションが行われる前は、どういった値が割り振られていたかを推定する処理となる。

画像全体に対してボケ補正処理を行うと、元々解像度が高い第１の領域２０１及び第２の領域２０２に対して悪影響が生じる可能性がある。したがって、本例では、撮像装置が、第３の領域２０３の部分を抽出して、第３の領域２０３に対してのみボケ補正処理を実行する。ここでの解像度の均一化処理は、上述した解像度調整部の処理に相当する。例えば、解像度調整部は、ボケ補正処理によって、変曲点入射角（θｓ）に対応する第３の領域２０３の解像度を上げる。これにより、変曲点入射角（θｓ）に対応する第３の領域２０３と、第３の領域２０３よりも内側の第１の領域２０１及び第３の領域２０３よりも外側の第２の領域２０２の少なくとも一方の解像度とが一致する、又はこれらの解像度のばらつきが近くなる。これにより、レンズの特性によって物体の検知や認識の処理に影響が生ずるのを抑制することができる。

（変形例４）
上述の例では、切り出し領域の情報と縮小率の情報は、それぞれ、あらかじめ設定された固定値となっているが、これらの情報は更新されてもよい。例えば、撮像装置のメンテナンスなどでレンズなどを組み立て直した場合にはレンズの位置が微妙に変化し、上記の第１〜第３の領域２０１〜２０３の位置がずれる可能性がある。したがって、キャリブレーションする際に、レンズの位置が変わる前の画像と比較することにより、処理領域情報記憶部１３６の切り出し領域の情報、及び／又は、縮小情報記憶部１３７の縮小率の情報を更新してもよい。また、撮像装置の各構成要素の経年劣化の解像度の低下度合いに応じて、縮小情報記憶部１３７の縮小率の情報を更新してもよい。

上述した演算部１１０は、それらの機能を実現するソフトウェアのプログラムコードによって実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスが使用可能である。ここで述べた処理を実行するのに、専用の装置を構築するのが有益である場合もある。つまり、上述した演算部１１０の一部又は全部が、例えば集積回路等の電子部品を用いたハードウェアにより実現されてもよい。

さらに、上述の実施例において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。

１ ：撮像装置
１００ａ ：第１の撮像部
１００ｂ ：第２の撮像部
１０１ａ、１０１ｂ ：光学素子
１０２ａ、１０２ｂ ：撮像素子
１１０ ：演算部
１１７ ：同期信号発信部
１１８ａ ：参照画像取込部
１１８ｂ ：基準画像取込部
１２０ ：輝度補正部
１２１ ：幾何補正部
１２２ ：画像切出部
１２３ ：画像縮小部
１２４ ：視差算出部
１２５ ：距離算出部
１２６ ：認識部
１３１ ：参照画像記憶部
１３２ ：基準画像記憶部
１３３ ：処理画像記憶部
１３４ ：輝度補正情報記憶部
１３５ ：幾何補正情報記憶部
１３６ ：処理領域情報記憶部
１３７ ：縮小情報記憶部
２０１ ：画像上の第１の領域（内側画像領域）
２０２ ：画像上の第２の領域（外側画像領域）
２０３ ：画像上の第３の領域（変曲点対応画像領域）
１００１ ：参照画像
１００２ ：基準画像
１１０１ ：第１の切り出し画像
１１０２ ：第２の切り出し画像
１２０１ ：参照画像
１２０２ ：基準画像
１２０３ ：第１の切り出し領域
１２０４ ：第２の切り出し領域
１３０１ ：第１の縮小画像
１３０２ ：第２の縮小画像

Claims (14)

1. 入射角に対する像高当たりの入射角の変化率の変曲点を所定の変曲点入射角に有する特性のレンズを備える少なくとも１つの撮像装置によって撮影された画像を処理する画像処理装置であって、
   前記所定の変曲点入射角に対応する変曲点対応画像領域の解像度と、前記変曲点対応画像領域よりも内側の内側画像領域及び外側の外側画像領域の少なくとも一方の解像度とを調整する解像度調整部を備え、
   前記解像度調整部は、前記変曲点対応画像領域の解像度に応じて設定された縮小率によって、前記画像の全体を縮小することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記レンズは、前記所定の変曲点入射角よりも入射角が小さい小入射角部位の倍率が、前記所定の変曲点入射角よりも入射角が大きい大入射角部位の倍率よりも大きく設定されることを特徴とする画像処理装置。
3. 入射角に対する像高当たりの入射角の変化率の変曲点を所定の変曲点入射角に有する特性のレンズを備える少なくとも１つの撮像装置によって撮影された画像を処理する画像処理装置であって、
   前記所定の変曲点入射角に対応する変曲点対応画像領域の解像度と、前記変曲点対応画像領域よりも内側の内側画像領域及び外側の外側画像領域の少なくとも一方の解像度とを調整する解像度調整部を備え、
   前記解像度調整部は、前記変曲点対応画像領域の解像度を上げる、又は、前記内側画像領域及び前記外側画像領域の少なくとも一方の解像度を下げることを特徴とする画像処理装置。
4. 入射角に対する像高当たりの入射角の変化率の変曲点を所定の変曲点入射角に有する特性のレンズを備える少なくとも１つの撮像装置によって撮影された画像を処理する画像処理装置であって、
   前記所定の変曲点入射角に対応する変曲点対応画像領域の解像度と、前記変曲点対応画像領域よりも内側の内側画像領域及び外側の外側画像領域の少なくとも一方の解像度とを調整する解像度調整部を備え、
   前記解像度調整部は、２つの前記撮像装置によって撮影された２つの画像のそれぞれに対して、前記変曲点対応画像領域の解像度に応じて少なくとも前記外側画像領域の解像度を調整し、
   少なくとも前記外側画像領域の解像度が調整された前記２つの画像を用いて、前記変曲点対応画像領域及び前記外側画像領域の視差情報を算出することを特徴とする画像処理装置。
5. 入射角に対する像高当たりの入射角の変化率の変曲点を所定の変曲点入射角に有する特性のレンズを備える２つの撮像装置によって撮影された２つの画像を処理する画像処理装置であって、
   前記２つの画像における前記所定の変曲点入射角に対応する変曲点対応画像領域よりも内側の内側画像領域同士の視差情報を算出する視差算出部を備えることを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記視差情報を算出する際の基準画像に対応する内側画像領域の大きさは、参照画像に対応する内側画像領域に比べて小さいことを特徴とする画像処理装置。
7. 請求項５に記載の画像処理装置において、
   前記視差算出部は、前記変曲点対応画像領域の解像度に応じて前記変曲点対応画像領域よりも外側の外側画像領域が少なくとも調整された前記２つの画像を用いて、前記変曲点対応画像領域及び前記外側画像領域の視差情報を算出することを特徴とする画像処理装置。
8. 入射角に対する像高当たりの入射角の変化率の変曲点を所定の変曲点入射角に有する特性のレンズを備える少なくとも１つの撮像装置で撮像された画像を処理する画像処理装置であって、
   近距離を対象とする第１の画像領域に第１の画像処理を実行し、遠距離を対象とする第２の画像領域を少なくとも含む画像領域に第２の画像処理を実行する演算部を備え、
   前記第２の画像処理は、前記変曲点に起因して生じる第３の画像領域の情報をもとに設定された処理であることを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記第１の画像処理は、前記第１の画像領域から所定の領域を切り出す処理であることを特徴とする画像処理装置。
10. 請求項８に記載の画像処理装置において、
    前記第２の画像領域を少なくとも含む画像領域は、前記画像の全体であり、前記第２の画像処理は、前記第３の画像領域の解像度をもとに設定された縮小率で前記画像の全体を縮小する処理であることを特徴とする画像処理装置。
11. 請求項８に記載の画像処理装置において、
    前記第３の画像領域は、前記第１の画像領域及び前記第２の画像領域に比べて解像度が低くなる環状又はドーナツ状の領域であることを特徴とする画像処理装置。
12. 請求項８に記載の画像処理装置において、
    前記第１の画像領域は、前記レンズの光軸に対する入射角が小さい領域であり、前記第２の画像領域は、前記レンズの光軸に対する入射角が前記第１の画像領域よりも大きい領域であり、前記第３の画像領域は、前記第１の画像領域と前記第２の画像領域との間の領域であることを特徴とする画像処理装置。
13. 請求項８に記載の画像処理装置において、
    前記演算部は、２つの前記撮像装置によって撮影された第１の画像及び第２の画像を処理し、
    前記演算部は、
    前記第１の画像処理が実行された後の前記第１及び第２の画像に関して第１の視差情報を算出し、
    前記第２の画像処理が実行された後の前記第１及び第２の画像に関して第２の視差情報を算出することを特徴とする画像処理装置。
14. 請求項１３に記載の画像処理装置において、
    前記第１の画像処理は、前記第１の画像及び前記第２の画像のそれぞれにおいて、前記第１の画像領域から所定の領域を切り出す処理であり
    前記第２の画像処理は、前記第１の画像及び前記第２の画像の全体を縮小する処理であることを特徴とする画像処理装置。

Images