JP6571571B2 - 撮像装置、車載カメラおよび画像処理方法 - Google Patents

Description

本発明は、撮像装置、車載カメラおよび画像処理方法に関する。

従来から、撮像素子を含む電子回路ユニットを有する撮像装置が知られている。近年においては、撮像素子が取得する被写体像を結像するための光学系（レンズ等の光学素子を含む）も含んでパッケージ化された小型の撮像装置が多く使用されている。撮像装置は、例えば車両における運転者の視認を支援する車載カメラや、セキュリティを目的とする監視カメラ等として広く使用されている。

一般に、撮像装置では、温度変化によってレンズの屈折率変化や熱膨張が発生し光学系の性能に影響を及ぼす。車両等で使用される撮像装置についても、使用環境の温度変化が性能に影響を及ぼす可能性がある。

例えば、特許文献１には、温度センサにより測定された温度データに基づいて、光学系の温度変化による歪曲収差の変化を画像データ上で補正することができる画像撮像装置が開示されている。

特開２００９−２２５１１９号公報

しかし、温度センサを撮像装置に内包することは撮像装置の大型化およびコストの上昇につながる。温度センサを撮像装置外に設けると、測定された温度が必ずしも撮像装置のレンズの温度を反映していないおそれがある。

かかる事情に鑑みてなされた本発明の目的は、温度センサを用いることなく温度変化の影響を補正できる撮像装置、車載カメラおよび画像処理方法を提供することにある。

上述した課題を解決すべく、本発明に係る撮像装置は、光学系と、前記光学系を介して結像される被写体を撮像する撮像素子と、前記被写体を含んで撮像された画像から前記画像における前記光学系の光軸中心が結像する位置から特徴点の位置までの距離を特定値として抽出するプロセッサと、前記特定値の基準となる基準値を記憶するメモリと、を備え、前記プロセッサは、前記基準値からの前記特定値の変化に基づいて前記画像の補正または領域設定を行う。

また、上述した課題を解決すべく、本発明に係る車載カメラは、光学系と、前記光学系を介して結像される車両の一部を撮像する撮像素子と、前記車両の一部を含んで撮像された画像から前記画像における前記光学系の光軸中心が結像する位置から特徴点の位置までの距離を特定値として抽出するプロセッサと、前記特定値の基準となる基準値を記憶するメモリと、を備え、前記プロセッサは、前記基準値からの前記特定値の変化に基づいて前記画像の補正または領域設定を行う。

また、上述した課題を解決すべく、本発明に係る画像処理方法は、光学系と、撮像素子と、プロセッサと、メモリと、を備える撮像装置が実行する画像処理方法であって、前記撮像素子が、前記光学系を介して結像される被写体を撮像するステップと、前記プロセッサが、前記被写体を含んで撮像された画像から前記画像における前記光学系の光軸中心が結像する位置から特徴点の位置までの距離を特定値として抽出するステップと、前記メモリが、前記特定値の基準となる基準値を記憶するステップと、前記プロセッサが、前記基準値からの前記特定値の変化に基づいて前記画像の補正または領域設定を行うステップと、を含む。

本発明の実施形態に係る撮像装置、車載カメラおよび画像処理方法によれば、温度センサを用いることなく温度変化の影響を補正できる。

本発明の第１実施形態に係る撮像装置の概略構成を示すブロック図である。 本発明の第１実施形態に係る撮像装置を備える車載カメラシステムの構成要素の配置を示す概略図である。 図３（Ａ）は光学系の基準となる状態における特徴点の位置を例示する図である。図３（Ｂ）は温度変化によって光学系の屈折率変化や熱膨張が生じた場合の特徴点の位置の変化を例示する図である。 図４（Ａ）〜（Ｃ）は第１実施形態における光学系、撮像素子、および画像の切り出し領域の関係を例示する図である。 本発明の第１実施形態に係る撮像装置の処理を示すフローチャートである。 図６（Ａ）〜（Ｃ）は第２実施形態における光学系、撮像素子、および画像の切り出し領域の関係を例示する図である。 図７（Ａ）および（Ｂ）はマーカーの画像を例示する図である。 本発明の第２実施形態に係る撮像装置の処理を示すフローチャートである。 図９（Ａ）はレンズ上のマーカーの変形例を例示する図である。図９（Ｂ）はリング状の遮光板を用いる変形例を例示する図である。図９（Ｃ）は光軸中心から離れて特徴点が設けられる一例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。

［第１実施形態］
（撮像装置の概略構成）
図１に示されるように、本実施形態に係る撮像装置１０は、光学系２０、撮像素子３１、メモリ３０およびプロセッサ４０を備える。本実施形態の撮像装置１０は、車両１の後方の周辺画像を撮像するための車載カメラである。車両１は例えば自動車である。

ここで、図２の例では、車載カメラシステムは撮像装置１０および表示装置５０を備える。撮像装置１０は例えば魚眼レンズなどの画角の広いレンズを備えており、車両１の周辺領域を広角撮影可能である。本実施形態において、撮像装置１０は車両１の外部のバンパー６０の上部に固定される。

また、図２に示されるように、撮像装置１０からの画像を表示する表示装置５０が車両１に搭載される。表示装置５０は運転席から視認可能に設けられる。表示装置５０は、例えばＬＣＤを含んで構成され、リアルタイムの動画像を表示可能である。表示装置５０は、例えば車載ネットワーク（例えばＣＡＮ：Controller Area Network等）を用いて車両１の周辺画像を表示してもよい。

再び図１を参照して撮像装置１０の構成について説明する。光学系２０は被写体を撮像素子３１に結像させる。光学系２０は、少なくともレンズおよび絞りを備え、被写体像を結像させる。光学系２０は画角の広いレンズを備えているため、被写体として車両１の一部、特にバンパー６０が撮像素子３１に結像する。後述するように、本実施形態に係る撮像装置１０では、画像におけるバンパー６０上に特徴点（画像における指標となる点）を設けて、光学系２０の温度変化の影響を補正する際に用いる。

撮像素子３１は、光学系２０の後方に配置され、光学系２０を介して受光面上に結像される被写体像を撮像して電気信号に変換して出力する。撮像素子３１としては、例えばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を用いることができる。撮像装置１０は、撮像素子３１からの電気信号に基づく画像信号を、後述するプロセッサ４０によって撮像装置１０の外部に出力する。

メモリ３０は、プロセッサ４０が実行する演算および処理で用いられる各種のデータ、演算および処理の結果を記憶する。また、メモリ３０は、プロセッサ４０が画像取得部２１、特定値抽出部２２、演算部２３、画像処理部２６、および画像出力部２７として機能するためのプログラムを格納する。また、メモリ３０は、プロセッサ４０によって切り出された領域の画像データを撮像装置１０以外の機器（例えば表示装置５０）に出力する際に用いられてもよい。

プロセッサ４０は、画像取得部２１と、特定値抽出部２２と、演算部２３と、画像処理部２６と、画像出力部２７とを備える。画像取得部２１と、特定値抽出部２２と、演算部２３と、画像処理部２６と、画像出力部２７は、プロセッサ４０で実行される処理の機能ブロックである。また、本実施形態においてプロセッサ４０は、特定のプログラムを読み込むことにより特定の機能を実現するＣＰＵである。プロセッサ４０は、単一のＣＰＵ、または、複数のＣＰＵで構成することも可能である。

画像取得部２１は、画像処理部２６が必要な処理（例えばノイズ除去、輝度信号処理、および色信号処理等）を実行して、画像出力部２７が切り出された領域の画像データを出力できるように、例えば３０ｆｐｓの周期で画像を取得する。

特定値抽出部２２は、所定のタイミングで、画像取得部２１が取得した画像信号に基づく１フレームの画像から特定値を抽出する。所定のタイミングは例えば車両１のキースイッチがオンになった時である。また、特定値抽出部２２は、キースイッチがオンになってから定期的（例えば２０分毎等）に１フレームの画像から特定値を抽出してもよい。特定値は、画像に常に含まれる所定の部分と関連付けられた値である。特定値は、例えば所定の部分の位置、長さ、幅、湾曲量（曲率）等である。プロセッサ４０は、特定値の変化によって、画像の所定の部分の変位および形状変化の少なくとも一方を把握できる。本実施形態では、特定値は特徴点の位置（例えば二次元の画像におけるｘｙ座標）であって、光学系２０の屈折率変化や熱膨張に応じて変化する。また、本実施形態において特定値抽出部２２は一つの特徴点の位置を抽出する。特徴点は一つに限らず複数であってもよい。

演算部２３は、光学系２０の屈折率変化や熱膨張を把握するために、基準位置からの特徴点の位置の変化を演算する。本実施形態において、基準位置は光学系２０の屈折率変化や熱膨張が生じていない状態における特徴点の位置である。本実施形態において、演算部２３は、画像における光学系２０の光軸中心が結像する位置から特徴点の位置までの距離を演算し、その距離と基準値との比率を求める。光学系２０の光軸中心の位置は、温度により光学系２０を構成するレンズの性能変化（例えば屈折率変化、熱膨張等）が生じても変化しないため、光学系２０の光軸中心の位置からの距離を演算することで特徴点の位置の変化を求めることができる。本実施形態において、基準値は予め定めた基準の温度における光学系２０の光軸中心の位置と特徴点との距離である。基準値は例えば、撮像装置１０の出荷時、撮像装置１０が車両１に初めて搭載された際の設定時、その後に撮像装置１０のキャリブレーションが実行された時等に取得（または更新）されてメモリ３０に記憶される。

画像処理部２６は、特徴点の位置の変化に基づいて画像の補正または領域設定を行う。本実施形態において領域設定は、画像の切り出しのための領域設定である。画像処理部２６は演算部２３が求めた上記の比率を用いて画像の切り出しを行う。一般に温度が上昇して光学系２０を構成するレンズに性能変化が生じると、光軸を中心として被写体が縮むように結像位置が変動する。そのため、画像処理部２６が光学系２０を構成するレンズに性能変化が生じる前後で同じように画像の切り出しを行うと撮像範囲が変化してしまう。例えば、リアカメラの光学系２０を構成するレンズに性能変化が生じた場合、画像処理部２６が切り出し領域を変えることがなければ、サイドカメラの画像と合成して表示装置５０で表示する際に不自然な境界がユーザに視認される。そのため、同じ撮像範囲の画像を表示装置５０に出力するように、画像処理部２６は切り出し領域を調整する。画像処理部２６は、さらに画像信号に対して、ノイズ除去、輝度信号処理（例えば明るさ補正、ガンマ補正等）および色信号処理（例えば色補間、色補正、ホワイトバランス等）、その他の補正（歪み補正、湾曲補正）を実行してもよい。

画像出力部２７は、画像処理部２６が補正または切り出しを行った画像を、表示装置５０等に出力する。画像出力部２７は、周期的に（例えば３０ｆｐｓで）画像信号を出力してもよい。

（特徴点の抽出）
図３（Ａ）は光学系２０の基準となる状態（すなわち、温度変化による屈折率変化や熱膨張が生じていない状態）における特徴点の位置を例示する図である。図３（Ａ）に示される画像は、例えば撮像装置１０が車両１に初めて搭載された際の設定時における、撮像素子３１からの画像信号に基づく画像である。このとき、光学系２０が備えるレンズの屈折率はｎａであるとする。図３（Ａ）に示される画像は、被写体として、実線（紙面右方）と破線（紙面左方）とで区切られた車両１の移動領域（路面）と、バンパー６０ａとを含む。このうち、バンパー６０ａは撮像装置１０が撮影する画像に常に含まれる。そのため、バンパー６０ａ上に特徴点を設定することができる。本実施形態では、バンパー６０ａと移動領域との境界と、図３（Ａ）に示される画像の左右の中間線との交点を特徴点６２とする。図３（Ａ）における特徴点６２の位置が基準位置でありメモリ３０に記憶される。また、本実施形態において、画像における光学系２０の光軸中心の位置（以下、光軸中心６１という）と特徴点６２の位置との距離ＤＡが基準値としてメモリ３０に記憶される。また、本実施形態において光軸中心６１も中間線上に存在する。また、本実施形態では、物理的なマーカーがバンパー６０ａに付されているのではなく、画像上で特徴点６２が設定される。

図３（Ｂ）は温度変化によって光学系２０の屈折率変化や熱膨張が生じた場合の特徴点の位置の変化を例示する図である。図３（Ｂ）に示される画像は、例えば車両１の走行中に太陽光の影響で撮像装置１０の使用環境温度が上昇した時の撮像素子３１からの画像信号に基づく画像である。このとき、光学系２０が備えるレンズの屈折率はｎａではなくｎｂに変化したとする。この屈折率の変化によって、図３（Ｂ）に示される画像のようにバンパー６０ｂの位置が変化する。図３（Ｂ）に破線で示すバンパー６０ａは、図３（Ａ）に示した変化前のバンパー６０ａと同じものである。つまり、画像全体が光軸中心６１に向かって縮んでいる。そのため、特徴点６２も図３（Ａ）の基準位置から光軸中心６１の方向に移動している。演算部２３は、光軸中心６１と特徴点６２の位置との距離ＤＢを演算して、メモリ３０から距離ＤＡを受け取り、距離ＤＢと距離ＤＡとの比率（例えばＤＢ／ＤＡで計算される値）を求める。

ここで、上記のように、画像処理部２６は線形補間によって切り出し領域を調整する。この調整によって、温度変化によるレンズの性能変化の影響（例えば、サイドカメラの画像と合成して表示される際に不自然な境界が生じること等）がユーザに視認されないようにする。ここで、光学系２０を構成するレンズは、温度変化によって歪曲収差の影響が生じる可能性がある。例えば、図３（Ｂ）でバンパー６０ａの端部付近の湾曲部分の湾曲量（曲率）とバンパー６０ｂの湾曲量とが異なる可能性がある。画像処理部２６は、歪曲収差で歪んだ被写体の形状自体について補正してもよい。例えば、画像処理部２６はメモリ３０からレンズ２８の設計データ（特性テーブル）を読み出して、被写体の形状補正（歪みおよび湾曲の補正）を行ってもよい。設計データは、例えば光軸と入射光とがなす角度に応じて、像が光軸からどれだけ離れて表示されるかを示すものであってもよい。例えば、画像処理部２６は光軸中心から所定の距離よりも離れた位置に表示される被写体の形状補正を行ってから、切り出し領域の調整を行ってもよい。また、設計データと特徴点の変化とを対応させることにより、画像処理部２６は光学系２０の温度を推定してもよい。そして、画像処理部２６は推定した温度に基づいて、公知の手法による画像の温度補正を実行してもよい。

図４（Ａ）は光学系２０が備えるレンズ２８の正面図である。図４（Ａ）のレンズ２８の光軸中心６１は、図３（Ａ）および（Ｂ）で示した光軸中心６１に対応する。図４（Ｂ）はレンズ２８の側面図であって、撮像素子３１との位置関係を示すものである。被写体はレンズ２８の紙面左方に存在し、撮像素子３１に被写体が結像する。ここで、図４（Ｂ）の光路Ｌａは屈折率がｎａである場合（光学系２０に温度変化の影響がない場合）の光の経路を模式的に示すものである。また、図４（Ｂ）の光路Ｌｂは屈折率がｎｂである場合（光学系２０に温度変化の影響が生じた場合）の光の経路を模式的に示すものである。図４（Ｂ）に示されるように、レンズ２８の屈折率がｎａからｎｂへと変化すると、撮像素子３１に結像する画像が光軸中心６１を中心にして縮むように歪む。図４（Ｃ）の大きな太枠は撮像素子３１からの画像信号に基づく１フレームの画像を模式的に示している。ただし、撮像素子３１に結像する実際の像は倒立像となるが、図４（Ｃ)では説明を容易にするため正立像として表示している。図４（Ｃ）の特徴点６２ａは屈折率がｎａである場合の特徴点の位置であり、特徴点６２ｂは屈折率がｎｂへと変化した場合の特徴点の位置である。画像処理部２６は、演算部２３が求めた基準値との比率を用いて、光学系２０の温度変化の影響を打ち消すように切り出し領域を調整する。この調整により、撮像装置１０は被写体を含む同じ撮像範囲の画像を出力可能である。図４（Ｃ）に示される領域Ａａは屈折率がｎａである場合の切り出し領域である。図４（Ｃ）に示される領域Ａｂは屈折率がｎｂである場合の切り出し領域である。本実施形態において、領域Ａｂの境界は、光軸中心６１を原点として、領域Ａａの境界までの距離に演算部２３が演算した比率（例えば図３の例ではＤＢ／ＤＡで計算される値）を乗じる線形補間を行うことで得られる。図４（Ｃ）の例では、光軸中心６１から領域Ａａの境界上の点Ｂａまでの距離に、演算部２３が演算した比率を乗じると、領域Ａｂの境界上の点Ｂｂが得られる。

（画像処理方法）
以下に、本実施形態の撮像装置１０のプロセッサ４０が実行する画像処理方法について図５を参照して説明する。ここで、特徴点の基準位置および基準値については、以下のステップＳ１からステップＳ１３の実行前に、メモリ３０に記憶されているものとする。

画像取得部２１は、メモリ３０に記憶された１フレーム分の画像信号を取得する（ステップＳ１）。

特定値抽出部２２は、画像取得部２１が取得した画像信号に基づく１フレームの画像から特徴点を抽出する（ステップＳ２）。

演算部２３は、画像における光学系２０の光軸中心の位置から特徴点の位置までの距離を演算する（ステップＳ１０）。ここで、光学系２０の光軸中心の位置および特徴点の位置は、画像の水平方向をｘ軸、垂直方向をｙ軸とするｘｙ平面の座標で定められてもよい。このとき、演算部２３は座標に基づいて効率的に距離を演算することができる。

演算部２３は、ステップＳ１０で演算した距離と、メモリ３０から取得した基準値（本実施形態では光学系２０に温度変化の影響がない状態における光軸中心の位置と特徴点との距離）との比率を求める（ステップＳ１１）。

画像処理部２６は、ステップＳ１１で求められた比率に応じて、切り出し領域を決定する（ステップＳ１２）。上記のように、画像処理部２６は、光軸中心６１を原点として、光学系２０に温度変化の影響がない状態における切り出し領域の境界までの距離に上記の比率を乗じる線形補間を行うことで、新たな切り出し領域を決定する。

画像出力部２７は、画像処理部２６が決定した切り出し領域の画像を、表示装置５０等に出力する（ステップＳ１３）。

以上に説明したように、本実施形態の撮像装置１０は、温度変化によって光学系２０に生じる屈折率変化や熱膨張の影響を補正できる。つまり、演算部２３が演算した比率を用いて、画像処理部２６が光学系２０の温度変化の影響を打ち消すように切り出し領域を調整することによって、本実施形態の撮像装置１０は同じ撮像範囲の画像を出力することができる。本実施形態の撮像装置１０は、温度センサを用いることなく補正を実行することができる。そのため、温度センサを備えることによる、撮像装置１０の大型化、高コスト化を回避できる。

［第２実施形態］
（特徴点）
以下に、第２実施形態に係る撮像装置１０について説明する。本実施形態に係る撮像装置１０の構成、および本実施形態に係る撮像装置１０を備える車載カメラシステムの構成要素の車両１への配置は第１実施形態と同じである。重複説明を回避するために、第１実施形態と異なる特徴点および画像処理方法についてのみ以下に説明する。

本実施形態に係る撮像装置１０では、光学系２０に付されたマーカーが撮像された点を特徴点とする。マーカーは光学系２０に付されているため、撮像素子３１からの画像信号に基づく画像に常に含まれる。そのため、マーカーが撮像された点を特徴点とすることができる。また、本実施形態に係る撮像装置１０では、光軸中心を挟んで対称的に配置された複数のマーカーが光学系２０に付されている。そのため、第１実施形態とは異なり、光軸中心の位置が不明であっても容易に位置を特定することが可能である。

図６（Ａ）は光学系２０が備えるレンズ２８の正面図である。第１実施形態とは異なり、レンズ２８にはマーカー６３とマーカー６４とが付されている。マーカー６３とマーカー６４とは、表面に印刷されてもよいし、表面加工（例えば削る等）によって設けられてもよい。マーカー６３は、光軸中心６１を挟んでマーカー６４と対称な位置に設けられる。

図６（Ｂ）はレンズ２８の側面図であって、撮像素子３１との位置関係を示すものである。撮像素子３１に被写体が結像するときに、マーカー６３とマーカー６４も画像に含まれる。図６（Ｃ）の大きな太枠は撮像素子３１からの画像信号に基づく１フレームの画像を模式的に示している。ただし、撮像素子３１に結像する実際の像は倒立像となるが、図６（Ｃ)では説明を容易にするため正立像として表示している。図６（Ｃ）の特徴点６３ａ，６４ａは屈折率がｎａである場合の特徴点の位置である。また、図６（Ｃ）の特徴点６３ｂ，６４ｂは屈折率がｎｂへと変化した場合の特徴点の位置である。

ここで、演算部２３は光軸中心６１が不明である場合にも、特徴点６３ｂと特徴点６４ｂとを結ぶ（または特徴点６３ａと特徴点６４ａとを結ぶ）直線の中間点を光軸中心６１であると推定することが可能である。

ここで、マーカー６３とマーカー６４とは、被写体の撮像を妨げないように、レンズ２８の周辺部に付される。図７（Ａ）に示されるように、本実施形態の特徴点は周囲に広がったぼやけた像となる。このとき、演算部２３は特徴点が広がっている範囲の画素のそれぞれについて輝度を求める。そして、輝度の最も低い値を示す座標を特徴点の位置としてもよい。図７（Ｂ）の例では、特徴点のｘ軸方向の座標は輝度が最も低くなるＰｘである。演算部２３はｙ軸方向についても同様の処理を実行することで、マーカー６３およびマーカー６４に対応する特徴点のｘｙ座標を決定することができる。

（画像処理方法）
以下に、本実施形態の撮像装置１０が実行する画像処理方法について図８を参照して説明する。ここで、図８のステップＳ３以外、つまり、ステップＳ１，Ｓ２，Ｓ１０，Ｓ１１，Ｓ１２，Ｓ１３については、第１実施形態と同じであるため説明を省略する。

ステップＳ３はステップＳ２の後に実行される。演算部２３は特徴点６３ｂおよび６４ｂ（または特徴点６３ａおよび６４ａ）から光学系２０の光軸中心、すなわちレンズ２８の光軸中心の位置を求める（ステップＳ３）。より詳細には、演算部２３は特徴点６３ｂおよび６４ｂを結ぶ直線の中間点を光軸中心６１であると推定する。ステップＳ３の後には、第１実施形態と同様にステップＳ１０〜Ｓ１３の処理が実行される。ここで、本実施形態でも、画像処理部２６は歪曲収差で歪んだ被写体の形状自体について補正してもよい。

以上に説明したように、本実施形態の撮像装置１０は、第１実施形態で説明した効果に加えて、光軸中心が結像する位置が不明である場合でも容易に位置を推定できるとの効果を奏する。光軸中心が結像する位置が不明である場合は、例えば光軸中心が結像する位置が事前にメモリ３０に記憶されていない場合、撮像装置１０の修理等で光軸中心が結像する位置が変化した場合等である。また、特徴点を撮像装置１０の被写体（例えばバンパー）の上に設けた場合、被写体の形状変化（例えばバンパーの破損）が生じると新たに基準位置および基準値をメモリ３０に記憶する必要が生じる。しかし、本実施形態では被写体の変形によって、基準位置および基準値を更新する必要はない。

本発明を図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

第２実施形態に係る撮像装置１０では、光軸中心を挟んで対称的に配置された２つのマーカーが光学系２０に付されていた。次のように基準位置、基準値を第２実施形態と異ならせることも可能である。例えば、演算部２３は、特徴点６３ａおよび６４ａの位置を基準位置として、特徴点６３ａと特徴点６４ａの間の距離を基準値としてもよい。このとき、演算部２３は図８のステップＳ１０において「特徴点とレンズの光軸中心との距離」に代えて「２つの特徴点の間の距離」を演算する。演算部２３は特徴点６３ｂと特徴点６４ｂの間の距離を基準値と比較するので、第１実施形態の場合と比べてより長い距離での比較を行う。そのため、求める比率の精度がより高まることが期待される。

また、第２実施形態に係る撮像装置１０では、光学系２０に付されていたマーカーの数は２つであるが、さらに数を増やしてもよい。例えば、図９（Ａ）に示されるように、４つのマーカーを光学系２０に付してもよい。このとき、マーカー６３および６４に対応する特徴点を結ぶ直線の中間点を用いて光軸中心６１を推定するだけでなく、マーカー６５および６６を用いて同様の手法で光軸中心６１を推定することができる。例えば、推定される複数の光軸中心６１の座標の平均値を求めることで、より正確に光軸中心６１の位置を推定することが可能である。

また、第２実施形態に係る撮像装置１０で、演算部２３が光軸中心６１の位置を把握している場合には、光学系２０に付されるマーカーは１つであってもよいし、複数あっても１つだけが使用されてもよい。このとき、第１実施形態の画像処理方法（図５参照）を用いることが可能である。

また、第２実施形態に係る撮像装置１０で、図９（Ｂ）に示されるように、光学系２０にマーカーを付す代わりにリング状の遮光板７０が用いられてもよい。光学系２０において、遮光板７０はレンズ２８と撮像素子３１との間に位置するように設けられる。遮光板７０によって、被写体を含む円形の撮像領域と、その周囲のリング状の暗い領域とを含む画像が生成される。このとき、撮像領域とリング状の暗い領域との境界上に特徴点を１つまたは複数設定することができる。このとき、２つの特徴点の間の距離が撮像領域の直径に等しいならば、光軸中心を挟んで対称的に配置された２つのマーカーを光学系２０に付した場合（つまり第２実施形態）と同じ画像処理方法を用いることが可能である。

また、温度変化によって画像に歪曲収差の影響が生じる場合、上記のように画像処理部２６は被写体の形状補正を行ってもよい。歪曲収差の影響を受けると、画像は光軸中心から離れるにつれて同心円状に歪みを生じる。そのため、光軸中心からできるだけ離れたところに特徴点を設けることで、歪曲収差の影響をより正確に把握できる。具体例としては、画像における車両１のバンパーの端部を特徴点とすることが考えられる。図９（Ｃ）は、バンパー６０ａの両端の特徴点６７ａおよび６８ａが、バンパー６０ｂの両端の特徴点６７ｂおよび６８ｂへと変化する様子を示している。ここで、バンパー６０ａは屈折率がｎａである場合のバンパーの位置である。また、バンパー６０ｂは屈折率がｎｂとなった場合（温度変化によって光学系２０に歪曲収差に変化が生じた場合）のバンパーの位置である。バンパーの中心部を特徴点とする図３（Ｂ）の例と比較して、水平方向（ｘ軸方向）にも垂直方向（ｙ軸方向）にも大きく特徴点が変位している。また、演算部２３は、特徴点６７ｂと６８ｂとの間の距離Ｄを基準値（例えば特徴点６７ａと６８ａとの間の距離）と比較する処理を実行してもよい。光軸中心から離れた場所に特徴点を設けて、それらの間の距離の変化を検出することで、検出の感度を高めることができる。

また、上記の第１実施形態において、画像処理部２６は線形補間によって切り出し領域を調整する。しかし、画像処理部２６は、特徴点の位置の変化に対応するように、切り出し領域をシフト（平行移動）させてもよい。

また、上記の第１実施形態において、被写体であるバンパー６０（図２参照）上の一部を特徴点としたが、バンパー６０に限らず車体の一部を特徴点としてもよい。例えば、撮像装置１０が車両１のサイドミラーに設けられる場合には、タイヤの一部やドアの一部を特徴点としてもよい。

また、上記の実施形態において、撮像装置１０はメモリ３０を備えるが、ハードディスクドライブ等の記憶装置を用いてもよい。また、メモリ３０は揮発性メモリおよび不揮発性メモリを備えるが、これらの一方（例えば不揮発性メモリ）のみを備えていてもよい。

１ 車両
１０ 撮像装置
２０ 光学系
２１ 画像取得部
２２ 特定値抽出部
２３ 演算部
２６ 画像処理部
２７ 画像出力部
２８ レンズ
３０ メモリ
３１ 撮像素子
４０ プロセッサ
５０ 表示装置
６０，６０ａ，６０ｂ バンパー
６１ 光軸中心
６２，６２ａ，６２ｂ，６３ａ，６３ｂ，６４ａ，６４ｂ，６７ａ，６７ｂ 特徴点
６３，６４，６５，６６ マーカー
７０ 遮光板

Claims (8)

1. 光学系と、
   前記光学系を介して結像される被写体を撮像する撮像素子と、
   前記被写体を含んで撮像された画像から前記画像における前記光学系の光軸中心が結像する位置から特徴点の位置までの距離を特定値として抽出するプロセッサと、
   前記特定値の基準となる基準値を記憶するメモリと、を備え、
   前記プロセッサは、前記基準値からの前記特定値の変化に基づいて前記画像の補正または領域設定を行う撮像装置。
2. 前記プロセッサは、複数の前記特徴点を用いて前記光軸中心が結像する位置を定める、請求項１に記載の撮像装置。
3. 前記特徴点は、前記画像における前記被写体上の一部に設けられる、請求項１または２に記載の撮像装置。
4. 光学系と、
   前記光学系を介して結像される被写体を撮像する撮像素子と、
   前記被写体を含んで撮像された画像から前記光学系に付された一つまたは複数のマーカーが撮像された点の位置を特定値として抽出するプロセッサと、
   前記特定値の基準となる基準値を記憶するメモリと、を備え、
   前記プロセッサは、前記基準値からの前記特定値の変化に基づいて前記画像の補正または領域設定を行う撮像装置。
5. 光学系と、
   前記光学系を介して結像される被写体を撮像する撮像素子と、
   前記被写体を含んで撮像された画像から所定の部分の湾曲量を特定値として抽出するプロセッサと、
   前記特定値の基準となる基準値を記憶するメモリと、を備え、
   前記プロセッサは、前記基準値からの前記特定値の変化に基づいて前記画像の補正または領域設定を行う撮像装置。
6. 前記プロセッサは、前記メモリに記憶された前記光学系の設計データに基づいて、前記画像の歪みおよび湾曲を補正する、請求項５に記載の撮像装置。
7. 光学系と、
   前記光学系を介して結像される車両の一部を撮像する撮像素子と、
   前記車両の一部を含んで撮像された画像から前記画像における前記光学系の光軸中心が結像する位置から特徴点の位置までの距離を特定値として抽出するプロセッサと、
   前記特定値の基準となる基準値を記憶するメモリと、を備え、
   前記プロセッサは、前記基準値からの前記特定値の変化に基づいて前記画像の補正または領域設定を行う車載カメラ。
8. 光学系と、撮像素子と、プロセッサと、メモリと、を備える撮像装置が実行する画像処理方法であって、
   前記撮像素子が、前記光学系を介して結像される被写体を撮像するステップと、
   前記プロセッサが、前記被写体を含んで撮像された画像から前記画像における前記光学系の光軸中心が結像する位置から特徴点の位置までの距離を特定値として抽出するステップと、
   前記メモリが、前記特定値の基準となる基準値を記憶するステップと、
   前記プロセッサが、前記基準値からの前記特定値の変化に基づいて前記画像の補正または領域設定を行うステップと、を含む画像処理方法。

Images