JPWO2018123639A1 - 撮像装置および撮像方法 - Google Patents

Abstract

本発明は、レンズと撮像素子の位置のズレ量をより正確に把握することができる撮像装置および撮像方法を提供する。本発明は、撮像対象物に対向するレンズ１と、レンズ１に対して撮像対象物と反対側に、レンズ１を介して入射される入射光が結像する範囲であるイメージサークル３の外側に位置するケラレ領域４ａ〜４ｄを有するように配置された撮像素子とを備える。レンズ１と撮像素子２の相対的な初期位置とレンズ１と撮像素子２の相対的な位置にズレが生じた後のズレ位置とのそれぞれの位置におけるケラレ領域４ｅ〜４ｇの形状に基づいてレンズ１の光軸１ａの撮像素子２上の位置を算出することにより、レンズ１と撮像素子２の初期位置に対するズレ量を算出する。

Description

本発明は、撮像装置および撮像方法に関する。

近年、安全運転や自動運転に貢献する技術の一つとして車載カメラ装置により得られた画像を用いる運転支援システムが注目されており、例えば、一対の撮像装置（ステレオカメラ）を有する車載カメラ装置で撮像された２つの撮像画像に映し出された対象物に関する水平方向のずれ（視差）を特定し、この特定された視差に基づいて三角測量の原理により対象物までの距離を算出する技術などが用いられている。

このような技術に用いられる車載カメラ装置においては、レンズの光軸と撮像素子の位置の精度が算出される距離やそれを用いる運転支援システムの精度に大きく影響するため、レンズと撮像素子の位置の調整が非常に重要である。そこで、レンズと撮像素子の位置調整に関する技術として、例えば、特許文献１（特開２０１４−１３５５６７号公報）には、レンズからの入射光が結像する範囲であるイメージサークル内を非ケラレ領域とし、前記イメージサークル外をケラレ領域として、撮像画像の撮像領域内に撮像する撮像素子と、前記撮像領域内において互いに平行である複数本の走査線上を走査し、走査線上の画素から前記撮像領域内の前記ケラレ領域と前記非ケラレ領域との境界点として、互いに略直線上にない境界点を３点抽出し、前記イメージサークルの推定結果として、前記抽出した３点の境界点をそれぞれ円周上の点とする推定イメージサークルを計算し、前記撮像素子の撮像中心が前記推定イメージサークルの推定中心と一致するように、前記撮像素子を移動させるデジタル信号処理部とを有する撮像装置が開示されている。

特開２０１４−１３５５６７号公報

ところで、車載カメラ装置は高低音環境下や高湿度環境下などでの使用に対応する必要があり、また、経年によるレンズと撮像素子の位置のズレについても抑制する必要がある。しかしながら、温湿度変化や経年によるレンズと撮像素子の位置のズレを完全に無くすことは不可能であった。

本発明は上記に鑑みてなされたものであり、レンズと撮像素子の位置のズレ量をより正確に把握することができる撮像装置および撮像方法を提供することを目的とする。

上記目的を達成するために、本発明は、撮像対象物に対向するレンズと、前記レンズに対して前記撮像対象物と反対側に、前記レンズを介して入射される入射光が結像する範囲であるイメージサークルの外側に位置するケラレ領域を有するように配置された撮像素子とを備えたものとする。

本発明によれば、レンズと撮像素子の位置のズレ量をより正確に把握することができる。

撮像装置の全体構成を概略的に示す図である。 撮像装置のレンズと撮像素子の初期位置における相対的な位置関係を模式的に示す図である。 撮像装置のレンズと撮像素子の相対位置にズレが生じた場合を示す図である。 画像処理部における光軸位置算出処理の一例を説明する図であり、光軸位置算出処理に用いる仮想円の様子を示す図である。 画像処理部における光軸位置算出処理の一例を説明する図であり、光軸位置算出処理の様子を示す図である。 画像処理部における光軸位置算出処理の他の例を説明する図である。 画像処理部にける光軸位置算出処理のさらに他の例を説明する図である。 画像処理部における光学歪み補正処理を説明する図であり、光学歪み補正処理に用いるアフィンテーブル作成処理の様子を示す図である。 画像処理部における光学歪み補正処理を説明する図であり、光学歪み補正処理の様子を示す図である。

以下、本発明の実施の形態を図面を参照しつつ説明する。

図１は、本実施の形態に係る撮像装置の全体構成を概略的に示す図である。

図１において、撮像装置１００は、撮像対象物に対向するレンズ１と、レンズに対して撮像対象物と反対側に配置された撮像素子２と、撮像素子２で撮像された画像に関する各種処理を行う画像処理部１０１と、画像処理部１０１で処理を施された結果としての各種画像やアフィンテーブル等のテーブル、各種変数やその他の情報を記憶する記憶部１０２とから概略構成されている。

図８及び図９は、画像処理部における光学歪み補正処理を説明する図であり、図８は光学歪み補正処理に用いるアフィンテーブル作成処理の様子を、図９は光学歪み補正処理の様子をそれぞれ示している。

図８において、アフィンテーブル作成処理では、まず、基準の撮像対象物として例えば既知の間隔で作成された格子チャート１０を撮像すると、レンズ１による光学歪みを含む画像１０ａが得られる。画像処理部１０１では、光学歪みを含む格子チャート１０の画像１０ａに対してアフィン変換を行って光学歪みを補正した画像１０ｂを得ることによりアフィンテーブルを作成する。画像処理部１０１で作成したアフィンテーブルは記憶部１０２に記憶される。

図９において、光学歪み補正処理では、まず、撮像対象物１１を撮像し、レンズ１による光学歪みを含む画像１１ａを取得する。画像処理部１０１では、記憶部１０２からアフィンテーブルを読み出し、光学歪みを含む格子チャート１０の画像１０ａに対してアフィンテーブルを使用した光学歪みの補正処理を実施することにより、歪みを大きく低減した撮像対象物１１の画像１１ｂを得ることができる。このとき、後述する光軸ズレ量算出処理により得られたレンズ１と撮像素子２の相対位置のズレ量を光学歪み補正処理に適用する（アフィンテーブルをズレ量分オフセットする）ことにより、さらに精度の良い画像１１ｂを得ることができる。

図２は、本実施の形態に係る撮像装置のレンズと撮像素子の初期位置における相対的な位置関係を模式的に示す図である。

図２に示すように、撮像素子２は初期位置において、レンズ１に対して撮像対象物と反対側に、レンズ１を介して入射される入射光が結像する範囲であるイメージサークル３の外側に位置するケラレ領域４ａ〜４ｄを有するように配置されている。ここで、イメージサークル３とは、レンズ１を通った光が結像する光軸１ａを中心とする円形の範囲であり、レンズ１の焦点距離や画角により決定される。また、ケラレ領域４ａ〜４ｄとは、撮像素子２上におけるイメージサークル３よりも外側に位置する領域であり、レンズ１を介して入射される光が届かない領域である。

なお、本実施の形態においては、レンズ１と撮像素子２の相対的な初期位置（以下、単に初期位置と称する）におけるケラレ領域４ａ〜４ｄが、方形に形成された撮像素子２の４つの角部にそれぞれ位置するように配置される場合を例示している。すなわち、本実施の形態においては、レンズ１により形成されるイメージサークル３の直径が方形に形成された撮像素子２の対角線長よりも小さくなるように、レンズ１及び撮像素子２を構成しており、イメージサークル３と撮像素子２の中心がほぼ一致するように初期位置を設定すると、撮像素子２の４つの角部にケラレ領域４ａ〜４ｄが形成される。

初期位置において、レンズ１の光軸１ａが撮像素子２上を通る位置を撮像素子２上の基準位置２ａとする。すなわち、初期位置において、撮像素子２の基準位置２ａとレンズ１の光軸１ａは一致する。なお、撮像素子２の中心と基準位置２ａとは必ずしも一致するわけではない。

基準位置２ａは、画像処理部１０１において行われる光軸位置算出処理（後に詳述）により算出され、記憶部１０２に記憶される。光軸位置算出処理は、ケラレ領域４ａ〜４ｄの形状に基づいてレンズ１の光軸１ａの撮像素子２上の位置を算出する処理である。

図３は、撮像装置のレンズと撮像素子の相対位置にズレが生じた場合を示す図である。

図３に示すように、レンズ１と撮像素子２に相対位置のズレが発生した場合、撮像素子２上の基準位置２ａとレンズ１の光軸１ａの位置、すなわち、イメージサークル３の中心位置とにズレ（光軸ズレ）が生じる。このように、レンズ１と撮像素子２の相対的な位置にズレが生じた後のズレ位置（以下、単にズレ位置と称する）となった場合、撮像素子２上のケラレ領域４ｅ〜４ｇの形状（場合によっては個数も含む）が初期位置の場合と比較して変化する。本実施の形態では、ズレ位置において光軸位置算出処理を行って撮像素子２上における光軸１ａの位置を算出し、初期位置における光軸１ａの位置と比較することにより、レンズ１と撮像素子２の相対的な位置のズレ量を算出する（光軸ズレ量算出処理）。

図４及び図５は、画像処理部における光軸位置算出処理の一例を説明する図であり、図４は光軸位置算出処理に用いる仮想円の様子を、図５は光軸位置算出処理の様子をそれぞれ示している。なお、図４及び図５においては、撮像素子２の角部の１つにケラレ領域４１が形成された場合を例示して示している。

画像処理部１０１での光軸位置算出処理は、ケラレ領域４ａ〜４ｇの形状に基づいてレンズ１の光軸１ａの撮像素子２上の位置を算出する処理である。すなわち、光軸位置算出処理では、レンズ１のイメージサークル３と同径の仮想円３１を想定し（図４）、仮想円３１とケラレ領域４１の外周の円弧形状との一致部分を検出し（図５）、その状態での仮想円３１の中心３１ａ位置をズレ位置におけるレンズ１の光軸１ａの撮像素子２上の位置として算出され、記憶部１０２に記憶される。

また、画像処理部１０１での光軸ズレ量算出処理では、レンズ１と撮像素子２の初期位置における基準位置２ａを記憶部１０２から読み出し、レンズ１と撮像素子２のズレ位置における光軸１ａの位置（イメージサークル３の中心位置）と比較することにより、初期位置に対するズレ位置におけるレンズ１と撮像素子２の相対位置のズレ量を算出する。

以上のように構成した本実施の形態の効果を説明する。

運転支援システムに用いられる車載カメラ装置は高低音環境下や高湿度環境下などでの使用に対応する必要があり、また、経年によるレンズと撮像素子の位置のズレについても抑制する必要がある。しかしながら、温湿度変化や経年によるレンズと撮像素子の位置のズレを完全に無くすことは不可能であった。

また、レンズには少なからず光学歪みがあり、例えば、一対の撮像装置（ステレオカメラ）で撮像された２つの撮像画像に映し出された対象物に関する水平方向のずれ（視差）を特定し、この特定された視差に基づいて三角測量の原理により対象物までの距離を算出するような技術においては、左右のレンズの光学歪みに偏りが発生していると、対象物までの距離を正確に算出できないばかりか、結果として各撮像装置で撮像した対象物が同一対象物と認識されない状況も考えられる。このため、レンズによる光学歪みを補正する処理を行うが、温湿度変化や経年によってレンズと撮像素子の位置のズレが生じている場合、光学歪みの補正を正確に行うことがでないため、これらの画像を用いた処理の精度が低下してしまうことが考えられる。

これに対して本実施の形態においては、撮像対象物に対向するレンズ１と、レンズ１に対して撮像対象物と反対側に、レンズ１を介して入射される入射光が結像する範囲であるイメージサークル３の外側に位置するケラレ領域４ａ〜４ｄを有するように配置された撮像素子とを備えて構成したので、レンズ１と撮像素子２の位置のズレ量をより正確に把握することができる。すなわち、レンズ１と撮像素子２の相対的な初期位置とレンズ１と撮像素子２の相対的な位置にズレが生じた後のズレ位置とのそれぞれの位置におけるケラレ領域４ａ〜４ｇの形状に基づいてレンズ１の光軸の撮像素子２上の位置を算出し、それらの位置を比較することにより、レンズ１と撮像素子２の位置のズレ量をより正確に把握することができる。また、レンズ１と撮像素子２の位置のズレ量をより正確に把握することができるので、光学歪みの補正を正確に行うことができる。また、撮像装置１００の作製時におけるレンズ１と撮像素子２との光軸ズレを許容できるとともに、光学歪みの大きさやバラつきの大きさについても許容することができ、撮像装置１００の作製コストを抑制することができる。

なお、本実施の形態においては、撮像素子２の角部の１つに形成されたケラレ領域４１に対して光軸位置算出処理を行う例を示したが、これに限られない。ここで、光軸位置算出処理の他の例及びさらに他の例を図６及び図７を参照しつつ説明する。

図６は、画像処理部における光軸位置算出処理の他の例を説明する図である。

図６において、レンズ１と撮像素子２は、レンズ１と撮像素子２の相対的な初期位置におけるケラレ領域４２ａ，４２ｂが方形に形成された撮像素子の４つの角部の少なくとも２つに位置するように配置されている。この場合、画像処理部１０１は、光軸位置算出処理において、レンズ１のイメージサークル３と同径の仮想円３２と、少なくとも２つのケラレ領域４２ａ，４２ｂの外周の円弧形状との一致部分をそれぞれ検出し、少なくとも２つのケラレ領域４２ａ，４２ｂに対応する仮想円３２のそれぞれの中心位置（ここでは、説明の簡単のため２つの中心位置を１つの中心位置３２ａで示している）の平均位置をレンズ１の光軸１ａの撮像素子２上の位置として算出する。

図７は、画像処理部にける光軸位置算出処理のさらに他の例を説明する図である。

図７において、レンズ１と撮像素子２は、レンズ１と撮像素子２の相対的な初期位置におけるケラレ領域４３ａ〜４３ｄが方形に形成された撮像素子２の４つの角部の少なくとも３つに位置するように配置さている。この場合、画像処理部１０１は、ケラレ領域４３ａ〜４３ｄのうちの３つのケラレ領域（例えば、ケラレ領域４３ａ〜４３ｃ）の外周の円弧形状を直線近似した近似直線５ａ〜５ｃとの内接円３３を検出し、内接円３３の中心位置３３ａをレンズ１の光軸１ａの撮像素子２上の位置として算出する。

なお、撮像素子２の４つの角部に位置するケラレ領域４３ａ〜４３ｄを用いて光軸位置算出処理を行う場合は、近似直線５ａ〜５ｄから３つを選ぶ組合せ数（４Ｃ３）から４通りの内接円３３が求められるので、こられの内接円３３の中心位置３３ａの平均位置をとれば、さらに正確な光軸１ａの位置を算出することができる。

また、本発明は上記した各実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本願発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

１ レンズ、１ａ 光軸、２ 撮像素子、２ａ 基準位置、３ イメージサークル、４ａ〜４ｇ ケラレ領域、５ａ〜５ｄ 近似直線、１０ 格子チャート、１０ａ，１０ｂ 画像、１１ 撮像対象物、１１ａ，１１ｂ 画像、３１，３２ 仮想円、３１ａ 中心、３２ａ，３３ａ 中心位置、３３ 内接円、４１，４２ａ，４２ｂ，４３ａ〜４３ｄ ケラレ領域、１００ 撮像装置、１０１ 画像処理部、１０２ 記憶部

Claims (8)

1. 撮像対象物に対向するレンズと、
   前記レンズに対して前記撮像対象物と反対側に、前記レンズを介して入射される入射光が結像する範囲であるイメージサークルの外側に位置するケラレ領域を有するように配置された撮像素子とを備えたことを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記ケラレ領域の形状に基づいて前記レンズの光軸の前記撮像素子上の位置を算出する画像処理部を備えたことを特徴とする撮像装置。
3. 請求項１記載の撮像装置において、
   前記レンズと前記撮像素子の相対的な初期位置と前記レンズと前記撮像素子の相対的な位置にズレが生じた後のズレ位置とのそれぞれの位置における前記ケラレ領域の形状に基づいて前記レンズの光軸の前記撮像素子上の位置を算出することにより、前記レンズと前記撮像素子の前記初期位置に対するズレ量を算出する画像処理部を備えたことを特徴とする撮像装置。
4. 請求項３記載の撮像装置において、
   前記レンズと前記撮像素子は、前記レンズと前記撮像素子の相対的な初期位置における前記ケラレ領域が方形に形成された前記撮像素子の４つの角部に位置するように配置されることを特徴とする撮像装置。
5. 請求項２又は３記載の撮像装置において、
   前記画像処理部は、前記レンズのイメージサークルと同径の仮想円と前記ケラレ領域の外周の円弧形状との一致部分を検出することにより、前記仮想円の中心位置を前記レンズの光軸の前記撮像素子上の位置として算出することを特徴とする撮像素子。
6. 請求項３記載の撮像装置において、
   前記レンズと前記撮像素子は、前記レンズと前記撮像素子の相対的な初期位置における前記ケラレ領域が方形に形成された前記撮像素子の４つの角部の少なくとも２つに位置するように配置され、
   前記画像処理部は、前記レンズのイメージサークルと同径の仮想円と、前記少なくとも２つの前記ケラレ領域の外周の円弧形状との一致部分をそれぞれ検出し、前記少なくとも２つの前記ケラレ領域に対応する前記仮想円のそれぞれの中心位置の平均位置を前記レンズの光軸の前記撮像素子上の位置として算出することを特徴とする撮像素子。
7. 請求項３記載の撮像装置において、
   前記レンズと前記撮像素子は、前記レンズと前記撮像素子の相対的な初期位置における前記ケラレ領域が方形に形成された前記撮像素子の４つの角部の少なくとも３つに位置するように配置され、
   前記画像処理部は、前記ケラレ領域のうちの３つのケラレ領域の外周の円弧形状を直線近似した直線との内接円を検出し、前記内接円の中心位置を前記レンズの光軸の前記撮像素子上の位置として算出することを特徴とする撮像素子。
8. 撮像対象物に対向するレンズに対して前記撮像対象物と反対側に、前記レンズを介して入射される入射光が結像する範囲であるイメージサークルの外側に位置するケラレ領域を有するように撮像素子を配置する手順と、
   前記ケラレ領域の形状に基づいて前記レンズの光軸の前記撮像素子上の位置を算出する手順とを有することを特徴とする撮像方法。

Images