JP6867487B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

近年、安全運転や自動運転に貢献する技術の一つとして車載カメラ装置により得られた画像を用いる運転支援システムが注目されており、例えば、一対の撮像装置（ステレオカメラ）を有する車載カメラ装置で撮像された２つの撮像画像に映し出された対象物に関する水平方向のずれ（視差）を特定し、この特定された視差に基づいて三角測量の原理により対象物までの距離を算出する技術などが用いられている。

このような技術に用いられる車載カメラ装置では、例えば、レンズの光軸の位置の精度が算出される距離やそれを用いる運転支援システムの精度に大きく影響するため、レンズの光軸の調整（キャリブレーション）が非常に重要である。そこで、ステレオカメラにおける光軸のキャリブレーションに関する種々の技術が提案されており、例えば、特許文献１（特開２０１３-１１３６００号公報）には、計測対象物を撮影して画像を取得する複数のカメラによってカメラキャリブレーションボードの画像を複数取得し、その複数の画像を用いてカメラキャリブレーションを行ってキャリブレーションパラメータを算出し、算出したキャリブレーションパラメータを用いて、複数のカメラによって取得された複数の計測対象物の画像に含まれる歪み、傾きおよびずれのうちの少なくとも一つを含む誤差補正するステレオ３次元計測装置が開示されている。

特開２０１３-１１３６００号公報

しかしながら、上記従来技術においては、キャリブレーションを実施するにあたってキャリブレーションボードを所定の位置に配置する必要がある。このため、カメラハードの経年劣化や温度変化の影響が考えられる車両の走行中などにはステレオカメラの光軸のキャリブレーションを行うことができず、キャリブレーションを実施可能な環境が著しく制限されるという問題があった。

本発明は上記に鑑みてなされたものであり、ステレオカメラの光軸のキャリブレーションを実施可能な環境の制限を緩和することができる撮像装置を提供することを目的とする。

上記目的を達成するために、本発明は、第一撮像部と第二撮像部の一対の撮像部と、前記第一撮像部で撮像された第一画像と前記第二撮像部で前記第一画像と同時刻に撮像された第二画像とを保存する画像保存部と、前記第一画像の画素を上下方向に予め定めた量だけ移動させた第三画像を生成する移動画像生成部と、前記第一画像と前記第二画像とから第一視差画像を生成し、前記第二画像と前記第三画像とから第二視差画像を生成する視差画像生成部と、前記第一視差画像と前記第二視差画像とに基づいて、前記第一撮像部と前記第二撮像部との上下方向の光軸のずれ量を検出する光軸ずれ検出部とを備えたものとする。

本発明によれば、ステレオカメラの光軸のキャリブレーションを実施可能な環境の制限を緩和することができ、任意のタイミングでキャリブレーションを実施することができる。

本実施の形態に係る撮像装置の全体構成を概略的に示す機能ブロック図である。 第三画像における第一画像からの上下方向のずらし量と、各第三画像と第二画像との視差画像の視差数との関係の一例を示す図である。 視差の出にくい画像における、第三画像における第一画像からの上下方向のずらし量と、各第三画像と第二画像との視差画像の視差数との関係の一例を示す図である。 視差算出の間違いが起きやすい画像における、第三画像における第一画像からの上下方向のずらし量と、各第三画像と第二画像との視差画像の視差数との関係の一例を示す図である。 光軸ずれ検出処理を示すフローチャートである。

以下、本発明の実施の形態を図面を参照しつつ説明する。

図１は、本実施の形態に係る撮像装置の全体構成を概略的に示す機能ブロック図である。

図１において、撮像装置１は、一対の撮像部１１，１２、画像保存部１３、移動画像生成部１４、視差画像生成部１５、光軸ずれ検出部１６、距離計測用視差画像生成部１７、及び距離計測部１８から概略構成されている。

一対の撮像部１１，１２（第一撮像部１１、第二撮像部１２）は、撮像装置１における撮影対象の方向を撮像して画像を取得するためのステレオカメラであり、光軸および撮像方向が同じ方向を向くように撮像装置１の左右に同じ高さとなるよう配置されている。第一撮像部１１および第二撮像部１２は、それぞれ、連続で撮像して画像を出力している。

画像保存部１３は、第一撮像部１１および第二撮像部１２で撮像されて連続して出力される画像のうち、光軸ずれを計算するために使用する、同時刻に撮像された一対の画像（第一画像、第二画像）を保存する。

移動画像生成部１４は、画像保存部１３に保存されている撮像部１１、１２で撮像した一対の画像（第一画像、第二画像）のうち、どちらか一方の画像の画素を上下方向に予め定めた、それぞれ異なる量だけ移動させた複数の画像（第三画像）を生成する。ここでは、第一撮像部１１で撮像された第一画像から複数の第三画像を生成する場合を例示して説明する。

視差画像生成部１５は、画像保存部１３に保存された第一画像と第二画像とから視差画像（第一視差画像）を生成するとともに、一対の画像（第一画像、第二画像）のうちの他方の画像（すなわち、ここでは第二画像）と複数の第三画像とから複数の視差画像（第二視差画像）をそれぞれ生成する。

光軸ずれ検出部１６は、第一視差画像と第二視差画像とに基づいて、第一撮像部１１と第二撮像部１２との上下方向の光軸のずれ量を検出する。光軸ずれ検出部１６で検出した光軸のずれ量は、距離計測用視差画像生成部１７や距離計測部１８に送られる。

距離計測用視差画像生成部１７は、第一撮像部１１と第二撮像部１２の一対の撮像部で撮像された２つの画像から距離計測用の視差画像を生成する。なお、距離計測用視差画像生成部１７での視差画像の生成に際しては、光軸ずれ検出部１６で検出された光軸のずれ量を用いても良い。

距離計測部１８は、距離計測用視差画像生成部１７で生成された視差画像に基づいて、一対の撮像部（第一撮像部１１、第二撮像部１２）で撮像された２つの画像に映し出された対象物（例えば、歩行者や他の車両）までの距離を計測する。計測方法としては種々のものが考えられるが、例えば、一対の撮像部（第一撮像部１１、第二撮像部１２）で撮像された２つの画像に映し出された対象物に関する水平方向のずれ（視差）を視差画像で特定し、この特定された視差に基づいて三角測量の原理により対象物までの距離を算出する。なお、距離計測部１８での距離の計測に際しては、光軸ずれ検出部１６で検出された光軸のずれ量を用いて計測結果の補正を行う。

ここで、光軸ずれ量の検出原理について説明する。

例えば、ある一対の撮像部で撮像された２つの画像において、この２つの画像から得られる視差画像の視差数は、一対の撮像部の光軸の上下方向のずれ量に依存して増減する。
すなわち、視差画像の視差数は、一対の撮像部の光軸の上下方向のずれが無い場合（最少の場合）に最大値をとり、光軸のずれ量が大きくなるに従って減少するという傾向を有している。これは、視差画像を生成する場合のマッチング方向が横方向の探索であるため、一対の撮像部の光軸の上下方向の光軸がずれていると、マッチング評価値が低くなることと同意である。そこで、本願発明者らはこのような知見に基づき、一対の撮像部（第一撮像部１１、第二撮像部１２）で撮像された２つの画像（第一画像、第二画像）のうちの一方の画像（例えば第一画像）を上下方向に移動させる（すなわち、第三画像を生成する）ことによって、一対の撮像部（第一撮像部１１、第二撮像部１２）の光軸の上下方向の見かけ上のずれ量を変化させ、第一画像を上下方向に移動させた第三画像と第二画像とから得られる視差画像の視差数の変化の様子から、一対の撮像部（第一撮像部１１、第二撮像部１２）の光軸のずれ量を算出している。

図２は、第三画像における第一画像からの上下方向のずらし量と、各第三画像と第二画像との視差画像の視差数との関係の一例を示す図であり、縦軸に視差画像の視差数、横軸に上下方向のずらし量をそれぞれ示している。

図２に示すように、第三画像における第一画像からの上下方向のずらし量、すなわち、第二撮像部１２に対する第一撮像部１１の光軸の見かけ上のずれ量が変化すると、視差画像の視差数が変化する。ここで、光軸の上下方向のずれ量が無い場合（最少の場合）に視差画像の視差数は最大値をとることが分かっているので、横軸方向（すなわち、第三画像の上下方向のずらし量）における原点位置（すなわち、第三画像が第一画像と同じものである場合）と、視差数が最大値を取るずらし量の値との差から、第一撮像部１１と第二撮像部１２の光軸の上下方向のずれ量が得られる。なお、図２では、例えば、最小二乗法などの手法を用いて視差数の近似曲線（ここでは、上に凸の２次曲線）を算出し、この近似曲線を用いて光軸のずれ量を算出する場合を示している。

なお、光軸のずれ量の算出にあたっては、第一撮像部１１及び第二撮像部１２で撮像された画像として、視差の出にくい画像や視差算出の間違いが起きやすい画像を用いないことが、正しい光軸のずれ量の検出に必要である。つまり、光軸のずれ量の算出には、視差数の分布が正規分布に近い形になっており、また、視差数が多い画像、すなわち、視差数の分布の有用性が基準を満たす画像を用いる。ここで、視差の出にくい画像とは、図３に示すような視差数の分布を示す画像であり、例えば、特徴点の少ない壁や車庫内の暗い環境などで撮像される画像などが挙げられる。また、視差算出の間違いが起きやすい画像とは、図４に示すような視差数の分布を示す画像であり、例えば、撮像された画像そのものが縦模様の多い画像が挙げられる。このような画像では、画像の画素を上下方向にずらしても、ずらす前後で画像の差異（特に上下方向の差異）が見られないため、ずらし量の変化に対する視差数の変化が少なくなるためである。

次に、第一撮像部１１及び第二撮像部１２の光軸のずれ量を検出する光軸ずれ検出処理について説明する。

図５は、光軸ずれ検出処理を示すフローチャートである。

図５において、第一撮像部１１及び第二撮像部１２は撮像を行い、画像保存部１３は同時刻に撮像された一対の画像（第一画像、第二画像）を保存する（ステップＳ１００）。

続いて、移動画像生成部１４は、一対の画像（第一画像、第二画像）のうち、どちらか一方の画像の画素を上下方向に予め定めた量だけ移動させた画像（第三画像）を生成する（ステップＳ１２０）。なお、ここでは、第一撮像部１１で撮像された第一画像から第三画像を生成する場合を例示して説明する。

続いて、視差画像生成部１５は、画像保存部１３に保存された第一画像と第二画像とから視差画像（第一視差画像）を生成するとともに、一対の画像（第一画像、第二画像）のうちの他方の画像（すなわち、ここでは第二画像）と第三画像とから視差画像（第二視差画像）を生成する（ステップＳ１３０）。なお、視差画像の生成における視差値の算出にはテンプレートマッチングを用いる。

続いて、光軸ずれ検出部１６は、第二画像と第三画像のそれぞれについて、視差数を算出する（ステップＳ１４０）。なお、第二画像及び第三画像における視差数の算出では、画像全体を対象としても良いが、ここでは、より信頼性の高い視差数を算出するものとする。信頼性の高い視差とは、例えば、エッジの強い特徴点の視差のことである。

ここで、第一撮像部１１及び第二撮像部１２の光軸のずれ量の検出に必要な数の視差画像を生成したかどうかを判定する（ステップＳ１５０）。光軸ずれ量の検出に必要な視差画像の数の基準としては種々のものが考えられるが、例えば、後述するステップＳ１６０で作成する視差数の分布から得られる近似曲線が十分な精度を得られる視差画像の数を経験的に取得して基準とする。

ステップＳ１５０での判定結果がＮＯの場合、すなわち、十分な数の視差画像が生成されていない場合は、判定結果がＹＥＳになるまで、ステップＳ１２０〜Ｓ１４０の処理を繰り返す。これにより、移動画像生成部１４は、一対の画像（第一画像、第二画像）のうち、どちらか一方の画像の画素を上下方向に予め定めた、それぞれ異なる量だけ移動させた複数の画像（第三画像）を生成し、視差画像生成部１５は、画像保存部１３に保存された第一画像と第二画像とから視差画像（第一視差画像）を生成するとともに、一対の画像（第一画像、第二画像）のうちの他方の画像（すなわち、ここでは第二画像）と複数の第三画像とから複数の視差画像（第二視差画像）をそれぞれ生成し、光軸ずれ検出部１６は、第二画像と複数の第三画像のそれぞれについて、視差数を算出する（ステップＳ１２０〜Ｓ１５０）。

ステップＳ１５０での判定結果がＹＥＳの場合には、第三画像における上下方向のずらし量に対する視差数の分布を作成する（ステップＳ１６０）。

続いて、ステップＳ１６０で作成した分布の有用性が基準（すなわち、視差数の分布が正規分布に近い形になっており、視差数が多い画像）を満たすかを判定する（ステップＳ１７０）。

ステップＳ１７０での判定結果がＮＯの場合には、分布の有用性が基準を満たす画像が得られるまで、ステップＳ１００〜Ｓ１６０の処理を繰り返す。

ステップＳ１７０での判定結果がＹＥＳの場合には、ステップＳ１６０で得られた視差数の分布から第一撮像部１１と第二撮像部１２の光軸の上下方向のずれ量の検出を行い（ステップＳ１８０）、処理を終了する。

以上のように構成した本実施の形態の効果を説明する。

計測対象物を撮影して画像を取得する複数のカメラによってカメラキャリブレーションボードの画像を複数取得し、その複数の画像を用いてカメラキャリブレーションを行ってキャリブレーションパラメータを算出するような従来技術においては、キャリブレーションを実施するにあたってキャリブレーションボードを所定の位置に配置する必要がある。
このため、カメラハードの経年劣化や温度変化の影響が考えられる車両の走行中などにはステレオカメラの光軸のキャリブレーションを行うことができず、キャリブレーションを実施可能な環境が著しく制限されるという問題があった。

これに対して本実施の形態においては、第一撮像部１１と第二撮像部１２の一対の撮像部と、第一撮像部１１で撮像された第一画像と第二撮像部１２で第一画像と同時刻に撮像された第二画像とを保存する画像保存部１３と、第一画像の画素を上下方向に予め定めた量だけ移動させた第三画像を生成する移動画像生成部１４と、第一画像と第二画像とから第一視差画像を生成し、第二画像と第三画像とから第二視差画像を生成する視差画像生成部１５とを備え、第一視差画像と第二視差画像とに基づいて、第一撮像部１１と第二撮像部１２との上下方向の光軸のずれ量を検出するように構成したので、ステレオカメラの光軸のキャリブレーションを実施可能な環境の制限を緩和することができ、任意のタイミングでキャリブレーションを実施することができる。

＜付記＞
なお、本発明は上記した各実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本願発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

１…撮像装置、３…ステレオ、１１…第一撮像部、１２…第二撮像部、１３…画像保存部、１４…移動画像生成部、１５…視差画像生成部、１６…光軸ずれ検出部、１７…距離計測用視差画像生成部、１８…距離計測部

Claims (5)

1. 第一撮像部と第二撮像部の一対の撮像部と、
   前記第一撮像部で撮像された第一画像と前記第二撮像部で前記第一画像と同時刻に撮像された第二画像とを保存する画像保存部と、
   前記第一画像の画素を上下方向に予め定めた、それぞれ異なる量だけ移動させた複数の第三画像を生成する移動画像生成部と、
   前記第一画像と前記第二画像とから第一視差画像を生成し、前記第二画像と前記複数の第三画像のそれぞれとから複数の第二視差画像を生成する視差画像生成部と、
   前記複数の第三画像における前記第一画像からの上下方向のずらし量と、前記複数の第二視差画像における視差数との関係を示す近似曲線を算出し、前記近似曲線に基づいて、前記第一撮像部と前記第二撮像部との上下方向の光軸のずれ量を検出する光軸ずれ検出部とを備えたことを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記光軸ずれ検出部は、前記第一視差画像の有効視差と前記複数の第二視差画像のそれぞれの有効視差の分布に基づいて前記光軸ずれを検出することを特徴とする撮像装置。
3. 請求項１記載の撮像装置において、
   前記光軸ずれ検出部は、前記第一視差画像の有効視差の視差数と前記複数の第二視差画像の有効視差の視差数とがそれぞれ予め定めた閾値よりも多い場合に、前記第一撮像部と前記第二撮像部との上下方向の光軸のずれ量を検出することを特徴とする撮像装置。
4. 請求項３記載の撮像装置において、
   前記光軸ずれを検出可能な閾値未満の前記有効視差の視差数の場合、前記第一画像と前記第二画像を変えて、前記第一視差画像と前記第二視差画像を新たに生成して光軸ずれを検知することを特徴とする撮像装置。
5. 請求項１〜４の何れか１項に記載の撮像装置において、
   第一撮像部と第二撮像部の一対の撮像部で撮像された２つの画像から距離計測用の視差画像を生成する距離計測用視差画像生成部と、
   前記距離計測用視差画像生成部で生成された視差画像に基づいて、一対の撮像部で撮像された２つの画像に映し出された対象物までの距離を計測する距離計測部とを備え、
   前記距離計測用視差画像生成部と前記距離計測部との少なくとも一方は、前記光軸ずれ検出部で検出された光軸のずれ量を用いることを特徴とする撮像装置。

Images