JP4924589B2 - カメラの光軸調整方法 - Google Patents

Description

本発明は、カメラの光軸調整方法に関し、より特定的には、ターゲットを利用してカメラの光軸調整を行うカメラの光軸調整方法に関する。

近年、車両周辺の画像を取得するためにカメラを搭載した車両が存在する。例えば、車線認識や先行車両認識等の用途のため、車両前方の画像を取得するためのカメラが搭載される。このようなカメラを車両に取り付ける際、機械的要因や制御技術的要因によって、車両進行方向に対するカメラの光軸方向に取り付け公差が生じる。カメラの光軸方向に公差が存在する場合、ピントが合った精度の高い画像を得ることができない。そのため、車両の製造工場やディーラー等において、車両毎にカメラの光軸調整が行われる。この光軸調整の方法として、例えば、特許文献１に記載のように、車両との位置関係が予め規定されたターゲットをカメラで撮影する方法が知られている。特許文献１に記載の光軸調整方法では、白部と黒部とを有するターゲットをカメラによって撮影し、ターゲットの中心とカメラの光軸中心が一致するように、補正量を求めている。
特開２００５−１４３０４０号公報

しかしながら、上述したような光軸調整方法では従来から以下に示す問題点があった。上記車両に搭載されるカメラは、良好な画像を撮影するために、画像を撮影する際、明るい場所や暗い場所等、撮影環境に応じて電子シャッターやゲイン等の露光を自動的に調整するのが一般的である。その一方で、カメラの光軸調整を行う各工場等の撮影環境は、一様ではない。従って、カメラは、カメラの光軸調整の際、各工場等の撮影環境に応じて露光制御を行う。例えば、ターゲットの背景が暗い場合、カメラはターゲットの背景を明るくしようと露光制御を行う。この場合、ターゲットの白部が飽和してしまい、撮影した画像の白部の領域が広がってしまう場合がある。図５は、実環境におけるターゲットと、ターゲットの白部が飽和したため白部の領域が広がって撮影された撮像画像とを示した図である。図５（ａ）は、実環境における撮影環境を含むターゲットを示し、図５（ｂ）は、撮影環境を含むターゲットをカメラで撮影した場合の撮像画像を示す。図５において、ターゲット２１、ターゲット２１の白部２２、ターゲット２１の黒部２３、及び撮影環境の背景部２４が示されている。図５（ｂ）に示されるように、カメラで撮影された画像では、実際の白部２２の境界を示す破線を超えて白部２２の領域が黒部２３の領域にまで広がっている。このため、ターゲット２１の白部２２と黒部２３との境界を正確に認識できなくなってしまっている。以下、上記のような問題が発生する原因について、図６を参照して説明する。

図６は、撮影環境によってターゲットの白部の領域が飽和して黒部の領域にまで広がることの原因を説明するための説明図である。図６では、正常時（Ａ）及び異常時（Ｂ）において、カメラにより撮影された画像（ａ）及びその場合の各画素の輝度値（ｂ）が示されている。なお、各画素の輝度値は８ビットで示される。図６（Ａａ）では、正常時のカメラにより撮影された画像が示されている。図６（Ａａ）に示されるように、正常時の画像では、ターゲット２１の白部２２と黒部２３との境界が明瞭に認識可能になっている。図６（Ａｂ）では、図６（Ａａ）におけるターゲット２１の中心付近を撮影したカメラの画素を取り出し、取り出された各画素の画素値（輝度値）が示されている。図６（Ａｂ）において、各数値は、各画素の輝度値を示している。図６（Ａｂ）に示されるように、ターゲット２１の白部２２と黒部２３とでは、画素の輝度値が異なり、ターゲット２１の白部２２に相当する画素は輝度値が高く、ターゲット２１の黒部２３に相当する画素は輝度値が低くなっている。また、ターゲット２１の白部２２と黒部２３との境界に相当する画素は、白部２２の輝度値と黒部２３の輝度値との間の輝度値になっている。従って、各画素の輝度値を取得し、各輝度値の違い（輝度値の変化）に基づいてターゲット中心を求めることができる。

一方、図６（Ｂａ）では、異常時（白部２２が飽和した状態）においてカメラにより撮影された画像が示されている。図６（Ｂａ）に示されるように、異常時の画像では、ターゲット２１の白部２２と黒部２３との境界が明瞭に認識可能になっていない。すなわち、カメラにより撮影された白部２２が、実際のターゲット２１の白部２２よりも拡大され、黒部２３の領域にまで広がっている。図６（Ｂｂ）では、図６（Ｂａ）におけるターゲット２１の中心付近を撮影したカメラの画素を取り出し、取り出された各画素の画素値（輝度値）が示されている。図６（Ｂｂ）において、図６（Ａｂ）と同様、各数値は、各画素の輝度値を示している。図６（Ｂｂ）においても、ターゲット２１の白部２２と黒部２３とでは、画素の輝度値が異なり、ターゲット２１の白部２２に相当する画素は輝度値が高く、ターゲット２１の黒部２３に相当する画素は輝度値が低くなっている。しかしながら、実際のターゲット２１の白部２２と黒部２３との境界部分に相当する画素の輝度値が、ターゲット２１の白部２２に相当する画素の輝度値と、同じ値になっている。これは、各画素は最大輝度値を有しており、実際には、白部２２に相当する画素及び境界部分に相当する画素が、この最大輝度値を超えているからである。このため、図６（Ｂｂ）に示されるように、白部２２及び境界部分に相当する画素の輝度値は、最大輝度値２５５を示している。従って、白部２２と境界部分との輝度値が最大輝度値に達することにより、白部２２と黒部２３との境界を明瞭に認識することができなくなり、ターゲット２１のターゲット中心を正確に求めることができなくなる。

上記のように、白部２２と黒部２３との境界を明瞭に認識することができなくなる理由は、以下による。すなわち、カメラは、撮影環境の明るさに応じて、電子シャッターやゲイン等の露光制御を自動で行う。より具体的には、カメラは、撮影した場合の全画素の輝度値の平均が、予め設定された目標平均輝度となるように、電子シャッターやゲイン等を自動で調整する。例えば、撮影環境が比較的暗い場合、カメラは、画像全体が明るくなるように（目標平均輝度に近くなるように）、シャッタースピードを遅くしたり、ゲインを大きくしたりする。この場合、各画素の輝度値は、露光制御が行われない場合に比べて、高くなる。白部２２、黒部２３、及び白部２２と黒部２３との境界部分に相当する画素の輝度値も、露光制御が行われない場合に比べて、高くなる。従って、白部２２の輝度値は、より高くなり、上記最大輝度値を超えてしまう。また、白部２２と黒部２３との境界部分に相当する画素の輝度値も、最大輝度値に達する場合がある。従って上述したように、白部２２と黒部２３との境界部分の輝度値が、白部２２の輝度値と同じになってしまい、白部２２と黒部２３との境界を明瞭に認識することができなくなる。

一方、撮影環境の背景部２４が比較的明るい場合、カメラは、画像全体が暗くなるように（目標平均輝度に近くなるように）、シャッタースピードを速くしたり、ゲインを小さくしたりする。この場合、各画素の輝度値は、露光制御が行われない場合に比べて、低くなる。従って、白部２２と黒部２３との境界部分及び黒部２３の輝度値も、露光制御が行われない場合に比べて低くなる。これにより、黒部２３の輝度値と境界部分の輝度値とが近い値になる場合がある。従って、黒部２３が白部２２の領域まで広がってしまい、白部２２と黒部２３との境界を明瞭に認識することができなくなる。

以上のような理由により、ターゲット２１の白部２２と黒部２３との境界を認識できなくなってしまい、ターゲット２１の中心を正確に求めることができなくなっている。ターゲット２１の中心を正確に求めることができなければ、光軸調整の精度が悪くなってしまう。

それ故、本発明の目的は、精度の高いカメラの光軸調整方法を提供することである。

本発明は、上記課題を解決するために、以下の構成を採用した。すなわち、本発明は、第１領域と該第１領域よりも輝度の低い第２領域との２つの領域を持つターゲットを撮影環境に配置し、該ターゲットを撮影することによってカメラの光軸を調整する光軸調整方法である。本発明の光軸調整方法では、上記ターゲットの上記第１領域の輝度を上記撮影環境の背景部の輝度よりも高くする。また、上記カメラの画素の最大輝度値と上記カメラに予め定められている目標平均輝度とに基づいて算出される所定の係数を上記撮影環境の背景部の輝度に乗じた輝度よりも、上記第１領域の輝度を低くする。さらに、上記第２領域の輝度を上記撮影環境の背景部の輝度よりも低くする。そして、上記ターゲットを上記カメラで撮影することによって、カメラの光軸調整を行う。

この発明によれば、ターゲットの第１領域の輝度、第２領域の輝度及び撮影環境の背景部の輝度が所定の関係を満たすように調整されることで、カメラによりターゲットを撮影した場合にターゲットの第１領域と第２領域との境界を明瞭にすることができる。すなわち、第１領域の輝度を背景部の輝度よりも高くする。また、カメラの目標平均輝度と最大輝度値とに基づいて算出される所定の係数を求め、求められた係数を背景部の輝度に乗じた輝度よりも、上記第１領域の輝度を低くする。さらに、第２領域の輝度を背景部の輝度よりも低くする。このような環境下においてターゲットを撮影することにより、カメラにより撮影した場合のターゲットの第１領域と第２領域との境界を明瞭にすることができる。これにより、ターゲット中心を正確に求めることができ、カメラの光軸調整を精度よく行うことができる。

本発明において、上記ターゲットは、上記第１領域と上記第２領域とが格子状に配置されてもよい。

上記によれば、光軸調整を行うターゲットとして、輝度の異なる第１領域と第２領域とが格子状に配置されたターゲットを使用することができる。

本発明において、上記第１領域は白色であり、上記第２領域は黒色であってもよい。

上記によれば、光軸調整を行うターゲットとして、白部と黒部とを有するターゲットを使用することができる。

この発明によれば、カメラにより撮影した場合のターゲットの第１領域と第２領域との境界を明瞭にすることができる。これにより、ターゲット中心を正確に求めることができ、カメラの光軸調整を精度よく行うことができる。

以下、本発明の実施形態について、図面を参照して、説明する。本発明に係る光軸調整方法では、ターゲット及びターゲットを取り巻く環境の輝度が所定の関係を満たすように予め調整される。ここではまず、カメラの光軸調整を行うための環境について簡潔に説明した後、本発明の光軸調整方法について、詳細に説明する。

（カメラの光軸調整環境）
図１は、工場において車載カメラの光軸調整を行う場合に、車載カメラからターゲットを含む撮影環境を見た様子を示した図である。図２は、ターゲットと車両及び車載カメラとの位置関係を模式的に示した図である。図２（ａ）は、ターゲットと車両を横から見た図であり、図２（ｂ）は、ターゲットと車両を上方から見た図である。

図１に示されるように、車載カメラ１１の光軸調整を行う撮影環境には、３つのターゲット１が配置されている。ターゲット１は、白部２と、黒部３とが格子状に配置されている。また、車載カメラ１１から撮影環境を見た場合に、撮影環境の背景部４が撮影される。ここで、背景部４は、車載カメラ１１により撮影した場合に取得される撮像画像において、ターゲット１の領域を除くすべての領域である。背景部４は、撮影環境においては、例えば、ほぼ均一な色（輝度）の幕が用いられ、車両１０から見た場合にターゲット１の背後に、車載カメラ１１の撮影範囲より大きくなるように設置される。また、ターゲット１を固定するためのバー５が、撮影環境に配置されている。なお、図１では、黒部３が灰色のパターンで塗りつぶされているが、実際には黒部３は一様な黒色（輝度が低い）である。

車載カメラ１１は、車両１０の前方を撮影するように車両に搭載され、車室内の所定位置（例えば運転席の上部）に配設される。また、図２に示されるように、車載カメラ１１を搭載した車両１０は、工場内の撮影環境に３つのターゲット１と所定の位置関係で配置され、これらの位置関係が測定される。

ここで、車載カメラ１１を車両１０に配設する際、機械的要因や制御技術的要因から公差が生じる。図３は、ターゲット１を車載カメラ１１で撮影した場合に取得される画像の一部を示した図である。上記公差がない場合、３つのターゲット１のうち中央に配置されたターゲット１の中心と車載カメラ１１の光軸中心とは一致する。しかしながら、図３に示されるように、上記公差が生じるため、ターゲット１のターゲット中心と車載カメラ１１の光軸中心とは位置がずれている。図３では、ターゲット中心は、車載カメラ１１の光軸中心に対して、横方向（ｘ軸方向）及び縦方向（ｙ軸方向）にずれている。また、車載カメラ１１が光軸中心を中心として僅かに回転して車両１０に設置されることにより、光軸中心の位置とターゲット中心の位置とがずれる場合もある。この位置のずれを正確に求めることにより、ターゲット中心と光軸中心とを一致させるための補正量を車載カメラ１１に学習させる。以上のようにして、車載カメラ１１の光軸調整が行われる。従って、車載カメラ１１によりターゲット１を撮影した場合に、ターゲット１のターゲット中心を正確に求めることが必要であるが、ターゲット中心を求める際に正確に求めることができない場合がある。例えば、撮影環境によってターゲット１の白部２の領域が飽和して黒部３の領域にまで広がる場合がある。

（本発明の光軸調整方法の説明）
次に、本発明の実施形態に係る光軸調整方法について、詳細に説明する。上述したように、車載カメラ１１は、撮影環境に応じて露光制御を自動で行うため、白部２及び白部２と黒部３との境界部分の輝度値が最大輝度値に達し、白部２が黒部３の領域にまで広がってしまう場合がある。このため、ターゲット１の白部２と黒部３との境界を正確に認識することができなくなり、光軸調整の精度が低くなる場合がある。また、同様の理由により、黒部３が白部２の領域にまで広がる場合もある。従って、本発明では、白部２又は黒部３が他の領域にまで広がらないようにするために、撮影環境が所定の関係を満たすように調整される。すなわち、本発明の実施形態に係る光軸調整方法では、図１に示されるターゲット１の白部２、ターゲット１の黒部３、及び、背景部４の輝度が、以下に示される式（１）及び式（２）を満たすように調整される。
背景部の輝度 ＜ 白部の輝度 ＜ β×背景部の輝度 ・・・（１）
黒部の輝度 ＜ 背景部の輝度 ・・・（２）
ここで、βは、車載カメラ１１の画素の最大輝度値を車載カメラ１１の目標平均輝度で除した値である。例えば、車載カメラ１１の画素の輝度値が８ビットで表され、車載カメラ１１の目標平均輝度が１００である場合、β＝２５５／１００＝２．５５と算出される。また、輝度は、物体が単位面積あたりに放射する光の強さであり、例えば、輝度計等で各部の輝度を測定することにより、上記式が満たされるように各部が調整される。

次に、上記式（１）及び式（２）の算出根拠について、説明する。ターゲット１の白部２が飽和しないためには、上述したように、白部２の輝度値が最大輝度値を超えないようにする必要がある。従って、白部２の輝度値は、最大輝度値２５５より低い必要がある。何故なら、車載カメラ１１で撮影した場合の白部２の輝度値が最大輝度値２５５を超える場合、白部２と黒部３との境界部分の輝度値も最大輝度値２５５に達する場合があるからである。従って、白部２が飽和しないための条件は、以下の式で表される。
白部の輝度値 ＜ ２５５
一方、車載カメラ１１の光軸調整を行う撮影環境において、車載カメラ１１によりターゲット１を撮影した場合の画像では、背景部４の領域が大半を占め、ターゲット１の白部２及び黒部３の領域は、背景部４の領域に比べて小さい。従って、車載カメラ１１で撮影した場合の全画素の平均輝度は、背景部４の輝度値にほぼ等しくなる。ここで、上述したように、車載カメラ１１は、撮影した画像の平均輝度が予め定められた目標平均輝度に近づくように、自動的に露光制御を行う。従って、露光制御を行った場合の背景部４の輝度値と車載カメラ１１の目標平均輝度とは、ほぼ等しくなる。このため、式（１）に示される、「β×背景部の輝度」の値は、車載カメラ１１で撮影した場合、最大輝度値２５５に近くなる。従って、白部２の輝度が、「白部の輝度 ＜ β×背景部の輝度」の関係を満たす場合、車載カメラ１１で撮影した場合の白部２の輝度値は、最大輝度値２５５よりも低くなる。また、背景部４が白部２よりも明るい場合、上述したように、車載カメラ１１が撮像画像全体を暗くするように（目標平均輝度に近づくように）露光制御を行うため、黒部３が飽和する場合がある。従って、背景部４の輝度は、白部２よりも低い必要がある。以上より、白部２又は黒部３が飽和しないためには、白部２と背景部４とが上記式（１）の関係を満たす必要がある。

また、背景部４の輝度は、黒部３の輝度よりも高く設定されるべきである。なぜなら、背景部４の輝度が黒部３よりも低い場合、車載カメラ１１は撮像画像全体を明るくするように（目標平均輝度に近づくように）露光制御を行うため、白部２が飽和する場合があるからである。従って、背景部４と黒部３とは、上記式（２）を満たす必要がある。以上が、式（１）及び式（２）が算出される根拠である。

上述のような根拠に基づき、車載カメラ１１の光軸調整の撮影環境において、白部２の輝度、黒部３の輝度、及び背景部４の輝度が、式（１）及び式（２）を満たすように調整される。具体的には、式（１）及び式（２）を満たすように、白部２、黒部３、及び背景部４の色が調整される。実際の光軸調整の撮影環境においては、式（１）及び式（２）を満たすように、背景部４を構成する幕の色が選択される。例えば、背景部４を構成する幕は、白と黒の中間色である灰色に選択される。

以上のようにして規定された環境にてターゲットを車載カメラ１１で撮影することにより、光軸調整が行われる。図４は、光軸調整の処理の流れを示したフローチャートである。

まず、ステップＳ１０１及びステップＳ１０２において、車載カメラ１１は、ターゲット１及び撮影環境の背景部４を撮影し、全画素の輝度値の平均が予め設定された目標平均輝度の範囲内になるように、シャッターを制御する。ステップＳ１０１において、車載カメラ１１は、シャッター制御を行い、ステップＳ１０２において、平均輝度が目標平均輝度の範囲内か否かの判定が行われる。車載カメラ１１は、平均輝度が目標平均輝度の範囲内でない場合（判定結果がＮｏの場合）、処理をステップＳ１０１に戻し、シャッター制御を行う。判定結果がＹｅｓの場合、次にステップＳ１０３の処理が実行される。

ステップＳ１０３において、車載カメラ１１により撮影された画像からターゲット１の認識が行われる。ターゲット１の認識は、例えば、パターンマッチングやエッジ検出等の公知の方法により行われる。次にステップＳ１０４の処理が実行される。

ステップＳ１０４において、ターゲット１を認識したか否かの判定が行われる。ターゲット１を認識できた場合、次にステップＳ１０５の処理が実行される。ターゲット１を認識できなかった場合、処理をステップＳ１０３に戻す。

ステップＳ１０５において、ターゲット１のターゲット中心が求められる。ターゲット中心の求め方には様々な方法があるが、例えば、以下の方法により求められる。すなわち、ターゲット１を撮影した各画素において、１つの画素を中心として、その画素の左上に位置する複数の画素（例えば４画素）と右下に位置する複数の画素との輝度値の和から、左下に位置する複数の画素と右上に位置する複数の画素との輝度値の和を引いた値を、当該画素の評価値として算出する。そして、ターゲット１を撮影した各画素について、上記評価値を算出し、評価値が最も大きな画素の位置をターゲット中心として求める。次にステップＳ１０６の処理が実行される。

ステップＳ１０６において、車載カメラ１１の取り付け公差のための補正値が算出される。補正値は、ステップＳ１０５で求められたターゲット中心の位置、撮影環境におけるターゲット１の高さｈ１、車載カメラ１１の高さｈ２、車載カメラ１１からターゲット１までの距離Ｌ、車載カメラ１１の画素サイズ、車載カメラ１１の焦点距離、車載カメラ１１のロール角等に基づいて算出される。

以上のようにして、白部２の輝度、黒部３の輝度及び背景部４の輝度が調整されることにより、車載カメラ１１で撮影した場合に白部２又は黒部３が飽和しないようにすることができ、２つの領域の境界を明瞭にすることができる。このため、ターゲット中心を正確に求めることができ、光軸調整を正確に行うことができる。

なお、式（１）及び式（２）を満たすように、撮影環境の照明やターゲットの白部及び黒部が調整されてもよい。また、本実施形態では、白部と黒部とが格子状に配置されたターゲットを用いたが、輝度の異なる２つの領域を有するターゲットであれば、どのような色でも形でも構わない。例えば、ターゲットの中心に円形の白部が形成され、ターゲットのその他の領域が黒部により形成されてもよい。この場合、車載カメラ１１により境界の明瞭な円が撮影された撮像画像が取得され、撮像画像の円の中心をターゲット中心（光軸中心を一致させるべき点）として求めることによって、光軸調整が行われる。つまり、予め定められた形状の白部がターゲットに配置され、ターゲットの白部以外の黒部と白部との境界が明瞭な画像が車載カメラ１１により撮影されれば、その形状を認識することによって、光軸中心を一致させるべき点を正確に求めることができる。また、例えば、白部２が輝度の高い青色の領域に置き換えられ、背景部４がそれよりも輝度の低い青色の背景部に置き換えられることによって、上記式（１）及び式（２）を満たす環境が構築されてもよい。

また、本発明に係る光軸調整方法は、車両前方を撮影する車載カメラの光軸調整に限られず、様々なカメラの光軸調整方法として利用することができる。

以上のように、本発明では、精度の高いカメラの光軸調整方法を提供することができ、例えば、車両に搭載されるカメラの光軸調整方法を提供することができる。

工場において車載カメラの光軸調整を行う場合に、車載カメラからターゲットを含む撮影環境を見た様子を示した図 ターゲットと車両及び車載カメラとの位置関係を模式的に示した図 ターゲットを車載カメラで撮影した場合に取得される画像の一部を示した図 光軸調整の処理の流れを示したフローチャート 実環境におけるターゲットと、ターゲットの白部が飽和したため白部の領域が広がって撮影された撮像画像とを示した図 撮影環境によってターゲットの白部の領域が飽和して黒部の領域にまで広がることの原因を説明するための説明図

符号の説明

１、２１ ターゲット
２、２２ 白部
３、２３ 黒部
４、２４ 背景部
５ バー
１０ 車両
１１ 車載カメラ

Claims (3)

1. 第１領域と該第１領域よりも輝度の低い第２領域との２つの領域を有するターゲットを撮影環境に配置し、該ターゲットを撮影することによってカメラの光軸を調整する光軸調整方法であって、
   前記ターゲットの前記第１領域の輝度を前記撮影環境の背景部の輝度よりも高くし、
   前記カメラの画素の最大輝度値と前記カメラに予め定められている目標平均輝度とに基づいて算出される所定の係数を前記背景部の輝度に乗じた輝度よりも、前記第１領域の輝度を低くし、
   前記第２領域の輝度を前記背景部の輝度よりも低くし、
   前記ターゲットを前記カメラで撮影することによって行う、カメラの光軸調整方法。
2. 前記ターゲットは、前記第１領域と前記第２領域とが格子状に配置されたことを特徴とする、請求項１に記載のカメラの光軸調整方法。
3. 前記第１領域は白色であり、前記第２領域は黒色であることを特徴とする、請求項１又は２に記載のカメラの光軸調整方法。

Images