WO2019064660A1

WO2019064660A1 - 撮像装置およびその調整方法

Info

Publication number: WO2019064660A1
Application number: PCT/JP2018/015682
Authority: WO
Inventors: 崎田　康一
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Astemo Ltd
Priority date: 2017-09-26
Filing date: 2018-04-16
Publication date: 2019-04-04
Anticipated expiration: 2020-03-26
Also published as: JP2019062323A; US20200280713A1; JP6718420B2

Abstract

本発明は、被写体の輝度や色度の測定精度を確保しつつ、感度補正に伴う性能劣化を最小化するための撮像装置を提供する。撮像装置１００は、少なくとも２つの撮像部１１の感度特性が同一になるように補正する感度補正部５と、感度補正部５における補正パラメータを記憶する記憶部１９と、記憶部１９に記憶した補正パラメータと撮像部１１のシャッタ値に基づいて被写体の輝度値を算出する輝度算出部２２と、を備える。ここに感度補正部５は、少なくとも２つの撮像部１１の感度特性を、感度が最も高い撮像部の感度特性に一致するように補正する。さらに感度補正部５は、各色に対する感度特性が所定の比になるように補正するとともに、輝度算出部２２は、被写体の各色に対する輝度値を算出する。

Description

撮像装置およびその調整方法

　本発明は、複数の撮像部を有する撮像装置およびその調整方法に係り、特に複数の撮像部間の感度特性の補正に関する。

　近年、車両に搭載したカメラやレーダを使って、道路や周辺の歩行者や車両を検出し、運転者にとって危険かどうかを判断するＩＴＳ（Intelligent Transport Systems：高度道路交通システム）技術の開発が進められている。また、高速道路や自動車専用道路での使用が前提のＡＣＣ（Adaptive Cruise Control：定速走行・車間距離制御装置）や自動ブレーキなどの運転支援システムでは、車両検出に適し、耐候性に優れたミリ波レーダが用いられている。しかし、より高度な機能が要求される自動運転になると、周囲の道路構造や歩行者などの検出が必要となり、高い空間分解能を持った距離情報が得られるステレオカメラが有望となる。

　ステレオカメラでは、視点の異なる２台のカメラで撮像した物体の２枚の画像上の位置の違い（視差）と２台のカメラの間隔（基線長）とカメラの焦点距離などから三角測量の原理を用いて距離が計測される。視差は、左右２台のカメラの左右画像の局所領域での一致の程度から求める。そのため、２台のカメラの特性は極力一致している必要があり、特性差が大きいと視差を求めるのが難しくなる。

　このため、カメラ毎のゲイン補正量やオフセット補正量などの補正量を製造時に予め測定し、ルックアップテーブル（ＬＵＴ）としてＲＯＭに格納し、出荷後はルックアップテーブル（ＬＵＴ）を参照して補正する技術が開示されている（例えば特許文献１）。

特開平５－１１４０９９号公報

　自動運転では、交通信号機や路面マークも検出するため、カラー情報を利用する。交通信号機や尾灯・制動灯などの明るさや色は、交通法規や規格等で定められ、計測器で測定される輝度や色度などの物理量で規定されている。これを手掛かりに対象物を検出する場合、カメラの特性、特に感度特性は左右の特性一致だけでなく、製品間の個体差に依存せずに全ての出荷製品で同一の特性であること（絶対精度）が求められ、感度特性を補正する技術は重要となる。

　ところが感度特性の補正では、補正量に応じて、ダイナミックレンジの低下や最大飽和出力（出力階調）の低下といった性能劣化を伴う。さらに、カラーＣＭＯＳセンサーやカラーＣＣＤなどのカラー撮像素子の感度特性は、フォトダイオードの特性バラツキだけでなく、コンバージョン容量やアンプ回路などの半導体起因のバラツキや、カラーフィルタの膜厚分布や色素バラツキなどカラーフィルタ要因のバラツキの影響を受ける。また、撮像素子以外にレンズ、偏光フィルタや赤外カットフィルタなどの光学フィルタの透過率もばらつく。その結果、感度特性のバラツキが拡大してその補正が十分になされないと、要求性能を満足できないカメラが発生する。

　さらには、色判定による検出を行うためにカメラの色毎の感度の比（カラーバランス）である赤と緑の比（Ｒ／Ｇ）や青と緑の比（Ｂ／Ｇ）が決まっているため、カラーバランスを満足するような補正が必要になる。

　このようなカメラ毎の特性バラツキの増加傾向に対して、前記特許文献１をはじめ従来技術では、出荷するカメラ製品全ての感度特性を一律の特性に一致させるように補正するものであり、製造歩留りが上がらず製造コストを増大させるという課題があった。

　本発明の目的は、被写体の輝度や色度の絶対精度を確保しつつ、感度補正に伴う性能劣化を最小化するための撮像装置およびその調整方法を提供することである。

　本発明の撮像装置は、少なくとも２つの撮像部の感度特性が同一になるように補正する感度補正部と、感度補正部における補正パラメータを記憶する記憶部と、記憶部に記憶した補正パラメータと撮像部のシャッタ値に基づいて被写体の輝度値を算出する輝度算出部と、を備える。ここに感度補正部は、少なくとも２つの撮像部の感度特性を、感度が最も高い撮像部の感度特性に一致するように補正する。さらに感度補正部は、各色に対する感度特性が所定の比になるように補正するとともに、輝度算出部は、被写体の各色に対する輝度値を算出する。

　本発明によれば、感度補正による性能劣化を大幅に抑制するとともに、被写体の輝度や色度の絶対精度を確保できる高性能の撮像装置およびその調整方法を実現できる。

実施例１に係るステレオカメラシステムの全体構成を示す図。感度補正のフローチャートを示す図。輝度値算出のフローチャートを示す図。本実施例の感度補正法および輝度値算出法をグラフで説明する図。感度補正に伴う性能低下を説明する図（実施例２）。複数のカメラ間での感度補正を説明する図（比較例）。２台のカメラ間での感度補正を説明する図。本実施例における感度補正のフローチャートを示す図。実施例３に係るステレオカメラシステムの全体構成を示す図。カラーバランスの調整を含む感度補正を説明する図（Ｇ基準）。カラーバランスの調整を含む感度補正を説明する図（Ｒ基準）。カラーバランスの調整を含む感度補正を説明する図（Ｂ基準）。感度補正のフローチャートを示す図。輝度値算出のフローチャートを示す図。

　以下、本発明の実施の形態を図面を参照して説明する。以下の実施例では、２台のカメラを有するステレオカメラシステムを例に説明するが、本発明は、２台以上の複数のカメラを有するシステムにも同様に適用できる。

　実施例１では、ステレオカメラにおいて、１台のカメラ毎に行う感度補正について説明する。

　図１は、実施例１に係るステレオカメラシステムの全体構成を示す図である。ステレオカメラシステムは、左右の２台のカメラ１ａ，１ｂ、キャリブレーション回路部２、画像処理部３、認識アプリケーション部４、感度補正パラメータ計算部２１、及び制御マイコン２２を備えている。このうち、カメラ１ａ，１ｂと、キャリブレーション回路部２、感度補正パラメータ計算部２１、及び制御マイコン２２が撮像装置１００を構成する。

　左右のカメラ１ａ，１ｂは、互いに光軸が平行になるように、また２台が所定の距離になるように筐体（図示せず）に固定されている。カメラ１ａ，１ｂからの出力画像データは、キャリブレーション回路部２の感度補正部５ａ、５ｂにて、撮像素子の感度バラツキやレンズの透過率バラツキに起因する感度バラツキを補正する。また幾何補正部６ａ，６ｂにて、レンズの歪などの幾何学的な補正を行う。さらに、画像処理部３の視差計算部７にてステレオマッチングによる距離画像を計算し、エッジ計算部８にてエッジ画像を生成する。画像処理部３で生成した距離画像データやエッジ画像データは、認識アプリケーション部４へ送られ、人物検出・車両検知・信号灯検知などの画像認識が行われる。以下、各部の動作を説明する。

　左右のカメラ１ａ，１ｂは、それぞれレンズ９ａ，９ｂ、ＣＭＯＳイメージセンサＩＣ１０ａ，１０ｂで構成されている。レンズ９ａ，９ｂは被写体からの光を集光し、ＣＭＯＳイメージセンサＩＣ１０ａ，１０ｂの撮像部１１ａ，１１ｂの撮像面に像を結像する。ＣＭＯＳイメージセンサＩＣは、フォトダイオードアレイからなる撮像部１１ａ，１１ｂ、ゲインアンプ１２ａ，１２ｂ、ＡＤ変換器１３ａ，１３ｂ、信号処理回路１４ａ，１４ｂ、出力回路１５ａ，１５ｂ、撮像部駆動回路１６ａ，１６ｂ、タイミングコントローラ１７ａ，１７ｂなどが半導体チップ上に実装されている。

　レンズ９ａ，９ｂにより撮像部１１ａ，１１ｂの撮像面に結像した光信号は、アナログ電気信号に変換され、ゲインアンプ１２ａ，１２ｂで所定な電圧に増幅され、ＡＤ変換器１３ａ，１３ｂによって、アナログ画像信号から所定の輝度階調（例えば１０２４階調のグレースケール）のデジタル信号に変換される。そして、信号処理回路１４ａ，１４ｂで処理された後、出力回路１５ａ，１５ｂから出力される。

　カメラ１ａ，１ｂのシャッタ値やゲインアンプ１２ａ，１２ｂなどの設定は、レジスタ１８ａ，１８ｂを介して、制御マイコン２２から設定する。また左右のカメラ１ａ，１ｂは、レジスタ１８ａ，１８ｂとタイミングコントローラ１７ａ，１７ｂにより同期して動作する。

　キャリブレーション回路部２で使用する補正用パラメータは、制御マイコン２２からレジスタ１９を経由して送られる。レジスタ（記憶部）１９には、補正用パラメータが登録されている。キャリブレーション回路部２で補正された画像データは、画像処理部３と感度補正パラメータ計算部２１に出力される。制御マイコン２２は、キャリブレーション回路部２で補正された画像データに基づき、輝度値の算出を行う輝度算出部の機能を有している。

　画像処理部３に送られた左右２系統の画像データは、視差計算部７にて、視差を算出するマッチング処理が行われ、マッチング処理された画像上の対象物の距離は、三角法の原理で計算される。ここで、正確な距離を計算するためには、キャリブレーション回路部２で精度の高い補正を実施する必要があり、補正が十分でないとミスマッチが発生し、正確な距離が算出できなくなる。また左右いずれか１系統の画像データは、エッジ計算部８でエッジ計算が実施され、エッジ画像が出力される。

　画像処理部３と感度補正パラメータ計算部２１との間で必要な情報のやり取りは、レジスタ２０経由で制御マイコン２２により行われる。以下、感度補正パラメータ計算部２１による、感度補正処理および正確な輝度値算出におけるパラメータ設定について説明する。

　図２Ａと図２Ｂは、感度補正および輝度値算出のフローチャートを示す図である。まず図２Ａは感度補正ルーチンを示す。このルーチンでは、左右のカメラ１ａ，１ｂに対し、既知の位置に固定され、常に分光特性が一定な基準被写体（例えば分光特性が一定なハロゲン光源など）を用いて感度補正を行う。感度補正は製造時だけでなく、カーディーラーなどにおいても、所定の光源を用いて実施可能である。また、正確な輝度を出す電光表示板やボンネット上のエンブレムにＬＥＤ光源を組み込むなどにより輝度が保証可能であれば、走行時でも実施可能である。計算に必要な画像データは、感度補正パラメータ計算部２１に取り込まれて計算される。一連の動作は制御マイコン２２によって制御される。ステップ順に処理内容を説明する。

　Ｓ１０１：左右のカメラ１ａ，１ｂにより基準被写体を撮影し、撮像画像データ内の特定画素の出力値を取得する。この値をＹＬ，ＹＲとする。出力値ＹＬ，ＹＲは、撮像画像データ内の複数の画素の平均値などであってもよい。また、画像処理部３からの情報を利用し、画像データ内の特定の画素領域を選び出し、その領域から計算してもよい。

　Ｓ１０２：撮影時のシャッタ値をシャッタ参照値Ｔ０としてレジスタ１９に登録する。Ｓ１０３：基準被写体の輝度値を輝度参照値Ｌ０としてレジスタ１９に登録する。このルーチンでは、基準被写体としてハロゲン光源などの基準となる特定の被写体を用いているので、被写体の輝度は既知である。

　Ｓ１０４：輝度値Ｌ０の基準被写体をシャッタ値Ｔ０で撮像した場合、出力したい値を目標出力値Ｙ０としてレジスタ１９に登録する。Ｓ１０５：左右のカメラ１ａ，１ｂの出力値ＹＬ，ＹＲが目標出力値Ｙ０となるための感度補正係数（Ｙ０／ＹＬ），（Ｙ０／ＹＲ）を算出し、レジスタ１９に登録する。

　Ｓ１０６：実際の被写体撮影時は、感度補正部５ａ，５ｂは、カメラ１ａ，１ｂから得られた出力にレジスタ１９に登録された感度補正係数（Ｙ０／ＹＬ），（Ｙ０／ＹＲ）を乗じて、感度補正された画像データを出力する。

　図２Ｂは輝度値算出ルーチンを示す。このルーチンでは、制御マイコン（輝度算出部）２２により、補正された出力画像データから対象物の検知などに使用する正確な輝度値を算出する。

　Ｓ１１１：前記Ｓ１０２でレジスタ１９に登録したシャッタ参照値Ｔ０を読み出す。Ｓ１１２：前記Ｓ１０３でレジスタ１９に登録した輝度参照値Ｌ０を読み出す。Ｓ１１３：前記Ｓ１０４でレジスタ１９に登録した目標出力値Ｙ０を読み出す。

　Ｓ１１４：補正後の画像出力値の分布Ｙ１(i,j)と撮影時のシャッタ値Ｔ１を取得する。Ｓ１１５：パラメータＬ０，Ｙ０，Ｔ０，Ｔ１を用いて、次式により画像の輝度分布Ｌ１(i,j)を計算する。　
Ｌ１(i,j)＝Ｙ１(i,j)＊（Ｌ０／Ｙ０）＊（Ｔ０／Ｔ１）
これにより、被写体の輝度を高精度に求めることができる。

　図３は、本実施例の感度補正法および輝度値算出法をグラフで説明する図である。縦軸にカメラの出力階調（出力値）Ｙ、横軸に被写体の輝度値Ｌとシャッタ値Ｔとの積を示している。横軸は被写体からの光量の総和を表しており、グラフの傾きはカメラの感度特性を表す。例えば、カメラ１ａ，１ｂの感度特性が実線３０ａ，３０ｂで示されるものだったとする。感度補正では、輝度値Ｌ０の基準被写体をシャッタ値Ｔ０で撮影したときの出力値ＹＬ，ＹＲが、目標出力値Ｙ０になるよう補正を行う。補正後の感度特性を破線３１で示す。

　補正後の感度特性３１の直線部の傾きｋ＝Ｙ０／（Ｌ０＊Ｔ０）は、補正後の感度を表す。この関係を使って、任意の被写体をシャッタ値Ｔ１で撮影したときの出力階調がＹ１であったときの輝度値は、Ｌ１＝Ｙ１／（ｋ＊Ｔ１）で求められる。すなわち、シャッタ参照値Ｔ０と輝度参照値Ｌ０における目標出力値Ｙ０を登録しておけば、任意の輝度を持つ被写体における出力値Ｙ１から正確な輝度値Ｌ１を算出することができる。

　このように実施例１によれば、ステレオカメラにおける左右のカメラの感度をそれぞれ補正し、補正後のカメラ出力値は、パラメータＴ０，Ｌ０，Ｙ０を用いた共通の輝度計算式により、正確な輝度値に変換することができる。その場合、パラメータＴ０，Ｌ０，Ｙ０は、左右のカメラの組毎に設定し、登録すればよい。これにより、算出する被写体の輝度値に関し絶対精度を確保することができる。

　実施例２では、ステレオカメラにおける左右のカメラ間の感度補正について説明する。感度補正によりダイナミックレンジや最大飽和出力が低下する現象が伴うが、本実施例ではこれらの性能劣化を最小化させるようにした。

　図４は、感度補正に伴う性能低下を説明する図である。横軸は被写体輝度値とシャッタ値との積であり、被写体からの光量の総和を表す。縦軸はカメラの出力階調を示し、グラフの傾きはカメラの感度特性を表す。ここでは１台のカメラについて、補正前の感度特性を実線４０で示す。補正の仕方として、感度が高い方に補正する場合（補正１）の目標特性を破線４１で示し、感度の低い方に補正する場合（補正２）の目標特性を破線４２で示す。以下、これらを比較する。

　まず、感度の高い方に補正する場合（補正１）では、補正前の特性の最大飽和出力４３が決まっているので（ＡＤ変換器１３ａ，１３ｂの最大階調値）、カメラにより明るさを識別できる範囲であるダイナミックレンジは、符号４５の位置から符号４６の位置まで低下する。ダイナミックレンジの低下量は補正量に依存する。補正前のカメラ特性はばらついているので、感度補正に伴い、ダイナミックレンジの異なるカメラが混在することになる。

　一方、感度の低い方に補正する場合（補正２）では、補正前の特性の最大飽和出力４３が決まっているので、補正後の最大飽和出力は符号４４のレベルまで低下する。最大飽和出力の低下は補正量に依存する。補正前のカメラ特性はばらついているので、感度補正に伴い、最大飽和出力の異なるカメラが混在することになる。

　このように、感度補正によりダイナミックレンジ又は最大飽和出力が低下する現象が伴う。実用上の観点から言えば、左右のカメラによるステレオマッチング処理を行う場合、左右のカメラの飽和出力が異なると飽和点近傍でのマッチング処理を正常に行うことができなくなる。その結果、画像処理部３において被写体までの正確な距離を算出できなくなり、自動運転用のステレオカメラとしては不適格となる。よって、感度補正に伴うダイナミックレンジの低下よりも最大飽和出力の低下を抑えることを優先させ、感度の高い方に補正する方法（補正１）を選択する。以下では、感度の高い方に補正する方法（補正１）に基づき説明する。

　図５Ａと図５Ｂは、複数のカメラ間での感度補正を説明する図であり、性能劣化を最小限に抑える感度補正方法を示す。ステレオカメラで用いる左右のカメラ１ａ，１ｂの補正前の感度特性５０ａ，５０ｂ、および全てのカメラの感度バラツキの範囲５０ｃを示している。なお、ここではカメラ１ａの補正前感度５０ａがカメラ１ｂの補正前感度５０ｂよりも高いものとする。

　図５Ａは、全てのカメラの特性を同一の特性に補正する場合（比較例）を示す。補正後の目標特性５１は、感度バラツキの範囲５０ｃで最大感度の特性に設定する。目標特性５１に一致させるため、カメラのダイナミックレンジの低下量は大幅に増大する。例えば、補正前感度５０ｂ（カメラ１ｂ）のダイナミックレンジは、符号５２から符号５４の位置まで低下する。

　図５Ｂは、左右のカメラ１ａ，１ｂ内で感度の高い方の特性に補正する場合（本実施例）である。この例では、カメラ１ａの感度５０ａが高いので、補正後の目標特性５１’は感度５０ａに設定する。よって、カメラ１ｂの感度５０ｂをカメラ１ａの感度５０ａに一致させればよい。この場合の補正量は、組となる左右のカメラ１ａ，１ｂの感度差分だけで済む。補正前感度５０ｂ（カメラ１ｂ）のダイナミックレンジは、符号５２から符号５３の位置に低下するだけで、ダイナミックレンジの低下を最小限に抑制することができる。

　なお、上記した感度補正の違いに伴い、輝度値算出で用いるパラメータの登録方法が異なる。図５Ａの場合は、シャッタ参照値Ｔ０と輝度参照値Ｌ０と目標出力値Ｙ０を全てのカメラで同じ値を登録する。これに対し図５Ｂの場合には、シャッタ参照値Ｔ０と輝度参照値Ｌ０は全てのカメラで同じ値を、目標出力値Ｙ０は組となるカメラ毎に個別に登録する。

　図６は、本実施例における感度補正のフローチャートを示す図である。図５Ｂで説明したように、左右のカメラ１ａ，１ｂで感度の高い方の特性に補正する。

　Ｓ２０１～Ｓ２０３：基準被写体の撮像画像データ内の特定画素の出力値ＹＬ、ＹＲを取得し、撮影時のシャッタ値をシャッタ参照値Ｔ０とし、基準被写体の輝度を輝度参照値Ｌ０としてレジスタ１９に登録する。これらは、図２ＡのＳ１０１～Ｓ１０３と同じである。

　Ｓ２０４：左右のカメラの出力値ＹＬ，ＹＲのうち大きい値の方を、目標出力値Ｙ０としてレジスタ１９に登録する。この目標出力値Ｙ０は、組となるカメラ毎に個別の値として登録する。

　Ｓ２０５：左右のカメラ１ａ，１ｂの出力値ＹＬ，ＹＲが目標出力値Ｙ０となるための感度補正係数（Ｙ０／ＹＬ），（Ｙ０／ＹＲ）を算出し、レジスタ１９に登録する。出力値ＹＬ，ＹＲのいずれか一方はＹ０と一致しているので、その補正係数は１になり、他方の補正係数は１より大きい値（感度を高くする補正）になる。

　Ｓ２０６：実際の被写体撮影時は、感度補正部５ａ，５ｂは、カメラ１ａ，１ｂからの出力にレジスタ１９に登録された感度補正係数（Ｙ０／ＹＬ），（Ｙ０／ＹＲ）を乗じて、感度補正された画像データを出力する。

　輝度値算出のルーチンは、図２Ｂと同様であり説明を省略する。ただし、Ｓ１１３で読み出す目標出力値Ｙ０の値は、カメラ個別に登録されている点で異なっている。

　実施例２によれば、ステレオカメラにおける左右のカメラの感度を、感度の高い方に合わせて補正するようにしたので、感度補正によるダイナミックレンジの低下を最小限に抑制することができる。

　実施例３では、ステレオカメラにおける左右のカメラ間の感度補正において、さらにカラーバランスの調整を行う場合について説明する。

　図７は、実施例３に係るステレオカメラシステムの全体構成を示す図である。実施例１（図１）と同一部分については同一符号を付して説明を省略する。図１の構成において、撮像部１１ａ，１１ｂにはカラーイメージセンサを使用している。また、キャリブレーション回路部２にはカラー処理部２３ａ，２３ｂを、画像処理部３には、カラーラベリング計算部２４を追加している。

　左右のカメラ１ａ，１ｂから出力されるカラー画像データに対し、キャリブレーション回路部２の感度補正部５ａ，５ｂは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色データに対して感度補正を実施する。カラー画像の出力では、規定された所定の光源を撮影したときのカメラの各色出力の比、すなわちカラーバランスが所定の値になるよう定められている。具体的には、赤と緑の比（Ｒ／Ｇ）と、青と緑の比（Ｂ／Ｇ）が所定の値になるように、感度補正を実施する。カラー処理部２３ａ，２３ｂでは、ベイヤー配列をした撮像素子に対し、デモザイキング（隣接画素値を用いた補完処理）などの処理を実施する。

　画像処理部３に送られた左右２系統の画像データは、視差計算部７にて視差が計算され、また左右いずれか１系統の画像データは、エッジ計算部８にてエッジ計算が実施される。さらにカラーラベリング計算部２４では、各座標位置を色空間上でラベリングされた数値に割り付けられる。

　図８Ａ～図８Ｃは、カラーバランスの調整を含む感度補正を説明する図である。カメラの感度を最も感度の高い特性に補正することを前提に、さらにカラーバランスの調整を実施する。その際、感度補正による性能低下がさらに大きくなるケース、あるいは感度補正ができないケースが発生することを示す。いずれのケースになるかは、補正対象となる全てのカメラについて、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色の感度バラツキの状態と、所望するカラーバランスＲ／Ｇ、Ｂ／Ｇの値の関係で異なってくる。図８Ａ～図８Ｃにおいて、各色（Ｒ，Ｇ，Ｂ）の感度バラツキ範囲が、それぞれ符号８０Ｒ，８０Ｇ，８０Ｂで示す状態であると仮定する。

　図８Ａは、緑（Ｇ）の最大感度品を基準にカラーバランス調整を行う場合を示す。すなわち、Ｇの目標感度特性８１Ｇは、Ｇの感度バラツキ範囲８０Ｇの最大感度とする。これに対しカラーバランスの調整を行うため、ＲとＢの目標感度特性８１Ｒ，８１Ｂは、Ｇの目標感度特性８１Ｇに所定のカラーバランス値（Ｒ／Ｇ，Ｂ／Ｇ）を掛けたものとする。その際、ＲとＢの最大感度品（感度バラツキ範囲８０Ｒ，８０Ｂの最大感度）が、ＲとＢの目標感度特性８１Ｒ，８１Ｂよりも小さい場合、ＲとＢの感度補正については、バラツキ幅を越えての過剰な補正をすることになる。すなわち、ダイナミックレンジの低下が増大することになる。

　一方図８Ｂは、赤（Ｒ）の最大感度品を基準にカラーバランス調整を行う場合を示す。すなわち、Ｒの目標感度特性８２Ｒは、Ｒの感度バラツキ範囲８０Ｇの最大感度とする。これに対してカラーバランスの調整を行うと、Ｇの目標感度特性８２ＧはＧの感度バラツキ範囲８０Ｇに含まれる。その際、Ｇの目標感度特性８２Ｇよりも感度が大きいカメラについては、感度の高い方に補正することができない。従って、感度の低い方に補正せざるを得ず、図４で述べたように、最大飽和出力の低下を招くことになる。

　図８Ｃは、青（Ｂ）の最大感度品を基準にカラーバランス調整を行う場合を示す。この場合も同様で、カラーバランスの調整により、Ｇの目標感度特性８３ＧはＧの感度バラツキ範囲８０Ｇに含まれるが、Ｇの目標感度特性８３Ｇよりも感度が大きいカメラについては、感度の高い方に補正することができない。従って、感度の低い方に補正する結果、最大飽和出力の低下を招くことになる。

　このように、カラーバランスの調整を含む感度補正を行うと、調整時に基準とする色以外の色に関して、ダイナミックレンジの低下が増大する、あるいは、最大飽和出力の低下を招く、のいずれかのケースが発生する。前述したように、実用的には最大飽和出力の低下を抑えることが有利であることから、図８Ｂや図８Ｃのように感度の高い方に補正できないケースを避けるようにする。つまり、図８Ａのように、どの色に関しても感度の高い方に補正できる方法を採用する。以下、このような感度補正を、補正量を最小化させるという意味で「最小補正」と呼ぶことにする。最小補正を実現するには、Ｒ，Ｇ，Ｂの感度バラツキ状況に応じて、どの色を基準に感度補正を行えばよいかを判定する必要がある。次に、カラーバランスと最小補正を両立する補正方法を説明する。

　図９Ａと図９Ｂは、本実施例における感度補正と輝度値算出のフローチャートを示す図である。なお、カラーバランスの値は、Ｒ／Ｇ＝α、Ｂ／Ｇ＝βとなるように、予め定められているものとする。

　まず図９Ａは感度補正ルーチンを示す。Ｓ３０１：左右のカメラ１ａ，１ｂによる、基準被写体の撮像画像データ内の特定画素のＲＧＢ色毎の出力値を取得する。この値を（Ｒ１，Ｇ１，Ｂ１），（Ｒ２，Ｇ２，Ｂ２）とする。この出力値として、撮像画像データ内の複数の画素をそれぞれの色毎に平均値などをとってもよい。また画像処理部３からの情報を利用し、画像データ内の特定の画素領域を選び出し、その領域から色毎に計算してもよい。

　Ｓ３０２：撮影時のシャッタ値をシャッタ参照値Ｔ０としてレジスタ１９に登録する。Ｓ３０３：基準被写体の輝度値を輝度参照値Ｌ０としてレジスタ１９に登録する。Ｓ３０４：左右のカメラの各色についての出力値を比較し、大きい方の値を（Ｒmax，Ｇmax，Ｂmax）とする。

　Ｓ３０５～Ｓ３１１では、どの色を基準にカラーバランスを取れば良いかを判定する。ここで用いる判定式は、図８Ａのように、基準色以外の色に関して、感度の高い方に補正すること（最小補正）を実現するための条件である。

　Ｓ３０５：Ｇmaxを基準としてＲとＢを補正するのが最小補正かどうかを（１）式により判定する。（１）式を満足すればＳ３０６へ進み、満足しなければＳ３０７へ進む。Ｓ３０６：目標出力値（Ｒ０，Ｇ０，Ｂ０）を（２）式で算出する。
Ｒmax／Ｇmax＜α、かつ、Ｂmax／Ｇmax＜β　　（１）
Ｒ０＝α＊Ｇmax，Ｇ０＝Ｇmax，Ｂ０＝β＊Ｇmax　　（２）。

　Ｓ３０７：Ｂmaxを基準としてＲとＧを補正するのが最小補正かどうかを（３）式により判定する。（３）式を満足すればＳ３０８へ進み、満足しなければＳ３０９へ進む。Ｓ３０８：目標出力値（Ｒ０，Ｇ０，Ｂ０）を（４）式で算出する。
Ｒmax／Ｂmax＜α／β、かつ、Ｇmax／Ｂmax＜１／β　　（３）
Ｒ０＝（α／β）Ｂmax，Ｇ０＝（１／β）Ｂmax，Ｂ０＝Ｂmax　　（４）。

　Ｓ３０９：Ｒmaxを基準としてＢとＧを補正するのが最小補正かどうかを（５）式により判定する。（５）式を満足すればＳ３１０へ進み、満足しなければＳ３１１にてエラー発生として処理を終了する。Ｓ３１０：目標出力値（Ｒ０，Ｇ０，Ｂ０）を（６）式で算出する。
Ｇmax／Ｒmax＜１／α、かつ、Ｂmax／Ｒmax＜β／α　　（５）
Ｒ０＝Ｒmax，Ｇ０＝（１／α）Ｒmax，Ｂ０＝（β／α）Ｒmax　　（６）。

　Ｓ３１２：算出した目標出力値（Ｒ０，Ｇ０，Ｂ０）をレジスタに登録する。Ｓ３１３：左右のカメラ１ａ，１ｂの出力値（Ｒ１，Ｇ１，Ｂ１），（Ｒ２，Ｇ２，Ｂ２）が目標出力値（Ｒ０，Ｇ０，Ｂ０）となるための感度補正係数（Ｒ０／Ｒ１，Ｇ０／Ｇ１，Ｂ０／Ｂ１），（Ｒ０／Ｒ２，Ｇ０／Ｇ２，Ｂ０／Ｂ２）を算出し、レジスタ１９に登録する。

　Ｓ３１４：実際の被写体撮影時は、感度補正部５ａ，５ｂは、カメラ１ａ，１ｂからの出力にレジスタ１９に登録された感度補正係数（Ｒ０／Ｒ１，Ｇ０／Ｇ１，Ｂ０／Ｂ１），（Ｒ０／Ｒ２，Ｇ０／Ｇ２，Ｂ０／Ｂ２）を乗じて、感度補正された画像データを出力する。

　図９Ｂは輝度値算出ルーチンを示す。Ｓ３２１：前記Ｓ３０２でレジスタ１９に登録したシャッタ参照値Ｔ０を読み出す。Ｓ３２２：前記Ｓ３０３でレジスタ１９に登録した輝度参照値Ｌ０を読み出す。Ｓ３２３：前記Ｓ３１２でレジスタ１９に登録した目標出力値（Ｒ０，Ｇ０，Ｂ０）を読み出す。

　Ｓ３２４：補正後の画像出力値（Ｒ(i,j)，Ｇ(i,j)，Ｂ(i,j)）と撮影時のシャッタ値Ｔを取得する。Ｓ３２５：パラメータＬ０，Ｒ０，Ｇ０，Ｂ０，Ｔ０，Ｔを用いて、次式によりＲ，Ｇ，Ｂに関する正確な輝度分布Ｌ（Ｒ），Ｌ（Ｇ），Ｌ（Ｂ）を計算する。これより、色度値を求めることができる。
    Ｌ（Ｒ）＝Ｒ(i,j)＊（Ｌ０／Ｒ０）＊（Ｔ０／Ｔ）
    Ｌ（Ｇ）＝Ｇ(i,j)＊（Ｌ０／Ｇ０）＊（Ｔ０／Ｔ）
    Ｌ（Ｂ）＝Ｂ(i,j)＊（Ｌ０／Ｂ０）＊（Ｔ０／Ｔ）。

　以上より、左右のカメラの感度特性を、Ｒ，Ｇ，Ｂのカラーバランスを所定の値に保持しながら、どの色に関しても感度の高い方に補正し、被写体の正確な輝度分布とともに色度値を計算することができる。

　実施例３によれば、ステレオカメラにおける左右のカメラの感度補正において、カラーバランスを所定の値に保持しながら、感度補正によるダイナミックレンジの低下を最小限に抑制することができる。また、算出する被写体の各色の輝度値（色度値）に関し絶対精度を確保することができる。

　上記した各実施例によれば、製造するステレオカメラにしようする撮像素子の感度に大きなバラツキがあったとしても、組となる２台の感度ズレ分の補正しか行わないため、感度補正によるダイナミックレンジ低下などの性能劣化を大幅に抑制することができる。さらにステレオカメラ製造番号毎に固有の補正後の感度特性を記憶して、記憶した感度特性とシャッタ値とから輝度値算出を実施するので、ステレオカメラ製造番号毎の個体差に依存せずに、絶対精度を確保しつつ被写体の輝度値を測定することができる。

　上記した各実施例では、２台のカメラを有するステレオカメラシステムを例に説明したが、本発明はこれに限定されるものではなく、２台以上の複数のカメラを用いる多眼カメラや多視点カメラについても同様に適用できる。

　１ａ，１ｂ：カメラ、
　２：キャリブレーション回路部、
　３：画像処理部、
　４：認識アプリケーション部、
　５ａ，５ｂ：感度補正部、
　６ａ，６ｂ：幾何補正部、
　７：視差計算部、
　８：エッジ計算部、
　１１ａ，１１ｂ：撮像部、
　１３ａ，１３ｂ：ＡＤ変換器、
　１９，２０：レジスタ（記憶部）、
　２１：感度補正パラメータ計算部、
　２２：制御マイコン（輝度算出部）、
　２３ａ，２３ｂ：カラー処理部、
　２４：カラーラベリング計算部、
　１００：撮像装置。

Claims

　複数の撮像部を一組にして被写体を撮影する撮像装置において、
　少なくとも２つの撮像部の感度特性が同一になるように補正する感度補正部と、
　前記感度補正部における補正パラメータを記憶する記憶部と、
　前記記憶部に記憶した補正パラメータと前記撮像部のシャッタ値に基づいて前記被写体の輝度値を算出する輝度算出部と、
　を備えることを特徴とする撮像装置。
　請求項１に記載の撮像装置であって、
　前記感度補正部は、前記少なくとも２つの撮像部の感度特性を、感度が最も高い撮像部の感度特性に一致するように補正することを特徴とする撮像装置。
　請求項１に記載の撮像装置であって、
　前記感度補正部は、さらに、各色に対する感度特性が所定の比になるように補正するとともに、前記輝度算出部は、前記被写体の各色に対する輝度値を算出することを特徴とする撮像装置。
　請求項３に記載の撮像装置であって、
　前記感度補正部は、前記少なくとも２つの撮像部の各色の中の１つの色（以下、基準色）の感度特性を、該基準色の感度が最も高い撮像部の感度特性に一致するように補正するとともに、前記基準色以外の全ての色の感度特性を感度が高い方へ補正することを特徴とする撮像装置。
　複数の撮像部を一組にして被写体を撮影する撮像装置の調整方法において、
　少なくとも２つの撮像部の感度特性が同一になるように補正する感度補正ステップと、
　前記感度補正ステップにおける補正パラメータを算出するパラメータ算出ステップと、
　前記補正パラメータと前記撮像部のシャッタ値に基づいて前記被写体の輝度値を算出する輝度算出ステップと、
　を備えることを特徴とする撮像装置の調整方法。
　請求項５に記載の撮像装置の調整方法であって、
　前記感度補正ステップでは、少なくとも２つの撮像部の感度特性を、感度が最も高い撮像部の感度特性に一致するように補正することを特徴とする撮像装置の調整方法。
　請求項５に記載の撮像装置の調整方法であって、
　前記感度補正ステップでは、さらに、各色に対する感度特性が所定の比になるように補正するとともに、
　前記輝度算出ステップでは、前記被写体の各色に対する輝度値を算出することを特徴とする撮像装置の調整方法。
　請求項７に記載の撮像装置の調整方法であって、
　前記感度補正ステップでは、前記少なくとも２つの撮像部の各色の中の１つの色（以下、基準色）の感度特性を、該基準色の感度が最も高い撮像部の感度特性に一致するように補正するとともに、前記基準色以外の全ての色の感度特性を感度が高い方へ補正することを特徴とする撮像装置の調整方法。