JP5667108B2 - 車載カメラ装置 - Google Patents

Description

本発明は、撮像部を備えた車載用カメラ装置に係り、特にステレオ視するに好適な車載カメラ装置に関する。

近年、車載安全装置の一つとして、外界認識センサである車載カメラ装置を用いた技術開発が進んでいる。特に、２つの撮像部を持つステレオカメラ技術の開発が進んでいる。ステレオカメラは、２つの撮像部から得られる撮像画像を利用して、高性能に対象物までの距離を測定することが出来るセンサであり、様々なアプリケーションへの応用が期待されている。

ステレオカメラの特徴は、左右のカメラの撮像画像から三角測量の要領で対象物までの距離を測距する。そのため正確な測距のためには、左右のカメラの撮像性能を調整・補正する必要がある。調整・補正の種類は主に、『光軸・ピント調整』、『感度補正』、『幾何補正』の３種類に分けられる。

『光軸・ピント調整』や『幾何補正』については、単眼カメラでも実施されており、特にステレオカメラという理由で、これらの調整・補正が複雑になることは少ない。民生品のデジタルカメラ等でも『光軸・ピント調整』や『幾何補正』の補正が実施されている。

しかしながら、感度補正に関してはステレオカメラ特有の問題が発生しやすい。一般的に、撮像素子自体の感度にはバラツキがあり、左右の撮像部（カメラ）には、様々な感度バラツキを持った撮像素子が取り付けられる。

これにより、左右のカメラで特定の対象物を撮像した場合、感度のバラツキにより右カメラと左カメラで得られる撮像画像の明るさ（輝度）が異なることがある。この結果、ステレオ視する際の左右の撮像画像にミスマッチが生じやすくなることがあり、対象物までの距離をうまく算出できないことがある。

このような点から、どのような感度バラツキを持った撮像素子が左右に取り付けられたとしても、その取り付けられた状態で、左右の撮像素子の感度を合わせることが望ましい。つまり、左右の撮像素子の感度を正確に合わせるということは、ステレオカメラにとって重要なポイントであると言える。たとえば、ステレオカメラの左右の撮像素子の感度調整する手法として、左右のカメラの撮像素子の感度の補正を生産時にソフト的に実施して、この補正した補正値をカメラ内部のＲＯＭに保存するような手法が取られている（たとえば特許文献１参照）。

特開平１１−２１１４６９号公報

ところで、一般的に、撮像素子は様々な感度バラツキを持っている。通常、撮像素子の感度の特性は、分光感度特性といい、光の波長に依存した特性を持っている。撮像素子の感度のスペックとなる波長は、４００ｎｍ〜１０００ｎｍ程度であり、この波長範囲における分光感度はあくまでも参考値であり、ウエハの製造バラツキ等で実際には、分光感度の分布にはバラツキが多々あることが多い。

したがって、上述した特許文献１に記載の技術では、生産時にソフト的に補正を実施するので、特定の光源下において補正データを生成することになる。これにより、特定の分光分布を有した光に対して、左右の撮像素子の感度のバラツキを補正することはできる。

しかしながら、ステレオカメラを搭載した車両は、昼間（太陽光下）、トンネル中、夜間と様々な環境下を走行する。つまりこのような走行環境においては、環境の変化に伴い、周辺の光の波長分布が変化することになる。

よって、生産時に特定の光源でソフト的に補正を実施するだけでは、走行環境によっては周辺の光の波長分布が変化して左右の感度バランスが崩れてしまう可能性が高い。この結果として、たとえば、走行環境によって、撮像素子の左右の感度バランスが崩れてしまうと、ステレオ視する際のミスマッチが生じやすくなる。これにより、対象物までの距離をうまく算出できないことがある。

本発明は、このような点を鑑みてなされたものであり、その目的とするところは、個々の撮像素子そのものに感度バラツキがあった場合であっても、走行環境下において２つの撮像素子の感度バランスを保つことができる車載カメラ装置を提供することにある。

上記課題を解決すべく、本発明に係る車載カメラ装置は、第１および第２の撮像部からの第１および第２の撮像画像を画像処理する画像処理装置を備えており、画像処理装置は、前記第１および第２の撮像部の第１および第２の撮像画像から、それぞれに対応する第１および第２の感度データを演算し、第１および第２の感度データに基づいて、第１および第２の撮像部の各撮像素子に印加する第１および第２の目標電圧を演算し、該第１および第２の目標電圧となるように、各撮像素子に印加する電源部を制御することを特徴とするものである。

本発明によれば、個々の撮像素子のそのもの感度バラツキがあった場合であっても、走行環境下において２つの撮像素子の感度バランスを保つことができる。

本実施形態に係るステレオカメラの基本的な装置構成を説明するための図。 撮像素子の感度バラツキを説明するためのグラフ。 従来のステレオカメラにおける感度調整方法を説明するための模式的概念図。 環境の違いによる光の分光分布特性を示すものであり、（ａ）は、白熱電球の分光分布を示したグラフ、（ｂ）は、昼間太陽光の分光分布を示したグラフ、（ｃ）は、蛍光灯の分光分布を表したグラフ。 本実施形態の車載カメラ装置の感度のバラツキを補正するための装置構成の特徴部分を抽出した模式的概念図。 左右の撮像部により撮像された画像データから画像感度データを解析する方法を説明するための図。 撮像素子に印加する印加電圧と感度の関係を説明するための図。 本実施形態に係るステレオカメラの一例を示した模式的概念図。 本実施形態に係るステレオカメラの変形例を示した模式的概念図。 製造時における、ステレオカメラの電源の印加電圧をトリミング抵抗を用いて調整方法を説明するための図。 実施形態に係るステレオカメラの変形例を示した模式的概念図。 本実施形態に係るステレオカメラの変形例を示した模式的概念図。 本実施形態に係るステレオカメラの別の変形例を示した模式的概念図。 実車に搭載時におけるステレオカメラの変形例を示した模式的概念図。

〔第１実施形態〕
以下、図面を用いて、いくつかの実施形態について説明する。
図１は、本実施形態に係るステレオカメラの基本的な装置構成を説明するための図である。図１に示すように、ステレオカメラ（車載カメラ装置）は、右撮像部（第１の撮像部）１０と左撮像部（第２の撮像部）２０とからなる左右の撮像部を有している。

左撮像部１０と右撮像部２０とは、カメラ筐体３０に取り付けられている。左撮像部１０は、左撮像部筐体１１内に、左撮像素子（第１の撮像素子）１２、左レンズ１３、左光学フィルタ１４、左フード１５を備えている。左撮像部１０は、左光学フィルタ１４を介して、左フード１５内に取り込まれた光を左レンズ１３に集光させ、この集光させた光を、ＣＣＤなど個体撮像素子からなる左撮像素子１２に照射される構造となっている。

このような構造にすることにより、左撮像素子１２において、左レンズ１３を介して車両前方の物体を撮像し、撮像した撮像画像を得ることができる。一方、同様に右撮像部２０は、右撮像部筐体２１内に、右撮像素子（第２の撮像素子）２２、右レンズ２３、右光学フィルタ２４、右フード２５を備え、上述した左撮像部１０と同様の構造となっている。なお、ここでは、各左右の撮像素子１２、２２は、後述する電源部（図示せず）に接続され、印加電圧が印加されるように構成されている。

ステレオカメラ内の画像処理装置６０は、ハード構成として、演算装置であるＣＰＵ６１と、記憶装置であるＲＡＭ６２およびＲＯＭ６３を備えている。ＣＰＵ６１内において、左右の撮像装置で得られた撮像画像に対して画像処理を行なう。

ステレオカメラでは、左右の撮像部１１，１２から得た撮像画像は、画像処理装置６０のＣＰＵ（後述する画像処理部）において、視差（左右の見え方の違い）を算出するマッチング処理が行われ、マッチング処理された撮像画像に撮像された物体の距離は、三角法の原理で計算される。

ここで、正確な距離を計算ためには、左右の撮像部の撮像特性を同一にすることが好ましい。左右の撮像画像の撮像特性が異なると、ミスマッチングが発生し、正確な距離を計算できなくなる。

通常、ステレオカメラは、図１に示すようなに撮像素子、レンズ、光学フィルタ、フードを組立てただけでは、左右の撮像特性は全く合致していない。それは、特に撮像素子、レンズ、光学フィルタの特性のバラツキがあるためである。具体的には、このバラツキの原因は、感度バラツキ、レンズシェーディング、レンズ歪、光軸・ピント等を挙げることができる。

ここで、感度のバラツキは、撮像素子、レンズ、光学フィルタに存在している。レンズや光学フィルタは、分光透過率という特性が感度に相当し、ある閾値の範囲内で設計されている。

しかしながら、撮像素子の感度バラツキは、ウエハの製造バラツキ等である閾値の範囲内で設計されているが、その閾値範囲が広く、レンズや光学フィルタに比べて、撮像素子の感度バラツキが大きいことは実験からも分かっている。

図２は、撮像素子の感度バラツキを説明するためのグラフである。感度は一般に、波長ごとに異なり、分光感度特性であらわすことができる。たとえば、感度の高い撮像素子は曲線１２１のような分光感度曲線を描き、感度の低い撮像素子は曲線１２２のような分光感度曲線を描く。

図２に示すように、このような感度の異なる撮像素子を、ステレオカメラの左右の撮像部に用い、一定の明るさで対象物を撮像した場合に、左右の撮像データを見ると明るさが異なるため、マッチング処理においてミスマッチングが発生し、このミスマッチングにより正確な距離を計算できなくなる。

図３は、従来のステレオカメラにおける感度調整方法を説明するための模式的概念図である。ここで、上述したミスマッチングを解消するために、図３に示すように均一な光源５０，５０を用いて、左右の撮像部１０，２０で光源５０，５０を撮像して、左右の撮像部１０，２０で撮像した撮像画像の明るさが等しくなるように、カメラ内部の画像処理装置でソフト的に補正を調整している。なお、本実施形態と相違するのは、ＣＰＵ６１において、感度のバラツキを補正する点である。

具体的には、従来の場合には、上述したように左右の撮像部１０，２０に一定光量の光源５０，５０を照射し、左右の撮像部１０，２０で撮像して得られた左右の撮像画像（第１および第２の撮像画像）は、画像処理装置内のＣＰＵ（画像処理部）６１内に送られて、画像処理が行なわれる。その後、左右の撮像画像は、一旦、ＲＡＭ６２に入れられる。ＲＡＭ６２で取り込まれた左右の撮像画像から、左右の撮像部の感度が等しくなるように、補正データ（補正値）を計算する。そして、ここで補正した結果は、不揮発性メモリのＲＯＭ６３に保存され、補正データとして保存しておく。

このようにすることで、ステレオカメラが動作する前に画像処理装置６０は、左右のカメラで撮像された撮像画像を、ＲＯＭ内に保存されている補正データを用いて常に補正をすることができ、左右の撮像素子の感度を合わせることができる。

また、感度のバラツキは、撮像素子が起因することころが大きいが、それ以外の要因として、レンズやフィルタも透過率という感度に関係する光のバラツキも上げることができる。よって、これらのバラツキすべてを加味するためには、通常、図３において説明したように、撮像素子、レンズ、およびフィルタが取り付けられた状態で、左右の撮像部１０，２０で一定光量の光源を撮像して、感度のバラツキを補正するのが一般的である。

しかしながら、ここで問題となることは、補正データ（補正値）は、光源５０の環境下において生成された点にある。実際、ステレオカメラが車両に取り付けられ様々な箇所を走行し、太陽光下、トンネル内、ネオン街、夜間などがあり、それぞれで、分光分布が異なるのである。

そのため、光源５０，５０以外の環境とは分光分布が異なる環境下では、左右の撮像素子１２，２２の左右の感度がずれることがある。したがって、図３のように特定の一定光量の光源５０，５０下で感度を合わせるように補正値を生成したとしても、この補正値により、感度のバラツキを正確に補正できない可能性がある。

その理由をより具体的に以下に詳述する。図４は、環境の違いによる光の分光分布特性を示すものであり、（ａ）は、白熱電球の分光分布を示したグラフ、（ｂ）は、昼間太陽光の分光分布を示したグラフ、（ｃ）は、蛍光灯の分光分布を表したグラフである。

ここで、図４（ａ）に示すように、白熱電流では波長が長くなると反射率も大きくなる傾向ある。図４（ｂ）に示すように、昼間の太陽光下になると４５０ｎｍ付近に反射率のピークがあり４５０ｎｍより波長が大きくなると反射率も徐々に下がっていく傾向である。さらに、図４（ｃ）に示すように、蛍光灯下では４００ｎｍ〜６００ｎｍに間に４つのピークが見て取れ、６００ｎｍを過ぎると急激に反射率が低くなる。

そして、上述した、一般に、感度系の補正は、ハロゲンランプを用いたランプが用いられる。ハロゲンランプは、図４（ａ）に示す白熱電球に近い分光分布を示す。よって、このハロゲンランプで感度系の補正を実施しても、昼間の太陽光の環境下や、蛍光灯に近い環境下では、ハロゲンランプにより算出した補正データにより、撮像画像を補正したとしても、左右の撮像素子の感度がずれてしまうことがある。

特に、個々の撮像素子の感度差が大きいと、分光感度の違いも大きい。そのため特定の光源だけで補正をしただけでは、環境が変わると感度がずれやすいといえる。逆に、個々の撮像素子の感度差が小さいと、分光感度の違いも少ないため、特定の光源だけの補正でも十分であると言え、環境が変わっても感度がずれにくい。

このような課題に対して、発明者らは、事前に一定の光源下で撮像素子の感度を測定し、その感度に応じて理想的な感度になるように撮像部の電源電圧を制御することで、撮像素子の感度のバラツキをハード的に補正することが可能になるという新たな知見を得た。

具体的には、撮像素子の感度を撮像部に印加する印加電圧を可変させることで、撮像素子の感度を調整することが出来ると考えた。撮像部への印加電圧を制御することは、撮像素子内にある光電変換をするフォトダイオードのポテンシャル井戸（バケツのようなもの）の深さをコントロールすることに等しいと考えた。

なお、通常このような撮像素子ごとの印加電圧の調整は、ブルーミングの抑制のために実施していることが多い。個々の撮像素子の感度に応じ、ブルーミングが発生しないギリギリになるようなオーバーフロー電圧を設定するようなこと手法で印加電圧を調整している例がある（たとえば、特開２００７−２０１７１０号公報参照）。しかしながら、このような技術では、個々の撮像素子の感度バラツキに応じてブルーミングの影響が最小になるような最適な印加電圧を決めているため、変わらず感度バラツキの問題の解決にはなっていない。

このような点を鑑みて本実施形態に係る車載カメラ装置は、以下のように構成されている。図５は、本実施形態の車載カメラ装置の感度のバラツキを補正するための装置構成の特徴部分を抽出した模式的概念図である。なお、図１に示す車載カメラ装置と同一の構成は、同じ符号を付してその詳細な説明を省略する。

本実施形態では、第１の撮像素子を備えた第１の撮像部１０と、第２の撮像素子を備えた第２の撮像部２０とを備えており、その詳細な構成は、図１で既に示したとおりである。また、図５には、図示されていないが、画像処理装置６０は、同様に、ＲＯＭ，ＲＡＭを備えている。

ここで、図５に示すように、車載用カメラ装置は、第１および第２（左右）の電源部１６、２６を備えている。第１の電源部（左電源部）１６は、左撮像部１０の左撮像素子に第１の印加電圧Ｖ１を印加するように、左撮像部１０に接続されている。また、第２の電源部（右電源部）２６は、右撮像素子２６に第２の印加電圧Ｖ２を印加するように、右撮像部２０に接続されている。

ここで、第１および第２の電源部１６，２６は、印加すべき第１の印加電圧Ｖ１および第２の印加電圧Ｖ２を可変にして出力（印加）すべく、第１の印加電圧Ｖ１および第２の印加電圧Ｖ１を調整することが可能なように構成されている。

また、上述したように、画像処理装置６０は、左右の撮像部１０，２０からの第１および第２の撮像画像Ｐ１，Ｐ２を画像処理するものである。具体的には、この画像処理は、画像処理部６５で実施される。

具体的には、画像処理装置６０は、左撮像部１０で撮像した撮像画像データＰ１と右撮像部２０の撮像画像データＰ２とが入力されるように、左右の撮像部１０，２０に接続されている。そして、画像処理装置６０の画像処理部６５は、左撮像部１０の第１の撮像画像データＰ１から第１の撮像画像の第１の感度データを演算し、右撮像部２０の第２の撮像画像データＰ２から第２の撮像画像の第２の感度データをさらに演算する（感度データ演算部）。

ここで、入力された第１および第２の撮像画像データＰ１，Ｐ２からぞれぞれの撮像画像データの感度を、一般的に知られた公知の手法で解析する。これにより、撮像画像に対する画像感度データを得ることができる。なお、本実施形態における感度とは、同じ光を撮像素子に照射し、かつ、同じ電圧を撮像素子に印加した場合における撮像画像の輝度（明るさ）のことをいい、この輝度が相対的に明るい場合には、撮像素子の感度が高く、相対的に暗い場合には、撮像素子の感度が低いことになる。すなわち、各撮像画像の第１および第２の感度データのそれぞれは、これに対応する第１および第２の撮像素子そのものの感度データに相当する。

目標電圧演算部６６は、第１および第２の感度データに基づいて、左右の撮像素子１２，２２の左右の感度が理想感度近づくように、第１の電源部１６から左撮像素子１２へ印加（供給）すべき第１の目標電圧を演算し、第２の電源部２６から右撮像素子２２へ印加（供給）すべき第２の目標電圧を演算する。

制御部６７は、第１の印加電圧Ｖ１が第１の目標電圧となり、第２の印加電圧Ｖ２が第２の目標電圧となるように第１および第２の電源部１６，２６に第１目標電圧信号Ｓ１，第２目標電圧信号Ｓ２を送信し、この信号により、第１および第２の印加電圧Ｖ１，Ｖ２が第１および第２の目標電圧となるように、第１および第２の電源部１６，２６のそれぞれを制御する。

上述した画像処理部６５が、左撮像部１０で撮像した撮像画像データＰ１と右撮像部２０の撮像画像データＰ２から、それぞれの感度データを解析する手法を図６に示す。図６は、左右の撮像部により撮像された画像データから画像感度データを解析する方法を説明するための図である。

図６に示すように、撮像素子そのものの感度のバラツキによって、理想感度よりも感度の高い撮像素子の感度特性（印加電圧と感度の関係）と、理想感度よりも感度の低い撮像素子の感度特性（印加電圧と感度の関係）が存在する。

目標電圧演算部６６は、撮像素子の感度を演算し、理想感度の撮像素子に対して感度の高い撮像素子であると判断した場合、理想撮像素子の感度特性になるように、制御部６７により第１（第２）の電源部１６（２６）が、左撮像部（右撮像素部）１０（２０）に印加（供給）すべき第１（第２）の目標電圧を演算する。

具体的には、理想感度の撮像素子に対して感度の高い撮像素子であると判断した場合には、結果として、目標電圧が基準電圧より大きくなるように調整する。これにより、第１（第２）の電源部１６（２６）で出力された第１（第２）の印加電圧Ｖ１（Ｖ２）が、第１（第２）の目標電圧となるように、撮像素子に印加することにより、撮像素子から得られた撮像画像は、理想撮像素子と同じ輝度（明るさ）の撮像画像にすることができる。

一方、目標電圧演算部６６が、撮像素子の感度を演算して、理想感度の撮像素子に対して感度の低い撮像素子であると判断した場合、理想撮像素子の感度特性になるように、制御部６７が印加すべき目標電圧を演算し、この目標電圧となるように、印加電圧を低めに設定することで、理想撮像素子と同じ輝度（明るさ）の画像を得ることができる。

制御部６７は、第１の印加電圧Ｖ１が第１の目標電圧となり、第２の印加電圧Ｖ２が第２の目標電圧となるように第１および第２の電源部１６、２６を制御する。これにより、目標電圧演算部６６で演算された第１および第２の目標電圧となるように、第１の電源部１６と第２の電源部２６が、左右の撮像素子１２，２２に、第１および第２の印加電圧Ｖ１、Ｖ２を印加する。このような結果、個々の撮像素子そのものに感度バラツキがあった場合であっても、走行環境下において左右の撮像素子１２，２２の感度特性を可変させて、左右の撮像素子の感度バランスを調整することができる。

また、左右の撮像部１０，２０で撮像する場合、レンズ、光学フィルタ、およびフード等を取り付けた状態で撮像を行うことで、撮像素子以外の感度バラツキ（レンズや光学フィルタの分光透過率のバラツキ）を含めた状態で撮像したほうが良い。これにより、ステレオカメラとして正しい補正が出来る。撮像素子だけで補正することも可能であるが、その後レンズやフィルタフードの感度バラツキ（透過率バラツキ）が積算されるため、後でずれてしまう可能性があるため、レンズや光学フィルタ、フード等を取り付けた状態で撮像を行う方が有利である。

図７は撮像素子に印加する印加電圧と感度の関係を説明するための図である。撮像素子の印加電圧を変え、撮像部の感度特性を変える原理を以下に説明する。ここでは簡単のためにＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を用いた一例を示す。

図７に示すように、電球のような光源をＣＣＤに照射すると、光はＣＣＤ内のマイクロレンズ７５を通り、カラーフィルタ７６（カラー撮像素子の場合）を通り、フォトダイオード７１で光電変換されて電荷が蓄積される。

ここで光電変換するフォトダイオードはポテンシャル井戸（バケツのようなもの）になっており、波長に短い光は、フォトダイオードの浅い場所で、波長の長い光は、フォトダイオードの深い場所で光電変換される。

つまりフォトダイオードのポテンシャル井戸の深さＤが感度に影響するということが言える。このポテンシャル井戸の深さＤは、ＣＣＤ（撮像素子）に印加する印加電圧（電源電圧）によって変化する。このフォトダイオードのポテンシャル井戸の深さＤを制御することで感度を制御できる。

このように、撮像素子に印加する印加電圧を制御することにより、撮像素子の感度を調整し、この結果として、図２に示すように、感度の高い撮像素子と感度の低い撮像素子の感度バランスを合わせることができる。

図８は、本実施形態に係るステレオカメラの一例を示した模式的概念図である。図８に示すように、第１および第２の電源部１６、２６の印加電圧Ｖ１，Ｖ２は、通常可変抵抗の等を用いて可変することができる。そこで、第１および第２の電源部１６、２６は、第１の印加電圧Ｖ１および第２の印加電圧Ｖ２の調整を行うデジタルポテンショメータ１６ａ，２６ａを備えている。

このようにして、デジタルポテンショメータ１６ａ，２６ａ（デジタル可変抵抗）を用いて第１および第２の電源部１６、２６の印加電圧を可変する。制御部６７は、デジタルポテンショメータ１６ａ、２６ａに対して設定する電圧を振りながら、画像処理部６５は、左右の撮像画像データ（第１および第２の撮像画像データ）Ｐ１．Ｐ２を解析し（感度データを演算し）、目標電圧演算部６６は、最適な電圧設定値（目標電圧）を演算する（図８参照）。演算したデジタルポテンショメータ１６ａ、２６ａへ設定する最適値は、不揮発性メモリのＲＯＭ６３に保存する。

デジタルポテンショメータ１６ａ、２６ａを利用することのメリットは、印加電圧を自在に振って理想となる撮像画像が得られることである。最適値を検索しやすい。

また、高温時や低温時には、左右の撮像素子の感度がずれてしまう。このような場合、デジタルポテンショメータ１６ａ、２６ａであれば走行中にでも電源部１６、２６それぞれの印加電圧を微調整して感度バランスを保つといったような走行中での自動補正等が出来るメリットがある。

このような場合、低温〜高温で電圧調整テーブルを用意しておけば、カメラ内部の温度を測定してその温度に応じて印加電圧を調整するような温度に合わせた細かい感度調整も可能となる。

具体的には、車載カメラ装置内部に温度計を設置し、この温度計の温度に基づいて、前記第１の目標電圧および第２の目標電圧を補正する。一般には、高温になると撮像部（撮像素子）の感度が高くなる方向に感度が変化し、低温になると撮像部（撮像素子）の感度が低くなる方向に感度が変化する。つまり、高温になると常温時の撮像画像がよりも明るくなり、低温になると常温時の撮像画像よりも暗くなる。

よって、車載カメラ装置内部の温度が、所定の温度よりも高温になった場合は、制御部６７は、撮像画像が明るくなるため撮像素子に供給すべき目標電圧を常温時の目標電圧よりも高めに補正する（図６参照）。

一方、車載カメラ装置内部の温度が、所定の温度よりも低温になった場合は、制御部６７は、画像が暗くなるため撮像素子に供給すべき目標電圧を常温時の目標電圧よりも低めに補正する（図６参照）。

また、長期使用するとフロントガラスの汚れやカメラの撮像部にホコリ等が付着して左右の撮像画像の明るさが変わってしまうことも考えられる（汚れによって暗くなる）。そのときにも左右の撮像素子に印加する電圧を微調整して感度が等しくなるような補正を自動ですることも可能となる。

遠くの街頭などを撮像したときに、左右のカメラの撮像画像を画像処理部で比較することで明るさの違いを見つけることが出来る。さらに電圧を微調整しながら最適値な電圧を決めることができる。ただし、カメラ機能を使用中に印加電圧を振ったりするのは、ステレオカメラ本来の機能を失う可能性もあるため、ユーザーがカメラの機能を使っていない時間に自動で補正を行うことが理想である。

図８に示すように、電源部を２つ持つ構成にすると、電源部を撮像部がある基板の内に入れて基板レイアウト設計をしたり出来るため、汎用性が高い。また電源部を撮像部付近に配置できるため、電源の供給配線が短くなり耐ノイズにもメリットがある。

図９は、本実施形態に係るステレオカメラの変形例を示した模式的概念図である。図９に示すように、この変形例では、１つの電源部１６Ａから左右の撮像素子へ電源供給する。近年の電源回路は２ｃｈ、３ｃｈ、４ｃｈ同時に出力可能なものが多い。コストや実装面積の削減の効果が高いメリットがある。一方、デジタルポテンショメータ１６ｃも出力を複数ｃｈ持っているものがある。

図８と同様に、制御部６７は、デジタルポテンショメータ１６ｃに対して設定する電圧を振りながら、目標電圧演算部６６は、左右の画像データＰ１．Ｐ２を解析し、それぞれの最適な電圧設定値（目標電圧）を算出する。算出したデジタルポテンショメータへ設定する最適な電圧設定値は、不揮発性メモリのＲＯＭ６３に保存する。

デジタルポテンショメータ１６ｃ（デジタル可変抵抗）を用いて電源部１６Ａの出力電圧を可変する。制御部６７は、デジタルポテンショメータ１６ｃに対して設定する電圧を振りながら、画像処理部６５は、左右の撮像画像データＰ１．Ｐ２を解析し、目標電圧演算部６６は、最適な電圧設定値（目標電圧）を演算する（図６参照）。演算したデジタルポテンショメータ１６ｃへ設定する最適値は、不揮発性メモリのＲＯＭ６３に保存する。

電源部を２つ持つ構成と同様に、デジタルポテンショメータ１６ｃを利用することのメリットは、電圧を自在に振って撮像画像を得られるため、最適値となる電圧値を検索しやすい。

また電源部を２つ持つ構成と同様に、高温時や低温時に左右の感度がずれてしまうような場合、デジタルポテンショメータであれば走行中にでも電源部の電圧を微調整して感度バランスを保つといったような走行中での自動補正等が出来るメリットがある。さらに、低温〜高温で電圧調整テーブルを用意しておけば、カメラ内部の温度を測定してその温度に応じて電圧を調整するような温度に合わせた細かい感度調整も可能となる。電源部を１つ持つ構成にすると、電源部を２つもつ構成に比べて電源部のコストを下げることが出来る。

図１０は、製造時における、ステレオカメラの電源の印加電圧をトリミング抵抗を用いて調整方法を説明するための模式的概念図である。図１０に示すように、第１および第２の電源部１６、２６の印加電圧は、通常抵抗の等を用いて、可変することができる。そこで、トリミング抵抗１６ｄ、２６ｄを用いて、製造時に、第１および第２の電源部１６、２６の印加電圧を変更する。

トリミング抵抗のトリミング方法は、左右の撮像部１０、２０で撮像した撮像画像データＰ１，Ｐ２を解析し、目標電圧演算部６６は、最適な電圧設定値（目標電圧）を演算する（たとえば図６参照）。目標電圧となるトリミングの情報をトリミング装置８０に通信線（ＣＡＮ通信やシリアル通信等）で送る。トリミング装置８０は、伝送されたトリミング情報を元にトリミング抵抗をレーザーＬ１，Ｌ２で抵抗に切り込みを入れトリミングする。

この手法によれば、前述のポテンショメータを使う手法よりもはるかに安いコストで実現できる。ただしトリミングでのレーザー切り込みはやり直しが出来ないので、少しずつカットして感度を測定し、最適なカットをしていくような工程でカットすることが理想と言える。

なお、ここでは、トリミング抵抗を用いて印加電圧を調整しているが、さらに、図８に示すようにデジタルポテンショメータを併用することにより、さらに、感度バラツキをリアルタイムの抑制することができる。

図１１は、本実施形態に係るステレオカメラの変形例を示した模式的概念図である。図１１に示すように、この変形例では、電源部１６Ｂは複数ｃｈの電圧出力を２つ持っており、第１および第２の印加電圧Ｖ１、Ｖ２は、通常抵抗の等を用いて可変することができる。そこで２つのトリミング抵抗１６ｅを用いて製造時に、電源部１６Ｂの印加電圧（出力電圧）を変更する。

トリミング抵抗のトリミング方法は、左右の撮像部１０、２０で撮像した撮像画像データＰ１，Ｐ２を解析し、目標電圧演算部６６は、最適な電圧設定値（目標電圧）を演算する（たとえば図６参照）。目標電圧となるトリミングの情報をトリミング装置８０に通信線（ＣＡＮ通信やシリアル通信等）で送る。トリミング装置８０は、伝送されたトリミング情報を元にトリミング抵抗をレーザーＬ３で抵抗に切り込みを入れトリミングする。このように、電源部を１つ持つ構成にすると、電源部を２つもつ構成に比べて電源部のコストを下げることが出来る。

図１２は、本実施形態に係るステレオカメラの変形例を示した模式的概念図であり、図１３は、本実施形態に係るステレオカメラの別の変形例を示した模式的概念図である。さらに図１４は、実車に搭載時におけるステレオカメラの変形例を示した模式的概念図である。

この変形例は、図８に示す装置構成を前提とした発明である。図１２に示すように画像処理装置は、前記第１および第２の撮像部１０、２０からの第１および第２の撮像画像データＰ１．Ｐ２を補正する補正部６９をさらに備えている。

画像処理装置のＲＯＭ６３には、補正部６９が補正するための複数の補正データが保存されており、補正データは、複数の異なる分光感度を有した光を前記第１および第２の画像素子に照射することにより、得られた撮像画像から演算されたデータである。

具体的には、感度の補正値は、画像の輝度（感度）の補正データであり、一定の光源５０、５０下において左右の撮像画像データの輝度（感度）が一定になるような輝度（感度）補正値を画素ごとに算出、又は一定間隔ごとのに補正値を算出して間の画素を線形補間することが一般的である。

具体的には、図１２に示すようにステレオカメラ装置において感度の補正をする場合、光源５０、５０及び光学フィルタ５５、５５を用いて複数の分光分布を持った光を作り出し、それぞれの分光分布で撮像した撮像画像データＰ１、Ｐ２は、画像処理部６５にて画像を取り込み、ＲＡＭ６２に画像を一旦保存、補正部６９にて輝度（感度）の補正値を計算する。計算した結果は、不揮発性メモリのＲＯＭ６３に保存しておく。

実車では、ＲＯＭ６３に保存されている補正値から、走行の環境に応じてどの分光分布の光の補正値を読み出すかを決め、第１および第２の撮像画像対して走行の環境に応じた最適な補正値を使うことで、左右の撮像素子の感度バランスを保つことができる。

たとえば図１２に示すように、光源５０に光学フィルタ５５を取り付ける。光学フィルタ５５として、太陽光フィルタや光学ローパスフィルタ、光学バンドパスフィルタ等を使って撮像部に入る光の分光分布を変えることができる。さらに、光学フィルタ５５は、一枚である必要はなく、作り出す分光分布の光に応じて複数枚のフィルタを用いることもできる。

また、図１３に示すように、光源のように蛍光灯の光源５１、５１を用いたりすることもできる。そのた、ＬＥＤ照明等も利用できる。前述と同様に光学フィルタ５５、５５を変えることでいろいろな分光分布が作成できる。このような結果、図１２および図１３に示すように、複数の異なる分光感度を持った光は、複数の光源または複数の光学フィルタを用いて生成される。

このようにして、補正部６９は、車両の走行環境にあわせて、複数の補正データから補正に用いる補正データを選択し、該選択した補正データを用いて第１および第２の撮像画像データＰ１、Ｐ２を補正する。

具体的には、実車走行時には、図１４のように、図１２、図１３において得られた走行環境（太陽光下Ｃ１、トンネル内Ｃ２、夜間Ｃ３）等に応じて、不揮発性メモリのＲＯＭ６３に保存されている補正データをから、最適な補正データを読み出すことで左右の撮像部からの撮像画像の輝度（感度）補正をすることができる。この撮像画像を用いて、さらに第１および第２の実施形態の如く、それぞれの感度データを演算し、この感度データに基づいて第１および第２の目標電圧を演算し、この目標電圧となるように、電源部を制御すれば、より一層、走行環境下において２つの撮像素子の感度バランスを保つことができる。

ステレオカメラ内部で最適な補正値を選ぶためには、走行環境の周辺の光の情報（太陽光下、トンネル内、夜間等）を知る必要がある。そこで、たとえばナビの走行情報を用いて、ＧＰＳ Ｔｉｍｅを利用した日中夜間の判定、走行エリアにおけるトンネル内判定が可能になる。

さらに、ステレオカメラ自身でも、撮像画像を用いて雨検知や雪検知も可能であり、周辺の走行環境を常にモニタリングすることもできる。

このように、ステレオカメラ自身やナビ等の外部ユニットからの情報を用いることで、周囲の環境情報を得ることができ、ＲＯＭ６３に保存されている補正値から、走行の環境に応じてどの分光分布の光の補正値を読み出すかを決め（補正値を選択し）、最適な補正値を使うことで左右の撮像素子の感度バランスを保つことができる。

以上、本発明の実施の形態を図面を用いて詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における設計変更があっても、それらは本発明に含まれるものである。

１０：左撮像部（第１の撮像部）、１１：左撮像部筐体、１２：左撮像素子、１３：左レンズ、１４：左光学フィルタ、１５：左フード、１６：第１の電源部、１６Ａ：電源部、１６ａ，１６ｃ：デジタルポテンショメータ、１６ｄ：トリミング抵抗、２０：右撮像部（第２の撮像部）、２１：右撮像部筐体、２２：右撮像素子、２３：右レンズ、２４：右光学フィルタ、２５：右フード、２６：第２の電源部、２６ａ：デジタルポテンショメータ、２６ｄ：トリミング抵抗、５０：光源、６０：画像処理装置、６１：ＣＰＵ、６２：ＲＡＭ、６３：ＲＯＭ、６５：画像処理部、６６：目標電圧演算部、６７：制御部、６９：補正部

Claims (7)

1. 第１の撮像素子を備えた第１の撮像部と、第２の撮像素子を備えた第２の撮像部と、前記第１の撮像素子に第１の印加電圧を印加し、前記第２の撮像素子に第２の印加電圧を印加する電源部と、前記第１および第２の撮像部からの第１および第２の撮像画像を画像処理する画像処理装置と、を備えた車載カメラ装置であって、
   前記電源部は、前記印加すべき第１の印加電圧および第２の印加電圧が可変となるように、前記第１の印加電圧および前記第２の印加電圧を調整することが可能となっており、
   前記画像処理装置は、前記第１の撮像部の第１の撮像画像から該第１の撮像画像の第１の感度データを演算し、前記第２の撮像部の第２の撮像画像から該第２の撮像画像の第２の感度データを演算する感度データ演算部と、
   前記第１の感度データに基づいて、前記電源部が印加すべき第１の印加電圧の第１の目標電圧を演算するとともに、前記第２の感度データに基づいて、前記電源部が印加すべき第２の印加電圧の第２の目標電圧を演算する目標電圧演算部と、
   前記第１の印加電圧が前記第１の目標電圧となり、前記第２の印加電圧が前記第２の目標電圧となるように前記電源部を制御する制御部と、を少なくとも備え、
   前記目標電圧演算部は、基準となる理想撮像素子に印加する基準電圧と、該基準電圧を印加したときの前記理想撮像素子の理想感度との関係を用いて、前記第１および第２の目標電圧を演算するものであり、
   前記第１の感度データに基づいて前記第１の撮像素子の感度が前記理想感度よりも高いと判断した場合には、前記理想感度に対応した前記基準電圧よりも前記第１の印加電圧が大きい電圧値となるように前記第１の目標電圧を演算し、
   前記第１の感度データに基づいて前記第１の撮像素子の感度が前記理想感度よりも低いと判断した場合には、前記理想感度に対応した前記基準電圧よりも前記第１の印加電圧が小さい電圧値となるように前記第１の目標電圧を演算し、
   前記第２の感度データに基づいて前記第２の撮像素子の感度が前記理想感度よりも高いと判断した場合には、前記理想感度に対応した前記基準電圧よりも前記第２の印加電圧が大きい電圧値となるように前記第２の目標電圧を演算し、
   前記第２の感度データに基づいて前記第２の撮像素子の感度が前記理想感度よりも低いと判断した場合には、前記理想感度に対応した前記基準電圧よりも前記第２の印加電圧が小さい電圧値となるように前記第２の目標電圧を演算することを特徴とする車載カメラ装置。
2. 前記電源部は、前記第１の撮像素子に第１の印加電圧を印加する第１の電源部と、前記第２の撮像素子に第２の印加電圧を印加する第２の電源部と、からなることを特徴とする請求項１に記載の車載カメラ装置。
3. 前記電源部は、前記第１の印加電圧および第２の印加電圧の調整を行うデジタルポテンショメータを備えていることを特徴とする請求項１または２に記載の車載カメラ装置。
4. 前記制御部は、車載カメラ装置内部の温度に基づいて、前記第１の目標電圧および第２の目標電圧を補正することを特徴とする請求項１〜３のいずれかに記載の車載カメラ装置。
5. 前記電源部は、前記第１の印加電圧および第２の印加電圧を設定するためのトリミング抵抗を備えることを特徴とする請求項１〜４のいずれかに記載の車載カメラ装置。
6. 前記画像処理装置は、前記第１および第２の撮像部からの前記第１および第２の撮像画像を補正する補正部をさらに備えており、
   前記画像処理装置には、前記補正部が補正するための複数の補正データが保存されており、該補正データは、複数の異なる分光感度を有した光を前記第１および第２の撮像素子に照射することにより、得られた撮像画像から演算されたデータであり、
   前記補正部は、車両の走行環境にあわせて、前記複数の補正データから前記補正に用いる補正データを選択し、該選択した補正データを用いて第１および第２の撮像画像を補正することを特徴とする請求項１〜５のいずれかに記載の車載カメラ装置。
7. 前記複数の異なる分光感度を持った光は、複数の光源または複数の光学フィルタを用いて生成された光であることを特徴とする請求項６に記載の車載カメラ装置。

Images