JP6428391B2

JP6428391B2 - 撮像装置

Info

Publication number: JP6428391B2
Application number: JP2015047379A
Authority: JP
Inventors: 渡辺　多佳志; 多佳志渡辺
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2015-03-10
Filing date: 2015-03-10
Publication date: 2018-11-28
Anticipated expiration: 2035-03-10
Also published as: US10484619B2; US20160269603A1; JP2016167761A

Description

本発明は、車両用の撮像装置に関する。

近年、車両と障害物との衝突防止や車両の白線からの逸脱防止のため、車両のフロント部などに設けられた撮像装置を用いて障害物や白線を認識し、それらに基づいた情報を運転者に報知等する技術が知られている。

ところで、こうした車両周辺を撮像する撮像装置には、昼間は太陽光、夜間は対向車の前照灯などの強い光がしばしば入射する。そうすると、入射した光の強さによっては、取得された撮像画像から正常な撮像結果が得られない場合がある。これにより、必要な情報を損失し、運転者に正しい情報を報知できなくなる問題が生じる。この問題に対して、白線認識のため、撮像素子の全体又は一部に到達する光の量を、上下方向に相当する向きに段階的に異ならせるグラデーション生成手段を、レンズと撮像素子との間に設けた撮像装置が提案されている（特許文献１参照）。

特許第４２６２５６６号公報

しかしながら、前述した特許文献１に記載の構成では、グラデーション領域が広域かつあらかじめ設定されている。つまり、光の量を小さくする範囲が固定されており、撮像画像に到達する弱い光の部分まで光の量を小さくしてしまう場合がある。そのため、必要な撮像画像情報が欠落し得る問題があった。

本発明は、撮像装置に入射する光の明るさに応じて撮像素子に入射される光の調整を行い、画像情報の欠落を抑える撮像装置の提供を目的としている。

本発明の一側面は、車両に搭載された撮像装置であって、レンズと、撮像素子と、遮光パネルと、制御部と、を備える。遮光パネルは、レンズと撮像素子との間に設置され、複数のセルを有し、セルの光の透過率を各セルごとに変更可能である。制御部は、撮像素子によって取得された撮像素子の各画素の光の明るさに応じて、撮像素子の各画素に対応する遮光パネルの各セルの透過率をそれぞれ設定する。

このような構成によれば、遮光パネルによって撮像素子に入射する光の明るさが調整され、画像情報の欠落を抑えることができる。

車両の構成を示すブロック図である。透過率設定処理のフローチャートである。ＣＭＯＳセンサの輝度に対する液晶パネルの透過率を設定したマップ図である。図４（Ａ）は、ＣＭＯＳセンサが取得した画像を示す図、図４（Ｂ）は、各画素の透過率が設定された液晶パネルを示す図である。

以下、本発明の例示的な実施形態について図面を参照しながら説明する。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、これは本発明の理解を容易にする目的で使用しており、本発明の技術的範囲を限定する意図ではない。

図１に示す車両１００は、撮像装置１０と、ブレーキ制御装置７と、を備える。
撮像装置１０は、レンズ２と、ＣＭＯＳセンサ３と、液晶パネル４と、撮像制御部５と、ドライバ６と、を備える。

レンズ２は、車両１００のフロント部に設置され、車両１００の外部（車両１００の前方）から入射した光を集光し液晶パネル４へ入射させる。
ＣＭＯＳセンサ３は、レンズ２及び液晶パネル４を介して車両１００の外部から入射した光を複数の画素（受光素子）で受光し、各画素で受光された光の明るさ（輝度の高さ）に応じた信号を発生させ、当該信号を撮像制御部５に出力する。

液晶パネル４は、レンズ２とＣＭＯＳセンサ３との間に配置され、ＣＭＯＳセンサ３と当接しＣＭＯＳセンサ３の受光面を覆うように配設されている。また、液晶パネル４は、液晶パネル４を通過する光の透過率を各画素ごとに変更可能に設定されている。

ＣＭＯＳセンサ３及び液晶パネル４は、同じ画素数（具体的には同じ二次元配列）を有し、各画素ごとにそれぞれ対になって配設されている。つまり、レンズ２、ＣＭＯＳセンサ３及び液晶パネル４は、レンズ２から入射し液晶パネル４の各画素を通過した光が、液晶パネル４の各画素と対になっているＣＭＯＳセンサ３の各画素へそれぞれ到達するように配設されている。

撮像制御部５は、周知のＲＯＭ５１、ＣＰＵ５２、ＲＡＭ（図示せず）及び車載ネットワークコントローラ（図示せず）などを備えたＥＣＵ（Electronic Control Unit；電子制御装置）によって構成されている。

なお、本実施形態の場合、撮像制御部５を構成するＥＣＵは、撮像装置１０のために用意された専用のＥＣＵとされているが、他の機能を制御するために用意されたＥＣＵを撮像装置１０用と兼用してもよい。また、他の機器（例えばカーナビゲーション装置等）に設けられた制御部を、撮像装置１０用と兼用してもよい。

ドライバ６は、撮像制御部５からの指示に応じて、液晶パネル４の各画素の透過率を制御する。ドライバ６は、撮像制御部５及び液晶パネル４と接続されている。
ブレーキ制御装置７は、撮像制御部５と同様、ＥＣＵによって構成されている。ブレーキ制御装置７は、撮像制御部５により計算された車両１００と障害物との距離を撮像制御部５から受信し、当該距離に応じて、例えば距離が短い場合自動的にブレーキを適用するなど、車両１００のブレーキを制御する。

［２．透過率設定処理の概要］
次に、本実施形態の撮像制御部５により実現される透過率設定処理の概要について、図２のフローチャートを用いて説明する。この透過率設定処理は、運転者の操作によってシフトレバー位置がＤ（ドライブ）に設定されている状態において、ＣＭＯＳセンサ３により画像が撮像されるごとに開始される。なお、透過率設定処理開始時における液晶パネル４の透過率は１００％に設定されている。

まず、撮像制御部５は、輝度処理完了フラグがオンであるか否かを判定する（Ｓ１０１）。ここでいう輝度処理完了フラグとは、Ｓ１０９にて立てられるフラグである。輝度処理完了フラグがオンでないと判定された場合（Ｓ１０１：ＮＯ）、処理がＳ１０２へ移行する。一方、輝度処理完了フラグがオンと判定された場合（Ｓ１０１：ＹＥＳ）、処理がＳ１１０へ移行する。

Ｓ１０２で、撮像制御部５は、画像データ有効フラグをオフにセットし、Ｓ１０３へ移行する。ここでいう画像データ有効フラグとは、ＣＭＯＳセンサ３により撮像された画像が後述する障害物の判定に用いられるのに有効な場合に立てられるフラグである。

Ｓ１０３で、撮像制御部５は、ＣＭＯＳセンサ３を構成する画素の内、最初に取得する画素としてあらかじめ設定しておいた場所の画素を選択する。最初の画素の場所の設定については特に限定されず、例えば一番上かつ左端又は右端を最初の画素としてもよいし、ＣＭＯＳセンサ３の中央部に位置する画素を選択してもよい。

次に、撮像制御部５は、ＣＭＯＳセンサ３によって、当該画素の輝度を取得する（Ｓ１０４）。
次に、撮像制御部５は、Ｓ１０４にて取得された輝度に対応する液晶パネル４の透過率の設定値をＲＯＭ５１のマップから検索し（Ｓ１０５）、輝度を取得したＣＭＯＳセンサ３の画素に対応する液晶パネル４の各画素の透過率が設定される（Ｓ１０６）。

ここで、撮像制御部５による詳細なＳ１０５及びＳ１０６の処理の一例について説明する。まず、Ｓ１０５の処理の作動時には、ＲＯＭ５１に記憶されたマップ検索のプログラムがＣＰＵ５２によって読み出され、ＣＰＵ５２がマップ検索のプログラムに従って後述する所定の処理を実行することにより、液晶パネル４の各画素の透過率が設定される。

ここでいうマップとは、図３に示すように、撮像制御部５が取得するＣＭＯＳセンサ３の輝度Ａの高さに応じた、液晶パネル４の各画素の透過率Ｂをあらかじめ記憶した２次元マップである。輝度Ａは、車両１００の外部から入射した光の明るさを表す。透過率Ｂは、撮像装置１０に入射する車両１００の前方からの光の輝度が高い場合においても、撮像装置１０が得る画像情報が正常に取得できるよう最適に設定された値である。具体的には、図３に示すように、輝度Ａは、範囲Ｃ、範囲Ｄ及び範囲Ｅに区分けされている。範囲Ｃは、輝度Ａにおいて、撮像制御部５が画像情報を正常に取得できる範囲である。撮像制御部５は、取得した輝度Ａが範囲Ｃ内の場合、透過率Ｂを１００％に設定する。範囲Ｄは、輝度Ａにおいて、撮像制御部５が取得する画像情報が欠落する（正常に取得できなくなる）高さ以上であり、また、透過率Ｂを低く設定することにより、正常な画像が取得できる範囲である。撮像制御部５は、取得した輝度Ａが範囲Ｄ内の場合、輝度Ａの高さに応じて透過率Ｂを低く設定する。範囲Ｅは、輝度Ａにおいて、撮像制御部５が画像情報を正常に取得できないほど高い範囲である。撮像制御部５は、取得した輝度Ａが範囲Ｅ内の場合、透過率Ｂを０％に設定する。このようにして、液晶パネル４の各画素の透過率が設定される。

次に、設定された液晶パネル４の各画素の透過率は、前述したように、ドライバ６を介し、液晶パネル４の各画素に反映され、液晶パネル４の各画素の透過率が設定される（Ｓ１０６）。

ここで、Ｓ１０３からＳ１０８における一連の処理の流れを、図４（Ａ）に示すＣＭＯＳセンサ３の画像及び図４（Ｂ）に示す液晶パネル４の画像を例に説明する。
まず、図４（Ａ）に示すＣＭＯＳセンサ３が取得した画像には、（太陽３２以外の）景色３１及び太陽３２が映し出されるとする。撮像装置１０は、景色３１及び太陽３２の各画素の輝度を取得し（Ｓ１０４）、マップ検索を行い（Ｓ１０５）、液晶パネル４の透過率を設定する（Ｓ１０６）。

ここで、景色３１の輝度は、車両１００の前方の画像情報を正常に取得できる範囲Ｃ内とする。このため、図４（Ｂ）に示すように、景色３１を映し出すＣＭＯＳセンサ３の画素に対応する液晶パネル４の領域４１を構成する画素の透過率は、１００％に設定される。次に、太陽３２の輝度は、光が強いため、範囲Ｄ内とする。このため、太陽３２を映し出すＣＭＯＳセンサ３の画素に対応する液晶パネル４の領域４２を構成する画素の透過率は、その輝度に応じて低く設定される。

図２に戻り、次に、撮像制御部５は、ＣＭＯＳセンサ３の全画素の輝度の取得及び対応する液晶パネル４の各画素の透過率の設定の処理が終了したか否かを判定する（Ｓ１０７）。全画素の処理が終了していなければ（Ｓ１０７：ＮＯ）、撮像制御部５は、Ｓ１０８に移行する。

Ｓ１０８で、撮像制御部５は、最初に選択したＣＭＯＳセンサ３の画素の次の画素を選択し、処理をＳ１０４に戻す。なお、画素を選択する順番はあらかじめ設定されている。つまり、撮像制御部５は、Ｓ１０４からＳ１０８までの処理を、ＣＭＯＳセンサ３のすべての画素に実行されるまで繰り返す。

一方、ＣＭＯＳセンサ３の全画素の処理が終了したと判定された場合（Ｓ１０７：ＹＥＳ）、撮像制御部５は、Ｓ１０９に処理を移す。
Ｓ１０９で、撮像制御部５は、輝度処理完了フラグをオンにセットする。ここで、輝度処理完了フラグとは、Ｓ１０４からＳ１０８までの処理を、取得したＣＭＯＳセンサ３のすべての画素に実行した際に立てられるフラグである。

輝度処理完了フラグがオンにセットされた後、撮像制御部５は、設定された液晶パネル４の各画素の透過率を維持したまま、透過率設定処理を終了する。
次に、撮像制御部５は、ＣＭＯＳセンサ３の画像によって撮像された画像を取り込み、透過率設定処理を再び開始する。ここで取り込まれた画像は、各画素がマップ検索による値に設定されている液晶パネル４を通過し得られたものである。

このとき、Ｓ１０９で輝度処理完了フラグがオンにセットされているので（Ｓ１０１：ＹＥＳ）、撮像制御部５は、画像データ有効フラグをオンにセットする（Ｓ１１０）。なお、撮像制御部５は、透過率設定処理と並行に、後述する障害物との距離を計算してブレーキ制御装置７へ送信する距離算出処理を実行する。障害物の距離の計算には、画像データ有効フラグがオンにセットされた際の画像が使用される。つまり、液晶パネル４の各画素の透過率が調整された状態でＣＭＯＳセンサ３により撮像された画像に基づいて、撮像制御部５及びブレーキ制御装置７によるブレーキの制御の処理が実行される。ブレーキ制御の処理は、まず、撮像制御部５が、ＣＭＯＳセンサ３より得られた画像によって車両１００の前方に障害物があるか否かを判定する。撮像制御部５は、車両１００の前方に障害物があると判定した場合、車両１００と当該障害物との距離を計算し、計算された当該距離は、撮像制御部５からブレーキ制御装置７へ伝達される。ブレーキ制御装置７は、伝達された当該距離に応じて、車両１００のブレーキを制御する。

次に、撮像制御部５は、ドライバ６を介し、液晶パネル４の全画素の透過率を１００％に設定し（Ｓ１１１）、Ｓ１１２に移行する。
Ｓ１１２で、撮像制御部５は、輝度処理完了フラグをオフにセットし、透過率設定処理を終了する。

以降、撮像装置１０は、シフトレバー位置がＤにある間、透過率設定処理をＣＭＯＳセンサ３の画像取り込みごとに行う。
［３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。

（１ａ）液晶パネル４は、レンズ２とＣＭＯＳセンサ３との間に設置され、複数の画素を有し、画素の光の透過率を各画素ごとに変更可能である。撮像制御部５は、ＣＭＯＳセンサ３によって取得されたＣＭＯＳセンサ３の各画素の光の輝度に応じて、液晶パネル４の各画素の透過率をそれぞれ設定する。したがって、本実施形態によれば、液晶パネル４によって撮像装置１０に入射する光の輝度が調整され、画像情報の欠落を抑える撮像装置１０の提供が可能となる。

（１ｂ）撮像制御部５は、ＣＭＯＳセンサ３によって取得されたＣＭＯＳセンサ３の各画素の輝度が高いほど、液晶パネル４の各画素の透過率を低く設定する。したがって、本実施形態によれば、画像情報を取得するために必要な光を遮ることを抑制しつつ、ＣＭＯＳセンサ３の輝度に応じて透過率を調整することができる。

（１ｃ）液晶パネル４の画素数は、ＣＭＯＳセンサ３の画素数と同じであり、液晶パネル４及びＣＭＯＳセンサ３は、１画素ごとにそれぞれ対になって配設される。ＣＭＯＳセンサ３は、レンズ２から入射し液晶パネル４の各画素を通過した光が、液晶パネル４の各画素と対になっているＣＭＯＳセンサ３の各画素へそれぞれ到達するように配設されている。したがって、本実施形態によれば、ＣＭＯＳセンサ３の各画素に液晶パネル４の透過率が設定され光の輝度が調整されるため、ＣＭＯＳセンサ３は、画像情報を取得するのに適した輝度を有する光を受光することができる。つまり、撮像制御部５は、より正確な画像情報を取得することができる。

（１ｄ）液晶パネル４は、ＣＭＯＳセンサ３の受光面を覆うように配設されている。つまり、液晶パネル４がＣＭＯＳセンサ３と当接し、液晶パネル４とＣＭＯＳセンサ３との間に空間が設けられている場合と比較して、液晶パネル４を通過した光が直接ＣＭＯＳセンサ３の各画素へ到達することができる。したがって、本実施形態によれば、ＣＭＯＳセンサ３の各画素は、透過率が反映された光を効果的に受光することができる。

なお、本実施形態では、ＣＭＯＳセンサ３が撮像素子の一例に相当し、液晶パネル４が遮光パネルの一例に相当し、撮像制御部５が制御部の一例に相当する。
［４．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

（２ａ）上記実施形態では、車両１００のシフトレバー位置がＤに設定されている状態において、撮像装置１０が車両１００の前方を撮像し、透過率設定処理が開始される構成を例示したが、これに限定されるものではない。例えば、シフトレバー位置がＲ（リバース）に設定されている状態において、後方を撮像し、透過率設定処理が開始されるようにしてもよい。また例えば、シフトレバー位置がＤ及びＲのいずれか一方に設定されている状態において、前方及び後方の両方を撮像し、透過率設定処理が開始される構成としてもよい。

（２ｂ）上記実施形態では、車両１００の外部からの光を撮像する撮像素子として、ＣＭＯＳセンサ３を用いる構成を例示したが、これに限定されるものではない。例えば、ＣＣＤなど他の撮像素子を用いてもよい。

（２ｃ）上記実施形態では、ＣＭＯＳセンサ３及び液晶パネル４が、同じ画素数を有する構成を例示したが、これに限定されるものではなく、同じ画素数を有さない構成としてもよい。例えば、ＣＭＯＳセンサ３の画素数よりも液晶パネル４の画素数が多く構成されていてもよい。また、その逆でもよい。

（２ｄ）上記実施形態では、撮像制御部５がＣＭＯＳセンサ３の各画素の光の明るさとして輝度を取得する構成を例示したが、これに限定されるものではなく、光の明るさを表す他のパラメータを取得する構成としてもよい。

（２ｅ）上記実施形態では、ＣＭＯＳセンサ３の各画素の輝度に応じて液晶パネル４の各画素の透過率が個別の値に設定された後、液晶パネル４の全画素の透過率が１００％に設定（リセット）される構成を例示したが、これに限定されるものではない。透過率の設定は、全画素の処理の終了ごとにリセットする構成としなくてもよい。例えば、液晶パネル４の各画素の透過率が個別の値に設定された後、透過率をリセットせず、当該個別の値よりもあらかじめ設定された値の分だけ透過率を上げ、再度透過率の設定の処理をする構成としてもよい。

（２ｆ）上記実施形態では、撮像制御部５が、取得した輝度Ａが範囲Ｅ内の場合、透過率Ｂを０％に設定する構成を例示したが、これに限定されるものではない。例えば、透過率Ｂを０％ではなく２０％までに下げる設定にするなど、透過率を０％まで下げない（光を完全には遮断しない）構成としてもよい。

（２ｇ）上記実施形態では、Ｓ１０４で取得されたＣＭＯＳセンサ３の各画素の輝度に応じて、液晶パネル４の各画素の透過率が設定される構成を例示したが、これに限定されるものではない。例えば、ＣＭＯＳセンサ３における互いに隣り合う画素間の輝度の差に応じて、段階的に透過率を変化させてもよい。具体的には、例えば、図４（Ｂ）に示す領域４１と領域４２との境界を挟んで隣接する画素間の輝度の差が、あらかじめ設定された一定の値以上あるとする（領域４２の輝度＞領域４１の輝度）。その場合、領域４１に近接する領域４２の画素（領域４２の外縁を形成する画素）には、マップに設定されている透過率よりも高く、領域４１よりも若干低い透過率を設定する。そして領域４２の外縁を形成する画素よりも一回り内側の画素は、外縁を形成する画素よりも更に低い透過率に設定するなど、領域４１から遠のくにつれ、領域４２の透過率を、段階的にマップに設定された値に近づける構成としてもよい。

（２ｈ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

２…レンズ、３…ＣＭＯＳセンサ、４…液晶パネル、５…撮像制御部、６…ドライバ、７…ブレーキ制御装置、１０…撮像装置、３１…景色、３２…太陽、４１，４２…範囲、５１…ＲＯＭ、５２…ＣＰＵ、１００…車両。

Claims

車両に搭載された撮像装置（１０）であって、
レンズ（２）と、
撮像素子（３）と、
前記レンズと前記撮像素子との間に設置され、複数のセルを有し、前記セルの光の透過率を各セルごとに変更可能な遮光パネル（４）と、
前記撮像素子によって取得された前記撮像素子の各画素の光の明るさに応じて、前記撮像素子の各画素に対応する前記遮光パネルの各セルの透過率をそれぞれ設定する制御部（５）と、
を備え、
前記遮光パネルのセルの数は、前記撮像素子の画素数と同じであり、
前記遮光パネルは、各セルごとに前記撮像素子の各画素とそれぞれ対になって配設され、
前記撮像素子は、前記レンズから入射し前記遮光パネルの各セルを通過した光が、前記遮光パネルの各セルと対になっている前記撮像素子の各画素へそれぞれ到達するように配設され、
前記制御部は、前記車両のシフトレバー位置がドライブ又はリバースに設定されている状態において、前記遮光パネルの各セルの透過率をそれぞれ設定する、撮像装置。
請求項１に記載の撮像装置であって、
前記制御部は、前記撮像素子の各画素の光の明るさに応じた前記遮光パネルの各セルの透過率をあらかじめ記憶したマップに基づき、前記遮光パネルの各セルの透過率をそれぞれ設定するものであって、前記撮像素子における互いに隣接する画素間の光の明るさの差が、あらかじめ設定された一定の値以上である場合、前記互いに隣接する画素のうち光が明るい方の画素に対応する前記セルの透過率を、前記マップに設定されている透過率よりも高く、前記互いに隣接する画素のうち光が暗い方の画素よりも低い透過率に設定する、撮像装置。
車両に搭載された撮像装置（１０）であって、
レンズ（２）と、
撮像素子（３）と、
前記レンズと前記撮像素子との間に設置され、複数のセルを有し、前記セルの光の透過率を各セルごとに変更可能な遮光パネル（４）と、
前記撮像素子によって取得された前記撮像素子の各画素の光の明るさに応じて、前記撮像素子の各画素に対応する前記遮光パネルの各セルの透過率をそれぞれ設定する制御部（５）と、
を備え、
前記遮光パネルのセルの数は、前記撮像素子の画素数と同じであり、
前記遮光パネルは、各セルごとに前記撮像素子の各画素とそれぞれ対になって配設され、
前記撮像素子は、前記レンズから入射し前記遮光パネルの各セルを通過した光が、前記遮光パネルの各セルと対になっている前記撮像素子の各画素へそれぞれ到達するように配設され、
前記制御部は、前記撮像素子の各画素の光の明るさに応じた前記遮光パネルの各セルの透過率をあらかじめ記憶したマップに基づき、前記遮光パネルの各セルの透過率をそれぞれ設定するものであって、前記撮像素子における互いに隣接する画素間の光の明るさの差が、あらかじめ設定された一定の値以上である場合、前記互いに隣接する画素のうち光が明るい方の画素に対応する前記セルの透過率を、前記マップに設定されている透過率よりも高く、前記互いに隣接する画素のうち光が暗い方の画素よりも低い透過率に設定する、撮像装置。
請求項１から請求項３までのいずれか１項に記載の撮像装置であって、
前記制御部は、前記撮像素子によって取得された前記撮像素子の各画素の光の明るさが明るいほど、前記遮光パネルの各セルの透過率を低く設定する、撮像装置。
請求項１から請求項４までのいずれか１項に記載の撮像装置であって、
前記遮光パネルは、前記撮像素子の受光面を覆うように配設されている、撮像装置。