JP6244985B2 - カメラ装置 - Google Patents

Description

本発明は、移動体に搭載して実時間三次元計測に利用可能なカメラ装置に関する。

従来より、撮像対象に周期的に強度変化する照明光を照射し、撮像した複数の画像フレームに対して、照明光の変化に同期した同期検波を行うことにより、背景光の影響やノイズを低減する同期検波技術が知られている（特許文献１、非特許文献１）。

特開２００９−１０３４６４号公報

"Smart Image Sensor with High-Speed and High-Sensitivity ID Beacon Detection for Augmented Reality System".Journal of Image Information and Television Engineers,Vol.58,No.6,pp.835-841,Jun.2004,Y.Oike,M.Ikeda,and K.Asada.

ところで、移動体に搭載したカメラで撮影を行うと、撮影した画像には、撮影対象物の相対的な動きによるいわゆる「動きノイズ」と、主として固体撮像デバイスの電荷読出時のノイズや熱雑音に由来する「ランダムノイズ」が含まれることが知られている。

しかしながら上記従来技術によれば、撮影対象物の動きや、カメラから撮影対象物までの距離に関係なく、一定の画像フレーム数を使用して同期検波を行っていた。このため、画像上の動きの遅い領域に合わせて同期検波に使用する画像フレーム数を多くすると、ランダムノイズを低減できるものの、動きの速い領域での動きノイズが増加する。逆に、画像上の動きの速い領域に合わせて同期検波に使用する画像フレーム数を少なくすると、動きノイズを低減できるものの、動きの遅い領域でのランダムノイズの低減度が低下する。このように、従来技術では、同期検波に使用する画像フレーム数を一定としているため、動きノイズの低減と、ランダムノイズの低減とが両立しないという問題点があった。

上記問題点を解決するために本発明のカメラ装置は、露光制御部の制御に従って画像撮像部が撮像した画像情報を出力し、画像撮像部の露光に同期して投光部が投光し、画像情報及び投光部の投光情報を相互に関連付けて画像記憶部に記憶する。そして、画像上の動量きに応じて複数の画像領域を設定し、画像領域毎に動き量が大きい画像領域ほど、同期検波に使用するフレーム数を少なく設定し、設定したフレーム数を用いて画像領域別に同期検波処理を行うことを特徴とする。

本発明によれば、動きノイズとランダムノイズとの双方のノイズを低減した同期検波画像が得られるカメラ装置を提供することができるという効果がある。

本発明に係るカメラ装置の実施形態の構成を説明する制御ブロック図である。 同期検波に使用するフレーム数を説明する図である。 画像の領域の分割例と、領域毎に使用するフレーム数の例を説明する図である。 実施形態の動作を説明するフローチャートである。 同期検波に使用するフレーム数に対するランダムノイズのノイズ強度と動きノイズのノイズ強度を説明する図である。

次に、図面を参照して、本発明の実施の形態を詳細に説明する。図１は、本発明に係るカメラ装置の実施形態の構成を説明する制御ブロック図である。図１において、カメラ装置１は、撮影範囲の画像を撮像して画像情報を出力する画像撮像部７と、画像撮像部７の露光を制御する露光制御部５と、画像撮像部７の露光に同期して撮影範囲の少なくとも一部に照射する投光部３とを備える。また、カメラ装置１は、画像撮像部７が出力する画像情報及びこの画像情報の撮像時の投光部３の投光情報を相互に関連付けて記憶する画像記憶部９と、前記画像上に複数の画像領域を設定する画像領域設定部１１とを備える。

さらに、カメラ装置１は、画像領域毎に動き量が大きい画像領域ほど、同期検波に使用するフレーム数を少なく設定する使用フレーム数設定部１３と、使用フレーム数設定部１３が設定したフレーム数を用いて画像領域別に同期検波処理を行う領域別同期検波処理部１５を備える。画像出力部１７は、領域別に同期検波処理された画像を合成して、検波画像として出力するものである。

本実施形態では、カメラ装置１は、車両前方の画像を撮像して出力する場合を説明するが、車両側方の画像或いは車両後方の画像を撮像するカメラ装置へ適用できることは明らかである。投光部３は、車両の前部、例えば、車両のフロントバンパーに設けられ、車両前方の撮影範囲の少なくとも一部を照射する。投光部３が撮影範囲へ照射する光の強度（或いは光量、以下、投光強度と略す）は、露光制御部５から与えられる制御信号により、投光強度が時間経過に従って一定の周期で変化する光である。投光部３が照射する光は、連続光であってもよいし、パルス光であってもよいが、連続光の場合、画像撮像部７が露光していない時間帯にも光を照射するために、光のエネルギー効率が低下する。本実施形態では、画像撮像部７が撮像する各フレームの露光時間に同期したパルス光としている。

投光部３の具体的な光源としては、キセノンランプ、水銀灯、発光ダイオード等が光源として利用可能である。光源の寿命の長さ、光源を駆動する電源の小型軽量化、投光強度の制御性、投光部３全体の車両への搭載の容易性からは、発光ダイオードが好ましい。

図２（ａ）は、画像撮像部７が撮像する動画像の連続する６フレームに相当する期間に投光部３が照射する投光強度の変化が１周期分（Ｔ1 ）に対応する例を示している。図２（ｂ）は、画像撮像部７が撮像する動画像の連続する１２フレームに相当する期間に投光部３が照射する投光強度の変化が２周期分（Ｔ2 ＝２Ｔ1 ）に対応する例を示している。実際には、投光部３の投光強度は、最小値が０なので、正弦波に、この正弦波のピークツーピーク値の１／２の直流分を加算した式（１）に示すような投光強度の波形となる。

投光強度＝Ａ（１＋sin（ωｔ＋α）） …（１）
ただし、ω＝２π／Ｔ1
同期検波によるランダムノイズの抑制効果は、同期検波に使用するフレーム数を多くするほど高まるが、フレーム数を多くするほど動きノイズが大きくなり、従来の技術では、同期検波に使用するフレーム数を一定としていた。本発明では、画像を複数の領域に分割し、同期検波に使用するフレーム数を分割した画像領域毎に変化させることにより、ランダムノイズと動きノイズの双方を低減した同期検波画像を得ることができる。

画像撮像部７は、ＣＣＤやＣＭＯＳ等の２次元に光電変換素子が配列された半導体撮像素子を用いて、車両前方の画像を撮像して画像情報を出力する画像撮像部である。画像撮像部７は、例えば、車両のフロントガラス（ウインドシールド）上端部の車内側、或いは、ルーフの前端部の車外に設けられ、車両前方の画像を撮影可能となっている。

露光制御部５、画像記憶部９、画像領域設定部１１、使用フレーム数設定部１３、領域別同期検波処理部１５及び画像出力部１７は、ＣＰＵとプログラムＲＯＭとＲＡＭと入出力インタフェースとを備えた図示しないマイクロコンピュータで構成されている。そして、露光制御部５、画像記憶部９、画像領域設定部１１、使用フレーム数設定部１３、領域別同期検波処理部１５及び画像出力部１７の機能は、ＣＰＵが制御プログラムを実行することにより実現される。尚、比較的低速のプログラムＲＯＭに記憶された制御プログラムは、リセット時に比較的高速のＲＡＭのプログラムエリアに読み出されて実行が開始される。画像記憶部９は、ＲＡＭ内に同期検波に使用するフレーム数より多いフレーム数の画像を記憶するエリアとして確保され、エリアが満杯となると、最も古いフレームが順次新しいフレームの画像情報で上書きされる領域である。

露光制御部５は、画像撮像部７のフレーム毎の露光を制御するとともに、投光部３の投光タイミング及び投光強度、言い換えれば投光時の光量を制御する。さらに、露光制御部５は、画像撮像部７が撮像したフレーム毎の画像情報に対する、そのフレームが撮影されたときの投光部３の投光情報として、例えば、図２に示した投光強度の変化の位相情報をフレーム毎に画像記憶部９へ出力する。

画像記憶部９は、画像撮像部７で撮像されたフレーム毎の画像情報に、露光制御部５が出力した投光情報を関連付けてフレーム毎に順次記憶する。画像領域設定部１１は、画像記憶部９に記憶された画像情報に対して、各フレーム毎に複数の画像領域を設定する。複数の画像領域を設定する場合、例えば、画像中の消失点の位置を計算し、消失点の位置から各画素の位置までの距離に応じて、画像を複数の領域に分割することにより、複数の領域を設定する。画像中の消失点の位置を求めるには、画像中から道路面上の路側帯と走行車線の境界を示す白線、または走行車線を区切る白線による破線、或いはセンターライン等を抽出し、これら白線等を延長した線の交点の位置を計算して、消失点の位置とする。白線または走行車線を区切る線の検出方法は、本願出願人による特開２００７−００３２８６号公報（特許第４６６５６２２号）等の走行車線を検出する技術により公知であるので省略する。

次に図３を参照して、画像中の消失点Ｐｖの例と、消失点Ｐｖの位置からの距離に応じて、画像を複数の領域に分割して、各領域を設定する例を説明する。図３の例では、消失点Ｐｖからの距離が短い順に、３つの領域Ａａ、Ａｂ、Ａｃに分割した例を示している。尚、領域の分割数は、３に限らず、２以上の領域であれば、２，４，５等，幾つでもよい。また、図３では、消失点Ｐｖを含む長方形の領域Ａａと、その外側の長方形から長方形の領域Ａａをくり抜いた形状の領域Ａｂと、領域Ａａ及び領域Ａｂの外側に存在するフレーム画像の残りの領域からなる領域Ａｃとした。しかしながら、分割する領域の境界線の形状は、長方形に限らず、それぞれ消失点Ｐｖを中心とする同心円状としてもよい。この場合、分割された領域の形状は、消失点Ｐｖを含む円形と、その外側のリング形状となる。但し、最も外側の領域は、長方形から円形をくり抜いた形状となる。

このように画像の消失点Ｐｖからの距離が短い順に、画像の領域を複数の領域に分割すると、カメラからの距離が長い領域と、中間領域と、距離が短い領域に画像を領域分割することができる。そして、カメラからの距離が長い領域ほど、その領域の画像上での撮影対象の動き量は小さいと考えられる。逆に、カメラからの距離が短い領域ほど、その領域の画像上での撮影対象の動き量は大きいと考えられる。即ち、画像の消失点から各画素までの距離に応じて画像の領域を分割して、複数の領域を設定したことになる。

また、画像領域設定部１１が設定する画像領域分割の基準点は、消失点Ｐｖに限らず、画像の中心点としてもよい。画像の中心点とは、画像の一隅に設定した原点の画素番号座標を（１，１）とし、画像の横方向の画素数をＮｈ、縦方向の画素数をＮｖとしたとき、（Ｎｈ／２，Ｎｖ／２）の画素番号を有する画素が画像の中心点である。この場合も、消失点を基準とした場合と同様に、画像の中心点から近い順に、領域Ａａ、Ａｂ、Ａｃに分割することができる。

画像領域分割の基準を画像の中心点とする場合、白線検出や消失点の位置計算を省略することができ、画像領域分割が容易となるという効果がある。

尚、画像撮像部７の光軸が、車両の前後方向軸と平行、且つ、水平となるように車両に取り付けられ、車両が平坦な直線路を直進している際には、画像の消失点の位置と画像の中心点の位置とが一致することは、幾何学的に明らかである。

使用フレーム数設定部１３は、消失点Ｐｖの位置に近ければ近いほど、各領域の画像上での撮影対象の動きが遅いとして、消失点Ｐｖの位置に近い順に、領域の画像の同期検波に使用するフレーム数が多くなるように設定する。逆に、消失点Ｐｖから遠ざかるほど、領域の画像の同期検波に使用するフレーム数を少なくなるように設定する。即ち、領域Ａａの同期検波に使用するフレーム数を１８とし、領域Ａｂの同期検波に使用するフレーム数を１２とし、領域Ａｃの同期検波に使用するフレーム数を６としている。画像の中心点を基準として、中心点からの距離に応じて画像を複数の領域に分割した場合も、消失点からの距離が短い順に分割した場合と同様に、領域毎にフレーム数を設定する。

領域別同期検波処理部１５は、画像領域設定部が設定した画像の各領域毎に、使用フレーム数設定部１３が設定したフレーム数を使用して、画像の同期検波処理を行う。画像の同期検波処理そのものは、先行技術文献欄で紹介した特許文献１や非特許文献１等に記載されている周知技術であるので、説明を省略する。

画像出力部１７は、領域別同期検波処理部１５が処理した、領域毎の同期検波画像を合成して、検波画像として出力する。

次に、図４のフローチャートを参照して、本実施形態のカメラ装置１の動作を説明する。図４のフローチャートは、上述したＣＰＵが実行する制御プログラムの概略である。まず、カメラ装置１の電源が投入されると、図示しないリセット動作が行われ、図４のフローチャートの実行が開始される。

まずステップＳ１０２において、画像撮像部７に対して１つのフレームの露光開始を指示する。次いでステップＳ１０４において、投光周期の位相に応じた投光パルスを生成する。この投光パルスは、図２に示したように、例えば、式（１）で示した投光強度に応じてパルス振幅変調（ＰＡＭ）するか、或いは、パルス幅変調（ＰＷＭ）したものとなる。ＰＡＭとＰＷＭのいずれの変調方式をとるかは、投光部３に使用する光源に応じて設定すればよい。一般に、光源がキセノンランプのような放電管であれば、放電管に印加する電圧を変化させるＰＡＭが適し、発光ダイオードのような光源では、電流のパルス幅を変化させるＰＷＭが適している。

次いでステップＳ１０６において、この投光パルスを投光部３へ出力して投光部３から投光し、画像撮像部７の撮影範囲を照射する。次いでステップＳ１０８において、１つのフレームの露光時間が経過するまで待機する。１つのフレームの露光時間が経過すると、ステップＳ１１０へ制御を進める。ステップＳ１１０では、画像撮像部７に対して露光終了を指示する。次いでステップＳ１１２において、ステップＳ１０４で投光パルスを生成したときの投光周期の位相情報を画像記憶部９へ出力する。次いでステップＳ１１４において、画像記憶部９に１フレーム分の画像情報と、この画像情報が撮像されたときの投光周期の位相情報を相互に関連付けて記憶させる。

次いでステップＳ１１６において、同期検波に使用するフレーム数の画像が画像記憶部９に有るか否かを判定する。同期検波に使用するフレーム数の画像がなければ、新たなフレームを取得するためにステップＳ１０２へ戻る。ステップＳ１１６の判定において、同期検波に使用するフレーム数の画像が画像記憶部９に有れば、制御をステップＳ１１８へ進める。

ステップＳ１１８では、画像記憶部９に記憶した画像を読み出す。次いでステップＳ１２０においては、画像上から路面に引かれた連続した白線または破線の白線のいずれかから２本以上の白線を検出し、これらの線を延長して得られる交点の位置を消失点の位置として算出する。次いでステップＳ１２２において、消失点の位置からの距離に応じて、画像を複数の画像領域に分割する。次いでステップＳ１２４において、ステップＳ１２２で分割した領域毎の同期検波に使用するフレーム数を設定する。次いでステップＳ１２６において、ステップＳ１２４で設定したフレーム数を使用して、分割した領域毎に画像の同期検波処理を行う。次いでステップＳ１２８で全ての領域で同期検波処理が完了したか否かを判定する。完了していなければ、未処理の領域の使用フレーム数を設定するためにステップＳ１２４へ戻る。ステップＳ１２８の判定で完了していれば、ステップＳ１３０へ制御を進める。

ステップＳ１３０においては、領域別に同期検波処理された画像を一つの画像に合成する。次いでステップＳ１３２において、合成された画像を検波画像として出力する。次いでステップＳ１３４において、電源オフか否かを判定し、電源オフであれば、動作を終了する。ステップＳ１３４の判定において、電源オフでなければ、次のフレーム画像を取得するために、ステップＳ１０２へ戻る。

このように、本実施形態では、例えば、図３に示したように、消失点Ｐｖに近く動きの遅い画像の領域Ａａ、即ち、画像フレーム毎の画像上での撮影対象の動き量が小さい領域では、同期検波に使用するフレーム数を多くし、１８フレームとしている。逆に、消失点Ｐｖから遠く動きの速い画像の領域Ａｃ、即ち、画像フレーム毎の画像上での撮影対象の動き量が大きい領域では、同期検波に使用するフレーム数を少なくし、６フレームとしている。そして、領域Ａａと領域Ａｃとの中間の領域Ａｂでは、両者の中間のフレーム数である１２フレームとしている。このため、従来例の同期検波に使用するフレーム数を固定した場合に対して、動きノイズとランダムノイズとの双方のノイズを低減した同期検波画像が得られるという効果がある。画像の領域分割の基準に画像中心点を用いた場合も同様の効果がある。

次に、図５を参照して、本実施形態の効果を定量的に説明する。ランダムノイズの強度をＮｒ，動きノイズ強度をＮｍ，同期検波に使用するフレーム数に相当する時間をＴ、撮影対象とカメラ装置の相対速度をＶｐとする。

ランダムノイズＮｒは、次の式（２）で示される。即ち、ランダムノイズＮｒは、同期検波に使用するフレーム数に相当する時間Ｔの平方根の逆数に比例する。

Ｎｒ∝１／√Ｔ …（２）
動きノイズＮｍは、次の式（３）で示される。即ち、動きノイズＮｍは、相対速度Ｖｐと同期検波に使用するフレーム数に相当する時間Ｔとの積に比例する。従って、動きノイズＮｍは、相対速度Ｖｐが大きいほど傾きが大きい直線となる。

Ｎｍ∝Ｖｐ・Ｔ …（３）
例えば、従来例では、撮影対象の動きに係わらず一律に６フレームを使用して同期検波していた。本実施形態では、画像上での撮影対象の動きの速い領域では、６フレームを使用して同期検波し、画像上での撮影対象の動きの遅い領域では、１８フレームを使用して同期検波している。これにより、画像上での撮影対象の動きの遅い領域で、ランダムノイズを従来比約３０％低減することができる。

以上、好ましい実施形態を説明したが、これは本発明を限定するものではない。本発明の権利範囲は、特許請求の範囲の記載に基づいて判断されるべきものである。

１ カメラ装置
３ 投光部
５ 露光制御部
７ 画像撮像部
９ 画像記憶部
１１ 画像領域設定部
１３ 使用フレーム数設定部
１５ 領域別同期検波処理部
１７ 画像出力部

Claims (6)

1. 撮影範囲の画像を撮像して画像情報を出力する画像撮像部と、
   前記画像撮像部の露光を制御する露光制御部と、
   前記画像撮像部の露光に同期して前記撮影範囲の少なくとも一部に投光する投光部と、
   前記画像情報及び該画像情報の撮像時の前記投光部の投光情報を相互に関連付けて記憶する画像記憶部と、
   前記画像上の動き量に応じて複数の画像領域を設定する画像領域設定部と、
   前記画像領域毎に動き量が大きい画像領域ほど、同期検波に使用するフレーム数を少なく設定する使用フレーム数設定部と、
   前記使用フレーム数設定部が設定したフレーム数を用いて前記画像領域別に同期検波処理を行う領域別同期検波処理部と、
   を備えたことを特徴とするカメラ装置。
2. 前記画像領域設定部は、
   前記画像撮像部が撮像した画像における消失点からの距離に応じて、前記複数の画像領域を設定することを特徴とする請求項１に記載のカメラ装置。
3. 前記画像領域設定部は、
   前記画像撮像部が撮像した画像における画像中心点からの距離に応じて、前記複数の画像領域を設定することを特徴とする請求項１に記載のカメラ装置。
4. 前記使用フレーム数設定部は、
   前記画像撮像部が撮像した画像における消失点から各画像領域の距離が短いほど使用フレーム数を多く設定し、距離が長いほど使用フレーム数を少なく設定することを特徴とする請求項１または請求項２に記載のカメラ装置。
5. 前記使用フレーム数設定部は、
   前記画像撮像部が撮像した画像における画像中心点から各画像領域の距離が短いほど使用フレーム数を多く設定し、距離が長いほど使用フレーム数を少なく設定することを特徴とする請求項１または請求項３に記載のカメラ装置。
6. 前記領域別同期検波処理部は、
   前記画像領域設定部が設定した各領域において、前記使用フレーム数設定部が設定した使用フレーム数に基づいて同期検波処理を行うことを特徴とする請求項１乃至請求項５の何れか１項に記載のカメラ装置。