JP4556777B2 - 夜間運転視界支援装置 - Google Patents

Description

本発明は、夜間運転視界支援装置に関するものである。

従来、ナイトビジョンシステム等の夜間の視界を確保するための技術が提案されている（例えば、特許文献１参照。）。この特許文献１に記載されている技術によれば、車両前方を撮影する赤外線カメラの映像をヘッドアップディスプレイに表示することで、可視光では確認できない歩行者等の存在を事前に認識可能とする。
特開平１１−２６３１４５号公報

上述した、夜間の視界を確保するナイトビジョンシステム等においては、車両の進路内に存在する歩行者等だけでなく、車両の進路に進入しそうな歩行者等も撮像できるよう、カメラの撮像範囲は、なるべく広角であること（言い換えれば、進路の上下・左右方向に幅広いこと）が望ましい。

しかしながら、撮像範囲を広角にすると、歩行者等の被写体がディスプレイ上で小さく映し出されることになる。そのため、従来は、撮像画像の一部分の範囲を表示エリアとして設定し、この表示エリア内の画像をディスプレイに表示することで、被写体がフォーカスして映し出されるようにしている。そのため、例えば、車両の進路が前方でカーブしている場合や、車両の進路の前方で道路の勾配が変化する場合に、進路の前方に存在する被写体を映し出すことができないことがあった。

また、従来、カメラの露出は、カメラの撮像した画像に対して露出制御に用いるべき領域を設定し、その領域の暗い部分についても明るく映し出されるように制御することで、暗い部分に存在する被写体に露出が合うようにしている。しかしながら、上記領域の明るい部分に被写体が存在する場合、上記領域の暗い部分についても明るく映し出されるように露出を制御すると、被写体に露出が合わず、白飛びした画像が映し出されてしまう。

本発明は、上記の問題を鑑みてなされたもので、被写体を鮮明に映し出すことができる夜間運転視界支援装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の夜間運転視界支援装置は、
車両に搭載され、車両の前方の画像を撮像する赤外線カメラと、
赤外線カメラの撮像した画像を表示する表示手段と、
赤外線カメラの撮像した画像に対して、赤外線カメラの露出を制御する際に用いるべき露出制御使用領域を設定し、当該露出制御使用領域の画像の明るさに基づいて赤外線カメラの露出制御を行う露出制御手段と、
車両の走行状況に応じて車両のヘッドライトの照射光軸を車両の上下、及び左右の少なくとも一方の方向に偏向する照射光軸偏向手段と、を備え、
露出制御手段は、照射光軸偏向手段によって偏向される照射光軸の偏向角度に基づいて、露出制御使用領域の設定位置、及び大きさの少なくとも一方を画像の左右方向に変更する露出制御使用領域変更手段を備えることを特徴とする。

上記照射光軸変更手段を備える車両においては、例えば、車両の進行方向等の走行状況に応じて、車両のヘッドライトの照射範囲が随時変更されるため、車両の進行方向に存在する歩行者等の被写体は、ヘッドライトの光を照射されることになる。

そこで、本発明では、照射光軸偏向手段によって偏向される照射光軸の偏向角度に基づいて、露出制御使用領域の設定位置、及び大きさの少なくとも一方を変更する。これにより、露出制御使用領域の明るい部分に被写体が存在する場合に、被写体に露出が合うように露出制御を行うことができる。その結果、明るい部分に存在する被写体を鮮明に映し出すことができる。

請求項２に記載の夜間運転視界支援装置によれば、露出制御使用領域変更手段は、露出制御使用領域が赤外線カメラの撮像した画像内のヘッドライトの照射範囲を含むように変更すること特徴とする。これにより、ヘッドライトの照射範囲に合わせて、露出制御使用領域を変更することができる。

以下、図面に基づいて、本発明の好ましい実施形態について説明する。図１は、実施形態による夜間運転視界支援装置の構成を示すブロック図である。図１に示すように、夜間運転視界支援装置は、カメラ１、制御部２、表示装置７、車両の走行状況に応じて、車両の前照灯（ヘッドライト）９の照射光軸を車両の上下方向や左右方向に偏向するＡＦＳ（Adaptive Front-lighting System）の制御装置であるＡＦＳ＿ＥＣＵ８、ステアリングセンサ１０、ピッチ角センサ１１を備えている。制御部２、ＡＦＳ＿ＥＣＵ８、ステアリングセンサ１０、及びピッチ角センサ１１は、車内ＬＡＮを介して接続されており、この車内ＬＡＮを介して各種情報の送受信を行う。

なお、本実施形態の前照灯９は、可視光の波長帯とともに、赤外光の波長帯を含む光を照射するものであるが、赤外光を照射する赤外投光器を別に設けて、この赤外投光器から赤外光を車両の進行方向前方に照射するようにしてもよい。

カメラ１は、車両に搭載され、車両の進行方向前方の画像を撮像するものであり、デジタル画像信号を制御部２へ出力するとともに、ＮＴＳＣ方式のアナログ画像信号を表示装置７に出力する。カメラ１は、可視光と赤外光の両方の波長帯に感度を有するイメージャ、ＦＰＧＡ（Fileld Programmable Gate Array）或いはＡＳＩＣ（Application Specific Integrated Circuit）を備える。このＦＰＧＡ（或いはＡＳＩＣ）は、画像切り出し部、増幅部、及びＡ／Ｄ変換部の各機能を備える。

画像切り出し部は、制御部２から指示されたカメラ制御値に含まれる切り出し位置に基づいて、撮像画像の一部分を表示エリアとして設定し、その設定した表示エリアに含まれるイメージャの各画素からの画素値（受光した光の強度に応じた値）信号を抽出する。

増幅部は、画像切り出し部の抽出した画素値信号を所定のゲインで増幅し、この増幅された画素値信号は、ＮＴＳＣ方式のアナログ画像信号に変換され、変換後の信号が保持される。また、増幅部は、イメージャの全ての画素からの画素値信号を所定のゲインで増幅し、Ａ／Ｄ変換部によって、デジタル画像信号に変換され、変換後の信号が保持される。ＦＰＧＡ（或いはＡＳＩＣ）は、この保持しているアナログ画像信号を画像の各ライン毎に表示装置７へ出力するとともに、デジタル画像信号を画像の各ライン毎に制御部２へ出力する。

制御部２は、ＡＦＳ_ＥＣＵ８からの照射光軸の偏向角度の情報を取得し、この偏向角度情報に応じて、上記表示エリアの設定位置を変更するための切り出し位置を求め、この切り出し位置の情報を含むカメラ制御値をカメラ１に出力する。また、制御部２は、画像のコントラストが適正になるようにカメラ１の露出制御を行う。つまり、制御部２は、カメラ１のシャータースピード及びフレームレート、さらに増幅部のゲインを調整するため、これらの調整指示値を含むカメラ制御値をカメラ１に出力する。

図２に示すように、制御部２は、画像インターフェース（Ｉ／Ｆ）３、ＣＰＵ４、メモリ５、及び通信Ｉ／Ｆ６を有する。画像Ｉ／Ｆ３は、カメラ１から出力されるデジタル画像信号の各画素値の位置情報等が入力され、その位置情報等をＣＰＵ４に伝達する。ＣＰＵ４は、画像Ｉ／Ｆ３によって伝達される位置情報に基づいて、デジタル画像の各ライン毎に出力される画素値が、いずれの画素位置に対応するものかを認識する。そして、認識した画素位置に対応するように、カメラ１から出力される画素値をメモリ５に記憶する。このようにして、メモリ５に、カメラ１から出力されるデジタル画像信号が保存される。

通信Ｉ／Ｆ６は、ＣＰＵ４と車内ＬＡＮとの間の通信を調整するものである。本実施形態では、ＣＰＵ４は、デジタル画像信号に所定の画像処理を施し、この画像処理を施した情報を車内ＬＡＮに送信する。表示装置７は、例えば、ヘッドアップディスプレイ（ＨＵＤ）であり、上記表示エリア内のアナログ画像信号を入力し、ディスプレイ上に表示エリアの画像を表示する。

ＡＦＳ_ＥＣＵ８は、車両のステアリングの操舵角を検出するステアリングセンサ１０、車両の車速を検出する車速センサ（図示しない）からの各検出結果に基づいて、前照灯９の照射光軸の偏向角度（車両の直進方向に照射光軸を合わせたときの角度を基準とする車両の上下方向、及び左右方向の角度）を算出し、前照灯９の照射光軸がこの偏向角度となるように制御する。また、ＡＦＳ＿ＥＣＵ８は、この偏向角度の情報を制御部２に出力する。

図３は、制御部２において実行される処理を示すフローチャートである。図３において
、まずステップＳ１１０では、カメラ１から出力されたデジタル画像信号の取り込みを行う。すなわち、上述したように、カメラ１から出力される位置情報に対応するように、デジタル画像信号を構成する各画素値をメモリ５に保存する。

ステップＳ１２０では、ＡＦＳ＿ＥＣＵ８からの偏向角度情報に基づいて、カメラ１における上記表示エリアの設定位置を変更するための切り出し位置を求める切り出し位置算出処理を行う。この処理について、図４に示すフローチャートを用いて説明する。図４に示すステップＳ２１０では、ＡＦＳの偏向角度情報を取得する。ステップＳ２２０では、偏向角度情報に基づいて、表示エリアの設定位置を変更するための切り出し位置を算出する。この切り出し位置の算出方法について、以下に説明する。

図６（ａ）に示すように、従来の夜間運転視界支援装置では、カメラ１の撮像した画像のうち、車両の前後軸を基準とする一部分の範囲を表示エリアとして設定し、この表示エリア内の画像を表示装置７に表示することで、被写体がフォーカスして映し出している。そのため、例えば、同図（ａ）に示すように車両の進路が前方でカーブしている場合、進路の前方に存在する被写体を映し出すことができないことがある。

そこで、ステップＳ２２０では、図６（ａ）に示したように、カメラ１の撮像した画像に対して設定する表示エリアを固定するのではなく、図６（ｂ）に示すように、車両前方の道路に関する道路関連情報に基づいて、表示エリアの設定位置を画像の左右方向に変更する。具体的には、道路関連情報としてのＡＦＳ_ＥＣＵ８からの偏向角度情報に基づいて車両前方の道路の形状を推定し、この推定した形状の道路が表示エリアに含まれるように表示エリアの設定位置を変更するための切り出し位置を算出する。

これにより、車両の進路が表示エリアに含まれるようになるため、車両の進路が前方でカーブしている場合であっても、そのカーブした進路を含む表示エリアを設定することができる。その結果、図６（ｂ）に示すように、例えば、車両の進路が前方でカーブしている場合であっても、カーブの内側や外側に存在する被写体を表示装置７に鮮明に映し出すことが可能となる。

ステップＳ２３０では、カメラ制御値に含めるべき切り出し位置をステップＳ２２０にて算出した切り出し位置に変更する。そして、図３に示すステップＳ１３０では、デジタル画像信号に所定の画像処理を施し、この画像処理を施した情報を車内ＬＡＮに送信する。ステップＳ１４０では、カメラ１の露出制御を行う。このカメラの露出制御処理について、図５のフローチャートに基づいて説明する。

図５において、まずステップＳ３１０では、ＡＦＳの偏向角度情報を取得する。ステップＳ３２０では、カメラ１から出力されるデジタル画像信号において、カメラ１の露出制御量を算出する際に用いるべき露出制御使用領域の設定位置や大きさを偏向角度情報に基づいて変更する。

すなわち、図７（ａ）に示すように、従来の夜間運転視界支援装置において、カメラ１の露出は、露出制御使用領域の暗い部分についても明るく映し出されるように制御することで、暗い部分に存在する被写体に露出が合うようにしている。しかしながら、上記領域の明るい部分に被写体が存在する場合、上記領域の暗い部分についても明るく映し出されるようにゲインを大きくする等して露出を制御すると、被写体に露出が合わず、白飛びした画像が映し出されてしまう。

つまり、ＡＦＳを備える車両においては、車両の進行方向等の走行状況に応じて、車両のヘッドライトの照射範囲が上下方向や左右方向に随時変更されるため、車両の進行方向に存在する歩行者等の被写体は、ヘッドライトの光を照射されることになる。従って、暗い部分に露出を合わせると、明るい部分に存在する被写体に露出が合わなくなる。

そこで、ステップＳ３２０では、図７（ｂ）に示すように、ＡＦＳの配光に応じて、露出制御使用領域の設定位置や大きさを画像の上下方向や左右方向に変更する。具体的には、ＡＦＳ_ＥＣＵ８からの偏向角度情報に基づいて、露出制御使用領域がカメラ１の撮像した画像内の前照灯９の照射範囲を含むように、露出制御使用領域の大きさを変えずに設定位置を画像の上下方向や左右方向に変更する。或いは、露出制御使用領域の上下又は／及び左右の境界位置を画像の上下方向や左右方向に変更して、露出制御使用領域の大きさを変更する。

これにより、前照灯９の照射範囲に合わせて露出制御使用領域が変更されるため、露出制御使用領域の明るい部分に被写体が存在する場合に、被写体に露出が合うように露出制御を行うことができる。その結果、明るい部分に存在する被写体を鮮明に映し出すことができる。

ステップＳ３３０では、露出制御使用領域の画素値を平均化して、露出制御使用領域の輝度を算出する。なお、撮像範囲の明るさのレベルと単純比例しない画素値を出力するカメラを使用する場合には、各画素の画素値をカメラの画素値特性に従って輝度に変換し、その上で、変換後の輝度を平均化して算出する。

ステップＳ３４０では、ステップＳ３３０で算出した露出制御使用領域の輝度がある輝度レベルの範囲内にあれば、露出制御量を現状の露出制御量のまま保持し、上記輝度レベルの範囲から外れる場合には、その範囲内に収めるための露出制御量を算出する。

ステップＳ３５０では、Ｓ２２０にて算出した切り出し位置を含み、かつ、Ｓ３４０にて算出した露出制御量に応じたカメラ制御値をカメラ１に出力する。なお、目標とする露出制御量が、ゲインやシャッタースピードの調整範囲を超えている場合には、フレームレートを変更することによって、目標とする露出制御量に対応するカメラ制御値を生成する。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に何ら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することができる。

例えば、本実施形態のＳ１２０における画像信号処理では、ＡＦＳ_ＥＣＵ８からの偏向情報に基づいて車両前方の道路の形状を推定し、この推定した形状の道路が表示エリアに含まれるように表示エリアの設定位置を変更しているが、例えば、車両前方の道路上の白線を認識する白線認識手段の白線認識結果、ステアリングセンサ１０の検出結果、ナビゲーションシステムに用いられる道路の曲率を含む道路データ等からも車両前方の道路の形状が推定可能である。従って、白線認識結果、操舵角センサの検出結果、道路データ等から車両前方の道路の形状に関する情報を取得するようにしてもよい。

また、本実施形態では、表示エリアの設定位置を左右方向に変更するものであるが、車両の進路の前方で道路の勾配が変化する場合に、進路の前方に存在する被写体を映し出すことができないこともある。このような場合には、例えば、ナビゲーションシステムに用いられる道路の勾配を含む道路データ等から車両前方の道路の勾配が把握できるため、この勾配に応じて、表示エリアの設定位置を上下方向に変更するようにしてもよい。

また、例えば、車両の後部座席に着座する乗員や車両の後部のトランクの積荷等の重量が重い場合、図８（ｂ）に示すように、車両の後部が沈み込み、その結果、車両のピッチ角が変化する。このように、車両のピッチ角が変化すると、赤外線カメラの撮像した画像は、図８（ａ）に示す通常の場合に対し、車両の上方向に変更される。その結果、進路の前方に存在する被写体を映し出すことができないことがある。

そこで、例えば、図１に示すピッチ角センサ１１の検出するピッチ角の大きさに基づいて、表示エリアの設定位置を上下方向に変更するようにしてもよい。これにより、例えば、車両の後部が沈み込む場合には、図９（ａ）に示す表示エリアの設定位置を、図９（ｂ）に示すように、カメラ１の撮像した画像の下方向に変更することが可能となる。

なお、ピッチ角センサ１１を備えていない場合には、例えば、エアサスペンションの適用された車両であれば、エアサスペンションのストローク量を検出する車輪高センサの検出結果から、車両のピッチ角を算出するようにすればよい。

また、逆に、車両の前部が沈み込む場合には、表示エリアの設定位置をカメラ１の撮像した画像の上方向に変更することが可能となる。その結果、進路の前方に存在する被写体を映し出すことができるようになる。

実施形態における夜間運転視界支援装置の構成を示すブロック図である。 制御部２の内部構成を示すブロック図である。 制御部２において実行される画像信号処理を示すフローチャートである。 画像信号処理を示すフローチャートである。 露出制御処理を示すフローチャートである。 （ａ）は、車両の前後軸を中心として設定される表示エリアを示す図であり、（ｂ）は、道路形状に応じて設定位置が変更される表示エリアを示す図である。 （ａ）は、露出制御使用領域の設定位置を示す図であり、（ｂ）は、ＡＦＳの配光に応じて設定位置や大きさが変更される露出制御使用領域を示す図でありである。 （ａ）は、車両のピッチ角が変更しない場合のイメージ図であり、（ｂ）は、車両のピッチ角が変更する場合のイメージ図である。 （ａ）、（ｂ）は、変更前の表示エリアの設定位置と変更後の表示エリアの設定位置を示す図である。

符号の説明

１ カメラ
２ 制御部
３ 画像Ｉ／Ｆ
４ ＣＰＵ
５ メモリ
６ 通信Ｉ／Ｆ
７ 表示装置
８ ＡＦＳ_ＥＣＵ
９ 前照灯
１０ ステアリングセンサ
１１ ピッチ角センサ

Claims (2)

1. 車両に搭載され、前記車両の前方の画像を撮像する赤外線カメラと、
   前記赤外線カメラの撮像した画像を表示する表示手段と、
   前記赤外線カメラの撮像した画像に対して、前記赤外線カメラの露出を制御する際に用いるべき露出制御使用領域を設定し、当該露出制御使用領域の画像の明るさに基づいて前記赤外線カメラの露出制御を行う露出制御手段と、
   前記車両の走行状況に応じて前記車両のヘッドライトの照射光軸を前記車両の上下、及び左右の少なくとも一方の方向に偏向する照射光軸偏向手段と、を備え、
   前記露出制御手段は、前記照射光軸偏向手段によって偏向される照射光軸の偏向角度に基づいて、前記露出制御使用領域の設定位置、及び大きさの少なくとも一方を変更する露出制御使用領域変更手段を備えることを特徴とする夜間運転視界支援装置。
2. 前記露出制御使用領域変更手段は、前記露出制御使用領域が前記赤外線カメラの撮像した画像内の前記ヘッドライトの照射範囲を含むように変更すること特徴とする請求項１記載の夜間運転視界支援装置。

Images