JP7115253B2 - 車載カメラシステム - Google Patents

Description

本発明は、車載カメラシステムに関する。

従来、車載カメラの画像認識に関する技術文献として、特許第６１７６０２８号公報が知られている。この公報には、車両前方を向く車載カメラで撮像した一つの画像データから複数のフィルタを用いて明るさの異なる複数の個別画像データを生成することにより、個別画像データのいずれかで白飛びや黒つぶれが生じても、白飛びや黒つぶれが生じていない個別画像データを用いて先車両などの対象物の画像認識を行うシステムが記載されている。

特許第６１７６０２８号公報

ところで、車両がトンネルから抜けた後など、急激な照度変化が生じる場合において車載カメラの絞り変更が対応できずに白飛びなどが生じることが知られている。上述した従来のシステムでは、一つの画像データから明るさの異なる複数の個別画像データを生成して、白飛びなどの生じていない個別画像データを選別している。しかし、このような処理を常時行うことは容易ではない。このため、車両の走行によって急な照度変化が生じる状況に応じて車載カメラを制御することにより撮像を適切に継続できる車載カメラシステムが望まれている。

本発明の一態様は、車両の前方を撮像する遠方カメラ及び近傍カメラを備える車載カメラシステムであって、車両の走行中に、車両の前方の照度変化により遠方カメラの撮像画像が照度異常になったか否かを判定する判定部と、判定部により遠方カメラの撮像画像が照度異常になったと判定された場合に、近傍カメラの絞り制御を行う絞り制御部と、判定部により遠方カメラの撮像画像が照度異常になったと判定された場合に、車両の走行により遠方カメラの撮像画像の照度正常化が生じたか否かを判定する照度正常化判定部と、を備え、絞り制御部は、照度正常化判定部により遠方カメラの撮像画像の照度正常化が生じたと判定されたときには、近傍カメラの絞り制御をキャンセルする。

本発明の一態様に係る車載カメラシステムでは、車両の走行中に車両の前方を撮像する遠方カメラの撮像画像が照度異常になったと判定された場合に、車両の前方を撮像する近傍カメラの絞り制御を行うので、車両がトンネルから抜ける場合など急な照度変化が生じる状況において、遠方カメラに続いて近傍カメラの撮像画像に照度異常が発生することを抑制することができ、近傍カメラによる撮像を適切に継続することができる。

本発明の一態様に係る車載カメラシステムにおいて、判定部により遠方カメラの撮像画像が照度異常になったと判定された場合に、車両の走行距離又は経過時間に基づいて車両が予め設定された絞り開始タイミングになったか否かを判定するタイミング判定部を更に備え、絞り制御部は、タイミング判定部により車両が絞り開始タイミングになったと判定されたときに近傍カメラの絞り制御を開始してもよい。
この車載カメラシステムによれば、遠方カメラの撮像画像が照度異常になったと判定された場合であっても、近傍カメラの撮像画像に照度異常が生じるまでには時間差があることから、車両が絞り開始タイミングになったと判定されたときに近傍カメラの絞り制御を開始することで、早すぎる絞り制御となることを避け、適切なタイミングで近傍カメラの絞り制御を実行することができる。

本発明の一態様に係る車載カメラシステムにおいて、絞り制御部は、段階的に絞り制御が進められている場合には、近傍カメラを絞り制御を行う前の状態に戻すことで絞り制御をキャンセルしてもよい。本発明の一態様に係る車載カメラシステムにおいて、絞り制御部は、絞り制御が完了してから一定時間以内に、照度正常化判定部により遠方カメラの撮像画像の照度正常化が生じたと判定されたときには、近傍カメラを絞り制御を行う前の状態に戻すことで絞り制御をキャンセルしてもよい。更に、この絞り制御部は、絞り制御が完了してから一定時間が経過した場合には、照度正常化判定部により遠方カメラの撮像画像の照度正常化が生じたと判定されたとしても、絞り制御のキャンセルを行わなくてもよい。

本発明の一態様に係る車載カメラシステムによれば、車両の走行によって急な照度変化が生じる状況に応じて近傍カメラによる撮像を適切に継続することができる。

一実施形態に係る車載カメラシステムを示すブロック図である。 遠方カメラ及び近傍カメラの一例を説明するための平面図である。 遠方カメラの撮像画像の照度正常化が生じる一例を説明するための平面図である。 車載カメラシステムの絞り制御処理の一例を示すフローチャートである。 車載カメラシステムの絞り制御キャンセル処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

図１は、一実施形態に係る車載カメラシステムを示すブロック図である。図１に示す車載カメラシステム１００は、乗用車などの車両に搭載され、車両の周囲を撮像するカメラシステムである。

［車載カメラシステムの構成］
図１に示すように、車載カメラシステム１００は、遠方カメラ１、近傍カメラ２、及びカメラＥＣＵ[Electronic Control Unit]１０を有している。遠方カメラ１及び近傍カメラ２は、車両の前方を撮像するカメラである。遠方カメラ１及び近傍カメラ２は、例えば車両のフロントガラスの裏側に設けられている。遠方カメラ１及び近傍カメラ２は、別体のカメラとして構成されていてもよく、ボディの一部を共有する一体型のカメラとして構成されていてもよい。

図２は、遠方カメラ及び近傍カメラの一例を説明するための平面図である。図２に、トンネル内を走行中の車両Ｍ、遠方カメラ１の撮像範囲Ａ１、近傍カメラ２の撮像範囲Ａ２を示す。また、図２に、車両Ｍの走行車線Ｒ１、隣接車線Ｒ２、走行車線Ｒ１の右側区画線Ｌａ、走行車線Ｒ１及び隣接車線Ｒ２の間の区画線Ｌｂ、隣接車線Ｒ２の左側区画線Ｌｃ、トンネル壁Ｗ、トンネル出口Ｅｎを示す。トンネル外はまぶしい日差しが降り注ぐ環境であり、トンネル内とトンネル外で照度に大きな差があるものとする。

図２に示すように、遠方カメラ１は、近傍カメラ２と比べて車両Ｍの遠方を撮像するためのカメラである。遠方カメラ１の撮像範囲Ａ１は、近傍カメラ２の撮像範囲Ａ２より遠方の範囲を含んでいる。近傍カメラ２は、遠方カメラ１と比べて車両Ｍの近傍を撮像するためのカメラである。近傍カメラ２の撮像範囲Ａ２は、例えば遠方カメラ１の撮像範囲Ａ１と比べて車両Ｍの近傍で幅広の範囲を含んでいる。なお、近傍カメラ２の撮像範囲Ａ２は、必ずしも遠方カメラ１の撮像範囲Ａ１より幅広の範囲に限定されない。

カメラＥＣＵ１０は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]、ＣＡＮ［Controller Area Network］通信回路等を有する電子制御ユニットである。カメラＥＣＵ１０では、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。カメラＥＣＵ１０は、複数の電子ユニットから構成されていてもよい。カメラＥＣＵ１０は、車両の各種制御を行う車両のＥＣＵと一体であってもよい。

図１に示すように、カメラＥＣＵ１０は、判定部１１、タイミング判定部１２、照度正常化判定部１３、及び絞り制御部１４を有している。

判定部１１は、車両Ｍの走行中に、車両Ｍの前方の照度変化により遠方カメラ１の撮像画像が照度異常になったか否かを判定する。照度変化による照度異常とは、照度が急変することによる撮像の異常である。照度変化による照度異常には、いわゆる白飛び（ホワイトアウト）や黒つぶれ（ブラックアウト）が含まれる。判定部１１は、遠方カメラ１の撮像画像に基づいて照度異常になったか否かを判定する。

このような照度異常は、一例として、図２に示すように暗いトンネル内を走行する車両Ｍがトンネル出口Ｅｎに近づき、トンネル内の暗さに調整されていた遠方カメラ１の撮像範囲Ａ１にトンネル外のまぶしい光が入り込むことで発生する。このような状況はトンネルに限らず、屋内駐車場（例えば立体駐車場）でも生じ、屋外であってもビルなどの影から車両Ｍが出るときなどに発生する。判定部１１は、遠方カメラ１の撮像画像において照度の影響により物標（標識など）や区画線の認識が不能になったときに、照度異常になったと判定してもよい。

タイミング判定部１２は、判定部１１により遠方カメラ１の撮像画像が照度異常になったと判定された場合に、車両Ｍの走行距離又は経過時間に基づいて車両Ｍが予め設定された絞り開始タイミングになったか否かを判定する。絞り開始タイミングは、車両Ｍの走行距離又は経過時間に対して予め設定されたタイミングである。

絞り開始タイミングは、遠方カメラ１と近傍カメラ２の焦点距離の違いに基づいて予め決められてもよい。例えば図２に示す状況において遠方カメラ１の撮像画像に照度異常が生じたとしても、近傍カメラ２の撮像画像に照度異常が生じるまでには時間差があることから、絞り開始タイミングを設定することによりトンネル内における近傍カメラ２の適切な撮像状態を維持しつつ絞り開始タイミング後に近傍カメラ２に照度異常が生じることを抑制することができる。

タイミング判定部１２は、例えば、判定部１１により遠方カメラ１の撮像画像が照度異常になったと判定されてからの車両Ｍの走行距離が予め設定された絞り開始走行距離に至ったときに、車両Ｍが絞り開始タイミングになったと判定する。走行距離は、車速センサによる車輪の回転数などから取得できる。タイミング判定部１２は、判定部１１により遠方カメラ１の撮像画像が照度異常になったと判定されてからの経過時間が予め設定された絞り開始時間に至ったときに、車両Ｍが絞り開始タイミングになったと判定してもよい。絞り開始走行距離及び絞り開始時間は、遠方カメラ１と近傍カメラ２の焦点距離の違いに基づいて予め決められてもよい。絞り開始時間は、車速が大きいほど短い時間として設定されてもよい。

照度正常化判定部１３は、判定部１１により遠方カメラ１の撮像画像が照度異常になったと判定された場合に、車両Ｍの走行により遠方カメラ１の撮像画像の照度正常化が生じたか否かを判定する。車両Ｍの走行による照度正常化とは、照度異常が生じた後、絞り制御などを行う前に車両Ｍの走行（例えば車両Ｍの向きの変更）によって照度異常が解消することである。なお、車両Ｍの向きの変化や車両Ｍの走行を必ずしも検出する必要はない。照度正常化判定部１３は、遠方カメラ１の撮像画像に基づいて照度正常化を判定する。

ここで、図３は、遠方カメラの撮像画像の照度正常化が生じる一例を説明するための平面図である。図３に、トンネル内の分岐路Ｒ３、分岐路Ｒ３に向かって進入する車両Ｍの進路Ｄ、分岐路Ｒ３に進入したときの車両Ｍの位置Ｍｆを示す。図３に示す状況において、車両Ｍは、前方のトンネル出口Ｅｎに近づいたため遠方カメラ１の撮像画像に照度異常が生じたと判定されたが、車両Ｍが分岐路Ｒ３に進入することにより遠方カメラ１の撮像範囲Ａ１はトンネル内となるので撮像画像の照度正常化が生じることになる。

絞り制御部１４は、タイミング判定部１２により車両Ｍが絞り開始タイミングになったと判定された場合に、近傍カメラ２の絞り制御を行う。近傍カメラ２の絞り制御は、例えば遠方カメラ１の撮像画像の照度異常に応じて行われる。

具体的に、絞り制御部１４は、遠方カメラ１の照度異常が白飛びである場合、近傍カメラ２の絞りを狭めるように制御する。絞り制御部１４は、遠方カメラ１の照度異常が黒つぶれである場合、近傍カメラ２の絞りを広げるように制御する。絞り制御部１４は、遠方カメラ１の撮像画像の照度異常の程度を複数段階に分類して、段階ごとに異なる近傍カメラ２の絞り制御を行ってもよい。なお、絞り制御部１４は、遠方カメラ１の照度異常の内容に関わらず、近傍カメラ２により車両Ｍからみて前方奥側の区画線、物標（標識など）が認識できるように絞り制御を行ってもよい。

絞り制御部１４は、近傍カメラ２の絞り制御として、車両Ｍの走行距離又は経過時間に応じた複数段階の絞りの調整を行ってもよい。絞り制御部１４は、例えば車両Ｍが絞り開始タイミングになったと判定された後、一定の走行距離ごとに絞りの調整を段階的に進めることで近傍カメラ２の絞り制御を行う。絞り制御部１４は、例えば車両Ｍが絞り開始タイミングになったと判定された後、一定時間ごとに絞りの調整を段階的に進めることで近傍カメラ２の絞り制御を行ってもよい。このように段階的に絞り制御を進めることで、遠方カメラ１の照度正常化が生じたような場合に、近傍カメラ２の撮像に支障が生じることを抑制することができる。また、絞り制御部１４は、近傍カメラ２の絞り制御として、車両Ｍの走行距離又は経過時間に応じた連続的な絞りの調整を行ってもよい。

また、絞り制御部１４は、タイミング判定部１２により車両Ｍが絞り開始タイミングになったと判定される前に、車両の走行により遠方カメラ１の撮像画像の照度正常化が生じたと判定された場合には、近傍カメラ２の絞り制御をキャンセルする（絞り制御の予定をキャンセルする）。絞り制御部１４は、例えば図３に示すように、車両Ｍの走行に起因して遠方カメラ１の撮像画像の照度正常化が生じた場合には、近傍カメラ２の絞り制御が不要となるため、絞り制御を行わない。

絞り制御部１４は、タイミング判定部１２により車両Ｍが絞り開始タイミングになったと判定された後、車両の走行により遠方カメラ１の撮像画像の照度正常化が生じたと判定された場合には、近傍カメラ２の絞り制御をキャンセルする。近傍カメラ２の絞り制御のキャンセルとは、絞り制御を行う前の状態に戻すと言う意味である。絞り制御部１４は、段階的に近傍カメラ２の絞り制御が進められている場合も絞り制御のキャンセルによって、近傍カメラ２が元の状態に戻される。絞り制御部１４は、例えば絞り制御が完了してから一定時間が経過した場合には、遠方カメラ１の撮像画像の照度正常化が生じたと判定されても近傍カメラ２の絞り制御のキャンセルを行わない。

［車載カメラシステムの処理］
次に、本実施形態に係る車載カメラシステム１００の処理について図４及び図５を参照して説明する。図４は、車載カメラシステム１００の絞り制御処理の一例を示すフローチャートである。絞り制御処理は、例えば車両Ｍの走行中に実行される。

図４に示すように、車載カメラシステム１００のカメラＥＣＵ１０は、Ｓ１０として、判定部１１は、車両Ｍの走行中に車両Ｍの前方の照度変化により遠方カメラ１の撮像画像が照度異常になったか否かを判定する。判定部１１は、遠方カメラ１の撮像画像に基づいて照度異常になったか否かを判定する。カメラＥＣＵ１０は、遠方カメラ１の撮像画像が照度異常になったと判定した場合（Ｓ１０：ＹＥＳ）、Ｓ１２に移行する。カメラＥＣＵ１０は、遠方カメラ１の撮像画像が照度異常になっていないと判定した場合（Ｓ１０：ＮＯ）、今回の処理を終了する。カメラＥＣＵ１０は、一定時間の経過後に再びＳ１０から処理を繰り返す。

Ｓ１２において、カメラＥＣＵ１０は、タイミング判定部１２により車両Ｍが絞り開始タイミングになったか否かを判定する。タイミング判定部１２は、車両Ｍの走行距離又は経過時間に基づいて車両Ｍが絞り開始タイミングになったか否かを判定する。カメラＥＣＵ１０は、車両Ｍが絞り開始タイミングになったと判定されなかった場合（Ｓ１２：ＮＯ）、Ｓ１４に移行する。カメラＥＣＵ１０は、車両Ｍが絞り開始タイミングになったと判定された場合（Ｓ１２：ＹＥＳ）、Ｓ１６に移行する。

Ｓ１４において、カメラＥＣＵ１０は、照度正常化判定部１３により車両Ｍの走行により遠方カメラ１の撮像画像の照度正常化が生じたか否かを判定する。照度正常化判定部１３は、遠方カメラ１の撮像画像に基づいて照度正常化を判定する。カメラＥＣＵ１０は、遠方カメラ１の撮像画像の照度正常化が生じたと判定された場合（Ｓ１４：ＹＥＳ）、近傍カメラ２の絞り制御を行うことなく（絞り制御をキャンセルして）、今回の処理を終了する。カメラＥＣＵ１０は、一定時間の経過後に再びＳ１０から処理を繰り返す。カメラＥＣＵ１０は、遠方カメラ１の撮像画像の照度正常化が生じたと判定されなかった場合（Ｓ１４：ＮＯ）、Ｓ１２に戻って処理を繰り返す。

Ｓ１６において、カメラＥＣＵ１０は、絞り制御部１４による近傍カメラ２の絞り制御を行う。近傍カメラ２の絞り制御は、例えば遠方カメラ１の撮像画像の照度異常に応じて行われる。その後、カメラＥＣＵ１０は、今回の処理を終了し、一定時間の経過後に再びＳ１０から処理を繰り返す。

図５は、車載カメラシステムの絞り制御キャンセル処理の一例を示すフローチャートである。図５に示す絞り制御キャンセル処理は、図４に示すＳ１６で絞り制御が行われている場合に実行される。絞り制御キャンセル処理は、絞り制御の実行中だけではなく、絞り制御の完了から一定時間内である場合に実行されてもよい。

図５に示すように、カメラＥＣＵ１０は、Ｓ２０として、照度正常化判定部１３により車両Ｍの走行により遠方カメラ１の撮像画像の照度正常化が生じたか否かを判定する。カメラＥＣＵ１０は、遠方カメラ１の撮像画像の照度正常化が生じたと判定された場合（Ｓ２０：ＹＥＳ）、Ｓ２２に移行する。カメラＥＣＵ１０は、遠方カメラ１の撮像画像の照度正常化が生じたと判定されなかった場合（Ｓ２０：ＮＯ）、今回の処理を終了する。

以上説明した本実施形態に係る車載カメラシステム１００では、車両Ｍの走行中に車両Ｍの前方を撮像する遠方カメラ１の撮像画像が照度異常になったと判定された場合に、車両Ｍの前方を撮像する近傍カメラ２の絞り制御を行うので、車両Ｍがトンネルから抜ける場合など急な照度変化が生じる状況において、遠方カメラ１に続いて近傍カメラ２の撮像画像に照度異常が発生することを抑制することができ、近傍カメラ２による撮像を適切に継続することができる。

また、車載カメラシステム１００によれば、遠方カメラ１の撮像画像が照度異常になったと判定された場合であっても、近傍カメラ２の撮像画像に照度異常が生じるまでには時間差があることから、車両Ｍが絞り開始タイミングになったと判定されたときに近傍カメラ２の絞り制御を開始することで、早すぎる絞り制御となることを避け、適切なタイミングで近傍カメラ２の絞り制御を実行することができる。

更に、車載カメラシステム１００によれば、遠方カメラ１の撮像画像の照度異常が一時的であり、車両の走行によって照度正常化が生じたときには、近傍カメラ２の絞り制御をキャンセルするので、不要な近傍カメラ２の絞り制御を行うことを避けることができる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

車載カメラシステム１００は、必ずしもタイミング判定部１２を有する必要はない。車載カメラシステム１００は、判定部１１により遠方カメラ１の撮像画像が照度異常になったと判定された場合に、直ぐに近傍カメラ２の絞り制御を開始する態様であってもよい。

また、車載カメラシステム１００は、必ずしも照度正常化判定部１３を有する必要はない。車載カメラシステム１００は、遠方カメラ１の撮像画像の照度異常が解消されたとしても、近傍カメラ２の絞り制御を実行してもよい。

１…遠方カメラ、２…近傍カメラ、１１…判定部、１２…タイミング判定部、１３…照度正常化判定部、１４…絞り制御部、１００…車載カメラシステム、Ｍ…車両。

Claims (5)

1. 車両の前方を撮像する遠方カメラ及び近傍カメラを備える車載カメラシステムであって、
   前記車両の走行中に、前記車両の前方の照度変化により前記遠方カメラの撮像画像が照度異常になったか否かを判定する判定部と、
   前記判定部により前記遠方カメラの前記撮像画像が前記照度異常になったと判定された場合に、前記近傍カメラの絞り制御を行う絞り制御部と、
   前記判定部により前記遠方カメラの前記撮像画像が前記照度異常になったと判定された場合に、前記車両の走行により前記遠方カメラの前記撮像画像の照度正常化が生じたか否かを判定する照度正常化判定部と、
   を備え、
   前記絞り制御部は、前記照度正常化判定部により前記遠方カメラの前記撮像画像の前記照度正常化が生じたと判定されたときには、前記近傍カメラの前記絞り制御をキャンセルする、車載カメラシステム。
2. 前記判定部により前記遠方カメラの前記撮像画像が前記照度異常になったと判定された場合に、前記車両の走行距離又は経過時間に基づいて前記車両が予め設定された絞り開始タイミングになったか否かを判定するタイミング判定部を更に備え、
   前記絞り制御部は、前記タイミング判定部により前記車両が前記絞り開始タイミングになったと判定されたときに前記近傍カメラの絞り制御を開始する、請求項１に記載の車載カメラシステム。
3. 前記絞り制御部は、段階的に前記絞り制御が進められている場合に、前記照度正常化判定部により前記遠方カメラの前記撮像画像の前記照度正常化が生じたと判定されたとき、前記近傍カメラを前記絞り制御を行う前の状態に戻すことで前記絞り制御をキャンセルする、請求項１に記載の車載カメラシステム。
4. 前記絞り制御部は、前記絞り制御が完了してから一定時間以内に、前記照度正常化判定部により前記遠方カメラの前記撮像画像の前記照度正常化が生じたと判定されたとき、前記近傍カメラを前記絞り制御を行う前の状態に戻すことで前記絞り制御をキャンセルする、請求項１に記載の記載の車載カメラシステム。
5. 前記絞り制御部は、前記絞り制御が完了してから前記一定時間が経過した場合には、前記照度正常化判定部により前記遠方カメラの前記撮像画像の前記照度正常化が生じたと判定されたとしても、前記絞り制御のキャンセルを行わない、請求項４に記載の記載の車載カメラシステム。

Images