JP7074037B2 - 画像取得システム - Google Patents

Description

本発明は、画像取得システムに関する。

近年、車載カメラによる画像を解析することにより車両の周囲状況を把握し車両を安全に運行させる自動運転システムなどの安全機能製品や、車載カメラによる車両周辺状況の録画を行うドライブレコーダ等の普及が加速している。

特開２０１２－２０１１７８号公報 特開２００１－２０６２０１号公報 特開平０７－１２１６７８号公報

車載カメラは通常は車内に設置され、外部の状況はウィンドシールガラス等を透過して撮影されるが、これら安全機能製品の性能を確保するためには、ウィンドシールガラス等をクリアな状態に保つ必要がある。一方、ワイパが、カメラの前方を通過する際に、ワイパによりカメラの撮影範囲が遮蔽されることにより画像を取得できず、画像が欠落することによって、安全機能製品の正常動作の断続や、ドライブレコーダにおける画像の取りこぼし等が発生する場合がある。

本発明は、上記課題に鑑みてなされたものであり、その目的は、ワイパによる撮影画像の取りこぼしを補完することにより、安全機能装置等における正常動作を極力確保し、ドライブレコーダの録画における画像のコマ欠落を補完することができる画像取得システムを提供することを目的とする。

請求項１に記載した画像取得システムは、車両のウィンドシールガラスを透過して映像を撮影するカメラ１２と、車両のウィンドシールガラスを払拭するワイパ１６ａと、前記ワイパの動作を制御するワイパ制御部１６と、前記ワイパの位置を検出するワイパ位置検出部１７と、前記カメラ、前記ワイパ、及び前記ワイパ位置検出部を制御する制御部１０と、を備え、前記制御部は、前記ワイパ位置検出部から取得する前記ワイパの位置情報から、前記ワイパが前記カメラの撮影範囲を通過開始する時刻を検知し、前記制御部は、前記ワイパが前記カメラの撮影範囲を通過開始する時刻から所定時間、前記カメラが映像を撮影するフレーム数を増加させる処理を行う。

この構成により、ワイパ１６ａによる払拭後の短時間で多くの撮影画像を取得できるため、空白期間に撮影できなかった分の画像を補完することによってカメラ１２による画像の取りこぼしを極力少なくすることができる。カメラ１２における撮影画像の取りこぼしを補完することにより、安全機能装置等における安全機能の正常動作を極力確保し、ドライブレコーダの録画における画像の欠落を補完することができる。

実施形態に係る画像取得システムの概略構成を示すブロック図 画像取得システムにおける処理フローの概要を示す図 画像取得システムにおける処理フローの概要を示す図 画像取得システムにおける処理フローの概要を示す図 画像取得システムにおける処理フローの概要を示す図 処理フローのタイムチャートの概要を示す図 処理フローのタイムチャートの概要を示す図

以下、本発明の複数の実施形態について図面を参照して説明する。
図１に示すように、画像取得システム１は、カメラ制御部１０、カメラ１２、ワイパ制御部１６、安全機能装置１８、及びドライブレコーダ２０を備えており、これらは車内ＬＡＮやＣＡＮ等の通信線２２により通信可能に接続されている。カメラ制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ等を備えるマイクロコンピュータを主体として構成されており、ワイパ制御部１６、安全機能装置１８から取得される情報に応じてカメラ１２による画像撮影を制御している。カメラ制御部１０による各種制御は、例えばＲＯＭに記憶されたプログラムを実行することにより実現される。

ワイパ制御部１６、安全機能装置１８、及びドライブレコーダ２０は、それぞれ、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ等を備えるマイクロコンピュータを主体として構成されており、それぞれの機能は、例えばＲＯＭに記憶されたプログラムを実行することにより実現される。

カメラ１２としては例えばＣＣＤセンサ素子、ＣＯＭＳセンサ素子等の撮像素子を用いたデジタルカメラを用いることができる。カメラ１２はカメラ制御部１０により制御されており、カメラ１２は静止画や動画を撮影することができる。カメラ制御部１０と通信線２２は車両インターフェイス１４を介して通信可能に接続されている。

カメラ１２は車両外部等の映像を撮影する画像取得部として機能する。カメラ１２はカメラ制御部１０、安全機能装置１８及びドライブレコーダ２０に撮影した画像情報を送信する。カメラ１２は例えば図示しないウィンドシールドガラスを透過して外部を撮影可能となるように、ウィンドシールドガラスの内面に接着されて設置されている。

ワイパ１６ａはウィンドシールドガラスの外面の雨滴等を払拭可能に構成されている。ワイパ１６ａは、ウィンドシールガラス表面を往復回動するように構成され、カメラ１２の前方、すなわち撮影範囲を一時的に遮蔽して通過する。

カメラ１２は一台である必要はなく、複数台のカメラを設ける構成としてもよい。例えば、車両の前方を撮影するカメラを複数台としたり、後方を撮影するカメラを設けたりするなど、複数台のカメラで撮影した映像をカメラ制御部１０、安全機能装置１８及びドライブレコーダ２０に送信する構成としてもよい。また、ここでは、カメラ制御部１０により制御される１台のカメラ１２によりた画像を撮影する構成を例示したが、安全機能装置１８及びドライブレコーダ２０のそれぞれに専用のカメラを設けた構成とし、それぞれのカメラをそれぞれの制御部により制御する構成としてもよい。

ワイパ制御部１６には、ワイパ１６ａ、ワイパ駆動部１６ｂが接続されている。ワイパ１６ａは、図示しない略直線状の払拭部によりウィンドシールドガラス上を、ワイパ駆動部１６ｂにより扇形を描くように往復駆動され、ウィンドシールガラスに付着した雨滴等を払拭する。ワイパ駆動部１６ｂは例えばモータによりワイパ１６ａの払拭動作を駆動する駆動部として機能する。ワイパ制御部１６は、ワイパ１６ａ及びワイパ駆動部１６ｂを制御する制御部として機能し、ワイパ制御部１６はカメラ制御部１０により制御される。

ワイパ位置検出部１７はワイパ１６ａの位置情報を検出するセンサとして機能する。ワイパ位置検出部１７は、例えばワイパ１６ａの例えば動作角度を検出するセンサでもよいし、その他の方法を用いてワイパ１６ａの位置を検出するものであってもよい。ワイパ位置検出部１７により取得されたワイパ位置情報はカメラ制御部１０に送信される。ワイパ位置検出部１７により、ワイパ１６ａのウィンドシールドガラス上における位置が検出されることにより、カメラ制御部１０は、ワイパ１６ａがカメラ１２の撮影範囲を遮蔽開始する時刻、すなわちワイパ１６ａがカメラ１２の撮影範囲を通過開始する時刻を検知する。なお、カメラ制御部１０は、予め、例えば起動直後に予備動作などを行って、ワイパ位置検出部１７から取得するワイパ１６ａの位置情報とカメラ１２による撮影情報を対応付け、ワイパ１６ａがカメラ１２の撮影範囲を通過開始する時刻を検知できるように設定する。

安全機能装置１８は、例えば自動運転装置もしくは運転アシスト装置であり、例えば、ＬＫＡ(レーンキーピングアシスト)、ＡＣＣ(アダプティブクルーズコントロール)、ＰＣＳ（プリクラッシュセーフティシステム）、衝突防止装置、ＡＦＳ（アダプティブ・フロントライティング・システム）等の、車両の安全を確保する安全機能を備えている。ドライブレコーダ２０は、自動車事故等の記録のためにカメラ１２によって撮影された動画などの画像情報を記録する装置である。

以下に、画像取得システム１における作用について説明する。画像取得システム１において、雨天時などには、ウィンドシールガラスに付着する雨滴や、カメラ１２の撮影範囲を通過するワイパ１６ａにより、カメラ１２による画像撮影が阻害される。このため、この画像を利用する安全機能装置１８やドライブレコーダ２０においてその機能を発揮しうるために必要な程度の画像データを取得することができず、安全機能装置１８の安全機能、ドライブレコーダ２０の録画機能に支障を来すことになる。

例えば安全機能装置１８が自動運転システムである場合、ワイパ１６ａがカメラ１２の撮影範囲を通過することによって撮影が阻害され、例えば道路のレーンを認識できない画像が取得される。このため、自動運転制御の正常動作を実施できないことが断続的に生じる場合がある。

また、ドライブレコーダ２０においては、ワイパ１６ａによりカメラ１２の撮影範囲を遮蔽された際に、例えば事故の状況を撮影できない等の支障が生じる場合がある。また、多くの雨滴がカメラ１２の撮影範囲に付着する場合は、ワイパ制御部１６による払拭直後の所定時間程度しか鮮明な画像を取得することができなくなるため、安全機能装置１８による正常な自動運転制御や、ドライブレコーダ２０による撮影画像の取得が更に困難となる。

画像取得システム１においては、カメラ１２の撮影範囲をワイパ１６ａが通過開始した後の所定の時間、カメラ１２による撮影においてフレーム数（Ｆ／Ｓ）を増加させる制御が実施される。なお、フレームとは撮影動画画像の１コマを意味し、フレーム数とは１秒間の撮影フレーム数（Ｆｌａｍｅ／Ｓｅｃ）で定義される。カメラ１２の撮影範囲をワイパ１６ａが通過開始した後の所定時間は、例えば４００ｍｓｅｃとして設定される。

フレーム数を増加させることにより、ウィンドシールガラスに付着した雨滴や、カメラ１２の撮影範囲を遮蔽するワイパ１６ａによって阻害されることが無い正常画像をできるだけ多く取得することが可能となる。従って、安全機能装置１８の正常な動作を確保し、ドライブレコーダ２０における撮影画像の取りこぼしを補完することができる。

ここで、正常画像とは、安全機能装置１８やドライブレコーダ２０の機能を正常に機能させるのに十分にクリアな画像を意味している。例えば安全機能装置１８がＬＫＡ、ＡＣＣ、ＰＣＳ、衝突防止装置、ＡＦＳ等の機能を備えている場合に、これら機能が正常に機能するために十分クリアな画像であり、例えば、道路のレーンや前車等の状況が機能を実現するのに支障が無い程度にクリアに撮影された画像を意味する。機能によっては複数コマの正常画像が必要な場合もあるし、１コマの正常画像で十分な場合もある。ドライブレコーダ２０であれば、正常画像とは道路状況やナンバープレート等がクリアに撮影された画像を意味する。

以下の説明では、カメラ制御部１０が全体の制御部として機能する場合を例示して説明するが、例えば、カメラ制御部１０、カメラ１２、ワイパ制御部１６、ワイパ１６ａ、ワイパ駆動部１６ｂ、ワイパ位置検出部１７、安全機能装置１８及びドライブレコーダ２０を統括的に制御する制御部を別途設けて、これにより全体を制御するように構成してもよい。

図２に示すように、カメラ制御部１０は、車両のイグニッション（以下、ＩＧと称する）、もしくはアクセサリースイッチ（以下、ＡＣＣと称する）がオンしているか（Ｓ１）、ワイパ１６ａがオンして動作中か（Ｓ２）、運転者は車両に搭乗しているか（Ｓ３）、安全機能装置１８又はドライブレコーダ２０が動作中か（Ｓ４）の判定を行う。

ＩＧオフ（Ｓ１：ＮＯ）、ワイパが動作していない（Ｓ２：ＮＯ）、運転者が搭乗していない（Ｓ３：ＮＯ）、安全機能装置１８又はドライブレコーダ２０が動作中でない（Ｓ４：ＮＯ）場合の何れかの場合は、元に戻って待機状態となる。

ＩＧオンもしくはＡＣＣオン（Ｓ１：ＹＥＳ）、ワイパ１６ａの動作中（Ｓ２：ＹＥＳ）、ワイパ１６ａの動作中（Ｓ２：ＹＥＳ）、安全機能装置１８又はドライブレコーダ２０の動作中（Ｓ３：ＹＥＳ）の場合は、撮影制御処理を実施する（Ｓ５）。撮影制御処理（Ｓ５）の終了後は元に戻り、上述の待機状態となる。

後述するように、撮影制御処理におけるフレーム数制御処理では、カメラ１２のフレーム数（Ｆ／Ｓ）を大きくするため、ワイパ１６ａがカメラ１２の撮影範囲を通過開始してから撮影範囲を通過完了するまでの、カメラ１２による画像取得が阻害される期間（以下、空白期間と称する）を含め、これ以後の所定期間におけるフレーム数を増加させることで、空白期間において取得できなかった分の撮影画像の欠落を補完することができる。このため、画像の取りこぼしを低減することができる。例えば、カメラ１２のフレーム数を、１秒間に１０フレームの画像を取得する１０（Ｆ／Ｓ）から、１秒間に２５フレームの画像を取得する２５（Ｆ／Ｓ）に増加させる。

次に、撮影制御処理（Ｓ５）の内容について説明する。図３に示すように、カメラ制御部１０は、雨が降っているか（Ｓ１０）、雨により安全機能装置１８の正常動作が断続的か（Ｓ１１）の判定をする。雨が降っておらず（Ｓ１０：ＮＯ）、安全機能装置１８の正常動作が断続的でない場合すなわち正常動作が継続している場合は（Ｓ１１：ＮＯ）、元に戻って待機動作となる。なお、雨が降っているか否かの判定は、カメラ制御部１０における画像解析や、図示しない雨滴センサからの信号、あるいは、図示しない車両センタから取得した天気情報を利用することにより行うことができる。

雨が降っており（Ｓ１０：ＹＥＳ）、安全機能装置１８の正常動作が断続的である場合は（Ｓ１１：ＹＥＳ）、フレーム数制御処理（Ｓ１２）、ワイパ速度制御処理（Ｓ１３）を所定時間実施し、その後、フレーム数を元に戻し（Ｓ１４）、ワイパ速度を元に戻して（Ｓ１５）、リターンする。なお、ワイパ速度制御処理（Ｓ１３）及びワイパ速度を元に戻す際には（Ｓ１５）、運転者によるワイパ設定を無効にしてワイパ制御部１６による制御を有効とする。

次に、フレーム数制御処理（Ｓ１２）の内容について説明する。図４に示すように、カメラ制御部１０は、カメラ１２のフレーム数（Ｆ／Ｓ）は最大値すなわちＭＡＸ値か否かを判定する（Ｓ２０）。すなわち、カメラ１２の撮影性能のＭＡＸまでフレーム数が増加されているかを判定する（Ｓ２０）。フレーム数がＭＡＸの場合（Ｓ２０：ＹＥＳ）はこれ以上フレーム数を増加させることができないため、リターンし、ワイパ速度制御処理（Ｓ１３）に移行する。なお、図６に、フレーム数制御処理におけるタイムチャートを示している。

フレーム数がＭＡＸでない場合は（Ｓ２０：ＮＯ）、ワイパ１６ａのカメラ１２の撮影範囲の通過開始を判定する（Ｓ２１）。ワイパ１６ａがカメラ１２の撮影範囲の通過を開始したかを検知すると（Ｓ２１：ＹＥＳ）、カメラ制御部１０は、カメラ１２の撮影におけるフレーム数（Ｆ／Ｓ）を、所定数増加させる（Ｓ２２）。増加させるフレーム数はあらかじめ設定されており、例えば１０（Ｆ／Ｓ）から２５（Ｆ／Ｓ）に、１５（Ｆ／Ｓ）だけ増加させる。

次に、カメラ制御部１０は、安全機能装置１８の正常動作が断続的であるか否かを判定する（Ｓ２３）。この判定は、安全機能装置１８から、画像が劣化して例えば道路のレーン情報を把握することができず自動運転を実行することができない期間が発生しているとの情報を受信することにより行うことができる。

安全機能装置１８の正常動作が断続的でない場合すなわち安全機能装置１８の正常動作が継続している場合は（Ｓ２３：ＮＯ）、リターンする。
安全機能装置１８の正常動作が断続的である場合は（Ｓ２３：ＹＥＳ）、フレーム数がＭＡＸでない場合は（Ｓ２０：ＮＯ）、ワイパ１６ａがカメラ１２の撮影範囲を通過開始する時刻から（Ｓ２１：ＹＥＳ）、再度、カメラ１２のフレーム数を増加させる（Ｓ２２）。この場合は、フレーム数を例えば２５（Ｆ／Ｓ）から４０（Ｆ／Ｓ）に増加させる。以下これを、カメラ１２による画像の取込数がＭＡＸとなるまで繰り返す。

次に、ワイパ速度制御処理（Ｓ１３）の内容について説明する。図５に示すように、カメラ制御部１０は、安全機能装置１８の正常動作が断続的であるか否か（Ｓ３０）、ワイパ１６ａの動作速度はＭＡＸか（Ｓ３１）を判定する。

安全機能装置１８の正常動作が断続的であり（Ｓ３０：ＹＥＳ）、ワイパ１６ａの動作速度がＭＡＸでない場合は（Ｓ３１：ＮＯ）、ワイパ１６ａの速度を増加させ（Ｓ３３）、再度、安全機能装置１８の正常動作が断続的であるか（Ｓ３０）、ワイパ１６ａの速度はＭＡＸであるか（Ｓ３１）の判定を行う。図７に、上記に説明したワイパ速度制御処理におけるタイムチャートを示しているが、ワイパ速度を増加させると、図６及び図７に示す様に、空白期間はＡ→Ｂのように短くなるため、ワイパ１６ａがカメラ１２の撮影範囲を遮蔽する空白時間が減少することにより欠落する画像が減少し、相対的にクリアな状態で撮影可能な期間が増加する。

安全機能装置１８の正常動作が断続的でなく（Ｓ３０：ＮＯ）、又は、ワイパ１６ａの速度はＭＡＸである場合は（Ｓ３１：ＹＥＳ）、安全機能装置１８を停止して（Ｓ３３）、リターンする。安全機能装置１８の正常動作が断続的でない場合は、フレーム数制御処理（Ｓ１２）におけるフレーム数の増加により十分鮮明な画像が取得でき、安全機能装置１８が正常動作していることから、更にワイパ速度を増加させる必要がないためである。また、ワイパ１６ａの速度が既にＭＡＸである場合はそれ以上ワイパ速度を増加させることができないため、ワイパ速度制御処理（Ｓ１３）を実施することができないためである。

実施形態に係る画像取得システム１によれば以下の効果を得る。
画像取得システム１によれば、カメラ制御部１０は、撮影制御処理（Ｓ５）において、ワイパ１６ａがカメラ１２の撮影範囲を通過開始した時刻以後の所定期間のフレーム数（Ｆ／Ｓ）を増加させるフレーム数制御処理を実行する（Ｓ１２）。これにより、ワイパ１６ａによる払拭後の短時間で多くのクリアな撮影画像を取得できるため、空白期間に撮影できなかった分の画像を補完することによってカメラ１２による画像の取りこぼしを極力少なくすることができるという効果を得る。

カメラ１２における撮影画像の取りこぼしを補完することにより、安全機能装置等における安全機能の正常動作の断続を極力回避して安全機能装置等における正常動作を極力確保し、安全機能の動作中断を起こりづらくさせるとともに、ドライブレコーダの録画における画像のコマ欠落を補完することができる。

また、これにより、カメラ１２の撮影範囲のワイパ１６ａによる雨滴の払拭直後から撮影画像を取得できるため、カメラ１２の撮影範囲が最も清浄でクリアな状態の画像の取得が可能となるという効果を得る。

また、画像取得システム１によれば、撮影制御処理（Ｓ５）において、ワイパ１６ａの往復速度を増加させるワイパ速度制御処理（Ｓ１３）を実施する。これによれば、カメラ１２の撮影範囲をワイパ１６ａが通過するのにかかる時間を極力短くすることができるため、空白期間を短くして、画像を撮影する時間を多くすることができるため、カメラ１２による画像の取りこぼしを極力少なくすると同時にクリアな画像を多く取得することができるという効果を得る。

これにより、安全機能装置１８の正常動作を継続させることが可能となり、また、ドライブレコーダ２０の画像取りこぼしを補完することが可能となる。
本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

上記実施形態において、カメラ１２の撮影範囲をワイパ１６ａが通過開始した後の所定時間、カメラ１２による撮影においてフレーム数（Ｆ／Ｓ）を増加させる制御を行ったが、例えば以下のように改変してもよい。例えば、ワイパ１６ａがウィンドシールガラスを払拭完了した直後の所定時間、カメラ１２による撮影においてフレーム数（Ｆ／Ｓ）を増加させる制御を実施するようにしてもよい。また、空白期間の前後にわたる所定時間、フレーム数（Ｆ／Ｓ）を増加させる制御を行うようにしてもよい。

また、撮影制御処理において、安全機能装置１８の正常動作が断続的か否かを（Ｓ１１）、フレーム数制御処理（Ｓ１２）及びワイパ速度制御処理（Ｓ１３）に移行する条件としているが、これに替えて、ドライブレコーダ２０における動画のコマ落ち数や、ナンバープレートの数字が読み取れない等をフレーム数制御処理（Ｓ１２）及びワイパ速度制御処理（Ｓ１３）に移行する条件としてもよい。

また、西日本であれば６０Ｈｚ、東日本であれば５０ｈｚの電源周波数によって制御されるＬＥＤ信号機の点滅周期と、カメラ１２によるフレーム数の周期が合致すると、カメラ１２の映像において、信号の灯火が消えた映像や、点滅する映像が撮影される場合がある。そこで、画像取得システム１において、車両の信号待ちを検知し、カメラ１２におけるフレーム数を変更して撮影することにより、フレーム周期をＬＥＤ信号機の点滅周期に合致しないようにずらすことにより、確実にＬＥＤ信号機の映像を撮影できるように制御するようにしてもよい。

また、カメラ１２の撮影におけるフレーム数を増加させた場合に、ドライブレコーダ２０に録画する画像解像度を低下させたり、撮影した画像の記録を、一旦ＲＡＭに記録した後にＳＤ等の外部記憶媒体に書込むように変更し、ＣＰＵの処理負荷を軽減したりする制御を行ってもよい。

また、ワイパ速度制御処理（Ｓ１３）において、カメラ１２の撮影範囲を通過する間だけ、ワイパ１６ａの動作速度を増加させるように制御してもよい。

１…画像取得システム、１０…カメラ制御部（制御部）、１２…カメラ、１６…ワイパ制御部（制御部）、１６ａ…ワイパ、１７…ワイパ位置検出部、１６ｂ…ワイパ駆動部、１８…安全機能装置、２０…ドライブレコーダ

Claims (6)

1. 車両のウィンドシールガラスを透過して映像を撮影するカメラ（１２）と、
   車両のウィンドシールガラスを払拭するワイパ（１６ａ）と、
   前記ワイパの動作を制御するワイパ制御部（１６）と、
   前記ワイパの位置を検出するワイパ位置検出部（１７）と、
   前記カメラ、前記ワイパ、及び前記ワイパ位置検出部を制御する制御部（１０）と、を備え、
   前記制御部は、前記ワイパ位置検出部から取得する前記ワイパの位置情報から、前記ワイパが前記カメラの撮影範囲を通過開始する時刻を検知し、
   前記制御部は、前記ワイパが前記カメラの撮影範囲を通過開始する時刻から所定時間、前記カメラが映像を撮影するフレーム数を増加させる処理を行う、画像取得システム。
2. 前記制御部は、前記ワイパが前記カメラの撮影範囲を通過開始する時刻から所定時間、前記ワイパの動作速度を増加させる処理を行う、請求項１に記載の画像取得システム。
3. 前記カメラが映像を撮影するフレーム数を最大値まで増加させる処理を行った後に、前記ワイパの動作速度を増加させる処理を行う、請求項２に記載の画像取得システム。
4. 前記制御部は、前記カメラが映像を撮影するフレーム数を増加させる処理を所定時間実施した後、フレーム数を元に戻す処理を行う請求項１から３の何れか一項に記載の画像取得システム。
5. 前記制御部は、前記ワイパの動作速度を増加させる処理を所定時間実施した後、前記ワイパの動作速度を元に戻す処理を行う請求項１から４の何れか一項に記載の画像取得システム。
6. 更に、車両の安全を確保する安全機能を備える安全機能装置（１８）を備え、
   前記安全機能装置の安全機能が断続的になった場合に、前記ワイパが前記カメラの撮影範囲を通過開始する時刻から所定時間、前記カメラが映像を撮影するフレーム数を増加させる処理を行う、請求項１から５の何れか一項に記載の画像取得システム。
   
   

Images