以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
[実施の形態1]
図1は、実施の形態1に係る画像記録装置の一例であるドライブレコーダ100が自車両900に設置されている様子を示す概略図である。ドライブレコーダ100は、カメラユニット110を含む。カメラユニット110は、前方の周辺環境を撮像できるように、自車両900の進行方向に向かってウィンドシールドの上部に設置されている。なお、その視野は、例えば一点鎖線で示すように対角130°程度の拡がりを有する。
自車両900は、前方の複数箇所に、他車両や歩行者等の対象物までの距離を検出する距離センサ170を備える。距離センサ170は、例えばミリ波レーダや超音波センサであり、検出結果である距離信号をドライブレコーダ100へ出力する。距離センサ170は、ドライブレコーダ100に内蔵されていてもよい。また、自車両900は、自車両900が受ける衝撃等の加速度を検出する加速度センサ160を備える。加速度センサ160は、検出結果である加速度信号をドライブレコーダ100へ出力する。加速度センサ160は、ドライブレコーダ100に内蔵されていてもよい。
図2は、ドライブレコーダ100の構成を示すブロック図である。ドライブレコーダ100は、主にカメラユニット110および本体ユニット130によって構成される。
カメラユニット110は、主にレンズ112、撮像素子114およびAFE(アナログフロントエンド)116を備える。レンズ112は、入射する被写体光束を撮像素子114へ導く。レンズ112は、複数の光学レンズ群から構成されていても良い。
撮像素子114は、例えばCMOSイメージセンサである。撮像素子114は、システム制御部131から指定される1フレームあたりの露光時間に従って電子シャッタにより電荷蓄積時間を調整し、光電変換を行って画素信号を出力する。撮像素子114は、画素信号をAFE116へ引き渡す。AFE116は、画素信号をシステム制御部131から指示される増幅ゲインに応じてレベル調整してデジタルデータへA/D変換し、画素データとして本体ユニット130へ送信する。なお、カメラユニット110は、メカニカルシャッタや虹彩絞りを備えても良い。メカニカルシャッタや虹彩絞りを備える場合には、システム制御部131は、これらも利用して、撮像素子114へ入射する光量を調整することができる。
本体ユニット130は、システム制御部131、画像入力IF132、ワークメモリ133、システムメモリ134、画像処理部135、表示出力部136、メモリ制御部137、メモリIF138、入出力IF139、NP(ナンバープレート)検出部140、バスライン142を主に備える。画像入力IF132は、カメラユニット110が撮像した画像データを逐次取得する画像データ取得部としての機能を担い、本体ユニット130と接続されているカメラユニット110から画素データ受信して、バスライン142へ引き渡す。
ワークメモリ133は、例えば揮発性の高速メモリによって構成される。ワークメモリ133は、AFE116から画像入力IF132を介して画素データを受け取り、1フレームの画像データに纏めて記憶する。ワークメモリ133は、フレーム単位で画像処理部135へ画像データを引き渡す。また、ワークメモリ133は、画像処理部135が画像処理する途中段階においても一時的な記憶領域として適宜利用される。
画像処理部135は、受け取った画像データに対して各種の画像処理を施し、予め定められたフォーマットに即した画像データを生成する。例えば、MPEGファイル形式の動画像データを生成する場合は、各フレームの画像データに対するホワイトバランス処理、ガンマ処理等を施した後に、各フレームの画像データ内および隣接フレームの画像データ間の圧縮処理を実行する。画像処理部135は、生成された画像データから表示用画像データを逐次生成して、表示出力部136へ引き渡す。以下、動画像データを構成する各フレームの画像データをフレーム画像データとし、フレーム画像データで表される画像をフレーム画像とする。
表示出力部136は、画像処理部135から受け取った表示用画像データを、表示ユニット180で表示可能な画像信号に変換して出力する。表示ユニット180は、例えばカーナビゲーションシステムの表示パネルであっても良いし、ドライブレコーダ100と一体的に設けられた専用の表示パネルであっても良い。表示ユニット180は、表示出力部136から受け取った画像信号を逐次表示することができる。
システムメモリ134は、例えばSSDなどの不揮発性記録媒体により構成される。システムメモリ134は、ドライブレコーダ100の動作時に必要な定数、変数、設定値、制御プログラム等を記録、保持する。
メモリIF138は、着脱可能なメモリカード150を装着する接続インタフェースである。メモリカード150としては、不揮発性メモリであり、例えばフラッシュメモリが利用される。メモリ制御部137は、メモリIF138に装着されたメモリカード150に、画像データを書き込むためのメモリ制御を実行する。すなわち、メモリ制御部137は、メモリカード150に画像データを書き込む書込制御部としての機能を担う。具体的なメモリ制御については後述する。
入出力IF139は、外部機器からの信号を受信してシステム制御部131へ引き渡したり、外部機器へ信号要求などの制御信号をシステム制御部131から受け取って外部機器へ送信したりする、外部機器との接続インタフェースである。上述した加速度センサ160からの加速度信号、距離センサ170からの距離信号は、入出力IF139を介してシステム制御部131へ入力される。したがって、入出力IF139は、加速度信号を受信する場合は、システム制御部131と協働して加速度信号取得部としての機能を担い、距離信号を受信する場合は、システム制御部131と協働して距離信号取得部としての機能を担う。
システム制御部131は、入出力IF139を介して加速度センサ160から入力された加速度信号が予め設定された閾値以上の大きさである場合は、衝突等のイベントが発生したと判断する。したがって、システム制御部131はイベント信号取得部としての機能も担う。
また、システム制御部131は、入出力IF139を介して距離センサ170から入力された距離信号に基づき自車両900から所定の閾値未満の距離に近づいてきた他車両または人物等の対象物を検出する。したがって、システム制御部131は対象物検出部としての機能も担う。
ナンバープレート検出部140は、画像処理部135で所定の前処理を施されたフレーム画像データを受け取って、そのフレーム画像にナンバープレートが存在するかを検出する。受け取るフレーム画像データは、そのフレーム画像が撮像された時刻情報を包含する。ナンバープレート検出部140は、例えば、ナンバープレートに固有の形状・数字・文字およびそれらの配置や色の情報を記憶しており、フレーム画像と記憶された情報とをマッチングさせることによってナンバープレートを検出する。なお、フレーム画像の全体領域に対して特定の検出対象領域が指定された場合には、その領域内にナンバープレートが存在するかを検出する。ナンバープレート検出部140は、ナンバープレートを検出した場合には、そのフレーム画像が撮像された時刻情報を、システム制御部131へ出力する。なお、このとき、ナンバープレート検出部140は、マッチングにより検出した数字・文字・色等の情報を合わせてシステム制御部131へ出力してもよい。
システム制御部131は、例えばCPUであり、ドライブレコーダ100を構成する各要素を直接的または間接的に制御する。システム制御部131による制御は、システムメモリ134から読みだされた制御プログラム等によって実現される。
図3は、メモリカード150に設定されるリングバッファについて説明する概念図である。ドライブレコーダ100は、カメラユニット110で逐次撮像する画像を画像処理部135で処理して1分間ごとの動画像ファイルを生成する。そして、メモリ制御部137が、画像処理部135で生成された動画像ファイルを、メモリIF138を介して順次メモリカード150に記録する。
メモリカード150は、記憶容量に上限があるので、記録できる動画像ファイルの数にも上限がある。ドライブレコーダ100は、自車両900が走行を続ける間は動画像ファイルの生成を継続するので、一定時間が経過すると生成した最新の動画像ファイルをメモリカード150に記録できなくなってしまう。そこで、メモリ制御部137は、メモリカード150が記憶容量の上限に到達したら、最も古い動画像ファイルが記憶された記憶領域に最新の動画像ファイルを上書きするリングバッファ形式により、記録処理を継続する。
図3(a)は、メモリカード150のメモリ領域151の全体を、リングバッファ152として利用する場合の概念図である。1つの動画像ファイルを記憶できるメモリ領域をそれぞれX1,X2,…,Xnと表すと、メモリ制御部137は、最初の動画像ファイルをX1、次の動画像ファイルをX2というように順に記録する。そして、n個目の動画像ファイルをXnに記録したら、n+1個目の動画像ファイルを、最初の動画像ファイルが記録されているX1に上書きする。同様にn+2個目の動画像ファイルはX2に上書きする。このようなリングバッファ形式によって動画像ファイルを記録すれば、リングバッファ152の容量分の最新の動画像ファイルを保持しておくことができる。
図3(b)は、従来のドライブレコーダにおける書き込み制御の概念を説明する概念図である。従来のドライブレコーダは、例えば他車両に衝突されて大きな加速度信号を受信したときにイベント発生を認識し、その時点を記録している動画像ファイルを上書き禁止の領域にコピーする。例えば図示するように、リングバッファ152に属するメモリ領域X4に記録された動画像ファイルが、その撮像期間中にイベント発生時点を含むのであれば、メモリXnを不揮発バッファ153に変更して、当該動画像ファイルをイベント記録ファイルとしてここへコピーする。不揮発バッファ153は、リングバッファ形式で記録される記憶領域から除外される領域であり、換言すれば、上書きが禁止される領域である。イベントが複数回発生すれば、その都度Xn-1,Xn-2,…が順に不揮発バッファ153に変更される。すなわち、リングバッファ152は、不揮発バッファ153が増設されるたびに減少する。不揮発バッファ153のメモリ領域は、メモリカード150がフォーマットされたり、ユーザの指示によって対象動画像ファイルが消去されたりすると、再びリングバッファ152として利用される。なお、不揮発バッファ153として用いられる容量は予め設定されていてもよい。
従来のドライブレコーダは、イベント発生後の対象車両の様子を記録する観点からは不十分であった。図3(b)に示すように、イベント発生時点を含む、例えば1分間の動画像データが上書き禁止となるだけである。車両との衝突事故が発生したような場合には、その検出時点で対象車両は自車両にすでに接触しており、対象車両の下部はドライブレコーダの死角に入ってしまうことが多い。この時に撮像される画像には対象車両の下部が写っておらず、ナンバープレートなどの、対象車両を特定するための重要な情報を含まないことがある。そのような画像から得られる情報は、対象車両を特定する観点からは不十分である。
そこで、本実施形態においては、イベント発生の時点から、継続して撮像される画像中にナンバープレートを検出する時点までの期間を含む動画像データを、不揮発バッファ153へコピーする。図3(c)は、本実施形態に係るドライブレコーダ100における書き込み制御の概念を説明する概念図である。不揮発バッファ153の増設方法や、対象動画像データの移動方法、リングバッファ152に対する記録方法などは図3(b)の例と同じであるが、本実施形態においては、不揮発バッファ153へコピーする対象となる動画像ファイルが異なる。
図3(b)の例と同様に、リングバッファ152に属するメモリ領域X4に記録された動画像ファイルが、その撮像期間中にイベント発生時点を含むものとする。カメラユニット110はその後も撮像を続け、生成された動画像ファイルは順次X5,X6…に書き込まれる。ナンバープレート検出部140は、これらの動画像ファイルを構成するフレーム画像データを継続的に取得し、そのフレーム画像にナンバープレートが含まれることを検出する(ナンバープレート検出)。ここでは、メモリ領域X6に記録された動画像ファイル中に、イベント発生後に初めてナンバープレート検出されたフレーム画像を含むものとする。なお、イベント発生後に初めてナンバープレート検出されたフレーム画像の時刻情報が示す時刻をナンバープレート検出時点とする。
この場合において、メモリ制御部137は、イベント発生時点を含むX4の動画像ファイルから、X5の動画像ファイル、およびナンバープレート検出時点までを含むX6の動画像ファイルの3つの動画像ファイルをイベント記録ファイルとして、不揮発バッファ153へコピーする。すなわち、Xn-2からXnまでのメモリ領域を不揮発バッファ153に変更して、ここへ対象となる動画像ファイルをコピーする。すでに別の動画像ファイルが不揮発バッファ153に存在する場合は、その動画像ファイルが記録されたメモリ領域を回避して不揮発バッファ153を増設する。
このように継続して撮像される画像中にナンバープレートが検出されるまでの期間も上書禁止として残されていれば、当該画像データに対象車両のナンバープレートの情報が含まれる。その一例について説明する。図4(a)は、他車両910が自車両900に衝突した直後(イベント発生直後)の様子を示し、図4(b)は、その後に他車両910が自車両900から離間し、ナンバープレート911が検出された様子を示す。
図4(a)に示すような衝突が発生した場合に、システム制御部131は、その衝突に伴って発生する閾値以上の加速度信号を受信することによりイベントが発生したことを認識する。この時点において撮影された画像は、図4(a)の外枠で囲われた範囲である。すなわち、他車両910は自車両900に近接しているので、その下部は写っていない。このような画像のみでは、事故時に近接していた他車両910のナンバープレート911を検出できない場合があり、他車両910を特定するといった目的を達成することができない。
しかし、事故後に自車両900と他車両910とが相対的に一定距離以上離れて、図4(b)の外枠で囲われた範囲のような、ナンバープレート911を含む画像が取得できれば、他車両910を事後的に特定することができ、上記のような目的にも適う。すなわち、画像の利用価値が大きく膨らむ。例えば、その後に他車両910に逃走されたとしても、相手を特定することは容易である。なお、画像処理部135は、ナンバープレート911の数字・文字・色の情報、およびそれらから判別できる自動車検査登録所の名称や車の用途等の情報を、フレーム画像に埋め込んで動画像ファイルを生成しても良いし、動画像ファイルのヘッダ部分に付加しても良い。
上述のように、イベント発生時点からナンバープレート検出時点までの期間を含む動画像ファイルが上書不可能に記録されていれば、当該動画像ファイルの事後利用の価値は飛躍的に向上するが、本実施形態においては、保存する期間をさらに付加する。図5は、本実施形態における、時間経過に対する上書禁止の対象ファイルを説明する説明図である。図は、左から右に向かって時間経過を表している。
図において、時刻tsでイベントが発生し、時刻tfで画像中にナンバープレートが検出されたとする。この時刻tsから時刻tfまでの期間を主期間とする。そして、時刻tsから予め定められた一定時間T1だけ遡った時刻tpを開始時点とし、時刻tsを終了時点とする事前期間を、主期間の前に設定する。また、時刻tfを開始時点とし、時刻tfから予め定められた一定時間T2だけ経過した時刻teを終了時点とする事後期間を、主期間の後に設定する。
そして、この三期間を含む動画像ファイルをイベント記録ファイルとして上書禁止対象ファイルとする。すなわち、これらの動画像ファイルを、不揮発バッファ153にコピーする。このように、前後の期間も含めれば、さらに画像の利用範囲が広がることが期待できる。例えば、事前期間の動画像ファイルには、他車両910が接近する様子が写っている場合があり、事故の発生原因の特定や、主期間で写る車両が事故原因であることの確認などに資する。また、事後期間の動画像ファイルには、救援者が接近する様子や、他車両910が逃走する様子が写っている場合があり、関係者の特定や、刑事責任の追究などに資する。
次に、ドライブレコーダ100の制御フローについて説明する。図6は、ドライブレコーダ100の制御フローを示すフロー図である。フローは、自車両900の走行開始準備が完了する時点から開始する。自車両900の走行開始準備の完了とは、例えば自車両900のエンジン始動または電源オンなどである。また、ドライブレコーダ100は、自車両の状態によらず常時動作するようにしてもよい。また、フローの開始と共にカメラユニット110による撮像を開始し、画像処理部135で逐次生成される動画像ファイルは、メモリ制御部137により、リングバッファ形式で順にメモリカード150に記録される。また、システム制御部131は、加速度センサ160から受ける加速度信号を監視している。以下の処理は、このような通常走行時の記録制御中に実行される処理である。
システム制御部131は、ステップS101で、加速度センサ160から閾値以上の加速度信号を受信したか、つまりイベントが発生したか否かを判断する。閾値以上の加速度信号を受信したと判断したら、イベントが発生したものとして、ステップS102へ進む。受信していないと判断したらステップS108へ進む。
システム制御部131は、ステップS102へ進むと、距離センサ170から受信した距離信号の履歴を判断する。上述のように、距離センサ170は、自車両900の前方の複数箇所に設けられているので、いずれかの距離センサ170が対象車両の接近を捉えている可能性がある。そこで、システム制御部131は、いずれかの距離センサ170が対象物の接近を捉えていると判断したら、ステップS104へ進み、そうでなければステップS103へ進む。
システム制御部131は、ステップS103へ進んだ場合には、ナンバープレート検出部140に、イベント発生後に生成される動画像データの各フレーム画像の全領域を対象として、ナンバープレートが存在するか否かを探索させる。一方で、ステップS104へ進んだ場合には、ナンバープレート検出部140に、イベント発生後に生成される動画像データの各フレーム画像のうち距離センサ170がイベント発生前に捉えた接近物の方向の領域を重点的に探索させる。例えば、接近物を検出した距離センサ170が、画像の右側1/4の被写界に対して距離を検出するように設置されているのであれば、ナンバープレート検出部140は、画像の右側1/4を探索領域と定める。ナンバープレート検出を行う対象領域をこのように限定すれば、ナンバープレート検出処理を高速に行えると共に、検出されるナンバープレートを備えた他車両が発生したイベントに関係が深いことも期待できる。
システム制御部131は、ステップS105で、フレーム画像からナンバープレートが検出できたか否かを判断する。検出できたと判断したらステップS106へ進み、検出できないと判断したらステップS107へ進む。
システム制御部131は、ステップS106へ進むと、図5で説明したように主期間とこれに付随する事前期間または事前期間に加え事後期間を決定し、これに応じてメモリ制御部137は、これらの期間に対応する動画像ファイルを上書禁止領域である不揮発バッファ153へコピーする。つまり、システム制御部131は、ステップS106の処理として、事前期間および主期間からなる動画像ファイルを上書禁止領域である不揮発バッファ153へコピーする。または、システム制御部131は、ステップS106の処理として、事前期間に加えて主期間および事後期間からなる動画像ファイルを上書禁止領域である不揮発バッファ153へコピーする。
システム制御部131は、ステップS108へ進むと、録画停止信号を受信したか否かを判断する。録画停止信号は、例えば自車両900の走行終了と共に発生する信号であるほか、ユーザによる停止ボタンの操作によっても発生する信号である。システム制御部131は、録画停止信号を受信したと判断したら、カメラユニット110による撮像を停止させ、生成された動画像ファイルのリングバッファ形式による記録を停止して、一連の処理を終了する。録画停止信号を受信していないと判断したら、ステップS101へ戻って、一連の処理を継続する。
システム制御部131は、ステップS105で、ナンバープレートを検出できなかった場合は、イベント発生から所定期間の動画像ファイルを上書禁止領域である不揮発バッファ153へコピーしてステップS106へ進む。例えば、システム制御部131は、イベント発生から3分間経過するまでナンバープレートを検出できなかった場合は、その時点までの動画像ファイルをイベント記録ファイルとして上書禁止領域である不揮発バッファ153へコピーする。具体的には、ステップS105でナンバープレートを検出できなかった場合はステップS107へ進み、イベント発生から所定時間が経過したかを判断する。所定時間が経過していないと判断した場合には、ステップS102へ戻り、さらに継続してフレーム画像からナンバープレートを検出する。所定時間が経過したと判断したら、ステップS106へ進む。
なお、システム制御部131は、ステップS105で、ナンバープレートを検出できなかった場合には、メモリカード150の記憶容量が上限に達するまで、動画像ファイルを上書き禁止として不揮発バッファ153へコピーすることとしてもよい。また、このような記録処理を行う場合は、画像に変化があった区間の動画像ファイルを上書禁止領域である不揮発バッファ153へコピーすることとしてもよい。
具体的には、システム制御部131は、ステップS105で、ナンバープレートを検出できなかった場合、生成された動画像ファイルの記録を継続しつつ、最新の動画像ファイルにおいて画像に変化が無かったか否かを解析する。具体的には、前後するフレーム画像を比較し、一致するか否かを判断する。そして、全フレームに渡って前後するフレーム間で一致すれば、その動画像ファイルにおいては、画像に変化が無かったと判断する。一部にでも一致しないフレーム画像があれば、画像に変化があったと判断する。なお、フレーム画像に対して比較的狭い一部の領域で変化があるだけの場合には、全体としては変化無しと判断しても良い。
システム制御部131は、最新の動画像ファイルにおいて画像に変化が無かったと判断した場合は、メモリ制御部137に、変化が無かった区間である当該画像ファイルをメモリカード150から削除させる。一方、画像に変化があったと判断した場合は、メモリ制御部137にメモリカード150のリングバッファ152が枯渇したか、すなわち、リングバッファ152のうちイベント発生以前に生成された動画像ファイルが記録されたメモリ領域を使い果たしたか否かを判断する。使い果たしたと判断した場合は、これ以上新たな動画像ファイルを記録できるメモリ領域が存在しないものとして、一連の処理を終了する。このとき、メモリ制御部137は、メモリカード150のメモリ領域151全てを不揮発バッファ153に変更しても良い。一方、メモリ領域を使い果たしていないと判断した場合は、ステップS102へ戻って、逐次生成されるフレーム画像に対してナンバープレートの探索を継続する。
このような処理を追加すると、リングバッファ152が枯渇するまでは、イベント発生後の様子を継続して記録できるので、残された動画像ファイルをより有効に活用することができる。また、被写体に動きの無い画像ファイルを削除するので、より後の期間まで動画像ファイルを記録でき、しかも利用価値の高い動画像ファイルを残すことができる。
[実施の形態2]
本発明の実施の形態1では、終了時点から予め定められた時間が経過するまでの間を事後期間とする例を説明した。実施の形態2では、フレーム画像内における対象車両の相対的な配置関係に基づいて事後期間を決定する例を説明する。
図7は、実施の形態2に係る画像記録装置の一例であるドライブレコーダ200の構成を示すブロック図である。ドライブレコーダ200は、実施の形態1に係るドライブレコーダ100が備える本体ユニット130内に、配置検出部141をさらに備える。その他の構成は、ドライブレコーダ100の構成と同じである。このため、共通する機能または処理については同一の符号を付し、説明を適宜省略する。
配置検出部141は、画像処理部135で所定の前処理を施されたフレーム画像データを受け取って、そのフレーム画像内において、他車両910が予め定められた配置関係にあるかを検出する。配置検出部141は、例えば、図8(a)のように、フレーム画像内において、他車両910と自車両900との間に路面920を認識できるような関係にあるかを検出する。この場合、配置検出部141は、例えば、ナンバープレート検出部140によって検出されたナンバープレート911と自車両900との間に、前後するフレーム画像間の移動ベクトルがゼロである画素の領域を検出する。このような画素の領域を検出できれば、他車両910と自車両900との間に路面920を認識できる。配置検出部141は、他車両910と自車両900との間に路面920が認識できた場合には、そのフレーム画像が撮像された時刻情報を、システム制御部131へ出力する。
配置検出部141は、あるいは、例えば図8(b)のように、他車両910の側面部912が認識できるかを検出してもよい。この場合、配置検出部141は、例えば、様々な車種に対して車両を異なる角度から見たときの形状パターンや色彩パターンを記憶しており、ナンバープレート検出部140によって検出されたナンバープレート911を備えた他車両910の像をマッチングにより特定し、フレーム画像上で追跡する。他車両910の像が、予め記憶された車両の側面部に類似すると判断した場合には、そのフレーム画像が撮像された時刻情報を、システム制御部131へ出力する。なお、このとき、配置検出部141は、マッチングにより検出した車種の情報を合わせてシステム制御部131へ出力してもよい。
実施の形態2では、ナンバープレート検出部140がナンバープレート911を検出してから、配置検出部141が時刻情報をシステム制御部131へ出力するまでの期間を事後期間とし、事前期間・主期間・事後期間の三期間を含む動画像ファイルをイベント記録ファイルとして、不揮発バッファ153にコピーする。このように、対象車両が自車両に対して予め定められた配置関係となるまでの期間を事後期間として指定すれば、さらに画像の利用範囲が広がることが期待できる。すなわち、他車両910をより広い範囲の像として捉えられるため、例えば、他車両910の車種や、変形・キズ等の特徴をも記録されると期待できる。これらの情報は、例えば、ナンバープレート911からだけでは関係車両を特定できない状況において、非常に有用である。なお、画像処理部135は、他車両910の車種や色等の情報を、フレーム画像に埋め込んで動画像ファイルを生成しても良いし、動画像ファイルのヘッダ部分に付加しても良い。
次に、ドライブレコーダ200の制御フローについて説明する。図9は、ドライブレコーダ200の制御フローを示すフロー図である。図9のフロー図は、図6のフロー図におけるステップS106が削除され、代わりにステップS205、S206、S207が加えられている。このため、図6のフロー図と共通する処理については同一の符号を付し、説明を適宜省略する。
システム制御部131は、ステップS105で、フレーム画像からナンバープレートが検出できたと判断したらステップS205へ進み、検出できないと判断したらステップS107へ進む。システム制御部131は、ステップS205へ進むと、フレーム画像内において、他車両910が予め定められた配置関係にあるか否かを判断する。予め定められた配置関係にあると判断したら、ステップS206へ進む。予め定められた配置関係にないと判断したら、ステップS207へ進む。
システム制御部131は、ステップS207へ進んだ場合は、イベント発生から所定時間が経過したかを判断する。所定時間が経過していないと判断した場合には、ステップS102へ戻り、さらに継続してフレーム画像からナンバープレートを検出する。所定時間が経過したと判断したら、ステップS206へ進む。
システム制御部131は、ステップS206へ進むと、実施の形態1で説明したように主期間および事前期間を決定するとともに、フレーム画像内において他車両910が予め定められた配置関係にあると検出された時刻を終了時点とするように事後期間を決定する。これに応じてメモリ制御部137は、これら三期間に対応する動画像ファイルを上書禁止領域である不揮発バッファ153へコピーする。
システム制御部131は、ステップS205で他車両910が予め定められた配置関係にあると検出されなかった場合は、ナンバープレート検出から所定期間の動画像ファイルを上書禁止領域である不揮発バッファ153へコピーしてステップS206へ進む。例えば、システム制御部131は、他車両910が予め定められた配置関係にあると検出なかった場合、ナンバープレート検出から3分間経過するまでの動画像ファイルをイベント記録ファイルとして上書禁止領域である不揮発バッファ153へコピーする。具体的には、ステップS205でナンバープレートを検出できなかった場合はステップS207へ進み、イベント発生から所定時間が経過したかを判断する。所定時間が経過していないと判断した場合には、ステップS102へ戻り、さらに継続してフレーム画像からナンバープレートを検出する。所定時間が経過したと判断したら、ステップS206へ進む。
なお、システム制御部131は、ステップS205で、他車両910がフレーム画像内において予め定められた配置関係にあると検出なかった場合には、メモリカード150の記憶容量が上限に達するまで、動画像ファイルを上書き禁止として不揮発バッファ153へコピーすることとしてもよい。また、このような記録処理を行う場合は、画像に変化があった区間の動画像ファイルを上書禁止領域である不揮発バッファ153へコピーすることとしてもよい。
具体的には、システム制御部131は、ステップS205で、ナンバープレートを検出できなかった場合、生成された動画像ファイルの記録を継続しつつ、最新の動画像ファイルにおいて画像に変化が無かったか否かを解析する。具体的には、前後するフレーム画像を比較し、一致するか否かを判断する。そして、全フレームに渡って前後するフレーム間で一致すれば、その動画像ファイルにおいては、画像に変化が無かったと判断する。一部にでも一致しないフレーム画像があれば、画像に変化があったと判断する。なお、フレーム画像に対して比較的狭い一部の領域で変化があるだけの場合には、全体としては変化無しと判断しても良い。
システム制御部131は、最新の動画像ファイルにおいて画像に変化が無かったと判断した場合は、メモリ制御部137に、変化が無かった区間である当該画像ファイルをメモリカード150から削除させる。一方、画像に変化があったと判断した場合は、メモリ制御部137にメモリカード150のリングバッファ152が枯渇したか、すなわち、リングバッファ152のうちイベント発生以前に生成された動画像ファイルが記録されたメモリ領域を使い果たしたか否かを判断する。使い果たしたと判断した場合は、これ以上新たな動画像ファイルを記録できるメモリ領域が存在しないものとして、一連の処理を終了する。このとき、メモリ制御部137は、メモリカード150のメモリ領域151全てを不揮発バッファ153に変更しても良い。一方、メモリ領域を使い果たしていないと判断した場合は、ステップS102へ戻って、逐次生成されるフレーム画像に対して他車両910が予め定められた配置関係にあるか否かの判断を継続する。
このような処理を追加すると、リングバッファ152が枯渇するまでは、イベント発生後の様子を継続して記録できるので、残された動画像ファイルをより有効に活用することができる。また、被写体に動きの無い画像ファイルを削除するので、より後の期間まで動画像ファイルを記録でき、しかも利用価値の高い動画像ファイルを残すことができる。
以上二つの実施形態について説明したが、若干の変形例について説明する。図10は、他のドライブレコーダ100’が自車両900’に設置されている様子を示す概略図である。自車両900’は、上述の自車両900に対して後方にも複数の距離センサ170’を備える点で異なり、ドライブレコーダ100’は、上述のドライブレコーダ100に対してカメラユニット110の他に、後方の周辺環境を撮像するカメラユニット110’を備える点で異なる。このように構成された自車両900’およびドライブレコーダ100’によれば、後方から衝突する対象物にも対応することができる。
この場合、メモリIF138にメモリカード150を2つ装着できるように構成すれば、一方のメモリカード150を前方用とし、他方のメモリカード150を後方用とすることもできる。もちろん、1つのメモリカード150のメモリ領域を前方用と後方用に区分して利用しても良い。
加速度センサ160が検出した加速度の向きも検出できるものであれば、システム制御部131は、その加速度信号により、対象物が自車両900’に衝突した向きを判断することができる。システム制御部131は、対象物が前方から衝突したと判断した場合には、イベント発生に伴う上述の書き込み制御を、カメラユニット110から取得される画像データに対して実行する。一方、対象物が後方から衝突したと判断した場合には、イベント発生に伴う上述の書き込み制御を、カメラユニット110’から取得される画像データに対して実行する。すなわち、システム制御部131は、イベントが自車両900’に対して発生した発生方向に関する方向情報を加速度信号から抽出し、その方向情報にも基づいて、ナンバープレート検出を実行する対象を、カメラユニット110からの画像データとするか、カメラユニット110’からの画像データとするかを選択する。そして、その選択された画像データを取得して、上述の書き込み制御を実行する。このように構成された自車両900’およびドライブレコーダ100’によれば、イベントに起因する対象車両の情報をより正しく記録することができる。
以上説明した実施形態においては、メモリ領域151を、連続するリングバッファ152と連続する不揮発バッファ153に区分する例を説明したが、もちろん物理的に連続していなくても良い。また、以上の実施形態においては、リングバッファ152の一部を不揮発バッファ153に変更して、そこへ対象となる動画像ファイルをコピーする形態について説明したが、上書きを禁止する書込制御はこれに限らない。例えば、対象となる動画像ファイルが記録されているメモリ領域に上書き禁止のフラグを立てることにより、その領域を不揮発バッファ153と扱うこともできる。この場合は、動画像ファイルのコピー処理を省略できる。
また、以上の実施形態においては、一つのメモリカード150のメモリ領域151をリングバッファ152と不揮発バッファ153に区分する例を説明したが、リングバッファ152として利用するメモリカード150と、不揮発バッファ153として利用するメモリカード150をそれぞれ装着できる構成にすることもできる。また、着脱可能なメモリカード150を利用するのではなく、本体ユニット130に実装されたメモリであっても構わない。さらには、メモリIF138を無線IFとして構成し、物理的には隣接しないメモリに対して上述の書き込み制御を実行しても良い。
また、以上の実施形態においては、例えば1分の動画像ファイルを書込制御の一単位として説明したが、書込制御の一単位はひとつの動画像ファイルに限らない。例えば、フレーム単位で書込制御を行っても良い。また、対象とする画像データは、動画像データにかぎらず、例えば、インターバル撮影される静止画像データであっても構わない。
例えばフレーム単位で書き込み制御を行う場合には、既に生成されている例えば1分の動画像ファイルから、対象となる期間のファイルを切り出して新たな動画像ファイルを生成し、これをイベント記録ファイルとして不揮発バッファへ記録しても良い。この場合は、イベントが発生した時点を起点とする動画像ファイルを残すことができる。もちろん、事前期間を付加する場合も、この起点に対して所定時間遡った時刻を事前期間の開始時点とすることができる。このように起点を管理すれば、通常時の動画像ファイル時間に関係なく、例えばイベント発生前の10秒間とイベント発生後の10秒間とからなる動画像ファイルを、イベント記録ファイルとして確実に残存させることができる。
また、以上の実施形態においては、イベントの発生を検出するセンサとして加速度センサ160を採用したが、他のセンサであっても構わない。例えば、対象物の衝突による変形を検出する歪みセンサであっても構わないし、異常温度を検出する温度センサであっても構わない。もちろん、複数のセンサを組み合わせて採用しても構わない。また、加速度センサ160等のセンサは、ドライブレコーダに組み込まれて構成されても良い。
また、以上の実施形態においては、加速度センサ160が加速度信号をシステム制御部131に出力し、その加速度信号がイベントの発生を示すイベント信号に該当するかどうかをシステム制御部131が判断する構成を採用したが、システム制御部131がイベント信号を取得する方法はこれに限らない。例えば、予め加速度センサ160の出力値に閾値を設定し、閾値以上の加速度信号のみをシステム制御部131に出力する構成であっても構わない。この場合は、システム制御部131が加速度信号を受信した時点を、システム制御部131がイベント信号を取得した時点とすることができる。もちろん、前述した他のセンサに同様の構成を組み込んで採用しても構わない。
また、図6および図9を用いて説明した処理フローでは、距離センサ170からの距離信号の履歴を用いたが、イベント検出前の情報を取得する方法は、これに限らない。イベント検出前の動画像ファイルを利用すれば、例えば被写体像の移動ベクトルを監視することにより対象物の接近を検出することもできる。また、ナンバープレート検出部140の能力等に応じて、特定方向の領域を重点的に探索する分岐フローを省いても構わない。分岐フローを省く場合には、例えば図6におけるステップS102およびS104が省かれる。
また、以上の実施形態においては、距離センサ170を自車両900に設置し、システム制御部131は、距離センサ170から距離信号を取得する構成を説明したが、例えば、カメラユニット110を複眼にして、その複眼画像から対象物までの距離を算出する構成であっても構わない。この場合は、距離センサ170との接続が省けるので、装置構成がよりシンプルになる。
また、以上の実施形態においては、システム制御部131は、画像データのみからナンバープレート911を検出する構成を説明したが、例えば、距離センサ170から取得した距離信号から自車両900と他車両910との距離を算出し、算出された距離からナンバープレート911の像の大きさを推定し、その情報を画像マッチングに用いる構成であっても構わない。この場合は、ナンバープレートの検出をより速く、かつ確実に行うことができる。
また、以上の実施形態においては、ナンバープレート検出部140は、画像データにおいて所定以上の大きさで撮影されたナンバープレートのみを検出対象としてもよい。この場合は、衝突した他車両910以外の他車両のナンバープレートを誤検出する可能性を低減することができる。
また、以上の実施形態においては、図4および図8に示したように、車両同士が正面衝突した例について説明したが、例えば、自車両900が他車両910に後方から追突した場合にも、本発明の構成を適用できる。この場合は、システム制御部131は、他車両910の後方に備えられたナンバープレートを検出する。
また、実施の形態1においては、一定期間T2が経過した時を事後期間の終端とし、実施の形態2においては、フレーム画像内において対象車両が定められた配置関係を満たす時を事後期間の終端としたが、これらの条件を組み合わせてもよい。例えば、ナンバープレート検出後に一定期間T2が経過するか、フレーム画像内において対象車両が定められた配置関係を満たすまでのうち、いずれか長い方の期間を事後期間とする構成にしてもよい。この場合、イベント発生後の記録時間を十分に確保しつつ、対象車両の車種等の情報を記録することができる。いずれにしても、上書きがされないように記録された画像ファイルは、事故の検証等において有用である。