以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。
[実施の形態1]
図1は、実施の形態1に係る画像記録装置の一例であるドライブレコーダ100が自車両900に設置されている様子を示す概略図である。ドライブレコーダ100は、カメラユニット110を含む。カメラユニット110は、前方の周辺環境を撮像できるように、自車両900の進行方向に向かってウィンドシールドの上部に設置されている。なお、その視野は、例えば一点鎖線で示すように対角130°程度の拡がりを有する。
自車両900は、前方の複数箇所に、他車両や歩行者等の対象物までの距離を検出する距離センサ170を備える。距離センサ170は、例えばミリ波レーダや超音波センサであり、検出結果である距離信号をドライブレコーダ100へ出力する。距離センサ170は、ドライブレコーダ100に内蔵されていてもよい。また、自車両900は、自車両900が受ける衝撃等の加速度を検出する加速度センサ160を備える。加速度センサ160は、検出結果である加速度信号をドライブレコーダ100へ出力する。加速度センサ160は、ドライブレコーダ100に内蔵されていてもよい。
図2は、ドライブレコーダ100の構成を示すブロック図である。ドライブレコーダ100は、主にカメラユニット110および本体ユニット130によって構成される。
カメラユニット110は、主にレンズ112、撮像素子114およびAFE(アナログフロントエンド)116を備える。レンズ112は、入射する被写体光束を撮像素子114へ導く。レンズ112は、複数の光学レンズ群から構成されていても良い。
撮像素子114は、例えばCMOSイメージセンサである。撮像素子114は、システム制御部131から指定される1フレームあたりの露光時間に従って電子シャッタにより電荷蓄積時間を調整し、光電変換を行って画素信号を出力する。撮像素子114は、画素信号をAFE116へ引き渡す。AFE116は、画素信号をシステム制御部131から指示される増幅ゲインに応じてレベル調整してデジタルデータへA/D変換し、画素データとして本体ユニット130へ送信する。なお、カメラユニット110は、メカニカルシャッタや虹彩絞りを備えても良い。メカニカルシャッタや虹彩絞りを備える場合には、システム制御部131は、これらも利用して、撮像素子114へ入射する光量を調整することができる。
本体ユニット130は、システム制御部131、画像入力IF132、ワークメモリ133、システムメモリ134、画像処理部135、表示出力部136、メモリ制御部137、メモリIF138、入出力IF139、配置検出部140、バスライン141を主に備える。画像入力IF132は、カメラユニット110が撮像した画像データを逐次取得する画像データ取得部としての機能を担い、本体ユニット130と接続されているカメラユニット110から画素データ受信して、バスライン141へ引き渡す。
ワークメモリ133は、例えば揮発性の高速メモリによって構成される。ワークメモリ133は、AFE116から画像入力IF132を介して画素データを受け取り、1フレームの画像データに纏めて記憶する。ワークメモリ133は、フレーム単位で画像処理部135へ画像データを引き渡す。また、ワークメモリ133は、画像処理部135が画像処理する途中段階においても一時的な記憶領域として適宜利用される。
画像処理部135は、受け取った画像データに対して各種の画像処理を施し、予め定められたフォーマットに即した画像データを生成する。例えば、MPEGファイル形式の動画像データを生成する場合は、各フレームの画像データに対するホワイトバランス処理、ガンマ処理等を施した後に、各フレームの画像データ内および隣接フレームの画像データ間の圧縮処理を実行する。画像処理部135は、生成された画像データから表示用画像データを逐次生成して、表示出力部136へ引き渡す。以下、動画像データを構成する各フレームの画像データをフレーム画像データとし、フレーム画像データで表される画像をフレーム画像とする。
表示出力部136は、画像処理部135から受け取った表示用画像データを、表示ユニット180で表示可能な画像信号に変換して出力する。表示ユニット180は、例えばカーナビゲーションシステムの表示パネルであっても良いし、ドライブレコーダ100と一体的に設けられた専用の表示パネルであっても良い。表示ユニット180は、表示出力部136から受け取った画像信号を逐次表示することができる。
システムメモリ134は、例えばSSDなどの不揮発性記録媒体により構成される。システムメモリ134は、ドライブレコーダ100の動作時に必要な定数、変数、設定値、制御プログラム等を記録、保持する。
メモリIF138は、着脱可能なメモリカード150を装着する接続インタフェースである。メモリカード150としては、不揮発性メモリであり、例えばフラッシュメモリが利用される。メモリ制御部137は、メモリIF138に装着されたメモリカード150に、画像データを書き込むためのメモリ制御を実行する。すなわち、メモリ制御部137は、メモリカード150に画像データを書き込む書込制御部としての機能を担う。具体的なメモリ制御については後述する。
入出力IF139は、外部機器からの信号を受信してシステム制御部131へ引き渡したり、外部機器へ信号要求などの制御信号をシステム制御部131から受け取って外部機器へ送信したりする、外部機器との接続インタフェースである。上述した加速度センサ160からの加速度信号、距離センサ170からの距離信号は、入出力IF139を介してシステム制御部131へ入力される。したがって、入出力IF139は、加速度信号を受信する場合は、システム制御部131と協働して加速度信号取得部としての機能を担い、距離信号を受信する場合は、システム制御部131と協働して距離信号取得部としての機能を担う。
システム制御部131は、入出力IF139を介して加速度センサ160から入力された加速度信号が予め設定された閾値以上の大きさである場合は、衝突等のイベントが発生したと判断する。したがって、システム制御部131はイベント信号取得部としての機能も担う。
また、システム制御部131は、画像処理部135から受け取ったフレーム画像の履歴から接近物が自車両900に接近したと判断する。したがって、システム制御部131は接近物検出部としての機能も担う。
配置検出部140は、画像処理部135で所定の前処理を施されたフレーム画像データを受け取って、そのフレーム画像内において、対象被写体が予め定められた配置関係にあるかを検出する。配置検出部140は、フレーム画像内において、対象被写体が予め定められた配置関係にあると認識できた場合には、そのフレーム画像が撮像された時刻情報を、システム制御部131へ出力する。
システム制御部131は、例えばCPUであり、ドライブレコーダ100を構成する各要素を直接的または間接的に制御する。システム制御部131による制御は、システムメモリ134から読みだされた制御プログラム等によって実現される。
図3は、メモリカード150に設定されるリングバッファについて説明する概念図である。ドライブレコーダ100は、カメラユニット110で逐次撮像する画像を画像処理部135で処理して1分間ごとの動画像ファイルを生成する。そして、メモリ制御部137が、画像処理部135で生成された動画像ファイルを、メモリIF138を介して順次メモリカード150に記録する。
メモリカード150は、記憶容量に上限があるので、記録できる動画像ファイルの数にも上限がある。ドライブレコーダ100は、自車両900が走行を続ける間は動画像ファイルの生成を継続するので、一定時間が経過すると生成した最新の動画像ファイルをメモリカード150に記録できなくなってしまう。そこで、メモリ制御部137は、メモリカード150が記憶容量の上限に到達したら、最も古い動画像ファイルが記憶された記憶領域に最新の動画像ファイルを上書きするリングバッファ形式により、記録処理を継続する。
図3(a)は、メモリカード150のメモリ領域151の全体を、リングバッファ152として利用する場合の概念図である。1つの動画像ファイルを記憶できるメモリ領域をそれぞれX1,X2,…,Xnと表すと、メモリ制御部137は、最初の動画像ファイルをX1、次の動画像ファイルをX2というように順に記録する。そして、n個目の動画像ファイルをXnに記録したら、n+1個目の動画像ファイルを、最初の動画像ファイルが記録されているX1に上書きする。同様にn+2個目の動画像ファイルはX2に上書きする。このようなリングバッファ形式によって動画像ファイルを記録すれば、リングバッファ152の容量分の最新の動画像ファイルを保持しておくことができる。
図3(b)は、従来のドライブレコーダにおける書き込み制御の概念を説明する概念図である。従来のドライブレコーダは、例えば他車両に衝突されて大きな加速度信号を受信したときにイベント発生を認識し、その時点を記録している動画像ファイルを上書き禁止の領域にコピーする。例えば図示するように、リングバッファ152に属するメモリ領域X4に記録された動画像ファイルが、その撮像期間中にイベント発生時点を含むのであれば、メモリXnを不揮発バッファ153に変更して、当該動画像ファイルをイベント記録ファイルとしてここへコピーする。不揮発バッファ153は、リングバッファ形式で記録される記憶領域から除外される領域であり、換言すれば、上書きが禁止される領域である。イベントが複数回発生すれば、その都度Xn-1,Xn-2,…が順に不揮発バッファ153に変更される。すなわち、リングバッファ152は、不揮発バッファ153が増設されるたびに減少する。不揮発バッファ153のメモリ領域は、メモリカード150がフォーマットされたり、ユーザの指示によって対象動画像ファイルが消去されたりすると、再びリングバッファ152として利用される。なお、不揮発バッファ153として用いられる容量は予め設定されていてもよい。
従来のドライブレコーダは、イベント発生後の対象物の様子を記録する観点からは不十分であった。図3(b)に示すように、イベント発生時点を含む、例えば1分間の動画像データが上書き禁止となるだけである。車両との衝突事故が発生したような場合には、その検出時点で対象車両は自車両にすでに接触しており、この時に撮像される画像には対象車両の一部しか写っていないことが多い。そのような画像から得られる情報は、対象車両を特定する観点からは不十分である。また、歩行者等の人物との事故が発生したような場合には、イベント検出時点で対象人物が倒れ込むため、撮像される画像には対象人物の全体像が写っていないことが多い。そのような画像から得られる情報は、被害状況を記録する観点からは不十分である。
そこで、本実施形態においては、イベント発生の時点から、継続して撮像される画像中において対象被写体が所定の配置関係を満たす時点までの期間を含む動画像データを、不揮発バッファ153へコピーする。本実施形態における所定の配置関係とは、画像フレーム内において、対象被写体である他車両が自車両と路面を介して写し出される関係のことを指す。そのほか、対象物が向きを変更したと検出できる関係や、対象物が定められた大きさよりも小さく検出される関係等を所定の配置関係として定めてもよい。
図3(c)は、本実施形態に係るドライブレコーダ100における書き込み制御の概念を説明する概念図である。不揮発バッファ153の増設方法や、対象動画像データの移動方法、リングバッファ152に対する記録方法などは図3(b)の例と同じであるが、本実施形態においては、不揮発バッファ153へコピーする対象となる動画像ファイルが異なる。
図3(b)の例と同様に、リングバッファ152に属するメモリ領域X4に記録された動画像ファイルが、その撮像期間中にイベント発生時点を含むものとする。カメラユニット110はその後も撮像を続け、生成された動画像ファイルは順次X5,X6…に書き込まれる。配置検出部140は、これらの動画像ファイルを構成するフレーム画像データを継続的に取得し、そのフレーム画像内において、対象被写体が予め定められた配置関係を満たすかを検出する(配置検出)。ここでは、メモリ領域X6に記録された動画像ファイル中に、イベント発生後に初めて配置検出されたフレーム画像を含むものとする。なお、イベント発生後に初めて配置検出されたフレーム画像の時刻情報が示す時刻を配置検出時点とする。
この場合において、メモリ制御部137は、イベント発生時点を含むX4の動画像ファイルから、X5の動画像ファイル、および配置検出時点を含むX6の動画像ファイルまでの3つの動画像ファイルをイベント記録ファイルとして、不揮発バッファ153へコピーする。すなわち、Xn-2からXnまでのメモリ領域を不揮発バッファ153に変更して、ここへ対象となる動画像ファイルをコピーする。すでに別の動画像ファイルが不揮発バッファ153に存在する場合は、その動画像ファイルが記録されたメモリ領域を回避して不揮発バッファ153を増設する。
このように継続して撮像される画像中に予め定められた配置関係を満たすと検出されるまでの期間も上書禁止として残されていれば、当該画像データに対象被写体の全体像や、事故後の様子が含まれることが期待できる。本実施形態では、予め定められた配置関係の例として、車両同士が衝突したイベントにおいて、他車両と自車両との間に路面が検出できる関係とした場合を説明する。図4(a)は、他車両910が自車両900に衝突した直後(イベント発生直後)の様子を示し、図4(b)は、その後に他車両910が自車両900から離間し、自車両900と他車両910との間に路面920が検出された様子を示す。
図4(a)に示すような衝突が発生した場合に、システム制御部131は、その衝突に伴って発生する閾値以上の加速度信号を受信することによりイベントが発生したことを認識する。この時点において撮影された画像は、図4(a)の外枠で囲われた範囲である。すなわち、他車両910は自車両900に近接しているので、その下部は写っていない。このような画像のみでは、事故時に近接していた他車両910の全体像を検出できない場合があり、他車両910を特定するといった目的を達成することができない。
しかし、事故後に自車両900と他車両910とが相対的に一定距離以上離れて、図4(b)の外枠で囲われた範囲のような、自車両900と他車両910との間の路面920を含む画像が取得できれば、他車両910をより広い範囲の像として捉えられる。さらに他車両910の輪郭がフレーム画像内に収まれば、他車両910の全体像が把握できる。このように他車両910をより広い範囲の像として記録できれば、例えば、他車両910の車種や、変形・キズ等の特徴をも記録されると期待できる。これらの情報を用いれば、他車両910を事後的に特定することができ、上記のような目的にも適う。すなわち、画像の利用価値が大きく膨らむ。例えば、その後に他車両910に逃走されたとしても、相手を特定することは容易である。なお、画像処理部135は、他車両910の車種や色等の情報を、フレーム画像に埋め込んで動画像ファイルを生成しても良いし、動画像ファイルのヘッダ部分に付加しても良い。
上述のように、イベント発生時点から配置検出時点までの期間を含む動画像ファイルが上書不可能に記録されていれば、当該動画像ファイルの事後利用の価値は飛躍的に向上するが、本実施形態においては、保存する期間をさらに付加する。図5は、本実施形態における、時間経過に対する上書禁止の対象ファイルを説明する説明図である。図は、左から右に向かって時間経過を表している。
図において、時刻tsでイベントが発生し、時刻tfで画像中に予め定められた配置関係が検出されたとする。この時刻tsから時刻tfまでの期間を主期間とする。そして、時刻tsから予め定められた一定時間T1だけ遡った時刻tpを開始時点とし、時刻tsを終了時点とする事前期間を、主期間の前に設定する。また、時刻tfを開始時点とし、時刻tfから予め定められた一定時間T2だけ経過した時刻teを終了時点とする事後期間を、主期間の後に設定する。
そして、この三期間を含む動画像ファイルをイベント記録ファイルとして上書禁止対象ファイルとする。すなわち、これらの動画像ファイルを、不揮発バッファ153にコピーする。このように、前後の期間も含めれば、さらに画像の利用範囲が広がることが期待できる。例えば、事前期間の動画像ファイルには、他車両910が接近する様子が写っている場合があり、事故の発生原因の特定や、主期間で写る車両が事故原因であることの確認などに資する。また、事後期間の動画像ファイルには、救援者が接近する様子や、他車両910が逃走する様子が写っている場合があり、関係者の特定や、刑事責任の追及などに資する。
次に、ドライブレコーダ100の制御フローについて説明する。図6は、ドライブレコーダ100の制御フローを示すフロー図である。フローは、自車両900の走行開始準備が完了する時点から開始する。自車両900の走行開始準備の完了とは、例えば自車両900のエンジン始動または電源オンなどである。また、ドライブレコーダ100は、自車両の状態によらず常時動作するようにしてもよい。また、フローの開始と共にカメラユニット110による撮像を開始し、画像処理部135で逐次生成される動画像ファイルは、メモリ制御部137により、リングバッファ形式で順にメモリカード150に記録される。また、システム制御部131は、加速度センサ160から受ける加速度信号を監視している。以下の処理は、このような通常走行時の記録制御中に実行される処理である。
システム制御部131は、ステップS101で、加速度センサ160から閾値以上の加速度信号を受信したか、つまりイベントが発生したか否かを判断する。閾値以上の加速度信号を受信したと判断したら、イベントが発生したものとして、ステップS102へ進む。受信していないと判断したらステップS108へ進む。
システム制御部131は、ステップS102へ進むと、画像処理部135から受信したフレーム画像の履歴が対象物の接近を捉えていたか否かを判断する。例えば、イベント検出前のフレーム画像から他車両を検出し、その他車両の像が徐々に大きくなり、イベント検出の瞬間に最も大きく写り込んでいた場合、その他車両が自車両900に接近していたものと判断できる。このようにして、システム制御部131は、一連のフレーム画像が対象物の接近を捉えていると判断したら、ステップS104へ進み、そうでなければステップS103へ進む。
システム制御部131は、ステップS103へ進んだ場合には、配置検出部140に、イベント発生後に生成される動画像データの各フレーム画像の全領域を対象として、自車両以外の車両を検出させる。具体的には、例えば、配置検出部140は車両の外観の形状パターンを記憶しており、画像マッチングにより他車両を検出する。システム制御部131は、配置検出部140が検出した他車両を対象被写体として抽出する。なお、システム制御部131は、フレーム画像内に写り込んだ全ての他車両を対象被写体としても良いし、距離センサ170を用いて他車両との距離を測定し、自車両900に最も近い他車両のみを対象被写体としても良い。一方で、ステップS104へ進んだ場合には、システム制御部131は、ステップS102で判断した他車両を対象被写体として抽出する。
システム制御部131は、ステップS105へ進むと、ステップS103、S104で抽出された対象被写体を確認するとともに、フレーム画像内において、対象被写体が予め定められた第1の配置関係にあると検出されたか否かを判断する。予め定められた第1の配置関係とは、例えば、フレーム画像内において、他車両910と自車両900との間に、路面920を配置検出部140が認識できるような関係である。この場合、配置検出部140は、例えば、他車両910と自車両900との間に、前後するフレーム画像間の移動ベクトルがゼロである画素の領域を検出する。このような画素の領域を検出できれば、他車両910と自車両900との間に路面920を認識できる。このようにして、対象被写体が予め定められた第1の配置関係にあると判断したらステップS106へ進み、予め定められた第1の配置関係にないと判断したらステップS108へ進む。
システム制御部131は、ステップS106へ進むと、図5で説明したように主期間とこれに付随する事前期間または事前期間に加え事後期間を決定し、これに応じてメモリ制御部137は、これらの期間に対応する動画像ファイルを上書禁止領域である不揮発バッファ153へコピーする。つまり、システム制御部131は、ステップS106の処理として、事前期間および主期間からなる動画像ファイルを上書禁止領域である不揮発バッファ153へコピーする。または、システム制御部131は、ステップS106の処理として、事前期間に加えて主期間および事後期間からなる動画像ファイルを上書禁止領域である不揮発バッファ153へコピーする。
システム制御部131は、ステップS108へ進むと、録画停止信号を受信したか否かを判断する。録画停止信号は、例えば自車両900の走行終了と共に発生する信号であるほか、ユーザによる停止ボタンの操作によっても発生する信号である。システム制御部131は、録画停止信号を受信したと判断したら、カメラユニット110による撮像を停止させ、生成された動画像ファイルのリングバッファ形式による記録を停止して、一連の処理を終了する。録画停止信号を受信していないと判断したら、ステップS101へ戻って、一連の処理を継続する。
システム制御部131は、ステップS105で、対象被写体が予め定められた第1の配置関係にないと判断した場合は、イベント発生から所定期間の動画像ファイルを上書禁止領域である不揮発バッファ153へコピーしてステップS106へ進む。例えば、システム制御部131は、イベント発生から3分間経過するまで対象被写体が予め定められた第1の配置関係にないと判断した場合は、その時点までの動画像ファイルをイベント記録ファイルとして上書禁止領域である不揮発バッファ153へコピーする。具体的には、ステップS105でナンバープレートを検出できなかった場合はステップS107へ進み、イベント発生から所定時間が経過したかを判断する。所定時間が経過していないと判断した場合には、ステップS102へ戻り、さらに継続してフレーム画像からナンバープレートを検出する。所定時間が経過したと判断したら、ステップS106へ進む。
なお、システム制御部131は、ステップS105で、対象被写体が予め定められた第1の配置関係にないと判断した場合、メモリカード150の記憶容量が上限に達するまで、動画像ファイルを上書き禁止として不揮発バッファ153へコピーすることとしてもよい。また、このような記録処理を行う場合は、画像に変化があった区間の動画像ファイルを上書禁止領域である不揮発バッファ153へコピーすることとしてもよい。
具体的には、システム制御部131は、ステップS105で、対象被写体が予め定められた第1の配置関係にないと判断した場合、生成された動画像ファイルの記録を継続しつつ、最新の動画像ファイルにおいて画像に変化が無かったか否かを解析する。具体的には、前後するフレーム画像を比較し、一致するか否かを判断する。そして、全フレームに渡って前後するフレーム間で一致すれば、その動画像ファイルにおいては、画像に変化が無かったと判断する。一部にでも一致しないフレーム画像があれば、画像に変化があったと判断する。なお、フレーム画像に対して比較的狭い一部の領域で変化があるだけの場合には、全体としては変化無しと判断しても良い。
システム制御部131は、最新の動画像ファイルにおいて画像に変化が無かったと判断した場合は、メモリ制御部137に、変化が無かった区間である当該画像ファイルをメモリカード150から削除させる。一方、画像に変化があったと判断した場合は、メモリ制御部137にメモリカード150のリングバッファ152が枯渇したか、すなわち、リングバッファ152のうちイベント発生以前に生成された動画像ファイルが記録されたメモリ領域を使い果たしたか否かを判断する。使い果たしたと判断した場合は、これ以上新たな動画像ファイルを記録できるメモリ領域が存在しないものとして、一連の処理を終了する。このとき、メモリ制御部137は、メモリカード150のメモリ領域151全てを不揮発バッファ153に変更しても良い。一方、メモリ領域を使い果たしていないと判断した場合は、ステップS102へ戻って、逐次生成されるフレーム画像に対して対象被写体を追跡し、対象被写体が予め定められた第1の配置関係になったか否かの判断を継続する。
このような処理を追加すると、リングバッファ152が枯渇するまでは、イベント発生後の様子を継続して記録できるので、残された動画像ファイルをより有効に活用することができる。また、被写体に動きの無い画像ファイルを削除するので、より後の期間まで動画像ファイルを記録でき、しかも利用価値の高い動画像ファイルを残すことができる。
なお、本実施形態ではステップS103、S104において、他車両の検出に成功し、対象被写体として抽出できたものとして説明したが、対象被写体を抽出できなかった場合は、例えば、リングバッファ152が枯渇するまで他車両の検出を繰り返し行っても構わない。あるいは、そのままステップS105へ進み、対象被写体を抽出できなかった場合は、そもそも対象被写体が予め定められた第1の配置関係を満たしていないものと判断し、ステップS108へ進めてもよい。
また、本実施形態ではステップS105において、フレーム画像内において、他車両910と自車両900との間に路面920を認識できるような関係を、予め定められた第1の配置関係と定義して説明したが、他の配置関係を予め定められた第1の配置関係として定義しても構わない。例えば、フレーム画像内に他車両910の輪郭が収まるような関係、すなわち他車両910の全体像が把握できる関係を予め定められた第1の配置関係としても構わないし、他車両910の像が、予め記憶された形状パターンと一致する関係を予め定められた第1の配置関係としても構わない。
他車両910の全体像が把握できる関係を予め定められた第1の配置関係とした場合、ステップS105において、配置検出部140は、例えば、離間に伴って収縮する他車両910の輪郭を検出する。他車両910の輪郭を構成する全ての点が放射状に収縮したことを検出できれば、他車両910の全体像がフレーム画像内に収まったと判断できる。
[実施の形態2]
本発明の実施の形態1では、取得したフレーム画像内において、対象被写体が予め定められた第1の配置関係にあると検出された時点を終了時点とし、終了時点から予め定められた時間が経過するまでの間を事後期間とする例を説明した。例えば、他車両910と自車両900との間に路面920を認識できるような配置関係を、予め定められた第1の配置関係と定義して説明した。本実施形態では、フレーム画像内において、対象被写体が予め定められた第1の配置関係にあると検出された時点から、対象被写体が予め定められた第2の配置関係にあると検出されるまでの間を事後期間とする例を説明する。例えば、他車両910が向きを変更したと配置検出部140が検出できる配置関係や、他車両910の像が小さくなりすぎた配置関係を、予め定められた第2の配置関係と定義して説明する。なお、実施の形態2に係る画像記録装置の一例であるドライブレコーダの構成は、実施の形態1に係るドライブレコーダ100の構成と同じである。
本実施形態では、例えば、図7(a)のように他車両910が向きを変更したと検出された時点や、図7(b)のように他車両910の像が小さくなりすぎた時点を事後期間の終点とする。他車両910が図7(a)(b)に示す配置関係となった後は、他車両910がフレーム画像から外れてしまうか、不鮮明な画像しか得られなくなってしまうと予想できるので、このような配置関係を検出した場合に事後期間を終了させる。対象車両が自車両に対して予め定められた第2の配置関係となるまでの期間を事後期間として指定すれば、他車両910を認識できなくなるまでの期間をより正確に記録できるため、さらに画像の利用範囲が広がることが期待できる。
本実施形態において、配置検出部140は、自車両900と他車両910との間に路面920を検出した後、例えば図7(a)のように、他車両910の側面部911が認識できるか否かを検出する。この場合、配置検出部140は、例えば、様々な車種に対して車両を異なる角度から見たときの形状パターンや色彩パターンを記憶しており、他車両910の像が、予め記憶された車両の側面部に類似するかどうかを判断する。配置検出部140は、画像マッチングにより側面部911を検出した場合、他車両910が向きを変更したと判断し、そのフレーム画像が撮像された時刻情報を、システム制御部131へ出力する。
あるいは、配置検出部140は、自車両900と他車両910との間に路面920を検出した後、例えば図7(b)のように、他車両910の像が予め定められた大きさより小さくなったか否かを検出してもよい。この場合、配置検出部140は、例えば、他車両910の検出領域である検出枠811の大きさを追跡する。検出枠811の大きさが予め定められた大きさより小さくなった場合には、そのフレーム画像が撮像された時刻情報を、システム制御部131へ出力する。
次に、本実施形態に係るドライブレコーダ100の制御フローについて説明する。図8は、本実施形態に係る制御フローを示すフロー図である。図8のフロー図は、図6のフロー図におけるステップS106の代わりにステップS206が設けられている。さらに、ステップS205、S207が加えられている。図6のフロー図と共通する処理については同一のステップ番号を付し、説明を適宜省略する。
システム制御部131は、ステップS105で、フレーム画像内において、対象被写体が予め定められた第1の配置関係にあると検出されたと判断したらステップS205へ進む。ここでいう対象被写体とは、例えば他車両910である。また、予め定められた第1の配置関係とは、例えば、フレーム画像内において、他車両910と自車両900との間に路面920を配置検出部140が検出できるような関係である。
システム制御部131は、ステップS205へ進むと、フレーム画像内において、他車両910が予め定められた第2の配置関係にあるか否かを判断する。予め定められた第2の配置関係とは、例えば、他車両910の向きが変更されたと配置検出部140が検出できる関係としてもよいし、他車両910の像が予め定められた大きさより小さくなったと配置検出部140が検出できる関係としても構わない。フレーム画像内において他車両910が予め定められた第2の配置関係にあると判断したら、ステップS206へ進む。予め定められた第2の配置関係にないと判断したら、ステップS207へ進む。
システム制御部131は、ステップS206へ進むと、実施の形態1で説明したように主期間および事前期間を決定するとともに、フレーム画像内において他車両910が予め定められた第2の配置関係にあると検出された時刻を終了時点とするように、事後期間を決定する。これに応じてメモリ制御部137は、これら三期間に対応する動画像ファイルを上書禁止領域である不揮発バッファ153へコピーする。
システム制御部131は、ステップS207へ進んだ場合は、対象被写体が予め定められた第1の配置関係を満たすと判断されてから所定期間、またはステップS107で所定期間経過後さらに所定期間の動画像ファイルを上書禁止領域である不揮発バッファ153へコピーしてステップS206へ進む。例えば、システム制御部131は、対象被写体が予め定められた第1の配置関係を満たすと判断されてから、またはステップS107で所定期間経過してからさらに3分間経過したときまで対象被写体が予め定められた第2の配置関係にないと判断した場合は、その時点までの動画像ファイルをイベント記録ファイルとして上書禁止領域である不揮発バッファ153へコピーする。具体的には、ステップS205でナンバープレートを検出できなかった場合はステップS207へ進み、イベント発生から所定時間が経過したかを判断する。所定時間が経過していないと判断した場合には、ステップS102へ戻り、さらに継続してフレーム画像からナンバープレートを検出する。所定時間が経過したと判断したら、ステップS206へ進む。
なお、システム制御部131は、ステップS205で、対象被写体が予め定められた第1の配置関係にないと判断した場合、メモリカード150の記憶容量が上限に達するまで、動画像ファイルを上書き禁止として不揮発バッファ153へコピーすることとしてもよい。また、このような記録処理を行う場合は、画像に変化があった区間の動画像ファイルを上書禁止領域である不揮発バッファ153へコピーすることとしてもよい。
具体的には、システム制御部131は、ステップS205で、対象被写体が予め定められた第2の配置関係にないと判断した場合、生成された動画像ファイルの記録を継続しつつ、最新の動画像ファイルにおいて画像に変化が無かったか否かを解析する。具体的には、前後するフレーム画像を比較し、一致するか否かを判断する。そして、全フレームに渡って前後するフレーム間で一致すれば、その動画像ファイルにおいては、画像に変化が無かったと判断する。一部にでも一致しないフレーム画像があれば、画像に変化があったと判断する。なお、フレーム画像に対して比較的狭い一部の領域で変化があるだけの場合には、全体としては変化無しと判断しても良い。
システム制御部131は、最新の動画像ファイルにおいて画像に変化が無かったと判断した場合は、メモリ制御部137に、変化が無かった区間である当該画像ファイルをメモリカード150から削除させる。一方、画像に変化があったと判断した場合は、メモリ制御部137にメモリカード150のリングバッファ152が枯渇したか、すなわち、リングバッファ152のうちイベント発生以前に生成された動画像ファイルが記録されたメモリ領域を使い果たしたか否かを判断する。使い果たしたと判断した場合は、これ以上新たな動画像ファイルを記録できるメモリ領域が存在しないものとして、一連の処理を終了する。このとき、メモリ制御部137は、メモリカード150のメモリ領域151全てを不揮発バッファ153に変更しても良い。一方、メモリ領域を使い果たしていないと判断した場合は、ステップS205へ戻って、逐次生成されるフレーム画像に対して他車両910が予め定められた第2の配置関係にあるか否かの判断を継続する。
このような処理を追加すると、リングバッファ152が枯渇するまでは、イベント発生後の様子を継続して記録できるので、残された動画像ファイルをより有効に活用することができる。また、被写体に動きの無い画像ファイルを削除するので、より後の期間まで動画像ファイルを記録でき、しかも利用価値の高い動画像ファイルを残すことができる。
なお、本実施形態ではステップS105において、フレーム画像内において、他車両910と自車両900との間に路面920を認識できるような関係を、予め定められた第1の配置関係と定義して説明したが、他の配置関係を予め定められた第1の配置関係として定義しても構わない。例えば、フレーム画像内に他車両910の輪郭が収まるような関係、すなわち他車両910の全体像が把握できる関係を予め定められた第1の配置関係としても構わないし、他車両910の像が、予め記憶された形状パターンと一致する関係を予め定められた第1の配置関係としても構わない。
また、本実施形態ではステップS205において、フレーム画像内において、他車両910の向きが変更されたと検出されるような関係や、他車両910の像が予め定められた大きさより小さくなったと検出される関係を、予め定められた第2の配置関係と定義して説明したが、他の配置関係を予め定められた第2の配置関係として定義しても構わない。例えば、フレーム画像内において、他車両910がフレームアウトした関係を予め定められた第2の配置関係としても構わないし、他車両910の近くにパトカー等の緊急車両を検出できるような関係を予め定められた第2の配置関係としても構わない。
[実施の形態3]
実施の形態1、2では、対象被写体が車両である場合を例に説明した。実施の形態3では、対象被写体が人物である場合を例に説明する。なお、実施の形態3に係る画像記録装置の一例であるドライブレコーダの構成は、実施の形態1に係るドライブレコーダ100の構成と同じである。
図9(a)は、自車両900が歩行者930に衝突した直後の様子を示し、図9(b)は、その後、歩行者930が起き上がったことが検出された様子を示す。図9(a)に示すように自車両900と歩行者930との衝突が発生した場合に、システム制御部131は、その衝突に伴って発生する閾値以上の加速度信号を受信することによりイベントが発生したことを認識する。この直後において撮影された画像は、図9(a)の外枠で囲われた範囲である。図9(a)に示すように、一般的な歩行者は車両と衝突すると、車両の近くで倒れ込むか、うずくまることが多い。
図9(b)に示したように、歩行者930が起き上がるなどの状態が検出されるまでの期間の画像も記録されていれば、事故後の歩行者930の振る舞いや、歩行者930の怪我の状態、歩行者930に対する救護の様子等を捉えられると期待できる。これらの情報を用いれば、事故の被害状況を事後的に客観的に判断することができ、関係者の特定や、刑事責任の追及などに資する。
本実施形態において、システム制御部131は、歩行者930を対象被写体として認識し、配置検出部140は、歩行者930がフレーム画像内において予め定められた配置関係にあると検出されたか否かを判断する。配置検出部140は、例えば、図9(b)のように歩行者930が起き上がったか否かを判断してもよいし、歩行者930の全身が検出されたか否かを判断してもよい。あるいは、歩行者930がフレーム画像の外に出たか否かを判断してもよいし、歩行者930の像が予め定められた大きさよりも小さくなったか否かを判断してもよい。
ここで、本実施形態に係るドライブレコーダ100の制御フローについて説明する。図10は、本実施形態に係る制御フローを示すフロー図である。図10のフロー図は、図6のフロー図におけるステップS102、S103、S104、S105の代わりにステップS302、S303、S304、S305がそれぞれ設けられている。図6のフロー図と共通する処理については同一のステップ番号を付し、説明を適宜省略する。
システム制御部131は、ステップS302へ進むと、画像処理部135から受信したフレーム画像の履歴が人物の接近を捉えていたか否かを判断する。例えば、イベント検出前のフレーム画像に歩行者が写り込んでおり、その歩行者の像が徐々に大きくなり、イベント検出の瞬間に最も大きく写り込んでいた場合、その歩行者が自車両900に接近したものと判断できる。このようにして、システム制御部131は、一連のフレーム画像が人物の接近を捉えていると判断したら、ステップS304へ進み、そうでなければステップS303へ進む。
システム制御部131は、ステップS303へ進んだ場合には、配置検出部140に、イベント発生後に生成される動画像データの各フレーム画像の全領域を対象として、人物を検出させる。具体的には、例えば、配置検出部140は人物の外観の形状パターンを記憶しており、画像マッチングにより人物を検出する。システム制御部131は、配置検出部140が検出した人物を対象被写体として抽出する。なお、システム制御部131は、フレーム画像内に写り込んだ全ての人物を対象被写体としても良いし、距離センサ170を用いて写り込んだ人物との距離を測定し、自車両900に最も近い人物のみを対象被写体としても良い。一方で、ステップS304へ進んだ場合には、システム制御部131は、ステップS302で判断した人物を対象被写体として抽出する。
システム制御部131は、ステップS305へ進むと、ステップS303、S304で抽出された対象被写体を確認するとともに、フレーム画像内において、対象被写体が予め定められた第3の配置関係にあると検出されたか否かを判断する。予め定められた第3の配置関係とは、例えば、歩行者930が起き上がったと配置検出部140が検出できるような関係である。この場合、配置検出部140は、例えば、歩行者930の頭部・胴体部・脚部等の部位を示す点を複数検出し、それらの点の位置関係によって、歩行者930が倒れているか立っているか等を判断する。このようにして、対象被写体が予め定められた第3の配置関係にあると判断したらステップS106へ進み、予め定められた第3の配置関係にないと判断したらステップS107へ進む。これ以降は実施の形態1における制御フローと同じである。
以上のようにして、人物を対象被写体とした場合でも、車両を対象被写体とした場合と同様に、イベント発生後の対象被写体の様子をより的確に記録することができる。
なお、本実施形態ではステップS303、S304において、人物の検出に成功し、対象被写体として抽出できたものとして説明したが、対象被写体を抽出できなかった場合は、例えば、リングバッファ152が枯渇するまで人物の検出を繰り返し行っても構わない。あるいは、そのままステップS305へ進み、対象被写体を抽出できなかった場合は、そもそも対象被写体が予め定められた第3の配置関係を満たしていないものと判断し、ステップS108へ進めてもよい。
また、本実施形態ではステップS305において、フレーム画像内において、歩行者930が起き上がったと配置検出部140が検出できるような関係を、予め定められた第3の配置関係と定義して説明したが、他の配置関係を予め定められた第3の配置関係として定義しても構わない。例えば、フレーム画像内に歩行者930の輪郭が収まるような関係、すなわち歩行者930の全体像が把握できる関係を予め定められた第3の配置関係としても構わないし、歩行者930の像が予め定められた大きさより小さくなったと検出される関係を予め定められた第3の配置関係としても構わない。
以上、三つの実施形態について説明したが、若干の変形例について説明する。図11は、他のドライブレコーダ100’が自車両900’に設置されている様子を示す概略図である。自車両900’は、上述の自車両900に対して後方にも複数の距離センサ170’を備える点で異なり、ドライブレコーダ100’は、上述のドライブレコーダ100に対してカメラユニット110の他に、後方の周辺環境を撮像するカメラユニット110’を備える点で異なる。このように構成された自車両900’およびドライブレコーダ100’によれば、後方から衝突する対象物にも対応することができる。
この場合、メモリIF138にメモリカード150を2つ装着できるように構成すれば、一方のメモリカード150を前方用とし、他方のメモリカード150を後方用とすることもできる。もちろん、1つのメモリカード150のメモリ領域を前方用と後方用に区分して利用しても良い。
加速度センサ160が検出した加速度の向きも検出できるものであれば、システム制御部131は、その加速度信号により、対象物が自車両900’に衝突した向きを判断することができる。システム制御部131は、対象物が前方から衝突したと判断した場合には、イベント発生に伴う上述の書き込み制御を、カメラユニット110から取得される画像データに対して実行する。一方、対象物が後方から衝突したと判断した場合には、イベント発生に伴う上述の書き込み制御を、カメラユニット110’から取得される画像データに対して実行する。すなわち、システム制御部131は、イベントが自車両900’に対して発生した発生方向に関する方向情報を加速度信号から抽出し、その方向情報にも基づいて、配置検出を実行する対象を、カメラユニット110からの画像データとするか、カメラユニット110’からの画像データとするかを選択する。そして、その選択された画像データを取得して、上述の書き込み制御を実行する。このように構成された自車両900’およびドライブレコーダ100’によれば、イベントに起因する対象車両の情報をより正しく記録することができる。
なお、以上の実施形態において、実施の形態1、2として車両を対象被写体とした場合を説明し、実施の形態3として人物を対象被写体とした場合を説明したが、これらを組み合わせてもよい。例えば、システム制御部131は、フレーム画像内に写り込んだ他車両および人物の両方を対象被写体として抽出し、それぞれが定められた配置関係を満たすまでの期間を主期間としてもよい。もちろん、システム制御部131は、例えば動物や二輪車等の、自動車や人物以外でイベントの原因となる対象物を対象被写体として抽出してもよい。
また、以上の実施形態においては、メモリ領域151を、連続するリングバッファ152と連続する不揮発バッファ153に区分する例を説明したが、もちろん物理的に連続していなくても良い。また、以上の実施形態においては、リングバッファ152の一部を不揮発バッファ153に変更して、そこへ対象となる動画像ファイルをコピーする形態について説明したが、上書きを禁止する書込制御はこれに限らない。例えば、対象となる動画像ファイルが記録されているメモリ領域に上書き禁止のフラグを立てることにより、その領域を不揮発バッファ153と扱うこともできる。この場合は、動画像ファイルのコピー処理を省略できる。
また、以上の実施形態においては、一つのメモリカード150のメモリ領域151をリングバッファ152と不揮発バッファ153に区分する例を説明したが、リングバッファ152として利用するメモリカード150と、不揮発バッファ153として利用するメモリカード150をそれぞれ装着できる構成にすることもできる。また、着脱可能なメモリカード150を利用するのではなく、本体ユニット130に実装されたメモリであっても構わない。さらには、メモリIF138を無線IFとして構成し、物理的には隣接しないメモリに対して上述の書き込み制御を実行しても良い。
また、以上の実施形態においては、例えば1分の動画像ファイルを書込制御の一単位として説明したが、書込制御の一単位はひとつの動画像ファイルに限らない。例えば、フレーム単位で書込制御を行っても良い。また、対象とする画像データは、動画像データにかぎらず、例えば、インターバル撮影される静止画像データであっても構わない。
また、以上の実施形態においては、イベントの発生を検出するセンサとして加速度センサ160を採用したが、他のセンサであっても構わない。例えば、対象物の衝突による変形を検出する歪みセンサであっても構わないし、異常温度を検出する温度センサであっても構わない。もちろん、複数のセンサを組み合わせて採用しても構わない。また、加速度センサ160等のセンサは、ドライブレコーダに組み込まれて構成されても良い。これらの出力である歪み信号、温度信号などは、加速度信号と同様に、イベントを検出するためのイベント信号として利用することができる。
また、以上の実施形態においては、加速度センサ160が加速度信号をシステム制御部131に出力し、その加速度信号が閾値以上であるどうかをシステム制御部131が判断する構成を採用したが、システム制御部131がイベントの発生を検出する方法はこれに限らない。例えば、予め加速度センサ160の出力値に閾値を設定し、閾値以上の加速度信号のみをシステム制御部131に出力する構成であっても構わない。この場合は、システム制御部131が加速度信号を受信した時点を、イベント検出時点とすることができる。もちろん、前述した他のセンサに同様の構成を組み込んで採用しても構わない。
また、以上の実施形態においては、イベント検出前の情報を取得するために画像処理部135から受信したフレーム画像の履歴を用いたが、イベント検出前の情報を取得する方法は、これに限らない。例えば、距離センサ170からの距離信号の履歴を利用することにより対象物の接近を検出することもできる。距離センサ170は、自車両900の前方の複数箇所に設けられているので、いずれかの距離センサ170が対象物の接近を捉えられる可能性があるからである。また、配置検出部140の能力等に応じて、特定方向の領域を重点的に探索する分岐フローを省いても構わない。分岐フローを省く場合には、例えば図6におけるステップS102およびS104が省かれる。
また、以上の実施形態においては、距離センサ170を自車両900に設置し、システム制御部131は、距離センサ170から距離信号を取得する構成を説明したが、例えば、カメラユニット110を複眼にして、その複眼画像から対象物までの距離を算出する構成であっても構わない。この場合は、距離センサ170との接続が省けるので、装置構成がよりシンプルになる。
また、実施の形態1、2においては、図4および図7に示したように、車両同士が正面衝突した例について説明したが、例えば、自車両900が他車両910に後方から追突した場合にも、本発明の構成を適用できる。
また、実施の形態1、3においては、一定期間T2が経過した時を事後期間の終端とし、実施の形態2においては、フレーム画像内において対象被写体が定められた配置関係を満たす時を事後期間の終端としたが、これらの条件を組み合わせてもよい。例えば、配置検出後に一定期間T2が経過するか、フレーム画像内において対象被写体が定められた配置関係を満たすまでのうち、いずれか長い方の期間を事後期間とする構成にしてもよい。この場合、イベント発生後の記録時間を十分に確保しつつ、例えば、対象被写体が認識できなくなるまでの情報を記録することができる。いずれにしても、上書きがされないように記録された画像ファイルは、事故の検証等において有用である。