JP6610693B2

JP6610693B2 - 車両用撮像記録装置、車両用撮像制御方法及びプログラム

Info

Publication number: JP6610693B2
Application number: JP2018052017A
Authority: JP
Inventors: 俊夫森; 亮行永井; 章典菅田; 貴之荒瀬; 一史春原
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2018-03-20
Filing date: 2018-03-20
Publication date: 2019-11-27
Anticipated expiration: 2038-03-20
Also published as: US20200412999A1; JP2019164587A; EP3770878A1; CN111684498B; WO2019181358A1; EP3770878A4; CN111684498A; US11146755B2

Description

本発明は、車両用撮像記録装置、車両用撮像制御方法及びプログラムに関する。

近年、車両用撮像記録装置としてのドライブレコーダが普及しつつある。ドライブレコーダは、イベント発生（事故などによる加速度検出）の前後所定期間の映像データを、イベント記録データとして記録する。特許文献１には、オーディオ装置から取得した音楽データに基づき映像データに含まれる音データから音楽を除去して記録するドライブレコーダが開示されている。

特開２０１７−１３４６４６号公報

しかしながら、特許文献１に開示されたドライブレコーダでは、音楽を除去する音楽キャンセル処理を行うか否かは切り替えスイッチにより行われるものとなっており、ユーザの手を煩わせる必要があった。

本発明は、以上の背景に鑑みなされたものであり、事故にかかわる音声をより確実に記録することができる車両用撮像記録装置を提供することを目的とする。

本発明は、車両用撮像記録装置であって、車両の周辺の映像及び音声を取得する周辺映像音声取得部と、前記周辺映像音声取得部が取得した映像及び音声を記録部に記録する処理を制御する記録制御部と、電子機器の出力する電子機器音声を取得する電子機器音声取得部と、前記周辺映像音声取得部が取得した音声に対し、前記周辺映像音声取得部が取得した音声に含まれる電子機器音声を低減させるキャンセル処理を行うキャンセル処理部と、前記車両の異常を検知する異常検知部と、を備え、前記記録制御部は、前記異常検知部が異常を検知しない場合、前記周辺映像音声取得部が取得した音声を、前記周辺映像音声取得部が取得した映像と関連付けを施して記録媒体に記録し、前記異常検知部が異常を検知した場合、前記周辺映像音声取得部が取得した音声および前記キャンセル処理部がキャンセル処理を施したキャンセル音声を、前記周辺映像音声取得部が取得した映像とともに記録媒体に記録するものである。

本発明は、車両用撮像制御方法であって、車両の周辺の映像及び音声を取得するとともに、電子機器の出力する電子機器音声を取得する第１のステップと、取得した前記車両の周辺の音声に対し、前記車両の周辺の音声に含まれる電子機器音声を低減させるキャンセル処理を行う第２のステップと、前記車両の異常を検知しない場合、取得した前記車両の周辺の音声を、前記車両の周辺の映像と関連付けを施して記録媒体に記録し、異常を検知した場合、前記キャンセル処理を施したキャンセル音声及び取得した前記車両の周辺の音声を、取得した前記車両の周辺の映像とともに記録媒体に記録する第３のステップと、を備えるものである。

本発明は、車両用撮像記録のための処理手順をコンピュータに実行させるためのプログラムであって、車両用撮像記録のための処理手順をコンピュータに実行させるためのプログラムであって、車両の周辺の映像及び音声を取得するとともに、電子機器の出力する電子機器音声を取得する第１の処理手順と、取得した前記車両の周辺の音声に対し、取得した電子機器音声の特性に基づいて、前記車両の周辺の音声に含まれる電子機器音声を低減させるキャンセル処理を行う第２の処理手順と、前記車両の異常を検知しない場合、取得した前記車両の周辺の音声を、前記車両の周辺の映像と関連付けを施して記録媒体に記録し、異常を検知した場合、前記キャンセル処理を施したキャンセル音声及び取得した前記車両の周辺の音声を、取得した前記車両の周辺の映像とともに記録媒体に記録する第３の処理手順と、を含むものである。

本発明によれば、事故にかかわる音声をより確実に記録することができる。

実施の形態１にかかる車両用撮像記録装置としてのドライブレコーダの構成を示すブロック図である。実施の形態１にかかるドライブレコーダの記録動作に関する処理の流れの一例を示すフローチャートである。実施の形態２にかかる車両用撮像記録装置としてのドライブレコーダの構成を示すブロック図である。実施の形態３にかかる車両用撮像記録装置としてのドライブレコーダの構成を示すブロック図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施の形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。なお、説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

［実施の形態１］
図１は、実施の形態１にかかる車両用撮像記録装置としてのドライブレコーダ１の構成を示すブロック図である。ドライブレコーダ１は、少なくとも車両（自車両）の周辺の映像及び車室内外の音声を結合した動画データを記録する装置である。図１に示すように、ドライブレコーダ１は、カメラ１０と、マイク２３と、センサ２４と、記録部２５と、表示部２６と、スピーカ２７と、制御部３０と、を備えている。

カメラ１０は、自車両の周囲を撮影するためのもので、主にレンズ、撮像素子、ＡＦＥ（アナログフロントエンド）、駆動モータなどを備えている。カメラ１０で撮影された画像データは制御部３０に入力される。マイク２３は、車室内（例えば、ルームミラー）に設置されて、車室内の音を収集する装置である。マイク２３で収集された音声データは制御部３０に入力される。

制御部３０は、ドライブレコーダ１の記録動作に関する処理を行う。ドライブレコーダ１の記録動作に関する処理の流れについては後述する。制御部３０は、カメラ１０、マイク２３と、有線または無線によって接続されている。制御部３０は、周辺映像音声取得部３１と、電子機器音声取得部３２と、バッファメモリ３３と、記録制御部３４と、異常検知部３５と、再生制御部３６と、キャンセル処理部３７と、を含む。

周辺映像音声取得部３１は、車両の周辺の映像と音声を取得する。周辺映像音声取得部３１は、カメラ１０の撮影した車両の周辺の映像を取得する。また、周辺映像音声取得部３１は、例えば、マイク２３から車両の周辺の音声を取得する。周辺映像音声取得部３１の取得した映像と音声はバッファメモリ３３に一時的に記録される。

電子機器音声取得部３２は、電子機器２８の出力する電子機器音声を取得する。ここで、電子機器２８は、例えば、カーナビやカーオーディオである。なお、電子機器は、スマートフォンのような音楽再生が可能な携帯機器であってもよい。電子機器２８が携帯機器である場合、電子機器音声取得部３２は、無線通信経由で音声信号を取得する。

キャンセル処理部３７は、周辺映像音声取得部３１が取得した音声に含まれる電子機器音声を低減（キャンセル）させるキャンセル処理を実施する。具体的には、キャンセル処理部３７は、取得した電子機器音声の位相の反転・遅延調整・音量調整を行って、マイクが集音した車両内部（周辺）音声と足し合わせることによってキャンセル処理を行う。キャンセル処理は、必ずしも電子機器音声を完全に消し去るキャンセルに限定されず、電子機器音声を低減させる処理であってもよい。

電子機器音声取得部３２が取得した、カメラ１０の撮影した車両の周辺の映像は、バッファメモリ３３に一時的に記録される。また、周辺映像音声取得部３１が取得した音声と、周辺映像音声取得部３１が取得した音声にキャンセル処理を施したキャンセル音声と、の２種類の音声は、バッファメモリ３３に一時的に記録される。

記録制御部３４は、取得した映像と音声を記録部２５に記録する処理を制御する。記録制御部３４において、バッファメモリ３３に記録された２種類の音声うちの少なくともいずれかを選択し、選択した音声を映像に統合して記録部２５に記録するようにする。当該処理の詳細については、後述のドライブレコーダ１の撮像記録動作に関する処理の流れにおいて説明する。

記録部２５は、映像データを記録するためのメモリである。記録部２５は、例えばフラッシュメモリなどの不揮発性メモリである。なお、記録部２５が着脱可能なメモリカードである場合、ドライブレコーダ１にはメモリカードを接続する接続インタフェースを設ける必要がある。記録部２５は、通信回線等を介して映像データを記録する、他の装置であってもよい。

異常検知部３５は、センサ２４等により自車両に対する異常（イベント）の発生を検知する。例えば、センサ２４が加速度センサである場合、異常検知部３５は、センサ２４から加速度信号を取得し、当該加速度信号が予め設定された閾値以上の大きさであるときに衝突等の自車両に対する異常が発生したことを検知する。なお、異常は、衝突のような事故に限らず、車体のふらつきなど、事故が起こり得る兆候であってもよい。

なお、異常検知部３５における異常の検知は、加速度センサによるものに限定されない。センサ２４が、例えば光学センサで、車線逸脱の度合いや他車との車間距離などから異常を検知するものであってもよい。センサ２４が、例えば音量センサで、車室内で悲鳴等の大声が発生した場合や、自車両が衝撃を受けて大きな衝撃音が発生した場合や、周囲の他車両からクラクションを鳴らされた場合など、所定音量以上の音量を検知した場合に異常を検知するものであってもよい。センサ２４は、ドライブレコーダ１に内蔵されていても、ドライブレコーダ１とは別体であっても良い。

再生制御部３６は、記録部２５に記録された指定の映像音声データの再生指令を受けた場合に、当該映像音声データの映像を表示装置である表示部２６に表示させると共に、当該映像音声データの音声をスピーカ２７から出力する。

次に、ドライブレコーダ１の撮像記録動作に関する処理の流れについて説明する。なお、以下の説明において、ドライブレコーダ１の構成については図１を適宜参照する。

図２は、ドライブレコーダ１の撮像記録動作に関する処理の流れの一例を示すフローチャートである。図２に示すように、まず、周辺映像音声取得部３１が車両の周辺の映像及び音声を取得するとともに、電子機器音声取得部３２が電子機器２８の出力する電子機器音声を取得する（ステップＳ１０１）。続いて、キャンセル処理部３７において、取得した車両の周辺の音声に対し、取得した電子機器音声の特性に基づいて、車両の周辺の音声に含まれる電子機器音声を低減させるキャンセル処理を行う（ステップＳ１０２）。なお、周辺映像音声取得部３１が取得した車両の周辺の映像及び音声と、キャンセル音声と、は、バッファメモリ３３に一時的に記録される。

記録制御部３４において、異常検知部３５が異常を検知したか否かを判断する（ステップＳ１０３）。ステップＳ１０３で車両の異常を検知しない場合（ＮＯの場合）、記録制御部３４において、キャンセル音声を破棄し、車両の周辺の音声のみを、車両の周辺の映像と統合して記録部２５に記録する（ステップＳ１０４）。なお、ここでの記録部２５への記録形態はループ記録とする。ループ記録とは、一定時間経過後に上書きされる記録である。すなわち、ループ記録では、記録部２５における所定の記録領域の記録容量が一杯になると、古いものから上書き更新を行う。ステップＳ１０３で車両の異常を検知した場合（ＹＥＳの場合）、記録制御部３４において、キャンセル音声及び車両の周辺の音声を、車両の周辺の映像とともに記録部２５に上書き禁止として記録する（ステップＳ１０５）。

ステップＳ１０４またはステップＳ１０５に続いて、撮像記録動作を終了する旨の指令があるか否か判断する（ステップＳ１０６）。ステップＳ１０６において、撮像記録動作を終了する旨の指令がある場合（ＹＥＳの場合）、撮像記録動作を終了する。ステップＳ１０６において、撮像記録動作を終了する旨の指令がない場合（ＮＯの場合）、処理をステップＳ１０１に戻す。

なお、ステップＳ１０５において、記録制御部３４は、異常検知部３５が異常を検知した場合に、キャンセル音声と周辺映像音声取得部３１が取得した音声のいずれの方を、周辺映像音声取得部３１が取得した映像と統合するか選択するようにしてもよい。または、異常検知部３５により異常を検知されたときの映像音声を再生する際に、いずれの音声の方を、周辺映像音声取得部３１が取得した映像と統合するか、ユーザが選択するようにしてもよい。

以上より、本実施の形態にかかるドライブレコーダ１は、車両の周辺の映像及び音声を取得するとともに、電子機器の出力する電子機器音声を取得する。そして、取得した車両の周辺の音声に対し、車両の周辺の音声に含まれる電子機器音声を低減させるキャンセル処理を行う。さらに、車両の異常を検知した場合に、キャンセル音声と周辺映像音声取得部３１が取得した音声の両方を、周辺映像音声取得部３１が取得した映像とともに記録部２５に上書き禁止として記録する。このようにすることで、車両の異常を検知したときに周辺映像音声取得部３１により取得された音声が電子機器音声に邪魔されて聞き取りにくくなっている場合、キャンセル音声の方を再生することにより、事故に関わる音をより確実に再現することができる。また、車両の異常を検知したときには、キャンセル音声とともに、周辺映像音声取得部３１により取得された音声、すなわち、キャンセル処理を行っていない音声の方も記録部２５に記録している。このため、キャンセル処理を行っていない音声を、改ざんを行っていない、事故の証拠として用いることができる。

［実施の形態２］
図３は、実施の形態２にかかる車両用撮像記録装置としてのドライブレコーダ１０１の構成を示すブロック図である。図３に示すように、実施の形態２にかかるドライブレコーダ１０１は、図１に示した実施の形態１にかかるドライブレコーダ１の構成に対し、制御部１３０において、音声種別判断部３８をさらに備えている。

音声種別判断部３８は、電子機器音声取得部３２が取得した電子機器音声が、道路情報またはユーザが設定した経路に関する情報（経路案内情報）であるか否かを判断する。経路案内情報であるか否かの判断は、予め特定されている、経路案内情報を伝える機械音声との周波数特性の比較やパターンマッチングによって行う。

ドライブレコーダ１０１における撮像記録動作に関する処理の流れは、図２を参照して説明した、ドライブレコーダ１の撮像記録動作に関する処理の流れと基本的に同じである。ドライブレコーダ１０１では、図２のステップＳ１０５において、音声種別判断部３８により、電子機器音声が経路案内情報であると判断された場合、記録制御部３４が、周辺映像音声取得部３１が取得した音声の方を選択して周辺映像音声取得部３１が取得した映像と統合する。すなわち、取得した電子機器音声が経路案内情報である場合にはキャンセル処理を行わない音声を映像データと統合する。

例えば、カーナビなどの経路案内情報では左折の案内が出ていたのに、謝って直進してしまった等、指示とは異なる経路に進んでしまった場合に、リカバーしようとして事故を招いてしまうことも想定される。また、経路案内情報に気をとられたことが事故の原因である場合も想定される。このように、車両の異常を検知したときの音声に含まれる経路案内情報は、事故の検証に有益である場合が多い。このため、取得した電子機器音声が経路案内情報である場合にはキャンセル処理を行わない音声を映像データと統合することで、事故の検証をよりスムーズに行うことができる。

［実施の形態３］
図４は、実施の形態３にかかる車両用撮像記録装置としてのドライブレコーダ２０１の構成を示すブロック図である。図４に示すように、実施の形態３にかかるドライブレコーダ２０１は、図１に示した実施の形態１にかかるドライブレコーダ１の構成に対し、制御部２３０の異常検知部３５において、異常レベル検知部３５ａをさらに備えている。異常レベル検知部３５ａは、自車両の異常を段階的に検知する。すなわち、例えば、センサ２４が加速度センサである場合、異常検知部３５がセンサ２４から加速度信号を取得すると、異常レベル検知部３５ａにおいて、当該加速度信号の大きさから異常レベルを判定する。取得した加速度が大きければ、他車両または歩行者との衝突などの重大事故であると判定することができる。取得した加速度が小さい場合、急ブレーキや道路の段差の乗り越えなどの、異常レベルが比較的低いいわゆるヒヤリハット現象と判定することができる。センサ２４が音量センサである場合、図示しない音声の判定部により、衝突の衝撃音か、車室内の悲鳴か、他車両のクラクションかを判定してもよく、音量によって異常レベルを判定してもよい。また、カメラ１０によって撮像された映像データや、図示しない距離センサなどから前方車両との衝突危険度を判定し、危険度によって異常レベルが高いと判定してもよい。同様にカメラ１０によって撮像された映像データから、走行中の車線を逸脱する危険度を判定してもよい。

記録制御部３４は、異常レベル検知部３５ａにより検知された異常のレベルに応じて、周辺映像音声取得部３１が取得した音声に含まれる電子機器音声をキャンセル処理部３７においてどの程度低減させるか、またはキャンセル処理を行わないかを決定する。異常レベルが高い事故と判定した場合には、取得した映像データが事故の証拠となる可能性が高くなるため、音声キャンセル処理を行わないか低減度合いを下げて、データを改ざんしたとされないようにすることが好ましい。異常レベルが比較的低い、いわゆるヒヤリハット現象の記録であれば、証拠能力を求められる可能性が低くなる。このときは、異常と判断した要因をより詳細に記録するため、異常と無関係と考えられる音声のキャンセル処理を行って、音声を低減する度合いを高くすることが好ましい。異常レベルが高いと判定した場合は、証拠能力と音声に阻害されない詳細な状況記録との両立を図るため、音声キャンセル処理を行った音声と音声キャンセル処理を行わない音声をともに映像とともに記録してもよい。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。また、各実施の形態における構成を各実施の形態間で、適宜交換してもよい。例えば、実施の形態２にかかるドライブレコーダ１０１において、実施の形態３にかかるドライブレコーダ２０１の異常レベル検知部３５ａを備えるようにしてもよい。

本発明にかかる車両用撮像記録装置の各部における処理は、コンピュータなどにプログラムを実行させることによって実現できる。より具体的には、車両用撮像記録装置において、プログラムメモリに格納されたプログラムを主記憶装置にロードし、ＣＰＵの制御によって当該プログラムを実行して実現する。ここで、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙｃｏｍｐｕｔｅｒｒｅａｄａｂｌｅｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅｓｔｏｒａｇｅｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（ＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙｃｏｍｐｕｔｅｒｒｅａｄａｂｌｅｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。また、車両用撮像記録装置の各部における処理は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い。

１、１０１、２０１ドライブレコーダ
１０カメラ
２３マイク
２４センサ
２５記録部
２６表示部
２７スピーカ
２８電子機器
３０、１３０、２３０制御部
３１周辺映像音声取得部
３２電子機器音声取得部
３３バッファメモリ
３４記録制御部
３５異常検知部
３５ａ異常レベル検知部
３６再生制御部
３７キャンセル処理部
３８音声種別判断部

Claims

車両の周辺の映像及び音声を取得する周辺映像音声取得部と、
前記周辺映像音声取得部が取得した映像及び音声を記録部に記録する処理を制御する記録制御部と、
電子機器の出力する電子機器音声を取得する電子機器音声取得部と、
前記周辺映像音声取得部が取得した音声に対し、前記周辺映像音声取得部が取得した音声に含まれる電子機器音声を低減させるキャンセル処理を行うキャンセル処理部と、
前記車両の異常を検知する異常検知部と、を備え、
前記記録制御部は、前記異常検知部が異常を検知しない場合、前記周辺映像音声取得部が取得した音声を、前記周辺映像音声取得部が取得した映像と関連付けを施して記録媒体に記録し、前記異常検知部が異常を検知した場合、前記周辺映像音声取得部が取得した音声および前記キャンセル処理部がキャンセル処理を施したキャンセル音声を、前記周辺映像音声取得部が取得した映像とともに記録媒体に記録する、車両用撮像記録装置。
前記記録制御部は、前記異常検知部が異常を検知した場合、前記キャンセル音声と前記周辺映像音声取得部が取得した音声のいずれの方を、前記周辺映像音声取得部が取得した映像と関連付けを施すか選択する、請求項１に記載の車両用撮像記録装置。
前記電子機器音声が、道路情報またはユーザが設定した経路に関する情報であるか否かを判断する音声種別判断部をさらに備え、
前記記録制御部は、前記電子機器音声が道路情報またはユーザが設定した経路に関する情報であると判断された場合、前記周辺映像音声取得部が取得した音声の方を選択して前記周辺映像音声取得部が取得した映像と関連付けを施す、請求項２に記載の車両用撮像記録装置。
前記異常検知部は、異常を段階的に検知する異常レベル検知部をさらに備え、
前記記録制御部は、前記異常レベル検知部により検知された異常のレベルが所定値以上であると判定した場合、前記周辺映像音声取得部が取得した音声を前記周辺映像音声取得部が取得した映像と統合し、前記異常レベル検知部により検知された異常のレベルが所定値以下であると判定した場合、前記キャンセル音声を前記周辺映像音声取得部が取得した映像と関連付けを施す、請求項２に記載の車両用撮像記録装置。
前記異常検知部は、異常を段階的に検知する異常レベル検知部をさらに備え、
前記記録制御部は、前記異常レベル検知部により検知された異常のレベルに応じて、前記周辺映像音声取得部が取得した音声に含まれる電子機器音声を前記キャンセル処理部においてどの程度低減させるかを決定する、請求項１から３のいずれか一項に記載の車両用撮像記録装置。
車両の周辺の映像及び音声を取得するとともに、電子機器の出力する電子機器音声を取得する第１のステップと、
取得した前記車両の周辺の音声に対し、前記車両の周辺の音声に含まれる電子機器音声を低減させるキャンセル処理を行う第２のステップと、
前記車両の異常を検知しない場合、取得した前記車両の周辺の音声を、前記車両の周辺の映像と関連付けを施して記録媒体に記録し、異常を検知した場合、前記キャンセル処理を施したキャンセル音声及び取得した前記車両の周辺の音声を、取得した前記車両の周辺の映像とともに記録媒体に記録する第３のステップと、を備える車両用撮像制御方法。
車両用撮像記録のための処理手順をコンピュータに実行させるためのプログラムであって、
車両の周辺の映像及び音声を取得するとともに、電子機器の出力する電子機器音声を取得する第１の処理手順と、
取得した前記車両の周辺の音声に対し、取得した電子機器音声の特性に基づいて、前記車両の周辺の音声に含まれる電子機器音声を低減させるキャンセル処理を行う第２の処理手順と、
前記車両の異常を検知しない場合、取得した前記車両の周辺の音声を、前記車両の周辺の映像と関連付けを施して記録媒体に記録し、異常を検知した場合、前記キャンセル処理を施したキャンセル音声及び取得した前記車両の周辺の音声を、取得した前記車両の周辺の映像とともに記録媒体に記録する第３の処理手順と、を含む、プログラム。