JP7459866B2 - 記録システム、及び、記録方法 - Google Patents

Description

本発明は、記録システム、及び、記録方法に関する。

車両に対して生じる衝撃を加速度で検出して、イベント記録データを記録する技術が知られている。また、撮影中の映像データから輝度値の変化や音量の増加を検知することによって動きを検出して、動きが検出された場合に記録を行う技術が知られている（例えば、特許文献１参照）。

特開２００８－１５５８６２号公報

車両が低速で追突、または、車両の停止時に他車両または人物が低速で接触するような場合、加速度から衝撃を検出できず、イベント記録データが保存されない場合がある。また、加速度の閾値を低くすると、例えば、車両が段差に乗り上げたとき、または、ドアの開閉時などにも不用意にイベント記録データが記録されるおそれがある。

本開示は、上記に鑑みてなされたものであって、適切にイベント記録を行うことを目的とする。

上述した課題を解決し、目的を達成するために、本開示に係る記録システムは、車両の周囲の状況を記録した記録データを取得する記録データ取得部と、前記記録データ取得部が取得した前記記録データを解析して、前記記録データに含まれる所定成分の遷移を解析する解析部と、前記解析部が解析した前記所定成分の遷移を人工知能によって学習して、イベントの発生を判定するための学習済みモデルを生成する学習部と、前記学習部が学習した前記学習済みモデルを使用して、前記記録データ取得部が取得した前記記録データに基づいて、イベントの発生を判定する判定部と、前記判定部がイベントの発生を判定した場合、イベントの発生時点を含む記録データをイベント記録データとして記録部に記録させるイベント記録制御部とを備えることを特徴とする。

本開示に係る記録方法は、車両の周囲の状況を記録した記録データを取得する記録データ取得ステップと、前記記録データ取得ステップによって取得した前記記録データを解析して、前記記録データに含まれる所定成分の遷移を解析する解析ステップと、前記解析ステップによって解析した前記所定成分の遷移を人工知能によって学習して、イベントの発生を判定するための学習済みモデルを生成する学習ステップと、前記学習ステップによって学習した前記学習済みモデルを使用して、前記記録データ取得ステップによって取得した前記記録データに基づいて、イベントの発生を判定する判定ステップと、前記判定ステップによってイベントの発生を判定した場合、イベントの発生時点を含む記録データをイベント記録データとして記録部に記録させるイベント記録制御ステップとを含む。

本開示によれば、適切にイベント記録を行うことができるという効果を奏する。

図１は、第一実施形態に係る記録システムの構成例の一例を示す概略図である。 図２は、前方車両までの車間距離が適切な位置で停止した時の映像データの一例を説明する図である。 図３は、図２に示す映像データの黒色成分の折れ線グラフ情報の一例を説明する図である。 図４は、イベント発生時の映像データの一例を説明する図である。 図５は、図４に示す映像データの黒色成分の折れ線グラフ情報の一例を説明する図である。 図６は、前方車両までの車間距離が適切な位置で停止した時の音声データのうち所定周波数の折れ線グラフの一例を説明する図である。 図７は、イベント発生時の音声データのうち所定周波数の折れ線グラフの一例を説明する図である。 図８は、第一実施形態に係る記録装置の構成例を示す概略図である。 図９は、第一実施形態に係るサーバ装置における学習処理の流れを示すフローチャートである。 図１０は、第一実施形態に係るサーバ装置における判定処理の流れを示すフローチャートである。 図１１は、第一実施形態に係る記録装置における処理の流れを示すフローチャートである。 図１２は、第一実施形態に係る記録装置における処理の流れを示すフローチャートである。 図１３は、第二実施形態に係る記録システムの構成例の一例を示す概略図である。 図１４は、第二実施形態に係る記録装置の構成例を示す概略図である。 図１５は、第二実施形態に係る記録装置における処理の流れを示すフローチャートである。

以下に添付図面を参照して、本開示に係る記録システム、及び、記録方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
図１は、第一実施形態に係る記録システムの構成例の一例を示す概略図である。記録システム１は、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の機械学習によって生成した学習モデルを使用して、周囲の状況を記録した記録データに含まれる所定成分の折れ線グラフの時間変化が大きいような場合、イベント記録を行う。機械学習の一例としては、記録データを教師データとして使用する教師あり学習、または、記録データを教師データとして使用しない教師なし学習のディープラーニングによって学習させて、学習済みモデルとして多層ニューラルネットワーク（以下、「ＤＮＮ」という。）を生成する。ディープラーニングは、ＤＮＮを使用した判定の精度が向上するように、ＤＮＮの重みの更新を繰り返し実行して、ＤＮＮを使用した判定結果が良好になるようにＤＮＮの重みを導出する機械学習の一手法である。機械学習の手法は限定されない。

サーバ装置１０は、イベント発生時の映像データと音声データとの少なくともどちらかを含む記録データを用いて、イベント発生時の記録データに含まれる所定成分の折れ線グラフの時間変化の大きさに応じて、イベントの発生を判定する学習済みモデルとしてＤＮＮを生成する。

記録データは、複数の記録装置３０からイベント発生時の記録データとして取得してもよい。または、記録データは、保険会社などの外部の装置からイベント発生時の記録データとして取得してもよい。記録データは、イベント発生時に限定されず、イベントが発生していない時（以下、「通常時」という。）の記録データを取得してもよい。記録データは、イベント発生時の記録データとともに、イベントの種別を示す種別情報を含んでもよい。なお、記録データの取得方法は、これらに限定されない。

イベントの種別とは、例えば、加速度が第一閾値以上である「衝撃の大きいイベント」、加速度が第一閾値未満かつ第二閾値以上である「軽微なイベント」などである。イベントの種別は、さらに詳しく「車両が低速で追突」、「車両の停止時に他車両または人物が低速で接触」などを含んでもよい。

第一閾値は、車両に対するイベントが発生した場合に、検出され得る加速度の値である。第一閾値は、例えば、１Ｇ程度である。第二閾値は、第一閾値より小さく、車両が低速で追突、または、車両の停止時に他車両または人物が低速で接触のような、軽微なイベントが発生した場合に、検出され得る加速度の値である。第二閾値は、例えば、車両が段差に乗り上げたとき、または、ドアの開閉時などにも、検出され得る加速度の値である。第二閾値は、例えば、０．５Ｇ程度である。

衝撃の大きいイベントは、例えば、閾値以上の車速で衝突した場合、他車両が閾値以上の車速で衝突した場合などである。軽微なイベントは、閾値未満で衝突、または、停止時に他車両または人物が閾値未満の速度で接触した場合などである。

また、サーバ装置１０は、記録装置３０から判定用の記録データを取得した場合、ＤＮＮを使用してイベントの発生を判定する。サーバ装置１０は、通信部１１と、記録部１２と、制御部２０とを含む。

通信部１１は、通信ユニットである。通信部１１は、記録装置３０との通信を可能にする。本実施形態では、通信部１１は、記録システム１が正常に動作している場合、常時、記録装置３０と通信可能である。

記録部１２は、記録システム１においてＤＮＮの生成に使用する記録データを記憶する。記録部１２は、解析部２３によって、記録データに基づいて解析されて生成された折れ線グラフ情報を記録する。記録部１２は、制御部２０の学習部２４によって生成されたＤＮＮを記録する。

制御部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。制御部２０は、記録されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部２０には図示しない内部メモリが含まれ、内部メモリは制御部２０におけるデータの一時記録などに用いられる。制御部２０は、通信制御部２１と、データ取得部２２と、解析部２３と、学習部２４と、判定部２５と、記録制御部２６とを有する。

通信制御部２１は、通信部１１を介して、複数の記録装置３０との通信を制御する。通信制御部２１は、通信部１１を介して、外部の装置との通信を制御してもよい。

データ取得部２２は、複数の記録装置３０または外部の装置から記録データを取得する。データ取得部２２は、取得した記録データを記録制御部２６に出力する。

解析部２３は、記録データに基づいて、記録データに含まれている所定成分の遷移を、例えば、折れ線グラフ情報に変換して生成する。折れ線グラフ情報は、記録データの所定成分の時間変化を示す。解析部２３は、記録データである、映像データと音声データとの少なくともどちらかについて所定成分の折れ線グラフ情報を生成する。解析部２３は、通常時とイベント発生時との少なくともどちらかの記録データについて、所定成分の折れ線グラフ情報を生成する。解析部２３は、生成した記録データの折れ線グラフ情報を記録部１２に記録する。

解析部２３が記録データに含まれる映像データの折れ線グラフ情報を生成する場合について詳しく説明する。解析部２３は、映像データに画像処理を行って解析して、色成分ごとの折れ線グラフを作成して、色成分の折れ線グラフの時間変化を示す折れ線グラフ情報を生成する。より詳しくは、まず、解析部２３は、映像データの各フレームにおいて、言い換えると、映像データの各時間において、映像データに含まれる各色成分が映像データに占める面積比率を示す折れ線グラフを作成する。そして、解析部２３は、各色成分の面積比率の折れ線グラフの時間変化を示す折れ線グラフ情報を生成する。折れ線グラフは、映像データに含まれるすべての色について作成してもよいし、映像データに含まれる被撮影物のうち衝突の可能性がある物体、例えば、車両、二輪車、人物、及び、障害物を画像認識処理によって認識して、認識した物体の色について作成してもよい。

解析部２３は、過去のイベント発生時の記録データに基づいて、所定成分の折れ線グラフ情報を生成してもよい。

まず、図２、図３を用いて、通常時に、映像データから生成される折れ線グラフ情報について説明する。図２は、前方車両までの車間距離が適切な位置で停止した時の映像データの一例を説明する図である。図３は、図２に示す映像データの黒色成分の折れ線グラフ情報の一例を説明する図である。図２（ａ）は、車両が停止する前であって走行中の映像データであり、図２（ｂ）は、車両が停止した時点の映像データである。映像データには黒色の前方車両Ｖが写っている。図２において、映像データに画像処理を行った結果、前方車両Ｖとして認識された領域を矩形の太線の枠で示している。まず、解析部２３は、映像データの各時間において、映像データに含まれる黒色成分が映像データに占める面積比率を示す折れ線グラフを作成する。そして、解析部２３は、黒色成分の面積比率の折れ線グラフの時間変化を示す折れ線グラフ情報を生成する。このようにして得られた折れ線グラフ情報が、図３である。図３は、図２に示す映像データから生成した、前方車両Ｖの色である黒色成分の折れ線グラフ情報である。車両が停止した時点、言い換えると、信号待ちを開始した時点をＴ１１とすると、時点Ｔ１１以降、黒色成分は４０％前後で推移している。時点Ｔ１１以降の黒色成分の平均を破線で示している。また、車両が停止した時点Ｔ１１より前から、黒色成分が増加していることがわかる。黒色成分が増加を始めた時点Ｔ１０から時点Ｔ１１までの黒色成分の面積比率の時間変化を示す傾きをα１で示している。

つづいて、図４、図５を用いて、停止している前方車両に低速で追突したイベント発生時に、映像データから生成される折れ線グラフ情報について説明する。図４は、イベント発生時の映像データの一例を説明する図である。図５は、図４に示す映像データの黒色成分の折れ線グラフ情報の一例を説明する図である。図４（ａ）は、イベント発生前であって、車両が走行中の映像データであり、図４（ｂ）は、イベント発生時点の映像データである。映像データには黒色の前方車両Ｖが写っている。解析部２３は、上述したように、図４に示す映像データから、図５に示す折れ線グラフ情報を生成する。図５は、図４に示す映像データから生成した、前方車両Ｖの色である黒色成分の折れ線グラフ情報である。イベント発生時点をＴ２１とすると、時点Ｔ２１以降、黒色成分は８５％前後で推移している。時点Ｔ２１以降の黒色成分の平均を破線で示している。また、時点Ｔ２１の前から、黒色成分が急激に増加していることがわかる。例えば、黒色成分が急激に増加を始めた時点Ｔ２０から時点Ｔ２１までの黒色成分の面積比率の時間変化を示す傾きをα２（＞α１）で示している。なお、図５において、事故としている期間は、イベント記録データに含まれる期間の一例である。

このような解析部２３の解析によれば、通常時とイベント発生時とでは、追突した前方車両Ｖの黒色成分の面積比率の時間変化を示す傾きが大きく異なることがわかる。解析部２３の解析によれば、イベント発生時は、通常時より、明らかに大きい傾きとなっていることがわかる。

解析部２３が記録データに含まれる音声データの折れ線グラフ情報を生成する場合について詳しく説明する。解析部２３は、音声データに信号処理を行って解析して、周波数成分ごとの音の大きさの遷移を折れ線グラフ情報に変換して生成する。より詳しくは、まず、解析部２３は、音声データの各時間において、音声データに含まれる各周波数成分の音の大きさを示す折れ線グラフを作成する。そして、解析部２３は、各周波数成分の折れ線グラフの時間変化を示す折れ線グラフ情報を生成する。折れ線グラフは、音声データに含まれるすべての周波数成分について作成してもよいし、音声データに含まれる周波数のうち、道路のノイズなどを除いたイベント発生時に発生する特有の周波数成分について作成してもよい。

まず、図６を用いて、通常時に、音声データから生成される折れ線グラフ情報について説明する。図６は、前方車両までの車間距離が適切な位置で停止した時の音声データのうち所定周波数の折れ線グラフの一例を説明する図である。ひし形はイベント発生時に発生する特有の周波数成分を示し、正方形はカーオーディオで再生している音楽に起因する周波数成分を示す。音声データ全体において、正方形で示す周波数成分は１８ｄＢ前後で推移している。車両が停止した時点、言い換えると、信号待ちを開始した時点をＴ１１とすると、時点Ｔ１１以降、ひし形で示す周波数成分は０ｄＢ前後で推移している。ひし形で示す周波数成分は、車両が停止した時点Ｔ１１以降と、それより前とで変化している。音声データ全体におけるひし形で示す周波数成分の平均を破線で示している。

図７を用いて、停止している前方車両に低速で追突したイベント発生時に、音声データから生成される折れ線グラフ情報について説明する。図７は、イベント発生時の音声データのうち所定周波数の折れ線グラフの一例を説明する図である。イベント発生時点をＴ２１とすると、時点Ｔ２１以降、ひし形で示す周波数成分は１１２ｄＢ前後で推移している。時点Ｔ２１以降のひし形で示す周波数成分の平均を破線で示している。また、時点Ｔ２１の直前において、ひし形で示す周波数成分が急激に増加していることがわかる。ひし形で示す周波数成分が急激に増加を始めた時点Ｔ２０から時点Ｔ２１までのひし形で示す周波数成分の折れ線グラフの時間変化を示す傾きをα３で示している。なお、図７において、事故としている期間は、イベント記録データに含まれる期間の一例である。音声データ全体におけるひし形で示す周波数成分の平均を実線で示している。

このような解析部２３の解析によれば、イベント発生時にのみ、イベント発生時に発生する特有の周波数成分が明らかに大きく表れることがわかる。

学習部２４は、解析部２３が生成した折れ線グラフ情報から所定成分の遷移を読み取り、それを人工知能によって学習して、イベントの発生を判定するための学習済みモデルとしてのＤＮＮを生成する。例えば、学習部２４は、教師データである折れ線グラフ情報を用いて、イベントの発生を判定する学習済みモデルとしてＤＮＮの重みを学習する。ＤＮＮの構成と重みとをＤＮＮモデルと呼ぶ。学習部２４における学習は、公知のディープラーニングにおける学習と同様の方法で実行すればよい。

例えば、学習部２４は、人工知能によって学習して、折れ線グラフ情報から、イベント発生時点の前後において折れ線グラフの時間変化を示す傾きが大きい所定成分のデータを取得する。さらに、学習部２４は、人工知能によって学習して、折れ線グラフの時間変化を示す傾きが大きい所定成分のデータの中から、折れ線グラフの時間的変化が急激である時点を取得する。学習部２４は、折れ線グラフの時間的変化が急激である時点が取得された場合、イベントが発生したイベント発生時点として学習可能である。このようにして、学習部２４は、人工知能によって学習して、折れ線グラフ情報から、折れ線グラフの変化のパターン、折れ線グラフの変化の傾向、折れ線グラフの変化の速度などに基づいて、イベントの発生を判定するためのＤＮＮを生成する。

例えば、学習部２４は、「イベント発生である」場合の記録データの折れ線グラフ情報をＤＮＮに入力してディープラーニングを実行する。そして、「イベント発生である」と正しい判定結果が出力されるか、「イベント発生ではない」と誤った判定結果が出力されるかに基づいて、学習中の重みを更新する。また、学習部２４は、「イベント発生ではない」場合の記録データをＤＮＮに入力してディープラーニングを実行する。そして、「イベント発生ではない」と正しい判定結果が出力されるか、「イベント発生である」と誤った判定結果が出力されるかに基づいて、学習中の重みを更新する。このような処理を繰り返し行うことによって、学習の結果として学習済みの重みを求める。学習部２４は、ＤＮＮの重みを含むＤＮＮモデルを記録部１２へ出力する。

また、学習部２４は、イベントの発生とともにイベントの種別を学習してもよい。より詳しくは、学習部２４は、衝撃の大きいイベント発生時、及び軽微なイベント発生時の記録データから生成された折れ線グラフ情報に基づいて人工知能によって学習して、イベントの種別を特定してイベントの発生を判定するためのＤＮＮを生成してもよい。

学習部２４は、映像データの折れ線グラフ情報と音声データの折れ線グラフ情報との少なくともどちらかに基づいて人工知能によって学習して、イベントの発生を判定するためのＤＮＮを生成すればよい。学習部２４は、映像データの折れ線グラフ情報と音声データの折れ線グラフ情報とのうち、少なくとも映像データの折れ線グラフ情報に基づいてＤＮＮを生成することが好ましい。

学習部２４は、データ取得部２２からデータを取得するごとに、所定の期間ごとに、または、所望のタイミングで、ＤＮＮモデルを更新して記録部１２へ記録する。

学習部２４は、過去のイベント発生時の記録データに基づいて、イベント発生時の記録データに含まれる各成分の変化の傾向を人工知能によって学習してもよい。

判定部２５は、記録装置３０から判定用の記録データを取得した場合、ＤＮＮを使用してイベントの発生を判定する。より詳しくは、判定部２５は、記録部１２から学習されたＤＮＮモデルを読み出してＤＮＮを再現し、判定用の記録データから、イベントの発生を判定する。判定部２５における判定は、公知のディープラーニングにおける判定と同様の方法で実行すればよい。

判定部２５は、記録装置３０から判定用の記録データを取得した場合、ＤＮＮを使用してイベントの発生とともにイベントの種別を判定してもよい。

記録制御部２６は、データ取得部２２が取得した記録データを、記録部１２に記録させる。記録制御部２６は、解析部２３が生成した折れ線グラフ情報を、記録部１２に記録システム１で使用する教師データとして記録させる。記録制御部２６は、解析部２３が折れ線グラフ情報を生成すると、記録部１２に記録させた教師データを更新する。記録制御部２６は、学習部２４が生成したＤＮＮを、記録部１２に記録させる。記録制御部２６は、学習部２４がＤＮＮモデルを学習するごとに、記録部１２に記録させたＤＮＮモデルを更新する。

図８を用いて、記録装置３０について説明する。図８は、第一実施形態に係る記録装置の構成例を示す概略図である。記録装置３０は、例えば、車両に配置されている。本実施形態では、記録装置３０は、いわゆる車両用のドライブレコーダである。記録装置３０は、撮影装置としての機能を有する。記録装置３０は、通信部３１と、カメラ３２と、マイクロフォン３３と、加速度センサ３４と、操作部３５と、記録部３９と、制御部４０とを含む。

記録装置３０は、車両の周囲を撮影して記録する。記録装置３０は、車両の周囲を撮影した映像データに基づいて、サーバ装置１０によって、車両に対してイベントが発生したか否かを判定させる。記録装置３０は、イベントが発生したと判定された場合、イベント記録データを記録する。

通信部３１は、通信ユニットである。通信部３１は、サーバ装置１０との通信を可能にする。本実施形態では、通信部３１は、記録システム１が正常に動作している場合、常時、サーバ装置１０と通信可能である。

カメラ３２は、車両の周辺の映像データを撮影するカメラである。カメラ３２は、１台であってもよいし、複数台であってもよい。カメラ３２は、車両のエンジンがＯＮされている間は、常時撮影する。カメラ３２は、撮影した映像データを制御部４０の映像データ取得部４３へ出力する。映像データは、例えば毎秒３０フレームの画像から構成される動画像である。

マイクロフォン３３は、車両の周辺の音声データを取得するマイクロフォンである。マイクロフォン３３は、１台であってもよいし、複数台であってもよい。マイクロフォン３３は、取得した音声データを制御部４０の音声データ取得部４４へ出力する。

加速度センサ３４は、車両に対して生じる加速度を検出するセンサである。加速度センサ３４は、検出結果であるセンサデータを制御部４０のセンサデータ取得部４５に出力する。加速度センサ３４は、例えば３軸方向の加速度を検出するセンサである。３軸方向とは、車両の前後方向、左右方向、及び上下方向である。

操作部３５は、記録装置３０に対する各種操作を受付可能である。例えば、操作部３５は、電源の入り切り操作、撮影した映像データの保存操作、消去操作などを受け付ける。操作部３５は、操作情報を制御部４０の操作制御部５１に出力する。

記録部３９は、記録装置３０におけるデータの記録などに用いられる。記録部３９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、メモリカードなどの記録部である。または、通信部３１を介して無線接続される外部記録部であってもよい。記録部３９は、制御部４０の映像記録制御部（イベント記録制御部）４９とから出力された制御信号に基づいて、映像データを記録する。

制御部４０は、例えば、ＣＰＵなどで構成された演算処理装置（制御装置）である。制御部４０は、記録されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４０には図示しない内部メモリが含まれ、内部メモリは制御部４０におけるデータの一時記録などに用いられる。制御部４０は、通信制御部４１と、映像データ取得部４３と音声データ取得部４４とを含む記録データ取得部４２と、センサデータ取得部４５と、加速度判定部４６と、判定結果取得部４７と、映像データ処理部４８と、映像記録制御部４９と、操作制御部５１とを有する。

通信制御部４１は、通信部３１を介して、サーバ装置１０との通信を制御する。本実施形態では、通信制御部４１は、映像データ取得部４３が取得した映像データと、音声データ取得部４４が取得した音声データとをサーバ装置１０へ送信するよう制御する。

記録データ取得部４２は、車両の周辺の状態を示す記録データを取得する。記録データ取得部４２は、映像データ取得部４３と音声データ取得部４４とを含む。

映像データ取得部４３は、車両の周辺を撮影した映像データを取得する。より詳しくは、映像データ取得部４３は、車両に配置されたカメラ３２が出力した、車両の周辺の映像データを取得して、映像データ処理部４８に出力する。映像データは、記録データに含まれる。

音声データ取得部４４は、車両の周辺の音声を録音した音声データを取得する。より詳しくは、音声データ取得部４４は、車両に配置されたマイクロフォン３３が出力した、車両の周辺の音声データを取得する。音声データは、記録データに含まれる。

センサデータ取得部４５は、加速度センサ３４のセンサデータを取得する。センサデータ取得部４５は、取得したセンサデータを加速度判定部４６へ出力する。

加速度判定部４６は、加速度センサ３４のセンサデータに基づいて、第一閾値以上の加速度が検出されたか否かを検出する。加速度判定部４６は、第一閾値以上の加速度を検出したと判定する場合、イベントが発生したと判定する。加速度判定部４６は、第一閾値以上の加速度を検出したと判定しない場合、第二閾値以上の加速度が検出されたか否かを検出する。加速度判定部４６は、第二閾値以上の加速度を検出したと判定する場合、判定結果取得処理を実行して、サーバ装置１０においてイベントが発生したか否かを判定させる。加速度判定部４６は、第二閾値以上の加速度を検出したと判定しない場合、イベントは発生していないと判定する。

判定結果取得部４７は、サーバ装置１０による、イベントが発生したか否かの判定結果を取得する。

映像データ処理部４８とは、撮影した映像データを、例えばＨ．２６４やＭＰＥＧ－４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの任意の方式のコーデックで符号化された、例えばＭＰ４形式などの任意のファイル形式に変換する。ファイルとして生成される映像データの期間は、一例として６０秒であるが、これには限定されない。また、映像データは、カメラ３２が撮影した映像に加えて音声が含まれたデータであってもよい。

映像データ処理部４８は、図示しないバッファメモリに記録された映像データから、例えば、６０秒のような所定期間の映像ごとにループ記録映像データを生成する。

また、映像データ処理部４８は、加速度判定部４６がイベントを検出したと判定した場合、または、判定結果取得部４７が取得した判定結果がイベントの発生を示す場合、ループ記録映像データから、少なくともイベントの発生時点を含む映像データをイベント記録データとして生成する。映像データ処理部４８は、イベントの発生時点の前後の所定期間を含む映像データをイベント記録データとして生成することが好ましい。例えば、映像データ処理部４８は、イベントの発生時点の前後の所定期間を切り出した映像データをイベント記録データとして生成する。または、例えば、映像データ処理部４８は、イベント発生時点を含む前後の所定期間を含むループ記録映像データ単位の映像データをイベント記録データとして生成してもよい。

映像記録制御部４９は、映像データ処理部４８によってファイル化された映像データを、記録部３９に記録させる制御を行う。

映像記録制御部４９は、生成したループ記録映像データを記録部３９に記録させる。映像記録制御部４９は、記録部３９の容量が一杯になった場合、最も古いループ記録映像データに上書きして新しいループ記録映像データを記録する。

また、映像記録制御部４９は、イベントを検出した場合、少なくともイベントの発生時点を含む映像データをイベント記録データとして記録部３９に記録して保存する。より詳しくは、映像記録制御部４９は、イベントを検出した場合、映像データ処理部４８が生成した、イベントの発生時点を含むイベント記録データを記録部３９に記録して保存する。

操作制御部５１は、操作部３５が受け付けた操作の操作情報を取得する。例えば、操作制御部５１は、電源の入り切り操作、撮影した映像データの保存操作、消去操作などの操作情報を取得する。

次に、図９ないし図１２を用いて、記録システム１のイベント記録方法及び作用について説明する。図９は、第一実施形態に係るサーバ装置における学習処理の流れを示すフローチャートである。図１０は、第一実施形態に係るサーバ装置における判定処理の流れを示すフローチャートである。図１１は、第一実施形態に係る記録装置における処理の流れを示すフローチャートである。図１２は、第一実施形態に係る記録装置における処理の流れを示すフローチャートである。

図９を用いて、サーバ装置１０における学習処理について説明する。サーバ装置１０において、制御部２０は、データ取得部２２によって、記録データを取得する（ステップＳ１０１）。制御部２０は、記録制御部２６によって、取得した記録データを記録部１２に記録させる。制御部２０は、ステップＳ１０２へ進む。

制御部２０は、解析部２３によって、記録部１２に記録された記録データを解析して、折れ線グラフ情報すなわち記録データに含まれている所定成分の遷移を生成する（ステップＳ１０２）。制御部２０は、ステップＳ１０３へ進む。

制御部２０は、記録制御部２６によって、生成した折れ線グラフ情報を教師データとして記録部１２に保存する（ステップＳ１０３）。制御部２０は、ステップＳ１０４へ進む。

制御部２０は、学習部２４によって、記録部１２に記録された、教師データである折れ線グラフ情報を用いて、イベントの発生を判定する学習済みモデルとしてＤＮＮの重みを人工知能によって学習する（ステップＳ１０４）。制御部２０は、ステップＳ１０５へ進む。

制御部２０は、記録制御部２６によって、生成したＤＮＮを記録部１２に保存する（ステップＳ１０５）。制御部２０は、処理を終了する。

このようにして、記録システム１の記録装置３０における処理が実行される前に、サーバ装置１０において、あらかじめＤＮＮが生成される。サーバ装置１０は、データ取得部２２からデータを取得するごとに、所定の期間ごとに、または、所望のタイミングで、ＤＮＮモデルを更新する。

図１０を用いて、サーバ装置１０における判定処理について説明する。サーバ装置１０において、制御部２０は、データ取得部２２によって、記録装置３０から判定用の記録データを取得する（ステップＳ１１１）。制御部２０は、ステップＳ１１２へ進む。

制御部２０は、解析部２３によって、取得した判定用の記録データを解析して、折れ線グラフ情報を生成する（ステップＳ１１２）。制御部２０は、ステップＳ１１３へ進む。

制御部２０は、判定部２５によって、ＤＮＮを使用して、判定用の記録データから生成した折れ線グラフ情報に基づいて、イベントの発生を判定する（ステップＳ１１３）。制御部２０は、ステップＳ１１４へ進む。

制御部２０は、通信制御部２１によって、記録装置３０へ判定結果を送信する（ステップＳ１１４）。制御部２０は、処理を終了する。

図１１を用いて、記録装置３０における記録処理について説明する。制御部４０は、ループ記録、加速度センサ３４による検出を開始する（ステップＳ２０１）。より詳しくは、制御部４０は、映像データ処理部４８によって、ループ記録を開始する。制御部４０は、加速度センサ３４による加速度の検出を開始する。制御部４０は、ステップＳ２０２へ進む。

制御部４０は、加速度判定部４６によって、イベントを検出したか否かを判定する（ステップＳ２０２）。より詳しくは、加速度判定部４６によって、センサデータである加速度が第一閾値以上であるか否かによって、イベントを検出したか否かを判定する。加速度判定部４６によって、加速度が第一閾値以上であると判定する場合（ステップＳ２０２でＹｅｓ）、ステップＳ２０３へ進む。加速度が第一閾値以上であると判定する場合（ステップＳ２０２でＹｅｓ）、衝撃の大きいイベントが発生している。制御部４０は、加速度判定部４６によって、加速度が第一閾値以上であると判定しない場合（ステップＳ２０２でＮｏ）、ステップＳ２０４へ進む。

加速度が第一閾値以上であると判定する場合（ステップＳ２０２でＹｅｓ）、制御部４０は、イベント検出前後の映像データであるイベント記録データを保存する（ステップＳ２０３）。より詳しくは、制御部４０は、映像データ処理部４８によって、バッファメモリに記録されたループ記録映像データから、少なくともイベントの発生時点を含む映像データをイベント記録データとして生成する。制御部４０は、映像記録制御部４９によって、生成したイベント記録データを記録部３９に保存する。制御部４０は、ステップＳ２０６へ進む。

加速度が第一閾値以上であると判定しない場合（ステップＳ２０２でＮｏ）、制御部４０は、加速度判定部４６によって、センサデータである加速度が第二閾値以上であるか否かを判定する（ステップＳ２０４）。加速度判定部４６によって、加速度が第二閾値以上であると判定する場合（ステップＳ２０４でＹｅｓ）、ステップＳ２０５へ進む。制御部４０は、加速度判定部４６によって、加速度が第二閾値以上であると判定しない場合（ステップＳ２０４でＮｏ）、ステップＳ２０６へ進む。

加速度が第二閾値以上であると判定する場合（ステップＳ２０４でＹｅｓ）、制御部４０は、判定結果取得処理を実行する（ステップＳ２０５）。制御部４０は、ステップＳ２０６へ進む。

制御部４０は、イベント検出及びループ記録を終了するか否かを判定する（ステップＳ２０６）。より詳しくは、制御部４０は、操作制御部５１によって、終了操作情報が出力された場合や、車両の動作が終了するなど、任意の条件で、イベント検出及びループ記録を終了すると判定して（ステップＳ２０６でＹｅｓ）、処理を終了する。制御部４０は、操作制御部５１によって、終了操作情報が出力されていないと、イベント検出及びループ記録を終了しないと判定して（ステップＳ２０６でＮｏ）、ステップＳ２０２の処理を再度実行する。

図１２を用いて、図１１に示すフローチャートのステップＳ２０５の判定結果取得処理について説明する。制御部４０は、判定結果取得部４７によって、加速度判定部４６が第二閾値以上の加速度を検出したと判定した状態における、ステップＳ２０１で撮影を開始した映像データを判定用のデータとしてサーバ装置１０へ送信する（ステップＳ２１１）。制御部４０は、ステップＳ２１２へ進む。

制御部４０は、判定結果取得部４７によって、サーバ装置１０から判定結果を取得したか否かを判定する（ステップＳ２１２）。制御部４０は、判定結果を取得したと判定する場合（ステップＳ２１２でＹｅｓ）、ステップＳ２１３へ進む。制御部４０は、判定結果を取得したと判定しない場合（ステップＳ２１２でＮｏ）、ステップＳ２１２の処理を再度実行する。

判定結果を取得したと判定する場合（ステップＳ２１２でＹｅｓ）、制御部４０は、判定結果が軽微なイベントの発生であることを示すか否かを判定する（ステップＳ２１３）。制御部４０は、判定結果が軽微なイベントの発生であることを示すと判定する場合（ステップＳ２１３でＹｅｓ）、ステップＳ２１４へ進む。制御部４０は、判定結果が軽微なイベントの発生であることを示すと判定しない場合（ステップＳ２１３でＮｏ）、処理を終了する。

制御部４０は、判定結果が軽微なイベントの発生であると判定する場合（ステップＳ２１３でＹｅｓ）、イベント記録データを保存する（ステップＳ２１４）。制御部４０は、処理を終了する。

このようにして、サーバ装置１０では、記録データを解析して折れ線グラフ情報を生成し、折れ線グラフ情報を用いて人工知能による機械学習によって、イベントの発生を判定する学習済みモデルとしてＤＮＮを生成する。サーバ装置１０は、記録装置３０から判定用の記録データを取得した場合、解析して折れ線グラフ情報を生成して、ＤＮＮを使用してイベントの発生を判定する。

記録装置３０では、速度が第一閾値未満かつ第二閾値以上である場合、カメラ３２が周辺を撮影した映像データに基づいて、サーバ装置１０によって、ＤＮＮを使用してイベント発生か否かを判定させる。

上述したように、本実施形態では、サーバ装置１０において、記録データを解析して折れ線グラフ情報を生成し、折れ線グラフ情報を用いて人工知能による機械学習によって、イベントの発生を判定する学習済みモデルとしてＤＮＮを生成することができる。本実施形態では、サーバ装置１０において、記録装置３０から判定用の記録データを取得した場合、解析して折れ線グラフ情報を生成して、ＤＮＮを使用してイベントの発生を判定することができる。

本実施形態によれば、加速度が第一閾値未満かつ第二閾値以上である場合、軽微なイベントが発生したか否かを、ＤＮＮを生成して、適切に判定することができる。

本実施形態では、記録装置３０において、加速度が第一閾値未満かつ第二閾値以上である場合、カメラ３２が周辺を撮影した映像データに基づいて、サーバ装置１０によって、ＤＮＮを使用してイベント発生か否かを判定させることができる。

このようにして、本実施形態によれば、例えば、車両が低速で追突、または、車両の停止時に他車両または人物が低速で接触するような、第一閾値以上の加速度が検出されないような、車両の軽微なイベントの発生時に、イベント記録データを記録することができる。

本実施形態は、第二閾値以上の加速度を検出した場合、車両の軽微なイベントの発生時に限って、イベント記録データを記録する。本実施形態は、車両が段差に乗り上げたなどの際に第二閾値以上の加速度を検出した場合には、イベント記録データが記録されることを抑制することができる。本実施形態によれば、適切にイベント記録データを記録することができる。

［第二実施形態］
図１３ないし図１５を参照しながら、本実施形態に係る記録システム１Ａについて説明する。図１３は、第二実施形態に係る記録システムの構成例の一例を示す概略図である。図１４は、第二実施形態に係る記録装置の構成例を示す概略図である。図１５は、第二実施形態に係る記録装置における処理の流れを示すフローチャートである。本実施形態は、サーバ装置１０Ａと記録装置３０Ａとの構成が第一実施形態と異なる。より詳しくは、サーバ装置１０Ａの制御部２０Ａが、通信制御部２１と、データ取得部２２と、解析部２３と、学習部２４と、第一判定部２５Ａと、記録制御部２６と、第二判定部２７Ａとを有する点で第一実施形態と異なる。記録装置３０Ａの制御部４０Ａが、通信制御部４１と、映像データ取得部４３と音声データ取得部４４とを含む記録データ取得部４２と、センサデータ取得部４５と、加速度判定部４６と、第一判定結果取得部４７Ａと、映像データ処理部４８と、映像記録制御部４９Ａと、操作制御部５１と、第二判定結果取得部５２Ａとを備える点が第一実施形態と異なる。以下の説明においては、サーバ装置１０Ａと記録装置３０Ａと同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。

記録装置３０Ａは、所定期間ごと、記録部３９に記録データやイベント記録データを記録するごとに、または、所望のタイミングで、記録データまたはイベント記録データを、削除可否の判定用の記録データとして、サーバ装置１０Ａへ通信部３１を介して送信する。

第一判定部２５Ａは、判定部２５と同様の機能を有する。

第二判定部２７Ａは、記録装置３０Ａから、削除可否の判定用の記録データを取得した場合、ＤＮＮを使用してイベントの発生を判定する。より詳しくは、第二判定部２７Ａは、記録部１２から学習されたＤＮＮモデルを読み出してＤＮＮを再現し、削除可否の判定用の記録データから、イベントの発生を判定する。第二判定部２７Ａにおける判定は、公知のディープラーニングにおける判定と同様の方法で実行すればよい。第二判定部２７Ａが取得する記録データは、例えば、記録装置３０Ａの記録部３９に記録されたイベント記録データである。

第一判定結果取得部４７Ａは、判定結果取得部４７と同様の機能を有する。

第二判定結果取得部５２Ａは、サーバ装置１０Ａによる、削除可否の判定用の記録データについての、イベントが発生したか否かの判定結果を取得する。

映像記録制御部４９Ａは、イベント記録データの判定結果に応じて、消去不可フラグ（保存フラグ）、または、消去可能フラグ（消去フラグ）を属性情報として付加して、記録部３９に記録させる制御を行う。より詳しくは、映像記録制御部４９Ａは、第二判定結果取得部５２Ａが取得した第二判定部２７Ａがイベントの発生を判定した場合、イベント記録データに、消去を規制する消去不可フラグの属性情報を付加し、第二判定部２７Ａがイベントの発生を判定しない場合、イベント記録データに消去を許可する消去可能フラグを付加する。消去不可フラグが付加されたイベント記録データは、例えば、所定期間は消去操作が規制されたり、ユーザ操作による消去操作が規制された保存領域に記録したり、外部装置へ転送したりする。消去可能フラグが付加されたイベント記録データは、ユーザ操作による消去操作が可能になる。

図１５を用いて、判定結果取得処理について説明する。制御部４０Ａは、第二判定結果取得部５２Ａよって、イベント記録データを第二判定用のデータとしてサーバ装置１０Ａへ送信する（ステップＳ２２１）。制御部４０Ａは、ステップＳ２２２へ進む。

制御部４０Ａは、第二判定結果取得部５２Ａによって、サーバ装置１０Ａから判定結果を取得したか否かを判定する（ステップＳ２２２）。制御部４０Ａは、判定結果を取得したと判定する場合（ステップＳ２２２でＹｅｓ）、ステップＳ２２３へ進む。制御部４０Ａは、判定結果を取得したと判定しない場合（ステップＳ２２２でＮｏ）、ステップＳ２２２の処理を再度実行する。

判定結果を取得したと判定する場合（ステップＳ２２２でＹｅｓ）、制御部４０Ａは、判定結果が軽微なイベントの発生であることを示すか否かを判定する（ステップＳ２２３）。制御部４０Ａは、判定結果が軽微なイベントの発生であることを示すと判定する場合（ステップＳ２２３でＹｅｓ）、ステップＳ２２４へ進む。制御部４０Ａは、判定結果が軽微なイベントの発生であることを示すと判定しない場合（ステップＳ２２３でＮｏ）、ステップＳ２２５へ進む。

制御部４０Ａは、判定結果が軽微なイベントの発生であることを示す判定する場合（ステップＳ２２３でＹｅｓ）、第二判定用のデータとして送信したイベント記録データに消去不可フラグを属性情報として付加する（ステップＳ２２４）。制御部４０Ａは、処理を終了する。

制御部４０Ａは、判定結果が軽微なイベントの発生であることを示すと判定されない場合（ステップＳ２２３でＮｏ）、第二判定用のデータとして送信したイベント記録データに消去可能フラグを属性情報として付加する（ステップＳ２２５）。制御部４０Ａは、処理を終了する。

このようにして、サーバ装置１０Ａでは、記録装置３０Ａから、削除可否の判定用の記録データを取得した場合にも、解析して折れ線グラフ情報を生成して、ＤＮＮを使用してイベントの発生を判定する。

記録装置３０Ａでは、イベント記録データについて、サーバ装置１０Ａによって、ＤＮＮを使用してイベント発生か否かを判定させる。記録装置３０Ａは、イベント記録データの判定結果に応じて、消去不可フラグ、または、消去可能フラグを属性情報として付加して、記録部３９に記録させる。

上述したように、本実施形態は、サーバ装置１０Ａでは、記録装置３０Ａから、削除可否の判定用の記録データを取得した場合にも、解析して折れ線グラフ情報を生成して、ＤＮＮを使用してイベントの発生を判定することができる。

本実施形態は、記録装置３０Ａでは、イベント記録データについて、サーバ装置１０Ａによって、ＤＮＮを使用してイベント発生か否かを判定させることができる。本実施形態は、記録装置３０Ａでは、イベント記録データの判定結果に応じて、消去不可フラグ、または、消去可能フラグを属性情報として付加して、記録部３９に記録させることができる。このようにして、本実施形態は、イベント記録データの削除の可否を適切に判定することができる。本実施形態は、イベント発生時に撮影されたイベント記録データを誤って削除してしまうことを抑制することができる。本実施形態は、イベント発生であるとされたが、段差の乗り越え時に撮影されたような不必要なイベント記録データを消去可能にすることができる。

さて、これまで本開示に係る記録システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

図示した記録システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況等に応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

記録システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラム等によって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

本開示の記録システム、及び、記録方法は、例えばいわゆるドライブレコーダに使用することができる。

１ 記録システム
１０ サーバ装置
２０ 制御部
２２ データ取得部
２３ 解析部
２４ 学習部
２５ 判定部
３０ 記録装置
３２ カメラ
３３ マイクロフォン
３４ 加速度センサ
３５ 操作部
３９ 記録部
４０ 制御部
４２ 記録データ取得部
４３ 映像データ取得部
４４ 音声データ取得部
４５ センサデータ取得部
４６ 加速度判定部
４７ 判定結果取得部
４８ 映像データ処理部
４９ 映像記録制御部（イベント記録制御部）

Claims (5)

1. 車両の周囲の状況を記録した記録データを取得する記録データ取得部と、
   前記記録データ取得部が取得した前記記録データに含まれる前記車両の周囲を撮影した映像データに画像解析を行い、前記映像データにおける色成分の遷移の情報を作成する解析部と、
   前記解析部が解析した前記色成分の遷移を人工知能によって学習して、イベントの発生を判定するための学習済みモデルを生成する学習部と、
   前記学習部が学習した前記学習済みモデルを使用して、前記記録データ取得部が取得した前記記録データに基づいて、イベントの発生を判定する判定部と、
   前記判定部がイベントの発生を判定した場合、イベントの発生時点を含む記録データをイベント記録データとして記録部に記録させるイベント記録制御部と、
   を備えることを特徴とする記録システム。
2. 前記学習部は、過去のイベント発生時の前記記録データに基づいて、イベント発生時の前記記録データに含まれる前記映像データにおける前記色成分の変化の傾向を人工知能によって学習する、
   請求項１に記載の記録システム。
3. 前記記録データは、前記車両の周囲の音声を取得した音声データをさらに含み、
   前記解析部は、前記音声データに信号処理を行って、前記音声データに含まれる周波数成分の遷移の情報を作成する、
   請求項１に記載の記録システム。
4. 車両の周囲の状況を記録した記録データを取得する記録データ取得ステップと、
   前記記録データ取得ステップによって取得した前記記録データに含まれる前記車両の周囲を撮影した映像データに画像解析を行い、前記映像データにおける色成分の遷移の情報を作成する解析ステップと、
   前記解析ステップによって解析した前記色成分の遷移を人工知能によって学習して、イベントの発生を判定するための学習済みモデルを生成する学習ステップと、
   前記学習ステップによって学習した前記学習済みモデルを使用して、前記記録データ取得ステップによって取得した前記記録データに基づいて、イベントの発生を判定する判定ステップと、
   前記判定ステップによってイベントの発生を判定した場合、イベントの発生時点を含む記録データをイベント記録データとして記録部に記録させるイベント記録制御ステップと、
   を含む記録方法。
5. 車両の周囲の状況を記録した記録データを取得する記録データ取得部と、
   前記記録データ取得部が取得した前記記録データに含まれる前記車両の周囲を撮影した映像データを解析して、前記映像データにおける色成分の遷移の情報を作成する解析部と、
   前記解析部が作成した前記色成分の遷移の情報に基づいて、イベントの発生を判定する判定部と、
   前記判定部がイベントの発生を判定した場合、イベントの発生時点を含む記録データをイベント記録データとして記録部に記録させるイベント記録制御部と、
   を備えることを特徴とする記録システム。

Images