JP2024055911A - システム、プログラム、学習済みモデル、学習モデルの生成方法および生成装置等 - Google Patents

Abstract

【課題】車両で撮影可能な特定の画像のシーンを検出するための技術を提供する。【解決手段】ドライブ・レコーダなどによって被写体の撮影により得られた動画データを学習済みの学習モデルに入力し（ステップ93）、学習モデルから特徴画像を得る（ステップ93）。所望の画像と特徴画像との一致度がしきい値以上であれば（ステップ95、ステップ96でＹＥＳ）、イベント記録が行われる（ステップ98）。【選択図】 図12

Description

本発明は、たとえば、システム、プログラム、学習済みモデル、学習モデルの生成方法および生成装置等に関する。

従来の技術では、ドライブ・レコーダのような撮影装置において所定のイベントが発生したことをトリガにイベント録画情報を作成している。このようなものでは、異常な状況における撮影により得られた撮影データを効率的に収集するものが考えられている（特許文献１）。

特開2019-016227号公報

異常な状況における撮影により得られた撮影データに加え、ユーザが所望するシーン等の特定のシーンの画像を効率的に収集する技術があると望ましい。

上述した課題に鑑み、本発明の目的の一つは、車両で撮影可能な特定の画像のシーンを検出するための技術を提供することである。

本発明の目的はこれに限定されず、本明細書及び図面等に開示される構成の部分から奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「～できる」「～可能である」などと記載した箇所を「～が課題である」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとして記載しているものであり、各々の課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。課題が明細書の記載から黙示的に把握されるものであっても、本出願人は本明細書に記載の構成の一部を補正又は分割出願にて特許請求の範囲とする意思を有する。またこれら独立の課題を組み合わせた課題を解決する構成についても開示しているものであり、権利取得する意思を有する。

（１）この発明によるシステムは、車両で撮影可能な特定の画像のシーンを規定するデータに基づいて、複数の時点の各時点に車両で撮影された画像から、上記シーンを表す画像を検出する機能を有する。

このようにすれば、車両で撮影可能な特定の画像のシーンを検出するための技術を提供することができる。

（２）車両に設置されたカメラで撮影する機能と、上記カメラにより複数の時点の各時点で撮影された画像を記録媒体に記録する機能と、を有し、上記検出する機能は、上記記録媒体に記録された上記各時点の画像のうち、上記特定の画像のシーンとの一致度がしきい値以上のシーンを表す画像を検出するとよい。

このようにすれば、車両に設置されたカメラで撮影された画像から、特定の画像のシーンとの一致度がしきい値以上のシーンを表す画像を検出することができる。

（３）上記データは、１つの時点の画像であるとよい。

特定の画像が１つの時点であればシーンを検出するまでの時間を短縮できる。

（４）上記データは、２つまたは３つ以上の時点の画像であるとよい。

特定の画像が２つまたは３つ以上の時点の画像であれば検出するシーンの精度を向上できる。２つまたは３つ以上の時点の画像は、動画のように時間的に連続した画像（画像内の主要被写体の動きが連続している画像）が好ましい。

（５）上記データは、上記特定の画像と同一の画像もしくは上記特定の画像に近似した複数の画像を入力してディープ・ラーニングにより生成されるとよい。

このようにすれば、ディープ・ラーニングの技術を用いて、車両で撮影可能な特定の画像のシーンを検出することができる。

（６）上記データは、上記特定の画像を教師データとして機械学習を行った学習済みの第１の学習モデルであり、上記検出する機能は、上記各時点に撮影された画像を上記学習済みモデルに入力することで上記シーンを表す画像を検出するとよい。

このようにすれば、比較的迅速に特定のフレームを検出することができる。

（７）上記特定のシーンには、たとえば、事故または災害に至る可能性のシーン、または事故または災害に至ったシーンの少なくとも一方のシーンが含まれるとよい。

このようにすれば、事故または災害に至る可能性のシーン、事故または災害に至ったシーンに近いシーンを動画の中から検出することができる。

（８）上記シーンを表す画像を検出したことに応じて警告を行うように警告装置を制御する警告制御手段をさらに備えてもよい。

たとえば、車両に上記システムを設置し撮影しながら動画の記録を行い、その動画の中から特定の画像に近いシーンを見つけ出している場合には、特定の画像のシーンに近い状況にあることを車両の運転者に注意を促すことができる。

（９）上記警告制御手段は、上記シーンの種類または危険度に応じて警告の内容を変更するように警告装置を制御するとよい。

このようにすれば、車両の運転者は注意すべき度合いを把握しやすい。

（１０）上記検出されたシーンの画像を記録媒体に記録するように記録装置を制御する第１の記録制御手段をさらに備えるとよい。

このようにすれば、特定のシーンのフレームの画像を記録することができ、たとえば後でそのフレームの画像を参照しやすくすることができる。

（１１）上記検出する機能は、上記データと上記車両の走行状態を示す物理量とに基づいて、上記シーンを表す画像を検出するとよい。

このようにすれば、車両の走行状況の加味することにより、所望のシーンをより精度良く検出できる。

（１２）上記記録媒体には、上記各時点に車両で撮影された画像が記憶され、上記記録媒体に記録された上記各時点に車両で撮影された画像を再生するように再生装置を制御する再生制御手段と、上記再生制御手段の制御による再生装置において再生された画像に関連づけて、上記検出した上記シーンを表す画像を報知するように報知装置を制御する報知制御手段と、をさらに備えるとよい。

このようにすれば、記録媒体に記録した画像の再生時に特定の画像に近似したシーンを検出しやすくなる。

（１３）上記記録媒体には、記録開始指令が与えられてから記録停止指令が与えられるまでの間を一つの期間として、上記各時点に車両で撮影された画像が記憶され、上記一つの期間内に生じている画像の欠損部分に対応する画像を生成する生成手段、および上記生成手段によって生成された画像を上記欠損部分に記録するように記録装置を制御する第２の記録制御手段をさらに備えるとよい。

このようにすれば、欠損部分の動画を復元することができる。

（１４）上記生成手段は、他の車両において複数の時点の各時点に撮影された画像における上記欠損部分に対応する第１の部分の前または後の少なくとも一方の第２の画像を入力とし、上記第１の部分を出力とする機械学習を行った学習済みの第２の学習モデルに、上記欠損データの前または後の少なくとも一方の画像を入力することで、上記欠損部分に対応する画像生成するとよい。

このようにすれば、比較的正確に欠損部分の動画を生成できる。

（１５）コンピュータに上記システムの機能を実現するためのプログラムを提供してもよい。

このようにすれば、プログラムを装置にインストールすることにより、その装置において、車両で撮影可能な特定の画像のシーンを検出することができる。

（１６）この発明による学習済みモデルは、車両で撮影可能な特定の画像を教師データとして用い、入力を複数の時点の各時点に車両で撮影された画像とし、出力を、入力した画像から上記特定の画像のシーンを表す画像の検出とする。

このようにすれば、車両で撮影可能な特定の画像のシーンを検出するための学習済みモデルを提供することができる。

（１７）この発明による学習モデルの生成方法は、車両で撮影可能な特定の画像を教師データとして用い、入力を複数の時点の各時点に車両で撮影された画像とし、出力を、入力した画像から上記特定の画像のシーンを表す画像とする学習モデルを生成する。

このようにすれば、比較的多くの特定のシーンの画像を検出したり、特定のシーンの画像を精度良く検出したりする学習モデルを生成することができる。

（１８）上記特定の画像は、複数の撮影装置において撮影された画像とするとよい。

このようにすれば、比較的多くの特定のシーンの画像を検出したり、特定のシーンの画像を精度良く検出したりする学習モデルを生成することができる。

（１９）上記撮影装置は車両に設置されるドライブ・レコーダであり、上記特定の画像は、上記ドライブ・レコーダに記録指令が与えられたときのシーン、または上記ドライブ・レコーダが取り付けられている車両に衝撃が加わったときのシーンを表すとよい。

このようにすれば、ドライブ・レコーダに記録指令が与えられたときやドライブ・レコーダが取り付けられている車両に衝撃が加わったときのシーンの画像を検出する学習モデルを生成することができる。

（２０）対象物が一定以上の速度または加速度で移動しているシーンを表す画像を検出するとよい。

このようにすれば、一定以上の速度または加速度で移動した対象物を含む画像を検出する学習モデルを生成することができる。

（２１）上記データと上記車両の走行状態を示す物理量とに基づいて上記シーンを表す画像を検出するための学習モデルを生成するとよい。

このようにすれば、車両の走行状況の加味することにより、所望のシーンをより精度良く検出できる学習モデルを生成することができる。

（２２）複数の時点の各時点に撮影された画像のうちの所定の期間の画像である第１の画像と、当該第１の画像の前または後の少なくとも一方の画像である第２の画像とを教師データとして用い、上記第１の画像を入力とし、上記第２の画像を出力として学習し、所定の期間に欠損部分を含む複数の時点の各時点に撮影された第３の画像を入力とし、入力した第３の画像から上記欠損部分の画像である第４の画像を推定するとよい。

このようにすれば、欠損部分の画像を生成するための学習モデルを生成することができる。

（２３）この発明による学習済みモデルの生成装置は、（１７）から（２２）のいずれか１の学習モデルの生成方法により学習モデルを生成する。

このようにすれば、車両で撮影可能な特定の画像のシーンを検出するための学習済みモデルを提供することができる学習モデルを生成できる。

上述した（１）から（２２）に示した発明は、任意に組み合わせることができる。例えば、（１）に示した発明の全て又は一部の構成に、（２）から（２３）の少なくとも１つの発明の少なくとも一部の構成を加える構成としてもよい。特に、（１）に示した発明に、（２）から（２３）の少なくとも１つの発明の少なくとも一部の構成を加えた発明とするとよい。また、（１）から（２３）に示した発明から任意の構成を抽出し、抽出された構成を組み合わせてもよい。

本願の出願人は、これらの構成を含む発明について権利を取得する意思を有する。また「～の場合」「～のとき」という記載があったとしても、その場合やそのときに限られる構成として記載はしているものではない。これらはよりよい構成の例を示しているものであって、これらの場合やときでない構成についても権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えたりした構成についても開示しているものであり、権利取得する意思を有する。

本発明によれば、車両で撮影可能な特定の画像のシーンを検出するための技術を提供することができる。

なお、本願の発明の効果はこれに限定されず、本明細書及び図面等に開示される構成の部分から奏する効果についても開示されており、当該効果を奏する構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「～できる」「～可能である」などと記載した箇所などは奏する効果を明示する記載であり、また「～できる」「～可能である」などといった記載がなくとも効果を示す部分が存在する。またこのような記載がなくとも当該構成よって把握される効果が存在する。

ドライブ・レコーダの一例である。 車内にドライブ・レコーダが取り付けられている様子を示している。 ドライブ・レコーダの電気的構成を示すブロック図である。 サーバの電気的構成を示すブロック図である。 学習モデルの一例である。 目標画像の一例である。 学習モデルを生成するフローチャートの一例である。 複数の目標画像を生成する学習モデルの一例である。 （Ａ）から（Ｃ）は目標画像の一例である。 目標画像を生成する敵対的生成ネットワークの電気的構成を示すブロック 図である。 学習モデルの一例である。 イベント記録の処理手順を示すフローチャートである。 学習モデルの一例である。 一致度算出処理手順を示すフローチャートである。 フレームの一例である。 動画を構成するフレームの一例である。 学習モデルの一例である。 パーソナル・コンピュータの一例である。 記録フォーマットの一例である。 再生用ウインドウの一例である。 再生処理手順を示すフローチャートである。 再生用ウインドウの一例である。 再生用ウインドウの一例である。 （Ａ）および（Ｂ）は、フレーム番号とアドレス位置情報との関係を示し ている。 修復処理手順を示すフローチャートである。 記録フォーマットの一例である。 学習モデルの一例である。 学習モデルを学習させる様子を示している。 学習モデル生成処理手順を示すフローチャートである。 動画の欠損部分の生成処理手順を示すフローチャートである。

以下、図面を参照して本発明を実施するための形態について説明する。なお、以下に示す実施形態は、本発明を提供した一つの実施形態であり、以下の記載に基づいて本願発明の内容が限定して解釈されるものではない。

［本願の発明の着想に至った経緯］
現在のドライブ・レコーダでは、加速度センサ等のセンサ類の検出結果に応じてイベント記録が自動で（受動的に）実行されるが、ユーザが能動的にイベント記録を行うにはスイッチしか方法がなく、センサ類が反応しなかった、かつユーザがスイッチを押せない状況にある場合（例えば、運転中や駐停車時の運転者が車内にいない等）映像の記録が行えない、という状況があった。そこで、ディープ・ラーニング等の方法により、センサ類が反応しないが事故や危険な状況を、映像データにより学習させておき、同じまたが類似した状況が発生した場合に、自動的にイベント記録を行うという解決方法を、発明者は考えた（第１、第２実施例等）。このように、本解決方法は、イベント録画を機械学習で補完するもので、センサ類が反応しない状況の映像を学習するものである。また、このような事故等の状況を撮影するイベント記録ではなく、運転中の景色やユーザがとりたい地点等を予め教師画像として学習しておき、類似した状況を自動判定してドライブ・レコーダで記録することもできると、発明者は考えた。事故等の映像ではなく撮影装置として利用できれば、ドライブ・レコーダの用途が増えるのではないかと、発明者は考えた（第３実施例等）。

［各実施例の概要］
以下で説明する各実施例は、車両で撮影可能な特定の画像のシーンを規定するデータに基づいて、複数の時点の各時点に車両で撮影された画像から、上記シーンを表す画像を検出する技術に関する。特定の画像は、各実施例では、所望するシーンを規定する画像（所望の画像ともいう。）である。「上記シーンを表す画像を検出する」ことは、所定の処理を実行するトリガを発生させることを含む。所定の処理とは、第１実施例・第２実施例ではイベント録画であり、第３実施例では、当該シーンを表す画像に関する情報を表示すること、及び表示した情報が選択されると、対応する動画を表す動画データに基づいて当該シーンを表す画像を含むイベント記録された動画を表示すること、動画の再生中にこの選択に応じて当該シーンの画像を表示する時点まで早送りすること、画像の再生中に当該時点までジャンプする（頭出しすること）ことを含む。これらに限られず、「上記シーンを表す画像を検出する」ことは、当該画像に検出したことを示す識別情報を関連付けること等の処理を含んでいてもかまわない。各実施例では、動画データによって表される動画を構成する複数のフレームのうち、所望の画像のシーンとの一致度がしきい値以上のシーンを表すフレームが見つけられるようにする方法を説明する。動画は、複数の時点の各時点の画像（ここでは静止画であり、実施例ではフレームともいう。）を時間軸上に配置して構成される。動画データに基づいて動画を再生した場合、当該時間軸に沿って順次画像が再生される。特定の画像は、１つの時点の画像（つまり静止画）であってもよいし、２の時点または３の時点以上の画像のいずれでもよいし、動画を構成するフレームを表す時間的に連続して撮影された２つの時点または３つの以上の時点の画像でもよい。所望の画像は、自動車事故（自動車事故に限らない）のような事故、自然災害（自然災害に限らない）のような災害に至る可能性のあるシーン、事故または災害に至ったシーンなどの画像のほか、所望の風景の画像などどのような画像でもよい。また、後述のように操作ボタンなどによりドライブ・レコーダに記録指令が与えられたシーン、ドライブ・レコーダが搭載されている車両に衝撃が加わったときのシーンの画像でもよい。

［第１実施例］
図１から図11は、第１実施例を示している。第１実施例は、所望の画像と同一の画像もしくは所望の画像に近似した画像である複数の画像または所望の画像と同一の画像および所望の画像に近似した画像である複数の画像を用いてディープ・ラーニングを用いて目標画像を生成し、生成した目標画像を所望の画像として利用する。また、学習済みモデルの生成についても説明する。

図１は、ドライブ・レコーダ１(システムの一例である)を斜め後方から見た斜視図である。以下の説明では、ドライブ・レコーダ１は、本実施形態では車両に対して後から設置される機器である。車両は、例えば自家用の自動車や事業用の自動車（乗用車）である。ただし、車両は、バス、トラック、フォークリフト等の特殊自動車、電車やモノレール、リニアモーターカー等の公共交通機関における車両等でもよい。

ドライブ・レコーダ１の筐体の１つの側面にＳＤカード挿入口10が形成されている。ドライブ・レコーダ１の筐体の背面のほぼ全体にディスプレイ11が形成されており、ディスプレイ11を挟んで左右の両側に複数の操作ボタン12が設けられている。ドライブ・レコーダ１の上面にはジョイント・レール13が設けられている。図１には現れていないが、ドライブ・レコーダの前面にカメラのレンズが設けられている。図１に現れていない側面にドライブ・レコーダ１のＤＣジャックが形成されており、ドライブ・レコーダ１の底面にスピーカおよびＨＤ(high definition)出力端子が形成されている。

レンズを含むカメラは、例えば車両の前方の映像を撮影する。また、好ましくは車室内および車室外(車両の横方向、後方など)を撮影してもよい。ＤＣジャックは、電源ケーブルを介してＤＣ電源に接続するためのジャックである。ＳＤカード挿入口10はＳＤカード［メモリ・カードの一例で、ｘＤピクチャ・カードなどその他のメモリ・カードでもよいし、メモリ・カード以外のＵＳＢ(Universal Serial Bus)メモリなどのメモリでもよい］を挿入するための挿入口である。スピーカは、音や音声を出力する。ＨＤ出力端子は、ケーブルを介して他の情報機器に接続するための端子である。ジョイント・レール13は、ドライブ・レコーダ１を車両に搭載するためのジョイントを取り付けるためのものである。ディスプレイ11は、ドライブ・レコーダ１のカメラによって撮影された映像など種々の映像を表示する。操作ボタン12は、ユーザが操作することによってドライブ・レコーダ１に種々の指令を入力するためのものである。

図２は、ドライブ・レコーダ１が搭載された車両の車室内から前方に向かって見た図を表している。

車両のフロント・ガラス３の上部の中央付近にルーム・ミラー４が設けられている。ルーム・ミラー４に隣接する助手席側(図２では前方に向かって左側)の位置にドライブ・レコーダ１がジョイントによって車両に固定されている。

ドライブ・レコーダ１のＤＣジャックが電源ケーブル６を介してシガー・ソケット５に接続されている。車両のアクセサリ電源がオンにされると、シガー・ソケット５からドライブ・レコーダ１に電力が供給される。なお、ドライブ・レコーダ１は、図１および図２の形態のものに限られず、例えば、全天球カメラまたは半天球カメラを搭載したものでもよい。

図３は、ドライブ・レコーダ１の電気的構成を示すブロック図である。

ドライブ・レコーダ１には、コントローラ20が含まれている。このコントローラ20にドライブ・レコーダ１の全体の動作を統括するＣＰＵ(Central Processing Unit)20ａ、ドライブ・レコーダ１の動作プログラムなどが格納されているＲＯＭ(Read Only Memory)20ｂ、データ等を一時的に記憶するＲＡＭ(Random Access Memory)20ｃおよびタイマ20ｄが含まれている。コントローラ20は、ＧＰＳ情報処理プログラム、映像処理プログラム、通信処理プログラムなどの機能を有する。

また、ドライブ・レコーダ１にはＧＰＳ(Global Positioning System)受信機16、カメラ17、ＳＤカード・リーダ・ライタ14および加速度センサ18が含まれている。ＧＰＳ受信機16は、ドライブ・レコーダ１の位置を検出するもので、ドライブ・レコーダ１が搭載されている車両の位置がわかることとなる。カメラ17は、上述のようにドライブ・レコーダ１が搭載された車両の前方などを撮影する。ＳＤカード・リーダ・ライタ14は、上述のようにＳＤカード挿入口10にＳＤカード23が挿入されることにより、挿入されたＳＤカード23に記録されたデータを読み取り、かつデータをＳＤカード23に書き込む。加速度センサ18は、ドライブ・レコーダ１に与えられた上下、左右および前後の加速度を検出するもので、ドライブ・レコーダ１が搭載されている車両の上下方向、左右方向および前後方向の加速度がわかることとなる。

ＧＰＳ受信機16から出力されるドライブ・レコーダ１の位置を表すＧＰＳデータ、カメラ17によって撮影された映像を表す映像データ、加速度センサ18によって検出された加速度を表す信号は、それぞれコントローラ20に入力する。コントローラ20はＧＰＳ情報処理プログラムを実行することにより、ＧＰＳ受信機16から出力されたＧＰＳデータを、ＳＤカード挿入口10に挿入されたＳＤカード23に記録できる。また、コントローラ20は映像処理プログラムを実行することにより、カメラ17から得られた映像データを時刻と関連付けてＳＤカード23に記録できる。

さらに、ドライブ・レコーダ１には、上述した音声等を出力するスピーカ15、映像等を表示するディスプレイ11、操作ボタン12、通信回路19およびＬＴＥモジュール21が含まれている。

コントローラ20から音声データ等がスピーカ15に出力することにより、スピーカ15から音声等を出力し、コントローラ20から映像データ等がディスプレイ11に出力することにより、ディスプレイ11に映像等を表示する。操作ボタン12からの各種指令はコントローラ20に入力する。

通信回路19は、外部機器、例えばサーバ、パーソナル・コンピュータ、スマートフォン、タブレット端末等と無線通信を行うための通信手段として機能する。コントローラ20は、通信処理プログラムを実行することにより、通信回路19を介して、外部機器に映像等のデータを送信する機能を有する。通信回路19として、例えばＷｉＦｉ規格、Ｂｌｕｅｔｏｏｔｈ(登録商標)等の近距離無線通信の規格に準拠したものを用いるとよい。近距離無線通信の規格は、例えば構内で稼働する作業車両（フォークリフト等）と外部機器との通信に適用することができる。移動通信システムの規格は、例えば、より広範囲の領域内で移動する車両と外部機器との通信に適用することができる。

ＬＴＥ(Long Term Evolution)モジュール21は、携帯電話の通信規格に準じた通信回路である。ＬＴＥモジュール21の代わりに４Ｇ等の他の移動通信システムの規格等に準拠した通信回路を用いてもよい。ＬＴＥモジュール21によってカメラ17が撮影した映像データ等を外部サーバ等に送信できる。

ドライブ・レコーダ１の動作プログラムはＳＤカード23にあらかじめ記録されていてもよいし、インターネットなどを介してＬＴＥモジュール21によって受信しＳＤカード23に記録されてもよいし、ＳＤカード23をパーソナル・コンピュータなどに挿入し、パーソナル・コンピュータを介してインターネットに接続してパーソナル・コンピュータからダウンロードしてＳＤカード23に記録してもよい。

図４は、ドライブ・レコーダ１と通信するサーバの30の電気的構成を示すブロック図である。

サーバ30には、全体の動作を統括する制御装置31が含まれている。

サーバ30の制御装置31には、ドライブ・レコーダ１その他のクライアント・コンピュータなどと通信する通信装置、データなどを記憶するメモリ33およびハード・ディスク・ドライブ34が接続されている。ハード・ディスク・ドライブ34は、動画データなどを記憶するハード・ディスク35にアクセスして、ハード・ディスク35に記録されている動画データの読み取りおよびハード・ディスク35に動画データなどを記録する。

図５は、学習モデル40の一例である。

図５に示す学習モデル40は、ディープ・ラーニングにより複数の画像を入力して目標画像を生成するものである。学習モデル40には入力層41、中間層（隠れ層）42および出力層43が含まれている。

任意の１枚の画像（所望の画像、所望の画像に近似した画像だけでなく、その他の画像も含まれる）を構成する画素Ｐ１からＰＮのそれぞれを学習モデル40の入力層41から入力し、中間層42および出力層43を通してディープ・ラーニングにより学習させることを、膨大な数の任意の画像だけ行う。その後、所望の画像、所望の画像に近似した画像が多く含まれる任意の画像を学習モデル40の入力層41から入力すると、所望の画像、所望の画像に近似した画像に反応するニューロン43ａを探し出すことができる。未知の画像を学習モデル40の入力層41から入力しニューロン43ａが反応したら、入力した未知の画像は所望の画像、所望の画像に近似した画像であると判断できる。これにより、学習モデル40によって画像認識ができる。

さらに、反応したニューロン43ａから逆に入力層41側に辿ることにより、もっとも所望の画像らしい目標画像を生成することができる。このようにして生成された目標画像がディープ・ラーニング（教師なし学習）により生成された所望の画像となる。

たとえば、事故に至りそうな画像、災害に至りそうな画像、事故に至った画像、災害に至った画像、その他の事故、災害に関係のない膨大な画像を学習モデル40に入力し、ディープ・ラーニングにより学習すると、事故に至りそうな画像が学習モデル40に入力したときに反応するニューロン（第１のニューロンとする）、災害に至りそうな画像が学習モデルに入力したときに反応するニューロン（第２のニューロンとする）、事故に至った画像が学習モデルに入力したときに反応するニューロン（第３のニューロンとする）、災害に至った画像が学習モデルに入力したときに反応するニューロン（第４のニューロンとする）などがわかる。

反応した第１のニューロンから逆に入力層41側に辿ることにより、事故に至りそうな画像らしい目標画像を生成することができ、反応した第２のニューロンから逆に入力層421に辿ることにより、災害に至りそうな画像らしい目標画像を生成することができ、反応した第３のニューロンから逆に入力層41側に辿ることにより、事故に至った画像らしい目標画像を生成することができ、反応した第４のニューロンから逆に入力層41側に辿ることにより、災害に至った画像らしい目標画像を生成することができる。生成された目標画像を所望の画像として利用できる。

図６は、上述のようにして生成された目標画像50の一例であり、事故に至りそうな画像の一例である。

目標画像50は、ディープ・ラーニングにもとづいて生成された画像であり、実際に撮影された画像とは異なる。ただし、偶然に実際に撮影された画像とほぼ同一の画像となることはあり得る。

この実施例の一例としては、動画を構成するフレームの中から、この目標画像50のシーンとの一致度がしきい値以上のシーンのフレームが見つけられる。

図７は、目標画像生成処理手順を示すフローチャートである。

図７に示す目標画像生成処理手順は、多数の画像が得られていればどのようなタイミングで行われてもよい。また、ＳＤカード23またはデータベース22に多数の画像を表す画像データが記録されていればドライブ・レコーダ１において行われてもよいし、サーバ30のハード・ディスク35に多数の画像を表す画像データが記録されていればサーバ30において行われてもよい。複数の車両に搭載されているドライブ・レコーダ（複数のドライブレコーダ）から画像を収集する場合は、サーバ30で目標画像生成処理手順が実行されることが望ましい。さらに、インターネットにアクセスできれば、ＳＤカード23、データベース22、ハード・ディスク35に多数の画像が記録されていなくとも、インターネットから多数の画像を読み取ることにより、ドライブ・レコーダ１またはサーバ30のいずれにおいて目標画像生成処理が行われてもよい。さらに、クライアント・コンピュータ（パーソナル・コンピュータ）において目標画像生成処理が行われてもよい。

多数の任意の画像が学習モデル40に入力し（ステップ61）、学習モデル40においてディープ・ラーニングが行われる（ステップ62）。上述のように目標画像が得られる（ステップ63）。

学習モデル40のプログラムは、ドライブ・レコーダ１のコントローラ20またはサーバ30の制御装置31にインストールされているのはいうまでもない。

図８は、複数の目標画像を生成する方法を示している。

第１の学習モデル40Ａ、第２の学習モデル40Ｂおよび第３の学習モデル40Ｃは、図５に示した学習モデルと同様に、入力層、中間層および出力層を含む。

第１の学習モデル40Ａに入力する画像を第１の画像とし、第２の学習モデル40Ｂに入力する画像を第２の画像とし、第３の学習モデル40Ｃに入力する画像を第３の画像とする。図５を参照して説明したように第１の学習モデル40Ａに膨大な画像を入力してディープ・ラーニングにより学習させると特定の画像（たとえば、事故に至る可能性の高い画像）に反応するニューロンが探し出され、そのニューロンを入力層に辿ることにより特定の画像の特徴を表す画像が得られる。たとえば、事故に至る可能性の高い特徴を表す第１の目標画像が得られる。同様に、第２の学習モデル40Ｂに膨大な画像を入力してディープ・ラーニングにより学習させると特定の画像（たとえば、災害に至る可能性の高い画像）に反応するニューロンが探し出され、そのニューロンを入力層に辿ることにより特定の画像の特徴を表す画像が得られる。たとえば、災害に至る可能性の高い特徴を表す第２の目標画像が得られる。第３の学習モデル40Ｃに膨大な画像を入力してディープ・ラーニングにより学習させると特定の画像（たとえば、事故に至った画像）に反応するニューロンが探し出され、そのニューロンを入力層に辿ることにより特定の画像の特徴を表す画像が得られる。たとえば、事故に至った画像の特徴を表す第３の目標画像が得られる。このように複数種類の目標画像が得られる。

図８においては複数の学習モデル40Ａ-40Ｃを用いて複数種類の目標画像を得ているが、図５に示すような１つの学習モデル40においても、第１の目標画像に反応するニューロン、第２の目標画像に反応するニューロン、第３の目標画像に反応するニューロンなどを探し出すことにより、入力層41に辿ることにより第１の目標画像、第２の目標画像、第３の目標画像などを見つけることができる。

図８に示す例においては、第１の画像、第２の画像および第３の画像は、時系列的に連続して撮影された画像とすることが好ましい。それにより、得られる第１の目標画像、第２の目標画像および第３の目標画像も時系列的に順に連続しているものを表すようになる。たとえば、第１の目標画像、第２の目標画像および第３の目標画像が事故に至る可能性の高い画像の特徴を表しているものとすると、第１の目標画像、第２の目標画像および第３の目標画像に近いフレームが順に動画の中で現れると、そのような状況では事故に至る可能性がより高いものと判断でき、１枚の目標画像のみで事故に至る可能性が高いと判断する場合よりも精度が高くなる。

図９（Ａ）、（Ｂ）および（Ｃ）は、上述のようにして生成された第１の目標画像、第２の目標画像および第３の目標画像の一例である。

第１の目標画像51、第２の目標画像52および第３の目標画像53となるにつれて被写体として映っている子供が自動車に近づいてしまい、事故に至る可能性が高くなっていることがわかる。これらの第１の目標画像51、第２の目標画像52および第３の目標画像53を所望の画像とし、これらの第１の目標画像51、第２の目標画像52および第３の目標画像53と同じようなシーンが動画の中から見つけられると、そのシーンのときには高い確率で事故に至ると判断できる。

上述の実施例では、３枚の第１の目標画像51、第２の目標画像52および第３の目標画像53を所望の画像としているが、２枚または４枚以上の目標画像を生成し、所望の画像としてもよい。

図10は、目標画像を生成する他の方法を示すもので、敵対的生成ネットワークの電気的構成を示すブロック図である。

所望の画像の特徴量を表す特徴量データが生成器71に入力する。生成器71において、入力した特徴量データから所望の画像の疑似画像を表す疑似画像データが生成される。生成された疑似画像データは生成器71から識別器72に入力する。識別器72には所望の画像を表す画像データも入力する。識別器72において、所望の画像を表す画像データによって表される所望の画像と疑似画像データによって表される疑似画像とが同じまたは類似した画像かどうかが識別される。識別結果を表すデータは生成器71および重みづけ変更器73のそれぞれに入力する。識別結果を表すデータにもとづいて生成器71が調整され、かつ重みづけ変更器73によって識別器72の特徴量の重みづけが変更させられる。

生成器71における疑似画像データの生成、識別器72における識別、生成器71における識別結果にもとづく調整および重みづけ変更器73における識別器72の重みづけの変更が繰り返されると、生成器71によって生成された疑似画像データによって表される疑似画像と所望の画像とが同一または近似と識別器72において判定される。そのように判定された疑似画像が目標画像とされる。同一種類の複数の画像を所望の画像とし、上述した処理を繰り返すことにより得られた疑似画像を目標画像としてもよい。このようにして得られた目標画像が動画を構成するフレームから見つけられる所望の画像となる。

上述の実施例においては、任意の画像を用いて目標画像を生成し生成した目標画像を所望の画像としたり、所望の画像を用いて疑似画像を生成し生成した疑似画像を所望の画像としたりしているが、事故または災害に至る可能性の高い画像、事故または災害に至った画像、ユーザが探したいシーンの画像などがすでに分かっている場合などには、目標画像、疑似画像などを、ディープ・ラーニングなどを用いて生成することなく、それらの画像自体を所望の画像として利用してもよい。たとえば、イベント記録の動画（たとえば、車両に搭載されているドライブ・レコーダが動画を記録する場合に車両に衝撃などが与えられた場合に記録される動画）がある場合には、そのイベント記録の動画を構成する１または複数のフレームを所望の画像としてもよい。

図11は、学習モデルに学習させて学習済みモデルを生成する方法を示している。

目標画像を生成する他の一例であり、学習モデルの一例を示している。

学習モデル80には、入力層81、中間層（隠れ層）82および出力層83が含まれている。

所望の画像を教師データとし、所望の画像を構成する画素Ｐ１からＰＮを表すデータを、画像を構成する順に入力層81に入力する。中間層82を介して入力層81に入力した画素Ｐ１からＰＮと同じデータが出力層83から所望の画像を構成する順と同じ順に出力するように、入力層81、中間層82および出力層83の特徴量、重みづけなどを必要に応じて調整する。すなわち、学習モデル80の出力が入力とほぼ同じようになるように機械学習を行い、学習モデル80の特徴量、重みづけなどを必要に応じて調整する。

入力層81に入力する画素を表すデータの数を減らしたり、出力層83から出力する画素を表すデータの数を減らしたりしてもよい。画像の同一位置の画素を表すデータが入力と出力とでほぼ同じとなるように学習モデル80の特徴量、重みづけなどを必要に応じて調整してもよい。

このような学習をさせた学習モデルに任意の画像（例えば、動画を構成する各フレーム）を表すデータを入力すると、所望の画像に一致する画像ほど出力層83から出力する各画素のデータが、所望の画像を構成する画素Ｐ１からＰＮのデータに近くなる。

第１実施例によると、所望の画像を生成でき、動画を構成する複数フレームの中から所望の画像のシーンに近似したシーンのフレームを検出するのに利用できる学習済みモデルを得られる。

［第２実施例］
図12から図16は、第２実施例を示している。第２実施例は、図11を参照して生成された学習済みの学習モデル80を利用して動画データを構成する複数フレームの中から所望の画像との一致度が高いフレームを探し出すものである。第２実施例では、撮影装置によって撮影された動画データを記録し、記録した動画データを読み取り、読み取られた動画データを構成する複数フレームの中から所望の画像との一致度が高いフレームを探し出している。以下では、所望の画像を検出するために加速度センサ１８により検出された加速度を用いること、および動画の中に一定以上の速度または加速度で移動している対象物があるかどうかを判断する処理が併用されているが、少なくとも、ドライブ・レコーダ１により撮影された画像を、第１実施例で説明した方法で生成した学習済みモデルに適用することにより、所望の画像を検出するものであればよい。

図12は、図１および図２に示すドライブ・レコーダ１によって常時記録中に行われるイベント記録の処理手順を示すフローチャートである。

図12に示す処理手順を実施するためのプログラムはドライブ・レコーダのコントローラ20にインストールされていてもよいし、ＳＤカード（プログラムを格納した記録媒体の一例である）23に格納されていてもよいし、ネットワークを介して送信されたものを通信回路19によって受信し、ドライブ・レコーダ１にインストールしてもよい。

ドライブ・レコーダ１が車両に搭載されている場合、その車両のエンジンがかけられるとドライブ・レコーダ１のカメラ17により撮影が開始され、撮影によって得られた動画データがＳＤカード・リーダ・ライタ14によってＳＤカード23への記録（常時記録）が開始される。常時記録は車両のエンジンがかけられることにより開始し、車両のエンジンが切られることにより終了する。また、車両のエンジンがかかっていない場合でも操作ボタン12から記録開始指令がコントローラ20に与えられると常時記録が開始され、操作ボタン12から記録終了指令（記録停止指令の一例である）がコントローラ20に与えられると常時記録が終了する。常時記録の開始から終了までが常時記録の一つの動画となる。また、この実施例においてはカメラ17による撮影によって得られた動画データはＲＡＭ20ｃにも与えられ記録される。ＲＡＭ20ｃに記録された動画データは一定期間の間だけ周期的に記録され、その一定期間が経過すると繰り返し上書きされる。

この実施例においては加速度センサ18によりイベントが検出される、または操作ボタン12による記録指令が与えられることによりイベントが検出されると（ステップ91でＹＥＳ）、ＳＤカード23のイベント記録領域にイベント記録が行われる（ステップ98）。

加速度センサ18または記録指令によるイベントの検出がされない場合には（ステップ91でＮＯ）、コントローラ20（第１の記録制御手段の一例である）によってＲＡＭ20ｃ（記録媒体の一例である）に記録されている動画データが読み取られ、読み取られた動画データによって表される動画の中に一定以上の速度または加速度で移動している対象物があるかどうかがコントローラ20によって判断される（ステップ92）。この対象物は、あらかじめ定められていてもよいし、定められてなくともよい。ドライブ・レコーダ１が搭載されている車両と対象物との相対的な速度または加速度でもよいし、対象物の絶対的な速度または加速度でもよい。

読み取られた動画データによって表される動画の中に一定以上の速度または加速度で移動している対象物がある場合には（ステップ92でＹＥＳ）、ＲＡＭ20ｃから読み取られた動画データは学習済みの学習モデル80に１フレームずつ入力させられる（ステップ93）。学習モデル80において学習処理が行われ、学習モデル80の出力層83から特徴画像を表す画像データが１フレームずつ得られる（ステップ94）。学習モデル80はハードウエアのように記載されているが、実際にはコントローラ20においてソフトウエアによって実施される。

得られた特徴画像と所望の画像との一致度がコントローラ20によって算出される（ステップ95）。

図13は、学習済みの学習モデル80に動画データが１フレームずつ入力させられる様子を示している。

１フレームを構成する画素Ｐ11からＰ1Nが１フレームの配列にしたがって入力層81に入力し、中間層82および出力層83を介して特徴画像を表す画像データとして画素Ｐ21からＰ2Nのテータが出力される。

特徴画像を表すこれらの画素Ｐ21からＰ2Nのデータと所望の画像を構成する各画素のデータとが比較され、特徴画像と所望の画像との一致度算出処理がコントローラ20において行われる。

図14は、一致度算出の処理手順を示すフローチャートである。

まず、所望の画像と特徴画像との一致度が第１の一致度として算出される（ステップ131）。つづいて所望の画像が車両（第２の車両の一例である）に搭載されたドライブ・レコーダ１から得られたときの車両情報（走行情報の一例である）と特徴画像が得られたときに学習モデル80に入力したフレームが、車両（第１の車両の一例である）に搭載されたドライブ・レコーダ１から得られたときの車両情報との一致度が第２の一致度として算出される（ステップ132）。走行情報は、例えば、車両の速度、車体の姿勢、車両の加速度等の車両の状態を示す物理量を含む。このような物理量は、車両の走行に伴って変化する物理量である。これ以外にも、走行情報は、車両の場所（位置情報）等の、車両の走行に伴って変化する情報を含んでもよい。さらに、第１の一致度と第２の一致度とから総合的な一致度が算出される（ステップ133）。

図14に示す処理手順では、所望の画像が得られたときの車両情報が利用されているから、所望の画像が学習済みの学習モデルを利用して生成された仮想的な目標画像の場合には第２の一致度を算出せずに第１の一致度を用いて総合的な一致度とされることとなろう。もっとも、所望の画像が仮想的な目標画像の場合であったとしても、その目標画像を得るのに利用した画像についての車両情報がわかる場合にはその車両情報を利用して平均的な車両情報を算出して第２の一致度を算出してもよい。

図12に戻って、算出された一致度（総合一致度）がしきい値以上であると（ステップ96でＹＥＳ）、ＲＡＭ20ｃに記録された動画データによって表される動画を構成するフレームのうち、所望の画像シーンとの一致度がしきい値以上のシーンを表すフレームが検出されとしてコントローラ20（警告制御手段の一例である）からイベント記録指令が発生し、警告が行われる（ステップ97）。警告は、ドライブ・レコーダ1のスピーカ15（警告装置の一例である）からの出力される音声による警告でもよいし、ディスプレイ11（警告装置の一例である）に表示する文字、画像などによる警告、LED（light emitting diode）の発光、点滅などによる警告でもよい。また、ドライブ・レコーダ１が搭載されている車両に設けられているスピーカ、表示画面などを用いて警告してもよい。警告により、車両の運転者は所望の画像のシーンに近いシーンの運転状況になる（運転状況になっている）ことがわかる。たとえば、所望の画像が事故に至る可能性の高い画像であるとすると、より慎重な運転を心がけることができる。また、イベント記録指令が発生するとＳＤカード23のイベント記録領域にイベント記録が行われる（ステップ98）。

上述の実施例においては、対象物が一定以上の速度または加速度で移動している場合に（ステップ92でＹＥＳ）、撮影データを学習済みの学習モデルに入力しているが、対象物が一定以上の速度または加速度で移動しているかどうかにかかわらず撮影データを学習済みの学習モデルに入力してもよいし、対象物が一定以上の速度または加速度で移動しているかどうかを判断することなく撮影データを学習済みの学習モデルに入力してもよい。

図15は、ＲＡＭ20ｃから読み取られた動画データによって表される動画を構成する複数のフレームのうちの一つのフレームの一例である。図16は、ＲＡＭ20ｃから読み取られた動画データによって表される動画を構成する複数のフレームを表している。

図16に示すように、動画データによって表される動画は複数のフレームＦＲ１からＦＲｅによって構成され、図15および図16に示すフレームＦＲｎが学習モデル80に入力したときに得られる一致度（総合一致度）がしきい値以上となったものとする。すると、そのフレームＦＲｎの前の数秒間から数十秒間（その他の時間でもよい）に撮影された動画を表すフレームおよびフレームＦＲｎの後の数秒間から数十秒間（その他の時間でもよい）に撮影された動画を表すフレームをそれぞれ表すデータが、ＳＤカード23のイベント記録領域にＳＤカード・リーダ・ライタ14によって記録される。

上述の実施例における警告は、シーンの種類または危険度に応じて内容を変えるようにしてもよい。たとえば、危険度が高いシーンではドライバにより認識されるように、音声と表示との両方で警告したり、音量を大きくしたりする。危険度が低いシーン、たとえば、お気に入りの場所に似たシーンが見つかったような場合には、比較的静かな音声でドライバに知らせたりする。

図17は、図13に示す学習モデル80の変形例を示している。

図17に示す学習モデル105では、入力層106、中間層107および出力層108が含まれており、出力層108がロジスティック回帰層とされている。

動画を構成する複数のフレームを１フレームずつ学習モデル105に入力させる。たとえば、１フレームを構成する画素Ｐ31からＰ3Nを表すデータを画素配列にしたがって学習モデル105の入力層106に入力させる。このような場合に、所望の画像との一致度が高いフレームのときには、ロジスティック回帰層である出力層83から識別データが出力する。識別データが出力されたことにより所望の画像と学習モデル105に入力したフレームとの一致度がしきい値以上と判断され、イベント記録指令がコントローラ20から発生する。学習モデル105も多数の所望の画像を表す画像データを入力層106から入力し、所望の画像を表す画像データが入力層106から入力した場合に出力層108から識別データが出力するように学習させておくことにより生成された学習済みの学習モデルである。

また、識別データが出力された場合に学習モデル105に入力したフレームが得られたときの車両情報と所望の画像に対応する車両情報との一致度（上述の第２の一致度）がしきい値以上の場合にイベント記録指令が発生するようにしてもよい。

加速度センサ18によるイベント記録指令や操作ボタン12からのイベント記録指令が無くとも撮影した動画にもとづいてイベント記録を行うことができる。また、車両情報を利用して総合一致度を算出する場合には撮影した動画だけでなく車両情報も利用しているので、車両の状況に応じてより適切なイベント記録を行うこともできる。

上述の実施例においては、所望の画像に近似したフレームを動画の中から検出した場合にはイベント記録を行い、動画データをＳＤカード23に記録しているが、動画データを記録せずに所望の画像に近似したフレームを識別する識別情報をＳＤカード23その他の記録媒体に記録するようにしてもよい。

以上説明した実施例では、総合一致度を用いてイベント録画の有無が判断されたが、第２の一致度を用いず、第１の一致度がしきい値以上であるか否かに基づいて、イベント録画の有無が判断されてもよい。ただし、車両の走行状態を示す物理量を組み合わせれば、所望のシーンのフレームをより精度良く検出できる効果を期待することができる。。

［第３実施例］
この実施例は、記録されたデータのビューアソフト等における自動再生支援機能を提案する。管理目的の場合のドライブ・レコーダにおける映像データでは、長時間かつ基本的には問題のない場合が多く、イベント等であれば発生ポイントがビューアソフトで表示されるが、イベントとなっていない注視ポイントを管理者等が発見・確認することが苦痛になることがあった。そこで、発明者は、ディープ・ラーニング等により所望の映像状況を学習させておき、録画データ中に希望状況と同じまたは類似した映像があった場合、識別させてイベントとは別に注視ポイントとして検出し、ビューアソフト等に表示したり、早送り再生した途中イベント発生ポイント及び注視ポイントでは通常速度に戻したりすることで、管理者等が確認しやすくするという解決方法を、発明者は考えた。

併せて、この実施例は、記録媒体に記録した映像等のデータの復旧機能を提案する。
例えば後述する記録フォーマットを採用する場合、Ｗｉｎｄｏｗｓ（登録商標）等で使われているＦＡＴ方式ではなく、記憶媒体にシーケンシャルにデータを書き込んでいくため、映像が異常な状態になっていても（欠損部分が存在していても）データ自体は記録されるが、特殊な異常が発生した場合、映像データの所定セクタ分だけ０で消されていたり、他の情報が書かれているために、ビューアソフトで映像が再生できないといった問題があった。この場合、記録媒体の中身を１セクタずつ確認し手作業で復旧することがあるが、ディープ・ラーニング等の方法により記録媒体の状況を学習し、欠損部分の前後のデータから消されたデータの復旧を行うだけでなく、上記記録フォーマットとして正常な状態に復旧させビューアソフト等で確認することができるようにするという解決方法を、発明者は考えた。以下、この実施例の詳細を説明する。

図18から図29は、第３実施例を示すもので、ドライブ・レコーダ１のような記録装置によって記録された動画の再生時についてのものである。第２実施例においてはドライブ・レコーダ１のような記録装置において動画データを記録している場合に所望の画像との一致度が高いフレームが見つかったときにイベント記録が行われるが、第３実施例においてはＳＤカード23（他の記録媒体でもよい）に記録された常時記録の動画データの再生時に所望の画像との一致度が高いフレームを見つけイベント記録を行うものである。第３実施例では、パーソナル・コンピュータを用いて常時記録の動画データを再生しているがドライブ・レコーダ１のような記録装置が再生機能を有している場合には、そのような記録装置において再生を行い、次の処理を行うこともできる。

図18は、動画を再生するパーソナル・コンピュータ110の電気的構成を示すブロック図である。

パーソナル・コンピュータ110の全体の動作は制御装置115によって統括される。

パーソナル・コンピュータ110には表示装置111が設けられており、表示制御装置112の制御により画像等が表示装置111の表示画面に表示させられる。制御装置115には、インターネットなどと通信するための通信装置113およびメモリ114が接続されている。パーソナル・コンピュータ110にはキーボード、マウスなどの入力装置116が設けられており、入力装置116から与えられる指令は制御装置115に入力する。

さらに、制御装置115にはハード・ディスク118に記録されているデータを読み取り、ハード・ディスク118にデータを記録するハード・ディスク・ドライブ117およびＳＤカードに記録されているデータを読み取り、ＳＤカード23にデータを記録するＳＤカード・リーダ・ライタ119も接続されている。

図19は、ＳＤカード23の記録フォーマットを示している。

ＳＤカード23の記録領域には、ファイル・システム領域121、常時記録領域122およびイベント記録領域125が形成されている。

ファイル・システム領域121には、常時記録領域122およびイベント記録領域125に記録されているデータを再生する専用ソフトウエアが記録されている。

常時記録領域122には管理領域123と記録領域124とが形成されている。管理領域123にはファイル・システム領域121に記録されている専用ソフトウエアによって各種設定情報が記録される。記録領域124には、動画を構成するフレームを表す画像データがフレーム番号順に記録される。記録領域124には、１フレームごとにヘッダ記録領域131、フレーム画像データ記録領域132および降った記録領域133が形成されている。ヘッダにはフレーム番号、アドレス位置、撮影時刻などの付加情報が記録され、フッタにはヘッダに記録される付加情報以外の付加情報が記録される。

常時記録領域122の記録領域124に記録されるフレーム１からフレームＥまでが常時記録の一つの動画期間を表す。

イベント記録領域125も常時記録領域122と同様に、管理領域126と記録領域127とが形成されている。管理領域126にもファイル・システム領域121に記録されている専用ソフトウエアによって各種設定情報が記録される。記録領域127には、動画を構成するフレームを表す画像データがフレーム番号順に記録される。記録領域127にも、１フレームごとにヘッダ記録領域131、フレーム画像データ記録領域132およびフッタ記録領域133が形成されている。ヘッダにはフレーム番号、アドレス位置、撮影時刻などの付加情報が記録され、フッタにはヘッダに記録される付加情報以外の付加情報が記録される。

イベント記録領域125の記録領域127に記録されるフレーム１からフレームＥまでがイベント記録の一つの動画を表す。

図20は再生ウインドウ150の一例である。

パーソナル・コンピュータ110にＳＤカード23が装填され、表示装置111の表示画面に現れるＳＤカード23のアイコンがクリックされると、専用ソフトウエアのアイコンが現れる。専用ソフトウエアのアイコンがクリックされると、専用ソフトウエアが起動し、再生ウインドウ150が表示装置111の表示画面に表示される。

再生ウインドウ150には、選択された動画を表示する映像表示領域151、イベント記録リスト表示領域152、地図画像表示領域153、車両情報等表示領域160、常時記録リスト表示領域161および加速度表示領域163が形成されている。

映像表示領域151は、ドライブ・レコーダ１等により記録された映像（常時記録動画、イベント記録動画）を表示する領域である。イベント記録リスト表示領域152は、イベント記録リストを記録時間の形態（記録時間以外の形態でもよい）で表示する領域である。イベント記録リスト表示領域152に表示されるイベント記録リストは、ＳＤカード23に記録されているすべてのイベント記録が表示される。常時記録動画が選択された場合には、選択された常時記録動画の撮影中に記録されたイベント記録動画をイベント記録リスト表示領域152に表示するようにしてもよい。

地図画像表示領域153は、映像表示領域151に表示されている映像の撮影場所近傍の地図の画像を表示する領域である。車両の位置を表すデータをパーソナル・コンピュータ110からインターネット上に存在する地図サーバに送信し、地図サーバから車両の位置近傍の地図を表すデータをパーソナル・コンピュータ110に送信することにより、地図画像表示領域153に地図の画像が表示される。車両情報等表示領域160は、映像の記録時における車両の速度などの情報を表示する領域である。車両情報等表示領域160には、映像表示領域151に表示されている映像を記録したドライブ・レコーダ１が取り付けられている車両の状態などを表示する車両状態表示領域158、映像の再生、停止などの操作指令を与える操作ボタン157、車室内の映像を明るく表示する処理の指示を与える室内強調ボタン154、車室内の映像を明るく表示する処理を停止して通常の表示を行う処理の指示を与える通常表示ボタン155、映像表示領域151に表示されている映像の記録時刻を表示する時刻表示領域156、車両の加速度をグラフ化して表示する加速度グラフ表示領域159などが含まれている。

常時記録リスト表示領域161は、ＳＤカード23に記録されている常時記録動画をリストで表示する領域である。加速度表示領域162には自動車の画像が表示されている。自動車の画像のせ前に前方に向く矢印とともに「＋Ｘ」の文字、自動車の画像の横に横方向に向く矢印とともに「＋Ｙ」の文字、および自動車の画像の上に上方向に向く矢印とともに「＋Ｚ」の文字が表示されている。自動車の画像の前方に自動車の前方または後方に対する加速度が表示され、自動車の画像の横方向に自動車の横方向に対する加速度が表示され、自動車の画像の上方向に自動車の垂直方向に対する加速度が表示される。自動車の外観とともに自動車の加速度が表示されるので、どの方向の加速度が自動車にかかっているのかが比較的わかりやすくなる。

図21は、再生処理手順を示すフローチャート、図22および図23は、再生ウインドウ150の一例を示している。

再生ウインドウ150のイベント記録リスト表示領域152または常時記録リスト表示領域161に表示されているイベント記録リストまたは常時記録リストの中から所望のイベント記録動画または常時記録動画が選択されると、その選択された動画を表す動画データがＳＤカード・リーダ・ライタ119によってＳＤカード23の常時記録領域122から読み取られる（ステップ141）。この実施例では、常時記録動画が選択されたものとする。

常時記録動画が選択されると、再生ウインドウ150の映像表示領域151には、図22に示すように、選択された常時記録動画の代表画像が表示される（ステップ142）。操作ボタン157の中の再生ボタンが押されると（ステップ143でＹＥＳ）、読み取られた動画データの再生処理が制御装置115（再生装置、再生制御手段の一例である）によって行われる（ステップ144）。映像表示領域151には選択された常時記録動画が表示されるようになる。

常時記録動画の再生中に操作ボタン157の中の停止ボタンが押されると（ステップ145でＹＥＳ）、制御装置115によって再生中の動画が停止させられる（ステップ146）。

イベント記録リストの中から所望のイベント記録動画が選択された場合も、選択されたイベント記録動画を表す動画データがＳＤカード・リーダ・ライタ119によってＳＤカード23のイベント記録領域125から読み取られる（ステップ141）。

イベント記録動画が選択されると、再生ウインドウ150の映像表示領域151には、図23に示すように、選択されたイベント記録動画の代表画像が表示される（ステップ142）。イベント記録動画の代表画像は、イベント記録指令が発生した時点に撮影された画像でもよいし、イベント記録動画の最初の画像でもよい。

操作ボタン157の中の再生ボタンが押されると（ステップ143でＹＥＳ）、読み取られた動画データの再生処理が制御装置115によって行われる（ステップ144）。映像表示領域151には選択されたイベント記録動画が表示されるようになる。イベント記録動画の再生中に操作ボタン157の中の停止ボタンが押されると（ステップ145でＹＥＳ）、制御装置115によって再生中の動画が停止させられる（ステップ146）。

上述した常時記録動画の再生処理中においても図12ステップ92から98までの処理を行い、所望の画像が検出されると制御装置115によってイベント記録領域125にイベント記録されるようにしてもよい。イベント記録された場合には、イベント記録リスト表示領域152に追加で表示されるようになる。好ましくは再生時に所望の画像が検出された常時記録の動画を構成するフレームのヘッダなどに、所望の画像に関連した画像である旨の情報を記録し、その動画が再生された場合に、見つけられたイベント記録の時間などを表示装置111（報知装置の一例である）の再生ウインドウ150に表示（報知の一例である）するように制御装置115または表示制御装置112（報知制御手段の一例である）によって表示装置111を制御してもよい。

図24（Ａ）および図24（Ｂ）は、一つの動画を構成するフレームのフレーム番号とアドレス位置情報との関係を示すテーブルの一例である。

フレーム番号およびアドレス位置情報は上述したように常時記録動画、イベント記録動画にかかわらずヘッダ記録領域131に記録されているので図24（Ａ）および図24（Ｂ）に示すテーブルを作成する必要はないが、図24（Ａ）および図24（Ｂ）に示すようなテーブルを生成し、常時記録領域122の管理領域123またはイベント記録領域125の管理領域126に記録してもよい。

上述したように、ヘッダ記録領域131には、常時記録動画またはイベント記録動画を構成するフレームに対応してフレーム番号およびアドレス位置情報（フレームの先頭のアドレスを示す情報）が記録されている。この実施例による常時記録動画またはイベント記録動画を表す動画データは、フレーム番号順に常時記録領域122の記録領域124またはイベント記録領域125の記録領域127に連続して記録される。たとえば、図24（Ａ）に示すように、フレーム１からフレームＥまでのフレームによって構成される一つの動画がフレームごとに常時記録領域122の記録領域124またはイベント記録領域125の記録領域127に記録される。

このような場合において、フレーム番号またはアドレス位置情報の少なくとも一方のデータが正常に記録されておらず異常な状態となってしまうことがある。たとえば、フレーム番号は連続して記録されている筈なのに連続した番号となっていない、アドレス位置情報が一つ前のアドレス位置情報よりも極端に大きいアドレス位置になっている、アドレス位置情報が一つ前のアドレス位置情報よりも前のアドレス位置を示している、などである。そのような場合に、動画データ自体は正常であるにも関わらず、その部分の動画を再生できないことがある。

たとえば、図24（Ａ）においては、フレーム番号もアドレス位置情報もすべて正常に記録されているが、図24（Ｂ）においてはハッチングで示すようにフレーム11から20までのフレーム番号およびアドレス位置情報が異常な値となっており、これらのフレーム11から20までのフレームによって表される動画は正常に再生できないことが多い。

この実施例では、フレーム番号およびアドレス位置情報の少なくとも一方が正常に記録されていない場合、それらを正常な値となるように書き直す。また、動画データが欠損しているなど動画データも正常に記録されていない場合には、その欠損している動画データを生成し、正常に記録されていないフレームに書き込む。

図25は修復処理手順を示すフローチャート、図26はＳＤカード23の記録フォーマットを示している。

修復処理は、パーソナル・コンピュータ110にＳＤカード23が装填され再生ソフトウエアが起動させられた場合に開始してもよいし、動画の再生のために所定の動画が指定された場合に、その動画についての修復処理が開始されてもよいし、再生ウインドウ150に修復モード・ボタンなどを設け、修復モード・ボタンが押された場合に開始されてもよい。

所望の動画の修復処理が開始されると、その動画を構成するフレームのヘッダ記録領域131に記録されているフレーム番号が制御装置115によって読み取られる（ステップ171）。読み取られたフレーム番号が連続していない場合には、その連続していないフレーム番号が正常に記録されていないと制御装置115によって判定される（ステップ172でＹＥＳ）。また、式１に示すように、フレームのアドレス位置情報にそのフレームの動画データ量を加えたものが、そのフレームの次のフレームのアドレス位置情報となる関係にあるから、そのような関係が崩れている場合にはアドレス位置情報が正常に記録されていないと制御装置115によって判定される（ステップ172でＹＥＳ）。

フレームのアドレス位置情報＋そのフレームの動画データ量＝次のフレームのアドレス位置情報・・・式１

フレーム番号またはアドレス位置情報の少なくとも一方が正常に記録されていない場合には（ステップ172でＮＯ）、正常に記録されていないフレーム番号またはアドレス位置情報（またはフレーム番号およびアドレス位置情報）が制御装置115によって修復させられる（ステップ173）。上述したように、フレーム番号が正常に記録されていない場合には、フレーム番号が動画を構成するフレーム順に連続するように制御装置115によって書き換えられる。アドレス位置情報が正常に記録されていない場合には、式１に示した関係となるようにアドレス位置情報が正常な値となるように制御装置115によって書き換えられる。

つづいて、記録領域124または127に記録されている動画データが正常に記録されているかどうかが制御装置115によって判断される（ステップ174）。フレームによって表されるシーンがあまりにも異なる場合、たとえば、あるフレームまでは自動車が映っていたにも関わらず、その次のフレームには真っ黒、または真っ白のように対象物を認識できないような画像となっていると、そのフレームは正常に記録されていないと判断される。但し、シーンが突然変わっているフレームであっても撮影位置情報などにより同一撮影シーンの動画を構成するフレームと判定されると正常に記録されていると判定される。たとえば、事故が起こった場合などはシーンが突然変わってしまうが、そのような場合に正常に記録されていないと判定されてしまうことを未然に防止するためである。ユーザが目視でチェックして正常に記録されていないフレームを判定してもよい。

動画データが正常に記録されていない場合には（ステップ174でＮＯ）、その正常に記録されていない動画データを生成し動画の欠損部分（欠損データ）が修復させられる（ステップ175）。動画の欠損部分の修復方法については後述する。図26を参照して、ハッチングで示すように常時記録領域122の記録領域124に記録されている動画データのうち、フレーム10から20までのフレームに記録されている動画データが正常に記録されていないとすると、それらのフレーム10から20までに記録されている動画データが修復させられる。動画の欠損部分を修復した場合、その修復したフレームについては撮影によって得られたフレームではなく修復したフレームであることを示す情報を付加情報としてヘッダ記録領域131またはフッタ記録領域131などに記録しておくことが好ましい。実際に撮影によって得られた現実のシーンと、後から生成された疑似的なシーンとを区別できるようにするためである。

動画の欠損部分を修復した場合、フレームのデータ量が変化することが考えられるから、修復したフレームのアドレス位置情報も変わってしまう可能性が高い。このために、式１にしたがってアドレス位置情報が修正される（ステップ176）。

この実施例においては、動画データの修復には学習モデルが利用されるが、学習モデルを利用せずに、修復するフレームの前後のフレーム等を利用して画像補間により動画データを生成してもよい。

図27および図28は、学習モデルを生成する方法を示している。図27は学習モデルの一例であり、図28は学習モデルを学習させる様子を示している。図29は学習モデル生成処理手順を示すフローチャートである。

図27および図28においては、フレーム21から30までの10個のフレーム（第２の動画データ、教師データ、第１の部分の一例である）を、フレーム21の前のフレーム１から20までのフレームとフレーム30の後のフレーム31から50までのフレーム（第１の動画データ、教師データ、第２の画像の一例である）を用いて機械学習により生成するものである。フレーム１から50までのフレームは他の車両において実際に撮影により得られたフレームである。例えば、他の車両において実際に撮影により得られたフレームは、同じ場所または同じ若しくは類似の様子（例えば風景）を撮影可能な別の場所を走行した他の車両に搭載したドライブ・レコーダによる撮影により得られたフレームである。、機械学習は、フレーム１から20、フレーム31から50を入力とし、フレーム21から30を出力とする教師あり学習である。フレーム21から30以外の他のフレームについても同様に生成できる。

学習モデル180には、入力層181、中間層182および出力層183が含まれている。入力層181の各ニューロンには、フレーム１から20、フレーム31から50にフレーム番号順に撮影した順序にしたがって入力する。学習モデル180の入力層181には図28に示すように画素Ｅ１のデータ、画素Ｅ２のデータというように各フレームの画素ごとに画素配列の順にしたがって入力する。このように、入力層181には、一部の動画部分（フレーム21から30）を除いた動画データ（フレーム１から20、フレーム31から50）が入力する（ステップ191）。

入力層181から入力したデータは中間層182を介して出力層183から出力する。出力層183の各ニューロンからは、フレーム21から29に対応するデータが画素配列にしたがって出力するように学習モデル180に学習させる。図28に示すように、フレーム１から20、フレーム31から50にフレーム番号順に撮影した順序にしたがって入力し、フレーム21から20のフレームが出力層183から出力されると学習モデルの学習が終了する。このように、出力が一定の動画部分（フレーム21から30）となるように学習が行われる。他の動画データについても同様に多数の学習をさせることにより（ステップ192）、欠陥動画の部分の前後の動画のフレームを利用してその欠陥動画部分の動画の学習モデルを生成できるようになる。

図27から図29においては、入力が40フレーム、出力が10フレームであるが、これらのフレーム数に限ることなく入力のフレーム数、出力のフレーム数を変更できる。また、入力のフレーム数、出力のフレーム数をいずれも一定にしておき、生成しようとする欠陥動画のフレーム数が出力のフレーム数よりも少ない場合には出力されたフレームを表す動画データを生成しようとする欠陥動画のフレーム数となるようにフレーム間引きをすればよいし、生成しようとする欠陥動画のフレーム数が出力のフレーム数よりも多い場合には出力されたフレームを表す動画データを用いて補間などによりフレーム数を調整できる。

好ましくは、さまざまなシーンごとに適した学習モデル180を複数生成しておきシーンに応じた学習モデルを用いて欠陥動画の部分を生成する。たとえば、前方の自動車が事故を起こしたときの欠陥動画の生成に利用される学習モデル180、前方に突然、鳥、自転車、歩行者などが現れたときの欠陥動画の生成に利用される学習モデル180など欠陥動画の部分の前または後のシーンに応じた学習モデル180を用意しておき、シーンに応じた学習モデル180を利用して欠陥動画の部分を生成するようにする。

さらに、欠陥動画の生成においても動画が車両に搭載されたドライブ・レコーダなどの場合には、欠陥動画を撮影したドライブ・レコーダに搭載されていた車両の車両情報の一致度が高い動画を用いて生成された学習モデル180を利用するようにしてもよい。

図30は動画の欠損部分の生成処理手順を示すフローチャートである。

ＳＤカード23に記録されている動画データのうち欠陥部分の動画データが見つけられると、その欠陥部分の前後の動画データがフレームごとに学習済みの学習モデル180に撮影順序にしたがって入力させられる（ステップ201）。

入力した動画データを学習済みの学習モデル180（第２の学習モデルの一例である）において学習させ（ステップ202）、制御装置115（動画データ生成手段の一例である）によって欠損部分を含む動画データ（第３の画像の一例である）を学習モデル180に入力させ、欠損部分の動画データを表す動画データ（第４の画像の一例である）をフレーム順に学習モデル180から出力させる（ステップ203）。このようにして得られた欠損部分の動画データが制御装置115（第２の記録制御手段の一例である）記録領域124または127の欠損部分に記録させられる（ステップ204）。

メモリ・カード23に記録されているフレーム番号などの記録エラーがあった場合でも修復できるし、動画に欠損部分があった場合でも修復できる。

上記説明では、「上記シーンを表す画像を検出する」ことに応じて、イベント記録リスト表示領域152に当該シーンを表す画像に関する情報を表示すること、及び表示した情報が選択されると、対応する動画を表す動画データに基づいて当該シーンを表す画像を含むイベント記録された動画を表示することであったが、これに限られず、ＳＤカード２３に記録された動画の再生中に、この選択に応じて、当該シーンの画像を表示する時点まで早送りすること、画像の再生中に当該時点までジャンプする（頭出しすること）であってもよい。

以上説明した各実施例では動画データに基づいて各種処理が行われていたが、動画形式でないデータに基づいて処理が行われてもよい。当該動画形式でないデータは、時系列順に撮影された静止画を示す複数の静止画形式のデータの集合により構成されてもよい。

上述した実施例では、ドライブ・レコーダ１は、車両の状態（走行状態等）を検出するために加速度センサ１８を有していたが、学習モデルの生成やシーンの検出に加速度センサ１８を用いない場合は、これを有しないようにしてもよい。第２実施例において、ドライブ・レコーダ１はステップ９１の処理を実行しない、またはステップ９１の処理のうち加速度センサ18によりイベントを検出する処理を実行しないようにしてもよい。この場合、第２の一致度を用いず、第１の一致度がしきい値以上であるか否かに基づいて特定のシーンの画像を検出することになる。このような場合も、ドライブ・レコーダ１は加速度センサ１８を有しなくてもよい。ドライブ・レコーダ１が加速度センサ１８以外のセンサを用いて車両の状態を検出する場合も、当該センサを有しない構成とすることができる。

上述した実施形態で、ディープ・ラーニングの技術を用いて実現されていた機能が、他の機械学習その他の代替手段がある場合は、これを用いて実現されてもよい。例えば、一致度の高い画像を検出するための手段として、パターンマッチングの技術が用いられてもよい。

なお、本発明の範囲は、明細書に明示的に説明された構成や限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求の範囲とする意思を有する。

本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と、発明を解決するための手段に記載の任意の構成要素又は発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正又は分割出願等において権利取得する意思を有する。「～の場合」「～のとき」という記載があったとしてもその場合やそのときに限られる構成として記載はしているものではない。これらの場合やときでない構成についても開示しているものであり、権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えた構成についても開示しているものであり、権利取得する意思を有する。

また、意匠登録出願への変更により、全体意匠又は部分意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが、全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと、部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては、装置の一部の部材としても良いし、その部材の部分としても良い。全体意匠はもちろんのこと、図面の実線部分のうち任意の部分を破線部分とした部分意匠を、権利化する意思を有する。また、装置の筐体の内部のモジュール・部材・部品等についても、図面に表示されているものは、いずれも独立して取引の対象となるものであって、同様に、意匠登録出願への変更を行って権利化を行う意思を有するものである。

１：ドライブ・レコーダ、３：フロント・ガラス、４：ルーム・ミラー、５：シガー・ソケット、６：電源ケーブル、10：ＳＤカード挿入口、11：ディスプレイ、12：操作ボタン、13：ジョイント・レール、14：ＳＤカード・リーダ・ライタ、15：スピーカ、16：ＧＰＳ受信機、17：カメラ、18：加速度センサ、19：通信回路、20：コントローラ、20ｃ：ＲＡＭ、20ｄ：タイマ、21：ＬＴＥモジュール、22：データベース、23：ＳＤカード、30：サーバ、31：制御装置、33：メモリ、34：ハード・ディスク・ドライブ、35：ハード・ディスク、40：学習モデル、40Ａ：第１の学習モデル、40Ｂ：第２の学習モデル、40Ｃ：第３の学習モデル、41：入力層、42：中間層、43：出力層、43ａ：ニューロン、50：目標画像、51：第１の目標画像、52：第２の目標画像、53：第３の目標画像、71：生成器、72：識別器、73：重みづけ変更器、80：学習モデル、81：入力層、82：中間層、83：出力層、105：学習モデル、106：入力層、107：中間層、108：出力層、110：パーソナル・コンピュータ、111：表示装置、112：表示制御装置、113：通信装置、114：メモリ、115：制御装置、116：入力装置、117：ハード・ディスク・ドライブ、118：ハード・ディスク、119：ＳＤカード・リーダ・ライタ、121：ファイル・システム領域、122：常時記録領域、123：管理領域、124：記録領域、125：イベント記録領域、126：管理領域、127：記録領域、131：ヘッダ記録領域、132：フレーム画像データ記録領域、133：フッタ記録領域、150：再生ウインドウ、151：映像表示領域、152：イベント記録リスト表示領域、153：地図画像表示領域、154：室内強調ボタン、155：通常表示ボタン、156：時刻表示領域、157：操作ボタン、158：車両状態表示領域、159：加速度グラフ表示領域、160：車両情報等表示領域、161：記録リスト表示領域、162：加速度表示領域、163：加速度表示領域、180：学習モデル、181：入力層、182：中間層、183：出力層、421：入力層、Ｅ１：画素、Ｅ２：画素、ＦＲ１：フレーム、ＦＲｎ：フレーム、Ｐ１：画素、Ｐ21：画素

Claims (23)

1. 車両で撮影可能な特定の画像のシーンを規定するデータに基づいて、複数の時点の各時点に車両で撮影された画像から、上記シーンを表す画像を検出する機能を有するシステム。
2. 車両に設置されたカメラで撮影する機能と、
   上記カメラにより複数の時点の各時点で撮影された画像を記録媒体に記録する機能と、
   を有し、
   上記検出する機能は、
   上記記録媒体に記録された上記各時点の画像のうち、上記特定の画像のシーンとの一致度がしきい値以上のシーンを表す画像を検出する、
   請求項１に記載のシステム。
3. 上記データは、１つの時点の画像である、
   請求項１または２に記載のシステム。
4. 上記データは、２つまたは３つ以上の時点の画像である、
   請求項１または２に記載のシステム。
5. 上記データは、上記特定の画像と同一の画像もしくは上記特定の画像に近似した複数の画像を入力してディープ・ラーニングにより生成される、
   請求項１から４のうち、いずれか一項に記載のシステム。
6. 上記データは、上記特定の画像を教師データとして機械学習を行った学習済みの第１の学習モデルであり、
   上記検出する機能は、
   上記各時点に撮影された画像を上記学習済みモデルに入力することで上記シーンを表す画像を検出する、
   請求項１から５のうち、いずれか一項に記載のシステム。
7. 上記特定のシーンには、
   事故または災害に至る可能性のシーン、または事故または災害に至ったシーンの少なくとも一方のシーンが含まれる、
   請求項１から６のうち、いずれか一項に記載のシステム。
8. 上記シーンを表す画像を検出したことに応じて警告を行うように警告装置を制御する警告制御手段、
   をさらに備えた請求項１から７のうち、いずれか一項に記載のシステム。
9. 上記警告制御手段は、
   上記シーンの種類または危険度に応じて警告の内容を変更するように警告装置を制御する、
   請求項８に記載のシステム。
10. 上記検出されたシーンの画像を記録媒体に記録するように記録装置を制御する第１の記録制御手段、
    をさらに備えた請求項１から９のうち、いずれか一項に記載のシステム。
11. 上記検出する機能は、上記データと上記車両の走行状態を示す物理量とに基づいて、上記シーンを表す画像を検出する、
    請求項９に記載のシステム。
12. 上記記録媒体には、上記各時点に車両で撮影された画像が記憶され、 上記記録媒体に記録された上記各時点に車両で撮影された画像を再生するように再生装置を制御する再生制御手段と、
    上記再生制御手段の制御による再生装置において再生された画像に関連づけて、上記検出した上記シーンを表す画像を報知するように報知装置を制御する報知制御手段と、
    をさらに備えた請求項１から11のうち、いずれか一項に記載のシステム。
13. 上記記録媒体には、記録開始指令が与えられてから記録停止指令が与えられるまでの間を一つの期間として、上記各時点に車両で撮影された画像が記憶され、
    上記一つの期間内に生じている画像の欠損部分に対応する画像を生成する生成手段、および
    上記生成手段によって生成された画像を上記欠損部分に記録するように記録装置を制御する第２の記録制御手段、
    をさらに備えた請求項１から12のうち、いずれか一項に記載のシステム。
14. 上記生成手段は、 他の車両において複数の時点の各時点に撮影された画像における上記欠損部分に対応する第１の画像の前または後の少なくとも一方の第２の画像を入力とし、上記第１の画像を出力とする機械学習を行った学習済みの第２の学習モデルに、上記欠損データの前または後の少なくとも一方の画像を入力することで、上記欠損部分に対応する画像生成する、
    請求項13に記載のシステム。
15. コンピュータに請求項１から14のシステムの機能を実現するためのプログラム。
16. 車両で撮影可能な特定の画像を教師データとして用い、入力を複数の時点の各時点に車両で撮影された画像とし、出力を、入力した画像から上記特定の画像のシーンを表す画像の検出とする学習済みモデル。
17. 車両で撮影可能な特定の画像を教師データとして用い、入力を複数の時点の各時点に車両で撮影された画像とし、出力を、入力した画像から上記特定の画像のシーンを表す画像とする学習モデルを生成する学習モデルの生成方法。
18. 上記特定の画像は、複数の撮影装置において撮影された画像である、
    請求項17に記載の学習モデルの生成方法。
19. 上記撮影装置は車両に設置されるドライブ・レコーダであり、
    上記特定の画像は、上記ドライブ・レコーダに記録指令が与えられたときのシーン、または上記ドライブ・レコーダが取り付けられている車両に衝撃が加わったときのシーンを表す
    請求項18に記載の学習モデルの生成方法。
20. 対象物が一定以上の速度または加速度で移動しているシーンを表す画像を検出するための上記学習モデルを生成する、
    請求項18または19に記載の学習モデルの生成方法。
21. 上記データと上記車両の走行状態を示す物理量とに基づいて上記シーンを表す画像を検出するための上記学習モデルを生成する、
    請求項19または20に記載の学習モデルの生成方法。
22. 複数の時点の各時点に撮影された画像のうちの所定の期間の画像である第１の画像と、当該第１の画像の前または後の少なくとも一方の画像である第２の画像とを教師データとして用い、上記第１の画像を入力とし、上記第２の画像を出力として学習し、所定の期間に欠損部分を含む複数の時点の各時点に撮影された第３の画像を入力とし、入力した第３の画像から上記欠損部分の画像である第４の画像を推定する上記学習モデルを生成する学習モデルの生成方法。
23. 請求項17から22のうち、いずれか一項に記載の学習モデルの生成方法により上記学習モデルを生成する生成装置。