JP6902983B2

JP6902983B2 - 判定装置、判定方法および判定プログラム

Info

Publication number: JP6902983B2
Application number: JP2017210631A
Authority: JP
Inventors: 暖小澤; 伊藤　浩二; 浩二伊藤
Original assignee: NTT Communications Corp
Current assignee: NTT Communications Corp
Priority date: 2017-10-31
Filing date: 2017-10-31
Publication date: 2021-07-14
Anticipated expiration: 2037-10-31
Also published as: JP2019082916A

Description

本発明は、判定装置、判定方法および判定プログラムに関する。

従来、ドライブレコーダ等によって記録された車両走行時の映像データに対して、一時停止をしていない等の交通違反を見つける場合には、交通違反等に精通した人間が映像データを見て、考え、判断するというプロセスを踏んでいた。

特開２００２−１３３５８１号公報

しかしながら、従来の手法では、人間が映像データを見て判断するので、簡易かつ精度よく適切な運転を行っていたか否かの判定を行うことができないという課題があった。特に、近年の映像データの爆発的な増大により、従来の人間が映像データを見て判断する手法では、多大な時間と人的なリソースがかかり、大きな問題となっていた。

上述した課題を解決し、目的を達成するために、本発明の判定装置は、車両に設置された撮影装置から前記車両の周辺の画像を取得する取得手段と、前記取得手段によって取得された画像を入力として、前記画像から道路上の物体を検知するための学習済モデルを用いて、前記画像から特定の物体を検知する検知手段と、前記検知手段によって画像から特定の物体が検知された場合に、該画像が撮影された時刻に基づく所定期間における前記車両の速度を特定する特定手段と、前記特定手段によって特定された所定期間の車両速度が、前記特定の物体に対応する速度の条件を満たすか否かを判定する判定手段とを有することを特徴とする。

また、本発明の判定方法は、判定装置によって実行される判定方法であって、車両に設置された撮影装置から前記車両の周辺の画像を取得する取得工程と、前記取得工程によって取得された画像を入力として、前記画像から道路上の物体を検知するための学習済モデルを用いて、前記画像から特定の物体を検知する検知工程と、前記検知工程によって画像から特定の物体が検知された場合に、該画像が撮影された時刻に基づく所定期間における前記車両の速度を特定する特定工程と、前記特定工程によって特定された所定期間の車両速度が、前記特定の物体に対応する速度の条件を満たすか否かを判定する判定工程とを含んだことを特徴とする。

また、本発明の判定プログラムは、車両に設置された撮影装置から前記車両の周辺の画像を取得する取得ステップと、前記取得ステップによって取得された画像を入力として、前記画像から道路上の物体を検知するための学習済モデルを用いて、前記画像から特定の物体を検知する検知ステップと、前記検知ステップによって画像から特定の物体が検知された場合に、該画像が撮影された時刻に基づく所定期間における前記車両の速度を特定する特定ステップと、前記特定ステップによって特定された所定期間の車両速度が、前記特定の物体に対応する速度の条件を満たすか否かを判定する判定ステップとをコンピュータに実行させることを特徴とする。

本発明によれば、簡易かつ精度よく適切な運転を行っていたか否かの判定を行うことができるという効果を奏する。

図１は、第１の実施形態に係る判定システムの構成例を示すブロック図である。図２は、第１の実施形態に係る判定装置の構成例を示すブロック図である。図３は、速度データ記憶部に記憶されるデータの一例を示す図である。図４は、第１の実施形態に係る判定装置における検知対象オブジェクトの有無を判定する処理を説明する図である。図５は、第１の実施形態に係る判定装置における停止すべきシーンであるか否かを判定する処理を説明する図である。図６は、第１の実施形態に係る判定装置における一時停止の有無を判定する処理を説明する図である。図７は、第１の実施形態に係る判定装置における一時停止の有無を判定する処理を説明する図である。図８は、第１の実施形態に係る判定装置における一時停止検知処理の概要を説明する図である。図９は、第１の実施形態に係る判定装置における検知対象オブジェクトの判定処理の流れの一例を示すフローチャートである。図１０は、第１の実施形態に係る判定装置における標識ありフレームに対する一時停止の有無の判定処理の流れの一例を示すフローチャートである。図１１は、第１の実施形態に係る判定装置における踏切ありフレームに対する一時停止の有無の判定処理の流れの一例を示すフローチャートである。図１２は、第２の実施形態に係る判定装置における速度超過の有無を判定する処理を説明する図である。図１３は、第２の実施形態に係る判定装置における検知対象オブジェクトの判定処理の流れの一例を示すフローチャートである。図１４は、第２の実施形態に係る判定装置における標識ありフレームに対する速度超過の有無を判定する判定処理の流れの一例を示すフローチャートである。図１５は、判定プログラムを実行するコンピュータを示す図である。

以下に、本願に係る判定装置、判定方法および判定プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る判定装置、判定方法および判定プログラムが限定されるものではない。

［第１の実施形態］
以下の実施の形態では、第１の実施形態に係る判定システム１００の構成、判定装置１０の構成、判定装置１０の処理の流れを順に説明し、最後に第１の実施形態による効果を説明する。

［判定システムの構成］
図１は、第１の実施形態に係る判定システムの構成例を示すブロック図である。第１の実施形態に係る判定システム１００は、判定装置１０と複数のドライブレコーダ２０Ａ〜２０Ｃとを有し、判定装置１０と複数のドライブレコーダ２０Ａ〜２０Ｃとはネットワーク３０を介して互いに接続されている。なお、図１に示す構成は一例にすぎず、具体的な構成や各装置の数は特に限定されない。また、ドライブレコーダ２０Ａ〜２０Ｃについて、特に区別なく説明する場合には、適宜ドライブレコーダ２０と記載する。

判定装置１０は、各車両にそれぞれ設置されたドライブレコーダ２０Ａ〜２０Ｃから車両の周辺の画像をそれぞれ取得する。そして、判定装置１０は、取得された画像を入力として、画像から道路上の物体を検知するための学習済モデルを用いて、画像から標識や踏切を検知する。続いて、判定装置１０は、画像から標識や踏切が検知された場合に、所定期間における車両の速度を特定する。そして、判定装置１０は、所定期間の車両速度から車両が停止している期間が存在するか否かを判定する。

ドライブレコーダ２０Ａ〜２０Ｃは、例えば、通信モジュールが内蔵された車載端末である。ドライブレコーダ２０Ａ〜２０Ｃは、車両に設置されたカメラにより撮影された動画像である走行映像データと、車両に設置されたセンサが取得したセンサデータとを所定のタイミングで判定装置１０に送信する。ここで、センサデータとは、例えば、車両の速度、走行距離、走行時間、現在位置等を含む。なお、以下の説明では、判定装置１０が、センサデータのうち、車両の速度を利用する場合を説明する。なお、判定装置１０の機能をドライブレコーダ２０側が有していてもよく、判定装置１０が実行する処理をドライブレコーダ２０がリアルタイムで実行するようにしてもよい。また、判定装置１０の機能をスマートフォン等の通信端末が有していてもよく、例えば、スマートフォンのカメラで撮影された画像を処理対象として、判定装置１０が実行する処理をスマートフォンが実行するようにしてもよい。

［判定装置の構成］
次に、図２を用いて、判定装置１０の構成を説明する。図２は、第１の実施形態に係る判定装置の構成例を示すブロック図である。図２に示すように、この判定装置１０は、通信処理部１１、制御部１２および記憶部１３を有する。以下に判定装置１０が有する各部の処理を説明する。

通信処理部１１は、各種情報に関する通信を制御する。例えば、通信処理部１１は、ドライブレコーダ２０から画像データおよびセンサデータを受信する。

記憶部１３は、制御部１２による各種処理に必要なデータおよびプログラムを格納するが、特に本発明に密接に関連するものとしては、画像データ記憶部１３ａおよび速度データ記憶部１３ｂを有する。例えば、記憶部１３は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。

画像データ記憶部１３ａは、ドライブレコーダ２０から取得された車両の周辺の動画像から静止画に変換された画像データを記憶する。例えば、画像データ記憶部１３ａは、後述する取得部１２ａによって動画像から変換された複数フレームの静止画の画像データと、各フレームの画像が撮影された時刻とを対応付けて記憶する。

速度データ記憶部１３ｂは、ドライブレコーダ２０から取得されたセンサデータのうち、車両の速度データを記憶する。例えば、速度データ記憶部１３ｂは、図３に例示するように、センサが速度を検知した時刻である「時刻」と車両の速度を示す「速度」とを対応付けて記憶する。図３の例を具体的に挙げて説明すると、速度データ記憶部１３ｂは、車両ＩＤが「Ａ」の車両について、時刻「２０：３０：０１」において、時速「１５」ｋｍ／ｈで走行していたことを記憶している。図３は、速度データ記憶部に記憶されるデータの一例を示す図である。

制御部１２は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行するが、特に本発明に密接に関連するものとしては、取得部１２ａ、検知部１２ｂ、特定部１２ｃおよび判定部１２ｄを有する。ここで、制御部１２は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphical Processing Unit）などの電子回路やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路である。

取得部１２ａは、車両に設置されたドライブレコーダ２０から車両の周辺の画像を取得する。例えば、取得部１２ａは、ドライブレコーダ２０から車両の周辺の動画像データを含む「動画像ファイル」を取得し、「動画像ファイル」をフレームごとに分割し、静止画の画像データに変換し、該画像データを画像データ記憶部１３ａに格納する。

検知部１２ｂは、取得部１２ａによって取得された画像を入力として、画像から道路上の物体を検知するための学習済モデルを用いて、画像から特定の物体を検知する。例えば、検知部１２ｂは、特定の物体（以下では、適宜「検知対象オブジェクト」と記載する）として、一時停止の標識または踏切を画像から検知する。

ここで、図４を用いて、検知対象オブジェクトの有無を判定する処理について説明する。図４は、第１の実施形態に係る判定装置における検知対象オブジェクトの有無を判定する処理を説明する図である。図４に示すように、判定装置１０の取得部１２ａは、ドライブレコーダ２０から車両の周辺の動画像データを含む「動画像ファイル」を取得すると、「動画像ファイル」をフレームごとに分割し、静止画の画像データに変換する。

そして、検知部１２ｂは、ディープラーニングを用いて作成した学習済モデルであるオブジェクト検知モデルに全フレーム分の静止画の画像データを入力し、「検知対象オブジェクトあり」かどうかフレームごとに判定する。なお、「検知対象オブジェクトあり」かどうか、言い換えると、「標識あり」フレームまたは「踏切あり」フレームであるか否かを判定する具体的な処理については、後に図８を用いて詳述する。

そして、検知部１２ｂは、図５に示すように、ある画像が「検知対象オブジェクトあり」と判定された場合には、その画像から連続数フレーム（Ｘ１フレーム）分の画像ファイルを分析し、所定の割合（Ｙ１％）以上のフレームで検知対象オブジェクトを検知した場合、「停止すべきシーンである」と判定する。図５は、第１の実施形態に係る判定装置における停止すべきシーンであるか否かを判定する処理を説明する図である。例えば、検知部１２ｂは、「検知対象オブジェクトあり」と判定された画像から連続３フレーム分の画像ファイルをみて、６０％以上のフレーム、言い換えると３フレーム中２フレーム以上で検知対象オブジェクトを検知した場合、「停止すべきシーンである」と判定する。

特定部１２ｃは、検知部１２ｂによって画像から特定の物体が検知された場合に、該画像が撮影された時刻に基づく所定期間における車両の速度を画像から特定する。例えば、特定部１２ｃは、検知部１２ｂによって一時停止の標識または踏切が検知された場合に、該画像が撮影された時刻に基づく所定期間における車両の速度を特定する。

具体的には、特定部１２ｃは、検知部１２ｂによって「停止すべきシーンである」と判定されてから一定フレーム数（Ｚ１フレーム）に対応する時刻の速度データを速度データ記憶部１３ｂから読み出すことで、一定フレーム数に対応する時刻の車両速度を特定する。

判定部１２ｄは、特定部１２ｃによって特定された所定期間の車両速度が、特定の物体に対応する速度の条件を満たすか否かを判定する。例えば、判定部１２ｄは、特定部１２ｃによって特定された所定期間の車両速度から、車両が停止している期間が存在するか否かを判定する。そして、判定部１２ｄは、判定結果として「一時停止あり」または「一時停止なし」を出力する。

ここで、図６および図７を用いて、一時停止の有無を判定する処理を説明する。図６および図７は、第１の実施形態に係る判定装置における一時停止の有無を判定する処理を説明する図である。図６に示すように、判定装置１０の特定部１２ｃは、検知部１２ｂによって「停止すべきシーンである」と判定されてから一定フレーム数以内の車両の速度を特定する。そして、判定部１２ｄは、検知部１２ｂによって「停止すべきシーンである」と判定されてから一定フレーム数以内に「停止」（スピード時速「０」ｋｍ／ｈ）が検知されない場合、「一時停止なし」と判定する。

つまり、図７に例示するように、検知部１２ｂは、ある画像が「標識ありフレーム」と判定された場合には、その画像から連続数Ｘ１フレーム分（例えば、３フレーム分）の画像データのうち、Ｙ１％（例えば、６０％）以上のフレームで検知対象オブジェクトを検知した場合、「停止すべきシーンである」と判定する。そして、判定部１２ｄは、「停止すべきシーンである」と判定されてからＺ１フレーム（例えば、２０フレーム）以内に「停止」（スピード時速「０」ｋｍ／ｈ）が検知されない場合、「一時停止なし」と判定する。なお、検知部１２ｂは、ここで「一時停止あり」と判定された場合に、さらに精度を高めるために、車両の位置と停止線の位置に基づく判定を行うようにしてもよい。例えば、検知部１２ｂは、停止線が最も大きく映っているフレームにおいて、速度が所定の閾値以下であるか否かを判定し、速度が所定の閾値以下でない場合には、「一時停止なし」と判定する。具体例な状況を挙げて説明すると、例えば、車両が白線を過ぎておらず、かつ、白線が見えているギリギリの位置に車両があるシーンにおいて、速度が３０ｋｍ／ｈを超えている場合には、車両が白線を過ぎる前に一時停止しているとは考え難いため、検知部１２ｂは、「一時停止なし」と判定する。

ここで、第１の実施形態に係る判定装置１０における一時停止検知処理の概要を説明する。図８は、第１の実施形態に係る判定装置における一時停止検知処理の概要を説明する図である。図８に例示するように、判定装置１０は、ドライブレコーダ２０から車両の周辺の動画像データを取得すると、動画像データをフレームごとに分割し、静止画の画像データに変換する。

そして、判定装置１０は、ディープラーニングを用いて作成した学習済モデルであるオブジェクト検知モデルに全フレーム分の静止画の画像データを入力し、フレーム毎に判定された物体検出の結果を出力する。ここで、学習済モデルから出力される結果として、検出された物体の「ラベル」、検出の確からしさを示す「検出スコア」、検出した物体の位置座標の情報（「Ｘｍｉｎ」，「Ｘｍａｘ」，「Ｙｍｉｎ」，「Ｙｍａｘ」）が出力される。なお、ラベルとしては、「止まれ標識（一時停止の標識）」、「止まれペイント」、「踏切」および「停止線」が設定されているものとする。

また、検出スコアとして、検出の確からしさが「０」〜「１」の値で出力される。例えば、画像内において「止まれ標識」、「止まれペイント」および「停止線」が検出された場合には、「ラベル：止まれ標識、検出スコア：０．８」、「ラベル：止まれペイント、検出スコア：０．５」、「ラベル：停止線、検出スコア：０．２」というように、検出された物体ごとに検出スコアが出力される。

また、判定装置１０は、フレーム毎に速度データを抽出する。ここで、判定装置１０は、上述したようにドライブレコーダ２０から受信したセンサデータから速度データを抽出してもよいし、静止画像データの変化から車両の速度を推定する手法を用いて速度データを抽出してもよい。

そして、判定装置１０は、フレーム数分の物体検出結果と速度データを１ファイルに合算し、上述した車両の一時停止の有無を判定する処理を行い、判定結果として「一時停止あり」または「一時停止なし」を出力する。なお、判定装置１０は、膨大な画像データを処理する場合には、処理負荷が重くなるため、このような一時停止検知処理を夜間に行うようにしてもよい。

このように、判定装置１０では、ディープラーニングを活用した物体検知技術により、一時不停止のシーンに関係のある「止まれ標識（一時停止の標識）」、「止まれペイント」、「踏切」および「停止線」の４つの物体を映像データから自動検出し、その結果とドライブレコーダ２０に含まれる自動車の速度データとを組み合わせ、独自の判定ロジックにそれらのデータを入力することで、該当の映像データに一時不停止シーンが含まれるか否かを自動判定することが可能である。

［判定装置の処理手順］
次に、図９〜図１１を用いて、第１の実施形態に係る判定装置１０による処理手順の例を説明する。図９は、第１の実施形態に係る判定装置における検知対象オブジェクトの判定処理の流れの一例を示すフローチャートである。図１０は、第１の実施形態に係る判定装置における標識ありフレームに対する一時停止の有無の判定処理の流れの一例を示すフローチャートである。図１１は、第１の実施形態に係る判定装置における踏切ありフレームに対する一時停止の有無の判定処理の流れの一例を示すフローチャートである。

まず、図９を用いて、検知対象オブジェクトの判定処理の流れを説明する。図９に例示するように、判定装置１０の取得部１２ａは、ドライブレコーダ２０から車両の周辺の動画像データを取得すると（ステップＳ１０１肯定）、動画像データをフレームごとに分割し、静止画像データに変換する（ステップＳ１０２）。そして、検知部１２ｂは、静止画像データのうちの時系列における最初の１フレームを処理対象のフレームとして選択する（ステップＳ１０３）。

続いて、検知部１２ｂは、「一時停止の標識」を検知かつ「一時停止の標識」の検出スコアがａ以上（例えば、０．８以上）であるか判定する（ステップＳ１０４）。そして、検知部１２ｂは、「一時停止の標識」を検知かつ「一時停止の標識」の検出スコアがａ以上である場合には（ステップＳ１０４肯定）、処理対象のフレームが「標識あり」フレームであると判定する（ステップＳ１０９）。

また、検知部１２ｂは、「一時停止の標識」を検知かつ「一時停止の標識」の検出スコアがａ以上でない場合には（ステップＳ１０４否定）、「踏切」を検知かつ「踏切」の検出スコアがｂ以上（例えば、０．７以上）であるか判定する（ステップＳ１０５）。そして、検知部１２ｂは、「踏切」を検知かつ「踏切」の検出スコアがｂ以上である場合には（ステップＳ１０５肯定）、処理対象のフレームが「踏切あり」フレームであると判定する（ステップＳ１１０）。

また、検知部１２ｂは、「踏切」を検知かつ「踏切」の検出スコアがｂ以上でない場合には（ステップＳ１０５否定）、「一時停止の標識」を検知かつ「一時停止の標識」の検出スコア＋「停止線」の検出スコアがｃ以上（例えば、０．９以上）であるか判定する（ステップＳ１０６）。そして、検知部１２ｂは、「一時停止の標識」を検知かつ「一時停止の標識」の検出スコア＋「停止線」の検出スコアがｃ以上である場合には（ステップＳ１０６肯定）、処理対象のフレームが「標識あり」フレームであると判定する（ステップＳ１０９）。

また、検知部１２ｂは、「一時停止の標識」を検知かつ「一時停止の標識」の検出スコア＋「停止線」の検出スコアがｃ以上でない場合には（ステップＳ１０６否定）、「一時停止の標識」を検知かつ「一時停止の標識」の検出スコア＋「止まれの道路ペイント」の検出スコアがｄ以上（例えば、１．０以上）であるか判定する（ステップＳ１０７）。そして、検知部１２ｂは、「一時停止の標識」を検知かつ「一時停止の標識」の検出スコア＋「止まれの道路ペイント」の検出スコアがｄ以上である場合には（ステップＳ１０７肯定）、処理対象のフレームが「標識あり」フレームであると判定する（ステップＳ１０９）。

また、検知部１２ｂは、「一時停止の標識」を検知かつ「一時停止の標識」の検出スコア＋「止まれの道路ペイント」の検出スコアがｄ以上でない場合には（ステップＳ１０７否定）、「一時停止の標識」を検知かつ「一時停止の標識」の検出スコア＋「止まれの道路ペイント」の検出スコア＋「停止線」の検出スコアがｅ以上（例えば、１．２以上）であるか判定する（ステップＳ１０８）。そして、検知部１２ｂは、「一時停止の標識」を検知かつ「一時停止の標識」の検出スコア＋「止まれの道路ペイント」の検出スコア＋「停止線」の検出スコアがｅ以上である場合には（ステップＳ１０８肯定）、処理対象のフレームが「標識あり」フレームであると判定する（ステップＳ１０９）。

そして、検知部１２ｂは、「一時停止の標識」を検知かつ「一時停止の標識」の検出スコア＋「止まれの道路ペイント」の検出スコア＋「停止線」の検出スコアがｅ以上でない場合（ステップＳ１０８否定）、または、ステップＳ１０９、ステップＳ１１０の判定が行われた後、検知部１２ｂは、全フレームの処理が完了したか判定する（ステップＳ１１１）。この結果、検知部１２ｂは、全フレームの処理が完了していないと判定した場合には（ステップＳ１１１否定）、次フレームを処理対象のフレームとして選択し（ステップＳ１１２）、ステップＳ１０４の処理に戻る。また、検知部１２ｂは、全フレームの処理が完了した場合には（ステップＳ１１１肯定）、処理を終了する。

次に、図１０を用いて、標識ありフレームに対する一時停止の有無の判定処理の流れを説明する。図１０に例示するように、判定装置１０の検知部１２ｂは、「標識あり」と判定されたフレームが連続Ｘ１フレーム（例えば、３フレーム）内で一定の割合（Ｙ１％）以上存在するか判定する（ステップＳ２０１）。この結果、検知部１２ｂは、「標識あり」と判定されたフレームが連続Ｘ１フレーム内で一定の割合以上存在しないと判定した場合には（ステップＳ２０１否定）、「停止すべきシーンではない」と判定し（ステップＳ２０３）、処理を終了する。

また、検知部１２ｂは、「標識あり」と判定されたフレームが連続Ｘ１フレーム内で一定の割合以上存在すると判定された場合には（ステップＳ２０１肯定）、「停止すべきシーンである」と判定する（ステップＳ２０２）。そして、判定部１２ｄは、「停止すべきシーンである」と判定された後、Ｚ１フレーム（例えば、２０フレーム）以内に停止状態（つまり、車両のスピードが時速「０」ｋｍ／ｈの状態）となるフレームが存在するか判定する（ステップＳ２０４）。

この結果、判定部１２ｄは、「停止すべきシーンである」と判定された後、Ｚ１フレーム以内に停止状態となるフレームが存在すると判定した場合には（ステップＳ２０４肯定）、「一時停止あり」と判定し（ステップＳ２０５）、Ｚ１フレーム以内に停止状態となるフレームが存在しないと判定した場合には（ステップＳ２０４否定）、「一時停止なし」と判定し（ステップＳ２０６）、処理を終了する。なお、判定装置１０は、全ての「標識あり」と判定されたフレームに対して、上記のステップＳ２０１〜Ｓ２０６の処理を繰り返し行う。

次に、図１１を用いて、踏切ありフレームに対する一時停止の有無の判定処理の流れを説明する。図１１に例示するように、判定装置１０の検知部１２ｂは、「踏切あり」と判定されたフレームが連続Ｘ２フレーム（例えば、５フレーム）内で一定の割合（Ｙ２％）以上存在するか判定する（ステップＳ３０１）。この結果、検知部１２ｂは、「踏切あり」と判定されたフレームが連続Ｘ２フレーム内で一定の割合以上存在しないと判定した場合には（ステップＳ３０１否定）、「停止すべきシーンではない」と判定し（ステップＳ３０３）、処理を終了する。

また、検知部１２ｂは、「踏切あり」と判定されたフレームが連続Ｘ２フレーム内で一定の割合以上存在すると判定された場合には（ステップＳ３０１肯定）、「停止すべきシーンである」と判定する（ステップＳ３０２）。そして、判定部１２ｄは、「停止すべきシーンである」と判定された後、Ｚ２フレーム（例えば、３０フレーム）以内に停止状態（つまり、車両のスピードが時速「０」ｋｍ／ｈの状態）となるフレームが存在するか判定する（ステップＳ３０４）。

この結果、判定部１２ｄは、「停止すべきシーンである」と判定された後、Ｚ２フレーム以内に停止状態となるフレームが存在すると判定した場合には（ステップＳ３０４肯定）、「一時停止あり」と判定し（ステップＳ３０５）、Ｚ２フレーム以内に停止状態となるフレームが存在しないと判定した場合には（ステップＳ３０４否定）、「一時停止なし」と判定し（ステップＳ３０６）、処理を終了する。なお、判定装置１０は、全ての「踏切あり」と判定されたフレームに対して、上記のステップＳ３０１〜Ｓ３０６の処理を繰り返し行う。

［第１の実施形態の効果］
第１の実施形態に係る判定装置１０は、車両に設置されたドライブレコーダ２０から車両の周辺の画像を取得し、取得した画像を入力として、画像から道路上の物体を検知するための学習済モデルを用いて、画像から特定の物体を検知する。そして、判定装置１０は、画像から特定の物体が検知された場合に、該画像が撮影された時刻に基づく所定期間における車両の速度を特定し、特定した所定期間の車両速度が、特定の物体に対応する速度の条件を満たすか否かを判定する。このため、判定装置１０では、簡易かつ精度よく適切な運転を行っていたか否かの判定を行うことが可能である。つまり、従来では、その分野に精通した人間のみが行え、かつ多大な時間と労力をかけて行っていた判定作業を、機械に自動判定させることが可能となる。本発明の実験として、約２０００件の映像データに対して本発明を適用した実験では、適合率９６％、再現率９０％という高精度で判定に成功している。

また、判定装置１０は、特定の物体として、一時停止の標識または踏切を画像から検知し、一時停止の標識または踏切が検知された場合に、該画像が撮影された時刻に基づく所定期間における車両の速度を特定し、特定した所定期間の車両速度から、車両が停止している期間が存在するか否かを判定する。このため、判定装置１０では、車両の走行中において一時停止の標識または踏切があった場合に、車両が一時停止を行っているか否かを簡易かつ精度よく判定することが可能である。

［第２の実施形態］
上述した第１の実施形態では、判定装置１０が、特定の物体として、一時停止の標識または踏切を画像から検知し、車両が停止している期間が存在するか否かを判定する場合を説明したが、これに限定されるものではない。例えば、判定装置は、特定の物体として、速度制限の標識を画像から検知し、車両の速度が速度制限の標識に示された数値以下であるか否かを判定するようにしてもよい。

そこで、以下では、第２の実施形態に係る判定装置が、特定の物体として、速度制限の標識を画像から検知し、速度制限の標識が検知された場合に、該画像が撮影された時刻に基づく所定期間における車両の速度を特定し、特定された所定期間の車両速度が、速度制限の標識に示された数値以下であるか否かを判定する場合について説明する。なお、第１の実施形態に係る判定装置１０と同様の構成や処理については説明を省略する。

第２の実施形態に係る判定装置の検知部１２ｂは、特定の物体として、速度制限の標識を画像から検知する。また、第２の実施形態に係る判定装置の特定部１２ｃは、検知部１２ｂによって速度制限の標識が画像から検知された場合に、該画像が撮影された時刻に基づく所定期間における車両の速度を特定する。また、第２の実施形態に係る判定装置の判定部１２ｄは、特定部１２ｃによって特定された所定期間の車両速度が、検知部１２ｂによって検知された速度制限の標識に示された数値以下であるか否かを判定する。例えば、第２の実施形態に係る判定装置の判定部１２ｄは、速度制限の標識に示された数値が「５０」である場合には、特定部１２ｃによって特定された所定期間の車両速度が時速「５０」ｋｍ／ｈ以下であるか否かを判定する。

ここで、図１２を用いて、第２の実施形態に係る判定装置における速度超過の有無を判定する処理を説明する。図１２は、第２の実施形態に係る判定装置における速度超過の有無を判定する処理を説明する図である。図１２に例示するように、検知部１２ｂは、ある画像が速度制限の標識が含まれる「標識ありフレーム」と判定された場合には、その画像から連続数Ｘ３フレーム分（例えば、５フレーム分）の画像データのうち、Ｙ１％（例えば、８０％）以上のフレームで検知対象オブジェクトを検知した場合、「速度制限あり」と判定する。そして、判定部１２ｄは、「速度制限あり」と判定されてからＺ３フレーム（例えば、３０フレーム）全てで制限速度以内であるか判定する。

次に、図１３および図１４を用いて、第２の実施形態に係る判定装置による処理手順の例を説明する。図１３は、第２の実施形態に係る判定装置における検知対象オブジェクトの判定処理の流れの一例を示すフローチャートである。図１４は、第２の実施形態に係る判定装置における標識ありフレームに対する速度超過の有無を判定する判定処理の流れの一例を示すフローチャートである。

まず、図１３を用いて、検知対象オブジェクトの判定処理の流れを説明する。図１３に例示するように、第２の実施形態に係る判定装置の取得部１２ａは、ドライブレコーダ２０から車両の周辺の動画像データを取得すると（ステップＳ４０１肯定）、動画像データをフレームごとに分割し、静止画像データに変換する（ステップＳ４０２）。そして、検知部１２ｂは、静止画像データのうちの時系列における最初の１フレームを処理対象のフレームとして選択する（ステップＳ４０３）。

続いて、検知部１２ｂは、「速度制限の標識」を検知かつ「速度制限の標識」の検出スコアがａ以上（例えば、０．８以上）であるか判定する（ステップＳ４０４）。そして、検知部１２ｂは、「速度制限の標識」を検知かつ「速度制限の標識」の検出スコアがａ以上である場合には（ステップＳ４０４肯定）、処理対象のフレームが「標識あり」フレームであると判定する（ステップＳ４０６）。

また、検知部１２ｂは、「速度制限の標識」を検知かつ「速度制限の標識」の検出スコアがａ以上でない場合には（ステップＳ４０４否定）、「速度制限の標識」を検知かつ「速度制限の標識」の検出スコア＋「速度制限の道路ペイント」の検出スコアがｄ以上（例えば、１．０以上）であるか判定する（ステップＳ４０５）。そして、検知部１２ｂは、「速度制限の標識」を検知かつ「速度制限の標識」の検出スコア＋「速度制限の道路ペイント」の検出スコアがｄ以上である場合には（ステップＳ４０５肯定）、処理対象のフレームが「標識あり」フレームであると判定する（ステップＳ４０６）。

また、検知部１２ｂは、「速度制限の標識」を検知かつ「速度制限の標識」の検出スコア＋「速度制限の道路ペイント」の検出スコアがｄ以上でない場合には（ステップＳ４０５否定）、または、ステップＳ４０６の判定が行われた後、検知部１２ｂは、全フレームの処理が完了したか判定する（ステップＳ４０７）。この結果、検知部１２ｂは、全フレームの処理が完了していないと判定した場合には（ステップＳ４０７否定）、次フレームを処理対象のフレームとして選択し（ステップＳ４０８）、ステップＳ４０４の処理に戻る。また、検知部１２ｂは、全フレームの処理が完了した場合には（ステップＳ４０７肯定）、処理を終了する。

次に、図１４を用いて、標識ありフレームに対する速度超過の有無を判定する判定処理の流れを説明する。図１４に例示するように、第２の実施形態に係る判定装置の検知部１２ｂは、「標識あり」と判定されたフレームが連続Ｘ３フレーム（例えば、５フレーム）内で一定の割合（Ｙ３％）以上存在するか判定する（ステップＳ５０１）。この結果、検知部１２ｂは、「標識あり」と判定されたフレームが連続Ｘ３フレーム内で一定の割合以上存在しないと判定した場合には（ステップＳ５０１否定）、「制限速度なし」と判定し（ステップＳ５０３）、処理を終了する。

また、検知部１２ｂは、「標識あり」と判定されたフレームが連続Ｘ３フレーム内で一定の割合以上存在すると判定された場合には（ステップＳ５０１肯定）、「制限速度あり」と判定する（ステップＳ５０２）。そして、判定部１２ｄは、「制限速度あり」と判定された後、Ｚ３フレーム（例えば、３０フレーム）全てで制限速度以内であるか判定する（ステップＳ５０４）。

この結果、判定部１２ｄは、「制限速度あり」と判定された後、Ｚ３フレーム全てで制限速度以内であると判定した場合には（ステップＳ５０４肯定）、「速度超過なし」と判定し（ステップＳ５０５）、Ｚ３フレーム全てで制限速度以内でないと判定した場合には（ステップＳ５０４否定）、「速度超過あり」と判定し（ステップＳ５０６）、処理を終了する。なお、判定装置１０は、全ての「標識あり」と判定されたフレームに対して、上記のステップＳ５０１〜Ｓ５０６の処理を繰り返し行う。

［第２の実施形態の効果］
第２の実施形態に係る判定装置は、特定の物体として、速度制限の標識を画像から検知し、速度制限の標識が画像から検知された場合に、該画像が撮影された時刻に基づく所定期間における車両の速度を特定し、特定された所定期間の車両速度が、速度制限の標識に示された数値以下であるか否かを判定する。このため、第２の実施形態に係る判定装置では、車両の走行中において速度制限の標識があった場合に、車両が適切な速度で走行しているか否かを簡易かつ精度よく判定することが可能である。

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
また、上記実施形態において説明した判定装置が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態に係る判定装置１０が実行する処理をコンピュータが実行可能な言語で記述した判定プログラムを作成することもできる。この場合、コンピュータが判定プログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかる判定プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された判定プログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。

図１５は、判定プログラムを実行するコンピュータを示す図である。図１５に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。

メモリ１０１０は、図１５に例示するように、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図１５に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、図１５に例示するように、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、図１５に例示するように、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、図１５に例示するように、例えばディスプレイ１１３０に接続される。

ここで、図１５に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の、判定プログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ１０９０に記憶される。

また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。

なお、判定プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、判定プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０判定装置
１１通信処理部
１２制御部
１２ａ取得部
１２ｂ検知部
１２ｃ特定部
１２ｄ判定部
１３記憶部
１３ａ画像データ記憶部
１３ｂ速度データ記憶部
２０Ａ〜２０Ｃドライブレコーダ
１００判定システム

Claims

車両に設置された撮影装置から前記車両の周辺の画像を取得する取得手段と、
前記取得手段によって取得された画像を入力として、前記画像から道路上の物体を検知するための学習済モデルを用いて、検出された物体のラベルと、検出の確からしさを示す検出スコアとを取得し、取得した物体のラベルに一時停止の標識のラベルを含む場合に、前記一時停止の標識の検出スコアが所定の閾値以上であるか判定し、前記検出スコアが所定の閾値以上であると判定した場合には、前記画像から前記一時停止の標識を検知し、前記一時停止の標識の検出スコアが前記所定の閾値以上でない場合には、前記一時停止の標識の検出スコアと、取得した物体のラベルに含まれる停止線の検出スコアおよび止まれの道路ペイントの検出スコアのうちいずれか一方または両方とが所定の条件を満たす場合に、前記画像から前記一時停止の標識を検知する検知手段と、
前記検知手段によって画像から特定の物体が検知された場合に、該画像が撮影された時刻に基づく所定期間における前記車両の速度を特定する特定手段と、
前記特定手段によって特定された所定期間の車両速度が、前記特定の物体に対応する速度の条件を満たすか否かを判定する判定手段と
を有することを特徴とする判定装置。
前記検知手段は、前記特定の物体として、一時停止の標識を前記画像から検知し、
前記特定手段は、前記検知手段によって前記一時停止の標識が前記画像から検知された場合に、該画像が撮影された時刻に基づく所定期間における前記車両の速度を特定し、
前記判定手段は、前記特定手段によって特定された所定期間の車両速度から、車両が停止している期間が存在するか否かを判定することを特徴とする請求項１に記載の判定装置。
判定装置によって実行される判定方法であって、
車両に設置された撮影装置から前記車両の周辺の画像を取得する取得工程と、
前記取得工程によって取得された画像を入力として、前記画像から道路上の物体を検知するための学習済モデルを用いて、検出された物体のラベルと、検出の確からしさを示す検出スコアとを取得し、取得した物体のラベルに一時停止の標識のラベルを含む場合に、前記一時停止の標識の検出スコアが所定の閾値以上であるか判定し、前記検出スコアが所定の閾値以上であると判定した場合には、前記画像から前記一時停止の標識を検知し、前記一時停止の標識の検出スコアが前記所定の閾値以上でない場合には、前記一時停止の標識の検出スコアと、取得した物体のラベルに含まれる停止線の検出スコアおよび止まれの道路ペイントの検出スコアのうちいずれか一方または両方とが所定の条件を満たす場合に、前記画像から前記一時停止の標識を検知する検知工程と、
前記検知工程によって画像から特定の物体が検知された場合に、該画像が撮影された時刻に基づく所定期間における前記車両の速度を特定する特定工程と、
前記特定工程によって特定された所定期間の車両速度が、前記特定の物体に対応する速度の条件を満たすか否かを判定する判定工程と
を含んだことを特徴とする判定方法。
車両に設置された撮影装置から前記車両の周辺の画像を取得する取得ステップと、
前記取得ステップによって取得された画像を入力として、前記画像から道路上の物体を検知するための学習済モデルを用いて、検出された物体のラベルと、検出の確からしさを示す検出スコアとを取得し、取得した物体のラベルに一時停止の標識のラベルを含む場合に、前記一時停止の標識の検出スコアが所定の閾値以上であるか判定し、前記検出スコアが所定の閾値以上であると判定した場合には、前記画像から前記一時停止の標識を検知し、前記一時停止の標識の検出スコアが前記所定の閾値以上でない場合には、前記一時停止の標識の検出スコアと、取得した物体のラベルに含まれる停止線の検出スコアおよび止まれの道路ペイントの検出スコアのうちいずれか一方または両方とが所定の条件を満たす場合に、前記画像から前記一時停止の標識を検知する検知ステップと、
前記検知ステップによって画像から特定の物体が検知された場合に、該画像が撮影された時刻に基づく所定期間における前記車両の速度を特定する特定ステップと、
前記特定ステップによって特定された所定期間の車両速度が、前記特定の物体に対応する速度の条件を満たすか否かを判定する判定ステップと
をコンピュータに実行させることを特徴とする判定プログラム。