JP6609756B1 - 停止要求表示無視判定のためのシステム、方法、プログラム、及びプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】運転中の速度データ、加速度データ、位置データ等を用いることなく、運転中に撮影された車両前方の画像のみに基づいて、停止要求表示の無視を判定することができる停止要求表示無視判定のためのシステムを提供する。【解決手段】停止要求表示無視判定システム１は、移動体の移動中に移動体から移動体の前方を撮影した動画像において、停止要求表示を検出する停止要求表示検出部１０３と、停止要求表示を検出した第１の時刻から停止要求表示を検出しなくなった第２の時刻までの間の、且つ、第２の時刻より第１の所定時間前の第３の時刻と、第２の時刻との間で、動画像の所定のフレーム間の変化量が、所定の閾値である第１の閾値以下となったときがなかった場合に、停止要求表示無視があったと判定するか及び／又は第１の閾値以下となったときがあった場合に、停止要求表示無視がなかったと判定する無視判定部１０７とを含む。【選択図】図２

Description

本発明は、停止要求表示無視判定システムのためのシステム、方法、プログラム、及びプログラムを記録した記録媒体に関する。

従来、車両の運転における赤信号や一時停止標識等の停止要求表示の無視を検出する技術が提案されている（下記特許文献１〜３参照）。この従来の技術は、運転中に撮影された車両の前方の画像と運転中の速度データ、加速度データ、位置データ等に基づいて停止要求表示の無視を検出している。

特開２０１７−９１０１７号公報 特開２０１８−７２９４０号公報 特開２０１８−２２２２０号公報

しかしながら、停止要求表示の無視を検出するためには、運転中の画像が必須であるところ、これに加えて運転中の速度データ、加速度データ、位置データ等を取得することが不可能、困難、又は煩雑である場合がある。よって、そのような場合は、従来の技術では、停止要求表示の無視を検出することが困難である。

そこで、本発明は、運転中の速度データ、加速度データ、位置データ等を用いることなく、運転中に撮影された車両前方の画像のみに基づいて、停止要求表示の無視を判定することができる停止要求表示無視判定のためのシステム、方法、プログラム、及びプログラムを記録した記録媒体を提供することを目的の１つとする。

本発明の１つの態様は、移動体の移動中に前記移動体から前記移動体の前方を撮影した動画像において、停止要求表示を検出する停止要求表示検出部と、前記動画像において、前記停止要求表示を検出した第１の時刻Ｔ１から前記停止要求表示を検出しなくなった第２の時刻Ｔ２までの間の、且つ、前記第２の時刻Ｔ２より第１の所定時間前の第３の時刻Ｔ３と、前記第２の時刻Ｔ２との間で、前記動画像の所定のフレーム間の変化量が、所定の閾値である第１の閾値以下となったときがなかった場合に、停止要求表示無視があったと判定するか、及び／又は、前記第１の閾値以下となったときがあった場合に、停止要求表示無視がなかったと判定する無視判定部とを含む停止要求表示無視判定システムを提供するものである。

本発明の１つの態様は、移動体の移動中に前記移動体から前記移動体の前方を撮影した動画像において、停止要求表示を検出した第１の時刻Ｔ１から前記停止要求表示を検出しなくなった第２の時刻Ｔ２までの間の、且つ、前記第２の時刻Ｔ２より第１の所定時間前の第３の時刻Ｔ３と、前記第２の時刻Ｔ２との間で、前記動画像の所定のフレーム間の変化量が、所定の閾値である第１の閾値以下となったときがなかった場合に、停止要求表示無視があったと判定するか、及び／又は、前記第１の閾値以下となったときがあった場合に、停止要求表示無視がなかったと判定する停止要求表示無視判定システムを提供するものである。

本発明の１つの態様は、コンピュータにより実行される停止要求表示無視判定方法であって、移動体の移動中に前記移動体から前記移動体の前方を撮影した動画像において、停止要求表示を検出するステップと、前記動画像において、前記停止要求表示を検出した第１の時刻Ｔ１から前記停止要求表示を検出しなくなった第２の時刻Ｔ２までの間の、且つ、前記第２の時刻Ｔ２より第１の所定時間前の第３の時刻Ｔ３と、前記第２の時刻Ｔ２との間で、前記動画像の所定のフレーム間の変化量が、所定の閾値である第１の閾値以下となったときがなかった場合に、停止要求表示無視があったと判定するか、及び／又は、前記第１の閾値以下となったときがあった場合に、停止要求表示無視がなかったと判定する無視判定ステップとを含む方法を提供するものである。

本発明の１つの態様は、コンピュータにより実行される停止要求表示無視判定方法であって、移動体の移動中に前記移動体から前記移動体の前方を撮影した動画像において、停止要求表示を検出するステップと、前記動画像において、前記停止要求表示を検出した第１の時刻Ｔ１後の前記停止要求表示を検出しなくなった第２の時刻Ｔ２より第１の所定時間前の第３の時刻Ｔ３と、前記第２の時刻Ｔ２から第２の所定時間後の第４の時刻Ｔ４との間で、前記動画像の所定のフレーム間の変化量が、所定の閾値である第１の閾値以下となったときがない場合、停止要求表示無視があったと判定する無視判定ステップとを含む方法を提供するものである。

前記無視判定ステップにおいて、更に、前記第２の時刻Ｔ２と、前記第２の時刻Ｔ２から第２の所定時間後の第４の時刻Ｔ４との間で、前記動画像の所定のフレーム間の変化量が、所定の閾値である第２の閾値以下となったときがなかった場合に、停止要求表示無視があったと判定するか、及び／又は、前記第２の閾値以下となったときがあった場合に、停止要求表示無視がなかったと判定するものとすることができる。

前記方法は、前記動画像において、更に、前記第２の時刻Ｔ２と、前記第２の時刻Ｔ２から第３の所定時間後の第５の時刻Ｔ５との間で、進行許可表示を検出した場合に、停止要求表示無視がなかったと判定するか、及び／又は、前記進行許可表示を検出しなかった場合に、停止要求表示無視があったと判定するステップを更に含むものとすることができる。

前記方法は、前記動画像において、更に、前記第１の時刻Ｔ１より第４の所定時間前の第６の時刻Ｔ６と、前記第１の時刻Ｔ１との間で、進行許可表示を検出した場合に、停止要求表示無視がなかったと判定するか、及び／又は、前記進行許可表示を検出しなかった場合に、停止要求表示無視があったと判定するステップを更に含むものとすることができる。

前記停止要求表示は、左側通行環境においては前記動画像のうちの下側の一部及び／又は右側の一部を除いた部分に基づいて、右側通行環境においては前記動画像のうちの下側の一部及び／又は左側の一部を除いた部分に基づいて検出されるものであるとすることができる。

前記停止要求表示が、前記動画像の上端近傍で検出された場合、前記所定の閾値を、第１の閾値よりも小さい第３の閾値とすることができる。

本発明の１つの態様は、移動体の移動中に前記移動体から前記移動体の前方を撮影した動画像において、停止要求表示を検出した第１の時刻Ｔ１から前記停止要求表示を検出しなくなった第２の時刻Ｔ２までの間の、且つ、前記第２の時刻Ｔ２より第１の所定時間前の第３の時刻Ｔ３と、前記第２の時刻Ｔ２との間で、前記動画像の所定のフレーム間の変化量が、所定の閾値である第１の閾値以下となったときがなかった場合に、停止要求表示無視があったと判定するか、及び／又は、前記第１の閾値以下となったときがあった場合に、停止要求表示無視がなかったと判定する停止要求表示無視判定方法を提供するものである。

本発明の１つの態様は、前記方法をコンピュータに実行させるためのプログラムを提供するものである。

本発明の１つの態様は、前記プログラムを記録したコンピュータ読み取り可能な記録媒体を提供するものである。

本発明の１つの態様は、前記プログラムを前記コンピュータにインストールすることにより停止要求表示無視判定システムを生成する方法を提供するものである。

上記構成を有する本発明によれば、運転中の速度データ、加速度データ、位置データ等を用いることなく、運転中の画像のみに基づいて、停止要求表示の無視を判定することができる停止要求表示無視判定のためのシステム、方法、プログラム、及びプログラムを記録した記録媒体を提供することができる。

交差点付近での、撮像装置が搭載された車両、赤信号、停止線の例を示す図である。 本発明の第１の実施形態に係る停止要求表示無視判定システムの機能構成を示す図である。 本発明の第１の実施形態に係る第１の端末のハードウエア構成を示す図である。 本発明の第１の実施形態に係る停止要求表示無視判定処理の一例のフローチャートである。 本発明の第１の実施形態に係る停止要求表示無視判定処理における各時刻の関係を示す図である。 停止線近くで撮影された信号機の一例を示す図である。 停止線近くで撮影された一時停止標識示の一例を示す図である 本発明の第２の実施形態に係る停止要求表示無視判定処理の一例のフローチャートである。 本発明の第２及び第３の実施形態に係る停止要求表示無視判定処理における各時刻の関係を示す図である。 本発明の第３の実施形態に係る停止要求表示無視判定処理の一例のフローチャートである。 本発明の第３の実施形態に係る停止要求表示無視判定処理の一例のフローチャートである。 本発明の第４の実施形態に係る停止要求表示無視判定システムの機能構成を示す図である。 本発明の第４の実施形態に係る停止要求表示無視判定処理の一例の概略フローチャートである。 本発明の第４の実施形態に係る停止要求表示無視判定処理の一例のフローチャートの一部である。 本発明の第４の実施形態に係る停止要求表示無視判定処理における各時刻の関係を示す図である。 本発明の第５の実施形態に係る停止要求表示無視判定処理の一例のフローチャートの一部である。 本発明の第５の実施形態に係る停止要求表示無視判定処理における各時刻の関係を示す図である。

以下、本発明の実施形態について図面を参照して説明する。

（第１の実施形態）
図１は、交差点付近での、撮像装置３が搭載された車両５、赤信号７、停止線８の例を示す図である。本実施形態では、車両５の運転者が、停止要求表示である赤信号７を無視していたか否かを判定する場合を例として説明する。

撮像装置３は、ドライブレコーダ、スマートフォン等の任意の適切な撮像装置とすることができる。撮像装置３は、車両５の前方を撮影可能な位置に設置され、車両５の移動中に車両５から車両５の前方を動画像として撮影し、記憶する。

図２は、本発明の第１の実施形態に係る停止要求表示無視判定システムの機能構成を示す図である。停止要求表示無視判定システム１は、動画取得部１０１、停止要求表示検出部１０３、停止判定部１０５、無視判定部１０７、記憶部１１１を備える。停止要求表示無視判定システム１は、１つの物理的な装置として構成される必要はなく、複数の物理的な装置から構成されてもよい。

停止要求表示無視判定システム１としては、ＰＣ、スマートフォン、タブレット端末、クラウドサーバ等の装置、それらの組み合わせ等の任意の適切なシステムを用いることができる。例えば、後述するプログラムをスマートフォンにダウンロードすることで、当該スマートフォンが停止要求表示無視判定システム１として機能する。プログラムがＰＣ、スマートフォン、タブレット端末、クラウドサーバ等の装置、それらの組み合わせにインストールされることにより停止要求表示無視判定システム１が生成される。

動画取得部１０１は、撮像装置３により車両５の移動中に車両５から車両５の前方が撮影された動画像を取得する。

停止要求表示検出部１０３は、車両５の移動中に前記車両５から前記車両５の前方を撮影した動画像において、停止要求表示を検出する。ここでは、停止要求表示として赤信号７を例に挙げているが、停止要求表示はこれに限るものではない。停止要求表示は、移動体に対して動作の停止を指示する任意の表示を採用することができる。なお、停止要求表示は、正方形又は長方形のバウンディングボックスで認識され、左上の頂点の二次元座標と、その頂点からの幅及び高さとで定義されるものとすることができる。

停止判定部１０５は、動画像において、動画像の所定のフレーム間の変化量が、所定の閾値である第１の閾値以下であった場合に、車両５が停止していたと判定する。

無視判定部１０７は、車両５が、所定の期間内に停止したと判定されなかった場合に、停止要求表示無視があったと判定するか、又は所定の期間内に停止したと判定された場合に、停止要求表示無視がなかったと判定する。

記憶部１１１は、赤信号７が検出された第１の時刻Ｔ１、赤信号７が検出されなくなった第２の時刻Ｔ２等の各種の情報を記憶する。記憶部１１１は、１つの物理的な装置として構成されてもよいし、複数の物理的な装置に分散して配置されてもよい。また、ブロックチェーンとして構成されてもよい。

図３は、本発明の第１の実施形態に係る停止要求表示無視判定システムのハードウエア構成を示す図である。停止要求表示無視判定システム１は、ＣＰＵ１０ａ、ＲＡＭ１０ｂ、ＲＯＭ１０ｃ、外部メモリ１０ｄ、入力部１０ｅ、出力部１０ｆ、通信部１０ｇを含む。ＲＡＭ１０ｂ、ＲＯＭ１０ｃ、外部メモリ１０ｄ、入力部１０ｅ、出力部１０ｆ、通信部１０ｇは、システムバス１０ｈを介して、ＣＰＵ１０ａに接続されている。

ＣＰＵ１０ａは、システムバス１０ｈに接続される各デバイスを統括的に制御する。

ＲＯＭ１０ｃや外部メモリ１０ｄには、ＣＰＵ１０ａの制御プログラムであるＢＩＯＳやＯＳ、コンピュータが実行する機能を実現するために必要な各種プログラムやデータ等が記憶されている。

ＲＡＭ１０ｂは、ＣＰＵの主メモリや作業領域等として機能する。ＣＰＵ１０ａは、処理の実行に際して必要なプログラム等をＲＯＭ１０ｃや外部メモリ１０ｄからＲＡＭ１０ｂにロードして、ロードしたプログラムを実行することで各種動作を実現する。

外部メモリ１０ｄは、例えば、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ、ＵＳＢメモリ等から構成される。

入力部１０ｅは、ユーザ等からの操作指示等を受け付ける。入力部１０ｅは、例えば、入力ボタン、キーボード、ポインティングデバイス、ワイヤレスリモコン、マイクロフォン、カメラ等の入力デバイスから構成される。

出力部１０ｆは、ＣＰＵ１０ａで処理されるデータや、ＲＡＭ１０ｂ、ＲＯＭ１０ｃや外部メモリ１０ｄに記憶されるデータを出力する。出力部１０ｆは、例えば、ＣＲＴディスプレイ、ＬＣＤ、有機ＥＬパネル、プリンタ、スピーカ等の出力デバイスから構成される。

通信部１０ｇは、ネットワークを介して又は直接、外部機器と接続・通信するためのインタフェースである。通信部１０ｇは、例えばシリアルインタフェース、ＬＡＮインタフェース等のインタフェースから構成される。

図２に示される停止要求表示無視判定システム１の各部は、ＲＯＭや外部メモリに記憶された各種プログラムが、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部メモリ、入力部、出力部、通信部等を資源として使用することで実現される。

以上のシステム構成を前提に、本発明の第１の実施形態に係る停止要求表示無視判定システムの停止要求表示無視判定処理の例を、図１〜図５Ｂ等を参照して、以下に説明する。

図４は、本発明の第１の実施形態に係る停止要求表示無視判定処理の一例のフローチャートである。図５は、本発明の第１の実施形態に係る停止要求表示無視判定処理における各時刻の関係を示す図である。本実施形態では、上述のように、車両５の運転者が、停止要求表示である赤信号７を無視したか否かを判定する場合を例として説明する。
＜原理＞
車両５の移動中に車両５から車両５の前方を撮影した動画像において、赤信号７が（最初に）検出された時刻を第１の時刻Ｔ１とすると、車両の走行により、第１の時刻Ｔ１から所定時間後に、赤信号７はフレームアウトする。このフレームアウトは、車両が赤信号７に向かって進行し、赤信号７に対応する停止線を通過したと解釈することができる。したがって、このフレームアウトした時刻、すなわち、赤信号７を検出しなくなった時刻を第２の時刻Ｔ２とすると、第２の時刻Ｔ２を基準として、第２の時刻Ｔ２から第１の所定時間前の第３の時刻Ｔ３と、第２の時刻Ｔ２との間で、車両が停止しなかった場合は、赤信号無視をしたと評価することができる。また、逆に、第３の時刻Ｔ３と、第２の時刻Ｔ２との間で、車両が停止したことがあった場合は、赤信号無視をしなかったと評価することができる。

また、車両の停止は、動画像の所定のフレーム間の変化量が、所定の閾値以下となったことで判定することができる。
＜停止要求表示判定処理＞
動画像取得部１０１は、撮像装置３により撮影された、車両５の移動中に車両５から車両５の前方を撮影した動画像を取得する（Ｓ１０１）。

停止要求表示検出部１０３は、各フレームについて、テンプレートマッチング、機械学習等の任意の適切な手法により、各フレームにおける赤信号の有無を判定する（Ｓ１０３）。停止要求表示検出部１０３が、フレームにおいて赤信号７を検出すると、赤信号７を検出した時刻を第１の時刻Ｔ１として記憶部１１１に記憶する（Ｓ１０５）。

停止要求表示検出部１０３は、引き続き、各フレームにおける赤信号７の有無を判定する。停止要求表示検出部１０３が、フレームにおいて赤信号７を検出しなくなると、赤信号７を検出しなくなった時刻を第２の時刻Ｔ２として記憶部１１１に記憶する（Ｓ１０７）。

＜第１の停止判定処理＞
停止判定部１０５は、車両５が停止した否かを判定する。停止判定部１０５は、取得された動画像の所定のフレーム間、例えば選択された隣接するフレーム間の変化量を求め、求められたフレーム間の変化量を第１の閾値と比較する（Ｓ２０１）。フレーム間の変化量を求める対象のフレームセットは、取得された動画像の開始点から終了点に向かって順に選択される。フレームセットの選択は、他の任意の適切な順序によって行われることができる。例えば、取得された動画像の終了点から開始点に向かって順に行われてもよいし、特定のフレームセットから、その特定のフレームセットに近い順にフレームセットが選択されてもよい。また、フレーム間の変化量を求める対象のフレームセットは、隣接するフレームに限定されるものではなく、他の任意の適切なフレームの組み合わせとすることができる。

フレーム間の変化量は、例えば、OpenCV中のcalcOpticalFlowFarneback()を用いて求めることができる。フレーム間の変化量の計算手法はこれに限定されるものではなく、他の任意の適切な手法を用いることができる。

停止判定部１０５は、ステップＳ２０１において求められたフレーム間の変化量が第１の閾値以下であった場合（Ｓ２０１−Ｙｅｓ）、車両５が停止していたと判定する。そして、停止判定部１０５は、車両５が停止していたと判定した場合、そのフレームセットに対応する時刻を第１の停止時刻として記憶部１１１に記憶する（Ｓ２０３）。ここで、複数のフレームに対して車両５が停止していたと判定された場合は、第１の停止時刻は複数の時刻を含むことになる。停止判定部１０５は、ステップＳ２０１において求められたフレーム間の変化量が第１の閾値以下でなかった場合（Ｓ２０１−Ｎｏ）、後述のステップＳ２０５に進む。

停止判定部１０５は、第１の停止判定処理を行ったフレームセットが、取得された動画像の終了点に対応するものであるか否かを判定し（Ｓ２０５）、取得された動画像の終了点に対応するものでない場合は（Ｓ２０５−Ｎｏ）、ステップＳ２０１に戻り、次のフレームセットを選択し、第１の停止判定処理を続ける。

＜停止要求表示無視判定処理＞
無視判定部１０７は、記憶部１１１に記憶された第１の停止時刻のうちの少なくとも一部が、第３の時刻Ｔ３と第２の時刻Ｔ２との間にあるか否かを判定する（Ｓ３０１）。

無視判定部１０７は、記憶部１１１に記憶された第１の停止時刻のうちの少なくとも一部が、第３の時刻Ｔ３と第２の時刻Ｔ２との間にない場合（Ｓ３０１−Ｎｏ）、停止要求表示無視があったと判定する（Ｓ３０３）。

第１の所定時間、すなわち第３の時刻Ｔ３と第２の時刻Ｔ２との間の値としては、例えば２秒が好ましい。

上記実施形態においては、第３の時刻Ｔ３と第２の時刻Ｔ２との間で、動画像の所定のフレーム間の変化量が、所定の閾値である第１の閾値以下となったときがあったか否かに基づいて、停止要求表示無視があったか否かを判定する構成が、第１の停止時刻のうちの少なくとも一部が、第３の時刻Ｔ３と第２の時刻Ｔ２との間にあるか否かを判定し、第１の停止時刻のうちの少なくとも一部が、第３の時刻Ｔ３と第２の時刻Ｔ２との間にない場合に、停止要求表示無視があったと判定する構成であったが、他の任意の適切な構成を用いてもよい。例えば、第１の停止時刻のうちの少なくとも一部が、第３の時刻Ｔ３と第２の時刻Ｔ２との間にあるか否かを判定し、第１の停止時刻のうちの少なくとも一部が、第３の時刻Ｔ３と第２の時刻Ｔ２との間にある場合に、停止要求表示無視がなかったと判定する構成としてもよい。また、取得した動画像のうちの第３の時刻Ｔ３と第２の時刻Ｔ２の間のフレームについてのみ、フレーム間の変化量が、所定の閾値である第１の閾値以下となったときがあったか否かを判定する構成としてもよい。

上記実施形態においては、停止要求表示判定処理の後に第１の停止判定処理が行われたが、停止要求表示判定処理と第１の停止判定処理は、他の任意の適切な順序で行われてもよい。例えば、第１の停止判定処理の後に停止要求表示判定処理が行われてもよいし、停止要求表示判定処理と第１の停止判定処理が並行して行われてもよい。

本実施形態によれば、運転中の速度データ、加速度データ、位置データ等を用いることなく、運転中に撮影された車両前方の画像のみに基づいて、停止要求表示無視があったか否かを判定することができる。

上記実施形態の停止要求表示判定処理に関して、本発明者らは、左側通行環境においては、停止線近くでは信号機は、フレームの下側や右側には映らないことを見出した。このことは、他の停止要求表示である一時停止標識についても同様である。図６Ａ、図６Ｂに、停止線近くで撮影された信号機、一時停止標識の一例を示す。したがって、停止要求表示の検出を、フレームの下側の一部及び／又は右側の一部を除いた部分に基づいて行うことで、誤検出を減らすことができる。除く部分の具体的な数値としては、フレームの下半分及び右１／３を除いた部分とすることが好ましい（図６Ａ、図６Ｂの破線領域参照）。このような構成により、停止要求表示の誤検出を大きく減少させることができる。なお、右側通行環境においては、停止要求表示は右側に設置されることが多いため、停止要求表示の検出を、フレームの下側の一部及び／又は左側の一部を除いた部分に基づいて検出すればよい。

また、上記実施形態においては、車両５が低速（例えば時速１０ｋｍ以下）で走行している場合、停止要求表示無視があったか否かを判定することが難しい場合がある。動画像の所定のフレーム間の変化量と比較する所定の閾値を小さい値にすれば、車両５が低速で走行している場合も停止判定を行うことができる。しかしながら、実際は、交通量が多い交差点等では車両が停止しているにもかかわらず、フレーム上に動く物体が多く映り込み、それによってフレーム間の変化量が、小さくした閾値を超えてしまうことがある。そのため、動画像の所定のフレーム間の変化量と比較する所定の閾値を小さい値にしても、車両５が低速で走行している場合の停止判定が難しくなる場合が生じる。

本発明者らは、車両５が停止要求表示を無視する状況では、その停止要求表示の下を通過することが多く、その場合、フレームの上部に停止要求表示が映ることが多いとの知見を得た。そして、本発明者らは、この知見をもとに、停止要求表示がフレームの上端近傍で検出された場合に、フレーム間の変化量と比較する所定の閾値を小さくして停止判定を行う構成を着想した。このような構成とすることにより、車両が低速で走行している場合であっても、停止要求表示無視を判定することが可能となった。フレームの上端近傍の値としては、フレームの縦の長さに対して、上端から１０％以下が好ましい。停止要求表示の認識にバウンディングボックスを用いる場合、停止要求表示に対応するバウンディングボックスの左上の頂点が認識できれば、フレームの上端の１ピクセルであってもよい。

また、フレームの上端近傍の領域で、それ以外の領域より閾値を小さくすることで、地域性によらずに、運転中の画像のみに基づいて、停止要求表示の無視を判定できる。
補足すると、画像に写る物体が多い地域（都会）では、画像に写る物体が少ない地域（田舎）に比して、同じ速度で車両５が走行した場合、フレーム間の変化量が大きい。そのため、画像に写る物体が多い地域（都会）で誤検知が生じないように閾値を設定すると、画像に写る物体が少ない地域（田舎）では閾値が大きくなってしまい検知漏れが生じることがある。例えば、画像に写る物体が多い地域（都会）において、誤検知が生じない程度の閾値を設定した場合、画像に写る物体が多い地域（都会）では、時速２０ｋｍ程度で走行する車両の動きの変化を捉えることができたとしても、画像に写る物体が少ない地域（田舎）では、それ以上の時速４０ｋｍ程度を有する車両の動きしか捉えることができず、検知漏れが生じることがある。
そこで、フレーム間の変化量の閾値を、フレームの上端近傍以外の領域では、画像に写る物体が多い地域（都会）で誤検知が生じない程度の閾値Ｌ１に設定し、フレームの上端近傍の領域では、画像に写る物体が少ない地域（田舎）でも低速で走行する車両５を捉えることが可能な閾値Ｌ２（Ｌ２＜Ｌ１）に設定することで、両地域に対応した停止要求表示無視判定システムを提供できる。

（第２の実施形態）
＜原理＞
上述のように、通常は、赤信号７がフレームアウトすると、車両５が、赤信号７に対応する停止線８を通過したと解釈することができる。しかしながら、例えば、赤信号７がフレームアウトした第２の時刻Ｔ２に車両がいた地点から停止線８まで距離があり、低速運転（以下、ノロノロ運転ともいう）をして、赤信号７に対応する停止線８で停止することがある。このような場合、第１の実施形態では、本来であれば停止要求表示無視の状況ではないにもかかわらず、停止要求表示無視と判定することがある。すなわち、誤判定が生じてることがある。

そこで、本実施形態では、誤判定を回避するために、第２の時刻Ｔ２から第２の所定時間後の第４の時刻Ｔ４との間で、フレーム間の変化量が第１の閾値以下となったときがあった場合に、停止要求表示無視があったと判定しないようにする。

図７は、本発明の第２の実施形態に係る停止要求表示無視判定処理の一例のフローチャートの一部である。図８は、本発明の第２の実施形態に係る停止要求表示無視判定処理における各時刻の関係を示す図である。図１〜図８等を参照して、本発明の第２の実施形態に係る停止要求表示無視判定の例を説明する。図７において、図４に対応する部分には同一の符号を付し、第１の実施形態と重複する説明は省略する。また、第２の実施形態に係る停止要求表示無視判定システムの機能構成及びハードウエア構成は、第１の実施形態と同様であるので説明を省略する。

以上のシステム構成を前提に、本発明の第２の実施形態に係る停止要求表示無視判定システムの停止要求表示無視判定処理の例を以下に説明する。

本実施形態では、誤判定防止のために、第１の実施形態のステップＳ３０１に代えて、ステップＳ３０２を行なう。ステップＳ２０５までは第１の実施形態と同様であるので、説明を省略する。

具体的には、無視判定部１０７が、ステップＳ３０２において、記憶部１１１に記憶された第１の停止時刻のうちの少なくとも一部が、第３の時刻Ｔ３と第４の時刻Ｔ４との間にない場合（Ｓ３０２−Ｎｏ）、停止要求表示無視があったと判定する（Ｓ３０３）。

第２の所定時間、すなわち第２の時刻Ｔ２と第４の時刻Ｔ４との間の値としては、例えば１０秒が好ましい。

本実施形態によれば、例えば、赤信号７がフレームアウトした第２の時刻Ｔ２に車両５がいた地点から停止線８まで距離があり、ノロノロ運転をしていた場合に、赤信号７に対応する停止線８で停止したにもかかわらず、停止要求表示無視があったと判定される誤判定を大きく低減することができる。

また、例えば、車両５の前方にトラック等の大型車両が走行しており、その大型車両との車間距離が短くなった結果、大型車両が画像に写り込んで赤信号７がフレームアウトすることがある。このような場合、車両５は赤信号７を無視して走行していないにもかかわらず、停止要求表示無視があったと判定されることがある。本実施形態によれば、このような場合であっても、赤信号７がフレームアウトした第２の時刻Ｔ２から第４の時刻Ｔ４までの間でフレーム間の変化量が第１の閾値以下となれば車両５が停止したと判定されるので、停止要求表示無視があったと判定される誤判定を大きく低減することができる。

（第３の実施形態）
本実施形態では、フレーム間の変化量を判定するための閾値を複数設けている。具体的には、本実施形態では、誤判定を回避するために、第２の時刻Ｔ２から第２の所定時間後の第４の時刻Ｔ４との間で、フレーム間の変化量が第２の閾値以下となったときがあった場合に、停止要求表示無視があったと判定しないようにする。

図９Ａ、図９Ｂは、本発明の第３の実施形態に係る停止要求表示無視判定処理の一例のフローチャートの一部である。図１〜図９Ｂ等を参照して、本発明の第３の実施形態に係る停止要求表示無視判定の例を説明する。図９Ａ、図９Ｂにおいて、図４に対応する部分には同一の符号を付し、第１、２の実施形態と重複する説明は省略する。また、第２の実施形態に係る停止要求表示無視判定システムの機能構成及びハードウエア構成は、第１の実施形態と同様であるので説明を省略する。なお、本発明の第３の実施形態に係る停止要求表示無視判定処理における各時刻の関係は、第２実施形態と同様である（図８参照）。

以上のシステム構成を前提に、本発明の第３の実施形態に係る停止要求表示無視判定システムの停止要求表示無視判定処理の例を以下に説明する。

本実施形態は、第１の実施形態に誤判定防止のための処理を追加するものであり、第１の実施形態のステップＳ３０１までは第１の実施形態と同様であるので、説明を省略する。

＜第２の停止判定処理＞
ステップＳ３０１において、記憶部１１１に記憶された第１の停止時刻のうちの少なくとも一部が、第３の時刻Ｔ３と第２の時刻Ｔ２との間にない場合、停止判定部１０５は、所定のフレーム間の変化量を求め、求められたフレーム間の変化量を第２の閾値と比較する（Ｓ４０１）。

停止判定部１０５は、ステップＳ４０１において求められたフレーム間の変化量が第２の閾値以下であった場合、そのフレームセットに対応する時刻を第２の停止時刻として記憶部１１１に記憶する（Ｓ４０３）。停止判定部１０５は、ステップＳ４０１において求められたフレーム間の変化量が第２の閾値以下でなかった場合、Ｓ４０１に戻り、次のフレームセットを選択し、第２の停止判定処理を続ける。

停止判定部１０５は、第２の停止判定処理を行ったフレームセットが、取得された動画像の終了点に対応するものであるか否かを判定し（Ｓ４０５）、取得された動画像の終了点に対応するものでない場合は、ステップＳ４０１に戻り、次のフレームセットを選択し、第２の停止判定処理を続ける。

＜停止要求表示無視判定処理＞
無視判定部１０７は、記憶部１１１に記憶された第２の停止時刻のうちの少なくとも一部が、第２の時刻Ｔ２と第４の時刻Ｔ４との間にあるか否かを判定する（Ｓ５０１）。

無視判定部１０７は、記憶部１１１に記憶された第２の停止時刻のうちの少なくとも一部が、第２の時刻Ｔ２と第４の時刻Ｔ４との間にない場合、停止要求表示無視があったと判定する（Ｓ５０３）。

第２の所定時間、すなわち第２の時刻Ｔ２と第４の時刻Ｔ４との間の値としては、例えば１０秒が好ましい。

低速運転等を考慮すると、上述の考察から、第２の閾値は、第１の閾値よりも小さな値とすることができる。

上記実施形態においては、停止要求表示判定処理の後に第２の停止判定処理が行われたが、停止要求表示判定処理と第２の停止判定処理は、他の任意の適切な順序で行われてもよい。例えば、第２の停止判定処理の後に停止要求表示判定処理が行われてもよいし、停止要求表示判定処理と第２の停止判定処理が並行して行われてもよい。

本実施形態によれば、例えば、赤信号７がフレームアウトした第２の時刻Ｔ２に車両がいた地点から停止線８まで距離があり、ノロノロ運転をしていた場合に、赤信号７に対応する停止線８で停止したにもかかわらず、停止要求表示無視と判定される誤判定を大きく低減することができる。

また、例えば、車両５の前方を走行する大型車両が画像に写り込んで、赤信号７がフレームアウトした場合に、停止要求表示無視があったと判定される誤判定を大きく低減することができる。

（第４の実施形態）
＜原理＞
上述のように、通常は、赤信号７がフレームアウトすると、赤信号７に対応する停止線８を通過し、赤信号を無視したと解釈することができる。しかしながら、例えば、車両５が赤信号７に対応する交差点への進入直前に進行許可表示である青信号に変わり、そのまま進行した場合に、第１の実施形態において停止要求表示無視と判定される場合がある。本来であれば、青信号で進行した場合は、停止要求表示無視と判定されるものではないので、誤判定が生じていることになる。

そこで、本実施形態では、この誤判定を回避するために、第２の時刻Ｔ２から第３の所定時間後の第５の時刻Ｔ５との間で、動画像において青信号を検出した場合に、無視判定ステップによる判定を無効化する（誤判定防止処理）。

図１０は、本発明の第４の実施形態に係る停止要求表示無視判定システムの機能構成を示す図である。図１１は、本発明の第４の実施形態に係る停止要求表示無視判定処理の一例の概略フローチャートである。図１２は、本発明の第４の実施形態に係る停止要求表示無視判定処理の一例のフローチャートの一部である。図１３は、本発明の第４の実施形態に係る停止要求表示無視判定処理における各時刻の関係を示す図である。図１〜図１３等を参照して、本発明の第４の実施形態に係る停止要求表示無視判定の例を説明する。第４の実施形態の説明において、図４、図９Ａ、図９Ｂに対応する部分には同一の符号を付し、第１〜第３の実施形態と重複する説明は省略する。また、第４の実施形態に係る停止要求表示無視判定システムのハードウエア構成は、第１〜第３の実施形態と同様であるので説明を省略する。

第４の実施形態に係る停止要求表示無視判定システムでは、無視判定部１０７に追加の機能が加わる。無視判定部１０７は、第２の時刻Ｔ２と、第２の時刻Ｔ２から第３の所定時間後の第５の時刻Ｔ５との間で、進行許可表示を検出した場合に、無視判定部１０７による判定を無効化する機能をさらに有する。

また第４の実施形態に係る停止要求表示無視判定システムは、進行許可表示検出部１０９をさらに備える。進行許可表示検出部１０９は、車両５の移動中に前記車両５から前記車両５の前方を撮影した動画像において、進行許可表示を検出する。進行許可表示は、移動体に対して進行を許可する任意の表示であり、一例として、青信号が挙げられる。

他の機能構成は、第１〜第３の実施形態の機能構成と同様であるので、説明を省略する。

以上のシステム構成を前提に、本発明の第４の実施形態に係る停止要求表示無視判定システムの停止要求表示無視判定処理の例を以下に説明する。

本実施形態は、第１〜第３の実施形態に誤判定防止のための処理を追加するものである。すなわち、図１１を参照して、第１の実施形態（ステップＳ１０１〜Ｓ３０３）、第２の実施形態（ステップＳ１０１〜Ｓ３０３）、及び第３の実施形態（ステップＳ１０１〜Ｓ５０３）に対応する無視判定処理（ステップＳ１）に、無視判定無効化処理（Ｓ２）を追加するものである。無視判定処理（Ｓ１）に対応する第１、第２の実施形態のステップＳ３０３、第３の実施形態のステップＳ５０３までは第１〜第３の実施形態と同様であるので、説明を省略する。

ステップＳ３０３又はＳ５０３において、停止要求表示無視があったと判定されると、進行許可表示検出部１０９は、取得された動画像の選択された判定対象のフレームについて、テンプレートマッチング、機械学習等の任意の適切な手法により、判定対象のフレームにおける青信号の有無を判定する（Ｓ６０１）。判定対象のフレームは、取得された動画像の開始点から終了点に向かって順に選択される。判定対象のフレームの選択は、他の任意の適切な順序によって行われることができる。例えば、取得された動画像の終了点から開始点に向かって順に行われてもよいし、特定のフレームから、その特定のフレームに近い順にフレームが選択されてもよい。

進行許可表示検出部１０９は、ステップＳ６０１において判定対象のフレームに青信号が検出された場合（Ｓ６０１−Ｙｅｓ）、そのフレームに対応する時刻を第１の進行許可表示検出時刻として記憶部１１１に記憶する（Ｓ６０３）。進行許可表示検出部１０９は、ステップＳ６０１において判定対象のフレームに青信号が検出されなかった場合（Ｓ６０１−Ｎｏ）、後述のステップＳ６０５に進む。

進行許可表示検出部１０９は、第１の進行許可表示検出処理を行ったフレームが、取得された動画像の終了点に対応するものであるか否かを判定し（Ｓ６０５）、取得された動画像の終了点に対応するものでない場合は（Ｓ６０５−Ｎｏ）、ステップＳ６０１に戻り、次の判定対象のフレーム選択し、第１の進行許可表示検出処理を続ける。

＜停止要求表示無視判定処理＞
無視判定部１０７は、記憶部１１１に記憶された第１の進行許可表示検出時刻のうちの少なくとも一部が、第２の時刻Ｔ２と第５の時刻Ｔ５との間にあるか否かを判定する（Ｓ７０１）。

無視判定部１０７は、記憶部１１１に記憶された第１の進行許可表示検出時刻のうちの少なくとも一部が、第２の時刻Ｔ２と第５の時刻Ｔ５との間にある場合、ステップＳ３０３、Ｓ５０３においてなされた停止要求表示無視の判定を無効化する（Ｓ７０３）。

第３の所定時間、すなわち第２の時刻Ｔ２と第５の時刻Ｔ５との間の値としては、例えば２秒が好ましい。

本実施形態によれば、例えば、車両５が赤信号７に対応する交差点への進入直前に青信号に変わり、そのまま進行した場合に、停止要求表示無視があったと判定される誤判定を大きく低減することができる。

上記実施形態においては、第２の時刻Ｔ２と第５の時刻Ｔ５との間で、進行許可表示を検出したか否かに基づいて、停止要求表示無視があったか否かを判定する構成が、無視判定部による判定を無効化する構成であったが、他の任意の適切な構成を用いてもよい。例えば、（１）第３の時刻Ｔ３と第２の時刻Ｔ２との間で、動画像の所定のフレーム間の変化量が、第１の閾値以下となったときがあったか否か、（２）第２の時刻Ｔ２と第４の時刻Ｔ４との間で、動画像の所定のフレーム間の変化量が、第２の閾値以下となったときがあったか否か、（３）第２の時刻Ｔ２と第５の時刻Ｔ５との間で、進行許可表示を検出したか否かの３つのファクタから、停止要求表示無視があったか否かを判定する構成としてもよい。

（第５の実施形態）
＜原理＞
第１の実施形態においては、右折時や左折時に赤信号が映り込んでしまったときに、停止要求表示無視の状況ではないのに、停止要求表示無視の状況であると誤って判定することがある。

本発明者らは、フレーム間の差分に基づいて右折又は左折を判定することを試みたが、十分な精度を出すことができない場合があった。そこで、本発明者らは、人間は、右折又は左折の直前に見える正面の信号が青信号であることを認識することによって、右折又は左折時に見える赤信号を無視できると判断していることに注目して、赤信号が検出された第１の時刻Ｔ１より第４の所定時間前の第６の時刻Ｔ６と、第１の時刻Ｔ１との間で、青信号を検出した場合に、無視判定ステップによる判定を無効化する構成を着想した。

図１４は、本発明の第５の実施形態に係る停止要求表示無視判定処理の一例のフローチャートの一部である。図１５は、本発明の第５の実施形態に係る停止要求表示無視判定処理における各時刻の関係を示す図である。図１〜図１５等を参照して、本発明の第５の実施形態に係る停止要求表示無視判定の例を説明する。第５の実施形態の説明において、図４、図９Ａ、図９Ｂに対応する部分には同一の符号を付し、第１〜第３の実施形態と重複する説明は省略する。また、第５の実施形態に係る停止要求表示無視判定システムのハードウエア構成は、第１〜第４の実施形態と同様であるので説明を省略する。

第５の実施形態に係る停止要求表示無視判定システムでは、無視判定部１０７に追加の機能が加わる。無視判定部１０７は、第１の時刻Ｔ１より第４の所定時間前の第６の時刻Ｔ６と、第１の時刻Ｔ１との間で、進行許可表示を検出した場合に、無視判定部１０７による判定を無効化する機能をさらに有する。

他の機能構成は、第１〜４の実施形態の機能構成と同様であるので、説明を省略する。

以上のシステム構成を前提に、本発明の第４の実施形態に係る停止要求表示無視判定システムの停止要求表示無視判定処理の例を以下に説明する。

本実施形態は、第１〜第３の実施形態に誤判定防止のための処理を追加するものである。第４の実施形態と同様に、図１１を参照して、第１の実施形態（ステップＳ１０１〜Ｓ３０３）、第２の実施形態（ステップＳ１０１〜Ｓ３０３）、及び第３の実施形態（ステップＳ１０１〜Ｓ５０３）に対応する無視判定処理（ステップＳ１）に、無視判定無効化処理（Ｓ２）を追加するものである。無視判定処理（Ｓ１）に対応する第１、第２の実施形態のステップＳ３０３、第３の実施形態のステップＳ５０３までは第１〜第３の実施形態と同様であるので、説明を省略する。

本実施形態では、ステップＳ３０３又はＳ５０３において、停止要求表示無視と判定されると、第３の実施形態の誤判定防止処理に替えて又は加えて、進行許可表示検出部１０９は、取得された動画像の選択された判定対象のフレームについて、テンプレートマッチング、機械学習等の任意の適切な手法により、対象判定のフレームにおける青信号の有無を判定する（Ｓ８０１）。

進行許可表示検出部１０９は、ステップＳ７０１において判定対象のフレームに青信号が検出された場合（Ｓ８０１−Ｙｅｓ，）、そのフレームに対応する時刻を第２の進行許可表示検出時刻として記憶部１１１に記憶する（Ｓ８０３）。進行許可表示検出部１０９は、ステップＳ８０１において判定対象のフレームに青信号が検出されなかった場合（Ｓ８０１−Ｎｏ）、ステップＳ８０１に戻り、次の判定対象のフレームを選択し、第２の進行許可表示検出処理を続ける。

進行許可表示検出部１０９は、第２の進行許可表示検出処理を行ったフレームが、取得された動画像の終了点に対応するものであるか否かを判定し（Ｓ８０５）、取得された動画像の終了点に対応するものでない場合は（Ｓ８０５−Ｎｏ）、ステップＳ８０１に戻り、次の判定対象のフレーム選択し、第２の進行許可表示検出処理を続ける。

＜停止要求表示無視判定処理＞
無視判定部１０７は、記憶部１１１に記憶された第２の進行許可表示検出時刻のうちの少なくとも一部が、第６の時刻Ｔ６と第１の時刻Ｔ１との間にあるか否かを判定する（Ｓ９０１）。

無視判定部１０７は、記憶部１１１に記憶された第２の進行許可表示検出時刻のうちの少なくとも一部が、第６の時刻Ｔ６と第１の時刻Ｔ１との間にある場合、ステップＳ３０３、Ｓ５０３においてなされた停止要求表示無視の判定を無効化する（Ｓ９０３）。

第４の所定時間、すなわち第６の時刻Ｔ６と第１の時刻Ｔ１との間の値としては、歩行者がいることですぐに右折又は左折できないこと、あまり大きな値をとると次の交差点での停止要求表示無視が判定できなくなること等を考慮して設定することができる。これらを考慮すると、例えば１０秒が好ましい。

本実施形態によれば、右折時や左折時に赤信号が映り込んでしまった場合の誤判定を大きく低減することができる。

（他の実施形態）
上記各実施形態においては、停止要求表示が赤信号の場合を例として説明したが、停止要求表示は、道路上の一時停止標識や工場内の停止標識等他の任意の停止要求表示とすることができる。

停止要求表示が道路上の一時停止標識である場合、車両が停止線で停止したとき、一時停止標識が動画像のフレーム内にある場合と動画像からフレームアウトする場合があることを本発明者らは見出した。したがって、第２、３の実施形態と同様に、第３の時刻Ｔ３と第２の時刻Ｔ２との間又は第２の時刻Ｔ２と第４の時刻Ｔ４との間で、動画像の所定のフレーム間の変化量が第１の閾値又は第２の閾値以下となったときがなかった場合に、停止要求表示無視があったと判定すればよい。第３の時刻Ｔ３と第２の時刻Ｔ２との間の値としては、例えば３秒が、第２の時刻Ｔ２と第４の時刻Ｔ４との間の値としては、例えば、４秒が好ましい。

上記各実施形態においては、車両という移動体が道路上を移動する際の停止要求表示無視判定を例として説明したが、移動体は、車両に限定されるものではなく、ロボット、鉄道車両、航空機、人間等他の任意の適切な移動体とすることができる。

以上、本発明について、例示のためにいくつかの実施形態に関して説明してきたが、本発明はこれに限定されるものでなく、本発明の範囲及び精神から逸脱することなく、形態及び詳細について、様々な変形及び修正を行うことができるものである。また、本発明は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の開示を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。これらのことは、当業者に明らかであろう。

１ 停止要求表示無視判定システム
１０１ 動画像取得部
１０３ 停止要求表示検出部
１０５ 停止判定部
１０７ 無視判定部
１０９ 進行許可表示検出部
１１１ 記憶部
３ 撮像装置
５ 車両
７ 赤信号
８ 停止線

Claims (13)

1. 移動体の移動中に前記移動体から前記移動体の前方を撮影した動画像において、停止要求表示を検出する停止要求表示検出部と、
   前記動画像において、前記停止要求表示を検出した第１の時刻Ｔ１から前記停止要求表示を検出しなくなった第２の時刻Ｔ２までの間の、且つ、前記第２の時刻Ｔ２より第１の所定時間前の第３の時刻Ｔ３と、前記第２の時刻Ｔ２との間で、前記動画像の所定のフレーム間の変化量が、所定の閾値である第１の閾値以下となったときがなかった場合に、停止要求表示無視があったと判定するか、及び／又は、前記第１の閾値以下となったときがあった場合に、停止要求表示無視がなかったと判定する無視判定部と、
   を含む停止要求表示無視判定システム。
2. 移動体の移動中に前記移動体から前記移動体の前方を撮影した動画像において、停止要求表示を検出した第１の時刻Ｔ１から前記停止要求表示を検出しなくなった第２の時刻Ｔ２までの間の、且つ、前記第２の時刻Ｔ２より第１の所定時間前の第３の時刻Ｔ３と、前記第２の時刻Ｔ２との間で、前記動画像の所定のフレーム間の変化量が、所定の閾値である第１の閾値以下となったときがなかった場合に、停止要求表示無視があったと判定するか、及び／又は、前記第１の閾値以下となったときがあった場合に、停止要求表示無視がなかったと判定する停止要求表示無視判定システム。
3. コンピュータにより実行される停止要求表示無視判定方法であって、
   移動体の移動中に前記移動体から前記移動体の前方を撮影した動画像において、停止要求表示を検出するステップと、
   前記動画像において、前記停止要求表示を検出した第１の時刻Ｔ１から前記停止要求表示を検出しなくなった第２の時刻Ｔ２までの間の、且つ、前記第２の時刻Ｔ２より第１の所定時間前の第３の時刻Ｔ３と、前記第２の時刻Ｔ２との間で、前記動画像の所定のフレーム間の変化量が、所定の閾値である第１の閾値以下となったときがなかった場合に、停止要求表示無視があったと判定するか、及び／又は、前記第１の閾値以下となったときがあった場合に、停止要求表示無視がなかったと判定する無視判定ステップと、
   を含む方法。
4. コンピュータにより実行される停止要求表示無視判定方法であって、
   移動体の移動中に前記移動体から前記移動体の前方を撮影した動画像において、停止要求表示を検出するステップと、
   前記動画像において、前記停止要求表示を検出した第１の時刻Ｔ１後の前記停止要求表示を検出しなくなった第２の時刻Ｔ２より第１の所定時間前の第３の時刻Ｔ３と、前記第２の時刻Ｔ２から第２の所定時間後の第４の時刻Ｔ４との間で、前記動画像の所定のフレーム間の変化量が、所定の閾値である第１の閾値以下となったときがない場合、停止要求表示無視があったと判定する無視判定ステップと、
   を含む方法。
5. 前記無視判定ステップにおいて、更に、前記第２の時刻Ｔ２と、前記第２の時刻Ｔ２から第２の所定時間後の第４の時刻Ｔ４との間で、前記動画像の所定のフレーム間の変化量が、所定の閾値である第２の閾値以下となったときがなかった場合に、停止要求表示無視があったと判定するか、及び／又は、前記第２の閾値以下となったときがあった場合に、停止要求表示無視がなかったと判定する請求項３又は４に記載の方法。
6. 前記動画像において、更に、前記第２の時刻Ｔ２と、前記第２の時刻Ｔ２から第３の所定時間後の第５の時刻Ｔ５との間で、進行許可表示を検出した場合に、停止要求表示無視がなかったと判定するか、及び／又は、前記進行許可表示を検出しなかった場合に、停止要求表示無視があったと判定するステップを更に含む請求項３〜５のいずれか１項に記載の方法。
7. 前記動画像において、更に、前記第１の時刻Ｔ１より第４の所定時間前の第６の時刻Ｔ６と、前記第１の時刻Ｔ１との間で、進行許可表示を検出した場合に、停止要求表示無視がなかったと判定するか、及び／又は、前記進行許可表示を検出しなかった場合に、停止要求表示無視があったと判定するステップを更に含む請求項３〜６のいずれか１項に記載の方法。
8. 前記停止要求表示は、左側通行環境においては前記動画像のうちの下側の一部及び／又は右側の一部を除いた部分に基づいて、右側通行環境においては前記動画像のうちの下側の一部及び／又は左側の一部を除いた部分に基づいて検出されるものである請求項３〜７のいずれか１項に記載の方法。
9. 前記停止要求表示が、前記動画像の上端近傍で検出された場合、前記所定の閾値を、第１の閾値よりも小さい第３の閾値とする請求項３〜８のいずれか１項に記載の方法。
10. 移動体の移動中に前記移動体から前記移動体の前方を撮影した動画像において、停止要求表示を検出した第１の時刻Ｔ１から前記停止要求表示を検出しなくなった第２の時刻Ｔ２までの間の、且つ、前記第２の時刻Ｔ２より第１の所定時間前の第３の時刻Ｔ３と、前記第２の時刻Ｔ２との間で、前記動画像の所定のフレーム間の変化量が、所定の閾値である第１の閾値以下となったときがなかった場合に、停止要求表示無視があったと判定するか、及び／又は、前記第１の閾値以下となったときがあった場合に、停止要求表示無視がなかったと判定する停止要求表示無視判定方法。
11. 請求項３〜１０に記載の方法をコンピュータに実行させるためのプログラム。
12. 請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
13. 請求項１１に記載のプログラムを前記コンピュータにインストールすることにより停止要求表示無視判定システムを生成する方法。