WO2017134897A1

WO2017134897A1 - 映像処理装置及び映像処理方法

Info

Publication number: WO2017134897A1
Application number: PCT/JP2016/084032
Authority: WO
Inventors: 慎小俣
Original assignee: ソニー株式会社
Priority date: 2016-02-02
Filing date: 2016-11-17
Publication date: 2017-08-10
Also published as: JP2017138694A; US20180357484A1

Abstract

車載カメラで撮像した映像から事故映像やヒヤリハット映像のみを記録し、又は、車載カメラの記録映像から事故映像やヒヤリハット映像を抽出する。物体認識部（３０２）は、映像取得部（３０１）で取得した車両周辺の映像や車室内の映像に対して物体認識処理を行ない、認識結果に基づいて物体間の衝突や自車両の異常運転、自車両又は周辺車両の違反運転などに関するヒヤリハット特徴を検出する。コントロール部（３０７）は、基本的には、物体認識部（３０２）から出力されるヒヤリハット特徴の検出信号に応じて、映像取得部（３０１）で取得される車載カメラの撮影映像のトリガー記録の制御を行なう。

Description

映像処理装置及び映像処理方法

　本明細書で開示する技術は、映像の記録制御や記録映像の解析を行なう映像処理装置及び映像処理方法に係り、特に、車載カメラで撮像した映像の記録制御や記録映像の解析を行なう映像処理装置及び映像処理方法に関する。

　車載カメラの撮像映像を始めとして車両の情報を記録する装置の開発が進められている。この種の装置は、「ドライブ・レコーダー」あるいは「イベント・データ・レコーダー」とも呼ばれる（以下では、ドライブ・レコーダーに統一する）。ドライブ・レコーダーに記録される情報は、事故の前後に自動車の挙動を客観的に判断し、さらに事故防止を目指す上で重要な情報である。最近では、多くの自動車にドライブ・レコーダーが装備されるようになってきている。

　ドライブ・レコーダーの主目的は事故の記録であり、メモリーに記録できる有限時間の中で、時々刻々と検出される車両の情報を上書き保存しつつ、事故の記録は消えないように保存しておく必要がある。例えば、加速度センサーの情報に基づいて「衝突による衝撃」や「ヒヤリハットに伴う急ブレーキなどによる加速度変化」を検知して、その前後の映像を上書き禁止にして保存する機能を搭載したドライブ・レコーダーが多い（例えば、特許文献１及び２を参照のこと）。

　しかしながら、加速度センサーの情報を利用する場合、事故やヒヤリハットに伴う加速度変化と、路面の段差や凹凸、運転者の運転の仕方などに起因する加速度変化を見分けるのが難しい。この結果、誤検出による上書き禁止が頻発し、事故映像やヒヤリハット映像が多くの誤検出映像の中に埋没して、ドライブ・レコーダーの機能を有効に活用できなくなってしまう。

　また、加速度センサーの情報では、車両の自重よりずっと軽いものとの衝突や駐車中のいたずらなどに反応できないケースもある。設置車両毎に、ユーザーがセンサーの感度を個別に調整できる製品も存在する。しかしながら、上記誤検出の低減のための調整に手間がかり、ユーザーが調整できないケースもある。

特開２０１２－２２１１３４号公報特開２０１３－１８２５７３号公報

　本明細書で開示する技術の目的は、車載カメラで撮像した映像から事故映像やヒヤリハット映像のみを記録し、又は、車載カメラの記録映像から事故映像やヒヤリハット映像を抽出することができる、優れた映像処理装置及び映像処理方法を提供することにある。

　本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第１の側面は、
　車両の外部又は内部を撮像した映像に含まれる物体の認識結果に基づいて、事故に至る可能性があるシーンの特徴を検出する物体認識部と、
　前記特徴が検出されたことに応じて前記映像の処理を制御する制御部と、
を具備する映像処理装置である。

　本明細書で開示する技術の第２の側面によれば、第１の側面に記載の映像処理装置の前記物体認識部は、前記特徴として、前記映像から認識した物体の接近に関する特徴を検出するように構成されている。

　本明細書で開示する技術の第３の側面によれば、第１の側面に記載の映像処理装置の前記物体認識部は、前記特徴として、物体認識した周辺車両同士の接近に関する特徴を検出するように構成されている。

　本明細書で開示する技術の第４の側面によれば、第１の側面に記載の映像処理装置の前記物体認識部は、前記特徴として、物体認識した周辺車両又はその他の物体と前記車両の接近に関する特徴を検出するように構成されている。

　本明細書で開示する技術の第５の側面によれば、第２の側面に記載の映像処理装置の前記物体認識部は、さらに距離画像を参照して、前記接近に関する特徴を検出するように構成されている。

　本明細書で開示する技術の第６の側面によれば、第２の側面に記載の映像処理装置は、前記車両の周囲環境を検出する車外情報検出部をさらに備えている。そして、前記物体認識部は、前記周囲環境をさらに考慮して、前記接近に関する特徴を検出するように構成されている。

　本明細書で開示する技術の第７の側面によれば、第１の側面に記載の映像処理装置の前記物体認識部は、前記特徴として、前記映像から認識した道路の画面内での軌道に基づいて前記車両のスピン又はスリップに関する特徴を検出するように構成されている。

　本明細書で開示する技術の第８の側面によれば、第７の側面に記載の映像処理装置の前記物体認識部は、前記映像から道路に引かれた区画線、路肩、路側帯に基づいて道路を認識するように構成されている。

　本明細書で開示する技術の第９の側面によれば、第１の側面に記載の映像処理装置は、前記車両のステアリングの方向を検出する車両状態検出部をさらに備えている。そして、前記物体認識部は、前記特徴として、前記映像から認識した道路と前記ステアリングの方向との角度に基づいて前記車両のスピン又はスリップに関する特徴を検出するように構成されている。

　本明細書で開示する技術の第１０の側面によれば、第７の側面に記載の映像処理装置は、前記車両の周囲環境を検出する車外情報検出部をさらに備えている。そして、前記物体認識部は、前記周囲環境を考慮して、前記車両のスピン又はスリップに関する特徴を検出するように構成されている。

　本明細書で開示する技術の第１１の側面によれば、第１の側面に記載の映像処理装置の前記物体認識部は、前記特徴として、前記車両又はその周辺車両の違反運転、通行人の違反行為に関する特徴を検出するように構成されている。

　本明細書で開示する技術の第１２の側面によれば、第１１の側面に記載の映像処理装置の前記物体認識部は、前記映像から車線又は路側帯を認識して、前記車両の車線を逸脱した走行に関する特徴を検出するように構成されている。

　本明細書で開示する技術の第１３の側面によれば、第１１の側面に記載の映像処理装置の前記物体認識部は、前記映像から車線又は路側帯と周辺車両を認識して、前記周辺車両の車線を逸脱した走行に関する特徴を検出するように構成されている。

　本明細書で開示する技術の第１４の側面によれば、第１１の側面に記載の映像処理装置の前記物体認識部は、前記映像の物体認識結果に基づいて走行中の道路に規定されている規制に関する情報を取得し、前記車両又はその周辺車両の走行状況が前記規制と一致しないときに、違反運転に関する特徴を検出するように構成されている。

　本明細書で開示する技術の第１５の側面によれば、第１４の側面に記載の映像処理装置は、さらに地図情報に基づいて、走行中の道路に規定されている規制に関する情報を取得するように構成されている。

　本明細書で開示する技術の第１６の側面によれば、第１１の側面に記載の映像処理装置の前記物体認識部は、前記映像から、道路脇に設置された道路標識、路面に描かれた道路標識、道路に引かれた停止線位置、又は信号機の少なくともいずれか１つを認識して、前記車両又はその周辺車両の道路標識違反、停止線位置無視、又は信号無視の少なくともいずれか１つを検出したときに、違反運転に関する特徴を検出するように構成されている。

　本明細書で開示する技術の第１７の側面によれば、第１１の側面に記載の映像処理装置の前記物体認識部は、道路上の停止線を物体認識し、前記車両又はその周辺車両の車速又は加速度と停止線位置までの関係から、停止が不可能であると判定した場合に、停止位置無視の違反運転に関する特徴を検出するように構成されている。

　本明細書で開示する技術の第１８の側面によれば、第１１の側面に記載の映像処理装置の前記物体認識部は、信号機の赤信号又は黄信号を物体認識し、前記車両又はその周辺車両の車速又は加速度と物体認識した信号機の位置までの関係から、停止が不可能であると判定した場合に、信号無視の違反運転に関する特徴を検出するように構成されている。

　本明細書で開示する技術の第１９の側面によれば、第１１の側面に記載の映像処理装置の物体認識部は、周辺車両の走行状況とランプの点灯をともに物体認識して、走行状況とランプの点灯が一致しないときに、周辺車両の合図不履行違反に関する特徴を検出するように構成されている。

　また、本明細書で開示する技術の第２０の側面は、
　車両の外部又は内部を撮像した映像に含まれる物体の認識結果に基づいて、事故に至る可能性があるシーンの特徴を検出する物体認識ステップと、
　前記特徴が検出されたことに応じて前記映像の処理を制御する制御ステップと、
を有する映像処理方法である。

　本明細書で開示する技術によれば、車載カメラで撮像した映像の記録制御や記録映像の解析を好適に行なうことができる、優れた映像処理装置及び映像処理方法を提供することができる。

　なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術を適用することができる車両制御システム２０００の構成例を模式的に示した図である。図２は、撮像部２４１０及び車外情報検出部２４２０の設置位置の一例を示した図である。図３は、ヒヤリハット映像の記録を制御する映像処理装置３００の機能的構成を模式的に示した図である。図４は、映像処理装置３００がヒヤリハット映像のトリガー記録を制御するための処理手順を示したフローチャートである。図５は、映像処理装置５００の機能的構成を示した図である。図６は、外部装置６００のヒヤリハット映像の抽出処理を行なうための機能的構成を模式的に示した図である。図７は、外部装置６００がヒヤリハット映像を抽出するための処理手順を示したフローチャートである。図８は、映像処理装置８００の機能的構成を示した図である。

　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

Ａ．システム構成
　図１には、本明細書で開示する技術を適用することができる車両制御システム２０００の構成例を模式的に示している。図示の車両制御システム２０００は、駆動系制御ユニット２１００と、ボディ系制御ユニット２２００と、バッテリー制御ユニット２３００と、車外情報検出ユニット２４００と、車内情報検出ユニット２５００と、統合制御ユニット２６００などの複数の制御ユニットで構成されている。

　各制御ユニット２１００～２６００は、通信ネットワーク２０１０を介して相互接続されている。通信ネットワーク２０１０は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＦｌｅｘＲａｙ（登録商標）などの任意の通信規格に準拠した車載通信ネットワークでよい。また、ローカルに定めたプロトコルでも良い。

　各制御ユニット２１００～２６００はそれぞれ、例えば、各種プログラムに従って演算処理を行なうマイクロ・コンピューターと、マイクロ・コンピューターにより実行されるプログラム又は各種演算に用いられるパラメーターなどを記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備えている。また、各制御ユニット２１００～２６００は、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行なうためのネットワーク・インターフェース（ＩＦ）を備えるとともに、車内外の装置又はセンサーなどとの間で有線通信又は無線通信により通信を行なうための通信インターフェースを備えている。

　駆動系制御ユニット２１００は、各種プログラムに従って車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関や駆動用モーターなどの車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置などの制御装置として機能する。また、駆動系制御ユニット２１００は、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）やＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）などの制御装置としての機能を備えてもよい。

　駆動系制御ユニット２１００には、車両状態検出部２１１０が接続されている。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロ・センサー、車両の加速度を検出する加速度センサー、あるいは、アクセル・ペダルの操作量、ブレーキ・ペダルの操作量、ステアリング・ホイールの操舵角、エンジン回転数又は車輪の回転速度などを検出するためのセンサーのうちの少なくとも１つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行ない、内燃機関や駆動用モーター、電動パワー・ステアリング装置、ブレーキ装置など（いずれも図示しない）を制御する。

　ボディ系制御ユニット２２００は、各種プログラムに従って車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリーシステムやスマートキーシステムといったドアロックの施錠と解除並びにシステム２０００の始動と停止に関する制御装置、パワーウィンドウ装置や各種ランプ（ヘッドランプ、バックランプ、ブレーキ・ランプ、ターンシグナル、フォグランプを含む）の制御装置として機能する。ボディ系制御ユニット２２００は、鍵に内蔵される（若しくは、鍵を代替する）携帯発信機から送出される電波又は各種スイッチの信号が到来すると、車両のドアロック装置やパワーウィンドウ装置、ランプなど（いずれも図示しない）を制御する。

　バッテリー制御ユニット２３００は、各種プログラムに従って駆動用モーターの電力供給源である二次電池を制御する。例えば、バッテリー制御ユニット２３００には、二次電池を備えたバッテリー装置２３１０は、二次電池のバッテリー温度やバッテリー出力電圧、バッテリーの残存容量などを計測して、バッテリー制御ユニット２３００に出力する。バッテリー制御ユニット２３００は、バッテリー装置２３１０からの入力情報を用いて演算処理を行ない、二次電池の温度調節制御やバッテリー装置２３１０に備えられた冷却装置（図示しない）などの制御を実施する。

　車外情報検出ユニット２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット２４００には、撮像部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続されている。

　撮像部２４１０は、いわゆる車載カメラであるが、ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ又はその他のカメラのうちの少なくとも１つが含まれる。車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサーや、周辺車両や障害物、通行人などを検出するための周囲情報検出センサー、音声センサー（車両の周辺で発生する音声を集音するマイク）のうちの少なくとも１つ（いずれも図示しない）が含まれる。車外情報検出部２４２０が音声センサーの場合、クラクションや急ブレーキ、衝突音など、事故やヒヤリハットに伴う車外の音を取得することができる。

　ここで言う環境センサーは、例えば、雨天を検出する雨滴センサー、霧を検出する霧センサー、日照度合いを検出する日照センサー、降雪を検出する雪センサーなどである。また、周囲情報検出センサーは、超音波センサーやレーダー装置、ＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）装置などで構成される。

　これらの撮像部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサー乃至装置として構成してもよいし、複数のセンサー乃至装置が統合された装置として構成してもよい。

　撮像部２４１０及び車外情報検出部２４２０の設置位置の一例を図２に示しておく。同図中、撮像部２９１０、２９１２、２９１４、２９１６、２９１８は、撮像部２４１０に相当するが、例えば車両２９００のフロントノーズ、サイドミラー、リアバンパー、バックドア及び車室内のフロントガラスの上部のうちの少なくとも１つの位置に配設されている。フロントノーズに備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を捕捉する。車両２９００の前方を捕捉した画像に基づいて、先行車両や通行人、障害物、信号機、交通標識、車線などを検出することができる。また、サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を捕捉する。また、リアバンパー又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を捕捉する。

　図２中、撮像範囲ａはフロントノーズに設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ並びにｃはそれぞれ左右のサイドミラーに設けられた撮像部２９１２並びに２９１４の撮像範囲を示し、撮像範囲ｄはリアバンパー又はバックドアに設けられた撮像部２９１６の撮像範囲を示している。例えば、撮像部２９１０，２９１２，２９１４，２９１６で撮像された画像データを重ね合わることにより、車両２９００を上方から見た俯瞰画像を得ることができる。なお、車室内のフロントガラスの上部に設けられた撮像部２９１８の撮像範囲については、図示を省略する。

　車両２９００のフロント、リア、サイド、コーナー及び車室内のフロントガラスの上部にそれぞれ設けられる各車外情報検出部２９２０、２９２２、２９２４、２９２６、２９２８、２９３０は、例えば超音波センサーやレーダー装置で構成される。車両２９００のフロントノーズ、リアバンパー、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０、２９２６、２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０～２９３０は、主として先行車両、通行人又は障害物などの検出に用いられる。

　再び図１を参照しながら、車両制御システム２０００の構成に関する説明を続ける。車外情報検出ユニット２４００は、撮像部２４１０に車外の画像を撮像させる（図２を参照のこと）とともに、撮像された画像データを撮像部２４１０から受信する。また、車外情報検出ユニット２４００は、車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサー、レーダー装置、又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット２４００は、超音波又は電磁波などを発信させるとともに、車外情報検出部２４２０からの反射波の情報を受信する。

　車外情報検出ユニット２４００は、車外情報検出部２４２０から受信した情報に基づいて、周囲の人や車両、障害物、標識又は路面上の文字などを認識する画像認識処理や、車外の物体を検出又は認識する物体認識処理、車外の物体までの距離検出処理を行なってもよい。また、車外情報検出ユニット２４００は、車外情報検出部２４２０から受信した情報に基づいて、降雨、霧、又は路面の状態などの周囲環境を認識する環境認識処理を行なってもよい。

　なお、車外情報検出ユニット２４００は、車外情報検出部２４２０から受信した画像データに対して歪補正又は位置合わせなどの処理を行なうとともに、異なる撮像部２４１０により撮像された画像データを合成して俯瞰画像又はパノラマ画像を生成するようにしてもよい。また、車外情報検出ユニット２４００は、異なる撮像部２４１０により撮像された画像データを用いて、視点変換処理を行なうようにしてもよい。

　車内情報検出ユニット２５００は、車内の情報を検出する。車内情報検出ユニット２５００には、例えば、車両を運転するドライバー（以下、単に「ドライバー」とする）の状態を検出する車内状態検出部２５１０が接続されている。車内情報検出ユニット２５００は、車内状態検出部２５１０から入力されるドライバー状態情報に基づいて、車内の情報を検出する。例えば、車内情報検出ユニット２５００は、ドライバーの疲労度合い又は集中度合いを算出してもよいし、ドライバーが居眠りをしていないかを判別する。また、車内情報検出ユニット２５００は、さまざまなドライバー状態を検出するとともに、ドライバー（又は、ドライバー以外の搭乗者）によって車両の運転の実施が可能か不可能かを判別する（後述）。ここで言うドライバーとは、車内にいる搭乗者のうち、車内の運転席に座っている搭乗者、あるいは、統合制御ユニット２６００が運転を行なうべき人物として記憶している搭乗者を指すものとする。車内情報検出ユニット２５００は、搭乗者の座っている位置によってドライバーを検知してもよいし、車内を撮像した画像に含まれる搭乗者の顔に基づいて、あらかじめドライバーとして登録してある顔画像と撮像された顔画像の比較によりドライバーを判別するようにしてもよい。

　車内状態検出部２５１０は、ドライバーや他の搭乗者など車室内を撮像する車載カメラ（ドラモニカメラ）や、ドライバーの生体情報を検出する生体センサー、車室内の音声を集音するマイクなどを含んでもよい。車内情報検出ユニット２５００は、マイクで集音された音声信号に対してノイズ・キャンセリングなどの信号処理を行なうようにしてもよい。また、プライバシー保護などの目的で、特定の音声のみ変調をかけてもよい。生体センサーは、例えば、座面又はステアリング・ホイールなどに設けられ、ステアリング・ホイールを握るドライバーやステアリング・ホイールを握るドライバーの生体情報を検出する。マイクは、クラクションや急ブレーキ、搭乗者の音声（悲鳴）など、事故やヒヤリハットに伴う車室内の音を取得することができる。

　また、車内状態検出部２５１０は、運転席やその他の座席に加わる荷重（座席に人が座ったか否か）を検出する荷重センサーを含んでもよい。また、車内状態検出部２５１０は、アクセルやブレーキ、ステアリング、ワイパー、ターンシグナル、エアコン、その他のスイッチなど、ドライバーが車両を操作するさまざまなデバイスに対する操作に基づいて、ドライバーの状態を検出するようにしてもよい。また、車内状態検出部２５１０は、ドライバーの運転免許証不所持や運転拒否といったステータスのチェックを行なうようにしてもよい。

　統合制御ユニット２６００は、各種プログラムに従って車両制御システム２０００内の動作全般を制御する。図１に示す例では、統合制御ユニット２６００は、マイクロ・コンピューター２６１０と、汎用通信インターフェース２６２０と、専用通信インターフェース２６３０と、測位部２６４０と、ビーコン受信部２６５０と、車内機器インターフェース２６６０と、音声画像出力部２６７０と、車載ネットワーク・インターフェース２６８０と、記憶部２６９０を備えている。また、統合制御ユニット２６００には、入力部２８００が接続されている。

　入力部２８００は、例えば、タッチパネルやボタン、マイクロフォン、スイッチ、レバーなど、ドライバーやその他の搭乗者によって入力操作され得る装置で構成される。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモート・コントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）、スマートフォン、タブレットなどの外部接続機器（いずれも図示しない）であってもよい。入力部２８００はマイクによる音声入力でもよい。入力部２８００は、例えばカメラであってもよく、その場合、搭乗者はジェスチャーにより統合制御ユニット２６００に情報を入力することができる。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者らにより入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。ドライバーを始めとする搭乗者らは、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりすることができる。

　記憶部２６９０は、マイクロ・コンピューターにより実行される各種プログラムを記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、及び各種パラメーター、演算結果やンサーの検出値などを記憶するＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）を含んでいてもよい。また、記憶部２６９０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）などの磁気記憶デバイスやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などの半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイスなどの大容量記憶装置（図示しない）で構成してもよい。大容量記憶装置は、例えば、撮像部２４１０で撮像した車両周辺や車室内の映像の記録（定常記録や、ヒヤリハット映像のトリガー記録（後述）など）に利用することができる。

　汎用通信インターフェース２６２０は、外部環境２７５０に存在するさまざまな機器との間の通信を仲介する汎用的な通信インターフェースである。汎用通信インターフェース２６２０は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｏｆ　Ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＷｉＭＡＸ、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）若しくはＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）などのセルラー通信プロトコル、Ｗｉ－Ｆｉ（登録商標）などの無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装している。汎用通信インターフェース２６２０は、例えば、セルラー通信における基地局や無線ＬＡＮにおけるアクセスポイントなどを介して、外部ネットワーク（例えば、インターネット、クラウド・ネットワーク、又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーション・サーバー又は制御サーバー、管理サーバー（後述）など）へ接続することができる。また、汎用通信インターフェース２６２０は、例えばＰ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、当該車両の近傍に存在する端末（例えば、ドライバーや通行人が携帯する情報端末、走行中の道路に隣接する店舗に設置された店舗端末、人間の介在なしに通信ネットワークに接続するＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末（家庭用ガスのメーターや自動販売機など）など）と接続してもよい。

　専用通信インターフェース２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信インターフェースである。専用通信インターフェース２６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Ｗｉｒｅｌｅｓｓ　Ａｃｃｅｓｓ　ｉｎ　Ｖｅｈｉｃｌｅ　Ｅｎｖｉｒｏｎｍｅｎｔ）、又はＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ　Ｓｈｏｒｔ　Ｒａｎｇｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、セルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信インターフェース２６３０は、典型的には、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、車と家の間（ＶｅｈｉｃｌｅｔｏＨｏｍｅ）及び歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

　測位部２６４０は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、ＰｌａｃｅＥｎｇｉｎｅ（登録商標）などを利用して無線アクセスポイントからの電測情報に基づいて現在位置を特定してもよく、又は測位機能を有する携帯電話機、ＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙ－ｐｈｏｎｅ　Ｓｙｓｔｅｍ）若しくはスマートフォンといった搭乗者が所持する携帯端末から位置情報を取得するようにしてもよい。

　ビーコン受信部２６５０は、例えば、道路上に設置された無線局などから発信される電波又は電磁波を受信し、車両の現在位置や道路交通情報（渋滞、通行止め、所要時間などの情報）を取得する。なお、ビーコン受信部２６５０の機能を、上述した専用通信インターフェース２６３０に含めて実装することも可能である。

　車内機器インターフェース２６６０は、マイクロ・コンピューター２６１０と車内に存在するさまざまな機器２７６０との間の接続を仲介する通信インターフェースである。車内機器インターフェース２６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ））といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器インターフェース２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ、ＨＤＭＩ（登録商標）（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）などの有線接続を確立してもよい。車内機器インターフェース２６６０は、例えば、搭乗者が所持するモバイル機器やウェアラブル機器、又は車両に搬入され若しくは取り付けられる車内機器２７６０との間で、制御信号又はデータ信号を交換する。

　車載ネットワーク・インターフェース２６８０は、マイクロ・コンピューター２６１０と通信ネットワーク２０１０との間の通信を仲介するインターフェースである。車載ネットワーク・インターフェース２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号などを送受信する。

　統合制御ユニット２６００のマイクロ・コンピューター２６１０は、汎用通信インターフェース２６２０、専用通信インターフェース２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器インターフェース２６６０、車載ネットワーク・インターフェース２６８０のうちの少なくとも１つを介して取得される情報に基づいて、各種プログラムに従って、車両制御システム２０００を制御する。

　例えば、マイクロ・コンピューター２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロ・コンピューター２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転などを目的とした協調制御を行なうようにしてもよい。

　また、マイクロ・コンピューター２６１０は、汎用通信インターフェース２６２０、専用通信インターフェース２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器インターフェース２６６０及び車載ネットワーク・インターフェース２６８０のうちの少なくとも１つを介して取得される情報に基づいて、当該車両の現在位置の周辺情報を含むローカル地図情報を作成するようにしてもよい。また、マイクロ・コンピューター２６１０は、取得される情報に基づいて、当該車両の衝突、通行人や建造物などの接近、通行止めの道路への進入などの危険を予測して、警告用信号を生成するようにしてもよい。ここで言う警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号である。

　また、マイクロ・コンピューター２６１０は、上述した記憶部２６９０などを利用して、ドライブ・レコーダー機能を実現するようにしてもよい。具体的には、マイクロ・コンピューター２６１０は、撮像部２４１０で撮像した車両周辺や車室内の映像の記録の制御（定常記録や、ヒヤリハット映像のトリガー記録（後述）など）を行なうようにしてもよい。

　音声画像出力部２６７０は、当該車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。出力装置が表示装置の場合、表示装置は、マイクロ・コンピューター２６１０が行なった各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフなどさまざまな形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データなどからなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。図１に示す例では、出力装置として、オーディオ・スピーカー２７１０、表示部２７２０、並びにインストルメント・パネル２７３０が装備されている。

　表示部２７２０は、例えば、オンボード・ディスプレイ又はヘッド・アップ・ディスプレイの少なくとも１つを含んでいてもよい。ヘッド・アップ・ディスプレイは、フロントガラスを利用してドライバーの視野に（無限遠の点に結像するような）画像を映し出すデバイスである。表示部２７２０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を備えていてもよい。上述した以外にも、ヘッドホン、プロジェクター又はランプなどを出力装置として車両に備えていてもよい。

　また、インストルメント・パネル２７３０は、運転席（並びに助手席）の正面に配置され、スピードメーターやタコメーター、燃料計、水温計、距離計といった自動車の走行に必要な情報を指し示すメーター・パネルや、目的地までの走行案内を行なうナビゲーション・システムを含む。

　なお、図１に示した車両制御システム２０００を構成する複数の制御ユニットのうち少なくとも２つの制御ユニットを物理的に１つのユニットとして一体化して構成してもよい。また、車両制御システム２０００が図１に示した以外の制御ユニットをさらに備えていてもよい。あるいは、制御ユニット２１００～２６００のうち少なくとも１つを物理的には２以上のユニットの集まりで構成してもよい。また、制御ユニット２１００～２６００が担うべき機能のうち一部を他の制御ユニットで実現するようにしてもよい。要するに、通信ネットワーク２０１０を介した情報の送受信によって実現される上記の演算処理がいずれかの制御ユニットで行なわれるように構成されていれば、車両制御システム２０００の構成を変更することが許容される。また、いずれかの制御ユニットに接続されているセンサーや装置類が他の制御ユニットにも接続されていてもよく、あるセンサー又は装置で検出若しくは取得された情報を、通信ネットワーク２０１０を介して複数の制御ユニット間で相互に送受信するようにしてもよい。

Ｂ．ヒヤリハット映像の記録
　本実施形態に係る車両制御システム２０００では、例えばマイクロ・コンピューター２６１０が記憶部２６９０（あるいはその他の大容量記憶装置）を利用して、ドライブ・レコーダー機能を実現することができる。

　ドライブ・レコーダーに記録される情報は、事故の前後に自動車の挙動を客観的に判断し、さらに事故防止を目指す上で重要な情報である。言い換えれば、ドライブ・レコーダーの主目的は、事故映像やヒヤリハット映像（以下では、両映像をまとめて「ヒヤリハット映像」と呼ぶことにする）を記録することにある。したがって、記憶部２６９０などに記録できる有限時間の中で、時々刻々と検出される車両の情報を定常記録（有限時間の中で上書き保存）しつつ、ヒヤリハット映像を正確に抽出して記録する必要がある。

　事故やヒヤリハットの事象を検出したことに応答してヒヤリハット映像を記録することを、「トリガー記録」と呼ぶことにする。トリガー記録は、事故やヒヤリハットの事象を検出したことに応答して、定常記録とは別に設けられたトリガー記録専用の記憶装置（若しくは、トリガー記録専用の記憶領域）にヒヤリハット映像を記録する方法や、定常記録を行なう記憶装置に対してヒヤリハット映像の上書き禁止区間を指定する方法などがある。

　従来のドライブ・レコーダーの多くは、加速度センサーの情報に基づいて事故やヒヤリハットの事象を検出している。しかしながら、加速度センサーの情報を利用する場合、事故やヒヤリハットに伴う加速度変化と、路面の段差や凹凸、運転者の運転の仕方などに起因する加速度変化を見分けるのが難しい。また、加速度センサーの情報では、車両の自重よりずっと軽いものとの衝突や駐車中のいたずらなどに反応できないケースもある。この結果、誤検出によるトリガー記録が頻発し、ヒヤリハット映像が多くの誤検出映像の中に埋没してしまうという問題がある。

　そこで、本明細書では、車載カメラの撮像映像に含まれる物体の認識結果に基づいて検出されるヒヤリハット特徴に応じて、より高精度にヒヤリハット映像のトリガー記録を行なう技術について開示する。

　本明細書で開示する技術によれば、車載カメラの映像の物体認識結果に基づくヒヤリハット特徴に応じてヒヤリハットが発生したことを検出するので、路面の段差や凹凸、運転者の運転の仕方などに起因する加速度変化からヒヤリハットの事象を誤検出することがなくなり、トリガー記録の精度が向上する。すなわち、誤検出映像の記録を抑制することができ、ヒヤリハット映像を検索、管理する手間を大幅に削減することができる。本明細書で開示する技術のかかる効果は、近年の車載カメラ映像に対する認識技術の向上にも依拠する。

　また、本明細書で開示する技術によれば、車両の自重よりもずっと軽いものとの衝突や、駐車中のいたずらなど、加速度変化が小さいヒヤリハットの事象も、車載カメラの映像の物体認識結果に基づいて検出することができる。

　本明細書で開示する技術によれば、映像に映った物体の認識結果に基づいてヒヤリハットの事象を検出するので、車両上のリアルタイム処理としてトリガー記録を行なう以外に、自動車の運転が終了した後にＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）やサーバーなど車両外の装置上で事後処理としてもトリガー記録を行なうことができる。勿論、既に稼働しているドライブ・レコーダーの記録映像に対しても、高精度なトリガー記録を実施することができる。

　本明細書で開示する技術は、車載カメラによる撮像映像の物体認識結果に基づいてヒヤリハットの事象を検出することを基本とするが、距離画像（ｄｅｐｔｈ　ｍａｐ）を組み合わせることによって、ヒヤリハットをさらに高精度に検出することができる。例えば、撮像部２４１０にステレオカメラを用いることで、距離画像を取得することができる。

　また、本明細書で開示する技術は、車載カメラによる撮像映像の物体認識結果に基づいて検出されるヒヤリハット特徴と、（車両の現在位置の）地図情報とを組み合わせることで、より高精度にヒヤリハット映像のトリガー記録を行なうことができるようになる。

　また、本明細書で開示する技術は、車載カメラによる映像の物体認識結果に基づいて検出されるヒヤリハット特徴と、加速度センサーやその他の各種センサーによる検出情報とを組み合わせることで、より高精度にヒヤリハット映像のトリガー記録を行なうことができるようになる。

　本明細書で開示する技術は、撮像部２４１０で撮像された車両周辺（すなわち、車外）の映像だけでなく、車室内を撮像するドラモニカメラの映像についても物体認識した結果に基づいてヒヤリハット特徴を検出するようにしてもよい。

Ｂ－１．ヒヤリハット特徴
　ここで、トリガー記録の対象となるヒヤリハットについて考察する。

　ヒヤリハットを、自車両の運転が原因となるヒヤリハットと、周辺車両の運転が原因となるヒヤリハットと、車両の運転以外が原因となるヒヤリハットの３種類に大別することができる。

　自車両の運転によるヒヤリハットの原因として、自車両の異常運転と、自車両の違反運転を挙げることができる。

　自車両の異常運転には、例えば自車両のスピンやスリップが含まれる。自車両の運転が異常になると、撮像部２４１０などの車載カメラで撮像した前方又は後方の道路が画面内で異常な軌道となる。したがって、車載カメラで撮像した映像から、道路を物体認識して、自車両の異常運転を検出することができる。例えば、車載カメラで撮像した道路から、車道中央線、車線境界線、車線境界線などの区画線を抽出して、道路を物体認識することができる。また、自車両がスピンした際には、車線に対してステアリングの方向が異常となることから、車両状態検出部２１１０が検出したステアリング・ホイールの操舵角を道路の物体認識結果と併せて利用することで、より高精度に異常を検出することができる。

　また、衝突を回避するためにドライバーが急ブレーキや急ハンドルなどの運転操作を行なったことにより、スピンやスリップなどの自車両の異常運転が引き起こされることもある。このような場合、車載カメラで撮像した自車両周辺の映像から、自車両以外の物体（周辺車両や通行人、動物、道路工事、ガードレール、電柱、建造物、その他の障害物）を物体認識することによって、自車両の異常運転を検出することができる。自車両が左右折する際、死角が生じ易い。車載カメラで撮像した自車両周辺の映像から、死角位置に存在する物体も認識することができる。

　雪や雨などの天候や、路面の凍結など道路の状態といった周囲環境に起因して、スピンやスリップなどの自車両の異常運転が発生することもある。車載カメラで撮像した自車両周辺の映像から、降雪や降雨、路面を物体認識することによって、周囲環境の悪化による自車両の異常運転を迅速若しくは事前に検出することができる。

　さらに、脇見や漫然運転、ドライバーの離席（ハンドルを長時間離していることを含む）、居眠り運転、意識喪失など、ドライバーの状態（異常な挙動）によって自車両が異常運転となることもある。このような場合、撮像部２４１０による車外（自車両周辺）の映像の物体認識に加え、ドラモニカメラや生体センサーなど車内状態検出部２５１０によるドライバー状態の検出結果も利用して、自車両の異常運転を検出することができる。また、撮像部２４１０による車外の撮像映像をトリガー記録するだけでなく、ドラモニカメラによる車室内の撮像映像もトリガー記録するようにしてもよい。

　また、自車両の違反運転は、その後に事故やヒヤリハットにつながる可能性がある。自車両の違反運転として、自車両の車線を逸脱した走行、制限速度違反、停止線の無視、信号無視、一方通行違反、その他の標識違反など、自車両が道路交通法規に違反した運転を挙げることができる。ここで言う交通法規は、例えば道路交通法である。また、違反には、交通法規の違反の他、交通ルールやマナーに反する行為を含めるようにしてもよい（以下、同様）。

　車載カメラで撮像した映像から、道路に引かれた区画線（車道中央線、車線境界線、車道外側線など）や横断歩道、路側帯、信号機などを物体認識したり、道路脇に設置されたり路面に描かれたりした各種の道路標識の物体認識結果から走行中の道路に適用されている規制（一方通行など）を特定したりし、自車両の運転が交通規制を遵守していないときには違反運転を検出することができる。また、必要に応じて、（自車両の現在位置における）地図情報を用いて、制限速度や一方通行など走行中の道路に規定されている交通規制などの情報を取得するようにしてもよい。

　自車両がスピンやスリップを起こすと、車体の加速度変化を伴う。また、自車両の異常運転の多くは、急ブレーキや急ハンドルなどの運転操作が行なわれて加速度変化を伴うので、加速度センサーの検出結果を用いても検出することができる。但し、異常運転が加速度変化を伴うとは限らず、また、加速度変化が異常運転に起因するとも限らない。一方、自車両の違反運転の場合、ドライバーが道路標識を見落とすなど走行中の道路に規定されている交通規制を看過したときには急ブレーキや急ハンドルなどの運転操作が行なわれないため、そもそも加速度センサーの検出結果に基づいて検出するのは困難である。これに対して、本明細書で開示する技術によれば、車載カメラで撮像した映像の物体認識結果に基づいて、自車両の異常運転だけでなく違反運転について、好適に検出することができる。

　周辺車両の運転によるヒヤリハットの原因として、周辺車両の異常運転と、周辺車両の違反運転を挙げることができる。

　周辺車両の異常運転には、周辺車両（とりわけ、先行車両）同士の接近、周辺車両の自車両への接近などが含まれる。車載カメラで撮像した映像から周辺車両を物体認識して、周辺車両同士の接近や自車両への接近を検出することができる。さらに距離画像を併用することで、周辺車両間の距離や自車両と周辺車両間の距離をより高精度に測定することができる。

　また、周辺車両の違反運転は、自車両を巻き込んで事故やヒヤリハットにつながる可能性がある。周辺車両の違反運転として、周辺車両の車線を逸脱した走行、制限速度違反、停止線の無視、信号無視、一方通行違反、その他の標識違反を挙げることができる。車載カメラで撮像した映像から、道路に引かれた区画線（車道中央線、車線境界線、車道外側線など）や路側帯などを物体認識したり、道路脇に設置されたり路面に描かれたりした各種の道路標識の物体認識結果から走行中の道路に適用されている規制（一方通行など）を特定したりする（同上）。必要に応じて、（自車両の現在位置における）地図情報を用いて交通規制などの情報を取得するようにしてもよい。そして、車載カメラで撮像した映像に基づいて物体認識された周辺車両が、交通規制を遵守していないときには違反運転を検出することができる。

　異常運転や違反運転を行なう周辺車両が接近してくるなど、自車両に危険を及ぼす場合には、ドライバーが急ブレーキや急ハンドルなどの運転操作を行なうと加速度変化を伴うので、加速度センサーの検出結果を用いてもヒヤリハットを検出することができる。しかしながら、異常運転や違反運転を行なう周辺車両がドライバーの死角にありドライバーが看過したときには急ブレーキや急ハンドルなどの運転操作が行なわれないため、加速度センサーの検出結果に基づいてヒヤリハットを検出するのは困難である。また、ドライバーが周辺車両の違反運転に気づかないことも多い。これに対し、本明細書で開示する技術によれば、車載カメラで撮像した映像の物体認識結果に基づいて、自車両だけでなく周辺車両の異常運転や違反運転について、好適に検出することができる。付言すれば、周辺車両の異常運転や違反運転の映像は、自車両のヒヤリハットや事故に結び付かなくても、その後に周辺車両が事故を起こすこともあり、トリガー記録を行なうに値する。

　なお、特許文献１には、外部映像を画像認識した結果に基づいてドライブ・レコーダーへの記録の開始をコントロールする運転支援装置について開示しているが、先行車両のストップランプやハザードランプ、ターンシグナルの点灯を認識するにとどまる。言い換えれば、特許文献１に記載の技術によれば、先行車両の大まかな挙動に基づいて映像の記録を制御するので、先行車両の異常運転以外の（すなわち、ヒヤリハットでない）映像も誤記録してしまう可能性が高く、また、特許文献１に記載の技術では、先行車両以外の周辺車両の異常運転や、周辺車両の違反運転に関するヒヤリハット映像を記録することはできないと思料される。

　車両（自車両及び周辺車両）の運転以外によるヒヤリハットの原因として、雪や雨などの天候や、路面の凍結など道路の状態、障害物となるような車両以外の物体（周辺車両や通行人、動物、道路工事、ガードレール、電柱、建造物、その他の障害物）の存在といった周囲環境を挙げることができる。車載カメラで撮像した自車両周辺の映像から、降雪や降雨、路面、周辺の物体などの周囲環境を物体認識することによって、車両運転以外のヒヤリハットの原因を検出することができる。

　天候や路面の状態の影響により自車両がスピンやスリップを起こすと、車体の加速度変化を伴うので、加速度センサーの検出結果を用いても検出することができる。また、自車両に物体が接近してきたときに、ドライバーが急ブレーキや急ハンドルなどの運転操作を行なうと、加速度変化を伴うので、加速度センサーの検出結果を用いても検出することができる。しかしながら、周囲環境が劣悪若しくは好ましくない状態であっても、まだ車両がスピンやスリップを起こしておらず、ドライバーが急ブレーキや急ハンドルなどの運転操作を行なっていないと、加速度センサーの検出結果に基づいて検出するのは困難である。これに対し、本明細書で開示する技術によれば、車載カメラで撮像した映像の物体認識結果に基づいて、ヒヤリハットの原因となる周囲環境を好適に検出することができる。

　本明細書で開示する技術では、基本的には車載カメラで撮像した映像の物体認識結果に基づいて、ヒヤリハット映像を記録するトリガーとなるヒヤリハット特徴を検出するが、必要に応じて距離画像や地図情報と組み合わせて検出精度を向上させ、また加速度センサーなど各種センサーの検出結果と併用してもよい。また、ヒヤリハットの程度を数値化した「ヒヤリハット特徴量」として測定して、閾値判定によりヒヤリハット特徴を検出するようにしてもよい。

　本明細書で開示する技術では、上述した３種類のヒヤリハットの原因を踏まえて、ヒヤリハット映像を記録するトリガーとなるヒヤリハット特徴として、（１）衝突に結び付く物体の接近、（２）スピン・スリップ、（３）違反運転（自車両及び周辺車両を含む）、（４）音声、（５）車室内異常、（６）その他の自車両周辺の異常、の６種類を定義する。以下、各ヒヤリハット特徴について、検出方法とともに説明する。

（１）衝突に結び付く物体の接近
　衝突に結び付く物体の接近に関するヒヤリハット特徴として、周辺車両同士の接近、自車両と周辺車両の接近、車両以外の物体（通行人、動物、道路工事、ガードレール、電柱、建造物、その他の障害物）の接近などを挙げることができる。衝突に結び付く物体の接近は、自車両の運転が原因となる場合と、周辺車両の運転が原因となる場合がある。

　周辺車両や、車両以外の上記物体がこのヒヤリハット特徴を検出するための物体認識の対象であり、撮像部２４１０などの車載カメラで撮像した自車両周辺の映像を物体認識処理して、周辺車両や物体を認識する。ドライバーの視野外の領域も車載カメラで撮像することで、左右折の際の死角位置の物体も認識することができる。

　次いで、認識した周辺車両間、認識した周辺車両と自車両間、認識した物体と自車両間の距離も測定する。映像に加えて距離画像も利用することで、距離をより高精度に測定することができる。そして、周辺車両間、周辺車両と自車両間、物体と自車両間の衝突が不可避、又は衝突する可能性が高いことが車速から判断されると、ヒヤリハット特徴として検出する。物体間の距離や、距離を車速で割った時間に基づいて数値化したヒヤリハット特徴量を算出するようにしてもよい。そして、ヒヤリハット特徴量が所定の閾値を超えたときに、映像からヒヤリハット特徴を検出したと判定して、ヒヤリハット映像の記録のトリガーとしてもよい。

　雪や雨などの天候や、路面の凍結など周囲環境が劣悪になると、ブレーキを踏んでからの停止距離が長くなる。そこで、算出したヒヤリハット特徴量に、周囲環境に応じた重みを付けて、ヒヤリハット特徴の判定を行なうようにしてもよい。天候や路面状態に応じて、ヒヤリハット特徴を検出し易くなるように操作することができる。降雪や降雨をさらに物体認識の対象としたり、車外情報検出部２４２０に含まれる環境センサー（前述）の検出結果を併用したりしてもよい。

　なお、特許文献１には、外部映像を画像認識した結果に基づいてドライブ・レコーダーへの記録の開始をコントロールする運転支援装置について開示しているが、先行車両のストップランプやハザードランプ、ターンシグナルの点灯を認識するにとどまる。言い換えれば、特許文献１に記載の技術によれば、先行車両との衝突を大雑把に判定して映像の記録を制御するので、周辺車両同士の接近や、自車両と先行車両以外の周辺車両との接近、車両以外の障害物との接近などのヒヤリハット映像を記録することはできないと思料される。

（２）スピン・スリップ
　一般には、スピンは、タイヤが路面に対して滑って車体が回転して、進みたい方向と車体の向きが大幅に違ってしまうことである。また、タイヤが滑っても車体がそれほど回転しなければ、スリップである。スピン・スリップは、自車両の異常運転である。

　自車両がスピンやスリップを起こすと、撮像部２４１０などの車載カメラで撮像した前方又は後方の道路が画面内で異常な軌道となる。したがって、スピンやスリップに関するヒヤリハット特徴を検出する際、道路が物体認識の対象である。撮像部２４１０などの車載カメラで撮像した自車両周辺の映像を物体認識処理して、道路や、道路に引かれた区画線（車道中央線、車線境界線、車道外側線など）、路肩、路側帯などを認識する。そして、認識した道路が画面内で異常な軌道となったときに、スピン又はスリップのヒヤリハット特徴として検出する。

　また、物体認識した車線に対してステアリングの方向が異常となると、ヒヤリハット特徴として検出する。車両状態検出部２１１０が検出したステアリング・ホイールの操舵角を併せて利用することで、より高精度にヒヤリハット特徴を検出することができる。

　また、車載カメラで撮像した映像の画面全体が水平にスライドするなど、自車両が直進したり、左右折したりする場合とは異なる動きとなった場合には、スピン又はスリップのヒヤリハット特徴として検出する。

　区画線（車道中央線、車線境界線、車道外側線など）に基づいて道路を認識することができる。そして、物体認識された道路の画面内での変位量や、認識された道路の方向に対するステアリングの方向のなす角度、車載カメラで撮像した映像の画面全体の水平方向の変位量などに基づいて、数値化したヒヤリハット特徴量を算出するようにしてもよい。そして、ヒヤリハット特徴量が所定の閾値を超えたときに、ヒヤリハット特徴を検出したと判定して、ヒヤリハット映像の記録のトリガーとしてもよい。

　雪や雨などの天候や、路面の凍結など周囲環境が劣悪になると、スピンやスリップなどの自車両の異常運転が発生し易くなる。そこで、算出したヒヤリハット特徴量に、周囲環境に応じた重みを付けて、ヒヤリハット特徴の判定を行なうようにしてもよい。天候や路面状態に応じて、ヒヤリハットを検出し易くなるように操作することができる。降雪や降雨をさらに物体認識の対象としたり、車外情報検出部２４２０に含まれる環境センサー（前述）の検出結果を併用したりしてもよい。

（３）違反運転
　ここで言う違反運転は、自車両の違反運転と周辺車両の違反運転の双方を対象とする。交通法規（道路交通法など）や交通ルール、マナーに違反した運転は、ヒヤリハットや事故に結び付き易いからである。車両だけでなく、通行人や自転車の違反行為も同様である。違反運転に関するヒヤリハット特徴として、車線を逸脱した走行（車線境界線を長時間跨いだ走行、追い越しではないタイミング（追越しのための右側部分はみ出し通行禁止を含む）や先行車両がない状況での車線境界線を跨いだ走行）、路側帯の走行、制限速度の超過、停止線位置で正しく停止しない、信号無視、一方通行違反、その他道路標識に対する違反、合図不履行違反（左折し、右折し、転回し、徐行し、停止し、後退し、又は同一方向に進行しながら進路を変えるときに、ターンシグナルなどにより正しく合図しない、又は合図とは異なる運転をする）を挙げることができる。また、車両の違反運転ではないが、横断歩道ではない場所で横断している通行人や自転車の違反行為も、便宜上このカテゴリーに含めて扱う。

　違反運転に関するヒヤリハット特徴を検出する際、道路や道路に引かれた区画線（車道中央線、車線境界線、車道外側線など）、停止線、横断歩道や路側帯、信号機、道路標識、周辺車両のターンシグナル（の点灯）が物体認識の対象である。

　例えば、道路に設置されたり路面に描かれたりした道路標識を物体認識して、現在走行している道路で規定されている規制（一方通行など）の内容を取得することができる。必要に応じて、地図情報を用いて、走行中の道路に規定されている交通規制などの情報を取得するようにしてもよい。そして、自車両であれば、映像に含まれる道路や風景の物体認識により得られる走行状況や、車両状態検出部２１１０で検出される走行状況と、道路標識の物体認識や地図情報に基づいて得られた道路の規制の情報とを比較し、一致しなければ、自車両の違反運転に関するヒヤリハット特徴として検出する。また、周辺車両であれば、映像から物体認識された周辺車両の走行状況を解析して、道路標識の物体認識や地図情報に基づいて得られた道路の規制の情報を比較し、一致しなければ（例えば、周辺車両が一方通行を違反した路地から出現したとき）、周辺車両の違反運転に関するヒヤリハット特徴として検出する。

　停止線違反については、道路上の停止線を物体認識し、現在の車両の車速又は加速度と停止線位置までの関係から、停止が不可能であると違反運転（停止位置無視）に関するヒヤリハット特徴として検出する。信号機違反については、信号機の赤信号又は黄信号を物体認識し、現在の車両の車速又は加速度と物体認識した信号機の位置までの関係から、停止が不可能であると違反運転（信号無視）に関するヒヤリハット特徴として検出する。自車両であれば、車両状態検出部２１１０が自車両の車速又は加速度を検出する。また、周辺車両であれば、物体認識によりその車速又は加速度を検出する。

　自車両の合図不履行違反については、ボディ系制御ユニット２２００で制御されるターンシグナルの点灯と、車両状態検出部２１１０で検出されるステアリング・ホイールの操舵方向とが一致しないときに、自車両の合図不履行違反に関するヒヤリハット特徴を検出する。また、自車両ではなく、周辺車両や通行人の違反に関するヒヤリハット特徴を検出する際には、周辺車両や通行人が物体検出の対象となる。周辺車両の合図不履行違反については、周辺車両の走行状況（停止や左右折など）とターンシグナルの点灯をともに物体認識して、走行状況とターンシグナルの点灯が一致しないときに（周辺車両がターンシグナルの点灯方向とは異なる方向に曲がったとき、又は、周辺車両がターンシグナルの点灯なしに左右折したとき）、周辺車両の合図不履行違反に関するヒヤリハット特徴を検出する。

　自車両や周辺車両の違反運転、さらには通行人の違反に関する上記のヒヤリハット特徴を検出すると、ヒヤリハット映像の記録のトリガーとする。

（４）音声
　衝突に結び付くような物体の接近や自車両の異常運転を、物体認識では検出できないが、ドライバーや搭乗者が目視や五感によって気づくことがある。例えば、衝突に結び付くような物体が接近したり、車両がスピンやスリップしたりした際には、ドライバーがクラクションを鳴らしたり急ブレーキを踏んだり、衝突音が発生したり、ドライバーやその他の搭乗者が音声（悲鳴）を発したりするが、これらは車室内でも観測される。そこで、車室内で観測される異常な音声をヒヤリハット特徴として検出するようにする。異常な音声は、自車両の運転が原因となる場合と、周辺車両の運転が原因となる場合、さらには周囲環境が原因となる場合がある。

　車内情報検出ユニット２５００は、車室内音声を集音するマイクを含んでいる（前述）。マイクで集音した車室内音声を認識することによって、叫び声や、クランション、急ブレーキ音、衝突音を検出することができる。車載カメラで撮像した映像の物体認識結果と車室内音声の認識結果を相補的に用いて、ヒヤリハット特徴を検出して、ヒヤリハット映像をトリガー記録するようにしてもよい。また、車室内音声に基づいてヒヤリハット特徴を検出した場合には、ドライブ・レコーダーがヒヤリハット映像の記録に併せて車室内音声の録音も行なうようにしてもよい。

　但し、車室内での搭乗者間の会話にはプライバシー情報も含まれる。そこで、プライバシー保護の観点から、ドライバーなど事前に音声登録した人以外の音声は変調を掛けるようにしてもよい。

（５）車室内異常
　ドライバーの状態（異常な挙動）によって自車両が異常運転となることもある。車室内異常に関するヒヤリハット特徴として、脇見や漫然運転、ドライバーの離席（ハンドルを長時間離していることを含む）、居眠り運転、意識喪失など、ドライバーの異常な挙動を検出するようにしてもよい。車室内異常は、基本的には、自車両の運転を原因とする。

　車室内異常に関するヒヤリハット特徴を検出する場合、ドライバーやその他の搭乗者を物体認識の対象とする。撮像部２４１０で車外を撮像した映像からは、ドライバーの状態を認識することはできない。そこで、車内状態検出部２５１０に含まれるドラモニカメラで撮像した映像に対して物体認識を行なうようにする。

　なお、車室内異常に関するヒヤリハット特徴を検出したときには、ヒヤリハット映像をトリガー記録することに併せて、ドライバーやその他の搭乗者に通知して、危険を回避するようにしてもよい。通知方法として、警告音を発することや、インストルメント・パネルに表示すること、座席に力や振動、動きなどを与えるようなハプティック・デバイスを利用すること、搭乗者が所持するスマートフォンなどの情報端末の機能（警告音などの音声出力や画像表示、バイブレーション機能）を利用することなどを挙げることができる。

（６）その他の自車両周辺の異常
　上述した（１）～（５）に含まれないヒヤリハット特徴を、その他の自車両周辺の異常に関するヒヤリハット特徴として検出する。

　例えば、周辺車両の合図不履行違反をヒヤリハット特徴として検出するために、周辺車両のターンシグナルを物体認識の対象とすることを既に述べた。その他の自車両周辺の異常に関するヒヤリハット特徴として、先行車両のストップランプの急な点灯や、先行車両のハザードランプの点灯を検出するようにしてもよい。先行車両のストップランプの急な点灯により、先行車両が急停止しようとしていることが分かり、自車両も早めにブレーキを踏むか他の車線へ車線変更する必要がある。また、先行車両のハザードランプの点灯により、先行車両が停止中又は駐車中であることが分かり、自車両は他の車線へ車線変更する必要がある。

　なお、各ヒヤリハット特徴を検出するための物体認識の対象や、物体認識以外に利用する情報（センサー情報など）を、以下の表１にまとめておく。

Ｂ－２．ヒヤリハット映像をトリガー記録するためのシステム構成
　図３には、ヒヤリハット映像の記録を制御する映像処理装置３００の機能的構成を模式的に示している。図示の映像処理装置３００は、映像取得部３０１と、物体認識部３０２と、加速度センサー３０３と、検出部３０４と、音取得部３０５と、音認識部３０６と、コントロール部３０７と、映像記録部３０８と、メモリー３０９を備えている。映像処理装置３００は、例えば図１に示した車両制御システム１００の１つの機能として実現され、車両に搭載して用いられることを想定している。

　映像取得部３０１は、車両に搭載され、車外（車両周辺）と車室内を撮像する１台以上の車載カメラで撮像された映像を取得する。ここで言う車載カメラは、例えば、図１に示した車両制御システム２０００中の、撮像部２４１０や、車内状態検出部２５１０に含まれるドラモニカメラに相当する。撮像部２４１０が複数の車載カメラからなり、車両の周辺を撮像する点は、図２を参照しながら説明した通りである。

　物体認識部３０２は、映像取得部３０１で取得した車両周辺の映像や車室内の映像に対して物体認識処理を行ない、認識結果に基づいてヒヤリハット特徴を検出する。物体認識部３０２は、撮像部２４１０で撮像された画像データを受信する車外情報検出ユニット２４００や、ドラモニカメラで撮像された画像データを受信する車内情報検出ユニット２５００に相当する。物体認識部３０２が検出するヒヤリハット特徴の定義や、各ヒヤリハット特徴を検出するために認識対象となる物体は、既に説明した通りである（表１を参照のこと）。

　物体認識部３０２は、例えばスピン・スリップに関するヒヤリハット特徴を検出する際に、映像に映っている降雪や降雨などを物体認識した結果に基づいて天候を判断して、天候に応じた重み付け処理を行なうようにしてもよい（前述）。あるいは、車外情報検出部２４２０に含まれる環境センサーで検出された天候又は気象の情報を利用するようにしてもよい。

　加速度センサー３０３は、車両に加わる加速度を計測する。検出部３０４は、加速度センサー３０３で計測された加速度の変化を検出し、加速度変化が所定の閾値以上になると、検出信号をコントロール部３０７に出力する。加速度センサー３０３は、例えば図１に示した車両制御システム２０００中の車両状態検出部２１１０に含まれている。また、検出部３０４は、車両状態検出部２１１０から入力される信号を用いて演算処理を行なう駆動系制御ユニット２１０に相当する。

　加速度センサー３０３によって計測される加速度は、車両の事故に伴う衝撃や、ヒヤリハットに伴う急ブレーキや急ハンドルなどの運転操作によって変化する他、路面の段差や凹凸、運転者の運転の仕方などにも起因して変化する。したがって、検出部３０４が出力する検出信号は、事故やヒヤリハットを示すとは限らない。

　音取得部３０５は、車室内や車両周辺で発生する音を集音して、音認識部３０６に音声信号を出力する。音認識部３０６は、音声認識処理を行ない、車室内の叫び声やクラクション、急ブレーキ音、衝突音などの異常音を検出すると、検出信号をコントロール部３０７に出力する。本明細書で開示する技術において定義するヒヤリハット特徴のうち、車室内異常は、車載カメラで撮影した映像の物体認識に基づかず、音認識部３０６により検出されるものとする。

　音取得部３０５は、例えば、図１に示した車両制御システム２０００中の車外情報検出部２４２０に含まれる音声センサーや、車内状態検出部２５１０に含まれる車室内の音声を集音するマイクに相当する。また、音声認識部３０６は、車外状態検出部２４２０からの受信信号に基づいて各種の認識・検出処理を行なう車外情報検出ユニット２４００や、車内状態検出部２５１０からの入力信号に基づいて車内の状態を検出する車内情報検出ユニット２５００に相当する。

　コントロール部３０７は、基本的には、物体認識部３０２から出力されるヒヤリハット特徴の検出信号に応じて、映像取得部３０１で取得される車載カメラの撮影映像のトリガー記録の制御を行なう。コントロール部３０７は、例えば図１に示した車両制御システム２０００中の統合制御ユニット２６００若しくはマイクロ・コンピューター２６１０に相当するが、あるいは車両制御システム２０００に含まれる複数の制御ユニットによって実現することもできる。

　図３に示す映像処理装置３００では、トリガー記録として、映像取得部３０１で取得した映像の定常記録（有限時間の中で上書き保存）とは別ファイルとして、ヒヤリハット映像の記録を行なう。但し、定常記録を行なう記憶装置に対してヒヤリハット映像の上書き禁止区間を指定するメタ情報を付加するというトリガー記録の方法もある。

　コントロール部３０７は、物体認識部３０２からヒヤリハット特徴の検出信号が入力されたことに応答して、車載カメラで撮像した映像からヒヤリハット映像の抽出処理を制御する。具体的には、コントロール部３０７は、ヒヤリハット映像のトリガー記録を指示するトリガー信号（記録トリガー）を出力したり、ヒヤリハット特徴が検出された区間の上書き禁止を指定したメタ情報を生成したりする。また、コントロール部３０７は、ヒヤリハット特徴の検出信号だけでなく、検出部３０４からの加速度変化に関する検出信号も参照して記録トリガーの出力を制御するようにしてもよい。また、コントロール部３０７は、音認識部３０６による車室内の異常を示す音（クラクションや急ブレーキ音、衝突音など）の認識結果に基づいて記録トリガーの出力を制御するようにしてもよい。

　映像記録部３０８は、例えば統合制御ユニット２６００内の記憶部２６９０に含まれる、磁気記憶デバイスや半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイスなどの、上書き保存が可能な大容量記憶装置に相当する。また、メモリー３０９は、記憶部２６９０に含まれるＲＡＭやＥＥＰＲＯＭなどであり、作業データの一時的な保存に利用することができる。

　映像記録部３０８は、映像取得部３０１で取得される、車載カメラで撮像した映像を、有限時間の中で上書き保存しながら、定常記録映像３１０として記録する。

　また、映像記録部３０８は、コントロール部３０７から記録トリガーを受信すると、映像取得部３０１で取得中の映像はヒヤリハット映像であると判定して、記録トリガーが発生した前後の映像を、定常記録映像とは別ファイルとなるトリガー記録映像３１１として記録する。映像記録部３０８は、トリガー記録を実行する際に、記録トリガーの前後映像をメモリー３０９に一時的に保存することができる。

　但し、映像記録部３０８は、コントロール部３０７からの記録トリガーに応答して、ヒヤリハット映像の保護のために、定常記録映像３１０中の上書き禁止区間を指定するメタ情報を付加するというトリガー記録の方法もある。

　図４には、図３に示した映像処理装置３００においてヒヤリハット映像のトリガー記録を制御するための処理手順をフローチャートの形式で示している。

　映像取得部３０１は、車両に搭載され、車外（車両周辺）と車室内を撮像する１台以上の車載カメラで撮像された映像を取得する（ステップＳ４０１）。

　なお、映像処理装置３００では、ヒヤリハット映像のトリガー記録制御と並行して、映像取得部３０１で取得した映像の定常記録が行なわれるものとする。

　物体認識部３０２は、映像取得部３０１で取得した車両周辺の映像や車室内の映像に対して物体認識処理を行ない、ヒヤリハットの程度を示すヒヤリハット特徴量を抽出する（ステップＳ４０２）。天候など自車両の周辺環境に応じて、ヒヤリハット特徴量に重み付け（前述）を行なうようにしてもよい。

　次いで、物体認識部３０２は、ヒヤリハット特徴量を所定の閾値と大小比較する（ステップＳ４０３）。ここで、ヒヤリハット特徴量が閾値を超えたときには、ヒヤリハット特徴を検出したと判定して（ステップＳ４０３のＹｅｓ）、物体認識部３０２は、コントロール部３０７に対してヒヤリハット特徴の検出信号を出力する。そして、コントロール部３０７は、映像記録部３０８に対して、記録トリガーを出力して（ステップＳ４０４）、ヒヤリハット映像のトリガー記録を指示する。

　コントロール部３０７は、物体認識部３０２からのヒヤリハット特徴の検出信号だけでなく、検出部３０４からの加速度変化に関する検出信号も参照して記録トリガーの出力を制御するようにしてもよい。また、コントロール部３０７は、音認識部３０６による車室内の異常を示す音（クラクションや急ブレーキ音、衝突音など）の認識結果に基づいて記録トリガーの出力を制御するようにしてもよい。

　映像記録部３０８は、映像取得部３０１で取得される、車載カメラで撮像した映像を、有限時間の中で上書き保存しながら、定常記録映像３１０を記録している。

　そして、映像記録部３０８は、コントロール部３０７から記録トリガーを受信すると、映像取得部３０１で取得中の映像はヒヤリハット映像であると判定して、記録トリガーが発生する前後の映像を、定常記録映像とは別ファイルとなるトリガー記録映像３１１として記録する（ステップＳ４０５）。映像記録部３０８は、トリガー記録を実行する際に、記録トリガーの前後映像をメモリー３０９に一時的に保存することができる。

　あるいは、上記のステップＳ４０４～Ｓ４０５で実施する処理を、ヒヤリハット特徴が検出された区間の上書き禁止を指定したメタ情報を生成し、定常記録得３１０にこのメタ情報を付加する処理に置き換えてもよい。

　例えば映像処理装置３００がドライブ・レコーダーとして機能している間、上記の各ステップＳ４０１～Ｓ４０５における処理が繰り返し実行される。

　図５には、図３に示した映像処理装置３００の変形例としての映像処理装置５００の機能的構成を示している。図示の映像処理装置５００は、映像取得部５０１と、加速度センサー５０３と、検出部５０４と、音取得部５０５と、音認識部５０６と、コントロール部５０７と、映像記録部５０８と、メモリー５０９を備えている。映像処理装置５００は、例えば図１に示した車両制御システム１００の１つの機能として実現され、車両に搭載して用いられることを想定している。映像処理装置５００が備える機能モジュールのうち、図３に示した映像処理装置３００に含まれる機能モジュールと同じ名称のものは同じ機能を備えているものとする。

　映像取得部５０１は、車両に搭載され、車外（車両周辺）と車室内を撮像する１台以上の車載カメラで撮像された映像を取得する（同上）。映像記録部５０８は、大容量記憶装置を含み、映像取得部５０１で取得され映像を定常記録映像５１０として記録する。説明の便宜上、上書きなしに定常記録映像５１０の記録が行なわれるものとする。

　加速度センサー５０３は、車両に加わる加速度を計測する。検出部５０４は、加速度センサー５０３で計測された加速度の変化を検出し、加速度変化が所定の閾値以上になると、検出信号をコントロール部５０７に出力する。

　音取得部５０５は、車室内や車両周辺で発生する音を集音して、音認識部５０６に音声信号を出力する。音認識部５０６は、音声認識処理を行ない、車室内の叫び声やクラクション、急ブレーキ音、衝突音などの異常音を検出すると、検出信号をコントロール部５０７に出力する。

　コントロール部５０７は、検出部５０４で検出された加速度変化に関する検出信号や、音認識部５０６で認識された異常音（クラクション、急ブレーキ音、衝突音など）に関する検出信号から、車両の加速度変化や車室内並びに車外で発生した音に関するメタ情報を、映像記録部５０８に出力する。映像記録部５０８は、定常記録映像５１０にこのメタ情報を付加して記録する。

　映像処理装置５００の、図３に示した映像処理装置３００との主な相違点は、ヒヤリハット映像の抽出処理を、車両に搭載される映像処理装置５００内ではなく、車外に（若しくは、映像処理装置５００とは物理的に独立して）設置される外部装置６００で行なう点である。外部装置６００は、映像処理装置５００で記録された定常記録映像５１０を取得して、映像の物体認識処理を行なうとともに、付加されたメタ情報も適宜参照して、ヒヤリハット映像の抽出処理を事後処理として実施する。

　外部装置６００は、例えばＰＣやタブレットなどの情報端末、あるいは、インターネットなどの広域ネットワーク上に設置されたサーバーなどである。外部装置６００が映像処理装置５００から定常記録映像５１０を取得する手段は任意である。例えば映像処理装置５００側ではＣＤやＤＶＤなどの記録メディアや取り外し可能なメモリー・デバイス（ＵＳＢメモリーなど）に定常記録映像５１０を記録しておき、外部装置６００のこのような記録メディアやメモリー・デバイスを外部装置６００に装填若しくは取り付ける方法が挙げられる。また、映像処理装置５００と外部装置６００間をＨＤＭＩ（登録商標）のような映像伝送用ケーブルで接続して、定常記録映像５１０をメタ情報とともに転送するようにしてもよい。あるいは、映像処理装置５００と外部装置６００間で、通信ネットワーク２０１０を介して定常記録映像５１０をファイル転送するようにしてもよい。また、定常記録映像は、無線通信などにより外部のサーバーに保存され、そのサーバー上で同時に抽出処理されてもよい。

　図６には、外部装置６００において、ヒヤリハット映像の抽出処理を行なうための機能的構成を模式的に示している。外部装置６００は、映像取得部６０１と、物体認識部６０２と、コントロール部６０７と、映像抽出部６０８と、メモリー６０９を備えている。

　映像取得部６０１は、記録メディアやメモリー・デバイスを媒介にする、ＨＤＭＩ（登録商標）などの映像伝送媒体を利用する、通信ネットワーク２０１０を経由するなど、任意の手段により、映像処理装置５００から定常記録映像５１０をメタ情報とともに取得する。映像取得部６０１は、定常記録映像５１０を映像抽出部６０８に出力するとともに、定常記録映像５１０に付加されたメタ情報をコントロール部６０７に割り振る。

　物体認識部６０２は、映像取得部６０１で取得した定常記録映像５１０に対して物体認識処理を行ない、認識結果に基づいてヒヤリハット特徴を検出する。物体認識部６０２が検出するヒヤリハット特徴の定義や、各ヒヤリハット特徴を検出するために認識対象となる物体は、既に説明した通りである（表１を参照のこと）。

　コントロール部６０７は、基本的には、物体認識部６０２から出力されるヒヤリハット特徴の検出信号に応じて、映像抽出部６０８による定常記録映像５１０からヒヤリハット映像を抽出する処理の制御を行なう。具体的には、コントロール部６０７は、物体認識部６０２からヒヤリハット特徴の検出信号が入力されたことに応答して、映像抽出部６０８に対して、ヒヤリハット映像の抽出を指示する抽出トリガーを出力する。

　また、コントロール部５０７は、ヒヤリハット特徴の検出信号だけでなく、メタ情報に記載されている加速度変化に関する検出信号も適宜参照して、抽出トリガーの出力を制御するようにしてもよい。また、コントロール部６０７は、メタ情報に記載されている車室内の異常を示す音（クラクションや急ブレーキ音、衝突音など）の認識結果に基づいて抽出トリガーの出力を制御するようにしてもよい。

　映像抽出部６０８は、コントロール部６０７から出力された抽出トリガーに対応する再生位置でヒヤリハットが発生していると判定して、抽出トリガーに対応する再生位置の前後の映像を抽出して、ヒヤリハット記録映像６１１として記録する。映像抽出部６０８は、ヒヤリハット映像を抽出して記録するために、抽出トリガーの前後の再生映像をメモリー６０９に一時的に保存することができる。

　図７には、図６に示した外部装置６００において定常記録映像５１０からヒヤリハット映像を抽出するための処理手順をフローチャートの形式で示している。

　映像取得部６０１は、映像処理装置５００から定常記録映像５１０を取得する（ステップＳ７０１）。

　物体認識部６０２は、映像取得部３０１で取得した定常記録映像５１０に対して物体認識処理を行ない、ヒヤリハットの程度を示すヒヤリハット特徴量を抽出する（ステップＳ７０２）。天候など自車両の周辺環境に応じて、ヒヤリハット特徴量に重み付け（前述）を行なうようにしてもよい。

　次いで、物体認識部６０２は、ヒヤリハット特徴量を所定の閾値と大小比較する（ステップＳ６０３）。ここで、ヒヤリハット特徴量が閾値を超えたときには、ヒヤリハット特徴を検出したと判定して（ステップＳ６０３のＹｅｓ）、物体認識部６０２は、コントロール部６０７に対してヒヤリハット特徴の検出信号を出力する。そして、コントロール部６０７は、映像抽出部６０８に対して、抽出トリガーを出力して（ステップＳ７０４）、ヒヤリハット映像の抽出を指示する。

　コントロール部６０７は、物体認識部６０２からのヒヤリハット特徴の検出信号だけでなく、メタ情報に記載されている加速度変化の情報も参照して抽出トリガーの出力を制御するようにしてもよい。また、コントロール部６０７は、メタ情報に記載されている車室内の異常を示す音（クラクションや急ブレーキ音、衝突音など）の認識結果に基づいて抽出トリガーの出力を制御するようにしてもよい。

　そして、映像抽出部６０８は、コントロール部６０７から出力された抽出トリガーに対応する再生位置でヒヤリハットが発生していると判定して、抽出トリガーに対応する再生位置の前後の映像を抽出して、ヒヤリハット記録映像６１１として記録する（ステップＳ７０５）。映像抽出部６０８は、ヒヤリハット映像を抽出して記録するために、抽出トリガーの前後の再生映像をメモリー６０９に一時的に保存することができる。

　図８には、図３に示した映像処理装置３００の他の変形例としての映像処理装置８００の機能的構成を示している。図示の映像処理装置８００は、映像取得部８０１と、加速度センサー８０３と、検出部８０４と、音取得部８０５と、音認識部８０６と、コントロール部８０７と、映像記録部８０８と、メモリー８０９と、地図情報取得部８２１を備えている。映像処理装置８００は、例えば図１に示した車両制御システム１００の１つの機能として実現され、車両に搭載して用いられることを想定している。映像処理装置８００が備える機能モジュールのうち、図３に示した映像処理装置３００に含まれる機能モジュールと同じ名称のものは同じ機能を備えているものとする。

　映像取得部８０１は、車両に搭載され、車外（車両周辺）と車室内を撮像する１台以上の車載カメラで撮像された映像を取得する（同上）。また、車載カメラにはステレオカメラが用いられており、映像取得部８０１は距離画像も併せて取得する。

　物体認識部８０２は、映像取得部８０１で取得した車両周辺の映像や車室内の映像に対して物体認識処理を行ない、認識結果に基づいてヒヤリハット特徴を検出して、認識した物体の情報とヒヤリハット特徴の検出信号をコントロール部８０７に出力する。

　また、物体認識部８０２は、映像取得部８０１で取得した距離画像を利用して、周辺車両やその他の物体障害物となるような物体（周辺車両や通行人、動物、道路工事、ガードレール、電柱、建造物、その他の障害物）の距離をえることができるので、衝突に結び付く物体接近に関するヒヤリハット特徴をより高精度に検出することができる。

　加速度センサー８０３は、車両に加わる加速度を計測する。検出部８０４は、加速度センサー８０３で計測された加速度の変化を検出し、加速度変化が所定の閾値以上になると、検出信号をコントロール部８０７に出力する。

　音取得部８０５は、車室内や車両周辺で発生する音を集音して、音認識部８０６に音声信号を出力する。音認識部８０６は、音声認識処理を行ない、車室内の叫び声やクラクション、急ブレーキ音、衝突音などの異常音を検出すると、検出信号をコントロール部８０７に出力する。

　地図情報取得部８２１は、例えばＧＮＳＳ衛星から受信したＧＮＳＳ信号に基づいて測位部２６４０で生成される位置情報に基づいて、車両の現在位置における地図情報を取得する。

　コントロール部８０７は、物体認識部８０２から出力される認識物体の情報並びにヒヤリハット特徴の検出信号に応じて、映像取得部８０１で取得される車載カメラの撮影映像のトリガー記録の制御を行なう。

　例えば、コントロール部８０７は、物体認識部８０２からヒヤリハット特徴の検出信号が入力されたことに応答して、ヒヤリハット映像のトリガー記録を指示するトリガー信号（記録トリガー）を映像記録部８０８に出力する。

　また、コントロール部８０７は、物体認識部８０２で認識された物体（道路標識や区画線（車道中央線、車線境界線、車道外側線など）、路側帯、横断歩道、信号機など）や、地図情報取得部８２１で取得した地図情報に基づいて、車両が現在走行している道路に適用されている規制（一方通行など）に関する情報を特定することができ、違反運転（自車両や周辺車両の違反運転、さらには通行人や自転車が犯した違反行為）をより高精度に検出して、記録トリガーの出力を制御することができる。

　また、コントロール部８０７は、物体認識部８０２からのヒヤリハット特徴の検出信号だけでなく、検出部８０４からの加速度変化に関する検出信号も参照して記録トリガーの出力を制御するようにしてもよい。また、コントロール部８０７は、音認識部８０６による車室内の異常を示す音（クラクションや急ブレーキ音、衝突音など）の認識結果に基づいて記録トリガーの出力を制御するようにしてもよい。

　映像記録部８０８は、映像取得部８０１で取得される、車載カメラで撮像した映像を、有限時間の中で上書き保存しながら、定常記録映像８１０として記録する。

　また、映像記録部８０８は、コントロール部８０７から記録トリガーを受信すると、映像取得部８０１で取得中の映像はヒヤリハット映像であると判定して、記録トリガーが発生した前後の映像を、定常記録映像とは別ファイルとなるトリガー記録映像８１１として記録する。映像記録部８０８は、トリガー記録するために、記録トリガーの前後映像をメモリー８０９に一時的に保存することができる。

　映像処理装置８００においてヒヤリハット映像のトリガー記録制御は、図４に示したフローチャートと同様の処理手順で実現することができるので、ここでは説明を省略する。

　なお、上記で説明した映像処理装置３００、５００、８００を、車両制御システム２０００中の統合制御ユニット２６００のためのモジュール（例えば、１つのダイで構成される集積回路モジュール）として実装することもでき、あるいは統合制御ユニット２６００と他の制御ユニットを含めた複数の制御ユニットを組み合わせて実装することもできる。

　また、映像処理装置３００、５００、８００が実現する機能（例えば、ヒヤリハット映像をトリガー記録する機能）をコンピューター・プログラムで実現することができ、このようなコンピューター・プログラムを車両制御システム２０００に含まれるいずれかの制御ユニットで実行するようにしてもよい。また、このようなコンピューター・プログラムを、コンピューター読み取り可能な記録媒体に格納して提供することもできる。記録媒体として、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリーなどを挙げることができる。また、このようなコンピューター・プログラムをネットワーク経由で配信することもできる。

　本明細書で開示する技術をドライブ・レコーダーに適用することによって、ヒヤリハット映像をトリガー記録する精度が向上し、ヒヤリハットの誤検出による無駄な映像の記録を抑制することができる。これにより、映像活用の側面でも、ドライブ・レコーダーからヒヤリハット映像を検索、管理する手間を大幅に削減することができる。

　また、本明細書で開示する技術を利用したヒヤリハット映像のトリガー記録は、車両の運転中のリアルタイム処理としただけでなく、運転を終了した後の事後処理として実施することができる（例えば、図５～図７を参照のこと）。後者の場合、ドライブ・レコーダー本体に専用のハードウェアは不要である。既に稼働しているドライブ・レコーダーの記録映像に対しても、本明細書で開示する技術を利用したヒヤリハット映像のトリガー記録を適用することができる。

　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

　本明細書で開示する技術は、自動車（ガソリン車及びディーゼル車を含む）、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナル・モビリティーなどさまざまな車両、さらには道路を走行する車両以外の形態の移動体に適用することができる。

　本明細書で開示する技術を適用したドライブ・レコーダーは、車載カメラで撮像した映像の物体認識によりヒヤリハット特徴を抽出してトリガー記録を行なうが、勿論、加速度センサーや各種センサーによる検出情報を併用してトリガー記録を行なうように構成することもできる。

　ドライブ・レコーダーの記録映像から物体認識によりヒヤリハット特徴を検出する処理は、走行中の自動車でリアルタイム処理として実施したり、あるいは自動車の運転が終了した事後処理として実施したりするようにしても構わない。

　また、ドライブ・レコーダーの記録映像から物体認識によりヒヤリハット特徴検出する処理を、ドライブ・レコーダー本体で行なう他、ドライブ・レコーダー本体以外の機器（例えば、サーバー上）で実施するようにしてもよい。

　要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）車両の外部又は内部を撮像した映像に含まれる物体の認識結果に基づいて、事故に至る可能性があるシーンの特徴を検出する物体認識部と、
　前記特徴が検出されたことに応じて前記映像の処理を制御する制御部と、
を具備する映像処理装置。
（１－１）前記制御部は、前記特徴に応じて前記映像の記録を制御する、
上記（１）に記載の映像処理装置。
（１－２）（ヒヤリハット前後の映像を記録する）トリガー記録部をさらに備え、
　前記制御部は、前記特徴に応じて前記映像の前記トリガー記録部への記録を制御する、
上記（１）に記載の映像処理装置。
（１－３）前記映像を所定の有限時間内で定常的に上書き記録する定常記録部をさらに備え、
　前記制御部は、前記特徴に基づいて前記定常記録部の上書き禁止を制御する、
上記（１）に記載の映像処理装置。
（１－４）前記車両に搭載され、前記車両の外部又は内部を撮像する１以上の撮像部をさらに備える、
上記（１）に記載の映像処理装置。
（２）前記物体認識部は、前記特徴として、前記映像から認識した物体の接近に関する特徴を検出する、
上記（１）に記載の映像処理装置。
（３）前記物体認識部は、前記特徴として、物体認識した周辺車両同士の接近に関する特徴を検出する、
上記（１）に記載の映像処理装置。
（４）前記物体認識部は、前記特徴として、物体認識した周辺車両又はその他の物体と前記車両の接近に関する特徴を検出する、
上記（１）に記載の映像処理装置。
（５）前記物体認識部は、さらに距離画像を参照して、前記接近に関する特徴を検出する、
上記（２）乃至（４）のいずれかに記載の映像処理装置。
（６）前記車両の周囲環境を検出する車外情報検出部をさらに備え、
　前記物体認識部は、前記周囲環境をさらに考慮して、前記接近に関する特徴を検出する、
上記（２）乃至（５）のいずれかに記載の映像処理装置。
（７）前記物体認識部は、前記特徴として、前記映像から認識した道路の画面内での軌道に基づいて前記車両のスピン又はスリップに関する特徴を検出する、
上記（１）に記載の映像処理装置。
（８）前記物体認識部は、前記映像から道路に引かれた区画線、路肩、路側帯に基づいて道路を認識する、
上記（７）に記載の映像処理装置。
（９）前記車両のステアリングの方向を検出する車両状態検出部をさらに備え、
　前記物体認識部は、前記特徴として、前記映像から認識した道路と前記ステアリングの方向との角度に基づいて前記車両のスピン又はスリップに関する特徴を検出する、
上記（１）に記載の映像処理装置。
（１０）前記車両の周囲環境を検出する車外情報検出部をさらに備え、
　前記物体認識部は、前記周囲環境を考慮して、前記車両のスピン又はスリップに関する特徴を検出する、
上記（７）乃至（９）のいずれかに記載の映像処理装置。
（１１）前記物体認識部は、前記特徴として、前記車両又はその周辺車両の違反運転、通行人の違反行為に関する特徴を検出する、
上記（１）に記載の映像処理装置。
（１２）前記物体認識部は、前記映像から車線又は路側帯を認識して、前記車両の車線を逸脱した走行に関する特徴を検出する、
上記（１１）に記載の映像処理装置。
（１３）前記物体認識部は、前記映像から車線又は路側帯と周辺車両を認識して、前記周辺車両の車線を逸脱した走行に関する特徴を検出する、
上記（１１）に記載の映像処理装置。
（１４）前記物体認識部は、前記映像の物体認識結果に基づいて走行中の道路に規定されている規制に関する情報を取得し、前記車両又はその周辺車両の走行状況が前記規制と一致しないときに、違反運転に関する特徴を検出する、
上記（１１）に記載の映像処理装置。
（１５）さらに地図情報に基づいて、走行中の道路に規定されている規制に関する情報を取得する、
上記（１４）に記載の映像処理装置。
（１６）前記物体認識部は、前記映像から、道路脇に設置された道路標識、路面に描かれた道路標識、道路に引かれた停止線位置、又は信号機の少なくともいずれか１つを認識して、前記車両又はその周辺車両の道路標識違反、停止線位置無視、又は信号無視の少なくともいずれか１つを検出したときに、違反運転に関する特徴を検出する、
上記（１１）に記載の映像処理装置。
（１７）前記物体認識部は、道路上の停止線を物体認識し、前記車両又はその周辺車両の車速又は加速度と停止線位置までの関係から、停止が不可能であると判定した場合に、停止位置無視の違反運転に関する特徴を検出する、
上記（１１）に記載の映像処理装置。
（１８）前記物体認識部は、信号機の赤信号又は黄信号を物体認識し、前記車両又はその周辺車両の車速又は加速度と物体認識した信号機の位置までの関係から、停止が不可能であると判定した場合に、信号無視の違反運転に関する特徴を検出する、
上記（１１）に記載の映像処理装置。
（１９）物体認識部は、周辺車両の走行状況とランプの点灯をともに物体認識して、走行状況とランプの点灯が一致しないときに、周辺車両の合図不履行違反に関する特徴を検出する、
上記（１１）に記載の映像処理装置。
（２０）前記物体認識部は、前記車両の車室内の異常に関する特徴を検出する、
上記（１）に記載の映像処理装置。
（２１）前記車両の車外又は車室内の音を取得する音取得部と、
　前記音取得部が取得した音の認識結果に基づいて前記特徴を検出する音取得部と、
をさらに備える上記（１）に記載の映像処理装置。
（２２）前記音取得部は、事前登録した音声以外の音声に変調を掛ける、
上記（２１）に記載の映像処理装置。
（２３）前記物体認識部は、前記車両の内部を撮影した映像に含まれるドライバーの認識結果に基づいて前記特徴を検出する、
上記（１）に記載の映像処理装置。
（２４）前記ドライバーの状態を検出する車内状態検出部をさらに備え、
　前記物体認識部は、ドライバーの認識結果とともにドライバーの状態を参照して前記特徴を検出する、
上記（１）に記載の映像処理装置。
（２５）前記物体認識部は、前記車両の先行車両のストップランプ、ハザードランプの点灯を物体認識した結果に基づいて前記特徴を検出する、
上記（１）に記載の映像処理装置。
（２６）車両の外部又は内部を撮像した映像に含まれる物体の認識結果に基づいて、事故に至る可能性があるシーンの特徴を検出する物体認識ステップと、
　前記特徴が検出されたことに応じて前記映像の処理を制御する制御ステップと、
を有する映像処理方法。

　３００…映像処理装置、３０１…映像取得部、３０２…物体認識部
　３０３…加速度センサー、３０４…検出部、３０５…音取得部
　３０６…音認識部、３０７…コントロール部
　３０８…映像記録部、３０９…メモリー
　３１０…定常記録映像、３１１…トリガー記録映像
　５００…映像処理装置、５０１…映像取得部
　５０３…加速度センサー、５０４…検出部、５０５…音取得部
　５０６…音認識部、５０７…コントロール部
　５０８…映像記録部、５０９…メモリー、５１０…定常記録映像
　６００…映像処理装置、６０１…映像取得部、６０２…物体認識部
　６０７…コントロール部、６０８…映像抽出部、６０９…メモリー
　８００…映像処理装置、８０１…映像取得部、８０２…物体認識部
　８０３…加速度センサー、８０４…検出部、８０５…音取得部
　８０６…音認識部、８０７…コントロール部
　８０８…映像記録部、８０９…メモリー
　８１０…定常記録映像、８１１…トリガー記録映像
　８２１…地図情報取得部
　２０００…車両制御システム、２０１０…通信ネットワーク
　２１００…駆動系制御ユニット、２１１０…車両状態検出部
　２２００…ボディ系制御ユニット
　２３００…バッテリー制御ユニット、２３１０…バッテリー装置
　２４００…車外情報検出ユニット、２４１０…撮像部
　２４２０…車外情報検出部
　２５００…車内情報検出ユニット、２５１０…車内状態検出部
　２６００…統合制御ユニット、２６１０…マイクロ・コンピューター
　２６２０…汎用通信インターフェース
　２６３０…専用通信インターフェース、２６４０…測位部
　２６５０…ビーコン受信部、２６６０…車内機器インターフェース
　２６７０…音声画像出力部
　２６８０…車載ネットワーク・インターフェース
　２６９０…記憶部
　２７１０…オーディオ・スピーカー、２７２０…表示部
　２７３０…インストルメント・パネル、２７６０…車内機器
　２８００…入力部
　２９００…車両
　２９１０、２９１２、２９１４、２９１６、２９１８…撮像部
　２９２０、２９２２、２９２４…車外情報検出部
　２９２６、２９２８、２９３０…車外情報検出部

Claims

　車両の外部又は内部を撮像した映像に含まれる物体の認識結果に基づいて、事故に至る可能性があるシーンの特徴を検出する物体認識部と、
　前記特徴が検出されたことに応じて前記映像の処理を制御する制御部と、
を具備する映像処理装置。
　前記物体認識部は、前記特徴として、前記映像から認識した物体の接近に関する特徴を検出する、
請求項１に記載の映像処理装置。
　前記物体認識部は、前記特徴として、物体認識した周辺車両同士の接近に関する特徴を検出する、
請求項１に記載の映像処理装置。
　前記物体認識部は、前記特徴として、物体認識した周辺車両又はその他の物体と前記車両の接近に関する特徴を検出する、
請求項１に記載の映像処理装置。
　前記物体認識部は、さらに距離画像を参照して、前記接近に関する特徴を検出する、
請求項２に記載の映像処理装置。
　前記車両の周囲環境を検出する車外情報検出部をさらに備え、
　前記物体認識部は、前記周囲環境をさらに考慮して、前記接近に関する特徴を検出する、
請求項２に記載の映像処理装置。
　前記物体認識部は、前記特徴として、前記映像から認識した道路の画面内での軌道に基づいて前記車両のスピン又はスリップに関する特徴を検出する、
請求項１に記載の映像処理装置。
　前記物体認識部は、前記映像から道路に引かれた区画線、路肩、路側帯に基づいて道路を認識する、
請求項７に記載の映像処理装置。
　前記車両のステアリングの方向を検出する車両状態検出部をさらに備え、
　前記物体認識部は、前記特徴として、前記映像から認識した道路と前記ステアリングの方向との角度に基づいて前記車両のスピン又はスリップに関する特徴を検出する、
請求項１に記載の映像処理装置。
　前記車両の周囲環境を検出する車外情報検出部をさらに備え、
　前記物体認識部は、前記周囲環境を考慮して、前記車両のスピン又はスリップに関する特徴を検出する、
請求項７乃至９のいずれかに記載の映像処理装置。
　前記物体認識部は、前記特徴として、前記車両又はその周辺車両の違反運転、通行人の違反行為に関する特徴を検出する、
請求項１に記載の映像処理装置。
　前記物体認識部は、前記映像から車線又は路側帯を認識して、前記車両の車線を逸脱した走行に関する特徴を検出する、
請求項１１に記載の映像処理装置。
　前記物体認識部は、前記映像から車線又は路側帯と周辺車両を認識して、前記周辺車両の車線を逸脱した走行に関する特徴を検出する、
請求項１１に記載の映像処理装置。
　前記物体認識部は、前記映像の物体認識結果に基づいて走行中の道路に規定されている規制に関する情報を取得し、前記車両又はその周辺車両の走行状況が前記規制と一致しないときに、違反運転に関する特徴を検出する、
請求項１１に記載の映像処理装置。
　さらに地図情報に基づいて、走行中の道路に規定されている規制に関する情報を取得する、
請求項１４に記載の映像処理装置。
　前記物体認識部は、前記映像から、道路脇に設置された道路標識、路面に描かれた道路標識、道路に引かれた停止線位置、又は信号機の少なくともいずれか１つを認識して、前記車両又はその周辺車両の道路標識違反、停止線位置無視、又は信号無視の少なくともいずれか１つを検出したときに、違反運転に関する特徴を検出する、
請求項１１に記載の映像処理装置。
　前記物体認識部は、道路上の停止線を物体認識し、前記車両又はその周辺車両の車速又は加速度と停止線位置までの関係から、停止が不可能であると判定した場合に、停止位置無視の違反運転に関する特徴を検出する、
請求項１１に記載の映像処理装置。
　前記物体認識部は、信号機の赤信号又は黄信号を物体認識し、前記車両又はその周辺車両の車速又は加速度と物体認識した信号機の位置までの関係から、停止が不可能であると判定した場合に、信号無視の違反運転に関する特徴を検出する、
請求項１１に記載の映像処理装置。
　物体認識部は、周辺車両の走行状況とランプの点灯をともに物体認識して、走行状況とランプの点灯が一致しないときに、周辺車両の合図不履行違反に関する特徴を検出する、
請求項１１に記載の映像処理装置。
　車両の外部又は内部を撮像した映像に含まれる物体の認識結果に基づいて、事故に至る可能性があるシーンの特徴を検出する物体認識ステップと、
　前記特徴が検出されたことに応じて前記映像の処理を制御する制御ステップと、
を有する映像処理方法。