JP6291681B2 - 表示制御システム、表示制御方法及びプログラム - Google Patents

表示制御システム、表示制御方法及びプログラム Download PDF

Info

Publication number
JP6291681B2
JP6291681B2 JP2016099332A JP2016099332A JP6291681B2 JP 6291681 B2 JP6291681 B2 JP 6291681B2 JP 2016099332 A JP2016099332 A JP 2016099332A JP 2016099332 A JP2016099332 A JP 2016099332A JP 6291681 B2 JP6291681 B2 JP 6291681B2
Authority
JP
Japan
Prior art keywords
time
event
image
vehicle
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016099332A
Other languages
English (en)
Other versions
JP2016184414A (ja
Inventor
服部 哲也
哲也 服部
Original Assignee
株式会社ユピテル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ユピテル filed Critical 株式会社ユピテル
Priority to JP2016099332A priority Critical patent/JP6291681B2/ja
Publication of JP2016184414A publication Critical patent/JP2016184414A/ja
Application granted granted Critical
Publication of JP6291681B2 publication Critical patent/JP6291681B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、車両に搭載されたドライブレコーダによって記録されたイベント単位映像に関連するサムネイル画像を表示する制御を行う表示制御システム、表示制御方法及びプログラムに関する。
従来、車両に設置したカメラにより車両周辺の映像を撮影し、急ブレーキ、急ハンドルや衝突などのイベント(事象)により車両に衝撃が加わった際に周辺映像や車両速度などを記録する車載用映像等記録装置、いわゆるドライブレコーダが一般に普及している。このようなドライブレコーダを車両に備えることにより、事故が発生した場合には記録した情報を解析することにより、事故原因を検証することが可能となっている。また、運転手の安全運転意識の向上が図れるとともに、日頃の運転状況を記録した映像を安全運転指導など役立てることができる。
特許文献1及び2には、トラックやタクシー等の業務用車両に搭載されたドライブレコーダによって記録されたカメラ画像や車速、GPS(Global Positioning System)位置情報などの運転情報を回収し、運行管理者等が、運転情報の内容をチェックして各乗務員の運転の仕方等を分析し、乗務員の運転教育に活用する運転支援装置が開示されている。
特開2010−257483号公報 特開2010−257484号公報
上記の運転支援装置において、運行管理者等が、急ブレーキ、急ハンドルや衝突などの事象(イベント)ごとに記録された多数の運転情報(以下、イベント単位映像と記す)の中から、急ブレーキ等の特定事象のイベント単位映像に絞り込み、選択するには、例えば、各イベント単位映像に記録された加速度の大きさ・波形などの関連データを利用して行うことになる。すなわち、この関連データを、特定事象のイベント単位映像の絞り込みのためのタグとして認識して、イベント単位映像を分類して絞り込みを行うことになる。しかしながら、最終的に求める事象のイベント単位映像を特定するには、運行管理者等がひとつひとつのイベント単位映像に含まれるカメラ画像の内容を逐一順番に視て確認し、イベント単位映像を特定しなければならない。
また、上記の特許文献1及び2に開示された運転支援装置では、1つのイベント単位映像に含まれる複数のカメラ画像のうち、トリガ(例えば、ドライブレコーダによる記録条件が成立したことを示すタイミング信号)が検出された時点に記録されたカメラ画像を縮小化したサムネイル画像を表示しているが、このサムネイル画像は、例えば、急ブレーキや急ハンドル等の事象が発生した時点よりも後のトリガ検出時点に記録されたカメラ画像であるため、このサムネイル画像から、求める事象のイベント単位映像を見つけることは難しい。
本発明は、上記例示した事情等に鑑みてなされたものであり、求めるイベント単位映像を、サムネイル画像から簡単に見つけることが可能な表示制御システム、表示制御方法及びプログラムを提供することを目的とするものである。
第1の観点では、本発明は、車両に搭載されたドライブレコーダによって記録されたイベント単位映像に関連するサムネイル画像を表示する制御を行う表示制御システムであって、前記イベント単位映像の範囲の中の異なる時点に対応する複数のサムネイル画像を表示する表示制御手段を備えることを特徴とする表示制御システムを提供する。
上記第1の観点による表示制御システムでは、イベント単位映像の範囲の中の異なる時点に対応する複数のサムネイル画像から当該イベント単位映像の内容を確認できるようになる。これにより、1つのサムネイル画像から当該イベント単位映像の内容を確認する場合に比して、求めるイベント単位映像をサムネイル画像から簡単に見つけることができる。
イベントは、例えば、所定のルールで特定される事象とするとよい。イベント単位は、例えば、あるイベントと他のイベントを区別して管理できる単位の時間的範囲とするとよい。例えば、第2の観点の構成のようにイベントの発生時点の前後の所定期間とするとよい。例えば、あるイベント単位と他のイベント単位は、重ならないようにその時間的範囲をそれぞれ設定してもよいし、例えば、一部が重なりあうように設定してもよい。
イベント単位映像は、例えば、あるイベントと他のイベントを区別して管理可能とする単位の時間的範囲の映像とするとよい。イベント単位映像は、例えば、イベント単位に別々の映像として記録してもよいし、例えば、一つの映像の中のある範囲をイベント単位映像としてもよい。すなわち、「車両に搭載されたドライブレコーダによって記録されたイベント単位映像」は、必ずしもイベント単位に映像を記録することを要しない。
一つの映像の中のある範囲をイベント単位映像とする場合、例えば、複数のイベント単位映像の範囲はそれぞれ範囲の重なりを許容するように設定してもよいし、重なり合わない範囲に各イベント単位映像の範囲を設定するようにしてもよい。イベント単位映像は、例えば、映像の中で、イベントに関連している可能性がある範囲とするとよい。
また、「イベント単位映像の範囲の中の異なる時点に対応する複数のサムネイル画像」は、例えば、「イベント単位映像の範囲の中の異なる時点におけるイベント単位映像以外の映像に対応する複数のサムネイル画像」としてもよいが、「イベント単位映像の範囲の中の異なる時点におけるイベント単位映像に対応する複数のサムネイル画像」とするとよい。「イベント単位映像に対応する複数のサムネイル画像」の「に対応する」の具体例としては、「を代表する」とするとよい。その他、「から作成された」、「を画像処理した」、「を画像処理して作成された」、「所定の画像処理を施して作成された」などとするとよい。
第2の観点では、本発明は、前記第1の観点による表示制御システムにおいて、前記イベント単位映像は、イベントの発生時点の前後の所定期間に亘る映像であり、前記サムネイル画像として、前記イベントの発生時点よりも前あるいは後のいずれか、または両方の時点に記録された画像を備えることを特徴とする。
上記第2の観点による表示制御システムでは、イベントの発生時点よりも前あるいは後のいずれか、または両方の時点に記録された画像に対応するサムネイル画像から、イベント単位映像の内容を確認できるようになる。これにより、イベントの発生時点の前後の時点の事象に関連するイベント単位映像をより簡単に見つけることができる。
イベントの発生時点は、例えば、所定の条件を満たした時点とするとよい。イベントの発生時点は、例えば、イベントを代表する所定の条件を満たした時点とするとよい。例えば、所定の条件を満たした時点をイベントの発生時点としてそのイベントの種類に応じてイベント単位映像の範囲を決定するようにしてもよい。イベントとしては、例えば、事故の発生に相当する事象が発生されている時点とするとよい。例えば、衝突に相当する急減速の発生箇所をイベントの発生時点とするとよい。
ドライブレコーダには、例えば、「記録条件が成立したことを示すトリガ」の前後の映像を記録するタイプや、映像は常時(例えば、エンジンオンからオフまで常時)記録しておき、トリガがかかった映像の位置を特定可能とするための情報を記憶するタイプがある。この「特定可能とするための情報」は、例えば、トリガがかかった時刻情報などである。例えば、映像の記録開始時刻情報と、このトリガがかかった時刻情報とから、どの映像のどの位置がトリガのかかった位置かを特定する。
上記した前者のタイプのドライブレコーダであれば、「イベント単位映像」は、例えば、ドライブレコーダによる記録条件が成立したことを示すトリガの発生時点の前後の所定期間に亘って記録された映像とするとよい。
また、上記した後者のタイプのドライブレコーダであれば、「イベント単位映像」は、例えば、記録単位(上記の例なら、エンジンオンからオフまでが1単位)となる映像の中で、トリガの発生時点の前後の所定期間に亘って記録された部分の映像とするとよい。
所定期間は、例えば、記録された映像の全範囲(例えば、エンジンオンからオフまでの全体)としてもよいが、映像の中のある限定された時間の範囲とすると特によい。映像の中の限定された時間の範囲としては、特に、イベントの発生時点を含む時間の範囲とするとよい。なお、映像の中の限定された時間の範囲としては、例えば一定時間の範囲としてもよいが可変時間としてもよい。また、所定期間を構成するイベントの発生時点の前の期間とイベントの発生時点の後の期間とは同一の時間の期間としてもよいが、異なる時間の期間とするとよい。特に、所定期間は、イベントの発生の原因を特定可能とするのに十分な期間とするとよい。特にイベントの種類に応じて所定期間は異なる範囲とするとよい。
第3の観点では、本発明は、前記第2の観点による表示制御システムにおいて、前記サムネイル画像として、前記所定期間内において当該イベントの発生時点ではない時点であって、前記イベントが発生したと判定するのに用いた情報を用いた所定のルールによって決定された時点に記録された画像を備えることを特徴とする。
上記第3の観点による表示制御システムでは、所定期間内において当該イベントの発生時点ではない時点であって、イベントが発生したと判定するのに用いた情報(例えば、車両に加わる加速度)を用いた所定のルールによって決定された時点(例えば、加速度が所定値を超えた時点)に記録された画像に対応するサムネイル画像から、イベント単位映像の内容を確認できるようになる。これにより、上記の所定のルールによって決定された時点の事象に関連するイベント単位映像を簡単に見つけることができる。
第4の観点では、本発明は、前記第2または前記第3の観点による表示制御システムにおいて、前記サムネイル画像として、前記所定期間内であって、前記イベントが発生したと判定するのに用いた情報と異なる情報を用いた所定のルールによって決定された時点に記録された画像を備えることを特徴とする。
上記第4の観点による表示制御システムでは、所定期間内であって、イベントが発生したと判定するのに用いた情報(例えば、急ハンドルによる車両の左右方向の加速度)と異なる情報(例えば、急ブレーキによる車両の前後方向の加速度)を用いた所定のルールによって決定された時点(例えば、車両の前後方向の加速度の所定期間内における極大値の時点)に記録された画像に対応するサムネイル画像から、イベント単位映像の内容を確認できるようになる。これにより、上記の所定のルールによって決定された時点の事象に関連するイベント単位映像を簡単に見つけることができる。
第5の観点では、本発明は、前記第3または前記第4の観点による表示制御システムにおいて、前記所定のルールは、前記イベントの発生の原因となったサブイベントの発生時点を推定するルールであることを特徴とする。
上記第5の観点による表示制御システムでは、イベントの発生の原因となったサブイベントの発生時点を推定するルールによって決定された時点の事象に関連するイベント単位映像を簡単に見つけることができる。
所定のルールは、イベントが発生したと判定した時点からさかのぼって当該イベントの発生に関連する特徴点を推定するルールであり、例えば、車両の加速度の所定期間内における極大点あるいは変曲点、その他の加速度の特徴点とするとよい。また、イベントの種類に応じて異なるルールとするとよい。
所定期間としては、イベントの発生原因となるサブイベントの発生可能性が低いとみなされるのに十分な時間をもって設定されるとよい。
第6の観点では、本発明は、前記第2〜前記第5のいずれかの観点による表示制御システムにおいて、前記イベントの発生時点よりも前あるいは後のいずれか、または両方の時点は、前記イベントの種類によって異なる時点としたことを特徴とする。
上記第6の観点による表示制御システムでは、イベントの発生時点よりも前あるいは後のいずれか、または両方の時点として、イベントの種類によって異なる時点に記録された画像に対応するサムネイル画像から、イベント単位映像の内容を確認できるようになる。これにより、イベントの種類によって異なる時点の事象に関連するイベント単位映像を簡単に見つけることができる。
第7の観点では、本発明は、前記第2〜前記第6のいずれかの観点による表示制御システムにおいて、前記サムネイル画像として、前記イベントの発生時点の直前あるいは直後のいずれか、または両方の時点に記録された画像を備えることを特徴とする。
上記第7の観点による表示制御システムでは、イベントの発生時点の直前あるいは直後のいずれか、または両方の時点に記録された画像に対応するサムネイル画像から、イベント単位映像の内容を確認できるようになる。これにより、イベントの発生時点の直前・直後の時点の事象に関連するイベント単位映像を、より簡単に、かつ的確に見つけることができる。
第8の観点では、本発明は、前記第2〜前記第7のいずれかの観点による表示制御システムにおいて、前記サムネイル画像として、前記イベントの発生時点の直前と直後の両方の時点に記録された画像を備え、前記イベントが発生したと判定するのに用いた情報の取得間隔は、前記映像のフレームの記録間隔よりも短い間隔に設定されており、前記イベントの発生時点の直前の時点に記録された画像は、前記イベントが発生したと判定した時点の直前のフレームの画像とし、前記イベントの発生時点の直後の時点に記録された画像は、前記イベントが発生したと判定した時点の直後のフレームの画像としたことを特徴とする。
上記第8の観点による表示制御システムでは、イベントの発生時点の直前と直後の両方の時点に記録された画像に対応するサムネイル画像から、イベント単位映像の内容を確認できるようになる。これにより、イベントの発生時点の直前と直後の両方の時点の事象に関連するイベント単位映像を、より簡単に、かつ的確に見つけることができる。
第9の観点では、本発明は、前記第1〜前記第8のいずれかの観点による表示制御システムにおいて、前記サムネイル画像として、前記イベント単位映像の中の最初あるいは最後のいずれか、または両方の時点に記録された画像を備えることを特徴とする。
上記第9の観点による表示制御システムでは、イベント単位映像の中の最初あるいは最後のいずれか、または両方の時点に記録された画像に対応するサムネイル画像から、イベント単位映像の内容を確認できるようになる。これにより、イベント単位映像の最初・最後の時点の事象に関連するイベント単位映像を、より簡単に、かつより的確に見つけることができる。
第10の観点では、本発明は、前記第2〜前記第9のいずれかの観点による表示制御システムにおいて、前記サムネイル画像として、前記イベントの発生時点に記録された画像を備えることを特徴とする。
上記第10の観点による表示制御システムでは、イベントの発生時点に記録された画像に対応するサムネイル画像から、イベント単位映像の内容を確認できるようになる。これにより、イベントの発生時点の事象に関連するイベント単位映像を、より簡単に、かつより的確に見つけることができる。
第11の観点では、本発明は、前記第1〜前記第10のいずれかの観点による表示制御システムにおいて、前記サムネイル画像として、前記イベント単位映像が記録されたときの前記車両の状態に応じて、前記イベント単位映像の範囲の中の特定期間の画像を備えることを特徴とする。
上記第11観点による表示制御システムでは、イベント単位映像が記録されたときの車両の状態に応じた特定期間の画像に対応するサムネイル画像から、イベント単位映像の内容を確認できるようになる。これにより、イベント単位映像が記録されたときの車両の状態に関連するイベント単位映像を、より簡単に見つけることができる。
「イベント単位映像が記録されたときの車両の状態」とは、例えば、(1)急ブレーキのとき、(2)急ハンドルのとき、(3)車両が何かと衝突したときなどの車両の状態である。
「イベント単位映像の中から選択された特定期間の画像」とは、例えば、(1)急ブレーキのときは、ブレーキを踏んでから放すまでの時点に記録された画像、あるいは、車両に加わる加速度の事象が現れてからそれが終わるまでの時点に記録された画像などである。また、(2)急ハンドルのときは、ハンドルを回しはじめてから、回し終わるまでの時点に記録された画像などである。更に、(3)車両が何かと衝突したときは、バンパー、ガードレールなどの反動による車両の加速度挙動が生まれてから、車両が停止し、加速度挙動が収束したときまでの時点に記録された画像などである。
第12の観点では、本発明は、前記第1〜前記第11のいずれかの観点による表示制御システムにおいて、前記サムネイル画像として、前記車両に加わる加速度が所定値を超えた時点に記録された画像を備えることを特徴とする。
上記第12の観点による表示制御システムでは、車両に加わる加速度が所定値を超えた時点に記録された画像に対応するサムネイル画像から、イベント単位映像の内容を確認できるようになる。これにより、車両に加わる加速度が所定値を超えた時点に関連するイベント単位映像を、より簡単に見つけることができる。
第13の観点では、本発明は、前記第2〜前記第12のいずれかの観点による表示制御システムにおいて、前記イベントの発生は、前記車両の挙動を検出した情報に基づく、特定挙動情報であることを特徴とする。
上記第13の観点による表示制御システムでは、車両の挙動を検出した情報に基づく特定挙動情報をイベントとして記録された画像に対応するサムネイル画像から、イベント単位映像の内容を確認できるようになる。これにより、特定挙動情報をイベントとして記録されたイベント単位映像を、より簡単に見つけることができる。
「車両の挙動を検出した情報」とは、例えば、車両に搭載された加速度センサ、ジャイロセンサ、気圧センサ(あるいは、高度センサ)の検出結果や、記録された映像の解析結果などの何れかから得られる情報などである。
第14の観点では、本発明は、前記第2〜前記第13のいずれかの観点による表示制御システムにおいて、前記イベントの発生は、前記車両の機能状態に関する情報に基づく、特定車両情報であることを特徴とする。
上記第14の観点による表示制御システムでは、車両の機能状態に関する情報に基づく特定車両情報をイベントとして記録された画像に対応するサムネイル画像から、イベント単位映像の内容を確認できるようになる。これにより、特定車両情報をイベントとして記録されたイベント単位映像を、より簡単に見つけることができる。
「車両の機能状態に関する情報」とは、例えば、車両運転時のブレーキ、ウインカ−、アクセル、ハンドル回転、シフトレバー位置、サイドブレーキのいずれかの操作や、車両故障診断システムであるOBD(On Board Diagnosis)、車載LANであるCAN(Controller Area Network)から得られる情報などである。
第15の観点では、本発明は、前記第1〜前記第14のいずれかの観点による表示制御システムにおいて、前記複数のサムネイル画像は、異なるイベント単位映像のサムネイル画像が異なる行を構成し、かつ、同一時点のサムネイル画像が異なる列を構成するマトリックス構造により、同一画面上に一覧表示させることを特徴とする。
上記第15の観点による表示制御システムでは、複数のサムネイル画像が、異なるイベント単位映像ごとのサムネイル画像や同一時点のサムネイル画像として整理された状態で視覚的に分かり易く一覧表示される。これにより、サムネイル画像の内容を判別し易くすることができる。
第16の観点では、本発明は、前記第1〜前記第15のいずれかの観点による表示制御システムにおいて、前記複数のサムネイル画像は、同一イベント単位映像ごとのサムネイル画像が同一行内を左から右、あるいは、右から左に時系列の順番に並ぶように構成するマトリックス構造により、同一画面上に一覧表示させることを特徴とする。
上記第16の観点による表示制御システムでは、複数のサムネイル画像が、同一イベント単位映像ごとに同一行内を時系列の順番に並んだサムネイル画像として視覚的に分かり易く一覧表示される。これにより、サムネイル画像の内容を判別し易くすることができる。
前記第1〜前記第16のいずれかの観点による表示制御手段の構成要素に対応するステップを有する方法の発明と捉えることができる。例えば、第1の観点に対応する方法の発明として、第17の観点では、本発明は、車両に搭載されたドライブレコーダによって記録されたイベント単位映像に関連するサムネイル画像を表示する制御を行う表示制御方法であって、前記イベント単位映像の範囲の中の異なる時点に対応する複数のサムネイル画像を表示するステップを有することを特徴とする表示制御方法を提供する。
上記第17の観点による表示制御方法では、イベント単位映像の範囲の中の異なる時点に対応する複数のサムネイル画像から当該イベント単位映像の内容を確認できるようになるので、求めるイベント単位映像をサムネイル画像から簡単に見つけることができる。
第18の観点では、本発明は、前記第1〜前記第16のいずれかの観点による表示制御システムとしての機能をコンピュータに実現させるためのプログラムを提供することができるようになる。
本発明の表示制御システムによれば、求めるイベント単位映像を、サムネイル画像から簡単に見つけることが可能となる。
実施例1に係る運転支援システムの概略構成を示す図である。 メモリカード25に記録される内容のデータ構造を概念的に示す図である。 実施例1に係るイベント発生時の加速度変化の様子と画像等の記憶方法について説明する図である。 実施例1に係るサムネイル画像の作成及び表示処理を示すフローチャートである。 実施例1に係るサムネイル画像の表示態様の一例を示す画面表示図である。 実施例2に係る急ブレーキの場合の加速度変化を示す図である。 実施例2に係るサムネイル画像の作成及び表示処理を示すフローチャートである。 実施例3に係る急ハンドルの場合の加速度変化を示す図である。 実施例3に係るサムネイル画像の作成及び表示処理を示すフローチャートである。 実施例4に係る車両衝突の場合の加速度変化を示す図である。 実施例4に係るサムネイル画像の作成及び表示処理を示すフローチャートである。 車対車の衝突の場合の加速度変化の実験事例を示す図である。 図12に示す実験事例に係るサムネイル画面の表示事例を示す図である。
以下、本発明の一実施形態に係る表示制御システムについて図面に基づき、詳細に説明する。なお、本発明は、これに限定されて解釈されるものではなく、本発明の範囲を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、修正、改良を加え得るものである。
[実施例1]
<運転支援システムの構成>
図1は、本発明の表示制御システムの実施例1に係る運転支援システムの概略構成を示す図である。
図1に示すように、運転支援システムは、車両に搭載されるドライブレコーダ10と、ドライブレコーダ10においてイベント発生時に画像を記憶するメモリカード25と、このメモリカード25に記憶された画像を再生するための運転支援装置30とから構成される。
ドライブレコーダ10は、第1制御部11、加速度センサ(Gセンサ)12、ジャイロセンサ13、気圧センサ14、GPSアンテナ15、このGPSアンテナ15で受信したGPS信号から車両のGPS位置情報を測位するGPS(Global Positioning System)レシーバ16、スイッチ、ボタン等を含んで構成される第1操作部17、画像を一次記憶するための第1メモリ18、メモリカード25を挿入するスロットを有し且つメモリカード25への画像の書き込み等を行うための第1IF(インターフェイス)19、車両の前方を所定のレートで連続的に撮像するように車両に設置されたCCDカメラ20、車両信号取得部21、及びドライブレコーダ10の各要素に電力を供給するための電源部22等を有している。
また、ドライブレコーダ10は、ナビゲーション装置(図示せず)と連携して、ナビゲーション装置のディスプレイにおいて画像を再生できるように構成しても良い。更に、GPSレシーバ16は、必ずしも必須の構成ではないが、外付けの機器、例えばAVM(Automatic Vehicle Monitoring)システムや、ナビゲーション装置が受信した位置情報を取得する構成としても良い。
第1制御部11は、CPU、ROM及びRAM等を含んだマイコン等で構成され、ドライブレコーダ10の動作全体の制御を司る。
Gサンサ12は、互いに直交する2軸方向(X軸及びY軸)の重力加速度(以下、単に加速度と記す)を検出し、検出した加速度(Gデータとも記す)を時刻データと共に第1制御部11へ送信する。第1制御部11は、例えば10ミリ秒間隔でGセンサ12から出力されたGデータ(Gx、Gy)を取得して、Gデータから加速度の値(大きさ)を判別することができる。
なお、GxはX軸方向(車両の前後方向)、GyはY軸方向(車両の左右方向)の加速度と示すものとする。また、Gセンサ12は、Z軸方向(車両の上下方向)も加えた3軸のものを利用しても良いし、3軸のものにおいて、Z軸方向の加速度Gzのデータを利用しなくても良い。
ジャイロセンサ13は、車両の角加速度(回転)を検出し、主に、車両の進行方向の変化(すなわち、鉛直方向軸であるヨー(Z軸)の回転)を検出し、検出した角加速度データを時刻データと共に第1制御部11へ送信する。第1制御部11は、例えば10ミリ秒間隔でジャイロセンサ13から出力された角加速度データを取得して、角加速度データから角加速度の値(大きさ)を判別することができる。
気圧センサ14は、車両外部の大気の圧力を検出し、検出した気圧値に基づいて高度を計算し、気圧値及び高度値(気圧・高度データ)を時刻データと共に第1制御部11へ送信する。第1制御部11は、例えば10ミリ秒間隔で気圧センサ14から出力された気圧・高度データを取得して、気圧・高度データから気圧・高度の値(大きさ)を判別することができる。
第1制御部11は、CCDカメラ20が、100ミリ秒おきに1枚の画像を撮像し、撮像された画像を時刻データと共に第1メモリ18に順次循環的に記憶(後述するメモリカード25への記憶のために一次記憶)するように制御する。例えば、常にCCDカメラ20が撮像した画像24秒分(画像240枚分)の画像データが、第1メモリ18に記憶されるように構成される。なお、CCDカメラ20が撮像する画像は、100ミリ秒毎に1枚でなく、例えば50ミリ秒毎に1枚でも良い。また、CCDカメラ20が撮影した動画を記憶するように構成しても良い。
車両信号取得部21は、車両の故障診断コネクタと接続して、車両の各種信号や情報(車両データ)を、例えば100ミリ秒間隔で取得して、取得した車両データを時刻データと共に第1制御部11へ送信する。車両データとしては、例えば、[1]車両運転時のブレーキ操作を検出した信号、[2]同じくウインカ操作を検出した信号、[3]同じくアクセル操作を検出した信号、[4]同じくハンドル回転を検出した信号、[5]同じくシフトレバー位置を検出した信号、[6]同じくサイドブレーキ操作を検出した信号や、[7]車両内の車両故障診断システム(OBD)から得られる車両故障診断情報(車速、エンジン回転数、冷却水温度など)、[8]車載LAN(CAN)を介して得られる各種車両情報(自車両のECU(Electronic Control Unit)からの各機能制御データ、車外のネットワークや他の車両からの通信データなど)などである。
一例として、車両信号取得部21は、ブレーキ操作を検出した信号を取得した場合、車両のブレーキが操作されたか否かを示すブレーキ操作データ、ブレーキ操作が開始された時刻を示すブレーキ操作開始時刻データ及びブレーキ操作が終了された時刻を示すブレーキ操作終了時刻データを第1制御部11へ送信する。即ち、車両信号取得部21からのブレーキ操作データ、ブレーキ操作開始時刻データ及びブレーキ操作終了時刻データによって、第1制御部11は、ブレーキ操作がなされたか否か、ブレーキ操作が開始された時刻、及びブレーキ操作が終了された時刻を判別することができる。
他の例として、車両信号取得部21は、ハンドル回転を検出した信号を取得した場合、車両のハンドルが回転された否かを示すハンドル回転データ、ハンドル回転が開始された時刻を示すハンドル回転開始時刻データ及びハンドル回転が終了された時刻を示すハンドル回転終了時刻データを第1制御部11へ送信する。即ち、車両信号取得部21からのハンドル回転データ、ハンドル回転開始時刻データ及びハンドル回転終了時刻データによって、第1制御部11は、ハンドル回転がなされたか否か、ハンドル回転が開始された時刻、及びハンドル回転が終了された時刻を判別することができる。
なお、GPSアンテナ15、GPSレシーバ16、第1IF19、CCDカメラ20、車両信号取得部21等の一部又は全部は、ドライブレコーダ10と別体に構成されても良い。例えば、GPS機能を有する既存のナビゲーション装置と連携させた場合、ドライブレコーダ10にGPSレシーバ16等の機能は不要であるので、その分だけドライブレコーダ10のコストを低く抑えることができる。
運転支援装置30は、第2制御部31、ディスプレイ等によって構成される表示部32、表示画面を紙面に印刷するプリンタ等から構成される出力部33、キーボード、マウス等の入力デバイスを含んで構成される第2操作部34、画像を一次記憶するための第2メモリ35、メモリカード25を挿入するためのスロットを含み且つメモリカード25から画像の読み出し等を行うための第2IF(インターフェイス)36、及び入力画像に所定の画像処理を施すための画像処理部37等を有している。
第2制御部31は、CPU、ROM及びRAM等を含んで構成され、運転支援ソフトがインストールされたパーソナルコンピュータ(PC)であり、運転支援ソフトに含まれるプログラムを解釈実行して運転支援装置30の各構成要素を動作させ、本発明の特徴部分にかかる各種機能を実現する。
なお、運転支援装置30は、ドライブレコーダ10によって記録されたイベント単位映像に関連するサムネイル画像を表示する制御を行う表示制御システムの一態様である。また、本実施例では、イベント単位映像として、イベントの発生時点の前後の所定期間に記録された画像とする。イベントの発生時点としては、例えば、事故の発生に相当する事象が発生されている時点とし、例えば、急ブレーキなどの急減速の発生により車両に衝撃が加わった時点とする。
メモリカード25は、2Gバイトの記憶容量を有する書き換え可能な不揮発性の半導体メモリカードである。このメモリカード25は、第1IF19を構成するスロットに挿入されて、イベントの発生時点の前後の所定期間に、第1メモリ18に常に循環的に一次記憶している所定の画像(例えば、イベントの発生時点の前12秒分の画像と、後12秒分の画像)が記憶される。その後、メモリカード25は、第1IF19を構成するスロットから排出されて第2IF36を構成するスロットに再挿入されて、記憶されている画像を運転支援装置30へ出力する。
なお、メモリカード25として半導体メモリカードを用いたが、それに限定されることなく、カードタイプ以外の半導体メモリ、持ち運び可能なハードディスク(HD)、その他の記憶媒体等を利用することができる。また、メモリカード等の記憶容量は任意であって、用途に応じて自由に決定することが可能である。
ドライブレコーダ10は、予め定める所定の条件が成立したとき(すなわち、ドライブレコーダ10による記録を行うべきイベントが発生したとき)、具体的には、(a)急ブレーキ、急ハンドル、衝突など、あるいは、その他の事故の発生に相当するイベント(事象)などの発生により車両に衝撃が加わって、内部に備えるGセンサ12から出力されたGデータの値(大きさ)が所定の閾値を超えたときや、その他(b)第1操作部17の緊急スイッチが押された時など、その検出をトリガにして前後数秒〜十数秒分(例えば、前12秒、後12秒など)の各種データを、イベント発生時刻データとともに取得して、1つの運転情報としてメモリカード25に記録する。
メモリカード25に記録される運転情報は、Gセンサ12から出力されたGデータ、ジャイロセンサ13から出力された角加速度データ、気圧センサ14から出力された気圧・高度データ、GPSレシーバ16が測位したGPS位置情報、CCDカメラ20が撮影したカメラ画像データ、車両信号取得部21が取得した車両の各種信号や情報(ブレーキ操作やハンドル回転などの検出データ、車速データなど)、を含む。
ドライブレコーダ10は、記録を行うべきイベントが発生してトリガが検出された時から前後数秒〜十数秒分(例えば、前12秒、後12秒など)の複数のカメラ画像1枚1枚に対応付けて、運転情報の各種データをメモリカード25に記録する。
<メモリカードのデータ構造>
次に、図2を参照して、メモリカード25に記録される内容のデータ構造について説明する。図2は、メモリカード25に記録される内容のデータ構造を概念的に示す図である。
図2に示すように、メモリカード25には、各イベントの発生毎に、対応する運転情報が、運転情報1、運転情報2、運転情報3というように区分されて記録される。運転情報1は、イベント発生時の前後24秒分(前12秒、後12秒)に相当する240枚のカメラ画像1〜240と、カメラ画像以外のその他の運転情報を含む画像関連情報とから構成される。画像関連情報は、イベント発生時のGデータとその時刻データを含む主項目データと、240枚のカメラ画像1〜240それぞれに対応する関連データ1〜240とを含む。運転情報2、3についても同様である。
主項目データは、Gデータ、角加速度データ、気圧・高度データ、それぞれの時刻データを含み、画像関連データは、カメラ画像の撮影日や撮影時刻、カメラ画像の撮影時の車両の各種信号や情報(ブレーキ操作やハンドル回転などの検出データ、車速データなど)、車両のGPS位置情報を含む。
<イベント発生時の加速度変化と画像等の記憶方法>
次に、図3を参照して、車両に衝撃が加わるなどのイベントの発生時において、ドライブレコーダ10のGセンサ12(図1参照)で検出される加速度(Gデータ)の変化の様子と、ドライブレコーダ10における画像等の記憶方法について説明する。
図3(a)はGセンサ12から出力されたGデータ(Gx、Gyの合成値)の時系列的変化を示しており、図3(b)はメモリカード25に記憶する画像期間の例を示し、図3(c)は作成されるサムネイル画像の元となる画像の選択タイミングの例を示している。なお、サムネイル画像の作成及び表示については後述する。
車両に衝撃が加わった時点より、Gセンサ12から出力されたGデータの値(大きさ)が、ほぼゼロから急増する。そして、図3(a)に示すように、時刻tpにおいて、Gセンサ12のGデータの値(大きさ)が、閾値加速度Gs(例えば、0.3G)になった時(時刻tp)、第1制御部101は、それをトリガと認識し、イベントが発生したと判断(判定)し、CCDカメラ20が撮像し、常に第1メモリ18に循環的に一次記憶している画像をメモリカード25に記憶し、また、時刻tpをイベント発生判断時刻データとしてメモリカード25に記憶するように動作する。
具体的には、図3(b)に示すように、時刻tpの前のTA秒間の画像PAと、時刻tpの後のTB秒間の画像PBをメモリカード25に記憶するように制御する。例えば、TAは12秒、TBは12秒とすることができる。なお、TA及びTBの期間は自由に設定できるものとする。例えば、ドライブレコーダ10の設定画面(図示せず)に設定時間(秒)を表示させながら、ドライブレコーダ10の第1操作部17の時間設定ボタンを操作して時間を設定し、設定された情報を保存しておくことにより、任意の時間に設定できる。
上記のように車両に衝撃が加わるなどのイベントが発生し、Gセンサ12の検出Gデータの値(大きさ)が所定の閾値を超えた時、1回のイベント毎に、第1制御部11は、イベント発生時刻データ(tp)、Gセンサ12の検出Gデータ(Gx、Gy)及びその時刻データ、ジャイロセンサ13の検出角加速度データ及びその時刻データ、気圧センサ14の気圧・高度データ及びその時刻データ、車両信号取得部21で取得された時刻tpの前のTA秒間及び時刻tpの後のTB秒間の車両データ及びその時刻データ(例えば、ブレーキ操作データとその時刻データ、ハンドル回転データとその時刻データ、車速データとその時刻データなど)を、画像データと共にメモリカード25に記憶する。なお、上述したデータの一部のみをメモリカード25に記憶するように構成しても良い。
メモリカード25に記憶されるイベント数は、メモリカード25の記憶容量に応じて、可変することができるが、例えば、500イベント以上分のデータが記憶できるようにすることが好ましい。また、第1制御部11は、イベント毎にメモリカード25にフォルダを作成して、画像データ、イベント発生時刻データ(tp)、Gセンサ12のGデータ(Gx、Gy)及びその時刻データ、角加速度データ及びその時刻データ、気圧・高度データ及びその時刻データ、車両データ及びその時刻データを記憶するようにすることが好ましい。
なお、上述したイベントの発生時において、閾値加速度Gsを超えることをイベント発生のトリガとしたが、例えば、単位時間あたりの加速度の変化量がある値を超えた場合(0.1秒間に、Gデータの値(大きさ)が0.1G以上変化した場合)にイベントが発生したと判断するようにしても良い。
<サムネイル画像の作成及び表示(実施例1)>
次に、運転支援装置30におけるサムネイル画像の作成及び表示処理について、図4を参照して説明する。本例では、1つのイベントに関するサムネイル画像の作成及び表示処理動作について説明する。
図4は、実施例1に係るサムネイル画像の作成及び表示処理を示すフローチャートであり、このサムネイル画像の作成及び表示処理は、運転支援装置30の第2制御部31のRAMにHDD等からロードされた制御プログラムにしたがってCPUが実行することにより実現され、第2操作部34の運転支援ソフトの起動の操作に基づいて開始される。また、図4に示すフローチャートの処理が開始される時点で、スロットを構成する第2IF36にドライブレコーダ10において画像が記憶されたメモリカード25が挿入されているものとする。
ステップS11において、第2制御部31は、メモリカード25に記憶されたデータの中からイベント発生判断時刻データ(tp)を取得する。
次にステップS12では、第2制御部31は、図3(b)に示す時刻tpの前のTA秒間の画像PAと、時刻tpの後のTB秒間の画像PBの中から複数の異なるタイミングに撮影された複数の画像を選択する。
具体的には、この制御プログラムには、図3(b)に示す時刻tpの前のTA秒間の画像PAと、時刻tpの後のTB秒間の画像PBの中から、図3(c)に示す時刻tpのTA秒(例えば、12秒)前の時刻tsに撮影された画像P1を「第1画像」として選択し、時刻tpの直前(所定時間TC秒前、例えば、0.2秒前)の時刻tp1に撮影された画像P2を「第2画像」として選択し、時刻tpの直後(所定時間TC後、例えば、0.2秒後)の時刻tp2に撮影された画像P3を「第3画像」として選択し、時刻tpのTB秒(例えば、12秒)後の時刻teに撮像された画像P4を「第4画像」として選択するといった制御処理がプログラムされている。第2制御部31は、このような制御プログラムに従って、画像PA及び画像PBの中から第1〜第4画像の選択制御を行う。
なお、時刻tpのTA秒前の時刻tsは、一つのイベントにおいて、画像の記憶が開始された時点であり「第1画像」はイベント発生時点に撮影された画像でもある。また、時刻tpのTB秒後の時刻teは、一つのイベントにおいて、画像の記憶が終了された時点でもあり、「第4画像」はイベント検知終了時点に撮影された画像である。
また、所定時間TCは、例えば、0.2秒と設定することが可能であるが、アプリケーションに応じて、0秒を含め最適な値を選択することができる。例えば、運転支援装置30の設定画面(図示せず)に設定時間(秒)を表示させながら、運転支援装置30の第2操作部34の時間設定ボタンを操作して時間を設定し、設定された情報を保存しておくことにより、任意の時間に設定できる。
次にステップS13では、第2制御部201は、第2制御部201内のROMに格納されて制御プログラムに従って、画像処理部37に対して、ステップS12において選択された「第1〜第4画像」(P1〜P4)から第1〜第4サムネイル画像を作成させる画像処理を行わせる。
なお、選択された第1〜第4画像からサムネイル画像を作成するには、例えば、元となる第1〜第4画像を、それぞれ縮小化する画像処理を施してサムネイル画像を作成する。その他、縮小化する画像処理以外にも、選択された第1〜第4画像の拡大化する画像処理を施したり、画像の一部を切り出す画像処理を施したりするなど、その他の所定の画像処理を施すことによりサムネイル画像を作成してもよい。また、選択された第1〜第4画像に何も画像処理せずにそのままをサムネイル画像としてもよい。
続くステップS14では、第2制御部31は、第2制御部31内のROMに格納されて制御プログラムに従って、表示処理部38に対して、ステップS13において作成された第1〜第4サムネイル画像を表示部32に表示させる表示処理を行わせる。具体的には、後述するようにサムネイル画像をマトリックス構造に配置させて同一画面上に一覧表示させる。
これで1つのイベントに関するサムネイル画像作成及び表示処理を終了する。
<サムネイル画像の表示例>
次に、運転支援装置30の表示部32に表示する表示画像の一態様について、図5を参照して説明する。図5は、実施例1に係るサムネイル画像の表示態様の一例を示す画面表示図である。
図5に例示するサムネイル画像の表示態様は、運転支援装置30の表示部32に複数のイベントに関するサムネイル画像が表示された状態を示している。
図5において、縦方向4行×横方向4列のマトリックス構造に配置されて同一画面上に一覧表示された16個のサムネイル画像A1〜D4は、行ごとに、1つのイベントに関するイベント単位画像51,52,53,54を構成している。すなわち、イベント画像51,52,53,54は、それぞれが、1つのイベントに関する4個のサムネイル画像が1つの行内に配置されて表示され、かつ、異なるイベントに関する4個のサムネイル画像が異なる行に配置されて表示される4組のサムネイル画像A1〜A4,B1〜B4,C1〜C4,D1〜D4を構成している。
なお、サムネイル画像A1〜D4の下部には、各サムネイル画像の元となる画像の撮影時刻を表示している。図示の例は、イベント単位画像51におけるイベント発生時刻tpが「11時46分14秒60」の時の各サムネイル画像の元となる画像の撮影時刻を表示している。
また、図5に示す16個のサムネイル画像は、列ごとに、同一時点(正確には、イベントごとにイベント発生時刻tpに対して同一の時間だけ前後する時点)に撮影された画像から作成された時点単位画像61,62,63,64を構成している。すなわち、時点単位画像61,62,63,64は、それぞれが、同一時点に関する4個のサムネイル画像が1つの列内に配置されて表示され、かつ、異なる時点に関する4個のサムネイル画像が異なる列に配置されて表示される4組のサムネイル画像A1〜D1,A2〜D2,A3〜D3,A4〜D4を構成している。
また、図5に示す16個のサムネイル画像において、左から1列目がイベント発生時点(時刻ts)に撮影された画像P1(第1画像)から作成されたサムネイル画像であり、2列目がイベント発生判断時刻の直前(時刻tp1)に撮影された画像P2(第2画像)から作成されたサムネイル画像であり、3列目がイベント発生判断時刻の直後(時刻tp2)に撮影された画像P3(第3画像)から作成されたサムネイル画像であり、4列目がイベント検知終了時点(時刻te)に撮影された画像P4(第4画像)から作成されたサムネイル画像である。
更に、図5において、1つの行内に配置された4個のサムネイル画像は、X1→X2→X3→X4(Xは、A,B,C,Dのいずれか)の順で、同一のイベント画像ごとのサムネイル画像が同一行内を左から右に時系列の順番に並ぶように配置されて表示されている。なお、表示順番は、同一行内を左から右ではなく、右から左に時系列の順番に並ぶようにしてもよい。
なお、図5では、4つのイベントを表示しているが、イベントの表示個数はこれに限定されるものではなく、他の表示個数を選択することや、他の要素(Gデータや車両データなど)と合わせて表示させること等も可能である。
以上のように本実施例1の運転支援装置30では、次のような利点を奏する。すなわち、
(1)車両に衝撃が加わるなどのイベントの発生時において、イベント発生時点(時刻tp)のTA秒前に撮影された第1画像P1、時刻tpの直前に撮影された第2画像P2、時刻tpの直後に撮影された第3画像P3、時刻tpのTB秒後に撮像された第4画像P4を選択し、選択された第1〜第4画像P1〜P4から第1〜第4サムネイル画像を作成し、表示部32に表示させる制御を行う。これにより、イベントの発生時において、その前後の所定期間が撮影されたイベント単位画像の中の異なる時点に撮影された第1〜第4画像P1〜P4に対応する第1〜第4サムネイル画像を確認することにより、イベント発生ごとに記憶されたイベント単位画像の内容を容易に確認することができ、イベントが発生する原因や状況を把握し易い。
例えば、イベント発生ごとに記憶された多数のイベント単位画像の中から特定のイベントに関係するイベント単位画像を見つける際に、そのイベント単位画像に関連する1つの時点のサムネイル画像から当該イベント単位画像の内容を確認して特定のイベント単位画像を探す場合に比較して、求める特定のイベント単位画像をサムネイル画像から簡単に見つけることができる。
(2)図5に例示するサムネイル画像の表示態様のように、サムネイル画像は、1つのイベントに関する4個のサムネイル画像が1つの行内に配置されて表示され、かつ、異なるイベントに関する4個のサムネイル画像が異なる行に配置されて表示されるので、1つのイベントに関連する4個のサムネイル画像を一目瞭然に判別することができる。
また、1つの行内に配置された4個のサムネイル画像は、イベントごとに同一行内を左から右に時系列の順番に並ぶように配置されて表示されるので、1つのイベントに関連する4個のサムネイル画像の時間経過順を一目瞭然に判別することができる。
更に、1列目のサムネイル画像を見れば、イベント発生時点の車両前方の様子が分かり、2列目のサムネイル画像を見れば、イベント発生判断時刻の直前の車両前方の様子が分かり、3列目のサムネイル画像を見れば、イベント発生判断時刻の直後の車両前方の様子が分かり、4列目のサムネイル画像を見れば、イベント検知終了時点の車両前方の様子が分かるので、例えば、同じ列のサムネイル画像を比較して見ることで、イベントが発生する各同一時点での車両前方の様子を比較検証することができる。
[実施例2]
本実施例2は、車両に衝撃が加わるなどのイベント事例として、急ブレーキによる場合である。
図6は急ブレーキの場合の加速度変化を示す図であり、Gセンサ12から出力されたGデータ(Gx、Gyの合成値)の時系列的変化を示している。
図6に示すように、時刻t1において、急ブレーキが踏まれた(ONされた)場合、Gセンサ12では、主に車両の前後方向の加速度(Gx)が検出され、加速度が変化する。Gセンサ12の加速度(Gデータ)は、時刻t1から徐々に増え(すなわち、車両が進む向きと逆向き加速度が大きくなり)、それが閾値加速度Gs(例えば、0.3G)になった時(時刻tp)、第1制御部11は、それをトリガと認識し、イベントが発生したと判断(判定)し、CCDカメラ20が撮像し、常に第1メモリ108に循環的に記憶している画像をメモリカード150に記憶し、また、時刻tpをイベント発生判断時刻データとしてメモリカード150に記憶するように動作する。
具体的には、本実施例2でも、実施例1と同様に、時刻tpの前のTA秒間の画像PAと、時刻tpの後のTB秒間の画像PBをメモリカード25に記憶するように制御する。
時刻tpの以降も加速度は増え続け、極大値(最大値)になった後、減少に変わって徐々に減り(すなわち、車両が進む向きと逆向き加速度が小さくなり)、そして、急減して、ゼロ点を経て、更に減り(すなわち、車両が進む向きの加速度が大きくなり)、極小値(最小値)になり、増加に変わって急増し(すなわち、車両が進む向きの加速度が小さくなり)、車両が停止し、ブレーキが放された(OFF)時(時刻t2)、ゼロになる。
図6において、時刻t1から時刻tpまでの期間Tdは「危険運転のはじめからトリガ発生直前の期間」であり、時刻tpから時刻t2までの期間Teは「危険運転の挙動」の期間である。
<サムネイル画像の作成及び表示(実施例2)>
図7は、実施例2に係るサムネイル画像の作成及び表示処理を示すフローチャートであり、実施例1と同様に、運転支援装置30の第2制御部31のRAMにHDD等からロードされた制御プログラムにしたがってCPUが実行することにより実現され、第2操作部34の運転支援ソフトの起動の操作に基づいて開始される。また、図7に示すフローチャートの処理が開始される時点で、スロットを構成する第2IF36にドライブレコーダ10において画像が記憶されたメモリカード25が挿入されているものとする。
ステップS21において、第2制御部31は、メモリカード25に記憶されたデータからイベント発生判断時刻データ(tp)を取得する。続いてステップS22において、メモリカード25に記憶されたデータの中から車両信号取得部21から出力されたブレーキ操作検出信号(ブレーキ操作データ)を取得する。
次にステップS23では、第2制御部31は、図3(b)に示す時刻tpの前のTA秒間の画像PAと、時刻tpの後のTB秒間の画像PBの中から、ブレーキ操作に関連する複数の異なるタイミングに撮影された複数の画像を選択する。
具体的には、この制御プログラムには、図3(b)に示す時刻tpの前のTA秒間の画像PAと、時刻tpの後のTB秒間の画像PBの中から、取得したブレーキ操作データに含まれるブレーキ操作開始時刻データに基づいてブレーキ操作が開始された時刻t1(すなわち、加速度事象の出現開始時点)に撮像された画像を「第1画像」として選択し、時刻tpの直前(所定時間TC前、例えば、0.2秒前)に撮影された画像を「第2画像」として選択し、時刻tpの直後(所定時間TC後、例えば、0.2秒後)に撮影された画像を「第3画像」として選択し、取得したブレーキ操作データに含まれるブレーキ操作終了時刻データに基づいてブレーキ操作が終了された時刻t2(すなわち、加速度事象の出現終了時点)に撮像された画像を「第4画像」として選択するといった制御処理がプログラムされている。第2制御部31は、このような制御プログラムに従って、画像PA及び画像PBの中から第1〜第4画像の選択制御を行う。
なお、所定時間TCは、例えば、0.2秒と設定することが可能であるが、アプリケーションに応じて、0秒を含め最適な値を選択することができる。
また、上記した時刻t1、時刻tpの直前・直後、時刻t2の他に、加速度が極大値(最大値)になった時点、その直前・直後や、加速度が極小値(最小値)になった時点、その直前・直後に撮像された画像を選択してもよい。
次にステップS24では、第2制御部31は、第2制御部31内のROMに格納されて制御プログラムに従って、画像処理部37に対して、ステップS23において選択された「第1〜第4画像」から第1〜第4サムネイル画像を作成させる画像処理を行わせる。
続くステップS25では、第2制御部31は、第2制御部31内のROMに格納されて制御プログラムに従って、表示処理部38に対して、ステップS24において作成された第1〜第4サムネイル画像を表示部32に表示させる表示処理を行わせる。具体的には、図5に示すようにサムネイル画像をマトリックス構造に配置させて同一画面上に一覧表示させる。
これで1つのイベントに関するサムネイル画像作成及び表示処理を終了する。
以上のように本実施例2の運転支援装置30では、次のような利点を奏する。すなわち、
車両に衝撃が加わるなどのイベント事例として急ブレーキによる場合において、ブレーキ操作が開始された時刻t1に撮像された第1画像、時刻tpの直前に撮影された第2画像、時刻tpの直後に撮影された第3画像、ブレーキ操作が終了された時刻t2に撮像された第4画像を選択し、選択された第1〜第4画像から第1〜第4サムネイル画像を作成し、表示部32に表示させる制御を行う。これにより、急ブレーキの場合において、イベント発生時点(時刻tp)の前後の所定期間が撮影されたイベント単位画像の中の異なる時点で、特に、ブレーキ操作が開始された時刻t1やブレーキ操作が終了された時刻t2を含む時点に撮影された第1〜第4画像に対応する第1〜第4サムネイル画像を確認することにより、イベント事例として急ブレーキによる場合に記憶されたイベント単位画像の内容を容易に確認することができ、急ブレーキが発生する原因や状況を把握し易い。
例えば、イベント発生ごとに記憶された多数のイベント単位画像の中から急ブレーキに関係するイベント単位画像を見つける際に、そのイベント単位画像に関連する1つの時点のサムネイル画像から当該イベント単位画像の内容を確認して、急ブレーキに関係するイベント単位画像を探す場合に比較して、求める急ブレーキに関係するイベント単位画像をサムネイル画像から簡単に見つけることができる。
また、図5に示す16個のサムネイル画像の左から1列目のサムネイル画像を縦に眺めていけば、急ブレーキをかけた時点(ブレーキ操作を開始した時点)の画像を比較して見ることができる。また、2列目のサムネイル画像を縦に眺めていけば、急ブレーキをかけたことに起因してイベント発生と判断された時点の直前の画像を比較して見ることができ、3列目のサムネイル画像を縦に眺めていけば、その直後の画像を比較して見ることができる。更に、4列目のサムネイル画像を縦に眺めていけば、ブレーキを放す時点(ブレーキ操作を終了した時点)の画像を比較して見ることができる。
[実施例3]
本実施例3は、車両に衝撃が加わるなどのイベント事例として、急ハンドルによる場合である。
図8は急ハンドルの場合の加速度変化を示す図であり、Gセンサ12から出力されたGデータ(Gx、Gyの合成値)の時系列的変化を示している。
図8に示すように、時刻t3において、急ハンドルが回され始められた場合、Gセンサ12では、主に車両の左右方向の加速度(Gy)が検出され、加速度が変化する。Gセンサ12からの加速度(Gデータ)は、時刻t3から徐々に増え(すなわち、車両の曲がる向きと逆向きの加速度が大きくなり)、それが閾値加速度Gs(例えば、0.3G)になった時(時刻tp)、第1制御部11は、それをトリガと認識し、イベントが発生したと判断(判定)し、CCDカメラ20が撮像し、常に第1メモリ108に循環的に記憶している画像をメモリカード25に記憶し、また、時刻tpをイベント発生判断時刻データとしてメモリカード25に記憶するように動作する。
具体的には、本実施例3でも、実施例1,2と同様に、時刻tpの前のTA秒間の画像PAと、時刻tpの後のTB秒間の画像PBをメモリカード25に記憶するように制御する。
時刻tpの以降も加速度は増え続け、極大値(最大値)になった後、減少に変わって徐々に減り(すなわち、車両の曲がる向きと逆向きの加速度が小さくなり)、そして、急減して、ゼロ点を経て、更に減り(すなわち、車両の曲がる向きの加速度が大きくなり)、極小値(最小値)になり、増加に変わって急増し(すなわち、車両の曲がる向きの加速度が小さくなり)、車両が曲がり終わり、ハンドルが回され終えた(すなわち、ハンドルが元に戻された)とき(時刻t4)、ゼロになる。
図8において、時刻t3から時刻tpまでの期間Tfは「危険運転のはじめからトリガ発生直前の期間」であり、時刻tpから時刻t4までの期間Tgは「危険運転の挙動」の期間である。
<サムネイル画像の作成及び表示(実施例3)>
図9は、実施例3に係るサムネイル画像の作成及び表示処理を示すフローチャートであり、実施例1,2と同様に、運転支援装置30の第2制御部31のRAMにHDD等からロードされた制御プログラムにしたがってCPUが実行することにより実現され、第2操作部34の運転支援ソフトの起動の操作に基づいて開始される。また、図9に示すフローチャートの処理が開始される時点で、スロットを構成する第2IF36にドライブレコーダ10において画像が記憶されたメモリカード25が挿入されているものとする。
ステップS31において、第2制御部31は、メモリカード25に記憶されたデータからイベント発生判断時刻データ(tp)を取得する。続いてステップS32において、メモリカード25に記憶されたデータの中から、車両信号取得部21から出力されたハンドル回転検出信号(ハンドル回転データ)を取得する。
次にステップS33では、第2制御部31は、図3(b)に示す時刻tpの前のTA秒間の画像PAと、時刻tpの後のTB秒間の画像PBの中から、ハンドル回転に関連する複数の異なるタイミングに撮影された複数の画像を選択する。
具体的には、この制御プログラムには、図3(b)に示す時刻tpの前のTA秒間の画像PAと、時刻tpの後のTB秒間の画像PBの中から、取得したハンドル回転データに含まれるハンドル回転開始時刻データに基づいてハンドル回転が開始された時刻t3に撮像された画像を「第1画像」として選択し、時刻tpの直前(所定時間TC前、例えば、0.2秒前)に撮影された画像を「第2画像」として選択し、時刻tpの直後(所定時間TC後、例えば、0.2秒後)に撮影された画像を「第3画像」として選択し、取得したハンドル回転データに含まれるハンドル回転終了時刻データに基づいてハンドル回転が終了された時刻t4に撮像された画像を「第4画像」として選択するといった制御処理がプログラムされている。第2制御部31は、このような制御プログラムに従って、画像PA及び画像PBの中から第1〜第4画像の選択制御を行う。
なお、所定時間TCは、例えば、0.2秒と設定することが可能であるが、アプリケーションに応じて、0秒を含め最適な値を選択することができる。
また、上記した時刻t3、時刻tpの直前・直後、時刻t4の他に、加速度が極大値(最大値)になった時点、その直前・直後や、加速度が極小値(最小値)になった時点、その直前・直後に撮像された画像を選択してもよい。
次にステップS34では、第2制御部31は、第2制御部31内のROMに格納されて制御プログラムに従って、画像処理部37に対して、ステップS33において選択された「第1〜第4画像」から第1〜第4サムネイル画像を作成させる画像処理を行わせる。
続くステップS35では、第2制御部31は、第2制御部31内のROMに格納されて制御プログラムに従って、表示処理部38に対して、ステップS34において作成された第1〜第4サムネイル画像を表示部32に表示させる表示処理を行わせる。具体的には、図5に示すようにサムネイル画像をマトリックス構造に配置させて同一画面上に一覧表示させる。
これで1つのイベントに関するサムネイル画像作成及び表示処理を終了する。
以上のように本実施例3の運転支援装置30では、次のような利点を奏する。すなわち、
車両に衝撃が加わるなどのイベント事例として急ハンドルによる場合において、ハンドル回転が開始された時刻t3に撮像された第1画像、時刻tpの直前に撮影された第2画像、時刻tpの直後に撮影された第3画像、ハンドル回転が終了された時刻t4に撮像された第4画像を選択し、選択された第1〜第4画像から第1〜第4サムネイル画像を作成し、表示部32に表示させる制御を行う。これにより、急ハンドルの場合において、イベント発生時点(時刻tp)の前後の所定期間が撮影されたイベント単位画像の中の異なる時点で、特に、ハンドル回転が開始された時刻t3やハンドル回転が終了された時刻t4を含む時点に撮影された第1〜第4画像に対応する第1〜第4サムネイル画像を確認することにより、イベント事例として急ハンドルによる場合に記憶されたイベント単位画像の内容を容易に確認することができ、急ハンドルが発生する原因や状況を把握し易い。
例えば、イベント発生ごとに記憶された多数のイベント単位画像の中から急ハンドルに関係するイベント単位画像を見つける際に、そのイベント単位画像に関連する1つの時点のサムネイル画像から当該イベント単位画像の内容を確認して、急ハンドルに関係するイベント単位画像を探す場合に比較して、求める急ハンドルに関係するイベント単位画像をサムネイル画像から簡単に見つけることができる。
また、図5に示す16個のサムネイル画像の左から1列目のサムネイル画像を縦に眺めていけば、ハンドル操作を始めた時点(ハンドル回転を開始した時点)の画像を比較して見ることができる。また、2列目のサムネイル画像を縦に眺めていけば、ハンドル操作をしたことに起因してイベント発生と判断された時点の直前の画像を比較して見ることができ、3列目のサムネイル画像を縦に眺めていけば、その直後の画像を比較して見ることができる。更に、4列目のサムネイル画像を縦に眺めていけば、ハンドル操作をやめた時点(ハンドル回転を終了した時点)の画像を比較して見ることができる。
更に、第3実施例のように、ハンドル回転が開始された時点のサムネイル画像を作成するのは、以下のように、ハンドル操作と加速度事象とが連動していない場合に利点を奏する。
例えば、車両が衝突した時や坂道を走行した時などのように、ハンドル操作とは無関係に加速度が発生する場合と、急ハンドルなどのハンドル操作により加速度が発生する場合とがある。第3実施例の1枚目(上記の図5の左から1列目)のサムネイル画像は、ハンドル回転が開始された時点のものであるが、ハンドル操作と加速度事象とが連動していない場合がある。
第3実施例によれば、ハンドル回転が開始された時点のサムネイル画像であって、イベント発生と所定の関係性を持つサムネイル画像を表示させることができるので、特に、ハンドル回転が開始された時点と加速度事象の出現開始時点とが一致しないような場合に、加速度事象の出現開始時点のサムネイル画像ではなく、ハンドル回転が開始された時点のサムネイル画像から、ハンドル回転を開始された時点とイベント発生との関係性について確認し、イベント発生原因や状況把握に役立てることができる。
[実施例4]
本実施例4は、車両に衝撃が加わるなどのイベントの事例として、車両衝突による場合である。
図10は車両衝突の場合の加速度変化を示す図であり、Gセンサ12から出力されたGデータ(Gx、Gyの合成値)の時系列的変化を示している。
図10に示すように、時刻t5において、車両が何かと衝突した場合、Gセンサ12では、車両の前後方向の加速度(Gx)及び左右方向の加速度(Gy)がそれぞれ検出され、変化する。Gセンサ12からの加速度(Gデータ)は、時刻t5の直後から急増し、更に急減するという急増減を繰り返した後、それが急増し、それが閾値加速度Gs(例えば、0.3G)になった時(時刻tp)、第1制御部11は、それをトリガと認識し、イベントが発生したと判断(判定)し、CCDカメラ20が撮像し、常に第1メモリ108に循環的に記憶している画像をメモリカード25に記憶し、また、時刻tpをイベント発生判断時刻データとしてメモリカード25に記憶するように動作する。
具体的には、本実施例4でも、実施例1,2,3と同様に、時刻tpの前のTA秒間の画像PAと、時刻tpの後のTB秒間の画像PBをメモリカード25に記憶するように制御する。
時刻tpの以降も加速度は増え、極大値(最大値)になってから急減し、ゼロ点を経て、極小値(最小値)になってから急増し、再び、ゼロ点を経て、再び、極大値(最大値)になってから急減し、再び、ゼロ点を経て、急増減を繰り返した後、車両が停止し、加速度が収束した時点(t6)で、ゼロになる。
図10において、時刻t5から時刻tpまでの期間Thは「大きな衝撃前の衝撃の期間」であり、この期間Thには、車両のバンパーやガードレールなどの効果による衝撃軽減による衝撃波形が現れる。また、時刻tpから時刻t6までの期間Tiは「衝撃の挙動」の期間である。
<サムネイル画像の作成及び表示(実施例4)>
図11は、実施例4に係るサムネイル画像の作成及び表示処理を示すフローチャートであり、実施例1,2,3と同様に、運転支援装置30の第2制御部31のRAMにHDD等からロードされた制御プログラムにしたがってCPUが実行することにより実現され、第2操作部34の運転支援ソフトの起動の操作に基づいて開始される。また、図11に示すフローチャートの処理が開始される時点で、スロットを構成する第2IF36にドライブレコーダ10において画像が記憶されたメモリカード25が挿入されているものとする。
ステップS41において、第2制御部31は、メモリカード25に記憶されたデータからイベント発生判断時刻データ(tp)を取得する。続いてステップS42において、メモリカード25に記憶されたデータの中から、車両信号取得部21から出力された車速(車速データ)を取得する。更にステップS43において、メモリカード25に記憶されたデータの中から、Gセンサ12の検出Gデータ(Gx、Gy)を取得する。
次にステップS44では、第2制御部31は、図3(b)に示す時刻tpの前のTA秒間の画像PAと、時刻tpの後のTB秒間の画像PBの中から、車両衝突に関連する複数の異なるタイミングに撮影された複数の画像を選択する。
具体的には、この制御プログラムには、図3(b)に示す時刻tpの前のTA秒間の画像PAと、時刻tpの後のTB秒間の画像PBの中から、車両衝突した時刻t5の直後のGデータの大きさ(値)が急増減を繰り返して2回目の極大値になった時点tp3(すなわち、バンパー、ガードレールなどの反動による車両の加速度挙動が生まれる時点)に撮像された画像を「第1画像」として選択し、時刻tpの直前(所定時間TC前、例えば、0.2秒前)に撮影された画像を「第2画像」として選択し、時刻tpの直後(所定時間TC後、例えば、0.2秒後)に撮影された画像を「第3画像」として選択し、車速がゼロとなった時刻t6(すなわち、加速度挙動が収束した時点)に撮像された画像を「第4画像」として選択するといった制御処理がプログラムされている。第2制御部31は、このような制御プログラムに従って、画像PA及び画像PBの中から第1〜第4画像の選択制御を行う。
なお、所定時間TCは、例えば、0.2秒と設定することが可能であるが、アプリケーションに応じて、0秒を含め最適な値を選択することができる。
また、上記した時刻t5の直後、時刻tpの直前・直後、時刻t6の他に、加速度が極大値(最大値)になった時点、その直前・直後や、加速度が極小値(最小値)になった時点、その直前・直後に撮像された画像を選択してもよい。
次にステップS45では、第2制御部31は、第2制御部31内のROMに格納されて制御プログラムに従って、画像処理部37に対して、ステップS44において選択された「第1〜第4画像」から第1〜第4サムネイル画像を作成させる画像処理を行わせる。
続くステップS46では、第2制御部31は、第2制御部31内のROMに格納されて制御プログラムに従って、表示処理部38に対して、ステップS45において作成された第1〜第4サムネイル画像を表示部32に表示させる表示処理を行わせる。具体的には、図5に示すようにサムネイル画像をマトリックス構造に配置させて同一画面上に一覧表示させる。
これで1つのイベントに関するサムネイル画像作成及び表示処理を終了する。
以上のように本実施例4の運転支援装置30では、次のような利点を奏する。すなわち、
車両に衝撃が加わるなどのイベント事例として車両衝突による場合において、車両衝突した時刻t5の直後のGデータが急増減を繰り返した時点(反動の加速度挙動の時点)に撮像された第1画像、時刻tpの直前に撮影された第2画像、時刻tpの直後に撮影された第3画像、車速がゼロとなった時刻t6(加速度が収束した時点)に撮像された第4画像を選択し、選択された第1〜第4画像から第1〜第4サムネイル画像を作成し、表示部32に表示させる制御を行う。これにより、車両衝突の場合において、イベント発生時点(時刻tp)の前後の所定期間が撮影されたイベント単位画像の中の異なる時点で、特に、車両衝突した時刻t5の直後のGデータが急増減を繰り返した時点(反動の加速度挙動の時点)や車速がゼロとなった時刻t6(加速度が収束した時点)を含む時点に撮影された第1〜第4画像に対応する第1〜第4サムネイル画像を確認することにより、イベント事例として車両衝突による場合に記憶されたイベント単位画像の内容を容易に確認することができ、車両衝突が発生する原因や状況を把握し易い。
例えば、イベント発生ごとに記憶された多数のイベント単位画像の中から車両衝突に関係するイベント単位画像を見つける際に、そのイベント単位画像に関連する1つの時点のサムネイル画像から当該イベント単位画像の内容を確認して、車両衝突に関係するイベント単位画像を探す場合に比較して、求める車両衝突に関係するイベント単位画像をサムネイル画像から簡単に見つけることができる。
また、図5に示す16個のサムネイル画像の左から1列目のサムネイル画像を縦に眺めていけば、車両衝突した時点の画像を比較して見ることができる。また、2列目のサムネイル画像を縦に眺めていけば、車両衝突に起因してイベント発生と判断された時点の直前の画像を比較して見ることができ、3列目のサムネイル画像を縦に眺めていけば、その直後の画像を比較して見ることができる。更に、4列目のサムネイル画像を縦に眺めていけば、車速がゼロとなった時点の画像を比較して見ることができる。
<実験事例>
図12は、図10に示す実施例4に係る車両衝突の場合の加速度変化に関連して、車対車の衝突の場合の加速度変化の実験事例を示す図であり、Gセンサ12から出力されたX軸方向(車両の前後方向)の検出加速度Gxの値、Y軸方向(車両の左右方向)の検出加速度Gyの値、Z軸方向(車両の上下方向)の検出加速度Gzの値を、それぞれの時系列的変化として示している。
この実験事例では、図12に示すように、時刻t7において、車両が何かと衝突した場合、時刻t7の直後からGxの値、Gyの値、Gzの値が比較的短い周期で急増減を繰り返した後、Gxの値が閾値加速度Gs(例えば、1.0)になった時(時刻tp)、トリガと認識され、イベントが発生したと判断される。
時刻tpの以降、Gxの値は、やや大きくなることがあるが、やがてゼロ値近くに収束する(時刻t8)。また、時刻tpの以降、Gy,Gzの値は比較的小さく、やがて収束する。
図12において、時刻t7から時刻tpまでの期間Tjは、図10の期間Thと同じく、「大きな衝撃前の衝撃の期間」であり、この期間Tjには、車両のバンパーやガードレールなどの効果による衝撃軽減による衝撃波形が現れる。また、時刻tpから時刻t8までの期間Tiは、図10の期間Tiと同じく、「衝撃の挙動」の期間であり、この期間Tkには、衝撃後の反動で車両が動く。
<表示事例>
図13は、図12に示す実験事例に係るサムネイル画面の表示事例を示す図である。
この表示事例は、ドライブレコーダ10内に装着され、カメラ画像や画像関連情報を含む運転情報が記録されたメモリカード25を取り出して、運転支援装置30の表示部32に表示させているものである。
図13において、縦4行×横4列のマトリックス構造に配置されて同一画面上に一覧表示された16個のサムネイル画像は、行ごとに、1つのイベントに関するイベント単位画像71,72,73,74を表示し、また、列ごとに、同一時点(正確には、イベントごとにイベント発生時刻tpに対して相対的に同一となる時点)に撮影された画像から作成された時点単位画像71,72,73,74を表示している。
次に、上記のようにしてマトリックス構造に配置された形で、サムネイル画像を一覧表示させる方法について、以下に説明する。
使用者は、まず、図13に示す表示画像の右上のプレイリスト90の中から、第2操作部204によって表示したい複数のイベント(ここでは4つ)のファイル91,92,93,94を選択する。次に、選択されたイベントのファイル91,92,93,94に対応するイベント単位画像が読み込まれ、読み込まれたファイルに基づいて、図4にフローチャートの処理手順に従ってサムネイル画像の作成及び表示処理が行われ、サムネイル画像がマトリックス構造に配置されて同一画面上に一覧表示される。
図13の表示事例において、行ごとに表示されたイベント単位画像71は、ファイル91のイベントについての4つの時点(すなわち、[1]イベント発生時刻tpのTA秒前であるイベント発生時点、[2]時刻tpの直前(イベント発生直前)、[3]時刻tpの直後(イベント発生直後)、[4]時刻tpのTB秒であるイベント検知終了時点に、それぞれ撮影された画像から作成したサムネイル画像を表示している。
同様に、イベント単位画像72はファイル92のイベントについての上記の4つの時点のサムネイル画像を表示し、イベント単位画像73はファイル93のイベントについての上記の4つの時点のサムネイル画像を表示し、イベント単位画像74はファイル94のイベントについての上記の4つの時点のサムネイル画像を表示している。
図13の表示事例において、列ごとに表示された時点単位画像81は、イベント単位画像71,72,73,74のそれぞれ4個のサムネイル画像の中の[1]イベント発生時刻tpのTA秒前であるイベント発生時点に撮影された画像から作成したサムネイル画像を表示している。
同様に、時点単位画像82は、イベント単位画像71,72,73,74のそれぞれ4個のサムネイル画像の中の[2]イベント発生時刻tpの直前(イベント発生直前)に撮影された画像から作成したサムネイル画像を表示し、時点単位画像83は、イベント単位画像71,72,73,74のそれぞれ4個のサムネイル画像の中の[3]イベント発生時刻tpの直後(イベント発生直後)に撮影された画像から作成したサムネイル画像を表示し、時点単位画像84は、イベント単位画像71,72,73,74のそれぞれ4個のサムネイル画像の中の[4]イベント発生時刻tpのTB秒後であるイベント検知終了時点に撮影された画像から作成したサムネイル画像を表示している。
<変形例>
本発明は、上述した本発明の実施形態の記載内容に限定されず、種々の変形が可能である。その変形例としては、例えば、次のように実施しても良い。
(1)上述した実施形態では、Gセンサ12から出力されたGデータの値(大きさ)が閾値加速度Gsになった時(時刻tp)をトリガと認識し、イベントが発生したと判断しているが、これに限らず、例えば、ジャイロセンサ13から出力された角加速度データや気圧センサ14から出力された気圧・高度データの値(大きさ)が所定値になった時をトリガと認識し、イベントが発生したと判断してもよい。また、記録された映像を解析した結果からイベントが発生したと判断してもよい。
その他、第1操作部17の緊急スイッチが押された時、外部ポートからの信号入力があった時、及びAVM−ECU(Automatic Vehicle Monitoring − Engine Control Unit)などの外部機器からの通信(例えば、RS−232C)によりコマンドを受信した時などをイベント発生時としてもよい。
(2)上述した実施形態では、1回のイベント毎ごとに記憶された所定期間の画像の中から、急ブレーキ、急ハンドル、車両衝突といったイベントごとに、4つの時点に撮影された第1〜4画像を選択して、第1〜第4サムネイル画像を作成しているが、これに限らず、4つの時点以外の複数の異なる時点に撮影された複数の画像を選択して、選択された画像に対応するサムネイル画像を作成してもよい。また、複数の異なる時点については、イベントの種類によって、種々の組み合わせとするとよいが、イベントの特徴が現れる時点の組み合わせ(所定期間の中の特定期間)とすることが好ましい。
イベントの特徴が現れる時点の組み合わせは、画像データと共にメモリカード25に記憶された「車両の挙動を検出したデータ」や「車両の機能状態に関するデータ」といった各種データを、単独あるいは組み合わせて使用して、それらのデータに基づいて、的確なタイミングに撮影された複数の画像が選択され、選択された画像に対応するサムネイル画像を作成されるようにするとよい。
「車両の挙動を検出したデータ」としては、例えば、加速度データ、角加速度データ、気圧・高度データ、映像解析データなどとするとよい。また、「車両の機能状態に関するデータ」としては、例えば、車両運転時のブレーキ、ウインカ−、アクセル、ハンドル回転、シフトレバー位置、サイドブレーキのいずれかの操作に関するデータや、車両故障診断システムであるOBD(On Board Diagnosis)、車載LANであるCAN(Controller Area Network)から得られるデータとするとよい。
(3)上述した実施形態では、Gデータとして、X軸方向(車両の前後方向)の成分加速度(Gデータ)Gxと、Y軸方向(車両の左右方向)の成分加速度(Gデータ)Gyの合成値を用いてイベントの発生を判断しているが、これに限らず、各成分加速度(Gx,Gy)を個々に用いてイベントの発生を判断するようにしてもよい。例えば、Gxが所定の閾値を越えた後、Gyが所定の閾値を所定時間内に超えた場合など、各成分の値(大きさ)の変化パターンが所定のパターンを採った場合にトリガと認識し、イベントが発生したと判断するようにしてもよい。また、Gx,Gyの他にZ軸方向(車両の上下方向)の成分加速度Gz等も加味してイベントの発生を判断するようにしてもよい。
(4)上述した実施形態に限らず、イベントが発生したと判断するのに用いた情報(例えば、急ハンドルによる車両の左右方向のGデータ(Gy))と異なる情報(例えば、急ブレーキによる車両の前後方向のGデータ(Gx))が所定値(例えば、極大値など)になった時点に撮像された画像を選択し、サムネイル画像を作成してもよい。これにより、イベントが発生したと判断するのに用いた情報(例えば、急ハンドルによるGデータ(Gy))と異なる情報(例えば、急ブレーキによるGデータ(Gx))が所定値になった時点の事象に関連するイベント単位映像を簡単に見つけることができる。
(5)上述した実施形態に限らず、Gデータの値(大きさ)が閾値加速度Gsになってイベントが発生したと判断した時(時刻tp)からさかのぼって、例えば、Gデータが極大値・極小値となる時点、Gデータの時系列変化の変曲点となる時点、Gデータが短時間に急増減を繰り返すなどの特徴的な変化をする時点といったイベントの発生の原因となったサブイベントの発生時点を推定する時点に撮像された画像を選択し、サムネイル画像を作成してもよい。これにより、例えば、Gデータの急増減などの特徴的な変化をする時点など、イベントの発生の原因となったサブイベントの発生時点を推定する時点の事象に関連するイベント単位映像を簡単に見つけることができる。
(6)上述した実施形態では、ドライブレコーダ10は「記録条件が成立したことを示すトリガ」の前後の映像を記録するトリガ記録タイプであるが、これに限らず、例えば、エンジンオンからオフまで常時記録しておき、トリガがかかった映像の位置を特定可能とするための情報を記憶する常時記録タイプとしてもよい。この常時記録タイプのドライブレコーダにおいては、例えば、映像の記録開始時刻情報と、トリガがかかった時刻情報とから、どの映像のどの位置がトリガのかかった位置かを特定するとよい。
上記のトリガ記録タイプのドライブレコーダであれば、例えば、ドライブレコーダによる記録条件が成立したことを示すトリガの発生時点の前後の所定期間に亘って記録された映像を「イベント単位映像」とするとよい。また、上記の常時記録タイプのドライブレコーダであれば、例えば、エンジンオンからオフまでが1記録単位となる映像の中で、トリガの発生時点の前後の所定期間に亘って記録された部分の「イベント単位映像」とするとよい。
(7)上述した実施形態では、イベント発生と判断した時刻tpの前後のTA秒間の画像PA及びTB秒間の画像PBをメモリカード25に記憶しているが、これに限らず、例えば、エンジンオンからオフまで全時間の画像、あるいは、その全時間の中の限定された時間の画像をメモリカード25に記憶してもよい。この全時間の中の限定された時間は、イベント発生と判断した時刻tpを含む時間とするとよい。
また、上記した時刻tp前後のTA秒及びTB秒の合計時間は、イベント発生ごとに一定時間としてもよいが可変時間としてもよい。TA秒及びTB秒の合計時間は、イベントの発生の原因を特定可能とするのに十分な期間とするとよい。特に、イベントの種類に応じてTA秒及びTB秒の合計時間は異なる時間とするとよい。
(8)上述した実施形態では、イベント発生と判断した時刻tpの前後のTA秒の時間とTB秒の時間は同一の時間(実施例では、前は12秒、後は12秒)としているが、これに限らず、例えば、異なる時間とするとよい。特に、時刻tpの前のTA秒の時間を長くし、後のTB秒の時間を短く(例えば、前は15秒、後は5秒)するとよい。
(9)上述した実施形態では、イベント発生と判断した時刻tpの前後のTA秒間の画像PA及びTB秒間の画像PBの中から、TA秒前、直前(TC秒前)、直後(TC後)、TB秒後に撮影された第1〜第4画像を選択し、選択された第1〜第4画像から第1〜及び第4サムネイル画像を作成しているが、これに限らず、例えば、第1〜第4画像の中の2あるいは3枚の画像を組み合わせて選択し、あるいは第1〜第4画像の中の1〜4枚のいずれかの枚数の画像とその他の時点の1枚または複数枚の画像とを組み合わせて選択し、選択された画像からサムネイル画像を作成してもよい。
(10)上述した実施形態では、イベント発生と判断した時刻tpの前後の時点に撮影された画像を選択しているが、これに限らず、時刻tpに撮影された画像を選択して、この画像と時刻tpの前後の時点の画像とを組み合わせてもよい。
(11)上述した実施形態では、図5に示すサムネイル画像の表示態様の一例のように、16個のサムネイル画像が、行ごとに、一つのイベントに関するイベント単位画像を構成し、列ごとに、同一時点の時点単位画像を構成するようにしているが、これに限らず、行と列を入れ替えて、列ごとにイベント単位画像を構成し、行ごとに時点単位画像を構成してもよい。また、行(あるいは列)ごとに、一つのイベントに関するイベント単位画像を構成したときに、1つの行内(あるいは列内)のイベント単位画像を時系列の順番に並ぶように配置するだけで、列ごとに同一時点とはせずに、イベントの種類に応じた時点の画像としてもよい。更に、縦方向4行×横方向4列に限らず、5行×5列や3行×3列など、他の行数及び列数の組み合わせのマトリックス構造に配置されて同一画面上に一覧表示してもよい。更にまた、画面内に表示しきれない場合に、イベントごとに左右にスクロールさせるのではなく、行列を一体としてスクロール表示させるように構成するとよい。
(12)上述した実施形態では、本発明の表示制御システムを運転支援システム(運転支援装置30)の例で説明したが、各種の電子機器の機能として実施することができる。例えば、ナビゲーション装置、ドライブレコーダ、レーダ探知機及びカーオーディオの機能として組み込んでもよい。
(13)上述した実施形態に限らず、運転支援装置30の第2制御部31のROM予め記憶されている制御プログラムを、汎用のパーソナルコンピュータ、携帯電話機、スマートフォン、携帯ゲーム機などの携帯端末にダウンロードし、携帯端末に搭載されたコンピュータに、第2制御部31の制御処理を実行させ、メモリカード25に記憶された画像や各種データを読み込ませ、読み込ませた画像や各種データから作成されたサムネイル画像を表示させてもよい。
(14)上記の実施形態の各機能は、その機能をコンピュータ読み取り可能なプログラム言語で記述してそのプログラムを、第2制御部31のコンピュータに実行させることで実現しているが、これに限らず、例えば、プログラムを複数のコンピュータに分散配置し、分散処理するようにしてもよい。
10 ドライブレコーダ
11 第1制御部
12 加速度センサ(Gセンサ)
13 ジャイロセンサ
14 気圧センサ
15 GPSアンテナ
16 GPSレシーバ
17 第1操作部
18 第1メモリ
19 第1IF(インターフェイス)
20 CCDカメラ
21 車両信号取得部
22 電源部
25 メモリカード
30 運転支援装置
31 第2制御部
32 表示部
33 出力部
34 第2操作部
35 第2メモリ
36 第2IF(インターフェイス)
37 画像処理部
38 表示処理部
51〜54,71〜74 イベント単位画像
61〜64,81〜84 時点単位画像
90 プレイリスト
91〜94 ファイル

Claims (4)

  1. 車両に搭載されたドライブレコーダによって記録されたイベント単位映像に関連するサムネイル画像を表示する制御を行う表示制御システムであって、
    前記イベント単位映像の範囲の中の異なる時点に対応する複数のサムネイル画像を表示させる機能を備え、
    前記複数のサムネイル画像は、異なるイベント単位映像のサムネイル画像が異なる行を構成し、かつ、前記異なるイベントのそれぞれのイベント発生時刻に対して同一の時間だけ離れた時点のサムネイル画像が同一の列を構成するマトリックス構造により、同一画面上に一覧表示させる機能を備え隣接する列間の時間間隔同士が異なるものを備えること
    を特徴とする表示制御システム。
  2. 前記イベント発生時刻よりも前の時点であってイベント発生時刻にもっとも近い列である第一列に対応する時刻からイベント発生時刻の間の時間である第一時間と、前記イベント発生時刻よりも前の時点であってイベント発生時刻に次に近い列である第二列に対応する時刻から前記第一列に対応する時刻の間の時間である第二時間とを異なる時間としたこと
    を特徴とする請求項1に記載の表示制御システム。
  3. 前記イベント発生時刻よりも後の時点であってイベント発生時刻にもっとも近い列である第三列に対応する時刻からイベント発生時刻の間の時間である第三時間と、前記イベント発生時刻よりも後の時点であってイベント発生時刻に次に近い列である第四列に対応する時刻から前記第三列に対応する時刻の間の時間である第四時間とを異なる時間としたこと
    を特徴とする請求項1または2に記載の表示制御システム。
  4. 請求項1からのいずれか1項に記載の表示制御システムの機能をコンピュータに実現させるためのプログラム。
JP2016099332A 2016-05-18 2016-05-18 表示制御システム、表示制御方法及びプログラム Active JP6291681B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016099332A JP6291681B2 (ja) 2016-05-18 2016-05-18 表示制御システム、表示制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016099332A JP6291681B2 (ja) 2016-05-18 2016-05-18 表示制御システム、表示制御方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012107007A Division JP5966131B2 (ja) 2012-05-08 2012-05-08 表示制御システム、表示制御方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018008523A Division JP6582184B2 (ja) 2018-01-23 2018-01-23 表示制御システム、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2016184414A JP2016184414A (ja) 2016-10-20
JP6291681B2 true JP6291681B2 (ja) 2018-03-14

Family

ID=57242898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016099332A Active JP6291681B2 (ja) 2016-05-18 2016-05-18 表示制御システム、表示制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6291681B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6778332B2 (ja) * 2017-09-07 2020-11-04 ジヤトコ株式会社 データ記憶装置
CN112131669B (zh) * 2020-09-27 2022-08-26 东风柳州汽车有限公司 特征缩略图处理系统及方法
JP2022131017A (ja) * 2021-02-26 2022-09-07 株式会社デンソーテン 情報提供装置及び情報提供システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4901498B2 (ja) * 2007-01-19 2012-03-21 富士通テン株式会社 サムネイル画像表示方法
JP2009032143A (ja) * 2007-07-30 2009-02-12 Seiko Epson Corp ドライブレコーダ、ドライブレコーダシステム、ドライブレコーダの制御方法およびプログラム
JP2011239075A (ja) * 2010-05-07 2011-11-24 Sony Corp 表示装置、表示方法及びプログラム

Also Published As

Publication number Publication date
JP2016184414A (ja) 2016-10-20

Similar Documents

Publication Publication Date Title
JP5966131B2 (ja) 表示制御システム、表示制御方法及びプログラム
JP6451959B2 (ja) 運行管理システム
JP6142338B2 (ja) 運行管理システム
JP6171142B2 (ja) 記録制御システム、表示制御システム及びプログラム
JP4901498B2 (ja) サムネイル画像表示方法
JP6291681B2 (ja) 表示制御システム、表示制御方法及びプログラム
JP2011077898A (ja) 表示装置、表示方法、および、プログラム
JP6582184B2 (ja) 表示制御システム、表示制御方法及びプログラム
JP7471024B2 (ja) 表示制御システム、表示制御方法及びプログラム
JP4445493B2 (ja) 運転支援装置
JP4382780B2 (ja) 運転支援装置、運転支援プログラム、及び運転支援方法
JP6899596B2 (ja) 表示制御システム、表示制御方法及びプログラム
JP5085693B2 (ja) 運転支援装置および運転支援方法
JP5036837B2 (ja) 画像表示方法及び画像表示システム
JP6510333B2 (ja) 走行情報解析装置及びコンピュータプログラム
JP4999901B2 (ja) 運転支援装置
JP6854538B2 (ja) システム及びプログラム
JP5139480B2 (ja) 運転支援装置、運転支援システム、運転支援ソフトおよび運転支援方法
JP2017208099A (ja) 記録制御システム、表示制御システム及びプログラム
JP7403199B2 (ja) 運行管理システム
JP7266320B2 (ja) 運行管理システム
JP5008100B2 (ja) 運転支援装置、運転支援システム、運転支援ソフトおよび運転支援方法
JP2020140720A (ja) 運行管理システム
CN108372838A (zh) 约束装置展开校准
KR20110023125A (ko) 교통운행 영상을 표시하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180123

R150 Certificate of patent or registration of utility model

Ref document number: 6291681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350