JP3798996B2 - 車輌事故状況自動収集システム - Google Patents

車輌事故状況自動収集システム Download PDF

Info

Publication number
JP3798996B2
JP3798996B2 JP2002178901A JP2002178901A JP3798996B2 JP 3798996 B2 JP3798996 B2 JP 3798996B2 JP 2002178901 A JP2002178901 A JP 2002178901A JP 2002178901 A JP2002178901 A JP 2002178901A JP 3798996 B2 JP3798996 B2 JP 3798996B2
Authority
JP
Japan
Prior art keywords
vehicle
accident
video
impact
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002178901A
Other languages
English (en)
Other versions
JP2004017901A (ja
Inventor
茂 宮下
圭寿 藤沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2002178901A priority Critical patent/JP3798996B2/ja
Publication of JP2004017901A publication Critical patent/JP2004017901A/ja
Application granted granted Critical
Publication of JP3798996B2 publication Critical patent/JP3798996B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、車輌の外部の映像を逐次撮影して保存し、これを保険会社のサイトに送信する車輌事故状況自動収集システムに関する。
【0002】
【従来の技術】
車輌の交通事故発生時の直前、直後の映像を記録して、事故発生時の状況を把握できるようにした装置がある。
【0003】
例えば、特開平9−39739号公報の車載型事故映像及び音声記録装置は、図15に示すように、監視カメラ及びマイク1を映像伝送ケーブル8で記憶装置2に接続し、この記憶装置2とデータケーブル9で記録開始及び停止装置3に接続している。また、電源ケーブル10で電源装置4と接続している。
【0004】
すなわち、車輌の内部又は外部に監視カメラ及びマイク1を設置して、接近してくる車輌の映像、音声を取得させ、これお記憶装置2に記録する。
【0005】
そして、交通事故発生時には、記憶装置2を取り外して、事故の直前、直後の事故発生時の状況を把握できるようにしていた。
【0006】
一方、事故が発生した場合は、自動車保険契約者が電話で「事故受付サービス」へ連絡し、後日、保険会社の事故受付表に発生時の状況を詳細に記述していた。
【0007】
【発明が解決しようとする課題】
しかしながら、従来の上記の特開平9−39739号公報の車載型事故映像及び音声記録装置は、記憶装置に映像、音声を登録するだけであるから、記憶装置の記録データを解析して状況が分かることになる。
【0008】
すなわち、記録データの解析のための作業が発生し、結果としてコストがかかるという課題があった。
【0009】
また、保険会社は自動車事故の保険金の支払いは、ドライバが作成した事故受付表が届いてから、内容をチェックして必要な書類を作成して支払うことになる。このとき、上記のような従来の装置を用いていた場合は、記録データを保険会社が解析して、事故受付表の内容が記録データの内容と相違ないことを確認することになる。
【0010】
従って、保険会社では、記録データの内容を解析して画像化する人と、この画像と事故受付表の内容とを比較チェックする人が必要になるので、コストと時間がかかるという課題があった。
【0011】
さらに、車輌事故があったときは、ドライバーは電話連絡で関係機関に通報することになるが、事故の発生直後はパニック状態にあるのがほとんどであり、相手に正確な状況を伝えることができないのがほとんどであり、例えば保険会社側で通報を受けても直ぐに対処の方法、保険手続きの方法を確定させることができないという課題があった。
【0012】
また、ドライバにとっても、事故受付表を作成したときは既に時間が経過しているので、正確に状況を事故受付表に反映させることができないという課題があった。
【0013】
本発明は以上の課題を解決するためになされたもので、車輌事故時の状況を直ちに保険会社のサイトが得ることができると共に、事故時に必要な書類をドライバによらないで自動作成できる車輌事故状況自動収集システムを得ることを目的とする。
【0014】
【課題を解決するための手段】
本発明は、自車輌に設けられた端末が車輌外の映像を撮影させて蓄積し、該蓄積した映像の内で衝突時付近の映像部分を含んだ映像付き情報を通信網を介して事故受付サイトのサーバに収集させて、前記映像付きの事故状況受付表をプリンタから出力させる車輌事故状況自動収集システムである。
【0015】
前記自車輌に設けられた端末は、
前記車輌内から車輌の外を撮影可能に設けられ、この車輌の外を撮影した映像データを出力するCCDカメラと、
円形状であり、車輌内の中央部に固定され、車輌の前方中央を0度方向として、この0度方向の位置から10度間隔に衝撃度検知センサを水平周囲360度に渡って設け、これらの検知データを出力する衝撃度検知センサ部と、
地図上の自車輌の緯度、経度及び年月日、時刻を含むGPSデータを出力するGPS機能付きカーナビと、
これらに、それぞれのケーブルで接続したボックスと
を車輌内に備えてなる。
前記ボックスは、コンピュータ、キーボード及び表示器を備え、
前記キーボードからの車番、証券番号、氏名、携帯電話番号を含む顧客情報が記憶されたメモリと、
フラッシュメモリと、コンピュータと、ビデオキャプチャーと、前記事故受付サイトのサーバと通信をする通信ICとを備えて、これらを筐体内に非加熱モールド材でモールドされており、
前記コンピュータは、
前記CCDカメラを動作させて前記映像データを定期的に得ると共に、前記通信ICを動作させて前記事故受付サイトのサーバと回線を確立させる手段と、
一定時間毎に、前記CCDカメラからの映像データを前記ビデオキャプチャーで取り込み、前記GPSデータと前記衝撃度検知センサからの検知データと共に前記フラッシュメモリに順次保存する手段と、
前記衝撃度検知センサの検知データを、離散化平均して衝撃度を求め、最もピークが集中している範囲を衝撃方向として求め、これらを含む衝撃度・方向検知データを生成して前記フラッシュメモリに保存する手段と、
前記一定時間毎に前記衝撃度検知センサ部からの衝撃度・検知データが前記フラッシュメモリに保存されているかどうかを判断し、保存されているときは、前記フラッシュメモリに保存された前記映像データ及び衝撃度・方向検知データ並びに前記顧客情報を映像付き事故状況情報として前記通信ICによって前記サーバに送信する手段と
を有する。
前記サーバは、
表示部と、
前記端末からの映像付き事故状況情報、車輌衝突状況図付き地図が記憶される一方、前記顧客情報及び事故状況受付表のフォーム並びに証券証書が記憶されたデータベースと、
少なくとも道路界、建物界、河川界を組合せて、点と線に緯度経度を割り振った地図を備えたGISと、
前記サーバは、
前記車輌の前方中央を0度、車輌後方中央を180度とし、前記前方中央から一周させた車輌枠を0度から360度の範囲で直線で示し、かつこの直線の0度の位置に前方中央の印を、180度に車輌の後方中央の印を設けると共に、車輌の左前タイヤの印を0度と90度との間に、右前タイヤの印を270度と360度(0度)との間に設け、これらの印を前記直線で通過させてた衝撃方向決定スケールと、
前記通信網を介して前記映像付き事故状況データを受信して前記データベースに保存する手段と、前記車番、証券番号又は携帯電話番号が入力されたとき、該車番、証券番号又は携帯電話番号を有する前記映像付き事故状況情報を前記データベースから検索し、該検索した映像付き事故状況情報のGPSデータの時刻、年月日に、前記データベースに保存されている車番、証券番号、氏名及び前記映像付き事故情報の前記映像データのファイル番号を対応させたデータをリストにして前記表示部に表示させる手段と、前記表示部に表示したリストのファイル番号が選択されたとき、該選択されたファイル番号にリンク付 けされている映像データを最適な事故状況画像とする手段と、前記最適とされた映像データに関係づけられている衝撃度・方向検知データの衝撃度及び衝撃方向を読み、これらをその角度に対応する前記衝撃方向決定スケールの角度に定義する手段と、前記衝撃度・方向検知データが前記衝撃方向決定スケールに定義された後に、このスケールを閉じて車輌の平面図及び前記衝撃方向を示す車輌事故画像を得る手段と、前記最適とされた事故状況画像と、前記GPSデータの緯度経度に基づく番地情報と前記顧客情報の車番、証券番号、氏名並びに前記最適とされた事故状況画像を前記事故受付表のフームに組み込んで前記プリンタから印刷させる手段とを備えたことを要旨とする。
【0016】
【発明の実施の形態】
図1は本実施の形態の車輌事故状況自動収集システムの概略構成図である。この車輌事故状況自動収集システムは、車輌事故映像格納・送信装置1とネットワーク2(携帯電話網、インターネット)と事故受付サイト3とで構成するシステムである。図2は車輌事故映像格納ボックス4の概略構成図である。
【0017】
図1、図2に示すように、車輌事故映像格納・送信装置1は、車輌映像格納ボックス4に小型CCDカメラ5をケーブル9で接続し、携帯電話用アンテナ7をケーブル10で接続し、衝撃度検知センサー8をケーブル11で接続している。また、GPS付きのカーナビ6とケーブル12で接続している。さらに、速度メータ、タコメータ、操作ボックス、アクセル状況等の各種センサーとケーブル13で接続している。
【0018】
また、図1には、A車輌(自車輌)及びB車輌(相手側)に、前述の車輌事故映像格納・送信装置1を搭載しているとする。
【0019】
前述の車輌事故映像格納・送信装置1のCCDカメラ5は、バックミラーの横又は上若しくは下に設け、ボックス4は座席の下又はフロントパネル内に設けられている。さらに、衝撃度検知センサー8は、車輌の中央例えば後部座席と前部座席の間の中央部に固定されている。このセンサー8は、水平周囲360度を検知可能であり、10度間隔に内部に衝撃センサを設けている。
【0020】
すなわち、A車輌及びB車輌とも、イグニッションONに伴って車輌映像格納ボックス4がCCDカメラ5を動作させて車輌前方を定期的に撮影させ、この映像データAiと各種センサ情報Ci(タコメータ、速度、操作履歴等)と、GPSデータBiと、後述する衝撃度・方向検知データDiとをフラッシュメモリに保存する。そして、車輌A、Bが衝撃を受けたとき、予め記憶されている証券番号と車番と車種等を組み合わせて映像付き車輌状況情報Riとしてネットワーク(ADSL)を介して事故受付サイト3に送信する。
【0021】
一方、事故受付サイト3は、webサーバ15と事故表自動作成装置16とDBサーバ17とプリンタ18等から構成され、車輌A、Bの車輌事故映像格納・送信装置1からの映像付き車輌状況情報Riを受信して保存し、事故の通報があったときに、通報された車番、証券番号に対応する映像付き車輌状況情報Ria、Ribを引き当て、この両方の情報に基づいた映像付きの車輌事故受付表を自動作成する。
【0022】
(各装置の詳細)
車輌事故映像格納ボックス4は、CCDカメラ5とMPU28(ROM、RAM、CPU等からなるマイクロコンピュータ)とを接続させるためのインターフェース21と、映像データをコンピュータに取り込むためのビデオキャプチャー22と、フラッシュメモリ23と、携帯電話用通信IC24と、衝撃度検知センサ8と、各種センサからのデータを取り込むためのインターフェース25と、車番号、証券番号、氏名、証券会社名等を予め入力するための入力器26(キーボード)と、表示器27と、車番号、証券番号、氏名、証券会社名等が記憶されるメモリ29と、衝撃方向算出部30等が基板に固着されており、これらは非加熱モールド材によってボックス内がモールドされている。
【0023】
さらに、車輌事故映像格納ボックス4は、例えば5mm程度のアルミ板で形成され(10cm〜20cm)、内部は支柱等を数本たて強度を持たせている。また、図3に示すように、表示器27及び入力器26が箱枠の側面に設けられ、この側面4bをカバー板4aで覆うようにしている。また、カバー板4bと側面4bとはネジによって固着される。
【0024】
前述のフラッシュメモリ23は、20フレーム分(20秒分に相当)のメモリ領域を備え、一秒間隔にCCDカメラ5の画像A1と、GPSデータBiと、衝撃度・方向検知データDiとを順次保存する。
【0025】
また、衝撃度方向算出部30は、衝撃検知センサー8からの10度毎の検知データを離散化平均する。そして、衝撃方向と衝撃度と衝撃範囲等を求め、これらを一組にした衝撃度・方向検知データDiを生成する。
【0026】
この衝撃度・方向検知データDiについて、図4を用いて説明する。図4の(a)に示すように、衝撃検知センサー8は、車輌の中央部に設けられ、例えば0度検知用のセンサが前方中心に、180度検知用のセンサが後方中心に割り当てられるように車輌中央に設けるのが好ましい。
【0027】
すなわち、衝撃検知センサー8には、例えば左前方から衝突を受けた場合は、図4(b)に示すよう検知データが入力する。
【0028】
そして、これらの検知データを離散化平均し、平均衝撃度を求め、この平均衝撃度が基準を越えているときに(衝撃度が50kg重(車輌が受ける荷重)以上の衝撃)図4(c)に示すように、平均衝撃度を求めたときの平均化の範囲θi〜θpと、範囲θi〜θpの内でピークが集中している方向θkと、平均衝撃度とを衝撃度・方向検知データDiとして送出する。基準の衝撃度は衝撃30kg重から70kg重の範囲でもよい。
【0029】
MPU28は、イグニッションONに伴って、CCDカメラ5を動作させて、一秒間隔で映像データをビデオキャプチャー22によって取り込み、フラッシュメモリ23に保存(年月日時刻付き)する。
【0030】
このとき、各種センサ情報(タコメータ、速度等)と、カーナビ6で得られたGPS情報Biとを一組にしてフラッシュメモリ23に記憶する。つまり、各センサからのデータ、GPSデータの取得は、CCDカメラ5の映像の取得に同期させている。
【0031】
また、MPU28は、衝撃度方向算出部30から衝撃度・方向検知データDiを受け取ったとき、フラッシュメモリ23に記憶されている10秒間前分までの(フレーム10個)データ(映像、GPSデータ)と、メモリ29に保存されている車番号と車種と証券番号と衝撃度・方向検知データDiとを映像付き車輌状況情報Riを携帯電話用通信IC24を用いてネットワークを介して事故受付サイト3に送信する。
【0032】
一方、事故受付サイト3の事故票自動作成装置16は、事故位置地図作成部30、事故時画像引当部31と、交通事故票作成部32と、衝撃箇所図作成部33と、両車輌事故図作成部34等を備えている。
【0033】
事故時画像引当部31は、オペレータが入力した車番を有する全ての映像付き事故状況情報Riを引き当て、これらの中かからオペレータが入力した時間帯(通報を受けた時刻付近)の映像付き事故状況情報Rim〜Risを纏め、これをリストにして画面に表示する。
【0034】
そして、事故時画像引当部31は、画面に表示したリストの中の映像ファイル番号が選択される毎に、DBサーバ17の中から選択された映像ファイル番号にリンク付けされている事故状況の画像を表示させる。
【0035】
そして、画面に表示した画像が事故状況を確定させるための最適画像としてオペレータが決定したとき、その最適画像の映像ファイル番号を有する映像付き事故状況情報Rpを事故位置地図作成部30に渡す。
【0036】
事故位置地図作成部30は、事故位置地図作成部30から渡された映像付き事故状況情報RpのGPSデータBip(緯度、経度)を中心とする地図GbをGIS19(地理情報システム)から引き当てる。
【0037】
また、事故位置地図作成部30は、映像付き状況情報RpのGPSデータBipを基準とし、これから例えば10個前まで(10秒間に相当)の各フレームに書き込まれているGPSデータの各緯度、経度に基づいて、映像付き事故状況情報Riを送信した車輌の移動軌跡を求める。そして、この移動軌跡と移動方向を示した矢印付き軌跡kfを、地図Gb上に書き込む。
【0038】
交通事故票作成処理部32は、DBサーバ17から事故受付票のフォームを引き当て、このフォームに、CCDカメラ5の画像を組み込むと共に、衝撃箇所図作成部33が事故位置地図作成部30に定義した車輌衝突状況図付き地図Gp1又は両車輌事故図作成部34が事故位置地図作成部30に定義した車輌衝突状況図付き地図Gpを組み込む。
【0039】
また、選択された映像付き事故状況情報RpのGPSデータBipの年月日、時刻を所定の欄に組み込む。さらに、車番、証券番号等を所定の欄に組み込む。
【0040】
衝撃箇所図作成部33は、図5(a)に示すように、衝撃度検知センサー8の一周分を角度で定義した角度スケールθkを備え、かつこの角度スケールθkと同様な長さの衝撃方向決定スケール(図5(b))を備えている。衝撃方向決定スケールは、図4(a)の車輌の枠を伸ばして一直線で示したもので、その長さは角度スケールθkに一致させている。また、各タイヤの位置と車輌の前方中央、後方中央を衝撃方向決定スケールに定義している。
【0041】
この衝撃方向決定スケールに、受信した衝撃度の平均化範囲θi〜θpと、平均ピーク値の角度θkとを割り当てる。
【0042】
そして、この衝撃方向決定スケールを図4(a)に合わせて閉じた車輌事故画像Qiを生成し、この車輌事故画像Qiの中央を地図Gbの中心に合わせると共に、矢印付き軌跡kfが車輌事故画像Qiの中央ラインとなるように画像Qiを調整して地図Gbに定義する(この地図Gbを車輌衝突状況図付き地図Gp1(A車輌)、Gp2(B車輌)と称する)。
【0043】
両車輌事故図作成部34は、車輌衝突状況図付き地図Gp1が生成される毎に、相手側車輌の車輌番号又は証券番号が入力されたかどうかを判断し、入力されたときは、この番号に一致する相手側の車輌衝突状況図付き地図Gp2が生成されているかを判断する。Gp2が生成されている場合は、Gp2の地物の枠にGp1の枠を合わせた両車輌事故図付き地図Gpを生成する。
【0044】
DBサーバ17は、顧客情報、車輌事故地図Gp(Gp1、Gp2)等を保存する。前述の顧客情報は、証券番号と氏名と住所と電話番号と車番と車種等からなる。また、事故受付票のフォームを保存している。さらに、証券番号に対応する保険証書を記憶している。
【0045】
GIS19(地理情報システム)は、緯度経度が割り当てられた地図を備えている。この地図は、道路界、建物界、河川界等を組み合わせられ、点、線は緯度経度座標が割り振られたベクトルデータである。
【0046】
(動作説明)
上記のように構成された車輌事故状況自動収集システムの動作を図6、図7、図8のシーケンス図を用いて以下に説明する。本実施の形態では車輌Aのドライバーから通報を受けたとして説明する。また、車輌Aのデータには「a」を付加し、車輌Bのデータには「b」を付加する。
【0047】
図6に示すように、車輌に搭載された車輌事故映像格納・送信装置1は、イグニッションONによって起動する(d1)。すなわち、イグニッションONによって本装置の車輌事故映像格納ボックス4に電源が供給され、MPU28が各器機を起動状態にする初期設定を行う(d2)。
【0048】
MPU28は、起動に伴って各部をチェックすると共に、事故受付サイト3との回線を確立(携帯電話網へWAPプロトコルにて接続)する(d3)。
【0049】
そして、バックミラーの上部又は下部に取り付けられたCCDカメラ5からの画像Aia(ビデオキャプチャー22を用いる)と、カーナビ6からのGPSデータBia(緯度、経度、年月日、時刻)と、各種センサーデータCia(速度、タコメータ、ハンドル角度等)と、衝撃度・方向検知データDiaとを取り込み(d4、d5、d6、d7)、フラッシュメモリ23に記憶する(d8)。
【0050】
前述の衝撃度・方向検知データDiaは、衝撃方向算出部30によって得られている。つまり、所定レベルの衝撃を検知したときには、平均衝撃度を求めたときの平均化の範囲θi〜θpと、範囲θi〜θpの内でピークが集中している方向θkと、平均衝撃度とからなる。
【0051】
次に、MPU28は、1秒経過したかどうかを判断し(d9)、一秒経過したときは、衝撃度・方向検知データDiaがフラッシュメモリ23に保存されているかどうかを判定する(d10)。
【0052】
d10において、衝撃度・方向検知データDiaが保存されていないと判定したときは、再びCCDカメラ5からの画像Aia、カーナビ6からのGPSデータBia(緯度、経度、年月日、時刻)、各種センサーデータCia(速度、タコメータ、ハンドル角度等)を取り込み、フラッシュメモリ23に記憶する。
【0053】
また、d10において、衝撃度・方向検知データDiaが存在する(車輌が何かに衝突した)と判定したときは、フラッシュメモリ23の10フレーム分(10秒間前)を引き当て(d11)、衝突度・方向検知データDiaと共に、映像付き事故状況情報Riaとして携帯電話用通信IC24を用いて事故受付サイト3に送信させる(d12)。つまり、衝突を検知したときから10秒前分のGPSデータBia、CCDカメラ5の画像Aia、各種センサデータCiaと、予め記憶されている顧客情報(車番、証券番号、氏名、携帯電話番号)等が送信される。
【0054】
一方、事故受付サイト3のwebサーバ15は、httpプロトコルで通信を行い、図7に示すように、車輌事故映像格納・送信装置1からの映像付き事故状況情報RiaをDBサーバ17に保存する(d13)。この保存データは、事故通報が無い場合は、30分後にDBサーバ17が削除する。
【0055】
すなわち、事故受付サイト3のDBサーバ17には、車輌が何らかに当たって衝撃を受けたときの映像付き事故状況情報Riaのみが保存される。
【0056】
そして、実際に事故であった場合は、車輌Aのドライバーは事故受付サイト3に電話をかけて、車番又は証券番号、氏名、事故状況、相手側の車輌Bの車番等を知らせる。
【0057】
オペレータは、パソコンを操作して通報を受けた車番、証券番号又は携帯番号をキーとしてDBサーバ17の映像付き事故状況情報Riaを表示させる。
【0058】
このとき、同じ日に多数の映像付き事故状況リスト(10秒間分)がDBに存在する場合は、事故時画像引当処理部31が通報を受けた車番を有する全ての映像付き事故状況情報Riaを引き当て、これらの中かから通報を受けた時刻付近の映像付き事故状況情報を纏め(Rim〜Ris)、これをリストにして画面に表示する(図9(a)を参照)。
【0059】
そして、オペレータは、引き当てたリストの中の映像ファイル番号をクリックすると、事故時画像引当処理部31がDBサーバ17の中から映像ファイル番号にリンク付けされている事故状況の画像を、事故状況を確定させるための最適画像Apaを決定する。本実施の形態では図9(b)に示す映像付き事故状況情報Rpaの最適画像Apaが決定されたとする。
【0060】
この最適画像Apaの決定に伴って、事故位置地図作成部30は、映像付き事故状況情報Rpaを事故状況を示す最適なデータと決定する(d14)。
【0061】
この決定された映像付き事故状況情報RpaのGPSデータBipaの緯度、経度を中心とする半径20mの地図データGba(点、線には緯度経度座標が割り振られたベクトル)をGIS(地理情報システム)から読み込む(d15、d16)。
【0062】
次に、事故位置地図作成部30は、映像付き事故状況情報RpaのGPSデータ及びDBサーバ17の映像付き事故状況情報(Rim〜Ris)の各GPSデータの各緯度経度から車輌Aの移動軌跡を求め、この移動軌跡と移動方向とを示した矢印付き軌跡kfa(緯度経度が割り振られたベクトル)を地図データGba上に書き込む。
【0063】
次に、衝撃箇所図作成部33は、決定された映像付き事故状況情報Rpaの衝撃度、衝撃度の平均化範囲θi〜θp、平均ピーク値の角度θkを読み、サイト3側で備えている図5(b)の衝撃方向決定スケール上にこれらを定義する(図10を参照)。そして、この衝撃方向決定スケールのJ1、J2、…前方向中央印、後方向中央印が図4(a)のJ1、J2、…前方向中央印、後方向中央印に合うようにして閉じた車輌事故画像Qiaを生成する(d17:図11参照)。この車輌事故画像Qiaの中央を地図Gbaの中心に合わせると共に、矢印付き軌跡kfaが車輌事故画像Qiaの中央ラインとなるように画像Qiaを調整して地図Gbaに定義する。すなわち、車輌衝突状況図付き地図Gp1を求める(d18:図12(a)を参照)。
【0064】
次に、両車輌事故図作成部34は、車輌衝突状況図付き地図Gp1が生成される毎に、DBサーバ17にB車輌の車輌衝突状況図付き地図Gp2が存在しているかどうかを判断する(d19)。
【0065】
B車輌の車輌衝突状況図付き地図Gp2が存在しない場合(つまり、相手側が何らかの理由で事故を通報できない場合)は、相手側の車輌衝突状況図付き地図Gp2が存在しないことを画面(例えばワークステーションの画面)に表示する(d20)。
【0066】
オペレータは、この表示によって、相手側の車番(ナンバープレートの番号)を入力して、事故位置地図作成部30、事故時画像引当部31、衝撃箇所図作成部33等を起動させる。
【0067】
つまり、オペレータが入力した相手側の車輌Bの車番を有する全ての映像付き事故状況情報Ribを引き当て、これらの中かからオペレータが入力した時間帯(通報を受けた時刻付近)の映像付き事故状況情報Rim〜Risを纏め、これをリストにして画面に表示する。
【0068】
そして、画面に表示したリストの中の映像ファイル番号が選択される毎に、DBサーバ17の中から選択された映像ファイル番号にリンク付けされている事故状況の画像を表示させ、画面に表示した画像が事故状況を確定させるための最適画像としてオペレータが決定したとき、その最適画像Apbの映像ファイル番号を有する映像付き事故状況情報RpbのGPSデータBipb(緯度、経度)を中心とする地図GbbをGIS19(地理情報システム)から引き当てる。
【0069】
また、映像付き状況情報RpbのGPSデータBipbを基準とし、これから例えば10個前まで(10秒間に相当)の各フレームに書き込まれているGPSデータの各緯度、経度に基づいて、映像付き事故状況情報Ribを送信した車輌の移動軌跡を求める。そして、この移動軌跡と移動方向を示した矢印付き軌跡kfbを、地図Gb2上に書き込む(図12(b))。
【0070】
車輌Bから受信した映像付き事故状況情報Ribの衝撃度の平均化範囲θi〜θpと、平均ピーク値の角度θkとを衝突方向決定スケールに割り当て、この衝撃方向決定スケールを図4(a)に合わせて閉じた車輌事故画像Qibを生成し、この車輌事故画像Qibの中央を地図Gbbの中心に合わせると共に、矢印付き軌跡kfbが車輌事故画像Qibの中央ラインとなるように画像Qibを調整して地図Gbbに定義して車輌衝突状況図付き地図Gp2を得る。
【0071】
また、d19において、B車輌の車輌衝突状況図付き地図Gp2がDBサーバ17に存在すると判定したときは、図8に示すように、両車輌事故図作成部34がGp2の地物の枠にGp1の枠を合わせた両車輌事故図付き地図Gpを生成する(d21)。つまり、図12に示すように、A車輌の車輌状況図付き地図Gp1と、B車輌の車輌状況図付き地図Gp2とが生成されている場合は、例えば道路界の線は緯度経度座標が割り振られたベクトルであるので、両方の地図Gp1、Gp2との合成は、同じ緯度経度座標の線同士を一致させて合成する。従って、図12の(c)に示すように、車輌A、Bが衝突したときの状況を示す画像(衝突方向、移動方向が示されている)が地図上に書き込まれることになる。
【0072】
そして、交通事故票作成部32は、A車輌の映像付き事故状況情報Rpaの最適画像Apaと、GPSデータBipaに基づく番地情報Paと、両車輌事故付き地図Gpとを事故受付票のフォームに組み込み(d22)、これを印刷させることによって図13に示す事故受付票を得る(d23)。
【0073】
すなわち、事故受付サイトでは、車輌A、Bとが衝突した場合は、自動的に車輌Aから見たときの事故時の車輌Bの映像Apbと、車輌Bから車輌Aを見たときの事故時の車輌Aの映像Apaと、衝突方向及び移動方向付き車輌Aの図と衝突方向及び移動方向付き車輌Bの図とを合成させた衝突現場の地図とが得られる。このため、後日現場検証しなくとも、ドライバ同士の報告と、事故受付票との内容の比較だけで立証が可能である。従って、保険会社では短時間で最適な保険金額を割り出すことが可能である。
【0074】
前述のボックス4のMPUの動作を図14のフローチャートを用いて補充する。MPU28はイグニッションONかどうかを判断する(S1)。
【0075】
ステップS1において、イグニッションONと判断したときは、事故受付サイトのURLコードを用いて回線を接続させる(S2)。
【0076】
次に、CCDカメラ5をON状態にする(S3)。そして、フラッシュメモリ23のフレーム番号を先頭番号にする(S4)。次に、一秒経過かどうかを判断する(S4)。ステップS4において、一秒経過と判断したときは、CCDカメラが撮影した画像を内部に取り込ませ、フレーム番号fiのフレームにその画像Aiを保存する(S5)。次に、カーナビ6のGPSデータBi、各種センサデータCiと、衝撃度・方向検知データDiとをフレーム番号fiのフレームに保存する(S6)。
【0077】
そして、このフレームへのデータの保存に伴って、衝撃度・方向検知データDiが保存されたかどうかを判断する(S7)。
【0078】
ステップS7において、衝撃度・方向検知データDi(衝撃を受けた)が存在するときは、現時点から10秒前までのf1、f2、…f10に保存されているデータと、メモリ29の証券番号、車番、携帯電話番号とを組み合わせた映像付き事故状況情報Riを送信させる(S8)。次に、イグニッションオフかどうかを判定する(S9)。イグニッションオフと判定したときは、f1、f2、…f10のフレームをクリアし(S10)、イグニションオフをサイト3に送信する(S11)。このとき、車番を送信する。
【0079】
一方、受付サイトは、映像付き事故状況情報Riを受信して記憶し、衝撃の値が大きな値を示しているときは、直ちに受信した映像付き事故状況情報Riを画面に表示してアラーム音を発生させる。
【0080】
これによって、サイトのオペレータは事故があったことが直ぐに分かり、また情報Riには携帯電話番号が含まれているからサイト側からドライバに電話をかけることが可能となる。
【0081】
なお、上記実施の形態では、イグニッションONした後は、CCDカメラをON状態にして1秒毎に画像を内部に取り込むとしたが、カーナビが危険エリア(交差点、カーブ)を通行中又は危険エリアに到達することが知らせられたときに、CCDカメラを動作させるようにしてもよい。
【0082】
さらに、上記実施の形態では、CCDカメラ5は前方を撮影するようにしたが、車輌の後部を撮影する後部用CCDカメラ、車輌の左右方向を撮影する左用CCDカメラ、右用CCDカメラを備え、これらの画像をフラッシュメモリに保存して、衝撃又は危険エリアに到達したときのみ送信してもよい。
【0083】
【発明の効果】
以上のように本発明によれば、衝突が発生したときは、自車輌からの相手車輌の映像、相手車輌からの自車輌の映像と、衝突方向を示したデータ、車番とが保険サイトに送信される。
【0084】
これらの映像付き情報の中から通報のあった車番の最適な事故映像(相手車輌、自車輌)とを選択さえて、映像付き情報に含まれる緯度経度から事故位置付近の一定範囲の地図を引き当て、この地図上に相手車輌、自車輌の衝突方向を示した車輌画像を定義し、これらを事故受付票に印刷する。
【0085】
このため、保険会社では双方の車輌事故時の状況を示す画像が印刷された事故受付票を直ちに得ることができるので、この画像から最適な保険金額の支払い額を容易に算定できるという効果が得られている。
【0086】
また、双方の映像、事故時の状況図が得られるので、支払い保険金額を正確に割り出すことが可能である。
【図面の簡単な説明】
【図1】本実施の形態の車輌事故状況自動収集システムの概略構成図である。
【図2】車輌事故映像格納ボックス4の概略構成図である。
【図3】車輌事故映像格納ボックス4の外観図である。
【図4】本実施の形態の衝撃度検知センサーの検知データを説明する説明図である。
【図5】本実施の形態の衝撃方向決定スケールを説明する説明図である。
【図6】本実施の形態の動作を説明するシーケンス図である。
【図7】本実施の形態の動作を説明するシーケンス図である。
【図8】本実施の形態の動作を説明するシーケンス図である。
【図9】本実施の形態のサイト側で表示される映像付き事故状況情報の説明図である。
【図10】本実施の形態の動作説明に用いる衝撃方向決定スケールの説明図である。
【図11】本実施の形態の衝撃方向を示した車輌画像の説明図である。
【図12】本実施の形態の車輌画像の合成を説明する説明図である。
【図13】本実施の形態で得られる事故受付票の説明図である。
【図14】本実施の形態の車輌事故映像格納・送信装置の動作を説明する説明図である。
【図15】従来の車載型事故映像及び音声記録装置の概略構成図である。
【符号の説明】
1 車輌事故映像格納・送信装置
2 ネットワーク
3 事故受付サイト
4 車輌事故映像格納ボックス
5 小型CCDカメラ
16 事故表自動作成装置
30 事故位置地図作成部
31 事故時画像引当部
32 交通事故票作成部
33 衝撃箇所図作成部
34 両車輌事故図作成部

Claims (6)

  1. 自車輌に設けられた端末が車輌外の映像を撮影させて蓄積し、該蓄積した映像の内で衝突時付近の映像部分を含んだ映像付き情報を通信網を介して事故受付サイトのサーバに収集させて、前記映像付きの事故状況受付表をプリンタから出力させる車輌事故状況自動収集システムであって、
    前記自車輌に設けられた端末は、
    前記車輌内から車輌の外を撮影可能に設けられ、この車輌の外を撮影した映像データを出力するCCDカメラと、
    円形状であり、車輌内の中央部に固定され、車輌の前方中央を0度方向として、この0度方向の位置から10度間隔に衝撃度検知センサを水平周囲360度に渡って設け、これらの検知データを出力する衝撃度検知センサ部と、
    地図上の自車輌の緯度、経度及び年月日、時刻を含むGPSデータを出力するGPS機能付きカーナビと、
    これらに、それぞれのケーブルで接続したボックスと
    を車輌内に備えてなり、
    前記ボックスは、コンピュータ、キーボード及び表示器を備え、
    前記キーボードからの車番、証券番号、氏名、携帯電話番号を含む顧客情報が記憶されたメモリと、
    フラッシュメモリと、コンピュータと、ビデオキャプチャーと、前記事故受付サイトのサーバと通信をする通信ICとを備えて、これらを筐体内に非加熱モールド材でモールドされており、
    前記コンピュータは、
    前記CCDカメラを動作させて前記映像データを定期的に得ると共に、前記通信ICを動作させて前記事故受付サイトのサーバと回線を確立させる手段と、
    一定時間毎に、前記CCDカメラからの映像データを前記ビデオキャプチャーで取り込み、前記GPSデータと前記衝撃度検知センサからの検知データと共に前記フラッシュメモリに順次保存する手段と、
    前記衝撃度検知センサの検知データを、離散化平均して衝撃度を求め、最もピークが集中している範囲を衝撃方向として求め、これらを含む衝撃度・方向検知データを生成して前記フラッシュメモリに保存する手段と、
    前記一定時間毎に前記衝撃度検知センサ部からの衝撃度・検知データが前記フラッシュメモリに保存されているかどうかを判断し、保存されているときは、前記フラッシュメモリに保存された前記映像データ及び衝撃度・方向検知データ並びに前記顧客情報を映像付き事故状況情報として前記通信ICによって前記サーバに送信する手段と
    を有し、
    前記サーバは、
    表示部と、
    前記端末からの映像付き事故状況情報、車輌衝突状況図付き地図が記憶される一方、前記顧客情報及び事故状況受付表のフォーム並びに証券証書が記憶されたデータベースと、
    少なくとも道路界、建物界、河川界を組合せて、点と線に緯度経度を割り振った地図を備えたGISと、
    前記サーバは、
    前記車輌の前方中央を0度、車輌後方中央を180度とし、前記前方中央から一周させた車輌枠を0度から360度の範囲で直線で示し、かつこの直線の0度の位置に前方中央の印を、180度に車輌の後方中央の印を設けると共に、車輌の左前タイヤの印を0度と90度との間に、右前タイヤの印を270度と360度(0度)との間に設け、これらの印を前記直線で通過させてた衝撃方向決定スケールと、
    前記通信網を介して前記映像付き事故状況データを受信して前記データベースに保存する手段と、
    前記車番、証券番号又は携帯電話番号が入力されたとき、該車番、証券番号又は携帯電 話番号を有する前記映像付き事故状況情報を前記データベースから検索し、該検索した映像付き事故状況情報のGPSデータの時刻、年月日に、前記データベースに保存されている車番、証券番号、氏名及び前記映像付き事故情報の前記映像データのファイル番号を対応させたデータをリストにして前記表示部に表示させる手段と、
    前記表示部に表示したリストのファイル番号が選択されたとき、該選択されたファイル番号にリンク付けされている映像データを最適な事故状況画像とする手段と、
    前記最適とされた映像データに関係づけられている衝撃度・方向検知データの衝撃度及び衝撃方向を読み、これらをその角度に対応する前記衝撃方向決定スケールの角度に定義する手段と、
    前記衝撃度・方向検知データが前記衝撃方向決定スケールに定義された後に、このスケールを閉じて車輌の平面図及び前記衝撃方向を示す車輌事故画像を得る手段と、
    前記最適とされた事故状況画像と、前記GPSデータの緯度経度に基づく番地情報と前記顧客情報の車番、証券番号、氏名並びに前記最適とされた事故状況画像を前記事故受付表のフームに組み込んで前記プリンタから印刷させる手段と
    を有することを特徴とする車輌事故状況自動収集システム。
  2. 前記サーバは、
    前記最適な事故状況画像が選択されたとき、この画像にリンク付けされている映像付き事故状況情報のGPSデータの緯度、経度を中心とした一定範囲の地図を前記GISから読み込む手段と、
    前記データベースの映像付き事故状況情報の各GPSデータの各緯度経度から車輌の移動軌跡を求める手段と、
    前記求めた移動軌跡を示す矢印を前記読み込んだ一定範囲の地図に書き込む手段と、
    前記車輌事故画像の中央を前記一定範囲の地図の中心に合わせると共に、前記矢印が前記車輌事故画像の中央ラインになるようにこの画像を調整して前記一定範囲の地図に定義し、これを前記事故状況とする手段と
    を有することを特徴とする請求項1記載の車輌事故状況自動収集システム。
  3. 前記ボックスは、
    速度メータ、タコメータ、操作ボックス、アクセルの各センサに接続され、これらの検知データを前記フラッシュメモリに記憶し、これを前記映像付き車輌状況情報に含ませて送信させる手段と
    を有することを特徴とする請求項1又は2記載の車輌事故状況自動収集システム。
  4. 前記ボックスは、
    前記CCDを車輌のイグニッションオンに伴って動作状態にすると共に、前記通信ICによって前記サーバと通信回線を確立させる手段を
    有することを特徴とする請求項1、2又は3記載の車輌事故状況自動収集システム。
  5. 前記ボックスは、
    一秒経過したかどうかを判断し、一秒経過したときに、前記衝撃度・検知データがフラッシュメモリに保存されているかどうかを判断する手段と、
    前記衝撃度・検知データが保存されている場合は、現時点から10秒前までの映像データを前記映像付き事故状況情報に含ませて送信させる手段と
    を有することを特徴とする請求項1乃至4記載の車輌事故状況自動収集システム。
  6. 前記相手車輌は、前記端末を備えており、
    前記サーバは、
    相手の車番が入力する毎に、この車番から前記データベースに保存されている前記相手車輌の前記映像データから最適なものを選択させ、この映像データにリンク付けされてい るGPSデータに基づいて相手車輌の車輌衝突状況図付き地図を前記各手段を起動させて生成させ、この相手車輌の衝突状況付き地図と前記自車輌の衝突状況図付き地図とを合成した両車輌事故図付き地図を生成し、これを前記表のフォームに組み込む手段と
    を有することを特徴とする請求項1乃至5記載の車輌事故状況自動収集システム。
JP2002178901A 2002-06-19 2002-06-19 車輌事故状況自動収集システム Expired - Lifetime JP3798996B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002178901A JP3798996B2 (ja) 2002-06-19 2002-06-19 車輌事故状況自動収集システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002178901A JP3798996B2 (ja) 2002-06-19 2002-06-19 車輌事故状況自動収集システム

Publications (2)

Publication Number Publication Date
JP2004017901A JP2004017901A (ja) 2004-01-22
JP3798996B2 true JP3798996B2 (ja) 2006-07-19

Family

ID=31176484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002178901A Expired - Lifetime JP3798996B2 (ja) 2002-06-19 2002-06-19 車輌事故状況自動収集システム

Country Status (1)

Country Link
JP (1) JP3798996B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9311676B2 (en) 2003-09-04 2016-04-12 Hartford Fire Insurance Company Systems and methods for analyzing sensor data
US7711584B2 (en) 2003-09-04 2010-05-04 Hartford Fire Insurance Company System for reducing the risk associated with an insured building structure through the incorporation of selected technologies
US8090599B2 (en) 2003-12-30 2012-01-03 Hartford Fire Insurance Company Method and system for computerized insurance underwriting
US7783505B2 (en) 2003-12-30 2010-08-24 Hartford Fire Insurance Company System and method for computerized insurance rating
JP2005269256A (ja) * 2004-03-18 2005-09-29 Nec Corp 画像記憶システム及び方法、並びに車載装置
JP2007096671A (ja) * 2005-09-28 2007-04-12 Mitsubishi Electric Corp 車載用監視レコーダ及び車載用監視レコーダの画像データ転送方法
WO2007094191A1 (ja) * 2006-02-16 2007-08-23 Pioneer Corporation 移動体保険サービス支援方法、移動体保険サービス支援プログラム、記録媒体、および移動体保険サービス支援装置
WO2007110958A1 (ja) * 2006-03-29 2007-10-04 Fujitsu Microelectronics Limited 記録装置及び記録方法
JP4729440B2 (ja) * 2006-06-07 2011-07-20 日立オートモティブシステムズ株式会社 通信システム、通信端末および情報処理装置
JP4987872B2 (ja) * 2006-09-01 2012-07-25 パイオニア株式会社 情報記録装置、情報記録方法、情報記録プログラムおよびコンピュータに読み取り可能な記録媒体
JP4986135B2 (ja) * 2007-03-22 2012-07-25 株式会社エクォス・リサーチ データベース作成装置、及びデータベース作成プログラム
KR20090040622A (ko) 2007-10-22 2009-04-27 한국전자통신연구원 차량 사고 정보 제공 방법 및 장치
US9665910B2 (en) 2008-02-20 2017-05-30 Hartford Fire Insurance Company System and method for providing customized safety feedback
KR101088650B1 (ko) * 2009-11-26 2011-12-01 아진산업(주) 차량정보 및 영상을 이용한 사고 기록장치
KR101067599B1 (ko) 2010-01-18 2011-09-27 (주)나노포인트 저 해상도 및 고 해상도 영상 정보를 원격지에 전송하는 차량용 블랙박스 장치
KR101157864B1 (ko) * 2010-03-31 2012-06-22 권만준 스마트폰 기반의 자동차 주행 기록방법
US9460471B2 (en) 2010-07-16 2016-10-04 Hartford Fire Insurance Company System and method for an automated validation system
KR20120063389A (ko) * 2010-12-07 2012-06-15 쓰리에이치비젼주식회사 차량사고 발생 알림 시스템 및 방법
JP5533626B2 (ja) * 2010-12-16 2014-06-25 株式会社デンソー ドライブレコーダシステム
KR101071914B1 (ko) * 2011-03-16 2011-10-11 강재민 자동차 충돌사고 알림시스템 및 그 방법
KR101498534B1 (ko) * 2013-02-27 2015-03-04 강재민 자동차 주행거리를 적산하는 자동차 충돌사고 알림시스템 및 그 방법
CN103500503B (zh) * 2013-09-17 2016-09-07 北京中广睛彩导航科技有限公司 一种基于众包模式的精准路况分析方法及系统
WO2015060805A1 (en) * 2013-10-22 2015-04-30 Ant Bilisim Elektronik Ve Enerji Teknolojileri Sanayi Ve Ticaret Anonim Sirketi A system for processing data obtained from black boxes
JP6326784B2 (ja) * 2013-11-26 2018-05-23 富士通株式会社 分析支援プログラム、分析支援方法及び分析支援装置
JP6595842B2 (ja) * 2015-08-25 2019-10-23 東京海上日動火災保険株式会社 事故発生時における顧客サービスに関連する情報処理技術
TWI613115B (zh) * 2017-03-30 2018-02-01 H P B Optoelectronic Co Ltd 交通工具之後方警示系統

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0939739A (ja) * 1995-07-25 1997-02-10 Satoki Takeda 車載型事故映像および音声記録装置
JPH11298853A (ja) * 1998-04-13 1999-10-29 Matsushita Electric Ind Co Ltd 運転状況記録装置
JP2001118175A (ja) * 1999-10-14 2001-04-27 Matsushita Electric Ind Co Ltd 緊急通報システムおよびその車載装置

Also Published As

Publication number Publication date
JP2004017901A (ja) 2004-01-22

Similar Documents

Publication Publication Date Title
JP3798996B2 (ja) 車輌事故状況自動収集システム
CN106710291B (zh) 停车场的停车位获取方法及装置
US10126740B2 (en) System and method for violation enforcement utilizing vehicle immobilization
US9067565B2 (en) System and method for evaluating driver behavior
JP4416374B2 (ja) 保険料設定方法、保険料設定プログラムおよび保険料設定装置
US20050073436A1 (en) Method and system for alerting a patrol officer of a wanted vehicle
JP2002133117A (ja) 自動車保険システム、自動車保険センターおよび自動車
US8260533B2 (en) Traffic monitoring system
US20210342946A1 (en) Using a Distributed Ledger for Line Item Determination
US20210326992A1 (en) Using a Distributed Ledger for Subrogation Recommendations
US20180108252A1 (en) Device known as real time total control digital tachograph (tcdt) for vehicle and other nearby vehicles by means of cameras and mobile connections
US20160117871A1 (en) System and method for automatically registering a vehicle monitoring device
US20030212567A1 (en) Witness information service with image capturing and sharing
US20030163233A1 (en) Automatic vehicle management apparatus and method using wire and wireless communication network
US20030210806A1 (en) Navigational information service with image capturing and sharing
JP2002518753A (ja) 車両内に設置された通行料課金装置用の道路側点検装置
JP5585194B2 (ja) 事故状況記録システム
JP4214841B2 (ja) 周囲状況認識システム
JP2017116998A (ja) 情報処理装置、情報処理システム、情報処理方法、情報処理プログラム
CN104050814A (zh) 道路管理辅助方法及装置、道路管理辅助程序
EP1975899A1 (en) A method, system and device for detecting, protecting against and reporting traffic law violations
JP2004013234A (ja) 車輌事故状況情報自動収集システム
JP4119106B2 (ja) 車載機
US11899909B1 (en) System on board an on-road vehicle for identifying, tagging and reporting hazardous drivers in the vicinity of a host vehicle
KR20170102403A (ko) 차량용 빅데이터 처리방법 및 차량용 빅데이터 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050601

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050610

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20051104

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20051122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060421

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3798996

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term