JP3758733B2 - 教習用模擬運転装置 - Google Patents

教習用模擬運転装置 Download PDF

Info

Publication number
JP3758733B2
JP3758733B2 JP4361796A JP4361796A JP3758733B2 JP 3758733 B2 JP3758733 B2 JP 3758733B2 JP 4361796 A JP4361796 A JP 4361796A JP 4361796 A JP4361796 A JP 4361796A JP 3758733 B2 JP3758733 B2 JP 3758733B2
Authority
JP
Japan
Prior art keywords
video
control unit
driving
video signal
monitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP4361796A
Other languages
English (en)
Other versions
JPH09237032A (ja
Inventor
博 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Precision Co Ltd
Original Assignee
Mitsubishi Precision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Precision Co Ltd filed Critical Mitsubishi Precision Co Ltd
Priority to JP4361796A priority Critical patent/JP3758733B2/ja
Publication of JPH09237032A publication Critical patent/JPH09237032A/ja
Application granted granted Critical
Publication of JP3758733B2 publication Critical patent/JP3758733B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、被験者に対して自動車運転技術の教育を安全に実施するための技術に係り、より詳細には、実際の自動車と道路を使用せずに、道路走行映像をモニターを介して複数の被験者に提供して運転操作を行わせ、予め設定された模範の運転操作に対して各被験者の運転操作にどのような違いがあるかを、全被験者一斉に且つ同一基準で、検出し診断するための教習用模擬運転装置に関する。
【0002】
【従来の技術】
実際の自動車を使用しないで自動車運転技術の教育を実施する教習用模擬運転装置は、現在でもいくつか提案されている。図3はその一構成例を示すもので、特公昭63−59148号公報に示された技術を抜粋したものである。
図3において、1は模擬運転席、2は模擬運転席1に設置されたNTSC規格のモニターテレビ、3は模擬運転席1において実際の自動車とほぼ同じ位置にそれぞれ配置された運転操作機器(ハンドル、ペダル、ギヤチェンジレバー等)、4はモニターテレビ2を制御すると共に各運転操作機器3の操作を検出してその操作内容を診断評価する運転席制御装置、5は通信回線、6は複数のビデオプレーヤ6a,6b,6c,……を備え、各ビデオプレーヤで再生された映像信号を通信回線5を介して模擬運転席1のモニターテレビ2へ供給する映像再生装置、7は映像再生装置6を制御すると共に模擬運転席1の運転席制御装置4で診断評価された結果を収集するシステム制御装置、8はシステム制御装置7からの制御により本教習用模擬運転装置の進行を指示するための入力装置を示す。
【0003】
この従来の装置構成では、予め各ビデオプレーヤ6a,6b,6c,……に録画された実際の道路の走行映像を模擬運転席1のモニターテレビ2の画面に映し出すようにしており、また、モニターテレビ2の画面は縦横比3:4のテレビサイズで、その適切画角(映像の視野角)は水平方向約25°であった。
また、モニターテレビ2の画面に映し出される道路走行映像に対して被験者が行う各運転操作機器3の操作を検出するサンプリング間隔、つまり、診断のための運転操作内容の検出間隔は、1/30秒に設定されていた(上記公報の第15欄第5〜6行参照)。
【0004】
かかる装置構成において、システム制御装置7からの制御により入力装置8から診断の準備が指示されると、システム制御装置7から映像再生装置6に映像の再生が指示され、また、システム制御装置7から通信回線5を介して模擬運転席1の運転席制御装置4に診断の準備が指示される。これによって、映像再生装置6の複数のビデオプレーヤ6a,6b,6c,……の内の1台が起動し、そのビデオプレーヤで再生された映像信号が通信回線5を介してモニターテレビ2へ供給され、その映像信号に応じた道路走行映像が画面に映し出される。
【0005】
この後、上記と同様の操作で入力装置8から診断の開始を入力することによりモニターテレビ2の画面に診断用の道路走行映像が映し出される。被験者は、その映し出された診断用の映像に従い、模擬運転席1の各運転操作機器3を操作する。運転席制御装置4は、被験者が行う各運転操作機器3の操作を検出してその操作内容を診断し、予め設定されている評価計算式に基づいて評価を行う。
【0006】
【発明が解決しようとする課題】
上述したように従来の技術では、実際に撮影した道路の走行映像を使用しており、また縦横比3:4の通常の画面サイズを持つモニターテレビ2の画面にその道路走行映像を映し出すようにしていたため、被験者に呈示される映像の画質はそれほど良くなく、また映像の視野角も水平方向約25°の範囲に制限されるといった不都合があった。
【0007】
このため、実際の道路走行時に得られる情報量に比べて被験者に呈示される映像の情報量が非常に少なくなり(例えば、サイドミラーやルームミラーによる後方視界の情報が画面に反映されない等)、その結果、映像から得られる認識と実際の道路走行環境に対する認識の間に違いが生じるといった問題があった。これは、より現実的な交通安全教育という観点から好ましいとは言えない。
【0008】
また、診断のための運転操作内容を検出するサンプリング間隔も1/30秒と比較的粗いため、走行環境によっては必ずしも十分な診断を行えるとは限らなかった。例えば、実際の自動車運転中に往々にして体験する、右折左折時の横断歩行者の急な飛び出しや、車線変更時の後続車等の危険事象に対して、十分な診断を行えないといった不都合があった。
【0009】
このため、各運転操作機器の操作内容の診断結果の中に現実的でない部分も含まれ、診断結果に対する信頼性が得られ難いといった問題があった。
また、他の従来技術では、実際の道路の走行映像を使用する代わりにコンピュータグラフィックスで映像を作成してモニターテレビに供給するようにした例もあるが、このコンピュータグラフィックスによる映像の場合、実景とは異なる簡略化された映像であるため、実際の交通状況では非常に危険な場面であっても映像からはそれほど危険とは認識できないなど、真実性に問題があった。
【0010】
本発明は、上述した従来技術における課題に鑑み創作されたもので、診断に必要な映像の画質を向上させると共に、その映像に対する被験者の運転操作内容をきめ細かく検出し、ひいては信頼性の高い診断結果を呈示することができる教習用模擬運転装置を提供することを目的とする。
【0011】
【課題を解決するための手段】
上述した従来技術の課題を解決するため、本発明によれば、実際の自動車を模擬して配置された運転に必要な各操作機器と、主として道路走行映像を映すためのモニターテレビと、該モニターテレビを制御すると共に前記各操作機器の操作を検出してその操作内容を診断評価する第1の演算制御部とを備えた少なくとも1台の模擬運転席と、通信回線を介して前記第1の演算制御部に接続され、前記通信回線を介して前記モニターテレビへ映像信号を供給する映像再生装置と、該映像再生装置を制御すると共に前記第1の演算制御部で診断評価された結果を前記通信回線を介して収集する第2の演算制御部とを備えた中央制御装置とを具備し、前記モニターテレビがハイビジョンの映像を呈示する画面を有し、且つ、前記映像再生装置が前記ハイビジョンの映像に応じた映像信号を再生すると共に、前記第1の演算制御部が前記ハイビジョンの映像信号を処理するのに十分な演算処理速度を有することを特徴とする教習用模擬運転装置が提供される。
【0012】
本発明に係る教習用模擬運転装置の構成によれば、被験者に道路走行情報を提供するためのモニターテレビがハイビジョンの映像を呈示する画面を有しているので、診断に必要な映像の画質を向上させることができると共に、縦横比9:16の画面サイズの実現により、水平方向の画角を従来形(約25°)よりも大きくして(約42°)、実際の視野角(約40°〜45°)とほぼ同一にすることができる。
【0013】
これによって、実際の道路走行時に得られる情報量とほぼ同じ情報量の映像を被験者に呈示することが可能となり、映像から得られる認識と実際の道路走行環境に対する認識の間の差を実質的に無くすことができる。これは、現実的な交通安全教育の実現に大いに寄与する。
また、模擬運転席において被験者が行う運転操作内容を診断評価するための第1の演算制御部がハイビジョンの映像信号を処理するのに適応された演算処理速度を有しているので、そのハイビジョンの映像に対する被験者の運転操作内容をきめ細かく検出することができる。これは、信頼性の高い診断結果の呈示に大いに寄与する。
【0014】
なお、本発明の他の構成上の特徴及び作用の詳細については、添付図面を参照しつつ以下に記述される実施形態を用いて説明する。
【0015】
【発明の実施の形態】
図1には本発明の一実施形態に係る教習用模擬運転装置の外観構成が概略的に示される。
本実施形態の教習用模擬運転装置は、複数台の模擬運転席(図示の例では簡単化のため、1台の模擬運転席10のみが示されている)と、各模擬運転席を制御する中央制御装置20と、各模擬運転席と中央制御装置20の間を接続する通信回線30とを備えて構成されている。
【0016】
模擬運転席10において、11はフレーム、12はフレーム11に固設され、主として道路走行映像を映すためのNTSC規格のモニターテレビ、13〜15はそれぞれ模擬運転席10において実際の自動車とほぼ同じ位置にそれぞれ取り付けられた運転操作のためのハンドル、ペダル及びギヤチェンジレバー、16は座席、17は座席16に摺動可能に取り付けられたスピーカが組み込まれたヘッドレスト、18は模擬運転席10に設けられ、自動車の運転速度、エンジン回転数等の運転状態に関するモニタ表示を行うコンビネーションメータ、19は模擬運転席10に固設され、モニターテレビ12、各運転操作機器13〜15、ヘッドレスト17に組み込まれたスピーカ、及びコンビネーションメータ18を制御すると共に、各運転操作機器の操作の検出及びその操作内容の診断評価のための演算処理等を行う運転席制御装置を示す。
【0017】
一方、中央制御装置20において、21は通信回線30を介して模擬運転席10のモニターテレビ12へ映像信号を供給するための映像再生装置、22は映像再生装置21を制御すると共に、模擬運転席10の運転席制御装置19で診断評価された結果を通信回線30を介して収集するシステム制御装置、23はシステム制御装置22からの制御により診断評価結果を教官が認識できるように表示するためのCRT等の表示装置、24は同じくシステム制御装置22からの制御により診断評価結果をリストの形で印字するプリンタを示す。
【0018】
図2には本装置の内部構成が機能ブロック図の形で示される。
同図に示すように、模擬運転席10は、通信回線30に接続された制御部40と、同じく通信回線30に接続され、制御部40からの制御により機能する音声処理部41と、この音声処理部41の出力に応答する音声出力部42と、通信回線30に接続され、制御部40からの制御により機能する映像入力部43と、制御部40からの制御により機能するコンピュータグラフィックス(CG)生成部44と、映像入力部43からの映像信号にCG生成部44からのコンピュータグラフィックスの映像信号を合成するための画像合成部45と、この画像合成部45の出力に応答する映像出力部46と、操作部47と、この操作部47の出力を検出して制御部40に供給する操作検出部48と、制御部40からの制御により機能するメータ指示出力部49とを有している。
【0019】
一方、中央制御装置20は、中央処理装置(CPU)50と、それぞれCPU50からの制御に基づいて機能するハイビジョン映像再生部51及び音声出力部52と、CPU50からの制御により機能するコンピュータグラフィックス(CG)生成部53と、このCG生成部53からのコンピュータグラフィックスの映像信号に基づいてハイビジョン映像再生部51からのハイビジョンの映像信号を処理する映像信号処理部54と、この映像信号処理部54で処理された映像信号にCG生成部53からのコンピュータグラフィックスの映像信号を合成するための画像合成部55と、この画像合成部55の出力及び音声出力部52の出力を受けて映像信号と音声信号に分配し、通信回線30に送出する映像音声分配部56と、この映像音声分配部56の出力(映像信号)に応答するモニタ部57と、通信回線30に接続されてCPU50とのインタフェースを行う通信制御部58とを有している。
【0020】
図1に示す模擬運転席10の各構成要素との対比において、制御部40、音声処理部41、映像入力部43、CG生成部44、画像合成部45及び操作検出部48は運転席制御装置19に対応し、また、音声出力部42はヘッドレスト17に組み込まれたスピーカに対応し、映像出力部46はモニターテレビ12に対応し、操作部47は各運転操作機器13〜15に対応し、メータ指示出力部49はコンビネーションメータ18に対応する。
【0021】
また、図1に示す中央制御装置20の各構成要素との対比において、CPU50、CG生成部53、映像信号処理部54、画像合成部55、映像音声分配部56及び通信制御部58はシステム制御装置22に対応し、また、ハイビジョン映像再生部51及び音声出力部52は映像再生装置21に対応し、モニタ部57は表示装置23に対応する。
【0022】
本実施形態では、映像再生装置21(ハイビジョン映像再生部51)で再生されたハイビジョンの映像信号にCG生成部53で生成されたコンピュータグラフィックスの映像信号を合成したものを模擬運転席10のモニターテレビ12の画面に映し出すようにしており、また、モニターテレビ12は、ハイビジョンの映像を呈示し得る画面、すなわち縦横比9:16の画面サイズで水平方向の適切画角(映像の視野角)が約42°の画面を有している。
【0023】
また、モニターテレビ12の画面に映し出されるハイビジョンの道路走行映像に対して被験者が行う各運転操作機器13〜15の操作の検出及びその操作内容の診断評価のための演算処理等を行う運転席制御装置19は、ハイビジョンの映像信号を処理するのに適応された演算処理速度を有しており、具体的には、操作検出部48による検出間隔は1/100秒以下に設定されている。
【0024】
かかる装置構成において、システム制御装置22(CPU50)から映像再生装置21(ハイビジョン映像再生部51)に映像の再生が指示されると、診断用の映像信号が再生され、システム制御装置22及び通信回線30を介して模擬運転席10のモニターテレビ12へ供給される。これによって、その映像信号に応じた道路走行映像(ハイビジョンの高精細映像)が画面に映し出される。
【0025】
被験者は、その映し出されたハイビジョンの高精細映像に従い、模擬運転席10の各運転操作機器(ハンドル13、ペダル14及びギヤチェンジレバー15)を適宜操作する。この操作量又は操作力は、各運転操作機器に取り付けられた検出器(図示せず)によって検出される。運転席制御装置19(制御部40、操作検出部48)は、各検出器の出力信号を検出してその演算処理を行い、予め設定されている評価計算式に基づいて、被験者の運転操作内容の診断評価を行う。
【0026】
この診断評価された結果は、被験者自身が認識できるようにモニターテレビ12の画面に表示されると共に、通信回線30を介して中央制御装置20のシステム制御装置22(CPU50)に転送され、該CPUにおいて演算処理がなされる。このようにして、各模擬運転席からシステム制御装置22に各々の診断評価結果が集計される。各被験者に関して集計された各々の診断評価結果は、教官が認識できるように表示装置23に表示されたり、或いは必要に応じてプリンタ24により診断評価結果リストの形で印字される。これによって、全被験者一斉に且つ同一基準で、教習を行うことが可能となる。
【0027】
以上説明したように、本実施形態に係る教習用模擬運転装置の構成によれば、模擬運転席10に設置されたモニターテレビ12はハイビジョン映像を呈示し得る画面(縦横比9:16の画面サイズで水平方向の映像の視野角が約42°)を有しており、また、映像再生装置21で再生されたハイビジョンの映像信号にコンピュータグラフィックスの映像信号を合成したものがモニターテレビ12の画面に映し出されるようになっているので、診断評価に必要な映像の画質を格段に向上させることができ、また水平方向の画角(約42°)を実際の視野角(約40°〜45°)とほぼ同一にすることができる。
【0028】
これによって、実際の道路走行時に得られる情報量とほぼ同じ情報量の映像を被験者に呈示することが可能となり、映像から得られる認識と実際の道路走行環境に対する認識の間の差を実質的に無くすことができる。
また、模擬運転席10において被験者が行う運転操作内容を診断評価するための運転席制御装置19は、モニターテレビ12の画面に映し出されるハイビジョン映像の信号を処理するのに適応された演算処理速度(つまり、運転操作を検出するサンプリング間隔が1/100秒以下)を有しているので、そのハイビジョンの映像に対する被験者の運転操作内容を1/100秒以下の間隔できめ細かく検出することができる。
【0029】
これによって、信頼性の高い診断結果が得られ、被験者の運転操作に見合った適性な診断が可能となる。また、実際の交通状況における道路走行時に発生する危険事象を忠実に再現できる環境下で、より現実的な交通安全教育を実現することができる。
【0030】
【発明の効果】
以上説明したように本発明によれば、診断に必要な映像をハイビジョン映像とすることで画質の向上及び画角の拡大を図ることができ、これによって、被験者に対し、映像から得られる認識と実際の道路走行環境に対する認識の間の差を実質的に無くし、より現実的な交通安全教育を実現することができる。
【0031】
また、そのハイビジョン映像に対する被験者の運転操作内容をきめ細かく検出することができ、これによって、信頼性の高い診断結果を呈示することが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る教習用模擬運転装置の構成を概略的に示した外観図である。
【図2】図1の装置の機能ブロック図である。
【図3】従来形の一例としての教習用模擬運転装置の構成を概略的に示した外観図である。
【符号の説明】
10…模擬運転席
12…モニターテレビ
13〜15…運転に必要な各操作機器
19…運転席制御装置(第1の演算制御部)
20…中央制御装置
21…映像再生装置
22…システム制御装置(第2の演算制御部)
30…通信回線
40…制御部(第1の演算制御部)
46…映像出力部(モニターテレビ)
47…操作部(各操作機器)
48…操作検出部(第1の演算制御部)
50…CPU(第2の演算制御部)
51…ハイビジョン映像再生部(映像再生装置)

Claims (6)

  1. 実際の自動車を模擬して配置された運転に必要な各操作機器と、主として道路走行映像を映すためのモニターテレビと、該モニターテレビを制御すると共に前記各操作機器の操作を検出してその操作内容を診断評価する第1の演算制御部とを備えた少なくとも1台の模擬運転席と、
    通信回線を介して前記第1の演算制御部に接続され、前記通信回線を介して前記モニターテレビへ映像信号を供給する映像再生装置と、該映像再生装置を制御すると共に前記第1の演算制御部で診断評価された結果を前記通信回線を介して収集する第2の演算制御部とを備えた中央制御装置とを具備し、
    前記モニターテレビがハイビジョンの映像を呈示する画面を有し、且つ、前記映像再生装置が前記ハイビジョンの映像に応じた映像信号を再生すると共に、前記第1の演算制御部が前記ハイビジョンの映像信号を処理するのに十分な演算処理速度を有することを特徴とする教習用模擬運転装置。
  2. 前記第1の演算制御部は、前記モニターテレビのハイビジョン画面に映し出される道路走行映像に対する運転操作を検出してその操作内容を診断評価する手段を有することを特徴とする請求項1に記載の教習用模擬運転装置。
  3. 前記映像再生装置は、道路走行映像にサイドミラー及びルームミラーの映像を組み込んだ映像信号を前記モニターテレビへ供給し、前記第1の演算制御部は、該モニターテレビのハイビジョン画面に映し出される自動車後方の映像に対する運転操作を検出してその操作内容を診断評価する手段を有することを特徴とする請求項2に記載の教習用模擬運転装置。
  4. 前記第1の演算制御部の演算処理速度は、前記各操作機器の操作を検出するサンプリング間隔が1/100秒以下となるような処理速度に設定されていることを特徴とする請求項1に記載の教習用模擬運転装置。
  5. 前記第2の演算制御部は、前記映像再生装置で再生されたハイビジョンの映像信号にコンピュータグラフィックスの映像信号を合成したものを前記モニターテレビへの映像信号として供給する手段を有することを特徴とする請求項1に記載の教習用模擬運転装置。
  6. 前記中央制御装置は、前記第2の演算制御部に収集された各操作機器の操作に関する診断評価結果を表示し或いは印字する手段を更に有することを特徴とする請求項1に記載の教習用模擬運転装置。
JP4361796A 1996-02-29 1996-02-29 教習用模擬運転装置 Expired - Fee Related JP3758733B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4361796A JP3758733B2 (ja) 1996-02-29 1996-02-29 教習用模擬運転装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4361796A JP3758733B2 (ja) 1996-02-29 1996-02-29 教習用模擬運転装置

Publications (2)

Publication Number Publication Date
JPH09237032A JPH09237032A (ja) 1997-09-09
JP3758733B2 true JP3758733B2 (ja) 2006-03-22

Family

ID=12668810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4361796A Expired - Fee Related JP3758733B2 (ja) 1996-02-29 1996-02-29 教習用模擬運転装置

Country Status (1)

Country Link
JP (1) JP3758733B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3499819B2 (ja) * 2000-11-07 2004-02-23 東京海上リスクコンサルティング株式会社 運行解析システム、運行解析方法及びコンピュータプログラム
JP2005208478A (ja) * 2004-01-26 2005-08-04 Ota Hiroo 模擬運転装置
CN102867438A (zh) * 2012-09-28 2013-01-09 西安开元电子实业有限公司 一种闭路电视系统演示与实训装置

Also Published As

Publication number Publication date
JPH09237032A (ja) 1997-09-09

Similar Documents

Publication Publication Date Title
US4750888A (en) Method and device for training in the operation of moving vehicles
US8016595B2 (en) Interactive driving simulator, and methods of using same
JP2790703B2 (ja) 試験方法およびその装置
JP3817612B2 (ja) バーチャルドライビングシステム
CN110580836A (zh) 基于mr的驾驶应急处置训练装置和训练方法
JP4312977B2 (ja) 運転模擬装置及び画像表示制御方法
JP3758733B2 (ja) 教習用模擬運転装置
EP0183497A1 (en) Driving simulator
JPH0588605A (ja) ライデイングシミユレーシヨン装置
CN211124495U (zh) 基于mr的驾驶应急处置训练装置
JPH07141095A (ja) トレーニング装置
JP2001092343A (ja) 車両運転シミュレータ装置
JPH09237031A (ja) 教習用模擬運転装置
WO2005066918A1 (ja) シミュレーション装置及びシミュレーション装置のデータ授受方法
JP2000338861A (ja) 車両運転訓練装置
JP3685574B2 (ja) 運転支援画像取り込み装置
JP2010097107A (ja) 複数の模擬運転席を備えた自動車運転模擬装置における走行結果評価方法
JP2005208478A (ja) 模擬運転装置
JP2003114607A (ja) 仮想ドライビングシステム
DE4221558C2 (de) Fahrsimulationssystem
JP3878426B2 (ja) ライディングシミュレーション装置
JP2004246214A (ja) ライディングシミュレーション装置
JP3243841U (ja) トレーニング専用シミュレータ及びトレーニング専用シミュレータキット
JP2524740Y2 (ja) 模擬運転装置
JP3499572B2 (ja) ライディングシミュレーション装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100113

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100113

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110113

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120113

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130113

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees