JP4257535B2 - 自動車夜間視認システムの表示領域 - Google Patents

自動車夜間視認システムの表示領域 Download PDF

Info

Publication number
JP4257535B2
JP4257535B2 JP2004562685A JP2004562685A JP4257535B2 JP 4257535 B2 JP4257535 B2 JP 4257535B2 JP 2004562685 A JP2004562685 A JP 2004562685A JP 2004562685 A JP2004562685 A JP 2004562685A JP 4257535 B2 JP4257535 B2 JP 4257535B2
Authority
JP
Japan
Prior art keywords
area
evaluation
display
night vision
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004562685A
Other languages
English (en)
Other versions
JP2006510543A (ja
Inventor
ヘルムート・エッゲルス
ゲルハルト・クルツ
ユルゲン・セーキルヒャー
トーマス・ヴォールゲムート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Publication of JP2006510543A publication Critical patent/JP2006510543A/ja
Application granted granted Critical
Publication of JP4257535B2 publication Critical patent/JP4257535B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Instrument Panels (AREA)

Description

本発明は、複数の領域を含む自動車夜間視認システムによる周囲検知方法に関する。
悪天候の場合あるいは暗闇におけるドライバーの視界を改善する最初のドライバー支援システムは既に市販されている。これらは、赤外線センサーを利用することにより前方の車両周囲を検出する夜間視認システムである。検出された周囲に関するデータは、データ処理ユニットの支援により処理され画像が形成されるとともに、ドライバーのために車両の光学的ディスプレイ上に表示される。この場合、ドライバーは光学的ディスプレイを見て情報を拾い出し、適切な場合、危険な交通状況を検出することができる。
非特許文献1には、赤外線カメラとヘッドアップ・ディスプレイを含む自動車夜間視認システムが示されている。この場合、ヘッドアップ・ディスプレイは、赤外線カメラにより検出され、車両前方に存在する周囲に関するデータを仮想的にフロントガラス上に投影するために利用される。この場合、このシステムは、ドライバーに対しロービームの典型的な視距離より大きい3〜5倍の視距離の実現性を提供する。この結果、時速60マイルの車両速度において、ロービームで3.5秒の最大反応時間をこの夜間視認により17.5秒の反応時間まで上げられる。
特許文献1には、自動車両用の視認性改善のための装置が提案されており、ここでは赤外線カメラが、ドライバーにより視認されるとともに赤外線放射体により照射される視野範囲を検出する。赤外線カメラにより出力された信号は、赤外線カメラの画像を虚像として、車両周囲画像の上に視覚的に重畳させる表示装置に供給される。この場合、カメラにより検出することができる領域(検知領域)は、表示装置により表示される領域(表示領域)と同一であり、この検知領域は特にハイビームヘッドライトの輝度特性により決定される。
夜間運転中のドライバーの視野を支援するシステムについては、非特許文献2に示されている。この場合、近赤外線において高感度なカメラは周囲を検出するとともに、ドライバーに対して、該周囲をヘッドアップ・ディスプレイ上に表示する。ロービームで、上記システムは、車両ライトの円錐領域の前方に存在し認識が困難な道路の進路はもとよりその周囲にある人間、車両、および障害物を表示する。この目的のために、ロービームのライト円錐領域には、夜間視認システムの支援により認識可能となる領域が隣接される。評価可能な領域は、理想的には約100mに設置されており、最大約150mまでしか到達しない。上記システムは、特にハイビームでの運転が不可能な状況において長距離を視認するための支援として役立つ。ドライバーがハイビームで運転している場合に、上記システムは直視では認識が困難な物体を映し出すことにより前方に存在する情報を提供する。上記システムは、近赤外線を使用することにより、道路状況、道路上の落下物、その他、道路に関する情報を表示することができる。約180mの範囲で規定されるハイビームのライト円錐領域には、この目的のために、夜間視認システムの支援により検出可能な領域が隣接される。検出可能な領域は約200mであり、約250mで規定される。すべての従来の市販の夜間視認システムは、できるだけ離れた物体を表示できるように設計されている。しかしながら、上記システムは、視界が悪い状態かあるいは暗闇において、夜間視認システムが無い場合に可能である速さよりも速く運転するようにドライバーを導いてしまうという大きな危険性を伴っている。
独国特許出願公開第4032927A1号明細書 IEEEコンピュータグラフィックスと応用、1999年9月/10月、6ページ:「夜間視認:赤外線、道路に入る」(IEEE Computer Graphics and Applications, September/October,1999,page 6:「Night Vision:Infrared Takes to the Road」) トヨタ自動車株式会社ウェブサイト(www.toyota.co.jp/Showroom/All toyota lineup/LandCruiserCygnus/safety/index.html)
したがって本発明の目的は、自動車夜間視認システムにより周囲を検知する方法であって、該システムの支援により、いつの間にか盲目的に走行する事態に導くことなく、前方周囲に関する情報をドライバーに表示する方法を提供することである。
本発明によれば、本目的は請求項1の特徴を有する方法により達成される。本発明の好適な改良と展開は従属項に示される。
本発明では、自動車夜間視認システムにより周囲を検出する方法が提供される。周囲に関するデータを検出するために、本システムは複数の領域を含む。これらの領域としては、夜間視認システムが非可視のIR(赤外線)波長の光放射に対して高感度であるとともに、周囲に関するデータが検出されることを特徴とする検知領域が挙げられる。上記システムは、また表示領域を含み、夜間視認システムの支援により検出された周囲に関するデータをドライバーのために光学的ディスプレイ上に表示する。本発明の一面では、この場合、上記夜間視認システムの表示領域は、せいぜい車両ハイビーム領域のライト円錐領域しか含まない。この表示領域の制約のために、上記ディスプレイは、従来のハイビームを作動させた際に見ることとなるであろう周囲に関するデータのみをドライバーに示すことになる。
本システムは、特に好適には評価領域を含み、該評価領域において夜間視認システムによって検出された周囲に関するデータは評価、特に物体認識されることになる。
さらに好適には、公差領域を上記夜間視認システムの表示領域に隣接させる。この場合、該公差領域をカバーする周囲に関するデータも同様に、光学的ディスプレイによりドライバーのために表示される。本発明の一実施態様では、この公差領域は恒久的に規定されるものとする。この場合、急激な分離線がハイビーム領域と検知領域の間には存在しないので、一方ではこの公差領域は好適である。他方では、ハイビーム領域の境界線は、カメラの角度範囲及び空間方向に対応した各画素の角度範囲のために十分な精度で確定することはできない。しかしながら、さらに車両変数あるいは周囲の変数、例えば運転速度に基づいて上記公差領域を自動的に制御することも考え得る。しかしながら、本発明の特に好ましい実施態様において、この公差領域は、周囲に関するデータの評価関数として設定される。例えば、対象物が現在の表示領域内に部分的にしか位置しない時はいつも、公差領域は常に自動的に拡大される。この場合、上記公差領域は、対象物が完全に表示領域及び公差領域によってカバーされるように拡大される。
車両の運転方向において、上記表示領域は少なくともロービーム領域の一部を含む。この場合、ドライバーは夜間視認システム無しでもこれらの対象物を見ることができるので、車両のすぐ前方の領域の対象物を表示しないことが好ましい。この場合、表示領域は必ずしも横方向である必要はない。この場合、好ましくは、夜間視認システムの開口角度は、その側面でハイビーム領域のローブを侵入しないように選択される。
夜間視認システムの評価領域は、好適には、少なくとも車両のハイビーム領域を含むように設計される。評価目的のためには、評価領域において検出された周囲に関するデータは、次に、画像処理方法及び分類方法と関連して、データ処理ユニットによって物体認識されることになる。認識された対象物が評価領域内に部分的にしか見出されない場合、評価領域は、好適に、自動的に拡大される。この目的のため、例えば、閉じた対象物の輪郭が存在するかどうかを設定することが可能である。この場合、評価領域は、対象物を完全に評価し終えるまで拡大される。また一方、特に好適には、評価領域は、夜間視認システムの全検知領域を含み、これにより遠方に位置する対象物も検出できるように設計される。また、評価の演算時間を節約するために、車両の直ぐ前方に位置する対象物を認識しないことも有利な方法として考え得る。
本発明の有利な実施態様では、表示領域における評価により検出された対象物は、その表示が強調される。この目的のためには対象物に色をつけることが望ましい。この場合、検出された対象物を予め分類し、次にこれらの分類要素(例えば歩行者、車両、等)を用いてそれらに異なる色をつけることは好適である。対象物の輪郭だけを表示し、これに応じて色をつけることも考え得る。
本発明のさらに有利な実施態様では、評価領域における評価中に検出された対象物に関連する情報を、さらに詳しい評価をするために内部車両システムに利用させることができる。この場合、情報は、例えば初期の段階で安全性に関連するシステム類を作動させたり、あるいはそれらが作動されるよう準備させる目的に役立てることができる。
本発明のさらなる特徴と利点は図を参照した以下の例示的な実施態様の説明から明らかになる。この場合、これらの図は、本発明の可能な改良態様をすべて示すものではなく、さらなる改良態様は特にこれらの組み合わせから好適に生じる。
本発明による自動車夜間視認システム(4)の表示領域を、図1に一例として示す。ここでは、表示領域(斜線で図示)はロービーム領域(1)とハイビーム領域(2)を完全に含んでいる。この場合、表示領域は運転方向においてハイビーム領域(2)と検知領域(3)との間の境界まで広がる。
図2は、自動車夜間視認システム(4)の表示領域を示し、この場合、図1に示す表示領域と比較するとハイビーム領域(2)の横方向の制限がない。カメラの開口角度は、公差領域(網掛けで図示)が側面でハイビーム領域(2)に隣接するように選択される。
図3では、夜間視認システム(4)は、図1に示す表示領域と比較すると、図3の表示領域が好ましくはロービーム領域(1)の一部のみを含むという点でその表示領域が異なるように設計される。また、ここでは、公差領域はその側面で制限され、夜間視認システム(4)の開口角度がハイビーム領域のローブに侵入しないように選択される。
図4は、表示領域のさらなる改良態様を一例として示し、図3に規定した表示領域と比較するとより大きな公差領域を有する。したがって、この表示領域は、ハイビーム領域(2)と検知領域(3)の間の境界で終了せず、検知領域(3)の運転方向にさらに広がっている。
ロービームとハイビーム領域を完全に含む夜間視認システムの表示領域を示す。 ハイビーム領域と横方向の公差領域を含む夜間視認システムの表示領域を示す。 ロービームとハイビーム領域を部分的に含む夜間視認システムの表示領域を示す。 運転方向のハイビーム領域と、付加的な公差領域とを含む夜間視認システムの表示領域を示す。

Claims (7)

  1. 自動車夜間視認システムによる周囲検知方法であって
    前記夜間視認システムが、少なくとも赤線波長領域の光放射を感知し周囲に関するデータを検知する検知領域と、
    前記検知領域で検知された周囲に関するデータからの情報を表示装置により光学的に表示させる表示領域と、を備
    記表示領域は、運転方向において前記検知領域より少ない範囲を有するように制限され、前記表示領域を、運転方向においてハイビーム領域までに限定することを特徴とする方法。
  2. 公差領域を前記表示領域に隣接させて表示装置により表示させることを特徴とする請求項1に記載の方法。
  3. 前記表示領域は、ロービーム領域の少なくとも一部を含むことを特徴とする請求項1又は2に記載の方法。
  4. 前記夜間視認システムにより検知された周囲に関するデータを評価し、物体認識する評価領域を設けることを特徴とする請求項1〜3のいずれか一項に記載の方法。
  5. 前記評価領域は、少なくとも前記ハイビーム領域を含むことを特徴とする請求項に記載の方法。
  6. 前記表示領域と重なる検出された対象物を、前記評価領域における評価に基づき光学的表示で強調させることを特徴とする請求項4又は5に記載の方法。
  7. 前記評価領域における評価中に検出された対象物に関連する情報を、さらに詳しい評価をするために、内部車両システムで利用できるようにすることを特徴とする請求項4〜6のいずれか一項に記載の方法。
JP2004562685A 2002-12-20 2003-12-04 自動車夜間視認システムの表示領域 Expired - Fee Related JP4257535B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10259882A DE10259882A1 (de) 2002-12-20 2002-12-20 Darstellungsbereich eines automobilen Nachsichtssystems
PCT/EP2003/013688 WO2004059978A1 (de) 2002-12-20 2003-12-04 Darstellungsbereich eines automobilen nachtsichtsystems

Publications (2)

Publication Number Publication Date
JP2006510543A JP2006510543A (ja) 2006-03-30
JP4257535B2 true JP4257535B2 (ja) 2009-04-22

Family

ID=32519172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004562685A Expired - Fee Related JP4257535B2 (ja) 2002-12-20 2003-12-04 自動車夜間視認システムの表示領域

Country Status (6)

Country Link
US (1) US7408478B2 (ja)
EP (1) EP1574064B1 (ja)
JP (1) JP4257535B2 (ja)
AU (1) AU2003293762A1 (ja)
DE (2) DE10259882A1 (ja)
WO (1) WO2004059978A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007043304B3 (de) * 2007-09-11 2009-02-19 Daimler Ag Verfahren und Vorrichtung zum Betreiben eines Fahrzeuges
JP5157845B2 (ja) * 2008-11-21 2013-03-06 トヨタ自動車株式会社 視認支援装置
CN108702488B (zh) * 2016-02-22 2020-05-26 富士胶片株式会社 投影型显示装置、投影显示方法、计算机可读取存储介质
JP6664078B2 (ja) * 2017-10-23 2020-03-13 パナソニックIpマネジメント株式会社 3次元侵入検知システムおよび3次元侵入検知方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
DE4032927A1 (de) 1990-10-17 1992-04-30 Bosch Gmbh Robert Vorrichtung zur verbesserung der sichtverhaeltnisse in einem kraftfahrzeug
US6150930A (en) * 1992-08-14 2000-11-21 Texas Instruments Incorporated Video equipment and method to assist motor vehicle operators
US5414439A (en) * 1994-06-09 1995-05-09 Delco Electronics Corporation Head up display with night vision enhancement
US5781243A (en) * 1995-05-08 1998-07-14 Hughes Electronics Display optimization for night vision enhancement systems
US6535242B1 (en) * 2000-10-24 2003-03-18 Gary Steven Strumolo System and method for acquiring and displaying vehicular information
DE10059315A1 (de) * 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs
DE10104734A1 (de) 2001-02-02 2002-08-29 Daimler Chrysler Ag Verfahren zur Steuerung technischer Einrichtungen auf Grundlage von Bilddaten
DE10126492B4 (de) * 2001-05-31 2004-05-19 Daimlerchrysler Ag Verfahren zur Verbesserung der Sicht in Fahrzeugen
DE10146959A1 (de) * 2001-09-24 2003-04-30 Hella Kg Hueck & Co Nachtsichtvorrichtung für Fahrzeuge

Also Published As

Publication number Publication date
US7408478B2 (en) 2008-08-05
US20060152384A1 (en) 2006-07-13
EP1574064A1 (de) 2005-09-14
WO2004059978A1 (de) 2004-07-15
DE50306409D1 (de) 2007-03-15
AU2003293762A1 (en) 2004-07-22
DE10259882A1 (de) 2004-07-15
JP2006510543A (ja) 2006-03-30
EP1574064B1 (de) 2007-01-24

Similar Documents

Publication Publication Date Title
US10909765B2 (en) Augmented reality system for vehicle blind spot prevention
JP5742937B2 (ja) 車両用視界支援装置
JP4164402B2 (ja) 赤外イメージングシステムを有するビークル
US7593573B2 (en) Method and device for visualizing the surroundings of a vehicle
US9760782B2 (en) Method for representing objects surrounding a vehicle on the display of a display device
KR101433837B1 (ko) 차량의 나이트-뷰 시스템 동작 방법 및 대응하는 나이트-뷰시스템
US8093999B2 (en) Driver assistance system and method with object detection facility
US20060151223A1 (en) Device and method for improving visibility in a motor vehicle
US20060164219A1 (en) Method and device for warning the driver of a motor vehicle
JP2003200755A (ja) 車両用表示装置
JP2007142624A (ja) 車両搭載撮像装置
EP1912157A1 (en) Digital image processing system for automatically representing surrounding scenes to the driver of a vehicle for driving assistance, and corresponding operating method
US7372030B2 (en) Method for representing a front field of vision from a motor vehicle
CN110622504A (zh) 借助安装在车辆内的传感器空间分辨地探测车辆外部物体的方法和设备
US20190161010A1 (en) High visibility head up display (hud)
KR20150080639A (ko) 자동차를 위한 운전자 보조 시스템 및 방법
JP4751894B2 (ja) 自動車の前方にある障害物を検知するシステム
JP5192009B2 (ja) 車両の周辺監視装置
JP4257535B2 (ja) 自動車夜間視認システムの表示領域
KR102061210B1 (ko) 차량 측 전방 사각 영역 감시 장치 및 그 방법
US20230141584A1 (en) Apparatus for displaying at least one virtual lane line based on environmental condition and method of controlling same
JP2008148051A (ja) 車載用撮像装置
JP2006504166A (ja) 自動車用夜間視認システムの作動方法及び装置
CN118276034A (zh) 抬头显示系统的控制方法、控制系统、车辆、电子设备
KR20220158117A (ko) 차량용 증강현실 시스템

Legal Events

Date Code Title Description
A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20060123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060705

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090107

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090120

R150 Certificate of patent or registration of utility model

Ref document number: 4257535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120213

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130213

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140213

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees