JP4192753B2 - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
JP4192753B2
JP4192753B2 JP2003360388A JP2003360388A JP4192753B2 JP 4192753 B2 JP4192753 B2 JP 4192753B2 JP 2003360388 A JP2003360388 A JP 2003360388A JP 2003360388 A JP2003360388 A JP 2003360388A JP 4192753 B2 JP4192753 B2 JP 4192753B2
Authority
JP
Japan
Prior art keywords
vehicle
vector
display image
display
surrounding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003360388A
Other languages
English (en)
Other versions
JP2005128607A (ja
Inventor
博司 渡辺
政光 古川
剛司 寸田
義一 波多野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003360388A priority Critical patent/JP4192753B2/ja
Publication of JP2005128607A publication Critical patent/JP2005128607A/ja
Application granted granted Critical
Publication of JP4192753B2 publication Critical patent/JP4192753B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Navigation (AREA)

Description

本発明は、車両に搭載され、周囲車両の状況をドライバに対して表示して知らせる、車両用表示装置に関するものである。
従来の車両に搭載される表示装置は、前方障害物を検出し、ヘッドアップディスプレイ上に当該障害物に運転者の注意が行くように輝点を表示する構成となっていた。
特開平10−246640号公報
輝点によって、障害物の位置のみを知らせているため、障害物として他車両が存在した場合には、その他車両がどのように移動しようとしているか、判断が出来ない可能性がある。特に自車線への合流車両が有るような状況では、合流車両がどのように進もうとしているか、自車両と合流車両の速度の差はどの程度か、等は、車両の位置を示しただけでは判断することが難しいという問題があった。
本発明は上記の問題を解決するためになされたものであり、周辺車両の動きを判断することができる車両表示装置を提供することを目的としている。
上記の目的を達成するため本発明においては、表示光をフロントウィンドウヘ向けて照射し、前記フロントウィンドウのフロントガラスからの反射光を視認させるヘッドアップディスプレイを用い、表示画像を遠方に結像させ、かつ、前方の景色と前記表示画像が重畳されてドライバに視認されるように配置した車両用表示装置であって、自車両の周囲車両を検出する周囲車両検出手段と、自車両の動きを検出する自車両検出手段と、前記周囲車両検出手段と前記自車両検出手段の情報に基づいて、前記周囲車両と自車両との相対位置から相対ベクトルを算出し、かつ自車両の速度と進行方向から自車両のベクトルを算出し、さらに相対ベクトルから自車両のベクトルを減算することで周囲車両のベクトルを算出するベクトル算出手段と、前記自車両のベクトルについて自車両のドライバから見た表示像に視点変換すると共にベクトルの形状を算出することによって自車両のベクトルの表示画像を生成し、また前記周囲車両のベクトルについて自車両のドライバから見た表示像に視点変換すると共にベクトルの形状を算出することによって前記周囲車両のベクトルの表示画像を生成する表示画像生成手段と、前記表示画像生成手段からの前記ベクトルの前記表示画像に基づき、表示を行う表示手段とを備え、前記周囲車両の速度と進行方向に対応したベクトルと自車両の速度と進行方向に対応したベクトルとを、フロントガラスを通して見える周囲車両と自車両の前方にそれぞれ表示するように構成している
周辺車両の進行方向を示すベクトルを周辺車両の前方にベクトル表示し、ベクトル表示の大きさをドライバから周辺車両への視角変化量に合わせて、ベクトル表示のサイズおよび表示位置を変化させることで、周辺車両の動きを判断することができる。
以下、図面を用いて本発明の実施の形態について説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
本発明の第1の実施の形態について、図1〜5に従って説明する。
図1は本発明の第1の実施の形態の構成を示すブロック図である。この図1を用いて本発明の第1の実施の形態の構成を説明する。周囲車両、例えば自車線に合流してくる周囲車両を検出するレーダーセンサ(周囲車両検出手段)100、自車両の速度を検出する車速センサ101と自車両のステアリング操舵角を検出する舵角センサ102で構成されている自車両検出部(自車両検出手段)105、レーダーセンサ100、車速センサ101、舵角センサ102からの情報を受けて、周囲車両および自車両の進行方向のベクトルを算出するベクトルデータ算出部(ベクトル算出手段)110、ベクトルデータ算出部110からの情報を受けて、ドライバの視点から見たベクトル表示データを生成する表示データ生成部(表示画像生成手段)200、表示データ生成部200からの情報を受けて、表示像をフロントウィンドウに向けて投影する表示投影部(表示手段)300である。
図2は本第1の実施の形態における表示投影部300を説明するための図であり、ステアリング11の前方で、ダッシュパネル12の内部に収納された表示像を投影するプロジェクタ310はLCD(Liquid Crystal Display)やDMD(Digital Micromirror Display)等の表示機および光を照射するための光源とレンズからなり、反射ミラー311はプロジェクタ310からの表示像をフロントウィンドウ10のフロントガラスへ反射させるためである。この構成により前景に重畳した状態で表示像をドライバに視認させるHUD(Headup Display)表示像を生成できる。
次に本第1の実施の形態の動作について、図3に示すフローチャートおよび図4((a)は正面図、(b)は平面図)の表示データの生成方法を示す説明図に沿って説明する。
まずステップ1では、車載されたレーダーセンサ100により、周囲車両として本第1の実施の形態では合流車両400を検出する。合流車両400を検出すると、ステップ2ではベクトルデータ算出部110が合流車両400と自車両500の相対位置の変化量から相対ベクトルを算出する。
ステップ3ではベクトルデータ算出部110が自車両500の速度を車速センサ101から得、自車両の進行方向を舵角センサ102から得て自車両500のベクトルBを算出し、ステップ2で算出した相対ベクトルからベクトルBを減算する。この演算により合流してくる合流車両400のベクトルAが算出される。
次にステップ4では、表示データ生成部200が得られたベクトルAのデータを、自車両500のドライバから見た表示像に視点変換する。例えば、図4の合流車両400の前方に矢印状の図形(ベクトル表示像)401を表示するために、合流車両400の位置から、所定の距離(表示位置)L、合流車両400のベクトルAの方向に移動した位置を、ベクトル表示像401の表示位置とする。このベクトル表示像401の表示位置は所定の距離Lと合流車両400と自車両500の相対距離L、ドライバの視点600からベクトル表示像401の表示位置への俯角θf1、方向Dを算出し、かつ、ベクトル表示像401の表示の形状(サイズおよび形状)を算出することにより、ドライバにはベクトル表示像401にベクトルが見えるように、HUD表示像を生成できる。
次に合流車両400が速度を早め、自車両500との相対位置が合流車両400aの位置に進んだ場合の相対距離Lの位置にある場合は、ベクトル表示像401のサイズおよび所定の距離Ls1はベクトル表示像401に対して、相対距離L1に対するL2の変化により求められる視角θに対する視角θの視角変化量によって求められ、ベクトル表示像401の表示位置は先に述べたように俯角θと方向Dで決定される。
ステップ5では、得られたベクトル表示像401(または401)を表示投影部300にて、フロントガラス上に投影し、反射光がドライバに視認され、ドライバにはベクトル表示像401が合流車両400の前方に表示された如く視認される。
ステップ6で、合流車両400が自車両500の前後に合流したと判断されると表示が終了する。本第1の実施の形態の表示例を図5に示す。
以上により、合流車両400がある場合、合流車両400の前方に、合流車両のベクトルAに応じて矢印(ベクトル表示像401)が表示され、合流車両400がすぐ合流しようとしているか、前方に進んで合流しようとしているか等、合流車両400の動きが判断しやすくなる。
また、ドライバの視点から見たベクトル表示像401に変換し、更に合流車両400の距離合わせて、ベクトル表示像401のサイズが変化するため、合流車両400とベクトル表示像401の一体感が増加し、ベクトル表示像401を視認していても合流車両400も視認しやすくなる。
更には、合流車両400と自車両500の接近距離によって、ドライバの視点から見たベクトル表示像401の色を変えることも可能である。例えば、遠/中/近の3段階に分けて、緑/黄色/オレンジというように変化させることで危険度を伝えることが出来る。
なお、合流車両400がトラック等、車両が大きく長い大型車の場合にはレーダーセンサ100等で得た大型車の車両サイズをもとに、所定の距離Lに修正を加えることにより、ベクトル表示像401の表示位置を修正し、大型車の前方にベクトル表示像401を表示させることが可能である。
次に第2の実施の形態について、図6(a)、(b)、図7(a)、(b)を用いて説明する。図6(a)は自車両500のベクトルBを視点変換し、ベクトル表示像501を表示する表示位置を説明するための図であり、自車両500の形状が判っているため、自車両500から所定の距離M以上前方に表示し、ベクトル表示像501が自車両500に重ならないように表示する。なお、ボンネット先端ぎりぎりにベクトル表示像501を表示した場合には、ドライバに自車両500の表示であることがより強く視認される。図6(b)にはベクトル表示像501の表示例を示している。
第1の実施形態では、図7(a)に示すようにベクトルAのデータをベクトル表示像401のように表示しているが、図6で説明したように自車両500のベクトルBのデータも自車両前方にベクトル表示像501のように表示し、自車両500と合流車両400との関係を分かりやすく表示することが出来る。
図7(a)は、合流車両400および自車両500のベクトルAおよびBのデータがベクトル表示像401およびベクトル表示像501のように表示され、ベクトル表示像401およびベクトル表示像501の位置関係および交差関係、例えば、ベクトル表示像401がベクトル表示像501に向いている場合は、自車両500が先に通過でき、ベクトル表示像401が自車両500のベクトルよりも遠方を向いている場合には、合流車両400が先に行く、といった判断が出来る。
さらには、図7(b)に示すように、合流車両400と自車両500のどちらが先に行くかにより、ベクトル表示像401およびベクトル表示像501のテクスチャを変化させることも可能である。例えば、先に行く合流車両400のベクトル表示像401は塗り潰し、自車両500のベクトル表示像501はストライプ状に表示する、ということが可能である。この時、ストライプを自車両500の車速に合わせて移動させ、ストライプが路面の移動に合わせて流れているように表示するとよい。あるいは、夫々のベクトル表示像401、501の表示色を変化させることも可能である。
次に第3の実施の形態について、図8を用いて説明する。
図8は図1に自車両500の位置を検出するためのGPSセンサ103と地図データベース210を追加しており、GPSセンサ103で得られた自車両位置と地図データベース210からの地図データから、地図上の自車両位置を検出し、自車両500が合流地点に接近していることを検出することを可能としている。すなわち、合流地点への自車両500の到達時間に応じて、自車両500が合流地点に接近したときに、レーダーセンサ100を側方に向けて、合流車両400を検出するようにすることが可能であり、この場合に合流車両400および自車両500のベクトル表示像401、501を表示し、第2の実施の形態で述べた如く、ベクトル表示像401、501の交差状況から、自車両が先に通過するか、合流車両を合流させるべきかを判断することが可能である。
また、例えば、レーダーセンサ100から得られた合流車両400の相対速度と、相対距離等と自車両500の位置から合流車両との合流ポイントを算出し、地図データから合流ポイントが合流車線の終わりに近いと推定される場合、合流車両400が急に合流してくることが推測され、その情報をベクトル表示像401に重畳した赤色の点滅等で追加して表示し、ドライバに注意を促すことが可能である。
次に第4の実施の形態について、図9を用いて説明する。
図9は図1に前方の映像を取得するための電子式カメラ220と、カメラ220から得られた映像から、合流車両400のウィンカ等の点滅を検出する画像処理部221を追加しており、本図9の構成により合流車両400のウィンカの点滅を検出することが可能であり、検出されたウィンカの点滅周期に合わせて、ベクトル表示像401を点滅させて表示することができる。これにより、合流車両400とベクトル表示像401がより一体的に認識されるという効果が得られる。
次に第5の実施の形態について、図10、11を用いて説明する。
図10は図1に後側方の車両の有無を検出するための後側方センサ230を追加しており、後側方センサ230はレーダーセンサや、超音波センサ、あるいは車両認識を行う車両検出用の電子式カメラからなる。本第5の実施の形態では、合流車両400が検出され、ベクトル表示像401の表示を行う場合、ベクトル表示像401と合わせて、自車両500が側方への車線変更が可能か否かを表示することが可能となる。例えば、レーダーセンサ100が合流車両400を認識し、ベクトル表示像401が表示されると、後側方センサ230を動作させ、後側方の車両の有無、後側方の車両の相対速度、相対距離等を計測し、前側方への自車両500の車線変更が可能か否かをベクトル表示像401と合わせて表示することが可能である。これにより、合流車両の動向に注意しながら、車線変更の判断が可能となり、スムーズな運転を行うことが出来る。また、ベクトル表示像501も表示する場合には、ベクトル表示像501の近傍に、車線変更が可能か否かの表示を、例えば車線変更が可能な場合はベクトル表示像502のように表示し、可能でない場合はベクトル表示像502の矢印の先に×印を付ける表示を行うようにしてもよい。
以上に述べた各実施の形態では、表示投影部300にLCDやDMDを用いたプロジェクタを用いているが、自発光式のVFD(Vacuum Fluorescent Display)やEL(Electroluminescence Display)、LED(Light Emitting Diode Display)等を用いても良いことは言うまでもない。さらには、ドライバの頭の動きを検出する手段を設け、頭の位置に応じて表示像の位置を補正することにより、ドライバに装着させるHMD(Headmount Display)を用いても良い。
また、合流車両を検出する手段は、レーダーセンサを用いているが、画像認識や、車々間通信などにより、合流車両の検出を行うようにしてもよい。
更に、周囲車両として合流車両を上げているが、車線変更してくる車両等、自車両の周囲の車両であれば、同様の表示を行うことが可能である。
第1の実施の形態の構成を示すブロック図。 表示投影部の構成を示す図。 第1の実施の形態の動作を示すフローチャート。 表示データの生成方法を示す説明図。 第1の実施の形態のドライバの視点から見たベクトル表示像の表示例。 第2の実施の形態の自車両のベクトル表示像を示す図。 第2の実施の形態のベクトル表示像の表示例。 第3の実施の形態の構成を示すブロック図。 第4の実施の形態の構成を示すブロック図。 第5の実施の形態の構成を示すブロック図。 第5の実施の形態のベクトル表示像の表示例。
符号の説明
10 フロントウィンドウ 100 レーダーセンサ
103 GPSセンサ 105 自車両検出部
110 ベクトルデータ算出部 200 表示データ生成部
210 地図データベース 220 カメラ
221 画像処理部 230 後側方センサ
300 表示投影部 400 合流車両
401、401 合流車両のベクトル表示像
500 自車両 501 自車両のベクトル表示像
600 ドライバの視点 D、D 方向
h 視点の高さ θf1、θf2 俯角
θ、θ 視角

Claims (6)

  1. 表示光をフロントウィンドウヘ向けて照射し、前記フロントウィンドウのフロントガラスからの反射光を視認させるヘッドアップディスプレイを用い、表示画像を遠方に結像させ、かつ、前方の景色と前記表示画像が重畳されてドライバに視認されるように配置した車両用表示装置であって、
    自車両の周囲車両を検出する周囲車両検出手段と、
    自車両の動きを検出する自車両検出手段と、
    前記周囲車両検出手段と前記自車両検出手段の情報に基づいて、前記周囲車両と自車両との相対位置から相対ベクトルを算出し、かつ自車両の速度と進行方向から自車両のベクトルを算出し、さらに相対ベクトルから自車両のベクトルを減算することで周囲車両のベクトルを算出するベクトル算出手段と、
    前記自車両のベクトルについて自車両のドライバから見た表示像に視点変換すると共にベクトルの形状を算出することによって自車両のベクトルの表示画像を生成し、また前記周囲車両のベクトルについて自車両のドライバから見た表示像に視点変換すると共にベクトルの形状を算出することによって前記周囲車両のベクトルの表示画像を生成する表示画像生成手段と、
    前記表示画像生成手段からの前記ベクトルの前記表示画像に基づき、表示を行う表示手段とを備え
    前記周囲車両の速度と進行方向に対応したベクトルと自車両の速度と進行方向に対応したベクトルとを、フロントガラスを通して見える周囲車両と自車両の前方にそれぞれ表示することを特徴とする車両用表示装置。
  2. 道路形状および前記自車両の位置から合流地点を算出し、前記合流地点への前記自車両の到達時間に応じて、前記周囲車両および前記自車両の前記ベクトルを前記表示画像として表示することを特徴とする請求項1に記載の車両用表示装置。
  3. 前記周囲車両の接近度合いに応じて、表示する前記表示画像の色を変化させることを特徴とする請求項1に記載の車両用表示装置。
  4. 前記周囲車両のウィンカを検出する手段を有し、前記周囲車両のウィンカの点滅に合わせて、前記表示画像を点滅させることを特徴とする請求項1〜のいずれかに記載の車両用表示装置。
  5. 前記周囲車両の車両サイズを検出する手段を有し、前記表示画像が車両の上に重畳しないように表示を行うことを特徴とする請求項1〜のいずれかに記載の車両用表示装置。
  6. 後側方の車両を検出する手段を具備し、前記自車両が隣接車線に車線変更が可能か否かを示す情報を、前記周囲車両の前記表示画像に合わせて、前記隣接車線に車線変更が可能か否かを示す情報を提示することを特徴とする請求項1〜のいずれかに記載の車両用表示装置。
JP2003360388A 2003-10-21 2003-10-21 車両用表示装置 Expired - Fee Related JP4192753B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003360388A JP4192753B2 (ja) 2003-10-21 2003-10-21 車両用表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003360388A JP4192753B2 (ja) 2003-10-21 2003-10-21 車両用表示装置

Publications (2)

Publication Number Publication Date
JP2005128607A JP2005128607A (ja) 2005-05-19
JP4192753B2 true JP4192753B2 (ja) 2008-12-10

Family

ID=34640708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003360388A Expired - Fee Related JP4192753B2 (ja) 2003-10-21 2003-10-21 車両用表示装置

Country Status (1)

Country Link
JP (1) JP4192753B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105584488A (zh) * 2016-03-11 2016-05-18 广东钛马车联网信息科技有限公司 一种虚拟行车路线显示系统及方法
CN107542122A (zh) * 2016-06-27 2018-01-05 住友建机株式会社 挖土机的显示装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4749958B2 (ja) * 2006-07-05 2011-08-17 本田技研工業株式会社 運転支援装置
JP5262897B2 (ja) * 2009-03-25 2013-08-14 株式会社デンソー 表示装置
WO2011108091A1 (ja) * 2010-03-03 2011-09-09 株式会社 東芝 車載用表示装置及び表示方法
JP2012058173A (ja) * 2010-09-13 2012-03-22 Toshiba Corp 精測進入レーダ及びレーダ表示処理方法
JP2012133699A (ja) * 2010-12-24 2012-07-12 Software Factory:Kk 車両用運転支援装置
JP5002076B1 (ja) * 2011-03-24 2012-08-15 パイオニア株式会社 ヘッドアップディスプレイ、制御方法及びプログラム、並びに制御装置
KR20120113579A (ko) * 2011-04-05 2012-10-15 현대자동차주식회사 길안내 정보의 윈드쉴드 표시 장치 및 그 방법
US10215583B2 (en) 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US10339711B2 (en) 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
US9251715B2 (en) * 2013-03-15 2016-02-02 Honda Motor Co., Ltd. Driver training system using heads-up display augmented reality graphics elements
KR102188637B1 (ko) * 2015-04-01 2020-12-08 한국전자통신연구원 차로 변경 안내 시스템
JP6708760B2 (ja) * 2017-02-10 2020-06-10 シャープ株式会社 画像処理装置及び画像処理プログラム
JP6910254B2 (ja) * 2017-09-13 2021-07-28 日産自動車株式会社 運転支援表示方法及び運転支援表示装置
JP2021117704A (ja) * 2020-01-24 2021-08-10 株式会社リコー 表示装置、及び表示方法
JP7552018B2 (ja) * 2020-01-24 2024-09-18 株式会社リコー 車載表示装置およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105584488A (zh) * 2016-03-11 2016-05-18 广东钛马车联网信息科技有限公司 一种虚拟行车路线显示系统及方法
CN107542122A (zh) * 2016-06-27 2018-01-05 住友建机株式会社 挖土机的显示装置
CN107542122B (zh) * 2016-06-27 2021-06-22 住友建机株式会社 挖土机的显示装置

Also Published As

Publication number Publication date
JP2005128607A (ja) 2005-05-19

Similar Documents

Publication Publication Date Title
JP6669299B2 (ja) 画像処理装置
JP4192753B2 (ja) 車両用表示装置
US11535155B2 (en) Superimposed-image display device and computer program
CN105324267B (zh) 驾驶支援装置
EP3073464B1 (en) Vehicle information projection system
JP6379779B2 (ja) 車両用表示装置
US20210016793A1 (en) Control apparatus, display apparatus, movable body, and image display method
US20120123613A1 (en) Driving support device, driving support method, and program
EP2511893A1 (en) Information display apparatus and information display method
JP4719590B2 (ja) 車載周辺状況提示装置
US20240059309A1 (en) Image processing device
JP2017144889A (ja) 車載装置、車載装置の制御方法及び車載装置の制御プログラム
JP2006501443A (ja) 車両に対してナビゲーション情報を表示する方法及び装置
JP6350247B2 (ja) 画像処理装置
US20200249044A1 (en) Superimposed-image display device and computer program
US11325470B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
CN109968977B (zh) 显示系统
JP2017536621A (ja) 自動車両のドライバー支援システムを作動させるための方法、ドライバー支援システム、及び、自動車両
WO2019189515A1 (en) Control apparatus, display apparatus, movable body, and image display method
JP2019199135A (ja) 車両用表示制御装置
US20220383567A1 (en) Head-up display device
US20220292838A1 (en) Vehicular display apparatus
JP2016197312A (ja) 運転支援表示装置
JP6728727B2 (ja) 車両用表示装置
JP2019079351A (ja) 画像処理ユニット及びそれを備えるヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080826

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080908

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131003

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees