JP3877366B2 - 車両用ヘッドマウントディスプレイ装置 - Google Patents

車両用ヘッドマウントディスプレイ装置 Download PDF

Info

Publication number
JP3877366B2
JP3877366B2 JP00712197A JP712197A JP3877366B2 JP 3877366 B2 JP3877366 B2 JP 3877366B2 JP 00712197 A JP00712197 A JP 00712197A JP 712197 A JP712197 A JP 712197A JP 3877366 B2 JP3877366 B2 JP 3877366B2
Authority
JP
Japan
Prior art keywords
display
image
mode
vehicle
see
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP00712197A
Other languages
English (en)
Other versions
JPH10206787A (ja
Inventor
善行 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP00712197A priority Critical patent/JP3877366B2/ja
Publication of JPH10206787A publication Critical patent/JPH10206787A/ja
Application granted granted Critical
Publication of JP3877366B2 publication Critical patent/JP3877366B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Instrument Panels (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は安全運転用の視覚補助装置に関するものであり、詳しくは運転時に運転者の頭部に装着されて使用される車両用のヘッドマウントディスプレイ(以下、HMDという)装置に関するものである。
【0002】
【従来の技術】
使用者の頭部に装着されるハウジングに画像表示手段を取り付け、使用者がその視野全域で表示画像を見られるようにしたHMD装置が開発されている。このHMD装置は遠隔操作装置等を用いて汚染物質等を処理し又は操作する場合や車両の運転等を安全に行う場合等に視覚補助装置として使用される。
このHMD装置には操作者に操作用の各種情報をHMD装置の表示部外から入射する外界光による自然画像と合わせて表示するシースルー型のものと、外界光を遮断してカメラ等によって撮影され加工された撮像画像を表示する密閉型のものとがある。すなわち、シースルー型では操作者は自然画像と情報画像が重なった外視画像が見え、密閉型は撮像画像のみが見える。
【0003】
従来のHMD装置はシースルー型か密閉型のいずれかの専用タイプが主であったが、シースルー型と密閉型の兼用を図ったものも開発された。例えば、特開平7−325265の公報に密閉モードとシースルーモードとを切り換えて表示できるHMD装置が開示されている。しかし、この密閉型とシースルー型の兼用を図ったHMD装置も遠隔操作や仮想現実を体験するために使用されるものであって、安全運転用視覚補助装置として車両用システムに使用される場合について何ら考慮されたものではなかった。
【0004】
【発明が解決しようとする課題】
ところで、密閉型HMD装置を使用して運転のために外界を見る際、最も問題となるのは、外部環境を撮影するカメラ等をステレオ配置したとしても遠近感を十分に表現することができず、ドライバの遠近感に対する違和感を完全に払拭することができないことである。一方、シースルー型HMD装置を使用して運転のために外界を見る際、最も問題となるのは、画像表示手段の表示部分(液晶パネルやハーフミラー等が使用される)の透過率が100%とならず、夜間などの外界の光量が少ないときには暗くコントラストが劣化した画像しか得られなくなることである。
【0005】
昼間高速道路を走行する際は車両速度も速く遠距離から近距離までを見通さなければならないので遠近感が重視される。画像表示手段の表示部分の透過率の低下による外界光量の減少も昼間の走行にあたっては特に支障はなく、従ってシースルー型HMD装置が適しているといえる。逆に夜間において郊外道路等を走行する際は、暗闇の中を走行するのでシースルー型は安全運転上不十分であり、赤外線カメラ映像等を加工して密閉型HMD装置により表示する方が光量減少を補うことができて安全運転上適当である場合が多い。従って、密閉型HMD装置とシースルー型HMD装置のような単一のモードしか持たない装置では車両の走行条件(外部環境)によってその得失が変化し、常に良好な表示デバイスの条件を満足することはできない。
【0006】
本願発明はこのような事情に鑑みてなされたものであり、車両の安全運転のため、車両の走行環境により自動的に密閉モードとシースルーモードとを切り換えて使用することができ、なおかつドライバに有用な情報を適宜に表示することができる車両用HMD装置を提供することを目的としたものである。
【0007】
【課題を解決するための手段】
以上の目的を達成するために、本発明に係る車両用HMD装置は、走行車両の外部環境等(例えば、周囲の明るさ、道路種別情報等)を検知する走行環境検知手段と、外界光の入射を遮断した場合に用いるための前記外界光による外界像を表す画像情報及び走行補助表示等の画像情報を生成する表示情報生成手段と、ドライバの頭部に装着され、装着された状態においてドライバの眼前に位置する表示部を有し、前記表示部において、外界光を通過させてドライバの眼に入射させ前方の外界像を見えるようにするとともに前記表示情報生成手段により生成された前記走行補助表示等の画像情報を前記外界像に重畳して表示するシースルーモードと、外界光を遮蔽して前記表示情報生成手段により生成された前記外界像を表す画像情報および前記走行補助表示等の画像情報を重畳して表示する密閉モードとを選択可能に構成された画像表示手段と、前記走行環境検知手段によって検知された結果に応じて前記シースルーモードと前記密閉モードを選択して前記表示部に表示させる画像情報を切り換える画像表示切換手段とを備えて構成される。
【0008】
なお、走行環境検知手段が車両走行時の周囲環境の明るさを検知し、前記周囲環境が明るいときには前記画像表示切換手段により前記シースルーモードが選択され、前記周囲環境が暗いときには前記画像表示切換手段により前記密閉モードが選択される。
また、記走行環境検知手段が、車両位置を検知するナビゲーションシステムおよび現在の時間を検知する時計を備え、前記時計により検知された現在の時間が外部環境が明るい時間帯であるときには、前記画像表示切換手段により前記シースルーモードが選択され、前記時計により検知された現在の時間が外部環境が暗い時間帯であるときにおいて、前記ナビゲーションシステムにより車両が高速道路走行であると検知されたときには前記画像表示切換手段により前記シースルーモードが選択され、前記ナビゲーションシステムにより車両が一般道路走行であると検知されたときには前記画像表示切換手段により前記密閉モードが選択され、前記走行補助表示等の画像情報が走行路誘導表示等であるように構成するのが好ましい。
また、ドライバの意思を予め記憶する記憶手段を備え、この記憶手段に記憶された前記ドライバの意思に従って前記走行環境検知手段によって検知された結果を判断し、前記画像表示切換手段を作動させて表示画像を切り換えるように構成しても良い。
【0009】
このような車両用HMD装置では、外部環境に応じて異なった画像情報が選択され表示される。例えば、夜間走行のような外界に光量が少なくドライバが見にくい場合には密閉モードの表示が選択され、赤外線カメラ等で撮影された外界像に環境条件により提供される各種情報の表示された画像が重畳されて撮像画像としてHMD装置に表示される。また、昼間の高速道路のような場合にはシースルーモードの表示が選択され、自然画像に環境条件により提供される各種情報(走行上の注意を促すような情報表示)を重ね合わせた画像が外視画像として表示される。
【0010】
【発明の実施の形態】
本発明に係る車両用HMD装置1の実施の形態について図面を参照して説明する。図1はその外観図を示している。この車両用HMD装置1は図1(a)に示すように全体がメガネ形状をしており、人間の頭部に装着したときに顔の両眼部の前方に位置する二つの表示部2と、前記表示部2を支持すると共に、顔の両眼部前方に表示部2を固定するバンド部材3と、このバンド部材3が頭部から下方にずり落ちないように頭部頂点で支持するサポート部材4とから構成されている。
なお、5は画像信号入出力のためのケーブルである。
【0011】
表示部2は図1(b)に示すように画像表示部として液晶表示素子(以下、LCD素子という)21が人間の視野を覆うように両眼部前方に配置されており、さらに人間の視線方向前方であって前記LCD素子21の前面部に、前記LCD素子21とほぼ密着してLCDシャッタ22が配置されている。LCDシャッタ22は外部電圧により駆動され、外界光の入射及び遮蔽を制御して前記HMD装置1をシースルーモードと密閉モードとに切り換える働きをするものである。
【0012】
図2は、本発明に係る車両用HMD装置の一実施例に係る構成図である。11は走行環境検知手段であり、この走行環境検知手段11は車両位置を検知するナビゲーションシステム111、現在の時間を検知する時計112及び濃霧の発生を検知する視界度検知装置113によって構成される。ナビゲーションシステム111からは走行道路の形状や種別(例えば一般道か高速道か)或いは現在位置等の情報が検知され、時計112からは周囲環境の明るさ等の情報が判断される。また、視界度検知装置113からはドライバの視界の鮮明度等(例えば濃霧の発生等)が感知される。
【0013】
12は表示情報生成手段であり、この表示情報生成手段12はシースルーモードが選択されたときに表示部2に表示する画像情報を生成するシースルー型映像生成手段121と密閉モードが選択されたときに表示部2に表示する画像情報を生成する密閉用映像生成手段122とから構成される。シースルーモードでは表示部2を通して外界光が入射されるので、シースルー型映像生成手段121では自然画像に重畳して表示される走行補助表示等(例えば、走行路誘導表示等)が画像情報として生成される。密閉型映像生成手段122は表示部2が外界光を遮断するため、走行補助表示等のほかに外界像も画像情報として生成する必要がある。そのため、外界像を撮影する必要があり赤外線カメラ123と一体として構成される。なお、この赤外線カメラ123は車体幅方向に左右対称にステレオ配置されて車体に固定される。
【0014】
13は表示用のLCD素子であり、このLCD素子13は画像表示手段を形成する。このLCD素子13は車両用HMD装置1の表示部2に配置され、ドライバの眼前に必要な画像を提供する。本発明のような密閉モードとシースルーモードの両方に兼用されるHMD装置1では、このLCD素子13は光透過材料により構成されており、ドライバはこのLCD素子13を通して走行視界を確保している。
【0015】
14は画像表示切換手段であり、この画像表示切換手段14は表示切換手段141と切換制御信号生成手段142とドライバ操作スイッチ143とから構成されている。切換制御信号生成手段142は走行環境検知手段11によって検知された結果に応じてシースルーモードにするか密閉モードにするかの表示切換信号を生成する。表示切換手段141はこの表示切換信号に基づいて作動し、表示情報生成手段12によって生成された画像情報のうちシースルーモードの画像情報か或いは密閉モードの画像情報のいずれかを選択してこれを画像表示手段(LCD素子13)に表示させるように接続の切換を行う。この表示切換手段141は通常LCD素子13とほぼ密着して配置されたLCDシャッタ22等によって実現されうる。なお、ドライバ操作スイッチ143はドライバの意思を尊重して自動切換モードを停止するためのスイッチであり、ドライバがシースルーモードに設定する場合には、走行環境検知手段11の結果如何にかかわらず常にシースルーモードが選択される。
【0016】
このように構成された一の実施例に係る車両用HMD装置1の作動を図3及び図4のフローチャートを用いて説明する。
ドライバは車両の運転を行おうとする場合にはこのHMD装置1を頭部に装着し、車体に設置されたドライバ操作スイッチ143をシースルーモード側かそれ以外の自動選択モード側のいずれかを選択するように操作する(図4、S−1)。 ドライバがシースルーモードを選択する場合にはナビゲーションシステム111、時計112、視界度検知装置113等の走行環境検知手段11の検知結果にかかわらず、シースルーモードに決定され(S−4)、ドライバーは車両用HMD装置1に表示される外界光による自然画像とシースルーモードの画像情報により生成される画像の重畳された外視画像を見ながら運転することになる。
【0017】
図3のフローチャートが示すように、ドライバ操作スイッチ143がシースルーモードを選択することにより、切換制御信号生成手段142は表示切換手段141をシースルーモードに切り換える表示切換信号を送出する。表示切換手段141が表示切換信号を入力すると(M−1)、表示切換手段141はシースルー型映像生成手段121が生成する画像情報(走行補助表示等)をLCD素子13に送出して(M−2)、LCD素子13に画像を形成する。このため、ドライバは自然画像にLCD素子13の画像が重畳された外視画像を眼前にて見ることができる。
【0018】
ドライバがドライバ操作スイッチ143を自動選択モード側に操作する場合には、走行環境検知手段11の検知結果が問題となる。図4のフローチャートが示すように、本実施例では走行時間帯が午前6時から午後6時までの昼間部、すなわち外部環境が明るい場合には常にシースルーモードによる運転モードを選択し(S−2)、それ以外の時間帯では走行道路が高速道路かその他一般道路かを判定して(S−3)、高速道路の場合にはドライバの遠近感を重視してシースルーモードを選択するが(S−4)、一般道路の場合には密閉モードによる運転モードを選択するように決定される(S−5)。
【0019】
切換制御信号生成手段142が走行環境検知手段11の検知結果に基づいて密閉モードを選択すると、密閉モードに切り換える表示切換信号を表示切換手段141に送出する。表示切換手段141がこの表示切換信号を入力すると(M−1)、表示切換手段141は密閉型映像生成手段122が生成する画像情報(赤外線カメラによる外界像と走行補助表示等を組み合わせた撮像画像)をLCD素子13に送出して(M−3)、LCD素子13に画像を形成する。このため、ドライバは光量の少ない一般道を夜間に走行中でもあっても、明瞭な外部環境を表示した撮像画像を眼前にて見ながら車両の運転をすることができる。
【0020】
なお、以上のフローチャートにおいては時間帯による明るさと道路種別情報を走行環境検知手段11による検知結果として利用し判断しているが、本発明はこれに限らず、濃霧の発生、道路の混雑情報等を判断条件に加えることもできる。また、外部の明るさは走行時間帯によることなく直接光量検出装置を用いて検知し判断してもよい。
【0021】
本発明に係る他の実施例においては、運転者の意思を記憶する記憶手段を設けて、この記憶手段に記憶されたドライバの意思に従って走行環境検知手段11によって検知された種々の条件を判断し、表示切換手段141を切り換えてもよい。例えば、雨天走行の場合には常に密閉モードの走行を行うことを予め記憶手段に記憶させておき、所定量の降雨を検知した場合には密閉モードに切り換えるような制御を行うことも可能である。或いはまた、夏と冬で日没時間が相違するため予め日没時間の変遷をプログラムしておき、これに従って密閉モードとシースルーモードの切換を行うこともできる。
【0022】
【発明の効果】
以上のように、本発明による車両用HMD装置によれば、従来のモード固定型HMD装置と異なり、密閉モードとシースルーモードの長所を兼ね備えた表示装置を構成することができる。そして、検知される車両走行環境により自動的に密閉モードとシースルーモードとを切り換えて表示することが可能となる。その結果、夜間のような外界が見えにくい場合には密閉モードの長所を生かし赤外線画像等をHMD装置に表示し実際の環境より明るい画像をドライバに提供でき、昼間の高速道路ではドライバの遠近感を重視してシースルーモードに自動的に切り換えることができ、より安全運転に資する視覚補助装置とすることができる。
さらに外界の自然画像や赤外線撮像画像に注意喚起を促す表示をも重ね合わせて表示することができるので、ドライバの安全運転に有効な各種情報を適切に提示することができる。
【図面の簡単な説明】
【図1】本発明に係る車両用HMD装置の外観図である。
【図2】本発明に係る車両用HMD装置の一実施例の構成図である。
【図3】車両用HMD装置の作動を説明するためのフロー図である。
【図4】車両用HMD装置の作動を説明するためのフロー図である。
【符号の説明】
1 車両用ヘッドマウントディスプレイ装置
2 表示部
11 走行環境検知手段
12 表示情報生成手段
13 液晶表示素子
14 画像表示切換手段
111 ナビゲーションシステム
112 時計
113 視界度検知装置
121 シースルー型用映像生成手段
122 密閉型用映像生成手段
123 赤外線カメラ
141 表示切換手段
142 切換制御信号生成手段
143 ドライバ操作スイッチ

Claims (4)

  1. 走行車両の外部環境等を検知する走行環境検知手段と、
    外界光の入射を遮断した場合に用いるための前記外界光による外界像を表す画像情報及び走行補助表示等の画像情報を生成する表示情報生成手段と、
    ドライバの頭部に装着され、装着された状態においてドライバの眼前に位置する表示部を有し、前記表示部において、外界光を通過させてドライバの眼に入射させ前方の外界像を見えるようにするとともに前記表示情報生成手段により生成された前記走行補助表示等の画像情報を前記外界像に重畳して表示するシースルーモードと、外界光を遮蔽して前記表示情報生成手段により生成された前記外界像を表す画像情報および前記走行補助表示等の画像情報を重畳して表示する密閉モードとを選択可能に構成された画像表示手段と、
    前記走行環境検知手段によって検知された結果に応じて前記シースルーモードと前記密閉モードを選択して前記表示部に表示させる画像情報を切り換える画像表示切換手段とからなることを特徴とする車両用ヘッドマウントディスプレイ装置。
  2. 前記走行環境検知手段が車両走行時の周囲環境の明るさを検知し、前記周囲環境が明るいときには前記画像表示切換手段により前記シースルーモードが選択され、前記周囲環境が暗いときには前記画像表示切換手段により前記密閉モードが選択されることを特徴とする請求項1に記載の車両用ヘッドマウントディスプレイ装置。
  3. 前記走行環境検知手段が、車両位置を検知するナビゲーションシステムおよび現在の時間を検知する時計を備え、
    前記時計により検知された現在の時間が外部環境が明るい時間帯であるときには、前記画像表示切換手段により前記シースルーモードが選択され、
    前記時計により検知された現在の時間が外部環境が暗い時間帯であるときにおいて、前記ナビゲーションシステムにより車両が高速道路走行であると検知されたときには前記画像表示切換手段により前記シースルーモードが選択され、前記ナビゲーションシステムにより車両が一般道路走行であると検知されたときには前記画像表示切換手段により前記密閉モードが選択され、
    前記走行補助表示等の画像情報が走行路誘導表示等であることを特徴とする請求項1又は請求項2に記載の車両用ヘッドマウントディスプレイ装置。
  4. ドライバの意思を予め記憶する記憶手段を備え、この記憶手段に記憶された前記ドライバの意思に従って前記走行環境検知手段によって検知された結果を判断し、前記画像表示切換手段を作動させて表示画像を切り換えることを特徴とする請求項1から請求項3のいずれかに記載の車両用ヘッドマウントディスプレイ装置。
JP00712197A 1997-01-20 1997-01-20 車両用ヘッドマウントディスプレイ装置 Expired - Fee Related JP3877366B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00712197A JP3877366B2 (ja) 1997-01-20 1997-01-20 車両用ヘッドマウントディスプレイ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00712197A JP3877366B2 (ja) 1997-01-20 1997-01-20 車両用ヘッドマウントディスプレイ装置

Publications (2)

Publication Number Publication Date
JPH10206787A JPH10206787A (ja) 1998-08-07
JP3877366B2 true JP3877366B2 (ja) 2007-02-07

Family

ID=11657254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00712197A Expired - Fee Related JP3877366B2 (ja) 1997-01-20 1997-01-20 車両用ヘッドマウントディスプレイ装置

Country Status (1)

Country Link
JP (1) JP3877366B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101367958B1 (ko) 2007-12-18 2014-02-26 삼성전자주식회사 광 셔터를 구비한 두부 탑재형 표시 단말기

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005122128A1 (ja) * 2004-06-10 2005-12-22 Matsushita Electric Industrial Co., Ltd. 装着型情報提示装置
JP4961914B2 (ja) * 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
JP5309448B2 (ja) * 2007-01-26 2013-10-09 ソニー株式会社 表示装置、表示方法
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
JP2013174898A (ja) * 2013-04-10 2013-09-05 Sony Corp 撮像表示装置、撮像表示方法
WO2015145541A1 (ja) * 2014-03-24 2015-10-01 日立マクセル株式会社 映像表示装置
CN106293032B (zh) 2015-06-08 2021-09-24 北京三星通信技术研究有限公司 便携终端设备及其控制方法和装置
JP6160654B2 (ja) * 2015-06-10 2017-07-12 ソニー株式会社 表示装置、表示方法、プログラム
JP2017040773A (ja) * 2015-08-19 2017-02-23 株式会社デンソー 頭部装着型表示装置
WO2017145645A1 (ja) * 2016-02-25 2017-08-31 富士フイルム株式会社 運転支援装置、運転支援方法、及び、運転支援プログラム
DE102017208881A1 (de) * 2017-05-05 2018-11-08 Audi Ag Mobile Sensorvorrichtung für ein in einem Fahrzeug einsetzbares am Kopf tragbares visuelles Ausgabegerät und Verfahren zum Betreiben eines Anzeigesystems
CN112770147B (zh) * 2021-01-21 2022-08-12 日照职业技术学院 基于云安全认证的无人驾驶透视盒子及其实现方法
JP2022144606A (ja) * 2021-03-19 2022-10-03 株式会社Jvcケンウッド 警告装置及び警告方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101367958B1 (ko) 2007-12-18 2014-02-26 삼성전자주식회사 광 셔터를 구비한 두부 탑재형 표시 단말기

Also Published As

Publication number Publication date
JPH10206787A (ja) 1998-08-07

Similar Documents

Publication Publication Date Title
JP3877366B2 (ja) 車両用ヘッドマウントディスプレイ装置
JP3031013B2 (ja) 視覚情報提供装置
EP0830267B2 (en) Rearview vision system for vehicle including panoramic view
US7982768B2 (en) Driver-assisting apparatus
US7253833B2 (en) Vehicle periphery visual recognition system, camera and vehicle periphery monitoring apparatus and vehicle periphery monitoring system
JP2004058828A (ja) 車両前方表示システム
US7629946B2 (en) Display apparatus
EP2476587B1 (en) Vehicle surrounding monitor apparatus
JP2002362184A (ja) 車両用表示装置
JP2003312359A (ja) 車輌の後方認識装置
JP6354804B2 (ja) 視界制御装置
JP6232691B2 (ja) 車両用表示制御装置、車両用表示装置及び車両用表示制御方法
JP2019113809A (ja) ヘッドアップディスプレイ装置
JP2015174643A (ja) 表示制御装置
US5661454A (en) Data display device for a vehicular highway driver
JP6213300B2 (ja) 車両用表示装置
JP3404427B2 (ja) 車両の表示装置
JP2001097116A (ja) 撮像装置の取付構造
JP2004101197A (ja) 携帯型位置情報伝達装置及びナビゲーション方法
JP2004126450A (ja) ヘッドアップディスプレイ
JPH10206789A (ja) 車両用ヘッドマウントディスプレイ装置
JP2006347451A (ja) 視覚情報呈示装置及び視覚情報呈示方法
JP3368614B2 (ja) 頭部装着型表示装置
KR101610169B1 (ko) 헤드업 디스플레이 및 헤드업 디스플레이의 제어방법
JPH0958365A (ja) 道路状況表示装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060707

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061031

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091110

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101110

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101110

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111110

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees