JP3884815B2 - 車両用情報表示装置 - Google Patents

車両用情報表示装置 Download PDF

Info

Publication number
JP3884815B2
JP3884815B2 JP04821997A JP4821997A JP3884815B2 JP 3884815 B2 JP3884815 B2 JP 3884815B2 JP 04821997 A JP04821997 A JP 04821997A JP 4821997 A JP4821997 A JP 4821997A JP 3884815 B2 JP3884815 B2 JP 3884815B2
Authority
JP
Japan
Prior art keywords
information
vehicle
information display
display
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04821997A
Other languages
English (en)
Other versions
JPH10246640A (ja
Inventor
善行 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP04821997A priority Critical patent/JP3884815B2/ja
Publication of JPH10246640A publication Critical patent/JPH10246640A/ja
Application granted granted Critical
Publication of JP3884815B2 publication Critical patent/JP3884815B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/10
    • B60K2360/149

Description

【0001】
【発明の属する技術分野】
この発明は、車両の操縦者(ドライバ)に対して、例えば、車両の進行方向に存在する移動物体等に係る情報を的確に表示して知らせる車両用情報表示装置に関する。
【0002】
【従来の技術】
車両を運転する際、操縦者は、たえず、自車の速度や自車の前後左右に注意し、道路状況、人や車の有無、それらの動き等、操縦に必要な情報を、迅速かつ確実につかむことが必要である。
【0003】
操縦に必要な情報は、操縦者の眼や耳によって認知されるが、その認知のための補助装置として、バックミラーやサイドミラーがあり、また、最近では、いわゆるHUD(headup display)技術を用い、フロントウインドシールド上にスピード(自車速度)等を補助的にデジタル表示することも行われている。
【0004】
車両の進行方向に存在する移動物体等に係る情報を、車両の操縦者に対して知らせる車両用情報表示装置として、特開平6―230132号公報に開示された技術がある。
【0005】
この技術では、操縦者の眼を含む部分に赤外線照明ライトを照射し、赤外線カメラにより操縦者の眼球部を撮影する。その撮影画像から視線方向を検出し、フロントウインドシールド上のその視線方向に対応するエリアに操縦者の観測エリアを設定する。一方、赤外線レーダヘッドを用いて車両周囲の障害物の位置方向を検出し、検出した障害物の位置方向と前記観測エリアの中心との間に警報マークを表示するようにしている。
【0006】
前記公報には、警報マークが操縦者の視線近くに表示されることから障害物の出現を確実に知ることができ、かつ警報マークが観測エリアの中心からどちらの方向に表示されているかによって障害物の方向が示されるから、その障害物を容易に確認することができると記載されている。
【0007】
【発明が解決しようとする課題】
この発明は、車両の進行方向等に存在する物体に係る情報を的確に表示して操縦者に補助的に知らせることを可能とする車両用情報表示装置を提供することを目的とする。
【0008】
また、この発明は、操縦者の周辺視の視力(注意力)を向上することを可能とする車両用情報表示装置を提供することを目的とする。なお、周辺視とは、視力は良いが認識エリア(認識範囲、認識ゾーン)の狭い視軸の近傍に存在する中心視の外側に存在するエリアであって、認識エリアは広いが視力の落ちるエリアをいう。
【0009】
【課題を解決するための手段】
この発明は、車両に搭載される車両用情報表示装置において、
車外の物体を連続的に検出する物体情報検出手段と、
検出した物体の位置に係る情報を情報表示部に表示する情報表示手段と、
前記車両の操縦者の視点位置を検出する視点位置検出手段と、
前記物体情報検出手段と前記情報表示手段と前記視点位置検出手段の各出力情報を取り込み、前記情報表示手段による情報表示を制御する表示制御手段とを備え、
前記表示制御手段は、
前記検出した物体の位置と前記検出した視点位置とを比較して、前記検出した物体の位置が前記検出した視点位置に対して一定範囲外にある場合には、前記情報表示部上物体の方向に前記検出した物体の位置に係る情報を表示させ、前記検出した物体が前記検出した視点位置に対して一定範囲内にある場合には、前記情報表示部に前記検出した物体の位置に係る情報を表示させないように制御することを特徴とする。
【0010】
この発明によれば、検出した物体の位置が検出した視点位置の一定範囲外にある場合には、検出した物体に係る情報を情報表示部に表示し、検出した物体が検出した視点位置の一定範囲内にある場合には、検出した物体に係る情報を情報表示部に表示しないように制御している。
【0011】
すなわち、検出した物体が検出した視点位置の一定範囲内にある場合には、操縦者の注視力の高い(視力の良い)視野に検出した物体が入っているので、検出した物体に係る情報を表示しない。一方、検出した物体が検出した視点位置の一定範囲外にある場合には、操縦者の注視力の比較的に低い(視力の比較的に悪い)視野に検出した物体が入っているので、検出した物体に係る情報を表示するようにする。
【0012】
これにより車両の進行方向等に存在する物体に係る情報を的確に表示して操縦者に補助的に知らせることができる。
【0013】
検出した物体の位置に係る情報の表示は、点滅表示とすることで、操縦者の注視力の比較的低い視野であっても、操縦者に補助的に知らせることができる。
【0014】
また、前記一定範囲内を、可変可能とすることで、個々の操縦者に対応した的確な範囲とすることができる。
【0015】
さらに、前記一定範囲内を、操縦者の中心視に対応する範囲とし、前記一定範囲外を操縦者の周辺視に対応する範囲とすることで、操縦者に対応した的確な範囲とすることができる。
【0016】
【発明の実施の形態】
以下、この発明の一実施の形態について図面を参照して説明する。
【0017】
図1は、車両としての自動車に搭載されたこの実施の形態に係る車両用情報表示装置10の構成を示している。
【0018】
この車両用情報表示装置10は、物体情報検出手段12と、車両情報検出手段14と、外界情報検出手段16と、視線検出手段(視点位置検出手段)19との4つの検出手段を有している。
【0019】
また、車両用情報表示装置10は、物体情報検出手段12と車両情報検出手段14と外界情報検出手段16から出力される情報に基づいて検出した物体に係る情報を表す所定の映像信号を生成する表示情報生成手段18と、生成された映像信号を前記視線検出手段19から出力される出力情報およびマスク範囲設定手段26の設定値に応じて出力するかどうか(マスクするかどうか)等を決定する映像マスク手段としても機能する映像制御手段22と、映像制御手段22から出力された映像信号をディスプレイとしてのフロントウインドシールド上に映像として表示する情報表示手段24とを備える。
【0020】
前記映像制御手段22と表示情報生成手段18とは、表示制御手段20を構成する。
【0021】
前記物体情報検出手段12としては、例えば、ステレオカメラを利用することができる。ステレオカメラを利用する物体情報検出手段12は、例えば、ダッシュボード上の左右に、いわゆる基線長隔てて左右のビデオカメラを設置し、車両の進行方向前方の物体を撮影する。そして、この左右のカメラの出力を各々画像メモリに記憶し、対象とする移動物体の各々の画像メモリ上の対応領域に応じて三角測量法(両眼立体視)に基づき、移動物体の当該車両位置を基準とする相対位置を連続的に演算して移動物体情報を得、これを表示情報生成手段18に出力する。
【0022】
なお、物体情報検出手段12としては、ステレオカメラに代替して、例えば、赤外線レーダを使用することも可能である。赤外線レーダを使用することにより、人等の赤外線発光体の位置情報のみを検出することができる。
【0023】
前記車両情報検出手段14としては、車輪の回転を検出するパルスエンコーダおよび車軸上に取り付けたヨーレートセンサ等を用いることができる。パルスエンコーダの出力を単位時間当たり検出することで、車両速度を検出することができ、ヨーレートセンサの出力であるヨーレート(角速度)を積分することで、車両の進行方向を検出することができる。これらの車両情報は表示情報生成手段18に供給される。
【0024】
前記外界情報検出手段16は、外界の光量を検出し、昼夜の区別を判別する情報を表示情報生成手段18に供給する。外界情報検出手段16は、物体情報検出手段12がステレオカメラを利用した装置であれば、その検出露光量から昼夜を判定することができる。また、ステレオカメラを利用していない場合には、一般的な光センサを用いることができる。
【0025】
視線検出手段19は、情報表示手段24がHUD(headup display)を利用するものであれば、図2に示すように、操縦者32の頭部(頭ともいう。)33を含む部分を撮影するために車両28のダッシュボード30上に配置される視線計測カメラ34と、検出した物体に係る情報をフロントウインドシールド36上の点線で囲んだ情報提示エリア38内に映像として表示するプロジェクター40を含んで構成される。
【0026】
なお、情報表示手段24がHMD(headmount display)を利用するものであれば、図3A、図3Bに示すように、操縦者32の頭部33に対して着脱可能な透過型液晶表示装置42と、この透過型液晶表示装置42の支持体部44に一体的に取り付けられた視線計測カメラ46と頭部位置方向センサ48と、この透過型液晶表示装置42の前方に、これと一体的に配置されたハーフミラー50とを含んで構成される。視線計測カメラ46は、ハーフミラー50で反射された眼35の情報を計測して、視線方向(視点位置)を検出する。検出された視線方向は、頭部位置方向センサ48により校正される。すなわち、操縦者32の頭部33の向いている方向を基準に眼35の向いている方向(視軸)からの視界(視野)範囲を算出することができる。なお、視界(視野)範囲とは、写真レンズの場合の画角に対応する。
【0027】
この図3例の情報表示手段24においては、検出した物体に係る情報が透過型液晶表示装置42の情報提示エリア38内に映像として表示される。
【0028】
なお、頭部位置方向センサ48は、図2に示したHUDを利用する情報表示手段24においては、視線計測カメラ34により頭部33と眼35を一緒に撮影することができるので不要である。
【0029】
マスク範囲設定手段26は、ボリュームやアップダウンスイッチにより構成され、視線検出手段19により検出された操縦者32の視点位置(視点方位)φと物体情報検出手段12により検出された移動物体の方位θとの差の絶対値で規定される後述するマスク範囲(一定範囲)を可変することができる。なお、マスク範囲は、デフォルト値としても表示制御手段20中の図示していない記憶手段に記憶されている。
【0030】
前記した表示制御手段20等、上記各手段には、制御、記憶、判断手段として機能するマイクロコンピュータが必要に応じて搭載されている。
【0031】
次に上記図1例の動作について、図4に示すフローチャートを参照して説明する。制御主体は、表示制御手段20である。
【0032】
まず、表示制御手段20を構成する表示情報生成手段18は、車両情報検出手段14から自車の車速および進行方向等の車両情報を取り込むとともに、物体情報検出手段12から移動物体の移動方向、移動速度等の物体情報を取り込み、さらに、外界情報検出手段16から光量等の外界情報を取り込む(ステップS1)。このうち、車両情報と物体情報は、きわめて短い一定時間毎、例えば、0.01秒毎に取り込まれる。
【0033】
次に、表示情報生成手段18は、取り込んだ物体情報と車両情報とから、所定時間後の物体と車両(自車)の予測位置を計算し、その予測位置から、その物体(他の車両、人、その他の移動物体)が当該車両(自車ともいう。)28に対して障害物となり得るかどうかを判断する(ステップS2)。
【0034】
ステップS2の判定が肯定的となった場合、表示情報生成手段18は、障害物と判定した物体に対して、情報表示手段24を構成するフロントウインドシールド36上に表示しようとする重合映像(輝点映像または輝点の点滅映像)信号を発生して映像制御手段22に供給する。
【0035】
映像制御手段22は、ステップS2で計算した、現時点における自車28の進行方向を基準とする移動物体の方位情報である物体の方位θ(°)を取り込む(ステップS3)とともに、視線検出手段19から出力される視線情報より自車28の進行方向を基準とする視線方位情報を視線方位(視点位置、視点方位、視軸方向ともいう。)φ(°)として取り込む(ステップS4)。
【0036】
そして、映像制御手段22は、次の(1)式に示す、物体の方位θと視線方位(視軸方向)φとの差の絶対値が一定範囲(閾値)α(°)を超えているかどうかを判定する(ステップS5)。
【0037】
|θ−φ|>α …(1)
一定範囲αは、例えば、α=5°に選択する。この一定範囲は、人、この場合、操縦者32の視覚の特性に応じて設定することが好ましいが、一般的に、図5に示すように、人の視覚はおおまかに視軸方向の周囲の中心視中心視範囲または中心視ゾーンともいう。60とその中心視の外側の周辺視周辺視範囲または周辺視ゾーンともいう。61、62とに分けることができ、例えば、中心視60を10°(視線方位φに対して±5°)としたとき、周辺視61、62は、視線方位φに対して+5°〜+90°、−5°〜−90°程度である。中心視60は、視力は良いが認識エリアが狭く、一方、周辺視61、62は、視力は中心視60に比較して良くないが、認識エリアが広いという特性を有する。図5に示しているように、ここでは、一定範囲±αを中心視ゾーン60に設定している。
【0038】
ステップS5の判定が成立するとき、すなわち、物体64の方位θ(車両28の進行方向の方位を基準の0°としている。)が視線方位φよりもα=5°以上広い場合には、操縦者32は物体64を認識していない可能性があるので、図5に示すように、物体64の方位θの方向であって、物体64に重なって見えるように輝点66の情報表示を情報表示手段24上(フロントウインドシールド36または透過型液晶表示装置42の各々情報提示エリア38上)に行う(ステップS6)。この輝点表示は、注意をより喚起するために点滅輝点表示や、所定のカラー表示とすることが好ましい。
【0039】
この輝点表示を操縦者32が確認した場合、操縦者32は、輝点66が表示されている方向、すなわち物体64の方位θに視線方位φを向ける(φ≒θ)。このとき、ステップS1〜ステップS5までの処理が連続的に行われており、操縦者32の視線方位φが(1)式を満足しないことになったとき、換言すれば、図6に示すように、物体64が操縦者32の中心視ゾーン60に入った場合には、ステップS5の判定が成立しなくなるので、輝点66の表示を行わないように、表示をマスク(抑制)する(ステップS7:図6参照)。
【0040】
以降、ステップS1〜ステップS7の処理を繰り返す。
【0041】
このように上述の実施の形態によれば、基本的には、物体情報検出手段12により車外の移動物体の方位θを連続的に検出する。一方、視線検出手段19により操縦者32の視線方位φを検出する。この方位の差を中心視60に対応する一定値±αと比較し、この一定値±αの範囲外である場合には、検出している物体64の方向に、物体64に重畳するように輝点66を表示し、操縦者32が物体64の方向(輝点66の方向)θを向いたときには、輝点66の表示をマスクする(表示しない)ようにしている。
【0042】
このように周辺視61、62内の移動物体64の方向に輝点66を重合(重畳)表示して制御することにより、視力の弱い周辺視61、62の視力(認識力)を結果的に高めることができる。
【0043】
なお、この発明は、上述の実施の形態に限らず、この発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。
【0044】
【発明の効果】
以上説明したように、この発明によれば、車両の進行方向等に存在する、例えば、障害物となる可能性のある物体に係る情報を的確に表示して操縦者に補助的に知らせることができる。
【0045】
また、この発明によれば、障害物となる可能性のある物体が操縦者の周辺視ゾーンに入った場合には、その物体の方向に対して輝点を情報表示部上に重畳して表示するようにしているので、周辺視ゾーンに存在する物体を、早めに認識することができるという効果が達成される。
【図面の簡単な説明】
【図1】この発明の一実施の形態の構成を示すブロック図である。
【図2】HUD方式の表示装置に図1例を適用した例を示す線図である。
【図3】HMD方式の表示装置に図1例を適用した例を示す線図であって、
図3Aは正面図、図3Bは側面図である。
【図4】図1例の動作説明に供されるフローチャートである。
【図5】操縦者が、周辺視で見ている物体の方向に輝点を重畳して表示している状態を示す線図である。
【図6】操縦者が、物体を中心視で見るようになった場合の説明に供される線図である。
【符号の説明】
10…車両用情報表示装置 12…物体情報検出手段
18…表示情報生成手段 19…視線検出手段
20…表示制御手段 22…映像マスク手段
24…情報表示手段 28…車両(自車)
32…操縦者(ドライバ) 33…頭部(頭)
34、46…視線計測カメラ 35…眼
38…情報提示エリア 40…プロジェクター
42…透過型液晶表示装置 50…ハーフミラー
60…中心視ゾーン 61、62…周辺視ゾーン
64…物体 66…輝点
θ…物体方位 φ…視線方位

Claims (3)

  1. 車両に搭載される車両用情報表示装置において、
    車外の物体を連続的に検出する物体情報検出手段と、
    検出した物体の位置に係る情報を情報表示部に表示する情報表示手段と、
    前記車両の操縦者の視点位置を検出する視点位置検出手段と、
    前記物体情報検出手段と前記情報表示手段と前記視点位置検出手段の各出力情報を取り込み、前記情報表示手段による情報表示を制御する表示制御手段とを備え、
    前記表示制御手段は、
    前記検出した物体の位置と前記検出した視点位置とを比較して、前記検出した物体の位置が前記検出した視点位置に対して一定範囲外にある場合には、前記情報表示部上物体の方向に前記検出した物体の位置に係る情報を表示させ、前記検出した物体が前記検出した視点位置に対して一定範囲内にある場合には、前記情報表示部に前記検出した物体の位置に係る情報を表示させないように制御し、
    さらに、前記一定範囲内を、可変可能に構成することを特徴とする車両用情報表示装置。
  2. 請求項1記載の装置において、前記検出した物体の位置に係る情報の表示は、点滅表示とすることを特徴とする車両用情報表示装置。
  3. 請求項1記載の装置において、前記一定範囲内は前記操縦者の中心視に対応する範囲であり、前記一定範囲外は前記操縦者の周辺視に対応する範囲であることを特徴とする車両用情報表示装置。
JP04821997A 1997-03-03 1997-03-03 車両用情報表示装置 Expired - Fee Related JP3884815B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04821997A JP3884815B2 (ja) 1997-03-03 1997-03-03 車両用情報表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04821997A JP3884815B2 (ja) 1997-03-03 1997-03-03 車両用情報表示装置

Publications (2)

Publication Number Publication Date
JPH10246640A JPH10246640A (ja) 1998-09-14
JP3884815B2 true JP3884815B2 (ja) 2007-02-21

Family

ID=12797313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04821997A Expired - Fee Related JP3884815B2 (ja) 1997-03-03 1997-03-03 車両用情報表示装置

Country Status (1)

Country Link
JP (1) JP3884815B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003132349A (ja) * 2001-10-24 2003-05-09 Matsushita Electric Ind Co Ltd 描画装置
JP2004030212A (ja) * 2002-06-25 2004-01-29 Toyota Central Res & Dev Lab Inc 車両用情報提供装置
JP3972366B2 (ja) * 2003-09-26 2007-09-05 マツダ株式会社 車両用情報提供装置
WO2005055189A1 (en) * 2003-12-01 2005-06-16 Volvo Technology Corporation Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position
JP4026145B2 (ja) * 2004-01-20 2007-12-26 マツダ株式会社 車両用画像表示装置
JP4649400B2 (ja) * 2004-05-11 2011-03-09 エルビット・システムズ・リミテッド オーディオビジュアル通信向上方法及びシステム
JP4321450B2 (ja) * 2004-07-26 2009-08-26 株式会社デンソー 視覚認識支援装置
JP2006267887A (ja) * 2005-03-25 2006-10-05 Konica Minolta Photo Imaging Inc 映像認識手段を備えたヘッドマウントディスプレイ
CN101512617B (zh) * 2006-09-04 2012-02-01 松下电器产业株式会社 行驶信息提供装置
JP5157845B2 (ja) * 2008-11-21 2013-03-06 トヨタ自動車株式会社 視認支援装置
JP6388205B2 (ja) * 2014-02-25 2018-09-12 パナソニックIpマネジメント株式会社 表示制御プログラム、表示制御装置、および表示装置
JP6252304B2 (ja) * 2014-03-28 2017-12-27 株式会社デンソー 車両用認知通知装置、車両用認知通知システム
US9947215B2 (en) * 2014-09-26 2018-04-17 Harman International Industries, Incorporated Pedestrian information system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230132A (ja) * 1993-02-03 1994-08-19 Nissan Motor Co Ltd 車両用障害物検出装置
JP2929927B2 (ja) * 1993-12-14 1999-08-03 日産自動車株式会社 走行情報提供装置
JP3626229B2 (ja) * 1994-10-13 2005-03-02 本田技研工業株式会社 車両用運転支援システム
JP3559083B2 (ja) * 1994-12-26 2004-08-25 本田技研工業株式会社 運転支援装置

Also Published As

Publication number Publication date
JPH10246640A (ja) 1998-09-14

Similar Documents

Publication Publication Date Title
JP6361986B2 (ja) 車両用表示装置
JP4702437B2 (ja) 車両用表示装置
JP3855439B2 (ja) 夜間運転視界支援装置
US6327522B1 (en) Display apparatus for vehicle
JP4412365B2 (ja) 運転支援方法及び運転支援装置
EP3200048A2 (en) Image display apparatus
JP3884815B2 (ja) 車両用情報表示装置
US8537221B2 (en) Lane change control system
JP2006327527A (ja) 車両の走行安全装置
JP3228086B2 (ja) 運転操作補助装置
JPH07257228A (ja) 車両用表示装置
US20150124097A1 (en) Optical reproduction and detection system in a vehicle
JP2008018760A (ja) 運転支援装置
JP3877116B2 (ja) 車両の表示装置
US5661454A (en) Data display device for a vehicular highway driver
US10836311B2 (en) Information-presenting device
JP4337130B2 (ja) 運転装置の制御装置
JP2007008382A (ja) 視覚情報呈示装置及び視覚情報呈示方法
JP2017056909A (ja) 車両用画像表示装置
KR20150139540A (ko) 방향 오리엔테이션 네비게이션 시스템을 구비하는 시각적 포지셔닝
JP4862775B2 (ja) 運転支援方法及び運転支援装置
JP5119675B2 (ja) 車両周辺監視装置
JP2009098501A (ja) 視覚情報呈示装置及び視覚情報呈示方法
JP2007133644A (ja) 歩行者認識装置
JP2000194997A (ja) 車両の障害物警報装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061120

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091124

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees