JP4946661B2 - 車両用警報表示装置 - Google Patents

車両用警報表示装置 Download PDF

Info

Publication number
JP4946661B2
JP4946661B2 JP2007169430A JP2007169430A JP4946661B2 JP 4946661 B2 JP4946661 B2 JP 4946661B2 JP 2007169430 A JP2007169430 A JP 2007169430A JP 2007169430 A JP2007169430 A JP 2007169430A JP 4946661 B2 JP4946661 B2 JP 4946661B2
Authority
JP
Japan
Prior art keywords
driver
vehicle
approaching
host vehicle
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007169430A
Other languages
English (en)
Other versions
JP2009009320A (ja
Inventor
彰 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2007169430A priority Critical patent/JP4946661B2/ja
Publication of JP2009009320A publication Critical patent/JP2009009320A/ja
Application granted granted Critical
Publication of JP4946661B2 publication Critical patent/JP4946661B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、注意喚起情報を運転者に報知するための車両用警報表示装置に関するものである。
従来の車両用警報表示装置としては、例えば特許文献1に記載されているように、注意喚起情報に関する詳細情報を表示するための表示部を有するモニタがインストルメントパネルに設けられているものが知られている。
特開2006−15939号公報
ところで、自車両の周囲から他車両等が自車両に近づくような状況下では、運転者は、直ぐにでも周囲の実環境を把握して、衝突回避等の判断を行う必要がある。しかし、上記従来技術では、運転者に表示系を見させる事だけを主眼としており、運転者に対して十分な注意喚起を促すための情報提供にはなっていない。
本発明の目的は、自車両に接近する他車両等が存在するときに、運転者に対して十分な注意喚起を促すことができる車両用警報表示装置を提供することである。
本発明の車両用警報表示装置は、運転者の視線をバックミラーに誘導するための第1表示部と、運転者の視線を左サイドミラーに誘導するための第2表示部と、運転者の視線を右サイドミラーに誘導するための第3表示部と、自車両に接近する対象物を検出する接近検出手段と、接近検出手段により自車両に接近する対象物が検出されたときに、第1〜第3表示部のうち運転者の視線を自車両に接近する対象物の存在方向に対応する方向に誘導させる表示部を点灯または点滅させるように制御する制御手段とを備え、第1表示部は、バックミラー自体またはバックミラーの近傍に設けられ、第2表示部は、左サイドミラー自体または左サイドミラーの近傍に設けられ、第3表示部は、右サイドミラー自体または右サイドミラーの近傍に設けられ、制御手段は、接近検出手段により自車両に接近する複数の対象物が検出されたときに、自車両に接近する各対象物の存在方向に対応するベクトルの和を仮想接近物として求め、第1〜第3表示部のうち運転者の視線を仮想接近物の存在方向に対応する方向に誘導させる表示部を点灯または点滅させることを特徴とするものである。
このような本発明の車両用警報表示装置においては、自車両に接近する他車両等の対象物が検出されると、第1〜第3表示部のうち運転者の視線を他車両等の存在方向に対応する方向に誘導させる表示部を点灯または点滅させるように制御することで、自車両の運転者が認知可能な有効視野範囲内において誘目刺激を運転者に与えることができる。例えば、自車両の後方から他車両等が自車両に接近するときには、運転者の視線をバックミラーに誘導するための第1表示部を点灯または点滅させることで、運転者は当該他車両等をバックミラーで確認するようになる。また、自車両の左後側方から他車両等が自車両に接近するときには、運転者の視線を左サイドミラーに誘導するための第2表示部を点灯または点滅させることで、運転者は当該他車両等を左サイドミラーで確認するようになる。また、自車両の右後側方から他車両等が自車両に接近するときには、運転者の視線を右サイドミラーに誘導するための第3表示部を点灯または点滅させることで、運転者は当該他車両等を左サイドミラーで確認するようになる。従って、運転者に対して十分な注意喚起を促すことができる。
また、第1表示部は、バックミラー自体またはバックミラーの近傍に設けられ、第2表示部は、左サイドミラー自体または左サイドミラーの近傍に設けられ、第3表示部は、右サイドミラー自体または右サイドミラーの近傍に設けられている。この場合には、第1表示部が点灯または点滅したときに、より確実に運転者にバックミラーで接近対象物を確認させることができる。また、第2表示部が点灯または点滅したときに、より確実に運転者に左サイドミラーで接近対象物を確認させることができる。また、第3表示部が点灯または点滅したときに、より確実に運転者に右サイドミラーで接近対象物を確認させることができる。
さらに、制御手段は、接近検出手段により自車両に接近する複数の対象物が検出されたときに、自車両に接近する各対象物の存在方向に対応するベクトルの和を仮想接近物として求め、第1〜第3表示部のうち運転者の視線を仮想接近物の存在方向に対応する方向に誘導させる表示部を点灯または点滅させるように制御する。この場合には、例えば運転者の有効視野範囲内において複数の接近対象物を同時に確認することができる。

本発明によれば、自車両に接近する他車両等が存在するときに、運転者に対して十分な注意喚起を促すことができる。これにより、自車両に接近する他車両等の存在の認知遅れを防止し、衝突回避等の判断を直ちに行うことが可能となる。
以下、本発明に係わる車両用警報表示装置の好適な実施形態について、図面を参照して詳細に説明する。
図1は、本発明に係わる車両用警報表示装置の一実施形態を示す概略構成図である。同図において、本実施形態の車両用警報表示装置1は、自車両の運転者の顔を撮像して顔画像を取得する視線検知カメラ2と、自車両の走行速度を検出する車速センサ3と、自車両のステアリング操舵角度を検出する操舵角センサ4と、自車両のヨーレートを検出するヨーレートセンサ5と、自車両の周囲に存在する他車両、二輪車及び障害物等との間の距離を検出する周囲測距センサ6とを備えている。周囲測距センサ6としては、例えばミリ波レーダやカメラ等が用いられる。
また、車両用警報表示装置1は、視線認識ECU(Electronic Control Unit)7と、衝突判定ECU8と、警報処理ECU9と、車両制御ECU10とを備えている。これらのECU7〜10は、CPU、ROMやPAM等のメモリ、電源回路、入出力回路等により構成されている。
視線認識ECU7は、視線検知カメラ2により取得された運転者の顔画像を入力して画像処理を行い、運転者の視線方向(視線角度)を認識する。実際の運転中には、運転者は前方の先行車両、停止車両、歩行者及び信号など注意すべき実対象を絶えず見ることとなる。このため、運転者の視線角度としては、図2に示すように、上下方向の視線角度(上下視線幅)βと左右方向の視線角度(左右視線幅)αとが存在する。これらの視線角度α,βは、運転者11が車両前方をまっすぐ見ている場合の視線方向Aを基準としている。なお、図2(a)に示す視線方向Bは、運転者11がメータ12を見ている時の視線方向である。
衝突判定ECU8は、周囲測距センサ6の検出値に基づいて、自車両の周囲から自車両に近づく他車両及び二輪車等が存在しているかどうかを判断し、更に車速センサ3、操舵角センサ4及びヨーレートセンサ5等に基づいて、自車両と他車両等とが衝突する可能性があるかどうかを判定する。このとき、衝突判定ECU8は、自車両と他車両等とが衝突する可能性があると判定されたときに、衝突に至るまでの時間であるTTC(Time to Collision)を算出する。
警報処理ECU9は、衝突判定ECU8により自車両に近づく他車両等が存在していると判断されたとき、自車両と他車両等とが衝突する可能性があると判定されたときに、警報を発するように表示器13、ブザー14及び振動子15を制御することにより、運転者に対して注意喚起を促す。
警報処理ECU9は、上記のTTCに応じた複数の警報区分(警報フェーズ)を設定している。TTCに応じた警報フェーズの一例を図3に示す。図3では、図示左から右に向かうにつれて、優先度(緊急度+重大度)が高まり、衝突に近づくことを示している。警報フェーズは、アドバイザリ(情報提供)フェーズ、コーション(注意喚起)フェーズ、ワーニング(警報)フェーズという3段階に分類されている。他車両等が自車両に近づくような状況は、警報フェーズとしてはアドバイザリフェーズに相当する。アドバイザリフェーズでは、視覚表示がメインとされ、コーションフェーズでは、視覚表示と共にブザー音が発せられ、ワーニングフェーズでは、ブザー音が必須となる。なお、TTCが例えば4秒になると、アドバイザリフェーズからコーションフェーズに切り換わり、TTCが例えば2秒になると、コーションフェーズからワーニングフェーズに切り換わる。
車両制御ECU10は、衝突判定ECU9により自車両と他車両等とが衝突する可能性があると判定されたときに、その衝突を回避するように電動パワーステアリング(EPS)16を制御する。
表示器13は、例えばフロントガラスに情報を投影して表示させるヘッドアップディスプレイで構成されている。表示器13は、図4に示すように、運転者に対して注意を向けさせる方向を矢印表示するものである。具体的には、表示器13は、運転者の視線をバックミラー20(図6参照)に誘導するためにバックミラー方向(図示上方)への矢印表示を示すLED17と、運転者の視線を左サイドミラー21(図6参照)に誘導するために左サイドミラー方向(図示左方)への矢印表示を示すLED18と、運転者の視線を右サイドミラー22(図6参照)に誘導するために右サイドミラー方向(図示右方)への矢印表示を示すLED19とを有している。なお、そのようなLED17〜19を有する表示器13を設ける部位としては、メータであっても良い。
警報音を発するブザー14は、例えばメータ内に設けられている。振動子15は、運転者に警報振動を伝えるものであり、運転者が着座する運転シートやステアリングに設けられている。
図5は、警報処理ECU9により実行される警報処理のうち自車両に接近する他車両等の有無情報を報知する処理手順の詳細を示すフローチャートである。なお、本処理手順は、図3に示す上記アドバイザリフェーズにおいて実行されるものである。
同図において、まず周囲測距センサ6の検出値に基づいて、自車両に接近する他車両(接近車両)等が存在するかどうかを判断する(手順S101)。
ここで、接近車両としては、図6に示すように、自車両の前方から近づく他車両P、自車両の後方から近づく他車両P、自車両の左後側方から近づく隣接車線の他車両P、自車両の右後側方から近づく隣接車線の他車両P等がある。接近車両Pについては、前方を向いている運転者11が目視で直接確認することができるが、接近車両Pについては、バックミラー20を見ないと確認することはできず、接近車両P,Pについては、死角を除き、それぞれ左サイドミラー21及び右サイドミラー22を見ないと確認することはできない。
手順S101で接近車両等が存在すると判断されたときは、引き続いて視線検知カメラ2により取得された運転者の顔画像に基づいて、運転者が前方を向かないで脇見をしているかどうかを判断する(手順S102)。運転者が脇見をしていると判断されたときは、警報音を鳴らすようにブザー14を制御し(手順S103)、運転者が脇見をしていないと判断されたときは、上記の手順S103は実行しない。
続いて、表示器13のLED17〜19のうち接近車両等の存在方向(位置)に対応するLEDを点滅させる(手順S104)。具体的には、自車両の後方から近づく接近車両等が存在すると判定されたときは、バックミラー方向への矢印表示を示すLED17を点滅させ、自車両の左後側方から近づく接近車両等が存在すると判定されたときは、左サイドミラー方向への矢印表示を示すLED18を点滅させ、自車両の右後側方から近づく接近車両等が存在すると判定されたときは、右サイドミラー方向への矢印表示を示すLED19を点滅させる。このとき、自車両に近づく接近車両等が複数存在するときは、その接近車両等の存在方向に対応する全てのLEDを点滅させるか、最も衝突する可能性の高い方向のLEDのみを点滅させる。
続いて、接近車両等の存在方向に対応するLEDの点滅時間(点灯/消灯の繰り返し継続時間)が所定時間(例えば2〜3秒)に達したかどうかを判断し(手順S105)、そのLEDの点滅時間が所定時間に達したときは、当該LEDの点滅を停止させる(手順S106)。
このように本実施形態にあっては、自車両に対する接近車両等が存在するときには、LED17〜19のうち接近車両等の方向(位置)に対応するLEDを点滅させるので、誘目特性の基本原理によって運転者の視線が当該LEDに誘導されるようになる。誘目特性とは、動いているものや目立つもの(例えば明暗の変化が大きいもの、色の変化が大きなもの、サイズが大きなもの等)に対し、無意識のうちに人の目が焦点を当てて見ようとする本能的な特性をいう。
このような点滅しているLEDにより誘目刺激が運転者に与えられるため、いやおう無しに運転者は点滅中のLEDを見るようになる。従って、運転者は、図6に示すように、LEDの表示に応じてバックミラー20及びサイドミラー21,22による安全確認を行うようになる。具体的には、LED17が点滅しているときは、運転者の視線はバックミラー20に誘導されるため、バックミラー20によって自車両の後方からの他車両等の接近を知ることができる。LED18が点滅しているときは、運転者の視線は左サイドミラー21に誘導されるため、左サイドミラー21によって自車両の左後側方からの他車両等の接近を知ることができる。LED19が点滅しているときは、運転者の視線は右サイドミラー22に誘導されるため、右サイドミラー22によって自車両の右後側方からの他車両等の接近を知ることができる。
このとき、自車両に対する接近車両等が存在する際に運転者が脇見運転を行っている場合には、脇見警報としてのブザー音を発生させるので、運転者は、そのブザー音により注意喚起されて、危険を感知して脇見を止め、前方を向いて運転するようになる。これにより、LED17〜19は運転者の有効視野範囲内に入るようになるため、LED17〜19の点滅状態の確認を確実に行うことができる。
また、運転者がLED17〜19の点滅状態を長い時間注視していると、これ自体が脇見を誘発する可能性があるが、LED17〜19の点滅時間は所定時間内に抑えられるので、運転者の脇見運転の誘発を防止することができる。
以上により、自車両に接近する他車両等が存在するときに、運転者が最も認知すべき対象に注意を向けさせ、運転者に対して十分な注意喚起を促すことができる。従って、自車両に接近する他車両等の知覚・認知遅れを防止し、衝突回避を行うための素早い対処を実施することが可能となる。
なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態では、運転者に対して注意を向けさせる方向を矢印表示するLED17〜19を有する表示器13(図4参照)を設けたが、そのような表示器13の代わりに、図7に示すように、バックミラー20自体、左サイドミラー21自体及び右サイドミラー22自体にLED30〜32をそれぞれ設けるようにしても良い。この場合、自車両の後方から近づく他車両等が存在するときは、LED30を点滅させ、自車両の左後側方から近づく他車両等が存在するときは、LED31を点滅させ、自車両の右後側方から近づく他車両等が存在するときは、LED32を点滅させる。なお、LED30〜32は、それぞれバックミラー20、左サイドミラー21及び右サイドミラー22の近傍位置に設けても良い。
また、上記実施形態では、LEDを点滅表示させるようにしたが、上述した誘目特性の基本原理を満足させるものであれば、LEDの色や輝度等を変化させるようにLEDを点灯させても良い。また、上記のような矢印表示の代わりに、例えば「○○注意」等の文字や図形等を表示させても良い。
また、例えば図8に示すように、自車両に向かって2台の他車両Q,Qが接近する場合に、これらの接近車両Q,Qの存在方向に対応する2つのベクトルの和を仮想接近物Qとして求め、この仮想接近物Qに対して視線誘導し、運転者の有効視野範囲内に接近車両Q,Qを捉えさせるように何らかの警報表示を行っても良い。この場合には、運転者の有効視野範囲内において接近車両Q,Qをそれぞれ目視及び左サイドミラー21で同時に確認することができる。なお、自車両に向かって3台以上の他車両が接近する場合には、各接近車両の存在方向に対応する複数のベクトルの和を仮想接近物として求めればよい。
また、上記実施形態では、LEDの点滅時間が所定時間を超えると、LEDの点滅を停止させるようにしたが、特にこれに限られず、例えば視線検知カメラ2で取得した運転者の顔画像に基づいて運転者がLEDを注視している時間を検出し、運転者によるLEDの注視時間が所定値を越えると、LEDの点滅を停止させるようにしても良い。
本発明に係わる車両用警報表示装置の一実施形態を示す概略構成図である。 運転者の視線方向(視線角度)を示す図である。 TTCに応じた警報フェーズの一例を示す図である。 図1に示した表示器の一例を示す概略図である。 図1に示した警報処理ECUにより実行される警報処理のうち自車両に接近する他車両等の有無情報を報知する処理手順の詳細を示すフローチャートである。 自車両に接近する他車両及びその確認手段を示す図である。 図1に示した表示器の変形例を示す概略図である。 自車両に接近する他車両等が存在する場合における他の警報表示を示す図である。
符号の説明
1…車両用警報表示装置、6…周囲測距センサ(接近検出手段)、8…衝突判定ECU(接近検出手段)、9…警報処理ECU(制御手段)、13…表示器、17…LED(第1表示部)、18…LED(第2表示部)、19…LED(第3表示部)、20…バックミラー、21…左サイドミラー、22…右サイドミラー、30…LED(第1表示部)、31…LED(第2表示部)、32…LED(第3表示部)、P〜P…他車両(対象物)。

Claims (1)

  1. 運転者の視線をバックミラーに誘導するための第1表示部と、
    運転者の視線を左サイドミラーに誘導するための第2表示部と、
    運転者の視線を右サイドミラーに誘導するための第3表示部と、
    前記自車両に接近する対象物を検出する接近検出手段と、
    前記接近検出手段により前記自車両に接近する対象物が検出されたときに、前記第1〜第3表示部のうち前記運転者の視線を前記自車両に接近する対象物の存在方向に対応する方向に誘導させる表示部を点灯または点滅させるように制御する制御手段とを備え
    前記第1表示部は、前記バックミラー自体または前記バックミラーの近傍に設けられ、
    前記第2表示部は、前記左サイドミラー自体または前記左サイドミラーの近傍に設けられ、
    前記第3表示部は、前記右サイドミラー自体または前記右サイドミラーの近傍に設けられ、
    前記制御手段は、前記接近検出手段により前記自車両に接近する複数の対象物が検出されたときに、前記自車両に接近する各対象物の存在方向に対応するベクトルの和を仮想接近物として求め、前記第1〜第3表示部のうち前記運転者の視線を前記仮想接近物の存在方向に対応する方向に誘導させる表示部を点灯または点滅させるように制御することを特徴とする車両用警報表示装置。
JP2007169430A 2007-06-27 2007-06-27 車両用警報表示装置 Active JP4946661B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007169430A JP4946661B2 (ja) 2007-06-27 2007-06-27 車両用警報表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007169430A JP4946661B2 (ja) 2007-06-27 2007-06-27 車両用警報表示装置

Publications (2)

Publication Number Publication Date
JP2009009320A JP2009009320A (ja) 2009-01-15
JP4946661B2 true JP4946661B2 (ja) 2012-06-06

Family

ID=40324349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007169430A Active JP4946661B2 (ja) 2007-06-27 2007-06-27 車両用警報表示装置

Country Status (1)

Country Link
JP (1) JP4946661B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012137332A1 (ja) 2011-04-07 2012-10-11 パイオニア株式会社 移動体の周囲状況検知システム
DE102011077384A1 (de) 2011-06-10 2012-12-13 Robert Bosch Gmbh Vorrichtung und Verfahren zum Warnen eines Fahrers eines Kraftfahrzeugs
JP5927784B2 (ja) * 2011-06-13 2016-06-01 日産自動車株式会社 車両用障害物警告装置
WO2014109030A1 (ja) * 2013-01-10 2014-07-17 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP6217919B2 (ja) * 2014-01-27 2017-10-25 株式会社デンソー 車両運転評価システム
JP6344105B2 (ja) * 2014-07-16 2018-06-20 株式会社デンソーアイティーラボラトリ 車両用警告システム
CN104442602B (zh) * 2014-10-27 2017-08-04 合肥星服信息科技有限责任公司 一种精确显示报警源的汽车雷达装置
TWI596580B (zh) * 2014-11-26 2017-08-21 Metal Ind Res And Dev Centre Obstacle warning system and its operation method
JP6488989B2 (ja) * 2015-11-04 2019-03-27 株式会社デンソー 車両用表示装置
WO2018168531A1 (ja) * 2017-03-13 2018-09-20 マクセル株式会社 ヘッドアップディスプレイ装置
WO2018220774A1 (ja) * 2017-05-31 2018-12-06 富士通株式会社 運転支援装置、運転支援システムおよび運転支援方法
JP2020055348A (ja) * 2018-09-28 2020-04-09 本田技研工業株式会社 エージェント装置、エージェント制御方法、およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291689A (ja) * 2002-04-05 2003-10-15 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 車両用情報表示装置
JP2004185105A (ja) * 2002-11-29 2004-07-02 Nissan Motor Co Ltd 障害物報知装置
JP2004256033A (ja) * 2003-02-26 2004-09-16 Aisin Seiki Co Ltd 車両用警報装置

Also Published As

Publication number Publication date
JP2009009320A (ja) 2009-01-15

Similar Documents

Publication Publication Date Title
JP4946661B2 (ja) 車両用警報表示装置
JP4683192B2 (ja) 車両用死角監視装置及び車両用運転支援システム
JP4825868B2 (ja) 車両用警報装置
JP5817843B2 (ja) 車両用情報伝達装置
US20080204208A1 (en) Vehicle Surroundings Information Output System and Method For Outputting Vehicle Surroundings Information
JPWO2012164729A1 (ja) 車両用視界支援装置
JP4970379B2 (ja) 車両用表示装置
JP2005135037A (ja) 車両用情報提示装置
JP2015232859A (ja) 安全確認支援システム、安全確認支援方法
JP5925163B2 (ja) 運転支援装置
US11225192B2 (en) Vehicle advancing monitoring system
WO2015178303A1 (ja) 安全確認支援装置
JP2007006006A (ja) 車載情報表示装置及び車両用情報表示方法
JP2016031603A (ja) 車両用表示システム
JP7287199B2 (ja) 車両用注視誘導装置
JP2016022919A (ja) ヘッドアップディスプレイ装置及び車両
JP2008162550A (ja) 外部環境表示装置
JP2013235378A (ja) 車両用情報提供装置
KR20170108720A (ko) 차량의 장애물 감시 장치 및 그 제어 방법
JP4900146B2 (ja) 障害物検知装置
JP6365409B2 (ja) 車両の運転者のための画像表示装置
JP2013186728A (ja) 警報システム
US11643012B2 (en) Driving assistance device, driving situation information acquisition system, driving assistance method, and program
KR20160050649A (ko) 차량 충돌 방지 시스템 및 방법
JP2009113770A (ja) 車両用表示方法及び車両用表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4946661

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3