JP3912472B2 - 車両の表示装置 - Google Patents

車両の表示装置 Download PDF

Info

Publication number
JP3912472B2
JP3912472B2 JP27308399A JP27308399A JP3912472B2 JP 3912472 B2 JP3912472 B2 JP 3912472B2 JP 27308399 A JP27308399 A JP 27308399A JP 27308399 A JP27308399 A JP 27308399A JP 3912472 B2 JP3912472 B2 JP 3912472B2
Authority
JP
Japan
Prior art keywords
sensitivity
vehicle
imaging
traveling environment
changing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27308399A
Other languages
English (en)
Other versions
JP2001091619A (ja
Inventor
浩一 小嶋
歩 土井
裕樹 上村
秀和 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP27308399A priority Critical patent/JP3912472B2/ja
Publication of JP2001091619A publication Critical patent/JP2001091619A/ja
Application granted granted Critical
Publication of JP3912472B2 publication Critical patent/JP3912472B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、車両前方を赤外線により撮像し、その画像をディスプレイに表示させる車両の表示装置に関する。
【0002】
【従来の技術】
特開平10−230805号公報、特開平6−247184号公報及び特開昭60−231193号公報には、車両前方を赤外線により撮像し、この撮像された画像を運転席前方のディスプレイに表示して夜間や濃霧時の運転支援を行う、所謂ナイトビジョンが提案されている。
【0003】
【発明が解決しようとする課題】
ところが、高速道路や一般道路等の走行環境の違いに応じて主となる検出対象が異なるため、検出対象に応じて赤外線カメラの感度が変更できない場合では対象の判別が難しくなる。
【0004】
本発明は、上記課題に鑑みてなされ、その目的は、走行環境に応じて撮像画像の感度を適正化できる車両の表示装置を提供することである。
【0005】
【課題を解決するための手段】
上記の目的を達成するため、本発明に係る車両の表示装置は、以下の構成を備える。即ち、
自車両前方を赤外線により撮像する撮像手段と、前記撮像手段により撮像された画像を運転席前方に表示する表示手段と、前記撮像手段の赤外線波長に応じた感度を変更する感度変更手段と、自車両の走行環境を検出する走行環境判定手段と、前記走行環境に応じて前記感度変更手段を制御する制御手段とを具備し、前記制御手段は、高速道路では自動車に対する感度を高める一方、一般道路では人間に対する感度を高めるように前記感度変更手段を制御する
【0006】
また、本発明に係る車両の表示装置は、以下の構成を備える。即ち、
自車両前方を赤外線により撮像する撮像手段と、前記撮像手段により撮像された画像を運転席前方に表示する表示手段と、前記撮像手段の赤外線波長に応じた感度を変更する感度変更手段と、自車両の走行環境を検出する走行環境判定手段と、前記走行環境に応じて前記感度変更手段を制御する制御手段とを具備し、前記制御手段は、高速道路では一般道路に比べて自動車に対する感度を高めるように前記感度変更手段を制御する。
また、本発明に係る車両の表示装置は、以下の構成を備える。即ち、
自車両前方を赤外線により撮像する撮像手段と、前記撮像手段により撮像された画像を運転席前方に表示する表示手段と、前記撮像手段の赤外線波長に応じた感度を変更する感度変更手段と、自車両の走行環境を検出する走行環境判定手段と、前記走行環境に応じて前記感度変更手段を制御する制御手段とを具備し、前記制御手段は、一般道路では高速道路に比べて人間に対する感度を高めるように前記感度変更手段を制御する
【0007】
また、好ましくは、前記制御手段は、自動車及び人間の夫々に対応する輻射温度に対して感度が高くなるようなフィルタ手段を備える。
【0008】
また、好ましくは、前記制御手段は、高速道路であっても、動物の飛び出しの可能性がある道路では、動物に対する感度が過度に低くならないように感度の変更を規制する。
【0009】
また、好ましくは、前記制御手段は、高速道路であっても、事故情報に基づいて自動車に対する感度の変更を規制する。
【0010】
【発明の効果】
以上説明したように、請求項1乃至3の発明によれば、高速道路では自動車に対する感度を高め、一般道路では人間に対する感度を高めることにより、撮像画像を表示する際に高速道路では自動車を、一般道路では人間を強調表示できる
【0012】
請求項の発明によれば、自動車及び人間の夫々に対応する輻射温度に対して感度が高くなるようなフィルタ手段を備えることにより、撮像画像中に含まれる自動車又は人間のうち走行環境に応じて表示すべき対象を強調表示できる。
【0013】
請求項の発明によれば、高速道路であっても、動物の飛び出しの可能性がある道路では、動物に対する感度が過度に低くならないように感度の変更を規制することにより、高速道路であっても動物が存在する可能性が高いときには撮像画像中に含まれる動物を表示すべき対象として強調表示できる。
【0014】
請求項の発明によれば、高速道路であっても、事故情報に基づいて自動車に対する感度の変更を規制することにより、高速道路であっても人間が存在する可能性が高いときには撮像画像中に含まれる人間を表示すべき対象として強調表示できる。
【0015】
【発明の実施の形態】
以下に、本発明に係る車両の表示装置を、代表的な車両である自動車に搭載した例について添付図面を参照して詳細に説明する。
【0016】
本実施形態の車両の表示装置は、例えば、自車両前方を赤外線カメラで撮像し、この撮像された画像(以下、撮像画像)を運転席前方の設置されたディスプレイで表示することにより自車両周囲に存在する人などの障害物を乗員に報知する。
[制御ブロック構成]
本実施形態の車両の表示装置の制御ブロック構成について説明する。
【0017】
図1は、本実施形態の車両の表示装置の制御ブロック構成図である。
【0018】
図1に示すように、102は、自車両前方の障害物との距離を一般的な手法で検出するCCD(Charge Coupled Device)カメラ、レーザレーダ、或はミリ波レーダ等の障害物センサである。103は、自車両前方の環境を赤外線を用いて撮影する赤外光(赤外線)カメラである。
【0019】
104は、自車両前方の可視光領域の画像を撮影する可視光カメラ、或いは検出面を自車両前方に向けて配設された照度センサである。105は、自車両の現在位置を算出する際に使用するGPS(グローバルポジショニングシステム)信号を人工衛星や地上基地局等から受信するGPSセンサである。
【0020】
106は、自車両周囲の道路(当該道路に設けられた送受信設備)から得られる先行道路情報(例えば、前方の走行路上に障害物(停止車両や散乱した積荷等)が存在する場合等の走行路環境や、先行車両と所定の車間距離を維持して走行する隊列走行を行っているか等の追従走行状態に関する情報等)を受信する路車間通信機である。
【0021】
107は、自車両の車室外の気温を検出する外気温センサである。108は、赤外光カメラ103により撮影された画像(以下、撮像画像)を表示する液晶表示器またはヘッドアップディスプレイ等のディスプレイである。ここで、ディスプレイ108は、自車両の運転席前方であってドライバが前方を凝視したときに大きな視線移動を行わずに容易に撮像画像を見ることができる位置(ダッシュボードの中央位置近傍であってもよい)に配設すると良い。
【0022】
109は、道路地図情報を記憶したCD、DVD等の地図データベースである。110は、自車両の舵角を検出する舵角センサである。115は、自車両の車速を検出する車速センサである。
【0023】
111は、ディスプレイ108への撮像画像の表示モードを操作者が切り替え可能なモード切り替えスイッチである。このスイッチにより選択可能な表示モードには、操作者がマニュアルオン・オフスイッチ113をオン状態としている間のみディスプレイ108に赤外光カメラ103による撮像画像を表示させるマニュアルモードと、操作者の操作にかかわらず赤外画像をディスプレイ108に常時表示させるオートモードとがある。112は、表示制御装置101への電源供給を操作者がオン・オフ可能な電源スイッチである。
【0024】
そして、表示制御装置101は、上記の各センサの出力信号(出力信号に相当するデータ)と、検出した各操作スイッチの操作状態とに基づいて、ディスプレイ108に赤外光カメラ103による撮像画像の表示を制御する(詳細は後述する)。この表示制御装置101による表示制御処理は、RAM1102をワークエリアとして使用しながら、予めROM1103等に格納されたソフトウエアに従って、CPU1101により実行される。
[表示制御]
次に、本実施形態において表示制御装置101が行う具体的な表示制御処理について説明する。
<第1実施形態>
第1実施形態の表示制御処理は、自車両の走行環境に応じて自動車や人間(動物)に対応する輻射温度範囲において感度が高くなるようなフィルタ処理を施して赤外画像を表示するものである。
【0025】
図2は、第1実施形態に係る車両の表示装置による表示制御処理のフローチャートであり、自車両のイグニッションキースイッチがオンであって、且つ電源スイッチ111がオンの期間にCPU1101が実行するソフトウエアの手順を示す。
【0026】
図2において、ステップS1では、モード切り替えスイッチ111の操作状態を検出することにより、オートモードが選択されているか否かを判定する。ステップS1でオートモードならば(ステップS1でYES)、ステップS2に進み、マニュアルモード(ステップS1でNO)ならばステップS3に進む。
【0027】
ステップS3では、マニュアルモードが選択されている現在の状態において、マニュアルオン・オフスイッチ113がオンに設定されているか否かを判定する。ステップS3でマニュアルオン・オフスイッチ113がオフならば(ステップS3でNO)、ステップS4でディスプレイ108への撮像画像の表示を停止させ、マニュアルオン・オフスイッチ113がオンならば(ステップS3でYES)、ステップS2に進む。
【0028】
ステップS2では、ヘッドライト、フォグランプ、スモールランプのいずれかのライトスイッチがオンされているか否かを判定する。ステップS2でライトスイッチがオフならば(ステップS2でNO)、ステップS4でディスプレイ108への撮像画像の表示を停止させ、ライトスイッチがオンならば(ステップS2でYES)、夜間や視認性の悪い環境を走行中に撮像画像の表示が必要と判断してステップS5に進む。
【0029】
ステップS5では、GPSによる測位不能状態(例えば、自車両から見える範囲に存在する人工衛星の数が2個以下のとき)、又はGPSによる測位誤差大の状態(例えば、自車両から見て略同じ方向に複数のGPS信号発信用人工衛星が存在しているとき)か否かを判定する。ステップS5で測位不能状態又は測位誤差大の状態ならば(ステップS5でYES)、ステップS14で赤外光カメラ103のフィルタ感度を人間に対応する輻射温度幅において高くなるように設定する。
【0030】
ステップS16では、赤外光カメラ103の撮影画像(即ち、フィルタ処理後の赤外線画像)をディスプレイ108へ表示する。
【0031】
ステップS5で測位不能状態又は測位誤差大の状態でないならば(ステップS5でNO)、ステップS6でGPS信号から現在位置情報、季節情報、時刻情報を検出すると共に、外気温センサ107から外気温を検出する。
【0032】
ステップS7では、季節情報及び時刻情報に基づいて赤外光カメラ103のフィルタ感度を自動車、人間(又は動物)に対応する輻射温度幅に設定する。
【0033】
人間(又は動物)の輻射熱は、一般に図3に示す温度範囲内にあり、外気温に応じて変化することが知られている。そこで、本ステップでは、外気温センサ107により検出された外気温に応じて予めROM1103に基本値として記憶している人間の輻射熱の温度幅を設定すると共に、その設定された基本値を、GPSセンサ105により検出可能な日付・時刻情報に応じて(例えば、春や秋には冬季より高めに、夏季より低めに補正すると共に、外気温が最も上昇する午後2時前後の時間帯には他の時間帯と比較して高めに補正する等)補正する。
【0034】
また、自動車に関しても、一般に図4に示す温度範囲内にあり、外気温に応じて変化することが知られている。そこで、本ステップでは、外気温センサ107により検出された外気温に応じて予めROM1103に基本値として記憶している自動車の輻射熱の温度幅を設定すると共に、その設定された基本値を、GPSセンサ105により検出可能な日付・時刻情報に応じて(例えば、春や秋には冬季より高めに、夏季より低めに補正すると共に、外気温が最も上昇する午後2時前後の時間帯には他の時間帯と比較して高めに補正する等)補正する。
【0035】
ステップS8では、GPS信号から検出された現在位置情報と地図データベース109に基づいて走行環境を判定する。
【0036】
ステップS9では、市街地の高速道路を走行中か否かを判定する。ステップS9で市街地の高速道路を走行中でないならば(ステップS9でYES)、ステップS13で一般道路を走行中か否かを判定する。ステップS13で一般道路を走行中ならば(ステップS13でYES)、ステップS14に進んで人間に対するフィルタ感度が高くなるように設定する。
【0037】
また、ステップS13で一般道路を走行中でないならば(ステップS13でNO)、動物の飛び出しの可能性のある市街地ではない高速道路を走行しているので、ステップS15に進んで、動物に対するフィルタ感度が過度に低くならないように、フィルタ感度を自動車と動物の間の輻射温度幅に設定する。
【0038】
ステップS9で市街地の高速道路を走行中ならば(ステップS9でYES)、ステップS10で路車間通信により走行路前方の道路情報を獲得する。
【0039】
ステップS11では、ステップS10で獲得した道路情報から走行路前方に事故車や故障者等の停止車両があるか否かを判定する。ステップS11で停止車両がないならば(ステップS11でNO)、ステップS12で自動車に対応したフィルタ感度に設定する。
【0040】
また、ステップS11で停止車両があるならば(ステップS11でYES)、道路に人間が存在する可能性が高いのでステップS14に進んで、自動車に対応したフィルタ感度への設定を規制して人間に対応するフィルタ感度に設定する。。
【0041】
以上のように、第1実施形態によれば、人間が存在する可能性の低い市街地の高速道路等では自動車に対するフィルタ感度を高める一方、動物が飛び出す可能性がある地方の高速道路等では動物に対するフィルタ感度が過度に低くならないように感度の変更を規制できる。また、人間が存在する可能性の高い一般道路等では人間に対するフィルタ感度を高めることができる。よって、走行環境に応じた適切な赤外線画像を表示することができる。
<第2実施形態>
次に、第1の実施形態に係る車両の表示装置を基本とした第2の実施形態の表示処理ついて説明する。
【0042】
第2実施形態の表示処理は、第1実施形態の表示処理に加えて、GPS信号により自車両の位置及び進行方向に対する太陽の位置を検出し、赤外線画像中から太陽光成分を除去して表示するものである。自車両の位置及び進行方向に対する太陽の位置は、GPS信号に含まれるカレンダ情報及び時計情報と自車両の現在位置情報及び自車両の進行方向とから一般的な手法により求めることができる。
【0043】
図5は、第2実施形態に係る車両の表示装置による表示制御処理のフローチャートである。図6は、自車両に対する太陽の向きを説明する図である。図7は、赤外光カメラへの入射角を説明する図である。図8は、太陽の向きと路面反射量との関係を示す路面反射特性マップである。図9は、赤外光カメラへの入射角と路面反射量との関係を示す路面反射特性マップである。図10は、日照データと車体反射量との関係を示す車体反射特性マップである。
【0044】
図5に示すように、図2で説明したステップS12又はS14又はS15の処理を行った後、ステップS21では、GPS信号の時刻情報及び緯度情報、自車両の進行方向から自車両に対する太陽の向きと赤外光カメラへの入射角を検出する(図6及び図7参照)。
【0045】
ステップS22では、可視光カメラ(又は照度センサ)104から検出信号を入力して、図8及び図9に示す路面反射特性データと日照データから路面反射分を推定する。ステップS22で推定される路面反射分は、図8から求まる路面反射分と図9から求まる路面反射分とを加算して求められる。
【0046】
ステップS23では、図10に示す車体反射特性データと日照データから車体反射分を推定する。
【0047】
ステップS24では赤外画像から路面反射分及び車体反射分を除去し、ステップS25では路面反射分及び車体反射分を除去した画像を表示する。
【0048】
第2実施形態によれば、第1実施形態の効果に加えて、図11に示す太陽光による路面反射分と車体反射分とを含む赤外画像から、図12に示すように反射成分を除去して表示画像をより見やすくできる。
【0049】
尚、本発明はその趣旨を逸脱しない範囲で、上記実施形態を修正又は変形したものに適用可能である。
【図面の簡単な説明】
【図1】本実施形態の車両の表示装置の制御ブロック構成図である。
【図2】第1実施形態に係る車両の表示装置による表示制御処理のフローチャートである。
【図3】外気温と人間の輻射熱の温度範囲との関係を示す図である。
【図4】外気温と自動車の輻射熱の温度範囲との関係を示す図である。
【図5】第2実施形態に係る車両の表示装置による表示制御処理のフローチャートである。
【図6】自車両に対する太陽の向きを説明する図である。
【図7】赤外光カメラへの入射角を説明する図である。
【図8】太陽の向きと路面反射量との関係を示す路面反射特性マップである。
【図9】赤外光カメラへの入射角と路面反射量との関係を示す路面反射特性マップである。
【図10】日照データと車体反射量との関係を示す車体反射特性マップである。
【図11】太陽光による路面反射分と車体反射分とを除去する前の赤外画像である。
【図12】太陽光による路面反射分と車体反射分とを除去した後の赤外画像である。
【符号の説明】
102 障害物センサ
103 赤外光カメラ
104 可視光カメラ/照度センサ
106 路車間通信機
107 外気温センサ
108 ディスプレイ
110 舵角センサ
111 モード切り替えスイッチ
112 電源スイッチ
113 マニュアルオン・オフスイッチ
115 車速センサ

Claims (6)

  1. 自車両前方を赤外線により撮像する撮像手段と、
    前記撮像手段により撮像された画像を運転席前方に表示する表示手段と、
    前記撮像手段の赤外線波長に応じた感度を変更する感度変更手段と、
    自車両の走行環境を検出する走行環境判定手段と、
    前記走行環境に応じて前記感度変更手段を制御する制御手段とを具備し、
    前記制御手段は、高速道路では自動車に対する感度を高める一方、一般道路では人間に対する感度を高めるように前記感度変更手段を制御することを特徴とする車両の表示装置。
  2. 自車両前方を赤外線により撮像する撮像手段と、
    前記撮像手段により撮像された画像を運転席前方に表示する表示手段と、
    前記撮像手段の赤外線波長に応じた感度を変更する感度変更手段と、
    自車両の走行環境を検出する走行環境判定手段と、
    前記走行環境に応じて前記感度変更手段を制御する制御手段とを具備し、
    前記制御手段は、高速道路では一般道路に比べて自動車に対する感度を高めるように前記感度変更手段を制御することを特徴とする車両の表示装置。
  3. 自車両前方を赤外線により撮像する撮像手段と、
    前記撮像手段により撮像された画像を運転席前方に表示する表示手段と、
    前記撮像手段の赤外線波長に応じた感度を変更する感度変更手段と、
    自車両の走行環境を検出する走行環境判定手段と、
    前記走行環境に応じて前記感度変更手段を制御する制御手段とを具備し、
    前記制御手段は、一般道路では高速道路に比べて人間に対する感度を高めるように前記感度変更手段を制御することを特徴とする車両の表示装置。
  4. 前記制御手段は、自動車及び人間の夫々に対応する輻射温度に対して感度が高くなるようなフィルタ手段を備えることを特徴とする請求項1乃至3のいずれか1項に記載の車両の表示装置。
  5. 前記制御手段は、高速道路であっても、動物の飛び出しの可能性がある道路では、動物に対する感度が過度に低くならないように感度の変更を規制することを特徴とする請求項1又は3に記載の車両の表示装置。
  6. 前記制御手段は、高速道路であっても、事故情報に基づいて自動車に対する感度の変更を規制することを特徴とする請求項1又は2に記載の車両の表示装置。
JP27308399A 1999-09-27 1999-09-27 車両の表示装置 Expired - Fee Related JP3912472B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27308399A JP3912472B2 (ja) 1999-09-27 1999-09-27 車両の表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27308399A JP3912472B2 (ja) 1999-09-27 1999-09-27 車両の表示装置

Publications (2)

Publication Number Publication Date
JP2001091619A JP2001091619A (ja) 2001-04-06
JP3912472B2 true JP3912472B2 (ja) 2007-05-09

Family

ID=17522916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27308399A Expired - Fee Related JP3912472B2 (ja) 1999-09-27 1999-09-27 車両の表示装置

Country Status (1)

Country Link
JP (1) JP3912472B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10249816B4 (de) * 2002-10-24 2006-01-12 Daimlerchrysler Ag Verfahren und Vorrichtung zum Betrieb eines automobilen Nachtsichtsystems
JP3870924B2 (ja) 2003-04-04 2007-01-24 日産自動車株式会社 情報提供装置、情報提供システムおよび情報提供用プログラム
JP2010224670A (ja) * 2009-03-19 2010-10-07 Honda Motor Co Ltd 車両の周辺監視装置
JP6731135B2 (ja) * 2014-05-30 2020-07-29 パナソニックセミコンダクターソリューションズ株式会社 センシングシステム及び運転支援システム
JP6484512B2 (ja) * 2015-06-26 2019-03-13 株式会社トプコン レーザスキャナ制御装置、レーザスキャナ制御方法およびレーザスキャナ制御用プログラム
JP7167850B2 (ja) * 2019-05-22 2022-11-09 株式会社Jvcケンウッド 人物判定用の学習済みモデルセットの生成装置、生成方法、生成プログラム、人物領域判定装置、判定方法、および判定プログラム

Also Published As

Publication number Publication date
JP2001091619A (ja) 2001-04-06

Similar Documents

Publication Publication Date Title
JP3864406B2 (ja) 車両の表示装置
CN107176165B (zh) 车辆的控制装置
EP3428027B1 (en) Driving system for vehicle
JP6402684B2 (ja) 表示装置
EP3229458A1 (en) Driver assistance apparatus
EP3457383A1 (en) Driving assistance apparatus for vehicle and control thereof
US11022795B2 (en) Vehicle display control device
US11052917B2 (en) Vehicle control device provided in vehicle and method for controlling vehicle
KR20190041253A (ko) 자율주행차량 및 이의 제어방법
CN109997090B (zh) 车辆上安装的车辆控制装置和车辆的控制方法
JP6489084B2 (ja) 自動運転システム
JP2017185946A (ja) 車両の自動運転システム
JP2019119266A (ja) 車両制御システム、車両制御方法、およびプログラム
CN111527016A (zh) 用于控制自动驾驶载具的图像捕获设备遇到的光的程度的方法和系统
JP6720732B2 (ja) 車両の制御装置
CN113246993B (zh) 驾驶支援系统
FR2785434A1 (fr) Procede d'aide a la conduite d'un vehicule et dispositif de mise en oeuvre
JP3912472B2 (ja) 車両の表示装置
JP2005297716A (ja) 車両用窓ガラス透光率可変装置
JP6772527B2 (ja) 車両の制御装置
JP2001023095A (ja) 車両の周囲情報報知装置
US20230168091A1 (en) Power Management Apparatus and Vehicle Having the Same
WO2022202256A1 (ja) 車両制御装置、車両制御方法
JP2002048565A (ja) 車両用表示装置
JP6658358B2 (ja) 車両の制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040916

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20040916

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060901

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070123

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100209

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130209

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140209

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees