JP4251323B2 - 車両用周辺監視装置 - Google Patents

車両用周辺監視装置 Download PDF

Info

Publication number
JP4251323B2
JP4251323B2 JP2004008903A JP2004008903A JP4251323B2 JP 4251323 B2 JP4251323 B2 JP 4251323B2 JP 2004008903 A JP2004008903 A JP 2004008903A JP 2004008903 A JP2004008903 A JP 2004008903A JP 4251323 B2 JP4251323 B2 JP 4251323B2
Authority
JP
Japan
Prior art keywords
vehicle
obstacle
camera
distance
measuring means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004008903A
Other languages
English (en)
Other versions
JP2005199892A (ja
Inventor
学 松元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2004008903A priority Critical patent/JP4251323B2/ja
Publication of JP2005199892A publication Critical patent/JP2005199892A/ja
Application granted granted Critical
Publication of JP4251323B2 publication Critical patent/JP4251323B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車両に搭載された監視カメラにて、車両周辺の監視を行う車両用周辺監視装置に関する。
近年、自動車などの車両にカメラを搭載し、車両外部の周辺をカメラで監視し、車内のディスプレイでその画像を表示することにより、車両の運転に利用することが行われている。この装置によれば、車両が交差点に進入する場合に、運転席からは、見えない左右の状況をカメラで撮影して、ディスプレイで表示することにより、運転手に注意を促すことができる。また車両の後部に、ビデオカメラを取付けて、そのビデオカメラが撮影した映像を、車内の所定位置に配置されたモニタに表示させるようにした、バックモニタと称されるものが各種実用化されている。このバックモニタは、主として車両を後退させる際に、運転席から死角となる後方がモニタで確認できるようにして、後退時の安全性を向上させるために使用される。
そして、カメラ映像のディスプレイは、カーナビゲーション装置の走行中の現在位置近傍の道路地図などを表示させるためのディスプレイ(モニタ)と併用されることが多く、いかにカーナビ情報とカメラ映像との切り替えをタイミング良く行うかという考案がされている。
特許文献1においては、履歴情報やナビゲーション情報、インフラストラクチャ情報等に従って、側方視界の確認が必要な交差点が検出された場合に、自動的に側方視界画像の表示機能を作動させるという考案が開示されている。
また特許文献2においては、ステアリングホイールの舵角および車速に基づいて、車両の向きの変化量、すなわち、偏向角θを検出し、この値から側方撮像画像から前方撮像画像への切り替えを行う考案が開示されている。すなわち表示ディスプレイへのサイドカメラによる側方撮像画像の表示が開始された後、偏向角θが所定値に達した場合に、表示ディスプレイに表示される撮像画像を、サイドカメラによる側方撮像画像からフロントカメラによる前方撮像画像へ切り替える。
特開平10−264722号公報 特開2003−146133号公報
しかしながら特許文献1においては、側方視界画像を表示させる判定情報が、リアルタイムではないため、工事中の場合や、大型トラックが側方を走行している場合など、突発的な状況の検出ができない問題がある。
また特許文献2においては、運転手のステアリング操作に応じて、カメラを切り替えている。すなわち周辺の環境に関係なく、進む方向を映し出すだけの制御である。したがって、左右に障害物があって直進の場合は、左右アングルが見えない状況が発生して、安全性向上には、結びつかない状況が発生する。
そこで本発明の課題は、車両の周囲を撮影する撮影用カメラと、映像や情報を表示するディスプレイとが搭載された車両において、撮影用カメラによる映像と他の映像や情報とを状況に合わせて表示する車両用周辺監視装置を提供することである。
課題を解決するための手段および発明の効果
上記課題を解決するための本発明の車両用周辺監視装置は、
車両に搭載され、映像または情報を表示する表示部と、
車両に搭載され、車両の周囲を撮影する撮影用カメラと、
車両側方の障害物との距離を測定する距離測定手段と、
障害物との距離を監視することにより表示部の表示を切り替える切替判定手段とを有し、
距離測定手段により、車両側方の所定範囲内に障害物があると判定した場合に、撮影用カメラによる映像を表示部に表示する。
上記構成によれば、距離測定手段により、車両近傍に障害物があるかを判定することができ、障害物によって車両運転手の視界が遮られていると判断される場合に、切替判定手段によって、表示部の表示をカメラ画像に切り替えることができる。運転手は表示部を見ることにより、運転席から見えない方向を確認することができ、安全に運転することができる。またこの切り替えは、適切なときに自動的になされるため煩わしい操作は必要なく、運転手の運転の妨げになることもない。なお表示部は、車両の現在位置を指示する電子地図を表示するナビゲーション装置のディスプレイであってもよいし、テレビ画面であってもよい。
そして車両用周辺監視装置は、
複数の距離測定手段と、複数の撮影用カメラとを有し、
切替判定手段は、各距離測定手段からの障害物との距離を示す信号と、車両の前進または後進を示すギア信号とに基づいて、車両進行方向の障害物が存在している側の撮影用カメラの映像に表示部の表示を切り替える。
このように複数の距離測定手段と撮影用カメラを設置することにより、運転手の死角をなくすことができる。またギア信号も入力されることから、前方に設置されたカメラの映像を表示するのか、後方に設置されたカメラの映像を表示するのかを、切替判定手段が判定し、自動的に表示を切り替えることができる。
そして車両側方の所定範囲内に障害物があると判定した場合、車両が停止した時に、撮影用カメラによる映像を表示部に表示するようにすることができる。車両が停止した場合、交差点と判断し、撮影用カメラの映像を表示することで、左右を確認して、安全に発進することができる。そして車両が停止し、側方に障害物があることによってカメラ映像が表示部に表示された後に、車両が発進することにより、表示部の表示を電子地図または他の映像と切り替えるようにする。再び車両が発進すれば、運転手が左右をカメラ映像で確認したと見なせるので、表示を地図情報や他の映像などに戻す。左右を確認した後にもカメラ映像を表示する必要はなく、運転手が望む情報を表示することができる。
距離測定手段が、運転手の位置から離れた場所に設置されていると、運転手の側方に障害物があるかの判定に誤りが生じることがあり得る。そこで距離測定手段により障害物を検知した後、車両が走行したため距離測定手段の所定範囲に障害物がなくなった場合に、距離測定手段の設置位置と運転手との距離を加味して、運転手の側方位置に障害物があるかを判定するようにする。このように距離測定手段の設置位置と運転手との距離を加味して判定することにより、的確な映像切り替えを行うことができる。
距離測定手段として例えば、コーナーセンサを使用する。コーナーセンサは、超音波送信機、超音波受信機、距離演算回路を備える。そして超音波の送信から受信までの時間差から、距離演算回路が、コーナーセンサと障害物との間の距離を演算する。距離測定手段は、バンパーコーナーに設置することができる。例えば車両前部と後部の左右に設置することにより、車両の側方に障害物があるかを判定することができる。さらに距離測定手段を車両ピラー部に設置すると、運転手が障害物により、視界が遮られているかを、より正確に判断することができる。
撮影用カメラを車両前部左右と、車両後部左右とに設置する。このように前部左右に設置することにより、交差点にさしかかった際に、左右を確認することができる。また後部左右に設置することにより、バックで走行する場合に、左右を確認することができる。
以下、図を参照しつつ本発明の実施形態について説明する。図1は本発明の構成を示すブロック図である。車両用監視装置100は、ナビゲーション装置110と一体として構成されている。ナビゲーション装置110は、位置検出器1、地図データ入力器6、操作部7、外部記憶媒体が使用可能な外部記憶装置12、表示部10、これらの接続されたナビ処理部8を備えている。
さらにナビ処理部8には、車両に搭載され車両外部を撮影する撮影用カメラ11,12,13,14が接続され、車速を検出する車速パルス15、前進、後退、停止状態を検出するギアセンサ16の信号も入力される。撮影用カメラは、車両の前後の左右に計4つ設置され、その撮影用カメラにより撮影された映像は、ナビ処理部8によって処理され、ナビ処理部8により表示部10の切り替えが行われ表示される。すなわちナビ処理部8は、切替判定手段にあたる。
またナビ処理部8には、車両周辺検知処理部20が接続され、その車両周辺検知処理部20には、車両外の障害物等を検知するためのセンサ21,22,23,24が接続されている。センサは、例えば、超音波などを利用したコーナーセンサで、車両のバンバーコーナーに設置されている。そして車両周辺の障害物までの距離などを検出する。センサは、距離測定手段である。
位置検出器1は、周知の地磁気センサ、ジャイロスコープ、距離センサ、および衛星からの電波に基づいて車両の位置を検出するGPS(Global Positioning System)のためのGPS受信機を有している。これらのセンサ等は各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。なお、精度によっては前述したうちの一部センサで構成してもよく、さらに、ステアリングの回転センサや各転動輪の車輪センサ等を用いてもよい。
地図データ入力器6は、位置検出の精度向上のためのいわゆるマップマッチング用データ,地図データを含む各種データを入力するための装置である。媒体としては、そのデータ量からCD−ROMまたはDVD−ROMを用いるのが一般的であるが、メモリカード,ハードディスク等の大容量の記憶媒体を用いてもよい。
操作部7は、例えば表示部10と一体になったタッチスイッチもしくはメカニカルなスイッチ等が用いられる。タッチスイッチは、表示部10の画面上に縦横に微細に配置された赤外線センサより構成されており、例えば指やタッチペンなどでその赤外線を遮断すると、その遮断した位置が2次元座標値(X,Y)として検出される。これら操作部7によって、種々の指示を入力することが可能である。
表示部10はカラーCRTやカラー液晶表示器により構成されており、表示部10の画面には位置検出器1から入力された車両現在位置マークと、地図データ入力器6から入力された地図データと、更に地図上に表示する誘導経路等付加データとを重ね合わせて表示すると共に、本画面に経路案内の設定および経路誘導中の案内や画面の切り替え操作を行うためのボタンが表示される。
以上の構成により、車両が走行中、通常表示部には、車両の現在位置を示す地図が表示されている。そして交差点などにさしかかり、障害物によりドライバから前方側方が見えない場合に、センサがそれを検知し、カメラで車周辺を撮影して、地図に変わって車外の映像を表示部に表示する。
図2を用いて撮影用カメラとセンサの設置位置、およびそれらの動作について説明する。撮影用カメラは、車両41の前後の左右4箇所に設置されている。すなわち撮影用カメラ11は、前方左側に設置され、車両41の前方左側の撮影を行う。また撮影用カメラ12は、前方右側に設置され、車両41の前方右側の撮影を行う。同様に撮影用カメラ13は、後方左側に設置され、車両41の後方左側の撮影を行う。また撮影用カメラ14は、後方右側に設置され、車両41の後方右側の撮影を行う。
さらにセンサも車両41の前後の左右の4箇所、コーナー位置に設置されている。すなわちセンサ21は、前方左側に設置され、車両41の前方左側に障害物があるかを測定する。またセンサ22は、前方右側に設置され、車両41の前方右側の測定を行う。同様にセンサ23は、後方左側に設置され、車両41の後方左側の測定を行う。またセンサ24は、後方右側に設置され、車両41の後方右側の測定を行う。各センサの範囲31,32,33,34に障害物があれば、その距離が検知される。
センサは、コーナーセンサを用いる。コーナーセンサは、超音波送信機、超音波受信機、距離演算回路を備える。そしてコーナーセンサの超音波送信機は、超音波を送信し、障害物により反射されて戻ってくる超音波は、超音波受信機によって受信される。超音波の送信から受信までの時間差から、距離演算回路は、コーナーセンサと障害物との間の距離を演算する。そして測定距離を車両周辺検知処理部に出力する。
図2に示すように車両41が走行する左右側方には、障害物(遮蔽物)80,81がある場合に、車両に設置された各センサ21,22,23,24は、それぞれ側方の障害物との距離を監視する。また各カメラ11,12,13,14は、車両側方を撮影する。障害物とは、例えば、ビルや壁などを表す。センサは、センサ周辺に障害物があるかを判定する。そしてこれらのセンサの判定に基づきカメラの映像が表示されることになる。つまり車両41の運転席からは、障害物80,81によって前方の左右を見ることができないが、撮影用カメラ11,12の映像によって確認することができる。
図3に左側に障害物のある場所を走行し、停止位置で停止した場合の車両に搭載されたセンサ等の変化を示す。最上部に示すように、車両41は障害物81の側方を走行し、停止位置(交差点)において停止する。障害物81は、車両41の左側にある。この時、車両前方左側に設置されたセンサAは、障害物がなくなったことを検知し、その信号を発する。一方、車両41の右側には、障害物がないため、車両前方右側に設置されたセンサBの信号は変化しない。車両後方左側に設置されたセンサCは、車両が停止位置において停止しても、側方に障害物があるため、その信号は一定のままである。車両後方右側に設置されたセンサDは、センサCと同様である。また車両41は前進して走行中のため、ギアも前進のままである。さらに車速センサは、車軸の回転を検出してこの回転に応じた車速パルスを発生するため、車両が走行中は、矩形の信号として出力される。また車速信号は、停止位置において停止すると出力(発生)されなくなる。以上の信号から、車両が交差点にさしかかり停止した場合に、表示部の表示は地図表示から前方左側のカメラ画像に切り替わる。なお障害物が左右両側にある場合には、左右両側のカメラ映像が表示される。
図4のフローチャートを用いて表示画面の切り替えについて説明する。S1でオートモードになっているかを判定する。オートモードとは、ナビゲーション装置の表示画面に表示された地図情報から、カメラによって撮影された映像へ、所定の条件が満たされるときに、自動的に切り替えるモードである。オートモードがONになっていれば、S2でセンサの信号が入力される。センサの信号により、車両側方に障害物があるかを監視する(S3)。そして障害物があると判定されると、距離カウントを0とする(S4)。障害物がなくなると(S5)、S6に進み距離カウントを開始する。車速から車両が停止したかを判定し(S7)、停止した場合には、S8へ進む。車両が停止しなければ、S1へ戻る。
車が停止すれば、障害物がなくなった地点から車が移動した距離(距離カウント)と、センサと運転手との距離とから、障害物がなくなる地点と運転手との距離を求める(S8)。図5に示すようにセンサ21,22と運転手45との距離をa、障害物がなくなった地点85から車の移動距離(センサの位置の移動距離)をbとして、aとbから運転手45と障害物がなくなる地点85との距離cを計算する。図5(a)に示すように、運転手45の側方にまだ障害物81がある場合、例えばcが1m以下であれば(S9)、S10に進む。また図5(b)に示すように、移動距離bがセンサ21,22と運転手45との距離aよりも大きい場合は、運転手側方に障害物がないためS1に戻る。
図4に戻って、車が停止した地点において、運転手の側方に障害物がある場合には、S10で左右カメラの画像を表示する。S11で再び車が、発進するのを監視し、車が発進すれば、画面を元の地図情報に戻す(S12)。
なおバックで障害物にある場所を走行している場合には、図5(c)に示すように後方に設置されたセンサ23,24によって障害物の判断を行う。すなわち障害物がなくなった地点86からの移動距離eと、センサ23,24と運転手45との距離dとから、運転手45と障害物がなくなる地点86までの距離fを求め、これにより後方に設置されたカメラ映像を表示することになる。
図6にピラー42に上センサ26を取り付けた実施例を示す。車両前方に取り付けたセンサ22は、高さ方向の検出範囲が低い位置となる。すなわち高さXの範囲に障害物があるかを検出することになる。よって運転席からは側方が見える場合でも、高さの低い障害物がある場合は、障害物ありと判断することになる。そこで図に示すようにピラー42位置に上センサ26を取り付ければ、高さYの範囲に障害物があるかを判断することが可能となり、より正確な映像表示の切り替えが可能となる。
図7に3車線の道路を走行する車両を示す。この車両41の両側には、大型トラック88,89が走行している。この場合、前方の横断歩道91を歩行者92が横断している場合でも、大型トラック88によって車両の運転手は、視認することができない。しかしながら本発明の車両周辺監視装置によれば、大型トラック88を障害物として判断して、自動的にナビゲーション装置の表示部をカメラ映像に切り替えることができる。これにより安全確保が可能となる。さらに道路が工事中で、大型トラック88,89の代わりに工事用の柵が設置されて、前方左右が確認できない場合も、カメラ映像により、歩行者92の有無を確認することができる。
本発明の車両周辺監視装置の全体構成を示すブロック図。 撮影用カメラとセンサの位置を示す図。 障害物の側方を走行するときのセンサ等の信号の変化を示す図。 表示部切り替えを説明するためのフローチャート。 センサ位置、運転手の位置、障害物の端辺との位置関係を説明する図。 センサの高さ範囲について説明する図。 大型トラックの側方を通過する場合を説明する図。
符号の説明
8 ナビ処理部
10 表示部
11,12,13,14 撮影用カメラ
20 車両周辺検知処理部
21,22,23,24 センサ
41 車両
100 車両用監視装置

Claims (8)

  1. 車両に搭載され、映像または情報を表示する表示部と、
    前記車両に搭載され、前記車両の周囲を撮影する撮影用カメラと、
    前記車両側方の障害物との距離を測定する距離測定手段と、
    前記障害物との距離を監視することにより前記表示部の表示を切り替える切替判定手段とを有し、
    前記距離測定手段により、前記車両側方の所定範囲内に障害物があると判定した場合に、前記撮影用カメラによる映像を前記表示部に表示し、
    さらに、前記車両側方の所定範囲内に障害物があると判定した後に、前記車両が走行したため前記距離測定手段の所定範囲に前記障害物がなくなった場合に、前記距離測定手段の設置位置と運転手との距離を加味して、なお運転手の側方位置に前記障害物があると判定すると、前記撮影用カメラによる映像に前記表示部の表示を切り替えることを特徴とする車両用周辺監視装置。
  2. 複数の前記距離測定手段と、複数の前記撮影用カメラとを有し、
    前記切替判定手段は、各前記距離測定手段からの前記障害物との距離を示す信号と、前記車両の前進または後進を示すギア信号とに基づいて、前記車両進行方向の前記障害物が存在している側の前記撮影用カメラの映像に前記表示部の表示を切り替える請求項1に記載の車両用周辺監視装置。
  3. 前記車両側方の所定範囲内に障害物があると判定した場合、前記車両が停止した時に、前記撮影用カメラによる映像を前記表示部に表示する請求項1または2に記載の車両用周辺監視装置。
  4. 前記車両が停止し、側方に障害物があることによって前記カメラ映像が前記表示部に表示された後に、前記車両が発進することにより、前記表示部の表示を前記カメラ映像とは異なる映像または情報に切り替える請求項3に記載の車両用周辺監視装置。
  5. 前記距離測定手段としてコーナーセンサを使用する請求項1ないし4のいずれか1項に記載の車両用周辺監視装置。
  6. 前記距離測定手段をバンパーコーナーに設置する請求項1ないし5のいずれか1項に記載の車両用周辺監視装置。
  7. 前記距離測定手段を前記車両ピラー部に設置する請求項1ないし6のいずれか1項に記載の車両用周辺監視装置。
  8. 前記撮影用カメラを前記車両前部左右と、前記車両後部左右とに設置する請求項1ないし7のいずれか1項に記載の車両用周辺監視装置。
JP2004008903A 2004-01-16 2004-01-16 車両用周辺監視装置 Expired - Lifetime JP4251323B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004008903A JP4251323B2 (ja) 2004-01-16 2004-01-16 車両用周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004008903A JP4251323B2 (ja) 2004-01-16 2004-01-16 車両用周辺監視装置

Publications (2)

Publication Number Publication Date
JP2005199892A JP2005199892A (ja) 2005-07-28
JP4251323B2 true JP4251323B2 (ja) 2009-04-08

Family

ID=34822091

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004008903A Expired - Lifetime JP4251323B2 (ja) 2004-01-16 2004-01-16 車両用周辺監視装置

Country Status (1)

Country Link
JP (1) JP4251323B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4747867B2 (ja) * 2006-02-09 2011-08-17 日産自動車株式会社 車両用表示装置および車両用映像表示制御方法
JP2007233430A (ja) * 2006-02-27 2007-09-13 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
KR101562589B1 (ko) 2010-04-30 2015-10-23 엘지전자 주식회사 영상 표시 장치 및 그 방법
JP6115278B2 (ja) 2013-04-16 2017-04-19 株式会社デンソー 車両用表示装置
GB2528098B (en) 2014-07-09 2018-11-21 Jaguar Land Rover Ltd Vehicle camera system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11220726A (ja) * 1998-01-30 1999-08-10 Niles Parts Co Ltd 車両周囲モニター装置
JP3287817B2 (ja) * 1999-07-27 2002-06-04 株式会社ホンダアクセス 車両用カメラ装置
JP3418139B2 (ja) * 1999-07-27 2003-06-16 株式会社ホンダアクセス 車両用カメラ装置
JP2001180374A (ja) * 1999-12-24 2001-07-03 Aisin Aw Co Ltd 運転支援装置及び運転支援方法
JP2002022466A (ja) * 2000-07-10 2002-01-23 Auto Network Gijutsu Kenkyusho:Kk 渋滞判定装置、この渋滞判定装置を用いた車載用周辺監視装置及び車載用渋滞情報送信装置

Also Published As

Publication number Publication date
JP2005199892A (ja) 2005-07-28

Similar Documents

Publication Publication Date Title
KR0183299B1 (ko) 자동차의 주변사항을 알려주는 네비게이션 장치 및 그 제어방법
US8461976B2 (en) On-vehicle device and recognition support system
CN111226267B (zh) 驾驶辅助车辆的行驶控制方法及行驶控制装置
JP4702106B2 (ja) 死角支援情報報知装置及びプログラム
JP4665581B2 (ja) 方向転換支援システム
JP4719590B2 (ja) 車載周辺状況提示装置
US20110128136A1 (en) On-vehicle device and recognition support system
JP4747867B2 (ja) 車両用表示装置および車両用映像表示制御方法
US20110169957A1 (en) Vehicle Image Processing Method
JP2008280026A (ja) 運転支援装置
JP4832489B2 (ja) 車線判定装置
US10632912B2 (en) Alarm device
JP2009029203A (ja) 運転支援装置
JP2007221200A (ja) 車両周辺監視装置
JP4948338B2 (ja) 車間距離計測装置
JP4797849B2 (ja) 運転支援画像表示システム及び車載装置
US11643071B2 (en) Parking assistance device and parking assistance method
JP5012669B2 (ja) 駐車支援装置、駐車支援方法及びコンピュータプログラム
JP2013018406A (ja) 駐車枠の認識装置、駐車枠の認識方法、及び、プログラム
JP4251323B2 (ja) 車両用周辺監視装置
JP4096251B2 (ja) 車両の周辺監視装置
JP4513398B2 (ja) 交差点状況検出装置および交差点状況検出方法
JP4088288B2 (ja) 車両用周辺監視装置
JP4081548B2 (ja) 運転支援システム
JP2005205983A (ja) 自車周辺視認装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081226

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090108

R150 Certificate of patent or registration of utility model

Ref document number: 4251323

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120130

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130130

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140130

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term