JP4096251B2 - Vehicle periphery monitoring device - Google Patents

Vehicle periphery monitoring device Download PDF

Info

Publication number
JP4096251B2
JP4096251B2 JP2003072619A JP2003072619A JP4096251B2 JP 4096251 B2 JP4096251 B2 JP 4096251B2 JP 2003072619 A JP2003072619 A JP 2003072619A JP 2003072619 A JP2003072619 A JP 2003072619A JP 4096251 B2 JP4096251 B2 JP 4096251B2
Authority
JP
Japan
Prior art keywords
vehicle
garage
predetermined
monitoring device
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003072619A
Other languages
Japanese (ja)
Other versions
JP2004282510A (en
Inventor
隆夫 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2003072619A priority Critical patent/JP4096251B2/en
Publication of JP2004282510A publication Critical patent/JP2004282510A/en
Application granted granted Critical
Publication of JP4096251B2 publication Critical patent/JP4096251B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、車両の前部または後部等に搭載されて該車両の左右側方の視界を撮像し、該視野画像を運転者に提示する車両の周辺監視装置に関する。
【0002】
【従来の技術】
近年、自動車などの車両の後部に、ビデオカメラを取付けて、そのビデオカメラが撮影した映像を、車内の所定位置に配置されたモニタに表示させるようにした、所謂バックモニタと称されるものが各種実用化されている。このバックモニタは、主として車両を後退させる際に、運転席から死角となる後方がモニタで確認できるようにして、後退時の安全性を向上させるために使用される。この場合のモニタとしては、いわゆるカーナビゲーション装置として、走行中の現在位置近傍の道路地図などを表示させるためのモニタが使用されることが多い。また、バックモニタ専用の表示装置が運転席の近傍に配置される場合もある。
【0003】
さらに、車両の後部以外にも複数のカメラを搭載して周辺監視を行う自動車のカメラシステムも考案されていて、ステアリングの切り角や方向指示器の動作によってディスプレイに表示させるカメラを選択するシステムが提案されている(特許文献1参照)。
【0004】
また、方向指示器の動作の代わりに、電子的な地図データと車両の現在位置データとに基づき、目的地への経路を案内するナビゲーション装置と連携して、ナビゲーション装置で設定されたルートを走行している状況で、そのルート上の曲折位置の近傍を走行するようになったとき、ディスプレイに表示させるカメラを選択するシステムも提案されている(特許文献2参照)。
【0005】
【特許文献1】
特開平10−258682号公報
【特許文献2】
特開2002−225629号公報
【0006】
【発明が解決しようとする課題】
特許文献1の方法では、自宅の車庫などのように、どのカメラの映像を表示したいかが、ステアリングの切り角、方向指示器の動作あるいはシフトレバーの位置ではなく、車庫の形状によって決まる場合には、本当に見たい位置のカメラの映像が表示されないという問題がある。
【0007】
例えば、後退駐車では、通常は車両後部に設置されているカメラの画像が表示される。しかし、車庫入れ時の目標物が車両の後方にあるというわけではない。特に、自宅車庫においては、助手席側の柵との間隔や植木との相対位置などの車両の後方にない物を目安にして、車庫入れを行う場合が多い。また、これらの目標物は、同じ車庫を利用する運転者によっても異なっている。よって、シフトポジションが後退位置になると自動的に車両後部に設置されているカメラの画像が表示される車両では、運転者が車庫入れ時に得たい情報を得られないことがある。
【0008】
特許文献2の方法は、ナビゲーション装置で設定されたルートを走行している状況でのみ有効で、その場合のカメラ位置や、カメラの映像の表示切換のタイミングは運転者には決められないため、本当に見たい位置のカメラの映像が表示されないという問題は残る。
【0009】
上記事情を背景とし、本発明の課題は、所定の車庫に駐車する際に、運転者の見たい位置のカメラの映像を自動的に表示する車両の周辺監視装置を提供することにある。
【0010】
【課題を解決するための手段及び発明の効果】
本発明は、上記課題を解決するための車両の周辺監視装置である。即ち、車両に搭載され、車両の周囲を撮影する複数の撮影用ビデオカメラと表示器で構成される車両の周辺監視装置であって、
該車両において、地点を登録し、その地点で該車両のどの位置のビデオカメラを動作させるかを設定しておくと、該車両が該地点へ到着したと判定された場合には、該地点に対応するビデオカメラを作動させ、当該ビデオカメラからの画像を、前記表示器に表示させることを特徴とする。
【0011】
より具体的には、車両に搭載され、車両の周囲を撮影する複数の撮影用ビデオカメラと、そのビデオカメラで撮影された映像を表示する表示器で構成される車両の周辺監視装置であって、
当該車両の所定の車庫の位置を登録する登録手段と、前記所定の車庫に対応して、前記複数の撮影用ビデオカメラのうちで、該車両のどの位置のビデオカメラを作動させるかを設定する設定手段と、当該車両が前記登録手段により登録された、前記所定の車庫に到着したかを判定する判定手段と、その判定手段により、当該車両が前記所定の車庫に到着したと判定された場合、前記設定手段により設定されている前記所定の車庫に対応したビデオカメラを作動させるビデオカメラ作動手段と、当該ビデオカメラからの画像を受けて前記表示器に送る表示手段と、を含むことを特徴とする車両の周辺監視装置として構成される。
【0012】
本発明によれば、自宅あるいは勤務先等の頻繁に使用する駐車場に駐車する場合、該駐車場の構造や駐車する際に注意すべき場所は運転者にとって周知のものである。例えば、該駐車場では、車両後方よりも車両右側方に注意しなければならない場合、該駐車場の位置と対応して作動させたい位置(この場合は車両右側方)にあるビデオカメラを登録しておけば、該駐車場に接近した際に、自動的に該ビデオカメラからの画像に切り換わるので、運転者は何らの操作をすることもなく必要な画像情報を得ることができ、危険を回避しながら安全に駐車を行うことが可能となる。
【0013】
該駐車場の位置を登録する手段や、該駐車場に接近したか否かを判定する手段の一部として、ナビゲーション装置のもつ地図データ検索機能や車両の現在位置を検出する機能を活用すれば、本発明を安価かつ簡便な構成で実現できる。
【0014】
車両が該駐車場に接近して駐車することを判定する方法として、車両の現在位置と該駐車場との距離が一定の距離値以下になるという条件の他に、該車両の車速が一定の速度を下回っているという条件を加えれば、より正確な接近判定を行うことができる。
【0015】
同様に、車両が該駐車場に接近して駐車することを判定する方法として、車両の現在位置と該駐車場との距離が一定の距離値以下になるという条件の他に、該車両が後退していることを検知するという条件を加えても、接近判定を行うことができる。
【0016】
さらに、本発明を応用すれば、例えば、山間部の道幅が狭くすれ違いが困難な箇所を登録し、該箇所で対向車両とすれ違う際に、路肩の状況をビデオカメラで映すようにすれば、危険の事前予知や転落事故防止に寄与できる。
【0017】
【発明の実施の形態】
以下、本発明の実施の形態を、図面に示す実施例を参照しながら説明する。図1は本発明の一実施例としての車両の周辺監視装置の全体構成を示すブロック図で、車両に取り付けられた左前方カメラ1,右前方カメラ2,左側方カメラ3,右側方カメラ4,後方カメラ5と、画像切換合成ECU6、ナビゲーション装置7、ディスプレイ9、シフトポジションスイッチ10から構成されている。
【0018】
図2は、画像切換合成ECU6を中心として、信号の流れを表したブロック図である。
【0019】
左前方カメラ1,右前方カメラ2,左側方カメラ3,右側方カメラ4,後方カメラ5は、車体に取り付けられて車両周辺の車外を撮影する。図1の斜線で示された部分が各カメラの撮影範囲である。撮影した画像は画像切換合成ECU6に送られる。
【0020】
ディスプレイ9はカラー液晶表示器により構成されており、画像切換合成ECU6から送られてきた画像を表示する。
【0021】
カメラ選択動作開始スイッチ12,カメラ選択スイッチ13,記憶スイッチ14は、それぞれ画像切換合成ECU6に接続され、所定の操作を行う際に使用される。また、これらのスイッチの他に、ポインティングカーソル等の図示しないスイッチも含まれる。
【0022】
上記のスイッチは、例えばディスプレイ9と一体になったタッチスイッチもしくはメカニカルなスイッチ等が用いられる。タッチスイッチは、ディスプレイ9の画面上に縦横に微細に配置された赤外線センサより構成されており、例えば指やタッチペンなどでその赤外線を遮断すると、その遮断した位置が2次元座標値(X,Y)として検出される。これらのスイッチによって、種々の指示を入力することが可能である。
【0023】
シフトポジションスイッチ10は、車両のシフトレバー位置に対応した情報を画像切換合成ECU6に伝えるものである。
【0024】
ナビゲーション装置7は、図示しない接続されたアンテナを介して測位用衛星からの測位信号を受信して、車両の現在位置の測位を行うようにしてある。測位信号としては、例えばGPS(Global Positioning System)として実用化されているものが使用できる。測位された車両の現在位置を画像切換合成ECU6に送る。
【0025】
画像切換合成ECU6は、制御回路8と図示しない周知の信号処理回路などから構成されている。制御回路8は通常のコンピュータとして構成されており、内部には、図3のように周知のCPU81,ROM82,RAM83,I/O84およびこれらの構成を接続するバスライン85が備えられている。
【0026】
また、CPU81は、ROM82およびRAM83に記憶されたプログラムおよびデータにより制御を行う。図3のように、ROM82にはオペレーティングシステム(以下、OSと称する)82sとOS82s上で動作する画像切換合成プログラム82pが格納される。また、画像切換合成プログラム82pは、OS82s上にて画像切換合成プログラム用ワークメモリ83wを作業領域とする形で作動する。さらに、RAM83には、OS82sのワークメモリ83sが形成される。
【0027】
さらに、CPU81には、図3のように不揮発メモリ11が接続されている。不揮発メモリ11は、車両のイグニッションスイッチがオフ状態になっても、記憶内容が保持されるため、車庫データ11a等の常に保持しておくことが必要なデータが記憶されている。
【0028】
このような構成をとることにより、画像切換合成ECU6は、電源を投入すると、CPU81(図3)により画像切換合成プログラム82pが起動され、必要な初期化処理を行った後に、車両の周辺監視装置としての動作を開始する。即ち、カメラ選択動作開始スイッチ12,カメラ選択スイッチ13,記憶スイッチ14,シフトポジションスイッチ10の状態を監視し、車両の周辺監視装置の状態と各スイッチ入力必要に応じた処理を行う。後述の画像切換合成ECU6の動作は、画像切換合成プログラム82pによって実行されるものである。
【0029】
まず、車庫の場所とカメラ位置を設定する。図4は、その設定操作の流れを示したフロー図である。カメラ選択動作開始スイッチ12(図2)が押下されると、画像切換合成ECU6(図2)は該スイッチの押下を検知して、ナビゲーション装置7(図2)に車庫の場所を指定するための地図データを要求する信号を送る(S1)。
【0030】
ナビゲーション装置7(図2)は、画像切換合成ECU6(図2)からの要求に基づいて、画像切換合成ECU6に地図データを含む必要なデータを送り、ディスプレイ9(図2)には、図6(a)のような車庫の場所を設定する画面が表示される。(S2)
【0031】
車庫の場所の設定は、ナビゲーション装置7(図2)が通常有する、地図上で地点を指定する方法や、地名,住所,電話番号による場所検索機能等を利用する。場所検索に必要なパラメータを入力し終えると、該パラメータが画像切換合成ECU6(図2)からナビゲーション装置7に送られる。ナビゲーション装置7は受け取ったデータを基に場所の検索を行い、検索地点の座標値データと検索地点を含む地図データを画像切換合成ECU6へ送る。
【0032】
画像切換合成ECU6(図2)は、ナビゲーション装置7(図2)から送られてきた検索結果のデータをディスプレイ9(図2)に表示する。その検索結果が正しければ次のステップに進む。正しくない場合は再検索を行う。
【0033】
車庫の場所が決定されると、画像切換合成ECU6(図2)はナビゲーション装置7(図2)に該当車庫の座標値データを要求する。ナビゲーション装置7は、画像切換合成ECU6からの要求に対応する座標値データを送る。
【0034】
次に、車両入庫時にディスプレイ9(図2)に表示したいカメラ位置を選択する(S3)。ディスプレイ9には、図6(b)のような設定画面が表示される。本実施例では、運転者は、図1のように車両右側に降車時のための十分な空間を確保するために、車庫の屋根の支柱15(図1)に可能な限り車両を寄せて駐車しようとする。このため、運転者は、車両後方よりも車両左側方の状態に注意を払う傾向にある。よって、この場合は、左側方カメラ3(図1)を選択することとなる。
【0035】
車庫の場所の設定,カメラ位置選択を行う際の、ディスプレイ9(図2)の表示は、図6の例以外にも、図7のように車庫の場所を設定した後に、カメラ位置選択画面がサブウィンドウとして表示し、地図上の車庫表示位置を確認しながら選択できるような表示方法を採ってもよい。サブウィンドウ方式の他にも、車庫の場所の設定画面とカメラ位置選択画面を分割して同時に表示する方法を採ってもよい。
【0036】
車庫の場所の設定,カメラ位置選択を行う際に、前進駐車を行うか後退駐車を行うかの駐車方法を設定してもよい。このデータは不揮発メモリ11の車庫データ11a(図3)に記憶すればよい。これにより、シフトポジションスイッチ10(図2)からの情報も、車庫に駐車するかどうかの判定に使用することが可能となる。
【0037】
車庫の場所の指定とカメラ位置の選択が終了したら、記憶スイッチ14(図2)を押す(S4)。このとき、画像切換合成ECU6(図2)は、車庫の場所の座標値データと車庫の場所に対応して選択されたカメラ位置を車庫データ11a(図3)として記憶する。なお、図3のように、車庫の場所とそれに対応する作動カメラ位置は、複数指定可能である。
【0038】
図5のフロー図を用いて、ナビゲーション装置7(図2)からの位置情報により、自宅車庫であることを判断してカメラを自動選択する処理について説明する。
【0039】
画像切換合成ECU6(図2)は、定期的にナビゲーション装置7(図2)に要求を出して、車両の現在位置の座標値を取得する(S11)。また、画像切換合成ECU6に接続されて車両の速度を測定する図示しない車速センサ、あるいは、ナビゲーション装置7から車速データを定期的に取得する(S12)。
【0040】
取得した座標値と、車庫データ11a(図3)うちの車庫の座標値データから、車両が車庫の近くに来たかどうかを判断する。判断基準は、車両の現在位置の座標値が、車庫の座標値データと一致する場合、車両の現在位置と車庫との距離が一定値以下になった場合が挙げられる。
【0041】
車両が車庫の近くに来たと判断されたときに、車速データが所定の速度(例えば、5km/h)を下回った場合、車両は車庫に入庫するものと判断し(S13:YES)、車庫データ11a(図3)のうちの作動カメラ位置データを読み出して、そのカメラからの画像をディスプレイ9(図2)に表示する(S14)。
【0042】
ディスプレイ9へ(図2)の表示は、図示しないイグニッションスイッチ(図示せず)がオン状態の間続けて(S15:NO)、イグニッションスイッチがオフ状態になったら停止する(S15:YES)。
【0043】
また、ディスプレイ9(図2)への表示は、設定された位置のカメラからの画像のみを表示する方法以外にも、画面を分割して車庫に入庫する前に撮影していたカメラからの画像と同時に表示する方法を採ってもよい。この場合の画面分割形態については、車庫に入庫するときに使用するカメラからの画像を十分確認できるようなものであれば特に制約はない。
【0044】
車両が入庫動作を行っていると判定されているときに、車速が所定の速度(例えば、5km/h)を上回った場合、あるいは、車両が車庫から所定の距離以上離れた場合、画像切換合成ECU6(図2)は車両が入庫を中止したと判断して、ディスプレイ9(図2)に表示するカメラ画像を、車両が入庫する前に表示していたカメラ位置のものに戻す。
【0045】
車両は車庫に入庫するものと判断するパラメータに、シフトポジションスイッチ10(図2)からの情報を利用する方法を採ってもよい。即ち、上記の説明で、車両が車庫の近くに来たと判断されたときに、シフトポジションスイッチ10からの情報が車両のシフトレバーが後退位置にあることを示している場合、車両は車庫に入庫するものと判断できる。
【0046】
また、車庫データ11a(図3)に記憶されている情報の中に、車庫の場所,カメラ位置の他に、駐車方法として後退駐車を行う情報を記憶しておき、上記と同様に、車両が車庫の近くに来たと判断されたときに、シフトポジションスイッチ10の情報が車両のシフトレバーが後退位置にあることを示している場合、車両は車庫に入庫するものと判断方法を採ってもよい。
【0047】
車両が入庫動作を行っていると判定されているときに、シフトポジションスイッチ10(図2)からの情報が車両のシフトレバーが後退位置にないことを示した場合、画像切換合成ECU6(図2)は車両が入庫を中止したと判断して、ディスプレイ9(図2)に表示するカメラ画像を、車両が入庫する前に表示していたカメラ位置のものに戻す方法を採ってもよい。
【0048】
上記に述べた、シフトポジションスイッチ10(図2)からの情報を、車両が車庫に入庫するものと判断するための条件として使用する場合、車両の現在位置と車庫との距離条件と車速条件に加えて使用してもよいし、前記で車速条件を除いて使用する方法を採ってもよい。
【0049】
画像切換合成ECU6(図2)とナビゲーション装置7(図2)を一体化して、本発明の車両の周辺監視装置をナビゲーション装置7の機能の一部として実現する方法を採ってもよい。この場合は、ディスプレイ9(図2)はナビゲーション装置7の表示装置を使用すれば不要となり、カメラ選択動作開始スイッチ12(図2),カメラ選択スイッチ13(図2),記憶スイッチ14(図2)、およびその他の図示しないスイッチもナビゲーション装置7の操作スイッチ群を使用すれば不要となる。
【0050】
本実施例では、車両の入庫時の動作について説明したが、カメラの画像を設定された位置のものに切り換える場所は、駐車場以外の車両の駐車を行わない地点を登録してもよい。この場合、該地点への接近を判定する条件は、車両の現在位置と該地点との距離のみを用いたり、車速の閾値を変更することで対応可能である。また、地点を登録する際に、動作カメラ位置の他に、該地点での車両の状態(駐車,停車,徐行など)を設定し、該地点での車両の挙動が登録してある状態と一致した場合に、カメラの画像を設定された位置のものに切り換える方法を採ってもよい。
【0051】
以上、本発明の実施の形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。
【図面の簡単な説明】
【図1】本発明の一実施例としての車庫駐車支援装置の全体構成を示すブロック図。
【図2】画像切換合成ECUを中心とした各部の信号の流れを説明するブロック図
【図3】画像切換合成ECU内の制御部の詳細を説明するブロック図
【図4】カメラ選択時の動作を示すフロー図。
【図5】車庫駐車時の動作を示すフロー図。
【図6】車庫設定およびカメラ選択時の表示画面の一例を示す説明図。
【図7】車庫設定およびカメラ選択時の表示画面の変形例を示す説明図。
【符号の説明】
1 左前方カメラ
2 右前方カメラ
3 左側方カメラ
4 右側方カメラ
5 後方カメラ
6 画像切換合成ECU
7 ナビゲーション装置
8 制御回路
9 ディスプレイ
10 シフトポジションスイッチ
11 不揮発メモリ
12 カメラ選択動作開始スイッチ
13 カメラ選択スイッチ
14 記憶スイッチ
15 支柱
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle periphery monitoring device that is mounted on a front portion or a rear portion of a vehicle, captures a field of view on the left and right sides of the vehicle, and presents the visual field image to a driver.
[0002]
[Prior art]
In recent years, a so-called back monitor in which a video camera is attached to the rear part of a vehicle such as an automobile and an image taken by the video camera is displayed on a monitor arranged at a predetermined position in the car is known. Various practical applications. This back monitor is mainly used to improve the safety at the time of reversing so that when the vehicle is moved backward, the rear that becomes a blind spot from the driver's seat can be confirmed on the monitor. As a monitor in this case, as a so-called car navigation device, a monitor for displaying a road map in the vicinity of the current position during traveling is often used. In addition, a display device dedicated to the back monitor may be arranged near the driver's seat.
[0003]
In addition to the rear part of the vehicle, a camera system for an automobile that has a plurality of cameras and monitors the surroundings has been devised, and a system for selecting a camera to be displayed on the display by the steering angle or the operation of the direction indicator is provided. It has been proposed (see Patent Document 1).
[0004]
Also, instead of the operation of the direction indicator, based on the electronic map data and the current position data of the vehicle, the vehicle travels the route set by the navigation device in cooperation with the navigation device that guides the route to the destination. Under such circumstances, there is also proposed a system for selecting a camera to be displayed on a display when the vehicle travels in the vicinity of a bent position on the route (see Patent Document 2).
[0005]
[Patent Document 1]
JP-A-10-258682 [Patent Document 2]
Japanese Patent Laid-Open No. 2002-225629
[Problems to be solved by the invention]
In the method of Patent Literature 1, when the camera image to be displayed is determined by the shape of the garage, not the turning angle of the steering wheel, the direction indicator, or the position of the shift lever, such as a garage at home. There is a problem that the video of the camera where you really want to see is not displayed.
[0007]
For example, in reverse parking, an image of a camera usually installed at the rear of the vehicle is displayed. However, the target when entering the garage is not behind the vehicle. In particular, in a garage at home, the garage is often placed with reference to objects that are not behind the vehicle, such as the distance from the fence on the passenger seat side and the relative position to the plant. These targets are also different depending on the driver who uses the same garage. Therefore, in a vehicle in which an image of a camera installed at the rear of the vehicle is automatically displayed when the shift position becomes the reverse position, the driver may not obtain information that the driver wants to obtain when entering the garage.
[0008]
The method of Patent Document 2 is effective only in a situation where the vehicle is traveling on the route set by the navigation device, and the camera position and the display switching timing of the camera image in that case cannot be determined by the driver. The problem remains that the image of the camera where you really want to see is not displayed.
[0009]
In view of the above circumstances, an object of the present invention is to provide a vehicle periphery monitoring device that automatically displays a video of a camera at a position a driver wants to see when parking in a predetermined garage.
[0010]
[Means for Solving the Problems and Effects of the Invention]
The present invention is a vehicle periphery monitoring device for solving the above problems. That is, a vehicle periphery monitoring device that is mounted on a vehicle and includes a plurality of video cameras for shooting and images around the vehicle,
In the vehicle, a point is registered, and it is set in which position the video camera is operated at that point. When it is determined that the vehicle has arrived at the point, A corresponding video camera is operated, and an image from the video camera is displayed on the display.
[0011]
More specifically, it is a vehicle periphery monitoring device that is mounted on a vehicle and includes a plurality of video cameras for shooting around the vehicle and a display that displays images shot by the video camera. ,
A registration unit for registering a position of a predetermined garage of the vehicle, and a position corresponding to the predetermined garage to which position of the video camera of the vehicle to be operated is selected from among the plurality of video cameras for photographing. A setting unit, a determination unit that determines whether the vehicle has arrived at the predetermined garage registered by the registration unit, and a case where the determination unit determines that the vehicle has arrived at the predetermined garage Video camera operating means for operating a video camera corresponding to the predetermined garage set by the setting means, and display means for receiving an image from the video camera and sending it to the display device. This is configured as a vehicle periphery monitoring device.
[0012]
According to the present invention, when parking in a frequently used parking lot such as at home or work, the structure of the parking lot and a place to be careful when parking are well known to the driver. For example, in the parking lot, when attention must be paid to the right side of the vehicle rather than the rear of the vehicle, the video camera at the position to be operated corresponding to the position of the parking lot (in this case, the right side of the vehicle) is registered. Then, when approaching the parking lot, it automatically switches to the image from the video camera, so the driver can obtain the necessary image information without any operation, and the risk is reduced. It is possible to park safely while avoiding it.
[0013]
If you use the map data search function of the navigation device and the function of detecting the current position of the vehicle as part of the means for registering the position of the parking lot and the means for determining whether or not the parking lot has been approached The present invention can be realized with an inexpensive and simple configuration.
[0014]
As a method of determining that the vehicle is parked close to the parking lot, in addition to the condition that the distance between the current position of the vehicle and the parking lot is a certain distance value or less, the vehicle speed of the vehicle is constant. If the condition that the speed is lower is added, a more accurate approach determination can be performed.
[0015]
Similarly, as a method of determining that the vehicle is parked close to the parking lot, in addition to the condition that the distance between the current position of the vehicle and the parking lot is equal to or less than a certain distance value, the vehicle moves backward. Even if the condition of detecting that the user is doing is added, the approach determination can be performed.
[0016]
Furthermore, if the present invention is applied, for example, if a road in a mountainous area is narrow and it is difficult to pass a road, and when the road passes by an oncoming vehicle, the situation of the road shoulder is projected with a video camera, it is dangerous. Can contribute to the advance prediction and fall prevention.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to examples shown in the drawings. FIG. 1 is a block diagram showing the overall configuration of a vehicle periphery monitoring device according to an embodiment of the present invention. The left front camera 1, the right front camera 2, the left side camera 3, the right side camera 4, and the like attached to the vehicle. It consists of a rear camera 5, an image switching synthesis ECU 6, a navigation device 7, a display 9, and a shift position switch 10.
[0018]
FIG. 2 is a block diagram showing the flow of signals with the image switching synthesis ECU 6 as the center.
[0019]
The left front camera 1, the right front camera 2, the left side camera 3, the right side camera 4, and the rear camera 5 are attached to the vehicle body and photograph the outside of the vehicle around the vehicle. The hatched portion in FIG. 1 is the shooting range of each camera. The captured image is sent to the image switching synthesis ECU 6.
[0020]
The display 9 is composed of a color liquid crystal display, and displays an image sent from the image switching synthesis ECU 6.
[0021]
The camera selection operation start switch 12, the camera selection switch 13, and the storage switch 14 are respectively connected to the image switching synthesis ECU 6 and used when performing a predetermined operation. In addition to these switches, switches (not shown) such as a pointing cursor are also included.
[0022]
For example, a touch switch or a mechanical switch integrated with the display 9 is used as the switch. The touch switch is composed of infrared sensors that are finely arranged in the vertical and horizontal directions on the screen of the display 9. For example, when the infrared ray is cut off with a finger or a touch pen, the cut-off position is represented by a two-dimensional coordinate value (X, Y). ) Is detected. With these switches, various instructions can be input.
[0023]
The shift position switch 10 transmits information corresponding to the shift lever position of the vehicle to the image switching composition ECU 6.
[0024]
The navigation device 7 receives a positioning signal from a positioning satellite via a connected antenna (not shown) and measures the current position of the vehicle. As the positioning signal, for example, a signal that is put into practical use as a GPS (Global Positioning System) can be used. The current position of the measured vehicle is sent to the image switching composition ECU 6.
[0025]
The image switching synthesis ECU 6 includes a control circuit 8 and a well-known signal processing circuit (not shown). The control circuit 8 is configured as a normal computer, and includes a known CPU 81, ROM 82, RAM 83, I / O 84 and a bus line 85 for connecting these configurations as shown in FIG.
[0026]
The CPU 81 controls the program and data stored in the ROM 82 and the RAM 83. As shown in FIG. 3, the ROM 82 stores an operating system (hereinafter referred to as OS) 82s and an image switching composition program 82p operating on the OS 82s. The image switching composition program 82p operates on the OS 82s with the image switching composition program work memory 83w as a work area. Furthermore, the work memory 83s of the OS 82s is formed in the RAM 83.
[0027]
Further, the nonvolatile memory 11 is connected to the CPU 81 as shown in FIG. The non-volatile memory 11 stores data that needs to be held at all times, such as the garage data 11a, since the stored contents are held even when the ignition switch of the vehicle is turned off.
[0028]
By adopting such a configuration, when the power is turned on, the image switching composition ECU 6 starts the image switching composition program 82p by the CPU 81 (FIG. 3), performs necessary initialization processing, and then performs a vehicle periphery monitoring device. Start the operation as. That is, the state of the camera selection operation start switch 12, the camera selection switch 13, the storage switch 14, and the shift position switch 10 is monitored, and the state of the vehicle periphery monitoring device and the processing according to the input of each switch are performed. The operation of the image switching composition ECU 6 described later is executed by the image switching composition program 82p.
[0029]
First, the garage location and camera position are set. FIG. 4 is a flowchart showing the flow of the setting operation. When the camera selection operation start switch 12 (FIG. 2) is pressed, the image switching composition ECU 6 (FIG. 2) detects the pressing of the switch and designates the location of the garage in the navigation device 7 (FIG. 2). A signal requesting map data is sent (S1).
[0030]
The navigation device 7 (FIG. 2) sends necessary data including map data to the image switching composition ECU 6 based on a request from the image switching composition ECU 6 (FIG. 2). A screen for setting the location of the garage as shown in (a) is displayed. (S2)
[0031]
The location of the garage is set using a method of specifying a point on a map, a place search function based on a place name, address, and telephone number, which the navigation device 7 (FIG. 2) normally has. When the input of the parameters necessary for the location search is completed, the parameters are sent from the image switching synthesis ECU 6 (FIG. 2) to the navigation device 7. The navigation device 7 searches for the location based on the received data, and sends the coordinate value data of the search point and the map data including the search point to the image switching synthesis ECU 6.
[0032]
The image switching composition ECU 6 (FIG. 2) displays the search result data sent from the navigation device 7 (FIG. 2) on the display 9 (FIG. 2). If the search result is correct, the process proceeds to the next step. If it is not correct, search again.
[0033]
When the location of the garage is determined, the image switching synthesis ECU 6 (FIG. 2) requests the coordinate value data of the corresponding garage from the navigation device 7 (FIG. 2). The navigation device 7 sends coordinate value data corresponding to the request from the image switching synthesis ECU 6.
[0034]
Next, the camera position to be displayed on the display 9 (FIG. 2) when the vehicle is received is selected (S3). A setting screen as shown in FIG. 6B is displayed on the display 9. In this embodiment, the driver parks the vehicle as close as possible to the column 15 (FIG. 1) on the roof of the garage in order to ensure sufficient space for getting off the vehicle on the right side of the vehicle as shown in FIG. try to. For this reason, the driver tends to pay attention to the state on the left side of the vehicle rather than the rear of the vehicle. Therefore, in this case, the left side camera 3 (FIG. 1) is selected.
[0035]
When the garage location is set and the camera position is selected, the display 9 (FIG. 2) displays the camera position selection screen after setting the garage location as shown in FIG. A display method may be adopted in which it is displayed as a sub window and can be selected while checking the garage display position on the map. In addition to the sub-window method, a method of dividing and displaying the garage location setting screen and the camera position selection screen at the same time may be adopted.
[0036]
When setting the location of the garage and selecting the camera position, a parking method for performing forward parking or backward parking may be set. This data may be stored in the garage data 11a (FIG. 3) of the nonvolatile memory 11. Thereby, the information from the shift position switch 10 (FIG. 2) can also be used to determine whether or not to park in the garage.
[0037]
When the designation of the garage location and the selection of the camera position are completed, the storage switch 14 (FIG. 2) is pressed (S4). At this time, the image switching composition ECU 6 (FIG. 2) stores the coordinate value data of the garage location and the camera position selected corresponding to the garage location as the garage data 11a (FIG. 3). As shown in FIG. 3, a plurality of garage locations and corresponding operation camera positions can be designated.
[0038]
With reference to the flowchart of FIG. 5, processing for automatically selecting a camera by determining that it is a home garage based on position information from the navigation device 7 (FIG. 2) will be described.
[0039]
The image switching composition ECU 6 (FIG. 2) periodically issues a request to the navigation device 7 (FIG. 2) to acquire the coordinate value of the current position of the vehicle (S11). Further, vehicle speed data is periodically acquired from a vehicle speed sensor (not shown) connected to the image switching synthesis ECU 6 for measuring the speed of the vehicle or the navigation device 7 (S12).
[0040]
From the acquired coordinate values and the coordinate value data of the garage in the garage data 11a (FIG. 3), it is determined whether or not the vehicle has come close to the garage. The criteria for determination include a case where the coordinate value of the current position of the vehicle matches the coordinate value data of the garage, and the distance between the current position of the vehicle and the garage becomes a certain value or less.
[0041]
When it is determined that the vehicle has come close to the garage, if the vehicle speed data falls below a predetermined speed (for example, 5 km / h), the vehicle is determined to enter the garage (S13: YES), and the garage data The operation camera position data in 11a (FIG. 3) is read, and an image from the camera is displayed on the display 9 (FIG. 2) (S14).
[0042]
Display on the display 9 (FIG. 2) continues while an unillustrated ignition switch (not shown) is on (S15: NO), and stops when the ignition switch is off (S15: YES).
[0043]
In addition to displaying only images from the camera at the set position, the display 9 (FIG. 2) can display images from the camera taken before dividing the screen and entering the garage. You may take the method of displaying simultaneously. The screen division form in this case is not particularly limited as long as the image from the camera used when entering the garage can be sufficiently confirmed.
[0044]
When it is determined that the vehicle is performing a warehousing operation, if the vehicle speed exceeds a predetermined speed (for example, 5 km / h), or if the vehicle is separated from the garage by a predetermined distance or more, image switching composition The ECU 6 (FIG. 2) determines that the vehicle has stopped warehousing, and returns the camera image displayed on the display 9 (FIG. 2) to the camera position displayed before the vehicle warehousing.
[0045]
A method of using information from the shift position switch 10 (FIG. 2) as a parameter for determining that the vehicle enters the garage may be adopted. That is, when it is determined in the above description that the vehicle has come close to the garage, if the information from the shift position switch 10 indicates that the shift lever of the vehicle is in the reverse position, the vehicle enters the garage. Can be determined.
[0046]
Further, in the information stored in the garage data 11a (FIG. 3), in addition to the location of the garage and the camera position, information for performing reverse parking as a parking method is stored. When it is determined that the vehicle is close to the garage, if the information of the shift position switch 10 indicates that the shift lever of the vehicle is in the retracted position, a determination method may be taken that the vehicle enters the garage. .
[0047]
When it is determined that the vehicle is performing a warehousing operation, if the information from the shift position switch 10 (FIG. 2) indicates that the shift lever of the vehicle is not in the reverse position, the image switching composition ECU 6 (FIG. 2). ) May determine that the vehicle has stopped warehousing and return the camera image displayed on the display 9 (FIG. 2) to the camera position displayed before the vehicle warehousing.
[0048]
When the information from the shift position switch 10 (FIG. 2) described above is used as a condition for determining that the vehicle enters the garage, the distance condition between the current position of the vehicle and the garage and the vehicle speed condition are set. In addition, you may use, and the method of using except a vehicle speed condition above may be taken.
[0049]
A method of integrating the image switching synthesis ECU 6 (FIG. 2) and the navigation device 7 (FIG. 2) to realize the vehicle periphery monitoring device of the present invention as a part of the function of the navigation device 7 may be adopted. In this case, the display 9 (FIG. 2) becomes unnecessary if the display device of the navigation device 7 is used, and the camera selection operation start switch 12 (FIG. 2), the camera selection switch 13 (FIG. 2), and the storage switch 14 (FIG. 2). ) And other switches (not shown) are not required if the operation switch group of the navigation device 7 is used.
[0050]
In the present embodiment, the operation at the time of warehousing of the vehicle has been described. However, the place where the image of the camera is switched to the set position may be a point where the vehicle is not parked other than the parking lot. In this case, the condition for determining the approach to the point can be dealt with by using only the distance between the current position of the vehicle and the point or changing the threshold value of the vehicle speed. Also, when registering a location, in addition to the operating camera position, set the vehicle status (parking, stopping, slow driving, etc.) at that location, and the vehicle behavior at that location matches the registered status In such a case, a method of switching the camera image to that at the set position may be adopted.
[0051]
Although the embodiments of the present invention have been described above, these are merely examples, and the present invention is not limited to them, and the knowledge of those skilled in the art can be used without departing from the scope of the claims. Various modifications based on this are possible.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of a garage parking assist apparatus as an embodiment of the present invention.
FIG. 2 is a block diagram for explaining the flow of signals in each part centering on the image switching synthesis ECU. FIG. 3 is a block diagram for explaining the details of a control unit in the image switching synthesis ECU. FIG.
FIG. 5 is a flowchart showing an operation during parking in a garage.
FIG. 6 is an explanatory diagram showing an example of a display screen at the time of garage setting and camera selection.
FIG. 7 is an explanatory diagram showing a modified example of a display screen at the time of garage setting and camera selection.
[Explanation of symbols]
1 Left front camera 2 Right front camera 3 Left side camera 4 Right side camera 5 Rear camera 6 Image switching composition ECU
7 Navigation device 8 Control circuit 9 Display 10 Shift position switch 11 Non-volatile memory 12 Camera selection operation start switch 13 Camera selection switch 14 Memory switch 15 Post

Claims (8)

車両に搭載され、車両の周囲を撮影する複数の撮影用ビデオカメラと、そのビデオカメラで撮影された映像を表示する表示器で構成される車両の周辺監視装置であって、
該車両において、地点を登録し、その地点で該車両のどの位置のビデオカメラを動作させるかを運転者の事前の操作により設定すると、該車両が該地点へ到着したと判定された場合には、当該ビデオカメラを作動させて、その画像を前記表示器に表示させる制御手段を有することを特徴とする車両の周辺監視装置。
A vehicle periphery monitoring device that is mounted on a vehicle and includes a plurality of video cameras for photographing the periphery of the vehicle, and a display that displays images captured by the video camera,
If it is determined that the vehicle has arrived at the point by registering a point in the vehicle and setting the position at which the video camera is to be operated by the driver's prior operation. A vehicle periphery monitoring device comprising control means for operating the video camera and displaying the image on the display.
車両に搭載され、車両の周囲を撮影する複数の撮影用ビデオカメラと、そのビデオカメラで撮影された映像を表示する表示器で構成される車両の周辺監視装置であって、
当該車両の所定の車庫の位置を登録する登録手段と、
前記所定の車庫に対応して、前記複数の撮影用ビデオカメラのうちで、該車両のどの位置のビデオカメラを作動させるかを運転者の事前の操作により設定する設定手段と、
当該車両が前記登録手段により登録された、前記所定の車庫に到着したかを判定する判定手段と、
その判定手段により、当該車両が前記所定の車庫に到着したと判定された場合、前記設定手段により設定されている前記所定の車庫に対応したビデオカメラを作動させるビデオカメラ作動手段と、
当該ビデオカメラからの画像を受けて前記表示器に送る表示手段と、
を含むことを特徴とする車両の周辺監視装置。
A vehicle periphery monitoring device that is mounted on a vehicle and includes a plurality of video cameras for photographing the periphery of the vehicle, and a display that displays images captured by the video camera,
Registration means for registering the position of a predetermined garage of the vehicle;
Corresponding to the predetermined garage, among the plurality of video cameras for shooting, setting means for setting by a driver's prior operation which video camera position of the vehicle is to be operated;
Determination means for determining whether the vehicle has arrived at the predetermined garage registered by the registration means;
When it is determined by the determining means that the vehicle has arrived at the predetermined garage, a video camera operating means for operating a video camera corresponding to the predetermined garage set by the setting means;
Display means for receiving an image from the video camera and sending it to the display;
A vehicle periphery monitoring device comprising:
前記表示手段は、前記表示器と当該ビデオカメラからの画像データを自身の持つ表示器に送る画像送信手段からなるものである請求項2に記載の車両の周辺監視装置。  3. The vehicle periphery monitoring device according to claim 2, wherein the display unit includes an image transmission unit that transmits image data from the display unit and the video camera to a display unit of the display unit. 前記判定手段は、車両の現在位置を検出する位置検出手段と、その位置検出手段から得られる当該車両の現在位置データに基づいて、当該車両と前記所定の車庫との距離を演算し、演算された距離が所定の距離以内となったときに、当該車両が前記所定の車庫に到着したと判定するものである請求項2ないし請求項3のいずれか1項に記載の車両の周辺監視装置。  The determination means calculates a distance between the vehicle and the predetermined garage based on position detection means for detecting the current position of the vehicle and current position data of the vehicle obtained from the position detection means. The vehicle periphery monitoring device according to any one of claims 2 to 3, wherein the vehicle is determined to have arrived at the predetermined garage when the distance is within a predetermined distance. 前記判定手段は、車両の現在位置を検出する位置検出手段と、その位置検出手段から得られる当該車両の現在位置データに基づいて、当該車両と前記所定の車庫との距離を演算し、演算された距離が所定の距離以内となり、かつ、当該車両について計測される車速が所定の速度を下回ったことを検出したときに、当該車両が前記所定の車庫に到着したと判定するものである請求項2ないし請求項3のいずれか1項に記載の車両の周辺監視装置。  The determination means calculates a distance between the vehicle and the predetermined garage based on position detection means for detecting the current position of the vehicle and current position data of the vehicle obtained from the position detection means. And determining that the vehicle has arrived at the predetermined garage when it is detected that the measured vehicle speed is within a predetermined distance and the vehicle speed measured for the vehicle is below the predetermined speed. The vehicle periphery monitoring device according to any one of claims 2 to 3. 前記判定手段は、前記位置検出手段から得られる当該車両の現在位置データに基づいて、当該車両と前記所定の車庫との距離を演算し、演算された距離が所定の距離以内となり、かつ、当該車両が後退していることを検出したときに、当該車両が前記所定の車庫に到着したと判定するものである請求項2ないし請求項3のいずれか1項に記載の車両の周辺監視装置。  The determination means calculates a distance between the vehicle and the predetermined garage based on the current position data of the vehicle obtained from the position detection means, the calculated distance is within a predetermined distance, and the The vehicle periphery monitoring device according to any one of claims 2 to 3, wherein when detecting that the vehicle is moving backward, it is determined that the vehicle has arrived at the predetermined garage. 前記登録手段により登録された、前記所定の車庫の場所の位置と、前記設定手段により設定された、その所定の車庫に対応して作動させる前記撮影用ビデオカメラの位置とを関連付けて記憶する記憶手段を備える請求項2ないし請求項6のいずれか1項に記載の車両の周辺監視装置。A storage that stores the position of the predetermined garage location registered by the registration means and the position of the video camera for shooting that is set by the setting means and operates in accordance with the predetermined garage. The vehicle periphery monitoring device according to any one of claims 2 to 6, further comprising means. 前記登録手段および前記設定手段により、前記所定の車庫の場所の位置と、その所定の車庫に対応して作動させる前記撮影用ビデオカメラの位置を関連付けたものを複数登録・設定可能である請求項2ないし請求項7のいずれか1項に記載の車両の周辺監視装置。The registration means and the setting means are capable of registering and setting a plurality of associations between the position of the predetermined garage location and the position of the video camera to be operated corresponding to the predetermined garage. The vehicle periphery monitoring device according to any one of claims 2 to 7.
JP2003072619A 2003-03-17 2003-03-17 Vehicle periphery monitoring device Expired - Fee Related JP4096251B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003072619A JP4096251B2 (en) 2003-03-17 2003-03-17 Vehicle periphery monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003072619A JP4096251B2 (en) 2003-03-17 2003-03-17 Vehicle periphery monitoring device

Publications (2)

Publication Number Publication Date
JP2004282510A JP2004282510A (en) 2004-10-07
JP4096251B2 true JP4096251B2 (en) 2008-06-04

Family

ID=33288767

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003072619A Expired - Fee Related JP4096251B2 (en) 2003-03-17 2003-03-17 Vehicle periphery monitoring device

Country Status (1)

Country Link
JP (1) JP4096251B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4622471B2 (en) * 2004-11-16 2011-02-02 ソニー株式会社 Driving evaluation apparatus and driving evaluation method
JP3930025B2 (en) * 2005-01-27 2007-06-13 松下電器産業株式会社 Display control device
JP4847051B2 (en) * 2005-06-09 2011-12-28 クラリオン株式会社 Vehicle surrounding monitoring method and system
WO2008143079A1 (en) * 2007-05-22 2008-11-27 Autonetworks Technologies, Ltd. Car video changeover module and car image picking-up device
JP2009248952A (en) * 2008-04-11 2009-10-29 Pioneer Electronic Corp Display device of photographic information, display method thereof, and display program thereof
JP5067377B2 (en) * 2009-02-10 2012-11-07 株式会社デンソー Parking support system, on-vehicle parking support device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3417134B2 (en) * 1995-04-21 2003-06-16 日産自動車株式会社 Vehicle side monitoring device
JP3577359B2 (en) * 1995-04-26 2004-10-13 本田技研工業株式会社 Vehicle imaging system
JP2000207696A (en) * 1999-01-18 2000-07-28 Sharp Corp On-vehicle camera apparatus
JP2002117496A (en) * 2000-10-12 2002-04-19 Matsushita Electric Ind Co Ltd On-vehicle rear confirmation support device and on- vehicle navigation device
JP4275302B2 (en) * 2000-10-24 2009-06-10 株式会社オートネットワーク技術研究所 In-vehicle image display device

Also Published As

Publication number Publication date
JP2004282510A (en) 2004-10-07

Similar Documents

Publication Publication Date Title
US10710504B2 (en) Surroundings-monitoring device and computer program product
KR101229159B1 (en) Periphery monitoring device
US20190283736A1 (en) Parking control device and vehicle control device
JP3803021B2 (en) Driving assistance device
JP6958117B2 (en) Parking support device
CN112124097A (en) Parking assist system
JP2007223338A (en) Display system, moving body, display method, display program and storage medium thereof
US20140118549A1 (en) Automated vehicle periphery monitoring apparatus and image displaying method
US11620834B2 (en) Periphery monitoring device
US10926701B2 (en) Parking assistance method and parking assistance device
JP2012056428A (en) Driving support device
JP4766314B2 (en) Vehicle driving support device
JP4797849B2 (en) Driving support image display system and in-vehicle device
JP2018108767A (en) Vehicle control device and vehicle control method
US11292387B2 (en) Towing assistance apparatus
JP4096251B2 (en) Vehicle periphery monitoring device
JP5076819B2 (en) Vehicle driving support device and vehicle driving support method
JP6932631B2 (en) Image display device and driving support system
JP5236328B2 (en) Vehicle driving support device
KR101115076B1 (en) System and method for preventing collision depending on driving situation
JP4725310B2 (en) Inter-vehicle communication system
JP6364731B2 (en) Vehicle rear image presentation device
JP4353016B2 (en) Reverse guide display device for vehicle
JP4088288B2 (en) Vehicle periphery monitoring device
JP2005205983A (en) Apparatus for visually recognizing surrounding of own vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120321

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120321

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130321

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140321

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees