JP4234463B2 - 車両周辺監視装置及び車両周辺監視方法 - Google Patents
車両周辺監視装置及び車両周辺監視方法 Download PDFInfo
- Publication number
- JP4234463B2 JP4234463B2 JP2003045780A JP2003045780A JP4234463B2 JP 4234463 B2 JP4234463 B2 JP 4234463B2 JP 2003045780 A JP2003045780 A JP 2003045780A JP 2003045780 A JP2003045780 A JP 2003045780A JP 4234463 B2 JP4234463 B2 JP 4234463B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- imaging camera
- signal
- clearance sonar
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、車両が他の障害物に衝突するのを防止するよう、当該車両の周辺を監視する車両周辺監視装置及び車両周辺監視方法に関する。
【０００２】
【従来の技術】
自動車においては、図８の如く、車両のバンパーやフロントグリル１に設置した撮像装置３の撮像カメラにより、車両の周辺（例えば左右両側等）の景色を撮像し、撮像した各撮像画像を車両内に設置した表示装置５に表示する車両周辺監視装置が装備されることがある。
【０００３】
参考のために、この発明に関連する先行技術文献を示しておく。
【０００４】
【特許文献１】
特開２００２−３３１８６９号公報
【０００５】
【発明が解決しようとする課題】
撮像カメラ３を車両のバンパーやフロントグリル１等に設置した場合、撮像カメラ３がフロントグリル１等より出っ張るため、意匠性を損なうという問題がある。
【０００６】
また、車両周辺監視装置を使用していない場合に、撮像カメラ３が車両のバンパーやフロントグリル１等から突出していると、レンズ等に粉塵が付着しやすいために映像の品質が低下したり、さらに走行時に砂利や小石等が撮像カメラに当接した場合には撮像カメラ３が傷付くおそれがあった。
【０００７】
そこで、この発明の課題は、車両全体の意匠性を確保するとともに、非使用時に粉塵の付着や砂利等の当接による損傷を防止し得る車両周辺監視装置及び車両周辺監視方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決すべく、請求項１に記載の発明は、車両の所定の部位で出没自在に取り付けられ、前記車両の外方向の景観を撮像する撮像カメラと、前記撮像カメラで撮像された映像を表示するための表示装置と、前記撮像カメラを車両の所定の部位から出没させる出没駆動装置と、少なくとも前記出没駆動装置を制御する主制御部とを備え、前記主制御部が、車両周辺の障害物の存在を検知するクリアランスソナー障害物検知センサーからの信号に基づいて、前記撮像カメラからの映像の前記表示装置への表示を制御し、前記主制御部が、前記クリアランスソナー障害物検知センサーを有効に機能させるためのクリアランスソナー設定スイッチからの信号に基づいて、当該クリアランスソナー設定スイッチからの信号がオン状態の場合に前記撮像カメラを突出状態とする一方、前記クリアランスソナー設定スイッチからの信号がオフ状態の場合に前記撮像カメラを没入状態とするよう、前記出没駆動装置を制御するものである。
【０００９】
請求項２に記載の発明は、請求項１に記載の車両周辺監視装置であって、前記主制御部が、車速センサからの信号に基づいて、車速が所定の基準速度値を超えるか否かを判断し、この判断結果に基づいて、前記車速が前記基準速度値を超えている場合に前記撮像カメラを没入状態とする一方、前記車速が前記基準速度値未満の場合に前記撮像カメラを突出状態とするよう、前記出没駆動装置を制御するものである。
【００１２】
請求項３に記載の発明は、撮像カメラを車両の所定の部位から出没させるか否かを決定する第１の工程と、前記第１の工程での決定結果に応じて、所定の出没駆動装置を駆動して、前記撮像カメラを車両の所定の部位から出没させる第２の工程と、前記撮像カメラが車両から突出している場合に、当該撮像カメラで撮像された映像を表示装置に表示する第３の工程とを備え、前記第３の工程において、車両周辺の障害物の存在を検知するクリアランスソナー障害物検知センサーからの信号に基づいて、車両周辺の障害物が存在しているか否かを判断し、車両周辺の障害物が存在していると判断した場合に、前記撮像カメラで撮像された映像を表示装置に表示し、前記第１の工程において、前記クリアランスソナー障害物検知センサーを有効に機能させるためのクリアランスソナー設定スイッチからの信号に基づいて、当該クリアランスソナー設定スイッチからの信号がオン状態の場合に前記撮像カメラを突出状態とする一方、前記クリアランスソナー設定スイッチからの信号がオフ状態の場合に前記撮像カメラを没入状態とするよう、前記撮像カメラの出没を決定するものである。
【００１３】
請求項４に記載の発明は、請求項３に記載の車両周辺監視方法であって、前記第１の工程において、車速センサからの信号に基づいて、車速が所定の基準速度値を超えるか否かを判断し、この判断結果に基づいて、前記車速が前記基準速度値を超えている場合に前記撮像カメラを没入状態とする一方、前記車速が前記基準速度値未満の場合に前記撮像カメラを突出状態とするよう、前記撮像カメラの出没を決定するものである。
【００１６】
【発明の実施の形態】
図１はこの発明の一の実施の形態に係る車両周辺監視装置を示す図、図２は撮像装置が車両に取り付けられている状態を示す外観斜視図、図３は撮像装置が車両に対して突出状態とされている旨を示す斜視図、図４は撮像装置が車両に対して埋没状態とされている旨を示す斜視図、図５は撮像カメラを示す模式図、図６は出没駆動装置を示す模式図である。
【００１７】
この車両周辺監視装置は、図１の如く、車輌の所定の方向の周辺景色を撮像する撮像カメラ１１と、この撮像カメラ１１の映像を画像処理する画像処理部１３と、画像処理部１３で画像処理された映像を表示する表示装置１５と、撮像カメラ１１を出没させる出没駆動装置１７と、画像処理部１３及び出没駆動装置１７を制御する主制御部１９とを備える。
【００１８】
撮像カメラ１１は、図５の如く、車両のバンパー２０の上部に形成された上孔２０ａに出没自在に設けられており、所定の撮像画素数を有するＣＣＤ等の撮像素子２１と、この撮像素子２１に対して集光するための撮像レンズ２２と、外部から取り込んだ光を撮像レンズ２２側に集光しながら反射する反射鏡部２３とが透光性の例えばエポキシ樹脂等によって成形された筐体２４内に収納されて成り、撮像素子２１で撮像された映像に係る信号が、回路基板２５及びコネクタ２６を通じて、画像処理部１３に伝達されるようになっている。
【００１９】
撮像レンズ２２及び反射鏡部２３は、車両のバンパー２０の隅部が撮像映像の下端に沿って映り込むように外方向の景観を撮像素子２１に対して集光する光学的手段として機能する。具体的に、反射鏡部２３は、撮像素子２１の上部に配置され、撮像レンズ２２は反射鏡部２３と撮像素子２１との間で上向きよりも僅かに外方向に傾斜されて配置される。これにより、外部の景観が上部の反射鏡部２３で反射されて集光された後、中央部の撮像レンズ２２で集光されて撮像素子２１に入射され、これにより撮像素子２１で撮像される撮像映像の下端に車両のバンパー２０の隅部が表示されることになる。このようにして、撮像カメラ１１は、撮像素子２１の撮像画角と、撮像レンズ２２及び反射鏡部２３の集光角度との作用により、水平面において例えば１２０度程度の撮像画角範囲１００（図２）を有するように設定されている。
【００２０】
撮像カメラ１１の反射鏡部２３は、撮像素子２１及び撮像レンズ２２を収納する筐体２４の上部内周面に配置されており、アルミニウムと酸化防止保護膜とが積層されるように蒸着形成されて構成され、これにより反射鏡部２３が凸曲面反射鏡とされている。そして、この反射鏡部２３により、撮像カメラ１１の撮像画角範囲内に、バンパー２０の一部が映り込むように配置されている。
【００２１】
尚、図５中の符合２７は保護カバーを示しており、筐体２４の一部に形成された係合突起２８に、保護カバー２７の側部に形成された係合孔２９が係合することにより、筐体２４と保護カバー２７とが互いに係合し合うようになっている。この保護カバー２７に一部には、車両周辺の景色を透光性の筐体２４を通じて入射光として反射鏡部２３に取り込むための入射窓２７ａが形成されている。また、保護カバー２７の上端部には、バンパー２０の上孔２０ａに撮像カメラ１１を収納した際の隙間を埋めるフランジ２７ｂが形成されている。
【００２２】
また、図５中の符合３０は防水用のパッキン、符合２０ｂはバンパー２０の上孔２０ａに対して撮像カメラ１１を出没自在に案内するための案内筒をそれぞれ示している。
【００２３】
画像処理部１３は、複数の撮像カメラ１１で撮像された撮像映像について、映像のトリミング等を行うとともに、その信号方式を表示装置１５に伝達するのに適するように変換する。
【００２４】
表示装置１５は、車室内に設置され、例えばカーナビゲーション装置の画面を表示するための液晶表示ディスプレイ等が兼用され、画像処理部１３から与えられる映像が表示される。
【００２５】
出没駆動装置１７は、図１及び図６の如く、主制御部１９での制御の基づいて正逆回転駆動する正逆駆動モータ３１と、この正逆駆動モータ３１の回転を直交方向に変換して伝達する第１のギヤ３３と、この第１のギヤ３３の回転を減速させながら順次伝達する第２のギヤ３５，第３のギヤ３７及び第４のギヤ３９と、基端部が第４のギヤ３９の回転軸３９ａに軸支された回動アーム４１と、この回動アーム４１の先端部付近に軸支されて遊貫ロッド４３に沿って昇降するとともに撮像カメラ１１の筐体２４を支持する昇降体４５とを備える。尚、図１中の符合４７，４８は遊貫ロッド４３を水密状に保護する蛇腹状の防水ゴム部材を示している。
【００２６】
主制御部１９は、ＣＰＵを有し、フラッシュＲＯＭ等に予め格納された所定のソフトウェアプログラムに従って動作する機能要素であって、カメラ設定スイッチ５１、カメラ映像表示スイッチ５３、車速センサ５５の他、カメラ監視の要否を指定するクリアランスソナー設定スイッチ５７及び障害物検知を行うクリアランスソナー障害物検知センサー５９からの信号に基づいて、出没駆動装置１７及び画像処理部１３を制御するようになっており、カメラ映像表示スイッチ５３がオン状態であり、車速が所定の基準速度値（例えば１５ｋｍ／ｈ）未満であって、且つクリアランスソナー設定スイッチ５７がオン状態である場合に、出没駆動装置１７によって撮像カメラ１１がバンパー２０から突出するように駆動制御され、さらにユーザーのカメラ映像表示スイッチ５３での恣意的な操作と、クリアランスソナー障害物検知センサー５９での障害物検知との少なくともいずれか一方が行われたときに、撮像カメラ１１の表示装置１５への表示が行われる（図７参照）。
【００２７】
具体的に、主制御部１９は、カメラ設定スイッチ５１のオン／オフ状態に応じて撮像カメラ１１での撮像を行うか否かを決定する機能と、カメラ映像表示スイッチ５３のオンオフ切り替えに応じて画像処理部１３のオンオフ状態を切り替える機能と、車速センサ５５で検出された車速に応じて撮像カメラ１１の出没状態を切り替えるよう出没駆動装置１７を駆動制御する機能と、クリアランスソナー設定スイッチ５７がオンの状態である旨を検出して撮像カメラ１１を稼動状態とする機能と、障害物検知を行うと判断した場合にクリアランスソナー障害物検知センサー５９からの障害物検知信号に基づいて撮像カメラ１１の出没状態を切り替えるよう出没駆動装置１７を駆動制御する機能とを備える。かかる主制御部１９での制御動作は後述する。
【００２８】
尚、図１及び図６中の符合６１は出没駆動装置１７の筐体を示している。
【００２９】
上記の車両周辺監視装置の動作を図７のフローチャートに沿って説明する。尚、初期的には、撮像カメラ１１がバンパー２０の上孔２０ａにおいて埋没状態（図４）が維持されているものとして説明を行う。また、クリアランスソナー障害物検知センサー５９は、車両周辺の障害物を監視しており、障害物が存在している場合には、クリアランスソナー障害物検知センサー５９がオン状態となるものとする。
【００３０】
まず、ステップＳ０１において、主制御部１９は、カメラ設定スイッチ５１のオン／オフ状態を判断し、この判断結果に応じて、撮像カメラ１１での撮像を行うか否かを決定する。具体的には、カメラ設定スイッチ５１がオフ状態であると主制御部１９が判断した場合には、撮像を行わない撮像カメラ１１をバンパー２０から突出させる必要がないため、ステップＳ０２に進み、撮像カメラ１１の埋没状態（図４）を維持したまま、再びステップＳ０１からの処理を繰り返す。
【００３１】
そして、ステップＳ０１において、主制御部１９が、カメラ設定スイッチ５１のオン状態を判断した場合には、ステップＳ０３に進む。
【００３２】
ステップＳ０３では、車速センサ５５から与えられる車速信号を検出し、車速が所定の基準速度値（例えば図７に示すように１５ｋｍ／ｈ）以上であるか否かを判断する。このときに、車速が１５ｋｍ／ｈ以上で通常運転が行われていると主制御部１９が判断した場合には、撮像カメラ１１で撮像された映像を運転者が視認することはないと考えられるため、ステップＳ０２に進み、撮像カメラ１１の埋没状態（図４）を維持したまま、再びステップＳ０１からの処理を繰り返す。
【００３３】
一方、ステップＳ０３において、車速が１５ｋｍ／ｈ未満で通常運転が行われていると主制御部１９が判断した場合には、次のステップＳ０４に進む。
【００３４】
ステップＳ０４では、クリアランスソナー設定スイッチ５７のオン／オフ状態を主制御部１９が判断する。そしてこのクリアランスソナー設定スイッチ５７がオフ状態であると主制御部１９が判断した場合は、ステップＳ０２に進み、撮像カメラ１１の埋没状態（図４）を維持したまま、再びステップＳ０１からの処理を繰り返す。
【００３５】
一方、クリアランスソナー設定スイッチ５７がオンの状態であると主制御部１９が判断した場合には、ステップＳ０５に進み、主制御部１９は、出没駆動装置１７を駆動制御し、撮像カメラ１１の保護カバー２７の入射窓２７ａがバンパー２０の上孔２０ａから突出するように、撮像カメラ１１全体を上昇させて突出させる（図３）。
【００３６】
次のステップＳ０６において、主制御部１９は、カメラ映像表示スイッチ５３のオン／オフ状態を判断し、オン状態であった場合には、ステップＳ０７に進んで、画像処理部１３に指示を与え、この画像処理部１３での画像処理により、撮像カメラ１１で撮像された映像を表示装置１５に表示する。その後、ステップＳ０１からの処理を繰り返す。
【００３７】
一方、ステップＳ０６において、カメラ映像表示スイッチ５３がオフ状態であると主制御部１９が判断した場合は、ステップＳ０８に進み、クリアランスソナー障害物検知センサー５９のオン／オフ状態を判断する。ここで、クリアランスソナー障害物検知センサー５９は、車両周辺の障害物を監視しており、障害物が存在している場合には、クリアランスソナー障害物検知センサー５９がオン状態となる。このように、ステップＳ０８で、クリアランスソナー障害物検知センサー５９がオン状態であると主制御部１９が判断した場合は、ステップＳ０７に進み、画像処理部１３に指示を与え、この画像処理部１３での画像処理により、撮像カメラ１１で撮像された映像を表示装置１５に表示する。その後、ステップＳ０１からの処理を繰り返す。
【００３８】
一方、ステップＳ０８において、クリアランスソナー障害物検知センサー５９がオフ状態であると主制御部１９が判断した場合は、ステップＳ０９に進み、画像処理部１３での画像処理を行わないよう指示を与える。この場合は、撮像カメラ１１から与えられた映像は表示装置１５に表示されない（ステップＳ０９）。その後、ステップＳ０１からの処理を繰り返す。
【００３９】
このように、撮像カメラ１１をバンパー２０に対して出没自在とし、車両を周辺を監視する必要のあるときに、撮像カメラ１１を車両のバンパー２０から突出させる一方、撮像カメラ１１が不必要なときは内部に収納するようにしているので、車両全体の意匠性を確保できるとともに、非使用時に撮像カメラ１１に粉塵が付着したり砂利等の当接により損傷したりする事態を防止できる。
【００４０】
また、車両周辺の監視の必要性を判断するのに、車速がある速度以上になったら不要状態と判断し、また障害物との距離を測定するクリアランスソナー障害物検知センサー５９が障害物の存在を検知している場合には、ユーザーがカメラ映像表示スイッチ５３をオン操作していなくても、撮像カメラ１１からの映像が自動的に表示装置１５に表示されるので、映像表示の必要性に応じて確実に表示装置１５での映像表示が行われるようになる。
【００４１】
さらに、撮像カメラ１１の上端部にフランジ２７ｂを形成しているので、意匠性の確保、粉塵の付着防止及び砂利等による損傷防止を確実に行うことができる。
【００４２】
尚、上記実施の形態では、撮像カメラ１１がバンパー２０の上方に出没自在とされていたが、設置部位は車両のバンパー２０に限られるものではなく、例えばグリル等で出没自在とされていても差し支えない。
【００４３】
【発明の効果】
請求項１及び請求項３に記載の発明によれば、撮像カメラを車両の所定の部位から出没させるか否かを決定し、その決定結果に応じて、所定の出没駆動装置を駆動して、撮像カメラを車両の所定の部位から出没させ、撮像カメラが車両から突出している場合に、当該撮像カメラで撮像された映像を表示装置に表示するようになっているので、車両全体の意匠性を確保できるとともに、非使用時に撮像カメラに粉塵が付着したり砂利等の当接により損傷したりする事態を防止できる。
【００４４】
請求項２及び請求項４に記載の発明によれば、車速センサからの信号に基づいて、車速が所定の基準速度値を超えるか否かを判断し、この判断結果に基づいて撮像カメラの出没を決定するので、映像表示の必要性に応じて撮像カメラを出没制御することができる。
【００４５】
請求項１及び請求項３に記載の発明によれば、車両周辺の障害物の存在を検知するクリアランスソナー障害物検知センサーからの信号に基づいて、車両周辺の障害物が存在しているか否かを判断し、車両周辺の障害物が存在していると判断した場合に、撮像カメラで撮像された映像を表示装置に表示する映像表示の必要性に応じて確実に表示装置での映像表示を行うことができる。
【００４６】
この場合、請求項１及び請求項３のように、クリアランスソナー設定スイッチからの信号に基づいて、予め撮像カメラの出没を決定しておくようにすれば、映像表示の必要性に応じて撮像カメラを出没制御し、且つその後にクリアランスソナー障害物検知センサーからの信号に基づいて、即座に表示装置での映像表示を行うことができる。
【図面の簡単な説明】
【図１】この発明の一の実施の形態に係る車両周辺監視装置を示す模式図である。
【図２】この発明の一の実施の形態に係る車両周辺監視装置の撮像カメラが車両のバンパーの上部から突出している状態を示す斜視模式図である。
【図３】この発明の一の実施の形態に係る車両周辺監視装置の撮像カメラが車両のバンパーの上部から突出している状態を示す斜視模式図である。
【図４】この発明の一の実施の形態に係る車両周辺監視装置の撮像カメラが車両のバンパーに埋没している状態を示す斜視模式図である。
【図５】この発明の一の実施の形態に係る車両周辺監視装置の撮像カメラを示す断面模式図である。
【図６】この発明の一の実施の形態に係る車両周辺監視装置の出没駆動装置を示す側面図である。
【図７】この発明の一の実施の形態に係る車両周辺監視装置の動作を示すフローチャートである。
【図８】一般的な車両周辺監視装置の撮像カメラの設置状態を示す模式図である。
【符号の説明】
１１ 撮像カメラ
１３ 画像処理部
１５ 表示装置
１７ 出没駆動装置
１９ 主制御部
２０ バンパー
２１ 撮像素子
２２ 撮像レンズ
２３ 反射鏡部
２４ 筐体
２６ コネクタ
２７ 保護カバー
３１ 正逆駆動モータ
３３，３５，３７，３９ ギヤ
４１ 回動アーム
４３ 遊貫ロッド
４５ 昇降体
５１ カメラ設定スイッチ
５３ カメラ映像表示スイッチ
５５ 車速センサ
５７ クリアランスソナー設定スイッチ
５９ クリアランスソナー障害物検知センサー
【発明の属する技術分野】
この発明は、車両が他の障害物に衝突するのを防止するよう、当該車両の周辺を監視する車両周辺監視装置及び車両周辺監視方法に関する。
【０００２】
【従来の技術】
自動車においては、図８の如く、車両のバンパーやフロントグリル１に設置した撮像装置３の撮像カメラにより、車両の周辺（例えば左右両側等）の景色を撮像し、撮像した各撮像画像を車両内に設置した表示装置５に表示する車両周辺監視装置が装備されることがある。
【０００３】
参考のために、この発明に関連する先行技術文献を示しておく。
【０００４】
【特許文献１】
特開２００２−３３１８６９号公報
【０００５】
【発明が解決しようとする課題】
撮像カメラ３を車両のバンパーやフロントグリル１等に設置した場合、撮像カメラ３がフロントグリル１等より出っ張るため、意匠性を損なうという問題がある。
【０００６】
また、車両周辺監視装置を使用していない場合に、撮像カメラ３が車両のバンパーやフロントグリル１等から突出していると、レンズ等に粉塵が付着しやすいために映像の品質が低下したり、さらに走行時に砂利や小石等が撮像カメラに当接した場合には撮像カメラ３が傷付くおそれがあった。
【０００７】
そこで、この発明の課題は、車両全体の意匠性を確保するとともに、非使用時に粉塵の付着や砂利等の当接による損傷を防止し得る車両周辺監視装置及び車両周辺監視方法を提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決すべく、請求項１に記載の発明は、車両の所定の部位で出没自在に取り付けられ、前記車両の外方向の景観を撮像する撮像カメラと、前記撮像カメラで撮像された映像を表示するための表示装置と、前記撮像カメラを車両の所定の部位から出没させる出没駆動装置と、少なくとも前記出没駆動装置を制御する主制御部とを備え、前記主制御部が、車両周辺の障害物の存在を検知するクリアランスソナー障害物検知センサーからの信号に基づいて、前記撮像カメラからの映像の前記表示装置への表示を制御し、前記主制御部が、前記クリアランスソナー障害物検知センサーを有効に機能させるためのクリアランスソナー設定スイッチからの信号に基づいて、当該クリアランスソナー設定スイッチからの信号がオン状態の場合に前記撮像カメラを突出状態とする一方、前記クリアランスソナー設定スイッチからの信号がオフ状態の場合に前記撮像カメラを没入状態とするよう、前記出没駆動装置を制御するものである。
【０００９】
請求項２に記載の発明は、請求項１に記載の車両周辺監視装置であって、前記主制御部が、車速センサからの信号に基づいて、車速が所定の基準速度値を超えるか否かを判断し、この判断結果に基づいて、前記車速が前記基準速度値を超えている場合に前記撮像カメラを没入状態とする一方、前記車速が前記基準速度値未満の場合に前記撮像カメラを突出状態とするよう、前記出没駆動装置を制御するものである。
【００１２】
請求項３に記載の発明は、撮像カメラを車両の所定の部位から出没させるか否かを決定する第１の工程と、前記第１の工程での決定結果に応じて、所定の出没駆動装置を駆動して、前記撮像カメラを車両の所定の部位から出没させる第２の工程と、前記撮像カメラが車両から突出している場合に、当該撮像カメラで撮像された映像を表示装置に表示する第３の工程とを備え、前記第３の工程において、車両周辺の障害物の存在を検知するクリアランスソナー障害物検知センサーからの信号に基づいて、車両周辺の障害物が存在しているか否かを判断し、車両周辺の障害物が存在していると判断した場合に、前記撮像カメラで撮像された映像を表示装置に表示し、前記第１の工程において、前記クリアランスソナー障害物検知センサーを有効に機能させるためのクリアランスソナー設定スイッチからの信号に基づいて、当該クリアランスソナー設定スイッチからの信号がオン状態の場合に前記撮像カメラを突出状態とする一方、前記クリアランスソナー設定スイッチからの信号がオフ状態の場合に前記撮像カメラを没入状態とするよう、前記撮像カメラの出没を決定するものである。
【００１３】
請求項４に記載の発明は、請求項３に記載の車両周辺監視方法であって、前記第１の工程において、車速センサからの信号に基づいて、車速が所定の基準速度値を超えるか否かを判断し、この判断結果に基づいて、前記車速が前記基準速度値を超えている場合に前記撮像カメラを没入状態とする一方、前記車速が前記基準速度値未満の場合に前記撮像カメラを突出状態とするよう、前記撮像カメラの出没を決定するものである。
【００１６】
【発明の実施の形態】
図１はこの発明の一の実施の形態に係る車両周辺監視装置を示す図、図２は撮像装置が車両に取り付けられている状態を示す外観斜視図、図３は撮像装置が車両に対して突出状態とされている旨を示す斜視図、図４は撮像装置が車両に対して埋没状態とされている旨を示す斜視図、図５は撮像カメラを示す模式図、図６は出没駆動装置を示す模式図である。
【００１７】
この車両周辺監視装置は、図１の如く、車輌の所定の方向の周辺景色を撮像する撮像カメラ１１と、この撮像カメラ１１の映像を画像処理する画像処理部１３と、画像処理部１３で画像処理された映像を表示する表示装置１５と、撮像カメラ１１を出没させる出没駆動装置１７と、画像処理部１３及び出没駆動装置１７を制御する主制御部１９とを備える。
【００１８】
撮像カメラ１１は、図５の如く、車両のバンパー２０の上部に形成された上孔２０ａに出没自在に設けられており、所定の撮像画素数を有するＣＣＤ等の撮像素子２１と、この撮像素子２１に対して集光するための撮像レンズ２２と、外部から取り込んだ光を撮像レンズ２２側に集光しながら反射する反射鏡部２３とが透光性の例えばエポキシ樹脂等によって成形された筐体２４内に収納されて成り、撮像素子２１で撮像された映像に係る信号が、回路基板２５及びコネクタ２６を通じて、画像処理部１３に伝達されるようになっている。
【００１９】
撮像レンズ２２及び反射鏡部２３は、車両のバンパー２０の隅部が撮像映像の下端に沿って映り込むように外方向の景観を撮像素子２１に対して集光する光学的手段として機能する。具体的に、反射鏡部２３は、撮像素子２１の上部に配置され、撮像レンズ２２は反射鏡部２３と撮像素子２１との間で上向きよりも僅かに外方向に傾斜されて配置される。これにより、外部の景観が上部の反射鏡部２３で反射されて集光された後、中央部の撮像レンズ２２で集光されて撮像素子２１に入射され、これにより撮像素子２１で撮像される撮像映像の下端に車両のバンパー２０の隅部が表示されることになる。このようにして、撮像カメラ１１は、撮像素子２１の撮像画角と、撮像レンズ２２及び反射鏡部２３の集光角度との作用により、水平面において例えば１２０度程度の撮像画角範囲１００（図２）を有するように設定されている。
【００２０】
撮像カメラ１１の反射鏡部２３は、撮像素子２１及び撮像レンズ２２を収納する筐体２４の上部内周面に配置されており、アルミニウムと酸化防止保護膜とが積層されるように蒸着形成されて構成され、これにより反射鏡部２３が凸曲面反射鏡とされている。そして、この反射鏡部２３により、撮像カメラ１１の撮像画角範囲内に、バンパー２０の一部が映り込むように配置されている。
【００２１】
尚、図５中の符合２７は保護カバーを示しており、筐体２４の一部に形成された係合突起２８に、保護カバー２７の側部に形成された係合孔２９が係合することにより、筐体２４と保護カバー２７とが互いに係合し合うようになっている。この保護カバー２７に一部には、車両周辺の景色を透光性の筐体２４を通じて入射光として反射鏡部２３に取り込むための入射窓２７ａが形成されている。また、保護カバー２７の上端部には、バンパー２０の上孔２０ａに撮像カメラ１１を収納した際の隙間を埋めるフランジ２７ｂが形成されている。
【００２２】
また、図５中の符合３０は防水用のパッキン、符合２０ｂはバンパー２０の上孔２０ａに対して撮像カメラ１１を出没自在に案内するための案内筒をそれぞれ示している。
【００２３】
画像処理部１３は、複数の撮像カメラ１１で撮像された撮像映像について、映像のトリミング等を行うとともに、その信号方式を表示装置１５に伝達するのに適するように変換する。
【００２４】
表示装置１５は、車室内に設置され、例えばカーナビゲーション装置の画面を表示するための液晶表示ディスプレイ等が兼用され、画像処理部１３から与えられる映像が表示される。
【００２５】
出没駆動装置１７は、図１及び図６の如く、主制御部１９での制御の基づいて正逆回転駆動する正逆駆動モータ３１と、この正逆駆動モータ３１の回転を直交方向に変換して伝達する第１のギヤ３３と、この第１のギヤ３３の回転を減速させながら順次伝達する第２のギヤ３５，第３のギヤ３７及び第４のギヤ３９と、基端部が第４のギヤ３９の回転軸３９ａに軸支された回動アーム４１と、この回動アーム４１の先端部付近に軸支されて遊貫ロッド４３に沿って昇降するとともに撮像カメラ１１の筐体２４を支持する昇降体４５とを備える。尚、図１中の符合４７，４８は遊貫ロッド４３を水密状に保護する蛇腹状の防水ゴム部材を示している。
【００２６】
主制御部１９は、ＣＰＵを有し、フラッシュＲＯＭ等に予め格納された所定のソフトウェアプログラムに従って動作する機能要素であって、カメラ設定スイッチ５１、カメラ映像表示スイッチ５３、車速センサ５５の他、カメラ監視の要否を指定するクリアランスソナー設定スイッチ５７及び障害物検知を行うクリアランスソナー障害物検知センサー５９からの信号に基づいて、出没駆動装置１７及び画像処理部１３を制御するようになっており、カメラ映像表示スイッチ５３がオン状態であり、車速が所定の基準速度値（例えば１５ｋｍ／ｈ）未満であって、且つクリアランスソナー設定スイッチ５７がオン状態である場合に、出没駆動装置１７によって撮像カメラ１１がバンパー２０から突出するように駆動制御され、さらにユーザーのカメラ映像表示スイッチ５３での恣意的な操作と、クリアランスソナー障害物検知センサー５９での障害物検知との少なくともいずれか一方が行われたときに、撮像カメラ１１の表示装置１５への表示が行われる（図７参照）。
【００２７】
具体的に、主制御部１９は、カメラ設定スイッチ５１のオン／オフ状態に応じて撮像カメラ１１での撮像を行うか否かを決定する機能と、カメラ映像表示スイッチ５３のオンオフ切り替えに応じて画像処理部１３のオンオフ状態を切り替える機能と、車速センサ５５で検出された車速に応じて撮像カメラ１１の出没状態を切り替えるよう出没駆動装置１７を駆動制御する機能と、クリアランスソナー設定スイッチ５７がオンの状態である旨を検出して撮像カメラ１１を稼動状態とする機能と、障害物検知を行うと判断した場合にクリアランスソナー障害物検知センサー５９からの障害物検知信号に基づいて撮像カメラ１１の出没状態を切り替えるよう出没駆動装置１７を駆動制御する機能とを備える。かかる主制御部１９での制御動作は後述する。
【００２８】
尚、図１及び図６中の符合６１は出没駆動装置１７の筐体を示している。
【００２９】
上記の車両周辺監視装置の動作を図７のフローチャートに沿って説明する。尚、初期的には、撮像カメラ１１がバンパー２０の上孔２０ａにおいて埋没状態（図４）が維持されているものとして説明を行う。また、クリアランスソナー障害物検知センサー５９は、車両周辺の障害物を監視しており、障害物が存在している場合には、クリアランスソナー障害物検知センサー５９がオン状態となるものとする。
【００３０】
まず、ステップＳ０１において、主制御部１９は、カメラ設定スイッチ５１のオン／オフ状態を判断し、この判断結果に応じて、撮像カメラ１１での撮像を行うか否かを決定する。具体的には、カメラ設定スイッチ５１がオフ状態であると主制御部１９が判断した場合には、撮像を行わない撮像カメラ１１をバンパー２０から突出させる必要がないため、ステップＳ０２に進み、撮像カメラ１１の埋没状態（図４）を維持したまま、再びステップＳ０１からの処理を繰り返す。
【００３１】
そして、ステップＳ０１において、主制御部１９が、カメラ設定スイッチ５１のオン状態を判断した場合には、ステップＳ０３に進む。
【００３２】
ステップＳ０３では、車速センサ５５から与えられる車速信号を検出し、車速が所定の基準速度値（例えば図７に示すように１５ｋｍ／ｈ）以上であるか否かを判断する。このときに、車速が１５ｋｍ／ｈ以上で通常運転が行われていると主制御部１９が判断した場合には、撮像カメラ１１で撮像された映像を運転者が視認することはないと考えられるため、ステップＳ０２に進み、撮像カメラ１１の埋没状態（図４）を維持したまま、再びステップＳ０１からの処理を繰り返す。
【００３３】
一方、ステップＳ０３において、車速が１５ｋｍ／ｈ未満で通常運転が行われていると主制御部１９が判断した場合には、次のステップＳ０４に進む。
【００３４】
ステップＳ０４では、クリアランスソナー設定スイッチ５７のオン／オフ状態を主制御部１９が判断する。そしてこのクリアランスソナー設定スイッチ５７がオフ状態であると主制御部１９が判断した場合は、ステップＳ０２に進み、撮像カメラ１１の埋没状態（図４）を維持したまま、再びステップＳ０１からの処理を繰り返す。
【００３５】
一方、クリアランスソナー設定スイッチ５７がオンの状態であると主制御部１９が判断した場合には、ステップＳ０５に進み、主制御部１９は、出没駆動装置１７を駆動制御し、撮像カメラ１１の保護カバー２７の入射窓２７ａがバンパー２０の上孔２０ａから突出するように、撮像カメラ１１全体を上昇させて突出させる（図３）。
【００３６】
次のステップＳ０６において、主制御部１９は、カメラ映像表示スイッチ５３のオン／オフ状態を判断し、オン状態であった場合には、ステップＳ０７に進んで、画像処理部１３に指示を与え、この画像処理部１３での画像処理により、撮像カメラ１１で撮像された映像を表示装置１５に表示する。その後、ステップＳ０１からの処理を繰り返す。
【００３７】
一方、ステップＳ０６において、カメラ映像表示スイッチ５３がオフ状態であると主制御部１９が判断した場合は、ステップＳ０８に進み、クリアランスソナー障害物検知センサー５９のオン／オフ状態を判断する。ここで、クリアランスソナー障害物検知センサー５９は、車両周辺の障害物を監視しており、障害物が存在している場合には、クリアランスソナー障害物検知センサー５９がオン状態となる。このように、ステップＳ０８で、クリアランスソナー障害物検知センサー５９がオン状態であると主制御部１９が判断した場合は、ステップＳ０７に進み、画像処理部１３に指示を与え、この画像処理部１３での画像処理により、撮像カメラ１１で撮像された映像を表示装置１５に表示する。その後、ステップＳ０１からの処理を繰り返す。
【００３８】
一方、ステップＳ０８において、クリアランスソナー障害物検知センサー５９がオフ状態であると主制御部１９が判断した場合は、ステップＳ０９に進み、画像処理部１３での画像処理を行わないよう指示を与える。この場合は、撮像カメラ１１から与えられた映像は表示装置１５に表示されない（ステップＳ０９）。その後、ステップＳ０１からの処理を繰り返す。
【００３９】
このように、撮像カメラ１１をバンパー２０に対して出没自在とし、車両を周辺を監視する必要のあるときに、撮像カメラ１１を車両のバンパー２０から突出させる一方、撮像カメラ１１が不必要なときは内部に収納するようにしているので、車両全体の意匠性を確保できるとともに、非使用時に撮像カメラ１１に粉塵が付着したり砂利等の当接により損傷したりする事態を防止できる。
【００４０】
また、車両周辺の監視の必要性を判断するのに、車速がある速度以上になったら不要状態と判断し、また障害物との距離を測定するクリアランスソナー障害物検知センサー５９が障害物の存在を検知している場合には、ユーザーがカメラ映像表示スイッチ５３をオン操作していなくても、撮像カメラ１１からの映像が自動的に表示装置１５に表示されるので、映像表示の必要性に応じて確実に表示装置１５での映像表示が行われるようになる。
【００４１】
さらに、撮像カメラ１１の上端部にフランジ２７ｂを形成しているので、意匠性の確保、粉塵の付着防止及び砂利等による損傷防止を確実に行うことができる。
【００４２】
尚、上記実施の形態では、撮像カメラ１１がバンパー２０の上方に出没自在とされていたが、設置部位は車両のバンパー２０に限られるものではなく、例えばグリル等で出没自在とされていても差し支えない。
【００４３】
【発明の効果】
請求項１及び請求項３に記載の発明によれば、撮像カメラを車両の所定の部位から出没させるか否かを決定し、その決定結果に応じて、所定の出没駆動装置を駆動して、撮像カメラを車両の所定の部位から出没させ、撮像カメラが車両から突出している場合に、当該撮像カメラで撮像された映像を表示装置に表示するようになっているので、車両全体の意匠性を確保できるとともに、非使用時に撮像カメラに粉塵が付着したり砂利等の当接により損傷したりする事態を防止できる。
【００４４】
請求項２及び請求項４に記載の発明によれば、車速センサからの信号に基づいて、車速が所定の基準速度値を超えるか否かを判断し、この判断結果に基づいて撮像カメラの出没を決定するので、映像表示の必要性に応じて撮像カメラを出没制御することができる。
【００４５】
請求項１及び請求項３に記載の発明によれば、車両周辺の障害物の存在を検知するクリアランスソナー障害物検知センサーからの信号に基づいて、車両周辺の障害物が存在しているか否かを判断し、車両周辺の障害物が存在していると判断した場合に、撮像カメラで撮像された映像を表示装置に表示する映像表示の必要性に応じて確実に表示装置での映像表示を行うことができる。
【００４６】
この場合、請求項１及び請求項３のように、クリアランスソナー設定スイッチからの信号に基づいて、予め撮像カメラの出没を決定しておくようにすれば、映像表示の必要性に応じて撮像カメラを出没制御し、且つその後にクリアランスソナー障害物検知センサーからの信号に基づいて、即座に表示装置での映像表示を行うことができる。
【図面の簡単な説明】
【図１】この発明の一の実施の形態に係る車両周辺監視装置を示す模式図である。
【図２】この発明の一の実施の形態に係る車両周辺監視装置の撮像カメラが車両のバンパーの上部から突出している状態を示す斜視模式図である。
【図３】この発明の一の実施の形態に係る車両周辺監視装置の撮像カメラが車両のバンパーの上部から突出している状態を示す斜視模式図である。
【図４】この発明の一の実施の形態に係る車両周辺監視装置の撮像カメラが車両のバンパーに埋没している状態を示す斜視模式図である。
【図５】この発明の一の実施の形態に係る車両周辺監視装置の撮像カメラを示す断面模式図である。
【図６】この発明の一の実施の形態に係る車両周辺監視装置の出没駆動装置を示す側面図である。
【図７】この発明の一の実施の形態に係る車両周辺監視装置の動作を示すフローチャートである。
【図８】一般的な車両周辺監視装置の撮像カメラの設置状態を示す模式図である。
【符号の説明】
１１ 撮像カメラ
１３ 画像処理部
１５ 表示装置
１７ 出没駆動装置
１９ 主制御部
２０ バンパー
２１ 撮像素子
２２ 撮像レンズ
２３ 反射鏡部
２４ 筐体
２６ コネクタ
２７ 保護カバー
３１ 正逆駆動モータ
３３，３５，３７，３９ ギヤ
４１ 回動アーム
４３ 遊貫ロッド
４５ 昇降体
５１ カメラ設定スイッチ
５３ カメラ映像表示スイッチ
５５ 車速センサ
５７ クリアランスソナー設定スイッチ
５９ クリアランスソナー障害物検知センサー
Claims (4)
- 車両の所定の部位で出没自在に取り付けられ、前記車両の外方向の景観を撮像する撮像カメラと、
前記撮像カメラで撮像された映像を表示するための表示装置と、
前記撮像カメラを車両の所定の部位から出没させる出没駆動装置と、
少なくとも前記出没駆動装置を制御する主制御部と
を備え、
前記主制御部が、車両周辺の障害物の存在を検知するクリアランスソナー障害物検知センサーからの信号に基づいて、前記撮像カメラからの映像の前記表示装置への表示を制御し、
前記主制御部が、前記クリアランスソナー障害物検知センサーを有効に機能させるためのクリアランスソナー設定スイッチからの信号に基づいて、当該クリアランスソナー設定スイッチからの信号がオン状態の場合に前記撮像カメラを突出状態とする一方、前記クリアランスソナー設定スイッチからの信号がオフ状態の場合に前記撮像カメラを没入状態とするよう、前記出没駆動装置を制御することを特徴とする車両周辺監視装置。 - 請求項１に記載の車両周辺監視装置であって、
前記主制御部が、車速センサからの信号に基づいて、車速が所定の基準速度値を超えるか否かを判断し、この判断結果に基づいて、前記車速が前記基準速度値を超えている場合に前記撮像カメラを没入状態とする一方、前記車速が前記基準速度値未満の場合に前記撮像カメラを突出状態とするよう、前記出没駆動装置を制御することを特徴とする車両周辺監視装置。 - 撮像カメラを車両の所定の部位から出没させるか否かを決定する第１の工程と、
前記第１の工程での決定結果に応じて、所定の出没駆動装置を駆動して、前記撮像カメラを車両の所定の部位から出没させる第２の工程と、
前記撮像カメラが車両から突出している場合に、当該撮像カメラで撮像された映像を表示装置に表示する第３の工程と
を備え、
前記第３の工程において、車両周辺の障害物の存在を検知するクリアランスソナー障害物検知センサーからの信号に基づいて、車両周辺の障害物が存在しているか否かを判断し、車両周辺の障害物が存在していると判断した場合に、前記撮像カメラで撮像された映像を表示装置に表示し、
前記第１の工程において、前記クリアランスソナー障害物検知センサーを有効に機能させるためのクリアランスソナー設定スイッチからの信号に基づいて、当該クリアランスソナー設定スイッチからの信号がオン状態の場合に前記撮像カメラを突出状態とする一方、前記クリアランスソナー設定スイッチからの信号がオフ状態の場合に前記撮像カメラを没入状態とするよう、前記撮像カメラの出没を決定することを特徴とする車両周辺監視方法。 - 請求項３に記載の車両周辺監視方法であって、
前記第１の工程において、車速センサからの信号に基づいて、車速が所定の基準速度値を超えるか否かを判断し、この判断結果に基づいて、前記車速が前記基準速度値を超えている場合に前記撮像カメラを没入状態とする一方、前記車速が前記基準速度値未満の場合に前記撮像カメラを突出状態とするよう、前記撮像カメラの出没を決定することを特徴とする車両周辺監視方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003045780A JP4234463B2 (ja) | 2003-02-24 | 2003-02-24 | 車両周辺監視装置及び車両周辺監視方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003045780A JP4234463B2 (ja) | 2003-02-24 | 2003-02-24 | 車両周辺監視装置及び車両周辺監視方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004255903A JP2004255903A (ja) | 2004-09-16 |
| JP4234463B2 true JP4234463B2 (ja) | 2009-03-04 |
Family
ID=33112508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003045780A Expired - Fee Related JP4234463B2 (ja) | 2003-02-24 | 2003-02-24 | 車両周辺監視装置及び車両周辺監視方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4234463B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4683192B2 (ja) * | 2005-02-15 | 2011-05-11 | 株式会社デンソー | 車両用死角監視装置及び車両用運転支援システム |
| JP5459560B2 (ja) | 2011-06-27 | 2014-04-02 | アイシン精機株式会社 | 周辺監視装置 |
| US10491793B2 (en) * | 2017-04-19 | 2019-11-26 | Ford Global Technologies, Llc | Shielded camera monitoring of wheels from vehicle underside using reflectors |
| CN111915882B (zh) * | 2020-06-13 | 2022-08-12 | 安徽国达城建设施科技有限公司 | 一种便于检修的智能交通监控装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05238312A (ja) * | 1992-02-27 | 1993-09-17 | Honda Motor Co Ltd | 車両用周囲監視装置 |
| JP3418139B2 (ja) * | 1999-07-27 | 2003-06-16 | 株式会社ホンダアクセス | 車両用カメラ装置 |
| JP2003158649A (ja) * | 2001-11-21 | 2003-05-30 | Sony Corp | 車載用ビデオカメラ |
-
2003
- 2003-02-24 JP JP2003045780A patent/JP4234463B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004255903A (ja) | 2004-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9007462B2 (en) | Driving assist apparatus, driving assist system, and driving assist camera unit | |
| US7190259B2 (en) | Surrounding surveillance apparatus and mobile body | |
| JP2003054316A (ja) | 車両用撮像装置、車両用監視装置及びドアミラー | |
| US20130155236A1 (en) | Camera-mirror system for motor vehicle | |
| JP2005110202A (ja) | カメラ装置及び車両周辺監視装置 | |
| JP2005225250A (ja) | 車載用監視装置 | |
| JP2007221200A (ja) | 車両周辺監視装置 | |
| JP2004312638A (ja) | 障害物検知装置 | |
| JP2000127851A (ja) | 車両の運転支援装置 | |
| JP2013211653A (ja) | 撮像装置 | |
| KR20040033675A (ko) | 자동차용 후방 감시 장치 | |
| JP3486116B2 (ja) | 車載用撮像装置 | |
| JP2004194071A (ja) | 運転支援画像生成装置 | |
| JP3968271B2 (ja) | 車輌周辺視認装置 | |
| JP2011189775A (ja) | 車両の後側方確認装置 | |
| JP4234463B2 (ja) | 車両周辺監視装置及び車両周辺監視方法 | |
| KR20060029255A (ko) | 자동 카메라가 장착된 차량 및 그 카메라 제어방법 | |
| JP2003078907A (ja) | 車両用監視装置 | |
| KR20120058208A (ko) | 카메라모듈을 이용한 차량 사이드 미러 오토 폴딩 시스템 및 방법 | |
| KR100866774B1 (ko) | 운전자 보조용 카메라 장치 | |
| JP2003023623A (ja) | 車両用周辺モニタ装置 | |
| JP3424386B2 (ja) | 車両後方監視装置 | |
| KR20130059189A (ko) | 차량의 사이드 미러 시스템 | |
| JP2004001736A (ja) | 車載用撮像装置 | |
| JP2006103663A (ja) | 撮像装置付きドアミラー |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051025 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080910 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081017 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20081017 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081211 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |