JP4101167B2 - Vehicle periphery monitoring device - Google Patents

Vehicle periphery monitoring device Download PDF

Info

Publication number
JP4101167B2
JP4101167B2 JP2003422309A JP2003422309A JP4101167B2 JP 4101167 B2 JP4101167 B2 JP 4101167B2 JP 2003422309 A JP2003422309 A JP 2003422309A JP 2003422309 A JP2003422309 A JP 2003422309A JP 4101167 B2 JP4101167 B2 JP 4101167B2
Authority
JP
Japan
Prior art keywords
vehicle
camera
monitoring device
lamp
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003422309A
Other languages
Japanese (ja)
Other versions
JP2005178576A (en
Inventor
孝 佐藤
嘉史 川口
任史 河田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stanley Electric Co Ltd
Original Assignee
Stanley Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stanley Electric Co Ltd filed Critical Stanley Electric Co Ltd
Priority to JP2003422309A priority Critical patent/JP4101167B2/en
Publication of JP2005178576A publication Critical patent/JP2005178576A/en
Application granted granted Critical
Publication of JP4101167B2 publication Critical patent/JP4101167B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、車両の外側を撮像する撮像手段を備えた車両周辺監視装置、特に運転席からの死角部分を撮像して表示する車両周辺監視装置に関するものである。   The present invention relates to a vehicle periphery monitoring device including an imaging unit that images the outside of a vehicle, and more particularly to a vehicle periphery monitoring device that captures and displays a blind spot from a driver's seat.

車両周辺の安全を確認するためには、車両の外側に撮像装置を取り付け、運転席(運転手)からの死角部分、例えば車両前部、車両後部、あるいは車両の左前輪等の側部を撮像し、その映像を車両内部に設置した表示装置に表示することが望ましい。従来、このような車両周辺監視装置として、車両後方直後位置付近に赤外光感応テレビカメラを設け、車両後方の監視ができるものが提案されている(例えば、特許文献1参照。)。
特開平9−39658号公報
In order to confirm the safety around the vehicle, an imaging device is attached to the outside of the vehicle, and a blind spot from the driver's seat (driver), for example, the front part of the vehicle, the rear part of the vehicle, or the side part of the left front wheel of the vehicle is imaged. It is desirable to display the image on a display device installed inside the vehicle. Conventionally, as such a vehicle periphery monitoring device, an infrared light sensitive television camera is provided in the vicinity of a position immediately behind the vehicle so that the vehicle rear can be monitored (see, for example, Patent Document 1).
JP-A-9-39658

しかしながら、上記のような従来の車両周辺監視装置にあっては、死角を監視する撮像装置としてCCDカメラを用いた場合、撮像領域内にて点滅するウィンカーランプによって映像にスミアが入り、死角部分の監視ができなくなることがある。   However, in the conventional vehicle periphery monitoring device as described above, when a CCD camera is used as the imaging device for monitoring the blind spot, the image is smeared by the blinker lamp blinking in the imaging area, Monitoring may not be possible.

また、カメラ内部に明るさを自動で認識調整する機能(AGC:オートゲインコントロール)により、ウィンカーランプによる明るさの変動で暗部が見えなくなることがある。   In addition, the function of automatically recognizing and adjusting the brightness inside the camera (AGC: auto gain control) may cause the dark part to be invisible due to the brightness fluctuation caused by the blinker lamp.

更に、ウィンカーランプだけでなく、ブレーキランプやバックランプ等でもスミアが入り、同様に死角部分の監視ができなくなることがある。   Furthermore, not only the blinker lamp, but also a brake lamp, a back lamp, etc., smear may occur, and similarly, the blind spot portion may not be monitored.

本発明は、上記のような問題点に鑑みてなされたもので、夜間等の周囲が暗い場合でも車両の死角部分を安定して監視することができる車両周辺監視装置を提供することを目的としている。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a vehicle periphery monitoring device capable of stably monitoring a blind spot portion of a vehicle even when the surroundings are dark such as at night. Yes.

上記の課題を解決するため、本発明は次のように構成する。   In order to solve the above problems, the present invention is configured as follows.

(1)車両の外側を撮像する撮像手段を備えた車両周辺監視装置であって、前記撮像手段は、近赤外領域の感度を有し、車両に設置されたウィンカーランプ、テールランプ、ブレーキランプ、バックランプの何れかのランプの点灯パルスと反転したタイミングで撮像することを特徴とする車両周辺監視装置。
(2)車両の外側を撮像する撮像手段を備えた車両周辺監視装置であって、前記撮像手段の撮像範囲を照明する照明手段を備え、該照明手段は赤外光を発する光源を有し、前記撮像手段は、赤外領域の感度を有し、車両に設置されたウィンカーランプ、テールランプ、ブレーキランプ、バックランプの何れかのランプの点灯パルスと反転したタイミングで撮像することを特徴とする車両周辺監視装置。
(3)前記撮像手段は、車両の前部、後部、側部の少なくとも何れかに設けられ、運転席からの死角部分を撮像することを特徴とする前記(1)または(2)に記載の車両周辺監視装置。
(4)前記照明手段は、前記撮像手段のシャッタータイミングに合わせてパルス発光することを特徴とする前記(2)または(3)に記載の車両周辺監視装置。
(5)前記照明手段は、手動もしくは前記撮像手段からの信号により自動で点灯及び消灯することを特徴とする前記(2)または(3)記載の車両周辺監視装置。
(6)前記撮像装置により撮像した映像を表示する表示装置を車両内部に備えていることを特徴とする前記(1)ないし(5)何れかに記載の車両周辺監視装置。
(1) A vehicle periphery monitoring device including an imaging unit that images the outside of the vehicle, the imaging unit having a sensitivity in a near infrared region, and a winker lamp, a tail lamp, a brake lamp, A vehicle periphery monitoring device, characterized in that imaging is performed at a timing inverted from a lighting pulse of any one of the back lamps .
(2) A vehicle periphery monitoring device including an imaging unit that images the outside of the vehicle, including an illumination unit that illuminates an imaging range of the imaging unit, the illumination unit including a light source that emits infrared light, The image pickup means has a sensitivity in an infrared region, and picks up an image at a timing reverse to a lighting pulse of any one of a blinker lamp, a tail lamp, a brake lamp, and a back lamp installed in the vehicle. Perimeter monitoring device.
(3) The imaging unit according to (1) or (2), wherein the imaging unit is provided in at least one of a front part, a rear part, and a side part of the vehicle, and images a blind spot part from a driver's seat. Vehicle periphery monitoring device.
(4) The vehicle periphery monitoring device according to (2) or (3), wherein the illumination unit emits a pulsed light in accordance with a shutter timing of the imaging unit.
(5) The vehicle periphery monitoring device according to (2) or (3), wherein the illumination unit is turned on and off manually or automatically by a signal from the imaging unit.
(6) The vehicle periphery monitoring device according to any one of (1) to (5), wherein a display device that displays an image captured by the imaging device is provided inside the vehicle.

本発明によれば、夜間等の周囲が暗い場合でも車両の死角部分を安定して監視することができる車両周辺監視装置を実現することができる。   According to the present invention, it is possible to realize a vehicle periphery monitoring device that can stably monitor a blind spot portion of a vehicle even when the surroundings are dark such as at night.

以下、本発明の実施例を図面に基づいて説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図1及び図2は本発明の第一の実施例の構成を示す平面図及び側面図であり、本監視装置が実装された車両(後部)の外観を示している。   FIG. 1 and FIG. 2 are a plan view and a side view showing the configuration of the first embodiment of the present invention, and show the appearance of a vehicle (rear part) on which the present monitoring device is mounted.

同図において、1は車両の後部ドアで、その上部に車両の後部を撮像するカメラ(撮像手段)2が設けられている。3はテールランプユニット、4はライセンスプレートランプで、これらにカメラ2の撮像範囲である車両後部5を照明する照明手段6が設けられている。   In the figure, reference numeral 1 denotes a rear door of a vehicle, and a camera (imaging means) 2 for imaging the rear of the vehicle is provided above the rear door. 3 is a tail lamp unit, 4 is a license plate lamp, and these are provided with illumination means 6 for illuminating the rear part 5 of the vehicle, which is the imaging range of the camera 2.

上記カメラ2は、後部ドア1の上部に取り付けられているが、これはテールランプユニット内部や、バンパー、ナンバープレート周辺等に取り付けても良い。またテールランプユニット3は、テールランプ、バックランプ、ブレーキランプとしての機能だけでなく、近赤外領域の感度を有する照明素子(LEDもしくは電球)を内蔵しており、この照明だけで十分な明るさを得られる場合には、カメラ2周辺の照明を省略することができる。   The camera 2 is attached to the upper portion of the rear door 1, but it may be attached to the inside of the tail lamp unit, the bumper, the number plate, or the like. The tail lamp unit 3 has not only functions as a tail lamp, a back lamp, and a brake lamp, but also a built-in lighting element (LED or light bulb) having sensitivity in the near infrared region. If obtained, illumination around the camera 2 can be omitted.

そして、以上の構成により、運転席(運転手)の死角となる車両後部5を照明して撮像することができる。   And by the above structure, the vehicle rear part 5 used as a blind spot of a driver's seat (driver) can be illuminated and imaged.

図3は本実施例のシステム構成を示すブロック図である。   FIG. 3 is a block diagram showing the system configuration of this embodiment.

カメラ2は、近赤外領域に感度を持つCCDもしくはCMOS等の画像撮像素子を用いる。また、夜間の外灯(街灯)や、対向車のヘッドランプによるスミアを軽減させるために、可視光カットフィルターもしくは近赤外線バンドパスフィルターを用いて、必要な波長のみ取り込むことも可能である。   The camera 2 uses an image pickup device such as a CCD or CMOS having sensitivity in the near infrared region. In addition, in order to reduce smear due to nighttime outdoor lights (streetlights) and headlamps of oncoming vehicles, it is possible to capture only the necessary wavelengths using a visible light cut filter or a near infrared bandpass filter.

照明手段6は、近赤外にピーク波長を持つLEDもしくは電球を用いる。また、可視光カットフィルターもしくは近赤外線バンドパスフィルターを入れることで、可視光が見えないようにすることができる。LEDの場合は、可視光波長がでないものを用いれば、上記フィルターは省略することができる。   The illumination means 6 uses an LED or a light bulb having a peak wavelength in the near infrared. Moreover, visible light can be made invisible by inserting a visible light cut filter or a near infrared band pass filter. In the case of an LED, the above filter can be omitted if one having no visible light wavelength is used.

テールランプユニット3、ライセンスプレートランプ4は、上記の照明手段6と同様のLEDもしくは電球を内蔵している。   The tail lamp unit 3 and the license plate lamp 4 contain the same LED or light bulb as the illumination means 6 described above.

表示手段7は、車両内部に設置されたナビゲーションシステムの表示に使用されているディスプレイもしくはフロントガラスに投影されたヘッドアップディスプレイの表示部を持ち、カメラ2で撮像した車両後方の死角部を表示するものである。   The display means 7 has a display unit used for display of a navigation system installed inside the vehicle or a display unit of a head-up display projected on the windshield, and displays a blind spot behind the vehicle imaged by the camera 2. Is.

手動スイッチ8は、車両のヘッドランプの点灯スイッチもしくはバックギアと同期して、照明手段6及びテールランプユニット3、ライセンスプレートランプ4に内蔵された照明素子を点灯させるものである。昼間は太陽光などの照明により車両後方の死角部分は十分照らされており、必要のないときは消灯させることが可能である。   The manual switch 8 is for illuminating the illumination means 6, the tail lamp unit 3, and the illumination element incorporated in the license plate lamp 4 in synchronization with the lighting switch or back gear of the vehicle headlamp. During the daytime, the blind spot behind the vehicle is well illuminated by sunlight and other lighting, and can be turned off when not needed.

制御処理部9は、カメラ2から表示手段7に撮像信号を送るものである。また、カメラ2の電子シャッター信号を受け、照明手段6やテールランプユニット3、ライセンスプレートランプ4の点灯制御も行う。   The control processing unit 9 sends an imaging signal from the camera 2 to the display means 7. Further, upon receiving an electronic shutter signal from the camera 2, lighting control of the illumination means 6, tail lamp unit 3, and license plate lamp 4 is also performed.

更に、カメラ2からの撮像信号を処理し、撮像画面の明るさに応じて照明手段6の点灯を自動制御することも可能であり、これにより、夜間でも明るい場所では照明手段6を消灯することもできる。この機能は、カメラ内部に組み込んで、照明が不必要な場合はシャッター信号を出力しないという方法でも良い。   Furthermore, it is also possible to process the imaging signal from the camera 2 and automatically control lighting of the lighting means 6 according to the brightness of the imaging screen, thereby turning off the lighting means 6 in a bright place even at night. You can also. This function may be incorporated in the camera so that no shutter signal is output when illumination is unnecessary.

また、上記カメラ2の撮像信号は制御処理部9により表示手段7に出力されるため、映像に画像処理を行うことも可能である。例えば、映像に危険な場所を重ね合わせたり、死角部分に物体を検出した場合に特定の色を強調させて表示することなども可能である。   Further, since the image pickup signal of the camera 2 is output to the display means 7 by the control processing section 9, it is possible to perform image processing on the video. For example, it is possible to superimpose a dangerous place on the video or to display a specific color with emphasis when an object is detected in the blind spot.

また、ギア10からの信号、車速検出部11からの車速パルス、かじ取り装置(ステアリング)12からの信号も制御処理部9に入力される。   Further, a signal from the gear 10, a vehicle speed pulse from the vehicle speed detection unit 11, and a signal from the steering device (steering) 12 are also input to the control processing unit 9.

図4の(a)、(b)は本実施例の各部の駆動信号波形を示す図であり、ここではカメラ2のシャッター信号、照明手段6の照明信号、ライセンスプレートランプ4のランプ信号を示している。   FIGS. 4A and 4B are diagrams showing drive signal waveforms of the respective parts of this embodiment. Here, the shutter signal of the camera 2, the illumination signal of the illumination means 6, and the lamp signal of the license plate lamp 4 are shown. ing.

カメラ2から出力されたシャッター信号はCCDもしくはCMOS撮像素子の撮像時間であるため、このシャッター信号がオン(ON)の状態のときだけ照明信号を出力する。これにより、照明に必要なエネルギーを低減させることができる。また、バックランプ、ブレーキランプ、テールランプの光を映像内に入れないために、照明信号を反転させたものをそれらのランプ信号とする。これにより、カメラ2の映像へのスミアをなくすことが可能である。そして、これらの処理により、照明及びウィンカー等の消費電力を下げることができる。   Since the shutter signal output from the camera 2 is the imaging time of the CCD or CMOS image sensor, the illumination signal is output only when the shutter signal is on. Thereby, the energy required for illumination can be reduced. Further, in order to prevent the light of the back lamp, brake lamp, and tail lamp from entering the image, those obtained by inverting the illumination signal are used as those lamp signals. As a result, it is possible to eliminate smearing on the video of the camera 2. And by these processes, power consumption, such as illumination and a winker, can be reduced.

また、テールランプ、ブレーキランプはパルス光であるので、パルス幅により明るさを変えることができる。したがって、テールランプとブレーキランプの共通化も可能である。そして、この明るさも手動スイッチ8やカメラ2からの信号により変更することで、昼間は明るく、夜間は明るさを抑えるなどの処理が可能である。   Further, since the tail lamp and the brake lamp are pulsed light, the brightness can be changed depending on the pulse width. Therefore, the tail lamp and the brake lamp can be shared. The brightness is also changed by a signal from the manual switch 8 or the camera 2 so that processing such as bright daytime and low brightness at night is possible.

更に、カメラ2は、ギア10の信号を制御処理部9に入れることで、電源管理を行うこともできる。例えば、バックに入れたときに電源を入れる等である。また、カメラ2を車速パルスに連動させて、車両後方の監視に応用することも可能である。例えば、レンズの画角を広くするか、もしくは車速と連動させてカメラ2の向きを変えるか、もしくはカメラ2のレンズ前面にプリズムやミラーを置いてその向きを変えることで、車両後方の監視を行い、急接近する後方車両等に警告を出すなど、安全性を向上させることができる。   Further, the camera 2 can perform power management by inputting the signal of the gear 10 into the control processing unit 9. For example, turning the power on when putting it in the bag. It is also possible to apply the camera 2 to monitoring the rear of the vehicle in conjunction with the vehicle speed pulse. For example, it is possible to monitor the rear of the vehicle by widening the angle of view of the lens, changing the direction of the camera 2 in conjunction with the vehicle speed, or changing the direction by placing a prism or mirror in front of the lens of the camera 2 The safety can be improved, for example, by giving a warning to a vehicle or the like approaching rapidly.

また、カメラ2をステアリングに応じて左右に動かすことにより、車両の移動方向の監視を強化することができる。   In addition, monitoring the moving direction of the vehicle can be enhanced by moving the camera 2 left and right according to the steering.

このように、本実施例では、夜間等の周囲が暗い場合でも車両の死角部分を安定して監視することができる。   Thus, in the present embodiment, the blind spot portion of the vehicle can be stably monitored even when the surroundings are dark, such as at night.

図5は本発明の第二の実施例の構成を示す斜視図であり、本監視装置が実装された車両(前部)の外観を示している。   FIG. 5 is a perspective view showing the configuration of the second embodiment of the present invention, and shows the appearance of a vehicle (front part) on which the present monitoring apparatus is mounted.

同図において、21は車両の左前輪、22はサイドミラーを保持するサイドミラーホルダーで、ミラーの反対側(裏側)には照明手段23(第一の実施例の照明手段6に相当)及びカメラ24(第一の実施例のカメラ2に相当)が設けられている。25はサイドウィンカー、26はフロントウィンカーである。   In the figure, 21 is a left front wheel of a vehicle, 22 is a side mirror holder for holding a side mirror, and an illuminating means 23 (corresponding to the illuminating means 6 of the first embodiment) and a camera on the opposite side (back side) of the mirror. 24 (corresponding to the camera 2 of the first embodiment) is provided. 25 is a side winker, and 26 is a front winker.

カメラ24は、車両のドアに設けられているサイドミラーホルダー22に内蔵され、車両の走行時に左前輪21及びその周辺を撮像できるように設置されている。   The camera 24 is built in a side mirror holder 22 provided on the door of the vehicle, and is installed so that the left front wheel 21 and its periphery can be imaged when the vehicle is traveling.

照明手段23は、カメラ24の周辺に設けられ(カメラ24と同様にサイドミラーホルダー22に内蔵され)、車両の走行時に左前輪21及びその周辺を照明できるように設置されている。   The illumination means 23 is provided in the vicinity of the camera 24 (built in the side mirror holder 22 as in the camera 24), and is installed so as to illuminate the left front wheel 21 and its surroundings when the vehicle is traveling.

サイドウィンカー25は、ウィンカーとしての機能だけでなく、近赤外照明素子(LEDもしくは電球)を内蔵し、上記照明手段23と同様の左前輪21及びその周辺を照明できる機能を有している。この照明のみで十分な明るさが得られる場合には、照明手段23は必要としないため、照明手段23を省略することができる。   The side winker 25 has not only a function as a winker but also a built-in near-infrared illumination element (LED or light bulb), and has a function of illuminating the left front wheel 21 and its surroundings similar to the illumination means 23. When sufficient brightness can be obtained only with this illumination, the illumination means 23 is not necessary, and therefore the illumination means 23 can be omitted.

そして、以上の構成により、運転席(運転手)の死角となる車両後部5を照明して撮像することができる。   And by the above structure, the vehicle rear part 5 used as a blind spot of a driver's seat (driver) can be illuminated and imaged.

図6は本実施例のシステム構成を示すブロック図である。   FIG. 6 is a block diagram showing the system configuration of this embodiment.

カメラ24は、近赤外領域に感度を持つCCDもしくはCMOS等の画像撮像素子を備えており、レンズ等に可視光カットフィルターもしくは近赤外線バンドパスフィルターを入れることで、選択的に必要な波長のみ取り込めるようになっている。これにより、夜間の外灯(街灯)や対向車のヘッドランプによるスミアを少なくすることができる。   The camera 24 is provided with an image pickup device such as a CCD or CMOS having sensitivity in the near infrared region, and only a necessary wavelength can be selectively obtained by inserting a visible light cut filter or a near infrared band pass filter into a lens or the like. It can be taken in. As a result, it is possible to reduce smears caused by nighttime outdoor lights (streetlights) and headlamps of oncoming vehicles.

照明手段23は、近赤外にピーク波長を持つLEDもしくは電球を用いる。また、可視光カットフィルターもしくは近赤外線バンドパスフィルターを入れることで、可視光が見えないようにすることができる。LEDの場合は、可視光波長がでないものを用いれば、上記フィルターは省略することができる。   The illumination means 23 uses an LED or a light bulb having a peak wavelength in the near infrared. Moreover, visible light can be made invisible by inserting a visible light cut filter or a near infrared band pass filter. In the case of an LED, the above filter can be omitted if one having no visible light wavelength is used.

サイドウィンカー25は、上記照明手段23と同様のLEDもしくは電球を内蔵している。   The side winker 25 incorporates the same LED or light bulb as the illumination means 23.

表示手段7は、車両内部に設置されたナビゲーションシステムの表示に使用されているディスプレイもしくはフロントガラスに投影されたヘッドアップディスプレイの表示部を持ち、カメラ24で撮像した車両左前方の死角部を表示するものである。   The display means 7 has a display part of a display used for display of a navigation system installed in the vehicle or a head-up display projected on the windshield, and displays a blind spot part on the left front side of the vehicle imaged by the camera 24. To do.

手動スイッチ8は、車両のヘッドランプの点灯スイッチと同期して、照明手段23を点灯させる。昼間は太陽光などの照明により車両左前方の死角部分は十分照らされており、必要のないときは消灯させることが可能である。   The manual switch 8 turns on the illumination means 23 in synchronization with the lighting switch of the vehicle headlamp. During the daytime, the blind spot in front of the left side of the vehicle is sufficiently illuminated by sunlight, etc., and can be turned off when not necessary.

制御処理部9は、カメラ24から表示手段7に撮像信号を送るものである。また、カメラ24の電子シャッター信号を受け、照明手段23やウィンカー25、26の点灯制御も行う。   The control processing unit 9 sends an imaging signal from the camera 24 to the display means 7. In addition, upon receiving an electronic shutter signal from the camera 24, lighting control of the illumination means 23 and the winkers 25 and 26 is also performed.

更に、カメラ24からの撮像信号を処理し、撮像画面の明るさに応じて照明手段23の点灯を自動制御することも可能であり、これにより、夜間でも明るい場所では照明手段23を消灯することもできる。この機能は、カメラ内部に組み込んで、照明が不必要な場合はシャッター信号を出力しないという方法でも良い。   Furthermore, it is also possible to process the imaging signal from the camera 24 and automatically control the lighting means 23 to be turned on according to the brightness of the imaging screen, thereby turning off the lighting means 23 in a bright place even at night. You can also. This function may be incorporated in the camera so that no shutter signal is output when illumination is unnecessary.

また、上記カメラ24の撮像信号は制御処理部9により表示手段7に出力されるため、映像に画像処理を行うことも可能である。例えば、映像に危険な場所を重ね合わせたり、死角部分に物体を検出した場合に特定の色を強調させて表示することなども可能である。   Further, since the image pickup signal of the camera 24 is output to the display means 7 by the control processing section 9, it is possible to perform image processing on the video. For example, it is possible to superimpose a dangerous place on the video or to display a specific color with emphasis when an object is detected in the blind spot.

図7の(a)、(b)は本実施例の各部の駆動信号波形を示す図であり、ここではカメラ24のシャッター信号、照明手段23の照明信号、ウィンカー25、26のウィンカー信号を示している。   FIGS. 7A and 7B are diagrams showing drive signal waveforms of the respective parts of this embodiment. Here, the shutter signal of the camera 24, the illumination signal of the illumination means 23, and the blinker signals of the blinkers 25 and 26 are shown. ing.

カメラ24から出力されたシャッター信号はCCDもしくはCMOS撮像素子の撮像時間であるため、このシャッター信号がオンの状態のときだけ照明信号を出力する。これにより、照明に必要なエネルギーを低減させることができる。また、ウィンカー25、26の光を映像内に入れないために、照明信号を反転させたものをそれらのウィンカー信号とする。これにより、カメラ24の映像へのスミアをなくすことが可能である。そして、これらの処理により、照明及びウィンカーの消費電力を下げることができる。   Since the shutter signal output from the camera 24 is the imaging time of the CCD or CMOS image sensor, the illumination signal is output only when the shutter signal is on. Thereby, the energy required for illumination can be reduced. Further, in order to prevent the lights of the winkers 25 and 26 from entering the video, those obtained by inverting the illumination signals are used as those winker signals. Thereby, it is possible to eliminate the smear to the image | video of the camera 24. FIG. And by these processes, the power consumption of illumination and a blinker can be reduced.

また、ウィンカー25、26はパルス光であるので、パルス幅によりウィンカー25、26の明るさを変えることができる。また、その明るさも手動スイッチ8やカメラ24からの信号により変更することで、昼間は明るく、夜間は明るさを抑えるなどの処理が可能である。   Further, since the winkers 25 and 26 are pulsed light, the brightness of the winkers 25 and 26 can be changed by the pulse width. Further, by changing the brightness by a signal from the manual switch 8 or the camera 24, it is possible to perform processing such as brightening during the day and suppressing the brightness at night.

更に、カメラ24は、ステアリングの信号、車速パルス、ウィンカー25、26の信号を制御処理部9に入れることで、安全管理を行うこともできる。例えば、車両の左折時の巻き込み確認などである。   Further, the camera 24 can perform safety management by inputting a steering signal, a vehicle speed pulse, and signals of the blinkers 25 and 26 into the control processing unit 9. For example, it is confirmation of entrainment when the vehicle turns left.

また、カメラ24をウィンカー25、26に連動させて、車両後方の死角監視に応用することも可能である。例えば、レンズの画角を広くするか、もしくは車速及びウィンカー25、26と連動させてカメラ24の向きを後ろに向けるか、もしくはカメラ24のレンズ前面にプリズムやミラーを置いてその向きを変えることで、車両後方の死角部分を撮像し、車線変更時の安全性を向上させることができる。この場合、カメラ24は車両の右側のサイドミラーホルダー内部に入れることで、車両の右側後部の死角監視にも応用することができる。   In addition, the camera 24 can be linked to the blinkers 25 and 26 and applied to blind spot monitoring behind the vehicle. For example, widen the angle of view of the lens, or turn the camera 24 backward in conjunction with the vehicle speed and winkers 25, 26, or place a prism or mirror in front of the lens of the camera 24 and change the direction. Thus, the blind spot behind the vehicle can be imaged and the safety when changing lanes can be improved. In this case, the camera 24 can be applied to the blind spot monitoring of the right rear portion of the vehicle by placing the camera 24 inside the side mirror holder on the right side of the vehicle.

このように、本実施例においても、夜間等の周囲が暗い場合でも車両の死角部分を安定して監視することができる。   Thus, also in the present embodiment, the blind spot portion of the vehicle can be stably monitored even when the surroundings are dark such as at night.

図8は本発明の第三の実施例の構成を示す斜視図であり、本監視装置が実装された車両(前部)の外観を示している。   FIG. 8 is a perspective view showing the configuration of the third embodiment of the present invention, and shows the appearance of a vehicle (front part) on which the present monitoring apparatus is mounted.

同図において、31は車両前部で、ここにカメラ32(第一の実施例のカメラ2及び第二の実施例のカメラ24に相当)と照明手段33(第一の実施例の照明手段6及び第二の実施例の照明手段23に相当)が設けられている。34ウィンカー、35はヘッドランプである。   In the figure, reference numeral 31 denotes a front part of the vehicle, which includes a camera 32 (corresponding to the camera 2 of the first embodiment and the camera 24 of the second embodiment) and an illumination means 33 (the illumination means 6 of the first embodiment). And equivalent to the illumination means 23 of the second embodiment). 34 blinkers and 35 are headlamps.

カメラ32は、車両前部31に設けられていて、車両前方を撮像できるように設置されているが、左右のヘッドランプ35の内部に取り付けても良い。照明手段33は、カメラ32の周辺に設けられていて、車両前方を照明できるように設置されているが、これもヘッドランプ35に内蔵されていても良い。   The camera 32 is provided in the vehicle front portion 31 and is installed so that the front of the vehicle can be imaged. However, the camera 32 may be attached inside the left and right headlamps 35. The illumination means 33 is provided in the vicinity of the camera 32 and is installed so as to illuminate the front of the vehicle, but this may also be incorporated in the headlamp 35.

ヘッドランプ35は、ロービーム、ハイビーム等の機能だけでなく、近赤外照明素子(LEDもしくは電球)を内蔵し、上記照明手段33と同様車両前方の死角部分を照明できる機能を有している。この照明のみで十分な明るさが得られる場合には、照明手段23を省略することができる。   The headlamp 35 has not only functions such as a low beam and a high beam but also a built-in near-infrared illumination element (LED or light bulb), and has a function that can illuminate a blind spot in front of the vehicle, similar to the illumination means 33. When sufficient brightness can be obtained only with this illumination, the illumination means 23 can be omitted.

そして、以上の構成により、運転席(運転手)の死角となる車両前方を照明して撮像することができる。   And by the above structure, the vehicle front used as a blind spot of a driver's seat (driver) can be illuminated and imaged.

図9は本実施例のシステム構成を示すブロック図である。   FIG. 9 is a block diagram showing the system configuration of this embodiment.

カメラ32は、近赤外領域に感度を持つCCDもしくはCMOS等の画像撮像素子を備えており、レンズ等に可視光カットフィルターもしくは近赤外線バンドパスフィルターを入れることで、選択的に必要な波長のみ取り込めるようになっている。これにより、夜間の外灯(街灯)や車両のヘッドランプによるスミアを少なくすることができる。   The camera 32 is provided with an image pickup device such as a CCD or CMOS having sensitivity in the near infrared region, and only a necessary wavelength can be selected by inserting a visible light cut filter or a near infrared band pass filter into a lens or the like. It can be taken in. As a result, it is possible to reduce smear due to nighttime outdoor lights (streetlights) and vehicle headlamps.

照明手段33は、近赤外にピーク波長を持つLEDもしくは電球を用いる。また、可視光カットフィルターもしくは近赤外線バンドパスフィルターを入れることで、可視光が見えないようにすることができる。LEDの場合は、可視光波長がでないものを用いれば、上記フィルターは省略することができる。   The illumination means 33 uses an LED or a light bulb having a peak wavelength in the near infrared. Moreover, visible light can be made invisible by inserting a visible light cut filter or a near infrared band pass filter. In the case of an LED, the above filter can be omitted if one having no visible light wavelength is used.

ウィンカー34及びヘッドランプ35は、上記照明手段33と同様のLEDもしくは電球を内蔵している。   The blinker 34 and the headlamp 35 incorporate the same LED or light bulb as the illumination means 33.

表示手段7は、車両内部に設置されたナビゲーションシステムの表示に使用されているディスプレイもしくはフロントガラスに投影されたヘッドアップディスプレイの表示部を持ち、カメラ32で撮像した車両前方の死角部を表示するものである。   The display means 7 has a display unit used for display of a navigation system installed inside the vehicle or a display unit of a head-up display projected on the windshield, and displays a blind spot portion in front of the vehicle imaged by the camera 32. Is.

手動スイッチ8は、車両のヘッドランプ35の点灯スイッチもしくは車速パルスと同期して、照明手段33及びウィンカー34、ヘッドランプ35に内蔵された照明素子を点灯させる。昼間は太陽光などの照明により車両前方の死角部分は十分照らされており、必要のないときは消灯させることが可能である。   The manual switch 8 lights the lighting device 33, the blinker 34, and the lighting element built in the headlamp 35 in synchronization with the lighting switch of the vehicle headlamp 35 or a vehicle speed pulse. In the daytime, the blind spot in front of the vehicle is sufficiently illuminated by sunlight or other illumination, and can be turned off when not needed.

制御処理部9は、カメラ32から表示手段7に撮像信号を送るものである。また、カメラ32の電子シャッター信号を受け、照明手段33やウィンカー34、ヘッドランプ35の点灯制御も行う。   The control processing unit 9 sends an imaging signal from the camera 32 to the display means 7. In addition, upon receiving an electronic shutter signal from the camera 32, lighting control of the illumination means 33, the blinker 34, and the headlamp 35 is also performed.

更に、カメラ34からの撮像信号を処理し、撮像画面の明るさに応じて照明手段33の点灯を自動制御することも可能であり、これにより、夜間でも明るい場所では照明手段33を消灯することもできる。この機能は、カメラ内部に組み込んで、照明が不必要な場合はシャッター信号を出力しないという方法でも良い。   Furthermore, it is also possible to process the imaging signal from the camera 34 and automatically control the lighting means 33 to be turned on according to the brightness of the imaging screen, thereby turning off the lighting means 33 in a bright place even at night. You can also. This function may be incorporated in the camera so that no shutter signal is output when illumination is unnecessary.

また、上記カメラ32の撮像信号は制御処理部9により表示手段7に出力されるため、映像に画像処理を行うことも可能である。例えば、映像に危険な場所を重ね合わせたり、死角部分に物体を検出した場合に特定の色を強調させて表示することなども可能である。   Further, since the image pickup signal of the camera 32 is output to the display means 7 by the control processing section 9, it is possible to perform image processing on the video. For example, it is possible to superimpose a dangerous place on the video or to display a specific color with emphasis when an object is detected in the blind spot.

また、カメラ32は、ステアリングにより向きを変える機能を設けることで、車両の進行方向に対して死角を減らし、安全性を向上させることができる。左右のヘッドランプ35にカメラ32を入れた場合には、ステアリングに応じて左右のカメラを切り替えることで、死角の多くなる見通しの悪い交差点などでの安全性を向上させることができる。   Further, the camera 32 is provided with a function of changing the direction by steering, thereby reducing the blind spot with respect to the traveling direction of the vehicle and improving the safety. When the cameras 32 are inserted into the left and right headlamps 35, the left and right cameras are switched in accordance with the steering, thereby improving safety at intersections with poor visibility and increasing blind spots.

図10の(a)、(b)は本実施例の各部の駆動信号波形を示す図であり、ここではカメラ32のシャッター信号、照明手段33の照明信号、ウィンカー34、ヘッドランプ35のランプ信号(駆動信号)を示している。   FIGS. 10A and 10B are diagrams showing drive signal waveforms of the respective parts of this embodiment. Here, the shutter signal of the camera 32, the illumination signal of the illumination means 33, the blinker 34, and the lamp signal of the headlamp 35 are shown. (Drive signal) is shown.

カメラ32から出力されたシャッター信号はCCDもしくはCMOS撮像素子の撮像時間であるため、このシャッター信号がオンの状態のときだけ照明信号を出力する。これにより、照明に必要なエネルギーを低減させることができる。また、ウィンカー34、ヘッドランプ35の光を映像内に入れないために、照明信号を反転させたものをそれらのランプ信号とする。これにより、カメラ32の映像へのスミアをなくすことが可能である。そして、これらの処理により、照明及びウィンカー、ヘッドランプの消費電力を下げることができる。   Since the shutter signal output from the camera 32 is the imaging time of the CCD or CMOS image sensor, the illumination signal is output only when the shutter signal is on. Thereby, the energy required for illumination can be reduced. Further, in order to prevent the lights of the winker 34 and the headlamp 35 from entering the image, those obtained by inverting the illumination signal are used as the lamp signals. Thereby, it is possible to eliminate the smear to the image | video of the camera 32. FIG. And by these processes, the power consumption of illumination, a blinker, and a headlamp can be reduced.

また、ウィンカー34、ヘッドランプ35はパルス光であるので、パルス幅によりウィンカー34、ヘッドランプ35の明るさを変えることができる。また、その明るさも手動スイッチ8やカメラ32からの信号により変更することで、昼間は明るく、夜間は明るさを抑えるなどの処理が可能である。   Further, since the winker 34 and the headlamp 35 are pulsed light, the brightness of the winker 34 and the headlamp 35 can be changed by the pulse width. Further, by changing the brightness by a signal from the manual switch 8 or the camera 32, it is possible to perform processing such as bright daytime and low brightness at night.

更に、カメラ32は、ステアリングに連動させて車両前方の監視に応用することも可能である。例えば、レンズの画角を広くするか、もしくは車速と連動させてカメラ32の向きを変えるか、もしくはカメラ32のレンズ前面にプリズムやミラーを置いてその向きを車速やステアリングに応じて変えることで、車両前方の監視を行い、車両が他車や人、障害物に急接近した場合に、運転手に警告を出すなど、安全性を向上させることができる。   Furthermore, the camera 32 can be applied to monitoring the front of the vehicle in conjunction with the steering. For example, by widening the angle of view of the lens, changing the direction of the camera 32 in conjunction with the vehicle speed, or placing a prism or mirror on the front surface of the lens of the camera 32 and changing the direction according to the vehicle speed or steering. It is possible to improve safety by monitoring the front of the vehicle and giving a warning to the driver when the vehicle suddenly approaches another vehicle, a person or an obstacle.

このように、本実施例においても、夜間等の周囲が暗い場合でも車両の死角部分を安定して監視することができる。   Thus, also in the present embodiment, the blind spot portion of the vehicle can be stably monitored even when the surroundings are dark such as at night.

以上、本発明の実施例について説明したが、本発明は上述のように、車両に設けられた撮像手段及び近赤外照明により夜間等の暗い場所でも運転手や他の車両、歩行者を眩惑することなく、運転手からの死角となる部分を監視することができる。また、ウィンカー、ブレーキランプ、テールランプ、バックランプの点灯による撮像手段への影響をなくし、常に安定した映像を運転手に提供することができる。また、テールランプユニット内部に撮像手段や照明手段を入れることで、デザイン等にも影響を与えることなく取り付けることができる。   As described above, the embodiments of the present invention have been described. However, as described above, the present invention is dazzling for drivers, other vehicles, and pedestrians even in dark places such as nighttime by the imaging means and near infrared illumination provided in the vehicle. Without doing so, it is possible to monitor the part that becomes a blind spot from the driver. In addition, it is possible to eliminate the influence on the image pickup means by turning on the blinker, the brake lamp, the tail lamp, and the back lamp, and to always provide a stable image to the driver. In addition, the image pickup means and the illumination means are placed inside the tail lamp unit so that the tail lamp unit can be attached without affecting the design.

本発明の第一の実施例の構成を示す平面図The top view which shows the structure of the 1st Example of this invention. 本発明の第一の実施例の構成を示す側面図The side view which shows the structure of the 1st Example of this invention. 本発明の第一の実施例のシステム構成を示すブロック図The block diagram which shows the system configuration | structure of 1st Example of this invention. 本発明の第一の実施例における各部の駆動信号波形図Drive signal waveform diagram of each part in the first embodiment of the present invention 本発明の第二の実施例の構成を示す斜視図The perspective view which shows the structure of the 2nd Example of this invention. 本発明の第二の実施例のシステム構成を示すブロック図The block diagram which shows the system configuration | structure of the 2nd Example of this invention. 本発明の第二の実施例における各部の駆動信号波形図Drive signal waveform diagram of each part in the second embodiment of the present invention 本発明の第三の実施例の構成を示す斜視図The perspective view which shows the structure of the 3rd Example of this invention. 本発明の第三の実施例のシステム構成を示すブロック図The block diagram which shows the system configuration | structure of the 3rd Example of this invention. 本発明の第三の実施例における各部の駆動信号波形図Drive signal waveform diagram of each part in the third embodiment of the present invention

符号の説明Explanation of symbols

1 後部ドア
2 カメラ(撮像手段)
3 テールランプユニット
4 ライセンスプレートランプ
5 車両後部
6 照明手段
7 表示手段
8 手動スイッチ
9 制御処理部
10 ギア
11 車速検出部
12 かじ取り装置
23 照明手段
24 カメラ(撮像手段)
25 サイドウィンカー
26 フロントウィンカー
32 カメラ(撮像手段)
33 照明手段
34 ウィンカー
35 ヘッドランプ
1 Rear door 2 Camera (imaging means)
3 Tail lamp unit 4 License plate lamp 5 Vehicle rear part 6 Illumination means 7 Display means 8 Manual switch 9 Control processing part 10 Gear 11 Vehicle speed detection part 12 Steering device 23 Illumination means 24 Camera (imaging means)
25 Side winker 26 Front winker 32 Camera (imaging means)
33 Illumination means 34 Winker 35 Headlamp

Claims (6)

車両の外側を撮像する撮像手段を備えた車両周辺監視装置であって、前記撮像手段は、近赤外領域の感度を有し、車両に設置されたウィンカーランプ、テールランプ、ブレーキランプ、バックランプの何れかのランプの点灯パルスと反転したタイミングで撮像することを特徴とする車両周辺監視装置。 A vehicle periphery monitoring device including an imaging unit that images the outside of a vehicle, wherein the imaging unit has a sensitivity in a near infrared region, and includes a blinker lamp, a tail lamp, a brake lamp, and a back lamp installed in the vehicle . A vehicle periphery monitoring device characterized in that an image is taken at a timing inverted from a lighting pulse of any lamp. 車両の外側を撮像する撮像手段を備えた車両周辺監視装置であって、前記撮像手段の撮像範囲を照明する照明手段を備え、該照明手段は赤外光を発する光源を有し、前記撮像手段は、赤外領域の感度を有し、車両に設置されたウィンカーランプ、テールランプ、ブレーキランプ、バックランプの何れかのランプの点灯パルスと反転したタイミングで撮像することを特徴とする車両周辺監視装置。 A vehicle periphery monitoring device comprising an imaging means for imaging the outside of a vehicle, comprising an illuminating means for illuminating an imaging range of the imaging means, the illuminating means having a light source that emits infrared light, and the imaging means Is a vehicle periphery monitoring device characterized in that it has sensitivity in the infrared region and takes an image at a timing reversed from a lighting pulse of any one of a blinker lamp, a tail lamp, a brake lamp, and a back lamp installed in the vehicle. . 前記撮像手段は、車両の前部、後部、側部の少なくとも何れかに設けられ、運転席からの死角部分を撮像することを特徴とする請求項1または2に記載の車両周辺監視装置。   3. The vehicle periphery monitoring device according to claim 1, wherein the imaging unit is provided in at least one of a front portion, a rear portion, and a side portion of the vehicle and images a blind spot portion from a driver's seat. 前記照明手段は、前記撮像手段のシャッタータイミングに合わせてパルス発光することを特徴とする請求項2または3に記載の車両周辺監視装置。 The vehicle periphery monitoring device according to claim 2 or 3, wherein the illumination unit emits pulse light in accordance with a shutter timing of the imaging unit. 前記照明手段は、手動もしくは前記撮像手段からの信号により自動で点灯及び消灯することを特徴とする請求項2または3に記載の車両周辺監視装置。 4. The vehicle periphery monitoring device according to claim 2 , wherein the illumination unit is turned on and off manually or automatically by a signal from the imaging unit. 5. 前記撮像装置により撮像した映像を表示する表示装置を車両内部に備えていることを特徴とする請求項1ないし5何れかに記載の車両周辺監視装置。 The vehicle periphery monitoring device according to 5 any one claims 1, characterized in that a display device for displaying the video imaged and provided inside the vehicle by the image pickup device.
JP2003422309A 2003-12-19 2003-12-19 Vehicle periphery monitoring device Expired - Fee Related JP4101167B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003422309A JP4101167B2 (en) 2003-12-19 2003-12-19 Vehicle periphery monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003422309A JP4101167B2 (en) 2003-12-19 2003-12-19 Vehicle periphery monitoring device

Publications (2)

Publication Number Publication Date
JP2005178576A JP2005178576A (en) 2005-07-07
JP4101167B2 true JP4101167B2 (en) 2008-06-18

Family

ID=34783225

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003422309A Expired - Fee Related JP4101167B2 (en) 2003-12-19 2003-12-19 Vehicle periphery monitoring device

Country Status (1)

Country Link
JP (1) JP4101167B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4232794B2 (en) 2006-05-31 2009-03-04 アイシン・エィ・ダブリュ株式会社 Driving support method and driving support device
JP5437855B2 (en) * 2010-03-02 2014-03-12 パナソニック株式会社 Obstacle detection device, obstacle detection system including the same, and obstacle detection method
DE102011082974B4 (en) * 2011-09-19 2012-12-13 Robert Bosch Gmbh Method and camera system for monitoring a vehicle surrounding area by means of a reversing camera during operation of a lighting device for illuminating the rear license plate of the motor vehicle
CN104175959A (en) * 2014-08-28 2014-12-03 中山市高朗电子有限公司 360-degree panoramic parking assistance system
KR101750160B1 (en) 2015-07-08 2017-06-22 주식회사 와이즈오토모티브 System and method for eliminating noise of around view
EP3131279A1 (en) 2015-08-14 2017-02-15 MEKRA LANG GmbH & Co. KG Camera system for a vehicle
JP6656214B2 (en) * 2017-09-04 2020-03-04 キヤノン株式会社 Flying object, moving device, control method, program, and storage medium
US10916030B2 (en) 2018-12-07 2021-02-09 Toyota Research Institute, Inc. Adaptive infrared lighting for full vehicle cabin based on occupancy
TWI745935B (en) 2019-04-19 2021-11-11 荷蘭商露明控股公司 Infrared illumination and detection system and method for illuminating and imaging a scene
US11396986B2 (en) 2019-05-23 2022-07-26 Valeo North America, Inc. Apparatus and method for masking residual visible light from an infrared emission source
JP7502145B2 (en) 2020-10-15 2024-06-18 株式会社小糸製作所 Vehicle lamp control device
CN116323311A (en) * 2020-10-15 2023-06-23 株式会社小糸制作所 Vehicle lamp, control device and control method thereof

Also Published As

Publication number Publication date
JP2005178576A (en) 2005-07-07

Similar Documents

Publication Publication Date Title
US9286521B2 (en) Camera system for large vehicles
JP5604146B2 (en) On-vehicle illumination device, image processing device, image display system, and illumination method
US7004606B2 (en) Automatic headlamp control
US7015944B2 (en) Device for improving visibility in vehicles
US20060151223A1 (en) Device and method for improving visibility in a motor vehicle
US20150002015A1 (en) Headlight control device
US20060164219A1 (en) Method and device for warning the driver of a motor vehicle
JP4101167B2 (en) Vehicle periphery monitoring device
JP6321178B2 (en) Method for operating a rear view camera system of an automobile after detection of a headlight flasher, a rear view camera system and an automobile
US20120092882A1 (en) Method and device for illuminating roadsides
US20220063484A1 (en) Vehicular exterior rearview mirror assembly with dual mode illumination module
JP4927647B2 (en) Vehicle periphery monitoring device
JP4688196B2 (en) Night vision system for automobile
JP2007091186A (en) Photographing/display method of peripheral state of vehicle and photographing/display system
JP2016182911A (en) Vehicular visibility auxiliary device and vehicle
JP4735090B2 (en) Infrared imaging device
JP5045974B2 (en) Vehicle driving support device
JP4376050B2 (en) Vehicle periphery monitoring device
JP4453619B2 (en) Blind corner monitor system
EP2709356B1 (en) Method for operating a front camera of a motor vehicle considering the light of the headlight, corresponding device and motor vehicle
JP2002308014A (en) Periphery visual recognizing device for vehicle
RU68981U1 (en) NIGHT DRIVING SYSTEM
WO2019194218A1 (en) Device for displaying traveling direction
JP2002264725A (en) Vehicle periphery imaging device
JP2002254985A (en) Device for visible identification around vehicle

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4101167

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120328

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140328

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees