JP5045974B2 - Vehicle driving support device - Google Patents
Vehicle driving support device Download PDFInfo
- Publication number
- JP5045974B2 JP5045974B2 JP2005326261A JP2005326261A JP5045974B2 JP 5045974 B2 JP5045974 B2 JP 5045974B2 JP 2005326261 A JP2005326261 A JP 2005326261A JP 2005326261 A JP2005326261 A JP 2005326261A JP 5045974 B2 JP5045974 B2 JP 5045974B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- light
- camera
- image
- receiving element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
本発明は、車両の周辺領域を撮像可能な車載カメラと、前記車載カメラによって撮像された画像を運転者に表示するモニタ画面とを備えた車両運転支援装置に関する。 The present invention relates to a vehicle driving support device including an in-vehicle camera that can image a peripheral region of a vehicle and a monitor screen that displays an image captured by the in-vehicle camera to a driver.
この種の車両運転支援装置としては、本発明に関連する先行技術文献情報として下記に示す特許文献1がある。この特許文献1に記された車両運転支援装置では、車両の周辺領域を撮像するカメラと、撮像画像を表示するモニタ画面とが設けてあるので、運転者にとっての視角領域を監視できる。また、車体から僅かに突出する空気抵抗の小さいバックミラーを用いて車両の後方を監視できるように、車両のバックミラーに映し出された映像を撮像するカメラを用いる考え方も記されている。さらに、カメラの存在を目立たなくしてデザイン性を高め、また盗難のおそれを少なくするために、後方を撮像可能なカメラを車両フェンダー部のウインカレンズ内に収納する構成についても記されている。
As this type of vehicle driving support apparatus, there is
しかし、特許文献1に記された車両運転支援装置は、1台のカメラで基本的に単一の方向のみを撮像する構成となっているので、単一のカメラでは特定の限られた領域しか監視できず、例えば前方と後方など、互いに向きの異なる複数の領域を同時に監視するためには複数のカメラが必要であった。
However, since the vehicle driving support apparatus described in
そこで、本発明の目的は、上に例示した従来技術による車両運転支援装置の持つ前述した欠点に鑑み、単一のカメラで互いに向きの異なる複数の領域を同時に監視することが可能な車両運転支援装置を提供することにある。 Accordingly, an object of the present invention is to provide a vehicle driving support capable of simultaneously monitoring a plurality of regions having different directions with a single camera in view of the above-mentioned drawbacks of the vehicle driving support device according to the prior art exemplified above. To provide an apparatus.
本発明の第1の特徴構成は、車両の周辺領域を撮像可能な車載カメラと、前記車載カメラによって撮像された画像を運転者に表示するモニタ画面とを備えた車両運転支援装置であって、
前記車載カメラと、前記車載カメラの光軸に対して偏向した位置にある被写体からの光を前記車載カメラの受光素子に導く導光手段とが車両灯火器の透光性カバー内に設けられており、前記車載カメラによって撮像された、前記導光手段を介した画像を含む複数の画像を前記モニタ画面に表示可能な制御部を備え、
互いに異なる経路を介して前記受光素子に向かう複数の光を互いに分離する仕切り部材を有する前記導光手段が前記受光素子の上流側に設けられており、
前記仕切り部材は前記受光素子と対向する所定幅の端面を備えた板状であり、
前記車載カメラによって撮像された画像では、前記端面の撮影画像が前記複数の画像どうしを仕切る境界線を構成し、
前記灯火器は点滅式の方向指示灯であり、前記制御部が、点滅中の前記方向指示灯の点灯中における撮像画像のみを前記モニタ画面に連続表示するように構成され、
前記制御部が、点灯中の前記方向指示灯から発される光に基づいて前記車両自身を撮像した画像部位を、前記方向指示灯の発光色と異なる色調に変換するフィルター処理を施して前記モニタ画面に表示する点にある。
A first characteristic configuration of the present invention is a vehicle driving support device including an in-vehicle camera capable of imaging a peripheral region of a vehicle, and a monitor screen for displaying an image captured by the in-vehicle camera to a driver,
The vehicle-mounted camera and light guide means for guiding light from a subject at a position deflected with respect to the optical axis of the vehicle-mounted camera to a light-receiving element of the vehicle-mounted camera are provided in a translucent cover of the vehicle lighting device. A control unit capable of displaying a plurality of images captured by the in-vehicle camera, including images via the light guide, on the monitor screen;
The light guide means having a partition member that separates a plurality of lights traveling to the light receiving element through different paths from each other is provided on the upstream side of the light receiving element;
The partition member has a plate shape having an end face with a predetermined width facing the light receiving element,
In the image captured by the in-vehicle camera, the captured image of the end surface constitutes a boundary line that partitions the plurality of images ,
The lighting device is a blinking direction indicator lamp, and the control unit is configured to continuously display only a captured image during lighting of the blinking direction indicator lamp on the monitor screen,
The control unit performs a filter process for converting an image portion obtained by imaging the vehicle itself based on light emitted from the directional indicator lamp that is lit, into a color tone different from the emission color of the directional indicator lamp, and the monitor. The point is to display on the screen .
したがって、本発明の第1の特徴構成による車両運転支援装置では、車載カメラと共に、カメラの光軸から偏向した位置にある被写体からの光を受光素子に導く導光手段が灯火器の透光性カバー内に配置されているので、運転者は1つのモニタ画面内で複数の領域を同時に監視可能となり、運転に対してより有効な支援がなされる。また、車載カメラと導光手段を車両灯火器の透光性カバー内に配置するので、車両灯火器の透光性カバーの気密性を利用して車載カメラを風雨から容易に保護することができる。しかも、ヘッドライトと方向指示灯とを1ユニット状にまとめて1つの透光性カバー内に収納した灯火器を用いれば、車両前方から側方を含む広範囲をカバー内の車載カメラで有効に撮像できる。
また、互いに異なる経路を介して前記受光素子に向かう複数の光を互いに分離する仕切り部材を有する前記導光手段が前記受光素子の上流側に設けられているので、撮像範囲の異なる複数の画像どうしが干渉し合った画像の内容を判別し難い状態でモニタ画面に表示されることを、光どうしを物理的に分離する仕切り部材を受光素子の手前に設けるという簡単な構成で防止できる。
方向指示灯は原則的に車両のフェンダーかその付近にあるので、車両から見て側面方向や運転者が見難い斜め後方の状況を、顔を略前方に向けたままモニタ画面によって効果的に監視できる。しかも、方向指示灯の点灯中における撮像画像のみが連続して表示されるので、特に夜間など環境光が少ない時でも、方向指示灯の点滅周期と同期して表示画像が明滅する等の不快な現象が避けられ、鮮明な画像をモニタ画面に表示できる。
さらに、夜間など環境光の弱い状況で、方向指示灯の光で周辺を撮像する場合に、車両自身の一部がモニタ画面に表示されることがあっても、車両自身は方向指示灯の発光色と異なる色調に変換されて表示されるので、周囲の障害物と車両自身との識別が容易となり、駐車操作や駐車からの発進操作に際して有効な支援となる。
Therefore, in the vehicle driving support device according to the first characteristic configuration of the present invention, the light guide means for guiding the light from the subject at the position deflected from the optical axis of the camera to the light receiving element together with the in-vehicle camera is the translucency of the lamp. Since it is arranged in the cover, the driver can simultaneously monitor a plurality of areas in one monitor screen, and more effective support for driving is provided. In addition, since the in-vehicle camera and the light guide means are disposed in the translucent cover of the vehicle lighting device, the in-vehicle camera can be easily protected from wind and rain by utilizing the airtightness of the translucent cover of the vehicle lighting device. . Moreover, if a lighting device is used in which the headlights and direction indicator lights are combined into a single unit and housed in a single translucent cover, a wide range including the side from the front of the vehicle can be effectively captured by the in-vehicle camera in the cover. it can.
In addition, since the light guide means having a partition member that separates a plurality of lights traveling toward the light receiving element via different paths from each other is provided on the upstream side of the light receiving element, a plurality of images having different imaging ranges are connected to each other. Can be prevented from being displayed on the monitor screen in a state where it is difficult to discriminate the contents of images that interfere with each other with a simple configuration in which a partition member that physically separates the lights is provided in front of the light receiving element.
Since the direction indicator light is in principle located at or near the fender of the vehicle, the monitor screen effectively monitors the direction of the side as viewed from the vehicle and the situation behind the diagonal, which is difficult for the driver to see. it can. In addition, since only the captured images are continuously displayed while the direction indicator is lit, the display image blinks in synchronization with the blinking cycle of the direction indicator even when there is little ambient light, such as at night. The phenomenon can be avoided and a clear image can be displayed on the monitor screen.
Furthermore, when the surroundings are imaged with light from the direction indicator light in a situation where the ambient light is weak, such as at night, even if a part of the vehicle itself is displayed on the monitor screen, the vehicle itself emits the direction indicator light. Since it is displayed after being converted into a color tone different from the color, it becomes easy to distinguish between surrounding obstacles and the vehicle itself, which is an effective support for parking operation and starting operation from parking.
本発明の第2の特徴構成は、車両の周辺領域を撮像可能な車載カメラと、前記車載カメラによって撮像された画像を運転者に表示するモニタ画面とを備えた車両運転支援装置であって、
前記車載カメラと、前記車載カメラの光軸に対して偏向した位置にある被写体からの光を前記車載カメラの受光素子に導く導光手段とが車両灯火器の透光性カバー内に設けられており、前記車載カメラによって撮像された、前記導光手段を介した画像を含む複数の画像を前記モニタ画面に表示可能な制御部を備え、
互いに異なる経路を介して前記受光素子に向かう複数の光を互いに分離する仕切り部材を有する前記導光手段が前記受光素子の上流側に設けられており、
前記仕切り部材は前記受光素子と対向する所定幅の端面を備えた板状であり、
前記車載カメラによって撮像された画像では、前記端面の撮影画像が前記複数の画像どうしを仕切る境界線を構成し、
前記灯火器は点滅式の方向指示灯であり、前記制御部が、前記方向指示灯を点滅させる駆動信号に基づいて、前記方向指示灯の点灯中では前記受光素子による露光量を抑え、前記方向指示灯の消灯中では前記受光素子による露光量を増やすように、前記車載カメラの絞り又はシャッタ速度を変更設定するように構成され、
前記制御部が、点灯中の前記方向指示灯から発される光に基づいて前記車両自身を撮像した画像部位を、前記方向指示灯の発光色と異なる色調に変換するフィルター処理を施して前記モニタ画面に表示する点にある。
A second characteristic configuration of the present invention is a vehicle driving support device including an in-vehicle camera capable of imaging a peripheral area of a vehicle, and a monitor screen for displaying an image captured by the in-vehicle camera to a driver,
The vehicle-mounted camera and light guide means for guiding light from a subject at a position deflected with respect to the optical axis of the vehicle-mounted camera to a light-receiving element of the vehicle-mounted camera are provided in a translucent cover of the vehicle lighting device. A control unit capable of displaying a plurality of images captured by the in-vehicle camera, including images via the light guide, on the monitor screen;
The light guide means having a partition member that separates a plurality of lights traveling to the light receiving element through different paths from each other is provided on the upstream side of the light receiving element;
The partition member has a plate shape having an end face with a predetermined width facing the light receiving element,
In the image captured by the in-vehicle camera, the captured image of the end surface constitutes a boundary line that partitions the plurality of images ,
The lighting device is a blinking direction indicator lamp, and the control unit suppresses an exposure amount by the light receiving element while the direction indicator lamp is lit based on a drive signal for blinking the direction indicator lamp, and the direction. It is configured to change and set the aperture or shutter speed of the in-vehicle camera so as to increase the exposure amount by the light receiving element while the indicator light is turned off.
The control unit performs a filter process for converting an image portion obtained by imaging the vehicle itself based on light emitted from the directional indicator lamp that is lit, into a color tone different from the emission color of the directional indicator lamp, and the monitor. The point is to display on the screen .
したがって、本発明の第2の特徴構成による車両運転支援装置では、車載カメラと共に、カメラの光軸から偏向した位置にある被写体からの光を受光素子に導く導光手段が灯火器の透光性カバー内に配置されているので、運転者は1つのモニタ画面内で複数の領域を同時に監視可能となり、運転に対してより有効な支援がなされる。また、車載カメラと導光手段を車両灯火器の透光性カバー内に配置するので、車両灯火器の透光性カバーの気密性を利用して車載カメラを風雨から容易に保護することができる。しかも、ヘッドライトと方向指示灯とを1ユニット状にまとめて1つの透光性カバー内に収納した灯火器を用いれば、車両前方から側方を含む広範囲をカバー内の車載カメラで有効に撮像できる。
また、互いに異なる経路を介して前記受光素子に向かう複数の光を互いに分離する仕切り部材を有する前記導光手段が前記受光素子の上流側に設けられているので、撮像範囲の異なる複数の画像どうしが干渉し合った画像の内容を判別し難い状態でモニタ画面に表示されることを、光どうしを物理的に分離する仕切り部材を受光素子の手前に設けるという簡単な構成で防止できる。
方向指示灯の点滅タイミングに同期させて、点灯中では露光量を抑え、消灯中では露光量を増やすことで、点滅中の方向指示灯の点灯中と消灯中とにわたって連続して撮像して、リアルタイムでモニタ画面に表示しても、平均輝度の変動の少ない比較的安定した良好な画像を表示することができる。
さらに、夜間など環境光の弱い状況で、方向指示灯の光で周辺を撮像する場合に、車両自身の一部がモニタ画面に表示されることがあっても、車両自身は方向指示灯の発光色と異なる色調に変換されて表示されるので、周囲の障害物と車両自身との識別が容易となり、駐車操作や駐車からの発進操作に際して有効な支援となる。
Therefore, in the vehicle driving support device according to the second characteristic configuration of the present invention, the light guide means for guiding the light from the subject at the position deflected from the optical axis of the camera to the light receiving element together with the in-vehicle camera is the translucency of the lamp. Since it is arranged in the cover, the driver can simultaneously monitor a plurality of areas in one monitor screen, and more effective support for driving is provided. In addition, since the in-vehicle camera and the light guide means are disposed in the translucent cover of the vehicle lighting device, the in-vehicle camera can be easily protected from wind and rain by utilizing the airtightness of the translucent cover of the vehicle lighting device. . Moreover, if a lighting device is used in which the headlights and direction indicator lights are combined into a single unit and housed in a single translucent cover, a wide range including the side from the front of the vehicle can be effectively captured by the in-vehicle camera in the cover. it can.
In addition, since the light guide means having a partition member that separates a plurality of lights traveling toward the light receiving element via different paths from each other is provided on the upstream side of the light receiving element, a plurality of images having different imaging ranges are connected to each other. Can be prevented from being displayed on the monitor screen in a state where it is difficult to discriminate the contents of images that interfere with each other with a simple configuration in which a partition member that physically separates the lights is provided in front of the light receiving element.
In synchronization with the blinking timing of the direction indicator lamp, the exposure amount is reduced during lighting, and the exposure amount is increased during extinction, so that images are continuously captured while the blinking direction indicator lamp is on and off, Even when displayed on the monitor screen in real time, it is possible to display a relatively stable and good image with little variation in average luminance.
Furthermore, when the surroundings are imaged with light from the direction indicator light in a situation where the ambient light is weak, such as at night, even if a part of the vehicle itself is displayed on the monitor screen, the vehicle itself emits the direction indicator light. Since it is displayed after being converted into a color tone different from the color, it becomes easy to distinguish between surrounding obstacles and the vehicle itself, which is an effective support for parking operation and starting operation from parking.
本発明の他の特徴構成は、前記車両灯火器がヘッドライトと前記方向指示灯とを1ユニットとして1つの前記透光性カバー内に収納した車両灯火器である点にある。
本構成であれば、車両灯火器の透光性カバーの気密性を利用して車載カメラを風雨から容易に保護することができるだけでなく、車両前方から側方を含む広範囲をカバー内の車載カメラで有効に撮像できる。
Another characteristic configuration of the present invention is that the vehicle lighting device is a vehicle lighting device in which a headlight and the direction indicator lamp are housed in one light-transmitting cover as a unit.
With this configuration, not only can the in-vehicle camera be easily protected from wind and rain by utilizing the airtightness of the translucent cover of the vehicle lighting device, but the in-vehicle camera in the cover covers a wide range including the side from the front of the vehicle. Can effectively capture images.
本発明の他の特徴構成は、前記導光手段としての反射手段を介して得られた一次撮像画像を表示用画像に変換する画像処理部を備え、前記画像処理部は前記仕切り部材の前記端面の撮像画像に基づいて前記複数の画像どうしの境界を示すマーカーを作成し、前記表示用画像と共に前記モニタ画面に表示する点にある。 Another characteristic configuration of the present invention includes an image processing unit that converts a primary captured image obtained through the reflection unit as the light guide unit into a display image, and the image processing unit includes the end surface of the partition member. A marker indicating the boundary between the plurality of images is created based on the captured image and displayed on the monitor screen together with the display image.
本構成であれば、モニタ画面上に隣接して表示される複数の画像どうし、例えば車両の前方を映した撮像画像と、車両の側方を映した別の撮像画像とを、画像処理によって良く目立つように作成した鮮やかな色などのマーカーによって明確に仕切ることができるので、運転者はこれらの異なる画像を容易に識別できる。また、仕切り部材の端面の撮像画像に基づいてマーカーが作成されるので、マーカーの位置が常により正確に決定される。 With this configuration, a plurality of images displayed adjacent to each other on the monitor screen, for example, a captured image that shows the front of the vehicle and another captured image that shows the side of the vehicle may be improved by image processing. Since it can be clearly divided by a marker such as a vivid color created prominently, the driver can easily identify these different images. In addition, since the marker is created based on the captured image of the end face of the partition member, the position of the marker is always determined more accurately.
本発明の他の特徴構成は、前記画像処理部が、前記一次撮像画像を左右反転させた表示用画像に変換して、前記モニタ画面に表示する点にある。
本発明の他の特徴構成は、前記仕切り部材が着色された透明な素材によって形成されている点にある。
本構成であれば、仕切り部材の端面を撮像して形成される鮮明な画像を、画像処理で加工せずに、そのまま表示することができる。
Another characteristic configuration of the present invention is that the image processing unit converts the primary captured image into a display image obtained by horizontally inverting and displaying the image on the monitor screen.
Another characteristic configuration of the present invention is that the partition member is formed of a colored transparent material.
With this configuration, a clear image formed by imaging the end face of the partition member can be displayed as it is without being processed by image processing.
本発明の他の特徴構成は、前記仕切り部材の前記受光素子側の端面に向けて前記仕切り部材の他の端面から光を照射する投光手段が設けられている点にある。
本構成であれば、仕切り部材のレンズ側の端面をより鮮明な画像として撮像することができる。
Another characteristic configuration of the present invention is that light projecting means for irradiating light from the other end surface of the partition member toward the light receiving element side end surface of the partition member is provided.
If it is this structure, the end surface by the side of the lens of a partition member can be imaged as a clearer image.
本発明の他の特徴構成は、前記導光手段は、前記車載カメラの光軸に対して偏向した位置にある複数の被写体からの光の夫々を各別に反射して前記車載カメラの受光素子に導く複数の鏡を備え、前記仕切り部材は、前記複数の鏡の夫々で反射された複数の光を互いに分離する縦仕切り部、及び、前記複数の鏡の夫々で反射された複数の光と前記車載カメラの正面にある被写体からの前記導光手段を通過しない光とを互いに分離する横仕切り部を一体に備え、前記車載カメラの正面にある被写体からの前記導光手段を通過しない光と、前記導光手段によって導かれた光とが同時に前記受光素子に導かれる点にある。 In another feature of the present invention, the light guiding means reflects each of light from a plurality of subjects at a position deflected with respect to the optical axis of the in-vehicle camera to the light receiving element of the in-vehicle camera. A plurality of guiding mirrors, the partition member separating a plurality of light reflected by each of the plurality of mirrors from each other, and a plurality of lights reflected by each of the plurality of mirrors and the light A light beam that does not pass through the light guide means from the subject in front of the in-vehicle camera is integrally provided with a horizontal partition that separates the light that does not pass through the light guide means from the subject in front of the in-vehicle camera; The light guided by the light guiding means is simultaneously guided to the light receiving element.
本構成であれば、導光手段を介した映像と導光手段を介さない映像とをモニタ画面に同時に表示できるので、単一の車載カメラで多数の方向を監視可能となる。また、例えば車載カメラをその光軸が重要な監視対象領域を向くように設置すれば、同領域からの光は導光手段を経ずに直接受光素子に導かれるために、導光手段の表面における一部波長の吸収や乱反射などの影響を受けない、良好な条件での撮像が可能となる。 With this configuration, an image through the light guiding unit and an image without the light guiding unit can be simultaneously displayed on the monitor screen, so that a large number of directions can be monitored with a single vehicle-mounted camera. For example, if an in-vehicle camera is installed so that its optical axis faces an important monitoring target area, the light from the area is guided directly to the light receiving element without passing through the light guiding means. The imaging under good conditions can be performed without being affected by absorption or irregular reflection of some wavelengths.
本発明の他の特徴構成は、前記導光手段が前記車載カメラの光軸より上方に配置されており、前記車載カメラの正面にある被写体からの光は前記導光手段を通ることなく直接前記受光素子に導かれる点にある。
本構成であれば、一般に運転の支援情報としての重要度が低い空は導光手段で遮られて撮像されず、その代わりに、車載カメラの光軸に対して偏向した車両後方、側方、斜め前方などに位置する被写体が導光手段で導かれて撮像される。さらに、これとは別に車載カメラの正面にある被写体も撮像されるので、結果として車両を囲む広い範囲を同時に監視できる。
In another characteristic configuration of the present invention, the light guide unit is disposed above the optical axis of the in-vehicle camera, and light from a subject in front of the in-vehicle camera directly passes through the light guide unit without passing through the light guide unit. It is in the point led to the light receiving element.
If it is this configuration, generally the sky with low importance as driving support information is not imaged by being blocked by the light guiding means, instead, the vehicle rear, side, deflected with respect to the optical axis of the in-vehicle camera, A subject positioned obliquely forward is guided by the light guide means and imaged. In addition to this, since a subject in front of the in-vehicle camera is also imaged, as a result, a wide range surrounding the vehicle can be monitored simultaneously.
以下に本発明による最良の実施形態について図面を参照しながら説明する。
図1に示す車両1は、そのフロント側の左右両端部に、車両の周辺領域を撮像可能なカメラユニット5を備えている。また、運転席のインストルメントパネルには、カメラユニット5によって撮像された画像を運転者に表示する液晶モニタ8(表示画面)が設置されている。カメラユニット5は右側のカメラユニット5Rと左側のカメラユニット5Lとからなる。
図2に示すように、カメラユニット5R,5Lは、方向指示灯2の透光性カバー2aの背後に配置されており、ビデオカメラ6と、ビデオカメラ6のレンズ6aよりも外側に配置された一対の平面鏡7a,7b(導光手段)とを有する。少なくともビデオカメラ6のレンズ6aと平面鏡7a,7bとは、車両1の方向指示灯2の透光性カバー2a内に設置されることで、風雨や塵埃から保護されている。尚、透光性カバー2aの背後には当然ながら方向指示灯2の点滅ランプ9も配置されている。
The best mode for carrying out the present invention will be described below with reference to the drawings.
A
As shown in FIG. 2, the
以下、右側のカメラユニット5Rを例として説明する。図2と図3に示すように、ビデオカメラ6のレンズ6aの光軸X2は、水平で且つ車両1の側面方向に沿う方向、特に、ここでは車両1の前後方向の中心線X1に対して垂直に設置されている。
一対の平面鏡7a,7bは、光軸X2上の所定箇所から、光軸X2に対して傾斜して配置されることで、レンズ6aの光軸に対して偏向した位置にある被写体からの光を一枚のCCD6b(受光素子)の下方領域に導く導光手段を構成している。ここでは一対の平面鏡7a,7bは、平面視で約45°の方向に「く」の字状に配置されることで、一方の平面鏡7aは車両1の前方にある被写体の像をCCD6bに結像させ、他方の平面鏡7bは車両1の後方にある被写体の像をCCD6bに結像させる。尚、プリズムを導光手段として用いることも勿論可能である。
Hereinafter, the
The pair of plane mirrors 7a and 7b are arranged so as to be inclined with respect to the optical axis X2 from a predetermined position on the optical axis X2, thereby allowing light from the subject at a position deflected with respect to the optical axis of the
また、一対の平面鏡7a,7bは光軸X2よりも上方に配置されている。ここでは、図4に示すように、各平面鏡7a,7bの下端が略レンズ6aの光軸X2と一致するように配置されている。したがって、車両1から見て側方にある被写体の像もまた、平面鏡7を経ずに、レンズ6aの下半分の領域を通過してCCD6bの上方領域に結像される。言い換えれば、一対の平面鏡7a,7bは、本来であれば一般に空からの光が通過するレンズ6aの領域を覆うように配置されていることになる。
The pair of plane mirrors 7a and 7b are disposed above the optical axis X2. Here, as shown in FIG. 4, the lower ends of the plane mirrors 7a and 7b are arranged so as to substantially coincide with the optical axis X2 of the
カメラユニット5の平面鏡7a,7bとレンズ6aの間には、平面鏡7aで反射されてCCD6bに向かう車両前方からの光と、平面鏡7bで反射されてCCD6bに向かう車両後方からの光と、平面鏡7a,7bを経ずにCCD6bに向かう車両側方からの光とを、互いに干渉し合わないように分離するための仕切り部材12が配置されている。仕切り部材12は非透光性の樹脂で形成されており、平面鏡7a,7bどうしの鉛直な境界線付近に接合された鉛直姿勢の縦仕切り部12aと、平面鏡7a,7bの各下端と縦仕切り部12aの下端との間に接合された水平姿勢の横仕切り部12bとを含む。
Between the plane mirrors 7a and 7b of the
図4に示すように、車両1の制御部10に設けられた画像処理部11は、CCD6bが撮像した画像から、一方の平面鏡7aを介してCCD6bが撮像した前方の一次撮像画像Iaと、他方の平面鏡7bを介してCCD6bが撮像した後方の一次撮像画像Ibと、平面鏡7を経ずに撮像した側方の一次撮像画像Icとを識別し、平面鏡7a,7bを介して得た一次撮像画像Ia,Ibについては左右反転させて、左右の位置関係の正しい表示用画像Ea,Ebに変換する。平面鏡7を経ずに得られた一次撮像画像Icについては、左右反転させずに表示用画像Ecとして液晶モニタ8に表示する。このために、図5に示すように、画像処理部11は、平面鏡7a,7bを介して得られた撮像画像の左右を反転するための「反転処理部」を備えている。
As shown in FIG. 4, the
また、画像処理部11は、縦仕切り部12aと横仕切り部12bのレンズ6a側の端面の撮像画像に基づいて、表示用画像Ea,Eb,Ecどうしの境界を仮想的に示す2本の直線状のマーカー20を作成し、これを表示用画像Ea,Eb,Ecと共に液晶モニタ8に表示する。マーカー20は鉛直に延びた縦マーカー20a,水平に延びた横マーカー20bとからなる。このために、画像処理部11は、撮像画像の中から縦仕切り部12aと横仕切り部12bのレンズ6a側の端面を検出する「仕切り検出部」と、検出された縦仕切り部12aと横仕切り部12bとに基づいてマーカー20a,20bを作成する「マーカー作成部」と、表示用画像Ea,Eb,Ecと作成したマーカー20a,20bとを合成する「合成処理部」とを備えている。
The
このような各撮像画像の認識および画像作成を実施させるためのプログラムとしては既存のソフトを使用できる。尚、この画像処理部11による画像作成に先立って、制御部10に各仕切り部12a,12bのレンズ6a側の端面の正確な位置を記憶させるために、予め透光性カバー2aの外表面を青色など単色の布帛で覆った状態でカメラユニット5に撮像させることで、各仕切り部12a,12bの端面のみを認識させる操作が行われている。また、マーカー20a,20bには、自然界と人工物中に比較的稀有な色合で且つ鮮明な色合で実際の仕切り部12a,12bの撮像画像よりも幅の太い直線形状などを用いれば良い。
Existing software can be used as a program for recognizing each captured image and creating an image. Prior to the image creation by the
液晶モニタ8には、3つの表示用画像Ea,Eb,Ecがリアルタイムで同時に表示される。すなわち、平面鏡7aを経て得られた車両前方の表示用画像Eaが液晶モニタ8の上半分の左側領域に、平面鏡7bを経て得られた車両後方の表示用画像Ebが液晶モニタ8の上半分の右側領域に、そして、平面鏡7を経ずに得られた車両側方の表示用画像Ecが液晶モニタ8の下半分の領域に表示される。尚、液晶モニタ8はタッチパネル式になっており、液晶モニタ8のスイッチをONしただけの状態では、3つの表示用画像Ea,Eb,Ecが同時に表示されるが、表示用画像Ea,Eb,Ecのいずれかに触れると、その選択された表示用画像のみが液晶モニタ8の全面に表示され、一定時間が経過すると、3画面状態に復帰する。また、マーカー20a,20bに触れて画面上で上下または左右などにドラッグしてマーカー20a,20bの位置を移動させることで、表示用画像Ea,Eb,Ecどうしの面積比率を自由に変更できる。このために、制御部10には、運転者による液晶モニタ8のタッチ状態を検出する「圧点検出部」と、圧点検出部による圧点の移動に応じてマーカー20a,20bを移動させる「マーカー移動部」とが設けられている。
Three display images Ea, Eb, and Ec are simultaneously displayed in real time on the
尚、制御部10には、運転者によるステアリングホイールの操舵操作や方向指示器の操作などの運転操作に基づいて、カメラユニット5R,5Lのいずれか一方を駆動して、その撮像画像をカメラ液晶モニタ8に表示するための「カメラ選択手段」が設けられている。例えば、方向指示器を右折操作すると、これがカメラ選択手段によって検出され、右側のカメラユニット5Rが駆動され、その撮像画像がカメラ液晶モニタ8に表示される。
The
また、夜間や照明の十分でない駐車場内など、環境光が特に少ない状況では、方向指示灯2の点滅ランプ9から発される光に基づいて車両周囲の被写体をカメラユニット5で撮像できる。この場合、制御部10は、点滅中の点滅ランプ9の点灯中に撮像された画像のみを液晶モニタ8に表示させる。そして、点滅ランプ9の消灯中は、液晶モニタ8が真っ暗な表示画面にならないように、点灯中に撮像された画像の最終画像コマを静止画像として連続的に表示させる。尚、点滅ランプ9の点灯中でも光量が不足な場合、ビデオカメラ6の絞り値を下げる又はシャッタ速度を長くするなど、制御部10が撮影条件を自動的に設定変更する構成としても良い。
Further, in a situation where the ambient light is particularly low, such as at night or in a parking lot where lighting is not sufficient, the
〔別実施形態〕
〈1〉方向指示灯2の点滅ランプ9から発される光に基づいて車両周囲の被写体をカメラユニット5で撮像する場合、制御部10に、車両1自身を撮像した画像部位の形状を記憶させておき、この車両1自身の撮像画像を方向指示灯2の発光色と異なる色調に変換するフィルター処理部を設けることで、液晶モニタ8には、例えばカメラユニット5で撮像した車両1のバンパを、点滅ランプ9で照らされるために黄色味を帯びた車両周囲の被写体の画像とは全く異なるマゼンタ色などで表示することができ、駐車場などにおける車両周囲の被写体の識別性を高めることができる。
[Another embodiment]
<1> When the
〈2〉昼間と夜間とに関わらず、方向指示灯2の点滅ランプ9が消灯中における撮像画像のみを液晶モニタ8に連続表示させる構成も可能である。この場合、環境光が特に少ない状況では、例えば車幅灯から発される光に基づいて車両周囲の被写体をカメラユニット5で撮像できる。そして、点滅ランプ9の消灯中における撮像画像のみが連続して表示される、点滅ランプ9の点灯中は、点滅ランプ9の消灯中に撮像された画像の最終画像コマを静止画像として連続的に表示させる。したがって、方向指示灯2の光がカメラユニット5のレンズに直接入り込んで眩しいグレアが液晶モニタ8に表示される、或いは、方向指示灯2の光がカメラユニット5の一部で反射して出来たフレアが本来の撮像画像と重なり合う、或いは、点滅ランプ9の特殊な発光色による黄色味を帯びた不自然な画像が表示される、等の不快な現象が避けられ、より鮮明な画像をモニタ画面に表示できる。
<2> A configuration in which only the picked-up images when the blinking lamp 9 of the
〈3〉環境光が特に少ない状況において、方向指示灯2の点滅ランプ9から発される光で浮かび上がる被写体を撮像する場合、或いは、点滅ランプ9の点灯中と消灯中とに拘らず被写体を撮像し、液晶モニタ8に表示させても良い。この場合は、制御部10が、点滅ランプ9を点滅させる駆動信号に同期させた形で、ビデオカメラ6の絞り値又はシャッタ速度を、例えば点灯中は絞り具合を強め、消灯中は絞り具合を弱めるなど、変更設定する構成とすれば、液晶モニタ8に表示された画像の状態が点滅ランプ9の点滅に応じて、著しく明暗が変動するなど、変化し過ぎる不具合を抑制できる。
<3> In a situation where the ambient light is particularly low, when imaging a subject that is raised by light emitted from the flashing lamp 9 of the
〈4〉仕切り部材12a,12bを蛍光顔料などで着色された透明な素材で形成しておき、その仕切り部材の端面を撮像して形成される鮮明な画像を、画像処理で加工せずに、そのまま表示しても良い。また、仕切り部材のレンズ6a側の端面をより鮮明な画像として撮像させるために、仕切り部材12a,12bの他の端面からLEDなどの光を投光しても良い。
<4> The
〈5〉仕切り部材12a,12bをより大型化して、点滅ランプ9から発される光がCCD6bに直接進入することを抑制する機能を持たせることも可能である。
<5> It is possible to increase the size of the
〈6〉カメラユニット5R,5Lの設置箇所は、方向指示灯2のカバー2a内に限らず、例えば、ヘッドライトと方向指示灯とを同時に覆う大型の透光性カバーが用いられている車両の場合には、この大型のカバーの背後の任意の箇所に配置することができる。
<6> The installation location of the
本発明は、車両の周辺領域を撮像可能な車載カメラ5と、車載カメラによって撮像された画像を運転者に表示するモニタ画面とを備え、しかも、単一のカメラで互いに向きの異なる複数の領域を同時に監視することが可能な車両運転支援装置として利用できる。
The present invention includes an in-
1 車両
2 方向指示灯
2a 透光性カバー
5R 右側カメラユニット
5L 左側カメラユニット
6 ビデオカメラ
6a レンズ
6b CCD(受光素子)
7a 平面鏡(導光手段)
7b 平面鏡(導光手段)
8 液晶モニタ(表示画面)
9 点滅ランプ
10 制御部
11 画像処理部
12a 縦仕切り部(仕切り部材)
12b 横仕切り部(仕切り部材)
20a 縦マーカー
20b 横マーカー
Ia 前方の一次撮像画像
Ib 後方の一次撮像画像
Ic 側方の一次撮像画像
Ea 前方の表示用画像
Eb 後方の表示用画像
Ec 側方の表示用画像
DESCRIPTION OF
7a Flat mirror (light guiding means)
7b Plane mirror (light guiding means)
8 LCD monitor (display screen)
9 Flashing
12b Horizontal partition (partition member)
20a
Claims (9)
前記車載カメラと、前記車載カメラの光軸に対して偏向した位置にある被写体からの光を前記車載カメラの受光素子に導く導光手段とが車両灯火器の透光性カバー内に設けられており、前記車載カメラによって撮像された、前記導光手段を介した画像を含む複数の画像を前記モニタ画面に表示可能な制御部を備え、
互いに異なる経路を介して前記受光素子に向かう複数の光を互いに分離する仕切り部材を有する前記導光手段が前記受光素子の上流側に設けられており、
前記仕切り部材は前記受光素子と対向する所定幅の端面を備えた板状であり、
前記車載カメラによって撮像された画像では、前記端面の撮影画像が前記複数の画像どうしを仕切る境界線を構成し、
前記灯火器は点滅式の方向指示灯であり、前記制御部が、点滅中の前記方向指示灯の点灯中における撮像画像のみを前記モニタ画面に連続表示するように構成され、
前記制御部が、点灯中の前記方向指示灯から発される光に基づいて前記車両自身を撮像した画像部位を、前記方向指示灯の発光色と異なる色調に変換するフィルター処理を施して前記モニタ画面に表示する車両運転支援装置。 A vehicle driving support device comprising an in-vehicle camera capable of imaging a peripheral area of a vehicle, and a monitor screen for displaying an image captured by the in-vehicle camera to a driver,
The vehicle-mounted camera and light guide means for guiding light from a subject at a position deflected with respect to the optical axis of the vehicle-mounted camera to a light-receiving element of the vehicle-mounted camera are provided in a translucent cover of the vehicle lighting device. A control unit capable of displaying a plurality of images captured by the in-vehicle camera, including images via the light guide, on the monitor screen;
The light guide means having a partition member that separates a plurality of lights traveling to the light receiving element through different paths from each other is provided on the upstream side of the light receiving element;
The partition member has a plate shape having an end face with a predetermined width facing the light receiving element,
In the image captured by the in-vehicle camera, the captured image of the end surface constitutes a boundary line that partitions the plurality of images ,
The lighting device is a blinking direction indicator lamp, and the control unit is configured to continuously display only a captured image during lighting of the blinking direction indicator lamp on the monitor screen,
The control unit performs a filter process for converting an image portion obtained by imaging the vehicle itself based on light emitted from the directional indicator lamp that is lit, into a color tone different from the emission color of the directional indicator lamp, and the monitor. Vehicle driving support device displayed on the screen .
前記車載カメラと、前記車載カメラの光軸に対して偏向した位置にある被写体からの光を前記車載カメラの受光素子に導く導光手段とが車両灯火器の透光性カバー内に設けられており、前記車載カメラによって撮像された、前記導光手段を介した画像を含む複数の画像を前記モニタ画面に表示可能な制御部を備え、
互いに異なる経路を介して前記受光素子に向かう複数の光を互いに分離する仕切り部材を有する前記導光手段が前記受光素子の上流側に設けられており、
前記仕切り部材は前記受光素子と対向する所定幅の端面を備えた板状であり、
前記車載カメラによって撮像された画像では、前記端面の撮影画像が前記複数の画像どうしを仕切る境界線を構成し、
前記灯火器は点滅式の方向指示灯であり、前記制御部が、前記方向指示灯を点滅させる駆動信号に基づいて、前記方向指示灯の点灯中では前記受光素子による露光量を抑え、前記方向指示灯の消灯中では前記受光素子による露光量を増やすように、前記車載カメラの絞り又はシャッタ速度を変更設定するように構成され、
前記制御部が、点灯中の前記方向指示灯から発される光に基づいて前記車両自身を撮像した画像部位を、前記方向指示灯の発光色と異なる色調に変換するフィルター処理を施して前記モニタ画面に表示する車両運転支援装置。 A vehicle driving support device comprising an in-vehicle camera capable of imaging a peripheral area of a vehicle, and a monitor screen for displaying an image captured by the in-vehicle camera to a driver,
The vehicle-mounted camera and light guide means for guiding light from a subject at a position deflected with respect to the optical axis of the vehicle-mounted camera to a light-receiving element of the vehicle-mounted camera are provided in a translucent cover of the vehicle lighting device. A control unit capable of displaying a plurality of images captured by the in-vehicle camera, including images via the light guide, on the monitor screen;
The light guide means having a partition member that separates a plurality of lights traveling to the light receiving element through different paths from each other is provided on the upstream side of the light receiving element;
The partition member has a plate shape having an end face with a predetermined width facing the light receiving element,
In the image captured by the in-vehicle camera, the captured image of the end surface constitutes a boundary line that partitions the plurality of images ,
The lighting device is a blinking direction indicator lamp, and the control unit suppresses an exposure amount by the light receiving element while the direction indicator lamp is lit based on a drive signal for blinking the direction indicator lamp, and the direction. It is configured to change and set the aperture or shutter speed of the in-vehicle camera so as to increase the exposure amount by the light receiving element while the indicator light is turned off.
The control unit performs a filter process for converting an image portion obtained by imaging the vehicle itself based on light emitted from the directional indicator lamp that is lit, into a color tone different from the emission color of the directional indicator lamp, and the monitor. Vehicle driving support device displayed on the screen .
前記仕切り部材は、前記複数の鏡の夫々で反射された複数の光を互いに分離する縦仕切り部、及び、前記複数の鏡の夫々で反射された複数の光と前記車載カメラの正面にある被写体からの前記導光手段を通過しない光とを互いに分離する横仕切り部を一体に備え、
前記車載カメラの正面にある被写体からの前記導光手段を通過しない光と、前記導光手段によって導かれた光とが同時に前記受光素子に導かれる請求項1〜7のいずれか一項に記載の車両運転支援装置。 The light guide means includes a plurality of mirrors that individually reflect light from a plurality of subjects at positions deflected with respect to the optical axis of the in-vehicle camera and guide the light to a light receiving element of the in-vehicle camera,
The partition member separates a plurality of lights reflected by each of the plurality of mirrors from each other, and a plurality of lights reflected by each of the plurality of mirrors and a subject in front of the in-vehicle camera Integrally provided with a lateral partition part that separates light that does not pass through the light guiding means from each other,
Wherein the light which does not pass through the light guide means from a subject on the front of the vehicle-mounted camera, according to any one of claims 1 to 7, the light guided by said light guide means is guided to the light receiving element at the same time Vehicle driving support device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005326261A JP5045974B2 (en) | 2005-11-10 | 2005-11-10 | Vehicle driving support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005326261A JP5045974B2 (en) | 2005-11-10 | 2005-11-10 | Vehicle driving support device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007131162A JP2007131162A (en) | 2007-05-31 |
JP5045974B2 true JP5045974B2 (en) | 2012-10-10 |
Family
ID=38153169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005326261A Expired - Fee Related JP5045974B2 (en) | 2005-11-10 | 2005-11-10 | Vehicle driving support device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5045974B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5459560B2 (en) | 2011-06-27 | 2014-04-02 | アイシン精機株式会社 | Perimeter monitoring device |
JP2015044557A (en) * | 2013-08-29 | 2015-03-12 | 株式会社日本自動車部品総合研究所 | Vehicle periphery environment recognizing device |
US10179544B2 (en) | 2014-05-29 | 2019-01-15 | Koito Manufacturing Co., Ltd. | Vehicle exterior observation device and imaging device |
JP2016215858A (en) * | 2015-05-21 | 2016-12-22 | パナソニックIpマネジメント株式会社 | Display control device, display system, and display control method |
JP6632261B2 (en) * | 2015-09-03 | 2020-01-22 | 株式会社小糸製作所 | Side turn signal lamp |
KR102424263B1 (en) * | 2020-12-16 | 2022-07-26 | 에이테크솔루션(주) | Glare reduction vehicle side camera system and method of reducing glare using the same |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3716999B2 (en) * | 1995-03-11 | 2005-11-16 | 日産自動車株式会社 | Vehicle camera |
JP3259889B2 (en) * | 1995-06-22 | 2002-02-25 | ナイルス部品株式会社 | Multi-directional imaging camera device |
JP3259890B2 (en) * | 1995-06-22 | 2002-02-25 | ナイルス部品株式会社 | Multi-directional imaging camera device |
JPH09247550A (en) * | 1996-03-14 | 1997-09-19 | Hitachi Denshi Ltd | Television camera |
JPH09323590A (en) * | 1996-06-07 | 1997-12-16 | Nec Corp | On-vehicle monitor |
JP3453253B2 (en) * | 1996-06-28 | 2003-10-06 | ナイルス株式会社 | Multi-directional imaging camera device |
JPH10287176A (en) * | 1997-04-17 | 1998-10-27 | Mitsubishi Electric Corp | Camera and vehicle peripheral vision device employing the camera |
JP2000032330A (en) * | 1998-07-08 | 2000-01-28 | Toshiba Corp | Automatic level adjustment device of camera |
JP3849317B2 (en) * | 1998-08-31 | 2006-11-22 | 市光工業株式会社 | Left and right side confirmation device for vehicles |
JP3566100B2 (en) * | 1998-09-16 | 2004-09-15 | 三菱電機株式会社 | Camera device |
JP4238429B2 (en) * | 1999-09-14 | 2009-03-18 | 住友電気工業株式会社 | Travel support device for moving body |
JP3792478B2 (en) * | 2000-05-12 | 2006-07-05 | 株式会社オートネットワーク技術研究所 | Vehicle periphery visual recognition device |
JP3693898B2 (en) * | 2000-07-31 | 2005-09-14 | 株式会社オートネットワーク技術研究所 | Vehicle periphery visual recognition device |
JP2002254985A (en) * | 2001-02-28 | 2002-09-11 | Auto Network Gijutsu Kenkyusho:Kk | Device for visible identification around vehicle |
JP4005456B2 (en) * | 2002-09-10 | 2007-11-07 | 株式会社オートネットワーク技術研究所 | Camera device and vehicle periphery visual recognition device |
-
2005
- 2005-11-10 JP JP2005326261A patent/JP5045974B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007131162A (en) | 2007-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1876829A1 (en) | Vehicle vicinity monitoring system | |
JP2005184225A (en) | Vehicular display | |
JP4943367B2 (en) | Vehicle information display device | |
JP5045974B2 (en) | Vehicle driving support device | |
JP6481970B2 (en) | Driver shooting device | |
JP6481971B2 (en) | Crew photographing device | |
JP2009078597A (en) | Rear side confirmation system | |
JP4927647B2 (en) | Vehicle periphery monitoring device | |
JP6023421B2 (en) | Vehicle display system | |
JP4735090B2 (en) | Infrared imaging device | |
JP4731177B2 (en) | Infrared imaging display device and infrared imaging display method for vehicle | |
JP4101167B2 (en) | Vehicle periphery monitoring device | |
JP2007094130A (en) | Optical sensor unit and head-up display device for vehicle provided with the same | |
JP2012171537A (en) | Rear lamp control device | |
JP4453619B2 (en) | Blind corner monitor system | |
JP2005231605A (en) | Rear side checking device | |
JP3764317B2 (en) | In-vehicle peripheral visual recognition device | |
WO2019009125A1 (en) | Passenger imaging device | |
JP4238619B2 (en) | Vehicle monitoring device | |
JP6251495B2 (en) | Display unit | |
JP2008195229A (en) | Vehicle surroundings monitoring system | |
JP4231962B2 (en) | Vehicle monitoring device | |
JP2002254985A (en) | Device for visible identification around vehicle | |
JP2022108190A (en) | vehicle system | |
JP4033170B2 (en) | Vehicle display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110721 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120621 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120704 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150727 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5045974 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |