JP4523526B2 - Headlamp system - Google Patents

Headlamp system Download PDF

Info

Publication number
JP4523526B2
JP4523526B2 JP2005264525A JP2005264525A JP4523526B2 JP 4523526 B2 JP4523526 B2 JP 4523526B2 JP 2005264525 A JP2005264525 A JP 2005264525A JP 2005264525 A JP2005264525 A JP 2005264525A JP 4523526 B2 JP4523526 B2 JP 4523526B2
Authority
JP
Japan
Prior art keywords
vehicle
light source
image
headlamp
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005264525A
Other languages
Japanese (ja)
Other versions
JP2007076428A (en
Inventor
聡志 山村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Priority to JP2005264525A priority Critical patent/JP4523526B2/en
Publication of JP2007076428A publication Critical patent/JP2007076428A/en
Application granted granted Critical
Publication of JP4523526B2 publication Critical patent/JP4523526B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Description

本発明は自動車等の車両の前照灯(ヘッドランプ)を点灯制御するためのヘッドランプシステムに関し、特に自車のヘッドランプの照射特性をリアルタイムに制御するとともに自車及び他車の安全走行を確保したヘッドランプシステムに関するものである。   The present invention relates to a headlamp system for controlling lighting of a headlamp of a vehicle such as an automobile, and more particularly to control irradiation characteristics of a headlamp of the own vehicle in real time and to safely drive the own vehicle and other vehicles. It relates to the secured headlamp system.

自動車の安全走行の面ではヘッドランプの明るさが高く、照射範囲が広い照射特性が好ましいが、このような照射特性は対向車や先行車等の他車を眩惑するおそれが大きくなる。近年ではこの相反する要求を満たすために、通常走行時の照射特性を高める一方で他車が接近したときに照射特性を制限するようにしたヘッドランプシステムが提案されている。例えば、特許文献1では、自車の前方をカメラで撮像して得られた画像から他車のヘッドランプやテールランプに相当する輝度の高い明領域を検出し、この明領域の方向を求めて自車のヘッドランプの照射特性を制御することで他車の眩惑を防止している。この特許文献1の技術では、画像中の明領域が街路灯のような他車以外の光源であることを前提としていないため、街路灯による明領域を認識したときも照射特性を制限してしまう等、必要以上に自車の照射特性を制限してしまう場合がある。これに対し、特許文献2には撮像して得られた画像を信号処理し、所要の演算を行うことで画像中の明領域が街路灯と他車の光源(ランプ光)のいずれかであるかを判定する技術が提案され、自車の照射特性をいたずらに制限することがないようにした技術が提案されている。この信号処理として、撮像した画像を2値化して輪郭線を抽出し、明領域の大きさから対称性をもったペアを抽出し、かつこの対称性を追跡することができたときにこれらを他車の光源としてその車間距離を求め、車間距離の変化により先行車、対向車を認識する技術である。   From the standpoint of safe driving of an automobile, an illumination characteristic in which the brightness of the headlamp is high and the illumination range is wide is preferable. However, such an illumination characteristic increases the risk of dazzling other vehicles such as an oncoming vehicle and a preceding vehicle. In recent years, in order to satisfy these conflicting requirements, a headlamp system has been proposed in which the irradiation characteristics during normal driving are enhanced while the irradiation characteristics are limited when another vehicle approaches. For example, in Patent Document 1, a bright area with high brightness corresponding to a headlamp or tail lamp of another vehicle is detected from an image obtained by imaging the front of the own vehicle with a camera, and the direction of the bright area is obtained to determine the direction of the bright area. Dazzling other vehicles is prevented by controlling the irradiation characteristics of the car headlamps. In the technique of this patent document 1, since it is not premised that the bright area in the image is a light source other than another vehicle such as a street lamp, the irradiation characteristic is limited even when the bright area by the street lamp is recognized. There are cases where the irradiation characteristics of the own vehicle are restricted more than necessary. On the other hand, Patent Document 2 performs signal processing on an image obtained by imaging, and performs a required calculation so that a bright area in the image is either a street light or a light source (lamp light) of another vehicle. A technique for determining whether or not the irradiation characteristics of the vehicle are not unnecessarily restricted has been proposed. As this signal processing, the captured image is binarized to extract a contour line, a pair having symmetry is extracted from the size of the bright region, and when this symmetry can be traced, these are extracted. This is a technology for obtaining the distance between vehicles as a light source of another vehicle and recognizing a preceding vehicle and an oncoming vehicle by a change in the distance between vehicles.

また、特許文献3には、撮像した画像中の明領域が他車の光源であるか、あるいは自車の光源からの光が道路標識等によって反射された反射光であるかを判定する技術についての記載がある。この技術では、画像中に明領域を検出したときに、自車の光源を減光し、当該明領域の輝度が追従して低下したときに当該明領域と自車の光源との間に相関があるものとし、当該明領域を自車の反射光と判定するものである。
特開2003−267125号公報 特開平8−166221号公報 特許第3568210号公報
Patent Document 3 discloses a technique for determining whether a bright region in a captured image is a light source of another vehicle, or whether light from the light source of the own vehicle is reflected light reflected by a road sign or the like. Is described. In this technology, when a bright area is detected in an image, the light source of the own vehicle is dimmed, and when the brightness of the bright area decreases following the correlation, the correlation between the bright area and the light source of the own vehicle is established. And the bright area is determined as the reflected light of the own vehicle.
JP 2003-267125 A JP-A-8-166221 Japanese Patent No. 3568210

特許文献2の技術では、カメラで撮像した画像の明領域を他車の光源として判定するためには、判定を行うための信号処理に時間がかかり過ぎ、リアルタイムの照射特性の制御が難しい。これを実現するためには、高精度のカメラや、処理を高速に行うための高速CPUを備える必要がありコスト高の原因になる。これに対し、特許文献3の技術では、単に自車の光源を減光したときの明領域の明るさを測定して両者の相関を判定するだけで良いため、リアルタイム制御を実現し、かつコスト高を回避する上では有効である。実際には、画像中に明領域が確認できなくなる程度まで大幅に減光することが行われる。   In the technique of Patent Document 2, in order to determine a bright region of an image captured by a camera as a light source of another vehicle, it takes too much time for signal processing for performing the determination, and it is difficult to control real-time irradiation characteristics. In order to realize this, it is necessary to provide a high-accuracy camera and a high-speed CPU for performing processing at high speed, which causes high costs. On the other hand, in the technique of Patent Document 3, since it is only necessary to determine the correlation between the two by simply measuring the brightness of the bright area when the light source of the own vehicle is dimmed, real-time control is realized and the cost is reduced. It is effective in avoiding high. Actually, the light is greatly reduced to such an extent that a bright region cannot be confirmed in the image.

しかしながら、特許文献3の技術は、単に自車の光源であるか否かを判定する技術を提案しているのに過ぎないため、自車の光源による前方照明において問題が生じることがある。例えば、実際の自動車に適用した場合に、走行中の自車の光源を減光して画像中の明領域の明るさの低下との相関があると判定したときには明領域を自車の反射光として判定し、自車の光源を再び初期の明るさに戻すが、そのときに再び画像中に自車の反射光による明領域が表れ、この明領域が先に反射光による明領域と同じであるか否かを判定する技術が存在しないため、この明領域に対して再び自車の光源を減光して判定を行うことになり、以降はこの制御を繰り返し行うことになり、結果として自車の光源が点滅状態となり自車の前方を適切に照明することができなくなり、安全走行の点で好ましくない。また、自車の光源を減光しても画像中の明領域の明るさが低下せず、両者の間に相関が存在していないと判定したときには、他車の光源であると認識するが、この場合には自車は光源を減光したまま走行する状態となり、自車の前方が暗くなるとともに、他車から自車が認識し難くなり安全走行の点で好ましくない。   However, since the technique of Patent Document 3 merely proposes a technique for determining whether or not the light source is the own vehicle, a problem may occur in the front illumination using the light source of the own vehicle. For example, when applied to an actual automobile, if the light source of the traveling vehicle is dimmed and it is determined that there is a correlation with a decrease in brightness of the bright region in the image, the bright region is reflected by the reflected light of the vehicle. The light source of the own vehicle is returned to the initial brightness again, but at that time, a bright area due to the reflected light of the own car appears again in the image, and this bright area is the same as the bright area due to the reflected light first. Since there is no technology for determining whether or not there is, the light source of the own vehicle is dimmed again for this bright region, and thereafter, this control is repeated, and as a result The light source of the car is in a blinking state, and it becomes impossible to properly illuminate the front of the host vehicle, which is not preferable in terms of safe driving. Also, even if the light source of the host vehicle is dimmed, the brightness of the bright area in the image does not decrease, and when it is determined that there is no correlation between the two, it is recognized as the light source of the other vehicle. In this case, the own vehicle travels with the light source dimmed, the front of the own vehicle becomes dark, and the own vehicle becomes difficult to recognize from other vehicles, which is not preferable in terms of safe driving.

本発明の目的は他車の眩惑を防止する際に自車が必要以上に減光することを防止して自車の照射特性を制御することで安全走行を確保したヘッドランプシステムを提供するものである。   An object of the present invention is to provide a headlamp system that ensures safe driving by preventing the own vehicle from being dimmed more than necessary when preventing dazzling of other vehicles and controlling the irradiation characteristics of the own vehicle. It is.

本発明は、車両の前方を撮像するカメラと、当該カメラで撮像した画像中の高輝度部を検出する画像処理部と、自車のヘッドランプの光度を制御するランプ制御部と、前記ランプ制御部での光度の制御と検出された前記高輝度部の輝度との相関から当該高輝度部が他車の光源であるか自車の光源の反射光であるかを判定する処理装置とを備え、前記処理装置での前記判定に際し、ランプ制御部はヘッドランプの光度を最高光度の10%の所定光度で低下するとともに、処理装置での判定結果に基づいて他車の光源であると判定したときには当該光度の低下を停止し、自車の反射光であると判定したときには当該光度の低下を継続するように構成したことを特徴とする。 The present invention includes a camera that captures the front of a vehicle, an image processing unit that detects a high-luminance portion in an image captured by the camera, a lamp control unit that controls the light intensity of a headlamp of the host vehicle, and the lamp control. And a processing device for determining whether the high luminance part is a light source of another vehicle or a reflected light of the light source of the own vehicle from the correlation between the control of the luminous intensity at the unit and the detected luminance of the high luminance part. In the determination by the processing device, the lamp control unit determines that the light intensity of the headlamp is a predetermined light intensity of 10% of the maximum light intensity and that the light source of the other vehicle is based on the determination result by the processing device . In some cases, the decrease in the light intensity is stopped, and when it is determined that the light is reflected from the host vehicle, the decrease in the light intensity is continued .

ここで本発明では、ヘッドランプの光度を前記した所定光度で低下させ、高輝度部の輝度が追従して低下したときに当該高輝度部は自車のヘッドランプの反射光であると判定し、高輝度部の輝度が追従して変化しないときに他車の光源であると判定する。また、カメラは所定のタイミング毎に撮像を行い、画像処理部は撮像した画像中の高輝度部の関連付けを行い、同一対象と判定した高輝度部の輝度を経時的に検出することが好ましい。 Here, in the present invention, when the brightness of the headlamp is decreased at the predetermined brightness described above, and the brightness of the high brightness portion is reduced following, the high brightness portion is determined to be reflected light of the headlamp of the own vehicle. When the luminance of the high luminance portion does not change following the determination, it is determined that the light source is the other vehicle. Also, the camera performs the imaging at every predetermined timing, the image processing unit performs the association of high luminance portion in the image captured, to be detected over time the brightness of the high luminance portion is determined that the identical object preferable.

本発明によれば、画像処理部で検出した画像中の高輝度部の輝度変化と、ランプ制御部で制御した自車のヘッドランプの光度の変化との相関をとるだけで他車の光源か自車の光源の反射光かを容易に判定することができ、CPUでの判定処理プロセスが少なく、リアルタイムでの判定が可能になり、その判定に基づいたランプ制御が可能になる。また、判定に際しては自車の光源の光度を最高光度の10%の所定光度で低下させ、高輝度部の輝度が追従変化するか否かに基づいて判定し、他車の光源であると判定したときには光度の低下を継続し、自車の反射光であると判定されたときには光度の低下を停止させるので、他車或いは反射光のいずれの場合でも自車の前方の照明が極端にかつ急激に暗くなることはなく、自車の安全走行が確保される。これにより、高精度のカメラや高速CPUが不要になり、システムが低コストで構成できるとともに、他車への眩惑を防止した場合でも自車の安全走行を確保した適正な照射特性の制御がリアルタイムに実現できる。 According to the present invention, it is possible to determine whether the light source of another vehicle can be obtained simply by correlating the change in luminance of the high luminance portion in the image detected by the image processing unit with the change in luminous intensity of the headlamp of the own vehicle controlled by the lamp control unit. It is possible to easily determine whether the light is reflected from the light source of the host vehicle, the determination processing process by the CPU is small, determination in real time is possible, and lamp control based on the determination is possible. Further, when determining, the light intensity of the light source of the own vehicle is decreased by a predetermined light intensity of 10% of the maximum light intensity, and the determination is made based on whether or not the luminance of the high-luminance portion changes , and the light source of the other vehicle is determined When this happens, the light intensity continues to decrease, and when it is determined that the light is reflected from the own vehicle, the light intensity decrease is stopped. The vehicle is not darkened and safe driving is ensured. This eliminates the need for a high-accuracy camera and high-speed CPU, allows the system to be configured at low cost, and provides real-time control of appropriate irradiation characteristics that ensure safe driving of the vehicle even when dazzling other vehicles is prevented. Can be realized.

次に、本発明の実施例を図面を参照して説明する。図1は本発明を自動車のヘッドランプシステムに適用した実施例の概念構成図である。自動車CARの左右のヘッドランプLL,RLにはランプ制御部2が接続されており、このランプ制御部2によって前記ヘッドランプLL,RLの照射特性、ここでは各ヘッドランプの光度(明るさ)を減光できるように構成される。ここで、ランプ制御部2はヘッドランプLL,RLの減光に際しては後述するように光度を微小レベル単位で段階的に減光できるように構成されている。また、前記自動車CARには自車の前方を撮像するCCD撮像装置等からなるカメラ3を備えるとともに、当該カメラ3で撮像した画像を処理する画像処理部4を備えている。この画像処理部4では後述するように撮像した画像中の明領域を認識し、かつその明領域の輝度(明るさ)を検出することが可能とされている。その上で、前記ランプ制御部2と画像処理部4はCPU(中央処理装置)1に接続されており、CPU1ではランプ制御部2で制御するランプの光度と、画像処理部4で認識した明領域の輝度及びその変化とにより当該明領域が他車の光源であるか、自車の光源の反射光であるかを判定し、この判定結果に基づいてランプ制御部2でのヘッドランプLL,RLの光度の制御を行うように構成されている。   Next, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a conceptual configuration diagram of an embodiment in which the present invention is applied to an automobile headlamp system. A lamp control unit 2 is connected to the left and right headlamps LL and RL of the automobile CAR, and the lamp control unit 2 controls the irradiation characteristics of the headlamps LL and RL, here the luminous intensity (brightness) of each headlamp. Configured to be dimmable. Here, the lamp control unit 2 is configured so that the light intensity can be gradually reduced in units of minute levels when the headlamps LL and RL are dimmed. The car CAR includes a camera 3 including a CCD image pickup device that picks up the front of the vehicle and an image processing unit 4 that processes an image picked up by the camera 3. As will be described later, the image processing unit 4 is capable of recognizing a bright area in a captured image and detecting the brightness (brightness) of the bright area. In addition, the lamp control unit 2 and the image processing unit 4 are connected to a CPU (Central Processing Unit) 1, and the CPU 1 controls the brightness of the lamp controlled by the lamp control unit 2 and the brightness recognized by the image processing unit 4. Based on the brightness of the area and its change, it is determined whether the bright area is a light source of another vehicle or a reflected light of the light source of the own vehicle. Based on the determination result, the headlamps LL, The light intensity of the RL is controlled.

以上の構成のヘッドランプシステムによるヘッドランプ照射特性の制御について図2のメインフローチャートを参照して説明する。先ず、所定のタイミング時にカメラ3で自車の前方を撮像する(S101)。画像処理部4は撮像した画像の全体が明るいか否かを判定する(S102)。昼間時にカメラ3で撮像した画像中は全体が明るい画像であり、この画像中には先行車のテールランプや対向車のヘッドランプ等の各光源が明るい輝度部として撮像されることは少ない。一方、夜間時にカメラ3で撮像した画像が全体が暗い画像であり、その画像中に先行車のテールランプや対向車のヘッドランプ等の各光源が明るい輝度部として撮像されている。そこで、画像が明るい場合にはヘッドランプLL,RLのランプ制御は行わず、ステップS101に戻り、所定時間後のタイミング時に次の撮像を実行する。画像が暗い場合には画像処理部4において撮像により得られた画像中の明領域である高輝度部を検出する(S103)。   Control of the headlamp irradiation characteristics by the headlamp system having the above configuration will be described with reference to the main flowchart of FIG. First, the front of the vehicle is imaged by the camera 3 at a predetermined timing (S101). The image processing unit 4 determines whether or not the entire captured image is bright (S102). The image captured by the camera 3 during the daytime is a bright image as a whole. In this image, each light source such as the tail lamp of the preceding vehicle and the headlamp of the oncoming vehicle is rarely captured as a bright luminance portion. On the other hand, an image captured by the camera 3 at night is a dark image, and each light source such as a tail lamp of a preceding vehicle and a head lamp of an oncoming vehicle is captured as a bright luminance portion in the image. Therefore, when the image is bright, the lamp control of the headlamps LL and RL is not performed, the process returns to step S101, and the next imaging is executed at a timing after a predetermined time. If the image is dark, the image processing unit 4 detects a high-luminance portion that is a bright region in the image obtained by imaging (S103).

画像処理部4での明領域、すなわち高輝度部の検出ステップS103について説明する。図3はそのフローチャート、図4(a)は撮像した画像の模式図である。この高輝度部の検出ステップS103では、図4(a)のように、画像処理部4はカメラ3で撮像した画像Vの全体を所定のマトリクス構成として多数のブロックに区分しており、各ブロックの輝度を検出する(S201)。この例では画像Vに先行車の光源による高輝度部P1と、対向車の光源による高輝度部P2、及び道路標識の高輝度部P3が撮像されているものとする。そして、全ブロックの平均輝度を演算してこれをしきい値とし(S202)、各ブロックの個々の輝度をしきい値と比較することで(S203)、高輝度部が存在するブロックを検出する(S204)。各ブロックの輝度は画像中の明暗レベルで検出でき、この明暗レベルを相互に比較することで高輝度部の検出が可能である。検出した高輝度部が存在するブロックはメモリに記録する(S205)。次いで、画像処理部4は次のタイミングで撮像された画像が存在する場合には(S206)、ステップS201に戻り当該次の画像に対して同様の処理を行って高輝度部が存在するブロックを検出し、メモリに記録する。   The detection step S103 of the bright area in the image processing unit 4, that is, the high luminance part will be described. FIG. 3 is a flowchart thereof, and FIG. 4A is a schematic diagram of a captured image. In this high luminance portion detection step S103, as shown in FIG. 4A, the image processing unit 4 divides the entire image V captured by the camera 3 into a large number of blocks as a predetermined matrix configuration. Is detected (S201). In this example, it is assumed that the high-intensity part P1 by the light source of the preceding vehicle, the high-intensity part P2 by the light source of the oncoming vehicle, and the high-intensity part P3 of the road sign are captured in the image V. Then, the average luminance of all the blocks is calculated and set as a threshold value (S202), and the individual luminance of each block is compared with the threshold value (S203), thereby detecting a block in which a high luminance part exists. (S204). The brightness of each block can be detected at the light and dark levels in the image, and the high brightness portion can be detected by comparing the light and dark levels with each other. The detected block having the high luminance portion is recorded in the memory (S205). Next, when there is an image captured at the next timing (S206), the image processing unit 4 returns to step S201 and performs the same processing on the next image to determine a block in which the high luminance portion exists. Detect and record in memory.

次いで、図2のメインフローに示したように、CPU1は、画像処理部4において検出した先の画像の高輝度部(ブロック)と今回の画像の高輝度部(ブロック)の関連付けを行う(S104)。この関連付けでは、フロー図は省略するが、検出した高輝度のうち自動車の走行に伴って画像中において位置変化する高輝度部を求めるものである。一般には、画像中に存在する高輝度部は自車の走行に伴って順次撮像された画像中において微小距離で移動することを利用して、各画像中における同一対象の高輝度部を認識する。例えば、詳細については後述するが、先に撮像した図4(a)の画像中の高輝度部P1,P2,P3に対し、次に撮像した図4(b)及び図4(c)の各画像中における高輝度の位置が図4(a)の画像に対して余り変化しない高輝度部P1は先行車の光源である可能性が高く同一対象であると関連付ける。また、次第に輝度が高くなって画像中の右方向に高速で移動する高輝度部P2は対向車の光源である可能性が高く同一対象と関連付ける。あるいは、輝度がほぼ同じであるが自車の車速に追従して比較的に低速で画像中の右方向あるいは左方向に移動する高輝度部P3は道路標識や固定物での自車の反射光の可能性が高く同一対象と関連付ける。この関連付けでは、画像中の高輝度の輝度とその位置を検出し、複数の画像間で比較する処理で実現できるので、CPU1では簡易な処理フローで実現でき、高速CPUは不要である。   Next, as shown in the main flow of FIG. 2, the CPU 1 associates the high-intensity part (block) of the previous image detected by the image processing unit 4 with the high-intensity part (block) of the current image (S104). ). In this association, although a flowchart is omitted, a high-luminance portion whose position changes in the image as the automobile travels is obtained among the detected high-luminances. In general, a high-intensity part existing in an image is recognized by moving at a very small distance in an image sequentially captured as the vehicle travels, thereby recognizing the high-intensity part of the same target in each image. . For example, although details will be described later, each of the high-intensity portions P1, P2, and P3 in the image of FIG. 4A previously imaged is captured next in FIG. 4B and FIG. 4C. The high-intensity portion P1 in which the position of high-intensity in the image does not change much with respect to the image in FIG. In addition, the high luminance part P2 that gradually increases in brightness and moves at a high speed in the right direction in the image is likely to be a light source of an oncoming vehicle and is associated with the same object. Alternatively, the high-intensity part P3, which has substantially the same luminance but follows the vehicle speed of the own vehicle and moves to the right or left in the image at a relatively low speed, is reflected light from the vehicle by road signs or fixed objects. Associate with the same object. This association can be realized by a process of detecting high brightness and its position in an image and comparing them among a plurality of images. Therefore, the CPU 1 can be realized with a simple processing flow and does not require a high-speed CPU.

なお、ステップS104及びS105において関連付けができない高輝度部については次のように処理する。すなわち、今回の画像中には存在するが過去の画像中に存在していなかった高輝度部がある場合については(S108)、以降の画像での関連付けを行うための初期データとして新たに登録しておく(S109)。この場合には、以降の画像中での高輝度部との関連付けを行うことになる。また、今回の画像中には存在していないが過去の画像中に存在していた高輝度部については、関連付けの処理を解除する(S110)。   In addition, about the high-intensity part which cannot be linked | related in step S104 and S105, it processes as follows. That is, when there is a high-luminance portion that is present in the current image but not present in the past image (S108), it is newly registered as initial data for associating with subsequent images. (S109). In this case, the association with the high luminance part in the subsequent images is performed. Further, the association processing is canceled for the high-luminance portion that was not present in the current image but was present in the past image (S110).

しかる上で、CPU1は画像中に存在し、かつ関連付けられた高輝度部が先行車又は対向車の光源であるか、道路標識や固定物による自車のヘッドランプ光の反射光であるかの判定を行う(S106)。この判定では、図5のフローに示すように、先ずCPU1からランプ制御部2に減光信号を送り、ヘッドランプLL,RLの光度を減光する(S301)。このとき、ランプ制御部2によるヘッドランプの光度の減光は、微小な減光量とする。この減光量は運転者等が肉眼では識別することができない範囲での減光量とする。例えば、ヘッドランプの光度の最大光度の10%程度の光度を微小な減光量とする。   Accordingly, the CPU 1 is present in the image, and whether the associated high-intensity part is the light source of the preceding vehicle or the oncoming vehicle, or the reflected light of the headlamp light of the vehicle by a road sign or a fixed object. A determination is made (S106). In this determination, as shown in the flow of FIG. 5, first, a dimming signal is sent from the CPU 1 to the lamp control unit 2 to diminish the luminous intensity of the headlamps LL and RL (S301). At this time, the light intensity reduction of the headlamp by the lamp control unit 2 is a minute light reduction amount. This light reduction is a light reduction within a range that cannot be identified with the naked eye by the driver. For example, a light intensity of about 10% of the maximum light intensity of the headlamp is set as a minute light reduction amount.

ヘッドランプを減光した後に、画像処理部4では画像中の高輝度部の輝度を再度検出する(S302)。この高輝度部の検出フローは図3に示したフローとほぼ同様であるが、1つの撮像した画像についてのみ行う。CPU1では、この検出した輝度に基づき、ステップS104において同一対象と関連付けた高輝度部の輝度が変化しない場合には、当該高輝度部は対向車あるいは先行車の光源として判定する(S303,S304)。すなわち、画像中に存在する高輝度部が先行車のテールランプ等の光源の場合には自車と先行車との車間距離がほぼ一定であるため画像中における高輝度部の位置変化が少ないことから当該高輝度部は先行車の光源であると判定する。また、画像中に存在する高輝度部が対向車のヘッドランプ等の光源の場合には高輝度部の輝度は顕著に高いレベルであると共に、当該高輝度部は極めて速い速度で画面の右ないし右下方向に移動することから、当該輝度部は対向車の光源であると判定する。また、同一対象と関連付けられた高輝度部の輝度が低下したときには(S303)、当該高輝度部は自車のヘッドランプLL,RLから出射した光が道路標識や固定物で反射した反射光であると判定する(S304)。   After dimming the headlamp, the image processing unit 4 detects the luminance of the high luminance part in the image again (S302). The detection flow of the high-intensity part is almost the same as the flow shown in FIG. 3, but only for one captured image. In the CPU 1, based on the detected luminance, when the luminance of the high luminance portion associated with the same object does not change in step S104, the high luminance portion is determined as the light source of the oncoming vehicle or the preceding vehicle (S303, S304). . That is, when the high-intensity part existing in the image is a light source such as a tail lamp of a preceding vehicle, the distance between the host vehicle and the preceding vehicle is almost constant, so the position change of the high-intensity part in the image is small. The high-intensity part is determined to be the light source of the preceding vehicle. In addition, when the high-luminance portion present in the image is a light source such as a headlamp of an oncoming vehicle, the luminance of the high-luminance portion is at a remarkably high level, and the high-luminance portion is displayed on the right or left side of the screen at an extremely high speed. Since it moves to the lower right direction, the said brightness | luminance part determines with it being a light source of an oncoming vehicle. Further, when the luminance of the high luminance part associated with the same object is reduced (S303), the high luminance part is reflected light that is reflected from the road signs and fixed objects by the light emitted from the headlamps LL and RL of the own vehicle. It is determined that there is (S304).

このようにして判定を行った後に減光制御S107を行う。この減光制御S107は、図6のフローに示すように、道路標識や固定物による自車光源の反射光であると判定した場合には(S401)、他車を眩惑するおそれがないため、自車のヘッドランプの光度を上げ(S402)、その後カメラ3で撮像した画像の高輝度部を検出する(S403)。高輝度部が検出されたか否かを判定し(S404)、高輝度部が検出されたときには、再びヘッドランプを減光し(S405)、再度カメラ3で撮像した画像中の高輝度部を検出する(S406)。高輝度部の輝度が低下しているか否かを判定し(S407)、輝度が低下しているときには反射光であると確認できる。以下、高輝度部が検出される限り(S408)、ステップS402に戻り、同様のフローを繰り返す。なお、ステップS404及びS408において高輝度部がない場合、及び高輝度部が自車のヘッドランプの光度の低下に追従しない場合(S407)にはフローを終了する。これにより、図7(a)に実線でヘッドランプLL,RLの光度制御のタイミング図を示すように、ランプ制御部2による減光と、減光を停止して初期の光度にまで復光する制御を繰り返し行うことになる。この自車光の減光と復光における減光量は微小量であって肉眼で識別できないため、運転者に煩わしさを感じさせることはなく、その一方で自車の前方の照明が殆ど暗くなることはなく、安全走行が確保される。因みに同図の破線は減光量が大きな従来の制御の特性であり、ヘッドランプをオン・オフして光度を減光しているため、運転者に煩わしさを感じさせるとともに、減光時には前方が暗くなり安全走行の点で好ましくない。 After the determination is made in this way, the dimming control S107 is performed. As shown in the flow of FIG. 6, the dimming control S107 has no possibility of dazzling other vehicles when it is determined that the reflected light of the vehicle light source is a road sign or a fixed object (S401). The brightness of the headlamp of the host vehicle is increased (S402), and then a high-luminance portion of the image captured by the camera 3 is detected (S403). It is determined whether or not a high brightness portion has been detected (S404). When the high brightness portion is detected, the headlamp is dimmed again (S405), and the high brightness portion in the image captured by the camera 3 is detected again. (S406). It is determined whether or not the brightness of the high brightness portion is lowered (S407), and when the brightness is lowered, it can be confirmed that the light is reflected. Hereinafter, as long as the high brightness portion is detected (S408), the process returns to step S402 and the same flow is repeated. If there is no high luminance part in steps S404 and S408, and if the high luminance part does not follow the decrease in the luminous intensity of the headlamp of the host vehicle (S407), the flow ends. As a result, as shown in the solid line in FIG. 7A, the timing diagram of the luminous intensity control of the headlamps LL and RL, the dimming by the lamp control unit 2, the dimming is stopped, and the light is returned to the initial luminous intensity. The control will be repeated. Since the amount of light reduction in the vehicle light and the light reduction in the back light is so small that it cannot be identified with the naked eye, the driver does not feel bothersome, while the illumination in front of the vehicle is almost dark. This will ensure safe driving. Incidentally, the broken line in the figure is a characteristic of conventional control with a large amount of light reduction, and because the light intensity is dimmed by turning the headlamp on and off, the driver feels bothersome and the front is at the time of dimming It becomes dark and is not preferable in terms of safe driving.

一方、ステップS106での判定の結果、高輝度部が先行車あるいは対向車等の他車の光源であると判定した場合には(S401)、前述のように輝度の変化が少ない場合には、先行車の光源であると判定し(S409)、この場合には自車のヘッドランプLL,RLを減光し(S410)、この減光を2回行うことで(S411)、結果として2段階だけ減光を行う。これにより、図7(b)に実線でタイミング図を示すように、ランプ制御部2によるヘッドランプLL,RLの減光量を所定の減光量以下にならないように制御する。すなわち、先行車の場合には対向車の場合に比較して自車のヘッドランプLL,RLによる眩惑は少ないからである。これにより、先行車を眩惑することがない程度に自車のヘッドランプLL,RLの光度を低下させる一方で、自車の前方の照明を安全走行に必要な明るさに保持することができる。因みに図示破線のように一気に光度を低下させた場合には前方の照明が暗くなり、安全走行の点で好ましくない。   On the other hand, as a result of the determination in step S106, when it is determined that the high luminance part is a light source of another vehicle such as a preceding vehicle or an oncoming vehicle (S401), when the change in luminance is small as described above, The light source of the preceding vehicle is determined (S409). In this case, the headlamps LL and RL of the own vehicle are dimmed (S410), and this dimming is performed twice (S411), resulting in two stages. Only do dimming. As a result, as shown in the timing diagram with a solid line in FIG. 7B, the lamp controller 2 performs control so that the light reduction amount of the headlamps LL and RL does not fall below a predetermined light reduction amount. That is, in the case of a preceding vehicle, there is less glare due to the headlamps LL and RL of the own vehicle than in the case of an oncoming vehicle. Thereby, while reducing the luminous intensity of the headlamps LL and RL of the own vehicle to such an extent that the preceding vehicle is not dazzled, the illumination in front of the own vehicle can be maintained at the brightness required for safe driving. Incidentally, when the luminous intensity is lowered at a stroke as shown by the broken line in the drawing, the front illumination becomes dark, which is not preferable in terms of safe driving.

また、ステップS106での判定の結果、高輝度部の輝度が徐々に増加してくる場合には、接近してきた対向車の光源であると判定し(S409)、この場合には自車のヘッドランプLL,RLを減光し(S412)、カメラ3で撮像した画像中の高輝度部を検出し(S413)、高輝度部が検出される場合には再びステップS412に戻るというフローを高輝度部が存在する限り繰り返す(S414)。これにより、図7(c)に実線でタイミング図を示すように、対向車の輝度の増加に対応して減光量を段階的に増やして行き、自車のヘッドランプLL,RLの光度を段階的に低下させる。したがって、自車の前方の照明は暗くなって行くが、対向車の光源により他車が確認でき、必要とされる最低の明るさによって安全走行が確保され、その一方で、対向車の眩惑が防止される。因みに、同図の破線のように自車の光度を一気に低下させると、自車の前方の照明が暗くなり、安全走行の面で好ましくない。   If the brightness of the high brightness portion gradually increases as a result of the determination in step S106, it is determined that the light source is the oncoming vehicle approaching (S409). The lamps LL and RL are dimmed (S412), a high-luminance part in the image captured by the camera 3 is detected (S413), and if a high-luminance part is detected, the flow returns to step S412 again. Repeat as long as there is a part (S414). As a result, as shown in the timing diagram with a solid line in FIG. 7 (c), the amount of light reduction is increased step by step in correspondence with the increase in the brightness of the oncoming vehicle, and the light intensity of the headlamps LL and RL of the own vehicle is stepped. Decrease. Therefore, although the lighting in front of the host vehicle becomes darker, the other vehicle can be confirmed by the light source of the oncoming vehicle, and safe driving is ensured by the minimum brightness required. Is prevented. Incidentally, if the light intensity of the host vehicle is lowered at a stretch as shown by the broken line in the figure, the illumination in front of the host vehicle becomes dark, which is not preferable in terms of safe driving.

なお、自車が対向車とすれ違い、対象としていた高輝度部が画像中から無くなり、あるいは輝度が低下したときには、ステップS104で示した関連付けが無くなった状態となり、この場合には自車のヘッドランプLL,RLの光度を増加させる。このとき、一気に初期の光度まで戻してもよく、あるいは少ない段数で初期の光度まで戻すようにしてもよい。もちろん、画像中に次に続く対向車の高輝度部が存在する場合には、前述したと同様に当該次に続く高輝度部に対応して自車のヘッドランプの光度の増加を抑制し、あるいはいったん増加させていた光度を再び段階的に低下させる。   When the own vehicle passes the oncoming vehicle and the target high luminance part disappears from the image or the luminance decreases, the association shown in step S104 is lost. In this case, the headlamp of the own vehicle is lost. Increasing the light intensity of LL and RL. At this time, the light intensity may be returned to the initial light intensity at once, or may be returned to the initial light intensity with a small number of steps. Of course, if there is a high brightness part of the next oncoming vehicle in the image, the increase in the luminous intensity of the headlamp of the vehicle corresponding to the next high brightness part is suppressed as described above, Alternatively, the light intensity once increased is decreased stepwise again.

なお、対向車や自車の走行状態、例えば凹凸道路での走行時や曲路での走行時のように、走行条件によっては画像中の高輝度部の輝度がたまたま自車の減光量に対して疑似的に相関するような場合が生じ、この場合には自車の反射光であると判定していたが、その後に対向車の光源であると判定が修正されたような場合には、その時点から自車の減光量を段階的に低下させるようにすればよい。逆に、対向車の光源であると判定していたが自車の反射光であると判定が修正されたような場合には、その時点で自車の光度を初期光度に戻し、以降は当該高輝度部の輝度に基づいて減光と初期光度とを繰り返す制御を行うようにすればよい。   Depending on the driving conditions, the brightness of the high-intensity part in the image may be less than the reduced light amount of the host vehicle depending on the driving conditions, such as when driving oncoming vehicles or when driving on uneven roads or when driving on curved roads. In this case, it was determined that the reflected light was from the vehicle, but if the determination was corrected that it was the light source of the oncoming vehicle, What is necessary is just to make it reduce the light reduction amount of the own vehicle in steps from that time. On the other hand, if it was determined that the light source was an oncoming vehicle, but the determination was corrected that it was reflected light from the host vehicle, the brightness of the host vehicle was returned to the initial brightness at that point, and thereafter Control that repeats dimming and initial luminous intensity may be performed based on the luminance of the high luminance portion.

このように、CPU1では、画像処理部4で検出した画像中の高輝度部の輝度と、ランプ制御部2で制御した自車のヘッドランプLL,RLの光度との相関をとるだけで他車の光源か自車の光源の反射光かを容易に判定することができるため、CPU1での判定処理プロセスが少なく、リアルタイムでの判定が可能になり、その判定に基づいたランプ制御が可能になる。また、この判定に際しては自車のヘッドランプLL,RLの光度を微小レベルで段階的に低下させるので、自車の前方の照明が極端にかつ急激に暗くなることはなく、自車の安全走行が確保される。そのため、高精度のカメラや高速CPUが不要になり、低コストで構成できるとともに、他車への眩惑を防止するために自車のヘッドランプの光度を低下した場合でも、自車の走行に対応した適切な照射特性の制御がリアルタイムに実現できる。   As described above, the CPU 1 can detect other vehicles only by correlating the brightness of the high brightness portion in the image detected by the image processing unit 4 with the brightness of the headlamps LL and RL of the own vehicle controlled by the lamp control unit 2. Therefore, it is possible to easily determine whether the light source is the reflected light of the vehicle light source or the light source of the host vehicle, so that the determination process in the CPU 1 is small and determination in real time is possible, and lamp control based on the determination becomes possible. . In addition, since the light intensity of the headlamps LL and RL of the own vehicle is gradually reduced at a minute level in this determination, the illumination in front of the own vehicle does not become extremely and suddenly dark, and the own vehicle can be driven safely. Is secured. This eliminates the need for a high-accuracy camera and high-speed CPU, and can be configured at low cost. Also, even when the brightness of the headlamp of the vehicle is reduced to prevent dazzling other vehicles, the vehicle can be driven. Control of appropriate irradiation characteristics can be realized in real time.

実施例では画像処理部は撮像した画像をブロックに区分して高輝度部での関連付けや相関を求めているが、処理工程が少なくて高速での精度の高い処理が可能な方式であれば実施例の方式に限られるものではない。例えば、高輝度部の位置変化をベクトル演算することで移動の距離と方向を求めて関連付けを行うようにしてもよく、このような方式でも処理工数が少なく高速の処理が可能になり、高精度のカメラや高速CPU等は不要である。   In the embodiment, the image processing unit divides the captured image into blocks and obtains the correlation and correlation in the high-luminance part. It is not limited to the example method. For example, the position change of the high-intensity part may be vector-calculated to determine the distance and direction of the movement, and the association may be performed. Even with such a method, the number of processing steps can be reduced and high-speed processing can be performed. No camera or high-speed CPU is required.

実施例では、自車のヘッドランプの光度を段階的に低下させているが、他車に対する眩惑を防止する方向に照射特性を制御するものであれば、照射方向や照射範囲を制御するように構成してもよい。例えば、照射方向の場合には段階的に照射方向を左方向に偏向させるようにする。また、照射範囲の場合には右方向の照射範囲を段階的に狭めて行くようにすればよい。このような場合には、図7に示した特性図の縦軸の光度の値を照射方向あるいは照射範囲に読み替えればよい。   In the embodiment, the light intensity of the headlamp of the own vehicle is lowered step by step, but if the irradiation characteristics are controlled in a direction to prevent dazzling with respect to other vehicles, the irradiation direction and irradiation range are controlled. It may be configured. For example, in the case of the irradiation direction, the irradiation direction is deflected stepwise to the left. In the case of the irradiation range, the irradiation range in the right direction may be narrowed stepwise. In such a case, the luminous intensity value on the vertical axis of the characteristic diagram shown in FIG. 7 may be read as the irradiation direction or irradiation range.

本発明のシステムの概念図である。It is a conceptual diagram of the system of this invention. 本発明のシステムでの制御のメインフローチャートである。It is a main flowchart of control in the system of the present invention. 高輝度検出ステップのフローチャートである。It is a flowchart of a high-intensity detection step. 撮像した画像中の高輝度部を説明する図である。It is a figure explaining the high-intensity part in the imaged image. 判定ステップのフローチャートである。It is a flowchart of a determination step. 減光制御ステップのフローチャートである。It is a flowchart of a dimming control step. 光度低下制御のタイミング図である。It is a timing diagram of luminous intensity reduction control.

符号の説明Explanation of symbols

1 CPU
2 ランプ制御部
3 カメラ
4 画像処理部
LL,RL ヘッドランプ
CAR 自動車

1 CPU
2 Lamp control unit 3 Camera 4 Image processing unit LL, RL Headlamp CAR Car

Claims (3)

車両の前方を撮像するカメラと、当該カメラで撮像した画像中の高輝度部を検出する画像処理部と、自車のヘッドランプの光度を制御するランプ制御部と、前記ランプ制御部での光度の制御と検出された前記高輝度部の輝度との相関から当該高輝度部が他車の光源であるか自車の光源の反射光であるかを判定する処理装置とを備え、前記処理装置での前記判定に際し、前記ランプ制御部はヘッドランプの光度を最高光度の10%の所定光度で低下するとともに、前記処理装置での判定結果に基づいて他車の光源であると判定したときには当該光度の低下を停止し、自車の反射光であると判定したときには当該光度の低下を継続するように構成したことを特徴とするヘッドランプシステム。 A camera that images the front of the vehicle, an image processing unit that detects a high-luminance part in an image captured by the camera, a lamp control unit that controls the luminous intensity of the headlamp of the host vehicle, and the luminous intensity in the lamp control unit And a processing device for determining whether the high brightness portion is a light source of another vehicle or a reflected light of a light source of the own vehicle from the correlation between the control of the high brightness portion and the detected brightness of the high brightness portion. In the determination, the lamp control unit reduces the luminous intensity of the headlamp at a predetermined luminous intensity of 10% of the maximum luminous intensity, and determines that it is a light source of another vehicle based on the determination result in the processing device. A headlamp system configured to stop the decrease in luminous intensity and to continue the decrease in luminous intensity when it is determined that the reflected light is from the own vehicle . 前記ランプ制御部ヘッドランプの光度を前記所定光度で低下させ、前記処理装置は前記高輝度部の輝度が追従して低下したときに当該高輝度部は自車のヘッドランプの反射光であると判定し、前記高輝度部の輝度が追従して変化しないときに他車の光源であると判定することを特徴とする請求項1に記載のヘッドランプシステム。 The lamp control unit reduces the intensity of the headlamp at the predetermined intensity, the processor the high-intensity part is the reflected light of the vehicle headlamp when reduced by following the luminance of the high luminance portion 2. The headlamp system according to claim 1, wherein when the luminance of the high luminance portion does not change following the determination, the light source is determined to be a light source of another vehicle. 前記カメラは所定のタイミング毎に撮像を行い、前記画像処理部は撮像した画像中の高輝度部の関連付けを行い、同一対象と判定した高輝度部の輝度を経時的に検出することを特徴とする請求項1または2に記載のヘッドランプシステム。 The camera captures images at predetermined timings, the image processing unit associates high brightness portions in the captured images, and detects the brightness of the high brightness portions determined to be the same target over time. The headlamp system according to claim 1 or 2 .
JP2005264525A 2005-09-13 2005-09-13 Headlamp system Expired - Fee Related JP4523526B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005264525A JP4523526B2 (en) 2005-09-13 2005-09-13 Headlamp system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005264525A JP4523526B2 (en) 2005-09-13 2005-09-13 Headlamp system

Publications (2)

Publication Number Publication Date
JP2007076428A JP2007076428A (en) 2007-03-29
JP4523526B2 true JP4523526B2 (en) 2010-08-11

Family

ID=37937157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005264525A Expired - Fee Related JP4523526B2 (en) 2005-09-13 2005-09-13 Headlamp system

Country Status (1)

Country Link
JP (1) JP4523526B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4240110B2 (en) * 2006-10-31 2009-03-18 トヨタ自動車株式会社 VEHICLE LIGHTING DEVICE, VEHICLE LIGHTING CONTROL METHOD, AND VEHICLE LIGHTING CONTROL PROGRAM
JP4702426B2 (en) 2008-10-10 2011-06-15 株式会社デンソー Vehicle detection device, vehicle detection program, and light control device
JP4666049B2 (en) 2008-10-17 2011-04-06 株式会社デンソー Light source identification device, light source identification program, vehicle detection device, and light control device
JP2012240523A (en) * 2011-05-18 2012-12-10 Denso Corp Light distribution control device
JP2015009570A (en) * 2013-06-26 2015-01-19 富士重工業株式会社 Headlight lamp control device
JP6812073B2 (en) * 2016-12-27 2021-01-13 ダイハツ工業株式会社 Headlights for driving vehicles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002524348A (en) * 1998-09-15 2002-08-06 ジェンテクス・コーポレーション Systems and components for enhancing rear view from vehicles
JP3568210B2 (en) * 1997-04-02 2004-09-22 ジェンテックス コーポレイション Control system for automatically dimming vehicle headlights
JP2005219713A (en) * 2004-02-09 2005-08-18 Ichikoh Ind Ltd Light distribution control system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3568210B2 (en) * 1997-04-02 2004-09-22 ジェンテックス コーポレイション Control system for automatically dimming vehicle headlights
JP2002524348A (en) * 1998-09-15 2002-08-06 ジェンテクス・コーポレーション Systems and components for enhancing rear view from vehicles
JP2005219713A (en) * 2004-02-09 2005-08-18 Ichikoh Ind Ltd Light distribution control system

Also Published As

Publication number Publication date
JP2007076428A (en) 2007-03-29

Similar Documents

Publication Publication Date Title
US7839303B2 (en) Vehicle detecting apparatus
US8232895B2 (en) Vehicle detection apparatus, vehicle detection program and light control apparatus
JP5097648B2 (en) Headlamp control device and vehicle headlamp device
CN102635823B (en) Vehicle headlamp light distribution controller
US7415338B2 (en) Apparatus for controlling auxiliary equipment of vehicle
US6960005B2 (en) Vehicle headlamp apparatus
JP2007076429A (en) Head lamp system
US20080030374A1 (en) On-board device for detecting vehicles and apparatus for controlling headlights using the device
US20070253597A1 (en) Vehicular front environment detection apparatus and vehicular front lighting apparatus
CN110770081B (en) Vehicle lamp system, vehicle lamp control device, and vehicle lamp control method
JP4523526B2 (en) Headlamp system
JP2004217209A5 (en)
US11827140B2 (en) Vehicle detecting device, vehicle lamp system, vehicle detecting method, light distribution controlling device, and light distribution controlling method
RU2760074C1 (en) Headlamp control method and headlamp control device
US20220227285A1 (en) Light distribution controlling device, vehicle position detecting device, vehicle lamp system, light distribution controlling method, and vehicle position detecting method
JP2009061812A (en) Vehicle controller for light distribution or the like
CN113263975B (en) Vehicle headlamp control device, control method, and non-transitory storage medium
JP5251680B2 (en) Lighting control apparatus and program
JP2013097885A (en) Headlight device and headlight system
JP2012196999A (en) Vehicle lighting device and method
CN110774976B (en) Device and method for controlling a vehicle headlight
JP6549974B2 (en) Outside environment recognition device
CN111712854B (en) Image processing device and vehicle lamp
JP7173780B2 (en) vehicle lamp
JP2005339234A (en) Front vehicle monitoring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100525

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100527

R150 Certificate of patent or registration of utility model

Ref document number: 4523526

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130604

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees