JP5859896B2 - Vehicle detection device - Google Patents

Vehicle detection device Download PDF

Info

Publication number
JP5859896B2
JP5859896B2 JP2012081366A JP2012081366A JP5859896B2 JP 5859896 B2 JP5859896 B2 JP 5859896B2 JP 2012081366 A JP2012081366 A JP 2012081366A JP 2012081366 A JP2012081366 A JP 2012081366A JP 5859896 B2 JP5859896 B2 JP 5859896B2
Authority
JP
Japan
Prior art keywords
vehicle
light source
determination
image
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012081366A
Other languages
Japanese (ja)
Other versions
JP2013209034A (en
Inventor
健人 緒方
健人 緒方
和真 石垣
和真 石垣
裕史 大塚
裕史 大塚
貴行 森谷
貴行 森谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Hitachi Astemo Ltd
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Mazda Motor Corp
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Mazda Motor Corp, Hitachi Automotive Systems Ltd filed Critical Clarion Co Ltd
Priority to JP2012081366A priority Critical patent/JP5859896B2/en
Publication of JP2013209034A publication Critical patent/JP2013209034A/en
Application granted granted Critical
Publication of JP5859896B2 publication Critical patent/JP5859896B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両検出装置に関するものである。   The present invention relates to a vehicle detection device.

車両特に自動車にあっては、夜間走行時での良好な前方視界を確保するために、ヘッドライトの照射状態を通常はハイビームにする一方、対向車両や先行車両という前方車両が存在する場合に、ハイビームからロービームへと自動的に切換えることが考えられる。   In the case of vehicles, particularly automobiles, in order to ensure a good forward visibility during night driving, the headlight illumination state is usually set to a high beam, while there are forward vehicles such as oncoming vehicles and preceding vehicles. It is conceivable to automatically switch from a high beam to a low beam.

夜間走行時での前方車両の検出のため、特許文献1、特許文献2には、カメラによって自車両の前方を撮影するようにして、撮影された画像から、光源がヘッドライトであるのかテールライトであるのかの判定を行うようにしたものが開示されている。   In order to detect a vehicle ahead when traveling at night, Patent Document 1 and Patent Document 2 describe whether a light source is a headlight from a captured image by photographing the front of the vehicle with a camera. What is made to determine whether it is is disclosed.

特開2008−40615号公報JP 2008-40615 A 特開2008−293116号公報JP 2008-293116 A

ところで、走行路には、山道で代表されるようにカーブ走行路がある。この場合、対向車両あるいは先行車両という前方車両は、自車両がカーブを走行中にに突然出現し、自車両のヘッドライトによって前方車両に眩しさを与えてしまうという問題を生じやすいものとなる。特に、撮像された画像中の光源の輝度が、前方車両のヘッドライトあるいはテールライトの可能性が考えられる所定輝度以上のときに、この光源が前方車両の光源であるか否かをさらに詳細に検証するために、あらかじめ設定された所定の判定条件に基づく判定を行うので、カーブ走行中に突然出現する前方車両に対して、ロービームとするタイミングが遅くなってしまい、前方車両の運転者に対して眩しさを与えてしまうという問題を生じやすいものとなる。特に、光源の明るさが同じであっても、光源が遠方から徐々に接近する場合に比して、光源が突然出現する場合により眩しさを感じやすいものとなる。   By the way, the traveling road has a curved traveling road as represented by a mountain road. In this case, a forward vehicle such as an oncoming vehicle or a preceding vehicle is likely to cause a problem that the host vehicle suddenly appears while traveling on a curve, and the headlight of the host vehicle gives glare to the front vehicle. In particular, when the luminance of the light source in the captured image is equal to or higher than a predetermined luminance that can be considered to be the headlight or taillight of the vehicle ahead, whether or not this light source is the light source of the vehicle ahead is further detailed. In order to verify, since the determination based on the predetermined determination condition set in advance is performed, the timing of the low beam is delayed with respect to the preceding vehicle suddenly appearing during curve driving, and the driver of the preceding vehicle The problem of giving glare is likely to occur. In particular, even when the brightness of the light source is the same, it is easier to feel glare when the light source suddenly appears, compared to when the light source gradually approaches from a distance.

本発明は以上のような事情を勘案してなされたもので、その目的は、カーブ走行中に突然出現する光源が、より早いタイミングで前方車両の光源であると判定できるようにした車両検出装置を提供することにある。   The present invention has been made in consideration of the above-described circumstances, and an object of the present invention is to detect a light source suddenly appearing while driving on a curve as a light source of a preceding vehicle at an earlier timing. Is to provide.

前記目的を達成するため、本発明にあっては、基本的に、カーブ走行中に出現する前方車両の光源は、撮像した画像の左端または右端から出現するという知見に基づいている。すなわち、本発明は、画像中の左右端から所定以上の輝度を有する光源が出現したときは、左右端以外から出現した光源に比して、より早いタイミングで前方車両の光源であると判定するようにしてある。 In order to achieve the above object, the present invention is basically based on the knowledge that the light source of the forward vehicle that appears during running on a curve appears from the left end or the right end of the captured image. That is, the present invention is, as when the light source having a predetermined higher luminance from the left and right ends in the images appeared is different from the emerging light from other than the left and right ends, a light source of the forward vehicle at an earlier timing determination Ru Citea to.

具体的には、本発明にあっては次のような解決手法を採択してある。すなわち、請求項1に記載のように、
自車両前方を撮影する撮像手段と、
自車両前方を照射する照射手段と、
前記撮像手段により撮影された画像中から自車両前方に存在する光源およびその輝度を検出する光源検出手段と、
前記光源検出手段により検出された光源の輝度があらかじめ設定された所定値以上である場合に、あらかじめ設定された判定条件に基づいて該光源が前方車両の光源であるか否かを判定する判定手段と、
前記判定手段による判定結果に応じて、前記照射手段による配光を変更制御する配光制御手段と、
を備え、
前記判定手段は、前方車両の光源であるか否かの判定タイミングを、光源が前記撮像手段で撮像された画像の左右端から出現する場合は該左右端以外から出現する場合に比して早く行うように設定され、
ナビゲーション装置を有し、
前記判定手段は、前記ナビゲーション装置によって自車両が山道を走行していることが検出されたことを条件として、前記早いタイミングでの判定を行うように設定されている、
ようにしてある。上記解決手法によれば、判定タイミングを早くすることで、前方車両の光源であることをすみやかに判定して、照射手段の配光を制御して、前方車両の運転者に対して眩しさを与えてしまうことをより確実に防止することができる。
Specifically, the following solution is adopted in the present invention . That is, as described in claim 1,
Imaging means for photographing the front of the vehicle;
Irradiating means for irradiating the front of the vehicle;
A light source present in front of the host vehicle and a light source detection unit for detecting the luminance of the light from the image captured by the imaging unit;
A determination unit that determines whether or not the light source is a light source of a preceding vehicle based on a predetermined determination condition when the luminance of the light source detected by the light source detection unit is greater than or equal to a predetermined value set in advance. When,
Light distribution control means for changing and controlling the light distribution by the irradiation means according to the determination result by the determination means;
With
The determination means determines whether or not the light source is a light source of a preceding vehicle when the light source appears from the left and right ends of the image picked up by the image pickup means compared to when it appears from other than the left and right ends. Set to do ,
A navigation device,
The determination means is set to perform the determination at the earlier timing on condition that the navigation device detects that the host vehicle is traveling on a mountain road.
It is like that. According to the above Kikai determined approach, by increasing the decision timing, and determines quickly that it is a source of the forward vehicle, by controlling the light distribution of the illumination means, glare to the driver of the forward vehicle It can prevent more reliably giving it.

以上に加えて、見通しの悪い急カーブが連続することが多くてい山道を走行していることをナビゲーション装置によって確認して、上記効果をより確実に確保することができる。また、誤って前方車両の光源であると判定してしまう機会を低減する上でも好ましいものとなる。 In addition to the above, it is possible to confirm with the navigation device that a sharp curve with poor visibility often continues and is traveling on a mountain road, and the above effect can be ensured more reliably. Moreover, it is preferable also in reducing the chance of erroneously determining that the light source is the vehicle ahead.

上記解決手法を前提とした好ましい態様は、請求項2以下に記載のとおりである。すなわち、
前記判定手段は、自車両があらかじめ設定された第1車速よりも低い低速走行中またはあらかじめ設定される共に該第1車速よりも高車速に設定された第2車速よりも高い高速走行中は、前記早いタイミングでの判定を行わないように設定されている、ようにしてある(請求項対応)。この場合、低速走行中はハイビームとする必要性が小さく、また高速走行中は見通しの悪い急カーブを走行していないときであると考えられるので、この場合は不必要に早いタイミングでの判定を行わないようにして、誤って前方車両の光源であると判定してしまう機会を低減する上でも好ましいものとなる。
A preferred mode based on the above solution is as described in claim 2 and the following. That is,
The determination means is when the host vehicle is traveling at a lower speed than the first vehicle speed set in advance or at a higher speed than the second vehicle speed that is set in advance and higher than the first vehicle speed. It is set so as not to perform the determination at the earlier timing (corresponding to claim 2 ). In this case, the need for a high beam is low during low-speed driving, and it is considered that the vehicle is not traveling on a sharp curve with poor visibility during high-speed driving. This is also preferable in reducing the chance of erroneously determining that the light source is the vehicle ahead.

前記判定手段は、画像の左右端から出現した光源が自車両へ接近方向である場合は対向車両であると判定し、自車両から遠ざかる方向に移動している場合は前方車両が先行車両であると判定するように設定され、
前記配光制御手段は、前方車両が対向車両であるのか先行車両であるのかの相違に応じて配光制御を相違させる、
ようにしてある(請求項対応)。この場合、前方車両が、先行車両であるのか対向車両であるのかに応じて、照射手段の配光を適切なものとすることができる。
The determination means determines that the light source emerging from the left and right ends of the image is an oncoming vehicle when the light source is approaching the host vehicle, and the preceding vehicle is a preceding vehicle when moving in a direction away from the host vehicle. Is set to be judged,
The light distribution control means makes the light distribution control different depending on whether the preceding vehicle is an oncoming vehicle or a preceding vehicle.
(Corresponding to claim 3 ). In this case, the light distribution of the irradiation unit can be made appropriate depending on whether the preceding vehicle is a preceding vehicle or an oncoming vehicle.

前記判定手段による早いタイミングでの判定が、光源の輝度が所定値以上のときに、前記判定条件に基づく判定を行うことなく光源が前方車両の光源であると判定するように設定されている、ようにしてある(請求項対応)。この場合、光源の輝度をみるだけでよく、前方車両の光源であると判定するまでの時間を極力短くする上で好ましいものとなる。 The determination at an early timing by the determination unit is set to determine that the light source is the light source of the preceding vehicle without performing the determination based on the determination condition when the luminance of the light source is equal to or higher than a predetermined value. (Corresponding to claim 4 ). In this case, it is only necessary to look at the luminance of the light source, which is preferable for shortening the time required to determine that the light source is the vehicle ahead.

本発明によれば、特にカーブ走行中において、前方車両の光源であることを早いタイミングで検出することができる。   According to the present invention, it is possible to detect at an early timing that the light source is in front of the vehicle, particularly during curve driving.

本発明の一実施形態を示すもので、ハイビーム状態とロービーム状態とを示す簡略説明図。BRIEF DESCRIPTION OF THE DRAWINGS The simple explanatory drawing which shows one Embodiment of this invention and shows a high beam state and a low beam state. 本発明の制御系統例を示すブロック図。The block diagram which shows the example of a control system of this invention. 画像中に出現している光源の例を示す図。The figure which shows the example of the light source which has appeared in the image. カーブ走行中に対向車両が接近している一例を示す説明図。Explanatory drawing which shows an example which the oncoming vehicle approaches during curve driving | running | working. カーブ走行中に対向車両が接近している別の例を示す説明図。Explanatory drawing which shows another example which the oncoming vehicle approaches during curve driving | running | working. 本発明の制御例を示すフローチャート。The flowchart which shows the example of control of this invention. 本発明の第2の制御例を示すフローチャート。The flowchart which shows the 2nd example of control of this invention. 参考例における制御例を示すフローチャート。 The flowchart which shows the example of control in a reference example . 画像中の右端側の輝度が高まり始めた状態を示す図。The figure which shows the state which the brightness | luminance of the right end side in an image began to increase. 図9の状態から1フレーム後の状態を示す図。The figure which shows the state after 1 frame from the state of FIG. 図10の状態から1フレーム後の状態を示す図。The figure which shows the state after 1 frame from the state of FIG. 画像中に出現した固定光源の一例を示す図。The figure which shows an example of the fixed light source which appeared in the image.

図1において、自車両となる車両Vは、そのフロント部分(実施形態では車室内のルーフ部の前端部高所)に、前方を撮影する撮像手段としてのカメラ1が装備されている。このカメラ1は、例えばCCDカメラとされて、少なくとも車両前方の光源とその輝度を検出するものとなっている。勿論、車両Vの前端部には、照射手段としてのヘッドライト2が装備されており、このヘッドライト2はハイビームHBとロービームLBとの間で切換可能となっている。勿論、カメラ1の撮影距離は、少なくともハイビームHBの前端位置(実質的な照射光到達距離)を撮影可能なように、その撮影範囲(画角)が設定されている。   In FIG. 1, a vehicle V serving as a host vehicle is equipped with a camera 1 as an imaging means for photographing the front at a front portion (in the embodiment, a height of a front end portion of a roof portion in a vehicle interior). The camera 1 is a CCD camera, for example, and detects at least a light source in front of the vehicle and its luminance. Of course, the front end of the vehicle V is equipped with a headlight 2 as an irradiation means, and this headlight 2 can be switched between a high beam HB and a low beam LB. Of course, the shooting range (view angle) of the camera 1 is set so that at least the front end position (substantially irradiated light reachable distance) of the high beam HB can be shot.

図2は、車両Vに装備された制御系統例を示す。この図2において、Uは、マイクロコンピュータを利用して構成されたコントローラ(制御ユニット)である。このコントローラUには、前記カメラ1からの信号の他、各種センサあるいは機器類3〜7からの信号が入力される。具体的には、3は、車両Vの走行速度を検出する車速センサである。4は、車両Vのヨーレートを検出するヨーレートセンサである。5は、車両Vのステアリング舵角を検出する舵角センサである。6は、アクセル開度を検出するアクセル開度センサである。7は、GPSや地図情報を搭載したナビゲーションシステムである。   FIG. 2 shows an example of a control system installed in the vehicle V. In FIG. 2, U is a controller (control unit) configured using a microcomputer. In addition to signals from the camera 1, signals from various sensors or devices 3 to 7 are input to the controller U. Specifically, 3 is a vehicle speed sensor that detects the traveling speed of the vehicle V. Reference numeral 4 denotes a yaw rate sensor that detects the yaw rate of the vehicle V. Reference numeral 5 denotes a steering angle sensor that detects the steering angle of the vehicle V. Reference numeral 6 denotes an accelerator opening sensor that detects the accelerator opening. A navigation system 7 is equipped with GPS and map information.

コントローラUは、前方車両が存在する場合に自動的にハイビームHBからロービームLBへと切換える機能と、前方車両が検出されない場合に自動的にロービームLBからハイビームHBへ切換える機能を有する。これに加えて、コントローラUは、後述するように、カメラ1で撮影された画像中への光源の出現態様の相違に応じて、画像中の光源が前方車両の光源(ヘッドライトあるいはテールライト)であるか否かを判定するようになっており、この判定結果に応じて、ハイビームHBとロービームLBとの間での変更制御が行われる。   The controller U has a function of automatically switching from the high beam HB to the low beam LB when a preceding vehicle is present, and a function of automatically switching from the low beam LB to the high beam HB when no preceding vehicle is detected. In addition to this, as will be described later, the controller U determines that the light source in the image is the light source (headlight or taillight) of the vehicle ahead according to the difference in the appearance of the light source in the image captured by the camera 1. In accordance with the determination result, change control between the high beam HB and the low beam LB is performed.

図3は、カメラ1で撮影された画像中にある光源の一例を示し、図3では2つの光源αとβとが示される。図3中、Rは、ハイビームHBにおける照射範囲を簡略的に示すものであり、ハイビームHBの配光特性を考慮して設定される。そして、光源αは、画像の上端から出現して、照射範囲Rのほぼ中心位置にある。これに対して、光源βは、画像の右端から出現した直後の状態となっている。   FIG. 3 shows an example of a light source in an image taken by the camera 1, and FIG. 3 shows two light sources α and β. In FIG. 3, R simply indicates an irradiation range in the high beam HB, and is set in consideration of the light distribution characteristics of the high beam HB. The light source α appears from the upper end of the image and is substantially at the center position of the irradiation range R. On the other hand, the light source β is in a state immediately after appearing from the right end of the image.

コントローラUによって、光源が前方車両の光源であるか否かの判定が行われるが、この判定が行われる前提として、光源が前方車両のヘッドライトあるいはテールライトに対応した所定輝度以上であることとされる。そして、図3の例では、光源αおよびβ共に、その輝度が所定輝度以上とされて、前方車両の光源である可能性が考えられるときであるとされる。   The controller U determines whether or not the light source is the light source of the preceding vehicle. As a precondition for the determination, the light source is equal to or higher than a predetermined luminance corresponding to the headlight or taillight of the preceding vehicle. Is done. In the example of FIG. 3, it is assumed that the brightness of both the light sources α and β is set to be equal to or higher than a predetermined brightness and the possibility of being the light source of the preceding vehicle is considered.

所定輝度以上の輝度を有する光源が前方車両の光源であるか否かの判定条件は、種々設定できるが、例えば次のように設定される。まず、光源が、画像中におけるハイビームHBの照射範囲R内に存在することとされる。次に、画像中の光源が、移動物体であることが条件とされる。この2つの条件を満たしたときに、画像中の光源は前方車両の光源であると判定されて、ハイビームHBからロービームLBへと切換えられる。   Various determination conditions can be set as to whether or not a light source having a luminance equal to or higher than a predetermined luminance is a light source of a preceding vehicle, and is set as follows, for example. First, it is assumed that the light source exists within the irradiation range R of the high beam HB in the image. Next, the condition is that the light source in the image is a moving object. When these two conditions are satisfied, it is determined that the light source in the image is the light source of the preceding vehicle, and the high beam HB is switched to the low beam LB.

光源αについては、上述の判定条件に基づく判定が行われ、したがって、光源αが前方車両の光源であるかの判定が行われるまでに、若干の遅れを生じるものとなる。一方、光源βについては、上記判定条件に基づく判定を行うことなく、所定輝度以上であるという条件を満足することによって、即座に前方車両の光源であると判定される。なお、光源が、画像の左端から出現した場合も、画像の右端から出現した場合と同様に、所定輝度以上であるという条件を満足することによって、即座に前方車両の光源であると判定される。このように、画像の左右端から出現した光源については、それ以外から画像中に出現した光源に比して、早いタイミングで前方車両の光源であるか否かの判定が行われることになる。   With respect to the light source α, a determination based on the above-described determination condition is performed. Therefore, there is a slight delay until it is determined whether the light source α is the light source of the preceding vehicle. On the other hand, the light source β is immediately determined to be the light source of the preceding vehicle by satisfying the condition that it is equal to or higher than the predetermined luminance without performing the determination based on the determination condition. In addition, when the light source appears from the left end of the image, the light source of the preceding vehicle is immediately determined by satisfying the condition that the light intensity is equal to or higher than the predetermined luminance, similarly to the case of appearing from the right end of the image. . As described above, the light source that appears from the left and right ends of the image is determined whether it is the light source of the preceding vehicle at an earlier timing than the light source that appears in the image from other than that.

画像の左右端から出現した光源が前方車両の光源であるか否かの判定を早いタイミングで行う意味合いについて、図4、図5を参照しつつ説明する。まず、図4は、自車両Vが、右曲がりのコーナを走行中で、対向車両V2が存在する場合を示す。この場合、対向車両のヘッドライトによる照射ビームが符合HB2で示される。自車両Vのカメラ1で撮影された画像中には、対向車両V2の照射ビームHB2に起因する光源が右端側から出現することになる(左曲がりのカーブのときは画像中の左端から出現する)。   The meaning of performing determination at an early timing as to whether or not the light source that appears from the left and right ends of the image is the light source of the preceding vehicle will be described with reference to FIGS. First, FIG. 4 shows a case where the host vehicle V is traveling in a right-turn corner and there is an oncoming vehicle V2. In this case, the irradiation beam from the headlight of the oncoming vehicle is indicated by the symbol HB2. In the image taken by the camera 1 of the host vehicle V, the light source caused by the irradiation beam HB2 of the oncoming vehicle V2 appears from the right end side (when the curve is a left turn, it appears from the left end in the image. ).

対向車両V2の運転者にとっては、自車両VのハイビームHBが、突然出現することになり、同じ明るさであっても、遠方から徐々に近づく場合に比して、眩しさをより感じやすいものとなる。また、カーブでは、一瞬のすれ違いであり、前述した所定の判定条件を行っていたのでは、ロービームLBへ切換えるタイミングが遅くなって、対向車両V2の運転者に眩しさを与えてしまう可能性が極めて高いものとなる。しかしながら、画像中の左右端から所定輝度以上の輝度を有する光源が出現した場合は、即座に前方車両の光源であると判定されてロービームLBへと切換えられるので、対向車両V2の運転者に対して眩しさを与えるしまう事態を確実に防止することができる。   For the driver of the oncoming vehicle V2, the high beam HB of the own vehicle V suddenly appears, and even if it is the same brightness, it is easier to feel the glare than when approaching gradually from a distance. It becomes. In addition, the curve is an instant passing, and if the predetermined determination condition described above is performed, the timing for switching to the low beam LB is delayed, which may give glare to the driver of the oncoming vehicle V2. Extremely expensive. However, when a light source having a luminance higher than a predetermined luminance appears from the left and right ends in the image, it is immediately determined that the light source is the light source of the preceding vehicle and is switched to the low beam LB. Thus, it is possible to surely prevent a situation that gives glare.

図5は、自車両Vが、右曲がりのカーブを走行しており、道路はその後、左曲がりし、その後右曲がりというように曲がりくねっている。この場合、自車両Vは右曲がり、対向車両V2が左曲がりであっても、自車両Vと対向車両V2との間の空間が開けている場合は、自車両VのハイビームHBで対向車両V2の運転者に対して眩しさを与えてしまうこともある。しかしながら、画像中の右端あるいは左端から所定輝度以上の光源が出現した場合は、即座に前方車両の光源であると判定されて、ロービームLBへき切換えられるので、図5のような場合であっても、対向車両V2の運転者に対して眩しさを与えてしまうことが確実に防止されることになる。なお、図5に示すような連続したカーブ路では、対向車両V2の光源は、画像中にその右端から出現して一旦消えるが、その後短時間の間に再び画像中に出現するので、このような場合にも他車両V2の運転者に対して眩しさを与えないようにする上で好ましいものとなる。   In FIG. 5, the host vehicle V is running on a right-turn curve, and the road then turns to the left and then turns to the right. In this case, even if the host vehicle V turns right and the oncoming vehicle V2 turns left, if the space between the host vehicle V and the oncoming vehicle V2 is open, the oncoming vehicle V2 is driven by the high beam HB of the own vehicle V. The driver may be dazzled. However, when a light source having a predetermined luminance or higher appears from the right end or the left end in the image, it is immediately determined to be the light source of the preceding vehicle and switched to the low beam LB. Thus, it is possible to reliably prevent the driver of the oncoming vehicle V2 from being dazzled. On the continuous curved road as shown in FIG. 5, the light source of the oncoming vehicle V2 appears from the right end in the image and temporarily disappears, but then appears in the image again in a short time. In this case, it is preferable to prevent glare from being given to the driver of the other vehicle V2.

図6は、コントローラUによる具体的な制御例を示すフローチャートであり、以下このフローチャートについて説明する。なお、以下の説明でQはステップを示す。まず、Q1において、現在カーブを走行中であるか否かが判別される。このQ1での判別は、例えば、ステアリング舵角を検出することにより、あるいはナビゲーションシステム7による地図上での自車両Vの位置を検出することにより行うことができる。   FIG. 6 is a flowchart showing a specific control example by the controller U. This flowchart will be described below. In the following description, Q indicates a step. First, at Q1, it is determined whether or not the vehicle is currently traveling on a curve. The determination in Q1 can be performed, for example, by detecting the steering angle or by detecting the position of the host vehicle V on the map by the navigation system 7.

Q1の判別でYESのときは、自車両Vの車速が所定車速(例えば30〜40km/hの範囲で設定された車速)以上であるか否かが判別される。このQ2の判別でYESのときは、Q3において、カメラ1で撮影された画像中に、その左端または右端から光源が出現したか否かが判別される(例えば図3において、光源βが出現したか否かの判別となる)。このQ4の判別でYESのときは、Q4において、画像中の左端または右端から出現した光源の輝度が所定輝度以上であるか否かが判別される。このQ4の判別でYESのときは、Q5において、画像中の左端または右端から出現した光源は、前方車両の光源でると判定される。勿論、Q5に移行されたときは、ハイビームHBからロービームLBへと切換えられる。   When the determination in Q1 is YES, it is determined whether or not the vehicle speed of the host vehicle V is equal to or higher than a predetermined vehicle speed (for example, a vehicle speed set in a range of 30 to 40 km / h). If the determination in Q2 is YES, it is determined in Q3 whether or not a light source has appeared from the left end or right end in the image taken by the camera 1 (for example, the light source β has appeared in FIG. 3). Whether or not). If the determination in Q4 is YES, it is determined in Q4 whether or not the luminance of the light source appearing from the left end or right end in the image is equal to or higher than a predetermined luminance. When the determination in Q4 is YES, it is determined in Q5 that the light source that appears from the left end or right end in the image is the light source of the preceding vehicle. Of course, when shifting to Q5, the high beam HB is switched to the low beam LB.

Q4の判別でNOのときは、Q6において、光源の動きが解析される(前方車両の光源の可能性がある監視対象とされる)。また、Q1の判別でNOのとき、Q2の判別でNOのとき、あるいはQ3の判別でNOのときは、それぞれ、Q7に移行して、通常制御が行われる(図3説明したように、所定の判定条件に基づいて前方車両の光源であるか否かの判定が行われる)。なお、Q2の判別でNOのときは、低車速時となるが、この場合は、前方車両に接近するまでの時間的に余裕が大きいことを考慮して、通常制御(遅いタイミングでの判定)を行うようにしてある。なお、Q2の判別は無くして、Q1の判別でYESのときは、無条件にQ3に移行するようにしてもよい。また、カーブ走行中に対向車両と遭遇する場合は、画像中の左端または右端から光源が出現するので、Q1の判別を無くして、Q3の処理から開始するようにしてもよい。   When the determination in Q4 is NO, the movement of the light source is analyzed in Q6 (it is a monitoring target that may be the light source of the vehicle ahead). Further, when the determination at Q1 is NO, the determination at Q2 is NO, or the determination at Q3 is NO, the routine proceeds to Q7 and normal control is performed (as described in FIG. 3). Based on the determination condition, it is determined whether or not the light source is the light source of the preceding vehicle). When NO is determined in Q2, the vehicle speed is low. In this case, normal control (determination at a late timing) is performed in consideration of a large time margin until the vehicle approaches the vehicle ahead. To do. Note that the determination of Q2 may be omitted, and if the determination of Q1 is YES, the process may be unconditionally shifted to Q3. Further, when the vehicle encounters an oncoming vehicle while driving on a curve, the light source appears from the left or right end in the image. Therefore, the determination of Q1 may be omitted and the process may start from Q3.

図7は、コントローラUによる第2の制御例を示すものである。本実施形態では、図4のようなカーブを想定しており、また前方車両が対向車両であるのか先行車両であるのかの判定をも行うようにしてある。以上のことを前提として、まずQ11において、カーブを走行中であるか否かが判別される。このQ11の判別でYESのときは、Q12において、カーブと同方向から画像中に出現する光源の輝度が所定輝度以上であるか否かが判別される。このQ12の判別でYESのときは、Q13において、光源の速度ベクトルがあらかじめ設定された一定しきい値以上であるか否かが判別される。このQ13の判別でYESのときは、Q14において、前方車両が対向車両であると判定される。   FIG. 7 shows a second control example by the controller U. In the present embodiment, a curve as shown in FIG. 4 is assumed, and it is also determined whether the preceding vehicle is an oncoming vehicle or a preceding vehicle. Based on the above, it is first determined at Q11 whether or not the vehicle is traveling on a curve. If YES in Q11, it is determined in Q12 whether the luminance of the light source that appears in the image from the same direction as the curve is equal to or higher than a predetermined luminance. If YES in Q12, it is determined in Q13 whether the speed vector of the light source is equal to or greater than a predetermined threshold value. If YES in Q13, it is determined in Q14 that the preceding vehicle is an oncoming vehicle.

Q13の判別でNOのときは、Q15において、前方車両が先行車両であると判定される。Q11の判別でNOのとき、あるいはQ12の判別でNOのときは、それぞれ、Q16において、通常制御が行われる(図3で説明したような所定の判定条件に基づく判定の実行)。   If the determination in Q13 is NO, it is determined in Q15 that the preceding vehicle is a preceding vehicle. When NO is determined in Q11 or NO in Q12, normal control is performed in Q16, respectively (execution of determination based on a predetermined determination condition as described in FIG. 3).

図7の制御の場合、前方車両が対向車両であるのか先行車両であるのからの相違に応じて、ヘッドライト2の配光制御が変更される。例えば、対向車両である場合は、先行車両である場合に比して、眩しさを与える度合がより強いので、例えば図3に示す照射範囲Rに光源が存在した場合にロービームLBへと切換えられる。これに対して、先行車両の場合は、照射範囲Rの中心およびその付近に光源が位置したときに始めてロービームに切換えられる。   In the case of the control in FIG. 7, the light distribution control of the headlight 2 is changed according to the difference from whether the preceding vehicle is an oncoming vehicle or a preceding vehicle. For example, in the case of an oncoming vehicle, the degree of glare is stronger than in the case of a preceding vehicle, so that, for example, when the light source is present in the irradiation range R shown in FIG. . On the other hand, in the case of a preceding vehicle, the low beam is switched only when the light source is located at the center of the irradiation range R and in the vicinity thereof.

図8〜図11は、参考例における制御例を示すものである。すなわち、図9〜図11は、右曲がりのカーブを走行しているときの画像を3フレーム分示すもので、時間的に早い方から遅い方に、図9、図10,図11の順となっている。そして、画像の右端側の輝度が、前方に存在する光源に基づく照射によって徐々に高くなるように変化してく状態を示す。すなわち、ダブルハッチングを付した部分K1の輝度がもっとも低く、シングルハッチングを付した部分K2が中間の輝度で、点々を付した部分K3が輝度がもっとも高くなっている。 8 to 11 show control examples in the reference example . That is, FIG. 9 to FIG. 11 show images for three frames when traveling on a right-turn curve. The order from FIG. 9, FIG. 10, FIG. It has become. And the brightness | luminance of the right end side of an image shows the state which changes so that it may become high gradually by irradiation based on the light source which exists ahead. That is, the luminance of the portion K1 with double hatching is the lowest, the portion K2 with single hatching is the intermediate luminance, and the portion K3 with dots is the highest.

図9〜図11において、画像中の左端側および右端側に検出ウインドYLとYRとが設定されて、この検出ウインドYLとYRとでの平均輝度が検出される。そして、この平均輝度が、時間の経過と共に徐々に高くなる場合に、前方車両の光源が出現しつつあるときであると判定されて、ロービームLBへとすみやかに切換えられる。   9 to 11, detection windows YL and YR are set on the left end side and the right end side in the image, and the average luminance in the detection windows YL and YR is detected. And when this average brightness | luminance becomes high gradually with progress of time, it determines with it being a time when the light source of a preceding vehicle is appearing, and switches to low beam LB immediately.

参考例では、画像中において、前方車両の光源の輝度が所定輝度以上になる前の早い時点でもって、前方車両の光源であることを判定することができ、前方車両への運転者に対して眩しさを与えてしまう事態をより確実に防止できることになる。 In this reference example , in the image, it is possible to determine that the light source of the preceding vehicle is the light source of the preceding vehicle at an early time point before the luminance of the light source of the preceding vehicle becomes equal to or higher than the predetermined luminance. Thus, it is possible to more reliably prevent the situation that gives glare.

図8は、上述した制御を行う場合の一例を示すフローチャートであり、以下このフローチャートについて説明する。まず、Q21において、画像中における左右の検出ウインドYL、YRの平均輝度が算出される。次いで、Q22において、右ウインドYRの平均輝度が前フレームでの平均輝度よりも増加しているか否かが判別される。このQ22の判別でYESのときは、Q23において、右用カウンタが「1」だけカウントアップされる。また、Q22の判別でNOのときは、右用カウンタが0にリセットされる。   FIG. 8 is a flowchart showing an example of the case where the above-described control is performed, and this flowchart will be described below. First, in Q21, the average luminance of the left and right detection windows YL and YR in the image is calculated. Next, in Q22, it is determined whether or not the average luminance of the right window YR is higher than the average luminance in the previous frame. If the determination at Q22 is YES, the right counter is incremented by "1" at Q23. When the determination at Q22 is NO, the right counter is reset to zero.

Q23の後あるいはQ24の後は、それぞれ、Q25において、左ウインドYLの平均輝度が前フレームでの平均輝度よりも増加しているか否かが判別される。このQ25の判別でYESのときは、Q26において、左用カウンタが「1」だけカウントアップされる。また、Q25の判別でNOのときは、左用カウンタが0にリセットされる。   After Q23 or after Q24, in Q25, it is determined whether or not the average luminance of the left window YL is higher than the average luminance in the previous frame. If YES in Q25, the left counter is incremented by “1” in Q26. Further, when the determination in Q25 is NO, the left counter is reset to zero.

Q26の後あるいはQ27の後は、それぞれ、Q28において、右用カウンタあるいは左用カウンタのカウント数が所定数(例えば5)以上であるか否かが判別される。このQ28の判別でYESのときは、対向車両検出(前方車両検出)と判定される(この判定結果に基づいてロービームLBに切換えられる)。Q29の後あるいはあQ28の判別でNOのときは、それぞれ、Q21へリターンされる(カウンタのカウント数が徐々にアップされるのは、Q21以下の処理を繰り返すことにより行われる)。   After Q26 or Q27, it is determined in Q28 whether the count number of the right counter or the left counter is equal to or greater than a predetermined number (for example, 5). When the determination in Q28 is YES, it is determined that the oncoming vehicle is detected (front vehicle detection) (switched to the low beam LB based on this determination result). After Q29 or when NO in Q28, the process returns to Q21 (the counter count is gradually increased by repeating the process after Q21).

前方車両の光源であるか否かの通常タイミングでの所定の判定条件として、固定光源の除去やリフレクタ等の反射物体を除去するノイズ除去の処理を含ませることができる。図12は、固定光源として、道路の左右にある左右一対の街灯GL、GRが示される。街灯のような固定光源の場合、その輝度をみただけでは、前方車両の光源(ヘッドライトあるいはテールライト)と誤認してしまう可能性がある。固定光源をノイズとして除去するには、例えば、自車両Vの車速を考慮しつつ、左の光源については、左上方向に移動する速度ベクトルを有する場合は左側の街灯GLであると判定することができる。同様に、右の光源については、右上方向に移動する速度ベクトルを有する場合は右側の街灯GLであると判定することができる。また、リフレクタを原因とする光源は、自車両Vからの照射に起因するものなので、自車両Vからの照射状態を一時的に変更することにより(例えば一時的にロービームに切換えたり、一時的にハイビームHBの配光方向を変更したりその照度を低下させる等)して、その輝度変化が大きいときに、リフレクタであると判定することができる。   As a predetermined determination condition at the normal timing as to whether or not the light source is a vehicle ahead, it is possible to include a noise removal process for removing a fixed light source or a reflecting object such as a reflector. FIG. 12 shows a pair of left and right street lamps GL and GR on the left and right of the road as fixed light sources. In the case of a fixed light source such as a streetlight, there is a possibility that it may be mistaken for the light source (headlight or taillight) of the vehicle ahead only by looking at its brightness. In order to remove the fixed light source as noise, for example, considering the vehicle speed of the host vehicle V, if the left light source has a velocity vector moving in the upper left direction, it is determined that the street light GL is on the left side. it can. Similarly, the right light source can be determined to be the right street lamp GL if it has a velocity vector that moves in the upper right direction. Further, since the light source caused by the reflector is caused by the irradiation from the own vehicle V, by temporarily changing the irradiation state from the own vehicle V (for example, temporarily switching to a low beam or temporarily When the luminance change is large by changing the light distribution direction of the high beam HB or reducing the illuminance thereof, it can be determined that the reflector is a reflector.

以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能であり、例えば次のような場合をも含むものである。車両前方を照射する照射手段としては、ヘッドライト2の他に、ヘッドライト2とは別個に設けられた照度の大きい(高い)補助灯であってもよい。撮像手段としては、CCDカメラに限定されるものでなく、夜間に光源とその輝度を検出可能なものであれば適宜の形式のものを利用できる。   Although the embodiment has been described above, the present invention is not limited to the embodiment, and can be appropriately changed within the scope described in the scope of claims. For example, the invention includes the following cases. . As the irradiation means for irradiating the front of the vehicle, in addition to the headlight 2, an auxiliary light having a large (high) illuminance provided separately from the headlight 2 may be used. The imaging means is not limited to a CCD camera, and any appropriate type can be used as long as it can detect the light source and its luminance at night.

前方車両の運転者へ眩しさを与えないようにするための配光制御としては、ロービームLBへ切換える場合に限らず、例えばハイビームHBの照度を低下させたり、横方向に配光を変更制御する等、適宜選択できる。また、前方車両の光源であるか否かの所定の判定条件は、実施形態で説明した場合に限らず適宜設定できる。前方車両の光源であるとの判定結果(つまり前方車両の存在の検出結果)は、ハイビームHBとロービームLBとの間での切換制御のために利用する場合に限らず、適宜の用途に利用できる。   The light distribution control for preventing the driver of the vehicle ahead from being dazzled is not limited to switching to the low beam LB. For example, the illuminance of the high beam HB is reduced or the light distribution is changed and controlled in the lateral direction. Etc., which can be appropriately selected. Further, the predetermined determination condition as to whether or not the light source is the vehicle ahead is not limited to the case described in the embodiment, and can be set as appropriate. The determination result that is the light source of the preceding vehicle (that is, the detection result of the presence of the preceding vehicle) is not limited to use for switching control between the high beam HB and the low beam LB, and can be used for an appropriate application. .

所定の高車速(例えば60〜70km/hの範囲で設定された所定車速)以上の高車速時には、高速道路や自動車専用道路あるいは見通しのよい道路を走行中であると考えられるので、早いタイミングでの判定を行わないのが好ましい。ナビゲーションシステム7によって、山道(特に急カーブが連続する山道)を走行しているときは、早いタイミングでの判定を行うのが特に好ましいものである。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。   At high vehicle speeds higher than a predetermined high vehicle speed (for example, a predetermined vehicle speed set in the range of 60 to 70 km / h), it is considered that the vehicle is traveling on a highway, a motor vehicle exclusive road, or a road with good visibility. It is preferable not to perform the determination. When the navigation system 7 is traveling on a mountain road (especially a mountain road where a sharp curve continues), it is particularly preferable to make a determination at an early timing. Of course, the object of the present invention is not limited to what is explicitly stated, but also implicitly includes providing what is substantially preferred or expressed as an advantage.

本発明は、カーブを走行しているときに、前方車両の存在をより早く検出することができる。   The present invention can detect the presence of a preceding vehicle earlier when traveling on a curve.

V:車両(自車両)
V2:対向車両
U:コントローラ
HB:ハイビーム
LB:ロービーム
α:光源(画像の左右端以外から出現)
β:光源(画像の右端から出現)
K1:輝度の低い部分
K2:輝度の中間部分
K3:輝度の高い部分
YL:左検出ウインド
YR:右検出ウインド
1:カメラ(撮像手段)
2:ヘッドライト(照射手段)
3:車速センサ
5:ステアリング舵角センサ
7:ナビゲーションシステム
V: Vehicle (own vehicle)
V2: Oncoming vehicle U: Controller HB: High beam LB: Low beam α: Light source (appears from other than left and right edges of image)
β: Light source (appears from the right edge of the image)
K1: Low luminance portion K2: Brightness intermediate portion K3: High luminance portion YL: Left detection window YR: Right detection window 1: Camera (imaging means)
2: Headlight (irradiation means)
3: Vehicle speed sensor 5: Steering angle sensor 7: Navigation system

Claims (4)

自車両前方を撮影する撮像手段と、
自車両前方を照射する照射手段と、
前記撮像手段により撮影された画像中から自車両前方に存在する光源およびその輝度を検出する光源検出手段と、
前記光源検出手段により検出された光源の輝度があらかじめ設定された所定値以上である場合に、あらかじめ設定された判定条件に基づいて該光源が前方車両の光源であるか否かを判定する判定手段と、
前記判定手段による判定結果に応じて、前記照射手段による配光を変更制御する配光制御手段と、
を備え、
前記判定手段は、前方車両の光源であるか否かの判定タイミングを、光源が前記撮像手段で撮像された画像の左右端から出現する場合は該左右端以外から出現する場合に比して早く行うように設定され、
ナビゲーション装置を有し、
前記判定手段は、前記ナビゲーション装置によって自車両が山道を走行していることが検出されたことを条件として、前記早いタイミングでの判定を行うように設定されている、
ことを特徴とする車両検出装置。
Imaging means for photographing the front of the vehicle;
Irradiating means for irradiating the front of the vehicle;
A light source present in front of the host vehicle and a light source detection unit for detecting the luminance of the light from the image captured by the imaging unit;
A determination unit that determines whether or not the light source is a light source of a preceding vehicle based on a predetermined determination condition when the luminance of the light source detected by the light source detection unit is greater than or equal to a predetermined value set in advance. When,
Light distribution control means for changing and controlling the light distribution by the irradiation means according to the determination result by the determination means;
With
The determination means determines whether or not the light source is a light source of a preceding vehicle when the light source appears from the left and right ends of the image picked up by the image pickup means compared to when it appears from other than the left and right ends. Set to do ,
A navigation device,
The determination means is set to perform the determination at the earlier timing on condition that the navigation device detects that the host vehicle is traveling on a mountain road.
The vehicle detection apparatus characterized by the above-mentioned.
請求項1において、
前記判定手段は、自車両があらかじめ設定された第1車速よりも低い低速走行中またはあらかじめ設定される共に該第1車速よりも高車速に設定された第2車速よりも高い高速走行中は、前記早いタイミングでの判定を行わないように設定されている、ことを特徴とする車両検出装置。
Oite to claim 1,
The determination means is when the host vehicle is traveling at a lower speed than the first vehicle speed set in advance or at a higher speed than the second vehicle speed that is set in advance and higher than the first vehicle speed. The vehicle detection device is set so as not to perform the determination at the earlier timing.
請求項1または請求項2において、
前記判定手段は、画像の左右端から出現した光源が自車両へ接近方向である場合は対向車両であると判定し、自車両から遠ざかる方向に移動している場合は前方車両が先行車両であると判定するように設定され、
前記配光制御手段は、前方車両が対向車両であるのか先行車両であるのかの相違に応じて配光制御を相違させる、ことを特徴とする車両検出装置。
In claim 1 or claim 2 ,
The determination means determines that the light source emerging from the left and right ends of the image is an oncoming vehicle when the light source is approaching the host vehicle, and the preceding vehicle is a preceding vehicle when moving in a direction away from the host vehicle. Is set to be judged,
The said light distribution control means makes a light distribution control differ according to the difference whether a front vehicle is an oncoming vehicle or a preceding vehicle, The vehicle detection apparatus characterized by the above-mentioned.
請求項1ないし請求項のいずれか1項において、
前記判定手段による早いタイミングでの判定が、光源の輝度が所定値以上のときに、前記判定条件に基づく判定を行うことなく光源が前方車両の光源であると判定するように設定されている、ことを特徴とする車両検出装置。
In any one of Claims 1 thru | or 3 ,
The determination at an early timing by the determination unit is set to determine that the light source is the light source of the preceding vehicle without performing the determination based on the determination condition when the luminance of the light source is equal to or higher than a predetermined value. The vehicle detection apparatus characterized by the above-mentioned.
JP2012081366A 2012-03-30 2012-03-30 Vehicle detection device Expired - Fee Related JP5859896B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012081366A JP5859896B2 (en) 2012-03-30 2012-03-30 Vehicle detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012081366A JP5859896B2 (en) 2012-03-30 2012-03-30 Vehicle detection device

Publications (2)

Publication Number Publication Date
JP2013209034A JP2013209034A (en) 2013-10-10
JP5859896B2 true JP5859896B2 (en) 2016-02-16

Family

ID=49527332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012081366A Expired - Fee Related JP5859896B2 (en) 2012-03-30 2012-03-30 Vehicle detection device

Country Status (1)

Country Link
JP (1) JP5859896B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5962552B2 (en) * 2013-03-12 2016-08-03 株式会社デンソー Headlight control device
KR101655197B1 (en) * 2015-03-17 2016-09-07 현대자동차 주식회사 System and method for anti-glare of driver
EP3605383A1 (en) * 2018-07-30 2020-02-05 Aptiv Technologies Limited A device and a method for controlling a headlight of a vehicle
JP7383360B2 (en) * 2021-02-01 2023-11-20 ダイハツ工業株式会社 vehicle
JP7383359B2 (en) * 2021-02-01 2023-11-20 ダイハツ工業株式会社 vehicle

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011037342A (en) * 2009-08-07 2011-02-24 Koito Mfg Co Ltd Vehicular headlight system

Also Published As

Publication number Publication date
JP2013209034A (en) 2013-10-10

Similar Documents

Publication Publication Date Title
CN102635823B (en) Vehicle headlamp light distribution controller
US9193297B2 (en) Vehicle light distribution control device and vehicle light distribution control method
US9821706B2 (en) Illuminating device, illuminating method, program, and medium
JP5859896B2 (en) Vehicle detection device
US8866387B2 (en) Vehicular headlight apparatus
US9199573B2 (en) Vehicle light distribution control device and vehicle light distribution control method
US20160176333A1 (en) Method for the operation of a headlight and motor vehicle headlight
JP2011037342A (en) Vehicular headlight system
JP4609274B2 (en) Vehicle headlight control device
JP2007246060A (en) Headlight device for vehicle
JP4749020B2 (en) Vehicle headlamp device
KR102135901B1 (en) Control system of high-beam assist system of vehicle and method the same
JP5003593B2 (en) LIGHT CONTROL DEVICE FOR VEHICLE AND LIGHT CONTROL PROGRAM FOR VEHICLE
JP5873372B2 (en) Headlight light distribution control device
JP2009184640A (en) Headlight device of vehicle
JP6214290B2 (en) Headlight control device
JP5979023B2 (en) Vehicle imaging device
JP2000198385A (en) Headlight controller for vehicle
JP6190210B2 (en) Headlight control device
JP2012196999A (en) Vehicle lighting device and method
JP2006146754A (en) Preceding car detecting method and preceding car detecting apparatus
JP2951184B2 (en) Automatic headlight distribution device for vehicles
JP2013095319A (en) Vehicle headlight control device
JP6895264B2 (en) Vehicle lighting display method and display control device
JP6087736B2 (en) Headlight control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151217

R150 Certificate of patent or registration of utility model

Ref document number: 5859896

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees