KR101859201B1 - Developed automobile high-beam automatic control system based on camera sensor and its method - Google Patents
Developed automobile high-beam automatic control system based on camera sensor and its method Download PDFInfo
- Publication number
- KR101859201B1 KR101859201B1 KR1020170011353A KR20170011353A KR101859201B1 KR 101859201 B1 KR101859201 B1 KR 101859201B1 KR 1020170011353 A KR1020170011353 A KR 1020170011353A KR 20170011353 A KR20170011353 A KR 20170011353A KR 101859201 B1 KR101859201 B1 KR 101859201B1
- Authority
- KR
- South Korea
- Prior art keywords
- light
- headlight
- roi
- tail
- detected
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000002093 peripheral effect Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000007635 classification algorithm Methods 0.000 claims description 32
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000007637 random forest analysis Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 206010039203 Road traffic accident Diseases 0.000 description 5
- 230000034994 death Effects 0.000 description 4
- 231100000517 death Toxicity 0.000 description 4
- 229910052754 neon Inorganic materials 0.000 description 3
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 230000003442 weekly effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
- B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/0017—Devices integrating an element dedicated to another function
- B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
- B60Q2300/10—Indexing codes relating to particular vehicle conditions
- B60Q2300/11—Linear movements of the vehicle
- B60Q2300/114—Vehicle acceleration or deceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
- B60Q2300/30—Indexing codes relating to the vehicle environment
- B60Q2300/31—Atmospheric conditions
- B60Q2300/314—Ambient light
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
Abstract
Description
본 발명은 자동차 상향등 자동 조절 시스템 및 그 방법에 관한 것으로서, 보다 구체적으로는 카메라 센서모듈을 통하여 감지된 영상에, 관심영역 설정 및 분류 알고리즘 적용 과정을 포함하는 영상 처리를 함으로써, 다른 자동차의 전조등과 후미등을 정확히 감지하여 자동차 상향등을 조절할 수 있는, 카메라 센서 기반의 자동차 상향등 자동 조절 시스템 및 그 방법에 관한 것이다.More particularly, the present invention relates to a system and method for automatically adjusting a headlight of an automobile, and more particularly, The present invention relates to an automotive upside-down automatic control system based on a camera sensor and a method thereof, which can accurately detect a tail light and adjust an automobile upside lamp.
최근 자동사 사고가 증가하고 있으며 일반적으로 자동차 사고가 발생하면 막대한 인명 및 재산상의 피해가 발생하므로, 자동차 사고를 방지하기 위한 자동차 사고 방지 시스템의 필요성이 점점 강조되고 있다. 특히 야간 자동차 운전 사고의 치사율은 주간 자동차 운전 사고의 치사율보다 높은 편이여서, 야간 자동차 운전 사고를 방지하기 위한, 야간 자동차 운전을 보조하는 시스템에 대한 개발이 활발히 이루어지고 있다.
In recent years, automobile accidents are increasing, and in the case of automobile accidents, there is a huge loss of lives and property, and therefore, there is a growing demand for an automobile accident prevention system to prevent automobile accidents. Especially, the fatal rate of night driving accident is higher than that of day driving accident. Therefore, a system for assisting night drive driving is actively developed to prevent a car driving accident at night.
야간 자동차 운전 시 이용되는 상향등은 어두운 도로의 전방 확인을 위하여 반드시 이용되어야 하는 구성이지만, 마주 오는 자동차가 존재하는 경우에는, 마주 오는 자동차 운전자의 눈부심으로 인한 사고의 발생을 방지하기 위하여, 상향등을 off해야만 하는 경우도 빈번히 발생하게 된다. 이와 같이, 상향등을 off하는 경우에는 운전자가 확인할 수 있는 전방 도로의 범위가 급격히 좁아지게 되는 문제가 발생하게 되며, 반대로 상향등을 off하지 않는 경우에는 마주 오는 자동차 운전자의 시야 확보가 어려워지게 되는 문제가 발생하게 된다.
In order to prevent the occurrence of an accident caused by the glare of the driver of a car coming to the opposite side, the upward light used for driving the nighttime automobile is off It is often necessary to do so. As described above, when the up light is turned off, there is a problem that the range of the front road that the driver can check is sharply reduced. On the contrary, when the up light is not turned off, .
한편, 기존의 상향등 조절과 관련된 선행기술로는, 등록특허 제10-1428080호(발명의 명칭: 측후방센서를 이용한 헤드램프 조도 조절 시스템), 등록특허 제10-1360672호(발명의 명칭: 차량 전조등 자동 디밍 제어 장치) 등이 있다.
[0004] On the other hand, as a prior art related to the conventional upward light control, there is known a head lamp illumination control system using a side-rear sensor (registered trademark) No. 10-1428080 Headlight automatic dimming control).
다만, 기존의 상향등 조절 관련 기술은, 센서에 의하여 감지된 주변 밝기에 따라 자동차 라이트의 조도를 조절하는 기술에 관한 것이나, 주변 가로등, 신호등, 반사등 등의 조명과 다른 자동차의 전조등, 후미등을 모두 포함한 주변 밝기에 따라 자동차의 라이트를 조절하는 기술로서, 다양한 조명을 다른 자동차의 전조등, 후미등으로 잘못 감지하여, 다른 자동차의 전조등, 후미등이 없는 경우에도 자동차의 라이트를 꺼버리는 문제가 발생하는 경우가 있다. 이러한 문제점을 해결할 수 있는 자동차 상향등 자동 조절 시스템의 개발이 필요한 실정이다.However, the conventional technology for controlling the upward light is related to a technique of controlling the illuminance of the automobile light according to the ambient brightness detected by the sensor, but also the illumination of the surrounding street lamp, the traffic light, the reflection light, It is a technology to control the light of the car according to the surrounding brightness including the light of the vehicle. If the light is wrongly detected by the headlight or tail lamp of another vehicle, the light of the vehicle may be turned off even if there is no headlight or tail lamp of another vehicle. have. To solve these problems, it is necessary to develop an automotive upside-down automatic control system.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 주변 영상의 변화를 감지하기 위한 감지 센서부, 및 감지된 주변 영상에 전조등 및 후미등 분류 알고리즘을 적용하는 전조등 및 후미등 검출부를 포함하는 판단모듈로 구성함으로써, 도로 표지판, 신호등, 가로등 등의 다양한 조명으로부터 다른 자동차의 전조등 및 후미등만을 정확히 검출할 수 있게 하여, 기존의 상향등 조절 관련 기술에서와 같이 가로등 등의 조명을 다른 자동차의 전조등 및 후미등으로 잘못 판단하여 자동차 상향등의 조도를 낮추거나 off시키는 문제가 발생되지 않도록 하는, 카메라 센서 기반의 자동차 상향등 자동 조절 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods. The present invention relates to a headlight and a tail lamp for applying a headlight and a tail light classification algorithm to a detected peripheral image, It is possible to accurately detect only the headlights and tail lights of other automobiles from various lights such as road signs, traffic lights and street lights, so that it is possible to accurately detect the lights of the street lamps and the like It is an object of the present invention to provide an automatic control system for an automotive upside light based on a camera sensor and a method for preventing the problem of lowering or turning off the illuminance of the automobile upside lamp by mistakenly determining the headlights and tail lights of the automobile.
또한, 본 발명은, 자동차의 이동 속도를 추출하는 OBD 센서모듈을 포함하여 구성함으로써, 자동차 이동 속도가 일정 속도 이상인 경우 고속 주행으로 분류하여 상향등의 작동이 되도록 하고, 일정 속도 이하인 경우 저속 주행으로 분류하여 하향등의 작동이 되도록 하여, 자동차의 실시간 이동 속도에 따라 상향등 또는 하향등이 작동될 수 있도록 하는, 카메라 센서 기반의 자동차 상향등 자동 조절 시스템 및 그 방법을 제공하는 것을 다른 목적으로 한다.
Further, the present invention is configured to include the OBD sensor module for extracting the moving speed of the automobile, so that when the moving speed of the automobile is equal to or higher than a constant speed, it is classified as a high speed running so as to operate the upward lamp. The present invention also provides a system and a method for automatically controlling an automotive upside light based on a camera sensor, such that a downward movement or a downward movement of the automotive vehicle can be performed.
뿐만 아니라, 본 발명은, 상향등 불필요 지역 여부 판단부를 포함하여 구성함으로써, 상향등 불필요 지역 여부 판단부에서 상향등 불필요 지역으로 판단되는 경우 상향등을 off되도록 하고, 상향등 필요 지역으로 판단되는 경우 상향등을 on되도록 하여, 자동차의 상향등이 off되어도 네온사인 등에 의하여 전방 도로의 확인이 충분히 가능한 도심 지역의 경우에는 자동으로 상향등이 off되도록 하는, 카메라 센서 기반의 자동차 상향등 자동 조절 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, according to the present invention, it is configured to include an upward direction unnecessary area determination unit, so that the upward direction unnecessary area determination unit turns off the upward light when it is determined that the upward direction is unnecessary region, and turns on the upward direction when it is determined that the upward direction is required The present invention also provides a system and method for automatically controlling an automotive upside light based on a camera sensor, which automatically turns off the upward light in the case of an urban area where a front road can be sufficiently confirmed by a neon sign even if the automobile's upward light is off. .
상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 카메라 센서 기반의 자동차 상향등 자동 조절 시스템은,According to an aspect of the present invention, there is provided an automotive upright automatic control system based on a camera sensor,
자동차 상향등 자동 조절 시스템으로서,As an automotive upside-down automatic control system,
감지 센서부를 이용하여 상기 자동차의 주변 영상의 변화를 감지하는 카메라 센서모듈;A camera sensor module for detecting a change in a peripheral image of the vehicle using a detection sensor unit;
상기 카메라 센서모듈에서 감지된 상기 자동차의 주변 영상으로부터 전조등 및 후미등 분류 알고리즘을 적용하여 다른 자동차의 전조등 및 후미등을 검출하는 전조등 및 후미등 검출부, 및 상기 전조등 및 후미등 검출부에서 검출된 전조등 및 후미등을 이용하여 상기 자동차 상향등의 조절 여부를 판단하는 판단부로 구성되는 판단모듈; 및A headlight and a tail light detector for detecting headlights and tail lights of other automobiles by applying a headlight and a tail light classification algorithm from the peripheral image of the automobile detected by the camera sensor module and a headlight and a tail light detected by the headlight and tail light detector, A determination module configured to determine whether the automotive headlamp is adjusted; And
상기 판단모듈에서 판단된 결과에 따라 상기 자동차 상향등이 조절되도록 제어하는 제어모듈을 포함하는 것을 그 구성상의 특징으로 한다.
And a control module for controlling the automotive headlamp to be controlled according to the determination result of the determination module.
바람직하게는,Preferably,
상기 자동차의 이동 속도를 추출하는 OBD 센서모듈을 더 포함하며,Further comprising an OBD sensor module for extracting a moving speed of the automobile,
상기 판단모듈은,Wherein the determination module comprises:
상기 OBD 센서모듈에서 추출된 자동차의 이동 속도를 이용하여, 상기 추출된 상기 자동차의 이동 속도가 일정 속도 이상인 경우, 고속 주행으로 분류하여 상향등의 작동이 필요한 것으로 판단하고, 일정 속도 이하인 경우, 저속 주행으로 분류하여 하향등의 작동이 필요한 것으로 판단하며,When the extracted moving speed of the automobile is equal to or higher than a predetermined speed, it is determined that the operation of the upside lamp is required to be classified into a high speed driving using the moving speed of the vehicle extracted from the OBD sensor module, And it is judged that operation such as downward movement is necessary,
상기 제어모듈은,The control module includes:
상기 판단모듈에서 판단된 결과에 따라 상향등 또는 하향등으로 조절되도록 제어할 수 있다.
And may be controlled to be adjusted upward or downward according to the determination result of the determination module.
바람직하게는, 상기 판단모듈은,Advantageously, the determination module comprises:
상기 카메라 센서모듈에서 감지된 주변 영상의 밝기 분포를 이용하여, 상향등 불필요 지역 여부를 판단하는 상향등 불필요 지역 여부 판단부를 더 포함하며,Further comprising an upper area unnecessary area determining unit for determining whether the upper area is unnecessary area by using a brightness distribution of a surrounding image sensed by the camera sensor module,
상기 제어모듈은,The control module includes:
상기 상향등 불필요 지역 여부 판단부에서 상향등 불필요 지역으로 판단되면 상향등을 off시킬 수 있다.
If the uplink unnecessary area determination unit determines that the uplink is unnecessary area, the uplink may be turned off.
더 바람직하게는,More preferably,
상기 상향등 불필요 지역 여부 판단부는, 상기 카메라 센서모듈에서 감지된 상기 주변 영상의 상단 부분을 n×m 크기의 영역의 서브 블록으로 분할하고, 상기 분할된 각각의 서브 블록에서 밝기 값의 평균을 추정한 후, 미리 설정된 제1 임계값을 이용하여 상기 제1 임계값보다 큰 평균을 가지는 서브 블록만을 선택하고, 상기 선택된 서브 블록의 위치의 확산 분포(spread distribution)를 측정하여, 측정된 상기 확산 분포 값이 미리 설정된 제2 임계값보다 낮으면 상향등 필요 지역으로 판단하고, 상기 제2 임계값보다 높으면 상향등 불필요 지역으로 판단할 수 있다.
The overhead unnecessary area determination unit may divide an upper portion of the peripheral image detected by the camera sensor module into sub-blocks of an n × m size area, and estimate an average of brightness values in the divided sub- And then selects a sub-block having an average larger than the first threshold value by using a preset first threshold value, measures a spread distribution of the position of the selected sub-block, Is determined to be an area required for the upward light if the second threshold value is lower than the second threshold value,
더욱 바람직하게는,More preferably,
상기 선택된 서브 블록의 위치의 확산 분포(spread distribution)를 측정하는 방법은, 평균 밝기 값이 높은 서브 블록의 개수 및 분포를 이용하여 측정할 수 있다.
The method of measuring the spread distribution of the positions of the selected sub-blocks can be performed using the number and distribution of sub-blocks having a high average brightness value.
바람직하게는, 상기 판단모듈은,Advantageously, the determination module comprises:
상기 카메라 센서모듈에서 감지된 주변 영상에 있어서, 소정의 영역을 관심영역(ROI)으로 설정하는 관심영역 설정부를 더 포함하되,Further comprising a ROI setting unit configured to set a predetermined ROI as a ROI on the peripheral image detected by the camera sensor module,
상기 관심영역 설정부는, 상기 주변 영상에서 실제 자동차가 존재하게 되는 영역에서만 다른 자동차의 전조등 및 후미등을 검출하기 위하여 상기 주변 영상의 아래쪽 중심 부근 영역을 관심영역(ROI)으로 설정할 수 있다.
The ROI setting unit may set a ROI near the bottom center of the surrounding image to detect the headlights and tail lights of other vehicles only in the area where the actual vehicle exists in the surrounding image.
바람직하게는, 상기 전조등 및 후미등 검출부에서 적용되는 전조등 및 후미등 분류 알고리즘은,Preferably, the headlamp and taillight classification algorithms applied in the headlamps and the taillamp detector include:
(S1) 상기 카메라 센서모듈에서 감지된 영상에 대하여, 일정 기준 이상의 강한 빛을 갖는 전조등과 후미등을 감지하는 Back ROI(BROI), 및 일정 기준 이하의 약한 빛을 갖는 전조등 및 후미등을 감지하는 Front ROI(FROI)로 구분하여 관심영역(ROI)을 설정하는 단계를 포함하되,(S1), a front ROI (BROI) for detecting a headlamp having a strong light of a certain level or more and a tail light, a headlamp having a weak light below a certain standard, and a front ROI (FROI), and setting a ROI (ROI)
상기 설정된 관심영역(ROI)을, 이동 알고리즘을 이용하여 상기 자동차의 움직임 방향에 따라 적응적으로 이동시킬 수 있다.
The set ROI can be adaptively moved according to the movement direction of the automobile using a movement algorithm.
더 바람직하게는, 상기 전조등 및 후미등 검출부에서 적용되는 전조등 및 후미등 분류 알고리즘은,More preferably, the headlamp and taillight classification algorithms, which are applied in the headlamps and the taillight detector,
(S2) 상기 설정된 관심영역(ROI)에 대하여, Color model을 RGB에서 YCbCr로 변경하여, Y채널과 Cr채널에 대해 최적화된 각기 다른 임계값을 사용하여 2개의 이진화 영상을 생성하고, 상기 생성된 2개의 이진화 영상에 대해 OR 연산을 수행하여 후보 불빛 영상(Candidate Blobs image)을 생성하는 단계를 더 포함할 수 있다.
(S2) For the set ROI, a color model is changed from RGB to YCbCr, two binarized images are generated using different threshold values optimized for the Y channel and the Cr channel, And performing an OR operation on the two binarized images to generate a Candidate Blobs image.
더욱 바람직하게는, 상기 전조등 및 후미등 검출부에서 적용되는 전조등 및 후미등 분류 알고리즘은,More preferably, the headlamp and taillight classification algorithms applied to the headlamps and the taillamp detector include:
(S3) 상기 생성된 후보 불빛 영상으로부터 Redness level을 사용하여 후미등을 검출하는 단계를 더 포함하되,(S3) detecting a tail light by using a redness level from the generated candidate light image,
상기 후미등을 상기 후보 불빛에 포함된 후미등이 아닌 붉은 빛의 오브젝트와 분류하기 위하여, R, G, B 각 채널로부터 20개의 패턴을 사용하여 하-라이크 특징(haar-like feature)을 추출하고, 추출된 하-라이크 특징(haar-like feature)을 사용한 랜덤 포레스트(random forest; RF)에 의해 후미등을 검출할 수 있다.
In order to classify the taillight with the object of red light which is not the tail light included in the candidate light, haar-like feature is extracted using 20 patterns from each channel of R, G, B, The backlight can be detected by a random forest (RF) using a haar-like feature.
더 더욱 바람직하게는, 상기 전조등 및 후미등 검출부에서 적용되는 전조등 및 후미등 분류 알고리즘은,Still more preferably, the headlamp and taillight classification algorithms applied in the headlamp and taillight detection sections are classified into a headlamp classifier,
(S4) 상기 후미등이 검출된 후보 불빛 영상으로부터 전조등을 더 검출하되, 밝은 중심부분과 주변의 그라데이션(gradation) 두 파트로 구성되어있는 전조등을 기타 배경 광원으로부터 분류하기 위하여, 웨이블릿(Wavelet)을 기반으로 한 oriented center-symmetric local binary feature(OCS-LBP)를 사용하여 전조등을 검출하는 단계를 더 포함할 수 있다.
(S4) In order to classify the headlamps composed of the two parts of the bright center portion and the surrounding gradation from other background light sources, the headlamp is further detected based on the candidate light image from which the taillight is detected, And detecting the headlamp using an oriented center-symmetric local binary feature (OCS-LBP).
더욱 바람직하게는, 상기 전조등 및 후미등 검출부에서 적용되는 전조등 및 후미등 분류 알고리즘은,More preferably, the headlamp and taillight classification algorithms applied to the headlamps and the taillamp detector include:
(S5) 상기 검출된 전조등과 후미등에 대하여, 동일한 자동차의 전조등 또는 후미등으로 판단되는 것들을 하나의 군집으로 맺는 페어링을 수행하는 단계를 더 포함할 수 있다.
(S5) Performing a pairing of the detected headlights and the tail lights to conclude the headlights or tails of the same automobile as one cluster.
또한, 상기한 목적을 달성하기 위한 본 발명의 다른 특징에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템을 이용한 자동차 상향등 자동 조절 방법은,In accordance with another aspect of the present invention, there is provided a method for automatically adjusting an automotive upside-down light using a camera sensor-based automotive upside-
자동차 상향등 자동 조절 시스템을 이용한 자동차 상향등 자동 조절 방법으로서,A method for automatically adjusting an automotive upside light using an automotive upside-down automatic control system,
(1) 카메라 센서모듈의 감지 센서부가, 자동차의 주변 영상의 변화를 감지하는 단계;(1) detecting a change in a peripheral image of a vehicle, the sensing sensor unit of the camera sensor module;
(2) 판단모듈의 전조등 및 후미등 검출부가, 상기 카메라 센서모듈에서 감지된 상기 자동차의 주변 영상으로부터 전조등 및 후미등 분류 알고리즘을 적용하여 다른 자동차의 전조등 및 후미등을 검출하는 단계;(2) detecting headlights and tail lights of other vehicles by applying a headlight and a tail light classification algorithm from a peripheral image of the vehicle detected by the camera sensor module to a headlight and a tail light detector of the decision module;
(3) 판단모듈의 판단부가, 상기 전조등 및 후미등 검출부에서 검출된 전조등 및 후미등을 이용하여 상기 자동차 상향등의 조절 여부를 판단하는 단계; 및(3) the judging unit of the judging module judges whether or not the automotive headlamp is adjusted using the headlights and tail lights detected by the headlamps and the tail light detecting unit; And
(4) 제어모듈이, 상기 판단모듈의 판단부에서 판단된 결과에 따라 상기 자동차의 상향등이 조절되도록 제어하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
(4) The control module controls the upward light of the automobile to be controlled according to a result determined by the determination module of the determination module.
바람직하게는, 상기 판단모듈은,Advantageously, the determination module comprises:
상기 카메라 센서모듈에서 감지된 주변 영상의 밝기 분포를 이용하여, 상향등 불필요 지역 여부를 판단하는 상향등 불필요 지역 여부 판단부를 더 포함하며,Further comprising an upper area unnecessary area determining unit for determining whether the upper area is unnecessary area by using a brightness distribution of a surrounding image sensed by the camera sensor module,
상기 제어모듈은,The control module includes:
상기 상향등 불필요 지역 여부 판단부에서 상향등 불필요 지역으로 판단되면 상향등을 off시킬 수 있다.
If the uplink unnecessary area determination unit determines that the uplink is unnecessary area, the uplink may be turned off.
더 바람직하게는,More preferably,
상기 상향등 불필요 지역 여부 판단부는, 상기 카메라 센서모듈에서 감지된 상기 주변 영상의 상단 부분을 n×m 크기의 영역의 서브 블록으로 분할하고, 상기 분할된 각각의 서브 블록에서 밝기 값의 평균을 추정한 후, 미리 설정된 제1 임계값을 이용하여 상기 제1 임계값보다 큰 평균을 가지는 서브 블록만을 선택하고, 상기 선택된 서브 블록의 위치의 확산 분포(spread distribution)를 측정하여, 측정된 상기 확산 분포 값이 미리 설정된 제2 임계값보다 낮으면 상향등 필요 지역으로 판단하고, 상기 제2 임계값보다 높으면 상향등 불필요 지역으로 판단하되,The overhead unnecessary area determination unit may divide an upper portion of the peripheral image detected by the camera sensor module into sub-blocks of an n × m size area, and estimate an average of brightness values in the divided sub- And then selects a sub-block having an average larger than the first threshold value by using a preset first threshold value, measures a spread distribution of the position of the selected sub-block, Is determined to be an area in need of an upward light if it is lower than the preset second threshold value and it is determined that the area is not needed in the upward direction if it is higher than the second threshold value,
상기 선택된 서브 블록의 위치의 확산 분포(spread distribution)를 측정하는 방법은, 평균 밝기 값이 높은 서브 블록의 개수 및 분포를 이용하여 측정할 수 있다.
The method of measuring the spread distribution of the positions of the selected sub-blocks can be performed using the number and distribution of sub-blocks having a high average brightness value.
바람직하게는, 상기 판단모듈은,Advantageously, the determination module comprises:
상기 카메라 센서모듈에서 감지된 주변 영상에 있어서, 소정의 영역을 관심영역(ROI)으로 설정하는 관심영역 설정부를 더 포함하되,Further comprising a ROI setting unit configured to set a predetermined ROI as a ROI on the peripheral image detected by the camera sensor module,
상기 관심영역 설정부는, 상기 주변 영상에서 실제 자동차가 존재하게 되는 영역에서만 다른 자동차의 전조등 및 후미등을 검출하기 위하여 상기 주변 영상의 아래쪽 중심 부근 영역을 관심영역(ROI)으로 설정할 수 있다.
The ROI setting unit may set a ROI near the bottom center of the surrounding image to detect the headlights and tail lights of other vehicles only in the area where the actual vehicle exists in the surrounding image.
바람직하게는, 상기 전조등 및 후미등 검출부에서 적용되는 전조등 및 후미등 분류 알고리즘은,Preferably, the headlamp and taillight classification algorithms applied in the headlamps and the taillamp detector include:
(S1) 상기 카메라 센서모듈에서 감지된 영상에 대하여, 일정 기준 이상의 강한 빛을 갖는 전조등과 후미등을 감지하는 Back ROI(BROI), 및 일정 기준 이하의 약한 빛을 갖는 전조등 및 후미등을 감지하는 Front ROI(FROI)로 구분하여 관심영역(ROI)을 설정하는 단계를 포함하되,(S1), a front ROI (BROI) for detecting a headlamp having a strong light of a certain level or more and a tail light, a headlamp having a weak light below a certain standard, and a front ROI (FROI), and setting a ROI (ROI)
상기 설정된 관심영역(ROI)을, 이동 알고리즘을 이용하여 상기 자동차의 움직임 방향에 따라 적응적으로 이동시킬 수 있다.
The set ROI can be adaptively moved according to the movement direction of the automobile using a movement algorithm.
더 바람직하게는, 상기 전조등 및 후미등 검출부에서 적용되는 전조등 및 후미등 분류 알고리즘은,More preferably, the headlamp and taillight classification algorithms, which are applied in the headlamps and the taillight detector,
(S2) 상기 설정된 관심영역(ROI)에 대하여, Color model을 RGB에서 YCbCr로 변경하여, Y채널과 Cr채널에 대해 최적화된 각기 다른 임계값을 사용하여 2개의 이진화 영상을 생성하고, 상기 생성된 2개의 이진화 영상에 대해 OR 연산을 수행하여 후보 불빛 영상(Candidate Blobs image)을 생성하는 단계를 더 포함할 수 있다.
(S2) For the set ROI, a color model is changed from RGB to YCbCr, two binarized images are generated using different threshold values optimized for the Y channel and the Cr channel, And performing an OR operation on the two binarized images to generate a Candidate Blobs image.
더욱 바람직하게는, 상기 전조등 및 후미등 검출부에서 적용되는 전조등 및 후미등 분류 알고리즘은,More preferably, the headlamp and taillight classification algorithms applied to the headlamps and the taillamp detector include:
(S3) 상기 생성된 후보 불빛 영상으로부터 Redness level을 사용하여 후미등을 검출하는 단계를 더 포함하되,(S3) detecting a tail light by using a redness level from the generated candidate light image,
상기 후미등을 상기 후보 불빛에 포함된 후미등이 아닌 붉은 빛의 오브젝트와 분류하기 위하여, R, G, B 각 채널로부터 20개의 패턴을 사용하여 하-라이크 특징(haar-like feature)을 추출하고, 추출된 하-라이크 특징(haar-like feature)을 사용한 랜덤 포레스트(random forest; RF)에 의해 후미등을 검출할 수 있다.
In order to classify the taillight with the object of red light which is not the tail light included in the candidate light, haar-like feature is extracted using 20 patterns from each channel of R, G, B, The backlight can be detected by a random forest (RF) using a haar-like feature.
더 더욱 바람직하게는, 상기 전조등 및 후미등 검출부에서 적용되는 전조등 및 후미등 분류 알고리즘은,Still more preferably, the headlamp and taillight classification algorithms applied in the headlamp and taillight detection sections are classified into a headlamp classifier,
(S4) 상기 후미등이 검출된 후보 불빛 영상으로부터 전조등을 더 검출하되, 밝은 중심부분과 주변의 그라데이션(gradation) 두 파트로 구성되어있는 전조등을 기타 배경 광원으로부터 분류하기 위하여, 웨이블릿(Wavelet)을 기반으로 한 oriented center-symmetric local binary feature(OCS-LBP)를 사용하여 전조등을 검출하는 단계를 더 포함할 수 있다.
(S4) In order to classify the headlamps composed of the two parts of the bright center portion and the surrounding gradation from other background light sources, the headlamp is further detected based on the candidate light image from which the taillight is detected, And detecting the headlamp using an oriented center-symmetric local binary feature (OCS-LBP).
더욱 바람직하게는, 상기 전조등 및 후미등 검출부에서 적용되는 전조등 및 후미등 분류 알고리즘은,More preferably, the headlamp and taillight classification algorithms applied to the headlamps and the taillamp detector include:
(S5) 상기 검출된 전조등과 후미등에 대하여, 동일한 자동차의 전조등 또는 후미등으로 판단되는 것들을 하나의 군집으로 맺는 페어링을 수행하는 단계를 더 포함할 수 있다.(S5) Performing a pairing of the detected headlights and the tail lights to conclude the headlights or tails of the same automobile as one cluster.
본 발명에서 제안하고 있는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템 및 그 방법에 따르면, 주변 영상의 변화를 감지하기 위한 감지 센서부, 및 감지된 주변 영상에 전조등 및 후미등 분류 알고리즘을 적용하는 전조등 및 후미등 검출부를 포함하는 판단모듈로 구성함으로써, 도로 표지판, 신호등, 가로등 등의 다양한 조명으로부터 다른 자동차의 전조등 및 후미등만을 정확히 검출할 수 있게 하여, 기존의 상향등 조절 관련 기술에서와 같이 가로등 등의 조명을 다른 자동차의 전조등 및 후미등으로 잘못 판단하여 자동차 상향등의 조도를 낮추거나 off시키는 문제가 발생되지 않도록 할 수 있다.
According to the present invention, there is provided a system and method for automatically controlling an automotive upside light based on a camera sensor, including a sensing sensor unit for sensing a change in a surrounding image, and a headlight and a taillight for applying a headlight and a taillighting algorithm to the sensed peripheral image It is possible to accurately detect only the headlights and tail lights of other automobiles from various lights such as road signs, traffic lights and street lights, so that it is possible to accurately detect the lights of the street lamps and the like It is possible to prevent the problem of lowering or turning off the illuminance of the automobile upside lamp by mistakenly determining the headlights and tail lights of the automobile.
또한, 본 발명에 따르면, 자동차의 이동 속도를 추출하는 OBD 센서모듈을 포함하여 구성함으로써, 자동차 이동 속도가 일정 속도 이상인 경우 고속 주행으로 분류하여 상향등의 작동이 되도록 하고, 일정 속도 이하인 경우 저속 주행으로 분류하여 하향등의 작동이 되도록 하여, 자동차의 실시간 이동 속도에 따라 상향등 또는 하향등이 작동될 수 있다.
According to the present invention, an OBD sensor module for extracting a moving speed of an automobile is included, so that when the moving speed of the automobile is higher than a predetermined speed, it is classified into a high speed driving so as to operate the upside lamp. Downward, etc., so that the upward light or the downward light can be operated according to the real-time moving speed of the automobile.
뿐만 아니라, 본 발명에 따르면, 상향등 불필요 지역 여부 판단부를 포함하여 구성함으로써, 상향등 불필요 지역 여부 판단부에서 상향등 불필요 지역으로 판단되는 경우 상향등을 off되도록 하고, 상향등 필요 지역으로 판단되는 경우 상향등을 on되도록 하여, 자동차의 상향등이 off되어도 네온사인 등에 의하여 전방 도로의 확인이 충분히 가능한 도심 지역의 경우에는 자동으로 상향등이 off되도록 할 수 있다.In addition, according to the present invention, it is configured to include an upward-directional unnecessary-area determination unit, so that the upward-directional unnecessary-area determination unit may turn off the upward light when it is determined that the upward-light is unnecessary, Therefore, even if the automobile's headlights are turned off, it is possible to automatically turn off the headlights in the case of an urban area where a front road can be confirmed by a neon sign or the like.
도 1은 주간 및 야간 사고 발생 건수 및 사망자 수를 도시한 도면.
도 2는 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템의 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템에 있어서, 판단모듈의 상향등 불필요 지역 여부 판단부에서 도심지역과 외곽지역에 대하여 상향등 불필요 지역 여부를 판단하는 예를 설명하기 위한 도면.
도 4는 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템의 판단모듈에 있어서, 전조등 및 후미등 검출부에서 전조등 및 후미등을 검출하는 개략적인 순서를 나타내는 도면.
도 5는 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템의 판단모듈에 있어서, 전조등 및 후미등 검출부에서 전조등 및 후미등을 검출하는 방법을 구성하는 구체적인 단계들을 나타내는 도면.
도 6은 전조등 및 후미등 검출부에서 전조등 및 후미등을 검출하는 방법의 단계 S1에서, 설정된 관심영역(ROI)을 이동시키기 위해 사용되는 자동차 회전에 따른 광류 흐름(옵티컬 플로우)을 2차원 확률밀도 함수 그래프로 나타낸 도면.
도 7은 전조등 및 후미등 검출부에서 전조등 및 후미등을 검출하는 방법의 단계 S3에서, 후미등 검출에 사용되고 있는 하-라이크 특징(haar-like feature) 패턴의 예를 나타내는 도면.
도 8은 전조등 및 후미등 검출부에서 전조등 및 후미등을 검출하는 방법의 단계 S3에서, 후미등 검출에 사용되고 있는 하-라이크 특징(haar-like feature) 벡터의 예를 나타내는 도면.
도 9는 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템의 판단모듈에 있어서, 후미등과 전조등을 검출하는 과정을 전체적으로 나타내는 도면.
도 10은 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템을 이용한 자동차 상향등 자동 조절 방법의 흐름도를 도시한 도면.Brief Description of the Drawings Fig. 1 shows the number of daytime and nighttime accidents and the number of deaths. Fig.
2 is a diagram illustrating a configuration of an automotive upright automatic control system based on a camera sensor according to an embodiment of the present invention.
FIG. 3 is a block diagram illustrating an example of an automatic up-light automatic control system based on a camera sensor according to an exemplary embodiment of the present invention, in which an over-head unnecessary area determination unit of the determination module determines whether an up- Fig.
FIG. 4 is a diagram showing a schematic procedure for detecting a headlight and a tail lamp in a headlight and a tail light detector in a judgment module of an automotive upside-light automatic control system based on a camera sensor according to an embodiment of the present invention.
5 is a view illustrating concrete steps of a method of detecting a headlight and a tail lamp in a headlight and a tail light detector in a judgment module of an automotive headlight automatic control system based on a camera sensor according to an embodiment of the present invention.
6 is a graph showing an optical flow (optical flow) according to a rotation of an automobile used for moving a set ROI in a two-dimensional probability density function graph in a step S1 of a method of detecting a headlight and a tail lamp in a headlight and a tail light detector Fig.
7 is a diagram showing an example of a haar-like feature pattern being used for backlight detection in step S3 of a method of detecting headlights and tail lights in headlights and tail lights detection sections;
8 is a diagram showing an example of a haar-like feature vector used in the backlight detection in step S3 of the method of detecting the headlights and tail lights in the headlamps and the tail light detection part.
FIG. 9 is a view illustrating a process of detecting a tail light and a headlight in a judgment module of an automotive upright automatic control system based on a camera sensor according to an embodiment of the present invention. FIG.
10 is a flowchart illustrating a method of automatically adjusting an automotive upside light using an automotive upside-light automatic control system based on a camera sensor according to an exemplary embodiment of the present invention.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which may be readily understood by those skilled in the art. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In the drawings, like reference numerals are used throughout the drawings.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.
도 1은 주간 및 야간 사고 발생 건수 및 사망자 수를 도시한 도면이다. 도 1에 나타낸 바와 같이, 주간 치사율보다 야간 치사율이 높으며, 야간 자동차 사고로 인하여 사망된 사망자 수가 8,908명으로 주간 자동차 사고 사망자 수인 7,664명 보다 1,244명 많은 것을 확인할 수 있다. 확인된 결과에 비추어 보면, 야간 자동차 사고를 방지하기 위하여 야간 자동차 운전을 보조하는 시스템에 대한 개발이 필요한 실정임을 알 수 있다.
1 is a diagram showing the number of days and nights of accidents and the number of deaths. As shown in FIG. 1, the nighttime mortality rate is higher than the weekly mortality rate, and the number of deaths due to the nightly automobile accident is 8,908, which is more than 1,244 more than the weekly auto accident death rate of 7,664. Based on the confirmed results, it is necessary to develop a system for assisting night driving to prevent a car accident at night.
도 2는 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템의 구성을 도시한 도면이다. 도 2에 나타낸 바와 같이, 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템(10)은, 감지 센서부(110)를 이용하여 자동차의 주변 영상의 변화를 감지하는 카메라 센서모듈(100), 카메라 센서모듈(100)에서 감지된 자동차의 주변 영상으로부터 전조등 및 후미등 분류 알고리즘을 적용하여 다른 자동차의 전조등 및 후미등을 검출하고, 검출된 전조등 및 후미등을 이용하여 자동차 상향등의 조절 여부를 판단하는 판단모듈(300), 및 판단모듈(300)에서 판단된 결과에 따라 자동차 상향등이 조절되도록 제어하는 제어모듈(400)을 포함할 수 있다. 또한, 실시예에 따라서는, 자동차의 이동 속도를 추출하는 OBD 센서모듈(200)을 더 포함할 수 있다. 이하에서는, 각각의 구성요소들에 대하여 차례대로 상세히 설명하기로 한다.
FIG. 2 is a block diagram illustrating a configuration of an automotive upside-down light automatic control system based on a camera sensor according to an exemplary embodiment of the present invention. 2, the automotive upright
먼저, 카메라 센서모듈(100)은, 감지 센서부(110)를 이용하여 자동차의 주변 영상의 변화를 감지하는 역할을 한다. 일반적으로 카메라 센서모듈(100)은 자동차의 백미러 위치에 설치될 수 있다.
First, the
다음으로, OBD 센서모듈(200)은, 자동차의 이동 속도를 추출하는 역할을 한다. OBD 센서모듈(200)에서 추출된 자동차의 이동 속도를 이용하여, 판단모듈(300)은 자동차 이동 속도가 일정 속도 이상인 경우 고속 주행으로 분류하여 상향등의 작동이 필요한 것으로 판단하고, 일정 속도 이하인 경우 저속 주행으로 분류하여 하향등의 작동이 필요한 것으로 판단한다. 제어모듈(400)은 판단모듈(300)에서 판단된 결과에 따라 상향등 또는 하향등으로 조절되도록 제어한다. 이와 같이 구성함으로써, 자동차의 실시간 이동 속도에 따라 상향등 또는 하향등으로의 조절이 가능하게 할 수 있다.
Next, the
다음으로, 판단모듈(300)은, 카메라 센서모듈(100)에서 감지된 자동차의 주변 영상으로부터 전조등 및 후미등 분류 알고리즘을 적용하여 다른 자동차의 전조등 및 후미등을 검출하고, 검출된 전조등 및 후미등을 이용하여 자동차 상향등의 조절 여부를 판단하는 역할을 한다. 도 2에 도시된 바와 같이, 판단모듈(300)은, 전조등 및 후미등 검출부(310) 및 판단부(320)를 포함할 수 있으며, 실시예에 따라서는 상향등 불필요 지역 여부 판단부(330) 및 관심영역 설정부(340)를 더 포함할 수 있다.
Next, the
전조등 및 후미등 검출부(310)는, 카메라 센서모듈(100)에서 감지된 자동차의 주변 영상으로부터 전조등 및 후미등 분류 알고리즘을 적용하여 다른 자동차의 전조등 및 후미등을 검출하는 역할을 한다. 전조등 및 후미등 검출부(310)의 세부 구성에 대해서는 도 4 내지 도 9를 참조하여, 추후 상세히 설명하기로 한다.
The headlight and tail
판단부(320)는, 전조등 및 후미등 검출부(310)에서 검출된 전조등 및 후미등을 이용하여 자동차 상향등의 조절 여부를 판단하는 역할을 한다. 즉, 판단부(320)에서는, 전조등 및 후미등 검출부(310)에서 자동차의 주변 영상에 전조등 또는 후미등이 검출되면, 기존에 상향등이 on되어 있을 경우에는 off로의 조절이 필요한 것으로 판단하고, 상향등이 off되어 있을 경우에는 별도의 조절이 필요하지 않은 것으로 판단한다. 또한, 판단부(320)에서는, 전조등 및 후미등 검출부(310)에서 자동차의 주변 영상에 전조등 또는 후미등이 검출되지 않으면, 기존에 상향등이 off되어 있을 경우에는 on으로의 조절이 필요한 것으로 판단하고, 상향등이 on되어 있을 경우에는 별도의 조절이 필요하지 않은 것으로 판단한다.
The
상향등 불필요 지역 여부 판단부(330)는, 카메라 센서모듈(100)에서 감지된 주변 영상의 밝기 분포를 이용하여, 상향등 불필요 지역 여부를 판단하는 역할을 한다. 제어모듈(400)에서는, 상향등 불필요 지역 여부 판단부(330)에서 상향등 불필요 지역으로 판단되면 상향등을 off시킬 수 있다. 반대로 상향등 불필요 지역 여부 판단부(330)에서 상향등 필요 지역으로 판단되면, 전조등 및 후미등 검출부(310) 및 판단부(320)의 판단에 따라 상향등을 on시키거나 off시킬 수 있다.
The upper area unnecessary
보다 구체적으로 살펴보면, 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템(10)의 상향등 불필요 지역 여부 판단부(330)는, 카메라 센서모듈(100)에서 감지된 주변 영상의 상단 부분을 n×m 크기의 영역의 서브 블록으로 분할하고, 분할된 각각의 서브 블록에서 밝기 값의 평균을 추정한 후, 미리 설정된 제1 임계값을 이용하여 제1 임계값보다 큰 평균을 가지는 서브 블록만을 선택하고, 선택된 서브 블록의 위치의 확산 분포(spread distribution)를 측정하여, 측정된 확산 분포 값이 제2 임계값보다 낮으면 상향등 필요 지역으로 판단하고, 제2 임계값보다 높으면 상향등 불필요 지역으로 판단한다.
In more detail, the overhead unnecessary
도 3은 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템에 있어서, 판단모듈의 상향등 불필요 지역 여부 판단부에서 도심지역과 외곽지역에 대하여 상향등 불필요 지역 여부를 판단하는 예를 설명하기 위한 도면이다. 도 3(a)에서처럼, 평균 밝기 값이 높은 서브 블록의 수가 절대적으로 많아 영상이 전체적으로 밝다고 판단되는 경우에는 상향등 불필요 지역으로 판단한다. 이와 달리, 도 3(b)에서처럼, 서브 블록의 수가 적거나, 혹은 서브 블록의 수가 적지 않더라도 인접한 위치에 뭉쳐 있는 경우에는 영상이 전체적으로 어둡다고 판단되므로 상향등 필요 지역으로 판단한다. 이와 같이, 상향등 불필요 지역 여부를 판단하기 위해서는, 평균 밝기 값이 높은 서브 블록의 개수뿐만 아니라, 밝기 값이 높은 서브 블록의 분포까지 함께 측정하여 이용하여야 보다 정확한 판단이 가능할 수 있다.
FIG. 3 is a block diagram illustrating an example of an automatic up-light automatic control system based on a camera sensor according to an exemplary embodiment of the present invention, in which an over-head unnecessary area determination unit of the determination module determines whether an up- Fig. As shown in FIG. 3 (a), when the number of subblocks having a high average brightness value is absolutely large and it is determined that the entire image is bright, it is determined that the region is unnecessary. In contrast, if the number of subblocks is small or the number of subblocks is small, as shown in FIG. 3 (b), it is determined that the image is entirely dark. In this manner, it is possible to make a more accurate judgment by judging not only the number of subblocks having a high average brightness value but also the distribution of subblocks having a high brightness value, in order to determine whether or not the region is an unnecessary upward region.
관심영역 설정부(340)는, 카메라 센서모듈(100)에서 감지된 주변 영상에 있어서, 소정의 영역을 관심영역(ROI)으로 설정하는 역할을 한다. 이는 주변 영상에서 실제 자동차가 존재하게 되는 영역에서만 다른 자동차의 전조등 및 후미등을 검출하기 위한 것이다. 실시예에 따라서는, 감지된 주변 영상의 아래쪽 중심 부근 영역을 관심영역(ROI)으로 설정할 수 있다. 일반적으로 카메라 센서모듈(100)은 자동차의 백미러 위치에 설치되므로, 카메라 센서모듈(100)에 의하여 감지된 주변 영상에는 원근감이 발생하게 된다. 이러한 원근감으로 인하여 다른 자동차는, 감지된 주변 영상의 아래쪽 절반 영역에만 존재하게 되는 것이며, 아래쪽 절반 영역 중 양쪽 외곽 지역은, 다른 자동차의 운전석이 주행 중인 자동차의 전조등보다 뒤에 있게 되어 상향등의 영향을 받지 않게 되므로, 관심영역(ROI)에서 제외하는 것이다.
The
마지막으로, 제어모듈(400)은, 판단모듈(300)에서 판단된 결과에 따라 자동차 상향등이 조절되도록 제어하는 역할을 한다. 즉, 제어모듈(400)은, 판단모듈(300)의 판단 결과에 따라, 상향등 또는 하향등으로 조절되도록 제어하거나, 상향등을 on 또는 off되도록 제어하는 역할을 한다.
Finally, the
도 4는 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템의 판단모듈에 있어서, 전조등 및 후미등 검출부에서 전조등 및 후미등을 검출하는 개략적인 순서를 나타내는 도면이고, 도 5는 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템의 판단모듈에 있어서, 전조등 및 후미등 검출부에서 전조등 및 후미등을 검출하는 방법을 구성하는 구체적인 단계들을 나타내는 도면이다. 도 4 및 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템(10)의 전조등 및 후미등 검출부(310)에서 전조등 및 후미등을 검출하는 방법은, Back ROI(BROI), 및 Front ROI(FROI)로 구분된 관심영역(ROI)을 설정하는 단계(S1), 후보 불빛 영상(Candidate Blobs image)을 생성하는 단계(S2), 후미등을 검출하는 단계(S3), 전조등을 더 검출하는 단계(S4)를 포함할 수 있다. 이하에서는 상기 단계들에 대하여 도면을 참조하여 단계별로 상세히 설명하도록 한다.
FIG. 4 is a diagram showing a schematic procedure for detecting a headlight and a tail lamp in a headlight and a tail light detector in a judgment module of an automotive upside-light automatic control system based on a camera sensor according to an embodiment of the present invention. FIG. 3 is a diagram illustrating concrete steps of a method for detecting a headlight and a tail lamp in a headlight and a tail light detector in a judgment module of an automotive upside-light automatic control system based on a camera sensor according to an embodiment of the present invention. As shown in FIGS. 4 and 5, a method of detecting a headlight and a tail light in a headlight and a
단계 S1에서는, Back ROI(BROI), 및 Front ROI(FROI)로 구분된 관심영역(ROI)을 설정한다. 즉, 단계 S1에서는, 카메라 센서모듈(100)에서 감지된 주변 영상에 대하여, 일정 기준 이상의 강한 빛을 갖는 전조등과 후미등을 감지하는 Back ROI(BROI), 및 일정 기준 이하의 약한 빛을 갖는 전조등 및 후미등을 감지하는 Front ROI(FROI)로 구분하여 관심영역(ROI)을 설정한다.
In step S1, a ROI (ROI) divided into a Back ROI (BROI) and a Front ROI (FROI) is set. That is, in step S1, a headlamp having a strong light of a certain level or more and a back ROI (BROI) for detecting a tail light, a headlamp having a weak light of a predetermined standard or less, And a front ROI (FROI) that detects a tail light.
실시예에 따라서는, 이렇게 설정된 관심영역(ROI)을, 이동 알고리즘을 이용하여 자동차의 움직임 방향에 따라 적응적으로 이동시킬 수도 있다. 예를 들어, 자동차의 회전에 따른 광류 흐름(옵티컬 플로우)을 주기적으로 측정하고, 이렇게 측정된 광류 흐름(옵티컬 플로우)을 이용하여 자동차의 움직임 방향과 크기에 따라 관심영역(ROI)을 이동시킬 수 있다. 도 6은 전조등 및 후미등 검출부에서 전조등 및 후미등을 검출하는 방법의 단계 S1에서, 설정된 관심영역(ROI)을 이동시키기 위해 사용되는 자동차 회전에 따른 광류 흐름(옵티컬 플로우)을 2차원 확률밀도 함수 그래프로 나타낸 도면이다. 도 6의 2차원 확률밀도 함수 그래프에 있어서, TR은 자동차의 오른쪽 회전, GS는 자동차의 전진, TL은 자동차의 왼쪽 회전을 의미하며, 표현된 색상이 붉을수록 확률 값이 높은 것을 나타낸다. 이와 같이, 광류 흐름(옵티컬 플로우)에 대한 2차원 확률밀도 함수 그래프를 통하여 자동차의 회전 등의 움직임을 분석할 수 있으며, 이렇게 분석된 자동차 움직임의 방향과 크기에 따라 관심영역(ROI)을 이동시킬 수 있는 것이다.
According to an embodiment, the ROI may be adaptively moved according to the moving direction of the vehicle using a moving algorithm. For example, the optical flow (optical flow) due to the rotation of the vehicle is periodically measured, and the ROI can be shifted according to the movement direction and size of the vehicle using the measured optical flow (optical flow) have. 6 is a graph showing an optical flow (optical flow) according to a rotation of an automobile used for moving a set ROI in a two-dimensional probability density function graph in a step S1 of a method of detecting a headlight and a tail lamp in a headlight and a tail light detector Fig. In the two-dimensional probability density function graph of FIG. 6, TR means the right turn of the automobile, GS the automobile advance, and TL the left turn of the automobile, and the redder the displayed color, the higher the probability value. In this way, it is possible to analyze the motion of the car by using the 2D probability density function graph for the optical flow (optical flow), and to move the ROI according to the direction and size of the analyzed car motion You can.
단계 S2에서는, 단계 S1에서 설정된 관심영역(ROI)에 대하여, 후보 불빛 영상(Candidate Blobs image)을 생성한다. 실시예에 따라서는, 단계 S2에서는, 설정된 관심영역(ROI)에 대하여, Color model을 RGB에서 YCbCr로 변경하여, Y채널과 Cr채널에 대해 최적화된 각기 다른 임계값을 사용하여 2개의 이진화 영상을 생성하고, 생성된 2개의 이진화 영상에 대해 OR 연산을 수행하여 후보 불빛 영상(Candidate Blobs image)을 생성할 수 있다. 후미등보다 밝고, 흰색 빛을 띠는 전조등의 감지에 있어서, 감지의 오류를 줄이기 위하여 Y채널을 사용하는 것이며, Cr채널을 사용하는 것은 붉은 빛을 띠는 후미등의 감지에 있어서, 영상에 희미하게 표시되는 후미등까지도 검출하기 위함이다.
In step S2, a Candidate Blobs image is generated for the ROI set in step S1. According to the embodiment, in step S2, the color model is changed from RGB to YCbCr for the set ROI, and two binarized images are generated using different threshold values optimized for the Y and Cr channels And generates a Candidate Blobs image by performing an OR operation on the generated two binarized images. The use of the Y channel to reduce detection errors in the detection of a headlamp that is brighter than the taillight and a white light, and the use of the Cr channel may result in a faint display of the image in the detection of a red tailing lamp To detect even the rear taillight.
단계 S3에서는, 단계 S2에서 생성된 후보 불빛 영상으로부터 컬러정보를 이용하여 후미등을 검출한다. 이때, 컬러정보로서는, 특히 적색의 정도(Redness Level)를 나타내는 정보를 이용할 수 있는데, 이는 붉은 빛을 띠는 후미등의 특성을 이용하기 위함이다. 이렇게 적색의 정도를 나타내는 컬러정보를 이용하여 후미등을 검출할 경우, 붉은 빛을 가진 다른 많은 오브젝트들도 함께 검출될 수 있기 때문에, R, G, B 각 채널로부터 예컨대, 20개의 패턴을 사용하여 하-라이크 특징(haar-like feature)을 추출하고, 추출된 하-라이크 특징(haar-like feature)을 사용한 랜덤 포레스트(random forest; RF) 방법을 더 적용하여 후미등을 검출할 수 있다. 도 7 및 도 8은 전조등 및 후미등 검출부에서 전조등 및 후미등을 검출하는 방법의 단계 S3에서, 후미등 검출에 사용되고 있는 하-라이크 특징(haar-like feature)의 예를 나타내는 도면이다.
In step S3, the rear light is detected using the color information from the candidate light image generated in step S2. At this time, information indicating the degree of redness (Redness Level) can be used as the color information in order to utilize the characteristic of the tail light which is reddish. Since many other objects having red light can be detected together with the color information indicating the degree of red color, it is possible to detect, for example, 20 patterns from each of the R, G, and B channels The backlight can be detected by extracting haar-like features and applying a random forest (RF) method using extracted haar-like features. Figs. 7 and 8 are diagrams showing examples of a haar-like feature being used in the backlight detection in step S3 of the method of detecting headlights and tail lights in headlights and tail lights detection sections. Fig.
단계 S4에서는, 후미등이 검출된 후보 불빛 영상으로부터 전조등을 더 검출한다. 실시예에 따라서는, 단계 S4에서는, 밝은 중심부분과 주변의 그라데이션(gradation) 두 파트로 구성되어 있는 전조등을 기타 배경 광원으로부터 분류하기 위하여, 웨이블릿(Wavelet)을 기반으로 한 oriented center-symmetric local binary feature(OCS-LBP)를 사용하여 전조등을 검출할 수 있다. 또한, 웨이블릿의 경우 Daubechies 4 filter를 사용할 수 있으며, 이는 Haar 웨이블릿보다 더 좋은 주파수 해상도를 가지며, 다른 웨이블릿보다 공간적으로 더 나은 성능을 보일 수 있다. 3가지의 high pass filter를 통하여 필터링된 sub images(LH, HL, HH)로부터 OCS-LBP를 추출할 수 있고, 추출된 OCS-LBP feature의 방향, 크기는 8차원보다 작은 차원을 가지게 되는데, 이와 같은 작은 차원을 유지하면서도 다른 특징과 비슷한 성능을 가질 수 있다는 장점이 있다.
In step S4, the headlamp is further detected from the candidate light image in which the tail light is detected. According to the embodiment, in step S4, in order to classify the headlamp composed of the two parts of the bright center part and the surrounding gradation from other background light sources, an oriented center-symmetric local binary feature (OCS-LBP) can be used to detect headlights. In addition, we can use Daubechies 4 filters for wavelets, which have better frequency resolution than Haar wavelets and can show better spatial performance than other wavelets. It is possible to extract OCS-LBP from the filtered sub-images (LH, HL, HH) through three high pass filters and the direction and size of extracted OCS-LBP features are smaller than 8 dimensions. It has the advantage of having similar performance to other features while maintaining the same small dimension.
도 9는 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템의 판단모듈에 있어서, 후미등과 전조등을 검출하는 과정을 전체적으로 나타내는 도면이다. 도 9에 도시된 바와 같이, 생성된 후보 불빛 영상으로부터 적색의 정도(Redness Level)를 이용하여 후미등의 후보를 먼저 검출하고, 검출된 후미등 후보들에 대하여 harr-like 특징을 이용하여 후미등을 검출하며, 후미등의 후보로 검출되지 않은 후보 불빛 영상에 대하여 웨이블릿 변환 및 OCS-LBP 특징을 이용하여 전조등을 검출한다.
FIG. 9 is a view illustrating a process of detecting a tail lamp and a headlight in a judgment module of an automotive upside-light automatic control system based on a camera sensor according to an embodiment of the present invention. As shown in FIG. 9, a trail candidate is firstly detected using the degree of redness from the generated candidate light image, and a taillight is detected using the harr-like feature for the detected taillight candidates, We detect the headlights using the wavelet transform and OCS-LBP features for candidate light images not detected as candidates for the tail lights.
본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템에 있어서, 알고리즘 적용부(340)에서 적용되는 전조등 및 후미등 분류 알고리즘은, (S5) 검출된 전조등과 후미등에 대하여, 동일한 자동차의 전조등 또는 후미등으로 판단되는 것들을 하나의 군집으로 맺는 페어링을 수행하는 단계를 더 포함할 수 있다. 알고리즘 적용부(340)에서 적용되는 전조등 및 후미등 분류 알고리즘 S5의 페어링을 수행하는 단계는, 하나의 자동차에 있는 전조등 혹은 후미등이 서로 대칭을 이루며 이와 동시에 쌍을 이루고 있다는 사실을 기반으로 수행되며, 페어링 군집을 만들기 위해서, 헝가리안(Hungarian) 알고리즘을 이용한 연관성 검사 알고리즘을 사용할 수 있다. 연관성 검사의 전제 조건으로는 (1)후보 불빛은 전조등이거나 후미등이어야 하고, (2)후보 불빛의 수직성분은 어느 정도 겹치는 부분이 존재하여야 하지만, 수평성분이 겹치는 경우는 제외시켜야 하며, (3)두 후보 불빛의 내부 사이 거리는 일정 거리 이내에 있어야 한다는 조건이 있으며, 세 가지의 조건을 만족하는 것을 전제로 연관성 알고리즘을 진행한다. 세 가지의 조건이 만족된다면 헝가리안 알고리즘을 이용한 연관성 검사 알고리즘을 적용할 수 있으며, 연관성 검사 알고리즘은 다음 수학식 1 내지 수학식 4로 이루어진다.In the automotive upside-light automatic control system based on the camera sensor according to the embodiment of the present invention, the headlight and tail light classification algorithm applied in the
연관성 검사 알고리즘을 적용하기 위하여, 우선, i번째 후보 불빛과 i번째와는 다른 j번째 불빛 사이의 유사성 점수(similarity score)를 만들어야 한다. 유사성 점수를 만들기 위하여, matching 함수인 Sim(불빛, 불빛)를 이용할 수 있는데, Sim 함수는 상기 수학식 (1)으로 이루어진다. 수학식 (1)에서, S는 각 후보 불빛의 크기이며, V는 각 후보 불빛의 Y축의 겹침 정도이고, A는 각 후보 불빛의 가로/세로의 비율을 의미한다. 각각에 해당하는 수식은 수학식(2) 내지 (4)와 같으며, S, V, A의 세 가지 수치들을 헝가리안 알고리즘에 적용할 수 있고, i번째와 j번째의 후보 불빛 중 가장 높은 값을 가지는 것을 하나의 쌍으로 맺을 수 있다.
In order to apply the association check algorithm, first, a similarity score between the i-th candidate light and the j-th light that is different from the i-th light must be made. In order to create a similarity score, a matching function Sim (light, light) can be used. The Sim function consists of the above equation (1). In Equation (1), S is the size of each candidate light, V is the degree of overlap of the Y axis of each candidate light, and A is the ratio of the width of each candidate light. Equations (2) to (4) correspond to each of the three values of S, V, and A, which can be applied to the Hungarian algorithm, and the highest value among the i-th and j- Can be formed into one pair.
즉, 알고리즘 적용부(340)에서 적용되는 전조등 및 후미등 분류 알고리즘 S5의 동일한 자동차의 전조등 또는 후미등으로 판단되는 것들을 하나의 군집으로 맺는 페어링을 수행하는 단계는, 전조등 및 후미등 분류 알고리즘 S3의 후미등을 검출하는 단계, 및 전조등 및 후미등 분류 알고리즘 S4의 전조등을 더 검출하는 단계에서 검출된, 전조등 또는 후미등이 아닌 다른 불빛임에도 전조등 및 후미등으로 잘못 판단하여 검출된 결과에 대하여, 한 쌍을 이루지 못하는 불빛을 제외함으로써, 전조등 또는 후미등이 아닌 다른 불빛을 제외시키는 역할을 하는 것이다.
That is, the step of pairing the headlights and the tail lights classified by the
도 10은 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템을 이용한 자동차 상향등 자동 조절 방법의 흐름도를 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템(10)을 이용한 자동차 상향등 자동 조절 방법은, 카메라 센서모듈(100)의 감지 센서부(110)가, 자동차의 주변 영상의 변화를 감지하는 단계(S100), 판단모듈(300)의 전조등 및 후미등 검출부(310)가 카메라 센서모듈(100)에서 감지된 자동차의 주변 영상으로부터 전조등 및 후미등 분류 알고리즘을 적용하여 다른 자동차의 전조등 및 후미등을 검출하는 단계(S200), 판단모듈(300)의 판단부(320)가 전조등 및 후미등 검출부(340)에서 검출된 전조등 및 후미등을 이용하여 자동차 상향등의 조절 여부를 판단하는 단계(S300), 및 제어모듈(400)이 판단모듈(300)의 판단부(320)에서 판단된 결과에 따라 자동차의 상향등이 조절되도록 제어하는 단계(S400)를 포함할 수 있다.
10 is a flowchart illustrating a method for automatically adjusting an automotive upside light using a camera sensor-based automotive upside-down light control system according to an exemplary embodiment of the present invention. 10, a method of automatically adjusting an automotive upside-down light using an automotive upside-light
상술한 바와 같이, 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템 및 그 방법은, 주변 영상의 변화를 감지하기 위한 감지 센서부, 및 감지된 주변 영상에 전조등 및 후미등 분류 알고리즘을 적용하는 전조등 및 후미등 검출부를 포함하는 판단모듈로 구성함으로써, 도로 표지판, 신호등, 가로등 등의 다양한 조명으로부터 다른 자동차의 전조등 및 후미등만을 정확히 검출할 수 있게 하여, 기존의 상향등 조절 관련 기술에서와 같이 가로등 등의 조명을 다른 자동차의 전조등 및 후미등으로 잘못 판단하여 자동차 상향등의 조도를 낮추거나 off시키는 문제가 발생되지 않도록 할 수 있다. 뿐만 아니라, 자동차의 이동 속도를 추출하는 OBD 센서모듈을 포함하여 구성함으로써, 자동차 이동 속도가 일정 속도 이상인 경우 고속 주행으로 분류하여 상향등의 작동이 되도록 하고, 일정 속도 이하인 경우 저속 주행으로 분류하여 하향등의 작동이 되도록 하여, 자동차의 실시간 이동 속도에 따라 상향등 또는 하향등이 작동될 수 있다. 또한, 상향등 불필요 지역 여부 판단부를 포함하여 구성함으로써, 상향등 불필요 지역 여부 판단부에서 상향등 불필요 지역으로 판단되는 경우 상향등을 off되도록 하고, 상향등 필요 지역으로 판단되는 경우 상향등을 on되도록 하여, 자동차의 상향등이 off되어도 네온사인 등에 의하여 전방 도로의 확인이 충분히 가능한 도심 지역의 경우에는 자동으로 상향등이 off되도록 할 수 있다.
As described above, according to an embodiment of the present invention, an automotive upright automatic control system based on a camera sensor and a method thereof include a sensing sensor unit for sensing a change in a surrounding image, and a headlight / The present invention can detect only the headlamps and tail lights of other automobiles accurately from various lights such as road signs, traffic lights, streetlights, and the like, It is possible to prevent the problem of lowering or turning off the illuminance of the automobile upside lamp by erroneously judging the light of a streetlight or the like as a headlight and a tail lamp of another automobile. In addition, by including the OBD sensor module for extracting the moving speed of the automobile, when the moving speed of the automobile is higher than a predetermined speed, it is classified as high speed driving to operate the upside lamp. When the speed is below a certain speed, So that the upward light or the downward light can be operated according to the real time moving speed of the automobile. In addition, the up-directional unnecessary-area determination unit may include an upward-directional-unnecessary-area determination unit to turn off the upward light when it is determined that the upward-light is unnecessary region, and to turn on the upward light when the upward- off, even in the case of an urban area where the front road can be confirmed sufficiently by a neon sign, the automatic up-light can be turned off.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics and scope of the invention.
10: 본 발명의 일실시예에 따른 카메라 센서 기반의 자동차 상향등 자동 조절 시스템
100: 카메라 센서모듈
110: 감지 센서부
200: OBD 센서모듈
300: 판단모듈
310: 전조등 및 후미등 검출부
320: 판단부
330: 상향등 불필요 지역 여부 판단부
340: 관심영역 설정부
400: 제어모듈10: a camera sensor based automotive upside-down automatic control system according to an embodiment of the present invention
100: Camera sensor module
110:
200: OBD sensor module
300: Judgment module
310: Headlight and tail light detector
320:
330: Upper and lower unnecessary area determination unit
340: Interest area setting unit
400: control module
Claims (20)
감지 센서부를 이용하여 상기 자동차의 주변 영상의 변화를 감지하는 카메라 센서모듈;
상기 카메라 센서모듈에서 감지된 상기 자동차의 주변 영상으로부터 전조등 및 후미등 분류 알고리즘을 적용하여 다른 자동차의 전조등 및 후미등을 검출하는 전조등 및 후미등 검출부, 및 상기 전조등 및 후미등 검출부에서 검출된 전조등 및 후미등을 이용하여 상기 자동차 상향등의 조절 여부를 판단하는 판단부로 구성되는 판단모듈; 및
상기 판단모듈에서 판단된 결과에 따라 상기 자동차 상향등이 조절되도록 제어하는 제어모듈을 포함하고,
상기 판단모듈은,
상기 카메라 센서모듈에서 감지된 주변 영상의 밝기 분포를 이용하여, 상향등 불필요 지역 여부를 판단하는 상향등 불필요 지역 여부 판단부를 더 포함하며,
상기 제어모듈은,
상기 상향등 불필요 지역 여부 판단부에서 상향등 불필요 지역으로 판단되면 상향등을 off시키되,
상기 상향등 불필요 지역 여부 판단부는, 상기 카메라 센서모듈에서 감지된 상기 주변 영상의 상단 부분을 n×m 크기의 영역의 서브 블록으로 분할하고, 상기 분할된 각각의 서브 블록에서 밝기 값의 평균을 추정한 후, 미리 설정된 제1 임계값을 이용하여 상기 제1 임계값보다 큰 평균을 가지는 서브 블록만을 선택하고, 상기 선택된 서브 블록의 위치의 확산 분포(spread distribution)를 측정하여, 측정된 상기 확산 분포 값이 미리 설정된 제2 임계값보다 낮으면 상향등 필요 지역으로 판단하고, 상기 제2 임계값보다 높으면 상향등 불필요 지역으로 판단하는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템.
As an automotive upside-down automatic control system,
A camera sensor module for detecting a change in a peripheral image of the vehicle using a detection sensor unit;
A headlight and a tail light detector for detecting headlights and tail lights of other vehicles by applying a headlight and a tail light classification algorithm from the peripheral image of the automobile detected by the camera sensor module and a headlight and a tail light detected by the headlight and tail light detector A determination module configured to determine whether the automotive headlamp is adjusted; And
And a control module for controlling the automotive headlamp to be controlled according to the determination result of the determination module,
Wherein the determination module comprises:
Further comprising an upper area unnecessary area determining unit for determining whether the upper area is unnecessary area by using a brightness distribution of a surrounding image sensed by the camera sensor module,
The control module includes:
If the upper-side unnecessary-area determining unit determines that the upper-side unnecessary area is turned off, the upper-
The overhead unnecessary area determination unit may divide an upper portion of the peripheral image detected by the camera sensor module into sub-blocks of an n × m size area, and estimate an average of brightness values in the divided sub- And then selects a sub-block having an average larger than the first threshold value by using a preset first threshold value, measures a spread distribution of the position of the selected sub-block, Is determined to be an area requiring an upward light if it is lower than a predetermined second threshold value and is determined to be an area not required to be an upward light if it is higher than the second threshold value.
상기 자동차의 이동 속도를 추출하는 OBD 센서모듈을 더 포함하며,
상기 판단모듈은,
상기 OBD 센서모듈에서 추출된 자동차의 이동 속도를 이용하여, 상기 추출된 상기 자동차의 이동 속도가 일정 속도 이상인 경우, 고속 주행으로 분류하여 상향등의 작동이 필요한 것으로 판단하고, 일정 속도 이하인 경우, 저속 주행으로 분류하여 하향등의 작동이 필요한 것으로 판단하며,
상기 제어모듈은,
상기 판단모듈에서 판단된 결과에 따라 상향등 또는 하향등으로 조절되도록 제어하는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템.
The method according to claim 1,
Further comprising an OBD sensor module for extracting a moving speed of the automobile,
Wherein the determination module comprises:
When the extracted moving speed of the automobile is equal to or more than a predetermined speed, it is determined that the operation of the upside lamp is required to be classified into a high-speed running, using the moving speed of the automobile extracted from the OBD sensor module, And it is judged that operation such as downward movement is necessary,
The control module includes:
Wherein the controller is controlled to adjust the up / down direction or the downward direction according to the determination result of the determination module.
상기 선택된 서브 블록의 위치의 확산 분포(spread distribution)를 측정하는 방법은, 평균 밝기 값이 높은 서브 블록의 개수 및 분포를 이용하여 측정하는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템.
The method according to claim 1,
A method of measuring a spread distribution of a position of a selected sub-block is performed by using the number and distribution of sub-blocks having a high average brightness value.
상기 카메라 센서모듈에서 감지된 주변 영상에 있어서, 소정의 영역을 관심영역(ROI)으로 설정하는 관심영역 설정부를 더 포함하되,
상기 관심영역 설정부는, 상기 주변 영상에서 실제 자동차가 존재하게 되는 영역에서만 다른 자동차의 전조등 및 후미등을 검출하기 위하여 상기 주변 영상의 아래쪽 중심 부근 영역을 관심영역(ROI)으로 설정하는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템.
2. The apparatus of claim 1,
Further comprising a ROI setting unit configured to set a predetermined ROI as a ROI on the peripheral image detected by the camera sensor module,
Wherein the ROI setting unit sets an ROI near the bottom center of the surrounding image to detect a headlight and a tail lamp of another vehicle only in a region where the actual vehicle exists in the surrounding image. Sensor - based Automotive Upright Automatic Adjustment System.
(S1) 상기 카메라 센서모듈에서 감지된 영상에 대하여, 일정 기준 이상의 강한 빛을 갖는 전조등과 후미등을 감지하는 Back ROI(BROI), 및 일정 기준 이하의 약한 빛을 갖는 전조등 및 후미등을 감지하는 Front ROI(FROI)로 구분하여 관심영역(ROI)을 설정하는 단계를 포함하되,
상기 설정된 관심영역(ROI)을, 이동 알고리즘을 이용하여 상기 자동차의 움직임 방향에 따라 적응적으로 이동시키는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템.
The headlight and tail light classification algorithm according to claim 1, wherein the headlight and tail light classification algorithms,
(S1), a front ROI (BROI) for detecting a headlamp having a strong light of a certain level or more and a tail light, a headlamp having a weak light below a certain standard, and a front ROI (FROI), and setting a ROI (ROI)
Wherein the set ROI is adaptively moved in accordance with a moving direction of the vehicle using a moving algorithm.
(S2) 상기 설정된 관심영역(ROI)에 대하여, Color model을 RGB에서 YCbCr로 변경하여, Y채널과 Cr채널에 대해 최적화된 각기 다른 임계값을 사용하여 2개의 이진화 영상을 생성하고, 상기 생성된 2개의 이진화 영상에 대해 OR 연산을 수행하여 후보 불빛 영상(Candidate Blobs image)을 생성하는 단계를 더 포함하는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템.
8. The method of claim 7, wherein the headlight and tail light classification algorithms,
(S2) For the set ROI, a color model is changed from RGB to YCbCr, two binarized images are generated using different threshold values optimized for the Y channel and the Cr channel, Further comprising the step of performing an OR operation on the two binarized images to generate a candidate light image (Candidate Blobs image).
(S3) 상기 생성된 후보 불빛 영상으로부터 Redness level을 사용하여 후미등을 검출하는 단계를 더 포함하되,
상기 후미등을 상기 후보 불빛에 포함된 후미등이 아닌 붉은 빛의 오브젝트와 분류하기 위하여, R, G, B 각 채널로부터 20개의 패턴을 사용하여 하-라이크 특징(haar-like feature)을 추출하고, 추출된 하-라이크 특징(haar-like feature)을 사용한 랜덤 포레스트(random forest; RF)에 의해 후미등을 검출하는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템.
9. The method of claim 8, wherein the headlight and tail light classification algorithms applied in the headlight and tail light detector
(S3) detecting a tail light by using a redness level from the generated candidate light image,
In order to classify the taillight with the object of red light which is not the tail light included in the candidate light, haar-like feature is extracted using 20 patterns from each channel of R, G, B, Wherein the backlight is detected by means of a random forest (RF) using a haar-like feature.
(S4) 상기 후미등이 검출된 후보 불빛 영상으로부터 전조등을 더 검출하되, 밝은 중심부분과 주변의 그라데이션(gradation) 두 파트로 구성되어있는 전조등을 기타 배경 광원으로부터 분류하기 위하여, 웨이블릿(Wavelet)을 기반으로 한 oriented center-symmetric local binary feature(OCS-LBP)를 사용하여 전조등을 검출하는 단계를 더 포함하는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템.
The headlight and tail light classification algorithm according to claim 9,
(S4) In order to classify the headlamps composed of the two parts of the bright center portion and the surrounding gradation from other background light sources, the headlamp is further detected based on the candidate light image from which the taillight is detected, Further comprising the step of detecting headlights using an oriented center-symmetric local binary feature (OCS-LBP).
(S5) 상기 검출된 전조등과 후미등에 대하여, 동일한 자동차의 전조등 또는 후미등으로 판단되는 것들을 하나의 군집으로 맺는 페어링을 수행하는 단계를 더 포함하는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템을 이용한 자동차 상향등 자동 조절 시스템.
The system of claim 10, wherein the headlight and tail light classification algorithms applied in the headlight and tail light detector
(S5) a step of pairing the detected headlights and the tail lights to determine a headlight or tail lights of the same automobile as a cluster, Automotive Upright Automatic Control System.
(1) 카메라 센서모듈의 감지 센서부가, 자동차의 주변 영상의 변화를 감지하는 단계;
(2) 판단모듈의 전조등 및 후미등 검출부가, 상기 카메라 센서모듈에서 감지된 상기 자동차의 주변 영상으로부터 전조등 및 후미등 분류 알고리즘을 적용하여 다른 자동차의 전조등 및 후미등을 검출하는 단계;
(3) 판단모듈의 판단부가, 상기 전조등 및 후미등 검출부에서 검출된 전조등 및 후미등을 이용하여 상기 자동차 상향등의 조절 여부를 판단하는 단계; 및
(4) 제어모듈이, 상기 판단모듈의 판단부에서 판단된 결과에 따라 상기 자동차의 상향등이 조절되도록 제어하는 단계를 포함하고,
상기 판단모듈은,
상기 카메라 센서모듈에서 감지된 주변 영상의 밝기 분포를 이용하여, 상향등 불필요 지역 여부를 판단하는 상향등 불필요 지역 여부 판단부를 더 포함하며,
상기 제어모듈은,
상기 상향등 불필요 지역 여부 판단부에서 상향등 불필요 지역으로 판단되면 상향등을 off시키되,
상기 상향등 불필요 지역 여부 판단부는, 상기 카메라 센서모듈에서 감지된 상기 주변 영상의 상단 부분을 n×m 크기의 영역의 서브 블록으로 분할하고, 상기 분할된 각각의 서브 블록에서 밝기 값의 평균을 추정한 후, 미리 설정된 제1 임계값을 이용하여 상기 제1 임계값보다 큰 평균을 가지는 서브 블록만을 선택하고, 상기 선택된 서브 블록의 위치의 확산 분포(spread distribution)를 측정하여, 측정된 상기 확산 분포 값이 미리 설정된 제2 임계값보다 낮으면 상향등 필요 지역으로 판단하고, 상기 제2 임계값보다 높으면 상향등 불필요 지역으로 판단하되,
상기 선택된 서브 블록의 위치의 확산 분포(spread distribution)를 측정하는 방법은, 평균 밝기 값이 높은 서브 블록의 개수 및 분포를 이용하여 측정하는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템을 이용한 자동차 상향등 자동 조절 방법.
A method for automatically adjusting an automotive upside light using an automotive upside-down automatic control system,
(1) detecting a change in a peripheral image of a vehicle, the sensing sensor unit of the camera sensor module;
(2) detecting headlights and tail lights of other vehicles by applying a headlight and a tail light classification algorithm from a peripheral image of the vehicle detected by the camera sensor module to a headlight and a tail light detector of the decision module;
(3) the judging unit of the judging module judges whether or not the automotive headlamp is adjusted using the headlights and tail lights detected by the headlamps and the tail light detecting unit; And
(4) The control module controls the upward light of the automobile to be adjusted according to a result determined by the determination module of the determination module,
Wherein the determination module comprises:
Further comprising an upper area unnecessary area determining unit for determining whether the upper area is unnecessary area by using a brightness distribution of a surrounding image sensed by the camera sensor module,
The control module includes:
If the upper-side unnecessary-area determining unit determines that the upper-side unnecessary area is turned off, the upper-
The overhead unnecessary area determination unit may divide an upper portion of the peripheral image detected by the camera sensor module into sub-blocks of an n × m size area, and estimate an average of brightness values in the divided sub- And then selects a sub-block having an average larger than the first threshold value by using a preset first threshold value, measures a spread distribution of the position of the selected sub-block, Is determined to be an area in need of an upward light if it is lower than the preset second threshold value and it is determined that the area is not needed in the upward direction if it is higher than the second threshold value,
The method of measuring the spread distribution of the positions of the selected sub-blocks is performed by using the number and distribution of sub-blocks having a high average brightness value. Automatic adjustment of the automotive upside.
상기 카메라 센서모듈에서 감지된 주변 영상에 있어서, 소정의 영역을 관심영역(ROI)으로 설정하는 관심영역 설정부를 더 포함하되,
상기 관심영역 설정부는, 상기 주변 영상에서 실제 자동차가 존재하게 되는 영역에서만 다른 자동차의 전조등 및 후미등을 검출하기 위하여 상기 주변 영상의 아래쪽 중심 부근 영역을 관심영역(ROI)으로 설정하는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템을 이용한 자동차 상향등 자동 조절 방법.
13. The apparatus of claim 12,
Further comprising a ROI setting unit configured to set a predetermined ROI as a ROI on the peripheral image detected by the camera sensor module,
Wherein the ROI setting unit sets an ROI near the bottom center of the surrounding image to detect a headlight and a tail lamp of another vehicle only in a region where the actual vehicle exists in the surrounding image. Automatic Adjustment Method of Automotive Upside Light Using Sensor - based Automotive Upside Light Control System.
(S1) 상기 카메라 센서모듈에서 감지된 영상에 대하여, 일정 기준 이상의 강한 빛을 갖는 전조등과 후미등을 감지하는 Back ROI(BROI), 및 일정 기준 이하의 약한 빛을 갖는 전조등 및 후미등을 감지하는 Front ROI(FROI)로 구분하여 관심영역(ROI)을 설정하는 단계를 포함하되,
상기 설정된 관심영역(ROI)을, 이동 알고리즘을 이용하여 상기 자동차의 움직임 방향에 따라 적응적으로 이동시키는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템을 이용한 자동차 상향등 자동 조절 방법.
13. The system of claim 12, wherein the headlamp and taillight classification algorithms,
(S1), a front ROI (BROI) for detecting a headlamp having a strong light of a certain level or more and a tail light, a headlamp having a weak light below a certain standard, and a front ROI (FROI), and setting a ROI (ROI)
And automatically moving the set ROI according to a moving direction of the vehicle using a moving algorithm. The method of claim 1, wherein the ROI is a moving object.
(S2) 상기 설정된 관심영역(ROI)에 대하여, Color model을 RGB에서 YCbCr로 변경하여, Y채널과 Cr채널에 대해 최적화된 각기 다른 임계값을 사용하여 2개의 이진화 영상을 생성하고, 상기 생성된 2개의 이진화 영상에 대해 OR 연산을 수행하여 후보 불빛 영상(Candidate Blobs image)을 생성하는 단계를 더 포함하는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템을 이용한 자동차 상향등 자동 조절 방법.
17. The method of claim 16, wherein the headlight and tail light classification algorithms,
(S2) For the set ROI, a color model is changed from RGB to YCbCr, two binarized images are generated using different threshold values optimized for the Y channel and the Cr channel, Further comprising the step of performing an OR operation on the two binarized images to generate a Candidate Blobs image, wherein the Candidate Blobs image is generated.
(S3) 상기 생성된 후보 불빛 영상으로부터 Redness level을 사용하여 후미등을 검출하는 단계를 더 포함하되,
상기 후미등을 상기 후보 불빛에 포함된 후미등이 아닌 붉은 빛의 오브젝트와 분류하기 위하여, R, G, B 각 채널로부터 20개의 패턴을 사용하여 하-라이크 특징(haar-like feature)을 추출하고, 추출된 하-라이크 특징(haar-like feature)을 사용한 랜덤 포레스트(random forest; RF)에 의해 후미등을 검출하는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템을 이용한 자동차 상향등 자동 조절 방법.
18. The system of claim 17, wherein the headlamp and taillight classification algorithms,
(S3) detecting a tail light by using a redness level from the generated candidate light image,
In order to classify the taillight with the object of red light which is not the tail light included in the candidate light, haar-like feature is extracted using 20 patterns from each channel of R, G, B, Wherein the backlight is detected by means of a random forest (RF) using a single haar-like feature.
(S4) 상기 후미등이 검출된 후보 불빛 영상으로부터 전조등을 더 검출하되, 밝은 중심부분과 주변의 그라데이션(gradation) 두 파트로 구성되어있는 전조등을 기타 배경 광원으로부터 분류하기 위하여, 웨이블릿(Wavelet)을 기반으로 한 oriented center-symmetric local binary feature(OCS-LBP)를 사용하여 전조등을 검출하는 단계를 더 포함하는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템을 이용한 자동차 상향등 자동 조절 방법.
19. The system of claim 18, wherein the headlamp and taillight classification algorithms,
(S4) In order to classify the headlamps composed of the two parts of the bright center portion and the surrounding gradation from other background light sources, the headlamp is further detected based on the candidate light image from which the taillight is detected, Further comprising the step of detecting headlights using an oriented center-symmetric local binary feature (OCS-LBP).
(S5) 상기 검출된 전조등과 후미등에 대하여, 동일한 자동차의 전조등 또는 후미등으로 판단되는 것들을 하나의 군집으로 맺는 페어링을 수행하는 단계를 더 포함하는 것을 특징으로 하는 카메라 센서 기반의 자동차 상향등 자동 조절 시스템을 이용한 자동차 상향등 자동 조절 방법.20. The system of claim 19, wherein the headlight and tail light classification algorithms,
(S5) a step of pairing the detected headlights and the tail lights to determine a headlight or tail lights of the same automobile as a cluster, Automatic adjustment method of automotive headlight using.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170011353A KR101859201B1 (en) | 2017-01-24 | 2017-01-24 | Developed automobile high-beam automatic control system based on camera sensor and its method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170011353A KR101859201B1 (en) | 2017-01-24 | 2017-01-24 | Developed automobile high-beam automatic control system based on camera sensor and its method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101859201B1 true KR101859201B1 (en) | 2018-05-18 |
Family
ID=62453697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170011353A KR101859201B1 (en) | 2017-01-24 | 2017-01-24 | Developed automobile high-beam automatic control system based on camera sensor and its method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101859201B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200369200A1 (en) * | 2018-02-15 | 2020-11-26 | Koito Manufacturing Co., Ltd. | Vehicle detecting device and vehicle lamp system |
| CN112334851A (en) * | 2018-07-17 | 2021-02-05 | 戴姆勒公司 | Method for calibrating and/or adjusting at least one sensor unit of a vehicle |
| KR102319650B1 (en) * | 2020-07-28 | 2021-10-29 | 숭실대학교산학협력단 | Apparatus and method for pairing vehicle light |
| US11359788B2 (en) | 2020-11-04 | 2022-06-14 | Hyundai Mobis Co., Ltd. | Head lamp system for vehicle and operating method thereof |
-
2017
- 2017-01-24 KR KR1020170011353A patent/KR101859201B1/en active IP Right Grant
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200369200A1 (en) * | 2018-02-15 | 2020-11-26 | Koito Manufacturing Co., Ltd. | Vehicle detecting device and vehicle lamp system |
| US11704910B2 (en) * | 2018-02-15 | 2023-07-18 | Koito Manufacturing Co., Ltd. | Vehicle detecting device and vehicle lamp system |
| CN112334851A (en) * | 2018-07-17 | 2021-02-05 | 戴姆勒公司 | Method for calibrating and/or adjusting at least one sensor unit of a vehicle |
| KR102319650B1 (en) * | 2020-07-28 | 2021-10-29 | 숭실대학교산학협력단 | Apparatus and method for pairing vehicle light |
| US11359788B2 (en) | 2020-11-04 | 2022-06-14 | Hyundai Mobis Co., Ltd. | Head lamp system for vehicle and operating method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Alcantarilla et al. | Night time vehicle detection for driving assistance lightbeam controller | |
| KR101859201B1 (en) | Developed automobile high-beam automatic control system based on camera sensor and its method | |
| CN108357418B (en) | Preceding vehicle driving intention analysis method based on tail lamp identification | |
| US7566851B2 (en) | Headlight, taillight and streetlight detection | |
| US20190212636A1 (en) | Adjustable camera mount for a vehicle windshield | |
| CN103118900B (en) | Front lamp device and brightness control method thereof | |
| US8254635B2 (en) | Bundling of driver assistance systems | |
| JP5097648B2 (en) | Headlamp control device and vehicle headlamp device | |
| KR101377888B1 (en) | Method for controlling a headlight arrangement for a vehicle and such a headlight arrangement | |
| JP4473232B2 (en) | Vehicle front environment detecting device for vehicle and lighting device for vehicle | |
| KR101370215B1 (en) | Method for controlling a headlight arrangement for a vehicle and such a headlight arrangement | |
| US7131754B2 (en) | Automatic headlamp control | |
| US8315766B2 (en) | Process for detecting a phenomenon limiting the visibility for a motor vehicle | |
| CN105593061B (en) | System and method for controlling exterior vehicle lights on fast traffic lane | |
| KR101511853B1 (en) | Night-time vehicle detection and positioning system and method using multi-exposure single camera | |
| JP2001519744A (en) | Control system for automatically dimming vehicle headlights | |
| US20150048738A1 (en) | Vehicle imaging system and method for distinguishing reflective objects from lights of another vehicle | |
| JP2014515893A (en) | Method and apparatus for evaluating an image taken by a camera of a vehicle | |
| CN109311416B (en) | Imaging system with adaptive high beam control | |
| JP2012240530A (en) | Image processing apparatus | |
| CN111027494A (en) | Matrix vehicle lamp identification method based on computer vision | |
| US20230278485A1 (en) | Method for operating an illuminating device, and motor vehicle | |
| JP4523526B2 (en) | Headlamp system | |
| Sakagawa et al. | Vision based nighttime vehicle detection using adaptive threshold and multi-class classification | |
| CN111310738A (en) | High beam vehicle snapshot method based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |