KR101968521B1 - System and method for detecting light diagnosis based image analysis - Google Patents
System and method for detecting light diagnosis based image analysis Download PDFInfo
- Publication number
- KR101968521B1 KR101968521B1 KR1020160144751A KR20160144751A KR101968521B1 KR 101968521 B1 KR101968521 B1 KR 101968521B1 KR 1020160144751 A KR1020160144751 A KR 1020160144751A KR 20160144751 A KR20160144751 A KR 20160144751A KR 101968521 B1 KR101968521 B1 KR 101968521B1
- Authority
- KR
- South Korea
- Prior art keywords
- illumination
- region
- group
- state
- ratio
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000010191 image analysis Methods 0.000 title claims description 14
- 238000003745 diagnosis Methods 0.000 title 1
- 238000005286 illumination Methods 0.000 claims abstract description 602
- 238000001514 detection method Methods 0.000 claims abstract description 93
- 230000002950 deficient Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 21
- 239000000284 extract Substances 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/20—Responsive to malfunctions or to light source life; for protection
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B39/00—Circuit arrangements or apparatus for operating incandescent light sources
- H05B39/04—Controlling
- H05B39/041—Controlling the light-intensity of the source
- H05B39/042—Controlling the light-intensity of the source by measuring the incident light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H05B37/032—
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/50—Circuit arrangements for operating light-emitting diodes [LED] responsive to malfunctions or undesirable behaviour of LEDs; responsive to LED life; Protective circuits
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/50—Circuit arrangements for operating light-emitting diodes [LED] responsive to malfunctions or undesirable behaviour of LEDs; responsive to LED life; Protective circuits
- H05B45/58—Circuit arrangements for operating light-emitting diodes [LED] responsive to malfunctions or undesirable behaviour of LEDs; responsive to LED life; Protective circuits involving end of life detection of LEDs
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
Abstract
조명 고장 감지 시스템은 조명 감지 영역을 설정하고, 조명 고장 감지 동작 설정 시 상기 조명 감지 영역의 조명 상태를 수신한다. 그리고 입력 영상으로부터 조명 감지 영역의 조명 상태를 추정하고, 상기 조명 감지 영역의 추정된 조명 상태와 상기 조명 고장 감지 동작 설정 시 수신된 조명 상태의 비교를 통해 상기 조명 감지 영역의 조명 고장을 판단한다. The illumination failure detection system sets the illumination detection area and receives the illumination state of the illumination detection area when the illumination failure detection operation is set. The illumination state of the illumination detection area is estimated from the input image, and the illumination failure of the illumination detection area is determined by comparing the illumination state of the illumination detection area with the illumination state of the illumination detection area.
Description
본 발명은 영상 분석 기반 조명 고장 감지 시스템 및 방법에 관한 것이다. The present invention relates to an image analysis based illumination fault detection system and method.
최근 CCTV(closed-circuit television)를 설치하여 사람의 위험 상황을 감시하거나 자동으로 위험 상황을 감지하고 이를 경고해주는 영상 보안 시스템이 많이 구축되고 있다. 또한 이런 영상 보안 시스템을 효율적으로 구동하기 위해서는 안정된 조명 확보가 필요하며, 이를 위해서 용도에 맞는 조명 장치들이 설치되고 있다. 예를 들어, 터널과 같은 어두운 곳에서의 조명은 안전 운전을 위한 운전자의 시야 확보나 CCTV를 통한 사고 위험 감지 및 상황 모니터링을 위해 매우 중요하다. Recently, CCTV (closed-circuit television) has been installed to monitor dangerous situations of people or to automatically detect and warn of dangerous situations. In order to efficiently operate such a video security system, it is necessary to secure a stable illumination. For this purpose, lighting devices suitable for the purpose are installed. For example, lighting in dark places such as tunnels is very important for securing the driver's view for safe driving or for detecting accident risk and monitoring the situation through CCTV.
그러나 기존 CCTV 방식의 영상 보안 시스템은 조명의 고장을 감지해서 사용자에게 알려주는 기능이 적용되어 있지 않으며, 이에 따라 조명이 필요한 위험 구간에서 조명이 고장 났을 때 바로 인식할 수 없어 적절한 교체가 이루어지지 못하고, 이로 인해 위험을 초래하는 경우가 발생한다. 또한 영상 보안 시스템은 조명의 고장으로 인해 좋은 화질의 영상을 녹화 및 확보할 수 없으며, 영상 분석 시에도 많은 오검출 및 오감지 등이 야기될 수 있다. However, the conventional CCTV image security system does not have the function of detecting the failure of the lighting and informing the user. Accordingly, when the lighting is broken in the danger zone requiring illumination, it can not be recognized immediately, , Which may result in a risk. In addition, a video security system can not record and secure a good quality image due to a failure of an illumination, and a lot of erroneous detection and false detection may be caused in the image analysis.
한편, 기존 조명 고장 여부 판단은 특정 상황에서 단순히 색상이나 휘도 차이를 이용하는 방법이 사용되었다. 하지만 단순한 색상이나 휘도 차이만으로 조명 변화를 감지하는 방법은 일반적인 환경에 적용하기 어려운 문제점이 있다. On the other hand, in case of determining the failure of the existing lighting, a method of simply using color or luminance difference was used in a specific situation. However, there is a problem that it is difficult to apply the method of detecting the illumination change by the simple color or luminance difference to the general environment.
본 발명이 해결하려는 과제는 조명의 고장을 감지할 수 있는 영상 분석 기반 조명 고장 감지 시스템 및 방법을 제공하는 것이다. An object of the present invention is to provide an image analysis based illumination fault detection system and method capable of detecting a failure of an illumination.
본 발명의 한 실시 예에 따르면, 조명 고장 감지 시스템에서 영상 분석 기반으로 조명 고장을 감지하는 방법이 제공된다. 조명 고장 감지 방법은 조명 감지 영역을 설정하는 단계, 조명 고장 감지 동작 설정 시 상기 조명 감지 영역의 조명 상태를 수신하는 단계, 입력 영상으로부터 조명 감지 영역의 조명 상태를 추정하는 단계, 그리고 상기 조명 감지 영역의 추정된 조명 상태와 상기 조명 고장 감지 동작 설정 시 수신된 조명 상태의 비교를 통해 상기 조명 감지 영역의 조명 고장을 판단하는 단계를 포함한다. According to an embodiment of the present invention, a method for detecting an illumination failure based on image analysis in an illumination failure detection system is provided. An illumination failure detection method includes: setting a light detection area; receiving an illumination state of the illumination detection area when an illumination failure detection operation is set; estimating an illumination state of the illumination detection area from the input image; And comparing the estimated illumination state of the illumination detection area with the illumination state received when the illumination error detection operation is set.
상기 조명 감지 영역은 단일 조명을 포함하는 단일 조명 영역 및 복수의 조명을 포함하는 그룹 조명 영역을 포함하며, 상기 추정하는 단계는 상기 조명 감지 영역의 특징 정보를 계산하는 단계, 그리고 상기 조명 감지 영역의 특징 정보를 이용하여 조명 상태를 분류하는 단계를 포함할 수 있다. Wherein the illumination detection area includes a single illumination area including a single illumination and a group illumination area including a plurality of lights, the estimating step comprises calculating feature information of the illumination detection area, And classifying the illumination state using the feature information.
상기 단일 조명 영역의 특징 정보는 명암 및 휘도 정보, 명암 대비 휘도 분포 정보, 색상 정보 중 적어도 하나를 포함하고, 상기 분류하는 단계는 학습 분류기 또는 설정된 임계값과의 비교를 통해 상기 단일 조명 영역의 조명 상태를 조명 꺼짐 또는 조명 꺼짐으로 분류하는 단계를 포함할 수 있다. Wherein the characteristic information of the single illumination region includes at least one of brightness and brightness information, contrast brightness distribution information, and color information, and the classifying step includes a step of classifying the light of the single illumination region And classifying the state into an illumination off or an illumination off.
상기 추정하는 단계는 상기 단일 조명 영역의 분류된 조명 상태 정보를 버퍼에 저장하는 단계, 상기 분류된 조명 상태 정보를 이용하여 시간에 따른 조명 상태 추정 변화 신호를 생성하는 단계, 상기 조명 상태 추정 변화 신호로부터 설정된 시간 윈도우 내에 조명 켜짐과 조명 꺼짐의 비와 조명 켜짐과 조명 꺼짐의 수를 계산하는 단계, 상기 조명 켜짐과 조명 꺼짐의 수로부터 상기 단일 조명 영역의 조명 상태가 조명 깜빡임인지 판단하는 단계, 그리고 상기 조명 켜짐과 조명 꺼짐의 비로부터 상기 단일 조명 영역의 조명 상태가 조명 꺼짐인지 조명 켜짐인지 판단하는 단계를 더 포함할 수 있다. Wherein the estimating comprises storing the classified illumination state information of the single illumination region in a buffer, generating an illumination state estimation change signal over time using the classified illumination state information, Calculating a ratio of illumination on and illumination off and a number of illumination on and illumination off within a set time window; determining whether the illumination state of the single illumination area is blinking from the number of illumination on and illumination off; Determining whether the illumination state of the single illumination area is illuminated off or illuminated from a ratio of the illumination on to the illumination off.
상기 조명 감지 영역의 조명 고장을 판단하는 단계는 상기 단일 조명 영역의 조명 상태가 상기 조명 깜빡임인 경우, 조명 고장으로 판단하는 단계, 그리고 상기 단일 조명 영역의 조명 상태가 조명 꺼짐 또는 조명 켜짐이고, 상기 단일 조명 영역의 조명 상태가 상기 조명 고장 감지 동작 설정 시 수신된 조명 상태와 다른 경우에, 조명 고장으로 판단하는 단계를 포함할 수 있다. Wherein the step of determining an illumination failure of the illumination detection area includes the steps of: determining that the illumination state of the single illumination area is the illumination blink, determining that the illumination state of the single illumination area is illumination off or on, And determining that an illumination failure occurs when the illumination state of the single illumination region is different from the illumination state received when setting the illumination failure detection operation.
상기 특징 정보를 계산하는 단계는 입력 영상으로부터 전경 영상과 배경 영상을 분리하는 단계, 상기 전경 영상을 이용하여 그룹 조명 변화 후보 영역을 검출하는 단계, 그리고 상기 그룹 조명 변화 후보 영역의 조명 변화 분류를 위한 특징 정보를 추출하는 단계를 포함하며, 상기 특징 정보는 상기 그룹 조명 변화 후보 영역에 대한 상기 배경 영상과 상기 입력 영상의 명암 및 휘도 평균값의 차이, 상기 그룹 조명 변화 후보 영역에 대한 배경 영상과 입력 영상 각각의 에지 수, 상기 그룹 조명 변화 후보 영역에서 전경 영역에 대한 명암 및 휘도의 비율, 상기 그룹 조명 변화 후보 영역 내에서 입력 영상과 배경 영상의 윤곽 정보 및 상기 그룹 조명 후보 영역에 대한 배경 대비 전경 비율 중 적어도 하나를 포함할 수 있다. Wherein the step of calculating the feature information comprises: separating a foreground image and a background image from an input image; detecting a group illumination change candidate region using the foreground image; Wherein the feature information includes at least one of a difference between the background image and the average value of brightness and brightness of the input image and the difference between the background image of the group illumination change candidate region and the input image, A ratio of a brightness and a brightness to a foreground region in the group illumination change candidate region, an outline information of an input image and a background image in the group illumination change candidate region, and a ratio of a foreground ratio Or the like.
상기 분류하는 단계는 학습 분류기 또는 설정된 임계값과의 비교를 통해 상기 그룹 조명 변화 후보 영역의 조명 상태를 조명 꺼짐, 조명 꺼짐 및 조명 변화 없음 중 하나로 분류하는 단계를 포함할 수 있다. The classifying step may include classifying the illumination state of the group illumination change candidate region into one of illumination off, illumination off, and no illumination change through comparison with a learning classifier or a set threshold value.
상기 추정하는 단계는 상기 그룹 조명 변화 후보 영역의 분류된 조명 상태 정보를 버퍼에 저장하는 단계, 상기 분류된 조명 상태 정보를 이용하여 시간에 따른 조명 상태 추정 변화 신호를 생성하는 단계, 상기 조명 상태 추정 변화 신호로부터 설정된 시간 윈도우 내에 조명 켜짐의 비율, 조명 꺼짐의 비율 및 조명 변화 없음의 비율을 계산하는 단계, 그리고 상기 조명 켜짐의 비율, 조명 꺼짐의 비율 및 조명 변화 없음의 비율을 토대로 상기 그룹 조명 변화 후보 영역의 조명 상태를 추정하는 단계를 더 포함할 수 있다. Wherein the estimating comprises storing classified illumination state information of the group illumination change candidate region in a buffer, generating an illumination state estimation change signal over time using the classified illumination state information, Calculating a ratio of illumination turn-on, a ratio of illumination turn-off and a ratio of no illumination change within a set time window from a change signal, and calculating a ratio of the illumination turn-on, a ratio of illumination turn- And estimating the illumination state of the candidate region.
상기 조명 고장 감지 방법은 상기 조명 고장으로 판단된 경우, 알람 메시지를 생성하여 연계된 장치로 송출하는 단계를 더 포함할 수 있다. The method may further include generating an alarm message and transmitting the generated alarm message to the associated apparatus when the illumination failure is determined.
상기 조명 고장 감지 방법은 상기 조명 고장으로 판단된 경우, 설정된 시간 동안 조명 감지 영역의 영상을 저장하는 단계를 더 포함할 수 있다. The illumination failure detection method may further include storing an image of the illumination detection area for a predetermined time when the illumination failure is determined.
본 발명의 다른 한 실시 예에 따르면, 영상 분석 기반으로 조명 고장을 감지하는 시스템이 제공된다. 조명 고장 감지 시스템은 조명 감지 영역을 설정하는 감지 영역 설정부, 상기 조명 감지 영역이 단일 조명 영역인 경우, 입력 영상을 이용하여 상기 단일 조명 영역에 대한 조명 고장 감지 동작을 수행하는 단일 조명 고장 감지부, 상기 조명 감지 영역이 그룹 조명 영역인 경우, 입력 영상을 이용하여 상기 그룹 조명 영역에 대한 조명 고장 감지 동작을 수행하는 그룹 조명 고장 감지부, 그리고 상기 조명 감지 영역의 조명이 고장인 것으로 판단되는 경우에, 알림 메시지를 생성하고 송출하는 알람 생성부를 포함한다. According to another embodiment of the present invention, a system for detecting an illumination failure based on image analysis is provided. The illumination failure detection system includes a detection area setting unit for setting an illumination detection area, a single illumination failure detection unit for performing an illumination failure detection operation on the single illumination area using an input image when the illumination detection area is a single illumination area, A group illumination failure detection unit for performing an illumination failure detection operation on the group illumination region using the input image when the illumination detection region is a group illumination region, And an alarm generating unit for generating and sending a notification message.
상기 단일 조명 고장 감지부는 상기 입력 영상으로부터 상기 단일 조명 영역의 특징 정보를 계산하고, 상기 조명 감지 영역의 특징 정보를 이용하여 조명 상태를 분류하며, 분류된 조명 상태와 조명 고장 감지 동작 설정 시 입력된 조명 상태의 비교를 통해 상기 단일 조명 영역의 조명 고장을 판단할 수 있다. The single illumination failure detecting unit calculates feature information of the single illumination region from the input image, classifies the illumination state using the feature information of the illumination detection region, The illumination failure of the single illumination region can be determined through comparison of the illumination states.
상기 특징 정보는 명암 및 휘도 정보, 명암 대비 휘도 분포 정보, 색상 정보 중 적어도 하나를 포함할 수 있다. The feature information may include at least one of brightness and brightness information, contrast brightness distribution information, and color information.
상기 단일 조명 고장 감지부는 학습 분류기 또는 설정된 임계값과의 비교를 통해 상기 단일 조명 영역의 조명 상태를 조명 꺼짐 또는 조명 꺼짐으로 분류할 수 있다. The single illumination failure detection unit may classify the illumination state of the single illumination region into an illumination off or an illumination off through comparison with a learning classifier or a set threshold value.
상기 단일 조명 고장 감지부는 분류된 조명 상태 정보를 이용하여 설정된 시간 윈도우 내에 조명 켜짐과 조명 꺼짐의 비와 조명 켜짐과 조명 꺼짐의 주기를 계산하고, 상기 조명 켜짐과 조명 꺼짐의 주기로부터 상기 단일 조명 영역의 조명 상태가 조명 깜빡임인지 판단하며, 상기 조명 켜짐과 조명 꺼짐의 비로부터 상기 단일 조명 영역의 조명 상태가 조명 꺼짐인지 조명 켜짐인지 판단할 수 있다.Wherein the single illumination failure detection unit calculates a ratio of illumination on and illumination off and a cycle of illumination on and illumination off within a set time window using the classified illumination state information, And determines whether the illumination state of the single illumination region is illuminated or illuminated from the ratio of the illumination on to the illumination off.
상기 그룹 조명 고장 감지부는 상기 입력 영상으로부터 전경 영상과 배경 영상을 분리하고, 상기 전경 영상을 이용하여 그룹 조명 변화 후보 영역을 검출하며, 상기 그룹 조명 변화 후보 영역의 특징 정보를 추출하여 조명 상태를 분류하며, 분류된 조명 상태를 이용하여 조명 상태를 추정하고, 추정된 조명 상태와 조명 고장 감지 동작 설정 시 입력된 조명 상태의 비교를 통해 상기 그룹 조명 영역의 조명 고장을 판단할 수 있다. The group illumination failure detecting unit separates the foreground image and the background image from the input image, detects a group illumination change candidate region using the foreground image, extracts feature information of the group illumination change candidate region, The illumination state of the group illumination region may be estimated using the classified illumination state, and the illumination failure of the group illumination region may be determined by comparing the estimated illumination state and the illumination state input when the illumination failure detection operation is set.
상기 특징 정보는 상기 그룹 조명 변화 후보 영역에 대한 상기 배경 영상과 상기 입력 영상의 명암 및 휘도 평균값의 차이, 상기 그룹 조명 변화 후보 영역에 대한 배경 영상과 입력 영상 각각의 에지 수, 상기 그룹 조명 변화 후보 영역에서 전경 영역에 대한 명암 및 휘도의 비율, 상기 그룹 조명 변화 후보 영역 내에서 입력 영상과 배경 영상의 윤곽 정보 및 상기 그룹 조명 후보 영역에 대한 배경 대비 전경 비율 중 적어도 하나를 포함할 수 있다. Wherein the feature information includes at least one of a difference between a brightness and a brightness average value of the background image and the input image for the group illumination change candidate region, a number of edges of each of the background image and the input image for the group illumination change candidate region, A ratio of brightness and brightness to a foreground region in the region, an outline information of an input image and a background image in the group illumination change candidate region, and a foreground ratio of a background to the group illumination candidate region.
상기 그룹 조명 고장 감지부는 학습 분류기 또는 설정된 임계값과의 비교를 통해 상기 그룹 조명 변화 후보 영역의 조명 상태를 조명 꺼짐, 조명 꺼짐 및 조명 변화 없음 중 하나로 분류할 수 있다. The group illumination failure detection unit may classify the illumination state of the group illumination change candidate region into one of illumination off, illumination off, and no illumination change through comparison with a learning classifier or a set threshold value.
상기 그룹 조명 고장 감지부는 상기 그룹 조명 변화 후보 영역의 분류된 조명 상태 정보를 이용하여 설정된 시간 윈도우 내 조명 켜짐의 비율, 조명 꺼짐의 비율 및 조명 변화 없음의 비율을 계산하고, 상기 조명 켜짐의 비율, 조명 꺼짐의 비율 및 조명 변화 없음의 비율을 토대로 상기 그룹 조명 변화 후보 영역의 조명 상태를 추정할 수 있다.Wherein the group illumination failure detecting unit calculates the ratio of illumination turn-on, illumination turn-off, and no illumination change within the set time window using the classified illumination state information of the group illumination change candidate region, The illumination state of the group illumination change candidate region can be estimated based on the ratio of illumination off and the ratio of no illumination change.
상기 알람 생성부는 상기 조명 감지 영역의 조명이 고장인 것으로 판단되는 경우에, 상기 조명 감지 영역의 영상을 저장할 수 있다. The alarm generating unit may store an image of the illumination sensing area when it is determined that the illumination of the illumination sensing area is defective.
본 발명의 실시 예에 의하면, 기존에 설치된 CCTV에서 녹화되고 있는 영상을 이용하여 터널과 같이 어둡고 위험한 장소 같은 곳에서 조명의 고장 여부를 자동으로 감지할 수 있으며, 일반 환경에서도 조명 변화 여부를 효율적으로 판단할 수 있다. 이로 인해, 조명 고장 시 관리자가 빠르게 보수할 수 있으므로, 조명 고장으로 야기될 수 있는 위험 사고를 방지할 수 있으며, 고객에게 양질의 서비스를 제공할 수 있다.According to the embodiment of the present invention, it is possible to automatically detect whether the illumination is in a dark or dangerous place such as a tunnel by using an image recorded in the existing CCTV, It can be judged. As a result, the manager can quickly repair the lighting failure, thereby preventing dangerous accidents caused by the lighting failure, and providing high-quality service to the customer.
도 1은 본 발명의 실시 예에 따른 영상 분석 기반 조명 고장 감지 방법을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 단일 조명 영역의 일 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 그룹 조명 영역의 일 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 단일 조명 영역의 조명 고장 감지 방법을 나타내는 도면이다.
도 5 및 도 6은 각각 단일 조명 영역의 명암 대비 휘도 분포 정보의 일 예를 나타낸 도면이다.
도 7 및 도 8은 각각 본 발명의 실시 예에 따른 조명 상태 추정 변화 신호로부터 분류된 조명 상태의 일 예를 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 단일 조명 영역의 조명 상태 분류를 위한 학습 분류기의 일 예를 나타낸 도면이다.
도 10은 본 발명의 실시 예에 따른 그룹 조명 영역의 조명 고장 감지 방법을 나타내는 도면이다.
도 11은 본 발명의 실시 예에 따른 배경 학습 모델을 이용하여 분류된 전경 영상과 배경 영상의 일 예를 나타낸 도면이다.
도 12는 본 발명의 실시 예에 따른 그룹 조명 변화 후보 영역의 일 예를 나타낸 도면이다.
도 13은 본 발명의 실시 예에 따른 그룹 조명 변화 후보 영역의 최종적인 조명 상태 분류 결과의 일 예를 나타낸 도면이다.
도 14는 본 발명의 실시 예에 따른 그룹 조명 변화 후보 영역의 조명 상태 분류를 위한 학습 분류기의 일 예를 나타낸 도면이다.
도 15는 본 발명의 실시 예에 따른 영상 분석 기반 조명 고장 감지 시스템을 나타낸 도면이다.1 is a diagram illustrating a method of detecting an illumination failure based on an image analysis according to an embodiment of the present invention.
2 is a diagram illustrating an example of a single illumination region according to an embodiment of the present invention.
3 is a diagram illustrating an example of a group illumination region according to an embodiment of the present invention.
4 is a diagram illustrating a method for detecting an illumination failure in a single illumination region according to an embodiment of the present invention.
FIG. 5 and FIG. 6 are views showing an example of contrast / brightness distribution information of a single illumination region, respectively.
FIGS. 7 and 8 are diagrams illustrating an example of the illumination state classified from the illumination condition estimation change signal according to the embodiment of the present invention, respectively.
9 is a diagram illustrating an example of a learning classifier for classifying a lighting state of a single illumination region according to an embodiment of the present invention.
10 is a diagram illustrating a method of detecting an illumination failure in a group illumination region according to an embodiment of the present invention.
11 is a view showing an example of a foreground image and a background image classified using the background learning model according to the embodiment of the present invention.
12 is a diagram illustrating an example of a group illumination change candidate region according to an embodiment of the present invention.
FIG. 13 is a diagram illustrating an example of a final illumination state classification result of a group illumination change candidate region according to an embodiment of the present invention.
FIG. 14 is a diagram illustrating an example of a learning classifier for classifying illumination states of a group illumination change candidate region according to an embodiment of the present invention.
15 is a diagram illustrating an image analysis based illumination failure detection system according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification and claims, when a section is referred to as " including " an element, it is understood that it does not exclude other elements, but may include other elements, unless specifically stated otherwise.
이제 본 발명의 실시 예에 따른 영상 분석 기반 조명 고장 감지 시스템 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An image analysis based illumination fault detection system and method according to an embodiment of the present invention will now be described in detail with reference to the drawings.
도 1은 본 발명의 실시 예에 따른 영상 분석 기반 조명 고장 감지 방법을 나타낸 도면이다. 1 is a diagram illustrating a method of detecting an illumination failure based on an image analysis according to an embodiment of the present invention.
도 1을 참고하면, 영상 분석 기반 조명 고장 감지 시스템(이하, "시스템"이라 함)은 조명 감지 영역을 설정한다(S110). 조명 감지 영역은 단일 조명 영역 또는 그룹 조명 영역으로 설정될 수 있다. 조명 감지 영역은 사용자의 입력에 따라 설정될 수 있다. Referring to FIG. 1, an image analysis based illumination failure detection system (hereinafter, referred to as a "system") sets a light detection area (S110). The illumination detection area may be set as a single illumination area or a group illumination area. The illumination detection area can be set according to the user's input.
시스템은 입력 영상을 이용하여 조명 감지 영역의 조명 상태를 추정하고(S120), 조명 고장 여부를 판단한다(S130). 이때 시스템은 조명 감지 영역에 따라 다른 방법으로 조명 고장 여부를 판단할 수 있다. 시스템은 단일 조명 영역에 대해 조도 학습 방법에 따른 조명 고장 감지 동작을 수행할 수 있다. 시스템은 그룹 조명 영역에 대해 배경 학습 모델 기반의 조명 고장 감지 동작을 수행할 수 있다. The system estimates the illumination state of the illumination detection area using the input image (S120), and determines whether the illumination has failed (S130). At this time, the system can judge whether or not an illumination failure occurs according to the illumination detection area. The system can perform an illumination failure detection operation according to the illumination learning method for a single illumination area. The system can perform an illumination failure detection operation based on the background learning model for the group illumination area.
시스템은 조명 고장으로 판단되는 경우에(S130), 알람 메시지를 생성하여 송출할 수 있다(S140). 시스템은 시스템과 연결된 영상 관리 시스템이나 관제소, 사용자의 단말 등으로 알람 메시지를 송출할 수 있다. 영상 관리 시스템은 알람 메시지를 수신하면, 해당 단일 조명 영역의 영상을 저장하거나 확인할 수 있다.If the system is determined to be an illumination failure (S130), an alarm message can be generated and transmitted (S140). The system can send an alarm message to the image management system connected to the system, the control station, the terminal of the user, and the like. Upon receipt of the alarm message, the image management system can save or check the image of the corresponding single illumination area.
또한 시스템은 알람 메시지가 생성되면, 조명 감지 영역의 영상을 저장할 수 있다. In addition, the system can store an image of the illumination detection area when an alarm message is generated.
도 2는 본 발명의 실시 예에 따른 단일 조명 영역의 일 예를 나타낸 도면이고, 도 3은 본 발명의 실시 예에 따른 그룹 조명 영역의 일 예를 나타낸 도면이다. FIG. 2 is a view showing an example of a single illumination region according to an embodiment of the present invention, and FIG. 3 is a view illustrating an example of a group illumination region according to an embodiment of the present invention.
도 2 및 도 3을 참고하면, 단일 조명 영역(A1, A2)은 각각의 조명을 포함하는 영역을 나타내며, 그룹 조명 영역(A3)은 복수 개의 조명을 포함하는 영역을 나타낸다. Referring to FIGS. 2 and 3, a single illumination area A1, A2 represents an area including each illumination, and a group illumination area A3 represents an area including a plurality of illumination.
도 4는 본 발명의 실시 예에 따른 단일 조명 영역의 조명 고장 감지 방법을 나타내는 도면이다. 4 is a diagram illustrating a method for detecting an illumination failure in a single illumination region according to an embodiment of the present invention.
도 4를 참고하면, 시스템은 단일 조명 영역에 대한 현재 조명 켜짐 또는 꺼짐에 대한 현재 조명 상태 정보를 사용자 또는 조명 제어 장치로부터 수신한다(S402). Referring to FIG. 4, the system receives current illumination state information for the current illumination on or off for a single illumination area from the user or the illumination control device (S402).
시스템은 현재 조명 상태에서 설정 시간 동안 단일 조명 영역의 조명 상태를 추정할 수 있는 조명 특징 정보를 계산한다(S404). 조명 특징 정보는 예를 들면, 명암 및 휘도 정보, 명암 대비 휘도 분포 정보, 색상 정보 등을 포함할 수 있다. 시스템은 조명이 켜져 있는 단일 조명 영역의 전체 픽셀에 대한 명암과 휘도의 평균값을 계산할 수 있다. 시스템은 조명이 켜져 있는 단일 조명 영역에 대해 분할(segmentation) 기법을 적용하여 명암과 휘도의 평균값을 계산할 수 있다. 즉, 시스템은 단일 조명 영역을 복수의 세그먼트(픽셀의 집합)으로 나누고, 각 세그먼트 내 영상의 명암과 휘도 값을 각각 설정된 임계값과 비교하여, 밝은 영역에 해당하는 세그먼트를 추출한다. 그리고 추출된 세그먼트의 영상에 대한 명암과 휘도의 평균값을 계산할 수 있다. 시스템은 설정 시간 동안 단일 조명 영역의 명암 및 휘도 정보를 이용하여 단일 조명 영역의 명암 대비 휘도 분포 정보를 계산할 수 있다. The system calculates illumination feature information capable of estimating the illumination state of a single illumination region for a set time in the current illumination state (S404). The illumination feature information may include, for example, contrast and brightness information, contrast brightness distribution information, color information, and the like. The system can calculate the average value of contrast and brightness for all pixels in a single illuminated area where the light is on. The system can calculate the mean value of contrast and brightness by applying a segmentation technique to a single illuminated area with the illumination turned on. That is, the system divides a single illumination region into a plurality of segments (a set of pixels), compares the brightness and brightness values of the images in each segment with preset threshold values, and extracts segments corresponding to the bright regions. Then, the average value of brightness and brightness of the image of the extracted segment can be calculated. The system can calculate contrast / brightness distribution information of a single illumination area using brightness and brightness information of a single illumination area for a set time.
도 5 및 도 6은 각각 단일 조명 영역의 명암 대비 휘도 분포 정보의 일 예를 나타낸 도면으로, 도 5는 초당 15 프레임의 영상 획득이 가능한 시스템에서 조명이 켜져 있는 상태에서 1초 동안 획득한 명암 대비 휘도 분포를 나타내며, 도 6은 초당 15 프레임의 영상 획득이 가능한 시스템에서 조명이 켜져 있을 때와 꺼져 있는 상태에서 1초 동안 획득한 명암 대비 휘도 분포를 나타낸다.5 and 6 are diagrams illustrating an example of brightness / contrast distribution information of a single illumination region. FIG. 5 is a diagram illustrating brightness / FIG. 6 shows the luminance distribution of the contrast obtained for 1 second when the illumination is on and off in the system capable of capturing images at 15 frames per second.
다시, 도 4를 보면, 시스템은 단일 조명 영역의 조명 특징 정보를 이용하여 조명 상태를 분류한다(S406). 시스템은 학습 분류기를 이용하여 조명 상태를 분류할 수 있다. 시스템은 설정된 조명 켜짐 임계값과 조명 꺼짐 임계값을 이용하여 조명 상태를 분류할 수 있다. 예를 들면, 시스템은 조명이 켜져 있을 때 단일 조명 영역의 후보 영상들에 대한 명암 대비 휘도 분포를 계산하고, 명암 대비 휘도 분포 정보로부터 RANSAC(RANdom SAmple Consensus) 알고리즘을 이용하여 아웃라이어 데이터(outlier data)를 제거한 후, 가우시안 모델링 또는 클러스터링 기법 등을 이용하여 조명 켜짐 임계값과 조명 꺼짐 임계값을 결정할 수 있다. 또는 이러한 방법으로 계산된 조명 켜짐 임계값과 조명 꺼짐 임계값이 시스템에 입력될 수 있다. 또한 조명이 켜져 있을 때 단일 조명 영역의 후보 영상들의 명암 대비 휘도 분포 정보로부터 선형 회귀(linear regression), 로지스틱 회귀(logistic regression), SVM(Support Vector Machine) 등 학습 알고리즘을 이용하여 분류기가 학습될 수 있고, 이러한 학습 분류기가 조명 상태 분류를 위해 사용될 수 있다. Referring again to FIG. 4, the system classifies the illumination state using illumination characteristic information of a single illumination region (S406). The system can classify lighting conditions using a learning classifier. The system can classify the lighting conditions using the set illumination on threshold and the illumination off threshold. For example, the system calculates the contrast luminance distribution for candidate images in a single illumination region when the illumination is on and extracts the outlier data from the contrast luminance distribution information using the RANSAC algorithm (Consistent RANSAC) ), And then the illumination on threshold and the illumination off threshold can be determined using a Gaussian modeling or clustering technique. Alternatively, the illumination on threshold and the illumination off threshold calculated in this manner can be entered into the system. In addition, when the illumination is on, the classifier can be learned from the brightness / contrast distribution information of candidate images in a single illumination region using learning algorithms such as linear regression, logistic regression, SVM (Support Vector Machine) , And this learning classifier can be used for classification of lighting conditions.
시스템은 분류된 조명 상태 정보를 버퍼에 저장하고, 분류된 조명 상태 정보를 이용하여 시간에 따른 조명 상태 추정 변화 신호를 생성한다(S408). 예를 들면, 조명 상태 추정 변화 신호는 조명 상태가 조명 켜짐을 나타낼 때는 하이(high) 레벨 즉, 1이 되고 조명 상태가 조명 꺼짐을 나타낼 때는 로우(low) 레벨 즉, 0이 될 수 있다. 이와 반대로, 조명 상태 추정 변화 신호는 조명 상태가 조명 켜짐을 나타낼 때는 로우 레벨이 되고 조명 상태가 조명 꺼짐을 나타낼 때는 하이 레벨이 될 수 있다. The system stores the classified illumination state information in the buffer and generates the illumination state estimation change signal with time using the classified illumination state information (S408). For example, the illumination condition estimation change signal may be a low level, that is, 0, when the illumination state indicates illumination high, i.e., when the illumination state indicates illumination off, and the illumination state indicates illumination off. Conversely, the illumination state estimation change signal may be at a low level when the illumination state indicates illumination on and a high level when the illumination state indicates illumination off.
시스템은 조명 상태 추정 변화 신호로부터 설정된 시간 윈도우 내에 조명 켜짐과 조명 꺼짐의 비(on/off ratio)를 계산한다(S410). The system calculates an on / off ratio of illumination on and off within a set time window from the illumination condition estimation change signal (S410).
또한 시스템은 조명 상태 추정 변화 신호로부터 설정된 시간 윈도우 내 조명 켜짐과 조명 꺼짐의 수 또는 주기를 계산한다(S412). In addition, the system calculates the number or period of the illumination-on and illumination-off in the time window set from the illumination condition estimation change signal (S412).
시스템은 조명 켜짐과 조명 꺼짐의 수 또는 주기가 설정된 임계값 이상이면(S414), 단일 조명 영역의 조명 상태를 조명 깜빡임으로 분류한다(S416). The system classifies the illumination state of a single illumination area as a blink of illumination (S416) if the number or period of illumination on and illumination off is greater than a preset threshold value (S414).
한편, 시스템은 조명 켜짐과 조명 꺼짐의 수 또는 주기가 설정된 임계값보다 미만이고(S414), 조명 켜짐과 조명 꺼짐의 비가 설정된 임계값 이상이면(S418), 단일 조명 영역의 조명 상태를 조명 켜짐으로 분류하고(S420), 그렇지 않으면 단일 조명 영역의 조명 상태를 조명 꺼짐으로 분류한다(S422). On the other hand, if the number of lights on and the number of light-offs are less than the preset threshold value (S414), and if the ratio of lighting-on-light-offs is not less than a preset threshold value (S418) (S420). Otherwise, the illumination state of the single illumination region is classified as the illumination off (S422).
시스템은 단일 조명 영역의 현재 조명 상태 정보와 분류된 단일 조명 영역의 조명 상태 정보의 비교를 통해 조명 고장 여부를 판단한다(S424). 예를 들면, 시스템은 단일 조명 영역의 현재 조명 상태가 조명 켜짐으로 설정되어 있고, 분류된 단일 조명 영역의 조명 상태가 조명 꺼짐인 경우, 조명 고장으로 판단할 수 있다. 시스템은 단일 조명 영역의 현재 조명 상태가 조명 켜짐으로 설정되어 있고, 분류된 단일 조명 영역의 조명 상태가 조명 꺼짐인 경우, 조명 고장으로 판단할 수 있다. 그리고 시스템은 단일 조명 영역의 현재 조명 상태가 조명 켜짐 또는 조명 꺼짐으로 설정되어 있고, 분류된 단일 조명 영역의 조명 상태가 조명 깜빡임인 경우, 조명 고장으로 판단할 수 있다. The system determines whether an illumination failure occurs by comparing current illumination state information of a single illumination region with illumination state information of a single classified illumination region (S424). For example, the system can determine that an illumination failure has occurred if the current illumination state of a single illumination region is set to illumination on, and the illumination state of the single classified illumination region is illumination off. The system can determine that an illumination failure is present if the current illumination state of the single illumination region is set to illumination on and the illumination state of the single classified illumination region is illumination off. If the current illumination state of the single illumination region is set to illumination on or illumination off, and the illumination state of the single classified illumination region is blinking illumination, the system can determine that the illumination is out of order.
도 7 및 도 8은 각각 본 발명의 실시 예에 따른 조명 상태 추정 변화 신호로부터 분류된 조명 상태의 일 예를 나타낸 도면이다. FIGS. 7 and 8 are diagrams illustrating an example of the illumination state classified from the illumination condition estimation change signal according to the embodiment of the present invention, respectively.
도 7에 도시한 바와 같이, 조명 켜짐을 나타낼 때는 하이 레벨이 되고 조명 꺼짐을 나타낼 때는 로우 레벨이 되는 조명 상태 추정 변화 신호로부터 설정된 시간 윈도우 내 조명 켜짐과 조명 꺼짐의 수가 설정된 임계값 이상이 되면 조명 깜빡임으로 분류될 수 있다. As shown in FIG. 7, when the number of lighting on and off within the set time window is equal to or greater than a preset threshold value from the lighting state estimation change signal which becomes a high level when lighting is on and a low level when lighting is off, It can be classified as blinking.
반면, 도 8에 도시한 바와 같이, 설정된 시간 윈도우 내 조명 켜짐과 조명 꺼짐의 수가 설정된 임계값 미만이고, 조명 켜짐과 조명 꺼짐의 비가 설정된 임계값 미만이면 조명 꺼짐으로 분류될 수 있다. On the other hand, as shown in FIG. 8, if the number of the lighting-on and the lighting-off in the set time window is less than the set threshold value and the ratio of lighting-on and lighting-off is less than the set threshold value, it can be classified as lighting-off.
도 9는 본 발명의 실시 예에 따른 단일 조명 영역의 조명 상태 분류를 위한 학습 분류기의 일 예를 나타낸 도면이다.9 is a diagram illustrating an example of a learning classifier for classifying a lighting state of a single illumination region according to an embodiment of the present invention.
도 9를 참고하면, 학습 분류기(900)는 온라인 학습기(910) 및 분류기(920)를 포함한다. 9, the learning
온라인 학습기(910)는 조명이 켜져 있을 때 단일 조명 영역의 후보 영상들을 이용하여 단일 조명 영역의 조명 상태를 학습한다. The on-
분류기(920)는 온라인 학습기(910)의 학습 내용을 토대로, 단일 조명 영역의 명암 및 휘도 평균값을 입력 받아 단일 조명 영역의 조명 상태가 조명 꺼짐인지 조명 켜짐인지 분류한다. 이렇게 분류된 결과는 분류기(920)에 입력된 단일 조명 영역의 명암 및 휘도 평균값과 함께 온라인 학습기(910)로 입력되어 학습된다. Based on the learning contents of the on-
도 10은 본 발명의 실시 예에 따른 그룹 조명 영역의 조명 고장 감지 방법을 나타내는 도면이고, 도 11은 본 발명의 실시 예에 따른 배경 학습 모델을 이용하여 분류된 전경 영상과 배경 영상의 일 예를 나타낸 도면이며, 도 12는 본 발명의 실시 예에 따른 그룹 조명 변화 후보 영역의 일 예를 나타낸 도면이다. FIG. 10 illustrates a method of detecting an illumination failure in a group illumination region according to an embodiment of the present invention. FIG. 11 illustrates an example of a foreground image and a background image classified using a background learning model according to an embodiment of the present invention. And FIG. 12 is a diagram illustrating an example of a group illumination change candidate region according to an embodiment of the present invention.
도 10을 참고하면, 시스템은 그룹 조명 영역에 대한 현재 조명 켜짐 또는 꺼짐에 대한 현재 조명 상태 정보를 사용자 또는 조명 제어 장치로부터 수신한다(S1002). Referring to FIG. 10, the system receives current lighting status information for the current lighting on or off of the group lighting area from the user or the lighting control device (S1002).
시스템은 입력 영상으로부터 전경 영상과 배경 영상을 분리한다(S1004). 예를 들면, 도 11에 도시한 바와 같이 시스템은 입력 영상으로부터 배경 학습 모델을 이용하여 전경 영상과 배경 영상을 분리할 수 있다. 시스템은 사용자가 설정한 시간 동안 입력되는 후보 배경 영상을 학습하여 배경 학습 모델을 생성할 수 있다. The system separates the foreground image and the background image from the input image (S1004). For example, as shown in FIG. 11, the system can separate a foreground image and a background image from an input image using a background learning model. The system can generate the background learning model by learning the candidate background image inputted during the time set by the user.
시스템은 전경 영상의 설정 영역에 대해 라벨링을 통하여 그룹 조명 변화 후보 영역을 검출한다(S1006). 설정 영역은 사용자에 의해 설정될 수 있다. 시스템은 전경 영상 전체에 대한 라벨링을 통하여 그룹 조명 변화 후보 영역을 검출할 수도 있다. 도 12에 도시한 바와 같이, 시스템은 전경 영상에서 설정 영역 내 그룹 조명 변화 후보 영역을 검출할 수 있다. The system detects the group illumination change candidate area through the labeling of the setting area of the foreground image (S1006). The setting area can be set by the user. The system may detect the group illumination change candidate region through labeling of the entire foreground image. As shown in Fig. 12, the system can detect a group illumination change candidate area in the setting area in the foreground image.
시스템은 그룹 조명 변화 후보 영역의 특징 정보를 추출한다(S1008). 특징 정보에는 조명 변화 분류를 위한 정보들이 포함될 수 있다. 예를 들면, 특징 정보는 그룹 조명 변화 후보 영역에 대한 배경 영상과 입력 영상의 명암 및/또는 휘도 평균값의 차이, 그룹 조명 변화 후보 영역에 대한 배경 영상과 입력 영상 각각의 에지 수, 그룹 조명 변화 후보 영역에서 전경 영역에 대한 명암 및 휘도의 비율, 그룹 조명 변화 후보 영역 내에서 입력 영상과 배경 영상의 윤곽(contour) 정보 및 그룹 조명 후보 영역에 대한 배경 대비 전경 비율 등을 포함할 수 있다. 그룹 조명 변화 후보 영역에 대한 배경 영상과 입력 영상 각각의 에지 수는 그룹 조명 변화 후보 영역 내에서 전경으로 분류된 영역에 대한 배경 영상과 입력 영상 각각의 에지 수를 나타낸다. 그룹 조명 변화 후보 영역 내에서 입력 영상과 배경 영상의 윤곽 정보는 그룹 조명 변화 후보 영역에서 전경 영역에 대한 윤곽 정보로서, 윤곽 상의 입력 영상의 에지 수와 배경 영상의 에지 수를 나타낸다. 그룹 조명 후보 영역에 대한 배경 대비 전경 비율은 전경 영역의 크기/그룹 조명 후보 영역의 크기로 계산될 수 있다. 그리고 그룹 조명 변화 후보 영역에서 전경 영역에 대한 명암 및 휘도의 비율은 수학식 1과 같이 계산될 수 있다. The system extracts the feature information of the group illumination change candidate region (S1008). The feature information may include information for classifying the illumination change. For example, the feature information may include a difference between a background image and a brightness average value of the background image and the input image for the group illumination change candidate region, a number of edges of the background image and the input image for the group illumination change candidate region, The contour information of the input image and the background image within the group illumination change candidate region, and the foreground ratio of the background to the group illumination candidate region, and the like. The number of edges of each of the background image and the input image for the group illumination change candidate region represents the number of edges of each of the background image and the input image for the region classified as the foreground in the group illumination change candidate region. The outline information of the input image and the background image within the group illumination change candidate region is the outline information of the foreground region in the group illumination change candidate region, and represents the number of edges of the input image on the outline and the number of edges of the background image. The background contrast ratio for the group illumination candidate region can be calculated as the size of the foreground region / the size of the group illumination candidate region. And the ratio of the contrast and the brightness to the foreground region in the candidate region of the group illumination change can be calculated as shown in Equation (1).
시스템은 그룹 조명 변화 후보 영역의 특징 정보를 토대로 그룹 조명 변화 후보 영역의 조명 상태를 분류한다(S1010). 시스템은 그룹 조명 변화 후보 영역의 조명 상태를 조명 켜짐, 조명 꺼짐, 조명 변화 없음의 3가지 상태로 분류할 수 있다. 시스템은 그룹 조명 변화 후보 영역의 조명 상태를 더 세부적으로 분류된 경우, 분류 결과를 다시 조명 켜짐, 조명 꺼짐, 조명 변화 없음의 3가지 상태로 재분류할 수 있다. 예를 들어, 그룹 조명 변화 후보 영역의 특징 정보를 토대로 그룹 조명 변화 후보 영역의 조명 상태는 전체 조명 꺼짐, 전체 조명 켜짐, 부분 조명 꺼짐, 부분 조명 켜짐 및 조명 변화 없음과 같이 세부적으로 분류될 수 있다. 이 경우, 시스템은 전체 조명 꺼짐과 부분 조명 꺼짐을 조명 꺼짐으로 재분류하고, 전체 조명 켜짐과 부분 조명 켜짐을 조명 켜짐으로 재분류할 수 있다. 시스템은 실험을 통해 얻어진 각 특징 정보의 임계값들을 이용하여 그룹 조명 변화 후보 영역의 조명 상태를 분류할 수 있다. 시스템은 학습 분류기를 이용하여 그룹 조명 변화 후보 영역의 조명 상태를 분류할 수 있다. The system classifies the illumination state of the group illumination change candidate region based on the feature information of the group illumination change candidate region (S1010). The system can classify the illumination state of the candidate illumination change candidate region into three states: illumination on, illumination off, and no illumination change. The system can reclassify the classification results into three states of illumination on, illumination off, and no illumination change, if the illumination state of the candidate illumination change candidate region is further classified. For example, based on the feature information of the group illumination change candidate region, the illumination state of the group illumination change candidate region can be classified in detail such as total illumination off, total illumination on, partial illumination off, partial illumination on, and no illumination change . In this case, the system can reclassify the total light off and partial light off to light off and reclassify the overall light on and partial light on to light on. The system can classify the illumination state of the group illumination change candidate region using the threshold values of each feature information obtained through the experiment. The system can classify the illumination state of the candidate illumination region using the learning classifier.
시스템은 분류된 조명 상태 정보를 버퍼에 저장하고, 분류된 조명 상태 정보를 이용하여 시간에 따른 조명 상태 추정 변화 신호를 생성한다(S1012). 예를 들면, 조명 상태 추정 변화 신호는 조명 상태가 조명 켜짐을 나타낼 때는 1이 되고 조명 상태가 조명 꺼짐을 나타낼 때는 -1이 되며 조명 상태가 조명 변화 없음을 나타낼 때는 0이 될 수 있다. 이와 달리, 조명 상태 추정 변화 신호는 조명 상태가 조명 켜짐을 나타낼 때는 -1이 되고 조명 상태가 조명 꺼짐을 나타낼 때는 1벨이 되며 조명 상태가 조명 변화 없음을 나타낼 때는 0이 될 수 있다.The system stores the classified illumination state information in a buffer, and generates an illumination state estimation change signal with time using the classified illumination state information (S1012). For example, the illumination condition estimation change signal may be 1 when the illumination state indicates illumination on, -1 when the illumination state indicates illumination off, and 0 when the illumination state indicates no illumination change. Alternatively, the illumination condition estimate change signal may be -1 when the illumination condition indicates illumination on, and may be zero when the illumination condition indicates illumination off and zero when the illumination condition indicates no illumination change.
시스템은 그룹 조명 변화 후보 영역의 조명 상태 추정 변화 신호로부터 설정된 시간 윈도우 내 조명 켜짐의 비율, 조명 꺼짐의 비율 및 조명 변화 없음의 비율을 계산한다(S1014). The system calculates the ratio of the illumination turn-on within the set time window, the ratio of illumination turn-off, and the ratio of no illumination change from the illumination state estimation change signal of the group illumination change candidate region (S1014).
시스템은 설정된 시간 윈도우 내 조명 켜짐의 비율, 조명 꺼짐의 비율 및 조명 변화 없음의 비율을 토대로 그룹 조명 변화 후보 영역의 조명 상태를 최종적으로 분류한다(S1016). 예를 들어, 시스템은 조명 켜짐의 비율 및 조명 꺼짐의 비율을 설정된 임계값과 비교하여 그룹 조명 변화 후보 영역의 최종적인 조명 상태를 조명 꺼짐 또는 조명 켜짐으로 분류할 수 있다. 그리고 조명 꺼짐 또는 조명 켜짐으로 분류되지 않는 경우, 그룹 조명 변화 후보 영역의 최종적인 조명 상태를 조명 변화 없음으로 분류할 수 있다. The system finally classifies the illumination state of the group illumination change candidate region based on the ratio of illumination turn on within the set time window, the ratio of illumination turn off, and the ratio of no illumination change (S1016). For example, the system may compare the ratio of illumination turn-on and the ratio of illumination turn-off to a set threshold to classify the final illumination state of the group illumination change candidate region as light-off or light-on. And the final illumination state of the group illumination change candidate region can be classified as no illumination change if it is not classified as illumination off or illumination on.
도 13은 본 발명의 실시 예에 따른 그룹 조명 변화 후보 영역의 최종적인 조명 상태 분류 결과의 일 예를 나타낸 도면으로, 도 13에 도시한 바와 같이, 시스템은 설정된 시간 윈도우 내 조명 꺼짐의 비율이 설정된 임계값 이상이 되면 그룹 조명 변화 후보 영역의 최종적인 조명 상태를 조명 꺼짐으로 분류할 수 있다.FIG. 13 is a diagram illustrating an example of a final illumination state classification result of a group illumination change candidate region according to an embodiment of the present invention. As shown in FIG. 13, the system sets a ratio of illumination off within a set time window If the threshold value is exceeded, the final illumination state of the candidate illumination region can be classified as illumination off.
시스템은 그룹 조명 변화 후보 영역에 대해 최종적으로 분류된 조명 상태와 그룹 조명 변화 후보 영역의 현재 조명 상태 정보의 비교를 통해 그룹 조명 변화 후보 영역의 조명 변화 및 조명 고장 여부를 판단한다(S1018). 예를 들면, 시스템은 그룹 조명 영역의 현재 조명 상태가 조명 켜짐으로 설정되어 있고, 그룹 조명 변화 후보 영역의 조명 상태가 조명 꺼짐인 경우, 조명 고장으로 판단할 수 있다. 시스템은 그룹 조명 영역의 현재 조명 상태가 조명 켜짐으로 설정되어 있고, 분류된 그룹 조명 변화 후보 영역의 조명 상태가 조명 꺼짐인 경우, 조명 고장으로 판단할 수 있다. The system determines whether the illumination change of the group illumination change candidate region and the illumination failure are performed by comparing the illumination state finally classified for the group illumination change candidate region and the current illumination state information of the group illumination change candidate region (S1018). For example, the system can determine that an illumination failure has occurred if the current illumination state of the group illumination region is set to illumination on and the illumination state of the group illumination change candidate region is illumination off. The system can determine that an illumination failure has occurred if the current illumination state of the group illumination region is set to illumination on and the illumination state of the classified group illumination change candidate region is illumination off.
도 14는 본 발명의 실시 예에 따른 그룹 조명 변화 후보 영역의 조명 상태 분류를 위한 학습 분류기의 일 예를 나타낸 도면이다.FIG. 14 is a diagram illustrating an example of a learning classifier for classifying illumination states of a group illumination change candidate region according to an embodiment of the present invention.
도 14를 참고하면, 학습 분류기(1400)는 온라인 학습기(1410) 및 분류기(1420)를 포함한다. 14, the
온라인 학습기(1410)는 다양한 환경에서 조명이 켜진 상태와 조명이 꺼진 상태에서의 그룹 조명 영역의 후보 영상들을 이용하여 그룹 조명 영역의 조명 상태를 학습한다. The on-
분류기(1420)는 온라인 학습기(1410)의 학습 내용을 토대로, 그룹 조명 변화 후보 영역의 특징 정보 예를 들면, 그룹 조명 후보 영역에 대한 배경 대비 전경 비율, 그룹 조명 변화 후보 영역에 대한 배경 영상의 에지 수 대비 입력 영상의 에지 수의 비율, (-)비율, 윤곽 상의 배경 영상의 에지 수와 입력 영상의 에지 수의 비율 등을 입력 받아 그룹 조명 변화 후보 영역의 조명 상태가 조명 꺼짐인지 조명 켜짐인지, 아니면 조명 변화 없음인지 분류한다. 이렇게 분류된 결과는 분류기(1420)에 입력된 특징 정보와 함께 온라인 학습기(1410)로 입력되어 학습된다. Based on the learning contents of the on-
한편, 시스템은 실험을 통해 얻어진 각 특징 정보의 임계값들을 이용하여 그룹 조명 변화 후보 영역의 조명 상태를 분류할 수 있다. Meanwhile, the system can classify the illumination state of the group illumination change candidate region by using the threshold values of the feature information obtained through the experiment.
예를 들면, 시스템은 수학식 2의 조건을 만족하면 그룹 조명 변화 후보 영역의 조명 상태를 전체 조명 꺼짐으로 분류하고, 수학식 3의 조건을 만족하면 그룹 조명 변화 후보 영역의 조명 상태를 전체 조명 켜짐으로 분류할 수 있다. 시스템은 수학식 4의 조건을 만족하면 그룹 조명 변화 후보 영역의 조명 상태를 부분 조명 꺼짐으로 분류하고, 수학식 5의 조건을 만족하면 그룹 조명 변화 후보 영역의 조명 상태를 부분 조명 켜짐으로 분류할 수 있다. 그리고 이와 같이 분류되지 않는 경우에는 그룹 조명 변화 후보 영역의 조명 상태를 조명 변화 없음으로 분류할 수 있다.For example, if the system satisfies the condition of Equation (2), the system classifies the illumination state of the group illumination change candidate region as total illumination off, and if the condition of Equation (3) is satisfied, . If the condition of Equation (4) is satisfied, the system classifies the illumination state of the group illumination change candidate region as partial illumination off, and if the condition of Equation (5) is satisfied, the illumination state of the group illumination change candidate region can be classified as partial illumination on have. If not classified, the illumination state of the group illumination change candidate region can be classified as no illumination change.
수학식 2 내지 수학식 5에서 각 특징 정보들과 비교되는 임계값들은 모두 다른 값으로 설정될 수 있으며, 실험을 통해 얻어질 수 있다.In Equations (2) to (5), the threshold values to be compared with the respective feature information can be set to different values and can be obtained through experiments.
도 15는 본 발명의 실시 예에 따른 영상 분석 기반 조명 고장 감지 시스템을 나타낸 도면이다.15 is a diagram illustrating an image analysis based illumination failure detection system according to an embodiment of the present invention.
도 15를 참고하면, 시스템(1500)은 감지 영역 설정부(1510), 단일 조명 고장 감지부(1520), 그룹 조명 고장 감지부(1530) 및 알람 생성부(1540)를 포함한다. 이러한 감지 영역 설정부(1510), 단일 조명 고장 감지부(1520), 그룹 조명 고장 감지부(1530) 및 알람 생성부(1540)의 기능은 중앙 처리 유닛(central processing unit, CPU)이나 기타 칩셋, 마이크로프로세서 등으로 구현되는 적어도 하나의 프로세서에 의해 수행될 수 있다. 15, the
감지 영역 설정부(1510)는 조명 감지 영역을 설정한다. The detection
단일 조명 고장 감지부(1520)는 도 4 내지 도 9에서 설명한 단일 조명 영역의 조명 고장 감지 동작을 수행한다. The single illumination
그룹 조명 고장 감지부(1530)는 도 10 내지 도 14에서 설명한 그룹 조명 영역의 조명 고장 감지 동작을 수행한다. The group illumination
알람 생성부(1540)는 단일 조명 고장 감지부(1520) 및 그룹 조명 고장 감지부(1530)에 의해 해당 영역의 조명 상태가 조명 고장인 것으로 판단되면, 알람 메시지를 생성하고 시스템(100)에 연결된 장치들로 송출한다. 또한 알람 생성부(1540)는 해당 영역의 조명 상태가 조명 고장인 것으로 판단되면, 해당 영역의 영상을 저장할 수 있다.The
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다. The embodiments of the present invention are not limited to the above-described apparatuses and / or methods, but may be implemented through a program for realizing functions corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded, Such an embodiment can be readily implemented by those skilled in the art from the description of the embodiments described above.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.
Claims (20)
조명 감지 영역을 설정하는 단계,
조명 고장 감지 동작 설정 시 상기 조명 감지 영역의 조명 상태를 수신하는 단계,
입력 영상으로부터 추출된 조명 감지 영역의 특징 정보를 이용한 조명 감지 동작을 수행하여 상기 조명 감지 영역의 조명 상태를 추정하는 단계, 그리고
상기 조명 감지 영역의 추정된 조명 상태와 상기 조명 고장 감지 동작 설정 시 수신된 조명 상태를 비교하여 상기 조명 감지 영역의 조명 고장 여부를 판단하는 단계
를 포함하며,
상기 판단하는 단계는
상기 조명 감지 영역이 단일 조명을 포함하는 단일 조명 영역인 경우 학습을 위한 후보 단일 조명 영역의 조도 값을 학습하여 생성된 조도 학습 기반으로 상기 단일 조명 영역의 조명 고장 여부를 판단하는 단계, 그리고
상기 조명 감지 영역이 복수의 조명을 포함하는 그룹 조명 영역인 경우 학습을 위한 후보 배경 영상을 학습하여 생성된 배경 학습 모델 기반으로 상기 그룹 조명 영역의 조명 고장 여부를 판단하는 단계를 포함하고,
상기 추정하는 단계는
상기 그룹 조명 영역의 경우, 상기 입력 영상으로부터 전경 영상과 배경 영상을 분리하는 단계,
상기 전경 영상을 이용하여 그룹 조명 변화 후보 영역을 검출하는 단계,
상기 그룹 조명 변화 후보 영역의 특징 정보를 추출하여 조명 상태를 분류하는 단계, 그리고
상기 분류된 조명 상태를 이용하여 상기 그룹 조명 변화 후보 영역에 해당하는 그룹 조명 영역의 조명 상태를 추정하는 단계를 포함하는 조명 고장 감지 방법. In a method for detecting an illumination failure based on image analysis in an illumination failure detection system,
Setting a light sensing area,
Receiving an illumination state of the illumination detection area when setting an illumination failure detection operation,
Estimating an illumination state of the illumination detection area by performing an illumination detection operation using feature information of the illumination detection area extracted from the input image, and
Comparing the estimated illumination state of the illumination detection area with the illumination state of the illumination detection area to determine whether the illumination of the illumination detection area is faulty
/ RTI >
The determining step
Determining whether the illumination of the single illumination region is faulty based on the illumination learning result generated by learning the illumination value of the candidate single illumination region for learning when the illumination detection region is a single illumination region including a single illumination,
And determining whether the illumination of the group illumination area is broken based on a background learning model generated by learning a candidate background image for learning when the illumination detection area is a group illumination area including a plurality of lights,
The estimating step
Separating the foreground image and the background image from the input image in the case of the group illumination region,
Detecting a group illumination change candidate region using the foreground image,
Extracting feature information of the group illumination change candidate region and classifying the illumination state, and
And estimating an illumination state of the group illumination region corresponding to the group illumination change candidate region using the classified illumination state.
상기 단일 조명 영역의 특징 정보는 명암 및 휘도 정보, 명암 대비 휘도 분포 정보, 색상 정보 중 적어도 하나를 포함하고,
상기 추정하는 단계는
상기 단일 조명 영역의 분류된 조명 상태 정보를 버퍼에 저장하는 단계,
상기 분류된 조명 상태 정보를 이용하여 시간에 따른 조명 상태 추정 변화 신호를 생성하는 단계,
상기 조명 상태 추정 변화 신호로부터 설정된 시간 윈도우 내에 조명 켜짐과 조명 꺼짐의 비와 조명 켜짐과 조명 꺼짐의 수를 계산하는 단계,
상기 조명 켜짐과 조명 꺼짐의 수로부터 상기 단일 조명 영역의 조명 상태가 조명 깜빡임인지 판단하는 단계, 그리고
상기 조명 켜짐과 조명 꺼짐의 비로부터 상기 단일 조명 영역의 조명 상태가 조명 꺼짐인지 조명 켜짐인지 판단하는 단계를 더 포함하는 조명 고장 감지 방법.The method of claim 1,
Wherein the characteristic information of the single illumination region includes at least one of brightness and brightness information, contrast brightness distribution information, and color information,
The estimating step
Storing the sorted illumination state information of the single illumination region in a buffer,
Generating an illumination condition estimation change signal with time using the classified illumination condition information,
Calculating a ratio of illumination on and illumination off and a number of illumination on and illumination off within a set time window from the illumination condition estimate change signal,
Determining from the number of illumination on and illumination off whether the illumination condition of the single illumination area is an illumination blink, and
Further comprising the step of determining whether the illumination state of the single illumination region is illuminated off or illuminated from a ratio of illumination on and illumination off.
상기 단일 조명 영역의 조명 고장 여부를 판단하는 단계는
상기 단일 조명 영역의 조명 상태가 상기 조명 깜빡임인 경우, 조명 고장으로 판단하는 단계, 그리고
상기 단일 조명 영역의 조명 상태가 조명 꺼짐 또는 조명 켜짐이고, 상기 단일 조명 영역의 조명 상태가 상기 조명 고장 감지 동작 설정 시 수신된 조명 상태와 다른 경우에, 조명 고장으로 판단하는 단계를 포함하는 조명 고장 감지 방법.4. The method of claim 3,
Wherein the step of determining whether the single illumination region fails in illumination
Determining that the illumination condition of the single illumination area is the illumination blink,
Determining that the illumination condition of the single illumination area is light off or illuminated and that the illumination condition of the single illumination area is different from the illumination condition received when setting up the illumination failure detection operation, Detection method.
상기 특징 정보는 상기 그룹 조명 변화 후보 영역에 대한 상기 배경 영상과 상기 입력 영상의 명암 및 휘도 평균값의 차이, 상기 그룹 조명 변화 후보 영역에 대한 배경 영상과 입력 영상 각각의 에지 수, 상기 그룹 조명 변화 후보 영역에서 전경 영역에 대한 명암 및 휘도의 비율, 상기 그룹 조명 변화 후보 영역 내에서 입력 영상과 배경 영상의 윤곽 정보 및 상기 그룹 조명 후보 영역에 대한 배경 대비 전경 비율 중 적어도 하나를 포함하는 조명 고장 감지 방법.The method of claim 1,
Wherein the feature information includes at least one of a difference between a brightness and a brightness average value of the background image and the input image for the group illumination change candidate region, a number of edges of each of the background image and the input image for the group illumination change candidate region, A ratio of brightness and brightness to a foreground area in a region, an outline information of an input image and a background image in the group illumination change candidate region, and a foreground ratio of a background to the group illumination candidate region .
상기 추정하는 단계는 학습 분류기 또는 설정된 임계값과의 비교를 통해 상기 그룹 조명 변화 후보 영역의 조명 상태를 조명 꺼짐, 조명 꺼짐 및 조명 변화 없음 중 하나로 분류하는 단계를 더 포함하는 조명 고장 감지 방법.The method of claim 6,
Wherein the estimating further comprises classifying the illumination state of the group illumination change candidate region into one of illumination off, illumination off, and no illumination change through comparison with a learning classifier or a set threshold.
상기 추정하는 단계는
상기 그룹 조명 변화 후보 영역의 분류된 조명 상태 정보를 버퍼에 저장하는 단계,
상기 분류된 조명 상태 정보를 이용하여 시간에 따른 조명 상태 추정 변화 신호를 생성하는 단계,
상기 조명 상태 추정 변화 신호로부터 설정된 시간 윈도우 내에 조명 켜짐의 비율, 조명 꺼짐의 비율 및 조명 변화 없음의 비율을 계산하는 단계, 그리고
상기 조명 켜짐의 비율, 조명 꺼짐의 비율 및 조명 변화 없음의 비율을 토대로 상기 그룹 조명 변화 후보 영역의 조명 상태를 추정하는 단계를 더 포함하는 조명 고장 감지 방법.8. The method of claim 7,
The estimating step
Storing the classified illumination state information of the group illumination change candidate region in a buffer,
Generating an illumination condition estimation change signal with time using the classified illumination condition information,
Calculating a ratio of illumination turn on, a ratio of illumination turn off and a ratio of no illumination change within a set time window from the illumination condition estimate change signal, and
Further comprising estimating an illumination state of the group illumination change candidate region based on a ratio of the illumination turn on, a ratio of illumination turn off, and a ratio of no illumination change.
상기 조명 고장으로 판단된 경우, 알람 메시지를 생성하여 연계된 장치로 송출하는 단계
를 더 포함하는 조명 고장 감지 방법.The method of claim 1,
Generating an alarm message and transmitting the generated alarm message to the associated apparatus
Further comprising the steps of:
상기 조명 고장으로 판단된 경우, 설정된 시간 동안 조명 감지 영역의 영상을 저장하는 단계
를 더 포함하는 조명 고장 감지 방법. The method of claim 1,
Storing the image of the illumination detection area for a set time period when it is determined that the illumination failure has occurred
Further comprising the steps of:
조명 감지 영역을 설정하는 감지 영역 설정부,
상기 조명 감지 영역이 단일 조명을 포함하는 단일 조명 영역인 경우, 입력 영상으로부터 상기 단일 조명 영역의 특징 정보를 계산하고, 상기 단일 조명 영역의 특징 정보를 이용하여 조명 상태를 분류하며, 분류된 조명 상태와 조명 고장 감지 동작 설정 시 입력된 조명 상태의 비교를 통해 상기 단일 조명 영역의 조명 고장을 판단하는 단일 조명 고장 감지부,
상기 조명 감지 영역이 복수의 조명을 포함하는 그룹 조명 영역인 경우, 상기 입력 영상으로부터 전경 영상과 배경 영상을 분리하고, 상기 전경 영상을 이용하여 상기 그룹 조명 영역을 검출하며, 상기 그룹 조명 영역의 특징 정보를 추출하여 조명 상태를 분류하며, 분류된 조명 상태를 이용하여 조명 상태를 추정하고, 추정된 조명 상태와 조명 고장 감지 동작 설정 시 입력된 조명 상태의 비교를 통해 상기 그룹 조명 영역의 조명 고장을 판단하는 그룹 조명 고장 감지부, 그리고
상기 조명 감지 영역의 조명이 고장인 것으로 판단되는 경우에, 알림 메시지를 생성하고 송출하는 알람 생성부
를 포함하는 조명 고장 감지 시스템. In a system that detects illumination failures based on image analysis,
A detection area setting unit for setting a light detection area,
Calculating feature information of the single illumination region from the input image when the illumination detection region is a single illumination region including a single illumination, classifying the illumination state using the feature information of the single illumination region, A single illumination failure detection unit for determining an illumination failure of the single illumination region by comparing the illumination state inputted when the illumination failure detection operation is set,
Wherein when the illumination detection area is a group illumination area including a plurality of lights, a foreground image and a background image are separated from the input image, the group illumination area is detected using the foreground image, The illumination state of the group illumination region is estimated by extracting information and classifying the illumination state, estimating the illumination state using the classified illumination state, and comparing the estimated illumination state with the illumination state inputted when setting the illumination failure detection operation, A group lighting fault detection unit for judging
An alarm generating unit for generating and sending a notification message when it is determined that the illumination of the illumination detection area is defective,
And an illumination system.
상기 특징 정보는 명암 및 휘도 정보, 명암 대비 휘도 분포 정보, 색상 정보 중 적어도 하나를 포함하는 조명 고장 감지 시스템.12. The method of claim 11,
Wherein the feature information includes at least one of brightness and brightness information, contrast brightness distribution information, and color information.
상기 단일 조명 고장 감지부는 학습 분류기 또는 설정된 임계값과의 비교를 통해 상기 단일 조명 영역의 조명 상태를 조명 꺼짐 또는 조명 꺼짐으로 분류하는 조명 고장 감지 시스템.The method of claim 12,
Wherein the single illumination failure detection unit classifies the illumination state of the single illumination region into an illumination off or an illumination off through comparison with a learning classifier or a set threshold value.
상기 단일 조명 고장 감지부는 분류된 조명 상태 정보를 이용하여 설정된 시간 윈도우 내에 조명 켜짐과 조명 꺼짐의 비와 조명 켜짐과 조명 꺼짐의 주기를 계산하고, 상기 조명 켜짐과 조명 꺼짐의 주기로부터 상기 단일 조명 영역의 조명 상태가 조명 깜빡임인지 판단하며, 상기 조명 켜짐과 조명 꺼짐의 비로부터 상기 단일 조명 영역의 조명 상태가 조명 꺼짐인지 조명 켜짐인지 판단하는 조명 고장 감지 시스템.The method of claim 14,
Wherein the single illumination failure detection unit calculates a ratio of illumination on and illumination off and a cycle of illumination on and illumination off within a set time window using the classified illumination state information, And determines whether the illumination state of the single illumination region is illuminated off or illuminated from a ratio of the illumination on to the illumination off.
상기 특징 정보는 상기 그룹 조명 영역에 대한 상기 배경 영상과 상기 입력 영상의 명암 및 휘도 평균값의 차이, 상기 그룹 조명 영역에 대한 배경 영상과 입력 영상 각각의 에지 수, 상기 그룹 조명 영역에서 전경 영역에 대한 명암 및 휘도의 비율, 상기 그룹 조명 영역 내에서 입력 영상과 배경 영상의 윤곽 정보 및 상기 그룹 조명 영역에 대한 배경 대비 전경 비율 중 적어도 하나를 포함하는 조명 고장 감지 시스템.12. The method of claim 11,
Wherein the feature information includes at least one of a difference between a brightness and a brightness average value of the background image and the input image with respect to the group illumination region, a number of edges of the background image and the input image with respect to the group illumination region, A ratio of brightness and brightness, an outline information of an input image and a background image in the group illumination region, and a foreground ratio of a background to the group illumination region.
상기 그룹 조명 고장 감지부는 학습 분류기 또는 설정된 임계값과의 비교를 통해 상기 그룹 조명 영역의 조명 상태를 조명 꺼짐, 조명 꺼짐 및 조명 변화 없음 중 하나로 분류하는 조명 고장 감지 시스템.12. The method of claim 11,
Wherein the group illumination failure detection unit classifies the illumination state of the group illumination region into one of illumination off, illumination off, and no illumination change through comparison with a learning classifier or a set threshold value.
상기 그룹 조명 고장 감지부는 상기 그룹 조명 영역의 분류된 조명 상태 정보를 이용하여 설정된 시간 윈도우 내 조명 켜짐의 비율, 조명 꺼짐의 비율 및 조명 변화 없음의 비율을 계산하고, 상기 조명 켜짐의 비율, 조명 꺼짐의 비율 및 조명 변화 없음의 비율을 토대로 상기 그룹 조명 영역의 조명 상태를 추정하는 조명 고장 감지 시스템.The method of claim 18,
Wherein the group illumination failure detection unit calculates the ratio of the illumination turn-on in the set time window, the ratio of the illumination turn-off and the ratio of no illumination change using the classified illumination state information of the group illumination region, And a ratio of no illumination change to an illumination state of the group illumination region.
상기 알람 생성부는 상기 조명 감지 영역의 조명이 고장인 것으로 판단되는 경우에, 상기 조명 감지 영역의 영상을 저장하는 조명 고장 감지 시스템.12. The method of claim 11,
Wherein the alarm generation unit stores an image of the illumination detection area when it is determined that illumination of the illumination detection area is malfunctioning.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160144751A KR101968521B1 (en) | 2016-11-01 | 2016-11-01 | System and method for detecting light diagnosis based image analysis |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160144751A KR101968521B1 (en) | 2016-11-01 | 2016-11-01 | System and method for detecting light diagnosis based image analysis |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180047906A KR20180047906A (en) | 2018-05-10 |
| KR101968521B1 true KR101968521B1 (en) | 2019-04-12 |
Family
ID=62184311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160144751A KR101968521B1 (en) | 2016-11-01 | 2016-11-01 | System and method for detecting light diagnosis based image analysis |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101968521B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102582870B1 (en) * | 2021-05-24 | 2023-09-27 | 박성복 | Deckroad Pedestrian Induction System and its Control Method |
| WO2024034388A1 (en) * | 2022-08-08 | 2024-02-15 | ソニーグループ株式会社 | Image processing device, image processing method, and program |
| FR3139969A1 (en) * | 2022-09-19 | 2024-03-22 | Alstom Holdings | Method for detecting a malfunction of a lighting fixture, electronic detection device and associated computer program product |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101169631B1 (en) * | 2012-04-12 | 2012-07-31 | 브이씨에이 테크놀러지 엘티디 | Video analysis camera, video analysis system having detection interface and detecting adjustment method of the same |
| JP5562473B1 (en) * | 2013-05-31 | 2014-07-30 | 株式会社ジェイ・パワーシステムズ | Aircraft failure light failure detection system and failure detection method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101400153B1 (en) * | 2012-05-22 | 2014-05-27 | 삼성중공업 주식회사 | Helideck lighting diagnosis apparatus and method of the same |
| KR20140047876A (en) * | 2012-10-15 | 2014-04-23 | 정승문 | Light control system and method for the same |
| KR101605880B1 (en) * | 2014-07-23 | 2016-03-24 | 서울특별시 | Lighting apparatus |
-
2016
- 2016-11-01 KR KR1020160144751A patent/KR101968521B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101169631B1 (en) * | 2012-04-12 | 2012-07-31 | 브이씨에이 테크놀러지 엘티디 | Video analysis camera, video analysis system having detection interface and detecting adjustment method of the same |
| JP5562473B1 (en) * | 2013-05-31 | 2014-07-30 | 株式会社ジェイ・パワーシステムズ | Aircraft failure light failure detection system and failure detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180047906A (en) | 2018-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101708547B1 (en) | Event detection apparatus and event detection method | |
| JP5121258B2 (en) | Suspicious behavior detection system and method | |
| US8565484B2 (en) | Forest fire smoke detection method using random forest classification | |
| JP7272533B2 (en) | Systems and methods for evaluating perceptual systems | |
| KR101968521B1 (en) | System and method for detecting light diagnosis based image analysis | |
| US20130120125A1 (en) | Method and system for lane departure warning | |
| CN103839085A (en) | Train carriage abnormal crowd density detection method | |
| KR20130000828A (en) | A method of detecting facial features | |
| JP2001211466A (en) | Image processing system having self-diagnostic function | |
| CN111783665A (en) | Action recognition method and device, storage medium and electronic equipment | |
| KR101620989B1 (en) | Method of detecting fire automatically from video including night images and system for performing the same | |
| JP2012128877A (en) | Suspicious behavior detection system and method | |
| JP5780979B2 (en) | Vehicle state detection device, vehicle behavior detection device, and vehicle state detection method | |
| US9443150B2 (en) | Device and method for detecting objects from a video signal | |
| JP7125843B2 (en) | Fault detection system | |
| JP2015158796A (en) | Object detection device | |
| CN110956792B (en) | Method for switching alarms | |
| JP3294468B2 (en) | Object detection method in video monitoring device | |
| CN112417952A (en) | Environment video information availability evaluation method of vehicle collision prevention and control system | |
| JP3961344B2 (en) | Image processing system, image processing method, and image processing program | |
| KR101689863B1 (en) | Part-based flame detection device and method | |
| JP5710230B2 (en) | Monitoring system and monitoring method | |
| KR100920937B1 (en) | Apparatus and method for detecting motion, and storing video within security system | |
| JP2020194227A (en) | Face hiding determination device, face hiding determination method, face hiding determination program, and occupant monitoring system | |
| KR100853444B1 (en) | Method of sensing car accidents |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E90F | Notification of reason for final refusal | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |