KR20200056879A - apparatus and method for automatically detecting bird's cast - Google Patents
apparatus and method for automatically detecting bird's cast Download PDFInfo
- Publication number
- KR20200056879A KR20200056879A KR1020180141143A KR20180141143A KR20200056879A KR 20200056879 A KR20200056879 A KR 20200056879A KR 1020180141143 A KR1020180141143 A KR 1020180141143A KR 20180141143 A KR20180141143 A KR 20180141143A KR 20200056879 A KR20200056879 A KR 20200056879A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- nest
- bird
- target object
- detection
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 241001137251 Corvidae Species 0.000 claims abstract description 36
- 238000005516 engineering process Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000012423 maintenance Methods 0.000 claims abstract description 7
- 235000005770 birds nest Nutrition 0.000 claims description 75
- 235000005765 wild carrot Nutrition 0.000 claims description 75
- 238000001514 detection method Methods 0.000 claims description 54
- 238000005259 measurement Methods 0.000 claims description 28
- 244000000626 Daucus carota Species 0.000 claims description 25
- 230000009467 reduction Effects 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 13
- 230000006872 improvement Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 238000003702 image correction Methods 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 7
- 230000001846 repelling effect Effects 0.000 description 3
- 241000271566 Aves Species 0.000 description 2
- 241000195493 Cryptophyta Species 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning, or like safety means along the route or between vehicles or vehicle trains
- B61L23/04—Control, warning, or like safety means along the route or between vehicles or vehicle trains for monitoring the mechanical state of the route
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L15/00—Indicators provided on the vehicle or vehicle train for signalling purposes ; On-board control or communication systems
- B61L15/0072—On-board train data handling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
Description
본 발명은 전차 선로의 조류 둥지 자동 검출 장치 및 방법에 관한 것으로, 특히 까치집과 같은 조류 둥지로 인한 전차 선로의 합선 사고 등을 방지하기 위해 영상 분석 기술을 이용하여 전차 선로에 존재하는 조류 둥지를 자동으로 검출할 수 있도록 한 전차 선로의 조류 둥지 자동 검출 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for automatically detecting a bird's nest in a tram line, and in particular, to prevent a short circuit accident of a tram line due to a bird nest, such as a magpie nest, automatically analyzes a bird nest existing in a tram line using image analysis technology. An apparatus and method for automatically detecting a bird's nest in a tram line capable of being detected by a vehicle.
도 1은 전차 선로에 지어진 조류 둥지의 예시 사진이다. 도 1에 도시한 바와 같이, ITX-새마을 전차 등 동력 차량에 전원을 공급하는 전차 선로 주변에 까치가 집을 짓게 되면 나뭇가지나 철사 등이 2만5,000볼트 고압 전류가 흐르는 전선과 접촉되어 전력 공급이 중단될 수 있다. 특히 까치의 산란기인 2월부터 5월까지 까치집으로 인한 단전 사례가 더욱 자주 일어난다.1 is an exemplary photograph of a bird nest built on a tram track. As shown in FIG. 1, when a magpie builds a house around a tram line that supplies power to a power vehicle, such as an ITX-Saemaul tram, branches or wires come into contact with a wire flowing through a high-voltage current of 25,000 volts and power supply is interrupted. Can be. In particular, from February to May, the spawning season of magpies, cases of blackouts caused by magpies are more frequent.
이를 감안하여 조류 집중 서식지에는 그물이나 파이프 등으로 방지 시설을 설치하고 있으나, 방지 설비가 없는 틈새에는 지속적으로 둥지가 생성되고 있어서 이를 원인으로 하는 전차선 트립이 심심치 않게 발생하고 있다.In view of this, prevention facilities are installed in the concentrated habitat of birds with nets or pipes, but the nests are continuously generated in the gaps without prevention facilities, and the tram trip caused by this is frequently occurring.
도 2는 전차 선로의 조류 둥지 제거 기준을 설명하기 위한 도이고, 도 3은 작업자가 전차 선로에 지어진 조류 둥지를 제거하는 사진이다. 도 2 및 도 3에 도시한 바와 같이, 조류 둥지의 경우 전차 선로의 가압 구간의 1m 이내의 둥지는 즉시 제거하고, 그 이외의 둥지는 필요시 제거하도록 되어 있다.2 is a view for explaining the criteria for removing the bird nest of the tram line, and FIG. 3 is a photograph of the worker removing the bird nest built on the tram line. As shown in Figs. 2 and 3, in the case of a bird nest, the nest within 1 m of the pressurized section of the tram line is immediately removed, and other nests are removed if necessary.
실제로 2012년 이후 31,000개 이상의 까치집을 제거했고, 지난해에도 7,000여개를 제거하는 등 많은 노력을 기울이고 있지만 까치집 집중 생성 시기엔 까치가 집을 짓는 속도를 따라잡기가 쉽지 않은 실정이다.In fact, more than 31,000 magpie houses have been removed since 2012, and efforts have been made to remove more than 7,000 in the past year, but it is not easy to keep up with the speed at which magpies build their houses during the intensive generation of magpie houses.
이에 따라 까치가 집중적으로 집을 짓는 봄철 등에는 1일 2회의 맨눈 순회 점검을 실시하여 까치집을 발견하는 즉시 제거하고, 다시 짓지 못하도록 방지 기구를 설치하는 등 전력 공급 차단 예방에 총력을 기울이고 있는바, 이와 같이 까치집 발생 감시 및 제거에 많은 인력과 비용이 소요되고 있다.Accordingly, in the spring, when the magpie is intensively building a house, it conducts an inspection of the snow twice a day to immediately remove the magpie house and install a preventive mechanism to prevent it from being built again. Likewise, it takes a lot of manpower and money to monitor and remove the magpie.
이에 종래에는 전차 선로에 까치가 집을 짓는 것을 미연에 방지하기 위해 각종 센서, 예를 들어 적외선 센서, 초음파 센서 또는 조도 센서 등을 이용하여 조류의 등장을 감지한 후에 소리, 초음파, 섬광 또는 모터를 동력으로 하는 각종 기구물을 이용하여 조류를 퇴치하는 방향으로 많은 연구가 진행되어 왔다(하기 선행기술 1 및 2 참조)Accordingly, in order to prevent the magpie from building a house on the tram line, it is conventional to power the sound, ultrasound, flash, or motor after detecting the appearance of birds using various sensors, such as infrared sensors, ultrasonic sensors, or illuminance sensors. A lot of research has been conducted in the direction of eradicating algae by using various kinds of equipment (see the
이외에도 근래 들어 그 활용도가 비약적으로 증가하고 있는 드론의 운전을 미리 정해진 프로그램에 따라 자동 제어하고, 드론에 탑재된 카메라를 통해 수집된 영상을 수동으로 점검하거나 영상 분석 기술을 통해 자동으로 분석하여 까치집 등을 포함한 각종 이상 물체를 자동으로 검출하는 기술도 제안되어 있는 실정이다(하기 선행기술 3 참조).In addition, the drone's operation, which has been rapidly increasing in recent years, is automatically controlled according to a predetermined program, and the images collected through the camera mounted on the drone are manually inspected or automatically analyzed through image analysis technology to automatically detect magpies, etc. A technique for automatically detecting various abnormal objects, including, has also been proposed (see Prior Art 3 below).
그러나 전술한 바와 같은 종래 선행기술 1 및 2에 따르면, 전국에 걸쳐 수백㎞씩 가설되어 전차 선로에 퇴치 시설물을 꼼꼼히 설치하는 것이 비효율적일뿐 아니라 학습 효과로 인해 시간이 지날수록 퇴치 시설물의 효용성이 반감되는 문제점이 있었다.However, according to the
종래 선행기술 3의 경우에도 드론 조작자 및 영상 점검자 등 많은 인력을 필요로 할 뿐 아니라 전국에 걸쳐 수백㎞씩 가설되어 있는 전차 선로에 지어진 조류 둥지를 드론에 의해 감시하는 것이 현재의 기술로는 결코 용이하지 않다는 문제점이 있었다.Even in the case of the prior art 3, it is never easy to use a drone to monitor a bird's nest built on a tram line hundreds of kilometers across the country by a drone, as well as requiring a lot of manpower such as drone operators and video inspectors. There was a problem not to.
본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 까치집과 같은 조류 둥지로 인한 전차 선로의 합선 사고 등을 방지하기 위해 영상 분석 기술을 이용하여 전차 선로에 존재하는 조류 둥지를 자동으로 검출할 수 있도록 한 전차 선로의 조류 둥지 자동 검출 장치 및 방법을 제공함을 목적으로 한다.The present invention has been devised to solve the above-mentioned problems, and it is possible to automatically detect bird nests existing in the tram line by using image analysis technology to prevent short circuit accidents of the tram line due to bird nests such as magpie nests. It is an object of the present invention to provide an apparatus and method for automatically detecting a bird's nest in a tram line.
전술한 목적을 달성하기 위한 본 발명의 일 특징에 따른 전차 선로의 조류 둥지 자동 검출 장치는, 전차의 적소에 설치되고, GPS 수신기 및 디지털 카메라를 포함하여 이루어져서 전차 선로 상부를 촬영하는 촬영 파트, 전차의 운행 중에 상기 촬영 파트를 통해 수집된 영상을 기록 및 분석하여 조류 둥지를 자동으로 검출하는 영상기록/전처리 파트 및 상기 촬영 파트 및 영상기록/전처리 파트에 전원을 공급하는 전원 파트를 포함하여 이루어진 차상 구성부 및 상기 차상 구성부와 무선 통신망을 통해 원격 연결되어 상기 차상 구성부로부터 전송된 영상을 기록 및 분석하는 중계 서버와 유지보수용 단말을 포함하여 이루어진 원격 처리 파트를 포함하여 이루어진다.An apparatus for automatically detecting a bird's nest in a tram line according to an aspect of the present invention for achieving the above-mentioned object is installed at a proper position in a tram, and includes a GPS receiver and a digital camera to photograph an upper part of the tram line, a shooting part, and a tram A car recorder comprising an image recording / preprocessing part that automatically detects a bird's nest by recording and analyzing an image collected through the shooting part during operation of the vehicle, and a power supply part that supplies power to the recording part and the image recording / preprocessing part. It comprises a remote processing part comprising a maintenance server and a relay server that records and analyzes images transmitted from the vehicle configuration unit by being remotely connected to the configuration unit and the vehicle configuration unit through a wireless communication network.
전술한 구성에서, 상기 촬영 파트 및 상기 영상기록/전처리 파트는 전차의 전방 또는 후방 운전실에 설치된다.In the above-described configuration, the photographing part and the image recording / pre-processing part are installed in the front or rear cab of the vehicle.
상기 디지털 카메라는 운전실 내부에 취부되고 광각 촬영이 가능하다.The digital camera is mounted inside the cab and is capable of wide-angle shooting.
상기 디지털 카메라는 전차의 전방 윈도우와 직각이 되지 않게 설치된다.The digital camera is installed not perpendicular to the front window of the vehicle.
상기 영상기록/전처리 파트는 착탈형 메모리 디바이스 및 유/무선 통신 인터페이스를 포함하여 이루어져서 디지털 카메라로부터 실시간으로 수집되는 영상을 기록하고, 전차 환경의 특성을 반영한 컴퓨터비전·영상처리를 위해 ONR(Optimum Noise Reduction) 및 DFD(Dynamic background FEP Device) 기술을 적용하여 전차 선로 상부의 영상을 분석한다.The image recording / pre-processing part includes a removable memory device and a wired / wireless communication interface to record images collected in real time from a digital camera, and ONR (Optimum Noise Reduction) for computer vision and image processing that reflects the characteristics of the vehicle environment. ) And DFD (Dynamic background FEP Device) technology to analyze the image on the top of the tram line.
상기 유지보수용 단말에는 조류 둥지 검출 영상 및 해당 위치의 GPS 좌표 데이터가 표시된 OSD 영상이 제공된다.The maintenance terminal is provided with a bird nest detection image and an OSD image in which GPS coordinate data of the corresponding location is displayed.
본 발명의 다른 특징에 따른 전차 선로의 조류 둥지 자동 검출 방법은, 전차에 탑재된 디지탈 카메라에 의해 실시간으로 수집(획득)된 전차 선로 상부 영상을 최적 잡음 감소 기술(ONR; Optimum Noise Reduction)로 처리하여 잡음이 감소되어 화질이 개선된 영상을 획득하는 된 영상을 획득하는 적응형 영상화질 개선 파트; 상기 최적 잡음 저감 기술에 의해 얻어진, 동적 배경을 가진 영상으로부터 동적인 배경 객체가 제외된 대상 객체 측정 영역을 검출하는 측정 영역 검출 파트; 상기 대상 객체에 대해 상기 최적 잡음 감소 기술로 처리된 영상과의 템플릿 매칭을 통해 대상 객체를 추적하고, 배경 객체를 추적하여 대상 객체의 움직임 범위 내이면 해당 배경 객체를 대상 객체로 보정하는 영상보정 단계 및 대상 객체인 조류 둥지를 인식하는 인식 파트를 포함하여 이루어진다.According to another aspect of the present invention, a method for automatically detecting a bird's nest in a tram line processes a top image of a tram line collected (acquired) in real time by a digital camera mounted on the tram by an optimal noise reduction technique (ONR). An adaptive image quality improvement part for obtaining an image in which noise is reduced to obtain an image with improved image quality; A measurement area detection part for detecting a target object measurement area in which a dynamic background object is excluded from an image having a dynamic background, obtained by the optimal noise reduction technology; An image correction step of tracking the target object through template matching with the image processed by the optimal noise reduction technology for the target object, and correcting the background object to the target object if the target object is within a movement range of the target object by tracking the background object And a recognition part recognizing a bird nest as a target object.
전술한 구성에서, 상기 적응형 영상화질 개선 파트는 전차 선로 환경 변화에 적응적인 보정 곡선(EC; Enhanced Curve)을 이용하여 안개 및 저조도 환경에서 영상의 가시성을 향상시킨다.In the above-described configuration, the adaptive image quality improvement part improves the visibility of an image in a fog and low-light environment by using an enhanced curve (EC) adaptive to changes in the tram line environment.
상기 적응형 영상화질 개선 파트는 디지털 카메라에 의해 획득된 RGB 영상의HSV 영상으로의 변환, RGB 영상의 색 공간 분리, 상기 분리된 각 색 공간 채널별로 크기가 서로 다른 가우시안 필터 G(x,y) 적용한 조명 성분 추정, 추출된 조명 성분 제거를 통한 반사 성분 추정에 의한 상기 보정 곡선 생성 및 가중치(w) 부여에 의한 합성 영상 출력 단계를 포함하여 이루어진다.The adaptive image quality improvement part converts RGB images obtained by a digital camera to HSV images, separates the color space of RGB images, and Gaussian filters G (x, y) having different sizes for each of the separated color space channels. It comprises a step of generating the correction curve by estimating the applied illumination component, and reflecting component estimation by removing the extracted illumination component, and outputting a composite image by weight (w).
상기 측정 영역 검출 파트는 상기 최적 잡음 저감 기술을 거쳐 얻어진 영상에서 전경 영상을 획득하고, 상기 전경 영상에 색상 필터를 적용하여 배경 객체와 대상 객체의 이진 영상을 생성하며, 상기 이진 영상에 대해 라벨링을 수행하여 객체를 식별함으로써 대상 객체 블록을 설정한다.The measurement area detection part acquires a foreground image from an image obtained through the optimal noise reduction technology, applies a color filter to the foreground image, generates a binary image of a background object and a target object, and labels the binary image. Set the target object block by performing and identifying the object.
상기 인식 파트는 전차 선로 상부의 조류 둥지 인식 및 분류 작업 후에 상대적으로 긴 동영상 내에서 검출하고자 하는 측정 영역 정보를 쉽게 파악할 수 있는 트러스트 구조물 중심의 비디오 분석 및 시각화를 제공한다.The recognition part provides video analysis and visualization centering on a trust structure that can easily grasp the measurement area information to be detected within a relatively long moving image after the bird nest recognition and classification operation on the upper part of the tram line.
상기 인식 파트는 동적 비디어 분석(AVA; Active Video Analysis) 기술을 이용하여 대상 객체인 조류 둥지를 인식한다.The recognition part recognizes a bird nest as a target object by using dynamic video analysis (AVA) technology.
상기 인식 파트는, 측정 영역 검출, 조류 둥지 특징 검출, 타켓 객체 검출, 형태 변화 검출 및 대상 객체 추적 단계를 포함하여 이루어진다. The recognition part includes a measurement area detection, bird nest feature detection, target object detection, shape change detection, and object tracking.
상기 측정 영역 검출 단계에서는 영상에 나타나는 모든 트러스트 구조물의 까치집 측정 영역을 검출하고, 상기 조류 둥지 특징 검출 단계에서는 상기 측정 영역 안에서 조류 둥지의 윤곽 및 그 주변의 특징점을 찾아 조류 둥지 모델에 매핑하며, 상기 타겟 객체 검출 단계는 영상 내에서 사용자가 등록한 조류 둥지 형상과 일치하는 타겟 객체를 검출하고, 상기 대상 객체 추출 단계는 대상 객체의 미세한 변화를 감지하는 객체 변화 검출을 수행하여 검출된 대상 영역이 어떤 형태인지 분류한다.In the measurement area detection step, the magpie measurement areas of all the trust structures appearing in the image are detected, and in the bird nest feature detection step, the contour of the bird nest and the feature points around it are found in the measurement area and mapped to a bird nest model. The target object detection step detects a target object that matches a bird nest shape registered by the user in the image, and the target object extraction step performs object change detection to detect a minute change in the target object, thereby detecting the target area. Cognitive classification.
상기 인식 파트는, 상기 인식 파트의 각 단계 처리 처리 과정 중 시간 및 공간 축 상에서 해당 객체의 위치 및 특징의 변화를 추적함으로써 전차 선로 상의 조류 둥지를 검출한 후에 그 위치를 GPS 좌표와 연계하여 사용자에게 알려준다.The recognition part detects a bird's nest on the tram line by tracking changes in the position and characteristics of the object on the time and space axes during each step processing process of the recognition part, and then associates the position with the GPS coordinates to the user Informs.
본 발명의 전차 선로의 조류 둥지 자동 검출 장치 및 방법에 따르면, 선로를 따라 매일 운행하는 전차 내에 설치된 카메라를 통해 수집된 영상을 분석하여 전체 선로에 존재하는 조류 둥지를 자동으로 검출함으로써 까치집 발견 및 제거를 위해 소요되는 순회 점검 인력과 시간을 대폭적으로 절감할 수 있다.According to an apparatus and method for automatically detecting a bird's nest in a tram line of the present invention, a magpie nest is found and removed by automatically detecting a bird nest existing in a whole line by analyzing an image collected through a camera installed in a tram that runs daily along the line For this, it is possible to drastically reduce manpower and time spent on circuit inspection.
도 1은 전차 선로에 지어진 조류 둥지의 예시 사진.
도 2는 전차 선로의 조류 둥지 제거 기준을 설명하기 위한 도.
도 3은 작업자가 전차 선로에 지어진 조류 둥지를 제거하는 사진.
도 4는 본 발명의 전차 선로의 조류 둥지 자동 검출 장치의 전체적인 시스템 구성도.
도 5는 본 발명의 전차 선로의 조류 둥지 자동 검출 장치의 하드웨어적인 블록 구성도.
도 6은 본 발명의 전차 선로의 조류 둥지 자동 검출 방법을 설명하기 위한 흐름도.
도 7은 본 발명의 철도 선로의 조류 둥지 자동 검출 방법에 적용된 영상 잡음 저감 알고리즘의 상세 블록 구성도.
도 8은 본 발명의 철도 선로의 조류 둥지 자동 검출 방법의 측정 영역 검출 파트의 상세 흐름도.
도 9는 본 발명의 철도 선로의 조류 둥지 자동 검출 방법에서 AVA 알고리즘을 적용한 대상 객체 인식 파트의 상세 흐름도.
도 10은 본 발명의 방법에 따라 검출된 측정 영역을 설명하기 위한 도.
도 11 및 도 12는 각각 본 발명의 전차 선로의 조류 둥지 자동 검출 방법의 일 실시예에 따른 조류 둥지 인식 알고리즘을 보인 흐름도.1 is an example photo of a bird nest built on a tram track.
Figure 2 is a view for explaining the bird nest removal criteria of the tank line.
Figure 3 is a worker removing the bird nest built on the tram line.
4 is an overall system configuration diagram of an automatic bird nest detection device for a tram line of the present invention.
5 is a hardware block configuration diagram of an automatic bird nest detection device for a tram line of the present invention.
6 is a flow chart for explaining a method for automatically detecting a bird's nest in a tram line of the present invention.
7 is a detailed block diagram of an image noise reduction algorithm applied to a method for automatically detecting a bird's nest in a railroad track of the present invention.
Fig. 8 is a detailed flowchart of a measurement area detection part of an automatic bird nest detection method for a railroad track of the present invention.
9 is a detailed flowchart of a target object recognition part to which the AVA algorithm is applied in the method for automatically detecting a bird's nest in a railroad track of the present invention.
10 is a view for explaining a measurement area detected according to the method of the present invention.
11 and 12 are each a flow chart showing a bird nest recognition algorithm according to an embodiment of the method for automatically detecting the bird nest of the tram line of the present invention.
이하에는 첨부한 도면을 참조하여 본 발명의 전차 선로의 조류 둥지 자동 검출 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the apparatus and method for automatically detecting a bird's nest of a tram line of the present invention.
도 4는 본 발명의 전차 선로의 조류 둥지 자동 검출 장치의 전체적인 시스템 구성도이고, 도 5는 본 발명의 전차 선로의 조류 둥지 자동 검출 장치의 하드웨어적인 블록 구성도이다. 도 4 및 도 5에 도시한 바와 같이. 본 발명의 전차 선로의 조류 둥지 자동 검출 장치는 크게 촬영 파트, 영상기록/전처리 파트 및 전원 파트로 구성되는 차상 구성부 및 이러한 차상 구성부와 무선 통신망을 통해 원격 연결되는 원격 처리 파트를 포함하여 이루어질 수 있다.4 is an overall system configuration diagram of an automatic bird nest detection device for a tram line of the present invention, and FIG. 5 is a hardware block diagram of an automatic bird nest detection device for a tram line of the present invention. 4 and 5. The automatic detection device for bird nests in the tram line of the present invention is largely made up of a vehicle configuration part composed of a shooting part, an image recording / pre-processing part, and a power supply part, and a remote processing part remotely connected to the vehicle configuration part through a wireless communication network. Can be.
전술한 구성에서, 차상 구성부는 전차의 운전실에 탑재되어, 전차 선로 상부 또는 전차 선로와 1m이내에 있는 까치집을 검지한다. 구체적으로, 촬영 파트는 운전실 내부에 취부되고 광각, 예를 들어 94도의 광각 촬영이 가능한 디지털 카메라및 전차의 현재 위치를 실시간으로 알려주는 GPS 수신기를 포함하여 이루어질 수 있다. 디지털 카메라는 전차의 전방 윈도우와 직각이 되지 않게 설치하는 것이 바람직하다.In the above-described configuration, the on-board configuration unit is mounted in the cab of the streetcar, and detects a magpie nest within 1 m from the top of the streetcar track or the streetcar track. Specifically, the photographing part may include a digital camera mounted inside the cab and capable of taking a wide-angle, for example, wide-angle photographing at 94 degrees, and a GPS receiver that informs the current location of the vehicle in real time. It is desirable to install the digital camera so that it is not perpendicular to the front window of the vehicle.
전원 파트 역시, 전차의 운전실 내부에 설치될 수 있는데, 각종 직류 전원의 안정적인 공급이 가능한 SMPS(Switching Mode Power Supply)나 배터리 등으로 구현될 수 있을 것이다.The power part may also be installed inside the cab of the vehicle, and may be implemented by a SMPS (Switching Mode Power Supply) or a battery capable of stably supplying various DC power.
다음으로, 영상기록/전처리 파트 역시 운전실 내부에 취부되는데, UPS와 같은 전원 장치, 유/무선 통신 인터페이스 및 착탈형 HDD(Hard Disk Drive) 또는 SSD(Solid State Disk) 등과 같은 메모리 디바이스를 구비하여 디지털 카메라로부터 실시간으로 수집되는 영상을 기록하고, 전차 환경의 특성을 반영한 컴퓨터비전·영상처리를 위해 ONR(Optimum Noise Reduction) 및 DFD(Dynamic background FEP Device) 등의 기술을 적용하여 전차 선로 상부의 영상을 분석한다. 유/무선 통신 인터페이스는 LTE VPN 및 IEEE 802.11ac 등의 WiFi 근거리 통신망 등을 포함하여 이루어져서 풀 HD급 영상의 실시간 전송을 지원한다.Next, the image recording / pre-processing part is also installed inside the cab, a digital camera with a power supply device such as a UPS, a wired / wireless communication interface, and a memory device such as a removable hard disk drive (HDD) or solid state disk (SSD). Records images collected in real time from the vehicle and analyzes the image on the top of the tank line by applying technologies such as ONR (Optimum Noise Reduction) and DFD (Dynamic background FEP Device) for computer vision and image processing that reflect the characteristics of the vehicle environment. do. The wired / wireless communication interface includes a WiFi local area network such as LTE VPN and IEEE 802.11ac to support real-time transmission of full HD video.
원격 처리 파트는 철도 공사 본사나 역사 등에 설치되고, 차상 구성부와 통신하여 중계 역할을 수행하는 전용 컴퓨터나 전용 뷰어 프로그램 등을 포함하여 이루어져서 전술한 ONR, DFD 및 AVA(Active Video Analysis) 등의 기술을 사용하여 영상 분석을 수행하거나 열람용 영상을 제공한다. 이외에도 전용 뷰어 프로그램이 탑재되어 있는 유지보수 담당자의 전용 컴퓨터 등의 응용 디바이스를 포함하여 이루어져서 유지보수 담당자에게 까지집 검지 GPS 좌표가 포함된 이미지 영상, 예를 들어 GPS 좌표가 표시된 OSD 영상 등을 제공할 수 있다.The remote processing part is installed at the headquarters or station of the railway construction, and includes a dedicated computer or a dedicated viewer program that plays a relay role by communicating with the on-board component, and includes technologies such as ONR, DFD and AVA (Active Video Analysis). Use to perform image analysis or provide images for viewing. In addition, it includes an application device such as a dedicated computer of the maintenance personnel equipped with a dedicated viewer program to provide the maintenance personnel with an image image containing GPS coordinates, such as an OSD image with GPS coordinates. Can be.
도 6은 본 발명의 전차 선로의 조류 둥지 자동 검출 방법을 설명하기 위한 흐름도이다. 도 6에 도시한 바와 같이, 본 발명의 전차 선로의 조류 둥지 자동 검출 방법은 크게 적응형 영상화질 개선 파트, 문형빔 구조물, 일명 까치집 트러스트의 측정영역 검출(궤도중심 ±5,000mm 높이, 전차선로 상부 또는 1m 이내) 파트, 영상보정 단계 및 대상 객체, 예를 들어 까치집 등의 인식 파트를 포함하여 이루어질 수 있다.6 is a flow chart for explaining a method for automatically detecting a bird's nest in a tram line of the present invention. As shown in Fig. 6, the method for automatically detecting the bird nest of the tram line of the present invention is largely the adaptive image quality improvement part, the gate-shaped beam structure, aka the magpie thrust detection area detection (orbit center ± 5,000mm height, the top of the tram line) Or within 1 m) parts, an image correction step, and a target object, for example, a recognition part such as a magpie house.
전술한 구성에서, 적응형 영상화질 개선 파트는 디지탈 카메라에 의해 실시간으로 수집(획득)된 영상에 대한 ONR(Optimum Noise Reduction) 처리 단계를 포함하여 이루어지는데, 렌즈나 카메라 및 촬영 위치나 촬영 방식, 영상잡음 제거를 위한 필터 기술 또는 검지 트리거 신호 발생 방식 등을 고려하여 이루어진다.In the above-described configuration, the adaptive image quality improvement part comprises an ONR (Optimum Noise Reduction) processing step for an image collected (acquired) in real time by a digital camera, a lens or a camera and a shooting location or a shooting method, It takes into account the filter technology for image noise removal or the detection trigger signal generation method.
이 과정에서, 영상의 노이즈로 작용하는 노천(露天)의 다양하게 변화하는 조명 환경, 예를 들어 역광이나 그림자 변화 등을 제거하는 최적 잡음 저감 처리(ONR) 기술과 같은 영상 잡음 필터 기술을 적용할 수 있다.In this process, image noise filter technology, such as optimal noise reduction processing (ONR) technology, which removes backlight or shadow changes, is applied to various lighting environments in the open air that act as noise in the image. Can be.
다음으로, 대상 객체 검출 파트는 고속으로 이동하는 디지털 카메라에서 대상 객체(측정 영역 등)를 검출하고 해석하는 기술을 적용해야 하는 환경이기 때문에 향상된 배경 모델링 기술 등이 적용된 동적 배경 전처리 기술(DFD) 포함하여 이루어질 수 있다.Next, the target object detection part needs to apply the technology to detect and interpret the target object (measurement area, etc.) in a digital camera moving at high speed. Because it is an environment, it can be made by including dynamic background pre-processing technology (DFD) applied with improved background modeling technology.
도 7은 본 발명의 철도 선로의 조류 둥지의 자동 검출 방법에 적용된 영상 잡음 저감 알고리즘의 상세 블록 구성도로서, 백색 블록은 전통적인 영상 개선 알고리즘을 나타내고, 흑색 블록은 본 발명에 의해 개선된 알고리즘을 나타내는데, 기존에 코드가 공개된 영상 개선 알고리즘(Retinex 모델 등)을 근간으로 본 발명에 의해 개선된 알고리즘, 즉 ① ~ ⑥ 블록의 코딩을 구현한다.7 is a detailed block diagram of an image noise reduction algorithm applied to the automatic detection method of a bird's nest in a railroad track of the present invention, the white block represents a traditional image enhancement algorithm, and the black block represents an algorithm improved by the present invention. , Based on the existing code improvement algorithm (Retinex model, etc.) in which the code has been disclosed, the algorithm improved by the present invention, that is, coding of
도 7에 도시한 바와 같이, 본 발명에서는 철도 환경 변화에 적응적인 보정 곡선(EC, Enhanced Curve)을 이용하여 안개 및 저조도 환경에서 영상의 가시성을 향상시킴으로써 높은 대비와 자연 색상을 재현하고, 실시간 환경 변화에 적응한다.As shown in FIG. 7, in the present invention, a high contrast and natural color are reproduced by improving the visibility of an image in a fog and low light environment by using an enhanced curve (EC) adaptive to changes in the railway environment, and a real-time environment Adapt to change.
또한 디지털 카메라에 의해 획득된 RGB 영상으로부터 HSV(Hue, Saturation, Value; 색상, 채도, 명도) 색 모델을 가중 혼합하여 색 항상성(Color Constancy)을 유지하고, 개선 과정 중에서 잡음을 제거하여 보다 선명한 영상을 출력한다.In addition, a weighted mixture of HSV (Hue, Saturation, Value; Hue, Saturation, and Brightness) color models from the RGB images acquired by the digital camera maintains Color Constancy, and removes noise during the improvement process, resulting in clearer images. Output
구체적으로, 비디오 입력(Video In), RGB 색공간으로 분리, 각 채널별 멀티스케일, 즉 크기가 서로 다른 가우시안 필터 G(x,y) 적용한 조명 성분 추정, 추출된 조명 성분 제거를 통한 반사 성분 추정에 의한 보정 곡선(Enhanced Curve; EC) 생성 및 가중치(w) 부여에 의한 합성 영상 출력을 포함하여 이루어지다.Specifically, the video input (Video In), separated into RGB color space, multi-scale for each channel, that is, the Gaussian filter G (x, y) of different sizes is applied, the illumination component estimation, the reflection component estimation by removing the extracted illumination component It is made by including the output of the composite image by the generation of the enhanced curve (EC) and the weight (w).
다음으로, 측정 영역 검출 파트는 DFD 알고리즘을 통해 전술한 적응형 영상 화질 개선 알고리즘(ONR)에 의해 얻어진, 동적 배경을 가진 영상으로부터 대상 객체를 검출하는데, 이를 통해 촬영 영상에서 주행중인 철도 차량의 차창 밖 풍경과 같이 동적인 배경 객체를 제외하여 대상 객체를 검출함으로써, 차창 밖 풍경 등 동적인 배경을 같이 촬영하더라도 대상객체를 정확하게 검출하고 추적할 수 있다.Next, the measurement area detection part detects a target object from an image having a dynamic background, which is obtained by the above-described adaptive image quality improvement algorithm (ONR) through a DFD algorithm, through which the vehicle window of a railway vehicle driving in the captured image By detecting a target object excluding a dynamic background object such as an outside landscape, even if a dynamic background such as a landscape outside the car window is photographed, the target object can be accurately detected and tracked.
도 8은 본 발명의 철도 선로의 조류 둥지의 자동 검출 방법의 측정 영역 검출 파트의 상세 흐름도이다. 도 8에 도시한 바와 같이, 본 발명의 철도 선로의 조류 둥지의 자동 검출 방법의 측정 영역 검출 파트에 따르면, 적응적 영상화질 개선 알고리즘(ONR)을 거쳐 얻어진 영상에서 전경 영상을 획득하고, 이렇게 획득된 전경 영상에 색상 필터를 적용하여 배경 객체와 대상 객체의 이진 영상을 생성하며, 상기 이진 영상에 대해 라벨링을 수행하여 객체를 식별함으로써 대상 객체 블록을 설정한다.8 is a detailed flowchart of a measurement area detection part of an automatic detection method for a bird nest in a railroad track of the present invention. As shown in FIG. 8, according to the measurement area detection part of the automatic detection method of the bird nest of the railway track of the present invention, a foreground image is acquired from an image obtained through an adaptive image quality improvement algorithm (ONR), and thus obtained A color filter is applied to the foreground image to generate a binary image of a background object and a target object, and labeling the binary image identifies an object by setting a target object block.
다음으로, 이렇게 식별된 대상 객체에 대해 상기 ONR을 거친 영상과의 템플릿 매칭을 통해 대상 객체를 추적하고, 배경 객체를 추적하여 대상 객체의 움직임 범위 내이면 해당 배경 객체를 대상 객체로 보정한다.Next, the target object is tracked through the template matching with the image through the ONR for the identified target object, and the background object is tracked to correct the background object as the target object if it is within the range of motion of the target object.
마지막으로 대상 객체 인식 파트는 전차 선로 상부의 까치집 인식 및 분류 작업 후에 비교적 긴 동영상 내에서 검출하고자 하는 측정 영역 정보를 쉽게 파악할 수 있는 트러스트 구조물 중심의 비디오 분석 및 시각화를 제공한다.Finally, the target object recognition part provides video analysis and visualization centering on the trust structure that can easily grasp the measurement area information to be detected within a relatively long video after the magpie collection and classification work on the upper part of the tram line.
도 9는 본 발명의 철도 선로의 조류 둥지의 자동 검출 방법에서 AVA 알고리즘을 적용한 대상 객체 인식 파트의 상세 흐름도이다. 도 9에 도시한 바와 같이, 본 발명의 방법에서 AVA 알고리즘이 적용된 대상 객체 인식 파트는, 측정 영역 검출부, 까치집 특징 검출부, 타켓 객체 검출부, 형태 변화 검출부 및 대상 객체 추적부를 포함하는 까차집 등의 분석에 관한 모듈 및 시각화를 수행하는 대상객체 형태 분류부와 이와 인터페이스를 수행하는 대상객체 관리부를 포함한다.9 is a detailed flowchart of a target object recognition part to which an AVA algorithm is applied in an automatic detection method of a bird's nest on a railroad track of the present invention. As shown in FIG. 9, in the method of the present invention, the target object recognition part to which the AVA algorithm is applied includes analysis of a measurement area detection unit, a magpie feature detection unit, a target object detection unit, a shape change detection unit, and a target object tracking unit. It includes a target object type classification unit for performing modules and visualization and a target object management unit for performing interfaces therewith.
구체적으로, 첫 번째 단계에서는 영상에 나타나는 모든 트러스트 구조물의 까치집 측정 영역을 검출하고, 두 번째 단계에서는 이러한 측정 영역 안에서 까치집 윤곽 및 그 주변의 특징점을 찾아 까치집 모델에 매핑한다.Specifically, the first step detects the magpie measurement areas of all the trust structures appearing in the image, and the second step finds the contour of the magpie and the feature points around it in the measurement area and maps it to the magpie model.
도 10은 본 발명의 방법에 따라 검출된 측정 영역을 설명하기 위한 도인바, 적색 블록 부분이 측정 영역을 나타낸다.10 is a diagram for explaining a measurement area detected according to the method of the present invention, and a red block portion represents a measurement area.
다음으로, 세 번째 단계에서는 영상 내에서 사용자가 등록한 까치집 형상과 일치하는 타겟 객체를 검출하는 타켓 객체 검출을 수행하고, 네 번째 단계에서는 대상 객체의 미세한 변화를 감지하는 객체 변화 검출을 수행하여 검출된 대상 영역이 어떤 형태인지 분류한다. Next, in the third step, the target object detection that detects the target object matching the shape of the magpie registered by the user in the image is performed, and in the fourth step, it is detected by performing the object change detection that detects the minute change of the target object. Classify what the target area looks like.
마지막으로, 다섯 번째 단계에서는 상기 프로세스 처리 과정 중 시간 및 공간 축 상에서 해당 객체의 위치 및 특징의 변화를 추적함으로써 전차 선로 상의 조류 둥지를 비교적 정확하게 검출한 후에 그 위치를 GPS 좌표와 연계하여 사용자에게 정확하게 알려 줄 수 있다.Lastly, in the fifth step, the bird nest on the tram line is detected relatively accurately by tracking changes in the position and characteristics of the object on the time and space axes during the process process, and then the position is accurately associated with the GPS coordinates to the user. I can tell you.
도 11 및 도 12는 각각 본 발명의 전차 선로의 조류 둥지 자동 검출 방법의 일 실시예에 따른 조류 둥지 인식 알고리즘을 보인 흐름도이다. 11 and 12 are flow charts showing a bird nest recognition algorithm according to an embodiment of a method for automatically detecting a bird nest in a tram line of the present invention, respectively.
도 11은 조류 둥지, 예를 들어 까치집이 있다고 판단되는 일명 까치집 레일트러스트를 검출한 이후 처리되는 부분으로 오감지 경우의 수를 고려한 게층화된 딥(deep) 알고리즘을 이용하여 다음과 같이 처리한다. 11 is a part that is processed after detecting a bird nest, for example, a magpie rail trust, which is determined to have a magpie nest, and processes it as follows by using a layered deep algorithm considering the number of false senses.
즉, 까치집이 존재하는데 인식을 하지 못한 경우의 처리는 까치집이 미약하여 까치집 형태의 밀도가 낮은 경우로 좀더 세부적인 판단과 정밀 분석이 필요하다. 그러므로 적정 사이즈 이상의 까치집만을 검출할 필요가 있다.That is, the processing in the case where the magpie nest exists but is not recognized is a case where the magpie nest is weak and the density of the magpie nest is low, requiring more detailed judgment and precise analysis. Therefore, it is necessary to detect only magpies of a suitable size or more.
다음으로, 트러스트 구조물내 다른 형상물(부착물 등)을 까치집으로 오탐하는 경우로서, 이때에는 계층적인 알고리즘으로 처리한다. 즉, 원래 이미지와 영역 비교를 다시 한번 반복적으로 시행한다. 특히 트러스트에는 유일한 까치집만 존재한다고 가정하고 처리하는데, 이는 까치의 동물적 습성상 자기 영역 내에 다른 까치가 집을 짓지 못하게 하는 사실을 반영한 것이다. Next, as a case of falsely detecting other shapes (attachments, etc.) in the trust structure with a magpie, at this time, it is processed by a hierarchical algorithm. That is, the original image and the region are compared once again. In particular, it is assumed that only the only magpie house exists in the trust, and this reflects the fact that the magpie's animal habits prevent other magpies from building within their domain.
이상, 첨부한 도면을 참조하여 본 발명의 전차 선로의 조류 둥지 자동 검출 장치 및 방법의 바람직한 실시예에 대하여 상세히 설명하였으나 이는 예시에 불과한 것이며, 본 발명의 기술적 사상의 범주 내에서 다양한 변형과 변경이 가능할 것이다. 따라서, 본 발명의 권리범위는 이하의 청구범위의 기재에 의하여 정해져야 할 것이다. 예를 들어, 고속 철도 등 속도가 150km/h 이상인 차량에 탑재 시에는 검지율을 높이기 위하여 본 발명의 장치를 후방 전동차 운전실에 설치할 수도 있을 것이다.The preferred embodiments of the apparatus and method for automatically detecting a bird's nest of a tram line of the present invention have been described in detail with reference to the accompanying drawings, but these are merely examples, and various modifications and changes are within the scope of the technical spirit of the present invention. It will be possible. Therefore, the scope of the present invention should be defined by the following claims. For example, when the vehicle is mounted on a vehicle having a speed of 150 km / h or higher, such as a high-speed railway, the apparatus of the present invention may be installed in the rear electric vehicle cab to increase the detection rate.
Claims (15)
상기 차상 구성부와 무선 통신망을 통해 원격 연결되어 상기 차상 구성부로부터 전송된 영상을 기록 및 분석하는 중계 서버와 유지보수용 단말을 포함하여 이루어진 원격 처리 파트를 포함하여 이루어진 전차 선로의 조류 둥지 자동 검출 장치.A shooting part that is installed in place of a tank and includes a GPS receiver and a digital camera to photograph the upper part of the tram line, an image that automatically detects a bird's nest by recording and analyzing the images collected through the shooting part during the operation of the train On-board configuration unit including a recording / pre-processing part and a power supply part for supplying power to the photographing part and the image recording / pre-processing part, and
Automatic detection of a bird's nest in a tram line comprising a remote processing part comprising a relay server and a maintenance terminal that records and analyzes images transmitted from the vehicle configuration unit by being remotely connected to the vehicle configuration unit through a wireless communication network. Device.
상기 촬영 파트 및 상기 영상기록/전처리 파트는 전차의 전방 또는 후방 운전실에 설치되는 것을 특징으로 하는 전차 선로의 조류 둥지 자동 검출 장치.The method according to claim 1,
The photographing part and the image recording / pre-processing part are installed in the front or rear cab of the tram.
상기 디지털 카메라는 운전실 내부에 취부되고 광각 촬영이 가능한 것을 특징으로 하는 전차 선로의 조류 둥지 자동 검출 장치.The method according to claim 2,
The digital camera is mounted inside the cab, and it is possible to take a wide angle shot.
상기 디지털 카메라는 전차의 전방 윈도우와 직각이 되지 않게 설치하는 것을 특징으로 하는 전차 선로의 조류 둥지 자동 검출 장치.The method according to claim 3,
The digital camera is a bird nest automatic detection device of the tram line, characterized in that installed so as not to be perpendicular to the front window of the tram.
상기 영상기록/전처리 파트는 착탈형 메모리 디바이스 및 유/무선 통신 인터페이스를 포함하여 이루어져서 디지털 카메라로부터 실시간으로 수집되는 영상을 기록하고, 전차 환경의 특성을 반영한 컴퓨터비전·영상처리를 위해 ONR(Optimum Noise Reduction) 및 DFD(Dynamic background FEP Device) 기술을 적용하여 전차 선로 상부의 영상을 분석하는 것을 특징으로 하는 전차 선로의 조류 둥지 자동 검출 장치.The method according to claim 4,
The image recording / pre-processing part comprises a removable memory device and a wired / wireless communication interface to record images collected in real time from a digital camera, and ONR (Optimum Noise Reduction) for computer vision and image processing that reflects the characteristics of the vehicle environment. ) And DFD (Dynamic background FEP Device) technology to analyze the image of the upper part of the tram line automatic bird nest detection device.
상기 유지보수용 단말에는 조류 둥지 검출 영상 및 해당 위치의 GPS 좌표 데이터가 표시된 OSD 영상이 제공되는 것을 특징으로 하는 전차 선로의 조류 둥지 자동 검출 장치.The method according to claim 5,
An automatic bird nest detection device for a tram line, characterized in that the maintenance terminal is provided with a bird nest detection image and an OSD image displaying GPS coordinate data of a corresponding location.
상기 최적 잡음 저감 기술에 의해 얻어진, 동적 배경을 가진 영상으로부터 동적인 배경 객체가 제외된 대상 객체 측정 영역을 검출하는 측정 영역 검출 파트;
상기 대상 객체에 대해 상기 최적 잡음 감소 기술로 처리된 영상과의 템플릿 매칭을 통해 대상 객체를 추적하고, 배경 객체를 추적하여 대상 객체의 움직임 범위 내이면 해당 배경 객체를 대상 객체로 보정하는 영상보정 단계 및
대상 객체인 조류 둥지를 인식하는 인식 파트를 포함하여 이루어진 전차 선로의 조류 둥지 자동 검출 방법.The upper image of the train line collected (acquired) in real time by a digital camera mounted on a vehicle is processed with Optimum Noise Reduction (ONR) to obtain an image with reduced noise to improve the image quality. Adaptive image quality improvement parts;
A measurement area detection part for detecting a target object measurement area in which a dynamic background object is excluded from an image having a dynamic background, obtained by the optimal noise reduction technology;
An image correction step of tracking the target object through template matching with the image processed by the optimal noise reduction technology for the target object, and correcting the background object to the target object if the target object is within a movement range of the target object by tracking the background object And
A method for automatically detecting a bird's nest in a tank line comprising a recognition part that recognizes a target object, a bird's nest.
상기 적응형 영상화질 개선 파트는 전차 선로 환경 변화에 적응적인 보정 곡선(EC; Enhanced Curve)을 이용하여 안개 및 저조도 환경에서 영상의 가시성을 향상시킨 것을 특징으로 하는 전차 선로의 조류 둥지 자동 검출 방법.The method according to claim 7,
The adaptive image quality improvement part improves the visibility of an image in a fog and low light environment using an enhanced curve (EC) adaptive to changes in the tram line environment.
상기 적응형 영상화질 개선 파트는 디지털 카메라에 의해 획득된 RGB 영상의HSV 영상으로의 변환, RGB 영상의 색 공간 분리, 상기 분리된 각 색 공간 채널별로 크기가 서로 다른 가우시안 필터 G(x,y) 적용한 조명 성분 추정, 추출된 조명 성분 제거를 통한 반사 성분 추정에 의한 상기 보정 곡선 생성 및 가중치(w) 부여에 의한 합성 영상 출력 단계를 포함하여 이루어진 것을 특징으로 하는 전차 선로의 조류 둥지 자동 검출 방법.The method according to claim 8,
The adaptive image quality improvement part converts RGB images obtained by a digital camera to HSV images, separates the color space of RGB images, and Gaussian filters G (x, y) having different sizes for each of the separated color space channels. A method for automatically detecting a bird's nest in a tram line, comprising the step of generating the correction curve by estimating the applied illumination component, and reflecting component estimation by removing the extracted illumination component, and outputting a composite image by weight (w).
상기 측정 영역 검출 파트는 상기 최적 잡음 저감 기술을 거쳐 얻어진 영상에서 전경 영상을 획득하고, 상기 전경 영상에 색상 필터를 적용하여 배경 객체와 대상 객체의 이진 영상을 생성하며, 상기 이진 영상에 대해 라벨링을 수행하여 객체를 식별함으로써 대상 객체 블록을 설정하는 것을 특징으로 하는 전차 선로의 조류 둥지 자동 검출 방법.The method according to claim 9,
The measurement area detection part acquires a foreground image from an image obtained through the optimal noise reduction technology, applies a color filter to the foreground image, generates a binary image of a background object and a target object, and labels the binary image. A method for automatically detecting a bird's nest in a tram line, characterized by setting a target object block by identifying an object by performing.
상기 인식 파트는 전차 선로 상부의 조류 둥지 인식 및 분류 작업 후에 상대적으로 긴 동영상 내에서 검출하고자 하는 측정 영역 정보를 쉽게 파악할 수 있는 트러스트 구조물 중심의 비디오 분석 및 시각화를 제공하는 것을 특징으로 하는 전차 선로의 조류 둥지 자동 검출 방법.The method according to claim 10,
The recognition part of the tram line characterized in that it provides video analysis and visualization centering on a trust structure that can easily grasp the measurement area information to be detected within a relatively long video after the bird nest recognition and classification operation on the upper part of the tram line. Bird nest automatic detection method.
상기 인식 파트는 동적 비디어 분석(AVA; Active Video Analysis) 기술을 이용하여 대상 객체인 조류 둥지를 인식하는 것을 특징으로 하는 전차 선로의 조류 둥지 자동 검출 방법.The method according to claim 11,
The recognition part automatically detects a bird nest as a target object using a dynamic video analysis (AVA) technique.
상기 인식 파트는, 측정 영역 검출, 조류 둥지 특징 검출, 타켓 객체 검출, 형태 변화 검출 및 대상 객체 추적 단계를 포함하여 이루어진 것을 특징으로 하는 전차 선로의 조류 둥지 자동 검출 방법.The method according to claim 12,
The recognition part, automatic detection method of the bird nest of the tram line, characterized in that it comprises a measurement area detection, bird nest feature detection, target object detection, shape change detection and target object tracking steps.
상기 측정 영역 검출 단계에서는 영상에 나타나는 모든 트러스트 구조물의 까치집 측정 영역을 검출하고,
상기 조류 둥지 특징 검출 단계에서는 상기 측정 영역 안에서 조류 둥지의 윤곽 및 그 주변의 특징점을 찾아 조류 둥지 모델에 매핑하며,
상기 타겟 객체 검출 단계는 영상 내에서 사용자가 등록한 조류 둥지 형상과 일치하는 타겟 객체를 검출하고,
상기 대상 객체 추출 단계는 대상 객체의 미세한 변화를 감지하는 객체 변화 검출을 수행하여 검출된 대상 영역이 어떤 형태인지 분류하는 것을 특징으로 하는 전차 선로의 조류 둥지 자동 검출 방법.The method according to claim 13,
In the detection of the measurement area, the magpie measurement area of all the trust structures appearing in the image is detected,
In the bird nest feature detection step, the contour of the bird nest in the measurement area and the feature points around it are found and mapped to the bird nest model,
The target object detection step detects a target object that matches the bird nest shape registered by the user in the image,
The object object extraction step is a method for automatically detecting a bird's nest in a tram line, characterized by classifying what type of target area is detected by performing object change detection to detect minute changes in the target object.
상기 인식 파트는, 상기 인식 파트의 각 단계 처리 처리 과정 중 시간 및 공간 축 상에서 해당 객체의 위치 및 특징의 변화를 추적함으로써 전차 선로 상의 조류 둥지를 검출한 후에 그 위치를 GPS 좌표와 연계하여 사용자에게 알려주는 것을 특징으로 하는 전차 선로의 조류 둥지 자동 검출 방법.The method according to claim 14,
The recognition part detects a bird's nest on the tram line by tracking changes in the position and characteristics of the object on the time and space axes during each step processing process of the recognition part, and then associates the position with the GPS coordinates to the user Automatic detection method of the bird nest of the tram line, characterized in that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180141143A KR102169211B1 (en) | 2018-11-15 | 2018-11-15 | apparatus and method for automatically detecting bird's cast |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180141143A KR102169211B1 (en) | 2018-11-15 | 2018-11-15 | apparatus and method for automatically detecting bird's cast |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200056879A true KR20200056879A (en) | 2020-05-25 |
| KR102169211B1 KR102169211B1 (en) | 2020-10-22 |
Family
ID=70914680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180141143A KR102169211B1 (en) | 2018-11-15 | 2018-11-15 | apparatus and method for automatically detecting bird's cast |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102169211B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102390204B1 (en) | 2021-10-08 | 2022-04-25 | (주)삼문이엔아이 | On-board system for detecting deformation of railway structures |
| KR102390205B1 (en) | 2021-10-08 | 2022-04-25 | (주)삼문이엔아이 | Structure deformation state artificial intelligence analysis and transmission system |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240000970A (en) | 2022-06-24 | 2024-01-03 | 주식회사 한국코아엔지니어링 | System for real time monitoring of catenary of railway electric power |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010000107A (en) * | 2000-04-28 | 2001-01-05 | 이종법 | System tracking and watching multi moving object |
| KR101537441B1 (en) | 2013-02-20 | 2015-07-16 | 서울과학기술대학교 산학협력단 | Bird fight against the system |
| KR20170053807A (en) * | 2015-11-06 | 2017-05-17 | 주식회사 지오멕스소프트 | A method of detecting objects in the image with moving background |
| US20170327138A1 (en) * | 2016-05-16 | 2017-11-16 | Wi-Tronix, Llc | Video Content Analysis System and Method for Transportation System |
| KR101800233B1 (en) | 2017-04-26 | 2017-11-23 | 성진전력 주식회사 | Remote and Real-time Monitering System of Obstruction of Distribute Power Line by Using Drone |
| KR20180055982A (en) * | 2016-11-16 | 2018-05-28 | 한국철도기술연구원 | Train Configuration Safety Device Using Image Processing and Distance Sensing and its Contol Method |
| KR101849463B1 (en) | 2016-08-24 | 2018-05-30 | 배인준 | Birds eliminating device using renewable energy and sensor |
-
2018
- 2018-11-15 KR KR1020180141143A patent/KR102169211B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010000107A (en) * | 2000-04-28 | 2001-01-05 | 이종법 | System tracking and watching multi moving object |
| KR101537441B1 (en) | 2013-02-20 | 2015-07-16 | 서울과학기술대학교 산학협력단 | Bird fight against the system |
| KR20170053807A (en) * | 2015-11-06 | 2017-05-17 | 주식회사 지오멕스소프트 | A method of detecting objects in the image with moving background |
| US20170327138A1 (en) * | 2016-05-16 | 2017-11-16 | Wi-Tronix, Llc | Video Content Analysis System and Method for Transportation System |
| KR101849463B1 (en) | 2016-08-24 | 2018-05-30 | 배인준 | Birds eliminating device using renewable energy and sensor |
| KR20180055982A (en) * | 2016-11-16 | 2018-05-28 | 한국철도기술연구원 | Train Configuration Safety Device Using Image Processing and Distance Sensing and its Contol Method |
| KR101800233B1 (en) | 2017-04-26 | 2017-11-23 | 성진전력 주식회사 | Remote and Real-time Monitering System of Obstruction of Distribute Power Line by Using Drone |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102390204B1 (en) | 2021-10-08 | 2022-04-25 | (주)삼문이엔아이 | On-board system for detecting deformation of railway structures |
| KR102390205B1 (en) | 2021-10-08 | 2022-04-25 | (주)삼문이엔아이 | Structure deformation state artificial intelligence analysis and transmission system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102169211B1 (en) | 2020-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2174117B1 (en) | Pantograph damage and wear monitoring system | |
| CN109271872B (en) | Device and method for judging on-off state and diagnosing fault of high-voltage isolating switch | |
| US20170066459A1 (en) | Rail track asset survey system | |
| KR102169211B1 (en) | apparatus and method for automatically detecting bird's cast | |
| CN109040693B (en) | Intelligent alarm system and method | |
| CN102759347B (en) | Online in-process quality control device and method for high-speed rail contact networks and composed high-speed rail contact network detection system thereof | |
| KR102122859B1 (en) | Method for tracking multi target in traffic image-monitoring-system | |
| US20130195321A1 (en) | Pantograph monitoring system and method | |
| CN103106766A (en) | Forest fire identification method and forest fire identification system | |
| CN110210427B (en) | Corridor bridge working state detection system and method based on image processing technology | |
| CN110659546B (en) | Illegal booth detection method and device | |
| CN112528861A (en) | Foreign matter detection method and device applied to track bed in railway tunnel | |
| JP3466169B2 (en) | Management system for roads and surrounding facilities | |
| CN112671104A (en) | Transformer substation multidimensional scene control platform facing complex scene | |
| KR20150034398A (en) | A Parking Event Detection System Based on Object Recognition | |
| CN112769877A (en) | Group fog early warning method, cloud server, vehicle and medium | |
| CN110691224A (en) | Transformer substation perimeter video intelligent detection system | |
| CN114155472A (en) | Method, device and equipment for detecting abnormal state of factory scene empty face protection equipment | |
| CN115049623A (en) | Device for analyzing pantograph contour through visual segmentation | |
| KR20110005855U (en) | Black Box | |
| CN112417978A (en) | Vision-based method and device for detecting foreign matters between train and shield door | |
| CN116485799B (en) | Method and system for detecting foreign matter coverage of railway track | |
| US11620827B2 (en) | System and method for identifying activity in an area using a video camera and an audio sensor | |
| CN113487518A (en) | Method for detecting foreign matters in tunnel | |
| EP4125002A2 (en) | A video processing apparatus, method and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| G170 | Re-publication after modification of scope of protection [patent] |