KR20240096977A - A system and method for classifying and improving the quality of images for artificial intelligence learning for detecting state damage of concrete structures, and a recording medium recording a computer readable program for executing the method - Google Patents
A system and method for classifying and improving the quality of images for artificial intelligence learning for detecting state damage of concrete structures, and a recording medium recording a computer readable program for executing the method Download PDFInfo
- Publication number
- KR20240096977A KR20240096977A KR1020220177964A KR20220177964A KR20240096977A KR 20240096977 A KR20240096977 A KR 20240096977A KR 1020220177964 A KR1020220177964 A KR 1020220177964A KR 20220177964 A KR20220177964 A KR 20220177964A KR 20240096977 A KR20240096977 A KR 20240096977A
- Authority
- KR
- South Korea
- Prior art keywords
- quality
- standard
- image
- images
- improvement
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000006872 improvement Effects 0.000 claims abstract description 57
- 238000004364 calculation method Methods 0.000 claims abstract description 48
- 238000012821 model calculation Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Abstract
콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 개시된다. 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 시스템은 표준영상 품질기준 산출부, 등급기준 산출부, 영상 획득부, 및 영상 품질등급 산출부를 포함한다. 표준영상 품질기준 산출부는 복수의 표준영상으로부터 표준영상에 대한 품질기준을 산출하고, 등급기준 산출부는 산출된 표준영상의 품질기준을 이용하여 미리 설정된 복수의 등급기준 설정용 영상으로부터 영상품질에 대한 등급기준을 산출고, 영상 획득부는 현장영상을 획득하며, 영상 품질등급 산출부는 등급기준을 이용하여 현장영상의 품질등급을 산출한다. Disclosed are a system and method for classifying and improving the quality of artificial intelligence learning images for detecting condition damage of concrete structures, and a recording medium recording a computer-readable program for executing the method. The quality classification and improvement system of artificial intelligence learning images for detecting damage to concrete structures includes a standard image quality standard calculation unit, a grade standard calculation unit, an image acquisition unit, and an image quality grade calculation unit. The standard video quality standard calculation unit calculates quality standards for standard videos from a plurality of standard videos, and the rating standard calculation unit calculates a rating for video quality from a plurality of preset rating standard setting videos using the quality standards of the calculated standard videos. The standard is calculated, the video acquisition unit acquires the on-site video, and the video quality grade calculation unit uses the rating criteria to calculate the quality grade of the on-site video.
Description
본 발명은 시설물에서의 손상 검출 관련 기술에 관한 것으로서, 더욱 상세하게는 콘크리트 구조물의 손상 상태를 검출하기 위해 사용되는 인공지능 학습용 데이터 관련 기술에 관한 것이다.The present invention relates to technology related to damage detection in facilities, and more specifically, to technology related to artificial intelligence learning data used to detect the damage state of concrete structures.
최근 컴퓨터 비전을 이용하여 시설물(콘크리트 구조물)의 상태손상 검출하기 위해 인공지능을 활용하는 연구가 시도되고 있지만 실제 적용에 있어서는 아직 정확도나 신뢰도가 부족한 실정이다. 실제 유지관리 업무에서, 예를 들어 균열의 경우에는 0.1mm 단위의 정확도를 요구하는 등, 높은 수준의 정밀도와 정확도가 요구되고 있기 때문이다.Recently, research has been attempted using artificial intelligence to detect damage to facilities (concrete structures) using computer vision, but accuracy and reliability are still lacking in actual application. This is because in actual maintenance work, a high level of precision and accuracy is required, for example, in the case of cracks, an accuracy of 0.1 mm is required.
현재 드론이나 차량 등에 설치한 카메라로부터 이미지 데이터를 수집하고 정제하여 인공지능 학습데이터로 활용하고는 있지만, 취득한 이미지의 분해능이나 해상도에 따라 인공지능으로부터 얻는 시설물 상태손상 검출의 정확도에서 차이가 발생한다.Currently, image data is collected and refined from cameras installed on drones or vehicles and used as artificial intelligence learning data, but there is a difference in the accuracy of facility damage detection obtained from artificial intelligence depending on the resolution or resolution of the acquired image.
한편, 카메라로부터 콘크리트 구조물을 촬영한 이미지로 손상상태를 점검하는 장비에서 대상 시설물의 현장 조건(조명, 먼지, 장애물, 햇빛, 날씨)에 따라 이미지의 품질이 일정하지 못한 문제가 있지만, 아직은 이미지 자체 품질에 대한 분류 기준이 명확하지 못한 상태이다.On the other hand, in equipment that checks the state of damage using images taken of concrete structures from a camera, there is a problem with the image quality being inconsistent depending on the site conditions (lighting, dust, obstacles, sunlight, weather) of the target facility, but the image itself is still The classification criteria for quality are unclear.
이미지 촬영 변수 요인은 카메라의 경우 노출(셔터스피드, ISO, 렌즈 조리개), fps, 해상도 등이고, 외부 요인으로 조명 밝기, 빛 반사, 주행속도, 먼지, 습도 등 매우 다양하며, 다양한 조건에 따라 이미지의 품질 또한 매우 다르게 된다. Image shooting variable factors include exposure (shutter speed, ISO, lens aperture), fps, resolution, etc. in the case of a camera, and external factors include lighting brightness, light reflection, driving speed, dust, humidity, etc., and the image quality varies depending on various conditions. The quality also varies greatly.
품질이 다른 이미지를 수집하여 정제한 인공지능 학습데이터의 정확도나 신뢰도는 알고리즘 해결로는 어려운 부분이 있으므로, 이미지의 품질에 대한 정량적 분류 방법을 통해 인공지능 학습용 데이터로 제공하는 것이 필요하다. Since the accuracy and reliability of artificial intelligence learning data collected and refined from images of different quality are difficult to solve through algorithms, it is necessary to provide artificial intelligence learning data through a quantitative classification method for image quality.
본 발명은 상술한 종래의 문제점을 해결하기 위해 안출된 것으로서, 인공지능 학습용 데이터의 정확도나 신뢰도를 개선하기 위해, 인공지능 학습용 데이터로 제공되는 이미지의 품질에 대한 정량적 분류 방법을 제공하고, 이를 개선하는 시스템 및 방법을 제공하는 것을 목적으로 한다.The present invention was developed to solve the above-described conventional problems. In order to improve the accuracy or reliability of artificial intelligence learning data, it provides a quantitative classification method for the quality of images provided as artificial intelligence learning data and improves it. The purpose is to provide a system and method that does this.
상기 목적을 달성하기 위해 본 발명에 따른 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 시스템은 표준영상 품질기준 산출부, 등급기준 산출부, 영상 획득부, 및 영상 품질등급 산출부를 포함한다.In order to achieve the above purpose, the quality classification and improvement system of artificial intelligence learning images for detecting condition damage of concrete structures according to the present invention includes a standard image quality standard calculation unit, a grade standard calculation unit, an image acquisition unit, and an image quality grade calculation unit. Includes wealth.
표준영상 품질기준 산출부는 복수의 표준영상으로부터 표준영상에 대한 품질기준을 산출하고, 등급기준 산출부는 산출된 표준영상의 품질기준을 이용하여 미리 설정된 복수의 등급기준 설정용 영상으로부터 영상품질에 대한 등급기준을 산출고, 영상 획득부는 현장영상을 획득하며, 영상 품질등급 산출부는 등급기준을 이용하여 현장영상의 품질등급을 산출한다. The standard video quality standard calculation unit calculates quality standards for standard videos from a plurality of standard videos, and the rating standard calculation unit calculates a rating for video quality from a plurality of preset rating standard setting videos using the quality standards of the calculated standard videos. The standard is calculated, the video acquisition unit acquires the on-site video, and the video quality grade calculation unit uses the rating criteria to calculate the quality grade of the on-site video.
또한, 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 시스템은 베이스라인 모델 산출부, 개선필터 산출부, 및 현장영상 개선부를 더 포함할 수 있다. 베이스라인 모델 산출부는 영상 품질에 대한 베이스라인 모델을 산출하고 개선필터 산출부는 표준영상 및 현장영상에 대해 각각 산출된 베이스라인 모델을 비교하여 현장영상에 대한 개선필터를 산출하며, 현장영상 개선부는 개선필터를 이용하여 현장영상을 처리한다.In addition, the quality classification and improvement system of artificial intelligence learning images for detecting condition damage of concrete structures may further include a baseline model calculation unit, an improvement filter calculation unit, and an on-site image improvement unit. The baseline model calculation unit calculates a baseline model for image quality, the improvement filter calculation unit calculates an improvement filter for the field image by comparing the baseline models calculated for the standard image and field image, and the field image improvement section provides improvement. Process on-site images using filters.
이때, 영상품질은 영상에 대한 선명도 및 노이즈 품질을 포함할 수 있다.At this time, the image quality may include the clarity and noise quality of the image.
또한, 표준영상 품질기준 산출부는 복수의 표준영상에 대해 각각 측정된 영상의 선명도와 노이즈의 평균값을 이용하여 표준영상에 대한 품질기준을 산출할 수 있다.In addition, the standard image quality standard calculation unit may calculate the quality standard for the standard image using the average value of image clarity and noise measured for each of the plurality of standard images.
또한, 등급기준 산출부는 복수의 등급기준 설정용 영상에 대해 측정된 영상의 선명도와 노이즈 분포를 표준영상에 대한 품질기준과 비교하여 등급기준을 산출할 수 있다.In addition, the rating standard calculation unit may calculate the rating standard by comparing the sharpness and noise distribution of the image measured for the plurality of images for setting the rating standard with the quality standard for the standard image.
또한, 개선필터는 영상의 노이즈 및 블러를 제거하기 위한 업스케일링 필터 및 영상의 선명도 향상을 위한 에지 강화 필터를 포함할 수 있다.Additionally, the improvement filter may include an upscaling filter to remove noise and blur from the image and an edge enhancement filter to improve image clarity.
또한, 개선필터 산출부는 현장영상 개선부를 통해 개선된 개선영상을 이용하여 개선필터를 개선할 수 있다.Additionally, the improvement filter calculation unit can improve the improvement filter using the improved image improved through the field image improvement unit.
아울러, 상기 시스템을 방법의 형태로 구현한 발명과 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체가 함께 개시된다.In addition, an invention implementing the system in the form of a method and a recording medium recording a computer-readable program for executing the method are also disclosed.
본 발명에 의하면, 인공지능 학습데이터의 정확도나 신뢰도를 개선하기 위해, 인공지능 학습용 데이터로 제공될 이미지의 품질에 대한 정량적 분류 방법을 제공하고, 이를 개선할 수 있게 된다.According to the present invention, in order to improve the accuracy or reliability of artificial intelligence learning data, it is possible to provide and improve a quantitative classification method for the quality of images to be provided as artificial intelligence learning data.
또한, 다양한 현장 조건을 반영한 실내환경 조성으로, 다양한 종류의 카메라를 이용한 이미지 품질 실험 가능해 진다.Additionally, by creating an indoor environment that reflects various field conditions, it becomes possible to experiment with image quality using various types of cameras.
또한, 현장의 이미지 품질과 비교하여, 향후 이미지 품질 기준을 반영한 인공지능 학습용 데이터로 활용이 가능해 진다.Additionally, by comparing it with the image quality in the field, it becomes possible to use it as artificial intelligence learning data that reflects image quality standards in the future.
또한, 과거에 취득한 이미지에 대해서도 품질 분류가 가능하여, 학습용 데이터로 활용 여부가 판단 가능해 진다.In addition, it is possible to classify the quality of images acquired in the past, making it possible to determine whether they can be used as learning data.
도 1은 본 발명의 일 실시예에 따른 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 시스템의 개략적인 블록도.
도 2는 도 1의 시스템을 구현한 이미지 품질 분류 모델의 모식도.
도 3은 선명도 및 노이즈 알고리즘을 도시한 도면.1 is a schematic block diagram of a quality classification and improvement system for artificial intelligence learning images for detecting damage to a concrete structure according to an embodiment of the present invention.
Figure 2 is a schematic diagram of an image quality classification model implementing the system of Figure 1.
3 is a diagram showing the sharpness and noise algorithm.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the attached drawings.
도 1은 본 발명의 일 실시예에 따른 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 시스템의 개략적인 블록도이고, 도 2는 도 1의 시스템을 구현한 이미지 품질 분류 모델의 모식도이다.Figure 1 is a schematic block diagram of a quality classification and improvement system for artificial intelligence learning images for detecting condition damage of concrete structures according to an embodiment of the present invention, and Figure 2 is an image quality classification model implementing the system of Figure 1. This is a schematic diagram.
도 1에서 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 시스템은 표준영상 품질기준 산출부(110), 등급기준 산출부(120), 영상 획득부(130), 영상 품질등급 산출부(140), 베이스라인 모델 산출부(150), 개선필터 산출부(160), 및 현장영상 개선부(170)를 포함한다.In Figure 1, the quality classification and improvement system of artificial intelligence learning images for detecting damage to concrete structures includes a standard image quality standard calculation unit 110, a grade
표준영상 품질기준 산출부(110)는 복수의 표준영상으로부터 표준영상에 대한 품질기준을 산출한다. 이때, 영상품질은 영상에 대한 선명도 및 노이즈 품질을 포함할 수 있다. 또한, 표준영상 품질기준 산출부(110)는 복수의 표준영상에 대해 각각 측정된 영상의 선명도와 노이즈의 평균값을 이용하여 표준영상에 대한 품질기준을 산출할 수 있다.The standard image quality standard calculation unit 110 calculates quality standards for standard images from a plurality of standard images. At this time, the image quality may include the clarity and noise quality of the image. In addition, the standard image quality standard calculation unit 110 may calculate the quality standard for the standard image using the average value of image clarity and noise measured for each of the plurality of standard images.
보다 구체적으로, 영상품질 기준 정의에서는 노이즈의 측정은 3x3의 매스크에 대해서 중앙값(median)을 적용하는 메디안 필터를 사용해서 필터링된 영상의 픽셀값과 원영상의 픽셀값에 대해서, 각 픽셀 별로 R,G,B값을 3차원 공간의 값으로 두고, 대응하는 픽셀간의 유클리드 거리를 구한 후 모든 거리값을 합한 후에 전체 픽셀 수로 나눈 값을 노이즈량으로 정의한다.More specifically, in the definition of image quality standards, noise is measured using a median filter that applies the median to a 3x3 mask, and R for each pixel for the pixel value of the filtered image and the pixel value of the original image. Let G and B values be values in 3D space, calculate the Euclidean distance between corresponding pixels, add up all distance values, and define the value divided by the total number of pixels as the amount of noise.
선명도의 경우는 노이즈와 동일하게 라플라시안 2차 미분자를 적용한 영상과 원 영상간의 픽셀 간의 3차원 유클리드 거리의 합을 픽셀수로 나눈 평균거리값을 선명도량으로 정의한다. 표준이미지에 대해서 각 이미지 별로 선명도량과 노이즈량을 측정한 후 각각에 대한 분포에서 중앙치(median)를 기준 선명도량 및 노이즈량으로 정의한다.In the case of sharpness, the amount of sharpness is defined as the average distance value obtained by dividing the sum of the 3D Euclidean distances between pixels between the image to which the Laplacian second-order derivative is applied and the original image, as with noise, divided by the number of pixels. For standard images, after measuring the amount of sharpness and noise for each image, the median in the distribution for each is defined as the standard amount of sharpness and noise.
등급기준 산출부(120)는 산출된 표준영상의 품질기준을 이용하여 미리 설정된 복수의 등급기준 설정용 영상으로부터 영상품질에 대한 등급기준을 산출한다. 이때, 등급기준 산출부(120)는 복수의 등급기준 설정용 영상에 대해 측정된 영상의 선명도와 노이즈 분포를 표준영상에 대한 품질기준과 비교하여 등급기준을 산출할 수 있다.The rating
보다 구체적으로, 영상품질 등급 정의 파트에서는 영상품질 기준설정용 현장영상에서 측정된 선명도량과 노이즈량의 분포에 대해서 분포의 평균값이 표준이미지의 기준 선명도값과 노이즈값이 되고 표준편차가 1이 되도록 변환하고 기준값에서 표준편차의 값에 따라서 표준편차의 값이 낮을수록 높은 등급이 되도록 등급을 정의할 수 있다.More specifically, in the image quality grade definition part, for the distribution of the amount of sharpness and noise amount measured in field images for setting video quality standards, the average value of the distribution becomes the standard sharpness value and noise value of the standard image and the standard deviation is 1. After converting, the grade can be defined so that the lower the standard deviation value, the higher the grade depending on the value of the standard deviation from the standard value.
영상 획득부(130)는 현장영상을 획득하며, 영상 품질등급 산출부(140)는 등급기준을 이용하여 현장영상의 품질등급을 산출한다. 영상품질 등급산정 파트에서는 취득된 현장영상에 대해서, 영상품질 측정 모듈에서 해당 영상의 선명도량과 노이증량을 계산하고 이 값이 포함되는 영상품질 등급을 맞게 영상의 META정보에 영상의 품질 등급을 기록하는 것이다.The
보다 상세하게 정리하면, 이미지 품질을 분석하기 위해서는 품질 테스트 차트를 활용해야 하며, 테스트 차트는 국제표준 ISO 12233(국내 번역 KS A ISO 12233), ISO 15739를 따른다. 대상 시설물은 콘크리트 구조물에 한하여 취득한 이미지가 대상이다.To summarize in more detail, a quality test chart must be used to analyze image quality, and the test chart follows the international standards ISO 12233 (Korean translation KS A ISO 12233) and ISO 15739. The images acquired are limited to concrete structures.
이미지 품질을 비교하기 위한 지표는 선명도, 노이즈, ISO 감도, 색상 정확도로 구분한다. 선명도는 촬영 거리로 인한 해상도 손실, 모션 블러(motion blur) 등을 평가하는 지표로 MTF(Modulation Transfer Function)으로 평가한다. 노이즈와 관련된 요소는 이미지의 픽셀 크기, 노출시간, ISO 감도 등이 있으며, SNR(Signal to Noise Ratio)로 평가한다.Indicators for comparing image quality are divided into sharpness, noise, ISO sensitivity, and color accuracy. Sharpness is an indicator that evaluates resolution loss and motion blur due to shooting distance and is evaluated using MTF (Modulation Transfer Function). Factors related to noise include image pixel size, exposure time, and ISO sensitivity, and are evaluated by SNR (Signal to Noise Ratio).
ISO 감도는 이미지 센서가 빛에 반응하는 것을 측정한 것으로 감도가 높을수록 좋은 이미지 품질을 캡처하는데 필요한 빛(조리개 및 노출 시간 단축)이 줄어든다. 채도 기반 ISO 감도(센서 또는 시스템을 포함한 휘도 레벨에 대한 감도)와 표준 출력 감도(노출을 결정하는데 사용되는 영역의 표준 출력 레벨이 되는 감도)의 두 가지 방법으로 평가한다. 색상 정확도는 컬러 색상과 그레이스케일 색상을 평가한다. ISO sensitivity is a measure of the image sensor's response to light; the higher the sensitivity, the less light (shorter aperture and exposure time) required to capture good image quality. It is evaluated in two ways: saturation-based ISO sensitivity (sensitivity to the luminance level containing the sensor or system) and standard output sensitivity (sensitivity at which the standard output level of the area used to determine exposure is used). Color accuracy evaluates color color and grayscale color.
카메라의 이미지 센서, 노출(셔터스피드, ISO, 조리개 F값)은 이미지의 품질에 영향을 미치며 서로 상호관계가 있으며 해당 설정 조건에 따라 품질에 영향을 미친다.The camera's image sensor and exposure (shutter speed, ISO, aperture F value) affect the quality of the image, are interrelated, and affect quality depending on the corresponding setting conditions.
상기 이미지 촬영 시 카메라의 성능과 촬영환경에 따라서 취득된 이미지의 품질에는 차이가 발생할 수 있으며, 이 영상을 학습데이터로 구축된 영상인식 모델의 정확도의 차이가 발생할 수 있다.When shooting the image, there may be differences in the quality of the acquired image depending on the performance of the camera and the shooting environment, and differences in the accuracy of the image recognition model built with this image as learning data may occur.
영상인식 모델의 정확도 확보를 위해서 학습에 사용되는 이미지의 품질을 규정하고 이미지의 품질을 등급화하고, 모델 정확도를 높이기 위해서 높은 품질의 영상을 선별할 수 있는 영상 품질 분류 모델이 필요하다.To ensure the accuracy of an image recognition model, an image quality classification model is needed that can specify the quality of images used for learning, grade the quality of images, and select high-quality images to increase model accuracy.
이를 위해서 실내의 표준적인 환경에서 촬영된 이미지(테스트 차트)를 기준으로 하여, 각 현장에서 취득한 이미지의 품질을 위의 지표로 분류하는 모델을 제시한다.To this end, based on images (test charts) taken in a standard indoor environment, we present a model that classifies the quality of images acquired at each site using the above indicators.
모델은 크게 영상품질 기준 정의, 영상품질 등급 정의, 영상품질 등급 산정의 3가지 파트로 이루어진다. 영상품질 기준 정의 파트에서는 이미지의 선명도 및 노이즈에 대한 정량적인 측정방법을 정의한 후, 다수의 표준이미지로 취득 후, 이들 이미지에 대해서 선명도와 노이즈를 측정한 후, 표준이미지의 평균 선명도 및 노이즈를 바탕으로 표준이미지에 대한 선명도 및 노이즈의 기준값을 수립한다.The model largely consists of three parts: definition of image quality standards, definition of image quality grade, and calculation of image quality grade. In the video quality standard definition part, a quantitative measurement method for image sharpness and noise is defined, then a number of standard images are acquired, sharpness and noise are measured for these images, and then the average sharpness and noise of the standard images are measured. Establish standard values for clarity and noise for standard images.
영상품질 등급 정의 파트에서는 영상품질기준을 수립하기 위해서 현장에서 일반적으로 수집될 수 있는 현장영상에 대한 DB를 구축 후, 이 영상들의 선명도와 노이즈 분포를 측정한 후, 표준이미지의 선명도와 노이즈 값에 대한 값의 차에 기반한 이미지 품질 등급을 정의한다.In the image quality grade definition part, in order to establish image quality standards, a database of field images that can be generally collected in the field is built, the sharpness and noise distribution of these images are measured, and then the sharpness and noise values of the standard images are compared. Define an image quality grade based on the difference between the values.
이미지 품질 정의에 있어서는 선명도와 노이즈가 표준이미지에 가까울수록 품질등급이 높게 설정된다. 영상품질 등급 산정파트에서는 취득된 현장영상을 영상품질측정 모듈을 통해서 영상품질 등급을 산정한다. 각 파트는 SW로 구현이 되며, 하나의 시스템으로 사용될 수 있으며, 각 개별 파트가 독립적인 SW모듈로 사용될 수 있다. In defining image quality, the closer the sharpness and noise are to the standard image, the higher the quality level is set. In the video quality grade calculation part, the video quality grade is calculated for the acquired on-site video through the video quality measurement module. Each part is implemented in SW and can be used as one system, and each individual part can be used as an independent SW module.
한편, 품질 분류 모델을 활용하여 선명도와 노이즈 개선을 위한 알고리즘을 활용하여, 낮게 평가된 이미지의 품질을 일정 등급 이상으로 개선할 수 있다. 선명도 및 노이즈 개선을 위한 알고리즘 및 프로세스는 도 3과 같다. 도 3은 선명도 및 노이즈 알고리즘을 도시한 도면이다. Meanwhile, by utilizing an algorithm for improving clarity and noise using a quality classification model, the quality of images that are evaluated as low can be improved to a certain level or higher. The algorithm and process for improving clarity and noise are shown in Figure 3. Figure 3 is a diagram showing the sharpness and noise algorithm.
베이스라인 모델 산출부(150)는 영상 품질에 대한 베이스라인 모델을 산출한다. 우선 표준이미지와 현장취득 영상을 이용한 딥러닝기반 영상인식 베이스라인 모델을 구축하는 것이다. 표준이미지 기반 베이스라인 모델과 현장취득용 베이스라인 모델을 상호 비교분석함으로써, 인식 정확도에 영향을 주는 요인에 대한 분석을 수행할 수 있다.The baseline
개선필터 산출부(160)는 표준영상 및 현장영상에 대해 각각 산출된 베이스라인 모델을 비교하여 현장영상에 대한 개선필터를 산출하고, 현장영상 개선부(170)는 개선필터를 이용하여 현장영상을 처리한다. 이때, 개선필터는 영상의 노이즈 및 블러를 제거하기 위한 업스케일링 필터 및 영상의 선명도 향상을 위한 에지 강화 필터를 포함할 수 있다. The improvement
인식 정확도에 영향을 주는 요인의 분석결과를 통해서 현장터널 이미지의 품질 개선 요소를 정의하고, 이를 개선하기 위한 업스케일링 필터 및 에지 강화 필터를 개발하는 것이다. 업스케일링 필터는 노이즈 및 블러제거 효과를, 에지 강화 필터는 선명도의 향상을 목표로 한다.The purpose is to define quality improvement factors for field tunnel images through analysis results of factors affecting recognition accuracy, and to develop upscaling filters and edge enhancement filters to improve them. The upscaling filter aims to remove noise and blur, and the edge enhancement filter aims to improve clarity.
또한, 개선필터 산출부(160)는 현장영상 개선부(170)를 통해 개선된 개선영상을 이용하여 개선필터를 개선할 수 있다. 각 필터의 적용을 통해서 선명도 강화 영상을 취득한 후 이를 베이스라인 모델을 통해서 검증하는 것이다.Additionally, the improvement
베이스라인 모델 검증은 표준이미지 기반 모델을 통해서는 이상적 상태에서의 정확도를, 현장 이미지 기반 모델에서는 현실적 상황에서의 정확도를 도출하고, 이들 간극에 대한 분석 및 이를 통해서 필터 개선 요소를 도출한다. 이후, 필터 개선 요소를 바탕으로 다시 필터 개선 작업을 수행하고 다시 개선요소를 도출하는 과정을 반복할 수 있다.Baseline model verification derives accuracy in ideal conditions through a standard image-based model and accuracy in realistic situations through a field image-based model, analyzes these gaps, and derives filter improvement factors through this. Afterwards, the filter improvement work can be performed again based on the filter improvement factors and the process of deriving improvement factors can be repeated.
본 발명이 비록 일부 바람직한 실시예에 의해 설명되었지만, 본 발명의 범위는 이에 의해 제한되어서는 아니 되고, 특허청구범위에 의해 뒷받침되는 상기 실시예의 변형이나 개량에도 미쳐야할 것이다.Although the present invention has been described in terms of some preferred embodiments, the scope of the present invention should not be limited thereby, but should extend to modifications and modifications of the above embodiments as supported by the claims.
110: 표준영상 품질기준 산출부
120: 등급기준 산출부
130: 영상 획득부
140: 영상 품질등급 산출부
150: 베이스라인 모델 산출부
160: 개선필터 산출부
170: 현장영상 개선부110: Standard image quality standard calculation unit
120: Grade standard calculation unit
130: Image acquisition unit
140: Video quality grade calculation unit
150: Baseline model calculation unit
160: Improvement filter calculation unit
170: On-site video improvement department
Claims (15)
상기 표준영상의 품질기준을 이용하여 미리 설정된 복수의 등급기준 설정용 영상으로부터 영상품질에 대한 등급기준을 산출하는 등급기준 산출부;
현장영상을 획득하는 영상 획득부; 및
상기 등급기준을 이용하여 상기 현장영상의 품질등급을 산출하는 영상 품질등급 산출부를 포함하는 것을 특징으로 하는 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 시스템.
Standard image quality standard calculation unit that calculates quality standards for the standard image from a plurality of standard images:
a rating standard calculation unit that calculates a rating standard for video quality from a plurality of preset rating standard setting images using the quality standards of the standard video;
An image acquisition unit that acquires on-site images; and
A quality classification and improvement system for artificial intelligence learning images for detecting condition damage of concrete structures, comprising an image quality grade calculation unit that calculates a quality grade of the field image using the grade standard.
영상 품질에 대한 베이스라인 모델을 산출하는 베이스라인 모델 산출부;
상기 표준영상 및 상기 현장영상에 대해 각각 산출된 베이스라인 모델을 비교하여 상기 현장영상에 대한 개선필터를 산출하는 개선필터 산출부; 및
상기 개선필터를 이용하여 상기 현장영상을 처리하는 현장영상 개선부를 더 포함하는 것을 특징으로 하는 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 시스템.
In claim 1,
A baseline model calculation unit that calculates a baseline model for image quality;
An improvement filter calculation unit that calculates an improvement filter for the field image by comparing baseline models calculated for the standard image and the field image, respectively; and
A quality classification and improvement system for artificial intelligence learning images for detecting condition damage of concrete structures, further comprising a field image improvement unit that processes the field image using the improvement filter.
상기 영상품질은 상기 영상에 대한 선명도 및 노이즈 품질을 포함하는 것을 특징으로 하는 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 시스템.
In claim 2,
The image quality is a system for classifying and improving the quality of images for artificial intelligence learning for detecting damage to the condition of concrete structures, characterized in that it includes clarity and noise quality for the image.
상기 표준영상 품질기준 산출부는 상기 복수의 표준영상에 대해 각각 측정된 영상의 선명도와 노이즈의 평균값을 이용하여 상기 표준영상에 대한 품질기준을 산출하는 것을 특징으로 하는 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 시스템.
In claim 3,
The standard image quality standard calculation unit calculates the quality standard for the standard image using the average value of the image clarity and noise measured for each of the plurality of standard images. A quality classification and improvement system for images for intelligent learning.
상기 등급기준 산출부는 복수의 등급기준 설정용 영상에 대해 측정된 영상의 선명도와 노이즈 분포를 상기 표준영상에 대한 품질기준과 비교하여 상기 등급기준을 산출하는 것을 특징으로 하는 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 시스템.
In claim 4,
The rating standard calculation unit calculates the rating standard by comparing the clarity and noise distribution of the image measured for the plurality of rating standard setting images with the quality standard for the standard image to detect damage to the condition of the concrete structure. A quality classification and improvement system for artificial intelligence learning images.
상기 개선필터는 영상의 노이즈 및 블러를 제거하기 위한 업스케일링 필터 및 영상의 선명도 향상을 위한 에지 강화 필터를 포함하는 것을 특징으로 하는 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 시스템.
In claim 5,
The improvement filter includes an upscaling filter to remove noise and blur of the image and an edge enhancement filter to improve the clarity of the image. Classification and improvement of the quality of images for artificial intelligence learning for detecting damage to the condition of concrete structures. system.
상기 개선필터 산출부는 상기 현장영상 개선부를 통해 개선된 개선영상을 이용하여 상기 개선필터를 개선하는 것을 특징으로 하는 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 시스템.
In claim 6,
A quality classification and improvement system for artificial intelligence learning images for detecting condition damage of concrete structures, wherein the improvement filter calculation unit improves the improvement filter using an improved image improved through the field image improvement unit.
복수의 표준영상으로부터 상기 표준영상에 대한 품질기준을 산출하는 표준영상 품질기준 산출 단계:
상기 표준영상의 품질기준을 이용하여 미리 설정된 복수의 등급기준 설정용 영상으로부터 영상품질에 대한 등급기준을 산출하는 등급기준 산출 단계;
현장영상을 획득하는 영상 획득 단계; 및
상기 등급기준을 이용하여 상기 현장영상의 품질등급을 산출하는 영상 품질등급 산출 단계를 포함하는 것을 특징으로 하는 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 방법.
A method of classifying and improving the quality of artificial intelligence learning images performed by a quality classification and improvement system of artificial intelligence learning images for detecting condition damage of concrete structures,
Standard image quality standard calculation step of calculating quality standards for the standard image from a plurality of standard images:
A rating standard calculation step of calculating a rating standard for image quality from a plurality of preset rating standard setting images using the quality standards of the standard video;
An image acquisition step of acquiring on-site images; and
A method for classifying and improving the quality of images for artificial intelligence learning for detecting damage to a concrete structure, comprising an image quality grade calculation step of calculating a quality grade of the field image using the grade standard.
영상 품질에 대한 베이스라인 모델을 산출하는 베이스라인 모델 산출 단계;
상기 표준영상 및 상기 현장영상에 대해 각각 산출된 베이스라인 모델을 비교하여 상기 현장영상에 대한 개선필터를 산출하는 개선필터 산출 단계; 및
상기 개선필터를 이용하여 상기 현장영상을 처리하는 현장영상 개선 단계를 더 포함하는 것을 특징으로 하는 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 방법.
In claim 8,
A baseline model calculation step of calculating a baseline model for image quality;
An improvement filter calculation step of calculating an improvement filter for the field image by comparing baseline models calculated for the standard image and the field image, respectively; and
A method for classifying and improving the quality of images for artificial intelligence learning for detecting damage to a concrete structure, further comprising a field image improvement step of processing the field image using the improvement filter.
상기 영상품질은 상기 영상에 대한 선명도 및 노이즈 품질을 포함하는 것을 특징으로 하는 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 방법.
In claim 9,
The image quality is a method for classifying and improving the quality of images for artificial intelligence learning for detecting damage to the condition of concrete structures, characterized in that the image quality includes clarity and noise quality for the image.
상기 표준영상 품질기준 산출 단계는 상기 복수의 표준영상에 대해 각각 측정된 영상의 선명도와 노이즈의 평균값을 이용하여 상기 표준영상에 대한 품질기준을 산출하는 것을 특징으로 하는 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 방법.
In claim 10,
The standard image quality standard calculation step is for detecting damage to the concrete structure, characterized in that the quality standard for the standard image is calculated using the average value of the image clarity and noise measured for each of the plurality of standard images. Methods for classifying and improving the quality of images for artificial intelligence learning.
상기 등급기준 산출 단계는 복수의 등급기준 설정용 영상에 대해 측정된 영상의 선명도와 노이즈 분포를 상기 표준영상에 대한 품질기준과 비교하여 상기 등급기준을 산출하는 것을 특징으로 하는 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 방법.
In claim 11,
The grading standard calculation step is to calculate the grading standard by comparing the clarity and noise distribution of the image measured for the plurality of grading standard setting images with the quality standards for the standard image to detect damage to the condition of the concrete structure. Methods for classifying and improving the quality of images for artificial intelligence learning.
상기 개선필터는 영상의 노이즈 및 블러를 제거하기 위한 업스케일링 필터 및 영상의 선명도 향상을 위한 에지 강화 필터를 포함하는 것을 특징으로 하는 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 방법.
In claim 12,
The improvement filter includes an upscaling filter to remove noise and blur of the image and an edge enhancement filter to improve the clarity of the image. Classification and improvement of the quality of images for artificial intelligence learning for detecting damage to the condition of concrete structures. method.
상기 개선필터 산출 단계는 상기 현장영상 개선부를 통해 개선된 개선영상을 이용하여 상기 개선필터를 개선하는 것을 특징으로 하는 콘크리트 구조물의 상태손상 검출을 위한 인공지능 학습용 이미지의 품질 분류 및 개선 방법.
In claim 13,
The improvement filter calculation step is a method of classifying and improving the quality of images for artificial intelligence learning for detecting condition damage of concrete structures, characterized in that the improvement filter is improved using the improved image improved through the field image improvement unit.
A recording medium recording a computer-readable program for executing the method of any one of claims 8 to 14.
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240096977A true KR20240096977A (en) | 2024-06-27 |
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100545867C (en) | Aerial shooting traffic video frequency vehicle rapid checking method | |
| CN111476827B (en) | Target tracking method, system, electronic device and storage medium | |
| CN107330373A (en) | A kind of parking offense monitoring system based on video | |
| CN110751630B (en) | Power transmission line foreign matter detection method and device based on deep learning and medium | |
| CN112697814B (en) | Cable surface defect detection system and method based on machine vision | |
| CN111965636A (en) | Night target detection method based on millimeter wave radar and vision fusion | |
| CN110255318B (en) | Method for detecting idle articles in elevator car based on image semantic segmentation | |
| CN109489724A (en) | A kind of tunnel safe train operation environment comprehensive detection device and detection method | |
| CN112966665A (en) | Pavement disease detection model training method and device and computer equipment | |
| CN110634137A (en) | Bridge deformation monitoring method, device and equipment based on visual perception | |
| CN110189375A (en) | A kind of images steganalysis method based on monocular vision measurement | |
| CN111476785B (en) | Night infrared light-reflecting water gauge detection method based on position recording | |
| CN113688817A (en) | Instrument identification method and system for automatic inspection | |
| CN114972177A (en) | Road disease identification management method and device and intelligent terminal | |
| CN113449632A (en) | Vision and radar perception algorithm optimization method and system based on fusion perception and automobile | |
| CN114596316A (en) | Road image detail capturing method based on semantic segmentation | |
| CN112597928A (en) | Event detection method and related device | |
| CN116612103A (en) | Intelligent detection method and system for building structure cracks based on machine vision | |
| CN117269193B (en) | Intelligent detection method for apparent mass of synthetic leather | |
| CN113281780B (en) | Method and device for marking image data and electronic equipment | |
| CN114708532A (en) | Monitoring video quality evaluation method, system and storage medium | |
| CN111597992B (en) | Scene object abnormity identification method based on video monitoring | |
| CN117422699A (en) | Highway detection method, highway detection device, computer equipment and storage medium | |
| CN112924037A (en) | Infrared body temperature detection system and detection method based on image registration | |
| CN116091506B (en) | Machine vision defect quality inspection method based on YOLOV5 |