WO2023286941A1 - 열화상 이미지의 발열 및 반사열 판별 방법 - Google Patents

열화상 이미지의 발열 및 반사열 판별 방법 Download PDF

Info

Publication number
WO2023286941A1
WO2023286941A1 PCT/KR2021/017882 KR2021017882W WO2023286941A1 WO 2023286941 A1 WO2023286941 A1 WO 2023286941A1 KR 2021017882 W KR2021017882 W KR 2021017882W WO 2023286941 A1 WO2023286941 A1 WO 2023286941A1
Authority
WO
WIPO (PCT)
Prior art keywords
heat
thermal image
region
interest
thermal
Prior art date
Application number
PCT/KR2021/017882
Other languages
English (en)
French (fr)
Inventor
전이슬
민성목
예송해
이원규
김주식
이희인
최동헌
권장우
이선우
Original Assignee
한국수력원자력 주식회사
주식회사 에이티지
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국수력원자력 주식회사, 주식회사 에이티지, 인하대학교 산학협력단 filed Critical 한국수력원자력 주식회사
Priority to EP21950283.8A priority Critical patent/EP4372676A1/en
Priority to CN202180100563.6A priority patent/CN117730341A/zh
Publication of WO2023286941A1 publication Critical patent/WO2023286941A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E30/00—Energy generation of nuclear origin

Definitions

  • the present invention relates to a method for determining heat generation and reflected heat in a thermal image, and more particularly, to a method for determining heat and reflected heat in a thermal image by photographing and collecting thermal images from a subject and analyzing the heat and reflected heat of the thermal image using artificial intelligence. It's about how to determine.
  • a thermal power plant is a power generation system that generates electricity by generating thermal energy using fossil fuels such as coal and supplying steam generated by the thermal energy to a turbine.
  • a nuclear power plant is a power generation system that generates electricity by generating thermal energy by a nuclear reaction of nuclear fuel and supplying steam generated by the thermal energy to a turbine.
  • a nuclear power plant basically includes a nuclear reactor in which a nuclear reaction occurs and a steam generator that generates steam by the flow of high-temperature primary coolant provided from the nuclear reactor, and primary coolant is provided between the reactor and the steam generator.
  • a circulation pipe is arranged so as to circulate.
  • thermal shock caused by thermal energy to each facility and pipe, etc. require continuous monitoring to prevent damage due to abnormal conditions such as thermal shock caused by thermal energy to each facility and pipe, etc., and to quickly handle failures.
  • a method of analyzing thermal conditions through tracking of high and low temperatures by collecting thermal images of facilities and pipes of each power plant is used. That is, diagnostic evaluation depending on the temperature values of thermal images of facilities and pipes of each power plant is performed, and furthermore, thermal image analysis is performed by a person in charge of thermal image analysis.
  • the above-described method of acquiring temperature values by collecting thermal images of facilities and piping of each power plant and tracking high and low temperatures has a problem in that the time required for diagnosis and evaluation of the diagnosis target increases. there is.
  • the diagnostic evaluation based on the temperature values according to the tracking of the high and low temperatures of the thermal image is performed without accurate determination of the effect of actual heat generation and reflected heat, thereby reducing the reliability of the diagnostic evaluation.
  • the reliability of diagnostic evaluation varies depending on the degree of knowledge of the diagnostic subject of the person in charge of the thermal image analysis.
  • An object of the present invention is to provide a method for determining heat and reflected heat in a thermal image that can analyze a thermal image of a subject to be diagnosed using artificial intelligence and detect and display heat and reflected heat according to the analysis.
  • a method for determining heat and reflective heat in a thermal image comprising the step of displaying areas of heat and reflective heat on the image.
  • moving image data of a subject may be generated by the thermal imaging camera, and the generated moving image data may be extracted and collected as the thermal image for each frame.
  • Step b) includes (i) extracting an ROI of the thermal image through machine learning learning using an object extraction neural network; (ii) extracting RAW data for each pixel of the ROI; ( iii) extracting the temperature data of the region of interest and then separately managing or filing the extracted temperature data.
  • the temperature data extracted from the region of interest may be refined, and a region showing a low heat distribution in the region of interest may be searched in units of pixels to be excluded from the region of interest.
  • Heat distributions exhibiting similar characteristics in the region of interest may be clustered, and clusters having a size smaller than a predetermined reference value may be excluded.
  • a heating point having a value equal to or greater than a predetermined threshold value in the ROI may be detected in units of pixels.
  • a temperature change amount between a pixel to be analyzed and a neighboring pixel in the region of interest may be analyzed, and a value equal to or higher than a preset threshold value may be determined as reflected heat.
  • thermo imaging diagnosis evaluation it is possible to analyze the temperature distribution of the thermal image of the subject collected by taking it from the thermal imaging camera in the field of thermal imaging diagnosis evaluation using artificial intelligence, and detect and display the heat generation and reflected heat of the analyzed thermal image.
  • the accuracy and reliability of diagnostic imaging evaluation can be improved.
  • FIG. 1 is a schematic configuration diagram of a system for determining heat and reflected heat of a thermal image according to an embodiment of the present invention
  • FIG. 2 is an exemplary view of a thermal image collected in a method for determining heat generation and reflected heat of a thermal image according to an embodiment of the present invention
  • FIG. 3 is an example of extracting a region of interest from the thermal image shown in FIG. 2;
  • FIG. 4 is an example of extraction of a region of interest in the thermal image shown in FIG. 3;
  • FIG. 5 is an operational flowchart of a method for determining heat generation and reflected heat in a thermal image according to an embodiment of the present invention.
  • the method for determining heat generation and reflected heat of a thermal image is limited to a power plant facility using thermal energy as a subject, but is not limited thereto, and in various industrial fields using thermal energy. Make it clear in advance that it can be applied with the facility as the subject.
  • FIG. 1 is a schematic configuration diagram of a system for determining heat and reflective heat of a thermal image according to an embodiment of the present invention
  • FIG. FIG. 3 is an example view of extracting a region of interest from the thermal image shown in FIG. 2
  • FIG. 4 is an example view of extracting a region of interest from the thermal image shown in FIG. 3 .
  • the system 10 for determining heat and reflected heat of a thermal image includes a thermal imaging camera 100, a data collection unit 300, and a data analysis unit 500. ), a detection unit 700 and a display unit 900.
  • the system 10 for determining heat generation and reflected heat in a thermal image according to an embodiment of the present invention determines heat generation and reflected heat by taking facilities of a power plant as a subject.
  • the thermal imaging camera 100 photographs a subject.
  • the subject photographed by the thermal imaging camera 100 includes facilities and pipes of a power plant.
  • the thermal imaging camera 100 photographs subjects such as facilities and pipes of a power plant.
  • the thermal imaging camera 100 captures a thermal image F of a subject as a video file.
  • a video file photographed by the thermal imaging camera 100 is extracted as a thermal image F of frame units of still images.
  • a video file of a subject is photographed by the thermal imaging camera 100, and the captured video file is extracted as a thermal image F of a frame unit of a still image and learned when the data analysis unit 500 is trained with learning data. Lack of data can be prevented.
  • the thermal imaging camera 100 captures a video of 30 frames per second, and the video captured by the thermal imaging camera 100 is cut frame by frame to generate learning data.
  • a video file of about 1 minute is generated as 1800 pieces of training data.
  • the data collecting unit 300 collects the thermal image F captured by the thermal imaging camera 100 as learning data.
  • the data collection unit 300 collects frame-unit thermal images F of still images extracted from video files to be trained through machine learning learning using the object extraction neural network in the data analysis unit 500 .
  • the data analyzer 500 analyzes the learning data of the thermal image F secured by the data collector 300 .
  • the data analysis unit 500 extracts the region of interest (I) of the thermal image F through machine learning learning using an object extraction neural network, and the region of interest (I) ) of each pixel and extract the temperature data of the region of interest (I), and then manage or file the extracted temperature data separately.
  • machine learning learning using the object extraction neural network used in the data analysis unit 500 uses a deep learning-based object detection algorithm as an embodiment of the present invention.
  • the deep learning-based object detection algorithm uses the Faster R-CNN algorithm as an embodiment of the present invention, but is not limited thereto and various deep learning-based object detection algorithms may be used.
  • the data analysis unit 500 extracts the ROI (I) of the thermal image (F) through machine learning learning using the object extraction neural network, and refines the temperature data extracted from the ROI (I). After refining the temperature data extracted from the region of interest (I), the region showing low heat distribution in the region of interest (I) is searched for in pixel units and excluded from the region of interest (I).
  • refining the temperature data extracted from the region of interest (I) can improve the speed and accuracy of feature analysis of the thermal image (F).
  • Regions showing low heat distribution in the region of interest (I) are searched and removed in units of pixels, and then heat distributions showing similar characteristics in the region of interest (I) are clustered, and clusters having a size smaller than a certain reference value are excluded.
  • clusters with a small cluster size have a high possibility of measurement errors. Therefore, by applying an exception processing algorithm that excludes clusters below a certain standard value from analysis, the discrimination accuracy of the thermal image (F) can improve
  • the detection unit 700 detects heat generation and reflected heat in the thermal image F according to the analysis of the collected thermal image F.
  • the detection unit 700 detects a heating point having a value equal to or higher than a predetermined threshold in the region of interest (I) on a pixel-by-pixel basis, and analyzes the amount of temperature change between the pixel to be analyzed and the surrounding pixels in the region of interest (I). Reflected heat is judged to be more than the set threshold value.
  • a top n% heating point having a value equal to or greater than a predetermined threshold within the region of interest I is detected in units of pixels.
  • the top 5% heating points may be detected in units of pixels.
  • detecting the top 5% heating points in units of pixels is only an embodiment, and the design of the top n% may be changed.
  • the display unit 900 displays the heating and reflective heat regions in the thermal image F of the heat generation and reflective heat detected by the detector 700 .
  • the display unit 900 generates a comparison image of the thermal image F and displays heat and reflected heat on the original thermal image F.
  • the detection unit 700 and the display unit 900 are separated separately, but may be integrated and used.
  • FIG. 5 is an operational flowchart of a method for determining heat generation and reflected heat in a thermal image according to an embodiment of the present invention.
  • a method for determining heat generation and reflected heat of the thermal image F according to an embodiment of the present invention is as follows.
  • a thermal image F of the subject is collected by photographing the subject with the thermal imaging camera 100 (S100).
  • the thermal imaging camera 100 captures a moving image of a facility of a power plant as a subject, and extracts a moving image file of a subject photographed by the thermal imaging camera 100 into a thermal image F of a frame unit of a still image.
  • an object extraction neural network is used when analyzing the characteristics of the thermal image F. It is possible to prevent a lack of training data necessary for machine learning learning.
  • step S300 The characteristics according to the temperature distribution of the thermal image of the thermal image F are analyzed (S300).
  • step S300 the ROI (I) of the thermal image (F) is extracted through machine learning learning using the object extraction neural network, and RAW data for each pixel of the ROI (I) is extracted.
  • step S300 after extracting the temperature data of the region of interest (I), the extracted temperature data is separately managed or filed.
  • step S300 temperature data extracted from the region of interest (I) is refined, and a region showing a low heat distribution in the region of interest (I) is searched for in pixel units and excluded from the region of interest (I).
  • step S300 heat distributions showing similar characteristics in the region of interest (I) are clustered, and clusters having a size smaller than a predetermined reference value are excluded.
  • Step S500 detects a heating point having a value equal to or greater than a predetermined threshold value in the region of interest I in units of pixels.
  • step S500 analyzes the amount of temperature change between the analysis target pixel and the surrounding pixels in the region of interest I, and determines that the reflected heat is greater than or equal to a predetermined threshold value.
  • step S500 detects a top n% heating point having a value equal to or greater than a predetermined threshold within the region of interest (I) in units of pixels.
  • the top n% heating point is described as the top 5% heating point, but this example is only an embodiment, and the n% value may be changed according to design changes.
  • the detected heating and reflective heating regions are displayed in the thermal image (F) (S700).
  • step S700 heat and reflective heat in the thermal image F detected in step S500 are displayed on the thermal image F as areas of heat and reflective heat.
  • step S700 a comparison image of the thermal image F is generated and heat generation and reflected heat are displayed on the original thermal image F.
  • artificial intelligence can be used to analyze the temperature distribution of the thermal image of the subject captured by the thermal imaging camera and to detect and display the heat generation and reflected heat of the analyzed thermal image.
  • the accuracy and reliability of diagnostic imaging evaluation can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Radiation Pyrometers (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

본 발명에 따른 열화상 이미지의 발열 및 반사열 판별 방법은 a) 열화상 카메라로 피사체를 촬영하여 피사체의 열화상 이미지를 수집하는 단계, b) 열화상 이미지의 열화상의 온도 분포에 따른 특징을 분석하는 단계, c) b) 단계에서의 분석에 따른 열화상 이미지에서의 발열 및 반사열을 검출하는 단계 및 d) c) 단계에서 검출된 열화상 이미지에서의 발열 및 반사열을 열화상 이미지에 발열 및 반사열 영역을 표시하는 단계를 포함하는 것을 특징으로 한다.

Description

열화상 이미지의 발열 및 반사열 판별 방법
본 발명은 열화상 이미지의 발열 및 반사열 판별 방법에 관한 것으로서, 보다 상세하게는 피사체로부터 열화상 이미지를 촬영 및 수집하여 열화상 이미지의 발열 및 반사열을 인공 지능으로 분석하는 열화상 이미지의 발열 및 반사열 판별 방법에 관한 것이다.
화력 발전소는 석탄 등과 같은 화석 연료를 이용하여 열 에너지를 발생 및 열 에너지에 의해 생성된 증기를 터빈으로 공급하여 전기를 생산하는 발전 시스템이다. 원자력 발전소는 핵 연료의 핵 반응에 의한 열 에너지를 발생 및 열 에너지에 의해 생성된 증기를 터빈으로 공급하여 전기를 생산하는 발전 시스템이다.
이러한 화력 발전소와 원자력 발전소는 열 에너지를 이용하여 터빈으로 공급하는 증기를 생성하기 때문에 발전소의 각각의 설비 또는 고온의 유체가 유동되는 배관 등에 열 충격 등의 열 에너지의 영향이 발생한다. 예를 들어, 원자력 발전소는 기본적으로 핵 반응이 발생하는 원자로 및 원자로로부터 제공되는 고온의 1차 냉각재의 유동에 의해 증기를 발생하는 증기발생기를 포함함과 함께 원자로와 증기발생기 사이에 1차 냉각재가 순환하도록 순환 배관이 배치된다.
한편, 열 에너지를 이용하여 증기를 생성하는 발전소의 설비는 상술한 바와 같이 각각의 설비 및 배관 등에 열 에너지에 의한 열 충격 등의 이상 상태에 따른 파손 방지 및 신속한 고장 처리를 위해서 지속적인 모니터링이 필요하다. 예를 들어, 발전소 각각의 설비 및 배관 등의 열화상 이미지를 수집하여 고온 및 저온의 온도에 대한 트래킹을 통하여 열적 상태를 분석하는 방식을 사용한다. 즉, 발전소 각각의 설비 및 배관 등의 열화상 이미지의 온도 값에 의존한 진단 평가를 수행하고, 나아가 열화상 이미지의 분석은 열화상 분석 담당자에 의해 이루어진다.
그런데, 상술한 바와 같은 발전소 각각의 설비 및 배관 등의 열화상 이미지를 수집하고 고온 및 저온의 온도에 대한 트래킹을 수행하여 온도 값을 취득하는 방식은 진단 대상의 진단 평가 소요 시간이 증가되는 문제점이 있다. 또한, 열화상 이미지의 고온 및 저온의 온도에 대한 트래킹에 따른 온도 값에 의존한 진단 평가는 실제 발열 및 반사열 영향에 대한 정확한 판별 없이 수행되어 진단 평가의 신뢰도가 저하되는 문제점이 있을 뿐만 아니라 열화상 이미지의 분석 시 열화상 분석 담당자의 진단 대상에 대한 지식 정도에 따라 진단 평가의 신뢰도의 차이가 발생하는 문제점도 있다.
본 발명의 목적은 인공 지능을 이용하여 진단 대상인 피사체의 열화상 이미지를 분석하고 분석에 따른 발열 및 반사열을 검출 및 표시할 수 있는 열화상 이미지의 발열 및 반사열 판별 방법을 제공하는 것이다.
상기 과제의 해결 수단은, 본 발명에 따라 a) 열화상 카메라로 피사체를 촬영하여 피사체의 열화상 이미지를 수집하는 단계와, b) 상기 열화상 이미지의 열화상의 온도 분포에 따른 특징을 분석하는 단계와, c) 상기 b) 단계에서의 분석에 따른 상기 열화상 이미지에서의 발열 및 반사열을 검출하는 단계와, d) 상기 c) 단계에서 검출된 상기 열화상 이미지에서의 발열 및 반사열을 상기 열화상 이미지에 발열 및 반사열 영역을 표시하는 단계를 포함하는 것을 특징으로 하는 열화상 이미지의 발열 및 반사열 판별 방법에 의해 이루어진다.
상기 a) 단계는 상기 열화상 카메라로 피사체의 동영상 데이터를 생성하고 생성된 상기 동영상 데이터를 프레임별 상기 열화상 이미지로 추출하여 수집할 수 있다.
상기 b) 단계는 (i) 객체 추출 신경망을 활용한 머신러닝 학습을 통해 상기 열화상 이미지의 관심 영역을 추출하는 단계와, (ii) 상기 관심 영역의 픽셀 별 RAW DATA를 추출하는 단계와, (iii) 상기 관심 영역의 온도 데이터를 추출 후 추출된 온도 데이터를 별도 관리 또는 파일화 하는 단계를 포함할 수 있다.
상기 관심 영역에서 추출된 온도 데이터를 정제하고 상기 관심 영역에서 저열 분포를 보이는 영역에 대해서 픽셀 단위로 탐색하여 상기 관심 영역에서 제외할 수 있다.
상기 관심 영역에서 유사 특성을 보이는 열 분포를 군집화 하고 일정 기준치 미만의 크기를 갖는 군집은 제외할 수 있다.
상기 c) 단계는 상기 관심 영역에서의 일정 임계치 이상의 값을 가진 발열 지점을 픽셀 단위로 검출할 수 있다.
상기 c) 단계는 상기 관심 영역에서의 분석 대상 픽셀과 주변 픽셀과의 온도 변화량을 분석하여 기설정된 임계값 이상을 반사열로 판단할 수 있다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명에 따른 열화상 이미지의 발열 및 반사열 판별 방법의 효과는 다음과 같다.
첫째, 인공 지능을 활용하여 열화상 진단 평가 분야에서 열화상 카메라로부터 촬영하여 수집된 피사체의 열화상 이미지의 온도 분포를 분석하고 분석된 열화상 이미지의 발열 및 반사열을 검출 및 표시할 수 있으므로, 열화상 진단 평가의 정확도 및 신뢰성을 향상할 수 있다.
둘째, 열화상 이미지 내에서 관심 영역의 발열 및 반사열 구분 알고리즘을 통해 실시간 열화상 모니터링 기술에 대한 진단 오류를 최소화하여 신뢰도 및 정확도를 향상할 수 있을 뿐만 아니라 열화상 이미지 내에 시각적인 발열 및 반사열 표시를 통해 관련 업무자/작업자에게 업무/작업 효율을 향상시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 열화상 이미지의 발열 및 반사열 판별 시스템의 개략 구성도,
도 2는 본 발명의 실시 예에 따른 열화상 이미지의 발열 및 반사열 판별 방법에서 수집된 열화상 이미지의 예시도,
도 3은 도 2에 도시된 열화상 이미지에 관심 영역을 추출하는 예시도,
도 4는 도 3에서 도시된 열화상 이미지의 관심 영역의 추출 예시도,
도 5는 본 발명의 실시 예에 따른 열화상 이미지의 발열 및 반사열 판별 방법에 대한 작동 흐름도이다.
이하, 본 발명의 실시 예에 따른 열화상 이미지의 발열 및 반사열 판별 방법에 대해 첨부된 도면을 참조하여 상세히 설명한다.
설명하기에 앞서, 본 발명의 실시 예에 따른 열화상 이미지의 발열 및 반사열 판별 방법은 열 에너지를 이용하는 발전소 설비를 피사체로 한정하여 기재하고 있으나, 이에 한정되지 않고 열 에너지를 이용하는 다양한 산업분야에서의 설비를 피사체로 하여 적용할 수 있음을 미리 밝혀둔다.
도 1은 본 발명의 실시 예에 따른 열화상 이미지의 발열 및 반사열 판별 시스템의 개략 구성도, 도 2는 본 발명의 실시 예에 따른 열화상 이미지의 발열 및 반사열 판별 방법에서 수집된 열화상 이미지의 예시도, 도 3은 도 2에 도시된 열화상 이미지에 관심 영역을 추출하는 예시도, 그리고 도 4는 도 3에서 도시된 열화상 이미지의 관심 영역의 추출 예시도이다.
도 1 내지 도 4에 도시된 바와 같이, 본 발명의 실시 예에 따른 열화상 이미지의 발열 및 반사열 판별 시스템(10)은 열화상 카메라(100), 데이터 수집부(300), 데이터 분석부(500), 검출부(700) 및 표시부(900)를 포함한다. 본 발명의 실시 예에 따른 열화상 이미지의 발열 및 반사열 판별 시스템(10)은 발전소의 설비를 피사체로 하여 발열 및 반사열을 판별한다.
열화상 카메라(100)는 도 2에 도시된 바와 같이, 피사체를 촬영한다. 여기서, 열화상 카메라(100)에 의해 촬영되는 피사체는 발전소의 설비 및 배관 등을 포함한다. 열화상 카메라(100)는 발전소의 설비 및 배관 등의 피사체를 촬영한다. 열화상 카메라(100)는 피사체의 열화상 이미지(F)를 동영상 파일로 촬영한다. 열화상 카메라(100)에 의해 촬영된 동영상 파일은 정지 영상의 프레임 단위의 열화상 이미지(F)로 추출된다. 이렇게 열화상 카메라(100)로 피사체의 동영상 파일을 촬영하고, 촬영된 동영상 파일은 정지 영상의 프레임 단위의 열화상 이미지(F)로 추출되어 데이터 분석부(500)에서 학습 데이터로 훈련될 때 학습 데이터의 부족이 발생하는 것을 방지할 수 있다.
상세하게 열화상 카메라(100)는 1초에 30프레임의 동영상을 촬영하고, 열화상 카메라(100)에 의해 촬영된 동영상은 프레임 별로 잘라져 학습 데이터로 생성된다. 본 발명의 일 실시 예와 같이, 초당 30프레임의 동영상을 프레임 별의 학습 데이터로 생성하면 약 1분의 동영상 파일은 1800장의 학습 데이터로 생성된다.
데이터 수집부(300)는 열화상 카메라(100)로부터 촬영된 열화상 이미지(F)를 학습 데이터로 수집한다. 데이터 수집부(300)는 데이터 분석부(500)에서 객체 추출 신경망을 활용한 머신러닝 학습을 통해 훈련되도록 동영상 파일로부터 추출된 정지 영상의 프레임 단위의 열화상 이미지(F)를 수집한다.
데이터 분석부(500)는 데이터 수집부(300)에서 확보된 열화상 이미지(F)의 학습 데이터를 분석한다. 상세하게 데이터 분석부(500)는 도 3 및 도 4에 도시된 바와 같이, 객체 추출 신경망을 활용한 머신러닝 학습을 통해 열화상 이미지(F)의 관심 영역(I)을 추출, 관심 영역(I)의 픽셀 별 RAW DATA를 추출 및 관심 영역(I)의 온도 데이터를 추출한 후 추출된 온도 데이터를 별도 관리 또는 파일화 한다. 여기서, 데이터 분석부(500)에서 사용되는 객체 추출 신경망을 활용한 머신러닝 학습은 본 발명의 일 실시 예로서, 딥러닝 기반의 객체 검출 알고리즘을 사용한다. 딥러닝 기반의 객체 검출 알고리즘은 본 발명이 일 실시 예로서 Faster R-CNN 알고리즘을 사용하나, 이에 한정되지 않고 다양한 딥러닝 기반의 객체 검출 알고리즘이 사용될 수 있다.
데이터 분석부(500)는 객체 추출 신경망을 활용한 머신러닝 학습을 통해 열화상 이미지(F)의 관심 영역(I)을 추출하고, 관심 영역(I)에서 추출된 온도 데이터를 정제한다. 관심 영역(I)에서 추출된 온도 데이터를 정제한 후, 관심 영역(I)에서 저열 분포를 보이는 영역에 대해서 픽셀 단위로 탐색하여 관심 영역(I)에서 제외한다.
여기서, 관심 영역(I)에서 추출된 온도 데이터의 정제는 열화상 이미지(F)의 특징 분석의 속도 및 정확도를 향상할 수 있다. 관심 영역(I)에서 저열 분포를 보이는 영역에 대해서 픽셀 단위 탐색하여 제거한 후, 관심 영역(I)에서 유사 특성을 보이는 열 분포를 군집화 하고 일정 기준치 미만의 크기를 갖는 군집은 제외한다. 구체적으로 열화상 이미지(F)의 특징 분석 중 군집 크기가 작은 군집은 측정 오류 가능성이 크므로 일정 기준치 미만의 군집은 분석에서 제외하는 예외 처리 알고리즘을 적용함으로써, 열화상 이미지(F)의 판별 정확도를 향상할 수 있다.
다음으로 검출부(700)는 수집된 열화상 이미지(F)의 분석에 따른 열화상 이미지(F)에서의 발열 및 반사열을 검출한다. 상세하게 검출부(700)는 관심 영역(I)에서의 일정 임계치 이상의 값을 가진 발열 지점을 픽셀 단위로 검출하고, 관심 영역(I)에서의 분석 대상 픽셀과 주변 픽셀과의 온도 변화량을 분석하여 기설정된 임계 값 이상을 반사열로 판단한다. 예를 들면, 관심 영역(I) 내에서의 일정 임계치 이상의 값을 가진 상위 n% 발열 지점을 픽셀 단위로 검출한다. 본 발명의 일 실시 예로서, 상위 5% 발열 지점을 픽셀 단위로 검출할 수 있다. 물론, 상위 5% 발열 지점을 픽셀 단위로 검출하는 것은 일 실시 예일 뿐 상위 n%는 설계 변경할 수 있다.
마지막으로 표시부(900)는 검출부(700)로부터 검출된 발열 및 반사열을 열화상 이미지(F)에 발열 및 반사열 영역을 표시한다. 표시부(900)는 열화상 이미지(F)의 비교 이미지를 생성하고 원본 열화상 이미지(F)에 발열 및 반사열을 표시한다. 여기서, 본 발명의 일 실시 예로서 검출부(700)와 표시부(900)는 별도로 구분되어 있으나 통합하여 사용할 수 있다.
도 5는 본 발명의 실시 예에 따른 열화상 이미지의 발열 및 반사열 판별 방법에 대한 작동 흐름도이다.
본 발명의 실시 예에 따른 열화상 이미지(F)의 발열 및 반사열 판별 방법은 다음과 같다.
우선 열화상 카메라(100)로 피사체를 촬영하여 피사체의 열화상 이미지(F)를 수집한다(S100). 열화상 카메라(100)는 발전소의 설비를 피사체로 하여 동영상으로 촬영하고, 열화상 카메라(100)로부터 촬영된 피사체의 동영상 파일은 정지 영상의 프레임 단위의 열화상 이미지(F)로 추출한다. 이렇게 열화상 카메라(100)로부터 촬영된 동영상 파일을 정지 영상의 프레임 단위의 열화상 이미지(F)로 추출하여 학습 데이터로 확보함으로써, 열화상 이미지(F)의 특징 분석 시 객체 추출 신경망을 활용한 머신러닝 학습에서 필요한 학습 데이터의 부족을 방지할 수 있다.
열화상 이미지(F)의 열화상의 온도 분포에 따른 특징을 분석한다(S300). 여기서, S300 단계는 객체 추출 신경망을 활용한 머신러닝 학습을 통해 열화상 이미지(F)의 관심 영역(I)을 추출하고, 관심 영역(I)의 픽셀 별 RAW DATA를 추출한다. 그리고, S300 단계는 관심 영역(I)의 온도 데이터를 추출한 후, 추출된 온도 데이터를 별도 관리 또는 파일화 한다. 세부적으로 S300 단계는 관심 영역(I)에서 추출된 온도 데이터를 정제하고, 관심 영역(I)에서 저열 분포를 보이는 영역에 대해서 픽셀 단위로 탐색하여 관심 영역(I)에서 제외한다. 또한, S300 단계는 관심 영역(I)에서 유사 특성을 보이는 열 분포를 군집화 하고, 일정 기준치 미만의 크기를 갖는 군집은 제외한다. 이러한 관심 영역(I)에서 추출된 온도 데이터를 정제하여 저열 분포의 픽셀을 제외 및 일정 기준치 미만의 크기를 갖는 열분포 군집은 제외함으로써, 열화상 이미지(F)에서의 발열 및 반사열 검출 시 오류 발생을 제한하여 열화상 이미지(F)의 발열 및 반사열 판별에 대한 정확도 및 신뢰도를 향상할 수 있다.
열화상 이미지(F)에서의 발열 및 반사열을 검출한다(S500). S500 단계는 관심 영역(I)에서의 일정 임계치 이상의 값을 가진 발열 지점을 픽셀 단위로 검출한다. 또한, S500 단계는 관심 영역(I)에서의 분석 대상 픽셀과 주변 픽셀과의 온도 변화량을 분석하여 기설정된 임계 값 이상을 반사열로 판단한다. 상세하게 S500 단계는 관심 영역(I) 내에서의 일정 임계치 이상의 값을 가진 상위 n% 발열 지점을 픽셀 단위로 검출한다. 상술한 바와 같이, 본 발명의 일 실시 예로서 상위 n% 발열 지점은 상위 5% 발열 지점으로 기재하였으나, 이러한 예는 일 실시 예일뿐 설계 변경에 따라 n% 값은 변경될 수 있다. 열화상 이미지(F)에 검출된 발열 및 반사열 영역을 표시한다(S700). S700 단계는 S500 단계에서 검출된 열화상 이미지(F)에서의 발열 및 반사열을 열화상 이미지(F)에 발열 및 반사열 영역을 표시한다. 구체적으로 S700 단계는 열화상 이미지(F)의 비교 이미지를 생성하고 원본 열화상 이미지(F)에 발열 및 반사열을 표시한다.
이에, 인공 지능을 활용하여 열화상 진단 평가 분야에서 열화상 카메라로부터 촬영하여 수집된 피사체의 열화상 이미지의 온도 분포를 분석하고 분석된 열화상 이미지의 발열 및 반사열을 검출 및 표시할 수 있으므로, 열화상 진단 평가의 정확도 및 신뢰성을 향상할 수 있다.
또한, 열화상 이미지 내에서 관심 영역의 발열 및 반사열 구분 알고리즘을 통해 실시간 열화상 모니터링 기술에 대한 진단 오류를 최소화하여 신뢰도 및 정확도를 향상할 수 있을 뿐만 아니라 열화상 이미지 내에 시각적인 발열 및 반사열 표시를 통해 관련 업무자/작업자에게 업무/작업 효율을 향상시킬 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징들이 변경되지 않고서 다른 구체적인 형태로 실시될 수 있다는 것으로 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (7)

  1. a) 열화상 카메라로 피사체를 촬영하여, 피사체의 열화상 이미지를 수집하는 단계와;
    b) 상기 열화상 이미지의 열화상의 온도 분포에 따른 특징을 분석하는 단계와;
    c) 상기 b) 단계에서의 분석에 따른 상기 열화상 이미지에서의 발열 및 반사열을 검출하는 단계와;
    d) 상기 c) 단계에서 검출된 상기 열화상 이미지에서의 발열 및 반사열을 상기 열화상 이미지에 발열 및 반사열 영역을 표시하는 단계를 포함하는 것을 특징으로 하는 열화상 이미지의 발열 및 반사열 판별 방법.
  2. 제 1항에 있어서,
    상기 a) 단계는 상기 열화상 카메라로 피사체의 동영상 데이터를 생성하고, 생성된 상기 동영상 데이터를 프레임별 상기 열화상 이미지로 추출하여 수집하는 것을 특징으로 하는 열화상 이미지의 발열 및 반사열 판별 방법.
  3. 제 1항에 있어서,
    상기 b) 단계는,
    (i) 객체 추출 신경망을 활용한 머신러닝 학습을 통해 상기 열화상 이미지의 관심 영역을 추출하는 단계와;
    (ii) 상기 관심 영역의 픽셀 별 RAW DATA를 추출하는 단계와;
    (iii) 상기 관심 영역의 온도 데이터를 추출 후, 추출된 온도 데이터를 별도 관리 또는 파일화 하는 단계를 포함하는 것을 특징으로 하는 열화상 이미지의 발열 및 반사열 판별 방법.
  4. 제 3항에 있어서,
    상기 관심 영역에서 추출된 온도 데이터를 정제하고, 상기 관심 영역에서 저열 분포를 보이는 영역에 대해서 픽셀 단위로 탐색하여 상기 관심 영역에서 제외하는 것을 특징으로 하는 열화상 이미지의 발열 및 반사열 판별 방법.
  5. 제 3항에 있어서,
    상기 관심 영역에서 유사 특성을 보이는 열 분포를 군집화 하고, 일정 기준치 미만의 크기를 갖는 군집은 제외하는 것을 특징으로 하는 열화상 이미지의 발열 및 반사열 판별 방법.
  6. 제 1항에 있어서,
    상기 c) 단계는 상기 관심 영역에서의 일정 임계치 이상의 값을 가진 발열 지점을 픽셀 단위로 검출하는 것을 특징으로 하는 열화상 이미지의 발열 및 반사열 판별 방법.
  7. 제 1항 또는 제 6항에 있어서,
    상기 c) 단계는 상기 관심 영역에서의 분석 대상 픽셀과 주변 픽셀과의 온도 변화량을 분석하여, 기설정된 임계 값 이상을 반사열로 판단하는 것을 특징으로 하는 열화상 이미지의 발열 및 반사열 판별 방법.
PCT/KR2021/017882 2021-07-15 2021-11-30 열화상 이미지의 발열 및 반사열 판별 방법 WO2023286941A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21950283.8A EP4372676A1 (en) 2021-07-15 2021-11-30 Method for determining heat and reflected heat in thermal image
CN202180100563.6A CN117730341A (zh) 2021-07-15 2021-11-30 用于确定热图像中的热量和反射热量的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0092826 2021-07-15
KR1020210092826A KR20230012265A (ko) 2021-07-15 2021-07-15 열화상 이미지의 발열 및 반사열 판별 방법

Publications (1)

Publication Number Publication Date
WO2023286941A1 true WO2023286941A1 (ko) 2023-01-19

Family

ID=84919399

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/017882 WO2023286941A1 (ko) 2021-07-15 2021-11-30 열화상 이미지의 발열 및 반사열 판별 방법

Country Status (4)

Country Link
EP (1) EP4372676A1 (ko)
KR (1) KR20230012265A (ko)
CN (1) CN117730341A (ko)
WO (1) WO2023286941A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190077688A (ko) * 2017-12-26 2019-07-04 재단법인대구경북과학기술원 열화상 영상처리장치 및 열화상 영상처리방법
US20200054905A1 (en) * 2017-03-20 2020-02-20 Oy Halton Group Ltd. Fire Safety Devices Methods and Systems
KR20200142147A (ko) * 2019-06-11 2020-12-22 주식회사 비즈모델라인 열화상 인식 기반 객체 정보 인식 방법
KR102219598B1 (ko) * 2019-10-28 2021-02-24 주식회사 엠투아이코퍼레이션 설비용 화재 모니터링 시스템
KR102242477B1 (ko) * 2020-12-30 2021-04-20 주식회사 인텔리코드 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102287043B1 (ko) 2017-05-22 2021-08-06 삼성전자주식회사 카메라를 이용하여 획득한 이미지를 처리하는 전자 장치 및 그 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200054905A1 (en) * 2017-03-20 2020-02-20 Oy Halton Group Ltd. Fire Safety Devices Methods and Systems
KR20190077688A (ko) * 2017-12-26 2019-07-04 재단법인대구경북과학기술원 열화상 영상처리장치 및 열화상 영상처리방법
KR20200142147A (ko) * 2019-06-11 2020-12-22 주식회사 비즈모델라인 열화상 인식 기반 객체 정보 인식 방법
KR102219598B1 (ko) * 2019-10-28 2021-02-24 주식회사 엠투아이코퍼레이션 설비용 화재 모니터링 시스템
KR102242477B1 (ko) * 2020-12-30 2021-04-20 주식회사 인텔리코드 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법

Also Published As

Publication number Publication date
KR20230012265A (ko) 2023-01-26
EP4372676A1 (en) 2024-05-22
CN117730341A (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
CN103982378B (zh) 基于机器视觉图像对电力系统风力发电机叶片表面结冰故障进行诊断的方法
CN110174174A (zh) 基于红外热和可见光成像的检测终端及其使用方法
KR101806217B1 (ko) 태양광 어레이의 열적외선 영상으로부터 오작동 패널을 자동 검출하는 방법 및 장치
CN106846304B (zh) 基于红外检测的电气设备检测方法及装置
CN107833211B (zh) 基于红外图像的零值绝缘子自动检测方法及装置
CN106371013A (zh) 一种基于图片识别的gis开关故障自动识别系统
CN109724993A (zh) 图像识别设备的污损程度的检测方法、装置和存储介质
CN112697798A (zh) 面向红外图像的变电设备电流致热型缺陷的诊断方法和装置
CN105957300B (zh) 一种智慧金睛识别可疑张贴遮蔽报警方法和装置
Liu et al. Monitoring and detection of combustible gas leakage by using infrared imaging
CN115802027A (zh) 基于图像处理的在线监控设备运行异常检测方法
WO2023286941A1 (ko) 열화상 이미지의 발열 및 반사열 판별 방법
CN111896112A (zh) 一种锅炉水冷壁壁温分布快速检测分析评估系统
CN112989901A (zh) 基于深度学习的液位仪读数的识别方法
CN111626104A (zh) 一种基于无人机红外热像的电缆隐患点检测方法和装置
CN111862073A (zh) 一种电力设备的温度采集方法和装置
CN103984956A (zh) 基于机器视觉图像对电力系统风力发电机叶片表面点蚀故障进行诊断的方法
CN105259095A (zh) 宫颈癌细胞病理学排阴法智能筛查系统
CN109492617A (zh) 基于K-means聚类算法的电力电缆诊断方法
CN112784914A (zh) 一种基于云端处理的管廊视频智能属性检测方法及系统
KR20230012264A (ko) 인공 지능을 이용한 설비의 예측 진단 방법
CN116797603B (zh) 一种光伏阵列故障诊断及定位方法
Khatra Yellow rust extraction in wheat crop based on color segmentation techniques
CN117252840B (zh) 一种光伏阵列缺陷消除评定方法、装置及计算机设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21950283

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024502198

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180100563.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2021950283

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021950283

Country of ref document: EP

Effective date: 20240215