KR20200060372A - 단열재 하부부식(cui)을 식별하기 위해 신경망을 이용한 서모그래피 이미지 처리 - Google Patents

단열재 하부부식(cui)을 식별하기 위해 신경망을 이용한 서모그래피 이미지 처리 Download PDF

Info

Publication number
KR20200060372A
KR20200060372A KR1020207007832A KR20207007832A KR20200060372A KR 20200060372 A KR20200060372 A KR 20200060372A KR 1020207007832 A KR1020207007832 A KR 1020207007832A KR 20207007832 A KR20207007832 A KR 20207007832A KR 20200060372 A KR20200060372 A KR 20200060372A
Authority
KR
South Korea
Prior art keywords
machine learning
cui
learning system
thermograph
additional data
Prior art date
Application number
KR1020207007832A
Other languages
English (en)
Other versions
KR102578769B1 (ko
Inventor
에이맨 에이머
알리 쉬히리
브라이언 패럿
모하메드 사라즈
Original Assignee
사우디 아라비안 오일 컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사우디 아라비안 오일 컴퍼니 filed Critical 사우디 아라비안 오일 컴퍼니
Publication of KR20200060372A publication Critical patent/KR20200060372A/ko
Application granted granted Critical
Publication of KR102578769B1 publication Critical patent/KR102578769B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N17/00—Investigating resistance of materials to the weather, to corrosion, or to light
    • G01N17/04—Corrosion probes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
    • G01K1/00—Details of thermometers not specially adapted for particular types of thermometer
    • G01K1/02—Means for indicating or recording specially adapted for thermometers
    • G01K1/04—Scales
    • G01K1/045—Scales temperature indication combined with the indication of another variable
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
    • G01N27/72—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables
    • G01N27/82—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws
    • G01N27/90—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws using eddy currents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0445—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Environmental Sciences (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Electrochemistry (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Image Analysis (AREA)
  • Radiation Pyrometers (AREA)

Abstract

구조물 내의 단열재(CUI)를 식별하는 방법은, 적외선 카메라를 사용하여 구조물로부터 서모그래프를 수신하는 단계, 제1 기계학습 시스템을 사용하여 상기 서모그래프에 필터를 적용하는 단계, 상기 필터로부터의 출력에 기초하여 초기에 CUI 분류를 결정하는 단계, 및 상기 구조물의 검사에 의해 초기 CUI 분류를 검증하는 단계를 포함한다. 제1 기계학습 시스템은 검증의 결과들을 사용하여 트레이닝된다. 제1 기계학습 시스템의 출력과 부가적인 구조물적 및 환경적 데이터는 이전 상태로부터 현재 상태로 정보를 통합하는 제2 기계학습 시스템에 제공된다. 제2 기계학습 시스템은, CUI 분류 정확도에 대한 제2 임계값에 도달할 때까지 제1 기계학습 시스템의 출력들의 변화들 및 시간에 따른 부가적인 데이터에 따라 CUI를 식별하도록 훈련된다. 그 후, CUI가 제1 및 제2 기계학습 시스템들을 함께 사용하여 식별된다.

Description

단열재 하부부식(CUI)을 식별하기 위해 신경망을 이용한 서모그래피 이미지 처리
본 발명은 검사 기술에 관한 것으로, 특히, 단열재 하부부식(CUI)을 식별하기 위해 신경망을 이용하여 서모그래피 이미지 처리가 사용되는 방법 및 시스템에 관한 것이다.
단열재 하부부식(corrosion under insulation, CUI)은 금속 파이프와 같은 단열된 구조물이 단열재 아래의 금속 표면에서 부식을 겪는 상태이다. 대개, 전체 구조물을 둘러싸는 단열 덮개로 인해 부식이 쉽게 관찰될 수 없기 때문에 CUI는 검출하기가 어렵다. CUI의 전형적인 원인은 단열 재료에 침투하는 수분 축적이다. 수분은 단열재 및 금속 표면 사이의 환형(annular) 공간에 축적되어, 표면 부식을 야기한다. 부식을 유발할 수 있는 수분 공급원은 비, 누수, 및 수분 응축, 냉각수 탑 드리프트, 배수 시스템 및 스팀 트레이싱(steam tracing) 누수를 포함한다. 일반적으로 부식은 국부적으로 시작되지만, 반복적인 열 사이클이나, 염화물 또는 산과 같은 물 매질 내의 오염물이 존재하는 경우, 빠른 속도로 부식이 진행될 수 있다.
연구들은 파이프 유지 비용의 40% 내지 60%가 CUI에 의해 야기된다는 것을 나타낸다. CUI가 검출되지 않는 경우, 그 결과, 프로세스 유닛 또는 전체 설비의 폐쇄가 이어질 수 있고, 대형 사고로 이어질 수 있다. CUI는 숨겨진 부식 메커니즘이기 때문에, 단열재 아래의 금속 상태를 확인하기 위해 단열재가 제거되거나, 적외선 서모그래피와 같은, 향상된 비파괴 시험(non-destructive testing, NDT) 기술이 사용될 때까지 손상이 인지되지 않는다. 단열재의 제거는 시간 소모적이고 고비용의 공정일 수 있는 반면, NDT 기술의 정확도는 검출 공정에서 긍정 오류(부식의 부정확한 검출) 및 부정 오류(부식의 부정확한 비-검출)를 야기하는 다수의 변수들(예를 들어, 기하학적, 환경적, 물질-관련 변수들)로 인해 불충분할 수 있다.
따라서, CUI 검출의 정확도를 향상시키기 위해, 외부의 그리고 혼재된 변수들이 더 적절하게 고려될 수 있게 하는 NDT 검출 프로세스의 개선이 필요하다.
본 발명의 실시예들은 구조물 내의 단열재 하부부식(CUI)을 식별하기 위한 컴퓨터 구현 방법을 제공한다. 상기 방법은: a) 적외선 복사 센서를 이용하여 구조물로부터 포착된 서모그래프를 수신하는 단계; b) 제1 기계학습 시스템을 이용하여 서모그래프에 하나 이상의 필터를 적용하는 단계; c) 하나 이상의 필터로부터의 출력에 기초하여 CUI 분류를 초기에 결정하는 단계; d) 구조물에 대한 검사에 의해 초기 CUI 분류를 검증하는 단계; e) 검증의 결과에 기초하여 제1 기계학습 시스템의 필터를 트레이닝하는 단계; f) CUI 분류 정확도에 대한 제1 임계값에 도달할 때까지 부가적인 서모그래프 데이터를 이용하여 단계 a) 내지 단계 e)를 반복하는 단계를 포함한다. 후속 단계들에서, 제1 기계학습 시스템의 출력들과 구조물 및 환경 조건들과 관련된 부가적인 데이터는 이전 상태들로부터 현재 상태들로의 정보를 포함하는 제2 기계학습 시스템으로 입력되고, 제2 기계학습 시스템은 CUI 분류 정확도에 대한 제2 임계값에 도달할 때까지 시간에 따른 제1 기계학습 시스템의 출력들 및 부가적인 데이터의 변화들에 따라 CUI를 식별하도록 트레이닝된다. 제1 및 제2 임계값에 도달한 후에, 제1 및 제2 기계학습 시스템들을 함께(in coordination) 사용하여 현재의 서모그래프 및 부가적인 데이터에 기초하여 CUI가 구조물 내에서 식별된다.
일부 실시예에서, 제1 기계학습 시스템은 컨볼루션 신경망을 포함한다. 컨볼루션 신경망의 구현은 복수의 계층적 레이어들을 포함할 수 있으며, 각각의 계층적 레이어는 컨볼루션 단계, 비선형 함수 단계 및 풀링 단계를 포함한다.
일부 실시예에서, 제2 기계학습 시스템은 재귀적 신경망을 포함한다.
일부 구현예에서, 제2 기계학습 시스템에 대한 부가적 데이터 입력은 시간에 따라 측정된 주위 온도, 구조물의 물리적 특성 및 기상 조건을 포함한다. 유리하게는, 제1 기계학습 시스템 및 제2 기계학습 시스템은 구조물 외부의 물체로부터의 적외 복사의 반사와 관련하여 긍정 오류 발견을 인식하도록 트레이닝될 수 있다.
CUI의 식별은 높은 가능도로 수분을 함유하는 단열재 하부의 구조물의 취약 영역을 식별하는 단계를 포함할 수 있다. 일부 구현예에서, 검증은 다음의 기술들 중 적어도 2개를 사용하여 수행된다: 펄스 에디 전류 평가, 시각적 검사, 단열재 제거, 및 벽 박화(wall thinning)의 초음파 시험.
다른 구현예에서, 범주형 변수들을 인코딩하고 연속 변수들을 정규화하기 위해, 서모그래프 데이터 및 부가적인 데이터를 전처리하는 단계를 포함한다. 서모그래프 데이터, 환경 변수 및 구조물의 정보는 신경망에 대한 입력으로서 이용될 수 있다.
본 발명의 실시예들은 또한, 구조물로부터 방출된 적외 복사를 포착하도록 배치되고 통신 모듈을 통해 포착된 복사의 서모그래프를 전달하도록 구성된, 상기 통신 모듈을 포함하는 적외선 카메라와, 프로세서, 메모리 및 통신 모듈을 포함하는 컴퓨터 시스템을 포함하는, 구조물 내의 단열재 하부부식(CUI)을 식별하기 위한 시스템을 제공한다. 컴퓨터 시스템의 프로세서는, i) 제1 기계학습 시스템을 이용하여, 통신 모듈을 통해 적외선 카메라로부터 수신된 서모그래프에 하나 이상의 필터를 적용하는 단계; ii) 하나 이상의 필터로부터의 출력에 기초하여 CUI 분류를 초기에 결정하는 단계; iii) 구조물에 대한 검사에 의해 초기 CUI 분류를 검증하는 단계; 및 iv) 검증의 결과에 기초하여 제1 기계학습 시스템의 필터를 트레이닝하는 단계를 수행하는 프로그램을 실행하도록 구성된다. 프로세서는, CUI 분류 정확도에 대한 제1 임계값에 도달할 때까지 부가적인 서모그래프 데이터를 사용하여 단계 i) 내지 단계 iv)을 반복하도록 구성된다. 제1 기계학습 시스템의 출력들과, 구조물 및 환경 조건들과 관련된 부가적인 데이터는 이전 상태로부터 현재 상태로의 정보를 포함하는 제2 기계학습 시스템으로 입력된다. 제2 기계학습 시스템은, CUI 분류 정확도에 대한 제2 임계값에 도달할 때까지 제1 기계학습 시스템의 출력들의 변화들 및 시간에 따른 부가적인 데이터에 따라 CUI를 식별하도록 훈련된다. 제1 및 제2 임계값에 도달한 후에, 제1 및 제2 기계학습 시스템들을 함께(in coordination) 사용하여 현재의 서모그래프 및 부가적인 데이터에 기초하여 CUI가 구조물 내에서 식별된다.
본원에 개시된 다양한 실시예들 및 구현예들의 임의의 조합들이 사용될 수 있다.
이들 및 다른 측면, 특징 및 이점은 본 발명의 특정 실시예 및 첨부된 도면 및 청구의 다음의 설명으로부터 이해될 수 있다.
도 1은 본 발명의 일 실시예에 따른 열 이미징을 이용하여 CUI를 검출하기 위한 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 CUI의 식별을 위한 신경망을 이용한 열 화상 처리 방법의 개략도이다.
도 3은 본 발명의 맥락에서 사용될 수 있는 예시적인 컨볼루션 신경망의 개략도이다.
도 4는 컨볼루션이 이미지 데이터에 적용될 수 있는 방법의 예를 도시하는 개략도이다.
도 5는 본 발명의 맥락에서 사용될 수 있는 예시적인 재귀적 신경망(RNN)(500)의 개략도이다.
도면들은 예시적인 것이며, 반드시 축척에 맞지는 않음을 유의해야 한다.
본원에 개시된 실시예들은 모든 종속적 및 독립적 주변 변수들을 고려하여 단열재 하부부식(CUI)의 예측적 검출을 위한 시스템 및 방법에 관한 것이다. 상기 방법은 시간에 따라 다수의 IR(적외선) 카메라를 사용하여 구조물의 열 화상 데이터(서모그래프)를 포착하는 단계, 서모그래프 데이터를 처리 및 분석하여 부식을 나타내는 하나 이상의 아노말리가 구조물에 존재하는지에 대한 초기 결정을 형성하는 단계, 및 후속된 검사(검증)을 수행하여 초기 이상 분석의 정확도를 평가하는 단계를 포함한다. 검증 프로세스의 결과는 시간에 따른 이상 분석 및 분류의 정확도를 개선하기 위해 지도학습 프로세스에 피드백된다. 상관관계를 발견하고 CUI 검출의 확률을 증가시키기 위해, 서모그래피 기술에 의해 발견된 이상에 대한 전자기 NDT를 이용하여 부가적인 평가가 수행될 수 있다.
분석 및 훈련의 주요 목적은 학습 시스템이 현재 환경의, 구조물의 그리고 실험의 파라미터를 고려하여 아노말리를 적절히 구별할 수 있게 하는 것이다. 긍정 오류 및 부정 오류 결정들을 방지하기 위해, 이 프로세스에서는 다수의 파라미터들이 고려된다. 일 예로서, 구조물이 태양광에 직접 노출되는 동안, 구조물 상의 고온 지점의 검출은 이례적인 상태가 아니다. 이와 달리, 고온 지점을 야기할 것으로 예상될 수 있는 태양광 및/또는 다른 외부 조건의 부재 하에서 고온 지점이 발생하는 경우, 단열재가 어떤 방식으로든 손상되었다는 초기 결론이 도출될 수 있다. 후자의 경우, 아노말리가 기록되고, 검사된 이후에, 기록된 아노말리가 CUI의 정확한 식별인지 여부를 검증하기 위해 알고리즘을 트레이닝하는 리포트가 생성된다. 반복적으로 수행되는 경우, 검증 및 피드백은 시간이 지나면서 소프트웨어가 더욱 "지능적"이 되도록 한다.
다른 조합으로 다수의 서로 다른 기계학습 알고리즘이 제한 없이 사용될 수 있다. 특히 유용한 기계학습 프로세스의 일 실시예는 "컨볼루션"(CNN) 및 "재귀적"(RNN) 신경망들의 조합을 포함한다. CNN은 이미지 토폴로지에 따라 추상화 레벨로 열 이미지를 계층화하는 데에 특히 유용하며, RNN은 시간에 따른 패턴을 검출하는 데에 특히 유용하다. 고온 지점을 발견하고, 시간에 따른 그들의 디벨롭을 판별하는 데에 초점이 맞춰지므로, 그 2개의 요인이 모두 중요하다. 또한, 일부 실시예에서, 더 많은 계산 시간 비용에서 더 높은 정확도를 달성하기 위해서 "Adaboost"와 같은 부스팅 알고리즘들이 CNN 및 RNN과 함께 사용될 수 있다. 실수는 매우 비용이 많이 들기 때문에, 계산 시간의 희생으로 정확도를 높이는 것은 용인될 수 있는 트레이드-오프이다.
도 1은 본 발명의 일 실시예에 따른 열 이미징을 이용하여 CUI를 검출하기 위한 시스템(100)의 개략도이다. CUI에 대해 테스트될 예시적인 구조물(102)은 단열재(110)의 층에 의해 둘러싸인 파이프(105)를 포함한다. 단열재는 얇은 금속 랩, 또는 임의의 다른 통상적인 구조물의 단열재를 갖는 발포층을 포함할 수 있다. 파이프(105)의 외부 표면 및 단열재(110) 사이의 접합부에는 수분이 축적되어 하부 파이프의 부식 및 열화를 유도할 수 있는 계면(115)이 존재한다. 도 1의 예시에서는, 파이프 표면(122, 124) 위에 부식이 형성된 2개의 영역이 도시되어 있다.
단열재 하부부식을 검출하기 위해, 삼각대와 같은 이동가능한 플랫폼(135) 상에 장착되는 적외선 카메라(130)는, 구조물의 전체 길이 및 둘레로부터 데이터를 포착하기 위해 다양한 종방향 위치 및 각도에서 구조물(102)로부터 방출되는 적외선 복사를 포착하도록 배치된다. 하이-업(high-up) 파이프 설치와 같이, 접근하기 어려운 위치들의 구조물에 적절한 대안적인 실시예에서는, 적외선 카메라(130)가 무인 항공기(예를 들어, 드론) 상에 장착될 수 있다. 무인 항공기는 열 화상 데이터를 수집하도록 그러한 위치들에서 관심 구조물들로 이동하기 위해서 검사 직원에 의해 원격으로 제어될 수 있다. 플랫폼(135) 또는 무인 항공기(UAV)는 습도, 기압 및 풍속을 포함하는 환경 조건을 검출하는 부가적인 센서를 포함할 수 있다. 적외선 카메라(130)에 의해 포착된 적외선 복사의 열 화상, 또는 서모그래프는 온도 차이들을 나타내고, 가시 스펙트럼 복사에서 검출될 수 없는 단열재 하부의 대비를 드러낸다. 보다 구체적으로, 파이프라인 표면의 적외선(IR) 열 패턴은 단열재를 통해 따뜻한 내부 파이프로부터 외부 랩(wrap)으로 전도되는 열에 의해 야기된다.
적외선 카메라(130)는 바람직하게는 선택된 (긴) 기간 동안 연속적으로 구조물(103)의 영역들로부터 수신된 적외선 복사를 나타내는 서모그래프를 포착한다. 카메라(130)는 서모그래프를 컴퓨터 판독가능한 파일 포맷(즉, 도 1에 도시된 서모그래프 파일들(137))으로 변환하도록 구성된다. 서모그래프 파일들(135)은 바람직하게는 부가적인 처리를 위해 무선 통신 모드(예를 들어, 블루투스, Wi-Fi)를 통해 현장 컴퓨터 시스템(140)으로 전달된다. 다른 구현예에서, 서모그래프 파일들(135)은 유선 접속을 통해 통신될 수 있거나, 또는 대안적으로, 적외선 카메라에서 메모리 매체(예를 들어, SD 카드, 플래시 드라이브)에 저장될 수 있고, 이어서 수동으로, 컴퓨터 시스템(140)으로 전달될 수 있다.
컴퓨터 시스템(140)은 이하 도 2와 관련하여 더 상세히 설명되는 바와 같이, CUI를 검출하기 위해 기계학습 알고리즘을 트레이닝하기 위해 사용되는 프로그램들을 실행할 수 있는 태블릿, 랩탑, 스마트폰 또는 임의의 다른 휴대용 컴퓨팅 장치일 수 있다. 컴퓨터 시스템은 장기간의 서모그래프 데이터를 저장하는 데에 사용되는 데이터베이스(145)에 통신가능하게 연결된다. 많은 서모그래프들이 구조물의 다양한 위치들에서 그리고 연장된 기간들(예를 들어, 수 분부터 수 시간까지)에 걸쳐서 획득되기 때문에, 서모그래프 데이터 세트들은 컴퓨터 시스템(140)의 상당한 메모리 자원들(예를 들어, 기가바이트(GB)에서 테라바이트(TB) 범위)을 요구할 수 있다. 컴퓨터 시스템(140)에서 메모리를 해제하기 위해 컴퓨터 시스템(140)으로부터 데이터베이스(145)로의 주기적인 보관이 수행될 수 있다.
일부 구현예에서는, 검사 직원이 최상의 가능한 결과를 달성하기 위해 특정 경험 법칙을 관찰하는 것이 바람직하다. 예를 들어, 일몰 후에 IR 검사를 수행하여 단열 커버로부터의 태양 반사를 방지하는 것이 바람직하다. 또한, 지면과 같은 외부 소스로부터의 열 방출 및 반사를 고려하고 최소화하는 것이 바람직하다.
도 2는 본 발명의 일 실시예에 따른 CUI의 식별을 위한 신경망을 이용한 열 화상 처리 방법의 개략도이다. 고수준 개요의 관점에서, 이 방법은 3개의 순차적인 단계들을 포함한다: 데이터 포착 단계(202), 그 다음의 이미지 처리 및 분석 단계(204), 이어서 검증 단계(206)가 뒤따른다. 검증 단계(206)에 의해 획득된 정보는 이미지 처리 및 분석 단계(204)에 피드백된다. 데이터 포착 단계(202)는 관심 구조물로부터 열 화상 데이터를 포착하는 장치를 설정하는 것뿐만 아니라 환경 조건 데이터를 결정하는 것을 포함한다. 예를 들어, 데이터 포착 단계(202)는 선택된 기간 동안 특정 해상도의 이미지들을 획득하도록 적외선 카메라를 설정하는 단계(212), IR 카메라를 관심 구조물의 근처 또는 이동 차량(예를 들어, 드론)에 설치하는 단계(214), 열 이미지를 포착하기 위한 구조물 상의 특정 목표 영역을 정의하는 단계(216), 습도, 기압, 풍속 등과 같은 환경 파라미터를 결정하는 단계(218)를 포함할 수 있다.
이미지 처리 및 분석 단계(204)는 구조물의 목표 영역의 이미지들을 다양한 범주로 분류하고, 이미지들이 목표 영역에서 이상 조건을 나타내는지 여부의 초기 식별을 가능하게 하는(222) 기계학습 알고리즘으로 서모그래프 이미지 데이터를 입력하는 단계를 포함한다. 이상(anomalous) 조건은 구조물의 목표 영역에 CUI가 존재할 수 있음의 표시이다. 트레이닝 프로세스 동안, 서모그래프가 트레이닝 데이터로서 사용되고 있기 때문에 초기 결정이 최종적이지는 않다. 후속적인 검증 프로세스(206)에서, 기계학습 알고리즘의 초기 결정이 정확한지 여부를 확립하기 위해 다수의 기술들이 사용될 수 있다. 다양한 기술들은 CUI가 구조물의 목표 영역에 존재하는지의 여부에 관한 확정적인 결론을 형성하기 위해, 펄스 에디 전류(pulsed eddy current, PEC) 평가(232), 시각적 검사(234), 단열재 제거(236), 벽 박화의 초음파 테스트(ultrasonic test, UT)(238), 이러한 기술들 및 다른 것들의 제한없는 임의의 조합을 포함할 수 있다. 따라서, 학습 프로세스 동안, CUI가 존재하는지의 여부를 검증하는 데에 파괴적 또는 비파괴적 기술들이 사용될 수 있다.
초기 식별 및 검증 사이의 불일치는 기계학습 알고리즘으로 피드백(224)되어, 지도학습 프로세스의 기술들에 따라 알고리즘을 최적화하기 위헤, 활성화들(서모그래프들 및 환경 데이터의 다양한 입력 파라미터들에 사용된 가중치들)을 업데이트한다. 기계학습 알고리즘의 정확도가 충분한 수준으로 개선되면, 검증은 더 이상 수행되지 않으며, 이미지 처리 및 분석 단계(204)는 CUI를 직접 검출하고 식별하는 데에 사용된다. 이미지 처리 및 분석 단계는, 컨볼루션 신경망, 재귀적 신경망, Adaboost와 같은 앙상블 학습 및 부스팅 방법, 의사결정 트리, 및 서포트 벡터 머신을 포함하지만 이에 제한되지 않는, 다양한 지도 기계학습 알고리즘 및 기술 중 임의의 하나 이상을 이용할 수 있다.
하나의 유리한 실시예에서, 포착된 서모그래프 데이터를 계층적으로 분류하는 데에 컨볼루션 신경망(CNN)이 사용된다. 이에 이어서, 재귀적 신경망(RNN)을 이용하여 상당한 시간 동안 포착된 서모그래프 데이터를 처리하는 단계가 이어진다. 일부 구현예에서, 더 높은 정확도를 달성하기 위해서 CNN 및 RNN과 함께 부스팅 알고리즘이 사용될 수 있다. 부스팅 알고리즘은 계산의 전체 수를 증가시키고, 이에 따라 계산 시간을 증가시키지만, 잘못된 식별의 높은 비용 때문에 부가적인 정확도가 더 중요한 요인이 된다.
본 발명의 일부 실시예에서, 전처리 단계가 수행된다. 전처리 단계에서, 서모그래프 및 환경 데이터를 포함하는 신경망 알고리즘에 대한 입력들이 인코딩 및/또는 정규화된다. 범주화 가능한(즉, 적은 수의 가능한 이산적 값들로 한정되는) 변수들은 신경망에 제공되기 전에 한번에 바로 인코딩(one-hot-encoded)될 수 있다. 대안적으로, 연속적인 변수들(즉, 많은 수의 가능한 값들을 가질 수 있음)은 정규화되고, 연속 변수들의 평균(mean)은 신경망으로 제공되기 전에 0(zero)으로 시프트된다.
전처리 단계의 출력은 모든 입력들의 융합이다. 융합은 예를 들어, 다음을 포함하는 다양한 기술들(또는 이들의 조합들)을 사용하여 달성될 수 있다: a) 변수들을 서로 연결함(예를 들어, 이미지들의 연장된 일부인 것처럼 환경 변수들을 서모그래프들에 첨부시킴); b) 각각의 입력들을 n차원 벡터로 평탄화하고 이후, n차원 벡터들을 하나의 긴 벡터로 연결함; 및/또는 c) 부가적인 네트워크를 이용하여 구현될 수 있는 인코더를 적용하여, 주 신경망에 제공하기 전에 모든 입력들을 하나의 입력으로 압축 또는 감소시킴. 서모그래프 데이터, 환경 또는 다른 변수를 포함한 모든 입력 변수는 동일한 전처리 과정을 겪는다. CNN은 덜 관련된 변수에 비해, 관련된 변수들을 강조하도록 동작한다.
본 발명의 맥락에서 사용될 수 있는 예시적인 컨볼루션 신경망(CNN)(300)의 개략도가 도 3에 도시되어 있다. 도시된 예에서, CNN(300)은 이미지(302)의 로컬화된 섹션을 입력으로서 수신한다. 도시된 바와 같이, CNN(300)은 3개의 계층적 레벨들(312, 314, 316)을 포함한다. 더 적거나 더 많은 수의 계층적 레벨들이 사용될 수 있음을 유의해야 한다. 제1 계층적 레벨(312)은 3개의 병렬 처리 경로들을 포함하며, 각각의 처리 경로는 이어서, 3개의 별개의 처리 단계들을 포함한다. 이러한 복잡한 기법은 단일 레벨에서의 단일 처리 경로의 단계들의 설명에 의해 명확해질 수 있다. 이제, 제1 계층적 레벨에서의 가장 왼쪽 경로를 참조하면, 제1 컨볼루션 단계(322)는 입력 이미지 데이터에 제1 컨볼루션 함수(필터)를 적용한다. 다른 처리 경로들은 입력 이미지의 다른 로컬화된 섹션 상에서 동작함에 유의해야 한다. 각각의 계층적 레벨은 이미지 내의 특징들을 더 잘 식별하기 위해, 수신하는 데이터에 대해 서로 다른 컨볼루션 함수를 적용할 수 있다. 예를 들어, 필터들은, 예를 들어, 평균화에 의해 이웃 이미지 값들 사이의 콘트라스트들을 흐리게 할 수 있거나, 또는 반대로, 일부 필터들은 엣지들을 명확하게 하기 위해 차이들을 강화시킬 수 있다. 각각의 필터는 하위 레벨 특징의 로컬 패치를 상위 레벨 표현으로 구성한다. 이러한 방식으로, 엣지들은 픽셀들로부터 식별될 수 있고, 엣지들로부터 형상들이 식별될 수 있다. 컨볼루션이 이미지 데이터에 적용될 수 있는 방법의 일 예가 도 4에 도시되어 있다. 도 4에서는, 컨볼루션 행렬(420)을 샘플 값들(410)의 값들에 대해 슬라이딩시킴으로써, 컨볼루션 행렬(420), 또는 '윈도우'가 적용될 수 있는 픽셀 값들(410)의 5x5 정사각 샘플이 도시되어 있다. 도시된 예에서, 컨볼루션 행렬은 대각선들을 따라 모든 값들에 1을, 그리고 대각선들을 따르지 않는 값들에 0을 곱하는, 3x3 행렬 함수이다. 컨볼루션 행렬에 의해 처리된 이미지 샘플의 각각의 3x3 섹션의 합은 출력 행렬(430)에 제공된다. 그 후, 출력 행렬(430)는 계층적 레이어의 다음 단계에 대한 출력으로서 공급된다.
계층적 레이어(312)의 다음 단계는 ReLU(정류된 선형 유닛) 또는 tanh 함수와 같은 비선형 함수(324)를 컨볼루션 단계의 데이터에 적용한다. 이 단계는 y i,j = f (ai,j)로 표시될 수 있는데, f는 비선형 함수를 나타내고, ai,j 표현은 컨볼루션 단계의 출력 행렬로부터의 i번째 행 및 j번째 열의 픽셀이다. 따라서, 비선형 함수 단계(324)의 출력은 컨볼루션 단계(322)로부터 출력된 행렬의 수정된 버전이다. 계층적 레벨(312)의 최종 단계는 데이터를 단순화하는 데에 사용될 수 있는 풀링 단계(326)이다. 예를 들어, 풀링 단계는 비선형 단계로부터의 출력 행렬의 픽셀들의 다수의 행 및 열의 비선형 함수의 최대 값만을 출력하기 위해 최대 함수를 적용할 수 있다. 데이터를 단순화한 후에, 모든 3개의 처리 경로들의 풀링 단계들의 출력들이 합산될 수 있고, 그 후 다음 계층적 레이어(314)의 처리 경로들 중 하나의 컨볼루션 단계(332)에 입력될 수 있다. 계층적 레이어(314)에서, 유사하거나 상이한 컨볼루션 행렬들이 제1 계층적 레이어(312)으로부터 수신된 데이터를 처리하기 위해 사용될 수 있고, 동일하거나 상이한 비선형 함수들 및 단순화 함수들이 다음의 비선형 단계(334) 및 풀링 단계(336)에서 사용될 수 있다. 제2 계층적 레이어(314)의 병렬 처리 경로로부터의 출력은 유사하게 풀링될 수 있고, 그 후, 부가적인 처리가 발생하는 제3 계층적 레이어(316)에 대한 출력 행렬로서 제공될 수 있다. 최종 출력(350)은 클래스 라벨 확률(class label probability)로서 해석되거나, 다르게는, 이미지에 대해 가장 가능성 있는 분류로서 해석될 수 있다. 분류는 온도 차이 및 가능한 CUI를 나타내는 서로 다른 유형의 고온 지점들을 포함할 수 있다.
CNN은 검증 및 역전파에 의해 학습한다. 이는 출력(350)의 값들을 설정하고, 그 후에 알고리즘을 더 높은 계층적 레이어들로부터 하부 계층들로 역으로 실행하며, 최적화 함수를 이용하여 더 양호한 결과들을 산출하기 위해 컨볼루션 행렬들을 변경하는 것과 동등하다. 트레이닝 후에, CNN은 입력 서모그래프를 고온 지점, 비-고온 지점(non-hot spot) 등과 같은 미리 설정된 범주들 중 하나로 정확하게 분류할 수 있어야 한다.
CNN은, 서모그래프 이미지 토폴로지에 따라 입력 이미지를 추상화 레벨로 계층화하는 효율적이고 유용한 방법론이지만, 시간에 따른 패턴을 검출하는 데에 가장 적합하지는 않다. 따라서, 본 발명의 실시예들은 시간 기반 패턴 인식을 개선하기 위해 CNN과 관련하여 재귀적 신경망(RNN)을 이용한다.
도 5는 본 발명의 맥락에서 사용될 수 있는 예시적인 재귀적 신경망(RNN)(500)의 개략도이다. RNN(500)은 3개의 층들(502, 504, 506)이 명시적으로 도시된 다수의 층들을 포함한다. RNN은 제2 층(504)을 참조하여 가장 잘 설명된다. 이 층에서, xt는 타임 스텝 t에서 해당 층으로의 입력이다. 입력 xt(512)는 값들의 벡터 또는 행렬일 수 있다. St(514)는 타임 스텝 t에서의 은닉 상태를 나타낸다. 은닉 상태는 "RNN의 메모리"로서 고려될 수 있다. 은닉 상태는 이전의 은닉 상태 및 현재 스텝에서의 입력에 기초하여 계산된다: st=f(Uxt + Wst-1). 함수 f는 대개, tanh 또는 ReLU와 같은 비선형 함수이다. 제1 은닉 상태는 대개, 모두 0으로 초기화된다. St는 스텝(t)에서의 출력인 Ot를 산출하기 위해 파라미터 벡터 V에 의해 변경된다. Ot는 다음 상태 s+1에 대한 확률들의 행렬 또는 벡터로서 해석될 수 있다. RNN(500)은 모든 스텝들에 걸쳐 동일한 파라미터들(U, V, W 이상)을 공유한다. 이는 각각의 스텝에서 동일한 작업이 각 스텝에서 수행되지만 입력이 서로 다르다는 사실을 반영한다. 이에 따라, 학습할 파라미터의 전체 개수가 줄어들고 처리 시간도 감소된다. 도시된 예에서, 각각의 레이어는 각각의 타임 스텝에서 출력들을 갖지만, 일부 구현예에서는 최종 출력만이 중요하기 때문에 이것이 필수적이지는 않다.
RNN은 시간에 따른 서모그래프에 대한 변화들을 검출하고, 환경 변수들을 고려하는 데에 사용될 수 있다. 이러한 변수들은 서모그래프 데이터와 함께 RNN 내에 파라미터들로서 도입될 수 있다. 고려할 수 있는 가장 중요한 변수는 다음의 4개의 주요 범주로 분할될 수 있다: i) 주변 조건, ii) 관심 구조물의 상태, iii) 식별되는 임의의 CUI의 상태 및 iv) 구조물에 대한 IR 카메라의 설정. 예를 들어, 분석에서 고려하는 주변 조건은, 시간에 따른 주위 온도와, 구조물 내의 유체 온도와, 강수, 먼지, 및 풍속을 포함하는 기상 조건과, 연중 시기와, 해당 위치에서의 태양광 노출의 양을 포함하지만, 이에 제한되지 않는다. 구조물의 상태는 구조물 및 단열재의 치수와, 단열재 유형 및 물리적 속성과, 조인트, 엘보우, 데드레그 등의 배열과, 노출된 표면의 광학 특성과, 구조물의 금속의 반사율과, 임의의 관찰된 결함(예를 들어, 단열재 내의 공극)을 포함하지만, 이에 제한되지 않는다. 식별된 임의의 CUI의 상태는, CUI의 위치(상부 또는 하부) 및 성장 방향과, 손상되지 않은 영역에 대한 CUI의 분포 상태를 포함하지만, 이에 제한되지 않는다. IR 카메라의 설정의 주된 요인은 IR 카메라 및 구조물 사이의 거리이다.
시간에 따른 다양한 서모그래프들 및 조건들의 경향의 정보를 사용하여, 부가적인 수준의 분석이 수행될 수 있다. 예를 들어, 분석은 다음에 초점을 맞출 수 있다: 구조물 상의 다양한 위치에서의 온도 차이 데이터(예를 들어, 고온 지점, 아노말리)가 어떻게 관련되거나 구별될 수 있는지; 시간에 따라 변하는 특징들이 나타나는지, 사라지는지 또는 약해지는지; 효과들이 CUI 조건들보다는 외부 복사율 및 반사로 인한 것이 더 가능성 있는지.
일부 실시예에서, 부가적인 계산의 비용으로 더 높은 정확도를 달성하기 위해 CNN 및 RNN과 함께 Adaboost와 같은 부스팅 알고리즘이 사용될 수 있다. 부스팅은 대개, 트레이닝 이후에도 식별의 오류 비율이 높은 "약한 학습자"를, "강한" 학습자에 조합하고 개선하기 위해 사용된다. Adaboost는 약한 학습 알고리즘의 출력을, 부스트된 분류기의 최종 출력을 나타내는 가중된 합계에 조합한다. 임의의 주어진 알고리즘의 가중치는 해당 알고리즘의 정확도에 기초한다. CNN 및 RNN은 일반적으로 강한 학습자가 될 수 있도록 트레이닝될 수 있지만, 실수는 매우 비용이 많이 들 수 있기 때문에, 정확도를 더 높이기 위해 부스팅을 부가하는 것이 유리할 수 있다. 계산 시간의 희생으로 정확도를 증가시키는 것은 수용가능한 트레이닝-오프일 수 있다. 또한, 부스팅은 CNN 및 RNN을 테스트하기 위한 설계 단계에서 유용할 수 있다.
본 발명은 CUI의 정확한 검출을 가능하게 하는 다수의 장점을 제공한다. 물이 있고 습한 지점은 일반적으로, 적시에 검출되지 않고도 쉽게 건조될 수 있다. 그러나, IR 이미징을 통해 지속적으로 모니터링함으로써, 물이 있고 습한 지점을 함유하는 취약한 위치를 포착하고 식별할 수 있다. 본 발명의 방법은 모니터링 결과 및 이미지 처리 결과에 따라 구현될 수 있는 연간 검사 계획의 예산을 가능하게 한다. 또한 모니터링 방법은 본질적으로 안전하며 해당 방법의 자동화는 수동 검사의 오류를 제거한다. 파이프 내의 온도가 주위 온도와 충분히 다르다면, 요구되는 표준에 따라 일반적으로 IR 평가 방법이 수행된다. IR에 의해 발견되는 아노말리들은 상관 접근법을 이용하는 다른 기술들(예를 들어, 펄스 에디 전류(PEC))을 사용하여 더 평가될 수 있다. 또한, IR 이미징은 단열 실패 및 아이싱(icing)을 검출하기 위해 저온-기상 응용에 사용될 수 있다.
본원에 개시된 임의의 구조물 및 기능의 세부사항은 시스템 및 방법을 제한하는 것으로 해석되어서는 안되며, 오히려 통상의 기술자에게 해당 방법을 구현하기 위한 하나 이상의 방식을 교시하기 위한 대표적인 실시예 및/또는 배열로서 제공되는 것으로 이해되어야 한다.
본원에 설명된 방법들은, 소프트웨어에 의해 유형의 저장매체 상에서 기계 판독가능 형태로, 예를 들어, 프로그램이 컴퓨터 상에서 실행될 때, 그리고 컴퓨터 프로그램이 컴퓨터 판독가능한 매체 상에서 구현될 수 있는 경우, 본원에 설명된 임의의 방법들의 모든 단계들을 수행하도록 구성된 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램의 형태로 수행될 수 있다. 유형의 저장매체의 예는 디스크, 플래시 드라이브, 메모리 등과 같은 컴퓨터 판독가능 매체를 포함하는 컴퓨터 저장 장치를 포함하지만, 전파된 신호를 포함하지는 않는다. 전파된 신호는 유형의 저장매체에 존재할 수 있지만, 전파된 신호 그 자체는 유형의 저장매체의 예가 아니다. 방법 단계들이 임의의 적합한 순서로 또는 동시에 수행될 수 있도록, 소프트웨어는 병렬 프로세서 또는 직렬 프로세서 상에서 실행하기에 적합할 수 있다.
도면에서 유사한 숫자는 여러 도면을 통해 유사한 요소를 나타내고 도면을 참조하여 기재되고 예시된 모든 성분 및/또는 단계가 모든 구현예 또는 배열에 필요한 것은 아님을 추가로 이해해야 한다.
본원에 사용된 용어는 단지 특정 실시예를 기술하기 위한 것이며 본 발명을 제한하는 것으로 의도되지 않는다. 단수형태 "a", "an" 및 "the"는 문맥상 달리 명확하게 나타내지 않는 한, 복수 형태를 또한 포함하는 것으로 의도된다. 본 명세서에서 사용될 때 용어들 "포함한다" 및/또는 "포함하는"은 언급된 특징, 정수, 단계, 작동, 요소 및/또는 성분의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 작동, 요소, 성분, 및/또는 이들의 군의 존재 또는 첨가를 배제하지는 않는 것으로 추가로 이해될 것이다.
배향의 용어들은 본 명세서에서 단지 컨벤션 및 참조의 목적으로 사용되며 제한적인 것으로 해석되어서는 안된다. 그러나, 이들 용어들은 관찰자와 관련하여 사용될 수 있는 것으로 인식된다. 따라서, 어떠한 제한도 암시되거나 추론되지 않는다.
또한, 본 명세서에 사용된 어법 및 용어는 설명의 목적을 위한 것이며 제한하는 것으로 간주되어서는 안된다. 본 명세서에서 "포괄하는", "포함하는" 또는 "갖는", "함유하는", "관련하는" 및 그것의 변형의 사용은 그 이후에 열거된 항목 및 그것의 등가물뿐만 아니라 추가의 항목을 포괄하기 위한 것이다.
본 발명이 예시적인 실시예들을 참조하여 설명되었지만, 통상의 기술자들은 본 발명의 범위를 벗어나지 않고 다양한 변화들이 이루어질 수 있고 등가물들이 그들의 구성 요소들을 대체할 수 있음을 이해할 것이다. 또한, 본 발명의 필수적인 범위를 벗어나지 않으면서 특정 기기, 상황 또는 물질을 본 발명의 교시에 적응시키기 위해 많은 변형이 당해 분야의 숙련가에게 인정될 것이다. 따라서, 본 발명은 본 발명을 수행하기 위해 고려된 최상의 방식으로 개시된 특정한 실시예에 제한되지 않고, 본 발명은 첨부된 청구항들의 범위 내에 속하는 모든 실시예를 포함할 것으로 의도된다.

Claims (18)

  1. 구조물 내의 단열재 하부부식(CUI)을 식별하기 위한 컴퓨터 구현 방법으로서,
    a) 적외선 복사 센서를 이용하여 상기 구조물로부터 포착된 서모그래프와, 상기 구조물 및 환경 조건에 관련된 부가적인 데이터를 수신하는 단계;
    b) 제1 기계학습 시스템을 사용하여 상기 서모그래프 및 상기 부가적인 데이터에 하나 이상의 필터들을 적용하는 단계;
    c) 상기 하나 이상의 필터들로부터의 출력에 기초하여 CUI 분류를 초기에 결정하는 단계;
    d) 상기 구조물의 검사에 의해 초기의 CUI 분류를 검증하는 단계;
    e) 상기 검증의 결과들에 기초하여 상기 제1 기계학습 시스템의 상기 필터들을 트레이닝하는 단계;
    f) CUI 분류 정확도에 대한 제1 임계값에 도달할 때까지 부가적인 서모그래프 데이터를 이용하여 단계 a) 내지 e)를 반복하는 단계;
    g) 초기 상태로부터 현재 상태로의 정보를 포함하는 제2 기계학습 시스템으로, 상기 제1 기계학습 시스템의 출력과, 상기 구조물 및 환경 조건에 관련된 부가적인 데이터를 입력하는 단계;
    h) CUI 분류 정확도에 대한 제2 임계값에 도달할 때까지 시간에 따른 상기 제1 기계학습 시스템의 출력 및 상기 부가적인 데이터의 변화에 따라, CUI를 식별하도록 상기 제2 기계학습 시스템을 트레이닝하는 단계; 및
    i) 상기 제1 및 제2 임계값들에 도달한 후에, 상기 제1 기계학습 시스템 및 상기 제2 기계학습 시스템을 함께 사용하여 현재의 서모그래프 및 부가적인 데이터에 기초하여 상기 구조물 내의 CUI를 식별하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 제1 기계학습 시스템은 컨볼루션 신경망을 포함하는, 컴퓨터 구현 방법.
  3. 제2항에 있어서, 상기 컨볼루션 신경망은 복수의 계층적 레이어들을 포함하고, 각각의 계층적 레이어는 컨볼루션 단계, 비선형 함수 단계 및 풀링 단계를 포함하는, 컴퓨터 구현 방법.
  4. 제2항에 있어서, 상기 제2 기계학습 시스템은 재귀적 신경망을 포함하는, 컴퓨터 구현 방법.
  5. 제4항에 있어서, 상기 부가적인 데이터는 시간에 따라 측정된 주위 온도, 상기 구조물의 물리적 특성, 및 기상 조건을 포함하는, 컴퓨터 구현 방법.
  6. 제5항에 있어서, 상기 제1 기계학습 시스템 및 상기 제2 기계학습 시스템은 상기 구조물 외부의 물체로부터의 적외선 복사의 반사와 관련하여 긍정 오류 발견을 인식하도록 트레이닝되는, 컴퓨터 구현 방법.
  7. 제1항에 있어서, 상기 CUI의 식별은, 높은 가능도(likelihood)로 수분을 함유하는 상기 단열재 하부의 상기 구조물의 취약한 영역들을 식별하는 단계를 포함하는, 컴퓨터 구현 방법.
  8. 제1항에 있어서, 상기 검증은 펄스 에디 전류 평가, 시각적 검사, 단열재 제거 및 벽 박화의 초음파 테스트 중 적어도 2개를 이용하여 수행되는, 컴퓨터 구현 방법.
  9. 제1항에 있어서, 범주형 변수들을 인코딩하고, 연속 변수들을 정규화하기 위해, 상기 서모그래프 데이터 및 상기 부가적인 데이터를 전처리하는 단계를 더 포함하는, 컴퓨터 구현 방법.
  10. 구조물 내의 단열재 하부부식(CUI)을 식별하기 위한 시스템으로서,
    통신 모듈을 포함하는 적외선 카메라 - 상기 적외선 카메라는 상기 구조물로부터 방출된 적외선 복사를 포착하도록 배치되고, 상기 통신 모듈을 통해 상기 포착된 복사의 서모그래프를 전달하도록 구성됨 - ;
    프로세서, 메모리 및 통신 모듈을 포함하는 컴퓨터 시스템을 포함하고,
    상기 프로세서는,
    i) 제1 기계학습 시스템을 사용하여, 상기 통신 모듈을 통해 상기 적외선 카메라로부터 수신된 서모그래프들과, 상기 구조물 및 환경 조건에 관련된 부가적인 데이터에 하나 이상의 필터들을 적용하는 단계;
    ii) 상기 하나 이상의 필터들로부터의 출력에 기초하여 CUI 분류를 초기에 결정하는 단계;
    iii) 상기 구조물의 검사에 의해 초기의 CUI 분류를 검증하는 단계;
    iv) 상기 검증의 결과들에 기초하여 상기 제1 기계학습 시스템의 필터들을 트레이닝하는 단계;
    v) CUI 분류 정확도에 대한 제1 임계값에 도달할 때까지 부가적인 서모그래프 데이터를 이용하여 단계 i) 내지 단계 iv)를 반복하는 단계;
    vi) 상기 제1 기계학습 시스템의 출력과, 상기 구조물 및 환경 조건에 관련된 부가적인 데이터를, 이전 상태로부터 현재 상태로의 정보를 포함하는 제2 기계학습 시스템으로 입력하는 단계;
    vii) CUI 분류 정확도에 대한 제2 임계값에 도달할 때까지, 시간에 따른 상기 제1 기계학습 시스템의 출력 및 상기 부가적인 데이터의 변화에 따라 CUI를 식별하도록 상기 제2 기계학습 시스템을 트레이닝하는 단계; 및
    상기 제1 및 제2 임계값들에 도달한 후에, 상기 제1 기계학습 시스템 및 상기 제2 기계학습 시스템을 함께 사용하여, 현재의 서모그래프 및 부가적인 데이터에 기초하여 상기 구조물 내의 CUI를 식별하는 단계를 수행하는 프로그램을 실행하도록 구성되는, 컴퓨터 시스템.
  11. 제10항에 있어서, 상기 제1 기계학습 시스템은 컨볼루션 신경망을 포함하는, 시스템.
  12. 제11항에 있어서, 상기 컨볼루션 신경망은 복수의 계층적 레이어들을 포함하고, 각각의 계층적 레이어는 컨볼루션 단계, 비선형 함수 단계 및 풀링 단계를 포함하는, 시스템.
  13. 제11항에 있어서, 상기 제2 기계학습 시스템은 재귀적 신경망을 포함하는, 시스템.
  14. 제13항에 있어서, 상기 부가적인 데이터는 시간에 따라 측정된 주위 온도, 상기 구조물의 물리적 특성 및 기상 조건을 포함하는, 시스템.
  15. 제14항에 있어서, 상기 제1 및 제2 기계학습 시스템은 상기 구조물 외부의 물체로부터의 적외선 복사의 반사에 대해 긍정 오류 발견을 인식하도록 트레이닝되는, 시스템.
  16. 제10항에 있어서, CUI의 식별은, 높은 가능도로 수분을 함유하는 상기 단열재 하부의 상기 구조물의 취약한 영역의 식별을 포함하는, 시스템.
  17. 제10항에 있어서, 상기 검증은 펄스 에디 전류 평가, 시각적 검사, 단열재 제거 및 벽 박화의 초음파 시험 중 적어도 2개를 이용하여 수행되는, 시스템.
  18. 제10항에 있어서, 상기 컴퓨터 시스템은, 범주형 변수들을 인코딩하고, 연속 변수들을 정규화하기 위해, 상기 서모그래프 데이터 및 상기 부가적인 데이터를 전처리하는, 시스템.
KR1020207007832A 2017-09-22 2018-09-20 단열재 하부부식(cui)을 식별하기 위해 신경망을 이용한 서모그래피 이미지 처리 KR102578769B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/712,490 2017-09-22
US15/712,490 US10551297B2 (en) 2017-09-22 2017-09-22 Thermography image processing with neural networks to identify corrosion under insulation (CUI)
PCT/US2018/051865 WO2019060490A1 (en) 2017-09-22 2018-09-20 THERMOGRAPHIC IMAGE PROCESSING USING NEURAL NETWORKS TO IDENTIFY CORROSION UNDER INSULATION (CUI)

Publications (2)

Publication Number Publication Date
KR20200060372A true KR20200060372A (ko) 2020-05-29
KR102578769B1 KR102578769B1 (ko) 2023-09-15

Family

ID=63915349

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207007832A KR102578769B1 (ko) 2017-09-22 2018-09-20 단열재 하부부식(cui)을 식별하기 위해 신경망을 이용한 서모그래피 이미지 처리

Country Status (7)

Country Link
US (3) US10551297B2 (ko)
EP (1) EP3685146B1 (ko)
JP (1) JP6961806B2 (ko)
KR (1) KR102578769B1 (ko)
CN (1) CN111094956B (ko)
SG (1) SG11202002198TA (ko)
WO (1) WO2019060490A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102302541B1 (ko) * 2020-07-06 2021-09-16 한국생산기술연구원 레이블 데이터 변형을 이용한 인공지능 기반 제품 품질 검사 시스템 및 방법

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10473603B2 (en) * 2017-04-18 2019-11-12 Saudi Arabian Oil Company Apparatus, system and method for inspecting composite structures using quantitative infra-red thermography
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US10551297B2 (en) 2017-09-22 2020-02-04 Saudi Arabian Oil Company Thermography image processing with neural networks to identify corrosion under insulation (CUI)
EP3701431A1 (en) * 2017-10-27 2020-09-02 Google LLC Increasing security of neural networks by discretizing neural network inputs
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US20190361466A1 (en) * 2018-05-23 2019-11-28 Raptor Maps, Inc. Real-time system and method for asset management using unmanned aerial systems and edge computing
JP7029060B2 (ja) * 2018-05-24 2022-03-03 日本電信電話株式会社 腐食速度推定装置とその方法
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11106208B2 (en) * 2018-07-10 2021-08-31 Imam Abdulrahman Bin Faisal University Building quality inspection system and inspection robot
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CN113039556B (zh) 2018-10-11 2022-10-21 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
CN110232334A (zh) * 2019-05-26 2019-09-13 天津大学 一种基于卷积神经网络的钢结构锈蚀识别方法
US11112349B2 (en) * 2019-07-16 2021-09-07 Saudi Arabian Oil Company Metal loss determinations based on thermography machine learning approach for insulated structures
US11314906B2 (en) * 2019-08-12 2022-04-26 Gulfstream Aerospace Corporation System and method for detecting defects in structures subject to repetitive stress
US20210056406A1 (en) * 2019-08-22 2021-02-25 Saudi Arabia Oil Company Localized metal loss estimation across piping structure
US11386541B2 (en) * 2019-08-22 2022-07-12 Saudi Arabian Oil Company System and method for cyber-physical inspection and monitoring of nonmetallic structures
US20220335596A1 (en) * 2019-09-11 2022-10-20 Flir Systems Ab Home inspection systems and methods
MX2022006727A (es) * 2019-12-06 2022-08-15 Eigen Innovations Inc Sistema de formación de imágenes virtuales con cámara térmica.
JP7188373B2 (ja) * 2019-12-11 2022-12-13 トヨタ自動車株式会社 データ解析システム及びデータ解析方法
US20230034897A1 (en) * 2019-12-27 2023-02-02 Ptt Exploration And Production Public Company Limited A method and system for predicting pipeline corrosion
CN111783564B (zh) * 2020-06-15 2024-05-14 青岛众瑞智能仪器股份有限公司 一种快速检测呼吸道防护装备佩戴安全性的方法
CN111929542B (zh) * 2020-07-03 2023-05-26 北京国网富达科技发展有限责任公司 一种电力设备诊断方法及系统
CN111921885A (zh) * 2020-08-05 2020-11-13 东南数字经济发展研究院江山分院 木门板材尺寸智能检测方法与装置
FR3113530B1 (fr) * 2020-08-19 2023-01-06 Commissariat Energie Atomique Procédé de caractérisation d’une pièce par contrôle non destructif
FR3113529B1 (fr) * 2020-08-19 2023-05-26 Commissariat Energie Atomique Procédé de caractérisation d’une pièce par contrôle non destructif
CN114513625A (zh) * 2020-11-16 2022-05-17 中国石油化工股份有限公司 存储器、罐区泄漏的安全联锁方法、装置及设备
CN112883219B (zh) * 2021-01-12 2023-06-13 吴发献 一种基于空间位置的无人机巡检照片命名方法
CN112819183A (zh) * 2021-01-29 2021-05-18 广州中科智巡科技有限公司 一种输配电线路发热缺陷智能判别的算法及系统
US11940083B2 (en) 2021-06-15 2024-03-26 Saudi Arabian Oil Company Determining thermal conditions in a pipeline
CN113780359A (zh) * 2021-08-16 2021-12-10 佛山科学技术学院 红外图像中绝缘子的识别方法、装置及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06118040A (ja) * 1992-10-02 1994-04-28 Shusaku Asahina 断熱材で被覆された配管および機器などの腐食部位検出方法
JP2009175059A (ja) * 2008-01-25 2009-08-06 Nagaoka Univ Of Technology 環境負荷濃度変化判定装置及び方法
WO2016183194A1 (en) * 2015-05-14 2016-11-17 Kla-Tencor Corporation System and method for reducing radiation-induced false counts in an inspection system
KR101688458B1 (ko) * 2016-04-27 2016-12-23 디아이티 주식회사 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법
JP2017510803A (ja) * 2014-03-25 2017-04-13 ローズマウント インコーポレイテッド 熱撮像を使用したプロセス導管異常検知

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6123451A (en) * 1997-03-17 2000-09-26 Her Majesty The Queen In Right Of Canada, As Represented By The Administer For The Department Of Agiculture And Agri-Food (Afcc) Process for determining a tissue composition characteristic of an animal
US7724925B2 (en) * 1999-12-02 2010-05-25 Thermal Wave Imaging, Inc. System for generating thermographic images using thermographic signal reconstruction
US6712502B2 (en) 2002-04-10 2004-03-30 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Synchronized electronic shutter system and method for thermal nondestructive evaluation
US7689003B2 (en) 2006-03-20 2010-03-30 Siemens Energy, Inc. Combined 2D and 3D nondestructive examination
EP2220433B1 (de) 2007-11-27 2013-09-04 Alstom Technology Ltd Verfahren und vorrichtung zur verbrennung von wasserstoff in einem vormischbrenner
CA2848272C (en) * 2008-10-22 2017-11-14 International Electronic Machines Corp. Thermal imaging-based vehicle analysis
US8596861B2 (en) 2008-11-06 2013-12-03 Honeywell International Inc Method and system for detecting corrosion under insulation
US20100266790A1 (en) * 2009-04-16 2010-10-21 Grzegorz Jan Kusinski Structural Components for Oil, Gas, Exploration, Refining and Petrochemical Applications
US8204294B2 (en) * 2009-11-25 2012-06-19 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for detecting defects in coatings utilizing color-based thermal mismatch
US8810264B2 (en) * 2010-09-03 2014-08-19 Bp Corporation North America Inc. Methods and devices for sensing corrosion under insulation (CUI)
CN102054199A (zh) * 2010-12-31 2011-05-11 中国人民解放军63983部队 基于bp神经网络算法对涂层老化的分析方法
CN102692429B (zh) * 2011-03-24 2013-10-30 中国科学院沈阳自动化研究所 一种复合材料内部缺陷类型自动识别检测方法
JP5957812B2 (ja) * 2011-06-21 2016-07-27 住友大阪セメント株式会社 静電チャック装置
JP5806568B2 (ja) 2011-09-26 2015-11-10 川崎重工業株式会社 水中移動型検査装置及び水中検査設備
CN202419144U (zh) * 2011-12-30 2012-09-05 淮阴工学院 一种基于虚拟仪器地下蒸汽管道泄漏检测装置
GB201303324D0 (en) * 2013-02-25 2013-04-10 Subterandt Ltd Passive detection of deformation under coatings
US20160098824A1 (en) * 2014-10-03 2016-04-07 Tyco Electronics Corporation Three dimensional printing inspection apparatus and method
US10339667B2 (en) 2015-05-15 2019-07-02 Motion Metrics International Corp Method and apparatus for locating a wear part in an image of an operating implement
US10460251B2 (en) * 2015-06-19 2019-10-29 Preferred Networks Inc. Cross-domain time series data conversion apparatus, methods, and systems
US10209175B2 (en) * 2015-07-31 2019-02-19 Micross Advanced Interconnect Technology Llc Detection of corrosion using dispersed embedded sensors
CN105205532A (zh) * 2015-08-26 2015-12-30 芜湖市凯鑫避雷器有限责任公司 基于神经网络遗传算法的带均压环结构的绝缘子优化方法
NL1041592B9 (en) * 2015-11-23 2017-10-16 Beele Eng Bv A multi-layered structure of at least a metal base-layer and a paint-based protective layer or a paste-based protective layer
US9519844B1 (en) * 2016-01-22 2016-12-13 The Boeing Company Infrared thermographic methods for wrinkle characterization in composite structures
CN205758148U (zh) 2016-02-02 2016-12-07 嘉兴市舒福德电动床有限公司 一种电动床
WO2017151757A1 (en) 2016-03-01 2017-09-08 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Recurrent neural feedback model for automated image annotation
GB2550395B (en) * 2016-05-19 2020-08-12 Hs Marston Aerospace Ltd Method and system for thermographic analysis
US20180104742A1 (en) * 2016-10-18 2018-04-19 General Electric Company Method and system for thermographic inspection of additive manufactured parts
US10853933B2 (en) * 2016-10-19 2020-12-01 Coglix Co. Ltd. Inspection method and apparatus
CN109804119B (zh) * 2016-12-30 2021-03-19 同济大学 基于红外热像图分析的沥青路面裂缝发育程度检测方法
US10473603B2 (en) * 2017-04-18 2019-11-12 Saudi Arabian Oil Company Apparatus, system and method for inspecting composite structures using quantitative infra-red thermography
US10234848B2 (en) * 2017-05-24 2019-03-19 Relativity Space, Inc. Real-time adaptive control of additive manufacturing processes using machine learning
CN107067078A (zh) * 2017-05-31 2017-08-18 江西制造职业技术学院 一种金属腐蚀试验试样和试件自动评级设备及其评级方法
US10564108B2 (en) * 2017-07-03 2020-02-18 Saudi Arabian Oil Company Apparatus and method for nondestructively inspecting fiberglass and nonmetallic pipes
US10550717B2 (en) * 2017-07-26 2020-02-04 General Electric Company Thermal degradation monitoring system and method for monitoring thermal degradation of equipment
US10578565B2 (en) * 2017-09-11 2020-03-03 The Boeing Company X-ray inspection system for pipes
US10551297B2 (en) 2017-09-22 2020-02-04 Saudi Arabian Oil Company Thermography image processing with neural networks to identify corrosion under insulation (CUI)
US10578175B2 (en) * 2017-10-04 2020-03-03 Schaeffler Technologies AG & Co. KG Radial wedge plate clutch

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06118040A (ja) * 1992-10-02 1994-04-28 Shusaku Asahina 断熱材で被覆された配管および機器などの腐食部位検出方法
JP2009175059A (ja) * 2008-01-25 2009-08-06 Nagaoka Univ Of Technology 環境負荷濃度変化判定装置及び方法
JP2017510803A (ja) * 2014-03-25 2017-04-13 ローズマウント インコーポレイテッド 熱撮像を使用したプロセス導管異常検知
WO2016183194A1 (en) * 2015-05-14 2016-11-17 Kla-Tencor Corporation System and method for reducing radiation-induced false counts in an inspection system
KR101688458B1 (ko) * 2016-04-27 2016-12-23 디아이티 주식회사 깊은 신경망 학습 방법을 이용한 제조품용 영상 검사 장치 및 이를 이용한 제조품용 영상 검사 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102302541B1 (ko) * 2020-07-06 2021-09-16 한국생산기술연구원 레이블 데이터 변형을 이용한 인공지능 기반 제품 품질 검사 시스템 및 방법

Also Published As

Publication number Publication date
US10768094B2 (en) 2020-09-08
US20200355601A1 (en) 2020-11-12
EP3685146B1 (en) 2023-02-22
EP3685146A1 (en) 2020-07-29
JP2021502543A (ja) 2021-01-28
SG11202002198TA (en) 2020-04-29
CN111094956B (zh) 2023-06-02
CN111094956A (zh) 2020-05-01
US10551297B2 (en) 2020-02-04
KR102578769B1 (ko) 2023-09-15
US10908068B2 (en) 2021-02-02
WO2019060490A1 (en) 2019-03-28
US20190094124A1 (en) 2019-03-28
US20200116625A1 (en) 2020-04-16
JP6961806B2 (ja) 2021-11-05

Similar Documents

Publication Publication Date Title
KR102578769B1 (ko) 단열재 하부부식(cui)을 식별하기 위해 신경망을 이용한 서모그래피 이미지 처리
US10871444B2 (en) Inspection and failure detection of corrosion under fireproofing insulation using a hybrid sensory system
Kurukuru et al. Fault classification for photovoltaic modules using thermography and image processing
Herraiz et al. Photovoltaic plant condition monitoring using thermal images analysis by convolutional neural network-based structure
US11112349B2 (en) Metal loss determinations based on thermography machine learning approach for insulated structures
KR102520423B1 (ko) 단열재 하부 부식을 탐지하기 위한 배치 상태의 최적화를 위한 기계 학습 시스템 및 데이터 융합
CN109743019B (zh) 基于气象因素的热斑温度预测及热斑定位的系统和方法
EP3894840A1 (en) Inspection and failure detection of corrosion under fireproofing insulation using a hybrid sensory system
CN109961460A (zh) 一种基于改进YOLOv3模型的多目标巡检方法
WO2021034910A1 (en) System and method for cyber-physical inspection and monitoring of nonmetalic structures
CN103235830A (zh) 一种基于无人机电力巡线方法、装置及无人机
US20200217777A1 (en) Cloud-based machine learning system and data fusion for the prediction and detection of corrosion under insulation
Montoya et al. Remote condition monitoring for photovoltaic systems
CN117011759A (zh) 钻爆法隧道掌子面围岩多元地质信息解析方法及系统
Kim et al. Automatic detection of malfunctioning photovoltaic modules using unmanned aerial vehicle thermal infrared images
WO2023091730A1 (en) Building envelope remote sensing drone system and method
US20240053287A1 (en) Probability of detection of lifecycle phases of corrosion under insulation using artificial intelligence and temporal thermography
Zefri et al. Advanced Classification of Failure-Related Patterns on Solar Photovoltaic Farms Through Multiview Photogrammetry Thermal Infrared Sensing by Drones and Deep Learning
Oufadel et al. In-situ heat losses measurements of parabolic trough receiver tubes based on infrared camera and artificial intelligence
Kurtser et al. One-class anomaly detection through color-to-thermal AI for building envelope inspection
WO2024035640A2 (en) Probability of detection of lifecycle phases of corrosion under insulation using artificial intelligence and temporal thermography
CN118224552A (zh) 一种施工现场室外管道保温效果监测系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant