KR20210048506A

KR20210048506A - 단열재 하부 부식을 탐지하기 위한 배치 상태의 최적화를 위한 기계 학습 시스템 및 데이터 융합

Info

Publication number: KR20210048506A
Application number: KR1020217006880A
Authority: KR
Inventors: 알리 알 쉐리; 세르 남 림; 아이만 아메르; 무스타파 유준바스; 아마드 알다바그; 무하마드 아밥타인; 빈센트 쿠닝햄; 존 부트; 고다인 코크 얀 찬
Original assignee: 사우디 아라비안 오일 컴퍼니; 아비타스 시스템즈, 인크.
Priority date: 2018-08-30
Filing date: 2019-08-30
Publication date: 2021-05-03
Also published as: US10643324B2; JP7183425B2; WO2020047469A2; KR102520423B1; EP3844488A2; JP2022501617A; CN112740023A; US20200074616A1; WO2020047469A3; SG11202101724PA

Abstract

기반시설 자산에서 단열재 하부 부식(CUI)을 예측하기 위한 시스템은, 기반시설 자산의 열화상을 캡처하도록 배치된 적어도 하나의 적외선 카메라와, 적어도 하나의 적외선 카메라를 지지하고 그 적외선 카메라에 전기적으로 연결된 적어도 하나의 스마트 마운트를 포함하며, 스마트 마운트는 무선 통신 모듈, 메모리 저장소, 적어도 하나의 적외선 카메라를 재충전하도록 작동하는 배터리 모듈, 주변 상태 데이터를 획득하도록 구성된 주변 센서 모듈, 및 기반시설 자산으로부터 CUI 관련 데이터를 획득하도록 구성된 구조물 프로브 센서를 포함한다. 적어도 하나의 컴퓨팅 장치는 적어도 하나의 스마트 마운트와 통신하는 무선 통신 모듈을 구비하며, 기반시설 자산에 관한 CUI 예측을 출력하는 기계 학습 알고리즘을 갖추어서 구성된다. 클라우드 컴퓨팅 플랫폼은 수신된 데이터 및 예측 출력을 수신 및 저장하고, 컴퓨팅 장치에 저장된 기계 학습 알고리즘을 업데이트하기 위한 검증 데이터를 수신한다.

Description

단열재 하부 부식을 탐지하기 위한 배치 상태의 최적화를 위한 기계 학습 시스템 및 데이터 융합

본 발명은 검사 기술에 관한 것이고, 더 구체적으로는 단열재 하부 부식(CUI)을 예측 및 탐지하기 위한 하드웨어 및 소프트웨어 기반 시스템에 관한 것이다.

단열재 하부 부식(CUI: corrosion under insulation)은 금속 파이프와 같은 단열된 구조물이 단열재 아래의 금속 표면에서 부식을 겪는 상태이다. 이러한 부식은, 일반적으로는 전체 구조물을 둘러싸는 단열 피복으로 인해, 쉽게 관찰될 수 없기 때문에, CUI를 탐지하는 것은 난제이다. CUI의 전형적인 원인은 단열재에 침투하는 수분 축적이다. 수분은 단열재와 금속 표면 사이의 환형 공간에 축적되어 표면 부식을 야기한다. 부식을 유발할 수 있는 수분 공급원은 비, 누수, 및 응결, 냉각수 탑 비산(drift), 배수 시스템 및 스팀 트레이싱(steam tracing) 누수를 포함한다. 부식은 일반적으로 국소적으로 시작되지만, 특히, 반복적인 열 가열 및/또는 냉각 사이클이 있거나 또는 물 매질 또는 주변 공기 중에 염화물 또는 산과 같은 오염물이 있는 경우에는, 부식이 빠른 속도로 진행될 수 있다.

CUI를 탐지하지 못하는 경우, 그 결과는 공정 유닛 또는 전체 설비의 조업 중지로 이어질 수 있으며, 재난 사고로 이어질 수 있다. CUI는 숨겨진 부식 메커니즘이기 때문에, 단열재를 제거하거나 또는 적외선 열화상 기술(infrared thermography)과 같은 진보된 비파괴 시험(NDT: non-destructive testing) 기술을 사용하여 단열재 아래의 금속 상태를 확인하기 전까지는 손상이 인지되지 않은 채로 있게 된다. 단열재를 제거하는 일은 시간 소모적이고 비용이 많이 드는 과정일 수 있고, 한편 NDT 기술의 정확도는 탐지 과정에서의 오탐(false positives)(부식의 부정확한 탐지) 및 미탐(false negatives)(부식의 부정확한 미탐지)을 야기하는 다수의 변수들(예를 들어, 기하 형태, 환경, 재질-관련 변수들)로 인해 불충분할 수 있다. 또한, 많은 설비에는 접근하기 어려운 높은 위치의 배관망이 있는데, 이는 시각 검사를 위한 비계를 필요한다.

이러한 문제들로 인해, 자산에 대한 국소적 시각 검사는 CUI 탐지에 있어서 신뢰할 수 있게 효과적이지 않으며, 자산의 상태를 반영하지 못하는 것으로 밝혀졌다. CUI의 예측 위험 평가에는 관련 기술의 격차가 있다. 따라서, CUI 손상 수준을 결정하고 적절한 유지 보수 일정을 수립하고 이 문제로 인한 부담스러운 비용을 저감할 수 있도록 하는 향상된 탐지 및 위험 평가 도구가 절실히 필요하다.

본원에서 제공되는 개시내용은 이러한 고려 사항들과 그 밖의 다른 고려 사항들과 관련된 것이다.

본 발명의 실시형태는 기계 학습 및 데이터 융합을 사용하여 기반시설 자산(infrastructure asset)에서 단열재 하부 부식(CUI)을 예측하고 탐지하는 시스템을 제공한다. 본 시스템은 자산의 열화상을 캡처하도록 배치된 적어도 하나의 적외선 카메라와, 적어도 하나의 적외선 카메라를 기계식으로 지지하고 그 적외선 카메라에 전기적으로 연결되며 기반시설 자산에 대해 조정 가능한 위치를 갖는 적어도 하나의 스마트 마운트를 포함한다. 상기 적어도 하나의 스마트 마운트는 통신 모듈, 상기 적어도 하나의 카메라로부터 수신된 열화상 데이터를 저장하도록 구성된 메모리 저장소, 상기 적어도 하나의 적외선 카메라를 재충전하도록 작동하는 배터리 모듈, 주변 상태 데이터를 획득하도록 구성된 주변 센서 모듈, 및 기반시설 자산으로부터 CUI 관련 데이터를 획득하도록 구성된 적어도 하나의 추가 센서를 포함한다. 본 시스템은, 적어도 하나의 스마트 마운트의 통신 모듈이나 또는 메모리 저장소로부터 a) 기반시설 자산의 열화상, b) 주변 상태 데이터, c) 데이터 융합을 제공하는 프로브 센서로부터의 CUI 관련 데이터, 및 d) 전통적인 CUI 테스트에서 획득한 결과 데이터를 입력으로 취하며 기반시설 자산에 대한 CUI 예측을 출력하도록 구성된 기계 학습 알고리즘을 실행시키는 명령어가 구성된 프로세서를 구비한 적어도 하나의 컴퓨팅 장치를 추가로 포함한다. 기계 학습 알고리즘 플랫폼은 적어도 하나의 컴퓨팅 장치로부터 시간에 따라 수신된, 축적된 입력 데이터에 기초하여, 기계 학습 알고리즘을 훈련시키도록 구성된다.

적어도 하나의 컴퓨팅 장치는 현재의 적외선 화상, 주변 센서 데이터, 및 CUI 관련 데이터를 사용하여 기계 학습 알고리즘을 실행함으로써 적어도 하나의 적외선 카메라와 적어도 하나의 스마트 마운트의 현재의 배치 상태를, 현재의 배치 상태 하에서의 기계 학습 알고리즘의 성능이 임계 수준을 충족하는지 여부를 결정함으로써, 테스트하도록 구성된다.

일부 실시형태에서, 기계 학습 알고리즘 상태의 성능은 부식 예측 정확도에 의해 측정된다. 다른 실시형태에서, 현재의 배치 상태의 성능은 배치 및 테스트의 비용에 의해 측정된다. 또 다른 실시형태에서, 현재의 배치 상태의 성능은 배치 및 테스트의 속도에 의해 측정된다.

적어도 하나의 컴퓨팅 장치에 의해 테스트되는 배치 상태는, 적어도 하나의 적외선 카메라와 적어도 하나의 스마트 마운트가 배치된 연중 시간; 적어도 하나의 적외선 카메라와 적어도 하나의 스마트 마운트가 배치된 하루 중 시간; 적어도 하나의 카메라의 위치, 방향, 및 화상 캡처 지속 시간; 및 적어도 하나의 카메라의 위치, 유형, 및 시간 주기마다 캡처된 화상의 수를 포함한다.

본 발명의 실시형태는 기반시설 자산에서 단열재 하부 부식(CUI)을 예측하고 탐지하는 시스템을 제공한다. 본 시스템은 기반시설 자산의 열화상을 캡처하도록 배치된 적어도 하나의 적외선 카메라와, 적어도 하나의 적외선 카메라를 기계식으로 지지하고 그 적외선 카메라에 전기적으로 연결된 적어도 하나의 스마트 마운트를 포함하며; 적어도 하나의 스마트 마운트는, 무선 통신 모듈, 적어도 하나의 카메라로부터 수신된 열화상 데이터를 저장하도록 구성된 메모리 저장소, 적어도 하나의 적외선 카메라를 재충전하도록 작동하는 배터리 모듈, 주변 상태 데이터를 획득하도록 구성된 주변 센서 모듈, 및 기반시설 자산으로부터 CUI 관련 데이터를 획득하도록 구성된 구조물 프로브 센서를 포함한다. 본 시스템은, 적어도 하나의 스마트 마운트에 통신 가능하게 연결된 무선 통신 모듈을 갖는 적어도 하나의 컴퓨팅 장치로서, 열화상 데이터, 주변 상태 데이터, 및 프로브 센서로부터의 CUI 관련 데이터를 입력으로 취하고 기반시설 자산에 대한 CUI 예측을 출력하는 기계 학습 알고리즘을 실행하기 위한 명령어가 구성된, 적어도 하나의 컴퓨팅 장치와; 열화상 데이터, 주변 상태 데이터, 및 구조물 프로브 센서로부터의 CUI 관련 데이터와, 컴퓨팅 장치에 의한 예측 출력을 수신하고 저장하도록 구성되며, 컴퓨팅 장치에 저장된 기계 학습 알고리즘을 업데이트하기 위한 검증 데이터를 수신하도록 구성된 클라우드 컴퓨팅 플랫폼을 추가로 포함한다.

특정 실시형태에서, 적어도 하나의 스마트 마운트는 적외선 카메라를 지지하기 위한 고정구를 포함하며, 그리고 이 스마트 마운트는 적외선 카메라를 평행 이동시키고 기울일 수 있도록 회전 가능하고 확장 가능하다.

특정 구현예에서, 기반시설 자산은 식별 태그들을 포함하고, 적어도 하나의 스마트 마운트는 기반시설 자산의 식별 태그들을 스캔하도록 작동하는 표준 카메라를 추가로 포함한다.

특정 구현예에서, 주변 센서 모듈은 온도, 습도, 및 기압을 검출하도록 작동한다. 구조물 프로브 센서는 자기력 측정 센서(magnetometry sensor)를 포함할 수 있다.

특정 실시형태에서, 상기 시스템은, 적어도 하나의 스마트 마운트에 통신 가능하게 연결되고 적어도 하나의 스마트 마운트에 구성 및 제어 명령을 전송하도록 구성된 제어 스테이션을 추가로 포함한다.

적어도 하나의 컴퓨팅 장치에 의해 사용되는 기계 학습 알고리즘은 심층 순환 신경망(deep recurrent neural network)을 포함할 수 있으며, 일부 구현예에서 심층 순환 신경망은 장단기 기억(LSTM: long short-term memory) 신경망이다. 적어도 하나의 컴퓨팅 장치에 의해 사용되는 기계 학습 알고리즘은 컨볼루션 신경망을 추가로 포함할 수 있다.

일부 구현예에서, 적어도 하나의 컴퓨팅 디바이스는 적어도 하나의 스마트 마운트로부터 수신된 데이터에 대해 노이즈 감소시키기를 수행하도록 구성된다. 본 시스템은 적어도 하나의 마운트 각각이 그 각각의 통신 모듈을 통해 서로 통신할 수 있는 다중 노드 기능을 가질 수 있다.

본 발명의 실시형태는 또한 단열재 하부 부식(CUI)의 예측 및 탐지를 가능하게 하기 위해 기반시설 자산으로부터 데이터를 획득하는 방법을 제공한다. 본 방법은 기반시설 자산의 열화상 데이터를 시간에 따라 캡처하고; 추가 탐사 값을 시간에 따라 획득하기 위해 추가 감지 모드를 사용하여 기반시설 자산을 탐침으로 조사하고; 주변 상태 데이터를 시간에 따라 획득하기 위해 주변 상태를 측정하고; 열화상, 추가 탐사 값, 및 주변 상태 데이터를 컴퓨터 판독 가능 파일로 결합시키고; 그리고 열화상, 추가 프로브, 및 주변 상태 데이터를 사용하여 기반시설 자산이 CUI를 포함하는지 여부를 예측하는 알고리즘을 사용하는 컴퓨팅 장치로 컴퓨터 판독 가능 파일을 전송하는 것을 포함한다.

상기 방법의 특정 실시형태는 식별 태그들에 대해 기반시설 자산을 스캔하여 태그 사진 데이터를 획득하고, 그 태그 사진 데이터를 컴퓨터 판독 가능 파일에 포함시키는 것을 추가로 포함한다. 추가 감지 모드는 예를 들어 자기력 측정 센서를 포함할 수 있다. 주변 상태 데이터는 온도, 습도, 및 기압 측정치를 포함할 수 있다.

본 발명의 실시형태는 또한 클라우드 컴퓨팅 플랫폼을 사용하여 기반시설 자산에서 단열재 하부 부식(CUI)을 예측하는 방법도 제공한다. 본 방법은 기반시설 자산의 열화상, 기반시설 자산의 추가 센서 프로브 데이터, 및 기반시설 자산의 주변 상태를 포함하는 데이터 스트림을 수신하고; 수신된 데이터 스트림과 클라우드 컴퓨팅 플랫폼으로부터 업데이트되어 수신된 가중치를 사용하여 하나 이상의 기계 학습 알고리즘을 실시간으로 실행하여서 기반시설 자산이 CUI를 포함하는지 여부에 대한 예측을 생성하고; 그리고 수신된 데이터 스트림과 예측을 클라우드 컴퓨팅 플랫폼으로 전송하는 것을 포함한다.

상기 방법의 일부 실시형태는 수신된 데이터에서 노이즈를 필터링하는 것을 추가로 포함한다.

상기 방법은 열 동태 모델(thermal dynamic model)을 사용하여 기반시설 자산의 주변 상태 및 파라미터들에 기초하여 합성 열화상 데이터를 생성하는 것도 또한 포함할 수 있다. 클라우드 컴퓨팅 플랫폼에서, 합성 열화상 데이터가 기반시설 자산의 열화상, 기반시설 자산의 추가 센서 프로브 데이터, 및 기반시설 자산의 주변 상태를 포함하는 스트림과 결합되어, 기계 학습 모델을 훈련하기 위한 데이터 훈련 세트가 생성되도록 할 수 있다. 일부 실시형태에서, 기계 학습 모델은 심층 순환 신경망을 포함한다. 본 방법의 구현예는 장단기 기억 신경망(LSTM)을 포함할 수 있다. 기계 학습 모델은 컨볼루션 신경망을 추가로 포함할 수 있다.

본 발명의 실시형태는 또한 단열재 하부 부식(CUI)의 예측 및 탐지를 가능하게 하기 위해 기반시설 자산으로부터 데이터를 획득하기 위한 적어도 하나의 조사 키트의 배치 상태를 최적화하는 방법을 제공한다. 본 방법은 적어도 하나의 조사 키트에 의해 기반시설 자산으로부터 시간에 따라 획득된, 열화상, 센서 데이터와, 적어도 하나의 조사 키트에 관한 배치 상태 정보를 수신하고; 기반시설 자산에 대응하는 전통적인 CUI 탐지 방법의 결과 데이터를 시간에 따라 획득하고; 기반시설 자산에서 획득된, 캡처된 열화상과 기타 센서 데이터 및 결과 데이터를 사용하여 기계 학습 알고리즘을 훈련시키고; 그리고 적어도 하나의 조사 키트의 배치 상태를 테스트하는 것을 포함한다. 배치 상태 테스트는 주변 상태 데이터를 포함하는 현재의 테스트 상태와 적어도 하나의 조사 키트에서의 현재의 배치 상태를 수신하여 시간에 따라 주변 상태 데이터를 획득하고; 주변 상태 데이터 및 적어도 하나의 조사 키트의 현재의 배치 상태를 사용하여 기계 학습 알고리즘을 실행하고; 그리고 테스트 상태에 기초하여, 기계 학습 알고리즘의 성능이 사전 설정된 성능 임계값을 초과하는지 여부를 결정하는 것을 포함한다. 기계 학습 알고리즘의 성능이 임계값을 초과하면, 테스트 상태를 사용하여 배치 상태가 최적화된다. 반면에, 기계 학습 알고리즘의 성능이 임계값을 초과하지 않으면, 적어도 하나의 조사 키트의 배치 상태가 변경되고, 기계 학습 알고리즘이 반복적으로 반복되는데, 그 성능이 임계값을 초과하거나 설정된 반복 횟수가 실시될 때까지 반복된다.

일부 실시형태에서, 상기 방법은 현재의 테스트 상태를 사용하여 부식 예측 정확도에 기초하여 기계 학습 알고리즘의 성능을 측정하는 것을 추가로 포함한다. 일부 실시형태에서, 상기 방법은 배치 및 테스트의 비용에 기초하여 기계 학습 알고리즘의 성능을 측정하는 것을 추가로 포함한다. 또 다른 실시형태에서, 상기 방법은 배치 및 테스트의 속도에 기초하여 기계 학습 알고리즘의 성능을 측정하는 것을 포함한다.

현재의 배치 상태에는 적어도 하나의 조사 키트가 배치된 연중 시간; 적어도 하나의 조사 키트가 배치된 하루 중의 시간; 적어도 하나의 조사 키트의 위치, 방향, 및 화상 캡처 지속 시간; 및 적어도 하나의 조사 키트의 위치, 유형, 시간 주기마다 캡처한 화상의 수를 포함할 수 있다.

이들 및 다른 양태들, 특징들, 및 이점들은 본 발명의 특정 실시형태들에 대한 다음의 설명 및 첨부된 도면들과 청구범위로부터 이해될 수 있다.

도 1은 본 발명의 일 실시형태에 따른, CUI를 예측 및 탐지하는 클라우드 기반 학습 시스템의 개략도이다.
도 2는 CUI에 대해 구조물을 모니터링하기 위해 4개의 적외선 카메라와 대응하는 스마트 마운트 및 컴퓨팅 장치가 배치된 클라우드 기반 시스템의 일 실시형태의 개략도이다.
도 3은 본 발명의 예시적인 일 실시형태에 따른 스마트 마운트의 기능적 요소들을 보여주는 블록도이다.
도 4는 본 발명의 예시적인 일 실시형태에 따른, 합성 열화상 데이터 구조를 생성하는 방법을 예시하는 블록 흐름도이다.
도 5a는 본 발명의 일 실시형태에 따른, 조사 키트를 사용하여 수행되는 CUI 예측을 위한 데이터 획득 방법의 흐름도이다.
도 5b는 본 발명의 일 실시형태에 따른 실시간 CUI 예측 방법의 흐름도이다.
도 6은 본 발명의 일 실시형태에 따른, CUI 탐지용 조사 키트를 배치하기 위한 배치 상태를 최적화하기 위해 기계 학습 시스템을 이용하는 방법의 흐름도이다.
도 7a는 본 발명의 일 실시형태에 따른, 부식 탐지를 위한 연중 시간을 최적화하기 위한 흐름도이다.
도 7b는 본 발명의 일 실시형태에 따른, 부식 탐지를 위한 하루 중 시간을 최적화하기 위한 흐름도이다.
도 7c는 본 발명의 일 실시형태에 따른, 부식 탐지를 위한 조사 키트의 위치 및 방향과 화상 캡처 지속 시간을 최적화하기 위한 흐름도이다.
도 7d는 본 발명의 일 실시형태에 따른, 부식 탐지를 위한 조사 키트의 위치, 카메라 유형, 및 캡처된 화상의 수를 최적화하기 위한 흐름도이다.
도 8a는 연중 시간에 대한 부식 예측 정확도의 예시적인 그래프이다.
도 8b는 하루 중 시간에 대한 부식 예측 정확도의 예시적인 그래프이다.

본 발명의 실시형태는 종속적이고 독립적인 주변 변수들을 고려하여 단열재 하부 부식(CUI)을 탐지하기 위한 예측식 접근법을 제공한다. 조사된 자산의 열화상이 시간에 따라 캡처된다.

동일하거나 겹치는 영역의 일련의 열화상들이 시간에 따라 캡처되므로, 바람과 같은 일시적인 문제들의 영향을 포함하여 현상의 변화를 쉽게 관찰할 수 있다. 열화상은 CUI에 취약한 위치를 나타낼 수 있는 여러 유형 또는 계층(order)의 온도 정보를 제공할 수 있다. 온도 정보의 첫 번째 계층은 열화상에 표시된 색상으로 표시되는 정규 온도(T) 데이터이다. 온도 정보의 두 번째 계층은 상이한 영역들 사이에서 나타나는 콘트라스트와 같은 온도 변화(ΔT)이고, 온도 정보의 세 번째 계층은 시간에 따른 일련의 화상들을 분석함으로써 결정된 온도 분석의 변화율(df(T)/dt)이다. 상관관계를 결정하기 위해 예를 들어 EM 스펙트럼의 다른 부분들에서의 전자기 탐지 또는 자기력 측정법과 같은 독립적인 비파괴 검사(NDT: non-destructive testing) 기술을 사용하여 추가 평가를 수행한다. 이러한 "센서 융합"은 효과가 최소화될 수 있는, CUI 탐지, 음영 탐지, 또는 비정상적인 공정 활동의 정확도를 높인다. 하루 중의 시간, 날씨, 공정 상태 등과 같은 주변 상태 데이터는 다수의 입력 소스로부터 결론을 생성하는 데 사용되는 기계 학습 알고리즘으로의 파라미터 입력으로서 포함될 수 있다. 추가적으로, 일부 실시형태에서, 음영, 반사, 또는 기타 인공물에 의해 야기되는 열화상 중의 "노이즈"의 영향을 감소시키기 위해, 노이즈 필터가 전처리 단계로 사용될 수 있다.

센서 융합과 시간 기반 분석의 조합을 통해, 결정적이지 않거나 혼동되는 변수를 배제시켜서, 학습 알고리즘이 주변 상태와 상반되는 이상에 집중하게 하여, CUI가 더 잘 표시되게 할 수 있다. 이러한 이상이 기록되고, 그 후 현장 엔지니어는 이상이 발생하는 위치에 대해 검증 검사를 수행할 수 있다. 현장 검사 결과(예를 들어, "CUI 검증됨" 또는 "CUI 검증되지 않음")는 로컬에 저장되거나 또는 클라우드 기반 플랫폼에 저장될 수 있고, 감독받는 기계 학습 시스템을 훈련하는 데 사용되어서, 파라미터(가중치, 계수)가 지속적으로 더 포괄적인 데이터 세트에 의해 시간에 따라 정제됨에 따라 기계 학습 시스템을 시간에 따라 더 '지능적인' 상태로 되게 할 수 있다.

도 1은 본 발명의 일 실시형태에 따른, CUI를 예측 및 탐지하는 기계 학습 시스템(100)의 개략도이다. 도 1은 테스트될 예시적인 구조물(105), 이 경우에서는 단열된 파이프들의 세트를 도시하고 있다. 이 예의 단열된 파이프는 하나 이상의 단열 층으로 둘러싸인 금속 파이프 도관을 포함할 수 있다. 부식은 발생하게 될 때에는 단열재와 금속 파이프 사이의 습기가 갇혀 축적될 수 있는 환형 영역에 형성되는 경향이 있다. 도 1에서, 구조물로부터 방출되는 적외선 복사선을 캡처하여 열화상을 기록하기 위해 하나 이상의 적외선 카메라(110)(도면에는 하나의 카메라만 도시됨)가 구조물(105)에 근접하게 위치된다. CUI 탐지에 적합한 적외선 카메라의 한 가지 예는 오리건주 윌슨빌 소재의 플리어 시스템즈 인코포레이티드(FLIR Systems, Inc.)에서 공급하는 C3 Wi-Fi 지원 열화상 카메라이지만, 다른 장치도 사용할 수 있다. 구조물(105)로부터 캡처된 열화상은 가시 스펙트럼 복사선에서 검출될 수 없는 구조물 내의 내부 열 콘트라스트를 나타낼 수 있으며, 수분 축적 및/또는 부식을 나타낼 수 있다. 적외선 카메라(110)는 바람직하게는 구조물의 영역들로부터 수신되는 열화상들을 선정된 지속 시간에 걸쳐 연속적으로, 그리고/또는 상이한 시간들 또는 날짜들에 간헐적으로 캡처한다. 적외선 카메라(110)는 열화상을 표준화된 컴퓨터 판독 가능 파일 포맷(즉, 열화상 파일, jpgs)으로 변환하도록 구성된다.

적외선 카메라(110)는 마운트(112)에 위치되며, 이 마운트는 아래에서 더 상세히 설명하는 바와 같이 "스마트"할 수 있고 다양한 컴포넌트들 및 기능들을 가질 수 있다. 일부 실시형태에서, 마운트는 삼각대로 구현될 수 있다. 마운트(112)는 구조물 상의 높은 높이에 도달하도록 (예를 들어, 삽통식으로) 연장될 수 있고, 고정된 평면에 대해 다양한 각도로 패닝 및 틸팅할 수 있는 여러 자유도를 갖는, 카메라에 결합된 기계식 헤드 고정구를 포함할 수 있다. 현장 기술자는 필요에 따라 구조물의 여러 영역에서 열화상을 캡처하기 위해 마운트 헤드의 신장 및 배향을 설정할 수 있다.

일부 시설에서는, 자산에 또는 그 자산의 여러 부분에 식별 태그를 붙일 수 있다. 각 태그의 정확한 지리적 위치는 GPS를 사용하여 결정할 수 있다. 식별 태그는 소정의 거리에서 판독할 수 있는 QR 코드와 같은 화상 기반 태그를 사용하여 구현할 수 있다. 태그 활용법(tagging) 특징의 이점을 취하기 위해, 일부 실시형태에서, 기반시설 자산 상의 태그를 스캔하기 위해 마운트 상에 표준 카메라를 적외선 카메라와 함께 구성할 수 있다. 화상 내의 태그 크기(알려진 크기) 여하에 따라 카메라로부터 태그까지의 거리를 결정할 수 있다. 태그 활용법은 시설의 복잡한 3차원 CAD 모델을 만들지 않고도 설비 자산의 스캐닝과 위치 파악을 동시에 할 수 있게 한다.

적외선 카메라(110)는 마운트(112)에 물리적으로 그리고 통신 가능하게 (예를 들어, 블루투스 또는 Wi-Fi 통신에 의해 무선으로) 연결될 수 있다. 마운트(112)는 또한 가시광선 센서(일반 카메라) 또는 전자기 센서(도 1에 도시되지 않음)와 같은 하나 이상의 추가 탐지기를 포함하거나 이에 결합되며, 이 추가 검추출기는 열화상으로 획득한 데이터를 보완하기 위해 구조물을 탐사하여 보충적인 판독치를 획득하는 데 사용될 수 있다. 이러한 방식으로, 두 개 이상의 별개의 독립적인 감지 모드들로부터의 데이터가 결합될 수 있는데, 이를 "센서 융합"이라고 함, 이는 오탐 분류를 줄임으로써 다운스트림 예측 및 탐지를 훨씬 더 강건하게 만들 수 있다. 마운트(112)는 또한 온도, 습도, 및 기압을 포함하는 주변 상태를 감지하기 위한 센서들을 포함한다. 수신된 열화상은 주변 상태와, 그리고 주변 상태가 기록된 현재 시간과 연관될 수 있다. 이 데이터는 구조물에서 캡처한 열화상의 해석 및 분류에 기여하는 기계 학습 알고리즘에 의해 사용되는 파라미터들을 포함한다.

일부 실시형태에서, 마운트(112)는 컴퓨팅 장치(115)에 통신 가능하게 연결될 수 있으며, 컴퓨팅 장치는 태블릿, 랩톱, 또는 현장 기술 전문가가 사용하기 위해 산업 현장에서 편리하게 현장으로 가져갈 수 있는 충분한 처리 및 메모리 기능을 가진 임의의 다른 적합한 컴퓨팅 장치일 수 있다. 이러한 실시형태에서, 마운트(112)는 카메라(110)로부터 수신된 열화상 파일을 컴퓨팅 장치(115)로 전송하도록 작동한다. 다른 실시형태에서, 마운트(112)의 다른 센서들 및 적외선 카메라(110)에 의해 저장되는 데이터는 예를 들어 메모리 카드에 로컬로 저장된 다음 컴퓨팅 장치(115)로 전송될 수 있다. 컴퓨팅 장치(115)는 예측 분석을 위한 실행 가능한 애플리케이션을 저장하는 것이 바람직하다. 예측 분석 전에, 열화상은 적외선 카메라(110) 및/또는 컴퓨팅 장치(115)에 의해 전처리될 수 있다. 전처리에는 많은 원인으로 인해 발생할 수 있는 화상 중의 노이즈를 줄이기 위한 화상 필터링 단계가 포함될 수 있다. 컴퓨터 장치는 또한 수신된 열화상 파일(열화상들)을 입력으로 취하고 그 열화상들이 관심 있는 이상을 포함할 확률에 대한 예측을 실시간으로 출력하는 하나 이상의 기계 학습 알고리즘을 실행한다. 관련된 공동 소유 출원인, 발명의 명칭이 "단열재 하부 부식(CUI)을 식별하기 위한 신경망을 사용하는 열화상 화상 처리(Thermography Image Processing with Neural Networks to Identify Corrosion Under Insulation (CUI))"인 미국 특허 출원 제15/712,490호에서 논의된 바와 같이, 딥 러닝 알고리즘을 포함한 복수의 기계 학습 알고리즘이 CUI 탐지에 사용될 수 있다. 일부 구현예에서, 화상을 자세히 분류하는 데 유용한 컨볼루션 신경망이 첫 번째 단계에서 사용되고, 시간에 따른 변화를 추적하는 데 유용한 순환 신경망이 추가 단계에서 사용된다. 컴퓨팅 장치(115)는 현장 기술자가 편리하게 컨설팅할 수 있는 애플리케이션 사용자 인터페이스에 기계 학습 알고리즘의 출력을 제공한다. 현장에서의 실시간 예측 분석은 현장 기술자가 관찰을 지원할 수 있게 하며 부식 손상을 받을 가능성이 높은 구조물의 고위험 영역에 빠르게 집중할 수 있게 한다.

도시된 실시형태에서, 컴퓨팅 장치(115)는 네트워크 스위치(120)를 통해(무선 통신 네트워크(122)를 통해) 클라우드 컴퓨팅 플랫폼(125)과 무선으로 통신한다. 대안적으로, 컴퓨팅 장치는 유선 연결을 통해 컴퓨터 네트워크 및 클라우드 컴퓨팅 플랫폼(125)에 연결될 수 있다. 무선 네트워크(122)는 무선 근거리 통신망(WLAN), 무선 광역 통신망(WWAN), 셀룰러 네트워크, 또는 이러한 네트워크들의 조합일 수 있다. 클라우드 컴퓨팅 플랫폼(125)은 분산 컴퓨팅 구성에서 독립적으로 또는 협력적으로 작동할 수 있는 하나 이상의 프로세서(예를 들어, 하나 이상의 서버 또는 서버 클러스터)를 포함하여, 일반적으로 동적으로 할당되는 컴퓨팅 리소스를 포함한다. 클라우드 컴퓨팅 플랫폼(125)은, 애플리케이션을 호스팅하기 위한 컴퓨터 실행 가능 명령을 저장하기 위한 것이며 그리고 수신된 데이터를 장기 저장을 위해 보관하기 위한 것이기도 한 데이터베이스 저장 용량을 포함한다. 예를 들어, 현장의 컴퓨팅 장치(115)는 수신된 모든 열화상 및 기타 데이터를 안전한 저장과 추가 처리 및 분석을 위해 클라우드 컴퓨팅 플랫폼(125)에 업로드할 수 있다. 보다 구체적으로, 컴퓨팅 장치(115)는 예를 들어 MySQL 또는 기타 데이터베이스 포맷으로 데이터 레코드를 포맷하고 전송할 수 있다. 예시적인 데이터베이스 레코드는, 다른 많은 필드들 중에서도 특히, 태그가 부착된 자산 위치, 특정 자산 위치(또는 그에 대한 링크)에서의 시간에 따라 촬영된 일련의 열화상, 열화상을 캡처한 카메라의 카메라 ID(cameraID)에 대한 데이터 값, 각 화상이 캡처된 시간/날짜, 그 시간/날짜에서의 주변 상태(예를 들어, 온도), 센서 융합 데이터(예를 들어, 가시광선 데이터, 전자기 데이터)를 포함할 수 있다. 클라우드 데이터베이스는 (예를 들어, 라이다(LiDAR) 데이터로부터의) 기반시설 자산의 위치 및 레이아웃에 대한 세부적인 지리적 매핑을 포함할 수 있으며, 클라우드 플랫폼에서 실행되는 애플리케이션은 센서 데이터 및 예측 분석을 기반시설 자산의 세부적인 매핑과 결합시키는 세부적인 분석을 수행하여 전체 구조물 또는 구조물들의 그룹을 포괄하는 위험 평가를 수행할 수 있다. 이러한 평가에 대한 보고서와, 클라우드 컴퓨팅 플랫폼(125)에서 수행되는 그 밖의 다른 처리 결과에 대한 보고서는 클라우드 컴퓨팅 플랫폼에 통신 가능하게 연결된 제어 스테이션(130)으로 액세스할 수 있다. 대안적인 실시형태에서, 스마트 마운트(112)는 현장에서 데이터 분석이 수행되기 직전에, 수신된 데이터를 포맷하여 클라우드 컴퓨팅 플랫폼으로 전송할 수 있다.

도 2는 도 1에 보다 일반적으로 도시된 CUI 예측 및 탐지를 위한 클라우드 기반 학습 시스템의 예시적인 구현예를 도시하고 있다. 도 2에서, 이 시스템(150)은 열화상 및 기타 데이터를 캡처하기 위해 구조물(105)에 근접한 여러 위치에 배치된, 카메라와 마운트와 컴퓨팅 장치로 이루어진 세트("조사 키트")를 4세트 포함한다. 이 실시형태에서는 4개의 조사 키트가 사용되고 있지만, 예를 들어 조사된 구조물 또는 설비의 크기 여하에 따라 더 적거나 더 많은 수의 키트가 사용될 수 있다는 점을 다시 한번 주지해야 한다. 더 구체적으로, 시스템(150)은 자산(105)에 근접한 위치인 제1 위치에 위치된 제1 마운트(154) 및 제1 컴퓨팅 장치(156)와 연관된 제1 적외선 카메라(152); 제2 위치에 위치된 제2 마운트(164) 및 제2 컴퓨팅 장치(166)와 연관된 제2 적외선 카메라(162); 제3 위치에 위치한 제3 마운트(174) 및 제3 컴퓨팅 장치(176)와 연관된 제3 적외선 카메라(172); 및 제4 위치에 위치된 제4 마운트(184) 및 제4 컴퓨팅 장치(186)와 연관된 제4 적외선 카메라(182)를 사용하도록 구성될 수 있다. 양방향 무선 통신은 시스템의 모든 마운트들과 컴퓨팅 장치들에 의해 지원될 수 있으며, 따라서 이들 각각은 서로 통신할 수 있다. 예를 들어, 컴퓨팅 장치(156, 166, 176, 186)에 의해 수신된 열화상 데이터는 네트워크 스위치(120)를 통해 클라우드 컴퓨팅 플랫폼(125)으로 전송되어 제어 스테이션(130)으로 전송될 수 있다. 대안으로, 스마트 마운트(154, 164, 174, 184)는 무선 연결이 가능할 때에 제어 스테이션과 직접 통신할 수 있다. 중복 연결을 제공함으로써, 시스템의 각 스마트 마운트 또는 컴퓨팅 장치는 다중 노드 시스템에서 통신 노드 역할을 할 수 있으므로, 마운트들 또는 컴퓨팅 장치들 중 하나 이상이 제어 스테이션과 연결이 끊어지면 연결을 유지하는 다른 노드로 데이터를 보낼 수 있다. 제어 스테이션(130)은 스마트 마운트(154, 164, 174, 184) 또는 컴퓨팅 장치(156, 166, 176, 186)에 구성 및 제어 명령을 제공하도록 구성된다.

설비의 다수의 구조물들과 위치들에서 판독 값을 취하기 위해, 조사 키트를 수동 또는 자동으로 이동시킬 수 있다. 키트가 다른 위치로 이동함에 따라, 적외선 화상들 및 기타 센서 판독 값들이 주어진 공간(즉, 데카르트 공간, x, y, 및 z) 내의 소정의 범위의 지점들에서 획득되어서, 여기서 설명되는 바와 같은 처리를 위해 컴퓨팅 장치로 제공된다. 예를 들어, 센서 데이터는 초기에 센서 데이터에 대한 벡터 데이터의 세트들 (x₁, y₁, z₁, i(sensor)₁) . . . (x_n, y_n, z_n, i(sensor)_n)과, 적외선 화상 데이터에 대한 벡터 데이터의 세트들 (x₁,y₁, z₁, i(inf)₁ ) . . .( x_n, y_n, z_n, i(inf)_n)을 생성한다. 이들 두 세트의 데이터는 데이터가 실질적으로 동일한 위치에서 캡처된 때에는(즉, 비적외선 센서와 적외선 센서 각각에 의해 감지된 영역들 사이에 오프셋이 없거나 유한 오프셋이 있는 경우에는) 하나의 벡터, 즉 (x_n, y_n, z_n, i(sensor)_n, i(inf)_n)로 결합된다. 아래에서 더 설명하는 바와 같이, 주어진 위치에 대한 각 감지 모드 쌍(또는 두 개 초과의 모드들)에 대해, 컴퓨팅 시스템은 자산 위치가 부식되었는지 여부를 예측한다. 이에 의해, 예를 들어 (x_n,y_n,z_n,iTHz_n,i(inf)_n, Prediction_n)과 같은 모델을 예측 엔진에 공급함으로써 획득한 예측이 데이터 매핑에 보충된다. 설비에 있어서의 대형 3차원 공간에 대한 예측이 결정되기 때문에, 일부 경우에서는, 동일한 부근의 여러 데이터 지점들이 부식의 양성 예측과 연관되는 "핫" 영역이 식별될 수 있다. 마찬가지로, 부식이 비교적 적게 예측되거나 전혀 예측되지 않은 인접 영역들도 식별될 수 있다. 그런 다음, 위와 같은 핫 영역에는 개선 조치가 적용될 수 있지만, 부식이 비교적 적은 것으로 결정된 다른 영역에는 치유 조치가 적용되지 않는다. 이러한 방식으로, 부식 손상 가능성이 높은 특정 섹션에 대해서 단열재 제거 및 기타 개선 조치를 수행하게 되고, 이는 부식의 존재를 결정하기 위해 단열재 섹션들을 무작위로 제거하거나 통계적 패턴에 따라 제거할 필요를 없앤다.

도 3은 본 발명의 예시적인 일 실시형태에 따른 스마트 마운트의 기능적 요소들을 보여주는 블록도이다. 스마트 마운트(112)는, 적외선 카메라(110)를 마운트(112)에 견고하게 기계식으로 부착시키고 전기적으로 연결시키는 카메라 커플링 또는 마운트(202)를 포함한다. 위에서 언급한 바와 같이, 카메라 커플링(202)은 삽통식 샤프트(telescoping shaft)와 같은 확장 가능하고 회전 가능한 요소와, 카메라를 원하는 위치와 방향으로 평행 이동시키고 기울일 수 있게 하는 자유도를 갖는 다양한 조인트를 포함할 수 있다. 일부 구현예에서, 스마트 마운트는 지면에 조향 서브시스템을 제공하기 위해 평형추 방식 가동부(counterweighted movable)에 지지될 수 있다.

시스템의 다른 요소들과의 상호 통신을 가능하게 하기 위해, 스마트 마운트(112)는 통신 모듈(204)을 포함할 수 있고, 이 통신 모듈은 안테나; 트랜시버; 및 다른 스마트 마운트, 컴퓨팅 장치, 및 제어 스테이션(130)과의 양방향 무선 통신을 지원하도록 구성된 전자 컴포넌트들을 포함할 수 있다. 스마트 마운트(112)는 또한 SSD 카드 메모리를 사용하여 구현될 수 있는 메모리 모듈(206)도 포함한다. 신호 차단으로 인해 실제 열화상 스트리밍 속도보다 열등한 차선의 데이터 속도를 내는 위치에 적외선 카메라가 장착된 경우에는, 탑재형 메모리 모듈을 사용하여 열화상 스트림을 저장하여서, 데이터 다운로드를 지원하기 위한 무선 시도가 이루어지는 동안에 대기 시간(latency)을 제공할 수 있다.

스마트 마운트(112)는 온도 센서, 습도 센서, 및 압력 센서를 포함할 수 있는 주변 센서 모듈(210)을 더 포함한다. 추가적인 구조물 프로브 센서 모듈(212)은 열화상과 구별되는 모드를 사용하여 CUI에 대해 구조물을 탐사하는 데 사용될 수 있는 탐지기를 포함하며, 이 탐지기는 가시 사진 탐지기, 자기(자기 측정) 탐지기, 및 초음파 탐지기를 이에 한정되지 않고 포함한다. 구조물 프로브 센서 모듈은 CUI 예측 및 위험 평가를 향상시키는 센서 융합을, 적외선 카메라로부터의 열화상과 함께 제공한다. 전력 모듈(220)은, 스마트 마운트 컴포넌트들에 전력을 제공하기에 충분한 크기이며, 적절한 데이터 수집 기간 동안 전력 공급 회로(224)를 통해 적외선 카메라 배터리를 재충전 요구 전에 충전하기에 충분한 크기인, 배터리 모듈(222)을 포함한다. 데이터 수집에 적합한 지속 시간은 예를 들어 약 45분 내지 약 90분일 수 있다. 더 길거나 짧은 데이터 수집 기간을 위해 더 크거나 더 작은 배터리를 사용할 수 있다.

작동 시, 현장 컴퓨팅 장치는 적외선 카메라들 및 스마트 마운트들로부터 열화상, 프로브 센서, 및 주변 상태 데이터를 수신한다(수집한다). 초기 데이터 수집은 음영, 반사, 및 가짜 신호를 포함한 현장에서의 상태에 영향을 받을 수 있다. 위에서 언급한 바와 같이, 기계 학습 알고리즘을 실행하기 전에, 전처리 단계로서, 소프트웨어에 통합된 노이즈 필터링 메커니즘(또는 필터링 메커니즘이 적외선 카메라에 구현된 경우에는 펌웨어 또는 하드웨어)을 사용하여 유입 데이터에서 노이즈를 필터링하여 노이즈를 제거하고 신호 대 잡음비를 증폭하는 것이 유용할 수 있다. 일부 실시형태에서, 수집된 데이터는 차원 감소 및 자동 인코딩 기술에 의해 필터링될 수 있다. 다른 실시형태에서, 차원 감소 기술 대신에 또는 이에 추가하여, 선형 또는 비선형 평활화 필터가 적용될 수 있다. 노이즈 필터링 단계는 일반적인 근적외선 열 신호뿐만 아니라 음영, 반사로부터의 CUI 신호를 구별하는 데 도움이 된다. 데이터 중의 이러한 노이즈 및 기타 아티팩트는 신경망 스테이지에서 다중 컨텍스트 임베딩을 사용하는 기계 학습 프로세스에서 결국에는 인식되고 보상될 수 있지만, 이러한 방식으로 필터링하여 데이터를 전처리하는 것이 더 시간 및 자원 효율적일 수 있다.

노이즈에 대한 강건성을 향상시키는 데 사용될 수 있는 또 다른 개선은 현장에서 취한 데이터를 보충하기 위해 합성 훈련 데이터를 도입하는 것이다. 유한 요소 분석을 포함한 수학적 모델은 단열된 금속 구조물의 열 동태에 기초하며, 그리고 현장에서 교정 및 비교를 위한 기준으로서 촬영한 열화상에 기초한다. 합성 데이터는 열화상 훈련 데이터 세트를 시뮬레이션하고 증강시키기 위한 것일 수 있다. 합성 데이터는 또한, 예를 들어 기상 상태, 온도, 태양 광 노출, 및 단열재 뒤의 재료 온도와 같은, 여러 가지 환경 상태에 대해 학습 시스템을 더욱 강건하게 만들 수 있다. 합성 데이터는 컴퓨팅 장치 또는 클라우드 컴퓨팅 플랫폼에 의해 로컬 방식으로 생성될 수 있다. 어느 경우이든지, 합성 데이터는 클라우드 컴퓨팅 플랫폼에 있는 훈련 및 애플리케이션 데이터베이스에 통합될 수 있다.

도 4는 예측 기계 학습 모델을 위한 훈련 세트를 보충하기 위한, 본 발명에 따른, 합성 열화상 데이터 구조를 생성하는 방법을 예시하는 블록 흐름도이다. 합성 열화상을 생성하기 위한 입력은 환경 변수(302)(예를 들어, 온도, 습도, 기압, 하루 중 시간), 자산 파라미터(304)(예를 들어, 치수, 위치, 재질, 단열재), 및 현장에서 캡처된, 다양한 자산의 열화상들의 세트(306)("현장 열화상")를 포함한다. 환경 변수(302) 및 자산 파라미터(304)는, 단열된 자산의 시간에 따른 합성 온도 맵(315)을 온도 상태 및 습도 상태의 무작위 확률 분포에 기초하여 생성하기 위해, 환경 상태에 기초하여 재료들의 알려진 열역학적 특성을 사용하는 열 동태 모델(310)에 입력된다. 합성 온도 맵(315) 및 현장 열화상이 화상 형성 모델(320)에 입력된다. 온도 맵만으로 화상을 생성할 수 있는 반면에, 현장 열화상은 교정 및 비교의 기준으로 사용될 수 있다. 일 예로서, 자산의 온도 맵이 유사한 상태에서 유사한 자산의 현장 열화상에 나타난 것보다 더 큰 온도 콘트라스트 경향을 보이는 경우, 화상 형성 모델은 그 온도 맵을 현장 열화상에 더 가까워지도록 하기 위해 가중치를 조정할 수 있다. 이러한 조정이 이루어진 후, 화상 형성 모델은 훈련 동안 현장 열화상을 보충하는 데 사용될 수 있는 합성 열 화상들의 세트(325)를 생성한다.

도 5a는 본 발명의 일 실시형태에 따른, 조사 키트를 사용하여 수행되는 CUI 예측을 위한 데이터 획득 방법의 흐름도이다. 본 방법이 단계 400에서 시작된다. 단계 402에서, 스마트 마운트 및 카메라(적외선 카메라, 표준 카메라)가 설비에서 자산을 모니터링하기에 적합한 위치에 설치된다. 단계 404에서, 자산에 부착된 태그들이 스캔된다. 단계 406에서, 열화상, 센서 융합, 및 주변 상태 데이터가 캡처되어 메모리에 저장된다. 단계 408에서, 이 정보는 실시간 분석을 위해 로컬 컴퓨팅 장치로 전송된다. 본 방법이 단계 410에서 종료된다.

도 5b는 본 발명의 일 실시형태에 따른 실시간 CUI 예측 방법의 흐름도이다. 본 방법이 단계 500에서 시작된다. 단계 502에서, 컴퓨팅 장치는 스마트 마운트로부터 캡처된 데이터를 수신한다. 단계 504에서, 수신된 데이터에서 노이즈가 필터링된다. 단계 506에서, 필터링된 데이터와 이전의 훈련으로부터의 파라미터 가중치에 기초하여, 기계 학습 알고리즘을 사용하여 CUI 예측 및 탐지가 수행된다. 기계 학습 알고리즘은 컨볼루션 및 반복 신경망과 같은 딥 러닝 기술을 포함할 수 있다. 선택적인 단계 508에서, 스마트 마운트로부터 수신된 데이터를 보충하기 위해 합성 데이터가 생성된다. 단계 510에서, 예측 출력은 현장 기술자가 볼 수 있도록 그래픽 사용자 인터페이스에 생성된다. 다음의 단계 512에서, 수신된 데이터와 예측 출력이 클라우드 컴퓨팅 플랫폼으로 전송된다. 본 방법이 단계 514에서 종료된다.

도 6은 본 발명의 일 실시형태에 따른, CUI 탐지용 조사 키트를 배치하기 위한 배치 상태를 최적화하기 위해 기계 학습 시스템을 이용하는 방법의 흐름도이다. 본 방법은 단계 600에서 시작된다. 단계 602에서, 적외선 화상들 및 기타 센서 융합 데이터가 시스템에 입력된다. 단계 604에서, 전통적 침습성 부식 테스트의 결과 데이터(화상)가 시스템에 입력된다. 결과 데이터는, 관찰된 특정 상태들을 부식의 유무와 상관시키도록 시스템을 훈련시키기 위해, 적외선 및 기타 데이터를 현장의 실제 결과와 상관시키는 데 사용된다.

단계 606에서, 기계 학습 시스템은 입력 데이터를 수신하고, 그 데이터를 훈련에 적용하는 것과 테스트에 적용하는 것에 대한 결정을 한다. 훈련에서, 기계 학습 시스템은 화상 및 센서 데이터를 결과 데이터와 상관시키기 위한 파라미터들을 최적화하기 위해 데이터를 적용한다. 즉, 훈련은 결과(부식 유무)를 시간이 지남에 따라 수신되는, 특정 유형의 적외선 화상 데이터 및 기타 센서 데이터와 일치시키려고 한다. 최적화된 파라미터들은 예컨대 온도(T), 정적 또는 동적 온도 콘트라스트(ΔT), 또는 온도 분석의 변화율(df(T)/dt)) 중 하나 또는 모두와 같은, 여러 계층(order)의 온도 데이터에 적용되는 계수일 수 있다. 추가로, 파라미터들에는 아래에서 더 설명되는 바와 같이 조사 키트의 배치 특성들이 포함될 수 있다. 반면, 테스트 중에, 기계 학습 시스템은 현재의 데이터 또는 훈련에 사용된 데이터와는 다른 데이터를 사용하여, 훈련된 시스템이 강건한지 그리고 넓게 다양한 상태들에 적용 가능한지 여부를 결정한다. 단계 606에서, 이 알고리즘을 구현하도록 구성된 명령어를 실행하는 프로세서에 의해, 데이터가 훈련에 사용될 것으로 결정되면, 그 데이터는 단계 608에서 기계 학습 알고리즘에 사용된다. 단계 610에서, 기계 학습 알고리즘은 입력 데이터에 기초하여 최적화된 파라미터들을 사용하여, 훈련된 신경망을 생성한다. 단계 606에서, 명령어를 실행하는 프로세서에 의해, 데이터가 테스트에 사용될 것으로 결정되면, 단계 612에서 그 데이터는 단계 608에서 생성된 최적화된 파라미터들의 강건성을 테스트하는 데 적용된다. 단계 612에서 데이터를 테스트하기 위해서는, 단계 614에서, 현장에서 조사 키트에 의해 일정 기간 동안 시계열로 획득된 시간에 따른 상태 데이터(즉, 시간, 날짜, 온도(t₁, t₂, . . . t_n), 습도(t₁, t₂, . . . t_n), 풍속(t₁, t₂, . . . t_n))도 또한 새로운 IR 화상 및 결과 데이터와 함께 테스트 중에 입력으로 사용된다.

단계 616에서, 시간에 따른 주변 상태 데이터(614)와 현재의 IR 화상(602) 및 결과 데이터(604)를 사용하여 기계 학습 알고리즘의 성능이 사전 설정된 임계값을 초과하는지 여부가 명령을 실행하는 프로세서에 의해 결정된다. 테스트 성능의 효율을 결정하기 위한 사전 설정된 임계값은 결과 데이터와 일치하는 테스트 데이터에 기초한 기계 알고리즘의 예측 정확도에 대한 설정 백분율(예를 들어, 90%)일 수 있다. 임계값에 도달하면, 단계 618에서, 배치 상태 등의 파라미터들이 최적화되었다고 결정된다. 그 다음, 본 방법이 단계 620에서 종료된다. 테스트가 임계값을 충족시키지 못하면, 방법은 단계 602, 단계 604, 및 단계 614로 되돌아 가고, 거기서 훈련 및 테스트의 또 다른 반복을 위해 데이터를 획득한다.

도 7a, 도 7b, 도 7c 및 도 7d는 도 6의 흐름도에 기초한 흐름도로서, 설비 현장에서 부식을 결정하기 위한 특정 배치 상태를 최적화하는 흐름도이다. 도 7a의 흐름도는 도 6의 흐름도와 동일한데, 다만 도 6의 단계 608과 유사한 단계 708에서 기계 학습 알고리즘은 테스트의 연중 시간을 배치 상태 변수로서 사용하여 성능을 최적화한다는 것은 제외하고, 동일하다. 테스트가 수행되는 연중 시간은, 적어도 부분적으로는, 조사된 구조물에 대한 입사 태양광의 각도를 결정하고, 또한, 적어도 부분적으로는, 입사 태양광의 강도로 인해 구조물이 가열되거나 냉각되는 속도를 결정한다. 또한, 연중 시간은 습도 수준을 결정할 수 있다(예를 들어, 습도는 계절에 따라 달라질 수 있다). 주변의 온도 상태 및 습도 상태와 연중 시간 간의 관계로 인해 조사 키트들을 배치한 연중 시간은 부식 탐지의 정확도에 영향을 미칠 수 있다. 따라서, 엔지니어가 연중 시간 중에 어느 시간이 부식 테스트에 최적인지 아는 것이 유용하다. 이는 예를 들어 반복 신경망을 구현하기 위해 프로세서의 프로그래밍을 사용하여 기계 학습 알고리즘을 통해 결정될 수 있다. 단계 718에서, 명령을 실행하는 프로세서에 의해, 테스트 데이터가 성능 임계값을 초과했는지 여부가 결정된 후, 최적의 연중 시간이 결정되어서 기계 학습 및 테스트 프로세스의 출력으로서 기록될 수 있다. 도 8a는 성능 대 연중 시간의 예시적인 그래프로서, 연중 일부 시기(802)(여름의 일부와 가을의 대부분에 걸쳐진 시기)에 걸쳐서는 성능이 사전 설정된 정확도 임계값(예를 들어, 85%)을 초과하고 있음을 보여주고 있다. 도 8a의 그래프는 늦은 여름과 가을이 대체적으로 현장에서 구조물의 부식 테스트를 수행하기에 가장 좋은 시기임을 나타내고 있다. 도 8a에 도시된 예시적인 그래프는 단지 본 발명의 원리를 예시하는 것일 뿐이지 그러한 연중 시기가 이와 관련하여 실제로 최적이라고 나타내는 의미는 아님을 주지해야 한다.

도 7b의 흐름도는 도 6의 흐름도와 동일한데, 다만 도 6의 단계 608과 유사한 단계 728에서 기계 학습 알고리즘은 테스트의 하루 중 시간을 배치 상태 변수로서 사용하여 성능을 최적화하는 코드를 실행시킨다는 것을 제외하고, 동일하다. 연중 시간과 마찬가지로, 하루 중 시간은 부분적으로는 햇빛의 강도와 습도 수준을 결정한다. 따라서, 연중 시간에 있어서의 이유와 유사한 이유로, 엔지니어가 하루 중에 어느 시간이 부식 테스트에 최적인지 아는 것이 유용하다. 단계 738에서, 프로세서에서 실행되는 코드에 의해, 테스트 데이터가 성능 임계값을 초과했는지 여부가 결정된 후, 하루 중 최적의 시간이 결정되어서 기계 학습 및 테스트 프로세스의 출력으로서 기록될 수 있다. 도 8b는 성능 대 하루 중 시간의 예시적인 그래프로서, 하루 중 일부 시간(804)(한낮에 걸쳐진 시간)에 걸쳐서는 성능이 사전 설정된 정확도 임계값(예를 들어, 85%)을 초과하고 있음을 보여주고 있다. 도 8b의 그래프는 정오 전 몇 시간에서부터 정오 후 몇 시간까지의 범위의 한낮이 대체적으로 현장에서 구조물의 부식 테스트를 수행하기에 가장 좋은 시간임을 나타내고 있다. 도 8b에 도시된 예시적인 그래프는 단지 본 발명의 원리를 예시하는 것일 뿐이지 그러한 하루 중 시간이 이와 관련하여 필연적으로 최적이라고 나타내는 의미는 아님을 주지해야 한다.

도 7c는 조사 키트의 카메라 위치 및/또는 카메라 사용 지속 시간을 최적화함으로써 영역의 조사 범위를 최적화하는 방법의 흐름도이다. 현장에서, 적외선 카메라 및 기타 장치는 관심 있는 구조물(들)에 대해 다양한 거리와 각도로 배열될 수 있다. 또한, 적외선 카메라 또는 기타 센서가 특정 섹션에서 데이터를 수집하는 시간 길이는 사용자 설정에 따라 달라질 수 있다. 일부 배열은 다른 배열보다 고품질 열화상을 획득하는 데 더 도움이 될 수 있다. 일부 구현예에서, 노출에 필요한 최소 기간이 있을 수 있고, 이 경우에는 획득된 적외선 화상의 품질이 낮다. 반면에, 카메라 노출 시간이 너무 길면 조사의 총 지속 시간과 비용이 증가할 수 있다. 도 7c의 흐름도에서, 훈련을 목적으로, 단계 742에서 입력된 적외선 데이터는 화상 데이터 외에 메타데이터도 포함한다. 메타데이터는 조사 키트에 있는 각 적외선 카메라의 각기 다른 시간들에서의 위치, 그 시간들에 기준 축에 대해 측정된 각 카메라의 각도 위치(방향), 및 화상 캡처 지속 시간을 포함할 수 있다. 이 메타데이터는 매번 증가할 때마다 촬영되어 캡처된 열화상과 연관될 수 있다. 단계 748에서, 입력된 훈련 데이터를 사용하여 기계 알고리즘이 실행된다. 일부 실시형태에서, 기계 학습 알고리즘은 예측 정확도(즉, 입력 데이터 및 결과 데이터에 기초하여 부식을 정확하게 탐지하는 능력)에 기초하여 파라미터들을 최적화하기 위해 프로세서에서 실행되는 코드에 의해 구성된다. 단계 756에서, 시간에 따른 테스트 데이터를 사용하여 훈련된 알고리즘을 테스트하는 중에 성능이 임계값 미만이라고 결정되면, 단계 758에서는 카메라에 의한 구조물 포괄 범위가 조정되도록 하나 이상의 카메라의 위치와 각도를 증분시키면서 새로운 위치로 자동으로 움직이게 하는 명령이 내려진다. 단계 760에서, 새로운 적외선 화상 데이터가 획득된다. 또한, 화상 캡처 지속 시간을 증분시킬 수 있다. 배치 상태는 그에 의한 효과를 더 잘 구별하기 위해 연속하여(한 번에 하나씩) 증분시킬 수 있다. 일부 구현예에서, 카메라는 현장 기술자가 수동으로 움직일 수 있다. 배치 상태를 증분시키는 것은 성능이 단계 756에서 임계값을 초과할 때까지 루프에서 반복적으로 수행될 수 있다.

성능이 임계값을 초과하면, 단계 762에서, 위치, 각도, 및 노출 시간 변수들은 사전 설정된 정확도 임계값에서 부식 예측에 최적화된 것으로 간주될 수 있다. 이는 단계 762에서 결정된 배열이 구조물 데이터를 획득하기 위한 절대적 최적의 배열이라는 것을 반드시 의미하지 않는다. 절대적 최적 배열을 결정하기 위해, 일련의 테스트들을 수행하여서, 그 결과들을 비교할 수 있다.

도 7d는 획득되는 적외선 화상들의 수를 카메라 유형, 위치, 및 기후 상태에 기초하여 최적화하는 방법의 흐름도이다. 조사 중에, 여러 가지 유형의 적외선 카메라들(예를 들어, 조리개 크기 및 해상도가 다른 카메라들)을 조사 키트에 사용할 수 있으며, 그 카메라들의 위치는 각기 다른 배열로 다를 수 있다. 또한, 조사 키트 배열 및 주변 상태 여하에 따라, 충분한 포괄 범위 및/또는 선명도를 획득하는 데 필요한 화상들의 수가 변경될 수 있다. 도 7d의 흐름도에서, 훈련을 목적으로, 단계 772에서 입력된 적외선 데이터는 화상 데이터 외에 메타데이터도 포함한다. 메타데이터에는 각기 다른 시간에 조사 키트에 있는 각 적외선 카메라의 위치, 배치된 각 카메라의 유형, 및 각 위치의 카메라들이 캡처한 화상들의 수가 포함될 수 있다. 메타데이터는 열화상들과 연관될 수 있다. 단계 778에서, 입력된 훈련 데이터를 사용하여 기계 알고리즘이 실행된다. 기계 알고리즘은 적외선 화상 메타데이터, 즉 시간 t₁, t₂, t₃, . . ., 등에서의 카메라 n의 위치(x_n, y_n, z_n), 카메라 n의 유형(Typ_n), 및 각 카메라 n에 의해 시간 t₁, t₂, t₃에서 획득된 화상의 수를 사용하여 성능을 최적화한다.단계 786에서, 훈련된 알고리즘을 테스트하는 중에 성능이 임계값 미만이라고 결정되면, 단계 788에서는 하나 이상의 카메라의 위치를 자동으로 수정하고/하거나 화상의 수가 각기 다른 하나 이상의 카메라에 의한 데이터 획득을 반복하게 하는 명령이 내려진다. 단계 790에서, 증분된 위치 및/또는 캡처된 화상의 수를 사용하여 새로운 적외선 화상 데이터가 획득된다. 대안적으로, 카메라는 현장 기술자가 수동으로 움직일 수 있다. 이는 성능이 단계 776에서 임계값을 초과할 때까지 루프에서 반복적으로 수행될 수 있다.

성능이 임계값을 초과하면, 단계 792에서, 위치, 카메라 유형, 및 캡처 화상의 수 변수들은 사전 설정된 정확도 임계값에서 부식 예측에 최적화된 것으로 간주될 수 있다. 이는 단계 792에서 결정된 배열이 구조물 데이터를 획득하기 위한 최적의 배열이라는 것을 반드시 의미하지 않는다. 최적의 배열을 결정하기 위해, 일련의 테스트들을 수행하여서, 그 결과들을 비교할 수 있다.

도 7a, 도 7b, 도 7c, 및 도 7d와 관련하여 위에서 설명한 실시형태들에서, 기계 학습 알고리즘은 부식 탐지 정확도를 최적화하도록(즉, 알고리즘의 비용 함수는 예측 결과와 실제 결과 간의 불일치임) 설계되었다. 다른 실시형태 또는 구현예에서, 테스트 속도 및 테스트의 금전적 측면에서의 비용과 같은 기타 파라미터들이 최적화된 변수가 될 수 있으므로, 더 빠르고 그리고/또는 더 저렴한, 부식 탐지 시스템의 조사 키트를 배열 또는 사용하는 방법을 결정하기 위해 기계 학습 훈련 및 테스트를 수행할 수 있다.

본원에 개시된 임의의 구조적 및 기능적 세부 사항은 시스템 및 방법을 제한하는 것으로 해석되지 않고, 오히려 방법을 구현하기 위한 하나 이상의 방법을 당업자에게 교시하기 위한 대표적인 실시형태 및/또는 배열로서 제공되는 것으로 이해되어야 한다.

도면에서 같은 번호는 여러 도면에 걸쳐 같은 요소를 나타낸다는 것과, 도면을 참조하여 설명되고 예시된 모든 컴포넌트 및/또는 단계가 모든 실시형태 또는 배열에 필요한 것은 아니라는 것도 추가로 이해해야 한다.

본원에 사용된 용어는 단지 특정 실시 형태를 설명하기 위한 것이지 본 발명을 한정하려는 것이 아니다. 본원에 사용되는 바와 같이, 단수형("a", "an", "the")은 문맥상 명백하게 달리 나타내지 않는 한 복수형도 포함하는 것으로 의도된다. 용어 "포함하다(comprises)" 및/또는 "포함하는(comprising)"은 본 명세서에서 사용될 때, 언급된 특징, 정수, 단계, 작동, 요소, 및/또는 컴포넌트의 존재를 명시하지만 하나 이상의 다른 특징, 정수, 단계, 작동, 요소, 컴포넌트, 및/또는 이들로 이루어진 그룹의 존재 또는 부가를 배제하지 않는다는 것도 또한 이해될 것이다.

방향에 대한 용어들은 본원에서 단지 편의 및 참조를 위해 사용되며 제한적인 것으로 해석되어서는 안 된다. 그러나 그 용어들은 보는 사람을 기준으로 사용될 수 있음이 인지된다. 따라서, 어떤 제한도 암시되거나 추론되지 않는다.

또한, 본원에서 사용되는 어구 및 용어는 설명을 위한 것이지 한정하는 것으로 간주되어서는 안 된다. 본원에서 "포함하는(including)", "포함하는(comprising)", 또는 "갖는(having)", "함유하는(containing)", "포함하는(involving)" 및 이들의 변형을 사용하는 것은 이러한 용어 뒤에 열거된 항목들과 그 항목들의 균등물뿐만 아니라 부가적인 항목들을 포괄하는 것을 의미한다.

본 발명은 예시적인 실시형태들을 참조하여 설명되어 있지만, 당업자들은 본 발명의 범위를 벗어나지 않고 다양한 변경이 이루어질 수 있으며 구성요소들이 균등물로 대체될 수 있음을 이해할 것이다. 또한, 당업자들은 본 발명의 본질적인 범위를 벗어나지 않고 특정 기기, 상황, 또는 재료를 본 발명의 교시에 적응시키기 위한 많은 변형을 이해할 것이다. 따라서, 본 발명은 본 발명을 수행하기 위해 고려된 최선의 모드로서 개시된 특정 실시형태로 제한되지 않으며, 본 발명은 첨부된 청구범위의 범위 내에 속하는 모든 실시형태를 포함하는 것으로 의도된다.

Claims

기계 학습 및 데이터 융합을 사용하여 기반시설 자산에서 단열재 하부 부식(CUI)을 예측하고 탐지하는 시스템으로서,
상기 기반시설 자산의 열화상을 캡처하도록 배치된 적어도 하나의 적외선 카메라;
상기 적어도 하나의 적외선 카메라를 기계식으로 지지하고 그 적외선 카메라에 전기적으로 연결되며, 상기 기반시설 자산에 대해 조정 가능한 위치를 갖는 적어도 하나의 스마트 마운트, 여기서 상기 적어도 하나의 스마트 마운트는,
통신 모듈,
상기 적어도 하나의 카메라로부터 수신된 열화상 데이터를 저장하도록 구성된 메모리 저장소,
상기 적어도 하나의 적외선 카메라를 재충전하도록 작동하는 배터리 모듈,
주변 상태 데이터를 획득하도록 구성된 주변 센서 모듈, 및
상기 기반시설 자산으로부터 CUI 관련 데이터를 획득하도록 구성된 적어도 하나의 추가 센서를 포함함;
프로세서를 구비한 적어도 하나의 컴퓨팅 장치, 여기서 상기 컴퓨팅 장치에는, 상기 적어도 하나의 스마트 마운트의 통신 모듈이나 또는 메모리 저장소로부터 a) 상기 기반시설 자산의 열화상들, b) 주변 상태 데이터, c) 데이터 융합을 제공하는 상기 적어도 하나의 추가 센서로부터의 CUI 관련 데이터, 및 d) 전통적인 CUI 테스트에서 획득한 결과 데이터를 포함하는 입력을 받으며 상기 기반시설 자산에 대한 CUI 예측을 출력하는 상기 프로세서 내의 기계 학습 알고리즘을 실행시키는 명령어들이 구성됨; 및
상기 적어도 하나의 컴퓨팅 장치로부터 시간에 따라 수신된, 축적된 입력 데이터에 기초하여, 상기 기계 학습 알고리즘을 훈련시키도록 구성된 기계 학습 플랫폼을 포함하는, 단열재 하부 부식을 예측하고 탐지하는 시스템.
제1항에 있어서, 상기 적어도 하나의 컴퓨팅 장치는 현재의 적외선 화상, 주변 센서 데이터, 및 CUI 관련 데이터를 사용하여 상기 기계 학습 알고리즘을 실행함으로써 상기 적어도 하나의 적외선 카메라 및 적어도 하나의 스마트 마운트의 현재의 배치 상태를, 현재의 배치 상태 하에서의 상기 기계 학습 알고리즘의 성능이 임계 수준을 충족하는지 여부를 결정함으로써, 테스트하도록 구성된, 단열재 하부 부식을 예측하고 탐지하는 시스템.
제2항에 있어서, 상기 기계 학습 알고리즘 상태의 성능은
부식 예측 정확도;
배치 및 테스트의 비용; 및
배치 및 테스트의 속도 중 적어도 하나에 의해 측정되는, 단열재 하부 부식을 예측하고 탐지하는 시스템.
제2항에 있어서, 상기 적어도 하나의 컴퓨팅 장치에 의해 테스트되는 배치 상태는 상기 적어도 하나의 적외선 카메라와 적어도 하나의 스마트 마운트가 배치된 연중 시간, 또는 상기 적어도 하나의 적외선 카메라와 적어도 하나의 스마트 마운트가 배치된 하루 중 시간을 포함하는, 단열재 하부 부식을 예측하고 탐지하는 시스템.
제2항에 있어서, 상기 적어도 하나의 컴퓨팅 장치에 의해 테스트되는 배치 상태는 상기 적어도 하나의 카메라의 위치, 방향, 및 화상 캡처 지속 시간을 포함하는, 단열재 하부 부식을 예측하고 탐지하는 시스템.
제2항에 있어서, 상기 적어도 하나의 컴퓨팅 장치에 의해 테스트되는 배치 상태는 상기 적어도 하나의 카메라의 위치, 방향, 및 시간 주기마다 캡처된 화상의 수를 포함하는, 단열재 하부 부식을 예측하고 탐지하는 시스템.
제1항에 있어서, 상기 적어도 하나의 스마트 마운트는 상기 적외선 카메라를 지지하기 위한 고정구를 포함하고, 상기 고정구는 상기 적외선 카메라를 평행 이동시키고 기울일 수 있도록 회전 가능하고 확장 가능한, 단열재 하부 부식을 예측하고 탐지하는 시스템.
제1항에 있어서, 상기 기반시설 자산은 식별 태그들을 포함하고, 적어도 하나의 스마트 마운트는 상기 기반시설 자산의 상기 식별 태그들을 스캔하도록 작동하는 표준 카메라를 추가로 포함하는, 단열재 하부 부식을 예측하고 탐지하는 시스템.
제1항에 있어서, 상기 적어도 하나의 추가 센서는 자기 센서를 포함하는, 단열재 하부 부식을 예측하고 탐지하는 시스템.
제1항에 있어서, 상기 적어도 하나의 스마트 마운트에 통신 가능하게 연결되고 상기 적어도 하나의 스마트 마운트에 구성 및 제어 명령을 전송하도록 구성된 제어 스테이션을 추가로 포함하는, 단열재 하부 부식을 예측하고 탐지하는 시스템.
제1항에 있어서, 상기 적어도 하나의 컴퓨팅 장치에 의해 사용되는 상기 기계 학습 알고리즘은 심층 순환 신경망을 포함하는, 단열재 하부 부식을 예측하고 탐지하는 시스템.
제11항에 있어서, 상기 심층 순환 신경망은 장단기 기억 (LSTM) 신경망인, 단열재 하부 부식을 예측하고 탐지하는 시스템.
제1항에 있어서, 상기 적어도 하나의 컴퓨팅 장치에 의해 사용되는 상기 기계 학습 알고리즘은 컨볼루션 신경망을 추가로 포함하는, 단열재 하부 부식을 예측하고 탐지하는 시스템.
제1항에 있어서, 상기 적어도 하나의 컴퓨팅 장치는 상기 적어도 하나의 스마트 마운트로부터 수신된 데이터에서 노이즈를 감소시키기를 수행하도록 구성된, 단열재 하부 부식을 예측하고 탐지하는 시스템.
제1항에 있어서, 상기 적어도 하나의 마운트 각각은 그 각각의 통신 모듈을 통해 서로 통신할 수 있는, 단열재 하부 부식을 예측하고 탐지하는 시스템.
단열재 하부 부식(CUI)을 예측하고 및 탐지할 수 있게 하기 위해 기반시설 자산으로부터 데이터를 획득하는 방법으로서,
상기 기반시설 자산의 열화상 데이터를 시간에 따라 캡처하고;
추가 탐사 값을 획득하기 위해 추가 감지 모드를 사용하여 상기 기반시설 자산을 시간에 따라 탐사하고;
주변 상태 데이터를 획득하기 위해 주변 상태를 시간에 따라 측정하고;
상기 열화상, 상기 추가 탐사 값, 및 상기 주변 상태 데이터를 컴퓨터 판독 가능 파일로 결합시키고;
식별 태그들에 대해 상기 기반시설 자산을 스캔하여 태그 사진 데이터를 획득하고;
상기 태그 사진 데이터를 상기 컴퓨터 판독 가능 파일에 포함시키고;
상기 열화상, 상기 추가 탐사 값, 및 상기 주변 상태 데이터를 사용하여 상기 기반시설 자산이 CUI를 포함하는지 여부를 예측하는 알고리즘을 사용하는 컴퓨팅 장치로, 상기 컴퓨터 판독 가능 파일을 전송하는 것을 포함하는, 기반시설 자산으로부터 데이터를 획득하는 방법.
제16항에 있어서, 상기 추가 감지 모드는 자기력 측정법에 기초하는, 기반시설 자산으로부터 데이터를 획득하는 방법.
제16항에 있어서, 상기 주변 상태 데이터는 온도 측정치, 습도 측정치, 및 기압 측정치를 포함하는, 기반시설 자산으로부터 데이터를 획득하는 방법.
클라우드 컴퓨팅 플랫폼 및 데이터 융합을 사용하여 기반시설 자산에서 단열재 하부 부식(CUI)을 예측하는 방법으로서,
상기 기반시설 자산의 열화상, 상기 기반시설 자산의 추가 센서 프로브 데이터, 및 상기 기반시설 자산의 주변 상태를 포함하는 데이터 스트림을 수신하고;
수신된 데이터 스트림과, 상기 클라우드 컴퓨팅 플랫폼으로부터 업데이트되어 수신된 가중치를 사용하여 하나 이상의 기계 학습 알고리즘을 실시간으로 실행하여서 상기 기반시설 자산이 CUI를 포함하는지 여부에 대한 예측을 생성하고;
상기 수신된 데이터 스트림과 예측을 상기 클라우드 컴퓨팅 플랫폼으로 전송하는 것을 포함하는, 단열재 하부 부식을 예측하는 방법.
제19항에 있어서, 상기 수신된 데이터에서 노이즈를 필터링하는 것을 추가로 포함하는, 단열재 하부 부식을 예측하는 방법.
제19항에 있어서, 열 동태 모델을 사용하여 상기 기반시설 자산의 주변 상태 및 파라미터들에 기초하여 합성 열화상 데이터를 생성하는 것을 추가로 포함하는, 단열재 하부 부식을 예측하는 방법.
제21항에 있어서, 상기 클라우드 컴퓨팅 플랫폼에서, 상기 합성 열화상 데이터가 상기 기반시설 자산의 열화상, 상기 기반시설 자산의 추가 센서 프로브 데이터, 및 상기 기반시설 자산의 주변 상태를 포함하는 스트림과 결합되어, 상기 기계 학습 모델을 훈련하기 위한 데이터 훈련 세트가 생성되도록 하는, 단열재 하부 부식을 예측하는 방법.
제22항에 있어서, 상기 기계 학습 모델은 심층 순환 신경망을 포함하는, 단열재 하부 부식을 예측하는 방법.
제23항에 있어서, 상기 심층 순환 신경망은 장단기 기억(LSTM) 신경망을 포함하는, 단열재 하부 부식을 예측하는 방법.
제22항에 있어서, 상기 기계 학습 모델은 컨벌루션 신경망을 추가로 포함하는, 단열재 하부 부식을 예측하는 방법.
단열재 하부 부식(CUI)을 예측하고 탐지할 수 있게 하기 위해 기반시설 자산으로부터 데이터를 획득하기 위한 적어도 하나의 조사 키트의 배치 상태를 최적화하는 방법으로서,
상기 적어도 하나의 조사 키트에 의해 상기 기반시설 자산으로부터 시간에 따라 획득된, 열화상, 센서 데이터와, 상기 적어도 하나의 조사 키트에 관한 배치 상태 정보를 수신하고;
상기 기반시설 자산에 대응하는 전통적인 CUI 탐지 방법의 결과 데이터를 시간에 따라 획득하고;
상기 기반시설 자산에서 획득된, 캡처된 열화상과 기타 센서 데이터 및 결과 데이터를 사용하여 기계 학습 알고리즘을 훈련시키고;
상기 적어도 하나의 조사 키트의 배치 상태를 테스트하는 것을 포함하고, 상기 배치 상태 테스트는,
주변 상태 데이터를 포함하는 현재의 테스트 상태와 적어도 하나의 조사 키트에서의 현재의 배치 상태를 수신하여 시간에 따라 주변 상태 데이터를 획득하고;
상기 주변 상태 데이터 및 상기 적어도 하나의 조사 키트의 상기 현재의 배치 상태를 사용하여 상기 기계 학습 알고리즘을 실행하고;
상기 테스트 상태에 기초한 상기 기계 학습 알고리즘의 성능이 사전 설정된 성능 임계값을 초과하는지 여부를 결정하고;
상기 기계 학습 알고리즘의 성능이 임계값을 초과하면, 상기 테스트 상태를 사용하여 상기 배치 상태를 최적화하고;
상기 기계 학습 알고리즘의 성능이 임계값을 초과하지 않으면, 상기 적어도 하나의 조사 키트의 배치 상태를 변경하고;
상기 기계 학습 알고리즘의 실행을 반복적으로 반복하되, 성능이 상기 임계값을 초과하거나 설정된 반복 횟수가 실시될 때까지 반복함으로써 행해지는, 조사 키트의 배치 상태를 최적화하는 방법.
제26항에 있어서, 상기 기계 학습 알고리즘의 성능을 측정하되,
현재의 테스트 상태를 사용한 부식 예측 정확도;
배치 및 테스트의 비용; 및
배치 및 테스트의 속도 중 적어도 하나에 기초하여, 측정하는 것을 추가로 포함하는, 조사 키트의 배치 상태를 최적화하는 방법.
제26항에 있어서, 상기 현재의 배치 상태는 상기 적어도 하나의 조사 키트가 배치된 연중 시간, 또는 상기 적어도 하나의 조사 키트가 배치된 하루 중의 시간을 포함하는, 조사 키트의 배치 상태를 최적화하는 방법.
제26항에 있어서, 상기 적어도 하나의 컴퓨팅 장치에 의해 테스트되는 상기 현재의 배치 상태는 상기 적어도 하나의 조사 키트의 위치, 방향, 및 화상 캡처 지속 시간을 포함하는, 조사 키트의 배치 상태를 최적화하는 방법.
제26항에 있어서, 상기 적어도 하나의 컴퓨팅 장치에 의해 테스트되는 상기 현재의 배치 상태는 상기 적어도 하나의 조사 키트의 위치, 방향, 및 시간 주기마다 캡처된 화상의 수를 포함하는, 조사 키트의 배치 상태를 최적화하는 방법.