KR102369415B1

KR102369415B1 - 딥 러닝 기반의 고장 진단 방법 및 이러한 방법을 수행하는 고장 진단 장치

Info

Publication number: KR102369415B1
Application number: KR1020200042282A
Authority: KR
Inventors: 송용천; 장범찬; 한명규; 이충구
Original assignee: 주식회사 원프레딕트; 이충구
Priority date: 2020-04-07
Filing date: 2020-04-07
Publication date: 2022-03-04
Also published as: KR20210124783A

Abstract

본 발명은 딥 러닝 기반의 고장 진단 방법 및 이러한 방법을 수행하는 고장 진단 장치에 관한 것이다. 딥 러닝 기반의 고장 진단 방법은 고장 진단 장치가 회전 장치의 구동 정보를 수신하는 단계, 고장 진단 장치가 구동 정보를 기반으로 한 학습을 수행하는 단계와 고장 진단 장치가 학습을 기반으로 회전 장치에 발생한 고장을 진단하는 단계를 포함할 수 있다.

Description

딥 러닝 기반의 고장 진단 방법 및 이러한 방법을 수행하는 고장 진단 장치{Method for fault diagnosis based on deep learning and fault diagnosis device performing the method}

본 발명은 딥 러닝 기반의 고장 진단 방법 및 이러한 방법을 수행하는 고장 진단 장치에 관한 것이다. 보다 상세하게는 딥 러닝을 기반으로 회전 기계에 발생할 수 있는 고장을 미리 예측하기 위한 딥 러닝 기반의 고장 진단 방법 및 이러한 방법을 수행하는 고장 진단 장치에 관한 것이다.

발전소에서 회전 기계의 고장은 발전 효율 저하 및 회전 기계의 고장에 따른 다운 타임 비용에 영향을 미치는 가장 큰 요인이다. 또한 회전 기계의 오작동은 축의 변동을 야기하며 이는 기계의 상태를 진단하기 위한 센서 신호의 변동을 일으킨다. 화력 발전소의 대표적인 회전 기기인 스팀 터빈의 경우, 저널 베어링 부근에 근접 센서(proximity sensor)를 설치하여 진동 신호를 분석함으로써 다양한 고장모드(misalignment, unbalance, rubbing, oilwhirl)를 진단하는 신호 처리 기법이 많이 쓰였다. 전통적인 신호 처리 방법으로는 스펙트럼 분석을 통하여 회전 주파수를 확인함으로써 설비의 이상 유무를 판단하거나, 시간 주파수 영역에서 시간에 따른 주파수의 변화를 탐지하는 방법이 있다.

하지만 증기 터빈의 손상 사고 및 부품을 살펴보면 증기 터빈의 로터 블레이드가 손상되어 고장이 발생하는 경우가 약 30%를 차지하며, 이에 따른 진단 기술은 명확히 정립되어 있지 않은 상태이다. 이는 터빈의 회전속도가 3600rpm에 달하며 이에 따라 빠르게 회전하는 블레이드의 건전성을 평가하기에는 전통적인 신호처리 기법의 한계가 있기 때문이다.

따라서, 빠르게 회전하는 회전 장치의 고장에 대해 정확하게 판단하기 위한 방법이 필요하다.
선행기술로서 공개특허공보 제10-2020-0022327호와 공개특허공보 제10-2020-0022327호가 있다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은, 딥 러닝 알고리즘을 기반으로 물리적으로 판별해내지 못한 고장 관련 잠재변수들을 모델링하고 학습되지 않은 데이터를 표현하여 회전 기계에서 발생하는 고장을 진단하는 것을 목적으로 한다.

또한, 본 발명은, 터빈 블레이드에 포함되는 복수의 블레이드 각각에서 발생하는 진동과 블레이드의 떨림(blade flutter) 또는 블레이드의 휨(blade bent)에 대한 분석 알고리즘을 제공하고 이를 기반으로 회전 기계에서 발생하는 고장을 진단하는 것을 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 실시예에 따르면, 딥 러닝 기반의 고장 진단 방법은 고장 진단 장치가 회전 장치의 구동 정보를 수신하는 단계, 상기 고장 진단 장치가 상기 구동 정보를 기반으로 한 학습을 수행하는 단계와 상기 고장 진단 장치가 상기 학습을 기반으로 상기 회전 장치에 발생한 고장을 진단하는 단계를 포함할 수 있다.

한편, 상기 구동 정보는 상기 회전 장치에 구현된 블레이드의 BTT(blade tip timing) 정보를 포함할 수 있다.

또한, 상기 학습은 상기 BTT 정보를 이미지화한 BTT 이미지를 기반으로 수행될 수 있다.

또한, 상기 학습은 상기 BTT 이미지를 입력값으로CNN(convolutional neural network) 기반의 VAE(Variational Auto-Encoder)를 통해 수행될 수 있다.

본 발명의 다른 실시예에 따르면, 딥 러닝 기반의 고장 진단 장치는 구동 정보를 수신하기 위해 구현되는 통신부와 상기 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함하되, 상기 프로세서는 회전 장치의 구동 정보를 수신하고, 상기 구동 정보를 기반으로 한 학습을 수행하고, 상기 학습을 기반으로 상기 회전 장치에 발생한 고장을 진단하도록 구현될 수 있다.

본 발명에 의하면, 딥 러닝 알고리즘을 기반으로 물리적으로 판별해내지 못한 고장 관련 잠재변수들을 모델링하고 학습되지 않은 데이터를 표현하여 회전 기계에서 발생하는 고장이 진단될 수 있다.

또한, 본 발명에 의하면, 터빈 블레이드에 포함되는 복수의 블레이드 각각에서 발생하는 진동과 블레이드의 떨림(blade flutter) 또는 블레이드의 휨(blade bent)에 대한 분석 알고리즘이 제공되고 이를 기반으로 회전 기계에서 발생하는 고장이 진단될 수 있다.

도 1은 본 발명의 실시예에 따른 딥 러닝을 기반으로 블레이드 상태 진단 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 BVMS에서 제공되는 진단 기능을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 BTT(Blade Tip Timing) 정보를 추출하는 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 BTT 정보에 대한 그래프이다.
도 5는 본 발명의 실시예에 따른 BTT 이미지화 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 CNN을 기반의 고장 학습 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 VAE를 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 다이레이티드 컨볼루션을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 건전성 맵을 나타낸 개념도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

본 발명의 실시예에 따른 딥 러닝 기반의 고장 진단 방법 및 이러한 방법을 수행하는 고장 진단 장치에서는 물리 기반 진단 방법뿐만 아니라 이를 보완한 딥 러닝 기반의 블레이드 상태 진단 알고리즘이 개시된다.

딥 러닝 알고리즘이 사용되는 경우, 물리적으로 판별해내지 못한 고장 관련 잠재 변수들이 모델링될 수 있고, 더 나아가 학습되지 못한 데이터에 대한 표현도 가능하다. 본 발명의 실시예에 따른 고장 진단 방법에서는 터빈에 포함되는 블레이드 진동을 감시하기 위해 블레이드 팁 타이밍(Blade Tip Timing, BTT)이 측정되고 BTT를 이미지로 변환하여 CNN(convolutional neural network) 기반 VAE(variational auto encoder) 모델의 학습 데이터로 사용되어 회전 장치에 대한 고장 진단이 수행될 수 있다.

이하, 설명의 편의상 블레이드라는 용어가 사용되나 블레이드뿐만 아니라 블레이드 기반으로 회전하는 다양한 장치에 적용될 수 있고, 터빈은 블레이드 기반으로 회전하는 다양한 회전 장치를 포함하는 의미로 사용될 수 있다.

도 1은 본 발명의 실시예에 따른 딥 러닝을 기반으로 블레이드 상태 진단 방법을 나타낸 개념도이다.

도 1에서는 블레이드 상태 진단 알고리즘이 개략적으로 개시된다.

도 1을 참조하면, 블레이드 상태 진단 알고리즘은 블레이드 고장 진단 시스템(또는 Blade Vibration Monitoring System, BVMS)에 의해 수행될 수 있다.

블레이드 진단 알고리즘은 BVMS를 통해 획득되는 BVMS 로우 시그널(100)을 기반으로 개별 블레이드의 BTT(Blade Tip Timing) 정보(110)를 추출하고, BTT 정보(110)를 기반으로 BTT 이미지(120)를 생성하여 고장 진단을 수행할 수 있다.

터빈에 구현된 복수의 블레이드 각각의 BTT 정보(110)를 추출하기 위한 센서가 구현될 수 있고, 센서를 기반으로 BTT 정보(110)가 추출될 수 있다. 추출되는 BTT 정보(110)는 블레이드 상태 진단의 핵심이 되는 정보로서 블레이드 진동 주파수 분석, 블레이드 고장 지수 연산, 터빈 블레이드 건전성 분석(health reasoning) 등의 과정에 모두 사용된다.

BTT 정보(110)는 이미지화되어 BTT 이미지(120)가 생성될 수 있다.

BTT 정보(110)를 딥러닝 알고리즘에서 효율적으로 사용하기 위해서는 딥러닝 알고리즘의 입력값은 2차원 이미지 데이터로 전환될 수 있다. BTT 정보(110)의 주파수 영역 정보를 터빈에 포함되는 복수(예를 들어, 60개)의 블레이드에 대해 시간에 따라 누적시켜 BTT 이미지(120)가 생성될 수 있다.

BTT 이미지(120)는 딥러닝 알고리즘의 입력값으로 사용되고, 딥러닝 알고리즘을 기반으로 블레이드의 건전성 정보가 추출될 수 있다.

BTT 이미지(120)로 전달된 블레이드 진동 정보는 CNN(convolutional neural network) 기반의 오토-인코더(AE, auto-encoder)(또는 VAE(Variational Auto-Encoder)(130)를 통해서 블레이드의 정상 상태 및 이상 상태에 대한 구분을 위한 학습을 수행할 수 있다. 본 발명의 실시예에 따른 딥러닝 알고리즘을 통해 이미지화된 블레이드 진동 데이터가 분석되고, 개별 블레이드에 대한 0에서 1사이의 블레이드 이상 지수(Anomaly Index)가 출력될 수 있다.

블레이드의 건전성 정보는 건전성 맵(health reasoning map)(140)을 통해 표현될 수 있다. 건전성 맵(140)은 딥러닝 알고리즘에서 0에서 1사이로 출력된 블레이드 이상 지수가 블레이드 휨(Blade Bent)과 블레이드 떨림(Blade flutter) 관점에서 어느 유형의 이유로 이상 지수가 연산되고 있는지 판단할 수 있도록 보여줄 수 있다.

도 2는 본 발명의 실시예에 따른 BVMS에서 제공되는 진단 기능을 나타낸 개념도이다.

도 2에서는 터빈 딥러닝 기반 LSB(last stage blade) 분석 및 진단 기능을 나타낸다.

BVMS에서는 LSB 선택 화면이 제공될 수 있다. 복수의 터빈단 중 LP 터빈(200)에 LP-A TE, LP-B TE가 포함될 수 있다. LP(low presure)-A TE(turbine end)부터 LP-B TE까지 LP터빈(200)의 LSB(last stage blade)에 대해 LSB-1 내지 LSB-3(210)으로 선택하여 조회할 수 있도록 하는 기능이 제공될 수 있다.

또한, BVMS에서는 블레이드 디스크 맵(blade disk map)(220)이 제공될 수 있다. 블레이드 디스크 맵(220)은 LSB에 대응되는 복수개(예를 들어, 60개)의 블레이드 각각에 대한 건전성에 대한 정보를 포함할 수 있다. 블레이드에 대한 건전성 수준에 따라 정상(파랑), 주의(노랑), 이상(빨강)으로 표시될 수 있고, 각각의 블레이드에 해당하는 지점에 마우스 커서를 올릴시 블레이드의 번호와 상태에 대한 툴팁이 표시될 수 있다. 블레이드 디스크 중앙의 하얀색 포인트는 해당 디스크에서의 질량 중심 방향(weight direction)을 표시할 수 있고, 질량 중심 방향은 디스크 12시를 기준으로 반시계 방향으로 나타날 수 있다. 질량 중심 방향점에도 마우스 커서를 올릴 시 해당 방향에 대한 각도가 표기된다.

또한, BVMS에서는 BTT 정보(230)가 제공될 수 있다. BTT 정보(230)는 개별 블레이드의 BTT 데이터에 대해 시간 도메인(time domain)과 주파수 도메인(frequency domain) 관점의 플롯(plot) 기능을 통해 제공될 수 있다.

또한, BVMS에서는 어노멀리 인덱스(anomaly index)(240)가 제공될 수 있다. 어노멀리 인덱스(240)는 개별 블레이드의 이상 정도에 대한 지수일 수 있다. 어노멀리 인덱스(240)는 블레이드 진동의 진폭과 주파수 정보 등을 딥러닝 모델에서 종합적으로 판단해 연산할 수 있다. 어노멀리 인덱스 플롯은 화면 조회 시점 기준 최근 1주일 동안의 어노멀리 인덱스 기록을 표시해줄 수 있다.

또한, 건전성 맵(health reasoning map)(250)은 딥러닝 모델을 통해 연산된 이상 지수가 블레이드 휨(Blade bent)와 블레이드 떨림(Blade flutter) 관점에서 어느 유형의 이유로 이상 지수가 연산되고 있는지 판단할 수 있도록 보여줄 수 있다. 건전성 맵(250)은 블레이드 휨와 블레이드 떨림 각각에 대해서 정상, 주의 및 이상의 세 영역으로 상태를 구분할 수 있다. 붉은 점의 x축 또는 y축과 가까운 정도에 따라 블레이드에서 발생하는 이상의 종류가 블레이드 휨인지 블레이드 떨림인지 여부를 알 수 있다.

현재 발전소에서 LSB의 불량성에 대한 이슈로 인해 본 발명에서는 고장 가능성이 상대적으로 높은 터빈단 중 LP 터빈, LP 터빈 중 LSB에 대응되는 터빈 블레이드에 대한 고장 진단 데이터만을 추출하는 것을 가정하였다. 하지만, 본 발명의 실시예에 따른 딥 러닝 기반의 고장 진단 방법 및 이러한 방법을 수행하는 고장 진단 장치는 다른 터빈단 및 다른 터빈단에 포함되는 다른 블레이드에 대한 고장 진단에서도 활용될 수 있고, 이러한 실시예 또한 본 발명의 권리 범위에 포함될 수 있다.

도 3은 본 발명의 실시예에 따른 BTT(Blade Tip Timing) 정보를 추출하는 방법을 나타낸 개념도이다.

도 3에서는 BTT 정보를 추출하기 위한 방법이 개시된다.

도 3을 참조하면, 터빈에 포함되는 개별 블레이드 진단을 위해 BTT 정보가 활용될 수 있다. 블레이드 회전시 블레이드 자체의 미세한 진동이 발생하게 된다. 이러한 진동으로 인해 실제 블레이드의 위치와 이론적인 블레이드 위치 사이의 차이가 존재하게 되는 데 이러한 차이에 대한 정보가 BTT 정보에 포함될 수 있다.

블레이드의 팁(tip) 부분과 블레이드의 케이스(case) 사이의 거리는 BTC(blade tip clearance)이고, 케이스에 부착된 센서를 기반으로 BTC 정보와 BTT 정보가 결정될 수 있다. BTT 정보를 통해 블레이드들의 회전시 블레이드 진동에 대한 측정 및 분석이 가능할 수 있다. BTT 정보를 기반으로 직접적으로 블레이드 팁의 위치가 측정될 수 있고, 블레이드의 고장 유무에 대한 판단 및 회전하는 블레이드의 진동 특성이 추론될 수 있다.

도 3을 참조하면, BTT 정보를 측정하기 위해 기준 펄스(reference pulse)와 블레이드 펄스(blade pulse)가 활용될 수 있다. 기준 신호는 블레이드의 회전에 따른 신호로서 블레이드가 얼마만큼 회전하는지를 나타내는 회전수 척도로서 활용될 수 있다. BTT 정보는 블레이드 진동 신호에 대한 진폭과 블레이드의 위상에 대한 정보를 제공해주는 중요한 정보로서 스팀 터빈의 블레이드 고장 진단에 사용될 수 있다.

레퍼런스 펄스는 샤프트에 마킹된 마커를 통해 획득될 수 있다. 레퍼런스 펄스는 블레이드의 진동을 반영하지 않은 기준이 되는 펄스일 수 있다.

도 4는 본 발명의 실시예에 따른 BTT 정보에 대한 그래프이다.

도 4에서는 60개의 블레이드에 대한 BTT 정보를 표현하는 그래프가 예시적으로 개시된다.

도 4의 상단을 참조하면, 터빈의 블레이드의 개수는 총 60개인 경우, BTC를 나타내는 블레이드 펄스(blade pulse) 신호는 축의 1회전당 총 60번 발생하게 된다. BTC가 짧을수록 블레이드 펄스는 더 높은 값을 가지고, 블레이드의 형상에 따라 다른 형태의 블레이드 펄스 신호를 가지게 된다. 스팀 터빈은 약 3600 rpm(revolution per minute)의 빠른 속도로 회전하고, 블레이드 팁의 경우 회전 속도 및 디스크 중심에서 블레이드 팁까지의 거리에 비례하여 선속도는 증가하게 된다. 따라서 충분한 해상도(resolution)의 BTT를 계산하기 위해서는 굉장히 높은 샘플링 레이트로 BTC를 측정해야 한다. 예를 들어, 스팀 터빈은 약 10MHz의 샘플링 레이트를 사용하여 BTC를 측정해야 한다. 해상도가 낮은 경우, 정확한 BTT의 계산이 어렵다.

또한, BTT는 기준 신호를 기준으로 블레이드 팁까지의 시간을 측정하므로 회전 속도에 많은 영향을 받는다. 실제 터빈의 회전 속도는 완전한 등속이 아니라 어느 정도의 변동성이 있어 기준점으로부터 멀어질수록 각 블레이드 팁의 시간 지연이 누적되고 결과적으로 마지막 블레이드의 BTT가 가장 많은 변동성을 보이게 된다. 따라서, 본 발명의 실시예에 따른 딥 러닝 기반의 고장 진단 방법에서는 모든 블레이드에 대한 BTT 정보를 기준 신호를 기준으로 시간 영역에서 위상 영역으로 변환시켰다.

도 4의 하단을 참조하면, 계측 단(edge PC)에서 측정된 BVMS 원신호(raw signal)를 이용하여 뽑은 특정 블레이드의 BTT 데이터가 개시된다.

도 5는 본 발명의 실시예에 따른 BTT 이미지화 방법을 나타낸 개념도이다.

도 5에서는 복수의 블레이드 각각에 대한 BTT 정보를 이미지화하여 딥러닝을 위한 입력 정보로서 생성하기 위한 방법이 개시된다. 도 5에서 개시되는 BTT 정보의 이미지화 방법은 하나의 예시로서 터빈에 포함되는 블레이드의 개수, 샘플링 레이트, 사용되는 주파수 스펙트럼의 길이, BTT 정보 이미지화 주기 등은 변화될 수 있다.

터빈에 60개의 블레이드가 존재하는 경우, 블레이드별 BTT 정보는 1회전에 1개씩 계산되므로 60Hz의 샘플링 레이트로 측정될 수 있다. BTT 정보에 대한 주파수 분석을 통해 블레이드 진동의 특성 주파수가 확인될 수 있고, 특성 주파수를 기반으로 블레이드의 건전성이 진단될 수 있다. 즉, 블레이드에 이상 신호 패턴이 나타나면 이상 신호 패턴이 스펙트럼 상에서 탐지되어 블레이드의 이상 유무가 판단될 수 있다. 신호 패턴의 변화는 신호를 이미지로 변환함으로써 더욱 가시적으로 나타날 수 있다.

이미지화된 블레이드 별 BTT 정보(이하, BTT 이미지 정보)는 CNN(Convolutional Neural Network) 알고리즘의 학습 정보 및 입력 정보로서 활용되어 높은 정확도를 가진 블레이드 건전성 진단이 수행될 수 있다.

주파수 스펙트럼 분석을 위해 BTC에 대한 블레이드 펄스(blade pulse)에서 약 1200 로테이션의 20초 길이의 신호를 이용하여 BTT를 계산하고 주파수 분석을 수행하였다. 도 5의 우측의 그래프는 BTT 정보에 대해 FFT(fourier fast transform)를 보여준다. 1200 로테이션의 BTT를 사용하였으므로 주파수 해상도는 0.05Hz일 수 있고, 나이퀴스트 주파수(Nyquist frequency)인 30Hz까지의 주파수를 관찰할 수 있었다. 또한 스펙트럼 상, 22Hz 부근에서 진동이 높게 나타났으며, 이는 블레이드의 공진 주파수 또는 특성 주파수로 추정될 수 있다. 이러한 블레이드 특성 주파수의 패턴을 강화시켜 딥러닝의 학습을 진행하기 위하여 신호의 이미지화가 진행될 수 있다.

BTT 이미지 정보로 이미지 변환시 각 블레이드 당 10 시점의 BTT(총 200초)의 주파수 스펙트럼이 사용될 수 있고, 각 주파수 스펙트럼의 길이는 600(0.05Hz단위로 0~30Hz)일 수 있다. 또한 각 블레이드 순서대로 10시점씩 묶어 총 600개의 주파수 스펙트럼이 사용되었다. 특정 시점에 대한 각 블레이드의 FFT 결과는 도 5의 우측처럼 30Hz까지 주파수에 따른 진폭을 나타낼 수 있다. 또한 복수의 블레이드 각각에 대한 10시점의 FFT 데이터를 쌓으면 도 5의 좌측과 같은 600x600 해상도에 해당하는 주파수 스펙트럼 이미지(BTT 이미지 정보)가 생성될 수 있다.

도 5의 좌측과 같은 주파수 스펙트럼 이미지(BTT 이미지 정보)는 터빈에 포함된 60개의 블레이드(블레이드1 내지 블레이드60) 각각에 대한 10시점의 주파수 스펙트럼 정보를 포함할 수 있다. BTT 이미지 정보는 일정 주기(예를 들어, 10분)로 생성될 수 있다. 이러한 복수의 블레이드 각각의 시간의 흐름에 따른 진동 변화가 딥러닝 모델에서 학습될 수 있다.

도 6은 본 발명의 실시예에 따른 CNN을 기반의 고장 학습 방법을 나타낸 개념도이다.

도 6에서는 CNN를 기반으로 한 고장 학습 방법이 개시된다.

도 6을 참조하면, 현재 컴퓨터 비전 분야에 특화된 기존의 딥러닝 학습법이 센서 데이터에 대해 그대로 적용하는 경우 정확도가 떨어질 수 있다. 설비단의 물리적 지식이 갖추어지지 않은 상태에 데이터의 전처리 작업이 수행되지 않는 경우, 딥러닝 알고리즘의 확장성(scalability)이 낮다. 그러므로 취득된 센서 데이터의 물리적 지식을 갖춘 전처리 작업은 필수적이다. 따라서, 터빈에 대한 물리적 지식을 갖춘 상태에서 신호 전처리 작업이 수행될 필요가 있다.

이상 감지(anomaly detection)는 정상 범주 안에 존재하는 데이터와 정상 범주를 벋어난 데이터를 기반으로 수행될 수 있다.

본 발명에서는 이상 감지를 위해 VAE(variational auto encoder) 구조가 사용될 수 있다. 정상 상태에서 이미지화된 BTT 이미지 정보(또는 BVMS 이미지 데이터)를 VAE 모델의 입력 데이터로하여 학습을 통해 학습되지 않은 데이터(예를 들어, 고장 데이터)도 식별될 수 있다.

VAE에서 데이터를 모델링할 때, 데이터 현상의 이면에 숨겨져 있는 잠재 변수가 존재한다고 가정할 수 있다. 그 가정 하에 만들어진 모델을 잠재 변수 모델(latent variable model)이라 하며 VAE는 이런 잠재 변수 모델 중 하나이다.

잠재 변수란 예를 들어, 어떤 이미지의 카메라 각도, 조명 위치, 표정, 광원의 정보, 물체의 형상 등이 해당할 수 있다. 이러한 잠재 변수를 효과적으로 이용한다면 데이터를 보다 잘 표현할 수 있으며 더 나아가 학습되지 않은 데이터도 표현할 수 있다. 이러한 이유로, 본 발명의 실시예에 따른 딥러닝 기반 블레이드 진단 알고리즘에서는 이런 기능을 가진 VAE를 채택하여 이상 감지가 수행될 수 있다.

BTT 이미지 정보는 전술한 복수의 블레이드 각각의 주파수 스펙트럼 이미지를 포함할 수 있다. VAE는 입력 데이터에서 의미를 가지고 추상적인 특징을 추출하는 인코더(encoder)와 추출된 인코더로부터 잠재 변수 z를 샘플링하는 부분, 샘플링된 잠재 변수로부터 데이터를 복원하는 디코더 부분으로 나뉠 수 있다.

VAE는 데이터에 대한 효과적인 모델링을 위해 사용될 수 있다. 기존 통계학적 관점의 데이터 모델링은 Bayesian 규칙에 따른 사후 확률 분포(posterior distribution)을 구하는 것이었다. 하지만 실제로 데이터 x가 갖는 분포, 사전 확률 분포 (prior distribution)를 알기란 쉽지 않다. 또한, 잠재 변수z에 대한 분포를 사전에 아는 것은 거의 불가능에 가깝다. 과거 통계적 알고리즘 접근은 데이터 샘플링을 통해 관측된 값이 가장 높은 확률로 나올 수 있는 모델 파라미터 또는 잠재 변수z를 찾는 방법(예를 들어, Markov Chain Monte Carlo (MCMC), Gipps sampling 등)이다. 즉, 최대 우도 (Maximum Likelyhood) 방법이나 사후 확률 분포를 최대화하는 Maximum A Posterior (MAP) 방법을 사용하여 사후 확률 분포를 추론한다.

하지만 이러한 접근 방법은 시간이 오래 걸린다는 점과 데이터가 복잡해질수록 정확한 근사가 어렵다. 따라서, 본 발명의 실시예에 따른 딥 러닝 기반의 고장 진단 방법에서는 VAE가 사용될 수 있다. VAE는 변분 근사(variational approximation, 혹은 변분 추론)를 이용하여 가장 근접한 분포를 통해 사후 확률 분포를 추론하는 방식을 이용할 수 있다. VAE는 과거의 통계적 추론 방식을 최적화(optimization) 방식으로 변형하여 모델 추론 시간을 줄이고 데이터의 복잡성 문제를 통한 낮은 정확도 문제를 해결할 수 있다.

VAE는 여기서 더 나아가 일반적인 최적화 문제가 같은 반복 연산으로 인한 고비용 연산(expensive computation) 문제를 뉴럴 네트워크를 이용한 확률적 그레디언트 디센트(stochastic gradient descent) 방법으로 동시에 하이퍼 파라미터(또는 확률 분포의 매개변수)(

)를 업데이트할 수 있다.

아래의 수학식1 및 수학식2는 하이퍼 파라미터(

)를 업데이트하기 위한 것이다.

<수학식 1>

<수학식 2>

수학식1은 VAE의 최적화 수식이고, 수학식2는 VAE의 목적 함수이다.

구체적으로 인코더(600)의 입력으로 x라는 데이터가 들어가서 잠재 변수 z(620)를 출력하게 한다. 잠재 변수 z(620)를 출력하기 위한 인코더(600)의 계산상 편리를 위해 임의의 분포

가 가정될 수 있다. 또한, 잠재 변수 z(620)는 표준 정규 분포(

)를 따른다고 가정한다. VAE는 잘 알고 있는 분포로부터 샘플을 만들고 만들어진 샘플을 뉴럴 네트워크를 통해 데이터 공간으로 맵핑할 수 있다. 이렇게 두 확률 분포의 차이를 계산해서 그 차이를 줄여주게 되면 입력 데이터 x에 대한 특정 잠재 변수 z(620)가 나오게 된다. 여기까지 인코더(600)가 수행하는 역할이다.

이렇게 추출된 잠재 변수 z(620)는 디코더(650)의 입력으로 들어가 입력 데이터 x를 복원할 수 있다. 이때, 디코더(650)도 어떤 특정 확률 분포를 따르게 되며 그 확률 분포는 위에서 설명한 정규 분포일 수도 있고 베르누이 분포일 수도 있다. 어떤 데이터, 어떤 작업을 수행하는지에 따라 분포의 종류가 달라질 수가 있다.

따라서,

를 최소화하고

를 최대화하도록 확률 분포의 매개변수

를 조절하는 학습을 통해 잠재 변수가 추출된다. 이러한 방식으로 학습을 하게 되면 입력 데이터 x를 잘 복원하는 모델이 만들어지게 되고, 입력 데이터 x를 잘 나타내는 잠재 변수 z(620)가 추출되어 확률 분포 모델의 가정이 성립되게 된다.

다른 표현으로 본 발명의 실시예에 따르면, 잠재 변수 z(620)를 샘플링 하기 위해 제안된 VAE 모델의 목적 함수를 다음과 같이 정의하였다.

수학식 2의 RHS(right hand side) 부분에 해당하는 KL-다이버전스(divergence) 함수의 사후 확률 분포에 가장 근접한

분포를 multivariate Gaussian 분포(

)로 정의하고,

를 평균 중심화되고 등방성의 성질을 갖는 멀티베리에이트 가우시안(센터드 아이소트로픽 멀티베리에이트 가우시안))(multivariate Gaussian(centered isotropic multivariate Gaussian,

)로 정의하였다. 그리고 수학식의 RHS 부분의 복원 에러(reconstruction error)에 해당하는

를 베르누이 분포(Bernoulli distribution)로 정의하였다.

도 7은 본 발명의 실시예에 따른 VAE를 나타낸 개념도이다.

도 7에서는 BVMS 이미지 데이터를 입력받는 VAE의 동작이 개시된다.

도 7을 참조하면, 인코더(encoder)의 역량을 강화하기 위해 컨볼루션(convolution) 구조를 효율적으로 쌓은 덴스 블록(dense block) 구조와 물체의 효과적인 특징 추출 기법인 확장 컨볼루션(dilated convolution)을 이용한 확장 덴스 인코더(dilated dense encoder)(700) 구조가 제안된다.

구체적으로 제안된 다이레이티드 덴스 인코더(dilated dense encoder)(700) 구조와 레이턴트 z 샘플링(latent z sampling)(750), 디코더(decoder)(770) 구조가 개시된다.

다이레이티드 덴스 인코더(700)는 7x7 컨볼루션(conv)(705), 배치 노멀라이제이션(Batch normalization)(710), 렐루함수(ReLU)(715), 맥스 풀링(max pooling)(720), 3x3 컨볼루션(conv)(725), 컨볼루션 덴스 블록(conv dense block)(730)과 맥스 덴스 블록(max dense block)(735), 다이레이티드 덴스 컨볼루션(dilated denseconv)(740) 절차를 통해 잠재변수 z를 샘플링하기 위한 출력값을 생성할 수 있다.

이하, 다이레이티드 덴스 인코더(700)의 구체적인 동작이 개시된다.

입력 데이터로서 BTT 이미지 정보가 입력되는 첫 뉴럴 네트워크는 초기 컨볼루션 블록(Initial convolution block)을 포함하고, 초기 컨볼루션 블록은 7x7 컨볼루션(conv)(705), 배치 노멀라이제이션(batch normalization)(710), 렐루함수(ReLU)(715)로 정의될 수 있다. 이와 같은 초기 컨볼루션 블록을 사용함으로써 입력 데이터를 복원하는 조밀한 예측(dense prediction)에 대한 정확도가 높아질 수 있다.

다음으로, 맥스 풀링(max pooling)(720), 3x3 컨볼루션(conv)(725)을 통해 출력되는 인코더의 아웃풋의 크기를 맞출 수 있다.

다음으로 컨볼루션 덴스 블록(conv dense block)(730)과 맥스 덴스 블록(max dense block)(735)를 사용하여 앞서 추출한 특징(feature)보다 조밀한 특징이 추출될 수 있다.

이후, 다이레이티드 컨볼루션(dilated convolution)(740)을 적용하여 보다 글로벌한 특징(global feature)를 추출하기 위한 다이레이티드 덴스 컨볼루션(dilated denseconv)(740)이 사용되었다.

다이레이티드 덴스 인코더(700)는 위와 같은 절차를 통해 출력값을 추출하고, 다이레이티드 덴스 인코더(700)의 출력값을 기반으로 잠재 변수 z가 샘플링되고 샘플링된 잠재변수 z를 디코더(770)의 입력으로 넣어 입력 데이터가 복원될 수 있다.

디코더(770)의 연산시 3x3 디컨볼루션(deconvolution)(760)과 3x3 컨볼루션(convolution)(765)을 통해 입력 데이터가 보다 정확하게 복원될 수 있다.

도 8은 본 발명의 실시예에 따른 다이레이티드 컨볼루션을 나타낸 개념도이다.

도 8을 참조하면, 다이레이티드 컨볼루션은 일반적인 컨볼루션 기법에 비율(ratio, rate)이라는 개념을 주어 수용 필드(receptive field)(800)의 크기를 키울 수 있다.

수용 필드(receptive field)(800)는 컨볼루션의 커널과 이미지가 닿는 면적을 말하며 이 영역의 크기가 크면 클수록 데이터의 전체적인 특징(global feature)가 추출될 수 있다. 만약 비율의 개념이 없다면 이 영역을 키우는 데 많은 커널 가중치가 필요하므로 연산량이 대폭 증가하는 단점이 발생될 수 있다.

덴스 블록(dense block) 구조와 물체의 효과적인 특징 추출 기법인 확장 컨볼루션(dilated convolution)을 이용한 확장 덴스 인코더(dilated dense encoder) 구조가 사용되어 효율적이고 효과적인 조밀한 예측이 가능할 수 있다.

본 발명의 실시예에 따른 VAE 모델의 입력으로 들어가는 이미지 데이터의 크기는 600x600x1의 그레이 스케일(gray scale)로서 배치 사이즈(batch size)는 4, 러닝 레이트(learning rate(lr))는 1e-4일 수 있다. 러닝 레이트는 매번 학습할 때마다 0.9 제곱만큼의 디케이(decay)되는 러닝 레이트 디케이(learning rate decay) 기법이 적용될 수 있다. 이 기법은 점차 러닝 레이트가 감소되면서 학습의 수렴이 정확하고 빠르게 되도록 한다. 총 에포크(epoch)는 300정도로 휴리스틱하게 결정될 수 있다.

<수학식3>

위의 수학식 3은 적용된 러닝 레이트 디케이이다.

학습 기법으로는 입력 데이터의 무작위 섞음(random shuffle) 기법, 최적화 기법이 사용될 수 있다.

무작위 섞음 기법은 딥러닝 학습 기법 중 기본이 되는 기법으로 모델의 입력 데이터의 차원이 4차원(batch, height, width, channel)일 때, 그 데이터가 들어가는 순서를 무작위로 섞는 방법이다. 이로써 과적합(overfitting) 문제를 해결하고 학습되지 않은 테스트 데이터가 들어갈 경우 강건한(robust) 결과를 도출하기 위해서 사용될 수 있다.

최적화 기법은 수학식 2의 목적 함수를 손실 함수로 정의하면서 경사 하강법(gradient descent)을 통해 손실 함수를 최소화하는 방향으로 학습을 진행할 수 있다. 최적화 기법은 아담 옵티마이저(Adam optimizer) 알고리즘을 사용하여 학습되는 파라미터인 가중치(weight)와 바이어스(bias)의 그레디언트(gradient) 값들의 평균을 구하면서 손실 함수의 최솟값을 빠르게 찾도록 할 수 있다.

도 9는 본 발명의 실시예에 따른 건전성 맵을 나타낸 개념도이다.

도 9에서는 건전성 맵을 기반으로 한 블레이드 휨(Blade Bent)과 블레이드 떨림(Blade flutter) 을 판단하기 위한 방법이 개시된다.

도 9를 참조하면, 건전성 맵은 딥러닝 알고리즘에서 0에서 1사이로 출력된 블레이드 이상 지수가 블레이드 휨(Blade Bent)(900)과 블레이드 떨림(Blade flutter)(950) 관점에서 어느 유형의 이유로 이상 지수가 연산되고 있는지 판단할 수 있도록 보여줄 수 있다.

딥러닝 모델은 오토-인코더(Auto-encoder)를 통해 개별 블레이드의 이상 인덱스(anomaly index)를 뽑을 수 있고, 블레이드에서 발생하는 진동이 블레이드 떨림(950)과 연관되어 있는지 블레이드 휨(blade bent)(900)과 연관되어 있는지에 대한 방향성을 보여줄 수 있다.

개별 블레이드의 BTT 정보를 기반으로 블레이드 떨림(950) 및 블레이드 휨(900)에 대한 정보를 축적한 정상 상태 데이터의 분포에 대한 정보가 축적될 수 있다. 건전성 맵은 축적된 정상 상태 데이터의 분포에 대한 정보와 입력된 데이터의 통계적인 거리를 이용해 블레이드 떨림(950) 및/또는 블레이드 휨(900)에 대한 정도를 표시할 수 있다.

건전성 맵에서 정상으로부터의 총 거리(중심으로부터 거리)는 딥러닝 모델에서 연산된 이상 인덱스(anomaly Index)를 기반으로 결정되며 블레이드 휨(900)과 블레이드 떨림(950)을 기반으로 결정되는 방향성은 통계적인 지표를 통해 연산할 수 있다. 블레이드 휨(900)은 BTT 평균치를 근거로 산정하기 때문에 값이 정상 상태에 비해 작을 때와 클 때 모두 이상 인덱스가 증가할 수 있어 건전성 맵에 x축으로는 180도의 방향성을 두었고 블레이드 떨림(950)의 정도는 음의 값을 가질 수 없기 때문에 건전성 맵 상에 y축은 양의 값을 가지도록 정의될 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims

딥 러닝 기반의 고장 진단 방법은,
고장 진단 장치가 회전 장치의 구동 정보를 수신하는 단계;
상기 고장 진단 장치가 상기 구동 정보를 기반으로 한 학습을 수행하는 단계; 및
상기 고장 진단 장치가 상기 학습을 기반으로 상기 회전 장치에 발생한 고장을 진단하는 단계를 포함하되,
상기 구동 정보는 상기 회전 장치에 구현된 블레이드의 BTT(blade tip timing) 정보를 포함하고,
상기 학습은 상기 BTT 정보를 이미지화한 BTT 이미지를 기반으로 수행되고,
상기 학습은 상기 BTT 이미지를 입력값으로CNN(convolutional neural network) 기반의 VAE(Variational Auto-Encoder)를 통해 수행되고,
상기 VAE는 다이레이티드 덴스 컨볼루션(dilated dense convolution)을 이용한 다이레이티드 덴스 인코더를 포함하고,
상기 다이레이티드 덴스 컨볼루션은 상기 BTT 이미지에서 글로벌 특징(global feature)를 추출하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 다이레이티드 덴스 인코더는 7x7 컨볼루션(conv), 배치 노멀라이제이션(Batch normalization), 렐루함수(ReLU), 맥스 풀링(max pooling), 3x3 컨볼루션(conv), 컨볼루션 덴스 블록(conv dense block)과 맥스 덴스 블록(max dense block), 상기 다이레이티드 덴스 컨볼루션을 통해 잠재변수 z를 샘플링하기 위한 출력값을 생성하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 회전 장치에 발생한 상기 고장은 건전성 맵을 통해 표현되고,
건전성 맵은 딥러닝 모델에서 출력된 블레이드 이상 지수가 블레이드 휨(Blade Bent)과 블레이드 떨림(Blade flutter) 관점에서 어느 유형의 이유로 이상 지수가 연산되고 있는지 표현하는 것을 특징으로 하는 방법.
제3항에 있어서,
상기 건전성 맵은 축적된 정상 상태 데이터의 분포에 대한 정보와 입력된 데이터의 통계적인 거리를 이용해 상기 블레이드 떨림 및 상기 블레이드 휨에 대한 정도를 표시하고,
상기 건전성 맵에서 정상으로부터의 총 거리는 상기 딥러닝 모델에서 연산된 상기 블레이드 이상 지수를 기반으로 결정되며
상기 블레이드 휨과 상기 블레이드 떨림을 기반으로 결정되는 방향성은 통계적인 지표를 통해 연산되는 것을 특징으로 하는 방법.
딥 러닝 기반의 고장 진단 장치는
구동 정보를 수신하기 위해 구현되는 통신부; 및
상기 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함하되,
상기 프로세서는 회전 장치의 구동 정보를 수신하고,
상기 구동 정보를 기반으로 한 학습을 수행하고,
상기 학습을 기반으로 상기 회전 장치에 발생한 고장을 진단하도록 구현되되,
상기 구동 정보는 상기 회전 장치에 구현된 블레이드의 BTT(blade tip timing) 정보를 포함하고,
상기 학습은 상기 BTT 정보를 이미지화한 BTT 이미지를 기반으로 수행되고,
상기 학습은 상기 BTT 이미지를 입력값으로CNN(convolutional neural network) 기반의 VAE(Variational Auto-Encoder)를 통해 수행되고,
상기 VAE는 다이레이티드 덴스 컨볼루션(dilated dense convolution)을 이용한 다이레이티드 덴스 인코더를 포함하고,
상기 다이레이티드 덴스 컨볼루션은 상기 BTT 이미지에서 글로벌 특징(global feature)를 추출하는 것을 특징으로 하는 고장 진단 장치.
제5항에 있어서,
상기 다이레이티드 덴스 인코더는 7x7 컨볼루션(conv), 배치 노멀라이제이션(Batch normalization), 렐루함수(ReLU), 맥스 풀링(max pooling), 3x3 컨볼루션(conv), 컨볼루션 덴스 블록(conv dense block)과 맥스 덴스 블록(max dense block), 상기 다이레이티드 덴스 컨볼루션을 통해 잠재변수 z를 샘플링하기 위한 출력값을 생성하는 것을 특징으로 하는 고장 진단 장치.
제5항에 있어서,
상기 회전 장치에 발생한 상기 고장은 건전성 맵을 통해 표현되고,
건전성 맵은 딥러닝 모델에서 출력된 블레이드 이상 지수가 블레이드 휨(Blade Bent)과 블레이드 떨림(Blade flutter) 관점에서 어느 유형의 이유로 이상 지수가 연산되고 있는지 표현하는 것을 특징으로 하는 고장 진단 장치.
제7항에 있어서,
상기 건전성 맵은 축적된 정상 상태 데이터의 분포에 대한 정보와 입력된 데이터의 통계적인 거리를 이용해 상기 블레이드 떨림 및 상기 블레이드 휨에 대한 정도를 표시하고,
상기 건전성 맵에서 정상으로부터의 총 거리는 상기 딥러닝 모델에서 연산된 상기 블레이드 이상 지수를 기반으로 결정되며
상기 블레이드 휨과 상기 블레이드 떨림을 기반으로 결정되는 방향성은 통계적인 지표를 통해 연산되는 것을 특징으로 하는 고장 진단 장치.