KR102233109B1 - 영상 학습을 통한 기계 진단시스템 및 이를 이용한 기계 진단방법 - Google Patents

영상 학습을 통한 기계 진단시스템 및 이를 이용한 기계 진단방법 Download PDF

Info

Publication number
KR102233109B1
KR102233109B1 KR1020190047303A KR20190047303A KR102233109B1 KR 102233109 B1 KR102233109 B1 KR 102233109B1 KR 1020190047303 A KR1020190047303 A KR 1020190047303A KR 20190047303 A KR20190047303 A KR 20190047303A KR 102233109 B1 KR102233109 B1 KR 102233109B1
Authority
KR
South Korea
Prior art keywords
learning
unit
images
state
neural network
Prior art date
Application number
KR1020190047303A
Other languages
English (en)
Other versions
KR20200128239A (ko
Inventor
선경호
김병옥
이동현
전병찬
서윤호
문석준
Original Assignee
한국기계연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국기계연구원 filed Critical 한국기계연구원
Priority to KR1020190047303A priority Critical patent/KR102233109B1/ko
Publication of KR20200128239A publication Critical patent/KR20200128239A/ko
Application granted granted Critical
Publication of KR102233109B1 publication Critical patent/KR102233109B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M7/00—Vibration-testing of structures; Shock-testing of structures
    • G01M7/02—Vibration-testing by means of a shake table
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

영상 학습을 통한 기계 진단시스템 및 이를 이용한 기계 진단방법에서, 상기 기계 진단시스템은 촬영부, 선택부, 학습부 및 판단부를 포함한다. 상기 촬영부는 대상체에 대한 이미지를 연속으로 촬영한다. 상기 선택부는 상기 연속 촬영된 이미지들 중에서 학습의 대상이 되는 소정 구간의 이미지들을 선택하는 선행 분류부, 및 상기 대상체의 정상 상태 또는 비정상 상태에 대한 판단 기준을 제공하는 판단기준 입력부를 포함한다. 상기 학습부는 상기 선택된 소정 구간의 이미지들에 대하여, 상기 판단 기준을 바탕으로 상기 대상체의 상태를 학습한다. 상기 판단부는 상기 학습된 결과를 이용하여, 상기 연속 촬영된 이미지들로부터 상기 대상체의 상태를 판단한다.

Description

영상 학습을 통한 기계 진단시스템 및 이를 이용한 기계 진단방법 {MECHANICAL DIAGNOSTIC SYSTEM BASED ON IMAGE LEARNING AND METHOD FOR MECHANICAL DIAGNOSIS USING THE SAME}
본 발명은 영상 학습을 통한 기계 진단시스템 및 이를 이용한 기계 진단방법에 관한 것으로, 더욱 상세하게는 카메라와 같은 촬영 장치에 의해 촬영된 영상을 바탕으로 학습을 수행하여 기계 장치와 같은 대상체의 정상 상태 또는 비정상 상태에 대한 판단을 수행하여 진단을 수행할 수 있는 영상 학습을 통한 기계 진단시스템 및 이를 이용한 기계 진단방법에 관한 것이다.
촬영된 영상을 활용하여 대상물의 움직임을 측정하는 기술에 대한 연구는 다수 진행되고 있으며, 고속촬영 기법과 영상처리 기술의 진보에 따라 그 응용범위도 확대되고 있다.
최근 MIT CSAIL(Computer Science and Artificial Intelligence Laboratory)에서는 딥러닝을 활용하여 대상체에 대한 주파수와 같은 사전 정보의 입력 없이 영상의 미세한 움직임을 증폭시키는 연구를 발표하였으며, RDI Technologies 사에서는 진동거동을 증폭하여 가시화하는 장비를 개발하여 출시하였다. 이러한 기술들은, 펌프와 같은 회전 기계의 미세한 기계적 진동을 큰 움직임으로 증폭하여 이를 가시화함으로써, 사람의 눈으로 거시적인 움직임의 변화를 판단하고 진단하는 기술에 활용될 수 있다.
그러나, 상기와 같은 가시화기술의 경우, 최종적으로 영상을 판독하는 것은 여전히 대상체에 대한 물리적 지식과 경험을 가지는 전문가의 영역으로, 그 판독결과가 사람에 따라 상이할 수 있는 불확실성이 존재한다.
한편, 딥러닝 기술을 기반으로 한 대상체의 진단 방법이나 장치에 관한 기술로서, 대한민국 등록특허 제10-1818394호에서는 설비로부터 취득되는 데이터를 바탕으로 특징을 추출하여 특징 맵 이미지를 생성하고 이를 바탕으로 학습을 수행하여, 설비의 상태를 진단하는 기술을 개시하고 있다.
또한, 대한민국 등록특허 제10-0199105호에서는 모터나 엔진 등의 회전체로부터 진동신호를 분석하여 이상 원인을 알아내기 위한 방법으로, 진동을 계측한 진동신호를 신호처리한 후 이를 학습하여 이상 여부를 예측하는 기술을 개시하고 있다.
이상과 같이, 현재 딥러닝 기술을 기반으로 학습하여 대상체의 상태를 진단하는 기술은, 학습의 대상이 되는 정보가 별도의 신호처리 단계를 통해 가공된 정보로서, 가공된 정보를 활용함으로써 학습의 효과를 향상시킬 수는 있으나, 정보 가공을 위한 신호처리 단계가 필요하므로 데이터 처리 및 학습 시간이 증가하며, 해당 대상체의 상태 또는 진단하려는 상태에 국한되어 적용되는 한계가 있어 범용성이 높지 않은 문제가 있다.
대한민국 등록특허 제10-1818394호 대한민국 등록특허 제10-0199105호
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 움직이거나 진동하고 있는 기계 장치를 포함하는 동적 시스템에 대하여 촬영 장치에 의해 측정되고 영상 처리되지 않은 원본 영상을 그대로 활용하여 학습에 의해 대상체의 정상 상태 또는 비정상 상태에 대한 판단을 수행할 수 있어 별도의 데이터 처리 단계를 생략하여 용이하게 상기 기계 장치에 대한 진동을 상시 모니터링할 수 있으며 사용성을 향상시킬 수 있는 영상 학습을 통한 기계 진단시스템을 제공하는 것이다.
또한, 본 발명의 다른 목적은 상기 기계 진단시스템을 이용한 기계 진단방법을 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 의한 기계 진단시스템은 촬영부, 선택부, 학습부 및 판단부를 포함한다. 상기 촬영부는 대상체에 대한 이미지를 연속으로 촬영한다. 상기 선택부는 상기 연속 촬영된 이미지들 중에서 학습의 대상이 되는 소정 구간의 이미지들을 선택하는 선행 분류부, 및 상기 대상체의 정상 상태 또는 비정상 상태에 대한 판단 기준을 제공하는 판단기준 입력부를 포함한다. 상기 학습부는 상기 선택된 소정 구간의 이미지들에 대하여, 상기 판단 기준을 바탕으로 상기 대상체의 상태를 학습한다. 상기 판단부는 상기 학습된 결과를 이용하여, 상기 연속 촬영된 이미지들로부터 상기 대상체의 상태를 판단한다.
일 실시예에서, 상기 학습부는, 합성곱신경망(convolution neural network, CNN)을 이용하여 상기 대상체의 상태를 학습할 수 있다.
일 실시예에서, 상기 학습부가 2차원 합성곱신경망으로 학습할 지, 또는 복수 프레임을 이용한 2차원 합성곱신경망으로 학습하거나 3차원 합성곱신경망으로 학습할 지에 대한 정보를 상기 촬영부로 제공하는 정보 입력부를 더 포함할 수 있다.
일 실시예에서, 상기 촬영부는, 상기 학습부가 2차원 합성곱신경망으로 학습하는 경우, 고정된 위치 및 각도에서 상기 대상체를 촬영하고, 상기 학습부가 복수 프레임을 이용한 2차원 합성곱신경망으로 학습하거나 3차원 합성곱신경망으로 학습하는 경우, 변화된 위치 또는 각도에서 상기 대상체를 촬영할 수 있다.
일 실시예에서, 상기 판단부는, 상기 고정된 위치 및 각도에서 연속 촬영된 상기 대상체에 대한 이미지들을 바탕으로 상기 대상체의 정상 상태 또는 비정상 상태를 판단하는 제1 판단부, 및 상기 위치 또는 각도와 무관하게 시간에 따라 연속 촬영된 상기 대상체에 대한 이미지들을 바탕으로 상기 대상체의 정상 상태 또는 비정상 상태를 판단하는 제2 판단부를 포함할 수 있다.
일 실시예에서, 상기 대상체는, 고정된 상태에서 진동하는 진동 구조물일 수 있다.
일 실시예에서, 상기 대상체의 상태 판단 기준은, 상기 진동 구조물의 진동 범위에 대한 임계값(threshold)으로 제공될 수 있다.
일 실시예에서, 상기 학습부는, 상기 대상체의 연속 촬영된 이미지들의 차이가 상기 임계값의 범위 내에 속하는지의 여부를 바탕으로, 상기 대상체의 상태를 학습할 수 있다.
일 실시예에서, 상기 선행 분류부는, 상기 연속 촬영된 이미지들 중에서 학습의 대상이 되는 소정 구간의 이미지들을 제외한 나머지 구간의 이미지들을 상기 판단부로 제공하고, 상기 판단부는, 상기 나머지 구간의 이미지들로부터 상기 대상체의 상태를 판단할 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 의한 기계 진단방법에서, 대상체에 대한 이미지를 연속으로 촬영한다. 상기 대상체의 정상 상태 또는 비정상 상태에 대한 판단 기준을 제공받는다. 상기 연속 촬영된 이미지들 중에서 학습의 대상이 되는 소정 구간의 이미지들을 선택한다. 상기 선택된 소정 구간의 이미지들에 대하여, 상기 판단 기준을 바탕으로 상기 대상체의 상태를 학습한다. 상기 학습된 결과를 이용하여, 상기 연속 촬영된 이미지들로부터 상기 대상체의 상태를 판단한다.
일 실시예에서, 상기 대상체에 대한 이미지를 촬영하는 단계 이전에, 상기 촬영되는 공간상의 특징으로, 상기 학습부가 2차원 합성곱신경망으로 학습할 지, 또는 복수 프레임을 이용한 2차원 합성곱신경망으로 학습하거나 3차원 합성곱신경망으로 학습할 지에 대한 정보를 입력받는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 대상체에 대한 이미지를 촬영하는 단계에서, 상기 학습부가 2차원 합성곱신경망으로 학습하는 경우, 고정된 위치 및 각도에서 상기 대상체를 촬영하고, 상기 학습부가 2차원 합성곱신경망으로 학습하거나 3차원 합성곱신경망으로 학습하는 경우, 변화된 위치 또는 각도에서 상기 대상체를 촬영할 수 있다.
본 발명의 실시예들에 의하면, 움직이거나 진동하고 있는 기계 장치를 포함하는 동적 시스템에 대하여, 촬영부에 의해 촬영된 대상체에 대한 연속 촬영 이미지들에 대하여 별도의 영상 처리를 수행하지 않고, 원본 이미지들을 그대로 학습시켜 대상체의 상태, 즉 정상 상태 또는 비정상 상태에 대하여 판단을 수행할 수 있으므로, 상기 기계 장치를 포함하는 동적 시스템과 같은 대상체에 대한 진동을 빠르고 즉각적으로 처리할 수 있어, 상시 모니터링을 수행할 수 있으며, 사용성을 향상시킬 수 있다.
즉, 별도의 원본 영상 처리가 불필요하므로, CCTV와 같은 범용 이미지 촬영 장치를 통해서도 움직이거나 진동하고 있는 기계 장치를 포함하는 동적 시스템과 같은 대상체에 대한 정상 상태의 여부를 실시간으로 모니터링할 수 있다.
특히, 상기 학습을 합성곱신경망을 이용하여 수행하는 것으로, 고정된 상태에서 진동하는 진동 구조물에 대한 진동의 정상 상태 여부를 상기 신경망을 통해 학습을 수행하여 판단함으로써, 신경망 학습을 통한 진동 구조물의 진단을 정확하고 효과적으로 수행할 수 있다.
한편, 상기 신경망을 통한 학습은, 2차원 또는 3차원 학습으로 구분되어 수행될 수 있으며, 특히 3차원 학습(또는, 복수 프레임을 이용한 2차원 학습)을 수행하는 경우, 촬영부의 위치나 각도와 무관하게 촬영된 이미지 원본을 통해 진동의 정상 상태 여부를 학습하여 이를 판단할 수 있으므로, 실제 기계 진단에 있어 다양한 위치에 설치되거나 이동되는 CCTV 등의 카메라를 이용한 실시간 모니터링을 수행할 수 있다.
또한, 연속 촬영되는 이미지들 중에서, 소정 구간의 이미지들은 학습을 위해 선택되어 학습이 수행되고, 상기 구간을 제외한 나머지 구간의 이미지들에 대하여는 상기 대상체의 상태를 판단하기 위해 제공될 수 있으므로, 학습을 위한 별도의 이미지 데이터들이 제공되지 않더라도, 현재의 대상체의 상태에 대한 연속적인 촬영이미지들에 대하여 학습 및 판단을 수행할 수 있어, 기계 진단의 효율성이 향상되고 실시간 모니터링이 가능하게 된다.
도 1은 본 발명의 일 실시예에 의한 기계 진단시스템을 도시한 모식도이다.
도 2는 도 1의 학습부에서 2차원 CNN(convolutional neural network)으로 학습하는 예를 도시한 모식도이다.
도 3a는 도 1의 학습부에서 복수 프레임을 이용한 2차원 CNN으로 학습하는 예를 도시한 모식도이고, 도 3b는 도 1의 학습부에서 3차원 CNN으로 학습하는 예를 도시한 모식도이다.
도 4a는 도 1의 학습부에서 학습을 수행하는 구조의 예를 도시한 모식도이며, 도 4b는 도 4a의 학습을 수행하는 구조에서의 특징 맵(feature map)의 예를 도시한 모식도이다.
도 5a는 도 1의 촬영부에서 대상체에 대하여 촬영한 이미지의 예를 도시한 것이며, 도 5b는 도 5a의 촬영된 대상체의 이미지들의 차이의 예를 도시한 것이다.
도 6a는 도 1의 촬영부에서 대상체에 대하여 촬영한 이미지의 다른 예를 도시한 것이며, 도 6b는 도 6a의 촬영된 대상체의 이미지들의 차이의 다른 예를 도시한 것이다.
도 7은 도 6a의 촬영된 이미지들에 대하여, 주파수를 분석한 예를 도시한 그래프들이고, 도 8은 도 7의 분석된 각각의 예에 대하여 도 1의 판단부에서 판단 결과를 도시한 그래프이다.
도 9는 도 1의 기계 진단시스템을 이용한 기계 진단방법을 도시한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 일 실시예에 의한 기계 진단시스템을 도시한 모식도이다. 도 2는 도 1의 학습부에서 2차원 CNN(convolutional neural network)으로 학습하는 예를 도시한 모식도이다. 도 3a는 도 1의 학습부에서 복수 프레임을 이용한 2차원 CNN으로 학습하는 예를 도시한 모식도이고, 도 3b는 도 1의 학습부에서 3차원 CNN으로 학습하는 예를 도시한 모식도이다. 도 4a는 도 1의 학습부에서 학습을 수행하는 구조의 예를 도시한 모식도이며, 도 4b는 도 4a의 학습을 수행하는 구조에서의 특징 맵(feature map)의 예를 도시한 모식도이다. 도 5a는 도 1의 촬영부에서 대상체에 대하여 촬영한 이미지의 예를 도시한 것이며, 도 5b는 도 5a의 촬영된 대상체의 이미지들의 차이의 예를 도시한 것이다. 도 6a는 도 1의 촬영부에서 대상체에 대하여 촬영한 이미지의 다른 예를 도시한 것이며, 도 6b는 도 6a의 촬영된 대상체의 이미지들의 차이의 다른 예를 도시한 것이다.
우선, 도 1을 참조하면, 본 실시예에 의한 기계 진단시스템(10)은 펌프나 모터 등과 같은 고정된 상태에서 진동하는 진동 구조물인 대상체(100)에 대하여, 합성곱신경망(convolution neural network, CNN)을 활용하여 학습을 수행하고, 이를 바탕으로 상기 대상체(100)의 진동 상태가 정상 상태인지 또는 비정상 상태를 판단하여, 상기 대상체(100)를 진단하는 시스템이다.
보다 구체적으로, 상기 기계 진단시스템(10)은 촬영부(200), 정보 입력부(300), 선택부(400), 학습부(500) 및 판단부(600)를 포함한다.
상기 촬영부(200)는 상기 대상체(100)에 대한 이미지를 촬영하는 것으로, 예를 들어, 카메라나 CCTV와 같은 촬영이 가능한 장치일 수 있다.
상기 촬영부(200)는 상기 대상체(100)에 대하여 일정 시간 간격으로 연속적인 이미지를 촬영하며, 이렇게 촬영된 연속 촬영 이미지들은 상기 선택부(400)로 제공된다.
본 실시예에서, 상기 대상체(100)는 앞서 설명한 바와 같이, 진동하는 진동 구조물로서, 상기 진동 구조물이 진동하는 경우, 상기 촬영부(200)에서 촬영되는 연속 촬영 이미지들은 진동이 수행되는 영역 또는 부분에서 변화하게 된다.
즉, 연속 촬영된 2개의 연속 이미지들을 서로 비교해 보건대, 상기 진동 구조물이 진동하는 부분을 중심으로 상기 2개의 연속 이미지들은 서로 차이가 발생하게 된다. 즉, 본 실시예에서는, 이러한 2개의 연속 이미지들이 가지는 이미지 원본 자체의 차이점을 중심으로 상기 학습부(500)에서 학습을 수행할 수 있다.
이와 관련하여, 도 5a를 참조하면, 상기 촬영부(200)에서 상기 대상체(100)의 예로서, 가진기 상에 외팔보(cantilever)(101)가 고정된 진동 구조물에 대하여 촬영한 이미지(110)를 도시하였다.
즉, 상기 촬영부(200)에서는, 상기 대상체(100)에 대한 연속 촬영을 통해, 상기 도 5a에 도시된 바와 같은 상기 외팔보(101)를 포함하는 진동 구조물에 대한 연속 촬영 이미지를 획득하게 된다.
이 경우, 상기 연속 촬영된 대상체(100)의 이미지들의 차이에 관한 도 5b를 참조하면, 상기 진동 구조물에서는 외팔보(101)를 중심으로 진동이 수행되고 있으므로, 외팔보(101)를 중심으로 한 구조체 만이 상기 이미지 차이에서 현출되는 것을 확인할 수 있다.
또 다른 대상체(100)의 예로서, 도 6a를 참조하면, 상기 촬영부(200)에서 상기 대상체(100)의 다른 예로서, 펌프(102)와 같은 고정된 진동 구조물에 대하여 촬영한 이미지(111)를 도시하였다.
즉, 상기 촬영부(200)에서는, 상기 대상체(100)에 대한 연속 촬영을 통해, 상기 도 6a에 도시된 바와 같은 상기 펌프(102)에 대한 연속 촬영 이미지를 획득하게 된다.
이 경우, 상기 연속 촬영된 대상체(100)의 이미지들의 차이에 관한 도 6b를 참조하면, 상기 펌프(102)는 전체 구조물이 전체적으로 진동이 수행되고 있으므로, 진동이 수행되는 각 부분이나 요소들이 상기 이미지 차이에서 현출되는 것을 확인할 수 있다.
이상과 같이, 상기 학습부(500)에서는, 이러한 2개의 연속 이미지들이 가지는 이미지 원본 자체의 차이점을 중심으로 학습을 수행하는 것으로, 후술하겠으나, 상기 연속 이미지들이 가지는 차이점, 즉 이미지 차이에서 현출되는 대상체의 차이가 소정의 범위 이내에 속하는지의 여부를 바탕으로 정상 상태 또는 비정상 상태의 여부를 학습하게 된다.
한편, 상기 촬영부(200)는, 상기 학습부(500)에서의 학습의 종류에 따라, 고정된 위치 및 각도에서 상기 대상체(100)를 촬영할 수도 있으며, 위치 또는 각도가 변화되면서 상기 대상체(100)를 촬영할 수도 있다.
즉, 후술되는 상기 학습부(500)는, 소위, 합성곱신경망(convolution neural network, CNN)을 이용하여 상기 촬영부(200)에서 촬영된 연속 촬영 이미지들에 대한 학습을 수행하는데, 2차원 CNN으로 학습하거나, 이와 달리 복수의 프레임을 이용한 2차원 CNN 또는 3차원 CNN으로 학습할 수 있다.
상기 학습부(500)가 2차원 CNN으로 학습을 수행하는 경우, 상기 학습부(500)는, 촬영된 이미지들의 공간상의 특징(feature)을 추출하여 학습을 수행하는 것으로, 촬영된 이미지들의 공간이 동일하게 유지되어야 한다.
이에, 상기 학습부(500)가 2차원 CNN으로 학습을 수행하는 경우라면, 상기 촬영부(200)는, 위치 및 각도가 변화하지 않은 고정된 위치 및 각도에서 상기 대상체(100)에 대한 연속 촬영을 수행하여야 하며, 이렇게 촬영된 연속 이미지들을 상기 선택부(400)로 제공하게 된다.
이와 달리, 상기 학습부(500)가 복수의 프레임을 이용한 2차원 CNN 또는 3차원 CNN으로 학습을 수행하는 경우라면, 상기 학습부(500)는 촬영된 이미지들의 시간 및 주파수에 대한 특징(feature)을 추출하여 이를 분류하고, 학습을 수행하는 것으로, 촬영된 이미지들의 공간이 동일하게 유지될 필요는 없다.
이에, 상기 학습부(500)가 복수의 프레임을 이용한 2차원 CNN 또는 3차원 CNN으로 학습을 수행하는 경우라면, 상기 촬영부(200)는 위치 또는 각도가 변화하면서 상기 대상체(100)에 대한 연속 촬영을 수행할 수 있으며, 이렇게 촬영된 연속 이미지들을 상기 선택부(400)로 제공하게 된다.
상기 정보 입력부(300)는 상기 학습부(500)에서 상기 합성곱신경망을 활용하여 학습을 수행하는 경우, 2차원 CNN으로 학습할 것인지, 이와 달리 복수의 프레임을 이용한 2차원 CNN 또는 3차원 CNN으로 학습할 것인지에 대한 정보를 상기 촬영부(200)로 제공한다.
그리하여, 상기 촬영부(200)에서는, 상기 정보 입력부(300)에서 제공되는 상기 학습부(500)에서의 학습 수행의 형태에 대한 정보를 제공받고, 이를 바탕으로 상기 대상체(100)에 대한 촬영의 방법, 즉 고정된 위치 및 각도에서 촬영을 수행할 것인지, 위치 또는 각도를 변화시켜가면서 촬영을 수행할 것인지를 선택한다.
이와 달리, 상기 정보 입력부(300)에서 상기 학습부(500)에서의 학습 수행의 형태에 관한 정보를 제공받지 않고, 상기 촬영부(200)에서 상기 정보 입력부(300)로 촬영의 방법에 대한 정보를 제공할 수도 있다.
즉, 상기 촬영부(200)가 위치 및 각도를 고정한 상태에서만 상기 대상체(100)에 대한 촬영을 수행할 수 있다면, 상기 정보 입력부(300)에 해당 정보를 제공하고, 이를 상기 학습부(500)에서 활용하여, 상기 학습부(500)에서는 2차원 CNN으로 학습을 수행할 수 있다.
마찬가지로, 상기 촬영부(200)가 위치 또는 각도를 고정하지 않은 상태에서도 상기 대상체(100)에 대한 촬영을 수행할 수 있다면, 상기 정보 입력부(300)에 해당 정보를 제공하고, 이를 상기 학습부(500)에서 활용하여, 상기 학습부(500)에서는 복수의 프레임을 이용한 2차원 CNN 또는 3차원 CNN으로 학습 학습을 수행할 수 있다.
이상과 같이, 상기 촬영부(200)에서 상기 대상체(100)에 대한 이미지를 연속으로 촬영하여, 상기 촬영된 이미지들을 상기 선택부(400)로 제공한다.
상기 선택부(400)는 선행 분류부(410) 및 판단 기준 입력부(420)를 포함한다.
상기 선행 분류부(410)는, 상기 촬영부(200)에 의해 연속으로 촬영된 상기 대상체(100)에 대한 연속 이미지들 중에서, 학습의 대상이 되는 이미지들을 선택하여, 이를 상기 학습부(500)로 제공한다.
이 경우, 상기 촬영된 이미지는 일정한 시간 간격으로 촬영된 연속되는 이미지들이므로, 상기 선행 분류부(410)에서는, 소정 구간의 시간을 선택하여, 선택되는 구간에서 촬영된 연속 이미지들을 학습의 대상이 되는 이미지들로 선택하여 상기 학습부(500)로 제공한다.
상기 선행 분류부(410)에서 선택하는 구간은 사용자의 선택에 따라 다양하게 설정될 수 있으나, 상기 학습부(500)에서 학습을 수행하기 위한 최소한의 구간으로 설정되어야 한다.
한편, 상기 선행 분류부(410)에서 선택된 구간 외에, 구간에서의 촬영된 이미지들은, 상기 판단부(600)로 제공된다.
즉, 본 실시예의 경우, 상기 대상체(100)에 대한 연속 촬영된 이미지들 중에서 소정 구간의 이미지들은 상기 학습부(500)에서의 학습의 대상이 되며, 상기 학습의 대상으로 선택되지 않은 구간의 이미지들은 상기 판단부(600)로 제공되어, 최종적으로 상기 대상체(100)의 진동 등의 상태가 정상인지 비정상인지의 판단의 자료가 된다.
이상과 같이, 상기 촬영부(200)에서 촬영된 연속 이미지들에 대하여, 임의의 구간을 선택하여 학습을 수행하고, 나머지 구간에 대하여 대상체의 상태를 판단함으로써, 별도의 학습을 위한 데이터의 준비를 생략할 수 있어, 상기 대상체에 대한 모니터링을 연속으로 수행하면서 학습과 상태 판단을 실시간으로 수행할 수 있어, 기계 진단시스템의 사용성 및 활용성이 향상될 수 있다.
이와 달리, 상기 촬영부(200)에서는, 상기 학습부(500)에서의 학습의 대상이 되는 이미지들을 별도로 촬영하여 상기 학습부(500)로 제공할 수 있으며, 상기 판단부(600)에서의 판단의 대상이 되는 이미지들을 별도로 촬영하여 상기 판단부(600)로 제공할 수도 있다.
상기 판단기준 입력부(420)는, 상기 대상체(100)의 정상 상태 또는 비정상 상태에 대한 판단 기준을 제공하는 것으로, 사용자에 의해 기준이 설정되어 제공될 수 있다.
이와 달리, 도시하지는 않았으나, 상기 판단기준 입력부(420)는, 별도의 데이터베이스 등을 통해 기 판단된 대상체의 종류, 및 해당 대상체에서의 진동에 의해 위험이 발생하는 기준에 관한 정보를 바탕으로, 상기 대상체(100)의 정상 상태 또는 비정상 상태에 대한 판단 기준을 스스로 설정할 수도 있다.
상기 대상체(100)가 앞서 예시한 바와 같이, 고정된 상태에서 진동하는 진동 구조물인 경우라면, 상기 판단기준 입력부(420)로 제공되거나 상기 판단기준 입력부(420)에서 설정하는 판단 기준은, 상기 진동 구조물의 진동 범위에 대한 임계값(threshold)일 수 있다.
즉, 상기 진동 구조물의 진동 범위의 임계값을 기준으로, 상기 임계값을 초과하는 경우, 상기 대상체(100)는 비정상 상태에 해당되고, 상기 임계값의 범위 내에서 진동하는 경우 상기 대상체(100)는 정상 상태에 해당되는 것으로, 이러한 임계값에 대한 정보를 상기 학습부(500)로 제공하게 된다.
상기 학습부(500)는 상기 촬영부(200)에서 촬영된 연속되는 이미지들 중, 상기 선행 분류부(410)에서 선택된 소정 구간의 연속 이미지들에 대하여, 상기 판단기준을 바탕으로 상기 대상체(100)의 상태에 대하여 학습을 수행한다.
이 경우, 상기 선행 분류부(410)를 통해서는, 소정 구간의 연속 이미지들이 제공될 수도 있으며, 앞서 설명한 바와 같이, 학습을 위해 별도로 촬영된 연속 이미지들이 상기 학습부(500)로 제공될 수도 있다.
상기 학습부(500)는, 상기 제공되는 연속 촬영된 이미지들에 대하여, 학습을 수행하는데, 이 경우 학습 수행의 방법은, 앞서 설명한 바와 같은, 합성곱신경망을 이용하게 된다.
즉, 상기 학습부(500)는, 상기 제공되는 판단 기준, 예를 들어, 진동 범위에 대한 임계값을 바탕으로, 상기 연속 촬영된 이미지들을 바탕으로 상기 대상체(100)가 정상 상태에 해당되는지, 또는 비정상 상태에 해당되는지를 학습하게 된다.
상기 학습부(500)의 학습의 방법과 관련하여, 상기 학습부(500)는 신경망을 이용한 학습을 수행하는 것으로 구체적인 내부 학습 알고리즘을 도식화한 것은 도 4a 및 도 4b와 같다.
즉, 본 실시예에서의 상기 학습부(500)에서는, 신경망을 이용한 학습을 수행함에 있어, 도 4a에 도시된 바와 같이, 복수의 연속된 대상체(100)에 대한 이미지들을 제공받으면, 이를 바탕으로 이미지의 크기를 변환하면서 복수의 신경망 회로를 수행하여 상기 대상체(100)의 상태에 대하여 정상 상태인지 비정상 상태인지를 분류하여 학습을 수행하게 된다.
이러한 상기 학습부(500)의 학습의 수행을 통해, 도 4b에 도시된 바와 같이, 상기 대상체(100)에 대한 이미지는 차츰 구체화되도록 학습되어, 상기 대상체(100)의 전체적인 형상에 대한 학습이 수행될 수 있으며, 이를 바탕으로 상기 대상체(100)의 상태에 대한 판단을 수행할 수 있을 정도로 학습을 수행하게 된다.
한편, 본 실시예의 경우, 상기 학습부(500)는 원본 이미지들을 바탕으로 대상체의 진동 상태를 학습하는 것으로, 앞서 설명한 바와 같이, 연속 촬영된 2개의 연속 이미지들을 서로 비교하여, 상기 진동 구조물이 진동함으로써 이미지들의 차이가 발생하는 부분을 확인함으로써 학습을 수행할 수 있다.
즉, 상기 이미지들의 차이를 통해, 상기 학습부(500)는 이렇게 차이나는 부분의 진동의 범위가 상기 제공된 판단 기준인 임계값의 범위 이내에 속하는가의 여부를 학습할 수 있다.
정상상태 학습부(510)에서는, 상기 연속 촬영된 이미지들의 차이가 상기 임계값의 범위 이내에 속하는 이미지들을 학습하여, 상기 대상체(100)의 정상 상태에 대한 학습을 수행할 수 있다.
마찬가지로, 비정상상태 학습부(520)에서는, 상기 연속 촬영된 이미지들의 차이가 상기 임계값의 범위를 벗어나는 이미지들을 학습하여, 상기 대상체(100)의 비정상 상태에 대한 학습을 수행할 수 있다.
한편, 상기 학습부(500)는 2차원 CNN으로 학습하거나, 이와 달리, 복수 프레임을 이용한 2차원 CNN 또는 3차원 CNN으로 학습할 수 있음을 설명하였다.
즉, 도 2를 참조하면, 상기 학습부(500)에서 2차원 CNN으로 학습을 수행하는 경우, 상기 촬영부(200)는 고정된 위치 및 각도에서 상기 대상체(100)에 대한 이미지(110)를 연속으로 촬영하게 되며, 이렇게 촬영된 연속 이미지들(110)을 통해 상기 학습부(500)는, 앞서 설명한 바와 같은 학습을 수행하여, 후술되는 판단부(600)를 통한 상기 대상체(100)의 상태 판단을 수행할 수 있다.
이러한 2차원 CNN으로 학습을 수행하는 경우, 상기 학습부(500)는 상기 촬영된 이미지의 공간상의 특징을 추출하여 학습을 수행하는 것으로, 이를 위해 상기 위치 및 각도는 고정되어야 한다.
이 경우, 상태 판단의 대상이 되는 상기 대상체(100)의 이미지들 역시, 고정된 위치 및 각도에서 촬영된 이미지들이다.
이와 달리, 도 3a를 참조하면, 상기 학습부(500)에서 복수의 프레임을 이용한 2차원 CNN으로 학습을 수행하는 경우, 상기 촬영부(200)는 다양한 위치 또는 각도에 해당되는 복수의 프레임(frame) 상에서 상기 대상체(100)에 대한 이미지(120)를 연속으로 촬영하게 되며, 이렇게 촬영된 연속 이미지들(120)을 통해 상기 학습부(500)는, 앞서 설명한 바와 같은 학습을 수행하여, 후술되는 판단부(600)를 통한 상기 대상체(100)의 상태 판단을 수행할 수 있다.
이 경우, 상태 판단의 대상이 되는 상기 대상체(100)의 이미지들 역시, 다양한 위치 또는 각도에 해당되는 복수의 프레임(frame) 상에서 촬영된 이미지들이다.
나아가, 도 3b를 참조하면, 상기 학습부(500)에서 3차원 CNN으로 학습을 수행하는 경우, 상기 촬영부(200)는 3차원 공간상의 다양한 위치 또는 각도에서 상기 대상체(100)에 대한 이미지(130)를 연속으로 촬영하게 되며, 이렇게 촬영된 연속 이미지들(130)을 통해 상기 학습부(500)는, 앞서 설명한 바와 같은 학습을 수행하여, 후술되는 판단부(600)를 통한 상기 대상체(100)의 상태 판단을 수행할 수 있다.
이 경우, 상태 판단의 대상이 되는 상기 대상체(100)의 이미지들 역시, 3차원 공간상의 다양한 위치 또는 각도에서 촬영된 이미지들이다.
이러한 복수의 프레임을 이용한 2차원 CNN 또는 3차원 CNN으로 학습을 수행하는 경우, 상기 학습부(500)는 상기 촬영된 이미지의 시간 또는 주파수에 대한 특징을 추출하여 학습을 수행하는 것으로, 촬영된 이미지들의 위치 또는 각도는 다양하게 가변되어도 무방하게 된다.
상기 판단부(600)는, 상기 학습부(500)에서의 학습된 결과를 이용하여, 상기 선행 분류부(410)를 통해 선택되어 제공된 상기 대상체(100)에 대한 연속 이미지들로부터 상기 대상체(100)의 상태를 판단하게 된다.
구체적으로, 상기 판단부(600)는 제1 판단부(610) 및 제2 판단부(620)를 포함하는데, 상기 제1 판단부(610)는 상기 고정된 위치 및 각도에서 연속 촬영된 상기 대상체(100)에 대한 이미지들을 바탕으로 상기 대상체(100)의 정상 상태 또는 비정상 상태를 판단하며, 상기 제2 판단부(620)는 상기 위치 또는 각도와 무관하게 시간에 따라 연속 촬영된 상기 대상체(100)에 대한 이미지들을 바탕으로 상기 대상체(100)의 정상 상태 또는 비정상 상태를 판단한다.
즉, 상기 학습부(500)가 2차원 CNN을 통해 학습하는 경우, 상기 제1 판단부(610)에서 상기 학습된 결과를 바탕으로, 상기 대상체(100)의 정상 상태 또는 비정상 상태를 판단하며, 상기 학습부(500)가 복수 프레임을 이용한 2차원 CNN 또는 3차원 CNN을 통해 학습하는 경우, 상기 제2 판단부(620)에서 상기 학습된 결과를 바탕으로, 상기 대상체(100)의 정상 상태 또는 비정상 상태를 판단한다.
물론, 본 실시예에서는, 상기 판단부(600)가 상기 제1 판단부(610) 및 제2 판단부(620)로 구분되어, 학습 방법에 따라 판단의 주체가 변경되는 것을 예시하여 설명하였으나, 상기 판단부(600)는 상기와 같이 구분되지 않고 하나의 판단부에서 학습 방법을 고려하여 상기 대상체(100)의 정상 상태 또는 비정상 상태를 판단할 수 있다.
한편, 본 실시예에서는, 상기 판단부(600)는 상기 학습부(500)와는 별개의 구성으로서, 상기 학습부(500)에서 학습된 결과를 바탕으로 상기 판단부(600)에서 상기 대상체(100)의 상태를 판단하는 것으로 설명하였으나, 상기 판단부(600)는 상기 학습부(500)와 일체로 형성되는 것으로, 상기 학습부(500)가 학습의 수행과 함께 제공되는 이미지들을 바탕으로 상기 대상체(100)의 상태를 판단하는 기능을 동시에 수행할 수도 있다.
도 7은 도 6a의 촬영된 이미지들에 대하여, 주파수를 분석한 예를 도시한 그래프들이고, 도 8은 도 7의 분석된 각각의 예에 대하여 도 1의 판단부에서 판단 결과를 도시한 그래프이다.
이는, 본 실시예에서의 상기 기계 진단시스템(10)을 통한 기계 진단의 정확성을 검증하기 위한 실험 결과에 대한 그래프들이다.
즉, 도 7 및 도 8은, 도 6a를 참조하여 설명한, 상기 대상체(100)가 펌프(102)와 같은 고정된 진동 구조물인 경우, 상기 펌프(102)의 진동 상태에 관하여 9개의 서로 다른 진동 상태에 대한 이미지들(이 경우, 이미지들은 고정된 위치 및 각도의 촬영부에서 촬영된 이미지들임)을 바탕으로 상기 학습부(500)에서 학습을 수행하고, 상기 판단부(600)에서 상기 펌프(102)의 진동 상태가 정상 상태인지 또는 비정상 상태인지의 여부를 판단한 결과를 도시한 것이다.
다만, 상기 판단부(600)에서의 판단의 정확성을 평가하기 위해, 상기 9개의 서로 다른 진동 상태에 대한 이미지들에 대하여 별도의 주파수 분석을 수행하였다.
즉, 도 7을 참조하면, 실제 상기 펌프(102)의 9가지의 서로 다른 진동 상태에 대한 주파수 분석의 결과, Case 1 및 Case 9 만이 소정의 범위, 즉 앞서 설명한 임계값의 범위 이내에 속하는 정상상태인 것으로 파악되었으며, 나머지 Case 2 내지 Case 8은 상기 임계값의 범위를 벗어나는 것으로 분석되었다.
이러한 주파수 분석 결과와, 본 실시예에 의한 기계 진단시스템(10)을 이용한 상기 펌프(102)의 진동 상태에 대한 학습 및 진동 상태에 대한 판단의 결과를, 비교하건대, 도 8에 도시된 바와 같이, 상기 판단부(600)에서는 Case 1 및 Case 2에 대하여는 정상 상태인 것으로 판단하였고, Case 2 내지 Case 8은 비정상 상태인 것으로 판단하였다.
이상과 같이, 상기 펌프(102)의 9가지의 서로 다른 진동 상태에 대한 이미지들을 바탕으로 상기 기계 진단시스템(10)에서는 주파수 분석의 결과와 동일하게 진동 상태에 대하여 판단을 수행하였다.
[표 1] 기계 진단시스템을 이용한 진단 정확도 수행 결과
Figure 112019041817814-pat00001
또한, 상기 [표 1]은 초당 프레임(frame per second, fps) 120이고, 1개의 이미지 데이터는 1080*1920*3인 이미지를 사용하여 학습 및 테스트를 수행한 결과이다.
상기 [표 1]을 통해 확인되는 바와 같이, 본 실시예의 상기 기계 진단시스템(10)을 이용하여 학습을 수행하고, 이를 바탕으로 펌프(102)와 같은 진동 구조물에 대한 진동 상태에 대한 진단을 수행하였을 때, 진동 상태가 정상 상태인지 비정상 상태인지의 여부에 대한 진단 정확도는 오차 없이 모두 100%임을 확인할 수 있다.
이하에서는, 도 1을 참조하여 설명한 기계 진단시스템(10)을 이용한 기계 진단 방법을 도면을 참조하여 설명한다. 또한, 이하에서 설명하는 기계 진단방법에서는, 상기 기계 진단시스템(10)의 각 구성요소들의 구성이나 기능은 실질적으로 동일하므로, 진단단계를 중심으로 설명하되, 기 설명된 동일한 구성요소의 구성이나 기능에 대하여는 중복되는 설명은 생략한다.
도 9는 도 1의 기계 진단시스템을 이용한 기계 진단방법을 도시한 흐름도이다.
도 9를 참조하면, 상기 기계 진단방법에서는, 우선, 상기 정보 입력부(300)에서 공간상의 특징에 대한 정보를 상기 촬영부(200)로 제공하여, 상기 촬영부(200)에서는 상기 공간상의 특징에 대한 정보를 입력받는다(단계 S10).
이 경우, 상기 공간상의 특징이란, 상기 촬영부(200)에서 촬영되는 상기 대상체(100)가 위치하는 공간상의 특징으로서, 상기 학습부(500)가 2차원 합성곱신경망으로 학습할 지, 또는 복수 프레임을 이용한 2차원 합성곱신경망으로 학습하거나 3차원 합성곱신경망으로 학습할 지에 대한 정보에 해당된다.
나아가, 실시예에 따라서는, 상기 정보 입력부(300)를 통해 상기 공간상의 특징에 대한 정보를 제공받지 않고, 상기 촬영부(200)가 촬영할 수 있는 상태, 즉 위치 및 각도가 고정된 상태에서만 촬영이 가능한지의 여부에 대한 정보를 역으로 상기 정보 입력부(300)로 제공할 수 있으며, 이렇게 제공된 공간상의 특징에 대한 정보는 상기 학습부(500)로 제공되어, 학습 수행 방법이 선택될 수 있음은 앞서 설명한 바와 같다.
이 후, 상기 촬영부(200)는 상기 대상체(100)에 대한 이미지를 연속으로 촬영한다(단계 S20).
이 경우, 상기 촬영부(200)는, 상기 학습부(500)가 2차원 합성곱신경망으로 학습하는 경우, 고정된 위치 및 각도에서 상기 대상체(100)를 촬영하여, 촬영된 이미지들을 상기 선택부(400)로 제공한다.
이와 달리, 상기 촬영부(200)는, 상기 학습부(500)가 2차원 합성곱신경망으로 학습하거나 3차원 합성곱신경망으로 학습하는 경우, 변화된 위치 또는 각도에서 상기 대상체(100)를 촬영하여, 촬영된 이미지들을 상기 선택부(400)로 제공한다.
이 후, 상기 선택부(400)의, 상기 판단기준 입력부(420)는 상기 대상체(100)의 판단 기준, 즉, 상기 대상체(100)의 진동 상태가 정상 상태에 해당되는지 또는 비정상 상태에 해당되는지에 대한 판단 기준을 제공 받는다(단계 S30).
이 경우, 상기 제공받는 판단 기준은, 사용자의 입력에 의해 결정될 수 있으며, 별도의 데이터 베이스를 통해 판단되어 제공될 수 있다.
또한, 상기 판단 기준은, 예를 들어, 상기 대상체(100)가 고정된 상태에서 진동하는 진동 구조물인 경우라면, 상기 진동 구조물의 진동 범위에 대한 임계값(threshold)일 수 있다.
이 후, 상기 선행 분류부(410)는, 상기 촬영부(200)로부터 제공되는 상기 대상체(100)에 대한 연속 촬영된 이미지들 중에서, 상기 학습부(500)에서 학습의 대상이 되는 소정 구간의 이미지들을 선택하여, 상기 학습부(500)로 제공한다(단계 S40).
이 경우, 상기 선택되는 구간은, 상기 학습부(500)에서 학습을 수행하기 위한 정보가 최소한으로 포함되도록 설정될 수 있으며, 상기 연속 촬영된 이미지들 중에서, 상기 선행 분류부(410)에서 선택된 소정 구간의 이미지들을 제외한, 다른 구간의 이미지들은, 상기 판단부(600)로 제공된다(단계 S60).
이와 달리, 상기 촬영부(200)에서는, 상기 학습부(500)에서의 학습을 수행하기 위한 연속 이미지들을, 별도로 촬영할 수 있으며, 이렇게 촬영된 연속 촬영 이미지들이 상기 학습부(500)로 제공될 수도 있다.
한편, 상기 촬영부(200)에서, 학습을 위한 이미지들을 별도로 촬영하여 학습부로 제공하는 경우라면, 상기 대상체(100)의 상태에 대한 판단을 위한 이미지들도 별도로 촬영되어, 상기 판단부(600)로 제공될 수 있다(단계 S60).
한편, 상기 학습부(500)에서는, 상기 학습의 대상이 되는 연속 촬영 이미지들을 바탕으로 상기 대상체(100)의 상태가 정상 상태인지 비정상 상태인지에 대한 학습을 수행한다(단계 S50).
이 경우, 상기 정상 상태 또는 비정상 상태의 학습의 기준은, 상기 판단기준 입력부(420)를 통해 입력된 판단 기준을 적용하게 된다.
상기 학습부(500)에서는, 2차원 합성곱신경망으로 학습을 수행할 수 있으며, 이와 달리, 복수 프레임을 이용한 2차원 합성곱신경망으로 학습하거나 3차원 합성곱신경망으로 학습을 수행할 수 있다.
이러한 학습부의 수행 방법은, 상기 촬영부(200)의 촬영이 고정된 위치 및 각도에서만 대상체에 대한 촬영을 수행할 수 있는가의 여부를 고려하여 선택될 수 있으며, 이와 달리, 상기 정보 입력부(300)를 통해 입력되는 상기 공간상의 특징에 대한 정보를 바탕으로 선택될 수도 있음은 앞서 설명한 바와 같다.
나아가, 상기 학습부(500)에서의, 합성곱신경망을 이용한 학습 수행 방법에 대하여도 앞서 설명한 바와 같다.
그리하여, 상기 학습부(500)에서, 상기 대상체(100)의 진동 상태 등에 대하여 정상 상태인지 비정상 상태인지에 대한 학습 수행이 완료되면, 상기 판단부(600)에서는, 상기 대상체(100)에 대한 연속 촬영 이미지들을 제공받고(단계 S60), 상기 공간상의 특징을 바탕으로, 상기 연속 촬영된 이미지들로부터 상기 대상체(100)의 정상 상태 또는 비정상 상태를 판단한다(단계 S70).
이 경우, 상기 판단부(600)는 제1 판단부(610) 및 제2 판단부(620)를 포함하여, 상기 제1 판단부(610)에서는, 상기 학습부(500)가 2차원 합성곱신경망으로 학습을 수행하는 경우에 대하여, 고정된 위치 및 각도에서 연속 촬영된 상기 대상체(100)에 대한 이미지들을 바탕으로 상기 대상체(100)의 정상 상태 또는 비정상 상태를 판단한다.
이와 달리, 상기 제2 판단부(620)에서는, 상기 학습부(500)가 복수 프레임을 이용한 2차원 합성곱신경망 또는 3차원 합성곱신경망으로 학습을 수행하는 경우에 대하여, 위치 또는 각도와 무관하게 시간에 따라 연속 촬영된 상기 대상체(100)에 대한 이미지들을 바탕으로 상기 대상체(100)의 정상 상태 또는 비정상 상태를 판단하게 된다.
이상과 같이, 상기 기계 진단방법을 통해서는, 고정된 상태에서 진동하는 펌프 등과 같은 진동 구조물에 대하여 연속 촬영되는 이미지의 원본을 바탕으로 상기 진동 구조물의 진동 상태에 대한 학습을 수행하고, 이를 바탕으로, 상기 진동 구조물이 정상 상태의 범위에서 진동하는지, 비정상 상태의 범위에서 진동하는지에 대한 판단을 수행할 수 있다.
상기와 같은 본 발명의 실시예들에 의하면, 움직이거나 진동하고 있는 기계 장치를 포함하는 동적 시스템에 대하여, 촬영부에 의해 촬영된 대상체에 대한 연속 촬영 이미지들에 대하여 별도의 영상 처리를 수행하지 않고, 원본 이미지들을 그대로 학습시켜 대상체의 상태, 즉 정상 상태 또는 비정상 상태에 대하여 판단을 수행할 수 있으므로, 상기 기계 장치를 포함하는 동적 시스템과 같은 대상체에 대한 진동을 빠르고 즉각적으로 처리할 수 있어, 상시 모니터링을 수행할 수 있으며, 사용성을 향상시킬 수 있다.
즉, 별도의 원본 영상 처리가 불필요하므로, CCTV와 같은 범용 이미지 촬영 장치를 통해서도 움직이거나 진동하고 있는 기계 장치를 포함하는 동적 시스템과 같은 대상체에 대한 정상 상태의 여부를 실시간으로 모니터링할 수 있다.
특히, 상기 학습을 합성곱신경망을 이용하여 수행하는 것으로, 고정된 상태에서 진동하는 진동 구조물에 대한 진동의 정상 상태 여부를 상기 신경망을 통해 학습을 수행하여 판단함으로써, 신경망 학습을 통한 진동 구조물의 진단을 정확하고 효과적으로 수행할 수 있다.
한편, 상기 신경망을 통한 학습은, 2차원 또는 3차원 학습으로 구분되어 수행될 수 있으며, 특히 3차원 학습(또는, 복수 프레임을 이용한 2차원 학습)을 수행하는 경우, 촬영부의 위치나 각도와 무관하게 촬영된 이미지 원본을 통해 진동의 정상 상태 여부를 학습하여 이를 판단할 수 있으므로, 실제 기계 진단에 있어 다양한 위치에 설치되거나 이동되는 CCTV 등의 카메라를 이용한 실시간 모니터링을 수행할 수 있다.
또한, 연속 촬영되는 이미지들 중에서, 소정 구간의 이미지들은 학습을 위해 선택되어 학습이 수행되고, 상기 구간을 제외한 나머지 구간의 이미지들에 대하여는 상기 대상체의 상태를 판단하기 위해 제공될 수 있으므로, 학습을 위한 별도의 이미지 데이터들이 제공되지 않더라도, 현재의 대상체의 상태에 대한 연속적인 촬영이미지들에 대하여 학습 및 판단을 수행할 수 있어, 기계 진단의 효율성이 향상되고 실시간 모니터링이 가능하게 된다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 기계 진단시스템 100 : 대상체
200 : 촬영부 300 : 정보 입력부
400 : 선택부 410 : 선행 분류부
420 : 판단기준 입력부 500 : 학습부
510 : 정상상태 학습부 520 : 비정상상태 학습부
600 : 판단부 610 : 제1 판단부
620 : 제2 판단부

Claims (12)

  1. 대상체에 대한 이미지를 연속으로 촬영하는 촬영부;
    상기 연속 촬영된 이미지들 중에서 학습의 대상이 되는 소정 구간의 이미지들을 선택하는 선행 분류부, 및 상기 대상체의 정상 상태 또는 비정상 상태에 대한 판단 기준을 제공하는 판단기준 입력부를 포함하는 선택부;
    상기 선택된 소정 구간의 이미지들에 대하여, 상기 판단 기준을 바탕으로 상기 대상체의 상태를 학습하는 학습부; 및
    상기 학습된 결과를 이용하여, 상기 연속 촬영된 이미지들로부터 상기 대상체의 상태를 판단하는 판단부를 포함하고,
    상기 대상체는 진동 구조물이며, 상기 대상체의 상태 판단 기준은 상기 진동 구조물의 진동 범위에 대한 임계값(threshold)으로 제공되는 것을 특징으로 하는 기계 진단시스템.
  2. 제1항에 있어서, 상기 학습부는,
    합성곱신경망(convolution neural network, CNN)을 이용하여 상기 대상체의 상태를 학습하는 것을 특징으로 하는 기계 진단시스템.
  3. 제2항에 있어서,
    상기 학습부가 2차원 합성곱신경망으로 학습할 지, 또는 복수 프레임을 이용한 2차원 합성곱신경망으로 학습하거나 3차원 합성곱신경망으로 학습할 지에 대한 정보를 상기 촬영부로 제공하는 정보 입력부를 더 포함하는 기계 진단시스템.
  4. 제3항에 있어서, 상기 촬영부는,
    상기 학습부가 2차원 합성곱신경망으로 학습하는 경우, 고정된 위치 및 각도에서 상기 대상체를 촬영하고,
    상기 학습부가 복수 프레임을 이용한 2차원 합성곱신경망으로 학습하거나 3차원 합성곱신경망으로 학습하는 경우, 변화된 위치 또는 각도에서 상기 대상체를 촬영하는 것을 특징으로 하는 기계 진단시스템.
  5. 제4항에 있어서, 상기 판단부는,
    상기 고정된 위치 및 각도에서 연속 촬영된 상기 대상체에 대한 이미지들을 바탕으로 상기 대상체의 정상 상태 또는 비정상 상태를 판단하는 제1 판단부; 및
    상기 위치 또는 각도와 무관하게 시간에 따라 연속 촬영된 상기 대상체에 대한 이미지들을 바탕으로 상기 대상체의 정상 상태 또는 비정상 상태를 판단하는 제2 판단부를 포함하는 것을 특징으로 하는 기계 진단시스템.
  6. 제1항에 있어서, 상기 진동 구조물은,
    고정된 상태에서 진동하는 것을 특징으로 하는 기계 진단시스템.
  7. 삭제
  8. 제6항에 있어서, 상기 학습부는,
    상기 대상체의 연속 촬영된 이미지들의 차이가 상기 임계값의 범위 내에 속하는지의 여부를 바탕으로, 상기 대상체의 상태를 학습하는 것을 특징으로 하는 기계 진단시스템.
  9. 제1항에 있어서,
    상기 선행 분류부는, 상기 연속 촬영된 이미지들 중에서 학습의 대상이 되는 소정 구간의 이미지들을 제외한 나머지 구간의 이미지들을 상기 판단부로 제공하고,
    상기 판단부는, 상기 나머지 구간의 이미지들로부터 상기 대상체의 상태를 판단하는 것을 특징으로 하는 기계 진단시스템.
  10. 대상체에 대한 이미지를 연속으로 촬영하는 단계;
    상기 대상체의 정상 상태 또는 비정상 상태에 대한 판단 기준을 제공받는 단계;
    상기 연속 촬영된 이미지들 중에서 학습의 대상이 되는 소정 구간의 이미지들을 선택하는 단계;
    상기 선택된 소정 구간의 이미지들에 대하여, 상기 판단 기준을 바탕으로 상기 대상체의 상태를 학습하는 단계; 및
    상기 학습된 결과를 이용하여, 상기 연속 촬영된 이미지들로부터 상기 대상체의 상태를 판단하는 단계를 포함하고,
    상기 대상체는 진동 구조물이며, 상기 대상체의 상태 판단 기준은 상기 진동 구조물의 진동 범위에 대한 임계값(threshold)으로 제공되는 것을 특징으로 하는 기계 진단방법.
  11. 제10항에 있어서, 상기 대상체에 대한 이미지를 촬영하는 단계 이전에,
    상기 촬영되는 공간상의 특징으로, 학습부가 2차원 합성곱신경망으로 학습할 지, 또는 복수 프레임을 이용한 2차원 합성곱신경망으로 학습하거나 3차원 합성곱신경망으로 학습할 지에 대한 정보를 입력받는 단계를 더 포함하는 기계 진단방법.
  12. 제11항에 있어서, 상기 대상체에 대한 이미지를 촬영하는 단계에서,
    상기 학습부가 2차원 합성곱신경망으로 학습하는 경우, 고정된 위치 및 각도에서 상기 대상체를 촬영하고,
    상기 학습부가 2차원 합성곱신경망으로 학습하거나 3차원 합성곱신경망으로 학습하는 경우, 변화된 위치 또는 각도에서 상기 대상체를 촬영하는 것을 특징으로 하는 기계 진단방법.
KR1020190047303A 2019-04-23 2019-04-23 영상 학습을 통한 기계 진단시스템 및 이를 이용한 기계 진단방법 KR102233109B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190047303A KR102233109B1 (ko) 2019-04-23 2019-04-23 영상 학습을 통한 기계 진단시스템 및 이를 이용한 기계 진단방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190047303A KR102233109B1 (ko) 2019-04-23 2019-04-23 영상 학습을 통한 기계 진단시스템 및 이를 이용한 기계 진단방법

Publications (2)

Publication Number Publication Date
KR20200128239A KR20200128239A (ko) 2020-11-12
KR102233109B1 true KR102233109B1 (ko) 2021-03-29

Family

ID=73398636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190047303A KR102233109B1 (ko) 2019-04-23 2019-04-23 영상 학습을 통한 기계 진단시스템 및 이를 이용한 기계 진단방법

Country Status (1)

Country Link
KR (1) KR102233109B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230094678A (ko) * 2021-12-21 2023-06-28 주식회사 포스코 모션 증폭 장치 및 이를 사용하는 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100199105B1 (ko) 1996-11-05 1999-06-15 이해규 학습기능을 구비한 회전체의 진동 진단장치
KR20150116086A (ko) * 2014-04-04 2015-10-15 아진산업(주) 비전 검사 장비의 진동 회피 이미지 획득 방법
KR20160093253A (ko) * 2015-01-29 2016-08-08 쿠도커뮤니케이션 주식회사 영상 기반 이상 흐름 감지 방법 및 그 시스템
KR101818394B1 (ko) 2017-05-11 2018-01-12 울산대학교 산학협력단 설비 상태 진단 방법 및 장치
KR102032459B1 (ko) * 2017-07-03 2019-10-15 한국철도기술연구원 전기철도차량 팬터그래프 모니터링 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
영상 증폭기술을 활용한 진동기반 고장진단 기술

Also Published As

Publication number Publication date
KR20200128239A (ko) 2020-11-12

Similar Documents

Publication Publication Date Title
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
JP6024658B2 (ja) 物体検出装置、物体検出方法及びプログラム
JP2008224626A5 (ko)
CN104101294B (zh) 分析装置、分析程序以及分析系统
JP6304244B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
JP7372017B2 (ja) 鋼材成分学習装置、鋼材成分推定装置、鋼種判定装置、鋼材成分学習方法、鋼材成分推定方法、鋼種判定方法、及びプログラム
KR101817583B1 (ko) 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법
JP6361775B2 (ja) 対象姿勢特定の方法および装置
CN110826522A (zh) 人体异常行为监控方法、系统、存储介质及监控设备
JP2017203701A (ja) 情報処理装置、計測システム、情報処理方法およびプログラム
JP2007052609A (ja) 手領域検出装置及び手領域検出方法、並びにプログラム
KR102233109B1 (ko) 영상 학습을 통한 기계 진단시스템 및 이를 이용한 기계 진단방법
JP2020087312A (ja) 行動認識装置、行動認識方法及びプログラム
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
JP2014126494A (ja) 検査支援装置、検査支援方法、ロボットシステム、制御装置、ロボット、及び、プログラム
CN113298045A (zh) 一种违章车辆的识别方法、系统及装置
JP7186128B2 (ja) 物品認識システムおよび物品認識方法
JP6715282B2 (ja) 品質監視システム
JP2018022247A5 (ko)
JP6805199B2 (ja) 設備監視システム
US11394870B2 (en) Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium
US20160044295A1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
JP2019139618A5 (ko)
WO2012105228A2 (en) Imaging apparatus and imaging condition setting method and program
WO2022158060A1 (ja) 加工面判定装置、加工面判定プログラム、加工面判定方法、加工システム、推論装置、及び、機械学習装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant