KR101830331B1 - 기계 이상 동작 검출 장치 및 방법 - Google Patents

기계 이상 동작 검출 장치 및 방법 Download PDF

Info

Publication number
KR101830331B1
KR101830331B1 KR1020160006082A KR20160006082A KR101830331B1 KR 101830331 B1 KR101830331 B1 KR 101830331B1 KR 1020160006082 A KR1020160006082 A KR 1020160006082A KR 20160006082 A KR20160006082 A KR 20160006082A KR 101830331 B1 KR101830331 B1 KR 101830331B1
Authority
KR
South Korea
Prior art keywords
period
image
feature
time
function
Prior art date
Application number
KR1020160006082A
Other languages
English (en)
Other versions
KR20170086350A (ko
Inventor
이재연
강상승
김계경
김재홍
김중배
신성웅
표지형
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160006082A priority Critical patent/KR101830331B1/ko
Publication of KR20170086350A publication Critical patent/KR20170086350A/ko
Application granted granted Critical
Publication of KR101830331B1 publication Critical patent/KR101830331B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G01M99/005—Testing of complete machines, e.g. washing-machines or mobile phones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

기계 이상 동작 검출 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 기계 이상 동작 검출 장치는 촬영된 기계의 동작 영상의 주기성을 분석하여 검출된 주기 특징을 동작 패턴 DB에 등록 주기 특징으로 저장하는 동작 패턴 등록부; 및 상기 등록 주기 특징과 상기 영상간의 특징량을 분석하여 이상 동작을 검출하는 이상 동작 검출부를 포함한다.

Description

기계 이상 동작 검출 장치 및 방법 {APPARATUS FOR DETECTING ABNORMAL OPERATION OF MACHINERY AND METHOD USING THE SAME}
본 발명은 자동화 된 생산 시스템에서 기계의 반복적인 동작 패턴을 분석하여 정상 동작 패턴을 등록한 후, 실제 기계가 작동되는 상황에서 정밀하게 이상 동작을 자동으로 검출하는 기술에 관한 것으로, 동작 패턴 분석 및 이상 동작 검출을 위하여 본 발명은 고정 카메라에서 촬영된 연속 영상을 분석하는 방법을 사용하고 있어, 영상 분석 및 모션 인식 분야의 기술에 관한 것이다.
자동화 된 생산 시스템은 일반적으로 상호 연관된 복잡한 기계 설비의 반복적인 작업을 통하여 생산활동을 수행한다. 따라서 정상적으로 작업이 진행되고 있는 경우, 기계 설비는 미리 정해진 움직임의 패턴이 지속적으로 반복된다. 그러나 기계 설비는 고장이나 혹은 다른 방해 요인 등으로 인하여 이와 같은 정상적인 동작이 중지되거나 모션 패턴의 변화가 발생되었을 경우에는 되도록 빨리 사용자가 개입하여 문제를 해결해야 한다.
이러한 문제 발생을 감시하기 위해서, 기계 설비의 동작을 감시하는 카메라가 생산 시스템 내에 설치된다. 설치된 카메라는 외부에 촬영된 영상을 전송하고 동작의 이상 여부를 사용자가 직접 감시하는 모니터링 시스템이 널리 활용되고 있다. 그러나 이러한 모니터링 시스템은 사용자가 영상을 지속적으로 보고 있어야 한다는 문제점이 있어 기계 설비의 이상 동작을 자동적으로 감시하는 기술이 개발되고 있다.
한편, 한국공개특허 제 10-2013-0111867 호의 "영상 감시 시스템 및 그의 동작 방법" 은 이벤트 확률 분석에 따라 영상을 감시하여 감시 영역에서 발생된 이벤트에 따른 위험상황을 판단하는 방법을 개시하고 있다.
그러나, 한국공개특허 제 10-2013-0111867 호는 위험 상황에 이르는 이벤트를 판단할 수 있을 뿐, 복잡한 기계 설비의 정밀한 이상 동작을 검출하는 방법에 대해서는 침묵하고 있다.
본 발명은 영상 분석을 이용하여 반복적인 작업을 수행하는 기계의 동작패턴을 분석하여, 정상 동작 패턴에서 벗어난 이상 동작 패턴의 발생을 자동적으로 검출하는 것을 목적으로 한다.
또한, 본 발명은 기계의 정상 동작 패턴을 학습하여 이상 동작 패턴의 검출 성능을 향상시키는 것을 목적으로 한다.
또한, 본 발명은 사용자의 지속적인 모니터링 없이 기계의 이상 동작 패턴을 자동적으로 검출하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 기계 이상 동작 검출 장치는 촬영된 기계의 동작 영상의 주기성을 분석하여 검출된 주기 특징을 동작 패턴 DB에 등록 주기 특징으로 저장하는 동작 패턴 등록부; 및 상기 등록 주기 특징과 상기 영상간의 특징량을 분석하여 이상 동작을 검출하는 이상 동작 검출부를 포함한다.
이 때, 동작 패턴 등록부는 상기 영상으로부터 복수개의 차분함수들을 산출하고, 상기 복수개의 차분 함수들 중 기설정된 역치값을 이용하여 차분 함수를 선정하고, 상기 차분 함수에 기반하여 자기 상관 함수(AUTO CORRELATION FUNCTION)를 이용하여 상기 영상의 주기를 산출할 수 있는 주기성 분석부; 및 상기 영상의 주기를 이용하여 한 주기 분의 상기 주기 특징을 검출하여 상기 등록 주기 특징으로 상기 동작 패턴 DB에 저장할 수 있는 주기 특징 검출부를 포함할 수 있다.
이 때, 상기 차분 함수는 상기 영상의 기준 프레임을 설정할 수 있고 상기 기준 프레임 이후에 존재하는 종속 프레임들의 화소들과 대응되는 상기 기준 프레임의 화소들의 밝기 차이의 절대값의 평균으로 정의할 수 있다.
이 때, 상기 주기 특징은 상기 주기, 상기 차분 함수, 상기 차분 함수에 상응하는 프레임의 어레이, 움직임 에너지 영상(MOTION ENERGY IMAGE, MEI)의 어레이 및 상기 움직임 에너지 영상의 불변 모멘트(INVARIANT MOMENT)의 어레이로 구성될 수 있다.
이 때, 상기 이상 동작 검출부는 상기 주기에 기반하여 상기 영상의 입력 시점부터 한 주기 분의 상기 주기 특징을 입력 주기 특징으로 생성하는 입력 주기 특징 생성부; 상기 등록 주기 특징의 차분 함수와 상기 입력 주기 특징의 차분 함수를 가장 유사도가 높게 정렬하여 특정 시점을 산출하는 시계열 위치 정합부; 상기 특정 시점에 기반하여 상기 등록 주기 특징과 상기 입력 주기 특징의 유사성을 움직임 에너지 영상의 동적 시간 정합(DYNAMIC TIME WARPING, DTW) 매칭, 트랙 매칭(TRACK MATCHING) 및 운동 강도(MOTION INTENSITY) 측정을 이용하여 상기 특징량으로 출력하는 프레임 매칭부 및 상기 특징량에 기반하여 기설정된 임계값을 이용하여 이상 동작을 판정하는 이상 동작 패턴 평가부를 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 기계 이상 동작 장치를 이용하는 방법에 있어서, 촬영된 기계의 동작 영상의 주기성을 분석하여 검출된 주기 특징을 동작 패턴 DB에 등록 주기 특징으로 저장하는 단계 및 상기 등록 주기 특징과 상기 영상간의 특징량을 분석하여 이상 동작을 검출하는 단계를 포함한다.
이 때, 상기 등록 주기 특징으로 저장하는 단계는 상기 영상으로부터 복수개의 차분 함수들을 생성하는 단계; 상기 복수개의 차분함수들 중 기설정된 역치값을 이용하여 차분 함수를 선정하는 단계; 상기 차분 함수에 기반하여 자기 상관 함수(AUTO CORRELATION FUNCTION)을 이용하여 상기 영상의 주기를 산출하는 단계; 상기 주기를 이용하여 한 주기 분의 상기 주기 특징을 검출하는 단계 및 상기 주기 특징을 상기 등록 주기 특징으로 상기 동작 패턴 DB에 저장하는 단계를 포함할 수 있다.
이 때, 상기 차분 함수는 상기 영상의 기준 프레임을 설정하고 상기 기준 프레임 이후에 존재하는 종속 프레임들의 화소들의 밝기 차이의 절대값의 평균으로 정의할 수 있다.
이 때, 상기 주기 특징은 상기 주기, 상기 차분 함수, 상기 차분 함수에 상응하는 프레임의 어레이, 움직임 에너지 영상(MOTION ENERGY IMAGE, MEI)의 어레이 및 상기 움직임 에너지 영상의 불변 모멘트(INVARIANT MOMENT)의 어레이로 구성될 수 있다.
이 때, 상기 이상 동작을 검출하는 단계는 상기 주기에 기반하여 상기 영상의 입력 시점부터 한 주기 분의 상기 주기 특징을 입력 주기 특징으로 생성하는 단계; 상기 등록 주기 특징의 차분 함수와 상기 입력 주기 특징의 차분 함수를 가장 유사도가 높게 정렬하여 특정 시점을 산출하는 단계; 상기 특정 시점에 기반하여 상기 등록 주기 특징과 상기 입력 주기 특징의 유사성을 움직임 에너지 영상의 동적 시간 정합(DYNAMIC TIME WARPING, DTW) 매칭, 트랙 매칭(TRACK MATCHING) 및 운동 강도(MOTION INTENSITY) 측정을 이용하여 상기 특징량으로 출력하는 단계 및 상기 특징량에 기반하여 기설정된 임계값을 이용하여 이상 동작을 판정하는 단계를 포함할 수 있다.
본 발명은 영상 분석을 이용하여 반복적인 작업을 수행하는 기계의 동작패턴을 분석하여, 정상 동작 패턴에서 벗어난 이상 동작 패턴의 발생을 자동적으로 검출할 수 있다.
또한, 본 발명은 기계의 정상 동작 패턴을 학습하여 이상 동작 패턴의 검출 성능을 향상시킬 수 있다.
또한, 본 발명은 사용자의 지속적인 모니터링 없이 기계의 이상 동작 패턴을 자동적으로 검출할 수 있다.
도 1은 본 발명의 일실시예에 따른 기계 이상 동작 검출 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 기계 이상 동작 검출 장치의 동작 패턴 등록부를 세부적으로 나타낸 블록도이다.
도 3은 도 1에 도시된 기계 이상 동작 검출 장치의 이상 동작 검출부를 세부적으로 나타낸 블록도이다.
도 4는 본 발명의 일실시예에 따른 차분 함수의 일 예를 나타낸 그래프이다.
도 5은 본 발명의 일실시예에 따른 차분 함수로부터 주기를 산출하는 방법의 일 예를 나타낸 그래프이다.
도 6은 본 발명의 일실시예에 따른 차분 함수를 이용한 시계열 위치 정합의 일 예를 나타낸 그래프이다.
도 7는 본 발명의 일실시예에 따른 특징량 분석의 일 예를 나타낸 그래프이다.
도 8은 본 발명의 일실시예에 따른 기계 이상 동작 검출 방법의 동작 흐름도 이다.
도 9는 도 8에 주기 특징 저장 단계를 세부적으로 나타낸 동작 흐름도이다.
도 10는 도 8에 이상 동작 검출 단계를 세부적으로 나타낸 동작 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 기계 이상 동작 검출 장치를 나타낸 블록도이다.
도 1을 참조하면, 기계 이상 동작 검출 장치(100)는 동작 패턴 등록부(110) 및 이상 동작 검출부(120)을 포함한다.
이 때, 기계 이상 동작 검출 장치(100)는 카메라(10)으로부터 영상을 수신할 수 있다.
카메라(10)는 공장 내의 작업 영역의 기계의 동작 영상을 촬영할 수 있다.
카메라(10)는 기계의 동작 영상을 기계 이상 동작 검출 장치(100)로 전송할 수 있다.
전처리부(20)는 영상의 잡음 제거를 위해 영상을 필터링 할 수 있다.
이 때, 전처리부(20)는 필요 이상으로 영상의 해상도가 높은 경우, 다운 샘플링 하는 작업을 할 수 있다.
이 때, 전처리부(20)는 사용자가 특별히 흥미 영역(REGION OF INTEREST, ROI)을 지정한 경우, 전체 영상에서 필요한 영역을 잘라낼 수 있다.
즉, 전처리부(20)는 다양한 영상 가공 작업을 수행할 수 있다.
이 때, 전처리부(20)는 가공된 영상을 기계 이상 동작 검출 장치(100)로 전송할 수 있다.
이 때, 기계 이상 동작 검출 장치(100)는 전처리부(20)으로부터 가공된 영상을 수신할 수 있다.
동작 패턴 등록부(110)는 카메라(10)로부터 영상을 수신할 수 있다.
동작 패턴 등록부(110)는 전처리부(20)로부터 가공된 영상을 수신할 수 있다.
이 때, 동작 패턴 등록부(110)는 영상의 주기성을 분석할 수 있다.
이 때, 동작 패턴 등록부(110)는 주기성 분석으로 주기 특징을 검출할 수 있다.
이 때, 동작 패턴 등록부(110)는 검출된 주기 특징을 동작 패턴 DB에 등록 주기 특징으로 저장할 수 있다.
즉, 동작 패턴 등록부(110)는 등록 주기 특징을 저장하는 것으로 기계의 정상적인 동작을 학습할 수 있다.
동작 패턴 등록부(110)는 주기성 분석부(111) 및 주기 특징 검출부(112)를 포함할 수 있다.
주기성 분석부(111)는 촬영된 기계의 동작 영상의 주기성을 분석할 수 있다.
주기성 분석부(111)는 수신한 영상의 특정 시점을 기준 프레임으로 할 수 있다.
이 때, 주기성 분석부(111)는 기준 프레임 이후 수신한 연속적인 종속 프레임들과의 차분 함수를 구할 수 있다.
이 때, 차분 함수는 수학식 1로 산출될 수 있다.
Figure 112016005510473-pat00001
(x는 x좌표, y는 y좌표, Is(x,y)는 기준 프레임의 특정 화소의 밝기, In(x,y)는 n번째 종속 프레임의 특정 화소의 밝기, w는 영상의 width, h는 영상의 height)
즉, 차분 함수는 기준 프레임 화소의 밝기와 연속적인 종속 프레임들의 화소의 밝기 차이의 절대값의 평균으로 산출될 수 있다.
이 때, 차분 함수는 비교적 큰 값이 유지되다가 한 주기가 종료 되었을 때, 기준 프레임과 동일한 종속 프레임이 재수신 되면서 매우 작은 값을 가지게 될 수 있다.
즉, 차분 함수는 기준 프레임과 종속 프레임이 상이할수록 큰 출력이 생성될 수 있다.
즉, 차분 함수는 기준 프레임과 종속 프레임이 유사할 수록 적은 출력이 생성될 수 있다.
따라서, 기계의 동작 주기는 차분 함수의 주기를 이용하여 산출될 수 있다.
이 때, 주기성 분석부(111)는 복수개의 차분 함수들을 산출할 수 있다.
즉, 주기성 분석부(111)는 기준 프레임 Is의 차분 함수 Ds(n) 을 구하는 것 외에도 Is+N을 기준으로 한 Ds +N(n), Is+2N을 기준으로 한 Ds +2N(n) 등, Is+ iN 인 복수개의 기준 프레임과 Ds + iN(n) 인 복수의 차분함수를 동시에 구할 수 있다.
여기서, 복수개의 차분 함수를 산출하는 것에 있어서, N은 기준 프레임을 선정하는 간격일 수 있다.
이 때, N은 작을수록 우수한 차분 함수를 생성할 가능성이 높아질 수 있다.
하지만, N은 작을수록 처리 시간이 길어질 수 있다.
따라서, N은 예상되는 주기를 고려하여 적절한 값이 선택될 수 있다.
이 때, 주기성 분석부(111)는 복수개의 차분 함수들 중에서 가장 명확하게 주기 검출이 가능한 차분 함수를 선정할 수 있다.
이 때, 차분 함수의 선정은 Ds + iN(n)의 최소값이 기설정된 역치보다 작은 구간이 짧은 경우 선정 될 수 있다.
따라서, 주기성 분석부(111)는 복수개의 차분 함수들 중 차분 함수를 선정하는 것으로 영상의 잡음의 영향을 감소 시킬 수 있다.
이어서, 주기성 분석부(111)는 선정된 차분 함수의 자기 상관 함수(AUTO CORRELATION FUNCTION)를 산출할 수 있다.
자기 상관 함수는 자기 자신의 신호와 자기 자신의 신호를 시간 축 상으로 천이시켰을 때 상관성(유사성) 정도를 표현하는 척도일 수 있다.
이 때, 자기 상관 함수는 수학식 2로 나타낼 수 있다.
Figure 112016005510473-pat00002
(t는 시간, τ는 시간지연, T는 표본추출시간 또는 신호지속시간)
즉, 자기 상관 함수는 시간 t에서 신호값 x(t)와 τ만큼 시간지연이 있을 때, 시간 t+τ에서 신호값 x(t+τ)와의 곱에 대한 평균(AVERAGE)으로 정의 될 수 있다.
여기서, 자기상관은 신호가 에르고딕(ERGODIC)인 경우에도 적용될 수 있다.
이 때, 자기 상관 함수는 항상 실수값을 갖는 우함수(EVEN FUNCTION)일 수 있다.
즉, 자기 상관 함수는 자기 자신의 신호와 시간 지연된 신호가 유사할 수록 큰 출력값이 생성될 수 있다.
자기 상관 함수는 자기 자신의 신호와 시간 지연된 신호가 상이할 수록 작은 출력값이 생성될 수 있다.
즉, 주기성 분석부(111)는 차분 함수의 출력값이 극소점인 시점과 자기 상관 함수의 극대점인 시점이 처음으로 일치하는 시점으로 주기를 산출할 수 있다.
주기 특징 검출부(112)는 산출된 주기를 이용하여 한 주기 분의 주기 특징을 검출할 수 있다.
주기 특징은 산출된 주기, 선정된 차분 함수, 선정된 차분 함수의 프레임의 어레이, 움직임 에너지 영상(MOTION ENERGY IMAGE, MEI)의 어레이, 움직임 에너지 영상의 불변 모멘트(INVARIANT MOMENT)의 어레이 등으로 구성될 수 있다.
움직임 에너지 영상은 기준 프레임과 연속적인 종속 프레임의 이치 영상(BINARY IMAGE)으로 추출 될 수 있다.
이 때, 움직임 에너지 영상은 특정 영상의 기준 프레임과 종속 프레임 간의 상이한 화소는 백색 화소로 표현될 수 있다.
이 때, 움직임 에너지 영상은 특정 영상의 기준 프레임과 종속 프레임 간의 동일한 화소는 흑색 화소로 표현될 수 있다.
이 때, 움직임 에너지 영상은 흑색 화소는 0(또는 1), 백색 화소는 1(또는 0)의 이진값으로 대응시킬 수 있다.
불변 모멘트는 특정 축을 기준으로 한 값들의 분포를 나타낸 척도일 수 있다.
불변 모멘트는 이치 영상을 이용하여 화소의 분포를 기술하는데 사용될 수 있다.
불변 모멘트는 영상의 이동, 회전, 크기 변화에 강인할 수 있다.
이 때, 불변 모멘트는 패턴 인식이나 패턴 해석에서 모양 인식과 식별을 위한 특징으로 사용될 수 있다.
이 때, 불변 모멘트는 수학식 3으로 나타낼 수 있다.
Figure 112016005510473-pat00003
(f(x,y)는 이치 영상의 함수, x는 x축 화소의 좌표, y는 y축 화소의 좌표, p는 x의 차수, q는 y의 차수, p와 q는 0 보다 같거나 큰 정수, N은 Y축 화소의 크기, M은 X축 화소의 크기)
이 때, 불변 모멘트는 (p+q)차수 모멘트로 정의될 수 있다.
이 때, 불변 모멘트는 스칼라 양일 수 있다.
이 때, 불변 모멘트는 영상의 무게 중심을 고려하는 중심 모멘트(CENTRAL MOMENT)가 사용될 수 있다.
즉, 불변 모멘트는 영상 전체의 화소의 이진값과 위치값으로 고유한 값을 획득해 다른 영상과 구별될 수 있다.
또한, 불변 모멘트는 처리 속도 및 정확성을 개선하기 위해 향상된 불변 모멘트 기법이 사용 될 수도 있다.
향상된 불변 모멘트기법은 HU-불변 모멘트 등이 사용 될 수 있다.
주기 특징 검출부(112)는 검출된 한 주기 분의 주기 특징을 동작 패턴 DB(30)에 저장할 수 있다.
이상 동작 검출부(120)는 카메라(10)로부터 영상을 수신할 수 있다.
이상 동작 검출부(120)는 전처리부(20)로부터 가공된 영상을 수신할 수 있다.
이상 동작 검출부(120)는 동작 패턴 DB(30)로부터 등록 주기 특징을 수신할 수 있다.
이상 동작 검출부(120)는 입력 주기 특징 생성부(121), 시계열 위치 정합부(122), 프레임 매칭부(123) 및 이상 동작 패턴 평가부(124)를 포함할 수 있다.
입력 주기 특징 생성부(121)는 수신한 등록 주기 특징과 수신한 영상의 입력 시점부터 한 주기 분의 주기 특징을 입력 주기 특징으로 생성할 수 있다.
입력 주기 특징은 등록 주기 특징에 저장된 주기, 등록 주기 특징에 저장된 차분 함수, 차분 함수에 기반한 수신한 영상의 프레임의 어레이, 수신한 영상의 움직임 영상 에너지의 어레이, 수신한 영상의 움직임 영상 에너지의 불변 모멘트의 어레이 등으로 구성될 수 있다.
이 때, 수신한 영상의 프레임의 어레이는 한 주기 분이 넘어가면 오래된 프레임부터 지워질 수 있다.
이 때, 수신한 영상의 프레임의 어레이는 수신 지연을 고려하여 한 주기 분보다 더 많은 프레임이 저장될 수 있다.
시계열 위치 정합부(122)는 수신한 등록 주기 특징과 입력 주기 특징의 가장 유사한 특정 시점을 산출할 수 있다.
시계열 위치 정합부(122)는 등록 주기 특징의 차분 함수의 원점에 입력 주기 특징의 차분 함수의 극소점을 정렬시킬 수 있다.
즉, 시계열 위치 정합부(122)는 입력 주기 특징의 차분 함수의 현재 시점을 이용하여 등록 주기 특징의 차분 함수에 특정 시점을 산출 할 수 있다.
프레임 매칭부(123)는 산출된 특정 시점에 기반하여 입력 주기 특징과 등록 주기 특징의 유사도를 산출 할 수 있다.
프레임 매칭부(123)는 유사도를 산출하기 위하여 특징량을 분석할 수 있다.
특징량은 움직임 에너지 영상의 동적 시간 정합(DYNAMIC TIME WARPING, DTW), 트랙 매칭(TRACK MATCHING) 및 운동 강도(MOTION INTENSITY) 측정 등일 수 있다.
동적 시간 정합은 시간에 따라 변화하는 길이가 서로 다른 두 동적 패턴 사이의 유사도를 산출할 수 있다.
동적 시간 정합은 음성 인식, 제스처 인식, 서명 인식 등의 시계열 패턴을 분석하는데 많은 분야에서 사용 될 수 있다.
따라서, 동적 시간 정합은 설비의 작업의 종류에 따라서 동작 시퀀스가 시간적인 변동이 있는 경우에도 유사도를 산출할 수 있다.
동적 시간 정합은 시계열 정합부(122)에서 구한 특정 시점을 이용하여 등록 주기 특징의 불변 모멘트에 정렬한 후 수행할 수 있다.
이 때, 동적 시간 정합은 불변 모멘트를 이용하여 처리 시간을 감소시킬 수 있다.
트랙 매칭은 입력 주기 특징의 프레임과 등록 주기 특징과 대응되는 프레임의 차이를 검출할 수 있다.
이 때, 트랙 매칭은 시계열 정합부(122)에서 구한 특정 시점을 이용하여 입력 주기 특징의 현재 시점의 프레임과 등록 주기 특징의 특정 시점의 프레임간의 차분 함수를 구할 수 있다.
이 때, 트랙 매칭은 샘플링 주파수 등의 작은 차이를 고려하기 위하여 특정 시점을 중심으로 일정한 범위의 프레임의 차분 함수를 비교할 수 있다.
이 때, 트랙 매칭은 수학식 4로 트랙 차이(TRACK DIFFERENCE)를 결정할 수 있다.
Figure 112016005510473-pat00004
(DRx(i)는 입력 주기 특징의 현재 시점의 프레임과 등록 주기 특징의 특정 시점의 프레임의 차분 함수, k는 특정 시점, x는 특정 범위, δ는 특정 범위의 변동량)
즉, 트랙 매칭은 수학식 4를 이용하여 특정 시점을 중심으로 일정한 범위의 차분 함수를 추가적으로 구할 수 있다.
즉, 트랙 매칭은 수학식 4를 이용하여 차분 함수의 최소값을 트랙 차이로 결정할 수 있다.
운동 강도 측정은 기계의 동작이 갑작스럽게 정지하는 현상을 추정할 수 있다.
운동 강도 측정은 시계열 정합부(122)에서 구한 특정 시점을 이용하여 입력 주기 특징의 프레임과 등록 주기 특징의 프레임이 특정 시간 까지 차분 함수를 비교할 수 있다.
운동 강도 측정은 비교된 차분 함수 값이 기설정된 역치보다 낮은 상태가 일정시간 지속되는 경우, 기계가 정지한 것으로 추정할 수 있다.
이 때, 프레임 매칭부(123)는 분석된 3가지 특징량을 출력할 수 있다.
이상 동작 패턴 평가부(124)는 3가지 특징량을 수신할 수 있다.
이 때, 이상 동작 패턴 평가부(124)는 3가지 특징량을 기설정된 임계값을 이용하여 기계의 이상 동작을 판정할 수 있다.
기설정된 임계값은 특징량의 판단 범위 일 수 있다.
특징량의 판단 범위는 사용자에 의해 조절 될 수 있다.
즉, 사용자는 위의 3가지 특징량의 판단 범위를 조정하여 원하는 수준의 이상 동작 검출을 수행할 수 있다.
도 2는 도 1에 도시된 기계 이상 동작 검출 장치의 동작 패턴 등록부를 세부적으로 나타낸 블록도이다.
도 2를 참조하면, 동작 패턴 등록부(110)는 카메라(10)로부터 영상을 수신할 수 있다.
동작 패턴 등록부(110)는 전처리부(20)로부터 가공된 영상을 수신할 수 있다.
이 때, 동작 패턴 등록부(110)는 영상의 주기성을 분석할 수 있다.
이 때, 동작 패턴 등록부(110)는 주기성 분석으로 주기 특징을 검출할 수 있다.
이 때, 동작 패턴 등록부(110)는 검출된 주기 특징을 동작 패턴 DB에 등록 주기특징으로 저장할 수 있다.
즉, 동작 패턴 등록부(110)는 등록 주기 특징을 저장하는 것으로 기계의 정상적인 동작을 학습할 수 있다.
동작 패턴 등록부(110)는 주기성 분석부(111) 및 주기 특징 검출부(112)를 포함할 수 있다.
주기성 분석부(111)는 촬영된 기계의 동작 영상의 주기성을 분석할 수 있다.
주기성 분석부(111)는 수신한 영상의 특정 시점을 기준 프레임으로 할 수 있다.
이 때, 주기성 분석부(111)는 기준 프레임 이후 수신한 연속적인 종속 프레임들과의 차분 함수를 구할 수 있다.
이 때, 차분 함수는 수학식 1로 산출될 수 있다.
즉, 차분 함수는 기준 프레임 화소의 밝기와 연속적인 종속 프레임들의 화소의 밝기 차이의 절대값의 평균으로 산출될 수 있다.
이 때, 차분 함수는 비교적 큰 값이 유지되다가 한 주기가 종료 되었을 때, 기준 프레임과 동일한 종속 프레임이 재수신 되면서 매우 작은 값을 가지게 될 수 있다.
즉, 차분 함수는 기준 프레임과 종속 프레임이 상이할수록 큰 출력이 생성될 수 있다.
즉, 차분 함수는 기준 프레임과 종속 프레임이 유사할 수록 적은 출력이 생성될 수 있다.
따라서, 기계의 동작 주기는 차분 함수의 주기를 이용하여 산출될 수 있다.
이 때, 주기성 분석부(111)는 복수개의 차분 함수들을 산출할 수 있다.
즉, 주기성 분석부(111)는 기준 프레임 Is의 차분 함수 Ds(n) 을 구하는 것 외에도 Is+N을 기준으로 한 Ds +N(n), Is+2N을 기준으로 한 Ds +2N(n) 등, Is+ iN 인 복수개의 기준 프레임과 Ds + iN(n) 인 복수의 차분함수를 동시에 구할 수 있다.
여기서, 복수개의 차분 함수를 산출하는 것에 있어서, N은 기준 프레임을 선정하는 간격일 수 있다.
이 때, N은 작을수록 우수한 차분 함수를 생성할 가능성이 높아질 수 있다.
하지만, N은 작을수록 처리 시간이 길어질 수 있다.
따라서, N은 예상되는 주기를 고려하여 적절한 값이 선택될 수 있다.
이 때, 주기성 분석부(111)는 복수개의 차분 함수들 중에서 가장 명확하게 주기 검출이 가능한 차분 함수를 선정할 수 있다.
이 때, 차분 함수의 선정은 Ds + iN(n)의 최소값이 기설정된 역치보다 작은 구간이 짧은 경우 선정 될 수 있다.
따라서, 주기성 분석부(111)는 복수개의 차분 함수들 중 차분 함수를 선정하는 것으로 영상의 잡음의 영향을 감소 시킬 수 있다.
이어서, 주기성 분석부(111)는 선정된 차분 함수의 자기 상관 함수(AUTO CORRELATION FUNCTION)를 산출할 수 있다.
자기 상관 함수는 자기 자신의 신호와 자기 자신의 신호를 시간 축 상으로 천이시켰을 때 상관성(유사성) 정도를 표현하는 척도일 수 있다.
이 때, 자기 상관 함수는 수학식 2로 나타낼 수 있다.
즉, 자기 상관 함수는 시간 t에서 신호값 x(t)와 τ만큼 시간지연이 있을 때, 시간 t+τ에서 신호값 x(t+τ)와의 곱에 대한 평균(AVERAGE)으로 정의 될 수 있다.
여기서, 자기상관은 신호가 에르고딕(ERGODIC)인 경우에도 적용될 수 있다.
이 때, 자기 상관 함수는 항상 실수값을 갖는 우함수(EVEN FUNCTION)일 수 있다.
즉, 자기 상관 함수는 자기 자신의 신호와 시간 지연된 신호가 유사할 수록 큰 출력값이 생성될 수 있다.
자기 상관 함수는 자기 자신의 신호와 시간 지연된 신호가 상이할 수록 작은 출력값이 생성될 수 있다.
즉, 주기성 분석부(111)는 차분 함수의 출력값이 극소점인 시점과 자기 상관 함수의 극대점인 시점이 처음으로 일치하는 시점으로 주기를 산출할 수 있다.
주기 특징 검출부(112)는 산출된 주기를 이용하여 한 주기 분의 주기 특징을 검출할 수 있다.
주기 특징은 산출된 주기, 선정된 차분 함수, 선정된 차분 함수의 프레임의 어레이, 움직임 에너지 영상(MOTION ENERGY IMAGE, MEI)의 어레이, 움직임 에너지 영상의 불변 모멘트(INVARIANT MOMENT)의 어레이 등으로 구성될 수 있다.
움직임 에너지 영상은 기준 프레임과 연속적인 종속 프레임의 이치 영상(BINARY IMAGE)으로 추출 될 수 있다.
이 때, 움직임 에너지 영상은 특정 영상의 기준 프레임과 종속 프레임 간의 상이한 화소는 백색 화소로 표현될 수 있다.
이 때, 움직임 에너지 영상은 특정 영상의 기준 프레임과 종속 프레임 간의 동일한 화소는 흑색 화소로 표현될 수 있다.
이 때, 움직임 에너지 영상은 흑색 화소는 0(또는 1), 백색 화소는 1(또는 0)의 이진값으로 대응시킬 수 있다.
불변 모멘트는 특정 축을 기준으로 한 값들의 분포를 나타낸 척도일 수 있다.
불변 모멘트는 이치 영상을 이용하여 화소의 분포를 기술하는데 사용될 수 있다.
불변 모멘트는 영상의 이동, 회전, 크기 변화에 강인할 수 있다.
이 때, 불변 모멘트는 패턴 인식이나 패턴 해석에서 모양 인식과 식별을 위한 특징으로 사용될 수 있다.
이 때, 불변 모멘트는 수학식 3으로 나타낼 수 있다.
이 때, 불변 모멘트는 (p+q)차수 모멘트로 정의될 수 있다.
이 때, 불변 모멘트는 스칼라 양일 수 있다.
이 때, 불변 모멘트는 영상의 무게 중심을 고려하는 중심 모멘트(CENTRAL MOMENT)가 사용될 수 있다.
즉, 불변 모멘트는 영상 전체의 화소의 이진값과 위치값으로 고유한 값을 획득해 다른 영상과 구별될 수 있다.
또한, 불변 모멘트는 처리 속도 및 정확성을 개선하기 위해 향상된 불변 모멘트 기법이 사용 될 수도 있다.
향상된 불변 모멘트기법은 HU-불변 모멘트 등이 사용 될 수 있다.
주기 특징 검출부(112)는 검출된 한 주기 분의 주기 특징을 동작 패턴 DB(30)에 저장할 수 있다.
도 3은 도 1에 도시된 기계 이상 동작 검출 장치의 이상 동작 검출부를 세부적으로 나타낸 블록도이다.
도 3을 참조하면, 이상 동작 검출부(120)는 카메라(10)로부터 영상을 수신할 수 있다.
이상 동작 검출부(120)는 전처리부(20)로부터 가공된 영상을 수신할 수 있다.
이상 동작 검출부(120)는 동작 패턴 DB(30)로부터 등록 주기 특징을 수신할 수 있다.
이상 동작 검출부(120)는 입력 주기 특징 생성부(121), 시계열 위치 정합부(122), 프레임 매칭부(123) 및 이상 동작 패턴 평가부(124)를 포함할 수 있다.
입력 주기 특징 생성부(121)는 수신한 등록 주기 특징과 수신한 영상의 입력 시점부터 한 주기 분의 주기 특징을 입력 주기 특징으로 생성할 수 있다.
입력 주기 특징은 등록 주기 특징에 저장된 주기, 등록 주기 특징에 저장된 차분 함수, 차분 함수에 기반한 수신한 영상의 프레임의 어레이, 수신한 영상의 움직임 영상 에너지의 어레이, 수신한 영상의 움직임 영상 에너지의 불변 모멘트의 어레이 등으로 구성될 수 있다.
이 때, 수신한 영상의 프레임의 어레이는 한 주기 분이 넘어가면 오래된 프레임부터 지워질 수 있다.
이 때, 수신한 영상의 프레임의 어레이는 수신 지연을 고려하여 한 주기 분 보다 더 많은 프레임이 저장될 수 있다.
시계열 위치 정합부(122)는 수신한 등록 주기 특징과 입력 주기 특징의 가장 유사한 특정 시점을 산출할 수 있다.
시계열 위치 정합부(122)는 등록 주기 특징의 차분 함수의 원점에 입력 주기 특징의 차분 함수의 극소점을 정렬시킬 수 있다.
즉, 시계열 위치 정합부(122)는 입력 주기 특징의 차분 함수의 현재 시점을 이용하여 등록 주기 특징의 차분 함수에 특정 시점을 산출 할 수 있다.
프레임 매칭부(123)는 산출된 특정 시점에 기반하여 입력 주기 특징과 등록 주기 특징의 유사도를 산출 할 수 있다.
프레임 매칭부(123)는 유사도를 산출하기 위하여 특징량을 분석할 수 있다.
특징량은 움직임 에너지 영상의 동적 시간 정합(DYNAMIC TIME WARPING, DTW), 트랙 매칭(TRACK MATCHING) 및 운동 강도(MOTION INTENSITY) 측정 등일 수 있다.
동적 시간 정합은 시간에 따라 변화하는 길이가 서로 다른 두 동적 패턴 사이의 유사도를 산출할 수 있다.
동적 시간 정합은 음성 인식, 제스처 인식, 서명 인식 등의 시계열 패턴을 분석하는데 많은 분야에서 사용 될 수 있다.
따라서, 동적 시간 정합은 설비의 작업의 종류에 따라서 동작 시퀀스가 시간적인 변동이 있는 경우에도 유사도를 산출할 수 있다.
동적 시간 정합은 시계열 정합부(122)에서 구한 특정 시점을 이용하여 등록 주기 특징의 불변 모멘트에 정렬한 후 수행할 수 있다.
이 때, 동적 시간 정합은 불변 모멘트를 이용하여 처리 시간을 감소시킬 수 있다.
트랙 매칭은 입력 주기 특징의 프레임과 등록 주기 특징과 대응되는 프레임의 차이를 검출할 수 있다.
이 때, 트랙 매칭은 시계열 정합부(122)에서 구한 특정 시점을 이용하여 입력 주기 특징의 현재 시점의 프레임과 등록 주기 특징의 특정 시점의 프레임간의 차분 함수를 구할 수 있다.
이 때, 트랙 매칭은 샘플링 주파수 등의 작은 차이를 고려하기 위하여 특정 시점을 중심으로 일정한 범위의 프레임의 차분 함수를 비교할 수 있다.
이 때, 트랙 매칭은 수학식 4로 트랙 차이(TRACK DIFFERENCE)를 결정할 수 있다.
즉, 트랙 매칭은 수학식 4를 이용하여 특정 시점을 중심으로 일정한 범위의 차분 함수를 추가적으로 구할 수 있다.
즉, 트랙 매칭은 수학식 4를 이용하여 차분 함수의 최소값을 트랙 차이로 결정할 수 있다.
운동 강도 측정은 기계의 동작이 갑작스럽게 정지하는 현상을 추정할 수 있다.
운동 강도 측정은 시계열 정합부(122)에서 구한 특정 시점을 이용하여 입력 주기 특징의 프레임과 등록 주기 특징의 프레임이 특정 시간 까지 차분 함수를 비교할 수 있다.
운동 강도 측정은 비교된 차분 함수 값이 기설정된 역치보다 낮은 상태가 일정시간 지속되는 경우, 기계가 정지한 것으로 추정할 수 있다.
이 때, 프레임 매칭부(123)는 분석된 3가지 특징량을 출력할 수 있다.
이상 동작 패턴 평가부(124)는 3가지 특징량을 수신할 수 있다.
이 때, 이상 동작 패턴 평가부(124)는 3가지 특징량을 기설정된 임계값을 이용하여 기계의 이상 동작을 판정할 수 있다.
기설정된 임계값은 사용자에 의해 조절 될 수 있다.
도 4는 본 발명의 일실시예에 따른 차분 함수의 일 예를 나타낸 그래프이다.
도 4를 참조하면, 차분 함수는 수학식 1의 일 예를 나타낸 것이다.
차분 함수는 기준 프레임 화소의 밝기와 연속적인 종속 프레임들의 화소의 밝기 차이의 절대값의 평균으로 산출될 수 있다.
차분 함수의 X축은 종속 프레임의 n번째 항일 수 있다.
차분 함수의 Y축은 차분 함수의 크기일 수 있다.
이 때, 차분 함수는 비교적 큰 값이 유지되다가 한 주기가 종료 되었을 때, 기준 프레임과 동일한 종속 프레임이 재수신 되면서 매우 작은 값을 가지게 될 수 있다.
즉, 차분 함수는 기준 프레임과 종속 프레임이 상이할수록 큰 출력이 생성될 수 있다.
즉, 차분 함수는 기준 프레임과 종속 프레임이 유사할 수록 적은 출력이 생성될 수 있다.
따라서, 기계의 동작 주기는 차분 함수의 주기를 이용하여 산출될 수 있다.
도 5은 본 발명의 일실시예에 따른 차분 함수로부터 주기를 산출하는 방법의 일 예를 나타낸 그래프이다.
도 5를 참조하면, 차분 함수 그래프와 자기 상관 함수의 그래프가 비교되는 것을 볼 수 있다.
차분 함수는 비교적 큰 값이 유지되다가 한 주기가 종료 되었을 때, 기준 프레임과 동일한 종속 프레임이 재수신 되면서 매우 작은 값을 가지게 될 수 있다.
즉, 차분 함수는 기준 프레임과 종속 프레임이 상이할수록 큰 출력이 생성될 수 있다.
즉, 차분 함수는 기준 프레임과 종속 프레임이 유사할 수록 적은 출력이 생성될 수 있다.
자기 상관 함수는 자기 자신의 신호와 자기 자신의 신호를 시간 축 상으로 천이시켰을 때 상관성(유사성) 정도를 표현하는 척도일 수 있다.
이 때, 자기 상관 함수는 수학식 2로 나타낼 수 있다.
여기서, 자기상관은 신호가 에르고딕(ERGODIC)인 경우에도 적용될 수 있다.
이 때, 자기 상관 함수는 항상 실수값을 갖는 우함수(EVEN FUNCTION)일 수 있다.
즉, 자기 상관 함수는 자기 자신의 신호와 시간 지연된 신호가 유사할 수록 큰 출력값이 생성될 수 있다.
자기 상관 함수는 자기 자신의 신호와 시간 지연된 신호가 상이할 수록 작은 출력값이 생성될 수 있다.
즉, 주기는 차분 함수의 첫 극소점(201)인 시점과 자기 상관 함수의 첫 극대점(202)인 시점이 처음으로 일치하는 시점으로 산출될 수 있다.
도 6은 본 발명의 일실시예에 따른 차분 함수를 이용한 시계열 위치 정합의 일 예를 나타낸 그래프이다.
도 6의 (a)는 입력 주기 특성의 한 주기 분의 차분 함수의 그래프이다.
도 6의 (b)는 등록 주기 특성의 한 주기 분의 차분 함수의 그래프이다.
도 6을 참조하면, 도 6의 (a)는 극소점이 원점이 되고, 한 주기의 종료 시점 k가 입력 주기 특성의 차분 함수의 현재 시점(203)이 되는 것을 볼 수 있다.
도 6의 (b)는 입력 주기 특성의 차분 함수의 원점을 등록 주기 특성의 차분 함수 원점에 정렬한 경우, 입력 주기 특성의 차분 함수의 현재 시점(203)에 상응하는 k 시점이 등록 주기 특성의 차분 함수의 특정 시점(204)에 사상 되는 것을 볼 수 있다.
도 7는 본 발명의 일실시예에 따른 특징량 분석의 일 예를 나타낸 그래프이다.
도 7을 참조하면, 특징량 분석은 임의의 기계의 차분 함수와 이에 상응하는 3가지 특징량인 움직임 영상 에너지의 동적 시간 정합(MEI DTW), 트랙 매칭 및 운동 강도 측정 특징량의 시간적 변화를 나타낸 것을 볼 수 있다.
임의의 기계의 차분 함수는 봉우리 1(301)과 봉우리 2(302) 2가지 상이한 지점이 나타나는 것을 볼 수 있다.
이 때, 봉우리 1(301)은 기준 프레임과 대비하여 연속적인 종속 프레임과의 차이가 큰 시간이 긴 것을 알 수 있다.
이 때, 봉우리 2(302)는 기준 프레임과 대비하여 연속적인 종속 프레임과의 차이가 큰 시간이 짧은 것을 볼 수 있다.
즉, 봉우리 2(302)는 유사한 동작을 수행하고 있지만, 짧고 빠르게 움직였다는 것을 알 수 있다.
MEI DTW는 봉우리 1에 상응하는 특징량의 변화 1(303)과 봉우리 2에 상응하는 특징량의 변화 2(304)는 동일하게 매우 작은 값을 보이는 것을 볼 수 있다.
트랙 매칭은 특징량의 변화 1(303)보다 특징량의 변화 2(304)가 크게 나타나는 것을 볼 수 있다.
운동 강도 측정은 특징량의 변화 1(303)과 특징량의 변화 2(304)의 패턴의 거의 동일한 것을 볼 수 있다.
따라서, 일 예는 트랙 매칭으로 이상 동작을 판정할 수 있다.
즉, 사용자는 위의 3가지 특징량의 판단 범위를 조정하여 원하는 수준의 이상 동작 검출을 수행할 수 있다.
도 8은 본 발명의 일실시예에 따른 기계 이상 동작 검출 방법의 동작 흐름도 이다.
도 8을 참조하면, 기계의 동작 검출 방법은 먼저 기계의 동작 영상을 촬영한다(S410).
즉, 단계(S410)는 공장 내의 작업 영역의 기계의 동작 영상을 촬영할 수 있다.
이 때, 단계(S410)는 기계의 동작 영상을 전송할 수 있다.
또한, 기계의 동작 검출 방법은 영상을 가공 처리한다(S420).
즉, 단계(S420)는 기계의 동작 영상을 가공할 수 있다.
이 때, 단계(S420)는 영상의 잡음 제거를 위해 영상을 필터링 할 수 있다.
이 때, 단계(S420)는 필요 이상으로 영상의 해상도가 높은 경우, 다운 샘플링 하는 작업을 할 수 있다.
이 때, 단계(S420)는 사용자가 특별히 흥미 영역(REGION OF INTEREST, ROI)을 지정한 경우, 전체 영상에서 필요한 영역을 잘라낼 수 있다.
즉, 단계(S420)는 다양한 영상 가공 작업을 수행할 수 있다.
이 때, 단계(S420)는 가공된 영상을 전송할 수 있다.
또한, 기계의 동작 검출 방법은 주기 특징을 저장한다(S430).
즉, 단계(S430)은 먼저 복수개의 차분 함수들을 산출한다(S431).
즉, 단계(S431)는 수신한 영상의 특정 시점을 기준 프레임으로 할 수 있다.
이 때, 단계(S431)는 기준 프레임 이후 수신한 연속적인 종속 프레임들과의 차분 함수를 구할 수 있다.
이 때, 차분 함수는 수학식 1로 산출될 수 있다.
즉, 차분 함수는 기준 프레임 화소의 밝기와 연속적인 종속 프레임들의 화소의 밝기 차이의 절대값의 평균으로 산출될 수 있다.
이 때, 차분 함수는 비교적 큰 값이 유지되다가 한 주기가 종료 되었을 때, 기준 프레임과 동일한 종속 프레임이 재수신 되면서 매우 작은 값을 가지게 될 수 있다.
즉, 차분 함수는 기준 프레임과 종속 프레임이 상이할수록 큰 출력이 생성될 수 있다.
즉, 차분 함수는 기준 프레임과 종속 프레임이 유사할 수록 적은 출력이 생성될 수 있다.
따라서, 기계의 동작 주기는 차분 함수의 주기를 이용하여 산출될 수 있다.
이 때, 단계(S431)는 복수개의 차분 함수들을 산출할 수 있다.
즉, 단계(S431)는 기준 프레임 Is의 차분 함수 Ds(n) 을 구하는 것 외에도 Is+N을 기준으로 한 Ds +N(n), Is+2N을 기준으로 한 Ds +2N(n) 등, Is+ iN 인 복수개의 기준 프레임과 Ds + iN(n) 인 복수의 차분함수를 동시에 구할 수 있다.
여기서, 복수개의 차분 함수를 산출하는 것에 있어서, N은 기준 프레임을 선정하는 간격일 수 있다.
이 때, N은 작을수록 우수한 차분 함수를 생성할 가능성이 높아질 수 있다.
하지만, N은 작을수록 처리 시간이 길어질 수 있다.
따라서, N은 예상되는 주기를 고려하여 적절한 값이 선택될 수 있다.
또한, 단계(S430)는 차분 함수를 선정할 수 있다(S432).
즉, 단계(S432)는 복수개의 차분 함수들 중에서 가장 명확하게 주기 검출이 가능한 차분 함수를 선정할 수 있다.
이 때, 차분 함수의 선정은 Ds + iN(n)의 최소값이 기설정된 역치보다 작은 구간이 짧은 경우 선정 될 수 있다.
따라서, 단계(S432)는 복수개의 차분 함수들 중 차분 함수를 선정하는 것으로 영상의 잡음의 영향을 감소 시킬 수 있다.
또한, 단계(S430)는 주기를 산출 할 수 있다(S433).
즉, 단계(S433)는 선정된 차분 함수의 자기 상관 함수(AUTO CORRELATION FUNCTION)를 산출할 수 있다.
자기 상관 함수는 자기 자신의 신호와 자기 자신의 신호를 시간 축 상으로 천이시켰을 때 상관성(유사성) 정도를 표현하는 척도일 수 있다.
이 때, 자기 상관 함수는 수학식 2로 나타낼 수 있다.
즉, 자기 상관 함수는 시간 t에서 신호값 x(t)와 τ만큼 시간지연이 있을 때, 시간 t+τ에서 신호값 x(t+τ)와의 곱에 대한 평균(AVERAGE)으로 정의 될 수 있다.
여기서, 자기상관은 신호가 에르고딕(ERGODIC)인 경우에도 적용될 수 있다.
이 때, 자기 상관 함수는 항상 실수값을 갖는 우함수(EVEN FUNCTION)일 수 있다.
즉, 자기 상관 함수는 자기 자신의 신호와 시간 지연된 신호가 유사할 수록 큰 출력값이 생성될 수 있다.
자기 상관 함수는 자기 자신의 신호와 시간 지연된 신호가 상이할 수록 작은 출력값이 생성될 수 있다.
즉, 단계(S433)는 차분 함수의 출력값이 극소점인 시점과 자기 상관 함수의 극대점인 시점이 처음으로 일치하는 시점으로 주기를 산출할 수 있다.
또한, 단계(S430)는 주기 특징을 검출할 수 있다(S434).
즉, 단계(S434)는 산출된 주기를 이용하여 한 주기 분의 주기 특징을 검출할 수 있다.
주기 특징은 산출된 주기, 선정된 차분 함수, 선정된 차분 함수의 프레임의 어레이, 움직임 에너지 영상(MOTION ENERGY IMAGE, MEI)의 어레이, 움직임 에너지 영상의 불변 모멘트(INVARIANT MOMENT)의 어레이 등으로 구성될 수 있다.
움직임 에너지 영상은 기준 프레임과 연속적인 종속 프레임의 이치 영상(BINARY IMAGE)으로 추출 될 수 있다.
이 때, 움직임 에너지 영상은 특정 영상의 기준 프레임과 종속 프레임 간의 상이한 화소는 백색 화소로 표현될 수 있다.
이 때, 움직임 에너지 영상은 특정 영상의 기준 프레임과 종속 프레임 간의 동일한 화소는 흑색 화소로 표현될 수 있다.
이 때, 움직임 에너지 영상은 흑색 화소는 0(또는 1), 백색 화소는 1(또는 0)의 이진값으로 대응시킬 수 있다.
불변 모멘트는 특정 축을 기준으로 한 값들의 분포를 나타낸 척도일 수 있다.
불변 모멘트는 이치 영상을 이용하여 화소의 분포를 기술하는데 사용될 수 있다.
불변 모멘트는 영상의 이동, 회전, 크기 변화에 강인할 수 있다.
이 때, 불변 모멘트는 패턴 인식이나 패턴 해석에서 모양 인식과 식별을 위한 특징으로 사용될 수 있다.
이 때, 불변 모멘트는 수학식 3으로 나타낼 수 있다.
이 때, 불변 모멘트는 (p+q)차수 모멘트로 정의될 수 있다.
이 때, 불변 모멘트는 스칼라 양일 수 있다.
이 때, 불변 모멘트는 영상의 무게 중심을 고려하는 중심 모멘트(CENTRAL MOMENT)가 사용될 수 있다.
즉, 불변 모멘트는 영상 전체의 화소의 이진값과 위치값으로 고유한 값을 획득해 다른 영상과 구별될 수 있다.
또한, 불변 모멘트는 처리 속도 및 정확성을 개선하기 위해 향상된 불변 모멘트 기법이 사용 될 수도 있다.
향상된 불변 모멘트기법은 HU-불변 모멘트 등이 사용 될 수 있다.
또한, 단계(S430)는 등록 주기 특징을 저장할 수 있다(S435).
즉, 단계(S435)는 검출된 한 주기 분의 주기 특징을 동작 패턴 DB(30)에 저장할 수 있다.
또한, 기계 이상 동작 검출 방법은 이상 동작을 검출한다(S440).
즉, 단계(S440)는 기계의 이상 동작을 검출할 수 있다.
또한, 단계(S440)은 먼저 입력 주기 특징을 생성한다(S441).
이 때, 단계(S441)는 공장 내 기계의 동작 영상의 수신할 수 있다.
이 때, 단계(S441)는 가공된 영상을 수신할 수 있다.
이 때, 단계(S441)는 동작 패턴 DB(30)로부터 등록 주기 특징을 수신할 수 있다.
단계(S441)는 수신한 등록 주기 특징과 수신한 영상의 입력 시점부터 한 주기 분의 주기 특징을 입력 주기 특징으로 생성할 수 있다.
입력 주기 특징은 등록 주기 특징에 저장된 주기, 등록 주기 특징에 저장된 차분 함수, 차분 함수에 기반한 수신한 영상의 프레임의 어레이, 수신한 영상의 움직임 영상 에너지의 어레이, 수신한 영상의 움직임 영상 에너지의 불변 모멘트의 어레이 등으로 구성될 수 있다.
이 때, 수신한 영상의 프레임의 어레이는 한 주기 분이 넘어가면 오래된 프레임부터 지워질 수 있다.
이 때, 수신한 영상의 프레임의 어레이는 수신 지연을 고려하여 한 주기 분보다 더 많은 프레임이 저장될 수 있다.
또한, 단계(S440)은 특정 시점을 산출할 수 있다(S442).
즉, 단계(S442)는 수신한 등록 주기 특징과 입력 주기 특징의 가장 유사한 특정 시점을 산출할 수 있다.
이 때, 단계(S442)는 등록 주기 특징의 차분 함수의 원점에 입력 주기 특징의 차분 함수의 극소점을 정렬시킬 수 있다.
즉, 단계(S442)는 입력 주기 특징의 차분 함수의 현재 시점을 이용하여 등록 주기 특징의 차분 함수에 특정 시점을 산출 할 수 있다.
또한, 단계(S440)는 특징량을 출력할 수 있다(S443).
즉, 단계(S443)는 산출된 특정 시점에 기반하여 입력 주기 특징과 등록 주기 특징의 유사도를 산출 할 수 있다.
이 때, 단계(S443)는 유사도를 산출하기 위하여 특징량을 분석할 수 있다.
특징량은 움직임 에너지 영상의 동적 시간 정합(DYNAMIC TIME WARPING, DTW), 트랙 매칭(TRACK MATCHING) 및 운동 강도(MOTION INTENSITY) 측정 등일 수 있다.
동적 시간 정합은 시간에 따라 변화하는 길이가 서로 다른 두 동적 패턴 사이의 유사도를 산출할 수 있다.
동적 시간 정합은 음성 인식, 제스처 인식, 서명 인식 등의 시계열 패턴을 분석하는데 많은 분야에서 사용 될 수 있다.
따라서, 동적 시간 정합은 설비의 작업의 종류에 따라서 동작 시퀀스가 시간적인 변동이 있는 경우에도 유사도를 산출할 수 있다.
동적 시간 정합은 단계(S442)에서 구한 특정 시점을 이용하여 등록 주기 특징의 불변 모멘트에 정렬한 후 수행할 수 있다.
이 때, 동적 시간 정합은 불변 모멘트를 이용하여 처리 시간을 감소시킬 수 있다.
트랙 매칭은 입력 주기 특징의 프레임과 등록 주기 특징과 대응되는 프레임의 차이를 검출할 수 있다.
이 때, 트랙 매칭은 단계(S442)에서 구한 특정 시점을 이용하여 입력 주기 특징의 현재 시점의 프레임과 등록 주기 특징의 특정 시점의 프레임간의 차분 함수를 구할 수 있다.
이 때, 트랙 매칭은 샘플링 주파수 등의 작은 차이를 고려하기 위하여 특정 시점을 중심으로 일정한 범위의 프레임의 차분 함수를 비교할 수 있다.
이 때, 트랙 매칭은 수학식 4로 트랙 차이(TRACK DIFFERENCE)를 결정할 수 있다.
즉, 트랙 매칭은 수학식 4를 이용하여 특정 시점을 중심으로 일정한 범위의 차분 함수를 추가적으로 구할 수 있다.
즉, 트랙 매칭은 수학식 4를 이용하여 차분 함수의 최소값을 트랙 차이로 결정할 수 있다.
운동 강도 측정은 기계의 동작이 갑작스럽게 정지하는 현상을 추정할 수 있다.
운동 강도 측정은 단계(S442)에서 구한 특정 시점을 이용하여 입력 주기 특징의 프레임과 등록 주기 특징의 프레임이 특정 시간 까지 차분 함수를 비교할 수 있다.
운동 강도 측정은 비교된 차분 함수 값이 기설정된 역치보다 낮은 상태가 일정시간 지속되는 경우, 기계가 정지한 것으로 추정할 수 있다.
이 때, 단계(S443)는 분석된 3가지 특징량을 출력할 수 있다.
또한, 단계(S440)는 이상 동작을 판정할 수 있다(S444).
즉, 단계(S444)는 3가지 특징량을 수신할 수 있다.
이 때, 단계(S444)는 3가지 특징량을 기설정된 임계값을 이용하여 기계의 이상 동작을 판정할 수 있다.
기설정된 임계값은 특징량의 판단 범위 일 수 있다.
특징량의 판단 범위는 사용자에 의해 조절 될 수 있다.
즉, 사용자는 위의 3가지 특징량의 판단 범위를 조정하여 원하는 수준의 이상 동작 검출을 수행할 수 있다.
도 9는 도 8에 주기 특징 저장 단계를 세부적으로 나타낸 동작 흐름도이다.
도 9를 참조하면, 단계(S430)은 먼저 복수개의 차분 함수들을 산출한다(S431).
즉, 단계(S431)는 수신한 영상의 특정 시점을 기준 프레임으로 할 수 있다.
이 때, 단계(S431)는 기준 프레임 이후 수신한 연속적인 종속 프레임들과의 차분 함수를 구할 수 있다.
이 때, 차분 함수는 수학식 1로 산출될 수 있다.
즉, 차분 함수는 기준 프레임 화소의 밝기와 연속적인 종속 프레임들의 화소의 밝기 차이의 절대값의 평균으로 산출될 수 있다.
이 때, 차분 함수는 비교적 큰 값이 유지되다가 한 주기가 종료 되었을 때, 기준 프레임과 동일한 종속 프레임이 재수신 되면서 매우 작은 값을 가지게 될 수 있다.
즉, 차분 함수는 기준 프레임과 종속 프레임이 상이할수록 큰 출력이 생성될 수 있다.
즉, 차분 함수는 기준 프레임과 종속 프레임이 유사할 수록 적은 출력이 생성될 수 있다.
따라서, 기계의 동작 주기는 차분 함수의 주기를 이용하여 산출될 수 있다.
이 때, 단계(S431)는 복수개의 차분 함수들을 산출할 수 있다.
즉, 단계(S431)는 기준 프레임 Is의 차분 함수 Ds(n) 을 구하는 것 외에도 Is+N을 기준으로 한 Ds +N(n), Is+2N을 기준으로 한 Ds +2N(n) 등, Is+ iN 인 복수개의 기준 프레임과 Ds + iN(n) 인 복수의 차분함수를 동시에 구할 수 있다.
여기서, 복수개의 차분 함수를 산출하는 것에 있어서, N은 기준 프레임을 선정하는 간격일 수 있다.
이 때, N은 작을수록 우수한 차분 함수를 생성할 가능성이 높아질 수 있다.
하지만, N은 작을수록 처리 시간이 길어질 수 있다.
따라서, N은 예상되는 주기를 고려하여 적절한 값이 선택될 수 있다.
또한, 단계(S430)는 차분 함수를 선정할 수 있다(S432).
즉, 단계(S432)는 복수개의 차분 함수들 중에서 가장 명확하게 주기 검출이 가능한 차분 함수를 선정할 수 있다.
이 때, 차분 함수의 선정은 Ds + iN(n)의 최소값이 기설정된 역치보다 작은 구간이 짧은 경우 선정 될 수 있다.
따라서, 단계(S432)는 복수개의 차분 함수들 중 차분 함수를 선정하는 것으로 영상의 잡음의 영향을 감소 시킬 수 있다.
또한, 단계(S430)는 주기를 산출 할 수 있다(S433).
즉, 단계(S433)는 선정된 차분 함수의 자기 상관 함수(AUTO CORRELATION FUNCTION)를 산출할 수 있다.
자기 상관 함수는 자기 자신의 신호와 자기 자신의 신호를 시간 축 상으로 천이시켰을 때 상관성(유사성) 정도를 표현하는 척도일 수 있다.
이 때, 자기 상관 함수는 수학식 2로 나타낼 수 있다.
즉, 자기 상관 함수는 시간 t에서 신호값 x(t)와 τ만큼 시간지연이 있을 때, 시간 t+τ에서 신호값 x(t+τ)와의 곱에 대한 평균(AVERAGE)으로 정의 될 수 있다.
여기서, 자기상관은 신호가 에르고딕(ERGODIC)인 경우에도 적용될 수 있다.
이 때, 자기 상관 함수는 항상 실수값을 갖는 우함수(EVEN FUNCTION)일 수 있다.
즉, 자기 상관 함수는 자기 자신의 신호와 시간 지연된 신호가 유사할 수록 큰 출력값이 생성될 수 있다.
자기 상관 함수는 자기 자신의 신호와 시간 지연된 신호가 상이할 수록 작은 출력값이 생성될 수 있다.
즉, 단계(S433)는 차분 함수의 출력값이 극소점인 시점과 자기 상관 함수의 극대점인 시점이 처음으로 일치하는 시점으로 주기를 산출할 수 있다.
또한, 단계(S430)는 주기 특징을 검출할 수 있다(S434).
즉, 단계(S434)는 산출된 주기를 이용하여 한 주기 분의 주기 특징을 검출할 수 있다.
주기 특징은 산출된 주기, 선정된 차분 함수, 선정된 차분 함수의 프레임의 어레이, 움직임 에너지 영상(MOTION ENERGY IMAGE, MEI)의 어레이, 움직임 에너지 영상의 불변 모멘트(INVARIANT MOMENT)의 어레이 등으로 구성될 수 있다.
움직임 에너지 영상은 기준 프레임과 연속적인 종속 프레임의 이치 영상(BINARY IMAGE)으로 추출 될 수 있다.
이 때, 움직임 에너지 영상은 특정 영상의 기준 프레임과 종속 프레임 간의 상이한 화소는 백색 화소로 표현될 수 있다.
이 때, 움직임 에너지 영상은 특정 영상의 기준 프레임과 종속 프레임 간의 동일한 화소는 흑색 화소로 표현될 수 있다.
이 때, 움직임 에너지 영상은 흑색 화소는 0(또는 1), 백색 화소는 1(또는 0)의 이진값으로 대응시킬 수 있다.
불변 모멘트는 특정 축을 기준으로 한 값들의 분포를 나타낸 척도일 수 있다.
불변 모멘트는 이치 영상을 이용하여 화소의 분포를 기술하는데 사용될 수 있다.
불변 모멘트는 영상의 이동, 회전, 크기 변화에 강인할 수 있다.
이 때, 불변 모멘트는 패턴 인식이나 패턴 해석에서 모양 인식과 식별을 위한 특징으로 사용될 수 있다.
이 때, 불변 모멘트는 수학식 3으로 나타낼 수 있다.
이 때, 불변 모멘트는 (p+q)차수 모멘트로 정의될 수 있다.
이 때, 불변 모멘트는 스칼라 양일 수 있다.
이 때, 불변 모멘트는 영상의 무게 중심을 고려하는 중심 모멘트(CENTRAL MOMENT)가 사용될 수 있다.
즉, 불변 모멘트는 영상 전체의 화소의 이진값과 위치값으로 고유한 값을 획득해 다른 영상과 구별될 수 있다.
또한, 불변 모멘트는 처리 속도 및 정확성을 개선하기 위해 향상된 불변 모멘트 기법이 사용 될 수도 있다.
향상된 불변 모멘트기법은 HU-불변 모멘트 등이 사용 될 수 있다.
또한, 단계(S430)는 등록 주기 특징을 저장할 수 있다(S435).
즉, 단계(S435)는 검출된 한 주기 분의 주기 특징을 동작 패턴 DB(30)에 저장할 수 있다.
도 10는 도 8에 이상 동작 검출 단계를 세부적으로 나타낸 동작 흐름도이다.
도 10을 참조하면, 단계(S440)은 먼저 입력 주기 특징을 생성한다(S441).
이 때, 단계(S441)는 공장 내 기계의 동작 영상의 수신할 수 있다.
이 때, 단계(S441)는 가공된 영상을 수신할 수 있다.
이 때, 단계(S441)는 동작 패턴 DB(30)로부터 등록 주기 특징을 수신할 수 있다.
단계(S441)는 수신한 등록 주기 특징과 수신한 영상의 입력 시점부터 한 주기 분의 주기 특징을 입력 주기 특징으로 생성할 수 있다.
입력 주기 특징은 등록 주기 특징에 저장된 주기, 등록 주기 특징에 저장된 차분 함수, 차분 함수에 기반한 수신한 영상의 프레임의 어레이, 수신한 영상의 움직임 영상 에너지의 어레이, 수신한 영상의 움직임 영상 에너지의 불변 모멘트의 어레이 등으로 구성될 수 있다.
이 때, 수신한 영상의 프레임의 어레이는 한 주기 분이 넘어가면 오래된 프레임부터 지워질 수 있다.
이 때, 수신한 영상의 프레임의 어레이는 수신 지연을 고려하여 한 주기 분보다 더 많은 프레임이 저장될 수 있다.
또한, 단계(S440)은 특정 시점을 산출할 수 있다(S442).
즉, 단계(S442)는 수신한 등록 주기 특징과 입력 주기 특징의 가장 유사한 특정 시점을 산출할 수 있다.
이 때, 단계(S442)는 등록 주기 특징의 차분 함수의 원점에 입력 주기 특징의 차분 함수의 극소점을 정렬시킬 수 있다.
즉, 단계(S442)는 입력 주기 특징의 차분 함수의 현재 시점을 이용하여 등록 주기 특징의 차분 함수에 특정 시점을 산출 할 수 있다.
또한, 단계(S440)는 특징량을 출력할 수 있다(S443).
즉, 단계(S443)는 산출된 특정 시점에 기반하여 입력 주기 특징과 등록 주기 특징의 유사도를 산출 할 수 있다.
이 때, 단계(S443)는 유사도를 산출하기 위하여 특징량을 분석할 수 있다.
특징량은 움직임 에너지 영상의 동적 시간 정합(DYNAMIC TIME WARPING, DTW), 트랙 매칭(TRACK MATCHING) 및 운동 강도(MOTION INTENSITY) 측정 등일 수 있다.
동적 시간 정합은 시간에 따라 변화하는 길이가 서로 다른 두 동적 패턴 사이의 유사도를 산출할 수 있다.
동적 시간 정합은 음성 인식, 제스처 인식, 서명 인식 등의 시계열 패턴을 분석하는데 많은 분야에서 사용 될 수 있다.
따라서, 동적 시간 정합은 설비의 작업의 종류에 따라서 동작 시퀀스가 시간적인 변동이 있는 경우에도 유사도를 산출할 수 있다.
동적 시간 정합은 단계(S442)에서 구한 특정 시점을 이용하여 등록 주기 특징의 불변 모멘트에 정렬한 후 수행할 수 있다.
이 때, 동적 시간 정합은 불변 모멘트를 이용하여 처리 시간을 감소시킬 수 있다.
트랙 매칭은 입력 주기 특징의 프레임과 등록 주기 특징과 대응되는 프레임의 차이를 검출할 수 있다.
이 때, 트랙 매칭은 단계(S442)에서 구한 특정 시점을 이용하여 입력 주기 특징의 현재 시점의 프레임과 등록 주기 특징의 특정 시점의 프레임간의 차분 함수를 구할 수 있다.
이 때, 트랙 매칭은 샘플링 주파수 등의 작은 차이를 고려하기 위하여 특정 시점을 중심으로 일정한 범위의 프레임의 차분 함수를 비교할 수 있다.
이 때, 트랙 매칭은 수학식 4로 트랙 차이(TRACK DIFFERENCE)를 결정할 수 있다.
즉, 트랙 매칭은 수학식 4를 이용하여 특정 시점을 중심으로 일정한 범위의 차분 함수를 추가적으로 구할 수 있다.
즉, 트랙 매칭은 수학식 4를 이용하여 차분 함수의 최소값을 트랙 차이로 결정할 수 있다.
운동 강도 측정은 기계의 동작이 갑작스럽게 정지하는 현상을 추정할 수 있다.
운동 강도 측정은 단계(S442)에서 구한 특정 시점을 이용하여 입력 주기 특징의 프레임과 등록 주기 특징의 프레임이 특정 시간 까지 차분 함수를 비교할 수 있다.
운동 강도 측정은 비교된 차분 함수 값이 기설정된 역치보다 낮은 상태가 일정시간 지속되는 경우, 기계가 정지한 것으로 추정할 수 있다.
이 때, 단계(S443)는 분석된 3가지 특징량을 출력할 수 있다.
또한, 단계(S440)는 이상 동작을 판정할 수 있다(S444).
즉, 단계(S444)는 3가지 특징량을 수신할 수 있다.
이 때, 단계(S444)는 3가지 특징량을 기설정된 임계값을 이용하여 기계의 이상 동작을 판정할 수 있다.
기설정된 임계값은 특징량의 판단 범위 일 수 있다.
특징량의 판단 범위는 사용자에 의해 조절 될 수 있다.
즉, 사용자는 위의 3가지 특징량의 판단 범위를 조정하여 원하는 수준의 이상 동작 검출을 수행할 수 있다.
이상에서와 같이 본 발명에 따른 기계 이상 동작 검출 장치 및 방법 은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
10: 카메라
20: 전처리부
30: 동작 패턴 DB
100: 기계 이상 동작 검출 장치
110: 동작 패턴 등록부
111: 주기성 분석부
112: 주기 특징 검출부
120: 이상 동작 검출부
121: 입력 주기 특징 생성부
122: 시계열 위치 정합부
123: 프레임 매칭부
124: 이상 동작 패턴 평가부
201: 차분 함수의 첫 극소점
202: 자기 상관 함수의 첫 극대점
203: 입력 주기 특성의 차분 함수의 현재 시점
204: 등록 주기 특성의 차분 함수의 특정 시점
301: 봉우리 1
302: 봉우리 2
303: 특징량의 변화 1
304: 특징량의 변화 2

Claims (10)

  1. 촬영된 기계의 동작 영상의 주기성을 분석하여 검출된 주기 특징을 동작 패턴 DB에 등록 주기 특징으로 저장하는 동작 패턴 등록부; 및
    상기 등록 주기 특징과 상기 영상간의 특징량을 분석하여 이상 동작을 검출하는 이상 동작 검출부;
    를 포함하고,
    상기 동작 패턴 등록부는
    상기 영상으로부터 복수개의 차분 함수들을 산출하여 산출된 차분 함수들 중 어느 하나를 선정하고, 선정된 차분 함수에 기반한 자기 상관 함수(AUTO CORRELATION FUNCTION)를 이용하여 상기 영상의 주기를 산출하는 것을 특징으로 하는 기계 이상 동작 검출 장치.
  2. 청구항 1에 있어서,
    동작 패턴 등록부는
    상기 영상으로부터 복수개의 차분 함수들을 산출하고, 상기 복수개의 차분 함수들 중 기설정된 역치값을 이용하여 차분 함수를 선정하고, 상기 차분 함수에 기반하여 자기 상관 함수(AUTO CORRELATION FUNCTION)를 이용하여 상기 영상의 주기를 산출하는 주기성 분석부; 및
    상기 영상의 주기를 이용하여 한 주기 분의 상기 주기 특징을 검출하여 상기 등록 주기 특징으로 상기 동작 패턴 DB에 저장하는 주기 특징 검출부;
    를 포함하는 것을 특징으로 하는 기계 이상 동작 검출 장치.
  3. 청구항 2에 있어서,
    상기 차분 함수는 상기 영상의 기준 프레임을 설정하고 상기 기준 프레임 이후에 존재하는 종속 프레임들의 화소들과 대응되는 상기 기준 프레임의 화소들의 밝기 차이의 절대값의 평균으로 정의한 것을 특징으로 하는 기계 이상 동작 검출 장치.
  4. 청구항 3에 있어서,
    상기 주기 특징은
    상기 주기, 상기 차분 함수, 상기 차분 함수에 상응하는 프레임의 어레이, 움직임 에너지 영상(MOTION ENERGY IMAGE, MEI)의 어레이 및 상기 움직임 에너지 영상의 불변 모멘트(INVARIANT MOMENT)의 어레이로 구성되는 것을 특징으로 하는 기계 이상 동작 검출 장치.
  5. 청구항 4에 있어서,
    상기 이상 동작 검출부는
    상기 주기에 기반하여 상기 영상의 입력 시점부터 한 주기 분의 상기 주기 특징을 입력 주기 특징으로 생성하는 입력 주기 특징 생성부;
    상기 등록 주기 특징의 차분 함수와 상기 입력 주기 특징의 차분 함수를 가장 유사도가 높게 정렬하여 특정 시점을 산출하는 시계열 위치 정합부;
    상기 특정 시점에 기반하여 상기 등록 주기 특징과 상기 입력 주기 특징의 유사성을 움직임 에너지 영상의 동적 시간 정합(DYNAMIC TIME WARPING, DTW) 매칭, 트랙 매칭(TRACK MATCHING) 및 운동 강도(MOTION INTENSITY) 측정을 이용하여 상기 특징량으로 출력하는 프레임 매칭부; 및
    상기 특징량에 기반하여 기설정된 임계값을 이용하여 이상 동작을 판정하는 이상 동작 패턴 평가부;
    를 포함하는 것을 특징으로 하는 기계 이상 동작 검출 장치.
  6. 기계 이상 동작 장치를 이용하는 방법에 있어서,
    촬영된 기계의 동작 영상의 주기성을 분석하여 검출된 주기 특징을 동작 패턴 DB에 등록 주기 특징으로 저장하는 단계; 및
    상기 등록 주기 특징과 상기 영상간의 특징량을 분석하여 이상 동작을 검출하는 단계;
    를 포함하고,
    상기 등록 주기 특징으로 저장하는 단계는
    상기 영상으로부터 복수개의 차분 함수들을 산출하여 산출된 차분 함수들 중 어느 하나를 선정하고, 선정된 차분 함수에 기반한 자기 상관 함수(AUTO CORRELATION FUNCTION)를 이용하여 상기 영상의 주기를 산출하는 것을 특징으로 하는 기계 이상 동작 검출 방법.
  7. 청구항 6에 있어서
    상기 등록 주기 특징으로 저장하는 단계는
    상기 영상으로부터 복수개의 차분 함수들을 산출하는 단계;
    상기 복수개의 차분함수들 중 기설정된 역치값을 이용하여 차분 함수를 선정하는 단계;
    상기 차분 함수에 기반하여 자기 상관 함수(AUTO CORRELATION FUNCTION)을 이용하여 상기 영상의 주기를 산출하는 단계;
    상기 주기를 이용하여 한 주기 분의 상기 주기 특징을 검출하는 단계; 및
    상기 주기 특징을 상기 등록 주기 특징으로 상기 동작 패턴 DB에 저장하는 단계;
    를 포함하는 것을 특징으로 하는 기계 이상 동작 검출 방법.
  8. 청구항 7에 있어서,
    상기 차분 함수는 상기 영상의 기준 프레임을 설정하고 상기 기준 프레임 이후에 존재하는 종속 프레임들의 화소들의 밝기 차이의 절대값의 평균으로 정의한 것을 특징으로 하는 기계 이상 동작 검출 방법.
  9. 청구항 8에 있어서,
    상기 주기 특징은
    상기 주기, 상기 차분 함수, 상기 차분 함수에 상응하는 프레임의 어레이, 움직임 에너지 영상(MOTION ENERGY IMAGE, MEI)의 어레이 및 상기 움직임 에너지 영상의 불변 모멘트(INVARIANT MOMENT)의 어레이로 구성되는 것을 특징으로 하는 기계 이상 동작 검출 방법.
  10. 청구항 9에 있어서,
    상기 이상 동작을 검출하는 단계는
    상기 주기에 기반하여 상기 영상의 입력 시점부터 한 주기 분의 상기 주기 특징을 입력 주기 특징으로 생성하는 단계;
    상기 등록 주기 특징의 차분 함수와 상기 입력 주기 특징의 차분 함수를 가장 유사도가 높게 정렬하여 특정 시점을 산출하는 단계;
    상기 특정 시점에 기반하여 상기 등록 주기 특징과 상기 입력 주기 특징의 유사성을 움직임 에너지 영상의 동적 시간 정합(DYNAMIC TIME WARPING, DTW) 매칭, 트랙 매칭(TRACK MATCHING) 및 운동 강도(MOTION INTENSITY) 측정을 이용하여 상기 특징량으로 출력하는 단계; 및
    상기 특징량에 기반하여 기설정된 임계값을 이용하여 이상 동작을 판정하는 단계;
    를 포함하는 것을 특징으로 하는 기계 이상 동작 검출 방법.
KR1020160006082A 2016-01-18 2016-01-18 기계 이상 동작 검출 장치 및 방법 KR101830331B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160006082A KR101830331B1 (ko) 2016-01-18 2016-01-18 기계 이상 동작 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160006082A KR101830331B1 (ko) 2016-01-18 2016-01-18 기계 이상 동작 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170086350A KR20170086350A (ko) 2017-07-26
KR101830331B1 true KR101830331B1 (ko) 2018-03-29

Family

ID=59427181

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160006082A KR101830331B1 (ko) 2016-01-18 2016-01-18 기계 이상 동작 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101830331B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086712A (zh) * 2018-07-27 2018-12-25 深圳四海万联科技有限公司 工程机械的工作时间统计方法、装置、介质及设备

Also Published As

Publication number Publication date
KR20170086350A (ko) 2017-07-26

Similar Documents

Publication Publication Date Title
US20210344892A1 (en) Method and system for determining optimal exposure time and number of exposures in structured light-based 3d camera
CN101299275B (zh) 一种目标检测方法、装置
US7982774B2 (en) Image processing apparatus and image processing method
CN102473301B (zh) 动作解析装置及动作解析方法
JP2008033532A (ja) 可動部を備えた設備の異常を検出する方法及び異常検出装置
JP6688962B2 (ja) 判定装置、判定方法、および判定プログラム
EP3889589A1 (en) Surface defect detecting method, surface defect detecting device, method for manufacturing steel material, steel material quality control method, steel material manufacturing equipment, method for creating surface defect determination model, and surface defect determination model
JP6703279B2 (ja) 異常検知装置、異常検知方法、及び異常検知プログラム
US8923552B2 (en) Object detection apparatus and object detection method
JP7222231B2 (ja) 行動認識装置、行動認識方法及びプログラム
WO2019117247A1 (ja) 瞳孔検出装置および検出システム
US20170228602A1 (en) Method for detecting height
KR101830331B1 (ko) 기계 이상 동작 검출 장치 및 방법
JP6715282B2 (ja) 品質監視システム
KR101214858B1 (ko) 클러스터링 기법을 이용한 이동물체 검출장치 및 방법
JP4079136B2 (ja) 動き検出装置及び動き検出方法
CN106937047A (zh) 符号特征的自适应对焦视觉识别方法、系统及设备
US20190220984A1 (en) Image processing device, image processing system, image processing method, and program storage medium
DE102012105401B3 (de) 3D-Kamera und Verfahren zur Bestimmung des diffusen Remissionsvermögens von Objekten
JPH09322153A (ja) 自動監視装置
US8270678B2 (en) Method, system, and computer program product to detect micron scale displacement of objects from a long range with and optical device and related computer implemented methods
WO2018230016A1 (ja) 移動体観測方法
US10915988B2 (en) Image stitching method and related monitoring camera device
CN113888628A (zh) 一种目标跟踪丢失后的精确定位方法及精确定位系统
US9877022B2 (en) Video sequence processing of pixel-to-pixel dissimilarity values

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant