KR102665174B1 - 이상 탐지를 위한 전자 장치 - Google Patents

이상 탐지를 위한 전자 장치 Download PDF

Info

Publication number
KR102665174B1
KR102665174B1 KR1020230163117A KR20230163117A KR102665174B1 KR 102665174 B1 KR102665174 B1 KR 102665174B1 KR 1020230163117 A KR1020230163117 A KR 1020230163117A KR 20230163117 A KR20230163117 A KR 20230163117A KR 102665174 B1 KR102665174 B1 KR 102665174B1
Authority
KR
South Korea
Prior art keywords
input
output
normal
image
areas
Prior art date
Application number
KR1020230163117A
Other languages
English (en)
Inventor
서대호
김한비
Original Assignee
다겸 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다겸 주식회사 filed Critical 다겸 주식회사
Priority to KR1020230163117A priority Critical patent/KR102665174B1/ko
Application granted granted Critical
Publication of KR102665174B1 publication Critical patent/KR102665174B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0235—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이상 탐지를 위한 전자 장치를 개시한다. 상기 이상 탐지를 위한 전자 장치는, 프로세서 및 상기 프로세서에 작동적으로(operatively) 연결된 메모리를 포함하고, 상기 메모리는, 실행되었을 때 상기 프로세서로 하여금 미리 학습된 오토 인코더에 정상 입력 이미지를 입력하고, 상기 오토 인코더로부터, 상기 정상 입력 이미지에 대한 출력으로 정상 출력 이미지를 수신하고, 상기 정상 입력 이미지 및 상기 정상 출력 이미지를 기초로, 임계값을 식별하고, 상기 오토 인코더에 판정 대상 입력 이미지를 입력하고, 상기 오토 인코더로부터, 상기 판정 대상 입력 이미지에 대한 출력으로 판정 대상 출력 이미지를 수신하고, 상기 판정 대상 입력 이미지를 복수의 입력 영역으로 분할하고, 상기 복수의 입력 영역 각각과 대응되도록, 상기 판정 대상 출력 이미지를 복수의 출력 영역으로 분할하고, 서로 대응되는 상기 복수의 입력 영역 각각과 상기 복수의 출력 영역 각각에 대한 복수의 제1 재구성 에러를 식별하고, 상기 임계값과 상기 복수의 제1 재구성 에러 각각의 비교 결과를 기초로, 서로 대응되는 상기 복수의 입력 영역 각각과 상기 복수의 출력 영역 각각 중 비정상 영역을 식별하도록 하는 인스트럭션들(instructions)을 저장한다.

Description

이상 탐지를 위한 전자 장치{Electronic device for anomaly detection}
본 발명은 이상 탐지를 위한 전자 장치에 관한 것으로, 오토 인코더를 이용하여 이상 탐지를 하기 위한 전자 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 오토 인코더를 이용하여 정상 또는 비정상을 판정하는 방식이 널리 이용되고 있다. 오토 인코더의 성능 향상을 위해, 오토 인코더의 입력 및 출력을 이용하여 이미 학습된 오토 인코더를 재 학습 시킬 수 있다.
한편, 이미 학습된 오토 인코더를 재 학습시키지 않고 오토 인코더의 성능을 향상시키기 위해서는, 오토 인코더의 활용에 관한 새로운 접근이 필요하다.
본 발명의 목적은, 미리 학습된 오토 인코더를 이용하여 오토 인코더를 이용한 정상 여부 판정의 정확도와 신뢰도를 향상시킬 수 있는 이상 탐지를 위한 전자 장치를 제공하는 것이다.
또한, 본 발명의 목적은, 미리 학습된 오토 인코더를 재 학습시키지 않고, 오토 인코더의 성능을 향상시킬 수 있는 이상 탐지를 위한 전자 장치를 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 실시예에 따른 이상 탐지를 위한 전자 장치는 프로세서 및 상기 프로세서에 작동적으로(operatively) 연결된 메모리를 포함하고, 상기 메모리는, 실행되었을 때 상기 프로세서로 하여금 미리 학습된 오토 인코더에 정상 입력 이미지를 입력하고, 상기 오토 인코더로부터, 상기 정상 입력 이미지에 대한 출력으로 정상 출력 이미지를 수신하고, 상기 정상 입력 이미지 및 상기 정상 출력 이미지를 기초로, 임계값을 식별하고, 상기 오토 인코더에 판정 대상 입력 이미지를 입력하고, 상기 오토 인코더로부터, 상기 판정 대상 입력 이미지에 대한 출력으로 판정 대상 출력 이미지를 수신하고, 상기 판정 대상 입력 이미지를 복수의 입력 영역으로 분할하고, 상기 복수의 입력 영역 각각과 대응되도록, 상기 판정 대상 출력 이미지를 복수의 출력 영역으로 분할하고, 서로 대응되는 상기 복수의 입력 영역 각각과 상기 복수의 출력 영역 각각에 대한 복수의 제1 재구성 에러를 식별하고, 상기 임계값과 상기 복수의 제1 재구성 에러 각각의 비교 결과를 기초로, 서로 대응되는 상기 복수의 입력 영역 각각과 상기 복수의 출력 영역 각각 중 비정상 영역을 식별하도록 하는 인스트럭션들(instructions)을 저장한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 복수의 입력 영역 중 제1 입력 영역 및 상기 제1 입력 영역과 대응되는 상기 복수의 출력 영역 중 제1 출력 영역을 식별하고, 상기 제1 입력 영역과 상기 제1 출력 영역에 대한 제1 재구성 판정 에러로, 상기 복수의 제1 재구성 에러에 포함되는 상기 제1 재구성 판정 에러를 식별하고, 상기 임계값과 상기 제1 재구성 판정 에러를 비교하여, 서로 대응되는 상기 제1 입력 영역과 상기 제1 출력 영역의 정상 여부를 식별하도록 한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 정상 입력 이미지를 복수의 정상 입력 영역으로 분할하고, 상기 복수의 정상 입력 영역 각각과 대응되도록, 상기 정상 출력 이미지를 복수의 정상 출력 영역으로 분할하고, 서로 대응되는 상기 복수의 정상 입력 영역 각각과 상기 복수의 정상 출력 영역 각각에 대한 복수의 제2 재구성 에러를 식별하고, 상기 복수의 제2 재구성 에러 중 하나를 기초로, 상기 임계값을 식별하도록 한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, SSIM(Structural Similarity Index Measure)를 기초로 상기 복수의 제1 재구성 에러, 상기 복수의 제2 재구성 에러 및 상기 임계값을 계산하고, 상기 임계값은 상기 복수의 제2 재구성 에러 중 최소값을 기초로 설정된다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 복수의 정상 입력 영역 중 제1 정상 입력 영역 및 상기 제1 정상 입력 영역과 대응되는 상기 복수의 정상 출력 영역 중 제1 정상 출력 영역을 식별하고, 상기 제1 정상 입력 영역과 상기 제1 정상 출력 영역에 대한 제1 재구성 임계 에러를 식별하고, 상기 제1 재구성 임계 에러는 상기 복수의 제2 재구성 에러에 포함된다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 복수의 입력 영역 및 상기 복수의 출력 영역 중 일부의 가로 폭과 세로 폭 각각은 제1 값을 갖도록 분할하고, 상기 복수의 입력 영역 및 상기 복수의 출력 영역 중 나머지의 가로 폭과 세로 폭 중 적어도 하나는, 상기 제1 값보다 작은 제2 값을 갖도록 분할하도록 한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, SSIM(Structural Similarity Index Measure)를 기초로 상기 복수의 제1 재구성 에러 및 상기 임계값을 계산하도록 한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 서로 대응되는 상기 복수의 입력 영역 각각과 상기 복수의 출력 영역 각각에 대한 상기 복수의 제1 재구성 에러를, 상기 판정 대상 입력 이미지에 대응되는 표시 이미지에 표시하고, 상기 비정상 영역을 상기 표시 이미지에 표시하도록 한다.
또한, 상기 인스트럭션들은, 상기 프로세서가, 상기 판정 대상 입력 이미지와 상기 판정 대상 출력 이미지에 대한 제3 재구성 에러를 식별하고, 상기 제3 재구성 에러를 상기 표시 이미지에 표시하도록 한다.
또한, 상기 판정 대상 입력 이미지는, 일정 궤도를 따라 반복적으로 움직이는 촬영 대상에 대한 캡처 이미지이고, 상기 비정상 영역은, 상기 일정 궤도 중 일부 궤도를 이탈한 움직임이 식별된 것이다.
본 발명의 이상 탐지를 위한 전자 장치는, 미리 학습된 오토 인코더를 이용하여 출력 이미지를 얻고, 출력 이미지를 분할하여 재구성 에러를 계산함으로써, 오토 인코더를 이용한 정상 여부 판정의 정확도와 신뢰도를 향상시킬 수 있다.
또한, 본 발명의 이상 탐지를 위한 전자 장치는, 미리 학습된 오토 인코더를 재 학습시키지 않고, 출력 이미지를 분할하여 재구성 에러를 계산함으로써, 오토 인코더의 성능을 향상시킬 수 있다.
상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 전자 장치의 프로세서의 동작을 설명하기 위한 순서도이다.
도 3 및 도 4는 도 2의 단계 S200을 설명하기 위한 도면이다.
도 5는 도 2의 단계 S400, 단계 S500 및 단계 S600을 설명하기 위한 도면이다.
도 6은 도 2의 단계 S700을 설명하기 위한 도면이다.
본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.
본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.
이하에서 도 1 내지 도 6을 참조하여 본 발명의 실시예에 따른 이상 탐지를 위한 전자 장치(이하, 전자 장치라 한다)에 대해 설명한다.
도 1은 본 발명의 실시예에 따른 전자 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 전자 장치(100)는, 프로세서(110) 및 메모리(120)를 포함할 수 있다. 전자 장치(100)는 도 1에 도시된 구성요소들 이외에 추가적인 구성요소(예: 통신 모듈)를 적어도 하나 더 포함할 수 있다.
메모리(120)는, 전자 장치(100)의 적어도 하나의 구성요소(예: 프로세서(110))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(120)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
메모리(120)는 전자 장치(100)에 포함된 구성요소들의 동작과 연관된 명령, 정보 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는, 실행 시에, 프로세서(110)가 본 문서에 기재된 다양한 동작을 수행할 수 있도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
프로세서(110)는 전자 장치(100)의 전반적인 기능을 수행하기 위하여 메모리(120)와 작동적으로(operatively) 연결될(coupled) 수 있다. 프로세서(110)는 예를 들어, 하나 이상의 프로세서를 포함할 수 있다. 하나 이상의 프로세서는 예를 들어, 이미지 시그널 프로세서(image signal processor, ISP), 애플리케이션 프로세서(application processor, AP), 또는 통신 프로세서(communication processor, CP)를 포함할 수 있다.
프로세서(110)는, 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 프로세서(110)에 연결된 전자 장치(100)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(110)는 다른 구성요소(예: 통신 모듈)로부터 수신된 명령 또는 데이터를 메모리(120)에 로드하고, 메모리(120)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 메모리(120)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(110)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다. 프로그램은 메모리(120)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제, 미들 웨어 또는 어플리케이션을 포함할 수 있다.
프로세서(110)는 오토 인코더(200)와 서로 통신할 수 있다.
프로세서(110)의 동작에 대해, 도 2를 참조하여 설명한다.
도 2는 본 발명의 실시예에 따른 전자 장치의 프로세서의 동작을 설명하기 위한 순서도이다.
도 1 및 도 2를 참조하면, 프로세서(110)는, 미리 학습된 오토 인코더(200)를 이용하여, 정상 입력 이미지 및 정상 출력 이미지를 식별할 수 있다(S100).
프로세서(110)는 미리 학습된 오토 인코더(200)에 정상 입력 이미지를 입력할 수 있다. 정상 입력 이미지는, 정상으로 이미 판정된 이미지일 수 있다.
오토 인코더(200)는 정상 이미지 또는 비정상 이미지 중 적어도 하나를 이용하여 미리 학습된 것일 수 있다.
프로세서(110)는 외부로부터 정상 이미지를 수신할 수 있다. 프로세서(110)는 오토 인코더(200)의 입력 형식을 맞추기 위해, 정상 이미지를 전처리할 수 있다. 예를 들어 프로세서(110)는 정상 이미지를 그레이 스케일로 변환할 수 있다. 프로세서(110)는 그레이 스케일로 변환된 정상 이미지의 픽셀값을 규격화(normalization)할 수 있다. 예를 들어 프로세서(110)는 그레이 스케일로 변환된 정상 이미지의 픽셀값을 0과 1 사이의 실수 값으로 규격화할 수 있다. 프로세서(110)는 규격화된 정상 이미지의 형식을, 오토 인코더(200)의 입력 형상과 맞추기 위해 추가적인 전처리를 수행하여, 정상 입력 이미지를 생성할 수 있다. 추가적인 전처리는 예를 들어, 특정 라이브러리를 이용하여 규격화된 정상 이미지를 변환하는 과정을 포함할 수 있다.
프로세서(110)는 오토 인코더(200)로부터, 정상 입력 이미지에 대한 출력으로 정상 출력 이미지를 수신할 수 있다.
프로세서(110)는 정상 입력 이미지 및 정상 출력 이미지를 기초로, 임계값을 식별할 수 있다(S200). 임계값은 재구성 에러를 기초로 오토 인코더(200)의 출력 이미지의 비정상 여부를 판단하기 위한 것일 수 있다. 재구성 에러의 계산 방식에 따라, 임계값보다 재구성 에러가 낮은 경우 비정상으로 판단될 수도 있고, 임계값보다 재구성 에러가 높은 경우 비정상으로 판단될 수도 있다.
몇몇 실시예에서, 프로세서(110)는 재구성 에러를 계산하기 위해 SSIM(Structural Similarity Index Measure)을 이용할 수 있다. 이 경우, 프로세서(110)는 재구성 에러가 임계값보다 낮으면 비정상으로 판단하고, 재구성 에러가 임계값을 초과하면 정상으로 판단할 수 있다.
임계값 식별에 대해, 도 3 및 도 4를 참조하여 설명한다.
도 3 및 도 4는 도 2의 단계 S200을 설명하기 위한 도면이다.
도 1 내지 도 4를 참조하면, 프로세서(110)는 임계값을 결정하기 위해 먼저, 정상 입력 이미지(도 4의(a))를 복수의 정상 입력 영역(NIR)으로 분할할 수 있다(S201). 프로세서(110)는 도 4의 (a)에 도시된 바와 같이, 정상 입력 이미지를 일정 개수로 분할할 수 있다.
정상 입력 이미지는, 복수의 정상 입력 영역(NIR)으로 분할될 수 있다. 정상 입력 이미지는 일정 개수로 분할될 수 있다. 도 4에서 정상 입력 이미지(도 4의 (a))가 9개의 영역으로 분할되는 것으로 도시하였으나, 이에 제한되는 것은 아니다.
복수의 정상 입력 영역(NIR)의 일부 정상 입력 영역(NIR1, NIR2, NIR4, NIR5)은, 제1 가로 폭(W1)과 제1 세로 폭(H1)을 가질 수 있다. 제1 가로 폭(W1)과 제1 세로 폭(H1)은 예를 들어 서로 동일한 값일 수 있다. 복수의 정상 입력 영역(NIR)의 나머지 정상 입력 영역(NIR3, NIR6, NIR7, NIR8, NIR9)의 가로 폭과 세로 폭 중 적어도 하나는, 제1 가로 폭(W1) 및 제1 세로 폭(H1) 보다 작은 값을 가질 수 있다. 예를 들어 제3 정상 입력 영역(NIR3)과 제6 정상 입력 영역(NIR6)은, 제2 가로 폭(W2) 및 제1 세로 폭(H1)을 가질 수 있다. 제2 가로 폭(W2)은, 제1 가로 폭(W1)보다 작은 값일 수 있다. 예를 들어 제7 정상 입력 영역(NIR7) 및 제8 정상 입력 영역(NIR8)은, 제1 가로 폭(W1) 및 제2 세로 폭(H2)을 가질 수 있다. 제2 세로 폭(H2)은, 제1 세로 폭(H1)보다 작은 값일 수 있다. 예를 들어 제9 정상 입력 영역(NIR9)은, 제2 가로 폭(W2) 및 제2 세로 폭(H2)을 가질 수 있다.
프로세서(110)는 임계값을 결정하기 위해, 복수의 정상 입력 영역(NIR) 각각과 대응되도록, 정상 출력 이미지(도 4의 (b))를 복수의 정상 출력 영역(NOR)으로 분할할 수 있다(S203). 프로세서(110)는 도 4의 (b)에 도시된 바와 같이, 정상 출력 이미지를 일정 개수로 분할할 수 있다.
정상 출력 이미지는, 복수의 정상 출력 영역(NOR)으로 분할될 수 있다. 정상 출력 이미지는 일정 개수로 분할될 수 있다. 도 4에서 정상 출력 이미지(도4의 (b))가 9개의 영역으로 분할되는 것으로 도시하였으나, 이에 제한되는 것은 아니다. 정상 출력 이미지는, 정상 입력 이미지의 분할 영역(정상 입력 영역)과 대응되도록 분할될 수 있다.
복수의 정상 출력 영역(NOR)의 일부 정상 출력 영역(NOR1, NOR2, NOR4, NOR5)은, 제1 가로 폭(W1)과 제1 세로 폭(H1)을 가질 수 있다. 제1 가로 폭(W1)과 제1 세로 폭(H1)은 예를 들어 일부 정상 입력 영역(NIR1, NIR2, NIR4, NIR5)의 가로 폭 및 세로 폭 각각과 동일한 값일 수 있다. 복수의 정상 출력 영역(NOR)의 나머지 정상 출력 영역(NOR3, NOR6, NOR7, NOR8, NOR9)의 가로 폭과 세로 폭 중 적어도 하나는, 제1 가로 폭(W1) 및 제1 세로 폭(H1) 보다 작은 값을 가질 수 있다. 예를 들어 제3 정상 출력 영역(NOR3)과 제6 정상 출력 영역(NOR6)은, 제2 가로 폭(W2) 및 제1 세로 폭(H1)을 가질 수 있다. 제2 가로 폭(W2)은, 제3 정상 입력 영역(NIR3)과 제6 정상 입력 영역(NIR6)의 가로 폭과 동일한 값일 수 있다. 예를 들어 제7 정상 출력 영역(NOR7), 제8 정상 출력 영역(NOR8)은, 제1 가로 폭(W1) 및 제2 세로 폭(H2)을 가질 수 있다. 제2 세로 폭(H2)은, 제7 정상 입력 영역(NIR7) 및 제8 정상 입력 영역(NIR8)의 세로 폭과 동일한 값일 수 있다. 예를 들어 제9 정상 출력 영역(NOR9)은, 제2 가로 폭(W2) 및 제2 세로 폭(H2)을 가질 수 있다.
프로세서(110)는 서로 대응되는 복수의 정상 입력 영역 각각과 복수의 정상 출력 영역 각각에 대한 복수의 제2 재구성 에러를 식별할 수 있다(S205). 프로세서(110)는 복수의 정상 입력 영역 각각과 복수의 정상 출력 영역 각각을 서로 대응시켜 식별할 수 있다. 예를 들어 프로세서(110)는 제1 정상 입력 영역(NIR1)과 제1 정상 출력 영역(NOR1)을 서로 대응시켜 제1 페어 영역(P1)으로 식별할 수 있다. 예를 들어 프로세서(110)는 제2 정상 입력 영역(NIR2)과 제2 정상 출력 영역(NOR2)을 서로 대응시켜 제2 페어 영역(P2)으로 식별할 수 있다. 프로세서(110)는 이러한 방식으로 분할된 정상 입력 이미지 및 정상 출력 이미지 각각의 영역에 대해 서로 대응되는 페어 영역을 식별할 수 있다.
프로세서(110)는 서로 대응되는 정상 입력 영역과 정상 출력 영역에 대해 재구성 임계 에러를 계산함으로써, 서로 대응되는 전체의 정상 입력 영역과 전체의 정상 출력 영역에 대한 복수의 제2 재구성 에러를 식별할 수 있다. 예를 들어, 프로세서(110)는 제1 페어 영역(P1)에 대한 제1 재구성 임계 에러를 식별할 수 있다. 예를 들어 프로세서(110)는 제2 페어 영역(P2)에 대한 제2 재구성 임계 에러를 식별할 수 있다. 프로세서(110)는 이러한 방식으로, 모든 페어 영역에 대해 재구성 임계 에러를 식별할 수 있다. 복수의 제2 재구성 에러는, 모든 페어 영역에 대해 식별된 재구성 임계 에러를 포함할 수 있다. 예를 들어 복수의 제2 재구성 에러는, 제1 재구성 임계 에러 및 제2 재구성 임계 에러를 포함할 수 있다.
몇몇 실시예에서 프로세서(110)는, SSIM을 이용하여 재구성 임계 에러를 계산할 수 있다.
프로세서(110)는 복수의 제2 재구성 에러 중 하나를 기초로, 임계값을 식별할 수 있다(S207). 프로세서(110)는, 복수의 제2 재구성 에러 중 최소값 또는 최대값 중 어느 하나를 기초로, 임계값을 식별할 수 있다.
프로세서(110)가 SSIM을 이용하여 재구성 임계 에러를 계산한 경우, 프로세서(110)는 재구성 임계 에러를 포함하는 복수의 제2 재구성 에러 중 최소값을 기초로 임계값이 식별될 수 있다. 예를 들어 프로세서(110)는, 복수의 제2 재구성 에러 중 최소값에 정해진 값을 곱한 값을, 임계값으로 설정할 수 있다.
몇몇 실시예에서 프로세서(110)는 판정 대상 이미지를 수신하기 전, 오토 인코더(200)에 대해 최초 1회에 한해 임계값 설정 프로세스를 수행할 수 있다. 예를 들어 프로세서(110)는 판정 대상 이미지를 수신하기 전, 몇 장의 캡쳐된 정상 입력 이미지를 기초로 임계값을 설정할 수 있다.
본 발명의 실시예에 따른 전자 장치(100)는 오토 인코더(200)를 이용한 비정상 판단을 위해 재구성 에러의 임계값 설정 시, 정상 입력 이미지 및 정상 출력 이미지 각각을 분할하고, 서로 대응되는 분할된 각 영역에 대한 재구성 에러를 계산한 후, 복수의 재구성 에러 중 하나의 재구성 에러를 기초로 임계값을 설정할 수 있다. 이로써 본 발명의 실시예에 따른 전자 장치(100)는 정상 및 비정상 여부를 좀 더 정교하게 판단할 수 있다.
다시 도 1 및 도 2를 참조하면, 프로세서(110)는 미리 학습된 오토 인코더(200)를 이용하여, 판정 대상 입력 이미지 및 판정 대상 출력 이미지를 식별할 수 있다(S300). 프로세서(110)는 임계값 설정 후, 미리 학습된 오토 인코더(200)에 판정 대상 입력 이미지를 입력하고, 오토 인코더(200)로부터 판정 대상 입력 이미지에 대한 출력인 판정 대상 출력 이미지를 수신할 수 있다.
프로세서(110)는 외부로부터 판정 대상 이미지를 수신할 수 있다. 프로세서(110)는 오토 인코더(200)의 입력 형식을 맞추기 위해, 판정 대상 이미지를 전처리할 수 있다. 예를 들어 프로세서(110)는 판정 대상 이미지를 그레이 스케일로 변환할 수 있다. 프로세서(110)는 그레이 스케일로 변환된 판정 대상 이미지의 픽셀값을 규격화(normalization)할 수 있다. 예를 들어 프로세서(110)는 그레이 스케일로 변환된 판정 대상 이미지의 픽셀값을 0과 1 사이의 실수 값으로 규격화할 수 있다. 프로세서(110)는 규격화된 판정 대상 이미지의 형식을, 오토 인코더(200)의 입력 형싱과 맞추기 위해 추가적인 전처리를 수행하여, 판정 대상 입력 이미지를 생성할 수 있다. 추가적인 전처리는 예를 들어, 특정 라이브러리를 이용하여 규격화된 판정 대상 이미지를 변환하는 과정을 포함할 수 있다.
프로세서(110)는 판정 대상 입력 이미지를 복수의 입력 영역으로 분할할 수 있다(S400). 프로세서(110)는 복수의 입력 영역과 대응되도록, 판정 대상 출력 이미지를 복수의 출력 영역으로 분할할 수 있다(S500). 프로세서(110)는 서로 대응되는 복수의 입력 영역 각각과 복수의 출력 영역 각각에 대한 복수의 제1 재구성 에러를 식별할 수 있다(S600).
도 5는 도 2의 단계 S400, 단계 S500 및 단계 S600을 설명하기 위한 도면이다.
도 1, 도 2 및 도 5를 참조하면, 프로세서(110)는 복수의 제1 재구성 에러를 식별하기 위해 먼저, 판정 대상 입력 이미지(도 5의 (a))를 복수의 입력 영역(IR)으로 분할할 수 있다. 프로세서(110)는 도 5의 (a)에 도시된 바와 같이, 판정 대상 입력 이미지를 일정 개수로 분할할 수 있다.
판정 대상 입력 이미지는, 복수의 입력 영역(IR)으로 분할될 수 있다. 판정 대상 입력 이미지는 일정 개수로 분할될 수 있다. 판정 대상 입력 이미지는, 임계값 계산 시 정상 입력 이미지가 분할된 개수와 동일한 개수로 분할될 수 있다.
판정 대상 입력 이미지는, 임계값 계산 시 정상 입력 이미지가 분할된 각 영역의 가로 폭 및 세로 폭과 동일하게 분할될 수 있다.
복수의 입력 영역(IR)의 일부 입력 영역(IR1, IR2, IR4, IR5)은, 제1 가로 폭(W1)과 제1 세로 폭(H1)을 가질 수 있다. 제1 가로 폭(W1)과 제1 세로 폭(H1)은 예를 들어 서로 동일한 값일 수 있다. 복수의 입력 영역(IR)의 나머지 입력 영역(IR3, IR6, IR7, IR8, IR9)의 가로 폭과 세로 폭 중 적어도 하나는, 제1 가로 폭(W1) 및 제1 세로 폭(H1) 보다 작은 값을 가질 수 있다. 예를 들어 제3 입력 영역(IR3)과 제6 입력 영역(IR6)은, 제2 가로 폭(W2) 및 제1 세로 폭(H1)을 가질 수 있다. 제2 가로 폭(W2)은, 제1 가로 폭(W1)보다 작은 값일 수 있다. 예를 들어 제7 입력 영역(IR7) 및 제8 입력 영역(IR8)은, 제1 가로 폭(W1) 및 제2 세로 폭(H2)을 가질 수 있다. 제2 세로 폭(H2)은, 제1 세로 폭(H1)보다 작은 값일 수 있다. 예를 들어 제9 입력 영역(IR9)은, 제2 가로 폭(W2) 및 제2 세로 폭(H2)을 가질 수 있다.
프로세서(110)는 복수의 제1 재구성 에러를 계산하기 위해, 복수의 입력 영역(IR) 각각과 대응되도록, 판정 대상 출력 이미지(도 5의 (b))를 복수의 출력 영역(OR)으로 분할할 수 있다. 프로세서(110)는 도 5의 (b)에 도시된 바와 같이, 출력 이미지를 일정 개수로 분할할 수 있다.
출력 이미지는, 복수의 출력 영역(OR)으로 분할될 수 있다. 출력 이미지는 일정 개수로 분할될 수 있다. 판정 대상 출력 이미지는, 임계값 계산 시 정상 출력 이미지가 분할된 개수와 동일한 개수로 분할될 수 있다.
복수의 출력 영역(OR)의 일부 출력 영역(OR1, OR2, OR4, OR5)은, 제1 가로 폭(W1)과 제1 세로 폭(H1)을 가질 수 있다. 제1 가로 폭(W1)과 제1 세로 폭(H1)은 예를 들어 일부 입력 영역(IR1, IR2, IR4, IR5)의 가로 폭 및 세로 폭 각각과 동일한 값일 수 있다. 복수의 출력 영역(OR)의 나머지 출력 영역(OR3, OR6, OR7, OR8, OR9)의 가로 폭과 세로 폭 중 적어도 하나는, 제1 가로 폭(W1) 및 제1 세로 폭(H1) 보다 작은 값을 가질 수 있다. 예를 들어 제3 출력 영역(OR3)과 제6 출력 영역(OR6)은, 제2 가로 폭(W2) 및 제1 세로 폭(H1)을 가질 수 있다. 제2 가로 폭(W2)은, 제3 입력 영역(IR3)과 제6 입력 영역(IR6)의 가로 폭과 동일한 값일 수 있다. 예를 들어 제7 출력 영역(OR7), 제8 출력 영역(OR8)은, 제1 가로 폭(W1) 및 제2 세로 폭(H2)을 가질 수 있다. 제2 세로 폭(H2)은, 제7 입력 영역(IR7) 및 제8 입력 영역(IR8)의 세로 폭과 동일한 값일 수 있다. 예를 들어 제9 출력 영역(OR9)은, 제2 가로 폭(W2) 및 제2 세로 폭(H2)을 가질 수 있다.
프로세서(110)는 서로 대응되는 복수의 입력 영역 각각과 복수의 출력 영역 각각에 대한 복수의 제1 재구성 에러를 식별할 수 있다. 프로세서(110)는 복수의 입력 영역 각각과 복수의 출력 영역 각각을 서로 대응시켜 식별할 수 있다. 예를 들어 프로세서(110)는 제1 입력 영역(IR1)과 제1 출력 영역(OR1)을 서로 대응시켜 제3 페어 영역(P3)으로 식별할 수 있다. 예를 들어 프로세서(110)는 제2 입력 영역(IR2)과 제2 출력 영역(OR2)을 서로 대응시켜 제4 페어 영역(P4)으로 식별할 수 있다. 프로세서(110)는 이러한 방식으로 분할된 입력 이미지 및 출력 이미지 각각의 영역에 대해 서로 대응되는 페어 영역을 식별할 수 있다.
프로세서(110)는 서로 대응되는 입력 영역과 출력 영역에 대해 재구성 판정 에러를 계산함으로써, 서로 대응되는 전체의 입력 영역과 전체의 출력 영역에 대한 복수의 제1 재구성 에러를 식별할 수 있다. 예를 들어, 프로세서(110)는 제3 페어 영역(P3)에 대한 제1 재구성 판정 에러를 식별할 수 있다. 예를 들어 프로세서(110)는 제4 페어 영역(P4)에 대한 제2 재구성 판정 에러를 식별할 수 있다. 프로세서(110)는 이러한 방식으로, 모든 페어 영역에 대해 재구성 판정 에러를 식별할 수 있다. 복수의 제1 재구성 에러는, 모든 페어 영역에 대해 식별된 재구성 판정 에러를 포함할 수 있다. 예를 들어 복수의 제1 재구성 에러는, 제1 재구성 판정 에러 및 제2 재구성 판정 에러를 포함할 수 있다.
몇몇 실시예에서 프로세서(110)는, SSIM을 이용하여 재구성 판정 에러를 계산할 수 있다.
다시 도 1 및 도 2를 참조하면, 프로세서(110)는 임계값과 복수의 제1 재구성 에러 각각의 비교 결과를 기초로, 비정상 영역을 식별할 수 있다(S700). 프로세서(110)는 임계값과 복수의 제1 재구성 에러 각각의 비교 결과를 기초로, 서로 대응되는 복수의 입력 영역 각각과 복수의 출력 영역 각각 중 비정상 영역을 식별할 수 있다.
프로세서(110)는 임계값과 복수의 제1 재구성 에러 각각을 비교할 수 있다. 복수의 제1 재구성 에러는 예를 들어, 제1 재구성 판정 에러와 제2 재구성 판정 에러를 포함할 수 있다. 이 경우 프로세서(110)는 임계값과 제1 재구성 판정 에러를 비교하고, 임계값과 제2 재구성 판정 에러를 비교할 수 있다.
프로세서(110)는 이러한 방식으로, 모든 페어 영역 각각에 대해 계산된 재구성 판정 에러와 임계값을 비교할 수 있다. 프로세서(110)는 모든 페어 영역 각각에 대해 계산된 재구성 판정 에러와 임계값을 비교함으로써, 페어 영역 각각이 정상인지 비정상인지 판단할 수 있다.
예를 들어 프로세서(110)가 SSIM을 이용하여 복수의 제1 재구성 에러 및 복수의 제2 재구성 에러를 계산한 경우, 프로세서(110)는 임계값보다 낮은 재구성 판정 에러를 갖는 입력 영역 및 출력 영역을 비정상 영역으로 식별할 수 있다. 예를 들어 프로세서(110)가 SSIM을 이용하여 복수의 제1 재구성 에러 및 복수의 제2 재구성 에러를 계산한 경우, 프로세서(110)는 임계값보다 높은 재구성 판정 에러를 갖는 입력 영역 및 출력 영역을 정상 영역으로 식별할 수 있다.
도 6은 도 2의 단계 S700을 설명하기 위한 도면이다.
도 1, 도 2 및 도 6을 참조하면, 프로세서(110)는 서로 대응되는 복수의 입력 영역 각각과 복수의 출력 영역 각각에 대한 복수의 제1 재구성 에러를, 판정 대상 입력 이미지에 대응되는 표시 이미지(DI)에 표시할 수 있다. 프로세서(110)는 서로 대응되는 페어 영역 각각에 대해 계산한 재구성 판정 에러를, 페어 영역 별로 표시 이미지(DI) 상에 표시하여 제공할 수 있다. 표시 이미지(DI)는, 판정 대상 입력 이미지에 대응되는 이미지로, 예를 들어 판정 대상 입력 이미지일 수도 있고, 판정 대상 입력 이미지가 전처리된 이미지일 수도 있다.
프로세서(110)는 복수의 제1 재구성 에러를 표시 이미지(DI)에 표시하는 경우, 입력 영역이 정상인지 비정상인지 함께 표시할 수 있다. 예를 들어 프로세서(110)는 제1 입력 영역(IR1) 및 제1 출력 영역(OR1)에 대한 제1 재구성 판정 에러를 표시 이미지(DI)에 표시하고(702), 제1 재구성 판정 에러와 임계값과의 비교 결과를 기초로 제1 입력 영역(IR1) 및 제1 출력 영역(OR1)이 정상임을 함께 표시할 수 있다. 예를 들어 프로세서(110)는 제3 입력 영역(IR3) 및 제3 출력 영역(OR3)에 대한 제3 재구성 판정 에러를 표시 이미지(DI)에 표시하고(703), 제3 재구성 판정 에러와 임계값과의 비교 결과를 기초로 제3 입력 영역(IR3) 및 제3 출력 영역(OR3)이 비정상임을 함께 표시할 수 있다. 예를 들어 프로세서(110)는 제6 입력 영역(IR6) 및 제6 출력 영역(OR6)에 대한 제6 재구성 판정 에러를 표시 이미지(DI)에 표시하고(704), 제6 재구성 판정 에러와 임계값과의 비교 결과를 기초로 제6 입력 영역(IR6) 및 제6 출력 영역(OR6)이 비정상임을 함께 표시할 수 있다.
몇몇 실시예에서 프로세서(110)는, 판정 대상 입력 이미지와 판정 대상 출력 이미지에 대한 제3 재구성 에러를 식별하고, 제3 재구성 에러를 표시 이미지(DI)에 표시(701)할 수 있다. 즉 프로세서(110)는 비교를 위해, 전체의 판정 대상 입력 이미지와 전체의 판정 대상 출력 이미지에 대한 제3 재구성 에러를 계산하여 표시 이미지(DI)에 표시할 수 있다. 본 발명의 실시예에 따른 전자 장치(100)에 따르면, 제3 재구성 에러는 임계값과 비교 시 비정상으로 판단 되었어도, 판정 대상 입력 이미지 및 판정 대상 출력 이미지 각각의 분할 영역(예: 입력 영역 및 출력 영역)의 일부는 정상으로 판단될 수 있다. 본 발명의 실시예에 따른 전자 장치(100)는 재구성 에러 계산 시 오토 인코더(200)의 입력 이미지와 출력 이미지 각각을 분할하여, 분할된 영역에 대한 재구성 에러를 계산함으로써, 전체의 입력 및 출력 이미지를 대상으로 재구성 에러를 계산한 결과보다 더욱 정교하고 섬세한 정상 및 비정상 판단이 가능하도록 할 수 있다.
몇몇 실시예에서, 판정 대상 입력 이미지는, 일정 궤도를 따라 반복적으로 움직이는 촬영 대상에 대한 캡처 이미지일 수 있다. 이에 따라, 비정상 영역은, 일정 궤도 중 일부 궤도를 이탈한 움직임이 식별된 것일 수 있다. 예를 들어, 도 6의 판정 대상 입력 이미지는 미리 설정된 제1 내지 제4 좌표로 운동하는 로봇 팔에 대한 캡처 이미지일 수 있다. 이 때 제3 좌표는 정상 좌표에서 비정상 좌표로 수정된 경우일 수 있다. 프로세서(110)는 변화된 궤도를 지나는 로봇 팔에 대한 캡처 이미지를 판정 대상 입력 이미지로 하여 재구성 판정 에러를 계산할 수 있다. 그 결과, 제3 좌표 근방인 제3 입력 영역(IR3) 및 제3 출력 영역(OR3)과, 제6 입력 영역(IR6) 및 제6 출력 영역(OR6)에 대해 비정상으로 판정되었다. 본 발명의 실시예에 따른 전자 장치(100)는 판정 대상 입력 이미지 및 판정 대상 출력 이미지 각각을 분할하여, 분할된 영역 각각에 대해 재구성 에러를 계산함으로써, 오토 인코더(200)의 재 학습 과정 없이도 오토 인코더(200)가 국소적인 비정상 판단을 정확히 할 수 있도록 할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(100)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(136))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(100))의 프로세서(110)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 이상 탐지를 위한 전자 장치에 있어서,
    프로세서; 및
    상기 프로세서에 작동적으로(operatively) 연결된 메모리를 포함하고,
    상기 메모리는, 실행되었을 때 상기 프로세서로 하여금:
    미리 학습된 오토 인코더에 정상 입력 이미지를 입력하고,
    상기 오토 인코더로부터, 상기 정상 입력 이미지에 대한 출력으로 정상 출력 이미지를 수신하고,
    상기 정상 입력 이미지 및 상기 정상 출력 이미지를 기초로, 임계값을 식별하고,
    상기 오토 인코더에 판정 대상 입력 이미지를 입력하고,
    상기 오토 인코더로부터, 상기 판정 대상 입력 이미지에 대한 출력으로 판정 대상 출력 이미지를 수신하고,
    상기 판정 대상 입력 이미지를 상기 오토 인코더에 입력한 후, 상기 판정 대상 입력 이미지를 복수의 입력 영역으로 분할하고,
    상기 판정 대상 출력 이미지를 상기 오토 인코더로부터 수신한 후, 상기 복수의 입력 영역 각각과 대응되도록, 상기 판정 대상 출력 이미지를 복수의 출력 영역으로 분할하고,
    서로 대응되는 상기 복수의 입력 영역 각각과 상기 복수의 출력 영역 각각에 대한 복수의 제1 재구성 에러를 식별하고,
    상기 임계값과 상기 복수의 제1 재구성 에러 각각의 비교 결과를 기초로, 서로 대응되는 상기 복수의 입력 영역 각각과 상기 복수의 출력 영역 각각 중 비정상 영역을 식별하도록 하는 인스트럭션들(instructions)을 저장하고,
    상기 복수의 제1 재구성 에러를 식별하고 상기 비정상 영역을 식별하는 것은,
    상기 복수의 입력 영역 중 제1 입력 영역 및 상기 제1 입력 영역과 대응되는 상기 복수의 출력 영역 중 제1 출력 영역을 식별하고,
    상기 제1 입력 영역과 상기 제1 출력 영역에 대한 제1 재구성 판정 에러로, 상기 복수의 제1 재구성 에러에 포함되는 상기 제1 재구성 판정 에러를 식별하고,
    상기 임계값과 상기 제1 재구성 판정 에러를 비교하여, 서로 대응되는 상기 제1 입력 영역과 상기 제1 출력 영역의 정상 여부를 식별하도록 하는
    전자 장치.
  2. 삭제
  3. 제1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 정상 입력 이미지를 복수의 정상 입력 영역으로 분할하고,
    상기 복수의 정상 입력 영역 각각과 대응되도록, 상기 정상 출력 이미지를 복수의 정상 출력 영역으로 분할하고,
    서로 대응되는 상기 복수의 정상 입력 영역 각각과 상기 복수의 정상 출력 영역 각각에 대한 복수의 제2 재구성 에러를 식별하고,
    상기 복수의 제2 재구성 에러 중 하나를 기초로, 상기 임계값을 식별하도록 하는
    전자 장치.
  4. 제3 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    SSIM(Structural Similarity Index Measure)를 기초로 상기 복수의 제1 재구성 에러, 상기 복수의 제2 재구성 에러 및 상기 임계값을 계산하고,
    상기 임계값은 상기 복수의 제2 재구성 에러 중 최소값을 기초로 설정되는
    전자 장치.
  5. 제3 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 복수의 정상 입력 영역 중 제1 정상 입력 영역 및 상기 제1 정상 입력 영역과 대응되는 상기 복수의 정상 출력 영역 중 제1 정상 출력 영역을 식별하고,
    상기 제1 정상 입력 영역과 상기 제1 정상 출력 영역에 대한 제1 재구성 임계 에러를 식별하고,
    상기 제1 재구성 임계 에러는 상기 복수의 제2 재구성 에러에 포함되는
    전자 장치.
  6. 제1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 복수의 입력 영역 및 상기 복수의 출력 영역 중 일부의 가로 폭과 세로 폭 각각은 제1 값을 갖도록 분할하고,
    상기 복수의 입력 영역 및 상기 복수의 출력 영역 중 나머지의 가로 폭과 세로 폭 중 적어도 하나는, 상기 제1 값보다 작은 제2 값을 갖도록 분할하도록 하는
    전자 장치.
  7. 제1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    SSIM(Structural Similarity Index Measure)를 기초로 상기 복수의 제1 재구성 에러 및 상기 임계값을 계산하도록 하는
    전자 장치.
  8. 제1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    서로 대응되는 상기 복수의 입력 영역 각각과 상기 복수의 출력 영역 각각에 대한 상기 복수의 제1 재구성 에러를, 상기 판정 대상 입력 이미지에 대응되는 표시 이미지에 표시하고,
    상기 비정상 영역을 상기 표시 이미지에 표시하도록 하는
    전자 장치.
  9. 제8 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 판정 대상 입력 이미지와 상기 판정 대상 출력 이미지에 대한 제3 재구성 에러를 식별하고,
    상기 제3 재구성 에러를 상기 표시 이미지에 표시하도록 하는
    전자 장치.
  10. 제1 항에 있어서,
    상기 판정 대상 입력 이미지는,
    일정 궤도를 따라 반복적으로 움직이는 촬영 대상에 대한 캡처 이미지이고,
    상기 비정상 영역은, 상기 일정 궤도 중 일부 궤도를 이탈한 움직임이 식별된 것인
    전자 장치.
KR1020230163117A 2023-11-22 2023-11-22 이상 탐지를 위한 전자 장치 KR102665174B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230163117A KR102665174B1 (ko) 2023-11-22 2023-11-22 이상 탐지를 위한 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230163117A KR102665174B1 (ko) 2023-11-22 2023-11-22 이상 탐지를 위한 전자 장치

Publications (1)

Publication Number Publication Date
KR102665174B1 true KR102665174B1 (ko) 2024-05-13

Family

ID=91073334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230163117A KR102665174B1 (ko) 2023-11-22 2023-11-22 이상 탐지를 위한 전자 장치

Country Status (1)

Country Link
KR (1) KR102665174B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200039049A (ko) * 2018-10-02 2020-04-16 (주)지엘테크 외관불량 검사방법 및 외관불량 검사 시스템
KR20220066633A (ko) * 2020-11-16 2022-05-24 한국전자통신연구원 탐지대상 이미지에서의 이상 부분 탐지 방법 및 시스템, 이의 복원 모델 학습 방법
KR102469871B1 (ko) * 2022-02-07 2022-11-23 주식회사 엘에스델 반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치
KR20230082346A (ko) * 2021-12-01 2023-06-08 고려대학교 산학협력단 오토인코더 및 합성곱 심층 신경망을 활용한 고해상도 영상 기반 제조품 결함 탐지 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200039049A (ko) * 2018-10-02 2020-04-16 (주)지엘테크 외관불량 검사방법 및 외관불량 검사 시스템
KR20220066633A (ko) * 2020-11-16 2022-05-24 한국전자통신연구원 탐지대상 이미지에서의 이상 부분 탐지 방법 및 시스템, 이의 복원 모델 학습 방법
KR20230082346A (ko) * 2021-12-01 2023-06-08 고려대학교 산학협력단 오토인코더 및 합성곱 심층 신경망을 활용한 고해상도 영상 기반 제조품 결함 탐지 방법
KR102469871B1 (ko) * 2022-02-07 2022-11-23 주식회사 엘에스델 반복 사이클을 보유한 기계장비에 대한 이상 탐지 장치

Similar Documents

Publication Publication Date Title
CN111986178B (zh) 产品缺陷检测方法、装置、电子设备和存储介质
CN109902832B (zh) 机器学习模型的训练方法、异常预测方法及相关装置
US10733813B2 (en) Managing anomaly detection models for fleets of industrial equipment
JP7154432B2 (ja) ロボットアームを制御するシステム及び方法
US20190164057A1 (en) Mapping and quantification of influence of neural network features for explainable artificial intelligence
US11586855B2 (en) Method for determining a confidence value of a detected object
CN108776834B (zh) 系统增强学习方法和装置、电子设备、计算机存储介质
EP2579210A1 (en) Face feature-point position correction device, face feature-point position correction method, and face feature-point position correction program
US9430711B2 (en) Feature point matching device, feature point matching method, and non-transitory computer readable medium storing feature matching program
US11094082B2 (en) Information processing apparatus, information processing method, robot system, and non-transitory computer-readable storage medium
CN112651490B (zh) 人脸关键点检测模型的训练方法及设备、可读存储介质
US20210216609A1 (en) Degradation detection system
US10108513B2 (en) Transferring failure samples using conditional models for machine condition monitoring
KR102665174B1 (ko) 이상 탐지를 위한 전자 장치
CN116740662B (zh) 一种基于激光雷达的车轴识别方法及系统
CN111914841B (zh) 一种ct图像处理方法和装置
US20220309771A1 (en) Method, device, and computer program for an uncertainty assessment of an image classification
EP4280100A1 (en) Binocular parallax estimation method, model training method and related device
CN115272166A (zh) 模型训练方法、缺陷目标检测方法、装置及存储介质
US20220188570A1 (en) Learning apparatus, learning method, computer program and recording medium
CN113033757B (zh) 用于测试神经网络中算子精度的方法、装置和计算机可读存储介质
KR102441086B1 (ko) 클래스 간 밸런스가 보완된 기계 학습 방법
KR20160119281A (ko) 반도체 프로세싱 장비에서의 편위 분류를 위한 방사형 기저 함수 네트워크들 및 하이퍼-큐브들의 사용
CN117475399B (zh) 车道线拟合方法、电子设备及可读介质
EP4202842A1 (en) An image encoding method for recording projection information of two-dimensional projections

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant