KR20240031018A - 인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템 - Google Patents

인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템 Download PDF

Info

Publication number
KR20240031018A
KR20240031018A KR1020230090949A KR20230090949A KR20240031018A KR 20240031018 A KR20240031018 A KR 20240031018A KR 1020230090949 A KR1020230090949 A KR 1020230090949A KR 20230090949 A KR20230090949 A KR 20230090949A KR 20240031018 A KR20240031018 A KR 20240031018A
Authority
KR
South Korea
Prior art keywords
image data
abnormality
command
inspection object
diagnostic
Prior art date
Application number
KR1020230090949A
Other languages
English (en)
Inventor
김기곤
신성창
유승조
이재욱
임상민
Original Assignee
주식회사 엘지에너지솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지에너지솔루션 filed Critical 주식회사 엘지에너지솔루션
Priority to PCT/KR2023/012873 priority Critical patent/WO2024049194A1/ko
Publication of KR20240031018A publication Critical patent/KR20240031018A/ko

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/048—Monitoring; Safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 이상 진단 장치는, 공장 모니터링 시스템 내에 위치하는 이상 진단 장치로서, 적어도 하나의 프로세서; 상기 적어도 하나의 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리;를 포함할 수 있다.
여기에서, 상기 적어도 하나의 명령은, 이미지 센서로부터 검사 대상물에 대한 이미지 데이터를 수신하는 명령; 및 상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 명령을 포함할 수 있다.

Description

인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템{ABNORMALITY DIAGNOSIS METHOD BASED ON ARTIFICIAL INTELLIGENCE MODEL, ABNORMALITY DIAGNOSIS DEVICE AND FACTORY MONITORING SYSTEM USING THE SAME}
본 발명은 이상 진단 방법, 이상 진단 장치 및 공장 모니터링 시스템에 관한 것으로, 보다 구체적으로는 인공지능 모델 기반의 진단 모델을 이용해 검사 대상물을 진단하는 이상 진단 방법과, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템 에 관한 것이다.
이차 전지는 방전 이후에도 충전을 통해 재사용이 가능한 전지로, 휴대용 전화기, 태블릿 PC, 청소기 등 소형 디바이스의 에너지원으로 활용될 수 있으며, 개인 이동 수단(Personal Mobility), 자동차, 스마트 그리드용 ESS(Energy Storage System) 등의 중대형 에너지원으로서도 활용되고 있다.
이차 전지는 시스템의 요구 조건에 따라 다수의 배터리 셀들이 직병렬로 연결된 배터리 모듈, 또는 배터리 모듈들이 직병렬로 연결된 배터리 팩 등의 어셈블리 형태로 사용된다.
배터리 셀 또는 배터리 어셈블리를 생산하기 위해 다양한 공정들이 요구된다. 여기에서, 생산 라인에 각 공정들을 수행하기 위한 자동화 장비들이 설치되고, 자동화 장비들이 유기적으로 연결됨으로써, 배터리 셀 또는 배터리 어셈블리의 대량 생산이 가능하게 된다.
생산품의 품질을 요구 기준에 만족시키기 위해, 생산 라인 상 주요 가공점에서의 모니터링이 수행된다. 일반적으로, 생산 라인 상 주요 가공점에 설치되는 카메라 장비를 이용한, 영상 기반의 모니터링 시스템(FMVS; Factory Monitoring Visual System)이 활용된다. FMVS의 경우, 작업자가 디스플레이를 통해 출력되는 영상을 육안으로 확인하고 특정 설비 또는 가공점에 대한 이상 여부를 판단하여야 함에 따라, 실시간 공정 관리가 불가능하며, 진단 정확도 측면에서도 한계가 있다.
상기와 같은 문제점을 해결하기 위한 기술로서, 실시간 공정 관리가 가능하며, 진단 정확도를 대폭 향상시킬 수 있는 적절한 공장 모니터링 기술이 필요하다.
한국공개특허 2018-0009563호
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 인공지능 모델 기반의 이상 진단 장치를 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 이러한 이상 진단 장치에 의한 이상 진단 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은, 이러한 이상 진단 장치를 포함하는 공장 모니터링 시스템을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이상 진단 장치는, 공장 모니터링 시스템 내에 위치하는 이상 진단 장치로서, 적어도 하나의 프로세서; 상기 적어도 하나의 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리;를 포함할 수 있다.
여기에서, 상기 적어도 하나의 명령은, 이미지 센서로부터 검사 대상물에 대한 이미지 데이터를 수신하는 명령; 및 상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 명령을 포함할 수 있다.
상기 이미지 데이터를 수신하는 명령은, 상기 검사 대상물에 대한 이미지 데이터를 기설정된 단위 시간마다 수신하는 명령을 포함할 수 있다.
상기 진단 모델은, 상기 검사 대상물에 대한 이미지 데이터를 입력받아, 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터를 출력하도록 사전 학습될 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 기정의된 정상 패턴 데이터와 상기 수신된 이미지 데이터의 비교 결과에 기초하여 진단 결과 데이터를 출력하는 명령을 포함할 수 있다.
여기에서, 상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 상기 정상 패턴 데이터와 상기 이미지 데이터의 비교 결과에 기초하여 에러 스코어를 산출하는 명령; 및 상기 산출된 에러 스코어가 기정의된 임계값 이상인 경우, 상기 진단 대상물에 이상 상태가 발생한 것으로 판단하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 명령; 상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터 중 적어도 일부 영역으로 정의된 관심 영역의 위치를 보정하는 명령; 및 상기 보정된 관심 영역의 위치를 기초로 상기 검사 대상물에 대한 이상 여부를 진단하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 명령; 상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터를 상기 표준 이미지 데이터로 변환하는 보정 함수를 도출하는 명령; 상기 도출된 보정 함수를 이용하여 상기 수신된 이미지 데이터를 보정하는 명령; 및 상기 보정된 이미지 데이터를 상기 진단 모델에 입력하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 상기 검사 대상물의 동작 상태를 확인하는 명령; 및 상기 검사 대상물이 정지 상태인 경우, 상기 수신된 이미지 데이터를 상기 진단 모델에 미입력하거나, 또는 상기 진단 모델에 의해 출력되는 진단 결과 데이터를 무효화하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 상기 산출된 에러 스코어가 기정의된 임계값 이상이더라도, 사전 정의된 예외 처리 유형으로 분류되는 경우, 상기 검사 대상물을 정상 상태로 판단하는 명령을 포함할 수 있다.
상기 적어도 하나의 명령은, 진단 결과, 비정상 상태로 판정된 복수의 이미지 데이터들을 수집하는 명령; 상기 이미지 데이터들 각각에 대한 특징 데이터를 추출하는 명령; 및 추출된 특징 데이터들을 기초로 상기 이미지 데이터들을 복수의 클러스터들로 군집화하는 명령을 더 포함할 수 있다.
여기에서, 상기 적어도 하나의 명령은, 사용자에 의해 입력되는 불량 유형 정보를 기초로, 상기 클러스터들 각각에 대한 레이블링을 수행하는 명령; 및 레이블링된 클러스터들을 이용해, 상기 진단 모델을 재학습시키는 명령을 더 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이상 진단 방법은, 공장 모니터링 시스템 내에 위치하는 이상 진단 장치에 의한 이상 진단 방법로서, 이미지 센서로부터 검사 대상물에 대한 이미지 데이터를 수신하는 단계; 및 상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 단계를 포함할 수 있다.
상기 이미지 데이터를 수신하는 단계는, 상기 검사 대상물에 대한 이미지 데이터를 기설정된 단위 시간마다 수신하는 단계를 포함할 수 있다.
상기 진단 모델은, 상기 검사 대상물에 대한 이미지 데이터를 입력받아, 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터를 출력하도록 사전 학습될 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 단계는, 기정의된 정상 패턴 데이터와 상기 수신된 이미지 데이터의 비교 결과에 기초하여 진단 결과 데이터를 출력하는 단계를 포함할 수 있다.
여기에서, 상기 검사 대상물에 대한 이상 여부를 진단하는 단계는, 상기 정상 패턴 데이터와 상기 이미지 데이터의 비교 결과에 기초하여 에러 스코어를 산출하는 단계; 및 상기 산출된 에러 스코어가 기정의된 임계값 이상인 경우, 상기 진단 대상물에 이상 상태가 발생한 것으로 판단하는 단계를 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 단계는, 기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 단계; 상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터 중 적어도 일부 영역으로 정의된 관심 영역의 위치를 보정하는 단계; 및 상기 보정된 관심 영역의 위치를 기초로 상기 검사 대상물에 대한 이상 여부를 진단하는 단계를 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 단계는, 기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 단계; 상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터를 상기 표준 이미지 데이터로 변환하는 보정 함수를 도출하는 단계; 상기 도출된 보정 함수를 이용하여 상기 수신된 이미지 데이터를 보정하는 단계; 및 상기 보정된 이미지 데이터를 상기 진단 모델에 입력하는 단계를 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 단계는, 상기 검사 대상물의 동작 상태를 확인하는 단계; 및 상기 검사 대상물이 정지 상태인 경우, 상기 수신된 이미지 데이터를 상기 진단 모델에 미입력하거나, 또는 상기 진단 모델에 의해 출력되는 진단 결과 데이터를 무효화하는 단계를 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 단계는, 상기 산출된 에러 스코어가 기정의된 임계값 이상이더라도, 사전 정의된 예외 처리 유형으로 분류되는 경우, 상기 검사 대상물을 정상 상태로 판단하는 단계를 포함할 수 있다.
상기 이상 진단 방법은, 진단 결과, 비정상 상태로 판정된 복수의 이미지 데이터들을 수집하는 단계; 상기 이미지 데이터들 각각에 대한 특징 데이터를 추출하는 단계; 및 추출된 특징 데이터들을 기초로 상기 이미지 데이터들을 복수의 클러스터들로 군집화하는 단계를 더 포함할 수 있다.
여기에서, 상기 이상 진단 방법은, 사용자에 의해 입력되는 불량 유형 정보를 기초로, 상기 클러스터들 각각에 대한 레이블링을 수행하는 단계; 및 레이블링된 클러스터들을 이용해, 상기 진단 모델을 재학습시키는 단계를 더 포함할 수 있다.
상기 또 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 공장 모니터링 시스템은, 검사 대상물의 적어도 일부 영역에 대한 이미지 데이터를 생성하는, 이미지 센서; 및 상기 이미지 센서로부터 상기 이미지 데이터를 수신하고, 상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 이상 진단 장치를 포함할 수 있다.
상기와 같은 본 발명의 실시예에 따르면, 공장 내 위치하는 검사 대상물에 대한 실시간 모니터링이 가능하며, 검사 대상물에 대한 진단 정확도를 대폭 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 공장 모니터링 시스템의 블록 구성도이다.
도 2는 본 발명의 다른 실시예에 따른 공장 모니터링 시스템의 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 진단 모델을 설명하기 위한 참조도이다.
도 4는 본 발명의 실시예에 따른 진단 모델의 동작을 설명하기 위한 참조도이다.
도 5는 본 발명의 실시예에 따른 GUI를 설명하기 위한 모니터링 단말의 화면 예시이다.
도 6 내지 9는 본 발명의 실시예에 따른 이상 진단 방법을 설명하기 위한 참조도이다.
도 10은 본 발명의 실시예에 따른 이상 진단 방법의 동작 순서도이다.
도 11은 본 발명의 실시예에 따른 이상 진단 장치의 블록 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기에서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 다양한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 한편, 본 발명에 따른 공장 모니터링 시스템이 배터리를 생산 또는 조립하는 공장에 설치되어 배터리, 또는 배터리 공정 장비에 대한 진단을 수행하는 것을 예시로 하여 설명하나, 본 발명의 범위가 이러한 검사 대상물의 종류에 한정되는 것은 아니다.
도 1은 본 발명의 실시예에 따른 공장 모니터링 시스템의 블록 구성도이다.
도 1을 참조하면, 본 발명에 따른 공장 모니터링 시스템(100)은, 하나 이상의 이미지 센서(110) 및 이상 진단 장치(120)를 포함하여 구성될 수 있다.
이미지 센서(110)는, 공장 내 위치하는 하나 이상의 검사 대상물(10)에 대한 이미지 데이터를 생성하는 장치이다. 예를 들어, 이미지 센서(110)는, 특정 위치에 고정되어 구성되는 카메라에 해당할 수 있다.
이미지 센서(110)는, 이상 진단 장치(120)와 네트워크를 통해 연결되어, 생성된 이미지 데이터를 이상 진단 장치(120)로 전달할 수 있다.
이미지 센서(110)는, 검사 대상물(10)의 특정 영역에 대한 이미지 데이터를 생성할 수 있다. 예를 들어, 이미지 센서(110)는, 조립 설비의 특정 위치에 설치되어, 특정 볼트의 체결 영역을 촬영하도록 구성될 수 있다. 다른 예를 들어, 이미지 센서(110)는, 전해액 주입 장치의 인근 설비에 설치되어, 전해액 주입 장치의 내부를 촬영하도록 구성될 수 있다.
이미지 센서(110)는, 기설정된 단위 시간마다 검사 대상물(10)에 대한 이미지 데이터를 생성하여 이상 진단 장치(120)로 전달할 수 있다. 예를 들어, 이미지 센서(110)는, 1초당 60개의 이미지 데이터(60fps)를 생성하여 이상 진단 장치(120)로 전달할 수 있다.
공장 모니터링 시스템(100)은, 복수의 이미지 센서(110)를 포함하여 구성될 수 있다. 여기에서, 이미지 센서들 각각은, 기정의된 위치에 배치되고, 대응되는 검사 대상물에 대한 이미지 데이터를 생성하고, 생성된 이미지 데이터를 이상 진단 장치(120)로 전달하도록 구성될 수 있다.
이미지 센서(110)는, 설치 위치, 검사 대상물의 종류, 진단 목적 등에 따라 기설정된 화각(FOV; Field Of View)을 갖도록 구성될 수 있다. 예를 들어, 복수의 볼트 체결 영역에 대한 진단을 위해 설치되는 이미지 센서는, 160도의 넓은 화각을 갖는 센서로 구성될 수 있다. 다른 예를 들어, 금형의 마모에 대한 진단을 위해 설치되는 이미지 센서는, 50도의 좁은 화각을 갖는 센서로 구성될 수 있다.
이상 진단 장치(120)는, 이미지 센서(110)로부터 이미지 데이터를 전달받고, 이미지 데이터를 기초로 검사 대상물에 대한 이상 여부를 진단하는 장치이다. 여기에서, 이상 진단 장치(120)는, 전달받은 이미지 데이터와 기정의된 진단 모델을 이용하여 검사 대상물에 대한 이상 여부를 진단할 수 있다.
이상 진단 장치(120)는, 전달받은 이미지 데이터와 진단 모델을 이용하여, 검사 대상물(10)에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터를 생성할 수 있다. 예를 들어, 이상 진단 장치(120)는, 위치 변동, 유격 발생, 체결 불량, 마모 발생 등에 대한 이상 발생 여부를 검출하고, 이상 상태가 발생된 검사 대상물을 특정하거나, 이상 상태가 발생된 특정 위치를 검출하도록 구성될 수 있다.
도 2는 본 발명의 다른 실시예에 따른 공장 모니터링 시스템의 블록 구성도이다.
도 2를 참조하면, 공장 모니터링 시스템(100)은, 하나 이상의 이미지 센서(110), 이상 진단 장치(120), 진단 모델(130) 및 모니터링 단말(140)을 포함하여 구성될 수 있다. 즉, 공장 모니터링 시스템(100)은, 도 1에 도시된 공장 모니터링 시스템의 구성에, 진단 모델(130) 및 모니터링 단말(140)을 더 포함하여 구성될 수 있다.
이미지 센서(110)는, 공장 내 위치하는 하나 이상의 검사 대상물(10)에 대한 이미지 데이터를 생성하고, 생성된 이미지 데이터를 이상 진단 장치(120)로 전달할 수 있다.
이상 진단 장치(120)는, 이미지 센서(110)로부터 이미지 데이터를 수신하고, 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델(130)을 이용하여 검사 대상물에 대한 이상 여부를 진단할 수 있다.
진단 모델(130)은, 검사 대상물에 대한 이미지 데이터를 입력받아, 진단 결과 데이터를 출력하도록 구성될 수 있다. 여기에서, 진단 모델(130)은, 입력 데이터로서 검사 대상물에 대한 이미지 데이터를 입력받고, 출력 데이터로서 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터를 출력하도록 사전 학습된, 인공지능 기반의 학습 모델에 해당할 수 있다.
실시예에서, 진단 모델(130)은, 진단 모델 생성 장치(200)에 의해 생성될 수 있다. 여기에서, 진단 모델 생성 장치(200)는, 사전 수집된 다수의 학습 데이터를 이용해 본 발명에 따른 진단 모델을 사전 학습시키고, 학습 과정이 완료된 진단 모델을 공장 모니터링 시스템(100)에 제공할 수 있다.
모니터링 단말(140)은, 검사 대상물에 대한 이미지 및 진단 결과 중 하나 이상을 출력하는 장치이다. 여기에서, 모니터링 단말(140)은, 이미지 센서(110)로부터 이미지 데이터를 수신하고, 이상 진단 장치(120)로부터 진단 결과 데이터를 수신하여, 기정의된 GUI(Graphical User Interface)를 통해 이미지 데이터와 진단 결과 데이터를 디스플레이하도록 구성될 수 있다.
모니터링 단말(140)은, 시간 단위마다 수신되는 이미지 데이터를 디스플레이 장치를 통해 실시간으로 출력하고, 특정 검사 대상물에 이상 상태가 발생되면, 해당 검사 대상물에 대한 진단 결과를 디스플레이 장치를 통해 출력할 수 있다.
즉, 모니터링 단말(140)은, 검사 대상물의 영상과 이상 정보를 실시간으로 출력하는 컴퓨팅 장치로, 작업자가 검사 대상물의 이상 상태, 이상 발생 위치 및 이상 유형 등을 직관적으로 파악하고, 이에 대한 사후 조치를 신속하게 수행할 수 있도록 지원할 수 있다.
도 3은 본 발명의 실시예에 따른 진단 모델을 설명하기 위한 참조도이다.
도 3을 참조하면, 진단 모델(130)은, 이미지 센서(110)로부터 단위 시간마다 수신되는 이미지 데이터(111)를 입력 데이터로 입력받고, 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터(131)를 출력하도록 구성될 수 있다.
여기에서, 진단 모델(130)은, 기정의된 정상 패턴 데이터와 수신된 이미지 데이터(111)를 비교하여, 비교 결과에 기초하여 진단 결과 데이터를 출력할 수 있다. 구체적으로, 진단 모델 생성 장치(200)는, 정상 상태인 검사 대상물에 대한 이미지 데이터들을 기초로 정상 패턴 데이터를 생성할 수 있다. 여기에서, 진단 모델(130)은, 정의된 정상 패턴 데이터와 입력되는 이미지 데이터를 비교하여 진단 결과 데이터를 출력하도록 사전 학습될 수 있다. 예를 들어, 진단 모델(130)은, 이미지 센서로부터 순차적으로 입력되는 이미지 데이터들을, 정상적으로 볼트 체결된 이미지에 기초하여 도출된 정상 상태의 볼트 체결 패턴 이미지와 비교하고, 비교 결과에 기초하여 불트 체결 불량 여부 및 불량 위치를 포함하는 진단 결과 데이터(131)를 출력할 수 있다.
도 4는 본 발명의 실시예에 따른 진단 모델의 동작을 설명하기 위한 참조도이다.
진단 모델(130)은, 정상 패턴 데이터와 이미지 데이터의 비교 결과에 기초하여 에러 스코어를 산출할 수 있다. 여기에서, 에러 스코어는, 정상 패턴 데이터와 입력되는 이미지 데이터의 차이를 수치화한 데이터로 정의될 수 있다.
산출된 에러 스코어가 기정의된 임계값 이상인 경우, 진단 모델(130)은, 진단 대상물에 이상 상태가 발생한 것으로 판단할 수 있다.
도 4를 참조하면, 진단 모델(130)은, 시간 단위마다 입력되는 이미지 데이터들을 정상 패턴 데이터와 순차적으로 비교하여 에러 스코어를 산출하고, 에러 스코어가 기정의된 임계값 이상인 경우, 이상 상태가 발생한 것으로 결정할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 이상 여부의 기준이 되는 임계값이 1.18로 사전 정의된 경우, 8700째 프레임의 이미지 데이터가 생성된 시점에 검사 대상물에 이상 상태가 발생된 것으로 결정될 수 있다.
도 5는 본 발명의 실시예에 따른 GUI를 설명하기 위한 모니터링 단말의 화면 예시이다.
모니터링 단말(140)은, 이미지 센서(110)로부터 수신된 이미지 데이터와, 이상 진단 장치(120)로부터 수신되는 진단 결과 데이터를 기정의된 GUI를 통해 디스플레이할 수 있다.
모니터링 단말(140)은, 도 5에 도시된 바와 같이, 진단 정보 출력 윈도우(510)를 통해 진단 결과 데이터를 항목별로 출력하고, 이미지 출력 윈도우(520)를 통해 검사 대상물에 대한 이미지를 출력할 수 있다.
진단 정보 출력 윈도우(510)는 기정의된 레이아웃에 따라 이상 발생 여부, 이상 발생 위치(예를 들어, 검사 대상물 또는 이미지 센서의 식별자), 이상 발생 시간 및 이상 유형 각각에 대한 정보를 출력하도록 정의될 수 있다.
이미지 출력 윈도우(520)는, 검사 대상물에 대한 이미지를 출력하도록 정의될 수 있다. 여기에서, 모니터링 단말(140)은, 검사 대상물의 이상 발생 영역(A)을 다른 영역과 구분되도록 시각화하여 표시(예를 들어, 사각형 박스로 표시)할 수 있다.
본 발명의 실시예에 따르면, 작업자가 진단 정보 출력 윈도우(510) 및 이미지 출력 윈도우(520)를 통해 검사 대상물의 이상 상태, 이상 발생 위치 및 이상 유형 등을 직관적으로 파악하고, 이에 대한 사후 조치를 신속하게 수행할 수 있도록 지원할 수 있다.
도 6 내지 9는 본 발명의 실시예에 따른 이상 진단 방법을 설명하기 위한 참조도이다. 이하에서는, 도 6 내지 9를 참조하여, 이상 진단 장치에 의한 진단 정확도를 더욱 향상시킬 수 있는 다양한 실시예에 대해 설명한다.
이미지 센서로부터 수신되는 이미지 데이터의 적어도 일부 영역은 관심 영역으로 사전 정의될 수 있다. 여기에서, 진단 모델은, 관심 영역을 기정의된 정상 패턴 데이터와 비교하여 진단 결과 데이터를 출력하도록 구성될 수 있다.
공정 설비가 동작하는 과정에서, 설비의 진동, 또는 작업자의 조작 실수 등으로 인해, 이미지 센서의 각도가 미세하게 변경될 수 있다. 이 경우, 이미지 센서가 촬영하는 영역이 변경되어, 이미지 데이터 상의 관심 영역이 어긋나게 된다. 이에 따라, 진단 모델은 이상 상태가 발생되지 않았음에도 불구하고, 이상 상태가 발생된 것으로 오진단할 수 있다. 본 발명의 실시예에 따른 이상 진단 장치는, 이미지 센서의 각도 틀어짐으로 인한 오진단을 방지하기 위하여, 기정의된 프로세스에 따라 관심 영역의 위치를 보정할 수 있다.
구체적으로, 이상 진단 장치는, 기저장된 표준 이미지 데이터와 이미지 센서로부터 수신된 이미지 데이터를 비교할 수 있다. 여기에서, 표준 이미지 데이터는, 정상 상태인 검사 대상물에 대한 이미지 데이터에 해당할 수 있다. 표준 이미지 데이터는, 저장 장치에 사전 저장되고, 이상 진단 장치는, 수신되는 이미지 데이터들을 기저장된 표준 이미지 데이터와 순차적으로 비교할 수 있다.
이상 진단 장치는, 표준 이미지 데이터와 수신된 이미지 데이터의 특징점을 비교하거나, 또는 기정의된 객체 식별 알고리즘을 이용해 식별된 객체의 위치를 비교하도록 구성될 수 있다.
비교 결과에 따른 위치 차이 값이 기정의된 임계값 이상인 경우, 이상 진단 장치는, 비교 결과에 기초하여, 이미지 데이터의 관심 영역의 위치를 보정할 수 있다. 여기에서, 이상 진단 장치는, 특징점들의 위치 차이 또는 식별된 객체들의 위치 차이를 기초로, 이미지 데이터 상 관심 영역을 위치를 정위치로 보정할 수 있다.
이후, 이상 진단 장치는, 보정된 관심 영역의 위치를 기초로 검사 대상물에 대한 이상 여부를 진단할 수 있다. 즉, 이상 진단 장치는, 위치 보정된 관심 영역을 진단 모델에 입력하여 진단 결과 데이터를 출력할 수 있다.
예를 들어, 도 6을 참조하면, 이상 진단 장치는, 이미지 센서로부터 수신된 이미지 데이터(610)를 기저장된 표준 이미지 데이터(620)와 비교할 수 있다. 여기에서, 이상 진단 장치는, 표준 이미지 데이터(620)와 이미지 데이터(610)의 특징점을 비교하거나, 또는 기정의된 객체 식별 알고리즘을 이용해, 볼트 체결 영역을 식별하고, 볼트 체결 위치들에 대한 위치 차이 값을 산출할 수 있다. 이후, 이상 진단 장치는, 산출된 위치 차이 값을 이용해 이미지 데이터(610) 상 관심 영역(ROI)의 위치를 도 6과 같이 변경할 수 있다. 이후, 이상 진단 장치는, 위치 보정된 관심 영역을 진단 모델에 입력하여 진단 결과 데이터를 출력할 수 있다.
공정 설비가 동작하는 과정에서, 검사 대상물의 주변 환경 변화로 인해 이미지 데이터의 특성이 변화될 수 있다. 예를 들어, 검사 대상물 주변의 조명이 오프되거나, 또는 조명 밝기가 변화되는 경우, 이미지 데이터의 색상, 밝기, 채도 등 특성 값이 변화될 수 있다. 이에 따라, 진단 모델은 이상 상태가 발생되지 않았음에도 불구하고, 이상 상태가 발생된 것으로 오진단할 수 있다. 본 발명의 실시예에 따른 이상 진단 장치는, 검사 대상물의 주변 환경 변화로 인한 오진단을 방지하기 위하여, 기정의된 프로세스에 따라 이미지 데이터를 보정할 수 있다.
구체적으로, 이상 진단 장치는, 기저장된 표준 이미지 데이터와 이미지 센서로부터 수신된 이미지 데이터를 비교할 수 있다. 여기에서, 표준 이미지 데이터는, 정상 상태인 검사 대상물에 대한 이미지 데이터에 해당할 수 있다. 표준 이미지 데이터는, 저장 장치에 사전 저장되고, 이상 진단 장치는, 수신되는 이미지 데이터들을 기저장된 표준 이미지 데이터와 순차적으로 비교할 수 있다.
이상 진단 장치는, 표준 이미지 데이터와 수신된 이미지 데이터의 특성 값(예를 들어, 색상, 밝기 및 채도 중 하나 이상)을 비교하도록 구성될 수 있다.
표준 이미지 데이터와 수신된 이미지 데이터 간의 차이가 기정의된 임계값 이상인 경우, 이상 진단 장치는, 비교 결과에 기초하여, 이미지 데이터에 대한 보정 함수를 도출할 수 있다. 여기에서, 보정 함수는 수신된 이미지 데이터를 표준 이미지 데이터로 변환하는 데이터 변환 코드로 구현될 수 있다.
이후, 이상 진단 장치는, 보정 함수에 따라 보정된 이미지 데이터를 기초로 검사 대상물에 대한 이상 여부를 진단할 수 있다. 즉, 이상 진단 장치는, 보정된 이미지 데이터를 진단 모델에 입력하여 진단 결과 데이터를 출력할 수 있다.
예를 들어, 도 7을 참조하면, 이미지 센서로부터 수신된 이미지 데이터(B 또는 C)가 수신되면, 이상 진단 장치는, 저장 장치에 사전 저장된 표준 이미지 데이터(A)와 수신된 이미지 데이터(B 또는 C)의 특성 값을 비교할 수 있다. 특성 값의 차이가 기정의된 임계값 이상인 경우, 이상 진단 장치는, 수신된 이미지 데이터(B 또는 C)를 표준 이미지 데이터(A)로 변환할 수 있는 보정 함수를 도출할 수 있다. 이후, 이상 진단 장치는, 이후, 이상 진단 장치는, 도출된 보정 함수를 기초로 이미지 데이터(B 또는 C)를 보정한 후, 보정된 이미지 데이터를 진단 모델에 입력하여 진단 결과 데이터를 출력할 수 있다.
공정 설비가 동작하는 과정에서, 공정 설비가 정지 상태로 전환되는 경우 이미지 센서에 의해 생성되는 이미지 데이터에 검사 대상물 이외 다른 객체가 포함될 수 있다. 예를 들어, 공정 설비가 정지되는 경우, 도 8에 도시된 바와 같이, 작업자의 신체 일부가 검사 대상물과 함께 촬영될 수 있다. 이에 따라, 진단 모델은 이상 상태가 발생되지 않았음에도 불구하고, 이상 상태가 발생된 것으로 오진단할 수 있다. 본 발명의 실시예에 따른 이상 진단 장치는, 검사 대상물의 동작 상태 전환으로 인한 오진단을 방지하기 위하여, 기정의된 프로세스에 따라 진단 결과를 보정하거나, 진단 결과를 무효화할 수 있다.
구체적으로, 이상 진단 장치는, 검사 대상물의 동작 상태를 확인할 수 있다.
실시예에서, 이상 진단 장치는, 검사 대상물 또는 검사 대상물의 제어 장치와 연동하여 검사 대상물의 동작 상태를 확인할 수 있다.
다른 실시예에서, 이상 진단 장치는, 기정의된 동작 상태 감지 알고리즘을 이용해 검사 대상물의 동작 상태를 확인할 수 있다. 예를 들어, 진단 모델은 검사 대상물의 동작 영상을 학습하여 검사 대상물이 정상 동작 속도로 동작하는지 여부를 판단하도록 사전 학습되어 구성될 수 있다. 여기에서, 이상 진단 장치는, 이미지 센서로부터 수신되는 이미지 데이터들을 사전 학습된 진단 모델에 입력하여 검사 대상물이 정상 속도 이하로 동작되는지를 판단함으로써, 검사 대상물이 정지 상태로 전환되었는지 여부를 확인할 수 있다.
검사 대상물이 정지 상태로 전환된 것으로 확인되는 경우, 이상 진단 장치는, 정지 상태로 전환된 시점 이후에 수신되는 이미지 데이터를 진단 모델에 미입력하거나, 또는 진단 모델에 의한 진단 결과 데이터를 무효화할 수 있다.
이후, 검사 대상물이 정지 상태에서 동작 상태로 전환된 것으로 확인되면, 이상 진단 장치는, 수신되는 이미지 데이터를 기초로 검사 대상물에 대한 이상 여부를 진단할 수 있다.
공정 설비가 동작하는 과정에서, 이전 공정 단계에서의 불량 판정으로 인해 원자재가 공정 설비에 공급되지 않는 경우, 이미지 센서에 의해 생성되는 이미지 데이터에 원자재의 형상이 미포함될 수 있다. 이에 따라, 진단 모델은 이상 상태가 발생되지 않았음에도 불구하고, 이상 상태가 발생된 것으로 오진단할 수 있다. 이러한 오진단 케이스는 공정 과정에서 매우 낮은 빈도로 발생된다.
본 발명의 실시예에 따른 이상 진단 장치는, 낮은 빈도수로 발생되는 오진단을 방지하기 위하여, 기정의된 예외 처리 프로세스에 따라 진단 결과를 보정하거나, 진단 결과를 무효화할 수 있다.
구체적으로, 진단 모델은 예외 처리 대상이 되는 이미지 데이터를 예외 처리 유형으로 분류하도록 지도 학습 방식으로 사전 학습되어 구성될 수 있다. 여기에서, 진단 모델에 의해 예외 처리 유형으로 분류되는 경우, 산출된 에러 스코어가 기정의된 임계값 이상이더라도, 이상 진단 장치는, 검사 대상물을 정상 상태로 판단하거나, 또는 진단 결과 데이터를 무료 처리할 수 있다.
본 발명에 따른 진단 모델을 이용한 진단 데이터가 누적되면, 진단 정확도의 향상을 위해, 진단 모델이 재학습되어 갱신될 수 있다. 여기에서, 진단 모델은 진단 결과에 기초하여 레이블링된 이미지 데이터들을 재학습하여 갱신될 수 있다.
우선, 이상 진단 장치는, 진단 모델에 의해 비정상 상태로 판정된 복수의 이미지 데이터들을 수집할 수 있다.
이후, 이상 진단 장치는, 수집된 이미지 데이터들 각각에 대한 특징 데이터(feature data)를 추출하고, 추출된 특징 데이터들을 기초로 이미지 데이터들을 복수의 클러스터들로 군집화할 수 있다. 예를 들어, 도 9를 참조하면, 수집된 이미지 데이터에서 추출된 복수의 특징들을 기초로 2차원 맵이 생성될 수 있으며, 2차원 맵 상의 특징의 위치에 따라 이미지 데이터들이 복수의 클러스터들(C1 ~ C5)로 군집화될 수 있다. 여기에서, 각 클러스터들은 작업자에 의해 입력되는 불량 유형 정보에 기초하여 레이블링될 수 있다. 예를 들어, C1은 [오진단], C2는 [위치 불량], C3는 [예외 처리], C4는 [볼트 체결 불량], C5는 [마모 불량]으로 레이블링될 수 있다.
이상 진단 장치는, 각 클러스터별로 레이블링된 이미지 데이터들을 이용해 진단 모델을 재학습시킬 수 있다. 여기에서, 이상 진단 장치는, 진단 모델 생성 장치에, 레이블링된 이미지 데이터들을 전송하여 진단 모델 생성 장치가 진단 모델을 재학습시키도록 할 수 있다. 재학습이 완료되면, 이상 진단 장치는, 진단 모델 생성 장치로부터 재학습 완료된 진단 모델을 수신하여, 기저장된 진단 모델을 수신된 진단 모델로 갱신할 수 있다.
도 10은 본 발명의 실시예에 따른 이상 진단 방법의 동작 순서도이다.
이미지 센서(110)가, 검사 대상물(10)에 대한 이미지 데이터(111)를 단위 시간마다 생성하여 이상 진단 장치(120)로 전송할 수 있다(S1010).
이상 진단 장치(120)는, 이미지 센서(110)로부터 수신되는 이미지 데이터(111)를 사전 학습된 진단 모델(130)에 순차적으로 입력할 수 있다(S1020).
이상 진단 장치(120)는, 진단 모델(130)을 이용해 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 실시간으로 진단할 수 있다(S1030).
검사 대상물(10)에 이상이 발생한 것으로 판정되면, 이상 진단 장치(120)는, 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함한 진단 결과 데이터를 출력할 수 있다(S1040). 여기에서, 이상 진단 장치(120)는, 진단 결과 데이터를 모니터링 단말(140)로 전달할 수 있다.
모니터링 단말(140)은, 이상 진단 장치(120)로부터 전달된 진단 결과 데이터를 이미지 센서(110)로부터 수신된 이미지 데이터와 동기화하여 디스플레이 장치를 통해 출력할 수 있다(S1050).
도 11은 본 발명의 실시예에 따른 이상 진단 장치의 블록 구성도이다.
본 발명의 실시예에 따른 이상 진단 장치(1100)는, 적어도 하나의 프로세서(1110), 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리(1120) 및 네트워크와 연결되어 통신을 수행하는 송수신 장치(1130)를 포함할 수 있다.
상기 적어도 하나의 명령은, 이미지 센서로부터 검사 대상물에 대한 이미지 데이터를 수신하는 명령; 및 상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 명령을 포함할 수 있다.
상기 이미지 데이터를 수신하는 명령은, 상기 검사 대상물에 대한 이미지 데이터를 기설정된 단위 시간마다 수신하는 명령을 포함할 수 있다.
상기 진단 모델은, 상기 검사 대상물에 대한 이미지 데이터를 입력받아, 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터를 출력하도록 사전 학습될 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 기정의된 정상 패턴 데이터와 상기 수신된 이미지 데이터의 비교 결과에 기초하여 진단 결과 데이터를 출력하는 명령을 포함할 수 있다.
여기에서, 상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 상기 정상 패턴 데이터와 상기 이미지 데이터의 비교 결과에 기초하여 에러 스코어를 산출하는 명령; 및 상기 산출된 에러 스코어가 기정의된 임계값 이상인 경우, 상기 진단 대상물에 이상 상태가 발생한 것으로 판단하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 명령; 상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터 중 적어도 일부 영역으로 정의된 관심 영역의 위치를 보정하는 명령; 및 상기 보정된 관심 영역의 위치를 기초로 상기 검사 대상물에 대한 이상 여부를 진단하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 명령; 상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터를 상기 표준 이미지 데이터로 변환하는 보정 함수를 도출하는 명령; 상기 도출된 보정 함수를 이용하여 상기 수신된 이미지 데이터를 보정하는 명령; 및 상기 보정된 이미지 데이터를 상기 진단 모델에 입력하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 상기 검사 대상물의 동작 상태를 확인하는 명령; 및 상기 검사 대상물이 정지 상태인 경우, 상기 수신된 이미지 데이터를 상기 진단 모델에 미입력하거나, 또는 상기 진단 모델에 의해 출력되는 진단 결과 데이터를 무효화하는 명령을 포함할 수 있다.
상기 검사 대상물에 대한 이상 여부를 진단하는 명령은, 상기 산출된 에러 스코어가 기정의된 임계값 이상이더라도, 사전 정의된 예외 처리 유형으로 분류되는 경우, 상기 검사 대상물을 정상 상태로 판단하는 명령을 포함할 수 있다.
상기 적어도 하나의 명령은, 진단 결과, 비정상 상태로 판정된 복수의 이미지 데이터들을 수집하는 명령; 상기 이미지 데이터들 각각에 대한 특징 데이터를 추출하는 명령; 및 추출된 특징 데이터들을 기초로 상기 이미지 데이터들을 복수의 클러스터들로 군집화하는 명령을 더 포함할 수 있다.
여기에서, 상기 적어도 하나의 명령은, 사용자에 의해 입력되는 불량 유형 정보를 기초로, 상기 클러스터들 각각에 대한 레이블링을 수행하는 명령; 및 레이블링된 클러스터들을 이용해, 상기 진단 모델을 재학습시키는 명령을 더 포함할 수 있다.
이상 진단 장치(1100)는 또한, 입력 인터페이스 장치(1140), 출력 인터페이스 장치(1150), 저장 장치(1160) 등을 더 포함할 수 있다. 이상 진단 장치(1100)에 포함된 각각의 구성 요소들은 버스(bus)(1170)에 의해 연결되어 서로 통신을 수행할 수 있다. 저장 장치(1160)는 사전 학습 완료된 진단 모델을 저장할 수 있다.
여기에서, 프로세서(1110)는 중앙처리장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(또는 저장 장치)는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기에서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 검사 대상물
100: 공장 모니터링 시스템
110: 이미지 센서
111; 이미지 데이터
120: 이상 진단 장치
130: 진단 모델
131: 진단 결과 데이터
140: 모니터링 단말
200: 진단 모델 생성 장치
510: 진단 정보 출력 윈도우
520: 이미지 출력 윈도우

Claims (23)

  1. 공장 모니터링 시스템 내에 위치하는 이상 진단 장치로서,
    적어도 하나의 프로세서;
    상기 적어도 하나의 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리;를 포함하고,
    상기 적어도 하나의 명령은,
    이미지 센서로부터 검사 대상물에 대한 이미지 데이터를 수신하는 명령; 및
    상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 명령을 포함하는, 이상 진단 장치.
  2. 청구항 1에 있어서,
    상기 이미지 데이터를 수신하는 명령은,
    상기 검사 대상물에 대한 이미지 데이터를 기설정된 단위 시간마다 수신하는 명령을 포함하는, 이상 진단 장치.
  3. 청구항 1에 있어서,
    상기 진단 모델은,
    상기 검사 대상물에 대한 이미지 데이터를 입력받아, 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터를 출력하도록 사전 학습되는, 이상 진단 장치.
  4. 청구항 1에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 명령은,
    기정의된 정상 패턴 데이터와 상기 수신된 이미지 데이터의 비교 결과에 기초하여 진단 결과 데이터를 출력하는 명령을 포함하는, 이상 진단 장치.
  5. 청구항 4에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 명령은,
    상기 정상 패턴 데이터와 상기 이미지 데이터의 비교 결과에 기초하여 에러 스코어를 산출하는 명령; 및
    상기 산출된 에러 스코어가 기정의된 임계값 이상인 경우, 상기 진단 대상물에 이상 상태가 발생한 것으로 판단하는 명령을 포함하는, 이상 진단 장치.
  6. 청구항 1에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 명령은,
    기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 명령;
    상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터 중 적어도 일부 영역으로 정의된 관심 영역의 위치를 보정하는 명령; 및
    상기 보정된 관심 영역의 위치를 기초로 상기 검사 대상물에 대한 이상 여부를 진단하는 명령을 포함하는, 이상 진단 장치.
  7. 청구항 1에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 명령은,
    기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 명령;
    상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터를 상기 표준 이미지 데이터로 변환하는 보정 함수를 도출하는 명령;
    상기 도출된 보정 함수를 이용하여 상기 수신된 이미지 데이터를 보정하는 명령; 및
    상기 보정된 이미지 데이터를 상기 진단 모델에 입력하는 명령을 포함하는, 이상 진단 장치.
  8. 청구항 1에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 명령은,
    상기 검사 대상물의 동작 상태를 확인하는 명령; 및
    상기 검사 대상물이 정지 상태인 경우, 상기 수신된 이미지 데이터를 상기 진단 모델에 미입력하거나, 또는 상기 진단 모델에 의해 출력되는 진단 결과 데이터를 무효화하는 명령을 포함하는, 이상 진단 장치.
  9. 청구항 5에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 명령은,
    상기 산출된 에러 스코어가 기정의된 임계값 이상이더라도, 사전 정의된 예외 처리 유형으로 분류되는 경우, 상기 검사 대상물을 정상 상태로 판단하는 명령을 포함하는, 이상 진단 장치.
  10. 청구항 1에 있어서,
    진단 결과, 비정상 상태로 판정된 복수의 이미지 데이터들을 수집하는 명령;
    상기 이미지 데이터들 각각에 대한 특징 데이터를 추출하는 명령; 및
    추출된 특징 데이터들을 기초로 상기 이미지 데이터들을 복수의 클러스터들로 군집화하는 명령을 더 포함하는, 이상 진단 장치.
  11. 청구항 10에 있어서,
    사용자에 의해 입력되는 불량 유형 정보를 기초로, 상기 클러스터들 각각에 대한 레이블링을 수행하는 명령; 및
    레이블링된 클러스터들을 이용해, 상기 진단 모델을 재학습시키는 명령을 더 포함하는, 이상 진단 장치.
  12. 공장 모니터링 시스템 내에 위치하는 이상 진단 장치에 의한 이상 진단 방법로서,
    이미지 센서로부터 검사 대상물에 대한 이미지 데이터를 수신하는 단계; 및
    상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 단계를 포함하는, 이상 진단 방법.
  13. 청구항 12에 있어서,
    상기 이미지 데이터를 수신하는 단계는,
    상기 검사 대상물에 대한 이미지 데이터를 기설정된 단위 시간마다 수신하는 단계를 포함하는, 이상 진단 방법.
  14. 청구항 12에 있어서,
    상기 진단 모델은,
    상기 검사 대상물에 대한 이미지 데이터를 입력받아, 검사 대상물에 대한 이상 여부, 이상 발생 위치 및 이상 유형 중 하나 이상을 포함하는 진단 결과 데이터를 출력하도록 사전 학습되는, 이상 진단 방법.
  15. 청구항 12에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 단계는,
    기정의된 정상 패턴 데이터와 상기 수신된 이미지 데이터의 비교 결과에 기초하여 진단 결과 데이터를 출력하는 단계를 포함하는, 이상 진단 방법.
  16. 청구항 15에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 단계는,
    상기 정상 패턴 데이터와 상기 이미지 데이터의 비교 결과에 기초하여 에러 스코어를 산출하는 단계; 및
    상기 산출된 에러 스코어가 기정의된 임계값 이상인 경우, 상기 진단 대상물에 이상 상태가 발생한 것으로 판단하는 단계를 포함하는, 이상 진단 방법.
  17. 청구항 12에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 단계는,
    기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 단계;
    상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터 중 적어도 일부 영역으로 정의된 관심 영역의 위치를 보정하는 단계; 및
    상기 보정된 관심 영역의 위치를 기초로 상기 검사 대상물에 대한 이상 여부를 진단하는 단계를 포함하는, 이상 진단 방법.
  18. 청구항 12에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 단계는,
    기저장된 표준 이미지 데이터와 상기 수신된 이미지 데이터를 비교하는 단계;
    상기 비교 결과에 기초하여, 상기 수신된 이미지 데이터를 상기 표준 이미지 데이터로 변환하는 보정 함수를 도출하는 단계;
    상기 도출된 보정 함수를 이용하여 상기 수신된 이미지 데이터를 보정하는 단계; 및
    상기 보정된 이미지 데이터를 상기 진단 모델에 입력하는 단계를 포함하는, 이상 진단 방법.
  19. 청구항 12에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 단계는,
    상기 검사 대상물의 동작 상태를 확인하는 단계; 및
    상기 검사 대상물이 정지 상태인 경우, 상기 수신된 이미지 데이터를 상기 진단 모델에 미입력하거나, 또는 상기 진단 모델에 의해 출력되는 진단 결과 데이터를 무효화하는 단계를 포함하는, 이상 진단 방법.
  20. 청구항 16에 있어서,
    상기 검사 대상물에 대한 이상 여부를 진단하는 단계는,
    상기 산출된 에러 스코어가 기정의된 임계값 이상이더라도, 사전 정의된 예외 처리 유형으로 분류되는 경우, 상기 검사 대상물을 정상 상태로 판단하는 단계를 포함하는, 이상 진단 방법.
  21. 청구항 12에 있어서,
    진단 결과, 비정상 상태로 판정된 복수의 이미지 데이터들을 수집하는 단계;
    상기 이미지 데이터들 각각에 대한 특징 데이터를 추출하는 단계; 및
    추출된 특징 데이터들을 기초로 상기 이미지 데이터들을 복수의 클러스터들로 군집화하는 단계를 더 포함하는, 이상 진단 방법.
  22. 청구항 21에 있어서,
    사용자에 의해 입력되는 불량 유형 정보를 기초로, 상기 클러스터들 각각에 대한 레이블링을 수행하는 단계; 및
    레이블링된 클러스터들을 이용해, 상기 진단 모델을 재학습시키는 단계를 더 포함하는, 이상 진단 방법.
  23. 검사 대상물의 적어도 일부 영역에 대한 이미지 데이터를 생성하는, 이미지 센서; 및
    상기 이미지 센서로부터 상기 이미지 데이터를 수신하고, 상기 수신된 이미지 데이터와 사전 학습된 인공지능 기반의 진단 모델을 이용하여 상기 검사 대상물에 대한 이상 여부를 진단하는 이상 진단 장치를 포함하는, 공장 모니터링 시스템.
KR1020230090949A 2022-08-31 2023-07-13 인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템 KR20240031018A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/012873 WO2024049194A1 (ko) 2022-08-31 2023-08-30 인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220109750 2022-08-31
KR1020220109750 2022-08-31

Publications (1)

Publication Number Publication Date
KR20240031018A true KR20240031018A (ko) 2024-03-07

Family

ID=90271961

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230090949A KR20240031018A (ko) 2022-08-31 2023-07-13 인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR20240031018A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180009563A1 (en) 2016-07-11 2018-01-11 Calibre Closures, LLC Dispensing container and methods for dispensing predetermined amounts of product

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180009563A1 (en) 2016-07-11 2018-01-11 Calibre Closures, LLC Dispensing container and methods for dispensing predetermined amounts of product

Similar Documents

Publication Publication Date Title
LU502731B1 (en) Method for monitoring abnormality of power production, apparatus, computer device, and storage medium therefor
CN116841262A (zh) 基于机器视觉的智慧工厂生产在线监测分析系统
US8868985B2 (en) Supervised fault learning using rule-generated samples for machine condition monitoring
US20060092274A1 (en) Image sensor annotation method and apparatus
CN111542791B (zh) 使用设施诊断系统的设施诊断方法
CN109086470A (zh) 一种基于模糊偏好关系与d-s证据理论的故障诊断方法
AU2002246994A1 (en) Diagnostic systems and methods for predictive condition monitoring
US11609157B2 (en) Learning apparatus, diagnostic apparatus, and learning method
CN117474357B (zh) 基于深度学习的配电房运维管理方法及系统
KR20210061517A (ko) 머신러닝에 의해 생성된 가상 데이터를 이용한 고장 진단 방법 및 장치
US20220375056A1 (en) Method for predicting defects in assembly units
TWI780434B (zh) 異常診斷裝置及方法
CN113343998A (zh) 电力机械表计读数监测系统、方法、计算机设备及应用
CN114429441A (zh) 一种异常检测方法及装置、设备、存储介质
CN111552269A (zh) 一种基于姿态估计的多工业机器人安全性检测方法及系统
KR20240031018A (ko) 인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템
CN111531580A (zh) 一种基于视觉的多工业机器人故障检测方法及系统
CN116381419A (zh) 输电线路故障处理方法、装置、计算机设备和存储介质
KR20200044507A (ko) Ict 기반의 통합 모니터링 시스템을 활용한 특수 차량 고장 진단 및 운영법
US20180087489A1 (en) Method for windmill farm monitoring
US11604458B2 (en) Anomaly determination device and anomaly determination method
CN111078966B (zh) 液压机远程故障诊断方法、装置和存储介质
CN106125643A (zh) 一种基于机器学习技术的工控安防方法
WO2024049194A1 (ko) 인공지능 모델 기반의 이상 진단 방법, 이를 이용한 이상 진단 장치 및 공장 모니터링 시스템
CN117132266B (zh) 一种基于区块链的汽车服务安全保障方法及系统