KR102618768B1 - 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 방법 - Google Patents
시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 방법 Download PDFInfo
- Publication number
- KR102618768B1 KR102618768B1 KR1020220109183A KR20220109183A KR102618768B1 KR 102618768 B1 KR102618768 B1 KR 102618768B1 KR 1020220109183 A KR1020220109183 A KR 1020220109183A KR 20220109183 A KR20220109183 A KR 20220109183A KR 102618768 B1 KR102618768 B1 KR 102618768B1
- Authority
- KR
- South Korea
- Prior art keywords
- equipment
- time series
- series data
- maintenance
- work instructions
- Prior art date
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 장비의 유지관리를 위한 작업 지시서 제공에 관한 것으로서, 더욱 상세하게는 시계열 데이터에 기초한 인공지능 기반의 예지보전 검색 모델을 이용하여 장비의 예지보전 부분을 판단하고, 이 판단된 예지보전 부분의 텍스트 테이블 조합에 의하여 생성된 텍스트가 동영상 작업 지시서에 적용되어 사용자가 원하는 검색조건에서 예지보전 부분이 검색되어 부분 조립이나 해체 작업이 제공 되어지는 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서 제공 방법에 관한 것이다.
Description
본 발명은 장비의 유지관리를 위한 작업 지시서 제공에 관한 것으로서, 더욱 상세하게는 시계열 데이터에 기초한 인공지능 기반의 예지보전 검색 모델을 이용하여 장비의 예지보전 부분을 판단하고, 이 판단된 예지보전 부분의 텍스트 테이블 조합에 의하여 생성된 텍스트가 동영상 작업 지시서에 적용되어 사용자가 원하는 검색조건에서 예지보전 부분이 검색되어 부분 조립이나 해체 작업이 제공 되어지는 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서 제공 방법에 관한 것이다.
장비의 유지관리 중 예지보전이란 장비의 이상을 그 상태감시에 의하여 예지하고, 그 정보에 기인해서 행하여 보전하는 것을 의미한다. 일반적으로 설비의 일부인 특정 기계나 기구를 의미하는 장비에서는 이상 징후를 감지하는 센서들이 부착되고, 이 부착된 센서 신호에 의하여 장비의 이상 징후를 감지하게 된다. 이상 징후란, 예상된 범위 내의 행동을 따르지 않는 특정 패턴을 의미하는 것으로, 이상 징후를 검출하기 위한 연구는 오랜 기간 계속되어 왔고, 이는 이상 징후가 중요한 정보를 암시하기 때문인 것이다.
이상 징후가 감지되면 장비 곳곳의 예지보전을 위한 부품 교체 등이 이루어지는데, 이때 고장에 따른 장비의 유지관리를 위한 부품 교체 방법 및 설명서가 동영상 작업 지시서로 제공되고 있지 않으며, 사용자가 원하는 검색어를 통하여서도 제공되고 있지 않다.
본 발명은 이와 같은 문제점을 해결하기 위하여 창안된 것으로서, 시계열 데이터에 기초한 인공지능 기반의 예지보전 검색 모델을 이용하여 장비의 예지보전 부분을 판단하고, 이 판단된 예지보전 부분의 텍스트 테이블 조합에 의하여 생성된 텍스트가 동영상 작업 지시서에 적용되어 사용자가 원하는 검색조건에서 예지보전 부분이 검색되어 부분 조립이나 해체 작업이 제공 되어지는 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서 제공을 그 목적으로 한다.
이와 같은 목적을 달성하기 위하여 본 발명에 따른 기 학습된 인공지능 모델을 이용하여 장비의 유지관리를 위한 작업 지시서를 제공하는 방법으로서, (a) 상기 장비에 설치된 1개 이상의 센서로부터 시계열 데이터를 수신하는 단계; (b) 상기 단계 (a)에서 수신한 시계열 데이터를 상기 인공지능 모델의 입력으로 제공하여, 상기 장비의 고장 부분을 판단하는 단계 ; 및 (c) 상기 단계 (b)에서 판단된 상기 장비의 고장 부분에 대한 테이블을 조회하여 동영상 작업 지시서의 구간 검색을 위한 텍스트를 생성하는 단계를 포함한다.
상기 텍스트는 상기 고장에 대한 설명서인 것이다.
상기 고장에 대한 설명서에 사용된 텍스트는 상기 동영상 작업 지시서와 관련된 텍스트 정보와 매칭되는 것이다.
상기 인공지능 모델은, CNN(convolutional neural network)를 포함하는 것이다.
상기 동영상 작업 지시서는 순방향 및 역방향 설명서로 제공되는 것이다.
상기 순방향은 상기 고장 부분이 조립되는 과정이고, 상기 역방향은 상기 고장 부분이 분해되는 과정인 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 다른 측면은 기 학습된 인공지능 모델을 이용하여 장비의 유지관리를 위한 작업 지시서를 제공하기 위한 장치로서, 적어도 하나의 프로세서; 및 컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) 상기 장비에 설치된 1개 이상의 센서로부터 시계열 데이터를 수신하는 단계; (b) 상기 단계 (a)에서 수신한 시계열 데이터를 상기 인공지능 모델의 입력으로 제공하며, 상기 장비의 고장 부분을 판단하는 단계; 및 (c) 상기 단계 (b)에서 판단된 상기 장비의 고장 부분에 대한 테이블을 조회하여 동영상 작업 지시서의 구간 검색을 위한 텍스트를 생성하는 단계를 포함한다.
이와 같은 목적을 달성하기 위한 본 발명의 다른 측면은 기 학습된 인공지능 모델을 이용하여 장비의 유지관리를 위한 작업 지시서의 제공을 위한 프로그램으로서, 비일시적 저장 매체에 저장되며, 프로세서에 의하여, (a) 상기 장비에 설치된 1개 이상의 센서로부터 시계열 데이터를 수신하는 단계; (b) 상기 단계 (a)에서 수신한 시계열 데이터를 상기 인공지능 모델의 입력으로 제공하며, 상기 장비의 고장 부분을 판단하는 단계; 및 (c) 상기 단계 (b)에서 판단된 상기 장비의 고장 부분에 대한 테이블을 조회하여 동영상 작업 지시서의 구간 검색을 위한 텍스트를 생성하는 단계를 포함한다.
본 발명에 의하면, 인공지능 기반의 텍스트 검색 모델을 이용하여 동영상 작업 지시서에서 사용자가 원하는 구간을 검색하여 제공되는 효과가 있다.
도 1은 본 발명의 실시예에 따른 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서 제공을 위한 시스템을 개략적으로 나타낸 구성도.
도 2는 본 발명의 실시예에 따른 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공을 위한 시스템에서 장비의 유지관리 장치의 구성을 컴퓨팅 장치의 개략적인 구성으로 나타낸 도면.
도 3은 본 발명의 실시예에 따른 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서 제공 방법을 나타낸 순서도.
도 4는 본 발명의 일 실시예에 따른 인공지능 수행을 위한 동영상 작업 지시서의 구간 검색을 위한 데이터 생성을 수행하기 위한 장치를 나타낸 도면.
도 5는 본 발명에 따른 인공지능 수행을 위한 동영상 작업 지시서의 구간검색을 위한 데이터 생성 방법의 흐름을 나타낸 도면.
도 6은 본 발명에 따른 인공지능 수행을 위한 동영상 작업 지시서의 구간 검색 데이터 생성 방법에서, 생성된 텍스트 파일의 동기화 정보를 설명하기 위한 도면.
도 7 내지 도 9는 본 발명에 따른 인공지능 수행을 위한 동영상 작업 지시서의 구간 검색을 위한 데이터 생성 방법을 이용하여 구간 검색의 결과를 보여주는 동영상 화면.
도 2는 본 발명의 실시예에 따른 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공을 위한 시스템에서 장비의 유지관리 장치의 구성을 컴퓨팅 장치의 개략적인 구성으로 나타낸 도면.
도 3은 본 발명의 실시예에 따른 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서 제공 방법을 나타낸 순서도.
도 4는 본 발명의 일 실시예에 따른 인공지능 수행을 위한 동영상 작업 지시서의 구간 검색을 위한 데이터 생성을 수행하기 위한 장치를 나타낸 도면.
도 5는 본 발명에 따른 인공지능 수행을 위한 동영상 작업 지시서의 구간검색을 위한 데이터 생성 방법의 흐름을 나타낸 도면.
도 6은 본 발명에 따른 인공지능 수행을 위한 동영상 작업 지시서의 구간 검색 데이터 생성 방법에서, 생성된 텍스트 파일의 동기화 정보를 설명하기 위한 도면.
도 7 내지 도 9는 본 발명에 따른 인공지능 수행을 위한 동영상 작업 지시서의 구간 검색을 위한 데이터 생성 방법을 이용하여 구간 검색의 결과를 보여주는 동영상 화면.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 실시예에 따른 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서 제공을 위한 시스템을 개략적으로 나타낸 구성도이다.
본 발명의 실시예에 따른 시계열 데이터에 기초한 장비의 유지관리를 위한 시스템(10)은 임의의 장비(150) 및 이 장비(150)의 유지관리 장치(200)를 포함한다. 장비(150)는 하나 이상의 비품이나 부속품 따위를 장치화한 것이다. 도 1에 도시된 장비(150)는 로봇을 예로 들었으나 이로써 한정하지는 않으며, 다양한 설비 등도 포함할 수 있다. 장비(150)에는 1개 이상의 센서(160)들이 특정부분에 부착되어 설치된다. 이때 1개 이상의 센서(160)들은 장비(150)가 동작될 때 데이터를 센싱하게 되는데, 이 1개 이상의 센서(160)들이 진동 센서 인 경우 진동 데이터를 센싱하게 될 것이다. 1개 이상의 센서(160)들 각각은 데이터를 일정시간 간격으로 배치된 데이터들을 수열화시킨 시계열 데이터(170)로 이루어진다. 즉 본 발명의 시계열 데이터(170)는 1개 이상의 센서(160)들로부터 수집되는 실시간 데이터를 시간의 배열에 따라 기록한 데이터인 것이다.
장비(150)의 유지관리 장치(200)는 장비(150)에 구비된 1개 이상의 센서(160)들로부터 생성된 시계열 데이터(170)를 입력으로 받아 동작하며, 예지보전 모듈(210)과, 조회 모듈(220), 저장부(250)를 포함한다.
예지보전 모듈(210)은 인공지능을 이용한 학습 모델로서, 1개 이상의 센서(160)들로부터 입력받은 시계열 데이터(170)를 이용하여 장비(150)의 예지보전 부분을 판단한다.
인공지능 학습 모델은 입력 레이어, 히든 레이어 및 출력 레이어를 포함한다. 입력 레이어는 각각의 전처리 데이터를 입력으로 받으며, 히든 레이어는 다수의 레이어로 구성될 수 있고, 각 레이어는 컨볼루션 레이어 및 풀링 레이어를 포함한다. 컨볼루션 레이어는 컨볼루션 필터를 이용하여 각 레이어에 입력된 전처리 데이터에 컨볼루션 연산을 수행하고, 특징을 생성한다. 그리고 풀링(pooling)을 통해 생성된 특징의 크기를 감소시키는데, 이때 컨볼루션 레이어 및 풀링 레이어를 특징 추출부로 나타낼 수 있다. 출력 레이어는 특징 추출부에서 표현된 다양한 특징으로 조합하여 클래스(class)를 분류한다. 이때, 출력 레이어는 완전 연결 레이어(fully connected)로 구성될 수 있으며 분류기로 나타내기도 한다. 일반적으로 인공 심층 신경망의 구조(예컨대, 히든 레이어의 수, 각 레이어에서의 필터의 수와 크기 등)는 미리 결정되며, 각 레이어에서의 필터(특히, 컨볼루션 필터)의 가중치 메트릭스(weight matrix)는 이미 어느 클래스에 속할지 정답이 알려진 데이터들을 이용하여 적절한 값으로 산정된다. 이와 같이 이미 정답이 알려진 데이터들을 '학습 데이터'라고 하고, 필터의 가중치 메트릭스를 결정하는 과정을 '학습'이라고 한다.
본 발명의 인공지능을 이용한 학습 모델은 크게 학습 단계와 분류 단계로 구성된다. 학습 단계는 데이터 수집, 데이터 특징 필터링, 가설정의, Cost 함수정의, 학습 순서로 진행되며, 분류 단계는 실제 데이터를 이용해서 학습한 결과를 추정하여 분류하는 단계로, 1개 이상의 센서(160)들로부터 입력받은 시계열 데이터(170)를 입력으로 하여, 기 학습된 인공지능 모델(210)로부터 장비(150)의 부분 이상 감지 결과를 산출하여 고장 부분을 분류한다.
조회 모듈(220)은 예지보전 모듈(210)에서 분류한 고장 부분에 대한 테이블을 조회하고, 조회된 고장 부분에 대한 설명서를 생성한다. 이때 고장 부분에 대한 설명서는 3D 도면으로부터 자동 생성될 수 있다. 그리고 고장에 대한 설명서에 사용된 텍스트는 동영상 작업 지시서와 관련된 텍스트 정보와 매칭된 텍스트 정보로 이루어져 있다.
도 2는 본 발명의 실시예에 따른 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공을 위한 시스템에서 장비의 유지관리 장치의 구성을 컴퓨팅 장치의 개략적인 구성으로 나타낸 도면이다.
본 실시예에 따른 유지관리 장치(200)는 입/출력부(204), 프로세서(201), 메모리(203) 및 저장부(250)를 포함한다. 도 2의 유지관리 장치(200)는 일 실시예에 따른 것으로서, 도 2에 도시된 모든 블록이 필수 구성요소는 아니며, 유지관리 장치(200)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. 한편 유지관리 장치(200)는 컴퓨팅 디바이스로 구현될 수 있고, 유지관리 장치(200)에 포함된 각 구성요소들은 각각 별도의 소프트웨어 프로그램으로 구현되거나, 소프트웨어가 결합된 별도의 하드웨어 장치로 구현될 수 있다.
입력부(204)는 유지관리 장치(200)에서 시계열 데이터 신호를 입력하거나 획득하는 수단을 의미한다. 입력부(204)는 프로세서(201)와 연동하여 다양한 형태의 신호 또는 데이터를 수신하거나, 외부 장치와의 연동을 통해 신호 또는 데이터를 획득하여 프로세서(201)로 전달할 수도 있다. 여기서 입력부(204)는 입력변수, 시계열 데이터, 학습조건, 가상 계측 수행 조건 등을 입력하기 위한 모듈로 구현될 수 있으나 반드시 이에 한정되는 것은 아니다.
출력부(204)는 프로세서(201)와 연동하여 학습 결과, 장비의 예지보전 부분에 해당하는 고장 부분에 대한 다양한 정보를 출력할 수 있다.
프로세서(201)는 메모리(203)에 포함된 적어도 하나의 명령어 또는 프로그램을 실행시키는 기능을 수행한다. 프로세서(201)는 입력부(204) 또는 저장부(250)로부터 획득된 시계열 데이터에 대한 적어도 하나의 특징값을 추출하고, 적어도 하나의 특징값을 기반으로 이상 감지를 위한 학습 모델을 생성하는 동작을 수행한다.
메모리(203)는 프로세서(201)에 의해 실행 가능한 적어도 하나의 명령어 또는 프로그램을 포함한다. 메모리(203)는 학습 모델을 생성하는 동작, 고장 부분을 분류하는 동작, 고장 부분에 대한 테이블을 조회하는 동작 등을 위한 명령어 또는 프로그램을 포함할 수 있다. 본 발명에서는 예지보전 판단 모듈(210) 및 조회 모듈(220)을 포함하며 예지보전 판단 모듈(210)은 인공지능을 이용한 학습 모델로서, 1개 이상의 센서들로부터 입력받은 시계열 데이터를 이용하여 장비의 예지보전 부분을 판단한다. 그리고 조회모듈(220)은 예지보전 판단 모듈(210)에서 분류한 고장 부분에 대한 테이블을 조회하고, 조회된 고장 부분에 대한 설명서를 생성한다. 이때 고장 부분에 대한 설명서는 3D 도면으로부터 자동 생성될 수 있다. 그리고 고장에 대한 설명서에 사용된 텍스트는 동영상 작업 지시서와 관련된 텍스트 정보와 매칭된 텍스트 정보로 이루어져 있다.
저장부(250)는 데이터베이스 관리 프로그램(DBMS)을 이용하여 컴퓨터 시스템의 저장공간(하드디스크 또는 메모리)에 구현된 일반적인 데이터구조를 의미하는 것으로 데이터의 검색(추출), 삭제, 편집, 추가 등을 자유롭게 행할 수 있는 데이터 저장형태를 뜻하는 것으로, 오라클(Oracle), 인포믹스(Infomix), 사이베이스(Sybase), DB2와 같은 관계형 데이타베이스 관리 시스템(RDBMS)이나, 겜스톤(Gemston), 오리온(Orion), O2 등과 같은 객체 지향 데이타베이스 관리 시스템(OODBMS) 및 엑셀론(Excelon), 타미노(Tamino), 세카이주(Sekaiju) 등의 XML 전용 데이터베이스(XML Native Database)를 이용하여 본 발명의 일 실시예의 목적에 맞게 구현될 수 있고, 자신의 기능을 달성하기 위하여 적당한 필드(Field) 또는 엘리먼트들을 가지고 있다. 본 실시예에 따른 저장부(250)는 시계열 데이터, 학습 모델 생성, 시계열 데이터에 대한 고장 부분 산출 등과 관련된 데이터 및 고장 부분과 관련된 테이블에 따른 텍스트 내용을 제공할 수 있다. 저장부(250)는 유지관리 장치(200) 내에 구현되는 것으로 기재하고 있으나 반드시 이에 한정하는 것은 아니며, 별도의 데이터 저장장치로 구현될 수도 있다.
도 3은 본 발명의 실시예에 따른 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 방법을 나타낸 순서도이다.
먼저 장비에 설치된 1개 이상의 센서로부터 시계열 데이터를 수신한다(S500).
일반적으로 시계열 데이터는 일정 시간 간격으로 배치된 데이터들의 수열을 말하는 것으로 1개 이상의 센서들로부터 수집되는 실시간 데이터를 시간의 배열에 따라 기록한 데이터로 복수의 데이터 셋을 포함할 수 있다.
그리고 단계 S500에서 수신한 시계열 데이터를 이용하여 장비의 예지보전을 위한 고장 부분을 판단한다(S510). 여기서 장비의 고장 부분 판단은 단계 S500에서 입력된 시계열 데이터를 기 생성된 인공지능 학습 모델에 입력으로 제공하며 다음 시점의 예측 시계열 데이터를 산출하고, 산출된 예측 시계열 데이터를 기반으로 장비의 고장 부분을 산출하여 분류함으로 판단이 이루어진다.
이후, 단계 S510에서 판단된 장비의 고장 부분에 대한 테이블을 조회하여 동영상 작업 지시서의 구간 검색을 위한 고장에 대한 설명 텍스트를 생성한다(S520). 여기서 텍스트는 고장에 대한 설명서로서, 고장에 대한 설명서에 사용된 텍스트는 동영상 작업 지시서와 관련된 텍스트 정보와 매칭하여 사용된다.
한편 본 발명에서 제공되는 동영상 작업 지시서는 텍스트를 이용하여 고장 부분이 검색되어지고, 이 검색되어진 고장 부분에 대한 설명서 제공이 역방향 및 순방향으로 제공된다. 이때 역방향 작업 설명서 제공은 고장 부분에 대한 분해 과정이 설명되어지고, 순방향은 고장 부분에 대한 조립 과정이 설명됨으로 예지보전을 위한 고장 부분의 교체 과정설명이 동영상 작업 지시서를 통하여 제공되어 진다.
다음은 본 발명에서 고장에 대한 설명서에 사용된 텍스트가 동영상 작업 지시서에서 구간 검색을 위한 데이터로 생성되는 과정을 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 인공지능 수행을 위한 동영상 작업 지시서의 구간 검색을 위한 데이터 생성을 수행하기 위한 장치를 나타낸 도면으로, 동영상 작업 지시서의 구간 검색 데이터 생성 어플리케이션이 탑재된 컴퓨팅 장치의 구성을 개략적으로 나타낸 도면이다.
도 4를 참조하면, 컴퓨팅 전자장치(100)로서 프로세서(110), 프로그램과 데이터를 저장하는 비휘발성 저장부(120), 실행 중인 프로그램들을 저장하는 휘발성 메모리(130), 사용자와의 사이에 정보를 입력 및 출력하는 입/출력부(140) 및 이들 장치 사이의 내부 통신 통로인 버스 등으로 이루어져 있다. 실행 중인 프로그램으로는, 운영체계(Operating System) 및 다양한 어플리케이션이 있을 수 있다. 도시되지는 않았지만, 전력제공부를 포함한다.
도 5는 본 발명에 따른 인공지능 수행을 위한 동영상 작업 지시서의 구간검색을 위한 데이터 생성 방법의 흐름을 나타낸 도면이고, 도 6은 본 발명에 따른 인공지능 수행을 위한 동영상 작업 지시서의 구간 검색 데이터 생성 방법에서, 생성된 텍스트 파일의 동기화 정보를 설명하기 위한 도면이며, 도 7 내지 도 9는 본 발명에 따른 인공지능 수행을 위한 동영상 작업 지시서의 구간 검색을 위한 데이터 생성 방법을 이용하여 구간 검색의 결과를 보여주는 동영상 화면이다.
먼저 도 5에 도시된 바와 같이, 본 발명의 인공지능 수행을 위한 동영상 작업 지시서의 구간 검색을 위한 데이터 생성 방법은, 동영상 작업 지시서와 관련된 텍스트 정보로부터 동영상 세그먼트를 구분한다(S100).
일반적으로 동영상은 움직이는 그림으로 여러 개의 프레임을 빠른 속도로 넘겨 연속적으로 보여주는 특성이 있다. 이때 동영상은 시간축으로 동기화된 음성 및 음악과 함께 제공될 수 있다. 본 발명에서의 동영상 작업 지시서는 이 작업 지시서를 동영상으로 제작할 당시에 텍스트 정보가 함께 존재하고 있다. 이러한 텍스트 정보는 동영상 작업 지시서와 동기화될 수 있다. 이하에서는 조립으로 완성되는 제품에 대한 작업 지시서를 일예로서 설명되지만, 본 발명이 일예로만 한정되는 것은 아니다.
동영상 작업 지시서와 관련된 텍스트 정보로는 동영상 작업 지시서 "전체에 대한 설명", "작업명", "작업 설명", 해당 작업 설명과 관련되는 "모듈명", "유닛명" 및 "부품명"이지만 이로써 한정하지 않으며 더 다양한 텍스트 정보가 존재할 수 있다. 각각의 모듈은 복수개의 유닛으로 이루어지며, 각각의 유닛은 복수개의 부품으로 이루어진다. 예를 들면, 자동차라는 제품에 대하여 해당 자동차 전체에 대한 설명이 텍스트로 존재할 것이고, 자동차 전체에 대한 설명을 포함하는 텍스트와 함께 각각의 작업명과 작업 설명에 대한 텍스트가 존재할 것이다. 그리고 각각의 작업 설명에 해당하는 모듈명, 유닛명 및 부품명의 텍스트 정보가 존재하는 것이다. 이때 자동차라는 제품의 동영상 작업 지시서가 기능 중심 모듈명으로 작성되었다고 가정한다면, 자동차의 동영상 작업 지시서 전체에 대한 설명과 함께 기능 중심의 작업 설명 텍스트가 존재할 것이고, 이 기능 중심 모듈명은 엔진기능 모듈명, 차체기능 모듈명, 트랜스미션기능 모듈명, 컨트롤기능 모듈명 등으로 구분되어 텍스트 정보가 존재할 것이다. 그리고 각각의 모듈명으로부터 구분되는 유닛명이 존재하며, 각각의 유닛명으로부터 구분되는 부품명의 텍스트가 존재하는 것이다. 이때 "작업명"은 "작업 단계"로 세분화되어 텍스트 정보가 존재할 수 있다.
즉 동영상 작업 지시서의 동영상 세그먼트의 구분은 동영상 작업 지시서에 존재하는 텍스트 정보인 동영상 작업 지시서"전체에 대한 설명", "작업명", "작업 설명", 해당 작업 설명과 관련되는 "모듈명", "유닛명" 및 "부품명"의 텍스트 정보에 의하여 구분된다. 예를 들어, 부품명이 변경되는 지점을 기준으로 동영상 세그먼트를 구분할 수 있으며, 부품명이 변경되더라도 유닛명이 변경되지 않으면 동영상 세그먼트가 구분되지 않을 수 있다. 후자의 경우 전자에 비하여 대체로 동영상 세그먼트의 길이가 길어진 것이다. 이와 같이, 동영상 작업 지시서와 동기화된 텍스트 정보 중의 어느 것을 기준으로 세그먼트를 구분하느냐에 따라서, 세그먼트의 길이, 구분 지점 등이 달라진다.
그리고 단계 S100에서 구분된 동영상 세그먼트 내용에 대응되는 텍스트 파일을 생성한다(S200). 여기서 텍스트 파일은 앞서 단계 S100에서 설명한 바와 같이 동영상 작업 지시서에는 동영상 "전체에 대한 설명", "작업명", "작업 설명", 해당 작업 설명과 관련되는 "모듈명", "유닛명" 및 "부품명"등의 텍스트 정보가 존재하며, 이 텍스트 정보를 모두 포함하는 동영상 세그먼트 내용에 대응되는 텍스트 파일이 생성되는 것이다. 이때 각각의 동영상 세그먼트는 적어도 하나 이상의 서로 다른 텍스트 정보를 포함한다. 예를 들어, 부품명이 변경되는 지점을 기준으로 동영상 세그먼트가 구분된 경우, 해당 세그먼트에 대응되는 텍스트 파일은 "동영상 전체에 대한 설명", "작업명", "작업 설명", "모듈명", "유닛명", 및 "부품명"을 포함할 수 있다. 또한 유닛명이 변경되는 지점을 기준으로 동영상 세그먼트가 구분된 경우, 해당 세그먼트에 대응되는 텍스트 파일은, "동영상 전체에 대한 설명", "작업명", "작업 설명", "모듈명" 및 "유닛명"을 포함할 수 있으며, 이 경우 "부품명"은 포함되지 않거나 해당 유닛에 관련된 모든 부품명이 포함될 수 있다.
이어서, 단계 S200에서 생성된 텍스트 파일과 동영상 작업 지시서를 동기화시키기 위한 동기화 정보를 생성하고, 이 생성된 동기화 정보와 함께 텍스트 파일 테이터를 구간 검색 데이터로 저장한다(S300).
도 6은 본 발명에 따른 인공지능 수행을 위한 동영상 작업 지시서의 구간검색을 위한 데이터 생성 방법에서 생성된 텍스트 파일에 대한 동기화 정보를 설명하기 위한 도면으로, 막대 형태는 동영상으로 제작된 작업 지시서를 의미한다. 이때 도 6의 막대 형태의 동영상은 자동차라는 제품의 어느 하나의 모듈에 관한 작업 지시서 이거나 어느 하나의 유닛에 대한 작업 지시서로 가정하고 설명하기로 한다.
도 6에서는 막대 형태의 동영상을 세그먼트 ①, ②, ③, ④, ⑤로 구분하였다. 이때 세그먼트 ③의 양쪽 화살표 중, 왼쪽 화살표는 세그먼트 ③에 대한 시작시점이고 오른쪽 화살표는 세그먼트 ③에 대한 끝시점이 된다. 한편 세그먼트 ③의 왼쪽 시작시점은 세그먼트 ②에 대한 끝시점이 될 수 있다. 즉 시작시점과 끝시점은 시간축에 따른 시작시각과 끝시각을 의미하는 것으로 동영상 세그먼트에 대한 동기화 정보인 것이다.
그리고 도 6에 나타낸 작업 지시서의 동영상을 임의적으로 하나의 특정 "유닛명"에 대한 동영상으로 가정했을 때, 이 특정 "유닛명"의 동영상은 "작업명"이 존재할 것이고, 이 "작업명"으로 존재하는 동영상이 작업 1, 2, 3 단계로 구분되어짐을 보여주고 있다. 즉 도 3에서의 작업 1, 작업 2, 작업 3의 막대 형태로 이루어진 동영상 유닛이 구간으로 존재함을 의미한다. 이때 작업 1은 서로 다른 부품명칭으로 이루어진 세그먼트 ①, ②, ③이 존재하는 구간으로 구분지어 진다.
도 7 내지 도 9는 본 발명에 따른 인공지능 수행을 위한 동영상 작업 지시서의 구간 검색 데이터 생성 방법을 이용하여 구간 검색의 결과를 보여주는 동영상 화면이다.
도 7 내지 도 9에 도시된 바와 같이, 동영상 작업 지시서의 동영상 내용과 관련된 텍스트 정보는, 유닛명(31)과, 작업명을 포함하는 작업 단계(32), 작업 설명(33), 부품명칭(34)으로 이루어진 텍스트 파일과 이 텍스트 파일의 동기화 정보로 이루어진 구간 검색 데이터에 의하여 동영상이 검색되어진다.
도 7 내지 도 9에 해당하는 동영상 작업 지시서의 유닛명(31)은 동일하며, 유닛명(31)은 작업명을 포함한 작업 단계(32)로 구분되어짐을 볼 수 있다.
한편 도 7에 나타낸 동영상과 관련된 텍스트 파일 정보는 부품명칭(34)이 1개로 이루어진 텍스트 파일 정보를 포함한다. 즉 도 7의 텍스트 파일 정보는 유닛명(31)에 대한 텍스트 정보와 "공정③"이라고 표기된 작업 단계(32) 및 작업설명(33) 그리고 부품명칭(34)이 1개로 이루어진 정보에 의하여, 이에 해당되는 동영상이 검색되어진 결과이다. 그리고 도 8은 도 7과 동일한 유닛명(31)과 동일한 작업 단계(32)로 "공정③"이 표기되어 있고, 작업설명(33)도 동일한 텍스트 정보이나, 부품명칭(34)은 3개의 텍스트로 이루어져 있는 동영상이 검색되어진 결과이다. 또한 도 9는 도 7 및 도 8과 동일한 유닛명(31)이지만 작업 단계(32)는 "공정④"로 표기되어져 있으며, 작업설명(33)도, 도 7 및 도 8과는 다름과 동시에, 부품명칭(34)도, 도 7 및 도 8과는 다른 검색 결과를 보여주고 있다. 즉 사용자가 원하는 동영상을 검색하고자 할 경우 텍스트 파일화 되어 있는 단어의 조합을 이용함으로 사용자가 원하는 검색 구간이 검색되어 질 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
10: 시계열 데이터에 기초한 장비의 유지관리를 위한 시스템
150: 장비
160: 센서
170: 시계열 데이터
200: 유지관리 장치
210: 예지보전 모듈
220: 조회 모듈
250: 저장부
150: 장비
160: 센서
170: 시계열 데이터
200: 유지관리 장치
210: 예지보전 모듈
220: 조회 모듈
250: 저장부
Claims (8)
- 기 학습된 인공지능 모델을 이용하여 장비의 유지관리를 위한 작업 지시서를 제공하는 컴퓨터로 수행되는 방법으로서,
(a) 상기 장비에 설치된 1개 이상의 센서로부터 시계열 데이터를 수신하는 단계;
(b) 예지보전 모듈에 의하여, 상기 단계 (a)에서 수신한 시계열 데이터를 상기 인공지능 모델의 입력으로 제공하여, 상기 장비의 고장 부분을 판단하는 단계; 및
(c) 조회 모듈에 의하여, 상기 단계 (b)에서 판단된 상기 장비의 고장 부분에 대한 테이블을 조회하고 조회된 고장 부분에 대한 설명서를 생성하는 단계
를 포함하되,
상기 고장 부분에 대한 설명서는 상기 장비의 3D 도면으로부터 자동으로 생성된 것인
시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 방법. - 삭제
- 청구항 1에 있어서,
상기 고장 부분에 대한 설명서에 사용된 텍스트는 상기 장비의 조립 및 분해를 포함하는 동영상 작업 지시서와 관련된 텍스트 정보와 매칭되는 것
을 특징으로 하는 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 방법. - 청구항 1에 있어서,
상기 인공지능 모델은,
CNN(convolutional neural network)를 포함하는 것
을 특징으로 하는 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 방법. - 청구항 3에 있어서,
상기 동영상 작업 지시서는 순방향 및 역방향 설명서로 제공되는 것
을 특징으로 하는 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 방법. - 청구항 5에 있어서,
상기 순방향은 상기 고장 부분이 조립되는 과정이고, 상기 역방향은 상기 고장 부분이 분해되는 과정인 것
을 특징으로 하는 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 방법. - 기 학습된 인공지능 모델을 이용하여 장비의 유지관리를 위한 작업 지시서를 제공하기 위한 장치로서,
적어도 하나의 프로세서; 및
컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되,
상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 사기 적어도 하나의 프로세서에 의하여,
(a) 상기 장비에 설치된 1개 이상의 센서로부터 시계열 데이터를 수신하는 단계;
(b) 예지보전 모듈에 의하여, 상기 단계 (a)에서 수신한 시계열 데이터를 상기 인공지능 모델의 입력으로 제공하여, 상기 장비의 고장 부분을 판단하는 단계; 및
(c) 조회 모듈에 의하여, 상기 단계 (b)에서 판단된 상기 장비의 고장 부분에 대한 테이블을 조회하고 조회된 고장 부분에 대한 설명서를 생성하는 단계
를 포함하되,
상기 고장 부분에 대한 설명서는 상기 장비의 3D 도면으로부터 자동으로 생성된 것인
시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 장치. - 기 학습된 인공지능 모델을 이용하여 장비의 유지관리를 위한 작업 지시서를 제공하기 위한 컴퓨터프로그램으로서,
비일시적 저장 매체에 저장되며, 프로세서에 의하여,
(a) 상기 장비에 설치된 1개 이상의 센서로부터 시계열 데이터를 수신하는 단계;
(b) 예지보전 모듈에 의하여, 상기 단계 (a)에서 수신한 시계열 데이터를 상기 인공지능 모델의 입력으로 제공하여, 상기 장비의 고장 부분을 판단하는 단계; 및
(c) 조회 모듈에 의하여, 상기 단계 (b)에서 판단된 상기 장비의 고장 부분에 대한 테이블을 조회하고 조회된 고장 부분에 대한 설명서를 생성하는 단계
를 포함하되,
상기 고장 부분에 대한 설명서는 상기 장비의 3D 도면으로부터 자동으로 생성된 것인
시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공을 위한 기록매체에 저장된 컴퓨터프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220109183A KR102618768B1 (ko) | 2022-08-30 | 2022-08-30 | 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220109183A KR102618768B1 (ko) | 2022-08-30 | 2022-08-30 | 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102618768B1 true KR102618768B1 (ko) | 2023-12-29 |
Family
ID=89334094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220109183A KR102618768B1 (ko) | 2022-08-30 | 2022-08-30 | 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102618768B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019020810A (ja) * | 2017-07-12 | 2019-02-07 | パナソニックＩｐマネジメント株式会社 | メンテナンス支援方法、及びメンテナンス支援用プログラム |
| KR102252522B1 (ko) * | 2020-02-17 | 2021-05-13 | 제주대학교 산학협력단 | 내용 기반 동영상 목차 자동생성 방법 및 시스템 |
| KR20220068799A (ko) * | 2020-11-19 | 2022-05-26 | 현대자동차주식회사 | 자동화설비의 고장 검출 시스템 및 그 방법 |
| KR20220097120A (ko) | 2020-12-30 | 2022-07-07 | (주)라이언로켓 | 입크기 판별기를 포함하는 인공신경망을 이용한 입모양 합성 장치 및 방법 |
-
2022
- 2022-08-30 KR KR1020220109183A patent/KR102618768B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019020810A (ja) * | 2017-07-12 | 2019-02-07 | パナソニックＩｐマネジメント株式会社 | メンテナンス支援方法、及びメンテナンス支援用プログラム |
| KR102252522B1 (ko) * | 2020-02-17 | 2021-05-13 | 제주대학교 산학협력단 | 내용 기반 동영상 목차 자동생성 방법 및 시스템 |
| KR20220068799A (ko) * | 2020-11-19 | 2022-05-26 | 현대자동차주식회사 | 자동화설비의 고장 검출 시스템 및 그 방법 |
| KR20220097120A (ko) | 2020-12-30 | 2022-07-07 | (주)라이언로켓 | 입크기 판별기를 포함하는 인공신경망을 이용한 입모양 합성 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Souza et al. | Provenance data in the machine learning lifecycle in computational science and engineering | |
| CN104461842B (zh) | 基于日志相似性来处理故障的方法和装置 | |
| JP5301310B2 (ja) | 異常検知方法及び異常検知システム | |
| CN111158977A (zh) | 一种异常事件根因定位方法及装置 | |
| WO2016039219A1 (ja) | 異常検知手順開発装置および異常検知手順開発方法 | |
| CN111078094B (zh) | 分布式机器学习可视化装置 | |
| EP3258395B1 (en) | Data processing system and data processing method | |
| US20160054994A1 (en) | Source program analysis system, source program analysis method, and recording medium on which program is recorded | |
| DE112019005467T5 (de) | System und verfahren zum erkennen und vorhersagen von mustern eines anomalen sensorverhaltens einer maschine | |
| CN115564620A (zh) | 一种突发事件应急演练进程智能控制方法及系统 | |
| KR102618768B1 (ko) | 시계열 데이터에 기초한 장비의 유지관리를 위한 작업 지시서의 제공 방법 | |
| KR101985871B1 (ko) | 병렬 처리 기법을 이용한 사물인터넷 데이터 기반 프로세스 이상 현상 진단 방법 및 그 장치 | |
| CN112416918A (zh) | 数据治理系统及其工作方法 | |
| Marcus et al. | Flexible operator embeddings via deep learning | |
| CN105955922A (zh) | 一种机器数据模型演化的自动感知方法及装置 | |
| US20150066947A1 (en) | Indexing apparatus and method for search of security monitoring data | |
| Ocaña et al. | Data analytics in bioinformatics: Data science in practice for genomics analysis workflows | |
| Alzghoul et al. | Data stream mining for increased functional product availability awareness | |
| KR102469610B1 (ko) | 데이터 전처리 시스템 | |
| JP7368189B2 (ja) | 分析装置 | |
| Jia et al. | Remaining useful life prediction of equipment based on xgboost | |
| JP2001109647A (ja) | 事態状況解析装置 | |
| Ahmad et al. | Declarative temporal data models for sensor-driven query processing | |
| EP4068024A1 (en) | Operator centric system for resolution of abnormal situations in a plant | |
| US20230367291A1 (en) | System for access and organization of data from computer numerical control machine tools |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |