KR20220147911A

KR20220147911A - 하네스 케이블 제작 공정에서 산출되는 케이블의 불량 여부를 판단하기 위한 공정 모니터링 장치 및 그 동작 방법

Info

Publication number: KR20220147911A
Application number: KR1020210055024A
Authority: KR
Inventors: 윤형영
Original assignee: 주식회사 파인브이티
Priority date: 2021-04-28
Filing date: 2021-04-28
Publication date: 2022-11-04
Also published as: KR102583854B1

Abstract

하네스 케이블 제작 공정에서 산출되는 케이블의 불량 여부를 판단하기 위한 공정 모니터링 장치 및 그 동작 방법이 개시된다. 본 발명은 피복 탈피 공정 라인에 설치되어 있는 제1 카메라로부터 획득된, 제1 카메라가 촬영한 케이블의 피복이 탈피된 부분의 제1 촬영 이미지를, 사전 학습된 제1 합성곱 신경망에 입력으로 인가하여, 케이블의 피복 탈피 부분에 대한 불량 여부를 판단한 후, 그 결과를 피복 탈피 공정 라인에 설치되어 있는 제1 디스플레이 장치로 전송하고, 단자 압착 공정 라인에 설치되어 있는 제2 카메라로부터 획득된, 제2 카메라가 촬영한 케이블의 단자가 압착된 부분의 제2 촬영 이미지를, 사전 학습된 제2 합성곱 신경망에 입력으로 인가하여, 케이블의 단자 압착 부분에 대한 불량 여부를 판단한 후, 그 결과를 단자 압착 공정 라인에 설치되어 있는 제2 디스플레이 장치로 전송하는 공정 모니터링 장치 및 그 동작 방법에 대한 것이다.

Description

하네스 케이블 제작 공정에서 산출되는 케이블의 불량 여부를 판단하기 위한 공정 모니터링 장치 및 그 동작 방법{PROCESS MONITORING APPARATUS FOR JUDGING THE DEFECTIVENESS OF CABLES PRODUCED THROUGH HARNESS CABLE PRODUCTION PROCESS, AND THE OPERATING METHOD THEREOF}

본 발명은 하네스 케이블 제작 공정에서 산출되는 케이블의 불량 여부를 판단하기 위한 공정 모니터링 장치 및 그 동작 방법에 대한 것이다.

하네스 케이블(harness cable)은 서로 다른 장비나 시스템 간의 전기적 신호 및 전류를 상호 전달하기 위한 배선의 집합체로, 자동차, 항공기, 선박 등 다양한 전기 전자 제품에서 필수적인 부품이다. 보통, 하네스 케이블은 피복된 케이블을 필요한 길이로 절단하여, 케이블의 끝부분의 피복을 탈피하는 피복 탈피 공정 라인과, 케이블의 피복이 탈피된 부분에 단자를 압착시키는 단자 압착 공정 라인을 거쳐 제작된다.

한편, 불량이 있는 하네스 케이블이 사용된다면 심각한 인명 사고로 이어질 수 있기 때문에, 하네스 케이블 제작 공정에서는, 불량이 없는 고품질의 하네스 케이블을 제작하기 위해서, 피복 탈피 공정 라인과 단자 압착 공정 라인 각각에서 불량 검사를 수행하는 경우가 많다.

하지만, 기존의 하네스 케이블 제작 공정의 피복 탈피 공정 라인과 압착 공정 라인에서 수행되는 불량 검사는, 주로 사람이 직접 각 공정 라인에서 산출되는 케이블들을 일일이 육안으로 확인하여, 케이블들의 불량 여부를 판단하는 방식으로 수행되기 때문에, 많은 비용과 시간이 소요될 뿐만 아니라, 작업자의 숙련도에 따라 불량 검사의 정확도가 현저하게 떨어질 수 있다는 문제점이 있다.

만약, 사람이 직접 케이블들을 일일이 육안으로 확인하여 불량 여부를 판단하는 대신, 각 공정 라인에서 촬영된 촬영 이미지를 기초로, 케이블의 피복이 탈피된 부분이나 단자가 압착된 부분이 불량인지 여부를 판단할 수 있는 기술이 도입된다면, 불량 검사에 소요되는 비용과 시간을 최소화시킴으로써, 보다 효율적으로 공정 라인에서 산출되는 케이블들의 불량 여부를 모니터링 할 수 있을 것이다.

따라서, 공정 라인에서 촬영된 이미지를 기초로, 공정 라인에서 산출되는 케이블의 불량 여부를 판단하는 기술에 대한 연구가 필요하다.

본 발명은 피복 탈피 공정 라인에 설치되어 있는 제1 카메라로부터 획득된, 제1 카메라가 촬영한 케이블의 피복이 탈피된 부분의 제1 촬영 이미지를, 사전 학습된 제1 합성곱 신경망에 입력으로 인가하여, 케이블의 피복 탈피 부분에 대한 불량 여부를 판단한 후, 그 결과를 피복 탈피 공정 라인에 설치되어 있는 제1 디스플레이 장치로 전송하고, 단자 압착 공정 라인에 설치되어 있는 제2 카메라로부터 획득된, 제2 카메라가 촬영한 케이블의 단자가 압착된 부분의 제2 촬영 이미지를, 사전 학습된 제2 합성곱 신경망에 입력으로 인가하여, 케이블의 단자 압착 부분에 대한 불량 여부를 판단한 후, 그 결과를 단자 압착 공정 라인에 설치되어 있는 제2 디스플레이 장치로 전송하는 공정 모니터링 장치 및 그 동작 방법을 제시함으로써, 하네스 케이블 제작 공정의 피복 탈피 공정과 단자 압착 공정에서 발생하는 불량을, 관리자가 보다 효율적으로 모니터링 할 수 있도록 지원하고자 한다.

본 발명의 일실시예에 따른 피복 탈피 공정 라인 - 상기 피복 탈피 공정 라인에는, 상기 피복 탈피 공정 라인을 통해 산출되는 케이블의 피복이 탈피된 부분을 촬영하기 위한 제1 카메라가 설치되어 있음 - 과 단자 압착 공정 라인 - 상기 단자 압착 공정 라인에는, 상기 단자 압착 공정 라인을 통해 산출되는 케이블의 단자가 압착된 부분을 촬영하기 위한 제2 카메라가 설치되어 있음 - 으로 구성된 하네스 케이블(harness cable) 제작 공정에서, 각 공정 라인을 통해 산출되는 케이블의 피복이 탈피된 부분과 단자가 압착된 부분에 대한 불량 여부를 판단하기 위한 공정 모니터링 장치는 상기 피복 탈피 공정 라인을 통해 피복이 탈피된 케이블이 산출될 때마다, 상기 제1 카메라로부터, 상기 제1 카메라가 촬영한 케이블의 피복이 탈피된 부분의 촬영 이미지를 수신함으로써, 제1 촬영 이미지를 획득하는 제1 이미지 획득부, 상기 제1 촬영 이미지가 획득되면, 케이블의 피복이 탈피된 부분의 불량 여부 판단을 위한 사전 학습된 제1 합성곱 신경망(Convolutional Neural Networks)에 상기 제1 촬영 이미지를 입력으로 인가함으로써, 케이블의 피복 탈피 부분에 대한 불량 여부를 판단하는 탈피 불량 판단부, 상기 피복 탈피 부분에 대한 불량 여부의 판단이 완료되면, 상기 피복 탈피 공정 라인에 사전 설치되어 있는 제1 디스플레이 장치로, 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 전송하면서, 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 화면 상에 표시할 것을 요청하는 표시 명령을 전송하는 제1 결과 전송부, 상기 단자 압착 공정 라인을 통해 단자가 압착된 케이블이 산출될 때마다, 상기 제2 카메라로부터, 상기 제2 카메라가 촬영한 케이블의 단자가 압착된 부분의 촬영 이미지를 수신함으로써, 제2 촬영 이미지를 획득하는 제2 이미지 획득부, 상기 제2 촬영 이미지가 획득되면, 케이블의 단자가 압착된 부분의 불량 여부 판단을 위한 사전 학습된 제2 합성곱 신경망에 상기 제2 촬영 이미지를 입력으로 인가함으로써, 케이블의 단자 압착 부분에 대한 불량 여부를 판단하는 압착 불량 판단부 및 상기 단자 압착 부분에 대한 불량 여부의 판단이 완료되면, 상기 단자 압착 공정 라인에 사전 설치되어 있는 제2 디스플레이 장치로, 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 전송하면서, 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 화면 상에 표시할 것을 요청하는 표시 명령을 전송하는 제2 결과 전송부를 포함한다.

또한, 본 발명의 일실시예에 따른 피복 탈피 공정 라인 - 상기 피복 탈피 공정 라인에는, 상기 피복 탈피 공정 라인을 통해 산출되는 케이블의 피복이 탈피된 부분을 촬영하기 위한 제1 카메라가 설치되어 있음 - 과 단자 압착 공정 라인 - 상기 단자 압착 공정 라인에는, 상기 단자 압착 공정 라인을 통해 산출되는 케이블의 단자가 압착된 부분을 촬영하기 위한 제2 카메라가 설치되어 있음 - 으로 구성된 하네스 케이블 제작 공정에서, 각 공정 라인을 통해 산출되는 케이블의 피복이 탈피된 부분과 단자가 압착된 부분에 대한 불량 여부를 판단하기 위한 공정 모니터링 장치의 동작 방법은 상기 피복 탈피 공정 라인을 통해 피복이 탈피된 케이블이 산출될 때마다, 상기 제1 카메라로부터, 상기 제1 카메라가 촬영한 케이블의 피복이 탈피된 부분의 촬영 이미지를 수신함으로써, 제1 촬영 이미지를 획득하는 단계, 상기 제1 촬영 이미지가 획득되면, 케이블의 피복이 탈피된 부분의 불량 여부 판단을 위한 사전 학습된 제1 합성곱 신경망에 상기 제1 촬영 이미지를 입력으로 인가함으로써, 케이블의 피복 탈피 부분에 대한 불량 여부를 판단하는 단계, 상기 피복 탈피 부분에 대한 불량 여부의 판단이 완료되면, 상기 피복 탈피 공정 라인에 사전 설치되어 있는 제1 디스플레이 장치로, 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 전송하면서, 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 화면 상에 표시할 것을 요청하는 표시 명령을 전송하는 단계, 상기 단자 압착 공정 라인을 통해 단자가 압착된 케이블이 산출될 때마다, 상기 제2 카메라로부터, 상기 제2 카메라가 촬영한 케이블의 단자가 압착된 부분의 촬영 이미지를 수신함으로써, 제2 촬영 이미지를 획득하는 단계, 상기 제2 촬영 이미지가 획득되면, 케이블의 단자가 압착된 부분의 불량 여부 판단을 위한 사전 학습된 제2 합성곱 신경망에 상기 제2 촬영 이미지를 입력으로 인가함으로써, 케이블의 단자 압착 부분에 대한 불량 여부를 판단하는 단계 및 상기 단자 압착 부분에 대한 불량 여부의 판단이 완료되면, 상기 단자 압착 공정 라인에 사전 설치되어 있는 제2 디스플레이 장치로, 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 전송하면서, 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 화면 상에 표시할 것을 요청하는 표시 명령을 전송하는 단계를 포함한다.

본 발명은 피복 탈피 공정 라인에 설치되어 있는 제1 카메라로부터 획득된, 제1 카메라가 촬영한 케이블의 피복이 탈피된 부분의 제1 촬영 이미지를, 사전 학습된 제1 합성곱 신경망에 입력으로 인가하여, 케이블의 피복 탈피 부분에 대한 불량 여부를 판단한 후, 그 결과를 피복 탈피 공정 라인에 설치되어 있는 제1 디스플레이 장치로 전송하고, 단자 압착 공정 라인에 설치되어 있는 제2 카메라로부터 획득된, 제2 카메라가 촬영한 케이블의 단자가 압착된 부분의 제2 촬영 이미지를, 사전 학습된 제2 합성곱 신경망에 입력으로 인가하여, 케이블의 단자 압착 부분에 대한 불량 여부를 판단한 후, 그 결과를 단자 압착 공정 라인에 설치되어 있는 제2 디스플레이 장치로 전송하는 공정 모니터링 장치 및 그 동작 방법을 제시함으로써, 하네스 케이블 제작 공정의 피복 탈피 공정과 단자 압착 공정에서 발생하는 불량을, 관리자가 보다 효율적으로 모니터링 할 수 있도록 지원할 수 있다.

도 1은 본 발명의 일실시예에 따른 공정 라인을 통해 산출되는 케이블의 불량 여부를 판단하기 위한 공정 모니터링 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 공정 라인을 통해 산출되는 케이블의 불량 여부를 판단하기 위한 공정 모니터링 장치의 동작 장법을 도시한 순서도이다.

이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.

한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.

도 1은 본 발명의 일실시예에 따른 하네스 케이블 제작 공정에서 산출되는 케이블의 불량 여부를 판단하기 위한 공정 모니터링 장치의 구조를 도시한 도면이다.

본 발명에 따른 공정 모니터링 장치(110)는 피복 탈피 공정 라인과 단자 압착 공정 라인으로 구성된 하네스 케이블(harness cable) 제작 공정에서, 각 공정 라인을 통해 산출되는 케이블의 피복이 탈피된 부분과 단자가 압착된 부분에 대한 불량 여부를 판단하기 위한 장치로서, 제1 이미지 획득부(111), 탈피 불량 판단부(112), 제1 결과 전송부(113), 제2 이미지 획득부(114), 압착 불량 판단부(115) 및 제2 결과 전송부(116)를 포함한다.

여기서, 상기 피복 탈피 공정 라인에는, 상기 피복 탈피 공정 라인을 통해 산출되는 케이블의 피복이 탈피된 부분을 촬영하기 위한 제1 카메라(131)가 설치되어 있을 수 있고, 상기 단자 압착 공정 라인에는, 상기 단자 압착 공정 라인을 통해 산출되는 케이블의 단자가 압착된 부분을 촬영하기 위한 제2 카메라(132)가 설치되어 있을 수 있다.

제1 이미지 획득부(111)는 상기 피복 탈피 공정 라인을 통해 피복이 탈피된 케이블이 산출될 때마다, 제1 카메라(131)로부터, 제1 카메라(131)가 촬영한 케이블의 피복이 탈피된 부분의 촬영 이미지를 수신함으로써, 제1 촬영 이미지를 획득한다.

탈피 불량 판단부(112)는 제1 이미지 획득부(111)에 의해 상기 제1 촬영 이미지가 획득되면, 케이블의 피복이 탈피된 부분의 불량 여부 판단을 위한 사전 학습된 제1 합성곱 신경망(Convolutional Neural Networks)에 상기 제1 촬영 이미지를 입력으로 인가함으로써, 케이블의 피복 탈피 부분에 대한 불량 여부를 판단한다.

이때, 본 발명의 일실시예에 따르면, 탈피 불량 판단부(112)는 케이블의 피복 탈피 부분에 대한 불량 여부를 판단하기 위한 구체적인 구성으로, 제1 벡터 저장부(117), 제1 출력 벡터 생성부(118) 및 제1 판단 처리부(119)를 포함할 수 있다.

제1 벡터 저장부(117)에는 케이블의 피복이 탈피된 부분이 정상인 경우에 대응되는 사전 설정된 제1 특징 벡터와, 케이블의 피복이 탈피된 부분이 불량인 경우에 대응되는 사전 설정된 제2 특징 벡터가 저장되어 있다.

예컨대, 케이블의 피복이 탈피된 부분이 정상인 경우에 대응되는 사전 설정된 제1 특징 벡터를 '벡터 P'라고 하고, 케이블의 피복이 탈피된 부분이 불량인 경우에 대응되는 사전 설정된 제2 특징 벡터를 '벡터 Q'라고 하는 경우, 제1 벡터 저장부(117)에는 상기 제1 특징 벡터인 '벡터 P'와 상기 제2 특징 벡터인 '벡터 Q'가 저장되어 있을 수 있다.

제1 출력 벡터 생성부(118)는 제1 이미지 획득부(111)에 의해 상기 제1 촬영 이미지가 획득되면, 상기 제1 촬영 이미지를 상기 제1 합성곱 신경망에 입력으로 인가하여, 제1 출력 벡터를 생성한다.

여기서, 합성곱 신경망이란 합성곱 필터로 구성된 다수의 합성곱층과 풀링(pooling)층들로 구성되는 신경망으로서, 합성곱 신경망에 이미지 등과 같은 입력 데이터가 피처맵(feature map)으로 구성되어 합성곱층에 입력으로 인가되면, 합성곱층을 구성하는 하나 이상의 채널을 갖는 합성곱 필터들에 의해 합성곱이 발생하여 출력 피처맵이 생성되고, 풀링층을 통해서 상기 출력 피처맵의 크기를 줄이기 위한 다운샘플링이 수행된 후, 그 출력이 다음 합성곱층과 풀링층에 다시 입력으로 인가되는 과정이 반복되며, 이러한 과정의 반복을 통해 소정의 출력이 산출되게 된다.

이와 관련해서, 상기 제1 합성곱 신경망은, 케이블의 피복이 탈피된 부분이 정상인 경우에 대한 제1 훈련 이미지들과 케이블의 피복이 탈피된 부분이 불량인 경우에 대한 제2 훈련 이미지들을 기초로 사전 학습되어 있는 신경망으로서, 상기 제1 훈련 이미지들을 이미지의 특징 추출을 위한 제1 합성곱층들과 제1 풀링층들에 통과시켰을 때 산출되는 출력 벡터가 상기 제1 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있음과 동시에, 상기 제2 훈련 이미지들을 상기 제1 합성곱층들과 상기 제1 풀링층들에 통과시켰을 때 산출되는 출력 벡터가 상기 제2 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있는 신경망이다.

이때, 개발자는 상기 제1 합성곱 신경망을 학습시키기 위해, 상기 제1 특징 벡터와 상기 제2 특징 벡터가 저장되어 있는 제1 벡터 저장부(117)를 참조하여, 상기 제1 훈련 이미지들을 상기 제1 특징 벡터와 대응시키고, 상기 제2 훈련 이미지들을 상기 제2 특징 벡터와 대응시킨 제1 트레이닝 세트를 구성한 후, 상기 제1 트레이닝 세트를 기초로, 상기 제1 훈련 이미지들로부터 산출되는 출력 벡터와 상기 제1 특징 벡터 간의 벡터 유사도가 최대 값을 갖도록 하면서, 상기 제2 훈련 이미지들로부터 산출되는 출력 벡터와 상기 제2 특징 벡터 간의 벡터 유사도가 최대 값을 갖도록 상기 제1 합성곱 신경망을 학습시킬 수 있다.

관련해서, 상기 벡터 유사도가 하기의 수학식 1에 따른 유클리드 거리(Euclidean Distance)라고 한다면, 상기 개발자는 출력 벡터와 상기 제1 특징 벡터 또는 상기 제2 특징 벡터 간의 유클리드 거리가 0에 가까운 최소 값이 되도록 상기 제1 합성곱 신경망을 학습시킬 수 있고, 상기 벡터 유사도가 하기의 수학식 2에 따른 코사인 유사도라고 한다면, 상기 개발자는 출력 벡터와 상기 제1 특징 벡터 또는 상기 제2 특징 벡터 간의 코사인 유사도가 1에 가까운 최대 값이 되도록 상기 제1 합성곱 신경망을 학습시킬 수 있다. 아니면, 상기 개발자는 출력 벡터와 상기 제1 특징 벡터 또는 상기 제2 특징 벡터를 구성하는 각 성분들 간의 차이의 절대 값의 합을 손실(loss) 값으로 연산한 후, 상기 손실 값이 0에 가까운 최소 값이 산출되도록 상기 제1 합성곱 신경망을 학습시킬 수 있다.

상기 수학식 1에서, D는 벡터 A와 벡터 B 사이의 유클리드 거리로, A_i는 벡터 A의 i번째 성분, B_i는 벡터 B의 i번째 성분을 의미한다. 관련해서, 두 벡터 사이의 유클리드 거리가 작을수록 두 벡터가 서로 유사한 벡터라고 볼 수 있다.

상기 수학식 2에서, S는 벡터 A와 벡터 B 사이의 코사인 유사도로, -1에서 1 사이의 값을 가지며, A_i는 벡터 A의 i번째 성분, B_i는 벡터 B의 i번째 성분을 의미한다. 관련해서, 두 벡터 사이의 코사인 유사도가 클수록 두 벡터가 서로 유사한 벡터라고 볼 수 있다.

제1 출력 벡터 생성부(118)에 의해, 상기 제1 촬영 이미지가 상기 제1 합성곱 신경망에 입력으로 인가되어, 상기 제1 출력 벡터가 생성되면, 제1 판단 처리부(119)는 상기 제1 특징 벡터 및 상기 제2 특징 벡터 각각과 상기 제1 출력 벡터 간의 벡터 유사도를 연산한 후, 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도가 상기 제2 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 피복 탈피 부분에 대한 불량 여부를 정상으로 판단하고, 상기 제2 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도가 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 피복 탈피 부분에 대한 불량 여부를 불량으로 판단한다.

예컨대, 제1 카메라(131)로부터, 제1 카메라(131)가 촬영한 케이블의 피복이 탈피된 부분의 촬영 이미지가 수신됨으로써, 제1 이미지 획득부(111)에 의해, '이미지 1'이 획득되었다고 하고, 그 이후, 제1 출력 벡터 생성부(118)에 의해, '이미지 1'이 상기 제1 합성곱 신경망에 입력으로 인가되어 '출력 벡터 1'이 생성되었다고 가정하자.

이때, 전술한 예에 따르면, 제1 벡터 저장부(117)에는 상기 제1 특징 벡터인 '벡터 P'와 상기 제2 특징 벡터인 '벡터 Q'가 저장되어 있으므로, 제1 판단 처리부(119)는 '벡터 P, 벡터 Q' 각각과 '출력 벡터 1' 간의 벡터 유사도를 연산할 수 있다.

그 결과, '벡터 Q'와 '출력 벡터 1' 간의 벡터 유사도가 '벡터 P'와 '출력 벡터 1' 간의 벡터 유사도보다 큰 값으로 연산되었다고 하는 경우, 제1 판단 처리부(119)는 상기 피복 탈피 부분에 대한 불량 여부를 불량으로 판단할 수 있다.

이렇게, 탈피 불량 판단부(112)에 의해, 상기 피복 탈피 부분에 대한 불량 여부의 판단이 완료되면, 제1 결과 전송부(113)는 상기 피복 탈피 공정 라인에 사전 설치되어 있는 제1 디스플레이 장치(141)로, 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 전송하면서, 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 화면 상에 표시할 것을 요청하는 표시 명령을 전송한다.

예컨대, 전술한 예와 같이, 탈피 불량 판단부(112)에 의해, 상기 피복 탈피 부분에 대한 불량 여부가 불량으로 판단되었다고 하는 경우, 제1 결과 전송부(113)는 상기 피복 탈피 공정 라인에 사전 설치되어 있는 제1 디스플레이 장치(141)로, 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 불량인 것으로 전송하면서, 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 화면 상에 표시할 것을 요청하는 표시 명령을 전송할 수 있다.

그러면, 제1 디스플레이 장치(141)는 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 불량인 것으로 화면 상에 표시할 수 있고, 관리자(150)는 제1 디스플레이 장치(141)의 화면 상에 표시된 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 기초로, 피복 탈피 부분에 불량이 확인된 케이블에 대한 분류 작업을 수행할 수 있다.

제2 이미지 획득부(114)는 상기 단자 압착 공정 라인을 통해 단자가 압착된 케이블이 산출될 때마다, 제2 카메라(132)로부터, 제2 카메라(132)가 촬영한 케이블의 단자가 압착된 부분의 촬영 이미지를 수신함으로써, 제2 촬영 이미지를 획득한다.

압착 불량 판단부(115)는 제2 이미지 획득부(114)에 의해 상기 제2 촬영 이미지가 획득되면, 케이블의 단자가 압착된 부분의 불량 여부 판단을 위한 사전 학습된 제2 합성곱 신경망에 상기 제2 촬영 이미지를 입력으로 인가함으로써, 케이블의 단자 압착 부분에 대한 불량 여부를 판단한다.

이때, 본 발명의 일실시예에 따르면, 압착 불량 판단부(115)는 케이블의 단자 압착 부분에 대한 불량 여부를 판단하기 위한 구체적인 구성으로, 제2 벡터 저장부(120), 제2 출력 벡터 생성부(121) 및 제2 판단 처리부(122)를 포함할 수 있다.

제2 벡터 저장부(120)에는 케이블의 단자가 압착된 부분이 정상인 경우에 대응되는 사전 설정된 제3 특징 벡터와, 케이블의 단자가 압착된 부분이 불량인 경우에 대응되는 사전 설정된 제4 특징 벡터가 저장되어 있다.

예컨대, 케이블의 단자가 압착된 부분이 정상인 경우에 대응되는 사전 설정된 제3 특징 벡터를 '벡터 R'이라고 하고, 케이블의 단자가 압착된 부분이 불량인 경우에 대응되는 사전 설정된 제4 특징 벡터를 '벡터 S'라고 하는 경우, 제2 벡터 저장부(120)에는 상기 제3 특징 벡터인 '벡터 R'과 상기 제4 특징 벡터인 '벡터 S'가 저장되어 있을 수 있다.

제2 출력 벡터 생성부(121)는 제2 이미지 획득부(114)에 의해 상기 제2 촬영 이미지가 획득되면, 상기 제2 촬영 이미지를 상기 제2 합성곱 신경망에 입력으로 인가하여, 제2 출력 벡터를 생성한다.

여기서, 상기 제2 합성곱 신경망은, 케이블의 단자가 압착된 부분이 정상인 경우에 대한 제3 훈련 이미지들과 케이블의 단자가 압착된 부분이 불량인 경우에 대한 제4 훈련 이미지들을 기초로 사전 학습되어 있는 신경망으로서, 상기 제3 훈련 이미지들을 이미지의 특징 추출을 위한 제2 합성곱층들과 제2 풀링층들에 통과시켰을 때 산출되는 출력 벡터가, 상기 제3 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있음과 동시에, 상기 제4 훈련 이미지들을 상기 제2 합성곱층들과 상기 제2 풀링층들에 통과시켰을 때 산출되는 출력 벡터가 상기 제4 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있는 신경망이다.

이와 관련해서, 상기 개발자는 상기 제1 합성곱 신경망을 학습시킨 것과 같은 방식으로, 상기 제2 합성곱 신경망을 학습시키기 위해, 상기 제3 특징 벡터와 상기 제4 특징 벡터가 저장되어 있는 제2 벡터 저장부(120)를 참조하여, 상기 제3 훈련 이미지들을 상기 제3 특징 벡터와 대응시키고, 상기 제4 훈련 이미지들을 상기 제4 특징 벡터와 대응시킨 제2 트레이닝 세트를 구성한 후, 상기 제2 트레이닝 세트를 기초로, 상기 제3 훈련 이미지들로부터 산출되는 출력 벡터와 상기 제3 특징 벡터 간의 벡터 유사도가 최대 값을 갖도록 하면서, 상기 제4 훈련 이미지들로부터 산출되는 출력 벡터와 상기 제4 특징 벡터 간의 벡터 유사도가 최대 값을 갖도록 상기 제2 합성곱 신경망을 학습시킬 수 있다.

제2 출력 벡터 생성부(121)에 의해, 상기 제2 촬영 이미지가 상기 제2 합성곱 신경망에 입력으로 인가되어, 상기 제2 출력 벡터가 생성되면, 제2 판단 처리부(122)는 상기 제3 특징 벡터 및 상기 제4 특징 벡터 각각과 상기 제2 출력 벡터 간의 벡터 유사도를 연산한 후, 상기 제3 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도가 상기 제4 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 단자 압착 부분에 대한 불량 여부를 정상으로 판단하고, 상기 제4 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도가 상기 제3 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 단자 압착 부분에 대한 불량 여부를 불량으로 판단한다.

예컨대, 제2 카메라(132)로부터, 제2 카메라(132)가 촬영한 케이블의 단자가 압착된 부분의 촬영 이미지가 수신됨으로써, 제2 이미지 획득부(114)에 의해, '이미지 2'가 획득되었다고 하고, 그 이후, 제2 출력 벡터 생성부(121)에 의해, '이미지 2'가 상기 제2 합성곱 신경망에 입력으로 인가되어 '출력 벡터 2'가 생성되었다고 가정하자.

이때, 전술한 예에 따르면, 제2 벡터 저장부(120)에는 상기 제3 특징 벡터인 '벡터 R'과 상기 제4 특징 벡터인 '벡터 S'가 저장되어 있으므로, 제2 판단 처리부(122)는 '벡터 R, 벡터 S' 각각과 '출력 벡터 2' 간의 벡터 유사도를 연산할 수 있다.

이때, '벡터 S'와 '출력 벡터 2' 간의 벡터 유사도가 '벡터 R'과 '출력 벡터 2' 간의 벡터 유사도보다 큰 값으로 연산되었다고 하는 경우, 제2 판단 처리부(122)는 상기 단자 압착 부분에 대한 불량 여부를 불량으로 판단할 수 있다.

이렇게, 압착 불량 판단부(115)에 의해, 상기 단자 압착 부분에 대한 불량 여부의 판단이 완료되면, 제2 결과 전송부(116)는 상기 단자 압착 공정 라인에 사전 설치되어 있는 제2 디스플레이 장치(142)로, 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 전송하면서, 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 화면 상에 표시할 것을 요청하는 표시 명령을 전송한다.

예컨대, 전술한 예와 같이, 압착 불량 판단부(115)에 의해, 상기 단자 압착 부분에 대한 불량 여부가 불량인 것으로 판단되었다고 하는 경우, 제2 결과 전송부(116)는 상기 단자 압착 공정 라인에 사전 설치되어 있는 제2 디스플레이 장치(142)로, 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 불량인 것으로 전송하면서, 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 화면 상에 표시할 것을 요청하는 표시 명령을 전송할 수 있다.

그러면, 제2 디스플레이 장치(142)는 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 불량인 것으로 화면 상에 표시할 수 있고, 관리자(150)는 제2 디스플레이 장치(142)의 화면 상에 표시된 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 기초로, 단자 압착 부분에 불량이 확인된 케이블에 대한 분류 작업을 수행할 수 있다.

즉, 공정 모니터링 장치(110)는 제1 카메라(131)로부터 획득된 상기 제1 촬영 이미지를 상기 제1 합성곱 신경망에 입력으로 인가하여, 케이블의 피복이 탈피된 부분에 대한 불량 여부를 판단한 후, 그 결과를 제1 디스플레이 장치(141)로 전송할 수 있고, 제2 카메라(132)로부터 획득된 상기 제2 촬영 이미지를 상기 제2 합성곱 신경망에 입력으로 인가하여, 케이블의 단자가 압착된 부분에 대한 불량 여부를 판단한 후, 그 결과를 제2 디스플레이 장치(142)로 전송할 수 있다.

본 발명의 일실시예에 따르면, 공정 모니터링 장치(110)는 제1 이력 저장 처리부(123) 및 제2 이력 저장 처리부(124)를 더 포함할 수 있다.

제1 이력 저장 처리부(123)는 탈피 불량 판단부(112)에 의해 상기 피복 탈피 부분에 대한 불량 여부가 불량인 것으로 판단될 때마다, 상기 피복 탈피 부분이 불량인 것으로 판단된 시점에 대한 제1 시간 정보를 생성한 후, 상기 제1 시간 정보를 이력 데이터베이스에 저장한다.

제2 이력 저장 처리부(124)는 압착 불량 판단부(115)에 의해 상기 단자 압착 부분에 대한 불량 여부가 불량인 것으로 판단될 때마다, 상기 단자 압착 부분이 불량인 것으로 판단된 시점에 대한 제2 시간 정보를 생성한 후, 상기 제2 시간 정보를 상기 이력 데이터베이스에 저장한다.

이하에서는, 제1 이력 저장 처리부(123) 및 제2 이력 저장 처리부(124)의 동작을 예를 들어, 상세히 설명하기로 한다.

먼저, 전술한 예와 같이, 제1 이미지 획득부(111)에 의해, '이미지 1'이 획득되었다고 하고, 그 이후, 탈피 불량 판단부(112)에 의해, 상기 피복 탈피 부분이 불량인 것으로 판단되었다고 가정하자.

이때, 탈피 불량 판단부(112)에 의해, 상기 피복 탈피 부분이 불량인 것으로 판단된 시점을 '2021년 4월 1일 오전 9시 10분'이라고 하는 경우, 제1 이력 저장 처리부(123)는 '2021년 4월 1일 오전 9시 10분'에 대한 제1 시간 정보를 생성한 후, 상기 제1 시간 정보를 이력 데이터베이스에 저장할 수 있다.

또한, 전술한 예와 같이, 제2 이미지 획득부(114)에 의해, '이미지 2'가 획득되었다고 하고, 그 이후, 압착 불량 판단부(115)에 의해, 상기 단자 압착 부분이 불량인 것으로 판단되었다고 가정하자.

이때, 압착 불량 판단부(115)에 의해, 상기 단자 압착 부분이 불량인 것으로 판단된 시점을 '2021년 4월 1일 오전 9시 20분'이라고 하는 경우, 제2 이력 저장 처리부(124)는 '2021년 4월 1일 오전 9시 20분'에 대한 제2 시간 정보를 생성한 후, 상기 제2 시간 정보를 상기 이력 데이터베이스에 저장할 수 있다.

이렇게, 제1 이력 저장 처리부(123)는 상기 피복 탈피 부분이 불량인 것으로 판단될 때마다, 상기 피복 탈피 부분이 불량인 것으로 판단된 시점에 대한 상기 제1 시간 정보를 생성하여 상기 이력 데이터베이스에 저장하는 과정을 반복 수행할 수 있고, 제2 이력 저장 처리부(124)는 상기 단자 압착 부분이 불량인 것으로 판단될 때 마다, 상기 단자 압착 부분이 불량인 것으로 판단된 시점에 대한 상기 제2 시간 정보를 생성하여 상기 이력 데이터 베이스에 저장하는 과정을 반복 수행할 수 있다.

이러한 과정을 통해, 상기 이력 데이터베이스에는 하기의 표 1과 같은 제1 시간 정보들과 제2 시간 정보들이 저장될 수 있다.

제1 시간 정보	제2 시간 정보
2021년 4월 1일 오전 9시 10분	2021년 4월 1일 오전 9시 20분
2021년 4월 1일 오전 9시 35분	2021년 4월 1일 오전 10시 30분
2021년 4월 1일 오전 10시 25분	2021년 4월 1일 오전 10시 35분
...	...

이때, 본 발명의 일실시예에 따르면, 공정 모니터링 장치(110)는 데이터 저장부(125), 회귀식 생성부(126), 평균 산출부(127), 불량 예측부(128) 및 생산량 예측부(129)를 더 포함할 수 있다.

데이터 저장부(125)에는 사전 설정된 데이터 수집 기간 동안 수집된, 상기 피복 탈피 부분이 불량인 것으로 판단된 일별 제1 불량 판단 횟수, 상기 단자 압착 부분이 불량인 것으로 판단된 일별 제2 불량 판단 횟수 및 상기 하네스 케이블 제작 공정을 통해 생산된 하네스 케이블의 일별 생산 개수가 저장되어 있다.

예컨대, 사전 설정된 데이터 수집 기간을 '2021년 3월 1일부터 2021년 3월 31일까지'라고 하는 경우, 데이터 저장부(125)에는 '2021년 3월 1일부터 2021년 3월 31일까지' 수집된, 상기 피복 탈피 부분이 불량인 것으로 판단된 일별 제1 불량 판단 횟수, 상기 단자 압착 부분이 불량인 것으로 판단된 일별 제2 불량 판단 횟수 및 상기 하네스 케이블 제작 공정을 통해 생산된 하네스 케이블의 일별 생산 개수가 하기의 표 2와 같이 저장되어 있을 수 있다.

작업 일자	일별 제1 불량 판단 횟수 (회)	일별 제2 불량 판단 횟수 (회)	일별 생산 개수 (개)
2021년 3월 1일	11	7	230
2021년 3월 2일	5	19	350
...	...	...	...
2021년 3월 31일	9	12	290

회귀식 생성부(126)는 상기 일별 제1 불량 판단 횟수와 상기 일별 제2 불량 판단 횟수를 독립변수로 지정하고, 상기 일별 생산 개수를 종속변수로 지정하여, 다중 회귀 분석(multiple regression analysis)을 수행함으로써, 다중 회귀식을 생성한다.

평균 산출부(127)는 회귀식 생성부(126)에 의해 상기 다중 회귀식이 생성된 이후, 관리자(150)로부터, 현재 작업 일자에 생산될 하네스 케이블에 대한 생산 개수의 예측 명령이 인가되면, 상기 현재 작업 일자에서, 상기 예측 명령이 인가된 제1 시점까지 상기 이력 데이터베이스에 저장 완료된 상기 제1 시간 정보와 상기 제2 시간 정보 각각의 개수를 확인하여, 상기 현재 작업 일자에서, 상기 제1 시점까지 상기 피복 탈피 부분이 불량인 것으로 판단된 시간당 제1 평균 횟수와 상기 단자 압착 부분이 불량인 것으로 판단된 시간당 제2 평균 횟수를 산출한다.

불량 예측부(128)는 상기 시간당 제1 평균 횟수에 상기 현재 작업 일자의 총 작업 예정 시간을 곱함으로써, 상기 현재 작업 일자에 대응되는 제1 불량 판단 횟수를 예측하고, 상기 시간당 제2 평균 횟수에 상기 현재 작업 일자의 총 작업 예정 시간을 곱함으로써, 상기 현재 작업 일자에 대응되는 제2 불량 판단 횟수를 예측한다.

생산량 예측부(129)는 상기 현재 작업 일자에 대응되는 제1 불량 판단 횟수와 상기 현재 작업 일자에 대응되는 제2 불량 판단 횟수를 상기 다중 회귀식에 입력으로 인가하여, 상기 현재 작업 일자에 대한 하네스 케이블의 예상 생산 개수를 산출한 후, 상기 현재 작업 일자에 대한 하네스 케이블의 예상 생산 개수에 대한 정보를 화면 상에 표시한다.

이하에서는, 회귀식 생성부(126), 평균 산출부(127), 불량 예측부(128) 및 생산량 예측부(129)의 동작을 예를 들어, 상세히 설명하기로 한다.

먼저, 전술한 예와 같이, 데이터 저장부(125)에 상기 표 2와 같은 데이터가 저장되어 있다고 가정하자.

그러면, 회귀식 생성부(126)는 상기 일별 제1 불량 판단 횟수인 '11(회), 5(회), ..., 9(회)'와 상기 일별 제2 불량 판단 횟수인 '7(회), 19(회), ..., 12(회)'를 독립변수로 지정하고, 상기 일별 생산 개수인 '200(개), 300(개), ..., 290(개)'을 종속변수로 지정하여, 다중 회귀 분석을 수행함으로써, 다중 회귀식을 생성할 수 있다.

이때, 현재 작업 일자를 '2021년 4월 1일'이라고 하고, 관리자(150)로부터, '2021년 4월 1일'에 생산될 하네스 케이블에 대한 생산 개수의 예측 명령이 인가되었다고 가정하자.

관련해서, 상기 예측 명령이 인가된 제1 시점이 '오전 11시 30분'이라고 하고, '2021년 4월 1일'에서 '오전 11시 30분'까지 상기 이력 데이터베이스에 저장 완료된 상기 제1 시간 정보와 상기 제2 시간 정보가 상기 표 1과 같다고 하는 경우, 평균 산출부(127)는 상기 표 1과 같은 이력 데이터베이스에 저장 완료된 상기 제1 시간 정보와 상기 제2 시간 정보 각각의 개수를 확인하여, '2021년 4월 1일'에서, '오전 11시 30분'까지 상기 피복 탈피 부분이 불량인 것으로 판단된 시간당 제1 평균 횟수와 상기 단자 압착 부분이 불량인 것으로 판단된 시간당 제2 평균 횟수를 산출할 수 있다.

이때, '2021년 4월 1일'에서 '오전 11시 30분'까지의 작업 시간이 '2.5시간'이라고 하고, 상기 표 1과 같은 이력 데이터베이스에 저장 완료된 제1 시간 정보의 개수가 '4개'라고 하는 경우, 평균 산출부(127)는 '2021년 4월 1일'에서 '오전 11시 30분'까지 상기 피복 탈피 부분이 불량인 것으로 판단된 시간당 제1 평균 횟수를 '1.6회'와 같이 산출할 수 있다.

이러한 방식으로, 상기 시간당 제1 평균 횟수가 '1.6회'와 같이 산출되었다고 하고, 상기 시간당 제2 평균 횟수가 '0.9'와 같이 산출되었다고 하며, '2021년 4월 1일'의 총 작업 예정 시간을 '8시간'이라고 하는 경우, 불량 예측부(128)는 상기 시간당 제1 평균 횟수인 '1.6회'에 '8시간'을 곱함으로써, '2021년 4월 1일'에 대응되는 제1 불량 판단 횟수를 '12.8회'와 같이 예측할 수 있고, 상기 시간당 제2 평균 횟수인 '0.9'에 '8시간'을 곱함으로써, '2021년 4월 1일'에 대응되는 제2 불량 판단 횟수를 '7.2회'와 같이 예측할 수 있다.

그러면, 생산량 예측부(129)는 '2021년 4월 1일'에 대응되는 제1 불량 판단 횟수인 '12.8회'와 '2021년 4월 1일'에 대응되는 제2 불량 판단 횟수인 '7.2회'를 상기 다중 회귀식에 입력으로 인가하여, '2021년 4월 1일'에 대한 하네스 케이블의 예상 생산 개수를 산출할 수 있다.

이때, '2021년 4월 1일'에 대한 하네스 케이블의 예상 생산 개수가 '275개'와 같이 산출되었다고 하는 경우, 생산량 예측부(129)는'2021년 4월 1일'에 대한 하네스 케이블의 예상 생산 개수인 '275개'에 대한 정보를 화면 상에 표시할 수 있다.

도 2는 본 발명의 일실시예에 따른 피복 탈피 공정 라인(상기 피복 탈피 공정 라인에는, 상기 피복 탈피 공정 라인을 통해 산출되는 케이블의 피복이 탈피된 부분을 촬영하기 위한 제1 카메라가 설치되어 있음)과 단자 압착 공정 라인(상기 단자 압착 공정 라인에는, 상기 단자 압착 공정 라인을 통해 산출되는 케이블의 단자가 압착된 부분을 촬영하기 위한 제2 카메라가 설치되어 있음)으로 구성된 하네스 케이블 제작 공정에서, 각 공정 라인을 통해 산출되는 케이블의 피복이 탈피된 부분과 단자가 압착된 부분에 대한 불량 여부를 판단하기 위한 공정 모니터링 장치의 동작 방법을 도시한 순서도이다.

단계(S210)에서는 상기 피복 탈피 공정 라인을 통해 피복이 탈피된 케이블이 산출될 때마다, 상기 제1 카메라로부터, 상기 제1 카메라가 촬영한 케이블의 피복이 탈피된 부분의 촬영 이미지를 수신함으로써, 제1 촬영 이미지를 획득한다.

단계(S220)에서는 상기 제1 촬영 이미지가 획득되면, 케이블의 피복이 탈피된 부분의 불량 여부 판단을 위한 사전 학습된 제1 합성곱 신경망에 상기 제1 촬영 이미지를 입력으로 인가함으로써, 케이블의 피복 탈피 부분에 대한 불량 여부를 판단한다.

단계(S230)에서는 상기 피복 탈피 부분에 대한 불량 여부의 판단이 완료되면, 상기 피복 탈피 공정 라인에 사전 설치되어 있는 제1 디스플레이 장치로, 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 전송하면서, 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 화면 상에 표시할 것을 요청하는 표시 명령을 전송한다.

단계(S240)에서는 상기 단자 압착 공정 라인을 통해 단자가 압착된 케이블이 산출될 때마다, 상기 제2 카메라로부터, 상기 제2 카메라가 촬영한 케이블의 단자가 압착된 부분의 촬영 이미지를 수신함으로써, 제2 촬영 이미지를 획득한다.

단계(S250)에서는 상기 제2 촬영 이미지가 획득되면, 케이블의 단자가 압착된 부분의 불량 여부 판단을 위한 사전 학습된 제2 합성곱 신경망에 상기 제2 촬영 이미지를 입력으로 인가함으로써, 케이블의 단자 압착 부분에 대한 불량 여부를 판단한다.

단계(S260)에서는 상기 단자 압착 부분에 대한 불량 여부의 판단이 완료되면, 상기 단자 압착 공정 라인에 사전 설치되어 있는 제2 디스플레이 장치로, 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 전송하면서, 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 화면 상에 표시할 것을 요청하는 표시 명령을 전송한다.

이때, 본 발명의 일실시예에 따르면, 단계(S220)에서는 케이블의 피복이 탈피된 부분이 정상인 경우에 대응되는 사전 설정된 제1 특징 벡터와, 케이블의 피복이 탈피된 부분이 불량인 경우에 대응되는 사전 설정된 제2 특징 벡터가 저장되어 있는 제1 벡터 저장부를 유지하는 단계, 상기 제1 촬영 이미지가 획득되면, 상기 제1 촬영 이미지를 상기 제1 합성곱 신경망(상기 제1 합성곱 신경망은, 케이블의 피복이 탈피된 부분이 정상인 경우에 대한 제1 훈련 이미지들과 케이블의 피복이 탈피된 부분이 불량인 경우에 대한 제2 훈련 이미지들을 기초로 사전 학습되어 있는 신경망으로서, 상기 제1 훈련 이미지들을 이미지의 특징 추출을 위한 제1 합성곱층들과 제1 풀링층들에 통과시켰을 때 산출되는 출력 벡터가 상기 제1 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있음과 동시에, 상기 제2 훈련 이미지들을 상기 제1 합성곱층들과 상기 제1 풀링층들에 통과시켰을 때 산출되는 출력 벡터가 상기 제2 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있는 신경망임)에 입력으로 인가하여, 제1 출력 벡터를 생성하는 단계 및 상기 제1 출력 벡터가 생성되면, 상기 제1 특징 벡터 및 상기 제2 특징 벡터 각각과 상기 제1 출력 벡터 간의 벡터 유사도를 연산한 후, 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도가 상기 제2 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 피복 탈피 부분에 대한 불량 여부를 정상으로 판단하고, 상기 제2 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도가 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 피복 탈피 부분에 대한 불량 여부를 불량으로 판단하는 단계를 포함할 수 있다.

또한, 본 발명의 일실시예에 따르면, 단계(S250)에서는 케이블의 단자가 압착된 부분이 정상인 경우에 대응되는 사전 설정된 제3 특징 벡터와, 케이블의 단자가 압착된 부분이 불량인 경우에 대응되는 사전 설정된 제4 특징 벡터가 저장되어 있는 제2 벡터 저장부를 유지하는 단계, 상기 제2 촬영 이미지가 획득되면, 상기 제2 촬영 이미지를 상기 제2 합성곱 신경망(상기 제2 합성곱 신경망은, 케이블의 단자가 압착된 부분이 정상인 경우에 대한 제3 훈련 이미지들과 케이블의 단자가 압착된 부분이 불량인 경우에 대한 제4 훈련 이미지들을 기초로 사전 학습되어 있는 신경망으로서, 상기 제3 훈련 이미지들을 이미지의 특징 추출을 위한 제2 합성곱층들과 제2 풀링층들에 통과시켰을 때 산출되는 출력 벡터가, 상기 제3 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있음과 동시에, 상기 제4 훈련 이미지들을 상기 제2 합성곱층들과 상기 제2 풀링층들에 통과시켰을 때 산출되는 출력 벡터가 상기 제4 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있는 신경망임)에 입력으로 인가하여, 제2 출력 벡터를 생성하는 단계 및 상기 제2 출력 벡터가 생성되면, 상기 제3 특징 벡터 및 상기 제4 특징 벡터 각각과 상기 제2 출력 벡터 간의 벡터 유사도를 연산한 후, 상기 제3 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도가 상기 제4 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 단자 압착 부분에 대한 불량 여부를 정상으로 판단하고, 상기 제4 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도가 상기 제3 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 단자 압착 부분에 대한 불량 여부를 불량으로 판단하는 단계를 포함할 수 있다.

또한, 본 발명의 일실시예에 따르면, 상기 공정 모니터링 장치의 동작 방법은 단계(S220)에 의해 상기 피복 탈피 부분에 대한 불량 여부가 불량인 것으로 판단될 때마다, 상기 피복 탈피 부분이 불량인 것으로 판단된 시점에 대한 제1 시간 정보를 생성한 후, 상기 제1 시간 정보를 이력 데이터베이스에 저장하는 단계 및 단계(S250)에 의해 상기 단자 압착 부분에 대한 불량 여부가 불량인 것으로 판단될 때마다, 상기 단자 압착 부분이 불량인 것으로 판단된 시점에 대한 제2 시간 정보를 생성한 후, 상기 제2 시간 정보를 상기 이력 데이터베이스에 저장하는 단계를 더 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 공정 모니터링 장치의 동작 방법은 사전 설정된 데이터 수집 기간 동안 수집된, 상기 피복 탈피 부분이 불량인 것으로 판단된 일별 제1 불량 판단 횟수, 상기 단자 압착 부분이 불량인 것으로 판단된 일별 제2 불량 판단 횟수 및 상기 하네스 케이블 제작 공정을 통해 생산된 하네스 케이블의 일별 생산 개수가 저장되어 있는 데이터 저장부를 유지하는 단계, 상기 일별 제1 불량 판단 횟수와 상기 일별 제2 불량 판단 횟수를 독립변수로 지정하고, 상기 일별 생산 개수를 종속변수로 지정하여, 다중 회귀 분석을 수행함으로써, 다중 회귀식을 생성하는 단계, 상기 다중 회귀식이 생성된 이후, 관리자로부터, 현재 작업 일자에 생산될 하네스 케이블에 대한 생산 개수의 예측 명령이 인가되면, 상기 현재 작업 일자에서, 상기 예측 명령이 인가된 제1 시점까지 상기 이력 데이터베이스에 저장 완료된 상기 제1 시간 정보와 상기 제2 시간 정보 각각의 개수를 확인하여, 상기 현재 작업 일자에서, 상기 제1 시점까지 상기 피복 탈피 부분이 불량인 것으로 판단된 시간당 제1 평균 횟수와 상기 단자 압착 부분이 불량인 것으로 판단된 시간당 제2 평균 횟수를 산출하는 단계, 상기 시간당 제1 평균 횟수에 상기 현재 작업 일자의 총 작업 예정 시간을 곱함으로써, 상기 현재 작업 일자에 대응되는 제1 불량 판단 횟수를 예측하고, 상기 시간당 제2 평균 횟수에 상기 현재 작업 일자의 총 작업 예정 시간을 곱함으로써, 상기 현재 작업 일자에 대응되는 제2 불량 판단 횟수를 예측하는 단계 및 상기 현재 작업 일자에 대응되는 제1 불량 판단 횟수와 상기 현재 작업 일자에 대응되는 제2 불량 판단 횟수를 상기 다중 회귀식에 입력으로 인가하여, 상기 현재 작업 일자에 대한 하네스 케이블의 예상 생산 개수를 산출한 후, 상기 현재 작업 일자에 대한 하네스 케이블의 예상 생산 개수에 대한 정보를 화면 상에 표시하는 단계를 더 포함할 수 있다.

이상, 도 2를 참조하여 본 발명의 일실시예에 따른 하네스 케이블 제작 공정에서 산출되는 케이블의 불량 여부를 판단하기 위한 공정 모니터링 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 공정 모니터링 장치의 동작 방법은 도 1을 이용하여 설명한 공정 모니터링 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.

본 발명의 일실시예에 따른 하네스 케이블 제작 공정에서 산출되는 케이블의 불량 여부를 판단하기 위한 공정 모니터링 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.

또한, 본 발명의 일실시예에 따른 하네스 케이블 제작 공정에서 산출되는 케이블의 불량 여부를 판단하기 위한 공정 모니터링 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

110: 하네스 케이블 제작 공정에서 산출되는 케이블의 불량 여부를 판단하기 위한 공정 모니터링 장치
111: 제1 이미지 획득부 112: 탈피 불량 판단부
113: 제1 결과 전송부 114: 제2 이미지 획득부
115: 압착 불량 판단부 116: 제2 결과 전송부
117: 제1 벡터 저장부 118: 제1 출력 벡터 생성부
119: 제1 판단 처리부 120: 제2 벡터 저장부
121: 제2 출력 벡터 생성부 122: 제2 판단 처리부
123: 제1 이력 저장 처리부 124: 제2 이력 저장 처리부
125: 데이터 저장부 126: 회귀식 생성부
127: 평균 산출부 128: 불량 예측부
129: 생산량 예측부
131: 제1 카메라 132: 제2 카메라
141: 제1 디스플레이 장치 142: 제2 디스플레이 장치
150: 관리자

Claims

피복 탈피 공정 라인 - 상기 피복 탈피 공정 라인에는, 상기 피복 탈피 공정 라인을 통해 산출되는 케이블의 피복이 탈피된 부분을 촬영하기 위한 제1 카메라가 설치되어 있음 - 과 단자 압착 공정 라인 - 상기 단자 압착 공정 라인에는, 상기 단자 압착 공정 라인을 통해 산출되는 케이블의 단자가 압착된 부분을 촬영하기 위한 제2 카메라가 설치되어 있음 - 으로 구성된 하네스 케이블(harness cable) 제작 공정에서, 각 공정 라인을 통해 산출되는 케이블의 피복이 탈피된 부분과 단자가 압착된 부분에 대한 불량 여부를 판단하기 위한 공정 모니터링 장치에 있어서,
상기 피복 탈피 공정 라인을 통해 피복이 탈피된 케이블이 산출될 때마다, 상기 제1 카메라로부터, 상기 제1 카메라가 촬영한 케이블의 피복이 탈피된 부분의 촬영 이미지를 수신함으로써, 제1 촬영 이미지를 획득하는 제1 이미지 획득부;
상기 제1 촬영 이미지가 획득되면, 케이블의 피복이 탈피된 부분의 불량 여부 판단을 위한 사전 학습된 제1 합성곱 신경망(Convolutional Neural Networks)에 상기 제1 촬영 이미지를 입력으로 인가함으로써, 케이블의 피복 탈피 부분에 대한 불량 여부를 판단하는 탈피 불량 판단부;
상기 피복 탈피 부분에 대한 불량 여부의 판단이 완료되면, 상기 피복 탈피 공정 라인에 사전 설치되어 있는 제1 디스플레이 장치로, 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 전송하면서, 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 화면 상에 표시할 것을 요청하는 표시 명령을 전송하는 제1 결과 전송부;
상기 단자 압착 공정 라인을 통해 단자가 압착된 케이블이 산출될 때마다, 상기 제2 카메라로부터, 상기 제2 카메라가 촬영한 케이블의 단자가 압착된 부분의 촬영 이미지를 수신함으로써, 제2 촬영 이미지를 획득하는 제2 이미지 획득부;
상기 제2 촬영 이미지가 획득되면, 케이블의 단자가 압착된 부분의 불량 여부 판단을 위한 사전 학습된 제2 합성곱 신경망에 상기 제2 촬영 이미지를 입력으로 인가함으로써, 케이블의 단자 압착 부분에 대한 불량 여부를 판단하는 압착 불량 판단부; 및
상기 단자 압착 부분에 대한 불량 여부의 판단이 완료되면, 상기 단자 압착 공정 라인에 사전 설치되어 있는 제2 디스플레이 장치로, 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 전송하면서, 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 화면 상에 표시할 것을 요청하는 표시 명령을 전송하는 제2 결과 전송부
를 포함하는 공정 모니터링 장치.
제1항에 있어서,
상기 탈피 불량 판단부는
케이블의 피복이 탈피된 부분이 정상인 경우에 대응되는 사전 설정된 제1 특징 벡터와, 케이블의 피복이 탈피된 부분이 불량인 경우에 대응되는 사전 설정된 제2 특징 벡터가 저장되어 있는 제1 벡터 저장부;
상기 제1 촬영 이미지가 획득되면, 상기 제1 촬영 이미지를 상기 제1 합성곱 신경망 - 상기 제1 합성곱 신경망은, 케이블의 피복이 탈피된 부분이 정상인 경우에 대한 제1 훈련 이미지들과 케이블의 피복이 탈피된 부분이 불량인 경우에 대한 제2 훈련 이미지들을 기초로 사전 학습되어 있는 신경망으로서, 상기 제1 훈련 이미지들을 이미지의 특징 추출을 위한 제1 합성곱층들과 제1 풀링(pooling)층들에 통과시켰을 때 산출되는 출력 벡터가 상기 제1 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있음과 동시에, 상기 제2 훈련 이미지들을 상기 제1 합성곱층들과 상기 제1 풀링층들에 통과시켰을 때 산출되는 출력 벡터가 상기 제2 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있는 신경망임 - 에 입력으로 인가하여, 제1 출력 벡터를 생성하는 제1 출력 벡터 생성부; 및
상기 제1 출력 벡터가 생성되면, 상기 제1 특징 벡터 및 상기 제2 특징 벡터 각각과 상기 제1 출력 벡터 간의 벡터 유사도를 연산한 후, 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도가 상기 제2 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 피복 탈피 부분에 대한 불량 여부를 정상으로 판단하고, 상기 제2 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도가 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 피복 탈피 부분에 대한 불량 여부를 불량으로 판단하는 제1 판단 처리부
를 포함하는 공정 모니터링 장치.
제1항에 있어서,
상기 압착 불량 판단부는
케이블의 단자가 압착된 부분이 정상인 경우에 대응되는 사전 설정된 제3 특징 벡터와, 케이블의 단자가 압착된 부분이 불량인 경우에 대응되는 사전 설정된 제4 특징 벡터가 저장되어 있는 제2 벡터 저장부;
상기 제2 촬영 이미지가 획득되면, 상기 제2 촬영 이미지를 상기 제2 합성곱 신경망 - 상기 제2 합성곱 신경망은, 케이블의 단자가 압착된 부분이 정상인 경우에 대한 제3 훈련 이미지들과 케이블의 단자가 압착된 부분이 불량인 경우에 대한 제4 훈련 이미지들을 기초로 사전 학습되어 있는 신경망으로서, 상기 제3 훈련 이미지들을 이미지의 특징 추출을 위한 제2 합성곱층들과 제2 풀링층들에 통과시켰을 때 산출되는 출력 벡터가, 상기 제3 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있음과 동시에, 상기 제4 훈련 이미지들을 상기 제2 합성곱층들과 상기 제2 풀링층들에 통과시켰을 때 산출되는 출력 벡터가 상기 제4 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있는 신경망임 - 에 입력으로 인가하여, 제2 출력 벡터를 생성하는 제2 출력 벡터 생성부; 및
상기 제2 출력 벡터가 생성되면, 상기 제3 특징 벡터 및 상기 제4 특징 벡터 각각과 상기 제2 출력 벡터 간의 벡터 유사도를 연산한 후, 상기 제3 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도가 상기 제4 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 단자 압착 부분에 대한 불량 여부를 정상으로 판단하고, 상기 제4 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도가 상기 제3 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 단자 압착 부분에 대한 불량 여부를 불량으로 판단하는 제2 판단 처리부
를 포함하는 공정 모니터링 장치.
제1항에 있어서,
상기 탈피 불량 판단부에 의해 상기 피복 탈피 부분에 대한 불량 여부가 불량인 것으로 판단될 때마다, 상기 피복 탈피 부분이 불량인 것으로 판단된 시점에 대한 제1 시간 정보를 생성한 후, 상기 제1 시간 정보를 이력 데이터베이스에 저장하는 제1 이력 저장 처리부; 및
상기 압착 불량 판단부에 의해 상기 단자 압착 부분에 대한 불량 여부가 불량인 것으로 판단될 때마다, 상기 단자 압착 부분이 불량인 것으로 판단된 시점에 대한 제2 시간 정보를 생성한 후, 상기 제2 시간 정보를 상기 이력 데이터베이스에 저장하는 제2 이력 저장 처리부
를 더 포함하는 공정 모니터링 장치.
제4항에 있어서,
사전 설정된 데이터 수집 기간 동안 수집된, 상기 피복 탈피 부분이 불량인 것으로 판단된 일별 제1 불량 판단 횟수, 상기 단자 압착 부분이 불량인 것으로 판단된 일별 제2 불량 판단 횟수 및 상기 하네스 케이블 제작 공정을 통해 생산된 하네스 케이블의 일별 생산 개수가 저장되어 있는 데이터 저장부;
상기 일별 제1 불량 판단 횟수와 상기 일별 제2 불량 판단 횟수를 독립변수로 지정하고, 상기 일별 생산 개수를 종속변수로 지정하여, 다중 회귀 분석(multiple regression analysis)을 수행함으로써, 다중 회귀식을 생성하는 회귀식 생성부;
상기 다중 회귀식이 생성된 이후, 관리자로부터, 현재 작업 일자에 생산될 하네스 케이블에 대한 생산 개수의 예측 명령이 인가되면, 상기 현재 작업 일자에서, 상기 예측 명령이 인가된 제1 시점까지 상기 이력 데이터베이스에 저장 완료된 상기 제1 시간 정보와 상기 제2 시간 정보 각각의 개수를 확인하여, 상기 현재 작업 일자에서, 상기 제1 시점까지 상기 피복 탈피 부분이 불량인 것으로 판단된 시간당 제1 평균 횟수와 상기 단자 압착 부분이 불량인 것으로 판단된 시간당 제2 평균 횟수를 산출하는 평균 산출부;
상기 시간당 제1 평균 횟수에 상기 현재 작업 일자의 총 작업 예정 시간을 곱함으로써, 상기 현재 작업 일자에 대응되는 제1 불량 판단 횟수를 예측하고, 상기 시간당 제2 평균 횟수에 상기 현재 작업 일자의 총 작업 예정 시간을 곱함으로써, 상기 현재 작업 일자에 대응되는 제2 불량 판단 횟수를 예측하는 불량 예측부; 및
상기 현재 작업 일자에 대응되는 제1 불량 판단 횟수와 상기 현재 작업 일자에 대응되는 제2 불량 판단 횟수를 상기 다중 회귀식에 입력으로 인가하여, 상기 현재 작업 일자에 대한 하네스 케이블의 예상 생산 개수를 산출한 후, 상기 현재 작업 일자에 대한 하네스 케이블의 예상 생산 개수에 대한 정보를 화면 상에 표시하는 생산량 예측부
를 더 포함하는 공정 모니터링 장치.
피복 탈피 공정 라인 - 상기 피복 탈피 공정 라인에는, 상기 피복 탈피 공정 라인을 통해 산출되는 케이블의 피복이 탈피된 부분을 촬영하기 위한 제1 카메라가 설치되어 있음 - 과 단자 압착 공정 라인 - 상기 단자 압착 공정 라인에는, 상기 단자 압착 공정 라인을 통해 산출되는 케이블의 단자가 압착된 부분을 촬영하기 위한 제2 카메라가 설치되어 있음 - 으로 구성된 하네스 케이블(harness cable) 제작 공정에서, 각 공정 라인을 통해 산출되는 케이블의 피복이 탈피된 부분과 단자가 압착된 부분에 대한 불량 여부를 판단하기 위한 공정 모니터링 장치의 동작 방법에 있어서,
상기 피복 탈피 공정 라인을 통해 피복이 탈피된 케이블이 산출될 때마다, 상기 제1 카메라로부터, 상기 제1 카메라가 촬영한 케이블의 피복이 탈피된 부분의 촬영 이미지를 수신함으로써, 제1 촬영 이미지를 획득하는 단계;
상기 제1 촬영 이미지가 획득되면, 케이블의 피복이 탈피된 부분의 불량 여부 판단을 위한 사전 학습된 제1 합성곱 신경망(Convolutional Neural Networks)에 상기 제1 촬영 이미지를 입력으로 인가함으로써, 케이블의 피복 탈피 부분에 대한 불량 여부를 판단하는 단계;
상기 피복 탈피 부분에 대한 불량 여부의 판단이 완료되면, 상기 피복 탈피 공정 라인에 사전 설치되어 있는 제1 디스플레이 장치로, 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 전송하면서, 상기 피복 탈피 부분에 대한 불량 여부의 판단 결과를 화면 상에 표시할 것을 요청하는 표시 명령을 전송하는 단계;
상기 단자 압착 공정 라인을 통해 단자가 압착된 케이블이 산출될 때마다, 상기 제2 카메라로부터, 상기 제2 카메라가 촬영한 케이블의 단자가 압착된 부분의 촬영 이미지를 수신함으로써, 제2 촬영 이미지를 획득하는 단계;
상기 제2 촬영 이미지가 획득되면, 케이블의 단자가 압착된 부분의 불량 여부 판단을 위한 사전 학습된 제2 합성곱 신경망에 상기 제2 촬영 이미지를 입력으로 인가함으로써, 케이블의 단자 압착 부분에 대한 불량 여부를 판단하는 단계; 및
상기 단자 압착 부분에 대한 불량 여부의 판단이 완료되면, 상기 단자 압착 공정 라인에 사전 설치되어 있는 제2 디스플레이 장치로, 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 전송하면서, 상기 단자 압착 부분에 대한 불량 여부의 판단 결과를 화면 상에 표시할 것을 요청하는 표시 명령을 전송하는 단계
를 포함하는 공정 모니터링 장치의 동작 방법.
제6항에 있어서,
상기 케이블의 피복 탈피 부분에 대한 불량 여부를 판단하는 단계는
케이블의 피복이 탈피된 부분이 정상인 경우에 대응되는 사전 설정된 제1 특징 벡터와, 케이블의 피복이 탈피된 부분이 불량인 경우에 대응되는 사전 설정된 제2 특징 벡터가 저장되어 있는 제1 벡터 저장부를 유지하는 단계;
상기 제1 촬영 이미지가 획득되면, 상기 제1 촬영 이미지를 상기 제1 합성곱 신경망 - 상기 제1 합성곱 신경망은, 케이블의 피복이 탈피된 부분이 정상인 경우에 대한 제1 훈련 이미지들과 케이블의 피복이 탈피된 부분이 불량인 경우에 대한 제2 훈련 이미지들을 기초로 사전 학습되어 있는 신경망으로서, 상기 제1 훈련 이미지들을 이미지의 특징 추출을 위한 제1 합성곱층들과 제1 풀링(pooling)층들에 통과시켰을 때 산출되는 출력 벡터가 상기 제1 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있음과 동시에, 상기 제2 훈련 이미지들을 상기 제1 합성곱층들과 상기 제1 풀링층들에 통과시켰을 때 산출되는 출력 벡터가 상기 제2 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있는 신경망임 - 에 입력으로 인가하여, 제1 출력 벡터를 생성하는 단계; 및
상기 제1 출력 벡터가 생성되면, 상기 제1 특징 벡터 및 상기 제2 특징 벡터 각각과 상기 제1 출력 벡터 간의 벡터 유사도를 연산한 후, 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도가 상기 제2 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 피복 탈피 부분에 대한 불량 여부를 정상으로 판단하고, 상기 제2 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도가 상기 제1 특징 벡터와 상기 제1 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 피복 탈피 부분에 대한 불량 여부를 불량으로 판단하는 단계
를 포함하는 공정 모니터링 장치의 동작 방법.
제6항에 있어서,
상기 케이블의 단자 압착 부분에 대한 불량 여부를 판단하는 단계는
케이블의 단자가 압착된 부분이 정상인 경우에 대응되는 사전 설정된 제3 특징 벡터와, 케이블의 단자가 압착된 부분이 불량인 경우에 대응되는 사전 설정된 제4 특징 벡터가 저장되어 있는 제2 벡터 저장부를 유지하는 단계;
상기 제2 촬영 이미지가 획득되면, 상기 제2 촬영 이미지를 상기 제2 합성곱 신경망 - 상기 제2 합성곱 신경망은, 케이블의 단자가 압착된 부분이 정상인 경우에 대한 제3 훈련 이미지들과 케이블의 단자가 압착된 부분이 불량인 경우에 대한 제4 훈련 이미지들을 기초로 사전 학습되어 있는 신경망으로서, 상기 제3 훈련 이미지들을 이미지의 특징 추출을 위한 제2 합성곱층들과 제2 풀링층들에 통과시켰을 때 산출되는 출력 벡터가, 상기 제3 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있음과 동시에, 상기 제4 훈련 이미지들을 상기 제2 합성곱층들과 상기 제2 풀링층들에 통과시켰을 때 산출되는 출력 벡터가 상기 제4 특징 벡터에 최대로 근사한 값이 되도록 학습되어 있는 신경망임 - 에 입력으로 인가하여, 제2 출력 벡터를 생성하는 단계; 및
상기 제2 출력 벡터가 생성되면, 상기 제3 특징 벡터 및 상기 제4 특징 벡터 각각과 상기 제2 출력 벡터 간의 벡터 유사도를 연산한 후, 상기 제3 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도가 상기 제4 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 단자 압착 부분에 대한 불량 여부를 정상으로 판단하고, 상기 제4 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도가 상기 제3 특징 벡터와 상기 제2 출력 벡터 간의 벡터 유사도보다 큰 경우, 상기 단자 압착 부분에 대한 불량 여부를 불량으로 판단하는 단계
를 포함하는 공정 모니터링 장치의 동작 방법.
제6항에 있어서,
상기 케이블의 피복 탈피 부분에 대한 불량 여부를 판단하는 단계에 의해 상기 피복 탈피 부분에 대한 불량 여부가 불량인 것으로 판단될 때마다, 상기 피복 탈피 부분이 불량인 것으로 판단된 시점에 대한 제1 시간 정보를 생성한 후, 상기 제1 시간 정보를 이력 데이터베이스에 저장하는 단계; 및
상기 케이블의 단자 압착 부분에 대한 불량 여부를 판단하는 단계에 의해 상기 단자 압착 부분에 대한 불량 여부가 불량인 것으로 판단될 때마다, 상기 단자 압착 부분이 불량인 것으로 판단된 시점에 대한 제2 시간 정보를 생성한 후, 상기 제2 시간 정보를 상기 이력 데이터베이스에 저장하는 단계
를 더 포함하는 공정 모니터링 장치의 동작 방법.
제9항에 있어서,
사전 설정된 데이터 수집 기간 동안 수집된, 상기 피복 탈피 부분이 불량인 것으로 판단된 일별 제1 불량 판단 횟수, 상기 단자 압착 부분이 불량인 것으로 판단된 일별 제2 불량 판단 횟수 및 상기 하네스 케이블 제작 공정을 통해 생산된 하네스 케이블의 일별 생산 개수가 저장되어 있는 데이터 저장부를 유지하는 단계;
상기 일별 제1 불량 판단 횟수와 상기 일별 제2 불량 판단 횟수를 독립변수로 지정하고, 상기 일별 생산 개수를 종속변수로 지정하여, 다중 회귀 분석(multiple regression analysis)을 수행함으로써, 다중 회귀식을 생성하는 단계;
상기 다중 회귀식이 생성된 이후, 관리자로부터, 현재 작업 일자에 생산될 하네스 케이블에 대한 생산 개수의 예측 명령이 인가되면, 상기 현재 작업 일자에서, 상기 예측 명령이 인가된 제1 시점까지 상기 이력 데이터베이스에 저장 완료된 상기 제1 시간 정보와 상기 제2 시간 정보 각각의 개수를 확인하여, 상기 현재 작업 일자에서, 상기 제1 시점까지 상기 피복 탈피 부분이 불량인 것으로 판단된 시간당 제1 평균 횟수와 상기 단자 압착 부분이 불량인 것으로 판단된 시간당 제2 평균 횟수를 산출하는 단계;
상기 시간당 제1 평균 횟수에 상기 현재 작업 일자의 총 작업 예정 시간을 곱함으로써, 상기 현재 작업 일자에 대응되는 제1 불량 판단 횟수를 예측하고, 상기 시간당 제2 평균 횟수에 상기 현재 작업 일자의 총 작업 예정 시간을 곱함으로써, 상기 현재 작업 일자에 대응되는 제2 불량 판단 횟수를 예측하는 단계; 및
상기 현재 작업 일자에 대응되는 제1 불량 판단 횟수와 상기 현재 작업 일자에 대응되는 제2 불량 판단 횟수를 상기 다중 회귀식에 입력으로 인가하여, 상기 현재 작업 일자에 대한 하네스 케이블의 예상 생산 개수를 산출한 후, 상기 현재 작업 일자에 대한 하네스 케이블의 예상 생산 개수에 대한 정보를 화면 상에 표시하는 단계
를 더 포함하는 공정 모니터링 장치의 동작 방법.
제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
제6항 내지 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.