KR20230099223A - 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법 - Google Patents

Abstract

본 발명은 제품을 제조하는 과정에서 실시간으로 발생하는 제조제품에 대한 불량을 카메라를 이용하여 제조제품의 좌표나 작업자의 이동 좌표 등의 가변 여부를 확인할 수 있는 영상정보에 의해 실시간으로 확인 후, 그에 대한 정보를 시계열 데이터로 클라우드서버 또는 제조운영부에서 실시간으로 관리 전송하여 영상분석을 통해 불량발생시 작업자로 하여금 신속한 대비가 이루어지도록 할 수 있는 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법에 관한 것으로, 더욱 상세하게는 1)제품의 자재리스트를 분류하는 단계, 2)자재리스트별로 이미지를 확보하는 단계, 3)확보된 이미지를 라벨링하는 단계, 4)라벨링 이미지를 학습시키는 단계, 5)카메라로 현장작업을 영상촬영하는 단계, 6)동작 및 객체좌표를 학습시키는 단계, 7)영상을 분석 및 판정하는 단계를 포함하되, 상기 4)단계에서의 학습정보로 제품 불량여부를 판단하고, 6)단계 학습정보를 이용하여 자재불출, 생산실적, 불량실적 등의 생산실적을 판단하는 것을 특징으로 한다.

Description

동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법{Artificial intelligence image analysis method of cloud server-linked product assembly process using operator's motion recognition}

본 특허출원은 정보통신산업진흥원에서 주관하는 2021년 핵심산업 클라우드 플래그십 프로젝트 사업의 지원을 받아 전자 부품 조립공정의 최적 제조운영시스템 및 AI기반 영상 분석/판정시스템 SaaS 개발 및 사업화 과제의 수행결과입니다.

본 발명은 제품을 제조하는 과정에서 실시간으로 발생하는 제조제품에 대한 불량을 카메라를 이용하여 제조제품의 좌표나 작업자의 이동 좌표 등의 가변 여부를 확인할 수 있는 영상정보에 의해 실시간으로 확인 후, 그에 대한 정보를 시계열 데이터로 클라우드서버 또는 제조운영부에서 실시간으로 관리 전송하여 영상분석을 통해 불량발생시 작업자로 하여금 신속한 대비가 이루어지도록 할 수 있는 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법에 관한 것이다.

현재 산업현장에서는 제품 불량에 대해 다양한 형태의 크고 작은 설비 오동작 또는 작업자 부주의로 인한 제조 불량원인이 발생하고 있는데, 이는 주로 설비 오동작 또는 숙련도에 따른 작업자 부주의 등으로 인해 발생하며, 이로 인해 작게는 제품의 품질 편차를 야기하고, 크게는 안전사고와도 연관이 될 수 있다.

이에 제조설비를 제작 및 사용하는 산업현장에서는 관리 감독의 목적으로 경고등 및 경고음 설정, 또는 CCTV를 설치하여 신속한 조치가 가능하도록 하고 있다.

이러한 경고등 및 경고음 설정은 계속적인 관리 감독이 불필요한 공정 및 설비에 주로 적용이 되며, 설정된 이상 현상 발생 시, 주변에 있던 관리자 혹은 작업자가 인지하고 신속한 조치가 가능하도록 실시되고 있다.

하지만, 경고등 및 경고음을 인지한 후, 그 원인에 대하여 조치를 하고자 할 경우, 그 이상 현상을 발생시키는 요인을 찾기가 매우 어려운 문제가 있었다.

이는 이상 현상이 발생하였을 때, 작업 후 덮개가 조립되면 알 수 없고 그 순간에도 계속 보지 않았다면 그 이상 현상의 전, 후 상황에 대하여 알지 못할 뿐 아니라, 수작업 공정은 실적과 불량 입력도 수기로 하는 경우도 많으며 대략적인 발생시점을 기준으로 CCTV에 촬영된 모든 영상을 확인해야 한다는 불편함을 가지게 된다.

또한, CCTV의 경우 설치 위치가 제약적이며, 모든 순간을 영상으로 기록, 보관하여야 하기에 대용량 저장 공간의 구축 등 추가적인 비용문제가 발생하게 되는 문제점이 있었다.

국내등록특허 제10-2192783호(공고일:2020.12.18.) 국내등록특허 제10-1840944호(공고일:2018.03.21.)

상술한 종래의 문제점을 해결하기 위해 본 발명은 제품의 제조라인에서 발생하는 설비의 센서가 판단할 수 없는 오류 상황 발생 및 작업자 부주의로 인해 발생하는 제조 불량원인을 실시간으로 확인하되 인공지능을 통하여 불량이 발생하였음을 신속하게 작업자로 하여금 인지시켜 그에 대한 대비가 가능하도록 하고자 하는데 그 목적이 있다.

또한, 불량이 발생한 자료를 통계에 필요한 데이터로 활용할 수 있게 저장 관리하여 향후 지속적인 불량률 감소에 이바지할 수 있는 시스템을 제공하고자 하는데 또 다른 목적이 있다.

또한 영상분석 결과를 제조운영시스템(MES)과 연동시켜 자재불출, 생산실적, 불량실적 등이 자동입력 되게 하여 로트추적이 가능하도록 모니터링이 가능한 시스템을 제공하고자 하는데 또 다른 목적이 있다.

상기한 기술적 과제를 해결하기 위해 본 발명에 따른 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법은 제조제품(20)에 대한 영상정보를 분석하여 불량 여부를 판단하는 영상분석방법에 있어서, 상기 영상분석방법은 1)제품의 자재리스트를 분류하는 단계, 2)자재리스트별로 이미지를 확보하는 단계, 3)확보된 이미지를 라베링하는 단계, 4)라벨링 이미지를 학습시키는 단계, 5)카메라로 현장작업을 촬영하는 단계, 6)동작 및 객체 좌표를 학습하는 단계, 7)영상을 분석 및 판정하는 단계를 포함하되, 상기 7)단계에서의 불량 여부 판단은 제조운영부(200)에서 제조과정에 있는 제조제품(20) 조립공정을 카메라(210)로 실시간 촬영한 영상정보와 상기 영상분석부(110)의 학습정보를 대비한 결과를 기반으로 판단하는 것을 특징으로 한다.

또한, 상기 6)단계에서의 동작을 학습시키는 방법으로는 작업자의 손가락 움직임을 다양하게 부품을 잡는 것인지, 놓은 것인지, 들어올리는 것인지 등으로 분류하여 YOLO 프로그램에 학습시키는 것을 특징으로 한다.

또한, 상기 6)단계에서의 객체좌표를 학습시키는 방법으로는 제조운영부(200)에서 현장작업으로 확보된 영상정보는 제조제품(20)의 제조에 따른 작업자가 임의의 기준점을 기준으로 좌측으로 이동 후에 좌우측방향으로의 이동, 우측으로 이동 후에 좌우측방향으로의 이동, 기준점의 전방으로 이동 후에 전후방향으로의 이동, 기준점의 후방으로 이동 후에 전후방향으로의 이동 및 사선방향으로의 이동 중 어느 하나의 방향으로 이동한 동작 좌표를 수집 판단시점으로 하여 상기 영상분석부(110)에서 제조제품(20)의 생산실적, 불량실적, 자재불출실적 등을 판단할 수 있도록 LSTM 등 RNN 계열 프로그램에 학습시키는 것을 특징으로 한다.

또한, 상기 7)단계에서의 영상을 분석 및 판정하는 단계는,

상기 5)단계에서의 현장작업을 촬영된 영상정보가 영상분석부(120)에 의해 영상분석 및 판정하는 단계로서, 불량여부에 대한 판정은 4)단계에서 학습된 라벨링 이미지와 제조운영부(200)에서 현장작업에서 촬영된 영상정보를 비교 분석하여 판단하게 되며, 생산정보의 판정은 6)단계에서 학습된 동작 및 객체좌표 학습정보와 제조운영부(200)의 현장작업에서 촬영된 영상정보를 비교 분석하여 자재불출, 생산실적, 불량실적 등으로 판단하며, 영상분석부(120)에 의해 제조제품(20)이 불량이라 판단되면 제조운영부(200)에 의해 제어되는 알람수단(310)에 전송하여 작업자가 식별할 수 있도록 하되, 상기 알람수단(310)은 음향신호를 출력하는 스피커나 조명신호를 출력하는 경고등, 설비의 중지 중 적어도 어느 하나인 것을 특징으로 한다.

또한, 상기 7)단계 이후에 8)단계로,

제조제품(20)에 대한 판정정보를 저장하는 단계;를 더 포함하되,

생산실적정보는 제조운영시스템(MES)에 입력되어 로트 추적관리가 가능하도록 하는 것을 특징으로 한다.

본 발명에 따르면, 종래와는 차별적으로 정상제품에 대한 다수의 라벨링된 이미지정보를 학습 후, 그 학습정보를 이용하여 가상의 양품이미지를 획득한 클라우드서버의 영상분석부를 통해 제조설비에 의해 제조가 이루어지는 제조제품을 카메라로 촬영한 영상정보를 시계열 데이터로 상기 클라우드서버에 전송시켜 서로 대비하여 해당 제조제품의 불량 여부를 실시간으로 확인 후, 불량발생시 알람으로 작업자로 하여금 불량에 대한 신속한 처리가 가능하게 하는 효과를 구현하게 된다.

또한, 종래와는 차별적으로 제조설비라인에 설치된 카메라를 통해 작업자의 변화하는 동작 좌표를 영상정보로 획득하여 제조제품에 대한 판정시점, 부품의 투입, 정상품(양품) 및 불량에 대한 실적 계량에 활용이 가능하다는 효과를 갖게 된다.

또한, 종래와는 차별적으로 학습정보와 영상정보의 대비판단으로 획득한 제조제품에 대한 실시간 생산실적, 불량실적 정보를 제조운영시스템(MES)에 자동으로 입력 후, 저장 및 관리하여 조립공정의 사각지역 영역의 로트추적관리 등 모니터링이 가능하게 할 수 있는 효과를 구현하게 된다.

도 1은 본 발명에 따른 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법을 나타낸 흐름도.
도 2는 본 발명에 따른 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법에 대한 개념도.
도 3은 본 발명에 따른 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법에 대한 제조제품의 제1영상정보 획득과정을 나타낸 도면.
도 4는 본 발명에 따른 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법에 대한 작업자의 동작 좌표 영상정보의 획득을 나타낸 도면.
도 5는 본 발명에 따른 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법에 대한 작업자의 손가락 변화를 촬영한 영상정보의 획득을 나타낸 도면.

이하에서는 첨부된 도면을 참조하여 다양한 실시 예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 발명의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

그 밖에도, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법(이하, 간략하게 '영상분석방법'이라 한다)에 대하여 상세히 설명하도록 한다.

먼저, 도 1 및 도 2에 도시한 바와 같이, 본 발명에 따른 영상분석방법(1)은 크게 1)제품의 자재리스트를 분류하는 단계, 2)자재리스트별로 이미지를 확보하는 단계, 3)확보된 이미지를 라벨링하는 단계, 4)라벨링 이미지를 학습시키는 단계, 5)카메라로 제조운영부(200)에서 영상촬영하는 단계, 6)동작 및 객체좌표를 학습시키는 단계, 7)영상을 분석 및 판정하는 단계를 포함하되, 상기 7)단계에서의 불량 여부 판단은 제조운영부(200)에서 제조과정에 있는 제조제품(20) 조립공정을 카메라(210)로 실시간 촬영한 영상정보와 상기 영상분석부(110)의 학습정보를 대비한 결과를 기반으로 판단하는 것을 특징으로 하는 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법을 포함한다.

더욱 상세하게 설명하면, 작업자는 수작업을 통하여 후에 설명하는 1)단계에서의 제품의 자재리스트를 분류하는 단계는 조립제품에 포함되는 자재리스트를 분류하여 조립제품별로 해당하는 자재를 특정하기 위함이다.

2)단계에서는 자재리스트별로 이미지를 확보하는 단계로서, 1)단계에서 특정되어진 자재에 대한 이미지를 확보하여 해당 자재와 이미지를 연계하여 영상분석시 해당 자재여부를 판단하기 위함이다.

3)단계에서는 확보된 이미지를 라벨링하는 단계로서 확보된 자재 이미비별로 학습이 필요한 부분에 대하여 학습범위를 특정하는 단계로서, 자재 전체에 대한 범위지정도 가능하지만, 일부분의 특화되어 있는 부위만을 특정하여 라벨링도 가능하며, 영상분석시 특정부위가 같으면 정상제품으로 처리하게 된다.

4)단계는 라벨링 이미지를 학습시키는 단계로서 주로 YOLO 프로그램을 이용하여 학습이 이루어 진다. YOLO 프로그램은 이미지나 영상에서 객체를 지능적으로 찾기 위해 제안된 객체 탐지 알고리즘으로 학습된 이미지를 기준으로 영상분석이 진행된다. 이때 학습정보는 라벨링된 부위를 기준으로 학습이 이루어 지며, 라벨링 정보는 정상품 또는 불량품 등 다양한 형태의 이미지를 확보하여 학습시키게 되며, 영상분석 프로세스를 제공하여 영상을 분석하게 된다.

5)단계는 카메라로 현장작업을 촬영하는 단계로서 조립설비에 카메라를 장착하고, 조립공정을 연속적으로 촬영하게 되며, 촬영 영상정보는 시계열 데이터로 클라우드 서버 또는 자체 서버 등에 전송하게 된다. 이때 촬영되는 정보는 제품에 대한 정보와 작업자의 손가락 움직임 정보, 손의 이동경로 등이 포함되어 제공하게 된다.

여기서 클라우드 서버라는 것은 데이터 관리를 위한 장소를 의미하는 것으로 클라우드상에 저장되는 서버 또는 데이터 베이스일 수도 있지만, 제조업체 자체적으로 관리되는 서버가될 수도 있고, 특정 데이터관리회사에 보관되어 관리되는 서버도 모두 같은 개념으로 이해될 수 있을 것이다.

이를 위해 카메라는 1대를 이용함이 원칙이나, 필요시에는 조립공정에 맞도록 여러대를 설치하여 영상정보를 촬영하여 영상정보를 확보할 수 있다.

카메라의 영상정보는 로트추적이 가능하도록 시계열 데이터로 서버에 전송되고, 관리되는 것이 바람직 하다.

6)단계는 동작 및 객체좌표를 학습하는 단계로서, 카메라에 의해 작업자의 동작 및 이동경로 등이 확보되면, 손가락 동작을 분석하여 부품을 잡는 동작인지, 옮기는 동작인지, 놓은 동작인지 등 다양한 형태의 손가락 동작을 분류하게 되며, 분류된 손가락 정보를 YOLO 프로그램에 의해 학습시켜서 손가락 동작을 영상분석시 판정하게 할 수 있으며, 또한 손의 움직임에 대한 객체 좌표를 분류시켜 앞으로 가는 것인지, 좌측 혹은 우측으로 움직이는 것인지, 아니면 위로, 또는 아래로 움직이는 것인지, 또는 뒤로 움직이는 것인지 등을 분류하고 그에 대한 움직임이 생산실적 처리하는 것인지, 불량처리하는 것인지, 자재를 불출하는 것인지, 아니면 조립을 위한 움직임인지를 지정하고 그 움직임에 따라 생산실적정보를 획득하는 것이다.

이를 위해 손가락의 동작과 손의 이동경로를 학습시켜서 해당 동작 및 이동경로가 어떤 생산실적정보를 위한 것인지 판단하게 된다.

7)단계는 영상을 분석 및 판정하는 단계로서, 4)단계에서 학습된 정보 및 6)단계에서 학습된 정보를 기반으로 제품의 불량여부 및 생산실적정보에 대하여 판정하게 된다.

이를 위해 4)단계에서 학습된 정보인 조립 제품별 자재리스트에 대한 이미지 정보와 입수된 영상정보를 분석하여 조립제품에 해당되지 않는 부품들이 검색되게 되면 불량으로 인식하게 되어, 제조운영부(200)의 알람시스템으로 판정데이터를 송부하여 작업자로 하여금 현재 조립되는 부품이 불량제품임을 실시간으로 인식하게 하여 불량을 사전에 방지할 수 있게 하는 것이다.

또한 손가락 동작 및 손의 이동경로에 대한 학습정보와 실제 시계열로 입수된 영상정보를 분석하여 생산실적정보를 획득하게 되어, 작업자가 수기로 생산실적 정보를 입력하거나, 관리되지 못하는 생산정보관리를 효율적으로 관리할 수 있게 되는 것이다.

8)단계는 판정정보를 저장하는 단계로서, 영상분석 결과에 대하여 확보된 생산실적 정보, 즉 생산실적, 불량실적, 자재불출 정보 등을 제조운영시스템(MES)에 실시간으로 자동으로 입력시킨다. 제조운영시스템(MES)은 제조기업의 생산계획, 작업지시, 자재 소요, 생산 추적, 설비관리, 생산성과 분석 등의 생산관리 효율성을 지원하는 시스템이다.

이를 통해 조립공정에서 발생하는 생산이력이 관리되게 되어 로트추적관리가 가능해져 품질의 이력을 관리함으로서 생산성을 향상시킬 수 있게 된다. 조립공정에서의 조립영상이 시계열 데이터로 영상분석부에 실시간 제공되고, 영상분석 결과도 실시간으로 제조운영시스템(MES)에 저장됨으로서, 생산이력 및 품질이력이 시계열로 관리되어 품질문제 발생시 역추적을 통해 해당 로트를 확인할 수 있게 되며, 품질문제가 된 로트를 회수하여 조치할 수 있게 되므로서 품질조치비용 등을 절감할 수 있게 된다.

이를 위해 제조운영부의 카메라와 영상분석부, 그리고 제조운영시스템(MES)는 전기회선통신에 의해 연결되어 있으며, 실시간으로 데이터가 연동하는 시스템으로 구성되어 있고, 제조운영부의 알람시스템과도 연동시켜서 영상분석결과 불량으로 판정시 즉시 알람으로 작업자에게 알려지게 되고 즉시 조치를 취하므로 조립과정에서 불량이 발생하지 않도록 하게 되어 품질비용을 획기적으로 절감시킬 수 있게 된다.

도 3 내지 도 5는 상기 5)단계에서의 카메라로 현장작업을 촬영하는 방법에 대한 것을 도시한 것으로서 , 도 3을 설명하면 조립케이스와 조립부품으로 구분되며, 조립케이스와 조립부품의 영상정보는 영상분석부에서 학습된 이미지와 영상분석을 통하여 불량여부를 판단하는데 적용된다. 더 상세하게 설명하면, 조립부품의 판단시점을 명확하게 하기 위하여 조립케이스가 특정영역(B/Z)에 들어오는 시점을 영상분석의 판단시점으로 정하고, 조립케이스가 특정영역(B/Z)에 들어오게 되면, 판단이 이루어졌던 시점 이후부터 새롭게 판단이 이루어지는 시점까지의 부품 및 동작, 객체 좌표의 움직임을 누적으로 판단하여 불량여부 및 생산실적 정보를 판단하게 된다.

판단이 완료되면, 누적 판단 영상정보는 초기화 되고, 새롭게 시작하여 판단시점까지 다시 누적되어 영상정보가 제공되고 그 것을 전체적으로 활용하여 다시 판단하게 된다. 결국 조립케이스가 특정영역(B/Z)에 들어오는 시점을 판단시점으로 누적된 영상정보를 판단하여 불량여부 및 생산실적정보를 제공하게 되는 것이다.

여기서, 도시한 바와 같이 조립케이스의 특정영역은 임의적으로 조립공정에 따라 선택되어 지게 되며, 프로그램을 통하여 특정되어 지게 되며, 조립되는 부품 또한 조립제품에 따라 다양한 조립부품의 흐름이 카메라의 위치에 따라 영상촬영되어 누적으로 분석시 활용되게 되며, 손의 움직임에 대한 영상분석도 조립공정에 따라 다양하게 설정할 수 있게 된다.

또한, 도 4에 도시한 바와 같이, 영상정보는 제조설비라인에 설치된 카메라(210)를 이용하여 제조제품(20)을 제조하는 과정에서 작업자의 이동 방향 즉, 좌측에서 좌우측방향으로의 이동, 우측에서 좌우측방향으로의 이동, 전방으로의 이동, 후방으로의 이동 및 사선방향으로의 이동 중 어느 하나의 방향으로 이동한 동작 좌표를 수집 판단시점으로 하여 제2영상정보를 획득 후, 제조운영부(200)를 통해 영상분석부(110)에 전송되어 그 결과에 따라 제조제품(20)에 대한 생산실적정보가 판단되게 된다.

이때, 제조운영부(200)는 전기회선통신망에 의해 클라우드서버(100)와 상호 연결되도록 하는 것이 바람직하다.

아울러, 영상정보는 일 예로 카메라(210)를 통해 작업자가 임의의 기준점(P)에서 좌측에서 좌우방향으로 움직이거나 사선방향으로 전면을 오가는 이동이 감지되면 부품의 불출로 인식, 우측에서 좌우방향으로 이동하면 제품의 완성으로 인식, 기준점의 전방으로 작업자가 이동 후에 전후방향으로의 이동하면 조립의 진행이 이루어지고 있음으로 인식 및 기준점의 후방으로 작업자가 이동 후에 전후방향으로의 이동하면 불량처리로 인식할 수 있도록 영상분석부(110)에서 설정하여 상술한 조립케이스가 특정영역(B/Z)에 진입하면 이를 판단시점으로 인식하고 상기 영상분석부(110)는 제조제품(20)에 대한 생산실정보를 판단할 수 있게 된다.

물론, 본 발명에서의 영상정보는 영상분석부(110)에 전송되어 인공지능을 통해 제조제품(20)에 대한 불량 여부를 판단할 수 있도록 기재되어 있으나 이는 하나의 실시예로 필요에 따라 제조운영부(200)를 관리하는 관리자가 직접 영상정보를 실시간으로 확인하여 그에 따른 불량정보를 판단하는 것도 가능할 수 있으며, 이러한 전처리과정으로 인하여 RNN계열인 시계열 데이터 분석에 유용한 LSTM 등을 활용한 학습으로 작업자의 움직임을 판정할 수 있게 된다.

한편, 도 5에 도시한 바와 같이, 상술한 카메라(210)를 이용한 영상정보의 활용 이외에 또 다른 전처리과정에 의한 불량정보 학습을 위해 영상정보를 활용할 수 있다.

여기서, 영상정보는 도시한 바와 같이, 작업자의 손가락 움직임을 다양하게 분류하여 구체적인 동작의 분류를 추진한다.

일 예로, 부품을 잡는 가락의 움직임, 부품을 놓는 가락의 움직임, 들어올리는 움직임, 이동하는 움직임 등 다양한 형태의 손가락의 동작 영상을 영상분석부(110)에 전송 후, 상술한 3)단계 및 4)단계와 동일한 방식으로 학습하여 동작 분류를 인식하게 하고 학습시켜 제조현장에서 실시간으로 카메라(210)에 의해 촬영한 영상정보와 서로 비교 분석하여 판정 예측하게 할 수 있다.

이와 같이, 본 발명에서의 7)단계 영상분석 및 판정하는 단계에서는 자재리스트에 대한 이미지에 의한 학습정보와, 학습된 손가락 또는 손의 이동흐름 동작의 분류를 학습시켜 자재투입, 정상실적, 불량실적, 판정시기를 판정하게 하며, 판정된 결과에 따라 제조운영시스템(MES)에 실적 또는 불량 처리가 가능하게 되어 생산실적정보를 관리하여 로트추적관리가 가능한 정보로 활용이 가능하게 된다.

이때, 본 발명에서의 제조운영부(200)는 영상정보 중 적어도 어느 하나의 정보를 이용하여 제조제품(20)에 대한 불량 여부가 영상분석부(110)에 의해 판단되면 알람수단(220)을 통해 작업자가 인식할 수 있도록 하는 것도 가능하다.

여기서, 알람수단(220)은 음향신호를 출력하는 스피커나 조명신호를 출력하는 경고등, 설비의 중지 중 적어도 어느 하나일 수 있다.

종래의 경우에는 생산실적정보의 획득을 위해 별도의 비전카메라, 센서 및 작업자가 입력하는 등에 의해서 실적관리가 되고 있으나, 본 발명은 학습정보와 영상정보에 대한 영상분석의 결과를 토대로 생산실적 및 불량실적을 제조운영시스템(MES)와 연동시켜 자동으로 생산실적이 입력되게 함으로써, 로트추적관리가 가능하게 되는 것이다.

또한, 불량실적과 불량이미지를 함께 제조운영시스템(MES)에 입력시킬 수도 있고, 생산실적 또는 불량실적 입력시 자재불출도 함께 상기 제조운영시스템(MES)에서 처리하여 자재수불관리도 가능하게 된다.

이때, 본 발명에서의 제조운영부(200)는 제조사자체의 서버구축 방식은 물론, 클라우드서버(100)에서의 운영도 가능하다는 점에 유의한다.

한편, 본 발명에서 클라우드서버(100)의 활용은 많은 양의 이미지를 저장 관리하여 빅데이터를 분석하기 위해서는 고성능의 서버가 필요한데 이는 클라우드에서 제공하는 고성능의 서버를 지원받을 수 있기 때문에 영상분석부(110)를 통한 영상분석과 같은 빅데이터의 분석이 용이하기 때문이다.

하여, 실시간으로 제공되는 영상데이터를 분석하기 위하여 회사(예를 들어, 제조제품을 제조하는 제조사를 의미) 자체의 서버보다는 보안성이나, 우수한 성능을 제공하는 클라우드를 이용하여 영상분석 프로그램을 운영하게 된다.

전술한 바와 같이, 본 발명에 따른 영상분석방법(1)은 종래와는 차별적으로 제품별 자재리스트에 대한 다수의 라벨링된 이미지정보를 학습 후, 클라우드서버(100)의 영상분석부(110)를 통해 제조설비에 의해 제조가 이루어지는 제조제품(20)을 카메라(210)로 촬영한 영상정보를 시계열 데이터로 상기 클라우드서버(100)에 전송시켜 서로 대비하여 해당 제조제품(20)의 불량 여부를 실시간으로 확인 후, 불량발생시 알람으로 작업자로 하여금 불량에 대한 신속한 처리가 가능하게 하는 효과를 구현하게 된다.

또한, 종래와는 차별적으로 제조설비라인에 설치된 카메라(210)를 통해 작업자의 변화하는 동작 좌표를 영상정보로 획득하여 제조제품(20)에 대한 판정시점, 부품의 투입, 정상품(양품) 및 불량에 대한 실적 계량에 활용이 가능하다는 효과를 갖게 된다.

또한, 종래와는 차별적으로 학습정보와 영상정보의 대비판단으로 획득한 제조제품에 대한 실시간 생산실적, 불량실적 정보를 제조운영시스템(MES)에 자동으로 입력 후, 그 불량정보를 데이터 베이스에 저장 및 관리하여 로트추적 사각지역 영역의 로트추적관리 등 모니터링이 가능하게 제품에 대한 향후 지속적인 불량률 감소에 이바지할 수 있는 효과를 구현하게 된다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

1: 본 발명에 따른 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법
100: 클라우드서버
110: 영상분석부
200: 제조운영부
210: 카메라 220: 알람수단
B/Z: 특정영역

Claims (5)

1. 제조제품(20)에 대한 영상정보를 분석하여 불량 여부를 판단하는 영상분석방법에 있어서, 상기 영상분석방법은
   1)제품의 자재리스트를 분류하는 단계;
   2)자재리스트별로 이미지를 확보하는 단계;
   3)확보된 이미지를 라벨링하는 단계;
   4)라벨링 이미지를 학습시키는 단계;
   5)카메라로 제조운영부(200)에서 영상촬영하는 단계;
   6)동작 및 객체좌표를 학습시키는 단계;
   7)영상을 분석 및 판정하는 단계;를 포함하되,
   상기 7)단계에서의 불량 여부 판단은 제조운영부(200)에서 제조과정에 있는 제조제품(20) 조립공정을 카메라(210)로 실시간 촬영한 영상정보와 상기 영상분석부(110)의 학습정보를 대비한 결과를 기반으로 판단하는 것을 특징으로 하는 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법.
   
2. 제1항에 있어서,
   상기 6)단계에서의 동작을 학습시키는 방법으로는 작업자의 손가락 움직임을 다양하게 부품을 잡는 것인지, 놓은 것인지, 들어올리는 것인지 등으로 분류하여 YOLO 프로그램에 학습시키는 것을 특징으로 하는 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법.
   
3. 제1항에 있어서,
   상기 6)단계에서의 객체좌표를 학습시키는 방법으로는 제조운영부(200)에서 현장작업으로 확보된 영상정보는 제조제품(20)의 제조에 따른 작업자가 임의의 기준점을 기준으로 좌측으로 이동 후에 좌우측방향으로의 이동, 우측으로 이동 후에 좌우측방향으로의 이동, 기준점의 전방으로 이동 후에 전후방향으로의 이동, 기준점의 후방으로 이동 후에 전후방향으로의 이동 및 사선방향으로의 이동 중 어느 하나의 방향으로 이동한 동작 좌표를 수집 판단시점으로 하여 상기 영상분석부(110)에서 제조제품(20)의 생산실적, 불량실적, 자재불출실적 등을 판단할 수 있도록 LSTM 등 RNN 계열 프로그램에 학습시키는 것을 특징으로 하는 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법
   
4. 제1항에 있어서,
   상기 7)단계에서의 영상을 분석 및 판정하는 단계는
   상기 5)단계에서의 현장작업을 촬영된 영상정보가 영상분석부(120)에 의해 영상분석 및 판정하는 단계로서, 불량여부에 대한 판정은 4)단계에서 학습된 라벨링 이미지와 제조운영부(200)에서 현장작업에서 촬영된 영상정보를 비교 분석하여 판단하게 되며, 생산정보의 판정은 6)단계에서 학습된 동작 및 객체좌표 학습정보와 제조운영부(200)의 현장작업에서 촬영된 영상정보를 비교 분석하여 자재불출, 생산실적, 불량실적 등으로 판단하며, 영상분석부(120)에 의해 제조제품(20)이 불량이라 판단되면 제조운영부(200)에 의해 제어되는 알람수단(310)에 전송하여 작업자가 식별할 수 있도록 하되, 상기 알람수단(310)은 음향신호를 출력하는 스피커나 조명신호를 출력하는 경고등, 설비의 중지 중 적어도 어느 하나인 것을 특징으로 하는 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법.
   
5. 제1항에 있어서,
   상기 7)단계 이후에 8)단계로,
   제조제품(20)에 대한 판정정보를 저장하는 단계;를 더 포함하되,
   생산실적정보는 제조운영시스템(MES)에 입력되어 로트 추적관리가 가능하도록 하는 것을 특징으로 하는 동작인식을 이용한 클라우드서버 연동형 제품 조립공정의 인공지능 영상분석방법.

Images