KR20220072303A - 인공 지능 기반 공정 인식 시스템 - Google Patents

Abstract

인공 지능 기반 공정 인식 시스템이 제공된다. 이 공정 인식 시스템은 제품을 조립하는 복수의 작업 공간들을 갖는 작업장에서, 하나 이상의 작업 공간에 대한 영상을 촬영하는 2개의 촬상 장치들로 구성된 영상 촬영부 및 영상 촬영부로부터 촬영된 영상으로부터 작업 공간 별로 존재하는 주요 부품의 수량을 인공 지능 기반의 영상 처리를 통해 확인하여 제품에 대한 조립 공정의 진행 상황을 판독하는 제어부를 포함한다. 제어부는 R-CNN 알고리즘을 사용하여 작업 공간 별로 존재하는 주요 부품의 수량을 확인하고, 그리고 확인된 주요 부품의 수량으로부터 제품에 대한 조립 공정의 진행 상황을 판독한다.

Description

인공 지능 기반 공정 인식 시스템{Process Recognition System Based on Artificial Intelligence}

본 발명은 인공 지능 기반 공정 인식 시스템에 관한 것으로, 더 구체적으로 엔진과 같은 제품을 조립하는 공정의 진행률을 인식하여 단위 공정 별 전체 공정 대비 진도율을 관리할 수 있는 인공 지능 기반 공정 인식 시스템에 관한 것이다.

엔진(engine) 등과 같은 제품을 조립하는 생산 공장에서 작업자가 작업을 진행하면서 작업 내용에 대한 실적을 동시에 작성할 수가 없다. 즉, 작업자의 작업과 실적 및 작업 내용에 대한 작성 관리가 실시간으로 이루어질 수 없다. 일반적으로 기본적인 공정 작업이 완료된 후, 다음 작업을 진행하게 되고, 이에 대한 실적의 입력 및 공정들 사이에 발생한 이슈(issue)에 대한 정리는 추후에 이루어진다.

공정 대기 중인 주요 부품의 위치 및 정보를 확인하고 대처하는 데 있어서, 현장과 관리자 사이에서 이를 전달하는 과정에는 시간적인 갭(gap)이 존재하기 때문에, 즉각적인 대응은 물론 사전적인 조치가 불가능하고, 그로 인한 생산 대기 시간이 증가하여 생산성이 저하됨은 물론 확인이 필요한 주요 부품에 대한 현재 위치 정보를 즉시 확인하기 위한 작업에 의해 불필요한 대기 시간이 늘어하는 실정이다.

또한, 작업자가 작성하는 실적에 대한 주요 정보들은 수기로 작성되어 서면으로 전달되기 때문에, 조립 공정의 리드 타임(lead time)을 분석하는 데 있어서, 정보의 신뢰성이 낮고, 그리고 집계 자체가 아주 취약하기 때문에, 조립 공정의 리드 타임은 작업자의 기억에 의존할 수 밖에 없다. 또한, 정확하지 않고 조립 공정의 진행 상황 별로 상세하게 작성되지 않는 중공업의 특성 상, 작업 환경에 위험 요소가 많기 때문에, 순수한 작업에 보다 더 집중을 해야 하기 때문에, 작업자에게 작업 이외의 업무로 인한 작업 시간에 대한 부담을 줄 수 없는 상황이다.

이에 따라, 작업자가 작업에 보다 더 집중할 수 있도록 조립 공정의 작업 진행 상황을 자동으로 집계하여 현재 진행 상황을 실시간으로 모니터링(monitoring)하는 것에 의해 작업자와 관리자가 현재 조립 공정에서의 진행 상황과 이슈에 대한 조치를 즉시 수행할 수 있도록 하는 공정 인식 시스템(system)의 개발이 요구된다.

본 발명이 해결하고자 하는 과제는 엔진과 같은 제품을 조립하는 공정의 진행률을 작업자와 관리자가 용이하게 인식하여 현재 조립 공정에서의 진행 상황과 이유에 대한 조치를 즉시 수행할 수 있도록 하는 동시에 단위 공정 별 전체 공정 대비 진도율을 관리할 수 있는 인공 지능(Artificial Intelligence : AI) 기반 공정 인식 시스템을 제공하는 데 있다.

본 발명이 해결하고자 하는 과제는 이상에 언급한 과제들에 제한되지 않으며, 언급되지 않는 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기한 과제를 달성하기 위하여, 본 발명은 인공 지능 기반 공정 인식 시스템을 제공한다. 이 인공 지능 기반 공정 인식 시스템은 제품을 조립하는 복수의 작업 공간들을 갖는 작업장에서, 하나 이상의 작업 공간에 대한 영상을 촬영하는 2개의 촬상 장치들로 구성된 영상 촬영부 및 영상 촬영부로부터 촬영된 영상으로부터 작업 공간 별로 존재하는 주요 부품의 수량을 인공 지능 기반의 영상 처리를 통해 확인하여 제품에 대한 조립 공정의 진행 상황을 판독하는 제어부를 포함할 수 있다. 제어부는 R-CNN 알고리즘을 사용하여 작업 공간 별로 존재하는 주요 부품의 수량을 확인하고, 그리고 확인된 주요 부품의 수량으로부터 제품에 대한 조립 공정의 진행 상황을 판독할 수 있다.

공정 인식 시스템은 제어부에서 판독된 제품에 대한 조립 공정의 진행 상황을 저장, 관리 및 모니터링하면서 실시간으로 작업장의 관리자에게 제품에 대한 조립 공정의 진행 상황을 통지하는 서버를 포함할 수 있다.

서버는 작업장의 관리자에게 제품에 대한 조립 공정의 진행 상황의 진도율 및 진행 상황의 진도율이 목표치 이하일 때에 경고 정보를 알려줄 수 있다.

제어부는 미리 수집된 주요 부품의 영상 자료에 대한 학습된 결과로부터 작업 공간 별로 존재하는 주요 부품의 수량을 확인할 수 있다.

미리 수집된 주요 부품에 대한 영상 자료는 촬영부에 의해 촬영되어 전처리를 거친 영상일 수 있다.

상술한 바와 같이, 본 발명의 과제의 해결 수단에 따르면 인공 지능 기반 공정 인식 시스템은 제품을 조립하는 복수의 작업 공간들을 갖는 작업장에서 하나 이상의 작업 공간에 대한 영상을 촬영하는 2개의 촬상 장치들로 구성된 영상 촬영부로부터 촬영된 영상으로부터 R-CNN 알고리즘(Region based Convolutional Neural Networks algorithm)을 사용하여 작업 공간 별로 존재하는 주요 부품의 수량을 확인하고, 그리고 확인된 주요 부품의 수량으로부터 제품에 대한 조립 공정의 진행 상황을 판독하는 제어부를 포함함으로써, 엔진과 같은 제품을 조립하는 공정의 진행률을 작업자와 관리자가 용이하게 인식할 수 있다. 이에 따라, 작업장에서 현재 조립 공정의 진행 상황과 이유에 대한 조치를 즉시 수행할 수 있는 인공 지능 기반 공정 인식 시스템이 제공될 수 있다.

또한, 인공 지능 기반 공정 인식 시스템은 작업자가 아닌 시스템이 자동으로 조립 공정의 진행 상황을 집계하여 처리함으로써, 조립 작업을 할 때에 불필요한 대기 시간을 최소화하여 작업자의 작업 능률을 향상시킬 수 있다.

게다가, 인공 지능 기반 공정 인식 시스템은 집계된 실적에 프로젝트(project) 정보를 추가함으로써, 보다 완성된 실적 자료를 제공할 수 있다.

이에 더하여, 인공 지능 기반 공정 인식 시스템은 조립 공정의 진행률에 대한 실적을 실시간으로 집계하여 처리하고, 그리고 모니터링을 통해 조립 공정의 단위 공정 별들 사이의 리드 타임 분석을 위한 최적의 실시간 정보를 관리함으로써, 제품의 생산성을 향상시키고, 그리고 관리의 최적화를 달성할 수 있다.

추가로, 인공 지능 기반 공정 인식 시스템은 각각의 조립 공정 중에 발생하는 제품의 이력을 단위 공정 별로 관리함으로써, 각각의 제품 단위로 이루어지는 품질 이력을 관리하는 것에 의해 제품에 대한 품질 이력과 제품 조립 공정에 대한 품질 이력의 관리를 조금 더 세분화하여 관리할 수 있다.

부가로, 인공 지능 기반 공정 인식 시스템은 조립 공정의 단위 공정 별로 제품에 대한 품질 이력을 관리하고, 그리고 단위 공정 별들 사이의 실적을 실시간 집계함으로써, 실적 데이터(data)를 기반으로 단위 공정 별들 사이의 리드 타임과 병목 공정 증을 파악하여 생산성을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템이 적용되는 작업장에서의 영상 촬영부의 촬상 장치들이 설치되는 인식 지점들에 대한 정의를 보여주는 평면도이다.
도 2는 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템이 적용되는 작업장의 기본 구조를 보여주는 입체도이다.
도 3은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템이 적용되는 작업장의 작업 공간들을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템이 적용되는 다른 작업장의 작업 공간들을 보여주는 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템이 적용되는 작업장에서의 영상 촬영부의 촬상 장치들이 작업 공간에 대한 영상을 촬영하는 방식을 보여주는 도면들이다.
도 6은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템의 일 구성인 제어부에서 인공 지능 기반의 영상 처리를 하는 일 모델을 설명하기 위한 영상 처리 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템의 일 구성인 제어부에서 인공 지능 기반의 영상 처리를 하는 다른 모델을 설명하기 위한 영상 처리 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템의 일 구성인 제어부에서 인공 지능 기반의 영상 처리를 하는 또 다른 모델을 설명하기 위한 영상 처리 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템의 일 구성인 제어부에서 인공 지능 기반의 영상 처리 방식을 설명하기 위한 프로그램 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템의 일 구성인 제어부에서 인공 지능 기반의 영상 처리 방식을 설명하기 위한 처리 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템에 적용되는 데이터 베이스 시스템을 설명하기 위한 블록 구성도이다.
도 12는 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템에 적용되는 데이터 관리 알고리즘을 설명하기 위한 블록 흐름도이다.
도 13은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템에 적용되는 영상 처리 알고리즘을 설명하기 위한 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템에 적용되는 영상 처리 알고리즘의 예시이다.

이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면들과 함께 상세하게 후술 되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 여기서 설명되는 실시예에 한정되는 것이 아니라 서로 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

명세서 전문에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 따라서, 동일한 참조 부호 또는 유사한 참조 부호들은 해당 도면에서 언급 또는 설명되지 않았더라도, 다른 도면을 참조하여 설명될 수 있다. 또한, 참조 부호가 표시되지 않았더라도, 다른 도면들을 참조하여 설명될 수 있다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소, 단계, 동작 및/또는 장치는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 장치의 존재 또는 추가를 배제하지 않는다. 또한, 바람직한 실시예에 따른 것이기 때문에, 설명의 순서에 따라 제시되는 참조 부호는 그 순서에 반드시 한정되지는 않는다.

하나의 구성 요소(element)가 다른 구성 요소와 '접속된(connected to)' 또는 '결합한(coupled to)'이라고 지칭되는 것은, 다른 구성 요소와 직접적으로 연결된 또는 결합한 경우, 또는 중간에 다른 구성 요소를 개재한 경우를 모두 포함한다. 반면, 하나의 구성 요소가 다른 구성 요소와 '직접적으로 접속된(directly connected to)' 또는 '직접적으로 결합한(directly coupled to)'으로 지칭되는 것은 중간에 다른 구성 요소를 개재하지 않은 것을 나타낸다. '및/또는'은 언급된 아이템(item)들의 각각 및 하나 이상의 모든 조합을 포함한다.

도 1은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템이 적용되는 작업장에서의 영상 촬영부의 촬상 장치들이 설치되는 인식 지점들에 대한 정의를 보여주는 평면도이고, 도 2는 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템이 적용되는 작업장의 기본 구조를 보여주는 입체도이고, 도 3은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템이 적용되는 작업장의 작업 공간들을 보여주는 도면이고, 도 4는 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템이 적용되는 다른 작업장의 작업 공간들을 보여주는 도면이고, 도 5a 및 도 5b는 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템이 적용되는 작업장에서의 영상 촬영부의 촬상 장치들이 작업 공간에 대한 영상을 촬영하는 방식을 보여주는 도면들이고, 도 6은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템의 일 구성인 제어부에서 인공 지능 기반의 영상 처리를 하는 일 모델을 설명하기 위한 영상 처리 흐름도이고, 도 7은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템의 일 구성인 제어부에서 인공 지능 기반의 영상 처리를 하는 다른 모델을 설명하기 위한 영상 처리 흐름도이고, 도 8은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템의 일 구성인 제어부에서 인공 지능 기반의 영상 처리를 하는 또 다른 모델을 설명하기 위한 영상 처리 흐름도이고, 도 9는 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템의 일 구성인 제어부에서 인공 지능 기반의 영상 처리 방식을 설명하기 위한 프로그램 흐름도이고, 도 10은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템의 일 구성인 제어부에서 인공 지능 기반의 영상 처리 방식을 설명하기 위한 처리 흐름도이고, 도 11은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템에 적용되는 데이터 베이스 시스템을 설명하기 위한 블록 구성도이고, 도 12는 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템에 적용되는 데이터 관리 알고리즘을 설명하기 위한 블록 흐름도이고, 도 13은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템에 적용되는 영상 처리 알고리즘을 설명하기 위한 흐름도이고, 그리고 도 14는 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템에 적용되는 영상 처리 알고리즘의 예시이다.

도 1 내지 도 14를 참조하면, 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템이 설명된다.

인공 지능 기반 공정 인식 시스템은 영상 촬영부, 제어부 및 서버(server)를 포함할 수 있다.

영상 촬영부는 제품을 조립하는 복수의 작업 공간들을 갖는 작업장에서 하나 이상의 작업 공간에 대한 영상을 촬영하는 2개의 촬상 장치들로 구성될 수 있다.

제어부는 영상 촬영부로부터 촬영된 영상으로부터 작업 공간 별로 존재하는 주요 부품의 수량을 인공 지능 기반의 영상 처리를 통해 확인하여 제품에 대한 조립 공정의 진행 상황을 판독할 수 있다. 제어부는 R-CNN 알고리즘을 사용하여 작업 공간 별로 존재하는 주요 부품의 수량을 확인하고, 그리고 확인된 주요 부품의 수량으로부터 제품에 대한 조립 공정의 진행 상황을 판독할 수 있다.

제어부는 미리 수집된 주요 부품의 영상 자료에 대한 학습된 결과로부터 작업 공간 별로 존재하는 주요 부품의 수량을 확인할 수 있다. 미리 수집된 주요 부품에 대한 영상 자료는 촬영부에 의해 촬영되어 전처리를 거친 영상일 수 있다.

서버는 제어부에서 판독된 제품에 대한 조립 공정의 진행 상황을 저장, 관리 및 모니터링하면서 실시간으로 작업장의 관리자에게 제품에 대한 조립 공정의 진행 상황을 통지할 수 있다. 서버는 작업장의 관리자에게 제품에 대한 조립 공정의 진행 상황의 진도율 및 진행 상황의 진도율이 목표치 이하일 때에 경고 정보를 알려줄 수 있다.

도 1은 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템이 적용되는 엔진을 조립하기 위한 작업장 내에서의 작업 공간들 및 영상 촬영부의 촬상 장치들의 배치를 보여주는 평면도이다.

도 2는 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템이 적용되는 엔진을 조립하기 위한 작업장의 기본 구조를 보여주는 입체도이다. 작업장 내에서 순차적으로 엔진을 조립하기 위한 복수의 작업 공간들이 있고, 영상 촬영부의 촬상 장치들은 단위 공정 별로 영상을 획득하기 위해 적어도 2개 이상으로 구성될 수 있다.

도 3 및 도 4는 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템이 적용되는 다양한 작업장의 작업 공간들을 보여주는 도면들이다. 제품 별로 각각의 작업 공간들이 존재할 수 있다.

영상 촬영부는 촬상 장치로부터 촬영된 영상을 저장할 때에, 작업자는 저장되지 않도록 블러(blur) 처리를 할 수 있다. 영상 촬영부는 인식하고자 하는 대상인 주요 부품이 고정되어 있기 때문에, 작업 환경을 극복하여 주요 부품에 대해서만 인식하도록 처리를 할 수 있다. 여기서, 영상 촬영부가 인식하고자 하는 주요 부품에 대한 인식을 방해하는 요인은 작업장 내의 크레인(crane), 작업자, 조명 증일 수 있다.

영상 촬영부는 2대의 촬상 장치들이 복수의 작업 공간들을 인식하도록 구성될 수 있다. 기본적으로 작업 공간과 촬상 장치가 1 : 1로 구성되는 것이 좋겠지만, 주요 부품에 대한 인식을 저해하는 방해물을 회피하기 위해서는 2대의 촬상 장치들이 복수의 작업 공간들에 대해 겹쳐지는 영상을 촬영하는 것이 효율적일 수 있다.

방대한 양의 데이터를 얻는 것이 가능해지고, 컴퓨터(computer)의 성능이 발전함에 따라, 인공 지능 모델(model)의 성능이 실제 생활에 적용이 가능할 정도로 빠르게 발전하였다. 사무, 보안, 공정 분야 등 여러 분야에서 이러한 인공 지능 모델을 사용하여 융통성 있는 업무 자동화의 수요가 증가하고 있으며, 실제로 빠르게 적용되고 있는 추세이다. 따라서, 공장에서 역시 이러한 흐름을 따라 다양한 작업에 적용되고 있는데, 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템은 객체 탐지 모델과 분류 모델을 사용하여 엔진을 조립하는 공정의 대략적인 공정 정도 파악을 자동화하고자 하기 위한 것일 수 있다.

하나의 엔진을 제작하기 위해서는 공정의 정도에 따라 3개의 부분으로 나누어 옮겨가며 작업을 하는 방식을 사용하고 있는데, 하나의 엔진만 만들어내는 것이 아니기 때문에, 몇 개의 엔진이 어느 정도의 상태로 조립되어지고 있는지 파악하는 것이 제작의 용이성과 다른 공정에서 참고하기에 효율적이다. 하지만, 이를 수작업으로 하는 것은 인력이 필요하고 인간적인 오류로 인해 틀릴 가능성도 크다. 따라서, 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템은 SSD(Single Shot multibox Detector), YOLO(You Only Look Once), R-CNN 등과 같은 객체 탐지 및 분류를 함께 수행하는 인공 지능 모델을 사용하여 화면 상에 각 공정의 완성도에 해당하는 엔진이 몇 개, 그리고 어느 정도로 존재하는지를 자동으로 파악하기 위한 시스템일 수 있다. 이는 각 공정 정도에 따라 0 ~ 100 % 실수 값으로 분류하는 것으로, 데이터의 준비와 인공 지능 모델의 성능에 한계가 존재하기 때문에, 엔진을 조립하는 조립 공정들이 3개의 부분으로 나누어져 있음에 따라, 적게는 5 ~ 10 %까지 클래스(class)를 나누어 데이터 준비의 효율성을 높이고, 모델의 성능도 높일 수 있다.

인공 지능 모델은 크게 보면 하나의 함수와도 같은데, 학습을 시켜놓은 인공 지능 모델에 사전에 훈련시킨 데이터와 같은 형식의 데이터를 입력시키면 학습의 목적에 맞는 출력을 뽑아내는 과정을 거친다. 해당 작업에서는 미리 설치해놓은 촬상 장치로 읽어오는 이미지(image)들의 연속, 즉 영상이며, 출력은 해당 영상에서 조립 중인 엔진의 주요 부품의 위치와 해당 위치에 있는 주요 부품의 공정에 사용되는 수량에 대한 것이다.

인공 지능 모델의 성능은 해당 작업에 결정적인 역할이 되는 요소이다. 이를 위해서는 크게 인공 지능 모델의 설계를 올바르게 하는 것과 학습이 원활하게 될 수 있도록 데이터를 어느 정도 변형을 시켜주거나, 또는 형태를 통일시켜 주는 등의 작업이 필요하다. 이를 전처리하고 하는데 해당 작업에서는 촬상 장치로 들어오는 영상을 인공 지능 모델에 입력시켜주기 위해 크기와 형식을 통일시켜주는 것이 필수적으로 이후에 학습의 원활함을 위해 여러 가지 컴퓨터 비전(vision) 기법을 시도해 볼 수 있다.

전처리까지 완료된 데이터, 즉 촬상 장치로 입력되어 전처리까지 거친 영상은 사전에 훈련된 인공 지능 모델에 입력되어 엔진의 주요 부품에 대한 위치를 탐지하여 영상 내에서 "부품의 중앙 x 좌표, 부품의 중앙 y 좌표, 이미지 내에서 부품의 너비, 부품의 높이"의 형식으로 좌표를 출력하여 준다. 이를 이용하여 영상에서 주요 부품이 어디 위치에 어느 크기로 존재하는지 알 수 있으며, 탐지한 위치에 있는 주요 부품의 공정에 사용되는 수량이 어느 정도인지까지 분류하는 것을 수행하여 분류된 클래스들 중 하나로 출력한다.

인공 지능 모델에서 출력된 좌표들과 분류 결과들을 바탕으로 해당 이미지 내에서 조립 중인 엔진의 주요 부품이 몇 개가 있는지 좌표의 개수를 세어 확인하고, 어디에 있는지 좌표 정보를 활용하여 확인하고, 그리고 분류 결과를 활용하여 공정의 정도가 어느 정도인지까지 바로 확인, 저장 및 전송까지 가능하다.

본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템에서 사용할 객체 탐지 및 분류 목적의 인공 지능 모델들 중에서 성능이 높은 모델들을 각자의 장단점을 바탕으로 정리해 보았다.

Faster R-CNN 모델은 YOLO 모델이 나오기 전에 가장 보편적으로 쓰이던 인공지능 모델이다. 이미지 내에서 이미지 필터(filter)와 콘볼루션(convolution) 연산을 바탕으로 추상적인 특징들(목적 부품인 주요 부품의 조립 여부, 배경인지 주요 부품인지의 여부 등)과 각각의 객체들의 위치적인 정보 역시 잘 잡아내기로 저명한 CNN(Convolutional Neural Network\s) 층을 여러개 적재시켜 제작한 RPN(Resion Proposal Networks) 모델을 바탕으로 제공받은 이미지 내에서 목표하는 물체의 좌표와 해당 물체가 어떤 물체인지 정보를 출력해낸다.

R-CNN 모델의 가장 큰 장점으로는 다른 인공 지능 모델들에 비해 높은 정확도로 객체의 위치 특정과 분류를 해낸다. 특히, 겹쳐지거나 작은 사물에 대한 인식률이 높은 인공 지능 모델이다. 하지만, R-CNN 모델은 이와 같이 높은 인식률의 비해, 계산량이 비교적 많아 실시간 처리를 하기에는 적합하지 않을 정도로 많은 시간을 필요로 한다.

YOLO 모델은 여러 개의 필터를 이미지 내에서 옮겨가며 일일이 비교하는 R-CNN 모델과는 달리, 그 이름에 걸맞게 이미지 전체를 인공 지능 모델에 단 한번 입력시켜 이미지 내의 사물들의 위치 특정과 분류를 해낸다. 객체의 좌표와 클래스(분류할 객체의 종류)를 하나의 회귀 문제를 보아 R-CNN에 비해 계산량을 확연하게 줄여주었다.

YOLO 모델은 이렇게 계산량이 줄은 만큼 처리 속도가 빨라져 당시 객체 탐지 인공 지능 모델 최초로 실시간 환경에 적용이 가능한 인공 지능 모델로도 이름을 알려 많은 자동화 시스템에 적용되었다. 하지만, YOLO 모델은 빠른 속도에 비해 이미지 전체를 한번에 처리하는 만큼 겹쳐진 물체나 매우 작고 붙어있는 물체들이 대해서는 R-CNN 모델만큼 높은 인식률을 기대하기는 어렵다. YOLO 모델은 그럼에도 불구하고 빠른 속도로 인해 많은 시스템에 적용되고 있는 인공 지능 모델이다.

R-CNN은 작고 겹치는 물체에 대해서 높은 인식률을 가진다는 장점과 처리 속도가 느리다는 단점이 있었고, YOLO 모델은 빠른 처리 속도를 가진다는 장점에 비해 작고 겹치는 물체들에 대해서는 인식률이 비교적 낮다는 단점이 있었다. SSD 모델은 이러한 두 인공 지능 모델의 장점을 모두 취합하여 보여주는 인공 지능 모델이다. SSD 모델은 YOLO 모델에 비해 높은 인식률을 가지면서도 R-CNN 모델에 비해 처리 속도가 확연히 빨라 실시간 처리에도 적용이 가능한 것이다.

SSD 모델의 등장으로 컴퓨터 비전을 활용한 시스템들의 성능을 더욱 높여주었지만, 다른 인공 지능 모델들에 비해 사용하는 난이도가 높은 경향이 있어 적용하기가 쉽지 않다는 단점이 있다.

본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템에는 포즈(pose) 변화에 강인한 특징 학습 기법 및 정면 복원 기술인 GAN(Generative Adversarial Networks) 기술이 적용될 수 있다.

도 9를 참조하면, GAN 기술은 인코더(encoder)-디코더(decoder) 기반 생성기와 콘볼루션 신경망 기본 분류기로 구성되며, 입력 영상(x)에 대해 생성기 인코더를 통해 특징을 추출할 수 있다.

분류기에서는 생성된 특정 포즈를 갖는 영상에 대해 실제 포즈 라벨(label)과 인물 정보를 구분하여 학습 수행할 수 있다.

실생활에서의 영상 촬영은 시간과 위치에 따라 변화하는 조명에 의해 매우 다른 영상이 획득된다.

도 10을 참조하면, 본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템에는 조명(illumination)과 반사(reflectance) 모델링(modeling)을 통해 열화된 영상의 정규화/전처리 또는 조명 변화에 강인한 특징 추출 기법이 사용될 수 있다.

저준위(low-level) 층에서 대용량의 근적외선 영상을 확보하는 것이 어렵기 때문에, 효과적으로 학습하기 위한 대용량 가시광 영상으로 학습된 딥(deep) 네트워크가 특징 추출에 활용(적외선 촬상 장치를 설치하여 개선)될 수 있다.

고준위(high-level) 층에서는 각 모달리티(modality)와 관련된 특징과 사물에 관련된 특징 학습을 위해 Maxout 기반 딥 네트워크를 구성하여 얻어지는 특징과 shared 층에서 얻어진 특징 사이의 Orthogonality Constraint를 부과함으로써, 근적외선 및 가시광 영상의 공통된 사물의 특징이 추출될 수 있다.

본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템은 자바(Java) 런타임(runtime) 기반 스프링 프레임워크 웹 어플리케이션(spring framework web application)으로 리눅스(Linux), 윈도우 운영 체제(Windows Operating System)에서 동작하며, 시스템의 각 웹 페이지(page)는 템플릿(template) 기반의 JSP 태그 라이브러리(tag library)와 통합된 에이작스 셋(Ajax set)을 제공하며, 그리고 다양한 클라이언트(client) 지원을 위한 레스트(rest) API로 구성될 수 있다.

어떤 객체가 가지고 있는 객체 고유의 분별 가능한 측면(aspect), 질(quality), 혹은 특성(characteristic)을 고려하여 특징이 하나 이상의 수치값을 가질 경우, d-차원의 열 벡터(vector)로 표현될 수 있다.

특성 분류를 위해서는 패턴(pattern) 인식 알고리즘의 결정과 더불어 인식률에 결정적 영향을 미치는 특징 벡터의 선택이 중요하다.

같은 클래스로부터 표본은 동일하거나 유사한 특징 값을 가져야 하며, 다른 클래스로부터 취해진 표본은 다른 클래스와 서로 다른 특징 값을 가져야 한다.

특성 분류를 위해서는 선형 분리 가능한 유형, 비선형 분리 가능한 유형, 높은 상관을 가진 유형, 멀티 모달(multimodal) 유형으로 구분될 수 있다.

본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템은 입력된 영상 이미지를 실시간으로 처리해 상황을 인식하고, 그리고 인식된 정보를 응용 디스플레이(display)에 제공할 수 있다.

본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템은 이미지에서 다양한 정보를 분석하는 시각 분석 모듈(module)과 분석된 정보를 바탕으로 상황을 이해하기 위한 시각 이해 모듈로 구성될 수 있다.

본 발명의 일 실시예에 따른 인공 지능 기반 공정 인식 시스템은 제품을 조립하는 복수의 작업 공간들을 갖는 작업장에서 하나 이상의 작업 공간에 대한 영상을 촬영하는 2개의 촬상 장치들로 구성된 영상 촬영부로부터 촬영된 영상으로부터 R-CNN 알고리즘을 사용하여 작업 공간 별로 존재하는 주요 부품의 수량을 확인하고, 그리고 확인된 주요 부품의 수량으로부터 제품에 대한 조립 공정의 진행 상황을 판독하는 제어부를 포함함으로써, 엔진과 같은 제품을 조립하는 공정의 진행률을 작업자와 관리자가 용이하게 인식할 수 있다. 이에 따라, 작업장에서 현재 조립 공정의 진행 상황과 이유에 대한 조치를 즉시 수행할 수 있는 인공 지능 기반 공정 인식 시스템이 제공될 수 있다.

이상, 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들에는 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (5)

1. 제품을 조립하는 복수의 작업 공간들을 갖는 작업장에서,
   하나 이상의 상기 작업 공간에 대한 영상을 촬영하는 2개의 촬상 장치들로 구성된 영상 촬영부; 및
   상기 영상 촬영부로부터 촬영된 상기 영상으로부터 상기 작업 공간 별로 존재하는 주요 부품의 수량을 인공 지능 기반의 영상 처리를 통해 확인하여 상기 제품에 대한 조립 공정의 진행 상황을 판독하는 제어부를 포함하되,
   상기 제어부는 R-CNN 알고리즘을 사용하여 상기 작업 공간 별로 존재하는 상기 주요 부품의 수량을 확인하고, 그리고 확인된 상기 주요 부품의 수량으로부터 상기 제품에 대한 상기 조립 공정의 상기 진행 상황을 판독하는 인공 지능 기반 공정 인식 시스템.
2. 제 1항에 있어서,
   상기 제어부에서 판독된 상기 제품에 대한 상기 조립 공정의 상기 진행 상황을 저장, 관리 및 모니터링하면서 실시간으로 상기 작업장의 관리자에게 상기 제품에 대한 상기 조립 공정의 상기 진행 상황을 통지하는 서버를 포함하는 인공 지능 기반 공정 인식 시스템.
3. 제 2항에 있어서,
   상기 서버는 상기 작업장의 상기 관리자에게 상기 제품에 대한 상기 조립 공정의 상기 진행 상황의 진도율 및 상기 진행 상황의 상기 진도율이 목표치 이하일 때에 경고 정보를 알려주는 인공 지능 기반 공정 인식 시스템.
4. 제 1항에 있어서,
   상기 제어부는 미리 수집된 상기 주요 부품의 영상 자료에 대한 학습된 결과로부터 상기 작업 공간 별로 존재하는 상기 주요 부품의 수량을 확인하는 인공 지능 기반 공정 인식 시스템.
5. 제 4항에 있어서,
   미리 수집된 상기 주요 부품에 대한 상기 영상 자료는 상기 영상 촬영부에 의해 촬영되어 전처리를 거친 영상인 인공 지능 기반 공정 인식 시스템.

Images