KR102506222B1 - 비전 데이터 수집, 학습, 배포 및 추론 방법 및 시스템 - Google Patents

Abstract

본 발명은 비전 데이터 수집, 학습, 배포 및 추론 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 현장으로부터 비전 데이터를 수집하고, 이를 이용하여 학습에 의한 모델을 형성하며, 학습된 모델을 사용자에게 배포하고, 이 모델을 이용하여 특정한 목표에 대한 추론을 수행하는 방법 및, 이를 수행하는 시스템에 관한 것이다.
본 발명에 의하면, 컴퓨터 비전이 많이 대중화되고 오픈 소스와 관련 알고리즘들도 많이 존재하긴 하나 기업들이 이들을 찾고 적재적소에 적용하여 사용하기란 여간 힘든 것이 아니다. 본 발명은 비전 데이터 수집, 비전 데이터를 이용한 학습, 학습된 모델의 배포 및, 모델을 이용한 특정한 목적의 추론과 같은 순환 과정을 통하여, 컴퓨터 비전 기술에 있어서 현장의 다양한 필요에 맞춘 시스템을 제공한다.

Description

비전 데이터 수집, 학습, 배포 및 추론 방법 및 시스템{Method and system for collection of vision data, learning ,distribution and inference}

본 발명은 비전 데이터 수집, 학습, 배포 및 추론 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 현장으로부터 비전 데이터를 수집하고, 이를 이용하여 학습에 의한 모델을 형성하며, 학습된 모델을 사용자에게 배포하고, 이 모델을 이용하여 특정한 목표에 대한 추론을 수행하는 방법 및, 이를 수행하는 시스템에 관한 것이다.

컴퓨터 비전 기술은 인간의 눈과 뇌를 통해서 처리되는 시각인지 기능을 IT 디바이스와 분석 소프트웨어를 이용해서 실현하는 기술 분야이다. 인공지능 기술의 한 분야로서 시각적인 정보를 수집하여, 필요한 상황을 인지하고 최적의 행위를 결정하는 데 있어서 중요한 정보를 생성한다.

컴퓨터 비전 기술은 이미지 수집, 이미지 처리, 이미지 파악의 3단계로 이루어진다. 이 3단계를 명확히 이해하고 유기적으로 처리할 수 있어야 산업현장에 실제적인 도움을 줄 수 있다. 이미지 수집은 동영상, 사진 또는 3D 기술을 통해 분석할 이미지를 실시간으로 수집하는 단계이고, 이미지 처리는 수집된 이미지를 라벨링한 후 모델 학습을 수행하는 단계이며, 이미지 파악은 배포된 학습된 모델을 이용하여 이미지 해석 및 추론을 수행하는 단계이다.

대부분의 기업이나 사용자들은 이미지 수집, 이미지 처리, 이미지 파악 각각의 항목에 대해서는 필요에 따라 수행하고 있으나 이들을 유기적으로 자동화하여 사용하고 있지는 못한 실정이다. 예를 들어, 데이터를 수집해 놓고도 이를 바로 사용해서 자신의 모델을 업그레이드 하는 것이 아니라 필요할 때 기존에 수집해 놓은 데이터를 찾아서 모델을 만들거나, 또는 외부 데이터를 사용해서 모델을 만드는 등 모델의 정확성을 떨어트리는 작업을 수행하고 있다. 이로 인해 귀중한 자사의 현장 데이터가 유실되거나 중복 학습되는 문제가 발생하고, 학습된 모델의 정확도가 떨어져 결국 사용하지 않게 되는 악순환이 반복되는 문제점이 있다.

KR 10-2095685 B1

본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 컴퓨터 비전이 많이 대중화되고 오픈 소스와 관련 알고리즘들도 많이 존재하긴 하나 기업들이 이들을 찾고 적재적소에 적용하여 사용하기란 여간 힘든 것이 아니다. 본 발명은 비전 데이터 수집, 비전 데이터를 이용한 학습, 학습된 모델의 배포 및, 모델을 이용한 특정한 목적의 추론과 같은 순환 과정을 통하여, 컴퓨터 비전 기술에 있어서 현장의 다양한 필요에 맞춘 시스템을 제공하는데 그 목적이 있다.

이와 같은 목적을 달성하기 위하여 본 발명에 따른 인공신경망을 이용한 객체인식 장치가 특정 대상물에 대한 비전(vision) 데이터를 수집하여 학습에 의한 인공신경망 모델을 형성하는 방법은, (a) 이미지 생성장치로부터 비전 데이터를 수집하여 저장하는 단계; 및, (b) 수집하여 저장한 비전 데이터에서 객체인식에 의하여 특정 목적을 위한 추론을 수행하는 인공신경망 모델(이하 '객체인식 모델'이라 한다)이 이미 형성되어 있는 경우, 상기 단계(a)의 비전 데이터를 전처리한 데이터 셋을 이용한 재학습을 통해 상기 객체인식 모델의 업데이트를 수행하고, 아직 객체인식 모델이 형성되어 있지 않은 경우, 상기 단계(a)의 비전 데이터를 전처리한 데이터 셋을 이용한 학습을 통해 객체인식 모델을 최초 형성시키는 단계를 포함하고, 상기 객체인식 모델은, 동일한 종류의 2단계 이상의 단계별 모델로 구성되며, 상기 단계(b)에서의 학습 또는 재학습은, 상기 각 단계별 모델에 대하여 각각 별도로 수행된다.

상기 객체인식 모델을 구성하는 각 단계별 모델은, 각각 YOLO 모델로 형성될 수 있다.

상기 단계(b) 이후, (c) 상기 최초 형성된 객체인식 모델 또는 업데이트된 객체인식 모델을 특정 사용자 단말로 배포하는 단계를 더 포함할 수 있다.

상기 단계(c) 이후, (d1) 상기 사용자 단말로부터, 비전 데이터를 입력으로 하여 상기 객체인식 모델에 의한 추론을 수행한 결과 및, 해당 비전 데이터를 포함한 추론 결과 데이터를 수신하는 단계; (d2) 상기 추론 결과 데이터에 대하여 라벨링을 정정하여 각 단계별 모델의 재학습을 위한 데이터 셋을 생성하는 단계; 및, (d3) 상기 단계(d2)의 데이터 셋 만을 이용하거나, 또는 상기 단계(a)에서 수집한 비전 데이터에 전처리를 수행한 데이터 셋과 상기 단계(d2)의 데이터 셋을 합한 데이터 셋을 이용하여 재학습을 통한 객체인식 모델의 업데이트를 수행하는 단계를 더 포함할 수 있다.

상기 단계(c)의 사용자 단말로의 배포는, 상기 객체인식 장치에서 객체인식 모델이 최초 형성되었거나 또는 업데이트 된 경우에 미리 정해진 사용자 단말로 배포가 수행되거나, 또는, 특정 사용자 단말로부터의 배포 요청이 있는 경우, 상기 객체인식 장치에서 객체인식 모델이 최초 형성되었거나 또는 업데이트 된 경우에 배포 요청한 사용자 단말로 배포가 수행될 수 있다.

상기 단계(b) 이후, (e) 상기 이미지 생성장치로부터 수신한 비전 데이터를 입력으로 하여 상기 객체인식 모델에 의한 추론을 수행하는 단계를 더 포함할 수 있다.

상기 단계(e)의 객체인식 모델에 의한 추론은, 특정 사용자 단말로부터의 특정 비전 데이터에 대한 추론 요청을 수신한 경우에 수행될 수 있다.

상기 단계(e) 이후, (f1) 상기 단계(e)의 추론을 수행한 결과 및 입력 이미지를 포함하는 추론 결과 데이터에 대하여 라벨링을 정정하여 각 단계별 모델의 재학습을 위한 데이터 셋을 생성하는 단계; 및, (f2) 상기 단계(f1)의 데이터 셋 만을 이용하거나, 또는 상기 단계(a)에서 수집한 비전 데이터에 전처리를 수행한 데이터 셋과 상기 단계(f1)의 데이터 셋을 합한 데이터 셋을 이용하여 재학습을 통한 객체인식 모델의 업데이트를 수행하는 단계를 더 포함할 수 있다.

본 발명의 다른 측면에 따르면, 특정 대상물에 대한 비전 데이터를 수집하여 학습에 의한 인공신경망 모델을 형성하는 장치(이하 '인공신경망을 이용한 객체인식 장치'라 한다)는, 적어도 하나의 프로세서; 및 컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) 이미지 생성장치로부터 비전 데이터를 수집하여 저장하는 단계; 및, (b) 수집하여 저장한 비전 데이터에서 객체인식에 의하여 특정 목적을 위한 추론을 수행하는 인공신경망 모델(이하 '객체인식 모델'이라 한다)이 이미 형성되어 있는 경우, 상기 단계(a)의 비전 데이터를 전처리한 데이터 셋을 이용한 재학습을 통해 상기 객체인식 모델의 업데이트를 수행하고, 아직 객체인식 모델이 형성되어 있지 않은 경우, 상기 단계(a)의 비전 데이터를 전처리한 데이터 셋을 이용한 학습을 통해 객체인식 모델을 최초 형성시키는 단계가 실행되도록 하고, 상기 객체인식 모델은, 동일한 종류의 2단계 이상의 단계별 모델로 구성되며, 상기 단계(b)에서의 학습 또는 재학습은, 상기 각 단계별 모델에 대하여 각각 별도로 수행된다.

본 발명의 또 다른 측면에 따르면, 특정 대상물에 대한 비전 데이터를 수집하여 학습에 의한 인공신경망 모델을 형성하기 위한 컴퓨터 프로그램은, 비일시적 저장 매체에 저장되며, 프로세서에 의하여, (a) 이미지 생성장치로부터 비전 데이터를 수집하여 저장하는 단계; 및, (b) 수집하여 저장한 비전 데이터에서 객체인식에 의하여 특정 목적을 위한 추론을 수행하는 인공신경망 모델(이하 '객체인식 모델'이라 한다)이 이미 형성되어 있는 경우, 상기 단계(a)의 비전 데이터를 전처리한 데이터 셋을 이용한 재학습을 통해 상기 객체인식 모델의 업데이트를 수행하고, 아직 객체인식 모델이 형성되어 있지 않은 경우, 상기 단계(a)의 비전 데이터를 전처리한 데이터 셋을 이용한 학습을 통해 객체인식 모델을 최초 형성시키는 단계가 실행되도록 하는 명령을 포함하고, 상기 객체인식 모델은, 동일한 종류의 2단계 이상의 단계별 모델로 구성되며, 상기 단계(b)에서의 학습 또는 재학습은, 상기 각 단계별 모델에 대하여 각각 별도로 수행된다.

본 발명의 또 다른 측면에 따르면, 비전 데이터 수집, 학습, 배포 및 추론을 수행하는 시스템은, 상기 인공신경망을 이용한 객체인식 장치(이하 '객체인식 장치'라 한다); 내부에 비전 데이터 제공 어플리케이션 프로그램(이하 '비전 데이터 제공 앱'이라 한다)이 설치되고, 특정 대상물에 대하여 생성된 비전(vision) 데이터를, 상기 비전 데이터 제공 앱의 동작에 의하여 상기 객체인식 장치로 제공하는 이미지 생성장치; 및. 내부에 객체인식 추론 어플리케이션 프로그램(이하 '객체인식 추론 앱'이라 한다)이 설치되고, 상기 객체인식 추론 앱의 동작에 의하여, 상기 객체인식 장치로부터 객체인식 인공신경망 모델(이하 '객체인식 모델'이라 한다)을 배포받아 상기 객체인식 모델을 이용하여 특정 대상물에 대한 비전 데이터를 입력으로 하여 추론을 수행하는 사용자 단말을 포함한다.

상기 사용자 단말의 객체인식 추론 앱은, 상기 객체인식 모델에 의한 추론 결과 데이터를 상기 객체인식 장치로 전달하는 기능을 더 포함하고, 상기 객체인식 장치는, 상기 사용자 단말로부터 수신한 추론 결과 데이터를 객체인식 모델의 재학습을 위한 데이터로 사용하는 기능을 더 포함할 수 있다.

상기 객체인식 장치는, 객체인식 모델에 의해 추론을 수행하는 기능을 더 포함할 수 있다.

상기 객체인식 장치는, 상기 객체인식 모델에 의해 추론한 추론 결과 데이터를 객체인식 모델의 재학습을 위한 데이터로 사용하는 기능을 더 포함할 수 있다.

상기 객체인식 장치는, 상기 사용자 단말로부터 특정 비전 데이터에 대한 추론 요청을 받은 경우 객체인식 모델에 의해 상기 비전 데이터에 대한 추론을 수행할 수 있다.

본 발명에 의하면, 컴퓨터 비전이 많이 대중화되고 오픈 소스와 관련 알고리즘들도 많이 존재하긴 하나 기업들이 이들을 찾고 적재적소에 적용하여 사용하기란 여간 힘든 것이 아니다. 본 발명은 비전 데이터 수집, 비전 데이터를 이용한 학습, 학습된 모델의 배포 및, 모델을 이용한 특정한 목적의 추론과 같은 순환 과정을 통하여, 컴퓨터 비전 기술에 있어서 현장의 다양한 필요에 맞춘 시스템을 제공하는 효과가 있다.

도 1은 본 발명의 비전 데이터 수집, 학습, 배포 및 추론을 수행하기 위한 네트워크 구성을 나타내는 도면.
도 2는 본 발명의 비전 데이터 수집, 학습, 배포 및 추론이 수행되는 과정을 나타내는 시퀀스 다이어그램.
도 3은 본 발명의 인공신경망을 이용한 객체인식 장치의 구성을 나타내는 도면.
도 4는 인공신경망을 이용한 객체인식 장치에서 학습에 의해 형성되는 인공신경망 모델의 일 실시예로서의 구성을 나타내는 도면.
도 5는 인공신경망을 이용한 객체인식 장치가 비전 데이터 수집, 학습, 배포 및 추론을 수행하는 과정을 나타내는 순서도.
도 6은 본 발명의 객체인식 인공신경망 모델의 학습에 사용될 이미지를 선택하기 위한 화면 구성의 일 실시예를 나타내는 도면.
도 7은 본 발명의 객체인식 인공신경망 모델의 학습에 사용되었거나 사용될 데이터 셋을 선택하는 화면의 일 실시예를 나타내는 도면.
도 8은 본 발명의 객체인식 인공신경망 모델에서 차량번호 인식 모델의 학습에 입력으로 사용되는 번호판 이미지 데이터 셋의 일 실시예를 나타내는 도면.
도 9는 선택된 데이터 셋의 정보가 표시된 화면을 나타내는 도면.
도 10은 본 발명의 객체인식 인공신경망 모델에서 기 형성된 차량번호 인식 모델로부터 추론된 차량번호가 표시되어 있는 데이터 셋 화면의 일 실시예를 나타내는 도면.
도 11은 본 발명의 객체인식 인공신경망 모델에서 차량번호 라벨링을 위한 편집 화면의 일 실시예를 나타내는 도면.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

도 1은 본 발명의 비전 데이터 수집, 학습, 배포 및 추론을 수행하기 위한 네트워크 구성을 나타내는 도면이고, 도 2는 본 발명의 비전 데이터 수집, 학습, 배포 및 추론이 수행되는 과정을 나타내는 시퀀스 다이어그램이다.

이미지 생성장치(10)란 비전(vision) 데이터, 즉, 특정한 대상에 대하여 획득한 이미지를 저장하고(S201), 또한 획득된 이미지를 인공신경망을 이용한 객체인식 장치(이하, '객체인식 장치'라 한다)(100)로 제공(S202)하는 장치이다. 이미지 생성장치(10)의 실시예로는, CCTV 등이 있을 수 있으며, 이 경우 이미지는, CCTV가 촬영한 이미지이다. 객체인식 장치(100)가 CCTV와 연동되는 방식은 보통 실시간 스트리밍 프로토콜(Real Time Streaming Protocol, RTSP)을 사용한다. 이 프로토콜에는 스냅샷(snapshot) 기능이 존재하며, 설정에 따라 고해상도/저해상도 이미지를 선택해서 캡처할 수 있다. 객체인식 장치(100)는, CCTV(10)로부터 주기적으로 이미지 데이터를 수집해서 저장할 수 있으며, FTP나 SFTP 등을 이용해서 이미지 데이터를 수집할 수 있다.

객체인식 장치(100)는 CCTV와 같은 이미지 생성장치(10)로부터 수집한 이미지를 입력으로 하여 특정한 목적의 결과를 출력하는 인공신경망 모델인 객체인식 인공신경망 모델(이하 '객체인식 모델'이라 한다)을 학습을 통하여(S203) 형성시킨다(S204). 이와 같이 형성된 객체인식 모델은, 다양한 사용자 단말(300)로 배포되고(S05), 사용자 단말(300)은 배포받은 객체인식 모델을 저장한다(S206).

해당 사용자 단말(300)에서는, 이미지 생성장치(10)로부터 특정한 이미지를 수신하고(S209), 객체인식 장치(100)로부터 배포받은 객체인식 모델에 해당 이미지를 전처리하여 입력함으로써, 그 객체인식 모델로부터 특정한 목적의 결과를 추론한다(S210). 나아가, 사용자 단말(300)은, 추론 결과 데이터를 객체인식 장치(100)로 전송해 줄 수 있다(S211). 추론 결과 데이터에는, 객체인식 모델에 입력으로 사용된 이미지 및, 해당 이미지를 입력으로 한 객체인식 모델의 출력, 즉, 추론 결과를 포함한다.

객체인식 장치(100)는 수신한 추론 결과 데이터를, 객체인식 모델의 업데이트를 위한 재학습용 입력 데이터로 사용할 수 있다(S212). 이와 같이 하여 업데이트된 객체인식 모델(S213)은 다시 사용자 단말로 배포될 수 있다(S214).

또한, 객체인식 장치(100)는, 객체인식 모델 배포 후에도 이미지 생성장치(10)로부터 계속 새로운 이미지를 수신할 수 있다(S208). 객체인식 장치(100)는, 이와 같이 이미지 생성장치(10)로부터 수신한 이미지들도 객체인식 모델의 업데이트를 위한 재학습용 입력 데이터로 사용할 수 있다(S212). 이와 같이 하여 업데이트된 객체인식 모델(S213) 역시 다시 사용자 단말로 배포될 수 있다(S214).

한편, 도 2에는 도시되지 않았으나, 객체인식 장치(100)가 학습시킨 객체인식 모델을 사용자 단말(300)로 배포하지 않고 객체인식 장치(100)가 저장하고 있도록 구성할 수도 있다. 이 경우는 사용자 단말(300)이, 자신이 이미지 생성장치(10)로부터 수집한 이미지를 객체인식 장치(100)에 송신하여, 해당 이미지에 대한 추론 결과를 요청할 수 있다. 객체인식 장치(100)는 그 이미지를 객체인식 모델에 입력하여 추론 결과를 도출한 후, 해당 추론 결과를 사용자 단말(300)에 송신해 줄 수 있다.

도 3은 본 발명의 인공신경망을 이용한 객체인식 장치(100)의 구성을 나타내는 도면이다.

도 5를 참조하면, 인공신경망을 이용한 객체인식 장치(이하 '객체인식 장치'라 한다)(100)는, 프로세서(110), 프로그램과 데이터를 저장하는 비휘발성 저장부(120), 실행 중인 프로그램들을 저장하는 휘발성 메모리(130), 다른 기기와 통신을 수행하기 위한 통신부(140), 이들 장치 사이의 내부 통신 통로인 버스 등으로 이루어져 있다. 실행 중인 프로그램으로는, 장치 드라이버, 운영체계(Operating System), 및 다양한 어플리케이션이 있을 수 있다. 도시되지는 않았지만, 전력제공부를 포함한다.

객체인식 장치(100)의 비전 데이터 수신부(210)는, 이미지 생성장치(10)로부터, 비전(vision) 데이터, 즉, 특정한 대상에 대하여 획득한 이미지를 수신한다. 수신한 이미지는 객체인식 인공신경망 모델(이하 '객체인식 모델'이라 한다)의 학습을 위해 입력으로 사용된다. 또한 객체인식 모델의 형성 이후 수신한 이미지는, 해당 객체인식 모델의 업데이트를 위한 학습으로도 사용된다.

객체인식 장치(100)는 학습에 의해 형성된 객체인식 모델을 통신부(140)를 통하여 사용자 단말(300)로 배포할 수 있다. 나아가 사용자 단말(300)은 배포받은 객체인식 모델에 자신이 이미지 생성장치(10)로부터 직접 수신한 이미지를 입력하여 결과를 출력한 경우, 출력된 추론 결과와 해당 입력 이미지를 포함하는 추론 결과 데이터를 객체인식 장치(100)로 보내줄 수 있다. 객체인식 장치(100)는 이렇게 수신한 추론 결과 데이터를 이용하여 객체인식 모델의 업데이트를 수행할 수 있다.

또한 다른 실시예로서 객체인식 장치(100)는, 객체인식 모델을 사용자 단말(300)에 배포하지 않고, 사용자 단말(300)로부터 특정 대상물에 대한 이미지를 포함한 추론 요청을 받아, 해당 이미지를 객체인식 모델에 입력하여 출력된 추론 결과를 사용자 단말(300)로 제공하는 역할을 수행할 수도 있다.

이러한 객체인식 모델의 학습 및, 필요에 따라 객체인식 모델을 이용한 추론은 인공신경망을 이용한 객체인식 모델 학습 및 추론 어플리케이션(220)이 수행하는데, 인공신경망을 이용한 객체인식 모델 학습 및 추론 어플리케이션(220)은 추론 기능을 수행시에는, 전술한 객체인식 모델을 이용하여 추론을 수행한다.

본 발명의 객체인식 모델의 구성에 대하여는 이하에서 도 4를 참조하여 상세히 설명한다.

도 4는 인공신경망을 이용한 객체인식 장치(100)에서 학습에 의해 형성되는 객체인식 인공신경망 모델의 일 실시예로서의 구성을 나타내는 도면이다.

본 발명의 인공신경망을 이용한 객체인식 장치(이하 '객체인식 장치'라 한다)(100)는 객체인식 인공신경망 모델(이하 '객체인식 모델'이라 한다)을, 동일한 종류의 모델이 2단계 이상 연결된 모델로 형성시킨다.

도 4는 그와 같은 객체인식 모델 구성의 일 실시예로서, 3단계의 모델로 구성된 경우이며, 이때 각 단계의 모델은 모두 동일한 종류의 모델로 구성된다.

도 4에서 예시한 객체인식 모델은, CCTV 등에서 촬영한 차량 이미지로부터 특정한 종류의 차량을 파악하고 최종적으로 해당 차량의 차량 번호를 식별해내는 모델이다.

'차량 분류 모델'은 입력된 이미지로부터, 이미지 내의 대상에 대하여 차량 종류를 분류해내는 모델이다. 필요에 따라 대상이 화물차인지, 승합차인지 또는 승용차인지 등을 식별해 내도록 구성할 수 있다.

예를 들어 차량 분류 모델에서 화물차량을 식별해 내도록 구성한 경우, 차량 분류 모델에서 화물차량임이 인식되면 '번호판 식별 모델'은 그 차량의 번호판 영역을 식별한다. 또한 '차량번호 인식 모델'은 식별된 번호판으로부터 차량번호를 추론하는 모델이다. 이 3개의 모델은 동일한 종류의 모델을 사용하는데, 예를 들어 3개의 모델이 모두 YOLO 모델을 사용할 수 있다.

YOLO 모델은 각 이미지를 S x S 개의 그리드로 분할하고, 그리드의 신뢰도를 계산한다. 신뢰도는 그리드 내 객체 인식 시 정확성을 반영한다. 처음에는 객체 인식과는 동떨어진 경계 상자가 설정되지만, 신뢰도를 계산하여 경계 상자의 위치를 조정함으로써, 가장 높은 객체 인식 정확성을 가지는 경계 상자를 얻을 수 있다. 그리드에 객체 포함 여부를 계산하기 위해, 객체 클래스 점수를 계산한다. 이 결과로 총 S x S x N 객체가 예측된다. 이 그리드의 대부분은 낮은 신뢰도를 가진다. 신뢰도를 높이기 위해 주변의 그리드를 합칠 수 있다. 이후, 임계값을 설정해 불필요한 부분은 제거할 수 있다. 즉, YOLO는 이미지를 적은 수의 그리드로 분할하여 그리드의 신뢰도를 바탕으로 신뢰도가 낮은 그리드는 제거함으로서 더욱 그리드 수를 줄이고 결과적인 연산 속도를 줄일 수 있다. 이에 따라 단순한 처리에 의해 속도가 매우 빠른 장점이 있는데, 이는 이미지 전체를 한 번에 바라보는 방식으로 클래스를 분별하기 때문이다.

객체인식 장치(100)는, 객체인식 모델을 구성하는 3개의 모델 각각을 별도로 학습시킨다. 도 4의 예에서 차량 분류 모델은, 대상을 촬영한 이미지를 입력으로 사용하여, 목표로 하는 특정한 차량 종류를 식별해내도록 학습될 수 있다. 번호판 식별 모델은, 차량 분류 모델에 의해 목표로 하는 특정한 차량 종류로 식별된 이미지를 입력으로 사용하여 해당 이미지에서 번호판 영역을 식별해내도록 학습된다. 또한 차량번호 인식 모델은, 식별된 번호판 영역 이미지를 입력으로 사용하여 차량번호를 텍스트로 출력하도록 학습된다. 이와 같이 각각 별도로 학습되어 형성된 3개의 모델로 구성된 객체인식 모델은 본 발명의 객체인식 모델을 형성하고, 이러한 객체인식 모델에 대상을 촬영한 이미지를 입력하면, 최종적으로 해당 이미지가 목표로 하는 차량 종류인 경우 그 차량의 차량번호를 텍스트로 출력해내게 된다.

지금까지 도 4를 참조하여서는 비전 데이터(이미지)로부터 특정한 차량의 종류 및 해당 차량의 차량번호를 인식해내는 모델의 실시예를 설명하였으나, 본 발명은 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명은, 동일한 종류의 2단계 이상의 인공신경망 모델로 구성된 모델에 의하여, 비전 데이터(이미지)에 포함된 객체를 인식하여 특정한 목적의 분류를 해 내는 시스템을 포괄하며, 도 4는 그 중 하나의 실시예를 설명하기 위한 것일 뿐이다.

도 5는 인공신경망을 이용한 객체인식 장치(100)가 비전 데이터 수집, 학습, 배포 및 추론을 수행하는 과정을 나타내는 순서도이다.

본 발명의 인공신경망을 이용한 객체인식 장치(이하 '객체인식 장치'라 한다)(100)는 CCTV 등이 될 수 있는 이미지 생성장치(10)로부터 비전 데이터, 즉, 특정한 대상에 대하여 촬영한 이미지를 수신하여 저장한다(S511). 이때 객체인식 장치(100)가 기 형성되어 있는 객체인식 인공신경망 모델(이하 '객체인식 모델'이라 한다)을 가지고 있지 않은 경우(S512)는, 해당 비전 데이터들을 일정 수만큼 수집하여 객체인식 모델을 학습시키고(S514), 이로써 객체인식 모델을 형성한다(S515)

본 발명의 객체인식 모델은 적어도 2단계 이상의 모델을 사용하면서 그 모델들에 동일한 종류의 모델을 사용한다. 예를 들어 2단계 이상의 모델을 모두 YOLO 모델로 형성시킬 수 있다. 이를 위해 본 발명의 객체인식 장치(100)는, 객체인식 모델을 구성하는 각 모델 각각에 대한 학습을 별도로 수행하게 된다.

도 4를 참조하여 설명한 바와 같은 하나의 실시예에서, 전술한 바와 같이 차량 분류 모델은, 대상을 촬영한 이미지를 입력으로 사용하여, 목표로 하는 특정한 차량 종류를 식별해내도록 학습될 수 있다. 번호판 식별 모델은, 차량 분류 모델에 의해 목표로 하는 특정한 차량 종류로 식별된 이미지를 입력으로 사용하여 해당 이미지에서 번호판 영역을 식별해내도록 학습된다. 또한 차량번호 인식 모델은, 식별된 번호판 영역 이미지를 입력으로 사용하여 차량번호를 텍스트로 출력하도록 학습된다. 이와 같이 각각 별도로 학습되어 형성된 3개의 모델로 구성된 객체인식 모델은 본 발명의 객체인식 모델을 형성하고, 이러한 객체인식 모델에 대상을 촬영한 이미지를 입력하면, 최종적으로 해당 이미지가 목표로 하는 차량 종류인 경우 그 차량의 차량번호를 텍스트로 출력해내게 된다.

이러한 과정에서, 수집한 이미지들로부터 2단계 이상의 각 모델을 순차적으로 학습시킬 수도 있고, 또는 수집한 이미지 들로부터 각 모델에 대한 입력 데이터 셋을 각각 전처리에 의해 형성한 후, 각 모델을 동시에 학습시킬 수도 있다. 도 5의 순서도에서는 이러한 과정을 모두 포괄하는 의미로 단계 S513 및 단계 S514에 나타내었다.

객체인식 장치(100)가 기 형성되어 있는 객체인식 모델을 가지고 있는 경우(S512)는, 이미지 생성장치(10)로부터 수집한 데이터들을 이용하여 그 객체인식 모델의 재학습을 위한 입력 데이터 셋을 형성하여(S522), 객체인식 모델에 대한 재학습을 수행하고(S514), 이로써 객체인식 모델의 업데이트를 수행할 수 있다(S515).

만약 객체인식 장치(100)가 사용자 단말(300)의 요청(미도시) 등에 의해 직접 객체인식 모델을 이용한 추론을 실시하는 경우(S521), 그 결과를 해당 사용자 단말(300)에 제공할 뿐만 아니라(미도시), 그 추론 결과 데이터를 포함하여 객체인식 모델의 재학습을 수행할 수 있다(S522,S514,S515). 이미지 생성장치(10)로부터 수집한 데이터들만을 이용하여 그 객체인식 모델의 재학습을 수행하는 경우는 'B', 이미지 생성장치(10)로부터 수집한 데이터와, 객체인식 장치(100)가 보유하고 있는 객체인식 모델을 이용한 추론 결과 데이터를 모두 포함하여 그 객체인식 모델의 재학습을 수행하는 경우는 'A'로 표시하였다. 특히 'A'의 경우는, 추론 결과 데이터에서, 오분류된 추론에 대하여는 정정하여 라벨링을 해주어야 한다.

나아가, 사용자 단말(300)은 자신이 배포받은 객체인식 모델을 이용한 추론 결과 데이터를 객체인식 장치(100)로 전달해 줄 수 있다(S531). 이 경우 객체인식 장치(100)는, 사용자 단말(30)로부터 전달받은 추론 결과 데이터와, 이미지 생성장치(10)로부터 수집한 이미지를 모두 포함하여 객체인식 모델 재학습을 위한 데이터 셋을 형성하고(S532), 그 객체인식 모델의 재학습을 수행에 의해(S514) 객체인식 모델의 업데이트를 수행한다(S515). 이 경우에도 추론 결과 데이터에서, 오분류된 추론에 대하여는 정정하여 라벨링을 해주어야 한다.

전술한 바와 같이 최초 형성된 또는 업데이트 된 객체인식 모델은 사용자 단말(300)로 배포된다. 이 경우, 객체인식 장치(100)는 객체인식 모델에 대하여 버전 관리를 수행할 수 있으며, 버전이 업데이트 된 경우 사용자 단말(300)로 배포하거나, 또는 사용자 단말(300)로부터의 배포 요청이 있는 경우(미도시), 해당 사용자 단말(300)로 배포가 되었었는지, 또는 배포가 되었던 경우 이전 배포로부터 버전이 업데이트 되었는지를 확인하여 업데이트 된 경우 객체인식 모델을 배포해 줄 수 있다

이하, 도 6 내지 도 11을 참조하여서는 본 발명의 객체인식 인공신경망 모델의 학습을 위한 사용자 인터페이스 화면의 실시예들을 설명한다. 도 6 내지 도 11에는, 도 4를 참조하여 전술한 바와 같이 비전 데이터(이미지)로부터 특정한 차량 종류를 식별하고, 최종적으로는 해당 차량의 차량번호를 인식해내는 모델의 학습에 대한 실시예가 도시되어 있다. 그러나, 전술한 바와 같이, 본 발명은 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명은, 동일한 종류의 2단계 이상의 인공신경망 모델로 구성된 모델에 의하여, 비전 데이터(이미지)에 포함된 객체를 인식하여 특정한 목적의 분류를 해 내는 시스템을 포괄하며, 도 6 내지 도 11은 그 중 하나의 실시예를 설명하기 위한 예시적 인터페이스 화면을 도시하고 있을 뿐이다.

도 6은 본 발명의 객체인식 인공신경망 모델의 학습에 사용될 이미지를 선택하기 위한 화면 구성의 일 실시예를 나타내는 도면이다.

3번 박스에 나열된 이미지에서 학습에 사용될 이미지를 선택한다.

도 7은 본 발명의 객체인식 인공신경망 모델의 학습에 사용되었거나 사용될 데이터 셋을 선택하는 화면의 일 실시예를 나타내는 도면이다.

1번 박스에서 모델 종류를 선택한다. 예를 들어 도 4를 참조한 모델의 실시예에서 '번호판 영역 추출'을 선택하면 번호판 식별 모델에 관련된 학습임이 선택된다. 2번 박스에서 학습을 위한 데이터 셋 이름을 입력하여 검색하면 4번 박스에 데이터 셋 리스트가 나타난다. 3번 박스를 클릭하여 새 데이터 셋을 추가할 수 있다.

도 8은 본 발명의 객체인식 인공신경망 모델에서 차량번호 인식 모델의 학습에 입력으로 사용되는 번호판 이미지 데이터 셋의 일 실시예를 나타내는 도면이고, 도 9는 선택된 데이터 셋의 정보가 표시된 화면을 나타내는 도면이다.

5번 박스에는 번호판 이미지와 각 번호판에 대하여 텍스트로 표시된 차량번호가 라벨 정보로서 표시되어 있다. 6번 박스에 체크하여 개별적으로 이미지를 선택하거나 2번 박스를 클릭하여 전체 이미지를 선택할 수 있다. 이와 같이 예를 들어 흰색으로 표시한 라벨 정보(차량번호 텍스트)는 학습을 위해 준비된 라벨 정보임을 나타낸다. 도 8에서 3번 박스를 클릭하면 해당 데이터 셋의 정보가 도 9와 같이 나타난다. 데이터 셋의 정보에는 모델 종류, 데이터 셋 이름, 데이터 셋의 용도, 라벨 종류 및 그 외 생성일시, 수정일시 등 여러 정보가 표시되어 있다.

도 9의 실시예에서는, 모델 종류로서 차량번호 인식 모델이 표시되어 있고, 데이터 셋의 용도는 훈련(학습)용 또는 테스트용 중 어느 것인지가 표시되어 있다. 또한 차량번호 인식 모델의 라벨은 전술한 바와 같이 차량번호판에 있는 각 텍스트로서, 라벨 종류에 그러한 텍스트가 표시되어 있다. 또한 이러한 데이터 셋에는 다른 데이터 셋의 이미지와 라벨 정보를 복사하여 추가할 수 있다. 예를 들어 도 5에서 전술한 바와 같이, 객체인식 장치(100)가 CCTV 등에서 수집하여 라벨링된 이미지에, 사용자 단말(300)에서 전달받은 추론 결과 데이터의 이미지와 라벨 정보 또는 객체인식 장치(100)가 저장하고 있는 객체인식 모델이 추론한 추론 결과 데이터의 이미지와 라벨 정보를 추가할 수 있다. 단, 추론된 결과에는 오류가 있으므로, 학습 또는 테스트용 데이터 셋으로 복사하기 위해서는 추론 결과 데이터의 라벨 정보를 정확히 수정하는 작업이 선행되어야 한다.

도 10은 본 발명의 객체인식 인공신경망 모델에서 기 형성된 차량번호 인식 모델로부터 추론된 차량번호가 표시되어 있는 데이터 셋 화면의 일 실시예를 나타내는 도면이다.

도 9를 참조하여 전술한 바와 같이, 객체인식 장치(100)가 CCTV 등에서 수집하여 라벨링된 이미지에, 사용자 단말(300)에서 전달받은 추론 결과 데이터의 이미지와 라벨 정보 또는 객체인식 장치(100)가 저장하고 있는 객체인식 모델이 추론한 추론 결과 데이터의 이미지와 라벨 정보를 추가할 수 있다. 도 10은 그와 같은 추론 결과 데이터의 이미지와 라벨 정보이며, 이러한 라벨 정보는 노란색으로 표시되어 있다. 전술한 바와 같이, 추론된 결과에는 오류가 있으므로, 학습 또는 테스트용 데이터 셋으로 복사하기 위해서는 추론 결과 데이터의 노란색 라벨 정보를 정확히 수정하는 작업이 선행되어야 하며, 수정되어 학습 데이터 셋으로 사용될 수 있는 데이터 셋의 라벨 정보는 도 8과 같이 흰색으로 표시할 수 있다.

도 11은 본 발명의 객체인식 인공신경망 모델에서 차량번호 라벨링을 위한 편집 화면의 일 실시예를 나타내는 도면이다.

차량번호 이미지와 라벨 정보를 확인한 후 라벨 정보를 편집할 수 있다. 8번 박스 내의 각 개별 텍스트를 둘러싼 박스는 그 위치를 조정하거나 드래그하여 크기를 조정할 수도 있다. 또한 선택된 각 개별 텍스트를 선택하여 9번 박스 내에서 라벨 정보를 편집하거나 삭제할 수도 있다.

10: 이미지 생성장치
100: 인공신경망을 이용한 객체인식 장치
300: 사용자 단말

Claims (15)

1. 인공신경망을 이용한 객체인식 장치가 특정 대상물에 대한 비전(vision) 데이터를 수집하여 학습에 의한 인공신경망 모델을 형성하는 방법으로서,
   (a) 이미지 생성장치로부터 비전 데이터를 수집하여 저장하는 단계; 및,
   (b) 수집하여 저장한 비전 데이터에서 객체인식에 의하여 특정 목적을 위한 추론을 수행하는 인공신경망 모델(이하 '객체인식 모델'이라 한다)이 이미 형성되어 있는 경우, 상기 단계(a)의 비전 데이터를 전처리한 데이터 셋을 이용한 재학습을 통해 상기 객체인식 모델의 업데이트를 수행하고, 아직 객체인식 모델이 형성되어 있지 않은 경우, 상기 단계(a)의 비전 데이터를 전처리한 데이터 셋을 이용한 학습을 통해 객체인식 모델을 최초 형성시키는 단계
   를 포함하고,
   상기 객체인식 모델은,
   동일한 종류의 2단계 이상의 단계별 모델로 구성되며,
   상기 단계(b)에서의 학습 또는 재학습은,
   상기 각 단계별 모델에 대하여 각각 별도로 수행되는,
   비전 데이터 수집 및 학습 방법.
2. 청구항 1에 있어서,
   상기 객체인식 모델을 구성하는 각 단계별 모델은,
   각각 YOLO 모델로 형성되는 것
   을 특징으로 하는 비전 데이터 수집 및 학습 방법.
3. 청구항 1에 있어서,
   상기 단계(b) 이후,
   (c) 상기 최초 형성된 객체인식 모델 또는 업데이트된 객체인식 모델을 특정 사용자 단말로 배포하는 단계
   를 더 포함하는 것을 특징으로 하는 비전 데이터 수집 및 학습 방법.
4. 청구항 3에 있어서,
   상기 단계(c) 이후,
   (d1) 상기 사용자 단말로부터, 비전 데이터를 입력으로 하여 상기 객체인식 모델에 의한 추론을 수행한 결과 및, 해당 비전 데이터를 포함한 추론 결과 데이터를 수신하는 단계;
   (d2) 상기 추론 결과 데이터에 대하여 라벨링을 정정하여 각 단계별 모델의 재학습을 위한 데이터 셋을 생성하는 단계; 및,
   (d3) 상기 단계(d2)의 데이터 셋 만을 이용하거나, 또는 상기 단계(a)에서 수집한 비전 데이터에 전처리를 수행한 데이터 셋과 상기 단계(d2)의 데이터 셋을 합한 데이터 셋을 이용하여 재학습을 통한 객체인식 모델의 업데이트를 수행하는 단계
   를 더 포함하는 것을 특징으로 하는 비전 데이터 수집 및 학습 방법.
5. 청구항 3에 있어서,
   상기 단계(c)의 사용자 단말로의 배포는,
   상기 객체인식 장치에서 객체인식 모델이 최초 형성되었거나 또는 업데이트 된 경우에 미리 정해진 사용자 단말로 배포가 수행되거나, 또는,
   특정 사용자 단말로부터의 배포 요청이 있는 경우, 상기 객체인식 장치에서 객체인식 모델이 최초 형성되었거나 또는 업데이트 된 경우에 배포 요청한 사용자 단말로 배포가 수행되는 것
   을 특징으로 하는 비전 데이터 수집 및 학습 방법.
6. 청구항 1에 있어서,
   상기 단계(b) 이후,
   (e) 상기 이미지 생성장치로부터 수신한 비전 데이터를 입력으로 하여 상기 객체인식 모델에 의한 추론을 수행하는 단계
   를 더 포함하는 것을 특징으로 하는 비전 데이터 수집 및 학습 방법.
7. 청구항 6에 있어서,
   상기 단계(e)의 객체인식 모델에 의한 추론은,
   특정 사용자 단말로부터의 특정 비전 데이터에 대한 추론 요청을 수신한 경우에 수행되는 것
   을 특징으로 하는 비전 데이터 수집 및 학습 방법.
8. 청구항 6에 있어서,
   상기 단계(e) 이후,
   (f1) 상기 단계(e)의 추론을 수행한 결과 및 입력 이미지를 포함하는 추론 결과 데이터에 대하여 라벨링을 정정하여 각 단계별 모델의 재학습을 위한 데이터 셋을 생성하는 단계; 및,
   (f2) 상기 단계(f1)의 데이터 셋 만을 이용하거나, 또는 상기 단계(a)에서 수집한 비전 데이터에 전처리를 수행한 데이터 셋과 상기 단계(f1)의 데이터 셋을 합한 데이터 셋을 이용하여 재학습을 통한 객체인식 모델의 업데이트를 수행하는 단계
   를 더 포함하는 것을 특징으로 하는 비전 데이터 수집 및 학습 방법.
9. 특정 대상물에 대한 비전 데이터를 수집하여 학습에 의한 인공신경망 모델을 형성하는 장치(이하 '인공신경망을 이용한 객체인식 장치'라 한다)로서,
   적어도 하나의 프로세서; 및
   컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되,
   상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여,
   (a) 이미지 생성장치로부터 비전 데이터를 수집하여 저장하는 단계; 및,
   (b) 수집하여 저장한 비전 데이터에서 객체인식에 의하여 특정 목적을 위한 추론을 수행하는 인공신경망 모델(이하 '객체인식 모델'이라 한다)이 이미 형성되어 있는 경우, 상기 단계(a)의 비전 데이터를 전처리한 데이터 셋을 이용한 재학습을 통해 상기 객체인식 모델의 업데이트를 수행하고, 아직 객체인식 모델이 형성되어 있지 않은 경우, 상기 단계(a)의 비전 데이터를 전처리한 데이터 셋을 이용한 학습을 통해 객체인식 모델을 최초 형성시키는 단계
   가 실행되도록 하고,
   상기 객체인식 모델은,
   동일한 종류의 2단계 이상의 단계별 모델로 구성되며,
   상기 단계(b)에서의 학습 또는 재학습은,
   상기 각 단계별 모델에 대하여 각각 별도로 수행되는,
   인공신경망을 이용한 객체인식 장치.
10. 특정 대상물에 대한 비전 데이터를 수집하여 학습에 의한 인공신경망 모델을 형성하기 위한 컴퓨터 프로그램으로서,
    비일시적 저장 매체에 저장되며, 프로세서에 의하여,
    (a) 이미지 생성장치로부터 비전 데이터를 수집하여 저장하는 단계; 및,
    (b) 수집하여 저장한 비전 데이터에서 객체인식에 의하여 특정 목적을 위한 추론을 수행하는 인공신경망 모델(이하 '객체인식 모델'이라 한다)이 이미 형성되어 있는 경우, 상기 단계(a)의 비전 데이터를 전처리한 데이터 셋을 이용한 재학습을 통해 상기 객체인식 모델의 업데이트를 수행하고, 아직 객체인식 모델이 형성되어 있지 않은 경우, 상기 단계(a)의 비전 데이터를 전처리한 데이터 셋을 이용한 학습을 통해 객체인식 모델을 최초 형성시키는 단계
    가 실행되도록 하는 명령을 포함하고,
    상기 객체인식 모델은,
    동일한 종류의 2단계 이상의 단계별 모델로 구성되며,
    상기 단계(b)에서의 학습 또는 재학습은,
    상기 각 단계별 모델에 대하여 각각 별도로 수행되는,
    특정 대상물에 대한 비전 데이터를 수집하여 학습에 의한 인공신경망 모델을 형성하기 위한 컴퓨터 프로그램.
11. 비전 데이터 수집, 학습, 배포 및 추론을 수행하는 시스템으로서,
    청구항 9의 인공신경망을 이용한 객체인식 장치(이하 '객체인식 장치'라 한다);
    내부에 비전 데이터 제공 어플리케이션 프로그램(이하 '비전 데이터 제공 앱'이라 한다)이 설치되고, 특정 대상물에 대하여 생성된 비전(vision) 데이터를, 상기 비전 데이터 제공 앱의 동작에 의하여 상기 객체인식 장치로 제공하는 이미지 생성장치; 및.
    내부에 객체인식 추론 어플리케이션 프로그램(이하 '객체인식 추론 앱'이라 한다)이 설치되고, 상기 객체인식 추론 앱의 동작에 의하여, 상기 객체인식 장치로부터 객체인식 인공신경망 모델(이하 '객체인식 모델'이라 한다)을 배포받아 상기 객체인식 모델을 이용하여 특정 대상물에 대한 비전 데이터를 입력으로 하여 추론을 수행하는 사용자 단말
    을 포함하는, 비전 데이터 수집, 학습, 배포 및 추론을 수행하는 시스템.
12. 청구항 11에 있어서,
    상기 사용자 단말의 객체인식 추론 앱은,
    상기 객체인식 모델에 의한 추론 결과 데이터를 상기 객체인식 장치로 전달하는 기능을 더 포함하고,
    상기 객체인식 장치는,
    상기 사용자 단말로부터 수신한 추론 결과 데이터를 객체인식 모델의 재학습을 위한 데이터로 사용하는 기능을 더 포함하는 것
    을 특징으로 하는, 비전 데이터 수집, 학습, 배포 및 추론을 수행하는 시스템.
13. 청구항 11에 있어서,
    상기 객체인식 장치는,
    객체인식 모델에 의해 추론을 수행하는 기능을 더 포함하는 것
    을 특징으로 하는, 비전 데이터 수집, 학습, 배포 및 추론을 수행하는 시스템.
14. 청구항 13에 있어서,
    상기 객체인식 장치는,
    상기 객체인식 모델에 의해 추론한 추론 결과 데이터를 객체인식 모델의 재학습을 위한 데이터로 사용하는 기능을 더 포함하는 것
    을 특징으로 하는, 비전 데이터 수집, 학습, 배포 및 추론을 수행하는 시스템.
15. 청구항 13에 있어서,
    상기 객체인식 장치는,
    상기 사용자 단말로부터 특정 비전 데이터에 대한 추론 요청을 받은 경우 객체인식 모델에 의해 상기 비전 데이터에 대한 추론을 수행하는 것
    을 특징으로 하는, 비전 데이터 수집, 학습, 배포 및 추론을 수행하는 시스템.
    

Images