KR102398006B1

KR102398006B1 - 이미지 캡처를 통한 자기개선 사물 인식 방법 및 시스템

Info

Publication number: KR102398006B1
Application number: KR1020210036107A
Authority: KR
Inventors: 아담 코코슈카 로버트; 워렌 우드포드 그랜트
Original assignee: 주식회사 로닥테크놀로지스
Priority date: 2020-09-22
Filing date: 2021-03-19
Publication date: 2022-05-16
Also published as: KR20220039533A

Abstract

이미지 캡처를 통한 자기개선 사물 인식 방법 및 시스템이 제공된다. 사물 인식 방법은, 사용자 단말을 통해 제1 촬영 이미지를 수집하는 단계; 상기 제1 촬영 이미지의 촬영 조건을 예측하는 단계; 상기 예측된 촬영 조건을 이용하여 상기 제1 촬영 이미지를 검증하고 검증 데이터셋에 추가하는 단계; 상기 검증 데이터셋을 이용하여 사물 인식 모델을 학습시키는 단계; 및 상기 학습된 사물 인식 모델을 이용하여, 제2 촬영 이미지가 나타내는 사물의 인식 결과를 획득하는 단계를 포함할 수 있다.

Description

이미지 캡처를 통한 자기개선 사물 인식 방법 및 시스템{SELF IMPROVING OBJECT RECOGNITION METHOD AND SYSTEM THROUGH IMAGE CAPTURE}

본 발명은 이미지 캡처를 통한 자기개선 사물 인식 방법 및 시스템에 관한 것이다.

인공지능을 이용하여 사물을 인식하는 인공지능 이미지 인식 기술은, 이미지 내의 특정 사물을 분류하는 기술(classification), 여러 사물을 동시에 검출하는 기술(detection), 사물을 픽셀 단위로 식별하여 분할하는 기술(segmentation) 등을 포함할 수 있다. 딥 러닝으로 인해 인공지능 이미지 인식 기술의 품질 수준이 높아지고 있으나, 딥 러닝은 학습 과정에서 대규모의 데이터와 컴퓨팅 파워를 요구한다.

이러한 인공지능 학습의 한계를 극복하기 위해, 문제를 해결하기 위해 스스로 필요한 특징을 찾아 적절하게 표현하여 학습에 필요한 어노테이션(annotation)을 줄이기 위한 자기 지도 학습(self-supervised learning), 학습에 크게 기여할 수 있는 데이터를 먼저 선별하여 어노테이션하고 학습하는 액티브 러닝(active learning), 학습 자동화, 원천 도메인으로부터 목표 도메인을 학습시키는 전이 학습(transfer learning) 등 다양한 기술에 대한 연구가 활발하다.

등록특허공보 제10-1812953호(2017.12.29)

본 발명이 해결하고자 하는 과제는, 다양한 조건이 결합된 데이터셋을 사물 인식을 위한 인공지능 모델을 학습시키기 위한 학습 데이터로 제공할 수 있는 사물 인식 방법 및 시스템을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 과제는, 사물 인식 모델과 촬영 조건 예측 모델을 함께 사용함으로써, 다양한 촬영 조건의 촬영 이미지로부터 사물을 정확하게 인식할 수 있는 사물 인식 방법 및 시스템을 제공하는 것이다.

특히, 인공지능 시스템은, 알려지지 않은 새로운 데이터로 인해 혼란이 발생할 수 있으며, 이러한 경우 해당 데이터를 정렬, 분류 및 라벨링을 한 다음 새로운 학습 모델에 다시 도입하기 위해 인간(데이터 과학자 또는 엔지니어)의 개입이 필요한 것이 일반적이다. 이에 본 발명의 실시 예들에 따르면, 엔지니어나 데이터 과학자와 같은 인간의 개입이 없이 전체 프로세스를 자동화하였기 때문에 새로운 데이터로 인한 혼란을 방지하고 학습 모델에 도입하기 위해 별도의 인간의 개입을 필요로 하지 않는다.

또한, 인공지능 시스템은 일반적으로 누락된 데이터가 무엇인지 또는 다양한 조건에서 정확성을 개선하기 위해 어떤 새로운 데이터가 필요한지 알 수 없으며, 전통적으로 데이터 과학자 또는 엔지니어의 개입이 필요한데, 이는 시간이 많이 걸리고 비용이 많이 들게 된다. 이에 본 발명의 실시 예들에 따르면, 자동화된 프로세스를 통해, 인공지능 시스템의 정확도 개선을 위해, 인간(엔지니어 또는 데이터 과학자)의 투입 없이도 문제점을 자가 진단하고, 인식률을 높이기 위해 필요한 특정 데이터를 인식하고 제공하므로, 비용과 시간을 절약할 수 있다.

본 발명의 일 실시 예에 따른 사물 인식 방법은, 사용자 단말을 통해 제1 촬영 이미지를 수집하는 단계; 상기 제1 촬영 이미지의 촬영 조건을 예측하는 단계; 상기 예측된 촬영 조건을 이용하여 상기 제1 촬영 이미지를 검증하고 검증 데이터셋에 추가하는 단계; 상기 검증 데이터셋을 이용하여 사물 인식 모델을 학습시키는 단계; 및 상기 학습된 사물 인식 모델을 이용하여, 제2 촬영 이미지가 나타내는 사물의 인식 결과를 획득하는 단계를 포함할 수 있다.

상기 촬영 조건을 예측하는 단계는, 상기 제1 촬영 이미지를 메타데이터 분류 서버에 제공하는 단계; 및 상기 메타데이터 분류 서버의 복수의 촬영 조건 예측 모델을 이용하여 상기 제1 촬영 이미지의 촬영 조건을 예측하는 단계를 포함할 수 있다.

상기 제1 촬영 이미지의 촬영 조건은 제1 세부 촬영 조건 및 제2 세부 촬영 조건을 포함하고, 상기 복수의 촬영 조건 예측 모델 중 일부는 상기 제1 세부 촬영 조건에 대한 예측을 위해 사용되고, 다른 일부는 상기 제2 세부 촬영 조건에 대한 예측을 위해 사용될 수 있다.

상기 사물 인식 방법은, 상기 예측된 촬영 조건을 레이블로 포함하는 상기 검증 데이터셋을 이용하여 상기 복수의 촬영 조건 예측 모델을 학습시키는 단계를 더 포함할 수 있다.

상기 촬영 이미지를 검증 데이터셋에 추가하는 단계는, 사용자에게 퀴즈를 제공하는 단계; 상기 퀴즈에 대한 답에 기초하여 상기 제1 촬영 이미지를 검증하는 단계; 및 상기 검증된 제1 촬영 이미지를 상기 검증 데이터셋에 추가하는 단계를 포함할 수 있다.

상기 사용자에게 퀴즈를 제공하는 단계는, 검증 정확도(validation accuracy)를 나타내는 ABR(Accuracy Breakdown Report)에 기초하여 PRL(Prioritization Ranking List)를 생성하는 단계; 및 상기 PRL에 기초하여 상기 사용자에게 퀴즈를 제공하는 단계를 포함할 수 있다.

상기 사물 인식 방법은, 상기 사용자의 퀴즈 점수에 기초하여, 복수의 사용자 중에서 전문가(oracle)를 선정하는 단계를 더 포함하고, 상기 사용자에게 퀴즈를 제공하는 단계는, 상기 전문가에게 퀴즈를 제공하는 단계를 포함할 수 있다.

상기 복수의 사용자 중에서 전문가를 선정하는 단계는, 복수의 이전(previous) 퀴즈 스코어 및 현재 퀴즈 스코어에 기초하여 정확도 스코어(accuracy score)를 계산하는 단계; 및 상기 복수의 사용자 중에서 상기 정확도 스코어가 소정의 상위 범위에 해당하는 사용자를 상기 전문가로 선정하는 단계를 포함할 수 있다.

상기 사물 인식 방법은, 사용자에게 경쟁 도전(competition challenges)을 제공하는 단계; 및 상기 사용자로부터 제공받은 상기 경쟁 도전에 대한 답에 기초하여 상기 사용자에게 리워드를 제공하는 단계를 더 포함할 수 있다.

상기 사용자에게 경쟁 도전을 제공하는 단계는, 검증 정확도를 나타내는 ABR에 기초하여 PRL를 생성하는 단계; 및 상기 PRL에 기초하여 사용자에게 경쟁 도전을 제공하는 단계를 포함할 수 있다.

상기 사물 인식 방법은, 미리 준비된 데이터셋을 이용하여 초기 사물 인식 모델을 생성하는 단계를 더 포함할 수 있다.

상기 사물 인식 방법은, 미리 준비된 데이터셋을 이용하지 않고 초기 사물 인식 모델을 생성하는 단계를 더 포함할 수 있다.

본 발명의 일 실시 예에 따른 사물 인식 시스템은, 사용자 단말을 통해 수집된 제1 촬영 이미지의 촬영 조건을 예측하는 메타데이터 분류 서버; 상기 예측된 촬영 조건을 이용하여 상기 제1 촬영 이미지를 검증하고 검증 데이터셋에 추가하는 검증 서버; 상기 검증 데이터셋을 이용하여 사물 인식 모델을 학습시키는 AI(Artificial Intelligence) 학습 서버; 및 상기 학습된 사물 인식 모델을 이용하여, 제2 촬영 이미지가 나타내는 사물의 인식 결과를 획득하는 예측 서버를 포함할 수 있다.

상기 메타데이터 분류 서버는, 복수의 촬영 조건 예측 모델을 이용하여 상기 제1 촬영 이미지의 촬영 조건을 예측할 수 있다.

상기 AI 학습 서버는, 상기 예측된 촬영 조건을 레이블로 포함하는 상기 검증 데이터셋을 이용하여 상기 복수의 촬영 조건 예측 모델을 학습시킬 수 있다.

상기 검증 서버는, 사용자에게 퀴즈를 제공하고, 상기 퀴즈에 대한 답에 기초하여 상기 제1 촬영 이미지를 검증한 후, 상기 검증된 제1 촬영 이미지를 상기 검증 데이터셋에 추가할 수 있다.

상기 사물 인식 시스템은, 검증 정확도(validation accuracy)를 나타내는 ABR(Accuracy Breakdown Report)에 기초하여 PRL(Prioritization Ranking List)를 생성하는 검증 우선순위 서버를 더 포함하고, 검증 서버는, 상기 PRL에 기초하여 상기 사용자에게 퀴즈를 제공할 수 있다.

상기 검증 서버는, 상기 사용자의 퀴즈 점수에 기초하여, 복수의 사용자 중에서 전문가(oracle)를 선정하고, 상기 전문가에게 퀴즈를 제공할 수 있다.

상기 검증 서버는, 복수의 이전(previous) 퀴즈 스코어 및 현재 퀴즈 스코어에 기초하여 정확도 스코어(accuracy score)를 계산하고, 상기 복수의 사용자 중에서 상기 정확도 스코어가 소정의 상위 범위에 해당하는 사용자를 상기 전문가(oracle)로 선정할 수 있다.

상기 사물 인식 시스템은, 사용자에게 경쟁 도전(Competition Challenges)을 제공하고, 상기 사용자로부터 제공받은 상기 경쟁 도전에 대한 답에 기초하여 상기 사용자에게 리워드를 제공하는 인센티브 서버를 더 포함할 수 있다.

상기 사물 인식 시스템은, 검증 정확도를 나타내는 ABR에 기초하여 PRL를 생성하는 인센티브 우선순위서버를 더 포함하고, 상기 인센티브 서버는, 상기 PRL에 기초하여 사용자에게 경쟁 도전을 제공할 수 있다.

상기 AI 학습 서버는, 미리 준비된 데이터셋을 이용하여 초기 사물 인식 모델을 생성할 수 있다.

상기 AI 학습 서버는, 미리 준비된 데이터셋을 이용하지 않고 초기 사물 인식 모델을 생성할 수 있다.

본 발명의 일 실시 예에 따른 컴퓨터로 판독 가능한 매체는, 컴퓨터에, 사용자 단말을 통해 제1 촬영 이미지를 수집하는 단계; 상기 제1 촬영 이미지의 촬영 조건을 예측하는 단계; 상기 예측된 촬영 조건을 이용하여 상기 제1 촬영 이미지를 검증하고 검증 데이터셋에 추가하는 단계; 상기 검증 데이터셋을 이용하여 사물 인식 모델을 학습시키는 단계; 및 상기 학습된 사물 인식 모델을 이용하여, 제2 촬영 이미지가 나타내는 사물의 인식 결과를 획득하는 단계를 실행시키기 위한 프로그램을 기록할 수 있다.

본 발명의 실시 예들에 따르면, 대규모의 데이터와 컴퓨팅 파워를 들이지 않으면서도, 이전에 알지 못했거나 불확실한 사물에 대한 촬영 이미지에 대한 인식 정확도를 효과적으로 높일 수 있어, 그 인식 품질을 확실하게 개선할 수 있다.

도 1a 및 도 1b는 본 발명의 일 실시 예에 따른 사물 인식 시스템을 설명하기 위한 블록도들이다.
도 2는 본 발명의 일 실시 예에 따른 사물 인식 시스템을 설명하기 위한 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 사물 인식 방법을 설명하기 위한 흐름도들이다.
도 4는 본 발명의 일 실시 예에 따른 사물 인식 시스템을 설명하기 위한 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 사물 인식 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 사물 인식 방법을 설명하기 위한 흐름도이다.
도 7a 및 도 7b는 본 발명의 일 실시 예에 따른 사물 인식 시스템을 설명하기 위한 블록도들이다.
도 8은 본 발명의 일 실시 예에 따른 사물 인식 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 실시 예들에 따른 사물 인식 방법 및 시스템을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 블록도이다.

아래에서는 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 본 명세서에서 설명되는 적어도 하나의 기능이나 동작을 처리할 수 있는 단위를 의미할 수 있으며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1a 및 도 1b는 본 발명의 일 실시 예에 따른 사물 인식 시스템을 설명하기 위한 블록도들이다.

도 1a를 참조하면, 본 발명의 일 실시 예에 따른 사물 인식 시스템(1)은 예측 서버(10), 메타데이터 분류 서버(12), AI 학습 서버(14), 데이터셋 서버(16), 모바일 어플리케이션이 실행되는 사용자 단말(18, 34), 인센티브 우선순위 서버(20), 인센티브 서버(22), 검증 우선순위 서버(30) 및 검증 서버(32)를 포함할 수 있다.

본 실시 예에서, 도 1a에 도시된 예측 서버(10), 메타데이터 분류 서버(12), AI 학습 서버(14), 데이터셋 서버(16), 인센티브 우선순위 서버(20), 인센티브 서버(22), 검증 우선순위 서버(30) 및 검증 서버(32)는 논리적으로 구분된 것일 뿐 물리적인 구분을 나타내는 것은 아니다. 즉, 도 1a의 예측 서버(10), 메타데이터 분류 서버(12), AI 학습 서버(14), 데이터셋 서버(16), 인센티브 우선순위 서버(20), 인센티브 서버(22), 검증 우선순위 서버(30) 및 검증 서버(32) 중 적어도 일부 요소들은 하나의 엔티티로서 구현될 수도 있고, 도 1a 상에는 하나의 번호로 참조되는 요소가 복수의 엔티티로서 구현될 수도 있음은 물론이다.

또한, 본 명세서에서 "서버"라는 요소는, 도 9에 도시된 것과 같은 컴퓨팅 장치와 같이 프로세서 및 메모리를 갖춘 하드웨어 장치를 지칭할 수도 있고, 임의의 컴퓨팅 장치 상에서 실행되어 서비스를 제공할 수 있는 소프트웨어 자체를 지칭할 수도 있으며, 때로는 하드웨어와 소프트웨어의 조합으로 구현된 형태를 지칭할 수도 있다.

한편, 모바일 어플리케이션이 실행되는 사용자 단말(18, 34)은 스마트폰, 태블릿 컴퓨터, 노트북 컴퓨터 등을 지칭할 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니며, 모바일 어플리케이션 또는 반드시 모바일로 한정되지 않는 임의의 어플리케이션을 실행시킬 수 있는 임의의 운영체제가 설치된 임의의 컴퓨팅 장치를 지칭할 수 있다.

이제 도 1a를 참조하여, 이미지 인식 정확도 증가를 위해 학습에 필요한 조건의 이미지를 자동으로 제공하고 인식률을 스스로 개선하여 다양한 촬영 조건의 촬영 이미지로부터 사물을 인식할 수 있는 사물 인식 시스템(1)에 대해 설명하도록 한다.

먼저, 사용자 단말(18) 상에서 실행되는 모바일 어플리케이션은 사물을 촬영할 수 있다. 구체적으로, 모바일 어플리케이션은, 사용자 단말(18)에 탑재된 카메라를 이용하여 사물 촬영을 수행하고, 촬영 이미지를 수집할 수 있다. 본 명세서에서는 설명의 편의를 위해 사물이 차량인 경우로 가정하여 설명하지만, 사물의 범위가 차량으로 제한되는 것은 아니다.

모바일 어플리케이션에 의해 촬영된 촬영 이미지는, 예측 서버(10), 메타데이터 분류 서버(12) 또는 데이터셋 서버(16)에 제공될 수 있다.

예측 서버(10)는, 학습된 사물 인식 모델을 이용하여, 촬영 이미지가 나타내는 사물의 인식 결과를 획득하고, 해당 인식 결과를 모바일 어플리케이션에 제공할 수 있다. 예를 들어, 예측 서버(10)는, 촬영 이미지가 나타내는 차량을 인식하여 모델 및 제조사를 인식 결과로서 획득하고, 이를 모바일 어플리케이션에 제공함으로써 사용자 단말(18)에 표시할 수 있다. 이에 따라 사용자 단말(18)의 사용자는 차량을 촬영하기만 하면 해당 차량의 모델 및 제조사 정보를 얻을 수 있다.

AI 학습 서버(14)는 예측 서버(10)가 사물을 인식하기 위해 사용하는 사물 인식 모델을 학습시키고, 학습된 사물 인식 모델을 예측 서버(10)에 제공할 수 있다.

여기서, 사물 인식 모델은 뉴럴 네트워크 기반의 예측 모델일 수 있다. 여기서 뉴럴 네트워크는 이미지 인식에 많이 사용되는 CNN(Convolutional Neural Network)로 구현될 수 있으나, 본 발명의 범위가 이에 제한되지는 않는다. 뉴럴 네트워크 기반의 인공지능 예측 모델은, 이미지 정보의 복잡성으로 인해 인식률에 한계가 존재한다. 즉, 인공지능 예측 모델은 때때로 이미지에서 사물을 인식하지 못하거나, 다른 사물로 인식하는 등 부정확한 판단을 내릴 수 있다. 이에 인공지능 예측 모델의 정확도를 높이기 위한 방안들에 대한 연구가 활발하다.

이와 관련하여, 큐레이션된 데이터 또는 이미지를 데이터셋에 수동으로 추가하는 방안, 대량의 데이터 수집을 자동화하고 인간 또는 다른 인공지능 모델로 필터링하는 방안 등이 있으나, 이와 같은 방식들은 예측 모델의 성능 개선에 그다지 효과적이지 않은 데이터 또는 이미지를 상당량 수집하게 되거나, 특정 유용한 이미지의 하위 섹션에 대해서만 유효한 데이터 또는 이미지만을 수집할 수 있으며, 수집 시간이 상당히 소요되는데, 수집한 이미지에 비해 예측 모델의 성능 개선에 사용할 수 있는 데이터 또는 이미지가 적어 비효율적이라는 단점이 있다.

또한, 인공지능 예측 모델은 이상적인 조건에서 사물을 인식할 수 있다 하더라도, 조건이 달라진 경우, 동일한 사물에 대한 인식률이 떨어지는 경우가 많이 있다. 따라서 이상적인 조건이 아닌 현실의 다양한 조건에 대해서도 높은 정확도를 보장하기 위해서는 데이터셋에 다양한 비 이상적인 조건(또는 비정상적인 조건)이 결합된 다수의 데이터 또는 이미지가 포함될 필요가 있다.

한편, 인공지능 예측 모델에 사용되는 데이터를 자동화하여 수집할 수 있다고 하더라도, 수집한 데이터 중 새로운 데이터를 자동으로 정확하고 효율적으로 분류하거나 레이블링하는 것은 다른 문제이며, 대체로 인간이 수동적으로 새로운 데이터를 분류하거나 레이블링하거나, 다른 인공지능 모델을 사용해야 한다. 다른 인공지능 모델을 사용하는 경우에는 데이터셋을 통해 이미지를 인식하도록 학습시켜 새로운 데이터를 올바르게 분류하고 레이블을 지정할 수 있어야 한다.

이러한 문제들을 해결하기 위해, 본 발명의 실시예는, 예측 서버(10)에서 사물 인식을 위해 사용되는 사물 인식 모델에 추가로, 메타데이터 예측 메커니즘, 사용자 검증 메커니즘 및 사용자 보상 메커니즘을 도입하였다. 이들 메타데이터 예측 메커니즘, 사용자 검증 메커니즘 및 사용자 보상 메커니즘으로 인해, 사물 인식 모델의 개선에 큰 도움이 되지 않는 데이터 또는 이미지를 수집하는데 시간과 컴퓨팅 자원을 소모하지 않으면서, 엔지니어나 데이터 과학자가 이미지나 데이터를 분류 또는 레이블링을 하거나, 문제가 있는 이미지를 수동으로 식별할 필요가 없으며, 궁극적으로 사물 인식 모델을 가장 효과적으로 개선시킬 수 있는 구체적인 데이터 또는 이미지를 획득할 수 있도록 하였다. 이에 따라, 사물 인식 시스템(1)은 이전에는 전혀 알지 못했던(Zero Accuracy/Unknown) 이미지 또는 정확도가 낮았던(Low Accuracy) 이미지를 인식할 수 있다.

이에 따라 사물 인식 시스템(1)은 인식이 어려웠던 데이터를 정확하게 인식할 수 있게 되며, 사물 인식 모델을 가장 효과적으로 개선시킬 수 있는 학습 데이터를 더 많이 획득할 수 있다. 예를 들어, 사용자가 비가 내리는 밤에 파란색 2020년형 메르세데스 벤츠 CLS의 이미지를 후면에서 기울어진 각도로 촬영하면, 사물 인식에 있어서 너무 많은 불확실한 요소가 존재하기 때문에 일반적인 예측 시스템은 매우 낮은 정확도의 결과를 제공하게 된다.

이러한 불확실한 정확도 낮은 이미지들은 사용자(특히, 2020년형 메르세데스 벤츠 CLS를 식별해주고 보상을 받은 유저)에 의해 자동으로 검증을 위해 퀴즈 시스템을 구현하는 서버(30, 32)로 전송되며, 메타데이터 분류 서버(12)는 사용자로부터 제공받은 이미지를 촬영 조건 예측 모델을 통해 자동으로 확인한 후, 중요한 촬영 조건 또는 변수(예를 들어, 조명 조건, 촬영 각도, 색상, 촬영 시간 등)를 식별한다.

즉, 메타데이터 분류 서버(12)는, 복수의 촬영 조건 예측 모델을 이용하여, 촬영 이미지의 촬영 조건을 예측할 수 있다. 여기서 촬영 조건이란, 촬영 시점(오전, 오후, 낮, 밤 등), 날씨(맑음, 흐림), 촬영 각도, 광량(밝은 환경, 어두운 환경) 등 촬영 이미지에 영향을 미칠 수 있는 임의의 조건(또는 환경)을 의미할 수 있다. 이에 따라, 메타데이터 분류 서버(12)는 촬영 이미지로부터 촬영 조건을 예측할 수 있는데, 그 예측 결과는 사용자 단말(18)을 통해 사용자에게 제공될 수도 있지만, 촬영 이미지가 나타내는 사물의 인식률을 높이기 위해 사용될 수도 있다.

AI 학습 서버(14)는 메타데이터 분류 서버(12)가 촬영 조건을 예측하기 위해 사용하는 복수의 촬영 조건 예측 모델을 학습시키고, 학습된 복수의 촬영 조건 예측 모델을 메타데이터 분류 서버(12)에 제공할 수 있다.

데이터셋 서버(16)는 검증 데이터셋 서버(160) 및 미검증 데이터셋 서버(162)를 포함할 수 있다. 검증 데이터셋 서버(160)는 촬영 이미지가 나타내는 사물이 검증된 촬영 이미지 데이터의 집합을 관리하는 서버이고, 미검증 데이터셋 서버(162)는 나타난 사물이 무엇인지 검증되기 전의 촬영 이미지 데이터의 집합을 관리하는 서버일 수 있다. 특히, 본 발명의 실시예에서 검증이라는 용어는 사용자에 의한 검증을 의미할 수 있고, 미검증이라는 용어는 사용자에 의해 검증되지 않은 것을 의미할 수 있다.

퀴즈 시스템을 구현하는 검증 우선순위 서버(30) 및 검증 서버(32)는 사용자 단말(34)의 사용자에게 퀴즈를 제공하고 그 답을 수집하는 방식으로 촬영 이미지에 대한 검증을 수행하며, 경쟁 도전 시스템을 구현하는 인센티브 우선순위 서버(20) 및 인센티브 서버(22)는 사용자 단말(18)의 사용자에게 경쟁 도전(Competition Challenges)을 제공하고 그 답에 기초하여 사용자에게 리워드를 제공할 수 있다.

메타데이터 분류 서버(12)는 또한 퀴즈 시스템에 의해서 개선될 수 있으며, 경쟁 도전 시스템은 퀴즈 데이터와 결합될 수 있다.

메타데이터 분류 서버(12)는 촬영 조건(기울어진 각도로 차량 후면이 촬영됨, 비오는 밤, 차량 색상은 파란색)를 예측하며, 메타데이터 분류 서버(12)에 의해 예측된 촬영 조건을 검증하기 위해 자동으로 경쟁 도전 시스템을 생성하여 사용자에게 해당 이미지(즉, 비오는 밤에 기울어진 각도로 차량 뒤쪽에서 찍힌 2020년형 메르세데스 벤츠 CLS 이미지)를 보여줄 수 있다.

이러한 방식으로, 사물 인식 시스템(1)은 전혀 알지 못했던(Zero Accuracy/Unknown) 이미지 또는 정확도가 낮았던(Low Accuracy) 이미지를 자동으로 검증하여 데이터셋을 강화함으로써, 향후 사물 인식 시스템(1)이 이러한 유형의 사물을 높은 정확도로 인식할 수 있도록 한다.

전술한 우수한 메커니즘으로 인해, 사물 인식 시스템(1)은 이전에는 정보가 전혀 없었던 새로운 사물을 자동으로 신속하게 인식할 수 있으며, 새롭거나 생소한 사물을 인식하기 위해 사물 인식 모델을 학습시키기 위한 학습 데이터를 자동으로 획득할 수 있다. 또한, 메타데이터에 대해 예측을 수행함으로써, 비정상적인 조건에서 인공지능 예측 모델의 정확도를 떨어뜨렸던 복잡도가 높은 이미지를 높은 정확도로 인식할 수 있을 뿐 아니라, 새로운 데이터를 학습 데이터셋에 자동으로 입력할 수 있다. 즉, 복잡도가 높거나 새로운 사물이라는 점 등을 이유로 인공지능 예측 모델의 정확도를 떨어뜨렸던 데이터를, 궁극적으로 사물 인식 모델을 가장 효과적으로 개선시킬 수 있는 학습 데이터로 만들고, 이를 이용하여 인공지능 예측 모델을 스스로 개선시켜 나감으로써, 이전에는 전혀 알지 못했던(Zero Accuracy/Unknown) 이미지 또는 정확도가 낮았던(Low Accuracy) 이미지에 대한 인식률을 높이는 작업을 자동화하여 수행할 수 있으며, 충분한 데이터가 없는 경우에도 학습 모델을 생성할 수 있고, 시간이 지남에 따라 학습 모델의 인식률을 높일 수 있다.

한편, AI 학습 서버(14)가 학습된 사물 인식 모델을 예측 서버(10)에 제공하거나, 학습된 복수의 촬영 조건 예측 모델을 메타데이터 분류 서버(12)에 제공하기 위해, 모델을 학습시키는 방식은 FB(Fine-tuned Bootstrapping) 방식 또는 ZLB(Zero-Lite Bootstrapping) 방식을 포함할 수 있다.

FB 방식은, 도 1a에 도시된 것과 같이, AI 학습 서버(14)가 모델을 최초로 학습시키는 경우 미리 준비된 데이터셋(Traditional Dataset, TD)을 이용하는 방식일 수 있다. 즉, 사물 인식 시스템이 활성화(activate)되기 전에 미리 준비된 데이터셋으로 모델, 즉 사물 인식 모델 및 복수의 촬영 조건 예측 모델을 최초로 학습시킬 수 있으며, FB 방식에 따르면 사물 인식 시스템이 활성화될 때 높은 초기 정확도를 얻을 수 있다. 즉, 시스템이 활성화되면, 예측 서버(10)에 제공되는 첫 번째 이미지(또는 데이터)가 정확하게 식별될 가능성이 높다.

이와 다르게, ZLB 방식은, 도 1b에 도시된 것과 같이, AI 학습 서버(14)가 모델을 최초로 학습시키는 경우 미리 준비된 데이터셋을 이용하지 않는 방식일 수 있다. 즉, 모델 학습에 있어서, 초기 데이터셋(initial dataset)이 없는 경우를 말하며, 사물 인식 모델 및 복수의 촬영 조건 예측 모델은, 사물 인식 시스템이 활성화되기 전에 준비되는 어떠한 데이터도 사용하지 않고 학습될 수 있다. ZLB 방식에 따르면, 사물 인식 시스템이 활성화될 때 그 초기 정확도는 FB 방식 대비 낮을 수 있다.

ZLB 방식은 ZKB(Zero Knowledge Bootstrap) 방식 및 PKB(Partial Knowledge Bootstrap) 방식을 포함할 수 있다. ZKB 방식에서는 AI 학습 서버(14) 어떠한 카테고리도 정의되지 않으며, 초기에 예측 서버(10)로 입력되는 이미지는 "알 수 없음(unknown)"으로 인식될 수 있다. 즉, 예측 서버(10)의 사물 인식 모델의 초기 정확도(initial accuracy)는 0이라고 할 수 있다. "알 수 없음"으로 인식된 이미지는 검증 서버(32)에 전달되며, 검증 서버(32)를 통해 사용자에 의해 해당 이미지에 대한 카테고리가 설정, 즉 분류될 수 있다. 이와 같이 분류 및 식별된 데이터는 검증된 데이터로서 검증 데이터셋 서버(160)에 제공될 수 있다. 그리고 검증된 데이터는, 예측 서버(10) 및 메타데이터 분류 서버(12)에 대한 사물 인식 모델 및 복수의 촬영 조건 예측 모델을 학습시키기 위해, AI 학습 서버(14)에 의해 사용될 수 있다.

PKB 방식에서는 인간(예를 들어 엔지니어 또는 데이터 과학자)가 카테고리를 설정하며, 설정 당시에는 해당 카테고리에 아무런 데이터가 없을 수 있다(즉, 카테고리의 뼈대(skeleton)만 설정될 수 있다). PKB 방식은 ZKB 방식과 달리 예측 서버(10)의 사물 인식 모델의 초기 정확도가 0은 아니지만, 미리 준비된 데이터셋을 이용하는 FB 방식보다는 여전히 낮은 편이다. 사물 인식 시스템이 활성화되면, 이미지(또는 데이터)가 예측 서버(10)에 제공되고, 해당 이미지(또는 데이터)는 매우 낮은 정확도(very low confidence rate)로 잘못 인식될 가능성이 매우 높다. 매우 낮은 정확도로 잘못 인식된 이미지(또는 데이터)는 검증 서버(32)에 전달되며, 검증 서버(32)를 통해 사용자에 의해 해당 이미지(또는 데이터)가 분류될 수 있다. 이와 같이 분류 및 식별된 데이터는 검증된 데이터로서 검증 데이터셋 서버(160)에 제공될 수 있다. 그리고 검증된 데이터는, 예측 서버(10) 및 메타데이터 분류 서버(12)에 대한 사물 인식 모델 및 복수의 촬영 조건 예측 모델을 학습시키기 위해, AI 학습 서버(14)에 의해 사용될 수 있다.

이하에서는 도 2 내지 도 8을 참조하여, 본 발명의 사물 인식 시스템 및 사물 인식 방법에 대해 구체적으로 설명하도록 한다.

도 2는 본 발명의 일 실시 예에 따른 사물 인식 시스템을 설명하기 위한 블록도이다.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 사물 인식 시스템(2)은 예측 서버(10), 메타데이터 분류 서버(12), AI 학습 서버(14), 데이터셋 서버(16) 및 모바일 어플리케이션이 실행되는 사용자 단말(18)을 포함할 수 있다.

사용자 단말(18)의 모바일 어플리케이션은 사용자로 하여금 차량을 촬영하도록 할 수 있다. 즉, 모바일 어플리케이션은 사용자 단말(18)을 통해 제1 촬영 이미지(IMG1)를 수집할 수 있다. 모바일 어플리케이션은 사용자로 하여금 차량 촬영을 유도하여, 촬영 이미지의 수집량을 늘릴 수 있다.

사용자가 촬영한 제1 촬영 이미지(IMG1)는 미검증 촬영 이미지이므로, 미검증 데이터셋 서버(162)로 전송될 수 있다. 미검증 데이터셋 서버(162)는 제1 촬영 이미지(IMG1)를 미검증 데이터셋으로 저장해 두었다가, 데이터셋의 검증을 위해 인센티브 우선순위 서버(20) 및 검증 우선순위 서버(30)에 제공할 수 있다.

또한, 제1 촬영 이미지(IMG1)는 예측 서버(10)로 전송될 수 있으며, 예측 서버(10)는 사물 인식 모델(M0)을 이용하여 촬영 이미지가 나타내는 차량을 인식하고, 해당 차량의 모델 및 제조사 정보를 획득할 수 있다. 여기서, 사물 인식 모델(M0)은 CNN(Convolutional Neural Network) 모델 구조를 가질 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다. 인식 결과인 해당 차량의 모델 및 제조사 정보는 사용자 단말(18)의 모바일 어플리케이션에 다시 제공될 수 있다.

또한, 제1 촬영 이미지(IMG1)는 모바일 어플리케이션으로부터 메타데이터 분류 서버(12)로도 전송될 수 있으며, 메타데이터 분류 서버(12)는 복수의 촬영 조건 예측 모델(M1, M2, M3)을 이용하여 제1 촬영 이미지(IMG1)의 촬영 조건을 예측한 후, 예측된 촬영 조건(PC)을 사용자 단말(18)의 모바일 어플리케이션에 다시 제공할 수 있다. 즉, 메타데이터 분류 서버(12)는 예측 모델의 컬렉션(collection)을 이용하여 촬영 조건을 예측할 수 있다. 물론, 본 발명의 범위가 이에 제한되는 것은 아니며, 메타데이터 분류 서버(12)는 단일의 예측 모델만을 이용할 수도 있다.

여기서 사물 인식 모델(M0)은 촬영 이미지(IMG1)가 나타내는 차량의 모델 및 제조사를 인식할 수 있으며, 복수의 촬영 조건 예측 모델(M1, M2, M3)은 촬영 이미지(IMG1)의 촬영 조건을 예측할 수 있다. 특히, 촬영 이미지(IMG1)의 촬영 조건은 여러 세부 촬영 조건들을 포함할 수 있다. 세부 촬영 조건들은, 예를 들어, 촬영 시점(오전, 오후, 낮, 밤 등), 날씨(맑음, 흐림), 촬영 각도, 광량(밝은 환경, 어두운 환경) 등 촬영 이미지에 영향을 미칠 수 있는 임의의 조건(또는 환경)을 포함할 수 있다. 복수의 촬영 조건 예측 모델(M1, M2, M3) 중 일부는, 여러 세부 촬영 조건들 중 일부를 예측하기 위해 사용될 수 있으며, 복수의 촬영 조건 예측 모델(M1, M2, M3) 중 다른 일부는, 여러 세부 촬영 조건들 중 다른 일부를 예측하기 위해 사용될 수 있다. 예를 들어, 촬영 조건 예측 모델(M1)은 촬영 당시의 날씨를 예측하기 위해 사용될 수 있고, 촬영 조건 예측 모델(M2)은 촬영 각도를 예측하기 위해 사용될 수 있으며, 촬영 조건 예측 모델(M3)은 촬영 당시의 광량을 예측하기 위해 사용될 수 있다.

한편, 메타데이터 분류 서버(12)는 데이터셋 서버(16)로부터 검증 촬영 이미지(VD) 또는 미검증 촬영 이미지(UD)를 수신하고, 복수의 촬영 조건 예측 모델(M1, M2, M3)을 이용하여 수신된 촬영 이미지(VD, UD)에 대해 촬영 조건들을 예측한 후, 예측된 촬영 조건(PC)을 촬영 이미지(VD, UD)에 레이블링하여 다시 데이터셋 서버(16)로 전송할 수 있다. 즉, 메타데이터 분류 서버(12)는, 촬영 시점(오전, 오후, 낮, 밤 등), 날씨(맑음, 흐림), 촬영 각도, 광량(밝은 환경, 어두운 환경) 등 촬영 이미지에 영향을 미칠 수 있는 임의의 조건(또는 환경)을 포함하는 촬영 조건에 대한 정보가 없는 촬영 이미지(VD, UD)에 대해 촬영 조건들을 예측한 후, 그 예측 결과를 레이블링할 수 있다. 촬영 조건이 레이블링된 촬영 이미지(VD, UD)는, 모델(M0, M1, M2, M3)을 학습시키기 위한 학습 데이터로 사용될 수 있다.

AI 학습 서버(14)는 다양한 차량에 대한 학습 데이터셋을 입력 받을 수 있다. 구체적으로, AI 학습 서버(14)는 데이터셋 서버(16)로부터 검증 데이터셋(VD)을 학습 데이터셋으로 입력 받을 수 있다. AI 학습 서버(14)는 입력 받은 학습 데이터셋으로 사물 인식 모델(M0)을 학습시킬 수 있고, 학습된 사물 인식 모델(M0)을 예측 서버(10)에 제공할 수 있다.

특히, AI 학습 서버(14)는 데이터셋 서버(16)로부터 촬영 조건이 레이블링된 검증 데이터셋(VD)을 학습 데이터셋으로 입력 받을 수 있다. AI 학습 서버(14)는 입력 받은 촬영 조건이 레이블링된 학습 데이터셋으로 복수의 촬영 조건 예측 모델(M1, M2, M3)을 학습시킬 수 있고, 복수의 촬영 조건 예측 모델(M1, M2, M3)을 메타데이터 분류 서버(12)에 제공할 수 있다.

한편, AI 학습 서버(14)는 학습을 완료된 후, ABR(Accuracy Breakdown Report)를 데이터셋 서버(16)에 전송할 수 있다. 여기서 ABR은 검증 정확도(validation accuracy)를 나타내는 것으로, 데이터셋의 검증을 위해 인센티브 우선순위 서버(20) 및 검증 우선순위 서버(30)에 제공될 수 있다. 여기서 ABR은, 데이터셋의 크기, 검증 정확도, 잘못 분류되었음을 알리는 사용자의 리포팅, 인공지능 모델에 의해 낮은 신뢰도(low confidence)로 예측되는 차량 모델, 인공지능 모델에 의한 예측 결과와 전문가의 분류 결과 사이에 상당한 불일치를 갖는 차량 모델 또는 조건과 같은 정보를 포함할 수 있다.

본 발명의 다양한 실시 예에서, 메타데이터 분류 서버(12)는 자동화된 방식으로 사물 인식 시스템(2)의 예측 성능을 보다 정확하고 강건하게 만들 수 있다.

많은 수의 차량 또는 사물을 지원하기 위해, 그리고 엄청난 수의 다양한 상황과 조건에서 사용될 수 있도록 하기 위해, 사물 인식 시스템(2)은 저조도, 야간, 눈 내리는 날씨, 희소한 색상, 특이한 각도 등 다양한 조건에서 다수의 차량 또는 사물을 인식해야 한다. 이러한 특이한 조건은 인공지능 인식 정확도를 떨어뜨릴 수 있다.

사물 인식 시스템(2)은, 인공지능 인식 정확도를 향상시키기 위해, 새로운 인공지능 모델을 학습시키기 위해 사용되기 전에 분류 및 라벨링되어야 하는 많은 양의 혼동 데이터(confusing data)를 수집한다. 그런데 이러한 작업은 전통적으로 수동으로 이루어질 수 있는 것이지만, 이러한 수많은 데이터 또는 이미지를 정렬하고 분류하는 데 너무 많은 시간이 소요된다.

메타데이터 분류 서버(12)는 조건들을 자동으로 식별하여, 데이터에 적절한 레이블을 지정하고 향후 인공지능 예측 모델의 학습에 사용 가능하도록 할 수 있다. 이와 같이 분류되고 레이블이 지정된 데이터는 새롭고 더 정확한 인공지능 예측 모델의 학습을 위해 분석되고 사용되며, 새로운 인공지능 예측 모델은 인공지능 인식 정확도를 향상시킨다.

구체적으로, 인공지능 시스템이 갖는 정확도 약점은, 인공지능 예측 모델이 제대로 작동하지 않는 조건을 식별해야만 해결될 수 있다. 따라서 데이터 분석이 수행되어야 한다. 예를 들어, 데이터 분석을 통해, 인공지능 인식이 낮에는 잘 작동하지만 밤에는 그렇지 않다는 점이 식별되거나, 인공지능 인식이 전방 각도의 차량 이미지에서는 잘 작동하지만 후방 각도의 차량 이미지에서는 그렇지 않다는 점이 식별되어야만, 정확도를 개선시킬 수 있다. 이에 메타데이터 분류 서버(12)는 상세한 인공지능 예측 모델 정확도 보고서(즉, AI 학습 서버(14)가 생성하는 ABR)를 생성하기 위해 필요한, 조건에 대한 레이블을 생성할 수 있다. 이와 같은 인공지능 예측 모델 정확도 보고서는 검증되어야 할 데이터의 우선순위를 지정하기 위해 검증 우선순위 서버(30)에 사용되거나, 수집되어야 할 데이터의 우선순위를 지정하기 위해 인센티브 우선순위 서버(20)에 사용될 수 있다.

인공지능 예측 모델에 낮에 정면 각도에서 촬영된 BMW 3 시리즈의 이미지가 주어지는 경우 그 인식 정확도는 높을 것이지만, 후방 각도에서 촬영된 BMW 3 시리즈의 이미지가 주어지는 경우에는 그 인식 정확도가 떨어질 수 있다. 이에 메타데이터 분류 서버(12)는, 데이터에 자동으로 레이블링을 하기 위해, 그 인공지능 예측 모델을 이용하여 이미지 또는 데이터에 어떤 조건들이 있는지를 예측한다.

이후, 메타데이터 분류 서버(12)는, 학습 결과, 밤에 후방 각도에서 촬영된 촬영 이미지를 식별 및 분류할 수 있게 되며, 이것은 인센티브 우선순위 서버(20)가 데이터 수집의 우선순위를 (밤에 후방 각도에서 촬영된 BMW 3 시리즈로) 지정하여, 새로운 인공지능 학습을 위한 학습 데이터를 제공함으로써, 사물 인식 시스템(3)의 인식 정확도를 높일 수 있다.

특히, 사물 인식 시스템은, 메타데이터 예측 메커니즘, 사용자 검증 메커니즘 및 사용자 보상 메커니즘과 함께 작동하여, 인공지능 예측 모델을 학습시키기 위한 학습 데이터를 자동으로 발굴해 나감으로써, 지속적으로 정확도를 높이고 스스로 기능을 확장해갈 수 있어서, 적은 양의 데이터만으로도 인식 모델을 생성하고 그 인식 정확도를 향상시킬 수 있다.

도 3a 및 도 3b는 본 발명의 일 실시 예에 따른 사물 인식 방법을 설명하기 위한 흐름도들이다.

도 3a를 참조하면, 본 발명의 일 실시 예에 따른 사물 인식 방법은, 미리 준비된 데이터셋을 이용하여 초기 사물 인식 모델을 생성하는 단계(S301); 사용자 단말(18)을 통해 제1 촬영 이미지(IMG1)를 수집하는 단계(S303); 제1 촬영 이미지(IMG1)를 메타데이터 분류 서버(12)에 제공하는 단계(S305); 메타데이터 분류 서버(12)의 복수의 촬영 조건 예측 모델(M1, M2, M3)을 이용하여, 제1 촬영 이미지(IMG1)의 촬영 조건을 예측하는 단계(S307); 예측된 촬영 조건(PC)을 이용하여 제1 촬영 이미지(IMG1)를 검증하고 검증 데이터셋에 추가하는 단계(S309); 검증 데이터셋을 이용하여 사물 인식 모델(M0)을 스스로 학습시키는 단계(S311); 및 학습된 사물 인식 모델(M0)을 이용하여, 제2 촬영 이미지(IMG2)가 나타내는 사물의 인식 결과를 획득하는 단계(S313)를 포함할 수 있다.

이어서 도 3b를 참조하면, 본 발명의 일 실시 예에 따른 사물 인식 방법은, 미리 준비된 데이터셋 없이 ZKB 또는 PKB 방식으로 초기 사물 인식 모델을 생성하는 단계(S302); 사용자 단말(18)을 통해 제1 촬영 이미지(IMG1)를 수집하는 단계(S303); 제1 촬영 이미지(IMG1)를 메타데이터 분류 서버(12)에 제공하는 단계(S305); 메타데이터 분류 서버(12)의 복수의 촬영 조건 예측 모델(M1, M2, M3)을 이용하여, 제1 촬영 이미지(IMG1)의 촬영 조건을 예측하는 단계(S307); 예측된 촬영 조건(PC)을 이용하여 제1 촬영 이미지(IMG1)를 검증하고 검증 데이터셋에 추가하는 단계(S309); 검증 데이터셋을 이용하여 사물 인식 모델(M0)을 스스로 학습시키는 단계(S311); 및 학습된 사물 인식 모델(M0)을 이용하여, 제2 촬영 이미지(IMG2)가 나타내는 사물의 인식 결과를 획득하는 단계(S313)를 포함할 수 있다.

즉, 도 3a에 따른 사물 인식 방법에서는 도 1a와 관련하여 전술한 FB 방식에 따라 모델 학습이 이루어지고, 도 3b에 따른 사물 인식 방법에서는 도 1b와 관련하여 전술한 ZLB 방식에 따라 모델 학습이 이루어질 수 있다.

단계(S307)와 관련하여, 제1 촬영 이미지(IMG1)의 촬영 조건은 제1 세부 촬영 조건 및 제2 세부 촬영 조건을 포함하고, 복수의 촬영 조건 예측 모델(M1, M2, M3) 중 일부는 제1 세부 촬영 조건에 대한 예측을 위해 사용되고, 다른 일부는 제2 세부 촬영 조건에 대한 예측을 위해 사용될 수 있다.

또한, 상기 방법은, 예측된 촬영 조건(PC)을 레이블로 포함하는 검증 데이터셋을 이용하여 복수의 촬영 조건 예측 모델(M1, M2, M3)을 학습시키는 단계를 더 포함할 수 있다.

본 실시예에 따른 사물 인식 방법에 대한 더욱 구체적인 내용에 대해서는 도 1a 내지 도 2와 관련하여 전술한 내용을 참조할 수 있으며, 중복되는 내용에 대해서는 그 설명을 생략하도록 한다.

도 4는 본 발명의 일 실시 예에 따른 사물 인식 시스템을 설명하기 위한 블록도이다.

도 4를 참조하면, 본 발명의 일 실시 예에 따른 사물 인식 시스템(3)은, 예측 서버(10), 메타데이터 분류 서버(12), AI 학습 서버(14), 데이터셋 서버(16), 검증 우선순위 서버(30), 검증 서버(32) 및 모바일 어플리케이션이 실행되는 사용자 단말(18, 34)을 포함할 수 있다.

사용자는 사용자 단말(18)의 모바일 어플리케이션을 통해 차량을 촬영한 후, 제1 촬영 이미지(IMG1)를 데이터셋 서버(16)로 전송할 수 있다. 데이터셋 서버(16), 특히 미검증 데이터셋 서버(162)는 미검증 데이터셋(UD)을 메타데이터 분류 서버(12)에 전송하고, 메타데이터 분류 서버(12)는 예측된 촬영 조건(PC)을 미검증 데이터셋(UD)에 레이블링할 수 있다. 그리고 메타데이터 분류 서버(12)는 레이블링된 미검증 데이터셋(UD)을 데이터셋 서버(16)로 전송할 수 있다.

데이터셋 서버(16), 특히 검증 데이터셋 서버(160)는 촬영 조건이 레이블링된 검증 데이터셋(VD)을 AI 학습 서버(14)에 전송할 수 있고, AI 학습 서버(14)는 레이블링된 검증 데이터셋(VD)을 이용하여 모델(M0, M1, M2, M3)을 학습시킬 수 있다. 또한, AI 학습 서버(14)는 검증 정확도를 나타내는 ABR을 생성한 후, ABR을 데이터셋 서버(16)로 전송할 수 있다.

여기서 ABR은, 데이터셋의 크기, 검증 정확도, 잘못 분류되었음을 알리는 사용자의 리포팅, 인공지능 모델에 의해 낮은 신뢰도(low confidence)로 예측되는 차량 모델, 인공지능 모델에 의한 예측 결과와 전문가의 분류 결과 사이에 상당한 불일치를 갖는 차량 모델 또는 조건과 같은 정보를 포함할 수 있다.

데이터셋 서버(16)는 ABR을 검증 우선순위 서버(30)에 전송할 수 있다. 검증 우선순위 서버(30)는 PRL(Prioritization Ranking List)를 생성하고, PRL을 검증 서버(32)에 전송할 수 있다. 검증 서버(32)는 PRL에 기초하여 사용자 단말(34)의 모바일 어플리케이션을 통해 사용자에게 퀴즈(QUIZ)를 제공할 수 있다.

여기서 PRL은, 차량 모델 또는 도전에 대한 우선순위 랭킹(priority ranking)을 포함할 수 있다. 이들 랭킹은 인공지능 모델의 정확도를 극대화화기 위해 어느 데이터를 수집할지 여부를 결정하기 위한 것으로, 이를 위해 다양한 랭킹 알고리즘이 사용될 수 있다.

랭킹 알고리즘의 일 예로, ABR에 기초하여 촬영된 이미지 각각에 스코어링을 하는 방법이 있다. 예를 들어, 낮에 전면을 촬영한 차량의 촬영 이미지보다, 밤에 후면을 촬영한 차량의 촬영 이미지의 우선순위가 더 높을 수 있다. 한편, 데이터셋 서버(16)에 제조사와 조건에 대한 데이터가 거의 없는 촬영 이미지의 우선순위가, 제조사와 조건에 대한 다량의 데이터를 이미 가지고 있는 촬영 이미지보다 더 높을 수 있다.

즉, 인공지능 모델을 개선시킬 여지가 높은 촬영 이미지일수록 우선순위가 높고, 인공지능 모델을 개선시킬 여지가 낮은 촬영 이미지일수록 우선순위가 낮다. 이러한 목적을 달성하기 위해 랭킹 스코어는, 이미 존재하는 학습 데이터의 양, 차량 모델 및 제조사에 대한 검증 정확도, 잘못 분류되었음을 알리는 사용자의 리포팅, 인공지능 예측의 신뢰도, 인공지능 모델에 의한 예측 결과와 전문가의 분류 결과 사이의 불일치 여부 등을 고려하여 결정될 수 있다.

한편, 사용자들은 퀴즈의 일부로 다양한 촬영 조건 하에서 주어진 차량에 대한 모델 및 제조사 정보를 검증할 수 있다. 예를 들어, 사용자들은 객관식 또는 주관식으로 주어지는 질문의 일부로서 촬영 이미지에 표시된 차량의 모델 및 제조사를 고를 수 있다. 물론, 촬영 조건 자체가 퀴즈로 출제될 수도 있다.

검증 우선순위 서버(30)가 생성한 PRL에 기초하여 퀴즈가 생성될 수 있으며, 이들 퀴즈는 사용자 단말(34)의 모바일 어플리케이션에 제공된다. 퀴즈는 향후 인공지능 모델을 더 효과적으로 학습시킬 수 있는 촬영 이미지를 검증하도록 설계될 수 있다.

사용자는 사용자 단말(34)의 모바일 어플리케이션을 통해 퀴즈(QUIZ)에 대한 답(ANS)을 할 수 있으며, 퀴즈(QUIZ)에 관한 데이터는 다시 검증 서버(32)에 제공될 수 있다. 검증 서버(32)는 사용자들의 퀴즈(QUIZ)에 관한 데이터를 수집하고, 이로부터 제1 촬영 이미지를 검증한 다음, 검증된 제1 촬영 이미지를 검증 데이터셋에 추가, 즉, 검증 데이터셋 서버(160)에 저장할 수 있다.

특히, 퀴즈는 메타데이터 분류 서버(12)에 의해 예측된 촬영 조건을 검증하기 위한 내용을 가질 수 있으며, 퀴즈에 관한 데이터를 이용하여 촬영 조건에 대한 검증을 수행할 수 있으며, 검증된 촬영 조건이 레이블링된 촬영 이미지를 이용하여 메타데이터 분류 서버(12)의 촬영 조건 예측 모델을 학습시킴에 따라, 사물 인식 시스템(3)의 예측 성능을 개선할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 사물 인식 방법을 설명하기 위한 흐름도이다.

도 5를 참조하면, 본 발명의 일 실시 예에 따른 사물 인식 방법은, 검증 정확도를 나타내는 ABR에 기초하여 PRL를 생성하는 단계(S501); PRL에 기초하여 상기 사용자에게 퀴즈를 제공하는 단계(S503); 퀴즈에 대한 답에 기초하여 제1 촬영 이미지(IMG1)를 검증하는 단계(S505); 및 검증된 제1 촬영 이미지(IMG1)를 검증 데이터셋에 추가하는 단계(S507)를 포함할 수 있다.

본 실시예에 따른 사물 인식 방법에 대한 더욱 구체적인 내용에 대해서는 도 1a 내지 도 4와 관련하여 전술한 내용을 참조할 수 있으며, 중복되는 내용에 대해서는 그 설명을 생략하도록 한다.

도 6은 본 발명의 일 실시 예에 따른 사물 인식 방법을 설명하기 위한 흐름도이다.

도 6을 참조하면, 본 발명의 일 실시 예에 따른 사물 인식 방법은, 복수의 이전(previous) 퀴즈 스코어 및 현재 퀴즈 스코어에 기초하여 정확도 스코어(accuracy score)를 계산하는 단계(S601); 및 복수의 사용자 중에서 정확도 스코어가 소정의 상위 범위에 해당하는 사용자를 전문가(oracle)로 선정하는 단계(S603); 전문가에게 퀴즈를 제공하는 단계(S605); 퀴즈에 대한 답에 기초하여 제1 촬영 이미지(IMG1)를 검증하는 단계(S607); 및 검증된 제1 촬영 이미지(IMG1)를 검증 데이터셋에 추가하는 단계(S609)를 포함할 수 있다.

전문가 시스템의 구체적인 일 예를 들면 다음과 같다.

1. 사용자는 위에서 설명한 바와 같이 실제 차량을 스캔할 수 있다.

2. 사용자 스캔의 전체 사본 버전이 새로 스캔된 차량 이미지의 데이터베이스 인 퀴즈 저장소로 전송된다.

3. 메타 데이터 분류 서버는 자동차의 방향, 색상, 날씨 조건, 조명 조건, 풍경, 이미지 속 사람 등과 같은 스캔된 각 이미지에 대한 속성을 생성한다.

4. 새로운 퀴즈 또는 경쟁 도전이 생성되면, 새로운 차량 스캔 이미지를 무작위로 선택하거나 특정 기준에 따라 선택의 우선 순위를 지정할 수 있다.

다음과 같은 경우 새 사용자 스캔의 우선 순위를 지정할 수 있다.

·사용자가 AI 분류가 잘못되었다고 보고한 경우

·AI 학습 데이터 소스 데이터베이스에 특정 차량 모델에 대한 이미지가 거의 또는 전혀 없는 경우

·특히 중요한 속성(야간 스캔, 후방 스캔 등)에 대한 이미지가 거의 또는 전혀 없는 경우

·많은 전문가가 AI 인식 서버와 비교하여 스캔을 다르게 분류한 경우

·AI 자동차 모델 인식 서버가 스캔에 대해 인식 신뢰도가 낮은 것으로 플래그를 지정한 경우(얘를 들어, AI 모델 출력 신호가 특정 임계 값 0.5 미만인 경우)

·(인센티브 시스템으로부터) 인식된 차량 모델 또는 사용자 지정 차량 모델이 AI 인식 시스템을 학습했을 때 정확도가 낮은 것으로 관찰되는 경우, AI 차량 모델 인식 시스템이 특정 조건의 스캔을 정확하게 식별하는 데 어려움을 겪는 경우(예를 들어 밤에 촬영된 검은색 BMW i8의 스캔)

우선 순위가 지정된 스캔은 현재 배포된 AI 모델의 약점을 식별하고 수정하는 데 사용할 수 있기 때문에 중요하다.

5. 퀴즈 또는 도전 과제를 위해 새 차량 스캔이 선택될 수 있다.

6. 선택된 스캔들은 퀴즈 또는 챌린지를 만드는 데 사용되며, 새 스캔과 확인 검증된 스캔의 비율을 조정할 수 있다. 즉, Y %의 새로운 스캔과 (100 - Y) %의 이미 검증된 스캔을 섞어서 선택될 수 있다. 예를 들어, Y = 20은 퀴즈에 20 %의 새로운 차량의 스캔이 포함되고 80 %가 이미 검증된 차량의 스캔임을 의미할 수 있다. 퀴즈의 난이도는 이전 퀴즈에서 얻은 차량 모델 식별의 사용자 정확도 비율을 기반으로 조정할 수 있다.

7. 사용자는 모바일 어플리케이션을 통해 표시된 퀴즈 또는 경쟁 도전에 대해, 표시되는 차량 스캔을 식별하도록 요청 받는다.

사용자는 검증된 스캔 차량 모델 분류와 비교하여 선택한 정확성에 따라 보상(게임 내 보상, 포인트, 상금, 암호화 토큰, 상품 등)을 받으며, 사용자는 이전 퀴즈가 높은 정확도로 답변된 경우 보너스 보상을 받을 수 있다(일관된 정확도를 보상하고 다른 사용자가 퀴즈에 답하지 못하도록 함).

8. 사용자가 완료한 각 퀴즈 또는 경쟁 도전에 대해 정확도 점수가 계산되며, 이전 퀴즈 점수와 현재 퀴즈 점수의 평균이 사용자 점수를 결정하기 위해 사용된다. 점수가 높은 사용자는 사용자 스캔에서 차량 모델 분류를 정확하게 파악할 수 있다. 점수 계산의 일 예는 다음과 같다.

점수 = ([이전 M 개 퀴즈의 평균 정확도]-[이전 M 개 퀴즈의 표준 편차]) * p + ([현재 퀴즈의 정확도] * (1-p))

여기서 M은 계산에 사용된 이전 퀴즈의 수이고 p는 백분율이다. 이전 퀴즈의 정확도에서 높은 표준 편차로 사용자를 처벌하게 되면, 일관성이 없는 사용자를 제거하거나 다른 사용자가 퀴즈에 답할 수 있도록 할 수 있다.

9. 높은 점수를 받은 사용자가 전문가(Oracle)로 선택된다. 예를 들어, 가장 높은 점수를 받은 사용자의 상위 10 %를 전문가로 선택할 수 있다.

10. 퀴즈에 포함된 각각의 새로운 스캔에 대해 전문가의 답변은 스캔에 표시되는 차량 모델을 결정하는 데 사용된다. 이러한 전문가 답변은 여러 퀴즈를 통해 이루어지게 되고, 충분한 전문가 사용자가 새로운 차량 스캔을 분류하면 집계된 답변이 계산된다. 예를 들어, 새로운 차량 스캔에 100 개의 전문가 답변이 있고 그 중 90 %가 스캔을 BMW X3로 식별하면 스캔은 BMW X3로 분류되고 스캔은 검증된 것으로 표시된다.

전문가들 사이에서 합의를 결정할 수 없다면 이는 일종의 수동 개입을 의미할 수 있다. 또는, 인센티브 서버는 전문가 퀴즈 답변에서 사용자 스캔의 우선 순위를 지정하는 데 집중할 수 있다.

11. 성공적으로 분류된 스캔은 검증된 사용자 스캔 데이터베이스(데이터 세트 서버)에 복사되고 향후 퀴즈에 통합된다. 검증된 사용자 스캔 데이터베이스(데이터 세트 서버)는 주기적으로 AI 시스템과 공유되며 향후 자동차 인식 AI 모델을 학습시키기 위해 사용된다.

도 7a 및 도 7b는 본 발명의 일 실시 예에 따른 사물 인식 시스템을 설명하기 위한 블록도들이다.

도 7a를 참조하면, 본 발명의 일 실시 예에 따른 사물 인식 시스템(4)은, 예측 서버(10), 메타데이터 분류 서버(12), AI 학습 서버(14), 데이터셋 서버(16), 인센티브 우선순위 서버(20) 및 인센티브 서버(22)를 포함할 수 있다.

데이터셋 서버(16)는 ABR을 인센티브 우선순위 서버(20)에 전송할 수 있다. 인센티브 우선순위 서버(20)는 PRL을 생성하고, PRL을 인센티브 서버(22)에 전송할 수 있다. 인센티브 서버(22)는 PRL에 기초하여 사용자 단말(18)의 모바일 어플리케이션을 통해 사용자에게 경쟁 도전(CC)을 제공할 수 있다.

경쟁 도전(CC)은 사용자로 하여금 특정 조건(특정 촬영 조건) 하에서 차량의 모델 또는 제조사를 찾도록 하는 것일 수 있다. 예를 들어, 특정 조건 하에서 촬영된 촬영 이미지가 나타내는 차량의 모델 또는 제조사를 사용자로 하여금 입력하도록 할 수 있다. 또는, 경쟁 도전(CC)은 사용자로 하여금 특정 조건 하에서 차량을 촬영하고, 해당 조건을 입력하도록 유도할 수도 있다. 이와 같이, 사용자는 사용자 단말(34)의 모바일 어플리케이션을 통해 경쟁 도전(CC)에 대한 답을 할 수 있으며, 사용자로부터 제공받은 경쟁 도전(CC)에 대한 답에 기초하여 사용자에게 리워드를 제공할 수 있다.

이러한 경쟁 도전(CC)을 해결 또는 수행한 사용자에게 리워드 부여 방식으로 수집한 데이터는, 모델(M0, M1, M2, M3)을 학습시키기 위해 사용될 수 있다.

특히, 경쟁 도전(CC)은 메타데이터 분류 서버(12)에 의해 예측된 촬영 조건을 검증하기 위한 내용을 가질 수 있으며, 경쟁 도전(CC)을 해결 또는 수행한 사용자에게 리워드 부여 방식으로 수집한 데이터에 대한 검증을 수행할 수 있으며, 검증된 촬영 조건이 레이블링된 촬영 이미지를 이용하여 메타데이터 분류 서버(12)의 촬영 조건 예측 모델을 학습시킴에 따라, 사물 인식 시스템(2)의 예측 성능을 개선할 수 있다.

한편, AI 학습 서버(14)가 학습된 사물 인식 모델을 예측 서버(10)에 제공하거나, 학습된 복수의 촬영 조건 예측 모델을 메타데이터 분류 서버(12)에 제공하기 위해, 모델을 학습시키는 방식은 FB 방식 또는 ZLB 방식을 포함할 수 있으며, 도 7a는 FB 방식에 따라 AI 학습 서버(14)가 모델을 최초로 학습시키는 경우 미리 준비된 데이터셋을 이용하는 것을 나타내고 도 7b는 AI 학습 서버(14)가 모델을 최초로 학습시키는 경우 미리 준비된 데이터셋을 이용하지 않는 것을 나타낸다.

도 8은 본 발명의 일 실시 예에 따른 사물 인식 방법을 설명하기 위한 흐름도이다.

도 8을 참조하면, 본 발명의 일 실시 예에 따른 사물 인식 방법은, 검증 정확도를 나타내는 ABR에 기초하여 PRL를 생성하는 단계(S801); PRL에 기초하여 상기 사용자에게 경쟁 도전을 제공하는 단계(S803); 및 사용자로부터 제공받은 경쟁 도전에 대한 답에 기초하여 사용자에게 리워드를 제공하는 단계(S805)를 포함할 수 있다.

본 실시예에 따른 사물 인식 방법에 대한 더욱 구체적인 내용에 대해서는 도 1a 내지 도 7b과 관련하여 전술한 내용을 참조할 수 있으며, 중복되는 내용에 대해서는 그 설명을 생략하도록 한다.

이제까지 설명한 사물 인식 시스템의 동작을 요약해보면, 사용자는 모바일 어플리케이션을 통해 (미검증된) 원본 이미지를 수집하고, 원본 이미지는 예측 서버(10)에 전송되거나 데이터셋 서버(16)에 전송될 수 있다. 예측 서버(10)는 원본 이미지에 대한 인식 결과를 사용자에게 제공할 수 있다.

데이터셋 서버(16)는 이미지를 메타데이터 분류 서버(12)에 제공하여, 메타데이터 분류 서버(12)에 의해 분류 및 레이블링이 이루어지도록 할 수 있다. 메타데이터 분류 서버(12)는 (미검증된) 새로이 분류되고 (촬영 조건이) 레이블링된 이미지를 다시 데이터셋 서버(16)에 전송할 수 있다.

(미검증된) 분류 및 레이블링된 이미지는 검증 우선순위 서버(30)에 제공되며, 검증 우선순위 서버(30)는 AI 학습 서버(14)로부터 수신 받은 리포트에 기초하여 PRL을 출력할 수 있다. 차량 모델, 촬영 조건, 학습 데이터 크기, 정확도 등의 PRL은 검증 우선순위 서버(30)로부터 검증 서버(32)로 전송될 수 있으며, 검증 서버(32)는 데이터를 검증하기 위해 사용자에 대한 퀴즈를 생성할 수 있다.

사용자가 답을 한 퀴즈 데이터는 검증 서버(32)로 전달되고, 검증 서버(32)는 해당 데이터를 분류하고, 이와 같이 검증된 분류 결과를 데이터셋 서버(16)에 제공하여 "검증 데이터"로서 저장되도록 한다.

이와 같이 검증된 이미지는, AI 학습 서버(14)에 전송되어 새로운 인공지능 예측 모델 데이터셋을 생성하도록 하며, 이 경우 인공지능 예측 모델의 학습에 의해 향후 그 정확도가 매우 향상될 가능성이 높다.

한편, 새로이 검증된 데이터셋을 이용하여 AI 학습 서버(14)는 ABR을 생성하고 이를 데이터셋 서버(16)에 전송할 수 있으며, 데이터셋 서버(16)는 ABR을 인센티브 우선순위 서버(20)에 제공할 수 있고, 인센티브 우선순위 서버(20)는 PRL을 생성하고 이를 인센티브 서버(22)에 제공할 수 있다. 인센티브 서버(22)는 PRL에 기초하여 경쟁 도전(CC)를 생성하여 모바일 어플리케이션을 통해 사용자에게 제공할 수 있다.

이제까지 설명한 본 발명의 실시 예들에 따르면, 대규모의 데이터와 컴퓨팅 파워를 들이지 않으면서도, 이전에 알지 못했거나 불확실한 사물에 대한 촬영 이미지에 대한 인식 정확도를 효과적으로 높일 수 있어, 그 인식 품질을 확실하게 개선할 수 있다.

또한, 다음과 같은 효과들을 기대할 수 있다.

·데이터 수집, 데이터 레이블 지정 및 데이터 정리(cleaning)의 자동화(전통적으로 수동으로 수행하는 데 시간이 많이 소요됨)

·일반적으로 AI를 혼동시키고 정확도가 낮은 인식 결과를 생성하는 데이터를 가져와 향후 AI 모델을 훨씬 더 정확하게 만드는 데 도움이 될 수 있는 귀중한 학습 데이터로 전환함

·다양한 조건에서 인식의 정확성을 결정하고 그룹화함

·사용자가 생성한 실제 데이터를 확인하여, 스스로 모델의 약점을 자동으로 식별함(자가 진단(self-diagnosing))(전통적으로 데이터 과학자가 수행하는 작업이었음)

·이전에 AI 인식 서버를 혼동시켰던 데이터 수집의 우선 순위를 지정하고 해당 데이터를 분류한 다음, 이를 재사용하여 보다 정확한 AI 모델을 학습시킬 수 있음(자체 업데이트(self-updating), 자가 복구(self-repairing), 자가 수정(self-correcting))

·경쟁 도전 또는 퀴즈를 생성하여 사용자가 시스템에 필요한 특정 데이터를 수집하도록 장려함(시스템에서 필요성이 높거나 관련성이 있는 것으로 식별된 데이터를 기반으로 함)

·사용자가 캡처한 데이터가 우리의 요구 사항을 충족하고 유용한지 여부를 자동으로 확인함

·알려지지 않은 새로운 개체를 시스템에 자동으로 추가하고 새로이 발견된 개체의 수집 우선 순위를 지정하여 AI 인식 서버의 정확성을 지속적으로 높일 수 있음

·엔지니어나 데이터 과학자가 이미지나 데이터를 분류 또는 레이블링을 하거나, 문제가 있는 이미지를 수동으로 식별할 필요가 없어서 시간과 비용이 절감됨

·인식 모델의 학습을 위해 최초 데이터의 입력이 불필요함

따라서 메타데이터 분류 서버와 연결된 본 발명의 사물 인식 시스템은 AI 모델을 만드는 데 가장 시간이 많이 걸리는 측면을 자동화하기 위해 함께 작동한다(즉, 데이터 레이블 지정 및 정리를 자동화하고 AI 모델을 개선할 가능성이 가장 높은 데이터를 구체적으로 타겟팅하는 데 도움을 줄 수 있음). 또한, 본 발명의 사물 인식 시스템은 더 나은 AI 모델을 훈련시키고 자동으로 인식 정확도를 높이는 데이터 세트를 지속적으로 개선할 수 있다.

이전에 볼 수 없었던 새로운 차량이 시장에 출시되면 본 발명의 사물 인식 시스템은 새로운 차량 모델을 자동으로 식별하고 데이터에 레이블을 지정하고 미래의 AI 모델에 통합하는 프로세스를 갖추고 있다. 예를 들어, 새로운 차량 모델이 2022년에 처음으로 출시되면, 새로운 차량 모델은 모바일 어플리케이션에 의해 촬영되고 확인되지 않은 (미검증) 데이터 세트에 추가된 다음, 새로운 차량이 퀴즈에 나타나게 된다.

퀴즈에는 차량 모델이 새로운 모델임을 지정하는 옵션이 있으며 사용자는 새로운 차량 모델 이름을 제안할 수 있다. 제안된 이름을 입력할 때 새로운 차량에 대해 (다른 사용자에 의해) 이전에 제안된 이름을 나열하는 자동 완성 제안 옵션을 사용할 수 있다. 사용자는 자동 완성 옵션 중 하나를 선택할 수 있다. 충분한 전문가(Oracle) 사용자가 동일한 모델 명에 동의하면, 해당 새 모델 명이 추가 분류 레이블이 된다. 인센티브 서버는 이 새로운 차량 모델을 경쟁 도전에 포함시키기 시작하여 사용자가 이 새로운 차량 모델의 더 많은 이미지를 캡처하도록 유도한다.

새로운 차량 모델에 대한 충분한 데이터가 수집되면 새로운 차량 모델 분류를 포함하는 새로운 AI 모델이 학습될 수 있다.

도 9는 본 발명의 실시 예들에 따른 사물 인식 방법 및 시스템을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 블록도이다.

도 9를 참조하면, 본 발명의 실시 예들에 따른 사물 인식 방법 및 시스템은 컴퓨팅 장치(또는 컴퓨터)(50)를 이용하여 구현될 수 있다.

컴퓨팅 장치(50)는 버스(520)를 통해 통신하는 프로세서(510), 메모리(530), 사용자 인터페이스 입력 장치(540), 사용자 인터페이스 출력 장치(550) 및 저장 장치(560) 중 적어도 하나를 포함할 수 있다. 컴퓨팅 장치(50)는 또한 네트워크(40), 예컨대 무선 네트워크에 전기적으로 접속되는 네트워크 인터페이스(570)를 포함할 수 있다. 네트워크 인터페이스(570)는 네트워크(40)를 통해 다른 개체와 신호를 송신 또는 수신할 수 있다.

프로세서(510)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic　Processing　Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(530) 또는 저장 장치(560)에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(510)는 도 1a 내지 도 8에서 설명한 기능 및 방법들을 구현하도록 구성될 수 있다.

메모리(530) 및 저장 장치(560)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read-only memory)(531) 및 RAM(random access memory)(532)를 포함할 수 있다. 본 발명의 일 실시 예에서 메모리(530)는 프로세서(510)의 내부 또는 외부에 위치할 수 있고, 메모리(530)는 이미 알려진 다양한 수단을 통해 프로세서(510)와 연결될 수 있다.

또한, 본 발명의 실시 예들에 따른 사물 인식 방법 및 시스템은 컴퓨팅 장치(50)에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.

또한, 본 발명의 실시 예들에 따른 사물 인식 방법 및 시스템은 컴퓨팅 장치(50)와 전기적으로 접속될 수 있는 하드웨어로 구현될 수도 있다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고, 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속한다.

Claims

사물 인식 방법으로서,
미검증 데이터셋 서버가, 사용자 단말을 통해 수집한 제1 촬영 이미지를 저장하는 단계;
상기 미검증 데이터셋 서버가 상기 제1 촬영 이미지를 메타 데이터 분류 서버에 제공하는 단계;
상기 메타 데이터 분류 서버가 상기 미검증 데이터셋 서버로부터 제공받은 상기 제1 촬영 이미지의 촬영 조건을 예측하는 단계;
상기 메타 데이터 분류 서버가 상기 예측한 촬영 조건을 상기 제1 촬영 이미지에 레이블링하는 단계;
상기 메타 데이터 분류 서버가 상기 예측한 촬영 조건을 레이블링한 상기 제1 촬영 이미지를 상기 미검증 데이터셋 서버에 전송하는 단계;
검증 서버가 상기 제1 촬영 이미지에 대한 퀴즈를 사용자에게 제공하고, 상기 퀴즈에 대한 답을 수신하여, 상기 예측한 촬영 조건을 검증하는 단계;
상기 검증 서버가 상기 검증된 제1 촬영 이미지를 검증 데이터셋 서버에 저장하는 단계;
상기 검증 데이터셋 서버가 상기 검증된 제1 촬영 이미지를 AI 학습 서버에 전송하는 단계; 및
상기 AI 학습 서버가 상기 검증된 제1 촬영 이미지를 이용하여 예측 서버의 사물 인식 모델을 학습시키는 단계를 포함하고,
상기 사물 인식 방법은,
상기 AI 학습 서버가 상기 검증된 제1 촬영 이미지를 이용하여 상기 메타 데이터 분류 서버의 촬영 조건 예측 모델을 학습시키는 단계;
상기 AI 학습 서버가 상기 촬영 조건 예측 모델에 대한 예측 모델 정확도 보고서(Accuracy Breakdown Report, ABR)를 생성하고, 상기 ABR을 검증 우선순위 서버에 제공하는 단계;
상기 검증 우선순위 서버가 상기 ABR에 기초하여 상기 제1 촬영 이미지 각각에 스코어링을 수행하는 단계; 및
상기 검증 우선순위 서버가, 상기 스코어링에 의해 결정되는 우선순위 랭킹을 포함하는 PRL(Prioritization Ranking List)를 생성하는 단계를 더 포함하고,
상기 ABR은, 데이터 셋의 크기, 검증 정확도, 잘못 분류되었음을 알리는 사용자의 리포팅, 인공지능 모델에 의해 낮은 신뢰도로 예측되는 차량 모델, 인공지능 모델에 의한 예측 결과와 전문가의 분류 결과 사이에 불일치를 갖는 차량 모델 또는 조건 중 적어도 하나를 포함하는,
사물 인식 방법.
삭제
제1항에 있어서,
상기 촬영 조건 예측 모델은,
상기 제1 촬영 이미지의 촬영 당시의 날씨의 예측을 위해 사용되는 제1 촬영 조건 예측 모델,
상기 제1 촬영 이미지의 촬영 각도의 예측을 위해 사용되는 제2 촬영 조건 예측 모델, 및
상기 제1 촬영 이미지의 광량 또는 하루 중 촬영 시점의 예측을 위해 사용되는 제3 촬영 조건 예측 모델을 포함하는, 사물 인식 방법.
삭제
삭제
제1항에 있어서,
상기 검증 우선순위 서버가 상기 PRL을 상기 검증 서버에 제공하는 단계; 및
상기 검증 서버가 상기 PRL에 기초하여 상기 미검증 데이터셋 서버에서 선택한 촬영 이미지에 대해 상기 사용자에게 퀴즈를 제공하는 단계를 더 포함하는 사물 인식 방법.
제1항에 있어서,
인센티브 서버가 상기 사용자에게 경쟁 도전(Competition Challenges)을 제공하는 단계; 및
상기 인센티브 서버가 상기 사용자로부터 제공받은 상기 경쟁 도전에 대한 답에 기초하여 상기 사용자에게 리워드를 제공하는 단계를 더 포함하는 사물 인식 방법.
제7항에 있어서,
상기 AI 학습 서버는 상기 촬영 조건 예측 모델에 대한 예측 모델 정확도 보고서(Accuracy Breakdown Report, ABR)를 생성하고, 상기 ABR을 인센티브 우선순위 서버에 제공하는 단계를 더 포함하고,
상기 ABR은, 데이터 셋의 크기, 검증 정확도, 잘못 분류되었음을 알리는 사용자의 리포팅, 인공지능 모델에 의해 낮은 신뢰도로 예측되는 차량 모델, 인공지능 모델에 의한 예측 결과와 전문가의 분류 결과 사이에 불일치를 갖는 차량 모델 또는 조건 중 적어도 하나를 포함하는, 사물 인식 방법.
제8항에 있어서,
상기 인센티브 우선순위 서버가 상기 ABR에 기초하여 상기 제1 촬영 이미지 각각에 스코어링을 수행하는 단계; 및
상기 인센티브 우선순위 서버가, 상기 스코어링에 의해 결정되는 우선순위 랭킹을 포함하는 PRL(Prioritization Ranking List)를 생성하는 단계를 더 포함하는 사물 인식 방법.
제9항에 있어서,
상기 인센티브 서버가 상기 PRL에 기초하여 상기 미검증 데이터셋 서버에서 선택한 촬영 이미지에 대해 사용자에게 경쟁 도전을 제공하는 단계를 더 포함하는 사물 인식 방법.
제1항에 있어서,
상기 AI 학습 서버가 미리 준비된 데이터셋을 이용하여 초기 사물 인식 모델을 생성하는 단계를 더 포함하는 사물 인식 방법.
제1항에 있어서,
상기 AI 학습 서버가 미리 준비된 데이터셋을 이용하지 않고 초기 사물 인식 모델을 생성하는 단계를 더 포함하는 사물 인식 방법.
사용자 단말을 통해 수집된 제1 촬영 이미지를 저장하는 미검증 데이터셋 서버;
상기 미검증 데이터셋 서버로부터 제공받은 상기 제1 촬영 이미지의 촬영 조건을 예측하고, 상기 예측한 촬영 조건을 상기 제1 촬영 이미지에 레이블링한 후, 상기 예측한 촬영 조건을 레이블링한 상기 제1 촬영 이미지를 상기 미검증 데이터셋 서버에 전송하는 메타데이터 분류 서버;
상기 제1 촬영 이미지에 대한 퀴즈를 사용자에게 제공하고, 상기 퀴즈에 대한 답을 수신하여, 상기 예측한 촬영 조건을 검증하는 검증 서버;
상기 검증된 제1 촬영 이미지를 저장하는 검증 데이터셋 서버; 및
상기 검증된 제1 촬영 이미지를 이용하여 예측 서버의 사물 인식 모델을 학습시키는 AI 학습 서버를 포함하고,
상기 AI 학습 서버는 상기 검증된 제1 촬영 이미지를 이용하여 상기 메타 데이터 분류 서버의 촬영 조건 예측 모델을 학습시키고,
상기 AI 학습 서버는 상기 촬영 조건 예측 모델에 대한 예측 모델 정확도 보고서(Accuracy Breakdown Report, ABR)를 생성하고, 상기 ABR을 검증 우선순위 서버에 제공하되,
상기 ABR은, 데이터 셋의 크기, 검증 정확도, 잘못 분류되었음을 알리는 사용자의 리포팅, 인공지능 모델에 의해 낮은 신뢰도로 예측되는 차량 모델, 인공지능 모델에 의한 예측 결과와 전문가의 분류 결과 사이에 불일치를 갖는 차량 모델 또는 조건 중 적어도 하나를 포함하고,
상기 검증 우선순위 서버는,
상기 ABR에 기초하여 상기 제1 촬영 이미지 각각에 스코어링을 수행하고,
상기 스코어링에 의해 결정되는 우선순위 랭킹을 포함하는 PRL(Prioritization Ranking List)를 생성하는,
사물 인식 시스템.
삭제
제13항에 있어서,
상기 촬영 조건 예측 모델은,
상기 제1 촬영 이미지의 촬영 당시의 날씨의 예측을 위해 사용되는 제1 촬영 조건 예측 모델,
상기 제1 촬영 이미지의 촬영 각도의 예측을 위해 사용되는 제2 촬영 조건 예측 모델, 및
상기 제1 촬영 이미지의 광량 또는 하루 중 촬영 시점의 예측을 위해 사용되는 제3 촬영 조건 예측 모델을 포함하는, 사물 인식 시스템.
삭제
삭제
제13항에 있어서,
상기 검증 우선순위 서버가 상기 PRL을 상기 검증 서버에 제공하고,
상기 검증 서버는, 상기 PRL에 기초하여 상기 미검증 데이터셋 서버에서 선택한 촬영 이미지에 대해 상기 사용자에게 퀴즈를 제공하는, 사물 인식 시스템.
제13항에 있어서,
사용자에게 경쟁 도전(Competition Challenges)을 제공하고, 상기 사용자로부터 제공받은 상기 경쟁 도전에 대한 답에 기초하여 상기 사용자에게 리워드를 제공하는 인센티브 서버를 더 포함하는 사물 인식 시스템.
제19항에 있어서,
상기 AI 학습 서버는 상기 촬영 조건 예측 모델에 대한 예측 모델 정확도 보고서(Accuracy Breakdown Report, ABR)를 생성하고, 상기 ABR을 인센티브 우선순위 서버에 제공하되,
상기 ABR은, 데이터 셋의 크기, 검증 정확도, 잘못 분류되었음을 알리는 사용자의 리포팅, 인공지능 모델에 의해 낮은 신뢰도로 예측되는 차량 모델, 인공지능 모델에 의한 예측 결과와 전문가의 분류 결과 사이에 불일치를 갖는 차량 모델 또는 조건 중 적어도 하나를 포함하는, 사물 인식 시스템.
제20항에 있어서,
상기 인센티브 우선순위 서버는,
상기 ABR에 기초하여 상기 제1 촬영 이미지 각각에 스코어링을 수행하고,
상기 스코어링에 의해 결정되는 우선순위 랭킹을 포함하는 PRL(Prioritization Ranking List)를 생성하는, 사물 인식 시스템.
제21항에 있어서,
상기 인센티브 서버는, 상기 PRL에 기초하여 상기 미검증 데이터셋 서버에서 선택한 촬영 이미지에 대해 사용자에게 경쟁 도전을 제공하는, 사물 인식 시스템.
제13항에 있어서,
상기 AI 학습 서버는, 미리 준비된 데이터셋을 이용하여 초기 사물 인식 모델을 생성하는, 사물 인식 시스템.
제13항에 있어서,
상기 AI 학습 서버는, 미리 준비된 데이터셋을 이용하지 않고 초기 사물 인식 모델을 생성하는, 사물 인식 시스템.
컴퓨터에,
제1항의 사물 인식 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 매체.