KR102636461B1 - 인공지능 모델 학습을 위한 오토 레이블링 자동화 방법, 장치 및 시스템 - Google Patents

Abstract

일실시예에 따른 장치는 영상으로부터 미리 설정된 개수에 따른 이미지를 추출하고, 인공지능 모델에 추출된 이미지 및 식별하고자 하는 객체의 속성을 입력하여, 객체의 라벨을 출력하고, 추출된 이미지에 객체에 대응하는 라벨을 라벨링하고, 라벨링 결과를 검수자의 단말로 제공하고, 검수자의 단말로부터 라벨링 결과에 대한 검수 정보를 수신하고, 검수 정보를 기반으로 학습 데이터를 생성하고, 생성된 학습 데이터를 기반으로 인공지능 모델의 학습을 수행하고, 학습 결과에 기반하여, 인공지능 모델을 업데이트할 수 있다.

Description

인공지능 모델 학습을 위한 오토 레이블링 자동화 방법, 장치 및 시스템{AUTOMATED LABELING METHOD, DEVICE, AND SYSTEM FOR LEARNING ARTIFICIAL INTELLIGENCE MODELS}

아래 실시예들은 인공지능 모델의 학습을 위한 오토 레이블링을 자동화하는 기술에 관한 것이다.

일반적으로, 데이터 라벨링 작업은 머신 러닝(Machine Learning, ML)의 모델링 작업이나 딥 러닝(Deep learning, DL)의 모델링 작업 전에 학습 데이터에 특정 값을 부여해주는 것이다. 이러한 데이터 라벨링 작업은, AI(Artificial Intelligence) 산업의 기본이기도 하지만, 기업에서 AI 산업의 발전을 이루기 위한 핵심요소로 인식된다.

종래 데이터 라벨링 작업은 검수자의 수작업으로 수행되는 경우가 많으며, 검수자가 직접 영역을 설정하고, 지정된 영역에 속하는 객체에 대한 정보를 입력하는 방식 또는 컴퓨터가 자동으로 객체의 영역을 선별한 후, 사람이 해당 영역에 속하는 객체에 대한 정보를 입력하는 방식으로 수행될 수 있다.

기존의 방식은 사람이 직접 수행하여 비용이 많이 들고 시간이 오래 걸리는 단점이 있었다. 또한, 자동 데이터 라벨링 작업을 수행한다 하더라도, 이미지를 분류할 때 최소 수천, 수만 장의 이미지가 요구되는데, 이렇게 대용량의 데이터 라벨링 작업은 시간을 포함한 많은 비용이 들고, 라벨링에 필요한 이미지가 많아질수록, 일관되고 정확한 라벨링 작업이 어려워진다.

이에, 인공지능 모델의 학습을 위한 오토 레이블링의 자동화하는 방법에 대한 연구가 요구되는 실정이다.

대한민국 등록특허 제10-2189362 호(2020.12.03 공고) 대한민국 등록특허 제10-2328734 호(2021.11.15 공고) 대한민국 등록특허 제10-2427171 호(2022.07.26 공고) 대한민국 공개특허 제10-2022-0124585 호(2022.09.14 공개)

실시예들은 인공지능 모델의 학습을 위한 오토 레이블링을 자동화하는 방법을 제공하고자 한다.

실시예들은 라벨링 결과에 대한 검수 정보를 기반으로 인공지능 모델의 학습 데이터를 생성하고, 학습 결과에 기반하여 인공지능 모델을 업데이트하고자 한다.

실시예들은 인공지능 모델의 학습 진행 상황을 확인하기 위한 모니터링 화면을 생성하고자 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

일실시예에 따르면, 장치에 의해 수행되는 방법은, 영상으로부터 미리 설정된 개수에 따른 이미지를 추출하는 단계; 인공지능 모델에 상기 추출된 이미지 및 식별하고자 하는 객체의 속성을 입력하여, 상기 객체의 라벨을 출력하는 단계; 상기 추출된 이미지에 상기 객체에 대응하는 라벨을 라벨링하는 단계; 상기 라벨링 결과를 검수자의 단말로 제공하는 단계; 상기 검수자의 단말로부터 상기 라벨링 결과에 대한 검수 정보를 수신하는 단계; 상기 검수 정보를 기반으로 학습 데이터를 생성하는 단계; 상기 생성된 학습 데이터를 기반으로 상기 인공지능 모델의 학습을 수행하는 단계; 및 상기 학습 결과에 기반하여, 상기 인공지능 모델을 업데이트하는 단계;를 포함할 수 있다.

상기 검수 정보를 기반으로 학습 데이터를 생성하는 단계는, 상기 검수 정보로부터, 상기 이미지가 정상 분류로 판단된 것에 해당하는 정상 이미지 및 오류 분류로 판단된 것에 해당하는 오류 이미지로 분류하는 단계, 상기 이미지 중 상기 오류 이미지의 비율인 오류 비율을 산출하는 단계, 상기 오류 비율이 미리 설정된 기준 미만인 경우, 라벨링된 정상 이미지 및 검수 정보에 기반하여 재라벨링된 오류 이미지를 학습 데이터로 생성하는 단계, 상기 오류 비율이 미리 설정된 기준 이상인 경우, 상기 검수 정보로부터 상기 오류 이미지에서의 오류 영역의 크기 및 오류의 개수를 기반으로 오류 지수를 결정하는 단계, 상기 오류 지수가 미리 설정된 기준 지수를 초과하는 경우, 상기 인공지능 모델에 입력되는 객체의 속성을 변경하되, 상기 오류 지수에 기반하여 상기 객체의 속성 중 변경할 항목의 개수 및 변경 정도를 조절하여 상기 객체의 속성을 수정하는 단계, 및상기 수정된 객체의 속성을 상기 인공지능 모델에 입력하여 상기 객체의 라벨을 출력하고, 상기 라벨링 단계부터 상기 인공지능 모델의 학습을 수행하는 단계까지 수행하는 단계를 포함할 수 있다.

상기 인공지능 모델을 업데이트하는 단계는, 상기 학습 결과로부터 상기 학습된 인공지능 모델의 성능을 평가하는 단계, 상기 인공지능 모델의 성능이 미리 설정된 기준을 만족하는 경우, 상기 인공지능 모델의 학습 데이터를 유지하는 단계, 상기 인공지능 모델의 성능이 미리 설정된 기준을 만족하지 않는 경우, 상기 인공지능 모델의 성능에 기반하여 추가 학습 데이터의 양을 결정하는 단계, 다른 영상들로부터, 상기 객체의 속성과 적어도 어느 하나 이상 일치하는 속성을 포함하는 다른 객체의 이미지를 상기 결정된 추가 학습 데이터의 양에 따라 수집하고, 상기 수집한 추가 학습 데이터를 상기 학습 데이터에 추가하여, 수정 학습 데이터를 생성하는 단계, 상기 객체의 속성에 포함되는 항목 별 평균 오류율을 산출하고, 상기 항목 중 오류율이 제1 수준인 항목에 해당하는 속성을 포함하는 다른 객체의 이미지를 수집하여 상기 수정 학습 데이터에 추가하는 단계, 상기 항목 중 오류율이 제2 수준인 항목에 해당하는 속성의 세부 속성을 포함하는 다른 객체의 이미지를 수집하여 상기 수정 학습 데이터에 추가하는 단계, 상기 항목 중 오류율이 제3 수준인 항목에 해당하는 속성을 포함하는 다른 객체의 이미지를 상기 수정 학습 데이터에서 일부 삭제하는 단계, 및 상기 수정 학습 데이터를 기반으로 상기 인공지능 모델의 재학습을 수행하여, 상기 인공지능 모델을 업데이트하는 단계,를 포함할 수 있다.

상기 장치에 의해 수행되는 방법은, 상기 인공지능 모델의 학습 진행 상황의 모니터링 화면을 생성하는 단계; 및 상기 모니터링 화면을 상기 검수자의 단말로 전송하는 단계;를 더 포함할 수 있다.

상기 모니터링 화면을 생성하는 단계는, 상기 인공지능 모델의 학습 시작 시점부터 현재 시점 까지의 기간인 학습 경과 시간을 산출하는 단계, 상기 학습 경과 시간에 기반하여 모니터링 화면의 밝기를 조정하는 단계, 상기 학습 데이터 중 학습이 완료된 학습 데이터, 학습이 진행중인 학습 데이터 및 학습이 진행전인 학습 데이터의 비율을 확인하는 단계, 상기 학습 데이터 중 상기 학습이 완료된 학습 데이터의 비율이 가장 높은 경우, 상기 모니터링 화면의 색상을 제1 색상으로 표시하고, 상기 학습이 진행중인 학습 데이터의 비율이 가장 높은 경우, 상기 모니터링 화면의 색상을 제2 색상으로 표시하고, 상기 학습이 진행전인 학습 데이터의 비율이 가장 높은 경우, 상기 모니터링 화면의 색상을 제3 색상으로 표시하되, 상기 학습 데이터의 양에 기반하여 상기 제1 색상 내지 상기 제3 색상의 채도를 결정하는 단계, 상기 학습에 사용된 학습 데이터에 포함된 이미지 중 상기 객체의 속성의 항목과 일치하는 항목의 개수에 비례하여 객체를 표시하는 바운딩 박스의 굵기를 굵게 표시하는 단계, 및 상기 밝기, 색상, 채도 및 바운딩 박스의 굵기를 결합하여 상기 모니터링 화면을 생성하는 단계를 포함할 수 있다.

상기 인공지능 모델을 업데이트하는 단계는, 미리 설정된 기간 동안 웹 사이트로부터 상기 인공지능 모델과 연관된 리뷰 콘텐츠를 수집하는 단계, 상기 리뷰 콘텐츠에 대한 자연어 분석을 통해, 상기 리뷰 콘텐츠에 사용된 키워드를 긍정 키워드 및 부정 키워드로 분류하는 단계, 상기 긍정 키워드 중 미리 설정된 기준 이상으로 언급된 키워드를 주요 키워드로 결정하는 단계, 상기 주요 키워드를 상기 객체와 관련된 객체 키워드 및 상기 객체의 속성과 관련된 속성 키워드로 분류하는 단계, 상기 인공지능 모델의 성능이 미리 설정된 제1 기준을 만족하는 경우, 상기 객체 키워드에 해당하는 이미지 또는 영상을 획득하여 제1 추가 학습 데이터를 생성하는 단계, 상기 인공지능 모델의 성능이 상기 제1 기준을 만족하지 않으면서, 미리 설정된 제2 기준을 만족하는 경우, 상기 속성 키워드에 해당하는 이미지 또는 영상을 획득하여 제2 추가 학습 데이터를 생성하는 단계, 상기 인공지능 모델의 성능이 상기 제2 기준을 만족하지 않는 경우, 상기 객체 키워드와 상기 속성 키워드에 모두 해당하는 이미지 또는 영상을 획득하여 제3 학습 데이터를 생성하는 단계, 상기 수정 학습 데이터에 상기 제1 내지 제3 추가 학습 데이터를 추가하여 업데이트 학습 데이터를 생성하는 단계, 및 상기 업데이트 학습 데이터를 기반으로 상기 인공지능 모델의 재학습을 수행하여, 상기 인공지능 모델을 업데이트하는 단계,를 포함할 수 있다.

상기 미리 설정된 기간은 제1 기간 및 제2 기간을 포함하고, 상기 추가 학습 데이터의 양을 결정하는 단계는, 상기 리뷰 콘텐츠에 사용된 키워드 중 상기 제1 기간의 상기 긍정 키워드의 언급 횟수 및 상기 제2 기간의 상기 긍정 키워드의 언급 횟수를 확인하는 단계, 상기 제1 기간 및 상기 제2 기간에서의 긍정 키워드의 언급 횟수의 증감 여부에 기반하여 상기 추가 데이터의 양을 결정하는 단계, 및 상기 미리 설정된 기간 동안 상기 부정 키워드의 언급 횟수의 증감 여부에 기반하여 결정된 가중치를 상기 추가 데이터의 양에 적용하여, 상기 추가 데이터의 양을 조정하는 단계를 포함할 수 있다.

일실시예에 따른 장치는 하드웨어와 결합되어 상술한 방법들 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램에 의해 제어될 수 있다.

실시예들은 인공지능 모델의 학습을 위한 오토 레이블링을 자동화하는 방법을 제공할 수 있다.

실시예들은 라벨링 결과에 대한 검수 정보를 기반으로 인공지능 모델의 학습 데이터를 생성하고, 학습 결과에 기반하여 인공지능 모델을 업데이트할 수 있다.

실시예들은 인공지능 모델의 학습 진행 상황을 확인하기 위한 모니터링 화면을 생성할 수 있다.

한편, 실시예들에 따른 효과들은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 해당 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 일실시예에 따른 시스템의 구성을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 인공지능 모델의 학습을 위한 오토 레이블링을 자동화하는 과정을 설명하기 위한 순서도이다.
도 3은 일실시예에 따른 검수 정보를 기반으로 학습 데이터를 생성하는 과정을 설명하기 위한 순서도이다.
도 4는 일실시예에 따른 인공지능 모델을 업데이트하는 과정을 설명하기 위한 순서도이다.
도 5는 일실시예에 따른 인공지능 모델의 학습 진행 상황의 모니터링 화면을 생성하는 과정을 설명하기 위한 순서도이다.
도 6은 일실시예에 따른 인공지능 모델과 연관된 리뷰 콘텐츠를 기반으로 인공지능 모델을 업데이트하는 과정을 설명하기 위한 순서도이다.
도 7은 일실시예에 따른 추가 학습 데이터의 양을 결정하는 과정을 설명하기 위한 순서도이다.
도 8은 일실시예에 따른 장치의 구성의 예시도이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.

도 1은 일실시예에 따른 시스템의 구성을 설명하기 위한 도면이다.

도 1을 참조하면, 일실시예에 따른 시스템은 통신망을 통해 서로 통신 가능한 검수자의 단말(10) 및 장치(30)를 포함할 수 있다.

먼저, 통신망은 유선 및 무선 등과 같이 그 통신 양태를 가리지 않고 구성될 수 있으며, 서버와 서버 간의 통신과 서버와 단말 간의 통신이 수행되도록 다양한 형태로 구현될 수 있다.

검수자의 단말(10)은 본 발명에 따른 영상에 포함된 객체에 라벨링을 수행하는 인공지능 모델의 라벨링 결과의 오류를 검수하는 검수자가 사용하는 단말일 수 있다. 검수자의 단말(10)은 데스크탑 컴퓨터, 노트북, 태블릿, 스마트폰 등일 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 검수자의 단말(10)은 스마트폰일 수 있으며, 실시예에 따라 달리 채용될 수도 있다.

검수자의 단말(10)은 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 검수자의 단말(10)은 장치(30)와 유무선으로 통신하도록 구성될 수 있다.

검수자의 단말(10)은 장치(30)를 이용하여 서비스를 제공하는 자 내지 단체가 운영하는 웹 페이지에 접속되거나, 장치(30)를 이용하여 서비스를 제공하는 자 내지 단체가 개발·배포한 애플리케이션이 설치될 수 있다. 검수자의 단말(10)은 웹 페이지 또는 애플리케이션을 통해 장치(30)와 연동될 수 있다.

검수자의 단말(10)은 장치(30)에서 제공하는 웹 페이지, 애플리케이션을 등을 통해 장치(30)에 접속할 수 있다.

청구항에 기재된 단수의 표현은 복수를 포함하는 것으로 이해될 수 있다. 예를 들어, 청구항의 검수자는 하나의 검수자 또는 둘 이상의 검수자를 지칭할 수 있다.

장치(30)는 인공지능 모델의 학습을 위한 오토 레이블링 자동화 방법을 제공할 수 있다. 이때, 인공지능 모델의 학습을 위한 오토 레이블링 자동화 방법을 제공하는 과정은 도 2를 참조하여 후술하기로 한다.

장치(30)는 오토 레이블링 (Auto-labeling) 작업을 수행할 수 있다. 라벨(Label)이란, 함수가 출력해야 할 결과값들을 의미한다.

본 발명에 따른 인공지능 모델 학습을 위한 오토 레이블링 자동화 방법에 의하면, 오토 레이블링으로 도출되는 라벨링 결과에 대한 확인과 수정에만 검수자가 관여하여, 학습의 정확성을 확보하고, 효과적이고 빠른 학습 데이터의 양산이 가능하게 된다.

이에, 기존에 사람이 전체 데이터의 레이블을 부여하던 절차가 생략되어 매우 신속하게 학습을 진행할 수 있다는 장점을 가진다. 오토 레이블링은 수고스러운 레이블링 과정을 자동화하여 학습 데이터 제작 시간을 크게 단축시킬 수 있는 기술이다.

장치(30)는 장치(30)를 이용하여 서비스를 제공하는 자 내지 단체가 보유한 자체 서버일수도 있고, 클라우드 서버일 수도 있고, 분산된 노드(node)들의 p2p(peer-to-peer) 집합일 수도 있다. 장치(30)는 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다.

장치(30)는 검수자의 단말(10) 과 유무선으로 통신하도록 구성될 수 있으며, 검수자의 단말(10)의 동작을 제어하고, 검수자의 단말(10)의 화면에 어느 정보를 표시할 것인지에 대해 제어할 수 있다.

한편, 설명의 편의를 위해 도 1에서는 검수자의 단말(10)만을 도시하였으나, 단말들의 수는 실시예에 따라 얼마든지 달라질 수 있다. 장치(30)의 처리 용량이 허용하는 한, 단말들의 수는 특별한 제한이 없다.

일실시예에 따르면, 장치(30) 내에는 데이터베이스가 구비될 수 있으며, 이에 한정되지 않고, 장치(30)와 별도로 데이터베이스가 구성될 수 있다. 장치(30)는 기계 학습 알고리즘의 수행을 위한 다수의 인공 신경망을 포함할 수 있다.

본 발명에서, 인공지능(Artificial Intelligence, AI)은 인간의 학습능력, 추론능력, 지각능력 등을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미하고, 기계 학습, 심볼릭 로직(Symbolic Logic) 등의 개념을 포함할 수 있다. 기계 학습(Machine Learning, ML)은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이다. 인공지능의 기술은 기계 학습의 알고리즘으로써 입력 데이터를 분석하고, 그 분석의 결과를 학습하며, 그 학습의 결과에 기초하여 판단이나 예측을 할 수 있다. 또한, 기계 학습의 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술들 역시 인공지능의 범주로 이해될 수 있다. 예를 들어, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야가 포함될 수 있다.

기계 학습은 데이터를 처리한 경험을 이용해 신경망 모델을 훈련시키는 처리를 의미할 수 있다. 기계 학습을 통해 컴퓨터 소프트웨어는 스스로 데이터 처리 능력을 향상시키는 것을 의미할 수 있다. 신경망 모델은 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 신경망 모델은 주어진 데이터로부터 특징들을 추출하고 분석하여 데이터 간의 상관 관계를 도출하는데, 이러한 과정을 반복하여 신경망 모델의 파라미터를 최적화해 나가는 것이 기계 학습이라고 할 수 있다. 예를 들어, 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있다. 또는, 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수도 있다.

인공지능 학습모델 또는 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 구현하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하여, 서로 간의 연결 관계를 가질 수 있다. 인공지능 학습모델에서 복수의 네트워크 노드들은 서로 다른 깊이의 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 인공지능 학습모델은, 예를 들어, 인공 신경망 모델(Artificial Neural Network), 컨볼루션 신경망 모델(Convolution Neural Network: CNN) 등일 수 있다. 일 실시예로서, 인공지능 학습모델은, 지도학습(Supervised Learning), 비지도 학습(Unsupervised Learning), 강화 학습(Reinforcement Learning) 등의 방식에 따라 기계 학습될 수 있다. 기계 학습을 수행하기 위한 기계 학습 알고리즘에는, 의사결정트리(Decision Tree), 베이지안 망(Bayesian Network), 서포트 벡터 머신(Support Vector Machine), 인공 신경망(Artificial Neural Network), 에이다부스트(Ada-boost), 퍼셉트론(Perceptron), 유전자 프로그래밍(Genetic Programming), 군집화(Clustering) 등이 사용될 수 있다.

이중, CNN은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥러닝 구조들과 비교해서, CNN은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. CNN은 또한 표준 역전달을 통해 훈련될 수 있다. CNN은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.

컨볼루션 네트워크는 묶인 파라미터들을 가지는 노드들의 집합들을 포함하는 신경 네트워크들이다. 사용 가능한 트레이닝 데이터의 크기 증가와 연산 능력의 가용성이, 구분적 선형 단위 및 드롭아웃 트레이닝과 같은 알고리즘 발전과 결합되어, 많은 컴퓨터 비전 작업들이 크게 개선되었다. 오늘날 많은 작업에 사용할 수 있는 데이터 세트들과 같은 엄청난 양의 데이터 세트에서는 초과 맞춤(outfitting)이 중요하지 않으며, 네트워크의 크기를 늘리면 테스트 정확도가 향상된다. 컴퓨팅 리소스들의 최적 사용은 제한 요소가 된다. 이를 위해, 심층 신경 네트워크들의 분산된, 확장 가능한 구현예가 사용될 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

도 2는 일실시예에 따른 인공지능 모델의 학습을 위한 오토 레이블링을 자동화하는 과정을 설명하기 위한 순서도이다.

도 2를 참조하면, 먼저, S201 단계에서, 장치(30)는 영상으로부터 미리 설정된 개수에 따른 이미지를 추출할 수 있다. 이때, 미리 설정된 개수는 실시예에 따라 상이하게 설정될 수 있다.

예를 들어, 장치(30)는 검수자의 단말(10)로부터 오토 레이블링을 수행하고자 하는 영상을 수신하여, 수신한 영상을 데이터베이스에 저장할 수 있다. 장치(30)는 검수자의 단말(10)로부터 수집한 영상으로부터 추출하려는 이미지의 개수에 대한 정보를 수신할 수 있다. 이때, 영상으로부터 추출할 이미지 프레임의 개수는 초단위로 지정이 가능하다.

일실시예에 따르면, 장치(30)는 미리 설정된 주기, 개수, 검수자의 입력 등에 의해 외부로부터 영상을 획득할 수 있다. 이때, 영상은 객체를 포함하는 이미지를 포함하는 영상을 의미할 수 있다.

이때, 영상은 언레이블 영상 또는 레이블 영상을 포함할 수 있으며, 장치(30)는 웹 사이트, 검수자의 단말(10) 등의 외부로부터 영상을 획득하고 데이터베이스에 저장할 수 있다.

언레이블 영상은 적어도 하나의 특정 객체에 대하여 언레이블된 영상을 포함할 수 있으며, 레이블 영상은 적어도 하나의 특정 객체에 대해 레이블된 영상을 포함할 수 있다.

레이블 영상은 적어도 하나의 특정 객체 및 객체의 속성이 레이블된 영상을 의미할 수 있으나, 이에 한정되지는 않는다.

이때, 객체가 사람인 경우, 예를 들어, 객체의 속성은 성별, 나이대, 상의 유형, 상의 색상, 하의 유형, 하의 색상, 안경 착용 여부, 가방 착용 여부 및 마스크 착용 여부 등을 포함할 수 있으나, 이에 한정되지는 않는다.

예를 들어, 객체가 사람인 경우, 객체의 속성은 여자, 남자를 포함할 수 있다.

나이대는 0~9세, 10대, 20대, 30대, 40대, 50대, 60대, 70대 이상을 포함할 수 있으나, 실시예에 따라 상이하게 설정될 수 있다.

상의 유형은 티셔츠, 셔츠, 블라우스, 스웨터, 후드 등을 포함할 수 있으나, 이에 한정되지는 않는다.

상의 색상은 빨강, 주황, 노랑, 파랑, 녹색, 검정, 흰색, 회색 등을 포함할 수 있으나, 이에 한정되지는 않는다.

하의 유형은 청바지, 슬랙스, 반바지, 스커트 등을 포함할 수 있으나, 이에 한정되지는 않는다.

하의 색상은 빨강, 주황, 노랑, 파랑, 녹색, 검정, 흰색, 회색 등을 포함할 수 있으나, 이에 한정되지는 않는다.

안경 착용 여부는 안경 착용 및 안경 미착용을 포함할 수 있으나, 이에 한정되지는 않는다.

가방 착용 여부는 가방 착용 및 가방 미착용을 포함할 수 있으나, 이에 한정되지는 않는다.

마스크 착용 여부는 마스크 착용 및 마스크 미착용을 포함할 수 있으나, 이에 한정되지는 않는다.

레이블링하는 것이란, 영상 내에서 인식하고자 하는 적어도 하나 이상의 객체에 대해 바운딩 박스(bounding box) 형태로 어노테이션(Annotation) 즉, 레이블링하는 것인데, 레이블링이란, 바운딩 정보를 포함한 라벨(Label)을 생성하는 것을 의미할 수 있다.

레이블링은 검수자의 수작업으로 수행되는 경우가 많으며, 검수자가 직접 영역을 설정하고, 지정된 영역에 속하는 객체에 대한 정보를 입력하는 방식 또는 컴퓨터가 자동으로 객체의 영역을 선별한 후, 사람이 해당 영역에 속하는 객체에 대한 정보를 입력하는 방식으로 수행될 수 있다.

본 발명에서, 라벨링(Labeling)은 레이블링(Labeling)과 같은 의미로서, 라벨링 및 레이블링이 같은 의미로서 혼용되어 사용될 수 있다.

S202 단계에서, 장치(30)는 인공지능 모델에 추출된 이미지 및 식별하고자 하는 객체의 속성을 입력하여, 객체의 라벨을 출력할 수 있다.

이때, 이미지는 특정 객체를 적어도 하나 이상으로 포함하는 이미지를 포함할 수 있으며, 예를 들어 객체는 사람, 동물, 식물, 물건, 건물, 장애물 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

장치(30)는 이미지에 객체를 인식하고, 이미지에서 인식된 객체는 예를 들어, 사람일 수 있다. 장치(30)는 인식된 객체에 바운딩 박스(bounding box)를 생성한 이미지를 생성하고, 인식된 객체에 대한 정보를 삽입할 수 있는 라벨링을 생성한 이미지를 생성함으로써, 이미지 데이터에 라벨링을 수행할 수 있다.

라벨링이 수행된 이미지는 인공지능 모델의 학습을 위해 입력되는 입력 값일 수 있다. 이때, 이미지는 영상의 일부이나, 이미지 데이터가 이에 한정되는 것은 아니고, 픽셀로 정의된 다양한 이미지를 포함할 수 있다.

장치(30)는 이미지 데이터에 기초하여 학습 데이터를 입력 값으로 인공지능 모델의 학습 데이터로 사용할 수 있다. 또한, 장치(30)는 학습 데이터를 누적시켜 입력 데이터로 사용할 수 있다. 장치(30)는 이미지 데이터에 대한 라벨링을 수행한 후 폐기하지 않고 데이터베이스에 저장하여 학습 데이터로 사용할 수 있다.

장치(30)는 이미지 및 객체의 속성에 대한 정보를 기초로 인공지능 모델이 라벨링을 수행할 수 있도록 학습시킬 수 있다. 이때, 장치(30)는 다양한 뉴런 네트워크 구조를 포함하는 인공 신경망을 통해 라벨링을 수행할 수 있다.

여기서, 일례로, 인공지능 모델은 심층신경망(Deep Neural Network; DNN)일 수 있다. 심층신경망은 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 의미할 수 있다. 예를 들어, 심층신경망은 콘벌루션 풀링 층(Convolutional Pooling Layer), 로컬 연결 층(a locally-connected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다. 콘벌루션 풀링 층 또는 로컬 연결 층은 영상 내 특징들을 추출하도록 구성될 수 있다. 완전 연결 층은 영상의 특징 간의 상관관계를 결정할 수 있다. 일부 실시 예에서, 심층신경망의 전체적인 구조는 콘벌루션 풀링 층에 로컬 연결 층이 이어지고, 로컬 연결 층에 완전 연결 층이 이러지는 형태로 이루어질 수 있다.

심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.

본 발명의 실시예들에 따른 인공지능 모델은, 영상분석에 적합한 콘볼루셔널 신경망이라고 부르는 구조로서, 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)가 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)와 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수 있다.

특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘벌루션층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수차례 반복하는 구조로 형성될 수 있다. 이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다.

콘벌루션 층은 입력 영상의 각 패치에 대하여 필 터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)를 취함으로 서 특징지도(Feature Map)를 구하게 되는데, 다른 네트워크 구조와 비교하여, CNN은 희소한 연결성 (Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징을 가질 수 있다. 이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상시킬 수 있다.

통합 층(Pooling Layer 또는 Sub-sampling Layer)은 이전 콘벌루션 층에서 구해진 특징 지도의 지역 정보를 활용하여 새로운 특징 지도를 생성할 수 있다. 일반적으로 통합 층에 의해 새로 생성된 특징지도는 원래의 특징 지도보다 작은 크기로 줄어드는데, 대표적인 통합 방법으로는 특징 지도 내 해당 영역의 최대값을 선택하는 최대 통합(Max Pooling)과 특징 지도 내 해당 영역의 평균값을 구하는 평균 통합(Average Pooling) 등이 있을 수 있다. 통합 층의 특징지도는 일반적으로 이전 층의 특징 지도보다 입력 영상에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 통합층은 입력 영상 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 보다 강인한 특징을 추출할 수 있게 되고, 이러한 특징은 분류 성능에 중요한 역할을 할 수 있다. 또 다른 통합 층의 역할은, 깊은 구조상에서 상위의 학습 층으로 올라갈수록 더 넓은 영역의 특징을 반영할 수 있게 하는 것으로서, 특징 추출 층이 쌓이면서, 하위 층에서는 지역적인 특징을 반영하고 상위 층으로 올라 갈수록 보다 추상적인 전체 영상의 특징을 반영하는 특징 생성할 수 있다.

이와 같이, 콘벌루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-Layer Perceptron)이나 서포트 벡터 머신(SVM: Support Vector Machine)과 같은 분류 모델이 완전 연결 층(Fullyconnected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.

다만, 본 발명의 실시예들에 따른 인공지능 모델 중 심층신경망의 구조는 이에 한정되지 아니하고, 다양한 구조의 신경망으로 형성될 수 있다.

장치(30)는 인공지능 모델에 추출된 이미지 및 식별하고자 하는 객체의 속성을 입력하여, 객체의 라벨을 출력하기 위한 학습을 수행할 수 있다,

장치(30)는 레이블 영상에 기반하여 획득한 레이블 데이터를 인공지능 모델을 기반으로 학습할 수 있다. 장치(30)는 획득한 영상으로부터 추출된 이미지 및 식별하고자 하는 객체의 속성을 인공지능 모델에 입력하여 학습할 수 있다. 이때, 인공지능 모델은 레이블 영상을 기반으로 학습된 것일 수 있으나, 이에 한정되지는 않는다.

이때, 객체가 사람인 경우, 예를 들어, 객체의 속성은 성별, 나이대, 상의 유형, 상의 색상, 하의 유형, 하의 색상, 안경 착용 여부, 가방 착용 여부 및 마스크 착용 여부 등을 포함할 수 있으나, 이에 한정되지는 않는다.

S203 단계에서, 장치(30)는 추출된 이미지에 객체에 대응하는 라벨을 라벨링할 수 있다.

일실시예에 따르면, 장치(30)는 추출된 이미지 객체에 바운딩 박스(bounding box)를 표시하고, 인식된 객체에 대한 정보 및 속성을 표시하여 라벨링하는 과정을 수행할 수 있다.

예를 들어, 장치(30)는 인식된 객체가 A라는 사람인 것으로 판단하면, 이미지 내에서의 'A 사람'이 나타난 영역을 바운딩 박스로 표시하고, 'A 사람'의 속성인 여자, 20대, 주황색 후드 상의, 검정색 슬랙스 하의, 안경 미착용, 가방 착용, 마스크 미착용의 속성을 표시할 수 있다.

S204 단계에서, 장치(30)는 라벨링 결과를 검수자의 단말(10)로 제공할 수 있다.

장치(30)는 추출된 이미지에 객체에 대응하는 라벨을 라벨링한 라벨링 결과를 검수자의 단말(10)로 제공할 수 있다.

라벨링 결과는 인식된 객체에 대한 정보, 속성, 위치, 특성 등에 대한 정보를 포함할 수 있으나, 이에 한정되지는 않는다.

장치(30)는 자동으로 생성된 라벨링 결과를 인간 검수자에게 제공하여 라벨링 결과의 정확성을 확장하고 필요한 수정을 수행할 수 있도록 함으로써, 인공지능 모델의 성능 향상과 데이터의 품질이 향상되도록 할 수 있다.

S205 단계에서, 장치(30)는 검수자의 단말(10)로부터 라벨링 결과에 대한 검수 정보를 수신할 수 있다.

일실시예에 따르면, 장치(30)는 라벨렝 결과를 검수할 수 있는 라벨링 검수 페이지를 생성하여 라벨링 검수 페이지를 포함하는 검수 요청을 검수자의 단말(10)로 제공할 수 있다. 장치(30)는 검수자의 단말(10)로부터 라벨링 검수 페이지를 통해 입력된 오류로 판단된 객체의 이미지, 정상으로 판단된 객체의 이미지 및 올바르게 부여한 수정된 라벨에 대한 정보 등을 포함하는 검수자로부터 생성된 라벨링 결과를 포함하는 검수 정보를 검수자의 단말(10)로부터 수신하여 데이터베이스에 저장할 수 있다.

이때, 검수 정보는 오류로 판단된 객체의 이미지, 정상으로 판단된 객체의 이미지 및 올바르게 부여한 수정된 라벨에 대한 정보, 누락된 속성에 대한 정보 등을 포함할 수 있으나, 이에 한정되지는 않는다.

라벨링 결과에 대한 검수 정보는 인공지능 모델의 정확성과 품질을 유지하고 개선하기 위해서 중요한 역할을 하며, 후의 인공지능 모델 학습에 사용되거나 학습 데이터의 품질 향상을 위해 데이터 세트를 조정하는데 활용될 수 있다.

S206 단계에서, 장치(30)는 검수 정보를 기반으로 학습 데이터를 생성할 수 있다. 이때, 검수 정보를 기반으로 학습 데이터를 생성하는 과정에 대한 자세한 설명은 도 3을 참조하여 후술하기로 한다.

S207 단계에서, 장치(30)는 생성된 학습 데이터를 기반으로 인공지능 모델의 학습을 수행할 수 있다.

장치(30)는 먼저 생성된 학습 데이터를 로드하고, 학습 데이터에는 이미지와 해당 이미지에 대한 정확한 라벨(또는 객체의 속성)이 포함되어 있다. 장치(30)는 학습 데이터를 학습 데이터 세트, 검증 데이터 세트 및 테스트 데이터 세트로 분할할 수 있다.

장치(30)는 학습 데이터는 큰 양의 이미지로 구성되어 있으므로 메모리에 한 번에 모두 로드할 수 없기 때문에, 학습 데이터를 미니배치(mini-batch)로 나누어 모델에 공급하고, 각 미니배치는 이미지와 해당 이미지의 라벨로 구성될 수 있다.

장치(30)는 이미지나 데이터의 특징을 추출하고 패턴을 학습하기 위한 계층(Layer)으로 구성되는 인공신경망(Deep Neural Network) 아키텍처를 선택할 수 있으며, 예를 들어, 합성곱 신경망(Convolutional Neural Network, CNN)이 이용될 수 있으나, 이에 한정되지는 않는다.

장치(30)는 인공지능 모델의 성능을 평가하고 손실을 최소화하기 위한 손실 함수를 정의할 수 있다. 예를 들어, 손실 함수는 평균 제곱 오차(Mean Squared Error, MSE) 또는 교차 엔트로피 손실(Cross-Entropy Loss) 등이 포함할 수 있으며, 이에 한정되지는 않는다.

장치(30)는 인공지능 모델의 가중치를 업데이트하기 위한 옵티마이저를 선택할 수 있으며, 예를 들어, 확률적 경사하강법(SGD), Adam, RMSProp 등을 포함할 수 있으나, 이에 한정되지는 않는다.

장치(30)는 미니배치 데이터를 모델에 입력하고 예측을 수행하고, 손실 함수를 사용하여 예측과 실제 라벨 사이의 오차를 계산하고, 역전파(backpropagation) 알고리즘을 사용하여 오차를 모델의 가중치로 역전파하여 가중치를 조정하고, 옵티마이저를 사용하여 가중치를 업데이트하는 반복적인 과정을 수행함으로써, 손실을 최소화하도록 인공지능 모델의 가중치를 조정하는 과정을 수행할 수 있다.

장치(30)는 일정한 간격으로 모델을 검증 데이터에 대해 평가하여 모델의 일반화 성능을 확인하고, 평가 지표를 사용하여 모델의 성능을 모니터링하고, 과적합을 방지하기 위해 필요한 경우 모델을 조정할 수 있다.

장치(30)는 미리 정의된 학습 반복 횟수(에포크) 또는 일정한 성능 기준을 충족하면 학습을 종료하고, 학습된 모델 가중치를 저장할 수 있다. 이때, 학습 반복 횟수 및 성능 기준은 실시예에 따라 상이하게 설정될 수 있다.

S208 단계에서, 장치(30)는 학습 결과에 기반하여, 인공지능 모델을 업데이트할 수 있다. 이때, 인공지능 모델을 업데이트하는 과정에 대한 설명은 도 4 및 도 6을 참조하여 후술하기로 한다.

도 3은 일실시예에 따른 검수 정보를 기반으로 학습 데이터를 생성하는 과정을 설명하기 위한 순서도이다.

도 3을 참조하면, 먼저, S301 단계에서, 장치(30)는 검수 정보로부터, 이미지가 정상 분류로 판단된 것에 해당하는 정상 이미지 및 오류 분류로 판단된 것에 해당하는 오류 이미지로 분류할 수 있다.

장치(30)는 검수자의 단말(10)로부터 인공지능 모델에 입력된 이미지 중 라벨링 결과가 올바르게 분류된 정상 이미지 및 라벨링 결과에 오류가 있는 것으로 분류된 오류 이미지에 대한 검수 정보를 수신하여 데이터베이스에 저장할 수 있다.

이때, 정상 이미지는 인공지능 모델이 실제로 올바르게 분류한 이미지를 의미할 수 있다. 즉, 정상 이미지는 인공지능 모델이 예측한 객체의 라벨과 검수자가 판단한 객체의 라벨의 결과가 일치하는 이미지를 의미할 수 있다. 정상 이미지는 인공지능 모델의 라벨링 결과와 검수 정보에 포함된 라벨링 결과가 일치하는 객체를 포함하는 이미지를 의미할 수 있다.

오류 이미지는 인공지능 모델이 예측한 객체의 라벨과 검수자가 판단한 객체의 라벨의 결과가 일치하지 않는 이미지로서, 즉, 인공지능 모델이 이미지에 포함된 객체의 라벨링하는 과정에서 오류가 발생한 이미지를 의미할 수 있다. 오류 이미지는 인공지능 모델의 라벨링 결과와 검수 정보에 포함된 라벨링 결과가 일치하지 않는 객체를 포함하는 이미지를 의미할 수 있다.

S302 단계에서, 장치(30)는 이미지 중 오류 이미지의 비율인 오류 비율을 산출할 수 있다.

장치(30)는 인공지능 모델에 입력된 이미지 중에서 오류 이미지가 차지하는 비율인 오류 비율을 산출할 수 있다.

S303 단계에서, 장치(30)는 오류 비율과 미리 설정된 기준을 비교할 수 있다. 이때, 미리 설정된 기준은 실시예에 따라 상이하게 설정될 수 있다.

S304 단계에서, 장치(30)는 오류 비율이 미리 설정된 기준 미만인 경우, 라벨링된 정상 이미지 및 검수 정보에 기반하여 재라벨링된 오류 이미지를 학습 데이터로 생성할 수 있다.

장치(30)는 오류 비율이 미리 설정된 기준 미만인 경우, 검수 정보에 기반하여 오류 이미지를 재라벨링하여 오류 이미지를 수정하고, 수정된 오류 이미지와 라벨링된 정상 이미지를 결합하여 인공지능 모델의 학습 데이터로 생성할 수 있다.

S305 단계에서, 장치(30)는 오류 비율이 미리 설정된 기준 이상인 경우, 검수 정보로부터 오류 지수를 결정할 수 있다.

일실시예에 따르면, 장치(30)는 오류 비율이 미리 설정된 기준 이상인 경우, 오류 이미지에서의 오류 영역의 크기 및 오류의 개수를 기반으로 오류 지수를 결정할 수 있다.

오류 영역의 크기는 오류 이미지에서 라벨링 결과로부터 인식된 객체를 표시하는 바운딩 박스의 영역과 검수 정보의 라벨링 결과로부터 검수자로터 표시된 바운딩 박스의 영역의 크기의 차이를 의미할 수 있다.

오류의 개수는 오류 이미지에서의 라벨링 결과로부터 객체의 라벨과 검수 정보의 라벨링 결과로부터 객체의 라벨이 일치하지 않는 객체의 개수를 의미할 수 있다.

장치(30)는 오류 영역의 크기가 클수록, 오류의 개수가 많을수록 오류 지수를 높게 결정하고, 오류 영역의 크기가 작을수록, 오류의 개수가 적을수록 오류 지수를 낮게 결정할 수 있다.

S306 단계에서, 장치(30)는 오류 지수가 기준 지수를 초과하는 경우, 객체의 속성을 수정할 수 있다.

장치(30)는 오류 지수와 미리 설정된 기준 지수를 비교하고, 오류 지수가 기준 지수를 초과하는 경우, 객체의 속성을 수정할 수 있다. 이때, 미리 설정된 기준 지수는 실시예에 따라 상이하게 설정될 수 있다.

구체적으로, 장치(30)는 인공지능 모델에 입력되는 객체의 속성을 변경하되, 오류 지수에 기반하여 객체의 속성 중 변경할 항목의 개수 및 변경 정도를 조절하여 객체의 속성을 수정할 수 있다.

일실시예에 따르면, 장치(30)는 오류 지수가 높을수록 객체의 속성 중 변경할 항목의 개수를 많게, 변경 정도를 크게 조절하고, 오류 지수가 낮을수록 객체의 속성 중 변경할 항목의 개수를 적게, 변경 정도를 적게 조절할 수 있다.

예를 들어, 장치(30)는 오류 지수에 기반하여 결정된 변경할 항목의 개수 및 변경 정도를 검수자의 단말(10)로 제공할 수 있으며, 검수자는 수신한 변경할 항목의 개수 및 변경 정도에 대한 정보를 반영하여 변경할 객체의 항목 및 변경 정도를 결정하고, 검수자로부터 결정된 변경할 객체의 항목 및 변경 정도를 기존의 학습 데이터에 적용하여, 객체의 속성을 수정하는 과정을 수행할 수 있다.

장치(30)는 오류 지수에 기반하여 객체의 속성을 수정하는 과정을 통해 인공지능 모델이 더 정확한 예측을 수행할 수 있도록 할 수 있으며, 수정된 객체의 속성은 데이터의 품질을 향상시킬 수 있다. 예를 들어, 장치(30)는 인공지능 모델이 인식하기 어려운 특정 속성을 변경함으로써, 특정 속성에 대하여 더 정확하게 인식하도록 조정할 수 있다.

S307 단계에서, 장치(30)는 수정된 객체의 속성을 인공지능 모델에 입력할 수 있다.

도 4는 일실시예에 따른 인공지능 모델을 업데이트하는 과정을 설명하기 위한 순서도이다.

도 4를 참조하면, 먼저, S401 단계에서, 장치(30)는 인공지능 모델의 성능이 미리 설정된 기준을 만족하는 경우, 인공지능 모델의 학습 데이터를 유지할 수 있다. 이때, 미리 설정된 기준은 실시예에 따라 상이하게 설정될 수 있다.

장치(30)는 생성된 학습 데이터를 기반으로 인공지능 모델의 학습을 수행하고, 인공지능 모델의 학습 결과에 따라 인공지능 모델의 성능을 평가할 수 있다.

일실시예에 따르면, 장치(30)는 학습 데이터 중 일부를 테스트 데이터로 사용하여 학습이 완료된 인공지능 모델의 성능을 평가할 수 있다. 이때, 테스트 데이터는 학습 과정에서 사용되지 않는 데이터로서, 학습 데이터 중 미리 설정된 양의 일부분의 학습 데이터를 포함할 수 있다. 이때, 미리 설정된 양은 실시예에 따라 상이하게 설정될 수 있다.

장치(30)는 인공지능 모델의 학습 결과로부터 정확도 (Accuracy), 정밀도 (Precision), 재현율 (Recall), F1 점수 (F1-Score) 등의 평가 지표를 산출할 수 있으며, 산출된 평가 지표의 각 값을 합산하여 인공지능 모델의 성능에 대한 평가 점수를 결정할 수 있다.

이때, 인공지능 모델의 평가 점수가 높을수록 인공지능 모델의 성능이 우수한 것으로 평가할 수 있으며, 평가 점수가 낮을수록 인공지능 모델의 성능에 개선이 필요한 것으로 판단할 수 있다.

장치(30)는 인공지능 모델의 성능이 미리 설정된 기준을 만족하는 경우, 인공지능 모델의 성능이 우수한 것으로 판단하여, 기존의 학습 데이터를 유지할 수 있다.

S402 단계에서, 장치(30)는 인공지능 모델의 성능이 미리 설정된 기준을 만족하지 않는 경우, 인공지능 모델의 성능에 기반하여 추가 학습 데이터의 양을 결정할 수 있다. 이때, 추가 데이터의 양을 결정하는 과정에 대한 자세한 설명은 도 7을 참조하여 후술하기로 한다.

장치(30)는 인공지능 모델의 성능이 미리 설정된 기준을 만족하지 않는 경우, 인공지능 모델이 성능이 개선이 필요한 것으로 판단하여, 추가 학습 데이터의 양을 결정하고, 기존 학습 데이터에 추가 학습 데이터를 추가하여 수정 학습 데이터를 생성할 수 있다.

일실시예에 따르면, 장치(30)는 인공지능 모델의 성능의 평가 점수가 낮을수록 추가 학습 데이터의 양을 많이 결정하고, 인공지능 모델의 성능의 평가 점수가 높을수록 추가 학습 데이터의 양을 적게 결정할 수 있다.

장치(30)는 인공지능 모델이 낮은 성능을 보일 때, 이는 모델이 훈련 데이터에 대한 부족한 학습 또는 과적합으로 인한 문제 등을 나타낼 수 있으므로, 추가 학습 데이터의 양을 많이 결정하여 모델에 더 많은 다양한 예제를 제공하여 일반화 능력을 향상시킬 수 있다. 또한, 모델이 예측을 더 정확하게 수행하도록 개선할 수 있다.

장치(30)는 인공지능 모델의 성능이 낮은 경우 추가 학습 데이터로 인공지능 모델을 개선하고, 성능이 이미 높은 경우에는 지나치게 많은 데이터를 수집하거나 사용하지 않도록 하여 성능 평가 점수와 추가 학습 데이터 양은 적절한 균형을 유지할 수 있다.

또한, 장치(30)는 추가 학습 데이터 수집과 레이블링은 비용과 시간이 소요되는 작업으로서, 추가 학습 데이터의 양을 결정할 때 비용과 효율성을 고려할 수 있다. 인공지능 모델의 성능이 이미 높은 경우 비용을 최소화하면서도 성능 개선을 목표로 할 수 있다.

S403 단계에서, 장치(30)는 다른 영상들로부터, 수정 학습 데이터를 생성할 수 있다.

구체적으로, 장치(30)는 다른 영상들로부터, 객체의 속성과 적어도 어느 하나 이상 일치하는 속성을 포함하는 다른 객체의 이미지를 결정된 추가 학습 데이터의 양에 따라 수집하고, 수집한 추가 학습 데이터를 학습 데이터에 추가하여, 수정 학습 데이터를 생성할 수 있다.

일실시예에 따르면, 장치(30)는 웹 사이트로부터 웹 사이트에 업로드된 영상을 수집할 수 있으며, 객체의 속성과 관련된 키워드를 웹 크롤링 또는 API를 이용하여 객체의 속성과 적어도 어느 하나 이상 일치하는 속성을 포함하는 다른 영상들을 수집할 수 있다. 장치(30)는 수집한 다른 영상들로부터 프레임을 추출하여 이미지로 변환하여 객체의 속성과 적어도 어느 하나 이상 일치하는 속성을 포함하는 다른 객체의 이미지를 수집할 수 있다.

예를 들어, 장치(30)는 객체의 속성 중 '상의 색상'이 일치하는 경우 해당 속성을 가진 다른 객체의 이미지를 수집할 수 있다.

이때, 장치(30)는 결정된 추가 학습 데이터의 양이 미리 설정된 제1 기준 미만인 경우, 객체와 속성이 일치하는 속성이 하나인 다른 객체의 이미지를 수집할 수 있다. 이때, 제1 기준은 실시예에 따라 상이하게 설정될 수 있다.

예를 들어, 결정된 추가 학습 데이터의 양이 미리 설정된 제1 기준 미만인 경우, 장치(30)는 객체의 속성 중 '상의 색상'의 속성 하나가 일치하는 다른 객체의 이미지를 결정된 추가 학습 데이터의 양만큼 수집할 수 있다.

장치(30)는 결정된 추가 학습 데이터의 양이 미리 설정된 제1 기준 이상이면서 미리 설정된 제2 기준 미만인 경우, 객체의 속성과 일치하는 속성이 하나인 이미지와 객체의 속성과 일치하는 속성이 2개인 이미지를 결정된 추가 학습 데이터의 양에 따라 수집할 수 있다. 이때, 미리 설정된 제2 기준은 실시예에 따라 상이하게 설정될 수 있다.

예를 들어, 결정된 추가 학습 데이터의 양이 제1 기준 이상이면서 미리 설정된 제2 기준 미만인 경우, 장치(30)는 객체의 속성 중 '상의 색상'의 속성 하나가 일치하는 다른 객체의 이미지 및 객체의 속성 중 '상의 색상' 및 '성별'의 속성 두개가 일치하는 다른 객체의 이미지를 결정된 추가 학습 데이터의 양만큼 수집할 수 있다.

장치(30)는 결정된 추가 학습 데이터의 양이 미리 설정된 제2 기준 이상인 경우, 객체의 속성과 일치하는 속성이 하나인 이미지, 객체의 속성과 일치하는 속성이 2개인 이미지 및 객체의 속성과 일치하는 이미지가 3개인 이미지를 결정된 추가 학습 데이터의 양에 따라 수집할 수 있다.

예를 들어, 결정된 추가 학습 데이터의 양이 제2 기준 이상인 경우, 장치(30)는 장치(30)는 객체의 속성 중 '상의 색상'의 속성 하나가 일치하는 다른 객체의 이미지, 객체의 속성 중 '상의 색상' 및 '성별'의 속성 두개가 일치하는 다른 객체의 이미지 및 객체의 속성 중 '상의 색상', '성별' 및 '나이대'의 속성 3개가 일치하는 다른 객체의 이미지를 결정된 추가 학습 데이터의 양만큼 수집할 수 있다.

S404 단계에서, 장치(30)는 객체의 속성에 포함되는 항목 별 평균 오류율을 산출할 수 있다.

이때, 객체가 사람인 경우, 예를 들어, 객체의 속성은 성별, 나이대, 상의 유형, 상의 색상, 하의 유형, 하의 색상, 안경 착용 여부, 가방 착용 여부 및 마스크 착용 여부 등을 포함할 수 있으며, 장치(30)는 객체의 속성에 포함되는 성별, 나이대, 상의 유형, 상의 색상, 하의 유형, 하의 색상, 안경 착용 여부, 가방 착용 여부 및 마스크 착용 여부의 각각의 항목 별 평균 오류율을 산출할 수 있다.

S405 단계에서, 장치(30)는 항목 중 오류율이 제1 수준인 항목에 해당하는 속성을 포함하는 다른 객체의 이미지를 수집하여 수정 학습 데이터에 추가할 수 있다.

이때, 제1 수준, 제2 수준 및 제3 수준은 실시예에 따라 상이하게 설정될 수 있으며, 장치(30)는 오류율이 제1 수준에 해당하는 항목은 오류율이 상대적으로 높은 수준에 해당하는 항목을 포함할 수 있으며, 오류율이 제2 수준에 해당하는 항목은 오류율이 중간 수준에 해당하는 항목을 포함할 수 있으며, 오류율이 제3 수준에 해당하는 항목은 오류율이 상대적으로 낮은 수준에 해당하는 항목을 포함할 수 있다.

장치(30)는 속성에 포함되는 항목 중 오류율이 다른 항목에 비하여 상대적으로 가장 높은 제1 수준인 항목에 해당하는 속성을 포함하는 다른 객체의 이미지를 수집하여 수정 학습 데이터에 추가할 수 있다.

예를 들어, 장치(30)는 속성에 포함되는 항목 종 오류율이 제1 수준에 포함되는 항목이 '하의 유형'인 경우, 객체의 하의 유형과 일치하는 속성을 포함하는 다른 객체의 이미지를 수집하여 수정 학습 데이터에 추가할 수 있다.

장치(30)는 속성의 오류율이 제1 수준으로 높다는 것은 인공지능 모델이 제1 수준에 해당하는 속성을 잘못 예측하거나 처리하는 데 어려움을 겪고 있다고 판단할 수 있다. 장치(30)는 수정 학습 데이터에 제1 수준의 속성을 가진 객체의 이미지를 추가함으로써, 인공지능 모델이 제1 수준에 해당하는 속성을 더 잘 이해하고 처리할 수 있도록 하고, 오류 감소 및 모델의 정확도를 향상시킬 수 있다.

장치(30)는 학습 데이터를 추가함으로써 오류율이 높은 속성에 대한 인공지능 모델의 예측을 개선시킬 수 있다. 제1 수준에 해당하는 속성을 보완하는 추가 데이터를 수집하면 모델이 해당 속성을 처리할 때 더 나은 성능을 발휘하도록 할 수 있다.

S406 단계에서, 장치(30)는 항목 중 오류율이 제2 수준인 항목에 해당하는 속성의 세부 속성을 포함하는 다른 객체의 이미지를 수집하여 수정 학습 데이터에 추가할 수 있다.

장치(30)는 속성에 포함되는 항목 중 오류율이 중간 수준인 제2 수준인 항목에 해당하는 세부 속성을 포함하는 다른 객체의 이미지를 수집하여 수정 학습 데이터에 추가할 수 있다.

예를 들어, 장치(30)는 속성에 포함되는 항목 종 오류율이 제2 수준에 해당되는 항목이 '나이대'이고, 기존이 나이대의 항목이 0~9세, 10대, 20대, 30대, 40대, 50대, 60대, 70대 이상인 경우, '나이대'에 대하여 0~5세, 6세~9세, 10~14세, 15~19세, 20~24세, 25~29세, 30~34세, 35~39세, 40~44세, 45세~49세, 50~54세, 55~59세, 60세~64세, 65세~69세, 70대 이상의 세부 속성을 포함하는 이미지를 수집하여 수정 학습 데이터에 추가할 수 있다.

장치(30)는 세부 속성을 포함하는 다른 객체의 이미지를 수정 학습 데이터에 추가함으로써, 인공지능 모델이 객체의 세부 속성을 더 정확하게 학습하고 처리하도록 하여, 인공지능 모델의 정확성을 향상시키며 오류를 줄일 수 있다.

S407 단계에서, 장치(30)는 항목 중 오류율이 제3 수준인 항목에 해당하는 속성을 포함하는 다른 객체의 이미지를 수정 학습 데이터에서 일부 삭제할 수 있다.

장치(30)는 속성에 포함되는 항목 중 오류율이 상대적으로 가장 낮은 수준인 제3 수준인 항목에 해당하는 속성을 포함하는 다른 객체의 이미지를 수정 학습 데이터에서 추출하고, 추출된 이미지를 수정 학습 데이터에서 일부 삭제할 수 있다. 이때, 일부에 해당하는 이미지의 양은 실시예에 따라 상이하게 설정될 수 있다.

예를 들어, 장치(30)는 속성에 포함되는 항목 중 오류율이 제3 수준에 해당되는 항목이 '빨간색 상의 색상'인 경우, 장치(30)는 수정 학습 데이터에서 빨간색 상의 색상에 해당하는 다른 객체의 이미지를 추출하여 추출된 이미지의 일부를 수정 학습 데이터에서 삭제할 수 있다.

장치(30)는 오류율이 가장 낮은 항목에 해당하는 속성을 가진 다른 객체의 이미지를 일부 삭제함으로써, 학습 데이터의 클래스 불균형 문제를 해소하도록 할 수 있다. 또한, 오류율이 상대적으로 낮은 항목에 해당하는 데이터를 삭제함으로써, 학습 시간이 단축되도록 할 수 있으며, 저장 공간을 절약하고 컴퓨팅 리소스를 관리하고 효율적으로 사용할 수 있도록 할 수 있다.

S408 단계에서, 장치(30)는 수정 학습 데이터를 기반으로 인공지능 모델의 재학습을 수행하여, 인공지능 모델을 업데이트할 수 있다. 장치(30)는 S207 단계와 동일한 방법으로 수정 학습 데이터를 기반으로 인공지능 모델의 재학습을 수행할 수 있다.

도 5는 일실시예에 따른 인공지능 모델의 학습 진행 상황의 모니터링 화면을 생성하는 과정을 설명하기 위한 순서도이다.

일실시예에 따르면, 장치(30)는 인공지능 모델의 학습 진행 상황을 모니터링 할 수 있는 모니터링 화면을 생성하고, 모니터링 화면을 검수자의 단말(10)로 제공하는 과정을 수행할 수 있다.

도 5를 참조하면, 먼저, S501 단계에서, 장치(30)는 인공지능 모델의 학습 경과 시간을 산출할 수 있다.

장치(30)는 인공지능 모델의 학습 시작 시점부터 현재 시점까지의 기간인 학습 경과 시간을 산출할 수 있다.

S502 단계에서, 장치(30)는 학습 경과 시간에 기반하여 모니터링 화면의 밝기를 조정할 수 있다.

일실시예에 따르면, 장치(30)는 학습 경과 시간이 진행될수록 밝기를 점점 어둡게 설정할 수 있으며, 학습이 완료된 경우, 모니터링 화면의 밝기를 최대 밝기로 조정할 수 있다. 이때, 모니터링 화면의 밝기를 조정하는 과정은 예시일 뿐 이에 한정되지는 않는다.

장치(30)는 학습 경과 시간에 기반하여 모니터링 화면의 밝기를 조정함으로써 사용자가 학습 진행 상황을 시각적으로 쉽게 인식할 수 있도록 할 수 있다. 또한, 학습이 오랜 시간 동안 진행되는 경우, 화면을 어둡게 설정하여 사용자의 눈을 피로로부터 보호하고, 학습이 완료된 경우 화면을 밝게 설정하여 사용자가 학습 진행 상황 및 학습 결과를 확인하기 용이하도록 할 수 있다.

또한, 장치(30)는 모니터링 화면의 밝기를 학습 경과 시간에 따라 조정함으로써, 전력 소비를 줄일 수 있으며 에너지를 절약할 수 있다.

장치(30)는 모니터링 화면의 밝기 조정을 통해 사용자에게 학습 진행 상황을 효과적으로 전달하여 사용자는 모델의 학습 상태를 용이하게 파악하도록 할 수 있다.

S503 단계에서, 장치(30)는 학습 데이터 중 학습이 완료된 학습 데이터, 학습이 진행중인 학습 데이터 및 학습이 진행전인 학습 데이터의 비율을 확인할 수 있다.

장치(30)는 인공지능 모델의 학습 데이터 중 학습이 완료된 학습 데이터, 학습이 진행중인 학습 데이터 및 학습이 진행전인 학습 데이터를 확인하고, 학습 데이터 중 학습이 완료된 학습 데이터, 학습이 진행중인 학습 데이터 및 학습이 진행전인 학습 데이터의 각각이 차지하는 비율을 확인할 수 있다.

S504 단계에서, 장치(30)는 모니터링 화면의 색상을 결정할 수 있다.

구체적으로, 장치(30)는 학습 데이터 중 학습이 완료된 학습 데이터의 비율이 가장 높은 경우, 모니터링 화면의 색상을 제1 색상으로 표시하고, 학습이 진행중인 학습 데이터의 비율이 가장 높은 경우, 모니터링 화면의 색상을 제2 색상으로 표시하고, 학습이 진행전인 학습 데이터의 비율이 가장 높은 경우, 모니터링 화면의 색상을 제3 색상으로 표시할 수 있다.

이때, 제1 색상, 제2 색상 및 제3 색상은 실시예에 따라 상이하게 설정될 수 있으며, 제1 색상, 제2 색상 및 제3 색상은 서로 상이한 색상으로 설정되는 것이 바람직하다.

예를 들어, 제1 색상은 빨간색, 제2 색상은 노란색, 제3 색상은 초록색으로 설정될 수 있으나, 이에 한정되지는 않는다.

장치(30)는 각 학습 데이터의 학습 상태에 따라 모니터링 화면의 색상을 다르게 표시함으로써, 사용자에게 현재 학습 진행 상태를 시각적으로 강조할 수 있다. 이는, 사용자가 한 눈에 어떤 데이터가 학습 완료되었고 어떤 데이터가 진행 중 또는 진행 전인지 파악할 수 있도록 할 수 있다.

또한, 사용자가 화면의 색상을 통해 어떤 데이터가 처리 중인지 신속하게 이해할 수 있으며, 빠르게 데이터 상태를 이해할 수 있다. 즉, 장치(30)는 학습 데이터의 상태에 따라 모니터링 화면의 색상을 변경함으로써, 정보 전달과 시각적 효과 측면에서 다양한 효과를 제공할 수 있다.

S505 단계에서, 장치(30)는 학습 데이터의 양에 기반하여 제1 색상 내지 제3 색상의 채도를 결정할 수 있다.

일실시예에 따르면, 장치(30)는 학습 데이터의 양이 많을수록 제1 색상 내지 제3 색상의 채도를 높게 결정하고, 학습 데이터의 양이 적을수록 제1 색상 내지 제3 색상의 채도를 낮게 결정할 수 있다.

장치(30)는 학습 데이터가 많을 때 높은 채도의 색상을 사용하면 모델의 학습 완료 상태가 시각적으로 더 명확하게 강조할 수 있으며, 사용자에게 모델의 진행 상황을 더 잘 전달할 수 있다.

또한, 채도가 높은 색상은 주목성이 높고 시선을 끌기 쉽기 때문에 많은 양의 데이터가 처리중인 경우 사용자가 작업에 집중하도록 유도할 수 있다. 반대로 학습 데이터의 양이 적은 경우, 채도를 낮게 조정함으로써, 에너지를 절약할 수 있다. 채도가 높을수록 전력 소비가 높아질 수 있으므로, 학습 데이터의 양에 맞게 색상을 조절하면 에너지 효율성을 개선할 수 있다.

S506 단계에서, 장치(30)는 학습에 사용된 학습 데이터에 포함된 이미지 중 객체의 속성의 항목과 일치하는 항목의 개수에 비례하여 객체를 표시하는 바운딩 박스의 굵기를 굵게 표시할 수 있다.

장치(30)는 학습에 사용된 학습 데이터에 포함된 다른 객체를 포함하는 이미지를 라벨링하는 과정에서 객체의 속성의 항목과 일치하는 다른 객체의 항목의 개수에 비례하여 다른 객체를 표시하는 과정에서 바운딩 박스의 굵기를 굵게 표시할 수 있다.

장치(30)는 바운딩 박스의 굵기를 일치하는 속성의 항목의 개수에 비례하여 더 굵게 표시함으로써, 해당 객체 시각적으로 강조할 수 있으며, 사용자에게 객체의 중요성을 시각적으로 전달하고 모델의 결과를 더 명확하게 이해하게 하도록 할 수 있다.

또한, 굵은 바운딩 박스를 통해 객체의 속성 일치 정도를 시각적으로 표현할 수 있으며, 사용자는 한 눈에 객체의 속성 일치 정도를 이해할 수 있으며, 모델이 속성을 얼마나 정확하게 식별했는지를 파악할 수 있다.

굵은 바운딩 박스는 객체를 다른 객체와 시각적으로 분리하는 효과가 있으며, 이를 통해 사용자는 여러 객체 중에서 속성 일치가 높은 객체를 쉽게 식별할 수 있다.

바운딩 박스의 굵기 조절은 시각적 효과를 높일 수 있으며, 중요한 객체나 속성을 강조할 때 유용하며, 사용자에게 더 많은 정보를 전달할 수 있다.

장치(30)는 객체의 속성 일치를 바운딩 박스의 굵기를 통해 시각적으로 표시함으로써 사용자는 모델의 결과를 이해하고 검토하는 데 편의성을 느낄 수 있도록 한다.

S507 단계에서, 장치(30)는 밝기, 색상, 채도 및 바운딩 박스의 굵기를 결합하여 모니터링 화면을 생성할 수 있다.

장치(30)는 밝기, 색상, 채도 및 바운딩 박스의 굵기를 결합하여 생성된 모니터링 화면을 검수자에게 제공함으로써, 여러가지 정보와 인공지능 모델의 학습 상태를 시각적으로 전달할 수 있으며, 이러한 다양한 시각적 속성은 사용자에게 더 많은 정보를 제공하고 모델의 학습 상태를 효과적으로 표현하도록 할 수 있다.

즉, 장치(30)는 밝기, 색상, 채도 및 바운딩 박스의 굵기를 결합하여 모니터링 화면을 생성하여, 시각적 다양성과 정보 풍부성을 제공하여 모델의 결과를 더 잘 이해하고 검토할 수 있도록 한다.

도 6은 일실시예에 따른 인공지능 모델과 연관된 리뷰 콘텐츠를 기반으로 인공지능 모델을 업데이트하는 과정을 설명하기 위한 순서도이다.

도 6을 참조하면, 먼저, S601 단계에서, 장치(30)는 미리 설정된 기간 동안 웹 사이트로부터 인공지능 모델과 연관된 리뷰 콘텐츠를 수집할 수 있다. 이때, 미리 설정된 기간은 실시예에 따라 상이하게 설정될 수 있다.

일실시예에 따르면, 장치(30)는 리뷰 콘텐츠가 업로드된 웹 사이트로부터 인공지능 모델과 연관된 연관 키워드를 검색하여 인공지능 모델과 연관된 리뷰 콘텐츠를 수집할 수 있다.

예를 들어, 인공지능 모델과 연관된 연관 키워드는 인공지능 모델의 모델 유형, 학습 방법, 레이블, 학습 데이터, 응용 분야 등에 관한 키워드를 포함할 수 있으나, 이에 한정되지는 않는다.

예를 들어, 인공지능 모델의 모델 유형은 딥러닝, 머신 러닝, 강화 학습, 자연어 처리 등을 포함할 수 있으나, 이에 한정되지는 않는다.

학습 방법은 지도 학습, 비지도 학습, 강화 학습, 자동 학습 등을 포함할 수 있으나, 이에 한정되지는 않는다,

레이블은 인공지능 모델을 학습시키기 위해 사용된 학습 데이터와 관련된 키워드로, 빅 데이터, 라벨링, 데이터 전처리, 학습 데이터 수집 등을 포함할 수 있으나, 이에 한정되지는 않는다.

응용 분야는 인공지능 모델이 어떤 분야에 적용되는 지와 관련된 키워드로, 의료, 금융, 음성인식, 로봇 등을 포함할 수 있으나, 이에 한정되지는 않는다.

장치(30)는 인공지능 모델과 연관된 연관 키워드를 활용하여 웹 사이트로부터 인공지능 모델과 연관된 리뷰 콘텐츠를 수집할 수 있으나, 리뷰 콘텐츠를 수집하는 과정은 이에 한정되지 않고 다양한 방법으로 실시될 수 있다.

S602 단계에서, 장치(30)는 리뷰 콘텐츠에 대한 자연어 분석을 통해, 리뷰 콘텐츠에 사용된 키워드를 긍정 키워드 및 부정 키워드로 분류할 수 있다.

장치(30)는 리뷰 콘텐츠에 포함된 텍스트를 전처리하는 과정을 수행할 수 있다. 예를 들어, 장치(30)는 문장을 단어 단위로 분할하고 특수 문자나 공백을 제거하는 등의 전처리 과정을 수행할 수 있다.

장치(30)는 리뷰 콘텐츠를 자연어 처리 알고리즘을 사용하여 분석할 수 있다. 자연어 처리 알고리즘은 문장 구조, 어휘 의미, 문맥 등을 파악하여 단어의 긍정적 또는 부정적인 의미를 예측하는 데 활용된다.

장치(30)는 자연어 분석을 통해 추출된 단어들을 긍정 키워드와 부정 키워드로 분류할 수 있으며, 이때, 긍정 키워드는 긍정적인 의미를 가지는 단어들로, 인공지능 모델의 장점이나 성능, 좋은 점을 나타내는 단어들이 포함될 수 있으며, 부정 키워드는 부정적인 의미를 가지는 단어들로, 인공지능 모델의 단점이나 개선이 필요한 부분을 나타내는 단어들이 포함될 수 있다.

장치(30)는 리뷰 콘텐츠의 자연어 분석을 통해 단어를 자동으로 긍정 키워드와 부정 키워드로 분류하여, 검수자는 인공지능 모델의 긍정적인 측면과 부정적인 측면을 쉽게 파악할 수 있으며, 인공지능 모델의 장단점을 효율적으로 확인할 수 있다.

S603 단계에서, 장치(30)는 긍정 키워드 중 미리 설정된 기준 이상으로 언급된 키워드를 주요 키워드로 결정할 수 있다. 이때, 미리 설정된 기준은 실시예에 따라 상이하게 설정될 수 있다.

S604 단계에서, 장치(30)는 주요 키워드를 객체와 관련된 객체 키워드 및 객체의 속성과 관련된 속성 키워드로 분류할 수 있다.

예를 들어, 장치(30)는 주요 키워드 중 명사에 해당하는 단어를 객체와 관련된 객체 키워드로 분류할 수 있으며, 주요 키워드 중 형용사 및 동사에 해당하는 단어를 속성과 관련된 속성 키워드로 분류할 수 있으나, 이는 예시일 뿐 객체 키워드 및 속성 키워드를 분류하는 과정은 이에 한정되지 않고 다양한 방법으로 실시될 수 있다.

또한, 장치(30)는 주요 키워드를 검수자의 단말(10)로 제공하고, 검수자의 단말(10)로부터 주요 키워드가 객체 키워드 및 속성 키워드로 검수자에 의해 분류된 결과를 수신할 수도 있다.

S605 단계에서, 장치(30)는 인공지능 모델의 성능이 미리 설정된 제1 기준을 만족하는지 여부를 확인할 수 있다. 이때, 미리 설정된 제1 기준은 실시예에 따라 상이하게 설정될 수 있다.

장치(30)는 인공지능 모델의 성능에 대한 평가 점수가 미리 설정된 제1 기준을 만족하는지 여부를 판단할 수 있다.

S606 단계에서, 장치(30)는 인공지능 모델의 성능이 미리 설정된 제1 기준을 만족하는 경우 제1 추가 학습 데이터를 생성할 수 있다.

장치(30)는 인공지능 모델의 성능이 미리 설정된 제1 기준을 만족하는 경우, 객체 키워드에 해당하는 이미지 또는 영상을 획득하여 제1 추가 학습 데이터를 생성할 수 있다.

장치(30)는 웹 사이트로부터 객체 키워드를 검색하여 객체 키워드에 해당하는 이미지 또는 영상을 수집할 수 있으며, 수집한 이미지 또는 영상으로 제1 추가 학습 데이터를 생성할 수 있다.

S607 단계에서, 장치(30)는 인공지능 모델의 성능이 미리 설정된 제1 기준을 만족하지 않는 경우 인공지능 모델의 성능이 미리 설정된 제2 기준을 만족하는지 여부를 확인할 수 있다. 이때, 미리 설정된 제2 기준은 실시예에 따라 상이하게 설정될 수 있다.

장치(30)는 인공지능 모델의 성능에 대한 평가 점수가 미리 설정된 제2 기준을 만족하는지 여부를 판단할 수 있다.

S608 단계에서, 장치(30)는 인공지능 모델의 성능이 제1 기준을 만족하지 않으면서, 미리 설정된 제2 기준을 만족하는 경우, 제2 추가 학습 데이터를 생성할 수 있다.

장치(30)는 인공지능 모델의 성능이 제1 기준을 만족하지 않으면서, 제2 기준을 만족하는 경우, 속성 키워드에 해당하는 이미지 또는 영상을 획득하여 제2 추가 학습 데이터를 생성할 수 있다.

장치(30)는 웹 사이트로부터 속성 키워드를 검색하여 속성 키워드에 해당하는 이미지 또는 영상을 수집할 수 있으며, 수집한 이미지 또는 영상으로 제2 추가 학습 데이터를 생성할 수 있다.

예를 들어, 속성 키워드에 해당되는 속성이 '서있는 방향'이고 속성에 해당하는 항목이 '측면'인 경우, 장치(30)는 측면으로 서있는 객체에 해당하는 이미지를 수집하여 제2 추가 학습 데이터를 생성할 수 있다.

예를 들어, 속성이 '서있는 방향'인 경우, 해당 속성에 해당하는 항목은 정면, 측면, 후면 등을 포함할 수 있으나, 이에 한정되지는 않는다.

S609 단계에서, 장치(30)는 인공지능 모델의 성능이 제2 기준을 만족하지 않는 경우, 제3 추가 학습 데이터를 생성할 수 있다.

장치(30)는 인공지능 모델의 성능이 제2 기준을 만족하지 않는 경우, 객체 키워드와 속성 키워드에 해당하는 이미지 또는 영상을 획득하여 제3 학습 데이터를 생성할 수 있다.

장치(30)는 웹 사이트로부터 객체 키워드와 속성 키워드를 검색하여 객체 키워드와 속성 키워드에 해당하는 이미지 또는 영상을 수집할 수 있으며, 수집한 이미지 또는 영상으로 제3 추가 학습 데이터를 생성할 수 있다.

일실시예에 따르면, 장치(30)는 객체 키워드 또는 속성 키워드에 해당하는 이미지 또는 영상을 수집하는 과정에서 다른 인공지능 모델을 활용하여 자동으로 이미지 또는 영상을 분류 또는 선별할 수 있다. 예를 들어, 장치(30)는 객체 탐지 모델, 이미지 분류 모델, 감정 분석 모델 등을 사용하여 이미지나 영상의 내용을 분석하고 객체 키워드 또는 속성 키워드에 해당하는 이미지 또는 영상을 추출할 수 있다. 이미지 또는 영상을 수집하는 과정은 예시일 뿐 이에 한정되지 않으며 다양한 방법으로 실시될 수 있다.

객체 탐지 모델, 이미지 분류 모델 및 감정 분석 모델을 이용하여 이미지를 수집하는 과정은 통상의 기술자에게 자명한 사항이므로 자세한 설명은 생략한다.

S610 단계에서, 장치(30)는 수정 학습 데이터에 제1 내지 제3 추가 학습 데이터를 추가하여 업데이트 학습 데이터를 생성할 수 있다.

S611 단계에서, 장치(30)는 업데이트 학습 데이터를 기반으로 인공지능 모델의 재학습을 수행하여, 인공지능 모델을 업데이트할 수 있다.

장치(30)는 S207 단계와 동일한 방법으로 업데이트 학습 데이터를 기반으로 인공지능 모델의 재학습을 수행할 수 있다.

도 7은 일실시예에 따른 추가 학습 데이터의 양을 결정하는 과정을 설명하기 위한 순서도이다.

도 7을 참조하면, 먼저, S701 단계에서, 장치(30)는 리뷰 콘텐츠에 사용된 키워드 중 제1 기간의 긍정 키워드의 언급 횟수 및 제2 기간의 긍정 키워드의 언급 횟수를 확인할 수 있다. 이때, 미리 설정된 기간은 제1 기간 및 제2 기간을 포함할 수 있으며, 제1 기간 및 제2 기간은 동일한 길이의 기간으로 설정될 수 있다.

장치(30)는 리뷰 콘텐츠에 포함된 키워드 중 제1 기간에 수집한 리뷰 콘텐츠에 포함된 긍정 키워드의 언급 횟수 및 제2 기간에 수집한 리뷰 콘텐츠에 포함된 긍정 키워드의 언급 횟수를 확인할 수 있다.

S702 단계에서, 장치(30)는 제1 기간 및 제2 기간에서의 긍정 키워드의 언급 횟수의 증감 여부에 기반하여 추가 데이터의 양을 결정할 수 있다.

장치(30)는 제1 기간 및 제2 기간 동안 언급된 긍정 키워드의 언급 횟수의 증감 여부에 기반하여 추가 데이터의 양을 결정할 수 있다.

예를 들어, 제1 기간 이후의 제2 기간에서 긍정 키워드의 언급 횟수가 증가하거나 유지된 경우, 장치(30)는 추가 데이터의 양을 미리 결정된 제1 기준량으로 결정할 수 있다. 이때, 미리 설정된 제1 기준량은 실시예에 따라 상이하게 설정될 수 있다.

장치(30)는 제1 기간 이후의 제2 기간에서 긍정 키워드의 언급 횟수가 감소한 경우, 장치(30)는 추가 데이터의 양을 미리 결정된 제2 기준량으로 결정할 수 있다. 이때, 미리 설정된 제2 기준량은 제1 기준량보다 큰 값이고, 실시예에 따라 상이하게 설정될 수 있다.

S703 단계에서, 장치(30)는 미리 설정된 기간 동안 부정 키워드의 언급 횟수의 증감 여부에 기반하여 결정된 가중치를 추가 데이터의 양에 적용하여, 추가 데이터의 양을 조정할 수 있다. 이때, 미리 설정된 기간은 실시예에 따라 상이하게 설정될 수 있다.

예를 들어, 장치(30)는 제1 기간에서의 부정 키워드의 언급 횟수 및 제2 기간에서의 부정 키워드의 언급 횟수의 차이값에 비례하여 가중치를 결정할 수 있다.

장치(30)는 미리 설정된 기간 동안 부정 키워드의 언급 횟수의 증감 여부에 기반하여 결정된 가중치를 추가 데이터의 양에 적용하여, 추가 데이터의 양을 조정할 수 있다.

장치(30)는 긍정 키워드의 증감 여부 및 부정 키워드의 증감 여부에 따라 추가 데이터의 양을 결정함으로써, 인공지능 모델의 리뷰 콘텐츠에 나타난 다른 사용자들의 의견을 반영하여 인공지능 모델의 학습을 개선시킬 수 있다.

도 8은 일실시예에 따른 장치(30)의 구성의 예시도이다.

일실시예에 따른 장치(30)는 프로세서(31) 및 메모리(32)를 포함한다. 일실시예에 따른 장치(30)는 상술한 서버 또는 단말일 수 있다. 프로세서(31)는 도 1 내지 도 7을 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 7을 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(32)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(32)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

프로세서(31)는 프로그램을 실행하고, 장치(30)를 제어할 수 있다. 프로세서(31)에 의하여 실행되는 프로그램의 코드는 메모리(32)에 저장될 수 있다. 장치(30)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.

메모리(32)는 본 발명의 실시예에 따른 인공지능 모델의 훈련을 위한 적어도 하나의 프로세스를 저장하고 있으며, 이외에도 오토 레이블링 자동화 훈련 방법을 실행하기 위한 각종 명령어, 알고리즘, 인공지능 모델 등이 저장될 수 있다.

메모리(32)는 장치(30)의 다양한 기능을 지원하는 데이터와, 제어부의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 정지영상, 이미지, 영상 등)을 저장할 수 있고, 본 장치에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 장치(30)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (3)

1. 장치에 의해 수행되는, 인공지능 모델 학습을 위한 오토 레이블링 자동화 방법에 있어서,
   영상으로부터 미리 설정된 개수에 따른 이미지를 추출하는 단계;
   인공지능 모델에 상기 추출된 이미지 및 식별하고자 하는 객체의 속성을 입력하여, 상기 객체의 라벨을 출력하는 단계;
   상기 추출된 이미지에 상기 객체에 대응하는 라벨을 라벨링하는 단계;
   상기 라벨링 결과를 검수자의 단말로 제공하는 단계;
   상기 검수자의 단말로부터 상기 라벨링 결과에 대한 검수 정보를 수신하는 단계;
   상기 검수 정보를 기반으로 학습 데이터를 생성하는 단계;
   상기 생성된 학습 데이터를 기반으로 상기 인공지능 모델의 학습을 수행하는 단계; 및
   상기 학습 결과에 기반하여, 상기 인공지능 모델을 업데이트하는 단계;를 포함하고,
   상기 검수 정보를 기반으로 학습 데이터를 생성하는 단계는,
   상기 검수 정보로부터, 상기 이미지가 정상 분류로 판단된 것에 해당하는 정상 이미지 및 오류 분류로 판단된 것에 해당하는 오류 이미지로 분류하는 단계,
   상기 이미지 중 상기 오류 이미지의 비율인 오류 비율을 산출하는 단계,
   상기 오류 비율이 미리 설정된 기준 미만인 경우, 라벨링된 정상 이미지 및 검수 정보에 기반하여 재라벨링된 오류 이미지를 학습 데이터로 생성하는 단계,
   상기 오류 비율이 미리 설정된 기준 이상인 경우, 상기 검수 정보로부터 상기 오류 이미지에서의 오류 영역의 크기 및 오류의 개수를 기반으로 오류 지수를 결정하는 단계,
   상기 오류 지수가 미리 설정된 기준 지수를 초과하는 경우, 상기 인공지능 모델에 입력되는 객체의 속성을 변경하되, 상기 오류 지수에 기반하여 상기 객체의 속성 중 변경할 항목의 개수 및 변경 정도를 조절하여 상기 객체의 속성을 수정하는 단계, 및
   상기 수정된 객체의 속성을 상기 인공지능 모델에 입력하여 상기 객체의 라벨을 출력하고, 상기 라벨링 단계부터 상기 인공지능 모델의 학습을 수행하는 단계까지 수행하는 단계를 포함하고,
   상기 인공지능 모델을 업데이트하는 단계는,
   상기 학습 결과로부터 상기 학습된 인공지능 모델의 성능을 평가하는 단계,
   상기 인공지능 모델의 성능이 미리 설정된 기준을 만족하는 경우, 상기 인공지능 모델의 학습 데이터를 유지하는 단계,
   상기 인공지능 모델의 성능이 미리 설정된 기준을 만족하지 않는 경우, 상기 인공지능 모델의 성능에 기반하여 추가 학습 데이터의 양을 결정하는 단계,
   웹 사이트로부터 수집된 다른 영상들에 포함된 다른 객체 중에서, 상기 수정된 객체의 속성과 적어도 어느 하나 이상 일치하는 속성을 포함하는 다른 객체의 이미지를 상기 결정된 추가 학습 데이터의 양에 따라 수집하고, 상기 수집한 추가 학습 데이터를 상기 학습 데이터에 추가하여, 수정 학습 데이터를 생성하는 단계,
   상기 객체의 속성에 포함되는 항목 별 평균 오류율을 산출하고, 상기 항목 중 오류율이 가장 높은 수준인 제1 수준인 항목에 해당하는 속성을 포함하는 다른 객체의 이미지를 수집하여 상기 수정 학습 데이터에 추가하는 단계,
   상기 항목 중 오류율이 중간 수준인 제2 수준인 항목에 해당하는 속성의 세부 속성을 포함하는 다른 객체의 이미지를 수집하여 상기 수정 학습 데이터에 추가하는 단계,
   상기 항목 중 오류율이 가장 낮은 수준인 제3 수준인 항목에 해당하는 속성을 포함하는 다른 객체의 이미지를 상기 수정 학습 데이터에서 일부 삭제하는 단계, 및
   상기 수정 학습 데이터를 기반으로 상기 인공지능 모델의 재학습을 수행하여, 상기 인공지능 모델을 업데이트하는 단계,를 포함하는,
   인공지능 모델 학습을 위한 오토 레이블링 자동화 방법.
2. 삭제
3. 제1항에 있어서,
   상기 인공지능 모델의 학습 진행 상황의 모니터링 화면을 생성하는 단계; 및
   상기 모니터링 화면을 상기 검수자의 단말로 전송하는 단계;를 더 포함하고,
   상기 모니터링 화면을 생성하는 단계는,
   상기 인공지능 모델의 학습 시작 시점부터 현재 시점 까지의 기간인 학습 경과 시간을 산출하는 단계,
   상기 학습 경과 시간에 기반하여 모니터링 화면의 밝기를 조정하는 단계,
   상기 학습 데이터 중 학습이 완료된 학습 데이터, 학습이 진행중인 학습 데이터 및 학습이 진행전인 학습 데이터의 비율을 확인하는 단계,
   상기 학습 데이터 중 상기 학습이 완료된 학습 데이터의 비율이 가장 높은 경우, 상기 모니터링 화면의 색상을 제1 색상으로 표시하고, 상기 학습이 진행중인 학습 데이터의 비율이 가장 높은 경우, 상기 모니터링 화면의 색상을 제2 색상으로 표시하고, 상기 학습이 진행전인 학습 데이터의 비율이 가장 높은 경우, 상기 모니터링 화면의 색상을 제3 색상으로 표시하되,
   상기 학습 데이터의 양에 기반하여 상기 제1 색상 내지 상기 제3 색상의 채도를 결정하는 단계,
   상기 학습에 사용된 학습 데이터에 포함된 이미지 중 상기 객체의 속성의 항목과 일치하는 항목의 개수에 비례하여 객체를 표시하는 바운딩 박스의 굵기를 굵게 표시하는 단계, 및
   상기 밝기, 색상, 채도 및 바운딩 박스의 굵기를 결합하여 상기 모니터링 화면을 생성하는 단계를 포함하는,
   인공지능 모델 학습을 위한 오토 레이블링 자동화 방법.