KR102422962B1

KR102422962B1 - 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법, 그리고 이를 실행시키기 위해 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램

Info

Publication number: KR102422962B1
Application number: KR1020210097632A
Authority: KR
Inventors: 박민우; 유상재; 박태상
Original assignee: 주식회사 크라우드웍스
Priority date: 2021-07-26
Filing date: 2021-07-26
Publication date: 2022-07-20
Also published as: EP4124993A1; US20230029045A1; KR20230016588A; WO2023008884A1

Abstract

다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법이 제공된다. 본 발명에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법은, 이미지데이터를 제공받는 단계, 상기 이미지데이터를 특징추출모델 중 제1 특징추출모델에 입력하여 제1 특징추출값을 생성하는 단계, 상기 이미지데이터를 상기 특징추출모델 중 제2 특징추출모델에 입력하여 제2 특징추출값을 생성하는 단계, 상기 제1 및 제2 특징추출값을 분류모델에 입력하여 상기 이미지데이터의 분류값을 결정하는 단계를 포함한다.

Description

다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법, 그리고 이를 실행시키기 위해 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램{AUTOMATIC IMAGE CLASSIFICATION AND PROCESSING METHOD BASED ON CONTINUOUS PROCESSING STRUCTURE OF MULTIPLE ARTIFICIAL INTELLIGENCE MODEL, AND COMPUTER PROGRAM STORED IN A COMPUTER-READABLE RECORDING MEDIUM TO EXECUTE THE SAME}

본 발명은 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법에 관한 것으로, 보다 구체적으로는 기존의 단일 인공지능 모델을 특징추출모델로 전환하여 추출된 특징분류값을 기반으로 분류모델에 입력하여 이미지의 분류와 자동 전처리 작업을 동시에 수행할 수 있는 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법에 관한 것이다.

인공지능 기계학습의 발달은 지적 활동의 자동화에 대한 가능성을 열고 있다는 점에서 그 파급 효과가 매우 크고 광범위할 것으로 전망된다. 최근 딥러닝을 중심으로 급격히 발전한 기계학습 기술은 실용화를 위한 요구 수준과 실제 인공지능 기술 간의 격차를 크게 좁히며 다양한 지능형 시스템의 출현을 예고하고 있다.

딥러닝은 데이터로부터 고수준의 정보를 학습하는 기술로 주로 깊은 신경망(deep neural network)에 기반한다. 딥러닝의 핵심 방법론으로는 사전학습(pre-training) 알고리즘, 컨볼루션 네트워크(CNN), 순환신경망(RNN) 등이 있다.

딥러닝은 컴퓨터비젼, 음성인식, 자율주행차, 로보틱스, 자연어 처리 등 다양한 분야에 적용되어 기존 방법을 압도하는 탁월한 성능을 보이며, 컴퓨터비젼(computer vision)과 패턴인식(pattern recognition)에서 두각을 나타내고 있다.

한편, 기계 학습(machine learning)을 이용하여 이미지를 이용하여 객체를 식별하는 방법 등에 대한 연구가 활발하게 이루어지고 있다. 이러한 기계 학습의 일환으로, 입력 레이어와 출력 레이어 사이에 여러 개의 히든 레이어(hidden layer)를 가지는 뉴럴 네트워크를 이용한 딥 러닝은 높은 식별 성능을 가진다.

이러한 딥러닝 네트워크의 학습을 진행하기 위해서는 라벨러(labeler)에 의해 개별 데이터 포인트에 태그, 즉, 라벨 또는 주석데이터(annotaion data)를 추가한 트레이닝 데이터가 필요하다. 이러한 트레이닝 데이터를 준비하는 것(즉, 데이터를 정확히 분류하는 것)은 특히, 대량의 트레이닝 데이터를 이용할 경우와 데이터 전처리의 품질이 지속적으로 높지 않을 경우, 노동 집약적이고, 비용이 많이 들며 번거로울 수 있다. 종래의 상호적인 라벨링은 비싸고 좋은 결과를 도출하지 못할 수 있다.

이를 해결하기 위해, 기업 활동의 일부 과정에 일반 대중을 참여시키는 크라우드소싱 기반으로 많은 양의 트레이닝 데이터를 수집 및 가공하는 기업들이 늘고 있다. 즉, 기업은 하나의 프로젝트를 오픈하여 일반 대중, 즉 작업자가 해당 프로젝트에 참여하게 함으로써, 작업자에 의해 완료된 작업 결과를 통해 필요한 정보를 수집하게 된다.

이때, 기업은 보다 신뢰도가 높은 정보를 수집하기 위해, 작업자에 의해 완료된 작업 결과를 검수자에게 배정하여 검수 작업을 수행하도록 한다.

구체적으로, 하나의 프로젝트가 오픈 되면, 복수의 작업자 각각에게 복수의 작업이 배정된다. 각각의 작업자는 배정받은 복수의 작업을 수행하고, 작업 결과를 제공한다. 이후, 복수의 검수자 각각에게 작업 결과에 대한 복수의 검수 작업이 배정되고, 각각의 검수자는 배정받은 복수의 검수 작업을 수행하게 된다.

최근에는 크라우드 소싱 기반의 데이터 라벨링 작업 이외에도 딥 러닝 기반의 자동 라벨링 장치를 이용하여 트레이닝 이미지에 태그, 즉 라벨을 추가하는 자동 라벨링을 수행하고, 검수자가 자동 라벨링된 트레이닝 이미지를 검수하여 상기 태그나 상기 라벨을 교정하는 방식도 등장하고 있다.

대한민국 등록특허 제10-2155839호 대한민국 공개특허 제10-2021-0012659호

자동 라벨링을 처리하기 위해서, 라벨링 목적과 형태에 따라 다양한 자동 라벨링 모델이 개발되고 있다. 예를 들어, OCR(Optical Character Recognition; 광학문자인식) 라벨링 모델은 제시된 이미지 중에서 문자 요소를 인식하고 문자를 텍스트 객체 형태로 추출하는 기능을 수행한다. 이 외에도 세그멘테이션(segmentation), 폴리곤(polygon) 바운딩박스(bounding box), 객체인식(object detection), 스켈레톤추출(skeleton extraction) 등 인공지능 모델을 학습시키기에 적합한 학습데이터를 자동으로 생성하는 다양한 오로 라벨링 모델이 연구되고 있다.

도 1에 도시된 바와 같이, 자동 라벨링 모델을 이용하여 원본이미지를 학습 가능한 라벨링된 형태의 처리 데이터로 사용하기 위해서는, 이미지를 원하는 라벨링 모델에 입력하는 과정이 필요하다. 각 라벨링 모델은 필요에 따라 다른 기능을 수행하도록 구성되어 있으며, 각 라벨링 모델은 독립적으로 처리결과를 제공한다.

다만, 이와 같은 자동 라벨링은 기술적인 한계로 인해서 아직 정확한 결과값을 제공해주지 못할 뿐 아니라, 자동 라벨링 모델을 통해 이미지 등의 원본 데이터를 처리하기 위해서는 자동 라벨링을 위한 별도의 전처리나 해당 모델에 적합한 원본데이터인지를 사전에 선별하고 분류하는 작업이 필요하게 된다. 원하는 이미지를 잘못 분류하여 다른 라벨링 모델에 입력할 경우 원하는 결과를 얻을 수 없다.

또한, 자동 라벨링 작업을 통해, 자동 라벨링된 학습데이터는 정확도가 낮기 때문에 작업자나 검수자의 확인과 교정 작업을 필수적으로 거칠 수 밖에 없다.

다수의 라벨링 이미지를 처리해야 하는 작업자와 검수자 입장에서는 자동 라벨링 기술을 최대한 활용하여 작업시간을 단축시킬 수 있는 효율적인 활용방안 및 고도화방안이 필요한 실정이다.

본 발명이 해결하고자 하는 과제는 작업자가 직접 라벨링 하는 방식과 자동 라벨링 방식을 결합한 효과적이고 새로운 이미지 라벨링 처리 방식을 제공하고자 하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 대량의 이미지를 작업자가 수작업으로 분류하는 과정없이 이미지 특성을 고려하여 자동으로 빠르게 적합한 이미지 라벨링 방식을 분류하는 방법을 제공하고자 하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 다중의 분류모델에 공통적으로 적용될 수 있는 효율적인 특징추출값을 정의하고 제공할 수 있는 이미지의 라벨링 유형 분류 방법을 제공하고자 하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 기존에 단순한 자동 라벨링 기능만 수행하는 복수의 모델을 활용하여 복합적으로 구성함으로써, 적합한 이미지 분류까지 가능한 새로운 형태의 자동 라벨링 복합 모델을 제공하고자 하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 하나의 솔루션을 통해 이미지의 라벨링 유형 분류 작업과 라벨링 자동 처리 작업을 동시에 처리하는 효율적인 방법을 제공하고자 하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 기존에 검증된 다수의 분류모델을 활용하여 분류 안정성 및 처리 정확도를 높인 이미지 분류 방법을 제공하고자 하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 분류 및 처리 속도를 보다 향상시키고 가속화시킬 수 있는 분류모델 활용기술이 적용된 방법을 제공하고자 하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 분류 및 처리된 이미지 라벨링 결과값을 기초로 기존 모델을 고도화시킬 수 있는 방법을 제공하고자 하는 것이다.

다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또 다른 과제들이 존재할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법은, 이미지데이터를 제공받는 단계, 상기 이미지데이터를 특징추출모델 중 제1 특징추출모델에 입력하여 제1 특징추출값을 생성하는 단계, 상기 이미지데이터를 상기 특징추출모델 중 제2 특징추출모델에 입력하여 제2 특징추출값을 생성하는 단계, 상기 제1 및 제2 특징추출값을 분류모델에 입력하여 상기 이미지데이터의 분류값을 결정하는 단계를 포함한다.

제1 특징추출모델은 상기 이미지데이터 상의 문자객체를 인식할 수 있다.

상기 제1 특징추출값은 상기 이미지데이터 상의 상기 문자객체의 수를 포함할 수 있다.

상기 제1 특징추출값은 상기 이미지데이터 전체 면적 대비 상기 문자객체의 면적 비율을 포함할 수 있다.

상기 문자객체는 서로 다른 복수의 종류를 포함하고, 상기 면적 비율은 상기 복수의 문자객체 전체 면적의 합의 비율로 산출될 수 있다.

상기 제2 특징추출모델은 상기 이미지데이터 상의 식별객체를 인식할 수 있다.

상기 제2 특징추출값은 상기 이미지데이터 상의 상기 식별객체의 수를 포함할 수 있다.

상기 제2 특징추출값은 상기 이미지데이터 전체 면적 대비 상기 식별객체의 면적 비율을 포함할 수 있다.

상기 식별객체는 서로 다른 복수의 종류로 구성되고, 상기 면적 비율은 상기 복수의 식별객체 전체 면적의 합의 비율로 산출될 수 있다.

상기 분류모델은 n개로 구성되고, 상기 분류값을 결정하는 단계는, 상기 제1 분류모델부터 제n 분류모델까지 각각 출력한 분류후보값으로부터 상기 분류값을 결정할 수 있다.

n개의 상기 분류후보값 중에서 m개 이상 중복 출력된 상기 분류후보값을 상기 분류값으로 결정할 수 있다.

상기 분류값을 결정하는 단계는, 상기 n개의 분류모델 중 상기 분류후보값을 출력하는 순서에 따라 순차적으로 상기 p개(p<n)의 분류모델에서, 상기 m개 이상 중복 출력된 상기 분류후보값이 발생하면, n-p개의 상기 분류모델에서 상기 분류후보값이 출력되기 이전에 상기 분류값을 미리 결정할 수 있다.

상기 분류후보값의 종류는 상기 특징추출모델의 수와 대응될 수 있다.

상기 n개의 분류모델은 상기 제1 및 제2 특징추출값을 수신하여 병렬적으로 분류작업을 수행할 수 있다.

상기 분류모델은, 의사결정트리(decision tree) 분류모델, 랜덤 포레스트(random forest) 분류모델, 로지스틱 회귀(logistic regression) 분류모델 중 하나를 포함할 수 있다.

상기 분류모델은, XGBOOST, AdaBOOST, CatBOOST, LightBGM 분류모델 중 하나를 포함할 수 있다.

상기 이미지데이터의 상기 분류값을 검증하여 검증결과를 제공하는 단계, 상기 검증결과를 기초로 상기 제1 또는 상기 제2 특징추출값이 변경되도록 상기 제1 또는 제2 특징추출모델을 수정하는 단계를 더 포함할 수 있다.

상기 수정된 제1 또는 제2 특징추출모델로부터 생성된 상기 제1 및 제2 특징추출값을 상기 분류모델에 입력하여 상기 이미지데이터의 분류값을 재결정하는 단계를 더 포함할 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

상술한 본 발명에 의하면, 작업자가 직접 라벨링 하는 방식과 자동 라벨링 방식을 결합한 효과적이고 새로운 이미지 라벨링 처리 방식을 제공할 수 있다.

또한, 대량의 이미지를 작업자가 수작업으로 분류하는 과정없이 이미지 특성을 고려하여 자동으로 빠르게 적합한 이미지 라벨링 방식을 분류하는 방법을 제공할 수 있다.

뿐만 아니라, 다중의 분류모델에 공통적으로 적용될 수 있는 효율적인 특징추출값을 정의하고 제공할 수 있는 이미지의 라벨링 유형 분류 방법을 제공할 수 있다.

특히, 기존에 단순한 자동 라벨링 기능만 수행하는 복수의 모델을 활용하여 복합적으로 구성함으로써, 적합한 이미지 분류까지 가능한 새로운 형태의 자동 라벨링 복합 모델을 제공할 수 있다.

또한, 하나의 솔루션을 통해 이미지의 라벨링 유형 분류 작업과 라벨링 자동 처리 작업을 동시에 처리하는 효율적인 방법을 제공하고자 할 수 있다.

기존에 검증된 다수의 분류모델을 활용하여 분류 안정성 및 처리 정확도를 높인 이미지 분류 방법을 제공할 수 있다.

분류 및 처리 속도를 보다 향상시키고 가속화시킬 수 있는 분류모델 활용기술이 적용된 방법을 제공할 수 있다.

또한, 분류 및 처리된 이미지 라벨링 결과값을 기초로 기존 모델을 고도화시킬 수 있는 방법을 제공할 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 종래의 자동 라벨링 모델의 실행구조를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 나타내는 도면이다.
도 3은 도 2의 방법에 따른 결과물의 구성을 나타내는 도면이다.
도 4 내지 도 6은 도 2의 방법에 따른 이미지 유형별 결과물의 실제 예시를 나타내는 도면이다.
도 7 및 도 8은 복수의 특징추출모델과 복수의 특징추출값으로 구성된 본 발명의 다른 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 나타내는 도면이다.
도 9는 복수의 분류모델로 구성된 본 발명의 또 다른 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 나타내는 도면이다.
도 10은 특징추출모델과 자동 라벨링을 위한 전처리 모델이 별도로 구성된 본 발명의 또 다른 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 나타내는 도면이다.
도 11은 특징추출모델이 자동 라벨링 기능까지 수행하는 본 발명의 또 다른 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 나타내는 도면이다.
도 12는 복수의 분류모델이 직렬 구조로 연결된 본 발명의 또 다른 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 나타내는 도면이다.
도 13은 분류값에 따라 특징추출모델을 수정하는 본 발명의 또 다른 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 나타내는 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 2는 본 발명의 일 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 나타내는 도면이고, 도 3은 도 2의 방법에 따른 결과물의 구성을 나타내는 도면이고, 도 4 내지 도 6은 도 2의 방법에 따른 이미지 유형별 결과물의 실제 예시를 나타내는 도면이다.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 실행하는 시스템은, 특징추출모델(100)과 분류모델(500)로 구성된다.

특징추출모델(100)은 기존의 인공지능 학습데이터를 생성하는데 활용된 라벨링 모델을 활용할 수도 있고, 분류모델(500)에 입력하기 위한 입력값인 특징추출값(feat)을 적절히 생성하기 위해 별도로 만들어진 새로운 모델일 수 있다. 특징추출모델(100)은 입력되는 이미지 데이터셋(image dataset) 형태의 원본이미지(imgs)를 입력받아서 분류모델(500)에 필요한 특징추출값(feat)을 결정한다. 특징추출값(feat)은 입력되는 원본이미지(imgs)별로 다른 값이 도출될 수 있다. 특징추출모델(100)은 원본이미지(imgs)가 어떤 자동 라벨링 모델에 적합한 이미지인지 결정하기 위한 특징추출값(feat)을 산출한다.

특징추출값(feat)은 각 라벨링 모델의 특징값을 포함할 수 있다. 예를 들어, 특징추출값(feat)은 OCR(Optical Character Recognition, 광학문자인식)을 위한 라벨링 모델에 적합한지 판단하기 위해 인식문자가 존재하는지 여부, 인식문자의 개수나 인식문자의 인식단위, 전체 이미지 면적 대비 인식문자가 포함되어 있는 면적의 크기 또는 비율을 포함할 수 있다. 또한, 비문자 객체와의 상대적인 크기 비율, 인식문자의 이미지와의 정렬방향에 대한 정보, 인식문자의 언어종류, 인식문자의 언어혼재비율 등 다양한 문자인식에 대한 정보를 포함할 수 있다.

특징추출모델(100)은 원본이미지(imgs)로부터 이와 같은 특징추출값(feat)을 결정하기 위한 인공지능 모델이나 알고리즘을 포함할 수 있다. 광학문자인식에 따른 특징추출값(feat)을 산출하기 위해, 광학문자인식 라벨링 모델 또는 이와 유사한 구조의 인공지능 모델을 포함할 수 있다.

특징추출모델(100)은 분류모델(500)에서 분류 가능한 모든 유형의 데이터를 처리하기 위해 광학문자인식 외에도 다양한 이미지 유형을 지원할 수 있다. 특징추출모델(100)이 다양한 인공지능 학습데이터 이미지 유형을 지원하기 위해서는 각 이미지 유형에 대응되는 특징추출값(feat)을 추출하기 위한 인공지능 모델 또는 알고리즘을 포함할 수 있다.

특징추출모델(100)은 예를 들어, 광학문자인식 외에도 분류(classification), 객체탐지(object detection), 세그멘테이션(segmentation), 폴리곤(polygon), 키포인트(key point) 등 다양한 목적에 따른 인공지능 학습데이터 처리 유형을 지원할 수 있다.

예를 들어, 특징추출값(feat)은 해당 원본이미지(imgs)가 객체탐지 라벨링 모델에 적합한 이미지인지 판단하기 위해, 인식객체의 수와 인식객체의 유형과 유형 분포, 종류, 인식객체 개별 크기, 인식객체의 정렬방향을 포함하는 벡터값, 인식객체의 배치, 인식객체의 상대적인 깊이(depth), 전체 인식객체가 전체 이미지 상에서 차지하는 크기나 면적에 대한 데이터를 포함할 수 있다. 인식객체의 유형은 미리 정해진 범위에 포함될 수 있으며, 특징추출모델(100)이 인식객체에 대한 정보를 참조하기 위한 참조데이터가 구축된 서버(미도시)가 별도로 구성될 수도 있다.

또한, 예를 들어 특징추출값(feat)은 해당 원본이미지(imgs)가 세그멘테이션 라벨링 모델에 적합한 이미지인지 판단하기 위해, 세그멘테이션 영역의 수와 세그멘테이션 영역의 유형과 유형의 분포, 세그멘테이션 영역의 종류, 세그멘테이션 영역의 개별 크기, 영역의 배치, 전체 세그멘테이션 영역이 전체 이미지 상에서 차지하는 크기나 면적 비율에 대한 데이터를 포함할 수도 있다. 세그멘테이션 영역의 유형은 미리 정해진 범위에 포함될 수도 있다.

특징추출모델(100)에 의해 결정된 특징추출값(feat)은 분류모델(500)로 입력되고, 분류모델은 특징추출값(feat)을 기초로 원본이미지(imgs)가 어떤 자동 라벨링 모델에 따라 전처리되는 것이 적합한지 판단하여 분류값(ctgr)을 산출한다.

분류모델(500)은 기존에 수행된 프로젝트를 통해 수집된 결과를 기초로, 사용자가 전처리를 요청한 대상 이미지와, 대상 이미지의 최종적인 전처리 작업 결과 유형을 학습데이터 세트로 구성하여 학습시킨 인공지능 모델일 수 있다. 기존에 다양한 데이터라벨링 프로젝트를 통해 누적된 이미지와 이미지의 유형값을 활용하여 분류모델(500)을 구축함으로써, 특징추출값(feat)에 따른 적합한 분류값(ctgr)을 결정할 수 있다.

예를 들어, 특정 이미지 중에서 인식문자가 연속적이고 인식문자 간의 벡터 ??향값이 유사한 이미지의 경우에는 기존 수행된 프로젝트의 패턴에 따라 광학문자인식 모델에 적합한 이미지로 분류되어 광학문자인식 라벨링 작업이 수행되었기 때문에, 이와 같은 사례를 분류모델(500)이 학습하여 대상이미지(imgs)의 특징추출값(feat)에 포함된 인식문자의 수나, 인식문자의 방향값 등이 소정 범위에 포함될 경우 분류모델(500)에서 결정한 분류값(ctgr)은 광학문자인식에 적합한 이미지라는 결과값(900)을 얻을 수 있다.

또한, 특정 이미지 중에서 복수의 인식객체가 존재하고 인식객체가 특정한 도로 객체를 중심으로 촬영 방향에 따라 초점이 기준이 되어 인식객체가 정렬되는 등의 경우에는 기존 수행된 프로젝트의 패턴에 따라 세그멘테이션 모델에 적합한 이미지로 분류되어 세그멘테이션 라벨링 작업이 수행되었기 때문에, 이와 같은 사례를 분류모델(500)이 학습하여 대상이미지(imgs)의 특징추출값(feat)에 이러한 정보가 포함되는 경우 분류모델(500)에서 결정한 분류값(ctgr)은 세그멘테이션에 적합한 이미지라는 결과값(900)을 얻을 수 있다.

분류값(ctgr)은 정해진 이미지의 전처리 유형 범위 내에서 결정될 수 있으며, 앞서 언급한 광학문자인식(ocr), 분류(classification), 객체탐지(object detection), 세그멘테이션(segmentation), 폴리곤(polygon), 키포인트(key point) 등 다양한 목적에 따른 인공지능 학습데이터 처리 유형 범위 내에서 결정될 수 있다.

결과값(900)은 분류값(cgr)을 기초로 최종 결정된 자동 라벨링 유형을 의미할 수 있으며, 결과값(900)이 세그멘테이션으로 결정된 경우 해당 이미지(imgs)는 세그멘테이션에 적합한 이미지임을 의미할 수 있다. 결과값(900)으로 인해서 최종적으로 인공지능 학습데이터의 유형이 결정될 수 있으며, 결과값(900)에 따라 이후 필요한 후속 프로세스가 수행될 수 있다.

도 3을 참고하면, 결과값(900)은 최초 입력된 이미지(imgs) 각각의 분류값(cfgr)과 전처리결과(pre)를 포함할 수 있다. 예를 들어, 제1 이미지(img1)는 제1 분류값(cfgr1)에 따라 이미지가 분류되었고, 분류된 유형에 따라 자동 라벨링 처리된 제1 전처리 결과(pre1)를 포함하는 제1 결과값(910)이 도출될 수 있다. 입력된 최초의 이미지(imgs)가 복수인 경우 결과값도 복수로 제공될 수 있으며, 특징추출모델(100)에서 특징이 추출되지 않았거나, 분류모델(500)에서 분류값이 제대로 도출되지 않은 이미지의 경우에는, 결과값(900) 상에서 미분류 데이터로 제공될 수도 있다.

전술한대로 인공지능 학습데이터로 활용하기 위해 필수적인 라벨링 처리를 적절히 수행하기 위해서는 원본 이미지 데이터가 어떤 라벨링 유형에 적합한 이미지인지 먼저 분류하는 작업이 수행되어야 하고, 이 분류 결과에 대응되는 적절한 라벨링 작업 수행이 필요하다. 본 발명의 일 실시예에 따르면 기존에 사람이 수작업으로 수행했던 특정 이미지의 라벨링 유형 분류 작업을 자동화할 수 있을 뿐만 아니라, 라벨링 유형 분류에 따라 실제 자동 라벨링 처리도 동시에 처리하여 완성된 라벨링 데이터를 제공할 수 있다.

제공된 전처리 결과(pre)는 완성된 최종 버전일 수 있으나, 검수자가 전처리 결과를 리뷰하여 완성도를 높이는 추가적인 작업이 수행될 수도 있다.

도 4 내지 도 6을 참고하면, 예시적인 원본이미지(imgs)에 대한 분류 유형별 최종결과값(900)을 나타낸다.

도 4는 원본이미지(imgs)가 객체탐지 유형으로 분류되어 객체탐지를 위한 전처리 과정이 수행된 라벨링 데이터롤 나타낼 수 있다, 객체탐지 유형으로 라벨링된 데이터는 다양한 목적으로 구축되는 인공지능 모델을 학습시키는데 사용될 수 있으나 이에 한정되는 것은 아니다. 전체 이미지 상에서 오토바이 객체와 사람 객체를 인식하여 자동으로 바운딩 박스(bounding box) 형태로 라벨링 데이터를 생성한 결과값(900)의 예시이다.

도 5는 원본이미지(imgs)가 광학문자인식 유형으로 분류되어 광학문자인식을 위한 전처리 과정이 수행된 라벨링 데이터를 나타낼 수 있으며, 전체 이미지 상에서 문자객체를 인식하여 이미지를 문자로 변환한 형태로 라벨링 데이터를 생성한 결과값(900)의 예시이다.

도 6은 원본이미지(imgs)가 세그멘테이션 유형으로 분류되어 세그멘테이션을 위한 전처리 과정이 수행된 라벨링 데이터를 나타낼 수 있다. 세그멘테이션 유형의 라벨링 데이터는 자율주행이나 제어, 관제, 보안감지 등 분야에서 구축되는 인공지능 모델을 학습시키는데 사용될 수 있으나 이에 한정되는 것은 아니다. 전체 이미지 상에서 같은 속성을 가지는 객체를 묶어서 세그멘테이션 영역으로 인식하고, 이를 기초로 여러개의 세그멘테이션 영역으로 라벨링된 데이터를 생성한 결과값(900)을 예시적으로 나타낸다.

이하, 도 7 내지 도 9를 참고하여 본 발명의 다른 실시예들에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법에 대해 설명한다. 도 7 및 도 8은 복수의 특징추출모델과 복수의 특징추출값으로 구성된 본 발명의 다른 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 나타내는 도면이고, 도 9는 복수의 분류모델로 구성된 본 발명의 또 다른 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 나타내는 도면이다.

도 7과 도 8을 참고하면, 본 발명의 일 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법은, 이미지데이터(imgs)를 제공받는 단계, 이미지데이터(imgs)를 특징추출모델(100) 중 제1 특징추출모델(110)에 입력하여 제1 특징추출값(feat1)을 생성하는 단계, 이미지데이터(imgs)를 특징추출모델(100) 중 제2 특징추출모델(120)에 입력하여 제2 특징추출값(feat2)을 생성하는 단계, 제1 및 제2 특징추출값(feat1, feat2)을 분류모델(500)에 입력하여 이미지데이터(imgs)의 분류값(ctgr)을 결정하는 단계를 포함한다.

라벨링 처리가 되지 않은 원본이미지(imgs)를 입력하는 특징추출모델(100)은 복수로 구성될 수 있다. 최종적으로 분류모델(500)에 따라 분류하고자 하는 인공지능 학습데이터의 유형 수에 따라서 특징추출모델(100)이 2개 이상의 복수의 특징추출모델(100X)로 구성될 수 있다.

각 특징추출모델(100X)은 동일한 원본이미지(imgs)를 입력받게 되고, 하나의 이미지에 대한 특징추출모델의 수 만큼의 특징추출값(featX)을 출력할 수 있다. 출력된 특징추출값(feat)은 특징추출값 관리자(300)로 수집되어 개별 원본이미지(imgs)에 대한 다면적인 특징값을 구성하게 된다.

특징추출값 관리자(300)는 수집된 다수의 특징추출값(featX) 데이터셋을 하나의 특징추출값으로 결정하고 원본이미지(imgs)와 이에 대응되는 특징추출값(feat)을 연결하여 관리할 수 있다. 특징추출값 관리자(300)는 예를 들어 제2 특정추출모델에서 도출된 제2 특징추출값(feat2)이 수신되지 않은 경우, 최종적인 특징추출값(feat)을 생성하지 않고 대기할 수 있으며, 문제가 발생한 특징추출모델(100)에 재요청을 보내 특징추출값을 재수신할 수도 있다. 그리고, 복수의 특징추출값에 가중치를 부여하여 특정한 특징추출모델에서 도출된 특징추출값의 가중치를 높이는 기능을 수행할 수도 있다.

특징추출모델(100)이 복수로 구성되는 경우, 원본이미지(imgs)는 복수의 특징추출모델(100)에 동시에 입력될 수 있고, X개의 특징추출모델(100X)은 병렬적으로 특징추출값(featX)을 연산할 수 있으며, 특징추출값 관리자(300)는 수신된 특징추출값(featX)을 수집하여 최종적인 특징추출값(feat)을 생성할 수 있다.

특징추출값 관리자(300)는 특징추출모델(100)로부터 특징추출값(feat)을 수신하는데까지 소요된 시간을 고려하여 특징추출값(feat)에 반영할 수 있으며, 소요시간을 각 특징추출값에 반영하여 가중치 조정에 참고할 수도 있다.

몇몇 다른 실시예에서, 특징추출모델(100)이 복수로 구성되고 원본이미지(imgs)가 복수의 특징추출모델(100X)에 입력된 후 소정 시간이 경과하면 특징추출값이 다 수집되지 않아도 최종적인 특징추출값(feat)을 결정할 수도 있다.

특징추출값(feat)을 구성하는 요소, 예를 들어 식별객체의 수나 크기 등이 많을수록 최종적인 분류값(ctgr)과 결과값(900)의 정확도가 높아질 수 있으나, 특징추출모델(100)을 학습시키기 위한 인공지능 학습데이터의 수가 적인 상태에서 특징추출값(feat)의 변수를 다중 설정할 경우에는 분류값(ctgr)의 정확도가 오히려 줄어들 수도 있다.

예를 들어, 제1 특징추출모델(110)은 이미지데이터(imgs) 상의 문자객체를 인식할 수 있다. 제1 특징추출값(feat1)은 이미지데이터(imgs) 상의 문자객체의 수 또는 이미지데이터(imgs)의 전체 면적 대비 문자객체의 면적 비율을 포함할 수도 있다. 문자객체는 서로 다른 복수의 종류를 포함할 수 있으며, 면적 비율은 복수의 문자객체 전체 면적의 합의 비율로 산출될 수도 있다.

이를 위해, 제1 특징추출모델(110)은 알고리즘 기반의 광학문자인식 모델로 구성될 수 있으며, 텍스트 라인을 찾는 모듈, 텍스트를 단어로 나누는 모듈 등 여러 모듈이 복합적으로 사용되는 구조일 수 있다.

다른 경우에, 제1 특징추출모델(110)은 딥러닝을 적용한 인공지능 기반의 광학문자인식 모델일 수 있으며, 제1 특징추출모델(110)은 데이터를 다양하게 활용하여 원활한 학습이 가능하고, 자원의 효율성과 언어별 정확도 등을 향상시키기 위해 글자의 영역을 탐지하는 모델(Text Detection Model)과 해당 영역에서 글자를 인식하는 모델(Text Recognition Model) 두 가지 단계로 구성될 수 있으나 이에 한정되는 것은 아니다.

처리장치가 아날로그 문서를 인식하는 과정에서 음영의 손상, 왜곡 등으로 인해 텍스트 인식률이 낮아지는 현상을 개선하기 위해 예를 들어, 히스토그램 정규화를 통해 이미지의 명암을 재분배하여 이미지의 구성요소의 인식율을 개선할 수 있다.

인식율이 개선된 이미지(imgs)를 CNN(Convolutional Neural Network) 기반의 제1 특징추출모델(110)에 입력하면, 제1 특징추출모델(110)에서 인식문자의 영역과 각도가 추출되고, 인식문자 영역의 각도가 이미지 기준축과 수평이 되도록 각도를 조절한 뒤 이미지를 텍스트 단위로 분할할 수 있다. 인식문자를 분할하면 해당 이미지 부분영역이 어떤 문자와 대응되는지 인식하는 과정을 수행할 수 있고, 이를 거쳐서 최종적인 제1 특징추출값(feat1)이 결정될 수 있다. 이를 위해, 제1 특징추출모델을 구성하는 인공지능 모델은 광학문자인식을 위한 이미지와 인식문자 데이터 셋을 통해 소정 이상의 학습데이터를 학습된 상태일 수 있다.

예를 들어, 제2 특징추출모델(120)은 이미지데이터(imgs) 상의 식별객체를 인식할 수 있다. 제2 특징추출값(feat2)은 이미지데이터(imgs) 상의 식별객체의 수 또는 이미지데이터(imgs)의 전체 면적 대비 식별객체의 면적 비율을 포함할 수도 있다. 식별객체는 서로 다른 복수의 종류로 구성되고, 면적 비율은 복수의 식별객체 전체 면적의 합의 비율로 산출될 수 있다.

이를 위해, 제2 특징추출모델(120)은, 인공지능 기반의 객체탐지(object detection) 모델로 구성되어 이미지 상의 객체를 식별하고 객체인식에 대한 결과값, 객체 분류, 객체 위치 등을 산출할 수 있다.

제2 특징추출모델(120)은 원본이미지(imgs)의 영역제안(region proposal)을 수행한 후 분류(classification)와 회귀(regression) 작업을 수행하는 2단계 탐지 방식(2-stage detection)의 인공지능 모델, 예를 들어 R-CNN, SPPNet, fast R-CNN, faster R-CNN 등이 사용될 수도 있으나 이에 한정되는 것은 아니다. 영역제안(Region Proposal) 알고리즘 중 하나로써 색, 질감, 크기, 모양에 의존하여 유사한 영역 찾고 이를 계층으로 수행하여 그룹화하는 선택적 탐색(Selective Search) 기법이 사용될 수 있으나 이에 한정되는 것은 아니다.

몇몇 다른 실시예에서, 제2 특징추출모델(120)은 영역제안(region proposal)과 분류(classification)와 회귀(regression) 작업을 동시에 수행하는 일단 단계 탐지 방식(1-stage detection)의 인공지능 모델, 예를 들어 YOLO 등이 사용될 수 있으나 이에 한정되는 것은 아니다.

도 9를 참고하면, 분류모델(500)은 n개로 구성되고, 분류값(ctgr)을 결정하는 단계는, 제1 분류모델(510)부터 제n 분류모델(500n)까지 각각 출력한 분류후보값(cdd)으로부터 분류값(ctgr)을 결정할 수 있다. n개의 분류후보값(cdd) 중에서 m개 이상 중복 출력된 분류후보값(cdd)을 분류값(ctgr)으로 결정할 수도 있으나 이에 한정되는 것은 아니다.

특징추출값 관리자(300)를 통해 취합된 특징추출값(feat)을 이용하여 원본이미지(imgs)의 데이터 라벨링 유형 분류를 수행하기 위해 분류모델이 복수로 구성되고 복수의 분류모델(500n)이 각각 하나의 분류후보값(cddn)을 출력하는 구성이 제공된다. 분류모델(500)은 분류의 정확도와 신뢰도를 확보하기 위해 복수로 구성될 수 있으며, 특징추출값 관리자(300)를 통해 결정된 이미지별 특징추출값(feat)을 입력받아서 각 분류모델(500n)에서 분류작업이 수행될 수 있다. 수집된 복수의 분류후보값(cddn)은 분류값 관리자(700)로 수집될 수 있으며, 분류값 관리자(700)에서 소정의 결정방식에 의해 이미지(imgs)의 최종적인 인공지능 학습데이터 유형에 대한 분류값(ctgr)이 결정될 수 있다.

예를 들어, 분류모델(500)에서 구분하도록 설정된 인공지능 학습데이터 유형이 광학문자인식(OCR), 객체탐지(object detection), 세그멘테이션(segmentation) 총 3개인 경우, 각 분류모델(500n)은 동일한 특징추출값(feat)을 입력받아서 각각의 알고리즘이나 인공지능 모델에 기초하여 각자의 분류후보값(cddn)을 출력하고, 분류값 관리자(700)는 3개의 분류후보값(cddn)을 기초로 하여 최종적인 분류값(ctgr)을 결정할 수 있다. 분류값(ctrg)은 다수의 분류후보값에 의한 투표(voting) 방식일 수 있으나 이에 한정되는 것은 아니며, 분류모델(500)의 종류에 따라 별도의 가중치가 부여된 형태로 분류값(ctgr)을 결정할 수도 있다.

특징추출값(feat)은 복수의 분류모델(500n)에 동시에 입력되고 복수의 분류모델(500n)은 동일한 특징추출값(feat)에 따라 병렬적인 분류작업 처리를 수행할 수 있으며, 분류값 관리자(700)는 수신된 n개의 분류후보값(cddn)을 수집하여 최종적인 분류값(ctgr)을 생성할 수 있다.

분류값 관리자(700)는 분류모델(500)로부터 분류후보값(cddn)을 수신하는데까지 소요된 시간을 고려하여 분류값(ctgr)에 반영할 수 있으며, 소요시간을 각 분류후보값에 반영하여 가중치 조정에 활용할 수도 있다.

몇몇 다른 실시예에서, n개의 분류후보값(cdd) 중에서 m개 이상 중복 출력된 분류후보값(cdd)을 분류값(ctgr)으로 결정할 수 있으며, 분류값(ctgr)을 결정하는 단계는, n개의 분류모델(500n) 중 분류후보값(cddn)을 출력하는 순서에 따라 순차적으로 p개(p<n)의 분류모델(500)에서, m개 이상 중복 출력된 분류후보값(cdd)이 발생하면, n에서 p개 만큼 뺀 분류모델(500)에서 분류후보값(cdd)이 출력되기 이전에 분류값(ctgr)을 미리 결정할 수 있다.

몇몇 다른 실시예에서, 특징추출값(feat)이 복수의 분류모델(500n)에 입력된 후 소정 시간이 경과하면 분류후보값(cddn)이 모두 수집되지 않아도 소정의 임계치를 달성하면 최종적인 분류값(ctgr)을 결정할 수도 있다.

분류후보값(cdd)의 종류는 특징추출모델(100)의 수와 대응될 수 있으며, n개의 분류모델(500n)은 제1 및 제2 특징추출값(feat1, feat2)을 수신하여 병렬적으로 동시에 분류작업을 수행할 수도 있다.

복수의 분류모델(500n)은, 의사결정트리(decision tree) 분류모델, 랜덤 포레스트(random forest) 분류모델, 로지스틱 회귀(logistic regression) 분류모델 중 하나를 포함할 수 있다.

또한, 복수의 분류모델(500n)은, 원본이미지(imgs)의 종류에 따라 XGBOOST 분류모델, AdaBOOST 분류모델, CatBOOST 분류모델, LightBGM 분류모델 중 선택된 분류모델을 포함할 수도 있다.

도 10은 특징추출모델과 자동 라벨링을 위한 전처리 모델이 별도로 구성된 본 발명의 또 다른 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 나타내는 도면이고, 도 11은 특징추출모델이 자동 라벨링 기능까지 수행하는 본 발명의 또 다른 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 나타내는 도면이다.

도 10을 참고하면, 본 발명의 다른 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법은, 원본이미지(imgs)를 특징추출모델(100)에 입력하여 특징추출값(feat)을 결정하고, 이를 분류모델(500)에 입력하여 최종적인 분류값(ctgr)를 결정한 후, 자동 라벨링 작업을 수행하기 위해 인공지능 학습데이터의 유형 분류에 따라 적합한 전처리 모델(800)에 원본이미지(imgs)를 입력하여 라벨링된 결과데이터(900)를 생성할 수 있다.

전처리 모델(800)은 이미지를 자동으로 라벨링 처리하기 위해 사전에 학습데이터에 의해 학습된 인공지능 모델일 수 있으며, 전처리 모델(800)은 특징추출모델(100)과 다른 형태로 구축된 신경망 구조를 포함할 수 있다.

분류값 관리자(700)에 의해 결정된 최종적인 분류값(ctgr)에 대응되는 전처리 모델(800)에 원본이미지(imgs)가 입력될 때, 기존에 추출된 특징추출값(feat)이 전처리 모델(800)에 함께 제공될 수도 있다. 함께 제공된 특징추출값(feat)은 전처리 모델(800)에서 수행해야 할 작업 일부를 대체 또는 생략하도록 하여 처리속도를 가속화시킬 수 있다.

몇몇 다른 실시예에서, 분류값(ctgr)이 결정된 후 전처리 모델(800)을 통한 추가적인 작업을 수행하지 않고, 특징추출모델(100)이 특징추출값(feat)을 결정하기 위해 생성한 특징데이터(미도시)를 기초로 전처리 결과(pre)를 생성할 수도 있다. 전처리 결과(pre)는 분류값(ctgr)에 대응되는 형태의 주석데이터(annotation data)를 포함할 수 있다. 예를 들어, 분류값(ctgr)이 객체탐지(object detection)인 경우, 식??된 객체의 유형과, 위치, 크기, 좌표 등의 값을 포함하는 주석데이터가 생성될 수도 있다. 이를 위해, 특징추출모델(100)에서 생성된 특징데이터를 특징추출값 관리자(300)가 보관할 수 있으며, 분류값 관리자(700)가 분류값(ctgr)을 결정한 이후 특징추출값 관리자(300)에게 요청하여 특징데이터를 수신할 수도 있다. 또는, 특징추출모델(100)에서 특징추출값(feat)을 결정하기 위한 과정에서 생성되는 특징데이터를 저장하기 위한 별도의 서버(미도시)나 별도의 저장공간(미도시)이 제공될 수도 있다.

몇몇 다른 실시예에서, 전처리 결과(pre)는 특징추출모델(100)이 특징추출값(feat)을 결정하는 과정에서 각 모델(100X)에서 사전에 수행될 수도 있다. 이 때 특징데이터는 주석데이터 형태의 전처리 결과(pre) 자체일 수도 있다. 이 경우, 특징추출모델(100)을 거쳐서 각 이미지(imgs)에 대한 특징추출값(feat)과 주석데이터 형태의 전처리 결과(pre)를 동시에 생성하고, 특징추출값(feat)을 분류모델(500)에 입력하여 분류값(ctgr)을 결정하면, 분류값(ctgr)에 대응되는 특징추출모델(100)에서 미리 생성한 주석데이터 형태의 전처리 결과(pre)를 해당 이미지의 최종 주석데이터 결과물로 결정할 수도 있다.

예를 들어, 특징추출모델(100)이 광학문자인식을 위한 제1 특징추출모델(110)과, 세그멘테이션을 위한 제2 특징추출모델(120)로 구성될 때, 제1 원본이미지(img1)에 대해 제1 특징추출모델(110)은 제1 특징추출값(feat1)과 제1 주석데이터(미도시)를 동시에 생성하고, 동일한 제1 원본이미지(img1)에 대해 제2 특징추출모델은 제2 특징추출값(feat2)과 제2 주석데이터(미도시)를 동시에 생성한다. 제1 특징추출값(feat1)과 제2 특징추출값(feat2)을 조합하여 최종적인 특징추출값(feat)을 결정하고, 이를 분류모델(500)에 입력한다. 분류모델(500)에서 특징추출값(feat)을 기초로 최종 분류값(ctgr)이 예를 들어 광학문자인식으로 결정되는 경우, 제1 특징추출모델(110)이 미리 처리한 제1 주석데이터를 최종적인 결과물(900) 상의 전처리 결과(pre)로 결정하게 된다.

도 11을 참고하면, 분류값(ctgr)이 도출되면 이 값에 따라 복수의 특징추출모델(100) 중에서 분류값(ctgr)에 적합한 특징추출모델(100X)에서 원본이미지(imgs)에 대한 자동 라벨링까지 연속적으로 수행될 수도 있다. 즉, 단일 특징추출모델(100)이 특징추출값(feat)을 결정하기 위한 목적으로 사용될 수도 있고, 분류값(ctgr)이 확정된 후 전처리 결과(pre)를 생성하기 위한 목적으로도 사용될 수 있다.

몇몇 다른 실시예에서, 특징추출값(feat)을 결정하기 위한 제1 모드의 특징추출모델(100)과, 분류값(ctgr)이 확정된 후 전처리 결과(pre)를 생성하기 위한 제2 모드의 특징추출모델(100)은 서로 다른 구조로 동작할 수도 있다. 이를 위해, 특징추출모델(100)에서 제1 모드일 때 사용하는 입력 파라미터와, 제2 모드일 때 사용하는 입력 파라미터가 다르게 설정될 수도 있다.

원본이미지(imgs)가 제1 모드의 특징추출모델(100)에 입력되면, 특징추출값(feat)을 결정하기 위한 프로세스를 진행하고, 결정된 특징추출값(feat)만 존재하고 분류값(ctgr)이 아직 결정되지 않은 상태이기 때문에, 도 11의 순서도 상에서 분기되어 분류모델(500)로 특징추출값(feat)이 입력된다. 분류모델(500)을 통해 입력된 특징추출값(feat)을 기초로 분류값(ctgr)이 결정되지 않으면 미분류 결과(900A)로 누적되고, 분류값(ctgr)이 결정되는 경우에는, 해당 분류값(ctgr)에 대응되는 제2 모드의 특징추출모델(100)에 원본이미지(imgs)를 다시 입력하여 주석데이터가 포함된 전처리 결과(900)를 생성한다.

이를 위해, 특징추출모델(100)은 분류값(ctgr)과 일대일로 대응되는 구조일 수 있다. 예를 들어, 분류값(ctgr)이 광학문자인식, 세그멘테이션, 객체탐지로 설정되는 경우에는, 특징추출모델(100)도 원본이미지(imgs)가 광학문자인식 목적으로 사용될 경우를 가정하여 특징추출값을 결정하고 광학문자인식 작업을 처리하기 위한 제1 특징추출모델(110)과, 원본이미지(imgs)가 객체탐지 목적으로 사용될 경우를 가정하여 객체탐지에 대한 특징추출값을 결정하고 객체탐지 작업을 처리하기 위한 제2 특징추출모델(120)과, 원본이미지(imgs)가 세그멘테이션 목적으로 사용될 경우를 가정하여 세그멘테이션에 대한 특징추출값을 결정하고 세그멘테이션 작업을 처리하기 위한 제3 특징추출모델(130)을 포함할 수 있다.

도 12는 복수의 분류모델이 직렬 구조로 연결된 본 발명의 또 다른 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 나타내는 도면이다.

도 12를 참고하면, n개의 분류모델(500n)이 동시에 특징추출값(feat)을 입력받아서 동시에 분류후보값(cdd)을 생성하는 구조가 아니라, 소정의 순서에 따라 정렬된 n개의 분류모델(500n)에 특징추출값(feat)이 순차적으로 입력되는 구성일 수 있다.

n개의 분류모델(500n)은 직전 순번까지의 분류모델의 분류후보값(cdd)이 다음 분류모델에 영향을 미칠 수 있는 구조이며, n개의 분류모델(500n)의 순차적인 처리순서는 특징추출값(feat)에 따라 달라질 수 있다. 또한, 각 원본이미지(imgs)에 따른 특징추출값(feat)에 따라 매 이미지별로 분류모델(500)의 순서는 변경될 수도 있다.

예를 들어, 제1 분류모델(510)은 특징추출값 관리자(300)로부터 특징추출값(feat)을 입력받아서 제1 분류후보값(cdd1)을 결정할 수 있으며, 제2 분류모델(520)은 특징추출값(feat)과 제1 분류후보값(cdd1)을 기초로 제2 분류후보값(cdd2)을 결정할 수 있다. 제2 분류모델(520) 내에서 특징추출값(feat)과 제1 분류후보값(cdd1)은 서로 다른 가중치에 따라 처리될 수 있다. 또한, 제2 분류모델(520)은 제1 분류모델(510)로부터 제1 분류후보값(cdd1) 이외에 분류 과정에서 생성한 분류기초데이터(미도시)를 전달받을 수도 있다. 이와 같이 구성된 n개의 분류모델(500n)이 직전까지의 분류모델에서 생성한 데이터를 중복 활용함으로써 분류모델(500) 사이의 편차나 오류를 방지할 수도 있다.

몇몇 다른 실시예에서, 분류후보값(cdd)은 각 분류모델(500)이 수행되면 각 분류모델 별로 하나씩 생성될 수 있으며, 분류값 관리자(700)는 분류모델(500) 전체가 분류작업을 수행하지 않고 분류후보값(cdd)의 누적 상태에 따라 n개의 분류모델(500)이 분류 작업을 모두 완료하지 않은 상태에서 분류값(ctgr)을 결정할 수도 있다.

몇몇 다른 실시예에서, 특징추출값(feat)에 대응하여 분류 정확도가 상대적으로 높은 분류모델을 앞선 순번의 분류모델로 구성하고, 분류 정확도가 상대적으로 낮은 분류모델은 후순위로 배치하여, 분류모델(500)의 정확도에 따라 처리속도를 상향시키기 위해 유연하게 구성할 수도 있다. 후순위 분류모델일수록 특징추출값(feat)과 이전 분류모델에서 생성된 복수의 분류후보값(cdd)과 분류기초데이터(미도시)를 참고하여 분류작업을 수행할 수 있기 때문에, 신속하고 정확한 분류 결과를 제공할 수 있다.

도 13은 분류값에 따라 특징추출모델을 수정하는 본 발명의 또 다른 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 나타내는 도면이다.

도 13을 참고하면, 이미지데이터(imgs)의 분류값(ctgr)을 검증하여 검증결과를 제공하는 단계, 검증결과를 기초로 제1 또는 상기 제2 특징추출값(feat1, feat2)이 변경되도록 제1 또는 제2 특징추출모델(110, 120)을 수정하는 단계를 더 포함할 수도 있다. 또한, 수정된 제1 또는 제2 특징추출모델(110, 120)로부터 생성된 제1 및 제2 특징추출값(feat1, feat2)을 분류모델(500)에 입력하여 이미지데이터(imgs)의 분류값(ctgr)을 재결정하는 단계를 더 포함할 수도 있다.

몇몇 다른 실시예에서, 특징추출모델(100)에서 추출되는 특징추출값(feat)의 구성 요소와 변수를 최대로 설정하고, 적용된 구성 요소와 변수의 분류값(ctgr)에 대한 기여도를 산출하여 상위 기여도를 가지는 구성 요소와 변수를 중심으로 선별적으로 특징추출값(feat)을 결정하는 과정을 더 수행할 수도 있다.

예를 들어, 특징추출모델(100)을 학습시키기 위한 사전 데이터가 충분하지 않은 경우에, 특징추출값(feat)을 결정하는데 사용되는 전체 구성 요소와 변수에 대한 정보를 결정하기 어렵기 때문에, 초기 특징추출모델(100)은 입력된 이미지(imgs)를 처리하여 사전 정의된 모든 구성 요소와 변수를 결정하고, 이를 기초로 특징추출값(feat)을 구성할 수 있다.

도출된 특징추출값(feat)은 분류모델(500)에 입력되어, 소정의 분류값(ctgr)을 결정하고 결정된 분류값(ctgr)을 자동 또는 수작업 방식에 따라 분류 정확도를 검증할 수 있다. 반복 검증된 분류 정확도를 기초로 분류값 관리자(700)가 특징추출모델(100)에 포함된 구성 요소와 변수 중에서 일부를 제외하고 나머지 구성 요소와 변수를 기초로 특징추출값(feat)을 구성할 수도 있다. 특징추출모델(100)은 제한된 구성 요소와 변수를 기초로 더 빠르게 특징추출값(feat)을 결정할 수 있다. 특징추출모델(100)에서 제외된 구성 요소와 변수는 분류값(ctgr)에 대한 기여도를 산출하여 하위 기여도를 가지는 것으로, 제외된 구성 요소와 변수는 분류값(ctgr)에 영향을 미치지 않기 때문에 분류 정확도나 신뢰도를 유지할 수 있다.

이상에서 전술한 본 발명의 일 실시예에 따른 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램 또는 어플리케이션으로 구현되어 컴퓨터 판독가능 기록 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

imgs: 처리대상 이미지
100: 특징추출모델
300: 특징추출값 관리자
500: 분류모델
700: 분류값 관리자
900: 처리결과

Claims

다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법에 있어서,
이미지데이터를 제공받는 단계;
상기 이미지데이터를 특징추출모델 중 제1 특징추출모델에 입력하여 제1 특징추출값을 생성하는 단계;
상기 이미지데이터를 상기 특징추출모델 중 제2 특징추출모델에 입력하여 제2 특징추출값을 생성하는 단계;
상기 제1 및 제2 특징추출값을 분류모델에 입력하여 상기 이미지데이터의 분류값을 결정하는 단계를 포함하고,
상기 분류모델은 n개로 구성되고,
상기 분류값을 결정하는 단계는,
제1 분류모델부터 제n 분류모델까지 각각 출력한 분류후보값으로부터 상기 분류값을 결정하고,
n개의 상기 분류후보값 중에서 m개 이상 중복 출력된 상기 분류후보값을 상기 분류값으로 결정하고,
상기 분류값을 결정하는 단계는,
상기 n개의 분류모델 중 상기 분류후보값을 출력하는 순서에 따라 순차적으로 p개(p<n)의 분류모델에서, 상기 m개 이상 중복 출력된 상기 분류후보값이 발생하면, n-p개의 상기 분류모델에서 상기 분류후보값이 출력되기 이전에 상기 분류값을 미리 결정하는 것을 포함하고,
상기 각각 출력한 분류후보값은,
상기 제1 분류모델부터 상기 제n 분류모델 각각에 입력된 상기 제1 특징추출값 및 상기 제2특징추출값을 포함한 특징추출값을 기초로 상기 제1 분류모델부터 상기 제n 분류모델 각각에서 출력되고,
상기 특징추출모델은,
상기 분류값 결정 여부에 기초하여 상기 특징추출값을 결정하기 위한 제1모드 또는 상기 이미지데이터에 대응되는 전처리 결과를 생성하기위한 제2 모드로 동작하는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
제1항에 있어서,
제1 특징추출모델은 상기 이미지데이터 상의 문자객체를 인식하는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
제2항에 있어서,
상기 제1 특징추출값은 상기 이미지데이터 상의 상기 문자객체의 수를 포함하는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
제2항에 있어서,
상기 제1 특징추출값은 상기 이미지데이터 전체 면적 대비 상기 문자객체의 면적 비율을 포함하는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
제4항에 있어서,
상기 문자객체는 서로 다른 복수의 종류를 포함하고,
상기 면적 비율은 상기 서로 다른 복수의 종류에 해당하는 문자객체의 전체 면적의 합의 비율로 산출되는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
제1항에 있어서,
상기 제2 특징추출모델은 상기 이미지데이터 상의 식별객체를 인식하는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
제6항에 있어서,
상기 제2 특징추출값은 상기 이미지데이터 상의 상기 식별객체의 수를 포함하는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
제6항에 있어서,
상기 제2 특징추출값은 상기 이미지데이터 전체 면적 대비 상기 식별객체의 면적 비율 또는 상기 식별객체의 형상을 포함하는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
제8항에 있어서,
상기 식별객체는 서로 다른 복수의 종류로 구성되고,
상기 면적 비율은 상기 서로 다른 복수의 종류에 해당하는 식별객체의 전체 면적의 합의 비율로 산출되는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
삭제
삭제
삭제
제1항에 있어서,
상기 분류후보값의 종류는 상기 특징추출모델의 수와 대응되는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
제1항에 있어서,
상기 n개의 분류모델은 상기 제1 및 제2 특징추출값을 수신하여 병렬적으로 분류작업을 수행하는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
제1항에 있어서,
상기 분류모델은, 의사결정트리(decision tree) 분류모델, 랜덤 포레스트(random forest) 분류모델, 로지스틱 회귀(logistic regression) 분류모델 중 하나를 포함하는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
제1항에 있어서,
상기 분류모델은, XGBOOST, AdaBOOST, CatBOOST, LightBGM 분류모델 중 하나를 포함하는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
제1항에 있어서,
상기 이미지데이터의 상기 분류값을 검증하여 검증결과를 제공하는 단계;
상기 검증결과를 기초로 상기 제1 또는 상기 제2 특징추출값이 변경되도록 상기 제1 또는 제2 특징추출모델을 수정하는 단계;를 더 포함하는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
제17항에 있어서,
상기 수정된 제1 또는 제2 특징추출모델로부터 생성된 상기 제1 및 제2 특징추출값을 상기 분류모델에 입력하여 상기 이미지데이터의 분류값을 재결정하는 단계를 더 포함하는, 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법.
컴퓨터와 결합하여, 제1항 내지 제9항, 제13항, 제14항, 제15항, 제16항, 제17항 및 제18항 중 어느 하나의 항의 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.