WO2022182163A1 - 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법 및 장치 - Google Patents

데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법 및 장치 Download PDF

Info

Publication number
WO2022182163A1
WO2022182163A1 PCT/KR2022/002712 KR2022002712W WO2022182163A1 WO 2022182163 A1 WO2022182163 A1 WO 2022182163A1 KR 2022002712 W KR2022002712 W KR 2022002712W WO 2022182163 A1 WO2022182163 A1 WO 2022182163A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
model
artificial intelligence
intelligence model
learning
Prior art date
Application number
PCT/KR2022/002712
Other languages
English (en)
French (fr)
Inventor
김원태
김동민
이명재
강신욱
이정현
Original Assignee
(주) 제이엘케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 제이엘케이 filed Critical (주) 제이엘케이
Priority claimed from KR1020220024159A external-priority patent/KR20220121212A/ko
Publication of WO2022182163A1 publication Critical patent/WO2022182163A1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models

Definitions

  • the present invention is a data processing and artificial intelligence model that provides an integrated means of providing data collection, processing and artificial intelligence model creation for artificial intelligence learning under various environments such as cloud environments and local environments, as well as performance enhancement of automated artificial intelligence models. It relates to a method and apparatus for automatically providing generation and performance enhancement.
  • Pre-annotation is a method to automate the process by using various methods such as image processing and artificial intelligence model use. It is possible to learn and create artificial intelligence models within.
  • the pre-annotation method up to now mostly depends on the use of an artificial intelligence model created in advance. This could not be expected, and in particular, there is a problem in that performance is relatively poor for data of a category that has not been used for pre-annotation model training.
  • the present invention has been devised to solve the above-described problem, and when pre-annotation data is generated, an artificial intelligence model is automatically created after learning, and performance enhancement and performance verification can be performed on the generated model.
  • a pre-annotation model is applied to the raw data collected by the learning data generator. a first step of generating training data for learning the artificial intelligence model; a second step of allocating, by a data storage, the inspected data to each isolated storage space according to a corresponding classification and storing; a third step of allocating the training data to an AI model so that the AI model learns when the upload completion monitoring unit uploads the training data to the data storage; and a fourth step of verifying the performance of the learned artificial intelligence model by the model verification unit.
  • a pre-annotation model is applied to the raw data collected by the training data generator to generate training data for learning an artificial intelligence model, and the The generated learning data can be inspected.
  • the data stored by the data storage classifying the inspected data based on a user or a project may be allocated and stored in an isolated storage space, respectively.
  • the upload completion monitoring unit monitors that the learning data is uploaded to the data storage, and when the upload is completed, the learning data to an artificial intelligence model (AI model) It can be automatically assigned to allow the AI model to learn.
  • AI model artificial intelligence model
  • applying the artificial intelligence model whose performance has been verified by the model verification unit to the pre-annotation model used in the learning data generation unit may include more.
  • the apparatus for automatically providing data processing and artificial intelligence model generation and performance enhancement applies a pre-annotation model to the collected raw data to generate learning data for artificial intelligence model learning.
  • learning data generation unit a data storage for allocating and storing the inspected data in an isolated storage space according to a corresponding classification; an upload completion monitoring unit for allocating the training data to an AI model so that the AI model learns when the training data is uploaded to the data storage; and a model verification unit that verifies the performance of the learned artificial intelligence model.
  • the training data generating unit generates training data for artificial intelligence model learning by applying a pre-annotation model to the collected raw data, and uses the generated training data. can be inspected.
  • the data storage may allocate and store the data obtained by classifying the inspected data based on a user or a project in an isolated storage space.
  • the upload completion monitoring unit monitors that the learning data is uploaded to the data storage, and when the upload is completed, automatically allocates the learning data to an AI model You can let the AI model learn.
  • the training data generating unit may apply an artificial intelligence model whose performance is verified by the model verification unit to the pre-annotation model.
  • Pre-annotation for automatic generation of artificial intelligence learning data was not considered in terms of performance enhancement through a feedback process.
  • the training data generation step, model generation step, and verification step were separately separated, so it took a lot of time and money to train and create an AI model.
  • the entire process, including model performance enhancement, can be performed with little time and cost. Through this, it can be expected that the degree of sophistication improves as data accumulates by replacing pre-annotation performed using only a fixed model with a model that automatically performs performance advancement.
  • FIG. 1 is a view for explaining an apparatus for automatically providing data processing and artificial intelligence model generation and performance enhancement according to an embodiment of the present invention.
  • FIG. 2 is a view for explaining a learning data generator according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining a data storage according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining an upload completion monitoring unit according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a model verification unit according to an embodiment of the present invention.
  • FIG. 6 is a flowchart for explaining a method for automatically providing data processing and artificial intelligence model generation and performance enhancement according to an embodiment of the present invention.
  • the present invention can provide an integrated means of providing performance enhancement of an automated artificial intelligence model along with data collection, processing, and artificial intelligence model creation for artificial intelligence learning under various environments such as a cloud environment and a local environment.
  • the present invention automatically generates data for artificial intelligence model learning by applying pre-annotation to the collected data, and uses the verified pre-annotation data to create an artificial intelligence model. can automatically improve the inference performance of
  • FIG. 1 is a view for explaining an apparatus for automatically providing data processing and artificial intelligence model generation and performance enhancement according to an embodiment of the present invention.
  • Figure 2 is a diagram for explaining the learning data generation unit 110 according to an embodiment of the present invention
  • Figure 3 is a diagram for explaining the data storage 120 according to an embodiment of the present invention
  • FIG. 4 is a diagram for explaining the upload completion monitoring unit 130 according to an embodiment of the present invention
  • FIG. 5 is a diagram showing the model verification unit 140 according to an embodiment of the present invention.
  • the apparatus or module (unit) for data processing and artificial intelligence model generation and performance enhancement automatic provision may be composed of a computer terminal, a server, a cloud server, or a network device.
  • the module (unit) providing each function may be composed of hardware or software.
  • an apparatus for automatically providing data processing and artificial intelligence model generation and performance enhancement includes a learning data generation unit 110 , a data storage 120 , an upload completion monitoring unit 130 and It is configured to include a model verification unit 140 .
  • the training data generator 110 applies a pre-annotation model to the collected raw data to generate training data for learning the AI model.
  • the training data generation unit 110 automatically generates training data for artificial intelligence model learning by applying a pre-annotation model to the collected raw data, and adds the generated training data to the training data. It is possible to acquire data for artificial intelligence model training that has been finally inspected by performing the inspection.
  • the data storage 120 allocates and stores the inspected data in separate storage spaces according to the corresponding classification.
  • the data storage 120 may allocate and store the data obtained by classifying the inspected data according to various criteria such as a user or a project in a separate storage space isolated according to each classification.
  • the upload completion monitoring unit 130 uploads the learning data to the data storage, it allocates the learning data to an AI model so that the AI model learns. .
  • the upload completion monitoring unit 130 monitors that the learning data is uploaded to the data storage 120 and automatically uploads the learning data to an artificial intelligence model (AI model) when the upload is completed.
  • AI model artificial intelligence model
  • the upload completion monitoring unit 130 may be called a 'watcher', and may monitor that the learning data is uploaded to the data storage 120 .
  • the model verification unit 140 verifies the performance of the learned artificial intelligence model. Accordingly, the training data generating unit 110 may apply an artificial intelligence model whose performance has been verified by the model verification unit to the pre-annotation model.
  • various verification methods are applied so that the artificial intelligence model is not updated with weights that are not the latest in performance, so that only models that have passed verification are used for updating, and models that have passed verification are free It can be applied to the annotation model (Pre-annotation model).
  • the entire process, including the advancement of artificial intelligence model performance, can be performed with little time and cost. Through this, it can be expected that the degree of sophistication improves as data accumulates by replacing pre-annotation performed using only a fixed model with a model that automatically performs performance advancement.
  • FIG. 6 is a flowchart for explaining a method for automatically providing data processing and artificial intelligence model generation and performance enhancement according to an embodiment of the present invention.
  • a pre-annotation model is applied to the raw data collected by the training data generator to generate training data for learning the AI model (S210).
  • the data storage stores the inspected data by allocating it to an isolated storage space according to the corresponding classification (S220).
  • the data storage may allocate and store the data obtained by classifying the inspected data based on the user or the project in each isolated storage space.
  • the upload completion monitoring unit uploads the learning data to the data storage (S230)
  • the learning data is allocated to an AI model so that the AI model learns (S240).
  • the upload completion monitoring unit monitors that the learning data is uploaded to the data storage and when the upload is completed, automatically allocates the learning data to an AI model so that the AI model learns. can do.
  • the model verification unit verifies the performance of the learned artificial intelligence model (S250). Accordingly, the artificial intelligence model whose performance has been verified by the model verification unit may be applied to the pre-annotation model used in the training data generation unit.
  • various verification methods are applied so that the artificial intelligence model is not updated with weights that are not the latest in performance, so that only models that have passed verification are used for updating, and models that have passed verification are free It can be applied to the annotation model (Pre-annotation model).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Devices For Executing Special Programs (AREA)

Abstract

본 발명은 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법 및 장치에 관한 것으로, 본 발명에 따른 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법은 학습 데이터 생성부가 수집한 원시 데이터에 프리 어노테이션 모델(Pre-annotation model)을 적용하여 인공지능 모델 학습을 위한 학습 데이터를 생성하는 제1 단계; 데이터 저장소가 검수된 상기 데이터를 해당 분류에 따라 각각 격리된 저장 공간에 할당하여 저장하는 제2 단계; 업로드 완료 감시부가 상기 학습 데이터가 상기 데이터 저장소에 업로드 되면, 인공지능 모델(AI model)에 상기 학습 데이터를 할당하여 상기 인공지능 모델이 학습하도록 하는 제3 단계; 및 모델 검증부가 학습된 상기 인공지능 모델의 성능을 검증하는 제4 단계;를 포함하여 구성된다.

Description

데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법 및 장치
본 발명은 클라우드 환경, 로컬 환경 등 다양한 환경 하에서 인공지능 학습을 위한 데이터 수집, 가공 및 인공지능 모델 생성과 더불어 자동화된 인공지능 모델의 성능 고도화를 제공하는 통합적 수단을 제공하는 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법 및 장치에 관한 것이다.
인공지능 모델을 학습시키기 위해서는 학습 데이터를 수집, 생성하는 절차가 필요하다. 예를 들어 영상에서 자동차를 탐지하는 인공지능 모델을 개발하고자 하는 경우, 학습을 위해 영상에 나타난 자동차의 영역을 표현하는 데이터가 필요한데, 이를 생성하기 위해서는 수작업으로 자동차 영역 확인을 해야 했기 때문에 많은 시간과 노력이 소요된다.
프리 어노테이션(Pre-annotation)은 해당 과정을 영상처리, 인공지능 모델 사용 등 다양한 방법을 활용하여 자동화하는 방법으로서, 적은 시간과 노력으로 많은 양의 학습 데이터를 생성할 수 있어 기존 방식에 비해 빠른 시간 내에 인공지능 모델의 학습 및 생성이 가능하다.
그러나, 현재까지의 프리 어노테이션(pre-annotation) 방법은 사전에 생성해둔 인공지능 모델 사용에 의존하는 경우가 대부분으로, 프리 어노테이션 (pre-annotation) 결과에 대한 피드백을 반영할 수 없기 때문에 성능 향상을 기대할 수 없었고, 특히 프리 어노테이션(pre-annotation) 모델 학습에 사용되지 않았던 범주의 데이터에 대해 성능이 상대적으로 떨어지는 문제점이 존재한다.
또한, 학습 데이터 생성과 인공지능 모델 학습, 인공지능 모델 성능 고도화의 각 과정이 별개로 분리되어 있으므로, 프리 어노테이션(pre-annotation)을 적용하여 학습 데이터를 생성한 경우에도 추가적인 절차를 거쳐야 인공지능 모델을 취득할 수 있다는 한계가 존재한다.
따라서, 프리 어노테이션(pre-annotation) 데이터의 생성부터 인공지능 모델의 생성 및 성능 고도화까지 이르는 통합적인 방법이 필요하다.
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 프리 어노테이션(pre-annotation) 데이터가 생성되면 자동으로 학습 후 인공지능 모델을 생성하고, 생성된 모델에 대해 성능 고도화 및 성능 검증을 수행할 수 있는 통합적인 수단을 제공하고자 한다.
전술한 문제를 해결하기 위한 본 발명의 일실시예에 따른 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법은, 학습 데이터 생성부가 수집한 원시 데이터에 프리 어노테이션 모델(Pre-annotation model)을 적용하여 인공지능 모델 학습을 위한 학습 데이터를 생성하는 제1 단계; 데이터 저장소가 검수된 상기 데이터를 해당 분류에 따라 각각 격리된 저장 공간에 할당하여 저장하는 제2 단계; 업로드 완료 감시부가 상기 학습 데이터가 상기 데이터 저장소에 업로드 되면, 인공지능 모델(AI model)에 상기 학습 데이터를 할당하여 상기 인공지능 모델이 학습하도록 하는 제3 단계; 및 모델 검증부가 학습된 상기 인공지능 모델의 성능을 검증하는 제4 단계;를 포함하여 구성된다.
본 발명의 다른 일실시예에 따르면, 상기 제1 단계는 상기 학습 데이터 생성부가 수집한 원시 데이터에 프리 어노테이션 모델(Pre-annotation model)을 적용하여 인공지능 모델 학습을 위한 학습 데이터를 생성하고, 상기 생성된 학습 데이터를 검수할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제2 단계는 상기 데이터 저장소가 검수된 상기 데이터를 사용자 또는 프로젝트를 기준으로 분류한 데이터를 각각 격리된 저장 공간에 할당하여 저장할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제3 단계는 상기 업로드 완료 감시부가 상기 학습 데이터가 상기 데이터 저장소에 업로드 되는 것을 감시하여 업로드가 완료되면, 인공지능 모델(AI model)에 상기 학습 데이터를 자동으로 할당하여 상기 인공지능 모델이 학습하도록 할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 제4 단계의 이후에, 상기 모델 검증부에서 성능이 검증된 인공지능 모델이, 상기 학습 데이터 생성부에서 사용되는 상기 프리어노테이션 모델에 적용되는 단계;를 더 포함할 수 있다.
본 발명의 일실시예에 따른 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 장치는 수집된 원시 데이터에 프리 어노테이션 모델(Pre-annotation model)을 적용하여 인공지능 모델 학습을 위한 학습 데이터를 생성하는 학습 데이터 생성부; 검수된 상기 데이터를 해당 분류에 따라 각각 격리된 저장 공간에 할당하여 저장하는 데이터 저장소; 상기 학습 데이터가 상기 데이터 저장소에 업로드 되면, 인공지능 모델(AI model)에 상기 학습 데이터를 할당하여 상기 인공지능 모델이 학습하도록 하는 업로드 완료 감시부; 및 학습된 상기 인공지능 모델의 성능을 검증하는 모델 검증부;를 포함하여 구성된다.
본 발명의 다른 일실시예에 따르면, 상기 학습 데이터 생성부는 수집한 원시 데이터에 프리 어노테이션 모델(Pre-annotation model)을 적용하여 인공지능 모델 학습을 위한 학습 데이터를 생성하고, 상기 생성된 학습 데이터를 검수할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 데이터 저장소는 검수된 상기 데이터를 사용자 또는 프로젝트를 기준으로 분류한 데이터를 각각 격리된 저장 공간에 할당하여 저장할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 업로드 완료 감시부는 상기 학습 데이터가 상기 데이터 저장소에 업로드 되는 것을 감시하여 업로드가 완료되면, 인공지능 모델(AI model)에 상기 학습 데이터를 자동으로 할당하여 상기 인공지능 모델이 학습하도록 할 수 있다.
본 발명의 다른 일실시예에 따르면, 상기 학습 데이터 생성부는 상기 프리어노테이션 모델에 상기 모델 검증부에서 성능이 검증된 인공지능 모델이 적용될 수 있다.
종래 기술에 따른 인공지능 학습 데이터 자동 생성을 위한 프리 어노테이션(pre-annotation)은 피드백 과정을 통한 성능 고도화의 측면에서 고려되지 않았다. 또한 기존에는 학습 데이터 생성 단계와 모델 생성 단계, 검증 단계가 별개로 분리되어 있어 인공지능 모델 학습 및 생성에 많은 시간과 비용이 소요되었다.
본 발명에 따르면 인공지능 학습을 위한 데이터 수집, 가공 및 인공지능 모델 생성과 더불어 자동화된 인공지능 모델의 성능 고도화를 제공하는 자동화된 통합적 방법을 제공하며, 학습 데이터 생성, 인공지능 모델 학습, 인공지능 모델 성능 고도화를 포함하는 전체 프로세스를 적은 시간과 비용으로도 수행 가능하다. 이를 통해 고정된 모델만을 사용하여 수행하는 프리 어노테이션(pre-annotation)을 성능 고도화가 자동으로 수행되는 모델로 교체함으로써 데이터가 누적될수록 고도화의 정도가 향상되는 것을 기대할 수 있다.
도 1은 본 발명의 일실시예에 따른 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 학습 데이터 생성부를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 데이터 저장소를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 업로드 완료 감시부를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 모델 검증부를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 클라우드 환경, 로컬 환경 등 다양한 환경 하에서 인공지능 학습을 위한 데이터 수집, 가공 및 인공지능 모델 생성과 더불어 자동화된 인공지능 모델의 성능 고도화를 제공하는 통합적 수단을 제공할 수 있다.
보다 구체적으로 본 발명은 수집한 데이터에 프리 어노테이션(pre-annotation)을 적용하여 인공지능 모델 학습을 위한 데이터를 자동으로 생성하고, 검증을 거친 프리 어노테이션(pre-annotation) 데이터를 이용하여 인공지능 모델의 추론 성능을 자동으로 개선할 수 있다.
도 1은 본 발명의 일실시예에 따른 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 장치를 설명하기 위한 도면이다.
또한, 도 2는 본 발명의 일실시예에 따른 학습 데이터 생성부(110)를 설명하기 위한 도면이고, 도 3은 본 발명의 일실시예에 따른 데이터 저장소(120)를 설명하기 위한 도면이고, 도 4는 본 발명의 일실시예에 따른 업로드 완료 감시부(130)를 설명하기 위한 도면이고, 도 5는 본 발명의 일실시예에 따른 모델 검증부(140)를 도시한 도면이다.
본 발명의 일실시예에 따른 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 장치 또는 모듈(부)은 컴퓨터 단말, 서버, 클라우드 서버 또는 네트워크 장치로 구성될 수 있다. 또한, 각 기능을 제공하는 모듈(부)은 하드웨어 또는 소프트웨어로 구성될 수 있다.
도 1을 참조하면, 본 발명의 일실시예에 따른 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 장치는 학습 데이터 생성부(110), 데이터 저장소(120), 업로드 완료 감시부(130) 및 모델 검증부(140)를 포함하여 구성된다.
도 2를 참조하면, 상기 학습 데이터 생성부(110)는 수집된 원시 데이터에 프리 어노테이션 모델(Pre-annotation model)을 적용하여 인공지능 모델 학습을 위한 학습 데이터를 생성한다.
보다 구체적으로, 상기 학습 데이터 생성부(110)는 수집한 원시 데이터에 프리 어노테이션 모델(Pre-annotation model)을 적용하여 인공지능 모델 학습을 위한 학습 데이터를 자동으로 생성하고, 상기 생성된 학습 데이터에 대해 검수를 진행하여 최종적으로 검수가 완료된 인공지능 모델 학습용 데이터를 취득할 수 있다.
도 3을 참조하면, 상기 데이터 저장소(120)는 검수된 상기 데이터를 해당 분류에 따라 각각 격리된 저장 공간에 할당하여 저장한다.
이때, 상기 데이터 저장소(120)는 검수된 상기 데이터를 사용자 또는 프로젝트 등의 다양한 기준으로 분류한 데이터를 각각 분류에 따라 격리된 별도의 저장 공간에 할당하여 저장할 수 있다.
또한, 도 4를 참조하면, 상기 업로드 완료 감시부(130)가 상기 학습 데이터가 상기 데이터 저장소에 업로드 되면, 인공지능 모델(AI model)에 상기 학습 데이터를 할당하여 상기 인공지능 모델이 학습하도록 한다.
보다 상세하게 설명하면, 상기 업로드 완료 감시부(130)는 상기 학습 데이터가 상기 데이터 저장소(120)에 업로드 되는 것을 감시하여 업로드가 완료되면, 인공지능 모델(AI model)에 상기 학습 데이터를 자동으로 할당하여 상기 인공지능 모델이 학습하여 새로운 인공지능 모델을 생성하는 프로세스를 수행하도록 할 수 있다. 이때, 상기 업로드 완료 감시부(130)는 'watcher'라 불리울 수 있으며, 상기 학습 데이터가 상기 데이터 저장소(120)에 업로드 되는 것을 감시할 수 있다.
도 5를 참조하면, 상기 모델 검증부(140)가 학습된 상기 인공지능 모델의 성능을 검증한다. 따라서, 상기 학습 데이터 생성부(110)에는 상기 프리어노테이션 모델에 상기 모델 검증부에서 성능이 검증된 인공지능 모델이 적용될 수 있다.
즉, 본 발명의 일실시예에 따르면, 성능이 최신이 아닌 가중치로 인공지능 모델이 갱신되지 않도록 다양한 검증 방법을 적용하여 검증을 통과한 모델만 갱신에 이용되도록 하고, 검증을 통과한 모델은 프리 어노테이션 모델(Pre-annotation model)에 적용될 수 있다.
따라서, 본 발명에 따르면 인공지능 학습을 위한 데이터 수집, 가공 및 인공지능 모델 생성과 더불어 자동화된 인공지능 모델의 성능 고도화를 제공하는 자동화된 통합적 방법을 제공하며, 학습 데이터 생성, 인공지능 모델 학습, 인공지능 모델 성능 고도화를 포함하는 전체 프로세스를 적은 시간과 비용으로도 수행 가능하다. 이를 통해 고정된 모델만을 사용하여 수행하는 프리 어노테이션(pre-annotation)을 성능 고도화가 자동으로 수행되는 모델로 교체함으로써 데이터가 누적될수록 고도화의 정도가 향상되는 것을 기대할 수 있다.
도 6은 본 발명의 일실시예에 따른 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법을 설명하기 위한 흐름도이다.
이후부터는 도 6을 참조하여 본 발명의 일실시예에 따른 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법을 설명하기로 한다.
도 6을 참조하면, 먼저 학습 데이터 생성부가 수집한 원시 데이터에 프리 어노테이션 모델(Pre-annotation model)을 적용하여 인공지능 모델 학습을 위한 학습 데이터를 생성한다(S210).
이때, 상기 학습 데이터 생성부가 수집한 원시 데이터에 프리 어노테이션 모델(Pre-annotation model)을 적용하여 인공지능 모델 학습을 위한 학습 데이터를 생성하고, 상기 생성된 학습 데이터를 검수할 수 있다.
이후, 데이터 저장소가 검수된 상기 데이터를 해당 분류에 따라 각각 격리된 저장 공간에 할당하여 저장한다(S220).
이때, 상기 데이터 저장소가 검수된 상기 데이터를 사용자 또는 프로젝트를 기준으로 분류한 데이터를 각각 격리된 저장 공간에 할당하여 저장할 수 있다.
이후에는 업로드 완료 감시부가 상기 학습 데이터가 상기 데이터 저장소에 업로드 되면(S230), 인공지능 모델(AI model)에 상기 학습 데이터를 할당하여 상기 인공지능 모델이 학습하도록 한다(S240).
보다 구체적으로, 상기 업로드 완료 감시부가 상기 학습 데이터가 상기 데이터 저장소에 업로드 되는 것을 감시하여 업로드가 완료되면, 인공지능 모델(AI model)에 상기 학습 데이터를 자동으로 할당하여 상기 인공지능 모델이 학습하도록 할 수 있다.
이후, 모델 검증부가 학습된 상기 인공지능 모델의 성능을 검증한다(S250). 따라서, 상기 모델 검증부에서 성능이 검증된 인공지능 모델이, 상기 학습 데이터 생성부에서 사용되는 상기 프리어노테이션 모델에 적용될 수 있다.
즉, 본 발명의 일실시예에 따르면, 성능이 최신이 아닌 가중치로 인공지능 모델이 갱신되지 않도록 다양한 검증 방법을 적용하여 검증을 통과한 모델만 갱신에 이용되도록 하고, 검증을 통과한 모델은 프리 어노테이션 모델(Pre-annotation model)에 적용될 수 있다.
전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (10)

  1. 학습 데이터 생성부가 수집한 원시 데이터에 프리 어노테이션 모델(Pre-annotation model)을 적용하여 인공지능 모델 학습을 위한 학습 데이터를 생성하는 제1 단계;
    데이터 저장소가 검수된 상기 데이터를 해당 분류에 따라 각각 격리된 저장 공간에 할당하여 저장하는 제2 단계;
    업로드 완료 감시부가 상기 학습 데이터가 상기 데이터 저장소에 업로드 되면, 인공지능 모델(AI model)에 상기 학습 데이터를 할당하여 상기 인공지능 모델이 학습하도록 하는 제3 단계; 및
    모델 검증부가 학습된 상기 인공지능 모델의 성능을 검증하는 제4 단계;
    를 포함하는 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법.
  2. 청구항 1에 있어서,
    상기 제1 단계는,
    상기 학습 데이터 생성부가 수집한 원시 데이터에 프리 어노테이션 모델(Pre-annotation model)을 적용하여 인공지능 모델 학습을 위한 학습 데이터를 생성하고, 상기 생성된 학습 데이터를 검수하는, 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법.
  3. 청구항 1에 있어서,
    상기 제2 단계는,
    상기 데이터 저장소가 검수된 상기 데이터를 사용자 또는 프로젝트를 기준으로 분류한 데이터를 각각 격리된 저장 공간에 할당하여 저장하는, 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법.
  4. 청구항 1에 있어서,
    상기 제3 단계는,
    상기 업로드 완료 감시부가 상기 학습 데이터가 상기 데이터 저장소에 업로드 되는 것을 감시하여 업로드가 완료되면, 인공지능 모델(AI model)에 상기 학습 데이터를 자동으로 할당하여 상기 인공지능 모델이 학습하도록 하는, 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법.
  5. 청구항 1에 있어서,
    상기 제4 단계의 이후에,
    상기 모델 검증부에서 성능이 검증된 인공지능 모델이, 상기 학습 데이터 생성부에서 사용되는 상기 프리어노테이션 모델에 적용되는 단계;
    를 더 포함하는 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법.
  6. 수집된 원시 데이터에 프리 어노테이션 모델(Pre-annotation model)을 적용하여 인공지능 모델 학습을 위한 학습 데이터를 생성하는 학습 데이터 생성부;
    검수된 상기 데이터를 해당 분류에 따라 각각 격리된 저장 공간에 할당하여 저장하는 데이터 저장소;
    상기 학습 데이터가 상기 데이터 저장소에 업로드 되면, 인공지능 모델(AI model)에 상기 학습 데이터를 할당하여 상기 인공지능 모델이 학습하도록 하는 업로드 완료 감시부; 및
    학습된 상기 인공지능 모델의 성능을 검증하는 모델 검증부;
    를 포함하는 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 장치.
  7. 청구항 6에 있어서,
    상기 학습 데이터 생성부는,
    수집한 원시 데이터에 프리 어노테이션 모델(Pre-annotation model)을 적용하여 인공지능 모델 학습을 위한 학습 데이터를 생성하고, 상기 생성된 학습 데이터를 검수하는, 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 장치.
  8. 청구항 6에 있어서,
    상기 데이터 저장소는,
    검수된 상기 데이터를 사용자 또는 프로젝트를 기준으로 분류한 데이터를 각각 격리된 저장 공간에 할당하여 저장하는, 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 장치.
  9. 청구항 6에 있어서,
    상기 업로드 완료 감시부는,
    상기 학습 데이터가 상기 데이터 저장소에 업로드 되는 것을 감시하여 업로드가 완료되면, 인공지능 모델(AI model)에 상기 학습 데이터를 자동으로 할당하여 상기 인공지능 모델이 학습하도록 하는, 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 장치.
  10. 청구항 6에 있어서,
    상기 학습 데이터 생성부는,
    상기 프리어노테이션 모델에 상기 모델 검증부에서 성능이 검증된 인공지능 모델이 적용되는, 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 장치.
PCT/KR2022/002712 2021-02-24 2022-02-24 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법 및 장치 WO2022182163A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210024645 2021-02-24
KR10-2021-0024645 2021-02-24
KR1020220024159A KR20220121212A (ko) 2021-02-24 2022-02-24 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법 및 장치
KR10-2022-0024159 2022-02-24

Publications (1)

Publication Number Publication Date
WO2022182163A1 true WO2022182163A1 (ko) 2022-09-01

Family

ID=83049480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/002712 WO2022182163A1 (ko) 2021-02-24 2022-02-24 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2022182163A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019200558A (ja) * 2018-05-16 2019-11-21 株式会社アドダイス 画像処理装置及び検査システム
KR20200057291A (ko) * 2018-11-16 2020-05-26 한국전자통신연구원 전이 학습 모델 생성 방법 및 장치
KR20200066083A (ko) * 2018-11-30 2020-06-09 주식회사 딥바이오 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
KR20200110979A (ko) * 2019-03-18 2020-09-28 스퀘어네트 주식회사 공장 설비 결함의 예지보전 시스템
KR20200124610A (ko) * 2019-04-24 2020-11-03 쥐이 프리시즌 헬스케어 엘엘씨 의료 기계 합성 데이터 및 대응하는 이벤트 생성

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019200558A (ja) * 2018-05-16 2019-11-21 株式会社アドダイス 画像処理装置及び検査システム
KR20200057291A (ko) * 2018-11-16 2020-05-26 한국전자통신연구원 전이 학습 모델 생성 방법 및 장치
KR20200066083A (ko) * 2018-11-30 2020-06-09 주식회사 딥바이오 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
KR20200110979A (ko) * 2019-03-18 2020-09-28 스퀘어네트 주식회사 공장 설비 결함의 예지보전 시스템
KR20200124610A (ko) * 2019-04-24 2020-11-03 쥐이 프리시즌 헬스케어 엘엘씨 의료 기계 합성 데이터 및 대응하는 이벤트 생성

Similar Documents

Publication Publication Date Title
WO2017146344A1 (ko) 개인 맞춤형 교육 컨텐츠를 제공하는 방법, 장치 및 컴퓨터 프로그램
WO2017039086A1 (ko) 웹플러그인 기반 딥러닝 모듈화시스템 및 이를 이용한 영상인식방법
WO2021107422A1 (ko) 에너지 사용량 데이터의 비지도 학습 기반 부하 모니터링 방법
WO2018212397A1 (ko) 시험 점수를 추정하는 방법, 장치 및 컴퓨터 프로그램
WO2019107698A1 (ko) 기업정보 분석을 통한 성공 예측 분석 시스템
WO2020111754A9 (ko) 세미 슈퍼바이즈드 학습을 이용한 진단 시스템 제공방법 및 이를 이용하는 진단 시스템
WO2021182889A2 (ko) 영상 기반의 안질환 진단 장치 및 방법
WO2018212396A1 (ko) 데이터를 분석하는 방법, 장치 및 컴퓨터 프로그램
WO2019098418A1 (ko) 뉴럴 네트워크 학습 방법 및 디바이스
WO2022146080A1 (ko) 딥러닝 네트워크의 동적 양자화 정밀도 가변 알고리즘 및 방법
WO2023128093A1 (ko) 반도체 설계에서 사용자 학습 환경 기반의 강화학습 장치 및 방법
WO2023043019A1 (ko) 사용자 학습 환경 기반의 강화학습 장치 및 방법
WO2022182163A1 (ko) 데이터 가공 및 인공지능 모델 생성과 성능 고도화 자동 제공 방법 및 장치
WO2014092265A1 (ko) 문법 오류 정정 시스템 및 이를 이용한 문법 오류 정정 방법
WO2021091096A1 (ko) 공정성 분류 네트워크를 이용한 시각 질의 응답 방법 및 장치
CN115828022B (zh) 一种数据识别方法、联邦训练模型、装置和设备
WO2023224205A1 (ko) 인공 신경망 모델 학습 결과 합성을 통한 공통 모델 생성 방법
WO2022149758A1 (ko) 풀이 경험이 없는 추가된 문제 컨텐츠에 대한 예측된 정답 확률을 기초로, 문제를 평가하는 학습 컨텐츠 평가 장치, 시스템 및 그것의 동작 방법
WO2023022406A1 (ko) 학습 실력 평가 방법, 학습 실력 평가 장치 및 학습 실력 평가 시스템
WO2023128320A1 (ko) 인공지능 검증 시스템 및 방법
WO2020101121A1 (ko) 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말
WO2022260392A1 (ko) 단말에서 동작하는 이미지 프로세싱 인공 신경망 모델 생성 방법 및 시스템
WO2023282537A1 (ko) 학습 능력 평가 방법, 학습 능력 평가 장치, 및 학습 능력 평가 시스템
WO2021261763A1 (ko) 온톨로지 데이터베이스 기반의 딥러닝을 통한 병리검사결과보고서 정제 시스템
CN115730205A (zh) 一种配置决策装置的方法、装置及相关设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22760079

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22760079

Country of ref document: EP

Kind code of ref document: A1