KR102562441B1 - 순환형 인공지능 서비스 플랫폼의 동작 방법 및 순환형 인공지능 서비스 플랫폼 장치 - Google Patents

순환형 인공지능 서비스 플랫폼의 동작 방법 및 순환형 인공지능 서비스 플랫폼 장치 Download PDF

Info

Publication number
KR102562441B1
KR102562441B1 KR1020200186861A KR20200186861A KR102562441B1 KR 102562441 B1 KR102562441 B1 KR 102562441B1 KR 1020200186861 A KR1020200186861 A KR 1020200186861A KR 20200186861 A KR20200186861 A KR 20200186861A KR 102562441 B1 KR102562441 B1 KR 102562441B1
Authority
KR
South Korea
Prior art keywords
artificial intelligence
learning model
labeling
intelligence learning
data
Prior art date
Application number
KR1020200186861A
Other languages
English (en)
Other versions
KR20220095037A (ko
Inventor
장래영
용 이
박민우
이상환
송사광
Original Assignee
한국과학기술정보연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술정보연구원 filed Critical 한국과학기술정보연구원
Priority to KR1020200186861A priority Critical patent/KR102562441B1/ko
Publication of KR20220095037A publication Critical patent/KR20220095037A/ko
Application granted granted Critical
Publication of KR102562441B1 publication Critical patent/KR102562441B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은, 특허에 부여되는 CPC 코드의 동시출현 빈도수 뿐 CPC 코드가 갖는 특징 예컨대 코드 계층관계, 코드 속성(inventive/additional) 등을 활용하여 CPC 코드를 기반으로 특허 간 유사도를 산정할 수 있는, 세분화되고 구체화된 새로운 방식의 유사 특허 분류 방법을 실현하기 위한 것이다.

Description

순환형 인공지능 서비스 플랫폼의 동작 방법 및 순환형 인공지능 서비스 플랫폼 장치{ARTIFICIAL INTELLIGENCE SERVICE PLATFORM OF CIRCULATION TYPE AND CONTROL METHOD THEREOF}
본 발명은, 다량의 데이터를 바탕으로 하는 인공지능 학습모델을 서비스하는 인공지능 기술에 관한 것으로, 더욱 상세하게는 인공지능 학습모델의 개발/서비스와 관련된 각 분야 간에 유기적인 피드백(협업) 관계를 갖는 체계를 구축하여 인공지능 생태계의 시너지 효과를 증대시키는 기술에 관한 것이다.
최근에는 특수한 기술 분야 뿐 아니라 다양한 기술 분야에서, 인공지능 기술이 도입되고자 연구 개발되고 있다.
인공지능(AI, Artificial Intelligence)은 인간의 학습능력과 추론능력 그리고 언어이해능력을 컴퓨터 프로그램 형태로 실현하는 기술로서, 인간의 지능과 마찬가지로 문제 해결을 위한 학습이 핵심적 특징이라 할 수 있고 이러한 학습의 매개물이 바로 인공지능 학습모델일 것이다.
과거에는 지능을 구현하기 위해 인간이 직접 모든 프로그램을 작성했으나, 문제가 복잡할 경우 인간이 직접 설계/작성하는 것이 불가능하므로, 인공지능 기술에서는 이를 해결하기 위해 입력과 출력의 데이터가 주어지면 규칙을 자동으로 파악하는 모델, 즉 인공지능 학습모델을 생성하게 된다.
따라서, 인공지능 기술에서는, 인공지능 서비스의 높은 성능을 유지하기 위해, 정확도/신뢰도가 높은 인공지능 학습모델을 생생하는 것이 무엇보다 중요하다 할 것이다.
한편, 인공지능 기술은, 일반적으로 인공지능 학습모델을 개발하는 분야(모델 개발자), 인공지능 학습모델을 서비스 받아 이용하는 분야(모델 이용자), 그리고 인공지능 학습모델 개발에 이용될 데이터들에 라벨링을 처리하는 분야(라벨링 작업자)로 구분할 수 있다.
현재 인공지능 기술을 서비스하는 인공지능 플랫폼은, 전술과 같이 구분할 수 있는 각 분야 즉, 모델 개발자, 모델 이용자, 라벨링 작업자 분야 별로 그 분야에 특정된 일부 기능 만을 제공하고 있다.
다시 말해, 현재 인공지능 플랫폼은, 인공지능 학습모델의 개발/서비스와 관련된 각 분야, 즉 모델 개발자, 모델 이용자, 라벨링 작업자 분야 별로 그 분야에서 필요한 특정 기능만을 제공하는 수준에 그치며, 분야 별 정확도/신뢰도를 높이거나 분야 별 문제점을 극복하기 위해 유의미한 유기적 협업 체계를 제공하기 위한 기능은 제공하지 못하는 한계를 갖는다.
이에, 본 발명에서는, 인공지능 학습모델의 개발/서비스와 관련된 각 분야, 즉 모델 개발자, 모델 이용자, 라벨링 작업자 분야 간에, 유기적인 피드백(협업) 관계를 갖는 체계를 구축하여, 분야 별 정확도/신뢰도를 높이거나 분야 별 문제점을 극복하는 등 인공지능 생태계의 시너지 효과를 증대시킬 수 있는 기술 방안을 제안하고자 한다.
본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 인공지능 학습모델의 개발/서비스와 관련된 각 분야, 즉 모델 개발자, 모델 이용자, 라벨링 작업자 분야 간에, 유기적인 피드백(협업) 관계를 갖는 체계를 구축/실현하는 구체화되고 새로운 방식의 순환형 인공지능 서비스 플랫폼 기술(방안)을 구현하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 관점에 따른 순환형 인공지능 서비스 플랫폼의 동작 방법은, 인공지능 학습모델 개발 시 이용하도록 기 저장되는 각 라벨링 데이터에 대하여, 라벨링 데이터의 라벨링 작업자 별로 라벨링 평가정보를 처리하는 라벨링 데이터 전처리 단계; 데이터 라벨링 처리를 위한 다수의 원시데이터 배분 시, 상기 라벨링 작업자 별 라벨링 평가정보를 근거로 라벨링 작업자 별로 상기 원시데이터를 동적으로 배분하여 데이터 라벨링이 처리되도록 하는 라벨링 처리 단계; 및 상기 라벨링 처리 단계를 통해 처리 및 저장되는 라벨링 데이터를 이용 및 생성되는 데이터 세트를 학습하여 인공지능 학습모델을 생성하고, 상기 생성한 인공지능 학습모델을 등록하는 인공지능 학습모델 개발 단계를 포함한다.
구체적으로, 상기 인공지능 학습모델 개발 단계는, 상기 생성한 인공지능 학습모델에 대하여 플랫폼 기반 검증을 수행하여 공개 결정되는 경우, 상기 생성한 인공지능 학습모델을 비공개용(Private) 및 공개용(Public)으로 구분하여 Open API 형식으로 호출 및 이용할 수 있도록 매칭시켜 등록할 수 있다.
구체적으로, 상기 공개용(Public)의 인공지능 학습모델을 호출하여 이용하고, 이용한 공개용(Public) 인공지능 학습모델에 대한 평가를 수행하는 인공지능 이용 단계를 더 포함하며; 상기 인공지능 학습모델 개발 단계는, 등록한 공개용(Public)의 인공지능 학습모델에 대한 평가를 근거로, 상기 공개용(Public) 인공지능 학습모델과 매칭 등록되어 있는 비공개용(Private)의 인공지능 학습모델을 업데이트하는 단계, 상기 업데이트한 비공개용(Private) 인공지능 학습모델에 대해 플랫폼 기반 검증 수행 후, 상기 업데이트한 비공개용(Private) 인공지능 학습모델과 매칭 등록되어 있는 공개용(Public)의 인공지능 학습모델도 동일하게 업데이트하는 단계를 포함할 수 있다.
구체적으로, 상기 공개용(Public)의 인공지능 학습모델을 호출하여 이용하고, 이용한 공개용(Public) 인공지능 학습모델에 대한 평가를 수행하는 인공지능 이용 단계를 더 포함하며; 및 상기 평가를 수행한 이용 주체에 대해, 인공지능 학습모델 이용 빈도 및 평가 내용을 근거로 기 정의된 절차의 역평가를 수행하여 역평가 결과에 따라 인공지능 학습모델 이용에 따른 이용료 또는 호출 가능한 인공지능 학습모델의 범위를 조정하여 평가 보상하는 단계를 더 포함할 수 있다.
구체적으로, 상기 데이터 세트는, 인공지능 학습모델 개발 시 이용하도록 기 저장되는 라벨링 데이터에서, 인공지능 학습모델을 생성하는 생성 주체에 의한 조건 및 유형에 따라 선택되는 라벨링 데이터를 이용하여 생성될 수 있다.
구체적으로, 상기 라벨링 처리 단계에서는, 상기 인공지능 학습모델을 라벨링 툴(Tool)에 적용하여, 원시데이터의 데이터 라벨링 처리 시 상기 라벨링 툴을 통해 상기 인공지능 학습모델이 학습한 데이터 세트가 반영될 수 있게 할 수 있다.
상기 목적을 달성하기 위한 본 발명의 일 관점에 따른 순환형 인공지능 서비스 플랫폼 장치는, 인공지능 학습모델 개발 시 이용하도록 기 저장되는 각 라벨링 데이터에 대하여, 라벨링 데이터의 라벨링 작업자 별로 라벨링 평가정보를 처리하는 라벨링 데이터 전처리부; 데이터 라벨링 처리를 위한 다수의 원시데이터 배분 시, 상기 라벨링 작업자 별 라벨링 평가정보를 근거로 라벨링 작업자 별로 상기 원시데이터를 동적으로 배분하여 데이터 라벨링이 처리되도록 하는 데이터 라벨링 처리부; 및 상기 라벨링 처리 단계를 통해 처리 및 저장되는 라벨링 데이터를 이용 및 생성되는 데이터 세트를 학습하여 인공지능 학습모델을 생성하고, 상기 생성한 인공지능 학습모델을 등록하는 인공지능 학습모델 개발부를 포함한다.
구체적으로, 상기 인공지능 학습모델 개발부는, 상기 생성한 인공지능 학습모델에 대하여 플랫폼 기반 검증을 수행하여 공개 결정되는 경우, 상기 생성한 인공지능 학습모델을 비공개용(Private) 및 공개용(Public)으로 구분하여 Open API 형식으로 호출 및 이용할 수 있도록 매칭시켜 등록할 수 있다.
구체적으로, 상기 공개용(Public)의 인공지능 학습모델을 호출하여 이용하고, 이용한 공개용(Public) 인공지능 학습모델에 대한 평가를 수행하는 인공지능 이용부를 더 포함하며; 상기 인공지능 학습모델 개발부는, 등록한 공개용(Public)의 인공지능 학습모델에 대한 평가를 근거로, 상기 공개용(Public) 인공지능 학습모델과 매칭 등록되어 있는 비공개용(Private)의 인공지능 학습모델을 업데이트하고, 상기 업데이트한 비공개용(Private) 인공지능 학습모델에 대해 플랫폼 기반 검증 수행 후, 상기 업데이트한 비공개용(Private) 인공지능 학습모델과 매칭 등록되어 있는 공개용(Public)의 인공지능 학습모델도 동일하게 업데이트할 수 있다.
구체적으로, 상기 공개용(Public)의 인공지능 학습모델을 호출하여 이용하고, 이용한 공개용(Public) 인공지능 학습모델에 대한 평가를 수행하는 인공지능 이용부를 더 포함하며; 및 상기 인공지능 학습모델 개발부는, 상기 평가를 수행한 이용 주체에 대해, 인공지능 학습모델 이용 빈도 및 평가 내용을 근거로 기 정의된 절차의 역평가를 수행하여 역평가 결과에 따라 인공지능 학습모델 이용에 따른 이용료 또는 호출 가능한 인공지능 학습모델의 범위를 조정하여 평가 보상할 수 있다.
구체적으로, 상기 데이터 세트는, 인공지능 학습모델 개발 시 이용하도록 기 저장되는 라벨링 데이터에서, 인공지능 학습모델을 생성하는 생성 주체에 의한 조건 및 유형에 따라 선택되는 라벨링 데이터를 이용하여 생성될 수 있다.
이에, 본 발명에 의하면, 인공지능 학습모델의 개발/서비스와 관련된 각 분야, 즉 인공지능 기술의 모델 개발자, 모델 이용자, 라벨링 작업자 분야 간에, 유기적인 피드백(협업) 관계를 갖는 체계를 구축/실현하는 구체화되고 새로운 방식의 순환형 인공지능 서비스 플랫폼 기술(방안)을 구현할 수 있다.
이로 인해, 본 발명에 따르면, 인공지능 기술의 각 분야 간에 유기적 협업을 통해, 각 분야 별 정확도/신뢰도를 높이거나 분야 별 문제점을 극복하는 등 인공지능 생태계의 시너지 및 성능, 기술 개선을 지속적으로 향상시키는 효과를 도출한다.
도 1은 본 발명의 실시예에 따른 순환형 인공지능 서비스 플랫폼에 대한 기술 개념을 간략하게 보여주는 예시도이다.
도 2는 본 발명의 실시예에 따른 순환형 인공지능 서비스 플랫폼의 구성을 보여주는 블록 예시도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 순환형 인공지능 서비스 플랫폼의 동작 방법의 동작 흐름을 보여주는 예시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대하여 설명한다.
본 발명은, 다량의 데이터를 바탕으로 하는 인공지능 학습모델을 서비스하는 인공지능 기술에 관한 것이다.
최근에는 특수한 기술 분야 뿐 아니라 다양한 기술 분야에서, 인공지능 기술이 도입되고자 연구 개발되고 있다.
인공지능(AI, Artificial Intelligence)은 인간의 학습능력과 추론능력 그리고 언어이해능력을 컴퓨터 프로그램 형태로 실현하는 기술로서, 인간의 지능과 마찬가지로 문제 해결을 위한 학습이 핵심적 특징이라 할 수 있고 이러한 학습의 매개물이 바로 인공지능 학습모델일 것이다.
과거에는 지능을 구현하기 위해 인간이 직접 모든 프로그램을 작성했으나, 문제가 복잡할 경우 인간이 직접 설계/작성하는 것이 불가능하므로, 인공지능 기술에서는 이를 해결하기 위해 입력과 출력의 데이터가 주어지면 규칙을 자동으로 파악하는 모델, 즉 인공지능 학습모델을 생성하게 된다.
따라서, 인공지능 기술에서는, 인공지능 서비스의 높은 성능을 유지하기 위해, 정확도/신뢰도가 높은 인공지능 학습모델을 생생하는 것이 무엇보다 중요하다 할 것이다.
한편, 인공지능 기술은, 일반적으로 인공지능 학습모델을 개발하는 분야(모델 개발자), 인공지능 학습모델을 서비스 받아 이용하는 분야(모델 이용자), 그리고 인공지능 학습모델 개발에 이용될 데이터들에 라벨링을 처리하는 분야(라벨링 작업자)로 구분할 수 있다.
현재 인공지능 기술을 서비스하는 인공지능 플랫폼은, 전술과 같이 구분할 수 있는 각 분야 즉, 모델 개발자, 모델 이용자, 라벨링 작업자 분야 별로 그 분야에 특정된 일부 기능 만을 제공하고 있다.
다시 말해, 현재 인공지능 플랫폼은, 인공지능 학습모델의 개발/서비스와 관련된 각 분야, 즉 모델 개발자, 모델 이용자, 라벨링 작업자 분야 별로 그 분야에서 필요한 특정 기능만을 제공하는 수준에 그치며, 분야 별 정확도/신뢰도를 높이거나 분야 별 문제점을 극복하기 위해 유의미한 유기적 협업 체계를 제공하기 위한 기능은 제공하지 못하는 한계를 갖는다.
이렇듯, 현재 인공지능 플랫폼의 수준은, 인공지능 기술의 각 분야, 즉 모델 개발자, 모델 이용자, 라벨링 작업자 간 관계 형성/협업 체계를 구축하지 못하기 때문에, 각 분야 간에 부족한 점(정확도/신뢰도, 문제점 극복 등)을 충족시킬 수 없었다.
결국, 인공지능 학습모델의 개발/서비스와 관련된 각 분야, 즉 모델 개발자, 모델 이용자, 라벨링 작업자 분야 간에, 유의미한 유기적 관계 형성/협업 체계를 통해 지속적인 기술 개선이 가능한 플랫폼이 필요하다 하겠다.
이에, 본 발명에서는, 인공지능 학습모델의 개발/서비스와 관련된 각 분야, 즉 모델 개발자, 모델 이용자, 라벨링 작업자 분야 간에, 유기적인 피드백(협업) 관계를 갖는 체계를 구축하여, 분야 별 정확도/신뢰도를 높이거나 분야 별 문제점을 극복하는 등 인공지능 생태계의 시너지 및 성능, 기술 개선을 지속적으로 향상시킬 수 있는 기술 방안을 제안하고자 한다.
다시 말해, 본 발명에서는, 인공지능 기술의 각 분야, 즉 모델 개발자, 모델 이용자, 라벨링 작업자 분야 간에, 유기적인 피드백(협업) 관계를 갖는 체계를 구축/실현하는 구체화되고 새로운 방식의 순환형 인공지능 서비스 플랫폼 기술(방안)을 구현하고자 한다.
도 1은 본 발명에서 구현하는 순환형 인공지능 서비스 플랫폼에 대한 기술 개념을 간략하게 보여주는 일 예시도이다.
도 1에 도시된 바와 같이, 본 발명에서 구현하는 순환형 인공지능 서비스 플랫폼(AI Platform)은, 기본적으로 인공지능 기술의 각 분야, 즉 모델 개발자, 모델 이용자, 라벨링 작업자 분야 별로, 그 분야에서 요구하는 기능을 제공한다.
예컨대, 순환형 인공지능 서비스 플랫폼(AI Platform)은, 라벨링 작업자(Annotator)에게는 다량의 원시데이터(예: Raw Video Data)를 제공하여 라벨링 툴(Data Labeling Tool)을 통해 데이터 라벨링을 처리할 수 있도록 지원하는 기능(Data Labeling)을 제공한다.
또한, 순환형 인공지능 서비스 플랫폼(AI Platform)은, 모델 개발자(Model Developer)에게는 라벨링 처리된 라벨링 데이터(Annotated Data)를 이용하여 인공지능 학습모델을 개발할 수 있도록 지원하는 기능(AI 학습모델 개발)을 제공한다.
또한, 순환형 인공지능 서비스 플랫폼(AI Platform)은, 모델 이용자(Data Reseacher)에게는 개발된 인공지능 학습모델을 이용할 수 있도록 지원하는 기능(AI as a Service 이용)을 제공한다.
본 발명에서 구현하는 순환형 인공지능 서비스 플랫폼(AI Platform)은, 전술과 같이 일반적인(또는 기존) 플랫폼에서도 제공하는 기본적인 기능 제공에서 더 나아가, 인공지능 생태계의 환경적 특징을 고려하여 각 분야(라벨링 작업/모델 개발/모델 이용) 간에 유의미한 피드백(협업) 체계/관계를 갖도록 하는 기능으로서, 모델 개발 분야 주체의 Annotated Data 평가 기능, 모델 이용 분야 주체의 AI as a Service 평가 기능, 그리고 Annotated Data 평가/AI as a Service 평가에 따른 평가점수 또는 평가수치 등 평가 정보를 관리하는 기능(Ranking Data), 각 분야(라벨링 작업/모델 개발/모델 이용)에서 데이터 라벨링, 인공지능 학습모델 개발, 인공지능 학습모델 이용 시 정확도/신뢰도를 높이거나 문제점을 극복하는 등 기능 개선을 위해 Ranking Data를 적용/반영/활용하도록 하는 기능을 제공할 수 있다.
이렇듯, 본 발명의 순환형 인공지능 서비스 플랫폼 기술(방안)에서는, 인공지능 기술의 각 분야, 즉 라벨링 작업자, 모델 개발자, 모델 이용자 분야 간에, 각 분야에서의 기능 개선을 지속적으로 달성할 수 있도록 하는 유의미한 유기적 관계 형성/협업 체계를 구축/실현하는데 핵심적 구성이 있다 할 수 있다.
이하에서는, 전술한 바와 같이, 인공지능 기술의 각 분야 간에, 각 분야에서의 기능 개선을 지속적으로 달성할 수 있도록 하는 유의미한 유기적 관계 형성/협업 체계를 구축해 내는 구체화된 기술 구성에 대해 설명하겠다.
도 2은 본 발명의 순환형 인공지능 서비스 플랫폼 기술(방안)을 구현하는 각 기술 구성들을 일 예로서 도시하고 있다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 순환형 인공지능 서비스 플랫폼 기술을 구현하는 장치, 즉 순환형 인공지능 서비스 플랫폼 장치(100)는, 라벨링 데이터 전처리부(10), 데이터 라벨링 처리부(20), 인공지능 학습모델 개발부(30)를 포함하는 구성을 가질 수 있다.
더 나아가, 본 발명의 일 실시예에 따른 순환형 인공지능 서비스 플랫폼 장치(100)는, 인공지능 이용부(40), 데이터 저장부(50)를 더 포함하는 구성을 가질 수 있다.
이러한 순환형 인공지능 서비스 플랫폼 장치(100)의 구성 전체 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.
여기서, 소프트웨어 모듈이란, 예컨대 순환형 인공지능 서비스 플랫폼 장치(100) 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 순환형 인공지능 서비스 플랫폼 장치(100) 내 메모리에 탑재된 형태를 가질 수 있을 것이다.
결국, 본 발명의 실시예에 따른 순환형 인공지능 서비스 플랫폼 장치(100)은, 전술한 구성을 통해, 본 발명에서 제안하는 인공지능 기술의 각 분야 간 유기적 관계 형성/협업 체계의 구축을 실현하며, 이하에서는 이를 실현하기 위한 순환형 인공지능 서비스 플랫폼 장치(100) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.
라벨링 데이터 전처리부(10)는, 인공지능 학습모델 개발 시 이용하도록 기 저장되는 각 라벨링 데이터에 대하여, 라벨링 데이터의 라벨링 작업자 별로 라벨링 평가정보를 처리하는 기능을 수행한다.
즉, 라벨링 데이터 전처리부(10)는, 본 발명의 순환형 인공지능 서비스 플랫폼(100)에서, 전술한 바 있는 모델 개발 분야 주체의 Annotated Data 평가 기능을 실현하는 기능부이다.
보다 구체적으로 설명하면, 라벨링 데이터 전처리부(10)는, 데이터 저장부(50)에 저장되어 있는 각 라벨링 데이터에 대하여, 모델 개발 분야 주체 즉 모델 개발자가 평가할 수 있도록 하는 기능(라벨링 데이터 평가)을 제공하여, 모델 개발자에 의한 라벨링 데이터의 평가 점수를 확인할 수 있다.
여기서, 라벨링 데이터는, 예컨대 원시데이터가 영상 파일인 경우를 가정하면, 영상(데이터) 파일 및 라벨링 정보 파일로 구성되고, 라벨링 정보 파일에는 라벨링 작업자 및 라벨링 태그 등의 정보가 포함될 수 있다.
이에, 라벨링 데이터 전처리부(10)는, 모델 개발자에 의한 각 라벨링 데이터의 평가 점수를, 각 라벨링 작업자를 구분할 수 있는 라벨링 정보를 기준으로 구분/산정하여, 라벨링 작업자 별로 라벨링 평가정보를 처리할 수 있다(Annotator 평가 처리부).
그리고, 라벨링 데이터 전처리부(10)에서 처리된 라벨링 작업자의 라벨링 평가정보는, 데이터 저장부(50)의 라벨링 평가 저장소에 기록될 수 있다.
이에 더하여, 라벨링 데이터 전처리부(10)는, 인공지능 학습모델을 개발하는 모델 개발자가 라벨링 데이터를 이용하여 학습을 위한 데이터 세트를 생성하는 기능(데이터 세트 설계 및 생성)을 지원할 수 있다.
예를 들면, 라벨링 데이터 전처리부(10)는, 모델 개발자가 자신이 개발하고자 하는 인공지능 학습모델에서 학습하도록 할 데이터 세트를 설계할 수 있게 하는 기능(데이터 세트 설계)을 제공할 수 있다.
이와 같이 제공하는 데이터 세트 설계 기능에는, 데이터 세트를 설계를 위한 조건 및 유형을 설정할 수 있게 하는 기능이 포함된다.
이에, 라벨링 데이터 전처리부(10)는, 데이터 저장부(50)에 저장되어 있는 라벨링 데이터에서, 데이터 세트 설계 기능을 통해 모델 개발자에 의해 설정되는 조건 및 유형에 따른 라벨링 데이터를 조건 검색 및 영상(이미지) 분류 알고리즘 등을 활용하여 선택하고 추천할 수 있으며, 추천에 대한 모델 개발자의 확인이 인지되면 금번 조건 및 유형에 따라 선택/추천된 라벨링 데이터를 이용하여 데이터 세트를 생성할 수 있다(데이터 세트 생성).
이렇듯, 본 발명에서 데이터 세트는, 인공지능 학습모델 개발 시 이용하도록 데이터 저장부(50)에 저장되어 있는 라벨링 데이터에서, 인공지능 학습모델을 생성하는 생성 주체 즉 모델 개발자에 의한 조건 및 유형에 따라 선택되는 라벨링 데이터를 이용하여 생성되는 것이다.
이처럼 생성되는 데이터 세트는, 데이터 저장부(50)에 해당 데이터 세트를 설계/생성한 모델 개발자 별로 저장되며(데이터 세트 저장소), 추후 인공지능 학습모델 개발 시에 이용될 수 있다.
여기서, 라벨링 데이터를 선택하는 기준이 되는 조건 및 유형을 설명하면, 예컨대 조건은 라벨링 작업자 별 라벨링 평가정보를 기준으로 가장 우수한 평가점수 또는 일정 수준 이상의 평가점수를 갖는 라벨링 작업자를 검색하는 조건일 수 있고, 예컨대 유형은 영상(이미지)의 타입 또는 종류 등을 분류하는 분류 유형일 수 있다.
물론, 본 발명에서는, 위 라벨링 데이터를 선택하는 기준이 되는 조건 및 유형을, 라벨링 데이터를 선택할 수 있는 기준이 된다면 그 종류를 한정하지 않으며, 다양한 종류의 조건들, 유형들로 적용할 수 있을 것이다.
데이터 라벨링 처리부(20)는, 데이터 라벨링 처리를 위한 다수의 원시데이터 배분 시, 상기 라벨링 작업자 별 라벨링 평가정보를 근거로 라벨링 작업자 별로 상기 원시데이터를 동적으로 배분하여 데이터 라벨링이 처리되도록 하는 기능을 수행한다.
즉, 데이터 라벨링 처리부(20)는, 본 발명의 순환형 인공지능 서비스 플랫폼(100)에서, 라벨링 작업 분야 및 모델 개발 분야(특히, Annotated Data 평가 기능) 간 협업(피드백) 관계 구축을 실현하는 기능부이다.
보다 구체적으로 설명하면, 데이터 라벨링 처리부(20)는, 본 발명의 순환형 인공지능 서비스 플랫폼(100)에서, 라벨링 작업자에게는 다수(다량)의 원시데이터(예: Raw Video Data)를 제공하여 라벨링 툴(Data Labeling Tool)을 통해 데이터 라벨링을 처리할 수 있도록 하는 Data Labeling 기능을 제공한다. 이처럼 데이터 라벨링 처리부(20)에서 제공하는 Data Labeling 기능은 일반적인 Data Labeling 기능이라 할 수 있다.
이에, 라벨링 작업자는 본 발명의 순환형 인공지능 서비스 플랫폼(100)에 종속되어 데이터에 대한 라벨링 작업/처리를 수행할 수 있다.
이때, 데이터 라벨링 처리부(20)는, Annotated Data 평가 기능과 협업(피드백) 체계가 구축되는 특징으로 인해, 데이터 라벨링 처리를 위한 다수의 원시데이터(예: Raw Video Data)를 라벨링 작업자에게 배분/제공할 때, 데이터 저장부(50, 라벨링 평가 저장소)에 저장된 라벨링 작업자 별 라벨링 평가정보를 근거로 배분/제공을 동적으로 수행할 수 있다.
예를 들면, 데이터 라벨링 처리부(20, 데이터 분류기)는, 다수(다량)의 원시데이터(예: Raw Video Data)를 다수의 라벨링 작업자에게 배포하기 위한 기능을 수행할 수 있다.
이때, 데이터 라벨링 처리부(20, 데이터 분류기)는, 데이터 저장부(50, 라벨링 평가 저장소)에 등록된 평가정보가 없는 라벨링 작업자 보다 평가정보가 있는 라벨링 작업자를 우선으로 하고, 평가정보가 있는 라벨링 작업자끼리는 그 평가정보에 따라 평가가 우수한 라벨링 작업자부터 우선으로 할 수 있다.
이에, 데이터 라벨링 처리부(20, 데이터 분류기)는, 다수의 원시데이터(예: Raw Video Data)를 라벨링 작업자에게 배분/제공할 때, 라벨링 작업자 별 라벨링 평가정보를 근거로 파악한 우선 순위에 따라, 우선 순위가 높은 라벨링 작업자에게 상대적으로 많은 량의 원시데이터를 배분하는 방식으로 라벨링 작업자 별로 원시데이터 배분량을 동적으로 조절할 수 있다.
이에, 각 라벨링 작업자는, 본 발명의 순환형 인공지능 서비스 플랫폼(100)에서 제공하는 Data Labeling 기능을 통해 자신에게 동적으로 조절 배분되는 원시데이터에 대해서, 라벨링 툴(데이터 라벨링 도구)을 이용하여 라벨링 작업/처리를 수행할 수 있다.
이렇듯, 본 발명에서는, 전술과 같이 라벨링 평가정보를 근거로 원시데이터 배분량을 라벨링 작업자 별로 특히 모델 개발 분야와의 협업(피드백) 기반의 평가정보에 따라 동적 조절함으로써, 상대적으로 높은 평가를 받은 우수한 라벨링 작업자의 라벨링 데이터를 유연하게 다량 확보함으로써 고품질의 라벨링 데이터를 확보하고, 전체 라벨링 데이터를 빠르게 확보하는 효과를 기대할 수 있다.
이 밖에도, 본 발명의 순환형 인공지능 서비스 플랫폼(100)에서는, 라벨링 작업자의 라벨링 평가정보를 근거로 파악되는 우선 순위(예: 등급, 점수 등 다양한 형태로 표현 가능)을 공개하여, 라벨링 작업자로 하여금 교육 외 피드백을 통해 라벨링 실력 및 작업 효율 향상시키도록 유도할 수도 있다.
이상과 같이, 본 발명에서는, 라벨링 작업 분야 및 모델 개발 분야 간 협업(피드백) 관계 구축을 실현함으로써, 라벨링 작업자에 대한 평가를 라벨링 작업 분야에 적용/반영/활용하여 라벨링 작업 효율 등 기능 개선을 도모할 수 있다.
아울러, 데이터 라벨링 처리부(20)는, 라벨링 작업자의 라벨링 작업 효율을 위해, 라벨링 툴(데이터 라벨링 도구)을 제공하게 된다.
이때, 본 발명의 경우 데이터 라벨링 처리부(20)는, 후술의 인공지능 학습모델 개발부(30)에서 개발(생성)한 인공지능 학습모델을 라벨링 툴(데이터 라벨링 도구)에 적용하여, 원시데이터의 데이터 라벨링 처리 시 라벨링 툴(데이터 라벨링 도구)을 통해 인공지능 학습모델이 학습한 데이터 세트가 반영될 수 있게 할 수 있다.
예를 들면, 데이터 라벨링 처리부(20)는, 학습모델 개발부(30)에서 개발(생성)한 인공지능 학습모델, 특히 Public AIaaS를 라벨링 툴(데이터 라벨링 도구)에 적용함으로써, 다양한 원시데이터를 박스 또는 폴리곤 형태로 빠르게 라벨링 처리하도록 할 수 있다.
이렇듯, 본 발명에서는, 전술과 같이 Public AIaaS를 라벨링 툴(데이터 라벨링 도구)에 적용하여 제공함으로써, 데이터 라벨링 작업/처리의 정확도를 높여 라벨링 작업자가 데이터에 대한 잘못된 라벨링 또는 라벨링 누락을 수동으로 라벨링 작업해야 하는 추가 라벨링 작업을 현저히 줄여 라벨링 처리 성능을 향상시키는 효과를 기대할 수 있다.
이상과 같이, 본 발명에서는, 라벨링 작업 분야 및 모델 개발 분야 간 협업(피드백) 관계 구축을 실현함으로써, 모델 개발 분야의 개발된 인공지능 기술(학습모델)을 라벨링 작업 분야에 툴로서 적용/반영/활용하여 라벨링 작업 효율 등 기능 개선을 도모할 수 있다.
그리고, 데이터 라벨링 처리부(20)에서 제공하는 Data Labeling 기능을 통해 라벨링 작업 완료된 데이터는, 데이터 저장부(50)의 라벨링 데이터 저장소로 전송 및 저장된 후, 인공지능 학습모델 개발 시(또는 데이트 세트 생성 시) 그대로 이용될 수 있고 또는 모델 개발자에 의핸 평가 처리 후에 이용될 수도 있다.
인공지능 학습모델 개발부(30)는, 데이터 라벨링 처리부(20)를 통해 처리 및 저장되는 라벨링 데이터를 이용하여 생성되는 데이터 세트를 학습하여 인공지능 학습모델을 생성하고, 생성한 인공지능 학습모델을 등록하는 기능을 수행한다.
즉, 인공지능 학습모델 개발부(30)는, 본 발명의 순환형 인공지능 서비스 플랫폼(100)에서, 모델 개발 분야 및 후술할 모델 이용 분야(특히, 모델 이용 분야의 AI as a Service 평가 기능) 간 협업(피드백) 관계 구축을 실현하는 기능부이다.
구체적으로 설명하면, 인공지능 학습모델 개발부(30)는, 본 발명의 순환형 인공지능 서비스 플랫폼(100)에서, 모델 개발자(Model Developer)에게 라벨링 처리된 라벨링 데이터(Annotated Data)를 이용하여 인공지능 학습모델을 개발할 수 있도록 지원하는 AI 학습모델 개발 기능을 제공한다.
이러한 인공지능 학습모델 개발부(30)는, AI 학습모델 개발 기능을 통한 인공지능 학습모델 개발 시, 전술의 라벨링 데이터 전처리부(10, 특히 데이터 세트 설계 및 생성)와의 연동을 기반으로, 모델 개발자가 데이터 세트 저장소에서 자신의 인공지능 학습모델에 적합한 데이터 세트를 생성 또는 선택하여 이용할 수 있도록 한다(학습모델 설계).
아울러, 인공지능 학습모델 개발부(30)는, AI 학습모델 개발 기능을 통한 인공지능 학습모델 개발 시, 모델 개발자가 플랫폼(100)에 등록 및 정의된 개발환경을 사용할 수 있게 하거나, 이미 구축된 로컬 개발환경을 플랫폼(100)에 등록 및 사용할 수 있게 할 수 있다(개발환경 정의부).
또는, 인공지능 학습모델 개발부(30)는, AI 학습모델 개발 기능을 통한 인공지능 학습모델 개발 시, 주요 개발환경을 가상 이미지로 제공하며 각 모델 개발자가 플랫폼(100)에서 제공하는 로컬 개발 환경 수집 기능을 이용하여 새로운 개발환경 이미지를 생성 및 편집할 수 있는 기능을 제공하여, 생성 및 편집한 개발환경을 사용할 수 있게 할 수도 있다(개발환경 정의부).
이에, 각 모델 개발자는, 본 발명의 순환형 인공지능 서비스 플랫폼(100)에서 제공하는 AI 학습모델 개발 기능을 통해 라벨링 데이터를 기반으로 설계/생성한 데이터 세트를 이용(학습)하여 인공지능 학습모델을 생성(개발)할 수 있다(학습모델 개발).
특히, 인공지능 학습모델 개발부(30)는, 전술과 같이 AI 학습모델 개발 기능을 통해 모델 개발자에 의해 개발된 인공지능 학습모델을, 비공개용(Private) 및 공개용(Public)으로 구분하여 등록한다(AIaaS 등록부).
구체적으로 설명하면, 인공지능 학습모델 개발부(30)는, AI 학습모델 개발 기능을 통해 생성된 인공지능 학습모델에 대하여 플랫폼 기반 검증을 수행하여 공개 결정되는 경우, 금번 생성한 인공지능 학습모델을 비공개용(Private) 및 공개용(Public)으로 구분하여 Open API 형식으로 호출 및 이용할 수 있도록 매칭시켜 등록할 수 있다(Private AIaaS/Public AIaaS 검증부/Public AIaaS AIaaS).
일 예를 설명하면, 인공지능 학습모델 개발부(30)는, 금번 생성된 인공지능 학습모델을 비공개용(Private)으로 등록하며, 해당 인공지능 학습모델에 대하여 플랫폼 기반 검증을 수행하여 공개 결정되는 경우에만 해당 인공지능 학습모델을 공개용(Public)으로 등록할 수 있다.
또 다른 예를 설명하면, 인공지능 학습모델 개발부(30)는, 금번 생성된 인공지능 학습모델에 대하여 플랫폼 기반 검증을 수행하여 공개 결정되는 경우, 해당 인공지능 학습모델을 비공개용(Private) 및 공개용(Public)으로 구분하여 등록할 수 있다.
이때, 인공지능 학습모델 개발부(30, 특히 AIaaS 등록부)에서는, 비공개용(Private) 및 공개용(Public)의 인공지능 학습모델을 Open API 형식으로 호출 및 이용할 수 있도록 등록, 즉 Open API 서비스로 외부 모델 이용자에게 제공하는 형태로 등록하는 해 등록하기 위해, Open FaaS(Function-as-a-Service) 등 기존의 다양한 오픈소스 기술을 활용할 수 있다.
여기서, 비공개용(Private)으로 등록된 비공개용(Private)의 인공지능 학습모델은, 모델 개발자 만이 이용/수정/업데이트 등 즉시 활용할 수 있는 형태로 등록된다.
공개용(Public)으로 등록된 공개용(Public)의 인공지능 학습모델은, 플랫폼(100) 상에서 외부에 공개되는 것으로, 모델 이용자가 이용할 수 있는 형태로 등록된다.
이러한 공개용(Public)의 인공지능 학습모델은, 전술한 바와 같이 데이터 라벨링 처리부(20)에서 라벨링 툴(데이터 라벨링 도구)에 적용할 수 있는 Public AIaaS에 해당된다.
이처럼 본 발명에서는, 모델 개발자에 의해 개발된 인공지능 학습모델을 Open API 형식으로 서비스 지원하는 AIaaS 등록 기능을 제공함으로써, 플랫폼의 개입을 최소화하고 외부(모델 이용자)에게 인공지능 학습모델을 Open API 서비스 형태로 지원해주는 원스톱 자동화 등록 기능을 실현하는 효과까지 도출한다.
모델 개발 분야 및 모델 이용 분야 간 협업(피드백) 관계 구축을 실현하는 관점에서 계속해서 설명하면, 인공지능 학습모델 개발부(30)는, 등록한 공개용(Public)의 인공지능 학습모델에 대한 평가를 근거로, 해당 공개용(Public) 인공지능 학습모델과 매칭 등록되어 있는 비공개용(Private)의 인공지능 학습모델을 업데이트할 수 있다.
구체적인 실시예 설명을 위해, 인공지능 이용부(40)에 대해 먼저 설명하겠다.
본 발명의 순환형 인공지능 서비스 플랫폼(100) 특히 인공지능 이용부(40)는, 플랫폼(100) 상에 등록된 인공지능 학습모델을 모델 이용자(Data Reseacher)가 이용할 수 있도록 지원하는 AI as a Service 이용 기능을 제공한다.
구체적으로 예를 들면, 인공지능 이용부(40)는, 모델 이용자가 플랫폼(100)에서 제공하는 인공지능 학습모델을 제한적으로 이용할 수 있게 하거나 또는 대가(예: 이용료)를 지불하고 전체 인공지능 학습모델을 이용할 수 있게 한다.
이때, 본 발명에서 인공지능 이용부(40)는, 모델 이용자가 Open API 형식으로 공개용(Public) 인공지능 학습모델을 호출하여 이용할 수 있도록 Open API 서비스 형태로 AI as a Service 이용 기능을 제공한다(AI 서비스 호출/인공지능 분석기술 활용).
예컨대, 인공지능 이용부(40)는, 모델 이용자가 이용할 수 있는 인공지능 학습모델 즉 모델 개발자가 등록한 공개용(Public) 인공지능 학습모델(즉 Public AIaaS)에 대한 목록(이하, AI 서비스 목록)을 제공하고, 모델 이용자로 하여금 웹 또는 API 방식으로 원하는 Public AIaaS를 선택하여 서비스를 호출 및 실행하는 방식으로 이용할 수 있게 한다.
특히, 본 발명에서 인공지능 이용부(40)는, 본 발명의 순환형 인공지능 서비스 플랫폼(100)에서, 전술한 바 있는 모델 이용 분야 주체의 AI as a Service 평가 기능을 실현하는 기능부이다.
즉, 인공지능 이용부(40)는, 모델 이용자가 이용한 인공지능 학습모델에 대한 평가를 수행할 수 있도록 한다(AI 서비스 평가).
예컨대, 인공지능 이용부(40)는, 플랫폼(100)에서 제공하는 공개용(Public) 인공지능 학습모델(즉 Public AIaaS)를 이용한 모델 이용자에게 Public AIaaS에 대한 평가를 진행할 수 있는 웹 페이지를 제공할 수 있다.
Public AIaaS에 대한 평가 진행을 위한 웹 페이지는, 이용한 Public AIaaS에 대한 정확도 및 만족도 등을 입력할 수 있는 평가 항목을 포함할 수 있고, Public AIaaS에 대한 의견 제시 및 요구 사항 등을 입력할 수 있는 평가 입력창을 포함할 수 있다.
인공지능 이용부(40)에서 제공하는 AI as a Service 평가 기능을 통한 Public AIaaS의 평가 결과는, 데이터 저장부(50)의 AIaaS 평가 저장소에 보관될 수 있고, 해당 인공지능 학습모델(즉 Public AIaaS)을 개발한 모델 개발자에 대한 평가에 활용될 수 있다.
다시 인공지능 학습모델 개발부(30)를 설명하면, 인공지능 학습모델 개발부(30)는, 등록한 공개용(Public)의 인공지능 학습모델에 대한 평가 즉 전술의 모델 이용자에 의한 평가를 근거로, 해당 공개용(Public) 인공지능 학습모델과 매칭 등록되어 있는 비공개용(Private)의 인공지능 학습모델을 업데이트할 수 있다.
구체적으로, 인공지능 학습모델 개발부(30)는, 데이터 저장부(50)의 AIaaS 평가 저장소에 보관(저장)되어 있는 특정 공개용(Public) 인공지능 학습모델 즉 특정 Public AIaaS에 대한 평가를 근거로, 해당하는 특정 Public AIaaS를 개발한 모델 개발자가 해당 특정 Public AIaaS과 매칭 등록되어 있는 비공개용(Private)의 인공지능 학습모델 즉 Private AIaaS를 수정하는 방식 또는 재 생성(개발)하는 방식 등을 통해 업데이트할 수 있게 한다.
즉, 본 발명에서는, 공개용(Public) 및 비공개용(Private)의 인공지능 학습모델을 매칭하여 등록하는 것을 전제로, Public AIaaS에 대한 모델 이용자의 평가를 근거로 하여 모델 개발자가 플랫폼(100)과 별개로 활용할 수 있는 Private AIaaS을 업데이트하여 기능을 개선할 수 있다.
그리고, 인공지능 학습모델 개발부(30)는, 금번 업데이트한 비공개용(Private) 인공지능 학습모델 즉 Private AIaaS에 대해 플랫폼 기반 검증 수행 후, 금번 업데이트한 Private AIaaS과 매칭 등록되어 있는 공개용(Public)의 인공지능 학습모델 즉 Public AIaaS도 동일하게 업데이트할 수 있다.
이와 같이, 본 발명에서는, 모델 개발 분야 및 모델 이용 분야 간 협업(피드백) 관계 구축을 실현함으로써, 모델 이용자에 의한 평가를 모델 개발 분야에 적용/반영/활용하여 개발된 인공지능 기술(학습모델)의 기능 개선을 도모할 수 있다.
더불어, 인공지능 학습모델 개발부(30)는, Public AIaaS에 대한 평가를 수행한 이용 주체 즉 모델 이용자(Data Reseacher)에 대해, 인공지능 학습모델 이용 빈도 및 평가 내용을 근거로 기 정의된 절차의 역평가를 수행하여 역평가 결과에 따라 인공지능 학습모델 이용에 따른 이용료 또는 호출 가능한 인공지능 학습모델의 범위를 조정하여 평가 보상하는 기능을 제공할 수 있다(Reseacher 평가 처리부).
예를 들면, 인공지능 학습모델 개발부(30)는, Public AIaaS에 대한 평가를 수행한 모델 이용자(Data Reseacher)에 대해, 인공지능 학습모델 이용 빈도가 동일한 경우 평가 참여 횟수가 많을수록 동일한 호출 가능(이용 가능) 인공지능 학습모델의 범위에 대해 이용료를 낮게 부과하는 방식으로 역평가를 수행하여 평가 보상할 수 있다.
또는, 인공지능 학습모델 개발부(30)는, Public AIaaS에 대한 평가를 수행한 모델 이용자(Data Reseacher)에 대해, 인공지능 학습모델 이용 빈도가 동일한 경우 평가 참여 횟수가 많을수록 동일한 이용료를 기준으로 호출 가능(이용 가능) 인공지능 학습모델의 범위를 넓게 허용하는 역평가를 수행하여 평가 보상할 수 있다.
이상과 같이, 본 발명에서는, 모델 개발 분야 및 모델 이용 분야 간 협업(피드백) 관계 구축을 실현함에 있어, 모델 이용자에게 평가 참여로 인한 보상을 제공함으로써 협업(피드백) 관계를 더욱 견고히 구축하는 효과를 도모할 수 있다.
이상 구체적인 설명에서 알 수 있듯이, 본 발명에 의하면, 인공지능 학습모델의 개발/서비스와 관련된 각 분야, 즉 모델 개발자, 모델 이용자, 라벨링 작업자 분야 간에, 유기적인 피드백(협업) 관계를 갖는 체계를 구축/실현하는 새로운 방식의 순환형 인공지능 서비스 플랫폼 기술(방안)을 구현하고 있다.
특히, 본 발명에서는, 인공지능 생태계의 환경적 특징을 고려하여, 각 분야(라벨링 작업/모델 개발/모델 이용) 간에 유의미한 피드백(협업) 체계/관계를 갖도록 하는 기능으로서, 모델 개발 분야 주체의 Annotated Data 평가 기능, 모델 이용 분야 주체의 AI as a Service 평가 기능, 그리고 Annotated Data 평가/AI as a Service 평가에 따른 평가점수 또는 평가수치 등 평가 정보를 관리하는 기능(Ranking Data), 각 분야(라벨링 작업/모델 개발/모델 이용)에서 데이터 라벨링, 인공지능 학습모델 개발, 인공지능 학습모델 이용 시 정확도/신뢰도를 높이거나 문제점을 극복하는 등 기능 개선을 위해 Ranking Data를 적용/반영/활용하도록 하는 구체화된 기능을 실현하고 있다.
이에, 본 발명에서는, 이상 구체화된 기능 실현을 통해, 라벨링 작업자의 수준을 판단할 수 있는 기준을 제공할 수 있고, 적합성 높고 투자 대비 효율이 높 고품질 수준의 데이터 세트 생성/지원이 가능하고, 모델 개발자가 개발한 인공지능 학습모델을 외부로 서비스하는데 있어 다양한 개발환경/부족한 인프라 자원 등의 문제로부터 벗어나 모델 이용자가 손쉽게 사용할 수 있도록 자동화해 줄 수 있으며, 모델 이용자가 이용한 인공지능 학습모델을 평가하고 전문적인 분석 기술을 제공받을 수 있는 순환형 인공지능 서비스 플랫폼 기술(방안)을 구현한다 하겠다.
결국, 본 발명에 따르면, 인공지능 기술의 각 분야 간에 유기적 협업을 통해, 각 분야 별 정확도/신뢰도를 높이거나 분야 별 문제점을 극복하는 등 인공지능 생태계의 시너지 및 성능, 기술 개선을 지속적으로 향상시키는 효과를 도출한다.
이하에서는, 도 3 및 도 4를 참조하여 본 발명의 실시예에 따른 순환형 인공지능 서비스 플랫폼 기술의 동작 흐름을 구체적으로 설명하겠다.
먼저, 설명의 편의를 위해, 본 발명의 순환형 인공지능 서비스 플랫폼 기술의 동작이 수행되는 주체로서 순환형 인공지능 서비스 플랫폼(100)을 언급하여 설명하겠다.
설명의 편의 상, 본 발명의 순환형 인공지능 서비스 플랫폼 기술의 동작을 도 3 및 도 4로 구분하여 설명하겠다.
먼저, 도 3을 참조하여 설명하면, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 인공지능 학습모델 개발 시 이용하도록 기 저장되는 각 라벨링 데이터에 대하여, 라벨링 데이터의 라벨링 작업자 별로 라벨링 평가정보를 처리하는 기능을 제공한다(S10).
본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 데이터 저장부(50)에 저장되어 있는 각 라벨링 데이터에 대하여, 모델 개발자가 평가할 수 있도록 하는 기능을 제공하여, 모델 개발자에 의한 라벨링 데이터의 평가 점수를 확인할 수 있다.
이에, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 모델 개발자에 의한 각 라벨링 데이터의 평가 점수를, 각 라벨링 작업자를 구분할 수 있는 라벨링 정보를 기준으로 구분/산정하여, 라벨링 작업자 별로 라벨링 평가정보를 처리할 수 있다(S10).
그리고, S10단계에서 처리된 라벨링 작업자의 라벨링 평가정보는, 데이터 저장부(50)의 라벨링 평가 저장소에 기록될 수 있다.
그리고 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 데이터 라벨링 처리를 위한 다수의 원시데이터 배분 시, 상기 라벨링 작업자 별 라벨링 평가정보를 근거로 라벨링 작업자 별로 원시데이터를 동적으로 배분하여 데이터 라벨링이 처리되도록 하는 기능을 수행한다(S20).
보다 구체적으로 설명하면, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 라벨링 작업자에게는 다수(다량)의 원시데이터(예: Raw Video Data)를 제공하여 라벨링 툴(Data Labeling Tool)을 통해 데이터 라벨링을 처리할 수 있도록 하는 Data Labeling 기능을 제공한다. 이에, 라벨링 작업자는 본 발명의 순환형 인공지능 서비스 플랫폼(100)에 종속되어 데이터에 대한 라벨링 작업/처리를 수행할 수 있다.
이때, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, Annotated Data 평가 기능과 협업(피드백) 체계가 구축되는 특징으로 인해, 데이터 라벨링 처리를 위한 다수의 원시데이터(예: Raw Video Data)를 라벨링 작업자에게 배분/제공할 때, 데이터 저장부(50, 라벨링 평가 저장소)에 저장된 라벨링 작업자 별 라벨링 평가정보를 근거로 배분/제공을 동적으로 수행할 수 있다(S20).
예를 들면, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 다수(다량)의 원시데이터(예: Raw Video Data)를 다수의 라벨링 작업자에게 배포하기 위한 기능을 수행할 수 있다.
이때, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 데이터 저장부(50, 라벨링 평가 저장소)에 등록된 평가정보가 없는 라벨링 작업자 보다 평가정보가 있는 라벨링 작업자를 우선으로 하고, 평가정보가 있는 라벨링 작업자끼리는 그 평가정보에 따라 평가가 우수한 라벨링 작업자부터 우선으로 할 수 있다.
이에, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 다수의 원시데이터(예: Raw Video Data)를 라벨링 작업자에게 배분/제공할 때, 라벨링 작업자 별 라벨링 평가정보를 근거로 파악한 우선 순위에 따라, 우선 순위가 높은 라벨링 작업자에게 상대적으로 많은 량의 원시데이터를 배분하는 방식으로 라벨링 작업자 별로 원시데이터 배분량을 동적으로 조절할 수 있다.
이에, 각 라벨링 작업자는, 본 발명의 순환형 인공지능 서비스 플랫폼(100)에서 제공하는 Data Labeling 기능을 통해 자신에게 동적으로 조절 배분되는 원시데이터에 대해서, 라벨링 툴(데이터 라벨링 도구)을 이용하여 라벨링 작업/처리를 수행할 수 있다(S30).
이렇듯, 본 발명에서는, 전술과 같이 라벨링 평가정보를 근거로 원시데이터 배분량을 라벨링 작업자 별로 특히 모델 개발 분야와의 협업(피드백) 기반의 평가정보에 따라 동적 조절함으로써, 상대적으로 높은 평가를 받은 우수한 라벨링 작업자의 라벨링 데이터를 유연하게 다량 확보함으로써 고품질의 라벨링 데이터를 확보하고, 전체 라벨링 데이터를 빠르게 확보하는 효과를 기대할 수 있다.
이상과 같이, 본 발명에서는, 라벨링 작업 분야 및 모델 개발 분야 간 협업(피드백) 관계 구축을 실현함으로써, 라벨링 작업자에 대한 평가를 라벨링 작업 분야에 적용/반영/활용하여 라벨링 작업 효율 등 기능 개선을 도모할 수 있다.
아울러, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, S30단계에서 라벨링 작업자의 라벨링 작업 효율을 위해, 라벨링 툴(데이터 라벨링 도구)을 제공하게 된다.
이때, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 후술의 플랫폼(100)에서 개발(생성)한 인공지능 학습모델을 라벨링 툴(데이터 라벨링 도구)에 적용하여(도 4의 S145), 원시데이터의 데이터 라벨링 처리 시 라벨링 툴을 통해 인공지능 학습모델이 학습한 데이터 세트가 반영될 수 있게 할 수 있다.
예를 들면, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 플랫폼(100)에서 개발(생성)한 인공지능 학습모델, 특히 Public AIaaS를 라벨링 툴에 적용함으로써, 다양한 원시데이터를 박스 또는 폴리곤 형태로 빠르게 라벨링 처리하도록 할 수 있다.
이렇듯, 본 발명에서는, 전술과 같이 Public AIaaS를 라벨링 툴에 적용하여 제공함으로써, 데이터 라벨링 작업/처리의 정확도를 높여 라벨링 작업자가 데이터에 대한 잘못된 라벨링 또는 라벨링 누락을 수동으로 라벨링 작업해야 하는 추가 라벨링 작업을 현저히 줄여 라벨링 처리 성능을 향상시키는 효과를 기대할 수 있다.
이상과 같이, 본 발명에서는, 라벨링 작업 분야 및 모델 개발 분야 간 협업(피드백) 관계 구축을 실현함으로써, 모델 개발 분야의 개발된 인공지능 기술(학습모델)을 라벨링 작업 분야에 툴로서 적용/반영/활용하여 라벨링 작업 효율 등 기능 개선을 도모할 수 있다.
그리고 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, S30단계에서 Data Labeling 기능을 통해 라벨링 작업 완료된 데이터는, 데이터 저장부(50)의 라벨링 데이터 저장소로 전송 및 저장된 후, 인공지능 학습모델 개발 시(또는 데이트 세트 생성 시) 그대로 이용될 수 있고 또는 모델 개발자에 의핸 평가 처리 후에 이용될 수도 있다(S40).
다음 도 4를 참조하여 설명하면, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 모델 개발자(Model Developer)에게 라벨링 처리된 라벨링 데이터(Annotated Data)를 이용하여 인공지능 학습모델을 개발할 수 있도록 지원하는 AI 학습모델 개발 기능을 제공한다.
구체적으로, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, AI 학습모델 개발 기능을 통해 인공지능 학습모델 설계를 지원하며, 모델 개발자가 플랫폼(100)에 등록 및 정의된 개발환경을 사용할 수 있게 하거나 이미 구축된 로컬 개발환경을 플랫폼(100)에 등록 및 사용할 수 있게 할 수 있다(S100).
또는, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 주요 개발환경을 가상 이미지로 제공하며 각 모델 개발자가 플랫폼(100)에서 제공하는 로컬 개발 환경 수집 기능을 이용하여 새로운 개발환경 이미지를 생성 및 편집할 수 있는 기능을 제공하여, 생성 및 편집한 개발환경을 사용할 수 있게 할 수도 있다(S100).
또한, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 모델 개발자가 자신이 개발하고자 하는 인공지능 학습모델에서 학습하도록 할 데이터 세트를 설계할 수 있게 하는 기능을 제공할 수 있다(S110).
이와 같이 제공하는 데이터 세트 설계 기능에는, 데이터 세트를 설계를 위한 조건 및 유형을 설정할 수 있게 하는 기능이 포함된다.
이에, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 데이터 저장부(50)에 저장되어 있는 라벨링 데이터에서, 데이터 세트 설계 기능을 통해 모델 개발자에 의해 설정되는 조건 및 유형에 따른 라벨링 데이터를 조건 검색 및 영상(이미지) 분류 알고리즘 등을 활용하여 선택하고 추천할 수 있으며, 추천에 대한 모델 개발자의 확인이 인지되면 금번 조건 및 유형에 따라 선택/추천된 라벨링 데이터를 이용하여 데이터 세트를 생성할 수 있다.
이렇듯, 본 발명에서 데이터 세트는, 인공지능 학습모델 개발 시 이용하도록 데이터 저장부(50)에 저장되어 있는 라벨링 데이터에서, 인공지능 학습모델을 생성하는 생성 주체 즉 모델 개발자에 의한 조건 및 유형에 따라 선택되는 라벨링 데이터를 이용하여 생성되는 것이다.
이처럼 생성되는 데이터 세트는, 데이터 저장부(50)에 해당 데이터 세트를 설계/생성한 모델 개발자 별로 저장되며(데이터 세트 저장소), 추후 인공지능 학습모델 개발 시에 이용될 수 있다.
이에, 각 모델 개발자는, 본 발명의 순환형 인공지능 서비스 플랫폼(100)에서 제공하는 AI 학습모델 개발 기능을 통해 라벨링 데이터를 기반으로 설계/생성한 데이터 세트를 이용(학습)하여 인공지능 학습모델을 생성(개발)할 수 있다(S120).
특히, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 전술과 같이 S120단계에서 모델 개발자에 의해 개발된 인공지능 학습모델을, 비공개용(Private) 및 공개용(Public)으로 구분하여 등록한다.
구체적으로 설명하면, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, S120단계에서 생성한 인공지능 학습모델에 대하여 플랫폼 기반 검증을 수행하여 공개 결정되는 경우(S130 Yes), 금번 생성한 인공지능 학습모델을 비공개용(Private) 및 공개용(Public)으로 구분하여 Open API 형식으로 호출 및 이용할 수 있도록 매칭시켜 등록할 수 있다(S140).
일 예를 설명하면, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 금번 생성된 인공지능 학습모델을 비공개용(Private)으로 등록하며, 해당 인공지능 학습모델에 대하여 플랫폼 기반 검증을 수행하여 공개 결정되는 경우에만 해당 인공지능 학습모델을 공개용(Public)으로 등록할 수 있다(S140).
이때, 순환형 인공지능 서비스 플랫폼(100)에서는, 비공개용(Private) 및 공개용(Public)의 인공지능 학습모델을 Open API 형식으로 호출 및 이용할 수 있도록 등록, 즉 Open API 서비스로 외부 모델 이용자에게 제공하는 형태로 등록하는 해 등록하기 위해, Open FaaS(Function-as-a-Service) 등 기존의 다양한 오픈소스 기술을 활용할 수 있다.
이처럼 본 발명에서는, 모델 개발자에 의해 개발된 인공지능 학습모델을 Open API 형식으로 서비스 지원하는 AIaaS 등록 기능을 제공함으로써, 플랫폼의 개입을 최소화하고 외부(모델 이용자)에게 인공지능 학습모델을 Open API 서비스 형태로 지원해주는 원스톱 자동화 등록 기능을 실현하는 효과까지 도출한다.
그리고 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 플랫폼(100) 상에 등록된 인공지능 학습모델을 모델 이용자(Data Reseacher)가 이용할 수 있도록 지원하는 AI as a Service 이용 기능을 제공한다.
만약, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 플랫폼 기반 검증을 수행하여 비 공개 결정된 경우(S130 No), 비 공개 결정 시에 기 정의된 후속 처리를 수행할 것이다(S135).
본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 모델 이용자가 Open API 형식으로 공개용(Public) 인공지능 학습모델을 호출하여 이용할 수 있도록 Open API 서비스 형태로 AI as a Service 이용 기능을 제공한다(S150).
예컨대, 순환형 인공지능 서비스 플랫폼(100)은, 모델 이용자가 이용할 수 있는 인공지능 학습모델 즉 모델 개발자가 등록한 공개용(Public) 인공지능 학습모델(즉 Public AIaaS)에 대한 목록(이하, AI 서비스 목록)을 제공하고, 모델 이용자로 하여금 웹 또는 API 방식으로 원하는 Public AIaaS를 선택하여 서비스를 호출 및 실행하는 방식으로 이용할 수 있게 한다.
이때, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 모델 이용자가 이용한 인공지능 학습모델에 대한 평가를 수행할 수 있도록 한다(S160).
예컨대, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 플랫폼(100)에서 제공하는 공개용(Public) 인공지능 학습모델(즉 Public AIaaS)를 이용한 모델 이용자에게 Public AIaaS에 대한 평가를 진행할 수 있는 웹 페이지를 제공할 수 있다(S160).
Public AIaaS에 대한 평가 진행을 위한 웹 페이지는, 이용한 Public AIaaS에 대한 정확도 및 만족도 등을 입력할 수 있는 평가 항목을 포함할 수 있고, Public AIaaS에 대한 의견 제시 및 요구 사항 등을 입력할 수 있는 평가 입력창을 포함할 수 있다.
S160단계에서 제공하는 AI as a Service 평가 기능을 통한 Public AIaaS의 평가 결과는, 데이터 저장부(50)의 AIaaS 평가 저장소에 보관될 수 있고, 해당 인공지능 학습모델(즉 Public AIaaS)을 개발한 모델 개발자에 대한 평가에 활용될 수 있다.
이에, 본 발명의 기술에 따르면 순환형 인공지능 서비스 플랫폼(100)은, 데이터 저장부(50)의 AIaaS 평가 저장소에 보관(저장)되어 있는 특정 공개용(Public) 인공지능 학습모델 즉 특정 Public AIaaS에 대한 평가를 근거로, 해당하는 특정 Public AIaaS를 개발한 모델 개발자가 해당 특정 Public AIaaS과 매칭 등록되어 있는 비공개용(Private)의 인공지능 학습모델 즉 Private AIaaS를 수정하는 방식 또는 재 생성(개발)하는 방식 등을 통해 업데이트할 수 있게 한다(S170).
즉, 본 발명에서는, 공개용(Public) 및 비공개용(Private)의 인공지능 학습모델을 매칭하여 등록하는 것을 전제로, Public AIaaS에 대한 모델 이용자의 평가를 근거로 하여 모델 개발자가 플랫폼(100)과 별개로 활용할 수 있는 Private AIaaS을 업데이트하여 기능을 개선할 수 있다.
그리고, 순환형 인공지능 서비스 플랫폼(100)은, 금번 업데이트한 비공개용(Private) 인공지능 학습모델 즉 Private AIaaS에 대해 플랫폼 기반 검증 수행 후, 금번 업데이트한 Private AIaaS과 매칭 등록되어 있는 공개용(Public)의 인공지능 학습모델 즉 Public AIaaS도 동일하게 업데이트할 수 있다(S170).
이와 같이, 본 발명에서는, 모델 개발 분야 및 모델 이용 분야 간 협업(피드백) 관계 구축을 실현함으로써, 모델 이용자에 의한 평가를 모델 개발 분야에 적용/반영/활용하여 개발된 인공지능 기술(학습모델)의 기능 개선을 도모할 수 있다.
이상 구체적인 설명에서 알 수 있듯이, 본 발명에 의하면, 인공지능 학습모델의 개발/서비스와 관련된 각 분야, 즉 모델 개발자, 모델 이용자, 라벨링 작업자 분야 간에, 유기적인 피드백(협업) 관계를 갖는 체계를 구축/실현하는 새로운 방식의 순환형 인공지능 서비스 플랫폼 기술(방안)을 구현하고 있다.
이로 인해, 본 발명에 따르면, 인공지능 기술의 각 분야 간에 유기적 협업을 통해, 각 분야 별 정확도/신뢰도를 높이거나 분야 별 문제점을 극복하는 등 인공지능 생태계의 시너지 및 성능, 기술 개선을 지속적으로 향상시키는 효과를 도출한다.
위 설명한 본 발명의 일 실시예에 따른 순환형 인공지능 서비스 플랫폼 기술(동작 방법)은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.
본 발명의 순환형 인공지능 서비스 플랫폼 및 순환형 인공지능 서비스 플랫폼의 동작 방법에 따르면, 인공지능 학습모델의 개발/서비스와 관련된 각 분야 간에, 유기적인 피드백(협업) 관계를 갖는 체계를 구축하는 새로운 방식의 플랫폼 기술을 실현해내는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

Claims (11)

  1. 인공지능 학습모델 개발 시 이용하도록 기 저장되는 각 라벨링 데이터에 대하여, 라벨링 데이터의 라벨링 작업자 별로 라벨링 평가정보를 처리하는 라벨링 데이터 전처리 단계;
    데이터 라벨링 처리를 위한 다수의 원시데이터 배분 시, 상기 라벨링 작업자 별 라벨링 평가정보를 근거로 라벨링 작업자 별로 상기 원시데이터를 동적으로 배분하여 데이터 라벨링이 처리되도록 하는 라벨링 처리 단계; 및
    상기 라벨링 처리 단계를 통해 처리 및 저장되는 라벨링 데이터를 이용 및 생성되는 데이터 세트를 학습하여 인공지능 학습모델을 생성하고, 상기 생성한 인공지능 학습모델을 비공개용(Private) 및 공개용(Public)으로 구분 및 매칭시켜 등록하는 인공지능 학습모델 개발 단계를 포함하며;
    상기 인공지능 학습모델 개발 단계는,
    등록한 비공개용(Private)의 인공지능 학습모델 업데이트 시, 상기 업데이트한 비공개용(Private) 인공지능 학습모델에 대해 플랫폼 기반 검증 수행 후, 상기 업데이트한 비공개용(Private) 인공지능 학습모델과 매칭 등록되어 있는 공개용(Public)의 인공지능 학습모델도 동일하게 업데이트하는 단계를 포함하는 것을 특징으로 하는 순환형 인공지능 서비스 플랫폼의 동작 방법.
  2. 제 1 항에 있어서,
    상기 인공지능 학습모델 개발 단계는,
    상기 생성한 인공지능 학습모델에 대하여 플랫폼 기반 검증을 수행하여 공개 결정되는 경우, 상기 생성한 인공지능 학습모델을 비공개용(Private) 및 공개용(Public)으로 구분하여 Open API 형식으로 호출 및 이용할 수 있도록 매칭시켜 등록하는 것을 특징으로 하는 순환형 인공지능 서비스 플랫폼의 동작 방법.
  3. 제 2 항에 있어서,
    상기 공개용(Public)의 인공지능 학습모델을 호출하여 이용하고, 이용한 공개용(Public) 인공지능 학습모델에 대한 평가를 수행하는 인공지능 이용 단계를 더 포함하며;
    상기 인공지능 학습모델 개발 단계는,
    등록한 공개용(Public)의 인공지능 학습모델에 대한 평가를 근거로, 상기 공개용(Public) 인공지능 학습모델과 매칭 등록되어 있는 비공개용(Private)의 인공지능 학습모델을 업데이트하는 단계,
    상기 업데이트한 비공개용(Private) 인공지능 학습모델에 대해 플랫폼 기반 검증 수행 후, 상기 업데이트한 비공개용(Private) 인공지능 학습모델과 매칭 등록되어 있는 공개용(Public)의 인공지능 학습모델도 동일하게 업데이트하는 단계를 포함하는 것을 특징으로 하는 순환형 인공지능 서비스 플랫폼의 동작 방법.
  4. 제 2 항에 있어서,
    상기 공개용(Public)의 인공지능 학습모델을 호출하여 이용하고, 이용한 공개용(Public) 인공지능 학습모델에 대한 평가를 수행하는 인공지능 이용 단계를 더 포함하며; 및
    상기 평가를 수행한 이용 주체에 대해, 인공지능 학습모델 이용 빈도 및 평가 내용을 근거로 기 정의된 절차의 역평가를 수행하여 역평가 결과에 따라 인공지능 학습모델 이용에 따른 이용료 또는 호출 가능한 인공지능 학습모델의 범위를 조정하여 평가 보상하는 단계를 더 포함하는 것을 특징으로 하는 순환형 인공지능 서비스 플랫폼의 동작 방법.
  5. 제 1 항에 있어서,
    상기 데이터 세트는,
    인공지능 학습모델 개발 시 이용하도록 기 저장되는 라벨링 데이터에서, 인공지능 학습모델을 생성하는 생성 주체에 의한 조건 및 유형에 따라 선택되는 라벨링 데이터를 이용하여 생성되는 것을 특징으로 하는 순환형 인공지능 서비스 플랫폼의 동작 방법.
  6. 제 1 항에 있어서,
    상기 라벨링 처리 단계에서는,
    상기 인공지능 학습모델을 라벨링 툴(Tool)에 적용하여, 원시데이터의 데이터 라벨링 처리 시 상기 라벨링 툴을 통해 상기 인공지능 학습모델이 학습한 데이터 세트가 반영될 수 있게 하는 것을 특징으로 하는 순환형 인공지능 서비스 플랫폼의 동작 방법.
  7. 인공지능 학습모델 개발 시 이용하도록 기 저장되는 각 라벨링 데이터에 대하여, 라벨링 데이터의 라벨링 작업자 별로 라벨링 평가정보를 처리하는 라벨링 데이터 전처리부;
    데이터 라벨링 처리를 위한 다수의 원시데이터 배분 시, 상기 라벨링 작업자 별 라벨링 평가정보를 근거로 라벨링 작업자 별로 상기 원시데이터를 동적으로 배분하여 데이터 라벨링이 처리되도록 하는 데이터 라벨링 처리부; 및
    상기 데이터 라벨링 처리부를 통해 처리 및 저장되는 라벨링 데이터를 이용 및 생성되는 데이터 세트를 학습하여 인공지능 학습모델을 생성하고, 상기 생성한 인공지능 학습모델을 비공개용(Private) 및 공개용(Public)으로 구분 및 매칭시켜 등록하는 인공지능 학습모델 개발부를 포함하며;
    상기 인공지능 학습모델 개발부는,
    등록한 비공개용(Private)의 인공지능 학습모델 업데이트 시, 상기 업데이트한 비공개용(Private) 인공지능 학습모델에 대해 플랫폼 기반 검증 수행 후, 상기 업데이트한 비공개용(Private) 인공지능 학습모델과 매칭 등록되어 있는 공개용(Public)의 인공지능 학습모델도 동일하게 업데이트하는 것을 특징으로 하는 순환형 인공지능 서비스 플랫폼 장치.
  8. 제 7 항에 있어서,
    상기 인공지능 학습모델 개발부는,
    상기 생성한 인공지능 학습모델에 대하여 플랫폼 기반 검증을 수행하여 공개 결정되는 경우, 상기 생성한 인공지능 학습모델을 비공개용(Private) 및 공개용(Public)으로 구분하여 Open API 형식으로 호출 및 이용할 수 있도록 매칭시켜 등록하는 것을 특징으로 하는 순환형 인공지능 서비스 플랫폼 장치.
  9. 제 8 항에 있어서,
    상기 공개용(Public)의 인공지능 학습모델을 호출하여 이용하고, 이용한 공개용(Public) 인공지능 학습모델에 대한 평가를 수행하는 인공지능 이용부를 더 포함하며;
    상기 인공지능 학습모델 개발부는,
    등록한 공개용(Public)의 인공지능 학습모델에 대한 평가를 근거로, 상기 공개용(Public) 인공지능 학습모델과 매칭 등록되어 있는 비공개용(Private)의 인공지능 학습모델을 업데이트하고,
    상기 업데이트한 비공개용(Private) 인공지능 학습모델에 대해 플랫폼 기반 검증 수행 후, 상기 업데이트한 비공개용(Private) 인공지능 학습모델과 매칭 등록되어 있는 공개용(Public)의 인공지능 학습모델도 동일하게 업데이트하는 것을 특징으로 하는 순환형 인공지능 서비스 플랫폼 장치.
  10. 제 8 항에 있어서,
    상기 공개용(Public)의 인공지능 학습모델을 호출하여 이용하고, 이용한 공개용(Public) 인공지능 학습모델에 대한 평가를 수행하는 인공지능 이용부를 더 포함하며; 및
    상기 인공지능 학습모델 개발부는,
    상기 평가를 수행한 이용 주체에 대해, 인공지능 학습모델 이용 빈도 및 평가 내용을 근거로 기 정의된 절차의 역평가를 수행하여 역평가 결과에 따라 인공지능 학습모델 이용에 따른 이용료 또는 호출 가능한 인공지능 학습모델의 범위를 조정하여 평가 보상하는 것을 특징으로 하는 순환형 인공지능 서비스 플랫폼 장치.
  11. 제 7 항에 있어서,
    상기 데이터 세트는,
    인공지능 학습모델 개발 시 이용하도록 기 저장되는 라벨링 데이터에서, 인공지능 학습모델을 생성하는 생성 주체에 의한 조건 및 유형에 따라 선택되는 라벨링 데이터를 이용하여 생성되는 것을 특징으로 하는 순환형 인공지능 서비스 플랫폼 장치.
KR1020200186861A 2020-12-29 2020-12-29 순환형 인공지능 서비스 플랫폼의 동작 방법 및 순환형 인공지능 서비스 플랫폼 장치 KR102562441B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200186861A KR102562441B1 (ko) 2020-12-29 2020-12-29 순환형 인공지능 서비스 플랫폼의 동작 방법 및 순환형 인공지능 서비스 플랫폼 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200186861A KR102562441B1 (ko) 2020-12-29 2020-12-29 순환형 인공지능 서비스 플랫폼의 동작 방법 및 순환형 인공지능 서비스 플랫폼 장치

Publications (2)

Publication Number Publication Date
KR20220095037A KR20220095037A (ko) 2022-07-06
KR102562441B1 true KR102562441B1 (ko) 2023-08-02

Family

ID=82399885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200186861A KR102562441B1 (ko) 2020-12-29 2020-12-29 순환형 인공지능 서비스 플랫폼의 동작 방법 및 순환형 인공지능 서비스 플랫폼 장치

Country Status (1)

Country Link
KR (1) KR102562441B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102569016B1 (ko) * 2023-04-28 2023-08-22 주식회사 데이터메이커 자동 학습 기반의 데이터 라벨링 방법, 장치 및 컴퓨터 판독가능 저장 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101887415B1 (ko) * 2017-11-21 2018-08-10 주식회사 크라우드웍스 데이터 라벨링 작업 검수방법 및 프로그램
KR102155746B1 (ko) 2019-12-09 2020-09-17 주식회사 크라우드웍스 검수자 간 샘플 검수를 통한 검수자 검증 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102128056B1 (ko) * 2019-11-29 2020-07-07 주식회사 루닛 기계 학습 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101887415B1 (ko) * 2017-11-21 2018-08-10 주식회사 크라우드웍스 데이터 라벨링 작업 검수방법 및 프로그램
KR102155746B1 (ko) 2019-12-09 2020-09-17 주식회사 크라우드웍스 검수자 간 샘플 검수를 통한 검수자 검증 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"수도권 지역산업기반 ICT융합기술 지원사업", 전자통신연구원, 2019.12.*

Also Published As

Publication number Publication date
KR20220095037A (ko) 2022-07-06

Similar Documents

Publication Publication Date Title
US20230351404A1 (en) Multi-client service system platform
US20220092028A1 (en) Multi-service business platform system having custom object systems and methods
Constantine et al. Usage-centered engineering for web applications
US6772407B1 (en) Staging objects in workflow management systems
US20190258985A1 (en) Utilizing a machine learning model and natural language processing to manage and allocate tasks
US6832201B1 (en) Method and system for optimizing request shipping in workflow management systems
Al‐Ghassani et al. An innovative approach to identifying knowledge management problems
Lucassen et al. Jobs-to-be-done oriented requirements engineering: a method for defining job stories
US20230034820A1 (en) Systems and methods for managing, distributing and deploying a recursive decisioning system based on continuously updating machine learning models
Overstreet et al. Issues in enhancing model reuse
KR102562441B1 (ko) 순환형 인공지능 서비스 플랫폼의 동작 방법 및 순환형 인공지능 서비스 플랫폼 장치
Wagenaar et al. Artefacts in agile software development
US20230063131A1 (en) Dynamic goal-oriented dialogue with virtual agents
CN111160638A (zh) 一种转化预估方法及装置
Ahmed et al. Implementing Knowledge Management in an IT Startup: A Case Study
KR102243275B1 (ko) 오프라인 오브젝트에 관한 콘텐츠 자동 생성 방법, 장치 및 컴퓨터 판독가능 저장 매체
Rudiarto et al. Design of Bajaj Transportation Rental Application System With First Come First Served Algorithm
US20070101311A1 (en) Method and system for generating computer-executable models using augmentations
Szewc et al. The documentation in the project of software creation
Nunes et al. WISDOM: Whitewater Interactive System Development with Object Models
US11714813B2 (en) System and method for proposing annotations
Yan et al. Transfer learning for cross-platform software crowdsourcing recommendation
Kim et al. Accelerating road sign ground truth construction with knowledge graph and machine learning
Barricelli et al. Designing for a Sustainable Digital Transformation: The DEA Methodology
Nardello et al. Understanding Enterprise Architecture with Topic Modeling: Preliminary Research based on Journal Articles

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right