KR20200039035A - 인공지능 기반의 학습데이터셋 제공 시스템 - Google Patents
인공지능 기반의 학습데이터셋 제공 시스템 Download PDFInfo
- Publication number
- KR20200039035A KR20200039035A KR1020180115262A KR20180115262A KR20200039035A KR 20200039035 A KR20200039035 A KR 20200039035A KR 1020180115262 A KR1020180115262 A KR 1020180115262A KR 20180115262 A KR20180115262 A KR 20180115262A KR 20200039035 A KR20200039035 A KR 20200039035A
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- inspector
- terminal
- module
- worker
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 인공지능 기반의 학습데이터셋 제공 시스템에 관한 것으로, 본 발명은 사용자 단말; 상기 사용자 단말의 사용자와, 해당 사용자의 권한을 관리하는 관리자 단말; 및 상기 사용자 단말 및 관리자 단말과 각각 유무선 통신망을 통해 서로 연결되고, 이미지 데이터를 수집하여 해당 이미지 데이터에 포함된 객체별 영역을 지정하여 각각의 객체가 구분지어진 학습 이미지 데이터를 생성하는 학습데이터 제공서버;를 포함하는 것을 특징으로 한다.
Description
본 발명의 실시예는 인공지능 기반의 학습데이터셋 제공 시스템에 관한 것이다.
기계 학습(machine learning)은 인공 지능의 한 분야로, 컴퓨터에 미리 준비된 학습데이터를 훈련시킴으로써 훈련된 지식을 기반으로 새로운 입력에 대하여 적절한 해답을 찾는 과정이다.
또한, 객체 검출(object detection)은 이미지상에서 특정 객체의 위치와 종류를 구별해내는 것으로, 객체 검출에 기계 학습을 이용하기 위해서는 질문과 정답이 모두 주어진 레이블된 학습데이터가 필요하다.
즉, 기계 학습을 기반으로 객체 검출을 하는 경우, 특징 추출 및 학습 알고리즘과 함께 중요한 것이 레이블된 학습데이터의 수집에 있으며, 레이블된 학습데이터가 많이 제공되면 될수록, 학습은 더 효과적으로 진행될 수 있다.
다만, 수천에서 수만 건의 방대한 양의 레이블된 학습데이터를 생성하는 것을 어려운 실정이다.
본 발명은 이미지 데이터에 포함된 객체별 영역을 지정하여 인공지능의 학습데이터를 생성할 수 있는 인공지능 기반의 학습데이터셋 제공 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 객체에 대한 특정 검색 조건과 매칭되는 학습데이터를 인공지능에 제공하여 학습시킴으로써 인공지능으로 하여금 새로운 데이터를 생성하도록 할 수 있는 인공지능 기반의 학습데이터셋 제공 시스템을 제공하는 것을 목적으로 한다.
상기한 바와 같은 목적을 달성하기 위한 본 발명에 따른 인공지능 기반의 학습데이터셋 제공 시스템은 사용자 단말; 상기 사용자 단말의 사용자와, 해당 사용자의 권한을 관리하는 관리자 단말; 및 상기 사용자 단말 및 관리자 단말과 각각 유무선 통신망을 통해 서로 연결되고, 이미지 데이터를 수집하여 해당 이미지 데이터에 포함된 객체별 영역을 지정하여 각각의 객체가 구분지어진 학습 이미지 데이터를 생성하는 학습데이터 제공서버;를 포함하고, 상기 사용자 단말은, 상기 학습데이터 제공서버에 접속하여 상기 이미지 데이터에 포함된 객체별 영역을 지정하는 작업자 단말; 상기 학습데이터 제공서버에 접속하여 상기 작업자 단말이 지정한 상기 이미지 데이터의 객체별 영역을 검수하는 검수자 단말; 및 상기 학습데이터 제공서버에 접속하여 검색툴을 통해 인공지능에 제공할 학습 이미지 데이터를 검색하여 제공받는 검색자 단말;을 포함하며, 상기 검수자 단말은, 상기 작업자 단말이 지정한 상기 이미지 데이터의 객체별 영역을 검수하여 작업자 단말에 반려하거나 승인하는 제1 검수자 단말; 및 상기 제1 검수자 단말이 승인한 상기 이미지 데이터의 객체별 영역을 검수하여 제1 검수자 단말에 반려하거나 승인하는 제2 검수자 단말;을 포함하고, 상기 관리자 단말은, 상기 이미지 데이터와, 해당 이미지 데이터의 항목을 더 관리하는 것을 특징으로 한다.
또한, 상기 학습데이터 제공서버는, 작업자, 검수자 및 검색자의 회원 정보를 각각 등록하여 회원 인증하는 회원 등록부; 상기 이미지 데이터를 수집한 후, 해당 이미지 데이터에 포함된 객체별 영역을 지정하여 인공지능이 학습할 이미지 데이터로 각각의 객체가 구분지어진 학습 이미지 데이터를 생성하는 학습데이터 생성부; 상기 이미지 데이터, 이미지 데이터의 항목, 사용자 단말의 사용자 및 사용자의 권한을 각각 관리하는 데이터 관리부; 및 상기 학습 이미지 데이터의 검색툴을 제공하여 검색결과에 따른 인공지능이 학습할 학습 이미지 데이터를 제공하는 학습데이터 검출부;를 포함할 수 있다.
또한, 상기 회원 등록부는, 상기 작업자의 회원 정보를 등록하여 회원 인증하는 작업자 회원 관리부; 상기 검수자의 회원 정보를 등록하여 회원 인증하는 검수자 회원 관리부; 및 상기 검색자의 회원 정보를 등록하여 회원 인증하는 검색자 회원 관리부;를 포함하고, 상기 작업자 회원 관리부는, 상기 작업자의 회원 정보를 등록하는 작업자 회원 등록모듈; 상기 작업자의 회원 정보를 인증하는 작업자 회원 인증모듈; 및 상기 작업자 중 회원 인증된 작업자에게 상기 학습데이터 제공서버의 접속을 허용하는 작업자 접속 허용모듈;을 포함하며, 상기 검수자 회원 관리부는, 상기 검수자의 회원 정보를 등록하는 검수자 회원 등록모듈; 상기 검수자의 회원 정보를 인증하는 검수자 회원 인증모듈; 및 상기 검수자 중 회원 인증된 검수자에게 상기 학습데이터 제공서버의 접속을 허용하는 검수자 접속 허용모듈;을 포함하고, 상기 검색자 회원 관리부는, 상기 검색자의 회원 정보를 등록하는 검색자 회원 등록모듈; 상기 검색자의 회원 정보를 인증하는 검색자 회원 인증모듈; 및 상기 검색자 중 회원 인증된 검색자에게 상기 학습데이터 제공서버의 접속을 허용하는 검색자 접속 허용모듈;을 포함할 수 있다.
또한, 상기 학습데이터 생성부는, 이미지 데이터를 수집한 후 특정 객체 조건을 만족하는 이미지 데이터만을 분류하여 획득하는 이미지 데이터 획득부; 상기 이미지 데이터 획득부에서 획득된 이미지 데이터에 포함된 객체별 영역을 지정하는 객체 영역 지정부; 상기 객체 영역 지정부에서 지정된 이미지 데이터의 객체별 영역을 검수하는 객체 영역 검수부; 및 상기 객체 영역 검수부에서 검수한 객체별 영역을 승인하는 경우 해당 이미지 데이터를 학습 이미지 데이터로 생성하는 학습이미지 데이터 생성부;를 포함할 수 있다.
또한, 상기 이미지 데이터 획득부는, 웹 사이트에서 특정 키워드를 이용하여 특정 이미지 데이터를 수집하는 이미지 데이터 수집모듈; 상기 이미지 데이터 수집모듈에서 수집된 이미지 데이터 중 특정 객체 조건을 만족하는 이미지 데이터만을 필터링하여 이미지 데이터를 분류하는 이미지 데이터 분류모듈; 상기 이미지 데이터 분류모듈에서 분류된 이미지 데이터를 임시 저장하는 이미지 데이터 저장모듈; 및 상기 이미지 데이터 분류모듈에서 분류된 이미지 데이터의 메타 데이터를 생성하는 메타 데이터 생성모듈;을 포함할 수 있다.
또한, 상기 객체 영역 지정부는, 상기 이미지 데이터 중 객체 영역을 지정할 이미지 데이터 리스트를 작업자 단말에 표시하되, 상기 작업자 단말이 상기 이미지 데이터 리스트 중 특정 이미지 데이터를 선택하는 경우, 해당 이미지 데이터의 객체별 영역을 지정하는 툴을 제공할 수 있다.
또한, 상기 객체 영역 검수부는, 상기 작업자 단말이 지정한 상기 이미지 데이터의 객체별 영역을 검수하는 제1 검수자 검수모듈; 및 상기 제1 검수자 단말이 승인한 상기 이미지 데이터의 객체별 영역을 검수하는 제2 검수자 검수모듈;을 포함할 수 있다.
또한, 상기 제1 검수자 검수모듈은, 작업자 리스트를 제1 검수자 단말에 표시하되, 상기 제1 검수자 단말이 상기 작업자 리스트 중 특정 작업자를 선택하는 경우, 해당 작업자의 작업 이미지 리스트를 표시하고, 상기 제1 검수자 단말이 상기 작업 이미지 리스트 중 특정 작업 이미지를 선택하는 경우, 해당 작업 이미지의 객체별 영역을 확인하는 툴을 제공할 수 있다.
또한, 상기 제2 검수자 검수모듈은, 작업자 리스트를 제2 검수자 단말에 표시하되, 상기 제2 검수자 단말이 상기 작업자 리스트 중 특정 작업자를 선택하는 경우, 해당 작업자의 제1 검수자 단말에 의해 검수가 완료된 작업 이미지 리스트를 표시하고, 상기 제2 검수자 단말이 상기 작업 이미지 리스트 중 특정 작업 이미지를 선택하는 경우, 해당 작업 이미지의 객체별 영역을 확인하는 툴을 제공할 수 있다.
또한, 상기 학습이미지 데이터 생성부는, 상기 제2 검수자 단말이 상기 작업자 리스트 중 특정 작업자의 특정 작업 이미지의 객체별 영역을 확인하여 해당 객체별 영역을 최종승인하는 경우, 해당 영역의 점좌표 기준의 마스크 파일인 학습 이미지 데이터를 생성할 수 있다.
또한, 상기 데이터 관리부는, 상기 이미지 데이터가 최종 저장될 폴더를 등록하여 해당 폴더에 이미지 데이터를 업로드하여 저장하고, 해당 이미지 데이터의 객체별 영역을 지정하기 위해 이미지 데이터를 작업자 단말에 배정하는 이미지 데이터 관리부; 상기 이미지 데이터의 항목인 이미지 타입, 해당 이미지 타입에 해당하는 객체수 및 메타수를 각각 관리하는 항목 관리부; 상기 학습데이터 제공서버에 접속하는 사용자의 사용자 정보를 기초로 해당 사용자를 등록 및 삭제하거나, 기등록된 사용자의 사용자 정보를 수정하여 관리하는 사용자 관리부; 및 상기 사용자의 권한을 등록하여 해당 사용자를 작업자, 검수자 및 검색자로 구분한 후 각각의 사용자에게 매칭되는 권한을 부여하는 권한 관리부;를 포함할 수 있다.
또한, 상기 이미지 데이터 관리부는, 상기 폴더를 등록하여 이미지 데이터를 해당 폴더에 업로드하는 데이터 업로드모듈; 및 상기 폴더에 업로드된 특정 이미지 데이터를 특정 작업자 단말에 배정하는 데이터 배정모듈;을 포함할 수 있다.
또한, 상기 항목 관리부는, 상기 이미지 데이터의 이미지 타입을 등록하고 수정하는 타입 관리모듈; 상기 이미지 타입의 객체수를 등록 및 수정하는 객체 관리모듈; 및 상기 이미지 타입의 메타수를 등록 및 수정하는 메타 관리모듈;을 포함할 수 있다.
또한, 상기 권한 관리부는, 상기 사용자의 권한을 등록하여 해당 사용자를 작업자, 검수자 및 검색자로 구분하는 권한 등록모듈; 및 상기 작업자, 검수자 및 검색자에게 각각의 권한을 부여하는 권한 부여모듈;을 포함할 수 있다.
아울러, 상기 학습데이터 검출부는, 상기 학습 이미지 데이터의 이미지 타입, 객체별 영역, 메타 데이터를 기초로 학습 이미지 데이터를 검색할 수 있는 검색툴을 제공하고, 상기 메타 데이터는 객체의 표정, 성별, 나이를 포함할 수 있다.
상기한 바와 같이 본 발명에 따른 인공지능 기반의 학습데이터셋 제공 시스템에 따르면, 이미지 데이터에 포함된 객체별 영역을 지정하여 인공지능의 학습데이터를 생성할 수 있는 효과가 있다.
또한, 본 발명은 객체에 대한 특정 검색 조건과 매칭되는 학습데이터를 인공지능에 제공하여 학습시킴으로써 인공지능으로 하여금 새로운 데이터를 생성하도록 할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 학습데이터셋 제공 시스템의 구성도이다.
도 2는 본 발명에 따른 학습데이터 제공서버의 구성도이다.
도 3은 본 발명에 따른 회원 등록부의 구성도이다.
도 4는 본 발명에 따른 학습데이터 생성부의 구성도이다.
도 5는 본 발명에 따른 이미지 데이터 획득부의 구성도이다.
도 6 및 도 7은 본 발명에 따른 객체 영역 지정부의 구체적인 실시도이다.
도 8은 본 발명에 따른 객체 영역 검수부의 구성도이다.
도 9 내지 도 11은 본 발명에 따른 제1 검수자 검수모듈의 구체적인 실시도이다.
도 12 및 도 13은 본 발명에 따른 제2 검수자 검수모듈의 구체적인 실시도이다.
도 14는 본 발명에 따른 데이터 관리부의 구성도이다.
도 15는 본 발명에 따른 이미지 데이터 관리부의 구성도이다.
도 16은 본 발명에 따른 데이터 업로드모듈의 구체적인 실시도이다.
도 17은 본 발명에 따른 데이터 배정모듈의 구체적인 실시도이다.
도 18은 본 발명에 따른 항목 관리부의 구성도이다.
도 19는 본 발명에 따른 타입 관리모듈의 구체적인 실시도이다.
도 20은 본 발명에 따른 객체 관리모듈의 구체적인 실시도이다.
도 21은 본 발명에 따른 메타 관리모듈의 구체적인 실시도이다.
도 22는 본 발명에 따른 사용자 관리부의 구체적인 실시도이다.
도 23은 본 발명에 따른 권한 관리부의 구성도이다.
도 24는 본 발명에 따른 권한 등록모듈의 구체적인 실시도이다.
도 25는 본 발명에 따른 권한 부여모듈의 구체적인 실시도이다.
도 26은 본 발명에 따른 학습데이터 검출부의 구체적인 실시도이다.
도 2는 본 발명에 따른 학습데이터 제공서버의 구성도이다.
도 3은 본 발명에 따른 회원 등록부의 구성도이다.
도 4는 본 발명에 따른 학습데이터 생성부의 구성도이다.
도 5는 본 발명에 따른 이미지 데이터 획득부의 구성도이다.
도 6 및 도 7은 본 발명에 따른 객체 영역 지정부의 구체적인 실시도이다.
도 8은 본 발명에 따른 객체 영역 검수부의 구성도이다.
도 9 내지 도 11은 본 발명에 따른 제1 검수자 검수모듈의 구체적인 실시도이다.
도 12 및 도 13은 본 발명에 따른 제2 검수자 검수모듈의 구체적인 실시도이다.
도 14는 본 발명에 따른 데이터 관리부의 구성도이다.
도 15는 본 발명에 따른 이미지 데이터 관리부의 구성도이다.
도 16은 본 발명에 따른 데이터 업로드모듈의 구체적인 실시도이다.
도 17은 본 발명에 따른 데이터 배정모듈의 구체적인 실시도이다.
도 18은 본 발명에 따른 항목 관리부의 구성도이다.
도 19는 본 발명에 따른 타입 관리모듈의 구체적인 실시도이다.
도 20은 본 발명에 따른 객체 관리모듈의 구체적인 실시도이다.
도 21은 본 발명에 따른 메타 관리모듈의 구체적인 실시도이다.
도 22는 본 발명에 따른 사용자 관리부의 구체적인 실시도이다.
도 23은 본 발명에 따른 권한 관리부의 구성도이다.
도 24는 본 발명에 따른 권한 등록모듈의 구체적인 실시도이다.
도 25는 본 발명에 따른 권한 부여모듈의 구체적인 실시도이다.
도 26은 본 발명에 따른 학습데이터 검출부의 구체적인 실시도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 우선, 도면들 중 동일한 구성요소 또는 부품들은 가능한 한 동일한 참조부호를 나타내고 있음에 유의해야 한다. 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하게 하지 않기 위해 생략한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반의 학습데이터셋 제공 시스템의 구성도이다.
본 발명에 따른 인공지능 기반의 학습데이터셋 제공 시스템은 도 1에 도시된 바와 같이, 사용자 단말(100), 관리자 단말(200) 및 학습데이터 제공서버(300)를 포함한다.
상기 사용자 단말(100)은 학습데이터 제공서버에 접속하여 사용자의 권한에 따라 해당 학습데이터 제공서버에서 제공하는 툴을 이용할 수 있는 단말로, 데스크탑, 노트북 등의 컴퓨터 또는 스마트폰으로 이루어질 수 있다.
상기 사용자 단말(100)이 컴퓨터로 이루어지는 경우, 해당 컴퓨터 상에서 실행되는 웹을 통해 학습데이터 제공서버에서 제공하는 툴을 실행할 수 있고, 또한 상기 사용자 단말(100)이 스마트폰으로 이루어지는 경우, 해당 스마트폰 상에서 실행되는 웹이나 해당 스마트폰에 설치된 어플리케이션을 통해 학습데이터 제공서버에서 제공하는 툴을 실행할 수 있다.
구체적으로, 상기 사용자 단말(100)은 작업자 단말(110), 검수자 단말(120) 및 검색자 단말(130)을 포함할 수 있다.
상기 작업자 단말(110)은 사용자 중 작업자가 사용하는 단말로, 학습데이터 제공서버에 접속하여 이미지 데이터에 포함된 객체별 영역을 지정할 수 있다.
상기 검수자 단말(120)은 학습데이터 제공서버에 접속하여 작업자 단말이 지정한 이미지 데이터의 객체별 영역을 검수할 수 있는데, 이러한 검수자 단말(120)은 제1 검수자 단말(121a) 및 제2 검수자 단말(121b)을 포함할 수 있다.
상기 제1 검수자 단말(121a)은 작업자 단말이 지정한 이미지 데이터의 객체별 영역을 검수하여 객체별 영역이 잘못 지정된 경우 작업자 단말에 반려할 수 있고, 또한 해당 객체별 영역이 올바로 지정된 경우 해당 객체별 영역을 승인할 수 있다.
또한, 제2 검수자 단말(121b)은 제1 검수자 단말이 승인한 이미지 데이터의 객체별 영역을 검수하여 제1 검수자 단말의 검수가 잘못된 경우 작업자 단말에 반려할 수 있고, 또한 제1 검수자 단말의 검수가 올바른 경우 해당 객체별 영역을 최종승인함으로써, 후술하는 바와 같이, 해당 이미지 데이터를 인공지능이 학습할 학습 이미지 데이터로 생성하도록 할 수 있다.
상기 검색자 단말(130)은 학습데이터 제공서버에 접속하여 학습데이터 제공서버에서 제공하는 검색툴을 통해 인공지능에 제공할 학습 이미지 데이터를 검색한 후, 검색된 학습 이미지 데이터를 다운로드하여 제공받을 수 있다.
상기 관리자 단말(200)은 학습데이터 제공서버에 접속하여 학습데이터 제공서버에서 제공하는 툴을 이용하여 업로드된 이미지 데이터, 해당 이미지 데이터의 항목, 사용자 단말의 사용자, 즉 작업자, 검수자(제1 검수자, 제2 검수자), 검색자 및 해당 사용자의 권한을 관리하는 단말로, 사용자 단말(100)과 동일하게 데스크탑, 노트북 등의 컴퓨터 또는 스마트폰으로 이루어질 수 있다.
상기 관리자 단말(200)이 컴퓨터로 이루어지는 경우, 해당 컴퓨터 상에서 실행되는 웹을 통해 학습데이터 제공서버에서 제공하는 툴을 실행할 수 있고, 또한 상기 관리자 단말(200)이 스마트폰으로 이루어지는 경우, 해당 스마트폰 상에서 실행되는 웹이나 해당 스마트폰에 설치된 어플리케이션을 통해 학습데이터 제공서버에서 제공하는 툴을 실행할 수 있다.
상기 학습데이터 제공서버(300)는 상기 사용자 단말 및 관리자 단말과 각각 유무선 통신망(400)을 통해 서로 연결되어 웹 페이지 상에서 이미지 데이터, 즉 원본 이미지 데이터를 수집한 후, 해당 이미지 데이터에 포함된 객체별 영역을 지정함으로써 각각의 객체가 구분지어진 학습 이미지 데이터를 생성할 수 있다.
도 2는 본 발명에 따른 학습데이터 제공서버의 구성도이다.
구체적으로, 상기 학습데이터 제공서버(300)는 도 2에 도시된 바와 같이, 회원 등록부(310), 학습데이터 생성부(320), 데이터 관리부(330) 및 학습데이터 검출부(340)를 포함한다.
상기 회원 등록부(310)는 작업자, 검수자 및 검색자의 회원 정보를 각각 등록하여 회원 인증할 수 있다
도 3은 본 발명에 따른 회원 등록부의 구성도이다.
상기 회원 등록부(310)는 도 3에 도시된 바와 같이, 작업자의 회원 정보를 등록하여 회원 인증하는 작업자 회원 관리부(311), 검수자의 회원 정보를 등록하여 회원 인증하는 검수자 회원 관리부(312) 및 검색자의 회원 정보를 등록하여 회원 인증하는 검색자 회원 관리부(313)를 포함한다.
구체적으로, 작업자 회원 관리부(311)는 작업자 회원 등록모듈(311a), 작업자 회원 인증모듈(311b) 및 작업자 접속 허용모듈(311c)을 포함할 수 있다.
상기 작업자 회원 등록모듈(311a)은 작업자의 회원 정보를 등록할 수 있다.
상기 작업자 회원 등록모듈(311a)은 학습데이터 제공서버(300)에 접속하여 후술하는 객체 영역 지정부(322)에서 제공하는 툴을 이용하려는 작업자의 인적 정보 및 기타 정보를 각각 제공받아 회원 정보로 등록할 수 있다.
상기 작업자 회원 인증모듈(311b)은 작업자의 회원 정보를 인증할 수 있다.
상기 작업자 회원 인증모듈(311b)은 작업자가 학습데이터 제공서버(300)에 접속하여 객체 영역 지정부(322)에서 제공하는 툴을 이용하려는 경우, 작업자에 의해 입력된 회원 정보가 기등록된 회원 정보와 일치하는지 여부에 따른 인증 과정을 수행함으로써 작업자를 학습데이터 제공서버(300)에 접속시킬 수 있다.
상기 작업자 접속 허용모듈(311c)은 작업자 중 회원 인증된 작업자에게 상기 학습데이터 제공서버의 접속을 허용할 수 있다.
상기 작업자 접속 허용모듈(311c)은 학습데이터 제공서버(300)에 접속하려는 작업자가 상기 작업자 회원 인증모듈(311b)에서 회원으로 인증되지 않는 경우, 해당 작업자가 학습데이터 제공서버(300)에 접속하는 것을 차단할 수 있다.
이에 반해, 작업자가 상기 작업자 회원 인증모듈(311b)에서 회원으로 인증되는 경우, 작업자가 학습데이터 제공서버(300)에 접속하는 것을 허용함으로써 해당 작업자가 객체 영역 지정부(322)에서 제공하는 툴을 이용하여 이미지 데이터에 포함된 객체별 영역을 지정하도록 할 수 있다.
상기 검수자 회원 관리부(312)는 검수자 회원 등록모듈(312a), 검수자 회원 인증모듈(312b) 및 검수자 접속 허용모듈(312c)을 포함할 수 있다.
상기 검수자 회원 등록모듈(312a)은 검수자의 회원 정보를 등록할 수 있다.
상기 검수자 회원 등록모듈(312a)은 학습데이터 제공서버(300)에 접속하여 후술하는 객체 영역 검수부(323)에서 제공하는 툴을 이용하려는 검수자의 인적 정보 및 기타 정보를 각각 제공받아 회원 정보로 등록할 수 있다.
상기 검수자 회원 인증모듈(312b)은 검수자의 회원 정보를 인증할 수 있다.
상기 검수자 회원 인증모듈(312b)은 검수자가 학습데이터 제공서버(300)에 접속하여 객체 영역 검수부(323)에서 제공하는 툴을 이용하려는 경우, 검수자에 의해 입력된 회원 정보가 기등록된 회원 정보와 일치하는지 여부에 따른 인증 과정을 수행함으로써 검수자를 학습데이터 제공서버(300)에 접속시킬 수 있다.
상기 검수자 접속 허용모듈(312c)은 검수자 중 회원 인증된 검수자에게 상기 학습데이터 제공서버의 접속을 허용할 수 있다.
상기 검수자 접속 허용모듈(312c)은 학습데이터 제공서버(300)에 접속하려는 검수자가 상기 검수자 회원 인증모듈(312b)에서 회원으로 인증되지 않는 경우, 해당 검수자가 학습데이터 제공서버(300)에 접속하는 것을 차단할 수 있다.
이에 반해, 검수자가 상기 검수자 회원 인증모듈(312b)에서 회원으로 인증되는 경우, 검수자가 학습데이터 제공서버(300)에 접속하는 것을 허용함으로써 해당 작업자가 객체 영역 검수부(323)에서 제공하는 툴을 이용하여 이미지 데이터에 포함된 객체별 영역을 검수하도록 할 수 있다.
상기 검색자 회원 관리부(312)는 검색자 회원 등록모듈(313a), 검색자 회원 인증모듈(313b) 및 검색자 접속 허용모듈(313c)을 포함할 수 있다.
상기 검색자 회원 등록모듈(313a)은 검색자의 회원 정보를 등록할 수 있다.
상기 검색자 회원 등록모듈(313a)은 학습데이터 제공서버(300)에 접속하여 후술하는 학습데이터 검출부(340)에서 제공하는 툴을 이용하려는 검색자의 인적 정보 및 기타 정보를 각각 제공받아 회원 정보로 등록할 수 있다.
상기 검색자 회원 인증모듈(313b)은 검색자의 회원 정보를 인증할 수 있다.
상기 검색자 회원 인증모듈(313b)은 검색자가 학습데이터 제공서버(300)에 접속하여 학습데이터 검출부(340)에서 제공하는 툴을 이용하려는 경우, 검색자에 의해 입력된 회원 정보가 기등록된 회원 정보와 일치하는지 여부에 따른 인증 과정을 수행함으로써 검색자를 학습데이터 제공서버(300)에 접속시킬 수 있다.
상기 검색자 접속 허용모듈(313c)은 검색자 중 회원 인증된 검색자에게 상기 학습데이터 제공서버의 접속을 허용할 수 있다.
상기 검색자 접속 허용모듈(313c)은 학습데이터 제공서버(300)에 접속하려는 검색자가 상기 검색자 회원 인증모듈(313b)에서 회원으로 인증되지 않는 경우, 해당 검색자가 학습데이터 제공서버(300)에 접속하는 것을 차단할 수 있다.
이에 반해, 검색자가 상기 검색자 회원 인증모듈(313b)에서 회원으로 인증되는 경우, 검색자가 학습데이터 제공서버(300)에 접속하는 것을 허용함으로써 해당 검색자가 학습데이터 검출부(340)에서 제공하는 툴을 이용하여 인공지능이 학습할 학습 이미지 데이터를 검색하여 제공받을 수 있도록 할 수 있다.
상기 학습데이터 생성부(320)는 이미지 데이터를 수집한 후, 해당 이미지 데이터에 포함된 객체별 영역을 지정하여 인공지능이 학습할 이미지 데이터로 각각의 객체가 구분지어진 학습 이미지 데이터를 생성할 수 있다.
도 4는 본 발명에 따른 학습데이터 생성부의 구성도이다.
상기 학습데이터 생성부(320)는 도 4에 도시된 바와 같이, 이미지 데이터 획득부(321), 객체 영역 지정부(322), 객체 영역 검수부(323) 및 학습 이미지 데이터 생성부(324)를 포함한다.
상기 이미지 데이터 획득부(321)는 이미지 데이터를 수집한 후 특정 객체 조건을 만족하는 이미지 데이터만을 분류함으로써 학습 이미지 데이터의 생성을 위한 이미지 데이터를 획득할 수 있다.
도 5는 본 발명에 따른 이미지 데이터 획득부의 구성도이다.
상기 이미지 데이터 획득부(321)는 도 5에 도시된 바와 같이, 이미지 데이터 수집모듈(321a), 이미지 데이터 분류모듈(321b), 이미지 데이터 저장모듈(321c) 및 메타 데이터 생성모듈(321d)을 포함한다.
상기 이미지 데이터 수집모듈(321a)은 웹 사이트에서 특정 키워드를 이용하여 특정 이미지 데이터를 수집할 수 있다.
구체적으로, 이미지 데이터 수집모듈(321a)은 웹 사이트에서 이미지 데이터를 수집하는 엔진으로 이루어질 수 있으며, 이러한 이미지 데이터 수집모듈(321a)은 수집 대상 웹 사이트 URL과 키워드를 등록함으로써 해당 사이트에서 이미지 데이터를 수집할 수 있다.
상기 이미지 데이터 분류모듈(321b)은 이미지 데이터 수집모듈에서 수집된 이미지 데이터 중 특정 객체 조건을 만족하는 이미지 데이터만을 필터링하여 이미지 데이터를 분류할 수 있다.
구체적으로, 이미지 데이터 분류모듈(321b)은 수집된 이미지 데이터를 예를 들면 해상도, 사람이 있는 사진, 얼굴만 있는 사진, 동물 등 특정 객체 조건에 해당하는 데이터인지 여부를 탐색하여 이미지 데이터를 분류할 수 있다.
상기 이미지 데이터 저장모듈(321c)은 이미지 데이터 분류모듈에서 분류된 이미지 데이터를 임시 저장할 수 있다.
상기 메타 데이터 생성모듈(321d)은 이미지 데이터 분류모듈에서 분류된 이미지 데이터의 메타 데이터를 생성할 수 있다.
구체적으로, 메타 데이터 생성모듈(321d)은 이미지 데이터의 데이터 구조를 정의하며, 해당 이미지의 사이즈, 위경도, 해상도, 분류 등의 기본정보를 생성할 수 있다.
상기 객체 영역 지정부(322)는 이미지 데이터 획득부에서 획득된 이미지 데이터에 포함된 객체별 영역을 지정할 수 있다.
여기서, 객체 영역 지정부(322)는 이미지 데이터 중 객체 영역을 지정할 이미지 데이터 리스트를 작업자 단말에 표시할 수 있고, 특히 작업자 단말이 이미지 데이터 리스트 중 특정 이미지 데이터를 선택하는 경우, 해당 이미지 데이터의 객체별 영역을 지정하는 툴을 제공할 수 있다.
도 6 및 도 7은 본 발명에 따른 객체 영역 지정부의 구체적인 실시도이다.
구체적으로, 객체 영역 지정부(322)는 작업자 단말(110)이 학습데이터 제공서버에 접속하는 경우, 도 6에 도시된 바와 같이, 작업자 단말(110)에 해당 작업자가 작업해야 할 이미지 데이터 리스트를 제공할 수 있는데, 작업자가 예를 들어 해당 이미지 리스트 중 특정 이미지 ID 또는 썸네일 이미지를 선택하는 경우, 도 7에 도시된 바와 같이, 해당 이미지의 객체 영역 지정 페이지로 이동시킬 수 있고, 해당 작업자는 해당 페이지에서 제공되는 툴을 이용하여 해당 이미지의 객체 영역을 지정한 후 객체 영역 검수부(323)에 제출할 수 있다.
상기 객체 영역 검수부(323)는 객체 영역 지정부에서 지정된 이미지 데이터의 객체별 영역을 검수할 수 있다.
도 8은 본 발명에 따른 객체 영역 검수부의 구성도이다.
상기 객체 영역 검수부(323)는 도 8에 도시된 바와 같이, 제1 검수자 검수모듈(323a) 및 제2 검수자 검수모듈(323b)을 포함한다.
상기 제1 검수자 검수모듈(323a)은 작업자 단말이 지정한 이미지 데이터의 객체별 영역을 검수할 수 있다.
여기서, 제1 검수자 검수모듈은 작업자 리스트를 제1 검수자 단말에 표시할 수 있고, 또한 제1 검수자 단말이 작업자 리스트 중 특정 작업자를 선택하는 경우, 해당 작업자의 작업 이미지 리스트를 표시할 수 있으며, 특히, 제1 검수자 단말이 작업 이미지 리스트 중 특정 작업 이미지를 선택하는 경우, 해당 작업 이미지의 객체별 영역을 확인하는 툴을 제공할 수 있다.
도 9 내지 도 11은 본 발명에 따른 제1 검수자 검수모듈의 구체적인 실시도이다.
구체적으로, 제1 검수자 검수모듈(323a)은 제1 검수자 단말(121)이 학습데이터 제공서버에 접속하는 경우, 도 9에 도시된 바와 같이, 제1 검수자 단말(121)에 해당 제1 검수자가 검수해야 할 작업자 리스트를 제공할 수 있는데, 제1 검수자가 예를 들어 해당 작업자 리스트 중 특정 작업자 ID를 선택하는 경우, 도 10에 도시된 바와 같이, 해당 작업자의 작업 이미지 리스트를 표시할 수 있다.
이후, 제1 검수자 검수모듈(323a)은 제1 검수자가 예를 들어, 해당 작업 이미지 리스트 중 특정 이미지 ID 또는 썸네일 이미지를 선택하는 경우, 도 11에 도시된 바와 같이, 해당 이미지의 객체 영역 지정 페이지로 이동시킬 수 있는데, 해당 제1 검수자는 해당 페이지에서 제공되는 툴을 이용하여 작업자가 기등록한 작업 내용을 확인한 후 작업 내용을 수정할 수 있다.
또한, 제1 검수자는 작업자의 작업 내용이 반려 대상인 경우, 즉, 해당 이미지의 객체별 영역이 잘못 지정된 경우, 반려사유를 기재하여 작업자에게 재작업 요청을 수행할 수 있고, 이와 반대로, 작업자의 작업 내용이 승인 대상인 경우, 즉 해당 이미지의 객체별 영역이 바르게 지정된 경우 해당 작업을 승인함으로써 해당 이미지에 지정된 객체 영역을 제2 검수자 검수모듈(323b)에 제출할 수 있다.
상기 제2 검수자 검수모듈(323b)은 제1 검수자 단말이 승인한 이미지 데이터의 객체별 영역을 검수할 수 있다.
여기서, 제2 검수자 검수모듈(323b)은 제2 검수자 단말이 작업자 리스트 중 특정 작업자를 선택하는 경우, 해당 작업자의 제1 검수자 단말에 의해 검수가 완료된 작업 이미지 리스트를 표시할 수 있고, 특히, 제2 검수자 단말이 상기 작업 이미지 리스트 중 특정 작업 이미지를 선택하는 경우, 해당 작업 이미지의 객체별 영역을 확인하는 툴을 제공할 수 있다.
도 12 및 도 13은 본 발명에 따른 제2 검수자 검수모듈의 구체적인 실시도이다.
구체적으로, 제2 검수자 검수모듈(323b)은 제2 검수자 단말(122)이 학습데이터 제공서버에 접속하는 경우, 도 12에 도시된 바와 같이, 제2 검수자 단말(122)에 해당 제2 검수자가 검수해야 할 작업자 리스트를 제공할 수 있는데, 제2 검수자가 예를 들어 해당 작업자 리스트 중 특정 작업자 ID를 선택하는 경우, 도 13에 도시된 바와 같이, 해당 작업자의 작업 이미지 리스트를 표시할 수 있다.
이후, 제2 검수자 검수모듈(323b)은 제2 검수자가 예를 들어 해당 작업 이미지 리스트 중 특정 이미지 ID 또는 썸네일 이미지를 선택하는 경우, 도 11에 도시된 바와 같이, 해당 이미지의 객체 영역 지정 페이지로 이동시킬 수 있는데, 해당 제2 검수자는 해당 페이지에서 제공되는 툴을 이용하여 작업자가 기등록한 작업 내용을 확인한 후 작업 내용을 수정할 수 있다.
또한, 제2 검수자는 작업자의 작업 내용이 반려 대상인 경우, 반려사유를 기재하여 작업자에게 재작업 요청을 수행할 수 있고, 이와 반대로, 작업자의 작업 내용이 승인 대상인 경우, 해당 작업을 최종승인할 수 있다.
상기 학습 이미지 데이터 생성부(324)는 객체 영역 검수부에서 검수한 객체별 영역을 승인하는 경우 해당 이미지 데이터를 학습 이미지 데이터로 생성할 수 있다.
구체적으로, 학습 이미지 데이터 생성부(324)는 제2 검수자 단말이 상기 작업자 리스트 중 특정 작업자의 특정 작업 이미지의 객체별 영역을 확인하여 해당 객체별 영역을 최종승인하는 경우, 해당 영역의 점좌표 기준의 마스크 파일인 학습 이미지 데이터를 생성할 수 있다.
상기 데이터 관리부(330)는 이미지 데이터, 이미지 데이터의 항목, 사용자 단말의 사용자 및 사용자의 권한을 각각 관리할 수 있다.
도 14는 본 발명에 따른 데이터 관리부의 구성도이다.
상기 데이터 관리부(330)는 도 14에 도시된 바와 같이, 이미지 데이터 관리부(331), 항목 관리부(332), 사용자 관리부(333) 및 권한 관리부(334)를 포함한다.
상기 이미지 데이터 관리부(331)는 이미지 데이터가 최종 저장될 폴더를 등록하여 해당 폴더에 이미지 데이터를 업로드하여 저장하고, 해당 이미지 데이터의 객체별 영역을 지정하기 위해 이미지 데이터를 작업자 단말에 배정할 수 있다.
도 15는 본 발명에 따른 이미지 데이터 관리부의 구성도이다.
상기 이미지 데이터 관리부(331)는 도 15에 도시된 바와 같이, 데이터 업로드모듈(331a) 및 데이터 배정모듈(331b)을 포함한다.
상기 데이터 업로드모듈(331a)은 폴더를 등록하여 이미지 데이터를 해당 폴더에 업로드할 수 있다.
도 16은 본 발명에 따른 데이터 업로드모듈의 구체적인 실시도이다.
구체적으로, 데이터 업로드모듈(331a)은 도 16에 도시된 바와 같이, 이미지 데이터를 업로드할 폴더를 등록함과 동시에, 특정 폴더를 선택하여 특정 이미지 데이터를 업로드할 수 있는 툴을 제공할 수 있다.
상기 데이터 배정모듈(331b)는 폴더에 업로드된 특정 이미지 데이터를 특정 작업자 단말에 배정할 수 있다.
도 17은 본 발명에 따른 데이터 배정모듈의 구체적인 실시도이다.
구체적으로, 데이터 배정모듈(331b)은 도 17에 도시된 바와 같이, 배정 이미지를 검색한 후, 배정 이미지의 수량을 결정하여 특정 작업자에게 특정 이미지 데이터를 배정할 수 있는 툴을 제공할 수 있다.
상기 항목 관리부(332)는 이미지 데이터의 항목인 이미지 타입, 해당 이미지 타입에 해당하는 객체수 및 메타수를 각각 관리할 수 있다.
도 18은 본 발명에 따른 항목 관리부의 구성도이다.
상기 항목 관리부(332)는 도 18에 도시된 바와 같이, 타입 관리모듈(332a), 객체 관리모듈(332b) 및 메타 관리모듈(332c)을 포함한다.
상기 타입 관리모듈(332a)은 이미지 데이터의 이미지 타입을 등록하고 수정할 수 있다.
도 19는 본 발명에 따른 타입 관리모듈의 구체적인 실시도이다.
구체적으로, 타입 관리모듈(332a)은 도 19에 도시된 바와 같이, 이미지 데이터의 타입 이름으로 A, B, C, D 등을 지정하고, 이미지 타입으로 전신(person), 상반신(upper body), 얼굴(face) 등을 지정하여 이미지 타입을 등록하거나 해당 이미지 타입을 수정 및 삭제할 수 있다.
상기 객체 관리모듈(332b)은 이미지 타입의 객체수를 등록 및 수정할 수 있다.
도 20은 본 발명에 따른 객체 관리모듈의 구체적인 실시도이다.
구체적으로, 객체 관리모듈(332b)은 도 20에 도시된 바와 같이, 객체 이름(객체)로 전경(all), 전신(person), 상반신(upper body), 머리(head) 등을 지정하여 이미지 타입의 객체수를 등록하거나 해당 객체수를 수정 및 삭제할 수 있다.
상기 메타 관리모듈(332c)은 이미지 타입의 메타수를 등록 및 수정할 수 있다.
도 21은 본 발명에 따른 메타 관리모듈의 구체적인 실시도이다.
구체적으로, 메타 관리모듈(332c)은 도 21에 도시된 바와 같이, 메타 이름으로 person, Location, Type 등을 지정하고, 메타 데이터 타입으로 답답형, 장문형, 단일 선택형, 복수 선택형 등을 지정하여 이미지 타입의 메타수를 등록하거나 해당 메타수를 수정 및 삭제할 수 있다.
상기 사용자 관리부(333)는 학습데이터 제공서버에 접속하는 사용자의 사용자 정보를 기초로 해당 사용자를 등록 및 삭제하거나, 기등록된 사용자의 사용자 정보를 수정하여 관리할 수 있다.
도 22는 본 발명에 따른 사용자 관리부의 구체적인 실시도이다.
구체적으로, 사용자 관리부(333)는 도 22에 도시된 바와 같이, 사용자 아이디, 이름, 소속, 권한에 대한 사용자 리스트를 제공하고, 사용자 등록시 사용자 등록 팝업을 노출하며, 사용자 삭제시 사용자 삭제 팝업을 노출시킬 수 있다.
상기 권한 관리부(334)는 사용자의 권한을 등록하여 해당 사용자를 작업자, 검수자 및 검색자로 구분한 후 각각의 사용자에게 매칭되는 권한을 부여할 수 있다.
도 23은 본 발명에 따른 권한 관리부의 구성도이다.
상기 권한 관리부(334)는 도 23에 도시된 바와 같이, 권한 등록모듈(334a) 및 권한 부여모듈(334b)을 포함한다.
상기 권한 등록모듈(334a)은 사용자의 권한을 등록하여 해당 사용자를 작업자, 검수자 및 검색자로 구분할 수 있다.
도 24는 본 발명에 따른 권한 등록모듈의 구체적인 실시도이다.
구체적으로, 권한 등록모듈(334a)은 도 24에 도시된 바와 같이, 권한 이름, 권한 설명에 대한 권한 리스트를 제공하고, 특정 사용자에 대한 권한 등록시 권한 등록 팝업을 노출하며, 권한 삭제시 권한 삭제 팝업을 노출할 수 있다.
상기 권한 부여모듈(334b)은 작업자, 검수자 및 검색자에게 각각의 권한을 부여할 수 있다.
도 25는 본 발명에 따른 권한 부여모듈의 구체적인 실시도이다.
구체적으로, 권한 부여모듈(334b)은 도 25에 도시된 바와 같이, 사용자에게 부여할 권한을 선택한 후, 작업자, 검수자 및 검색자에 각각 매칭되는 권한을 부여함으로써, 작업자는 객체 영역 지정부(322)에서 제공되는 툴을 이용가능하게 하고, 검수자는 객체 영역 검수부(323)에서 제공되는 툴을 이용가능하게 하며, 검색자는 학습데이터 검출부(340)에서 제공되는 툴을 이용가능하게 할 수 있다.
상기 학습데이터 검출부(340)는 학습 이미지 데이터의 검색툴을 제공하여 검색결과에 따른 인공지능이 학습할 학습 이미지 데이터를 제공할 수 있다.
여기서, 상기 학습데이터 검출부(340)는 학습 이미지 데이터의 이미지 타입, 객체별 영역, 메타 데이터를 기초로 학습 이미지 데이터를 검색할 수 있는 검색툴을 제공할 수 있는데, 여기서, 메타 데이터는 객체의 표정, 성별, 나이를 포함할 수 있다.
도 26은 본 발명에 따른 학습데이터 검출부의 구체적인 실시도이다.
구체적으로, 학습데이터 검출부(340)는 검색자 단말(130)이 학습데이터 제공서버에 접속하는 경우, 도 26에 도시된 바와 같이, 이미지 타입, 객체별 영역, 메타 데이터(표정, 성별, 나이 등)를 포함하는 검색툴을 제공함으로써 해당 검색자가 해당 검색툴을 통해 인공지능이 학습할 학습 이미지 데이터를 검색하여 제공받도록 할 수 있다.
이상과 같이 본 발명에 따른 인공지능 기반의 학습데이터셋 제공 시스템을 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상 범위 내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.
100:사용자 단말
110:작업자 단말
120:검수자 단말 121:제1 검수자 단말
122:제2 검수자 단말 130:검색자 단말
200:관리자 단말 300:학습데이터 제공서버
310:회원 등록부 311:작업자 회원 관리부
311a:작업자 회원 등록모듈 311b:작업자 회원 인증모듈
311c:작업자 접속 허용모듈 312:검수자 회원 관리부
312a:검수자 회원 등록모듈 312b:검수자 회원 인증모듈
312c:검수자 접속 허용모듈 313:검색자 회원 관리부
313a:검색자 회원 등록모듈 313b:검색자 회원 인증모듈
313c:검색자 접속 허용모듈 320:학습데이터 생성부
321:이미지 데이터 획득부 321a:이미지 데이터 수집모듈
321b:이미지 데이터 분류모듈 321c:이미지 데이터 저장모듈
321d:메타 데이터 생성모듈 322:객체 영역 지정부
323:객체 영역 검수부 323a:제1 검수자 검수모듈
323b:제2 검수자 검수모듈 324:학습데이터 생성부
330:데이터 관리부 331:이미지 데이터 관리부
331a:데이터 업로드모듈 331b:데이터 배정모듈
332:항목 관리부 332a:타입 관리모듈
332b:객체 관리모듈 332c:메타 관리모듈
333:사용자 관리부 334:권한 관리부
334a:권한 등록모듈 334b:권한 부여모듈
340:학습데이터 검출부 400:유무선 통신망
120:검수자 단말 121:제1 검수자 단말
122:제2 검수자 단말 130:검색자 단말
200:관리자 단말 300:학습데이터 제공서버
310:회원 등록부 311:작업자 회원 관리부
311a:작업자 회원 등록모듈 311b:작업자 회원 인증모듈
311c:작업자 접속 허용모듈 312:검수자 회원 관리부
312a:검수자 회원 등록모듈 312b:검수자 회원 인증모듈
312c:검수자 접속 허용모듈 313:검색자 회원 관리부
313a:검색자 회원 등록모듈 313b:검색자 회원 인증모듈
313c:검색자 접속 허용모듈 320:학습데이터 생성부
321:이미지 데이터 획득부 321a:이미지 데이터 수집모듈
321b:이미지 데이터 분류모듈 321c:이미지 데이터 저장모듈
321d:메타 데이터 생성모듈 322:객체 영역 지정부
323:객체 영역 검수부 323a:제1 검수자 검수모듈
323b:제2 검수자 검수모듈 324:학습데이터 생성부
330:데이터 관리부 331:이미지 데이터 관리부
331a:데이터 업로드모듈 331b:데이터 배정모듈
332:항목 관리부 332a:타입 관리모듈
332b:객체 관리모듈 332c:메타 관리모듈
333:사용자 관리부 334:권한 관리부
334a:권한 등록모듈 334b:권한 부여모듈
340:학습데이터 검출부 400:유무선 통신망
Claims (15)
- 사용자 단말;
상기 사용자 단말의 사용자와, 해당 사용자의 권한을 관리하는 관리자 단말; 및
상기 사용자 단말 및 관리자 단말과 각각 유무선 통신망을 통해 서로 연결되고, 이미지 데이터를 수집하여 해당 이미지 데이터에 포함된 객체별 영역을 지정하여 각각의 객체가 구분지어진 학습 이미지 데이터를 생성하는 학습데이터 제공서버;를 포함하고,
상기 사용자 단말은,
상기 학습데이터 제공서버에 접속하여 상기 이미지 데이터에 포함된 객체별 영역을 지정하는 작업자 단말;
상기 학습데이터 제공서버에 접속하여 상기 작업자 단말이 지정한 상기 이미지 데이터의 객체별 영역을 검수하는 검수자 단말; 및
상기 학습데이터 제공서버에 접속하여 검색툴을 통해 인공지능에 제공할 학습 이미지 데이터를 검색하여 제공받는 검색자 단말;을 포함하며,
상기 검수자 단말은,
상기 작업자 단말이 지정한 상기 이미지 데이터의 객체별 영역을 검수하여 작업자 단말에 반려하거나 승인하는 제1 검수자 단말; 및
상기 제1 검수자 단말이 승인한 상기 이미지 데이터의 객체별 영역을 검수하여 제1 검수자 단말에 반려하거나 승인하는 제2 검수자 단말;을 포함하고,
상기 관리자 단말은,
상기 이미지 데이터와, 해당 이미지 데이터의 항목을 더 관리하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
- 제 1항에 있어서,
상기 학습데이터 제공서버는,
작업자, 검수자 및 검색자의 회원 정보를 각각 등록하여 회원 인증하는 회원 등록부;
상기 이미지 데이터를 수집한 후, 해당 이미지 데이터에 포함된 객체별 영역을 지정하여 인공지능이 학습할 이미지 데이터로 각각의 객체가 구분지어진 학습 이미지 데이터를 생성하는 학습데이터 생성부;
상기 이미지 데이터, 이미지 데이터의 항목, 사용자 단말의 사용자 및 사용자의 권한을 각각 관리하는 데이터 관리부; 및
상기 학습 이미지 데이터의 검색툴을 제공하여 검색결과에 따른 인공지능이 학습할 학습 이미지 데이터를 제공하는 학습데이터 검출부;를 포함하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
- 제 2항에 있어서,
상기 회원 등록부는,
상기 작업자의 회원 정보를 등록하여 회원 인증하는 작업자 회원 관리부;
상기 검수자의 회원 정보를 등록하여 회원 인증하는 검수자 회원 관리부; 및
상기 검색자의 회원 정보를 등록하여 회원 인증하는 검색자 회원 관리부;를 포함하고,
상기 작업자 회원 관리부는,
상기 작업자의 회원 정보를 등록하는 작업자 회원 등록모듈;
상기 작업자의 회원 정보를 인증하는 작업자 회원 인증모듈; 및
상기 작업자 중 회원 인증된 작업자에게 상기 학습데이터 제공서버의 접속을 허용하는 작업자 접속 허용모듈;을 포함하며,
상기 검수자 회원 관리부는,
상기 검수자의 회원 정보를 등록하는 검수자 회원 등록모듈;
상기 검수자의 회원 정보를 인증하는 검수자 회원 인증모듈; 및
상기 검수자 중 회원 인증된 검수자에게 상기 학습데이터 제공서버의 접속을 허용하는 검수자 접속 허용모듈;을 포함하고,
상기 검색자 회원 관리부는,
상기 검색자의 회원 정보를 등록하는 검색자 회원 등록모듈;
상기 검색자의 회원 정보를 인증하는 검색자 회원 인증모듈; 및
상기 검색자 중 회원 인증된 검색자에게 상기 학습데이터 제공서버의 접속을 허용하는 검색자 접속 허용모듈;을 포함하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
- 제 3항에 있어서,
상기 학습데이터 생성부는,
이미지 데이터를 수집한 후 특정 객체 조건을 만족하는 이미지 데이터만을 분류하여 획득하는 이미지 데이터 획득부;
상기 이미지 데이터 획득부에서 획득된 이미지 데이터에 포함된 객체별 영역을 지정하는 객체 영역 지정부;
상기 객체 영역 지정부에서 지정된 이미지 데이터의 객체별 영역을 검수하는 객체 영역 검수부; 및
상기 객체 영역 검수부에서 검수한 객체별 영역을 승인하는 경우 해당 이미지 데이터를 학습 이미지 데이터로 생성하는 학습이미지 데이터 생성부;를 포함하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
- 제 4항에 있어서,
상기 이미지 데이터 획득부는,
웹 사이트에서 특정 키워드를 이용하여 특정 이미지 데이터를 수집하는 이미지 데이터 수집모듈;
상기 이미지 데이터 수집모듈에서 수집된 이미지 데이터 중 특정 객체 조건을 만족하는 이미지 데이터만을 필터링하여 이미지 데이터를 분류하는 이미지 데이터 분류모듈;
상기 이미지 데이터 분류모듈에서 분류된 이미지 데이터를 임시 저장하는 이미지 데이터 저장모듈; 및
상기 이미지 데이터 분류모듈에서 분류된 이미지 데이터의 메타 데이터를 생성하는 메타 데이터 생성모듈;을 포함하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
- 제 5항에 있어서,
상기 객체 영역 지정부는,
상기 이미지 데이터 중 객체 영역을 지정할 이미지 데이터 리스트를 작업자 단말에 표시하되,
상기 작업자 단말이 상기 이미지 데이터 리스트 중 특정 이미지 데이터를 선택하는 경우, 해당 이미지 데이터의 객체별 영역을 지정하는 툴을 제공하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
- 제 6항에 있어서,
상기 객체 영역 검수부는,
상기 작업자 단말이 지정한 상기 이미지 데이터의 객체별 영역을 검수하는 제1 검수자 검수모듈; 및
상기 제1 검수자 단말이 승인한 상기 이미지 데이터의 객체별 영역을 검수하는 제2 검수자 검수모듈;을 포함하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
- 제 7항에 있어서,
상기 제1 검수자 검수모듈은,
작업자 리스트를 제1 검수자 단말에 표시하되,
상기 제1 검수자 단말이 상기 작업자 리스트 중 특정 작업자를 선택하는 경우, 해당 작업자의 작업 이미지 리스트를 표시하고,
상기 제1 검수자 단말이 상기 작업 이미지 리스트 중 특정 작업 이미지를 선택하는 경우, 해당 작업 이미지의 객체별 영역을 확인하는 툴을 제공하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
- 제 8항에 있어서,
상기 제2 검수자 검수모듈은,
작업자 리스트를 제2 검수자 단말에 표시하되,
상기 제2 검수자 단말이 상기 작업자 리스트 중 특정 작업자를 선택하는 경우, 해당 작업자의 제1 검수자 단말에 의해 검수가 완료된 작업 이미지 리스트를 표시하고,
상기 제2 검수자 단말이 상기 작업 이미지 리스트 중 특정 작업 이미지를 선택하는 경우, 해당 작업 이미지의 객체별 영역을 확인하는 툴을 제공하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
- 제 9항에 있어서,
상기 학습 이미지 데이터 생성부는,
상기 제2 검수자 단말이 상기 작업자 리스트 중 특정 작업자의 특정 작업 이미지의 객체별 영역을 확인하여 해당 객체별 영역을 최종승인하는 경우,
해당 영역의 점좌표 기준의 마스크 파일인 학습 이미지 데이터를 생성하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
- 제 10항에 있어서,
상기 데이터 관리부는,
상기 이미지 데이터가 최종 저장될 폴더를 등록하여 해당 폴더에 이미지 데이터를 업로드하여 저장하고, 해당 이미지 데이터의 객체별 영역을 지정하기 위해 이미지 데이터를 작업자 단말에 배정하는 이미지 데이터 관리부;
상기 이미지 데이터의 항목인 이미지 타입, 해당 이미지 타입에 해당하는 객체수 및 메타수를 각각 관리하는 항목 관리부;
상기 학습데이터 제공서버에 접속하는 사용자의 사용자 정보를 기초로 해당 사용자를 등록 및 삭제하거나, 기등록된 사용자의 사용자 정보를 수정하여 관리하는 사용자 관리부; 및
상기 사용자의 권한을 등록하여 해당 사용자를 작업자, 검수자 및 검색자로 구분한 후 각각의 사용자에게 매칭되는 권한을 부여하는 권한 관리부;를 포함하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
- 제 11항에 있어서,
상기 이미지 데이터 관리부는,
상기 폴더를 등록하여 이미지 데이터를 해당 폴더에 업로드하는 데이터 업로드모듈; 및
상기 폴더에 업로드된 특정 이미지 데이터를 특정 작업자 단말에 배정하는 데이터 배정모듈;을 포함하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
- 제 12항에 있어서,
상기 항목 관리부는,
상기 이미지 데이터의 이미지 타입을 등록하고 수정하는 타입 관리모듈;
상기 이미지 타입의 객체수를 등록 및 수정하는 객체 관리모듈; 및
상기 이미지 타입의 메타수를 등록 및 수정하는 메타 관리모듈;을 포함하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
- 제 13항에 있어서,
상기 권한 관리부는,
상기 사용자의 권한을 등록하여 해당 사용자를 작업자, 검수자 및 검색자로 구분하는 권한 등록모듈; 및
상기 작업자, 검수자 및 검색자에게 각각의 권한을 부여하는 권한 부여모듈;을 포함하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
- 제 14항에 있어서,
상기 학습데이터 검출부는,
상기 학습 이미지 데이터의 이미지 타입, 객체별 영역, 메타 데이터를 기초로 학습 이미지 데이터를 검색할 수 있는 검색툴을 제공하고,
상기 메타 데이터는 객체의 표정, 성별, 나이를 포함하는 것을 특징으로 하는 인공지능 기반의 학습데이터셋 제공 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180115262A KR102203320B1 (ko) | 2018-09-27 | 2018-09-27 | 인공지능 기반의 학습데이터셋 제공 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180115262A KR102203320B1 (ko) | 2018-09-27 | 2018-09-27 | 인공지능 기반의 학습데이터셋 제공 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200039035A true KR20200039035A (ko) | 2020-04-16 |
| KR102203320B1 KR102203320B1 (ko) | 2021-01-15 |
Family
ID=70454741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180115262A KR102203320B1 (ko) | 2018-09-27 | 2018-09-27 | 인공지능 기반의 학습데이터셋 제공 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102203320B1 (ko) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102156586B1 (ko) * | 2020-05-08 | 2020-09-17 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 및 검수의 순차적인 배정 방법 |
| KR102169334B1 (ko) * | 2020-06-12 | 2020-10-26 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검수 결과 비교를 통한 검수자의 검수 기준 조정 방법 |
| KR102183840B1 (ko) * | 2020-06-12 | 2020-11-30 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업자의 능숙도를 고려한 검수 순서 조정 방법 |
| KR102195608B1 (ko) * | 2020-07-03 | 2020-12-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 오브젝트 반려율을 활용한 자동 반려 방법 |
| KR102195955B1 (ko) * | 2020-07-21 | 2020-12-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 반려 이력이 있는 작업의 재배정 방법 |
| KR102195962B1 (ko) * | 2020-07-21 | 2020-12-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 우수 작업자에 대한 작업 건수 보장 방법 |
| KR102195631B1 (ko) * | 2020-07-03 | 2020-12-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 결과에 기초한 작업자에 대한 검수 권한 자동 부여 방법 |
| KR102195961B1 (ko) * | 2020-07-20 | 2020-12-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트에서의 작업자별 작업 제한 건수 적용 방법 |
| KR102195632B1 (ko) * | 2020-07-03 | 2020-12-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 가용 작업자 선별을 통한 최대 작업 결과 수량 산출 방법 |
| KR102205810B1 (ko) * | 2020-07-07 | 2021-01-21 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 재작업 결과의 자동 반려 방법 |
| KR102232909B1 (ko) * | 2020-07-03 | 2021-03-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업자별 유사 작업 패턴 정보에 기반한 반려사유 제공 방법 |
| KR102232859B1 (ko) * | 2020-05-12 | 2021-03-29 | 주식회사 크라우드웍스 | 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 및 난이도에 기반한 작업자 풀 자동 생성 방법 |
| KR102310591B1 (ko) * | 2021-03-19 | 2021-10-13 | 주식회사 인피닉 | 어노테이션 작업 제어 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
| KR20220058259A (ko) * | 2020-10-30 | 2022-05-09 | 한국과학기술정보연구원 | 논문의 메타데이터 추출 방법 및 장치 |
| KR20220058257A (ko) * | 2020-10-30 | 2022-05-09 | 한국과학기술정보연구원 | 논문 메타데이터 영역 분류 모델을 학습하기 위한 데이터셋의 검수 방법 및 장치 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102543937B1 (ko) * | 2021-03-18 | 2023-06-14 | 가톨릭대학교 산학협력단 | 딥러닝 기반의 안저 형광 혈관 조영 영상 내 비관류 영역의 자동 탐지 장치 및 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009282686A (ja) * | 2008-05-21 | 2009-12-03 | Toshiba Corp | 分類モデル学習装置および分類モデル学習方法 |
| KR20120003834A (ko) * | 2011-11-24 | 2012-01-11 | 주식회사 버즈니 | 인터넷을 활용한 개체 검색과 이를 위한 하이브리드 기반의 의견분석 시스템 및 그 방법 |
| KR20180069312A (ko) * | 2016-12-15 | 2018-06-25 | 한국전자통신연구원 | 라이트 필드 동영상을 이용한 물체 추적 방법 및 장치 |
| KR101879735B1 (ko) | 2017-03-15 | 2018-07-18 | (주)넥셀 | 자동적인 학습데이터 생성 방법 및 장치와 이를 이용하는 자가 학습 장치 및 방법 |
-
2018
- 2018-09-27 KR KR1020180115262A patent/KR102203320B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009282686A (ja) * | 2008-05-21 | 2009-12-03 | Toshiba Corp | 分類モデル学習装置および分類モデル学習方法 |
| KR20120003834A (ko) * | 2011-11-24 | 2012-01-11 | 주식회사 버즈니 | 인터넷을 활용한 개체 검색과 이를 위한 하이브리드 기반의 의견분석 시스템 및 그 방법 |
| KR20180069312A (ko) * | 2016-12-15 | 2018-06-25 | 한국전자통신연구원 | 라이트 필드 동영상을 이용한 물체 추적 방법 및 장치 |
| KR101879735B1 (ko) | 2017-03-15 | 2018-07-18 | (주)넥셀 | 자동적인 학습데이터 생성 방법 및 장치와 이를 이용하는 자가 학습 장치 및 방법 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102156586B1 (ko) * | 2020-05-08 | 2020-09-17 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 및 검수의 순차적인 배정 방법 |
| WO2021230660A1 (ko) * | 2020-05-12 | 2021-11-18 | 주식회사 크라우드웍스 | 크라우드소싱 기반 프로젝트의 기능요소 및 난이도에 기반한 작업자 풀 자동 생성 방법 및 장치 |
| KR102232859B1 (ko) * | 2020-05-12 | 2021-03-29 | 주식회사 크라우드웍스 | 인공지능 학습 데이터 생성을 위한 크라우드소싱 기반 프로젝트의 기능요소 및 난이도에 기반한 작업자 풀 자동 생성 방법 |
| KR102169334B1 (ko) * | 2020-06-12 | 2020-10-26 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 검수 결과 비교를 통한 검수자의 검수 기준 조정 방법 |
| KR102183840B1 (ko) * | 2020-06-12 | 2020-11-30 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업자의 능숙도를 고려한 검수 순서 조정 방법 |
| KR102195608B1 (ko) * | 2020-07-03 | 2020-12-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 오브젝트 반려율을 활용한 자동 반려 방법 |
| WO2022005111A1 (ko) * | 2020-07-03 | 2022-01-06 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 결과에 기초한 작업자에 대한 검수 권한 자동 부여 방법, 그 장치 및 그 컴퓨터 프로그램 |
| KR102195631B1 (ko) * | 2020-07-03 | 2020-12-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업 결과에 기초한 작업자에 대한 검수 권한 자동 부여 방법 |
| KR102195632B1 (ko) * | 2020-07-03 | 2020-12-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 가용 작업자 선별을 통한 최대 작업 결과 수량 산출 방법 |
| KR102232909B1 (ko) * | 2020-07-03 | 2021-03-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 작업자별 유사 작업 패턴 정보에 기반한 반려사유 제공 방법 |
| KR102205810B1 (ko) * | 2020-07-07 | 2021-01-21 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 재작업 결과의 자동 반려 방법 |
| KR102195961B1 (ko) * | 2020-07-20 | 2020-12-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트에서의 작업자별 작업 제한 건수 적용 방법 |
| KR102195955B1 (ko) * | 2020-07-21 | 2020-12-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 반려 이력이 있는 작업의 재배정 방법 |
| KR102195962B1 (ko) * | 2020-07-21 | 2020-12-29 | 주식회사 크라우드웍스 | 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 우수 작업자에 대한 작업 건수 보장 방법 |
| KR20220058259A (ko) * | 2020-10-30 | 2022-05-09 | 한국과학기술정보연구원 | 논문의 메타데이터 추출 방법 및 장치 |
| KR20220058257A (ko) * | 2020-10-30 | 2022-05-09 | 한국과학기술정보연구원 | 논문 메타데이터 영역 분류 모델을 학습하기 위한 데이터셋의 검수 방법 및 장치 |
| KR102310591B1 (ko) * | 2021-03-19 | 2021-10-13 | 주식회사 인피닉 | 어노테이션 작업 제어 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102203320B1 (ko) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102203320B1 (ko) | 인공지능 기반의 학습데이터셋 제공 시스템 | |
| US20200201888A1 (en) | Data processing systems for generating and populating a data inventory | |
| US20180075138A1 (en) | Electronic document management using classification taxonomy | |
| JP5869054B2 (ja) | デジタル画像集合内に自動顔認識を組み込む方法および装置 | |
| CN109377240B (zh) | 基于神经网络的商户管理方法、装置、计算机设备及存储介质 | |
| KR102089100B1 (ko) | 이미지 데이터베이스 기반 상호인식차를 최소화하는 인테리어 서비스 제공 시스템 | |
| Mohseni et al. | Quantitative evaluation of machine learning explanations: A human-grounded benchmark | |
| US8311337B2 (en) | Systems and methods for organizing and accessing feature vectors in digital images | |
| TW201415264A (zh) | 取證系統、取證方法及取證程式 | |
| Llerena-Izquierdo et al. | Mobile application with cloud-based computer vision capability for university students’ library services | |
| CN110674360B (zh) | 一种用于数据的溯源方法和系统 | |
| CN111966866A (zh) | 一种数据资产管理的方法和装置 | |
| US11222309B2 (en) | Data processing systems for generating and populating a data inventory | |
| US20220050867A1 (en) | Image management with region-based metadata indexing | |
| CN109800147B (zh) | 一种测试案例生成方法及终端设备 | |
| CN107464091B (zh) | 用于司法鉴定/法庭科学机构的智能化案件委托管理方法 | |
| WO2023031938A1 (en) | System and method for managing data access requests | |
| CN115731559A (zh) | 一种电子卷宗生成管理方法、装置和计算机设备 | |
| CN114331387A (zh) | 文物智慧化综合业务管理系统 | |
| KR102099560B1 (ko) | 조사설계, 조사수행, 자료분석 및 자료해석 콘텐츠를 제공하는 논문 컨설팅 서비스 제공 시스템 | |
| Ndenga et al. | Performance and cost-effectiveness of change burst metrics in predicting software faults | |
| Martin et al. | A multimedia application for location-based semantic retrieval of tattoos | |
| KR102155792B1 (ko) | 크라우드 소싱 기반 프로젝트의 특성에 따른 검수자 선별 방법 | |
| KR102319811B1 (ko) | 온라인 기반 잡 프로세스의 처리자 선정 방법 및 장치 | |
| JP2014074943A (ja) | 文字付与プログラム、文字付与方法および情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |